JP5950441B2 - 画像認識装置、画像認識方法および画像認識プログラム - Google Patents
画像認識装置、画像認識方法および画像認識プログラム Download PDFInfo
- Publication number
- JP5950441B2 JP5950441B2 JP2012020323A JP2012020323A JP5950441B2 JP 5950441 B2 JP5950441 B2 JP 5950441B2 JP 2012020323 A JP2012020323 A JP 2012020323A JP 2012020323 A JP2012020323 A JP 2012020323A JP 5950441 B2 JP5950441 B2 JP 5950441B2
- Authority
- JP
- Japan
- Prior art keywords
- gradient
- image
- value
- feature
- object recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
- G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
- G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/40—Extraction of image or video features
- G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
- G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
Landscapes
- Engineering & Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Description
パターン認識の手法は、認識したい物体の特徴量をあらかじめ学習して、その学習結果を反映した辞書を作成し、当該辞書の内容と照合することで、撮像した画像の中に物体(物体の画像)があるか否かを認識する手法である。
パターン認識においては、Haar−like特徴量とAdaBoostの識別器とを組み合わせた顔認識アルゴリズム(例えば、非特許文献1参照。)が発表された後、近年では、車載用の物体認識に応用した技術(例えば、特許文献1参照。)も発表されている。
このような物体認識のアルゴリズムでは、Haar−like特徴量を作る際に、積分画像(インテグラルイメージ)の作成により演算処理を高速にしたことも特色としてある。
また、前記のようなパターン認識では、撮像した画像の中から目標物体(目標物体の画像)を抽出するために、物体認識する領域(ウィンドウ)を各サイズで設定し、そのウィンドウ毎に前記した物体認識のアルゴリズムの処理を施す。
図21は、背景技術に係る物体認識部により行われる処理の手順の一例を示すフローチャート図である。
この例では、Haar−like特徴量とAdaBoostの識別器により、認識アルゴリズムを構成している。
次に、物体認識部は、ラスタスキャンにより、積分画像の領域を、あらかじめ設定した任意の座標領域(ウィンドウ)で抽出する(ステップS1012)。
次に、物体認識部は、抽出した座標領域(ウィンドウ)について、Haar−like特徴量(ベクトル)を算出する(ステップS1013)。
ここで、物体認識部は、一連のラスタスキャンが終了したか否かを確認する(ステップS1015)。
そして、物体認識部は、一連のラスタスキャンが終了したと判定した場合には、本処理を終了する。
これにより、物体認識部は、一連のラスタスキャンが終了するまで、ラスタスキャンの領域に対して、順次、ウィンドウをスライドさせて、ステップS1012〜ステップS1014の処理を繰り返して行う。
また、HOG特徴量のように、勾配方向毎に勾配強度を算出して、より情報量が多い特徴量を用いても、一般的に固定サイズに分割した領域(セル)とセルの集合(ブロック)から特徴量を算出するため、演算処理が複雑で処理時間が長くなる上、自由度が低く、弱識別器の数が多くなってしまうという同様な問題があった。
本願において、矩形は、長方形ばかりでなく、正方形も含む。
本願において、勾配方向矩形特徴は、画像の輝度の勾配方向と勾配強度に関する矩形特徴のことである。また、本願において、勾配方向矩形特徴量(または、ROG(Rectangle of Oriented Gradients)特徴量)は、勾配方向矩形特徴の特徴量のことであり、矩形の領域における勾配方向特徴量のことである。ここで、勾配方向特徴量は、画像の輝度の勾配方向と勾配強度に関する特徴量のことである。なお、矩形特徴としては、例えば、公知のものを用いることも可能であり、勾配強度は、情報量を低減した公知の勾配度数を用いることもできる。本願において、勾配強度と勾配度数を含む、広義の勾配値を勾配量と定義する。
本願において、積分勾配画像(インテグラルヒストグラム)は、画像の輝度について勾配方向と勾配強度(または、度数)を算出して、それぞれの勾配方向毎に勾配強度(または、度数)を積分した結果(積分勾配値)のことである。ここで、この積分は、例えば、積分勾配画像を求める対象となる領域に含まれる全ての画素(pixel(ピクセル))について行われる。
また、識別器の下位概念として、アンサンブル学習を行う識別器があり、その下位概念として、Boostingの識別器があり、その下位概念として、Real AdaBoostの識別器などがある。
ここで、Boostingは、複数の弱識別器を使用してアンサンブル学習を行うものである。
本実施形態では、車両に搭載される車載用の画像認識システムを例として説明する。
図1は、本発明の一実施形態に係る画像認識システムの構成(ハードウェア構成)を示す概略ブロック図である。
本実施形態に係る画像認識システムは、カメラECU(Electronic Control Unit)1と、警報装置2と、ACC−ECU3と、を備える。
なお、カメラECU1は、画像認識装置の一例である。
カメラECU1は、カメラ11と、画像取得部12と、物体認識部13と、制御部14と、を備える。
なお、FPGA21の機能の代わりに、または、FPGA21の機能と共に、DSP(Digital Signal Processor)の機能が用いられてもよい。
制御部14は、本実施形態では、マイクロコンピュータ22の機能を用いて構成される。
また、物体認識部13および制御部14のメモリおよび周辺回路は、FPGA、DSP、マイクロコンピュータ内の集積回路に格納されているものを使用するか、もしくはそれらの外部に設けても良い。
カメラ11は、本実施形態では、車両の前方、側方または後方等のようにあらかじめ定められた方向の画像を撮像する車両位置に設けられる。
カメラ11は、画像を撮像し、撮像した画像の信号を画像取得部12に出力する。
画像取得部12は、カメラ11からの画像を画像データとして取り込み、取り込んだ画像データを物体認識部13に出力する。
また、パターン認識の結果の情報としては、例えば、画像データの画像中における目標物体の情報が用いられる。
具体例として、制御部14は、物体認識部13から入力される物体認識の処理の結果の情報である目標物体の情報に基づいて、あらかじめ定められた処理として、目標物体との間のTTC(Time to Collision)や距離を算出する処理や、目標物体のトラッキングを行う処理や、他の装置やECU(本実施形態では、警報装置2やACC−ECU3)のアプリケーション機能と通信する処理などを行う。
警報装置2は、制御部14から入力される情報に基づいて、例えば、目標物体が前方の車両である場合における前方車両衝突警報や、目標物体が歩行者である場合における歩行者衝突警報などを行う。
ACC−ECU3は、制御部14から入力される情報に基づいて、例えば、目標物体が前方の車両である場合における車間距離制御などを行う。
図2は、本実施形態に係る物体認識部13により行われる処理の手順の一例を示すフローチャート図である。
この例では、Haar−like特徴量とAdaBoostの識別器により、認識アルゴリズムを構成している。
次に、物体認識部13は、抽出した座標領域(ウィンドウ)について、あらかじめ定められた勾配方向矩形特徴量(ベクトル)を算出する(ステップS3)。
そして、物体認識部13は、一連のラスタスキャンが終了したと判定した場合には、本処理を終了する。
これにより、物体認識部13は、一連のラスタスキャンが終了するまで、ラスタスキャンの領域に対して、順次、ウィンドウをスライドさせて、ステップS2〜ステップS4の処理を繰り返して行う。
また、本実施形態に係る物体認識部13では、一例として、積分勾配画像を算出する処理の機能をFPGA21により実現し、物体認識部13により行われる他の処理の機能をマイクロコンピュータ22により実現する。
図3(A)〜図3(E)を参照して、勾配方向および勾配強度の算出例を説明する。
図3(A)は、輝度画像の一例を示す図である。
この例では、横(水平)方向のx軸の画素位置をuで表しており、右へ行くほど座標値が大きくなる。また、縦(垂直)方向のy軸の画素位置をvで表しており、下へ行くほど座標値が大きくなる。
x−y直交座標の平面上における画素位置は、座標(u、v)で表される。
この例では、座標(u、v)の画素位置における輝度をI(u、v)で表す。
座標(u、v)の画素位置における横(水平)方向の輝度の勾配をIxで表し、Ixを式(1)で表す。また、座標(u、v)の画素位置における縦(垂直)方向の輝度の勾配をIyで表し、Iyを式(2)で表す。
この例では、座標(u、v)の画素位置における勾配強度をm(u、v)で表し、m(u、v)を式(3)で表す。
図3(D)は、勾配方向の一例を示す図である。
この例では、座標(u、v)の画素位置における勾配方向をθ(u、v)で表し、θ(u、v)を式(4)で表す。
この例では、180degを8個の方向(方向1〜方向8)の範囲に分けている。この場合、1個の方向の範囲は22.5degとなり、その範囲の中心の角度を基準とすると±11.25degの範囲となる。
この例では、方向1を縦の勾配の範囲とすると、方向5が横の勾配の範囲となる。
また、勾配を算出する手法としては、例えば、ソーベルフィルタを用いる手法などのように、他の手法を用いることもできる。
また、積分勾配画像は、例えば、HOG特徴量を算出する際によく用いられるが、本実施形態では、矩形特徴量を算出する際に用いることを特徴とする。
ラスタスキャンでは、例えば、スケールSCと移動ステップdx、dyを可変に変化させてスキャンする。
この例では、ラスタスキャンのスケールと移動ステップの組み合わせのパターンが4個以上あるとする。
この例では、ラスタスキャン領域101において、横(水平)方向のx軸方向と縦(垂直)方向のy軸方向とのそれぞれについてスケールSC1の長さを有する正方形のウィンドウ102を、あらかじめ定められた初期位置に、設定する。そして、このウィンドウ102を、x軸方向に移動ステップdx1ずつスライドさせていくことと、y軸方向に移動ステップdy1ずつスライドさせていくことを行う。
この例では、ラスタスキャン領域111において、横(水平)方向のx軸方向と縦(垂直)方向のy軸方向とのそれぞれについてスケールSC4の長さを有する正方形のウィンドウ112を、あらかじめ定められた初期位置に、設定する。そして、このウィンドウ112を、x軸方向に移動ステップdx4ずつスライドさせていくことと、y軸方向に移動ステップdy4ずつスライドさせていくことを行う。
本実施形態では、一例として、それぞれのパターンにおけるラスタスキャンのスケールSCが異なっており、そのスケールSCに比例した大きさを有する移動ステップdx、dyを用いている。また、本実施形態では、一例として、それぞれのパターンにおけるx軸方向の移動ステップdxとy軸方向の移動ステップdyとを同じ値にしている。
また、他の構成例として、あるパターンにおけるx軸方向の移動ステップdxとy軸方向の移動ステップdyとを異なる値としてもよい。
カメラ11により撮像される画像のデータが、画像取得部12により入力画像201のデータとして取得される。
例えば、この画像には、道路と前方の車両が映っている。
そして、物体認識部13では、勾配方向毎に、勾配強度の積分画像を、積分勾配画像203として作成する(図2に示されるステップS1の処理)。
物体認識部13では、ラスタスキャンで取得されるウィンドウの画像205に関し、各勾配方向の積分勾配画像206を取得する。
例えば、このウィンドウの画像205は、前方の車両が映る部分の画像である。
本実施形態では、識別器として、勾配方向毎に弱識別器が設定できる。
具体的には、物体認識部13では、各勾配方向の積分勾配画像206(本実施形態では、8方向の勾配方向毎に、積分勾配画像208−1〜積分勾配画像208−8とする)について、あらかじめ学習しておいた弱識別器により識別を行う。
本実施形態では、各勾配方向に分けた勾配強度画像から矩形特徴を抽出するため、その矩形特徴量のことを勾配方向矩形特徴量と定義する。
この勾配方向矩形特徴量Aは、1個の矩形(単矩形)301の特徴量(単矩形特徴量)を示す。
この勾配方向矩形特徴量Aは、勾配方向毎の勾配強度画像から単矩形特徴を抽出し、単一領域の勾配を捉えることを目的としたものである。
例えば、目標物体のある部位が同一の勾配方向に集中しているような場合に、単矩形特徴で捉えることができる。
この勾配方向矩形特徴量Bは、勾配方向毎の勾配強度画像について、Haar−like特徴量と同様に、矩形の特徴の差分等を用いるものである。また、この勾配方向矩形特徴量Bは、隣り合う矩形として同一の面積を有する矩形を用いて、同一の方向内での特徴の差分等を求めるものである。
図7(A)は、2個の矩形に分けて勾配方向矩形特徴量Bを求める場合における勾配強度画像311、312を示す。この例では、隣り合う白い領域と黒い領域との間で特徴の差分等を求める。
図7(B)は、3個の矩形に分けて勾配方向矩形特徴量Bを求める場合における勾配強度画像321、322を示す。この例では、隣り合う白い領域と黒い領域との間で特徴の差分等を求める。
図7(C)は、4個の矩形に分けて勾配方向矩形特徴量Bを求める場合における勾配強度画像331を示す。この例では、隣り合う白い領域と黒い領域との間で特徴の差分等を求める。
この勾配方向矩形特徴量Bは、隣接領域の勾配関係を捉える手法であり、本実施形態では、勾配強度画像について抽出するため、通常の輝度画像から求める領域差分よりも、さらに特徴差が際立った部位を抽出することができるという効果が得られる。
この勾配方向矩形特徴量Cは、勾配方向毎の勾配強度画像について、Haar−like特徴量を応用して、矩形の特徴の差分等を用いるものである。
この勾配方向矩形特徴量Cは、隣接領域の勾配関係を捉える手法であり、隣接領域とする2つの領域(白い領域と黒い領域)で領域の形状や面積が異なっている。また、この勾配方向矩形特徴量Cは、同一の方向内での特徴の差分等を求めるものである。
図8の例では、複数(N個)の勾配方向について、方向1のウィンドウの画像341−1、方向2のウィンドウの画像341−2、・・・、方向Nのウィンドウの画像341−Nを示す。この例では、勾配方向毎に、矩形の形状や数が異なってもよい。
この勾配方向矩形特徴量Cは、図7(A)、図7(B)、図7(C)に示される勾配方向矩形特徴量Bと似ているが、例えば、隣接する領域の勾配面積比が異なるような場合にも、より適切な抽出を行うことができるという効果が得られる。
この勾配方向矩形特徴量Dは、勾配方向毎の勾配強度画像の内において、複数の離隔した(隔たれた)矩形の特徴の差分等を用いるものである。
この勾配方向矩形特徴量Dは、離隔した領域の勾配関係を捉える手法であり、離隔した領域とする2つの領域(白い領域と黒い領域)で、領域の形状や面積が同じでもよく、または、異なってもよい。また、この勾配方向矩形特徴量Dは、同一の方向内での特徴の差分等を求めるものである。
図9の例では、複数(N個)の勾配方向について、方向1のウィンドウの画像351−1、方向2のウィンドウの画像351−2、・・・、方向Nのウィンドウの画像351−Nを示す。この例では、勾配方向毎に、矩形の形状や数が異なってもよい。
この勾配方向矩形特徴量Dは、隣接していない領域の間でも特徴を抽出することができるようにしたものである。この勾配方向矩形特徴量Dは、目標物体のある方向の勾配が離れた部位の間で存在することを捉え易くする。
この勾配方向矩形特徴量Eは、異なる勾配方向の勾配強度画像の間に跨って、複数の矩形の特徴の差分等を用いるものである。
この勾配方向矩形特徴量Eは、異なる勾配方向の勾配強度画像の間におけるそれぞれの領域の勾配関係を捉える手法であり、2つの領域(白い領域と黒い領域)で、領域の形状や面積や位置が同じでもよく、または、異なってもよい。この勾配方向矩形特徴量Eは、異なる方向間での特徴の差分等を求めるものである。
図10の例では、複数(N個)の勾配方向について、方向1のウィンドウの画像361−1、方向2のウィンドウの画像361−2、・・・、方向Nのウィンドウの画像361−Nを示す。この例では、勾配方向毎に、矩形の形状や数が異なってもよい。
この勾配方向矩形特徴量Eは、異なる勾配方向に跨る勾配強度画像における複数の矩形の特徴関係を用いるため、異なる勾配方向の間の関係を捉えることができるという効果が得られる。
また、複数の矩形の特徴の差分等における複数の矩形としては、例えば、2個の矩形に限られず、3個以上の矩形が用いられてもよい。
本実施形態では、図2に示されるステップS4の処理において、Real AdaBoostによる識別器で、勾配方向矩形特徴量を識別する。
この場合、勾配方向矩形特徴量とReal AdaBoostの識別器とを組み合わせると、例えば、弱識別器の数が極力少ない条件にしても、不検出率が低い性能を持ち、且つ、誤検出率が低い性能を持つ物体認識のアルゴリズムを構成することができる。
これにより、目標物体の大小の勾配矩形特徴の中で、特に有効な部分を厳選することができ、少ない弱識別器の数で識別器を構成することができる。このため、計算回数とメモリアクセス回数が少なく、短い演算処理時間で、目標物体が存在するウィンドウを絞り込むことや、目標物体を識別することができる。
また、本実施形態では、ブースティング(Boosting)として、Real AdaBoostを例として説明したが、広義のブースティングに適用しても、同様な効果を得ることが可能である。
図11は、学習した多数の勾配強度画像を、8個の勾配方向(方向1〜方向8)の全方向について平均(合成)したもの(平均勾配画像)401と、方向1のみ平均したウィンドウの画像411−1、方向2のみ平均したウィンドウの画像411−2、・・・、方向8のみ平均したウィンドウの画像411−8を示す。
この例では、目標物体を車両の背面とした場合を示す。平均勾配画像は、目標物体の勾配による形状を視覚的に把握できる効果がある。
(1)勾配方向矩形特徴量Aとして、各勾配矩形フィルタ(図11に示される各ウィンドウ中の各矩形)を1つ使用する場合に得られる特徴量を用いる。
(2)勾配方向矩形特徴量Bとして、複数の矩形の特徴の差分等として減算(差)を使用する場合に得られる特徴量を用いる。
(3)勾配方向矩形特徴量Cとして、複数の矩形の特徴の差分等として減算(差)を使用する場合に得られる特徴量を用いる。
(4)勾配方向矩形特徴量Dとして、複数の矩形の特徴の差分等として減算(差)を使用する場合に得られる特徴量を用いる。
(5)勾配方向矩形特徴量Eとして、複数の矩形の特徴の差分等として減算(差)を使用する場合に得られる特徴量を用いる。
なお、この例では、勾配方向矩形特徴量B〜Eについては、差分等として減算(差)を用いる場合に特徴量が強く現れる関係を示している。
図12は、方向1のみ平均したウィンドウの画像421−1、方向2のみ平均したウィンドウの画像421−2、・・・、方向8のみ平均したウィンドウの画像421−8を示す。
この例では、図11の例の場合と同様に、目標物体を車両の背面とした場合を示す。
(3)勾配方向矩形特徴量Cとして、複数の矩形の特徴の差分等として加算(和)を使用する場合に得られる特徴量を用いる。
(4)勾配方向矩形特徴量Dとして、複数の矩形の特徴の差分等として加算(和)を使用する場合に得られる特徴量を用いる。
(5)勾配方向矩形特徴量Eとして、複数の矩形の特徴の差分等として加算(和)を使用する場合に得られる特徴量を用いる。
なお、この例では、勾配方向矩形特徴量C〜Eについては、差分等として加算(和)を用いる場合に特徴量が強く現れる関係を示している。また、勾配強度が無いという特徴を用いることもできる。
目標物体に対する照明差を補正するために、例えば、ウィンドウサイズによる輝度画像の標準偏差により正規化することができる。なお、このような正規化については、例えば、非特許文献1に記載されている。
この場合、輝度の積分画像と輝度の2乗の積分画像を別に計算しておく。
この例では、ウィンドウ単位で照明差を正規化する。
積分勾配画像Xは、複数(N個)の方向の積分勾配画像である、方向1の積分勾配画像501−1、方向2の積分勾配画像501−2、・・・、方向Nの積分勾配画像501−Nを加えたものであり、全ての勾配方向についての積分勾配画像511である。
また、XWは、積分勾配画像について、全ての勾配方向におけるウィンドウ単位での1画素(1pixel)当たりの平均値を表す。
また、QWは、積分勾配画像について、強方向勾配(本実施形態では、縦勾配と横勾配)のウィンドウ単位での1画素(1pixel)当たりの平均値を表す。
照明差係数1の第1の例として、正規化係数XWは、式(5)により表される。この場合、各勾配方向矩形特徴量を正規化係数XWで除算した値を用いる。
このように、目標物体の性質が強く現れる方向(例えば、車両の場合における縦勾配と横勾配)のみについて、係数値の計算に用いることも可能であり、これにより、演算時間を節約することができる。
この例では、ウィンドウ単位で照明差を正規化する。
積分勾配2乗画像X2は、複数(N個)の方向の積分勾配2乗画像である、方向1の積分勾配2乗画像521−1、方向2の積分勾配2乗画像521−2、・・・、方向Nの積分勾配2乗画像521−Nを加えたものであり、全ての勾配方向についての積分勾配2乗画像531である。
また、X2Wは、積分勾配2乗画像について、全ての勾配方向におけるウィンドウ単位での1画素(1pixel)当たりの平均値を表す。
また、Q2Wは、積分勾配2乗画像について、強方向勾配(本実施形態では、縦勾配と横勾配)のウィンドウ単位での1画素(1pixel)当たりの平均値を表す。
なお、これらの関係は、図13(A)に関して示した式(5)、式(6)と同様である。
照明差係数2の第1の例として、正規化係数XSは、式(7)により表される。この場合、各勾配方向矩形特徴量を正規化係数XSで除算した値を用いる。
このように、目標物体の性質が強く現れる方向(例えば、車両の場合における縦勾配と横勾配)のみについて、係数値の計算に用いることも可能であり、これにより、演算時間を節約することができる。
図14は、撮像画像領域601と、その中に設定されるラスタスキャン領域611と、その中に設定されるウィンドウ(ウィンドウの領域)621を示す。
ラスタスキャン領域611を単位として、照明差を正規化することも可能である。
また、図13(B)を参照して説明したウィンドウを単位として標準偏差を用いて照明差の正規化係数を求める代わりに、ラスタスキャン領域を単位として標準偏差を用いて照明差の正規化係数を求めることができる。
説明の便宜上、物体認識部13により行われる(処理1)〜(処理7)に分けて、説明する。
画像701を例とする。なお、画像701としては、本実施形態では、積分勾配画像を用いることができる。
画像701の中に設定されるラスタスキャン領域に設定されるウィンドウ711を例とする。
ウィンドウ711の特徴量を算出する処理721として、検出用のウィンドウ711から勾配方向矩形特徴量を算出する。この例では、正規化した特徴量を算出する。
また、この例では、特徴次元(インデックスNo)が1からM(この例では、Mは281以上の整数値)まで全ての特徴を算出しているが、実処理では必要な特徴(例えば、事前に学習して辞書に載っているもののみ)を算出する。
辞書から、指定された特徴次元の特徴量をピックアップする処理722を行う。
辞書には、あらかじめ行われた学習の結果の情報が記憶されている。
特徴量を量子化する処理723を行う。
この例では、量子化数(BINの数)を64としている。0.0から1.0までの実数値となる正規化特徴量を0から63に量子化するために、正規化特徴量に対してBINの数である64との積を求めている。
確率密度関数テーブルを参照する処理724を行う。
具体的には、事前に学習して用意しておいた辞書と対応する確率密度関数(事前確率)から、算出された特徴量のPOS(ポジティブ)の確率とNEG(ネガティブ)の確率を求める。
弱識別器の応答値hを求める処理725を行う。
具体的には、弱識別器の出力値として、式(9)で表されるhの値を算出する。なお、式(9)におけるεは、定数である。
例えば、図15に示される1つ目の弱識別器では、POSがNEGの確率より高いため、hは正の値となる。
(処理2)〜(処理5)を任意の数だけ繰り返して実行する処理726を行う。この数が、弱識別器の数に相当する。
算出された各弱識別器の応答値hの合計(線形和)を求めて、その合計値を強識別器の応答値Hとして算出する処理727を行う。
そして、算出された強識別器の応答値Hがあらかじめ定められた閾値THよりも大きいと判定した場合には、True(認識対象)であると判定する。一方、他の場合には、False(非認識対象)であると判定する。
ここで、閾値THとしては、任意の値が用いられてもよく、例えば、あらかじめ、固定的な値が設定される。
一般的に、Boostingによる識別器では、入力する特徴量を0〜1に正規化する必要がある。
図15を参照して説明したReal AdaBoostは、確率密度関数を作成する方式のものであり、確率密度関数に入力する特徴量を0〜1に正規化する。通常は、0〜1の間で密な確率密度関数を作成する場合には、BIN数を増やして対応するが、メモリ容量が増大するという問題がある。
ここで、ダイナミックレンジは、本実施形態の場合には、例として、単矩形(単領域)のときには360.6であり、2矩形(2領域)のときには±360.6である。
なお、前記したダイナミックレンジの中の特定の範囲は、例えば、実験による値により設定することができ、または、学習により最適な係数(例えば、図16(B)、図16(C)に示されるoffsetの値)を決定することにより設定することができる。
入力画像801について、1画素(1pixel)当たりのレンジが0〜255であり、1画素(1pixel)当たりの最大値が255であるときには、勾配強度画像802について、式(10)に示されるように、1画素(1pixel)当たりの最大値が360.6(厳密には、約360.6)となる。
単矩形811では、例えば、単矩形811内の全ての画素位置の特徴量の平均値を勾配方向矩形特徴量とし、特徴量(勾配方向矩形特徴量)fのダイナミックレンジが最小値0から最大値360.6である。
特徴量fと、正規化係数offsetと、正規化後の特徴量f_normとの関係は、式(11)により表される。
2矩形812では、例えば、各矩形内の全ての画素位置の特徴量の平均値の差分を勾配方向矩形特徴量とし、特徴量(勾配方向矩形特徴量)fのダイナミックレンジが最小値−360.6から最大値+360.6である。
特徴量fと、正規化係数offsetと、正規化後の特徴量f_normとの関係は、式(12)により表される。
この例では、車両が写る画像について、図6と図7で示した勾配方向矩形特徴量AとBをReal AdaBoostにより選択された特徴量で比較する。
図17(A)の上段には、8方向(方向1〜方向8)について、Real AdaBoostにより選択された各勾配方向のみ平均した勾配画像と特徴量(勾配方向矩形特徴量)の領域を示してある(901−1〜901−6)。つまり、6つの弱識別器を構成させていることを示す。
また、図17(A)の下段には、平均勾配画像911に、図17(A)の上段で示した特徴量(勾配方向矩形特徴量)の領域を示してある。これは、目標物体(車両)のどの部位の勾配領域を選択しているかを視覚的に示すためである。
弱識別器2では、横勾配がある領域が選択されている。
弱識別器3では、右縦勾配がある領域が選択されている。
弱識別器4では、縦勾配が無い領域が選択されている。
弱識別器5では、左タイヤに勾配差がある領域が選択されている。
弱識別器6では、右タイヤに勾配差がある領域が選択されている。
図17(B)には、平均勾配画像921に、選択された特徴量(HOG特徴量)の領域(セル)を示してある。
このシミュレーションの結果では、勾配方向矩形特徴量で学習した弱識別器の数が約4〜16個であるときに、HOG特徴量で学習した弱識別器の数が約100個であった。
また、勾配方向矩形特徴量と識別器を用いた場合における1個のウィンドウ当たりの処理時間は、HOG特徴量と識別器を用いた場合における1個のウィンドウ当たりの処理時間に対して、約1/50〜1/60であった。
図18(A)は、オリジナル画像の一例を示す図である。
この例では、オリジナル画像として、輝度画像2001を示す。
輝度画像2001について、横(水平)方向のx軸、縦(垂直)方向のy軸に関し、画素位置(x、y)の輝度値をi(x、y)とする。
この例では、枠内の左上から右下まで、繰り返して積分する。
累積行加算の結果2002において、位置(x、y)の累積行加算値s(x、y)は、式(13)により表される。
この例では、枠内の左上から右下まで、繰り返して積分する。
積分画像2003において、位置(x、y)の積分値ii(x、y)は、式(14)により表される。
図19(A)は、2矩形2011を示す。
2矩形2011の特徴として、左右の矩形の特徴量の差分を用いる。
a、b、c、d,e、fを、それぞれ、各点における積分勾配値とする。
左側の領域(領域1)の単矩形特徴量は、式(15)により表され、4点で算出することができる。
右側の領域(領域2)の単矩形特徴量は、式(16)により表され、4点で算出することができる。
領域1の特徴量と領域2の特徴量との差分である2矩形特徴量は、式(17)により表され、6点で算出することができる。
図20(A)は、セルによるヒストグラム化の一例を示す。
画像の中に設定されるセル2021と、3×3の計9個のセルから構成されるブロック2022を示す。
また、1個のセルが横(水平)方向に5画素(5pixel)、縦(垂直)方向に5画素(5pixel)から構成される場合を示す。
そして、セル2021について、セル単位での輝度勾配分布2023を示す。また、これについて、9方向を例として、方向を横軸とし且つ勾配強度を縦軸とした勾配方向ヒストグラムを示す。
また、この例では、ブロック2022の単位で、その領域で、セル内の輝度勾配を正規化する。
9方向を例として、1個のセル2031の特徴ベクトルFj,kは、式(18)により表される。各方向(方向1〜方向9)の特徴ベクトルの成分fをf1〜f9とする。ここで、kはセルの横(水平)方向の位置を表し、jは縦(垂直)方向の位置を表す。
ブロック2032の特徴ベクトルVは、式(19)により表される。
この特徴ベクトルVの大きさにより正規化した結果vは、式(20)により表される。
この例では、HOG特徴ベクトルは、9セル×9次元×4ブロック数=324次元となる。
以上に示した本実施形態に係る画像認識システムについて、(本実施形態に係る構成例1)〜(本実施形態に係る構成例17)を示す。
本実施形態に係る画像認識システムの物体認識部13では、撮像された輝度画像から勾配方向と勾配量を求め、勾配方向毎の勾配量画像(その積分画像は、インテグラルヒストグラムと呼ばれる場合がある)について、それぞれウィンドウをスキャンして、学習した勾配方向矩形特徴量(各方向に分けた勾配量から矩形特徴を抽出するもの)によるパターン認識で、目標物体を認識する。
本実施形態に係る画像認識システムの物体認識部13では、図6に示されるように、勾配方向矩形特徴量として、勾配量画像の単矩形特徴量を用いる。
本実施形態に係る画像認識システムの物体認識部13では、図7に示されるように、勾配方向矩形特徴量として、勾配量画像のHaar−like特徴量を用いる。
本実施形態に係る画像認識システムの物体認識部13では、図8に示されるように、勾配方向矩形特徴量として、勾配量画像の同じ勾配方向で、隣接した異なる矩形面積の複数の特徴(Haar−like応用)を用いる。
本実施形態に係る画像認識システムの物体認識部13では、図9に示されるように、勾配方向矩形特徴量として、勾配量画像の同じ勾配方向で、隔たれた同じ(または、異なる)矩形面積の複数の特徴を用いる。
本実施形態に係る画像認識システムの物体認識部13では、図10に示されるように、勾配方向矩形特徴量として、勾配量画像の異なる勾配方向で、隔たれた同じ(または、異なる)矩形面積の複数の特徴を用いる。
本実施形態に係る画像認識システムの物体認識部13では、勾配方向矩形特徴量で、複数の勾配矩形の関係を特徴量とする場合に、四則演算のうちのいずれかの演算式に適用する。
本実施形態に係る画像認識システムの物体認識部13では、勾配方向矩形特徴量として、(本実施形態に係る構成例2)〜(本実施形態に係る構成例7)のうち、いずれか2つ以上を組み合わせたもの、または、全てを組み合わせたものを用いる。
本実施形態に係る画像認識システムの物体認識部13では、図13(A)に示されるように、勾配方向矩形特徴量として、照明差による正規化を行うために、ウィンドウ単位の勾配平均値を用いる。
本実施形態に係る画像認識システムの物体認識部13では、図13(B)に示されるように、勾配方向矩形特徴量として、照明差による正規化を行うために、ウィンドウ単位の勾配標準偏差値を用いる。
本実施形態に係る画像認識システムの物体認識部13では、図14に示されるように、勾配方向矩形特徴量として、照明差による正規化を行うために、ラスタスキャン領域の勾配平均値を用いる。
本実施形態に係る画像認識システムの物体認識部13では、図14に示されるように、勾配方向矩形特徴量として、照明差による正規化を行うために、ラスタスキャン領域の勾配標準偏差値を用いる。
本実施形態に係る画像認識システムの物体認識部13では、識別器は、勾配矩形特徴を学習して弱識別器として選択させ、認識の際に用いる。
なお、勾配方向矩形特徴量としては、例えば、(本実施形態に係る構成例1)〜(本実施形態に係る構成例12)に示されるものを用いる。
本実施形態に係る画像認識システムの物体認識部13では、識別器は、Boosting等のアンサンブル学習により作られる。
本実施形態に係る画像認識システムの物体認識部13では、識別器は、AdaBoost、または、Real AdaBoostを用いる。
本実施形態に係る画像認識システムの物体認識部13では、図16(A)、図16(B)、図16(C)に示されるように、識別器は、最適な弱識別器を選択するために、特徴量のレンジを正規化する係数を用いる。
本実施形態に係る画像認識システムの物体認識部13では、前記係数(特徴量のレンジを正規化する係数)は、識別器を学習により作成する際、同時に学習した値である。
本実施形態に係る画像認識システムの物体認識部13によると、例えば、少ない弱識別器の構成が可能であり、演算処理時間を短くすることができる。
また、本実施形態に係る画像認識システムの物体認識部13によると、例えば、車載用の装置に実装(組み込み)することが可能である。
このように、本実施形態に係る画像認識システムの物体認識部13によると、例えば、識別性能を維持した上で、車載用の装置に実装(組み込み)することができる程度に十分な演算処理速度が得られるため、1つの装置で、車間距離制御装置(ACC)や前方車両衝突警報装置(FCW)や歩行者衝突警報装置などの適用が可能となる効果を有する。
ここで、以上の実施形態では、図1に示される物体認識部13を含む装置やシステムを車載用として車両に設ける構成を示したが、他の例として、他の任意の移動体に設けることも可能である。
また、以上の実施形態では、目標物体として、車両の背面を具体例として説明したが、例えば、車両の側面、2輪車、歩行者などや、あるいは、車室内の乗員の認識や顔の認識などのように、他の目標物体を認識する場合に適用することも可能である。
101、111…ラスタスキャン領域、102、112…ウィンドウ、
201…画像、202…勾配強度画像、203、206、208−1〜208−8…積分勾配画像、204…ラスタスキャン領域、205…画像、207…勾配方向矩形特徴量、209…減算器、210−1〜210−8…処理、
301…単矩形、
311、312、321、322、331…勾配強度画像、
341−1〜341−N…画像、
351−1〜351−N…画像、
361−1〜361−N…画像、
401…平均勾配画像、411−1〜411−8…画像、
421−1〜421−8…画像、
501−1〜501−N、511…積分勾配画像、
521−1〜521−N、531…積分勾配2乗画像、
601…撮像画像領域、611…ラスタスキャン領域、621…ウィンドウ、
701…画像、711…ウィンドウ、721〜727…処理、
801…画像、802…勾配強度画像、811…単矩形、812…2矩形、
901−1〜901−8…勾配画像、911、921…平均勾配画像、
2001…輝度画像、2002…累積行加算の結果、2003…積分画像、
2011…2矩形、
2021、2031…セル、2022、2032…ブロック、2023…輝度勾配分布
Claims (5)
- 画像を取得する画像取得部と、
物体認識部と、
を備え、
前記物体認識部は、
前記画像取得部により取得された前記画像から、勾配方向が互いに異なる複数の勾配強度画像を求め、
前記勾配強度画像の内の何れか一つの勾配強度画像の上に設定された第1の領域における画素値と、前記何れか少なくとも一つの勾配強度画像とは異なる他の少なくとも一つの勾配強度画像の上に設定された第2の領域における画素値とを用いて、四則演算の内の何れか一つ以上の演算を行って矩形特徴量を求め、
前記矩形特徴量に基づき識別器により目標の物体を認識する、
画像認識装置。 - 前記第1の領域と前記第2の領域は、画像上における位置、形状、および大きさ、の何れかが互いに異なる、
請求項1の画像認識装置。 - 前記物体認識部は、
前記何れか少なくとも一つの勾配強度画像の上に設定された第3の領域における画素値を更に用いて前記演算を行う、
請求項1または2の画像認識装置。 - 画像取得部と物体認識部を用いて目標の物体を認識する画像認識方法であって、
前記画像取得部により、画像を取得し、
前記物体認識部により、前記取得された画像から、勾配方向が互いに異なる複数の勾配強度画像を求め、
前記物体認識部により、前記複数の勾配強度画像の内の何れか少なくとも一つの勾配強度画像の上に設定された第1の領域における画素値と、前記複数の勾配強度画像の内の前記何れか少なくとも一つの勾配強度画像とは異なる他の少なくとも一つの勾配強度画像の上に設定された第2の領域における画素値とを用いて、四則演算の内の何れか一つ以上の演算を行って矩形特徴量を求め、
前記物体認識部により、前記矩形特徴量に基づき識別器により前記目標の物体を認識する、
画像認識方法。 - 請求項4に記載の画像認識方法をコンピュータに実行させる画像認識プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012020323A JP5950441B2 (ja) | 2012-02-01 | 2012-02-01 | 画像認識装置、画像認識方法および画像認識プログラム |
US13/756,398 US9064182B2 (en) | 2012-02-01 | 2013-01-31 | Image recognition device, image recognition method, and image recognition program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012020323A JP5950441B2 (ja) | 2012-02-01 | 2012-02-01 | 画像認識装置、画像認識方法および画像認識プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013161142A JP2013161142A (ja) | 2013-08-19 |
JP5950441B2 true JP5950441B2 (ja) | 2016-07-13 |
Family
ID=49173363
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012020323A Expired - Fee Related JP5950441B2 (ja) | 2012-02-01 | 2012-02-01 | 画像認識装置、画像認識方法および画像認識プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9064182B2 (ja) |
JP (1) | JP5950441B2 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2013164643A (ja) * | 2012-02-09 | 2013-08-22 | Honda Elesys Co Ltd | 画像認識装置、画像認識方法および画像認識プログラム |
US20160042246A1 (en) * | 2013-03-22 | 2016-02-11 | Freescale Semiconductor, Inc. | A haar calculation system, an image classification system, associated methods and associated computer program products |
US9778021B2 (en) | 2013-08-29 | 2017-10-03 | Carl Zeiss Meditec, Inc. | Evaluation of optical coherence tomographic data prior to segmentation |
JP6098498B2 (ja) * | 2013-12-19 | 2017-03-22 | ソニー株式会社 | 情報処理装置、情報処理方法、並びにプログラム |
KR102263573B1 (ko) * | 2014-06-17 | 2021-06-14 | (주)엠아이웨어 | 하알 대조 특징을 이용한 카메라 영상의 대상물 검출 방법 |
DE102014112242A1 (de) * | 2014-08-26 | 2016-03-03 | Carl Zeiss Ag | Phasenkontrast-Bildgebung |
CN106156707B (zh) * | 2015-04-09 | 2019-06-14 | 展讯通信(上海)有限公司 | 图像识别方法及装置 |
US10460198B2 (en) | 2015-12-23 | 2019-10-29 | Fotonation Limited | Image processing system |
EP3213257B1 (en) * | 2015-12-23 | 2018-08-01 | FotoNation Limited | Image processing system |
WO2017168889A1 (en) * | 2016-04-01 | 2017-10-05 | Yamaha Hatsudoki Kabushiki Kaisha | Object detection device and vehicle having the object detection device |
CN110070116B (zh) * | 2019-04-08 | 2022-09-20 | 云南大学 | 基于深度树状训练策略的分段式选择集成图像分类方法 |
CN112883769A (zh) * | 2020-01-15 | 2021-06-01 | 赛义德·皮拉斯特 | 一种识别无人机航拍视频内人类交互行为的方法 |
Family Cites Families (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7620208B2 (en) * | 2005-02-09 | 2009-11-17 | Siemens Corporate Research, Inc. | System and method for detecting features from images of vehicles |
JP2007310805A (ja) | 2006-05-22 | 2007-11-29 | Matsushita Electric Ind Co Ltd | 物体認識装置 |
JP4966080B2 (ja) * | 2007-04-18 | 2012-07-04 | パナソニック株式会社 | 対象物検出装置 |
JP4670976B2 (ja) * | 2008-10-03 | 2011-04-13 | ソニー株式会社 | 学習装置および方法、認識装置および方法、プログラム、並びに記録媒体 |
JP5126115B2 (ja) * | 2009-02-25 | 2013-01-23 | 株式会社デンソー | 検出対象判定装置,インテグラルイメージ生成装置。 |
JP5310234B2 (ja) | 2009-04-24 | 2013-10-09 | 株式会社日本自動車部品総合研究所 | 画像認識装置 |
JP5361530B2 (ja) * | 2009-05-20 | 2013-12-04 | キヤノン株式会社 | 画像認識装置、撮像装置及び画像認識方法 |
JP2011203853A (ja) * | 2010-03-24 | 2011-10-13 | Toyota Central R&D Labs Inc | 画像処理装置及びプログラム |
US8509526B2 (en) * | 2010-04-13 | 2013-08-13 | International Business Machines Corporation | Detection of objects in digital images |
-
2012
- 2012-02-01 JP JP2012020323A patent/JP5950441B2/ja not_active Expired - Fee Related
-
2013
- 2013-01-31 US US13/756,398 patent/US9064182B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20130279745A1 (en) | 2013-10-24 |
US9064182B2 (en) | 2015-06-23 |
JP2013161142A (ja) | 2013-08-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5950441B2 (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
JP2013161126A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
CN110414507B (zh) | 车牌识别方法、装置、计算机设备和存储介质 | |
US8447114B2 (en) | Method and apparatus for calculating pixel features of image data | |
US8509536B2 (en) | Character recognition device and method and computer-readable medium controlling the same | |
US9053388B2 (en) | Image processing apparatus and method, and computer-readable storage medium | |
EP2783328B1 (en) | Text detection using multi-layer connected components with histograms | |
JP5719297B2 (ja) | 特徴量算出装置、特徴量算出方法及びプログラム | |
US20100158387A1 (en) | System and method for real-time face detection using stereo vision | |
CN114332620A (zh) | 基于特征融合和注意力机制的机载图像车辆目标识别方法 | |
CN111079626B (zh) | 一种活体指纹识别方法、电子设备及计算机可读存储介质 | |
JP2013037539A (ja) | 画像特徴量抽出装置およびそのプログラム | |
WO2011099072A1 (ja) | パターン識別装置 | |
US20190279392A1 (en) | Medium recognition device and medium recognition method | |
JP2013164643A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
KR101733288B1 (ko) | 방향정보를 이용한 객체 검출기 생성 방법, 이를 이용한 객체 검출 장치 및 방법 | |
JP6276504B2 (ja) | 画像検出装置及び制御プログラム並びに画像検出方法 | |
KR101161580B1 (ko) | 인터리빙 히스토그램을 이용한 특징 벡터 추출 방법 및 이를 적용한 영상 인식 방법 | |
JP2013250868A (ja) | 画像認識装置、画像認識方法および画像認識プログラム | |
JP6060638B2 (ja) | 対象物識別装置、学習サンプル作成装置、及びプログラム | |
AlMousawi et al. | Hybrid method for face description using LBP and HOG | |
Wen et al. | Improved Wavelet Feature Extraction Methods Based on HSV Space for Vehicle Detection. | |
CN115661577B (zh) | 用于对象检测的方法、设备和计算机可读存储介质 | |
KR101312306B1 (ko) | 표지판 인식장치, 표지판 인식방법, 및 이미지 인식방법 | |
Dalla Mura et al. | Classification of hyperspectral images by using morphological attribute filters and independent component analysis |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A625 | Written request for application examination (by other person) |
Free format text: JAPANESE INTERMEDIATE CODE: A625 Effective date: 20150128 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20151022 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151027 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151215 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160510 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160606 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5950441 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |