JP6171608B2 - 物体検出装置 - Google Patents

Description

本発明は、画像を通じて、特定の対象物を検出する物体検出装置に関する。

例えば、自車両の前方を撮影し、その撮影画像に車や歩行者が映し出されている場合に、自車両の乗員に、車や歩行者の存在を報知して注意を促したり、衝突を防ぐために自動ブレーキをかけたりするシステムの開発が盛んに行われている。

ただし、歩行者は、動きにより全体の形態が変化する。また、車といっても、セダン、ワゴン、ＳＵＶなど種々の形態のものがある。そのため、画像中に歩行者や車が映しだされている場合に、極力、漏れがなく検出を行いながら、非対象物を誤って検出しないようにする点に難しさがある。

この問題に対する１つの解決策として、特許文献１において提案された手法がある。この特許文献１には、画像における物体の変位可能な特徴を正規化するための方法が記載されている。例えば、車の場合、「変異可能な特徴」は車輪と定められる。そして、特徴である車輪を画像において抽出して、反復的な探索プロセス及びコスト関数を使用したり、あるいは直接マッピングを使用したりすることにより、車輪を車の下部の最良のロケーションに変位させる。

このようにすることにより、画像において、物体の特徴が正規化されるので、その特徴に依拠する物体の検出や、認識等のタスクを良好に行い得るようになる。

特開２０１１−２２９９６号公報

ここで、画像を通じて特定の対象物を検出する際の別の問題として、オクルージョンの問題がある。例えば、検出すべき特定の対象物が車である場合、交差道路から、自車両が走行している道路に進入しようとする他車両があるとき、その他車両の後部が、交差点にある建造物によって隠されてしまうことがある。この場合、自車両に設置したカメラによって撮影した画像には、その他車両の前半部しか映らない。また、例えば、自車両が複数車線道路を走行している場合であって隣接車線を走行する他車両がある場合や、自車両がカーブを走行している場合であって前方を走行する他車両がある場合など、カメラの画角によっては、他車両の全体が画像に写し出されないこともある。

このように、他の物体の影に隠れたり、カメラの撮影範囲の問題で、特定対象物の一部しか画像に写しだされない場合、特許文献１の手法を適用しても、特定対象物の検出や認識の精度を向上させることは困難である。なぜならば、特許文献１では、物体の位置を基準として、特徴の変位ゾーンを定義し、その変位ゾーン内の特徴を、最良のロケーションに変位させる。このような処理を行うためには、画像において、変位可能な特徴を含む物体全体が抽出される必要がある。しかし、オクルージョンにより物体の一部しか画像に含まれない場合、変位可能な特徴の抽出が困難になる。その結果、変位可能な特徴を最良のロケーションに変位させることもできなくなり、対象物体を検出することが困難になる。

本発明は、上述した点に鑑みてなされたものであり、検出すべき特定の対象物の一部しか画像に映しだされていない場合であっても、その特定対象物の検出を可能とした物体検出装置を提供することを目的とする。

上記目的を達成するために、本発明による物体検出装置は、
画像を取得する画像取得手段（２）と、
画像取得手段が取得した画像の各部において、検出すべき特定対象物に関して、当該特定対象物の全体形状である確からしさを示す第１の評価値、特定対象物を構成する複数のパーツに関して、特定対象物に対する相対位置を考慮しつつ、各パーツである確からしさを示す第２の評価値、及び各パーツ同士の相対的位置関係の確からしさを示す第３の評価値を算出し、それら第１から第３の評価値に基づき、特定対象物である確からしさを表す評価点を算出する算出手段（１１、２１〜２５、３１〜３５）と、
算出手段が算出した評価点に基づき、画像に特定対象物が映し出されているか否かを判定する判定手段（４０、４１）と、を有し、
算出手段は、特定対象物が部分的に画像に映し出された場合に備えて、その映し出されるパーツの組み合わせが異なる複数の隠れパターン毎に、第１から第３の評価値のそれぞれに重み付けを与える重みのセットを別個に有しており、それら別個の重みセットにより第１から第３の評価値に重み付けを与えつつ、複数の評価点を算出し、
判定手段は、算出手段により算出された複数の評価点に基づいて、特定対象物が映し出されているか否かを判定することを特徴とする。

上述したように、算出手段は、特定対象物である確からしさを表す評価点を算出する基礎となる評価値の１つとして、その特定対象物を構成する複数のパーツ同士の相対的位置関係の確からしさを示す第３の評価値を用いる。このため、特定対象物の全体が画像に映し出されていなくとも、少なくとも２つのパーツが画像に映しだされていれば、その２つのパーツの相対的位置関係の確からしさを示す第３の評価値は相対的に大きい値が算出されることになる。このため、その第３の評価値に基づき算出される評価点も相対的に大きくなり、その評価点に基づき、特定対象物を検出することが可能になる。

上述した構成において、算出手段は、特定対象物が部分的に画像に映し出された場合に備えて、その映し出されるパーツの組み合わせが異なる複数の隠れパターン毎に、第１から第３の評価値のそれぞれに重み付けを与える重みのセットを別個に有しており、それら別個の重みセットにより第１から第３の評価値に重み付けを与えつつ、複数の評価点を算出し、判定手段は、算出手段により算出された複数の評価点に基づいて、特定対象物が映し出されているか否かを判定する。

このように、複数の隠れパターン毎に設定された第１から第３の評価値のそれぞれに重み付けを与える重みのセット用いることで、例えば、画像に映しだされているパーツの内、より特定対象物の特徴を表しやすいパーツの重みを大きくしたりといったことができるようになる。その結果、特定対象物の一部しか画像に映しだされていない場合であっても、より精度良く、その特定対象物の検出を行うことが可能になる。

なお、上記括弧内の参照番号は、本発明の理解を容易にすべく、後述する実施形態における具体的な構成との対応関係の一例を示すものにすぎず、なんら本発明の範囲を制限することを意図したものではない。

また、上述した特徴以外の本発明の特徴に関しては、後述する実施形態の説明及び添付図面から明らかになる。

実施形態に係る物体検出装置の構成を示す構成図である。 物体検出演算部における、特定対象物を検出するためのアルゴリズムを示す図である。 特定対象物である四輪車の各種の形態に応じたモデル、及びそれらのモデルに対応して設定されたルートフィルタ、パーツフィルタ、及び変位コストマップの例を示す図である。 四輪車のサイドモデルにおいて設定されたパーツについて説明するための図である。 歩行者モデルの一例に対して設定されたルートフィルタ、パーツフィルタ、及び変位コストマップを示す図である。 歩行者モデルを例にとって、ルートスコア及びパーツスコアの算出の手順について説明するための図である。 四輪車のサイドモデルを例として、隠れパターンについて説明するための図である。 四輪車のサイドモデルについて設定される４つの隠れパターンを説明するための図である。 四輪車のサイドモデルについて設定される他の隠れパターンを説明するための図である。 四輪車のバックモデルについて設定される３つの隠れパターンを説明するための図である。 異なるパーツのパーツフィルタの適用位置における、ｘ軸方向の距離、ｙ軸方向の距離の算出方法を示す図である。 異なるタイプの四輪車において、パーツ同士の相対的位置関係が相違することを示した図である。 パーツ同士の相対的位置の存在確率分布を示す図である。 画像においてパーツＰ_１とパーツＰ_２が見えている第１隠れパターンを、条件付き確率場においてモデル化した例を示す図である。 画像においてパーツＰ_１〜パーツＰ_３が見えている第２隠れパターンを、条件付き確率場においてモデル化した例を示す図である。 本実施形態の効果について説明するための図である。 本実施形態の効果について説明するための図である。 本実施形態の別の効果について説明するための図である。

以下、本発明の実施形態に係る物体検出装置について、図面を参照しつつ説明する。なお、本実施形態においては、物体検出装置を車両に適用し、車両の進行方向に存在する四輪車や歩行者を特定対象物として検出する例について説明する。ただし、特定対象物は、四輪車や歩行者に限られず、二輪車やその他の移動体を含めても良い。また、本発明による物体検出装置の適用対象は車両に限られる訳ではなく、例えば、物体検出装置を所定位置に固定して設置し、ある監視領域に侵入した不審者などを検出するために用いられても良い。

図１は、本実施形態による物体検出装置１の構成を示す構成図である。図１に示すように、物体検出装置１は、カメラ２と物体検出演算部３とによって構成される。

カメラ２は、例えば、電荷結合素子（ＣＣＤ）からなる画像センサを内蔵し、自車両の前方を撮影することができるように、ルームミラーの裏側などに設置される。このカメラ２は、所定周期で自車両前方の画像を撮影し、その撮影した画像の画素毎の明るさ（輝度）を示す画像信号を、物体検出演算部３へ出力する。

物体検出演算部３は、カメラ２によって撮影された画像の中に、検出すべき特定対象物である四輪車や歩行者が映しだされている場合に、その特定対象物を検出するものである。物体検出演算部３は、その検出結果を、アプリケーション制御装置４へ出力する。

アプリケーション制御装置４は、物体検出装置１によって特定対象物が検出された場合に、所定のアプリケーションを実行するものである。所定のアプリケーションには、自車両の乗員に、四輪車や歩行者の存在を報知して注意を促す注意喚起アプリケーション、所定距離まで近づいたときに警告を与える衝突予防アプリケーション、及び、衝突の可能性が生じた場合に、自動ブレーキをかけたり、ステアリングを自動操舵したりする衝突回避アプリケーションなどが含まれる。

次に、物体検出演算部３による、特定対象物の検出手法について説明する。図２は、物体検出演算部３における、特定対象物である四輪車や歩行者を検出するためのアルゴリズムを示している。

まず、ブロック１１において、入力画像１０からＨＯＧ（Histograms of Oriented Gradients）特徴が演算される。このＨＯＧ特徴は、良く知られているように、画像の局所領域における輝度の勾配方向をヒストグラム化した特徴量である。この勾配方向ヒストグラムは、近傍の異なる局所領域（ブロック）にて正規化されることで、対象の形状、向き等の多少の変動に対しても頑強なものとなる。

本実施形態では、詳しくは後述するが、ブロック１１において、解像度の異なる２種類のＨＯＧ特徴が演算される。例えば、高解像度のＨＯＧ特徴は、４×４ピクセルを１セルとして、輝度の勾配方向ヒストグラムを作成し、低解像度のＨＯＧ特徴は、８×８ピクセルを１セルとして、輝度の勾配方向ヒストグラムを作成する。

ブロック１１により演算されたＨＯＧ特徴は、ブロック２１，３１に与えられる。ブロック２１、３１は、それぞれ、予め定められたモデルに関して、該当するモデルのルートスコア、パーツスコア、モデルに対するパーツの変位コスト、及びパーツ位置を算出する。

ここで、ブロック２１，３１において、それぞれ予め定められているモデルについて説明する。例えば、四輪車の場合、その四輪車が、どの方向から撮影されたかに応じて、画像に映し出される四輪車の形態は大きく異なる。一例として、図３に示すように、四輪車が、前方から撮影された場合、後方から撮影された場合、斜め後方から撮影された場合、及び斜め前方から撮影された場合、それぞれ、四輪車の形態は異なる。撮影された画像に四輪車が映し出されたとしても、その画像が撮影された時点では、四輪車がいずれの方向から撮影されたかは分からない。そのため、どの方向から撮影されたとしても、画像に映し出されている四輪車を検出できるように、図３に示すように、複数のモデル（フロントモデル、バックモデル、サイドバックモデル、サイドフロントモデルなど）が予め定められる。なお、図３に示したモデルがすべてではなく、例えば、サイドモデルなども使用される。さらに、必要に応じて、ライトサイドモデル、レフトサイドモデル、ライトサイドバック、レフトサイドバックなど、左右のモデルが別個に設定されても良い。

ただし、図３は以下の公知の先行文献より一部引用した。
Niknejad H.T., Mita S. , McAllester D. , Naito T. , "Vision-Based Vehicle Detection for Nighttime with Discriminately Trained Mixture of Weighted Deformable Part Models"14th International IEEE Conference on Intelligent Transportation Systems, 2011, pp.1560-1565.
Niknejad, H.T., Takahashi K. , Mita S. , McAllester D. , "Vehicle detection and tracking at nighttime for urban autonomous driving ", IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), 2011, pp. 4442-4447.

そして、本実施形態では、このように、同一特定対象物について種々のモデルを定めた上で、各モデルが、画像に映し出されている確からしさを判断するための指標である評価点を算出する。各ブロック２１，３１において算出される、設定されたモデル毎のルートスコア、パーツスコア、モデルに対するパーツの変位コスト、及びパーツ位置は、各モデルの評価点の算出のために用いられる評価値やパラメータとなる。このため、各ブロック２１、３１は、設定されたモデルの数だけ設けられる。

ルートスコアは、それぞれ定められたモデルの全体形状が、画像に映しだされている確からしさを示す評価値である。このルートスコアの算出方法を以下に説明する。

本実施形態では、上述したように、ブロック１１において、撮影した画像のＨＯＧ特徴が演算される。そのＨＯＧ特徴画像に対して、ＨＯＧ特徴により各モデルの全体形状を表したルートフィルタを適用し、どの程度、相関性があるかに応じてルートスコアが算出される。

ルートフィルタは、検出対象とすべき様々なタイプの四輪車（セダン、ワゴン、ＳＵＶなど）の実際の画像からＨＯＧ特徴を得つつ、ＳＶＭ（support vector machine）などを用いた学習により求められたＨＯＧ特徴によるテンプレートである。従って、ＨＯＧ特徴画像において、ルートフィルタにより表現されるＨＯＧ特徴と相関性の高いＨＯＧ特徴が見出された場合、そのＨＯＧ特徴は、四輪車によるものである可能性が高いといえる。なお、ルートフィルタは、各モデル毎に事前に設定され、ブロック２２、３２に記憶される。そして、ブロック２１において、ルートスコアを算出する際に、ブロック２２からブロック２１に、記憶されたルートフィルタが与えられる。

ルートフィルタを用いて、ルートスコアを算出する場合、ＨＯＧ特徴画像全体に渡って、ルートフィルタを所定ピクセル間隔で移動させる。そして、ルートフィルタの適用位置毎に、ルートフィルタとの相関性を示す値であるルートスコアを算出する。この際、画像に映し出される四輪車のサイズが変化することを考慮し、ルートスコアを算出するＨＯＧ特徴画像が、複数種類のサイズの画像として算出される。このように、画像内のどの位置において、どのような大きさで特定対象物が映し出されるかが分からない場合、画像内の様々な位置と大きさにて、ルートフィルタを走査させながら、ルートフィルタとの相関性を計算する必要がある。このような場合、公知のIntegral Histogramの処理を適用することで、計算処理の高速化を図ることができる。Ingetral Histogramに関しては、例えば「Integral Histrogram; −A fast way to extract histograms in cartesion space」(CVPR2005)に詳しく説明されているため詳細は省略する。

パーツスコアは、各モデルを構成するパーツの形状が、画像に映しだされている確からしさを示す評価値である。本実施形態では、ルートスコアに加えて、パーツスコア及び後述する変位コストも用いることで、特定対象物の検出精度を高めている。

例えば、図４に示す四輪車のサイドモデルでは、そのサイドモデルの特徴的部分としてのパーツが、車両前方部Ｐ１、フロントタイヤＰ２、フロントサイドウインドウＰ３、リアドアＰ４、車両後方部Ｐ５、及びリアタイヤＰ６に定められている。そして、これらのパーツ（車両前方部Ｐ１、フロントタイヤＰ２、フロントサイドウインドウＰ３、リアドアＰ４、車両後方部Ｐ５、及びリアタイヤＰ６）の確からしさをそれぞれ算出するために、各パーツのパーツフィルタが予め設定され、ブロック２２、３２に記憶されている。なお、図３には、各モデル毎に、各モデルを構成する複数のパーツのために設定されたパーツフィルタが描かれている。

パーツフィルタは、ルートフィルタと同様に、検出対象とすべき様々なタイプの四輪車の実際の画像から各パーツのＨＯＧ特徴を得つつ、ＳＶＭなどを用いた学習により求められたＨＯＧ特徴によるテンプレートである。従って、ＨＯＧ特徴画像において、パーツフィルタにより表現されるＨＯＧ特徴と相関性の高いＨＯＧ特徴が見出された場合、そのＨＯＧ特徴は、該当するパーツを示している可能性が高いといえる。なお、パーツフィルタについても、ルートフィルタと同様に、ＨＯＧ特徴画像のサイズを様々なサイズに変化させつつ、その画像上を所定ピクセル間隔で移動させる。そして、パーツフィルタの適用位置毎にパーツスコアが算出される。

モデルに対するパーツの変位コストは、モデル全体に対するパーツの相対位置の適正度合いを示すものである。例えば、ある領域のパーツスコアが高い場合であっても、その領域にパーツが存在すると仮定したとき、そのパーツに対して、あるべき位置にモデルが存在しなければ、その領域にはパーツが存在する可能性は低いといえる。変位コストは、このようなモデルとパーツとの相対位置関係に基づき、パーツが存在する確からしさを評価するためのものである。

この変位コストの算出方法の具体例について説明する。まず、特定対象物として検出すべき様々なタイプの四輪車について、モデルと各パーツとの相対位置の関係を調べる。そして、モデルとパーツとの相対位置として適性度が高い範囲ほど確率が高くなり、適性度が低い範囲ほど確率が低くなる変位コストマップを定める。図３には、各モデルの各パーツ毎に設定された変位コストマップが示されている。

この変位コストマップを用い、変位コストは、例えば、以下のようにして算出される。上述したように、様々なサイズのＨＯＧ特徴画像の各部に、ルートフィルタ及びパーツフィルタが適用されて、各サイズの各位置に対して、それぞれルートスコア及びパーツスコアが算出される。このとき、同じサイズのＨＯＧ特徴画像における、ルートフィルタの適用位置に対するパーツフィルタの相対的な適用位置から、変位コストマップを用いて、相対位置の適正度に応じた変位コストを決定する。例えば、ルートフィルタの位置が固定され、そのルートフィルタに対するパーツフィルタの位置を変化させ、変位コストマップにより、相対位置の適性度に応じた変位コストを定める。この変位コストは、パーツフィルタの適用位置において算出されるパーツスコアに加算される。このようにして、変位コストを加味した値に修正されたパーツスコアの最大値を取る位置として、あるモデルの位置に対する最適なパーツフィルタの相対位置が算出される。このときのパーツスコアと変位コストがあるモデルの位置に対するパーツスコアと変位コストである。このようにすることにより、各パーツが、モデルに対する相対位置として、本来有るべき位置の範囲に存在するときに、より高いパーツスコアが算出され、そのパーツスコアに基づき、モデルとパーツとの最適な相対位置を求めることができる。

以上がルートスコア及びパーツスコアの算出の手順である。さらにこの算出を効率的に行う実施例として、歩行者を例に取り、図５及び図６を参照して説明する。なお、図５及び図６は以下の公知の先行文献より一部引用した。
Felzenszwalb, P.F. ; Girshick, R.B. ; McAllester, D. ; Ramanan, D., "Object Detection with Discriminatively Trained Part-Based Models" IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 32, No.9 , pp. 1627-1645, 2010.

図５は、歩行者モデルの一例に対して設定されたルートフィルタ、パーツフィルタ、及び変位コストマップを示している。図５に示す歩行者モデルでは、パーツとして、頭部、右胴体部、左胴体部、脚上部、及び脚下部の５つが定められている。これに応じて、パーツフィルタ及び変位コストマップも、それら５つのパーツに対応するように定められている。

図６に示すように、まず、入力画像５０に基づき、低解像度のＨＯＧ特徴画像５１と、高解像度のＨＯＧ特徴画像５４が生成される。そして、ルートフィルタ５２は、低解像度のＨＯＧ特徴画像５１に適用され、パーツフィルタ５５，５８は、高解像度のＨＯＧ特徴画像５４に適用される。このようにルートフィルタ５２とパーツフィルタ５５、５８を適用するＨＯＧ特徴画像の解像度を異ならせている理由は、ルートフィルタ５２のサイズが、パーツフィルタ５５、５８のサイズよりも大きいので、それぞれのサイズに見合った解像度とするためである。ただし、ルートフィルタ５２とパーツフィルタ５５、５８とは、同じ解像度のＨＯＧ特徴画像に適用されても良い。

ＨＯＧ特徴画像５１の各所に、ルートフィルタ５２を適用してルートスコアが算出される。図６では、そのルートスコアを算出位置ごとにまとめたルートスコアマップ５３を示している。しかし、これは効率的に計算を行うためであり、必ずしもルートスコアマップ５３を生成する必要はない。なお、図６において、ルートスコアマップ５３は、高スコアであるほど明度が明るく、低スコアであるほど明度が暗くなるように示されている。

同様に、ＨＯＧ特徴画像５４の各所に、各パーツフィルタ５５，５８が適用されることにより、各パーツのパーツスコアが算出される。図６では、それらの各パーツスコアを算出位置ごとにまとめたパーツスコアマップ５６，５９も示している。このパーツスコアマップ５６、５９によって示される各部のパーツスコアに、上述した変位コストを加算して修正したパーツスコアが算出される。図６には、この修正パーツスコアの最大値を算出位置ごとにまとめた修正パーツスコアマップ５７、６０も示されている。言い換えれば、修正パーツスコアマップ５７、６０は、モデルの算出位置においてパーツの相対位置が最適である場合のパーツスコアと変位スコアの和を表している。しかし、これは効率的に計算を行うためであり、必ずしも修正パーツスコアマップ５７，６０を生成する必要はない。この図６に示した各マップ５６、５７、５９、６０から理解されるように、変位コストにより、各パーツが映し出されている画像に対応する箇所のパーツスコアが高められる。

そして、ルートスコアと修正パーツスコアとを加算することで特定対象物を検出するためのスコアを得ることができる。特定対象物が存在する場合には、変位コストを加味したパーツスコアを利用することで、特定対象物が存在する位置のスコアを高めることができる。その結果、例えばルートスコアのみを利用する場合に比較して、特定対象物の検出精度を高めることができる。

しかしながら、特定対象物の一部が建造物等の影に隠れていたり、撮影された画像内に特定対象物の一部しか映し出されていなかったり、いわゆるオクルージョンが生じた場合、上述した手法によっても、特定対象物を検出できない虞がある。

そこで、本実施形態では、検出すべき特定の対象物の一部しか画像に映しだされていない場合であっても、その特定対象物の検出を可能とすべく、図２に示すように、ブロック２３，３３において、各パーツ同士の相対的位置関係の確からしさを示すスコアをさらに加味（加算）して、隠れパターンに応じて、それぞれ、特定対象物が存在する確からしさを示す評価点を算出するようにした。以下に、ブロック２３，３３における評価点の算出手法について説明する。

ブロック２３，３３には、各モデル毎に予め定められた複数の隠れパターン毎に、特定対象物もしくはその一部が存在する確からしさを示す評価点を算出する複数のブロック２４、２５、３４、３５が含まれている。評価点の具体的な算出方法を説明する前に、まず、隠れパターンについて説明する。

上述したように、本実施形態では、各モデル毎に、各モデルを構成する特徴部分として複数のパーツが予め定められている。オクルージョンが発生した場合、図７（ａ）〜（ｃ）に示すように、特定対象物である四輪車の一部が建造物などの影に隠れたりする。しかし、画像に映し出される部分に着目すると、四輪車の一部が隠れているパターンを、見えているパーツの組み合わせにより分類することができる。

例えば、図７（ａ）〜（ｃ）に示すように、四輪車のサイドモデルにおいて、車両前方部Ｐ１とフロントタイヤＰ２とが見えている状態を第１隠れパターン、車両前方部Ｐ１とフロントタイヤＰ２に加えてフロントサイドウインドウＰ３が見えている状態を第２隠れパターン、さらに、リアドアＰ４まで見えている状態を第３隠れパターンとして定めることができる。このように、四輪車のサイドモデルにおいて、その前方向から後方向に向かって徐々に見えるパーツの数が増えるように隠れパターンを設定した場合、例えば、図８に示すように、４つの隠れパターンを設定することができる。ただし、図８に示す例において、Ｐ１〜Ｐ４とＰ６のパーツが見えている状態となる隠れパターンを追加して、合計５つの隠れパターンを設定することも可能である。

図７及び図８では、四輪車のサイドモデルにおいて、四輪車の前方向から後ろ方向に向かって、徐々に見えるパーツの数が増えるように、隠れパターンを設定することについて説明した。しかし、隠れパターンは、さらに、種々の状態を考慮して設定することが好ましい。例えば、他車両が後進する場合などは、他車両の後部から見え始める場合がある。そのため、四輪車のサイドモデルにおいて、図９（ａ）〜（ｃ）に示すように、車両後方部Ｐ５とリアタイヤＰ６が見える状態、それらに加えてリアドアＰ４が見える状態、さらに、フロントサイドウインドウＰ３が見える状態を、それぞれ隠れパターンとして設定しても良い。さらに、看板や樹木などにより、車両の上部が隠れたり、下部が隠れたりすることも考えられる。そのため、四輪車のサイドモデルにおいて、上部が隠れることを考慮し、例えば、車両前方部Ｐ１、フロントタイヤＰ２、及びリアタイヤＰ６が見えている状態を１つの隠れパターンとして設定しても良い。また、下部が隠れることを考慮して、例えば、車両前方部Ｐ１、フロントサイドウインドウＰ３、及び車両後方部Ｐ５が見えている状態を１つの隠れパターンとして設定しても良い。

以上、四輪車のサイドモデルを例にとって、隠れパターンについて説明した。もちろん、サイドモデルばかりでなく、図１０に示すバックモデルなどの他のモデルにおいても、同様の考え方で、見えているパーツの組み合わせにより、複数の隠れパターンが設定される。図１０に示す例では、レフトテールランプＰ５とレフトリアタイヤＰ６が見える状態を第１の隠れパターン、それらに加えて、リアウインドウＰ３とテール中央部Ｐ４が見える状態を第２の隠れパターン、さらにライトテールランプＰ２とライトリアタイヤＰ１が見える状態を第３の隠れパターンとしている。

ただし、各モデルの隠れパターンに関しては、実際に四輪車の各部が隠れた多数のサンプル画像を用意し、それらのサンプル画像から隠れパターンを抽出することにより、隠れパターンを学習することが好ましい。その具体的手法として、例えば、各サンプル画像について、ルートスコア、パーツスコア、変位コスト、及びパーツ位置を算出する。そして、算出したルートスコア、パーツスコア、変位コスト、及びパーツ位置に基づいて、サンプル画像をいくつかのクラスターに分類する。そして、分類されたクラスター毎に、隠れパターンを設定する。このようにすれば、実際に起こりえる隠れパターンをサンプル画像に含まれる発生頻度に応じて、漏れ無く設定することができる。

このようにして、各モデルに対して、複数の隠れパターンを設定した後、各隠れパターンについて、特定対象物もしくはその一部が存在する確からしさを示す評価点を算出するための算出式を定める。これは条件付き確率場（Conditional Random Field）の考え方に基づき、ルートスコア、変位コストを考慮したパーツスコア、及び、それらの間の相対的位置関係の確からしさを示すスコアから算出する（以下、変位コストを考慮したパーツスコアを、単にパーツスコアと読むことにする）。この算出式の基本形を、下記の数式１に示す。なお、以下の数式１は、図４に示された、６個のパーツを有するサイドモデルの各隠れパターンに関して、評価点を算出するための算出式の基本形を示している。

Ｓは評価点、添字ｋは隠れパターンの番号、Ｆ_０はルートスコア、ｆ_ｉは各パーツ毎に算出される、パーツスコアを示している。また、Δ^ｘ _ｉｊは、図１１に示すように、それぞれ異なるパーツ（図１１では、Ｐ１とＰ２）のパーツスコアを算出するためのパーツフィルタｉとパーツフィルタｊとの適用位置のｘ軸方向の距離を示している。同様に、Δ^ｙ _ｉｊは、図１１に示すように、パーツフィルタｉとパーツフィルタｊとの適用位置のｙ軸方向の距離を示している。さらに、Ｎ（μ^ｘ _ｉｊ，σ^ｘ _ｉｊ ^２）は、パーツフィルタｉ，ｊの適用位置のｘ軸方向の距離から、パーツ同士の相対的位置関係の確率分布を定めた平均μ^ｘ _ｉｊ、分散σ^ｘ _ｉｊ ^２の正規分布である。同様に、Ｎ（μ^ｙ _ｉｊ，σ^ｙ _ｉｊ ^２）は、パーツフィルタｉ，jの適用位置のｙ軸方向の距離から、パーツ同士の相対的位置関係の確率分布を定めた平均μ^ｙ _ｉｊ、分散σ^ｙ _ｉｊ ^２の正規分布である。

ここで、本実施形態において検出対象とする四輪車は、その大きさやタイプにおいて多くのバリエーションがある。例えば、図１２（ａ）はセダンタイプの四輪車を示し、図１２（ｂ）はＳＵＶタイプの四輪車を示している。図１２（ａ）、（ｂ）に示されるように、四輪車の大きさやタイプが異なると、同じパーツであっても、パーツ同士の相対的位置関係は相違する。そのため、本実施形態では、様々な大きさやタイプの四輪車のパーツ同士の相対的位置関係を調べ、その結果を、対象となるパーツの組みごとにまとめる。すると、例えば、図１３に示すような確率分布図（正規分布図）を得ることができる。なお、図１３において、μは分布の平均値を表し、σ^２は分散の大きさを表している。すなわち、μとσ^２により、該当するパーツ同士の相対的位置の存在確率を示す確率分布の形態を表すことができる。そして、この異なるパーツ同士の相対的位置の存在確率を、異なるパーツ同士の相対的位置関係の確からしさを示すスコアとして用いる。これらパーツ同士の相対的位置関係のパラメータ（μ^ｘ _ｉｊ、μ^ｙ _ｉｊ、σ^ｘ _ｉｊ ^２、σ^ｙ _ｉｊ ^２）は、観測したサンプル画像から最適値を求める。

このように、本実施形態では、四輪車である確からしさを表す評価点Ｓを算出する基礎となるスコア（評価値）として、上述したルートスコア及びパーツスコアに加えて、四輪車を構成する複数のパーツ同士の相対的位置関係の確からしさを示すスコアを用いる。このため、四輪車の全体が画像に映し出されていなくとも、少なくとも２つのパーツが画像に映しだされていれば、その２つのパーツの相対的位置関係の確からしさを示すスコアは相対的に大きい値が算出されることになる。従って、そのスコアに基づき算出される評価点Ｓも相対的に大きくなり、その評価点Ｓに基づき、画像に部分的に映しだされている四輪車を検出することが可能になる。

そして、上記の数式１に示した評価点Ｓの算出式において、ω^ｋ _０は、ルートスコアに乗じられる重みである。ω^ｋ _ｉは、各パーツスコアに対して別個に設定され、対応するパーツスコアにそれぞれ乗じられる重みである。φ^ｘｋ _ｉｊは、ｘ軸方向における、異なるパーツ同士の相対的位置関係の確からしさを示すスコアに乗じられる重みである。また、φ^ｙｋ _ｉｊは、ｙ軸方向における、異なるパーツ同士の相対的位置関係の確からしさを示すスコアに乗じられる重みである。

このように、本実施形態では、ルートスコア（Ｆ_０）、パーツスコア（ｆ_ｉ）、及び異なるパーツ同士の相対的位置関係の確からしさを示すスコア（Ｎ（Δ^x _ｉｊ｜μ^ｘ _ｉｊ，σ^ｘ _ｉｊ ^２）、Ｎ（Δ^ｙ _ｉｊ｜μ^ｙ _ｉｊ，σ^ｙ _ｉｊ ^２））のそれぞれに重み付けを与える重みのセット（ω^ｋ _０、ω^ｋ _ｉ、φ^ｘｋ _ｉｊ、φ^ｙｋ _ｉｊ）を、隠れパターンごとに別個に有している。この重みのセットを用いることにより、それぞれの隠れパターン毎に適切な評価点Ｓを算出することができるようになる。つまり、隠れパターン毎に設定された重みのセット用いることで、例えば、見えているパーツの内で、より四輪車の特徴を表しやすいパーツの重みを大きくしたりといったことができるようになる。また、例えば四輪車の一部しか画像に映しだされていない場合であっても、見えているパーツスコアの重みと見えているパーツ同士の位置関係の重みを大きくすることで、より精度良く、その四輪車の検出を行うことが可能になる。

次に、重みのセット（ω^ｋ _０、ω^ｋ _ｉ、φ^ｘｋ _ｉｊ、φ^ｙｋ _ｉｊ）の設定方法について説明する。重みのセット（ω^ｋ _０、ω^ｋ _ｉ、φ^ｘｋ _ｉｊ，φ^ｙｋ _ｉｊ）は、収集したサンプル画像から各隠れパターン毎に最適値を学習することによって設定される。

例えば、図１４は、画像において、パーツＰ_１とパーツＰ_２が見えている第１隠れパターンをモデル化した例を示している。なお、図１４において、Ｐ_０は、四輪車（特定対象物）の全体形状を示すモデルを表している。

図１４に示すモデル化された第１隠れパターンは、四輪車全体のモデルＰ_０と、パーツＰ_１、Ｐ_２とからなる。そして、このモデル化された隠れパターンにおいて、ルートスコアＦ_０の重みω^１ _０、パーツスコアｆ_１、ｆ_２の重みω^１ _１、ω^１ _２、及びモデルＰ_０とパーツＰ_１とパーツＰ_２との相対的位置関係の確からしさを示すスコアの重みφ^１ _０１＝（φ^ｘ１ _０１、φ^ｙ１ _０１）、φ^１ _０２＝（φ^ｘ１ _０２、φ^ｙ１ _０２）、φ^１ _１２＝（φ^ｘ１ _１２、φ^ｙ１ _１２）が学習により最適値に設定される。

なお、四輪車全体のモデルＰ_０とパーツＰ_１、Ｐ_２との相対的位置関係の確からしさは、上述した変位コストとして算出され、パーツスコアに加算されている。そして、パーツスコアに対する重みω^１ _１、ω^１ _２が学習されているので、図１４に示す、四輪車全体のモデルＰ_０とパーツＰ_１、Ｐ_２との相対的位置関係の確からしさに対する重みφ^１ _０１＝（φ^ｘ１ _０１、φ^ｙ１ _０１）、φ^１ _０２＝（φ^ｘ１ _０２、φ^ｙ１ _０２）は学習対象から除外しても良い。一方、これらの重みφ^１ _０１＝（φ^ｘ１ _０１、φ^ｙ１ _０１）、φ^１ _０２＝（φ^ｘ１ _０２、φ^ｙ１ _０２）を学習対応とする場合には、変位コストを考慮したパーツスコアと、相対的位置関係の確からしさのそれぞれに対する重みを別々に定めることになるので、より適切な評価点が算出できる。

さらに、図１４では、第１隠れパターンにおいて見えているパーツＰ_１、Ｐ_２に関してのみ図示されているが、見えていないパーツＰ_３、Ｐ_４、Ｐ_５に関しても、パーツスコアに対応する重み、及びパーツ同士の相対的位置関係の確からしさを示すスコアの重みを学習しても良い。この場合、最適値の学習の結果、見えているパーツのパーツスコアよりも、見えていないパーツのパーツスコアに対する重みが小さくなるように設定される。この場合、重みはゼロ、もしくはマイナスとなっても良い。重みがゼロの場合は、見えていないパーツを考慮しない場合と同じ評価点Ｓ^１となる。重みがマイナスとなった場合は、見えるべきでないパーツが見えているときの評価点Ｓ^１がより小さくなり、その見えているパーツを含む隠れパターンに対応した評価点Ｓ^ｋとの差異をより大きくすることができる。このように見えていないパーツに関する重みを考えることで、見えていないパーツ同士の関係を完全に考慮しないということがなくなり、より適切な評価点が算出できる。

また、パーツＰ_１〜パーツＰ_３が見えている第２隠れパターンをモデル化した例を、図１５に示す。この場合、モデル化された第２隠れパターンは、四輪車全体のモデルＰ_０と、パーツＰ_１、Ｐ_２、Ｐ_３とからなる。そして、このモデル化された第２隠れパターンでは、ルートスコアＦ_０の重みω^２ _０、及び、パーツスコアｆ_１、ｆ_２、ｆ_３の重みω^２ _１、ω^２ _２、ω^２ _３に加えて、少なくとも、パーツＰ_１とパーツＰ_２との相対的位置関係の確からしさを示すスコアの重みφ^２ _１２＝（φ^ｘ２ _１２、φ^ｙ２ _１２）、パーツＰ_１とパーツＰ_３との相対的位置関係の確からしさを示すスコアの重みφ^２ _１３＝（φ^ｘ２ _１３、φ^ｙ２ _１３）、及びパーツＰ_２とパーツＰ_３との相対的位置関係の確からしさを示すスコアの重みφ^２ _２３＝（φ^ｘ２ _２３、φ^ｙ２ _２３）が学習により最適値に設定される。なお、第1隠れパターンでの例と同様に、見えていないパーツに関する重みを学習しても良い。また、モデルＰ_０との相対的位置関係の確からしさを示すスコアの重みを学習しても良い。

上述した各種の重みの学習は、モデル化された隠れパターンにおいて、それぞれ、その隠れパターンとして、見えているべきパーツが画像に映しだされた正サンプル画像と、見えているべきパーツが画像に映しだされていない負サンプル画像とを用いて行われる。つまり、正サンプル画像及び負サンプル画像について、それぞれ評価点Ｓを算出し、正サンプル画像の評価点Ｓが大きくなり、負サンプル画像の評価点Ｓが小さくなるように、各重みを学習する。例えば、１つの学習の方法として本実施形態では、確率的勾配降下法（Stochastic Gradient Descent）を用いる。

再び、図２を参照して説明を続ける。ブロック２４、２５、３４、３５において、各モデル毎に予め定められた複数の隠れパターン毎に、特定対象物もしくはその一部が存在する確からしさを示す評価点Ｓが算出されると、それらの評価点Ｓは、ブロック４０に出力される。

ブロック４０では、各ブロック２４、２５、３４、３５から出力された評価点Ｓの中で、最大の評価点Ｓ^ｍａｘを抽出する。最大の評価点Ｓ^ｍａｘが、入力画像１０において、最も映しだされている可能性が高い四輪車の形態（モデル）を示しているためである。そして、ブロック４０にて抽出された最大評価点Ｓ^ｍａｘはブロック４１に与えられ、所定の閾値と比較される。そして、最大評価点Ｓ^ｍａｘが所定の閾値以上であれば、四輪車が映像に映しだされていると判断し、四輪車の検出を行う。

上述した手法にて評価点Ｓを算出するとともに、物体検出を行うことにより、例えば、図１６に示すように、側道から、自車両が走行する道路に進入しようとする他車両があり、その他車両の後部が建造物によって隠れて見えない場合でも、その他車両を検出することが可能となる。すなわち、本実施形態では、他車両の大部分が見えなくとも、その他車両を検出することができる。そのため、図１７に示すように、ルートスコアと変位コストを加味したパーツスコアとにより物体検出を行う比較例よりも、他車両との距離が十分に離れている、かなり早いタイミングで、他車両の検出を行うことが可能となる。従って、自車両の運転者は、事前に速度を低下させるなど、余裕を持って、危険回避のための運転操作を行うことができるようになる。

さらに、本実施形態では、モデル全体に対するパーツの位置の確からしさを示す変位コストだけではなく、パーツ同士の相対的位置関係の確からしさを示すコストも利用して物体検出を行なっている。このため、図１８に示すように、ルートスコアと変位コストを加味したパーツスコアとから物体検出を行う比較例よりも、物体検出の正確性を高めることができる。

以上、本発明の好ましい実施形態について説明したが、本発明は、上述した実施形態になんら制限されることなく、本発明の主旨を逸脱しない範囲において、種々変形して実施することができる。

例えば、上述した実施形態では、特定対象物の検出のためにＨＯＧ特徴を用いたが、その他の画像特徴量、例えばＨａａｒ−Ｌｉｋｅ特徴、ＳＩＦＴ（Scale−Invariant Feature Transform）、ＳＵＲＦ（Speeded Up Robust Feature）等の周知の特徴量を用いても良い。

また、上述した実施形態では、特定対象物の検出のために、出力された評価点Ｓから最大の評価点Ｓ^ｍａｘを抽出し、その結果を閾値と比較したが、別の方法で物体の検出を行っても良い。例えば、複数のモデルが車両の車種（セダン、ワゴン、トラック）と方向（フロント、サイド、リア）のそれぞれに対して用意されているような場合を考える。このとき、これらモデルのそれぞれに対して、隠れパターンが設定される。ところで、セダンとワゴンのサイドモデルにおいて、車両後部が隠れるような隠れパターンでは、見えている部分は似た形状となる。そこで、複数のモデルに対する同じ隠れパターンに対応する評価点Ｓをひとつのグループにまとめ、グループごとに評価点Ｓと閾値との比較結果を投票し、その数が一定数より大きい場合に、検出するようにしてもよい。

１ 物体検出装置
２ カメラ
３ 物体検出演算部
４ アプリケーション制御装置

Claims (5)

1. 画像を取得する画像取得手段（２）と、
   前記画像取得手段が取得した画像の各部において、検出すべき特定対象物に関して、当該特定対象物の全体形状である確からしさを示す第１の評価値、前記特定対象物を構成する複数のパーツに関して、前記特定対象物に対する相対位置を考慮しつつ、各パーツである確からしさ示す第２の評価値、及び各パーツ同士の相対的位置関係の確からしさを示す第３の評価値を算出し、それら第１から第３の評価値に基づき、前記特定対象物である確からしさを表す評価点を算出する算出手段（１１、２１〜２５、３１〜３５）と、
   前記算出手段が算出した評価点に基づき、前記画像に前記特定対象物が映し出されているか否かを判定する判定手段（４０、４１）と、を有し、
   前記算出手段は、前記特定対象物が部分的に前記画像に映し出された場合に備えて、その映し出されるパーツの組み合わせが異なる複数の隠れパターン毎に、前記第１から第３の評価値のそれぞれに重み付けを与える重みのセットを別個に有しており、それら別個の重みセットにより前記第１から第３の評価値に重み付けを与えつつ、複数の評価点を算出し、
   前記判定手段は、前記算出手段により算出された複数の評価点に基づいて、前記特定対象物が映し出されているか否かを判定することを特徴とする物体検出装置。
2. 前記重みのセットは、隠れパターンとして映し出されるべきパーツが映し出された正サンプル画像と、映し出されるべきパーツが映し出されていない負サンプル画像を用いて、前記複数の隠れパターン毎に、学習により設定されることを特徴とする請求項１に記載の物体検出装置。
3. 前記算出手段は、前記特定対象物を複数の方向から見た場合の、前記特定対象物の全体形状、前記特定対象物を構成する複数のパーツ、及び各パーツ同士の相対的位置関係について、それぞれ第１から第３の評価値を算出するとともに、それら複数組の第１から第３の評価値から複数の評価点を算出し、
   前記判定手段は、前記算出手段により算出された複数の評価点に基づいて、前記特定対象物が映し出されているか否かを判定することを特徴とする請求項１又は２に記載の物体検出装置。
4. 前記算出手段は、前記第１から第３の評価値の重み付き和として、前記評価点を算出することを特徴とする請求項１又は２に記載の物体検出装置。
5. 前記算出手段は、前記画像を所定領域毎に細分化し、その所定領域内の輝度の勾配方向をヒストグラム化して、画像特徴量を算出する特徴量算出手段（１１）を有し、当該特徴量算出手段が算出した画像特徴量に基づき、前記特定対象物の全体形状である確からしさを示す第１の評価値、及び前記特定対象物を構成する各パーツである確からしさ示す第２の評価値を算出するものであり、
   前記特徴量算出手段は、前記特定対象物の全体形状である確からしさを示す第１の評価値を算出するための第１の画像特徴量と、前記特定対象物を構成する各パーツである確からしさ示す第２の評価値を算出するための第２の画像特徴量とをそれぞれ算出し、前記第１の画像特徴量よりも前記第２の画像特徴量の方が解像度が高いことを特徴とする請求項１乃至４のいずれかに記載の物体検出装置。