JP5423566B2 - 対象物検出装置、対象物検出方法、及びプログラム - Google Patents

Description

本明細書で議論される実施態様は、画像の認識技術に関する。

カメラで取得した画像を解析して、画像中の対象物を抽出する対象物検出技術が従来から様々な分野で研究開発されており、実用化が進んできている。このような対象物検出技術の例としては、道路を撮影した画像から当該道路を走行する車両を検出する技術や、スナップショットから人や人の顔を検出する技術などがある。

対象物検出技術では、入力画像に含まれている幾つかの要素を検出対象の候補としてまず抽出し、その候補から検出対象物を絞り込むことで、最終的な結果を効率的に得る。しかしながら、この候補には、検出対象物と特徴が似ている要素（非検出対象）が含まれる場合がある。

例えば、道路を走行中である黒色の車両を昼間に撮影して得た画像において、この車両の像と、道路上に映っている車両の影の像との特徴（形状や色彩など）がよく似たものになっている場合がある。また、例えば、同様の状況の撮影を雨天の夜間に行って得た画像において、点灯しているヘッドライトを含む車両の像と、そのヘッドライトの濡れた路面での反射光の像との特徴がよく似たものとなる場合がある。このような画像について、検出対象物である車両と、非検出対象である影や反射光とを高精度に判別することは難しい。

このような、画像内で特徴が類似している検出候補に対し、予め定義しておいた実世界の知識（例えば海と山の出現関係等）に基づき多数の仮説（複数の検出候補の組合せ）を生成して評価することで、最終的な検出結果を得るという技術が知られている。この技術では、生成した仮説のうちで総合的な評価値が最も高いものを選択するようにして、最終的な検出結果を得るようにしている。

アンドリュー・ラビノビッチ（Andrew Rabinovich）他、「オブジェクツ・イン・コンテスクト（Objects in Context）」、Eleventh IEEE International Conference on Computer Vision (ICCV 2007)、ブラジル、２００７年１０月

前述した、仮説の評価による対象物検出技術では、予め固定的に与えておいた実世界の知識の定義に基づいて仮説の評価を行う。このため、画像取得時の環境の違い（例えば昼間と夜間といった撮影時刻の違いや、晴天時と曇天時といった天候の違い）によって画像に現れる特徴が変化する場合においては、対象物検出の精度の低下が懸念される。

また、この対象物検出技術において、検出の性能を高めるために仮説を大量に生成すると、その生成のための処理量は多くなり、また、大量に生成した仮説の評価のための処理量も当然多くなるため、検出処理に要する処理時間は長くなる。

本発明は上述した問題に鑑みてなされたものであり、その解決しようとする課題は、画像からの対象物の検出において、画像取得時の環境の違いに起因する精度低下を抑制しつつ、処理コストを低減させることである。

本明細書で後述する対象物検出装置のひとつには、検出候補抽出手段と、検出候補種別テーブルと、仮説生成手段と、評価点テーブルと、評価手段と、検出手段と、センサ部と、仮説生成制御手段と、を有するというものがある。ここで、検出候補抽出手段は、検出対象物の画像に写り込んでいる、該検出対象物の像を含む１以上の要素を、検出候補として該画像から抽出する。検出候補種別テーブルは、該画像に写り込むことが推定される検出候補の種別が予め定義されているテーブルである。仮説生成手段は、該検出候補種別テーブルに定義されている種別を該検出候補抽出手段が抽出した検出候補に対応付けることで得られる、該画像に写り込んでいる検出候補についての種別の組み合わせを、種別の仮説として複数生成する。評価点テーブルは、該画像における所定の種別の検出候補間での相互関係について推定される所定の検出候補間条件に対応付けて、評価点が予め設定されているテーブルである。評価手段は、該種別の仮説のうち該所定の検出候補間条件を有しているものに対し、該評価点テーブルにおいて該所定の検出候補間条件に対応付けて設定されている評価点を与えることで、該種別の仮説を評価する。検出手段は、該種別の仮説のうちの１つを該評価手段による評価結果に基づいて選択することで該画像に写り込んでいる検出候補の種別を特定し、特定された検出候補の種別に基づいて該検出対象物を検出する。センサ部は、該画像を撮影したときの該検出対象物の周囲の環境を検知して該環境を表す環境情報を出力する。仮説生成制御手段は、該環境情報に基づいて該仮説生成手段を制御して、該種別の仮説のうち、該環境情報により表されている環境下では生じることがないと推定される仮説の生成を制限する。

また、本明細書で後述する対象物検出方法のひとつは、まず、検出対象物の画像に写り込んでいる、該検出対象物の像を含む１以上の要素を、検出候補として該画像から抽出する。次に、抽出した検出候補に検出候補種別テーブルに定義されている種別を対応付けることで得られる、該画像に写り込んでいる検出候補についての種別の組み合わせを、種別の仮説として複数生成する。なお、検出候補種別テーブルには、該画像に写り込むことが推定される検出候補の種別が予め定義されている。次に、生成した種別の仮説のうち所定の検出候補間条件を有しているものに対して、評価点テーブルに該所定の検出候補間条件に対応付けて設定されている評価点を与えることで、該生成した種別の仮説を評価する。なお、評価点テーブルには、該画像における所定の種別の検出候補間での相互関係について推定される所定の検出候補間条件に対応付けて評価点が予め設定されている。次に、該種別の仮説のうちの１つを該評価の結果に基づいて選択することで該画像に写り込んでいる検出候補の種別を特定し、特定された検出候補の種別に基づいて該検出対象物を検出する。そして、次に、センサ部により得られた環境情報に基づいて該種別の仮説の生成を制御して、該種別の仮説のうち、該環境情報により表されている環境下では生じることがないと推定される仮説の生成を制限する。なお、センサ部は、該画像を撮影したときの該検出対象物の周囲の環境を検知して該環境を表す環境情報を出力する。

また、本明細書で後述するプログラムのひとつには、検出候補抽出処理と、仮説生成処理と、評価処理と、検出処理と、仮説生成制御処理とをコンピュータに行わせるためのものがある。ここで、検出候補抽出処理は、検出対象物の画像に写り込んでいる、該検出対象物の像を含む１以上の要素を、検出候補として該画像から抽出する処理である。仮説生成処理は、抽出した検出候補に検出候補種別テーブルに定義されている種別を対応付けることで得られる、該画像に写り込んでいる検出候補についての種別の組み合わせを、種別の仮説として複数生成する処理である。なお、検出候補種別テーブルには、該画像に写り込むことが推定される検出候補の種別が予め定義されている。評価処理は、生成した種別の仮説のうち所定の検出候補間条件を有しているものに対して、評価点テーブルに該所定の検出候補間条件に対応付けて設定されている評価点を与えることで、該生成した種別の仮説を評価する処理である。なお、評価点テーブルには、該画像における所定の種別の検出候補間での相互関係について推定される所定の検出候補間条件に対応付けて評価点が予め設定されている。検出処理は、該種別の仮説のうちの１つを該評価手段による評価結果に基づいて選択することで該画像に写り込んでいる検出候補の種別を特定し、特定された検出候補の種別に基づいて該検出対象物を検出する処理である。そして、仮説生成制御処理は、センサ部により得られた環境情報に基づいて該種別の仮説の生成を制御して、該種別の仮説のうち、該環境情報により表されている環境下では生じることがないと推定される仮説の生成を制限する処理である。なお、センサ部は、該画像を撮影したときの該検出対象物の周囲の環境を検知して該環境を表す環境情報を出力する。

本明細書で後述する対象物検出装置は、画像からの対象物の検出において、画像取得時の環境の違いに起因する精度低下を抑制しつつ、処理コストを低減させることができるという効果を奏する。

対象物の検出方法の一実施例の説明図である。 対象物検出装置の一実施例の機能構成図である。 検出候補種別テーブルのデータ例である。 種別構造定義テーブルのデータ例である。 評価点テーブルのデータ例である。 非存在ＩＤ定義テーブルのデータ例である。 コンピュータの構成の一例である。 対象物検出処理の処理内容を図解したフローチャート（その１）である。 対象物検出処理の処理内容を図解したフローチャート（その２）である。 背景差分法の説明図である。 検出候補第一抽出部及び検出候補第二抽出部による処理結果の一例である。 検出候補の合成処理の説明図である。 検出候補の組み合わせパターンの説明図である。 各検出候補の種別の組み合わせパターンの一覧の例である。 図１１の各検出候補の種別の組み合わせパターンの一覧の例である。 仮説生成制限フラグを追加した各検出候補の種別の組み合わせパターンの一覧の例である。 仮説の評価合計ポイントを更に追加した各検出候補の種別の組み合わせパターンの一覧の例である。

まず図１について説明する。図１は、対象物の検出方法の一実施例を図解したものである。
この検出方法は、単一の入力画像（入力データ１）に対し、複数の異なる検出候補抽出処理２を施して得られた複数の検出候補を用いて前述した仮説を生成する仮説生成３の手順と、生成した仮説の評価を行って検出結果５を得る仮説評価４の手順とを有する。但し、仮説生成３の手順では、入力画像が撮影されたときの検出対象物の周囲の環境に基づき、検出結果として選ばれる可能性が極めて低いと推定される仮説の生成を制限する制御が行われる。また、仮説評価４の手順では、生成した仮説の評価を、入力画像が撮影されたときの検出対象物の周囲の環境に応じて調整する制御が行われる。

まず、仮説生成の制限について説明する。
詳しくは後述するが、仮説は、複数の検出候補の種別の組み合わせである。この組み合わせのパターン数は、検出候補の数の増加に対して指数的に増加する。このため、組み合わせのパターン数がわずかに増加するだけで、仮説生成３及び仮説評価４のどちらの手順も処理時間が膨大なものとなってしまう。そこで、図１に図解した検出方法では、まず、環境判別６の手順によって、入力画像が撮影されたときの検出対象物の周囲の環境を判別してその環境を表す環境情報を得る。次に、仮説限定情報生成７の手順により、この環境情報で表されている環境では起こり得ない（最終的な検出結果になり得ない）と推定される仮説の情報（仮説限定情報）を生成する。仮説生成３の手順はこの仮説限定情報に基づいて制御されて、当該仮説限定情報が示している仮説の生成が制限される。この結果、仮説生成３の手順による仮説の生成数が削減されるので、仮説生成３及び仮説評価４の手順の処理コストが削減される。また、所定の環境では起こり得ない仮説の生成が抑制されるので、最終的な検出結果の誤検出の可能性が低くなる。

次に、仮説の評価の調整について説明する。
仮説評価４の手順では、仮説生成３の手順で生成された仮説の各々について、予め定義しておいた実世界の知識である対象知識９を用いた評価を行う。対象知識９には、実世界で起こり得る様々な事象に対し、その起こり得る可能性に応じた評価点が予め設定されており、この評価点は、起こり得る可能性が高い事象ほど高く設定されている。仮説評価４の手順では、仮説生成３の手順で生成された仮説の各々について、その仮説において生じている事象に対応する評価点を対象知識９から取得し、得られた評価点の総計を、その仮説の評価結果とする。更に、図１に図解した検出方法では、評価調整８の手順によって仮説評価４の手順を制御し、環境判別６の手順によって得られる環境情報に応じた評価点の調整を行う。すなわち、評価調整８の手順では、環境情報で表されている環境で起こり得る可能性が高い事象が生じている仮説ほど評価点を高くし、その可能性が低い事象が生じている仮説ほど評価点を低くするように仮説評価４の手順を制御する。

次に、車両を検出対象物とし、道路を走行中の車両を撮影して得られた画像から当該車両の像を検出する対象物検出装置の実施例について説明する。
まず図２について説明する。図２は、この対象物検出装置の一実施例の機能構成図である。

図２において、カメラ１１は、道路を走行中の車両を撮影して検出対象物（すなわち車両）の像を含む画像を取得する撮影装置である。
検出候補第一抽出部１２−１及び検出候補第二抽出部１２−２は、カメラ１１が取得した画像に写り込んでいる、検出対象物である像を含む１以上の要素を、検出候補として画像から抽出する。本実施例では、検出候補第一抽出部１２−１と検出候補第二抽出部１２−２との２つの検出候補抽出部を有しているが、これらは、上述した検出候補の画像からの抽出を、後述の異なる手法を用いて行う。

検出候補種別テーブル１３は、カメラ１１により取得される画像に写り込むことが推定される検出候補の種別が予め定義されているテーブルである。
種別構造定義テーブル１４は、検出候補種別テーブル１３に定義されている検出候補の種別毎の構造上の特徴（形状や大きさなど）が予め定義されているテーブルである。

仮説生成部１５は、カメラ１１が取得した画像に写り込んでいる検出候補についての種別の組み合わせを、種別の仮説として複数生成する。なお、この種別の仮説は、検出候補種別テーブル１３に定義されている種別と、種別構造定義テーブル１４に定義されている各種別の構造上の特徴とを検出候補第一抽出部１２−１及び検出候補第二抽出部１２−２が抽出した検出候補に対応付けることで得られる。

評価点テーブル１６は、カメラ１１により取得される画像における所定の種別の検出候補間での相互関係について推定される所定の検出候補間条件に対応付けて、評価点が予め設定されているテーブルである。

評価部１７は、仮説生成部１５が生成した種別の仮説の評価を行う。この評価は、仮説生成部１５が生成した種別の仮説のうち上述した所定の検出候補間条件を有しているものに対し、評価点テーブル１６において当該所定の検出候補間条件に対応付けて設定されている評価点を与えることによって行われる。

検出部１８は、仮説生成部１５が生成した種別の仮説のうちの１つを評価部１７による評価結果に基づいて選択することで、カメラ１１により取得された画像に写り込んでいる検出候補の種別を特定する。検出部１８によるこの選択は、仮説生成部１５が生成した種別の仮説のうちで評価部１７により与えられた評価点の合計が最大であるものを選択することにより行われる。そして、特定された種別が検出対象物の種別と一致する検出候補を検出し、この一致した検出候補を示す情報を、検出結果情報として出力する。この検出結果情報が、図２の対象物検出装置の出力、すなわち、カメラ１１で撮影した画像内における検出対象物の像の検出結果である。

センサ部１９は、前述した画像をカメラ１１が撮影したときの検出対象物の周囲の環境を検知して、その環境を表す環境情報を出力する。なお、本実施例では、センサ部１９が照度センサ１９−１と降雨センサ１９−２とを備えている。

照度センサ１９−１及び降雨センサ１９−２は、検出対象物の近傍（例えば、検出対象物である車両が走行する道路の脇）に設置される。ここで、照度センサ１９−１は検出対象物の周囲の照度を検知し、降雨センサ１９−２は検出対象物の周囲の降雨の有無を検知する。

センサ部１９は、照度センサ１９−１が検出した照度と所定の閾値とを比較し、当該照度が当該閾値以上であれば、「昼間」を表す情報を、環境情報として出力し、当該照度が当該閾値未満であれば、「夜間」を表す情報を、環境情報として出力する。また、センサ部１９は、降雨センサ１９−２が降雨を検知している間は「降雨有り」を表す情報を、環境情報として出力し、降雨を検知していない間は「降雨無し」を表す情報を、環境情報として出力する。

非存在ＩＤ定義テーブル２０は、検出候補種別テーブル１３に定義されている検出候補の種別のうち、所定の環境下では生じることがないと推定される種別が、当該所定の環境に対応付けられて予め定義されているテーブルである。

仮説生成制御部２１は、センサ部１９から出力される環境情報と、非存在ＩＤ定義テーブル２０によりなされている定義とに基づいて仮説生成部１５を制御して、当該環境情報により表されている環境下では生じることがないと推定される仮説の生成を制限する。

なお、本実施例では、センサ部１９から出力された環境情報は評価部１７にも入力される。前述した評価点テーブル１６には、更に、カメラ１１により取得される画像における所定の種別の検出候補と、センサ部１９から出力される環境情報との関係について推定される所定の環境条件にも対応付けて評価点が予め設定されている。評価部１７は、仮説生成部１５が生成する種別の仮説のうちで上述した所定の環境条件を有しているものに対しても、評価点テーブル１６においてその所定の環境条件に対応付けて設定されている評価点を与える。検出部１８は、仮説生成部１５が生成した種別の仮説のうちで評価部１７により与えられた評価点の合計が最大であるものを選択することで、カメラ１１により取得された画像に写り込んでいる検出候補の種別を特定して、検出対象物を検出する。

図２の対象物検出装置は以上のように構成されており、この構成によって、道路を走行中の車両を撮影して得られた画像から当該車両の像の検出を行う。
次に図３について説明する。図３は、検出候補種別テーブル１３のデータ例である。

図３のデータ例において、「種別名」は、カメラ１１が撮影する画像に写り込むことが推定される検出候補の種別であり、この例では、「車両」、「歩行者」、「反射」、及び「影」の各種別がこの項目で定義されている。また、「種別ＩＤ」は、これらの種別の各々に与えられている識別子であり、この例では、「Ｔ１」と「車両」とが対応付けられており、「Ｔ２」と「歩行者」、「Ｔ３」と「反射」、及び、「Ｔ４」と「影」が、それぞれ対応付けられている。

次に図４について説明する。図４は、種別構造定義テーブル１４のデータ例である。
図４のデータ例において、「種別ＩＤ」は、検出候補の種別の各々に与えられている識別子であり、検出候補種別テーブル１３の項目との対応関係を明らかにするものである。また、「特徴（形状等）」は、「種別ＩＤ」で特定される検出候補の種別についての構造上の特徴（形状や大きさなど）である。図４のデータ例では、「種別ＩＤ」が「Ｔ１」である検出候補（すなわち「車両」）は、「幅：２ｍ，長さ：５ｍ」という構造上の特徴を有していることが定義されている。また、「種別ＩＤ」が「Ｔ２」である検出候補（すなわち「歩行者」）は、「幅：０．６ｍ，長さ：１．２ｍ」という構造上の特徴を有していることが定義されている。

なお、本実施例では、検出候補種別テーブル１３と種別構造定義テーブル１４とを別個のテーブルとしている。この代わりに、例えば種別構造定義テーブル１４における「特徴（形状等）」の項目を検出候補種別テーブル１３に設けるようにして、検出候補種別テーブル１３と種別構造定義テーブル１４とを１つのテーブルに纏めてもよい。

次に図５について説明する。図５は、評価点テーブル１６のデータ例である。
図５のデータ例において、「条件」は、画像における所定の種別の検出候補間での相互関係について推定される検出候補間条件、若しくは、当該画像における所定の種別の検出候補と環境情報との関係について推定される所定の環境条件を表している。

例えば、図５における「距離（Ｔ１，Ｔ１）＜１ｍ」は検出候補間条件である。図３の検出候補種別テーブル１３の例において「Ｔ１」は「車両」と定義されている。従って、この検出候補間条件は、種別が「車両」である２つの検出候補間の距離が１メートル未満であるという条件を表している。

図５のデータ例において、「評価ポイント」は、「条件」の項目で表されている検出候補間条件・環境条件に対応付けて設定されている評価点である。本実施例においては、道路を走行中の２台の車両間の距離が１メートル未満になることは、カメラ１１の撮影場所である道路を通行している車両では起こり得る可能性が低いという知識が実世界に存在しているものとする。図５のデータ例では、この知識を反映し、「距離（Ｔ１，Ｔ１）＜１ｍ」の検出候補間条件に対し、「−３０」という、低い「評価ポイント」が設定されている。

また、図３の検出候補種別テーブル１３の例において「Ｔ４」は「影」と定義されている。従って、図５における検出候補間条件「距離（Ｔ１，Ｔ４）＜２ｍ」は、種別が「車両」である検出候補と、種別が「影」である検出候補との距離が２メートル未満であるという条件を表している。本実施例においては、この条件を満たすことは、カメラ１１の撮影場所である道路を通行している車両では起こり得る可能性が高いという知識が実世界に存在しているものとする。図５のデータ例では、この知識を反映し、「距離（Ｔ１，Ｔ４）＜２ｍ」の検出候補間条件に対し、「＋１０」という、高い「評価ポイント」が設定されている。

また、図５における「Ｔ３が存在＆環境＝雨」は環境条件である。図３の検出候補種別テーブル１３の例において「Ｔ３」は「反射」と定義されている。この環境条件は、カメラ１１で得られた画像内に種別が「反射」である検出候補が存在し、且つ、センサ部１９が出力する環境情報が「降雨有り」を表している。本実施例においては、この条件を満たすことは、カメラ１１の撮影場所である道路を通行している車両では起こり得る可能性が高いという知識が実世界に存在しているものとする。図４のデータ例では、この知識を反映し、「Ｔ３が存在＆環境＝雨」の環境条件に対し、「＋２０」という、極めて高い「評価ポイント」が設定されている。

次に図６について説明する。図６は、非存在ＩＤ定義テーブル２０のデータ例である。
図６のデータ例において、「環境」は、センサ部１９から出力される環境情報により表されている環境である。また、「非存在ＩＤ（種別ＩＤ）」は、「環境」で特定される環境下では生じることがないと推定される検出候補の種別の定義を、検出候補種別テーブル１３に示されている種別ＩＤを用いて表したものである。

図６の例では、環境情報により表されている環境が「夜間」である場合には、種別ＩＤ「Ｔ４」（すなわち「影」）が、生じることがないと推定される種別として定義されている。また、環境情報により表されている環境が「降雨無し」である場合には、種別ＩＤ「Ｔ３」（すなわち、濡れた路面での「反射」）が、生じることがないと推定される種別として定義されている。

次に図７について説明する。図７には、図２の対象物検出装置の一部として動作させることのできるコンピュータ３０の構成例が図解されている。
このコンピュータ３０は、ＭＰＵ３１、ＲＯＭ３２、ＲＡＭ３３、ハードディスク装置３４、入力装置３５、表示装置３６、インタフェース装置３７、及び記録媒体駆動装置３８を備えている。なお、これらの構成要素はバス３９を介して接続されており、ＭＰＵ３１の管理の下で各種のデータを相互に授受することができる。

ＭＰＵ（Micro Processing Unit）３１は、このコンピュータ３０全体の動作を制御する演算処理装置である。
ＲＯＭ（Read Only Memory）３２は、所定の基本制御プログラムが予め記録されている読み出し専用半導体メモリである。ＭＰＵ３１は、この基本制御プログラムをコンピュータ３０の起動時に読み出して実行することにより、このコンピュータ３０の各構成要素の動作制御が可能になる。

ＲＡＭ（Random Access Memory）３３は、ＭＰＵ３１が各種の制御プログラムを実行する際に、必要に応じて作業用記憶領域として使用する、随時書き込み読み出し可能な半導体メモリである。

ハードディスク装置３４は、ＭＰＵ３１によって実行される各種の制御プログラムや各種のデータを記憶しておく記憶装置である。なお、コンピュータ３０を図２の対象物検出装置の一部として動作させる場合には、ハードディスク装置３４に予め検出候補種別テーブル１３、種別構造定義テーブル１４、評価点テーブル１６、及び非存在ＩＤ定義テーブル２０を格納しておくようにする。

ＭＰＵ３１は、ハードディスク装置３４に記憶されている所定の制御プログラムを読み出して実行することにより、後述する制御処理を行えるようになる。
入力装置３５は、例えばキーボード装置やマウス装置であり、コンピュータ３０の使用者により操作されると、その操作内容に対応付けられている使用者からの各種情報の入力を取得し、取得した入力情報をＭＰＵ３１に送付する。

表示装置３６は例えば液晶ディスプレイであり、ＭＰＵ３１から送付される表示データに応じて各種のテキストや画像を表示する。
インタフェース装置３７は、このコンピュータ３０に接続される各種機器との間での各種データの授受の管理を行う。より具体的には、インタフェース装置３７は、カメラ１１から送られてくる撮影画像信号のアナログ−デジタル変換や、照度センサ１９−１及び降雨センサ１９−２から送られてくる検知データの取り込みなどを行う。

記録媒体駆動装置３８は、可搬型記録媒体４０に記録されている各種の制御プログラムやデータの読み出しを行う装置である。ＭＰＵ３１は、可搬型記録媒体４０に記録されている所定の制御プログラムを、記録媒体駆動装置３８を介して読み出して実行することによって、後述する各種の制御処理を行うようにすることもできる。なお、可搬型記録媒体４０としては、例えばＣＤ−ＲＯＭ（Compact Disc Read Only Memory）やＤＶＤ−ＲＯＭ（Digital Versatile Disc Read Only Memory）などがある。

このように、コンピュータ３０はごく標準的な構成を有するものである。このような構成を有するコンピュータ３０を、検出候補第一抽出部１２−１、検出候補第二抽出部１２−２、仮説生成部１５、評価部１７、検出部１８、センサ部１９、及び仮説生成制御部２１として機能させることができる。このためには、まず、後述する対象物検出処理の処理内容をＭＰＵ３１に行わせるための制御プログラムを作成する。作成した制御プログラムはハードディスク装置３４若しくは可搬型記録媒体４０に予め格納しておく。そして、ＭＰＵ３１に所定の指示を与えてこの制御プログラムを読み出させて実行させる。こうすることで、ＭＰＵ３１が、図２の対象物検出装置における前述した各構成要素として機能するようになり、このコンピュータ３０を用いて図２の対象物検出装置を構成することが可能になる。

次に図８Ａ及び図８Ｂについて説明する。図８Ａ及び図８Ｂは、図７のコンピュータ３０におけるＭＰＵ３１により行われる対象物検出処理の処理内容を図解したフローチャートである。

この対象物検出処理の実行が開始されると、まず、図８ＡのＳ１０１において、撮影画像の取得処理が行われる。この処理では、まず、カメラ１１に所定の撮影指示を与えて、道路を走行中の車両を撮影させる処理が行われる。次に、得られた検出対象物（すなわち車両）の像を含む画像を、カメラ１１からインタフェース装置３７を介してコンピュータ３０に取り込み、その画像を表している画像データをＲＡＭ３３の所定の領域に格納する処理が行われる。また、この処理の実行時に照度センサ１９−１及び降雨センサ１９−２から出力されている検知データを、インタフェース装置３７を介してコンピュータ３０に取り込んでＲＡＭ３３の所定の領域に格納する処理も行われる。

次に、Ｓ１０２では、検出候補の抽出処理が行われる。この処理は、図２における検出候補第一抽出部１２−１及び検出候補第二抽出部１２−２の機能を提供するための処理である。

このＳ１０２の処理では、まず、Ｓ１０１の処理によってＲＡＭ３３に格納された画像データを読み出す処理が行われる。次に、読み出された画像データで表されている画像に写り込んでいる、検出対象物である像を含む１以上の要素を、検出候補として画像から抽出する処理が行われる。なお、本実施例では、検出候補の抽出を、２つの異なる手法、より具体的には、背景差分法とパターンマッチング法とを用いて行う。この２つの手法について説明する。

まず、背景差分法について、図９を参照しながら説明する。図９において、［１］の入力画像は、Ｓ１０１の処理によってカメラ１１に撮影動作を行わせて得られた、道路を走行中の車両の画像である。また、［２］の背景画像は、カメラ１１で予め撮影しておいた、背景のみ（本実施例では道路のみ）の画像である。背景差分法では、［１］の入力画像と［２］の背景画像との画素毎の差分を計算して、［３］の差分画像を得る。そして、この差分画像において、差分値の絶対値が所定の閾値以上である画素の集合からなる領域を、［１］の入力画像から抽出する。このようにして得られた領域に含まれる部分画像を、検出候補とする。

次にパターンマッチング法について説明する。パターンマッチング法では、まず、カメラ１１での撮影画像に写ることが予想される要素の各々の形状パターンを、予め用意しておく。その上で、Ｓ１０１の処理によってカメラ１１に撮影動作を行わせて得られた、道路を走行中の車両の画像（入力画像）に対し、エッジ抽出処理を施してエッジ画像を生成する。ここで、生成されたエッジ画像に、用意しておいた形状パターンと同一若しくは相似の形状が存在すれば、その形状で囲まれる領域を、入力画像から抽出する。このようにして得られた領域に含まれる部分画像を、検出候補とする。

なお、検出候補の抽出を、上述した背景差分法及びパターンマッチング法以外の手法を用いて行うようにしてもよい。また、本実施例では、２つの手法を用いて検出候補の抽出を行ったが、検出候補の抽出に用いる手法の数は任意でよい。

なお、本実施例では、図２の対象物検出装置において、検出候補第一抽出部１２−１が背景差分法により検出候補の抽出を行うものとし、検出候補第二抽出部１２−２がパターンマッチング法により検出候補の抽出を行うものとする。また、本実施例では、検出候補第一抽出部１２−１及び検出候補第二抽出部１２−２でも、抽出した検出候補の種別を独自に判別する処理を行うものとする。

ここで図１０について説明する。図１０は、検出候補第一抽出部１２−１及び検出候補第二抽出部１２−２による処理結果の一例である。
図１０の例において、「［１］検出結果Ａ」のテーブルは、検出候補第一抽出部１２−１による処理結果を表しており、「［２］検出結果Ｂ」のテーブルは、検出候補第二抽出部１２−２による処理結果を表している。

検出候補第一抽出部１２−１及び検出候補第二抽出部１２−２は、画像から抽出した検出候補の各々に対し、検出候補を個々に識別するための識別子（検出候補ＩＤ）を付与する。図１０の例において、例えば、検出候補第一抽出部１２−１が抽出した「Ｓ１−１」なる検出候補ＩＤが付与された検出候補は、画像上の位置を特定するＸＹ座標が（７０，６０）である位置に存在し、その種別が「Ｔ１」であると判別されていることを表している。

なお、本実施例では、検出候補の種別を、図３に例示した検出候補種別テーブル１３において定義されている種別名を用いて表すものとする。従って、上述の例では、「Ｓ１−１」なる検出候補の種別「Ｔ１」は、「車両」であることを表している。

なお、図８ＡのＳ１０２の処理では、検出候補の抽出後に、図１０に例示した検出結果のテーブルをＲＡＭ３３の所定の領域に格納する処理も行われる。
図８Ａの説明を進める。Ｓ１０２の処理に続くＳ１０３では、検出候補の合成処理が行われる。この処理は、Ｓ１０２の検出候補の抽出処理で異なる手法により抽出された検出候補を合成する処理であり、より具体的には、異なる手法により抽出された検出候補を、カメラ１１が取得した画像上に配置する処理である。この合成処理について、図１１を用いて説明する。

図１１において、「［１］検出結果Ａ」及び「［２］検出結果Ｂ」の画像は、図１０のテーブルに示されている検出候補の位置を、カメラ１１が取得した画像上に示したものである。すなわち、「［１］検出結果Ａ」の画像は、座標（７０，６０）及び（１２０，１００）の位置にそれぞれ点Ｓ１−１及びＳ１−２を配置して、これらの位置から検出候補「Ｓ１−１」及び「Ｓ１−２」を抽出したことを表している。また、「［２］検出結果Ｂ」の画像は、座標（７０，６０）の位置に点Ｓ２−１を配置して、この位置から検出候補「Ｓ２−１」を抽出したことを表している。

Ｓ１０３の合成処理では、この「［１］検出結果Ａ」及び「［２］検出結果Ｂ」の画像にそれぞれ付した点Ｓ１−１及びＳ１−２並びにＳ２−１を、１枚の画像上に重ねて配置する処理を行う。図１１における「［３］検出結果の合成結果」の画像は、この合成処理により得られるものである。

なお、Ｓ１０２の検出候補の抽出処理において、１つの手法のみで検出候補の抽出を行う場合には、このＳ１０３の合成処理は不要であり、抽出処理の処理結果をそのまま用いて以降の処理を進める。

図８Ａの説明を進める。なお、これより説明するＳ１０４からＳ１０９までの処理のうち、Ｓ１０５及びＳ１０７の処理はそれぞれ図２におけるセンサ部１９及び仮説生成制御部２１の機能を提供するための処理であり、その他の処理は仮説生成部１５の機能を提供するための処理である。

まず、Ｓ１０３の処理に続くＳ１０４では、組み合わせパターンの一覧を生成する処理が行われる。この処理では、Ｓ１０２及びＳ１０３の処理により得られた、単一の画像から抽出された各検出候補に対し、検出候補種別テーブル１３に定義されている種別を総当りで割り当てて、当該画像における各検出候補の種別の組み合わせパターンの一覧を生成する。この各検出候補の種別の組み合わせパターンについて、図１２を用いて説明する。

例えば、図１２に表されている「検出結果」の画像のように、カメラ１１で取得された画像から、検出候補Ｓａ及びＳｂが抽出された場合を考える。この場合において、検出候補Ｓｂの種別は、［１］パターンＡのように「車両」（普通車）である検出候補Ｓａの「影」である場合が想定でき、［２］パターンＢのように検出候補Ｓｂが「車両」（普通車）である場合も想定できる。また、検出候補Ｓｂの種別は、［３］パターンＣのように検出候補Ｓｂが「歩行者」である場合も想定できる。更には、検出候補Ｓｂの種別は、検出候補種別テーブル１３に定義されている他のものである場合も想定できる。更には、図１２のパターンＡ、Ｂ、及びＣでは、検出候補Ｓａの種別は全て「車両」（普通車）としているが、この検出候補Ｓａの種別も、検出候補種別テーブル１３に定義されている他のものである場合も想定できる。

このＳ１０４の処理においては、特に制限を加えることなく、単一の画像から抽出された各検出候補に対し、検出候補種別テーブル１３に定義されている種別を総当りで単純に割り当てて、想定し得る各検出候補の種別の組み合わせパターンの一覧を生成する。図１３は、このＳ１０４の処理により生成される、各検出候補の種別の組み合わせパターンの一覧の例である。

図１３の一覧は、図１０及び図１１に例示した３つの検出候補Ｓ１−１及びＳ１−２並びにＳ２−１に対し、図３に例示した検出候補種別テーブル１３に定義されている４種類の種別（種別ＩＤ）を用いて生成した一覧である。なお、図１３の例では、その一覧の一部（組み合わせパターンＨ１〜Ｈ５）のみを表しているが、実際には、この場合の組み合わせパターンは、Ｈ１からＨ６４までの計６４通り（＝４×４×４）生成される。

なお、Ｓ１０４の処理では、上述のようにして作成した組み合わせパターンの一覧のテーブルを、ＲＡＭ３３の所定の領域に格納する処理も行われる。
Ｓ１０４の処理に続くＳ１０５では環境情報の取得処理が行われる。この処理では、まず、Ｓ１０１の処理においてＲＡＭ３３に格納しておいた、照度センサ１９−１及び降雨センサ１９−２の検知データを読み出す。次に、照度センサ１９−１の検知データと所定の閾値とを比較する。そして、検知データで表されている照度が当該閾値以上であれば「昼間」を表す情報を環境情報として生成し、当該照度が当該閾値未満であれば「夜間」を表す情報を環境情報として生成する。更に、降雨センサ１９−２の検知データを調べ、降雨があることを当該検知データが表しているときは、「降雨有り」を表す情報を環境情報として生成し、当該検知データが降雨のないことを表しているときは、「降雨無し」を表す情報を環境情報として生成する。以上のようにして生成した環境情報は、ＲＡＭ３３の所定の領域に格納しておく。

次に、Ｓ１０６では、Ｓ１０４の処理でＲＡＭ３３に格納した各検出候補の種別の組み合わせパターンの一覧のテーブルから、次のＳ１０７の判定処理を行っていない組み合わせパターンを１つ取り出す処理が行われる。

次に、Ｓ１０７では、非存在ＩＤ定義テーブル２０において、Ｓ１０５の処理で取得した環境情報に対応付けられて定義されている種別ＩＤが、直近に行われたＳ１０６の処理で取り出された組み合わせパターンに含まれているか否かを判定する処理が行われる。ここで、そのような種別ＩＤが組み合わせパターンに含まれていると判定されたとき（判定結果がＹｅｓのとき）には、Ｓ１０９に処理を進める。一方、そのような種別ＩＤが組み合わせパターンに含まれていないと判定されたとき（判定結果がＮｏのとき）には、Ｓ１０８に処理を進める。

Ｓ１０８では、直近に行われたＳ１０６の処理により取り出され、続くＳ１０７の判定処理の結果がＮｏであった組み合わせパターンに対し、種別構造定義テーブル１４に基づいた仮説を生成する処理が行われる。

Ｓ１０９では、Ｓ１０４の処理でＲＡＭ３３に格納した各検出候補の種別の組み合わせパターンの一覧のテーブルに、Ｓ１０７の判定処理を行っていない組み合わせパターンが残っているか否かを判定する処理が行われる。ここで、未処理の組み合わせパターンが残っていると判定されたとき（判定結果がＹｅｓのとき）には、Ｓ１０６に処理を戻し、残っている未処理の組み合わせパターンについてＳ１０６以降の処理が行われる。一方、全ての組み合わせパターンについてＳ１０７の判定処理を終えていたとき（判定結果がＮｏのとき）には、Ｓ１１０（図８Ｂ）に処理を進める。

以上のＳ１０６からＳ１０９までの処理を、前述した図６の非存在ＩＤ定義テーブル２０及び図４の種別構造定義テーブル１４のデータ例を用いて更に説明する。
まず、図６のデータ例では、環境情報により表されている環境が「夜間」である場合には、種別ＩＤ「Ｔ４」（すなわち「影」）が、生じることがないと推定される種別として定義されている。また、環境情報により表されている環境が「降雨無し」である場合には、種別ＩＤ「Ｔ３」（すなわち、濡れた路面での「反射」）が、生じることがないと推定される種別として定義されている。例えば、Ｓ１０５の処理により、「夜間」且つ「降雨有り」の環境情報が得られた場合を想定する。この場合、図１２に例示した非存在ＩＤ定義を用いると、種別ＩＤ「Ｔ４」（すなわち「影」）が、非存在ＩＤとして設定される。ここで、図１１に例示した各検出候補の種別の組み合わせパターンの一覧において、種別ＩＤ「Ｔ４」を含むものは、パターンＨ４であり、パターンＨ１、Ｈ２、Ｈ３、及びＨ５は、種別ＩＤ「Ｔ４」を含まない。従って、Ｓ１０７の判定処理は、パターンＨ４については判定結果がＹｅｓとなってＳ１０８の処理をスキップさせる一方、パターンＨ１、Ｈ２、Ｈ３、及びＨ５については判定結果がＮｏとなって次のＳ１０８の処理を行わせる。

ここで図１４について説明する。図１４は、図１３に例示した組み合わせパターンの一覧に、仮説生成制限フラグを追加したテーブルである。
仮説生成制限フラグは、Ｓ１０６からＳ１０９までの処理のループにおいて繰り返し行われるＳ１０７の判定処理の結果を示すフラグである。つまり、Ｓ１０７の判定処理の結果がＹｅｓとなったパターンＨ４については仮説生成制限フラグを「１」とし、次のＳ１０８の処理で行われる仮説の生成を行わないことを表している。その一方、Ｓ１０７の判定処理の結果がＮｏとなった他のパターンＨ１、Ｈ２、Ｈ３、及びＨ５については仮説生成制限フラグを「０」とし、次のＳ１０８の処理で行われる仮説の生成を行うことを表している。

次に図１５について説明する。図１５は、Ｓ１０８の処理による仮説の生成例である。この例は、図４の種別構造定義テーブル１４のデータ例を用いて、図１１の「［３］検出結果の合成結果」の画像に対し仮設の生成を行ったものである。

まず、図１５における「仮説Ｈ１」の画像について説明する。
図１４に例示した組み合わせパターンの一覧において、パターンＨ１は、検出候補Ｓ１−１、Ｓ１−２、及びＳ２−１のいずれも種別がＴ１（すなわち「車両」）である。ここで、図４の種別構造定義テーブル１４を参照すると、種別Ｔ１である検出候補の特徴は、「幅：２ｍ，長さ：５ｍ」と定義されている。そこで、Ｓ１０８の処理では、図１１の上述の画像における点Ｓ１−１を中心として、「幅：２ｍ，長さ：５ｍ」の矩形物体に相当する像を画像上に配置する。なお、物体の像の画像上での大きさは、例えば、予め実測しておいた物体の大きさとその像の画像上での大きさとの倍率を用いて、検出候補の特徴を変換して求めるようにする。

また、Ｓ１０８の処理では、検出候補Ｓ１−２及びＳ２−１についても同様の処理が行われる。すなわち、図１１の上述の画像における点Ｓ１−２及びＳ２−１を中心として、「幅：２ｍ，長さ：５ｍ」の矩形物体に相当する像を画像上にそれぞれ配置する。Ｓ１０８の処理はこのようにして、パターンＨ１における検出候補Ｓ１−１、Ｓ１−２、及びＳ２−１に構造上の特徴を付加して仮説の生成を行い、「仮説Ｈ１」の画像を得る。得られた画像はＲＡＭ３３の所定の領域に格納しておく。

次に、図１５における「仮説Ｈ２」の画像について説明する。
図１４に例示した組み合わせパターンの一覧において、パターンＨ２は、検出候補Ｓ１−１及びＳ１−２は種別がＴ１（すなわち「車両」）であり、検出候補Ｓ２−１は種別がＴ２（すなわち「歩行者」）である。図４の種別構造定義テーブル１４を参照すると、種別Ｔ１である検出候補の特徴は、「幅：２ｍ，長さ：５ｍ」と定義されており、種別Ｔ２である検出候補の特徴は、「幅：０．６ｍ，長さ：１．２ｍ」と定義されている。

そこで、Ｓ１０８の処理では、図１１の上述の画像における点Ｓ１−１及びＳ１−２を中心として、「幅：２ｍ，長さ：５ｍ」の矩形物体に相当する像を画像上にそれぞれ配置する。また、図１１の上述の画像における点Ｓ２−１については、その位置を中心として、「幅：０．６ｍ，長さ：１．２ｍ」の矩形物体に相当する像を画像上にそれぞれ配置する。このようにしてパターンＨ２についての仮説の生成が行われて「仮説Ｈ２」の画像が得られる。得られた画像はＲＡＭ３３の所定の領域に格納しておく。

Ｓ１０８の処理では、各検出候補の種別の組み合わせパターンに対し、以上のようにして仮説の生成を行う。但し、図１４の一覧のうち、パターンＨ４については、Ｓ１０７の判定処理の結果がＹｅｓとなる（仮説生成制限フラグが「１」である）ので、Ｓ１０８の処理は行われない。従って「仮説Ｈ４」の画像の生成は行われない。このようにして「仮説Ｈ４」の画像の生成を抑制することで、対象物検出処理の処理コストが削減される。

次に、図８Ｂについて説明する。
図８ＡのＳ１０９の判定処理の結果がＮｏとなると、Ｓ１１０の処理が行われる。なお、これより説明するＳ１１０からＳ１１２までの処理は、図２における評価部１７の機能を提供するための処理である。

Ｓ１１０では、Ｓ１０８の処理でＲＡＭ３３に格納した仮説の画像から、次のＳ１１１の評価点算出の処理を行っていない画像を１つ取り出す処理が行われる。
次に、Ｓ１１１では、Ｓ１１０の処理で取り出した仮説の画像とＳ１０５の処理で取得した環境情報とに対し、評価点テーブル１６に定義されている検出候補間条件・環境条件を適用し、適用できた条件に対応付けられている評価点を合計する処理が行われる。このＳ１１１の処理を、図５の評価点テーブル１６のデータ例を用いて説明する。

まず、仮説の画像（構造上の特徴が各検出候補に付加された画像）から、図５の評価点テーブル１６に定義されている検出候補間条件「距離（Ｔ１，Ｔ１）＜１ｍ」、すなわち種別が「車両」である２つの検出候補間の距離が１メートル未満という条件を探索する。ここで、この条件が仮説の画像に含まれていた場合には、当該仮説の画像に対し、図５の評価点テーブル１６において当該条件に対応付けて設定されている、低い評価点「−３０」を与える。

続いて、仮説の画像から、図５の評価点テーブル１６に定義されている検出候補間条件「距離（Ｔ１，Ｔ４）＜２ｍ」、すなわち、種別が「車両」である検出候補と、種別が「影」である検出候補との距離が２メートル未満であるという条件を探索する。ここで、この条件が仮説の画像に含まれていた場合には、当該仮説の画像に対し、図５の評価点テーブル１６において当該条件に対応付けて設定されている評価点「＋１０」を与える。

更に続いて、この仮説の画像とＳ１０５の処理で取得した環境情報とから、図５の評価点テーブル１６に定義されている検出候補間条件「Ｔ３が存在＆環境＝雨」を探索する。すなわち、種別が「反射」である検出候補が存在するという条件を探索し、加えて、ＲＡＭ３３に格納しておいた環境情報が「降雨有り」を表しているか否かを判定する。ここで、この環境条件を満たしていた場合には、当該仮説の画像に対し、図５の評価点テーブル１６において当該条件に対応付けて設定されている、高い評価点「＋２０」を与える。

Ｓ１１１の処理では、処理対象の仮設の画像に対し、以上のようにして評価点を与え、そして、その評価点の合計値を計算する処理が行われる。この評価値の合計値は、例えば図１６のように、仮説生成制限フラグを追加しておいた組み合わせパターンの一覧に、各パターンに基づいて生成した仮説の画像についての当該合計値を対応付けてＲＡＭ３３に格納しておくようにする。

次に、Ｓ１１２では、Ｓ１０８の処理でＲＡＭ３３に格納した仮説の画像に、Ｓ１１１の評価点算出の処理を行っていない画像が残っているか否かを判定する処理が行われる。ここで、未処理の仮説の画像が残っていると判定されたとき（判定結果がＹｅｓのとき）には、Ｓ１１０に処理を戻し、残っている未処理の仮説の画像についてＳ１１０以降の処理が行われる。一方、全ての仮説の画像についてＳ１１１の処理を終えていたとき（判定結果がＮｏのとき）には、Ｓ１１３に処理を進める。

これより説明するＳ１１３及びＳ１１４の処理は、図２における検出部１８の機能を提供するための処理である。
まず、Ｓ１１３では、Ｓ１１１の評価点算出の処理において、評価点の合計が最大であった仮説の画像に対応する検出候補の組み合わせパターンを選択する処理が行われる。図１６のデータ例では、「合計評価ポイント」が最大の「＋２００」である、パターンＨ３が選択される。

次に、Ｓ１１４では、検出結果情報の出力処理が行われる。この処理では、Ｓ１１３の処理により選択された組み合わせパターンと共に、当該パターンに対応する仮説の画像、及び、当該パターンにおいて、予め指定されていた検出対象物（例えば「車両」）と種別ＩＤが一致している検出候補ＩＤとが出力される。これらの検出結果情報は、例えば表示装置３６に表示して出力される。このＳ１１４の処理が完了すると、図８Ａ及び図８Ｂに図解した対象物検出処理が終了する。

上述した対象物検出処理をＭＰＵ３１が行うことで、カメラ１１が撮影して取得した画像からの検出対象物の検出動作を、図７のコンピュータ３０で行うことが可能になる。
なお、以上の説明では、車両を検出対象物とし、道路を走行中の車両を撮影して得られた画像から当該車両の像を検出する対象物検出装置の実施例として、図２の対象物検出装置を説明したが、この対象物検出装置は、他のものを検出することもできる。例えば、様々な環境下での撮影により得た人の目の画像から瞳孔を検出して瞼による影の誤検出を減らす用途に、この対象物検出装置を使用することもできる。

１ 入力データ
２ 検出候補抽出処理
３ 仮説生成
４ 仮説評価
５ 検出結果
６ 環境判別
７ 仮説限定情報生成
８ 評価調整
９ 対象知識
１１ カメラ
１２−１ 検出候補第一抽出部
１２−２ 検出候補第二抽出部
１３ 検出候補種別テーブル
１４ 種別構造定義テーブル
１５ 仮説生成部
１６ 評価点テーブル
１７ 評価部
１８ 検出部
１９ センサ部
１９−１ 照度センサ
１９−２ 降雨センサ
２０ 非存在ＩＤ定義テーブル
２１ 仮説生成制御部
３０ コンピュータ
３１ ＭＰＵ
３２ ＲＯＭ
３３ ＲＡＭ
３４ ハードディスク装置
３５ 入力装置
３６ 表示装置
３７ インタフェース装置
３８ 記録媒体駆動装置
３９ バス
４０ 可搬型記録媒体

Claims (7)

1. 検出対象物の画像に写り込んでいる、該検出対象物の像を含む１以上の要素を、検出候補として該画像から抽出する検出候補抽出手段と、
   該画像に写り込むことが推定される検出候補の種別が予め定義されている検出候補種別テーブルと、
   該検出候補種別テーブルに定義されている種別を該検出候補抽出手段が抽出した検出候補に対応付けることで得られる、該画像に写り込んでいる検出候補についての種別の組み合わせを、種別の仮説として複数生成する仮説生成手段と、
   該画像における所定の種別の検出候補間での相互関係について推定される所定の検出候補間条件に対応付けて、評価点が予め設定されている評価点テーブルと、
   該種別の仮説のうち該所定の検出候補間条件を有しているものに対し、該評価点テーブルにおいて該所定の検出候補間条件に対応付けて設定されている評価点を与えることで、該種別の仮説を評価する評価手段と、
   該種別の仮説のうちの１つを該評価手段による評価結果に基づいて選択することで該画像に写り込んでいる検出候補の種別を特定し、特定された検出候補の種別に基づいて該検出対象物を検出する検出手段と、
   該画像を撮影したときの該検出対象物の周囲の環境を検知して該環境を表す環境情報を出力するセンサ部と、
   該環境情報に基づいて該仮説生成手段を制御して、該種別の仮説のうち、該環境情報により表されている環境下では生じることがないと推定される仮説の生成を制限する仮説生成制御手段と、
   を有することを特徴とする対象物検出装置。
2. 該検出対象物は車両であって、該画像は道路上を走行中の該車両の画像であり、
   該検出候補種別テーブルには、該検出候補の種別の１つとして、影が定義されており、
   該センサ部は、該環境の明るさを検知して昼間と夜間との区別を示す情報を該環境情報として出力し、
   該仮説生成制御手段は、該環境情報が夜間を示している場合には、該仮説生成手段を制御して、該種別の仮説のうち、該画像に写り込んでいる検出候補についての種別が夜である仮説の生成を制限する、
   ことを特徴とする請求項１に記載の対象物検出装置。
3. 該検出対象物は車両であって、該画像は道路上を走行中の該車両の画像であり、
   該検出候補種別テーブルには、該検出候補の種別の１つとして、反射光が定義されており、
   該センサ部は、該環境における降水を検知して降雨の有無を示す情報を該環境情報として出力し、
   該仮説生成制御手段は、該環境情報が降雨の無いことを示している場合には、該仮説生成手段を制御して、該種別の仮説のうち、該画像に写り込んでいる検出候補についての種別が反射光である仮説の生成を制限する、
   ことを特徴とする請求項１に記載の対象物検出装置。
4. 該評価点テーブルには、更に、該画像における所定の種別の検出候補と該環境情報との関係について推定される所定の環境条件に対応付けて評価点が予め設定されており、
   該評価手段は、該種別の仮説のうちで該所定の環境条件を有しているものに対しても、該評価点テーブルにおいて該所定の環境条件に対応付けて設定されている評価点を与える、
   ことを特徴とする請求項１から３のうちのいずれか１項に記載の対象物検出装置。
5. 該検出対象物は車両であって、該画像は道路上を走行中の該車両の画像であり、
   該検出候補種別テーブルには、該検出候補の種別の１つとして、反射光が定義されており、
   該センサ部は、該環境における降水を検知して降雨の有無を示す情報を該環境情報として出力し、
   該評価点テーブルには、種別が反射光である検出候補と降雨有りの場合を示している環境情報との関係に対応付けて正の評価点が予め設定されており、
   該検出手段による選択では、該種別の仮説のうちで該評価手段により与えられた評価点の合計が最大であるものを選択する、
   ことを特徴とする請求項４に記載の対象物検出装置。
6. 検出対象物の画像に写り込んでいる、該検出対象物の像を含む１以上の要素を、検出候補として該画像から抽出し、
   該画像に写り込むことが推定される検出候補の種別が予め定義されている検出候補種別テーブルに定義されている種別を、抽出した検出候補に対応付けることで得られる、該画像に写り込んでいる検出候補についての種別の組み合わせを、種別の仮説として複数生成し、
   該画像における所定の種別の検出候補間での相互関係について推定される所定の検出候補間条件に対応付けて評価点が予め設定されている評価点テーブルにおいて該所定の検出候補間条件に対応付けて設定されている評価点を、生成した種別の仮説のうち該所定の検出候補間条件を有しているものに対して与えることで、該生成した種別の仮説を評価し、
   該種別の仮説のうちの１つを該評価の結果に基づいて選択することで該画像に写り込んでいる検出候補の種別を特定し、特定された検出候補の種別に基づいて該検出対象物を検出し、
   該画像を撮影したときの該検出対象物の周囲の環境を検知して該環境を表す環境情報を出力するセンサ部により得られた該環境情報に基づいて該種別の仮説の生成を制御して、該種別の仮説のうち、該環境情報により表されている環境下では生じることがないと推定される仮説の生成を制限する、
   ことを特徴とする対象物検出方法。
7. 検出対象物の画像に写り込んでいる、該検出対象物の像を含む１以上の要素を、検出候補として該画像から抽出する検出候補抽出処理と、
   該画像に写り込むことが推定される検出候補の種別が予め定義されている検出候補種別テーブルに定義されている種別を、抽出した検出候補に対応付けることで得られる、該画像に写り込んでいる検出候補についての種別の組み合わせを、種別の仮説として複数生成する仮説生成処理と、
   該画像における所定の種別の検出候補間での相互関係について推定される所定の検出候補間条件に対応付けて評価点が予め設定されている評価点テーブルにおいて該所定の検出候補間条件に対応付けて設定されている評価点を、生成した種別の仮説のうち該所定の検出候補間条件を有しているものに対して与えることで、該生成した種別の仮説を評価する評価処理と、
   該種別の仮説のうちの１つを該評価手段による評価結果に基づいて選択することで該画像に写り込んでいる検出候補の種別を特定し、特定された検出候補の種別に基づいて該検出対象物を検出する検出処理と、
   該画像を撮影したときの該検出対象物の周囲の環境を検知して該環境を表す環境情報を出力するセンサ部により得られた該環境情報に基づいて該種別の仮説の生成を制御して、該種別の仮説のうち、該環境情報により表されている環境下では生じることがないと推定される仮説の生成を制限する仮説生成制御処理と、
   をコンピュータに行わせるためのプログラム。