JP4414054B2

JP4414054B2 - 物体認識装置

Info

Publication number: JP4414054B2
Application number: JP2000086192A
Authority: JP
Inventors: 守道西垣; 博光湯原; 友好青木; 雅和坂
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2000-03-27
Filing date: 2000-03-27
Publication date: 2010-02-10
Anticipated expiration: 2020-03-27
Also published as: JP2001273494A; DE10115080A1; US20010028729A1; DE10115080B4; US6775395B2

Description

【０００１】
【発明の属する技術分野】
この発明は、自動車などの車両に搭載された少なくとも２つのカメラによる撮像手段を用いて、前方の物体を検出する光学式の物体認識装置に関し、より具体的には、撮像された画像における複数のウィンドウを用いて、物体を認識する物体認識装置に関する。
【０００２】
【従来の技術】
近年、車両走行の安全性を向上させるため、自車両の前方にある物体の距離や大きさを判断し、これに応じて車両を適切に制御する装置が提案されている。
【０００３】
２つの受光素子からなる光学式距離計測装置を使用し、距離検出された被写体が物体か道路領域（路面上の文字／白線を含む）かを判断する手法に関連するものとして、特開平９−７９８２１号公報には、計算エリアごとに距離を算出し、距離が相互に一定範囲内であり、水平方向に一定値以内に近接する計算エリアをクラスタリングして、障害物が存在する領域を認識する装置が提案されている。このクラスタリングでは、距離が未測定の計算エリアも含めてクラスタリングされる。
【０００４】
同じ出願人による特願平１１−１６９５６７号には、それぞれのウィンドウについて計測された距離に従ってそれぞれのウィンドウに距離ラベルを付与し、該距離ラベルに基づいてウィンドウをクラスタリングすることにより、高速に物体を認識することのできる装置が記載されている。この距離ラベルは、計測される距離の誤差に応じて予め設定された距離範囲のそれぞれについて予め設定される。ウィンドウについて計測された距離が属する距離範囲に対応する距離ラベルが、該ウィンドウに付与されるので、同じ物体を表すウィンドウを正確にクラスタリングすることができ、よって正確に自車両前方の物体を認識することができる。
【０００５】
【発明が解決しようとする課題】
しかし、上記のような物体認識装置においても、撮像カメラの前方にある車両のフロントガラスに付着した雨滴や、画像に発生したノイズの影響により、物体を誤って認識することがある。これに対処するために、特開２０００−１９２５９号公報に開示されているような可視光線カメラ、赤外光線カメラ、降雨センサなどの外界センサによって悪天候時の車外の環境を認識する技術を使用して、雨滴の検出などを行おうとすると、コストが高くなるという問題がある。
【０００６】
一方、雨滴やノイズの影響に起因して物体を誤って認識するのを回避するために、物体認識自体の処理とは別個に、撮像された画像から物体を認識することの有効性判断の処理を実行すると、さらなる処理時間およびメモリ容量を必要とする。
【０００７】
したがって、この発明は、撮像された画像の有効性を、別センサを使用せずに、ウィンドウについて計測された距離に基づいて判断し、雨滴またはノイズの影響によって物体を誤って認識することのない物体認識装置を提供することを目的とする。
【０００８】
また、この発明の他の目的は、物体を認識するための処理の過程で物体認識の有効性を判断することにより、メモリ容量および処理時間の増大を抑制しつつ、物体認識の有効性を判断することができる物体認識装置を提供することである。
【０００９】
【課題を解決するための手段】
上記の課題を解決するため、請求項１の発明の物体認識装置は、所定の間隔をおいて配置された少なくとも２つの撮像手段と、該少なくとも２つの撮像手段で得られ、複数のウィンドウに分割された画像に基づいて、ウィンドウごとに対象物までの距離を計測する計測手段と、前記計測手段によって得られた計測距離およびウィンドウの位置に基づいてウィンドウをクラスタリングし、クラスタを形成するクラスタリング手段と、前記クラスタの属性に基づいて、クラスタの有効または無効を判断するクラスタ判別手段と、前記クラスタ判別手段によって有効と判断されたクラスタに基づいて、物体を認識する物体認識手段とを備えるという構成をとる。
【００１０】
請求項１の発明によると、物体認識処理の過程で使用するクラスタに基づいて物体認識の有効性を判断するので、処理の負荷を小さくすることができる。さらに、有効と判断されたクラスタに基づいて物体を認識するので、雨滴またはノイズの影響による誤った物体認識を回避することができる。
【００１１】
また、請求項２の発明は、請求項１の物体認識装置において、クラスタの属性がクラスタの面積であり、クラスタ判別手段が、クラスタに含まれるウィンドウの数および該ウィンドウのそれぞれの計測距離に基づいて、該クラスタの面積を算出し、該クラスタの面積が予め決められた値以上ならば該クラスタを有効と判断するという構成をとる。
【００１２】
請求項２の発明によると、クラスタの面積に基づいてクラスタの有効性を判断するので、雨滴またはノイズの影響によって形成されたクラスタと、物体を表すクラスタとを判別することができ、正確に物体を認識することができる。
【００１３】
請求項３の発明は、請求項１の物体認識装置において、クラスタの属性が、該クラスタに含まれるウィンドウ数であり、クラスタ判別手段が、該クラスタに含まれるウィンドウの数が、該クラスタに含まれるウィンドウの計測距離に従って予め決められたしきい値以上ならば、クラスタを有効と判断するという構成をとる。
【００１４】
請求項３の発明によると、クラスタに含まれるウィンドウ数に基づいてクラスタの有効性を判断するので、雨滴またはノイズの影響によって形成されたクラスタと、物体を表すクラスタとを判別することができ、正確に物体を認識することができる。
【００１５】
請求項４の発明は、請求項１から請求項３のいずれかの物体認識装置において、クラスタ判別手段によって無効と判断されたクラスタ数に基づいて、撮像された画像のフェイル状態を検出するフェイル検出手段を備えるという構成をとる。
【００１６】
請求項４の発明によると、無効と判断されたクラスタ数に基づいてフェイル状態を検出するので、画像におけるノイズの発生、または撮像カメラ前方のウィンドウへの雨滴の付着の影響により、ウィンドウの対象物までの距離が正確に計測することができなかお状態を検出することができ、物体が存在するにかかわらず該物体を検出できない状況を適切に判断することができる。
【００１７】
請求項５の発明は、請求項１から請求項３のいずれかの物体認識装置において、クラスタ判別手段によって無効と判断されたクラスタ数の、撮像手段によって撮像された画像に含まれるクラスタ総数に対する比率に基づいて、撮像された画像のフェイル状態を検出するフェイル検出手段を備えるという構成をとる。
【００１８】
請求項５の発明によると、無効と判断されたクラスタの比率に基づいてフェイル状態が検出されるので、画像におけるノイズの発生、または撮像カメラ前方のウィンドウへの雨滴の付着の影響により、ウィンドウの対象物までの距離が正確に計測することができなかった状態を検出することができ、物体が存在するにかかわらず該物体を検出できない状況を適切に判断することができる。
【００１９】
請求項６の発明は、請求項４または請求項５の物体認識装置において、フェイル検出手段によって、撮像された画像がフェイル状態と検出されたならば、物体認識手段による物体の認識、または前記物体認識手段によって認識された物体に基づく車両の制御を禁止するという構成をとる。
【００２０】
請求項６の発明によると、フェイル状態と検出された画像に基づく物体認識が禁止されるので、雨滴またはノイズによって影響された画像に基づく物体認識を回避することができる。
【００２１】
【発明の実施の形態】
次に図面を参照してこの発明の実施の形態を説明する。図１は、この発明の一実施例の物体認識装置の全体的なブロック図である。この物体認識において実行される物体認識の方法は、計測距離の算出、計測距離の距離ラベルへの変換、ウィンドウのクラスタリング、クラスタの有効性判断、フェイル状態の検出、および物体認識から構成される。
【００２２】
計測距離の算出処理では、撮像部３および３’によって撮像されメモリ５および５’に格納された画像から、ウィンドウ切り出し部１３がウィンドウを切り出し、相関計算部６および距離計算部７が、ウィンドウごとに計測距離を算出する。計測距離の距離ラベルへの変換処理においては、距離変換部１０が、ウィンドウごとに計測された距離に従って、対応する距離ラベルをそれぞれのウィンドウに付与する。ウィンドウのクラスタリング処理においては、クラスタリング部１１が、付与された距離ラベルに基づいて、ウィンドウをクラスタリングし、クラスタを形成する。
【００２３】
クラスタの有効性判断処理においては、クラスタ判別部１２が、形成されたクラスタの属性に基づいて、クラスタの有効／無効を判断する。フェイル状態の検出処理においては、フェイル検出部１４が、無効と判断されたクラスタに基づいて、撮像された画像のフェイル状態を検出する。物体認識処理においては、クラスタ選択部２１、物体候補抽出部２２、物体認識部２３および物体推定部３１が、過去に認識された物体に関する情報を使用して、一連の物体認識処理を実行する。
【００２４】
車両制御部４５は、上記の一連の物体認識処理の結果に基づいて、車両を制御する。一方、車両制御部４５は、フェイル検出部１４によってフェイル状態を検出された場合には、物体認識処理の結果を無効にし、それに基づく車両制御を禁止する。以下、それぞれの処理について、図を参照しつつ詳細に説明する。
【００２５】
計測距離の算出
図２は、この実施例で用いる三角計測法による距離の計測原理を説明する図である。まず図２を参照して１対の撮像装置を用いた距離の測定方法を説明する。一対の撮像装置の一方を構成するラインセンサ２１およびレンズ２３は、他方の撮像装置を構成するラインセンサ２２およびレンズ２４と所定の間隔すなわち基線長Ｂだけ左右方向または上下方向に間隔をおいて配置されている。ラインセンサ２１および２２は、典型的には１次元のＣＣＤであり、直線的に配列されたフォトセンサのアレイであってもよい。夜間の使用を考慮すると赤外線を用いた撮像装置にするのがよい。この場合、レンズ２３、２４の前に赤外線透過性のフィルタを置き、赤外線の光源を用いて一定の周期で対象物２０を照射し、対象物２０から反射する赤外線をラインセンサ２１、２２が感知するようにするのがよい。
【００２６】
ラインセンサ２１、２２は、それぞれレンズ２３、２４の焦点距離ｆに配置されている。レンズ２３、２４のある平面から距離ａにある対象物の像が、ラインセンサ２１ではレンズ２３の光軸からＸ１ずれた位置に形成され、ラインセンサ２２ではレンズ２４の光軸からＸ２だけずれた位置に形成されるとすると、レンズ２３、２４の面から対象物２０までの距離ａは、三角計測法の原理により、ａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）で求められる。
【００２７】
この実施例では画像はデジタル化されるので、距離（Ｘ１＋Ｘ２）は、デジタル的に算出される。ラインセンサ２１および２２で得られる画像の片方または両方をシフトさせながら両画像のそれぞれ対応する画素の輝度を示すデジタル値の差の絶対値の総和を求め、これを相関値とする。相関値が最小値になるときの画像のシフト量が両画像の間の位置ずれ、すなわち（Ｘ１＋Ｘ２）を示す。観念的には図２に示すようにラインセンサ２１および２２から得られる２つの画像を重なり合わせるために２つの画像を相対的に移動させねばならない距離が（Ｘ１＋Ｘ２）である。
【００２８】
ここでは、簡単のため撮像装置が１次元のラインセンサ２１、２２であるものとして説明したが、以下に述べるようにこの発明の一実施例では２次元のＣＣＤまたは２次元のフォトセンサ・アレイを撮像装置として使用する。この場合、２つの撮像装置から得られる２次元の画像を相対的にシフトさせて上述したのと同様の相関計算を行い、相関値が最小となるときのシフト量を求めると、このシフト量が（Ｘ１＋Ｘ２）に相当する。
【００２９】
図１の撮像部３は、図２のレンズ２３およびラインセンサ２１からなる一方の撮像手段に対応し、撮像部３’は、図２のレンズ２４およびラインセンサ２２からなる他方の撮像手段に対応する。この実施例では、図３の（ｂ）に示すように撮像領域を複数のウィンドウ（小領域）Ｗ11、Ｗ12、・・・に分割し、ウィンドウごとに距離の計測を行うので、対象物全体の２次元の画像が必要になる。このため撮像部３、３’は、２次元のＣＣＤアレイまたは２次元のフォトセンサ・アレイで構成される。
【００３０】
ここで、図３を参照すると、図３の（ａ）は、撮像部３または３’により自車両の前方を走行する他車両を撮像した画像の例を示し、図３の（ｂ）は、図３の（ａ）の画像を概念的に複数のウィンドウに分割したものを示す。図３の（ｂ）は、垂直方向に行および水平方向に列をとり、簡単のため１０行×１５列のウィンドウに分割して示す。それぞれのウィンドウには番号が付されており、例えばＷ12は、１行２列にあるウィンドウを示す。
【００３１】
図１に戻り、撮像部３、３’で撮像された対象物の画像はアナログ・デジタル変換器（Ａ／Ｄ変換器）４、４’でデジタルデータに変換され、画像メモリ５、５’に格納される。ウィンドウ切り出し部１３によって、ウィンドウＷ11に対応する画像部分が画像メモリ５および５’からそれぞれ切り出されて相関計算部６に送られる。相関計算部６は、切り出された２つの画像を所定の単位ずつシフトさせて前述した相関計算を行い相関値が最小になるときのシフト量を求めると、このシフト量が（Ｘ１＋Ｘ２）である。相関計算部６は、こうして求めた（Ｘ１＋Ｘ２）の値を距離計算部７に送る。
【００３２】
距離計算部７は、前述したａ＝Ｂ・ｆ／（Ｘ１＋Ｘ２）の式を用いて、ウィンドウＷ11にある対象物までの距離ａ₁₁を求める。こうして求められた距離ａ₁₁は、距離記憶部８に記憶される。同様の計算処理がそれぞれのウィンドウについて順次実行され、距離ａ₁₁、ａ₁₂、・・・が距離記憶部８に記憶される。以下、あるウィンドウについて計算された対象物までの距離を、そのウィンドウの計測距離という。
【００３３】
上の相関計算で用いる画像データは、撮像素子アレイの素子のピッチによって分解能が定まるので、フォトセンサ・アレイなど比較的ピッチの大きい受光素子を用いるときは、ピッチ間の補間計算を行って画像データの密度を高める処理を行い、こうして密度を高められた画像データについて相関計算を行うのが好ましい。
【００３４】
また、温度による撮像素子アレイの特性変化を補正するため、温度センサを撮像素子アレイ付近に配置し、温度センサから得られる温度情報に基づいて距離計算を補正するようにすることもできる。
【００３５】
それぞれのウィンドウについて算出された計測距離のうち、路面距離と判定された計測距離を除去するようにしてもよい。路面距離とは、車両が傾くことなく路面に平行な状態にある場合の撮像部から路面までの距離をいい、たとえばＣＣＤアレイにより実現される撮像部３および３’の取り付け位置、俯角、基線長、焦点距離およびサイズと、画像におけるウィンドウの位置とにより予め算出され、メモリに格納しておくことができる。計測距離が、路面距離に近い値または路面距離以上の値ならば、ウィンドウの対象物が路面であって物体ではないと判断し、路面と判断されたウィンドウの計測距離を距離記憶部８から削除することができる。
【００３６】
計測距離の距離ラベルへの変換
図１の距離変換部１０は、それぞれのウィンドウに、ウィンドウの計測距離が属する距離範囲に対応づけられた距離ラベルを付与する。距離範囲および対応する距離ラベルは、予め設定され、距離変換テーブル９に格納されている。
【００３７】
最初に、図４を参照して、距離範囲の設定方法を説明する。図４の（ａ）を参照すると、検知エリア１００は、撮像部３および３’により距離を計測することのできる領域であり、撮像部３および３’の仕様および位置に基づいて定められる。たとえば、検知エリア１００は、距離レンジ６０メートル、角度レンジ３０度のように設定される。検知エリア１００は、予め固定して設定することもできるが、自車の速度に応じて動的に設定することが好ましい。この場合、速度が大きくなるにつれて、測定可能な距離範囲は大きく、角度範囲は小さくなるよう設定する。
【００３８】
検知エリア１００は、互いに重なりを持たないよう複数の距離範囲に区分けされる。この実施例では、撮像部３および３’を備える車両から距離が遠くなるほど計測される距離の精度が低下するので、距離が遠くなるほど広い距離範囲を持つよう区分けされる（図４の（ａ）のＳ１〜Ｓ６）。
【００３９】
距離範囲は、計測される距離の誤差に応じて設定される。ここで、距離の誤差の値は、撮像部３および３’の仕様などに依存する。この実施例では、分割数を少なくして高速に処理するため、また誤差１０％という精度がすべての画素について確保されないことがあるので、距離の誤差を３０％として距離範囲を定める。したがって、ある距離に対する距離範囲を、「距離〜（距離×（１＋０．３））」と定める。
【００４０】
図５を参照して、設定されたそれぞれの距離範囲に、距離ラベルを対応づける方法を説明する。図５は、距離の誤差を３０％とした場合の距離と距離ラベルの対応の一部を示す表である（距離の単位は０．１メートル）。たとえば、距離が１のときは、距離の３０％は０（小数点以下は切り捨て）であるので、距離範囲１に対して距離ラベル「１」が付与される。距離が２のときも、距離の３０％は０であるので、距離範囲２に対して距離ラベル「２」が付与される。距離ラベルは、距離範囲が変わるごとに１ずつ歩進されるよう設定される。このように距離ラベルを付与していくと、たとえば距離が２０のときは、距離の３０％は６であるので、距離範囲２０〜２６に対して距離ラベル「９」が付与される。こうして、検知エリア１００は、近距離から遠距離へと複数の距離範囲に区分けされ、それぞれの距離範囲に距離ラベルが対応づけられる。距離ラベルは、たとえばアルファベット文字など識別可能な他の符号を使用してもよい。
【００４１】
この実施例ではわかりやすくするため、図５に示されるいくつかの距離範囲を１つの距離範囲に結合する。すなわち、図４の（ａ）に示すように距離範囲Ｓ１〜Ｓ６を設定し、図４の（ｂ）の距離変換テーブルに示すように、それぞれの距離範囲Ｓ１〜Ｓ６に、新たな距離ラベル１〜６をそれぞれ付与する。
【００４２】
検知エリアが予め固定的に設定される場合には、予め距離範囲および距離ラベルを設定し、これを距離変換テーブル９としてメモリに格納しておくのが好ましい。検知エリアが動的に変更される場合には、距離変換テーブルを動的に更新することができる。
【００４３】
図１の距離変換部１０は、距離変換テーブル９に基づいて、それぞれのウィンドウの計測距離を、対応する距離ラベルに変換する。ここで、たとえばコントラストがなかったために計測距離が得られなかったウィンドウについては、距離変換テーブル９で使用されていないラベル、たとえばラベル「０」を付与する。
【００４４】
例として図６を参照すると、図６の（ａ）は、撮像された画像におけるそれぞれのウィンドウの計測距離を示し、図６の（ｂ）は、距離変換テーブル９（図４の（ｂ））に基づいてそれぞれのウィンドウに付与された距離ラベルを示す。
【００４５】
ウィンドウのクラスタリング
クラスタリング部１１は、こうして付与されたそれぞれのウィンドウの距離ラベルに基づいて、それぞれのウィンドウにクラスタラベルを付与し、同じクラスタラベルが付与されたウィンドウをクラスタリングする。クラスタリングは既知の方法を使用して実行することができる。この実施例では、前述の特願平１１−１６９５６７号に従って、クラスタリングを実行する。
【００４６】
クラスタリング部１１は、図７に示されるテンプレートを使用してウィンドウにクラスタラベルを付与する。図７の（ａ）のＴ１〜Ｔ５はテンプレートにおける位置を示す。図７の（ｂ）のａ〜ｅは、あるウィンドウにＴ４が合うようテンプレートが置かれた時の、Ｔ１〜Ｔ５のそれぞれの位置に対応するウィンドウの距離ラベルを示す。図７の（ｃ）のＡ〜Ｅは、あるウィンドウにＴ４が合うようテンプレートが置かれた時の、Ｔ１〜Ｔ５のそれぞれの位置に対応するウィンドウに付与されたクラスタラベルを示す。
【００４７】
図７の（ｄ）の表は、あるウィンドウにＴ４が合うようテンプレートが置かれたときの、Ｔ１〜Ｔ５の位置に対応するウィンドウの距離ラベルに基づいて、Ｔ４の位置に対応するウィンドウにどのようなクラスタラベルＤが付与されるかを示す。たとえば、Ｔ１〜Ｔ５の位置に対応するウィンドウの距離ラベルａ〜ｅが条件５を満たせば、Ｔ４に対応するウィンドウのクラスタラベルＤには、Ｔ２に対応するウィンドウのクラスタラベルＢと同じクラスタラベルが付与される。図７の（ｄ）の条件２および３が満たされた時に付与されるクラスタラベル「Ｌ」は、まだ使用されていない新たなクラスタラベルを示す。
【００４８】
図６の（ｂ）を例として、テンプレートを使用したクラスタリング方法を説明する。クラスタリング部１１は、図７のテンプレートを使用して、画像上のウィンドウを左上から右下へと走査する。付与するクラスタラベルを２桁で表すことにし、ここで、上位の桁は距離ラベルを表し、下位の桁は図７の（ｄ）の条件２または３に該当するたびに、１ずつ歩進するよう設定する。しかし、クラスタラベルを、数字または文字などの任意の符号を使用して表すことができる。画像の端にテンプレートが置かれると、テンプレートの一部が画像からはみだすが、このはみだした部分に対応する距離ラベルは、テンプレートのＴ４に対応するウィンドウの距離ラベルとは異なると仮定して、図７の（ｄ）の条件を適用する。
【００４９】
最初に、ウィンドウＷ11にテンプレートのＴ４が合うようテンプレートが置かれる。ウィンドウＷ11の距離ラベルは「３」であり、テンプレートが画像からはみだした部分については、ｄ≠ａ、ｄ≠ｂ、ｄ≠ｃと仮定するので、図７の（ｄ）の条件２を満たし、クラスタラベル「３１」をウィンドウＷ11に付与する。次に、ウィンドウＷ12にＴ４が合うようテンプレートが置かれ、ウィンドウＷ12は図７の（ｄ）の条件４を満たすので、ウィンドウＷ11と同じクラスタラベル「３１」を付与する。ウィンドウＷ13にＴ４が合うようテンプレートが置かれ、ウィンドウＷ13は図７の（ｄ）の条件２を満たすので、クラスタラベル「４１」を付与する。ウィンドウＷ14も、図７の（ｄ）の条件２を満たすので、新たなクラスタラベル「５１」を付与する。ウィンドウＷ15も、図７の（ｄ）の条件２を満たすので、新たなクラスタラベル「４２」を付与する。こうしてＷ11〜Ｗ18にクラスタラベルを付与した後、Ｗ21〜Ｗ28、Ｗ31〜Ｗ38．．．Ｗ81〜Ｗ88と順番にクラスタラベルを付与する。図６の（ｃ）は、こうしてそれぞれのウィンドウに付与されたクラスタラベルを示す。
【００５０】
クラスタリング部１１は、図７の（ｄ）の条件８を満たす場合には、テンプレートのＴ１およびＴ３に対応するクラスタラベルを「連結」としてクラスタ記憶部１５に記憶する。連結について、図６の（ｃ）および（ｄ）を参照して説明する。
【００５１】
図６の（ｄ）のウィンドウＷ75にＴ４が合うようテンプレートが置かれたとき、図７の（ｄ）の条件２を満たすので、新たなクラスタラベル「４７」が付与される。その後、ウィンドウＷ76〜Ｗ78およびＷ81〜Ｗ84にクラスタラベルを付与した後、ウィンドウＷ85にＴ４が合うようテンプレートが置かれたとき、図７の（ｄ）の条件８を満たすので、ウィンドウＷ85には、ウィンドウＷ75と同じクラスタラベル「４７」が付与される。結果として、図６の（ｃ）に示されるように、ウィンドウＷ85およびＷ84には、隣接しているにもかかわらず異なるクラスタラベルが付与されることとなる。
【００５２】
したがって、図７の（ｄ）の条件８を満たす場合には、テンプレートのＴ１およびＴ３に対応するウィンドウのクラスタラベルＡおよびＣ、すなわちウィンドウＷ84およびＷ75のクラスタラベル「４７」および「４９」を連結としてクラスタ記憶部１５に記憶する。クラスタリング部１１は、すべてのウィンドウについてクラスタラベルを付与した後、連結として記憶された２つのクラスタラベルを、任意の同じクラスタラベルに置き換える。たとえば、クラスタラベル「４７」を「４９」に置き換えてもよいし（図６の（ｄ））、この逆でもよい。または、全く新しいクラスタラベルで置き換えてもよい。
【００５３】
このように、同じ距離ラベルを持つ隣接ウィンドウには同じクラスタラベルが付与され、図６の（ｅ）に示されるようなクラスタが形成される。計測距離値そのものを扱うのではなく距離ラベルを使用することにより、高速にウィンドウがクラスタリングされる。
【００５４】
図７に示すテンプレートは例であり、異なるテンプレートを用いてウィンドウを走査することができ、テンプレートの種類に合わせて走査順序を定めるのが好ましい。
【００５５】
クラスタの有効性判断
図１に戻り、クラスタ判別部１２は、クラスタリング部１１によって得られたそれぞれのクラスタについて、クラスタの属性に基づいてクラスタの有効性を判断する。この実施例においては、クラスタの属性として、クラスタの面積またはクラスタを構成するウィンドウ数を使用する。しかし、クラスタを構成するウィンドウの位置など他の属性を使用して、クラスタの有効性を判断するようにしてもよい。
【００５６】
最初に、図８を参照してクラスタの面積Ａ（ｍ^２）を求める方法を説明する。図８の（ａ）は、あるウィンドウＷｐに撮像された対象物８０の水平方向の長さＸｐ（すなわち、対象物８０の幅）を求めるための図である。μ_ｈ（ｍ）はウィンドウＷｐの水平方向の長さ、ｆ（ｍ）はレンズ８１の焦点距離、Ｄｐ（ｍ）は、前述したように距離計算部７によって算出されたウィンドウＷｐの計測距離を示す。この図から、式（１）の関係が成立する。
【００５７】
【数１】
Ｘｐ＝μ_ｈ・Ｄｐ／ｆ式（１）
【００５８】
図８の（ｂ）は、図８の（ａ）と同じウィンドウＷｐに撮像された対象物８０の垂直方向の長さＹｐ（すなわち、対象物８０の高さ）を求めるための図である。μ_ｖ（ｍ）はウィンドウＷｐの垂直方向の長さを示す。この図から、上記の式（１）と同様に式（２）が成立する。
【００５９】
【数２】
Ｙｐ＝μ_ｖ・Ｄｐ／ｆ式（２）
【００６０】
ウィンドウの水平および垂直方向の長さμ_ｈおよびμ_ｖは一定であるので、クラスタの面積Ａは、式（３）によって表される。
【００６１】
【数３】

【００６２】
一方、以下の式（４）のように、計測距離Ｄｐの和を、クラスタを構成するウィンドウ数Ｎで除算することにより、ウィンドウの計測距離の平均値Ｄ_aveが求まる。この計測距離の平均値Ｄ_aveを使用して、式（３）を、式（５）のように近似することができる。
【００６３】
【数４】

【００６４】
こうして、クラスタの面積Ａが求められる。クラスタ判別部１２は、クラスタの面積Ａが、予め決められたしきい値（たとえば、１００ｃｍ^２）より大きければそのクラスタを有効と判断し、予め決められたしきい値より小さければ、そのクラスタを無効と判断する。こうすることにより、ノイズまたは雨滴の影響によって形成された小さいクラスタは無効と判断されるので、ノイズまたは雨滴のクラスタに基づく誤った物体認識を回避することができる。
【００６５】
しきい値は、どのくらいの大きさまでをノイズ成分として除去するか、およびどのくらいの大きさを物体として認識するかに依存して定めることができる。しかし、画像を撮像したときにコントラストが少ないと小さめのクラスタが多数形成されることがあるので、あまりに大きいしきい値を設定すると、実際に物体が存在していても有効と判断されるクラスタが存在しなくなる。たとえば、しきい値を前方車両の大きさに合わせて設定すると（たとえば、２平方メートル）、しきい値に達するクラスタが存在しなくなり、実際に前方に車両が存在していても物体として認識できないことがある。したがって、ノイズ成分と区別することができ、かつ物体として認識する必要がある大きさ（たとえば、１平方メートル）を、しきい値として設定するのが好ましい。
【００６６】
代替の実施形態においては、クラスタ判別部１２は、しきい値Ａ_０に対応するウィンドウ数Ｎ_０に基づいてクラスタの有効性を判断する。式（５）から、しきい値Ａ_０に対応するウィンドウ数Ｎ_０を、クラスタの計測距離Ｄごとに予め設定することができる（式（６））。
【００６７】
【数５】

【００６８】
クラスタ判別部１２は、クラスタを構成するウィンドウ数ＮおよびＮ_０を比較し、Ｎ＜Ｎ_０ならばそのクラスタを無効と判断し、Ｎ≧Ｎ_０ならばそのクラスタを有効と判断する。クラスタの計測距離Ｄとして、式（４）で求めたような、クラスタを構成するウィンドウの計測距離の平均値Ｄ_aveを使用することができる。
【００６９】
クラスタ判別部１２は、有効と判断されたクラスタとその数および無効と判断されたクラスタとその数を、クラスタ記憶部１５に格納する。また、クラスタ判別部１２は、クラスタの面積、すなわちクラスタによって表される物体の高さおよび幅、クラスタの距離、クラスタの水平および垂直位置を、クラスタ記憶部１５に記憶する。クラスタの水平および垂直位置は、クラスタの幅、高さ、およびクラスタを構成するウィンドウの画像上の位置から求めることができ、たとえば自車両を原点とした座標系を使用して、その位置を表すことができる。
【００７０】
フェイル状態の検出
フェイル検出部１４は、クラスタ判別部１２によって無効と判断されたクラスタ数またはその比率に基づいて、物体認識を正しく行うことができる状態かどうか判断する。物体認識を正しく行うことができない状態を、フェイル状態という。
【００７１】
クラスタは、実質的に同じ計測距離を持つウィンドウの集まりであるので、撮像された画像領域内に距離変化が小さい領域が多数存在すると、面積の小さいクラスタが多数形成される。これは、コントラストが低い領域またはノイズが含まれる画像に対して前述のような相関演算を行うことにより、エラーを含む計測距離が算出されたことに起因することが多い。したがって、物体を誤って認識するのを回避するには、このような状態で形成されたクラスタから物体を認識することを禁止する必要がある。そこで、フェイル検出部１４は、ノイズ量の指標として無効クラスタの数またはその比率を使用し、フェイル状態を検出する。
【００７２】
図９は、フェイル状態を説明するための図であり、降雨による無効クラスタ数の変動を示す。横軸は経過時間を表し、縦軸はクラスタ判別部１２によって検出された無効クラスタ数を表す。図９の（ａ）において、グラフ８５は、晴れの日に計測された無効クラスタ数の遷移を示し、グラフ８６は、小雨の日に計測された無効クラスタ数の遷移を示す。図９の（ｂ）のグラフ８７は、大雨の日に計測された無効クラスタ数の遷移を示す。
【００７３】
グラフ８５に示されるように、晴れの日は、撮像部３および３’の前方にあるフロントガラスに雨滴がはりつくこともなく、ノイズも発生しにくいので、無効クラスタ数が非常に少ない。小雨になると、グラフ８６に示されるように、フロントガラスに雨滴がはりつき、撮像部が雨滴を捕らえてしまうので、晴れの日に比べて無効クラスタ数が多く検出される。大雨になると、グラフ８７に示されるように、フロントガラスにはりつく雨滴の数が多くなるので、小雨の日に比べてさらに多くの無効クラスタ数が検出される。
【００７４】
小雨および大雨のグラフ８６および８７において、無効クラスタ数が周期的に変化しているのは、ワイパーの動作によるものである。ワイパーが動作した直後は、フロントガラスにおける雨滴が一掃されるので、局所的に無効クラスタ数が減少する。
【００７５】
フェイル検出部１４は、無効クラスタ数が予め決められた値（図９の例では、３８０個）を超えた場合に、フェイル状態と判定する。図９のグラフ８７から明らかなように、大雨の日は、晴れおよび小雨の日と異なり、周期的にフェイル状態が検出される。代替の形態として、画像のクラスタの総数に対する無効クラスタ数の比率が予め決められた値（たとえば、８０％）を超えた場合に、フェイル状態と判定することができる。
【００７６】
フェイル検出部１４は、フェイル状態と判定したならば、今回撮像された画像に対してフェイル状態フラグを設定し、フェイル記憶部１６に記憶する。
【００７７】
物体認識
図１に戻り、クラスタ選択部２１、物体候補抽出部２２、物体認識部２３および物体推定部３１による一連の処理は、クラスタ判別部１２によって有効と判断されたクラスタに基づいて、自車両前方にある物体を認識する。クラスタを使用した物体の認識には様々な方法があり、任意の方法を使用することができる。この実施例では、前述の特願平１１−１６９５６７号に従って、過去に認識された物体に関する情報から現在の物体の位置を推定し、推定された物体および有効と判断されたクラスタに基づいて物体の認識を行う。以下に、この物体認識処理について説明する。
【００７８】
物体記憶部２５には、物体認識部２３によって前回認識された物体の属性（たとえば、物体の位置（距離、水平および垂直位置）および大きさ（幅、高さ）などの物体に関する情報）および該物体に対する相対速度が格納されており、物体推定部３１は、これらの値に基づいて、今回得られた画像における物体の位置を推定する。この物体推定部３１による処理は、上記のクラスタリング処理と並行して行うのが好ましい。
【００７９】
図１０を参照して、この実施形態における物体の推定方法について説明する。図１０の（ａ）〜（ｃ）は前回の処理を示し、２台の車両９１および９２が撮像されている。図１０の（ｂ）は、図１０の（ａ）の画像に基づいてクラスタリング部１１により形成されたクラスタＣ１１〜Ｃ１７を示し、図１０の（ｃ）は、これらのクラスタから認識された物体６５および６６を示す。物体６５および６６は、車両９１および９２にそれぞれ対応する。
【００８０】
図１０の（ｄ）〜（ｆ）は今回の処理を示し、図１０の（ｄ）には、図１０の（ａ）と同じ車両９１および９２と、標識９３が撮像されている。図１０の（ｅ）は、図１０の（ｄ）の画像に基づいて形成されたクラスタＣ２１〜Ｃ３１を示し、図１０の（ｆ）は、これらのクラスタおよび図１０の（ｃ）に示される認識された物体６５および６６に基づいて今回認識された物体７７、７８および７９を示す。
【００８１】
物体推定部３１は、前回認識された物体６５および６６の位置と、該物体に対する相対速度を物体記憶部２５から読み出し、物体６５および６６の今回の位置を算出する。算出は、（前回の物体の位置＋相対速度×検出間隔時間）という計算式を使用して行うことができる。この例では、物体６５に対する相対速度はゼロ、物体６６に対する相対速度は時速−１０キロメートル（この例では、物体の速度に対して自車両の速度が大きい場合の相対速度を「負」で表す）、検出間隔時間は１００ミリ秒と仮定すると、前回および今回の物体６５に対する相対距離は変化せず、物体６６に対する相対距離は約０．３メートルだけ短くなると推定することができる。
【００８２】
物体６５および６６の自車両に対する水平方向の相対位置は変わらないと仮定すると、物体６５および６６の大きさは変わらないので、物体推定部３１は、相対距離の変化から、今回の物体６５および６６の位置を推定することができる。図１０の（ｅ）は、こうして推定された物体７５および７６を、画像上の四角で囲まれた領域で示す。物体推定部３１は、推定物体７５および７６の属性（位置（距離、水平および垂直位置）および大きさ（幅、高さ））を、推定物体記憶部３２に記憶する。
【００８３】
今回の処理において、クラスタ選択部２１は、図１０の（ｅ）に示されるように形成されたクラスタＣ２１〜Ｃ３１の距離、水平および垂直位置をクラスタ記憶部１５から読み出す。一方、クラスタ選択部２１は、推定物体７５の距離、水平および垂直位置を推定物体記憶部３２から読み出す（この実施例では、自車両に近い方の推定物体から処理する）。クラスタ選択部２１は、推定物体７５との距離の差がしきい値以下であり、かつ推定物体７５と水平および垂直方向で重なりを持つクラスタを、クラスタＣ２１〜Ｃ３１から選択する。その結果、クラスタＣ２２〜Ｃ２６が選択される。
【００８４】
クラスタが、いずれの推定物体との距離の差がしきい値を満たさず、またはいずれの推定物体とも重なりを持たない場合、そのクラスタは、対応する推定物体を持たないクラスタとして区別される。ここで、距離の差のしきい値は、誤差を考慮して、自車両からの距離が大きくなるほど大きく設定するのが好ましい。重なりの判断は、クラスタおよび推定物体が水平方向および垂直方向で重なりがあればよく、推定物体にクラスタ全体が含まれる必要はない。
【００８５】
物体候補抽出部２２は、クラスタ選択部２１によって選択されたクラスタからすべての組み合わせを抽出し、それぞれの組み合わせについて結合クラスタを定める（それぞれの結合クラスタが、物体候補となる）。組み合わせには、クラスタが１つの場合も含まれる。図１１に、推定物体７５について選択されたクラスタＣ２２〜Ｃ２６のすべての組み合わせを一覧として示す。
【００８６】
物体認識部２３は、それぞれの結合クラスタの属性を、対応する推定物体の属性と順次比較し、推定物体の属性に一番近い属性をもつ結合クラスタを物体として認識する。この実施例で比較する属性は、距離、水平位置、垂直位置、幅および高さであり、比較は、以下の式（７）によって行われる。式（７）は、結合クラスタおよび推定物体の位置および大きさの差に基づいて両者の属性の差を関数で表したものであり、式（７）の変数の意味を表１に示す。ここで、距離（Ｚ値）は、その距離値に応じた誤差をもつので、推定物体の距離Ｚtに比例する値で補正するのが好ましい。
【００８７】
【数６】

【００８８】
【表１】

【００８９】
具体的には、図１１に示されるように、物体認識部２３は、推定物体７５に対応する結合クラスタ１〜３１のすべてについて関数値Ｅ１を算出し（e01、e02、、、e31）、関数値Ｅ１が最小となる結合クラスタ３１を物体７８として認識する（図１０の（ｆ））。これは、最小のＥ1を持つ結合クラスタ３１が、推定物体７５の位置および大きさを最も良く表すからである。
【００９０】
物体として認識されたクラスタＣ２２〜Ｃ２６および対応する推定物体７５は、物体認識処理が達成されたことを識別するため、処理済みフラグをたててクラスタ記憶部１５および推定物体記憶部３２にそれぞれ記憶される。クラスタ選択部２１、物体候補抽出部２２、物体認識部２３による一連の処理は、すべてのクラスタに処理済みフラグがたつまで繰り返される。
【００９１】
物体７８が認識された後、クラスタ選択部２１は、クラスタ記憶部１５から、処理済みフラグがたっていないクラスタＣ２１、Ｃ２７〜Ｃ３１を抽出し、推定物体記憶部４９から、処理済みフラグがたっていない推定物体７６を抽出し、上記と同様の処理を行う。すなわち、クラスタ選択部２１は、推定物体７６との距離の差がしきい値以下で、かつ水平および垂直方向で重なりを持つクラスタＣ２７〜Ｃ３１を選択する。物体候補抽出部２２は、クラスタＣ２７〜Ｃ３１のすべての組み合わせを作って結合クラスタを定める。物体認識部２３は、それぞれの結合クラスタの属性を、推定物体７６の属性と順次比較する。その結果、クラスタＣ２７〜Ｃ３１からなる結合クラスタが推定物体７６に最も近い属性を持つと判断し、クラスタＣ２７〜Ｃ３１の結合クラスタを物体７９と認識する（図１０の（ｆ））。物体と認識されたクラスタＣ２７〜Ｃ３１および対応する推定物体７６は、クラスタ記憶部１５および推定物体記憶部３２に、処理済みフラグをたててそれぞれ記憶される。
【００９２】
次に、クラスタ選択部２１は、処理済みフラグがたっていないクラスタＣ２１を選択する。物体候補抽出部２２は、クラスタＣ２１を結合クラスタと定め、物体認識部２３に渡す。クラスタＣ２１は、対応する推定物体を持たないので、物体認識部２３は、結合クラスタの属性と、予め決められた検知すべき物体（以下、検知物体という）の属性とを比較し、属性の差が最小値となる検知物体を、結合クラスタに対応する物体として認識する。しかし、しきい値を設けて、属性の差がしきい値以下で、かつ最小値となる検知物体を、対応する物体として認識するようにしてもよい。
【００９３】
検知すべき物体の属性は予め決められてメモリに記憶されている。たとえば、車両を検知するのであれば、いくつかの種類の標準的な車両の属性が記憶されており、標識を検知するのであれば、いくつかの標準的な標識の属性を記憶することができる。この実施例では、比較する属性として幅および高さを使用し、比較は、以下の式（８）によって行われる。式（８）は、結合クラスタおよび検知物体の幅および高さの差に基づいて、両者の属性の差を関数で表したものであり、式（８）の変数の意味を表２に示す。
【００９４】
【数７】
Ｅ２＝｜Ｗc−Ｗt｜＋｜Ｈc−Ｈt｜式（８）
【００９５】
【表２】

【００９６】
物体認識部２３は、物体候補抽出部２２により抽出されたクラスタＣ２１の結合クラスタの属性と、いくつかの検知物体の属性とを式（８）によって比較し、関数値Ｅ２が最小となる検知物体（この例では、標識）を抽出する。こうして、クラスタＣ２１が物体７７として認識される（図１２の（ｆ））。
【００９７】
クラスタ選択部２１は、対応する推定物体を持たないクラスタが複数存在する場合には、クラスタの距離、水平および垂直位置の差が予め決められた値以下のクラスタを１つのクラスタ群と設定し、以降の処理をクラスタ群単位で行うようにするのが好ましい。これは、たとえば水平方向に離れた位置に存在する２つのクラスタを結合して、物体を誤って認識することがあるからである。
【００９８】
クラスタ選択部２１は、すべてのクラスタが処理された後になお推定物体が残っている場合には、この推定物体はすでに画像領域に現れなくなったと判断し、推定記憶部３２から削除することができる。
【００９９】
物体認識部２３は、物体を認識した後、認識した物体の属性を物体記憶部２５に記憶する。さらに、物体認識部２３は、前回認識された物体の距離（前回距離）および今回認識された物体の距離（今回距離）を用い、計算式「（今回距離−前回距離）／検出時間間隔」に基づいて求めた値にフィルタをかけて物体に対する自車両の相対速度を算出し、物体記憶部２５に記憶する。検出時間間隔は、前述したように前回の計測と今回の計測との時間差であり、たとえば６０ミリ秒〜１００ミリ秒と設定することができる。
【０１００】
車両制御
車両制御部４５は、フェイル記憶部１６に格納されたフェイル状態フラグを調べ、フェイル状態フラグが設定されていれば、今回撮像された画像がフェイル状態にあることを示すので、物体認識部２３によって処理された結果に基づく車両制御を禁止する。この場合、車両制御部４５は、運転者にフェイル状態であることを通知することができる。
【０１０１】
反対に、フェイル状態フラグが設定されていなければ、物体認識部２３によって処理された結果に基づいて車両を制御する。車両制御部４５は、物体記憶部２５に記憶された物体の位置および相対速度などの情報、および自車速度検出装置４６およびヨーレート検出装置４７からの情報に基づいて、物体までの距離が適切であるよう自車両を制御することができる。
【０１０２】
たとえば、車両制御部４５は、警報装置を駆動して前方車両に近づきすぎていることを示す警報を発したり、ＥＣＵ（電子制御装置）またはブレーキ制御ユニットに信号を送って強制制動処理を実行させることができる。そのとき、車両制御部４５は、自車速度検出装置４６から自車速度データを、ヨーレート検出装置４７からヨーレートを示す信号を受け取り、自車両の走行領域を判断して、物体との距離が適切な範囲になるよう自車両を制御することができる。
【０１０３】
物体の認識を確実にするため、前回認識された物体と今回認識された物体とが同一かどうか判断し、同一物体が連続してある予め決められた回数認識されたときに、車両制御部４５が車両を制御するようにするのが好ましい。たとえば、２サイクルから３サイクルの認識処理の結果を総合することにより、認識の信頼性を向上させることができる。
【０１０４】
上記の実施例においては、物体認識の一連の処理を、フェイル検出部１４によるフェイル状態検出処理と並行して実行する。しかし、代替の形態として、フェイル検出部１４がフェイル状態かどうか判断した後に物体認識の一連の処理を行うようにし、フェイル状態と判断された場合には物体認識の処理を中止するようにしてもよい。この場合、物体認識部２３（または、クラスタ選択部２１、物体候補抽出部２２でもよい）は、フェイル記憶部１６に格納されたフェイル状態フラグを調べ、フェイル状態フラグが設定されていれば、該画像に対する以降の物体認識処理を中止する。
【０１０５】
図１に示した相関計算部６、距離計算部７、距離記憶部８、ウィンドウ切り出し部１３、距離変換テーブル９、クラスタリング部１１、クラスタ判別部１２、フェイル検知部１４、クラスタ記憶部１５、フェイル記憶部１６、クラスタ選択部２１、物体候補抽出部２２、物体認識部２３、物体記憶部２５、物体推定部３１、推定物体記憶部３２および車両制御部４５は、中央演算処理装置（ＣＰＵ）、制御プログラムおよび制御データを格納する読み出し専用メモリ、ＣＰＵの演算作業領域を提供し様々なデータを一時記憶することができるランダムアクセスメモリ（ＲＡＭ）で構成することができる。距離記憶部８、距離変換テーブル９、クラスタ記憶部１５、フェイル記憶部１６、推定物体記憶部３２および物体記憶部３１は、１つのＲＡＭのそれぞれ異なる記憶領域を使用して実現することができる。また、各種の演算で必要となるデータの一時記憶領域も同じＲＡＭの一部分を使用して実現することができる。
【０１０６】
また、この発明の物体認識装置をエンジンのＥＣＵ、ブレーキ制御ＥＣＵその他のＥＣＵとＬＡＮ接続して物体認識装置からの出力を車両の全体的な制御に利用することができる。
【０１０７】
【発明の効果】
請求項１の発明によると、物体認識処理の過程で使用するクラスタに基づいて物体認識の有効性を判断するので、処理の負荷を小さくすることができる。さらに、有効と判断されたクラスタに基づいて物体を認識するので、雨滴またはノイズの影響による誤った物体認識を回避することができる。
【０１０８】
請求項２の発明によると、クラスタの面積に基づいてクラスタの有効性を判断するので、雨滴またはノイズの影響によって形成されたクラスタと、物体を表すクラスタとを判別することができ、正確に物体を認識することができる。
【０１０９】
請求項３の発明によると、クラスタに含まれるウィンドウ数に基づいてクラスタの有効性を判断するので、雨滴またはノイズの影響によって形成されたクラスタと、物体を表すクラスタとを判別することができ、正確に物体を認識することができる。
【０１１０】
請求項４の発明によると、無効と判断されたクラスタ数に基づいてフェイル状態を検出するので、画像におけるノイズの発生、または撮像カメラ前方のウィンドウへの雨滴の付着の影響により、ウィンドウの対象物までの距離が正確に計測することができなかった状態を検出することができ、物体が存在するにかかわらず該物体を検出できない状況を適切に判断することができる。
【０１１１】
請求項５の発明によると、無効と判断されたクラスタの比率に基づいてフェイル状態が検出されるので、画像におけるノイズの発生、または撮像カメラ前方のウィンドウへの雨滴の付着の影響により、ウィンドウの対象物までの距離が正確に計測することができなかった状態を検出することができ、物体が存在するにかかわらず該物体を検出できない状況を適切に判断することができる。
【０１１２】
請求項６の発明によると、フェイル状態と検出された画像に基づく物体認識が禁止されるので、雨滴またはノイズによって影響された画像に基づく物体認識を回避することができる。
【図面の簡単な説明】
【図１】この発明の一実施例の全体的な構成を示すブロック図。
【図２】三角計測法による距離の計測原理を説明するための図。
【図３】この発明による、（ａ）撮像された画像、（ｂ）距離および道路領域判定のため小領域（ウィンドウ）に分割された画像を示す図。
【図４】この発明による、（ａ）検知エリアの分割、（ｂ）距離範囲と距離ラベルの設定を示す図。
【図５】この発明による、距離範囲および距離ラベルの設定を示す表。
【図６】この発明による、クラスタリングを示す図。
【図７】この発明による、テンプレート((a)、(b)、(c))、クラスタラベルの決定方法（ｄ）を示す図。
【図８】この発明による、ウィンドウに撮像された対象物の（ａ）水平方向の長さ、（ｂ）垂直方向の長さを求めるための図。
【図９】この発明による、降雨による無効クラスタ数の変化を示す図。
【図１０】この発明による、前回および今回の撮像された画像（(a)および(d)）、クラスタ（(b)および(e)）、認識された物体（(c)および(f)）を示す図。
【図１１】この発明による、クラスタの組み合わせを示す表。
【符号の説明】
３、３’ 撮像部７距離計算部１１クラスタリング部
１２クラスタ判別部１４フェイル検出部２３物体認識部

Claims

所定の間隔をおいて配置された少なくとも２つの撮像手段と、
該少なくとも２つの撮像手段で得られ、複数のウィンドウに分割された画像に基づいて、ウィンドウごとに対象物までの距離を計測する計測手段と、
前記計測手段によって得られた計測距離およびウィンドウの位置に基づいてウィンドウをクラスタリングし、クラスタを形成するクラスタリング手段と、
前記クラスタの属性に基づいて、クラスタの有効または無効を判断するクラスタ判別手段と、
前記クラスタ判別手段によって有効と判断されたクラスタに基づいて、物体を認識する物体認識手段と、
前記クラスタ判別手段によって無効と判断されたクラスタ数の、前記撮像手段によって撮像された画像に含まれるクラスタ総数に対する比率に基づいて、該撮像された画像のフェイル状態を検出するフェイル検出手段と、
を備える物体認識装置。
前記クラスタの属性がクラスタの面積であり、前記クラスタ判別手段が、クラスタに含まれるウィンドウの数および該ウィンドウのそれぞれの計測距離に基づいて、該クラスタの面積を算出し、該クラスタの面積が予め決められた値以上ならば該クラスタを有効と判断する請求項１に記載の物体認識装置。
前記クラスタの属性が、該クラスタに含まれるウィンドウ数であり、前記クラスタ判別手段が、該クラスタに含まれるウィンドウの数が、該クラスタに含まれるウィンドウの計測距離に従って予め決められたしきい値以上ならば、クラスタを有効と判断する請求項１に記載の物体認識装置。
前記フェイル検出手段によって、撮像された画像がフェイル状態と検出されたならば、前記物体認識手段による物体の認識、または前記物体認識手段によって認識された物体に基づく車両の制御を禁止する請求項１から３のいずれかに記載の物体認識装置。