JP7431623B2 - 車外環境認識装置 - Google Patents

Description

本発明は、撮像された立体物の速度を導出可能な車外環境認識装置に関する。

車両に搭載された２個の撮像装置で撮像された画像を用いて、自車両の進行方向に位置する立体物（例えば、先行車両）の速度などの車外環境を認識する技術が知られている（例えば、特許文献１）。

特開２０１９－３４６６４号公報

２個の撮像装置を用いて車外環境を認識する技術では、各々の撮像装置で撮像された輝度画像から、視差情報が含まれる距離画像が導出され、導出された距離画像に基づいて立体物の速度が導出される。

ところで、片方の撮像装置の検出領域に雨滴などが存在すると、距離画像において誤った視差が多数導出されることがある。誤った視差が多数導出されると、立体物の速度に誤りが生じることがある。場合によっては、導出される立体物の速度が急激に変化することがある。そうすると、導出された立体物の速度を利用してクルーズコントロールなどを行っている場合、自車両が意図せず加速され、自車両が先行車両に誤って接近するおそれがある。

そこで、本発明は、立体物の速度を安定して導出することが可能な車外環境認識装置を提供することを目的とする。

上記課題を解決するために、本発明の車外環境認識装置は、２個の撮像装置の輝度画像から導出された距離画像に基づいて抽出された所定の立体物の速度を示すステレオ速度を導出するステレオ速度導出部と、１個の撮像装置の輝度画像に基づいて抽出された立体物の速度を示す単眼速度を導出する単眼速度導出部と、立体物の過去の速度に基づいて予測された立体物の現在の速度を示す予測速度を導出する予測速度導出部と、ステレオ速度、単眼速度および予測速度の混合比率を導出する混合比率導出部と、混合比率に基づいて、ステレオ速度、単眼速度および予測速度を混合して、立体物の速度を示す物体速度を導出する物体速度導出部と、を備える。

また、混合比率導出部は、ステレオ速度の割合を示すステレオ重みを導出するステレオ重み導出部と、単眼速度の割合を示す単眼重みを導出する単眼重み導出部と、予測速度の割合を示す予測重みを導出する予測重み導出部と、を有し、物体速度導出部は、ステレオ速度をＶｓ、単眼速度をＶｍ、予測速度をＶｐ、ステレオ重みをＷｓ、単眼重みをＷｍ、予測重みをＷｐ、物体速度をＶとした場合、以下の式（１）によって物体速度を導出してもよい。
Ｖ＝（Ｗｓ×Ｖｓ＋Ｗｍ×Ｖｍ＋Ｗｐ×Ｖｐ）／（Ｗｓ＋Ｗｍ＋Ｗｐ） ・・・（１）

また、ステレオ重み導出部は、距離画像の信頼値に従ってステレオ重みを導出してもよい。

また、単眼重み導出部は、１個の撮像装置の輝度画像の信頼値に従って単眼重みを導出してもよい。

また、予測重み導出部は、距離画像の不信頼値、および、１個の撮像装置の輝度画像の不信頼値に従って、予測重みを導出してもよい。

本発明によれば、立体物の速度を安定して導出することが可能となる。

図１は、車外環境認識システムの接続関係を示したブロック図である。 図２は、輝度画像と距離画像を説明するための説明図である。図２Ａは、輝度画像の一例を示している。図２Ｂは、距離画像の一例を示している。 図３は、車外環境認識装置の概略的な機能を示した機能ブロック図である。 図４は、ステレオ信頼値について説明する図である。図４Ａは、ステレオ信頼値に関連付けられるステレオステータスを表で示している。図４Ｂは、ステレオステータスをグラフで示している。 図５は、ＩＢ値を説明する図である。図５Ａは、輝度画像の一例を示している。図５Ｂは、図５Ａの輝度画像に基づいて導出された距離画像を加工した画像の一例を示している。 図６は、単眼信頼値について説明する図である。図６Ａは、自車両の車外環境が昼の場合を示している。図６Ｂは、自車両の車外環境が夜の場合を示している。 図７は、識別率および識別スコアを説明する図である。 図８は、ランプスコアを説明する図である。 図９は、中央制御部の動作の流れを説明するフローチャートである。

以下に添付図面を参照しながら、本発明の実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値等は、発明の理解を容易にするための例示に過ぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含んで構成される。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像（カラー画像やモノクロ画像）を生成することができる。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。ここで、撮像装置１１０によって認識する立体物は、自転車、歩行者、車両、信号機、道路（進行路）、道路標識、ガードレール、建物といった独立して存在する物のみならず、自転車の車輪等、その一部として特定できる物も含む。

また、車外環境認識装置１２０は、２つの撮像装置１１０それぞれから輝度画像を取得し、一方の輝度画像から任意に抽出したブロック（例えば、水平４画素×垂直４画素の配列）に対応するブロックを他方の輝度画像から検索する、所謂パターンマッチングを用いて視差、および、任意のブロックの画面内の位置を示す画面位置を含む視差情報を導出する。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。車外環境認識装置１２０は、このようなブロック単位の視差導出処理を検出領域（例えば、６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、車外環境認識装置１２０では、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、このようにして導出された視差情報を対応付けた画像を、上述した輝度画像と区別して距離画像という。

図２は、輝度画像１２６と距離画像１２８を説明するための説明図である。図２Ａは、輝度画像１２６の一例を示している。図２Ｂは、距離画像１２８の一例を示している。例えば、２つの撮像装置１１０を通じ、検出領域１２４について図２Ａのような輝度画像１２６が生成されたとする。ただし、ここでは、理解を容易にするため、２つの輝度画像１２６の一方のみを模式的に示している。車外環境認識装置１２０は、このような輝度画像１２６からブロック毎の視差を求め、図２Ｂのような距離画像１２８を形成する。距離画像１２８における各ブロックには、そのブロックの視差が関連付けられている。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

また、車外環境認識装置１２０は、距離画像１２８におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換することで、自車両１との相対距離をブロック毎に導出することができる。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。

車外環境認識装置１２０は、輝度画像１２６に基づく輝度値（カラー値）、および、距離画像１２８に基づいて算出された、自車両１との相対距離を含む実空間における三次元の位置情報を用い、カラー値が等しく三次元の位置情報が近いブロック同士を対象物としてグループ化して、自車両１前方の検出領域における対象物がいずれの特定物（例えば、先行車両や自転車）に対応するかを特定する。また、車外環境認識装置１２０は、このように立体物を特定すると、立体物との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように自車両１を制御する（クルーズコントロール）。

車外環境認識装置１２０は、上記のようにして特定された立体物の速度を導出し、導出された立体物の速度を用いて上記の衝突回避制御またはクルーズコントロールを行う。以後、車外環境認識装置１２０が導出する立体物の速度を、物体速度と呼ぶ場合がある。

図１に示すように、車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転手の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

図３は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図３に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、ステレオ速度導出部１６０、単眼速度導出部１６２、予測速度導出部１６４、混合比率導出部１６６、物体速度導出部１６８としても機能する。

ところで、距離画像では、左右の撮像装置１１０の輝度画像１２６間の画像一致度が閾値以上であり、かつ、最大となった視差を、ブロック毎に導出している。換言すると、距離画像では、画像一致度が閾値未満であるブロックでは、視差が導出されなかったとみなしている。

左右両方の撮像装置１１０が検出領域１２４を鮮明に撮像できている状態では、左右の輝度画像１２６の一致度が高くなり、距離画像１２８における多くのブロックで、実際に視差を導出できる。

しかし、撮像装置１１０の検出領域１２４に雨滴などが存在すると、輝度画像１２６がぼやけた画像（立体物がはっきりと撮像されていない画像）となる。このことから、左右の撮像装置１１０のいずれか一方の撮像装置１１０の検出領域１２４に雨滴が存在すると、左右の輝度画像１２６の一致度が低下し、距離画像１２８において実際に視差が導出できたブロックの数が少なくなる。視差が導出できなかったブロックの数が多くなると、距離画像１２８から立体物の特定が困難となり、その結果、先行車両などの立体物の物体速度を正確に導出することができなくなる。

そこで、車外環境認識装置１２０は、距離画像１２８において実際に視差が導出できたブロック数が所定ブロック数未満となると、ステレオ距離を用いたステレオ制御から単眼距離を用いた単眼制御に切り替える。ステレオ制御は、少なくともステレオ距離を用いて自車両１を制御するものである。ステレオ距離は、距離画像１２８に基づいて抽出された立体物の相対距離である。単眼制御は、ステレオ距離を用いずに単眼距離を用いて自車両１を制御するものである。単眼距離は、１個（片方）の撮像装置１１０の輝度画像１２６に基づいて抽出された立体物の相対距離である。

単眼制御となると、車外環境認識装置１２０は、左右の撮像装置１１０のうち相対的に鮮明に撮像できている撮像装置１１０（例えば、輝度画像１２６の輝度値が全体的に高い方）の輝度画像１２６を用いる。

例えば、車外環境認識装置１２０は、単眼制御対象の輝度画像１２６において、物体速度の導出対象となる立体物（例えば、先行車両）の占有する領域を示す物体枠を導出する。そして、車外環境認識装置１２０は、現在のフレームに対して所定フレーム（例えば、１００フレームなど）前の物体枠の横幅と、そのときの相対距離（単眼制御に切り替えた初回は、切り替えの直前のステレオ距離）と現在の物体枠の横幅との差分に基き、横幅の変化を相対距離の変化とみなして、立体物の物体速度を導出する。

このように、車外環境認識装置１２０では、２個の撮像装置１１０のうち片方の撮像装置１１０の輝度画像１２６がぼやける場合、もう片方の撮像装置１１０の輝度画像１２６のみを用いて物体速度を導出することで、導出される物体速度の精度の低下を抑制できる。

ところが、ステレオ制御から単眼制御に切り替わる直前では、視差が導出できたブロック数が所定ブロック数より多いが、雨滴などの存在によって輝度画像１２６がぼやけているため、ブロック毎に誤った値の視差が導出されることがある。誤った視差が多数導出されると、距離画像１２８に基づいた物体速度の導出時において、誤った物体速度が導出されることがある。

誤った物体速度が導出されると、車外環境認識装置１２０は、場合によっては、物体速度が急激に変化したと認識するおそれがある。例えば、立体物（例えば、先行車両）が実際には約８０ｋｍ／ｈの一定速度で移動しているにも拘わらず、車外環境認識装置１２０は、その立体物が約８０ｋｍ／ｈから約９０ｋｍ／ｈに急加速したように認識するおそれがある。このような場合、導出された物体速度に基づいてクルーズコントロールが行われると、自車両１が意図せずに加速され、実際には一定速度で移動している先行車両に自車両１が誤って接近するおそれがある。

そこで、本実施形態の車外環境認識装置１２０は、ステレオ制御中において、距離画像１２８に基づいて抽出された立体物の速度に加え、１個の撮像装置１１０の輝度画像１２６に基づいて抽出された立体物の速度、および、立体物の過去の速度に基づいて予測される立体物の現在の速度を導出する。

以後、距離画像１２８に基づいて抽出された立体物の速度を、ステレオ速度と呼ぶ場合がある。また、１個の撮像装置１１０の輝度画像１２６に基づいて抽出された立体物の速度を、単眼速度と呼ぶ場合がある。また、立体物の過去の速度に基づいて予測された立体物の現在の速度を、予測速度と呼ぶ場合がある。

また、予測速度は、例えば、物体速度の前回の導出タイミングにおいて導出された物体速度とする。つまり、予測速度については、過去の速度を現在の速度として用いる。

なお、現在から所定時間前までの過去において、立体物の減速度の絶対値が所定値（例えば、０．１Ｇ）以上とされていた場合、この減速を考慮して、予測速度が導出されてもよい。つまり、この場合、予測速度は、前回の導出タイミングにおける物体速度より減少された値とされてもよい。

本実施形態の車外環境認識装置１２０は、ステレオ制御中において、ステレオ速度、単眼速度および予測速度を、適切な比率で混合して、立体物の物体速度を導出する。以後、ステレオ速度、単眼速度および予測速度を混合して物体速度を導出する処理を、速度補正処理と呼ぶ場合がある。

車外環境認識装置１２０におけるステレオ速度導出部１６０は、上記のステレオ速度を導出する。単眼速度導出部１６２は、上記の単眼速度を導出する。予測速度導出部１６４は、上記の予測速度を導出する。混合比率導出部１６６は、ステレオ速度、単眼速度および予測速度の混合比率を導出する。物体速度導出部１６８は、導出された混合比率に基づいて、ステレオ速度、単眼速度および予想速度を混合して、立体物の物体速度を導出する。

混合比率導出部１６６は、より詳細には、ステレオ重み導出部１７０、単眼重み導出部１７２および予測重み導出部１７４を含む。ステレオ重み導出部１７０は、ステレオ速度の割合を示すステレオ重みを導出する。単眼重み導出部１７２は、単眼速度の割合を示す単眼重みを導出する。予測重み導出部１７４は、予測速度の割合を示す予測重みを導出する。

ここで、ステレオ速度をＶｓ、単眼速度をＶｍ、予測速度をＶｐ、ステレオ重みをＷｓ、単眼重みをＷｍ、予測重みをＷｐ、および、物体速度をＶ、と表記する場合がある。物体速度導出部１６８は、速度補正処理において、より詳細には、以下の式（１）によって物体速度を導出する。
Ｖ＝（Ｗｓ×Ｖｓ＋Ｗｍ×Ｖｍ＋Ｗｐ×Ｖｐ）／（Ｗｓ＋Ｗｍ＋Ｗｐ） ・・・（１）

ステレオ重み導出部１７０は、距離画像１２８の信頼値に従ってステレオ重みを導出する。具体的には、ステレオ重み導出部１７０は、以下の式（２）によってステレオ重みを導出する。
Ｗｓ＝（ステレオ信頼値）^２ ・・・（２）

図４は、ステレオ信頼値について説明する図である。図４Ａは、ステレオ信頼値に関連付けられるステレオステータスを表で示している。図４Ｂは、ステレオステータスをグラフで示している。

図４Ａで示すように、ステレオ信頼値は、例えば、「０」、「１」、「２」、「３」の４段階の値が設定されている。ステレオ信頼値は、値が大きいほど、距離画像１２８の信頼性が高いことを示している。また、ステレオ信頼値は、ステレオステータスに関連付けられている。

ステレオステータスは、距離画像１２８の信頼性の高さを表現する指標である。ステレオステータスは、例えば、スーパートラスト、トラスト、ステーブル、メイビー、ナンの５段階が設定されている。ステレオステータスのトラストは、ステレオ信頼値「３」に対応付けられている。ステレオステータスのステーブルは、ステレオ信頼値「２」に対応付けられている。ステレオステータスのメイビーは、ステレオ信頼値「１」に対応付けられている。ステレオステータスのナンは、ステレオ信頼値「０」に対応付けられている。つまり、トラストは、ステーブルより信頼性が高く、ステーブルは、メイビーより信頼性が高く、メイビーは、ナンより信頼性が高い。

また、スーパートラストは、トラストよりも信頼性が高く設定されている。スーパートラストには、ステレオ信頼値が対応付けられていない。しかし、スーパートラストの場合、例外として、ステレオ速度が１００％、単眼速度が０％、予測速度が０％の混合比率とされる。つまり、スーパートラストの場合、物体速度導出部１６８は、例外として、立体物のステレオ速度をそのまま物体速度とする。

図４Ｂの実線１８０は、スーパートラストとトラストとを区分する閾値を示す。一点鎖線１８２は、トラストとステーブルとを区分する閾値を示す。二点鎖線１８４は、ステーブルとメイビーとを区分する閾値を示す。破線１８６は、メイビーとナンとを区分する閾値を示す。

ステレオステータスは、単眼距離およびＩＢ値に基づいて決定される。図５は、ＩＢ値を説明する図である。図５Ａは、輝度画像１２６の一例を示している。図５Ｂは、図５Ａの輝度画像１２６に基づいて導出された距離画像１２８を加工した画像の一例を示している。図５Ｂの画像では、画像の上下方向（高さ方向）に延びる棒１９０が複数表示されている。この棒１９０は、立体物の下端から上方向にブロックに沿って進んだときに、大凡同じ視差（距離）が連続するブロックを下から上に向かって繋げて形成される。また、棒１９０については、大凡同じ視差（距離）の連続数が所定連続数以上の場合にブロックを繋げるようにし、連続数が所定連続数未満の場合には棒１９０を形成しないようにしてもよい。つまり、１個の棒１９０の面積は、視差（距離）が大凡等しい領域の大きさを示す。

ＩＢ値は、この棒１９０の本数を示す。距離画像１２８で視差が導出されたブロックが多いと、ＩＢ値も大きくなる傾向にある。このことから、ＩＢ値が大きいほど、距離画像１２８の信頼性が高いと推定される。すなわち、ＩＢ値は、距離画像１２８における立体物の検出精度を示す指標である。

図４Ａおよび図４Ｂで示すように、ＩＢ値によってステレオステータスの段階が決定され、ＩＢ値が大きいほどステレオ信頼値が大きくなるように設定されている。

例えば、単眼距離が５０ｍ以下の場合には、次のように決定される。ステレオ重み導出部１７０は、ＩＢ値が２３を超過すれば、ステレオステータスをスーパートラストとする。ステレオ重み導出部１７０は、ＩＢ値が１７を超過し２３以下であれば、ステレオステータスをトラストとし、ステレオ信頼値を「３」とする。ステレオ重み導出部１７０は、ＩＢ値が１４を超過し１７以下であれば、ステレオステータスをステーブルとし、ステレオ信頼値を「２」とする。ステレオ重み導出部１７０は、ＩＢ値が６を超過し１４以下であれば、ステレオステータスをメイビーとし、ステレオ信頼値を「１」とする。ステレオ重み導出部１７０は、ＩＢ値が６以下であれば、ステレオステータスをナンとし、ステレオ信頼値を「０」とする。

また、例えば、単眼距離が７０ｍを超過する場合には、次のように決定される。ステレオ重み導出部１７０は、ＩＢ値が１８を超過すれば、ステレオステータスをスーパートラストとする。ステレオ重み導出部１７０は、ＩＢ値が１２を超過し１８以下であれば、ステレオステータスをトラストとし、ステレオ信頼値を「３」とする。ステレオ重み導出部１７０は、ＩＢ値が９を超過し１２以下であれば、ステレオステータスをステーブルとし、ステレオ信頼値を「２」とする。ステレオ重み導出部１７０は、ＩＢ値が２を超過し９以下であれば、ステレオステータスをメイビーとし、ステレオ信頼値を「１」とする。ステレオ重み導出部１７０は、ＩＢ値が２以下であれば、ステレオステータスをナンとし、ステレオ信頼値を「０」とする。

また、単眼距離が５０ｍを超過し７０ｍ以下の範囲では、図４Ｂで示すように、５０ｍのときのＩＢ値の閾値と７０ｍのときのＩＢ値の閾値の間で線形補間された線形補間値を、ステレオステータスの各段階を区分する閾値としている。

なお、距離画像１２８における視差は、立体物が近くにあるほど、すなわち、単眼距離が近いほど、多くのブロックで導出できると推定される。つまり、単眼距離が近いほどＩＢ値が大きくなり易いと推定される。このため、図４Ａおよび図４Ｂで示すように、ＩＢ値の閾値は、単眼距離が近いほど大きくなるように設定されている。

また、ステレオ重み導出部１７０は、ステレオ速度が、予測速度の０．８倍未満、もしくは、予測速度の１．３倍を超過する場合、ステレオステータスを１段階下げて、ステレオ信頼値を１だけ下げてもよい。

次に、単眼重みについて説明する。単眼重み導出部１７２は、１個の撮像装置の輝度画像１２６の信頼値に従って単眼重みを導出する。具体的には、単眼重み導出部１７２は、以下の式（３）によって単眼重みを導出する。
Ｗｍ＝（単眼信頼値）^２ ・・・（３）

図６は、単眼信頼値について説明する図である。図６Ａは、自車両１の車外環境が昼の場合を示している。図６Ｂは、自車両１の車外環境が夜の場合を示している。

図６Ａおよび図６Ｂで示すように、単眼信頼値は、例えば、「０」、「１」、「２」、「３」の４段階の値が設定されている。単眼信頼値は、値が大きいほど、輝度画像１２６の信頼性が高いことを示している。また、単眼信頼値は、単眼ステータスに関連付けられている。

単眼ステータスは、輝度画像１２６の信頼性の高さを表現する指標である。単眼ステータスは、例えば、トラスト、ステーブル、メイビー、ナンの４段階が設定されている。単眼ステータスのトラストは、単眼信頼値「３」に対応付けられている。単眼ステータスのステーブルは、単眼信頼値「２」に対応付けられている。単眼ステータスのメイビーは、単眼信頼性「１」に対応つけられている。単眼ステータスのナンは、単眼信頼性「０」に対応付けられている。つまり、トラストは、ステーブルより信頼性が高く、ステーブルは、メイビーより信頼性が高く、メイビーは、ナンより信頼性が高い。

図６Ａで示すように、昼の場合、単眼ステータスは、識別率および識別スコアに基づいて決定される。これに対し、図６Ｂで示すように、夜の場合、単眼ステータスは、ランプスコアおよびランプ検出継続フラグに基づいて決定される。

図７は、識別率および識別スコアを説明する図である。１個の撮像装置１１０の輝度画像１２６で対象物を特定する場合、図７で示すように、所定の大きさの枠２００で対象物の少なくとも一部を囲み、枠２００内の対象物が特定すべき立体物（例えば、先行車両）であるかの識別が行われる。この識別では、対象物に対して枠２００がランダムに移動されて、複数個所の枠２００の各々について、対象物が特定すべき立体物であるかの識別が行われる。なお、枠２００は、検出された立体物に合わせた大きさで形成されてもよい。

各々の枠２００における識別では、枠２００内の対象物について、特定すべき立体物らしさの数値が、機械学習を用いて判断される。識別スコアは、この立体物らしさの数値のことである。識別スコアは、０～１の値となるように正規化されている。識別スコアは、１に近いほど、特定すべき立体物（例えば、先行車両）らしいことを示し、０に近いほど、特定すべき立体物らしくないことを示している。識別スコア平均値は、識別スコアを、枠２００の数（換言すると、識別スコアの導出回数）で平均して導出される。

また、各々の枠２００について、識別スコアが０．５１を超過した場合、枠２００内の対象物が、特定すべき立体物であると識別され、識別スコアが０．５１以下の場合、枠２００内の対象物が、特定すべき立体物ではないと識別される。

識別率は、枠２００の数（換言すると、識別の回数）に対して、特定すべき立体物であると識別された回数の比率を示す。識別率が高いほど、特定すべき立体物である確率が高いと推定される。

図６Ａで示すように、昼の場合、識別率および識別スコア平均値が高いほど単眼信頼値が高くなっている。例えば、単眼重み導出部１７２は、識別率が０．７４を超過し、かつ、識別スコア平均値が０．７０を超過する場合、単眼ステータスをトラストとし、単眼信頼値を「３」とする。また、単眼重み導出部１７２は、識別率が０．７０を超過し０．７４以下であり、かつ、識別スコア平均値が０．６１を超過し０．７０以下の場合、単眼ステータスをステーブルとし、単眼信頼値を「２」とする。また、単眼重み導出部１７２は、識別率が０．６３を超過し０．７０以下であり、かつ、識別スコア平均値が０．５５を超過し０．６１以下の場合、単眼ステータスをメイビーとし、単眼信頼値を「１」とする。また、単眼重み導出部１７２は、識別率が０．６３以下であり、かつ、識別スコア平均値が０．５５以下の場合、単眼ステータスをナンとし、単眼信頼値を「０」とする。

なお、単眼重み導出部１７２は、昼において、ある一定時間（例えば、０．５秒～１．５秒）に亘って立体物を識別できていない場合には、単眼ステータスをナンに下げ、単眼信頼値を「０」に下げてもよい。

また、識別率および識別スコア平均値が急激に下がったときに、識別できなかったとみなす回数を示すロストカウントがカウントされるようにし、単眼重み導出部１７２は、昼において、ロストカウントが所定回数以上カウントされた場合には、単眼ステータスを１段階下げ、単眼信頼値を１だけ下げてもよい。

図８は、ランプスコアを説明する図である。夜の場合、先行車両では、左右のテールランプが点灯されている。ランプスコアは、先行車両の左右のテールランプの特徴をスコアリングしたものである。

図８の矢印２１０は、輝度画像１２６における各テールランプの中心の高さ位置を示している。図８のハッチングで示す領域２１２は、各テールランプの面積を示している。図８の矢印２１４は、各テールランプの横幅を示している。ランプスコアは、左右のテールランプの組において、テールランプの中心の高さ位置の一致度合と、テールランプの面積の一致度合と、テールランプの横幅の一致度合とを加算した値である。ランプスコアは、０～１００の間の値となるように調整されている。例えば、ランプスコアは、中心の高さ位置、面積および横幅のすべての項目が左右のテールランプで一致する場合、１００となる。

また、ランプ検出継続フラグは、先行車両のテールランプが継続して検出されているか否かを示す。ランプ検出継続フラグは、所定フレーム（例えば、２０フレームなど）に亘ってテールランプが継続して検出された場合にオンされ、その後、テールランプの検出が継続されている間、オン状態が継続される。なお、ランプ検出継続フラグは、テールランプの検出が途切れるとオフされる。

図６Ｂで示すように、夜の場合、ランプスコアが高いほど、および、ランプ検出継続フラグがオンであるほど、単眼信頼値が高くなっている。例えば、単眼重み導出部１７２は、ランプスコアが８０を超過し、かつ、ランプ検出継続フラグがオンである場合、単眼ステータスをトラストとし、単眼信頼値を「３」とする。また、単眼重み導出部１７２は、ランプ検出継続フラグに拘わらず、ランプスコアが７０を超過し８０以下の場合、単眼ステータスをステーブルとし、単眼信頼性を「２」とする。また、単眼重み導出部１７２は、ランプ検出継続フラグに拘わらず、ランプスコアが７０以下の場合、単眼ステータスをナンとし、単眼信頼値を「０」とする。また、単眼ステータスのメイビーは、単眼信頼値「１」に対応する。単眼ステータスのメイビーは、例えば、単眼信頼値が「２」から１だけ下げられた場合、あるいは、単眼信頼値が「０」から１だけ上げられた場合になり得る。

なお、単眼重み導出部１７２は、夜において、立体物（先行車両）の単眼距離が４０ｍを超過する場合、単眼ステータスを１段階下げて、単眼信頼値を１だけ下げてもよい。これは、遠方に位置するテールランプのランプスコアに起因して単眼重みが誤って高くなり過ぎることを抑制するためである。

また、単眼重み導出部１７２は、昼および夜の両方において、立体物の単眼距離が６０ｍを超過する場合、単眼ステータスを１段階下げて、単眼信頼値を１だけ下げてもよい。なお、夜の場合、上記の４０ｍおよび６０ｍの両方の条件を併せて、単眼信頼値を合計２だけ下げてもよい。

また、単眼重み導出部１７２は、昼および夜の両方において、立体物の単眼速度の変化が加速を示している場合、単眼ステータスを１段階下げて、単眼信頼値を１だけ下げてもよい。これは、立体物が加速していると誤判断された場合を考慮して、単眼信頼値を下げ、単眼速度の上昇に基づく自車両の誤った加速を抑制するためである。

また、単眼重み導出部１７２は、昼および夜の両方において、立体物の単眼速度の変化が加速を示しており、かつ、ブレーキランプ識別モジュールのブレーキフラグがオンである場合、単眼ステータスを１段階下げて、単眼信頼値を１だけ下げてもよい。なお、ブレーキランプ識別モジュールは、先行車両のブレーキランプの点灯の有無を判断し、ブレーキランプが点灯した場合にブレーキフラグをオンする。

また、上記のステレオ信頼値に関して、１個の撮像装置１１０の輝度画像１２６を用いた例外条件を設定してもよい。例えば、ステレオ重み導出部１７０は、右側の輝度画像１２６で枠２００内の対象物が立体物であると識別された回数（右側識別数）と、左側の輝度画像１２６で枠２００内の対象物が立体物であると識別された回数（左側識別数）との比率を取得してもよい。そして、ステレオ重み導出部１７０は、ステレオステータスの段階がトラスト以下であり、右側識別数と左側識別数との比率が０．９未満（単眼速度の変化が加速を示しているときは０．９４未満）の場合、ステレオステータスを１段階下げて、ステレオ信頼値を１だけ下げてもよい。これは、右側識別数と左側識別数とが大幅にずれている場合には、左右の撮像装置１１０のいずれか一方の検出領域１２４に雨滴などが存在する可能性が高いと推定されるからである。

また、ステレオステータスがナンであり、かつ、単眼ステータスがナンである場合、ステレオ重み導出部１７０は、ステレオ信頼値を１だけ上げてもよい。これは、物体速度が予測速度のみによって導出されないようにするためである。

次に、予測重みについて説明する。予測重み導出部１７４は、距離画像の不信頼値、および、１個の撮像装置の輝度画像の不信頼値に従って、予測重みを導出する。具体的には、予測重み導出部１７４は、以下の式（４）によって予測重みを導出する。
Ｗｐ＝（ステレオ不信頼値）×（単眼不信頼値） ・・・（４）

ここで、ステレオ信頼値をＲｓ、ステレオ信頼値の最大値をＲｓｍａｘ、および、ステレオバイアスをＢｓ、と表記する場合がある。予測重み導出部１７４は、以下の式（５）によって不信頼値を導出する。
（ステレオ不信頼値）＝
Ｒｓｍａｘ－ｍｉｎ（Ｒｓｍａｘ、（Ｒｓ＋Ｂｓ）） ・・・（５）

式（５）におけるｍｉｎ（Ｒｓｍａｘ、（Ｒｓ＋Ｂｓ））は、Ｒｓｍａｘと、（Ｒｓ＋Ｂｓ）とのうち、小さい方の値を採用することを示す。また、ステレオ信頼値（Ｒｓ）は、ステレオ重み導出部１７０で導出された値が用いられる。ステレオ信頼値の最大値（Ｒｓｍａｘ）は、ステレオステータスがトラストのときのステレオ信頼値であり、具体的には、「３」である。

ステレオバイアス（Ｂｓ）は、ステレオ不信頼値の導出に使用されるステレオ信頼値を嵩上げして、その結果、ステレオ不信頼値を下げるために設定される。ステレオバイアスは、例えば、立体物のステレオ速度の変化が減速を示しており、かつ、立体物が近距離（ステレオ距離が所定値以下）の場合、「３」に設定される。また、ステレオバイアスは、立体物のステレオ速度の変化が減速を示しており、かつ、立体物が近距離ではない（ステレオ距離が所定値を超過している）場合、「２」に設定される。また、ステレオバイアスは、「３」または「２」のときの条件以外の場合、「１」に設定される。

また、単眼信頼値をＲｍ、単眼信頼値の最大値をＲｍｍａｘ、および、単眼バイアスをＢｍ、と表記する場合がある。予測重み導出部１７４は、以下の式（６）によって単眼不信頼値を導出する。
（単眼不信頼値）＝
Ｒｍｍａｘ－ｍｉｎ（Ｒｍｍａｘ、（Ｒｍ＋Ｂｍ）） ・・・（６）

式（６）におけるｍｉｎ（Ｒｍｍａｘ、（Ｒｍ＋Ｂｍ））は、Ｒｍｍａｘと、（Ｒｍ＋Ｂｍ）とのうち、小さい方を採用することを示す。また、単眼信頼値（Ｒｍ）は、単眼重み導出部１７２で導出された値が用いられる。単眼信頼値の最大値（Ｒｍｍａｘ）は、単眼ステータスがトラストのときの単眼信頼値であり、具体的には、「３」である。

単眼バイアス（Ｂｍ）は、単眼不信頼値の導出に使用される単眼信頼値を嵩上げして、その結果、単眼不信頼値を下げるために設定される。単眼バイアスは、例えば、立体物の単眼速度の変化が減速を示している場合、「１」に設定され、その条件以外の場合、「０」に設定される。

ステレオバイアスまたは単眼バイアスを「１」以上に設定すると、予測重みの比率を下げることができる。その結果、物体速度の演算における予測速度の比率が減少し、物体速度の時間的な変化の応答性が過度に低下することを防止できる。

物体速度導出部１６８は、式（２）によって導出されたステレオ重み、式（３）によって導出された単眼重み、式（４）によって導出された予測重みを、式（１）に適用して、物体速度を導出する。

なお、物体速度導出部１６８は、所定の例外条件が成立すると、ステレオ速度、単眼速度および予想速度の混合を行わず（速度補正処理を行わず）、立体物のステレオ速度を物体速度としてもよい。所定の例外条件は、例えば、自車両１の周囲の暗さ、ステレオ距離、ステレオ速度、または、ステレオステータスなどによって設定される。

例えば、物体速度導出部１６８は、自車両１の周囲の暗さを検出し、その暗さが、夜を示すレベル以上の場合、例外条件を満たしたとして、立体物のステレオ速度を物体速度としてもよい。これは、雨滴などによって輝度画像１２６がぼやける場合と、夜によって輝度画像１２６が暗くなる場合とを区別するためである。

また、物体速度導出部１６８は、ステレオ距離が２０ｍ未満であるか、または、ステレオ速度が４５ｋｍ／ｈ未満である場合、例外条件を満たしたとして、立体物のステレオ速度を物体速度としてもよい。これは、近距離に立体物が存在する場合に速度補正処理を行うと、立体物の挙動に対して物体速度の時間的な変化に応答遅れが生じるおそれがあり、そのような応答遅れを回避するためである。

また、物体速度導出部１６８は、ステレオ距離が２０ｍ以上２５ｍ未満（立体物が加速していると判断されたときはステレオ距離が１７以上２５ｍ未満）、かつ、ステレオステータスの段階がステーブル以上の場合、例外条件を満たしたとして、立体物のステレオ速度を物体速度としてもよい。これも、導出される物体速度の応答遅れを回避するためである。

また、物体速度導出部１６８は、ステレオ距離が７０ｍ以上の場合、例外条件を満たしたとして、立体物のステレオ速度を物体速度としてもよい。これは、立体物が遠方に存在すると、単眼速度および予想速度の値にバラつきが生じ易くなり、物体速度の精度の低下が起こる。この物体速度の精度の低下を抑制するためである。

図９は、中央制御部１５４の動作の流れを説明するフローチャートである。中央制御部１５４は、所定制御周期で訪れる所定の割り込みタイミングごとに、図９の一連の処理を繰り返す。図９のフローチャートでは、物体速度の導出に関する動作の流れについて説明し、物体速度の導出に無関係の動作については、説明を省略する。

まず、ステレオ速度導出部１６０は、左右の撮像装置１１０からそれぞれ輝度画像１２６を取得する（Ｓ１００）。次に、ステレオ速度導出部１６０は、左右の輝度画像１２６のマッチングをブロックごとに行い、視差情報を含む距離画像１２８を導出する（Ｓ１１０）。

次に、ステレオ速度導出部１６０は、距離画像１２８に基づいて立体物（例えば、先行車両）を特定し、立体物のステレオ距離を導出する（Ｓ１２０）。次に、ステレオ速度導出部１６０は、立体物のステレオ距離に基づいて立体物のステレオ速度を導出する（Ｓ１３０）。

次に、単眼速度導出部１６２は、ステップＳ１００で取得された左右の輝度画像１２６のうち、立体物がよりはっきりと撮像されている方の輝度画像１２６（例えば、輝度値が全体的に高い輝度画像１２６）を用いて立体物の単眼速度を導出する（Ｓ１４０）。具体的には、単眼速度導出部１６２は、所定フレーム前（例えば、１００フレーム前）から現在までの輝度画像１２６における立体物の横幅の変化に基づいて単眼速度を導出する。なお、単眼速度の導出に使用される輝度画像は、左側の撮像装置１１０の輝度画像または右側の撮像装置１１０の輝度画像のいずれか一方に固定されていてもよい。

また、単眼速度導出部１６２は、導出された単眼速度を時間で積分して、立体物の単眼距離を導出する（Ｓ１５０）。

次に、予測速度導出部１６４は、過去の立体物の速度に基づいて、立体物の予測速度を導出する（Ｓ１６０）。具体的には、予測速度導出部１６４は、前回の割り込みタイミング（現在の割り込みタイミングに対して所定制御周期分だけ前に訪れた割り込みタイミング）で導出された物体速度を今回の予測速度とする。

次に、物体速度導出部１６８は、例外条件が成立しているか否かを判断する（Ｓ１７０）。例外条件が成立している場合（Ｓ１７０におけるＹＥＳ）、物体速度導出部１６８は、ステップＳ１３０で導出された立体物のステレオ速度を、今回の物体速度とし（Ｓ１８０）、一連の処理を終了する。

また、例外条件が成立していない場合（Ｓ１７０におけるＮＯ）、ステップＳ２００以降の処理が行われる。具体的には、ステレオ重み導出部１７０は、ステレオ重みを導出する（Ｓ２００）。次に、単眼重み導出部１７２は、単眼重みを導出する（Ｓ２１０）。次に、予測重み導出部１７４は、予測重みを導出する（Ｓ２２０）。

そして、物体速度導出部１６８は、導出されたステレオ重み、単眼重みおよび予測重みに従って物体速度を導出し（Ｓ２３０）、一連の処理を終了する。具体的には、物体速度導出部１６８は、ステレオ重み、ステレオ速度、単眼重み、単眼速度、予測重みおよび予測速度を、式（１）に適用して物体速度を導出する。

なお、図９のフローチャートでは省略したが、各重みを導出する過程で例外条件が成立した場合、物体速度導出部１６８は、ステップＳ１８０の処理に進み、ステレオ速度を物体速度としてもよい。

また、図９のフローチャートでは省略したが、距離画像１２８において視差が導出されたブロック数が所定ブロック数未満の場合、ステレオ制御から単眼制御に切り替えられてもよい。単眼制御に切り替えられた場合、物体速度導出部１６８は、単眼速度を物体速度としてもよい。

以上のように、本実施形態の車外環境認識装置１２０では、ステレオ制御中において、ステレオ速度、単眼速度および予測速度を適切な混合比率で混合されて物体速度が導出される。これにより、本実施形態の車外環境認識装置１２０では、ステレオ速度に誤差が生じた際に、ステレオ速度のみから物体速度が導出される態様と比べ、誤差の生じたステレオ速度の重み付けを下げることができる。このため、本実施形態の車外環境認識装置１２０では、片方の撮像装置１１０の検出領域１２４に雨滴などが存在しても、導出される物体速度の誤差を抑制することができる。

したがって、本実施形態の車外環境認識装置１２０では、立体物の速度を安定して導出することが可能となる。その結果、本実施形態の車外環境認識装置１２０では、物体速度を用いたクルーズコントロールなどを安定して行うことができる。

以上、添付図面を参照しながら本発明の実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

１１０ 撮像装置
１２０ 車外環境認識装置
１２６ 輝度画像
１２８ 距離画像
１６０ ステレオ速度導出部
１６２ 単眼速度導出部
１６４ 予測速度導出部
１６６ 混合比率導出部
１６８ 物体速度導出部
１７０ ステレオ重み導出部
１７２ 単眼重み導出部
１７４ 予測重み導出部

Claims (5)

1. ２個の撮像装置の輝度画像から導出された距離画像に基づいて抽出された所定の立体物の速度を示すステレオ速度を導出するステレオ速度導出部と、
   １個の前記撮像装置の輝度画像に基づいて抽出された前記立体物の速度を示す単眼速度を導出する単眼速度導出部と、
   前記立体物の過去の速度に基づいて予測された前記立体物の現在の速度を示す予測速度を導出する予測速度導出部と、
   前記ステレオ速度、前記単眼速度および前記予測速度の混合比率を導出する混合比率導出部と、
   前記混合比率に基づいて、前記ステレオ速度、前記単眼速度および前記予測速度を混合して、前記立体物の速度を示す物体速度を導出する物体速度導出部と、
   を備える車外環境認識装置。
2. 前記混合比率導出部は、
   前記ステレオ速度の割合を示すステレオ重みを導出するステレオ重み導出部と、
   前記単眼速度の割合を示す単眼重みを導出する単眼重み導出部と、
   前記予測速度の割合を示す予測重みを導出する予測重み導出部と、
   を有し、
   前記物体速度導出部は、前記ステレオ速度をＶｓ、前記単眼速度をＶｍ、前記予測速度をＶｐ、前記ステレオ重みをＷｓ、前記単眼重みをＷｍ、前記予測重みをＷｐ、前記物体速度をＶとした場合、以下の式（１）によって前記物体速度を導出する請求項１に記載の車外環境認識装置。
   Ｖ＝（Ｗｓ×Ｖｓ＋Ｗｍ×Ｖｍ＋Ｗｐ×Ｖｐ）／（Ｗｓ＋Ｗｍ＋Ｗｐ） ・・・（１）
3. 前記ステレオ重み導出部は、前記距離画像の信頼値に従って前記ステレオ重みを導出する請求項２に記載の車外環境認識装置。
4. 前記単眼重み導出部は、１個の前記撮像装置の輝度画像の信頼値に従って前記単眼重みを導出する請求項２または３に記載の車外環境認識装置。
5. 前記予測重み導出部は、前記距離画像の不信頼値、および、１個の前記撮像装置の輝度画像の不信頼値に従って、前記予測重みを導出する請求項２から４のいずれか１項に記載の車外環境認識装置。

Images