JP7356319B2 - 車外環境認識装置 - Google Patents

Description

本発明は、自車両の進行方向に存在する特定物を特定する車外環境認識装置に関する。

従来、自車両の前方に位置する車両等の立体物を検出し、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように制御する（クルーズコントロール）技術が知られている（例えば、特許文献１）。このような制御を実現するために、例えば、所定の検出領域の輝度変化または面積変化に基づいてブレーキランプの点灯を検出し、先行車両の減速状態を判断する技術（例えば、特許文献２）が開示されている。

特許第３３４９０６０号公報 特許第３８７２１７９号公報

テールランプやブレーキランプは、先行車両の背面において左右対称に配置され、高さや自車両からの相対距離が等しいはずである。したがって、先行車両を特定するためには、テールランプやブレーキランプをそれぞれ単一の光源として認識するだけでなく、ペア（一組、対）である光源（以下、ペア光源という）として認識するのが望ましい。このように、光源をペア光源として認識することで、先行車両の特定精度の向上を図ることができる。

しかし、例えば、雨滴や雪等の外的要因により、テールランプやブレーキランプの一方の光源が欠落したり、滲んで光源の面積が変化すると、ペア光源を特定できなくなり、先行車両の特定精度の低下や、先行車両に対する速度制御の遅延を招くことになる。

本発明は、このような課題に鑑み、ペア光源を適切に特定することが可能な、車外環境認識装置を提供することを目的としている。

上記課題を解決するために、本発明の車外環境認識装置は、光軸を異として撮像された複数の輝度画像を取得する画像取得部と、複数の輝度画像のうち一方の第１輝度画像から光源を抽出し、抽出された光源同士の位置関係から光源のペアとなるペア光源を特定するペア光源特定部と、を備え、ペア光源特定部は、第１輝度画像において光源にペアが存在しない場合、複数の輝度画像のうち他方の第２輝度画像から光源を抽出し、第１輝度画像から抽出した光源と第２輝度画像から抽出した光源とのペアをペア光源とする。

ペア光源特定部が抽出した光源をそれぞれ追跡する光源追跡部を備え、ペア光源特定部は、光源の追跡結果に基づいて光源にペアが存在しないと判定するとしてもよい。

本発明によれば、ペア光源を適切に特定することが可能となる。

車外環境認識システムの接続関係を示したブロック図である。 車外環境認識装置の概略的な機能を示した機能ブロック図である。 車外環境認識方法の流れを示すフローチャートである。 輝度画像を説明するための説明図である。 距離画像を説明するための説明図である。 ペア光源特定処理を説明するための説明図である。 ペア光源特定処理を説明するための説明図である。 立体物特定処理を説明する説明図である。

以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。かかる実施形態に示す寸法、材料、その他具体的な数値などは、発明の理解を容易とするための例示にすぎず、特に断る場合を除き、本発明を限定するものではない。なお、本明細書および図面において、実質的に同一の機能、構成を有する要素については、同一の符号を付することにより重複説明を省略し、また本発明に直接関係のない要素は図示を省略する。

（車外環境認識システム１００）
図１は、車外環境認識システム１００の接続関係を示したブロック図である。車外環境認識システム１００は、撮像装置１１０と、車外環境認識装置１２０と、車両制御装置（ＥＣＵ：Engine Control Unit）１３０とを含む。

撮像装置１１０は、ＣＣＤ（Charge-Coupled Device）やＣＭＯＳ（Complementary Metal-Oxide Semiconductor）等の撮像素子を含んで構成され、自車両１の前方の車外環境を撮像し、少なくとも輝度の情報が含まれる輝度画像（カラー画像やモノクロ画像）を生成することができる。また、撮像装置１１０は、自車両１の進行方向側において２つの撮像装置１１０それぞれの光軸が略平行になるように、略水平方向に離隔して配置される。撮像装置１１０は、自車両１の前方の検出領域に存在する立体物を撮像した輝度画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。

また、車外環境認識装置１２０は、２つの撮像装置１１０それぞれから輝度画像を取得し、２つの輝度画像に基づいて、例えば、先行車両や対向車両の挙動、進行路の状況等、車外の環境を認識する。そして、車外環境認識装置１２０は、認識した車外環境と、自車両１の走行状況とに基づいて、自車両１の走行（速度、舵角）制御を行う。車外環境認識装置１２０については後程詳述する。

車両制御装置１３０は、ステアリングホイール１３２、アクセルペダル１３４、ブレーキペダル１３６を通じて運転手の操作入力を受け付け、操舵機構１４２、駆動機構１４４、制動機構１４６に伝達することで自車両１を制御する。また、車両制御装置１３０は、車外環境認識装置１２０の指示に従い、操舵機構１４２、駆動機構１４４、制動機構１４６を制御する。

（車外環境認識装置１２０）
図２は、車外環境認識装置１２０の概略的な機能を示した機能ブロック図である。図２に示すように、車外環境認識装置１２０は、Ｉ／Ｆ部１５０と、データ保持部１５２と、中央制御部１５４とを含んで構成される。

Ｉ／Ｆ部１５０は、撮像装置１１０、および、車両制御装置１３０との双方向の情報交換を行うためのインターフェースである。データ保持部１５２は、ＲＡＭ、フラッシュメモリ、ＨＤＤ等で構成され、以下に示す各機能部の処理に必要な様々な情報を保持する。

中央制御部１５４は、中央処理装置（ＣＰＵ）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む半導体集積回路で構成され、システムバス１５６を通じて、Ｉ／Ｆ部１５０、データ保持部１５２等を制御する。また、本実施形態において、中央制御部１５４は、画像取得部１６０、距離画像生成部１６２、ペア光源特定部１６４、光源追跡部１６６、立体物特定部１６８としても機能する。以下、本実施形態に特徴的な、自車両１前方の光源を認識し、立体物（例えば、先行車両）の領域を特定する車外環境認識方法について、当該中央制御部１５４の各機能部の動作も踏まえて詳述する。

（車外環境認識方法）
図３は、車外環境認識方法の流れを示すフローチャートである。かかるフローチャートは所定の割込時間毎に実行される。車外環境認識方法では、まず、画像取得部１６０が、複数の輝度画像を取得する（Ｓ２００）。次に、距離画像生成部１６２が、距離画像を生成する（Ｓ２０２）。続いて、ペア光源特定部１６４が、輝度画像から光源を抽出し、抽出された光源同士の位置関係から光源のペアとなるペア光源を特定する（Ｓ２０４～Ｓ２１４）。次に、光源追跡部１６６が、特定された光源をそれぞれ追跡する（Ｓ２１６）。そして、立体物特定部１６８が、ペア光源に基づいて立体物を特定する（Ｓ２１８）。以下、車外環境認識方法の各処理について詳細に説明し、本実施形態の特徴と無関係な処理については説明を省略する。

（画像取得処理Ｓ２００）
図４は、輝度画像を説明するための説明図である。画像取得部１６０は、撮像装置１１０で光軸を異として撮像された複数（ここでは２）の輝度画像を取得する。ここで、画像取得部１６０は、輝度画像１８０として、図４（ａ）に示す、自車両１の比較的右側に位置する撮像装置１１０で撮像された第１輝度画像１８０ａと、図４（ｂ）に示す、自車両１の比較的左側に位置する撮像装置１１０で撮像された第２輝度画像１８０ｂとを取得したとする。

なお、ここでは、第１輝度画像１８０ａとして、自車両１の比較的右側に位置する撮像装置１１０で撮像された輝度画像１８０を挙げ、第２輝度画像１８０ｂとして、自車両１の比較的左側に位置する撮像装置１１０で撮像された輝度画像１８０を挙げている。しかし、自車両１の比較的左側に位置する撮像装置１１０で撮像された輝度画像１８０を第１輝度画像１８０ａとし、自車両１の比較的右側に位置する撮像装置１１０で撮像された輝度画像１８０を第２輝度画像１８０ｂとしてもよい。

図４を参照すると、撮像装置１１０の撮像位置の違いから、第１輝度画像１８０ａと第２輝度画像１８０ｂとで、画像に含まれる立体物の画像位置が水平方向に異なるのが理解できる。ここで、水平は、撮像した画像の画面横方向を示し、垂直は、撮像した画像の画面縦方向を示す。

なお、輝度画像に含まれる立体物は、自車両１の前方に位置する、車両（先行車両、対向車両）、自転車、歩行者、信号機、道路（進行路）、道路標識、ガードレール、建物といった独立して存在する物のみならず、車両のバックランプやテールランプ等、その一部として特定できる物も含む。

（距離画像生成処理Ｓ２０２）
図５は、距離画像を説明するための説明図である。距離画像生成部１６２は、画像取得部１６０が取得した、図５（ａ）に示す第１輝度画像１８０ａと、図５（ｂ）に示す第２輝度画像１８０ｂとに基づいて、図５（ｃ）のような距離画像１８２を形成する。

具体的に、距離画像生成部１６２は、一方の輝度画像（ここでは第１輝度画像１８０ａ）から任意に抽出したブロック（例えば、水平４画素×垂直４画素の配列）に対応するブロックを他方の輝度画像（ここでは第２輝度画像１８０ｂ）から検索する、所謂パターンマッチングを用いて視差、および、任意のブロックの画像内の位置を示す画像位置を含む視差情報を導出する。

このパターンマッチングとしては、一対の画像間において、任意のブロック単位で輝度（Ｙ）を比較することが考えられる。例えば、輝度の差分をとるＳＡＤ（Sum of Absolute Difference）、差分を２乗して用いるＳＳＤ（Sum of Squared intensity Difference）や、各画素の輝度から平均値を引いた分散値の類似度をとるＮＣＣ（Normalized Cross Correlation）等の手法がある。

距離画像生成部１６２は、このようなブロック単位の視差導出処理を検出領域（例えば、６００画素×２００画素）に映し出されている全てのブロックについて行う。ここでは、ブロックを４画素×４画素としているが、ブロック内の画素数は任意に設定することができる。

ただし、距離画像生成部１６２は、検出分解能単位であるブロック毎に視差を導出することはできるが、そのブロックがどのような対象物の一部であるかを認識できない。したがって、視差情報は、対象物単位ではなく、検出領域における検出分解能単位（例えばブロック単位）で独立して導出されることとなる。ここでは、説明の便宜上、視差が導出されたブロックを黒のドットで表している。

距離画像生成部１６２は、距離画像１８２におけるブロック毎の視差情報を、所謂ステレオ法を用いて三次元の位置情報に変換し、相対距離を導出する。ここで、ステレオ法は、三角測量法を用いることで、対象物の視差からその対象物の撮像装置１１０に対する相対距離を導出する方法である。

（ペア光源特定処理Ｓ２０４～Ｓ２１４）
車外環境認識装置１２０では、輝度画像１８０に基づく輝度値（カラー値）、および、距離画像１８２に基づいて算出された、自車両１との相対距離を含む実空間における三次元の位置情報を用い、カラー値が等しく三次元の位置情報が近いブロック同士を対象物としてグループ化する。そして、自車両１前方の検出領域における対象物がいずれの特定物（例えば、先行車両）に対応するか特定される。ここでは、このような特定物の特に先行車両を特定するための要素となるペア光源を特定する処理を説明する。

図６、図７は、ペア光源特定処理を説明するための説明図である。ペア光源特定部１６４は、図６（ａ）のように、複数の輝度画像１８０のうち一方の輝度画像１８０（例えば、第１輝度画像１８０ａ）から、テールランプやブレーキランプに相当する輝度および色分布を有する個々の光源（単光源）１８４を抽出する（Ｓ２０４）。

このとき、光源１８４の輝度が高すぎる場合、撮像装置１１０は、露光時間を短くして輝度画像１８０を生成する。また、撮像装置１１０は、異なる複数の露光時間で交互に輝度画像１８０を生成し、そのうちの比較的露光時間が短い輝度画像１８０を用い、輝度および色分布に基づいて光源１８４を抽出してもよい。

ペア光源特定部１６４は、輝度および色分布から光源１８４として認識できたとしても、距離画像１８２において、距離を有さない、または、距離を特定できない光源１８４を、テールランプやブレーキランプの候補から除外する。なお、立体物としての反射板は、テールランプやブレーキランプと、その輝度および色分布が類似する場合がある。ペア光源特定部１６４は、輝度および色分布から光源１８４として認識できたとしても、反射板等、所定の大きさや形状を有する光源１８４もテールランプやブレーキランプの候補から除外する。

テールランプやブレーキランプの候補として除外されなかった光源１８４は、後述する光源追跡部１６６の追跡対象（ランプトレース）として登録される。

続いて、ペア光源特定部１６４は、距離画像１８２を参照し、テールランプやブレーキランプの候補として除外されなかった光源１８４同士の位置関係から、テールランプやブレーキランプに相当する位置（水平位置、垂直位置、相対距離）を有する光源のペアとなるペア光源１８６を特定する（Ｓ２０６）。

具体的に、ペア光源特定部１６４は、２つの光源１８４における、（１）水平方向の距離（幅）が車両の法規長さ以下であること、（２）ピクセル同士が垂直方向にオーバーラップしていること、（３）相対距離の差分が所定範囲内であること、（４）面積の差分が所定範囲内であることの４つの条件毎にポイントを積算し、最もペアの可能性が高い組合せをペア光源１８６としている。例えば、図６（ｂ）の例では、光源１８４の２組のペアがペア光源１８６として特定される。

なお、ペア光源特定部１６４は、前回のフレーム（または過去のフレーム）でペアとしたペア光源１８６を読み出し、今回のフレームでペアとしたペア光源１８６の組合せが、前回のフレームのペア光源１８６と異なる場合、上記の４つの条件によるポイントを比較し、ポイントの高い（ペア光源として最適な）方をペア光源１８６として特定する。このとき、今回のフレームのペア光源１８６の方がポイントが高い場合、ペア光源特定部１６４は、前回のフレームのペア光源１８６の情報を排除し、今回のフレームのペア光源１８６を、光源追跡部１６６の追跡対象として登録する。

このようにテールランプやブレーキランプの候補である光源１８４を、ペア光源１８６として認識することで、先行車両の特定精度の向上を図ることができる。

しかし、例えば、雨滴や雪等の外的要因により、テールランプやブレーキランプの一方の光源１８４が欠落したり、滲んで光源１８４の面積が本来の面積から変わると、ペア光源特定部１６４は、本来存在しているはずのペア光源１８６を特定できなくなる。そうすると、先行車両の特定精度の低下や、先行車両に対する速度制御の遅延を招く。そこで、本実施形態では、光源１８４が欠落した距離画像１８２とは異なる距離画像１８２を用いて光源１８４を特定し、ペア光源１８６を適切に特定する。

具体的に、ペア光源特定部１６４は、第１輝度画像１８０ａにおいて光源１８４にペアが存在するか否か判定する（Ｓ２０８）。そして、ペアが存在しない場合（Ｓ２０８におけるＮＯ）、ペア光源特定部１６４は、複数の輝度画像１８０のうち他方の第２輝度画像１８０ｂから光源１８４を抽出し（Ｓ２１０）、第１輝度画像１８０ａから抽出した光源１８４と第２輝度画像１８０ｂから抽出した光源１８４とをペア光源とする（Ｓ２１２）。また、ペアが存在すれば（Ｓ２０８におけるＹＥＳ）、ペア光源特定部１６４は、ステップＳ２１０、Ｓ２１２を実行することなく、次の処理に移行する。

ここでは、画像取得部１６０が、図７（ａ）の第１輝度画像１８０ａと、図７（ｂ）の第２輝度画像１８０ｂとを取得したとする。

ペア光源特定部１６４は、第１輝度画像１８０ａから光源１８４を抽出する。しかし、ペア光源特定部１６４は、図７（ａ）において矢印で示したように、後述する光源追跡部１６６が追跡している光源１８４の追跡結果を参照し、前回のフレームにおいて、ペア光源１８６として特定された光源１８４を抽出できず、ペア光源１８６が存在しないと判定したとする。ペア光源特定部１６４は、第１輝度画像１８０ａと同タイミングで取得された第２輝度画像１８０ｂを参照し、図７（ｂ）において矢印で示したように、第２輝度画像１８０ｂから光源１８４を抽出する。

ただし、三次元の位置情報（水平位置、垂直位置、相対距離）を有する距離画像１８２は、図５のように、第１輝度画像１８０ａと位置関係が対応して生成されるが、第２輝度画像１８０ｂとは位置関係が対応していない。したがって、ペア光源特定部１６４は、前回のフレームにおいて、ペア光源１８６として特定された光源１８４の三次元の位置情報を、所謂ステレオ法を用いて、第２輝度画像１８０ｂにおける三次元の位置情報に変換する。

ペア光源特定部１６４は、変換された三次元の位置情報の周辺に存在する立体物の輝度および色分布に基づいて第２輝度画像１８０ｂにおける光源１８４を抽出する。そして、ペア光源特定部１６４は、第２輝度画像１８０ｂにいて抽出された光源１８４の三次元の位置情報を、所謂ステレオ法を用いて、第１輝度画像１８０ａにおける三次元の位置情報に変換する。こうして、図７（ｃ）において矢印で示したように、第１輝度画像１８０ａに光源１８４が対応付けられる。

ペア光源特定部１６４は、第１輝度画像１８０ａから抽出した光源１８４と、第２輝度画像１８０ｂから抽出し、第１輝度画像１８０ａに対応付けた光源１８４とをペア光源１８６とする。

なお、このようなペア光源１８６が、同一の対象として所定回数（例えば、５回）以上連続で抽出されたら、ペア光源１８６としての信頼度や、それを含む先行車両の車両らしさの判定値を高くするとしてもよい。例えば、１の光源１８４が複数の光源１８４のペア候補となった場合、ペア光源１８６としての信頼度が高い方とペアとなる。

ペア光源特定部１６４は、第１輝度画像１８０ａからテールランプやブレーキランプの候補として抽出した全ての光源１８４に対してペア光源１８６であるか否かを判定するまで（Ｓ２１４におけるＮＯ）、ステップＳ２０６からを繰り返し、全ての光源１８４に対し、ペア光源１８６であるか否かを判定すると（Ｓ２１４におけるＹＥＳ）、次の光源追跡処理Ｓ２１６に移行する。

（光源追跡処理Ｓ２１６）
光源追跡部１６６は、ペア光源特定部１６４がテールランプやブレーキランプの候補として抽出した光源１８４を、光源１８４の位置情報と速度、回転速度に基づいて追跡する。このとき、対象となる光源１８４が、過去のフレームにおいて既に追跡（検出）されていた場合、光源１８４のピクセル同士がオーバーラップしている率および距離の類似度に応じて（積算されたポイントの高さに応じて）、過去のフレームの光源１８４と関連付ける。そして、光源追跡部１６６は、類似度の高い光源１８４を類似度の低い光源１８４より優先的に追跡する。

（立体物特定処理Ｓ２１８）
図８は、立体物特定処理を説明する説明図である。立体物特定部１６８は、まず、距離画像１８２において、路面から高さが所定距離以上に位置する複数のブロックのうち自車両１との相対距離が等しく、かつ、互いに垂直方向および水平方向の距離が近いブロックをグループ化し、例えば、先行車両の候補とする。次に、立体物特定部１６８は、このように特定した立体物全てを含む第１輝度画像１８０ａにおける矩形の領域を立体物領域１９０として特定する。ここで、矩形は、垂直方向に延伸し、立体物の左右エッジにそれぞれ接する２本の直線、および、水平方向に延伸し、立体物の上下エッジにそれぞれ接する２本の直線で構成される。

立体物特定部１６８は、このように形成された立体物領域１９０と、ペア光源１８６との位置関係から、立体物領域１９０中の立体物を、特定物である先行車両と特定する。具体的に、立体物特定部１６８は、立体物領域１９０の水平の幅および高さが車両に相当し、立体物領域１９０とペア光源１８６との相対距離の差分が所定範囲内であり、かつ、ペア光源１８６が立体物領域１９０内の適切な高さに位置している場合、立体物領域１９０中の立体物を先行車両と特定する。

このように、立体物領域１９０が先行車両と特定されると、車外環境認識装置１２０は、先行車両との衝突を回避したり（衝突回避制御）、先行車両との車間距離を安全な距離に保つように自車両１を制御する（クルーズコントロール）ことが可能となる。

本実施形態では、第２輝度画像１８０ｂに基づきペア光源１８６を適切に特定することができるので、先行車両を安定的に特定でき、先行車両の特定精度の低下や、先行車両に対する速度制御の遅延を回避することが可能となる。

また、コンピュータを車外環境認識装置１２０として機能させるプログラムや、当該プログラムを記録した、コンピュータで読み取り可能なフレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ、ＤＶＤ、ＢＤ等の記憶媒体も提供される。ここで、プログラムは、任意の言語や記述方法にて記述されたデータ処理手段をいう。

以上、添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる実施形態に限定されないことは言うまでもない。当業者であれば、特許請求の範囲に記載された範疇において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。

なお、本明細書の車外環境認識方法の各工程は、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はなく、並列的あるいはサブルーチンによる処理を含んでもよい。

本発明は、自車両の進行方向に存在する特定物を特定する車外環境認識装置に利用することができる。

１１０ 撮像装置
１２０ 車外環境認識装置
１６０ 画像取得部
１６２ 距離画像生成部
１６４ ペア光源特定部
１６６ 光源追跡部
１６８ 立体物特定部
１８０ａ 第１輝度画像
１８０ｂ 第２輝度画像
１８２ 距離画像

Claims (2)

1. 光軸を異として撮像された複数の輝度画像を取得する画像取得部と、
   前記複数の輝度画像のうち一方の第１輝度画像から光源を抽出し、抽出された前記光源同士の位置関係から光源のペアとなるペア光源を特定するペア光源特定部と、
   を備え、
   前記ペア光源特定部は、前記第１輝度画像において前記光源にペアが存在しない場合、前記複数の輝度画像のうち他方の第２輝度画像から光源を抽出し、前記第１輝度画像から抽出した光源と前記第２輝度画像から抽出した光源とのペアをペア光源とする車外環境認識装置。
2. 前記ペア光源特定部が抽出した光源をそれぞれ追跡する光源追跡部を備え、
   前記ペア光源特定部は、前記光源の追跡結果に基づいて前記光源にペアが存在しないと判定する請求項１に記載の車外環境認識装置。

Images