JP5392473B2 - 車両用運転支援装置 - Google Patents

Description

本発明は車両用運転支援装置に関し、より詳しくは三角測量の原理に従って障害物までの距離を算出する車両用運転支援装置に関する。

車両走行の安全性を向上する一つの手段として、互いに離間して配置した複数のカメラを用意し、この複数のカメラから取り込んだ画像データから視差を求めて、この視差によって障害物の有無や障害物までの距離などを計測する運転支援装置が知られている（例えば特許文献１、２）。

特許文献１は、左右に離間したカメラから取り込んだ画像データから互いに対応する点や対応領域を検出して視差を求めると共に、視差に対応する辺及び横方向の位置に対応する辺が長くなるように定めされたブロックを複数配列した視差マップを用いて路面と立体物とを区別して判定することを提案している。

特許文献２は、水平方向に離置した複数のカメラから取り込んだ画像を所定の大きさの領域に分割し、そして、エッジを含んだ領域を抽出して、この抽出した領域内のエッジの方向を求めると共に、エッジの方向の垂直及び斜め方向の領域に対して最も一致度の高い領域を検出して各領域毎の視差を求め、そして、視差と左右二つのカメラの位置関係から三角測量の原理に基づいて各領域内に存在する障害物までの距離を演算すると共に同じ距離であると算出された領域の塊を一つの障害物と判定することを提案している。

特開２００６−２３６１０４号公報 特開２０００−２０７６９３号公報

引用文献１、２から分かるように、一方のカメラ（以下、「基準カメラ」という）から取り込んだ撮像データ（以下、「基準画像」又は「基準画像データ」という）から特徴点を抽出し、この特徴点に対応する対応点を他方のカメラ（以下、「参照カメラ」という）の撮像データ（以下、「参照画像」又は「参照画像データ」という）から探し出すことで特徴点と対応点との間の視差を求める手法が採用される。

参照画像データから対応点を探索する従来の一般的な手法は、参照画像のY方向にスキャンし、このスキャンをX方向に上から下に向けて反復することにより行われる。

しかしながら、参照画像から対応点を抽出するのに参照画像の実質的に全領域をスキャンすることになるため対応点の抽出及びこれに付随する視差を算出するのに時間を要するという問題がある。

本発明の目的は、基準画像の特徴点に対応する対応点を探索する処理を実行する負担を軽減すると共に対応点の探索処理時間を短縮することできる車両用運転支援装置を提供することにある。

上記の技術的課題は、本発明によれば、
少なくとも第１、第２の複数の撮像手段を備え、該撮像手段で撮像した画像から障害物の特徴点を探索すると共に、この特徴点に対応した対応点を探索して、特徴点と対応点の視差に基づいて障害物までの距離を算出する車両用運転支援装置において、
前記第１撮像手段が撮像した基準画像データを記憶する基準メモリと、
前記第２撮像手段が撮像した参照画像データを記憶する参照メモリと、
前記基準メモリに記憶されている基準画像データから特徴点を探索する領域であって基準画像の一部に制限された領域である特徴点探索領域から特徴点を探索する特徴点探索手段と、
前記参照メモリに記憶されている参照画像データから対応点を探索する対応点探索範囲が上記特徴点の基準画像の存在位置により決まる探索方位ごとに設定された探索範囲であって、探索を必要とする障害物が存在することが予測される距離範囲に応じた視差データであり且つ画素数で規定する探索範囲内において前記特徴点に対応する対応点を探索する対応点探索手段と、
前記特徴点探索手段によって探索された特徴点と、前記対応点探索手段によって探索された対応点とに基づく視差によって障害物までの距離を算出する距離算出手段とを有することを特徴とする車両用運転支援装置を提供することにより達成される。すなわち、対応点の探索範囲を障害物の存在する可能性のある所定の範囲内に限定し、その範囲内においてのみ対応点の探索を実行するので、対応点を探索する処理を実行する負担を軽減すると共に対応点の探索処理時間を短縮することができる。

本発明の好ましい実施の形態では、
前記特徴点探索手段が、前記基準メモリに記憶されている基準画像データから特徴点を探索する特徴点探索領域が複数の区分に分割され、各区分に探索の順位が付与されて、第１順位から順に特徴点を探索する。これにより、対応点だけでなく、特徴点を探索する処理を実行する負担を軽減すると共に特徴点の探索処理時間を短縮することできる。

また、本発明の好ましい実施の形態では、
自車両の走行環境を検出する走行環境検出手段と、
該走行環境検出手段が検出した走行環境に応じて、前記特徴点検索領域の大きさを設定する探索領域設定手段と、を更に有する。これによれば、走行環境に適合した大きさの探索領域の下で特徴点を探索することができる。

また、本発明の好ましい実施の形態では、
前記走行環境検出手段が検出した走行環境に応じて、前記特徴点検索領域の区分数を設定する区分数設定手段を更に有する。これによれば、例えば込み入った市街地では区分数を多くすることで特徴点の検出精度を向上させることができる。

また、本発明の好ましい実施の形態では、
前記対応点検索領域が、上記特徴点探索領域の区分に対応して設定され、上記対応点の探索範囲が、上記区分ごとに設定される。このように、対応点の探索範囲を区分ごとに設定することで、探索方位が異なり、障害物までの距離が異なる各区分ごとに、適正な探索範囲を各区分ごとに設定し、対応点の検出処理負担軽減と精度を向上させることができる。

実施例が適用された車両の平面図である。 実施例の運転支援装置の全体系統をブロック図的に示す図である。 ２台のカメラを使って視差により障害物までの距離を三角測量の原理に従って求める方法を説明するための図である。 郊外走行時に採用される特徴点探索領域マップ及び区分を説明するための図である。 郊外走行時に採用される対応点探索範囲マップ及び区分を説明するための図である。 市街地走行時に採用される特徴点探索領域マップ及び区分を説明するための図である。 市街地走行時に採用される対応点探索範囲マップ及び区分を説明するための図である。 特徴点の抽出及びこれに対応した対応点の抽出に続いて視差により障害物までの距離によって衝突危険度を判定して、衝突の危険があるときに警報を発する制御の具体例を説明するためのフローチャートである。

以下に、添付の図面に基づいて本発明の好ましい実施例を説明する。図１において、車両としての自動車ＶＣは、左右の前輪１Ｆと、左右の後輪１Ｒとを有し、この車両ＶＣの車室には、フロントウィンドウガラスを通じて前方空間を撮像する第１、第２の左右の撮像手段としての第１、第２のＣＣＤカメラ２、４を有し、この第１、第２のカメラ２、４は、水平方向に離間して（例えばルームミラーを挟んでその左右に）配置されている。なお、第１、第２の第１、第２撮像手段は、ＣＣＤカメラに限定されるものではなく、例えばＣＭＯＳカメラ等の画像センサであればよい。

車両ＶＣにはナビゲーションシステム８が配設され、このナビゲーションシステム８は、周知のように、ドライバに地図情報を視覚的に提供する。また、フロントウィンドウガラスには、運転席１２の前方の部分にウィンドウシールドディスプレイシステム１０が生成した運転支援情報がプロジェクタによって表示され、この運転支援情報には、障害物と衝突の危険性を表示する警報表示が含まれる。また、車両ＶＣにはＧＰＳ受信システム１４が搭載されている。

図２は、運転支援装置の一部を構成するマイクロコンピュータを利用して構成されたコントローラＵ（制御ユニット）を含む制御系統の全体をブロック図的を示す。コントローラＵには、右カメラ２、左カメラ４から撮像データが入力される。ここに、右カメラ２は基準カメラを構成し、左カメラ４が参照カメラを構成しているが、右カメラ２を参照カメラとして使用し、左カメラ４を基準カメラとして使用してもよい。前方に向けて配設された左右のカメラ２、４は、その光軸が共に平行となるように配設されている。

コントローラＵには、ＧＰＳ受信システム１４が受け取ったＧＰＳ信号が入力され、また、ナビゲーションシステム８からの地図データが入力される。

コントローラＵは、各カメラ２、４から取り込んだ画像信号を記憶する第１、第２のメモリ２０、２２つまり、右カメラ（基準カメラ）２から取り込んだ基準画像信号を記憶する基準メモリ２０と、左カメラ（参照カメラ）４から取り込んだ参照画像信号を記憶する参照メモリ２２とを有している。

コントローラＵは、また、ＧＰＳ受信システム１４及びナビゲーションシステム８からの信号を受け取って車両ＶＣの走行環境を検出する走行環境検出部２４を有し、この走行環境検出部２４で検出した走行環境データに基づいて作成した特徴点探索領域マップ及び対応点探索範囲マップ（後に説明する市街地走行用と郊外走行用の２種類）が第３、第４メモリ２６、２８に記憶される。

前述した基準メモリ２０内の基準画像データに基づいて特徴点の探索が行われ、また、参照メモリ２２内の参照画像データに基づいて対応点を探索が行われる。そして、距離算出及び危険度判定部３０では、抽出した特徴点及び対応点に基づいて対象物（障害物）までの距離が算出されて衝突の危険度が判定され、衝突の危険度が高いときには、ウィンドウシールドディスプレイシステム１０のプロジェクタによってフロントウィンドウガラスに警報情報が表示される。

左右のカメラ２、４によって車両ＶＣの前方に位置する障害物Ｏまでの距離を検出する基本原理を図３に基づいて説明すると、２台の左右に離置したカメラ２、４の間の距離Ｌ₀は既知である。基準カメラ２が撮像した画像データから輝度変化により検出した障害物の特徴点と基準カメラ２の光軸との間の距離がＤ１（距離Ｄ１に対応する基準メモリ２０の画素数）であったとする。この特徴点に対応する対応点を参照カメラ４が撮像した画像データから抽出したときに、この対応点と参照カメラ４の光軸との間の距離がＤ２（距離Ｄ２に対応する参照メモリ２２の画素数）であったとすると、視差は距離Ｄ１と距離Ｄ２とを合算した値となり（視差＝Ｄ１＋Ｄ２）、従来と同様に、この視差の値（視差量）を使って三角測量の原理により障害物Ｏと自車両ＶＣとの間の距離Ｌを知ることができる。

図４は基準画像中で特徴点を探索するために用いられる郊外走行用の探索領域を説明するための図である。右の基準カメラ２が撮像した基準画像４０(これに該当する基準メモリ２０のメモリ領域）を示す。郊外での走行では、画像４０中、自車両ＶＣの走行車線及びその近傍領域に限定した郊外用特徴点探索領域４２が設定され、この郊外用特徴点探索領域４２は上下及び左右に合計八つの区分４２-１〜８に分割されている。

図５（ａ）は、左の参照カメラ４が撮像した画像中、上記郊外用特徴点探索領域４２に対応した対応点探索領域４４を示し（これに該当する参照メモリ２２のメモリ領域）、この対応点探索領域４４は、上記郊外用特徴点探索領域４２の八つの区分４２-１〜８に対応して八つの区分４４-１〜８に分割されている。

対応点探索領域４４に関し、探索方位ごとに区分され、各区分ごとに設定された探索範囲内において対応点を探索することとし、これら探索範囲は、探索を必要とする障害物が存在することが予測される距離範囲に応じた視差データとして記憶しておき、これら視差データにて設定された範囲内においてのみ対応点を探索する。すなわち、特徴点が抽出された場合、図３の左画像の破線で示すように、左画像２２の特徴点に対応する位置から、予め記憶された視差データにて設定された探索範囲内のみを探索して対応点を抽出する。

例えば、図５（ａ）に対応する車両状態の平面視を示す図５（ｂ）や側面視を示す図５（ｃ）に示されるように、探索方位に応じて、探索すべき障害物までの距離は異なる。すなわち、図５（ｂ）に示すように自車進行方向の車線内を探索する区分４４−５、４４−６においては、障害物探索は、比較的長い距離範囲まで探索する必要あるため、視差データは、１０ｐｉｘ〜５０ｐｉｘとして設定され、図３の破線で示すように、対応点の探索は、特徴点から１０ｐｉｘ離間した位置から開始し、５０ｐｉｘ離間したところで終了する。一方、自車進行方向の車線外を探索する区分４４−７、４４−８においては、障害物探索は、自車進行方向に対しては、比較的短い距離範囲の探索とすることが出来るため、視差データは、２０ｐｉｘ〜５０ｐｉｘとして設定され、図３の破線で示すように、対応点の探索は、特徴点から２０ｐｉｘ離間した位置から開始し、５０ｐｉｘ離間したところで終了する。

同様に、図５（ｃ）に示すように自車進行方向の下方向を探索する区分４４−１、４４−２においては、障害物探索は、路面にいたるまでの比較的短い距離範囲を探索すれば良いため、視差データは、４０ｐｉｘ〜５０ｐｉｘとして設定され、図３の破線で示すように、対応点の探索は、特徴点から４０ｐｉｘ離間した位置から開始し、５０ｐｉｘ離間したところで終了する。

図６は市街地を走行中に用いられる基準画像中で特徴点を探索するために用いられる探索領域を説明するための図である。この市街地での走行では、撮像画像４０中、横方向及び遠方に広がりを有する市街地用特徴点探索領域４６が設定され、この市街地用特徴点探索領域４６は上下及び左右に合計３２の区分４６-１〜４６-３２に分割されている。

図７は、左の参照カメラ４が撮像した画像中、上記市街地用特徴点探索領域４６に対応した対応点探索範囲４８を示し（これに該当する参照メモリ２２のメモリ領域）、この対応点探索範囲４８は、上記市街地用特徴点探索領域４６の３２の区分４６-１〜４６-３２に対応して３２の区分４８-１〜４８-３２に分割されている。

上記の郊外走行時の対応点探索と同様に、対応点探索範囲４８に関し、探索方位ごとに区分され、各区分ごとに設定された探索範囲内において対応点を探索することとし、これら探索範囲は、探索を必要とする障害物が存在することが予測される距離範囲に応じた視差データとして記憶しておき、これら視差データにて設定された範囲内においてのみ対応点を探索する。すなわち、特徴点が抽出された場合、図３の左画像の破線で示すように、左画像２２の特徴点に対応する位置から、予め記憶された視差データにて設定された探索範囲内のみを探索して対応点を抽出する。

例えば、図７のＭＡＰデータとして示されるように、探索方位に応じて、探索すべき障害物までの距離は異なることから、自車進行方向の車線内を探索する区分４８−２２、４８−２３においては、障害物探索は、比較的長い距離範囲まで探索する必要あるため、視差データは、１５ｐｉｘ〜５０ｐｉｘとして設定され、図３の破線で示すように、対応点の探索は、特徴点から１５ｐｉｘ離間した位置から開始し、５０ｐｉｘ離間したところで終了する。一方、自車進行方向の車線外を探索する区分４８−１９、４８−２０においては、障害物探索は、自車進行方向に対しては、比較的短い距離範囲の探索とすることが出来るため、視差データは、２０ｐｉｘ〜５０ｐｉｘとして設定され、図３の破線で示すように、対応点の探索は、特徴点から２０ｐｉｘ離間した位置から開始し、５０ｐｉｘ離間したところで終了する。

同様に、自車進行方向の下方向を探索する区分４８−６、４８−７においては、障害物探索は、路面にいたるまでの比較的短い距離範囲を探索すれば良いため、視差データは、４０ｐｉｘ〜５０ｐｉｘとして設定され、図３の破線で示すように、対応点の探索は、特徴点から４０ｐｉｘ離間した位置から開始し、５０ｐｉｘ離間したところで終了する。なお、その他の区分についても同様である。

実施例に含まれる対応点探索方法の具体例を図８のフローチャートに基づいて説明する。先ず、ステップＳ１で、左右のカメラ２、４やナビゲーションシステム８等からの信号の入力処理が行われ、次のステップＳ２において、ナビゲーションシステム８からの情報に基づいて、現在の走行環境つまり市街地を走行中か郊外を走行中であるかの推定が行われ、ここで推定した走行環境に応じた特徴点探索領域が設定される（ステップＳ３）。すなわち、郊外走行中であれば図４の探索領域４２が設定され、市街地走行中であれば図６の探索領域４６が設定される。このステップＳ３は探索領域設定手段及び区分数設定手段を構成する。

次のステップＳ４では、優先順位に従って領域内の特徴点の探索を実行される。このステップＳ４について郊外走行中を例に説明すると、特徴点探索領域４２の各区分４２−１〜４２−８には探索順位が属性として付与されている。優先順位としては衝突危険度の大きい領域、例えば車両前方且つ隣接した空間の撮像画像を記憶した二つの下側中央区分４２−１、４２−２に第１順位が設定され、次に衝突危険度が大きい領域である下側中央の左右両側の区分４２−３、４２−４に第２順位が設定され、次に衝突危険度が大きい上側中央の区分４２−５、４２−６に第３順位が設定され、最も衝突危険度が小さいと考えられる上側中央の左右両側の区分４２−７、４２−８に第４順位が設定される（図４）。

この例によれば、ステップＳ４では、上記の優先順位に従って先ず第１順位の二つの下側中央区分４２−１、４２−２において特徴点の探索が実行される。そして、下側中央区分４２−１、４２−２の中に特徴点が存在しているときには、ＹＥＳであるとしてステップＳ６に進んで、郊外用対応点探索範囲４４のうち上記特徴点探索領域４２の第１順位の二つの区分４２−１、４２−２に対応する区分である二つの区分４４−１、４４−２が探索範囲として設定され、そして、この二つの区分４４−１、４４−２で対応点の探索が実行される（ステップＳ７）。このステップＳ７が対応点探索手段を構成する。もし対応点が抽出できないときには、ステップＳ８でＮＯであるとしてステップＳ９に進み、探索優先順位が最下位であるか否かの判定が行われる。

いまは第１優先順位を実行したのであるから、ＮＯということでステップＳ１０に進んで次の優先順位である第２順位について特徴点及びこれに対応した対応点の探索が実行される。すなわち、ステップＳ１０では、特徴点探索領域４２の第２順位の区分４２−３、４２−４について特徴点の探索が実行され、また、ステップＳ６では、この第２順位の特徴点探索区分４２−３、４２−４に対応した郊外用対応点探索区分４４−３、４４−４について対応点の探索が実行される。この特徴点及びこれに対応した対応点の探索は、特徴点が存在していないときを除いて、最後の順位つまり最下位の順位まで実行される。

特徴点と、これに対応する対応点が存在しているときには、ステップＳ１１に進んで視差に基づいて対象物（障害物）までの距離Ｌ（図３）の算出が行われる。このステップＳ１１が距離算出手段を構成する。そして、算出した距離Ｌが所定のしきい値つまり衝突危険性の高い距離よりも小さいときにはステップＳ１３に進んでウィンドウシールドディスプレイシステム１０によって警報表示が行われる。

上述したように、基準画像を記憶した基準メモリ２０及び参照画像を記憶した参照メモリ２２の探索において探索エリアを制限して特徴点及びこれに対応する対応点の探索を行うようにしたことから特徴点及び対応点の探索処理を実行する負担を軽減することができ、これにより探索処理時間を短縮することできる。また、制限した探索エリアに順位を付与して、この順位に従って特徴点及び対応点の探索処理を実行することから、探索目的（上記の例で言えば衝突危険度の警報）に合致した順位を付与することで探索目的に合致した特徴点及び対応点を迅速に抽出することができる。また、市街地や郊外というように走行環境に応じて基準画像中の特徴点探索領域４２、４６の大きさを変えることで、走行環境に対応した合理的な特徴点の抽出処理を行うことができる。また、探索方位により異なる距離範囲に存在することが予測される障害物を検出するができるように対応点探索範囲４４、４８の各区分毎に異なる視差に相当する画素数を設定することで対応点の探索処理負荷を軽減するとともに精度を上げることができる。

なお、上記の具体例では、特徴点探索領域４２、４６を分割した複数の区分に関して優先順位を付与して、優先順位に従って該当する区分内で特徴点を探索するようにしたが、特徴点の探索に関しは特徴点探索領域４２、４６の全領域を探索し、発見した特徴点に対応する対応点の探索に関してだけ、上記の具体例と同様に、優先順位の順に対応点を探索するようにしてもよい。

ＶＣ 自動車（自車両）
２ 第１ＣＣＤカメラ（基準カメラ）
４ 第２ＣＣＤカメラ（参照カメラ）
８ ナビゲーションシステム
１０ ウィンドウシールドディスプレイシステム
２０ 基準メモリ
２２ 参照メモリ
４０ 撮像画像
４２ 郊外用特徴点探索領域
４４ 対応点探索範囲
４６ 市街地用特徴点探索領域
４８ 対応点探索範囲

Claims (6)

1. 少なくとも第１、第２の複数の撮像手段を備え、該撮像手段で撮像した画像から障害物の特徴点を探索すると共に、この特徴点に対応した対応点を探索して、特徴点と対応点の視差に基づいて障害物までの距離を算出する車両用運転支援装置において、
   前記第１撮像手段が撮像した基準画像データを記憶する基準メモリと、
   前記第２撮像手段が撮像した参照画像データを記憶する参照メモリと、
   前記基準メモリに記憶されている基準画像データから特徴点を探索する領域であって基準画像の一部に制限された領域である特徴点探索領域から特徴点を探索する特徴点探索手段と、
   前記参照メモリに記憶されている参照画像データから対応点を探索する対応点探索範囲が上記特徴点の基準画像の存在位置により決まる探索方位ごとに設定された探索範囲であって、探索を必要とする障害物が存在することが予測される距離範囲に応じた視差データであり且つ画素数で規定する探索範囲内において前記特徴点に対応する対応点を探索する対応点探索手段と、
   前記特徴点探索手段によって探索された特徴点と、前記対応点探索手段によって探索された対応点とに基づく視差によって障害物までの距離を算出する距離算出手段とを有することを特徴とする車両用運転支援装置。
2. 前記特徴点探索手段が、前記基準メモリに記憶されている基準画像データから特徴点を探索する特徴点探索領域が複数の区分に分割され、各区分に探索の順位が付与されて、第１順位から順に特徴点を探索する、請求項１に記載の車両用運転支援装置。
3. 自車両の走行環境を検出する走行環境検出手段と、
   該走行環境検出手段が検出した走行環境に応じて、前記特徴点検索領域の大きさを設定する探索領域設定手段と、を更に有する、請求項２に記載の車両用運転支援装置。
4. 前記走行環境検出手段が検出した走行環境に応じて、前記特徴点検索領域の区分数を設定する区分数設定手段を更に有する、請求項３に記載の車両用運転支援装置。
5. 前記対応点検索領域が、上記特徴点探索領域の区分に対応して設定され、上記対応点の探索範囲が上記区分ごとに設定される、請求項４に記載の車両用運転支援装置。
6. 前記優先順位が衝突危険度の大きい順に決定されている、請求項４又は５に記載の車両用運転支援装置。

Images