JP5226641B2 - 車両用障害物検出装置 - Google Patents

Description

本発明は、車両にカメラを搭載し、カメラで撮影された画像をもとに車両周辺の障害物を検出し、警告表示する車両用障害物検出装置に関する。

従来、車両にカメラを搭載して車両の周囲の映像を撮影し、撮影した画像を車両に設けたディスプレイ等に表示し、車両が障害物に衝突或いは追突するのを避けるようにした障害物検出装置がある。従来の障害物検出装置では、基本的に車両の移動による視差を利用して障害物を検出するようにしているが、遠方にある障害物は視差が小さくなるため、障害物の検出が難しくなるという問題点がある。

特許文献１には、路面上の特徴点から車両の移動量を算出し、移動量を使って前画像を変換し、変換した画像と現画像との差分から障害物を検出するようにした障害物検出装置が開示されている。

しかしながら特許文献１の例では、車両と障害物との距離が離れている場合は、障害物の検出が難しいという問題点がある。また、昼間に比べて夜間での障害物の検出は難しく、正確に障害物を検出することができないとう問題点がある。

特開２００３−４４９９６号公報

従来の障害物検出装置では、車両と障害物との距離が離れている場合は、障害物の検出が難しいという問題点があった。また昼間に比べて夜間での障害物の検出は難しく、正確に障害物を検出することができないとう問題点もあった。

本発明はこのような事情に鑑み、カメラを用いた障害物検出装置において、領域に応じて障害物の検出方法を切り替え、検出した障害物の危険度に応じて警告を行うようにした車両用障害物検出装置を提供することを目的とする。

請求項１記載の車両用障害物検出装置は、車両の進行方向の周囲を撮影する撮像部と、前記撮像部で撮影した画像に対して前記車両の障害物検出領域を設定するとともに、前記障害物検出領域を夜間走行時には狭くなるように設定する領域設定部と、前記撮像部で撮影した画像をもとに、車両近傍の第１の領域内にある障害物を検出する第１の検出部と、前記撮像部で撮影した画像をもとに、前記第１の領域よりも遠方の第２の領域内にある障害物を前記第１の検出部と異なる検出方法で検出する第２の検出部と、前記第１の検出部又は前記第２の検出部で検出した障害物を警告表示する表示部と、を具備することを特徴とする。

本発明の車両用障害物検出装置によれば、カメラによる障害物検出において、車両の近傍と遠方とで検出方法を変えて障害物を検出することにより確実に障害物を検出することができる。またテールランプで照らされる領域しか視界が確保されない夜間においても、障害物を検出することができる。

本発明の一実施形態に係る車両用障害物検出装置の構成を示すブロック図。 車両の移動による視差を利用した障害物の検出例を示す説明図。 車両近傍の第１の領域での障害物検出方法を示す説明図。 第１の検出方法による障害物検出の動作を示す説明図。 車両遠方の第２の領域での障害物検出方法を示す説明図。 移動量算出部の動作を示す説明図。 昼間の走行時における車両の走行予測線を示す説明図。 昼間と夜間での障害物の領域の違いを示す説明図。 夜間の走行時における車両の走行予測線を示す説明図。 夜間走行時の第１の検出方法による障害物検出の動作を示す説明図。 夜間走行時の車両の移動に伴う障害物検出の動作を示す説明図。 障害物検出動作を示すフローチャート。 第１、第２の検出方法による障害物検出動作を示すフローチャート。

以下、この発明の一実施形態について図面を参照して説明する。

図１は、本発明の一実施形態に係る車両用障害物検出装置の構成を示すブロック図である。図１の車両用障害物検出装置は、撮像部１１、画像取得部１２、メモリ１３、移動量算出部１４、障害物検出部１５、表示部１６、車両情報部１７及び描画部１８を備えている。

撮像部１１は、例えば車両１０の後方に取り付けられた単眼カメラであって、車両が後方に進行する際に周囲の映像を撮影する。以下、本実施形態では車両の後方の映像を撮影するものとして説明する。画像取得部１２は、撮像部１１で撮影した車両１０の後方の画像を取得する。画像取得部１２で取得した画像は、メモリ１３及び移動量算出部１４に供給される。

移動量算出部１４は、画像取得部１２からの現画像とメモリ１３から読み出した過去画像をもとに車両１０の移動量を算出する。障害物検出部１５は、第１の検出部１５１と第２の検出部１５２を含み、画像取得部１２からの現画像とメモリ１３から読み出した過去画像が入力される。

障害物検出部１５は、撮像部１１で撮影した画像に対して車両の障害物検出領域を設定する領域設定部（図示せず）を含み、車両近傍の第１の領域と、第１の領域よりも遠方の第２の領域にある障害物を検出する。また領域設定部は、障害物検出領域を夜間走行時には狭くなるように設定する。

即ち、障害物検出部１５には、車両情報部１７からテールランプのオン・オフ情報が供給され、夜間走行時にはテールランプがオンされるため、車両のテールランプのオン・オフに応じて障害物検出領域の大きさを切り替え、テールランプがオフのときは障害物検出領域を大きく設定し、テールランプがオンのときは障害物検出領域を狭く設定する。また障害物検出部１５は、車両近傍の第１の領域では第１の検出方法によって障害物を検出し、第１の領域よりも遠方の第２の領域では第２の検出方法によって障害物を検出する（検出方法の詳細は後述する）。

車両情報部１７は、自車両のテールランプのオン・オフや、車両の進行方向、進行速度等の車両情報を提供する。表示部１６は、画像取得部１２で取得した車両１０の後方画像を表示するとともに、障害物検出部１５で検出した障害物（立体物）を運転者に対して枠などで囲んで分かりやすく警告表示する。また検出した障害物を検出方法に応じて切り替えて警告表示する。描画部１８は、車両１０の走行予測線を生成し、車両１０がどの方向に進行しているかを示す線を表示部１６に表示する。

以下、実施形態における障害物の検出方法について説明する。尚、以下の説明では障害物として立体物が路面上にある場合について述べる。したがって、障害物を立体物と呼ぶこともある。

図２は、車両の移動による視差を利用した障害物の検出例を示している。車両がバックしながら路面上にある立体物Ａ１とＡ２を検出する場合、カメラ１１の位置は点線で示す位置から実線で示す位置へと移動する。カメラ１１が立体物Ａ１，Ａ２に近い場合の視線を実線で示し、遠い場合の視線を点線で示している。

図２において、実線と一点鎖線の角度α１とα２が視差である。図２から分かるように、カメラ１１から見て近くにある障害物Ａ１は視差α１が大きいが、遠方にある障害物Ａ２は視差α２が小さくなる。このため、遠方にある障害物ほど検出が難しくなる。そこで、本発明の実施形態では、車両１０の近傍と遠方とで、障害物の検出方法を異ならせた点に特徴がある。

図３は、本発明の障害物検出の動作を概略的に示した説明図である。図３では車両１０の後部にカメラ１１を取り付け、カメラ１１で撮影した画像を用いて障害物を検出する際の検出領域と検出方法を示している。尚、図では車両１０をバックしながら駐車場に駐車する場面を想定しており、路面２０に白線２１が引かれた状態を例示している。

先ず、図３で示すように車両１０に近い第１の領域では第１の検出部１５１で立体物Ａ１を検出する。第１の検出部１５１は、第１の検出方法、即ち現画像と移動前の過去画像のフレーム間の差分を取り、視差を利用して障害物を検出する。図４は、第１の検出方法を具体的に示す説明図である。図４において、カメラ１１は車両１０がバックすると、点線で示す位置から実線で示す位置に移動する。路面２０には白線２１が引かれ、立体物Ａ１が第１の領域内にあるものとする。第１の検出方法１では、視点変換によるフレーム差分を利用する。

つまり、移動前の過去画像に対して車両１０の移動量に応じた視点変換を行うと、視差の影響で路面２０上の白線２１などは変化しないが、立体物Ａ１はＡ１’のように変化する。そのため、現画像（実線Ａ１）と視点変換した過去画像（点線Ａ１’）との差分を取り、両画像（Ａ１，Ａ１’）の共通部分を残すことで、立体物Ａ１のみを抽出することができる。

また、立体物Ａ１以外の領域は路面２０ということになるので、第１の検出方法では立体物Ａ１を検出すると同時に、路面２０の色情報を取得する。色情報としては、撮影画像の画素のＲＧＢ値、もしくはＹＵＶ値を利用する。尚、ＲＧＢ値は、赤、緑、青の三原色で色を表現したものであり、ＹＵＶ値は、輝度Ｙと赤の色差Ｕ，青の色差Ｖで色を表現したものである。

図３で示すように、検出された立体物Ａ１の領域以外は路面２０であるため、単一色の路面もしくは白線２１のある路面を想定し、２色の色情報を取得する。白線２１と路面２０の識別は白線２１のエッジを検出し、エッジが検出されれば、そのエッジを境界にして、輝度の高い方を白線、低い方を路面とする。

次に、車両１０から見て第１の領域よりも遠い第２の領域では第２の検出部１５２で障害物Ａ２を検出する。図５は、第２の検出部１５２による障害物の検出方法（第２の検出方法）を示す説明図である。図５では、車両１０から遠い第２の領域に立体物Ａ２がある場合を想定している。

第２の領域は、車両１０から遠いため図２で説明したように視差が小さくなる。このため第２の領域においては、第１の検出方法で記憶した路面の色情報と第２の領域における各画素の色情報とを比較し、異なる色情報の領域を障害物として判定する。

つまり、第２の検出方法では、第１の検出方法において取得した路面２０の色情報（灰色）及び白線２１の色情報（白色）と、第２の領域における各画素の色情報とを比較する。色情報 (ＲＧＢ値、又はＹＵＶ値)が等しい画素を路面または白線と判別し、色情報 (ＲＧＢ値、ＹＵＶ値)が異なる画素を立体物Ａ２として判別する。したがって、車両の近傍及び遠方において検出方法を切り替えることにより、障害物を確実に検出することができる。

図６は、車両１０の移動量を計測する移動量算出部１４の動作を示す説明図である。車両の移動量の計測は、画像内の特徴点をブロックマッチングで探索する。特徴点としては図５のような白線２１のコーナー等を利用する。例えば図６のように白線２１１に対して交差する白線２１２がある場合、白線２１１と２１２の交点部を特徴点Ｐ１（点線の円内）とする。

車両１０が矢印方向に移動しているものとすると、過去の特徴点Ｐ１の画像に対し、現画像（点線）の特徴点Ｐ１の位置が変わる。現画像の特徴点が過去画像のどこにあったかをブロックマッチングで探索し、相関の一番高いエリア間にある画素数を求めれば車両の移動量を算出することができる。

移動量算出部１４で算出した車両１０の移動量は、図１の第１の検出部１５１に供給される。第１の検出部１５１は、車両１０が移動する前の過去画像に対して移動量に応じた視点変換（図４参照）を行い、第１の検出方法よって障害物Ａ１の検出を行う。

第１の検出部１５１及び第２の検出部１５２での検出結果は、表示部１６に出力されて警告表示される。即ち、第１の検出方法で検出された立体物Ａ１は、車両１０の近傍にあるため、例えば赤枠で囲んで強調して警告表示し、第２の検出方法で検出された立体物Ａ２は車両の遠方にあるので、例えば黄枠で囲んで弱く警告する。こうして検出方法に応じて危険度を変えて、運転者に対して警告表示を行う。

また、表示部１６に車両１０の進行方向を示す走行予測線も合わせて表示する。図７は、車両１０の走行予測線Ｘ１を示す説明図である。走行予測線Ｘ１は、描画部１８によって生成され、撮影画像に重畳して表示される。走行予測線Ｘ１は車両がどの方向に進行しているかを示す線であり、例えば車両１０がバックしている場合は、車両情報部１７からの情報をもとに車両の後方に延びて表示される。したがって、白線２１と走行予測線Ｘ１を比べることで車両１０が真っ直ぐにバックしているか否かを判断することができる。

このように、本発明の実施形態では、車両の近傍及び遠方において検出方法を切り替えることにより、障害物を確実に検出することが可能となる。

以上の説明では、主に昼間の走行時における障害物の検出方法について説明したが、夜間走行時には、車両の周辺の明るさや見通しの状況が変わる。つまり、夜間は昼間と異なり、テールランプで照らされた領域しか視界が確保されないため、昼間と同じ領域を設定した場合には誤検出をする恐れがある。そこで、夜間の障害物検出においては、検出領域を変更しそれに応じて障害物検出方法を変更する。

図８は、昼間と夜間での障害物検出領域の違いを示す説明図である。図８（ａ）は昼間の車両近傍の検出領域Ｗ１を示している。図８（ｂ）は夜間の車両近傍の検出領域Ｗ２を示している。夜間における検出領域Ｗ２は、テールランプで照らされる領域とし、昼間の検出領域Ｗ１に比べて幅が狭くなり距離も短く設定される。

昼間と夜間の検出領域の切り替えは、車両情報部１７からのテールランプのオン・オフ情報に応じて行う。障害物検出部１５の領域設定部は、テールランプがオフであれば、昼間用の検出領域Ｗ１を設定し、テールランプ信号がオンであれば、夜間用の検出領域Ｗ２を設定する。また描画部１８は、走行予測線Ｘ２を図９のように夜間は短くする。

図１０、図１１は、夜間での障害物の検出方法を示す説明図である。図１０で示すように、車両１０の近傍では昼間と同様に、第１の検出方法により立体物Ａ１の検出を行い、現画像と移動前の過去画像とのフレーム間の差分を取り、視差を利用することで障害物を検出する。また同時に路面の色情報も取得し、立体物Ａ１の領域以外は路面２０もしくは白線２１であるため２色の色情報を取得する。

但し、車両の移動が伴う場合、現画像と移動前の過去画像とのフレーム間の差分をとる方法では、テールランプに照らされる過去画像と現画像の共通領域しか障害物検出が有効にならず、さらに領域が狭くなる。つまり、図１１（ａ）から（ｂ）へと車両１０が移動した場合、テールランプに照らされる領域は（ａ）と（ｂ）で変化する。このため、（ａ）と（ｂ）においてテールランプに照らされる共通領域Ｌ１では、移動前の過去画像と現画像との差分を取る第１の検出方法で立体物を検出する。

一方、図１１（ｂ）で示すように車両１０が移動したことで新たに加わった領域Ｌ２については、第２の検出方法で立体物の検出を行い、第１の検出方法で記憶した路面２０及び白線２１の色情報と、新たに加わった領域Ｌ２の画像の色情報を比較し、異なる色情報の領域を障害物Ａ２として判定する。

こうして、共通領域Ｌ１と新規領域Ｌ２で検出方法を切り替えることで、車両１０が移動する場合であっても、テールランプで照らされる領域に対しては、全領域で障害物検出が可能となる。

また検出された障害物を表示部１６に表示して運転者に警告する際に、障害物の検出方法に応じて警告方法を変えることで、運転者に対するして危険度を知らせることができる。例えば、検出方法１で検出された立体物Ａ１は、車両に近い位置にあり、危険度が高いので赤枠で囲み、強く警告する。検出方法２で検出された立体物Ａ２は、車両から遠い位置にあり危険度が低いので、黄枠で囲み弱く警告する。

尚、第２の検出方法は、各画素の色情報をもとに障害物の有無を判定しているため、検出性能は第１の検出方法に比べると落ちる。そこで、第２の検出方法で障害物と判定された領域に対しては、差分の閾値を下げた第１の検出方法を用いて障害物か否かを再判定するようにしてもよい。

また、車両用の障害物検出装置であることを考慮すると、人間の存在を優先的に検出することが有用である。そこで、第２の検出方法で検出した立体物が人間か否かを判断するためパターンマッチングを行って検出精度を高めてもよい。例えば人間を模した図形と検出した立体物の形状を比較し、パターンマッチングすることで、人間か否かを判断する。

図１２は、以上説明した障害物の検出動作を示すフローチャートである。図１２において、ステップＳ１は、障害物の検出動作の開始ステップであり、ステップＳ２ではテールランプのオン・オフのチェックを行う。ステップＳ３は検出領域の決定ステップであり、テールランプ信号がオフであれば、図８（ａ）のように昼間の検出領域Ｗ１を設定し、テールランプ信号がオンであれば、図８（ｂ）のように夜間の検出領域Ｗ２を設定する。

ステップＳ４では、画像取得部１２によってカメラ１１で撮影した画像を取得し、ステップＳ５では、移動量算出部１４によって車両１０の移動量を算出する。ステップＳ６では、第１の検出方法によって立体物の検出を行い、移動量の算出結果をもとに過去画像を視点変換し、現画像との差分を取り立体物を判定する。

ステップＳ７では、第２の検出方法によって立体物の検出を行い、第１の検出方法で記憶した路面の色情報と第２の領域における各画素の色情報とを比較し、異なる色情報の領域を立体物として判定する。ステップＳ８では、表示部１６に検出結果を表示し、第１の検出方法で立体物を検出したときは、危険度が高いので例えば赤枠で警告表示し、検出方法２で立体物を検出したときは、危険度が低いので黄枠で表示して警告する。以下、車両の進行に合わせてステップＳ４〜Ｓ８を繰り返し、障害物の有無を表示する。

図１３は、第１，第２の検出方法による障害物の検出動作を示すフローチャートである。図１３において、ステップＳ１１で車両１０の移動量の計測を完了すると、ステップＳ１２では、過去画像の視点変換を行う。ステップＳ１３では、視点変換した過去画像と現画像との差分を取り障害物を検出する。

ステップＳ１４では、検出された障害物以外の現画像の車両近傍領域を路面と判定し、その領域の画素のＲＧＢ値もしくはＹＵＶ値を路面の色情報として保存する。ステップＳ１２〜Ｓ１４までが第１の検出方法のステップである。

次のステップＳ１５では、現画像の車両遠方領域の各画素の色情報と、保存した路面色情報とを比較し、ステップＳ１６では、路面色情報と異なる色情報の画素を障害物として判定する。ステップＳ１５とＳ１６が第２の検出方法のステップである。そしてステップＳ１７では、表示部１６に警告の表示を行う。

尚、第２の検出方法として、障害物の再判定を行う場合、或いは立体物が人間か否かをパターンマッチングで判定する場合は、ステップＳ１６とＳ１７の間に判定ステップが追加される。

以上説明したように本発明の実施形態によれば、カメラによる障害物検出において、車両の近傍では過去画像と現画像のフレーム間の差分を取って正確に障害物を検出し、車両遠方の視差が小さい領域においては色情報等をもとに障害物を検出することで正確に障害物を検出することができる。

また、周囲環境が暗く、テールランプで照らされる領域しか視界が確保されない夜間においても、テールランプに照らされる共通領域と新規領域とで検出方法を切り替えることで障害物の検出が可能となる。加えて、障害物を検出した方法に応じて警告方法を変えることで、運転者に対して危険度も知らせることができる。

尚、本発明の実施形態については、幾つかの変形例が考えられる。例えば、領域を昼間と夜間で切り替えるようにしたが、車両の移動速度によって領域を変え、速度が速いときは領域を長く設定し、速度が遅いときは領域を短くしてもよい。さらに特許請求の範囲を逸脱しない範囲内で種々の変形が可能である。

１０…車両
１１…撮像部（カメラ）
１２…画像取得部
１３…メモリ
１４…移動量算出部
１５…障害物検出部
１６…表示部
１７…車両情報部
１８…描画部

Claims (8)

1. 車両の進行方向の周囲を撮影する撮像部と、
   前記撮像部で撮影した画像に対して前記車両の障害物検出領域を設定するとともに、前記障害物検出領域を夜間走行時には狭くなるように設定する領域設定部と、
   前記撮像部で撮影した画像をもとに、車両近傍の第１の領域内にある障害物を検出する第１の検出部と、
   前記撮像部で撮影した画像をもとに、前記第１の領域よりも遠方の第２の領域内にある障害物を前記第１の検出部と異なる検出方法で検出する第２の検出部と、
   前記第１の検出部又は前記第２の検出部で検出した障害物を警告表示する表示部と、
   を具備することを特徴とする車両用障害物検出装置。
2. 前記領域設定部は、前記車両のテールランプのオン・オフに応じて前記障害物検出領域の大きさを切り替え、前記テールランプがオフのときは前記障害物検出領域を第１の大きさに設定し、前記テールランプがオンのときは前記障害物検出領域を前記第１の大きさよりも狭く設定することを特徴とする請求項１記載の車両用障害物検出装置。
3. 前記車両のテールランプがオンのときに、前記第１の検出部は、前記テールランプに照らされた過去画像と現画像の共通領域にある障害物を検出し、前記第２の検出部は、前記車両の移動に伴って前記共通領域に追加される領域にある障害物を検出することを特徴とする請求項２記載の車両用障害物検出装置。
4. 前記第１の検出部は、前記車両の移動量に応じて視点変換を施した過去画像と現画像とのフレーム間の差分を取って前記第１の領域内にある障害物を検出することを特徴とする請求項１記載の車両用障害物検出装置。
5. 前記第１の検出部は、検出した障害物以外の路面領域の色情報を記憶し、
   前記第２の検出部は、前記第２の領域の画像の色情報と前記記憶した路面領域の色情報との違いをもとに前記第２の領域における障害物を検出することを特徴とする請求項１記載の車両用障害物検出装置。
6. 前記第２の検出部は、検出した障害物をさらにパターンマッチングして前記障害物を判断することを特徴とする請求項５記載の車両用障害物検出装置。
7. 前記車両の走行予測線を生成して前記表示部に表示する描画部を備え、
   前記車両のテールランプがオフのときは前記走行予測線を第１の長さに設定し、前記テールランプがオンのときは前記走行予測線を前記第１の長さよりも短く設定することを特徴とする請求項１記載の車両用障害物検出装置。
8. 前記第１の検出部で検出した障害物を前記第２の検出部で検出した障害物よりも視覚的に強調して前記表示部に警告表示することを特徴とする請求項１記載の車両用障害物検出装置。

Images