JP4377474B2 - 移動体の衝突防止装置、衝突防止方法、および記録媒体 - Google Patents
移動体の衝突防止装置、衝突防止方法、および記録媒体 Download PDFInfo
- Publication number
- JP4377474B2 JP4377474B2 JP09388499A JP9388499A JP4377474B2 JP 4377474 B2 JP4377474 B2 JP 4377474B2 JP 09388499 A JP09388499 A JP 09388499A JP 9388499 A JP9388499 A JP 9388499A JP 4377474 B2 JP4377474 B2 JP 4377474B2
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- target
- moving body
- detecting
- collision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Landscapes
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、ある車両が別の車両を追い越すとき等、車両同士が互いに接近する瞬間状態を経験するときの車両間の衝突を防止する衝突防止装置および衝突防止方法に係り、とくに、カメラで後方の走行状態を撮像し、その画像から他の車両を検出してカメラ搭載車両に必要に応じて警報を発するようにした衝突防止装置および衝突防止方法に関する。
【０００２】
【従来の技術】
一般に、交通事故の原因には各種の要因があるが、車線変更や追い越し走行を原因とする事故も相当数に上る。したがって、走行中の車両の運転者がその周囲の状況、とくに後方の走行状態を常時把握していれば、不用意な車線変更やハンドル操作を回避するのに多いに役立つものと考えられている。
【０００３】
従来、走行中の車両がその周りの状況を観測するには、レーダやテレビカメラなどが多用されている。レーダとしては、レーザレーダや超音波レーダが用いられる。これらのレーダを利用した環境認識装置の場合、障害物に対する相対速度や障害物との距離は検出可能であるが、指向性が狭く、曲がった道路での利用などは困難であった。
【０００４】
これに対して、テレビカメラから得られる画像を用いる方法の場合、その１つの態様として、画像中の車両の位置から、車両の３次元位置を推定することも可能であり、観測範囲も広くなるという特徴がある。しかし、この方法は、車両周辺のある一瞬の状況を認識して、画像中での障害物の位置を検出するだけであり、障害物との時間的な位置の変化などを考慮していなかった。
【０００５】
例えば、特開平２−２８７７９９号公報記載の技術によれば、車両に装着されたテレビカメラの画像を元に、この画像から走行レーンを認識して、走行レーン中に障害物が存在する場合、その方向にターンシグナルを出すと警報が発生される装置が提案されている。具体的には、この装置は画像上で走行レーンの画素濃度と異なる領域を２値化によって求め、走行レーン中の障害物を認識している。
【０００６】
しかし、この装置の場合、先に検出した走行レーンの中だけを障害物（他の車両など）の検出対象としているため、走行レーンの検出に失敗した場合や走行レーンの端を走行する２輪車がある場合などにおいては、検出能がうまく機能しない場合もある。また、この装置の手法によれば、ある時刻の一点で道路上に存在する障害物を検出するため、道路上の影やペイントなどを障害物として誤認する可能性もある。さらに、ある時刻の一点で障害物の存在を検出するだけであるので、自車両よりも速度が遅く、相対的に遠ざかっていく車両に対しても警報を誤って発生する可能性がある。
【０００７】
そこで、画像処理による車両検出の別の方法として、時系列的に連続的に取り込まれる画像から車両などの移動体を検出する手法が提案されている。
【０００８】
例えば、“Ｄ．Ｍｕｒｒａｙ ｅｔ ａｌ．， Ｍｏｔｉｏｎ Ｔｒａｃｋｉｎｇ ｗｉｔｈ ａｎ Ａｃｔｉｖｅ Ｃａｍｅｒａ， ＰＡＭＩ，Ｖｏ．１６，ＮＯ．５，４４９−４５９"で提案されているように、既知のカメラ移動量を利用して画像を変換することによって時系列画像間の対応関係を演算し、移動体を抽出する手法である。また、「移動カメラで撮影した動画像からの移動物体の抽出」（情報処理学会、第５１回全国大会、１９９５：寺久保他著）によれば、画像上の注目点を配置し、これらの点を頂点とする領域の対応を時系列画像間で探索することによって、画像間でのアフィン変換パラメータを２段階に分けて求め、これにより移動物体を抽出する手法が提案されている。さらに、特開平７−１１０８６４号公報によれば、移動ベクトル場に２次元ラプラシアンフィルタを掛け、その出力値をしきい値処理することにより移動物体を抽出する方式が提案されている。
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来の時系列的に連続した画像を利用した移動物体（車両）検出の場合、所定の演算処理を画像全体の画素について一様に実行することから、画像処理の演算負荷が非常に大きく、高速処理が難しくなる。これを回避するには、演算能力が高いコントローラが要求される。つまり、車両の衝突防止のような高いリアルタイム性を求められ、且つ、車載が可能なコストの装置には不向きであるという問題がある。
【００１０】
本発明は、このような従来技術が抱える状況に鑑みてなされたもので、自車両に搭載したカメラの画像から他車両を検出するときの演算量を減らすことができ、これにより、処理の高速化を図るとともに、車載が可能な程度の演算能力の装置であっても他車両を確実に検出することができる衝突防止装置および衝突防止方法を提供することを、１つの目的とする。
【００１１】
また本発明は、自車両に搭載したカメラから後方を撮像し、その画像から他車両を迅速に且つ確実に検出し、この検出結果に基づいて両方の車両の衝突や異常接近に関わるトラブルを未然に回避させるための措置を確実にとらせることができる衝突防止装置および衝突防止方法を提供することを、別の目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る移動体の衝突防止装置は、衝突防止の警報発令の対象となる移動体の周囲の状況を撮像する撮像手段と、この撮像手段が時系列に撮像した複数フレームの画像夫々の限定した検出領域を探索して他の移動体を検出する検出手段と、前記対象となる移動体の移動状態と検出された前記他の移動体の移動状態との関係から両移動体間における衝突の可能性の程度を予測する予測手段と、この予測手段の予測結果に応じて前記対象となる移動体に警報を発する警報発生手段とを備えた移動体の衝突防止装置であり、前記検出手段は、前記画像での前記対象車両が走行している道路に存在するエッジとその交点である消失点の位置情報を決める手段と、前記エッジおよび消失点の位置情報に基づいて前記限定した検出領域を決める手段と、前記時系列の画像間における前記検出領域の移動量を検出する手段と、この移動量に基づき前記対象車両に接近するか又はその車両と等速で走行する他の車両のみを検出する手段と、を備え、前記予測手段は、前記検出手段が検出した前記他の車両の前記移動量に基づき当該車両の領域が前記画像上でその端部まで到達する時間を算出する手段と、この算出値を用いて前記対象車両に前記他の車両が追い付くまでの時間を予測する手段と、を備えたことを特徴とする。
また、本発明に係る移動体の衝突防止装置は、衝突防止の警報発令の対象となる移動体の周囲の状況を撮像する撮像手段と、この撮像手段が時系列に撮像した複数フレームの画像夫々の限定した検出領域を探索して他の移動体を検出する検出手段と、前記対象となる移動体の移動状態と検出された前記他の移動体の移動状態との関係から両移動体間における衝突の可能性の程度を予測する予測手段と、この予測手段の予測結果に応じて前記対象となる移動体に警報を発する警報発生手段とを備える移動体の衝突防止装置であり、前記検出手段は、前記画像での前記対象車両が走行している道路に存在するエッジとその交点である消失点の位置情報を決める手段と、前記エッジおよび消失点の位置情報に基づいて前記限定した検出領域を決める手段と、前記時系列の画像間における前記検出領域の移動量を検出する手段と、この移動量に基づき前記対象車両に接近するか又はその車両と等速で走行する他の車両のみを検出する手段と、を備え、前記撮像手段が撮像した時系列の複数画像から探索方向の特徴量およびその変化を算出する手段と、前記画像中に所定周期以上の繰り返しパターンが在るか否かを判断する手段と、当該判断手段によって繰り返しパターンが在ると判断された場合に、その存在範囲については特徴量の移動量の算出を禁止する手段と、存在すると判断された前記繰り返しパターンが存在しなくなった時点で禁止中の移動量の算出を再開する手段と、をさらに備えたことを特徴とする。
【００１３】
好適には、前記撮像手段、検出手段、予測手段、および警報発生手段は全て前記対象となる移動体に設ける。例えば、前記両方の移動体は共に車両である。例えば、前記検出手段は、前記画像での前記対象車両が走行している道路に存在するエッジとその交点である消失点の位置情報を決める手段と、この位置情報を元にして前記限定した検出領域を決める手段と、前記時系列の画像間における前記検出領域の移動量を検出する手段と、この移動量に基づき前記対象車両に接近するか又はその車両と等速で走行する他の車両のみを検出する手段とを備えたことを特徴とする。
【００１４】
また、好適には、前記警報発生手段は、前記予測時間に基づき前記他の車両が前記対象車両に衝突する可能性を見極める手段と、前記対象車両の走行方向の変更を検知する手段と、前記衝突の可能性があると判断され且つ前記対象車両が前記他の車両が走行している車線方向に走行方向を変更しようとしている状態が検知されたときに警報を発する手段とを備えていてもよい。例えば、前記検知手段は、前記対象車両の運転者によるウィンカーの点灯状況またはハンドルの操作角状況を検知する手段である。
【００１５】
また、前記目的を達成するため、本発明に係る移動体の衝突防止方法は、衝突防止の警報発令の対象となる移動体の周囲の状況を撮像手段によって時系列に撮像するステップと、この撮像ステップで撮像された複数フレームの画像夫々の限定した検出領域を探索して他の移動体を検出手段によって検出するステップと、前記対象となる移動体の移動状態と前記検出ステップで検出された前記他の移動体の移動状態との関係から両移動体間における衝突の可能性の程度を予測手段によって予測するステップと、この予測ステップで予測された予測結果に応じて警報発生手段が前記対象となる移動体に警報を発する移動体の衝突防止方法であって、前記検出ステップは、前記画像での前記対象車両が走行している道路に存在するエッジとその交点である消失点の位置情報を決定し、前記エッジおよび消失点の位置情報に基づいて前記限定した検出領域を決定し、前記時系列の画像間における前記検出領域の移動量を検出し、この移動量に基づき前記対象車両に接近するか又はその車両と等速で走行する他の車両のみを前記他の移動体として検出するステップであり、前記予測ステップは、前記検出ステップで検出された前記他の車両の前記移動量に基づき当該車両の領域が前記画像上でその端部まで到達する時間を算出し、この算出値を用いて前記対象車両に前記他の車両が追い付くまでの時間を予測するステップであることを特徴とする。
【００１６】
さらに、前記目的を達成するために、本発明に係る移動体の衝突防止のためのプログラムを記録したコンピュータ読み取り可能な記録媒体は、コンピュータを、前記衝突防止の警報を出す対象となる移動体の周囲の状況を撮像する撮像手段が時系列に撮像した複数フレームの画像を入力する手段と、当該画像夫々の限定した検出領域を探索して他の移動体を検出する手段と、前記対象となる移動体の移動状態と検出された前記他の移動体の移動状態との関係から両移動体間における衝突の可能性の程度を予測する手段と、この予測結果に応じて前記対象となる移動体に警報器を介して警報を発令する手段とを備え、前記検出手段は、前記画像での前記対象車両が走行している道路に存在するエッジとその交点である消失点の位置情報を決める手段と、前記エッジおよび消失点の位置情報に基づいて前記限定した検出領域を決める手段と、前記時系列の画像間における前記検出領域の移動量を検出する手段と、この移動量に基づき前記対象車両に接近するか又はその車両と等速で走行する他の車両のみを検出する手段とを備え、前記予測手段は、前記検出手段が検出した前記他の車両の前記移動量に基づき当該車両の領域が前記画像上でその端部まで到達する時間を算出する手段と、この算出値を用いて前記対象車両に前記他の車両が追い付くまでの時間を予測する手段と、を備える移動体の衝突防止装置として機能させるプログラムを記録したことを特徴とする。
【００１７】
このような構成によれば、画像中の動き情報をもとに移動体としての自車両に衝突する可能性のある他の移動体としての追越し車両のみを検出することができ、検出された追い越し車両と自車両との間の関係の時間的な変化を利用することにより、衝突を安定して且つ確実に防止する上で有効である。
【００１８】
【発明の実施の形態】
以下に本発明の一実施形態を図１〜１２に基づき説明する。なお、この実施形態では、移動体として実空間の路面などを移動する車両を例にとって説明する。
【００１９】
この実施形態に係る衝突防止装置は、１台ずつの車両に搭載されるようになっている。この衝突防止装置は、図１に示す如く、撮像手段としてのカメラ１１、舵角センサ１２、ウィンカーセンサ１３、および車速センサ１４を備えるとともに、ＣＰＵ、メモリなどを有するコントローラ１５、警報器１６を備える。
【００２０】
カメラ１１、舵角センサ１２、および車速センサ１４とコントローラ１５との間にＡ／Ｄ変換器１７、１８及びカウンタ１９が夫々介挿されている。また、コントローラ１５と警報器１６との間にはドライバ２０が介挿されている。
【００２１】
コントローラ１５は後述する各種の処理を行うプログラムを格納しており、車両Ｃのキースイッチをオンにすることでそれらの処理を自動的に起動させ、キースイッチをオフにするまでそれらの処理を継続させる。
【００２２】
カメラ１１は、通常のＣＣＤカメラ、ＣＭＯＳカメラ、ＩＴＶカメラ等を利用することができる。このカメラ１１は、本実施形態では図２に示す如く、車両Ｃ（自車両Ｃｓ、他車両Ｃｏ）のリアウィンドウに視野を後方に向けて取り付けられている。なお、カメラ１１は、車両Ｃの後方を撮像できる位置であれば何れの位置に取り付けてもよい。このカメラ１１で撮像された道路、車両およびその周辺環境の画像のデータは、時系列的に連続してＡ／Ｄ変換器１７などを介してデジタル信号に処理され、コントローラ１５に送られる。
【００２３】
舵角センサ１２は各車両Ｃのハンドルの操作角度を検出する。この操作角度信号はＡ／Ｄ変換器１８によりデジタル量の信号に変換され、コントローラ１５に送られる。
【００２４】
また、ウィンカーセンサ１３は車両Ｃの左側又は右側のウィンカーを点灯させた状態を検知し、それを論理値で成るオン・オフ信号としてコントローラ１５に送る。
【００２５】
さらに、車速センサ１４は、車両Ｃの車速を例えば車輪の回転に応じたパルス信号として検出する。このパルス信号はカウンタ１９により単位時間当たりのパルス数として計測され、この計測値がデジタル量の状態でコントローラ１５に供給される。
【００２６】
これらの車速、ウィンカー点灯状態又はハンドル角度は、後方から自車両Ｃｓに接近してくる他車両Ｃｏとの衝突の可能性を判断するときの自車両の走行状態を表すパラメータとしてコントローラ１５で使用される。
【００２７】
後述するように、コントローラ１５は自車両Ｃｓと他車両Ｃｏとの間の衝突の可能性を予測したときに、デジタル量の警報信号をドライバ２０に出力する。この信号はドライバ２０により所要パワーのアナログ量の信号に変換され、警報器１６に供給される。警報器１６は例えば、光や音（または音声）を発して運転者に警報を与えるユニットであり、運転席に聞こえる位置や運転席から見ることのできる位置に設けられている。
【００２８】
続いて、この衝突防止装置の動作を説明する。
【００２９】
コントローラ１５は、図３に示す概略アルゴリズムに基づいて後方から接近する他車両Ｃｏを検出し、必要に応じて警報を発する。
【００３０】
これを説明すると、コントローラ１５はカメラ１１からの画像データをフレーム毎に入力し（ステップＳ１）、次いで前回の処理で使用した画像データ（１フレーム前の画像データ）をメモリからワークエリアに読み出す（ステップＳ２）。
【００３１】
次いで、コントローラ１５は自車両Ｃｓの後方を走行している他車両Ｃｏの検出処理を行う。この検出処理は、路面の白線検出（ステップＳ３）、画像中の特徴点の移動量算出（ステップＳ４）、及び追い越す他車両Ｃｏ（追越し車両）の検出（ステップＳ５）から成る。これらの各ステップの処理は後で詳述する。
【００３２】
この検出処理により自車Ｃｓを追い越そうとしている他車両Ｃｏが検出された場合、後述するように、追いつかれる時間を予測する（ステップＳ６）。そして、必要に応じて、自車Ｃｓの運転者に追越し車両Ｃｏが居ることを知らせるための警報を発する（ステップＳ７）。この後、かかる処理を継続する場合（ステップＳ８）、ステップＳ１で入力した現在のフレームの画像データを次回の検出処理のために記憶する（ステップＳ９）。
【００３３】
これにより、エンジンオフとなるまで、かかる検出処理が継続され、時系列的に連続する２画像に基づく追越し車両の検出、衝突の可能性判断、および、必要に応じた警報発生の処理が行われる。以下に、この処理を詳述する。
【００３４】
（白線検出処理）
ステップＳ３では、コントローラ１５により、道路上の白線検出処理が実行される。
【００３５】
この白線検出処理は、概括的には、入力する各時系列画像に対してエッジの抽出を行い、画像内の路面上の白線および道路の稜線を構成する直線エッジとその交点である消失点とを検出する処理である。抽出された白線、稜線のエッジ処理結果および消失点は後述の移動量算出処理で使用される。なお、以降の説明において、白線、黄線、及び舗道の稜線など、車線を区分できる線状体を一括して「白線」と記述する。
【００３６】
いま、道路上を走行している車両Ｃから図４（ａ），（ｂ）に示す画像のデータが入力するものとする。同図（ａ）は時刻ｔのときに得られた入力画像、同図（ｂ）は時刻ｔ＋１のときに得られた入力画像で、時系列的に連続している。ここに示した画像は、カメラ１１から入力する画像群の内の、任意の２つの連続時刻の画像である。
【００３７】
時系列的に得られる各時刻の入力画像には、道路、その側壁、後方を走行する車両などが映っているが、この中で本装置が最終的に抽出するのは追い越していこうとする車両（追越し車両）である。
【００３８】
ここで、追い越し車両はその走行範囲が白線や路肩などで限定されているので、これらの白線や路肩が構成する稜線などを抽出することによって追い越し車両の存在位置を限定することができる。また、直進している車両から後方を一般的なテレビカメラで撮影した場合、背景はＦＯＥ（ｆｏｃｕｓ ｏｆ ｅｘｐａｎｓｉｏｎ）と呼ばれる動きベクトルの集中点に収束するように移動する。とくに、車両が平行に引かれた車線を区別する白線の間を白線に沿って走行するとき、ＦＯＥは画面上の白線の交点である消失点に一致することになる。
【００３９】
一般に、画像処理によって得られた動きベクトルからＦＯＥを求めるためには、カメラの動きによる背景の動きと背景以外の移動物体に生じる動きとを分割し、背景の動きを持つ点の動きベクトルの集中点を求める必要があるため、演算量が非常に大きくなる。これに対して、消失点は、白線や稜線を求めて、その交点を計算することによって求めることができるので、比較的少ない計算量で求めることができる。そこで、本実施例では、白線や稜線から消失点を求め、これを仮想的なＦＯＥであるとして移動量の算出などに利用する手法を採用する。これにより演算量を減らす、高速で処理できるようになる。
【００４０】
白線（白線、黄線、舗道の稜線など）の集中点である消失点の画像上の位置は、カメラ１１の内部パラメータやカメラ１１と地面（路面）との成す角度などから一意的に決定できる。そこで、カメラ１１を車両Ｃに搭載したときに、最初に道路の画像を撮影し、そのとき写し出された画像上の白線の位置と消失点の位置を記憶させ、この記憶情報を実際の走行中の車両検出を行うときのデフォルト値として用いるようにする。また、カメラの振動などに起因してデフォルト位置がずれる可能性があるので、装置の稼動中に安定して白線の位置検出ができているならば、デフォルト値をその位置に更新することも好適な態様である。
【００４１】
走行中の具体的な白線検出処理は、以下のように実行される。白線検出を行うために、まず画面からエッジ成分を抽出する。エッジの抽出では、エッジの方向や強度を検出する必要があるため、ソーペルオペレータやラプラシンアンガウシアンオペレータなどが用いられる。ただし、エッジの強度と方向を求めることができるオペレータであれば、これらのオペレータ以外のものを使うこともできる。
【００４２】
次に、得られたエッジの強度と方向を用いて、白線のデフォルト値の近傍にある白線候補を検出する。例えば、図５に示す如く、自車両が走行する車線を区分する白線のデフオルト位置ＰＷが求められていた場合、白線候補の探索（検出）範囲ＲＷは図示の如く、白線のデフォルト位置ＰＷを含む狭い斜線範囲に限定できる。
【００４３】
なお、この探索範囲ＲＷの大きさは車両に取りつけられたカメラ１１の振動の大きさなどを考慮して適宜変更することもできる。
【００４４】
またなお、ここでは、自車両Ｃが走行しているレーンの白線のみを表示したが、それ以外の白線や稜線を検出して消失点の算出に用いることもできる。ただし、その場合、自車両が走行している以外の白線のデフォルト位置の定義が難しいため、まず、自車両が走行している白線のデフォルト値を用いて、自車両が走行しているレーンの白線のみを求める。次いで、この自車線を構成する白線から得られる消失点を通るその他の白線や稜線を探索する。これにより、自車線以外の白線や稜線を検出することができる。
【００４５】
そして、最終的に求められた全ての白線や稜線を使って最小自乗法を用いて消失点を求める。求められた白線と消失点の情報およびエッジ抽出結果は次の移動量算出に用いられる。
【００４６】
（移動量算出処理）
ステップＳ４では、コントローラ１５により、連続する２枚の画像を使って画像上の特徴点（特徴領域）の時系列画像間（フレーム間インターバル）に対する移動量が算出される。
【００４７】
概括的には、カメラ１１から時系列に入力する各画像に対して、白線検出により得られた白線や消失点の情報を利用して処理対象領域を限定し、この処理対象領域を複数の小領域に分割することによって、各小領域の時系列画像間での移動量を算出する。算出された各小領域の移動量は追越し車両の移動量として用いられる。
【００４８】
この移動量算出処理を図４および図６に基づき説明する。
【００４９】
２枚の画像間での特徴点（特徴領域）の移動量は、２枚の画像間で各特徴点（特徴領域）の対応を取ることによって求めることができる。例えば、図４（ａ）、（ｂ）の画像に対して求められた移動量は図４（ｃ）に示す矢印のようになる。このように移動量は向きと大きさを持つベクトルとして表現できる。
【００５０】
移動量算出の具体的な手法の例を図６に示す。これはコントローラ１５により図３のステップＳ４の処理として実行される。図６に示すように、白線や消失点の位置情報に基づいて追越し車両の探索領域ＲＳを限定する。例えば、図７では破線による斜線部分の領域が探索領域ＲＳとなり、探索領域が狭くなる分、演算負荷が少なくなる。また、自車両Ｃｓの後ろを、すなわち自車両と同じ車線を走行する他車両Ｃｏを検出する場合、実線による斜線部分の領域ＲＳ'も探索領域とすればよい。図７中、参照符号ＰＷは自車線の白線（デフォルト値）を示し、ＶＰは消失点を示す。ここで、３次元空間において隣の車線を走行している車両であっても、２次元画像に投影した場合、その車両が隣車線を構成する２本の白線の間からはみ出して見える場合もあるので、これらの投影変換による影響を考慮して探索領域を蝶形に設定してある。これにより、隣車線を走行する車両を確実に探索することができる。
【００５１】
実際の探索では、まず、設定された探索領域を格子状に分割する（ステップＳ４ａ）。次に、この各格子領域が強いエッジ成分を持つか否かを検証し、強いエッジ成分を持つ格子領域を探索候補領域とする（ステップＳ４ｂ）。路面と光軸が平行になるように自動車に取りつけたカメラで後方を撮像する場合、他車両の動きは画像中でＸ（横）成分が多く、Ｙ（縦）方向にはあまり動かないことになる。したがって、任意の追跡領域に対する探索領域ＲＳを図８のように横長の長方形領域に限定することができる。さらに、検出対象を自車を追い越す他車量に限定すれば消失点の左では探索領域はＸ軸のマイナス方向だけとなる。
【００５２】
次いで、探索候補の格子領域に夫々に対して、次の時刻での対応領域を探索する（ステップＳ４ｃ）。例えば、時刻ｔにおける探索候補の各格子領域を初期位置とし、時刻ｔ＋１においてこれに対応する領域を探索する。すなわち、それぞれの格子領域を探索範囲ＲＳ内で動かした場合に、相関値が最も大きくなる領域を検出する。このとき、最大相関値がしきい値より小さい場合は、その領域は対応が取れないということになる。
【００５３】
次いで、探索候補の各格子領域の移動量を決定する（ステップＳ４ｄ）。具体的には、時刻ｔにおける探索候補の格子領域夫々の初期位置と時刻ｔ＋１におけるそれらの対応領域との空間距離の差（具体的には画素数で定義される）を演算し、これを移動量とする。
【００５４】
この後、この探索候補の格子領域の位置移動量を含む連続画像間での各種の移動量を保存する（ステップＳ４ｅ）。
【００５５】
一方、上述したステップＳ４ａ〜Ｓ４ｃの処理に加えてステップ４ｆを行い、この後、ステップＳ４ｄ、Ｓ４ｅの処理を行うようにしてもよい。つまり、既に過去の各時刻で探索候補の各格子領域の対応がとられている場合、その各領域に対して輝度やエッジ成分などの情報を蓄積しているので、ステップＳ４ｆでは、これらの情報を用いて順次新しい画像について対応領域が探索される。すなわち、ステップＳ４ｆを加えることによって、数フレームにわたって連続して領域を追跡することができる。このときに、過去に得られている全ての探索候補格子領域について探索を行ってもよいが、処理量が膨大になるので、過去のある時点以降の格子領域のみを対象としたり、各時刻での対応の評価値が高い領域のみを対象として探索を続けることによって、より高速に処理することができる。
【００５６】
ここで、評価基準としては相関値だけでなく、明度の差分値やエッジ強度の差分値なども用いることもできる。また、ここでは領域ベースの手法について述べたが、強い特徴点を用いた移動量検出法や、全ての点の動きを勾配法を使って求める手法なども採用できる。また、これらの手法で得られた移動量を用いることも可能である。さらに、探索によって得られた移動量が過去２フレーム分以上、蓄積されている場合、この蓄積データを利用して任意の時間（フレーム）間隔の移動量を求めることも可能である。
【００５７】
求められた各領域の移動量の情報は追越し車両検出に用いられる。
【００５８】
（追越し車両検出処理）
ステップＳ５では、コントローラ１５により、自車両Ｃｓを追い越そうとしている追越し車両（他車両）Ｃｏが検出される。
【００５９】
この処理は概括的には、算出された探索候補格子領域の移動量に基づき同程度の移動量を持つ領域がまとまって存在する領域を抽出して、各領域の移動量の向きと大きさより衝突の可能性のある領域を追い越し車両であると認識する処理である。この追越し車両Ｃｏの情報は警報発生処理に使用される。
【００６０】
具体的には、図９に示すように、追越し車両Ｃｏの速度Ｖのしきい値が設定される（ステップＳ５ａ）。例えば、しきい値Ｖ＝２の場合、移動量が２画素以下の格子領域は排除されるので、ノイズや静止物体の情報が追越し車両であると誤認される可能性が低下し、検出精度が向上する。このしきい値は探索領域全体で１つの値を設定することも可能であるが、必要に応じて、探索領域中の場所毎にしきい値Ｖを変更することもできる。
【００６１】
次いで、移動量のパラメータ空間への投票が行われる（ステップＳ５ｂ）。具体的には、図１０に示す如く、探索領域上に設定した各帯領域ＢＲ内に含まれる移動量のヒストグラムが作成される。各ヒストグラムに幾つかのピーク値が現れるので、これが検出される（ステップＳ５ｃ）。
【００６２】
これらのピーク値はそれぞれの追越し車両Ｃｏが持つ速度に対応している。そこで、ヒストグラムをピーク値で分割して、それぞれのピーク値との差がしきい値以内の領域を検出し、追越し車両Ｃｏの候補が検出される。さらに、それぞれの速度を持つ領域の画像中の位置関係を調べて、隣接している領域を併合し、個々の追越し車両Ｃｏが検出される（ステップＳ５ｄ）。
【００６３】
ここで、自車両Ｃｓが前進している場合、背景は全てＦＯＥに収束する方向に動くが、追越し車両ＣｏはＦＯＥから湧き出す方向に移動する。そこで、湧き出す方向の速度が０以上の領域のみを抽出して、追越し車両Ｃｏを表す領域の候補とすることができる。
【００６４】
以上の手順に基づいて、画像上の位置と移動量が似た探索領域同士を併合して追い越し車両が検出される。
【００６５】
（追い付く時間の予測処理）
次いで、図３のステップＳ６に相当する処理として、コントローラ１５により、追越し車両Ｃｏが自車両Ｃｓに追い付く時間を予測する。この処理は図１１に示す。
【００６６】
本装置ではカメラ１１の画角が事前に分かっているので、画像の左右端に追越し車両Ｃｏが来た場合に、その追越し車両Ｃｏが自車両Ｃｓに対して３次元シーン中でどの位置にいるのかを求めることができる。そこで、まず画面中で追越し車両Ｃｏの先端がどの位置に存在するのかを算出する（ステップＳ６ａ）。次いで、現在の追越し車両Ｃｏの画面中での速度をもって連続して前方に移動してきた場合、あと何秒でカメラ画面の端に到達するか、その時間を演算する。そして、追越し車両Ｃｏが画面端に到達したときの追越し車両Ｃｏと自車両Ｃｓとの３次元シーン中での相対距離を考慮して、追付くまでの最終的な時間を予測する（ステップＳ６ｂ）。
【００６７】
検出された追越し車両Ｃｏの領域の位置や追越しまでの時間などの情報は警報発生処理で用いられる。
【００６８】
（警報発生処理）
次いで、図３のステップＳ７に相当する処理として、コントローラ１５により、必要に応じて、自車両Ｃｓに警報が発令される。この処理は図１２に示す。
【００６９】
この警報発令は、自車両Ｃｓの周囲に衝突可能性のある追越し車両Ｃｏが存在する場合、その方向にターンシグナルを出して車線変更の意思表示をしたり、車線変更するためにその方向ヘハンドルを切ったりしたときに、衝突の可能性があることを運転者に警告するための処理である。
【００７０】
具体的には、図１２に示す如く、コントローラ１５は、追越し車両Ｃｏが検出されたか否かを判断する（ステップ７ａ）。この判断で追越し車両Ｃｏが検出されたと判断された場合、次いで、その追い付く時間がしきい値以下か否かが判断される（ステップＳ７ｂ）。つまり、追越し車両Ｃｏが存在した場合、しきい値として定めた時間以内にその車両が追い付くかの否かが判断される。
【００７１】
この判断において、追越し車両Ｃｏがしきい値以下の時間で自車両Ｃｓに追い付く（すなわち、もう直ぐ追いつく）と判断されたときには、コントローラ１５は次いで、自車両Ｃｓの運転者が追越し車両Ｃｏが追いつきながら走行してくる車線に車両の走行方向を変更しようとしているか否かを判断する（ステップＳ７ｃ）。この判断は、舵角センサ１２及び／又はウィンカーセンサ１３の検出信号を読み込み、ハンドル操作またはウィンカー操作を監視しながら行う。
【００７２】
この方向変更の判断でＹＥＳとなるときは、追越し車両Ｃｏが後方から接近してきており、そのままで走行方向を変更したときには後続車両との間で衝突の恐れが大の場合である。そこで、コントローラ１５は警報器１６に警報用の制御信号を送って、警報器１６から警報を発生させる。つまり、追い越し車両の居る方向にターンシグナルを出してその方向に車線変更の意思を示したり、その方向に車線を変更しようとハンドルを切ったときには、警報器１６から音（音声）及び／又は光によって運転者に警告を発する。
【００７３】
したがって、運転者は後続車両との衝突の危険性を確実に知ることができ、車線変更をとり止めるなどの適切な処置を講ずることができ、安全な走行に寄与できる。
【００７４】
また、更なる利点として、本実施形態の手法によれば、画像の各領域の動きが分かるので、自車に対して追い越しをかける車両のみを抽出することができる。また、時間的変化の少ない連続した２枚の画像を利用するため、２値化等の手法に比べて、しきい値の影響を押さえることができ、精度の高い衝突防止装置が実現できる。さらに、３次元シーンの中では、走行レーンの上に実際に車両が存在している場合でも、カメラの設置位置によっては画像中の走行レーン上に障害物が存在しないように見える場合があるが、このような場合でも、動き情報を基礎にすれば画像中の追越し車両を選択的に高精度で検出することができる。
【００７５】
なお、この警報発生は、自車両の周囲に衝突可能性のある他車両が存在する場合に、その方向に車両が居ることを音や光によって運転者に知らせるという実施形態も可能である。また、コントローラ１５は追越し車両の位置と速度を認識しているので、その情報を元に追越し車両が追い付くまでの時間に応じて光の色や強度または音の強弱を変えることによって、追越し車両の存在を運転者に事前に知らせるという変形形態も可能である。
【００７６】
（変形形態その１）
上述した実施形態の１つの変形形態を図１３，１４に基づき説明する。
【００７７】
この実施形態は、前述したようにカメラ１１で撮像した時系列の連続画像から画像フレーム間に移動した特徴部位の移動量を検出する装置に関する。とくに、特徴部位の移動量を画像から安定して検出するために、画像中の強いエッジを特徴部位（移動量算出対象）として選択し、このエッジに対する画像中での動きの拘束を利用して高速に特徴部位の移動量を検出する装置に関する。
【００７８】
この検出装置は、前述した実施形態で説明した衝突防止装置における自車両に搭載され、後続の車両を撮像し、その時系列の画像から特徴部位の移動量を検出する装置として有効に機能する。これを達成するため、この検出装置は、カメラなどの撮像手段と、この撮像手段から順次、出力される時系列の複数画像から強いエッジなどの特徴部位を検出する検出手段と、この検出された特徴部位の移動量を探索方向を限定して演算する演算手段とを備える。検出手段および演算手段は例えばコンピュータで構成される。
【００７９】
エッジの強い特徴部位として、例えば図１３に示す如く、道路横の樹木の幹部分３１、後続を走る他の車両のフロントバンパ３２、道路標識のポール部３２などがある。例えば、図１４に示すように、道路標識のポール部３３に特徴部位を検出されると、この特徴部位と消失点ＶＰを結ぶ延長線上に探索範囲（方向）を限定し（拘束し）、特徴部位（この場合には自車両）の移動量を高速に且つ高精度に求めることができる。
【００８０】
このように、移動量の算出対象となる特徴部位のエッジ強度と移動量算出時の探索方向を限定することで、特徴部位の移動量を高速に且つ高精度に検出することができる。
【００８１】
（変形形態その２）
上述した実施形態の別の変形形態を図１５に基づき説明する。
【００８２】
この変形形態も、前述したようにカメラ１１で撮像した時系列の連続画像から画像フレーム間に移動した特徴量の移動量を高精度に検出する装置に関する。
【００８３】
時系列画像間で特徴部位の移動量を検出する場合、探索方向に例えば図１５に示す如くガイドレール３４やゼブラパターン３５などの繰り返しパターンが映り込んでいると、非常に似通って画素値の繰り返しパターンにより特徴量の移動量の演算に誤差を生じることがある。
【００８４】
そこで、車両の後部に取り付けた撮像手段としてのカメラと、このカメラで撮像された時系列の複数画像から探索方向の特徴量およびその変化を算出する手段と、所定周期以上の繰り返しパターンが在るか否かを判断する手段と、繰り返しパターンが在ると判断されたときには、正確な移動量を算出できないとして、その存在範囲については特徴量の移動量の算出を禁止する手段を設ける一方で、かかる繰り返しパターンが存在しなくなった時点で、移動量の算出を再開する手段を設け、これにより、安定な移動量のみを精度良く算出することができる。ここで、上記各手段はコンピュータに所定のプログラムを実行させることで機能的に実現できる。
【００８５】
この検出装置は、前述した実施形態で説明した衝突防止装置における自車両に搭載され、後続の車両を撮像し、その時系列の画像から特徴部位の移動量を検出する装置として用いることができる。
【００８６】
なお、上述した実施形態およびその変形形態において、検出手段、演算手段、算出手段はコンピュータ（コントローラ）に所定のプログラムを実行させることで機能的に構成するとしたが、アナログ回路、デジタル論理回路などの電子回路で同等の機能を果たすように構成するようにしてもよい。
【００８７】
またなお、上述した実施形態およびその変形形態は、移動体として道路上を走行する車両を例示して説明したが、本発明の移動体には車両は列車や航空機なども含まれる。
【００８８】
【発明の効果】
以上説明したように、本発明によれば、画像中の動き情報を元に移動体としての自車両に衝突する可能性のある他の移動体としての追越し車両のみを検出することができ、検出された追越し車両と自車両の関係の時間的な変化を利用することで、安定した且つ確実な衝突防止効果に貢献することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る車載用の衝突防止装置の概略構成を示すブロック図。
【図２】カメラの車載の様子の一例を示す模式図。
【図３】本装置のコントローラにより実行される衝突防止処理の概略フローチャート。
【図４】追越し車両の移動量の演算を説明する画像図。
【図５】白線のデフォルト位置と白線探索領域の関係を説明する図。
【図６】移動量算出を説明する概略フローチャート。
【図７】車線領域と追越し車両の探索範囲との関係を説明する図。
【図８】追越し車両の別の探索範囲の例を説明する図。
【図９】追越し車両検出処理を説明する概略フローチャート。
【図１０】追越し車両検出のための帯領域の説明図。
【図１１】追越し車両の追付き時間の予測処理を説明する概略フローチャート。
【図１２】警報処理を説明する概略フローチャート。
【図１３】特徴量の移動量検出を説明する変形形態の図。
【図１４】図１３における特徴量の移動量検出と探索方向との関係を説明する図。
【図１５】特徴量の移動量検出を説明する別の変形形態の図。
【符号の説明】
１１ カメラ
１２ 舵角センサ
１３ ウィンカーセンサ
１４ 車速センサ
１５ コントローラ
１６ 警報器
１７、１８ Ａ／Ｄ変換器
１９ カウンタ
２０ ドライバ
Ｃ 車両
Ｃｓ 自車量（対象移動体）
Ｃｏ 他車両（追越し車両、他の移動体）
ＶＰ 消失点
ＲＷ 白線探索領域
ＰＷ 白線（デフォルト位置）
ＲＳ 追越し車両探索領域
ＲＳ' 走行車線領域
ＢＲ 帯領域
【発明の属する技術分野】
本発明は、ある車両が別の車両を追い越すとき等、車両同士が互いに接近する瞬間状態を経験するときの車両間の衝突を防止する衝突防止装置および衝突防止方法に係り、とくに、カメラで後方の走行状態を撮像し、その画像から他の車両を検出してカメラ搭載車両に必要に応じて警報を発するようにした衝突防止装置および衝突防止方法に関する。
【０００２】
【従来の技術】
一般に、交通事故の原因には各種の要因があるが、車線変更や追い越し走行を原因とする事故も相当数に上る。したがって、走行中の車両の運転者がその周囲の状況、とくに後方の走行状態を常時把握していれば、不用意な車線変更やハンドル操作を回避するのに多いに役立つものと考えられている。
【０００３】
従来、走行中の車両がその周りの状況を観測するには、レーダやテレビカメラなどが多用されている。レーダとしては、レーザレーダや超音波レーダが用いられる。これらのレーダを利用した環境認識装置の場合、障害物に対する相対速度や障害物との距離は検出可能であるが、指向性が狭く、曲がった道路での利用などは困難であった。
【０００４】
これに対して、テレビカメラから得られる画像を用いる方法の場合、その１つの態様として、画像中の車両の位置から、車両の３次元位置を推定することも可能であり、観測範囲も広くなるという特徴がある。しかし、この方法は、車両周辺のある一瞬の状況を認識して、画像中での障害物の位置を検出するだけであり、障害物との時間的な位置の変化などを考慮していなかった。
【０００５】
例えば、特開平２−２８７７９９号公報記載の技術によれば、車両に装着されたテレビカメラの画像を元に、この画像から走行レーンを認識して、走行レーン中に障害物が存在する場合、その方向にターンシグナルを出すと警報が発生される装置が提案されている。具体的には、この装置は画像上で走行レーンの画素濃度と異なる領域を２値化によって求め、走行レーン中の障害物を認識している。
【０００６】
しかし、この装置の場合、先に検出した走行レーンの中だけを障害物（他の車両など）の検出対象としているため、走行レーンの検出に失敗した場合や走行レーンの端を走行する２輪車がある場合などにおいては、検出能がうまく機能しない場合もある。また、この装置の手法によれば、ある時刻の一点で道路上に存在する障害物を検出するため、道路上の影やペイントなどを障害物として誤認する可能性もある。さらに、ある時刻の一点で障害物の存在を検出するだけであるので、自車両よりも速度が遅く、相対的に遠ざかっていく車両に対しても警報を誤って発生する可能性がある。
【０００７】
そこで、画像処理による車両検出の別の方法として、時系列的に連続的に取り込まれる画像から車両などの移動体を検出する手法が提案されている。
【０００８】
例えば、“Ｄ．Ｍｕｒｒａｙ ｅｔ ａｌ．， Ｍｏｔｉｏｎ Ｔｒａｃｋｉｎｇ ｗｉｔｈ ａｎ Ａｃｔｉｖｅ Ｃａｍｅｒａ， ＰＡＭＩ，Ｖｏ．１６，ＮＯ．５，４４９−４５９"で提案されているように、既知のカメラ移動量を利用して画像を変換することによって時系列画像間の対応関係を演算し、移動体を抽出する手法である。また、「移動カメラで撮影した動画像からの移動物体の抽出」（情報処理学会、第５１回全国大会、１９９５：寺久保他著）によれば、画像上の注目点を配置し、これらの点を頂点とする領域の対応を時系列画像間で探索することによって、画像間でのアフィン変換パラメータを２段階に分けて求め、これにより移動物体を抽出する手法が提案されている。さらに、特開平７−１１０８６４号公報によれば、移動ベクトル場に２次元ラプラシアンフィルタを掛け、その出力値をしきい値処理することにより移動物体を抽出する方式が提案されている。
【０００９】
【発明が解決しようとする課題】
しかしながら、上述した従来の時系列的に連続した画像を利用した移動物体（車両）検出の場合、所定の演算処理を画像全体の画素について一様に実行することから、画像処理の演算負荷が非常に大きく、高速処理が難しくなる。これを回避するには、演算能力が高いコントローラが要求される。つまり、車両の衝突防止のような高いリアルタイム性を求められ、且つ、車載が可能なコストの装置には不向きであるという問題がある。
【００１０】
本発明は、このような従来技術が抱える状況に鑑みてなされたもので、自車両に搭載したカメラの画像から他車両を検出するときの演算量を減らすことができ、これにより、処理の高速化を図るとともに、車載が可能な程度の演算能力の装置であっても他車両を確実に検出することができる衝突防止装置および衝突防止方法を提供することを、１つの目的とする。
【００１１】
また本発明は、自車両に搭載したカメラから後方を撮像し、その画像から他車両を迅速に且つ確実に検出し、この検出結果に基づいて両方の車両の衝突や異常接近に関わるトラブルを未然に回避させるための措置を確実にとらせることができる衝突防止装置および衝突防止方法を提供することを、別の目的とする。
【００１２】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る移動体の衝突防止装置は、衝突防止の警報発令の対象となる移動体の周囲の状況を撮像する撮像手段と、この撮像手段が時系列に撮像した複数フレームの画像夫々の限定した検出領域を探索して他の移動体を検出する検出手段と、前記対象となる移動体の移動状態と検出された前記他の移動体の移動状態との関係から両移動体間における衝突の可能性の程度を予測する予測手段と、この予測手段の予測結果に応じて前記対象となる移動体に警報を発する警報発生手段とを備えた移動体の衝突防止装置であり、前記検出手段は、前記画像での前記対象車両が走行している道路に存在するエッジとその交点である消失点の位置情報を決める手段と、前記エッジおよび消失点の位置情報に基づいて前記限定した検出領域を決める手段と、前記時系列の画像間における前記検出領域の移動量を検出する手段と、この移動量に基づき前記対象車両に接近するか又はその車両と等速で走行する他の車両のみを検出する手段と、を備え、前記予測手段は、前記検出手段が検出した前記他の車両の前記移動量に基づき当該車両の領域が前記画像上でその端部まで到達する時間を算出する手段と、この算出値を用いて前記対象車両に前記他の車両が追い付くまでの時間を予測する手段と、を備えたことを特徴とする。
また、本発明に係る移動体の衝突防止装置は、衝突防止の警報発令の対象となる移動体の周囲の状況を撮像する撮像手段と、この撮像手段が時系列に撮像した複数フレームの画像夫々の限定した検出領域を探索して他の移動体を検出する検出手段と、前記対象となる移動体の移動状態と検出された前記他の移動体の移動状態との関係から両移動体間における衝突の可能性の程度を予測する予測手段と、この予測手段の予測結果に応じて前記対象となる移動体に警報を発する警報発生手段とを備える移動体の衝突防止装置であり、前記検出手段は、前記画像での前記対象車両が走行している道路に存在するエッジとその交点である消失点の位置情報を決める手段と、前記エッジおよび消失点の位置情報に基づいて前記限定した検出領域を決める手段と、前記時系列の画像間における前記検出領域の移動量を検出する手段と、この移動量に基づき前記対象車両に接近するか又はその車両と等速で走行する他の車両のみを検出する手段と、を備え、前記撮像手段が撮像した時系列の複数画像から探索方向の特徴量およびその変化を算出する手段と、前記画像中に所定周期以上の繰り返しパターンが在るか否かを判断する手段と、当該判断手段によって繰り返しパターンが在ると判断された場合に、その存在範囲については特徴量の移動量の算出を禁止する手段と、存在すると判断された前記繰り返しパターンが存在しなくなった時点で禁止中の移動量の算出を再開する手段と、をさらに備えたことを特徴とする。
【００１３】
好適には、前記撮像手段、検出手段、予測手段、および警報発生手段は全て前記対象となる移動体に設ける。例えば、前記両方の移動体は共に車両である。例えば、前記検出手段は、前記画像での前記対象車両が走行している道路に存在するエッジとその交点である消失点の位置情報を決める手段と、この位置情報を元にして前記限定した検出領域を決める手段と、前記時系列の画像間における前記検出領域の移動量を検出する手段と、この移動量に基づき前記対象車両に接近するか又はその車両と等速で走行する他の車両のみを検出する手段とを備えたことを特徴とする。
【００１４】
また、好適には、前記警報発生手段は、前記予測時間に基づき前記他の車両が前記対象車両に衝突する可能性を見極める手段と、前記対象車両の走行方向の変更を検知する手段と、前記衝突の可能性があると判断され且つ前記対象車両が前記他の車両が走行している車線方向に走行方向を変更しようとしている状態が検知されたときに警報を発する手段とを備えていてもよい。例えば、前記検知手段は、前記対象車両の運転者によるウィンカーの点灯状況またはハンドルの操作角状況を検知する手段である。
【００１５】
また、前記目的を達成するため、本発明に係る移動体の衝突防止方法は、衝突防止の警報発令の対象となる移動体の周囲の状況を撮像手段によって時系列に撮像するステップと、この撮像ステップで撮像された複数フレームの画像夫々の限定した検出領域を探索して他の移動体を検出手段によって検出するステップと、前記対象となる移動体の移動状態と前記検出ステップで検出された前記他の移動体の移動状態との関係から両移動体間における衝突の可能性の程度を予測手段によって予測するステップと、この予測ステップで予測された予測結果に応じて警報発生手段が前記対象となる移動体に警報を発する移動体の衝突防止方法であって、前記検出ステップは、前記画像での前記対象車両が走行している道路に存在するエッジとその交点である消失点の位置情報を決定し、前記エッジおよび消失点の位置情報に基づいて前記限定した検出領域を決定し、前記時系列の画像間における前記検出領域の移動量を検出し、この移動量に基づき前記対象車両に接近するか又はその車両と等速で走行する他の車両のみを前記他の移動体として検出するステップであり、前記予測ステップは、前記検出ステップで検出された前記他の車両の前記移動量に基づき当該車両の領域が前記画像上でその端部まで到達する時間を算出し、この算出値を用いて前記対象車両に前記他の車両が追い付くまでの時間を予測するステップであることを特徴とする。
【００１６】
さらに、前記目的を達成するために、本発明に係る移動体の衝突防止のためのプログラムを記録したコンピュータ読み取り可能な記録媒体は、コンピュータを、前記衝突防止の警報を出す対象となる移動体の周囲の状況を撮像する撮像手段が時系列に撮像した複数フレームの画像を入力する手段と、当該画像夫々の限定した検出領域を探索して他の移動体を検出する手段と、前記対象となる移動体の移動状態と検出された前記他の移動体の移動状態との関係から両移動体間における衝突の可能性の程度を予測する手段と、この予測結果に応じて前記対象となる移動体に警報器を介して警報を発令する手段とを備え、前記検出手段は、前記画像での前記対象車両が走行している道路に存在するエッジとその交点である消失点の位置情報を決める手段と、前記エッジおよび消失点の位置情報に基づいて前記限定した検出領域を決める手段と、前記時系列の画像間における前記検出領域の移動量を検出する手段と、この移動量に基づき前記対象車両に接近するか又はその車両と等速で走行する他の車両のみを検出する手段とを備え、前記予測手段は、前記検出手段が検出した前記他の車両の前記移動量に基づき当該車両の領域が前記画像上でその端部まで到達する時間を算出する手段と、この算出値を用いて前記対象車両に前記他の車両が追い付くまでの時間を予測する手段と、を備える移動体の衝突防止装置として機能させるプログラムを記録したことを特徴とする。
【００１７】
このような構成によれば、画像中の動き情報をもとに移動体としての自車両に衝突する可能性のある他の移動体としての追越し車両のみを検出することができ、検出された追い越し車両と自車両との間の関係の時間的な変化を利用することにより、衝突を安定して且つ確実に防止する上で有効である。
【００１８】
【発明の実施の形態】
以下に本発明の一実施形態を図１〜１２に基づき説明する。なお、この実施形態では、移動体として実空間の路面などを移動する車両を例にとって説明する。
【００１９】
この実施形態に係る衝突防止装置は、１台ずつの車両に搭載されるようになっている。この衝突防止装置は、図１に示す如く、撮像手段としてのカメラ１１、舵角センサ１２、ウィンカーセンサ１３、および車速センサ１４を備えるとともに、ＣＰＵ、メモリなどを有するコントローラ１５、警報器１６を備える。
【００２０】
カメラ１１、舵角センサ１２、および車速センサ１４とコントローラ１５との間にＡ／Ｄ変換器１７、１８及びカウンタ１９が夫々介挿されている。また、コントローラ１５と警報器１６との間にはドライバ２０が介挿されている。
【００２１】
コントローラ１５は後述する各種の処理を行うプログラムを格納しており、車両Ｃのキースイッチをオンにすることでそれらの処理を自動的に起動させ、キースイッチをオフにするまでそれらの処理を継続させる。
【００２２】
カメラ１１は、通常のＣＣＤカメラ、ＣＭＯＳカメラ、ＩＴＶカメラ等を利用することができる。このカメラ１１は、本実施形態では図２に示す如く、車両Ｃ（自車両Ｃｓ、他車両Ｃｏ）のリアウィンドウに視野を後方に向けて取り付けられている。なお、カメラ１１は、車両Ｃの後方を撮像できる位置であれば何れの位置に取り付けてもよい。このカメラ１１で撮像された道路、車両およびその周辺環境の画像のデータは、時系列的に連続してＡ／Ｄ変換器１７などを介してデジタル信号に処理され、コントローラ１５に送られる。
【００２３】
舵角センサ１２は各車両Ｃのハンドルの操作角度を検出する。この操作角度信号はＡ／Ｄ変換器１８によりデジタル量の信号に変換され、コントローラ１５に送られる。
【００２４】
また、ウィンカーセンサ１３は車両Ｃの左側又は右側のウィンカーを点灯させた状態を検知し、それを論理値で成るオン・オフ信号としてコントローラ１５に送る。
【００２５】
さらに、車速センサ１４は、車両Ｃの車速を例えば車輪の回転に応じたパルス信号として検出する。このパルス信号はカウンタ１９により単位時間当たりのパルス数として計測され、この計測値がデジタル量の状態でコントローラ１５に供給される。
【００２６】
これらの車速、ウィンカー点灯状態又はハンドル角度は、後方から自車両Ｃｓに接近してくる他車両Ｃｏとの衝突の可能性を判断するときの自車両の走行状態を表すパラメータとしてコントローラ１５で使用される。
【００２７】
後述するように、コントローラ１５は自車両Ｃｓと他車両Ｃｏとの間の衝突の可能性を予測したときに、デジタル量の警報信号をドライバ２０に出力する。この信号はドライバ２０により所要パワーのアナログ量の信号に変換され、警報器１６に供給される。警報器１６は例えば、光や音（または音声）を発して運転者に警報を与えるユニットであり、運転席に聞こえる位置や運転席から見ることのできる位置に設けられている。
【００２８】
続いて、この衝突防止装置の動作を説明する。
【００２９】
コントローラ１５は、図３に示す概略アルゴリズムに基づいて後方から接近する他車両Ｃｏを検出し、必要に応じて警報を発する。
【００３０】
これを説明すると、コントローラ１５はカメラ１１からの画像データをフレーム毎に入力し（ステップＳ１）、次いで前回の処理で使用した画像データ（１フレーム前の画像データ）をメモリからワークエリアに読み出す（ステップＳ２）。
【００３１】
次いで、コントローラ１５は自車両Ｃｓの後方を走行している他車両Ｃｏの検出処理を行う。この検出処理は、路面の白線検出（ステップＳ３）、画像中の特徴点の移動量算出（ステップＳ４）、及び追い越す他車両Ｃｏ（追越し車両）の検出（ステップＳ５）から成る。これらの各ステップの処理は後で詳述する。
【００３２】
この検出処理により自車Ｃｓを追い越そうとしている他車両Ｃｏが検出された場合、後述するように、追いつかれる時間を予測する（ステップＳ６）。そして、必要に応じて、自車Ｃｓの運転者に追越し車両Ｃｏが居ることを知らせるための警報を発する（ステップＳ７）。この後、かかる処理を継続する場合（ステップＳ８）、ステップＳ１で入力した現在のフレームの画像データを次回の検出処理のために記憶する（ステップＳ９）。
【００３３】
これにより、エンジンオフとなるまで、かかる検出処理が継続され、時系列的に連続する２画像に基づく追越し車両の検出、衝突の可能性判断、および、必要に応じた警報発生の処理が行われる。以下に、この処理を詳述する。
【００３４】
（白線検出処理）
ステップＳ３では、コントローラ１５により、道路上の白線検出処理が実行される。
【００３５】
この白線検出処理は、概括的には、入力する各時系列画像に対してエッジの抽出を行い、画像内の路面上の白線および道路の稜線を構成する直線エッジとその交点である消失点とを検出する処理である。抽出された白線、稜線のエッジ処理結果および消失点は後述の移動量算出処理で使用される。なお、以降の説明において、白線、黄線、及び舗道の稜線など、車線を区分できる線状体を一括して「白線」と記述する。
【００３６】
いま、道路上を走行している車両Ｃから図４（ａ），（ｂ）に示す画像のデータが入力するものとする。同図（ａ）は時刻ｔのときに得られた入力画像、同図（ｂ）は時刻ｔ＋１のときに得られた入力画像で、時系列的に連続している。ここに示した画像は、カメラ１１から入力する画像群の内の、任意の２つの連続時刻の画像である。
【００３７】
時系列的に得られる各時刻の入力画像には、道路、その側壁、後方を走行する車両などが映っているが、この中で本装置が最終的に抽出するのは追い越していこうとする車両（追越し車両）である。
【００３８】
ここで、追い越し車両はその走行範囲が白線や路肩などで限定されているので、これらの白線や路肩が構成する稜線などを抽出することによって追い越し車両の存在位置を限定することができる。また、直進している車両から後方を一般的なテレビカメラで撮影した場合、背景はＦＯＥ（ｆｏｃｕｓ ｏｆ ｅｘｐａｎｓｉｏｎ）と呼ばれる動きベクトルの集中点に収束するように移動する。とくに、車両が平行に引かれた車線を区別する白線の間を白線に沿って走行するとき、ＦＯＥは画面上の白線の交点である消失点に一致することになる。
【００３９】
一般に、画像処理によって得られた動きベクトルからＦＯＥを求めるためには、カメラの動きによる背景の動きと背景以外の移動物体に生じる動きとを分割し、背景の動きを持つ点の動きベクトルの集中点を求める必要があるため、演算量が非常に大きくなる。これに対して、消失点は、白線や稜線を求めて、その交点を計算することによって求めることができるので、比較的少ない計算量で求めることができる。そこで、本実施例では、白線や稜線から消失点を求め、これを仮想的なＦＯＥであるとして移動量の算出などに利用する手法を採用する。これにより演算量を減らす、高速で処理できるようになる。
【００４０】
白線（白線、黄線、舗道の稜線など）の集中点である消失点の画像上の位置は、カメラ１１の内部パラメータやカメラ１１と地面（路面）との成す角度などから一意的に決定できる。そこで、カメラ１１を車両Ｃに搭載したときに、最初に道路の画像を撮影し、そのとき写し出された画像上の白線の位置と消失点の位置を記憶させ、この記憶情報を実際の走行中の車両検出を行うときのデフォルト値として用いるようにする。また、カメラの振動などに起因してデフォルト位置がずれる可能性があるので、装置の稼動中に安定して白線の位置検出ができているならば、デフォルト値をその位置に更新することも好適な態様である。
【００４１】
走行中の具体的な白線検出処理は、以下のように実行される。白線検出を行うために、まず画面からエッジ成分を抽出する。エッジの抽出では、エッジの方向や強度を検出する必要があるため、ソーペルオペレータやラプラシンアンガウシアンオペレータなどが用いられる。ただし、エッジの強度と方向を求めることができるオペレータであれば、これらのオペレータ以外のものを使うこともできる。
【００４２】
次に、得られたエッジの強度と方向を用いて、白線のデフォルト値の近傍にある白線候補を検出する。例えば、図５に示す如く、自車両が走行する車線を区分する白線のデフオルト位置ＰＷが求められていた場合、白線候補の探索（検出）範囲ＲＷは図示の如く、白線のデフォルト位置ＰＷを含む狭い斜線範囲に限定できる。
【００４３】
なお、この探索範囲ＲＷの大きさは車両に取りつけられたカメラ１１の振動の大きさなどを考慮して適宜変更することもできる。
【００４４】
またなお、ここでは、自車両Ｃが走行しているレーンの白線のみを表示したが、それ以外の白線や稜線を検出して消失点の算出に用いることもできる。ただし、その場合、自車両が走行している以外の白線のデフォルト位置の定義が難しいため、まず、自車両が走行している白線のデフォルト値を用いて、自車両が走行しているレーンの白線のみを求める。次いで、この自車線を構成する白線から得られる消失点を通るその他の白線や稜線を探索する。これにより、自車線以外の白線や稜線を検出することができる。
【００４５】
そして、最終的に求められた全ての白線や稜線を使って最小自乗法を用いて消失点を求める。求められた白線と消失点の情報およびエッジ抽出結果は次の移動量算出に用いられる。
【００４６】
（移動量算出処理）
ステップＳ４では、コントローラ１５により、連続する２枚の画像を使って画像上の特徴点（特徴領域）の時系列画像間（フレーム間インターバル）に対する移動量が算出される。
【００４７】
概括的には、カメラ１１から時系列に入力する各画像に対して、白線検出により得られた白線や消失点の情報を利用して処理対象領域を限定し、この処理対象領域を複数の小領域に分割することによって、各小領域の時系列画像間での移動量を算出する。算出された各小領域の移動量は追越し車両の移動量として用いられる。
【００４８】
この移動量算出処理を図４および図６に基づき説明する。
【００４９】
２枚の画像間での特徴点（特徴領域）の移動量は、２枚の画像間で各特徴点（特徴領域）の対応を取ることによって求めることができる。例えば、図４（ａ）、（ｂ）の画像に対して求められた移動量は図４（ｃ）に示す矢印のようになる。このように移動量は向きと大きさを持つベクトルとして表現できる。
【００５０】
移動量算出の具体的な手法の例を図６に示す。これはコントローラ１５により図３のステップＳ４の処理として実行される。図６に示すように、白線や消失点の位置情報に基づいて追越し車両の探索領域ＲＳを限定する。例えば、図７では破線による斜線部分の領域が探索領域ＲＳとなり、探索領域が狭くなる分、演算負荷が少なくなる。また、自車両Ｃｓの後ろを、すなわち自車両と同じ車線を走行する他車両Ｃｏを検出する場合、実線による斜線部分の領域ＲＳ'も探索領域とすればよい。図７中、参照符号ＰＷは自車線の白線（デフォルト値）を示し、ＶＰは消失点を示す。ここで、３次元空間において隣の車線を走行している車両であっても、２次元画像に投影した場合、その車両が隣車線を構成する２本の白線の間からはみ出して見える場合もあるので、これらの投影変換による影響を考慮して探索領域を蝶形に設定してある。これにより、隣車線を走行する車両を確実に探索することができる。
【００５１】
実際の探索では、まず、設定された探索領域を格子状に分割する（ステップＳ４ａ）。次に、この各格子領域が強いエッジ成分を持つか否かを検証し、強いエッジ成分を持つ格子領域を探索候補領域とする（ステップＳ４ｂ）。路面と光軸が平行になるように自動車に取りつけたカメラで後方を撮像する場合、他車両の動きは画像中でＸ（横）成分が多く、Ｙ（縦）方向にはあまり動かないことになる。したがって、任意の追跡領域に対する探索領域ＲＳを図８のように横長の長方形領域に限定することができる。さらに、検出対象を自車を追い越す他車量に限定すれば消失点の左では探索領域はＸ軸のマイナス方向だけとなる。
【００５２】
次いで、探索候補の格子領域に夫々に対して、次の時刻での対応領域を探索する（ステップＳ４ｃ）。例えば、時刻ｔにおける探索候補の各格子領域を初期位置とし、時刻ｔ＋１においてこれに対応する領域を探索する。すなわち、それぞれの格子領域を探索範囲ＲＳ内で動かした場合に、相関値が最も大きくなる領域を検出する。このとき、最大相関値がしきい値より小さい場合は、その領域は対応が取れないということになる。
【００５３】
次いで、探索候補の各格子領域の移動量を決定する（ステップＳ４ｄ）。具体的には、時刻ｔにおける探索候補の格子領域夫々の初期位置と時刻ｔ＋１におけるそれらの対応領域との空間距離の差（具体的には画素数で定義される）を演算し、これを移動量とする。
【００５４】
この後、この探索候補の格子領域の位置移動量を含む連続画像間での各種の移動量を保存する（ステップＳ４ｅ）。
【００５５】
一方、上述したステップＳ４ａ〜Ｓ４ｃの処理に加えてステップ４ｆを行い、この後、ステップＳ４ｄ、Ｓ４ｅの処理を行うようにしてもよい。つまり、既に過去の各時刻で探索候補の各格子領域の対応がとられている場合、その各領域に対して輝度やエッジ成分などの情報を蓄積しているので、ステップＳ４ｆでは、これらの情報を用いて順次新しい画像について対応領域が探索される。すなわち、ステップＳ４ｆを加えることによって、数フレームにわたって連続して領域を追跡することができる。このときに、過去に得られている全ての探索候補格子領域について探索を行ってもよいが、処理量が膨大になるので、過去のある時点以降の格子領域のみを対象としたり、各時刻での対応の評価値が高い領域のみを対象として探索を続けることによって、より高速に処理することができる。
【００５６】
ここで、評価基準としては相関値だけでなく、明度の差分値やエッジ強度の差分値なども用いることもできる。また、ここでは領域ベースの手法について述べたが、強い特徴点を用いた移動量検出法や、全ての点の動きを勾配法を使って求める手法なども採用できる。また、これらの手法で得られた移動量を用いることも可能である。さらに、探索によって得られた移動量が過去２フレーム分以上、蓄積されている場合、この蓄積データを利用して任意の時間（フレーム）間隔の移動量を求めることも可能である。
【００５７】
求められた各領域の移動量の情報は追越し車両検出に用いられる。
【００５８】
（追越し車両検出処理）
ステップＳ５では、コントローラ１５により、自車両Ｃｓを追い越そうとしている追越し車両（他車両）Ｃｏが検出される。
【００５９】
この処理は概括的には、算出された探索候補格子領域の移動量に基づき同程度の移動量を持つ領域がまとまって存在する領域を抽出して、各領域の移動量の向きと大きさより衝突の可能性のある領域を追い越し車両であると認識する処理である。この追越し車両Ｃｏの情報は警報発生処理に使用される。
【００６０】
具体的には、図９に示すように、追越し車両Ｃｏの速度Ｖのしきい値が設定される（ステップＳ５ａ）。例えば、しきい値Ｖ＝２の場合、移動量が２画素以下の格子領域は排除されるので、ノイズや静止物体の情報が追越し車両であると誤認される可能性が低下し、検出精度が向上する。このしきい値は探索領域全体で１つの値を設定することも可能であるが、必要に応じて、探索領域中の場所毎にしきい値Ｖを変更することもできる。
【００６１】
次いで、移動量のパラメータ空間への投票が行われる（ステップＳ５ｂ）。具体的には、図１０に示す如く、探索領域上に設定した各帯領域ＢＲ内に含まれる移動量のヒストグラムが作成される。各ヒストグラムに幾つかのピーク値が現れるので、これが検出される（ステップＳ５ｃ）。
【００６２】
これらのピーク値はそれぞれの追越し車両Ｃｏが持つ速度に対応している。そこで、ヒストグラムをピーク値で分割して、それぞれのピーク値との差がしきい値以内の領域を検出し、追越し車両Ｃｏの候補が検出される。さらに、それぞれの速度を持つ領域の画像中の位置関係を調べて、隣接している領域を併合し、個々の追越し車両Ｃｏが検出される（ステップＳ５ｄ）。
【００６３】
ここで、自車両Ｃｓが前進している場合、背景は全てＦＯＥに収束する方向に動くが、追越し車両ＣｏはＦＯＥから湧き出す方向に移動する。そこで、湧き出す方向の速度が０以上の領域のみを抽出して、追越し車両Ｃｏを表す領域の候補とすることができる。
【００６４】
以上の手順に基づいて、画像上の位置と移動量が似た探索領域同士を併合して追い越し車両が検出される。
【００６５】
（追い付く時間の予測処理）
次いで、図３のステップＳ６に相当する処理として、コントローラ１５により、追越し車両Ｃｏが自車両Ｃｓに追い付く時間を予測する。この処理は図１１に示す。
【００６６】
本装置ではカメラ１１の画角が事前に分かっているので、画像の左右端に追越し車両Ｃｏが来た場合に、その追越し車両Ｃｏが自車両Ｃｓに対して３次元シーン中でどの位置にいるのかを求めることができる。そこで、まず画面中で追越し車両Ｃｏの先端がどの位置に存在するのかを算出する（ステップＳ６ａ）。次いで、現在の追越し車両Ｃｏの画面中での速度をもって連続して前方に移動してきた場合、あと何秒でカメラ画面の端に到達するか、その時間を演算する。そして、追越し車両Ｃｏが画面端に到達したときの追越し車両Ｃｏと自車両Ｃｓとの３次元シーン中での相対距離を考慮して、追付くまでの最終的な時間を予測する（ステップＳ６ｂ）。
【００６７】
検出された追越し車両Ｃｏの領域の位置や追越しまでの時間などの情報は警報発生処理で用いられる。
【００６８】
（警報発生処理）
次いで、図３のステップＳ７に相当する処理として、コントローラ１５により、必要に応じて、自車両Ｃｓに警報が発令される。この処理は図１２に示す。
【００６９】
この警報発令は、自車両Ｃｓの周囲に衝突可能性のある追越し車両Ｃｏが存在する場合、その方向にターンシグナルを出して車線変更の意思表示をしたり、車線変更するためにその方向ヘハンドルを切ったりしたときに、衝突の可能性があることを運転者に警告するための処理である。
【００７０】
具体的には、図１２に示す如く、コントローラ１５は、追越し車両Ｃｏが検出されたか否かを判断する（ステップ７ａ）。この判断で追越し車両Ｃｏが検出されたと判断された場合、次いで、その追い付く時間がしきい値以下か否かが判断される（ステップＳ７ｂ）。つまり、追越し車両Ｃｏが存在した場合、しきい値として定めた時間以内にその車両が追い付くかの否かが判断される。
【００７１】
この判断において、追越し車両Ｃｏがしきい値以下の時間で自車両Ｃｓに追い付く（すなわち、もう直ぐ追いつく）と判断されたときには、コントローラ１５は次いで、自車両Ｃｓの運転者が追越し車両Ｃｏが追いつきながら走行してくる車線に車両の走行方向を変更しようとしているか否かを判断する（ステップＳ７ｃ）。この判断は、舵角センサ１２及び／又はウィンカーセンサ１３の検出信号を読み込み、ハンドル操作またはウィンカー操作を監視しながら行う。
【００７２】
この方向変更の判断でＹＥＳとなるときは、追越し車両Ｃｏが後方から接近してきており、そのままで走行方向を変更したときには後続車両との間で衝突の恐れが大の場合である。そこで、コントローラ１５は警報器１６に警報用の制御信号を送って、警報器１６から警報を発生させる。つまり、追い越し車両の居る方向にターンシグナルを出してその方向に車線変更の意思を示したり、その方向に車線を変更しようとハンドルを切ったときには、警報器１６から音（音声）及び／又は光によって運転者に警告を発する。
【００７３】
したがって、運転者は後続車両との衝突の危険性を確実に知ることができ、車線変更をとり止めるなどの適切な処置を講ずることができ、安全な走行に寄与できる。
【００７４】
また、更なる利点として、本実施形態の手法によれば、画像の各領域の動きが分かるので、自車に対して追い越しをかける車両のみを抽出することができる。また、時間的変化の少ない連続した２枚の画像を利用するため、２値化等の手法に比べて、しきい値の影響を押さえることができ、精度の高い衝突防止装置が実現できる。さらに、３次元シーンの中では、走行レーンの上に実際に車両が存在している場合でも、カメラの設置位置によっては画像中の走行レーン上に障害物が存在しないように見える場合があるが、このような場合でも、動き情報を基礎にすれば画像中の追越し車両を選択的に高精度で検出することができる。
【００７５】
なお、この警報発生は、自車両の周囲に衝突可能性のある他車両が存在する場合に、その方向に車両が居ることを音や光によって運転者に知らせるという実施形態も可能である。また、コントローラ１５は追越し車両の位置と速度を認識しているので、その情報を元に追越し車両が追い付くまでの時間に応じて光の色や強度または音の強弱を変えることによって、追越し車両の存在を運転者に事前に知らせるという変形形態も可能である。
【００７６】
（変形形態その１）
上述した実施形態の１つの変形形態を図１３，１４に基づき説明する。
【００７７】
この実施形態は、前述したようにカメラ１１で撮像した時系列の連続画像から画像フレーム間に移動した特徴部位の移動量を検出する装置に関する。とくに、特徴部位の移動量を画像から安定して検出するために、画像中の強いエッジを特徴部位（移動量算出対象）として選択し、このエッジに対する画像中での動きの拘束を利用して高速に特徴部位の移動量を検出する装置に関する。
【００７８】
この検出装置は、前述した実施形態で説明した衝突防止装置における自車両に搭載され、後続の車両を撮像し、その時系列の画像から特徴部位の移動量を検出する装置として有効に機能する。これを達成するため、この検出装置は、カメラなどの撮像手段と、この撮像手段から順次、出力される時系列の複数画像から強いエッジなどの特徴部位を検出する検出手段と、この検出された特徴部位の移動量を探索方向を限定して演算する演算手段とを備える。検出手段および演算手段は例えばコンピュータで構成される。
【００７９】
エッジの強い特徴部位として、例えば図１３に示す如く、道路横の樹木の幹部分３１、後続を走る他の車両のフロントバンパ３２、道路標識のポール部３２などがある。例えば、図１４に示すように、道路標識のポール部３３に特徴部位を検出されると、この特徴部位と消失点ＶＰを結ぶ延長線上に探索範囲（方向）を限定し（拘束し）、特徴部位（この場合には自車両）の移動量を高速に且つ高精度に求めることができる。
【００８０】
このように、移動量の算出対象となる特徴部位のエッジ強度と移動量算出時の探索方向を限定することで、特徴部位の移動量を高速に且つ高精度に検出することができる。
【００８１】
（変形形態その２）
上述した実施形態の別の変形形態を図１５に基づき説明する。
【００８２】
この変形形態も、前述したようにカメラ１１で撮像した時系列の連続画像から画像フレーム間に移動した特徴量の移動量を高精度に検出する装置に関する。
【００８３】
時系列画像間で特徴部位の移動量を検出する場合、探索方向に例えば図１５に示す如くガイドレール３４やゼブラパターン３５などの繰り返しパターンが映り込んでいると、非常に似通って画素値の繰り返しパターンにより特徴量の移動量の演算に誤差を生じることがある。
【００８４】
そこで、車両の後部に取り付けた撮像手段としてのカメラと、このカメラで撮像された時系列の複数画像から探索方向の特徴量およびその変化を算出する手段と、所定周期以上の繰り返しパターンが在るか否かを判断する手段と、繰り返しパターンが在ると判断されたときには、正確な移動量を算出できないとして、その存在範囲については特徴量の移動量の算出を禁止する手段を設ける一方で、かかる繰り返しパターンが存在しなくなった時点で、移動量の算出を再開する手段を設け、これにより、安定な移動量のみを精度良く算出することができる。ここで、上記各手段はコンピュータに所定のプログラムを実行させることで機能的に実現できる。
【００８５】
この検出装置は、前述した実施形態で説明した衝突防止装置における自車両に搭載され、後続の車両を撮像し、その時系列の画像から特徴部位の移動量を検出する装置として用いることができる。
【００８６】
なお、上述した実施形態およびその変形形態において、検出手段、演算手段、算出手段はコンピュータ（コントローラ）に所定のプログラムを実行させることで機能的に構成するとしたが、アナログ回路、デジタル論理回路などの電子回路で同等の機能を果たすように構成するようにしてもよい。
【００８７】
またなお、上述した実施形態およびその変形形態は、移動体として道路上を走行する車両を例示して説明したが、本発明の移動体には車両は列車や航空機なども含まれる。
【００８８】
【発明の効果】
以上説明したように、本発明によれば、画像中の動き情報を元に移動体としての自車両に衝突する可能性のある他の移動体としての追越し車両のみを検出することができ、検出された追越し車両と自車両の関係の時間的な変化を利用することで、安定した且つ確実な衝突防止効果に貢献することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態に係る車載用の衝突防止装置の概略構成を示すブロック図。
【図２】カメラの車載の様子の一例を示す模式図。
【図３】本装置のコントローラにより実行される衝突防止処理の概略フローチャート。
【図４】追越し車両の移動量の演算を説明する画像図。
【図５】白線のデフォルト位置と白線探索領域の関係を説明する図。
【図６】移動量算出を説明する概略フローチャート。
【図７】車線領域と追越し車両の探索範囲との関係を説明する図。
【図８】追越し車両の別の探索範囲の例を説明する図。
【図９】追越し車両検出処理を説明する概略フローチャート。
【図１０】追越し車両検出のための帯領域の説明図。
【図１１】追越し車両の追付き時間の予測処理を説明する概略フローチャート。
【図１２】警報処理を説明する概略フローチャート。
【図１３】特徴量の移動量検出を説明する変形形態の図。
【図１４】図１３における特徴量の移動量検出と探索方向との関係を説明する図。
【図１５】特徴量の移動量検出を説明する別の変形形態の図。
【符号の説明】
１１ カメラ
１２ 舵角センサ
１３ ウィンカーセンサ
１４ 車速センサ
１５ コントローラ
１６ 警報器
１７、１８ Ａ／Ｄ変換器
１９ カウンタ
２０ ドライバ
Ｃ 車両
Ｃｓ 自車量（対象移動体）
Ｃｏ 他車両（追越し車両、他の移動体）
ＶＰ 消失点
ＲＷ 白線探索領域
ＰＷ 白線（デフォルト位置）
ＲＳ 追越し車両探索領域
ＲＳ' 走行車線領域
ＢＲ 帯領域
Claims (8)
- 衝突防止の警報発令の対象となる移動体の周囲の状況を撮像する撮像手段と、この撮像手段が時系列に撮像した複数フレームの画像夫々の限定した検出領域を探索して他の移動体を検出する検出手段と、前記対象となる移動体の移動状態と検出された前記他の移動体の移動状態との関係から両移動体間における衝突の可能性の程度を予測する予測手段と、この予測手段の予測結果に応じて前記対象となる移動体に警報を発する警報発生手段とを備える移動体の衝突防止装置であり、
前記検出手段は、前記画像での前記対象車両が走行している道路に存在するエッジとその交点である消失点の位置情報を決める手段と、前記エッジおよび消失点の位置情報に基づいて前記限定した検出領域を決める手段と、前記時系列の画像間における前記検出領域の移動量を検出する手段と、この移動量に基づき前記対象車両に接近するか又はその車両と等速で走行する他の車両のみを検出する手段と、を備え、
前記予測手段は、前記検出手段が検出した前記他の車両の前記移動量に基づき当該車両の領域が前記画像上でその端部まで到達する時間を算出する手段と、この算出値を用いて前記対象車両に前記他の車両が追い付くまでの時間を予測する手段と、を備えたことを特徴とする移動体の衝突防止装置。 - 衝突防止の警報発令の対象となる移動体の周囲の状況を撮像する撮像手段と、この撮像手段が時系列に撮像した複数フレームの画像夫々の限定した検出領域を探索して他の移動体を検出する検出手段と、前記対象となる移動体の移動状態と検出された前記他の移動体の移動状態との関係から両移動体間における衝突の可能性の程度を予測する予測手段と、この予測手段の予測結果に応じて前記対象となる移動体に警報を発する警報発生手段とを備える移動体の衝突防止装置であり、
前記検出手段は、前記画像での前記対象車両が走行している道路に存在するエッジとその交点である消失点の位置情報を決める手段と、前記エッジおよび消失点の位置情報に基づいて前記限定した検出領域を決める手段と、前記時系列の画像間における前記検出領域の移動量を検出する手段と、この移動量に基づき前記対象車両に接近するか又はその車両と等速で走行する他の車両のみを検出する手段と、を備え、
前記撮像手段が撮像した時系列の複数画像から探索方向の特徴量およびその変化を算出する手段と、前記画像中に所定周期以上の繰り返しパターンが在るか否かを判断する手段と、当該判断手段によって繰り返しパターンが在ると判断された場合に、その存在範囲については特徴量の移動量の算出を禁止する手段と、存在すると判断された前記繰り返しパターンが存在しなくなった時点で禁止中の移動量の算出を再開する手段と、をさらに備えたことを特徴とする移動体の衝突防止装置。 - 請求項１又は２記載の衝突防止装置において、
前記撮像手段、検出手段、予測手段、および警報発生手段は全て前記対象となる移動体に設けてあることを特徴とする移動体の衝突防止装置。 - 請求項１又は２記載の衝突防止装置において、
前記両方の移動体は共に車両であることを特徴とする移動体の衝突防止装置。 - 請求項１記載の衝突防止装置において、
前記警報発生手段は、前記予測時間に基づき前記他の車両が前記対象車両に衝突する可能性を見極める手段と、前記対象車両の走行方向の変更を検知する手段と、前記衝突の可能性があると判断され且つ前記対象車両が前記他の車両が走行している車線方向に走行方向を変更しようとしている状態が検知されたときに警報を発する手段とを備えたことを特徴とする移動体の衝突防止装置。 - 請求項５記載の衝突防止装置において、
前記検知手段は、前記対象車両の運転者によるウィンカーの点灯状況またはハンドルの操作角状況を検知する手段であることを特徴とする移動体の衝突防止装置。 - 衝突防止の警報発令の対象となる移動体の周囲の状況を撮像手段によって時系列に撮像するステップと、この撮像ステップで撮像された複数フレームの画像夫々の限定した検出領域を探索して他の移動体を検出手段によって検出するステップと、前記対象となる移動体の移動状態と前記検出ステップで検出された前記他の移動体の移動状態との関係から両移動体間における衝突の可能性の程度を予測手段によって予測するステップと、この予測ステップで予測された予測結果に応じて警報発生手段が前記対象となる移動体に警報を発する移動体の衝突防止方法であって、
前記検出ステップは、前記画像での前記対象車両が走行している道路に存在するエッジとその交点である消失点の位置情報を決定し、前記エッジおよび消失点の位置情報に基づいて前記限定した検出領域を決定し、前記時系列の画像間における前記検出領域の移動量を検出し、この移動量に基づき前記対象車両に接近するか又はその車両と等速で走行する他の車両のみを前記他の移動体として検出するステップであり、
前記予測ステップは、前記検出ステップで検出された前記他の車両の前記移動量に基づき当該車両の領域が前記画像上でその端部まで到達する時間を算出し、この算出値を用いて前記対象車両に前記他の車両が追い付くまでの時間を予測するステップであることを特徴とする移動体の衝突防止方法。 - 移動体の衝突防止のためのプログラムを記録したコンピュータ読み取り可能な記録媒体であって、コンピュータを、
前記衝突防止の警報を出す対象となる移動体の周囲の状況を撮像する撮像手段が時系列に撮像した複数フレームの画像を入力する手段と、当該画像夫々の限定した検出領域を探索して他の移動体を検出する手段と、前記対象となる移動体の移動状態と検出された前記他の移動体の移動状態との関係から両移動体間における衝突の可能性の程度を予測する手段と、この予測結果に応じて前記対象となる移動体に警報器を介して警報を発令する手段とを備え、前記検出手段は、前記画像での前記対象車両が走行している道路に存在するエッジとその交点である消失点の位置情報を決める手段と、前記エッジおよび消失点の位置情報に基づいて前記限定した検出領域を決める手段と、前記時系列の画像間における前記検出領域の移動量を検出する手段と、この移動量に基づき前記対象車両に接近するか又はその車両と等速で走行する他の車両のみを検出する手段とを備え、前記予測手段は、前記検出手段が検出した前記他の車両の前記移動量に基づき当該車両の領域が前記画像上でその端部まで到達する時間を算出する手段と、この算出値を用いて前記対象車両に前記他の車両が追い付くまでの時間を予測する手段と、を備える移動体の衝突防止装置として機能させるプログラムを記録したことを特徴とする記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09388499A JP4377474B2 (ja) | 1999-03-31 | 1999-03-31 | 移動体の衝突防止装置、衝突防止方法、および記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP09388499A JP4377474B2 (ja) | 1999-03-31 | 1999-03-31 | 移動体の衝突防止装置、衝突防止方法、および記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000285245A JP2000285245A (ja) | 2000-10-13 |
| JP4377474B2 true JP4377474B2 (ja) | 2009-12-02 |
Family
ID=14094915
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP09388499A Expired - Lifetime JP4377474B2 (ja) | 1999-03-31 | 1999-03-31 | 移動体の衝突防止装置、衝突防止方法、および記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4377474B2 (ja) |
Families Citing this family (25)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002202136A (ja) * | 2001-01-04 | 2002-07-19 | Omron Corp | 車両の周囲状況観測装置 |
| JP3849505B2 (ja) | 2001-11-26 | 2006-11-22 | 株式会社デンソー | 障害物監視装置及びプログラム |
| JP4217876B2 (ja) * | 2002-12-20 | 2009-02-04 | 財団法人生産技術研究奨励会 | 画像における移動物体の追跡方法及び装置 |
| JP4100250B2 (ja) * | 2003-05-19 | 2008-06-11 | 日産自動車株式会社 | 障害物検出装置および障害物検出方法 |
| JP3952305B2 (ja) | 2004-02-06 | 2007-08-01 | シャープ株式会社 | 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体 |
| JP3897305B2 (ja) | 2004-02-06 | 2007-03-22 | シャープ株式会社 | 車両周辺監視装置、車両周辺監視方法、制御プログラムおよび可読記録媒体 |
| JP4107605B2 (ja) | 2005-02-01 | 2008-06-25 | シャープ株式会社 | 移動体周辺監視装置、移動体周辺監視方法、制御プログラムおよび可読記録媒体 |
| JP2006318015A (ja) * | 2005-05-10 | 2006-11-24 | Sony Corp | 画像処理装置および画像処理方法、画像表示システム、並びに、プログラム |
| JP4575315B2 (ja) * | 2006-02-27 | 2010-11-04 | 株式会社東芝 | 物体検出装置及びその方法 |
| JP2008168811A (ja) * | 2007-01-12 | 2008-07-24 | Honda Motor Co Ltd | 車線認識装置、車両、車線認識方法、及び車線認識プログラム |
| JP4701225B2 (ja) * | 2007-03-06 | 2011-06-15 | 池上通信機株式会社 | 速度計測方法 |
| EP1988488A1 (en) | 2007-05-03 | 2008-11-05 | Sony Deutschland Gmbh | Method for detecting moving objects in a blind spot region of a vehicle and blind spot detection device |
| JP4341705B2 (ja) | 2007-07-17 | 2009-10-07 | トヨタ自動車株式会社 | 車載画像処理装置 |
| JP5176523B2 (ja) * | 2007-12-13 | 2013-04-03 | 富士通株式会社 | 移動体検出装置、移動体検出方法および移動体検出プログラム |
| JP2009157943A (ja) * | 2009-04-02 | 2009-07-16 | Toyota Motor Corp | 車載画像処理装置 |
| JP5187266B2 (ja) * | 2009-04-21 | 2013-04-24 | 株式会社Ｊｖｃケンウッド | 動きベクトル検出装置及び方法 |
| KR101478072B1 (ko) * | 2010-06-23 | 2015-01-02 | 주식회사 만도 | 차량 검출 방법 |
| DE102010062994A1 (de) * | 2010-12-14 | 2012-06-14 | Robert Bosch Gmbh | Verfahren und Vorrichtung zur Ermittlung fahrzeugbezogener Daten |
| JP5723607B2 (ja) * | 2011-01-21 | 2015-05-27 | 富士通テン株式会社 | 並走物体検知装置 |
| JP5743020B2 (ja) * | 2012-03-01 | 2015-07-01 | 日産自動車株式会社 | 立体物検出装置 |
| JP5867273B2 (ja) * | 2012-04-27 | 2016-02-24 | 富士通株式会社 | 接近物体検知装置、接近物体検知方法及び接近物体検知用コンピュータプログラム |
| JP2015125669A (ja) * | 2013-12-27 | 2015-07-06 | 日立オートモティブシステムズ株式会社 | 車両制御装置、車両制御装置を搭載した車両、及び、移動体検出方法 |
| JP6531660B2 (ja) * | 2016-02-10 | 2019-06-19 | 株式会社デンソー | 車両周辺監視システム及びコンピュータプログラム |
| JP7151387B2 (ja) * | 2018-11-06 | 2022-10-12 | 株式会社デンソー | 自車挙動推定装置、自車挙動推定プログラム、記憶媒体および自車挙動推定装置の制御方法 |
| JP7528009B2 (ja) | 2021-03-17 | 2024-08-05 | 株式会社東芝 | 画像処理装置および画像処理方法 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2641562B2 (ja) * | 1989-04-28 | 1997-08-13 | 松下電器産業株式会社 | 車両用衝突防止装置 |
| JPH0785280B2 (ja) * | 1992-08-04 | 1995-09-13 | タカタ株式会社 | 神経回路網による衝突予測判定システム |
| JPH07110864A (ja) * | 1993-10-13 | 1995-04-25 | Natl Aerospace Lab | 移動物体の判定方法 |
| JP3366135B2 (ja) * | 1994-10-05 | 2003-01-14 | 松下電器産業株式会社 | 走行方向制御装置 |
| JPH0918863A (ja) * | 1995-06-26 | 1997-01-17 | Yazaki Corp | 車両用後側方監視装置 |
| JP3485135B2 (ja) * | 1995-09-27 | 2004-01-13 | 矢崎総業株式会社 | 車両用後側方監視装置 |
| JP3635591B2 (ja) * | 1995-11-17 | 2005-04-06 | 矢崎総業株式会社 | 車両周辺監視装置 |
| JP3638169B2 (ja) * | 1996-02-16 | 2005-04-13 | 本田技研工業株式会社 | 車両衝突予防装置 |
| JP3398934B2 (ja) * | 1997-09-08 | 2003-04-21 | 矢崎総業株式会社 | 車両用監視方法 |
-
1999
- 1999-03-31 JP JP09388499A patent/JP4377474B2/ja not_active Expired - Lifetime
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000285245A (ja) | 2000-10-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4377474B2 (ja) | 移動体の衝突防止装置、衝突防止方法、および記録媒体 | |
| CN109074651B (zh) | 移动体的周围环境识别装置 | |
| US11308717B2 (en) | Object detection device and object detection method | |
| US9836657B2 (en) | System and method for periodic lane marker identification and tracking | |
| JP3463858B2 (ja) | 周辺監視装置及び方法 | |
| JP3580475B2 (ja) | 周辺監視装置 | |
| Aytekin et al. | Increasing driving safety with a multiple vehicle detection and tracking system using ongoing vehicle shadow information | |
| JP6453490B2 (ja) | 路面反射を認識し評価するための方法及び装置 | |
| US20180038689A1 (en) | Object detection device | |
| JP2008168811A (ja) | 車線認識装置、車両、車線認識方法、及び車線認識プログラム | |
| CN102792314A (zh) | 交叉通行碰撞警报系统 | |
| Leng et al. | Vision-based lane departure detection system in urban traffic scenes | |
| JP2018516799A5 (ja) | ||
| JP2006527427A (ja) | 車両から対象物を位置測定して追跡する方法および装置 | |
| Huang et al. | Tightly-coupled LIDAR and computer vision integration for vehicle detection | |
| JP4940177B2 (ja) | 交通流計測装置 | |
| JP3651419B2 (ja) | 環境認識装置 | |
| Yang et al. | On-road collision warning based on multiple FOE segmentation using a dashboard camera | |
| Saboune et al. | A visual blindspot monitoring system for safe lane changes | |
| Kaempchen et al. | Fusion of laserscanner and video for advanced driver assistance systems | |
| Choi et al. | Cut-in vehicle warning system exploiting multiple rotational images of SVM cameras | |
| JP3562278B2 (ja) | 環境認識装置 | |
| Kanhere et al. | Real-time detection and tracking of vehicle base fronts for measuring traffic counts and speeds on highways | |
| Riera et al. | Driver behavior analysis using lane departure detection under challenging conditions | |
| JP2006004188A (ja) | 障害物認識方法及び障害物認識装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060116 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20081217 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20081224 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090220 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090317 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090514 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090609 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090728 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090818 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090911 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120918 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130918 Year of fee payment: 4 |
|
| EXPY | Cancellation because of completion of term |