JP4069919B2 - 衝突判定装置、および方法 - Google Patents

Description

本発明は、車両と周辺物体との衝突危険性を判定する衝突判定装置、および方法に関する。

次のような車両用周辺監視装置が特許文献１によって知られている。この装置では、複数のカメラを用いたステレオカメラを用いて、車両側方にある物体の位置を所定時間毎に検出し、物体の予想軌跡を算出する。同時に車両の予想軌跡を算出して、算出した物体の予想軌跡、および車両の予想軌跡とに基づいて、車両と物体との衝突危険性を判定する。

特開２００１−１９５６９９号公報

しかしながら、従来の車両用周辺監視装置では、ステレオカメラを用いて車両と物体との衝突危険性を判定するため、複数のカメラが必要であり、コスト的に不利であるという問題が生じていた。

本発明は、撮像された自車両前方の撮像画像内に存在する物体の撮像画像内における縦方向、および横方向の移動速度を算出し、横方向の移動速度に基づいて、自車両の側方から接近する物体を含む領域を設定し、縦方向の移動速度に基づいて、設定した領域が自車両に到達するまでの時間（到達時間）を算出し、横方向の移動速度と、到達時間とに基づいて、設定した領域の中から、自車両と衝突または接触する危険性があると判定された物体を含む領域を監視対象領域として設定し、撮像手段の取り付け位置から自車両前端および自車両後端までの距離、および自車両の速度に基づいて到達時間を補正し、算出された横方向の移動速度と、補正された到達時間とに基づいて、監視対象領域を設定することを特徴とする。

本発明によれば、撮像した画像から物体の縦方向、および横方向の移動速度を算出することによって、自車両と衝突または接触する危険性がある物体を含む領域を特定することとした。これによって、装置に搭載するカメラは１台で良いため、コスト的に有利となる。

図１は、本実施の形態における衝突判定装置を車両に搭載した場合の一実施の形態の構成例を示すブロック図である。衝突判定装置１００は、車両前方を撮像するカメラ１０１と、カメラ１０１で撮像した画像を格納する画像メモリ１０２と、カメラ１０１で撮像されて画像メモリ１０２に記憶した画像を画像処理して、後述する衝突判定処理を実行する制御装置１０３とを備えている。

カメラ１０１は、例えばＣＣＤやＣＭＯＳなどの撮像素子を有し、図２に示すように車両の車室内上部前方に、その光軸Ｚが車両前方正面方向に向くように設置される。また、撮像面の水平軸Ｘは地表面と平行となるように、また撮像面の垂直軸Ｙは地表面と垂直になるように設定されている。なお、カメラの設置状態は、前述の設置状態に限定されず、カメラパラメータが既知であればよい。カメラ１０１で撮像した画像は、画像メモリ１０２へ出力される。

制御装置１０３は、以下に説明するように、カメラ１０１で撮像された画像に基づいて、カメラ１０１の撮像可能範囲内に存在する自車両と衝突する危険性がある対象（物体）を抽出する。まず、カメラ１０１で撮像された画像（撮像画像）内に存在する対象の移動速度を示すオプティカルフローを算出する。本実施の形態では、撮像画像内に存在する対象の縦方向の移動と横方向の移動とを検出し、それぞれの方向への移動速度を算出して、撮像画像内における対象の移動方向と移動速度とをベクトルで表したオプティカルフローを以下のように算出する。

すなわち、撮像画像に対して、縦方向のエッジ（縦エッジ）を検出して、横方向に濃度勾配を有する部位を特徴として捕らえることにより、横方向の移動を検出することができる。また、横方向のエッジ（横エッジ）を検出して、縦方向に濃度勾配を有する部位を特徴として捕らえることにより、縦方向の移動を検出することができる。

図３に、撮像画像内に対して横エッジ検出、および縦エッジ検出を行う場合の具体例を示す。図３（ａ）に示す撮像画像に対して、図３（ｂ）に示す縦エッジ検出Ｓｏｂｅｌフィルタ（水平方向Ｓｏｂｅｌフィルタ）を適用して、図３（ｄ）に示すように縦方向のエッジを検出する。また、図３（ａ）に示す撮像画像に対して、図３（ｃ）に示す横エッジ検出Ｓｏｂｅｌフィルタ（垂直方向Ｓｏｂｅｌフィルタ）を適用して、図３（ｅ）に示すように横方向のエッジを検出する。

そして、連続して撮像された撮像画像（連続するフレーム）における縦エッジ間の移動を検出することによって横方向の移動を検出し、その移動距離とフレームの撮像時間間隔とに基づいて横方向の移動速度を算出する。また、横エッジ間の移動を検出することによって縦方向の移動を検出し、その移動距離とフレームの撮像時間間隔とに基づいて縦方向の移動速度を算出する。この結果、縦方向、および横方向、すなわち直交方向の濃度勾配情報を用いたオプティカルフローが算出される。

算出したオプティカルフローに対しては、カメラ１０１で撮像された画像に基づいて、自車両のピッチング、ヨーイング、およびローリング等の車両挙動を計測し、この計測した車両挙動に基づく撮像画像への影響を考慮して縦方向、および横方向の移動速度の補正を行う。なお、カメラ１０１で撮像された画像に基づいて、ピッチング、ヨーイング、およびローリング等の車両挙動を計測する処理については、公知の技術のため説明を省略する。

次に、算出したオプティカルフローにおいて、横方向に移動方向を有するベクトル（横方向の移動速度成分）に着目して、自車両と衝突あるいは接触の危険性がある対象を含む領域（一次対象領域）を設定する。一般的に、自車両が移動しているときには、画像上に存在する側路物体などは、その相対位置関係を自車両位置から把握すると、画像の外へ向かって、すなわち自車両から離れる方向へ動いていく。これに対して、自車両と衝突あるいは接触の危険性がある対象は、自車両に対して接近する方向へ動いているため、外方向の速度と内方向の速度が相殺されて、対象の画像上における横方向の移動速度は小さくなる。

したがって、オプティカルフローにおいて、横方向の移動速度があらかじめ設定した閾値以下である横方向の移動速度成分を自車両と衝突接触の危険性がある対象と判定して抽出する。そして、抽出した横方向の移動速度成分のうち、同一の移動速度を有するものは、同一の対象に基づいて算出された移動速度成分であると判定できるため、同一の横方向の移動速度を有する移動速度成分を含む範囲を一次対象領域として設定する。

図４は、上述した処理によって一次対象領域を設定する場合の具体例を示した図である。図４に示す具体例においては、実空間上で歩行者４２が自車両の進行方向に進入してくる対象であり、自車両と衝突する危険性がある。この状況において、歩行者４２の横方向の移動速度は、実空間において静止している対象、例えばバス停４１の横方向の移動速度と比較して小さく観測される。したがって、上述したように、横方向の移動速度があらかじめ設定した閾値以下である対象のみを抽出すれば、自車両と衝突する危険性がある対象を抽出することができる。そして、抽出した横方向の移動速度成分のうち、同一の移動速度を有する移動速度成分を含む範囲を一次対象領域として設定することによって、歩行者４２を含む一次対象領域４２ａが設定できる。

なお、この場合、自車両に並走する車両４３や遠方の背景に含まれるビル４４等も画像上の横方向の移動速度が小さくなるため、自車両と衝突する危険性がある対象として抽出され、これによって一次対象領域４３ａ、および４４ａが設定されてしまう。このように、実際には自車両と衝突する可能性がない対象に対して設定された一次対象領域については、後述する処理によって排除する。

上述した処理で設定した一次対象領域において、一次対象領域に含まれる縦方向の移動速度成分とその移動速度成分の画像上の位置（座標値）とに基づいて、一次対象領域に含まれる対象が自車両に到達する（衝突する）までの時間ＴＴＣ（Ｔｉｍｅ Ｔｏ Ｃｏｌｌｉｓｉｏｎ）を算出する。図５にＴＴＣの算出原理を具体的に示す。なお、後述する図５（ｂ）および（ｃ）における座標系の原点は、車両進行方向の無限遠点であるものとする。自車両６ａと歩行者４２が図５（ａ）に示す位置関係にある場合に、図５（ｂ）に示す時刻ｔにおける撮像画像に基づいて設定した画像上の一次対象領域中の縦方向（ｙ軸方向）の任意のｙ座標値を注目位置とし、図５（ｃ）に示す時刻ｔ＋ｄｔにおける撮像画像に基づいて設定した画像上の一次対象領域中の注目位置をｙ＋ｄｙとする。

このときの時刻ｔ〜ｔ＋ｄｔ間に自車両６ａが移動した距離をｄL、一次対象領域を設定した対象までの距離をＤ、自車両６ａと歩行者４２の相対速度をＶｒ、一次対象領域における縦方向の移動速度をｖとすると、次式（１）が成り立つ。
Ｄ＝ｙ／ｄｙ・ｄＬ＝ｙ／（ｄｙ／ｄｔ）・ｄＬ／ｄｔ＝ｙ／ｖ・Ｖｒ・・・（１）

このとき，衝突までの時間ＴＴＣは、次式（２）によって算出される。
ＴＴＣ＝Ｄ／Ｖｒ＝ｙ／ｖ・・・（２）
式（２）より、ＴＴＣは、一次対象領域内の任意の注目位置ｙと、その注目位置における縦方向の移動速度ｖによって算出される。したがって、図５に示した歩行者４２のＴＴＣ０は次式（３）により算出され、並走車両４３のＴＴＣ１は次式（４）により算出される。
ＴＴＣ０＝ｙ_０／ｖ_０・・・（３）
ＴＴＣ１＝ｙ_１／ｖ_１・・・（４）

また、式（２）に基づいて、実際には自車両と衝突する可能性がない対象に対して設定された一次対象領域、すなわち図４において並走車両４３、および遠方のビル４４に対して設定された一次対象領域４３ａ、および４４ａを次のようにして排除する。上述したように、一次対象領域を設定するに当たっては、横方向の移動速度に着目して、横方向の移動速度があらかじめ設定した閾値以下である移動速度成分を対象として一次対象領域を設定した。このため、並走車両４３、および遠方のビル４４を含む領域に対しても一次対象領域が設定されてしまった。これに対して式（２）で算出されるＴＴＣは、縦方向の移動速度に着目して算出されている。

この式（２）においては、ｖ→０（ゼロ）のときは、ＴＴＣ→∞となり、衝突時間が無限大、すなわち衝突しないことを意味する。したがって、並走車両４３、および遠方のビル４４の縦方向の移動速度のように、画像上における縦方向の移動量が少なく、速度が小さく算出される場合、すなわちｖが極めて小さい場合には、ＴＴＣは極めて大きな値が算出され、実質的に衝突しないこととなる。このことから、算出されたＴＴＣが所定の閾値より大きい場合には、この一次対象領域は自車両に衝突しない、あるいは衝突する危険性の低い対象を包含する領域であると判断して、一次対象領域から排除する。そして、排除されなかった領域を監視対象領域とし、当該監視対象領域に含まれる自車両と衝突または接触する可能性のある監視対象のみに対して、以下の処理を行う。

監視対象領域に含まれる監視対象が、自車両、および監視対象がこのまま移動した場合に、自車両と衝突または接触する可能性が高いか否かを判定する。図６にその具体例を示す。自車両６ａが実空間において矢印１ａに示す動きをし、衝突危険性のある対象、すなわち監視対象領域に含まれる監視対象６ｂが矢印１ｂに示す動きをするとき、実空間上の自車両６ａに対する監視対象６ｂの相対的な動きは、矢印１ｃのようになる。一方，自車両と衝突危険性の無い対象６ｃの相対的な動きは矢印１ｄのようになる。

この場合、監視対象６ｂ、および対象６ｃの画像上における動きは、それぞれ矢印２ａおよび２ｂで示すように観測される。なお、この矢印２ａおよび２ｂで示す動きは、上述した一次対象領域を設定した際に着目した、横方向の移動速度成分に相当する。この矢印２ａに示した監視対象６ｂの動きの横方向の移動速度と、式（２）で算出したＴＴＣとに基づいて、ＴＴＣ時間後の監視対象６ｂの画像上の横位置（ｘ位置）を算出する。このＴＴＣ時間後の監視対象６ｂの画像上の横位置は、監視対象６ｂが基線３ａを通過するときの画像上の横位置に相当する。

したがって、ＴＴＣ時間後の監視対象６ｂの画像上の横位置が、カメラ１０１の画角を考慮して所定のアルゴリズムによって画像上にあらかじめ設定されたカメラ１０１の仮想的な画角６ｄの範囲内にあるときは、監視対象６ｂは自車両と干渉する範囲内にあると判定する。そして、監視対象６ｂが自車両と干渉する範囲内にあると判定した場合には、監視対象６ｂを含む監視対象領域は、基線３ａの位置で自車両６ａと衝突または接触する可能性が高い対象を含む領域であると判断して、引き続き監視対象領域として監視を続ける。これに対して、ＴＴＣ時間後の監視対象６ｂの画像上の横位置が自車両に干渉する範囲内にないと判断した場合には、この監視対象６ｂを含む監視対象領域は、自車両６ａと衝突または接触する可能性が低い対象を含む領域であると判断して、監視対象領域から除外する。

なお、上述したＴＴＣ時間は、監視対象６ｂが基線３ａに到達するまでの時間、すなわち監視対象６ｂが自車両のカメラ取り付け位置に到達する時間を示している。このため、実際に監視対象６ｂが衝突または接触する位置として、車両全体、すなわち車両の全長を考慮する場合には、以下のように判断する必要がある。すなわち、監視対象６ｂが車両前面に衝突または接触することを考慮するために、監視対象６ｂが基線３ｂに到達する時間ＴＴＣ１の算出が必要となる。また、車両側面に衝突する場合は、ＴＴＣ１に加えて基線３ｃまでの到達時間ＴＴＣ２の算出が必要となる。

これらＴＴＣ１、およびＴＴＣ２は、カメラ取り付け位置から自車両前端および自車両後端までの距離、および自車両の速度に基づいて、式（２）によって算出したＴＴＣを補正することによって算出可能である。そして、ＴＴＣ１時間後の基線３ｂ上における監視対象６ｂの横位置、およびＴＴＣ２時間後の基線３ｃ上における監視対象６ｂの横位置を算出して、ＴＴＣ１時間後、またはＴＴＣ２時間後に監視対象６ｂが自車両に干渉する範囲内にあると判断した場合には、監視対象６ｂは自車両６ａと衝突または接触する可能性が高い対象であると判断して、引き続き監視対象として監視を続ける。

図７は、本実施の形態の衝突判定装置１００の動作を示すフローチャートである。図７に示す処理は、不図示のイグニションスイッチがオンされると起動するプログラムとして制御装置１０３により実行される。ステップＳ１０において、カメラ１０１から撮像画像が入力された否かを判断し、撮像画像が入力されたと判断した場合には、ステップＳ２０へ進む。ステップＳ２０では、撮像画像に基づいて縦エッジ、および横エッジの抽出処理を行って、上述したようにオプティカルフローを算出する。その後、ステップＳ３０へ進む。ステップＳ３０では、オプティカルフロー上の横方向の移動速度成分において、その移動速度があらかじめ設定した閾値以下であるか否かを判断する。

その結果、横方向の移動速度があらかじめ設定した閾値より大きいと判断した場合には、ステップＳ４０へ進み、その横方向の移動速度成分は、後述する処理の対象外として、ステップＳ５０へ進む。一方、その後、横方向の移動速度があらかじめ設定した閾値以下である場合には、そのままステップＳ５０へ進む。ステップＳ５０では、全ての横方向の移動速度成分に対して、上述したステップＳ３０、およびステップＳ４０の処理が完了したか否かを判断して、未完了の場合にはステップＳ３０に戻って、完了するまで処理を繰り返す。一方、全ての横方向の移動速度成分に対して処理が完了したと判断した場合には、ステップＳ６０へ進む。

ステップＳ６０では、同一の横方向の移動速度を有する移動速度成分を含む範囲をそれぞれ一次対象領域として設定して、ステップＳ７０へ進む。ステップＳ７０では、一次対象領域に含まれる縦方向の移動速度成分と一次対象領域の画像上の位置（座標値）とに基づいて、一次対象領域に含まれる対象が自車両に到達する（衝突する）までの時間ＴＴＣを算出してステップＳ８０へ進む。

ステップＳ８０では、算出したＴＴＣが所定の閾値より大きいか否かを判断する。ＴＴＣが所定の閾値より大きいと判断した場合には、ステップＳ９０へ進み、この一次対象領域は自車両に衝突しない、あるいは衝突する危険性の低い対象を包含する領域であると判断して、一次対象領域から排除する。その後、ステップＳ１００へ進む。一方、ＴＴＣが所定の閾値以下であると判断した場合には、ステップＳ１００へ進む。

ステップＳ１００では、ＴＴＣ時間後の監視対象６ｂの画像上の横位置を算出する。その後、ステップＳ１１０へ進み、算出したＴＴＣ時間後の監視対象６ｂの画像上の横位置が、自車両に干渉する範囲内に存在するか否かを判断する。自車両に干渉する範囲内に存在しないと判断した場合には、ステップＳ１２０へ進み、当該監視対象６ｂを含む監視対象領域を削除して、ステップＳ１４０へ進む。一方、自車両に干渉する範囲内に存在すると判断した場合には、ステップＳ１３０へ進み、当該監視対象６ｂを含む監視対象領域を確定し、引き続き監視対象とする。その後、ステップＳ１４０へ進む。

ステップＳ１４０では、設定した全ての一次対象領域に対して、上述したステップＳ８０〜Ｓ１３０の処理が完了したか否かを判定し、完了していない場合には、ステップＳ８０に戻って上述した処理を繰り返す。一方、完了した場合には、処理を終了する。

以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
（１）カメラ１０１で撮像した画像内に存在する対象の縦方向、および横方向の移動速度を算出してオプティカルフローを算出した。そして、横方向の移動速度成分に着目して一次対象領域を設定し、縦方向の移動速度成分に着目してＴＴＣを算出し、横方向の移動速度とＴＴＣとに基づいて、監視対象領域を特定することとした。これによって、１台のカメラで撮像した画像に基づいて自車両と衝突または接触する危険性のある対象を特定することができ、コスト的に有利となる。
（２）カメラ１０１で撮像した画像内に存在する対象の縦方向、および横方向の移動速度を算出してオプティカルフローを算出することとした。これによって、一般的なブロック間マッチングや濃度勾配法によるオプティカルフローの算出よりも簡易にオプティカルフローを算出することができる。

（３）カメラ１０１で撮像された画像に基づいて、ピッチング、ヨーイング、およびローリング等の車両挙動を計測し、この計測した車両挙動情報に基づいて、車両挙動を考慮して縦方向、および横方向の移動速度の補正を行うこととした。これによって、自車両と対象の相対位置変化にのみ起因する移動速度のみを観測できるので、より正確な移動速度の算出が可能となる。
（４）実際に監視対象６ｂが衝突または接触する位置として車両の全長を考慮する場合には、ＴＴＣを補正してＴＴＣ１、およびＴＴＣ２を算出した。これによって、より精度の高い衝突危険性の判定を行うことができる。

―変形例―
なお、以下のように変形することもできる。
（１）上述した実施の形態では、オプティカルフローを算出するに当たって、連続するフレームに対して、縦方向のエッジを検出して、横方向に濃度勾配を有する部位を特徴として捕らえることにより、横方向の移動を検出した。また、横方向のエッジを検出して、縦方向に濃度勾配を有する部位を特徴として捕らえることにより、縦方向の移動を検出することとした。しかし、画像中に存在する任意の特徴点、あるいは領域を設定し、その特徴点あるいは領域が所定画素数移動する時間を観測することによって、特徴点あるいは領域の移動速度を算出して、算出した移動速度を縦方向と横方向に分解してもよい。これによって、さらに容易に画像中に存在する対象の横方向の移動速度、および縦方向の移動速度を算出することが可能となる。

（２）上述した実施の形態では、実際に監視対象６ｂが衝突または接触する位置として車両の全長を考慮する場合には、ＴＴＣを補正してＴＴＣ１、およびＴＴＣ２を算出した。この場合に、監視対象６ｂが図２に示した自車両座標系におけるＺ軸方向の移動成分、すなわち自車両に向かってくる方向に速度成分を持っている場合は，自車両と監視対象６ｂの接近する相対速度は自車速よりも大きくなる。したがって、このことを考慮してＴＴＣ１、およびＴＴＣ２を実際の補正値よりも短めに設定してもよい。

特許請求の範囲の構成要素と実施の形態との対応関係について説明する。カメラ１０１は撮像手段に、制御装置１０３は移動速度算出手段、領域設定手段、時間算出手段、監視対象領域設定手段、エッジ抽出手段、および車両挙動計測手段に相当する。なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。

衝突判定装置を車両に搭載した場合の一実施の形態の構成例を示すブロック図である。 カメラ１０１の車両への設置例を示す図である。 撮像画像内に対して横エッジ検出、および縦エッジ検出を行う場合の具体例を示す図である。 一次対象領域を設定する場合の具体例を示す図である。 ＴＴＣの算出原理の具体的を示す図である。 監視対象領域に含まれる監視対象と自車両との位置的関係の具体例を示す図である。 衝突判定装置１００の動作を示すフローチャート図である。

符号の説明

１００ 衝突判定装置
１０１ カメラ
１０２ 画像メモリ
１０３ 制御装置

Claims (5)

1. 自車両前方の画像を撮像する撮像手段と、
   前記撮像手段によって撮像された撮像画像内に存在する物体の前記撮像画像内における縦方向、および横方向の移動速度を算出する移動速度算出手段と、
   前記移動速度算出手段によって算出された横方向の移動速度に基づいて、自車両の側方から接近する物体を含む領域を設定する領域設定手段と、
   前記移動速度算出手段によって算出された縦方向の移動速度に基づいて、前記領域設定手段で設定した領域が自車両に到達するまでの時間（到達時間）を算出する時間算出手段と、
   前記移動速度算出手段によって算出された横方向の移動速度と、前記時間算出手段によって算出された到達時間とに基づいて、前記領域設定手段で設定した領域の中から、自車両と衝突または接触する危険性があると判定された物体を含む領域を監視対象領域として設定する監視対象領域設定手段とを備え、
   前記時間算出手段は、前記撮像手段の取り付け位置から自車両前端および自車両後端までの距離、および自車両の速度に基づいて前記到達時間を補正し、
   前記監視対象領域設定手段は、前記移動速度算出手段によって算出された横方向の移動速度と、前記時間算出手段で補正された到達時間とに基づいて、前記監視対象領域を設定することを特徴とする衝突判定装置。
2. 請求項１に記載の衝突判定装置において、
   前記監視対象領域設定手段は、前記移動速度算出手段によって算出された横方向の移動速度、および前記時間算出手段によって算出された到達時間に基づいて、前記領域設定手段で設定した領域に含まれる物体の前記到達時間後における横位置を算出し、当該到達時間後における横位置に基づいて、前記監視対象領域を設定することを特徴とする衝突判定装置。
3. 請求項１または２に記載の衝突判定装置において、
   前記移動速度算出手段は、
   前記撮像手段によって連続して撮像された前記撮像画像内に存在する任意の特徴点、あるいは領域が所定画素数移動する時間を観測することによって、特徴点あるいは領域の移動速度を算出し、算出した移動速度を縦方向と横方向に分解して、前記撮像画像内に存在する物体の横方向の移動速度、および縦方向の移動速度を算出することを特徴とする衝突判定装置。
4. 請求項１〜３のいずれか一項に記載の衝突判定装置において、
   前記撮像手段で撮像された前記撮像画像に基づいて、自車両の車両挙動を計測する車両挙動計測手段をさらに有し、
   前記移動速度算出手段は、前記車両挙動計測手段で計測された自車両の車両挙動に基づいて、算出した物体の縦方向、および横方向の移動速度を補正することを特徴とする衝突判定装置。
5. 撮像手段により撮像された自車両前方の撮像画像内に存在する物体の前記撮像画像内における縦方向、および横方向の移動速度を算出し、
   前記横方向の移動速度に基づいて、自車両の側方から接近する物体を含む領域を設定し、
   前記縦方向の移動速度に基づいて、前記設定した領域が自車両に到達するまでの時間（到達時間）を算出し、
   前記横方向の移動速度と、前記到達時間とに基づいて、前記設定した領域の中から、自車両と衝突または接触する危険性があると判定された物体を含む領域を監視対象領域として設定し、
   前記撮像手段の取り付け位置から自車両前端および自車両後端までの距離、および自車両の速度に基づいて前記到達時間を補正し、
   算出された横方向の移動速度と、補正された到達時間とに基づいて、前記監視対象領域を設定することを特徴とする衝突判定方法。

Images