JP4244887B2 - 移動位置予測装置、移動位置予測方法、衝突判定装置、及び衝突判定方法 - Google Patents

Description

本発明は、周辺車両等の物体と自車両との衝突可能性を判定する処理に適用して好適な、移動位置予測装置、移動位置予測方法、衝突判定装置、及び衝突判定方法に関する。

従来より、物体と自車両との衝突可能性を判定する技術として、ステレオカメラ等のセンサを用いて物体の３次元位置を推定し、この推定結果を利用して物体の予想軌跡を算出し、物体の予想軌跡と自車両の予想軌跡とに基づいて物体と自車両との衝突の危険性を判定する技術が知られている（例えば、特許文献１を参照）。
特開２００１−１９５６９９号公報

しかしながら、上記従来の技術のように、ステレオカメラ等のセンサを利用して３次元空間内における物体と自車両の位置関係を算出する場合、センサが取得した２次元画像を３次元に再構成する処理を行わなければならないために、計算負荷が大きく、且つ、精度が悪い。

本発明は、上記課題を解決するためになされたものであり、その目的は、計算負荷を大きくすることなく物体と自車両の位置関係を精度高く予測することが可能な移動位置予測装置及び移動位置予測方法を提供することにある。

上述の課題を解決するために、本発明に係る移動位置予測装置及び移動位置予測方法は、自車両周辺の二次元画像を撮像し、二次元画像の中から特徴点を抽出し、抽出された特徴点の位置を所定時間追跡することにより特徴点の位置情報を所定時間取得し、特徴点の位置情報を利用して、特徴点が付随する静止物体と自車両との実空間内における距離を自車両の速度で除じたパラメータ及び二次元画像上の消失点の位置を推定することにより特徴点の移動予測値を算出し、移動予測値に従って二次元画像内における特徴点の位置を予測する。

また、本発明に係る衝突判定装置及び衝突判定方法は、自車両周辺の二次元画像を撮像し、二次元画像の中から特徴点を抽出し、抽出された特徴点の位置を所定時間追跡することにより特徴点の位置情報を所定時間取得し、特徴点の位置情報を利用して、特徴点が付随する静止物体と自車両との実空間内における距離を自車両の速度で除じたパラメータ及び二次元画像上の消失点の位置を推定することにより特徴点の移動予測値を算出し、算出された移動予測値に従って二次元画像内における特徴点の位置を予測し、特徴点が付随する静止物体が自車両側方を通過する時間を算出し、算出された通過時間における移動予測値に基づいて、静止物体と自車両との衝突可能性を判定する。

本発明に係るに移動位置予測装置及び移動位置予測方法によれば、二次元画像内における特徴点の移動軌跡のみを用いて二次元画像内における特徴点の位置を予測するので、計算負荷を大きくすることなく、特徴点が付随する静止物体と自車両の位置関係を精度高く予測することができる。

以下、図面を参照して、本発明の一実施形態となる車両用衝突判定装置の構成と動作について説明する。

〔車両用衝突判定装置の構成〕
本発明の一実施形態となる車両用衝突判定装置１は、図１に示すように、カメラ２，画像上特徴点追従部３，画像上移動位置予測部４，側方通過時間予測部５，及び衝突判定部６を主な構成要素として備える。なお、この実施形態では、カメラ２は、単眼カメラにより構成され、車両周辺の画像を撮像する。また、画像上特徴点追従部３，画像上移動位置予測部４，側方通過時間予測部５，及び衝突判定部６の各構成要素は、車載コンピュータが各構成要素の機能（動作）を規定したコンピュータプログラムを実行することにより実現される。

そして、このような構成を有する車両用衝突判定装置１は、以下に示す衝突判定処理を実行することにより、周囲車両等の物体と車両との衝突可能性があるか否かを正確に判定し、周囲車両等の物体と車両との衝突可能性がある場合、ユーザに警告を発する。以下、図３に示すフローチャートを参照して、この衝突判定処理を実行する際の車両用衝突判定装置１の動作について詳しく説明する。

〔衝突判定処理〕
図２に示すフローチャートは、車両のイグニッションスイッチがオン状態になり、車両用衝突判定装置１に電力が供給されるのに応じて開始となり、衝突判定処理はステップＳ１の処理に進む。

ステップＳ１の処理では、カメラ２が、車両周辺の画像を所定フレームレート毎に取得し、取得した車両周辺の画像のデータを画像上特徴点追従部３に入力する。これにより、このステップＳ１の処理は完了し、この判定処理はステップＳ１の処理からステップＳ２の処理に進む。

ステップＳ２の処理では、画像上特徴点追従部３が、カメラ２から入力された２次元画像の中から特徴点を抽出し、時間ｔｉにおける２次元画像内での特徴点の位置（ｘ_ｉ，ｙ_ｉ）を算出する。そして、画像上特徴点追従部３は、図３に示すように、この特徴点の動きを追跡することにより、特徴点の位置（ｘ_ｉ，ｙ_ｉ）の時系列データＰｉを算出し、算出された時系列データＰｉを画像上移動位置予測部４に入力する。これにより、このステップＳ２の処理は完了し、この判定処理はステップＳ２の処理からステップＳ３の処理に進む。

ステップＳ３の処理では、画像上移動位置予測部４が、画像上特徴点追従部３から入力された時系列データＰｉを利用して、任意の時刻ｔｉにおける２次元画像内における特徴点の位置（ｘｉ，ｙｉ）を予測する。具体的には、画像上移動位置予測部４は、自車両の速度をｖ１，カメラ２の焦点距離をｆ，時刻ｔ１における特徴点が付随する物体Ｂと自車両Ａとの間の距離を（L，W，H）（図４参照），２次元画像上における消失点の位置を（ｘｐ．ｙｐ）と定義し、以下に示す数式１，２を利用して任意の時刻ｔｉにおける２次元画像内での特徴点の位置（ｘｉ，ｙｉ）を推定する。但し、この場合、自車両の速度ｖ１は一定であり、特徴点が付随する物体Ｂは実空間において静止をしているものとする。

なお、時刻ｔ１における特徴点を含む物体と自車両との間の距離（Ｌ，Ｗ，Ｈ）は、自車両の速度ｖ１を基準として考えると、パラメータ（α，β，γ）を用いて（αｖ１，βｖ１，ｒｖ１）と表すことができるので、上記数式１，２は以下に示す数式３，４のように変形することができる。

従って、画像上移動位置予測部４は、上記数式３，４を用いてパラメータ（α，β，γ）と２次元画像上の消失点の位置（ｘ_ｐ，ｙ_ｐ）を推定することにより、自車両の速度ｖ１を用いることなく、任意の時間ｔｉにおける２次元画面内での特徴点の位置（ｘ_ｉ，ｙ_ｉ）を推定することができる。具体的には、上記数式３の両辺を時間ｔｉについて微分することにより以下に示す数式５が得られ、この数式５をｆβについて整理することにより以下に示す数式６が得られる。また、上記数式６を数式３に代入することにより以下に示す数式７が得られる。

さらに、数式７内の項ｄｘｉ／ｄｔｉは特徴点の移動速度であるので、数式７内の項ｄｘｉ／ｄｔｉを（ｘ_ｉ−ｘ_ｉ−１）と表した上で、時系列データＰｉを数式７内に代入する。そして、画像上移動位置予測部４は、最小二乗法に基づいて、数式７の左辺と右辺の差を２乗した値Ｑ（以下に示す数式８参照）をパラメータｘ_ｐ，αで微分した式を用いてパラメータｘ_ｐ，αを推定する。これにより、このステップＳ３の処理は完了し、この判定処理はステップＳ３の処理からステップＳ４の処理に進む。

ステップＳ４の処理では、側方通過時間予測部５が、上記ステップＳ３の処理において推定されたパラメータαを特徴点が付随する物体が実空間内においてカメラ２とすれ違う通過時間Ｔ２として設定し、衝突判定部６が、側方通過時間予測部５により設定された通過時間Ｔ２における特徴点（ｘ_T2，ｙ_T2）の位置に基づいて、特徴点が付随する物体と自車両との衝突可能性を判定する。なお、側方通過時間予測部５は、パラメータαより所定時間Ｔｍｉｎ短い時間（α−Ｔｍｉｎ）を通過時間Ｔ２として設定し、通過時間Ｔ２において物体が二次元画面内に映るようにすることが望ましい。また、衝突判定部６は、図５に示すように、通過時間Ｔ２における特徴点（ｘ_T2，ｙ_T2）の位置が２次元画面内から大きく外れている場合、自車両は物体と衝突せず、図６に示すように、通過時間Ｔ２における特徴点（ｘ_T2，ｙ_T2）の位置が２次元画面中央位置に近い場合には、自車両と物体が衝突する可能性が高いと判定するとよい。これにより、このステップＳ４の処理は完了し、この判定処理はステップＳ４の処理からステップＳ５の処理に進む。

ステップＳ５の処理では、衝突判定部６が、ステップＳ４の処理における判定の結果、物体との衝突可能性がない場合、判定処理をステップＳ１の処理に戻す。一方、物体との衝突可能性がある場合には、衝突判定部６は判定処理をステップＳ６の処理に進める。

ステップＳ６の処理では、衝突判定部６は、図示しない表示装置や音声出力装置を介して、物体との衝突可能性があることを運転者に警告する。これにより、このステップＳ６の処理は完了し、この判定処理はステップＳ６の処理からステップＳ１の処理に戻る。

以上の説明から明らかなように、本発明の一実施形態となる車両用衝突判定装置１によれば、カメラ２が、自車両周辺の２次元画像を撮像し、画像上特徴点追従部３が、カメラ２により撮像された２次元画像の中から特徴点を抽出し、抽出された特徴点を所定時間追跡することにより特徴点の時系列データＰｉを取得し、画像上移動位置予測部４が、特徴点の時系列データＰｉを利用して特徴点の移動予測値を算出し、算出された移動予測値に従って２次元画像内における特徴点の位置（ｘ_ｉ，ｙ_ｉ）を予測する。そして、このような構成によれば、特徴点の時系列データＰｉのみを用いて２次元画面内における特徴点の位置を予測することができるので、計算負荷を大きくすることなく、特徴点が付随する物体と自車両の位置関係を精度高く予測することができる。

また、本発明の一実施形態となる車両用衝突判定装置１によれば、側方通過時間予測部５が、特徴点が付随する物体が自車両側方を通過する時間Ｔ２を算出し、衝突判定部６が、時刻Ｔ２における特徴点の位置（ｘ_T2，ｙ_T2）に基づいて、特徴点が付随する物体と自車両との衝突可能性を判定する。そして、このような構成によれば、特徴点の時系列データＰｉのみを用いて２次元画面内における物体の位置を予測し、予測された位置に基づいてその物体との衝突可能性を判定することができるので、計算負荷を大きくすることなく物体と自車両の位置関係を精度高く予測すると共に、物体が横方向の速度を有する場合であっても物体と自車両の衝突時間を正確に算出することができる。

また、本発明の一実施形態となる車両用衝突判定装置１によれば、側方通過時間予測部５は、２次元画像内における特徴点の２次元位置（ｘ_ｉ，ｙ_ｉ）に基づいて通過時間を算出するので、センサ等の付加的な装置を用いることなく、且つ、自車両の速度ｖ１を考慮することなく、２次元画面内における物体の動きのみで衝突時間を算出することができる。さらに、自車両の速度ｖ１を考慮する必要がないことから、自車両が低速走行中で自車両の速度ｖ１を正確に検出することができない場合であっても、物体との衝突判定を正確に行うことができる。また、自車両が移動している場合や、自車両に対して斜め前方から接近してくる物体についても衝突判定を行うことができる。

以上、本発明者によってなされた発明を適用した実施の形態について説明したが、この実施の形態による本発明の開示の一部をなす論述及び図面により本発明は限定されることはない。すなわち、この実施の形態に基づいて当業者等によりなされる他の実施の形態、実施例及び運用技術等は全て本発明の範疇に含まれることは勿論であることを付け加えておく。

本発明の一実施形態となる車両用衝突判定装置の構成を示すブロック図である。 本発明の一実施形態となる衝突判定処理の流れを示すフローチャート図である。 特徴点の位置の時系列データの算出方法を説明するための図である。 任意の時刻における物体と自車両との位置関係を表す図である。 自車両との衝突可能性がない場合の２次元画面内における特徴点の位置を示す図である。 自車両との衝突可能性がある場合の２次元画面内における特徴点の位置を示す図である。

符号の説明

１：車両用衝突判定装置
２：カメラ
３：画像上特徴点追従部
４：画像上移動位置予測部
５：側方通過時間予測部
６：衝突判定部

Claims (5)

1. 自車両周辺の二次元画像を撮像する撮像手段と、
   前記撮像手段により撮像された二次元画像の中から特徴点を抽出し、抽出された特徴点の動きを所定時間追跡することにより特徴点の位置情報を所定時間取得する特徴点追従手段と、
   前記特徴点追従手段により取得された特徴点の位置情報を利用して、特徴点が付随する静止物体と自車両との実空間内における距離を自車両の速度で除じたパラメータ及び二次元画像上の消失点の位置を推定することにより特徴点の移動予測値を算出し、算出された移動予測値に従って前記二次元画像内における特徴点の位置を予測する画像上移動位置予測手段と
   を備えることを特徴とする移動位置予測装置。
2. 自車両周辺の画像を撮像するステップと、
   撮像された二次元画像の中から特徴点を抽出し、抽出された特徴点の動きを所定時間追跡することにより特徴点の位置情報を所定時間取得するステップと、
   前記特徴点の位置情報を利用して、特徴点が付随する静止物体と自車両との実空間内における距離を自車両の速度で除じたパラメータ及び二次元画像上の消失点の位置を推定することにより特徴点の移動予測値を算出し、算出された移動予測値に従って前記二次元画像内における特徴点の位置を予測するステップと
   を有することを特徴とする移動位置予測方法。
3. 自車両周辺の二次元画像を撮像する撮像手段と、
   前記撮像手段により撮像された二次元画像の中から特徴点を抽出し、抽出された特徴点の位置を所定時間追跡することにより特徴点の位置情報を所定時間取得する特徴点追従手段と、
   前記特徴点追従手段により取得された特徴点の位置情報を利用して、特徴点が付随する静止物体と自車両との実空間内における距離を自車両の速度で除じたパラメータ及び二次元画像上の消失点の位置を推定することにより特徴点の移動予測値を算出し、算出された移動予測値に従って前記二次元画像内における特徴点の位置を予測する画像上移動位置予測手段と、
   前記特徴点が付随する静止物体が自車両側方を通過する時間を算出する側方通過時間算出手段と、
   前記通過時間算出手段により算出された通過時間における前記移動予測値に基づいて、前記静止物体と自車両との衝突可能性を判定する衝突判定手段と
   を備えることを特徴とする衝突判定装置。
4. 請求項３に記載の衝突判定装置であって、
   前記側方通過時間算出手段は、前記二次元画像内における特徴点の２次元位置に基づいて前記静止物体が自車両側方を通過する時間を算出することを特徴とする衝突判定装置。
5. 自車両周辺の二次元画像を撮像するステップと、
   前記二次元画像の中から特徴点を抽出し、抽出された特徴点の位置を所定時間追跡することにより特徴点の位置情報を所定時間取得するステップと、
   前記特徴点の位置情報を利用して、特徴点が付随する静止物体と自車両との実空間内における距離を自車両の速度で除じたパラメータ及び二次元画像上の消失点の位置を推定することにより特徴点の移動予測値を算出し、算出された移動予測値に従って前記二次元画像内における特徴点の位置を予測するステップと、
   前記特徴点が付随する静止物体が自車両側方を通過する時間を算出するステップと、
   算出された通過時間における前記移動予測値に基づいて、前記静止物体と自車両との衝突可能性を判定するステップと
   を有することを特徴とする衝突判定方法。

Images