JP4744995B2

JP4744995B2 - 車両用障害物検出装置

Info

Publication number: JP4744995B2
Application number: JP2005260670A
Authority: JP
Inventors: 博隆岩野
Original assignee: Clarion Co Ltd
Current assignee: Faurecia Clarion Electronics Co Ltd
Priority date: 2005-09-08
Filing date: 2005-09-08
Publication date: 2011-08-10
Anticipated expiration: 2025-09-08
Also published as: JP2007069806A

Description

本発明は、車両用障害物検出装置に関するものである。

今日では、画像処理やレーダ等により車両周囲の障害物を検出し、自車両と障害物との接触可能性がある場合に運転者に注意喚起を行う車両用障害物検出装置が多数提案され、また実用化されている。

このような車両用障害物検出装置としては、車両の走行予想軌跡範囲内に障害物が存在する場合に、カメラの撮影映像における障害物の位置にシンボル画像を重畳して表示し、注意を促すものが提案されている（特許文献１）。

また、自車両に対する障害物の相対位置を算出し、障害物に接触する可能性のある自車両の部位を求め、その部位を報知して注意を促すものが提案されている（特許文献２）。
特開平１０−１１７３４０号公報特開平９−２５４７２６号公報

このような車両用障害物検出装置では、現時点における自車両と障害物との距離に基づいて自車両と障害物との接触可能性の判定が行われる。ここで、障害物が静止している場合は、自車両の速度に応じて障害物が徐々に接近してくるため、接触可能性ありと判定された場合でも自車両の速度を調整することで接触回避行動を取る時間的余裕があるが、障害物が移動して自車両に接近してくる場合は、接触可能性ありと判定された後接触するまでの時間が短くなって接触回避行動を取ることができない可能性がある。

本発明の課題は、自車両および障害物の移動方向および移動距離を予測して自車両と障害物との接触可能性の判定を行う車両用障害物検出装置を提供することにある。

上記課題を解決するために、請求項１に記載の発明は、車両周囲を撮影し映像信号を出力するカメラと、前記カメラの撮影方向にある前記車両周囲の障害物の位置を検出する障害物検出部と、前記車両のステアリング操舵角を検出する操舵角検出部と、前記車両の車速を検出する車速検出部と、前記操舵角検出部で検出した前記車両の前記ステアリング操舵角と前記車速検出部で検出した前記車両の前記車速とに基づいて現時点より所定時間後の前記車両の移動方向および移動距離を予測ベクトルとして算出する自車両位置算出部と、前記障害物検出部で検出した前記障害物の位置と前記操舵角検出部で検出した前記車両の前記ステアリング操舵角と前記車速検出部で検出した前記車両の前記車速とに基づいて現時点より所定時間後の前記障害物の移動方向および移動距離を予測ベクトルとして算出する障害物位置算出部と、前記自車両位置算出部が算出した前記車両の前記予測ベクトルと前記障害物位置算出部が算出した前記障害物の前記予測ベクトルとを前記カメラで撮影した前記映像信号に重畳して映像信号を出力する画像処理部と、前記画像処理部が出力した前記映像信号を表示する表示部とを備えたことを特徴としている。

上記構成によれば、カメラで撮影した映像内にある障害物と自車両の所定時間後の移動方向および移動距離がそれぞれ予測ベクトルとして表示され、運転者は障害物の移動方向および移動距離を知ることができ、自車両と障害物との接触可能性を判断することができる。

また請求項２に記載の発明は、請求項１において、前記自車両位置算出部が算出した前記車両の前記予測ベクトルと前記障害物位置算出部が算出した前記障害物の前記予測ベクトルとに基づいて前記車両と前記障害物との接触可能性を判定し判定情報を出力する判定部を備えることを特徴としている。

上記構成によれば、運転者は自車両と障害物との接触可能性を知ることが出来る。

また請求項３に記載の発明は、車両周囲を撮影し映像信号を出力するカメラと、前記カ
メラの撮影方向にある前記車両周囲の障害物の位置を検出する障害物検出部と、前記車両
のステアリング操舵角を検出する操舵角検出部と、前記車両の車速を検出する車速検出部
と、前記操舵角検出部で検出した前記車両の前記ステアリング操舵角と前記車速検出部で
検出した前記車両の前記車速とに基づいて現時点より所定時間後の前記車両の移動方向お
よび移動距離を予測ベクトルとして算出する自車両位置算出部と、前記障害物検出部で検
出した前記障害物の位置と前記操舵角検出部で検出した前記車両の前記ステアリング操舵
角と前記車速検出部で検出した前記車両の前記車速とに基づいて現時点より所定時間後の
前記障害物の移動方向および移動距離を予測ベクトルとして算出する障害物位置算出部と
、前記自車両位置算出部が算出した前記車両の前記予測ベクトルと前記障害物位置算出部
が算出した前記障害物の前記予測ベクトルとに基づいて前記車両と前記障害物との接触可
能性を判定し判定情報を出力する判定部と、前記自車両位置算出部が算出した前記車両の前記予測ベクトルと前記障害物位置算出部が算出した前記障害物の前記予測ベクトルとを前記カメラで撮影した前記映像信号に重畳して映像信号を出力するとともに、前記判定部が前記車両と前記障害物との接触可能性ありと判定した場合に、前記障害物を強調する映像信号を前記カメラで撮影した前記映像信号に重畳して映像信号を出力する画像処理部と、前記画像処理部が出力した前記映像信号を表示する表示部とを備えたことを特徴としている。

上記構成によれば、接触可能性のある障害物が強調して表示され、運転者は接触可能性のある障害物を視覚情報として容易に知ることができる。また、自車両と障害物の所定時
間後の移動方向および移動距離がそれぞれ予測ベクトルとして表示され、運転者は障害物
の移動方向および移動距離を知ることができ、自車両と障害物との接触可能性を判断する
ことができる。

また請求項４に記載の発明は、請求項２または３において、前記判定部は、前記車両の
前記予測ベクトルと前記障害物の前記予測ベクトルとの位置関係に基づいて、前記車両と
前記障害物との接触可能性を複数の段階に分類した判定情報として出力し、前記画像処理
部は、前記判定情報に基づいて、前記判定情報の前記複数の段階毎に前記車両の前記予測
ベクトルおよび前記障害物の前記予測ベクトルの表示色を変えて前記カメラで撮影した前
記映像信号に重畳することを特徴としている。

上記構成によれば、運転者は自車両と障害物との接触可能性を予測ベクトルの色によって複数の段階として知ることができる。

また請求項５に記載の発明は、請求項３において、前記判定部は、前記車両の前記予測ベクトルと前記障害物の前記予測ベクトルとの位置関係に基づいて、前記車両と前記障害物との接触可能性を複数の段階に分類した判定情報として出力し、前記画像処理部は、前記判定情報に基づいて、前記障害物を強調する映像信号の表示色を変えて前記カメラで撮影した前記映像信号に重畳することを特徴としている。

上記構成によれば、運転者は自車両と障害物との接触可能性を障害物を強調する映像信号の色によって複数の段階として知ることができる。

また請求項６に記載の発明は、請求項４または５において、前記判定情報の前記複数の
段階に基づいて音による警報を行う警報発生部を備えることを特徴としている。

上記構成によれば、運転者は自車両と障害物との接触可能性を聴覚情報により知ることができる。

また請求項７に記載の発明は、請求項６において、前記警報発生部は、前記判定情報の
前記複数の段階毎に警報音の周波数を変えて警報を行うことを特徴としている。

上記構成によれば、運転者は自車両と障害物との接触可能性を警報音の周波数により複数の段階として知ることが出来る。

また請求項８に記載の発明は、請求項６または７において、前記警報発生部は、前記判
定情報の前記複数の段階毎に警報音の連続性を変えて警報を行うことを特徴としている。

上記構成によれば、運転者は障害物と自車両の接触可能性を警報音の連続性により複数の段階として知ることが出来る。

また請求項９に記載の発明は、請求項６から８のいずれか１項において、前記警報発生部は、音声ガイドによる警報を行うことを特徴としている。

上記構成によれば、運転者は自車両と障害物との接触可能性を音声ガイドにより知ることが出来る。

また請求項１０に記載の発明は、請求項１から９のいずれか１項において、前記自車両位置算出部は、前記操舵角検出部で検出した前記車両の前記ステアリング操舵角と前記
車速検出部で検出した前記車両の前記車速とに基づいて現時点より所定時間前から現時点
までの前記車両の移動方向および移動距離を移動ベクトルとして算出し、該移動ベクトル
に基づいて前記予測ベクトルを算出する一方、前記障害物位置算出部は、前記障害物検出
部で検出した前記障害物の位置と前記操舵角検出部で検出した前記車両の前記ステアリン
グ操舵角と前記車速検出部で検出した前記車両の前記車速とに基づいて現時点より所定時
間前から現時点までの前記障害物の移動方向および移動距離を移動ベクトルとして算出し
、該移動ベクトルに基づいて前記予測ベクトルを算出することを特徴としている。

上記構成によれば、所定時間後の自車両と障害物の予測ベクトルは、それぞれ所定時間前の自車両と障害物の移動方向および移動距離に基づいて算出され、精度の高い予測が行われる。

また請求項１１に記載の発明は、請求項１から１０のいずれか１項において、前記障害
物検出部は、前記カメラの前記映像信号と、前記カメラと車幅方向に所定間隔離れて前記
カメラの撮影方向を撮影する第二のカメラの映像信号とに基づいて前記障害物の位置を検
出することを特徴としている。

上記構成によれば、２台のカメラを用いたステレオ画像処理により、障害物の位置検出が容易に行われる。

また請求項１２に記載の発明は、請求項１から１０のいずれか１項において、前記障害
物検出部は、前記障害物に対して送信した電波と前記障害物による前記電波の反射波との
時間差に基づいて前記障害物の位置を検出する電波レーダであることを特徴としている。

上記構成によれば、電波レーダにより、障害物の位置検出が正確に行われる。

また請求項１３に記載の発明は、請求項１から１０のいずれか１項において、前記障害
物検出部は、前記障害物に対して送信した光と前記障害物による前記光の反射光との時間
差に基づいて前記障害物の位置を検出する光レーダであることを特徴としている。

上記構成によれば、光レーダにより、障害物の位置検出が正確に行われる。

本発明によれば、自車両および障害物の移動方向および移動距離を予測して自車両と障害物との接触可能性の判定を行う車両用障害物検出装置を提供することができる。

以下、本発明の実施例を図面に従って説明する。

図１に本発明の実施例のブロック図を示す。

車両用障害物検出装置１００は、第一カメラ２０１、第二カメラ２０２、操舵角センサ３００、車速センサ４００、表示部５００、警報発生部６００と電気的に接続されている。また、イグニッションスイッチ７００を介してバッテリー（図示省略）から電力を供給される。

また、車両用障害物検出装置１００は、視点変換部１１１ａを備える位置算出部１１１と移動ベクトル算出部（図１では移動ＶＣＴ算出部と記載）１１２と予測ベクトル算出部（図１では予測ＶＣＴ算出部と記載）１１３とを備える障害物位置算出部１１０、操舵角算出部１２１と車速算出部１２２と移動ベクトル算出部（図１では移動ＶＣＴ算出部と記載）１２３と予測ベクトル算出部（図１では予測ＶＣＴ算出部と記載）１２４とを備える自車両位置算出部１２０、判定部１３０、画像処理部１４０を備えている。

図２に示すように、第一カメラ２０１は、車両のリアスポイラ９００の中央部に設置され、車両の後方の映像を撮影する。また、第二カメラ２０２は、車両のリアスポイラ９００の右端部に第一カメラ２０１に対し所定の間隔Ｄを隔てて設置され、第一カメラ２０１の撮影方向と同じ方向の映像を撮影する。

操舵角センサ３００は、車両のステアリングの操舵角を検出して出力する。操舵角算出部１２１は、操舵角センサ３００の検出値を取り込み、操舵角を角度値として算出し、予測ベクトル算出部１１３および移動ベクトル算出部１２３に出力する。

車速センサ４００は、車輪の回転数に応じたパルス信号を出力する。車速算出部１２２は、車速センサ４００が出力するパルス信号に基づいて車速値を算出し、移動ベクトル算出部１２３に出力する。

第一カメラ２０１で撮影された映像は、位置算出部１１１および画像処理部１４０に出力される。

第二カメラ２０２で撮影された映像は、位置算出部１１１に出力される。

位置算出部１１１が備える視点変換部１１１ａでは、第一カメラ２０１および第二カメラ２０２で撮影された映像を車両の上方から見たいわゆる俯瞰映像に視点変換する。位置算出部１１１はこの俯瞰映像に基づいて、第一カメラ２０１および第二カメラ２０２の撮影領域内の双方に存在する障害物をステレオ処理（後述）により抽出し、抽出した障害物の重心を算出して（後述）移動ベクトル算出部１１２に出力する。

障害物位置算出部１１０が備える移動ベクトル算出部１１２は、障害物の重心に基づいて、現時点より所定時間ｄｔ前から現時点までの障害物の移動方向および移動距離を移動ベクトルとし、その始点座標および終点座標を算出する。

障害物位置算出部１１０が備える予測ベクトル算出部１１３は、移動ベクトル算出部１１２が算出した移動ベクトルおよび操舵角算出部１２１が算出した操舵角に基づいて、現時点から所定時間ｄｔ経過後の障害物の移動方向および移動距離を予測ベクトルとし、その始点座標および終点座標を算出する。

自車両位置算出部１２０が備える移動ベクトル算出部１２３は、操舵角算出部１２１が算出した操舵角および車速算出部１２２が算出した車速に基づいて、現時点より所定時間ｄｔ前から現時点までの自車両の移動方向および移動距離を移動ベクトルとし、その始点座標および終点座標を算出する。

自車両位置算出部１２０が備える予測ベクトル算出部１２４は、移動ベクトル算出部１２３が算出した移動ベクトルに基づいて、現時点から所定時間ｄｔ経過後の自車両の移動方向および移動距離を予測ベクトルとし、その始点座標および終点座標を算出する。

判定部１３０は、障害物位置算出部１１０が算出した障害物の予測ベクトルと自車両位置算出部１２０が算出した自車両の予測ベクトルとに基づいて、現時点から所定時間ｄｔ経過する間における自車両と障害物との接触可能性の判定を行う。また、障害物の予測ベクトルの延長線および自車両の予測ベクトルの延長線を算出し、現時点から所定時間ｄｔ経過後における自車両と障害物との接触可能性の判定を行う。さらに、接触可能性の判定結果を、画像処理部１４０および警報発生部６００に出力する。

画像処理部１４０は、障害物位置算出部１１０が算出した障害物の予測ベクトルの座標と、自車両位置算出部１２０が算出した自車両の予測ベクトルの座標と、判定部の判定結果とに基づいて、障害物および自車両の予測ベクトルの映像を作成し、第一カメラ２０１の撮影映像に重畳して表示部５００に出力する。この際、予測ベクトルの座標は第一カメラ２０１の撮影映像に対応した座標に変換される。

警報発生部６００は、判定部の判定結果に基づいて、警報音および音声ガイドの発生を行う。

なお、上記第一カメラ２０１が、請求項におけるカメラにあたる。また、第二カメラ２０２が、請求項における第二のカメラにあたる。また、上記第一カメラ２０１と第二カメラ２０２と位置算出部１１１が、請求項における障害物検出部にあたる。

次に、図３のフローチャートを用いて、本実施例における障害物検出動作を説明する。なお、以下の説明では、自車両の左右および後方が白線で囲まれた駐車スペースに駐車を行う場合（図２参照）を例としている。

ステップＳ１０１では、第一カメラ２０１および第二カメラ２０２で撮影された撮影映像が、障害物位置算出部１１０の位置算出部１１１にそれぞれ取り込まれ、視点変換部１１１ａにおいて車両の上方から見たいわゆる俯瞰映像に視点変換される。図４に、駐車スペースに対して自車両が真直ぐに位置している場合の第一カメラ２０１の撮影映像例を、図５にその視点変換映像例を示す。また、図６に、駐車スペースに対して自車両が斜めに位置している場合の第一カメラ２０１の撮影映像例を、図７にその視点変換映像例を示す。なお、図５、図７では図の簡略化のため、障害物Ａ（猫）および障害物Ｂ（歩行者）の外形は楕円で表している。第二カメラ２０２で撮影された映像例および視点変換映像例も同様の映像となる（図示省略）。この後に、フローはステップＳ１０２へ移行する。

ステップＳ１０２では、視点変換映像において、ある時刻ｔにおける障害物を抽出し、抽出した障害物の重心（ｔ）が算出される。本実施例では、障害物Ａ（猫）および障害物Ｂ（歩行者）の抽出と重心（ｔ）の算出が行われる。

障害物の抽出は一般にステレオ画像処理と呼ばれる以下の方法で行われる。

まず、第二カメラ２０２の俯瞰映像が、第一カメラ２０１の位置から撮影された映像となるように視点変換される。

次に、第一カメラ２０１の俯瞰映像と、第二カメラ２０２の俯瞰映像の視点変換映像が比較される。ここで、第一カメラ２０１および第二カメラ２０２で撮影された映像内の障害物がすべて道路面と同一面上にあるものと仮定すると、第一カメラ２０１の俯瞰映像は、第二カメラ２０２の俯瞰映像の視点変換映像と一致するはずである。逆に言えば、これらの映像の差分を取った際に、差分がある映像部分が、道路面と同一面上にはないもの、すなわち障害物であると特定することができる。

抽出した障害物は複数の画素の集合体として分布し、位置の特定が煩雑になるため、複数の画素の分布の重心Ｃ（ｔ）を算出し、この重心Ｃ（ｔ）を障害物の位置とする。図８、図９に、抽出した障害物とその重心Ｃ（ｔ）の例を示す。この後に、フローはステップＳ１０３へ移行する。

ステップＳ１０３では、時刻ｔにおける自車両の操舵角θ（ｔ）および車速Ｖ（ｔ）が算出される。操舵角θ（ｔ）は、操舵角センサ３００の出力に基づき、操舵角算出部１２１によって角度値として算出される。車速Ｖ（ｔ）は、車速センサ４００の出力に基づき、車速算出部１２２によって算出される。この後に、フローはステップＳ１０４へ移行する。

ステップＳ１０４では、時刻ｔから所定時間ｄｔが経過したかどうかの判定が行われる。ここで所定時間ｄｔは、障害物の位置を検出するインターバルにあたる。時刻ｔから所定時間ｄｔが経過した場合は、フローはステップＳ１０５に移行する。一方、時刻ｔから所定時間ｄｔが経過していない場合は、フローはステップＳ１０４に戻る。

ステップＳ１０５では、視点変換映像において、時刻ｔ＋ｄｔにおける障害物Ａ（猫）および障害物Ｂ（歩行者）を抽出し、抽出した障害物の重心位置Ｃ（ｔ＋ｄｔ）が算出される。障害物の抽出および重心位置Ｃ（ｔ＋ｄｔ）の算出は、ステップＳ１０２と同等である。図１０、図１１に抽出した障害物とその重心Ｃ（ｔ＋ｄｔ）の例を示す。この後に、フローはステップＳ１０６へ移行する。

ステップＳ１０６では、時刻ｔ＋ｄｔにおける自車両の操舵角θ（ｔ＋ｄｔ）および車速Ｖ（ｔ＋ｄｔ）がステップＳ１０３と同様に算出される。この後に、フローはステップＳ１０７へ移行する。

ステップＳ１０７では、重心Ｃ（ｔ）、Ｃ（ｔ＋ｄｔ）、操舵角θ（ｔ）、θ（ｔ＋ｄｔ）、車速Ｖ（ｔ）、Ｖ（ｔ＋ｄｔ）に基づいて、自車両および障害物が時刻ｔからｔ＋ｄｔの間に移動した方向および距離を示す移動ベクトルと、自車両および障害物が時刻ｔ＋ｄｔから時間ｄｔ後の時刻ｔ＋２ｄｔの間に移動すると予測される方向および距離を示す予測ベクトルが算出される。ここで、自車両および障害物の移動速度は変わらないものと仮定する。

障害物Ａ（猫）の場合、重心Ｃ（ｔ）の座標位置を（ＸＡ１、ＹＡ１）とし、重心Ｃ（ｔ＋ｄｔ）の座標位置を（ＸＡ２、ＹＡ２）とすると、時刻ｔからｔ＋ｄｔまでに移動した方向および距離は、座標（ＸＡ１、ＹＡ１）を始点とし、座標（ＸＡ２、ＹＡ２）を終点とする移動ベクトルＶＡで表される。

ここで、図１２に示す例では、操舵角θ（ｔ）＝０であるため、障害物Ａ（猫）の実際の移動方向は、移動ベクトルＶＡと一致し、ｄｔを短く設定すれば、障害物Ａ（猫）がこの後に移動する移動方向は、移動ベクトルＶＡと同方向であると推定できる。したがって、予測ベクトルＶＡＰは、図１４に示すように、座標（ＸＡ２、ＹＡ２）を始点とし、座標（ＸＡ３、ＹＡ３）＝座標（ＸＡ２＋（ＸＡ２−ＸＡ１）、ＹＡ２＋（ＹＡ２−ＹＡ１））を終点とするベクトルで表現される。

一方、図１３に示す例では、操舵角θ（ｔ）＝αであり、障害物Ａ（猫）の映像上の移動方向は、この操舵角θ（ｔ）を含んだ方向に移動していることになる。したがって、障害物Ａ（猫）の実際の移動方向は、移動ベクトルＶＡから自車両の移動角度分αを差し引いたものとなり、予測ベクトルＶＡＰは、図１５に示すように、座標（ＸＡ２、ＹＡ２）を始点とし、座標（ＸＡ３、ＹＡ３）＝座標（ＸＡ２＋（ＸＡ２−ＸＡ１）、ＹＡ２＋（ＹＡ２−ＹＡ１））を終点とするベクトルを、始点を中心にα度分時計回りに回転させたベクトルで表現される。

障害物Ｂ（歩行者）の場合、重心Ｃ（ｔ）の座標位置を（ＸＢ１、ＹＢ１）とし、重心Ｃ（ｔ＋ｄｔ）の座標位置を（ＸＢ２、ＹＢ２）とすると、時刻ｔからｔ＋ｄｔまでに移動した方向は、座標（ＸＢ１、ＹＢ１）を始点とし、座標（ＸＢ２、ＹＢ２）を終点とする移動ベクトルＶＢで表される。

ここで、図１２に示す例では、操舵角θ（ｔ）＝０であるため、障害物Ｂ（歩行者）の実際の移動方向は、移動ベクトルＶＢと一致し、ｄｔを短く設定すれば、障害物Ｂ（歩行者）がこの後に移動する移動方向は、移動ベクトルＶＢと同方向であると推定できる。したがって、予測ベクトルＶＢＰは、図１４に示すように、座標（ＸＢ２、ＹＢ２）を始点とし、座標（ＸＡ３、ＹＡ３）＝座標（ＸＢ２＋（ＸＢ２−ＸＢ１）、ＹＢ２＋（ＹＢ２−ＹＢ１））を終点とするベクトルで表現される。

一方、図１３に示す例では、操舵角θ（ｔ）＝αであり、障害物Ｂ（歩行者）の映像上の移動方向は、この操舵角θ（ｔ）を含んだ方向に移動していることになる。したがって、障害物Ｂ（歩行者）の実際の移動方向は、移動ベクトルＶＢから自車両の移動角度分αを差し引いたものとなり、予測ベクトルＶＢＰは、図１５に示すように、座標（ＸＢ２、ＹＢ２）を始点とし、座標（ＸＡ３、ＹＡ３）＝座標（ＸＢ２＋（ＸＢ２−ＸＢ１）、ＹＢ２＋（ＹＢ２−ＹＢ１））を終点とするベクトルを、始点を中心にα度分時計回りに回転させたベクトルで表現される。

自車両の場合、時刻ｔからｔ＋ｄｔまでに移動した距離は、車速Ｖ（ｔ）、車速Ｖ（ｔ＋ｄｔ）、時間ｄｔにより算出することが出来る。

また、時刻ｔからｔ＋ｄｔまでに移動した角度は、操舵角θ（ｔ）とθ（ｔ＋ｄｔ）との差分で表される。

図１２に示す例では、操舵角θ（ｔ）＝０としているため、自車両の移動ベクトルＶＣは、第一カメラ２０１のカメラ映像に対し垂直方向となり、予測ベクトルＶＣＰは、図１４に示すように、第一カメラ２０１のカメラ映像に対し垂直方向となる。

図１３に示す例では、操舵角θ（ｔ）＝αであり、自車両の移動ベクトルＶＣは、第一カメラ２０１のカメラ映像の垂直方向に対し角度αの方向となり、予測ベクトルＶＣＰは、図１５に示すように、第一カメラ２０１のカメラ映像の垂直方向に対し角度αの方向となる。

この後に、フローはステップＳ１０８へ移行する。

ステップＳ１０８では、算出した予測ベクトルＶＡＰ、ＶＢＰ、ＶＣＰに基づいて、自車両と障害物との接触可能性の判定が行われる。

障害物Ａ（猫）の予測ベクトルＶＡＰと、自車両の予測ベクトルＶＣＰとが交差しない場合は、障害物Ａ（猫）または自車両、あるいは双方の移動方向が変わらない限り、現在時刻（ｔ＋ｄｔ）から時間ｄｔが経過する間に自車両と障害物（猫）とが接触する可能性はなく、「危険度レベル４（後述）」との判定が行われる。一方、障害物Ａ（猫）の予測ベクトルＶＡＰと、自車両の予測ベクトルＶＣＰとが交差する場合は、障害物Ａ（猫）または自車両、あるいは双方の移動方向が変わらない限り、現在時刻（ｔ＋ｄｔ）から時間ｄｔが経過する間に自車両と障害物Ａ（猫）とが接触する可能性が高く、「危険度レベル１（後述）」との判定が行われる。

また、障害物Ａ（猫）の予測ベクトルＶＡＰの延長線ＶＡＰ２と、自車両の予測ベクトルＶＣＰの延長線ＶＣＰ２とが交差するかどうかの判定も行われる（図１６、図１７参照）。すなわち、現在時刻（ｔ＋ｄｔ）から時間ｄｔが経過した時刻ｔ＋２ｄｔから時間ｄｔｔが経過する間の自車両と障害物との接触可能性の判定が行われる。ここで、時刻ｔ＋２ｄｔ後に障害物Ａ（猫）の移動速度が変わらないものと仮定し、障害物Ａ（猫）の予測ベクトルＶＡＰの延長線ＶＡＰ２の長さは、障害物Ａ（猫）の予測ベクトルＶＡＰの長さ×ｄｔｔ／ｄｔに設定される。また、時刻ｔ＋２ｄｔ後に自車両の移動速度が変わらないものと仮定し、自車両の予測ベクトルＶＣＰの延長線ＶＣＰ２の長さは、自車両の予測ベクトルＶＣＰの長さ×ｄｔｔ／ｄｔに設定される。

障害物Ａ（猫）の予測ベクトルＶＡＰの延長線ＶＡＰ２と、自車両の予測ベクトルＶＣＰの延長線ＶＣＰ２とが交差しない場合は、障害物Ａ（猫）または自車両、あるいは双方の移動方向が変わらない限り、時刻ｔ＋２ｄｔから時間ｄｔｔが経過する間に自車両と障害物（猫）が接触する可能性はなく、「危険度レベル４（後述）」との判定が行われる。

一方、障害物Ａ（猫）の予測ベクトルＶＡＰの延長線ＶＡＰ２と、自車両の予測ベクトルＶＣＰの延長線ＶＣＰ２とが交差する場合は、障害物Ａ（猫）または自車両、あるいは双方の移動方向が変わらない限り、時刻ｔ＋２ｄｔから時間ｄｔｔが経過する間に自車両と障害物Ａ（猫）が接触する可能性があり、「危険度レベル２（後述）」との判定が行われる。

次に、障害物Ａ（猫）の予測位置が、自車両の移動予測領域ＤＳ（図１８参照）内にあるかどうかの判定が行われる。

障害物Ａ（猫）の時刻ｔ＋２ｄｔにおける予測位置は、予測ベクトルＶＡＰの終点、すなわち座標（ＸＡ２＋（ＸＡ２−ＸＡ１）、ＹＡ２＋（ＹＡ２−ＹＡ１））で表される。この座標が、自車両の移動予測領域ＤＳになければ、現在時刻（ｔ＋ｄｔ）から時間ｄｔが経過する間に自車両と障害物（猫）とが接触する可能性はなく、「危険度レベル４（後述）」との判定が行われる。一方、この座標が、自車両の移動予測領域ＤＳにあれば、障害物Ａ（猫）または自車両、あるいは双方の移動方向が変わらない限り、自車両と障害物Ａ（猫）はいずれ接触する可能性があり、「危険度レベル３（後述）」との判定が行われる。ここで、自車両の移動予測領域ＤＳは、自車両の予測ベクトルＶＣＰに沿って、自車両の車幅に応じた幅を有する帯状の領域として設定される。

障害物Ｂ（歩行者）の場合も、同等の処理が行われ、接触可能性の判定が行われる。この後に、フローはステップＳ１０９へ移行する。

ステップＳ１０９では、算出された予測ベクトルＶＡＰ、ＶＢＰ、ＶＣＰが、第一カメラ２０１の撮影映像に重畳されて表示部５００に表示される（図１９、図２０参照）。ここで、予測ベクトルＶＡＰ、ＶＢＰ、ＶＣＰは、俯瞰図上で算出したベクトルであるため、第一カメラ２０１の撮影映像に座標を一致させるために画像処理部１４０で座標変換が行われた後に、第一カメラ２０１の撮影映像に重畳される。この後に、フローはステップＳ１１０へ移行する。

ステップＳ１１０では、ステップＳ１０８の接触可能性の判定結果に応じて、警報が行われる。警報の内容例を、図２１に示す。

危険度レベル１、すなわち障害物の予測ベクトルと自車両の予測ベクトルとが交差する場合は、予測ベクトルを赤色で点滅表示する。また、警報発生部６００から周波数の高い警報音を連続して出力するとともに、接触の可能性がある旨の音声ガイドを行う。

危険度レベル２、すなわち障害物の予測ベクトルの延長線と自車両の予測ベクトルの延長線とが交差する場合は、予測ベクトルを橙色で明るく（強く）点灯表示する。また、警報発生部６００から中程度の周波数の警報音を速い周期で断続的に出力する。

危険度レベル３、すなわち障害物の予測ベクトルの終点が自車両の移動予測領域ＤＳ内に位置する場合は、予測ベクトルを黄色で明るさを弱めて（弱く）点灯表示する。また、警報発生部６００から低い周波数の警報音を遅い周波数で断続的に出力する。

危険度レベル４、すなわち危険度レベル１から危険度レベル３に該当しない場合は、予測ベクトルを緑色で明るさを弱めて（弱く）点灯表示する。この場合、音による警報は行わない。

この後に、フローはステップＳ１１１へ移行する。

ステップＳ１１１では、時刻ｔ＋ｄｔを新たに時刻ｔとし、ステップＳ１０１〜ステップＳ１１０を繰り返す。

以上の動作により、自車両と自車両の周囲にある障害物との接触の可能性が視覚情報および聴覚情報により提供され、運転者は自車両の周囲にあり接触の可能性がある障害物を視覚情報および聴覚情報により認識することができる。

また、接触可能性は、自車両と障害物の移動方向を予測して行われるため、接触可能性がある場合に運転者は時間的な余裕を持って回避行動を取ることができる。

また、自車両の進行方向と障害物の進行方向が表示画面に重畳して表示され、運転者は自車両と障害物との位置関係を容易に把握することができる。

本実施例は、第１の実施例のフローチャートのステップＳ１０９において、予測ベクトルの表示を行う代わりに、判定部の判定に基づいて接触可能性のある障害物を強調表示する例である。ブロック図および基本動作のフローチャートは第１の実施例と同等のため、図示および説明は省略する。

図２２、図２３に、接触可能性のある障害物を強調表示した表示例を示す。図２２は図２１における危険度レベル１の場合を、図２３は危険度レベル２の場合の表示例である。

この動作により、自車両と自車両の周囲にある障害物との接触の可能性が視覚情報および聴覚情報により提供され、運転者は自車両の周囲にあり接触の可能性がある障害物を視覚情報および聴覚情報により認識することができる。

また、接触可能性のある障害物が強調表示されるため、運転者は接触可能性のある障害物を容易に把握することができる。

本実施例は、第１の実施例のフローチャートのステップＳ１０９において、予測ベクトルの表示を行うとともに、判定部の判定に基づいて接触可能性のある障害物を強調表示する例である。ブロック図および基本動作のフローチャートは第１の実施例と同等のため、図示および説明は省略する。

図２４、図２５に、予測ベクトルの表示とともに接触可能性のある障害物を強調表示した表示例を示す。図２４は図２１における危険度レベル１および危険度レベル４の場合を、図２５は危険度レベル２および危険度レベル４の場合の表示例である。

さらに、接触可能性のある障害物が強調表示されるため、運転者は接触可能性のある障害物を容易に把握することができる。

本実施例は、ミリ波レーダ８００を用いて障害物までの距離を算出し、撮影映像に予測ベクトルを重畳表示する車両用障害物検出装置である。

図２６に、本実施例のブロック図を示す。

第一カメラ２０１の映像出力は、画像処理部１４０に入力される。また、ミリ波レーダ８００の出力は、障害物位置算出部１１５の位置算出部１１６に入力される。その他の構成は第１の実施例と同等であるため、説明は省略する。

なお、ミリ波レーダ８００および位置算出部１１６が、請求項における障害物検出部にあたる。

ミリ波レーダ８００は、ミリ波帯域の電波を送信するとともに障害物で反射された電波を受信し、送信から受信までに要した時間に基づいて障害物までの距離を算出し、位置算出部１１６に出力する。位置算出部１１６は、ミリ波レーダ８００が出力した障害物までの距離に基づいて、障害物までの距離を表示部５００の表示画面上の座標に換算し、移動ベクトル算出部１１７（図２６では移動ＶＣＴ算出部と記載）に出力する。移動ベクトル算出部１１７では、時刻ｔと時刻ｔ＋ｄｔにおける障害物の座標から移動ベクトルを算出する。また、予測ベクトル算出部（図２６では予測ＶＣＴ算出部と記載）１１８は、移動ベクトル算出部１１７で算出された移動ベクトルおよび操舵角算出部１２１で算出された操舵角に基づいて、障害物の予測ベクトルを算出する。その他の動作フローは第１の実施例と同等のため、説明は省略する。

以上、本発明の実施例を図面により詳述したが、実施例は本発明の例示にしか過ぎず、本発明は実施例の構成にのみ限定されるものではない。したがって本発明の要旨を逸脱しない範囲の設計の変更等があっても本発明に含まれることはもちろんである。

例えば、危険度レベルに応じた予測ベクトルの色分け表示、障害物の強調表示、警報発生部による警報は必ずしも行う必要はなく、予測ベクトルだけを表示して、危険度レベルは運転者に判断させるものとしても良い。この場合、判定部１３０はなくてもよい。

また、接触可能性の判定内容は、本実施例に示す判定に限られるものではなく、適宜設定することができる。

また警報を行う場合、警報の内容は図２１に示す内容に限られるものではなく、任意の内容を設定することができる。

また、カメラの設置位置は、本実施例の位置に限定されるものではない。

また、カメラは車両後方を撮影するカメラに限られるものではなく、車両前方や、側方等他の領域を撮影するカメラとしても良い。

また、予測ベクトルの表示は、本実施例に示す矢印に限られるものではなく、他のシンボル画像を利用しても良い。

さらに、光の反射板（リフレクタ）を備えている障害物を検出対象とする場合は、レーザ光等の光を用いた光レーダを障害物検出部として利用することができる。この場合、動作は第４の実施例の電波レーダの場合に準ずる。

本発明の第１の実施例のブロック図である。本発明の第１の実施例における第一カメラおよび第二カメラの取り付け位置と撮影領域を示す図である。本発明の第１の実施例のフローチャートである。本発明の第１の実施例における第一カメラの撮影映像例である。本発明の第１の実施例における第一カメラの撮影映像の視点変換例である。本発明の第１の実施例における第一カメラの他の撮影映像例である。本発明の第１の実施例における第一カメラの他の撮影映像の視点変換例である。本発明の第１の実施例において、時刻ｔにおける障害物の抽出例を示す図である。本発明の第１の実施例において、時刻ｔにおける障害物の抽出例を示す他の図である。本発明の第１の実施例において、時刻ｔ＋ｄｔにおける障害物の抽出例を示す図である。本発明の第１の実施例において、時刻ｔ＋ｄｔにおける障害物の抽出例を示す他の図である。本発明の第１の実施例における移動ベクトルの例である。本発明の第１の実施例における移動ベクトルの他の例である。本発明の第１の実施例における予測ベクトルの例である。本発明の第１の実施例における予測ベクトルの他の例である。本発明の第１の実施例における予測ベクトルの延長線の例である。本発明の第１の実施例における予測ベクトルの延長線の他の例である。本発明の第１の実施例における自車両の移動予測領域を示す図である。本発明の第１の実施例における予測ベクトルの表示例である。本発明の第１の実施例における予測ベクトルの他の表示例である。本発明の第１の実施例における警報内容を示す図である。本発明の第２の実施例における障害物の強調表示の表示例である。本発明の第２の実施例における障害物の強調表示の他の表示例である。本発明の第３の実施例における予測ベクトルおよび障害物の強調表示の表示例である。本発明の第３の実施例における予測ベクトルおよび障害物の強調表示の他の表示例である。本発明の第４の実施例のブロック図である。

符号の説明

１００車両用障害物検出装置
１１０、１１５障害物位置算出部
１１１、１１６位置算出部
１１１ａ視点変換部
１１２、１１７、１２３移動ベクトル（ＶＣＴ）算出部
１１３、１１８、１２４予測ベクトル（ＶＣＴ）算出部
１２０自車両位置算出部
１２１操舵角算出部
１２２車速算出部
１３０判定部
１４０画像処理部
２０１第一カメラ
２０２第二カメラ
３００操舵角センサ
４００車速センサ
５００表示部
６００警報発生部
７００イグニッションスイッチ
８００ミリ波レーダ

Claims

車両周囲を撮影し映像信号を出力するカメラと、
前記カメラの撮影方向にある前記車両周囲の障害物の位置を検出する障害物検出部と、
前記車両のステアリング操舵角を検出する操舵角検出部と、
前記車両の車速を検出する車速検出部と、
前記操舵角検出部で検出した前記車両の前記ステアリング操舵角と前記車速検出部で検
出した前記車両の前記車速とに基づいて現時点より所定時間後の前記車両の移動方向およ
び移動距離を予測ベクトルとして算出する自車両位置算出部と、
前記障害物検出部で検出した前記障害物の位置と前記操舵角検出部で検出した前記車両
の前記ステアリング操舵角と前記車速検出部で検出した前記車両の前記車速とに基づいて
現時点より所定時間後の前記障害物の移動方向および移動距離を予測ベクトルとして算出
する障害物位置算出部と、
前記自車両位置算出部が算出した前記車両の前記予測ベクトルと前記障害物位置算出部
が算出した前記障害物の前記予測ベクトルとを前記カメラで撮影した前記映像信号に重畳
して映像信号を出力する画像処理部と、
前記画像処理部が出力した前記映像信号を表示する表示部とを備えたことを特徴とする
車両用障害物検出装置。
前記自車両位置算出部が算出した前記車両の前記予測ベクトルと前記障害物位置算出部
が算出した前記障害物の前記予測ベクトルとに基づいて前記車両と前記障害物との接触可
能性を判定し判定情報を出力する判定部を備えることを特徴とする請求項１に記載の車両
用障害物検出装置。
車両周囲を撮影し映像信号を出力するカメラと、
前記カメラの撮影方向にある前記車両周囲の障害物の位置を検出する障害物検出部と、
前記車両のステアリング操舵角を検出する操舵角検出部と、
前記車両の車速を検出する車速検出部と、
前記操舵角検出部で検出した前記車両の前記ステアリング操舵角と前記車速検出部で検出した前記車両の前記車速とに基づいて現時点より所定時間後の前記車両の移動方向および移動距離を予測ベクトルとして算出する自車両位置算出部と、
前記障害物検出部で検出した前記障害物の位置と前記操舵角検出部で検出した前記車両の前記ステアリング操舵角と前記車速検出部で検出した前記車両の前記車速とに基づいて現時点より所定時間後の前記障害物の移動方向および移動距離を予測ベクトルとして算出する障害物位置算出部と、
前記自車両位置算出部が算出した前記車両の前記予測ベクトルと前記障害物位置算出部が算出した前記障害物の前記予測ベクトルとに基づいて前記車両と前記障害物との接触可能性を判定し判定情報を出力する判定部と、
前記自車両位置算出部が算出した前記車両の前記予測ベクトルと前記障害物位置算出部が算出した前記障害物の前記予測ベクトルとを前記カメラで撮影した前記映像信号に重畳して映像信号を出力するとともに、前記判定部が前記車両と前記障害物との接触可能性ありと判定した場合に、前記障害物を強調する映像信号を前記カメラで撮影した前記映像信号に重畳して映像信号を出力する画像処理部と、
前記画像処理部が出力した前記映像信号を表示する表示部とを備えたことを特徴とする車両用障害物検出装置。
前記判定部は、前記車両の前記予測ベクトルと前記障害物の前記予測ベクトルとの位置
関係に基づいて、前記車両と前記障害物との接触可能性を複数の段階に分類した判定情報
として出力し、
前記画像処理部は、前記判定情報に基づいて、前記判定情報の前記複数の段階毎に前記
車両の前記予測ベクトルおよび前記障害物の前記予測ベクトルの表示色を変えて前記カメ
ラで撮影した前記映像信号に重畳することを特徴とする請求項２または３に記載の車両用
障害物検出装置。
前記判定部は、前記車両の前記予測ベクトルと前記障害物の前記予測ベクトルとの位置関係に基づいて、前記車両と前記障害物との接触可能性を複数の段階に分類した判定情報
として出力し、
前記画像処理部は、前記判定情報に基づいて、前記障害物を強調する映像信号の表示色
を変えて前記カメラで撮影した前記映像信号に重畳することを特徴とする請求項３に記載の車両用障害物検出装置。
前記判定情報の前記複数の段階に基づいて音による警報を行う警報発生部を備えること
を特徴とする請求項４または５に記載の車両用障害物検出装置。
前記警報発生部は、前記判定情報の前記複数の段階毎に警報音の周波数を変えて警報を
行うことを特徴とする請求項６に記載の車両用障害物検出装置。
前記警報発生部は、前記判定情報の前記複数の段階毎に警報音の連続性を変えて警報を行うことを特徴とする請求項６または７に記載の車両用障害物検出装置。
前記警報発生部は、音声ガイドによる警報を行うことを特徴とする請求項６から８のい
ずれか１項に記載の車両用障害物検出装置。
前記自車両位置算出部は、前記操舵角検出部で検出した前記車両の前記ステアリング操
舵角と前記車速検出部で検出した前記車両の前記車速とに基づいて現時点より所定時間前
から現時点までの前記車両の移動方向および移動距離を移動ベクトルとして算出し、該移
動ベクトルに基づいて前記予測ベクトルを算出する一方、
前記障害物位置算出部は、前記障害物検出部で検出した前記障害物の位置と前記操舵角
検出部で検出した前記車両の前記ステアリング操舵角と前記車速検出部で検出した前記車
両の前記車速とに基づいて現時点より所定時間前から現時点までの前記障害物の移動方向
および移動距離を移動ベクトルとして算出し、該移動ベクトルに基づいて前記予測ベクト
ルを算出することを特徴とする請求項１から９のいずれか１項に記載の車両用障害物検
出装置。
前記障害物検出部は、前記カメラの前記映像信号と、前記カメラと車幅方向に所定間隔
離れて前記カメラの撮影方向を撮影する第二のカメラの映像信号とに基づいて前記障害物
の位置を検出することを特徴とする請求項１から１０のいずれか１項に記載の車両用障害
物検出装置。
前記障害物検出部は、前記障害物に対して送信した電波と前記障害物による前記電波の
反射波との時間差に基づいて前記障害物の位置を検出する電波レーダであることを特徴と
する請求項１から１０のいずれか１項に記載の車両用障害物検出装置。
前記障害物検出部は、前記障害物に対して送信した光と前記障害物による前記光の反射
光との時間差に基づいて前記障害物の位置を検出する光レーダであることを特徴とする請
求項１から１０のいずれか１項に記載の車両用障害物検出装置。