JP4182665B2 - 接近物体検出装置 - Google Patents

Description

【０００１】
【発明の属する技術分野】
この発明は、自車両後方又は前方の道路を監視して、自車両に接近する他車両等を検出する接近物体検出装置。
【０００２】
【従来の技術】
従来、この種の装置としては、例えば特開２０００−３１５２５５号公報に記載されている「車両用後側方監視装置及び車両用後側方監視警報装置」が知られている。
この従来例には、自車両後方の道路画像を撮像し、その道路画像に対して、図９に示すように、隣接車線に監視領域を設定し、その監視領域内にある物体の画像のオプティカルフローを算出して、自車両の後側方から接近してくる後続車両を検出する技術が開示されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、上記従来例にあっては、自車両後方の道路画像に対して、隣接車線に監視領域を設定するようになっているため、図１０（ａ）に示すように、例えば自車線上の後続車両が自車両に接近して、その後続車両の画像の一部が隣接車線の画像と重なるときには、図１０（ｂ）に示すように、その隣接車線と重なる部分の画像のオプティカルフローが算出されて、当該部分が自車両の後側方から接近してくる後続車両として検出され、隣接車線に後続車両があると誤判断する恐れがあった。
【０００４】
そこで本発明は上記従来の技術の未解決の問題点に着目してなされたものであって、自車両に接近する物体が自車線上にあることを容易に検出できる接近物体検出装置を提供することを課題とする。
【０００５】
【課題を解決するための手段】
上記課題を解決するために、請求項１に係る発明である接近物体検出装置は、自車両後方又は前方の画像を撮像する撮像手段と、その撮像手段で撮像された画像を、撮像手段により撮像された自車線の消失点を介して左右の領域に分割する領域分割手段と、その領域分割手段で分割された左右の領域から自車両に接近する物体の画像を個別に検出する接近物体検出手段と、その接近物体検出手段で個別に検出された画像間の対称性を判断する対称性判断手段と、その対称性判断手段の判断結果に基づいて自車両に接近する物体が自車線上にあることを推定する物体存在車線推定手段と、を備え、
前記対称性判断手段は、前記領域分割手段により分割された左右の領域の何れか一方の領域内にある画像を、前記消失点を中心とし他方の領域内に折り返して反転させた反転画像を生成し、他方の領域内にある画像及び前記反転画像の一方を所定の方向へ所定量移動させ、他方の前記画像と前記反転画像との対応する画素間の濃度差の平均値を算出するという手順を複数回に亘って繰り返し実行し、算出された前記画素間の濃度差の平均値のうちで、最も小さいものを他方の前記画像と前記反転画像との対称性の相関値とすることを特徴とする。
【０００６】
また、請求項２に係る発明は、請求項１に記載の接近物体検出装置において、前記対称性判断手段は、前記接近物体検出手段により検出された他方の前記画像と前記反転画像との対称性の相関値を所定のしきい値と大小比較し、その結果に応じて、それらの画像間の対称性を判断することを特徴とする。
【０００７】
【発明の効果】
したがって、請求項１に係る発明である接近物体検出装置にあっては、自車両後方又は前方の画像を撮像して、その画像を、撮像手段により撮像された自車線の消失点を介して左右の領域に分割し、それらの領域から自車両に接近する物体の画像を個別に検出して、その個別に検出された画像間の対称性を判断し、その判断結果に基づいて自車両に接近する物体が自車線上にあることを推定するため、例えば自車両後方の画像を撮像する場合、隣接車線上の後続車両が接近してくるときには、その後続車両の画像が左右の領域の一方にのみ撮像されて当該画像の対称性が小さく検出され、且つ、自車線上の後続車両が接近してくるときには、その後続車両の画像がほぼ中央に撮像されて当該画像の対称性が大きく検出されるので、前記対称性の検出結果に基づいて、自車両に接近する物体が自車線上にあることを容易に検出することができる。
【０００８】
また、請求項２に係る発明である接近物体検出装置にあっては、個別に検出された画像間の対称性を判断するため、例えば左右の領域から個別に検出された物体の画像間で、互いに対応する画素の濃度の相関値を算出し、その相関値を所定のしきい値と大小比較した結果から、当該画像間の対称性を判断するというように、前記画像間の対称性を容易に判断することができる。なお、上記のように相関値としきい値とに基づいて判断するようにしたときは、例えば自車両後方等の画像を撮像する撮像手段の性能に応じて当該しきい値を設定すればよい。
【０００９】
【発明の実施の形態】
以下、本発明に係る接近物体検出装置で、自車両後側方から接近する後続車両を検出する例を図面に基づいて説明する。
図１は、本発明の一実施形態を示す概略構成図であり、図１において、トランクリッドの後端部内側には、車両後方の映像を撮像するＣＣＤカメラ等の単眼カメラ１が埋設されており、自車両後方の道路画像を警報用コントローラ２に出力するようになっている。
【００１０】
この警報用コントローラ２は、図示しないマイクロコンピュータ等の離散化されたディジタルシステムで構成され、後述する接近警報処理を実行し、単眼カメラ１で撮像された道路画像に基づいて、車両後側方から接近する後続車両を検出し、車室内に設けられている警報ブザー３を鳴らすようになっている。
本実施の形態における接近警報処理は、方向指示器スイッチが操作されることによって実行される処理であって、具体的には、その処理の手順の概要を表すフローチャートである、図２に示すように、先ずそのステップＳ１０１では、単眼カメラ１から車両後方の画像を読み込み、その画像を警報用コントローラ２内の所定領域に第１画像として格納し、ステップＳ１０２に移行する。
【００１１】
前記ステップＳ１０２では、単眼カメラ１から画像を読み込み、その画像を警報用コントローラ２内の所定領域に第２画像として格納し、ステップＳ１０３に移行する。なお、このステップＳ１０２では、前記ステップＳ１０１が実行されてから所定時間経過後に第２画像を読み込むようになっており、前記ステップＳ１０１を実行した直後に前記ステップＳ１０２を実行する場合と、後述するステップＳ１０３〜Ｓ１０８を経た後に再び前記ステップＳ１０２を実行する場合とで、第１画像を読み込んでから第２画像を読み込むまでの時間間隔を一定にするようになっている。
【００１２】
前記ステップＳ１０３では、所定領域に格納されている第１画像と第２画像とに基づいてオプティカルフローを算出し、ステップＳ１０４に移行する。具体的には、第１画像を複数の小領域に分割して、各小領域毎に、第２画像上の複数の所定地点との相関値を算出し、それらの相関値のうちに所定の設定値以上のものがあるときには、当該相関値が最大となる地点までの距離と方向を算出する。
【００１３】
前記ステップＳ１０４では、前記ステップＳ１０３で算出されたオプティカルフローに基づいて第２画像の対称性の程度を表す左右領域相関値を算出する後述の相関値算出処理を実行し、ステップＳ１０５に移行する。なお、相関値算出処理では、第２画像の対称性の程度が大きいときほど左右領域相関値を小さく算出するようになっている。
【００１４】
前記ステップＳ１０５では、前記ステップＳ１０４で算出された左右領域相関値が所定のしきい値より大きいか否か判定し、大きいときには（Ｙｅｓ）ステップＳ１０６に移行し、そうでないときには（Ｎｏ）ステップＳ１０８に移行する。なお、しきい値を設定する方法としては、どのようなものでもよいが、例えば単眼カメラ１の性能が低く、撮像された画像の濃度値等に誤差が予測されるときには、当該しきい値を大きめに設定しておけば、誤判定を抑制防止することができる。
【００１５】
前記ステップＳ１０６では、前記ステップＳ１０３で算出されたオプティカルフローに基づいて、自車両後側方から接近する後続車両を検出し、ステップＳ１０７に移行する。具体的には、第２画像上のカメラ消失点から離れる方向に向いているオプティカルフローが隣接車線上にあるか検出し、そのようなオプティカルフローが検出されたときには、自車両後側方から接近する後続車両があると判断する。 前記ステップＳ１０７では、前記ステップＳ１０６で自車両後側方から接近する後続車両があると判断されたか否か判定し、そのような後続車両があると判断されたときには警報ブザー３を鳴らす警報処理を実行してから、ステップＳ１０８に移行する。
【００１６】
前記ステップＳ１０８では、所定の領域に格納されている第２画像を第１画像として格納してから、前記ステップＳ１０２に移行する。
次に、接近警報処理のステップＳ１０４で実行される相関値算出処理を図３のフローチャートに基づいて詳細に説明する。まず、この処理が実行されると、ステップＳ２０１に移行するようになっており、そのステップＳ２０１では、前記ステップＳ１０３で算出されたオプティカルフローのうちから任意のものを選択すると共に、選択したオプティカルフローがカメラ消失点から離れる方向に向いているか否か判定し、離れる方向に向いているときには（Ｙｅｓ）ステップＳ２０３に移行し、そうでないときには（Ｎｏ）ステップＳ２０２に移行する。
【００１７】
前記ステップＳ２０２では、前記ステップＳ２０１で選択したオプティカルフローのデータを削除してから、前記ステップＳ２０３に移行する。
前記ステップＳ２０３では、前記接近警報処理のステップＳ１０３で算出した全てのオプティカルフローに対して、前記ステップＳ２０１の判定を実行したか否か判定し、実行したときには（Ｙｅｓ）ステップＳ２０４に移行し、そうでないときには（Ｎｏ）前記ステップＳ２０１に移行する。
【００１８】
前記ステップＳ２０４では、図４に示すように、第２画像の左端を原点とし且つ当該画像に正対して右方向に軸線を有するＸ座標軸を設定すると共に、前記ステップＳ２０１〜Ｓ２０３で削除されなかったオプティカルフローに対応する第２画像上の地点を算出し、それらの地点のうちで最も大きいＸ座標値を最大Ｘ座標として設定し、ステップＳ２０５に移行する。
【００１９】
前記ステップＳ２０５では、図５に示すように、第２画像において左側の隣接車線が撮像されている領域を左側接近物体領域とすると共に、図４に示すように、その左側接近物体領域のうち前記ステップＳ２０４で算出した最大Ｘ座標値より小さい領域を左側相関領域とし、前記左側接近物体領域のうち前記左側相関領域を除く領域の画素の濃度値を“−１”としてから、ステップＳ２０６に移行する。
【００２０】
前記ステップＳ２０６では、図４に示すように、前記ステップＳ２０１〜Ｓ２０３で削除されなかったオプティカルフローに対応する第２画像上の地点を算出し、それらの地点のうちで最も小さいＸ座標値を最小Ｘ座標として設定し、ステップＳ２０７に移行する。
前記ステップＳ２０７では、図５に示すように、第２画像において右側の隣接車線が撮像されている領域を右側接近物体領域とすると共に、図４に示すように、その右側接近物体領域のうち前記ステップＳ２０６で算出した最小Ｘ座標値より大きい領域を右側相関領域とし、前記右側接近物体領域のうち前記右側相関領域を除く画素の濃度値を“−１”としてから、ステップＳ２０６に移行する。
【００２１】
前記ステップＳ２０８では、図６に示すように、カメラ消失点のＸ座標を中心として、第２画像上の右側相関領域内にある画像を折り返して反転させた反転画像を算出し、ステップＳ２０９に移行する。
前記ステップＳ２０９では、前記ステップＳ２０５で設定した左側相関領域内にある画像と、前記ステップＳ２０８で算出した反転画像とに基づいて、第２画像の対称性の程度を表す左右領域相関値を算出し、この演算処理を終了する。
【００２２】
具体的には、左側相関領域内にある画像のＸ軸方向の大きさと、反転画像のＸ軸方向の大きさとを比較し、図７に示すように、小さい方の画像をＸ軸方向へ所定画素分移動してから、左側相関領域内にある画像と反転画像との対応する画素間の濃度差の平均値を算出するという手順を、その移動する画素数を変化させて繰り返し実行し、算出された平均値のうちで最も小さいものを左右領域相関値とする。なお、濃度値が“−１”である画素や濃度値のデータがない画素は当該平均値の算出には利用しない。
【００２３】
また、小さい方の画像をＸ軸方向へ所定画素分移動するときには、同時に、左側相関領域内にある画像の上下方向の大きさと前記ステップＳ２０８で算出された反転画像の上下方向の大きさとを比較し、図８（ａ）、（ｂ）に示すように、小さい方の画像を上下方向へ所定画素分移動してから、左側相関領域内にある画像と反転画像との対応する画素間の濃度差の平均値も算出し、左右領域相関値の算出に利用する。
【００２４】
次に本実施形態の動作を具体的状況に基づいて詳細に説明する。
まず、自車両を車線変更しようとして乗員が方向指示器スイッチを操作したときに、隣接車線上の後続車両が接近してきたとする。すると、警報用コントローラ２で接近警報処理が実行されて、先ずそのステップＳ１０１で、単眼カメラ１から車両後方の画像が読み込まれて、その画像が警報用コントローラ２内の所定領域に第１画像として格納され、第１画像が読み込まれてから所定時間経過後に、ステップＳ１０２で、単眼カメラ１から画像が読み込まれて、その画像が警報用コントローラ２内の所定領域に第２画像として格納され、ステップＳ１０３で、所定領域に格納されている第１画像と第２画像とに基づいて、自車両後側方から接近してくる後続車両等のオプティカルフローが算出され、ステップＳ１０４で相関値算出処理が実行される。
【００２５】
相関値算出処理が実行されると、まずステップＳ２０１で、前記ステップＳ１０３で算出されたオプティカルフローのうちから任意のものが選択されて、その選択されたオプティカルフローが道路標識等によるものであって第２画像上のカメラ消失点に近づくものであるときには、当該ステップＳ２０１の判定が「Ｎｏ」となり、ステップＳ２０２で、前記ステップＳ２０１で選択されたオプティカルフローのデータが削除され、またステップＳ２０３の判定が「Ｎｏ」となって、前記ステップＳ２０１から上記フローが繰り返し実行される。
【００２６】
上記フローが繰り返されて、前記接近警報処理のステップＳ１０３で算出された全てのオプティカルフローに対して、前記ステップＳ２０１の判定が実行され、後続車両以外のものによるオプティカルフローが全て削除されたとすると、ステップＳ２０３の判定が「Ｙｅｓ」となり、ステップＳ２０４で、図４に示すように、前記ステップＳ２０１〜Ｓ２０３で削除されなかったオプティカルフローに対応する第２画像上の地点が算出され、それらの地点のうちで最も大きいＸ座標値が最大Ｘ座標として設定され、ステップＳ２０５で、図４に示すように、左側接近物体領域のうち前記ステップＳ２０４で算出された最大Ｘ座標値より小さい領域が左側相関領域とされ、前記左側接近物体領域のうち前記左側相関領域を除く領域の画素の濃度値が“−１”とされる。
【００２７】
また、ステップＳ２０６で、図４に示すように、前記ステップＳ２０１〜Ｓ２０３で削除されなかったオプティカルフローに対応する第２画像上の地点が算出され、それらの地点のうちで最も小さいＸ座標値が最小Ｘ座標として設定され、ステップＳ２０７で、図４に示すように、右側接近物体領域のうち前記ステップＳ２０６で算出された最小Ｘ座標値より大きい領域が右側相関領域とされ、前記右側接近物体領域のうち前記右側相関領域を除く画素の濃度値が“−１”とされ、ステップＳ２０８で、図６に示すように第２画像上のカメラ消失点のＸ座標を中心として、右側相関領域内にある画像を折り返して反転させた反転画像が算出される。
【００２８】
そして、ステップＳ２０９では、まず左側相関領域内にある画像と反転画像との対応する画素間の濃度差の平均値が算出される。次いで、左側相関領域内にある画像のＸ軸方向の大きさと、反転画像のＸ軸方向の大きさとが比較されて、左右の隣接車線を走行している後続車両の画像の大きさが比較され、図７に示すように、小さい後続車両の画像がＸ軸方向へ所定画素分移動されて、上記平均値が同様の手順で算出され、それらの平均値のうちで最も小さいものが左右領域相関値とされて、この演算処理が終了される。
【００２９】
このように、本実施形態では、左側相関領域内にある画像と右側相関領域内にある画像との相関関係に基づいて、それらの画像間の対称性を検出するようにしたため、前記画像間の対称性を容易に検出することができる。
また、小さい方の画像がＸ軸方向へ所定画素分移動されるのと同時に、左側相関領域内にある画像の上下方向の大きさと前記ステップＳ２０８で算出された反転画像の上下方向の大きさとが比較され、図８（ａ）、（ｂ）に示すように、小さい方の画像が上下方向へ所定画素分移動されて、左側相関領域内にある画像と反転画像との対応する画素間の濃度差の平均値も算出され、左右領域相関値の算出に利用される。
【００３０】
このように、本実施形態では、小さい方の画像を上下方向に所定画素分移動することによって、単眼カメラ１が傾いて取り付けられていても左右領域相関値を適切に算出することができる。
相関値算出処理が終了されると接近警報処理に戻るが、自車両の後両側方から後続車両が接近してくるときの画像は対称性が小さく、前記ステップＳ１０４で算出された左右領域相関値は所定のしきい値より大きくなるので、ステップＳ１０５の判定は「Ｙｅｓ」となり、ステップＳ１０６で、前記ステップＳ１０３で算出されたオプティカルフローに基づいて、自車両の後両側方から接近する隣接車線上の後続車両が検出され、ステップＳ１０７の警報処理で警報ブザー３が鳴らされ、ステップＳ１０８で、所定の領域に格納されている第２画像が第１画像として格納されてから、上記フローが前記ステップＳ１０２から繰り返し実行される。
【００３１】
一方、自車両を車線変更しようとして乗員が方向指示器スイッチを操作したときに、自車線上の後続車両が接近してきたとする。すると、警報用コントローラ２で接近警報処理が実行されて、ステップＳ１０１〜Ｓ１０３を経て、ステップＳ１０４で相関値算出処理が実行される。
相関値算出処理が実行されると、ステップＳ２０１〜Ｓ２０８を経て、ステップＳ２０９で、まず自車線上の後続車両の画像がほぼ中央に撮像されているときに小さい値が算出されるように、左側相関領域内にある画像と反転画像との対応する画素間の濃度差の平均値が算出される。次いで、左側相関領域内にある画像のＸ軸方向の大きさと、反転画像のＸ軸方向の大きさとが比較されて、自車線後方の後続車両の画像の大きさが比較され、図７に示すように、小さい方の画像がＸ軸方向へ所定画素分移動されて、上記平均値が同様の手順で算出され、それらの平均値のうちで最も小さいものが左右領域相関値とされて、この演算処理が終了される。
【００３２】
このように、本実施形態では、小さい方の画像をＸ軸方向に所定画素分移動するようにしたため、自車線の後続車両が左右いずれかに偏って撮像されているときにも左右領域相関値を適切に算出することができる。
相関値算出処理が終了されると接近警報処理に戻るが、自車線上の後続車両が接近してくるときの画像は対称性が大きく、前記ステップＳ１０４で算出された左右領域相関値は所定のしきい値より小さくなるので、ステップＳ１０５の判定は「Ｎｏ」となり、警報ブザー３を鳴らさずに、ステップＳ１０８を経て、上記フローが前記ステップＳ１０２から繰り返し実行される。
【００３３】
以上説明したように、本実施形態では、隣接車線上の後続車両が接近してくるときには画像の対称性が小さく検出され、且つ、自車線上の後続車両が接近してくるときには、その後続車両の画像がほぼ中央に撮像されて当該画像の対称性が大きく検出されるので、前記対称性の検出結果に基づいて、自車両に接近する物体が自車線上にあることを容易に検出することができる。
【００３４】
なお、上記実施形態では、撮像手段は単眼カメラ１に対応し、領域分割手段はカメラ消失点に対応し、接近物体検出手段はステップＳ１０３に対応し、対称性判断手段及び物体存在車線推定手段はステップＳ１０５及びＳ２０９に対応する。
また、上記実施の形態は本発明の接近物体検出装置の一例を示したものであり、装置の構成等を限定するものではない。
【００３５】
例えば、上記実施形態では、自車両後方の画像を撮像して、接近してくる後続車両が自車線上にあることを検出する例を示したが、後続車両に限定されるものではなく、例えば自車両前方の画像を撮像して、減速等して自車両に接近する先行車両が自車線上にあることを検出するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の接近物体検出装置の一実施形態を示す概略構成図である。
【図２】図１の警報用コントローラ内で実行される接近警報処理を示すフローチャートである。
【図３】図１の警報用コントローラ内で実行される相関値算出処理を示すフローチャートである。
【図４】Ｘ座標軸、最大Ｘ座標値、最小Ｘ座標値、左側相関領域及び右側相関領域を説明するための説明図である。
【図５】左側接近物体領域及び右側接近物体領域を説明するための説明図である。
【図６】反転画像を説明するための説明図である。
【図７】左側相関領域をＸ軸方向に移動させた状態を説明するための説明図である。
【図８】左側相関領域を上下方向に移動させた状態を説明するための説明図である。
【図９】従来例の監視領域を説明するための説明図である。
【図１０】従来例の動作を説明するための説明図である。
【符号の説明】
１は単眼カメラ
２は警報用コントローラ
３は警報ブザー

Claims (2)

1. 自車両後方又は前方の画像を撮像する撮像手段と、その撮像手段で撮像された画像を、撮像手段により撮像された自車線の消失点を介して左右の領域に分割する領域分割手段と、その領域分割手段で分割された左右の領域から自車両に接近する物体の画像を個別に検出する接近物体検出手段と、その接近物体検出手段で個別に検出された画像間の対称性を判断する対称性判断手段と、その対称性判断手段の判断結果に基づいて自車両に接近する物体が自車線上にあることを推定する物体存在車線推定手段と、を備え、
   前記対称性判断手段は、前記領域分割手段により分割された左右の領域の何れか一方の領域内にある画像を、前記消失点を中心とし他方の領域内に折り返して反転させた反転画像を生成し、他方の領域内にある画像及び前記反転画像の一方を所定の方向へ所定量移動させ、他方の前記画像と前記反転画像との対応する画素間の濃度差の平均値を算出するという手順を複数回に亘って繰り返し実行し、出された前記画素間の濃度差の平均値のうちで、最も小さいものを他方の前記画像と前記反転画像との対称性の相関値とすることを特徴とする接近物体検出装置。
2. 前記対称性判断手段は、前記接近物体検出手段により検出された他方の前記画像と前記反転画像との対称性の相関値を所定のしきい値と大小比較し、その結果に応じて、それらの画像間の対称性を判断することを特徴とする請求項１に記載の接近物体検出装置。

Images