JP4615139B2

JP4615139B2 - 車両の周辺監視装置

Info

Publication number: JP4615139B2
Application number: JP2001099285A
Authority: JP
Inventors: 孝之辻; 弘服部; 伸治長岡; 正人渡辺
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2001-03-30
Filing date: 2001-03-30
Publication date: 2011-01-19
Anticipated expiration: 2021-03-30
Also published as: US6789015B2; US20020183929A1; JP2002298298A; EP1245443A2; DE60237739D1; EP1245443A3; EP1245443B1

Description

【０００１】
【発明の属する技術分野】
本発明は、鹿、熊等の大型動物との衝突は車両走行に影響を与えるため、衝突を回避すべく、車両に搭載された撮像手段により得られる画像から、当該車両に衝突するおそれのある対象物を検出するために、当該車両の周辺を監視する周辺監視装置に関する。
【０００２】
【従来の技術】
車両に２つの赤外線カメラを搭載し、２つのカメラから得られる画像のずれ、すなわち視差に基づいて、当該車両と対象物との距離を検出し、検出した距離の時間変化率を、対象物の当該車両に対する相対速度として算出し、その相対速度と距離との関係に基づいて、当該車両と対象物との予想衝突時刻までの時間（予想余裕時間）ＴＹが、所定余裕時間Ｔ以下となったときに警報を発する装置が、既に提案されている（特開２００１−６０９６号公報）。
【０００３】
【発明が解決しようとする課題】
図２２は、上記公報に示された手法により検出される相対速度の誤差を実測したデータを示す図である。この図から明らかなように、対象物との距離が大きくなるほど、相対速度誤差が増加するため、相対速度と距離との関係に基づいて予想余裕時間ＴＹを算出すると、警報が早過ぎたり、あるいは遅過ぎたりするという問題がある。
【０００４】
例えば、距離６０ｍの位置で相対速度６０ｋｍ／ｈと検出したとき、予想余裕時間ＴＹは、（６０／６００００）×３６００＝３．６秒となり、所定余裕時間Ｔを例えば４秒としていれば、警報が発せられる。ところが、距離６０ｍの位置で相対速度を誤って４０ｋｍ／ｈと検出したときは、予想余裕時間ＴＹは、（６０／４００００）×３６００＝５.４秒となり、実際には３．６秒後に衝突の衝突の可能性があるにもかかわらず、警報が発せられないこととなる。この場合でも、距離が短くなれば相対速度検出精度が高くなりまた距離が短くなるので、少し遅れて警報が発せられるが、警報を発するタイミングが遅れる。逆に相対速度を実際より高く誤検出した場合には、警報を発するタイミングが早すぎることとなる。
【０００５】
また従来の手法では、比較的高速で接近してくる対向車両、あるいは自車両の前を先行して走行する車両を、衝突の可能性のある対象物として検出し、不要な警報が頻繁に発せられるという問題もあった。
本発明はこの点に着目してなされたものであり、対象物との衝突の可能性をより適切に判定し、運転者への警報を所望のタイミングで発するとともに不要な警報を防止することができる車両の周辺監視装置を提供することを目的とする。
【０００６】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、車両に搭載された撮像手段により得られる画像から当該車両の周辺に存在する対象物を検出する車両の周辺監視装置において、当該車両の車速を検出する車速検出手段と、前記撮像手段により得られる画像に基づいて前記対象物と当該車両との距離を算出する距離算出手段と、前記距離に応じて前記対象物と当該車両との相対速度を算出する相対速度算出手段と、前記相対速度が前記車速の１／２以上であってかつ前記車速の３／２以下であることを条件とすることにより、対向車両あるいは先行車両を除外し、前記車速と前記距離との関係に基づいて、当該車両と前記対象物との衝突の可能性を判定する判定手段とを備えることを特徴とする。
【０００７】
この構成によれば、相対速度が当該車両の車速の１／２以上であってかつ３／２以下であること、すなわち対象物が比較的低速度で移動していることあるいは静止していることを条件とすることにより、対向車両あるいは先行車両を除外し、検出した相対速度に代えて車速検出手段により検出される当該車両の車速と、対象物との距離との関係に基づいて、対象物との衝突の可能性が判定される。したがって、検出した相対速度の誤差が大きい場合でも、適切なタイミングで警報を発することが可能となる。また、相対速度が車速の１／２以上であってかつ３／２以下であることを条件としているので、対向車両または先行車両の接近に対して警報を発することを防止することができる。
【０００８】
前記撮像手段により得られる画像から前記対象物の当該車両に対する相対位置を位置データとして検出する相対位置検出手段と、該相対位置検出手段により検出される、前記対象物についての時系列の複数の位置データに基づいてその対象物の実空間での位置を算出し、その実空間位置から移動ベクトルを算出する移動ベクトル算出手段とを備え、前記判定手段は、前記車速と前記距離との関係に基づいて衝突の可能性があると判定したときは、前記移動ベクトルに基づいて衝突の可能性の高い対象物を判定することが望ましい。移動ベクトルを用いることにより判定精度を向上させることができる。
【０００９】
前記移動ベクトル算出手段は、前記対象物の相対移動軌跡を近似する近似直線を算出し、その近似直線を用いて前記位置データを補正することにより前記移動ベクトルを算出することが望ましい。これにより、位置データの検出誤差の影響を軽減して衝突の可能性をより正確に判定することができる。
【００１０】
前記判定手段は、当該車両の車幅に応じた衝突判定条件を用いて前記衝突の可能性の高い対象物の判定を行うことが望ましい。これにより、衝突の可能性をより一層正確に判定し、無用の警報を発することを防止することができる。
前記近似直線算出手段は、対象物の高さのデータを含めた３次元直線として前記近似直線を算出することが望ましい。これにより、道路に起伏がある場合でも正確な判定が可能となる。
【００１１】
前記撮像手段は、赤外線を検出可能な２つの赤外線カメラとすることが望ましい。これにより、運転者が確認し難い夜間走行時に動物などを容易に抽出することができる。
前記撮像手段は、赤外線または可視光線を検出する２つのテレビカメラであり、一方のカメラの出力画像に含まれる対象物像の位置に基づいて、この対象物像に対応する他方のカメラの出力画像に含まれる対象物像を探索する探索領域を設定し、探索領域内で相関演算を行って前記対応対象物像を特定し、前記対象物像と対応対象物像との視差から当該車両から前記対象物までの距離を算出する。そして、前記相関演算は、中間階調情報を含むグレースケール信号を用いて行うことが望ましい。２値化した信号ではなく、グレースケール信号を用いることにより、より正確な相関演算が可能となり、対応対象物像を誤って特定することを回避できる。
【００１２】
前記近似直線算出手段は、前記グレースケール信号を２値化した信号を用いて、前記撮像手段の出力画像内を移動する対象物の追跡を行う。この場合、追跡対象物は、ランレングス符号化したデータにより認識することが望ましい。これにより、追跡する対象物についてのデータ量を低減しメモリ容量を節約することができる。
【００１３】
また、追跡対象物の同一性は、重心位置座標、面積及び外接四角形の縦横比に基づいて判定することが望ましい。これにより、対象物の同一性の判定を正確に行うことができる。
前記判定手段により対象物との衝突の可能性が高いと判定されたとき、運転者に警告を発する警報手段を備え、該警告手段は、運転者がブレーキ操作を行っている場合であって、そのブレーキ操作による減速度が所定閾値より大きいときは、警報を発しないようにすることが望ましい。運転者がすでに対象物に気づいて適切なブレーキ操作を行っている場合は警告を発しないようにして、運転者によけいな煩わしさを与えないようにすることができる。
【００１４】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる車両の周辺監視装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速検出手段としての車速センサ６と、ブレーキ（図示せず）の操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データの基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。
【００１５】
カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００１６】
画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４ａが表示されるように設けられている。
【００１７】
図３は画像処理ユニット２における処理の手順を示すフローチャートであり、先ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像データは、輝度情報を含んだグレースケール画像データである。図５（ａ）（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られるグレースケール画像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより左画像が得られる）を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１８】
図３のステップＳ１４では、右画像を基準画像とし、その画像信号の２値化、すなわち、実験的に決定される輝度閾値ＩＴＨより明るいまたは等しい輝度の領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図６に図５（ａ）の画像を２値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。
【００１９】
続くステップＳ１５では、２値化した画像データをランレングスデータに変換する処理を行う。図７（ａ）はこれを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００２０】
ステップＳ１６、Ｓ１７では、図７（ｂ）に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１，２を付加する。この処理により、例えば図６に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
【００２１】
ステップＳ１８では図７（ｃ）に示すように、抽出した対象物の重心Ｇ、面積Ｓ及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出し、重心Ｇの座標は、面積Ｓをｘ方向に２等分する線のｘ座標及びｙ方向に２等分する線のｙ座標として算出し、縦横比ＡＳＰＥＣＴは、図７（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出する。なお、重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００２２】
ステップＳ１９では、対象物の時刻間追跡、すなわちサンプリング周期毎に同一対象物の認識を行う。アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、図８（ａ）に示すように時刻ｋで対象物１，２を抽出した場合において、時刻（ｋ＋１）で抽出した対象物３，４と、対象物１，２との同一性判定を行う。具体的には、以下の同一性判定条件１）〜３）を満たすときに、対象物１、２と対象物３、４とは同一であると判定し、対象物３、４をそれぞれ１，２というラベルに変更することにより、時刻間追跡が行われる。
【００２３】
１）時刻ｋにおける対象物ｉ（＝１，２）の画像上での重心位置座標を、それぞれ（ｘｉ（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での重心位置座標を、（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、
｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜Δｘ
｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜Δｙ
であること。ただし、Δｘ、Δｙは、それぞれｘ方向及びｙ方向の画像上の移動量の許容値である。
【００２４】
２）時刻ｋにおける対象物ｉ（＝１，２）の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での面積をＳｊ（ｋ＋１）としたとき、
Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳ
であること。ただし、ΔＳは面積変化の許容値である。
【００２５】
３）時刻ｋにおける対象物ｉ（＝１，２）の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の外接四角形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、
ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣＴ
であること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許容値である。
【００２６】
図８（ａ）と（ｂ）とを対比すると、各対象物は画像上での大きさが大きくなっているが、対象物１と３とが上記同一性判定条件を満たし、対象物２と４とが上記同一性判定条件を満たすので、対象物３、４はそれぞれ対象物１、２と認識される。このようにして認識された各対象物の（重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
なお以上説明したステップＳ１４〜Ｓ１９の処理は、２値化した基準画像（本実施形態では、右画像）ついて実行する。
【００２７】
図３のステップＳ２０では、車速センサ６により検出される車速ＶＣＡＲ及びヨーレートセンサ５より検出されるヨーレートＹＲを読み込み、ヨーレートＹＲを時間積分することより、自車両１０の回頭角θｒ（図１４参照）を算出する。
【００２８】
一方、ステップＳ３１〜Ｓ３３では、ステップＳ１９，Ｓ２０の処理と平行して、対象物と自車両１０と距離ｚを算出する処理を行う。この演算はステップＳ１９，Ｓ２０より長い時間を要するため、ステップＳ１９，Ｓ２０より長い周期（例えばステップＳ１１〜Ｓ２０の実行周期の３倍程度の周期）で実行される。
【００２９】
ステップＳ３１では、基準画像（右画像）の２値化画像によって追跡される対象物の中の１つを選択することにより、図９（ａ）に示すように右画像から探索画像Ｒ１（ここでは、外接四角形で囲まれる領域全体を探索画像とする）を抽出する。続くステップＳ３２では、左画像中から探索画像に対応する画像（以下「対応画像」という）を探索する探索領域を設定し、相関演算を実行して対応画像を抽出する。具体的には、探索画像Ｒ１の各頂点座標に応じて左画像中に図９（ｂ）に示すように、探索領域Ｒ２を設定し、探索領域Ｒ２内で探索画像Ｒ１との相関の高さを示す輝度差分総和値Ｃ（ａ，ｂ）を下記式（１）により算出し、この総和値Ｃ（ａ，ｂ）が最小となる領域を対応画像として抽出する。なお、この相関演算は、２値画像ではなくグレースケール画像を用いて行う。また同一対象物についての過去の位置データがあるときは、その位置データに基づいて探索領域Ｒ２より狭い領域Ｒ２ａ（図９（ｂ）に破線で示す）を探索領域として設定する。
【数１】

【００３０】
ここで、ＩＲ（ｍ，ｎ）は、図１０に示す探索画像Ｒ１内の座標（ｍ，ｎ）の位置の輝度値であり、ＩＬ（ａ＋ｍ−Ｍ，ｂ＋ｎ−Ｎ）は、探索領域内の座標（ａ，ｂ）を基点とした、探索画像Ｒ１と同一形状の局所領域Ｒ３内の座標（ｍ，ｎ）の位置の輝度値である。基点の座標（ａ，ｂ）を変化させて輝度差分総和値Ｃ（ａ，ｂ）が最小となる位置を求めることにより、対応画像の位置が特定される。
【００３１】
ステップＳ３２の処理により、図１１に示すように探索画像Ｒ１と、この探索画像Ｒ１に対応する対応画像Ｒ４とが抽出されるので、ステップＳ３３では、探索画像Ｒ１の重心位置と、画像中心線ＬＣＴＲとの距離ｄＲ（画素数）及び対応画像Ｒ４の重心位置と画像中心線ＬＣＴＲとの距離ｄＬ（画素数）を求め、下記式（２）に適用して、自車両１０と、対象物との距離ｚを算出する。
【数２】

【００３２】
ここで、Ｂは基線長、すなわち図１２に示すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１Ｌ内の画素間隔であり、Δｄ（＝ｄＲ＋ｄＬ）が視差量である。
【００３３】
ステップＳ２１では、画像内の座標（ｘ，ｙ）及び式（２）により算出した距離ｚを下記式（３）に適用し、実空間座標（Ｘ，Ｙ，Ｚ）に変換する。ここで、実空間座標（Ｘ，Ｙ，Ｚ）は、図１３（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置の中点の位置（自車両１０に固定された位置）を実空間座標系の原点Ｏとして、図示のように定め、画像内の座標は同図（ｂ）に示すように、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【数３】

【００３４】
ここで、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、実空間座標系の原点Ｏとの相対位置関係に基づいて、実空間座標系の原点Ｏと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。
【００３５】
ステップＳ２２では、自車両１０が回頭することによる画像上の位置ずれを補正するための回頭角補正を行う。図１４に示すように、時刻ｋから（ｋ＋１）までの期間中に自車両が例えば左方向に回頭角θｒだけ回頭すると、カメラによって得られる画像上では、図１５に示すようにΔｘだけｘ方向にずれるので、これを補正する処理である。具体的には、下記式（４）に実空間座標（Ｘ，Ｙ，Ｚ）を適用して、補正座標（Ｘｒ，Ｙｒ，Ｚｒ）を算出する。算出した実空間位置データ（Ｘｒ，Ｙｒ，Ｚｒ）は、対象物毎に対応づけてメモリに格納する。なお、以下の説明では、回頭角補正後の座標を（Ｘ，Ｙ，Ｚ）と表示する。
【数４】

【００３６】
ステップＳ２３では、図１６に示すように同一対象物について、ΔＴの期間内に得られた、回頭角補正後のＮ個の実空間位置データ（例えばＮ＝１０程度）、すなわち時系列データから、対象物と自車両１０との相対移動ベクトルに対応する近似直線ＬＭＶを求める。具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）（｜Ｌ｜＝１）とすると、下記式（５）で表される直線を求める。
【数５】

【００３７】
ここでｕは、任意の値をとる媒介変数であり、Ｘａｖ，Ｙａｖ及びＺａｖは、それぞれ実空間位置データ列のＸ座標の平均値、Ｙ座標の平均値及びＺ座標の平均値である。なお、式（５）は媒介変数ｕを消去すれば下記式（５ａ）のようになる。
（Ｘ−Ｘａｖ）／ｌｘ＝（Ｙ−Ｙａｖ）／ｌｙ＝（Ｚ−Ｚａｖ）／ｌｚ…（５ａ）
【００３８】
図１６は、近似直線ＬＭＶを説明するための図であり、同図のＰ（０），Ｐ（１），Ｐ（２），…，Ｐ（Ｎ−２），Ｐ（Ｎ−１）が回頭角補正後の時系列データを示し、近似直線ＬＭＶは、この時系列データの平均位置座標Ｐａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａｖ））を通り、各データ点からの距離の２乗の平均値が最小となるような直線として求められる。ここで各データ点の座標を示すＰに付した（）内の数値はその値が増加するほど過去のデータであることを示す。例えば、Ｐ（０）は最新の位置座標、Ｐ（１）は１サンプル周期前の位置座標、Ｐ（２）は２サンプル周期前の位置座標を示す。以下の説明におけるＤ（ｊ）、Ｘ（ｊ）、Ｙ（ｊ）、Ｚ（ｊ）等も同様である。
【００３９】
より具体的には、平均位置座標Ｐａｖから各データ点の座標Ｐ（０）〜Ｐ（Ｎ−１）に向かうベクトルＤ（ｊ）＝（ＤＸ（ｊ），ＤＹ（ｊ），ＤＺ（ｊ））＝（Ｘ（ｊ）−Ｘａｖ，Ｙ（ｊ）−Ｙａｖ，Ｚ（ｊ）−Ｚａｖ）と、方向ベクトルＬとの内積ｓを下記式（６）により算出し、この内積ｓの分散が最大となる方向ベクトルＬ＝（ｌｘ，ｌｙ，ｌｚ）を求める。
ｓ＝ｌｘ・ＤＸ（ｊ）＋ｌｙ・ＤＹ（ｊ）＋ｌｚ・ＤＺ（ｊ）（６）
【００４０】
各データ点の座標の分散共分散行列Ｖは、下記式（７）で表され、この行列の固有値σが内積ｓの分散に相当するので、この行列から算出される３つの固有値のうち最大の固有値に対応する固有ベクトルが求める方向ベクトルＬとなる。なお、式（７）の行列から固有値と固有ベクトルを算出するには、ヤコビ法（例えば「数値計算ハンドブック」（オーム社）に示されている）として知られている手法を用いる。
【数６】

【００４１】
次いで最新の位置座標Ｐ（０）＝（Ｘ（０），Ｙ（０），Ｚ（０））と、（Ｎ−１）サンプル前（時間ΔＴ前）の位置座標Ｐ（Ｎー１）＝（Ｘ（Ｎ−１），Ｙ（Ｎ−１），Ｚ（Ｎ−１））を近似直線ＬＭＶ上の位置に補正する。具体的には、前記式（５ａ）にＺ座標Ｚ（０）、Ｚ（Ｎ−１）を適用することにより、すなわち下記式（８）により、補正後の位置座標Ｐｖ（０）＝（Ｘｖ（０），Ｙｖ（０），Ｚｖ（０））及びＰｖ（Ｎ−１）＝（Ｘｖ（Ｎ−１），Ｙｖ（Ｎ−１），Ｚｖ（Ｎ−１））を求める。
【数７】

【００４２】
式（８）で算出された位置座標Ｐｖ（Ｎ−１）からＰｖ（０）に向かうベクトルとして、相対移動ベクトルが得られる。このようにモニタ期間ΔＴ内の複数（Ｎ個）のデータから対象物の自車両１０に対する相対移動軌跡を近似する近似直線を算出して相対移動ベクトルを求めることにより、位置検出誤差の影響を軽減して対象物との衝突の可能性をより正確に予測することが可能となる。
【００４３】
図３に戻り、ステップＳ２４では、検出した対象物との衝突の可能性を判定し、その可能性が高いときに警報を発する警報判定処理（図４）を実行する。
ステップＳ４１では、下記式（９）によりＺ方向の相対速度Ｖｓを算出し、下記式（１０ａ），（１０ｂ）及び（１１）が成立するとき、衝突の可能性があると判定してステップＳ４２に進み、式（１０ａ），（１０ｂ）または式（１１）のいずれかが不成立のときは、この処理を終了する。
Ｖｓ＝（Ｚｖ（Ｎ−１）−Ｚｖ（０））／ΔＴ（９）
ＶＣＡＲ／２≦Ｖｓ≦ＶＣＡＲ×３／２（１０ａ）
（｜ＶＣＡＲ−Ｖｓ｜≦ＶＣＡＲ／２）
Ｚｖ（０）／ＶＣＡＲ≦Ｔ（１０ｂ）
｜Ｙｖ（０）｜≦Ｈ（１１）
【００４４】
ここで、Ｚｖ（０）は最新の距離検出値（ｖは近似直線ＬＭＶによる補正後のデータであることを示すために付しているが、Ｚ座標は補正前と同一の値である）であり、Ｚｖ（Ｎ−１）は、時間ΔＴ前の距離検出値である。またＴは、余裕時間であり、衝突の可能性を予測衝突時刻より時間Ｔだけ前に判定することを意図したものであり、例えば２〜５秒程度に設定される。またＨは、Ｙ方向、すなわち高さ方向の範囲を規定する所定高さであり、例えば自車両１０の車高の２倍程度に設定される。
【００４５】
式（１０ａ）の関係が満たされるのは、相対速度Ｖｓが車速ＶＣＡＲの近傍にあるとき、すなわち対象物が比較的低速で移動しているか、または静止しているときである。
式（１０ｂ）の関係を図示すると図１７に示すようになる。式（１０ａ）の関係が満たされて相対速度Ｖｓが車速ＶＣＡＲの近傍にあり、かつ車速ＶＣＡＲと距離Ｚｖ（０）とに対応する座標が、図１７にハッチングを付して示す領域内にあり、かつ｜Ｙｖ（０）｜≦Ｈであるとき、ステップＳ４２以下の判定が実行される。
【００４６】
式（１０ａ）及び（１０ｂ）の関係を満たされることを条件として、対象物と衝突する可能性を判定し、その対象物の位置及び相対移動ベクトルに応じて警報を発するようにしたので、相対速度Ｖｓの検出誤差が大きい場合でも比較的低速で移動しているまたは静止している対象物について、適切なタイミングで衝突の可能性の有無を判定し、警報を発することができる。また、式（１０ａ）の条件により、接近してくる対向車両あるいは先行車両は警報の対象から除かれるので、不要な警報が頻繁に発せられる不具合を防止できる。
【００４７】
図１８は、カメラ１Ｒ、１Ｌで監視可能な領域を、太い実線で示す外側の三角形の領域ＡＲ０で示し、さらに領域ＡＲ０内の、Ｚ１＝Ｖｓ×Ｔより自車両１０に近い領域ＡＲ１，ＡＲ２，ＡＲ３を、警報判定領域としている。ここで領域ＡＲ１は、自車両１０の車幅αの両側に余裕β（例えば５０〜１００ｃｍ程度とする）を加えた範囲に対応する領域、換言すれば自車両１０の横方向の中心軸の両側に（α／２＋β）の幅を有する領域であって、対象物がそのまま存在し続ければ衝突の可能性がきわめて高いので、接近判定領域と呼ぶ。領域ＡＲ２，ＡＲ３は、接近判定領域よりＸ座標の絶対値が大きい（接近判定領域の横方向外側の）領域であり、この領域内にある対象物については、後述する侵入衝突判定を行うので、侵入判定領域と呼ぶ。なおこれらの領域は、前記式（１１）に示したようにＹ方向には、所定高さＨを有する。
【００４８】
前記ステップＳ４１の答が肯定（ＹＥＳ）となるのは、対象物が接近判定領域ＡＲ１または侵入判定領域ＡＲ２，ＡＲ３のいずれかに存在する場合である。
続くステップＳ４２では、対象物が接近判定領域ＡＲ１内にあるか否かを判別し、この答が肯定（ＹＥＳ）であるときは、直ちにステップＳ４４に進む一方、否定（ＮＯ）であるときは、ステップＳ４３で侵入衝突判定を行う。具体的には、画像上での最新のｘ座標ｘｃ（０）（ｃは前述したように画像の中心位置を実空間座標系の原点Ｏに一致させる補正を行った座標であることを示すために付している）と、時間ΔＴ前のｘ座標ｘｃ（Ｎ−１）との差が下記式（１２）を満たすか否かを判別し、満たす場合に衝突の可能性が高いと判定する。
【数８】

【００４９】
図１９に示すように、自車両１０の進行方向に対してほぼ９０°の方向から進行してくる動物２０がいた場合、Ｘｖ（Ｎー１）／Ｚｖ（Ｎ−１）＝Ｘｖ（０）／Ｚｒ（０）であるとき、換言すれば動物の速度Ｖｐと相対速度Ｖｓの比Ｖｐ／Ｖｓ＝Ｘｒ（Ｎー１）／Ｚｒ（Ｎ−１）であるとき、自車両１０から動物２０と見る方位角θｄは一定となり、衝突の可能性が高い。式（１２）は、この可能性を自車両１０の車幅αを考慮して判定するものである。以下図２０を参照して式（１２）の導出手法を説明する。
【００５０】
対象物２０の最新の位置座標と時間ΔＴ前の位置座標と通る直線、すなわち近似直線ＬＭＶとＸＹ平面（Ｘ軸とＹ軸とを含む平面、すなわち車両１０の先端部に対応する線（Ｘ軸）を含み車両１０の進行方向に垂直な面）との交点のＸ座標をＸＣＬとすると、車幅αを考慮した衝突発生の条件は、下記式（１３）で与えられる。
【００５１】
−α／２≦ＸＣＬ≦α／２（１３）
一方近似直線ＬＭＶをＸＺ平面に投影した直線は、下記式（１４）で与えられる。
【数９】

この式にＺ＝０，Ｘ＝ＸＣＬを代入してＸＣＬを求めると下記式（１５）のようになる。
【数１０】

【００５２】
また実空間座標Ｘと、画像上の座標ｘｃとは、前記式（３）に示した関係があるので、
Ｘｖ（０）＝ｘｃ（０）×Ｚｖ（０）／ｆ（１６）
Ｘｖ（Ｎ−１）＝ｘｃ（Ｎ−１）×Ｚｖ（Ｎ−１）／ｆ（１７）
であり、これらを式（１５）に適用すると、交点Ｘ座標ＸＣＬは下記式（１８）で与えられる。これを式（１３）に代入して整理することにより、式（１２）の条件が得られる。
【数１１】

【００５３】
図４に戻り、ステップＳ４３で衝突の可能性が高いと判定したときは、ステップＳ４４に進み、低いと判定したときは本処理を終了する。
ステップＳ４４では、以下のようにして警報出力判定、すなわち警報出力を行うか否かの判定を行う。先ずブレーキセンサ７の出力から自車両１０の運転者がブレーキ操作を行っているか否かを判別し、ブレーキ操作を行っていなければ直ちにステップＳ４５に進んで、警報出力を行う。ブレーキ操作を行っている場合には、それによって発生する加速度Ｇｓ（減速方向を正とする）を算出し、この加速度Ｇｓが所定閾値ＧＴＨ以下であるときは、ステップＳ４５に進む一方、Ｇｘ＞ＧＴＨであるときは、ブレーキ操作により衝突が回避されると判定して本処理を終了する。これにより、適切なブレーキ操作が行われているときは、警報を発しないようにして、運転者に余計な煩わしさを与えないようにすることができる。
【００５４】
所定閾値ＧＴＨは、下記式（１９）のように定める。これは、ブレーキ加速度Ｇｓがそのまま維持された場合に、距離Ｚｖ（０）以下の走行距離で自車両１０が停止する条件に対応する値である。
【数１２】

ステップＳ４５では、スピーカ３を介して音声による警報を発するとともに、図２１に示すようにＨＵＤ４により例えばカメラ１Ｒにより得られる画像を画面４ａに表示し、接近してくる対象物を強調表示する（例えば枠で囲んで強調する）する。図２１（ａ）はＨＵＤの画面４ａの表示がない状態を示し、同図（ｂ）が画面４ａが表示された状態を示す。このようにすることにより、衝突の可能性の高い対象物を運転者が確実に認識することができる。
【００５５】
以上のように本実施形態では、式（１０ａ）及び（１０ｂ）の関係を満たされることを条件として、対象物と衝突する可能性を判定し、その対象物の位置及び相対移動ベクトルに応じて警報を発するようにしたので、相対速度Ｖｓの検出誤差が大きい場合でも比較的低速で移動しているまたは静止している対象物について、適切なタイミングで衝突の可能性の有無を判定し、警報を発することができる。また、式（１０ａ）の条件により、接近してくる対向車両あるいは先行車両は警報の対象から除かれるので、不要な警報が頻繁に発せられる不具合を防止できる。
【００５６】
また同一対象物についての時系列の複数の位置データに基づいてその対象物の実空間での位置を算出し、その実空間位置から移動ベクトルを算出し、そのようにして算出された移動ベクトルに基づいて対象物と自車両１０との衝突の可能性を判定するようにしたので、従来の装置のような誤判定が発生することがなく、衝突可能性の判定精度を向上させることができる。
【００５７】
また、対象物の相対移動軌跡を近似する近似直線ＬＭＶを求め、検出位置がこの近似直線上の位置するように位置座標を補正し、補正後の位置座標から移動ベクトルを求めるようにしたので、検出位置の誤差の影響を軽減してより正確な衝突可能性の判定を行うことができる。
【００５８】
また車幅αを考慮した衝突判定を行うようにしたので、衝突の可能性を正確に判定し、無用の警報を発することを防止することができる。
本実施形態では、画像処理ユニット２が、距離算出手段、相対速度算出手段、相対位置検出手段、移動ベクトル算出手段、判定手段、及び警報手段の一部を構成する。より具体的には、図３のステップＳ３１〜Ｓ３３が距離検出手段に相当し、式（９）の演算が相対速度算出手段に相当し、図３のステップＳ１４〜Ｓ１９が相対位置検出手段に相当し、ステップＳ２０〜Ｓ２３が移動ベクトル算出手段に相当し、図４のステップＳ４１〜Ｓ４４が判定手段に相当し、同図のステップＳ４５並びにスピーカ３及びＨＵＤ４が警報手段に相当する。
【００５９】
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、上述した実施形態では、相対速度Ｖｓと車速ＶＣＡＲとの差が車速ＶＣＡＲの１／２以下という条件（式（１０ａ））を用いたが、これに限るものではなく、相対速度Ｖｓと車速ＶＣＡＲとの差が車速ＶＣＡＲの０．４倍以下あるいは０．３倍以下などという条件としてもよい。
【００６０】
また本実施形態では、撮像手段として赤外線カメラを使用したが、例えば特開平９−２２６４９０号公報に示されるように通常の可視光線のみ検出可能なテレビカメラを使用してもよい。ただし、赤外線カメラを用いることにより、動物あるいは走行中の車両などの抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現できる。
また上述した実施形態では、車両の前方を監視する例を示したが、車両の後方などいずれの方向を監視するようにしてもよい。
【００６１】
【発明の効果】
以上詳述したように請求項１に記載の発明によれば、相対速度が当該車両の車速の近傍にあること、すなわち対象物が比較的低速度で移動していることあるいは静止していることを条件として、検出した相対速度に代えて車速検出手段により検出される当該車両の車速と、対象物との距離との関係に基づいて、対象物との衝突の可能性が判定される。したがって、検出した相対速度の誤差が大きい場合でも、適切なタイミングで警報を発することが可能となる。また、相対速度が車速の近傍にあることを条件としているので、対向車両または先行車両の接近に対して警報を発することを防止することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる周辺監視装置の構成を示すブロック図である。
【図２】図１に示すカメラの取り付け位置を説明するための図である。
【図３】図１の画像処理ユニットにおける処理の手順を示すフローチャートである。
【図４】図３の警報判定処理を詳細に示すフローチャートである。
【図５】赤外線カメラにより得られるグレースケール画像を説明するために、中間階調部にハッチングを付して示す図である。
【図６】グレースケール画像を２値化した画像を説明するために、黒の領域をハッチングを付して示す図である。
【図７】ランレングスデータへの変換処理及びラベリングを説明するための図である。
【図８】対象物の時刻間追跡を説明するための図である。
【図９】右画像中の探索画像と、左画像に設定する探索領域を説明するための図である。
【図１０】探索領域を対象とした相関演算処理を説明するための図である。
【図１１】視差の算出方法を説明するための図である。
【図１２】視差から距離を算出する手法を説明するための図である。
【図１３】本実施形態における座標系を示す図である。
【図１４】回頭角補正を説明するための図である。
【図１５】車両の回頭により発生する画像上の対象物位置のずれを示す図である。
【図１６】相対移動ベクトルの算出手法を説明するための図である。
【図１７】警報判定を行う条件を説明するための図である。
【図１８】車両前方の領域区分を説明するための図である。
【図１９】衝突が発生しやすい場合を説明するための図である。
【図２０】車両の幅に応じた侵入警報判定の手法を説明するための図である。
【図２１】ヘッドアップディスプレイ上の表示を説明するための図である。
【図２２】従来技術の問題点を説明するための図である。
【符号の説明】
１Ｒ、１Ｌ赤外線カメラ（撮像手段）
２画像処理ユニット（距離算出手段、相対速度算出手段、相対位置検出手段、移動ベクトル算出手段、判定手段、警報手段）
３スピーカ（警報手段）
４ヘッドアップディスプレイ（警報手段）
５ヨーレートセンサ
６車速センサ
７ブレーキセンサ

Claims

車両に搭載された撮像手段により得られる画像から当該車両の周辺に存在する対象物を検出する車両の周辺監視装置において、
当該車両の車速を検出する車速検出手段と、
前記撮像手段により得られる画像に基づいて前記対象物と当該車両との距離を算出する距離算出手段と、
前記距離に応じて前記対象物と当該車両との相対速度を算出する相対速度算出手段と、
前記相対速度が前記車速の１／２以上であってかつ前記車速の３／２以下であることを条件とすることにより、対向車両あるいは先行車両を除外し、前記車速と前記距離との関係に基づいて、当該車両と前記対象物との衝突の可能性を判定する判定手段とを備えることを特徴とする車両の周辺監視装置。