JP3808287B2

JP3808287B2 - 位置検出装置

Info

Publication number: JP3808287B2
Application number: JP2000192394A
Authority: JP
Inventors: 伸治長岡; 孝之辻; 弘服部; 正人渡辺
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2000-06-27
Filing date: 2000-06-27
Publication date: 2006-08-09
Anticipated expiration: 2020-06-27
Also published as: JP2002005626A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に搭載された撮像装置により得られる画像に基づいて、対象物の位置を検出する位置検出装置に関する。
【０００２】
【従来の技術】
車両に撮像装置を搭載し、その撮像装置により得られる画像から対象物の位置を検出し、その対象物と当該車両との衝突の可能性を判定する周辺監視装置が従来より提案されている。このような装置では、撮像装置を移動する車両に搭載しているため、車両のピッチングによって車両に固定された撮像装置によって得られる画像に含まれる対象物像が上下方向に移動する。その結果、２つの撮像装置により得られる対象物像から、その対象物までの距離を算出し、該距離と画像内での位置データとを用いて、該対象物の位置を検出する場合、以下のような不具合が発生する。
【０００３】
すなわち、撮像装置により得られる画像に基づいて算出される対象物の位置データは、撮像装置の光軸を基準とする座標系（以下「カメラ座標系」という）における位置データであるが、車両のピッチングにより、カメラ座標系と、車両の進行方向を基準とする実空間座標系との間にずれが生じるため、カメラ座標系における位置データをそのまま実空間座標系の位置データとして採用すると、対象物の位置を誤って検出することになる。
【０００４】
例えば図１６において、車両のピッチングにより生じるピッチ角をθＰとし、Ｏ−Ｙ−Ｚを車両の進行方向を基準とする実空間座標系とし、Ｏｃ−Ｙｃ−Ｚｃをカメラ座標系とすると、点Ａの実空間座標系における位置座標（Ｙ，Ｚ）は、（０，ａ）であるのに対し、カメラ座標系における位置座標（Ｙｃ，Ｚｃ）は、（−ａ・ｓｉｎθＰ，ａ・ｃｏｓθＰ）となり、ピッチ角θＰに応じたずれが発生する。
【０００５】
【発明が解決しようとする課題】
このような検出誤差を無くすため、車両の路面からの高さ（車高）を検出する車高センサを設け、このセンサにより検出される車高に基づいてピッチ角を検出し、検出位置を補正することが考えられるが、その場合には車高センサが必要となって装置の構造が複雑化する。
【０００６】
本発明はこの点に着目してなされたものであり、撮像装置により得られる画像に基づいて、車両のピッチングの影響を除く補正を行い、正確な位置検出を行うことができる位置検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、車両に搭載された２つの撮像手段によって得られる画像に基づいて対象物の実空間座標系における位置を検出する位置検出装置において、前記撮像手段により得られる対象物像から、前記撮像手段の光軸を基準とする撮像手段座標系における前記対象物の時系列の３次元空間上の位置データを算出する第１の位置データ算出手段と、該時系列の位置データに基づいて前記対象物の３次元空間上の相対移動軌跡を近似する近似直線を算出する近似直線算出手段と、該近似直線に基づいて前記撮像手段の光軸のピッチ角を算出するピッチ角算出手段と、前記撮像手段座標系における前記対象物の位置データを、前記ピッチ角に応じて補正することにより、前記実空間座標系における位置データを算出する第２の位置データ算出手段とを備えることを特徴とする。
【０００８】
この構成によれば、撮像手段により得られる対象物の画像から、撮像手段の光軸を基準とする撮像手段座標系における前記対象物の時系列の３次元空間上の位置データが算出され、該時系列の位置データに基づいて前記対象物の３次元空間上の相対移動軌跡を近似する近似直線が算出され、その近似直線に基づいて撮像手段の光軸のピッチ角が算出される。そして、撮像手段座標系における対象物の位置データをピッチ角に応じて補正することにより、実空間座標系における位置データが算出される。したがって、車高センサを用いることなく車両のピッチングの影響を除いて正確な位置検出を行うことができる。
【０００９】
前記近似直線算出手段は、前記時系列の位置データの平均位置座標を通り、各データ点からの距離の２乗の平均値が最小となるような直線として、前記近似直線を算出する。
また前記ピッチ角算出手段は、撮像手段座標系の座標軸が、前記車両のピッチングに伴って回動したときに、その回動の中心となる座標軸（Ｘｃ軸）に垂直な２つの座標軸（Ｙｃ軸及びＺｃ軸）を含む平面に、前記近似直線を投影した直線と、前記撮像手段の光軸に平行な座標軸（Ｚｃ軸）とのなす角として、前記ピッチ角を算出する。
【００１０】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる位置検出装置を含む、車両の周辺監視装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データの基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４とを備えている。
【００１１】
カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に離間して配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００１２】
画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４ａが表示されるように設けられている。
【００１３】
図３は画像処理ユニット２における対象物の位置検出処理の手順を示すフローチャートであり、この処理は、所定時間毎に実行される。
先ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像は、輝度情報を含んだグレースケール画像である。図５（ａ）（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られるグレースケール画像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより左画像が得られる）を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１４】
図３のステップＳ１４では、右画像を基準画像とし、その画像信号の２値化、すなわち、実験的に決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図６に図５（ａ）の画像を２値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。
【００１５】
続くステップＳ１５では、２値化した画像データをランレングスデータに変換する処理を行う。図７（ａ）はこれを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００１６】
ステップＳ１６、Ｓ１７では、図７（ｂ）に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１，２を付加する。この処理により、例えば図６に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
【００１７】
ステップＳ１８では図７（ｃ）に示すように、抽出した対象物の面積重心Ｇ、面積Ｓ及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出し、面積重心Ｇの座標は、面積Ｓをｘ方向に２等分する線のｘ座標及びｙ方向に２等分する線のｙ座標として算出し、縦横比ＡＰＥＣＴは、図７（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出する。なお、面積重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００１８】
ステップＳ１９では、対象物の時刻間追跡、すなわちサンプリング周期毎に同一対象物の認識を行う。アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、図８（ａ）に示すように時刻ｋで対象物１，２を抽出した場合において、時刻（ｋ＋１）で抽出した対象物３，４と、対象物１，２との同一性判定を行う。具体的には、以下の同一性判定条件１）〜３）を満たすときに、対象物１、２と対象物３、４とは同一であると判定し、対象物３、４をそれぞれ１，２というラベルに変更することにより、時刻間追跡が行われる。
【００１９】
１）時刻ｋにおける対象物ｉ（＝１，２）の画像上での面積重心位置座標を、それぞれ（ｘｉ（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での面積重心位置座標を、（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、
｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜ΔｘＭ
｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜ΔｙＭ
であること。ただし、ΔｘＭ、ΔｙＭは、それぞれｘ方向及びｙ方向の画像上の変位量の許容値である。
【００２０】
２）時刻ｋにおける対象物ｉ（＝１，２）の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での面積をＳｊ（ｋ＋１）としたとき、
Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳ
であること。ただし、ΔＳは面積変化の許容値である。
【００２１】
３）時刻ｋにおける対象物ｉ（＝１，２）の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の外接四角形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、
ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣＴ
であること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許容値である。
【００２２】
図８（ａ）と（ｂ）とを対比すると、各対象物は同図（ｂ）の方が画像上での大きさが大きくなっているが、対象物１と３とが上記同一性判定条件を満たし、対象物２と４とが上記同一性判定条件を満たすので、対象物３、４はそれぞれ対象物１、２と認識される。このようにして認識された各対象物の（面積重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
なお以上説明した図３のステップＳ１４〜Ｓ１９の処理は、２値化した基準画像（本実施形態では、右画像）ついて実行する。
【００２３】
図３のステップＳ３１では、先ず図９に示すように右画像（基準画像）に含まれる対象物像ＯＢＪＲ１に対応する左画像（探索画像）中の対象物像ＣＯＢＪＬ１を求める。次いで、対象物像ＯＢＪＲ１の面積重心位置と、画像左端との距離ｄＲ（画素数）及び対応対象物像ＣＯＢＪＬ１の面積重心位置と画像左端との距離ｄＬ（画素数）を算出し、下記式（１）に適用して、車両１０と、対象物との距離ｚを算出する。ステップＳ３１は、ステップＳ１９の処理に比べて長い時間を要するので、ステップＳ１９より長い周期（例えばステップＳ１１〜Ｓ１９の実行周期の３倍程度の周期）で実行される。
【数１】

【００２４】
ここで、Ｂは基線長、すなわち図１０に示すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１Ｌ内の画素間隔であり、Δｄ（＝ｄＬ−ｄＲ）が視差である。
【００２５】
ステップＳ２０では、図４に示す実空間位置算出処理を実行する。この処理では、先ず画像内の対象物像の座標（ｘ、ｙ）及び距離ｚから、カメラの光軸を基準とするカメラ座標系（撮像手段座標系）における対象物の座標（Ｘｃ，Ｙｃ，Ｚｃ）を算出し、これを車両進行方向を基準とする実空間座標系における座標（Ｘ，Ｙ，Ｚ）に変換する処理を行う。
【００２６】
カメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）は、画像内の座標（ｘ，ｙ）及び式（１）により算出した距離ｚを下記式（２）に適用して算出する。
ここで、カメラ座標系は、図１１（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置の中点の位置（車両１０に固定された位置）を原点Ｏｃとし、この原点Ｏｃを通り、カメラ１Ｒの光軸に平行な軸をＺｃ軸として、図示のように定め、画像内の座標は同図（ｂ）に示すように、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【数２】

【００２７】
式（２）において、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、原点Ｏｃとの相対位置関係基づいて、原点Ｏｃと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。
【００２８】
カメラ座標系は、車両１０のピッチングにより、Ｘｃ軸を中心として回動するので、ピッチングの影響を受けない座標系として、車両１０の進行方向を基準とした実空間座標系Ｏ−Ｘ−Ｙ−Ｚを定義する。実空間座標系は、車両のピッチングがない状態では、図１１（ｃ）に示すようにカメラ座標系Ｏｃ−Ｘｃ−Ｙｃ−Ｚｃと一致するが、例えばカメラの光軸が下方向に回動（回転移動）したときは、Ｙ軸及びＺ軸は、同図（ｄ）に示すように、Ｙｃ軸及びＺｃ軸とずれる。
【００２９】
図１２は、図１１（ｄ）に示すような状態を、Ｘ軸方向からみた図である。すなわち図１２は、Ｘ軸（Ｘｃ軸）の正方向が、紙面の裏から表に向かう方向となるように示されている。この図において、ＰＬは画像面であり、Ｚｃ＝Ｆの平面として示される。画像上で座標ｑ＝（ｘ０ｃ，ｙ０ｃ）に位置する対象物像について距離ｚ０が算出されると、式（２）により、カメラ座標系における対象物の位置座標Ｑ＝（Ｘ０ｃ，Ｙ０ｃ，Ｚ０ｃ）が算出される。この座標Ｑに対応する実空間座標系における位置座標Ｐを（Ｘ０，Ｙ０，Ｚ０）とすると、座標ＰとＱの関係は、下記式（３）で与えられる。
【数３】

ここで、θＰは、カメラの光軸（Ｚｃ軸）と車両１０の進行方向（Ｚ軸）とのなすピッチ角である。ピッチ角θＰは、図１２に示すようにＺｃ軸がＺ軸に対して下方向に回動したときを正とし、逆に上方向に回動したときを負とする。
【００３０】
したがって、カメラ座標系における座標Ｑを、式（３）を用いて実空間座標系における座標Ｐに変換するためには、ピッチ角θＰを求める必要がある。そこで、次にピッチ角θＰの算出方法を説明する。
車両１０が静止対象物に対して直進している状態において、車両１０から観測される静止対象物の時系列の位置座標は、図１３にＱ（Ｎ−１），Ｑ（Ｎ−２），…，Ｑ（１），Ｑ（０）として示すように、実空間座標系のＺ軸からの距離がαで、且つＺ軸に平行な直線ＬＱ上に並ぶ。ここで、Ｑ（ｊ）（ｊ＝０〜Ｎ−１）は、ｊサンプル期間前の位置座標であり、Ｑ（０）が最新の位置座標である。この直線ＬＱをカメラ座標系で観測すると、傾きを持った直線として認識され、この直線ＬＱとＺｃ軸とのなす角がピッチ角θＰと等しい。なお、直線ＬＱは、３次元空間上では、Ｚｃ軸と交わるとは限らないので、ピッチ角θＰは、より正確には直線ＬＱをＹｃＺｃ平面への投影した直線と、Ｚｃ軸とのなす角として、算出することができる。
【００３１】
実際に走行する車両１０から静止対象物の位置を検出すると、得られる位置データは、図１３に示すようにきれいに直線ＬＱ上に並ぶことはなく、直線ＬＱの近傍に分布するようなデータが得られる。したがって、本実施形態では、以下に説明する手法で、検出位置データから静止対象物の相対移動軌跡を近似する近似直線ＬＭＶ（直線ＬＱとして推定される線）を算出し、その近似直線ＬＭＶをＹｃＺｃ平面に投影した直線と、Ｚｃ軸とのなす角として、ピッチ角θＰを算出する。
【００３２】
図１４に示すように同一対象物について、（Ｎ−１）サンプル期間内に得られた、カメラ座標系におけるＮ個の位置データ（例えばＮ＝１０程度）、すなわち時系列データＱ（Ｎ−１），Ｑ（Ｎ−２），…，Ｑ（１），Ｑ（０）から、対象物と車両１０との相対移動軌跡に対応する近似直線ＬＭＶを求める。具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（Ｌｘ，Ｌｙ，Ｌｚ）（｜Ｌ｜＝１）とすると、下記式（４）で表される直線を求める。
【数４】

【００３３】
ここでｕは、任意の値をとる媒介変数であり、Ｘａｖ，Ｙａｖ及びＺａｖは、それぞれカメラ座標系における位置データ列のＸｃ座標の平均値、Ｙｃ座標の平均値及びＺｃ座標の平均値である。なお、式（４）は媒介変数ｕを消去すれば下記式（４ａ）のようになる。

【００３４】
近似直線ＬＭＶは、図１４に示す時系列データの平均位置座標Ｑａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａｖ））を通り、各データ点からの距離の２乗の平均値が最小となるような直線として求められる。
より具体的には、平均位置座標Ｑａｖから各データ点の座標Ｑ（０）〜Ｑ（Ｎ−１）に向かうベクトルＤ（ｊ）＝（ＤＸ（ｊ），ＤＹ（ｊ），ＤＺ（ｊ））＝（Ｘｃ（ｊ）−Ｘａｖ，Ｙｃ（ｊ）−Ｙａｖ，Ｚｃ（ｊ）−Ｚａｖ）と、方向ベクトルＬとの内積ｓを下記式（５）により算出し、この内積ｓの分散が最大となる方向ベクトルＬ＝（Ｌｘ，Ｌｙ，Ｌｚ）を求める。
ｓ＝Ｌｘ・ＤＸ（ｊ）＋Ｌｙ・ＤＹ（ｊ）＋Ｌｚ・ＤＺ（ｊ）（５）
【００３５】
各データ点の座標の分散共分散行列Ｖは、下記式（６）で表され、この行列の固有値σが内積ｓの分散に相当するので、この行列から算出される３つの固有値のうち最大の固有値に対応する固有ベクトルが求める方向ベクトルＬとなる。なお、式（６）の行列から固有値と固有ベクトルを算出するには、ヤコビ法（例えば「数値計算ハンドブック」（オーム社）に示されている）として知られている手法を用いる。
【数５】

このようにして、方向ベクトルＬが求まると、ピッチ角θＰは、下記式（７）で与えられる。
【数６】

【００３６】
以上説明した処理が図４の処理で実行される。すなわち、ステップＳ４１では、画像上の位置座標（ｘｃ，ｙｃ）及び距離ｚを式（２）にて適用して、カメラ座標系における位置座標（Ｘｃ，Ｙｃ，Ｚｃ）を算出する。次いで同一対象物についての位置座標データの数がＮ個以上となったか否かを判別し（ステップＳ４２）、データ数が不足しているときは、ステップＳ４３〜Ｓ４５を実行することなく処理を終了する。
【００３７】
データ数がＮ個となると、上述した手法により近似直線ＬＭＶを算出し（ステップＳ４３）、式（７）により、ピッチ角θＰを算出する（ステップＳ４４）。次いで、カメラ座標系における位置座標データ（Ｘｃ，Ｙｃ，Ｚｃ）及びピッチ角θＰを式（３）に適用して、すなわちカメラ座標系における位置座標データをピッチ角θＰに応じて補正することにより、実空間座標系における位置座標データ（Ｘ，Ｙ，Ｚ）を算出して（ステップＳ４５）、本処理を終了する。
【００３８】
なお、上述したピッチ角算出方法は、対象物が静止していることを前提として説明したが、実際には対象物の実空間座標系におけるＹ座標、すなわち高さ方向の位置が変化しなければよいので、Ｘ方向やＺ方向への動きがある対象物であっても、ピッチ角θＰを算出することができる。通常は、高さ方向に移動する対象物はほとんどないので、静止対象物であるか否かの判定を行わなくても、十分な精度のピッチ角θＰを算出することできる。ただし、少なくとＮ個のデータを取得する期間中はピッチ角θＰがほぼ一定であることを前提としているので、例えば加速度または減速度がほぼ一定の加速状態または減速状態、あるいは車両に搭載された荷物などに起因する車両の傾きがあり場合に、ほぼ一定速度で走行している状態などにおいて、正確なピッチ角θＰを得ることができ、対象物の正確な位置検出を行うことができる。
【００３９】
図１５は、ほぼ一定の加速度で加速中の車両から観測した時系列位置データを示し、時系列データＤＰ１が、ピッチ角θＰによる補正を行う前のデータであり、時系列データＤＰ２がピッチ角補正後のデータである。このように、加速中はピッチ角補正を行わないと、対象物の高さを誤検出してしまうが、上述したピッチ角θＰに応じた補正、すなわち座標変換を行うことにより、対象物の正確な位置を検出することができる。
【００４０】
画像処理ユニット２は、図３の処理により算出された対象物の実空間上の位置情報に基づいて、その対象物と車両１０との衝突の可能性を判定し、衝突の可能性が高いときは、スピーカ３及びＨＵＤ４を介して運転者への警報を発する。
本実施形態では、画像処理ユニット２が位置検出装置を構成し、より具体的には、図４のステップＳ４１、Ｓ４３、Ｓ４４及びＳ４５が、それぞれ第１の位置データ算出手段、近似直線算出手段、ピッチ角算出手段及び第２の位置データ算出手段に相当する。
【００４１】
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、上述した実施形態では、撮像手段として赤外線カメラを使用したが、例えば特開平９−２２６４９０号公報に示されるように通常の可視光線のみ検出可能なテレビカメラを使用してもよい。ただし、赤外線カメラを用いることにより、動物等あるいは走行中の車両などの抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現できる。
【００４２】
【発明の効果】
以上詳述したように本発明によれば、撮像手段により得られる対象物の画像から、撮像手段の光軸を基準とする撮像手段座標系における前記対象物の時系列の３次元空間上の位置データが算出され、該時系列の位置データに基づいて前記静止対象物の３次元空間上の相対移動軌跡を近似する近似直線が算出され、その近似直線に基づいて撮像手段の光軸のピッチ角が算出される。そして、撮像手段座標系における対象物の位置データをピッチ角に応じて補正することにより、実空間座標系における位置データが算出される。したがって、車高センサを用いることなく車両のピッチングの影響を除いて正確な位置検出を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる位置検出装置を含む、車両の周辺監視装置の構成を示す図である。
【図２】赤外線カメラの取り付け位置を説明するための図である。
【図３】対象物を抽出した位置検出を行う処理の手順を示すフローチャートである。
【図４】図３の実空間位置算出処理のフローチャートである。
【図５】赤外線カメラにより得られるグレースケール画像を説明するために、中間階調部にハッチングを付して示す図である。
【図６】グレースケール画像を２値化した画像を説明するために、黒の領域をハッチングを付して示す図である。
【図７】ランレングスデータへの変換処理及びラベリングを説明するための図である。
【図８】対象物の時刻間追跡を説明するための図である。
【図９】視差の算出方法を説明するための図である。
【図１０】視差から距離を算出する手法を説明するための図である。
【図１１】本実施形態における座標系を示す図である。
【図１２】ピッチングが発生した場合のカメラ座標系と、実空間座標系との関係を示す図である。
【図１３】ピッチ角の算出方法を説明するための図である。
【図１４】近似直線の算出方法を説明するための図である。
【図１５】実測位置データ及び補正後の位置データを示す図である。
【図１６】車両のピッチングにより発生する問題点を説明するための図である。
【符号の説明】
１Ｒ、１Ｌ赤外線カメラ（撮像手段）
２画像処理ユニット（第１の位置データ算出手段、近似直線算出手段、ピッチ角算出手段、第２の位置データ算出手段）

Claims

車両に搭載された２つの撮像手段によって得られる画像に基づいて対象物の実空間座標系における位置を検出する位置検出装置において、
前記撮像手段により得られる対象物像から、前記撮像手段の光軸を基準とする撮像手段座標系における前記対象物の時系列の３次元空間上の位置データを算出する第１の位置データ算出手段と、
該時系列の位置データに基づいて前記対象物の３次元空間上の相対移動軌跡を近似する近似直線を算出する近似直線算出手段と、
該近似直線に基づいて前記撮像手段の光軸のピッチ角を算出するピッチ角算出手段と、
前記撮像手段座標系における前記対象物の位置データを、前記ピッチ角に応じて補正することにより、前記実空間座標系における位置データを算出する第２の位置データ算出手段とを備えることを特徴とする位置検出装置。