JP3897956B2

JP3897956B2 - 位置検出装置

Info

Publication number: JP3897956B2
Application number: JP2000192395A
Authority: JP
Inventors: 伸治長岡; 孝之辻; 弘服部; 正人渡辺
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2000-06-27
Filing date: 2000-06-27
Publication date: 2007-03-28
Anticipated expiration: 2020-06-27
Also published as: JP2002005656A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に搭載された撮像装置により得られる画像に基づいて、対象物の位置を検出する位置検出装置に関する。
【０００２】
【従来の技術】
車両に撮像装置を搭載し、その撮像装置により得られる画像から対象物の位置を検出し、その対象物と当該車両との衝突の可能性を判定する周辺監視装置が従来より提案されている。このような周辺監視装置では、撮像装置の当該車両への取付は、ほぼ理想的に行われており、撮像装置の光軸と、車両の進行方向とのずれがほとんどないことを前提としている。すなわち、従来の装置は、撮像装置を車両の固定する際に十分に注意を払って、撮像装置の光軸の方向を車両進行方向と正確に一致させた上で、その撮像装置により得られる画像から対象物の位置を検出するように構成されている。
【０００３】
【発明が解決しようとする課題】
しかしながら、車両などの移動体に撮像装置を取り付けた場合、外部応力や熱などの影響で取り付け状態が経年変化し、撮像装置の光軸の方向と、車両進行方向とがずれることが予想される。また車両の軽衝突や走行時に発生する車体の歪みの影響によっても撮像装置の取り付け状態が変化することが考えられる。
【０００４】
このようなずれが発生すると、撮像装置の光軸を基準とする撮像装置座標系と、車両進行方向を基準とする実空間座標系とがずれることとなり、撮像装置により得られる対象物像に基づいて検出される対象物位置の誤差が大きくなる。
そこで撮像装置の光軸のずれが発生したことを検出する手法として、３次元位置座標が既知の静止対象物を車両前方に配置し、画像から算出される３次元位置座標と、実際の位置座標とを比較する手法が考えられる。
【０００５】
しかし、工場出荷時に撮像装置の取付状態（光軸の方向）の確認、補正作業を行う場合や、販売店で同様の確認、補正作業を行う場合には、長い既知距離の静止対象物の位置検出を行い、ずれの有無の確認をしなければならないため、専用のスペースや設備、確認時間などが必要となる。
【０００６】
本発明は上述した点を考慮してなされたものであり、車両進行方向に対する撮像装置の光軸の横方向のずれを示すパン角を、車両走行中に簡単且つ正確に算出し、パン角に起因する検出誤差を補正することにより正確な位置検出を行うことができる位置検出装置を提供することを目的とする。
【０００７】
【課題を解決するための手段】
上記目的を達成するため請求項１に記載の発明は、車両に搭載された２つの撮像手段によって得られる画像に基づいて対象物の実空間座標系における位置を検出する位置検出装置において、前記撮像手段により得られる対象物像から、前記撮像手段の光軸を基準とする撮像手段座標系における前記対象物の３次元空間上の位置データを算出する第１の位置データ算出手段と、該第１の位置データ算出手段により静止対象物の時系列位置データを算出し、該算出した時系列位置データに基づいて前記静止対象物の３次元空間上の相対移動軌跡を近似する近似直線を算出する近似直線算出手段と、該近似直線に基づいて、前記撮像手段座標系の座標軸が、前記撮像手段の光軸横方向のずれに伴って回動したとき、その回動の中心となる座標軸に垂直な２つの座標軸を含む平面に、前記近似直線を投影した直線と、前記撮像手段の光軸に平行な座標軸とのなす角を前記撮像手段の光軸のパン角として算出するパン角算出手段と、前記撮像手段座標系における前記対象物の位置データを、前記パン角に応じて補正することにより、前記実空間座標系における位置データを算出する第２の位置データ算出手段とを備えることを特徴とする。
【０００８】
この構成によれば、撮像手段により得られる対象物の画像から、撮像手段の光軸を基準とする撮像手段座標系における対象物の３次元空間上の位置データを算出する第１の位置データ算出手段により、静止対象物の時系列の位置データが算出され、該算出された時系列の位置データに基づいて静止対象物の３次元空間上の相対移動軌跡を近似する近似直線が算出され、撮像手段座標系の座標軸が回動したとき、その回動の中心となる座標軸に垂直な２つの座標軸を含む平面に近似直線を投影した直線と、撮像手段の光軸に平行な座標軸とのなす角が撮像手段の光軸のパン角として算出される。そして、撮像手段座標系における対象物の位置データをパン角に応じて補正することにより、実空間座標系における対象物の位置データが算出される。したがって、撮像手段の光軸の横方向ずれを示すパン角を、撮像手段により得られる画像に基づいて簡単かつ正確に算出し、パン角の影響を除いて正確な位置検出を行うことができる。
【０００９】
請求項２に記載の発明は、請求項１に記載の位置検出装置において、前記近似直線算出手段は、前記車両の旋回走行に関するパラメータを用いて、前記第１の位置データ算出手段により算出される前記静止対象物の時系列位置データを補正する旋回走行補正手段を有し、該補正後の時系列位置データに基づいて前記近似直線を算出することを特徴とする。
【００１０】
この構成によれば、車両の旋回走行に関するパラメータを用いて、第１の位置データ算出手段により算出された位置データが補正され、該補正後の位置データに基づいて近似直線が算出されるので、パン角算出処理中に車両が旋回した場合でも、正確なパン角の算出を行うことができる。
【００１１】
前記車両の旋回走行に関するパラメータは、具体的にはヨー角及び曲率半径である。
前記近似直線算出手段は、前記時系列の位置データの平均位置座標を通り、各データ点からの距離の２乗の平均値が最小となるような直線として、前記近似直線を算出する。
【００１２】
また前記パン角算出手段は、撮像手段座標系の座標軸が、前記撮像手段の光軸横方向のずれに伴って回動したときに、その回動の中心となる座標軸（Ｙｃ軸）に垂直な２つの座標軸（Ｘｃ軸及びＺｃ軸）を含む平面に、前記近似直線を投影した直線と、前記撮像手段の光軸に平行な座標軸（Ｚｃ軸）とのなす角として、前記パン角を算出する。
【００１３】
【発明の実施の形態】
以下本発明の実施の形態を図面を参照して説明する。
図１は本発明の一実施形態にかかる位置検出装置を含む、車両の周辺監視装置の構成を示す図であり、この装置は、遠赤外線を検出可能な２つの赤外線カメラ１Ｒ，１Ｌと、当該車両のヨーレートを検出するヨーレートセンサ５と、当該車両の走行速度（車速）ＶＣＡＲを検出する車速センサ６と、ブレーキの操作量を検出するためのブレーキセンサ７と、これらのカメラ１Ｒ，１Ｌによって得られる画像データの基づいて車両前方の動物等の対象物を検出し、衝突の可能性が高い場合に警報を発する画像処理ユニット２と、音声で警報を発するためのスピーカ３と、カメラ１Ｒまたは１Ｌによって得られる画像を表示するとともに、衝突の可能性が高い対象物を運転者に認識させるためのヘッドアップディスプレイ（以下「ＨＵＤ」という）４と、運転者がカメラ１Ｒ，１Ｌのパン角Φの算出を指示するために使用するパン角算出スイッチ８とを備えている。パン角Φは、カメラ１Ｒ、１Ｌの光軸の、車両進行方向に対するずれを示すパラメータであり、後述する図４の処理により算出される。
【００１４】
カメラ１Ｒ、１Ｌは、図２に示すように車両１０の前部に、車両１０の横方向の中心軸に対してほぼ対象な位置に離間して配置されており、２つのカメラ１Ｒ、１Ｌの光軸が互いに平行となり、両者の路面からの高さが等しくなるように固定されている。赤外線カメラ１Ｒ、１Ｌは、対象物の温度が高いほど、その出力信号レベルが高くなる（輝度が増加する）特性を有している。
【００１５】
画像処理ユニット２は、入力アナログ信号をディジタル信号に変換するＡ／Ｄ変換回路、ディジタル化した画像信号を記憶する画像メモリ、各種演算処理を行うＣＰＵ（Central Processing Unit）、ＣＰＵが演算途中のデータを記憶するために使用するＲＡＭ（Random Access Memory）、ＣＰＵが実行するプログラムやテーブル、マップなどを記憶するＲＯＭ（Read Only Memory）、スピーカ３の駆動信号、ＨＵＤ４の表示信号などを出力する出力回路などを備えており、カメラ１Ｒ，１Ｌ及びセンサ５〜７の出力信号は、ディジタル信号に変換されて、ＣＰＵに入力されるように構成されている。
ＨＵＤ４は、図２に示すように、車両１０のフロントウインドウの、運転者の前方位置に画面４ａが表示されるように設けられている。
【００１６】
図３は画像処理ユニット２における対象物の位置検出処理の手順を示すフローチャートであり、この処理は、所定時間毎に実行される。
先ずカメラ１Ｒ、１Ｌの出力信号をＡ／Ｄ変換して画像メモリに格納する（ステップＳ１１，Ｓ１２，Ｓ１３）。画像メモリに格納される画像は、輝度情報を含んだグレースケール画像である。図５（ａ）（ｂ）は、それぞれはカメラ１Ｒ，１Ｌによって得られるグレースケール画像（カメラ１Ｒにより右画像が得られ、カメラ１Ｌにより左画像が得られる）を説明するための図であり、ハッチングを付した領域は、中間階調（グレー）の領域であり、太い実線で囲んだ領域が、輝度レベルが高く（高温で）、画面上に白色として表示される対象物の領域（以下「高輝度領域」という）である。右画像と左画像では、同一の対象物の画面上の水平位置がずれて表示されるので、このずれ（視差）によりその対象物までの距離を算出することができる。
【００１７】
図３のステップＳ１４では、右画像を基準画像とし、その画像信号の２値化、すなわち、実験的に決定される輝度閾値ＩＴＨより明るい領域を「１」（白）とし、暗い領域を「０」（黒）とする処理を行う。図６に図５（ａ）の画像を２値化した画像を示す。この図は、ハッチングを付した領域が黒であり、太い実線で囲まれた高輝度領域が白であることを示している。
【００１８】
続くステップＳ１５では、２値化した画像データをランレングスデータに変換する処理を行う。図７（ａ）はこれを説明するための図であり、この図では２値化により白となった領域を画素レベルでラインＬ１〜Ｌ８として示している。ラインＬ１〜Ｌ８は、いずれもｙ方向には１画素の幅を有しており、実際にはｙ方向には隙間なく並んでいるが、説明のために離間して示している。またラインＬ１〜Ｌ８は、ｘ方向にはそれぞれ２画素、２画素、３画素、８画素、７画素、８画素、８画素、８画素の長さを有している。ランレングスデータは、ラインＬ１〜Ｌ８を各ラインの開始点（各ラインの左端の点）の座標と、開始点から終了点（各ラインの右端の点）までの長さ（画素数）とで示したものである。例えばラインＬ３は、（ｘ３，ｙ５）、（ｘ４，ｙ５）及び（ｘ５，ｙ５）の３画素からなるので、ランレングスデータとしては、（ｘ３，ｙ５，３）となる。
【００１９】
ステップＳ１６、Ｓ１７では、図７（ｂ）に示すように対象物のラベリングをすることにより、対象物を抽出する処理を行う。すなわち、ランレングスデータ化したラインＬ１〜Ｌ８のうち、ｙ方向に重なる部分のあるラインＬ１〜Ｌ３を１つの対象物１とみなし、ラインＬ４〜Ｌ８を１つの対象物２とみなし、ランレングスデータに対象物ラベル１，２を付加する。この処理により、例えば図６に示す高輝度領域が、それぞれ対象物１から４として把握されることになる。
【００２０】
ステップＳ１８では図７（ｃ）に示すように、抽出した対象物の面積重心Ｇ、面積Ｓ及び破線で示す外接四角形の縦横比ＡＳＰＥＣＴを算出する。面積Ｓは、ランレングスデータの長さを同一対象物について積算することにより算出し、面積重心Ｇの座標は、面積Ｓをｘ方向に２等分する線のｘ座標及びｙ方向に２等分する線のｙ座標として算出し、縦横比ＡＰＥＣＴは、図７（ｃ）に示すＤｙとＤｘとの比Ｄｙ／Ｄｘとして算出する。なお、面積重心Ｇの位置は、外接四角形の重心位置で代用してもよい。
【００２１】
ステップＳ１９では、対象物の時刻間追跡、すなわちサンプリング周期毎に同一対象物の認識を行う。アナログ量としての時刻ｔをサンプリング周期で離散化した時刻をｋとし、図８（ａ）に示すように時刻ｋで対象物１，２を抽出した場合において、時刻（ｋ＋１）で抽出した対象物３，４と、対象物１，２との同一性判定を行う。具体的には、以下の同一性判定条件１）〜３）を満たすときに、対象物１、２と対象物３、４とは同一であると判定し、対象物３、４をそれぞれ１，２というラベルに変更することにより、時刻間追跡が行われる。
【００２２】
１）時刻ｋにおける対象物ｉ（＝１，２）の画像上での面積重心位置座標を、それぞれ（ｘｉ（ｋ），ｙｉ（ｋ））とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での面積重心位置座標を、（ｘｊ（ｋ＋１），ｙｊ（ｋ＋１））としたとき、
｜ｘｊ（ｋ＋１）−ｘｉ（ｋ）｜＜ΔｘＭ
｜ｙｊ（ｋ＋１）−ｙｉ（ｋ）｜＜ΔｙＭ
であること。ただし、ΔｘＭ、ΔｙＭは、それぞれｘ方向及びｙ方向の画像上の変位量の許容値である。
【００２３】
２）時刻ｋにおける対象物ｉ（＝１，２）の画像上での面積をＳｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の画像上での面積をＳｊ（ｋ＋１）としたとき、
Ｓｊ（ｋ＋１）／Ｓｉ（ｋ）＜１±ΔＳ
であること。ただし、ΔＳは面積変化の許容値である。
【００２４】
３）時刻ｋにおける対象物ｉ（＝１，２）の外接四角形の縦横比をＡＳＰＥＣＴｉ（ｋ）とし、時刻（ｋ＋１）における対象物ｊ（＝３，４）の外接四角形の縦横比をＡＳＰＥＣＴｊ（ｋ＋１）としたとき、
ＡＳＰＥＣＴｊ（ｋ＋１）／ＡＳＰＥＣＴｉ（ｋ）＜１±ΔＡＳＰＥＣＴ
であること。ただし、ΔＡＳＰＥＣＴは縦横比変化の許容値である。
【００２５】
図８（ａ）と（ｂ）とを対比すると、各対象物は同図（ｂ）の方が画像上での大きさが大きくなっているが、対象物１と３とが上記同一性判定条件を満たし、対象物２と４とが上記同一性判定条件を満たすので、対象物３、４はそれぞれ対象物１、２と認識される。このようにして認識された各対象物の（面積重心の）位置座標は、時系列位置データとしてメモリに格納され、後の演算処理に使用される。
なお以上説明した図３のステップＳ１４〜Ｓ１９の処理は、２値化した基準画像（本実施形態では、右画像）ついて実行する。
【００２６】
図３のステップＳ２０では、車速センサ６により検出される車速ＶＣＡＲ及びヨーレートセンサ５より検出されるヨーレートＹＲを読み込む。
一方ステップＳ３１では、先ず図９に示すように右画像（基準画像）に含まれる対象物像ＯＢＪＲ１に対応する左画像（探索画像）中の対象物像ＣＯＢＪＬ１を求める。次いで、対象物像ＯＢＪＲ１の面積重心位置と、画像左端との距離ｄＲ（画素数）及び対応対象物像ＣＯＢＪＬ１の面積重心位置と画像左端との距離ｄＬ（画素数）を算出し、下記式（１）に適用して、車両１０と、対象物との距離ｚを算出する。ステップＳ３１は、ステップＳ１９の処理に比べて長い時間を要するので、ステップＳ１９より長い周期（例えばステップＳ１１〜Ｓ１９の実行周期の３倍程度の周期）で実行される。
【数１】

【００２７】
ここで、Ｂは基線長、すなわち図１０に示すようにカメラ１Ｒの撮像素子１１Ｒの中心位置と、カメラ１Ｌの撮像素子１１Ｌの中心位置との水平方向（ｘ方向）の距離（両カメラの光軸の間隔）、Ｆはレンズ１２Ｒ、１２Ｌの焦点距離、ｐは、撮像素子１１Ｒ、１１Ｌ内の画素間隔であり、Δｄ（＝ｄＬ−ｄＲ）が視差である。
【００２８】
図３のステップＳ２１では、パン角算出スイッチ８がオンされたか否かを判別し、オフのときは直ちにステップＳ２３に進む一方、オンのときは、図４に示すパン角算出処理を実行する（ステップＳ２２）。
【００２９】
図４の処理を説明する前にパン角算出手法の概要を説明する。
先ずカメラにより得られる画像内の対象物像の座標（ｘ，ｙ）及び式（１）により算出した距離ｚを下記式（２）に適用することにより、カメラの光軸を基準とするカメラ座標系における座標（Ｘｃ，Ｙｃ，Ｚｃ）を算出する。ここで、カメラ座標系は、図１１（ａ）に示すように、カメラ１Ｒ、１Ｌの取り付け位置の中点の位置（車両１０に固定された位置）を原点Ｏｃとし、この原点Ｏｃを通り、カメラ１Ｒの光軸に平行な軸をＺｃ軸として、図示のように定め、画像内の座標は同図（ｂ）に示すように、画像の中心を原点として水平方向をｘ、垂直方向をｙと定めている。
【数２】

【００３０】
式（２）において、（ｘｃ，ｙｃ）は、右画像上の座標（ｘ，ｙ）を、カメラ１Ｒの取り付け位置と、原点Ｏｃとの相対位置関係基づいて、原点Ｏｃと画像の中心とを一致させた仮想的な画像内の座標に変換したものである。またｆは、焦点距離Ｆと画素間隔ｐとの比である。
【００３１】
カメラ座標系は、カメラの光軸の方向が車両１０の進行方向に対して横方向にずれると、Ｙｃ軸を中心として回動（回転移動）するので、そのようなずれの影響を受けない座標系として、車両１０の進行方向を基準とした実空間座標系Ｏ−Ｘ−Ｙ−Ｚを定義する。実空間座標系は、カメラ光軸の横方向のずれがない、すなわちパン角Φ＝０の状態では、図１１（ｃ）に示すようにカメラ座標系Ｏｃ−Ｘｃ−Ｙｃ−Ｚｃと一致するが、例えばカメラの光軸が右方向に回動したときは、Ｘ軸及びＺ軸は、同図（ｄ）に示すように、Ｘｃ軸及びＺｃ軸とずれる。
【００３２】
図１２は、図１１（ｄ）に示すような状態を、Ｙ軸の負の方向からみた図である。すなわち図１２は、Ｙ軸（Ｙｃ軸）の正方向が、紙面の表から裏に向かう方向となるように示されている。この図において、ＰＬは画像面であり、Ｚｃ＝Ｆの平面として示される。画像上で座標ｑ＝（ｘ０ｃ，ｙ０ｃ）に位置する対象物像について距離ｚ０が算出されると、式（２）により、カメラ座標系における対象物の位置座標Ｑ＝（Ｘ０ｃ，Ｙ０ｃ，Ｚ０ｃ）が算出される。この座標Ｑに対応する実空間座標系における位置座標Ｐを（Ｘ０，Ｙ０，Ｚ０）とすると、座標ＰとＱの関係は、下記式（３）で与えられる。
【数３】

ここで、Φは、カメラの光軸（Ｚｃ軸）と車両１０の進行方向（Ｚ軸）とのなすパン角である。パン角Φは、図１２に示すようにＺｃ軸がＺ軸に対して右方向に回動したときを正とし、逆に左方向に回動したときを負とする。
【００３３】
したがって、カメラ座標系における座標Ｑを、式（３）を用いて実空間座標系における座標Ｐに変換するためには、パン角Φを求める必要がある。そこで、次にパン角Φの算出方法を説明する。
車両１０が静止対象物に対して直進している状態において、車両１０から観測される静止対象物の時系列の位置座標は、図１３にＱ（Ｎ−１），Ｑ（Ｎ−２），…，Ｑ（１），Ｑ（０）として示すように、実空間座標系のＺ軸からの距離がαで、且つＺ軸に平行な直線ＬＱ上に並ぶ。ここで、Ｑ（ｊ）（ｊ＝０〜Ｎ−１）は、ｊサンプル期間前の位置座標であり、Ｑ（０）が最新の位置座標である。この直線ＬＱをカメラ座標系で観測すると、傾きを持った直線として認識され、この直線ＬＱとＺｃ軸とのなす角がパン角Φと等しい。なお、直線ＬＱは、３次元空間上では、Ｚｃ軸と交わるとは限らないので、パン角Φは、より正確には直線ＬＱをＸｃＺｃ平面への投影した直線と、Ｚｃ軸とのなす角として、算出することができる。
【００３４】
実際に走行する車両１０から静止対象物の位置を検出すると、得られる位置データは、図１３に示すようにきれいに直線ＬＱ上に並ぶことはなく、直線ＬＱの近傍に分布するようなデータが得られる。したがって、本実施形態では、以下に説明する手法で、検出位置データから静止対象物の相対移動軌跡を近似する近似直線ＬＭＶ（直線ＬＱとして推定される線）を算出し、その近似直線ＬＭＶをＸｃＺｃ平面に投影した直線と、Ｚｃ軸とのなす角として、パン角Φを算出する。
【００３５】
図１４に示すように同一対象物について、（Ｎ−１）サンプル期間内に得られた、カメラ座標系におけるＮ個の位置データ（例えばＮ＝２０程度）、すなわち時系列データＱ（Ｎ−１），Ｑ（Ｎ−２），…，Ｑ（１），Ｑ（０）から、対象物と車両１０との相対移動軌跡に対応する近似直線ＬＭＶを求める。具体的には、近似直線ＬＭＶの方向を示す方向ベクトルＬ＝（Ｌｘ，Ｌｙ，Ｌｚ）（｜Ｌ｜＝１）とすると、下記式（４）で表される直線を求める。
【数４】

【００３６】
ここでｕは、任意の値をとる媒介変数であり、Ｘａｖ，Ｙａｖ及びＺａｖは、それぞれカメラ座標系における位置データ列のＸｃ座標の平均値、Ｙｃ座標の平均値及びＺｃ座標の平均値である。なお、式（４）は媒介変数ｕを消去すれば下記式（４ａ）のようになる。
（Ｘｃ−Ｘａｖ）／Ｌｘ＝（Ｙｃ−Ｙａｖ）／Ｌｙ
＝（Ｚｃ−Ｚａｖ）／Ｌｚ（４ａ）
【００３７】
近似直線ＬＭＶは、図１４に示す時系列データの平均位置座標Ｑａｖ（＝（Ｘａｖ，Ｙａｖ，Ｚａｖ））を通り、各データ点からの距離の２乗の平均値が最小となるような直線として求められる。
【００３８】
より具体的には、平均位置座標Ｑａｖから各データ点の座標Ｑ（０）〜Ｑ（Ｎ−１）に向かうベクトルＤ（ｊ）＝（ＤＸ（ｊ），ＤＹ（ｊ），ＤＺ（ｊ））＝（Ｘｃ（ｊ）−Ｘａｖ，Ｙｃ（ｊ）−Ｙａｖ，Ｚｃ（ｊ）−Ｚａｖ）と、方向ベクトルＬとの内積ｓを下記式（５）により算出し、この内積ｓの分散が最大となる方向ベクトルＬ＝（Ｌｘ，Ｌｙ，Ｌｚ）を求める。
ｓ＝Ｌｘ・ＤＸ（ｊ）＋Ｌｙ・ＤＹ（ｊ）＋Ｌｚ・ＤＺ（ｊ）（５）
【００３９】
各データ点の座標の分散共分散行列Ｖは、下記式（６）で表され、この行列の固有値σが内積ｓの分散に相当するので、この行列から算出される３つの固有値のうち最大の固有値に対応する固有ベクトルが求める方向ベクトルＬとなる。なお、式（６）の行列から固有値と固有ベクトルを算出するには、ヤコビ法（例えば「数値計算ハンドブック」（オーム社）に示されている）として知られている手法を用いる。
【数５】

このようにして、方向ベクトルＬが求まると、パン角Φは、下記式（７）で与えられる。
【数６】

【００４０】
以上の説明は、Ｎ個の時系列位置データを計測中において車両１０が直進していることを前提としている。しかしながら、通常は車両１０が走行すると僅かではあってもヨー角θｒが発生するので、その場合にはヨー角θｒの影響を除く補正をする必要がある。以下ヨー角θｒの影響、すなわち車両の旋回走行の影響を除く補正をする方法を図１５を参照して説明する。
【００４１】
図１５（ａ）において、ＰＢは車両１０の現在の位置を示し、ＰＡは時間ΔＴ（（Ｎ−１）サンプル期間）前の位置を示す。すなわち、車両１０が点ＰＡからヨー角θｒの旋回走行を行って点ＰＢに達した場合を例にとって説明すると、旋回走行の影響を除くためには、実際には位置ＰＡで観測した静止対象物ＯＢＪＳの座標を、位置ＰＣで観測した座標に変換する必要がある。位置ＰＣは、現在の車両進行方向を示す直線ＬＰＤと、位置ＰＡを通り直線ＬＰＤに垂直な直線ＬＨとの交点である。
【００４２】
同図（ｂ）は、カメラ１Ｒにより得られる画像上の静止対象物像を示しており、ＯＢＪＳＡ，ＯＢＪＳＢ及びＯＢＪＳＣが、それぞれ位置ＰＡ，ＰＢ及びＰＣで観測したときの、対象物像の位置を示している。
ここで、位置ＰＡにおいて静止対象物ＯＢＪＳを観測したときの、カメラ座標系における座標ＱＯＢＪＡを（Ｘ１ｃ，Ｙ１ｃ，Ｚ１ｃ）とし、位置ＰＣにおいて静止対象物ＯＢＪＳを観測したときの、カメラ座標系のおける座標ＱＯＢＪＣを（Ｘ１Ｒｃ，Ｙ１Ｒｃ，Ｚ１Ｒｃ）とすると、座標ＱＯＢＪＡとＱＯＢＪＣとの関係は下記式（８）で与えられる。ここでｒ及びＴｘは、図１５（ａ）に示すように旋回走行の曲率半径及びＸ方向の補正量であり、下記式（９）及び（１０）により算出される。なお、式（９）のＤは、位置ＰＡからＰＢまでの車両１０の車両移動量である。
【数７】

式（８）を用いて、時系列データＱ（ｊ）に対してヨー角補正を行うことにより、時系列位置データ計測中の車両１０の旋回走行の影響（旋回走行に起因する誤差）を除くことができ、正確なパン角Φを算出することができる。
【００４３】
図４に戻り、ステップＳ４１では、車速ＶＣＡＲを時間積分することにより、車両移動量Ｄを算出するとともに、ヨーレートＹＲを時間積分することより、車両１０のヨー角（回頭角）θｒを算出し、静止対象物に位置データに対応させて記憶する。
【００４４】
ステップＳ４２では、静止対象物についてカメラ座標系の位置データを算出する。ここで「静止対象物」は、例えば信号機や電柱のように、車両走行中に検知される可能性が高く、且つ確実に静止している対象物とし、このような対象物の特徴の有無により判定する。具体的には、以下のような条件を満たすものを「静止対象物」と判定する。
【００４５】
１）円形の同一サイズの対象物が並んで存在し、高さが４．５ｍ以上の対象物
２）高さが５ｍ以上の長方形の対象物
次に同一の静止対象物についての位置データの数が所定数Ｎ（例えば２０）個以上となったか否かを判別し（ステップＳ４３）、データ数＜Ｎである間は、直ちに本処理を終了する。
【００４６】
データ数が所定数Ｎに達すると、ステップＳ４４に進み、ステップＳ４１で算出、記憶した車両移動量Ｄ及びヨー角θｒに応じた各位置データの補正、すなわち式（８）による補正を実行する。そして、補正後のＮ個の位置データに基づいて近似直線ＬＭＶを算出し（ステップＳ４５）、式（７）によりパン角Φを算出する（ステップＳ４６）。
【００４７】
図１６は、図１５に示すような旋回走行中に、パン角Φを算出するために実際に検出した静止対象物ＯＢＪＳの時系列位置データＤＰ１、及びヨー角補正後の時系列位置データＤＰ２の例を示す。すなわち、図１６のＤＰＡ、ＤＰＢ及びＤＰＣが、それぞれ図１５（ａ）の位置ＰＡ，ＰＢ及びＰＣにおいて観測した位置データに対応する。そして、ヨー角補正後の時系列位置データに基づいて近似直線ＬＭＶを算出すると、方向ベクトルＬ＝（−０．００１５，０．００２８６，０．９９９６）となり、パン角Φ＝−０．０８度となる。この実験に使用したカメラの実際のパン角Φは「０」となるように調整されており、距離に対して横方向の位置で約１％の誤差でパン角Φを算出することができた。なお、この例では時間ΔＴは、約１．４秒である。
【００４８】
図３に戻り、ステップＳ２３では、画像上の位置座標（ｘｃ，ｙｃ）及び距離ｚを式（２）に適用して、カメラ座標系における位置座標（Ｘｃ，Ｙｃ，Ｚｃ）を算出し、次いで、座標（Ｘｃ，Ｙｃ，Ｚｃ）及びステップＳ２２で算出されたパン角Φを、式（３）に適用して実空間座標系における座標（Ｘ，Ｙ，Ｚ）を算出し（ステップＳ２４）、本処理を終了する。
【００４９】
このように本実施形態では、カメラ座標系における時系列位置データＱ（ｊ）に基づいて近似直線ＬＭＶを算出し、この近似直線ＬＭＶの方向ベクトルＬからパン角Φを算出するようにしたので、カメラ１Ｒ、１Ｌの光軸のずれを示すパン角をカメラ１Ｒ、１Ｌにより得られる画像に基づいて正確に算出することができる。さらにパン角Φに応じてカメラ座標系の位置座標を実空間座標系の位置座標に変換するようにしたので、カメラ１Ｒ、１Ｌの光軸が車両進行方向に対して横方向にずれていても、対象物の正確な位置検出を行うことができる。
【００５０】
またパン角Φの算出は、ヨー角補正後の時系列位置データを用いるようにしたので、パン角Φの算出処理中に車両１０が旋回走行をした場合でも、正確なパン角を算出することができる。
画像処理ユニット２は、図３の処理により算出された対象物の実空間上の位置情報に基づいて、その対象物と車両１０との衝突の可能性を判定し、衝突の可能性が高いときは、スピーカ３及びＨＵＤ４を介して運転者への警報を発する。
【００５１】
本実施形態では、画像処理ユニット２が位置検出装置を構成し、より具体的には、図３のステップＳ２３及び図４のステップＳ４２が、第１の位置データ算出手段に相当し、図４のステップＳ４５及びステップＳ４６が、それぞれ近似直線算出手段及びパン角算出手段に相当し、図３のステップＳ２４が第２の位置データ算出手段に相当し、図４のステップＳ４４が旋回走行補正手段に相当する。
【００５２】
なお本発明は上述した実施形態に限るものではなく、種々の変形が可能である。例えば、上述した実施形態では、２つカメラ１Ｒ，１Ｌの光軸は平行であることを前提としているが、両者が平行でないときは、視差に基づいて算出される距離ｚがその平行度ずれに応じた一定の誤差を含むので、本出願人による特願平１１−３４５９９６号に示した手法により、平行度ずれに起因する距離の誤差を求めて、距離ｚを補正し、補正後の距離ｚを用いて位置検出を行うことが望ましい。
【００５３】
また上述した実施形態では、撮像手段として赤外線カメラを使用したが、例えば特開平９−２２６４９０号公報に示されるように通常の可視光線のみ検出可能なテレビカメラを使用してもよい。ただし、赤外線カメラを用いることにより、動物等あるいは走行中の車両などの抽出処理を簡略化することができ、演算装置の演算能力が比較的低いものでも実現できる。
【００５４】
また上述した実施形態では、運転者がパン角算出スイッチ８をオンしたときに、パン角算出処理を実行するようにしたが、所定期間（例えば１〜２ヶ月）毎に自動的に実行するようにしてもよいし、あるいは所定期間内にスイッチ８がオンされないときのみ、前回のパン角算出時点から所定期間経過後にパン角算出処理を実行するようにしてもよい。
【００５５】
【発明の効果】
以上詳述したように請求項１に記載の発明によれば、撮像手段により得られる対象物の画像から、撮像手段の光軸を基準とする撮像手段座標系における対象物の３次元空間上の位置データを算出する第１の位置データ算出手段により、静止対象物の時系列の位置データが算出され、該算出された時系列の位置データに基づいて静止対象物の３次元空間上の相対移動軌跡を近似する近似直線が算出され、撮像手段座標系の座標軸が回動したとき、その回動の中心となる座標軸に垂直な２つの座標軸を含む平面に近似直線を投影した直線と、撮像手段の光軸に平行な座標軸とのなす角が撮像手段の光軸のパン角として算出される。そして、撮像手段座標系における対象物の位置データをパン角に応じて補正することにより、実空間座標系における対象物の位置データが算出される。したがって、撮像手段の光軸の横方向のずれを示すパン角を、撮像手段により得られる画像に基づいて簡単且つ正確に算出し、パン角の影響を除いて正確な位置検出を行うことができる。
【００５６】
請求項２に記載の発明によれば、車両の旋回走行に関するパラメータを用いて、第１の位置データ算出手段により算出された位置データが補正され、該補正後の位置データに基づいて近似直線が算出されるので、パン角算出処理中に車両が旋回した場合でも、正確なパン角の算出を行うことができる。
【図面の簡単な説明】
【図１】本発明の一実施形態にかかる位置検出装置を含む、車両の周辺監視装置の構成を示す図である。
【図２】赤外線カメラの取り付け位置を説明するための図である。
【図３】対象物を抽出した位置検出を行う処理の手順を示すフローチャートである。
【図４】図３の実空間位置算出処理のフローチャートである。
【図５】赤外線カメラにより得られるグレースケール画像を説明するために、中間階調部にハッチングを付して示す図である。
【図６】グレースケール画像を２値化した画像を説明するために、黒の領域をハッチングを付して示す図である。
【図７】ランレングスデータへの変換処理及びラベリングを説明するための図である。
【図８】対象物の時刻間追跡を説明するための図である。
【図９】視差の算出方法を説明するための図である。
【図１０】視差から距離を算出する手法を説明するための図である。
【図１１】本実施形態における座標系を示す図である。
【図１２】カメラの光軸が横方向にずれた場合のカメラ座標系と、実空間座標系との関係を示す図である。
【図１３】パン角の算出方法を説明するための図である。
【図１４】近似直線の算出方法を説明するための図である。
【図１５】車両の旋回走行中に検出した位置データに基づいてパン角を算出する方法を説明するための図である。
【図１６】旋回走行中の実測位置データ及びヨー角に応じた補正後の位置データを示す図である。
【符号の説明】
１Ｒ、１Ｌ赤外線カメラ（撮像手段）
２画像処理ユニット（第１の位置データ算出手段、近似直線算出手段、パン角算出手段、第２の位置データ算出手段、旋回走行補正手段）

Claims

車両に搭載された２つの撮像手段によって得られる画像に基づいて対象物の実空間座標系における位置を検出する位置検出装置において、
前記撮像手段により得られる対象物像から、前記撮像手段の光軸を基準とする撮像手段座標系における前記対象物の３次元空間上の位置データを算出する第１の位置データ算出手段と、
該第１の位置データ算出手段により静止対象物の時系列位置データを算出し、該算出した時系列位置データに基づいて前記静止対象物の３次元空間上の相対移動軌跡を近似する近似直線を算出する近似直線算出手段と、
該近似直線に基づいて、前記撮像手段座標系の座標軸が、前記撮像手段の光軸横方向のずれに伴って回動したとき、その回動の中心となる座標軸に垂直な２つの座標軸を含む平面に、前記近似直線を投影した直線と、前記撮像手段の光軸に平行な座標軸とのなす角を前記撮像手段の光軸のパン角として算出するパン角算出手段と、
前記撮像手段座標系における前記対象物の位置データを、前記パン角に応じて補正することにより、前記実空間座標系における位置データを算出する第２の位置データ算出手段とを備えることを特徴とする位置検出装置。
前記近似直線算出手段は、前記車両の旋回走行に関するパラメータを用いて、前記第１の位置データ算出手段により算出される前記静止対象物の時系列位置データを補正する旋回走行補正手段を有し、該補正後の時系列位置データに基づいて前記近似直線を算出することを特徴とする請求項１に記載の位置検出装置。