JP5113867B2

JP5113867B2 - 車両周辺監視装置

Info

Publication number: JP5113867B2
Application number: JP2010072222A
Authority: JP
Inventors: 裕次横地; 敦央江口; 守道西垣
Original assignee: Honda Motor Co Ltd
Current assignee: Honda Motor Co Ltd
Priority date: 2010-03-26
Filing date: 2010-03-26
Publication date: 2013-01-09
Anticipated expiration: 2030-03-26
Also published as: JP2011204111A

Description

本発明は、車両に設けられたカメラによる撮像画像から、車両周辺の監視対象物を検出する車両周辺監視装置に関する。

車両に設けられたカメラを用いて走行中に車両周辺を監視する場合、ピッチング（鉛直方向の車両の揺れ）等によりカメラの視軸が変化したときであっても、監視対象物を安定して検出できることが望ましい。

そこで、車両に設けられたカメラの時系列画像間で特徴点を追跡して因子分解法により各特徴点の三次元座標値を求め、この三次元座標値の再投影誤差を最小とするように最適化を行ってカメラ運動を推定することにより、撮像時のカメラの三次元位置及び姿勢を求める方法が提案されている（例えば、特許文献１参照）。

特開２００７−２９２６５７号公報

上述した特許文献１に記載された方法では、パターンマッチング等の処理により各時系列画像から同一物体の同一特徴点を抽出して、特徴点の追跡を行い、この追跡結果に基づいてカメラ運動を推定している。そのため、特徴点の誤検出により特徴点の追跡を誤ると、カメラ運動を精度良く推定することができないという不都合がある。

また、各時系列画像から同一物体の特徴量を抽出して特徴量を求める処理は、膨大な計算量を要するため、短時間で処理を行うには高性能の処理系を備えなけらばならないという不都合がある。

さらに、物体の移動態様（移動方向、移動量）や物体の明暗の変化等により、特徴量の追跡を正確に行うことができなくなる場合があるという不都合がある。

本発明は上記背景を鑑みてなされたものであり、カメラの時系列画像間での特徴点の追跡を行うことなく、計算量を低減させてカメラ運動を精度良く求めることができる車両周辺監視装置を提供することを目的とする。

先ず、本発明の前提となるエピポーラ幾何の考え方について、図１１を参照して説明する。

図１１は、カメラ１００の視点Ｖp1及びカメラ１０１の視点Ｖp2と、空間上の注目点Ｐtとを結んだ平面として定義されるエピポーラ平面Ｅfと、カメラ１００の撮像面Ｉp1及びカメラ１０１の撮像面Ｉp2との位置関係を示したものである。エピポーラ平面Ｅfと各撮像面Ｉp1及びＩp2との交線ＥL1，ＥL2をエピポーラ線といい、視点Ｖp1及びＶp2を結ぶ直線と各撮像面Ｉp1，Ｉp2との交点Ｅp1，Ｅp2をエピポールという。

図１１に示したように、空間上の一つの注目点Ｐtに対して一つのエピポーラ平面Ｅfが規定され、エピポーラ平面Ｅfと各撮像面Ｉp1，Ｉp2との交線（エピポーラ線）ＥL1，ＥL2が定まる。そして、注目点Ｐtの撮像面Ｉp1での対応点ｍ1は撮像面Ｉp1のエピポーラ線ＥL1上に存在し、注目点Ｐtの撮像面Ｉp2での対応点ｍ2は撮像面Ｉp2のエピポーラ線ＥL2上に存在するという拘束関係（エピポーラ拘束）がある。

また、図１１では２台のカメラ１００，１０１により撮像する例を示したが、１台のカメラにより異なる時間で撮像された２つの画像についても、同様にしてエピポーラ拘束を考えることができる。

本発明は、上記エピポーラ拘束の考え方を用いたものであり、車両に搭載されたカメラにより異なる時点で撮像された画像間での特徴点の変位に基づいて、前記カメラの視軸の変化を示すカメラ運動を推定するカメラ運動推定部と、前記カメラによる撮像画像と前記カメラ運動とに基づいて、車両周囲に所在する対象物の位置を検知する対象物検知部とを備えた車両周辺監視装置に関する。

そして、本発明の第１の態様は、前記カメラ運動推定部は、前記カメラにより異なる時点で撮像された第１撮像画像及び第２撮像画像について、該第１撮像画像から所定条件を満たす複数の第１特徴点を抽出すると共に、該第２撮像画像から該所定条件を満たす複数の第２特徴点を抽出する特徴点抽出処理と、前記第２撮像画像の撮像時におけるカメラ運動を想定した仮カメラ運動を設定し、前記複数の第１特徴点を一つずつ順次選択して、選択した第１特徴点に対応する前記第２撮像画像での第２エピポーラ線を求め、前記複数の第２特徴点から該第２エピポーラ線までの距離が最小となる第２特徴点を抽出して、該最小の距離を該選択した第１特徴点の距離誤差とし、各第１特徴点の距離誤差の総和を算出する総距離誤差算出処理を、前記仮カメラ運動を変更しながら繰り返し実行して、該距離誤差の総和が最小となる前記仮カメラ運動を求める仮カメラ運動最適化処理と、前記距離誤差の総和が最小となる仮カメラ運動を、前記カメラ運動として推定するカメラ運動推定処理とを実行することを特徴とする。

かかる本発明によれば、前記車両運動推定部は、前記特徴点抽出処理により、前記第１撮像画像から前記第１特徴点を抽出すると共に、前記第２撮像画像から前記第２特徴量を抽出する。そして、前記仮カメラ運動最適化処理により、各第１特徴点の前記距離誤差の総和が最小となる仮カメラ運動を求めている。

ここで、図１２に示したように、車両に搭載されたカメラ１１０の視軸が、カメラ運動Ｍij(車両のピッチング等によるカメラ１１０の姿勢の変化）により、前回の撮像時（フレームｉの撮像時）と今回の撮像時（フレームｊの撮像時）間で変化した場合を考えると、今回の撮像時でのエピポールは、カメラ運動Ｍijに応じて変化する。

そして、このエピポールの変化に応じて、空間上の対象物に応じたフレームｊの撮像画像Ｉm102でのエピポーラ線が変化する。そのため、フレームｊの撮像時の仮カメラ運動をいくつか設定し、各仮カメラ運動に基づくエピポーラ線（ＥL100、ＥL101、ＥL102、ＥL103、ＥL104、…）のうち、対象物の画像の特徴点ｍ102との距離が最小になるエピポーラ線が設定される仮カメラ運動を求めることで、カメラ運動Ｍijを推定することができる。

そこで、前記車両運動推定部は、前記仮カメラ運動最適化処理により前記各第１特徴点の距離誤差の総和が最小となる仮カメラ運動を求め、該仮カメラ運動を前記カメラ運動として推定する前記カメラ運動推定処理を実行する。これにより、時系列画像間の特徴量の追跡を不要として、計算量を低減させてカメラ運動を精度良く推定することができる。

次に、本発明の第２の態様は、前記車両運動推定部は、前記カメラにより異なる時点で撮像された第１撮像画像及び第２撮像画像について、該第１撮像画像から所定条件を満たす複数の第１特徴点を抽出すると共に、該第２撮像画像から該所定条件を満たす複数の第２特徴点を抽出する特徴点抽出処理と、前記第２撮像画像の撮像時におけるカメラ運動を想定した仮カメラ運動を設定し、前記複数の第１特徴点を一つずつ順次選択して、選択した第１特徴点に対応する前記第２撮像画像での第２エピポーラ線を求めると共に、前記複数の第２特徴点に対応する前記第１画像での第１エピポーラ線を求め、前記複数の第２特徴点のうち、該第２エピポーラ線との距離と、該選択した第１特徴点と該対応する第１エピポーラ線との距離の和が最小となる第２特徴点を抽出して、該最小となる距離の和を該選択した第１特徴点の距離誤差とし、各第１特徴点の距離誤差の総和を算出する処理を、前記仮カメラ運動を変更しながら繰り返し実行して、該距離誤差の総和が最小となる前記仮カメラ運動を求める仮カメラ運動最適化処理と、前記距離誤差の総和が最小となる仮カメラ運動を、前記カメラ運動として推定するカメラ運動推定処理とを実行することを特徴とする。

かかる本発明によれば、詳細は後述するが、前記仮カメラ運動が真のカメラ運動に近いほど、前記第１撮像画像の前記第１エピポーラ線と前記第１特徴点との距離、及び前記第２撮像画像の前記第２エピポーラ線と前記第２特徴点との距離がいずれも短くなる。そこで、前記カメラ運動推定部は、前記仮カメラ運動最適化処理により各第１特徴点の前記距離誤差の総和が最小となる仮カメラ運動を求めて、該仮カメラ運動を前記カメラ運動として推定する前記カメラ運動推定処理を実行する。これにより、時系列画像間の特徴点の追跡を不要として、計算量を低減させてカメラ運動を精度良く推定することができる。

次に、本発明の第３の態様は、前記車両運動推定部は、前記カメラにより異なる時点で撮像された第１撮像画像及び第２撮像画像について、該第１撮像画像から所定条件を満たす複数の第１特徴点を抽出すると共に、該第２撮像画像から該所定条件を満たす複数の第２特徴点を抽出する特徴点抽出処理と、前記第２撮像画像の撮像時におけるカメラ運動を想定した仮カメラ運動を設定し、前記複数の第１特徴点を一つずつ順次選択して、選択した第１特徴点に対応する前記第２撮像画像での第２エピポーラ線を求め、該第２エピポーラ線の線上に前記第２特徴点が位置しているか否かを判断し、各第１特徴点のうち、対応する前記第２撮像画像での第２エピポーラ線の線上に前記第２特徴点が存在するものの個数である対特徴点数を算出する処理を、前記仮カメラ運動を変更しながら繰り返し実行して、該対特徴点数が最大となる前記仮カメラ運動を求める仮カメラ運動最適化処理と、前記対特徴点数が最大となる仮カメラ運動を、前記カメラ運動として推定するカメラ運動推定処理とを実行することを特徴とする。

かかる本発明によれば、前記仮カメラ運動が真のカメラ運動に近いほど、前記仮カメラ運動最適化処理により算出される、対応する前記第２撮像画像での前記第２エピポーラ線の線上に前記第２特徴点が存在する前記第１特徴点の個数である前記対特徴点数が多くなる。そこで、前記カメラ運動推定部は、前記仮カメラ運動最適化処理により前記対特徴点数が最大となる仮カメラ運動を求めて、該仮カメラ運動を前記カメラ運動として推定する前記カメラ運動推定処理を実行する。これにより、時系列画像間の特徴量の追跡を不要として、計算量を低減させてカメラ運動を精度良く推定することができる。

また、前記第１から第３の実施の態様において、前記車両の挙動を検出する車両挙動検出部を備え、前記車両運動推定部は、前記車両の挙動に応じて、前記仮カメラ運動最適化処理における前記仮カメラ運動の初期値を決定することを特徴とする。

かかる本発明によれば、前記車両挙動検出部により検出される前記車両の挙動（例えば、ヨー角、車速、加減速、ナビゲーションシステムから提供される道路の勾配・曲率等により検出される）から、前記第１撮像画像と前記第２画像間における前記カメラ運動を想定して、前記仮カメラ運動の初期値を決定することにより、真のカメラ運動に近い仮カメラ運動を速やかに求めることができる。

また、前記車両運動推定部は、前記仮カメラ運動に対応する前記車両の移動方向に合わせて、前記仮カメラ運動最適化処理における前記仮カメラ運動の変更態様を決定することを特徴とする。

かかる本発明によれば、前記仮カメラ運動に対応する前記車両の移動方向に合わせて前記仮カメラ運動を変更することにより、前記仮カメラ運動最適化処理において、真のカメラ運動に近い仮カメラ運動を効率良く求めることができる。

また、前記対象物の移動量を検出する移動量検出部を備え、前記所定条件に、移動量が所定値以下であることが含まれていることを特徴とする。

かかる本発明によれば、静止物又は静止物と同一視できる対象物の画像を用いることで、前記カメラ運動を推定するときに対象物の移動による誤差が生じることを抑制することができる。

車両周辺監視装置の構成図。車両周辺監視装置の車両への取付態様の説明図。ピッチングによるエピポールの変化の説明図。第１の実施形態における仮カメラ運動の最適化処理の説明図。距離誤差の算出処理の説明図。エピポーラ線と第２特徴点との距離の算出の説明図。第２の実施形態における仮カメラ運動の最適化処理の説明図。第３の実施形態における仮カメラ運動の最適化処理の説明図。仮カメラ運動の初期設定の説明図。仮カメラ運動の変更態様の説明図。エピポーラ幾何の説明図。カメラ運動の推定方法の説明図。

本発明の実施形態について、図１〜図１０を参照して説明する。図１を参照して、本発明の車両周辺監視装置は、ＥＣＵ（Electronic Control Unit）１と、遠赤外線を検出可能な赤外線カメラ２（本発明のカメラに相当する）と、レーザー光線を物体に照射してその反射波を受信することにより物体と車両間の実空間上の相対位置（相対距離を含む）を検出するレーザーレーダー８と、車両のヨーレートを検出するヨーレートセンサ３と、車両の走行速度を検出する車速センサ４とを備えている。

ＥＣＵ１は、レーザーレーダー８による物体の位置の検出データと赤外線カメラ２による撮像画像から、車両前方に所在する物体の種別（他車両、自転車、歩行者等）を判別し、車両が接触する可能性が高い自転車又は歩行者を検知したときに警報を出力する。そして、車両周辺監視装置は、音声により警報を行うためのスピーカ５と、監視対象物を運転者に視認させる表示を行うためのヘッドアップディスプレイ（以下、ＨＵＤという）７とを備えている。

次に、図２を参照して、車両周辺監視装置の車両への取付け態様を説明する。レーザーレーダー８はスキャン方式のレーザーレーダーであり、車両１０の前部に配置されている。そして、レーザーレーダー８は、予め設定された前方（車両１０の進行方向）の第１監視範囲内を水平方向及び垂直方向に走査する。

また、赤外線カメラ２は、撮像物の温度が高い程出力レベルが高くなる（輝度が大きくなる）特性を有している。そして、赤外線カメラ２は、車両１０の前部に配置されて予め設定された前方の第２監視範囲（上記第１監視範囲内に設定される）を撮像する。ＨＵＤ７は、車両１０のフロントウィンドウの運転者側の前方位置に画面７ａが表示されるように設けられている。

また、図１を参照して、ＥＣＵ１は、赤外線カメラ２から出力されるアナログの映像信号をデジタルデータに変換して画像メモリ１２に取り込む画像入力回路１１と、画像メモリ１２に取り込まれた画像データにアクセス（読出し及び書込み）するためのインターフェース回路（図示しない）と、レーザーレーダー８による物体の位置（車両１０からの物体の相対位置）の検出信号を入力するためのインターフェース回路（図示しない）とを有している。

また、ＥＣＵ１は、画像メモリに取り込まれた車両前方の画像データに対して各種の演算処理を行うコンピュータ（ＣＰＵ，メモリ，入出力回路等からなる演算処理回路、或いはこれらの機能を集約したマイクロコンピュータ）等を備えた電子ユニットである。

そして、前記コンピュータに車両周辺監視用のプログラムを実行させることによって、前記コンピュータが、時系列画像間の撮像時における赤外線カメラ２の視軸の変化を示すカメラ運動の推定値Ｍij_eを求めるカメラ運動推定部１３と、カメラ運動の推定値Ｍij_eとレーザーレーダー８による検出データ及び赤外線カメラ２の撮像画像とに基づいて車両１０と接触する可能性が高い物体（対象物）を検出する対象物検知部１４として機能する。

カメラ運動推定部１３は、所定の制御周期をもって撮像された第１撮像画像Ｉm1と第２撮像画像Ｉm2間の特徴点の変位から、エピポーラ拘束の概念を用いてカメラ運動の推定値Ｍij_eを求める。

対象物検知部１４は、車速センサ４とヨーレートセンサ３の出力を読み込んで、車両１０の回頭角を算出する。そして、レーザーレーダー８による測距データに基いて、回頭角補正を行いつつ、第１監視領域内に所在する物体のトラッキングを行う。

また、対象物検知部１４は、トラッキングを行っている物体について、赤外線カメラ２による撮像画像から、カメラ運動の推定値Ｍij_eによる赤外線カメラ２の視軸補正（トラッキングによる視軸の変化分の補正等）を行ってその画像を検出する。そして、対象物検知部１４は、対象物が車両１０との接触可能性が高い歩行者又は自転車であると判断したときに、ＨＵＤ７への表示とスピーカ５からの音声出力による報知を行なう。

次に、図３〜図１０を参照して、カメラ運動推定部１３によるカメラ運動の推定値Ｍij_eの算出処理について説明する。

先ず、図３（ａ），図３（ｂ）は、赤外線カメラ２により異なる時点で撮像された第１撮像画像Ｉm1及び第２撮像画像Ｉm2について、車両１０のピッチング（上下動）が生じているときと、生じていないときの第２撮像画像Ｉm2のエピポールの変化を示したものである。

図３（ａ）はピッチングが生じていない状態で、車両１０が前進している場合の撮像画像であり、第１撮像画像Ｉm1のエピポールＥp1と第２撮像画像Ｉm2のエピポールＥp2はほとんど変化していない。そして、実空間上の対象物の特徴部についての第１画像Ｉm1の画像部分である第１特徴点Ｐ1に対応する、該特徴部についての第２画像Ｉm2の画像部分である第２特徴点Ｑ1は、第２撮像画像Ｉm2でのエピポーラ線ＥL_P1上にある。

それに対して、図３（ｂ）はピッチングが生じている状態で、車両１０が前進している場合の撮像画像であり、第２撮像画像Ｉm2のエピポールＥp2が上方に変位して、エピポーラ線ＥL_P1が変化している。

そのため、図３（ｂ）の第２撮像画像Ｉm2のエピポールＥp2の変化を生じさせるカメラ運動を、カメラ運動の推定値Ｍij_eとして求めることができる。

そこで、カメラ運動推定部１３は、以下の第１実施形態〜第３実施形態のいずれかの処理を行ってカメラ運動の推定値Ｍij_eを求める。

［第１実施形態］
カメラ運動推定部１３は、以下の手順によりカメラ運動の推定値Ｍij_eを求める。

「特徴点抽出処理」
カメラ運動推定部１３は、図４の（ａ）に示したように、ハリスオペレータ等により第１撮像画像Ｉm1から所定特徴量を有する第１特徴点を抽出する。図４（ａ）ではＰ1〜Ｐ3の３個の特徴点が抽出されている。また、同様にして、カメラ運動推定部１３は、図４の（ｂ）に示したように、第２撮像画像Ｉm2から所定特徴量を有する第２特徴点を抽出する。図４（ｂ）ではＱ1〜Ｑ3の３個の特徴点が抽出されている。

「仮カメラ運動最適化処理」
カメラ運動推定部１３は、図４の（ｃ）に示したように、第２撮像画像Ｉm2の撮像時における仮カメラ運動を設定して、仮カメラ運動に応じた仮エピポールＥp2_s1による各第１特徴点Ｐ1〜Ｐ3に対応する第２エピポーラ線ＥL_P1〜ＥL_P3を求める。ここで、カメラ運動推定部１３は、仮カメラ運動Ｍkを複数パターン（Ｍk1，Ｍk2，…）用意する。

そして、カメラ運動推定部１３は、各仮カメラ運動Ｍk毎に、各第２エピポーラ線について、図４の（ｄ）に示したように、距離が最小となる第２特徴量を検索して、その距離を対応する第１特徴点の距離誤差ｄとして算出する。

例えば、図５に示したように、第１撮像画像Ｉm1の第１特徴点Ｐ1に対する第２エピポーラ線ＥL_P1が設定されたときには、第２特徴点Ｑ1〜Ｑ4のうちで、第２エピポーラ線ＥL_P1との距離が最小となる第２特徴点Ｑ1が選択され、第２特徴点Ｑ1と第２エピポーラ線ＥL_P1との距離が、第１特徴点Ｐ1の距離誤差ｄとして算出される。

なお、図６に示したように、第２特徴点Ｐ(ｘ₀，ｙ₀）と第２エピポーラ線ＥL_s（ａｘ＋ｂｙ＋ｃ＝０）との距離ｄは、以下の式（１）により算出することができる。

カメラ運動推定部１３は、図４（ｄ）では、各第２エピポーラ線ＥL_P1〜ＥL_P3について、第２特徴点Ｑ1〜Ｑ3の中から、距離が最小となる第２特徴点を探索して、各第１特徴点Ｐ1〜Ｐ3の距離誤差ｄを算出する。

そして、カメラ運動推定部１３は、以下の式（２），式（３）により、各仮カメラ運動Ｍkに対する評価値Ｅkを算出する。

但し、Ｅk：仮カメラ運動Ｍkに対する評価値、ｐ：第１特徴点の識別子（ｐ＝１，２，３，…）、ｄ：各第１特徴点の距離誤差。

但し、ｑ：第２特徴点の識別子（ｑ＝１，２，３，…）、ａ，ｂ，ｃ：第１特徴点に対する第２エピポーラ線のパラメータ。

そして、カメラ運動推定部１３は、上記式（２）による評価値Ｅkが最小となる仮カメラ運動Ｍkを求める。

「カメラ運動推定処理」
カメラ運動推定部１３は、「仮カメラ運動最適化処理」により求めた、評価値Ｅkが最小となる仮カメラ運動Ｍkを、第２撮像画像Ｉm2の撮像時におけるカメラ運動の推定値Ｍij_eとして求める。

そして、対象物検知部１４は、このようにして求められたカメラ運動の推定値Ｍij_eによる赤外線カメラ２の撮像画像の変位分を相殺する位置補正を行って、対象物の画像部分の位置を検出する。

［第２実施形態］
次に、図７を参照して、カメラ運動推定部１３によるカメラ運動推定値Ｍij_eの算出処理の第２実施形態について説明する。第２実施形態は、第１特徴点の距離誤差の算出方法が上述した第１の実施形態と相違し、他の処理は第１の実施形態と同様である。

カメラ運動推定部１３は、上述した第１実施形態と同様に複数パターンの仮カメラ運動Ｍk（Ｍk1，Ｍk2，…）を設定し、各第１特徴点Ｐ1について、図７に示したように距離誤差ｄ'を算出する。図７では、第１特徴点Ｐ1に対応する第２エピポーラ線ＥL_P1と第２特徴点Ｑ1との距離ｄ2と、第２特徴点Ｑ1に対応する第１エピポーラ線ＥL_Q1と第１特徴点Ｑ1との距離ｄ1との合算距離ｄ'を算出している。

カメラ運動推定部１３は、このようにして、全ての第２特徴点についての合算距離ｄ'を算出したときの最小値を、各第１特徴点の距離誤差ｄ'として求める。この場合は、上記式（３）に代えて、以下の式（４）により距離誤差を算出する。

但し、ｐ：第１特徴点の識別子（ｐ＝１，２，３，…）、ｑ：第２特徴点の識別子（ｑ＝１，２，３，…）、ａ_p，ｂ_p，ｃ_p：第１特徴点に対応する第２エピポーラ線のパラメータ、ａ_q，ｂ_q，ｃ_q：第２特徴点に対応する第１エピポーラ線のパラメータ。

そして、カメラ運動推定部１３は、以下の式（５）により、各仮カメラ運動Ｍkに対する評価値Ｅk'を算出し、評価値Ｅk'が最小となる仮カメラ運動Ｍkを求める。

但し、Ｅk'：仮カメラ運動に対する評価値、ｐ：第１特徴点の識別子（ｐ＝１，２，３，…）、ｄ'：各第１特徴点の距離誤差。

そして、カメラ運動推定部１３は、評価値Ｅk'が最小となる仮カメラ運動Ｍkを、第２撮像画像Ｉm2の撮像時におけるカメラ運動の推定値Ｍij_eとして求める。

［第３実施形態］
次に、図８を参照して、カメラ運動推定部１３によるカメラ運動推定値Ｍij_eの算出処理の第３実施形態について説明する。第３の実施形態において、カメラ運動推定部１３は、「仮カメラ運動最適化処理」を、第２特徴点と第２エピポーラ線との距離ではなく、第１特徴点のうち、対応する第２撮像画像での第２エピポーラ線上に第２特徴点が存在するものの個数に基づいて行う。

カメラ運動推定部１３は、上述した第１実施形態と同様に複数の仮カメラ運動Ｍk（Ｍk1，Ｍk2，…）を設定し、各第１特徴点Ｐ1について、各仮カメラ運動Ｍkに対応する各第２エピポーラ線ＥL_P1上に第２特徴点（Ｑ1，Ｑ2，…）が存在するか否かを判断する。

そして、カメラ運動推定部１３は、各第１特徴点Ｐ1のうち、対応する第２エピポーラ線ＥL_P1上に第２特徴点（Ｑ1，Ｑ2，…）が存在するものの個数（対特徴点数）が、最大となる仮カメラ運動Ｍkを、第２撮像画像Ｉm2の撮像時におけるカメラ運動の推定値Ｍji_eとして求める。

また、上記第１実施形態から第３実施形態において、レーザーレーダー８、ヨーレートセンサ３、及び車速センサ４の検出データから検出される車両１０の挙動に応じて、仮カメラ運動Ｍkの初期値を設定するようにしてもよい。なお、このようにして、車両の挙動を検出する構成が、本発明の車両挙動検出部に相当する。

図９は、車両１０が前進している場合の評価値Ｅkと赤外線カメラ２の並進運動のｚ成分を想定した仮並進運動成分ｔｚとの関係Ｒを、縦軸を評価値Ｅkとし、横軸を仮並進運動成分として例示したものである。

ここで、車両１０が前進しているときには、同一対象物の画像について、第２撮像画像Ｉm2での位置が、第１撮像画像Ｉm1での位置の下方に移動する。そして、この移動は、赤外線カメラ２が鉛直方向の上向きに並進運動したことに対応する。そこで、仮カメラ運動Ｍkの初期値を、仮並進運動成分ｔｚの初期値が正側のｔｚ_1となるように設定して、評価値Ｅkが極小となるように仮カメラ運動Ｍkを変更することにより、真の並進運動成分ｔz_2を生じさせる最適な仮カメラ運動Ｍkを探索することができる。

なお、車両１０が前進しているときに、仮カメラ運動Ｍkの初期値を、仮並進運動成分ｔｚの初期値が負側のｔｚ_3となるように設定して、評価値Ｅkが極小となるように仮カメラ運動Ｍkを変更すると、ローカルミニマム点であるｔｚ_4が最適な仮カメラ運動Ｍkとして、誤って探知されてしまう。そのため、上述したように、仮カメラ運動Ｍkの初期値を、仮並進運動成分ｔｚの初期値が正側になるように設定することにより、このような最適な仮カメラ運動Ｍkの誤探知を防止することができる。

次に、図１０（ａ），図１０（ｂ）は、車両１０が前進している場合の仮カメラ運動Ｍkの変更態様を例示したものである。仮カメラ運動Ｍkに応じた仮エピポールＥp_sによる第２エピポーラ線を、第１撮像画像Ｉm1の第１特徴点Ｐ1を無限遠の点と仮定して対応する点Ｐ1'で分けた線分ＥLa，ＥLbについて、車両１０が前進しているとき（車両１０が仮エピポールＥp_sの方向に進んでいるとき）は、線分ＥLbを有効とし、車両１０が後退しているとき（車両１０が仮エピポールＥp_sの方向とは逆向きに進んでいるとき）は、線分ＥLaを有効とする。

そして、図１０（ｂ）に示したように、有効とした線分（例えばＥLb）と各第２特徴点Ｑ1，Ｑ2，Ｑ3との距離（ｄ1，ｄ2，ｄ3）の最小値を用いて、評価値Ｅkを算出すればよい。

また、カメラ運動の推定に使用される特徴点は、静止物の画像である必要がある。そこで、レーザーレーダー８により検出された対象物の位置と、車速センサ４により検出された車両１０の走行速度とにより、移動量が所定値以下であって静止していると認識できる対象物の画像の特徴点のみを用いてカメラ運動を推定することで、カメラ運動を精度良く推定することができる。

なお、このように、レーザーレーダー８により検出された対象物の位置と、車速センサ４により検出された車両１０の走行速度とにより、移動量が所定量以下である物体を静止物と認識する構成が、本発明の静止物検知部に相当する。

１…ＥＣＵ、２…赤外線カメラ、３…ヨーレートセンサ、４…車速センサ、８…レーザーレーダー、１０…車両（自車両）、１３…カメラ運動推定部、１４…対象物検知部。

Claims

車両に搭載されたカメラにより異なる時点で撮像された画像間での特徴点の変位に基づいて、前記カメラの視軸の変化を示すカメラ運動を推定するカメラ運動推定部と、
前記カメラによる撮像画像と前記カメラ運動とに基づいて、車両周囲に所在する対象物の位置を検知する対象物検知部と
を備えた車両周辺監視装置において、
前記カメラ運動推定部は、
前記カメラにより異なる時点で撮像された第１撮像画像及び第２撮像画像について、該第１撮像画像から所定条件を満たす複数の第１特徴点を抽出すると共に、該第２撮像画像から該所定条件を満たす複数の第２特徴点を抽出する特徴点抽出処理と、
前記第２撮像画像の撮像時におけるカメラ運動を想定した仮カメラ運動を設定し、前記複数の第１特徴点を一つずつ順次選択して、選択した第１特徴点に対応する前記第２撮像画像での第２エピポーラ線を求め、前記複数の第２特徴点から該第２エピポーラ線までの距離が最小となる第２特徴点を抽出して、該最小の距離を該選択した第１特徴点の距離誤差とし、各第１特徴点の距離誤差の総和を算出する総距離誤差算出処理を、前記仮カメラ運動を変更しながら繰り返し実行して、該距離誤差の総和が最小となる前記仮カメラ運動を求める仮カメラ運動最適化処理と、
前記距離誤差の総和が最小となる仮カメラ運動を、前記カメラ運動として推定するカメラ運動推定処理と
を実行することを特徴とする車両周辺監視装置。
車両に搭載されたカメラにより異なる時点で撮像された画像間での特徴点の変位に基づいて、前記カメラの姿勢及び位置の変化を示すカメラ運動を推定する車両運動推定部と、
前記カメラによる撮像画像と前記カメラ運動とに基づいて、車両周囲に所在する対象物の位置を検知する対象物検知部と
を備えた車両周辺監視装置において、
前記車両運動推定部は、
前記カメラにより異なる時点で撮像された第１撮像画像及び第２撮像画像について、該第１撮像画像から所定条件を満たす複数の第１特徴点を抽出すると共に、該第２撮像画像から該所定条件を満たす複数の第２特徴点を抽出する特徴点抽出処理と、
前記第２撮像画像の撮像時におけるカメラ運動を想定した仮カメラ運動を設定し、前記複数の第１特徴点を一つずつ順次選択して、選択した第１特徴点に対応する前記第２撮像画像での第２エピポーラ線を求めると共に、前記複数の第２特徴点に対応する前記第１画像での第１エピポーラ線を求め、前記複数の第２特徴点のうち、該第２エピポーラ線との距離と、該選択した第１特徴点と該対応する第１エピポーラ線との距離の和が最小となる第２特徴点を抽出して、該最小となる距離の和を該選択した第１特徴点の距離誤差とし、各第１特徴点の距離誤差の総和を算出する処理を、前記仮カメラ運動を変更しながら繰り返し実行して、該距離誤差の総和が最小となる前記仮カメラ運動を求める仮カメラ運動最適化処理と、
前記距離誤差の総和が最小となる仮カメラ運動を、前記カメラ運動として推定するカメラ運動推定処理と
を実行することを特徴とする車両周辺監視装置。
車両に搭載されたカメラにより異なる時点で撮像された画像間での特徴点の変位に基づいて、前記カメラの視軸の変化を示すカメラ運動を推定するカメラ運動推定部と、
前記カメラによる撮像画像と前記カメラ運動とに基づいて、車両周囲に所在する対象物の位置を検知する対象物検知部と
を備えた車両周辺監視装置において、
前記車両運動推定部は、
前記カメラにより異なる時点で撮像された第１撮像画像及び第２撮像画像について、該第１撮像画像から所定条件を満たす複数の第１特徴点を抽出すると共に、該第２撮像画像から該所定条件を満たす複数の第２特徴点を抽出する特徴点抽出処理と、
前記第２撮像画像の撮像時におけるカメラ運動を想定した仮カメラ運動を設定し、前記複数の第１特徴点を一つずつ順次選択して、選択した第１特徴点に対応する前記第２撮像画像での第２エピポーラ線を求め、該第２エピポーラ線の線上に前記第２特徴点が位置しているか否かを判断し、各第１特徴点のうち、対応する前記第２撮像画像での第２エピポーラ線の線上に前記第２特徴点が存在するものの個数である対特徴点数を算出する処理を、前記仮カメラ運動を変更しながら繰り返し実行して、該対特徴点数が最大となる前記仮カメラ運動を求める仮カメラ運動最適化処理と、前記対特徴点数が最大となる仮カメラ運動を、前記カメラ運動として推定するカメラ運動推定処理と
を実行することを特徴とする車両周辺監視装置。
請求項１から請求項３のうちいずれか１項記載の車両周辺監視装置において、
前記車両の挙動を検出する車両挙動検出部を備え、
前記車両運動推定部は、前記車両の挙動に応じて、前記仮カメラ運動最適化処理における前記仮カメラ運動の初期値を決定することを特徴とする車両周辺監視装置。
請求項１から請求項４のうちいずれか１項記載の車両周辺監視装置において、
前記車両運動推定部は、前記仮カメラ運動に対応する前記車両の移動方向に合わせて、前記仮カメラ運動の変更態様を決定することを特徴とする車両周辺監視装置。
請求項１から請求項５のうちいずれか１項記載の車両周辺監視装置において、
前記対象物の移動量を検出する移動量検出部を備え、
前記所定条件に、移動量が所定値以下であることが含まれていることを特徴とする車両周辺監視装置。