JP7066378B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置及び画像処理方法に関する。

従来、車載カメラを用いて、例えば車両の駐車支援等の運転支援が行われている。車載カメラは、車両を工場から出荷する前に、車両に固定状態で取り付けられる。しかしながら、車載カメラは、例えば不意の接触や経年変化等によって、工場出荷時の取付状態から位置ずれを起こすことがある。車載カメラの位置がずれると、例えば運転支援等において車載カメラで撮像された画像を利用して判断されるハンドルの操舵量等に誤差が生じる虞がある。このため、車載カメラの位置ずれを検出することは重要である。

特許文献１には、車載カメラのずれを修正する校正に係る技術が開示される。特許文献１に記載の車載カメラの校正装置は、車両の後部に設置された単一の車載カメラによって、床面上に配置された校正指標を撮像した画像に基づき、車載カメラを校正する。特許文献２には、複数の撮像装置の光軸のずれを検出する技術が開示される。特許文献２に記載の光軸検出装置は、同じ位置に配置され、ともに車両の前方を撮像する２個の撮像装置によって、車両の前方に配置されたターゲットを認識した位置に基づき、光軸のずれを検出する。

特開２０１０－８５１８６号公報 特開２０１０－１１２８８４号公報

上記従来技術では、車載カメラの位置ずれの検出に、校正指標やターゲット等のマーカーが用いられる。これらのマーカーは、形状や大きさ、色等の構成が予め所定どおりに規定され、予め計測された所定の位置に設置する必要があった。このようなマーカーの準備や設置に課題があり、さらに車両とマーカーとを所定の位置に配置して車載カメラの位置ずれの検出を行うための検出スペースの確保にも課題があった。

本発明は、上記の課題に鑑みなされたものであり、車載カメラの位置ずれを容易に且つ適切に判定することを可能とする技術を提供することを目的とする。

本発明に係る画像処理装置は、車載カメラで撮像された画像を処理する画像処理装置であって、位置ずれが生じていない状態にある複数の前記車載カメラで撮像された前記画像中の複数の特徴点それぞれの、予め記憶された基準位置と、前記車載カメラの位置ずれの判定時に撮像された前記画像中の複数の前記特徴点それぞれの判定位置と、を比較処理して前記車載カメラの位置ずれを判定するずれ判定部を備える構成（第１の構成）である。

また、上記第１の構成の画像処理装置において、前記特徴点の前記判定位置は、前記車載カメラの位置ずれの判定時に、前記車両を、前記特徴点の前記基準位置を記憶したときと同じ駐車領域に駐車して撮像された画像中の複数の前記特徴点それぞれについて導出される構成（第２の構成）であっても良い。

また、上記第１または第２の構成の画像処理装置において、隣り合う領域の像を含む２つの前記画像それぞれは、同じ位置の共通の前記特徴点を含む構成（第３の構成）であっても良い。

また、上記第１から第３の構成の画像処理装置において、前記特徴点の前記基準位置及び前記判定位置は、前記車載カメラから延び、前記車載カメラからの方向性を示す３次元視線ベクトルに基づいて表される構成（第４の構成）であっても良い。

また、上記第１から第４の構成の画像処理装置において、前記車載カメラの位置ずれの判定時に、複数の前記特徴点それぞれの前記判定位置を、それぞれの相対位置を保持した状態で３次元空間上で移動し、前記基準位置に接近させる移動処理部を備える構成（第５の構成）であっても良い。

また、上記第１から第５の構成の画像処理装置において、前記画像中の複数の前記特徴点には、前記画像中において最も離れた２つの前記特徴点が含まれる構成（第６の構成）であっても良い。

また、上記第１から第６の構成の画像処理装置において、前記画像中の複数の前記特徴点には、前記車両から最も近い前記特徴点が含まれる構成（第７の構成）であっても良い。

また、本発明に係る画像処理方法は、車載カメラで撮像された画像を処理する画像処理方法であって、位置ずれが生じていない状態にある複数の前記車載カメラで撮像された前記画像中の複数の特徴点それぞれの基準位置を記憶する工程と、前記車載カメラの位置ずれの判定時に撮像された前記画像中から複数の前記特徴点それぞれの判定位置を導出する工程と、前記特徴点の前記基準位置と、前記特徴点の前記判定位置とを比較して前記車載カメラの位置ずれを判定する工程と、を含む構成（第８の構成）である。

本発明の構成によれば、例えば自宅の駐車場等において特徴点の基準位置を予め記憶しておけば、自宅の駐車場でいつでも、車載カメラの位置ずれを判定することができる。したがって、車載カメラの位置ずれを容易に且つ適切に判定することが可能になる。

実施形態の画像処理装置の構成を示すブロック図 ４つの車載カメラが車両に配置される位置を例示する図 特徴点の基準位置の記憶時における車両の駐車状態を例示する図 画像処理装置による車載カメラの位置ずれの判定に係る特徴点の基準位置の記憶フローの一例を示すフローチャート フロントカメラで撮像された画像の一例を示す模式図 右サイドカメラで撮像された画像の一例を示す模式図 特徴点の基準位置を例示する図 車載カメラの位置ずれの判定時における車両の駐車状態を例示する図（具体例１） 画像処理装置による車載カメラの位置ずれの判定フローの一例を示すフローチャート フロントカメラで撮像された画像の一例を示す模式図 右サイドカメラで撮像された画像の一例を示す模式図 特徴点の判定位置を例示する図 車載カメラの位置ずれの判定時における車両の駐車状態を例示する図（具体例２） 特徴点の移動処理前の状態を例示する図 特徴点の判定位置を例示する図 特徴点の基準位置の記憶時における車両の駐車状態を例示する図（具体例３） フロントカメラで撮像された画像の一例を示す模式図 特徴点の基準位置を表す３次元視線ベクトルを例示する図 車載カメラの位置ずれの判定時における３次元視線ベクトルの差異を例示する図 特徴点の基準位置の記憶時における車両の駐車状態を例示する図（変形例１） 特徴点の基準位置を例示する図 特徴点の基準位置の記憶時における車両の駐車状態を例示する図（変形例２）

以下、本発明の例示的な実施形態について、図面を参照しながら詳細に説明する。なお、本発明は以下の内容に限定されるものではない。

以下の説明では、車両の直進進行方向であって、運転席からハンドルに向かう方向を「前方向（前方）」とする。車両の直進進行方向であって、ハンドルから運転席に向かう方向を「後方向（後方）」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の右側から左側に向かう方向を「左方向」とする。車両の直進進行方向及び鉛直線に垂直な方向であって、前方を向いている運転手の左側から右側に向かう方向を「右方向」とする。

＜１．画像処理装置の概略＞
図１は、実施形態の画像処理装置１の構成を示すブロック図である。画像処理装置１は、例えば撮像部２と、センサ部３と、車両制御装置４と、を含む車載カメラの位置ずれ判定システムに組み込まれる。車載カメラの位置ずれ判定システムは、車載カメラの位置ずれを判定するシステムである。

画像処理装置１は、車載カメラで撮像された画像を処理する装置である。画像処理装置１は、車載カメラを搭載する車両ごとに備えられる。本実施形態では、画像処理装置１は、撮像部２から画像を取得して処理する。また、画像処理装置１は、センサ部３から情報を取得し、取得情報に基づいて画像処理に関する判断を行う。なお、センサ部３は、場合によっては、車載カメラの位置ずれ判定システムに含まれなくても良い。

本実施形態では、画像処理装置１は、撮像部２で撮像された画像を処理して、車載カメラの位置ずれの判定を行う。また、本実施形態では、画像処理装置１は、撮像部２で撮像された画像を処理して、車載カメラの位置ずれを判定するために用いる画像中の特徴点の、基準位置の記憶も行う。なお、この特徴点の「基準位置」に対して、車載カメラの位置ずれの判定時における特徴点の位置を「判定位置」と呼ぶ。

また、本実施形態では、画像処理装置１は、表示装置５及び運転支援装置６に処理情報を出力する。

表示装置５は、画像処理装置１から出力される情報を画面表示する装置であり、例えば液晶表示装置であって良い。表示装置５は、例えばタッチパネル方式等の入力部を備えて、外部から情報を入力できる構成であって良い。

運転支援装置６は、撮像部２で撮像された画像を用いて運転を支援する装置であり、例えば自動運転支援装置、自動駐車支援装置、自動緊急ブレーキ装置等を含んで良い。運転支援装置６は、例えばエンジンの始動とともに自動的に運転支援を開始する構成であって良い。また、運転支援装置６は、例えば運転者によってボタン、スイッチ等が押された場合に運転支援を開始する構成であって良い。

撮像部２は、車両周辺の状況を監視する目的で設けられる。撮像部２は、４つのカメラ２１～２４を備える。４つのカメラ２１～２４は、車載カメラである。図２は、４つの車載カメラ２１～２４が車両７に配置される位置を例示する図である。

車載カメラ２１は車両７の前端に設けられる。このため、車載カメラ２１をフロントカメラ２１とも呼ぶ。フロントカメラ２１の光軸２１ａは上からの平面視で車両７の前後方向に沿って延びる。フロントカメラ２１は車両７の前方向を撮像する。車載カメラ２３は車両７の後端に設けられる。このため、車載カメラ２３をバックカメラ２３とも呼ぶ。バックカメラ２３の光軸２３ａは上からの平面視で車両７の前後方向に沿って延びる。バックカメラ２３は車両７の後方向を撮像する。フロントカメラ２１及びバックカメラ２３の取付位置は、車両７の左右中央であることが好ましいが、左右中央から左右方向に多少ずれた位置であっても良い。

車載カメラ２２は車両７の右側ドアミラー７２に設けられる。このため、車載カメラ２２を右サイドカメラ２２とも呼ぶ。右サイドカメラ２２の光軸２２ａは上からの平面視で車両７の左右方向に沿って延びる。右サイドカメラ２２は車両７の右方向を撮像する。車載カメラ２４は車両７の左側ドアミラー７１に設けられる。このため、車載カメラ２４を左サイドカメラ２４とも呼ぶ。左サイドカメラ２４の光軸２４ａは上からの平面視で車両７の左右方向に沿って延びる。左サイドカメラ２４は車両７の左方向を撮像する。

車載カメラ２１～２４それぞれの水平方向の画角θは１８０度以上である。このため、車載カメラ２１～２４によって、車両７の水平方向における全周囲を撮像することができる。また、車載カメラ２１～２４によって撮像される画像には、車載カメラ２１～２４を搭載する車両のボディが映り込む。

なお、本実施形態では、車載カメラの数を４つとしているが、この数は複数であれば適宜変更されて良い。例えば、車両７がバックで駐車することを支援する目的で車載カメラが搭載されている場合には、車載カメラは、バックカメラ２３、左サイドカメラ２４、右サイドカメラ２２の３つで構成されても良い。

図１に戻って、センサ部３は、車載カメラ２１～２４が搭載される車両７に関する情報を検出する複数のセンサを有する。車両７に関する情報には、車両自体の情報と、車両周辺の情報とが含まれて良い。本実施形態では、センサ部３は、例えば車両の速度を検出する車速度センサ、ステアリングの回転角を検出する舵角センサ、車両の変速装置のシフトレバーの操作位置を検出するシフトセンサ、車両周辺の照度を検出する照度センサ等が含まれる。本実施形態では、センサ部３で検出された情報は、画像処理装置１に直接入力される構成としているが、これは例示にすぎない。例えば、センサ部３で検出された情報は、車両制御装置４または運転支援装置６を介して画像処理装置１に入力されても良い。

車両制御装置４は、車両の動作全般に関わる制御を行う。車両制御装置４は、例えばエンジンを制御するエンジンＥＣＵ（Electronic Control Unit）、ステアリングを制御するステアリングＥＣＵ、ブレーキを制御するブレーキＥＣＵ、シフトを制御するシフトＥＣＵ、電源制御用ＥＣＵ、ライトを制御するライトＥＣＵ、電動ミラーを制御するミラーＥＣＵ等を含む。本実施形態では、車両制御装置４は、画像処理装置１と情報を送受信する。

＜２．画像処理装置の詳細＞
図１に戻って、画像処理装置１は、マイコン１１、記憶部１２及びＧＰＳ（Global Positioning System）１３を含んで構成される。

マイコン１１は、不図示のＣＰＵ（Central Processing Unit）、ＲＡＭ（Random Access Memory）、及びＲＯＭ（Read Only Memory）を含む。記憶部１２は、不揮発性のメモリである。マイコン１１は、記憶部１２に記憶されたプログラムに基づいて情報の処理及び送受信を行う。マイコン１１は、ＧＰＳ１３を用いて、画像処理装置１が搭載された車両７の位置情報を取得することができる。なお、ＧＰＳに代わる他の機能を利用して、車両７の位置情報を取得することにしても良い。また、ＧＰＳは、例えばナビゲーション装置（図示略）等に搭載されるＧＰＳを用いても良い。マイコン１１は、有線または無線で、撮像部２、センサ部３、車両制御装置４、表示装置５、及び運転支援装置６に接続される。

マイコン１１は、画像取得部１１１と、検出部１１２と、座標変換部１１３と、移動処理部１１４と、ずれ判定部１１５と、を備える。マイコン１１が備えるこれらの各構成要素それぞれの機能は、プログラムに従ってＣＰＵが演算処理を行うことによって実現される。

画像取得部１１１は、車載カメラ２１～２４で撮像された画像を取得する。本実施形態では、車載カメラ２１～２４の数は４つであり、画像取得部１１１は、各車載カメラ２１～２４ごとに撮像された画像を取得する。

検出部１１２は、車載カメラ２１～２４で撮像された画像から、特徴点を検出する。本実施形態では、車載カメラ２１～２４の数は４つであり、検出部１１２は、各車載カメラ２１～２４で撮像された画像ごとに特徴点を検出する。特徴点の検出処理は、画像処理装置１の内部で実施しても良いし、表示装置５等に表示して実施しても良い。なお、画像中の「特徴点」は、エッジ検出の結果として安定的に検出可能な画像中の特徴的な点であり、例えば駐車枠の一部や車止めの一部、路面に記載された駐車スペースの番号を示す指標、路面のヒビ、シミ、砂利等が該当する。

座標変換部１１３は、車載カメラ２１～２４で撮像された画像から、画像中で検出した車両７の駐車領域の座標値をワールド座標に変換する。車載カメラ２１～２４で撮像された画像における各画素の座標は、実空間上における車両７に対する座標であるワールド座標に１対１で対応する。これにより、実空間上における車両の位置を基準とした駐車領域及び特徴点の位置を導出することができる。なお、座標変換及び特徴点位置の導出には、記憶部１２等に予め記憶された車載カメラの取り付け位置データ、車載カメラの光軸の角度データ、画像のディストーションに係るデータ等が用いられる。

前述のように、画像処理装置１は、車載カメラ２１～２４の位置ずれを判定するために用いる画像中の特徴点の、基準位置の記憶を行う。特徴点の基準位置は、車両７をある駐車領域に駐車したときに、位置ずれが生じていない状態にある車載カメラ２１～２４で撮像された画像中の複数の特徴点それぞれついて記憶される。特徴点の基準位置データは、例えば記憶部１２に記憶される。特徴点の判定位置は、車載カメラ２１～２４の位置ずれの判定時に、車両７を、特徴点の基準位置を記憶したときと同じ駐車領域に駐車して撮像された画像中の複数の特徴点それぞれについて導出される。これにより、車載カメラ２１～２４の位置ずれの判定を行う場所として、例えば自宅の駐車場などの任意の場所を選ぶことができる。そして、車両７は任意の駐車姿勢であって良い。

移動処理部１１４は、車載カメラ２１～２４の位置ずれの判定時に用いられる。移動処理部１１４は、検出部１１２で検出された複数の特徴点それぞれの判定位置を、それぞれの相対位置を保持した状態で３次元空間上で移動させる。そして、移動処理部１１４は、特徴点それぞれの判定位置を、基準位置に接近させる。このとき、移動処理部１１４は、複数の特徴点それぞれの判定位置が、最も多くの基準位置に合致する状態まで、基準位置に接近させる。

ずれ判定部１１５は、複数の特徴点それぞれの判定位置と、基準位置とを比較処理して車載カメラ２１～２４の位置ずれを判定する。特徴点の基準位置データは、例えば記憶部１２に記憶されている。ずれ判定部１１５は、座標変換部１１３が導出し、移動処理部１１４が移動させた特徴点の判定位置が、３次元空間上で、特徴点の基準位置に一致するか否かを判定する。この位置の判定には、所定の閾値が用いられ、閾値の範囲を超えていない場合は車載カメラの位置ずれが生じていないと判定され、閾値の範囲を超えている場合は車載カメラの位置ずれが生じていると判定される。本実施形態では、車載カメラ２１～２４の数は４つであり、ずれ判定部１１５は、車載カメラ２１～２４それぞれで撮像された画像中の複数の特徴点それぞれに対して判定を行う。

上記の画像処理装置１の構成によれば、例えば自宅の駐車場等において特徴点の基準位置を予め記憶しておけば、自宅の駐車場でいつでも、車載カメラ２１～２４の位置ずれを判定することができる。したがって、車載カメラ２１～２４の位置ずれを容易に且つ適切に判定することが可能になる。また、特徴点を検出するための対象物（例えば駐車枠、車止め等）が変更になった場合、容易に特徴点の基準位置を記憶し直すことができる。

なお、車載カメラの数は、３つ以上であることが好ましいが、少なくとも２つあれば良い。車載カメラの数が２つの場合、どちらの車載カメラに位置ずれが生じているかを特定できないが、少なくともどちらかの車載カメラに位置ずれが生じていることは判定することが可能である。車載カメラの数が３つ以上の場合、どの車載カメラに位置ずれが生じているかを特定することができる。

＜３．特徴点の基準位置の記憶＞
車載カメラ２１～２４の位置ずれの判定に先立って、画像処理装置１は、車載カメラ２１～２４の位置ずれを判定するために用いる画像中の特徴点の、基準位置の記憶を行う。

ここで、車載カメラ２１～２４は、例えば自動車メーカー等の工場において、位置ずれが生じていない状態で車両７に取り付けられる。車載カメラ２１～２４それぞれは、所定の向きに光軸２１ａ～２４ａが合された状態で、所定の取付位置に固定される。車載カメラの初期位置に関して、車載カメラの取り付け位置データ、車載カメラの光軸の角度データ等が、記憶部１２等に予め記憶される。

図３は、特徴点の基準位置の記憶時における車両７の駐車状態を例示する図である。車両７は、例えばユーザの自宅の駐車場や自動車ディーラーの駐車スペースなどの任意の駐車領域に駐車される。車両７の駐車領域には、平面視長方形状の白線の駐車枠Ｌが描画される。駐車枠Ｌは、長手方向が車両７の前後方向に一致し、前後左右において車両７よりも大きい。車両７は、例えば前後左右ともに駐車枠Ｌの内側に収まり、その前後方向が駐車枠Ｌの長手方向に平行な状態で駐車される。

そして、画像処理装置１は、例えばユーザによって表示装置５等が操作され、記憶開始の指示信号を受信することで、車載カメラ２１～２４の位置ずれを判定するために用いる画像中の特徴点の、基準位置の記憶を開始する。この特徴点の基準位置の記憶に係る処理を図４を用いて説明する。

図４は、画像処理装置１による車載カメラ２１～２４の位置ずれの判定に係る特徴点の基準位置の記憶フローの一例を示すフローチャートである。

画像処理装置１は、特徴点の基準位置の記憶に関して、記憶地点データを取得する（ステップＳ１０１）。画像処理装置１は、例えばＧＰＳ１３を用いて、ユーザの自宅の駐車場や自動車ディーラーの駐車領域に駐車された車両７の、特徴点の基準位置の記憶地点データを取得する。画像処理装置１は、車載カメラの位置ずれの判定時に、ＧＰＳの位置情報（緯度・経度情報）を用いて同じ駐車領域であることを判断し、特徴点を用いて、車載カメラの位置ずれを判定する。

次に、画像処理装置１は、車載カメラ２１～２４それぞれから画像を取得する（ステップＳ１０２）。

図５は、フロントカメラ２１で撮像された画像Ｐ２１の一例を示す模式図である。図６は、右サイドカメラ２２で撮像された画像Ｐ２２の一例を示す模式図である。なお、バックカメラ２３及び左サイドカメラ２４でも同様に、特徴点の基準位置の記憶に関して画像が撮像されるが、ここでは説明を省略する。フロントカメラ２１で撮像された画像Ｐ２１と、右サイドカメラ２２で撮像された画像Ｐ２２とを例として掲げて説明する。

図５に示すように、画像Ｐ２１には、車両７の前方に存在する、駐車枠Ｌ（白線）の一部の像が含まれる。画像Ｐ２１には、駐車枠Ｌ（白線）の左右２つのコーナー部が含まれる。図６に示すように、画像Ｐ２２には、車両７の右方に存在する、駐車枠Ｌ（白線）の一部の像が含まれる。画像Ｐ２２には、駐車枠Ｌ（白線）の前後２つのコーナー部が含まれる。

図４に戻って、次に、画像処理装置１は、画像中の特徴点を検出する（ステップＳ１０３）。特徴点は、画像Ｐ２１及び画像Ｐ２２を含む、車載カメラ２１～２４で撮像された画像それぞれから検出される。例えば、駐車枠Ｌが長方形状の場合は、例えば４つのコーナー部それぞれから特徴点が検出される。また、駐車枠が車両７の左右の２本のラインの場合は、右側のラインの前端及び後端と、左側のラインの前端及び後端と、のそれぞれから特徴点が検出される。このように駐車枠の複数の特徴点が検出される。

図５に示すフロントカメラ２１の画像Ｐ２１では、駐車枠Ｌの前側の左右２つのコーナー部それぞれから特徴点Ｓｐ１ａ、Ｓｐ１ｂが検出される。図６に示す右サイドカメラ２２の画像Ｐ２２では、駐車枠Ｌの右側の前後２つのコーナー部それぞれから特徴点Ｓｐ２ａ、Ｓｐ２ｂが検出される。同様に、不図示のバックカメラ２３の画像では、駐車枠Ｌの後側の左右２つのコーナー部それぞれから特徴点Ｓｐ３ａ、Ｓｐ３ｂ（図７参照）が検出される。不図示の左サイドカメラ２４の画像では、、駐車枠Ｌの左側の前後２つのコーナー部それぞれから特徴点Ｓｐ４ａ、Ｓｐ４ｂ（図７参照）が検出される。

ここで、画像Ｐ２１の右側のコーナー部と、画像Ｐ２２の左側（駐車枠Ｌの前側）のコーナー部とは、長方形状の駐車枠Ｌの同じコーナー部であるので、特徴点Ｓｐ１ｂと、特徴点Ｓｐ２ａとは同じ位置である。すなわち、車両７の周囲の隣り合う領域の像を含む２つの画像それぞれには、同じ位置の共通の特徴点が含まれる。

このように特徴点の基準位置を記憶する際に、複数の車載カメラで共通の特徴点を撮像してそれらの位置を記憶すると、ある一つの特徴点の位置が複数の車載カメラによって記憶されるため、複数の車載カメラで別々の特徴点を撮像してそれらの位置を記憶する場合と比較して、車載カメラの位置ずれをより高い精度で判定することが可能になる。

図４に戻って、次に、画像処理装置１は、実空間上における特徴点の位置を導出する（ステップＳ１０４）。

図７は、特徴点の基準位置を例示する図である。図７は、車載カメラ２１～２４で撮像された画像それぞれから検出された特徴点を、座標変換部１１３を用いてワールド座標に変換し、車両７の駐車領域を示す画像上に描画した図である。

図７に示すように、画像処理装置１は、長方形状の白線の駐車枠Ｌの、４つのコーナー部それぞれの特徴点の実空間上における位置を導出する。この位置が、４つの特徴点それぞれの基準位置である。

なお、前述のように、車載カメラ２１の画像Ｐ２１の特徴点Ｓｐ１ｂと、車載カメラ２２の画像Ｐ２２の特徴点Ｓｐ２ａとは同じ位置である。同様に、車載カメラ２２の画像Ｐ２２の特徴点Ｓｐ２ｂと、車載カメラ２３の画像（図示略）の特徴点Ｓｐ３ａとは同じ位置である。同様に、車載カメラ２３の画像（図示略）の特徴点Ｓｐ３ｂと、車載カメラ２４の画像（図示略）の特徴点Ｓｐ４ａとは同じ位置である。同様に、車載カメラ２４の画像（図示略）の特徴点Ｓｐ４ｂと、車載カメラ２１の画像Ｐ２１の特徴点Ｓｐ１ａとは同じ位置である。

図４に戻って、次に、画像処理装置１は、４つの特徴点それぞれの基準位置を記憶し、記憶地点を登録する（ステップＳ１０５）。特徴点の基準位置と、その記憶地点とは、例えば記憶部１２に記憶、登録される。そして、特徴点の基準位置と、その記憶地点とは、以下の具体例で説明する車載カメラ２１～２４の位置ずれの判定時に用いられる。

＜４－１．車載カメラの位置ずれの判定の具体例１＞
図８は、車載カメラ２１～２４の位置ずれの判定時における車両７の駐車状態を例示する図（具体例１）である。車両７は、特徴点の基準位置を記憶したときと同じ駐車領域に、基準位置を記憶したときと略同じ駐車姿勢で駐車されるものとして説明する。なお、基準位置を記憶したときと略同じ駐車姿勢か否かの判定は、例えばＧＰＳにより検出される駐車領域内の車両７の位置や、車両７を運転するユーザの目視等により行われる。

車両７の駐車領域には、図３と同様に、平面視長方形状の白線の駐車枠Ｌが描画される。車両７は、前後左右ともに駐車枠Ｌの内側に収まり、その前後方向が駐車枠Ｌの長手方向に平行な状態で駐車される。なお、図８では、車載カメラ２２に位置ずれが生じていることを模式的に表現した。

そして、画像処理装置１は、例えばユーザによって表示装置５等が操作され、判定開始の指示信号を受信することで、車載カメラ２１～２４の位置ずれの判定を開始する。また、シフトレバーの操作位置に基づき、車両７の出庫時、または入庫時に自動的に、画像処理装置１が、車載カメラ２１～２４の位置ずれの判定の開始することにしても良い。この車載カメラ２１～２４の位置ずれの判定に係る処理を図９を用いて説明する。

図９は、画像処理装置１による車載カメラ２１～２４の位置ずれの判定フローの一例を示すフローチャートである。

画像処理装置１は、車両７の駐車地点が、特徴点の基準位置の記憶地点と同じであるか否かを判定する（ステップＳ２０１）。画像処理装置１は、例えばＧＰＳ１３を用いて、車載カメラの位置ずれの判定時に駐車された車両７の地点データを取得する。そして、画像処理装置１は、例えば記憶部１２に記憶された特徴点の基準位置の記憶地点と、車載カメラの位置ずれの判定時の車両７の駐車地点とを比較し、互いが一致するか否かを判定する。なお、例えばユーザが表示装置５等から入力指示を行うことで、車両７の駐車地点が、特徴点の基準位置の記憶地点と同じであることを認識させても良い。

次に、画像処理装置１は、車載カメラ２１～２４それぞれから画像を取得する（ステップＳ２０２）。

図１０は、フロントカメラ２１で撮像された画像Ｐ２１の一例を示す模式図である。図１１は、右サイドカメラ２２で撮像された画像Ｐ２２の一例を示す模式図である。なお、バックカメラ２３及び左サイドカメラ２４でも同様に、車載カメラの位置ずれの判定に関して画像が撮像されるが、ここでは説明を省略する。フロントカメラ２１で撮像された画像Ｐ２１と、右サイドカメラ２２で撮像された画像Ｐ２２とを例として掲げて説明する。

図１０に示すように、画像Ｐ２１には、車両７の前方に存在する、駐車枠Ｌ（白線）の一部の像が含まれる。画像Ｐ２１には、駐車枠Ｌ（白線）の左右２つのコーナー部が含まれる。図１１に示すように、画像Ｐ２２には、車両７の右方に存在する、駐車枠Ｌ（白線）の一部の像が含まれる。画像Ｐ２２には、駐車枠Ｌ（白線）の前後２つのコーナー部が含まれる。なお、図１１に示す画像Ｐ２２は、特徴点の基準位置の記録時に撮像された右サイドカメラ２２の画像２２（図６参照）とは像が異なる。

図９に戻って、次に、画像処理装置１は、画像中の特徴点を検出する（ステップＳ２０３）。特徴点は、画像Ｐ２１及び画像Ｐ２２を含む、車載カメラ２１～２４で撮像された画像それぞれから検出される。例えば、駐車枠Ｌが長方形状の場合は、例えば４つのコーナー部それぞれから特徴点が検出される。図１０に示す画像Ｐ２１から、特徴点Ｄｐ１ａ、Ｄｐ１ｂが検出される。図１１に示す画像Ｐ２２から、特徴点Ｄｐ２ａ、Ｄｐ２ｂが検出される。

図９に戻って、次に、画像処理装置１は、実空間上における特徴点の位置を導出する（ステップＳ２０４）。

図１２は、特徴点の判定位置を例示する図である。図１２は、車載カメラ２１～２４で撮像された画像それぞれから検出された特徴点を、座標変換部１１３を用いてワールド座標に変換し、車両７の駐車領域を示す画像上に描画した図である。

図１２に示すように、画像処理装置１は、長方形状の白線の駐車枠Ｌの、４つのコーナー部それぞれの特徴点の実空間上における位置を導出する。この位置が、４つの特徴点それぞれの判定位置である。なお、図１２は、基準位置にある４つの特徴点Ｓｐ４ｂ、Ｓｐ１ａ、特徴点Ｓｐ１ｂ、Ｓｐ２ａ、特徴点Ｓｐ２ｂ、Ｓｐ３ａ、特徴点Ｓｐ３ｂ、Ｓｐ４ａと、判定位置にある４つの特徴点Ｄｐ４ｂ、Ｄｐ１ａ、特徴点Ｄｐ１ｂ、Ｄｐ２ａ、特徴点Ｄｐ２ｂ、Ｄｐ３ａ、特徴点Ｄｐ３ｂ、Ｄｐ４ａとを重ねた図である。

ここで、特徴点の基準位置の記憶時における車両７の駐車姿勢に対して、車載カメラの位置ずれの判定時における車両７の駐車姿勢が異なる場合、多くの特徴点の基準位置と、判定位置とに差異が生じることがある。この場合、移動処理部１１４を用いた特徴点の移動（ステップＳ２０５）が必要であるが、特徴点の移動については、次の具体例２で説明する。

図９に戻って、次に、画像処理装置１は、ずれ判定部１１５を用いて、４つの特徴点それぞれの判定位置と、基準位置とを比較処理する（ステップＳ２０６）。そして、画像処理装置１は、車載カメラ２１～２４に位置ずれが生じているか否かを判定する（ステップＳ２０７）。ずれ判定部１１５は、特徴点の判定位置が、３次元空間上で、特徴点の基準位置に一致するか否かを判定する。この位置の判定には、所定の閾値（例えば半径３ｃｍ）が用いられる。すなわち、ずれ判定部１１５は、特徴点の判定位置が、基準位置に対して閾値の範囲内に入っているか否かを判定する。

図１２によれば、判定位置にある特徴点Ｄｐ２ａ、Ｄｐ２ｂは、基準位置にある特徴点Ｓｐ２ａ、Ｓｐ２ｂに対して差異が生じている。特徴点Ｄｐ２ａ、Ｄｐ２ｂは、右サイドカメラ２２が撮像された画像Ｐ２２（図１１参照）に含まれる。これにより、画像処理装置１は、右サイドカメラ２２に位置ずれが生じていることを判定する。

車載カメラ２１～２４に位置ずれが生じていることが判定された場合（ステップＳ２０７のＹｅｓ）、画像処理装置１は、車載カメラ２１～２４に位置ずれが生じていることを報知する（ステップＳ２０８）。画像処理装置１は、例えば車載カメラ２１～２４に位置ずれが生じていることを表示装置５によって報知する。車載カメラの位置ずれの報知には、音声等が使用されても良い。また、画像処理装置１は、例えば運転支援装置６に車載カメラの位置ずれを通知して、運転支援装置６による運転支援を停止させることにしても良い。

車載カメラ２１～２４に位置ずれが生じていないことが判定された場合（ステップＳ２０７のＮｏ）、車載カメラ２１～２４の位置ずれの判定フローが終了される。なお、画像処理装置１は、例えば車載カメラ２１～２４に位置ずれが生じていないこと（正常であること）を表示装置５によって通知しても良い。また、画像処理装置１は、例えば運転支援装置６に車載カメラが正常であることを通知しても良い。

なお、車載カメラ２１～２４で撮像された画像中の複数の特徴点には、画像中において最も離れた２つの特徴点が含まれることが好ましい。また、車載カメラ２１～２４で撮像された画像中の複数の特徴点には、車両７から最も近い特徴点が含まれることが好ましい。２つの特徴点が離れている場合、また特徴点が車両７から近い場合、車載カメラの位置ずれが比較的小さい場合であっても、特徴点の基準位置と、判定位置との間で、大きな差異となって表れることがある。したがって、車載カメラ２１～２４の位置ずれを容易に判定することができる。

＜４－２．車載カメラの位置ずれの判定の具体例２＞
図１３は、車載カメラ２１～２４の位置ずれの判定時における車両７の駐車状態を例示する図（具体例２）である。車両７の駐車領域には、図３と同様に、平面視長方形状の白線の駐車枠Ｌが描画される。車両７は、例えばその前後方向が駐車枠Ｌの長手方向に傾斜し、左右の駐車枠Ｌに重なった状態で駐車される。すなわち、車両７は、特徴点の基準位置を記憶したときと同じ駐車領域に、基準位置を記憶したときとは異なる駐車姿勢で駐車されるものとして説明する。

図１４は、特徴点の移動処理前の状態を例示する図である。図１４は、車載カメラ２１～２４で撮像された画像それぞれから検出された特徴点を、座標変換部１１３を用いてワールド座標に変換し、車両７の駐車領域を示す画像上に描画した図である。図１４は、長方形状の白線の駐車枠Ｌの、４つのコーナー部それぞれの特徴点に関して、基準位置にある４つの特徴点と、判定位置にある４つの特徴点とを重ねた図である。

特徴点の基準位置の記憶時における車両７の駐車姿勢に対して、車載カメラの位置ずれの判定時における車両７の駐車姿勢が異なることで（図１３参照）、図１４に示すように、４つすべての特徴点の基準位置と、判定位置とに差異が生じる。この場合、画像処理装置１は、移動処理部１１４を用いて、特徴点の移動を行う。

移動処理部１１４は、例えば図１４に示す状態において、４つの特徴点それぞれの判定位置を、それぞれの相対位置を保持した状態で基準位置に接近する方向に、すなわち反時計回りに回転させる。さらに、移動処理部１１４は、４つの特徴点それぞれの判定位置を、それぞれの相対位置を保持した状態で基準位置に接近する方向に、床面に沿って平行移動させる。このようにして、移動処理部１１４は、４つの特徴点それぞれの判定位置を、基準位置に接近させる。このとき、移動処理部１１４は、４つの特徴点それぞれの判定位置が、最も多くの基準位置に合致する状態まで、基準位置に接近させる。

画像処理装置１は、移動処理部１１４を用いた特徴点の移動処理の結果、図１５に示す状態の特徴点の判定位置を得る。図１５は、特徴点の判定位置を例示する図である。図１５によれば、特徴点の移動処理の後においても、判定位置にある特徴点Ｄｐ２ａ、Ｄｐ２ｂは、基準位置にある特徴点Ｓｐ２ａ、Ｓｐ２ｂに対して差異が生じている。これにより、画像処理装置１は、右サイドカメラ２２に位置ずれが生じていることを判定する。

上記構成の移動処理部１１４を備えることで、画像処理装置１は、特徴点の基準位置の記憶時における車両７の駐車姿勢に対して、車載カメラの位置ずれの判定時における車両７の駐車姿勢が異なる場合であっても、４つの特徴点それぞれの判定位置を、基準位置に接近させることができる。これにより、車載カメラの位置ずれの判定時における車両７の駐車姿勢を、厳密に特徴点の基準位置の記憶時における車両７の駐車姿勢に近づける必要がない。したがって、車載カメラ２１～２４の位置ずれを容易に且つ適切に判定することが可能である。

＜４－３．車載カメラの位置ずれの判定の具体例３＞
図１６は、特徴点の基準位置の記憶時における車両７の駐車状態を例示する図（具体例３）である。車両７の駐車領域には、３つの、立体の構造物Ｓｔ１、Ｓｔ２、Ｓｔ３が配置される。構造物Ｓｔ１は車両７の前方右側に配置され、構造物Ｓｔ２は車両７の後方右側に配置され、構造物Ｓｔ３は車両７の左方後寄りに配置される。３つの構造物Ｓｔ１、Ｓｔ２、Ｓｔ３はそれぞれ、例えば直方体形状の車止めや縁石、ブロック塀等で構成され、車両７の外側に、車両７から少し離れて配置される。

図１７は、フロントカメラ２１で撮像された画像Ｐ２１の一例を示す模式図である。なお、右サイドカメラ２２、バックカメラ２３及び左サイドカメラ２４でも同様に、特徴点の基準位置の記憶に関して画像が撮像されるが、ここでは説明を省略する。図１７に示すように、画像Ｐ２１には、車両７の前方に存在する立体の構造物Ｓｔ１の像が含まれる。直方体形状の構造物Ｓｔ１に関しては、例えば車両７に近い平面の４つのコーナー部それぞれから特徴点Ｓｐ１ａ、Ｓｐ１ｂ、Ｓｐ１ｃ、Ｓｐ１ｄが検出される。

なお、特徴点は、１つの画像中に２点以上含まれることが望ましい。これにより、車載カメラが光軸回りに回転する、または光軸に平行な軸回りに回転する位置ずれを判定することができる。

図１８は、特徴点の基準位置を表す３次元視線ベクトルを例示する図である。なお、図１８は、車両７の前部及びその前方を、側方から見た図である。立体の構造物Ｓｔ１から検出された特徴点Ｓｐ１ａ、Ｓｐ１ｂ、Ｓｐ１ｃ、Ｓｐ１ｄの場合、図１８に示すように、特徴点の基準位置は、車載カメラ２１から延び、車載カメラ２１からの方向性を示す３次元視線ベクトルＶｓａ、Ｖｓｂ、Ｖｓｃ、Ｖｓｄに基づいて表される。３次元視線ベクトルＶｓａ、Ｖｓｂ、Ｖｓｃ、Ｖｓｄはそれぞれ、特徴点の基準位置の記憶時における大きさが１の、単位ベクトルである。画像処理装置１は、３次元視線ベクトルを使用することで、車載カメラ２１からどの方向に特徴点が存在するのかを認識し、記憶することができる。

図１９は、車載カメラ２１の位置ずれの判定時における３次元視線ベクトルの差異を例示する図である。なお、図１９は、車両７の前方を、上方から見た図である。車載カメラ２１の位置ずれの判定時においては、図１９に示すように、立体の構造物Ｓｔ１から、例えば特徴点Ｄｐ１ａ、Ｄｐ１ｂ、Ｄｐ１ｃ、Ｄｐ１ｄが検出される。例えば、特徴点Ｄｐ１ａ、Ｄｐ１ｂの判定位置は、車載カメラ２１から延び、車載カメラ２１からの方向性を示す３次元視線ベクトルＶｄａ、Ｖｄｂに基づいて表される。

車載カメラ２１に位置ずれが生じていない場合、特徴点Ｓｐ１ａ、Ｓｐ１ｂの基準位置を表す３次元視線ベクトルＶｓａ、Ｖｓｂと、特徴点Ｄｐ１ａ、Ｄｐ１ｂの判定位置を表す３次元視線ベクトルＶｄａ、Ｖｄｂとの関係性は変化しない。したがって、画像処理装置１は、特徴点が立体の構造物から検出される場合、これらの３次元視線ベクトルを使用して、車載カメラ２１～２４の位置ずれを判定する。

図１９に示すように、同じ特徴点の基準位置を表す３次元視線ベクトルＶｓａ、Ｖｓｂと、判定位置を表す３次元視線ベクトルＶｄａ、Ｖｄｂとに差異が生じる場合、画像処理装置１は、移動処理部１１４を用いて、特徴点の移動（回転、平行移動）を行う。車載カメラ２１で撮像された画像Ｐ２１について特徴点の移動を行う場合、他の車載カメラで撮像された画像についても、複数の特徴点それぞれの判定位置を表す３次元視線ベクトルの相対位置を保持した状態で３次元空間上で移動させる。そして、移動処理部１１４は、複数の特徴点それぞれの判定位置を表す３次元視線ベクトルが、最も多くの基準位置を表す３次元視線ベクトルに合致する状態まで、基準位置を表す３次元視線ベクトルに接近させる。

上記構成によれば、画像処理装置１は、特徴点が立体の構造物から検出される場合であっても、車載カメラ２１～２４の位置ずれを容易に且つ適切に判定することが可能である。

＜５．その他＞
本明細書中に開示されている種々の技術的特徴は、上記実施形態のほか、その技術的創作の主旨を逸脱しない範囲で種々の変更を加えることが可能である。すなわち、上記実施形態は全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の技術的範囲は上記実施形態の説明ではなく、特許請求の範囲によって示されるものであり、特許請求の範囲と均等の意味及び範囲内に属する全ての変更が含まれると理解されるべきである。また、上記の複数の実施形態及び実施例は可能な範囲で組み合わせて実施しても良い。

例えば、図２０は、特徴点の基準位置の記憶時における車両の駐車状態を例示する図（変形例１）である。図２０に示すように、画像中の特徴点を検出するための対象物が、車両７の前後左右に独立して描画された白線の駐車枠Ｌであっても良い。

図２１は、特徴点の基準位置を例示する図である。この場合、車載カメラ２１の画像において、車両７の前側のラインの左端及び右端から特徴点Ｓｐ１ａ、Ｓｐ１ｂが検出される。車載カメラ２２の画像において、車両７の右側のラインの前端及び後端から特徴点Ｓｐ２ａ、Ｓｐ２ｂが検出される。車載カメラ２３の画像において、車両７の後側のラインの右端及び左端から特徴点Ｓｐ３ａ、Ｓｐ３ｂが検出される。車載カメラ２４の画像において、車両７の左側のラインの後端及び前端から特徴点Ｓｐ４ａ、Ｓｐ４ｂが検出される。

すなわち、車載カメラ２１～２４それぞれで撮像された画像において、車両７の周囲の隣り合う領域の像を含む２つの画像それぞれには、同じ位置の共通の特徴点が含まれない。このような場合であっても、画像処理装置１は、車載カメラ２１～２４の位置ずれを容易に且つ適切に判定することが可能である。

また例えば、図２２は、特徴点の基準位置の記憶時における車両の駐車状態を例示する図（変形例２）である。図２２に示すように、画像中の特徴点を検出するための対象物が、白線の駐車枠Ｌと、立体の構造物Ｓｔとの組み合わせであっても良い。このような場合であっても、画像処理装置１は、車載カメラ２１～２４の位置ずれを容易に且つ適切に判定することが可能である。

また、上記実施形態では、プログラムに従ったＣＰＵの演算処理によってソフトウェア的に各種の機能が実現されていると説明したが、これらの機能のうちの一部は電気的なハードウェア回路によって実現されても良い。また逆に、ハードウェア回路によって実現されるとした機能のうちの一部は、ソフトウェア的に実現されても良い。

１ 画像処理装置
７ 車両
１２ 記憶部
２１ フロントカメラ（車載カメラ）
２２ 右サイドカメラ（車載カメラ）
２３ バックカメラ（車載カメラ）
２４ 左サイドカメラ（車載カメラ）
１１２ 検出部
１１４ 移動処理部
１１５ ずれ判定部

Claims (7)

1. 車載カメラで撮像された画像を処理する画像処理装置であって、
   位置ずれが生じていない状態にある複数の前記車載カメラで撮像された前記画像中の複数の特徴点それぞれの、予め記憶された基準位置と、
   前記車載カメラの位置ずれの判定時に撮像された前記画像中の複数の前記特徴点それぞれの判定位置と、
   を比較処理して前記車載カメラの位置ずれを判定するずれ判定部
   を備え、
   前記特徴点の前記判定位置は、前記車載カメラの位置ずれの判定時に、車両の位置情報を用いて前記特徴点の前記基準位置を記憶したときと同じ駐車領域であることを判断し、前記車両を、前記駐車領域に駐車して撮像された画像中の複数の前記特徴点それぞれについて導出される画像処理装置。
2. 隣り合う領域の像を含む２つの前記画像それぞれは、同じ位置の共通の前記特徴点を含む請求項１に記載の画像処理装置。
3. 前記特徴点の前記基準位置及び前記判定位置は、前記車載カメラから延び、前記車載カメラからの方向性を示す３次元視線ベクトルに基づいて表される請求項１または請求項２に記載の画像処理装置。
4. 前記車載カメラの位置ずれの判定時に、複数の前記特徴点それぞれの前記判定位置を、それぞれの相対位置を保持した状態で３次元空間上で移動し、前記基準位置に接近させる移動処理部を備える請求項１から請求項３のいずれかに記載の画像処理装置。
5. 前記画像中の複数の前記特徴点には、前記画像中において最も離れた２つの前記特徴点が含まれる請求項１から請求項４のいずれかに記載の画像処理装置。
6. 前記画像中の複数の前記特徴点には、前記車両から最も近い前記特徴点が含まれる請求項１から請求項５のいずれかに記載の画像処理装置。
7. 車載カメラで撮像された画像を処理する画像処理方法であって、
   位置ずれが生じていない状態にある複数の前記車載カメラで撮像された前記画像中の複数の特徴点それぞれの基準位置の記憶地点を、車両の位置情報を用いて取得する工程と、
   前記記憶地点において、前記特徴点の前記基準位置を記憶する工程と、
   前記車載カメラの位置ずれの判定時に、前記車両の駐車地点を、前記位置情報を用いて取得する工程と、
   前記特徴点の前記基準位置の前記記憶地点と、前記車載カメラの位置ずれの前記判定時の前記駐車地点とを比較する工程と、
   前記特徴点の前記基準位置の前記記憶地点と、前記判定時の前記駐車地点とが同じである場合に、前記判定時に撮像された前記画像中から複数の前記特徴点それぞれの判定位置を導出する工程と、
   前記特徴点の前記基準位置と、前記特徴点の前記判定位置とを比較して前記車載カメラの位置ずれを判定する工程と、
   を含む画像処理方法。

Images