JP5505764B2

JP5505764B2 - 車載カメラ装置のキャリブレーション支援方法及びキャリブレーション支援装置、並びに車載カメラ装置

Info

Publication number: JP5505764B2
Application number: JP2009039465A
Authority: JP
Inventors: 剛丸山
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2009-02-23
Filing date: 2009-02-23
Publication date: 2014-05-28
Anticipated expiration: 2029-02-23
Also published as: JP2010199712A

Description

本発明は、車に設置して用いられる車載カメラ装置のキャリブレーションを利用者が簡単に行えるようにするキャリブレーション支援方法及びキャリブレーション支援装置、並びにそれを備えた車載カメラ装置に関する。

従来から駐車時における車両後退動作等を支援するため、車両の後方部等に設置して車両の後方周辺等を撮影し、その撮像画像を車内に設置した表示装置にモニタ表示する車載カメラが知られている。

従来、このような車載カメラのキャリブレーション方法としては、地面に設置されたターゲットバーや基準マーカー等の指標を車載カメラで撮像して表示装置上に表示し、該指標の表示に所定のウィンドウやマーカー等を重ね合わせてカメラの姿勢パラメータや設置情報を算出し、それをもとに画像処理を行って撮像画像を調整して、車載カメラの設置誤差をソフト的に吸収する方法が提案されている（例えば、特許文献１、特許文献２）。

従来技術の、地面に設置されたターゲットバーや基準マーカー等の指標を車載カメラで撮像し、画像処理を行って、車載カメラの設置誤差をソフト的に吸収するキャリブレーション方法は、ターゲットバーや基準マーカー等の指標を必要とすることに加えて、回路規模や処理が増加し、コスト高になるという問題があった。

コストを軽減するためには、車載カメラの設置誤差をソフト的に吸収するキャリブレーション機能を装置に備えることをやめ、利用者が手作業でキャリブレーションを行えばよい。車載カメラの利用を考えると、その設置精度は極端に厳密である必要はなく、利用者が手作業でキャリブレーションを行っても、通常、支障をきたすことはない。手作業でキャリブレーションを行う際の問題は、試行錯誤で行うため、面倒くさく、時間が掛かることである。

本発明は、利用者が面倒くさがることなく、簡単に車載カメラのキャリブレーションを行うことができるキャリブレーション支援方法及びキャリブレーション支援装置、並びに低コストの車載カメラ装置を提供することにある。

本発明は、車載カメラで撮影された、駐車枠やそれに類似の標識を含む路面の撮像画像データを取得し、該撮像画像データを俯瞰変換し、必要なら２値化して、２値化俯瞰画像データを生成し、俯瞰画像データあるいは２値化俯瞰画像データを用いて、車載カメラの設置誤差を評価する評価値を計算し、該評価値から車載カメラの設置誤差の判定を行い、該判定の結果に基づいて、前記車載カメラの設置状態を調整するためのキャリブレーション操作を利用者に通知することを主要な特徴としている。

第１の実施形態では、俯瞰画像データあるいは２値化俯瞰画像データの所定のライン上の白画素のＸ座標の平均値を計算して評価値Ａとし、該評価値Ａと画像中心のＸ座標の位置関係から、車載カメラの横方向の位置ずれを判定する。

第２の実施形態では、俯瞰画像データあるいは２値化俯瞰画像データの第１のライン上の白画素のＸ座標の平均値を計算して評価値Ａ_１とし、第１のラインから所定距離はなれた第２のライン上の白画素のＸ座標の平均値を計算して評価値Ａ_２とし、評価値Ａ_１と評価値Ａ_２との位置関係から、車載カメラの横方向の傾きを判定する。

第３の実施形態では、俯瞰画像データあるいは２値化俯瞰画像データの第１のライン上の白画素のＸ座標の中心からの距離の平均値を計算して評価値Ｂ_１とし、第１のラインから所定距離はなれた第２のライン上の白画素のＸ座標の中心からの距離の平均値を計算して評価値Ｂ_２とし、評価値Ｂ_１と評価値Ｂ_２との大小関係から、車載カメラの縦方向の傾きを判定する。

第４の実施形態では、俯瞰画像データあるいは２値化俯瞰画像データの第１のライン上の白画素のＸ座標の平均値を計算して評価値Ａ_１とし、第１のライン上の白画素のＸ座標の中心からの距離の平均値を計算して評価値Ｂ_１とし、第１のラインから所定距離はなれた第２のライン上の白画素のＸ座標の平均値を計算して評価値Ａ_２とし、該第２のライン上の白画素のＸ座標の中心からの距離の平均値を計算して評価値Ｂ_２とし、評価値Ａ_１あるいはＡ_２と画像中心のＸ座標の位置関係から車載カメラの横方向の位置ずれを判定し、評価値Ａ_１と評価値Ａ_２との位置関係から車載カメラの横方向の傾きを判定し、評価値Ｂ_１と評価値Ｂ_２との大小関係から車載カメラの縦方向の傾きを判定する。

利用者にキャリブレーション操作を通知する手段は、表示装置や音声出力装置とする。

本発明によれば、利用者が面倒くさがることなく、簡単に、しかも、所望の精度でもって、車載カメラのキャリブレーションを行うことができる。したがって、車載カメラ装置は、その設置誤差をソフト的に吸収する機能を備える必要がなく、低コスト化が達成できる。

本発明の車載カメラ装置の一実施形態の全体構成図である。図１中の校正支援処理部の一実施例のフローチャートである。本発明の適用条件を説明する図である。２値化俯瞰画像データの一例を模式的に示した図である。車載カメラの横方向の位置ずれ、横方向の傾きを評価する評価値Ａを説明する図である。車載カメラの縦方向の傾きを評価する評価値Ｂを説明する図である。エラーパターンとキャリブレーション操作メッセージとの対応例を示す図である。車載カメラの位置が左右にずれている場合のエラーパターン１，２の一例を示す図である。車載カメラの位置が左右に傾いてる場合のエラーパターン３，４の一例を示す図である。車載カメラの位置が上下に傾いてる場合のエラーパターン５，６の一例を示す図である。

図１は、本発明のキャリブレーション支援機能を適用した車載カメラ装置の一実施形態の全体構成図を示す。図１において、撮像装置１０と処理装置２０と記憶装置３０は一般に一つの筐体内に構成され、車の後部等に設置される。表示装置５０は車内の前面部、音声出力装置６０は車内の後部などに設置され、処理装置２０とはケーブル等で接続される。処理装置２０と操作部４０とはケーブルあるいは無線で接続される。操作部４０はナビゲーション装置のリモコンが兼ねてもよい。表示装置５０もナビゲーション装置の表示部が兼ねてもよい。また、音声出力装置は、音響機器のスピーカーが兼ねてもよい。

撮像装置１０は、車の後方等を撮影し、撮像画像データを取得する。具体的には、該撮像装置１０は、広角のレンズ光学系、撮像素子、オートゲインコントロール（ＡＧＣ）回路、アナログ・デジタル変換器などからなる。撮像素子は、ＣＣＤセンサやＣＭＯＳセンサなどで構成され、光学系により集光された光学像を、その光強度に応じて強弱を持った電気信号（アナログ信号）に変換する。撮像素子から出力されたアナログ信号は、ＡＧＣ回路でゲイン調整された後、アナログ・デジタル変換器によりデジタル信号（撮像画像データ）に変換される。一般に撮像素子にはベイヤー配列などの色フィルタが設けられており、撮像装置１０から出力されるデータは、ベイヤー配列などの撮像画像データである。なお、撮像装置１０は、モノクロ撮像画像データを出力する構成でも構わない。

処理装置２０は、ＦＰＧＡやＡＳＩＣ、ＤＳＰなどで構成され、画像処理部２１０、校正支援処理部２２０、及び、これら処理部の動作を制御する制御部２３０などからなる。他に処理装置２０は、処理部２１０、２２０や制御部２３０で使用される作業用メモリとしてのＲＡＭなどを備えているが、図１では省略してある。

画像処理部２１０は、撮像装置１０から出力された撮像画像データについて、ベイヤー補完処理、倍率色収差補正処理、色空間変換処理（ＲＧＢ／ＹＣＣ変換）、ＭＴＦ補正処理、歪曲収差補正処理、ガンマ補正処理等の所定の画像処理を実施する。画像処理部２１０で所定の処理を施された撮像画像データは、ＮＴＳＣ方式の映像信号に変換された後、表示装置５０に表示される。ＮＴＳＣエンコーダは、処理装置２０あるいは表示装置５０のいずれが備えてもよい。画像処理部２１０の構成は、従来と基本的に同様であるので、これ以上の詳細な説明は省略する。

校正（キャリブレーション）支援処理部２２０は、キャリブレーション操作時、撮像装置１０から出力された撮像画像データを入力して、それを俯瞰変換し、さらに必要なら２値化して、２値化俯瞰画像データを生成し、俯瞰画像データあるいは２値化俯瞰画像データの所定の２ラインを走査して評価値を求め、該評価値から車載カメラの設置誤差（横方向の位置ずれ、横方向の傾き、縦方向の傾き等）を判定し、該判定結果に基づき、利用者に必要なキャリブレーション操作を通知する。利用者へのキャリブレーション操作の通知は、表示装置５０及び／又は音声出力装置６０によって行う。この校正支援処理部２２０が本発明の主要な特徴であり、その具体的処理については後述する。

なお、図１では、撮像装置１０から出力された撮像画像データを校正支援処理部２２０に直接入力するとしたが、画像処理部２１０の途中の撮像画像データ（例えば、ベイヤー補完処理後の撮像画像データ等）、あるいは、画像処理部２１０から出力される画像処理後の撮像画像データを入力することでもよい。また、俯瞰画像に加工した画像をモニタ表示するため、画像処理部２１０が撮像画像データを俯瞰画像データに変換する機能を備えていれば、画像処理部２１０から俯瞰画像データを取り込むことでもよい。

記憶装置３０は、ＰＲＯＭなどの書き換え可能な不揮発性メモリであり、処理装置２０の処理部２１０、２２０や制御部２３０での処理や制御に必要なプログラム、種々のパラメータ、その他の情報を記憶する。後述するように、記憶装置３０には、校正支援処理部２２０が車載カメラの設置誤差の判定結果に基づいて利用者に通知するキャリブレーション操作のメッセージ情報が予め記憶されている。

操作部４０は、利用者が制御部２３０に対して種々の動作を指示するユーザインターフェースである。制御部２３０は、操作部４０からの指示を受けて、校正支援処理部２２０を起動することになる。先に述べたように、車にナビゲーション装置が装備されている場合、そのリモコンが操作部４０を兼ねることができる。

図２は、本発明の主要構成である校正支援処理部（キャリブレーション支援装置）２２０の一実施形態の処理フローチャートを示している。以下、図２に従って校正支援処理部２２０の一実施形態の処理を詳述する。

ここで、図３に示すように、車は、その中心軸と路上の中心線とが一致するように駐車させる。この状態で、車載カメラは駐車枠を含む路上を撮影するようにする。もちろん、駐車枠である必要はなく、車幅線などでもよい。キャリブレーションの対象は、車載カメラの横方向の位置ずれ（車の中心線からの左あるいは右側への位置ずれ）、横方向の傾き（左あるいは右方向への傾き）、及び、縦方向の傾き（上あるいは下方向への傾き）の全部とするが、これらの一部でもよい。

校正支援処理部２２０は、制御部２３０から起動されると、撮像装置１０が出力する駐車枠を含む撮像画像データを入力する（ステップ１００１）。先に述べたように、撮像装置１０から出力される撮像画像データを直接入力するかわりに、画像処理部２１０の途中の画像データや画像処理部２１０から出力される画像データを入力することでもよい。要は、撮像画像内の駐車枠が識別できればよい。

次に、校正支援処理部２２０は、入力した撮像画像データを俯瞰画像データに変換する（ステップ１００２）。すなわち、車載カメラで撮影された画像を上から見下ろした画像（俯瞰画像）に変換する。これにより、駐車枠は、ほぼ直線状に補正される。俯瞰変換処理は、従来から種々提案されており、それを利用すればよいので（例えば、特許文献３参照）、詳しい説明は省略する。

なお、車載カメラで撮影した画像に俯瞰処理を施してモニタ表示して、利用者に違和感与えないようにする場合、画像処理部２１０が俯瞰変換機能を備えることになる。このような場合は、画像処理部２１０から俯瞰画像データを取り込むことができる。このような構成も本発明に含まれる。

次に、校正支援処理部２２０は、俯瞰画像データを２値化して、２値化俯瞰画像データを生成する（ステップ１００３）。２値化俯瞰画像データは、基本的に駐車枠の領域は白（０）、それ以外の領域は黒（１）で表わされる。図４に、２値化俯瞰画像データの一例を模式的に示す。ここで、図４（ａ）は、車載カメラが正しい位置に取り付けられている場合の例、図４（ｂ）は車載カメラが車の中心軸から左にずれた位置に取り付けられている場合の例である。

俯瞰画像データを２値化することにより、後述の評価値計算の効率化が実現する。しかし、例えば、真黒な路面に駐車枠などが描かれている場合には、俯瞰画像データをそのまま利用することが可能であり、２値化を省略できる。もちろん、このような構成も本発明に含まれる。

次に、校正支援処理部２２０は、俯瞰画像データあるいは２値化俯瞰画像データについて、所定の２ライン（ライン１，２とする）を走査して、それぞれの評価値Ａ，Ｂとして、
Ａ＝白画素のＸ座標の平均値
Ｂ＝白画素のＸ座標の中心からの距離の平均値
を計算する（ステップ１００４）。ここで、ライン１，２は、Ｙ方向に所定の距離はなれていればよく、着目する２ラインは任意でよいが、例えば、画像の中心を基準に、Ｙ方向に対称な所定のＹ座標を通る２ラインとするのが好ましい。

具体的に、評価値Ａは、ライン１，２のそれぞれについて、当該ライン上の画素値が０（白）の全画素の平均Ｘ座標（重心）を計算して得られる。ここで、ライン１の評価値ＡをＡ_１とし、ライン２の評価値ＡをＡ_２とする。図５に評価値Ａ_１，Ａ_２の一例を示す。評価値Ａ_１あるいはＡ_２と画像中心のＸ座標の位置関係から、車載カメラの横方向の位置ずれを判定することができる。また、評価値Ａ_１とＡ_２の位置関係から、車載カメラの横方向の傾きを判定することができる。

評価値Ｂは、ライン１，２のそれぞれについて、当該ライン上の画素値が０（白）の一方のランと他方のランの各平均Ｘ座標を計算し、その絶対値の平均値として得られる。ここで、ライン１の評価値ＢをＢ_１とし、ライン２の評価値ＢをＢ_２とする。図６に評価値Ｂ_１，Ｂ_２の算出法を示す。すなわち、評価値Ｂ_１は（ｌ_１＋ｌ_２）／２として計算され、評価値Ｂ_２は（ｌ_３＋ｌ_４）／２として計算される。評価値Ｂ_１と評価値Ｂ_２の大小関係から、車載カメラの縦方向の傾きを判定することができる。

校正支援処理部２２０は、評価値Ａ，Ｂを用いて車載カメラの設置誤差を判定し（ステップ１００５）、その判定結果に基づいて、利用者に表示装置５０や音声出力装置６０を用いて、必要なキャリブレーションの操作を通知する（ステップ１００６）。ここで、対象とする車載カメラの設置誤差は、車載カメラの横方向の位置ずれ（車の中心軸から左あるいは右側への位置ずれ）、横方向の傾き（左あるいは右方向の傾き）、縦方向の傾き（上あるいは下方向への傾き）の三つである。校正支援処理部２２０では、評価値ＡあるいはＢを用いて、順次、これら三つのケースを判定し、その判定結果に基づいて、利用者に必要なキャリブレーション操作を通知する。判定の順番は基本的に任意でよい。

以下、ステップ１００５の処理について詳述する。ここで、車載カメラが車の中心軸から左へずれている場合をエラーパターン１、右へずれている場合をエラーパターン２とする。また、車載カメラが左の方向に傾いている場合をエラーパターン３、右の方向に傾いている場合をエラーパターン４とする。また、車載カメラが上の方向に傾いている場合をエラーパターン５、下の方向に傾いている場合をエラーパターン６とする。また、正しく取り付けられている場合を正常パターンと称す。図７に各パターンと利用者に通知するメッセージの対応関係を示す。なお、図７のメッセージの内容は一例であり、もちろん、これに限るものではない。

（Ｉ）横方向の位置ずれ（エラーパターン１，２の判定）
評価値Ａ_１−画像中心のＸ座標＞閾値１（１）
の場合、エラーパターン１（カメラの取り付け位置が左より）と判定する。
評価値Ａ_１−画像中心のＸ座標＜閾値２（２）
の場合、エラーパターン２（カメラの取り付け位置が右より）と判定する。

ここで、式（１），（２）の閾値１，２は、必要な許容度（マージン）によって決まるもので、あらかじめ記憶装置３０などに保持しておけばよい。また、閾値１，２は必要に応じて変更することが可能である。さらに、閾値１，２の値として、それぞれ異なる値を複数用意すれば、「ずれ」を細かく分けることが可能となる。なお、これらは、後述の各式の閾値についても同様である。

図８（ａ），（ｂ）にエラーパターン１，２の一例を示す。先の図４（ｂ）は、図８（ａ）のエラーパターン１を示したものである。なお、ライン１の評価値Ａ_１のかわりに、ライン２の評価値Ａ_２を用いることでもよい。

（II）横方向の傾き（エラーパターン３，４の判定）
評価値Ａ_１−評価値Ａ_２＜閾値３（３）
の場合、エラーパターン３（カメラの横方向の取り付け状態が左向き）と判定する。
評価値Ａ_１−評価値Ａ_２＞閾値４（４）
の場合、エラーパターン４（カメラの横方向の取り付け状態が右向き）と判定する。

図９（ａ），（ｂ）にエラーパターン３，４の一例を示す。ここで、評価値Ａ_１とＡ_２の大小関係を比較して、Ａ_１＜Ａ_２の場合はエラーパターン３、Ａ_１＞Ａ_２の場合はエラーパターン４と判定することもできる。ただし、式（３），（４）を適用すれば、判定に許容度（マーシン）を持たせることが可能になる。

（III）縦方向の傾き（エラーパターン５，６の判定）
評価値Ｂ_１−評価値Ｂ_２＜＞閾値５（５）
の場合、エラーパターン５（カメラの縦方向の取り付け状態が上向き）と判定する。
評価値Ｂ_１−評価値Ｂ_２＜閾値６（６）
の場合、エラーパターン６（カメラの縦方向の取り付け状態が下向き）と判定する。

図１０（ａ），（ｂ）にエラーパターン５，６の一例を示す。ここでも、評価値Ｂ_１とＢ_２の大小関係を比較して、Ｂ_１＞Ｂ_２の場合はエラーパターン５、Ｂ_１＜Ｂ_２の場合はエラーパターン４と判定することもできる。ただし、式（３），（４）を適用すれば、判定に許容度（マージン）を持たせることが可能になる。

そして、エラーパターン１〜６のいずれにも属さない場合、正常パターン（カメラの取り付けは正しい）と判定する。先の図４（ａ）は、これを示したものである。

校正支援処理部２２０は、判定されたパターンをもとに、利用者に必要なキャリブレーションの操作を通知する（ステップ１００６）。具体的には、例えば、図７のようなテーブルをあらかじめ記憶装置３０に用意しておき、判定されたパターンをもとに、記憶装置３０から対応するメッセージを読み出し、表示装置５０に表示して通知するか、音声出力装置６０から音声で通知する。通知を受けて、利用者は車載カメラの取り付け状態を調整する。

図２のステップ１００５，１００６の処理は、上記（Ｉ），（II），（III）のケースごとに繰り返される。基本的に処理の順番は任意でよいが、（II）の処理の前に（Ｉ）の処理を行った場合、車載カメラの取り付け状態によっては、（II）の処理を行った後に再び（Ｉ）の処理を行わなければならない場合が生じる。これを避けるためには、（Ｉ）の処理の前に（II）の処理を行う方向が望ましい。（III）は、どの順番で行ってもよい。

なお、車載カメラの取り付け位置が、あらかじめ車の中心軸上に定められている場合には、（Ｉ）の処理を省略することができる。また、車載カメラの縦方向の傾きは、取り付ける高さにも関係し、また、利用者の好みもあり、ある程度自由であり、極端でない限り（III）の処理は省略することができる。これらは、例えば、利用者が操作部４０などから指示すればよい。

なお、校正支援処理部２２０は、判定したパターンを制御部２３０に送り、制御部２３０が記憶装置３０から該当するメッセージを読み出して表示装置５０や音声装置６０に出力することでもよい。

以上、本発明の一実施形態について説明したが、もちろん、本発明は、図１の構成や図２の処理に限定されるものではなく、後述の特許請求の範囲の記載の範囲内において種々の変更が可能である。

１０撮像装置
２０処理装置
３０記憶装置
４０操作部
５０表示装置
６０音声出力装置
２１０画像処理部
２２０校正支援処理部
２３０制御部

特開２００１−２４５３２６号公報特開２００４−２００８１９号公報特許第３８７１６１４号公報

Claims

利用者による車載カメラのキャリブレーションを支援するキャリブレーション支援方法であって、
前記車載カメラで撮影された、駐車枠やそれに類似の標識を含む路面の撮像画像データを取得する工程と、
前記撮像画像データを俯瞰変換して、俯瞰画像データを生成する工程と、
前記俯瞰画像データを用いて、前記車載カメラの設置誤差を評価する評価値を計算する工程と、
前記評価値から前記車載カメラの設置誤差の判定を行う工程と、
前記判定の結果に基づいて、前記車載カメラの設置状態を調整するためのキャリブレーション操作を利用者に通知する工程と、を有することを特徴とするキャリブレーション支援方法。
前記評価値を計算する工程では、前記俯瞰画像データの所定のライン上の白画素のＸ座標の平均値を計算して評価値Ａとし、
前記設置誤差の判定を行う工程では、前記評価値Ａと画像中心のＸ座標の位置関係から、前記車載カメラの横方向の位置ずれを判定する、ことを特徴とする請求項１に記載のキャリブレーション支援方法。
前記評価値を計算する工程では、前記俯瞰画像データの第１のライン上の白画素のＸ座標の平均値を計算して評価値Ａ_１とし、前記第１のラインから所定距離はなれた第２のライン上の白画素のＸ座標の平均値を計算して評価値Ａ_２とし、
前記設置誤差の判定を行う工程では、前記評価値Ａ_１と前記評価値Ａ_２との位置関係から、前記車載カメラの横方向の傾きを判定する、ことを特徴とする請求項１に記載のキャリブレーション支援方法。
前記評価値を計算する工程では、前記俯瞰画像データの第１のライン上の白画素のＸ座標の中心からの距離の平均値を計算して評価値Ｂ_１とし、前記第１のラインから所定距離はなれた第２のライン上の白画素のＸ座標の中心からの距離の平均値を計算して評価値Ｂ_２とし、
前記設置誤差の判定を行う工程では、前記評価値Ｂ_１と前記評価値Ｂ_２との大小関係から、前記車載カメラの縦方向の傾きを判定する、ことを特徴とする請求項１に記載のキャリブレーション支援方法。
前記評価値を計算する工程では、前記俯瞰画像データの第１のライン上の白画素のＸ座標の平均値を計算して評価値Ａ_１とし、該第１のライン上の白画素のＸ座標の中心からの距離の平均値を計算して評価値Ｂ_１とし、前記第１のラインから所定距離はなれた第２のライン上の白画素のＸ座標の平均値を計算して評価値Ａ_２とし、該第２のライン上の白画素のＸ座標の中心からの距離の平均値を計算して評価値Ｂ_２とし、
前記設置誤差の判定を行う工程では、前記評価値Ａ_１あるいはＡ_２と画像中心のＸ座標の位置関係から前記車載カメラの横方向の位置ずれを判定し、前記評価値Ａ_１と前記評価値Ａ_２との位置関係から前記車載カメラの横方向の傾きを判定し、前記評価値Ｂ_１と前記評価値Ｂ_２との大小関係から前記車載カメラの縦方向の傾きを判定する、ことを特徴とする請求項１に記載のキャリブレーション支援方法。
前記設置誤差の判定を行う工程では、前記車載カメラの横方向の傾きの判定を、少なくとも前記車載カメラの横方向の位置ずれの判定に先立って行う、ことを特徴とする請求項５に記載のキャリブレーション支援方法。
前記キャリブレーション操作を利用者に通知する工程では、表示装置及び／又は音声出力装置を用いて、前記キャリブレーション操作を利用者に通知する、ことを特徴とする請求項１乃至６のいずれか１項に記載のキャリブレーション支援方法。
前記俯瞰画像データを生成する工程では、前記撮像画像データを俯瞰変換した後、２値化して２値化俯瞰画像データを生成し、
前記評価値を計算する工程では、前記２値化俯瞰画像データを用いて、前記車載カメラの設置誤差を評価する評価値を計算する、ことを特徴とする請求項１乃至７のいずれか１項に記載のキャリブレーション支援方法。
利用者による車載カメラのキャリブレーションを支援するキャリブレーション支援装置であって、
前記車載カメラで撮影された、駐車枠やそれに類似の標識を含む路面の撮像画像データを取得する手段と、
前記撮像画像データを俯瞰変換して、俯瞰画像データを生成する手段と、
前記俯瞰画像データを用いて、前記車載カメラの設置誤差を評価する評価値を計算する手段と、
前記評価値から前記車載カメラの設置誤差の判定を行う手段と、
前記判定の結果に基づいて、前記車載カメラの設置状態を調整するためのキャリブレーション操作を利用者に通知する手段と、を有することを特徴とするキャリブレーション支援装置。
前記評価値を計算する手段は、前記俯瞰画像データの所定のライン上の白画素のＸ座標の平均値を計算して評価値Ａとし、
前記設置誤差の判定を行う手段は、前記評価値Ａと画像中心のＸ座標の位置関係から、前記車載カメラの横方向の位置ずれを判定する、ことを特徴とする請求項９に記載のキャリブレーション支援装置。
前記評価値を計算する手段は、前記俯瞰画像データの第１のライン上の白画素のＸ座標の平均値を計算して評価値Ａ_１とし、前記第１のライン上から所定距離はなれた第２のライン上の白画素のＸ座標の平均値を計算して評価値Ａ_２とし、
前記設置誤差の判定を行う手段は、前記評価値Ａ_１と前記評価値Ａ_２との位置関係から、前記車載カメラの横方向の傾きを判定する、ことを特徴とする請求項９に記載のキャリブレーション支援装置。
前記評価値を計算する手段は、前記俯瞰画像データの第１のライン上の白画素のＸ座標の中心からの距離の平均値を計算して評価値Ｂ_１とし、前記第１のライン上から所定距離はなれた第２のライン上の白画素のＸ座標の中心からの距離の平均値を計算して評価値Ｂ_２とし、
前記設置誤差の判定を行う手段は、前記評価値Ｂ１と前記評価値Ｂ２との大小関係から、前記車載カメラの縦方向の傾きを判定する、ことを特徴とする請求項９に記載のキャリブレーション支援装置。
前記評価値を計算する手段は、前記俯瞰画像データの第１のライン上の白画素のＸ座標の平均値を計算して評価値Ａ_１とし、該第１のライン上の白画素のＸ座標の中心からの距離の平均値を計算して評価値Ｂ_１とし、前記第１のラインから所定距離はなれた第２のライン上の白画素のＸ座標の平均値を計算して評価値Ａ_２とし、該第２のライン上の白画素のＸ座標の中心からの距離の平均値を計算して評価値Ｂ_２とし、
前記設置誤差の判定を行う手段は、前記評価値Ａ_１あるいはＡ_２と画像中心のＸ座標の位置関係から前記車載カメラの横方向の位置ずれを判定し、前記評価値Ａ_１と前記評価値Ａ_２との位置関係から前記車載カメラの横方向の傾きを判定し、前記評価値Ｂ_１と前記評価値Ｂ_２との大小関係から前記車載カメラの縦方向の傾きを判定する、ことを特徴とする請求項９に記載のキャリブレーション支援装置。
前記設置誤差の判定を行う手段は、前記車載カメラの横方向の傾きの判定を、少なくとも前記車載カメラの横方向の位置ずれの判定に先立って行う、ことを特徴とする請求項１３に記載のキャリブレーション支援装置。
前記キャリブレーション操作を利用者に通知する手段は、表示装置及び／又は音声出力装置を用いて通知する、ことを特徴とする請求項９乃至１４のいずれか１項に記載のキャリブレーション支援装置。
前記俯瞰画像データを生成する手段は、前記撮像画像データを俯瞰変換した後、２値化して２値化俯瞰画像データを生成し、
前記評価値を計算する手段は、前記２値化俯瞰画像データを用いて、前記車載カメラの設置誤差を評価する評価値を計算する、ことを特徴とする請求項９乃至１５のいずれか１項に記載のキャリブレーション支援装置。
車に取り付け、車の周囲を撮影し、撮影した画像を処理し、表示装置に表示する車載カメラ装置であって、
請求項９乃至１６のいずれか１項に記載のキャリブレーション支援装置を備えていることを特徴とする車載カメラ装置。