WO2014034064A1

WO2014034064A1 - 画像処理装置、及び記憶媒体

Info

Publication number: WO2014034064A1
Application number: PCT/JP2013/004988
Authority: WO
Inventors: 丙辰王; 勝之今西; 博彦柳川; 真和竹市
Original assignee: 株式会社デンソー; 株式会社日本自動車部品総合研究所
Priority date: 2012-08-30
Filing date: 2013-08-23
Publication date: 2014-03-06
Also published as: DE112013004266T5; US9967526B2; US20150208041A1; CN104641394A; JP2014048803A; CN104641394B; JP5820787B2

Abstract

　画像処理装置は、撮影画像入力部（Ｓ１３５）、校正ターゲット特定部（Ｓ１４５）、車両情報入力部（Ｓ１４０）、算出部（Ｓ１６０）と記憶制御部（Ｓ１６５）を含む。前記撮影画像入力部は、車両に搭載されたカメラより撮影された複数の画像を入力する。前記校正ターゲット特定部は、車両が走行した２地点で撮影された第１撮影画像と第２撮影画像に含まれる同一の校正ターゲットを特定する。前記車両情報入力部は、前記車両の走行距離及び向き変化を特定可能な情報を入力する。前記算出部は、前記第１撮影画像と前記第２撮影画像を第１鳥瞰画像と第２鳥瞰画像に変換し、変換した各鳥瞰画像をそれぞれの撮影位置及び撮影方向を反映させて共通の座標系上に配置させ、第１鳥瞰画像と第２鳥瞰画像の位置差及び回転差が少なくなるよう前記カメラの少なくとも１つの姿勢パラメータの値を算出する。前記記憶制御部は、前記姿勢パラメータの値を記憶部に記憶させる。

Description

画像処理装置、及び記憶媒体

関連出願の相互参照

　本開示は、２０１２年８月３０日に出願された日本出願番号２０１２－１９００５６号に基づくもので、ここにその記載内容を援用する。

　本開示は、車両において使用されるカメラの設置に関するキャリブレーションを行う画像処理装置とキャリブレーションを行うための命令を含む記憶媒体に関する。

　従来、車に搭載されたカメラの設置に関するキャリブレーションを行う技術として、次の技術が知られている。すなわち、カメラで撮影した二つの画像フレームから同じ地点を表す特徴点を抽出し、その特徴点が表す地点の世界座標系上の移動量の、自車の車速から算出した自車の移動量に対する誤差が最小になるようにカメラの姿勢を算出する技術が知られている（例えば、特許文献１）。

　ところが、上述した技術は二つの点で問題がある。一つ目は、上述した技術は車両のヨー方向の移動を考慮していないため、測定者は正確に車両を直進させなければならず、測定者に負担を強いるという問題である。二つ目は、キャリブレーションを実行する場所として十分な直線距離が取れる場所でなければならないため、キャリブレーションを実行できる場所に制限があるという問題である。

特開２０１１－２１７２３３号公報

　本開示は、上記点に鑑みてなされたものであり、その目的は、車両を直進させなくてもカメラの姿勢パラメータの値を算出することができる画像処理装置と記憶媒体を提供することを目的とする。

　本開示の第一態様による画像処理装置は、撮影画像入力部、校正ターゲット特定部、車両情報入力部、算出部と記憶制御部を含む。前記撮影画像入力部は、車両に搭載されたカメラより撮影された複数の画像を入力する。前記校正ターゲット特定部は、前記撮影画像入力部により入力された、車両が走行した少なくとも２地点で撮影された第１撮影画像と第２撮影画像において、共通して含まれる同一の校正ターゲットを特定する。前記車両情報入力部は、前記車両の走行距離及び向き変化を特定可能な情報を入力する。前記算出部は、前記校正ターゲットが含まれる第１撮影画像と第２撮影画像をそれぞれ第１鳥瞰画像と第２鳥瞰画像に変換し、変換した各鳥瞰画像を、前記車両情報入力部が入力した情報より特定される前記第１撮影画像と前記第２撮影画像のそれぞれの撮影位置及び撮影方向を反映させて共通の座標系上に配置させ、前記第１鳥瞰画像と前記第２鳥瞰画像において前記校正ターゲットの位置差及び回転差が少なくなるよう前記カメラの少なくとも１つの姿勢パラメータの値を算出する。前記記憶制御部は、前記算出部により算出された前記姿勢パラメータの値を記憶部に記憶させる。

　上記装置によると、車両の移動に回転が含まれていても、それが反映されたカメラの姿勢パラメータの値が算出される。すなわち、測定の際に車両を旋回させても良いし、直進させなくても良いので、測定が容易にできる。

　本開示の第二態様によるコンピュータ読み取り可能な持続的且つ有形の記憶媒体は、車両に搭載されたカメラより撮影した複数の画像を入力し、車両が走行した少なくとも２地点で撮影され入力された第１撮影画像と第２撮影画像において、共通して含まれる同一の校正ターゲットを特定し、前記車両の走行距離及び向き変化を特定可能な情報を入力し、前記校正ターゲットを含む前記第１撮影画像と前記第２撮影画像をそれぞれ第１鳥瞰画像と第２鳥瞰画像に変換し、各鳥瞰画像を、前記車両の走行距離及び向き変化を特定可能な情報より特定される第１撮影画像と第２撮影画像のそれぞれの撮影位置及び撮影方向を反映させて共通の座標系上に配置させ、前記第１鳥瞰画像と前記第２鳥瞰画像において前記校正ターゲットの位置差及び回転差が少なくなるよう前記カメラの姿勢パラメータの値を算出し、前記算出された前記姿勢パラメータの値を記憶するためのコンピュータによって実施される命令を含む。

　上記記憶媒体によると、車両の移動に回転が含まれていても、それが反映されたカメラの姿勢パラメータの値が算出される。すなわち、測定の際に車両を旋回させても良いし、直進させなくても良いので、測定が容易にできる。

　本開示の第三態様による画像処理装置は、撮影画像入力部、校正ターゲット特定部、車両情報入力部、位置関係取得部、算出部と記憶制御部を含む。撮影画像入力部は、車両に搭載されたカメラより撮影された第１撮影画像と、第１撮影画像が撮影され車両が走行した後に撮影された第２撮影画像とを画像処理装置に入力する。校正ターゲット特定部は、撮影画像入力部により入力された、第１撮影画像に含まれる第１校正ターゲットと、第２撮影画像に含まれ、第１校正ターゲットと同一形状の第２校正ターゲットを特定する。車両情報入力部は、第１撮影画像を撮影した地点と、第２撮影画像を撮影した地点間の車両の走行距離及び向き変化を特定可能な情報を入力する。位置関係取得部は、第１校正ターゲットと第２校正ターゲットとの相対的な位置関係を取得する。算出部は、第１撮影画像と第２撮影画像をそれぞれ第１鳥瞰画像と第２鳥瞰画像に変換し、変換した各鳥瞰画像を、車両情報入力部が入力した情報より特定される第１撮影画像と第２撮影画像のそれぞれの撮影位置及び撮影方向を反映させて共通の座標系上に配置させる。その後、算出部は、位置関係取得部が取得した第１校正ターゲットと第２校正ターゲットとの相対的な位置関係に基づいて、共通の座標系において第１校正ターゲットと第２校正ターゲットが重なり、第１校正ターゲットと第２校正ターゲットの位置差及び回転差が少なくなるようカメラの少なくとも１つの姿勢パラメータの値を算出する。記憶制御部は、算出部により算出された姿勢パラメータの値を記憶部に記憶させる。

　本開示についての上記目的およびその他の目的、特徴や利点は、添付の図面を参照しながら下記の詳細な記述により、より明確になる。その図面は、
図1は、実施形態の画像処理システムの概略構成を示すブロック図であり、図２（Ａ）は、車両へのカメラの取付位置を示す説明図であり、図２（Ｂ）は、カメラの取付位置の座標及びカメラの光軸の方向を説明するための説明図であり、図３は、姿勢パラメータ決定処理を説明するためのフローチャートであり、図４（Ａ）は、撮影された既定校正ターゲットの鳥瞰画像であり、図４（Ｂ）は、理想的な既定校正ターゲットであり、図５（Ａ）は、第一の時点の疑似校正ターゲットの鳥瞰画像であり、図５（Ｂ）は、第二の時点の疑似校正ターゲットの鳥瞰画像であり、図５（Ｃ）は、第一の時点の疑似校正ターゲットの鳥瞰画像と第二の時点の疑似校正ターゲットの鳥瞰画像とを世界座標系上に配置した画像である。

　以下、本開示が適用された実施形態について図面を用いて説明する。

　［構成の説明］
　図１に示すように、本実施形態による画像処理システム（ＩＭＡＧ　ＰＲＯＣ　ＳＹＳ）５は、車載カメラ（ＶＨ　ＣＡＭＥＲＡ）１１と画像処理装置（ＩＭＡＧ　ＰＲＯＣ）２１と表示装置（ＤＩＳＰＬＡＹ）３１とを備える。

　車載カメラ１１は、車両に搭載された電荷結合素子（ＣＣＤ）や相補性金属酸化膜半導体（ＣＭＯＳ）等の撮像素子を有し、車両周辺を撮影してその撮影画像を所定頻度（例えば、１秒間に６０フレーム）で画像処理装置２１へ出力する。本実施形態では、図２（Ａ）に示すように車両７の後端の上部に設置され、車両の後方周辺を撮影できるように設置されている。後述するが、車両の前方周辺を撮影するカメラや側方周辺を撮影するカメラを追加又は置換して設置しても良い。

　ここで、本実施形態で用いる世界座標系について、図２（Ａ）を用いて説明する。本実施形態における世界座標系の原点は、以下で説明する姿勢パラメータ決定処理のＳ１５０で選択された２つの撮影画像のうち早い時間に撮影された撮影画像の撮影時点における車載カメラ１１の位置を基準とする。すなわち、その撮影時点における車載カメラ１１の図示しない撮像素子の中央位置Ｒ（カメラ視点Ｒ）より地表面に下ろした垂線と地表面との交点を原点Ｑとし、車両後方をｙ方向、車両上方をｚ方向、車両中央から車両後方を見た場合に右方向をｘ方向として設定する。

　次に、車載カメラ１１の姿勢パラメータについて、図２（Ｂ）を用いて説明する。上述したカメラ視点Ｒを原点Ｒとするカメラ座標系（ｘ１，ｙ１，ｚ１）を設定し、そのカメラ座標系について、世界座標のｘ軸回りの回転角をＡｘとし、世界座標のｙ軸回りの回転角をＡｙとし（図示せず）、世界座標のｚ軸回りの回転角をＡｚとする（図示せず）。なお、Ａｘがピッチ角に対応し、Ａｙがロール角、Ａｚがヨー角に対応する。

　すなわち、車載カメラ１１の姿勢パラメータは、世界座標系を基準とした、カメラ座標系の原点Ｒの座標（測定開始時点では（０，０，Ｈ））と、ピッチ角Ａｘと、ロール角Ａｙと、ヨー角Ａｚを含む。世界座標系を基準とした、カメラ座標系の原点Ｒのｘ方向の位置又はｙ方向の位置の少なくともいずれか一つをカメラ１１の水平方向の取付位置ともいう。世界座標系を基準とした、カメラ座標系の原点Ｒのｚ方向位置は、鉛直方向の取付位置ともいう。また、姿勢パラメータのピッチ角Ａｘは、取付ピッチ角ともいい、ロール角Ａｙは、取付ロール角ともいい、ヨー角Ａｚは、取付ヨー角ともいう。取付ヨー角は、車載カメラ１１の水平方向の首振角をしめし、取付ピッチ角は、鉛直方向の首振角を示す。そして、過去の測定によって明らかになっているこれらの値（座標及び角度）を用いて以下に説明する処理を行いこれらの値を校正する。

　説明を図１に戻し、表示装置３１は、液晶ディスプレイや有機ＥＬディスプレイからなり、車載カメラ１１で撮影された撮影画像に基づいて画像処理装置２１で処理された画像を表示することができる。

　画像処理装置２１は、画像記憶部（ＩＭＡＧ　ＳＴＯＲ）２２、センサ情報入力部（ＳＥＮＳ　ＩＮＦＯ　ＩＮＰＵＴ）２３、操作部（ＯＰＥＲＡＴＥ）２４、記憶部（ＳＴＯＲＡＧＥ）２５、及び、制御部（ＣＯＮＴＲＯＬ）２６を備える。

　画像記憶部２２は、ＤＲＡＭ等の記憶デバイスからなり、車載カメラ１１より逐次出力される撮影画像を所定時間分（例えば、過去１０秒分）記憶する。

　センサ情報入力部２３は、車速パルスセンサ等から得られる車両の移動距離を把握可能な移動距離情報と、ステアリング角度センサやジャイロスコープ等から得られる車両の回転角を把握可能な回転情報とを入力する入力インターフェースである。これらの情報（ＳＥＮＳ　ＩＮＦＯ）は、対応するセンサから直接入力してもよいし、別の情報処理装置（ＥＣＵ）等から取得してもよい。

　操作部２４は、表示装置３１の表示面に設けられたタッチパネルや、表示装置３１の周囲等に設置されたメカニカルなキースイッチからなり、運転者等から各種操作指示を入力することができるデバイスである。

　記憶部２５は、フラッシュメモリ等の不揮発性の記憶デバイスからなり、車載カメラ１１の上述した姿勢パラメータ、制御部２６が実行するプログラム、後述する既定校正ターゲットの色彩情報及び形状情報を記憶するためのデバイスである。なお、記憶部２５に記憶された姿勢パラメータが用いられて、車載カメラ１１が撮影した映像の処理（例えば、鳥瞰画像への変換）が行われる。また、この姿勢パラメータは、車両の振動等の理由によって車載カメラ１１の取付位置や取付角度が異常になっていることを警告する際の判断にも用いられる。

　制御部２６は、ＣＰＵ、ＲＡＭ、ＲＯＭ及びＩ／Ｏ等からなるマイコンから構成され、記憶部２５が記憶するプログラムを読み込んで各種処理を実行する。

　［動作の説明］
　次に画像処理装置２１の動作について説明する。以下では、本開示に関する処理を中心に説明し、従来より知られたこの手の車載カメラ１１が撮影した撮影画像を表示装置に表示させるための処理（例えば、車庫入れを補助するために撮影画像を鳥瞰画像に変換し車輪の予測軌跡などを合成して表示装置に表示させる処理等）については、説明を省略する。

　画像処理装置２１の制御部２６が実行する姿勢パラメータ決定処理について、図３を用いて説明する。姿勢パラメータ決定処理は、車両が停止した状態において測定者が操作部２４を操作して姿勢パラメータの更新を意味する指示を入力した際に、記憶部２５からプログラムが制御部２６に読み込まれて実行が開始される。なお、測定者が指示する際には、姿勢パラメータの全てを更新（完全更新）するか、一部を更新（一部更新）するかを選択することができる。全て更新することを選択する場合は、事前に車載カメラ１１の撮影範囲に既定校正ターゲットを設置した上で実行指示を入力しなければならない。既定校正ターゲットとしては、測定に用いることを目的としたターゲットであり、例えば、数１０センチメートル角の正方形状のパネルが挙げられる。

　制御部２６は、姿勢パラメータ決定処理の実行を開始すると、まず姿勢パラメータ決定処理の開始に際し、測定者より完全更新が指示されたか否かによって処理を分岐する（Ｓ１０５）。完全更新が指示されていた場合はＳ１１０へ処理を移行し、一部更新が指示されていた場合はＳ１２５へ処理を移行する。

　完全更新が指示されていた場合に進むＳ１１０では、制御部２６は、車載カメラ１１が撮影した撮影画像であって画像記憶部２２が記憶している既定校正ターゲットを含む最新の撮影画像を１フレーム入力する。この既定校正ターゲットを含む画像は、第３撮影画像ともいう。

　続いて、制御部２６は、Ｓ１１０で読み込んだ撮影画像に含まれる既定校正ターゲットの変形が少なく（望ましくは最小と）なるように、上述した姿勢パラメータのうち、ピッチ角、ロール角、及び、カメラ視点の座標の高さＨ（ｚ座標）を決定する（Ｓ１１５）。この決定に関して詳細に説明する。

　制御部２６は、まず、Ｓ１１０で入力した画像を鳥瞰画像に変換する。この変換方法は周知であり、例えば特開平１０－２１１８４９号に詳しい。すなわち、図２（Ｂ）におけるスクリーン平面Ｔ上の座標を、地表面上の座標に変換する。図２（Ｂ）において、ｘｓ方向は、スクリーン平面Ｔの水平方向と平行する方向であり、ｙｓ方向は、スクリーン平面Ｔにおいてｘｓ方向と垂直する方向で有る。なお、図２（Ｂ）の例では、世界座標系の軸回りの回転について、ｘ軸回りのみとなっているが、ｙ軸回りやｚ軸回りの回転も考慮して変換を行う。また、変換は、記憶部２５に記憶されている姿勢パラメータの値を用いて行う。

　制御部２６は、鳥瞰画像への変換を終えると、その鳥瞰画像に含まれる既定校正ターゲットを特定する。既定校正ターゲットの特定は記憶部２５に記憶されている既定校正ターゲットの色彩情報及び形状情報を用いて行う。

　続いて、制御部２６は、姿勢パラメータのうちの、ピッチ角、ロール角、及び、カメラ視点の座標の高さＨ（ｚ座標）について、撮影画像中の既定校正ターゲットの鳥瞰変換後の形状が、理想的な形状（記憶部２５に記憶されている既定校正ターゲットの形状情報によって特定される形状）に最も近づく数値を探索する。探索方法は、例えば、記憶部２５に記憶されている前回実行時の姿勢パラメータの値を中心値として各パラメータの値を順に増減させ、撮影画像を鳥瞰変換して理想的な形状と比較することにより探索する方法が考えられるが、これに限らない。記憶部２５は、既定校正ターゲット記憶部としても機能する。

　すなわち、図４（Ａ）に例示する、撮影された２つの既定校正ターゲット６１ａ，６１ｂの鳥瞰画像が、図４（Ｂ）に例示する、理想的な形状の既定校正ターゲット６２（鳥瞰視したもの）に近づくように、姿勢パラメータのうちの、ピッチ角、ロール角、及び、カメラ視点の座標の高さＨ（ｚ座標）を探索する。なお、正方形状の既定校正ターゲットが台形に歪む場合や、既定校正ターゲットの面積が相違する場合は、ピッチ角、ロール角、及び、カメラ視点の座標の高さＨ（ｚ座標）の影響が大きい。

　説明を図３のフローチャートに戻し、制御部２６は、Ｓ１１５において、姿勢パラメータの、ピッチ角、ロール角、及び、カメラ視点の座標の高さＨ（ｚ座標）を決定すると、これら決定した値によって、記憶部２５に記憶されている姿勢パラメータの値を更新する（Ｓ１２０）。すなわち、姿勢パラメータのうち、ピッチ角、ロール角、及び、カメラ視点の座標の高さＨ（ｚ座標）が最新の値に更新される。

　続いて、制御部２６は、車両を移動させることを知らせることを報知する（Ｓ１２５）。具体的には、表示装置３１に文字を表示させることによってそれを実現する。

　続いて、制御部２６は、車載カメラ１１が撮影した撮影画像であって画像記憶部２２が記憶している最新の撮影画像の逐次入力を開始する（Ｓ１３５）。

　続いて、制御部２６は、センサ情報入力部２３を介して車速パルスセンサから車両の走行距離に関する移動距離情報、及びステアリング角度センサから車両の向きに関する回転情報の逐次入力を開始する（Ｓ１４０）。入力したこれら情報は、Ｓ１３５で入力した各撮影画像と対応付けて制御部２６内のＲＡＭに記憶する。例えば、等間隔で連続する各撮影画像について、それぞれ直前の撮影画像が撮影された場所からの車両の移動距離及び回転角を対応付ける。なお、ナビゲーション装置等の車両の位置及び回転角を把握している装置から移動距離及び回転角を表す情報を取得してもよい。

　続いて、制御部２６は、Ｓ１３５で入力した撮影画像を解析して画像中から疑似校正ターゲットを決定する（Ｓ１４５）。疑似校正ターゲットは、測定に用いることを目的として配置された物体ではなく、車両の走行路の周辺の地表面付近にある固定物体（白線等も含む移動しない物体）であって、一定以上の大きさを有し、且つ、回転具合を識別可能な物体（上方からみた場合に真円でない物体）である。具体例としては、道路上の白線、黄線、縁石、反射板、路面の模様、歩道の点字ブロック等、地表付近に存在する様々なものが考えられる。また、疑似校正ターゲットは、撮影画像中から一つのみ選択して決定してもよいし複数選択してもよい。なお、制御部２６は、適当な疑似校正ターゲットを決定できるまで、Ｓ１４５を実行する。疑似校正ターゲットは、校正ターゲットともいう。

　続いて、制御部２６は、Ｓ１３５で入力した撮影画像の中から、Ｓ１４５で決定した同一の疑似校正ターゲットが含まれる二時点の画像（異なる二地点から撮影した画像）を選択する（Ｓ１５０）。二時点の間隔としては、数メートル車両が移動する程度の間隔が適当である。第１の時点で撮影された画像は、第１撮影画像といい、第２の時点で撮影された画像は、第２撮影画像という。

　続いて、制御部２６は、Ｓ１５０で選択した画像を撮影した二時点間（２地点間）の車両の移動距離及び回転角を、Ｓ１４０で入力して各画像に対応付けた、車両の移動距離情報及び回転情報に基づいて算出する（Ｓ１５５）。

　続いて、制御部２６は、世界座標系上における二時点の疑似校正ターゲットの位置差及び回転差が少なく（望ましくは最小と）なるように、上述した姿勢パラメータのうち、カメラ視点の座標のｘ、ｙ、及びヨー角を決定する（Ｓ１６０）。この決定に関して詳細に説明する。

　制御部２６は、まず、Ｓ１５０で選択した二時点の撮影画像のそれぞれを鳥瞰画像に変換する。詳しくは、第１撮影画像を第１鳥瞰画像に変換し、第２撮影画像を第２鳥瞰画像に変換する。この際、記憶部２５に記憶されている姿勢パラメータの値を用いて変換を行う。

　続いて、制御部２６は、変換した２つの鳥瞰画像中にそれぞれ含まれる疑似校正ターゲットの位置及び回転の相違（ずれ）が世界座標系上で少なくなるように、姿勢パラメータのうち、カメラ視点の座標のｘ、ｙ、及びヨー角を探索する。探索方法は、例えば、記憶部２５に記憶されている前回実行時の姿勢パラメータの値を中心値として各パラメータの値を順に増減させ、撮影画像を鳥瞰変換して上記相違を評価することにより探索する方法が考えられるが、これに限らない。

　ここで、図５を用い、疑似校正ターゲットの位置差（位置のずれ）及び回転差（回転のずれ）について例示する。図５（Ａ）は、Ｓ１５０で選択した第一の時点の疑似校正ターゲット７１，７２の撮影画像を鳥瞰画像に変換した画像であり、疑似校正ターゲット７１，７２付近の画像である。この図では、正方形状の２つの疑似校正ターゲット７１，７２が左右に並び、後述する図５（Ｂ）と比較して時計と反対回りにわずかに回転した状態に変換されている。

　図５（Ｂ）は、Ｓ１５０で選択した第二の時点の疑似校正ターゲット７１，７２の撮影画像を鳥瞰画像に変換した画像であり、図５（Ａ）の疑似校正ターゲットと同一の疑似校正ターゲット７１，７２付近の画像である。この図では、正方形状の２つの疑似校正ターゲット７１，７２が左右に並び、図５（Ａ）と比較して時計回りにわずかに回転した状態（図面上では整列した状態）に変換されている。

　図５（Ｃ）は、図５（Ａ）と図５（Ｂ）とを座標系を揃えて配置した画像である。即ち、疑似校正ターゲット７１，７２を世界座標系常に配置した画像である。この図からわかるように、第一の時点の疑似校正ターゲット７１，７２と第二の時点の疑似校正ターゲット７１，７２とには、位置の相違（ずれ）と回転の相違（ずれ）とが存在する。この相違ができるだけ小さくなるように、姿勢パラメータのうちの、カメラ視点の座標のｘ、ｙ、及びヨー角を探索する。なお、疑似校正ターゲットの位置の相違や回転の相違は、カメラ視点の座標のｘ、ｙ、及びヨー角の影響によるものが大きい。

　説明を図３のフローチャートに戻し、Ｓ１６０において、姿勢パラメータのうちの、カメラ視点の座標のｘ，ｙ及びヨー角を決定すると、これら決定した値によって、記憶部２５に記憶されている姿勢パラメータの値を更新する（Ｓ１６５）。すなわち、姿勢パラメータのうち、カメラ視点の座標のｘ，ｙ及びヨー角が最新の値に更新される。

　続いて制御部２６は、姿勢パラメータの更新が完了したことを測定者に報知する（Ｓ１７０）。具体的には、表示装置３１に文字を表示させることによってそれを実現する。制御部２６は、報知を終えると、本処理（姿勢パラメータ決定処理）を終了する。

　このような画像処理装置２１によれば、車両の移動に回転が含まれていても、それが反映されたカメラ１１の姿勢パラメータ値が算出される。すなわち、測定の際に車両を旋回させても良いし、直進させなくても良いので、測定が容易にできる。

　なお、校正ターゲットとして、測定を目的として車両の周辺に設置されたマーカやパネル等（既定校正ターゲット）を疑似校正ターゲットとして特定してもよいが、測定に用いることを目的として配置されたものではない物体、すなわち、地表面近傍に存在する物体であって路面と区別可能な物体を疑似校正ターゲットとして特定するようになってもいい。即ち、既定校正ターゲットとして色彩情報又は形状情報が予め記憶部２５に記憶されているものであればよく、必ずしも車両の周辺に設置されたマーカやパネルに限定されるものではない。例えば、路面の白線の色彩情報又は形状情報が事前に分かれば、既定校正ターゲットとすることが可能である。

　このような画像処理装置２１であれば、マーカ等の既定校正ターゲットを測定前に用意することなくカメラ１１の姿勢パラメータ値を算出することができる。

　なお、Ｓ１６０で算出する姿勢パラメータの値は、カメラ１１の水平方向の取付位置、又は、カメラ１１の取付ヨー角（水平方向の首振角）の少なくともいずれか一つである。カメラ１１の水平方向の取付位置としては、例えば、水平面上における直交座標軸の一方（Ｘ又はＹ）又は両方（Ｘ及びＹ）の方向が挙げられる。

　このような姿勢パラメータであれば、その値をＳ１６０で精度良く算出できる。

　なお、既定の校正ターゲットの本来の形状を特定可能な形状情報を予め記憶し、既定校正ターゲットが撮影された撮影画像（第３撮影画像）を第３鳥瞰画像に変換し、その第３鳥瞰画像に含まれる既定校正ターゲットの形状と、記憶部２５に記憶されている形状情報により特定される既定の校正ターゲットの本来の形状との相違が少なくなるよう、Ｓ１６０で算出する姿勢パラメータ以外の種類の姿勢パラメータの値をＳ１１５で算出するようにしてもよい。Ｓ１１５で算出された姿勢パラメータの値も記憶部２５に記憶させる。形状の相違とは、例えば、大きさやゆがみなどが挙げられる。

　このような画像処理装置２１によって算出されたパラメータの値を利用することにより、より適切にキャリブレーションを実現することができる。

　なお、Ｓ１１５で算出されたパラメータの値は、カメラ１１の取付ピッチ角（鉛直方向の首振角）、取付ロール角、又は、鉛直方向の取付位置の少なくともいずれか一つである。

　このような姿勢パラメータであれば、その値をＳ１１５で精度良く算出できる。

　本実施形態の図３において、制御部２６がＳ１３５で行う処理が撮影画像入力部（撮影画像入力手段）として機能し、制御部２６がＳ１４５で行う処理が校正ターゲット特定部（校正ターゲット特定手段）として機能し、制御部２６がＳ１４０で行う処理が車両情報入力部（車両情報入力手段）として機能し、制御部２６がＳ１３５で行う処理が撮影画像入力部（撮影画像入力手段）として機能し、制御部２６がＳ１６０で行う処理が第１算出部（第１算出手段）として機能し、制御部２６がＳ１１５で行う処理が第２算出部（第２算出手段）として機能し、制御部２６がＳ１６５で行う処理が記憶制御部（記憶制御手段）として機能する。

　（変形例）
　上記実施形態の変形例による画像処理装置２１は、撮影画像入力部（Ｓ１３５）、校正ターゲット特定部（Ｓ１４５）、車両情報入力部（Ｓ１４０）、位置関係取得部、算出部（Ｓ１６０）と記憶制御部（Ｓ１６５）を含む。撮影画像入力部（Ｓ１３５）は、車両に搭載されたカメラ１１より撮影された第１撮影画像と、第１撮影画像が撮影され車両が走行した後に撮影された第２撮影画像とを画像処理装置２１に入力する。校正ターゲット特定部（Ｓ１４５）は、撮影画像入力部（Ｓ１３５）により入力された、第１撮影画像に含まれる第１校正ターゲットと、第２撮影画像に含まれ、第１校正ターゲットと同一形状の第２校正ターゲットを特定する。車両情報入力部（Ｓ１４０）は、第１撮影画像を撮影した地点と、第２撮影画像を撮影した地点間の車両の走行距離及び向き変化を特定可能な情報を入力する。位置関係取得部は、第１校正ターゲットと第２校正ターゲットとの相対的な位置関係を取得する。算出部（Ｓ１６０）は、第１撮影画像と第２撮影画像をそれぞれ第１鳥瞰画像と第２鳥瞰画像に変換し、変換した各鳥瞰画像を、車両情報入力部（Ｓ１４０）が入力した情報より特定される第１撮影画像と第２撮影画像のそれぞれの撮影位置及び撮影方向を反映させて共通の座標系上に配置させる。その後、算出部（Ｓ１６０）は、位置関係取得部が取得した第１校正ターゲットと第２校正ターゲットとの相対的な位置関係に基づいて、共通の座標系において第１校正ターゲットと第２校正ターゲットが重なり、第１校正ターゲットと第２校正ターゲットの位置差及び回転差が少なくなるようカメラ１１の少なくとも１つの姿勢パラメータの値を算出する。記憶制御部（Ｓ１６５）は、算出部（Ｓ１６０）により算出された姿勢パラメータの値を記憶部２５に記憶させる。第１校正ターゲットと第２校正ターゲットは、違う位置に位置する同一形状をもつターゲットでもよい。

　［実施形態の効果］
　以上のような画像処理装置２１は、要するに、異なる２地点より撮影された同一の疑似校正ターゲットを、車両の移動及び回転を反映して共通の座標系である世界座標系上の地平面にそれぞれ配置する。そして、その配置した疑似校正ターゲットを上方から見た場合の位置ずれや回転ずれが少なくなるように、車載カメラ１１の姿勢パラメータのうちの、第１種姿勢パラメータであるカメラ視点の座標のｘ，ｙにより示される水平方向の取付位置及び取付ヨー角の値を見直す。したがって、車両の回転移動も反映して姿勢パラメータの値を算出するため、測定の際に車両を旋回させてもよい。

　また、画像処理装置２１は、疑似校正ターゲットを、車両の周辺の地表付近に存在する様々なものから選択して決定する。このため、マーカ等の既定校正ターゲットを測定前に車両の周囲に配置することなく、車両を、疑似校正ターゲットの近傍を走行させることによって、姿勢パラメータのうちの、カメラ視点の座標のｘ，ｙ及びヨー角の値を見直すことができる。

　また、車載カメラ１１の姿勢パラメータのうちの、カメラ視点の座標のｘ，ｙ及びヨー角の値を算出することに先立ち、鳥瞰画像中に含まれる既定校正ターゲット（疑似校正ターゲットではない校正ターゲット）の歪み具合によって、車載カメラ１１の姿勢パラメータのうちの、第２種姿勢パラメータである取付ピッチ角、取付ロール角、及び、カメラ視点の座標の高さＨ（ｚ座標によりしめされる鉛直方向の取付位置）の値を見直すこともできる。このため、姿勢パラメータのうちの、カメラ視点の座標のｘ，ｙ及びヨー角の値を算出する際の精度を高めることができるし、結果として車載カメラ１１の全ての種類の姿勢パラメータ（ｘ、ｙ、ｚ、ピッチ角、ロール角、及びヨー角）を算出することができる。

　（他の実施形態）
　（１）上記実施形態では、同一の疑似校正ターゲットが含まれる二時点の画像（異なる二地点から撮影した画像）を選択するようになっていたが（Ｓ１５０）、同一の疑似校正ターゲットが含まれる三以上の時点の画像（異なる三地点から撮影した画像）を選択して、以降の処理を行うようになっていてもよい。このようになっていれば、より精度の高い姿勢パラメータを算出できる。

　（２）上記実施形態は車両７の後方周辺を撮影するカメラとして車載カメラ１１が１台設置されたものであったが、車両７には複数台のカメラが設置されていてもよい。それらの複数台のカメラは、それぞれ車両の前方、後方、又は側方を撮影可能なように設置されているとよい。複数台のカメラが設置されている場合は、上述した姿勢パラメータ決定処理をカメラ毎に行うようになっているとよい。

　（４）上記実施形態では、画像処理装置２１の制御部２６が姿勢パラメータ決定処理の全てのステップを行うようになっていたが、一部のステップを他の情報処理装置に行わせるようになっていてもよい。すなわち、一部のステップの実行に必要なデータを制御部２６が他の情報処理装置へ送信し、結果のデータをその情報処理装置から制御部２６が受信することによって姿勢パラメータ決定処理を実現してもよい。なお、他の情報処理装置は、車載の情報処理装置であってもよいし、通信ネットワークを介して通信可能な非車載の情報処理装置であってもよい。このように一部のステップを他の情報処理装置に行わせるようになっていれば、画像処理装置２１の処理負荷を抑えることができ、ハードウェア構成を簡易なものにすることも可能になる。

　（５）上記実施形態の姿勢パラメータ決定処理では、Ｓ１４５～Ｓ１６０にかけて疑似校正ターゲットを用いたが、既定校正ターゲット（測定を目的として車両の周辺に設置するパネル等）を用いてもよい。すなわち、事前に車両の走行路の周囲に既定校正ターゲットを配置しておき、その付近を車両に走行させ、制御部２６はそれを用いてＳ１４５～Ｓ１６０の処理を行うようにしてもよい。

　また本開示は、制御部２６によって実施される画像処理のための命令を含み、コンピュータ読み取り可能な持続的且つ有形の記憶媒体としてもよい。

　本開示は、実施例に準拠して記述されたが、本開示は当該実施例や構造に限定されるものではないと理解される。本開示は、様々な変形例や均等範囲内の変形をも包含する。加えて、様々な組み合わせや形態、さらには、それらに一要素のみ、それ以上、あるいはそれ以下、を含む他の組み合わせや形態をも、本開示の範疇や思想範囲に入るものである。

Claims

　車両に搭載されたカメラより撮影された複数の画像を入力する撮影画像入力部（２６，Ｓ１３５）と、
　前記撮影画像入力部（２６，Ｓ１３５）により入力された、車両が走行した少なくとも２地点で撮影された第１撮影画像と第２撮影画像において、共通して含まれる同一の校正ターゲットを特定する校正ターゲット特定部（２６，Ｓ１４５）と、
　前記車両の走行距離及び向き変化を特定可能な情報を入力する車両情報入力部（２６，Ｓ１４０）と、
　前記校正ターゲットが含まれる前記第１撮影画像と前記第２撮影画像をそれぞれ第１鳥瞰画像と第２鳥瞰画像に変換し、変換した各鳥瞰画像を、前記車両情報入力部（２６，Ｓ１４０）が入力した情報より特定される前記第１撮影画像と前記第２撮影画像のそれぞれの撮影位置及び撮影方向を反映させて共通の座標系上に配置させ、前記第１鳥瞰画像と前記第２鳥瞰画像において前記校正ターゲットの位置差及び回転差が少なくなるよう前記カメラの少なくとも１つの姿勢パラメータの値を算出する算出部（２６，Ｓ１６０）と、
　前記算出部（２６，Ｓ１６０）により算出された前記姿勢パラメータの値を記憶部（２５）に記憶させる記憶制御部（２６，Ｓ１６５）と、
　を備える画像処理装置。
　前記校正ターゲット特定部（２６，Ｓ１４５）は、地表面近傍に存在する路面と区別可能な物体を前記校正ターゲットとして特定する、
　請求項１に記載の画像処理装置。
　前記少なくとも１つの姿勢パラメータの値は、前記カメラの水平方向の取付位置、又は、前記カメラの取付ヨー角の少なくともいずれか一つである、
　請求項１又は２に記載の画像処理装置。
　前記校正ターゲットとは異なる既定校正ターゲットの本来の形状を特定可能な形状情報を記憶する既定校正ターゲット記憶部（２５）と、
　前記算出部（２６，Ｓ１６０）は第１算出部といい、前記姿勢パラメータは第１種姿勢パラメータといい、
　前記第１種姿勢パラメータとは異なる少なくとも１つの第２種姿勢パラメータの値を算出する第２算出部（２６，Ｓ１１５）、
　をさらに備え、
　前記第２算出部（２６，Ｓ１１５）は、
　前記撮影画像入力部（２６，Ｓ１３５）により入力された前記カメラより撮影され前記既定校正ターゲットを含む第３撮影画像を第３鳥瞰画像に変換し、
　前記第３鳥瞰画像に含まれる前記既定校正ターゲットの形状と、前記既定校正ターゲット記憶部（２５）に記憶されている前記形状情報により特定される前記既定校正ターゲットの本来の形状との相違が少なくなるように前記第２種姿勢パラメータの値を算出し、
　前記記憶制御部（２６，Ｓ１６５）は、前記第２算出部（２６，Ｓ１１５）により算出された前記第２種姿勢パラメータの値も前記記憶部（２５）に記憶させる、
　請求項１～３のいずれか１項に記載の画像処理装置。
　前記少なくとも１つの第２種姿勢パラメータの値は、前記カメラの取付ピッチ角、取付ロール角、又は、鉛直方向の取付位置の少なくともいずれか一つである、
　請求項４に記載の画像処理装置。
　前記第１算出部（２６，Ｓ１６０）は、前記第２算出部（２６，Ｓ１１５）によって算出されて前記記憶部（２５）に記憶された前記第２種姿勢パラメータの値に基づいて前記第１撮影画像と第２撮影画像をそれぞれ第１鳥瞰画像と第２鳥瞰画像に変換する、
　請求項４又は５に記載の画像処理装置。
　前記校正ターゲットは、少なくとも道路上の白線、黄線、縁石、反射板、路面の模様、歩道の点字ブロックのうち1つを含み、
　前記既定校正ターゲットは、測定に用いることを目的としたターゲットであり、少なくとも車両の周辺に設置されたマーカとパネルのうち１つを含む、
　請求項１～６のいずれか１項に記載の画像処理装置。
　車両に搭載されたカメラより撮影した複数の画像を入力し、
　車両が走行した少なくとも２地点で撮影され入力された第１撮影画像と第２撮影画像において、共通して含まれる同一の校正ターゲットを特定し、
　前記車両の走行距離及び向き変化を特定可能な情報を入力し、
　前記校正ターゲットを含む前記第１撮影画像と前記第２撮影画像をそれぞれ第１鳥瞰画像と第２鳥瞰画像に変換し、
　各鳥瞰画像を、前記車両の走行距離及び向き変化を特定可能な情報より特定される第１撮影画像と第２撮影画像のそれぞれの撮影位置及び撮影方向を反映させて共通の座標系上に配置させ、
　前記第１鳥瞰画像と前記第２鳥瞰画像において前記校正ターゲットの位置差及び回転差が少なくなるよう前記カメラの姿勢パラメータの値を算出し、
　前記算出された前記姿勢パラメータの値を記憶する、
　ためのコンピュータによって実施される命令を含み、コンピュータ読み取り可能な持続的且つ有形の記憶媒体。
　車両に搭載されたカメラより撮影された第１撮影画像と、前記第１撮影画像が撮影され前記車両が走行した後に撮影された第２撮影画像とを入力する撮影画像入力部（２６，Ｓ１３５）と、
　前記撮影画像入力部（２６，Ｓ１３５）により入力された、前記第１撮影画像に含まれる第１校正ターゲットと、前記第２撮影画像に含まれ、前記第１校正ターゲットと同一形状の第２校正ターゲットを特定する校正ターゲット特定部（２６，Ｓ１４５）と、
　前記第１撮影画像を撮影した地点と、前記第２撮影画像を撮影した地点間の前記車両の走行距離及び向き変化を特定可能な情報を入力する車両情報入力部（２６，Ｓ１４０）と、
　前記第１校正ターゲットと前記第２校正ターゲットとの相対的な位置関係を取得する位置関係取得部と、
　前記第１撮影画像と前記第２撮影画像をそれぞれ第１鳥瞰画像と第２鳥瞰画像に変換し、変換した各鳥瞰画像を、前記車両情報入力部（２６，Ｓ１４０）が入力した情報より特定される前記第１撮影画像と前記第２撮影画像のそれぞれの撮影位置及び撮影方向を反映させて共通の座標系上に配置させ、前記位置関係取得部が取得した前記第１校正ターゲットと前記第２校正ターゲットとの相対的な位置関係に基づいて、前記共通の座標系において前記第１校正ターゲットと前記第２校正ターゲットが重なり、前記第１校正ターゲットと前記第２校正ターゲットの位置差及び回転差が少なくなるよう前記カメラの少なくとも１つの姿勢パラメータの値を算出する算出部（２６，Ｓ１６０）と、
　前記算出部（２６，Ｓ１６０）により算出された前記姿勢パラメータの値を記憶部（２５）に記憶させる記憶制御部（２６，Ｓ１６５）と、
　を備える画像処理装置。