JP7002007B2 - カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラム - Google Patents

Description

本開示は、カメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラムに関する。

自動車の安全運転支援システム又は不審者等を検出する監視カメラシステムなどにおいて、複数台のカメラで撮影した画像を用いて新たな画像を生成し、利用者に呈示する技術が数多く提案されている。例えば、特許文献１に開示される画像生成装置は、車両の前後左右に設置された計４台のカメラを用いて車両の周辺を撮影する。そして、画像生成装置は、４台のカメラの撮影画像を、予め定めた空間モデルにマッピングすることで、車両全周囲を上方から俯瞰した画像を生成する。この手法は、自車を俯瞰したような視点での画像が生成できるため、ドライバが容易に自車周辺の状況を認識できるという利点がある。

複数台のカメラで撮影した画像から、１つの画像を生成するためには、各カメラのカメラパラメタセットが必要である。このカメラパラメタセットを算出することをカメラ校正と呼ぶ。特許文献２及び非特許文献１には、カメラ校正について詳細な説明が記載されている。例えば、非特許文献１に開示されるカメラ校正技術では、校正の基準となる基準点の３次元座標と、カメラで基準点を撮影した像を含む画像における当該像の画素座標との組が複数組用意されて、これらが入力され、さらに、カメラパラメタを用いて３次元座標の基準点を画像上に投影した点と、当該基準点に対応する画素座標との距離（再投影誤差とも呼ばれる）が算出される。さらに、各基準点の再投影誤差の総和を最小化するカメラパラメタセットが算出される。

特許第３２８６３０６号公報 特表２００３－５２８３０４号公報

Roger Y. Tsai、「A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses」、Journal of Robotics and Automation、IEEE、1987年8月、Vol. RA-3、No.4、p.323-344 S. J. Maybank and O. D. Faugeras、「A Theory of Self-calibration of a Moving Camera」、International Journal of Computer Vision、1992年、 8(2):123-151 C. Zach、T. Pock及びH. Bischof、「A duality based approach for realtime TV-L1 optical flow」、In Proceedings of the 29th DAGM conference on Pattern recognition、2007年、p214-223 松山隆司、ほか編、「コンピュータビジョン」、株式会社新技術コミュニケーションズ、p123-137

従来の校正技術では、基準点、すなわち、基準点の３次元座標及び画素座標の組を入力としているため、基準点を得るための校正指標が必要という課題がある。さらに、基準点の３次元位置が、経年変化、外力又は温度変化等の影響で変化し、変化後の３次元座標が未知である場合に、正しく校正できないという課題がある。

本開示は、基準点の３次元座標が事前に与えられることなく、カメラの自己校正を可能にするカメラパラメタセット算出装置、カメラパラメタセット算出方法及びプログラムを提供する。

本開示の一態様に係るカメラパラメタセット算出装置は、複数のカメラで撮影された画像と前記複数のカメラのカメラパラメタセットとを用いて、カメラパラメタセットを算出する少なくとも１つの制御回路を備え、前記少なくとも１つの制御回路は、（ａ１）前記複数のカメラの第１カメラで撮影された第１画像と、前記複数のカメラの第２カメラで撮影された第２画像とを取得し、（ａ２）前記第１カメラの１つ以上のカメラパラメタを含む第１カメラパラメタセットと、前記第２カメラの１つ以上のカメラパラメタを含む第２カメラパラメタセットとを取得し、（ａ３）前記第１画像、前記第２画像、前記第１カメラパラメタセット及び前記第２カメラパラメタセットに基づいて、前記第１画像及び前記第２画像における被写体が部分的に重複して映し出される重複領域上の３次元座標を複数算出し、（ａ４）前記第１カメラパラメタセットに基づいて前記複数の３次元座標を前記第１画像に投影した複数の第１画素座標を決定し、前記第２カメラパラメタセットに基づいて前記複数の３次元座標を前記第２画像に投影した複数の第２画素座標を決定し、（ａ５）前記第１画像における前記複数の第１画素座標での複数の画素値と前記第２画像における前記複数の第２画素座標での複数の画素値とに基づいて評価値を算出し、（ａ６）前記評価値に基づいて、前記第１カメラパラメタセット及び前記第２カメラパラメタセットを更新し、（ａ７）更新された前記第１カメラパラメタセット及び前記第２カメラパラメタセットを出力する。

本開示の一態様に係るカメラパラメタセット算出方法は、（ａ１）複数のカメラの第１カメラで撮影された第１画像と、前記複数のカメラの第２カメラで撮影された第２画像とを取得し、（ａ２）前記第１カメラの１つ以上のカメラパラメタを含む第１カメラパラメタセットと、前記第２カメラの１つ以上のカメラパラメタを含む第２カメラパラメタセットとを取得し、（ａ３）前記第１画像、前記第２画像、前記第１カメラパラメタセット及び前記第２カメラパラメタセットに基づいて、前記第１画像及び前記第２画像における被写体が部分的に重複して映し出される重複領域上の３次元座標を複数算出し、（ａ４）前記第１カメラパラメタセットに基づいて前記複数の３次元座標を前記第１画像に投影した複数の第１画素座標を決定し、前記第２カメラパラメタセットに基づいて前記複数の３次元座標を前記第２画像に投影した複数の第２画素座標を決定し、（ａ５）前記第１画像における前記複数の第１画素座標での複数の画素値と前記第２画像における前記複数の第２画素座標での複数の画素値とに基づいて評価値を算出し、（ａ６）前記評価値に基づいて、前記第１カメラパラメタセット及び前記第２カメラパラメタセットを更新し、（ａ７）更新された前記第１カメラパラメタセット及び前記第２カメラパラメタセットを出力し、処理（ａ１）～処理（ａ７）の少なくとも１つがプロセッサによって実行される。

本開示の一態様に係るプログラムは、コンピュータに実行させるプログラムであって、（ａ１）複数のカメラの第１カメラで撮影された第１画像と、前記複数のカメラの第２カメラで撮影された第２画像とを取得し、（ａ２）前記第１カメラの１つ以上のカメラパラメタを含む第１カメラパラメタセットと、前記第２カメラの１つ以上のカメラパラメタを含む第２カメラパラメタセットとを取得し、（ａ３）前記第１画像、前記第２画像、前記第１カメラパラメタセット及び前記第２カメラパラメタセットに基づいて、前記第１画像及び前記第２画像における被写体が部分的に重複して映し出される重複領域上の３次元座標を複数算出し、（ａ４）前記第１カメラパラメタセットに基づいて前記複数の３次元座標を前記第１画像に投影した複数の第１画素座標を決定し、前記第２カメラパラメタセットに基づいて前記複数の３次元座標を前記第２画像に投影した複数の第２画素座標を決定し、（ａ５）前記第１画像における前記複数の第１画素座標での複数の画素値と前記第２画像における前記複数の第２画素座標での複数の画素値とに基づいて評価値を算出し、（ａ６）前記評価値に基づいて、前記第１カメラパラメタセット及び前記第２カメラパラメタセットを更新し、（ａ７）更新された前記第１カメラパラメタセット及び前記第２カメラパラメタセットを出力することを前記コンピュータに実行させる。

なお、上記の包括的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｃ－Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）等の不揮発性の記録媒体を含む。

本開示のカメラパラメタセット算出技術によると、基準点の３次元座標が事前に与えられることなく、カメラの自己校正が可能になる。

本開示の一態様の付加的な恩恵及び有利な点は本明細書及び図面から明らかとなる。この恩恵及び／又は有利な点は、本明細書及び図面に開示した様々な態様及び特徴により個別に提供され得るものであり、その１つ以上を得るために全てが必要ではない。

図１は、従来の校正指標の例を示す模式図である。 図２は、実施の形態に係る車載カメラシステムの機能的な構成を示すブロック図である。 図３は、実施の形態に係る車載カメラシステムの設置例を示す図である。 図４は、実施の形態に係る車載カメラシステムの画像処理部をコンピュータによって構成したブロック図である。 図５は、実施の形態に係る画像処理部の画像生成時の動作の流れの一例を示すフローチャートである。 図６は、実施の形態における撮影画像の例を示す模式図である。 図７は、実施の形態における仮想カメラの配置例を示す模式的な図である。 図８は、実施の形態における生成画像の例を示す模式図である。 図９は、実施の形態に係るカメラパラメタセット算出装置の機能的な構成を示す模式図である。 図１０は、実施の形態に係る画像処理部の自己校正時の動作の流れの一例を示すフローチャートである。 図１１は、実施の形態における撮影画像の重複撮影領域の例を示す模式図である。 図１２Ａは、自己校正の実験条件１の実験例におけるカメラパラメタと評価値との関係の例である。 図１２Ｂは、自己校正の実験条件１の実験例におけるカメラパラメタと評価値との関係の例である。 図１２Ｃは、自己校正の実験条件１の実験例におけるカメラパラメタと評価値との関係の例である。 図１２Ｄは、自己校正の実験条件１の実験例におけるカメラパラメタと評価値との関係の例である。 図１３Ａは、自己校正の実験条件１の実験例におけるカメラパラメタと評価値との関係の例である。 図１３Ｂは、自己校正の実験条件１の実験例におけるカメラパラメタと評価値との関係の例である。 図１３Ｃは、自己校正の実験条件１の実験例におけるカメラパラメタと評価値との関係の例である。 図１４Ａは、自己校正の実験条件１の実験例におけるカメラパラメタと評価値との関係の例である。 図１４Ｂは、自己校正の実験条件１の実験例におけるカメラパラメタと評価値との関係の例である。 図１５Ａは、自己校正の実験条件２の実験例における試行回数と評価値との関係の例である。 図１５Ｂは、自己校正の実験条件２の実験例における試行回数と再投影誤差との関係の例である。 図１６は、互いに重複撮影領域を含む４つのカメラの撮影画像の一例である。 図１７は、変形例２に係る車載カメラシステムの構成を示すブロック図である。

［本開示の基礎となった知見］
本発明者らは、「背景技術」の欄において記載したカメラ校正に関し、以下の問題が生じることを見出した。具体的には、自動車の安全運転支援システム又は不審者等を検出する監視カメラシステムなどにおいて、車両の周り又は監視対象エリアを利用者にわかりやすく見せるために、複数台のカメラで撮影した画像から１つの画像を生成する手法、及びカメラで撮影した画像に位置の基準となるような補助線を重畳する手法が、数多く提案されている。複数台のカメラがそれぞれ異なる位置に設定されている場合に、これらのカメラで撮影した画像から１つの画像を生成するためには、各カメラの位置及び向き、並びに、焦点距離及び光軸中心位置などの各カメラのカメラパラメタセットが必要である。カメラパラメタセットとは、カメラで被写体のある点を撮影して画像を得た場合、当該ある点の３次元座標と、画像における当該点の像の２次元座標（画素座標とも呼ばれる）との関係を表す、カメラのモデルと当該モデルに応じた複数のパラメタである。このカメラパラメタセットを算出することをカメラ校正と呼ぶ。より詳細には、カメラパラメタセットは、外部パラメタセット及び内部パラメタセットの２つのカメラパラメタセットで構成される。外部パラメタセットは、カメラの撮影空間を基準として定められた３次元の世界座標系と、カメラを基準として定められた３次元のカメラ座標系との間での位置関係を表す。内部パラメタセットは、カメラ座標系における被写体の３次元座標と当該カメラで撮影した画像上での当該被写体の位置との関係を表す。

［校正技術の従来例］
非特許文献１が開示するカメラ校正技術では、基準点の３次元座標及び当該基準点の画素座標の組が複数組用意されて、これらを入力要素とし、カメラパラメタを用いて３次元座標の基準点を画像上に投影した点と、当該基準点に対応する画素座標との距離（再投影誤差）の総和を最小化するカメラパラメタセットが算出される。

基準点の３次元座標及び当該基準点の画素座標の組を得るために、特定模様の校正指標が一般的に用いられる。校正指標の例を、図１に示す。図１の例では、格子状の模様が箱状の被写体の内側に一定間隔で配置されている。格子点、つまり、模様の角を基準点とし、基準点である格子点の３次元座標の設計値、又は、基準点の設置後に計測された基準点の３次元座標が保持される。さらに、基準点をカメラで撮影し、基準点である格子点の画素座標を画像処理で推定することで、基準点の３次元座標及び画素座標の組の情報が得られる。このような校正指標を用いる校正技術は、校正指標の利用が容易な、カメラ製造後の工場での校正などで有効である。また、３次元座標の精度の高い校正指標の利用、又は、画素座標の推定精度の高い画像処理と特定模様の校正指標とを導入することで、高精度な校正ができる。しかしながら、校正指標を備える設備等が必要になる課題がある。特に、カメラの撮影範囲が広いほど、撮影範囲を覆うためにより大きな校正指標が必要になる。

また、カメラ校正は、製造時の校正のほかに、カメラを搭載する装置が稼動している状態で、経年変化、外力による変形又は温度変化等の影響によって、カメラパラメタセットが変わってしまった場合にも必要になる。自動車の安全運転支援システム及び監視カメラシステムなどにおいては、校正方法は、校正指標を備える設備等が不要であり、且つ、人手による操作が不要であることが望ましい。つまり、自己校正による校正方法が望ましい。ここで、カメラを備えるシステムがカメラパラメタセットを自動で更新することを自己校正と呼ぶ。

特許文献２には、車両に設置されたステレオカメラをシステムが自動で校正する自己校正技術が開示されている。特許文献２の技術では、格子等の特定模様の校正指標を用いる代わりに、カメラの視野内にある静止物が校正目標として記憶され、カメラ視野内での校正目標の位置が変わった場合に、校正目標の３次元座標の情報を用いて、カメラの自己校正が行われる。

しかしながら、従来の校正技術では、校正目標の３次元座標は事前に得られており変化しないと仮定しているため、校正目標の３次元座標が経年変化、外力又は温度変化等の影響で変化した場合に、正しく校正できないという課題がある。そこで、本発明者らは、校正指標及び校正基準点の３次元座標が事前に与えられることなく、カメラの校正を可能にする技術を、下記のように創案した。

本開示の一態様に係るカメラパラメタセット算出装置は、複数のカメラで撮影された画像と前記複数のカメラのカメラパラメタセットとを用いて、カメラパラメタセットを算出する少なくとも１つの制御回路を備え、前記少なくとも１つの制御回路は、（ａ１）前記複数のカメラの第１カメラで撮影された第１画像と、前記複数のカメラの第２カメラで撮影された第２画像とを取得し、（ａ２）前記第１カメラの１つ以上のカメラパラメタを含む第１カメラパラメタセットと、前記第２カメラの１つ以上のカメラパラメタを含む第２カメラパラメタセットとを取得し、（ａ３）前記第１画像、前記第２画像、前記第１カメラパラメタセット及び前記第２カメラパラメタセットに基づいて、前記第１画像及び前記第２画像における被写体が部分的に重複して映し出される重複領域上の３次元座標を複数算出し、（ａ４）前記第１カメラパラメタセットに基づいて前記複数の３次元座標を前記第１画像に投影した複数の第１画素座標を決定し、前記第２カメラパラメタセットに基づいて前記複数の３次元座標を前記第２画像に投影した複数の第２画素座標を決定し、（ａ５）前記第１画像における前記複数の第１画素座標での複数の画素値と前記第２画像における前記複数の第２画素座標での複数の画素値とに基づいて評価値を算出し、（ａ６）前記評価値に基づいて、前記第１カメラパラメタセット及び前記第２カメラパラメタセットを更新し、（ａ７）更新された前記第１カメラパラメタセット及び前記第２カメラパラメタセットを出力する。

上記態様によれば、撮影画像に部分的な重複領域がある第１カメラ及び第２カメラについて、評価値に基づいたカメラパラメタセットの算出が可能である。よって、第１カメラ及び第２カメラが互いに離れていても、それぞれの向きが互いに異なっていても、カメラパラメタセットの算出が可能である。なお、評価値の算出に用いられる画素座標に対応する重複領域は、第１画像及び第２画像から抽出され、座標等が既知である予め設定された基準ではない。このため、カメラパラメタセットの算出過程における３次元座標と画素座標との対応付けに、既知の基準点を含む校正指標を備える設備が不要である。言い換えると、本態様は、事前に得た基準点の３次元座標を用いないため、経年変化、外力、温度変化等の影響による基準点の変化とは無関係に、カメラを正しく自己校正できる。

なお、第１カメラパラメタセット及び第２カメラパラメタセットが正しい場合に、ある点の３次元座標に対応する第１画素座標での第１画像の画素値及び第２画素座標での第２画像の画素値は、互いに等しく、第１カメラパラメタセット又は第２カメラパラメタセットが正解値から離れるほど、つまり誤差を多く含むほど、第１画像の画素値と第２画像の画素値との間に差異が生じる。このため、第１カメラパラメタセット又は第２カメラパラメタセットが誤差を含む場合に、第１画像の画素値と第２画像の画素値との差異に基づいて、例えば、差異を最小にするように、第１カメラパラメタセット及び第２カメラパラメタセットを変更することで、正しいカメラパラメタセットを得ることができる。すなわち、第１及び第２カメラを校正することができる。

また、本開示の一態様に係るカメラパラメタセット算出装置において、前記第１画像及び前記第２画像は、（ｉ）車両の前部に配置されたカメラで前記車両の前方を撮影した画像、及び前記車両の左部に配置されたカメラで前記車両の左方を撮影した画像の組み合わせ、（ｉｉ）車両の前部に配置されたカメラで前記車両の前方を撮影した画像、及び前記車両の右部に配置されたカメラで前記車両の右方を撮影した画像の組み合わせ、（ｉｉｉ）車両の後部に配置されたカメラで前記車両の後方を撮影した画像、及び前記車両の左部に配置されたカメラで前記車両の左方を撮影した画像の組み合わせ、（ｉｖ）車両の後部に配置されたカメラで前記車両の後方を撮影した画像、及び前記車両の右部に配置されたカメラで前記車両の右方を撮影した画像の組み合わせ、のうちのいずれかの組み合わせであってもよい。

上記態様において、第１カメラ及び第２カメラは、異なる向きに指向されているが、撮影画像に部分的な重複領域があるように構成又は配置されることによって、カメラパラメタセットの算出を可能にする。

また、本開示の一態様に係るカメラパラメタセット算出装置において、前記少なくとも１つの制御回路は、処理（ａ５）では、前記第１画素座標における前記第１画像の画素値と前記第２画素座標における前記第２画像の画素値との差異に基づいて前記評価値を算出してもよい。

上記態様によれば、第１画素座標での第１画像の画素値と第２画素座標での第２画像の画素値との間に差異がある場合、第１カメラパラメタセット及び第２カメラパラメタセットに、真値に対する誤差があると判定することが可能である。よって、第１カメラパラメタセット及び第２カメラパラメタセットの良否の判定が容易である。さらに、例えば、上記差異を小さくするように、第１カメラパラメタセット及び第２カメラパラメタセットを変更つまり更新することによって、第１カメラパラメタセット及び第２カメラパラメタセットを適切にすることが可能である。

また、本開示の一態様に係るカメラパラメタセット算出装置において、前記少なくとも１つの制御回路は、前記複数のカメラの第３カメラで撮影された第３画像と、前記第３カメラの第３カメラパラメタセットとをさらに取得し、前記第１画像、前記第２画像及び前記第３画像から、２つの画像により構成される複数の組を決定し、前記複数の組それぞれに含まれる２つの画像に対して、処理（ａ３）～処理（ａ５）を順次行ってもよい。

上記態様によれば、複数のカメラの画像を用いることによって、重複領域の面積の増大が見込める。よって、校正精度の向上が見込める。２つの画像を用いて評価値の算出まで完了することよって、他の画像の干渉を受けない評価値が算出される。これよって、２つの画像から得られる結果が、適正か否かを判別することができる。例えば、判別結果に基づき、カメラパラメタセットの変更方法を検討することができる。つまり、カメラの視野の部分的な領域での校正が可能になる。

また、本開示の一態様に係るカメラパラメタセット算出装置において、前記少なくとも１つの制御回路は、前記複数のカメラの第３カメラで撮影された第３画像と、前記第３カメラの第３カメラパラメタセットとをさらに取得し、前記第１画像、前記第２画像及び前記第３画像から、２つの画像により構成される複数の組を決定し、前記複数の組それぞれに含まれる２つの画像に対して、処理（ａ３）～処理（ａ５）を行って得られる画素値を用いて、前記評価値を算出してもよい。

上記態様によれば、複数のカメラの画像を用いることによって、重複領域の面積の増大が見込める。よって、校正精度の向上が見込める。複数の組それぞれで算出される画素値を、評価値の算出に適用することよって、１つのカメラについて複数の重複領域を用いた校正が可能になる。これにより、校正に利用できる画像の面積が増え、カメラの視野の広い領域にわたる全体的な校正が可能になる。また、複数の組それぞれで算出される画素値を、評価値の算出に適用することよって、第１カメラ、第２カメラ及び第３カメラの全体的な校正が可能になる。

また、本開示の一態様に係るカメラパラメタセット算出装置において、前記第１画像及び前記第２画像は、被写体の一部が重複して映る第１重複領域を含み、前記第２画像及び前記第３画像は、被写体の一部が重複して映る第２重複領域を含み、前記第１重複領域と前記第２重複領域とは、重複しなくてもよい。

上記態様によれば、重複領域において、３つ以上の画像が重複しない。これにより、重複領域の面積の増大が可能である。よって、画像における校正対象の領域の増大が可能になり、画像の広い領域に対する校正が可能になる。従って、校正精度が向上する。

また、本開示の一態様に係るカメラパラメタセット算出装置において、前記第１画像及び前記第２画像はそれぞれ、光軸中心での光軸の方向が互いに交差する方向であるように配置された前記第１カメラ及前記第２カメラで撮影された画像であってもよい。

本開示の一態様に係るカメラパラメタセット算出方法は、（ａ１）複数のカメラの第１カメラで撮影された第１画像と、前記複数のカメラの第２カメラで撮影された第２画像とを取得し、（ａ２）前記第１カメラの１つ以上のカメラパラメタを含む第１カメラパラメタセットと、前記第２カメラの１つ以上のカメラパラメタを含む第２カメラパラメタセットとを取得し、（ａ３）前記第１画像、前記第２画像、前記第１カメラパラメタセット及び前記第２カメラパラメタセットに基づいて、前記第１画像及び前記第２画像における被写体が部分的に重複して映し出される重複領域上の３次元座標を複数算出し、（ａ４）前記第１カメラパラメタセットに基づいて前記複数の３次元座標を前記第１画像に投影した複数の第１画素座標を決定し、前記第２カメラパラメタセットに基づいて前記複数の３次元座標を前記第２画像に投影した複数の第２画素座標を決定し、（ａ５）前記第１画像における前記複数の第１画素座標での複数の画素値と前記第２画像における前記複数の第２画素座標での複数の画素値とに基づいて評価値を算出し、（ａ６）前記評価値に基づいて、前記第１カメラパラメタセット及び前記第２カメラパラメタセットを更新し、（ａ７）更新された前記第１カメラパラメタセット及び前記第２カメラパラメタセットを出力し、処理（ａ１）～処理（ａ７）の少なくとも１つがプロセッサによって実行される。上記態様によれば、本開示の一態様に係るカメラパラメタセット算出装置と同様の効果が得られる。

また、本開示の一態様に係るカメラパラメタセット算出方法において、前記第１画像及び前記第２画像は、（ｉ）車両の前部に配置されたカメラで前記車両の前方を撮影した画像、及び前記車両の左部に配置されたカメラで前記車両の左方を撮影した画像の組み合わせ、（ｉｉ）車両の前部に配置されたカメラで前記車両の前方を撮影した画像、及び前記車両の右部に配置されたカメラで前記車両の右方を撮影した画像の組み合わせ、（ｉｉｉ）車両の後部に配置されたカメラで前記車両の後方を撮影した画像、及び前記車両の左部に配置されたカメラで前記車両の左方を撮影した画像の組み合わせ、（ｉｖ）車両の後部に配置されたカメラで前記車両の後方を撮影した画像、及び前記車両の右部に配置されたカメラで前記車両の右方を撮影した画像の組み合わせ、のうちのいずれかの組み合わせであってもよい。

また、本開示の一態様に係るカメラパラメタセット算出方法において、処理（ａ５）では、前記第１画素座標における前記第１画像の画素値と前記第２画素座標における前記第２画像の画素値との差異に基づいて前記評価値を算出してもよい。

また、本開示の一態様に係るカメラパラメタセット算出方法において、前記複数のカメラの第３カメラで撮影された第３画像と、前記第３カメラの第３カメラパラメタセットとをさらに取得し、前記第１画像、前記第２画像及び前記第３画像から、２つの画像により構成される複数の組を決定し、前記複数の組それぞれに含まれる２つの画像に対して、処理（ａ３）～処理（ａ５）を順次行ってもよい。

また、本開示の一態様に係るカメラパラメタセット算出方法において、前記複数のカメラの第３カメラで撮影された第３画像と、前記第３カメラの第３カメラパラメタセットとをさらに取得し、前記第１画像、前記第２画像及び前記第３画像から、２つの画像により構成される複数の組を決定し、前記複数の組それぞれに含まれる２つの画像に対して、処理（ａ３）～処理（ａ５）を行って得られる画素値を用いて、前記評価値を算出してもよい。

また、本開示の一態様に係るカメラパラメタセット算出方法において、前記第１画像及び前記第２画像は、被写体の一部が重複して映る第１重複領域を含み、前記第２画像及び前記第３画像は、被写体の一部が重複して映る第２重複領域を含み、前記第１重複領域と前記第２重複領域とは、重複しなくてもよい。

また、本開示の一態様に係るカメラパラメタセット算出方法において、前記第１画像及び前記第２画像はそれぞれ、光軸中心での光軸の方向が互いに交差する方向であるように配置された前記第１カメラ及前記第２カメラで撮影された画像であってもよい。

本開示の一態様に係るプログラムは、コンピュータに実行させるプログラムであって、（ａ１）複数のカメラの第１カメラで撮影された第１画像と、前記複数のカメラの第２カメラで撮影された第２画像とを取得し、（ａ２）前記第１カメラの１つ以上のカメラパラメタを含む第１カメラパラメタセットと、前記第２カメラの１つ以上のカメラパラメタを含む第２カメラパラメタセットとを取得し、（ａ３）前記第１画像、前記第２画像、前記第１カメラパラメタセット及び前記第２カメラパラメタセットに基づいて、前記第１画像及び前記第２画像における被写体が部分的に重複して映し出される重複領域上の３次元座標を複数算出し、（ａ４）前記第１カメラパラメタセットに基づいて前記複数の３次元座標を前記第１画像に投影した複数の第１画素座標を決定し、前記第２カメラパラメタセットに基づいて前記複数の３次元座標を前記第２画像に投影した複数の第２画素座標を決定し、（ａ５）前記第１画像における前記複数の第１画素座標での複数の画素値と前記第２画像における前記複数の第２画素座標での複数の画素値とに基づいて評価値を算出し、（ａ６）前記評価値に基づいて、前記第１カメラパラメタセット及び前記第２カメラパラメタセットを更新し、（ａ７）更新された前記第１カメラパラメタセット及び前記第２カメラパラメタセットを出力することを前記コンピュータに実行させる。上記態様によれば、本開示の一態様に係るカメラパラメタセット算出装置と同様の効果が得られる。

また、本開示の一態様に係るプログラムにおいて、前記第１画像及び前記第２画像は、（ｉ）車両の前部に配置されたカメラで前記車両の前方を撮影した画像、及び前記車両の左部に配置されたカメラで前記車両の左方を撮影した画像の組み合わせ、（ｉｉ）車両の前部に配置されたカメラで前記車両の前方を撮影した画像、及び前記車両の右部に配置されたカメラで前記車両の右方を撮影した画像の組み合わせ、（ｉｉｉ）車両の後部に配置されたカメラで前記車両の後方を撮影した画像、及び前記車両の左部に配置されたカメラで前記車両の左方を撮影した画像の組み合わせ、（ｉｖ）車両の後部に配置されたカメラで前記車両の後方を撮影した画像、及び前記車両の右部に配置されたカメラで前記車両の右方を撮影した画像の組み合わせ、のうちのいずれかの組み合わせであってもよい。

また、本開示の一態様に係るプログラムにおいて、処理（ａ５）では、前記第１画素座標における前記第１画像の画素値と前記第２画素座標における前記第２画像の画素値との差異に基づいて前記評価値を算出してもよい。

また、本開示の一態様に係るプログラムにおいて、前記複数のカメラの第３カメラで撮影された第３画像と、前記第３カメラの第３カメラパラメタセットとをさらに取得し、前記第１画像、前記第２画像及び前記第３画像から、２つの画像により構成される複数の組を決定し、前記複数の組それぞれに含まれる２つの画像に対して、処理（ａ３）～処理（ａ５）を順次行ってもよい。

また、本開示の一態様に係るプログラムにおいて、前記複数のカメラの第３カメラで撮影された第３画像と、前記第３カメラの第３カメラパラメタセットとをさらに取得し、前記第１画像、前記第２画像及び前記第３画像から、２つの画像により構成される複数の組を決定し、前記複数の組それぞれに含まれる２つの画像に対して、処理（ａ３）～処理（ａ５）を行って得られる画素値を用いて、前記評価値を算出してもよい。

また、本開示の一態様に係るプログラムにおいて、前記第１画像及び前記第２画像は、被写体の一部が重複して映る第１重複領域を含み、前記第２画像及び前記第３画像は、被写体の一部が重複して映る第２重複領域を含み、前記第１重複領域と前記第２重複領域とは、重複しなくてもよい。

また、本開示の一態様に係るプログラムにおいて、前記第１画像及び前記第２画像はそれぞれ、光軸中心での光軸の方向が互いに交差する方向であるように配置された前記第１カメラ及前記第２カメラで撮影された画像であってもよい。

なお、上記の全般的又は具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読み取り可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ等の不揮発性の記録媒体を含む。

以下、実施の形態に係るカメラパラメタセット算出装置等を、図面を参照しながら説明する。なお、以下で説明される実施の形態は、包括的又は具体的な例を示すものである。以下の実施の形態で示される数値、形状、材料、構成要素、構成要素の配置位置及び接続形態、ステップ（工程）、並びにステップの順序等は、一例であり、本開示を限定する主旨ではない。また、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。また、以下の実施の形態の説明において、略平行、略直交のような「略」を伴った表現が、用いられる場合がある。例えば、略平行とは、完全に平行であることを意味するだけでなく、実質的に平行である、すなわち、例えば数％程度の差異を含むことも意味する。他の「略」を伴った表現についても同様である。

［実施の形態］
［１．車載カメラシステムの構成］
本開示の実施の形態に係るカメラパラメタセット算出装置１１１を備える車載カメラシステム１０を説明する。これに限定するものではないが、本実施の形態では、車載カメラシステム１０は、移動体の一例である車両に搭載されるカメラシステムであるとして、説明する。図２を参照すると、実施の形態に係るカメラパラメタセット算出装置１１１を備える車載カメラシステム１０の機能的な構成を示すブロック図が示されている。図２に示されるように、車載カメラシステム１０は、撮像部１００と、画像処理部１１０と、ディスプレイ１２０とを備える。なお、車載カメラシステム１０が搭載される対象は、車両、つまり乗り物であってもよい。例えば、上記対象は、自動車、及び、自動車以外の車両であってもよく、船舶又は航空機であってもよい。自動車以外の車両は、トラック、バス、二輪車、搬送車、鉄道、建設機械、荷役機械等であってもよい。また、車載カメラシステム１０が搭載される対象は、利用者が遠隔操作する車両またはロボットであってもよい。

撮像部１００は、画像を撮影して取得し、画像処理部１１０に出力する。撮像部１００は、２つ以上のカメラ１０１を備え、本実施の形態では、４つのカメラ１０１ａ、１０１ｂ、１０１ｃ及び１０１ｄを備える。例えば、図３には、実施の形態に係る車載カメラシステム１０の車両ｖへの搭載例が示されている。これに限定するものではないが、本実施の形態では、４つのカメラ１０１ａ～１０１ｄはそれぞれ、１つの車両ｖの前部ｖａ、右側部ｖｂ、後部ｖｃ及び左側部ｖｄに配置され、当該車両ｖの前方、右側方、後方及び左側方を撮影する。なお、車両ｖの右側とは、前方に対する右側である。よって、４つのカメラ１０１ａ～１０１ｄは、車両ｖの周囲を包囲するように配置されている。これに限定されるものではないが、本実施の形態では、４つのカメラ１０１ａ～１０１ｄは、互いに同期して、画像を撮影して出力する。また、画像処理部１１０及びディスプレイ１２０はそれぞれ、例えばドライバから見える車室内に設置される。

４つのカメラ１０１ａ～１０１ｄは、互いに異なる向きに指向されている。本実施の形態では、車両ｖの水平方向の周囲に沿って隣り合うカメラ１０１ａ～１０１ｄは、互いの光軸中心での光軸の方向が交差するような向きに向けられている。具体的には、カメラ１０１ａ～１０１ｄは、外方へ放射状に方向付けられている。広範囲を撮影するために、４つのカメラ１０１ａ～１０１ｄの各々は、視野角が概ね１８０度の魚眼レンズを用いる。カメラ１０１ａ～１０１ｄはそれぞれ、図３に破線で示されるように、半球に近い円錐状の視野を有している。このため、車両ｖの水平方向の周囲に沿って隣り合うカメラの視野は、互いに部分的に重なり合う領域を有している。なお、本実施の形態では、２つのカメラの視野が重なり合うが、３つ以上のカメラの視野が重なり合わない。しかしながら、これに限定されず、３つ以上のカメラの視野が重なり合ってもよい。そして、このような４つのカメラ１０１ａ～１０１ｄは、車両ｖの水平方向の全周囲を同時に視野に含むことができる。

本実施の形態では、車載カメラシステム１０の撮像部１００は、４つのカメラで構成されるとしたが、カメラの数量は４つに限定されるものではなく、２つ以上のカメラを有する構成であればよい。撮像部１００は、例えば、図３のように前後左右に配置された４つのカメラを備える代わりに、車両ｖの後部及び左側部に配置された２つのカメラを備えてもよい。

図２及び図３を参照すると、画像処理部１１０は、撮像部１００によって撮影された画像を処理し、その処理結果をディスプレイ１２０等に出力する。画像処理部１１０は、カメラパラメタセット算出装置１１１と、カメラパラメタ記憶部１１２と、画像生成部１１３とを備える。カメラパラメタセット算出装置１１１のことを、自己校正部とも呼ぶ。また、ディスプレイ１２０は、画像処理部１１０から出力された画像等を表示する。ディスプレイ１２０は、液晶パネル、有機又は無機ＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）等の表示パネルによって構成されてよい。なお、同様の構成要素を区別するために添え字ａ～ｄを用いるが、以下では、これらの構成要素を特に区別しない場合には、添え字を除いた符号のみを用いることがある。

車載カメラシステム１０は、主に画像生成と、自己校正との２種類の動作をする。画像生成時、撮像部１００は画像を撮影して画像処理部１１０に出力し、画像処理部１１０は、入力された画像から画像を生成して出力し、ディスプレイ１２０に表示する。自己校正時、撮像部１００は画像を撮影して画像処理部１１０に出力し、画像処理部１１０のカメラパラメタセット算出装置１１１は、カメラパラメタ記憶部１１２に格納されているカメラパラメタセットを更新する。なお、画像生成と自己校正との２種類の動作は、同時に行われてもよく、別々に行われてもよい。

撮像部１００は、視野角が概ね１８０度の魚眼レンズを有する４つのカメラ１０１ａ～１０１ｄで構成される。４つのカメラ１０１ａ～１０１ｄは、図３に示すように配置され、視野内の被写体をそれぞれ撮影して４つの画像を出力する（以降、この画像をカメラ画像とも呼ぶ）。４つのカメラ１０１ａ～１０１ｄは、隣り合うカメラ間で視野が部分的に重なるように配置されている。例えば、４つのカメラ１０１ａ～１０１ｄでは、水平方向で隣り合うカメラ間で互いの視野が部分的に重なる。具体的には、カメラ１０１ａ及び１０１ｂのペア、カメラ１０１ｂ及び１０１ｃのペア、カメラ１０１ｃ及び１０１ｄのペア、並びに、カメラ１０１ｄ及び１０１ａのペア内で視野が重なる。

上述したように、画像処理部１１０は、カメラパラメタセット算出装置１１１、カメラパラメタ記憶部１１２及び画像生成部１１３を備える。

カメラパラメタ記憶部１１２は、カメラ１０１ａ～１０１ｄそれぞれのカメラパラメタセットと、カメラ１０１ａ～１０１ｄそれぞれについてカメラ画像における撮像部１００によって遮蔽された領域の情報である遮蔽情報とを少なくとも予め格納している。カメラ１０１ａ～１０１ｄそれぞれについての遮蔽情報は、カメラ画像に含まれる領域であって、撮像部１００の部分が撮影された領域であると定義してもよい。カメラ１０１ａ～１０１ｄそれぞれのカメラパラメタセットは、各カメラの位置及び向き等の外部パラメタセットと、各カメラのレンズの歪及び焦点距離等の内部パラメタセットとを含み得る。

自己校正部でもあるカメラパラメタセット算出装置１１１は、４つのカメラ１０１ａ～１０１ｄによって撮影されたカメラ画像と、カメラパラメタ記憶部１１２に記憶されたカメラ１０１ａ～１０１ｄのカメラパラメタセットとを用いて、カメラパラメタ記憶部１１２のカメラパラメタセットを更新する。カメラパラメタ記憶部１１２に記憶されたカメラ１０１ａ～１０１ｄのカメラパラメタセットは、初期カメラパラメタセットとして用いられる。初期カメラパラメタセットは、カメラパラメタ記憶部１１２に既に記憶されているカメラ１０１ａ～１０１ｄのカメラパラメタセットであってよい。例えば、初期カメラパラメタセットは、カメラ１０１ａ～１０１ｄの設計時のカメラパラメタセットであってもよく、使用段階においてカメラ１０１ａ～１０１ｄに設定されているカメラパラメタセットであってもよい。

画像生成部１１３は、４つのカメラ１０１ａ～１０１ｄで撮影されたカメラ画像と、カメラパラメタ記憶部１１２に格納されたカメラパラメタセットとに基づいて、画像を生成して出力する。画像生成部１１３は、例えば、４台のカメラで撮影された画像に基づく合成画像を生成する。

図２の車載カメラシステム１０のうちの画像処理部１１０を構成する各構成要素は、電子回路又は集積回路等のハードウェアで実現されてもよく、コンピュータ上で実行されるプログラム等のソフトウェアで実現されてもよい。

例えば、図４を参照すると、コンピュータによって構成された車載カメラシステム１０のハードウェア構成の一例が示されている。車載カメラシステム１０は、撮像部１００と、画像処理部１１０に対応するコンピュータ３００と、ディスプレイ１２０とを備える。車載カメラシステム１０において、撮像部１００は画像を撮影して出力し、コンピュータ３００が画像処理部１１０として動作することにより、画像を生成して出力する。ディスプレイ１２０はコンピュータ３００で生成された画像を表示する。

コンピュータ３００は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３０１、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０２、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０３、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）３０４、ビデオ入力Ｉ／Ｆ（インタフェース）３０５及びビデオカード３０６を含む。

コンピュータ３００を動作させるプログラムは、ＲＯＭ３０２又はＨＤＤ３０４に予め保持されている。プログラムは、プロセッサであるＣＰＵ３０１によって、ＲＯＭ３０２又はＨＤＤ３０４からＲＡＭ３０３に読み出されて展開される。

ＣＰＵ３０１は、ＲＡＭ３０３に展開されたプログラム中のコード化された各命令を実行する。ビデオ入力Ｉ／Ｆ３０５は、プログラムの実行に応じて、撮像部１００で撮影された画像を、ＲＡＭ３０３へ取り込む。ビデオカード３０６は、プログラムの実行に応じて生成された画像を処理してディスプレイ１２０に出力し、ディスプレイ１２０がその画像を表示する。

なお、コンピュータプログラムは、半導体装置であるＲＯＭ３０２又はＨＤＤ３０４に限られず、例えばＣＤ―ＲＯＭ等の記録媒体に格納されていてもよい。また、コンピュータプログラムは、有線ネットワーク、無線ネットワーク又は放送等を介して伝送され、コンピュータ３００のＲＡＭ３０３に取り込まれてもよい。

［２．車載カメラシステムの動作］
車載カメラシステム１０の動作を説明する。具体的には、車載カメラシステム１０における、画像生成時の動作と、自己校正時の動作とを、順に説明する。

［２－１．画像生成時の動作］
車載カメラシステム１０における画像生成時の動作を、図５を用いて説明する。なお、図５は、車載カメラシステム１０の画像処理部１１０における、画像生成時の動作の一例を表すフローチャートである。図５に示されるように、画像生成時の動作は、カメラパラメタセット読み出しのステップＳ４０１の処理と、画像生成のステップＳ４０２の処理とを含む。図５に示される各動作は、図４のコンピュータ３００で実行されてもよい。

これに限定するものではないが、本実施の形態では、車載カメラシステム１０が自動車に設置される例を説明する。具体的には、車載カメラシステム１０は、自動車の前後左右を撮影して得られたカメラ画像を用いて、自動車の全周囲の画像を生成し、その結果を自動車内に設置されたディスプレイに表示し、それにより、利用者であるドライバに車両周辺の状況を提示する。

図６を参照すると、図３に示すカメラの設置状況において、４つのカメラ１０１ａ～１０１ｄで撮影される画像の例が示されている。カメラ１０１ａ～１０１ｄそれぞれの視野角は概ね１８０度である。隣り合う２つのカメラのカメラ画像中に、共通の被写体が映っている。

コンピュータ３００は、撮像部１００の動作と並行して、予め定められたプログラムを実行することで、図５のステップＳ４０１及びＳ４０２の処理を行う。以降、コンピュータ３００で実行されるステップＳ４０１及びＳ４０２の詳細な処理を、図２及び図５を用いて説明する。

ステップＳ４０１では、画像生成部１１３は、カメラパラメタ記憶部１１２から、カメラパラメタ記憶部１１２に予め格納されているカメラ１０１ａ～１０１ｄの内部パラメタセット及び外部パラメタセットを含むカメラパラメタセットを読み出す。カメラの外部パラメタセットＭと３次元座標との関係、及び、カメラの内部パラメタセット（ｆ，ｄｐｘ，ｄｐｙ，ｃｕ，ｃｖ）と３次元座標と画素座標との関係を下記の式１～式３に示す。

ここで、上記の式１における外部パラメタセットＭは、世界座標系とカメラ座標系との位置関係を表す外部パラメタセットであり、世界座標系の３次元座標（ｘ_ｗ，ｙ_ｗ，ｚ_ｗ）を、カメラ座標系の３次元座標（ｘ_ｅ，ｙ_ｅ，ｚ_ｅ）に変換する４×４の行列で表す。上記の式１及び式２に示すように、外部パラメタセットＭは、世界座標系のＸ、Ｙ及びＺの各軸周りの回転角（Ｒｘ，Ｒｙ，Ｒｚ）と、Ｘ、Ｙ及びＺの各軸方向の平行移動量（ｔｘ，ｔｙ，ｔｚ）とを表す。上記の式３は、被写体上のある点のカメラ座標系における３次元座標（ｘ_ｅ，ｙ_ｅ，ｚ_ｅ）と、カメラ画像に映った同じ点の画素座標（ｕ，ｖ）との関係を表している。内部パラメタセットのｆはカメラの焦点距離であり、ｄｐｘ及びｄｐｙはそれぞれ、カメラの撮像素子のｘ方向及びｙ方向の画素サイズであり、（ｃｕ，ｃｖ）はカメラ座標系のｚ_ｅ軸とカメラの撮像面との交点の画素座標である。なお、デジタル画像を「２次元の格子点（すなわち、画素座標）における値（すなわち画素値）」の集合と考えた場合に、画像上の画素の位置を２次元の画素座標で表現する。

外部パラメタセットＭ及び内部パラメタセット（ｆ，ｄｐｘ，ｄｐｙ，ｃｕ，ｃｖ）は、前述した従来技術のカメラ校正方法で予め求めておく。なお、ｄｐｘ、ｄｐｙ及びｆの算出には、上記の式１～式３だけでは拘束条件が足りない。そこで、ｄｐｘ、ｄｐｙ及びｆのいずれか１つは設計値が用いられ、残りの２つのパラメタが従来技術のカメラ校正方法で算出されてもよい。

なお、上記の式３では、レンズの投影モデルとして透視投影モデル（ピンホールカメラモデルとも呼ばれる）を用いたが、これは投影モデルを限定するものではなく、等距離射影モデル、立体射影モデル及び等立体角射影モデル等の他の投影モデルを用いてもよい。例えば、等距離射影モデルの場合、上記の式３の内部パラメタセットの代わりに、下記の式４に示される内部パラメタセットを用いる。

以降、説明を簡単にするため、２つのカメラをカメラｉ及びｊと記載する場合がある。この場合、カメラｉ及びｊの位置関係を表す外部パラメタセットＭ_ｉ及びＭ_ｊを、下記の式５のように示すことができる。

また、例えば、カメラ１０１ａの内部パラメタセット及び外部パラメタセットをまとめたカメラパラメタセットを、下記の式６に示すようなＣａで表す。他のカメラ１０１ｂ～１０１ｄそれぞれについても、内部パラメタセット及び外部パラメタセットをまとめたカメラパラメタセットを、Ｃｂ、Ｃｃ及びＣｄで同様に表すことができる。

ステップＳ４０２では、画像生成部１１３は、４つのカメラ１０１ａ～１０１ｄそれぞれで撮影されたカメラ画像Ｉａ～Ｉｄと、カメラ１０１ａ～１０１ｄそれぞれのカメラパラメタセットＣａ～Ｃｄとを取得する。さらに、画像生成部１１３は、カメラ画像Ｉａ～Ｉｄを、予め定めた空間モデルにマッピングする。本実施の形態では、予め定めた空間モデルとして、ｚ_ｗ＝０の平面モデルを用いるものとする。さらに、画像生成部１１３は、予め定めた仮想カメラのカメラパラメタセットＣｏを用いて、カメラ画像が投影された空間モデルを、仮想カメラから見た画像として生成する。本実施の形態では、予め定めた仮想カメラのカメラパラメタセットとして、図７に示すような車両の上方から車両の周辺を見下ろす配置の仮想カメラを適用する。なお、図７は、実施の形態における仮想カメラの配置例を示す模式的な図である。複数のカメラで撮影したカメラ画像から、空間モデルを用いて画像を生成する手法は、特許文献１等に詳しく記載されており、既知の技術であるため、本明細書ではこれ以上の詳細な説明を省略する。

以上のように、コンピュータ３００で実行されるステップＳ４０１及びＳ４０２の画像生成時の処理によって、画像処理部１１０は、撮像部１００で撮像された４つのカメラ画像から、画像を生成して出力する。さらに、撮像部１００及びコンピュータ３００は、上記の処理を繰り返してもよい。

図８には、ステップＳ４０２の処理によって生成される画像の例が、示されている。図８を参照すると、自車両の周りの障害物、例えば、図８の例では、左方のトラック、右方のオートバイ及び後方の建物の方向及び距離を、運転者が容易に認知できる。

以上のように、車載カメラシステム１０の撮像部１００、及び、コンピュータ３００で実現される画像処理部１１０は、これらによる動作の結果、車体において異なる位置に配置された４つのカメラで撮影されたカメラ画像を用いて、仮想カメラから見た車体全周囲の画像を生成して表示することができる。その結果、車載カメラシステム１０を搭載した自動車の運転者は、自動車の周囲の障害物等の３次元物体を容易に把握することができる。

［２－２．自己校正動作］
上述した車載カメラシステム１０は、予め記録しておいたカメラパラメタセットを用いて画像を生成している。一方、カメラを製造した場合及び車両にカメラを設置した場合に、カメラパラメタセットは、組立て誤差に起因する差を設計値に対して有するため、カメラパラメタセットの推定、すなわち、カメラ校正が必要になる。また、組立て時にカメラ校正をした場合であっても、カメラの取り付け位置が、経年変化、外力又は温度変化等の影響を受けた場合に、変形等を生じて変わる場合がある。例えば、経年変化によって、カメラの取り付け位置が変化した場合に、経年変化前のカメラパラメタセットを用いて画像を生成すると、例えば、生成画像中の被写体の位置がずれるなど、生成画像が正しく生成されない。そのため、経年変化等でカメラパラメタが変化する場合にも、カメラの校正が必要になる。

以下、車載カメラシステム１０における自己校正時の動作について、図９及び図１０を用いて説明する。なお、図９は、図２の車載カメラシステム１０のカメラパラメタセット算出装置１１１の詳細な構成を示した機能的な構成図である。図１０は、実施の形態に係る車載カメラシステム１０の画像処理部１１０における自己校正処理Ｓ１１１の流れの一例を表すフローチャートである。自己校正処理Ｓ１１１は、自己校正動作の際の画像処理部１１０の処理であり、図４のコンピュータ３００で実行される。

図９に示すように、自己校正処理Ｓ１１１を行う画像処理部１１０のカメラパラメタセット算出装置１１１は、取得部９０１と、３次元点群算出部９０２と、評価値算出部９０３と、カメラパラメタ決定部９０４と、カメラパラメタ出力部９０５とを含む。取得部９０１と、３次元点群算出部９０２と、評価値算出部９０３と、カメラパラメタ決定部９０４と、カメラパラメタ出力部９０５とによる各構成要素は、画像処理部１１０の各構成要素と同様の構成を有してもよい。

取得部９０１は、カメラ１０１ａ～１０１ｄそれぞれによって撮影されたカメラ画像Ｉａ～Ｉｄを、撮像部１００から取得する。取得部９０１は、撮像部１００又は画像処理部１１０等が有する図示しない半導体メモリ等の記憶装置に格納されたカメラ画像Ｉａ～Ｉｄを取得してもよい。また、取得部９０１は、カメラ１０１ａ～１０１ｄに現在設定されているカメラパラメタで構成される初期カメラパラメタセットを、カメラパラメタ記憶部１１２から取得する。

３次元点群算出部９０２は、２つのカメラから取得した２つのカメラ画像間の対応点の組、すなわち、２つのカメラ画像のそれぞれに含まれる点であってかつ互いに対応する点の組を推定して抽出し、当該２つのカメラ画像それぞれにおける対応点の画素座標を算出する。２つのカメラ画像に同一の被写体が映っている場合、すなわち、一方のカメラ画像の被写体上の点が他方のカメラ画像にも映っている場合、これら２つの点のそれぞれを対応点と呼び、この２つの点の組を対応点の組と呼ぶ。対応点の組を推定するとは、具体的には、対応点の組のそれぞれの対応点の画素座標を算出することである。

さらに、３次元点群算出部９０２は、対応点の組に含まれる対応点の画素座標及び２つのカメラの初期カメラパラメタセットに基づき、ステレオ測距技術を用いて、対応点の組に対する被写体上の点の３次元座標を算出する。なお、ステレオ測距技術は、ステレオ視とも呼ばれ、互いに異なる視点に位置し且つ視野が重複するように配置された２つのカメラを用いてカメラ画像が取得され、２つのカメラ画像のそれぞれに含まれる点であってかつ互いに対応する点の組、すなわち、対応点の組が推定され、対応点の組に含まれる２つの対応点と予め求めておいたカメラの位置及び向き等の情報とを用いて、対応点の組に対する被写体上の点の３次元座標が計算される。以降の説明において、３次元点群算出部９０２によって算出される３次元座標に対応する点を、測距点とも呼ぶ。

評価値算出部９０３は、測距点の３次元座標を対応点の組を推定した２つのカメラ画像それぞれに投影した点の画素値に基づき、カメラパラメタセットの評価値を算出する。以降の説明において、測距点を２つのカメラ画像に投影して得られる当該２つのカメラ画像上の点のそれぞれを、投影点と呼ぶ。カメラＳで被写体を撮影して得たカメラ画像Ｉ_Ｓ及びカメラＴで被写体を撮影して得たカメラ画像Ｉ_Ｔに基づいた測距点を、カメラ画像Ｉ_Ｓに投影した投影点を第１投影点と呼び、同一の測距点をカメラ画像Ｉ_Ｔに投影した投影点を第２投影点と呼んでもよい。

カメラパラメタ決定部９０４は、評価値算出部９０３によって算出された評価値に基づき、現在、カメラ１０１ａ～１０１ｄに設定されているカメラパラメタセットを変更すべきか否かを判定する。カメラパラメタ決定部９０４は、判定結果に基づき、カメラパラメタセットを変更つまり更新する。このように、カメラパラメタ決定部９０４は、カメラパラメタセットを決定する。カメラパラメタ出力部９０５は、カメラパラメタ決定部９０４で決定されたカメラパラメタセットを取得し、カメラパラメタ記憶部１１２等に出力する。

図１０に示すように、カメラパラメタセット算出装置１１１は、ステップＳ１００１～Ｓ１００７を含む自己校正処理Ｓ１１１を行うことによって、カメラ１０１ａ～１０１ｄに設定されているカメラパラメタのセット、つまり、初期カメラパラメタセットを校正する。自己校正処理Ｓ１１１において、カメラパラメタセット算出装置１１１は、自動的に校正処理を行う。カメラパラメタセット算出装置１１１は、スイッチ、タッチパッド、キーボード等の図示しない入力装置を介して、ユーザによって車載カメラシステム１０へ校正指示が入力されると、カメラ１０１ａ～１０１ｄの自己校正処理を開始する。例えば、ユーザは、カメラ１０１ａ～１０１ｄの異常を確認した場合、校正指示を入力してもよく、カメラ１０１ａ～１０１ｄの製造完了後の工場出荷前に、校正指示を入力してもよい。また、カメラパラメタセット算出装置１１１は、予め設定された時期に、自己校正処理を自動的に開始してもよい。

以下、４つのカメラのうち２つのカメラ１０１ａ及び１０１ｂについて、カメラ１０１ａ又は１０１ｂのカメラパラメタセットＣａ又はＣｂが誤差を含むことが、ユーザによって特定されている場合に、カメラパラメタセット算出装置１１１がカメラパラメタセットＣａ及びＣｂを校正する動作を説明する。

例えば、図１１には、図３に示すカメラの設置状態において、車両の前方及び右側方をそれぞれ撮影する２つのカメラ１０１ａ及び１０１ｂで撮影される画像の例が、示されている。２つのカメラ１０１ａ及び１０１ｂで撮影されたカメラ画像は、両方のカメラで重複して撮影される被写体が含まれる。この領域を、以降、重複撮影領域と呼ぶ。

ユーザによって車載カメラシステム１０へ校正指示が入力されると、カメラパラメタセット算出装置１１１は、自己校正処理Ｓ１１１を開始する。そして、ステップＳ１００１において、取得部９０１は、カメラ１０１ａ及び１０１ｂによって撮影されたカメラ画像Ｉａ及びＩｂを取得する。さらに、ステップＳ１００２において、取得部９０１は、カメラパラメタ記憶部１１２に予め格納されているカメラ１０１ａ及び１０１ｂそれぞれの初期カメラパラメタセットＣａ０及びＣｂ０を読み込む。ここで、「予め」とは、「カメラパラメタセット算出装置１１１が自己校正処理を開始する前」であることを意味してもよい。

ステップＳ１００３において、３次元点群算出部９０２は、取得されたカメラ１０１ａ及び１０１ｂのカメラ画像Ｉａ及びＩｂを用いて、２つのカメラ画像Ｉａ及びＩｂ間でＮ個の対応点の組を推定し抽出する。さらに、３次元点群算出部９０２は、各対応点の組に含まれる２つの対応点の座標、つまり、カメラ画像Ｉａでの画素座標（ｕａｎ，ｖａｎ）及びカメラ画像Ｉｂでの画素座標（ｕｂｎ，ｖｂｎ）を算出して出力する。なお、ｎは、１～Ｎの値をとる。さらにまた、３次元点群算出部９０２は、カメラ画像Ｉａ及びＩｂそれぞれでのＮ個の対応点組のそれぞれに含まれる２つの画素座標と、カメラ１０１ａ及び１０１ｂそれぞれのカメラパラメタセットＣａｒ及びＣｂｒとを用いて、ステレオ測距技術により、Ｎ個の対応点の組に対する被写体上の点、すなわち、測距点の３次元座標（ｘａｒｎ，ｙａｒｎ，ｚａｒｎ）を算出して出力する。つまり、３次元点群算出部９０２は、Ｎ個の測距点の３次元座標を算出する。

ステップＳ１００３～Ｓ１００６は、ステップＳ１００５での判定結果に応じて、繰り返される。そして、繰り返しの度に、カメラ１０１ａ及び１０１ｂそれぞれのカメラパラメタセットが更新される。このため、ｒ回目の繰り返し時のカメラ１０１ａ及び１０１ｂそれぞれのカメラパラメタセットを、カメラパラメタセットＣａｒ及びＣｂｒと表す。初期カメラパラメタセットの場合、ｒ＝０である。

ここで、ステップＳ１００３の処理の詳細を説明する。カメラ１０１ａが被写体を撮影して得たカメラ画像をカメラ画像Ｉａ、カメラ１０１ｂが被写体を撮影して得たカメラ画像をカメラ画像Ｉｂとする。３次元点群算出部９０２は、カメラ画像Ｉａに含まれる被写体上の点Ｐｎを撮影した点の画素座標（ｕａｎ，ｖａｎ）と、カメラ画像Ｉｂに含まれる当該被写体上の同一の点Ｐｎを撮影した点の画素座標（ｕｂｎ，ｖｂｎ）とを、例えば画像の類似、後述する輝度拘束、滑らかさ拘束などに基づいて、推定し算出する。画素座標の組｛（ｕａｎ，ｖａｎ）、（ｕｂｎ，ｖｂｎ）｝は、２つのカメラ画像のそれぞれに含まれる画素座標であって、かつ、互いに対応する画素座標の組である。なお、カメラ画像Ｉａ含まれる点とカメラ画像Ｉｂ含まれる点とが互いに対応する場合、この対応点の組を対応点の組に対応する画素座標の組で表現してもよい。図１１のカメラ画像の例の場合、カメラ１０１ａ及び１０１ｂのカメラ画像中の重複撮影領域において、２つのカメラ画像Ｉａ及びＩｂそれぞれの対応点の画素座標（ｕａｎ，ｖａｎ）及び（ｕｂｎ，ｖｂｎ）が得られることが期待できる。

カメラ画像Ｉａの画素座標（ｕａｎ，ｖａｎ）と、カメラ画像Ｉｂの画素座標（ｕｂｎ，ｖｂｎ）とが、対応点の組に含まれる２つの対応点の画素座標である場合、２つの対応点つまり２つの画素座標での画素値Ｉａ（ｕａｎ，ｖａｎ）及びＩｂ（ｕｂｎ，ｖｂｎ）が等しい。これを輝度拘束と呼ぶ。また、ある１つの被写体は、カメラ画像中の複数の隣接する画素を占めることから、カメラ画像Ｉａの画素座標（ｕａｎ，ｖａｎ）に隣接する画素で特定される点に対応するカメラ画像Ｉｂに含まれる点は、カメラ画像Ｉｂの画素座標（ｕｂｎ，ｖｂｎ）で特定される点の近くにある可能性が高い。これを滑らかさ拘束と呼ぶ。カメラ画像Ｉａ及びＩｂ間の対応点の組（カメラ画像Ｉａ及びＩｂ間の対応する画素座標組）は、上述した輝度拘束と滑らかさ拘束との２つの条件を最もよく満たす画素座標（ｕａｎ，ｖａｎ）と（ｕｂｎ，ｖｂｎ）との組の集まりを推定することで得ることができる。

２つのカメラ画像間の対応点の組に含まれる２つの画素座標を実数精度で推定する対応点探索手法や動き推定手法は、既知な技術であり、上記で挙げた非特許文献３などに詳しく記載されているため、ここでは詳細な説明を省略する。

３次元点群算出部９０２は、さらに、推定した各対応点の組に含まれる２つの対応点の座標（ｕａｎ，ｖａｎ）及び（ｕｂｎ，ｖｂｎ）と、カメラ１０１ａ及び１０１ｂのカメラパラメタセットＣａｒ及びＣｂｒとを用いて、上記の式３により、対応点の組に対応する被写体上の点（測距点）の３次元座標（ｘａｒｎ，ｙａｒｎ，ｚａｒｎ）を算出する。３次元座標は、カメラ１０１ａのカメラ座標系の座標値とする。２つのカメラ画像間の対応点の組に含まれる２つの対応点の座標と２つのカメラ位置とから対応点の組に対応する被写体上の点（測距点）の３次元座標を算出する２眼ステレオ手法、及び２つの３次元座標系間での座標値の変換は、既知の技術であり、上記で挙げた非特許文献４などに詳しく記載されているため、ここでは詳細な説明を省略する。

以降の説明を簡単にするために、カメラ１０１ａが被写体を撮影して得たカメラ画像とカメラ１０１ｂの被写体を撮影して得たカメラ画像とのそれぞれに含まれる点であってかつ互いに対応する点の組である対応点の組に含まる２つの対応点の座標（ｕａｎ，ｖａｎ）及び（ｕｂｎ，ｖｂｎ）と、カメラ１０１ａ及び１０１ｂのカメラパラメタセットＣａｒ及びＣｂｒとを用いて、上記の式３により、対応点の組に対する被写体上の点（測距点）の３次元座標（ｘａｒｎ，ｙａｒｎ，ｚａｒｎ）を算出する処理を、関数Ｆを用いた下記の式７で表す。上述のようなステップＳ１００３の処理を通じて、３次元点群算出部９０２は、２つのカメラ画像の対応点の組に対する被写体上の点（測距点）の３次元座標をＮ個算出する。

さらに、ステップＳ１００４において、評価値算出部９０３は、Ｎ個の測距点の３次元座標と、カメラ１０１ａ及び１０１ｂのカメラパラメタセットＣａｒ及びＣｂｒとを用いて、各測距点をカメラ１０１ａ及び１０１ｂのカメラ画像Ｉａ及びＩｂに投影する。そして、評価値算出部９０３は、各測距点について、測距点を投影して得られるカメラ画像Ｉａ上の第１投影点及びカメラ画像Ｉｂ上の第２投影点を算出する。「測距点をカメラ画像に投影する」とは、評価値算出部９０３が、下記の式８及び式９により、各測距点の３次元座標を、カメラ画像Ｉａ及びＩｂの画素座標に座標変換する、ことである。これにより、評価値算出部９０３は、各測距点について、カメラ画像Ｉａにおける第１投影点の画素座標（ｕａｒｎ，ｖａｒｎ）、及び、カメラ画像Ｉｂにおける第２投影点の画素座標（ｕｂｒｎ，ｖｂｒｎ）を算出する。式８における関数Ｇは、上記式１～式３及び式５に基づく、測距点の３次元座標からカメラ画像Ｉａの画素座標への座標変換を示す。式９における関数Ｈは、上記式１～式３及び式５に基づく、測距点の３次元座標からカメラ画像Ｉｂの画素座標への座標変換を示す。

さらに、評価値算出部９０３は、カメラ画像Ｉａ及びＩｂと、カメラパラメタセットＣａｒ及びＣｂｒとを用いて、測距点をカメラ画像Ｉａに投影した第１投影点の画素値ｉａｒと、同一の測距点をカメラ画像Ｉｂに投影した第２投影点の画素値ｉｂｒとを算出する。例えば、第１投影点の画素座標を（ｕａｒｎ，ｖａｒｎ）とし、第２投影点の画素座標を（ｕｂｒｎ，ｖｂｒｎ）とすると、第１投影点の画素値ｉａｒは、Ｉａ（ｕａｒｎ，ｖａｒｎ）と表され、第２投影点の画素値ｉｂｒは、Ｉｂ（ｕｂｒｎ，ｖｂｒｎ）と表される。なお、評価値算出部９０３は、各々の測距点に対する第１投影点の画素値と第２投影点の画素値と算出する。そして、評価値算出部９０３は、第１投影点の投影点の画素値ｉａｒ及び第２投影点の画素値ｉｂｒの差の絶対値の総和で定義される評価値Ｊを、下記の式１０に示す評価関数に基づき算出する。

ここで、Ｎは、測距点の数量であり、ステップＳ１００３で算出した３次元座標（ｘａｒｎ，ｙａｒｎ，ｚａｒｎ）の全ての点に対応する。画素座標（ｕａｒｎ，ｖａｒｎ）及び（ｕｂｒｎ，ｖｂｒｎ）はそれぞれ、カメラ１０１ａで撮影したカメラ画像Ｉａ及びカメラ１０１ｂで撮影したカメラ画像Ｉｂのｎ番目の画素座標である。画素座標（ｕａｒｎ，ｖａｒｎ）は、３次元座標（ｘａｒｎ，ｙａｒｎ，ｚａｒｎ）と、カメラ１０１ａのカメラパラメタセットＣａｒとから、上記の式３を用いて算出する。画素座標（ｕｂｒｎ，ｖｂｒｎ）は、３次元座標（ｘａｒｎ，ｙａｒｎ，ｚａｒｎ）と、カメラ１０１ｂのカメラパラメタセットＣｂｒとから、上記の式３を用いて算出する。画素値Ｉａ（ｕａｒｎ，ｖａｒｎ）は、カメラ画像Ｉａにおける画素座標（ｕａｒｎ，ｖａｒｎ）での画素値であり、画素値Ｉｂ（ｕｂｒｎ，ｖｂｒｎ）は、カメラ画像Ｉｂにおける画素座標（ｕｂｒｎ，ｖｂｒｎ）での画素値であり、ここでは輝度値を用いる。

また、本実施の形態では、画素値は、画素の輝度値である。実数精度の画素座標に対し、画素値はバイキュービック補間で算出される。なお、画素値は輝度値に限定するものではなく、輝度値の代わりにＲＧＢ値を用いてもよい。また、実数精度の画素座標に対する画素値の算出方法は、バイキュービック補間に限定されるものではなく、バイリニア補間など他の補間方法であってもよい。また、評価値Ｊの計算におけるＮ個の測距点に対応する第１投影点の画素値と第２投影点の画素値との差の絶対値の和を算出する際に、画素値の差の絶対値に重みを付けてもよい。例えば、被写体の色が連続的に変化する点群の重みを大きくしてもよく、被写体の表面の凹凸が大きい点群の重みを小さくしてもよい。これらの重み付けは、カメラパラメタの連続的な変化に対し、評価値Ｊの変化を滑らかにし、評価値Ｊを最小化し易くする効果が期待できる。

次に、ステップＳ１００５において、カメラパラメタ決定部９０４は、カメラ１０１ａ及び１０１ｂのカメラパラメタセットＣａｒ及びＣｂｒの更新の終了条件が満たされているか否かを判定する。終了条件が満たされていない場合（ステップＳ１００５でＮＯ）、カメラパラメタ決定部９０４は、カメラパラメタセットＣａｒ及びＣｂｒを変更するために、ステップＳ１００６の処理に進む。終了条件が満たされている場合（ステップＳ１００５でＹＥＳ）、カメラパラメタ決定部９０４は、カメラパラメタセットの更新の終了をして、更新されて最新の状態のカメラパラメタセットＣａｒ及びＣｂｒを、カメラ１０１ａ及び１０１ｂのカメラパラメタセットに決定して出力し、ステップＳ１００７の処理に進む。なお、終了条件は、カメラパラメタの所与の探索範囲内の探索が完了していること、評価値Ｊが第一閾値未満であること、及び、ステップＳ１００３～Ｓ１００６の繰り返し回数ｒが第二閾値よりも大きいことの少なくとも１つである。

ステップＳ１００６において、カメラパラメタ決定部９０４は、ｒ＋１回目のカメラパラメタセットの変更、つまり更新を行う。具体的には、カメラパラメタ決定部９０４は、カメラ１０１ａ及び１０１ｂのカメラパラメタセットＣａｒ及びＣｂｒを所与の範囲で変更し、新たなカメラパラメタセットＣａｒ＋１及びＣｂｒ＋１を算出する。カメラパラメタ決定部９０４は、カメラパラメタセットＣａｒ＋１及びＣｂｒ＋１を出力し、ステップＳ１００３の処理に進む。これにより、ステップＳ１００３～Ｓ１００６によるｒ＋１回目の一連の反復処理が行われる。なお、カメラパラメタの探索範囲は、予め設定された各カメラパラメタが取り得る範囲であってもよい。例えば、探索範囲は、全て初期カメラパラメタの±５％であってもよい。

ステップＳ１００７において、カメラパラメタ出力部９０５は、上述したステップＳ１００３～Ｓ１００６の反復処理によって算出されたカメラパラメタセットと、当該カメラパラメタセットに対応する評価値Ｊとによる複数の組を取得する。カメラパラメタセットに対応する評価値Ｊは、当該カメラパラメタセットを用いて算出された評価値である。カメラパラメタ出力部９０５は、複数組のカメラパラメタセット及び評価値Ｊから、評価値Ｊが最小である組のカメラパラメタセットを選択する。さらに、カメラパラメタ出力部９０５は、選択したカメラパラメタセットに対応する評価値Ｊが、初期カメラパラメタセットに対応する評価値Ｊよりも小さい場合に、カメラパラメタ記憶部１１２に記憶された初期カメラパラメタセットを、選択したカメラパラメタセットで置き換える。このように、カメラパラメタセットが最適なカメラパラメタセットに更新される。また、上述したステップＳ１００３～Ｓ１００７の動作を、下記の式１１に表すことができる。なお、ステップＳ１００１～Ｓ１００７の処理は、図４のコンピュータ３００で実行されてもよい。

以上のように、カメラパラメタセット算出装置１１１は、自己校正処理Ｓ１１１により、カメラ１０１ａ及び１０１ｂのカメラ画像からステレオ測距により複数の対応点の組のそれぞれに対応する被写体上の点（測距点）の３次元座標を算出する。さらに、カメラパラメタセット算出装置１１１は、測距点をカメラ画像Ｉａに投影した第１投影点の画素座標及び同一の測距点をカメラ画像Ｉｂに投影した第２投影点の画素座標を算出し、第１投影点の画素値と第２投影点の画素値との差に基づいて評価値を算出する。カメラパラメタセット算出装置１１１は、この評価値を最小にするカメラ１０１ａ及び１０１ｂのカメラパラメタセットＣａｒ及びＣｂｒを算出することで、正解値又は正解値との誤差の小さいカメラパラメタセットを得ることができる。

ここで、カメラ１０１ａ及び１０１ｂのカメラパラメタセットＣａｒ及びＣｂｒが正しい場合、対応点の組に対する３次元座標（ｘａｒｎ，ｙａｒｎ，ｚａｒｎ）が正しく、さらに３次元座標に対応する、カメラ１０１ａのカメラ画像における第１投影点の画素値Ｉａ（ｕａｒｎ，ｖａｒｎ）と、カメラ１０１ｂのカメラ画像における第２投影点の画素値Ｉｂ（ｕｂｒｎ，ｖｂｒｎ）とは等しく、上記の式１０の評価値Ｊは０となる。一方、カメラパラメタセットＣａｒ及びＣｂｒが正解値から離れるほど（つまり、誤差を多く含むほど）、画素値の差が生じ、式１０の評価値Ｊは大きくなる。言い換えると、評価値Ｊが小さいほど、カメラパラメタセットＣａｒ及びＣｂｒは正解に近い。従って、上述したステップＳ１００１～Ｓ１００７の動作により、３次元座標（ｘａｒｎ，ｙａｒｎ，ｚａｒｎ）に対応する画素値Ｉａ（ｕａｒｎ，ｖａｒｎ）と画素値Ｉｂ（ｕｂｒｎ，ｖｂｒｎ）との差に基づいて、これを最小にするカメラパラメタセットＣａｒ及びＣｂｒを求めることで、カメラ１０１ａ及び１０１ｂの正しいカメラパラメタセットを求めることができる。すなわち、カメラ１０１ａ及びカメラ１０１ｂを校正できる。

上述した車載カメラシステム１０の自己校正時の動作は、校正指標上の基準点などの３次元座標が既知の点と、画素座標との対応付けを必要としない。そのため、校正指標などの設備が不要であるという効果がある。また、３次元座標が既知の特定の被写体も用いないため、特定の被写体の３次元座標が変化するような、経年変化、外力による変形、温度変化等が加わった場合でも、正しくカメラを校正できるという効果がある。

［３．自己校正処理の効果の検証］
以下、上述したカメラパラメタセット算出装置１１１の自己校正処理Ｓ１１１が、カメラ１０１ａ及び１０１ｂのカメラパラメタを正確に算出することが可能であることを、シミュレーションによる実験結果をもとに検証し説明する。

上記の式１０に示す評価値Ｊの評価関数に基づいて、カメラパラメタの正解値に対する誤差を小さくするカメラパラメタを算出するためには、式１０の評価関数が以下の２つの条件を満たす必要がある。
（ｉ）カメラパラメタが正解値である場合に、評価値Ｊも最小であること
（ｉｉ）カメラパラメタの正解値の近傍で、評価関数が下に凸の線形を形成すること

カメラ１０１ａ及び１０１ｂで撮影されるカメラ画像として、図１１のカメラ画像が入力された場合を例に、式１０の評価値Ｊの評価関数が、上述の２つの条件（ｉ）及び（ｉｉ）を満たしていることを、以下の実験結果により示す。

（実験条件１）
実験条件１では、カメラのカメラパラメタの１つを変更しつつ評価値を算出し、評価値の算出結果と、予め既知であるカメラパラメタの正解値とを比較する実験を行った。各カメラ１０１ａ及び１０１ｂのカメラパラメタセットのうち、内部パラメタセットは、上記の式４の等距離射影モデルに従って、カメラの光軸中心の画素座標（ｃｕ，ｃｖ）、カメラの焦点距離ｆ、カメラの撮像素子１画素分のｘ方向及びｙ方向それぞれの長さｄｐｘ及びｄｐｙの計５個のパラメタを含む。外部パラメタセットＭは、上記の式１及び式２と同様の下記の式１２のように示される。外部パラメタセットＭは、カメラ座標系の世界座標系に対する具体的な変位量として、Ｘ、Ｙ及びＺの各軸周りの回転量Ｒ_Ｘ、Ｒ_Ｙ及びＲ_Ｚと、Ｘ、Ｙ及びＺの各軸方向の並進量Ｔ_Ｘ、Ｔ_Ｙ及びＴ_Ｚとの計６個のパラメタを含む。２台のカメラ１０１ａ及び１０１ｂのカメラパラメタセットには、合計２２個のパラメタが含まれる。なお、Ｘ軸、Ｙ軸及びＺ軸は、世界座標系の基準軸である。

ここで、ｄｐｘとｆ、及び、ｄｐｙとｆは、スケールの不定性により一意に求める事ができないため、ｄｐｙを設計値（一定）とする。また、図３のように配置されたカメラのカメラ画像を用いる場合、２つのカメラのカメラパラメタにおける基線長方向（例えば、Ｘ軸方向）の並行移動量Ｔ_Ｘについても、スケールの不定性により一意に求めることができないため、Ｔ_Ｘは設計値（一定）とする。これにより、評価値Ｊは、ｃｕ、ｃｖ、ｆ、ｄｐｘ、Ｒ_Ｘ、Ｒ_Ｙ、Ｒ_Ｚ、Ｔ_Ｙ及びＴ_Ｚによる各カメラで９個のカメラパラメタを変数とする関数となる。

実験に用いた画像が図１１に示されている。図１１は、駐車場のシーンのカメラ画像の例であり、コンピュータグラフィックス（ＣＧ）で生成した。図１１は、カメラ１０１ａ及び１０１ｂのカメラ画像である。本実験では、３次元点群算出部９０２によって、図１１のカメラ画像間の対応点の組を算出する代わりに、予め既知である対応点の組の正解値を用いた。

対応点の組の正解値を入力値として、カメラ１０１ａ及び１０１ｂの全てのカメラパラメタを正解値である設計値に設定したのち、カメラ１０１ｂの１つのカメラパラメタを変えた場合の評価値Ｊを算出した。

（実験結果１）
上記の実験条件１による実験結果１を説明する。具体的には、９個のカメラパラメタについて、正解値近傍での評価値が、図１２Ａ～図１４Ｂに示すように得られた。各図中の横軸が各カメラパラメタの値を示し、縦軸が評価値Ｊを示す。変化させるカメラパラメタはそれぞれ、図１２Ａではｃｕ、図１２Ｂではｃｖ、図１２Ｃではｆ、図１２Ｄではｄｐｘ、図１３ＡではＲ_Ｘ、図１３ＢではＲ_Ｙ、図１３ＣではＲ_Ｚ、図１４ＡではＴ_Ｙ、図１４ＢではＴ_Ｚである。

また、各カメラパラメタの正解値は、ｃｕでは６４０ｐｉｘｅｌ、ｃｖでは４８０ｐｉｘｅｌ、ｆでは１．１２ｍｍ、ｄｐｘでは２．７５μｍ、Ｒ_Ｘでは０°、Ｒ_Ｙでは０°、Ｒ_Ｚでは０°、Ｔ_Ｙでは０ｍｍ、Ｔ_Ｚでは０ｍｍである。各図中の横軸の中央部がカメラパラメタの正解値である。

図１２Ａ～図１４Ｂのいずれにおいても、カメラパラメタの正解値の近傍（横軸の中央部）で評価関数は下に凸の線形を描き、且つ、評価値が最小となるカメラパラメタは正解値と一致していることがわかる。このことから、図１２Ａ～図１４Ｂで示すカメラパラメタの範囲において、評価値Ｊが最小となるカメラパラメタを算出できると言える。言い換えると、本方式によるカメラ校正が可能である。

例えば、図１２Ａに関して、ｃｕの６３４～６４６ｐｉｘｅｌの範囲において、ｃｕを一定の間隔又はランダムな間隔で増減させながら評価値が算出される。さらに、算出された評価値の中で、評価値が最小となるカメラパラメタｃｕ、又は評価値が十分小さいパラメタｃｕが、最適値として決定される。このように決定されたカメラパラメタｃｕは、正解値である又は正解値との誤差が小さいカメラパラメタである。

以上のことから、式１０の評価関数が、正解値の近傍で上述の２つの条件（ｉ）及び（ｉｉ）を満たしていることが、実験条件１の実験例により示される。

（実験条件２）
実験条件２では、本開示のカメラパラメタセット算出装置１１１を用いて自己校正処理Ｓ１１１を実施することにより、誤差を小さくするようにカメラパラメタを算出し、算出結果を検証する実験を行った。

本実験では、図１１のカメラ画像がカメラパラメタセット算出装置１１１に入力され、カメラ画像間の対応点の組には、実験条件１と同様に、予め既知である正解値が用いられた。また、カメラ１０１ａ及び１０１ｂの全てのカメラパラメタを正解値である設計値に設定したのち、カメラ１０１ｂの９つのカメラパラメタについて所定の範囲内のランダムノイズを加算し、加算後のカメラパラメタを初期カメラパラメタとした。カメラ１０１ｂの９つのパラメタのうち１つのパラメタを、所定の範囲内で変化させつつ評価値を算出し、算出された評価値の中で、評価値が最小となるカメラパラメタを最適値に決定する。この処理を９つのカメラパラメタに対して順に繰り返す処理を１回の試行として、さらに複数回の試行を繰り返した。

（実験結果２）
上記の実験条件２による実験結果２を説明する。具体的には、実験結果２の例が、図１５Ａ及び図１５Ｂに示すように得られた。図１５Ａでは、横軸が試行回数を示し、縦軸が式１０の評価値Ｊを示す。つまり、図１５Ａでは、横軸の回数での試行を実施して得られたカメラパラメタを用いて算出した評価値が、縦軸の値で示されている。図１５Ｂでは、横軸が試行回数を示し、縦軸が再投影誤差のＲＭＳ値を示す。再投影誤差とは、算出したカメラパラメタが、式１と式３とを満たす度合いを表す。具体的には、カメラ１０１ｂのカメラ画像Ｉｂに映った被写体上の３次元座標とその画素座標との組の正解値が既知である場合に、算出したカメラ１０１ｂのカメラパラメタを用いて、正解の３次元座標をカメラ画像Ｉｂ上に投影した画素座標を算出し、算出した画素座標と正解の画素座標との差を、再投影誤差と呼ぶ。すなわち、再投影誤差が小さいほど、式１及び式３を満たすような、正解との誤差が小さいカメラパラメタであることを表す。図１５Ａ及び図１５Ｂのいずれにおいても、試行回数が増えるほど評価値が小さくなる。よって、２つのカメラ画像の投影点における２つの画素値の差が小さくなる。同時に、試行回数が増えるほど再投影誤差も小さくなっている。

以上のことから、本開示のカメラパラメタセット算出装置１１１による自己校正処理Ｓ１１１によって、再投影誤差が小さい、すなわち、式１及び式３をよく満たし且つ正解値との誤差の小さいカメラパラメタを算出できているといえる。

以上のことから、自己校正処理Ｓ１１１によって得られた、上記の式１０の評価値Ｊを最小にするカメラパラメタは、少なくとも評価値Ｊの評価関数が前述の２つの条件（ｉ）及び（ｉｉ）を満たす場合に、正解値、又は誤差の小さいカメラパラメタであると言える。すなわち、カメラパラメタセット算出装置１１１によるステップＳ１００１～ステップＳ１００７の処理によって、カメラ１０１ａ及び１０１ｂの２つのカメラ画像と初期カメラパラメタセットとを用いて、カメラ１０１ａ及び１０１ｂの正確なカメラパラメタを算出して更新できるという効果がある。

従来の校正技術では、３次元座標と画素座標との対応が既知である複数の基準点を用いるため、校正指標を備える設備等が必要になる。これに対し、本実施の形態に係るカメラパラメタセット算出装置１１１は、２つのカメラのカメラ画像を用いて対応点の組を抽出し、抽出された対応点の組に対する被写体上の点（測距点）の３次元座標を算出し、さらに３次元座標を用いて各カメラのカメラ画像における対応点の組に含まれる対応点の投影点を算出する。カメラパラメタが正しい場合、２つのカメラ画像の投影点の画素値は一致し、カメラパラメタの誤差が大きいほど２つのカメラ画像の投影点の画素値の差が大きくなる。そこで、カメラパラメタセット算出装置１１１は、２つのカメラ画像の投影点の画素値の差を最小にするカメラパラメタを算出することで、最適つまり正解のカメラパラメタを算出する。これにより、カメラパラメタセット算出装置１１１は、３次元座標と画素座標との対応が既知である基準点、つまり校正指標を備える設備等がなくても、カメラの校正を可能にするという効果を奏する。

［４－１．自己校正動作の変形例１］
実施の形態に係るカメラパラメタセット算出装置１１１の自己校正処理では、カメラパラメタの誤差が大きいカメラ、すなわち校正対象のカメラは、ユーザによって特定されており、ユーザによる入力によって特定のカメラの校正動作が開始するものとした。校正対象のカメラの決定は、ユーザにより指定に限定されず、別の方法であってもよい。

例えば、３つ以上のカメラがある場合に、全てのカメラを校正するとしてもよい。３つ以上のカメラの全てを校正する場合、例えば、以下の２つの校正が挙げられる。第１の校正では、カメラパラメタセット算出装置１１１は、複数のカメラによる組から、任意の２つのカメラによる組を複数組抽出し、１組の２つのカメラに対して、実施の形態と同様の自己校正処理によるカメラパラメタセットの算出、つまり校正を行ってもよい。そして、カメラパラメタセット算出装置１１１は、カメラの複数の組それぞれに対して順に、実施の形態と同様の自己校正処理による校正を行ってもよい。これによって、ユーザが校正対象のカメラを指定することなく、車載カメラシステムの校正ができるという効果がある。例えば、４つのカメラがある場合、６通りのカメラの組が形成される。カメラパラメタセット算出装置１１１は、６組のカメラそれぞれに対して、順に校正を行ってもよい。これにより、各組のカメラのカメラパラメタセットは、他のカメラの組の影響を低減した校正を受ける。そして、２つのカメラのカメラ画像から得られる結果が、適正か否かを判別することができる。例えば、判別結果に基づき、カメラパラメタセットの変更方法つまり更新方法を検討することができる。さらに、カメラの視野の部分的な領域での校正が可能になる。

また、第２の校正では、カメラパラメタセット算出装置１１１の取得部９０１は、３つ以上のカメラのカメラ画像を取得し、３次元点群算出部９０２は、３つ以上のカメラ画像の重複撮影領域の３次元座標を算出してもよい。さらに、評価値算出部９０３は、算出した３次元座標を各カメラ画像に投影した投影点の画素値の差を基準にした評価値を算出し、カメラパラメタ決定部９０４は、評価値を最小にするカメラパラメタを決定してもよい。重複撮影領域それぞれで算出される画素値を、評価値の算出に適用することよって、１つのカメラについて複数の重複撮影領域を用いた校正が可能になる。これにより、校正に利用できる画像の面積が増え、カメラの視野の広い領域にわたる全体的な校正が可能になる。又は、全ての重複撮影領域で算出される画素値を、評価値の算出に適用することよって、複数のカメラ全体の校正が可能になる。

例えば、図１６には、図３に示すように配置された４つのカメラ１０１ａ～１０１ｄが撮影したカメラ画像の例が示されている。各カメラ画像には、複数の重複撮影領域が含まれている。なお、図１６は、互いに重複撮影領域を含む４つのカメラ１０１ａ～１０１ｄの撮影画像の一例である。各カメラ画像には、隣り合う２つのカメラで重複して撮影された被写体の領域である重複撮影領域が含まれる。具体的には、車両の前部のカメラ１０１ａのカメラ画像には、カメラ１０１ａと車両の右側部のカメラ１０１ｂとの重複撮影領域ＯＬａｂと、カメラ１０１ａと車両の左側部のカメラ１０１ｄとの重複撮影領域ＯＬａｄとが含まれている。カメラ１０１ｂのカメラ画像には、カメラ１０１ｂとカメラ１０１ａとの重複撮影領域ＯＬａｂと、カメラ１０１ｂと車両の後部のカメラ１０１ｃとの重複撮影領域ＯＬｂｃとが含まれている。カメラ１０１ｃのカメラ画像には、カメラ１０１ｃとカメラ１０１ｂとの重複撮影領域ＯＬｂｃと、カメラ１０１ｃとカメラ１０１ｄとの重複撮影領域ＯＬｃｄとが含まれている。カメラ１０１ｄのカメラ画像には、カメラ１０１ｄとカメラ１０１ｃとの重複撮影領域ＯＬｃｄと、カメラ１０１ｄとカメラ１０１ａとの重複撮影領域ＯＬａｄとが含まれている。

第１の校正では、例えば、評価値算出部９０３は、上記の式１０を用いて、２つのカメラの組毎に、重複撮影領域に関して、評価値を算出し、カメラパラメタ決定部９０４は、カメラの組毎に、評価値を最小にするカメラパラメタを決定する。

第２の校正では、例えば、評価値算出部９０３は、上記の式１０の代わりに、下記の式１３を用いて、全てのカメラの組のカメラ画像の重複撮影領域に関して、重複撮影領域全体に対する評価値を算出する。そして、カメラパラメタ決定部９０４は、評価値を最小にするカメラパラメタを決定する。式１３の評価値Ｊは、第１項、第２項、第３項及び第４項の和で示される。式１３の第１項は、カメラ１０１ａ及びカメラ１０１ｂのカメラ画像間の重複撮影領域ＯＬａｂにおけるＮ個の測距点について、上記の式１０を適用したものである。式１３の第２項は、カメラ１０１ａ及びカメラ１０１ｄのカメラ画像間の重複撮影領域ＯＬａｄにおけるＰ個の測距点について、上記の式１０を適用したものである。式１３の第３項は、カメラ１０１ｂ及びカメラ１０１ｃのカメラ画像間の重複撮影領域ＯＬｂｃにおけるＱ個の測距点について、上記の式１０を適用したものである。式１３の第４項は、カメラ１０１ｃ及びカメラ１０１ｄのカメラ画像間の重複撮影領域ＯＬｃｄにおけるＳ個の測距点について、上記の式１０を適用したものである。また、式１３を用いた場合における図１０のステップＳ１００３～Ｓ１００７の動作を、下記の式１４のように表すことができる。式１４におけるＣａｒ、Ｃｂｒ、Ｃｃｒ及びＣｄｒはそれぞれ、カメラ１０１ａ、１０１ｂ、１０１ｃ及び１０１ｄのカメラパラメタセットである。

実施の形態における自己校正処理では、カメラパラメタセット算出装置１１１は、カメラ１０１ａ及び１０１ｂの校正に用いる重複撮影領域として、例えば、図１１に示すように、カメラ画像内の偏った一部分を用いた。しかしながら、全てのカメラを校正することによって、全てのカメラの重複撮影領域を校正に用いることになるため、カメラ画像のうちのより広い領域を用いて校正することが可能になる。よって、校正精度を向上できるという効果がある。また、重複撮影領域において重複する画像の数量が３つ以上にならないようにカメラを配置すれば、重複撮影領域の面積が広くなり得る。これにより、さらなる校正精度の向上が可能である。

［４－２．自己校正動作の変形例２］
実施の形態に係るカメラパラメタセット算出装置１１１は、ユーザによる入力を、自己校正処理Ｓ１１１の開始のトリガとしていたが、これに限定されない。カメラパラメタセット算出装置１１１は、自己校正処理Ｓ１１１の開始を、他のトリガによって自動的に開始してもよい。例えば、カメラパラメタセット算出装置１１１は、温度センサ、衝撃センサ、タイマ等のセンサからの入力をトリガとして、自動的に自己校正を開始してもよい。

例えば、図１７を参照すると、センサ部１３０を備える変形例２に係る車載カメラシステム３０の構成を示すブロック図が示されている。車載カメラシステム３０は、実施の形態に加えて、温度センサ１３１、衝撃センサ１３２及びタイマ１３３を含むセンサ部１３０を備える。車載カメラシステム３０の画像処理部３１０のカメラパラメタセット算出装置３１１は、実施の形態に加えて、センサ部１３０から検知情報を取得し自己校正処理の開始指令を出力するセンサ情報取得部９０６を備える。

本変形例に係るカメラパラメタセット算出装置３１１は、車載カメラシステム３０の電源投入直後に、１回の自己校正処理を、実施してもよい。なお、上記の電源投入後の実施の代わりに又は加えて、カメラパラメタセット算出装置３１１は、自己校正処理を、センサ部１３０のタイマ１３３からの入力に基づいて実施してもよく、センサ部１３０の衝撃センサ１３２からの入力に基づいて実施してもよく、センサ部１３０の温度センサ１３１の入力に基づいて実施してもよい。タイマ１３３からの入力に基づいた実施は、タイマ１３３によって検知される一定の時間ごとの実施であってもよい。衝撃センサ１３２からの入力に基づく実施は、車載カメラシステム３０が搭載された自動車に事故などによって加わる強い衝撃を衝撃センサ１３２が検知する場合に行われてもよい。なお、衝撃センサ１３２は、加速度センサで構成されてもよい。温度センサ１３１の入力に基づく実施は、車載カメラシステム３０の周囲の温度が所定の温度になることを温度センサ１３１が検知する場合に行われてもよい。

［４－３．自己校正動作の変形例３］
実施の形態に係るカメラパラメタセット算出装置１１１は、自己校正処理Ｓ１１１において、ステップＳ１００３では、カメラ画像Ｉａ及びＩｂ間でＮ個の対応点の組を抽出し、さらに抽出されたＮ個の対応点の組のそれぞれに対する被写体上の点（測距点）の３次元座標をステレオ測距技術により算出し、ステップＳ１００４では、３次元座標を用いて評価値Ｊを算出した。しかしながら、評価値Ｊの算出に測距点を全て用いる必要はない。

本変形例では、カメラパラメタセット算出装置１１１は、ステレオ測距によって算出したＮ個の測距点の３次元座標のうちから、画像の輝度勾配が無い又は十分小さい測距点の３次元座標を取り除く。これにより、カメラパラメタセット算出装置１１１は、評価値Ｊの算出に用いる測距点を少なくし、評価値Ｊの算出における計算量を低減する。

本変形例に係るカメラパラメタセット算出装置１１１の自己校正処理は、ステップＳ１００４の動作を除き、実施の形態と同様である。このため、本変形例に係るステップＳ１００４の動作を説明し、その他の説明を省略する。

ステップＳ１００４において、カメラパラメタセット算出装置１１１の評価値算出部９０３は、測距点の３次元座標と、カメラ１０１ａ及び１０１ｂのカメラパラメタセットＣａｒ及びＣｂｒとを用いて、上記の式８及び式９により、測距点をカメラ１０１ａのカメラ画像Ｉａに投影した第１投影点の画素座標及び同一の測距点をカメラ１０１ｂのカメラ画像Ｉｂに投影した第２投影点の画素座標を算出する。

そして、Ｋａ個の測距点が存在する場合、評価値算出部９０３は、Ｋａ個の測距点のうちから、測距点をカメラ画像Ｉａに投影した第１投影点の画素座標（ｕａｒ，ｖａｒ）における画素値の輝度勾配が０又は十分小さい測距点を除去する。除去される測距点が、Ｋｂ個（Ｋｂ＞又は＝０）存在する場合、評価値算出部９０３は、（Ｋａ－Ｋｂ）個の測距点の３次元座標を選択する。

測距点の３次元座標（ｘａｒ，ｙａｒ，ｚａｒ）に対応する画素座標（ｕａｒ，ｖａｒ）の周りの画素値の輝度勾配が０の場合、カメラパラメタを微小変化させることで、この測距点に対応する画素座標（ｕａｒ，ｖａｒ）が微小変化しても、その画素座標の画素値Ｉａ（ｕａｒ，ｖａｒ）は変化しない。言い換えると、評価値Ｊが変化しない。そのため、この様な測距点を除去したとしても評価値Ｊには影響が無く、且つ、測距点の数が減るため、ステップＳ１００４の計算量を低減できるという効果がある。

なお、ステップＳ１００４における評価値Ｊの算出に用いる測距点の削減には、他の手法が用いられてもよい。例えば、測距点のうちから、２つのカメラ１０１ａ及び１０１ｂの一方のカメラに映っていない測距点が除外されてもよい。この場合、測距点の３次元座標に対応する投影点のカメラ画像Ｉａ及びＩｂでの画素座標を算出し、２つの画素座標のうちいずれか一方がカメラ画像の不可視領域に位置する場合に、当該測距点を評価値Ｊの算出から除外してもよい。

上記の式１０は、同一の測距点が２つのカメラ画像Ｉａ及びＩｂに写っている場合、カメラ画像Ｉａ及びＩｂでの測距点の投影点の画素値の差が０になることを意味している。カメラ画像Ｉａ及びＩｂでの測距点の投影点のいずれかが、カメラ１０１ａ及び１０１ｂの撮影範囲外にある場合、撮影範囲内にあっても他の物体に遮蔽されてカメラに映らない、つまり遮蔽領域にある場合では、画素値の差は、０にならず、評価値の誤差になる。そのため、複数の測距点のうち、その投影点が少なくとも一方のカメラに写らない、つまり、当該カメラの不可視領域に位置する測距点を評価値の算出から除外することで、評価値の誤差を小さくできるという効果が期待できる。測距点の投影点がカメラの不可視領域にあるか否かは、前述したようなカメラの撮影範囲外となる３次元空間の範囲を規定する遮蔽情報に基づいて判定してもよい。

なお、カメラパラメタセット算出装置１１１の自己校正処理Ｓ１１１のステップＳ１００５では、評価値Ｊが第一閾値よりも小さいこと、及び、処理の繰り返し回数ｒが第二閾値よりも大きいこと等の終了条件に基づき、反復計算を終了するとしたが、反復計算の終了条件をこれに限定するものではない。例えば、他の終了条件が加わってもよい。例えば、カメラパラメタセットを変化させても評価値Ｊが変化しないことを、終了条件としてもよい。

なお、カメラパラメタセット算出装置１１１の自己校正処理Ｓ１１１は、評価値Ｊの評価関数が前述した２つの条件を満たす場合に、評価値Ｊが小さい、つまり正解値とカメラパラメタとの差が小さい、言い換えると、誤差の小さいカメラパラメタを算出して更新することができる。しかしながら、評価関数が前述した２つの条件を満たさない場合、必ずしも誤差の小さいカメラパラメタを算出できるとは限らない。例えば、カメラの撮影範囲が極端に暗く、全ての画素値が０になる場合、及び、被写体が均一色でテクスチャが全くない場合、上記の式１０の評価値Ｊは、カメラパラメタを変えてもその値は変わらず、一定値（例えば、０）となる。このようなカメラ画像をカメラパラメタセット算出装置１１１が取得した場合、自己校正処理Ｓ１１１では、ステップＳ１００３～Ｓ１００６の反復回数ｒが第二閾値以上になるまで反復処理が終了せず、評価値は一定のままで更新されない。この際、カメラパラメタを更新しないにも関わらず、処理における計算負荷がかかる。これに対し、カメラパラメタを変化させても評価値が変化しない場合に、反復処理を終了するとすることで、計算負荷を低減できるという効果がある。

［５．評価関数のバリエーション］
実施の形態及び変形例に係る自己校正処理において、カメラパラメタセット算出装置の自己校正処理で用いる評価値Ｊに、上記の式１０に示すように、複数の測距点それぞれに対応する画素値の差の絶対値の和に基づく評価関数が適用された。しかしながら、評価関数は、上記に限定されるものではなく、測距点に対応する２つのカメラ画像の画素値の差に基づく関数であれば、他の関数であってもよい。例えば、評価関数は、複数の測距点それぞれに対応する２つのカメラ画像の２つの画素値の差の２乗の総和を用いる評価関数でもよい。具体的には、測距点をカメラ画像Ｉａへ投影した第１投影点での画素値と同一の測距点をカメラ画像Ｉｂへ投影した第２投影点での画素値との差の２乗を各測距点について求めて、求めた値を加算する評価関数の例を、下記の式１５に示す。

上記の式１０に示すような画素値の差の絶対値和で定義される評価値に基づいて算出されたカメラパラメタは、画素値の差がラプラス分布の場合に、真値に近い、つまり、真値に対する誤差が小さいという効果が期待できる。

これに対し、上記の式１５に示すような画素値の差の２乗和で定義される評価値に基づいて算出されたカメラパラメタは、画素値の誤差がガウス分布の場合に、真値に近い、つまり、真値に対する誤差が小さいという効果が期待できる。

［その他］
以上、本開示の１つ以上の態様に係るカメラパラメタセット算出装置等について、実施の形態等に基づいて説明したが、本開示は、実施の形態等に限定されるものではない。本開示の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態等に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本開示の１つ以上の態様の範囲内に含まれてもよい。

実施の形態及び変形例では、撮像部１００は４つのカメラ１０１ａ～１０１ｄで構成されるものとしたが、カメラの数量を４つに限定するものではない。本開示の自己校正のためには、撮像部１００は、少なくとも２つのカメラを備えればよく、カメラは２つ以上であればいくらでもよい。また、カメラ同士は、一体化されていてもよく、別々に配置されていてもよい。

実施の形態及び変形例では、車載カメラシステムの撮像部、画像処理部及びディスプレイは、いずれも自動車に搭載されており、画像処理部を構成するカメラパラメタセット算出装置も自動車に搭載されているものとしたが、これに限定されない。例えば、撮像部、画像処理部及びディスプレイは、自動車以外のいかなる移動体に搭載されてもよい。移動体は、自動車以外の車両、船舶、飛行体又はロボット等であってもよい。自動車以外の車両は、トラック、バス、二輪車、搬送車、鉄道、建設機械、荷役機械等であってもよい。飛行体は、航空機、ドローン等であってもよい。ロボットは、利用者が遠隔操作する構成であってもよい。

また、カメラパラメタセット算出装置は、自動車とネットワークで接続された別の場所に設置されているコンピュータで構成してもよい。カメラパラメタセット算出装置におけるカメラパラメタの自己校正処理は、計算負荷が大きいことから、自動車に搭載された計算能力に制約のあるコンピュータ上で実施するよりも、サーバーなどの計算能力の高いコンピュータで実施することで、計算時間がより短く、精度がより高いパラメタの算出ができる、という効果がある。

また、上述したように、本開示の技術は、システム、装置、方法、集積回路、コンピュータプログラム又はコンピュータ読取可能な記録ディスク等の記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラム及び記録媒体の任意な組み合わせで実現されてもよい。コンピュータ読み取り可能な記録媒体は、例えばＣＤ－ＲＯＭ等の不揮発性の記録媒体を含む。

例えば、上記実施の形態及び変形例に係る車載カメラシステムに含まれる各構成要素は典型的には集積回路であるＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）として実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。

また、集積回路化はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後にプログラムすることが可能なＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、又はＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。

なお、上記実施の形態及び変形例において、各構成要素は、専用のハードウェアで構成されるか、各構成要素に適したソフトウェアプログラムを実行することによって実現されてもよい。各構成要素は、ＣＰＵ又はプロセッサなどのプログラム実行部が、ハードディスク又は半導体メモリなどの記録媒体に記録されたソフトウェアプログラムを読み出して実行することによって実現されてもよい。

また、上記構成要素の一部又は全部は、脱着可能なＩＣ（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）カード又は単体のモジュールから構成されてもよい。ＩＣカード又はモジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭ等から構成されるコンピュータシステムである。ＩＣカード又はモジュールは、上記のＬＳＩ又はシステムＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、ＩＣカード又はモジュールは、その機能を達成する。これらＩＣカード及びモジュールは、耐タンパ性を有するとしてもよい。

本開示のカメラパラメタセット算出方法は、ＭＰＵ（Ｍｉｃｒｏ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）、ＣＰＵ、プロセッサ、ＬＳＩなどの回路、ＩＣカード又は単体のモジュール等によって、実現されてもよい。

さらに、本開示の技術は、ソフトウェアプログラム又はソフトウェアプログラムからなるデジタル信号によって実現されてもよく、プログラムが記録された非一時的なコンピュータ読み取り可能な記録媒体であってもよい。また、上記プログラムは、インターネット等の伝送媒体を介して流通させることができるのは言うまでもない。

また、上記で用いた序数、数量等の数字は、全て本開示の技術を具体的に説明するために例示するものであり、本開示は例示された数字に制限されない。また、構成要素間の接続関係は、本開示の技術を具体的に説明するために例示するものであり、本開示の機能を実現する接続関係はこれに限定されない。

また、ブロック図における機能ブロックの分割は一例であり、複数の機能ブロックを１つの機能ブロックとして実現したり、１つの機能ブロックを複数に分割したり、一部の機能を他の機能ブロックに移してもよい。また、類似する機能を有する複数の機能ブロックの機能を単一のハードウェア又はソフトウェアが並列又は時分割に処理してもよい。

本開示に係るカメラパラメタ算出装置等は、少なくとも２つのカメラのカメラパラメタの算出に有用である。

１０，３０ 車載カメラシステム
１００ 撮像部
１０１，１０１ａ，１０１ｂ カメラ
１１０，３１０ 画像処理部
１１１，３１１ カメラパラメタセット算出装置
１１２ カメラパラメタ記憶部
１１３ 画像生成部
１２０ ディスプレイ
３００ コンピュータ
３０１ ＣＰＵ
３０２ ＲＯＭ
３０３ ＲＡＭ
３０４ ＨＤＤ
３０５ ビデオ入力Ｉ／Ｆ
３０６ ビデオカード
９０１ 取得部
９０２ ３次元点群算出部
９０３ 評価値算出部
９０４ カメラパラメタ決定部
９０５ カメラパラメタ出力部
９０６ センサ情報取得部

Claims (21)

1. 複数のカメラで撮影された画像と前記複数のカメラのカメラパラメタセットとを用いて、カメラパラメタセットを算出する少なくとも１つの制御回路を備え、
   前記少なくとも１つの制御回路は、
   （ａ１）前記複数のカメラの第１カメラで撮影された第１画像と、前記複数のカメラの第２カメラで撮影された第２画像とを取得し、
   （ａ２）前記第１カメラの１つ以上のカメラパラメタを含む第１カメラパラメタセットと、前記第２カメラの１つ以上のカメラパラメタを含む第２カメラパラメタセットとを取得し、
   （ａ３）前記第１画像、前記第２画像、前記第１カメラパラメタセット及び前記第２カメラパラメタセットに基づいて、前記第１画像及び前記第２画像における被写体が部分的に重複して映し出される重複領域上の３次元座標を複数算出し、
   （ａ４）前記第１カメラパラメタセットに基づいて前記複数の３次元座標を前記第１画像に投影した複数の第１画素座標を決定し、前記第２カメラパラメタセットに基づいて前記複数の３次元座標を前記第２画像に投影した複数の第２画素座標を決定し、
   （ａ５）前記第１画像における前記複数の第１画素座標での複数の画素値と前記第２画像における前記複数の第２画素座標での複数の画素値とに基づいて評価値を算出し、
   （ａ６）前記評価値に基づいて、前記第１カメラパラメタセット及び前記第２カメラパラメタセットを更新し、
   （ａ７）更新された前記第１カメラパラメタセット及び前記第２カメラパラメタセットを出力する
   カメラパラメタセット算出装置。
2. 前記第１画像及び前記第２画像は、
   （ｉ）車両の前部に配置されたカメラで前記車両の前方を撮影した画像、及び前記車両の左部に配置されたカメラで前記車両の左方を撮影した画像の組み合わせ、
   （ｉｉ）車両の前部に配置されたカメラで前記車両の前方を撮影した画像、及び前記車両の右部に配置されたカメラで前記車両の右方を撮影した画像の組み合わせ、
   （ｉｉｉ）車両の後部に配置されたカメラで前記車両の後方を撮影した画像、及び前記車両の左部に配置されたカメラで前記車両の左方を撮影した画像の組み合わせ、
   （ｉｖ）車両の後部に配置されたカメラで前記車両の後方を撮影した画像、及び前記車両の右部に配置されたカメラで前記車両の右方を撮影した画像の組み合わせ、
   のうちのいずれかの組み合わせである
   請求項１に記載のカメラパラメタセット算出装置。
3. 前記少なくとも１つの制御回路は、
   処理（ａ５）では、前記第１画素座標における前記第１画像の画素値と前記第２画素座標における前記第２画像の画素値との差異に基づいて前記評価値を算出する
   請求項１または２に記載のカメラパラメタセット算出装置。
4. 前記少なくとも１つの制御回路は、
   前記複数のカメラの第３カメラで撮影された第３画像と、前記第３カメラの第３カメラパラメタセットとをさらに取得し、
   前記第１画像、前記第２画像及び前記第３画像から、２つの画像により構成される複数の組を決定し、
   前記複数の組それぞれに含まれる２つの画像に対して、処理（ａ３）～処理（ａ５）を順次行う
   請求項１～３のいずれか一項に記載のカメラパラメタセット算出装置。
5. 前記少なくとも１つの制御回路は、
   前記複数のカメラの第３カメラで撮影された第３画像と、前記第３カメラの第３カメラパラメタセットとをさらに取得し、
   前記第１画像、前記第２画像及び前記第３画像から、２つの画像により構成される複数の組を決定し、
   前記複数の組それぞれに含まれる２つの画像に対して、処理（ａ３）～処理（ａ５）を行って得られる画素値を用いて、前記評価値を算出する
   請求項１～３のいずれか一項に記載のカメラパラメタセット算出装置。
6. 前記第１画像及び前記第２画像は、被写体の一部が重複して映る第１重複領域を含み、
   前記第２画像及び前記第３画像は、被写体の一部が重複して映る第２重複領域を含み、
   前記第１重複領域と前記第２重複領域とは、重複しない
   請求項４または５に記載のカメラパラメタセット算出装置。
7. 前記第１画像及び前記第２画像はそれぞれ、光軸中心での光軸の方向が互いに交差する方向であるように配置された前記第１カメラ及び前記第２カメラで撮影された画像である
   請求項１～６のいずれか一項に記載のカメラパラメタセット算出装置。
8. （ａ１）複数のカメラの第１カメラで撮影された第１画像と、前記複数のカメラの第２カメラで撮影された第２画像とを取得し、
   （ａ２）前記第１カメラの１つ以上のカメラパラメタを含む第１カメラパラメタセットと、前記第２カメラの１つ以上のカメラパラメタを含む第２カメラパラメタセットとを取得し、
   （ａ３）前記第１画像、前記第２画像、前記第１カメラパラメタセット及び前記第２カメラパラメタセットに基づいて、前記第１画像及び前記第２画像における被写体が部分的に重複して映し出される重複領域上の３次元座標を複数算出し、
   （ａ４）前記第１カメラパラメタセットに基づいて前記複数の３次元座標を前記第１画像に投影した複数の第１画素座標を決定し、前記第２カメラパラメタセットに基づいて前記複数の３次元座標を前記第２画像に投影した複数の第２画素座標を決定し、
   （ａ５）前記第１画像における前記複数の第１画素座標での複数の画素値と前記第２画像における前記複数の第２画素座標での複数の画素値とに基づいて評価値を算出し、
   （ａ６）前記評価値に基づいて、前記第１カメラパラメタセット及び前記第２カメラパラメタセットを更新し、
   （ａ７）更新された前記第１カメラパラメタセット及び前記第２カメラパラメタセットを出力し、
   処理（ａ１）～処理（ａ７）の少なくとも１つがプロセッサによって実行される
   カメラパラメタセット算出方法。
9. 前記第１画像及び前記第２画像は、
   （ｉ）車両の前部に配置されたカメラで前記車両の前方を撮影した画像、及び前記車両の左部に配置されたカメラで前記車両の左方を撮影した画像の組み合わせ、
   （ｉｉ）車両の前部に配置されたカメラで前記車両の前方を撮影した画像、及び前記車両の右部に配置されたカメラで前記車両の右方を撮影した画像の組み合わせ、
   （ｉｉｉ）車両の後部に配置されたカメラで前記車両の後方を撮影した画像、及び前記車両の左部に配置されたカメラで前記車両の左方を撮影した画像の組み合わせ、
   （ｉｖ）車両の後部に配置されたカメラで前記車両の後方を撮影した画像、及び前記車両の右部に配置されたカメラで前記車両の右方を撮影した画像の組み合わせ、
   のうちのいずれかの組み合わせである
   請求項８に記載のカメラパラメタセット算出方法。
10. 処理（ａ５）では、前記第１画素座標における前記第１画像の画素値と前記第２画素座標における前記第２画像の画素値との差異に基づいて前記評価値を算出する
    請求項８または９に記載のカメラパラメタセット算出方法。
11. 前記複数のカメラの第３カメラで撮影された第３画像と、前記第３カメラの第３カメラパラメタセットとをさらに取得し、
    前記第１画像、前記第２画像及び前記第３画像から、２つの画像により構成される複数の組を決定し、
    前記複数の組それぞれに含まれる２つの画像に対して、処理（ａ３）～処理（ａ５）を順次行う
    請求項８～１０のいずれか一項に記載のカメラパラメタセット算出方法。
12. 前記複数のカメラの第３カメラで撮影された第３画像と、前記第３カメラの第３カメラパラメタセットとをさらに取得し、
    前記第１画像、前記第２画像及び前記第３画像から、２つの画像により構成される複数の組を決定し、
    前記複数の組それぞれに含まれる２つの画像に対して、処理（ａ３）～処理（ａ５）を行って得られる画素値を用いて、前記評価値を算出する
    請求項８～１０のいずれか一項に記載のカメラパラメタセット算出方法。
13. 前記第１画像及び前記第２画像は、被写体の一部が重複して映る第１重複領域を含み、
    前記第２画像及び前記第３画像は、被写体の一部が重複して映る第２重複領域を含み、
    前記第１重複領域と前記第２重複領域とは、重複しない
    請求項１１または１２に記載のカメラパラメタセット算出方法。
14. 前記第１画像及び前記第２画像はそれぞれ、光軸中心での光軸の方向が互いに交差する方向であるように配置された前記第１カメラ及び前記第２カメラで撮影された画像である
    請求項８～１３のいずれか一項に記載のカメラパラメタセット算出方法。
15. コンピュータに実行させるプログラムであって、
    （ａ１）複数のカメラの第１カメラで撮影された第１画像と、前記複数のカメラの第２カメラで撮影された第２画像とを取得し、
    （ａ２）前記第１カメラの１つ以上のカメラパラメタを含む第１カメラパラメタセットと、前記第２カメラの１つ以上のカメラパラメタを含む第２カメラパラメタセットとを取得し、
    （ａ３）前記第１画像、前記第２画像、前記第１カメラパラメタセット及び前記第２カメラパラメタセットに基づいて、前記第１画像及び前記第２画像における被写体が部分的に重複して映し出される重複領域上の３次元座標を複数算出し、
    （ａ４）前記第１カメラパラメタセットに基づいて前記複数の３次元座標を前記第１画像に投影した複数の第１画素座標を決定し、前記第２カメラパラメタセットに基づいて前記複数の３次元座標を前記第２画像に投影した複数の第２画素座標を決定し、
    （ａ５）前記第１画像における前記複数の第１画素座標での複数の画素値と前記第２画像における前記複数の第２画素座標での複数の画素値とに基づいて評価値を算出し、
    （ａ６）前記評価値に基づいて、前記第１カメラパラメタセット及び前記第２カメラパラメタセットを更新し、
    （ａ７）更新された前記第１カメラパラメタセット及び前記第２カメラパラメタセットを出力する
    ことを前記コンピュータに実行させるプログラム。
16. 前記第１画像及び前記第２画像は、
    （ｉ）車両の前部に配置されたカメラで前記車両の前方を撮影した画像、及び前記車両の左部に配置されたカメラで前記車両の左方を撮影した画像の組み合わせ、
    （ｉｉ）車両の前部に配置されたカメラで前記車両の前方を撮影した画像、及び前記車両の右部に配置されたカメラで前記車両の右方を撮影した画像の組み合わせ、
    （ｉｉｉ）車両の後部に配置されたカメラで前記車両の後方を撮影した画像、及び前記車両の左部に配置されたカメラで前記車両の左方を撮影した画像の組み合わせ、
    （ｉｖ）車両の後部に配置されたカメラで前記車両の後方を撮影した画像、及び前記車両の右部に配置されたカメラで前記車両の右方を撮影した画像の組み合わせ、
    のうちのいずれかの組み合わせである
    請求項１５に記載のプログラム。
17. 処理（ａ５）では、前記第１画素座標における前記第１画像の画素値と前記第２画素座標における前記第２画像の画素値との差異に基づいて前記評価値を算出する
    請求項１５または１６に記載のプログラム。
18. 前記複数のカメラの第３カメラで撮影された第３画像と、前記第３カメラの第３カメラパラメタセットとをさらに取得し、
    前記第１画像、前記第２画像及び前記第３画像から、２つの画像により構成される複数の組を決定し、
    前記複数の組それぞれに含まれる２つの画像に対して、処理（ａ３）～処理（ａ５）を順次行う
    請求項１５～１７のいずれか一項に記載のプログラム。
19. 前記複数のカメラの第３カメラで撮影された第３画像と、前記第３カメラの第３カメラパラメタセットとをさらに取得し、
    前記第１画像、前記第２画像及び前記第３画像から、２つの画像により構成される複数の組を決定し、
    前記複数の組それぞれに含まれる２つの画像に対して、処理（ａ３）～処理（ａ５）を行って得られる画素値を用いて、前記評価値を算出する
    請求項１５～１７のいずれか一項に記載のプログラム。
20. 前記第１画像及び前記第２画像は、被写体の一部が重複して映る第１重複領域を含み、
    前記第２画像及び前記第３画像は、被写体の一部が重複して映る第２重複領域を含み、
    前記第１重複領域と前記第２重複領域とは、重複しない
    請求項１８または１９に記載のプログラム。
21. 前記第１画像及び前記第２画像はそれぞれ、光軸中心での光軸の方向が互いに交差する方向であるように配置された前記第１カメラ及び前記第２カメラで撮影された画像である
    請求項１５～２０のいずれか一項に記載のプログラム。

Images