JP5915268B2 - パラメータ算出方法、情報処理装置及びプログラム - Google Patents

Description

本技術は、車載カメラのキャリブレーション技術に関する。

近年、車両にカメラを搭載し、当該カメラで撮影した画像を処理して、運転者に対して様々な画像等を提示することが行われている。しかしながら、車両に対する車載カメラの取り付け位置及び角度を正しく求めることができないと、正しい処理結果を運転者に提示できない。一方、車両に対する車載カメラの取り付け位置及び角度を求めるための手間が多くかかるようでは、実際の作業コストが多くなってしまう。

なお、車両に対する車載カメラの取り付け位置及び角度を求める方法としては、車両周辺にマーカ（すなわち校正治具）を配置し、車載カメラが撮影した画像上でのマーカの位置や形状を基に推定する手法がよく用いられている。例えば、車両後方の路上の特定位置に帯状のターゲットバー（マーカ）を配置し、カメラ映像を表示するディスプレイ画像上でターゲットバーがその中に入るようにウインドウ枠を移動させ、その移動量からカメラパラメータを算出する。しかしカメラに対するマーカの設置位置を基にカメラパラメータを推定する手法では、車両に対してマーカを厳密に配置することになるので、マーカの設置作業に多くの工数が費やされるという問題がある。このようにマーカを厳密に配置することを求める技術はその他にも存在している。

また、マーカ形状を工夫することで設置作業の工数を削減すると共にキャリブレーションの精度を向上させる手法も存在している。マーカに車両の幅及び後輪からの距離を一定に保つためのスケールを追加することで、車両とマーカの相対位置を厳密に保つのを目的とするものであるが、実際に使う画像特徴を有する部分に比べてマーカ全体が巨大になるため、高価且つ可搬性が悪く、様々な作業場所で実施することが困難になるという欠点がある。

なお、駐車時に車両の後退走行を補助するバックモニタも提案されている。具体的には、路面上の基準位置に車幅相当の間隔をあけて一対のマーカを設置する。そして、車両を基準位置から移動させながら複数の位置にて車載カメラで一対のマーカが含まれる路面の画像を撮影し、この画像においてマーカの表示座標位置を認識し、マーカを含む画像が撮影された位置の、基準位置からの距離が短い順に並べて、これらの表示位置座標を結んだラインを新たな車線幅とすることが開示されている。しかし、この技術はカメラパラメータを算出するものではない。

特開２００１−２４５３２６号公報 特開２００５−１６９７９号公報 特開２００６−１６５９７３号公報 特開２０１０−２３９４０８号公報

従って、本技術の目的は、一側面によれば、車載カメラのキャリブレーションを簡単に行うための技術を提供することである。

本技術に係るパラメータ算出方法は、（Ａ）車両の周辺に配置され且つ所定の間隔を有する２つのマーカを前記車両に搭載されたカメラにて撮影し、撮影された第１の画像における上記２つのマーカの第１の座標値を取得する第１の取得処理と、（Ｂ）車両を直線上で移動させた後、上記２つのマーカを前記カメラにて撮影し、撮影された第２の画像における上記２つのマーカの第２の座標値を取得する第２の取得処理と、（Ｃ）カメラの座標系において移動前後の上記２つのマーカの間隔が所定の間隔であり且つ上記２つのマーカの移動距離が等しいという条件に基づき、第１の座標値及び第２の座標値とを用いて、カメラのパラメータを算出する算出処理とを含む。

一側面によれば、車載カメラのキャリブレーションを簡単に行うことができるようになる。

図１は、第１の実施の形態に係る装置構成例を示す図である。 図２Ａは、車両座標系を説明するための図である。 図２Ｂは、車両座標系を説明するための図である。 図３は、カメラ座標系を説明するための図である。 図４Ａは、カメラの設置パラメータを説明するための図である。 図４Ｂは、カメラの設置パラメータを説明するための図である。 図４Ｃは、カメラの設置パラメータを説明するための図である。 図４Ｄは、カメラの設置パラメータを説明するための図である。 図４Ｅは、カメラの設置パラメータを説明するための図である。 図５は、第１のマーカの一例を示す図である。 図６は、第１の実施の形態におけるメインの処理フローを示す図である。 図７は、マーカの配置について説明するための図である。 図８Ａは、マーカの配置方法について説明するための図である。 図８Ｂは、マーカの配置方法について説明するための図である。 図９は、移動前に撮影された画像の一例を示す図である。 図１０は、移動前に撮影された画像から座標位置を取得する場面を説明するための図である。 図１１は、車両とマーカの関係を説明するための図である。 図１２は、移動後に撮影された画像の一例を示す図である。 図１３は、移動後に撮影された画像から座標位置を取得する場面を説明するための図である。 図１４は、車両座標系における位置関係の一例を示す図である。 図１５は、パラメータ算出処理の処理フローを示す図である。 図１６は、カメラ座標系における位置関係を示す図である。 図１７は、カメラ座標系における位置関係を示す図である。 図１８は、仮の車両座標系における位置関係を示す図である。 図１９は、車両座標系における位置関係を示す図である。 図２０は、第３のマーカの一例を示す図である。 図２１は、第２の実施の形態に係る装置構成例を示す図である。 図２２は、第２の実施の形態におけるメインの処理フローを示す図である。 図２３は、車両座標系における位置関係を示す図である。 図２４Ａは、サイドカメラで撮影された移動前の画像の一例を示す図である。 図２４Ｂは、サイドカメラで撮影された移動前の画像から座標位置を取得する場面を説明するための図である。 図２５は、サイドカメラで撮影された移動後の画像の一例を示す図である。 図２６は、サイドカメラで撮影された移動後の画像から座標位置を取得する場面を説明するための図である。 図２７は、カメラ座標系における位置関係を示す図である。 図２８は、第２パラメータ算出処理の処理フローを示す図である。 図２９は、仮の車両座標系における位置関係を示す図である。 図３０は、車両座標系における位置関係を示す図である。 図３１は、コンピュータの機能ブロック図である。

［実施の形態１］
図１に本実施の形態に係る装置構成例を示す。車両１には、カメラ３が搭載されており、このカメラ３には、車載装置５が接続されている。車載装置５は、画像格納部５１と、マーカ座標取得部５２と、表示部５３と、入力部５４と、データ格納部５５と、パラメータ算出部５６とを有する。画像格納部５１は、カメラ３で撮影された画像を一時保管する。マーカ座標取得部５２は、画像格納部５１に格納されている所定タイミングの画像からマーカの座標値を自動的に抽出する処理を実施する場合もある。また、マーカ座標取得部５２は、画像を表示部５３に表示させてタッチパネルなどのポインティングデバイスである入力部５４からマーカの位置の指定を受け付けることで、マーカの座標値を取得する場合もある。マーカ座標取得部５２は、取得した座標値をデータ格納部５５に格納し、パラメータ算出部５６に処理を指示する。データ格納部５５は、さらに、予めカメラ３について画像の座標値毎に視線ベクトルを得るためのデータを格納している。そして、パラメータ算出部５６は、データ格納部５５に格納されているデータを用いて処理を行い、カメラ３の設置パラメータ（例えば車両座標系における位置及び角度）を算出し、データ格納部５５に格納する。

車両１、カメラ３及び車載装置５などを用いた、カメラの設置パラメータのキャリブレーション手順を説明する前に、座標系について説明しておく。車両座標系は車両を基準として周辺物体の位置座標を表現するための座標系であり、車両の移動に伴い移動する。車両座標系の原点や軸はどのように設定してもよいが、ここでは図２Ａに示すように平面図における車両の中心且つ路面上の点を原点Ｏとし、図２Ａ及び図２Ｂに示すように、車両の進行方向をＹ軸、垂直上をＺ軸、右手系を構成する方向にＸ軸をとるものとする。

一方、カメラ座標系はカメラを基準として被写体となる物体等の位置座標や視線ベクトルを表現するための座標系であり、カメラに固定されている。カメラ座標系はどのように設定してもよいが、図３に示すように、一般的にカメラの光学中心に原点Ｏを置き、カメラの水平方向をＸ軸、垂直上をＹ軸と置く。Ｚ軸は右手系を構成した場合は光軸方向の逆方向を＋とする。光軸方向には、物体が撮影される範囲である視体積３１が存在する。

また、本実施の形態でキャリブレーションすべきカメラ３の設置パラメータは、カメラ３の設置位置（Ｔｘ，Ｔｙ，Ｔｚ）及び設置角度（Ｐａｎ，Ｔｉｌｔ，Ｒｏｔａｔｅ）である。その他のレンズディストーション（レンズ歪み）などのパラメータは既知であるものとする。図４Ａに示すように、車両座標系とカメラ座標系とが一致する状態をカメラ配置の初期状態として、図４Ｂに示すように、カメラ３を光軸（Ｚ軸）回りで角度Ｒｏｔａｔｅだけ回転させられているものとする（ＲｏｔＺ（Ｒｏｔａｔｅ））。さらに、図４Ｃに示すように、カメラ３をＸ軸回りで角度（π／２−Ｔｉｌｔ）だけ回転させられているものとする（ＲｏｔＸ（π／２−Ｔｉｌｔ））。例えば、角度Ｔｉｌｔだけ水平から見下ろす状態（俯角がＴｉｌｔ）が、カメラ３をＸ軸回りで角度（π／２−Ｔｉｌｔ）だけ回転させることになる。また、図４Ｄに示すように、カメラ３をＺ軸回りで角度Ｐａｎだけ左又は右に振られているものとする（ＲｏｔＺ（Ｐａｎ））。その後、図４Ｅに示すように、カメラ３を（Ｔｘ，Ｔｙ，Ｔｚ）に平行移動することで（Ｔｒａｎｓｌａｔｅ（Ｔ_x，Ｔ_y，Ｔ_z））、カメラ３が配置されているものとする。

このようなカメラの設置パラメータは車両１にどのようにカメラ３が設置されているかを記述したものであると同時に、カメラ座標系と車両座標系との間の座標変換を定義している。図４Ａ乃至図４Ｅの関係より、カメラ座標系の点Ｃ^CAMは車両座標系の点Ｃ^CARに次式で変換することができる。

なお、本実施の形態では、図５に示すような第１のマーカを使用する。第１のマーカは、２つのマーカ７１及び７２と、当該２つのマーカ７１及び７２の中心を結ぶ紐７３とを含む。紐７３は、２つのマーカ７１及び７２の中心の間隔Ｗ（例えば３ｍ）を確保するために、マーカ７１及び７２の中心を結ぶようになっている。マーカ７１及び７２は、図５に示すように、円形で中心角９０°毎に黒と白を塗り分けている。これは、画像処理によってマーカの中心を抽出し易くするためで、図示した模様以外の模様のマーカであっても良い。また、本実施の形態では、第２のマーカとしてマーカ７１及び７２と同様の１のマーカ７４を用いる。

次に、本実施の形態に係るカメラ３の設置パラメータのキャリブレーション手順について、図６乃至図１９を用いて説明する。

まず、作業者は、カメラ３が搭載されている車両１及び第１のマーカ及び第２のマーカを配置する作業を行う（図６：Ｓ１）。人間の作業であれば、図６の処理フローでは点線で示されている。本実施の形態では、図７に示すように、第１のマーカについては、カメラ３から撮影できる位置であってＸ軸に平行になるように配置することが好ましい。但し、平行でなくても問題ない。すなわち、移動前の位置と移動後の位置とで形成される平行四辺形があまりに細長くなることを避けることができればよい。但し、マーカ７１及び７２の間隔Ｗは正確に確保する。さらに、第２のマーカ７４については、Ｙ軸上の車両後端の直下の路面に厳密に配置する。

例えば図８Ａ及び図８Ｂに示すように、後部ナンバープレートが車両左右中央８１にある車種の場合、ナンバープレートの中央から、糸のついたおもり９１をつり下げ、おもり９１が位置する直下の路面に第２のマーカ７４を配置する。これによって第２のマーカ７４は、車両後端点８２の直下に配置されるため、精度の良い配置が実現される。この第２のマーカ７４の位置は、車両１の長さ及び幅から車両座標系において（Ｂｘ，Ｂｙ，０）であることが分かる。

なお、ナンバープレートが中央にない場合でも、車種により予めオフセット量は分かっているため、それに合わせた基準点を用いることで同様に精度の良い第２のマーカの配置が実現できる。なお車両の移動前であれば、カメラ３によって第２のマーカが撮影されなくても良い。

そして、カメラ３は、このような車両１の第１の位置において第１の画像を撮影して、画像格納部５１に格納する（ステップＳ３）。例えば、作業者からの指示に応じて画像を画像格納部５１に格納する。

そして、マーカ座標取得部５２は、画像格納部５１から第１の画像を読み出し、表示部５３に表示させ、第１のマーカに含まれるマーカ７１及び７２の中心の座標値を取得し、データ格納部５５に格納する（ステップＳ５）。このステップでは、上でも述べたように、画像処理を行って、第１の画像の中で第１のマーカに含まれるマーカ７１及び７２を抽出して当該マーカ７１及び７２の中心座標値を抽出する場合もある。また、表示部５３に表示された画像の中で、作業者が入力部５４によってマーカ７１及び７２の中心を指定することで、マーカ７１及び７２の中心座標値を取得する場合もある。

一例として、例えば図９に示すような第１の画像が得られたものとする。マーカ７１及び７２は全体が第１の画像に含まれているが、マーカ７４は一部しか第１の画像に含まれない。この状態では、マーカ７４の中心の座標値については得られない。例えば、図１０に示すように、入力部５４により、作業者が例えば十字マークを移動させてマーカ７１の中心７１ａに十字マークの中心を一致させ、確定を指示すると、画像の中心を原点Ｏとする二次元画像座標系における座標値Ｐ₁が得られる。作業者ではなく、マーカ座標取得部５２が自動的に抽出するようにしても良い。同様に、入力部５４により、作業者が例えば十字マークを移動させてマーカ７２の中心７２ａに十字マークの中心を一致させ、確定を指示すると、画像の中心を原点Ｏとする二次元画像座標系における座標値Ｐ₀が得られる。作業者ではなく、マーカ座標取得部５２が自動的に抽出するようにしても良い。なお、本実施の形態では、第１の画像の水平方向右がＸ軸の正方向、垂直方向上がＹ軸の正方向を表している。

次に、作業者は、車両１を前方に移動させる（ステップＳ７）。例えば、数ｍ移動させるが、この移動距離は厳密でなくても良い。また、移動方向は、車両座標系におけるＹ軸方向である。但し、通常の直進の範疇で運転すればよい。

そうすると、図１１に示すように、車両１を中心に考えれば、マーカ７１及び７２並びに７４が後方に相対的に移動したようになる。すなわち、カメラ３から見れば、マーカ７１はマーカ１７１の位置に移動し、マーカ７２はマーカ１７２の位置に移動し、マーカ７４はマーカ１７４の位置に移動する。

そして、カメラ３は、このような車両１の第２の位置において第２の画像を撮影して、画像格納部５１に格納する（ステップＳ９）。例えば、作業者からの指示に応じて画像を画像格納部５１に格納する。

そして、マーカ座標取得部５２は、画像格納部５１から第２の画像を読み出し、表示部５３に表示させ、第１のマーカに含まれるマーカ７１及び７２の中心の座標値と第２のマーカ７４の中心の座標値とを取得し、データ格納部５５に格納する（ステップＳ１１）。このステップでは、上でも述べたように、画像処理を行って、第２の画像の中で第１のマーカに含まれるマーカ７１及び７２を抽出して当該マーカ７１及び７２の中心座標値を抽出し、第２の画像の中で第２のマーカ７４を抽出して当該マーカ７４の中心座標値を抽出する場合もある。また、表示部５３に表示された画像の中で、作業者が入力部５４によってマーカ７１及び７２の中心及びマーカ７４の中心を指定することで、マーカ７１及び７２の中心座標値及びマーカ７４の中心座標値を取得する場合もある。

そうすると、例えば図１２に示すような第２の画像が得られたものとする。移動後なので、マーカ７１及び７２もマーカ７４も第２の画像に含まれている。例えば、図１３に示すように、入力部５４により、作業者が例えば十字マークを移動させてマーカ７１の中心７１ａに十字マークの中心を一致させ、確定を指示すると、画像の中心を原点Ｏとする二次元画像座標系における座標値Ｐ₃が得られる。作業者ではなく、マーカ座標取得部５２が自動的に抽出するようにしても良い。同様に、入力部５４により、作業者が例えば十字マークを移動させてマーカ７２の中心７２ａに十字マークの中心を一致させ、確定を指示すると、画像の中心を原点Ｏとする二次元画像座標系における座標値Ｐ₂が得られる。作業者ではなく、マーカ座標取得部５２が自動的に抽出するようにしても良い。さらに、入力部５４により、作業者が例えば十字マークを移動させてマーカ７４の中心７４ａに十字マークの中心を一致させ、確定を指示すると、画像の中心を原点Ｏとする二次元画像座標系における座標値Ｐ₄が得られる。作業者ではなく、マーカ座標取得部５２が自動的に抽出するようにしても良い。なお、本実施の形態では、第２の画像の水平方向右がＸ軸の正方向、垂直方向上がＹ軸の正方向を表している。

このときのカメラ座標系の位置Ｐ₀乃至Ｐ₄に相当する、車両座標系におけるマーカ位置ｐ₀乃至ｐ₄の関係を図１４に示す。ｐ₀−ｐ₁−ｐ₃−ｐ₂は平行四辺形であり、ｐ₀−ｐ₁間距離＝ｐ₂−ｐ₃間距離＝Ｗ（例えば３ｍ）となる。なおｐ₀−ｐ₂間距離＝ｐ₁−ｐ₃間距離＝Ｓ（移動距離）であるが、移動距離Ｓは未計測であり不明となる。また、ｐ₄の移動元の位置は測定されていない。但し、車両１を直線的に移動させているので、ｐ₄の移動元の位置を算出することは可能である。

そうすると、マーカ座標取得部５２は、パラメータ算出部５６に処理を指示し、パラメータ算出部５６は、パラメータ算出処理を実施する（ステップＳ１３）。パラメータ算出処理については、図１５乃至図１９を用いて説明する。

パラメータ算出部５６は、ステップＳ５及びＳ１１で得られた、マーカの座標値に対応する視線ベクトルを取得する（図１５：ステップＳ２１）。例えばデータ格納部５５に、画像における各画素の座標値から視線ベクトルを得るためのデータが格納されており、当該データからｐ₀乃至ｐ₄の各々に対する視線ベクトルｖ₀乃至ｖ₄を取得する。画像におけるマーカの座標値と視線ベクトルとの関係はカメラに固有であり、カメラ３のレンズ歪みなどが考慮されている。

図１６に示すように、カメラ座標系の原点から視線ベクトルｖ₀乃至ｖ₄方向に伸びる直線が路面Ｒと交わる点を、以下カメラ座標系であることを明示するためｐ₀ ^CAM乃至ｐ₄ ^CAMと表す。そして、ｐ_n ^CAMは以下のように表される。ｎは０乃至４の整数である。

ここでｋ_nはカメラ座標系原点からマーカ位置までの距離に相当する。また、路面Ｒは、カメラ座標系の原点までの距離Ｈと面法線Ｎ_vを用いて以下のように表される。

そして（２）式及び（３）式の関係によりｐ_n ^CAMは以下のように表される。

ここでＮ_vは単位ベクトルなので、例えば２つの角度α及びβから、以下のように表現できる。

このように、（４）式及び（５）式によりマーカ位置ｐ₀ ^CAM乃至ｐ₄ ^CAMは路面Ｒを定義する未知の３パラメータ（Ｈ，α，β）により一意に算出できる。

一方、図１４及び図１６に示したように、ｐ₀ ^CAM−ｐ₂ ^CAM−ｐ₃ ^CAM−ｐ₁ ^CAMは平行四辺形なので、以下の２条件を満たすならば、マーカ位置ｐ₀ ^CAM乃至ｐ₄ ^CAMは正しい位置関係にあると判断できる。
ｐ₀ ^CAM−ｐ₁ ^CAM間距離＝ｐ₂ ^CAM−ｐ₃ ^CAM間距離＝Ｗ
ｐ₀ ^CAM−ｐ₂ ^CAM間距離＝ｐ₁ ^CAM−ｐ₃ ^CAM間距離

第１の条件は以下のような式で表される。

また、第２の条件は以下のような式で表される。

そして、パラメータ算出部５６は、第１及び第２の条件を表す評価式を０又は極小化するＨ、α及びβを算出し、例えばデータ格納部５５に格納する（ステップＳ２３）。

評価式は（６）式及び（７）式をまとめた以下のような式である。

ステップＳ２３では、カメラ設置高Ｈと角度α及びβとを、妥当な範囲（例えば設計値＋／−３００ｍｍ。＋／−９０°）且つ妥当な刻み（例えば１ｍｍ。０．１°）で変化させて、全ての組み合わせにおいて（８）式の値が最小となる組み合わせを全探索することで、最適なＨ、α及びβを検出する。なお、最適なＨは、カメラの設置パラメータＴ_zそのものである。

また、パラメータ算出部５６は、以下の計算のため、（５）式でＮ_vを算出する（ステップＳ２５）。Ｎ_vが得られれば、（４）式からｐ_n ^CAMが得られる。

そして、パラメータ算出部５６は、カメラ３の設置パラメータＲｏｔａｔｅ及びＴｉｌｔを算出し、データ格納部５５に格納する（ステップＳ２７）。

図１７に示すように、カメラ座標系原点をＯ^CAM、カメラ座標系原点から路面Ｒに下した垂線の交点座標をＵ、カメラ光軸と路面Ｒとの交点をＱとすると、角Ｒｏｔａｔｅは、直角三角形Ｏ^CAM−Ｕ−Ｑの面法線Ｕｎｉｔ（Ｎ_v×Ｚ^CAM）（Ｕｎｉｔ（）は（）内を単位ベクトルにする関数。）とカメラ座標系のＸ軸であるＸ^CAMが成す角度となり以下の式で算出される。

また、角Ｔｉｌｔは、以下の式で算出される。

ここでｃｒ＝ｃｏｓ（Ｒｏｔａｔｅ）であり、ｓｒ＝ｓｉｎ（Ｒｏｔａｔｅ）である。

また、パラメータ算出部５６は、以下の計算のためｐ₀ ^CAM乃至ｐ₄ ^CAMを算出し、データ格納部５５に格納する（ステップＳ２９）。（４）式を用いれば、路面ＲのＨ及びＮ_v及び視線ベクトルｖ_nにより各ｐ_n ^CAMを算出できる。

さらに、パラメータ算出部５６は、Ｔ_x＝０、Ｔ_y＝０及びＰａｎ＝０として（１）式から、仮の車両座標系におけるｐ₀ ^CAR*乃至ｐ₄ ^CAR*を算出し、さらに車両移動前の第２のマーカ７４の位置であるｐ₅ ^CAR*と車両１の移動方向ｖ_F ^CAR*を算出し、データ格納部５５に格納する（ステップＳ３１）。

図１８に示すように、仮の車両座標系において、ｐ₀ ^CAR*の移動先がｐ₂ ^CAR*であり、ｐ₄ ^CAR*の移動元がｐ₅ ^CAR*となるので、ｐ₅ ^CAR*は以下のように算出される。

また、仮の車両座標系におけるマーカ７１及び７２の移動方向は車両１の移動方向と一致するので、仮の車両座標系における車両１の移動方向ｖ_F ^CAR*は以下のように算出される。

そうすると、パラメータ算出部５６は、角度Ｐａｎを移動方向ｖ_F ^CAR*及び車両座標系のＹ軸方向（０，１，０）から算出し、データ格納部５５に格納する（ステップＳ３３）。図１９に示すように、ｖ_F ^CAR*は車両座標系における車両１の移動方向、すなわちＹ軸方向と一致するので、ｖ_F ^CAR*をＹ軸方向のベクトルＹ^CAR＝（０，１，０）に回転移動で一致させるための角度がＰａｎである。よって、角度Ｐａｎは以下の式で算出される。

そして、パラメータ算出部５６は、角度Ｐａｎとｐ₅ ^CAR*と車両移動前の第２のマーカの位置（Ｂ_x，Ｂ_y，０）から、カメラの設置パラメータＴ_x及びＴ_yを算出し、データ格納部５５に格納する（ステップＳ３５）。図１９に示したように、ｐ₅ ^CAR*は、角度Ｐａｎの回転を行ってＴ_x及びＴ_yで平行移動すると、車両移動前の第２のマーカの設置位置（Ｂ_x，Ｂ_y，０）と一致するので、以下のように表される。

ここでｃｐ＝ｃｏｓ（Ｐａｎ）であり、ｓｐ＝ｓｉｎ（Ｐａｎ）である。

このような処理を実施することによって、第１のマーカの配置及び車両１の移動距離については厳密性が問われず、第２のマーカについても比較的容易に配置できるため、全体的に簡易に車載カメラのキャリブレーションが可能になる。従って、作業効率が向上して、単位時間に多くの車両について車載カメラのキャリブレーションを行うことができる。

なお、バックカメラを一例に説明したが、バックカメラに限定されず、フロントカメラでも、車両をＹ軸に沿って後退させれば同様に処理できる。

さらに、車載装置５を用いる例を示したが、必ずしも車載の装置でなく、カメラ３から画像を得ることができ、さらに算出されたカメラの設置パラメータを、当該設置パラメータを用いる装置に入力できる他の情報処理装置であってもよい。

［実施の形態２］
本実施の形態では、バックカメラに加えてサイドカメラを搭載する場合を取り扱う。このため、第１及び第２のマーカに加えて、サイドカメラ用の第３のマーカを導入する。第３のマーカは、第１のマーカと同様に、図２０に示すように、２つのマーカ７５及び７６と、当該２つのマーカ７５及び７６の中心を結ぶ紐７７とを含む。紐７７は、２つのマーカ７５及び７６の中心の間隔Ｗ２（例えば０．８ｍ）を確保するために、マーカ７５及び７６を結ぶようになっている。マーカ７５及び７６は、マーカ７１及び７２と同様に、円形で中心角９０°毎に黒と白を塗り分けている。これは、画像処理によってマーカの中心を抽出し易くするためで、図示した模様以外の模様のマーカであっても良い。紐７７が短いのは、サイドカメラの撮影範囲や設置面積の問題からで、長さは任意である。

本実施の形態では、カメラを２台用いることになる。図２１に示すように、図１に示した車載装置５の構成自体は同様であるが、バックカメラであるカメラ３ａに加えてサイドカメラ３ｂが車載装置５に接続されており、カメラ３ａ及び３ｂで撮影された画像は画像格納部５１に格納される。マーカ座標取得部５２及びパラメータ算出部５６の処理内容は、以下のように変更される。

次に、図２２乃至図３０を用いて本実施の形態に係るカメラの設置パラメータのキャリブレーション手順について説明する。

まず、作業者は、カメラ３ａ及び３ｂが搭載されている車両１及び第１のマーカ、第２のマーカ及び第３のマーカを配置する作業を行う（図２２：Ｓ４１）。本実施の形態でも、人間の作業であれば、処理フローでは点線で示されている。第１のマーカ及び第２のマーカについては、第１の実施の形態と同様に配置する。また、第３のマーカについても、図２３に示すように、カメラ３ｂから撮影できる位置であってＸ軸に平行になるように配置することが好ましい。但し、平行でなくても問題ない。また、マーカ７５及び７６の間隔Ｗ２は正確に確保する。

そして、バックカメラであるカメラ３ａは、このような車両１の第１の位置において、第１の画像を撮影して、画像格納部５１に格納し、サイドカメラであるカメラ３ｂは、第２の画像を撮影して、画像格納部５１に格納する（ステップＳ４３）。例えば、作業者からの指示に応じて画像を撮影して画像格納部５１に格納する。

そして、マーカ座標取得部５２は、画像格納部５１から第１の画像を読み出し、表示部５３に表示させ、第１のマーカに含まれるマーカ７１及び７２の中心の座標値を取得し、データ格納部５５に格納する。また、マーカ座標取得部５２は、画像格納部５１から第２の画像を読み出し、表示部５３に表示させ、第３のマーカに含まれるマーカ７６及び７７の中心座標値と第１のマーカのマーカ７１の中心座標値を取得し、データ格納部５５に格納する（ステップＳ４５）。このステップでは、上でも述べたように、画像処理を行って、第１の画像の中で第１のマーカに含まれるマーカ７１及び７２を抽出して当該マーカ７１及び７２の中心座標値を抽出する場合もある。また、表示部５３に表示された第１の画像の中で、作業者が入力部５４によってマーカ７１及び７２の中心を指定することで、マーカ７１及び７２の中心座標値を取得する場合もある。第１の画像については、図９及び図１０を用いて説明したように処理される。

第２の画像についても同様に、画像処理を行って、第２の画像の中で第３のマーカに含まれるマーカ７５及び７６並びに第１のマーカに含まれるマーカ７１を抽出して当該マーカ７５及び７６の中心座標値及びマーカ７１の中心座標値を抽出する場合もある。また、表示部５３に表示された第２の画像の中で、作業者が入力部５４によってマーカ７５及び７６の中心及びマーカ７１の中心を指定することで、マーカ７５及び７６の中心座標値及びマーカ７１の中心座標値を取得する場合もある。

また、例えば図２３に示すような第２の画像が得られたものとする。マーカ７５及び７６に加えて、第１のマーカのマーカ７１も第２の画像に含まれている。例えば、図２４Ａ及び図２４Ｂに示すように、入力部５４により、作業者が例えば十字マークを移動させてマーカ７５の中心７５ａに十字マークの中心を一致させ、確定を指示すると、画像の中心を原点Ｏとする二次元画像座標系における座標値Ｐ₇が得られる。作業者ではなく、マーカ座標取得部５２が自動的に抽出するようにしても良い。同様に、入力部５４により、作業者が例えば十字マークを移動させてマーカ７６の中心７６ａに十字マークの中心を一致させ、確定を指示すると、画像の中心を原点Ｏとする二次元画像座標系における座標値Ｐ₆が得られる。作業者ではなく、マーカ座標取得部５２が自動的に抽出するようにしても良い。さらに、本実施の形態では、入力部５４により、作業者が例えば十字マークを移動させてマーカ７１の中心に十字マークの中心を一致させ、確定を指示すると、画像の中心を原点Ｏとする二次元画像座標系における座標値Ｐ₁₀が得られる。作業者ではなく、マーカ座標取得部５２が自動的に抽出するようにしても良い。なお、本実施の形態では、第２の画像の水平方向右がＸ軸の正方向、垂直方向上がＹ軸の正方向を表している。

次に、作業者は、車両１を前方に移動させる（ステップＳ４７）。例えば、数ｍ移動させるが、この移動距離は厳密でなくても良い。また、移動方向は、車両座標系におけるＹ軸方向である。但し、通常の直進の範疇で運転すればよい。

そうすると、図２３に示すように、車両１を中心に考えれば、マーカ７１及び７２並びに７４が後方に相対的に移動したようになる。すなわち、カメラ３ａから見れば、マーカ７１はマーカ１７１の位置に移動し、マーカ７２はマーカ１７２の位置に移動し、マーカ７４はマーカ１７４の位置に移動する。同様に、マーカ７５及び７６が後方に相対的に移動したようになる。すなわち、カメラ３ｂから見れば、マーカ７５はマーカ１７５の位置に移動し、マーカ７６はマーカ１７６の位置に移動する。

そして、バックカメラであるカメラ３ａは、このような車両１の第２の位置において、第１の画像を撮影して、画像格納部５１に格納し、サイドカメラであるカメラ３ｂは、第２の画像を撮影して、画像格納部５１に格納する（ステップＳ４９）。例えば、作業者からの指示に応じて画像を撮影して画像格納部５１に格納する。

そして、マーカ座標取得部５２は、画像格納部５１から第１の画像を読み出し、表示部５３に表示させ、第１のマーカに含まれるマーカ７１及び７２の中心の座標値と第２のマーカ７４の中心の座標値とを取得し、データ格納部５５に格納する。また、マーカ座標取得部５２は、画像格納部５１から第２の画像を読み出し、表示部５３に表示させ、第３のマーカに含まれるマーカ７６及び７７の中心座標値を取得し、データ格納部５５に格納する（ステップＳ５１）。このステップでは、上でも述べたように、画像処理を行って、第１の画像の中で第１のマーカに含まれるマーカ７１及び７２を抽出して当該マーカ７１及び７２の中心座標値を抽出し、第１の画像の中で第２のマーカ７４を抽出して当該マーカ７４の中心座標値を抽出する場合もある。また、表示部５３に表示された画像の中で、作業者が入力部５４によってマーカ７１及び７２の中心及びマーカ７４の中心を指定することで、マーカ７１及び７２の中心座標値及びマーカ７４の中心座標値を取得する場合もある。第１の画像については、図１２及び図１３を用いて説明したように処理される。

さらに、第２の画像についても、画像処理を行って、第２の画像の中で第３のマーカに含まれるマーカ７５及び７６を抽出して当該マーカ７５及び７６の中心座標値を抽出する場合もある。また、表示部５３に表示された第２の画像の中で、作業者が入力部５４によってマーカ７５及び７６の中心を指定することで、マーカ７５及び７６の中心座標値を取得する場合もある。

そうすると、例えば図２５に示すような第２の画像が得られたものとする。この例では、マーカ７５及び７６に加えてマーカ７１も第２の画像に含まれている。しかし、マーカ７１については、かなり離れているので中心座標値を特定できるほどの大きさはない。このためマーカ７１については処理しない。例えば、図２６に示すように、入力部５４により、作業者が例えば十字マークを移動させてマーカ７５の中心７５ａに十字マークの中心を一致させ、確定を指示すると、画像の中心を原点Ｏとする二次元画像座標系における座標値Ｐ₉が得られる。作業者ではなく、マーカ座標取得部５２が自動的に抽出するようにしても良い。同様に、入力部５４により、作業者が例えば十字マークを移動させてマーカ７６の中心７６ａに十字マークの中心を一致させ、確定を指示すると、画像の中心を原点Ｏとする二次元画像座標系における座標値Ｐ₈が得られる。作業者ではなく、マーカ座標取得部５２が自動的に抽出するようにしても良い。なお、本実施の形態では、第２の画像の水平方向右がＸ軸の正方向、垂直方向上がＹ軸の正方向を表している。

このときのカメラ座標系の位置Ｐ₆乃至Ｐ₁₀に相当する、車両座標系におけるマーカ位置ｐ₆乃至ｐ₁₀の関係を図２７に示す。ｐ₆−ｐ₈−ｐ₉−ｐ₇は平行四辺形であり、ｐ₆−ｐ₇間距離＝ｐ₈−ｐ₉間距離＝Ｗ２（例えば０．８ｍ）となる。なおｐ₆−ｐ₈間距離＝ｐ₇−ｐ₉間距離＝Ｓ（移動距離）であるが、移動距離Ｓは未計測であり不明となる。また、ｐ₁₀の移動先の位置は測定されていない。但し、ｐ₁₀＝ｐ₁である。

その後、パラメータ算出部５６は、マーカ座標取得部５２からの指示に応じて、バックカメラ（カメラ３ａ）についてのパラメータ算出処理を実施する（ステップＳ５３）。第１の実施の形態におけるパラメータ算出処理と同様の処理を行えばよいので、このステップの処理についての説明は省略する。

そして、パラメータ算出部５６は、サイドカメラ（カメラ３ｂ）についての第２パラメータ算出処理を実施する（ステップＳ５５）。第２パラメータ算出処理については、図２８乃至図３０を用いて説明する。

パラメータ算出部５６は、ステップＳ４５及びＳ５１で得られた、マーカの座標値に対応する視線ベクトルを取得する（図２８：ステップＳ６１）。本ステップはステップＳ２１と同様であるから説明を省略する。

また、カメラ座標系の原点から視線ベクトルｖ₆乃至ｖ₁₀方向に伸びる直線が路面Ｒと交わる点を、以下カメラ座標系であることを明示するためｐ₆ ^CAM乃至ｐ₁₀ ^CAMと表す。そして、ｐ_n ^CAMは（４）式で表される。

また、路面Ｒは、カメラ座標系の原点までの距離Ｈ及び面法線Ｎ_vの代わりに距離Ｈ2及び面法線Ｎ_v2を用いて（３）式のように表される。

さらに、Ｎ_v2は単位ベクトルなので、角度α及びβの代わりに２つの角度α2及びβ2から、（５）式のように表される。

第１の実施の形態と同様に、（４）式及び（５）式によりマーカ位置ｐ₆ ^CAM乃至ｐ₁₀ ^CAMは路面Ｒを定義する未知の３パラメータ（Ｈ2，α2，β2）により一意に算出できる。

一方、図２７に示したように、ｐ₆ ^CAM−ｐ₈ ^CAM−ｐ₉ ^CAM−ｐ₇ ^CAMは平行四辺形なので、以下の２条件を満たすならば、マーカ位置ｐ₆ ^CAM乃至ｐ₁₀ ^CAMは正しい位置関係にあると判断できる。
ｐ₆ ^CAM−ｐ₇ ^CAM間距離＝ｐ₈ ^CAM−ｐ₉ ^CAM間距離＝Ｗ２
ｐ₆ ^CAM−ｐ₈ ^CAM間距離＝ｐ₇ ^CAM−ｐ₉ ^CAM間距離

第１の条件は以下のような式で表される。

また、第２の条件は以下のような式で表される。

そして、パラメータ算出部５６は、第１及び第２の条件を表す評価式を０又は極小化するＨ2、α2及びβ2を算出し、例えばデータ格納部５５に格納する（ステップＳ６３）。

評価式は（１５）式及び（１６）式をまとめた以下のような式である。

ステップＳ６３では、カメラ設置高Ｈ2と角度α2及びβ2とを、妥当な範囲（例えば設計値＋／−３００ｍｍ。＋／−９０°）且つ妥当な刻み（例えば１ｍｍ。０．１°）で変化させて、全ての組み合わせにおいて（１７）式の値が最小となる組み合わせを全探索することで、最適なＨ2、α2及びβ2を検出する。なお、最適なＨ2は、カメラの設置パラメータＴ_z2そのものである。

また、パラメータ算出部５６は、以下の計算のため、（５）式でＮ_v2を算出する（ステップＳ６５）。Ｎ_v2が得られれば、（４）式からｐ_n ^CAMが得られる。

そして、パラメータ算出部５６は、カメラの設置パラメータＲｏｔａｔｅ2及びＴｉｌｔ2を算出し、データ格納部５５に格納する（ステップＳ６７）。なお、図１７に示したように、角Ｒｏｔａｔｅ2は、Ｎ_vの代わりにＮ_v2を用いて（９）式で算出される。同様に、角Ｔｉｌｔ2は、Ｎ_vの代わりにＮ_v2を用いて（１０）式で算出される。なお、ｃｒ＝ｃｏｓ（Ｒｏｔａｔｅ2）であり、ｓｒ＝ｓｉｎ（Ｒｏｔａｔｅ2）である。

また、パラメータ算出部５６は、以下の計算のためｐ₆ ^CAM乃至ｐ₁₀ ^CAMを算出し、データ格納部５５に格納する（ステップＳ６９）。（４）式を用いれば、路面ＲのＨ2及びＮ_v2及び視線ベクトルｖ_nにより各ｐ_n ^CAMを算出できる。

さらに、パラメータ算出部５６は、Ｔ_x2＝０、Ｔ_y2＝０及びＰａｎ2＝０として（１）式から、仮の車両座標系におけるｐ₆ ^CAR*乃至ｐ₁₀ ^CAR*を算出し、さらに車両１の移動方向ｖ_F2 ^CAR*を算出し、データ格納部５５に格納する（ステップＳ７１）。

サイドカメラであるカメラ３ｂの場合には、図２９に示すように、仮の車両座標系において、ｐ₇ ^CAR*の移動先がｐ₉ ^CAR*であり、ｐ₆ ^CAR*の移動先がｐ₈ ^CAR*である。ｐ₁₀ ^CAR*は、ｐ₁ ^CARに対応するので後で用いられる。

なお、仮の車両座標系におけるマーカ７５及び７６の移動方向は車両１の移動方向と一致するので、仮の車両座標系における車両１の移動方向ｖ_F2 ^CAR*は以下のように算出される。但し、ｖ_F ^CAR*をそのまま使用する場合もある。

そうすると、パラメータ算出部５６は、角度Ｐａｎ2を移動方向ｖ_F2 ^CAR*及び車両座標系のＹ軸方向（０，１，０）から算出し、データ格納部５５に格納する（ステップＳ７３）。図３０に示すように、ｖ_F2 ^CAR*は車両座標系における車両１の移動方向、すなわちＹ軸方向と一致する。従って、ｖ_F2 ^CAR*をＹ軸方向のベクトルＹ^CAR＝（０，１，０）に回転移動で一致させるための角度がＰａｎ2であるため、角度Ｐａｎ2は、ｖ_F ^CAR*の代わりにｖ_F2 ^CAR*を用いて（１３）式で算出される。

また、パラメータ算出部５６は、ｐ₁ ^CAMと（１）式から、ｐ₁ ^CARを算出し、データ格納部５５に格納する（ステップＳ７４）。

そして、パラメータ算出部５６は、角度Ｐａｎ2とｐ₁₀ ^CAR*とｐ₁ ^CARの位置から、カメラ３ｂの設置パラメータＴ_x2及びＴ_y2を算出し、データ格納部５５に格納する（ステップＳ７５）。図３０に示したように、ｐ₁₀ ^CAR*は、角度Ｐａｎ2の回転を行ってＴ_x2及びＴ_y2で平行移動すると、ｐ₁ ^CARと一致するので、以下のように表される。

ここでｃｐ＝ｃｏｓ（Ｐａｎ2）であり、ｓｐ＝ｓｉｎ（Ｐａｎ2）である。

このような処理を実施することによって、第１及び第３のマーカの配置及び車両１の移動距離については厳密性が問われず、第２のマーカについても比較的容易に配置できるため、全体的に簡易に車載カメラのキャリブレーションが可能になる。従って、作業効率が向上して、単位時間に多くの車両について車載カメラのキャリブレーションを行うことができる。

第１の実施の形態と同様、バックカメラを一例に説明したが、バックカメラに限定されず、フロントカメラでも、車両をＹ軸に沿って後退させれば同様に処理できる。

さらに、車載装置５を用いる例を示したが、必ずしも車載の装置でなく、カメラ３から画像を得ることができ、さらに算出されたカメラの設置パラメータを、当該パラメータを用いる装置に入力できる他の装置であってもよい。

以上本技術の実施の形態を説明したが、本技術はこれに限定されるものではない。例えば、図１及び図２１の機能ブロック図は一例であって、必ずしも実際のプログラムモジュール構成とは一致しない。また、フローチャートについても、処理結果が変わらない限り、ステップの順番を入れ替えたり、並列実行するようにしても良い。

なお、本実施の形態の車載装置５は、コンピュータ装置であって、図３１に示すように、ＲＡＭ（Random Access Memory）２５０１とプロセッサ２５０３とＲＯＭ（Read Only Memory）２５０７と１又は複数のカメラ２５１５と表示部２５０５と入力部２５０６とに接続されている表示制御部２５０４とがバス２５１９で接続されている。本実施の形態における処理を実施するための制御プログラム（及び存在している場合にはオペレーティング・システム（ＯＳ：Operating System））は、ＲＯＭ２５０７に格納されており、プロセッサ２５０３により実行される際にはＲＯＭ２５０７からＲＡＭ２５０１に読み出される。また、プロセッサ２５０３は、場合によっては、表示制御部２５０７を制御して、表示部２５０５にカメラ２５１５が撮影した画像などを表示させる動作を行わせる。また、入力部２５０６からの入力に応じて、プロセッサ２５０３は処理を行う。さらに、処理途中のデータについては、ＲＡＭ２５０１に格納される。なお、プロセッサ２５０３は、ＲＯＭ２５０７を含む場合もある、さらに、ＲＡＭ２５０１を含む場合もある。本技術の実施の形態では、上で述べた処理を実施するための制御プログラムは、コンピュータ読み取り可能なリムーバブル・ディスクに格納されて頒布され、ＲＯＭライタによってＲＯＭ２５０７に書き込まれる場合もある。このようなコンピュータ装置は、上で述べたプロセッサ２５０３、ＲＡＭ２５０１、ＲＯＭ２５０７などのハードウエアと制御プログラム（場合によってはＯＳも）とが有機的に協働することにより、上で述べたような各種機能を実現する。

以上述べた本実施の形態をまとめると以下のようになる。

本実施の形態に係るパラメータ算出方法は、（Ａ）車両の周辺に配置され且つ所定の間隔を有する２つのマーカを前記車両に搭載されたカメラにて撮影し、撮影された第１の画像における上記２つのマーカの第１の座標値を取得する第１の取得処理と、（Ｂ）車両を直線上で移動させた後、上記２つのマーカを前記カメラにて撮影し、撮影された第２の画像における上記２つのマーカの第２の座標値を取得する第２の取得処理と、（Ｃ）カメラの座標系において移動前後の上記２つのマーカの間隔が所定の間隔であり且つ上記２つのマーカの移動距離が等しいという条件に基づき、第１の座標値及び第２の座標値とを用いて、カメラのパラメータを算出する算出処理とを含む。

上で述べたような条件を基にカメラのパラメータを算出することができるので、上記２つのマーカの厳密な位置測定が不要となり、作業効率が向上する。すなわち、上記２つのマーカの配置については、主に所定の間隔が確保されており且つカメラから撮影可能な位置に配置されるという条件を満たせばよいので、容易に作業を行うことができる。移動距離についても厳密に決められた距離移動させるということではなく、直線上で移動させることができればよいので、この点についても容易に作業を行うことができる。

また、上で述べた算出処理が、上記条件と、カメラによって撮影された画像における座標値から得られる視線ベクトルとカメラの座標系において移動前後の上記２つのマーカが配置される平面とカメラの座標系における位置との関係と、第１の座標値及び第２の座標値とから、当該平面のパラメータを特定する特定処理を含むようにしても良い。このようにすれば、カメラの設置高が得られるようになる。なお、視線ベクトルは、カメラ固有のデータであり、様々な態様にて画像の座標値との対応付けから得られる。

さらに、上で述べた算出処理が、平面のパラメータとカメラの座標系の各軸方向とから、カメラの傾き角度（例えば俯角）及びカメラの光軸回りの回転角度を算出する角度算出処理をさらに含むようにしても良い。

また、上で述べた算出処理が、車両の座標系における原点で平面のパラメータに含まれる高さにカメラが設置されており、カメラの傾き角度及びカメラの光軸回りの回転角度が角度算出処理で算出された角度であり且つカメラのパン角度（例えば左右の振り角）が０である状態において、上記２つのマーカのいずれかのマーカの移動前後の位置を算出する処理と、上記２つのマーカのいずれかのマーカの移動前後の位置から得られる移動方向が、車両の座標系における所定の軸（例えば進行方向の平行な軸）に一致するように、カメラのパン角度を算出する処理とをさらに含むようにしても良い。

また、上で述べた第２の取得処理において、第２の画像において、車両の座標系において既知の位置に配置された第２のマーカの第３の座標値を取得するようにしても良い。この場合、上で述べた算出処理が、第３の座標値から得られる、上記状態における第２のマーカの位置と、上記２つのマーカのいずれかのマーカの移動方向及び移動量とから、上記状態における第２のマーカの移動前の位置を算出する処理と、車両の座標系において既知の位置と第２のマーカの移動前の位置とが一致するように、カメラのパン角度を用いてカメラの位置を算出する処理とをさらに含むようにしても良い。第２のマーカについては、正確な位置決めが必要であるが、１つのマーカだけであれば比較的容易に配置することができる。

なお、上で述べた特定処理が、上記条件を表す評価式に基づき上記条件を満たす平面のパラメータを探索する処理を含むようにしても良い。総当たりで探索しても良いし、様々な最適化手法を用いて探索するようにしても良い。

さらに、上で述べたパラメータ算出方法は、（Ｄ）車両の周辺に配置され且つ所定の第２の間隔を有する２つの第３のマーカを車両に搭載された第２のカメラにて撮影し、撮影された第３の画像における上記２つの第３のマーカの第３の座標値と上記２つのマーカのうち特定のマーカの第４の座標値とを取得する第３の取得処理と、（Ｅ）車両を直線上で移動させた後、上記２つの第３のマーカを第２のカメラにて撮影し、撮影された第４の画像における上記２つの第３のマーカの第５の座標値を取得する第４の取得処理と、（Ｆ）第２のカメラの座標系において移動前後の上記２つの第３のマーカの間隔が所定の第２の間隔であり且つ上記２つの第３のマーカの移動距離が等しいという第２の条件に基づき、第３の座標値、第４の座標値及び第５の座標値とを用いて、第２のカメラのパラメータを算出する第２算出処理とをさらに含むようにしても良い。このように追加のカメラが存在している場合でも対処できる。

また、上で述べた第２算出処理が、カメラのパラメータと上記２つのマーカのうち特定のマーカの第１の座標値とから、車両の座標系における前記特定のマーカの位置を算出する位置算出処理と、第２の条件と、第２のカメラによって撮影された画像における座標値から得られる視線ベクトルと第２のカメラの座標系において移動前後の上記２つの第３のマーカが配置される第２の平面と第２のカメラの座標系における位置との関係と、第３の座標値及び第５の座標値とから、当該第２の平面のパラメータを特定する処理と、第２の平面のパラメータと第２のカメラの座標系の各軸方向とから、第２のカメラの傾き角度及び第２のカメラの光軸回りの回転角度を算出する第３算出処理と、車両の座標系における原点で第２の平面のパラメータに含まれる第２の高さに第２のカメラが設置されており、第２のカメラの傾き角度及び第２のカメラの光軸回りの回転角度が第３算出処理で算出された角度であり且つ第２のカメラのパン角度が０である第２の状態において、上記２つの第３のマーカのいずれかのマーカの移動前後の位置を算出する処理と、上記２つの第３のマーカのいずれかのマーカの移動前後の位置から得られる移動方向が、車両の座標系における所定の軸に一致するように、第２のカメラのパン角度を算出する処理と、第４の座標値から得られる、第２の状態における特定のマーカの位置と、位置算出処理において算出された特定のマーカの位置とが一致するように、第２のカメラのパン角度を用いて第２のカメラの位置を算出する処理とを含む。第２のカメラについては、第１のカメラについての処理結果を活用できるので、マーカの数を削減できる。

なお、上で述べたような処理をコンピュータに実施させるためのプログラムを作成することができ、当該プログラムは、例えばフレキシブル・ディスク、ＣＤ−ＲＯＭなどの光ディスク、光磁気ディスク、半導体メモリ（例えばＲＯＭ）、ハードディスク等のコンピュータ読み取り可能な記憶媒体又は記憶装置に格納される。

以上の実施例を含む実施形態に関し、さらに以下の付記を開示する。

（付記１）
車両の周辺に配置され且つ所定の間隔を有する２つのマーカを前記車両に搭載されたカメラにて撮影し、撮影された第１の画像における前記２つのマーカの第１の座標値を取得する第１の取得処理と、
前記車両を直線上で移動させた後、前記２つのマーカを前記カメラにて撮影し、撮影された第２の画像における前記２つのマーカの第２の座標値を取得する第２の取得処理と、
前記カメラの座標系において移動前後の前記２つのマーカの間隔が前記所定の間隔であり且つ前記２つのマーカの移動距離が等しいという条件に基づき、前記第１の座標値及び前記第２の座標値とを用いて、前記カメラのパラメータを算出する算出処理と、
を含み、コンピュータにより実行されるパラメータ算出方法。

（付記２）
前記算出処理が、
前記条件と、前記カメラによって撮影された画像における座標値から得られる視線ベクトルと前記カメラの座標系において移動前後の前記２つのマーカが配置される平面と前記カメラの座標系における位置との関係と、前記第１の座標値及び前記第２の座標値とから、当該平面のパラメータを特定する特定処理
を含む付記１記載のパラメータ算出方法。

（付記３）
前記算出処理が、
前記平面のパラメータと前記カメラの座標系の各軸方向とから、前記カメラの傾き角度及び前記カメラの光軸回りの回転角度を算出する角度算出処理、
をさらに含む付記２記載のパラメータ算出方法。

（付記４）
前記算出処理が、
前記車両の座標系における原点で前記平面のパラメータに含まれる高さに前記カメラが設置されており、前記カメラの傾き角度及び前記カメラの光軸回りの回転角度が前記角度算出処理で算出された角度であり且つ前記カメラのパン角度が０である状態において、前記２つのマーカのいずれかのマーカの移動前後の位置を算出する処理と、
前記２つのマーカのいずれかのマーカの移動前後の位置から得られる移動方向が、前記車両の座標系における所定の軸に一致するように、前記カメラのパン角度を算出する処理と、
をさらに含む付記３記載のパラメータ算出方法。

（付記５）
前記第２の取得処理において、
前記第２の画像において、前記車両の座標系において既知の位置に配置された第２のマーカの第３の座標値を取得し、
前記算出処理が、
前記第３の座標値から得られる、前記状態における前記第２のマーカの位置と、前記２つのマーカのいずれかのマーカの移動方向及び移動量とから、前記状態における前記第２のマーカの移動前の位置を算出する処理と、
前記車両の座標系において既知の位置と前記第２のマーカの移動前の位置とが一致するように、前記カメラのパン角度を用いて前記カメラの位置を算出する処理と、
をさらに含む付記４記載のパラメータ算出方法。

（付記６）
前記特定処理が、
前記条件を表す評価式に基づき前記条件を満たす前記平面のパラメータを探索する処理
を含む付記１乃至５のいずれか１つ記載のパラメータ算出方法。

（付記７）
前記車両の周辺に配置され且つ所定の第２の間隔を有する２つの第３のマーカを前記車両に搭載された第２のカメラにて撮影し、撮影された第３の画像における前記２つの第３のマーカの第３の座標値と前記２つのマーカのうち前記特定のマーカの第４の座標値とを取得する第３の取得処理と、
前記車両を直線上で移動させた後、前記２つの第３のマーカを前記第２のカメラにて撮影し、撮影された第４の画像における前記２つの第３のマーカの第５の座標値を取得する第４の取得処理と、
前記第２のカメラの座標系において移動前後の前記２つの第３のマーカの間隔が前記所定の第２の間隔であり且つ前記２つの第３のマーカの移動距離が等しいという第２の条件に基づき、前記第３の座標値、前記第４の座標値及び前記第５の座標値とを用いて、前記第２のカメラのパラメータを算出する第２算出処理と、
をさらに含む付記１乃至６のいずれか１つ記載のパラメータ算出方法。

（付記８）
前記第２算出処理が、
前記カメラのパラメータと前記２つのマーカのうち特定のマーカの第１の座標値とから、前記車両の座標系における前記特定のマーカの位置を算出する位置算出処理と、
前記第２の条件と、前記第２のカメラによって撮影された画像における座標値から得られる視線ベクトルと前記第２のカメラの座標系において移動前後の前記２つの第３のマーカが配置される第２の平面と前記第２のカメラの座標系における位置との関係と、前記第３の座標値及び前記第５の座標値とから、当該第２の平面のパラメータを特定する処理と、
前記第２の平面のパラメータと前記第２のカメラの座標系の各軸方向とから、前記第２のカメラの傾き角度及び前記第２のカメラの光軸回りの回転角度を算出する第３算出処理と、
前記車両の座標系における原点で前記第２の平面のパラメータに含まれる第２の高さに前記第２のカメラが設置されており、前記第２のカメラの傾き角度及び前記第２のカメラの光軸回りの回転角度が前記第３算出処理で算出された角度であり且つ前記第２のカメラのパン角度が０である第２の状態において、前記２つの第３のマーカのいずれかのマーカの移動前後の位置を算出する処理と、
前記２つの第３のマーカのいずれかのマーカの移動前後の位置から得られる移動方向が、前記車両の座標系における所定の軸に一致するように、前記第２のカメラのパン角度を算出する処理と、
前記第４の座標値から得られる、前記第２の状態における前記特定のマーカの位置と、前記位置算出処理において算出された前記特定のマーカの位置とが一致するように、前記第２のカメラのパン角度を用いて前記第２のカメラの位置を算出する処理と、
を含む付記７記載のパラメータ算出方法。

（付記９）
車両の周辺に配置され且つ所定の間隔を有する２つのマーカを前記車両に搭載されたカメラにて撮影し、撮影された第１の画像における前記２つのマーカの第１の座標値を取得する第１の取得処理と、
前記車両を直線上で移動させた後、前記２つのマーカを前記カメラにて撮影し、撮影された第２の画像における前記２つのマーカの第２の座標値を取得する第２の取得処理と、
前記カメラの座標系において移動前後の前記２つのマーカの間隔が前記所定の間隔であり且つ前記２つのマーカの移動距離が等しいという条件に基づき、前記第１の座標値及び前記第２の座標値とを用いて、前記カメラのパラメータを算出する算出処理と、
を、コンピュータに実行させるためのプログラム。

（付記１０）
車両の周辺に配置され且つ所定の間隔を有する２つのマーカを前記車両に搭載されたカメラにて撮影し、撮影された第１の画像における前記２つのマーカの第１の座標値を取得し、前記車両を直線上で移動させた後、前記２つのマーカを前記カメラにて撮影し、撮影された第２の画像における前記２つのマーカの第２の座標値を取得する取得部と、
前記カメラの座標系において移動前後の前記２つのマーカの間隔が前記所定の間隔であり且つ前記２つのマーカの移動距離が等しいという条件に基づき、前記第１の座標値及び前記第２の座標値とを用いて、前記カメラのパラメータを算出する算出部と、
を有する情報処理装置。

１ 車両
３，３ａ，３ｂ カメラ
５ 車載装置
５１ 画像格納部
５２ マーカ座標取得部
５３ 表示部
５４ 入力部
５５ データ格納部
５６ パラメータ算出部

Claims (10)

1. 車両の周辺に配置され且つ所定の間隔を有する２つのマーカを前記車両に搭載されたカメラにて撮影し、撮影された第１の画像における前記２つのマーカの第１の座標値を取得する第１の取得処理と、
   前記車両を直線上で移動させた後、前記２つのマーカを前記カメラにて撮影し、撮影された第２の画像における前記２つのマーカの第２の座標値を取得する第２の取得処理と、
   前記カメラの座標系において移動前後の前記２つのマーカの間隔が前記所定の間隔であり且つ前記２つのマーカの移動距離が等しいという条件に基づき、前記第１の座標値及び前記第２の座標値を用いて、前記カメラのパラメータを算出する算出処理と、
   を含み、コンピュータにより実行されるパラメータ算出方法。
2. 前記算出処理が、
   前記条件と、前記カメラによって撮影された画像における座標値から得られる視線ベクトルと前記カメラの座標系において移動前後の前記２つのマーカが配置される平面と前記カメラの座標系における位置との関係と、前記第１の座標値及び前記第２の座標値とから、当該平面のパラメータを特定する特定処理
   を含む請求項１記載のパラメータ算出方法。
3. 前記算出処理が、
   前記平面のパラメータと前記カメラの座標系の各軸方向とから、前記カメラの傾き角度及び前記カメラの光軸回りの回転角度を算出する角度算出処理、
   をさらに含む請求項２記載のパラメータ算出方法。
4. 前記算出処理が、
   前記車両の座標系における原点で前記平面のパラメータに含まれる高さに前記カメラが設置されており、前記カメラの傾き角度及び前記カメラの光軸回りの回転角度が前記角度算出処理で算出された角度であり且つ前記カメラのパン角度が０である状態において、前記２つのマーカのいずれかのマーカの移動前後の位置を算出する処理と、
   前記２つのマーカのいずれかのマーカの移動前後の位置から得られる移動方向が、前記車両の座標系における所定の軸に一致するように、前記カメラのパン角度を算出する処理と、
   をさらに含む請求項３記載のパラメータ算出方法。
5. 前記第２の取得処理において、
   前記第２の画像において、前記車両の座標系において既知の位置に配置された第２のマーカの第３の座標値を取得し、
   前記算出処理が、
   前記第３の座標値から得られる、前記状態における前記第２のマーカの位置と、前記２つのマーカのいずれかのマーカの移動方向及び移動量とから、前記状態における前記第２のマーカの移動前の位置を算出する処理と、
   前記車両の座標系において既知の位置と前記第２のマーカの移動前の位置とが一致するように、前記カメラのパン角度を用いて前記カメラの位置を算出する処理と、
   をさらに含む請求項４記載のパラメータ算出方法。
6. 前記特定処理が、
   前記条件を表す評価式に基づき前記条件を満たす前記平面のパラメータを探索する処理
   を含む請求項２乃至５のいずれか１つ記載のパラメータ算出方法。
7. 前記車両の周辺に配置され且つ所定の第２の間隔を有する２つの第３のマーカを前記車両に搭載された第２のカメラにて撮影し、撮影された第３の画像における前記２つの第３のマーカの第３の座標値と前記２つのマーカのうち特定のマーカの第４の座標値とを取得する第３の取得処理と、
   前記車両を直線上で移動させた後、前記２つの第３のマーカを前記第２のカメラにて撮影し、撮影された第４の画像における前記２つの第３のマーカの第５の座標値を取得する第４の取得処理と、
   前記第２のカメラの座標系において移動前後の前記２つの第３のマーカの間隔が前記所定の第２の間隔であり且つ前記２つの第３のマーカの移動距離が等しいという第２の条件に基づき、前記第３の座標値、前記第４の座標値及び前記第５の座標値を用いて、前記第２のカメラのパラメータを算出する第２算出処理と、
   をさらに含む請求項１乃至６のいずれか１つ記載のパラメータ算出方法。
8. 前記第２算出処理が、
   前記カメラのパラメータと前記２つのマーカのうち前記特定のマーカの第４の座標値とから、前記車両の座標系における前記特定のマーカの位置を算出する位置算出処理と、
   前記第２の条件と、前記第２のカメラによって撮影された画像における座標値から得られる視線ベクトルと前記第２のカメラの座標系において移動前後の前記２つの第３のマーカが配置される第２の平面と前記第２のカメラの座標系における位置との関係と、前記第３の座標値及び前記第５の座標値とから、当該第２の平面のパラメータを特定する処理と、
   前記第２の平面のパラメータと前記第２のカメラの座標系の各軸方向とから、前記第２のカメラの傾き角度及び前記第２のカメラの光軸回りの回転角度を算出する第３算出処理と、
   前記車両の座標系における原点で前記第２の平面のパラメータに含まれる第２の高さに前記第２のカメラが設置されており、前記第２のカメラの傾き角度及び前記第２のカメラの光軸回りの回転角度が前記第３算出処理で算出された角度であり且つ前記第２のカメラのパン角度が０である第２の状態において、前記２つの第３のマーカのいずれかのマーカの移動前後の位置を算出する処理と、
   前記２つの第３のマーカのいずれかのマーカの移動前後の位置から得られる移動方向が、前記車両の座標系における所定の軸に一致するように、前記第２のカメラのパン角度を算出する処理と、
   前記第４の座標値から得られる、前記第２の状態における前記特定のマーカの位置と、前記位置算出処理において算出された前記特定のマーカの位置とが一致するように、前記第２のカメラのパン角度を用いて前記第２のカメラの位置を算出する処理と、
   を含む請求項７記載のパラメータ算出方法。
9. 車両の周辺に配置され且つ所定の間隔を有する２つのマーカを前記車両に搭載されたカメラにて撮影し、撮影された第１の画像における前記２つのマーカの第１の座標値を取得する第１の取得処理と、
   前記車両を直線上で移動させた後、前記２つのマーカを前記カメラにて撮影し、撮影された第２の画像における前記２つのマーカの第２の座標値を取得する第２の取得処理と、
   前記カメラの座標系において移動前後の前記２つのマーカの間隔が前記所定の間隔であり且つ前記２つのマーカの移動距離が等しいという条件に基づき、前記第１の座標値及び前記第２の座標値を用いて、前記カメラのパラメータを算出する算出処理と、
   を、コンピュータに実行させるためのプログラム。
10. 車両の周辺に配置され且つ所定の間隔を有する２つのマーカを前記車両に搭載されたカメラにて撮影し、撮影された第１の画像における前記２つのマーカの第１の座標値を取得し、前記車両を直線上で移動させた後、前記２つのマーカを前記カメラにて撮影し、撮影された第２の画像における前記２つのマーカの第２の座標値を取得する取得部と、
    前記カメラの座標系において移動前後の前記２つのマーカの間隔が前記所定の間隔であり且つ前記２つのマーカの移動距離が等しいという条件に基づき、前記第１の座標値及び前記第２の座標値を用いて、前記カメラのパラメータを算出する算出部と、
    を有する情報処理装置。

Images