JP4948552B2 - カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体 - Google Patents

Description

本発明は、単眼カメラまたは被写体を取り囲むように配置された多視点カメラのカメラ校正に利用可能で、カメラ校正作業のコストを抑えることを目的として、少数の参照点またはその参照点を一部に含む校正用参照物体を撮影し、その投影関係に基づきカメラを校正する（カメラパラメータを求める）カメラ校正装置に関する。

カメラ固有の焦点距離や画像中心などの内部パラメータ、並びに、カメラ配置時の姿勢や位置情報という外部パラメータを得るにはカメラキャリブレーション（カメラ校正）が行われる。従来の方法では、校正したいカメラに対して図１のように格子パターンの模様を描いた２次元物体を撮影し、その参照物体に関する幾何情報とカメラで観測した画像上での投影情報から、カメラ内部、外部パラメータ（両者を合わせてカメラパラメータと呼ぶ）を推定する（非特許文献１参照）。

より簡単な参照物体を使った例として、図２のように長さの既知な１次元物体を使い、点Ａを固定したまま撮影しその画像からカメラを校正する方法も公開されている（非特許文献２参照）。

コンピュータビジョンでは、Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎと呼ばれている基本原理があり、静止した被写体に対してカメラが相対的に運動することにより被写体の３次元形状と運動を復元する方法がある（運動する被写体に対してカメラが静止していても原理は同じ）。セルフキャリブレーション（あるいはオートキャリブレーションとも呼ばれる）はこの原理に基づく手法の一つであり、上記のような既知の参照物体を必要とせず、静的な映像シーンから観測した特徴点を使ってカメラパラメータを推定する。

尚、セルフキャリブレーションを多視点カメラシステムに応用したものが非特許文献３に提案されている。

Ｚ．Ｚｈａｎｇ，"Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ"，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２２，Ｎｏ．１１，ｐｐ．１３３０−１３３４，２０００． Ｚ．Ｚｈａｎｇ，"Ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｗｉｔｈ ｏｎｅ−ｄｉｍｅｎｓｉｏｎａｌ ｏｂｊｅｃｔｓ"，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２６，Ｎｏ．７，ｐｐ．８９２−６９９，２００４． 宮川勲，冨山仁博，岩舘祐一，"１次元物体を使った多視点カメラのキャリブレーション"，電子情報通信学会技術研究報告（ＰＲＭＵ２００６−１７７），Ｖｏｌ．１０６，Ｎｏ．４２９，ｐｐ．３７−４２，２００６．

従来のカメラキャリブレーション法では非特許文献１、２に代表されるように参照物体を使うことが常套手段である。図１では２次元物体上の参照点の２次元座標を既知としており（非特許文献１）、図２では１次元物体の長さＬと点Ａから点Ｃまでの距離と点Ｂから点Ｃまでの距離の比が既知であることが前提である（非特許文献２）。

このような参照物体を使用するカメラ校正では、十分な量の参照点を撮影する必要がある。言い換えれば、カメラ校正の前に、参照物体を撮影する作業に多くの時間が割かれることになる。さらに、多視点カメラシステムの環境では、カメラごとに同様のカメラ校正作業を繰り返さなければならない。

一方、セルフキャリブレーションによれば、既知の参照物体を必要とせず、静的な映像シーンから観測した特徴点に基づきカメラを校正することができる。しかし、その特徴点の観測精度が校正結果へ過敏に影響を与えるため、カメラパラメータを安定的に推定するためには、静的シーン中から特徴点の画像座標を高精度に測定しなければならない。非特許文献３では、人為的に用意した参照点を使ってセルフキャリブレーションを多視点カメラシステムへ応用しているが、カメラごとに膨大な量の参照点を観測しており作業の効率化・簡便化は図られていない。

このように、カメラ校正の作業効率を低下させ、作業量を増加させる要因の一つは、カメラで観測する特徴点あるいは参照点の量である。特に屋外環境では、参照点を自動抽出するためにブルーバックを前提とすることができないため、より正確に参照点の画像座標を得るには手動作業に頼ることになる。安定的にカメラパラメータを推定するには広範囲に、かつ、膨大な参照点を測定することが望ましい。ところが、セキュリティカメラが配置されている実環境では、必ずしもカメラ校正に十分な量の参照点を撮影することが保証されておらず、それらを撮影するだけの時間的余裕があるとは限らない。運用状況によっては、少数の参照点から単眼あるいは多視点のカメラ校正に応じなければならない。

本発明は、単眼あるいは多視点カメラシステムにおいて、カメラ校正用の撮影作業コストを低減させるために特殊な参照物体を使い、その物体から観測される少数の参照点から単眼カメラを簡単に校正する、あるいは、被写体を囲むように配置された多視点カメラを簡単に校正することを主な課題とする。

上記の課題を解決するための手段を説明するために、射影幾何の基本原理とその原理に基づく計算アルゴリズムについて説明する。なお、ここでの解決手段の原理・方法は、単眼カメラに着目した記載になっているが多視点カメラへの拡張は容易である。その拡張については実施例４にて詳細に記載する。

射影幾何の原理を説明するにあたって、参照物体の概観、並びに、カメラとの位置関係を定義しなければならない。図３に本発明で使う参照物体の概観図を示す。参照物体は大まかに、垂直棒１１と水平棒１２とで構成され、お互いが点Ｏで直交する関係にある。垂直棒１１には点Ｏを端点に、点Ａがもう一つの端点となっており、その間に点Ｂが配置されている。同様に、水平棒１２には点Ｏを端点に、点Ｃがもう一つの端点となっており、その間に点Ｄが配置されている。水平棒１２は垂直棒１１と一体となって図３に示すように自由に回転できるものとする。点Ｏ，Ａ，Ｂ，Ｃ，Ｄはカメラで撮影した画像中において参照点として観測される。

便宜上、点Ｏを世界座標系上の原点とし、垂直棒１１は世界座標系のＺ_w軸と一致しており、原点Ｏからそれぞれｈ₁，ｈ₂の高さに点Ａ，Ｂが設定されているものとする。一方、水平棒１２はＸ_wＹ_w平面上にあるとし、その水平棒１２は世界座標系のＹ_w軸と一致しており、原点Ｏからそれぞれｄ₃，ｄ₄の奥行きの位置に点Ｃ，Ｄが設定されているものとする。図３の参照物体をカメラＣ₁で撮影するとき、図５（ａ），（ｂ）に示す世界座標系Ｘ_wＹ_wＺ_wを参照物体上に設定しても一般性を失わない。図４は図３の参照物体を撮影して得た画像の例であり、この画像から各参照点の画像座標：ｐ₀〜ｐ₄を測定できるとする。

次に、カメラ座標系ＸＹＺを設定し、このカメラによる幾何的射影をピンホールカメラに従った透視投影にモデル化できると仮定する。参照物体上の３次元点をＰ_j＝（Ｘ_j，Ｙ_j，Ｚ_j）、カメラ視点の位置を（Ｔｘ，Ｔｙ，Ｔｚ）とすると、画像上で観測される点Ｐ_jの２次元点（ｘ_j，ｙ_j）は

で与えられる。ｆは焦点距離、Ｒ₁₁，Ｒ₁₂，…，Ｒ₃₃は３×３の回転行列の要素に対応する。本発明で扱うカメラモデルでは、画像中心は投影中心であるとしレンズ歪を無視する。

図５（ａ），（ｂ）では、Ｚ_w軸上の点Ａ，Ｂ、並びにＹ_w軸上の点Ｃ，Ｄを参照点として配置している。よって、カメラはこれらの参照点に対して、Ｙ軸周りの回転が０とした姿勢で配置されていると仮定できるので、回転行列を

と与えることができる。φはＸ軸周りの回転角、θはＺ軸周りの回転角である。

本発明の基本原理は、参照物体上の５つの参照点：Ｏ，Ａ，Ｂ，Ｃ，Ｄの画像上での座標値：ｐ₀〜ｐ₄が式（１），（２）に従って観測されると仮定し、その画像座標と参照点に関する計量情報：ｈ₁，ｈ₂，ｄ₃，ｄ₄を使って、カメラの焦点距離ｆ、カメラ座標系での回転角：φ，θ、並びに、世界座標系でのカメラ視点の位置（Ｔｘ，Ｔｙ，Ｔｚ）を逆問題として解くことである。その推定に必要となる計算式、あるいはアルゴリズムを式（１），（２）で結び付けられた透視投影の関係式から導出する必要がある。以降に、その計算式を導出する。

点Ａ，Ｂは原点Ｏからそれぞれｈ₁，ｈ₂の高さにある点であるとすると、原点Ｏを含めて、これらの投影像ｐ_j，ｊ＝０，１，２は

と記述できる。式（４），（５）に示した原点Ｏの透視投影像の関係から、
−ｆ（Ｔｘｃｏｓ（θ）＋Ｔｙｓｉｎ（θ）ｃｏｓ（φ）＋Ｔｚｓｉｎ（θ）ｓｉｎ（φ））＝ｘ₀（Ｔｙｓｉｎ（φ）−Ｔｚｃｏｓ（φ））， （８）
ｆ（Ｔｘｓｉｎ（θ）−Ｔｙｃｏｓ（θ）ｃｏｓ（φ）−Ｔｚｃｏｓ（θ）ｓｉｎ（φ））＝ｙ₀（Ｔｙｓｉｎ（φ）−Ｔｚｃｏｓ（φ）） （９）
が得られるので、式（８），（９）をそれぞれ式（６），（７）へ代入して整理すると、
（ｘ_j−ｘ₀）Ｔｙｓｉｎ（φ）−（ｘ_j−ｘ₀）Ｔｚｃｏｓ（φ）−ｆｈ_jｓｉｎ（θ）ｓｉｎ（φ）＝−ｘ_jｈ_jｃｏｓ（φ），（ｊ＝１，２）， （１０）
（ｙ_j−ｙ₀）Ｔｙｓｉｎ（φ）−（ｙ_j−ｙ₀）Ｔｚｃｏｓ（φ）−ｆｈ_jｃｏｓ（θ）ｓｉｎ（φ）＝−ｙ_jｈ_jｃｏｓ（φ），（ｊ＝１，２） （１１）
を得る。さらに、式（１０），（１１）からそれぞれ

を導くことができる。

一方、点Ｃ，ＤはＹ_w軸上の点として便宜上定義している。ここで、参照点Ｃ，Ｄに対して回転パラメータωを導入する。点Ｃ，ＤをＺ_w軸周りに回転角ωで回転させた点を点Ｃ’，Ｄ’とする。参照物体の水平棒１２を回転角ωで回転させ、観測点ｐ₀のｘ座標を通過する直線ｘ＝ｘ₀と水平棒が一致したときの画像の例を図９に示す。すなわち、点Ｃ’，Ｄ’の観測点の座標をそれぞれｐ₃＝（ｘ₀，ｙ₃），ｐ₄＝（ｘ₀，ｙ₄）で得る。

図５（ｂ）において、点Ｃ’，Ｄ’の３次元座標は（−ｄ_jｓｉｎ（ω），ｄ_jｃｏｓ（ω），０），ｊ＝３，４と与えることができるので、式（１），式（３）から
ｘ_j{（ｄ_jｃｏｓ（ω）−Ｔｙ）ｓｉｎ（φ）＋Ｔｚｃｏｓ（φ）}＝ｆ{（ｄ_jｓｉｎ（ω）＋Ｔｘ）ｃｏｓ（θ）−（ｄ_jｃｏｓ（ω）−Ｔｙ）ｓｉｎ（θ）ｃｏｓ（φ）＋Ｔｚｓｉｎ（θ）ｓｉｎ（φ）}， （ｊ＝３，４） （１５）
となる。ここで、式（８）を使うと、

の関係が得られる。

これに対し、点Ｃ’，Ｄ’の画像上のｙ座標は
−ｙ_j{（ｄ_jｃｏｓ（ω）−Ｔｙ）ｓｉｎ（φ）＋Ｔｚｃｏｓ（φ）}＝ｆ{（ｄ_jｓｉｎ（ω）＋Ｔｘ）ｓｉｎ（θ）＋（ｄ_jｃｏｓ（ω）−Ｔｙ）ｃｏｓ（θ）ｃｏｓ（φ）−Ｔｚｃｏｓ（θ）ｓｉｎ（φ）}， （ｊ＝３，４） （１７）
であるので、式（９）を使うと、
（ｙ_j−ｙ₀）Ｔｙｓｉｎ（φ）−（ｙ_j−ｙ₀）Ｔｚｃｏｓ（φ）−ｆｄ_j{ｓｉｎ（θ）ｓｉｎ（ω）＋ｃｏｓ（θ）ｃｏｓ（φ）ｃｏｓ（ω）}＝ｙ_jｄ_jｓｉｎ（φ）ｃｏｓ（ω）， （ｊ＝３，４） （１８）
となる。式（１８）を整理すれば、

の関係が導き出せる。式（１６）を式（１９）へ代入して整理すると、

ガ得られ、式（１６）を式（１３）へ代入して整理すると、

が得られる、さらに、式（２０）を式（２１）へ代入して整理すれば、

を導出することができる（図５（ａ）のカメラ配置では−π／２＜φ＜０の範囲であるとして負の解を選択する）。式（２２）からφを得ることができるので、式（２０）を使えばωを計算でき、さらに式（１６）から焦点距離ｆが求まる。

最後に、式（４）〜（７）、式（１８）を連立した方程式：

を解けばカメラの視点位置（Ｔｘ，Ｔｙ，Ｔｚ）を復元することができる。ただし、式（２３）では、

と置換している。

以上の導出式を使えば、参照点の画像座標からカメラパラメータを得ることができる。まず、参照物体を撮影した図４の画像から参照点：Ｏ，Ａ，Ｂの画像座標：ｐ₀，ｐ₁，ｐ₂を測定する。次に、水平棒１２をｘ＝ｘ₀と一致するように回転角ωで回転させ、その一致した状態での参照点Ｃ’，Ｄ’の画像座標：ｐ₀，ｐ₃，ｐ₄を測定する。次に、参照点の画像座標を入力データとして使い、上記で導出した算出式により、以下の処理を順番に実行することによって、カメラパラメータを得ることができる。
ステップ１：式（１４）により回転角θを求める。
ステップ２：式（２２）により回転角φを求める。
ステップ３：式（２０）によりパラメータω求める。
ステップ４：式（１６）により焦点距離fを求める。
ステップ５：式（２３）によりカメラの視点位置（Ｔｘ，Ｔｙ，Ｔｚ）を求める。

以上説明したように、本発明は、図３の参照物体を使って、その参照物体上の５つの参照点を測定し、上記の計算手順でカメラパラメータを得るものである。よって、本発明の基本構成は、これらの処理を実行するための構成となっている。

本発明の請求項１に記載のカメラ校正装置は、単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する装置であって、校正対象の画像入力装置を使って参照点の幾何情報が既知である参照物体を撮影して取得した画像において所定の２次元座標系を設定し、用意された参照点の２次元座標値を抽出する参照点抽出手段と、前記参照点抽出手段において得られた参照点の中で、一部の参照点が特定の幾何拘束条件を満足するまで参照物体の姿勢または位置を調整する参照物体調整手段と、前記参照物体調整手段によって調整された参照物体に対して、参照物体上の全ての参照点の３次元点が画像上の２次元座標系へ射影するときの透視投影条件から導出された計算に従って、参照点の幾何情報と２次元座標上で得た参照点の座標値から、前記画像入力装置の内部情報または外部情報を校正するカメラ校正計算手段と、を備え、前記カメラ校正計算手段は、前記校正計算によって得た画像入力装置の内部情報または外部情報から校正外部情報を求め、該校正外部情報から評価外部情報を再算出し、前記校正外部情報と評価外部情報の誤差が所定の誤差より大きい場合には、評価外部情報を校正外部情報に置換して、画像入力装置の内部情報または所定の外部情報以外の外部情報を再計算し、校正外部情報と評価外部情報の間の誤差が所定の誤差より小さくなるまで、前記校正計算を反復する、ことを特徴としている。

本発明は、少数の参照点を使ってカメラ校正を実行するため、従来のカメラキャリブレーション（非特許文献１〜３）のように膨大な量の参照点を必要としない。本発明では参照点の画像上での座標値を円滑に測定するための特殊な参照物体を使うことにより、カメラ校正作業の簡略化と処理時間の短縮化になる。

さらに、この参照物体を取り囲むように複数のカメラで配置すれば、複数カメラを同時に校正することができ、多視点カメラを使ったシームレスな３次元映像生成、モザイク画像またはパノラマ画像の生成に寄与する。

従来のカメラ校正方法における２次元物体を使ったカメラ校正作業を示す説明図である。 従来のカメラ校正方法における１次元物体を使ったカメラ校正作業を示す説明図である。 本発明で使用する垂直棒と水平棒から構成される参照物体を示す説明図である。 図３の参照物体を撮影したときの画像の例を示す説明図である。 本発明の実施形態例におけるカメラと参照点の位置関係を示す説明図である。 本発明の実施例１の基本構成図である。 本発明の実施例１の全体処理を示すフローチャートである。 本発明の実施例１での参照点調整部の処理を示すフローチャートである。 本発明の実施例１において水平棒の回転が完了し参照物体を撮影したときの画像の例を示す説明図である。 本発明の実施例１でのカメラ校正計算の処理を示すフローチャートである。 本発明の実施例２で使う参照物体の例を示す説明図である。 本発明の実施例２における参照点測定の処理を示すフローチャートである。 本発明の実施例３でのカメラ校正計算の処理を示すフローチャートである。 本発明の実施例４における多視点カメラの配置例を示す説明図である。 本発明の実施例４における２つのカメラに関する世界座標系の関係を示す説明図である。 本発明の実施例４の基本構成図である。

以下、図面を参照しながら本発明の実施の形態を説明するが、本発明は下記の実施形態例に限定されるものではない。

図６は請求項１に記載のカメラ校正の発明に関する基本構成図であり、図７は全体の処理フローである。本実施例１は図３の参照物体（請求項２）を使った実施例であり、図６と図７にそって説明する。本発明は、参照物体を校正対象のカメラ１０２の前に提示し、参照点調整部１０４と連携して被写体位置を制御する参照物体調整手段としての被写体制御部１０１、校正対象のカメラ１０２、校正に使用する画像を取得する画像入力部１０３、画像入力部１０３からの画像に対して、被写体制御部１０１と連動してカメラ校正処理のための前処理を行う参照点調整部１０４、その処理された画像から校正処理に必要な画像座標を計測する参照点測定部１０５、カメラ校正を実行するカメラ校正計算手段としてのカメラ校正処理部１０６とから構成される。

尚、本実施例１において、本発明の参照点抽出手段は、参照点調整部１０４および参照点測定部１０５により構成されている。

この構成において、校正対象のカメラ１０２は必ずしも構成要素として接続している必要はなく、校正に必要なサンプル画像を画像入力部１０３を通して取得すればよく、その画像入力部１０３には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。さらに、処理の必要に応じてリアルタイムで画像を取得する場合も可能であり、本発明は必ずしも記憶装置を必要としない。

まず、図６の被写体制御部１０１において、図３の参照物体を撮影被写体としてカメラ１０２の前に提示される（図７のステップＳ１１；被写体の提示）。図３の参照物体は垂直棒１１と水平棒１２とそれらの土台１３となる平面盤から構成されている。垂直棒１１にはＯで示す位置を原点として、その点からｈ₁，ｈ₂の高さにそれぞれ位置Ａ，Ｂに参照点が設置されている。被写体制御部１０１は命令に応じて、垂直棒１１を回転軸として、水平棒１２を自由に回転させることができる。その水平棒１２上には点Ｏからｄ₃，ｄ₄の距離にそれぞれ参照点Ｃ，Ｄが設置されている。参照点は屋外でも目立つような特殊な塗料で色づけられているとする（このようにしておけば画像処理による抽出が容易になる）。

サンプル画像はカメラ１０２を通して画像入力部１０３から得られる（図７のステップＳ１２；画像の取得）。図４にこのときに得られた画像の例を示す。この図では、画像中心を画像座標系の中心としており、その点を原点としたｘｙ画像座標系が重複表示されている。カメラ校正はこのサンプル画像を使って行うが、各参照点の画像座標を測定する前に図６の参照点調整部１０４にて前処理が施される。

参照点調整部１０４では、まず、画像処理によって垂直棒１１（点Ａ，Ｂ，Ｏから構成される１次元物体）を検出し、直線パラメータを抽出する。これはハフ変換などの画像処理が応用できる。次に、検出された直線に沿って走査を行い、特殊インクで色づけられた参照点Ｏ，Ａ，Ｂを抽出する。もし、参照点の形状を球体として設計しておけば、Ｂｌｏｂ解析などを使って球体部分を抽出することができ、その球体領域の中心が点Ｏ，Ａ，Ｂの画像座標として観測することができる。いずれにせよ、この観測手段によって画像座標：ｐ₀＝（ｘ₀，ｙ₀），ｐ₁＝（ｘ₁，ｙ₁），ｐ₂＝（ｘ₂，ｙ₂）を得る。

次に、図９に示すように画面上において参照点Ｃ，Ｄが直線ｘ＝ｘ₀と一致するまで、図７のステップＳ１３，Ｓ１４にしたがって水平棒１２の回転を行う（一致したときの参照点をＣ’，Ｄ’とする）。この水平棒１２の回転動作は図８の処理フローにしたがって行われる。まず、デフォルトの回転角を設定する（ステップＳ２１）。続いて、ハフ変換などの画像処理を使って水平棒１２の領域から水平棒１２の直線パラメータを得る（ステップＳ２２）。抽出された直線が、先に抽出しておいたｐ₀＝（ｘ₀，ｙ₀）を通過する直線ｘ＝ｘ₀と重なるまで微小な回転角Δωで水平棒１２を回転させる（ステップＳ２３〜Ｓ２５）。水平棒１２が許容誤差の範囲内で直線ｘ＝ｘ₀と重なったとき、回転動作を停止させる。

この一連の処理によって、図９の画像を得る。この画像上において、参照点Ｃ’，Ｄ’の画像座標を測定する。図８の処理フローによって、水平棒１２が直線ｘ＝ｘ₀と重なっているため、直線ｘ＝ｘ₀上を上から下へ走査し、特殊インクの部分を画像処理によって検出するだけで、画像座標ｐ₃＝（ｘ₀，ｙ₃），ｐ₄＝（ｘ₀，ｙ₄）が得られる。以上の処理フローを経て、図６の参照点測定部１０５では、垂直棒１１上の画像座標：ｐ₀＝（ｘ₀，ｙ₀），ｐ₁＝（ｘ₁，ｙ₁），ｐ₂＝（ｘ₂，ｙ₂）、並びに、水平棒１２上の画像座標ｐ₃＝（ｘ₀，ｙ₃），ｐ₄＝（ｘ₀，ｙ₄）を得る（図７のステップＳ１５；参照点の測定）。

参照点の画像座標が測定できれば、図６のカメラ校正処理部１０６にて、各参照点に関する幾何的情報：ｈ₁，ｈ₂，ｄ₃，ｄ₄と、対応する参照点の画像座標：ｐ₀＝（ｘ₀，ｙ₀），ｐ₁＝（ｘ₁，ｙ₁），ｐ₂＝（ｘ₂，ｙ₂），ｐ₃＝（ｘ₀，ｙ₃），ｐ₄＝（ｘ₀，ｙ₄）を入力データとして、図１０の処理フローに従ってカメラパラメータを算出する。計算式の導出と基本原理は上記で説明しているので、以降では、既に上記で導出した計算式を使ってどうのようにカメラパラメータを求めることを説明する。

まず、式（１２），（１３）で置換している値ｐ，ｑを計算する。これらの値が得られれば、回転角θは式（１４）によって算出される（図１０のステップＳ３１；回転角θ算出）。次に、値ｒ（式（１９）にて置換している）と先に得た回転角θを使って式（２２）により回転角φを算出する（図１０のステップＳ３２；回転角φ算出）。次に、後の計算に必要になる回転パラメータωを算出しておく。この計算には値ｒ、回転角φを使って式（２０）により求める（図１０のステップＳ３３；回転パラメータω算出）。さらに、回転角θ，φ、回転パラメータωを使って、式（１６）により焦点距離ｆを算出する（図１０のステップＳ３４；焦点距離ｆ算出）。最後に、これまでに求めたカメラパラメータと回転パラメータを使って式（２３）の連立一次方程式を解くことによってカメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）を算出する（図１０のステップＳ３５；位置（Ｔｘ，Ｔｙ，Ｔｚ）算出）。

以上説明したように、図３で設計された参照物体を校正のための撮影被写体とし、図６の基本構成のもとで、図７の処理フローに従って処理を行うことにより、図５（ａ），（ｂ）に示したカメラ視点の位置（Ｔｘ，Ｔｙ，Ｔｚ）、カメラ座標系での回転角θ，φ、並びに、カメラの焦点距離ｆを求めることができる。

本実施例２は請求項３に関する実施例である。基本構成図は実施例１と同じ構成となるが、参照物体の概観図とそれに基づく処理のみ異なるため、この差異のみを記載する。

本実施例では、図６の被写体制御部１０１において、図１１の参照物体を撮影被写体としてカメラ１０２の前に提示される。図１１の参照物体は、前記水平棒１２を回転する代わりに、半径ｄ₃，ｄ₄の同心円１４を描いた平面が垂直棒１１に対して垂直に取り付けられている。なお、単眼カメラの場合には垂直棒１１と同心円１４だけで校正ができるが、多視点カメラへ拡張することを想定し、同心円１４にそって垂直棒１１を回転軸として回転する方位棒２２を用意しておく（この方位棒２２を使う例は、実施例４にて説明する）。

図１２は本実施例２の処理フローであり、実施例１と比べて水平棒１２の回転を不要とする。ステップＳ４１では図７のステップＳ１１と同様に被写体の提示を行い、ステップＳ４２では図７のステップＳ１２と同様に画像を取得する。図１１に示すように半径ｄ₃，ｄ₄の同心円を用意しておけば、水平棒１２の回転は不要となる。その代わり、図９と同様に、直線ｘ＝ｘ₀が同心円１４と交差する点を直線ｘ＝ｘ₀上を上から下へ走査し、同心円１４と交差するエッジ部分で検出する。これにより参照点Ｃ’，Ｄ’画像座標：ｐ₃＝（ｘ₀，ｙ₃），ｐ₄＝（ｘ₀，ｙ₄）を測定する（図１２のステップＳ４３；参照点の測定）。参照点の画像座標が得られれば、実施例１と同様にカメラ校正ができる（図１２のステップＳ４４；カメラ校正の計算）。

図１１の参照物体はカメラの撮影範囲が比較的小規模の場合には設計・製造しやすいが、撮影規模が大きくなると、それに応じるスケールの同心円１４を設計・製造しなければならない。このため、撮影規模が大きくなると、実施例１の水平棒１２を回転させる方が有利である。

本実施例３は請求項１に関する実施例である。基本構成図は実施例１と同じ構成となるが、カメラ校正の処理フローが異なるため、以降ではこの差異のみを記載する。

その前に、本実施例が解決する課題について補足しておく。図３、あるいは図１１の参照物体を撮影したとき、図４での垂直棒１１がほぼｙ軸に沿って撮影されることがある。

と記述できるので、一度、実施例１で説明したカメラ校正処理フローでカメラパラメータを求めた後、φ，Ｔｙ，Ｔｚを後述の式（３１）に代入してθを再度算出する。θが求まると、上記で記述した手順によりパラメータφ，ω，ｆ，（Ｔｘ，Ｔｙ，Ｔｚ）を順次求める。カメラパラメータが更新されると、再び式（３１）によりθを求め、同様の手順によりカメラパラメータを求める。これを解が安定化するまで続けることにより、反復的にカメラパラメータを調整することができる。

すなわち、まず最初に校正用のカメラパラメータ（校正外部情報）を求め、該カメラパラメータから評価用のカメラパラメータ（評価外部情報）を再算出し、前記校正外部情報と評価外部情報の誤差が大きい場合は評価外部情報を校正外部情報に置換してカメラパラメータの再計算を行い、前記誤差が所定誤差より小さくなるまで前記校正計算を繰り返す。

本実施例３のカメラ校正処理部１０６での処理フローは図１３である。実施例１と異なり、上記で説明した状況に備え、本実施例３では反復的にカメラパラメータを算出する。反復回数が１回目のときは実施例１のカメラ校正処理（図１０で説明したステップＳ３１〜Ｓ３５）と同じフローによりカメラパラメータを得る。次に、反復回数が所定の回数Ｎかどうかを判定し（ステップＳ３６）、反復数が所定の回数Ｎを超えていない場合は、

の計算によって回転角θ’の再算出を行う（ステップＳ３７）。この回転角θ’を回転角θに置き換えて、図１３の処理フローに従ってカメラパラメータを再度算出する。この反復を反復回数Ｎを超えるまで続けた後、カメラパラメータを出力する。

本実施例４は、図３の参照物体を使って、複数のカメラ（多視点カメラ）を校正する方法である。まず、上記実施例１〜３で説明した単眼カメラを使った校正方法から多視点カメラでの校正方法へ拡張するために、多視点カメラについて補足しておく。

カメラＣ₁からカメラＣ₅の計５台が図３の参照物体を囲むように配置した例を図１４に示す。この図は真上から見た鳥瞰図となっており、世界座標系Ｘ_wＹ_wＺ_wとしてカメラＣ₁が想定した座標系が設定されている。つまり、上記実施例１〜３と同様に、カメラＣ₁に関する回転行列は式（３）で与えられる姿勢（カメラＣ₁に対してＺ_w軸周りの回転がない状態で参照物体の水平棒１２が向けられている）で世界座標系Ｘ_wＹ_wＺ_wと関係付けられていると仮定する。よって、他のカメラＣ_i，ｉ＝２，…，５にとってはこのような姿勢で参照物体が置かれてはおらず、図３の参照物体を囲んで撮影するように自由に配置されているものとする。ここでは、多視点カメラの外部パラメータを同一の座標系上で推定するために、基準に合わせるカメラとしてどれか一つのカメラ（この実施例ではカメラＣ₁）に対して、図５（ａ），（ｂ）の世界座標系を考える。

上記の実施例１〜３と同様な方法を使えば、カメラＣ₁のカメラパラメータを得ることができる。一方、それ以外のカメラＣ_i，ｉ＝２，…，５について、Ｚ_w軸周りに点Ｃ，Ｄが回転するだけで、カメラＣ₁と世界座標系との対応関係と同様の関係（各カメラの回転行列が式（３）で与えられる姿勢としてもよいという関係）を世界座標系との間に関係付けることが容易に想像できる。

つまり、複数のカメラＣ_i，ｉ＝１，２，…，Ｍ（以降のサフィックスｉはカメラ識別のために便宜上添えている）にも応用することができる。各カメラで観測する参照点をＡ_i，Ｂ_i，Ｏ_i，Ｃ’_i，Ｄ’_i、その観測座標をｐ_ij，ｉ＝１，２，…，Ｍ，ｊ＝１，２，３，４とする。上記で記述した計算式を使えば、参照点の幾何情報と観測座標から、各視点でのカメラパラメータ：ｆ_i，φ_i，θ_i，Ｔｘ_i，Ｔｙ_i，Ｔｚ_i，ω_i，ｉ＝１，２，…，Ｍを得ることができる。ここで、垂直棒１１上の参照点：Ａ_i＝Ａ，Ｂ_i＝Ｂ，Ｏ_i＝Ｏはカメラ共通の参照点である。これに対し、参照点：Ｃ’_i，Ｄ’_iの投影点は各カメラで得た画像においてｘ＝ｘ₀上に拘束されるように水平棒１２を回転するため、各カメラに応じてその３次元座標は異なる。よって、参照物体上の同じ参照点を全てのカメラで撮影したものではないので、上記実施例１〜３の校正方法を各カメラへ適用して外部パラメータを得ても、同じ世界座標系上で表現されたものではない。本実施例４は、これを同じ世界座標系上へ変換することで、多視点カメラ校正を行うものである。

まず、２つのカメラを校正する基本原理を、図１５の例で説明する。上記の実施例１〜３で説明した単眼でのカメラ校正方法をカメラＣ₁とカメラＣ₂に独立に適用すると、図１５に示すようにそれぞれ世界座標系が異なる。カメラＣ₁は世界座標系をＸ_wＹ_wＺ_wとしており、カメラＣ₂は世界座標系をＸ’_wＹ’_wＺ’_wとしている。この図において、世界座標系Ｘ’_wＹ’_wＺ’_wは世界座標系Ｘ_wＹ_wＺ_wをＺ_w軸周りの回転によって回転したものと考えることができる。つまりこの回転角が分かれば、世界座標系Ｘ’_wＹ’_wＺ’_w上で復元したカメラＣ₂の外部パラメータを世界座標系Ｘ_wＹ_wＺ_w上に変換することができる。

本実施例４では、各カメラの外部パラメータを同じ座標系上で復元するため、図３の水平棒１２を利用する。水平棒１２を適当に回転させたときの参照点Ｃ₀，Ｄ₀をカメラＣ₂で観測する。または、水平棒１２を適当に回転させるのではなく、図３の参照物体を使って校正したとき、カメラＣ₁が得た画像においてｘ＝ｘ₀と重なる水平棒１２上の参照点をカメラＣ₂で撮影してもよい。この場合、カメラＣ₁で取得する画像が１枚になるだけであり、以降の校正方法には何ら影響を与えない。なお、図１１の参照物体を使う場合、基準とした適当な方位に方位棒２２を固定しておき、カメラＣ₂で同心円と交差する点を測定するだけで、以降と同様の方法で多視点カメラを校正できる。よって、以降では、図３の参照物体を使った実施例を説明する。

カメラＣ₁で取得した画像において、水平棒１２上の参照点Ｃ₀，Ｄ₀の画像座標：（ｘ₁₃，ｙ₁₃），（ｘ₁₄，ｙ₁₄）、カメラＣ₂で取得した画像において、水平棒１２上の参照点Ｃ₀，Ｄ₀の画像座標：（ｘ₂₃，ｙ₂₃），（ｘ₂₄，ｙ₂₄）を得たとする。参照点Ｃ₀，Ｄ₀はＸ_wＹ_w平面上の３次元座標なので、式（１），（２），（３）から、

と変形できる。これらの式に各カメラパラメータと参照点の画像座標を代入すれば、参照点Ｃ₀の３次元座標（Ｘ₃，Ｙ₃，０）、参照点Ｄ₀の３次元座標（Ｘ₄，Ｙ₄，０）を復元できることが分かる。

式（３２），（３３）を使って、カメラＣ₁のカメラパラメータと画像座標：（ｘ₁₃，ｙ₁₃），（ｘ₁₄，ｙ₁₄）から復元した参照点Ｃ₀，Ｄ₀の３次元座標をそれぞれ（Ｘ₃，Ｙ₃，０），（Ｘ₄，Ｙ₄，０）とする。一方、カメラＣ₂のカメラパラメータと画像座標：（ｘ₂₃，ｙ₂₃），（ｘ₂₄，ｙ₂₄）から復元した参照点Ｃ₀，Ｄ₀の３次元座標をそれぞれ（Ｘ’₃，Ｙ’₃，０），（Ｘ’₄，Ｙ’₄，０）とする。各カメラで復元した３次元座標値から、

を計算する（どちらか１点でも回転角を計算できるが、ここでは２点からの平均値とする）と、この回転角の差：
ΔΩ₂＝Ω₂−Ω₁ （３６）
は、図１５に示されているように、カメラＣ₁が想定する世界座標系Ｘ_wＹ_wＺ_wに対して、カメラＣ₂が想定する世界座標系Ｘ’_wＹ’_wＺ’_wのＺ_w軸周りの回転角となる。

よって、カメラＣ₂の外部パラメータの変換は回転行列：

を使って、カメラＣ₂の外部パラメータから構成される回転行列［Ｒ］と並進ベクトル（Ｔｘ，Ｔｙ，Ｔｚ）をそれぞれ

と行列変換する。式（３８），（３９）の行列変換によって得られる外部パラメータは、カメラＣ₁が想定する世界座標系上で表現されたものとなる。この計算をＭ視点のカメラＣ_i，ｉ＝２，３，…，Ｍに適用すれば多視点カメラでのカメラ校正ができる。以上が、実施例１〜３の単眼カメラの校正方法を利用し、多視点カメラでの校正を行う基本原理である。

本実施例４の基本構成図を図１６に示す。図１６において図６と同一部分は同一符号をもって示している。実施例１〜３と比べて、複数のカメラＣ_i，ｉ＝１，２，３，…，Ｍ（カメラＣ₁〜Ｃ_M）の切り替え部（カメラ切替部１１０）と、各カメラの外部パラメータを同じ座標系へ変換するためのパラメータ変換部（パラメータ変換処理部１１１）が新たに加わる。本実施例４において、新たに加えらえた処理部以外は、実施例１〜３で説明した単眼カメラの校正と同じである。よって、以降では、この差異部分のみを記載する。

カメラ切替部１１０では、カメラＣ_i，ｉ＝１，２，３，…，Ｍを順番に切り替え、参照点調整部１０４と被写体制御部１０１の連携動作により、図３の参照物体を使う場合、適当な回転での水平棒１２を一度撮影して画像（基準画像）を得て、次に、その水平棒１２を回転させ、ｘ＝ｘ₀と一致するときの画像（校正画像）を撮影する。各カメラで取得した２枚の画像（基準画像と校正画像）から、基準画像から参照点Ｃ₀，Ｄ₀の画像座標を測定し、次に、校正画像から上記実施例１〜３と同様に参照点Ａ，Ｂ，Ｏ，Ｃ’，Ｄ’の画像座標を得る。校正画像から得た画像座標を使って、上記実施例１〜３で説明した方法によってカメラ校正処理部１０６において各カメラのカメラパラメータが算出される。さらに、パラメータ変換処理部１１１において、基準とするカメラ（これまでの例ではカメラをカメラＣ₁とする）に対して、各カメラの回転角Ω_iを式（３６）を使って求め、式（３７）に従って得た回転行列を使って、式（３８），（３９）の行列変換を行う。この変換の後に、各カメラＣ_i，ｉ＝２，３，…，Ｍの外部パラメータを抽出する。

以上説明したように、実施例１〜３の単眼カメラの校正方法を各カメラに適用し、計算された各カメラのカメラパラメータを、基準とするカメラの座標系へ変換することにより、多視点カメラの校正ができる。

また、本実施形態のカメラ校正装置における各手段の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、本実施形態のカメラ校正方法における手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えばＦＤ（Ｆｌｏｐｐｙ（登録商標） Ｄｉｓｋ）や、ＭＯ（Ｍａｇｎｅｔｏ−Ｏｐｔｉｃａｌ ｄｉｓｋ）、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、メモリカード、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｋ）−ＲＯＭ、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、ＨＤＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。

１０１…被写体制御部
１０２，Ｃ₁〜Ｃ_M…カメラ
１０３…画像入力部
１０４…参照点調整部
１０５…参照点測定部
１０６…カメラ校正処理部
１１０…カメラ切替部
１１１…パラメータ変換処理部

Claims (8)

1. 単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する装置であって、
   校正対象の画像入力装置を使って参照点の幾何情報が既知である参照物体を撮影して取得した画像において所定の２次元座標系を設定し、用意された参照点の２次元座標値を抽出する参照点抽出手段と、
   前記参照点抽出手段において得られた参照点の中で、一部の参照点が特定の幾何拘束条件を満足するまで参照物体の姿勢または位置を調整する参照物体調整手段と、
   前記参照物体調整手段によって調整された参照物体に対して、参照物体上の全ての参照点の３次元点が画像上の２次元座標系へ射影するときの透視投影条件から導出された計算に従って、参照点の幾何情報と２次元座標上で得た参照点の座標値から、前記画像入力装置の内部情報または外部情報を校正するカメラ校正計算手段と、を備え、
   前記カメラ校正計算手段は、前記校正計算によって得た画像入力装置の内部情報または外部情報から校正外部情報を求め、該校正外部情報から評価外部情報を再算出し、前記校正外部情報と評価外部情報の誤差が所定の誤差より大きい場合には、評価外部情報を校正外部情報に置換して、画像入力装置の内部情報または所定の外部情報以外の外部情報を再計算し、校正外部情報と評価外部情報の間の誤差が所定の誤差より小さくなるまで、前記校正計算を反復する、ことを特徴とするカメラ校正装置。
2. 前記参照物体は、互いに直交する垂直棒および水平棒を備えた校正撮影用の参照物体で構成され、
   前記参照点抽出手段は、校正対象の画像入力装置を使って取得したその被写体の画像において画像座標系を設定し、前記垂直棒上の任意の点と直交する位置の点、並びに前記水平棒上の任意の点を参照点として、校正対象の画像入力装置を使ってその参照物体を撮影し、取得した画像において所定の２次元座標系を設定し、垂直棒上の任意の点と直交する位置の点、並びに水平棒上の任意の点の２次元座標値を抽出し、
   前記参照物体調整手段は、前記参照点抽出手段において得られた参照点の中で、前記水平棒上の参照点が特定の幾何拘束条件を満足するまで、前記垂直棒と一体となって垂直棒を軸として水平棒を回転させる手段を備えた、
   ことを特徴とする請求項１に記載のカメラ校正装置。
3. 前記参照物体は、ある土台上の基準点を中心とした複数の円を構成する円盤と、その同心円の中心から伸びた同心円と垂直な棒とを備えた校正撮影用の参照物体で構成され、
   前記参照点抽出手段は、校正対象の画像入力装置を使って取得したその被写体の画像において画像座標系を設定し、前記垂直棒上の任意の点と同心円の中心、並びに同心円中心を通過する所定の直線と同心円が交差する点を参照点として、校正対象の画像入力装置を使ってその参照物体を撮影し、取得した画像において所定の２次元座標系を設定し、垂直棒上の任意の点と同心円の中心、並びに同心円中心を通過する所定の直線と同心円が交差する点の２次元座標値を抽出する、
   ことを特徴とする請求項１に記載のカメラ校正装置。
4. 単眼または複数の画像入力装置を使って取得した画像から、その画像入力装置の内部情報と姿勢および位置を含む外部情報を校正する方法であって、
   参照点抽出手段が、校正対象の画像入力装置を使って参照点の幾何情報が既知である参照物体を撮影して取得した画像において所定の２次元座標系を設定し、用意された参照点の２次元座標値を抽出する参照点抽出ステップと、
   参照物体調整手段が、前記参照点抽出ステップにおいて得られた参照点の中で、一部の参照点が特定の幾何拘束条件を満足するまで参照物体の姿勢または位置を調整する参照物体調整ステップと、
   カメラ校正計算手段が、前記参照物体調整ステップによって調整された参照物体に対して、参照物体上の全ての参照点の３次元点が画像上の２次元座標系へ射影するときの透視投影条件から導出された計算に従って、参照点の幾何情報と２次元座標上で得た参照点の座標値から、前記画像入力装置の内部情報または外部情報を校正するカメラ校正計算ステップと、を備え、
   前記カメラ校正計算ステップは、前記校正計算によって得た画像入力装置の内部情報または外部情報から校正外部情報を求め、該校正外部情報から評価外部情報を再算出し、前記校正外部情報と評価外部情報の誤差が所定の誤差より大きい場合には、評価外部情報を校正外部情報に置換して、画像入力装置の内部情報または所定の外部情報以外の外部情報を再計算し、校正外部情報と評価外部情報の間の誤差が所定の誤差より小さくなるまで、前記校正計算を反復する、ことを特徴とするカメラ校正方法。
5. 前記参照物体は、互いに直交する垂直棒および水平棒を備えた校正撮影用の参照物体で構成され、
   前記参照点抽出ステップは、校正対象の画像入力装置を使って取得したその被写体の画像において画像座標系を設定し、前記垂直棒上の任意の点と直交する位置の点、並びに前記水平棒上の任意の点を参照点として、校正対象の画像入力装置を使ってその参照物体を撮影し、取得した画像において所定の２次元座標系を設定し、垂直棒上の任意の点と直交する位置の点、並びに水平棒上の任意の点の２次元座標値を抽出し、
   前記参照物体調整ステップは、前記参照点抽出ステップにおいて得られた参照点の中で、前記水平棒上の参照点が特定の幾何拘束条件を満足するまで、前記垂直棒と一体となって垂直棒を軸として水平棒を回転させる、
   ことを特徴とする請求項４に記載のカメラ校正方法。
6. 前記参照物体は、ある土台上の基準点を中心とした複数の円を構成する円盤と、その同心円の中心から伸びた同心円と垂直な棒とを備えた校正撮影用の参照物体で構成され、
   前記参照点抽出ステップは、校正対象の画像入力装置を使って取得したその被写体の画像において画像座標系を設定し、前記垂直棒上の任意の点と同心円の中心、並びに同心円中心を通過する所定の直線と同心円が交差する点を参照点として、校正対象の画像入力装置を使ってその参照物体を撮影し、取得した画像において所定の２次元座標系を設定し、垂直棒上の任意の点と同心円の中心、並びに同心円中心を通過する所定の直線と同心円が交差する点の２次元座標値を抽出する、
   ことを特徴とする請求項４に記載のカメラ校正方法。
7. コンピュータに請求項４ないし６のいずれか１項に記載の各ステップを実行させるカメラ校正プログラム。
8. 請求項７に記載のカメラ校正プログラムを記録したコンピュータ読み取り可能な記録媒体。

Images