JP5111447B2 - カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびプログラムを記録した記録媒体 - Google Patents

Description

本発明は、セキュリティカメラ、または防犯目的で設置されている固定カメラの校正（カメラパラメータを求めること）に利用可能で、カメラ校正作業のコストを抑制するカメラ校正装置に関する。

カメラ固有の焦点距離や画像中心などの内部パラメータ、並びに、カメラ配置時の姿勢や位置情報という外部パラメータを得るにはカメラキャリブレーション（カメラ校正）が行われる。図１９に示すように、従来の方法では、校正したいカメラにより格子パターンの模様を描いた２次元物体を撮影し、その参照物体に関する幾何情報とカメラで観測した画像上での投影情報から、カメラ内部，外部パラメータ（両者を合わせてカメラパラメータと呼ぶ）を推定する（非特許文献１）。

さらに、より簡単な参照物体を使った例として、図２０に示すように、長さの既知な１次元物体を使い、参照点Ａを固定したまま撮影しその画像からカメラを校正する方法も公開されている（非特許文献２）。

コンピュータビジョンでは、Ｓｔｒｕｃｔｕｒｅ Ｆｒｏｍ Ｍｏｔｉｏｎと呼ばれている基本原理があり、静止した被写体に対してカメラが相対的に運動することにより被写体の３次元形状と運動を復元する方法がある（運動する被写体に対してカメラが静止していても原理は同じ）。セルフキャリブレーション（あるいはオートキャリブレーションとも呼ばれる）はこの原理に基づく手法の一つであり、上記のような既知の参照物体を必要とせず、静的な映像シーンから観測した特徴点を使ってカメラパラメータを推定する。

Ｚ．Ｚｈａｎｇ，"Ａ ｆｌｅｘｉｂｌｅ ｎｅｗ ｔｅｃｈｎｉｑｕｅ ｆｏｒ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ"，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２２，Ｎｏ．１１，ｐｐ．１３３０−１３３４，２０００． Ｚ．Ｚｈａｎｇ，"Ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ ｗｉｔｈ ｏｎｅ−ｄｉｍｅｎｓｉｏｎａｌ ｏｂｊｅｃｔｓ"，ＩＥＥＥ Ｔｒａｎｓ．ｏｎ Ｐａｔｔｅｒｎ Ａｎａｌｙｓｉｓ ａｎｄ Ｍａｃｈｉｎｅ Ｉｎｔｅｌｌｉｇｅｎｃｅ，Ｖｏｌ．２６，Ｎｏ．７，ｐｐ．８９２−６９９，２００４．

従来のカメラキャリブレーション法では非特許文献１，２に代表されるように参照物体を使うことが常套手段である。図１９では２次元物体上の参照点の２次元座標を既知としており（非特許文献１）、図２０では１次元物体の長さＬと点Ａから点Ｃまでの距離と点Ｂから点Ｃまでの距離の比が既知であることが前提である（非特許文献２）。

このような参照物体を使用したカメラ校正の場合、十分な量の参照点を撮影する必要がある。これに応じるには、カメラ校正の前に、参照物体を撮影する作業に多くの時間が割かれることになる。セキュリティカメラなどの定点カメラでは、必ずしもカメラ校正に十分な量の参照点を撮影することが保証されておらず、それらを撮影するだけの時間的余裕があるとは限らない。運用状況によっては、少数の参照点からカメラ校正に応じなければならない。

また、非特許文献１でのカメラ校正では、参照物体（２次元平面のパターンなど）が利用されるが、カメラとの距離が離れてしまうと、参照物体が小さく映るため十分な精度のカメラ校正ができない。これを解決するには、遠くから撮影しても十分な大きさの２次元平面パターンを準備することが考えられるが、巨大な平面パターンを用意することは現実的ではない。

これに対して、セルフキャリブレーションによれば、既知の参照物体を必要とせず、静的な映像シーンから観測した特徴点に基づきカメラを校正することができる。しかし、そのカメラ校正の方法においても十分な量の特徴点の画像座標を時系列画像から測定する必要があり、その特徴点の画像座標の測定にある程度の誤差が混入すると校正精度が大きく劣化するという問題が指摘されている。

本発明は、上述のような従来技術の問題を解決するためになされたものであり、撮影コストを低減させるとともに、カメラと参照物体が離れた場合でも、簡単な作業で高精度にカメラ校正を行うことを解決課題としている。

本発明の一態様は、単眼または複数の撮像装置から取得した画像から、その撮像装置の内部パラメータと姿勢および位置を含む外部パラメータを校正するカメラ校正装置であって、前記画像から形状が既知の参照物体における直線状に並んだ参照点の画像座標を検出する参照点検出手段と、前記参照点から形成される線分と画像座標上の基準軸との間の光軸回転角を算出し、算出された光軸回転角に応じて前記画像を画像座標の原点を中心に逆回転させ、かつ、参照点の一つが該画像座標の原点と一致するように参照物体の位置を移動させる参照物体制御手段と、参照物体に設けられた計測装置により撮像装置と計測装置間の仰角と距離を計測する幾何計測手段と、参照点と撮像装置間の射影的幾何の関係を利用して、前記撮像装置と計測装置間の仰角と距離，光軸回転角，および参照物体制御後に検出した参照点の画像座標から、撮像装置の内部パラメータと外部パラメータを校正するカメラ校正手段と、を備える。

また、本発明の他の態様は、単眼または複数の撮像装置を使って取得した画像から、その撮像装置の内部パラメータと姿勢および位置を含む外部パラメータを校正するカメラ校正方法であって、参照点検出手段が前記画像から形状が既知の参照物体における直線状に並んだ参照点の画像座標を検出する参照点検出ステップと、参照物体制御手段が、前記参照点から形成される線分と画像座標上の基準軸との間の光軸回転角を算出し、算出された光軸回転角に応じて前記画像を画像座標の原点を中心に逆回転させ、かつ、参照点の一つがその画像座標の原点と一致するように参照物体の位置を移動させる参照物体制御ステップと、幾何計測手段が、参照物体に設けられた計測装置により撮像装置と計測装置間の仰角と距離を計測する幾何計測ステップと、カメラ校正手段が、参照点と撮像装置間の射影的幾何の関係を利用して、前記撮像装置と計測装置間の仰角と距離，光軸回転角，および参照物体制御後に検出した参照点の画像座標から、撮像装置の内部パラメータと外部パラメータを校正するカメラ校正ステップと、を有する。

なお、本発明は、前記カメラ校正装置を校正する各手段として、コンピュータを機能させるためのプログラムとして構成することができる。このプログラムは記録媒体に格納した態様でも提供できる。

本発明によれば、撮影作業コストを低減させるともに、カメラと参照物体が離れた場合でも、簡単な作業で高精度にカメラ校正を行うことができる。

カメラと参照点の配置関係（Ｙ_wＺ_w面）を示す図。 カメラと参照点の配置関係（Ｘ_wＹ_w面）を示す図。 点Ａが画像中心に投影されたときのカメラと参照点の配置関係を示す図（Ｙ_wＺ_W面）。 点Ａが画像中心に投影されたときのカメラと参照点の配置関係を示す図（Ｘ_wＹ_w）。 点Ａが画像中心に投影された画像サンプルの説明図。 本発明のカメラ校正装置の基本構成図。 本発明のカメラ校正装置の全体処理を示すフローチャート。 カメラで撮影する参照物体の概観図。 図８、または図１１の参照物体を撮影したときのサンプル画像。 参照物体制御部の処理を示すフローチャート。 背景面付きの参照物体の概観図。 図９のサンプル画像を回転補正した画像。 図１０のＳ２５（参照物体の並進移動）の詳細な処理を示すフローチャート。 点Ａが画像中心となるように参照物体の位置を制御した画像。 図８、または図１１の参照物体の並進制御の説明図。 幾何計測制御部とカメラ校正処理部の処理を示すフローチャート。 計測点と参照点の位置関係を示す図。 実施形態２での幾何計測制御部とカメラ校正処理部の処理を示すフローチャート。 参照物体として２次元平面物体を使った従来のカメラ校正作業を示す説明図。 参照物体として１次元物体を使った従来のカメラ校正作業を示す説明図。

以下、本発明の実施形態に係るカメラ校正装置を説明する。このカメラ校正装置の基本原理となる直線上の３点とカメラ間の射影的幾何の関係について述べる。まず、カメラ視点と３次元点の間の射影関係を記述するために、その基準となる座標系を設定する。この座標系は任意に設定しても構わないが、説明の都合上、図１，図２に示すように、地面または床面上のある点（あるいは任意の平面上の点としてもよい）を原点とした世界座標系を前提とする。空間中の３次元点（参照点）はこの世界座標系の座標として表現され、カメラ校正のために観測する参照点をＯ＝（０，０，０）、Ａ＝（０，０，ｈ₁）、Ｂ＝（０，０，ｈ₂）とする。

カメラによる幾何的射影をピンホールカメラに従った透視投影にモデル化できると仮定する。世界座標系で表された３次元点をＰ_j＝（Ｘ_j，Ｙ_j，Ｚ_j）、カメラ視点の位置を（Ｔｘ，Ｔｙ，Ｔｚ）とすると、点Ｐ_jの画像上で観測される２次元座標値（画像座標）ｐ_j＝（ｘ_j，ｙ_j）は、下記（１）式，（２）式で与えられる。

ここで、ｆは画素を単位とした焦点距離、Ｒ₁₁，Ｒ₁₂，…，Ｒ₃₃は３×３回転行列の要素に対応する。参照点Ａ，Ｂ，ＯはＺ_w軸上の点なので、カメラのＹ軸周りの回転は任意に設定してよく、各回転要素を下記（３）式〜（１１）式と与える。

上記（３）式〜（１１）式中のφ、θは、図１、図２でのカメラ座標系ＸＹＺにおけるＸ軸、Ｚ軸周りの回転角（傾き角，光軸回転角）を示す。

参照点Ｏ＝（０，０，０）、Ａ＝（０，０，ｈ₁）、Ｂ＝（０，０，ｈ₂）の画像上で観測される画像座標をそれぞれｐ₀＝（ｘ₀，ｙ₀）、ｐ₁＝（ｘ₁，ｙ₁）、ｐ₂＝（ｘ₂，ｙ₂）とすると、下記（１２）式，（１３）式の関係を導くことができる。ただし、下記（１４）式，（１５）式と置換している。

従って、上記（１２）式、（１３）式から、下記（１６）式が得られる。

上記（１６）式は３つの参照点の画像座標ｐ₁，ｐ₂，ｐ₀と参照点Ａ，ＢのＺ軸上の高さｈ₁、ｈ₂が与えられれば、カメラＺ軸周りの回転角（以下，光軸回転角と称する）θが得られることを示している。さらに、焦点距離ｆとカメラＸ軸周りの回転角（以下、傾き角と称する）φの関係は上記（１３）式となるので、何らかの手段で傾き角φが得られれば、上記（１３）式の関係を利用して焦点距離ｆを得ることができる。あるいは、何らかの手段で焦点距離ｆが得られれば、上記（１３）式の関係を利用して傾き角φを得ることができる。

カメラ校正装置は、何らかの計測装置によりカメラＸ軸周りの傾き角φを得て、上記（１３）式の関係を用いて焦点距離ｆを算出する。ただし、レーザ計測によりカメラの傾き角φを測定するためには、カメラの視点位置（Ｔｘ，Ｔｙ，Ｔｚ）と計測装置の計測点がある特別な配置でなければならない。これを図３〜図５に基づき説明する。

図３では、計測装置の計測点を参照点Ａの位置と仮定している。この距離計測装置により、対象物までの距離Ｌ（図３でのＡから視点までの距離）、並びに、傾き角（仰角）Ψが得られれば、三角関数の関係によりカメラ視点までの奥行きｄ（＝Ｌｃｏｓ（Ψ）），参照点を基準としたときの高さｈ（＝Ｌｓｉｎ（Ψ））が得られる。ただし、計測装置により、これらの値が測定できるのは、図４に示すように計測装置の計測点とカメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）がＹ_w軸上に位置し、画像上では図５に示すように参照点Ａの画像座標ｐ₁が画像の中心に位置し、さらに、他の参照点Ｂ，Ｏが画像座標上のｙ軸（縦方向の中心軸）上に投影されることが条件となる。つまり、参照点Ａと他の参照点Ｂ，Ｏが図５に示す状態で観測できるように、参照点Ａ，Ｂ，Ｏの位置を別手段で変更する必要がある。

カメラの視点位置（Ｔｘ，Ｔｙ，Ｔｚ）と計測装置の計測点が図３〜図５に示すような特別な配置となれば、計測装置を利用して高さｈ、奥行きｄ、傾き角φが得られるため、視点位置（Ｔｘ，Ｔｙ，Ｔｚ）は参照点Ｏを原点とした世界座標系上で（０，ｄ，ｈ＋ｈ₁）として得られる。また、図３での傾き角（仰角）Ψが分かると、カメラの傾き角φ（＝Ψ−π／２）が得られる（φは鉛直下向きの方向（−Ｚ_w軸の方向）をφ＝０、Ｙ_w軸と反対方向に向いたときをφ＝−π／２とし、カメラの傾き角はこの範囲内（−π／２＜φ＜０）で定義される回転角とする）。これで傾き角φが算出できるので、上記（１３）式の関係を用いて焦点距離ｆが得られる。以上が基本原理である。

［実施形態１］
図６は本発明の実施形態１に係るカメラ校正装置１の構成例を示している。本実施形態１のカメラ校正装置１は、カメラ校正に使用する画像を取得する画像入力部２と、画像入力部２が取得した画像から参照物体３の参照点を検出する参照点検出部４と、その参照点を使って撮像装置（以下、カメラと称する）５の光軸回転角を算出して画像を回転補正し、参照物体３の位置を制御する参照物体制御部６と、その制御された参照物体３に設けられた計測装置のカメラ５への向きを制御しながら、カメラ５と計測装置間の仰角（以下、傾き角と称する）と距離などを計測する幾何計測制御部７と、この幾何計測制御部７で得た幾何情報と参照点の画像座標の幾何関係を使ってカメラパラメータを校正するカメラ校正処理部８と、を備える。

ここでは校正対象のカメラ５がカメラ校正装置１に接続された態様を示しているが、校正対象のカメラ５は必ずしも構成要素としてカメラ校正装置１に接続する必要はなく、校正に必要なサンプル画像を画像入力部２を介して取得すればよい。その画像入力部２には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する形態、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。さらに、処理の必要に応じてリアルタイムで画像を取得する方法も可能であり、本発明は必ずしも記憶装置を必要としない。また、前記カメラ校正装置１は、コンピュータのハードウェア資源（ＣＰＵ，メモリ，ハードディスクドライブ装置，通信インターフェイス等）とソフトウェアとの協働の結果、画像入力部２，参照点検出部４，参照物体制御部６，幾何計測制御部７，カメラ校正処理部８として機能している。

図８（ａ），（ｂ）に、校正対象のカメラ５に提示される参照物体３の外観図を示す。図８（ａ）に示すように、Ａ，Ｂ，Ｏはカメラ５で観測可能なマーカー（参照点）であり、一つの直線上（垂直棒９）に配置されている。マーカー（参照点）Ｏを世界座標系の原点とし、マーカーＯからマーカーＡ、Ｂまでの高さはそれぞれｈ₁、ｈ₂である。さらに、参照物体３の最上部には計測装置としてレーザ距離計測部１０が設けられている。

本実施形態１では、カメラ５と参照物体３との距離が十分に離れていれば、レーザ距離計測部１０での計測点は近似的に参照点Ａとほぼ同じ位置と仮定する。なお、レーザ距離計測部１０は、図８（ｂ）に示すように、校正対象のカメラ５に応じて自由に姿勢を制御できるものとする。

以下、図７のフローチャートに基づき、前記カメラ校正装置１の処理ステップを説明する。

Ｓ１１：図６に示す参照物体制御部６において、図８に示すように設計された参照物体３がカメラ校正のための撮影被写体としてカメラ５の前に設置される。この初期状態ではカメラ５を校正する準備はできていない。

ここで、前記参照物体３をカメラ５で撮影したサンプル画像を画像入力部２を介して取得する。図９はそのサンプル画像の例である。図９では、画像面の横方向にｘ軸、縦方向にｙ軸を設定し、画像中心をｘｙ画像座標系の中心とする。

次に、このサンプル画像に対し、参照物体制御部６において、図１０のカメラ校正のための前処置が実施される。ここでは、参照点Ａ，Ｂ，Ｏは、垂直棒９に沿って配置されているので、サンプル画像上においてＨｏｕｇｈ変換による投票処理により（Ｓ２１）、参照棒（垂直棒９）の直線パラメータを検出する（Ｓ２２）。

Ｓ１２：Ｓ１１で前記直線パラメータが検出できれば参照点を検出する。すなわち、参照点検出部４により、その直線に沿ってスキャンし、参照点Ａ，Ｂ，Ｏの画像座標を検出する。参照点Ａ，Ｂ，Ｏにカメラ５でも目立つような色が塗装されていれば、垂直棒９上をスキャンすることにより参照点Ａ，Ｂ，Ｏを容易に検出することができる。あるいは、図１１に示すように、参照点Ａ，Ｂ，Ｏを検出し易いように特殊な背景１２を塗装しておけば、同様に参照点Ａ，Ｂ，Ｏの位置を容易に検出することができる。このようにして、参照点検出部４において、参照点Ａ，Ｂ，Ｏに対応する画像座標をそれぞれｐ₁＝（ｘ₁，ｙ₁）、ｐ₂＝（ｘ₂，ｙ₂）、ｐ₀＝（ｘ₀，ｙ₀）として得る。

Ｓ１３：図１０に示すフローチャートに戻り、参照物体制御部６は光軸回転角θの算出と回転補正、すなわち、図１０の処理プロセス中におけるＳ２３，Ｓ２４を実行する。ここでは、この抽出した参照点Ａ，Ｂ，Ｏの画像座標Ｐ₁，Ｐ₂，Ｐ₀と既知のｈ₁，ｈ₂から、参照物体制御部６により、前記（１４）式、（１５）式に従ってα、βを計算し、前記（１６）式を使って画像の光軸回転角（参照点Ａ，Ｂ，Ｏから形成される線分と画像座標上のｙ軸（基準軸）との間の光軸回転角）θを算出する（Ｓ２３）。そして、参照物体制御部６により、図９に示す画像を画像原点中心に光軸回転角θの逆回転を施し、図１２に示すような画像を得る（Ｓ２４）。

Ｓ１４：参照物体制御部６により、参照物体３の並進制御が行われ、参照物体３の位置を図１３の処理フローチャートに従って変更する。この制御は図１４に示す画像が得られるまで、すなわち、参照点Ａの画像座標Ｐ₁＝（Ｘ₁，ｙ₁）が画像原点と一致するまで参照物体３の位置が変更される（図１０のＳ２５）。この参照物体３の位置変更を図１３のフローチャートに基づいて説明する。

図１５に示すように、土台１１に設定されたＸ_w軸に沿って参照物体３を命令に応じてΔＸずつ移動させる（Ｓ３１）。参照点検出部４から逐次参照点Ａ，Ｂ，Ｏの画像座標Ｐ₁，Ｐ₂，Ｐ₀が得られるので、参照点Ａの画像座標ｐ₁が画像中心と一致するかどうかを判定する（Ｓ３５）。Ｘ_w軸方向で移動できる範囲で移動しても一致する点が見つからないと判定された場合（Ｓ３２）は、今度はＹ_w軸方向に沿って参照物体３をΔＹだけ移動し（Ｓ３３）、参照物体３のＸ_w軸方向上の位置を元に戻して（Ｓ３４）、再度、Ｘ_w軸方向に沿って参照物体３をΔＸずつ移動させる（Ｓ３１）。このように、点Ａの画像座標ｐ₁が画像中心に重なると判定（Ｓ３５）されるまで参照物体３をＸ_wＹ_w平面上で移動させる。この参照物体制御部６による制御が完了すると、参照点Ａ、Ｂ、Ｏから構成される１次元物体が画面上においてｙ軸と一致することになる。

上記の参照物体制御部６での処理が完了した状態で、参照点検出部４により各参照点Ａ，Ｂ，Ｏの画像座標Ｐ₁，Ｐ₂，Ｐ₀を再度測定する。図１４に示すように、参照物体制御部６によりターゲット（参照物体３）の垂直棒９がｙ軸と一致しているので、参照点Ａ、Ｂ、Ｏに対応する画像座標はｙ座標だけで十分であり、画像中心を通る線に沿ってスキャンし、それぞれ画像座標Ｐ₁，Ｐ₂，Ｐ₀のｙ座標ｙ₁，ｙ₂，ｙ₀を得る。

Ｓ１５，Ｓ１６：幾何計測制御部７により距離計測の傾き制御および幾何情報の計測が行われる。ここでは、図１６のＳ４１〜Ｓ４５の処理プロセスによりＳ１５の距離計測の傾き制御が実施され、Ｓ４６〜Ｓ４８の処理プロセスによりＳ１６の幾何情報の計測が実施される。参照物体制御部６での処理が完了した状態で、幾何計測制御部７により、レーザ距離計測部１０のレーザがカメラ５の方向に向くように図８に示すレーザ距離計測部１０の姿勢を制御する。

図１６に基づいて説明すれば、まず、処理が開始されると、レーザ距離計測部１０の計測姿勢（首振り角Ω、傾き角（仰角）Ψ）が初期化される（首振り角Ωとは傾き角（仰角）Ψと直交する水平方向の角度を意味する。この二つの角度の回転制御にてレーザ距離計測部１０を対象のカメラ５の方向に向ける）。ここで、縦方向の角度を表す傾き角（仰角）Ψの初期値には水平方向を示す０度が設定され、横方向の角度を表す首振り角Ωの初期値には中心位置が設定され中心位置から左右対称に姿勢変更が行われるものとする（Ｓ４１）。

次に、首振り角Ωに微小な回転角Δωが増量され（Ｓ４２）、傾き角（仰角）Ψにも微小な回転角Δψが増量される（Ｓ４３）。このステップＳ４２，Ｓ４３の処理の結果、傾き角（仰角）Ψの値が範囲内（上限値以下）であれば（Ｓ４４）、この姿勢で距離計測が行われる（Ｓ４６）。

すなわち、レーザ距離計測では、通常、半導体レーザが多く利用されており、レーザの到達先には赤いポイントが光る。そのレーザの反射を使ったピンポイント計測で計測位置（あるいは計測点）からカメラ５までの距離Ｌが計測される。

この距離Ｌの測定と同期して画像が取得される（Ｓ４７）。この画像においてレーザで照射されたことを示す赤い模様が画像上において観測されていれば、レーザ距離計測部１０の向きがカメラ５の方向に向けられたことを意味する。このようにしてレーザ光検出の有無が判定される（Ｓ４８）。レーザ照射による画像の変化がなければ、Ｓ４３に戻って傾き角（仰角）Ψにさらに微小な回転角Δψが増量され、その姿勢にて同様のレーザ光検出の有無が判定される。なお、微小角度Δψを増量した結果、傾き角（仰角）Ψの値が範囲外（上限値以上）となれば（Ｓ４４）、今度は、傾き角（仰角）Ψを初期化してから（Ｓ４５）、さらに首振り角Ωに微小な回転角Δωを増量し（Ｓ４２）、これまでと同様の判定処理を続ける。Ｓ４８でレーザ光検出有りと判定されたとき、その時点での距離Ｌと傾き角（仰角）Ψを一時的に確保しておき、次のカメラ校正処理部７（図６のＳ１７，図１６のＳ４９）へ進む。

Ｓ１７：カメラ校正処理部８によりカメラ校正処理、すなわち、図１６の処理プロセス中にあるＳ４９〜Ｓ５１を実行する。まず、上記のレーザ計測で得た幾何情報（距離Ｌと傾き角（仰角）Ψ）から、図３に示すカメラ傾き角φ（＝Ψ−π／２），奥行きｄ＝Ｌｃｏｓ（φ），参照点Ａを基準とした高さｈ＝Ｌｓｉｎ（φ）をそれぞれ算出する（Ｓ４９）。次に、参照点Ａ、Ｂ、Ｏに対応する画像座標ｐ₁，ｐ₂，ｐ₀（Ｓ１４で測定した画像座標）のｙ座標：ｙ₁、ｙ₂、ｙ₀、幾何情報としてカメラ５の傾き角φ（Ｓ４９で得られた傾き角φ）が得られているので、前記（１３）式、（１５）式の関係を使ってカメラ５の焦点距離ｆを得る（Ｓ５０）。最後に、図３に示すように、既知のｈ₁，Ｓ４９で得られたｈ，ｄから参照点Ｏを世界座標系の原点とするカメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）＝（０，ｈ＋ｈ₁，ｄ）が算出される（Ｓ５１）。

以上説明したように、図８、または図１１で設計されたターゲット（参照物体３）を校正のための撮影被写体とし、図６の基本構成図にしたがって処理を施すことにより、図３に示したカメラ視点の位置（Ｔｘ，Ｔｙ，Ｔｚ）、カメラ光軸回転角θ、傾き角φ、並びに、カメラ５の焦点距離ｆを求めることができる。

本実施形態１は、少数の参照点を使ってカメラ校正を実行するため、従来のカメラキャリブレーション（非特許文献１，２）のように校正に十分な量の参照点を必要としない。また、本実施形態１では特殊な参照物体３を使うことにより、参照点Ａ，Ｂ，Ｏの画像上での座標値を円滑に測定し、カメラ校正作業の簡略化と処理時間の短縮化を図ることができる。さらに、この参照物体３を取り囲むように複数のカメラ５を配置すれば複数のカメラ５を同時に校正することができ、多視点カメラを使ったシームレスな３次元映像の生成または任意視点映像の生成に寄与する。

［実施形態２］
本実施形態２を説明する前に、本実施形態２の技術的課題について補足する。先の実施形態１では、カメラ５と参照物体３の距離が十分に大きい場合、近似的に計測点が点Ａに一致すると仮定した（レーザ距離計測時の計測点を参照点Ａとしていた）。カメラ５と参照物体３の距離が近い場合、上記実施形態１で使った近似は成り立たなくなる。

しかしながら、レーザ距離計測装置１０の計測点を画像上で観測することは困難である。そこで、本実施形態２は、図１７に示すように、参照点Ａとレーザ計測での計測点の間の差Δｈを無視できない場合、幾何計測制御部７で得た傾き角（仰角）Ψ、カメラ校正処理部８で算出された奥行きｄ、高さｈを使って、カメラパラメータを補正的に算出するものである。

図１７において、幾何的関係から、下記（１７）式，（１８）式が成立する。

上記（１８）式において加法定理を使い、上記（１７）式を使って展開して整理すると、下記（１９）式が得られる。

上記（１８）式と上記（１９）式の関係から、下記（２０）式が導き出される。

よって、参照点Ａとレーザの計測点の高さの差Δｈが与えられれば、図１７での傾き角の差（以下、補正角と称する）ΔΨは、下記（２１）式により計算できる。

本実施形態２は、レーザ距離計測部１０で得た幾何情報から上記（２１）式による補正角ΔΨを算出し、その補正角ΔΨを使ってカメラパラメータを補正する。

本実施形態２の基本構成は実施形態１と同様であるが、カメラ校正処理部８での計算が多少異なり、その処理を示すフローチャートを図１８に示す。実施形態１と同様に、参照物体制御部６の制御を経て図１４の画像が得られるとする。参照物体３の垂直棒９がｙ軸と一致しているので、参照点検出部４において、参照点Ａ，Ｂ，Ｏに対応する画像座標上でのｙ座標としてそれぞれｙ₁，ｙ₂，ｙ₀を得る。さらに、幾何計測制御部７ではレーザ計測により、レーザ距離計測装置１０とカメラ５間の距離Ｌと傾き角（仰角）Ψが測定される。

次に、カメラ校正処理部８において、三角関数の関係から奥行きｄ、カメラ傾き角φ、高さｈがそれぞれ得られる。Δｈは他の測量手段によって事前に取得しているものとする。そして、本実施形態２では、レーザ距離計測部１０で得た幾何情報から上記（２１）式による補正角ΔΨを算出し、参照点Ａから視たときの傾き角Ψ＋ΔΨを得る（Ｓ５２）。この傾き角Ψ＋ΔΨから補正されたカメラの傾き角φ＝（Ψ＋ΔΨ−π／２）を算出する（Ｓ５３）。参照点Ａ、Ｂ、Ｏに対応する画像座標（ｐ₁，ｐ₂，ｐ₀）上でのｙ座標がそれぞれｙ₁、ｙ₂、ｙ₀と、補正されたカメラの傾き角φ＝（Ψ＋ΔΨ−π／２）を、前記（１３）式，（１５）式に代入してカメラ５の焦点距離ｆを得る（Ｓ５４）。さらに、図１７に示すように、参照点Ｏを世界座標系の原点とするように、カメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）＝（０，ｈ＋ｈ₁＋Δｈ，ｄ）が出力される（Ｓ５５）。

以上説明したように、図１７に示した状況でも、本実施形態２により、カメラ視点の位置（Ｔｘ，Ｔｙ，Ｔｚ）、カメラ光軸回転角θ、傾き角φ、並びに、カメラの焦点距離ｆを求めることができる。その結果、本実施形態２は実施形態１と同様の作用効果を奏する。

また、本実施形態２によれば、カメラ５と参照物体３との距離が近い場合でもカメラ校正を行うことができる。

〈プログラム等〉
本発明は、前記カメラ校正装置１の各手段の一部もしくは全部としてコンピュータを機能させるためのプログラムとして構成することもできる。この場合にはＳ１２〜Ｓ１７，Ｓ２１〜Ｓ２５，Ｓ３１〜Ｓ３５，Ｓ４１〜Ｓ５１，Ｓ５２〜Ｓ５５の全ステップあるいはその一部のステップをコンピュータに実行させる。

このプログラムは、Ｗｅｂサイトや電子メールなどのネットワークを通じて提供することができる。また前記プログラムは、ＣＤ−ＲＯＭ，ＤＶＤ−ＲＯＭ，ＣＤ−Ｒ，ＣＤ−ＲＷ，ＭＯ，ＨＤＤ，Ｂｌｕ−ｒａｙ Ｄｉｓｋ（登録商標）などの記録媒体に記録して、保存・配布することも可能である。この記録媒体は、記録媒体駆動装置を利用して読み出され、そのプログラムコード自体が前記実施形態の処理を実行するので、該記録媒体も本発明を構成する。

１…カメラ校正装置
３…参照物体
４…参照点検出部
５…カメラ（撮像装置）
６…参照物体制御部
７…幾何計測制御部
８…カメラ校正処理部
θ…光軸回転角
Ψ…仰角
Ｌ…距離
Ａ，Ｂ，Ｏ…参照点

Claims (5)

1. 単眼または複数の撮像装置から取得した画像から、その撮像装置の内部パラメータと姿勢および位置を含む外部パラメータを校正するカメラ校正装置であって、
   前記画像から形状が既知の参照物体における直線状に並んだ参照点の画像座標を検出する参照点検出手段と、
   前記参照点から形成される線分と画像座標上の基準軸との間の光軸回転角を算出し、算出された光軸回転角に応じて前記画像を画像座標の原点を中心に逆回転させ、かつ、参照点の一つが該画像座標の原点と一致するように参照物体の位置を移動させる参照物体制御手段と、
   参照物体に設けられた計測装置により撮像装置と計測装置間の仰角と距離を計測する幾何計測手段と、
   参照点と撮像装置間の射影的幾何の関係を利用して、前記撮像装置と距離計測装置間の仰角と距離，光軸回転角，および参照物体制御後に検出した参照点の画像座標から、撮像装置の内部パラメータと外部パラメータを校正するカメラ校正手段と、
   を備えたことを特徴とするカメラ校正装置。
2. 前記カメラ校正手段は、
   前記撮像装置と計測装置間の仰角を撮像装置と前記参照点の一つとの間の仰角に補正し、該補正された仰角に基づき撮像装置の内部パラメータと外部パラメータを校正することを特徴とする請求項１記載のカメラ校正装置。
3. 単眼または複数の撮像装置を使って取得した画像から、その撮像装置の内部パラメータと姿勢および位置を含む外部パラメータを校正するカメラ校正方法であって、
   参照点検出手段が前記画像から形状が既知の参照物体における直線状に並んだ参照点の画像座標を検出する参照点検出ステップと、
   参照物体制御手段が、前記参照点から形成される線分と画像座標上の基準軸との間の光軸回転角を算出し、算出された光軸回転角に応じて前記画像を画像座標の原点を中心に逆回転させ、かつ、参照点の一つがその画像座標の原点と一致するように参照物体の位置を移動させる参照物体制御ステップと、
   幾何計測手段が、参照物体に設けられた計測装置により撮像装置と計測装置間の仰角と距離を計測する幾何計測ステップと、
   カメラ校正手段が、参照点と撮像装置間の射影的幾何の関係を利用して、前記撮像装置と計測装置間の仰角と距離，光軸回転角，および参照物体制御後に検出した参照点の画像座標から、撮像装置の内部パラメータと外部パラメータを校正するカメラ校正ステップと、
   を有することを特徴とするカメラ校正方法。
4. 前記カメラ校正ステップは、
   前記撮像装置と計測装置間の仰角を撮像装置と前記参照点の一つとの間の仰角に補正し、該補正された仰角に基づき撮像装置の内部パラメータと外部パラメータを校正することを特徴とする請求項３記載のカメラ校正方法。
5. 請求項１または２に記載のカメラ校正装置として、コンピュータを機能させることを特徴とするカメラ校正プログラム。

Images