JPH10240939A - カメラキャリブレーション方法 - Google Patents

Abstract

(57)【要約】 【課題】 カメラの位置と向きを変えて対象物を撮影し
た３枚以上の写真からステレオ視の原理を用いて対象物
の３次元モデルを作成するのに、各写真上の対象物の特
徴点から対象物を撮影したカメラの位置と向きの情報を
得るのに人手を必要とする。 【解決手段】 Ｆ枚の写真の８点以上対応点がある２枚
組の全ての組み合わせについてカメラの向きと位置ベク
トルを求め、写真の２枚組の各対応点についてカメラの
向きと位置ベクトルから視点と像を結ぶ直線を求め、こ
の２直線間の距離を求め、各対応点毎の各距離の平均値
をカメラキャリブレーション誤差として求め、誤差の小
さい順にソートして各カメラの向きＲ₁，Ｒ₂，…Ｒ_Fを
求め、前記直線群が最も接近する所でどれくらい離れて
いるかを表す評価関数から各カメラの位置ベクトル
Ｔ₁，Ｔ₂，…Ｔ_Fを求める。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、複数枚の写真から
ステレオ視の原理を用いて３次元モデルを作成するにお
いて、各写真を撮影したカメラの位置や向きの情報を得
るためのカメラキャリブレーション方法に関する。

【０００２】

【従来の技術】変電所の監視システム等においては、変
電所を構成する変圧器などの対象物を３次元モデリング
し、監視画面として表示するのに利用する。

【０００３】現実感のある３次元モデルを簡易に作成す
るため、写真を利用することが行われる。複数枚の写真
からステレオ視の原理を用いて３次元情報を獲得する
際、各々の写真を撮影したカメラの位置、向きの情報が
必要である。これらを求めることをここではカメラキャ
リブレーションと呼ぶ。

【０００４】対象物の３次元モデル作成において、精度
よりも手軽さ、簡易さに重きがおかれる場合、対応点指
定によるカメラキャリブレーション、すなわち対象物の
特徴点を複数枚の写真上で、それが写っている位置を人
が指定することにより、カメラキャリブレーションを行
う方法が有効である。

【０００５】写真が二枚だけであり、かつ対応点が８点
以上ある時、相対的なカメラ位置、向き（二枚のうちの
どちらか一方の写真を撮影したカメラの座標系を基準と
した時の、もう一方の写真のカメラ位置、向き）を推定
するカメラキャリブレーションに関しては以下の参考文
献がある。

【０００６】しかし、３次元モデル作成には対象物を全
周にわたって撮影する必要がある。また、隠れの問題も
あり、一般的に２枚の写真だけでは足りず、より多くの
写真を要する。３枚以上の写真がある時、対応点の情報
によるカメラキャリブレーションは複雑な非線型問題と
なり、適切な初期値を必要とする。

【０００７】この初期値は、人があらかじめ各々の写真
を振影したカメラ位置、向きの概算値を入力している。
この人手により設定する値を初期値として何らかの評価
関数の最適化によりカメラキャリブレーションを行う方
法が現在使われいる。

【０００８】（文献１）Ｌｏｎｇｅｓｔ−Ｈｉｇｇｉｎ
ｓ，Ｈ．Ｃ，”Ａ Ｃｏｍｐｕｔｅｒ Ａｌｇｏｒｉｔ
ｈｍ ｆｏｒ Ｒｅｃｏｎｓｔｒｕｃｔｉｎｇ ａ Ｓ
ｃｅｎｅ ｆｒｏｍ Ｔｗｏ Ｐｒｏｊｅｃｔｉｏｎ
ｓ，”Ｎａｔｕｒｅ，Ｖｏｌ．293,ｐｐ.133−135（198
1） （文献２）Ｔａｓｉ,Ｒ.Ｙ.ａｎｄ Ｈｕａｎｇ,Ｔ.
Ｓ.,”Ｕｎｉｑｕｅｎｅｓｓ ａｎｄ ｅｓｔｉｍａｔ
ｉｏｎ ｏｆ ３−Ｄ ｍｏｔｉｏｎ ｐａｒａｍｅｔ
ｅｒｓ ｏｆ ｒｉｇｉｄ ｂｏｄｉｅｓ ｗｉｔｈ
ｃｕｒｖｅｄ ｓｕｒｆａｃｅｓ,"ＩＥＥＥ Ｔｒａｎ
ｓ Ｐａｔｔｅｒｎ Ａｎａｌ.Ｍａｃｈｉｎｅ Ｉｎ
ｔｅｌｌ.,ｖｏｌ.ＰＡＭＩ−6，ｐｐ.13−27（1984） （文献３）Ｗｅｎｇ,Ｊ.ｅｔ ａｌ.,"Ｍｏｔｉｏｎ
ａｎｄ Ｓｔｒｕｃｔｕｒｅ ｆｒｏｍ Ｔｗｏ Ｐｅ
ｒｓｐｅｃｔｉｖｅ Ｖｉｅｗｓ：Ａｌｇｏｒｉｔｈｍ
ｓ,Ｅｒｒｏｒ Ａｎａｒｙｓｉｓ ａｎｄ Ｅｒｒｏ
ｒ Ｅｓｔｉｍａｔｉｏｎ,"ＩＥＥＥ Ｔｒａｎｓ Ｐ
ａｔｔｅｒｎ Ａｎａｌ.Ｍａｃｈｉｎｅ Ｉｎｔｅｌ
ｌ.,ｖｏｌ.１１,ｎｏ.５，ｐｐ451−476（1989） （文献４）Ｋａｎａｔａｎｉ,Ｋ.,"Ｒｅｎｏｒｍａｌｉ
ｚａｔｉｏｎ ｆｏｒＭｏｔｉｏｎ Ａｎａｌｙｓｉ
ｓ：Ｓｔａｔｉｓｔｉｃａｌｌｙ Ｏｐｔｉｍａｌ Ａ
ｌｇｏｒｉｔｈｍ”,ＩＥＩＣＥ Ｔｒａｎｓ.Ｉｎｆ.
＆ Ｓｙｓｔ.，Ｖｏｌ.Ｅ７７−Ｄ,ｎｏ.11 ｐｐ.123
3−1239（1994）

【０００９】

【発明が解決しようとする課題】現在の技術では、対応
点の指定以外に、カメラキャリブレーションを行うにあ
たって各々の写真を撮影したカメラ位置と、向きの大雑
把な値を人が指定する必要がある。

【００１０】このため、写真撮影時に撮影位置を記録し
ておく必要がある。また、カメラの向きは、３次元回転
行列で表わされるため、概算値を数値で入力すること
も、ＣＲＴ上でグラフィカルに指定することも厄介であ
る。従って簡便さ、手軽さという点で問題がある。

【００１１】本発明の目的は、写真を撮影したカメラ位
置と向きの概算値情報を人手によることなく容易に得、
しかも精度良い情報を得るカメラキャリブレーション方
法を提供することにある。

【００１２】

【課題を解決するための手段】

（第１の発明）本発明は、カメラの位置と向きを変えて
対象物を撮影した３枚以上の写真からステレオ視の原理
を用いて対象物の３次元モデルを作成するため、各写真
上の対象物の特徴点から対象物を撮影したカメラの位置
と向きの情報を得るカメラキャリブレーション方法にお
いて、３枚以上になるＦ枚の写真の８点以上の対応点が
ある２枚組の全ての組み合わせについてカメラの向きと
位置ベクトルを求め、前記写真の２枚組の各対応点につ
いて前記カメラの向きと位置ベクトルから視点と像を結
ぶ直線を求め、この２直線間の距離を求め、各対応点毎
の各距離の平均値をカメラキャリブレーション誤差とし
て求め、前記誤差の小さい順にソートして各カメラの向
きＲ₁，Ｒ₂，…Ｒ_Fを求め、次式の評価関数、

【００１３】

【数５】

【００１４】

【数６】

【００１５】但し、ｑ_fiは特徴点Ｐ_iのＦ枚目の写真上
の像の位置を３次元空間中で示す３次元ベクトル。ま
た、グローバルな並進の自由度とスケールの自由度を固
定するため、カメラの向きを単位行列としたカメラの位
置ベクトルを０ベクトルに固定し、かつ次式の拘束条件
をつける。

【００１６】

【数７】

【００１７】を最小にするものを各カメラの位置ベクト
ルＴ₁，Ｔ₂，…Ｔ_Fとして求めることを特徴とする。

【００１８】（第２の発明）前記各カメラの向きＲ₁，
Ｒ₂，…Ｒ_Fと位置ベクトルＴ₁，Ｔ₂，…Ｔ_Fを初期値と
し、次式の評価関数Ｈ

【００１９】

【数８】

【００２０】の極小化により各カメラの位置と向きの値
を修正することを特徴とする。

【００２１】

【発明の実施の形態】３次元モデル作成対象物の３次元
上の点（Ｘ，Ｙ，Ｚ）がそれを撮影した写真上の２次元
の点（ｕ，ｖ）に投影されているときの変換は、次式で
定式化される。

【００２２】

【数９】 （ｕ，ｖ，１）^T∝Ｒ^T（Ｘ，Ｙ，Ｚ）^T−Ｒ^TＴ …（１） ここで、３次元回転行列Ｒがカメラの向きを表し、３次
元ベクトルＴがカメラの位置を表す。

【００２３】以下に説明するカメラキャリブレーション
方法の実施形態では、写真の枚数をＦ枚（Ｆ≧３）、対
象物の特徴点の個数をＮとし、ｉ番目の特徴点をＰ_iで
表す。特徴点Ｐ_iが写っている写真のインデックスの集
合をＩ_iとする。特徴点Ｐ_iがｆ枚目の写真に写っている
とき、すなわち、ｆ∈Ｉ_iであるとき、ｆ枚目の写真上
の特徴点Ｐ_iの像の位置を（ｕ_fi，ｖ_fi）とし、３次元
ベクトル（ｕ_fi，ｖ_fi，１）をベクトルｑ_fiで表す。ま
た、ｆ枚目の写真を撮影したカメラの向きをＲ_f、位置
ベクトルをＴ_fで表す。

【００２４】また、このｆ枚の写真の任意の２枚組のう
ち、８点以上対応点がある２枚組全てからなる集合をＳ
とする。例えば、ｍ枚目の写真とｎ枚目の写真の間に８
点以上対応点があるとき、（ｍ，ｎ）∈Ｓと表す。ま
た、このときｍ枚目の写真のカメラの座標を基準とした
ｎ枚目の写真のカメラの向きをＲ_mn、位置ベクトルをＴ
_mnで表す。

【００２５】（第１の実施形態）本実施形態では、以下
の手順によりカメラキャリブレーションを行う。

【００２６】（１）（ｍ，ｎ）∈Ｓとなる全てのｍ，ｎ
について、カメラの向きＲ_mnと位置ベクトルＴ_mnを求め
る。

【００２７】なお、２枚組（ｍ，ｎ）のｍ，ｎの順番は
関係がない。（ｍ，ｎ）と（ｎ，ｍ）は同じ２枚組みを
指す。但し、Ｒ_nm＝Ｒ_mn ^T、Ｔ_nm＝Ｒ_mn ^TＴ_mnである。

【００２８】（２）上記の（１）でカメラキャリブレー
ションを行った各２枚組のカメラキャリブレーション誤
差を計算する。

【００２９】図１に示すように、２枚の写真で視点と像
を結ぶ２本の直線は１点で交わり、この交点が実際の３
次元上の位置を表す。従って、２枚組（ｍ，ｎ）のカメ
ラキャリブレーションを誤差ｅ_mnは、次のように計算す
る。

【００３０】２枚組（ｍ，ｎ）の各対応点につき、
（１）で求めたカメラの向きＲ_mnと位置ベクトルＴ_mnか
ら視点と像を結ぶ直線を求め、この２直線間の距離を計
算する。各対応点に関する距離の平均値をカメラキャリ
ブレーション誤差ｅ_mnとする。

【００３１】（３）上記の（１）で得られた２枚組の相
対的なカメラの向きを統合し、カメラの向きＲ₁，Ｒ₂，
…Ｒ_Fを求める。

【００３２】まず、８点以上の対応点がある２枚組、す
なわち集合Ｓの要素を（２）で計算した誤差の小さい順
にソートし、その順序付きリストＬ｛（ｍ₁，ｎ₁），
（ｍ₂，ｎ₂），…｝を作成し、リストＬのｋ番目の要
素、すなわち誤差の大きさがｋ番目に小さい２枚組を
（ｍ_k，ｎ_k）とする。

【００３３】例えば、４枚の写真について、その集合Ｓ
＝｛（１，２），（１，３），（２，３），（３，
４）｝、誤差ｅ₁₂＜ｅ₃₄＜ｅ₂₃＜ｅ₁₃のとき、リストＬ
は、 Ｌ＝｛（１，２），（３，４），（２，３），（１，
３）｝ となる。

【００３４】次に、図２に示す手順により、カメラの向
きＲ₁，Ｒ₂，…Ｒ_Fを順次求めて行く。初期設定とし
て、ベクトルＲｍ₁を単位行列Ｅ、Ｒｎ₁＝Ｒ_mn、ｋ＝２
とし（図２のＳ１〜Ｓ３）、カメラの向きＲｍ_k，Ｒｎ_k
が共に既に求まっていれば（Ｓ４）、ｋ＝ｋ＋１とする
（Ｓ９）。

【００３５】カメラの向きＲｍ_k，Ｒｎ_kの一方の向きＲ
ｍ_kが既に求まっていれば（Ｓ５）、Ｒｎ_k＝Ｒｍ_kＲｍ_k
ｎ_k、ｋ＝２とする（Ｓ６）。逆に、カメラの向きＲ
ｍ_k，Ｒｎ_kの他方の向きＲｎ_kが既に求まっていれば
（Ｓ７）、Ｒｍ_k＝Ｒｎ_kＲｎ_kｍ_k、ｋ＝２とする（Ｓ
８）。Ｒｍ_k，Ｒｎ_kが両方とも求まっていないときはｋ
＝ｋ＋１とする（Ｓ９）。

【００３６】以上までの処理Ｓ４〜Ｓ９により、カメラ
の向きＲ₁，Ｒ₂，…Ｒ_Fが全て求まっているか否かをチ
ェックし（Ｓ１０）、求まっていないカメラ向きＲ_Xが
あるときは処理Ｓ４に戻って処理Ｓ４〜Ｓ９を繰り返
し、全てが求まっていれば終了する。

【００３７】（４）カメラの位置ベクトルＴ₁，Ｔ₂，…
Ｔ_Fを求める。

【００３８】以下の評価関数Ｈを最小にする位置ベクト
ルＴ₁，Ｔ₂，…Ｔ_Fを求める。但し、グローバルな並進
の自由度とスケールの自由度を固定するため、（３）に
おいてカメラの向きを単位行列としたカメラの位置ベク
トルＴｍ₁を０ベクトルに固定し、かつ

【００３９】

【数１０】

【００４０】という拘束条件を付ける。また、カメラの
向きＲ₁，Ｒ₂，…Ｒ_Fは、上記の（３）で求めた値を用
いる。

【００４１】

【数１１】

【００４２】この（２）式において、ベクトルＰ_iは、

【００４３】

【数１２】

【００４４】であり、Ｅは３×３の単位行列である。

【００４５】上記の（２）式の評価関数Ｈは、カメラ位
置ベクトルＴ₁，Ｔ₂，…Ｔ_Fに関して２次であり、上記
の拘束条件でのＴ₁，Ｔ₂，…Ｔ_Fの求解は、行列の固有
ベクトルを求める問題に帰着し、容易に実行できる。

【００４６】画像上の点に誤差がなく、カメラの向きと
位置が正確であれば、視点と（同じ特徴点の）像を結ぶ
直線群は１点で交わる。評価関数Ｈは、この直線群が互
いに最も近接する所でどれくらい離れているかを表して
いる。

【００４７】したがって、本実施形態では、複数の写真
上の対応点のみからカメラキャリブレーションを行うの
に、２枚組のカメラキャリブレーションで求めた相対的
なカメラの向きのうち、誤差が小さいものから採用して
いるため、精度良くカメラキャリブレーションを行うこ
とができる。

【００４８】（第２の実施形態）本実施形態は、前記の
第１の実施形態と同じ手順で２枚組みの相対的なカメラ
の向きＲ₁，Ｒ₂，…Ｒ_Fと位置ベクトルＴ₁，Ｔ₂，…Ｔ_F
を求める。この後、これらカメラの向きと位置ベクトル
を初期値とし、次式の評価関数Ｈの極小化によりカメラ
の向きと位置を修正し、カメラキャリブレーションの精
度を向上させる。

【００４９】

【数１３】

【００５０】上記の式（４）は、（２）式の評価関数を
ベクトルＴ₁，Ｔ₂，…Ｔ_F、Ｒ₁，Ｒ₂，…Ｒ_Fの関数と見
なしたものであり、ベクトルＰ_iは前記の（３）式で表
わされるものである。また、グローバルな回転、並進の
自由度を固定させるため、Ｆ枚の写真のうち前記
（３）、（４）において単位行列にしたカメラの向きと
０ベクトルに固定した位置ベクトルはそのまま固定す
る。すなわち、Ｒｍ₁＝Ｅ、Ｔｍ₁＝０に固定する。

【００５１】さらに、スケールの自由度を固定するた
め、前記式と同様の拘束条件を課すか、あるいはベクト
ルＴ₁，Ｔ₂，…Ｔ_Fのうち０ベクトルに固定されている
Ｔｍ₁を除いたものから１つを選び、そのｘ，ｙ，ｚ座
標のうちのどれか１つを前記（４）で求めた初期値に固
定する。極小化手法は、準ニュートン法、共役勾配法な
どを用いることができる。

【００５２】したがって、本実施形態では、第１の実施
形態で求めたカメラの向き、位置を初期値とし、これら
を評価関数の極小化により修正するため、一層精度良く
カメラキャリブレーションを行うことができる。

【００５３】

【発明の効果】以上のとおり、本発明によれば、複数枚
の写真上での対応点のみからカメラキャリブレーション
を行うようにしたため、各写真を撮影したカメラ位置及
びカメラ向きの概算値を人が指定するという従来の煩雑
な作業を省くことができる。

【００５４】また、第１の発明によれば、２枚組のカメ
ラキャリブレーションで求めた相対的なカメラ向きのう
ち、誤差が小さいものをカメラ向きとして採用するた
め、カメラキャリブレーションの精度を高めることがで
きる。

【００５５】また、第２の発明によれば、各カメラの向
き及び位置を統一的に扱って修正するため、カメラキャ
リブレーションの精度を一層高めることができる。

【図面の簡単な説明】

【図１】２枚の写真と視点と像を結ぶ２本の直線の関
係。

【図２】本発明の実施形態におけるカメラの向きを求め
るためのフローチャート。

Claims (2)

【特許請求の範囲】
1. 【請求項１】 カメラの位置と向きを変えて対象物を撮
   影した３枚以上の写真からステレオ視の原理を用いて対
   象物の３次元モデルを作成するため、各写真上の対象物
   の特徴点から対象物を撮影したカメラの位置と向きの情
   報を得るカメラキャリブレーション方法において、 ３枚以上になるＦ枚の写真の８点以上の対応点がある２
   枚組の全ての組み合わせについてカメラの向きと位置ベ
   クトルを求め、 前記写真の２枚組の各対応点について前記カメラの向き
   と位置ベクトルから視点と像を結ぶ直線を求め、この２
   直線間の距離を求め、各対応点毎の各距離の平均値をカ
   メラキャリブレーション誤差として求め、 前記誤差の小さい順にソートして各カメラの向きＲ₁，
   Ｒ₂，…Ｒ_Fを求め、 次式の評価関数、 【数１】 【数２】 但し、ｑ_fiは特徴点Ｐ_iのＦ枚目の写真上の像の位置を
   ３次元空間中で示す３次元ベクトル。また、グローバル
   な並進の自由度とスケールの自由度を固定するため、カ
   メラの向きを単位行列としたカメラの位置ベクトルを０
   ベクトルに固定し、かつ次式の拘束条件をつける。 【数３】 を最小にするものを各カメラの位置ベクトルＴ₁，Ｔ₂，
   …Ｔ_Fとして求めることを特徴とするカメラキャリブレ
   ーション方法。
2. 【請求項２】 前記各カメラの向きＲ₁，Ｒ₂，…Ｒ_Fと
   位置ベクトルＴ₁，Ｔ₂，…Ｔ_Fを初期値とし、次式の評
   価関数Ｈ 【数４】 の極小化により各カメラの位置と向きの値を修正するこ
   とを特徴とする請求項１に記載のカメラキャリブレーシ
   ョン方法。