JP6439078B1 - 合成画像を用いたカメラ較正 - Google Patents

Abstract

カメラ（１０５，６１０，６１１，６１２，６１３）は、対象パターン（１２０，６２５）の実際の画像（５００）を捕捉するものである。較正装置（１２５，６３０）は、カメラのモデルパラメータに基づいて、光線（２３０，２３５）を画素から対象パターン上の対応の点へ追跡することによって対象パターンの合成画像（３００，５０５）中の画素（２０５）をレンダリングするものである。較正装置は、モデルパラメータを修正して合成画像中の画素の強度と実際の画像中の画素の強度との間の距離の測度を最小化するものでもある。

Description

背景
開示の分野
本開示は概してカメラに関し、より特定的にはカメラの較正に関する。

関連技術の説明
三次元（３Ｄ）カメラ視覚システムは、カメラのモデルを用いて、３Ｄ空間中のオブジェクトを、カメラの画像平面上のオブジェクトによって形成される二次元（２Ｄ）画像に関連させる。モデルパラメータは、各個々のカメラを特徴付けるのに用いられる内的パラメータを含む。内的パラメータは、カメラレンズの焦点距離、レンズの投影中心、１つ以上の歪み係数、ならびにＸ方向およびＹ方向への画像のスケーリングを含む。モデルパラメータは、較正対象に対する１つ以上のカメラの平行移動および回転を特徴付ける（姿勢と称され得る）外的パラメータも含む。たとえば、個々のカメラ（または複数のカメラを含むカメラリグ）の外的パラメータは、カメラの平行移動ならびに対象に対するカメラの回転を規定するピッチ、ロール、およびヨー値を規定するＸ、Ｙ、およびＺ座標を含む。カメラリグ中で互いにしっかりと取付けられる複数のカメラの相対的な平行移動または回転を付加的な外的パラメータを用いて特徴付けることができる。さらなる外的パラメータは、互いにしっかりと取付けられる複数の較正対象の相対的位置および向きを記述するパラメータを含む。外的パラメータは、周囲の照明状況、１日のうちの時間、天気条件などの文脈情報を含むこともある。

添付の図面を参照することによって本開示をより十分に理解し得、かつその数多くの特徴および利点が当業者に明らかになり得る。異なる図面での同じ参照符号の使用は、同様のまたは同一の項目を示す。

ある実施形態に従う、カメラのモデルパラメータを較正するための較正システムの図である。 ある実施形態に従う、光線追跡を行なってカメラのモデルパラメータに基づいて合成画像を生成するのに用いられる較正システムの図である。 ある実施形態に従う、光線追跡によって形成される楕円の合成画像および対応の画素の図である。 ある実施形態に従う、較正アルゴリズムの順次反復における実際の画像と合成画像との比較のシーケンスを描く図である。 ある実施形態に従う、魚眼レンズを用いたカメラで撮影される較正対象の実際の画像を示す図である。 ある実施形態に従う、カメラリグのモデルパラメータを較正するための較正システムの図である。 ある実施形態に従う、カメラを特徴付けるモデルパラメータを較正するための方法のフロー図である。 ある実施形態に従う、粗密スケーリング技術を用いてカメラを特徴付けるモデルパラメータを較正するための方法のフロー図である。

詳細な説明
カメラ（またはカメラリグ）のモデルパラメータは、較正パターン（または対象パターン）を用いて較正される。較正パターンは、サイズが異なる円のグリッドなどの平面パターン、同じもしくは異なるパターンを含む異なる平面中の複数の平面パターン、剛性の構造に取付けられる同じもしくは異なるサイズの複数の球体、またはカメラもしくはカメラリグによって画像化可能な他の種類のパターンであり得る。ある方策は、対象検出アルゴリズムを用いて、平面較正パターン中の円に対応する画像平面中の楕円の中心を識別する。別個の較正アルゴリズムは、検出された中心の推定場所を対象検出アルゴリズムから受信し、検出された中心とモデルパラメータの値に基づいて予測される円の中心との間の画素空間中の距離を最小化する（または少なくとも小さくする）ことによってモデルパラメータを推定する。検出された中心の場所の不確実さを示す情報は、楕円の中心が較正アルゴリズムを通されると失われ、モデルパラメータを推定するのには使えなくなる。さらに、射影歪みがバイアスを導入して、投影された円の実際の中心を観察することが困難または不可能になってしまう。たとえば、１８０°以上の視野を有し得る魚眼レンズは、魚眼レンズによる画像の径方向歪みのために、円を楕円の上に投影しない。

別の方策は、対象のレンダリングされた合成画像と、カメラが捕捉する対象の画像の中の画素の強度値とを比較する。この方策は、カメラを理想的なピンホールカメラとしてモデリングする。その結果、モデルは、幾何学的レンズ歪みを記述する内的パラメータを含まない。幾何学的レンズ歪みは比較的小さいと想定されるため、歪んでいない画像に補正を適用することによって歪みを吸収することができる。しかしながら、（魚眼レンズなどの）多数のレンズ系は大きな歪みを導入し、これは、理想的なピンホールカメラに基づいてレンダリングされる画像に対して補正を適用することでは正確にモデリングすることができない。

本明細書中に記載されるように、カメラのモデルパラメータに基づいて画素から対象パターン上の対応の点へ光線を追跡することによって対象パターンの合成画像中の画素をレンダリングすることによって、カメラのモデルを規定するパラメータの較正の精度を上げることができる。たとえば、画素の中心点から対象パターン中の交差点へ光線を追跡することができ、対象パターン中の特徴への交差点の近さに基づいて画素の強度を測定することができる。別の例では、合成画像中の各々の画素が表わす区域を、２５６個の要素からなる１６×１６のアレイに細分し得る。各要素に関連付けられる強度は、モデルパラメータに基づいて当該要素から対象パターン上の対象の点へ光線を追跡し、かつ対応の点の強度を要素に適用することによって測定される。各々の画素毎の合計強度は、画素を表わす要素の各々毎の強度を平均することによって測定される。モデルパラメータは、合成画像中の画素の強度とカメラによって生成される対象パターンの実際の画像中の画素の強度との間の距離の測度を小さくするまたは最小化する値に更新される。ある実施形態では、距離の測度は、実際の画像中の画素の強度と合成画像中の対応の画素との間の差の二乗である。次に、（ガウス・ニュートンなどの）最小二乗最小化技術を各画素毎の距離測度に適用することによってモデルパラメータを更新し得る。異なる画像についての対象の姿勢をモデルパラメータの組に含めてもよく、次に、異なる画像中の画素の強度にわたって距離測度を小さくするまたは最小化することによって、モデルパラメータの組を決めてもよい。異なるカメラについて判定される、カメラのうち１つに対する対象の姿勢を含めることによって、（たとえば、固定されたカメラのアレイまたは蠅の目型カメラにおける）複数のカメラを較正することができる。

図１は、ある実施形態に従う、カメラ１０５のモデルパラメータを較正するための較正システム１００の図である。カメラ１０５は、ローカル環境のより広い角度の視野を与えるために魚眼レンズまたは他の広角レンズを有する広角イメージングカメラとして実現される。たとえば、カメラ１０５を用いて１８０°以上の視野角内の視野で画像を捕捉し得る。カメラ１０５は、主に、場所検出の目的のためのマシンビジョン画像捕捉のために構成され得る。たとえば、ヘッドマウントディスプレイ（ＨＭＤ）または他の仮想現実／拡張現実画像捕捉および表示システムでカメラ１０５を用いることがある。マシンビジョン特有のカメラ１０５の構成は、光に対する感度、レンズ歪み、フレームレート、グローバルシャッタ能力、および、たとえば画素の分解能に焦点を合わせたユーザ中心のカメラ構成にわたる画像センサからのより高速なデータ読出を優先し得る。カメラ１０５の他の実施形態は、ローカル環境でより狭い角度の視野を与えるための典型的な視野角レンズを有する狭角イメージングカメラとして実現される。

カメラ１０５は、カメラ１０５の内的特性を表わす内的モデルパラメータを含むモデルパラメータの組を特徴とする。たとえば、カメラ１０５は、カメラ１０５内の焦点面または結像面に対して画像を投影するのに用いられるレンズ（または複数のレンズを含む光学系）を含む。したがって、内的モデルパラメータは、カメラレンズまたは光学系の焦点距離および投影中心を含み得る。カメラ１０５のレンズまたは光学系は、画像を歪ませるまたは画像を拡大することがある。図示のため、カメラレンズは典型的に径方向に対称であり、樽型歪曲、糸巻歪み、または口髭型歪みなどの径方向歪みを導入する。したがって、内的モデルパラメータは１つ以上の歪み係数を含み得る。たとえば、

に従って、歪んでいない画像の点Ｘ_iと対応の歪んだ点Ｘ_dist,iとの間の関係を径方向変位モデルパラメータκ_iによって記述することができる。

式中、ｒは、正規化された座標における径方向変位である。より高次の歪みを特徴付けるのに、付加的な内的モデルパラメータを含んでもよい。カメラレンズは、１つ以上の方向に沿った画像の拡大もし得るので、内的モデルパラメータは、カメラ１０５のレンズまたは光学系によって生じる、Ｘ方向およびＹ方向の画像のスケーリングを示すパラメータを含んでもよい。内的モデルパラメータは、レンズまたは光学系によって導入される色収差を特徴付ける１つ以上のパラメータも含んでもよい。

モデルパラメータの組は、カメラ１０５の位置および向きを特徴付ける（姿勢とも称されることがある）外的モデルパラメータも含む。たとえば、カメラ１０５の外的パラメータは、カメラ１０５の位置を規定するＸ、Ｙ、およびＺ座標１１０，１１１，１１２を含む。座標１１０，１１１，１１２を識別するのに用いられる座標系の場所および向きは任意であり、ある実施形態では、座標系の原点が後述するような較正システム１００中の特定のエンティティに対応するように選ばれる。外的モデルパラメータは、すべて固定された重力基準または他の相対的なもしくは絶対的な基準に対するものである、左右回転（すなわち、ヨー角度１１５）、前後の傾き（すなわち、ピッチ角１１６）、および横方向回動（すなわち、ロール角１１７）などの１つ以上の回転の度合いを示すパラメータも含んでもよい。付加的な外的パラメータを用いて、カメラリグにおいて互いに対してしっかりと取付けられた複数のカメラを特徴付けることができる。たとえば、外的モデルパラメータは、以下に論じるように、１つ以上の他のカメラに対するカメラ１０５の相対的な位置および向きも含んでもよい。外的モデルパラメータは、周囲の照明状況、１日のうちの時間、天気条件などの文脈情報も含んでもよい。

較正システム１００は、１つ以上の較正対象１２０を含む。較正対象１２０は、サイズが異なる円または楕円から形成される対象パターンを含む。しかしながら、本明細書中で論じるように、較正対象のある実施形態は、同じ平面もしくは異なる平面に配備される同じもしくは異なるパターンを含む複数の平面パターン、剛性の構造に取付けられる同じもしくは異なるサイズの複数の球体、またはカメラ１０５で画像化可能な他の種類のパターンなどの、二次元または三次元の他の対象パターンを用いて実現される。較正対象１２０の位置は、Ｘ、Ｙ、およびＺ座標１２１，１２２，１２３によって表わされる。本明細書中で論じられるように、カメラ１０５は、較正対象１２０の実際の画像とカメラ１０５のモデルパラメータに基づいて生成される合成画像とを比較することによって較正される。このように、較正プロセスの際にカメラ１０５を特徴付けるのに用いられるモデルパラメータの組は、較正対象１２０に対するカメラ１０５の位置を示す外的モデルパラメータを含み、これらは、座標１１０，１１１，１１２と座標１２１，１２２，１２３とを比較することによって決められ得る。ある実施形態では、座標系の原点は、較正対象１２０の場所に対応するように規定され得るので、カメラ１０５の位置を示す外的モデルパラメータは、カメラ１０５のＸ、Ｙ、Ｚ座標１１０，１１１，１１２を示す外的モデルパラメータと同じである。図１には単一の較正対象１２０を示すが、較正システム１００のある実施形態は複数の較正対象を含むことがある。さらに、螺旋状または星形のパターンなどの他の対象パターンを較正対象１２０として用いてもよい。対象パターンは白黒、グレースケール、または有色パターンであってもよい。

カメラ１０５を特徴付けるモデルパラメータを較正するのに較正装置１２５を用いる。較正装置１２５は、ハードウェア、ファームウェア、ソフトウェア、またはその任意の組合せとして実現されることがある。たとえば、較正装置１２５は、ソフトウェアまたはファームウェアを記憶するためのメモリ素子を含んでもよい。較正装置１２５は、カメラ１０５の較正を行なうためにソフトウェアまたはファームウェアに含まれる命令を実行するためのプロセッサも含んでもよい。次に、較正されたモデルパラメータをメモリ素子に記憶してもよく、またはカメラ１０５に与えてもよい。較正装置１２５は、カメラ１０５の外部の独立型エンティティであってもよく、または較正装置１２５は、カメラ１０５の一体部分として実現されてもよい。

較正装置１２５は、カメラ１０５が捕捉する較正対象１２０の実際の画像とモデルパラメータに基づいてレンダリングされる較正対象１２０の合成画像との比較に基づいて、モデルパラメータを較正する。実際の画像と合成画像とは、画像を捕捉するのに用いられるカメラ１０５のセンサに対応する画素のアレイの強度値によって表わされる。実際の画像の強度値は、露光の際にカメラ１０５中の対応のセンサに当たる光の強度を表わす。合成画像の強度値は、以下に論じるように、モデルパラメータに基づいて予測またはシミュレーションされる推定強度値である。較正装置１２５のある実施形態は、画素の各々から較正対象１２０上の対応の点へ複数の光線を追跡することによって較正対象１２０の合成画像中の画素をレンダリングする。光線追跡は、カメラ１０５のモデルパラメータに基づいて行なわれる。次に、較正装置１２５はモデルパラメータを修正して、合成画像中の画素の強度とカメラ１０５が生成する実際の画像中の画素の強度との間の距離の測度を小さくするまたは最小化する。較正プロセスは、１つ以上の収束基準が満たされるまで、反復され得る。

較正装置１２５のある実施形態は、カメラ１０５を特徴付ける内的および外的モデルパラメータを同時に推定することによって、較正対象１２０の合成画像をカメラ１０５が捕捉する実際の画像とマッチングする。たとえば、内的および外的モデルパラメータをパラメータベクトルρによって表わし得る。較正装置１２５は、合成画像中の画素の強度と実際の画像中の画素の強度との間の差の二乗の和を最小化するパラメータベクトルρの値を最小二乗最小化関数

に従って決める。式中、Ｔ（ν）は、較正対象上の予期される強度を示す（０＝黒、１＝白）。

は、たとえばメートルでの対象座標である。
ｌは、画素ｕでの実際の画像の強度である。

は、画素の座標である。
ｗ，ｈは画像の次元である。

ｐ＝（ｐ_t，ｐ_c）はモデルパラメータ（またはワープパラメータ）である。
ｐ_tは、外的モデルパラメータまたは対象の姿勢、すなわち、

である。
ｐ_cは、内的モデルパラメータである。

は、変換Ａを用いて対象座標からカメラ座標にベクトルｕを変換し、次に、投射関数Ｐ、すなわち、

を用いて、このベクトルを画素座標に投影するワープ関数である。

は、その後に回転を伴う平行移動である。

は、３Ｄの点を画素座標にマッピングし、かつカメラモデルパラメータに依存する関数である。

Ｗ^-1は、観察された画像中の画素の場所についての対応のレートを計算し（逆投影または再投影）、光線を対象平面に交差させる。したがって、ワープ関数Ｗ^-1の逆数は、モデルパラメータｐ＝（ｐ_t，ｐ_c）に基づいて、画素の場所（ｕ）を対象の平面中の場所ｕに変換する。

較正装置１２５は、カメラ１０５を表わすモデルパラメータの初期推量または推定を反復して改良することによって、式（１）によって規定される最小二乗最小化問題を解く。

較正装置１２５のある実施形態は、ガウス・ニュートン最小二乗最適化アルゴリズムを用いて、非線形最小二乗最適化問題を反復して解く。式（１）の一次テーラー展開を用いて、以下のように、パラメータベクトルｐ_iの現在の推定を、パラメータベクトルの修正された推定ｐ_i+1に関連させることができる。

式中、Δｐは、パラメータベクトルの変化のベクトルであり、δＴ／δｐは、画素の場所におけるパラメータベクトルの関数としての較正対象１２０上の強度の勾配である。以下に論じるように、強度勾配は、光線追跡によって測定される強度値を用いて、平滑化関数を適用して強度がパラメータベクトルの連続関数であることを確実にして合成画像から数値計算され得る。たとえば、レンダリングされた画像の強度（Ｔ）は、まず、現在のモデルパラメータの組ｐ_iについて測定され、次に強度は、各々の方向に少量だけパラメータベクトルを変化させたｐ_i＋δｐ_i後にレンダリングされる第２の画像について再計算される。次に、２つのレンダリングされた画像の強度の間の差から関数行列式δＴ/δｐが算出される。ガウス・ニュートンアルゴリズムは、式（２）を用いて、収束基準に達するまでパラメータベクトルの値を反復して修正する。たとえば、アルゴリズムは、所与の反復の間にパラメータベクトルの変化がしきい値を下回ったときに収束し得る。

較正装置１２５のある実施形態は、Lucas-Kanadeオプティカルフローアルゴリズムを用いて非線形最小二乗最適化問題を反復して解く。オプティカルフローアルゴリズムは、勾配δＩ／δｐを、画像勾配

およびワープ関数の関数行列式δＷ／δｐに分解する。次に、式（２）によって規定される線形化最小化問題を以下のように書換え得る。

式中、Ｗは、座標変換Ａおよび投影Ｐから構成される。関数行列式は、モデルパラメータｐ_tおよびｐ_cに対して個々に計算されてから単一の行列に組合される。

以下に論じるように、関数行列式は、光線追跡によって測定された強度値を用いかつ平滑化関数を適用して、強度がパラメータベクトルの連続関数となるのを確実にすることによって、合成画像から数値計算され得る。Lucas-Kanadeアルゴリズムは、式（３）を用いて、収束基準に達するまでパラメータベクトルの値を反復して修正する。たとえば、アルゴリズムは、所与の反復の間のパラメータベクトルの変化がしきい値を下回ると収束し得る。

Lucas-Kanadeオプティカルフローアルゴリズムでは、ワープ関数Ｗ^-1の逆数は、画像を再投影して較正対象１２０の平面に交差させることによって、実際の画像中の画素を対象座標に変換する。最適化アルゴリズムの各々の反復において、ワープ関数Ｗ^-1の逆数を用いて、内的モデルパラメータｐ_tおよび外的モデルパラメータｐ_ｃの現在の最良の推定に基づいて、実際の画像中の各々の画素

毎の較正対象１２０上のサンプリング位置を選択する。これは、対象姿勢とも称され得る。対象上の各々のサンプル毎に、関数行列式

は、再投影された画素座標が、内的モデルパラメータｐ_tおよび外的モデルパラメータｐ_ｃの変化に対して画像の中でどのように移動するかを示す。関数行列式

は、

において評価されるため、その再投影は画素ｕの近傍に着地する。次に、関数行列式

と画素ｕでの画像勾配

とを組合せることによって、内的モデルパラメータｐ_tと外的モデルパラメータｐ_ｃとの変化に対する実際の画像とレンダリングされた画像との間の差の変化を判定することができる。

較正システム１００のある実施形態は、複数の較正対象１２０を含む。複数の較正対象１２０の実際の画像および合成画像を用いてカメラ１０５のパラメータを較正することができる。画像の強度は、

によって表わされ、付加的なモデルパラメータ

が各々の画像毎に含まれる。たとえば、較正装置１２５は、最小二乗最小化関数

に従って、合成画像中の画素の強度と実際の画像中の画素の強度との間の差を最小化するパラメータベクトルｐの値を定め得る。
式中、ｉ，ｕは、それぞれ異なる画像および当該画像中の画素についての指数である。

は、カメラ１０５のモデルパラメータの組を表わすベクトルである。
式（４）中の他の変数は、式（２）について以上で規定された変数に対応する。

図２は、ある実施形態に従う、光線追跡を行なってカメラのモデルパラメータに基づいて合成画像を生成するのに用いられる較正システム２００の図である。較正システム２００は、カメラにおいて実現される複数の画素の１つである画素２０５を含む。較正システム２００は、図１に示される較正対象１２０などの較正対象の部分２１０も含む。明瞭さのため、較正対象の部分２１０中の対象パターンを形成する円または楕円を破線で表わすが、実際には、円または楕円は、図１に示されるように塗り潰しされ得る。楕円２１５は、焦点距離、投影中心、歪み、倍率スケーリングなどのカメラの内的モデルパラメータを表わすのに用いられる。カメラのＸ、Ｙ、Ｚ座標、カメラのピッチ、ヨー、およびロール、ならびに画素２０５と較正対象の部分２１０との相対的位置などのカメラの外的モデルパラメータを両方向矢印２２０で表わす。

（部分２１０を含む）較正対象の合成画像は、画素２０５を含む複数の画素の強度値から形成される。したがって、合成画像は、画素２０５から較正対象の部分２１０への光線追跡を用いて、モデルパラメータ２１５，２２０に基づいてレンダリングされ得る。ある実施形態では、合成画像は、図１に示される較正装置１２５などの較正装置によって判定される。画素２０５の強度値は、画素２０５内の１つ以上の場所から較正対象の部分２１０の平面へ１つ以上の光線を追跡することによって測定される。

ある実施形態では、画素２０５は、画素２０５の区域内の中心点によって表わされ、画素２０５から較正対象の部分２１０へ単一の光線が追跡される。画素２０５の区域と較正対象の中の特徴との間の重なりに基づいて画素２０５に割当てられる強度値を平滑化するのに（以下に論じるような）平滑化関数を適用する。較正対象中の特徴に対する画素２０５中の中心点の近さによって重なりの度合を判定してもよい。平滑化関数は、強度がモデルパラメータの連続関数であることを確実にする。

ある実施形態では、画素２０５を複数の画素要素２２５に細分してもよい（明瞭さのため、参照番号で示すのは１つだけである）。次に、モデルパラメータ２１５，２２０を用いて各々の画素要素２２５から較正対象の部分２１０へ光線を追跡して、画素２０５から部分２１０への光線の経路を判定する。強度値は、光線が横切る部分２１０上の点での強度に基づいて各々の画素要素２２５に割当てられる。たとえば、光線２３０は、対象パターンを形成するのに用いられる楕円のうち任意のものの外側の場所で部分２１０に交差する。したがって、光線２３０に対応する画素要素２２５の強度には、強度値０などの、部分２１０の白い領域に対応する強度値が割当てられる。別の例では、光線２３５は、対象パターンの大きな縁の内側の場所で部分２１０に交差する。したがって、光線２３５に対応する画素要素２２５の強度には、強度値１などの、部分２１０の黒い領域に対応する強度値が割当てられる。各々の画素２０５毎の合計強度は、対応の画素２０５中の画素要素２２５の各々毎の強度を平均することによって測定される。強度がモデルパラメータの連続関数であることを確実にするように、平滑化関数を強度値に適用してもよい。

図３は、ある実施形態に従う、光線追跡によって形成される楕円３０５の合成画像３００と対応の画素３１０との図である。明瞭さのため、楕円３０５は、塗り潰していない楕円で表わされるが、実際には、楕円は、図１に示されるように塗り潰されていてもよい。式（２）および（３）の勾配は、合成画像中の画素の強度値を用いて数値計算される。したがって、レンダリング関数は、モデルパラメータに対する数値導関数が確実に非ゼロとなるようにモデルパラメータの連続関数である強度を発生すべきである。（図１に示される較正装置１２５などの）較正装置は、合成画像中の画素に割当てられる強度値に平滑化関数を適用し得る。図２について説明される光線追跡アルゴリズムの実施形態に加えてまたはその代わりに平滑化関数を用いてもよい。

平滑化関数のある実施形態は、較正対象画像中の特徴への画素の近さに基づいて、画素を白、黒、またはグレーの値としてレンダリングするかを決める。たとえば、較正装置は、モデルパラメータに基づく光線追跡を用いて、画素３１０の中心点から発する光線について較正対象平面中の交差点３１５を判定し得る。次に較正装置は、交差点３１５に最も近い楕円３０５上の点３２０を判定し、交差点３１５と最も近い点３２０との間の画素距離δを計算する。画素距離δがしきい値Ｔよりも小さい場合、画素の強度はグレーの値としてレンダリングされる。

交差点３１５が楕円３０５内にあれば、

、交差点３１５が楕円３０５の外側にあれば、

である。
δ＞τでありかつ交差点３１５が楕円３０５の外側にあれば、画素は白（ｌ＝１）としてレンダリングされる。δ＞τでありかつ交差点３１５が楕円３０５の内側にあれば、画素は黒（ｌ＝０）としてレンダリングされる。これにより、平滑化関数は、楕円３０５と画素３１０との間の交差の面積を近似し、交差の面積にほぼ比例して強度をスケーリングする。

図４は、ある実施形態に従う、較正アルゴリズムの順次反復における実際の画像と合成画像との比較のシーケンス４００を描く図である。比較４０５、４１０、４１５は、カメラが捕捉した実際の画像とモデルパラメータの組に基づいて較正装置が生成した合成画像とを示す。カメラが捕捉した実際の画像は、塗り潰した黒丸で示される。実際の画像は、比較４０５、４１０、４１５の各々で同じままである。破線の円は、較正装置が生成した合成画像を示すのに用いられる。合成画像は、較正装置によるモデルパラメータの修正に応答して、比較４０５、４１０、４１５の間で変化する。

比較４０５は、実際の画像とカメラを表わすモデルパラメータの初期推定に基づいて生成される初期合成画像とを示す。初期推定は、モデルパラメータのデフォルトの組に基づいて、またはモデルパラメータを初期化する別の較正技術を用いて、生成されてもよい。較正装置は、たとえば、本明細書中に論じるように、式（２）または式（３）に基づいて最小二乗最小化を行なうことによって、モデルパラメータに対する修正を決める。そうして、モデルパラメータを更新してもよい。

比較４１０は、実際の画像と、較正装置が決めた修正後モデルパラメータに基づいて生成される修正後合成画像とを示す。較正装置は、最小二乗最小化の別の反復を行なって、たとえば、本明細書中に論じるように式（２）または式（３）に基づいて最小二乗最小化の別の反復を行なうことによって、モデルパラメータに対する付加的な修正を決める。そうして、モデルパラメータを更新してもよい。

比較４１５は、実際の画像と、比較４１０で示される実際の画像および修正後合成画像を用いて較正装置が決めた修正後モデルパラメータに基づいて生成される修正後合成画像とを示す。比較４１５は、反復最小二乗最小化が収束したことを示す。収束は、実際の画像と修正後合成画像との強度の間の最小二乗差がしきい値を下回ったことによって示され得る。収束は、モデルパラメータの変化の振幅がしきい値を下回ったことによっても示されてもよい。

図５は、ある実施形態に従う、魚眼レンズを用いるカメラで撮影される較正対象の実際の画像５００を示す。較正対象は、図１に示される較正対象１２０などの、大小の円のパターンを含む平面対象である。魚眼レンズの大きな視野は、実際の画像５００中の大きな径方向歪みを生じる。較正対象の合成画像５０５は、実際の画像５００を捕捉するのに用いられるカメラを特徴付けるモデルパラメータに基づいて、較正装置によって生成される。差分画像５１０は、実際の画像５００および合成画像５０５中の画素の各々における強度間の差を示す。本明細書中で論じるように、５１０が示す強度差を、カメラのモデルパラメータを較正するのに用いてもよい。

図６は、ある実施形態に従う、カメラリグ６０５のモデルパラメータを較正するための較正システム６００の図である。カメラリグ６０５は、リグまたは他の構造によってしっかりと相互接続される（総称して「カメラ６１０−６１３」と称される）複数の個々のカメラ６１０，６１１，６１２，６１３を含む。カメラ６１０−６１３は、ローカル環境のより広い角度の視野を与える広角イメージングカメラまたはローカル環境のより狭い角度の視野を与える狭角イメージングカメラであり得る。カメラ６１０−６１３は、カメラ６１０−６１３の内的特性を表わす内的モデルパラメータを含むモデルパラメータの組を特徴とする。たとえば、カメラ６１０−６１３の各々は、焦点距離、投影中心、１つ以上の歪み係数、および１つ以上のスケーリング／拡大パラメータを含む内的モデルパラメータの別個の組を特徴とすることがある。

カメラリグ６０５は、カメラリグ６０５の位置を規定するＸ、Ｙ、およびＺ座標６１５，６１６，６１７を含む外的モデルパラメータも特徴とする。カメラリグ６０５および個々のカメラ６１０−６１３の各々は、ピッチ、ヨー、およびロール値も特徴とし得る（明瞭さのため、図６には示さない）。個々のカメラ６１０−６１３の相対的位置を特徴付けるのに外的モデルパラメータも用いてもよい。たとえば、Ｘ、Ｙ、およびＺ座標６１５，６１６，６１７はカメラ６１３の位置を示し得、付加的な外的モデルパラメータ６２０，６２１，６２２を用いて、カメラ６１３に対するカメラ６１０，６１１，６１２の位置を示し得る。外的モデルパラメータを用いて、ピッチ、ヨー、およびロール値などの、カメラ６１０−６１３の相対的な回転の向きを示してもよい。

較正システム６００は、サイズが異なる円または楕円から形成される対象パターンを含む１つ以上の較正対象６２５を含む。較正対象６２５の位置は、Ｘ、Ｙ、Ｚ座標６２６，６２７，６２８で表わされる。本明細書中で論じるように、較正装置６３０は、較正対象６２５の実際の画像とカメラ６１０−６１３のモデルパラメータに基づいて生成される合成画像とを比較することによって、カメラリグ６０５を較正する。たとえば、較正装置６３０は、合成画像中の画素の強度と実際の画像中の画素の強度との間の差を最小化するパラメータベクトルｐの値を、最小二乗最小化関数

に従って、決め得る。式中、ｉ，ｊ，ｕは、それぞれ、カメラリグ６０５中の異なるカメラ６１０−６１３、異なる画像、および画像中の画素の指数である。

は、ベースカメラ６１３に関連付けられるベース座標フレームから他のカメラ６１０−６１２への変換を表わすモデルパラメータであり、Ｎ_jは、カメラリグ中のカメラ６１０−６１３の数であり、

は、恒等変換である。

は、カメラリグ６０５のモデルパラメータの組を表わすベクトルである。
式（５）中の他の変数は、式（４）について以上で規定した変数に対応する。

図７は、ある実施形態に従う、カメラを特徴付けるモデルパラメータを較正するための方法７００のフロー図である。方法７００は、図１に示される較正装置１２５または図２に示される較正装置６３０のある実施形態で実現され得る。ブロック７０５で、カメラは、較正対象の実際の画像を捕捉する。実際の画像は、カメラの画像平面中の画素が受ける強度値によって表わされ、強度値を示す情報は、たとえば、カメラ中に実現されるメモリまたは外部メモリに記憶され得る。ブロック７１０で、較正装置は、カメラモデルパラメータに基づいて較正対象の合成画像をレンダリングする。たとえば、較正装置は、画素に関連付けられる場所から較正対象中の対応の場所へ光線を追跡し、次に較正対象上の場所での強度値を画素の場所に関連付けることによって、較正対象の合成画像をレンダリングし得る。

ブロック７１５で、較正装置は、実際の画像および合成画像中の画素における強度値の間の距離の測度に対して最小二乗最小化を行なうことによって、カメラのモデルパラメータを修正する。較正装置のある実施形態は、式（１）に規定される最小二乗最小化関数に基づいてモデルパラメータの値を修正する。較正装置のある実施形態は、ガウス・ニュートンアルゴリズムを用いて、たとえば式（２）に規定されるような更新後モデルパラメータを求めて解く。較正装置のある実施形態は、たとえば式（３）に規定されるようなLucas-Kanadeオプティカルフローアルゴリズムを用いて、更新後モデルパラメータを求めて解く。モデルパラメータは、式（４）に規定される最小二乗最小化関数を用いて複数の画像に基づいて決められてもよく、複数のカメラのアレイについてのモデルパラメータは、式（５）に規定される最小二乗最小化関数を用いて決めることができる。

決定ブロック７２０で、較正装置は、修正後モデルパラメータが収束基準を満たしているか否かを判断する。たとえば、較正装置は、モデルパラメータの僅かな（または百分率の）変化がしきい値を下回っているか否かを判断し得る。僅かなまたは百分率の変化は、各モデルパラメータ毎にまたはモデルパラメータの組合せ毎に判定され得る。別の例では、較正装置は、たとえば式（１）が示すように、実際の画像と合成画像との間の最小二乗差がしきい値を下回っているか否かを判断し得る。較正装置のある実施形態は、これらの収束基準または他の収束基準の組合せを用いてもよい。収束基準が満たされない限り、方法７００はブロック７１０へ流れ、そのため、モデルパラメータは収束基準が満たされるまで反復して更新される。収束基準が一旦満たされると、方法７００は、ブロック７２５に流れる。

ブロック７２５で、較正後モデルパラメータが記憶される。較正装置のある実施形態は、カメラによる後の使用のために、外部の場所にまたは他の非一時的コンピュータ読取可能記憶媒体に較正後モデルパラメータを記憶する。較正装置は、カメラがこの情報に直接にアクセスできるように、較正後モデルパラメータをカメラの中に実現される非一時的コンピュータ読取可能記憶媒体にも記憶し得る。

図８は、ある実施形態に従う、粗密スケーリング技術を用いてカメラを特徴付けるモデルパラメータを較正するための方法８００のフロー図である。方法８００は、図１に示される較正装置１２５または図２に示される較正装置６３０のある実施形態で実現され得る。ブロック８０５で、較正装置は画像のスケーリングを選ぶ。たとえば、較正装置は、まず、各々の画素が較正対象のより大きな部分に関連付けられる強度値を捕捉するまたは表わすように、粗いスケーリングを選び得る。粗いスケーリングを用いることによって高い分解能の特徴を平滑化する。これは、方法８００が最小二乗最小化アルゴリズムにおいて極小を回避するのを助ける。たとえば、図１に示される較正対象１２０から実際の画像を捕捉するように比較的粗いスケーリングを選ぶことにより、実際の画像からより小さな丸を実質的に除去して、較正対象１２０中のより大きな丸のパターンに実質的に基づいて最小二乗最小化を行なえるようにし得る。したがって、最小化アルゴリズムは、実際の画像および合成画像において小さな丸が大きな丸に整列される際に起こる極小を回避し得る。

ブロック８１０で、カメラは、ブロック８０５で決定されたスケーリングで較正対象の実際の画像を捕捉する。実際の画像は、カメラの画像平面中の画素が受けた強度値によって表わされ、強度値を示す情報は、たとえばカメラの中に実現されるメモリまたは外部メモリに記憶され得る。ブロック８１５で、較正装置は、カメラモデルパラメータおよびブロック８０５で決定されたスケーリングに基づいて較正対象の合成画像をレンダリングする。たとえば、較正装置は、画素に関連付けられる場所から較正対象の対応の場所へ光線を追跡し、次に較正対象上の場所での強度値を画素の場所に関連付けることによって較正対象の合成画像をレンダリングし得る。

ブロック８２０で、較正装置は、実際の画像および合成画像中の画素における強度値の間の距離の測度に対して最小二乗最小化を行なうことによってカメラのモデルパラメータを修正する。本明細書中で論じるように、較正装置のある実施形態は、たとえば式（２）に規定されるような更新後モデルパラメータを求めて解くガウス・ニュートンアルゴリズム、またはたとえば式（３）に規定されるようなLucas-Kanadeオプティカルフローアルゴリズムを用いて、式（１）に規定される最小二乗最小化関数に基づいてモデルパラメータの値を修正する。式（４）に規定される最小二乗最小化関数を用いて、複数の画像にも基づいてモデルパラメータを決めてもよい。式（５）に規定される最小二乗最小化関数を用いて、複数のカメラのアレイのモデルパラメータを決めることができる。

決定ブロック８２５で、較正装置は、修正後モデルパラメータが収束基準を満たしているか否かを判断する。本明細書中に論じるように、収束基準は、モデルパラメータの僅かな（または百分率の）変化がしきい値を下回るか否か、または実際の画像と合成画像との間の最小二乗差が、たとえば式（１）に示されるようなしきい値を下回るか否かを示してもよい。較正装置のある実施形態は、これらの収束基準または他の収束基準の組合せを用いてもよい。収束基準が満たされない限り、方法８００はブロック８１５に流れるため、モデルパラメータは、収束基準が満たされるまで反復して更新される。収束基準が一旦満たされると、方法８００はブロック８３０に流れる。

決定ブロック８３０で、較正装置は、実際の画像と合成画像とが原寸大であるか否かを判断する。これにより、実際の画像と合成画像とは、最も高い可能な分解能にあり、かつ実際の画像および合成画像中の画素は、較正対象の最も小さな可能な部分を表わす。そうでない場合、方法８００はブロック８３５に流れ、倍率は、２番目に分解能が高い２番目に高い倍率に上げられる。たとえば、方法８００は、１／８、１／４、１／２、および原寸大などの予め定められた倍率の組を用いてもよい。したがって、方法８００は、修正後カメラモデルパラメータが原寸大の実際の画像および合成画像に基づいて決められたカメラモデルパラメータを表わすまで、倍率の組を通して反復し得る。原寸大の実際の画像および合成画像に基づいてカメラモデルパラメータが決まったと一旦較正装置が判断すると、方法８００はブロック８４０に流れる。

ブロック８４０で、較正後モデルパラメータが記憶される。較正装置のある実施形態は、カメラによる後の使用のために、外部の場所にまたは他の非一時的コンピュータ読取可能記憶媒体に較正後モデルパラメータを記憶する。較正装置は、カメラがこの情報に直接にアクセスできるように、較正後モデルパラメータをカメラの中に実現される非一時的コンピュータ読取可能記憶媒体にも記憶し得る。

ある実施形態では、上述の技術のある局面は、ソフトウェアを実行する処理システムの１つ以上のプロセッサによって実現されてもよい。ソフトウェアは、非一時的コンピュータ読取可能記憶媒体上に記憶されるまたは他のやり方で有形に具現化される実行可能な命令の１つ以上の組を備える。ソフトウェアは、１つ以上のプロセッサによって実行されると１つ以上のプロセッサを操作して上述の技術の１つ以上の局面を行なう命令およびあるデータを含むことができる。非一時的コンピュータ読取可能記憶媒体は、たとえば、磁気もしくは光学ディスク記憶装置、フラッシュメモリ、キャッシュ、ランダムアクセスメモリ（ＲＡＭ）などの固体記憶装置、または他の不揮発性メモリ装置もしくは複数の装置を含むことができる。非一時的コンピュータ読取可能記憶媒体上に記憶される実行可能な命令は、ソースコード、アセンブリ言語コード、オブジェクトコード、または１つ以上のプロセッサによって解釈されるかまたはそれ以外で実行可能な他の命令フォーマットにあってもよい。

コンピュータ読取可能記憶媒体は、コンピュータシステムに命令および／またはデータを与えるように使用の際にコンピュータシステムがアクセス可能な任意の記憶媒体または記憶媒体の組合せを含み得る。そのような記憶媒体は、光学媒体（たとえばコンパクトディスク（ＣＤ）、デジタル多用途ディスク（ＤＶＤ）、ブルーレイディスク）、磁気媒体（たとえばフロッピー（登録商標）ディスク、磁気テープ、もしくは磁気ハードドライブ）、揮発性メモリ（たとえば、ランダムアクセスメモリ（ＲＡＭ）もしくはキャッシュ）、不揮発性メモリ（たとえば、読出専用メモリ（ＲＯＭ）もしくはフラッシュメモリ）、または微小電気機械システム（ＭＥＭＳ）ベース記憶媒体を含むことができるが、これらに限定されない。コンピュータ読取可能記憶媒体は、コンピューティングシステム（たとえば、システムＲＡＭまたはＲＯＭ）に埋込まれる、コンピューティングシステム（たとえば、磁気ハードドライブ）に固定して装着される、コンピューティングシステム（たとえば、光学ディスクもしくはユニバーサルシリアルバス（ＵＳＢ）ベースのフラッシュメモリ）に着脱可能に装着される、または有線もしくは無線ネットワーク（たとえば。ネットワークアクセス可能記憶装置（ＮＡＳ））を介してコンピュータシステムに結合されるものであってもよい。

なお、一般的な説明において上述した活動または要素のすべてが要件とされるわけではなく、特定の活動または装置の部分が要件とされないことがあり、かつ記載されたものに加えて１つ以上のさらなる活動が行なわれるまたは要素が含まれることがある。さらに、活動が列挙される順序は、必ずしもそれらが行なわれる順序ではない。また、具体的実施形態を参照して概念を説明した。しかしながら、当業者は、以下の請求項に述べるような本開示の範囲から逸脱することなく、さまざまな修正および変更をなすことができることを認める。したがって、明細書および図は、制限的な意味よりはむしろ、例示と見做されるべきであり、すべてのそのような修正が本開示の範囲内に含まれることが意図される。

具体的実施形態に関して、利益、他の利点、および課題に対する解決策を上述した。しかしながら、利益、利点、課題に対する解決策、および任意の利益、利点、または解決策を生じさせ得るまたはより顕著にし得る任意の特徴が、任意のまたはすべての請求項の決定的な、要件とされる、または必須の特徴と解釈されるべきではない。さらに、以上開示した特定の実施形態は例示にすぎない。というのも、開示される主題は、本明細書中の教示の利益を有する当該技術分野の当業者には明らかな、異なるしかし均等な態様で修正されかつ実践され得るからである。以下の請求項に記載されるもの以外に、本明細書中に示される構築または設計の詳細に対する如何なる限定も意図されない。したがって、以上に開示される特定の実施形態は変更または修正され得、かつそのようなすべての変形が開示される主題の範囲内に入ると考えられることが明らかである。応じて、本明細書中で求められる保護は、以下の請求項に述べられるとおりである。

Claims (14)

1. 方法であって、
   カメラのモデルパラメータに基づいて複数の光線を画素から対象パターン上の対応の点へ追跡することによって前記対象パターンの合成画像中の前記画素をレンダリングすることと、
   前記モデルパラメータを修正して、前記合成画像中の前記画素の強度と前記カメラによって生成される前記対象パターンの実際の画像中の画素の強度との間の距離の測度を小さくすることとを含み、
   前記モデルパラメータは、内的モデルパラメータおよび外的モデルパラメータを含み、
   前記複数の光線を追跡することは、各々の画素の中心点から前記対象パターンの平面へ光線を追跡することと、前記対象パターン中の特徴への前記画素の近さに基づいて前記画素の強度を測定することとを含む、方法。
2. 前記合成画像中の画素をレンダリングすることはさらに、
   画素を要素のアレイに細分することと、
   前記モデルパラメータに基づいて各々の要素から前記対象パターン上の対応の点へ光線を追跡することと、
   前記対応の点の前記強度を前記要素に関連付けることと、
   前記画素に関連付けられる前記アレイ中の前記要素の各々毎の前記強度を平均することによって前記画素の合計強度を測定することとを含む、請求項１に記載の方法。
3. 前記モデルパラメータを修正して前記距離の測度を最小化することは、前記合成画像中の前記画素の強度と前記実際の画像中の前記画素の強度との間の差の二乗の和の最小二乗最小化を行なうことを含む、請求項１に記載の方法。
4. 前記最小二乗最小化を行なうことは、前記モデルパラメータの関数として前記合成画像中の前記画素での前記強度の勾配を定めることを含む、請求項３に記載の方法。
5. 前記強度の前記勾配を定めることは、前記合成画像中の前記画素をレンダリングして前記モデルパラメータに対して連続する強度を生成することを含む、請求項４に記載の方法。
6. 前記最小二乗最小化を行なうことは、ガウス・ニュートン最小二乗最適化アルゴリズムおよびLucas-Kanadeオプティカルフローアルゴリズムのうち少なくとも一方を用いて前記最小二乗最小化を行なうことを含む、請求項３に記載の方法。
7. 前記モデルパラメータを修正することは、モデルパラメータの組からの少なくとも１つのモデルパラメータを修正することを含み、前記モデルパラメータの組は、
   前記カメラのレンズの焦点距離と、
   前記カメラの前記レンズの投影中心と、
   前記カメラの前記レンズによって生じる歪みを表わす少なくとも１つの歪み係数と、
   Ｘ方向のスケーリングと、
   Ｙ方向のスケーリングと、
   前記対象パターンに対する前記カメラの平行移動を規定する座標と、
   前記対象パターンに対する前記カメラの回転を規定するピッチ、ロール、またはヨー値と、
   少なくとも１つの他のカメラに対する前記カメラの平行移動を規定する座標と、
   前記少なくとも１つの他のカメラに対する前記カメラの回転を規定するピッチ、ロール、またはヨー値と、
   前記カメラの前記レンズによって生じる色収差を表わす少なくとも１つの色パラメータとを含む、請求項３に記載の方法。
8. 方法であって、
   カメラのモデルパラメータに基づいて複数の光線を画素から対象パターン上の対応の点へ追跡することによって前記対象パターンの合成画像中の前記画素をレンダリングすることと、
   前記モデルパラメータを修正して、前記合成画像中の前記画素の強度と前記カメラによって生成される前記対象パターンの実際の画像中の画素の強度との間の距離の測度を小さくすることと、
   ある倍率だけ前記実際の画像をスケーリングすることとを含み、前記合成画像中の前記画素をレンダリングすることは、前記倍率に基づいて前記合成画像中の前記画素をレンダリングすることを含み、
   前記方法は、さらに、
   前記モデルパラメータを修正して前記合成画像中の前記画素の強度とスケーリングされた前記実際の画像中の画素の強度との間の距離の測度を最小化することと、
   前記倍率を反復して増大させ、前記合成画像中の前記画素をレンダリングし、かつ前記モデルパラメータを修正することとを含む、方法。
9. 機器であって、
   対象パターンの実際の画像を捕捉するカメラと、
   前記カメラのモデルパラメータに基づいて、複数の光線を画素から前記対象パターン上の対応の点へ追跡することによって前記対象パターンの合成画像中の前記画素をレンダリングし、かつ前記モデルパラメータを修正して前記合成画像中の前記画素の強度と前記実際の画像中の画素の強度との間の距離の測度を小さくする較正装置とを備え、
   前記モデルパラメータは、内的モデルパラメータおよび外的モデルパラメータを含み、
   前記較正装置は、前記画素のうち１つの中心点から前記対象パターンの平面へ光線を追跡し、かつ前記対象パターン中の特徴への前記画素の近さに基づいて前記画素の強度を測定するものである、機器。
10. 前記較正装置は、前記画素の１つを要素のアレイに細分し、前記モデルパラメータに基づいて各々の要素から前記対象パターン上の対応の点へ光線を追跡し、前記対応の点の前記強度を前記要素に関連付け、かつ前記画素に関連付けられた前記アレイ中の前記要素の各々毎の前記強度を平均することによって前記画素の合計強度を測定するものである、請求項９に記載の機器。
11. 前記較正装置は、前記合成画像中の前記画素の強度と前記実際の画像中の前記画素の強度との間の差の二乗の和の最小二乗最小化を行なうものである、請求項９に記載の機器。
12. 前記較正装置は、前記モデルパラメータの関数として前記合成画像中の前記画素での前記強度の勾配を定めるものである、請求項１１に記載の機器。
13. 前記較正装置は、前記合成画像中の前記画素をレンダリングして前記モデルパラメータに対して連続する強度を生成するものである、請求項１２に記載の機器。
14. 前記較正装置は、
    ある倍率で前記実際の画像をスケーリングし、
    前記倍率に基づいて前記合成画像中の前記画素をレンダリングし、
    前記モデルパラメータを修正して、スケーリングされた前記合成画像中の前記画素の強度とスケーリングされた前記実際の画像中の画素の強度との間の距離の測度を最小化し、かつ
    前記倍率を反復して増大させ、前記合成画像中の前記画素をレンダリングし、かつ前記モデルパラメータを修正するものである、請求項９に記載の機器。

Images