JP6664000B2 - 較正装置、較正方法、光学装置、撮影装置、および投影装置 - Google Patents

Description

本発明は、較正装置、較正方法、光学装置、撮影装置、および投影装置に関するものである。

撮影装置や投影装置のカメラ較正を行う較正装置が知られている（例えば、特許文献１参照。）。カメラモデルには複数の未知のパラメータ（カメラパラメータ）が含まれており、較正装置によってそれらのカメラパラメータを求めておくことにより、画像の２次元座標に対応する実世界の逆投影直線を数学的に得ることができる。あるいは、実世界の３次元座標に対応する画像の２次元座標を得ることができる。

ここで、特許文献１および非特許文献１に開示されている従来のカメラ較正について説明する。カメラ較正は、実世界の３次元座標がカメラで撮像されて画像の２次元座標に変換される過程を表現した数学的なカメラモデルを用いて以下の手順により行われる。初めに、下記の数１を用いて実世界の３次元座標（以下、ワールド座標という。）（ｘ，ｙ，ｚ）を正規化像面座標（ｕｐ，ｖｐ）に投影する。

ただし、数２の回転行列Ｒと平行移動ベクトルＴは、ワールド座標からカメラ座標への３次元の座標変換を表している。これらはワールド座標に対するカメラの位置と姿勢を表す値であり、外部パラメータと呼ばれる。

なお、数１は、全ての逆投影直線がカメラの光学中心で交わるという想定に基づいた式である。次に、下記の数３を用いて、正規化像面座標（ｕｐ，ｖｐ）に歪曲収差を加えた（ｕｄ，ｖｄ）を求める。

ただし、（ｇ１，ｇ２，ｇ３，ｇ４，ｋ１）は歪曲パラメータである。さらに、下記の数４を用いて、歪曲収差を加えた正規化像面座標（ｕｄ，ｖｄ）をピクセル単位の画素座標（ｕ，ｖ）に変換する。

このように、カメラの撮像によるワールド座標（ｘ，ｙ，ｚ）から画素座標（ｕ，ｖ）への変換を数１から数４で表すのが標準的なカメラモデルである。なお、数３および数４のパラメータ（αｕ，αｖ，ｕ０，ｖ０，ｇ１，ｇ２，ｇ３，ｇ４，ｋ１）は、カメラ自体の性質を表すので、内部パラメータと呼ばれる。

歪曲パラメータは、用途によって様々に定義される。例えば、数３は、３次までの歪曲収差を考慮したモデルであるが、さらに５次、７次…という高次の項を追加したモデルも用いられる。それらの中で代表的な歪曲モデルが下記の数５に示される非特許文献２のブラウンのモデルである。

ただし、ｒｐ２＝ｕｐ２＋ｖｐ２

ブラウンのモデルでは、歪曲収差を、回転対称な動径歪曲のパラメータ（ｋ１，ｋ２，ｋ３，…）および回転非対称な接線歪曲のパラメータ（ｐ１，ｐ２，ｐ３，…）で表している。
一方、特許文献２には、画素座標に対応する物体側の逆投影直線を直接モデル化したカメラモデルが開示されている。そのモデルは、歪曲モデルの各係数を物体距離ｚの１次式で置き換えた形になっているという特徴がある。特許文献２は、その一例として、下記の数６のカメラモデルを提示している。

ただし、数５のブラウンのモデルから数６への変更箇所は次のとおりである。（１）画素座標からワールド座標への横倍率を表す係数ｋ０の項を追加した。（２）３次の動径歪曲ｋ１と２次の接線歪曲（ｐ１，ｐ２）のみを考慮した。（３）ワールド座標に対する画素座標の横移動（Δｕ，Δｖ）を追加した。
さらに、特許文献２は、カメラモデル数６の残差が最小になるように、数２の回転行列Ｒと平行移動ベクトルＴを最適化する、というカメラ較正のアルゴリズムを開示している。

カメラ較正では一般に、ワールド座標（ｘ，ｙ，ｚ）が既知の特徴点を複数備えた較正チャートをカメラで撮像する。その後、画像処理で特徴点が撮像された画素座標（ｕ，ｖ）を取得する。このようにして、ワールド座標（ｘ，ｙ，ｚ）と画素座標（ｕ，ｖ）との対応を表す複数の測定データを得て、カメラパラメータを求めている。

特開２００４−２１３３３２号公報 国際公開第２０１６／７６４００号公報

「ディジタル画像処理［改訂新版］」、ＣＧ−ＡＲＴＳ協会、２０１５、ｐ．３０８−３１７ Ｄ．Ｃ．Ｂｒｏｗｎ，"Ｃｌｏｓｅ−ｒａｎｇｅ ｃａｍｅｒａ ｃａｌｉｂｒａｔｉｏｎ"，Ｐｈｏｔｏｇｒａｍｍ， Ｅｎｇ．３７，８５５−８６ ６，１９７１

従来のカメラモデルで、ワールド座標に対応する画素座標を求めるとき、以下のような課題がある。
特許文献１および非特許文献１の較正装置では、全ての逆投影直線がカメラの光学中心で交わるという想定に基づいたカメラモデルを用いている。しかしながら、一般には光学系は瞳収差を伴うために、全ての逆投影直線が入射瞳上の１点では交わらない。特に、画角が大きな広角レンズを用いている場合には、瞳収差が顕著である。そのため、このカメラモデルでは、ワールド座標に対応する正確な画素座標を求めることができない。

また、特許文献１のカメラモデルを初めとする従来の標準的なカメラモデルは数１から数４に示される複数の数式からなる非線形モデルであり、測定データからカメラパラメータを求める過程で、最終的に全てのカメラパラメータを繰り返し最適化する必要がある。そのため、次の２つの問題が生じる。

第１に、非線形モデルの最適化の評価関数には複数の極小値が存在する可能性があり、適切な初期値を設定しないと誤った最小値に収束するという問題がある。第２に、複数のカメラパラメータの最適化演算を繰り返し行う必要があるため、膨大な計算時間が必要となる場合がある。
一方、特許文献２のカメラモデルは、上記の課題を解消している。しかし、そのカメラモデルは、画素座標に対応する物体側の逆投影直線をモデル化したものであり、その逆関数、すなわち、ワールド座標に対応する画素座標を直接計算するための解析的な数式は提示されていない。したがって、ワールド座標から画素座標を求めるためには繰り返し最適化が必要であり、そのための計算時間を要する。

本発明は上述した事情に鑑みてなされたものであって、カメラパラメータを短時間に精度よく求めることができ、かつワールド座標に対応する画素座標を短時間に求められる較正装置、較正方法、光学装置、撮影装置、および投影装置を提供する。

本発明の一態様は、複数の画素を有する２次元の画像変換素子と、該画像変換素子と３次元のワールド座標空間との間で結像関係を形成する光学系とを備える光学装置の較正装置であって、前記画像変換素子の２次元の画素座標と、前記ワールド座標空間の３次元のワールド座標との対応を示す較正データを取得する較正データ取得部と、該較正データ取得部により取得された較正データに、前記２次元の画素座標の２つの座標値を、前記３次元のワールド座標の３つの座標値の関数として表したカメラモデルを当てはめて、該カメラモデルのパラメータを算出するパラメータ算出部とを備える較正装置である。

本態様によれば、較正データ取得部により取得された、画像変換素子の２次元の画素座標とワールド座標空間の３次元のワールド座標との対応を示す較正データに、パラメータ算出部においてカメラモデルが当てはめられることにより、カメラモデルのパラメータが算出される。パラメータの算出においては、２次元の画素座標の２つの座標値を、３次元のワールド座標の３つの座標値の関数として表したカメラモデルを用いる。これにより、歪曲収差を含むワールド座標と画素座標との結像関係を示す線形モデルによって、過度な繰り返し最適化を行うことなくカメラモデルのパラメータを短時間に精度よく求め、かつワールド座標に対応する画素座標も短時間に求めることができる。

上記態様においては、前記３次元のワールド座標の３つの座標値の関数を要素とした複数の２次元ベクトル関数の線形和によって、前記２次元の画素座標の２つの座標値を表してもよい。

このようにすることで、３次元のワールド座標の３つの座標値から、各画素に対応する２次元の画素座標の２つの座標値を簡易に求めるパラメータをより短時間に精度よく求めることができる。

上記態様においては、前記カメラモデルが、前記画素座標平面上の点の２つの画素座標値と、前記光学系によって前記画素座標平面と光学的に共役な平面上の点の２つのワールド座標値との結像関係を表す線形の結像モデルの各係数を、他の１つのワールド座標の逆数のベキ多項式で置換した数式で表現されてもよい。
上記態様においては、前記パラメータ算出部が、前記カメラモデルを線形の最小二乗法で前記較正データに当てはめてもよい。

上記態様においては、前記パラメータ算出部が、前記較正データ取得部により取得された較正データの内、前記３次元のワールド座標を、該ワールド座標の回転を表す３つの回転角の１以上の回転角で回転したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の回転角を求めてもよい。

上記態様においては、前記パラメータ算出部が、前記較正データ取得部により取得された較正データの内、前記３次元のワールド座標を、該ワールド座標の平行移動を表す３つの平行移動成分の１以上の成分で平行移動したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の平行移動成分を求めてもよい。

上記態様においては、前記光学装置が、複数の前記画像変換素子および該画像変換素子と前記３次元のワールド座標空間との間で結像関係を形成する光学系を備え、前記較正データ取得部が各前記画像変換素子および前記光学系の較正データを取得し、前記パラメータ算出部が、各前記画像変換素子および前記光学系の較正データに、各該画像変換素子の前記２次元の画素座標の関数として表したカメラモデルを当てはめてもよい。

上記態様においては、前記光学装置が撮影装置であり、前記画像変換素子が撮像素子であり、前記光学系が撮像光学系であってもよい。
また、上記態様においては、前記光学装置が投影装置であり、前記画像変換素子が画像形成素子であり、前記光学系が投影光学系であってもよい。

本発明の他の態様は、複数の画素を有する２次元の画像変換素子と、該画像変換素子と３次元のワールド座標空間との間で結像関係を変換する光学系とを備える光学装置の前記画像変換素子の２次元の画素座標と、前記ワールド座標空間の３次元のワールド座標との対応を示す較正データを取得するステップと、取得された較正データに、前記２次元の画素座標の２つの座標値を、前記３次元のワールド座標の３つの座標値の関数として表したカメラモデルを当てはめて、該カメラモデルのパラメータを算出するステップとを含む較正方法である。

上記態様においては、前記カメラモデルが、前記３次元のワールド座標の３つの座標値の関数を要素とした複数の２次元ベクトル関数の線形和によって、前記２次元の画素座標の２つの座標値を表してもよい。

上記態様においては、前記カメラモデルが、前記画素座標平面上の点の２つの画素座標値と、前記光学系によって前記画素座標平面と光学的に共役な平面上の点の２つのワールド座標値との結像関係を表す線形の結像モデルの各係数を、他の１つのワールド座標の逆数のベキ多項式で置換した数式で表現されてもよい。
上記態様においては、パラメータを算出するステップが、前記カメラモデルを線形の最小二乗法で較正データに当てはめてもよい。

上記態様においては、パラメータを算出するステップが、較正データを取得するステップにより取得された較正データの内、前記３次元のワールド座標を、該ワールド座標の回転を表す３つの回転角の１以上の回転角で回転したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の回転角を求めてもよい。

上記態様においては、パラメータを算出するステップが、較正データを取得するステップにより取得された較正データの内、前記３次元のワールド座標を、該ワールド座標の平行移動を表す３つの平行移動成分の１以上の成分で平行移動したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の平行移動成分を求めてもよい。

本発明の他の態様は、上記の較正装置により算出されたパラメータが設定されたカメラモデルを搭載した光学装置である。

上記態様においては、前記カメラモデルにより、前記画素座標の２つの座標値を、前記３次元のワールド座標の３つの座標値から求める画素座標算出部を備えてもよい。
このようにすることで、画素座標算出部により、取得された３次元のワールド座標から画素座標の２つの座標値を簡易に求めることができる。

上記態様においては、前記カメラモデルにより、前記ワールド座標に対応する前記画像変換素子により取得あるいは形成された画像の画素座標を求め、歪みを補正した画像を生成する歪補正画像生成部を備えてもよい。

本発明の他の態様は、上記の較正装置により取得された回転角または平行移動成分がパラメータとして設定されたカメラモデルを搭載した光学装置である。

上記態様においては、前記回転角または平行移動成分により、前記ワールド座標を回転または平行移動後のワールド座標に変換するワールド座標回転部またはワールド座標平行移動部を備えていてもよい。

本発明の他の態様は、上記の光学装置からなる撮影装置である。
本発明の他の態様は、上記の光学装置からなる投影装置である。

本発明によれば、カメラパラメータを短時間に精度よく求めることができ、かつワールド座標に対応する画素座標を短時間に求められるという効果を奏する。

本発明の第１の実施形態に係る較正装置を模式的に示す全体構成図である。 図１の較正装置の較正チャートのパターンを示す図である。 本発明の第１の実施形態に係る較正方法のフローチャートを示す図である。 図１の較正装置のワールド座標と画素座標との関係を示す図である。 樽型の歪曲収差がある場合の画像例を示す図である。 歪曲収差がない場合の画像例を示す図である。 歪補正方法のフローチャートを示す図である。 本発明の第３の実施形態に係る較正装置を模式的に示す平面図である。 本発明の第４の実施形態に係る較正装置を模式的に示す平面図である。

本発明の第１の実施形態に係る較正装置およびカメラ較正方法について、図面を参照して以下に説明する。
本実施形態に係る較正装置は、カメラ較正装置１であって、撮像した画像を所定のフォーマットの画像ファイルとして外部に転送するカメラ（撮影装置）２を較正対象としている。本実施形態においては、光学装置の一例として、カメラ２を用いている。

本実施形態に係るカメラ較正装置１は、図１に示されるように、較正対象であるカメラ２を固定するベース３と、該ベース３に設けられたｚ軸移動ステージ４と、該ｚ軸移動ステージ４によって移動させられる可動部５に固定された較正チャート６と、カメラ２およびｚ軸移動ステージ４に接続されたコンピュータ７とを備えている。カメラ較正装置１の３次元の座標軸は図１のように定義されている。カメラ２を固定するベース３、較正チャート６およびｚ軸移動ステージ４により、較正データ取得部８が構成されている。

ｚ軸移動ステージ４は、モータ４ａにより駆動され可動部５を直線的に移動させる直線駆動機構である。カメラ較正装置１においては、可動部５の移動方向をｚ軸とし、ｚ軸に垂直な面内の水平方向および垂直方向をｘ軸およびｙ軸と定義している。
本実施形態においては、座標原点の位置がカメラレンズ９の入射瞳付近に定義されている。

カメラ２は、その光軸がｚ軸に平行になるように、かつ、撮像面の水平方向および垂直方向がｘ軸およびｙ軸に平行になるように、かつ、座標原点がカメラ２の所定の位置と一致するように、ベース３に取り付けられるようになっている。

較正チャート６は、カメラ較正で広く利用されている図２のチェスボード１０であり、ベース３に固定されたカメラ２と正対するように、すなわち、ｚ軸に垂直な面内に配置されるように可動部５に固定されている。較正チャート６は複数の特徴点を備えた図表であればどのようなものでも構わない。

較正チャート６は、ｚ軸移動ステージ４によってｚ軸方向の任意の位置に移動可能になっている。ｚ軸移動ステージ４の可動部５の移動範囲は、カメラ較正が必要な物体距離（＝カメラ２と撮像対象との距離）の範囲を包含している。

コンピュータ７は、カメラ２の撮像を制御して、撮像された画像を所定のフォーマットの画像ファイルとして読み込むように機能する。また、コンピュータ７はｚ軸移動ステージ４を制御して、較正チャート６をｚ軸方向の所定の位置に移動するように機能する。さらにコンピュータ７は、取得された構成データにカメラモデルを当てはめてカメラパラメータを算出するパラメータ算出部としても機能する。

ここで、図２を参照して、較正チャート６として使用されるチェスボード１０について説明する。
チェスボード１０は、平面上に黒と白の正方形が正方格子を成すように並んだ市松模様のパターンを有する平板状部材であり、各正方形の頂点に相当する交点をカメラ較正の特徴点として利用するようになっている（以下、これらの特徴点を格子点１１と呼ぶ。）。

チェスボード１０としては、カメラ較正に十分な数の格子点１１がカメラ２の撮像範囲内に入るものが使用される。撮像されるチェスボード１０の範囲は物体距離によって変化するが、各物体距離で少なくとも１０×１０個程度の格子点１１が撮像されることが好ましい。また、撮像された格子点１１の画素座標と較正チャート６上での格子点１１のワールド座標との対応をとるために、較正チャート６の中央付近に１つの基準位置マーク１２を設けている。

この基準位置マーク１２の右下最近傍の格子点（中央の格子点１３）がｚ軸上に位置し、同時にチェスボード１０の縦横がｘ軸およびｙ軸に平行になるように、チェスボード１０をカメラ較正装置１に設置する。これにより、チェスボード１０の正方格子の格子間隔とｚ軸移動ステージ４の移動位置とから、各格子点１１，１３のワールド座標（ｘ，ｙ，ｚ）が既知の値として確定する。

このように構成された本実施形態に係るカメラ較正装置１を用いたカメラ較正方法について以下に説明する。
本実施形態に係るカメラ較正装置１を用いてカメラ２を較正するには、操作者は、初めに較正対象のカメラ２を座標軸の定義に従ってカメラ較正装置１に取り付け、コンピュータ７に接続する。その後に、コンピュータ７内部の測定プログラムを開始する。

以下、測定プログラムにより、自動的に複数の物体距離の較正チャート６の画像がカメラ２によって撮像され、それらの画像から格子点１１の画素座標が取得される。測定プログラムについて、図３のフローチャートを参照して説明する。

測定が開始されると、まず、カメラ２を較正する物体距離の範囲のカメラ２に近い側の端に較正チャート６が位置するように、ｚ軸移動ステージ４が移動される（ステップＳ１）。次に、カメラ２により較正チャート６が撮像され、その画像ファイルがコンピュータ７に転送される（ステップＳ２）。そして、所定回数の撮像が行われるまで、これらのステップＳ１，Ｓ２が繰り返される（ステップＳ３）。所定回数としては、例えば、５回以上の回数が設定されている。

このとき、ステップＳ１では１回の繰り返しごとに、カメラ２から較正チャート６までの物体距離が所定の間隔で大きくなるようにｚ軸移動ステージ４により可動部５を移動させる。可動部５の移動量は等間隔でなくてもよいが、カメラ２を較正する物体距離の範囲内で少なくとも５カ所程度の異なる物体距離で較正チャート６を撮像することが好ましい。そして、所定の撮像枚数に達したら、次のステップＳ４に進む。

ステップＳ１からステップＳ３でコンピュータ７に転送された複数の画像ファイルが画像処理されることにより、撮像範囲内の各格子点１１の画素座標が求められ、各画像ファイルの基準位置マーク１２の重心の画素座標が求められる（ステップＳ４）。なお、チェスボード１０の格子点１１の画素座標をサブピクセルで求める方法は、以下の文献等により公知なので、ここでの説明は省略する。Ｇ．Ｂｒａｄｓｋｉ，Ａ．Ｋａｅｈｌｅｒ（松田 晃一訳）「詳解 ＯｐｅｎＣＶ−コンピュータビジョンライブラリを使った画像処理・認識」（オライリー・ジャパン，２００９）ｐ．３２５−３２６

次いで、ステップＳ４で求めた各格子点１１の画素座標が、較正チャート６上の格子点１１のワールド座標に対応付けられる（ステップＳ５）。上述したように基準位置マーク１２の右下最近傍の中央の格子点１３はワールド座標のｚ軸上にあるので、それを基準にして各格子点１１，１３の画素座標とワールド座標とを対応付けることができる。最後に、対応付けられた全ての画素座標およびワールド座標が測定データファイルに書き出されて、測定が終了する。上記手順でカメラパラメータの最適化に必要な測定データが得られる。

ここで、本実施形態において用いられるカメラモデルについて図４Ａから図４Ｃを参照して説明する。図４Ａは、カメラ２の画素座標と物体側の逆投影直線の関係を説明するカメラ２の断面図である。カメラ２は、レンズ１５，１６および開口絞り１７を有する撮像光学系１４と、撮像素子（画像変換素子）１８とを備えている。

物体側のワールド座標（ｘ，ｙ，ｚ）を図１と同様に定義する。また、撮像素子１８の撮像面に、撮像素子１８の横方向および縦方向と平行に画素座標のｕ軸およびｖ軸を定義する。図４Ａには、撮像光学系１４を通して撮像素子１８の各画素の中央に入射する主光線１９が描かれている。

主光線１９とは、撮像光学系１４の開口絞り１７の中心を通る光線である。ここでは、１つの画素の中心に結像する像点２０とその主光線１９を例に、主光線１９の概念を説明する。初めに、撮像素子１８の撮像面と共役な平面２１を考える。その平面２１と主光線１９の交点にある物点２２は、撮像光学系１４によって像点２０に結像する。すなわち、物点２２を通る全ての光線は、収差を無視すれば、像点２０の１点に入射する。

次に、共役な物点２２から主光線１９に沿って、撮像面と共役でない平面２３上に移動した物点２４を考える。共役でない物点２４を通る各光線は像点２０の１点に集まらないので、撮像面上の像点はボケて広がる。

そのとき、コマ収差を無視すると、ボケ像は、開口絞り１７の中心を通る主光線１９の入射位置を中心に広がるので、ボケた像点の光強度の重心を取って像位置とするならば、像点２０の位置は変わらない。したがって、物体側の主光線１９上にある全ての物点２２，２４は、１つの像点２０に結像する。言い換えると、物体側の主光線１９は像点２０の逆投影直線である。

次に、瞳収差について説明する。開口絞り１７をそれより物体側のレンズ１５で結像した仮想的な開口が入射瞳２５である。物体側の主光線群は入射瞳２５の中心付近を通過するが、開口絞り１７の場合と異なり、入射瞳２５の中心の１点では交わらない。それは、開口絞り１７と入射瞳２５の結像関係にレンズ１５の収差が介在するからである。これが瞳収差である。

続いて、瞳収差に起因して、撮像光学系１４の歪曲収差が物体距離によって変化することについて説明する。撮像光学系１４の結像に樽型の歪曲収差があるとき、像側から物体側への逆方向の結像は糸巻き型の歪曲収差を伴う。すなわち、図４Ｃに示されるような撮像素子１８の正方格子の画素配列２６は、物体側の共役な平面２１上に、図４Ｂに示されるような糸巻き型に歪んだ像２７として結像する。

ここで仮に、瞳収差が無く、物体側の全ての主光線１９が入射瞳２５の中心の１点で交わる状況を想定する。このとき、共役な平面２１と平行な、共役でない平面２３と図４Ｃに示される画素配列２６の図形に対応する主光線群の交点は、図４Ｂに示されるような共役な平面２１上の像２７と相似な図形をなす。つまり、歪曲収差の形は物体距離によって変化しない。しかし、実際の撮像光学系１４には瞳収差があるので、物体距離が変わると歪曲収差の形が変化することになる。

このような状況に適合するように作成した、本発明のカメラモデルを説明する。初めに、撮像素子１８と共役な平面２１上の物点２２のワールド座標（ｘ，ｙ，ｚ）から撮像素子１８上の像点２０の画素座標（ｕ，ｖ）への結像関係を歪曲収差を含む結像式で表す。本実施形態では、数５のブラウンのモデルを基に、下記の数７の結像式を用いる。なお、ブラウンのモデルは共役な2平面上の結像位置の関係を表すモデルであるので、物点（ｘ，ｙ，ｚ）から像点（ｕ，ｖ）への結像関係に適用することができる。

ここで、数５のブラウンのモデルから数７の結像式への変更箇所は次のとおりである。（１）ワールド座標から画素座標への横倍率を表す係数ｋ０の項を追加した。（２）３次の動径歪曲ｋ１と２次の接線歪曲（ｐ１，ｐ２）のみを考慮した。（３）ワールド座標（ｘ，ｙ）を物体距離ｚで規格化した座標（ｘ’，ｙ’）を用いた。

次に、主光線１９と平行で、入射瞳２５の中心を通る仮想の主光線１９’について説明する。物体距離ｚが無限遠の極限では、主光線１９上の物点と仮想の主光線１９’上の物点は同じ像点に結像する。なぜなら、撮像素子１８上の有効な撮像範囲に対応する物体側の撮像範囲も無限大に広がるので、これと比較して、主光線１９と仮想の主光線１９’の距離は無視できるからである。

しかし、物体距離ｚが有限になると、主光線１９上の物点２２と仮想の主光線１９’上 の物点２２’にそれぞれ対応する像点の位置は一致しなくなる。その乖離は画素座標において近似的に、物体距離ｚに反比例する。なぜなら、主光線１９と仮想の主光線１９’の距離（平面２１上の物点２２と２２’の距離、および別の物体距離の平面２３上の物点２4と２４’の距離）は、物体距離に関わらす一定である。一方、物体側の有効な撮像範囲は近似的に、物体距離ｚに比例して広がるからである。

これらにより、数７の結像式の各係数を物体距離ｚの逆数のベキ多項式で置き換えて、数８の本実施形態のカメラモデルを得る。

物体距離ｚの逆数のベキ多項式の定数項ｋ００，ｋ１０，ｐ１０，ｐ２０は、物体距離ｚが無限遠の極限では、主光線１９上の物点と仮想の主光線１９’上の物点は同じ像点に結像することを表す。また、物体距離ｚの逆数の係数ｋ０１，ｋ１１，ｐ１１，ｐ２１は、両者の像点の乖離が物体距離ｚに反比例することを表す。さらに、近似の精度を向上するために、物体距離ｚの逆数の２乗以上の項を用いることもできる。また、瞳収差を無視できるときは、定数項ｋ００，ｋ１０，ｐ１０，ｐ２０のみを残した数８のカメラモデルを用いることもできる。

このように、数８に示される本実施形態のカメラ較正装置１に用いられるカメラモデルは、ワールド座標に対応する画素座標を直接モデル化したものである。それは、歪曲収差を含むワールド座標と画素座標の結像関係を表す数７の線形モデルを基に構築される。そして、瞳収差の影響を表現できるように、結像関係を表す数７の線形モデルの各係数を物体距離ｚの逆数のベキ多項式で置き換えた形になっているという特徴がある。

また、本実施形態のカメラ較正装置１に用いられるカメラモデルのもう１つの特徴は、変数（ｘ，ｙ，ｚ）からなる線形独立な２次元の基底関数ベクトルの線形和で画素座標ベクトル（ｕ，ｖ）を表すことにある。基底関数ベクトルの線形和なので、ｕ座標とｖ座標を表すモデルの係数は共通である。そのため、各基底関数ベクトルの係数を全ての測定データから線形の最小二乗法で求めることができる。それを以下に述べる。

まず、図３に示される上記測定プログラムにおいて、ワールド座標（ｘ，ｙ，ｚ）と画素座標（ｕ，ｖ）の対応を表す測定データを求める。続いて、独立変数（ｘ，ｙ，ｚ）と従属変数（ｕ，ｖ）の数８に示されるカメラモデルを、全ての格子点の測定データに線形の最小二乗法で当てはめて、数８のカメラモデルの各係数（カメラパラメータ）を求める。本実施形態のカメラ較正はこれで終了する。

本実施形態で求めたカメラパラメータが設定されたカメラモデルを、それを搭載したカメラ２を含む撮影装置で次のように使うことができる。なお、撮影装置は、３次元のワールド座標から２次元の画素座標値を算出する画素座標算出部（図示省略）と、歪みを補正した画像を生成する歪補正画像生成部（図示省略）とをさらに備えている。

第１に、画素座標算出部において、較正されたカメラ２で撮像されたワールド座標（ｘ，ｙ，ｚ）を数８のカメラモデルに代入することにより、それが結像する画素座標（ｕ，ｖ）を求めることができる。

第２に、較正されたカメラ２で撮像した画像の歪みを歪補正画像生成部によって補正することができる。その方法を説明する。ワールド座標で表される物体は、カメラ２で撮像されて歪んだ画像になる。また、得られた画像をワールド座標に逆投影すれば、歪みを補正することができる。既知の物体距離ｚの平面上にある物体を撮像したときは、画素座標（ｕ，ｖ）を物体距離ｚの平面上のワールド座標（ｘ，ｙ）に逆投影すればよい。

一方、そのような平面上にない物体を撮像した画像では、歪補正の基準物体距離を定義して、その物体距離ｚのワールド座標（ｘ，ｙ）に逆投影する。物体距離による歪曲収差の変化が小さければ、このような歪補正で十分である。ただし、ワールド座標に逆投影すると、画像が拡大あるいは縮小してしまう。そこで、逆投影したワールド座標を数８のカメラモデルの横倍率ｋ０’の逆数、すなわち画素座標からワールド座標への横倍率で規格化する。これにより、元の画像とほぼ等倍の歪補正画像を得ることができる。

歪補正画像の作成は、歪補正後の画像の画素座標（整数）に対応する元の画像の画素値を、歪補正後の画素座標に代入する一連の手続きである。その手順を図５のフローチャートを参照して説明する。歪補正が開始されると、最初の歪補正後の画素座標（ｕｃ，ｖｃ）が決定される（ステップＳ１１）。

次に、決定された画素座標（ｕｃ，ｖｃ）に、基準物体距離ｚにおける数８のカメラモデルの横倍率ｋ０’の逆数を乗じて、ワールド座標（ｘ，ｙ）を求める（ステップＳ１２）。そして、求めたワールド座標（ｘ，ｙ，ｚ）を数８のカメラモデルに代入して、歪補正前の画素座標（ｕ，ｖ）を求める（ステップＳ１３）。

その歪補正前の画素座標（ｕ，ｖ）は一般に非整数である。そこで、その画素座標に近接する４つの画素の画素値からバイリニア補間で画素座標（ｕ，ｖ）の画素値を求める。そして、それを歪補正後の画素座標（ｕｃ，ｖｃ）の画素値とする（ステップＳ１４）。なお、画素値の補間にはバイキュービック補間などの他の手法を採用してもよい。
全ての歪補正後の画素座標（ｕｃ，ｖｃ）について、上記ステップＳ１１からステップＳ１４を繰り返し（ステップＳ１５）、歪補正を終了する。

上述した第１から第２のカメラモデルの利用例では、ワールド座標に対応する画素座標を数８のカメラモデルでその度に計算した。一方、それらを予め計算してデータ配列として保持しておくことにより、計算の高速化を図ることもできる。

本実施形態では、平面のチェスボード１０上に正方格子で並んだ格子点１１，１３の測定データでカメラ較正を実施した。しかし、較正チャート６上の特徴点は、格子点１１，１３以外のパターンでもよい。

例えば、平面上に分布したドットマークを撮像して、その重心位置を画素座標とするような測定データの作成方法でもよい。さらに、本発明のカメラ較正で用いる特徴点は、ワールド座標空間に規則的に配列されている必要もない。特徴点の配置がランダムであっても、そのワールド座標と画素座標の対応を測定あるいはシミュレーション等で知ることができれば、それらに本発明のカメラモデルを線形の最小二乗法で当てはめることができる。

このように、本実施形態のカメラ較正の測定データに要求される条件は、ワールド座標と画素座標との対応が明らかになっていることのみである。そのような測定データは、例えば、次のような方法でも取得可能である。まず、ワールド座標側にｘ，ｙ，ｚ軸方向に移動可能な点光源を用意する。それから、その点光源をカメラ２で撮像した画像の注目する画素座標に点光源の像が位置するように、点光源をｘ，ｙ，ｚ軸方向に移動する。そのような測定を繰り返すことによってもワールド座標と画素座標との対応を求めることができる。

本実施形態では、３次の動径歪曲と２次の接線歪曲のみを考慮したカメラモデルを採用した。しかし、歪曲収差がさらに大きいカメラ２を較正するときは、より高次の歪曲収差や回転非対称の歪曲の項を追加したカメラモデルも採用できる。その場合、撮像素子１８の撮像面とそれと共役な平面２１との結像関係を表す数７の結像式のような線形モデルを用意する。

それから、この線形モデルの各係数を数８のカメラモデルのように、物体距離ｚの逆数のベキ多項式で置き換えることにより、新たなカメラモデルを構築することができる。各係数を求める最適化の方法は本実施形態と同様である。

逆に、カメラモデルから不要な項を省略することもできる。例えば、回転非対称な歪曲成分が常に無視できるほど小さいカメラ２を較正するときは、数８のカメラモデルの接線歪曲の項を省略した方がよい。それにより、格子点１１の測定誤差によって、カメラモデルが無意味に変形して不正確になることを防止できる。他の項についても同様である。

本実施形態で求めたカメラモデルを搭載したカメラ２を含む撮影装置において、従来例のような逆投影のカメラモデルを併用する場合には、逆投影のカメラモデルと数８のカメラモデルをそれぞれ測定データに当てはめて、各々のカメラパラメータを求めることができる。これらの２つのカメラモデルは本来、互いに逆関数の関係にあるはずである。しかし、測定データには測定誤差が含まれているので、上記で求められた２つのカメラモデルは必ずしも正確な逆関数の関係にならない可能性がある。

この場合には、測定データから一方のカメラモデルを求め、求められた一方のモデルを経由して、他方のカメラモデルを求めてもよい。すなわち、初めに、測定データに逆投影のカメラモデルを当てはめて、そのカメラパラメータを求める。次に、逆投影のカメラモデルを用いて、ワールド座標と画素座標の対応を表す擬似測定データを作成する。そして、作成した擬似測定データに数８のカメラモデルを当てはめてカメラパラメータを求める。あるいは、先に数８のカメラモデルを測定データに当てはめてもよい。上記の擬似測定データには測定誤差が無いので、このように求められた２つのカメラモデルは正確な逆関数の関係を保つことができる。

このように、本実施形態に係るカメラ較正装置１およびカメラ較正方法によれば、本実施形態のカメラモデルによって、撮像光学系１４の瞳収差を的確にモデル化することができる。さらに、回転非対称な歪曲収差と瞳収差もモデル化できる。それにより、ワールド座標に対応する画素座標を正確に表現でき、カメラモデルの精度を向上させることができる。

また、本実施形態のカメラ較正装置１およびカメラ較正方法に用いられるカメラモデルは線形モデルなので、線形の最小二乗法で測定データに当てはめることができる。したがって、繰り返し最適化を用いる従来例と異なり、最適化の失敗が無く、かつ計算時間を大幅に短縮することができる。
さらに、本実施形態のカメラモデルによれば、繰り返し最適化を要することなく、ワールド座標に対応する画素座標を直接、短時間に求めることができる。

また、本実施形態のカメラ較正装置１およびカメラ較正方法に用いる特徴点は規則的に配列している必要がない。したがって、ワールド座標と画素座標の対応さえ明確にできれば、較正されるカメラ２に適した任意の測定あるいは計算による取得方法を選択することが可能になる。

次に、本発明の第２の実施形態に係るカメラ較正方法について、以下に説明する。第１の実施形態においては、図１のように較正されるカメラ２の入射瞳がワールド座標の原点とほぼ一致し、かつ光軸がカメラ較正装置１のｚ軸と平行であり、撮像面の水平方向と垂直方向がｘ軸とｙ軸と平行であるときのカメラ較正の方法を説明した。本実施形態では、その条件を満たさないとき、すなわちワールド座標とカメラ座標が一致しないときのカメラ較正の方法を説明する。

第１の実施形態で使用したカメラモデルは、較正対象のカメラ２の撮像光学系１４の入射瞳２５の中心を原点としたカメラ座標で成立している。したがって、図１のカメラ較正装置１における較正チャート６上の格子点１１のワールド座標をカメラ座標に変換すると、上記のカメラモデルが当てはまるようになる。ワールド座標（ｘ，ｙ，ｚ）からカメラ座標（ｘｃ，ｙｃ，ｚｃ）への変換は、数２の３軸の回転行列Ｒと平行移動ベクトルＴにより、数９で表される。

第２の実施形態においては、測定した複数の格子点１１のワールド座標（ｘ，ｙ，ｚ）と画素座標（ｕ，ｖ）の対応を表す測定データのうち、ワールド座標のみを数９でカメラ座標（ｘｃ，ｙｃ，ｚｃ）に変換してから、第１の実施形態のカメラモデルを当てはめる。そして、カメラモデルの残差が最小になるように、回転行列Ｒの３軸の回転角θｘ，θｙ，θｚと平行移動ベクトルＴの３つの成分（ｔｘ，ｔｙ，ｔｚ）を最適化する。一般に、数９で変換したワールド座標がカメラ座標と一致したとき、カメラモデルの残差が最小になる。

次に、第２の実施形態に係るカメラ較正方法を用いてカメラモデルを最適化する手順を説明する。初めに、第１の実施形態と同様にして、ワールド座標（ｘ，ｙ，ｚ）と画素座標（ｕ，ｖ）との対応を表す測定データを求める。

次に、測定データのワールド座標を数９で変換したカメラ座標（ｘｃ，ｙｃ，ｚｃ）と画素座標（ｕ，ｖ）に、数８のカメラモデルを線形の最小二乗法で当てはめたときの残差の標準偏差を評価関数として、最適化パラメータである回転角θｘ，θｙ，θｚと平行移動ベクトルの３つの成分（ｔｘ，ｔｙ，ｔｚ）を繰り返し最適化する。回転角θｘ，θｙ，θｚと平行移動ベクトルの３つの成分（ｔｘ，ｔｙ，ｔｚ）の初期値はゼロでよい。あるいは、何らかの方法でカメラ２の回転角と平行移動ベクトルを推定できるときは、それを初期値にしてもよい。

この繰り返し最適化は、滑降シンプレックス法などの一般的なアルゴリズムで実行できる。評価関数が最小値に収束したときの回転角θｘ，θｙ，θｚと平行移動ベクトルの３つの成分（ｔｘ，ｔｙ，ｔｚ）が最適な回転角と平行移動ベクトルである。最適な回転角と平行移動ベクトルでのカメラモデルの各係数を取得して、カメラ較正を終了する。

本実施形態に係るカメラ較正方法を用いて求めたカメラパラメータが設定されたカメラモデルを、それを搭載したカメラ２を含む撮影装置で第１の実施形態と同様に利用することができる。その場合、ワールド座標を数９でカメラ座標に変換してから、それを数８のカメラモデルに代入して画素座標を求める。

本実施形態では、３つの回転角θｘ，θｙ，θｚと平行移動ベクトルの３つの成分（ｔｘ，ｔｙ，ｔｚ）を最適化した。しかし、それらの中のいくつかが既知のときは、それらを既知の値で固定して、最適化パラメータから外してもよい。そのときは、残りの未知の１つあるいは複数の回転角と平行移動ベクトルの成分のみを最適化すればよい。このようにすると最適化パラメータの数が減るので、計算時間を短縮することができる。

なお、３次元座標の３つの回転角の定義には任意性がある。本実施形態ではｘ，ｙ，ｚ軸回りの回転角という定義を採用して説明した。しかし、それ以外の定義であっても本発明を適用できることは言うまでもない。

このように、本実施形態に係るカメラ較正方法によれば、ワールド座標に対するカメラ２の位置と姿勢が適切にアライメントされていない場合でも、高精度なカメラモデルを取得することができる。また、歪曲収差などの多くのカメラパラメータが必要な場合でも、繰り返し最適化のパラメータ数は回転角と平行移動の６つ以下の成分に限定されるので、カメラモデルの最適化の失敗が無く、かつ計算時間を大幅に短縮することができる。

次に、本発明の第３の実施の形態に係るカメラ較正装置３２およびカメラ較正方法について、図面を参照して以下に説明する。本実施形態に係るカメラ較正装置３２は、多視点カメラ３３，３４，３５の較正に適用するものである。以下、３台からなる多視点カメラの較正を例示して説明するが、それ以外の台数のカメラの較正にも適用できる。

本実施形態に係るカメラ較正装置３２においては、図６に示されるように、較正対象の３台のカメラ３３，３４，３５が、多視点カメラの使用条件と同じ配置でカメラ固定台３６に固定される。そして、各々のカメラ３３，３４，３５が較正チャート６を撮像できるように、カメラ固定台３６がカメラ較正装置３２に取り付けられるようになっている。較正チャート６とｚ軸移動ステージ４、コンピュータ７など、それ以外の構成は図１と同様であり、説明を省略する。

このように構成された本実施形態に係るカメラ較正装置３２の作用について、以下に説明する。本実施形態に係るカメラ較正装置３２の動作は、第１の実施形態に係るカメラ較正装置１と同様である。初めに、図３のフローチャートの測定プログラムにより、自動的に複数の物体距離の較正チャート６の画像がカメラ３３，３４，３５によって撮像され、その画像から較正チャート６の格子点１１の画素座標が取得される。ただし、図３のフローチャートのステップＳ２，Ｓ４，Ｓ５は３台のカメラに対してそれぞれ実行される。

続いて、各カメラ３３，３４，３５の上記の測定データから、各カメラ３３，３４，３５のカメラモデルが求められる。その手順は、第１あるいは第２の実施形態と同様である。

本実施形態に係るカメラ較正装置３２で求めたカメラパラメータを設定した各カメラモデルを、それらを搭載した各カメラ３３，３４，３５を含む撮影装置で第１および第２の実施形態と同様に利用することができる。

なお、多視点の各カメラ３３，３４，３５の測定データを必ずしも同時に測定する必要は無い。例えば、図３のフローチャートの測定プログラムを各カメラに対して個別に順次、実行してもよい。さらに、各カメラ３３，３４，３５の測定データを測定するときに、較正チャート６が測定対象の各カメラに正対するようにｚ軸移動ステージ４の設置位置をカメラ較正装置３２上で変更してもよい。

ただし、その設置位置の変更量を把握して、それを較正チャート６の格子点１１のワールド座標に反映した測定データを作成する必要がある。このようなカメラ較正方法は、多視点カメラ３３，３４，３５が観察領域を取り囲むように配置されているために、１方向に固定された較正チャート６を撮像できないカメラが存在する場合に有効である。

このように本実施形態に係るカメラ較正装置３２およびカメラ較正方法によれば、多視点カメラ３３，３４，３５を使用条件と同じ配置でカメラ較正できる。そして、１つの共通なワールド座標に対応する各カメラ３３，３４，３５の画素座標を求めることができる。

次に、本発明の第４の実施形態に係る較正装置について、図７を参照して以下に説明する。本実施形態に係る較正装置は、プロジェクタ較正装置３７であって、その内部に液晶素子などの画像形成素子（画像変換素子：図示省略）と、投影光学系（光学系：図示省略）とを備えており、その画像を外部へ投影するプロジェクタ（投影装置）３８を較正するための装置である。本実施形態においては、光学装置の一例として、プロジェクタ３８を用いている。

プロジェクタ較正装置３７は、較正対象のプロジェクタ３８を固定するベース３９と、該ベース３９に設けられたｚ軸移動ステージ４と、該ｚ軸移動ステージ４の可動部５に固定された較正チャート６と、プロジェクタ３８と隣接する位置に配置され、較正チャート６の像を撮影するカメラ２とを備えている。カメラ２とプロジェクタ３８とは、それらの光軸がプロジェクタ較正装置３７のｚ軸と平行になるように、かつ、プロジェクタ３８の所定の位置が座標原点と一致するように、プロジェクタ較正装置３７に取り付けられるようになっている。

なお、カメラ２の撮像範囲はプロジェクタ３８の画像投影範囲を包含していることが好ましい。較正チャート６とｚ軸移動ステージ４、コンピュータ７など、それ以外の構成は図１と同様である。ただし、本実施形態において使用される較正チャート６としては、図２のチェスボード１０と無地のスクリーンとを交換可能になっている。また、コンピュータ７は、プロジェクタ３８を制御して、所定の画像をプロジェクタ３８に投影させる機能を併せ持っている。

このように構成された本実施形態に係るプロジェクタ較正装置３７を用いてプロジェクタ３８を較正するには、初めに、図２のチェスボード１０を較正チャート６として設置した状態で、カメラ２を較正する。この場合、従来例のような逆投影のカメラモデルを求める。

続いて、較正チャート６を無地のスクリーンに交換する。そして、プロジェクタ３８から、投影光学系を通して図２のチェスボード１０のパターンを較正チャート６に投影する。このとき、プロジェクタ３８内部の画像形成素子（図示省略）上で定義される画素座標において、チェスボード１０の各格子点１１，１３の画素座標は既知である。

この状態で、第１の実施形態と同様に、図３のフローチャートの測定プログラムにより、自動的に複数の物体距離でチェスボード１０のパターンが投影された較正チャート６の画像がカメラ２によって撮像され、その画像からチェスボード１０のパターンの格子点１１の画素座標が取得される。

この後に、取得された画素座標（ｕ，ｖ）と較正チャート６の物体距離ｚとから、前記の手順で較正されたカメラ２の逆投影のカメラモデルで、較正チャート６上に投影されたチェスボード１０のパターンの格子点１１のワールド座標（ｘ，ｙ）を求める。以上の手順で、プロジェクタ３８の画素座標（ｕ，ｖ）とワールド座標（ｘ，ｙ，ｚ）との対応を表す測定データが得られる。その測定データに数８のカメラモデルを当てはめて、プロジェクタ３８のカメラパラメータを求める方法は第１の実施形態と同様である。

このようにして求められたプロジェクタ３８のカメラパラメータを設定したカメラモデルを、それを搭載したプロジェクタ３８で次のように使うことができる。第１に、ワールド座標（ｘ，ｙ）を数８のカメラモデルに代入することにより、それに対応するプロジェクタ３８の画素座標（ｕ，ｖ）を求めることができる。

第２に、歪みが無い画像を投影したいときは、プロジェクタ３８の画像形成素子で形成する画像に、投影で生じる歪みを相殺するような画像歪みを予め加えておけばよい。そのような歪補正画像の画素座標を求める手順は、図５に示される第１の実施形態のフローチャートと同様である。

なお、プロジェクタ３８で投影するパターンはチェスボード１０に限らない。カメラ２で撮像した画像から特徴点の画素座標を算出できる、ドットマークなどのパターンも適用可能である。あるいは、プロジェクタ３８の離散した各画素を点灯する方法でもよい。

また、本実施形態では、プロジェクタ３８で投影された特徴点のワールド座標（ｘ，ｙ）を、予め較正したカメラ２で測定した。その測定は、較正チャート６の代わりに撮像素子を設置して、投影されたパターンを直接撮像する、という方法でも実現可能である。さらに、ワールド座標と画素座標の対応さえ明確にできれば、それ以外の取得方法も選択可能である。このように、本実施形態に係るプロジェクタ較正装置３７によれば、プロジェクタ３８をカメラモデルによって較正することができる。

また、本発明の第１から第４の実施形態において、カメラ２あるいはプロジェクタ３８のフォーカス、ズーム、絞りなどの設定変更にそれぞれ対応した、複数のカメラ較正を実施することにしてもよい。また、それらのカメラモデルを補間して、任意の設定に対応したカメラモデルを求めることにしてもよい。

さらに、光源の複数の波長の下で、カメラ較正を実施することにしてもよい。また、波長別の画像を撮影するカメラで、波長別のカメラモデルを使用することにしてもよい。また、本発明の第１から第４の実施形態に記載の光学装置において、画像変換素子の一例として、撮像素子１８や画像形成素子を用いたが、これに限られるものではなく、画像と映像信号とを相互に変換するものであればよい。

１，３２ カメラ較正装置（較正装置）
２ カメラ（撮影装置、光学装置）
７ コンピュータ（パラメータ算出部）
８ 較正データ取得部
１４ 撮像光学系（光学系）
１５，１６ レンズ（光学系）
１８ 撮像素子（画像変換素子）
３７ プロジェクタ較正装置（較正装置）
３８ プロジェクタ（投影装置、光学装置）

Claims (20)

1. 複数の画素を有する２次元の画像変換素子と、該画像変換素子と３次元のワールド座標空間との間で結像関係を形成する光学系とを備える光学装置の較正装置であって、
   前記画像変換素子の２次元の画素座標と、前記ワールド座標空間の３次元のワールド座標との対応を示す較正データを取得する較正データ取得部と、
   該較正データ取得部により取得された較正データに、前記２次元の画素座標の２つの座標値を、前記３次元のワールド座標の３つの座標値の関数として表したカメラモデルを当てはめて、該カメラモデルのパラメータを算出するパラメータ算出部とを備え、
   前記カメラモデルが、前記３次元のワールド座標の３つの座標値の関数を要素とした複数の２次元ベクトル関数の線形和によって、前記２次元の画素座標の２つの座標値を表す較正装置。
2. 前記カメラモデルが、前記画素座標平面上の点の２つの画素座標値と、前記光学系によって前記画素座標平面と光学的に共役な平面上の点の２つのワールド座標値との結像関係を表す線形の結像モデルの各係数を、他の１つのワールド座標の逆数のベキ多項式で置換した数式で表現される請求項１に記載の較正装置。
3. 前記パラメータ算出部が、前記カメラモデルを線形の最小二乗法で前記較正データに当てはめる請求項１または請求項３に記載の較正装置。
4. 前記パラメータ算出部が、前記較正データ取得部により取得された較正データの内、前記３次元のワールド座標を、該ワールド座標の回転を表す３つの回転角の１以上の回転角で回転したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の回転角を求める請求項１に記載の較正装置。
5. 前記パラメータ算出部が、前記較正データ取得部により取得された較正データの内、前記３次元のワールド座標を、該ワールド座標の平行移動を表す３つの平行移動成分の１以上の成分で平行移動したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の平行移動成分を求める請求項１または請求項５に記載の較正装置。
6. 前記光学装置が、複数の前記画像変換素子および該画像変換素子と前記３次元のワールド座標空間との間で結像関係を形成する光学系を備え、
   前記較正データ取得部が各前記画像変換素子および前記光学系の較正データを取得し、
   前記パラメータ算出部が、各前記画像変換素子および前記光学系の較正データに、各該画像変換素子の前記２次元の画素座標の関数として表したカメラモデルを当てはめる請求項１および請求項３から請求項６のいずれかに記載の較正装置。
7. 前記光学装置が撮影装置であり、
   前記画像変換素子が撮像素子であり、
   前記光学系が撮像光学系である請求項１および請求項３から請求項７のいずれかに記載の較正装置。
8. 前記光学装置が投影装置であり、
   前記画像変換素子が画像形成素子であり、
   前記光学系が投影光学系である請求項１および請求項３から請求項７のいずれかに記載の較正装置。
9. 複数の画素を有する２次元の画像変換素子と、該画像変換素子と３次元のワールド座標空間との間で結像関係を変換する光学系とを備える光学装置の前記画像変換素子の２次元の画素座標と、前記ワールド座標空間の３次元のワールド座標との対応を示す較正データを取得するステップと、
   取得された較正データに、前記２次元の画素座標の２つの座標値を、前記３次元のワールド座標の３つの座標値の関数として表したカメラモデルを当てはめて、該カメラモデルのパラメータを算出するステップとを含み、
   前記カメラモデルが、前記３次元のワールド座標の３つの座標値の関数を要素とした複数の２次元ベクトル関数の線形和によって、前記２次元の画素座標の２つの座標値を表す較正方法。
10. 前記カメラモデルが、前記画素座標平面上の点の２つの画素座標値と、前記光学系によって前記画素座標平面と光学的に共役な平面上の点の２つのワールド座標値との結像関係を表す線形の結像モデルの各係数を、他の１つのワールド座標の逆数のベキ多項式で置換した数式で表現される請求項１０に記載の較正方法。
11. パラメータを算出するステップが、前記カメラモデルを線形の最小二乗法で較正データに当てはめる請求項１０または請求項１２に記載の較正方法。
12. パラメータを算出するステップが、較正データを取得するステップにより取得された較正データの内、前記３次元のワールド座標を、該ワールド座標の回転を表す３つの回転角の１以上の回転角で回転したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の回転角を求める請求項１０に記載の較正方法。
13. パラメータを算出するステップが、較正データを取得するステップにより取得された較正データの内、前記３次元のワールド座標を、該ワールド座標の平行移動を表す３つの平行移動成分の１以上の成分で平行移動したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の平行移動成分を求める請求項１０に記載の較正方法。
14. 請求項１および請求項３から請求項７のいずれかに記載の較正装置により算出されたパラメータが設定されたカメラモデルを搭載した光学装置。
15. 前記カメラモデルにより、前記画素座標の２つの座標値を、前記３次元のワールド座標の３つの座標値から求める画素座標算出部を備える請求項１６に記載の光学装置。
16. 前記カメラモデルにより、前記ワールド座標に対応する前記画像変換素子により取得あるいは形成された画像の画素座標を求め、歪みを補正した画像を生成する歪補正画像生成部を備える請求項１６に記載の光学装置。
17. 請求項５または請求項６に記載の較正装置により取得された回転角または平行移動成分がパラメータとして設定されたカメラモデルを搭載した光学装置。
18. 前記回転角または平行移動成分により、前記ワールド座標を回転または平行移動後のワールド座標に変換するワールド座標回転部またはワールド座標平行移動部を備える請求項１９に記載の光学装置。
19. 請求項１６から請求項２０のいずれかに記載の光学装置からなる撮影装置。
20. 請求項１６から請求項２０のいずれかに記載の光学装置からなる投影装置。

Images