WO2016076400A1 - 較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法 - Google Patents

Abstract

　カメラパラメータを短時間に精度よく求めることを目的として、本発明に係る較正装置１は、複数の画素を有する２次元の画像変換素子と、画像変換素子と３次元のワールド座標空間との間で結像関係を形成する光学系とを備える光学装置２の較正装置１であって、画像変換素子の２次元の画素座標と、ワールド座標空間の３次元のワールド座標との対応を示す較正データを取得する較正データ取得部８と、較正データ取得部８により取得された較正データに、３次元のワールド座標の内の２つの座標値を、他の１つのワールド座標の座標値および２次元の画素座標の２つの座標値の関数として表したカメラモデルを当てはめて、カメラモデルのパラメータを算出するパラメータ算出部７とを備える。

Description

較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法

　本発明は、較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法に関するものである。

　従来、撮影装置や投影装置のカメラ較正を行う較正装置が知られている（例えば、特許文献１参照。）。カメラモデルには複数の未知のパラメータ（カメラパラメータ）が含まれており、較正装置によってそれらのカメラパラメータを求めておくことにより、画像の２次元座標に対応する実世界の逆投影直線を数学的に得ることができる。

　ここで、特許文献１および非特許文献１に開示されている従来のカメラ較正について説明する。カメラ較正は、実世界の３次元座標がカメラで撮像されて画像の２次元座標に変換される過程を表現した数学的なカメラモデルを用いて以下の手順により行われる。初めに、数１を用いて実世界の３次元座標（以下、ワールド座標という。）（ｘ，ｙ，ｚ）を正規化像面座標（ｕｐ，ｖｐ）に投影する。

　ただし、数２の回転行列Ｒと平行移動ベクトルＴは、ワールド座標からカメラ座標への３次元の座標変換を表している。これらはワールド座標に対するカメラの位置と姿勢を表す値であり、外部パラメータと呼ばれる。

　なお、数１は、全ての逆投影直線がカメラの光学中心で交わるという想定に基づいた式である。次に、数３を用いて、正規化像面座標（ｕｐ，ｖｐ）に歪曲収差を加えた（ｕｄ，ｖｄ）を求める。

　ただし、（ｇ１，ｇ２，ｇ３，ｇ４，ｋ１）は歪曲パラメータである。さらに、数４を用いて、歪曲収差を加えた正規化像面座標（ｕｄ，ｖｄ）をピクセル単位の画素座標（ｕ，ｖ）に変換する。

　このように、カメラの撮像によるワールド座標（ｘ，ｙ，ｚ）から画素座標（ｕ，ｖ）への変換を数１から数４で表すのが標準的なカメラモデルである。なお、数３および数４のパラメータ（αｕ，αｖ，ｕ０，ｖ０，ｇ１，ｇ２，ｇ３，ｇ４，ｋ１）は、カメラ自体の性質を表すので、内部パラメータと呼ばれる。

　歪曲パラメータは、用途によって様々に定義される。例えば、数３は、３次までの歪曲収差を考慮したモデルであるが、さらに５次、７次…という高次の項を追加したモデルも用いられる。それらの中で代表的な歪曲モデルが数５に示される非特許文献２のブラウンのモデルである。

　ブラウンのモデルでは、歪曲収差を、回転対称な動径歪曲のパラメータ（ｋ１，ｋ２，ｋ３，…）および回転非対称な接線歪曲のパラメータ（ｐ１，ｐ２，ｐ３，…）で表している。

　カメラ較正では一般に、ワールド座標（ｘ，ｙ，ｚ）が既知の特徴点を複数備えた較正チャートをカメラで撮像する。その後、画像処理で特徴点が撮像された画素座標（ｕ，ｖ）を取得する。このようにして、ワールド座標（ｘ，ｙ，ｚ）と画素座標（ｕ，ｖ）との対応を表す複数の測定データを得て、カメラパラメータを求めている。

特開２００４－２１３３３２号公報

「ディジタル画像処理」、ＣＧ－ＡＲＴＳ協会、２００４、ｐ．２　５２－２５６ Ｄ．Ｃ．Ｂｒｏｗｎ，"Ｃｌｏｓｅ－ｒａｎｇｅ　ｃａｍｅｒａ　ｃａｌｉｂｒａｔｉｏｎ"，Ｐｈｏｔｏｇｒａｍｍ，　Ｅｎｇ．３７，８５５－８６　６，１９７１

　特許文献１および非特許文献１の較正装置では、全ての逆投影直線がカメラの光学中心で交わるという想定に基づいたカメラモデルを用いている。しかしながら、一般には光学系は瞳収差を伴うために、全ての逆投影直線が入射瞳上の１点では交わらない。特に、画角が大きな広角レンズを用いている場合には、瞳収差が顕著である。

　また、特許文献１のカメラモデルを初めとする従来の標準的なカメラモデルは数１から数４に示される複数の数式からなる非線形モデルであり、測定データからカメラパラメータを求める過程で、最終的に全てのカメラパラメータを繰り返し最適化する必要がある。そのため、次の２つの問題が生じる。

　第１に、非線形モデルの最適化の評価関数には複数の極小値が存在する可能性があり、適切な初期値を設定しないと誤った最小値に収束するという問題がある。第２に、複数のカメラパラメータの最適化演算を繰り返し行う必要があるため、膨大な計算時間が必要となる場合があるという問題がある。

　本発明は上述した事情に鑑みてなされたものであって、カメラパラメータを短時間に精度よく求めることができる較正装置、較正方法、光学装置、撮影装置、投影装置、計測システムおよび計測方法を提供することを目的としている。

　本発明の一態様は、複数の画素を有する２次元の画像変換素子と、該画像変換素子と３次元のワールド座標空間との間で結像関係を形成する光学系とを備える光学装置の較正装置であって、前記画像変換素子の２次元の画素座標と、前記ワールド座標空間の３次元のワールド座標との対応を示す較正データを取得する較正データ取得部と、該較正データ取得部により取得された較正データに、前記３次元のワールド座標の内の２つの座標値を、他の１つのワールド座標の座標値および前記２次元の画素座標の２つの座標値の関数として表したカメラモデルを当てはめて、該カメラモデルのパラメータを算出するパラメータ算出部とを備える較正装置である。

　本態様によれば、較正データ取得部により取得された、画像変換素子の２次元の画素座標とワールド座標空間の３次元のワールド座標との対応を示す較正データに、パラメータ算出部においてカメラモデルが当てはめられることにより、カメラモデルのパラメータが算出される。パラメータの算出においては、３次元のワールド座標の内の２つの座標値を、他の１つのワールド座標の座標値および２次元の画素座標の２つの座標値の関数として表したカメラモデルを用いることにより、歪曲収差を含むワールド座標と画素座標との結像関係を示す線形モデルによって、過度な繰り返し最適化を行うことなくカメラモデルのパラメータを短時間に精度よく求めることができる。

　上記態様においては、前記カメラモデルが、前記他の１つのワールド座標の座標値と前記２次元の画素座標の２つの座標値の関数を要素とした複数の２次元ベクトル関数の線形和によって、前記ワールド座標空間の直線を表してもよい。
　このようにすることで、画像変換素子の２次元の画素の座標値と、１つのワールド座標の座標値とから、２次元の画像の各画素に対応するワールド座標空間内の直線を簡易に求めるパラメータを短時間に精度よく求めることができる。

　また、上記態様においては、前記カメラモデルが、前記２次元の画素座標平面上の点の２つの画素座標値と、前記光学系によって前記画素座標平面と光学的に共役な平面上の点の２つのワールド座標値との結像関係を表す線形の結像モデルの各係数を、前記他の１つのワールド座標の１次式で置換した数式で表現されてもよい。
　また、上記態様においては、前記較正データ取得部が、前記ワールド座標空間の２つの平面上のそれぞれの点の各３つの座標値と、前記それぞれの点に対応する前記２次元の画素座標の２つの座標値との対応を表す較正データを複数取得してもよい。

　また、上記態様においては、前記パラメータ算出部が、前記ワールド座標空間の２つの平面上のそれぞれの点の各３つの座標値と、前記それぞれの点に対応する前記２次元の画素座標の２つの座標値との対応を表す複数の較正データに、前記カメラモデルを当てはめてもよい。
　また、上記態様においては、前記較正データ取得部が、前記２次元の画素座標の２つの座標値と、前記ワールド座標の直線の傾きおよび切片との対応を表す複数の較正データを取得してもよい。

　また、上記態様においては、前記パラメータ算出部が、前記カメラモデルを線形の最小二乗法で前記較正データに当てはめてもよい。
　また、上記態様においては、前記パラメータ算出部が、前記較正データ取得部により取得された較正データの内、３次元のワールド座標を、該ワールド座標の回転を表す３つの回転角の１以上の回転角で回転したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の回転角を求めてもよい。

　また、上記態様においては、前記パラメータ算出部が、前記較正データ取得部により取得された較正データの内、３次元のワールド座標を、該ワールド座標の平行移動を表す３つの平行移動成分の１以上の成分で平行移動したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の平行移動成分を求めてもよい。

　また、上記態様においては、前記光学装置が、複数の画像変換素子および該画像変換素子と３次元のワールド座標空間との間で結像関係を形成する光学系を備え、前記較正データ取得部が各前記画像変換素子および前記光学系の較正データを取得し、前記パラメータ算出部が、各前記画像変換素子および前記光学系の較正データに、各該画像変換素子の２次元の画素座標の関数として表したカメラモデルを当てはめてもよい。

　また、上記態様においては、前記光学装置が撮影装置であり、前記画像変換素子が撮像素子であり、前記光学系が撮像光学系であってもよい。
　また、上記態様においては、前記光学装置が投影装置であり、前記画像変換素子が画像形成素子であり、前記光学系が投影光学系であってもよい。

　また、本発明の他の態様は、複数の画素を有する２次元の画像変換素子と、該画像変換素子と３次元のワールド座標空間との間で結像関係を形成する光学系とを備える光学装置の前記画像変換素子の２次元の画素座標と、前記ワールド座標空間の３次元のワールド座標との対応を示す較正データを取得するステップと、取得された較正データに、前記３次元のワールド座標の内の２つの座標値を、他の１つのワールド座標の座標値および前記２次元の画素座標の２つの座標値の関数として表したカメラモデルを当てはめて、該カメラモデルのパラメータを算出するステップとを含む較正方法である。

　上記態様においては、前記カメラモデルが、前記他の１つのワールド座標の座標値と前記２次元の画素座標の２つの座標値の関数を要素とした複数の２次元ベクトル関数の線形和によって、前記ワールド座標空間の直線を表してもよい。
　また、上記態様においては、前記カメラモデルが、前記２次元の画素座標平面上の点の２つの画素座標値と、前記光学系によって前記画素座標平面と光学的に共役な平面上の点の２つのワールド座標値との結像関係を表す線形の結像モデルの各係数を、前記他の１つのワールド座標の１次式で置換した数式で表現されてもよい。

　また、上記態様においては、前記較正データを取得するステップが、前記ワールド座標空間の２つの平面上の２つの座標値と、前記２次元の画素座標の２つの座標値との対応を表す複数の較正データを取得してもよい。
　また、上記態様においては、前記パラメータを算出するステップが、前記ワールド座標空間の２つの平面上の２つの座標値と、前記２次元の画素座標の２つの座標値との対応を表す複数の較正データに、前記カメラモデルを当てはめてもよい。

　また、上記態様においては、前記較正データを取得するステップが、前記２次元の画素座標の２つの座標値と、前記ワールド座標の直線の傾きおよび切片との対応を表す複数の較正データを取得してもよい。
　また、上記態様においては、前記パラメータを算出するステップが、前記カメラモデルを線形の最小二乗法で較正データに当てはめてもよい。

　また、上記態様においては、前記パラメータを算出するステップが、前記較正データを取得するステップにより取得された較正データの内、３次元のワールド座標を、該ワールド座標の回転を表す３つの回転角の１以上の回転角で回転したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の回転角を求めてもよい。

　また、上記態様においては、前記パラメータを算出するステップが、前記較正データを取得するステップにより取得された較正データの内、３次元のワールド座標を、該ワールド座標の平行移動を表す３つの平行移動成分の１以上の成分で平行移動したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の平行移動成分を求めてもよい。

　また、本発明の他の態様は、上記較正装置により算出されたパラメータが設定されたカメラモデルを搭載した光学装置である。
　また、上記態様においては、前記カメラモデルを、複数の画素座標と２つの平面上のワールド座標との対応を表す離散データとして保持してもよい。

　また、上記態様においては、前記カメラモデルを、複数の画素座標とワールド座標空間の直線の傾きおよび切片の対応を表す離散データとして保持してもよい。

　また、上記態様においては、前記カメラモデルにより、前記３次元のワールド座標の内の２つの座標値を、他の１つのワールド座標の座標値と前記２次元の画素座標の２つの座標値から求めるワールド座標算出部を備えていてもよい。
　このようにすることで、ワールド座標算出部により、取得された画像の画素座標から３次元のワールド座標内の２つの座標値を簡易に求めることができる。

　また、上記態様においては、前記カメラモデルにより、前記２次元の画素座標の２つの座標値から、該画素座標に対応するワールド座標空間の直線を求める直線算出部を備えていてもよい。

　さらに、上記態様においては、前記カメラモデルにより、前記画像変換素子により取得あるいは形成された画像の画素座標に対応する前記ワールド座標を求め、歪みを補正した画像を生成する歪み補正画像生成部を備えていてもよい。

　また、本発明の他の態様は、上記較正装置により取得された回転角および／または平行移動成分がパラメータとして設定されたカメラモデルを搭載した撮影装置である。
　上記態様においては、前記回転角および／または前記平行移動成分により、回転および／または平行移動後のワールド座標を回転および／または平行移動前のワールド座標に変換するワールド座標回転部および／またはワールド座標平行移動部を備えていてもよい。
　また、本発明の他の態様は、上記光学装置からなる撮影装置である。
　また、本発明の他の態様は、上記光学装置からなる投影装置である。

　また、本発明の他の態様は、上記較正装置と、上記１つ以上の撮影装置と、該撮影装置により取得された複数の視点での画像の画素座標から被写体の注目点の３次元座標を計算する３次元座標計算処理部とを備え、該３次元座標計算処理部が、前記較正装置において用いられた前記カメラモデルと、前記較正装置により算出された前記撮影装置の前記カメラモデルの前記パラメータとを用いる計測システムである。

　また、本発明の他の態様は、上記の較正装置である第１の較正装置と、上記の較正装置である第２の較正装置と、上記の１つ以上の撮影装置と、上記の１つ以上の投影装置と、前記投影装置からの構造化光が投影された被写体を前記撮影装置で撮影した画像の画素座標から前記被写体の注目点の３次元座標を計算する３次元座標計算処理部とを備え、該３次元座標計算処理部が、前記第１および第２の較正装置において用いられた前記カメラモデルと、前記第１の較正装置により算出された前記撮影装置の前記カメラモデルの前記パラメータと、前記第２の較正装置により算出された前記投影装置の前記カメラモデルの前記パラメータとを用いる計測システムである。

　また、本発明の他の態様は、上記較正装置において用いられた前記カメラモデルと、前記較正装置により算出された上記１つ以上の撮影装置の前記カメラモデルの前記パラメータとを用いて、前記撮影装置により取得された複数の視点での画像の画素座標から被写体の注目点の３次元座標を計算する計測方法である。

　また、本発明の他の態様は、上記の較正装置である第１の較正装置および上記の較正装置である第２の較正装置において用いられた前記カメラモデルと、前記第１の較正装置により算出された上記１つ以上の撮影装置の前記カメラモデルの前記パラメータと、前記第２の較正装置により算出された上記１つ以上の投影装置の前記カメラモデルの前記パラメータとを用いて、前記投影装置からの構造化光が投影された被写体を前記撮影装置で撮影した画像の画素座標から前記被写体の注目点の３次元座標を計算する計測方法である。

　本発明によれば、カメラパラメータを短時間に精度よく求めることができるという効果を奏する。

本発明の第１の実施形態に係る較正装置を模式的に示す全体構成図である。 図１の較正装置の較正チャートのパターンを示す図である。 本発明の第１の実施形態に係る較正方法のフローチャートを示す図である。 図１の較正装置のワールド座標と画素座標との関係を示す図である。 樽型の歪曲収差がある場合の画像例を示す図である。 歪曲収差がない場合の画像例を示す図である。 歪補正方法のフローチャートを示す図である。 図１の較正装置のｚ軸に対してカメラの光軸が傾斜している場合を示す図である。 本発明の第２の実施形態に係る較正方法を説明する図である。 本発明の第３の実施形態に係る較正装置を模式的に示す平面図である。 本発明の第４の実施形態に係る較正装置を模式的に示す平面図である。 本発明の一実施形態に係る計測方法を示すフローチャートである。 本発明の他の実施形態に係る計測方法を示すフローチャートである。

　本発明の第１の実施形態に係る較正装置およびカメラ較正方法について、図面を参照して以下に説明する。
　本実施形態に係る較正装置は、カメラ較正装置（第１の較正装置）１であって、撮像した画像を所定のフォーマットの画像ファイルとして外部に転送するカメラ（撮影装置）２を較正対象としている。本実施形態においては、光学装置の一例として、カメラ２を用いている。

　本実施形態に係るカメラ較正装置１は、図１に示されるように、較正対象であるカメラ２を固定するベース３と、該ベース３に設けられたｚ軸移動ステージ４と、該ｚ軸移動ステージ４によって移動させられる可動部５に固定された較正チャート６と、カメラ２およびｚ軸移動ステージ４に接続されたコンピュータ７とを備えている。カメラ較正装置１の３次元の座標軸は図１のように定義されている。カメラ２を固定するベース３、較正チャート６およびｚ軸移動ステージ４により、較正データ取得部８が構成されている。

　ｚ軸移動ステージ４は、モータ４ａにより駆動され可動部５を直線的に移動させる直線駆動機構である。カメラ較正装置１においては、可動部５の移動方向をｚ軸とし、ｚ軸に垂直な面内の水平方向および垂直方向をｘ軸およびｙ軸と定義している。
　座標原点の位置は任意で構わないが、本実施形態においてはカメラレンズ９の先端付近に定義されている。

　カメラ２は、その光軸がｚ軸に平行になるように、かつ、撮像面の水平方向および垂直方向がｘ軸およびｙ軸に平行になるように、かつ、座標原点がカメラ２の所定の位置と一致するように、ベース３に取り付けられるようになっている。

　較正チャート６は、カメラ較正で広く利用されている図２のチェスボード１０であり、ベース３に固定されたカメラ２と正対するように、すなわち、ｚ軸に垂直な面内に配置されるように可動部５に固定されている。較正チャート６は複数の特徴点を備えた図表であればどのようなものでも構わない。

　較正チャート６は、ｚ軸移動ステージ４によってｚ軸方向の任意の位置に移動可能になっている。ｚ軸移動ステージ４の可動部５の移動範囲は、カメラ較正が必要な物体距離（＝カメラ２と撮像対象との距離）の範囲を包含している。

　コンピュータ７は、カメラ２の撮像を制御して、撮像された画像を所定のフォーマットの画像ファイルとして読み込むように機能する。また、コンピュータ７はｚ軸移動ステージ４を制御して、較正チャート６をｚ軸方向の所定の位置に移動するように機能する。さらにコンピュータ７は、取得された構成データにカメラモデルを当てはめてカメラパラメータを算出するパラメータ算出部としても機能する。

　ここで、図２を参照して、較正チャート６として使用されるチェスボード１０について説明する。
　チェスボード１０は、平面上に黒と白の正方形が正方格子を成すように並んだ市松模様のパターンを有する平板状部材であり、各正方形の頂点に相当する交点をカメラ較正の特徴点として利用するようになっている（以下、これらの特徴点を格子点１１と呼ぶ。）。

　チェスボード１０としては、カメラ較正に十分な数の格子点１１がカメラ２の撮像範囲内に入るものが使用される。撮像されるチェスボード１０の範囲は物体距離によって変化するが、各物体距離で少なくとも１０×１０個程度の格子点１１が撮像されることが好ましい。また、撮像された格子点１１の画素座標と較正チャート６上での格子点１１のワールド座標との対応をとるために、較正チャート６の中央付近に１つの基準位置マーク１２を設けている。

　この基準位置マーク１２の右下最近傍の格子点（中央の格子点１３）がｚ軸上に位置し、同時にチェスボード１０の縦横がｘ軸およびｙ軸に平行になるように、チェスボード１０をカメラ較正装置１に設置する。これにより、チェスボード１０の正方格子の格子間隔とｚ軸移動ステージ４の移動位置とから、各格子点１１，１３のワールド座標（ｘ，ｙ，ｚ）が既知の値として確定する。

　このように構成された本実施形態に係るカメラ較正装置１を用いたカメラ較正方法について以下に説明する。
　本実施形態に係るカメラ較正装置１を用いてカメラ２を較正するには、操作者は、初めに較正対象のカメラ２を座標軸の定義に従ってカメラ較正装置１に取り付け、コンピュータ７に接続する。その後に、コンピュータ７内部の測定プログラムを開始する。

　以下、測定プログラムにより、自動的に複数の物体距離の較正チャート６の画像がカメラ２によって撮像され、それらの画像から格子点１１の画素座標が取得される。測定プログラムについて、図３のフローチャートを参照して説明する。

　測定が開始されると、まず、カメラ２を較正する物体距離の範囲のカメラ２に近い側の端に較正チャート６が位置するように、ｚ軸移動ステージ４が移動される（ステップＳ１）。次に、カメラ２により較正チャート６が撮像され、その画像ファイルがコンピュータ７に転送される（ステップＳ２）。そして、所定回数の撮像が行われるまで、これらのステップＳ１，Ｓ２が繰り返される（ステップＳ３）。所定回数としては、例えば、５回以上の回数が設定されている。

　このとき、ステップＳ１では１回の繰り返しごとに、カメラ２から較正チャート６までの物体距離が所定の間隔で大きくなるようにｚ軸移動ステージ４により可動部５を移動させる。可動部５の移動量は等間隔でなくてもよいが、カメラ２を較正する物体距離の範囲内で少なくとも５カ所程度の異なる物体距離で較正チャート６を撮像することが好ましい。そして、所定の撮像枚数に達したら、次のステップＳ４に進む。

　ステップＳ１～Ｓ３でコンピュータ７に転送された複数の画像ファイルが画像処理されることにより、撮像範囲内の各格子点１１の画素座標が求められ、各画像ファイルの基準位置マーク１２の重心の画素座標が求められる（ステップＳ４）。なお、チェスボード１０の格子点１１の画素座標をサブピクセルで求める方法は、以下の文献等により公知なので、ここでの説明は省略する。Ｇ．Ｂｒａｄｓｋｉ，Ａ．Ｋａｅｈｌｅｒ（松田　晃一訳）「詳解　ＯｐｅｎＣＶ－コンピュータビジョンライブラリを使った画像処理・認識」（オライリー・ジャパン，２００９）ｐ．３２５－３２６

　次いで、ステップＳ４で求めた各格子点１１の画素座標が、較正チャート６上の格子点１１のワールド座標に対応付けられる（ステップＳ５）。上述したように基準位置マーク１２の右下最近傍の中央の格子点１３はワールド座標のｚ軸上にあるので、それを基準にして各格子点１１，１３の画素座標とワールド座標とを対応付けることができる。最後に、対応付けられた全ての画素座標およびワールド座標が測定データファイルに書き出されて、測定が終了する。上記手順でカメラパラメータの最適化に必要な測定データが得られる。

　ここで、本実施形態において用いられるカメラモデルについて図４Aから図４Cを参照して説明する。図４Ａは、カメラ２の画素座標と物体側の逆投影直線の関係を説明するカメラ２の断面図である。カメラ２は、レンズ１５，１６および開口絞り１７を有する撮像光学系１４と、撮像素子（画像変換素子とを備えている。

　物体側のワールド座標（ｘ，ｙ，ｚ）を図１と同様に定義する。また、撮像素子１８の撮像面に、撮像素子１８の横方向および縦方向と平行に画素座標のｕ軸およびｖ軸を定義する。図４Ａには、撮像光学系１４を通して撮像素子１８の各画素の中央に入射する主光線１９が描かれている。

　主光線１９とは、撮像光学系１４の開口絞り１７の中心を通る光線である。ここでは、１つの画素の中心に結像する像点２０とその主光線１９を例に、主光線１９の概念を説明する。初めに、撮像素子１８の撮像面と共役な平面２１を考える。その平面２１と主光線１９の交点にある物点２２は、撮像光学系１４によって像点２０に結像する。すなわち、物点２２を通る全ての光線は、収差を無視すれば、像点２０の１点に入射する。

　次に、共役な物点２２から主光線１９に沿って、撮像面と共役でない平面２３上に移動した物点２４を考える。共役でない物点２４を通る各光線は像点２０の１点に集まらないので、撮像面上の像点はボケて広がる。

　そのとき、コマ収差を無視すると、ボケ像は、開口絞り１７の中心を通る主光線１９の入射位置を中心に広がるので、ボケた像点の光強度の重心を取って像位置とするならば、像点２０の位置は変わらない。したがって、物体側の主光線１９上にある全ての物点２２，２４は、１つの像点２０に結像する。言い換えると、物体側の主光線１９は像点２０の逆投影直線である。

　次に、瞳収差について説明する。開口絞り１７をそれより物体側のレンズ１５で結像した仮想的な開口が入射瞳２５である。物体側の主光線群は入射瞳２５の中心付近を通過するが、開口絞り１７の場合と異なり、入射瞳２５の中心の１点では交わらない。それは、開口絞り１７と入射瞳２５の結像関係にレンズ１５の収差が介在するからである。これが瞳収差である。

　続いて、瞳収差に起因して、撮像光学系１４の歪曲収差が物体距離によって変化することについて説明する。撮像光学系１４の結像に樽型の歪曲収差があるとき、像側から物体側への逆方向の結像は糸巻き型の歪曲収差を伴う。すなわち、図４Ｃに示されるような撮像素子１８の正方格子の画素配列２６は、物体側の共役な平面２１上に、図４Ｂに示されるような糸巻き型に歪んだ像２７として結像する。

　ここで仮に、瞳収差が無く、物体側の全ての主光線１９が入射瞳２５の中心の１点で交わる状況を想定する。このとき、共役な平面２１と平行な、共役でない平面２３と図４Ｃに示される画素配列２６の図形に対応する主光線群の交点は、図４Ｂに示されるような共役な平面２１上の像２７と相似な図形をなす。つまり、歪曲収差の形は物体距離によって変化しない。しかし、実際の撮像光学系１４には瞳収差があるので、物体距離が変わると歪曲収差の形が変化することになる。

　このような状況に適合するように作成した、本発明のカメラモデルを説明する。初めに、撮像素子１８上の像点２０の画素座標（ｕ，ｖ）と共役な平面２１上の物点２２のワールド座標（ｘ１，ｙ１，ｚ１）の結像関係を歪曲収差を含む結像式で表す。本実施形態では、数５のブラウンのモデルを基に、数６の結像式を定義する。

　ここで、ブラウンのモデルから結像式への変更箇所は次のとおりである。（１）画素座標からワールド座標への横倍率を表す係数ｋ０の項を追加した。（２）３次の動径歪曲ｋ１と２次の接線歪曲（ｐ１，ｐ２）のみを考慮した。（３）ワールド座標に対する画素座標の横移動（Δｕ，Δｖ）を追加した。

　共役でない平面２３上の物点２４のワールド座標（ｘ２，ｙ２，ｚ２）との結像関係も数６と同形の結像式で表される。ただし、物体距離の変化に伴って横倍率と歪曲収差が変わるので各係数は変化する。そこで、数７に示されるように、その結像式の各係数にプライムを付けた。

　一方、物体側の主光線１９は直線なので、ｘ方向およびｙ方向の傾き（ａ，ｃ）と切片（ｂ，ｄ）とによって、数８のように表される。

　そして、物点２２と物点２４とは共通の主光線１９上にあるので、数９および数１０が成り立つ。

　ここで、係数（ａ，ｂ，ｃ，ｄ）は画素座標（ｕ，ｖ）の関数であり、数９および数１０において係数（ａ，ｂ，ｃ，ｄ）は共通である。ここで、数６と数９、および、数７と数１０の左辺はそれぞれ共通なので、それらの右辺はそれぞれ等しいという連立方程式が成り立つ。それを解いて係数（ａ，ｂ，ｃ，ｄ）を求める。

　ただし、数１１および数１２の係数ｋＡ０，ｋＢ０は、数６および数７の係数ｋ０，ｋ′０と数１３の関係にある。

　数１１および数１２の他の係数と数６および数７の係数の関係も同様である。数１１および数１２を数８に代入して、数１４の本実施形態のカメラモデルを得る。

　このように、数１４に示される本実施形態のカメラ較正装置１に用いられるカメラモデルは、画素座標に対応する物体側の逆投影直線を直接モデル化したものである。それは、歪曲収差を含むワールド座標と画素座標の結像関係を表す数６の線形モデルを基に構築される。そして、物体距離で変化する横倍率と歪曲収差を表現できるように、結像関係を表す数６の線形モデルの各係数をｚの１次式で置き換えた形になっているという特徴がある。

　添え字Ａを付けた数１４の各係数は逆投影直線のｚ軸に対する傾きを表す。一方、（ｚ＝０のときに残る）添え字Ｂを付けた各係数は逆投影直線とｚ＝０平面との交点、すなわち、切片を表す。

　また、本実施形態のカメラ較正装置１に用いられるカメラモデルのもう１つの特徴は、変数（ｕ，ｖ；ｚ）からなる線形独立な２次元の基底関数ベクトルの線形和で物体座標ベクトル（ｘ，ｙ）を表すことにある。基底関数ベクトルの線形和なので、ｘ座標とｙ座標を表すモデルの係数は共通である。そのため、各基底関数ベクトルの係数を全ての測定データから線形の最小二乗法で求めることができる。それを以下に述べる。

　まず、図３に示される上記測定プログラムにおいて、ワールド座標（ｘ，ｙ，ｚ）と画素座標（ｕ，ｖ）の対応を表す測定データを求める。続いて、独立変数（ｕ，ｖ；ｚ）と従属変数（ｘ，ｙ）の数１４に示されるカメラモデルを、全ての格子点の測定データに線形の最小二乗法で当てはめて、数１４のカメラモデルの各係数（カメラパラメータ）を求める。本実施形態のカメラ較正はこれで終了する。

　本実施形態で求めたカメラパラメータが設定されたカメラモデルを、それを搭載したカメラ２を含む撮影装置で次のように使うことができる。なお、撮影装置は、３次元のワールド座標の内の２つの座標値を算出するワールド座標算出部（図示省略）と、画素座標に対応するワールド座標空間の直線を算出する直線算出部（図示省略）と、歪みを補正した画像を生成する歪み補正画像生成部（図示省略）とをさらに備えている。

　第１に、物体距離ｚが既知のとき、ワールド座標算出部において、較正されたカメラ２で撮像した画像の注目する画素座標（ｕ，ｖ）と物体距離ｚとを数１４のカメラモデルに代入することにより、上述した特徴点のワールド座標（ｘ，ｙ）を求めることができる。第２に、ワールド座標での逆投影直線を求めたいときには、直線算出部において、注目する画素座標（ｕ，ｖ）を数１１および数１２に代入することにより、逆投影直線の傾きと切片を求めることができる。

　第３に、較正されたカメラ２で撮像した画像の歪みを歪み補正画像生成部によって補正することができる。その方法を説明する。ワールド座標で表される物体は、カメラ２で撮像されて歪んだ画像になる。したがって、得られた画像を上述したカメラモデルでワールド座標に投影すれば、歪みを補正することができる。既知の物体距離ｚの平面上にある物体を撮像したときは、画素座標（ｕ，ｖ）と物体距離ｚを数１４のカメラモデルに代入することにより、画素座標（ｕ，ｖ）をワールド座標（ｘ，ｙ）に投影できる。

　一方、そのような平面上にない物体を撮像した画像では、歪補正の基準物体距離を定義して、その物体距離ｚのワールド座標（ｘ，ｙ）に投影する。物体距離による歪曲収差の変化が小さければ、このような歪補正で十分である。ただし、ワールド座標に投影すると、画像が拡大あるいは縮小してしまう。そこで、投影したワールド座標を数１４のカメラモデルの横倍率（ｋＡ０ｚ＋ｋＢ０）で規格化する。これにより、元の画像とほぼ等倍の歪補正画像を得ることができる。

　歪補正画像の作成は、歪補正後の画像の画素座標（整数）に対応する元の画像の画素値を、歪補正後の画素座標に代入する一連の手続きである。その手順を図５のフローチャートを参照して説明する。歪補正が開始されると、最初の歪補正後の画素座標（ｕｃ，ｖｃ）が決定される（ステップＳ１１）。

　次いで、歪補正前の画素座標（ｕ，ｖ）に初期値（０，０）を与える（ステップＳ１２）。なお、何らかの方法で歪補正後の画素座標（ｕｃ，ｖｃ）に対応する歪補正前の画素座標（ｕ，ｖ）を推定できるときは、それを初期値にしてもよい。

　歪補正前の画素座標（ｕ，ｖ）と歪補正の基準物体距離ｚを数１４のカメラモデルに代入して、ワールド座標（ｘ，ｙ）を求める（ステップＳ１３）。そして、求められたワールド座標（ｘ，ｙ）を横倍率（ｋＡ０ｚ＋ｋＢ０）で規格化して、画素座標（ｕ′，ｖ′）を求める（ステップＳ１４）。

　求められた画素座標（ｕ′，ｖ′）と歪補正後の画素座標（ｕｃ，ｖｃ）の距離を求める（ステップＳ１５）。求められた距離が所定の値より小さいときには、ステップＳ１８に進む。それ以外のときには、歪補正前の画素座標（ｕ，ｖ）を更新するステップＳ１７を経て、ステップＳ１３に戻る（ステップＳ１６）。

　繰り返し最適化のステップＳ１３～Ｓ１７は、滑降シンプレックス法などの一般的なアルゴリズムで実行できる。画素座標（ｕ，ｖ）の更新方法は、そのアルゴリズムに従う。

　繰り返し最適化が収束したときの歪補正前の画素座標（ｕ，ｖ）は、数１４のカメラモデルを介して歪補正後の画素座標（ｕｃ，ｖｃ）に対応している。その画素座標（ｕ，ｖ）は一般に非整数である。そこで、その画素座標に近接する４つの画素の画素値からバイリニア補間で画素座標（ｕ，ｖ）の画素値を求める。そして、それを歪補正後の画素座標（ｕｃ，ｖｃ）の画素値とする（ステップＳ１８）。なお、画素値の補間にはバイキュービック補間などの他の手法を採用してもよい。全ての歪補正後の画素座標（ｕｃ，ｖｃ）について、上記Ｓ１１～Ｓ１８を繰り返し（ステップＳ１９）、歪補正を終了する。

　上述した第１から第３のカメラモデルの利用例では、画素座標に対応するワールド座標を数１４のカメラモデルでその度に計算した。一方、それらを予め計算してデータ配列として保持しておくことにより、計算の高速化を図ることもできる。

　例えば、第２の利用例では、各画素座標に対応する逆投影直線の傾きと切片をそれぞれデータ配列として予め計算しておく。あるいは、２つの物体距離の平面と各画素座標に対応する逆投影直線の交点をデータ配列として予め計算しておく。そして、それらのデータ配列を補間して、注目する画素の逆投影直線を求めるようにしてもよい。他の利用例でも同様である。

　本実施形態では、平面のチェスボード１０上に正方格子で並んだ格子点１１，１３の測定データでカメラ較正を実施した。しかし、較正チャート６上の特徴点は、格子点１１，１３以外のパターンでもよい。

　例えば、平面上に分布したドットマークを撮像して、その重心位置を画素座標とするような測定データの作成方法でもよい。さらに、本発明のカメラ較正で用いる特徴点は、ワールド座標空間に規則的に配列されている必要もない。特徴点の配置がランダムであっても、そのワールド座標と画素座標の対応を測定あるいはシミュレーション等で知ることができれば、それらに本発明のカメラモデルを線形の最小二乗法で当てはめることができる。

　このように、本実施形態のカメラ較正の測定データに要求される条件は、ワールド座標と画素座標との対応が明らかになっていることのみである。そのような測定データは、例えば、次のような方法でも取得可能である。まず、ワールド座標側にｘ，ｙ，ｚ軸方向に移動可能な点光源を用意する。それから、その点光源をカメラ２で撮像した画像の注目する画素座標に点光源の像が位置するように、点光源をｘ，ｙ，ｚ軸方向に移動する。そのような測定を繰り返すことによってもワールド座標と画素座標との対応を求めることができる。

　本実施形態では、３次の動径歪曲と２次の接線歪曲のみを考慮した数１４のカメラモデルを採用した。しかし、歪曲収差がさらに大きいカメラ２を較正するときは、より高次の歪曲収差や回転非対称の歪曲の項を追加したカメラモデルも採用できる。その場合、撮像素子１８の撮像面とそれと共役な平面２１との結像関係を表す数６の結像式のような線形モデルを用意する。

　それから、この線形モデルの各係数を数１４のカメラモデルのように、物体距離ｚの１次式で置き換えることにより、新たなカメラモデルを構築することができる。各係数を求める最適化の方法は本実施形態と同様である。

　逆に、カメラモデルから不要な項を省略することもできる。例えば、回転非対称な歪曲成分が常に無視できるほど小さいカメラ２を較正するときは、数１４のカメラモデルの接線歪曲の項を省略した方がよい。それにより、格子点１１の測定誤差によって、カメラモデルが無意味に変形して不正確になることを防止できる。他の項についても同様である。

　本実施形態では、ワールド座標（ｘ，ｙ，ｚ）と画素座標（ｕ，ｖ）との対応を表す、全ての格子点１１，１３の測定データに線形の最小二乗法で当てはめて、数１４のカメラモデルを求めた。一方、それとは異なる方法で、本実施形態のカメラモデルを求めることもできる。以下の２つの方法は、カメラ２による特徴点の結像関係をシミュレーションで求めてカメラモデルを作成する場合に特に有効である。

　１つ目は、ワールド座標の２つの平面上の特徴点とそれに対応する画素座標のデータを用いる方法である。初めに、第１の平面上の複数の特徴点のワールド座標と画素座標の対応を表すデータに、線形の最小二乗法で数６の結像式を当てはめる。次に、第２の平面上の特徴点についても同様に、数７の結像式を当てはめる。そして、両者の係数から数１３によって、数１４のカメラモデルの各係数を求めることができる。

　２つ目は、逆投影直線の傾きと切片のモデルを個別に算出する方法である。上記の２つの平面のうち１つをワールド座標のｚ＝０平面にして、複数の画素座標から光線追跡した主光線との交点を求めると、逆投影直線の切片のデータが得られる。それに数１２を当てはめると、本実施形態のカメラモデルの添え字Ｂを付けた切片の係数を求めることができる。

　さらに、同じ複数の画素座標から光線追跡した主光線ともう１つの平面の交点を求めると、各画素座標に対応する逆投影直線の傾きのデータが得られる。それに数１１を当てはめると、本実施形態のカメラモデルの添え字Ａを付けた傾きの係数を求めることができる。このようにして、数１４のカメラモデルの各係数を求めてもよい。

　このように、本実施形態に係るカメラ較正装置１およびカメラ較正方法によれば、本実施形態のカメラモデルによって、撮像光学系１４の瞳収差を的確にモデル化することができる。さらに、回転非対称な歪曲収差と瞳収差もモデル化できる。それにより、物体距離で変化する歪曲収差とそれを反映した逆投影直線群を正確に表現でき、カメラモデルの精度を向上させることができる。

　また、本実施形態のカメラ較正装置１およびカメラ較正方法に用いられるカメラモデルは線形モデルなので、線形の最小二乗法で測定データに当てはめることができる。したがって、繰り返し最適化を用いる従来例と異なり、最適化の失敗が無く、かつ計算時間を大幅に短縮することができる。

　また、本実施形態のカメラ較正装置１およびカメラ較正方法に用いる特徴点は規則的に配列している必要がない。したがって、ワールド座標と画素座標の対応さえ明確にできれば、較正されるカメラ２に適した任意の測定あるいは計算による取得方法を選択することが可能になる。

　次に、本発明の第２の実施形態に係るカメラ較正方法について、図面を参照して以下に説明する。第１の実施形態においては、図１のように較正されるカメラ２の光軸がカメラ較正装置１のｚ軸と平行であり、かつ撮像面の水平方向と垂直方向がｘ軸とｙ軸と平行であるときのカメラ較正の方法を説明した。本実施形態では、その条件を満たさないときのカメラ較正の方法を説明する。

　ワールド座標に対するカメラ２の位置と姿勢には、数２の３軸の回転行列Ｒと平行移動ベクトルＴの合計６つの自由度がある。このうち、ｘ，ｙ，ｚ軸方向の平行移動は、数１４のカメラモデルの係数ΔｕＢ，ΔｖＢおよび添え字Ｂを付けた切片を表す各係数の項で表すことができる。

　残る３つの自由度、すなわちｘ，ｙ，ｚ軸回りの回転は、それらが大きくなると、数１４のカメラモデルでは表現できなくなる。このことを図６Ａおよび図６Ｂを参照して説明する。図６Ａは、図１のカメラ較正装置１の側面からの概略図である。カメラ２は、カメラ較正装置１で定義されるワールド座標のｘ軸回りに回転して取り付けられている。そのため、撮像光学系１４の光軸はワールド座標のｚ軸に平行にはなっていない。

　また、図６Ａには複数の物体距離に移動した較正チャート６とその格子点１１が描かれている。このとき、正方格子に並んだ格子点１１の格子配列２８は、撮像素子１８の撮像面上に台形歪曲を伴う像２９の形で結像する。

　一般に、微小な台形歪曲は数１４のカメラモデルの接線歪曲の項に吸収されてしまうことが知られている。しかし、ｘ，ｙ軸回りの回転角が大きくなり、それに伴う台形歪曲も大きくなると、数１４のカメラモデルとの乖離が顕著になる。

　その結果、格子点１１のワールド座標と画素座標の測定データに数１４のカメラモデルを当てはめたときの残差が大きくなり、得られたカメラモデルも不正確になる。その対策について、図６Ｂを用いて説明する。

　図６Ｂは、ワールド座標の座標軸をｘ軸回りに回転して、回転後のｚ′軸が撮像光学系１４の光軸に平行になった状態を図示している。このとき、格子点１１は回転後のｚ′軸方向からの見かけ上、台形状の格子配列３０になる。そのため、回転後のワールド座標の座標値に変換した格子点１１のワールド座標（ｘ′，ｙ′，ｚ′）と格子点１１が結像する画素座標（ｕ，ｖ）との関係は、歪曲収差を無視すると、台形格子３０から台形格子３１への相似な結像関係になる。その結果、数１４のカメラモデルが良好に当てはまるようになる。

　回転前の格子点１１のワールド座標（ｘ，ｙ，ｚ）から回転後のワールド座標（ｘ′，ｙ′，ｚ′）への変換は、ｘ，ｙ，ｚ軸回りの回転角θｘ，θｙ，θｚによる回転行列で数１５のように表される。

　そこで、第２の実施形態では、図６Ａの配置で測定した複数の格子点１１のワールド座標（ｘ，ｙ，ｚ）と画素座標（ｕ，ｖ）の対応を表す測定データのうち、ワールド座標のみを数１５で（ｘ′，ｙ′，ｚ′）に変換してから、数１４のカメラモデルを当てはめる。

　そして、その残差が最小になるように回転角θｘ，θｙ，θｚを最適化する。一般に、図６Ｂのように、撮像光学系１４の光軸と回転後のｚ′軸が平行になり、かつ撮像面の水平方向と垂直方向がｘ軸とｙ軸と平行になるとき、数１４のカメラモデルの残差が最小になる。

　次に、第２の実施形態に係るカメラ較正方法を用いてカメラモデルを最適化する手順を説明する。初めに、第１の実施形態と同様にして、ワールド座標（ｘ，ｙ，ｚ）と画素座標（ｕ，ｖ）との対応を表す測定データを求める。

　次に、測定データの画素座標（ｕ，ｖ）と回転後のワールド座標（ｘ′，ｙ′，ｚ′）に、数１４のカメラモデルを線形の最小二乗法で当てはめたときの残差の標準偏差を評価関数として、最適化パラメータである回転角θｘ，θｙ，θｚを繰り返し最適化する。回転角θｘ，θｙ，θｚの初期値はゼロでよい。あるいは、何らかの方法でカメラ２の回転角を推定できるときは、それを初期値にしてもよい。

　この繰り返し最適化は、滑降シンプレックス法などの一般的なアルゴリズムで実行できる。評価関数が最小値に収束したときの回転角θｘ，θｙ，θｚが最適な回転角である。最適な回転角とその回転角でのカメラモデルの各係数を取得して、カメラ較正を終了する。

　本実施形態に係るカメラ較正方法を用いて求めたカメラパラメータが設定されたカメラモデルを、それを搭載したカメラ２を含む撮影装置で第１の実施形態と同様に利用することができる。ただし、注目する画素座標から数１４のカメラモデルで得られるワールド座標は、回転後のワールド座標（ｘ′，ｙ′，ｚ′）である。用途によっては、注目する画素座標に対応する回転前のワールド座標あるいは逆投影直線を求めたい場合もある。この場合には、カメラ２を含む撮影装置が、回転後のワールド座標（ｘ′，ｙ′，ｚ′）を回転前（ｘ，ｙ，ｚ）のワールド座標に変換するワールド座標回転部（図示省略）を備えている。

　これは、例えば、以下の手順で実現できる。初めに、回転後の適当な２つの物体距離ｚ１′とｚ２′で画素座標に対応するワールド座標（ｘ１′，ｙ１′）と（ｘ２′，ｙ２′）を数１４のカメラモデルで求める。次に、それら２つのワールド座標（ｘ１′，ｙ１′，ｚ１′）と（ｘ２′，ｙ２′，ｚ２′）を、ワールド座標回転部によって、最適な回転角θｘ，θｙ，θｚによる数１５の逆変換で回転前のワールド座標（ｘ１，ｙ１，ｚ１）と（ｘ２，ｙ２，ｚ２）に変換する。

　変換により求められた２点を通る直線が回転前のワールド座標の逆投影直線である。その逆投影直線に回転前の物体距離ｚを代入すると、画素座標に対応する回転前のワールド座標（ｘ，ｙ）を求めることができる。

　本実施形態では、３つの回転角θｘ，θｙ，θｚを最適化した。しかし、それらの中のいくつかの回転角が既知のときは、それらを既知の値で固定して、最適化パラメータから外してもよい。そのときは、残りの未知の１つあるいは複数の回転角のみを最適化すればよい。このようにすると最適化パラメータの数が減るので、計算時間を短縮することができる。

　なお、３次元座標の３つの回転角の定義には任意性がある。本実施形態ではｘ，ｙ，ｚ軸回りの回転角という定義を採用して説明した。しかし、それ以外の定義であっても本発明を適用できることは言うまでもない。

　このように、本実施形態に係るカメラ較正方法によれば、ワールド座標に対するカメラ２の位置と姿勢が適切にアライメントされていない場合でも、高精度なカメラモデルを取得することができる。また、歪曲収差などの多くのカメラパラメータが必要な場合でも、繰り返し最適化のパラメータ数は３つ以下の回転角に限定されるので、カメラモデルの最適化の失敗が無く、かつ計算時間を大幅に短縮することができる。

　次に、本発明の第３の実施の形態に係るカメラ較正装置３２およびカメラ較正方法について、図面を参照して以下に説明する。本実施形態に係るカメラ較正装置３２は、３次元形状復元を目的とした多視点カメラ３３，３４，３５の較正に適用するものである。以下、３台からなる多視点カメラの較正を例示して説明するが、それ以外の台数のカメラの較正にも適用できる。

　本実施形態に係るカメラ較正装置３２においては、図７に示されるように、較正対象の３台のカメラ３３，３４，３５が、多視点カメラの使用条件と同じ配置でカメラ固定台３６に固定される。そして、各々のカメラ３３，３４，３５が較正チャート６を撮像できるように、カメラ固定台３６がカメラ較正装置３２に取り付けられるようになっている。較正チャート６とｚ軸移動ステージ４、コンピュータ７など、それ以外の構成は図１と同様であり、説明を省略する。

　このように構成された本実施形態に係るカメラ較正装置３２の作用について、以下に説明する。本実施形態に係るカメラ較正装置３２の動作は、第１の実施形態に係るカメラ較正装置１と同様である。初めに、図３のフローチャートの測定プログラムにより、自動的に複数の物体距離の較正チャート６の画像がカメラ３３，３４，３５によって撮像され、その画像から較正チャート６の格子点１１の画素座標が取得される。ただし、図３のフローチャートのステップＳ２，Ｓ４，Ｓ５は３台のカメラに対してそれぞれ実行される。

　続いて、各カメラ３３，３４，３５の上記の測定データから、各カメラ３３，３４，３５のカメラモデルが求められる。その手順は、カメラ３３，３４，３５の光軸がカメラ較正装置３２のｚ軸とほぼ平行であり、かつ、撮像面の水平方向と垂直方向がｘ軸とｙ軸と平行であるときは第１の実施形態と同様であり、そうでないときは第２の実施形態と同様に最適な回転角θｘ，θｙ，θｚも併せて最適化する。

　本実施形態に係るカメラ較正装置３２で求めたカメラパラメータを設定した各カメラモデルを、それらを搭載した各カメラ３３，３４，３５を含む撮影装置で第１および第２の実施形態と同様に利用することができる。特に、各カメラ３３，３４，３５の画素座標に対応するワールド座標あるいは逆投影直線を１つの共通なワールド座標で扱いたい用途では、第２の実施形態で述べた回転前のワールド座標あるいは逆投影直線を求める手順を適用すればよい。

　なお、多視点の各カメラ３３，３４，３５の測定データを必ずしも同時に測定する必要は無い。例えば、図３のフローチャートの測定プログラムを各カメラに対して個別に順次、実行してもよい。さらに、各カメラ３３，３４，３５の測定データを測定するときに、較正チャート６が測定対象の各カメラに正対するようにｚ軸移動ステージ４の設置位置をカメラ較正装置３２上で変更してもよい。

　ただし、その設置位置の変更量を把握して、それを較正チャート６の格子点１１のワールド座標に反映した測定データを作成する必要がある。このようなカメラ較正方法は、多視点カメラ３３，３４，３５が観察領域を取り囲むように配置されているために、１方向に固定された較正チャート６を撮像できないカメラが存在する場合に有効である。

　このように本実施形態に係るカメラ較正装置３２およびカメラ較正方法によれば、多視点カメラ３３，３４，３５を使用条件と同じ配置でカメラ較正できる。そして、各カメラ３３，３４，３５の画素座標に対応するワールド座標あるいは逆投影直線を、１つの共通なワールド座標で取り扱うことができるという利点がある。

　次に、本発明の一実施形態に係る計測システムおよび計測方法について、図面を参照して説明する。
　本実施形態に係る計測システムは、図７に示されるように、第３の実施形態に係るカメラ較正装置３２と、多視点カメラ３３，３４，３５と、３次元座標計算処理部（コンピュータ７）とを備えている。

　カメラ較正装置３２を用いてカメラ較正を実行することで、多視点カメラ３３，３４，３５のそれぞれのカメラパラメータを設定した各カメラモデルが、数１４から求められる。
　コンピュータ７に内蔵された３次元座標計算処理部は、下記のステップの計算処理で多視点カメラ３３，３４，３５によって撮影された被写体の表面上の注目点のワールド座標を計算する。多視点カメラ３３，３４，３５のそれぞれの光軸が平行と見なせる場合は、図９に示す通りとなる。

　ステップＳ１０１：多視点カメラ３３，３４，３５によって撮影された３枚の被写体画像Ｉ３３，Ｉ３４，Ｉ３５を取り込む。
　ステップＳ１０２：ユーザが画像Ｉ３４上で指定した各画素の画素座標に対応する画像Ｉ３３の画素の画素座標を対応点探索処理で求める。
　ステップＳ１０３：Ｉ３４で指定した画素座標とカメラ３４のカメラパラメータを数１４に代入した式と、ステップＳ１０２で求めたＩ３３の対応する画素の座標とカメラ３３のカメラパラメータを数１４に代入した式とで連立方程式を解き、画像Ｉ３４の各画素に対応する被写体表面上の注目点のワールド座標Ａを求める

　ステップＳ１０４：画像Ｉ３４の各画素に対応する画像Ｉ３５の画素の画素座標を対応点探索処理で求める。
　ステップＳ１０５：Ｉ３４で指定した画素座標とカメラ３４のカメラパラメータを数１４に代入した式と、ステップＳ１０４で求めたＩ３５の対応する画素の座標とカメラ３５のカメラパラメータを数１４に代入した式とで連立方程式を解き、画像Ｉ３４の各画素に対応する被写体表面上の注目点のワールド座標Ｂを求める。

　ステップＳ１０６：画像Ｉ３４の各画素について、ワールド座標Ａ，Ｂの２点間距離Ｄ１を求める。
　ステップＳ１０７：画像Ｉ３４の各画素について、２点間距離Ｄ１が所定の閾値以下あるか否かを判定する。

　ステップＳ１０８：閾値以下であれば、ワールド座標Ａ，Ｂは、どちらもその誤差が小さいとみなし、２つのワールド座標Ａ，Ｂの中点の座標を対応する被写体の表面上の注目点のワールド座標とする。

　ステップＳ１０９：閾値より大きい場合には対応する被写体の表面状の注目点は「結果なし」とするか、誤差が大きいとの警告情報つきのワールド座標とする。

　画像間の対応点探索処理にはブロックマッチングに代表される画像の輝度値の分布の類似度を評価するアルゴリズムを用いる。類似度の計算方法は計算速度と計算精度の要求に合わせて差の２乗和ＳＳＤ、差の絶対値の和ＳＡＤ、正規化相互相関ＮＣＣ、ゼロ平均正規化相互相関ＺＮＣＣ等の複数の計算手法を用いることができる。カメラ３３，３４，３５毎の撮影される画像の明るさの差に対するロバスト性を考慮すると、ＺＮＣＣが望ましい。また、計算時間とのバランスからこれら複数の類似度計算手法から選択できるようにしてもよい。
　また、対応点探索処理に用いる画像Ｉ３３、Ｉ３４、Ｉ３５には第１の実施例で示した歪補正処理を適用することが望ましい。歪補正処理を適用した画像上で対応点探索処理を行うことで、カメラ間の光学特性の差の影響を低減したより精度の高い対応点座標を求めることができる。

　ステップＳ１０５においては、連立方程式は、まずｘとｚの式で解き、求めたｚを用いてｙを求める。ｙを求める式は、画素の指定に用いる画像Ｉ３４に対応したカメラ３４のカメラパラメータを設定した数１４によるカメラモデルを用いる。多視点カメラ３３，３４，３５のそれぞれの光軸が平行と見なせない場合は、較正の段階で第２の実施形態と同様の方法で求めておいた回転角もカメラパラメータとして用いて、多視点カメラ３３，３４，３５のそれぞれのカメラパラメータを設定した数１４と数１５によるカメラモデルとなる。数１５でワールド座標を補正してから数14の連立方程式を解く。

　ステップＳ１０８においては、２つのワールド座標Ａ，Ｂの中点のワールド座標を用いることで、求めるワールド座標の誤差をさらに小さくする効果がある。
　ここでは、３視点のカメラを例として挙げたが、２視点のカメラであってもよい。その場合、上記のステップＳ１０４以降の処理は不要となる。

　なお、各ステップの説明ではユーザが画像Ｉ３４上で指定した画素についてワールド座標を計算しているが、画像Ｉ３４に対して実行される特徴点抽出処理によって特徴があると判定された複数の画素について自動的にワールド座標を計算するようにしてもよいし、計算資源の制約が小さい場合には画像Ｉ３４の全ての画素について計算するようにしてもよい。

　次に、本発明の第４の実施形態に係る較正装置について、図８を参照して以下に説明する。本実施形態に係る較正装置は、プロジェクタ較正装置（第２の較正装置）３７であって、その内部に液晶素子などの画像形成素子（画像変換素子：図示省略）と、投影光学系（光学系：図示省略）とを備えており、その画像を外部へ投影するプロジェクタ（投影装置）３８を較正するための装置である。本実施形態においては、光学装置の一例として、プロジェクタ３８を用いている。

　プロジェクタ較正装置３７は、較正対象のプロジェクタ３８を固定するベース３９と、該ベース３９に設けられたｚ軸移動ステージ４と、該ｚ軸移動ステージ４の可動部５に固定された較正チャート６と、プロジェクタ３８と隣接する位置に配置され、較正チャート６の像を撮影するカメラ２とを備えている。カメラ２とプロジェクタ３８とは、それらの光軸がプロジェクタ較正装置３７のｚ軸と平行になるように、かつ、プロジェクタ３８の所定の位置が座標原点と一致するように、プロジェクタ較正装置３７に取り付けられるようになっている。

　なお、カメラ２の撮像範囲はプロジェクタ３８の画像投影範囲を包含していることが好ましい。較正チャート６とｚ軸移動ステージ４、コンピュータ７など、それ以外の構成は図１と同様である。ただし、本実施形態において使用される較正チャート６としては、図２のチェスボード１０と無地のスクリーンとを交換可能になっている。また、コンピュータ７は、プロジェクタ３８を制御して、所定の画像をプロジェクタ３８に投影させる機能を併せ持っている。

　このように構成された本実施形態に係るプロジェクタ較正装置３７を用いてプロジェクタ３８を較正するには、初めに、図２のチェスボード１０を較正チャート６として設置した状態で、カメラ２を較正する。その手順は第１の実施形態と同様である。

　続いて、較正チャート６を無地のスクリーンに交換する。そして、プロジェクタ３８から、投影光学系を通して図２のチェスボード１０のパターンを較正チャート６に投影する。このとき、プロジェクタ３８内部の画像形成素子（図示省略）上で定義される画素座標において、チェスボード１０の各格子点１１，１３の画素座標は既知である。

　この状態で、第１の実施形態と同様に、図３のフローチャートの測定プログラムにより、自動的に複数の物体距離でチェスボード１０のパターンが投影された較正チャート６の画像がカメラ２によって撮像され、その画像からチェスボード１０のパターンの格子点１１の画素座標が取得される。

　この後に、取得された画素座標（ｕ，ｖ）と較正チャート６の物体距離ｚとから、前記の手順で較正されたカメラ２のカメラモデルで、較正チャート６上に投影されたチェスボード１０のパターンの格子点１１のワールド座標（ｘ，ｙ）を求める。以上の手順で、プロジェクタ３８の画素座標（ｕ，ｖ）とワールド座標（ｘ，ｙ，ｚ）との対応を表す測定データが得られる。その測定データに数１４のカメラモデルを当てはめて、プロジェクタ３８のカメラパラメータを求める方法は第１の実施形態と同様である。

　このようにして求められたプロジェクタ３８のカメラパラメータを設定したカメラモデルを、それを搭載したプロジェクタ３８で次のように使うことができる。第１に、物体距離ｚが既知のとき、注目する特徴点の画素座標（ｕ，ｖ）と物体距離ｚとを数１４のカメラモデルに代入することにより、較正されたプロジェクタ３８で投影された特徴点のワールド座標（ｘ，ｙ）を求めることができる。第２に、注目する画素座標（ｕ，ｖ）に対応するワールド座標での投影直線を求めたいときは、注目する画素座標（ｕ，ｖ）を数１１および数１２に代入することにより、投影直線の傾きと切片を求めることができる。

　第３に、歪みが無い画像を投影したいときは、プロジェクタ３８の画像形成素子で形成する画像に、投影で生じる歪みを相殺するような画像歪みを予め加えておけばよい。そのような歪補正画像の画素座標を求める手順は、図５に示される第１の実施形態のフローチャートと同様である。

　なお、プロジェクタ３８で投影するパターンはチェスボード１０に限らない。カメラ２で撮像した画像から特徴点の画素座標を算出できる、ドットマークなどのパターンも適用可能である。あるいは、プロジェクタ３８の離散した各画素を点灯する方法でもよい。

　また、本実施形態では、プロジェクタ３８で投影された特徴点のワールド座標（ｘ，ｙ）を、予め較正したカメラ２で測定した。その測定は、較正チャート６の代わりに撮像素子を設置して、投影されたパターンを直接撮像する、という方法でも実現可能である。さらに、ワールド座標と画素座標の対応さえ明確にできれば、それ以外の取得方法も選択可能である。このように、本実施形態に係るプロジェクタ較正装置３７によれば、プロジェクタ３８をカメラモデルによって較正することができる。

　次に、本発明の他の実施形態に係る計測システムおよび計測方法について、図面を参照して説明する。
　本実施形態に係る計測システムは、第４の実施形態に係るプロジェクタ較正装置３７と、プロジェクタ３８と、３次元座標計算処理部（コンピュータ７）とを備えている。

　プロジェクタ較正装置３７を用いてプロジェクタ３８の較正を実行することで、プロジェクタ３８のカメラパラメータを設定したカメラモデルが、数１４により求められる。第４の実施形態のカメラ２に対して第２の実施形態のカメラ較正を実行することで、カメラ２のカメラパラメータを設定したカメラモデルが数１４により求められる。

　プロジェクタ３８が投影するパターンはランダムドットパターン画像Ｉ３８とする。コンピュータ７に内蔵された３次元計算処理部は、下記のステップの計算処理でカメラ２によって撮影された被写体の表面上の注目点のワールド座標を計算する。ランダムドットパターンは、公知の方法で生成できる。また、Ｍ系列に代表される疑似乱数系列を２次元に配列することで作成してもよい。
　プロジェクタ３８とカメラ２の光軸がほぼ平行に配置されている場合には、計測方法は図１０に示す通りである。

　ステップＳ１１１：プロジェクタ３８によってパターン（構造化光）を投影された被写体をカメラ２で撮影した被写体画像Ｉ２を取り込む。
　ステップＳ１１２：ユーザが画像Ｉ２上で指定した各画素に対応する画像Ｉ３８の画素の画素座標を対応点探索処理で求める。

　ステップＳ１１３：Ｉ２で指定した画素座標とカメラ２のカメラパラメータを数１４に代入した式と、ステップＳ１１２で求めたＩ３８の対応する画素の座標とプロジェクタ３８のカメラパラメータを数１４に代入した式とで連立方程式を解き、画像Ｉ２の各画素に対応する被写体表面上の注目点のワールド座標を求める。
　ステップＳ１１３においては、連立方程式は、まずｘとｚの式で解き、求めたｚを用いてｙを求める。ｙを求める式は画素の指定に用いるＩ２に対応したカメラ２のカメラパラメータを設定した数１４のカメラモデルを用いる。プロジェクタ３８とカメラ２の光軸が平行と見なせない場合は、較正の段階で第２の実施形態と同様の手順で求めておいたそれぞれの回転角もカメラパラメータとして用いて、プロジェクタ３８とカメラ２の数１４と式１５によるカメラモデルとなる。式１５でワールド座標を補正してから式１４の連立方程式を解く。

　ここでは、プロジェクタ３８はパターンとして一種類の疑似ランダムパターンを投影する例を挙げたが、位相をずらした複数の縞を時間差で投影した複数枚の被写体画像を用いる位相シフト方式や、複数の解像度の2値パターンを投影した複数枚の画像を用いる空間コード化方式であってもよい。また、プロジェクタ３８が１台の例を挙げたが、ひとつのカメラ２に対して複数のプロジェクタ３８、あるいは複数のカメラ２に対して複数のプロジェクタ３８があってもよい。

　なお、各ステップの説明ではユーザが画像Ｉ２上で指定した各画素についてワールド座標を計算しているが、画像Ｉ２に対して実行される特徴点抽出処理によって特徴があると判定された複数の画素について自動的に３次元座標を計算するようにしてもよいし、計算資源の制約が小さい場合には画像Ｉ２の全ての画素について計算するようにしてもよい。

　次に、本発明の第５の実施形態に係るカメラ較正方法について、図１、図４Ａおよび図６Ａを参照して以下に説明する。
　第１から第４の実施形態においては、較正されるカメラ２の瞳収差を無視できないときのカメラ較正の方法を説明した。本実施形態では、瞳収差を無視できるときのカメラ較正の方法を説明する。

　カメラ２の瞳収差を無視できることは、全ての逆投影直線が入射瞳２５の中心の１点で交わることと等価である。従って、数１４のカメラモデルから添え字Ｂを付けた各係数を省略した、数１６のカメラモデルでカメラ２を較正できる。

　ただし、図４Ａの入射瞳２５の中心とワールド座標（ｘ，ｙ，ｚ）の原点は必ずしも一致していない。そこで、両者の平行移動を表す数２の平行移動ベクトルＴで、格子点１１のワールド座標（ｘ，ｙ，ｚ）を数１７のようにワールド座標（ｘ′，ｙ′，ｚ′）に変換すると、数１６のカメラモデルに当てはまるようになる。

　すなわち、第５の実施形態では、図１の配置で測定した複数の格子点１１のワールド座標（ｘ，ｙ，ｚ）と画素座標（ｕ，ｖ）の対応を表す測定データのうち、ワールド座標のみを数１７で（ｘ′，ｙ′，ｚ′）に変換してから、数１６のカメラモデルを当てはめる。

　次に、第５の実施形態に係るカメラ較正方法を用いてカメラモデルを最適化する手順を説明する。
　初めに、第１の実施形態と同様にして、ワールド座標（ｘ，ｙ，ｚ）と画素座標（ｕ，ｖ）との対応を表す測定データを求める。次に、測定データの画素座標（ｕ，ｖ）と平行移動後のワールド座標（ｘ′，ｙ′，ｚ′）に、数１６のカメラモデルを線形の最小二乗法で当てはめたときの残差の標準偏差を評価関数として、最適化パラメータである平行移動ベクトルの成分ｔｘ，ｔｙ，ｔｚを繰り返し最適化する。

　平行移動ベクトルの成分ｔｘ，ｔｙ，ｔｚの初期値はゼロでよい。あるいは、何らかの方法でそれらを推定できるときは、それを初期値にしてもよい。
　この繰り返し最適化は、滑降シンプレックス法などの一般的なアルゴリズムで実行できる。評価関数が最小値に収束したときの平行移動ベクトルの成分ｔｘ，ｔｙ，ｔｚが最適な平行移動ベクトルである。

　このようにして求めた数１６のカメラモデルは、平行移動後のワールド座標（ｘ′，ｙ′，ｚ′）におけるカメラモデルである。その数１６のカメラモデルは、最適化した平行移動ベクトルの成分ｔｘ，ｔｙ，ｔｚと数１７を用いて、元のワールド座標（ｘ，ｙ，ｚ）における数１４のカメラモデルの形式に変換できる。

　したがって、本実施形態に係るカメラ較正方法を用いて求めたカメラパラメータが設定されたカメラモデルを、それを搭載したカメラ２を含む撮影装置で第１から第４の実施形態と同様に利用することができる。
　本実施形態では、３つの平行移動ベクトルの成分ｔｘ，ｔｙ，ｔｚを最適化した。しかし、それらの中のいくつかの平行移動成分が既知のときは、それらを既知の値で固定して、最適化パラメータから外してもよい。そのときは、残りの未知の１つあるいは複数の平行移動成分のみを最適化すればよい。このようにすると最適化パラメータの数が減るので、計算時間を短縮することができる。

　また、本実施形態を第２の実施形態と併用することも可能である。すなわち、図６Ａのようにワールド座標軸に平行でないカメラ２を、瞳収差を無視した数１６のカメラモデルで較正するときは、数１６のカメラモデルを線形の最小二乗法で当てはめたときの残差の標準偏差を評価関数として、最適化パラメータである平行移動ベクトルの成分ｔｘ，ｔｙ，ｔｚおよび回転角θｘ，θｙ，θｚの中から必要な成分を繰り返し最適化すればよい。

　このように、本実施形態に係るカメラ較正方法によれば、瞳収差を無視できるカメラ２を較正する場合に、カメラパラメータの数を減らすことができる。また、歪曲収差などの多くのカメラパラメータが必要な場合でも、繰り返し最適化のパラメータ数は３つ以下の平行移動成分および３つ以下の回転角に限定されるので、カメラモデルの最適化の失敗が無く、かつ計算時間を大幅に短縮することができる。

　また、本発明の第１から第５の実施形態において、カメラ２あるいはプロジェクタ３８のフォーカス、ズーム、絞りなどの設定変更にそれぞれ対応した、複数のカメラ較正を実施することにしてもよい。また、それらのカメラモデルを補間して、任意の設定に対応したカメラモデルを求めることにしてもよい。

　さらに、光源の複数の波長の下で、カメラ較正を実施することにしてもよい。また、波長別の画像を撮影するカメラで、波長別のカメラモデルを使用することにしてもよい。また、本発明の第１から第５の実施形態に記載の光学装置において、画像変換素子の一例として、撮像素子１８や画像形成素子を用いたが、これに限られるものではなく、画像と映像信号とを相互に変換するものであればよい。

１，３２　カメラ較正装置（較正装置）
２　カメラ（撮影装置、光学装置）
７　コンピュータ（パラメータ算出部）
８　較正データ取得部
１４　撮像光学系（光学系）
１５，１６　レンズ（光学系）
１８　撮像素子（画像変換素子）
３７　プロジェクタ較正装置（較正装置）
３８　プロジェクタ（投影装置、光学装置）

Claims (35)

1. 　複数の画素を有する２次元の画像変換素子と、該画像変換素子と３次元のワールド座標空間との間で結像関係を形成する光学系とを備える光学装置の較正装置であって、
   　前記画像変換素子の２次元の画素座標と、前記ワールド座標空間の３次元のワールド座標との対応を示す較正データを取得する較正データ取得部と、
   　該較正データ取得部により取得された較正データに、前記３次元のワールド座標の内の２つの座標値を、他の１つのワールド座標の座標値および前記２次元の画素座標の２つの座標値の関数として表したカメラモデルを当てはめて、該カメラモデルのパラメータを算出するパラメータ算出部とを備える較正装置。
2. 　前記カメラモデルが、前記他の１つのワールド座標の座標値と前記２次元の画素座標の２つの座標値の関数を要素とした複数の２次元ベクトル関数の線形和によって、前記ワールド座標空間の直線を表す請求項１に記載の較正装置。
3. 　前記カメラモデルが、前記２次元の画素座標平面上の点の２つの画素座標値と、前記光学系によって前記画素座標平面と光学的に共役な平面上の点の２つのワールド座標値との結像関係を表す線形の結像モデルの各係数を、前記他の１つのワールド座標の１次式で置換した数式で表現される請求項２に記載の較正装置。
4. 　前記較正データ取得部が、前記ワールド座標空間の２つの平面上のそれぞれの点の各３つの座標値と、前記それぞれの点に対応する前記２次元の画素座標の２つの座標値との対応を表す較正データを複数取得する請求項１に記載の較正装置。
5. 　前記パラメータ算出部が、前記ワールド座標空間の２つの平面上のそれぞれの点の各３つの座標値と、前記それぞれの点に対応する前記２次元の画素座標の２つの座標値との対応を表す複数の較正データに、前記カメラモデルを当てはめる請求項１に記載の較正装置。
6. 　前記較正データ取得部が、前記２次元の画素座標の２つの座標値と、前記ワールド座標の直線の傾きおよび切片との対応を表す複数の較正データを取得する請求項１に記載の較正装置。
7. 　前記パラメータ算出部が、前記カメラモデルを線形の最小二乗法で前記較正データに当てはめる請求項１から請求項６のいずれかに記載の較正装置。
8. 　前記パラメータ算出部が、前記較正データ取得部により取得された較正データの内、３次元のワールド座標を、該ワールド座標の回転を表す３つの回転角の１以上の回転角で回転したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の回転角を求める請求項１に記載の較正装置。
9. 　前記パラメータ算出部が、前記較正データ取得部により取得された較正データの内、３次元のワールド座標を、該ワールド座標の平行移動を表す３つの平行移動成分の１以上の成分で平行移動したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の平行移動成分を求める請求項１または請求項８に記載の較正装置。
10. 　前記光学装置が、複数の画像変換素子および該画像変換素子と３次元のワールド座標空間との間で結像関係を形成する光学系を備え、
    　前記較正データ取得部が各前記画像変換素子および前記光学系の較正データを取得し、
    　前記パラメータ算出部が、各前記画像変換素子および前記光学系の較正データに、各該画像変換素子の２次元の画素座標の関数として表したカメラモデルを当てはめる請求項１から請求項９のいずれかに記載の較正装置。
11. 　前記光学装置が撮影装置であり、
    　前記画像変換素子が撮像素子であり、
    　前記光学系が撮像光学系である請求項１から請求項１０のいずれかに記載の較正装置。
12. 　前記光学装置が投影装置であり、
    　前記画像変換素子が画像形成素子であり、
    　前記光学系が投影光学系である請求項１から請求項１０のいずれかに記載の較正装置。
13. 　複数の画素を有する２次元の画像変換素子と、該画像変換素子と３次元のワールド座標空間との間で結像関係を形成する光学系とを備える光学装置の前記画像変換素子の２次元の画素座標と、前記ワールド座標空間の３次元のワールド座標との対応を示す較正データを取得するステップと、
    　取得された較正データに、前記３次元のワールド座標の内の２つの座標値を、他の１つのワールド座標の座標値および前記２次元の画素座標の２つの座標値の関数として表したカメラモデルを当てはめて、該カメラモデルのパラメータを算出するステップとを含む較正方法。
14. 　前記カメラモデルが、前記他の１つのワールド座標の座標値と前記２次元の画素座標の２つの座標値の関数を要素とした複数の２次元ベクトル関数の線形和によって、前記ワールド座標空間の直線を表す請求項１３に記載の較正方法。
15. 　前記カメラモデルが、前記２次元の画素座標平面上の点の２つの画素座標値と、前記光学系によって前記画素座標平面と光学的に共役な平面上の点の２つのワールド座標値との結像関係を表す線形の結像モデルの各係数を、前記他の１つのワールド座標の１次式で置換した数式で表現される請求項１４に記載の較正方法。
16. 　前記較正データを取得するステップが、前記ワールド座標空間の２つの平面上の２つの座標値と、前記２次元の画素座標の２つの座標値との対応を表す複数の較正データを取得する請求項１３に記載の較正方法。
17. 　前記パラメータを算出するステップが、前記ワールド座標空間の２つの平面上の２つの座標値と、前記２次元の画素座標の２つの座標値との対応を表す複数の較正データに、前記カメラモデルを当てはめる請求項１３に記載の較正方法。
18. 　前記較正データを取得するステップが、前記２次元の画素座標の２つの座標値と、前記ワールド座標の直線の傾きおよび切片との対応を表す複数の較正データを取得する請求項１３に記載の較正方法。
19. 　前記パラメータを算出するステップが、前記カメラモデルを線形の最小二乗法で較正データに当てはめる請求項１３から請求項１８のいずれかに記載の較正方法。
20. 　前記パラメータを算出するステップが、前記較正データを取得するステップにより取得された較正データの内、３次元のワールド座標を、該ワールド座標の回転を表す３つの回転角の１以上の回転角で回転したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の回転角を求める請求項１３に記載の較正方法。
21. 　前記パラメータを算出するステップが、前記較正データを取得するステップにより取得された較正データの内、３次元のワールド座標を、該ワールド座標の平行移動を表す３つの平行移動成分の１以上の成分で平行移動したワールド座標に変換した較正データに、前記カメラモデルを当てはめて、該カメラモデルの残差が最小になる１以上の平行移動成分を求める請求項１３または請求項２０に記載の較正方法。
22. 　請求項１から請求項１０のいずれかに記載の較正装置により算出されたパラメータが設定されたカメラモデルを搭載した光学装置。
23. 　前記カメラモデルを、複数の画素座標と２つの平面上のワールド座標との対応を表す離散データとして保持する請求項２２に記載の光学装置。
24. 　前記カメラモデルを、複数の画素座標とワールド座標空間の直線の傾きおよび切片の対応を表す離散データとして保持する請求項２２に記載の光学装置。
25. 　前記カメラモデルにより、前記３次元のワールド座標の内の２つの座標値を、他の１つのワールド座標の座標値と前記２次元の画素座標の２つの座標値から求めるワールド座標算出部を備える請求項２２から請求項２４のいずれかに記載の光学装置。
26. 　前記カメラモデルにより、前記２次元の画素座標の２つの座標値から、該画素座標に対応するワールド座標空間の直線を求める直線算出部を備える請求項２２から請求項２４のいずれかに記載の光学装置。
27. 　前記カメラモデルにより、前記画像変換素子により取得あるいは形成された画像の画素座標に対応する前記ワールド座標を求め、歪みを補正した画像を生成する歪み補正画像生成部を備える請求項２２から請求項２４のいずれかに記載の光学装置。
28. 　請求項８または請求項９に記載の較正装置により取得された回転角および／または平行移動成分がパラメータとして設定されたカメラモデルを搭載した光学装置。
29. 　前記回転角および／または前記平行移動成分により、回転および／または平行移動後のワールド座標を回転および／または平行移動前のワールド座標に変換するワールド座標回転部および／またはワールド座標平行移動部を備える請求項２８に記載の光学装置。
30. 　請求項２２から請求項２９のいずれかに記載の光学装置からなる撮影装置。
31. 　請求項２２から請求項２９のいずれかに記載の光学装置からなる投影装置。
32. 　請求項１１に記載の較正装置と、
    　請求項３０に記載の１つ以上の撮影装置と、
    　該撮影装置により取得された複数の視点での画像の画素座標から被写体の注目点の３次元座標を計算する３次元座標計算処理部とを備え、
    　該３次元座標計算処理部が、前記較正装置において用いられた前記カメラモデルと、前記較正装置により算出された前記撮影装置の前記カメラモデルの前記パラメータとを用いる計測システム。
33. 　請求項１１に記載の較正装置である第１の較正装置と、
    　請求項１２に記載の較正装置である第２の較正装置と、
    　請求項３０に記載の１つ以上の撮影装置と、
    　請求項３１に記載の１つ以上の投影装置と、
    　前記投影装置からの構造化光が投影された被写体を前記撮影装置で撮影した画像の画素座標から前記被写体の注目点の３次元座標を計算する３次元座標計算処理部とを備え、
    　該３次元座標計算処理部が、前記第１および第２の較正装置において用いられた前記カメラモデルと、前記第１の較正装置により算出された前記撮影装置の前記カメラモデルの前記パラメータと、前記第２の較正装置により算出された前記投影装置の前記カメラモデルの前記パラメータとを用いる計測システム。
34. 　請求項１１に記載の較正装置において用いられた前記カメラモデルと、前記較正装置により算出された請求項３０に記載の１つ以上の撮影装置の前記カメラモデルの前記パラメータとを用いて、前記撮影装置により取得された複数の視点での画像の画素座標から被写体の注目点の３次元座標を計算する計測方法。
35. 　請求項１１に記載の較正装置である第１の較正装置および請求項１２に記載の較正装置である第２の較正装置において用いられた前記カメラモデルと、前記第１の較正装置により算出された請求項３０に記載された１つ以上の撮影装置の前記カメラモデルの前記パラメータと、前記第２の較正装置により算出された請求項３１に記載の１つ以上の投影装置の前記カメラモデルの前記パラメータとを用いて、前記投影装置からの構造化光が投影された被写体を前記撮影装置で撮影した画像の画素座標から前記被写体の注目点の３次元座標を計算する計測方法。

Images