JP4250620B2 - 情報処理方法および装置 - Google Patents

Description

本発明は、撮像装置に係るパラメータを校正するための技術に関するものである。

一般に使用されるカメラのレンズは、理想的なピンホールカメラではないため、カメラで撮像された画像には、レンズに起因する樽型歪み等の歪が含まれる事が多く、理想的な透視投影とはなっていない。よって、コンピュータなどで画像処理をする場合には、画像の歪みを校正するという処理がよく行われる。

従来からこのような処理のために校正用パターンを撮影し、画像から歪み、カメラの透視投影変換パラメータを求めるという方法が用いられている。非特許文献１にはこのような従来の画像の歪の校正方法について記述されている。非特許文献１に開示されている校正方法では例えば、歪みのモデルとして以下のような式が使われる。

ｘ’＝ｋ_２×（ｘ_ｉ−ｃ_ｘ）
ｙ’＝ｋ_２×（ｙ_ｉ−ｃ_ｙ）
ｄ＝１−ｋ_１（ｘ’^２＋ｙ’^２） （式１）
ｘ_ｏ＝ｘ’×ｄ＋ｃ_ｘ
ｙ_ｏ＝ｙ’×ｄ＋ｃ_ｙ
ここで、（ｘ_ｉ、ｙ_ｉ）は歪みのない理想的な位置、（ｘ_ｏ、ｙ_ｏ）は歪んだ位置を表す。

パラメータを推定する基本的な手順は以下の通りである。

Ａ） 初期値（ｃ_ｘ、ｃ_ｙ、ｋ_１、ｋ^２）を用意。

Ｂ） グリッド状の観測点（ｘ_ｏ、ｙ_ｏ）から、Ａ）の歪みパラメータを用いて歪み補正後の点（ｘ_ｃ、ｙ_ｃ）を求める。

Ｃ） グリッド点を（ｘ_ｃ、ｙ_ｃ）へと変換するHomographyを最小二乗により求める。

Ｄ） グリッド点をＣ）のHomographyにより変換する（ｘ_ｈ、ｙ_ｈ）を求める。

ここで、Ｃ）とＤ）の処理は、歪みが残っている（ｘ_ｃ、ｙ_ｃ）を線形近似する操作に相当する。

Ｅ） （ｘ_ｈ、ｙ_ｈ）をＡ）の歪みパラメータにより逆補正して、（ｘ_ｈｏ、ｙ_ｈｏ）を求める。

Ｆ） （ｘ_ｏ、ｙ_ｏ）と（ｘ_ｈｏ、ｙ_ｈｏ）の差を用いて、歪みパラメータをニュートン法により最適化する。

しかしながら、以上のようにしてカメラ歪みを求めるためには、カメラの光軸に対して垂直な平面に分布する既知のマーカを撮像するなどの前提条件が必要であり、校正用パターンを垂直に置けていない場合には誤差が生じる。

また、カメラの透視投影変換パラメータをその後別に求めなければならないため、歪みパラメータおよび透視投影変換パラメータを求めるために校正を２回行わなければならない。２回目の校正には、垂直な校正用パターンだけではなく、複数の姿勢の校正用パターンを撮像する事が望ましいため、手間のかかる作業となる。

図３は、以上説明した、従来の歪みパラメータ計算処理のフローチャートである。

先ず、校正用のパターンを撮像することで、実写画像を取得する（ステップＳ３０１）。次に、この取得した実写画像中における指標（観測点）を認識し、その位置を取得する（ステップＳ３０２）。次に、上述の方法でもって校正パラメータ（歪みパラメータ）を求める（ステップＳ３０３）。そして求めた校正パラメータを保存する（ステップＳ３０４）。

更に、同図のフローチャートに従った処理の後に、カメラの透視投影変換パラメータを求める必要がある。

また上記の例ではアスペクト比に誤差が有る場合が考慮されておらず、アスペクト比が正確に１：１でない場合には、歪みパラメータに誤差が含まれてしまう。

その他の従来例としては、非特許文献２がある。非特許文献２には、カメラの透視投影変換パラメータと歪みパラメータを同時に求める方法が開示されている。しかしながら、ここでもアスペクと比は考慮されておらず、アスペクト比の誤差が、カメラの透視投影変換パラメータと歪みパラメータの誤差の原因となってしまう。
S.Uchiyama,K.Takemoto,K.Satoh,H.Yamamoto, and H.Tamura:"MR Platform: A basic body on which mixed reality applications are built," Proc. IEEE／ACM Int’l Symp. on Mixed and Augmented Reality (ISMAR 2002), pp.246-253, 2002. Ｍｉｃｒｏｓｏｆｔのテクニカルレポート：Ｔｅｃｈｎｉｃａｌ Ｒｅｐｏｒｔ ＭＳＲ−ＴＲ−９８−７１

本発明は、カメラの歪みパラメータ推定において、アスペクト比の誤差が、歪みパラメータの精度に悪影響を与えてしまうという問題を解決するための技術を提供することを目的とする。

また、パターンをカメラの光軸に対して垂直な平面に配置しなくても歪み補正パラメータを高精度に推定できるようにすることを目的とする。

本発明の目的を達成するために、例えば、本発明の情報処理方法は以下の構成を備える。

即ち、現実空間中に配された指標をカメラにより撮像することで得られる画像を取得する取得工程と、
前記画像中に映っている前記指標の前記画像中における座標位置（ｘ _ｏ 、ｙ _ｏ ）を求める第１の計算工程と、
放射方向わい曲歪みの３次のパラメータｋ _ｃ 、放射性わい曲歪みの５次のパラメータｋ _ｑ 、アスペクト比を示すパラメータｋ _ｖ２ｈ 、歪み中心位置を示すパラメータ（ｃ _ｘ 、ｃ _ｙ ）、焦点距離（ｆ _ｘ 、ｆ _ｙ ）、主点位置（ｐ _ｘ 、ｐ _ｙ ）、を含むカメラパラメータにおいて、前記５次のパラメータｋ _ｑ を０に固定したカメラパラメータを用いて、前記現実空間中に配されている指標を前記画像上に投影した場合における投影位置（ｘ _ｐ 、ｙ _ｐ ）を求める第２の計算工程と、
前記第２の計算工程で求めた投影位置（ｘ _ｐ 、ｙ _ｐ ）と、前記第１の計算工程で求めた座標位置（ｘ _ｏ 、ｙ _ｏ ）との差を用いて、前記５次のパラメータｋ _ｑ を０に固定したカメラパラメータをニュートン法に従って補正する第１の補正工程と、
前記第１の補正工程で補正されたカメラパラメータを用いて、前記現実空間中に配されている指標を前記画像上に投影した場合における投影位置（ｘ _ｐ 、ｙ _ｐ ）を求める第３の計算工程と、
前記第３の計算工程で求めた投影位置（ｘ _ｐ 、ｙ _ｐ ）と、前記第１の計算工程で求めた座標位置（ｘ _ｏ 、ｙ _ｏ ）との差を用いて、前記第１の補正工程で補正したカメラパラメータ中の前記５次のパラメータｋ _ｑ を、ニュートン法に従って補正する第２の補正工程と、
前記第２の補正工程で補正されたカメラパラメータを用いて、前記現実空間中に配されている指標を前記画像上に投影した場合における投影位置（ｘ _ｐ 、ｙ _ｐ ）を求める第４の計算工程と、
前記第４の計算工程で求めた投影位置（ｘ _ｐ 、ｙ _ｐ ）と、前記第１の計算工程で求めた座標位置（ｘ _ｏ 、ｙ _ｏ ）との差を用いて、前記第２の補正工程で補正したカメラパラメータを、前記５次のパラメータｋ _ｑ 、前記パラメータｋ _ｖ２ｈ を固定して、ニュートン法に従って補正する第３の補正工程と
を備えることを特徴とする。

本発明の目的を達成するために、例えば、本発明の情報処理装置は以下の構成を備える。

即ち、現実空間中に配された指標をカメラにより撮像することで得られる画像を取得する取得手段と、
前記画像中に映っている前記指標の前記画像中における座標位置（ｘ _ｏ 、ｙ _ｏ ）を求める第１の計算手段と、
放射方向わい曲歪みの３次のパラメータｋ _ｃ 、放射性わい曲歪みの５次のパラメータｋ _ｑ 、アスペクト比を示すパラメータｋ _ｖ２ｈ 、歪み中心位置を示すパラメータ（ｃ _ｘ 、ｃ _ｙ ）、焦点距離（ｆ _ｘ 、ｆ _ｙ ）、主点位置（ｐ _ｘ 、ｐ _ｙ ）、を含むカメラパラメータにおいて、前記５次のパラメータｋ _ｑ を０に固定したカメラパラメータを用いて、前記現実空間中に配されている指標を前記画像上に投影した場合における投影位置（ｘ _ｐ 、ｙ _ｐ ）を求める第２の計算手段と、
前記第２の計算手段が求めた投影位置（ｘ _ｐ 、ｙ _ｐ ）と、前記第１の計算手段が求めた座標位置（ｘ _ｏ 、ｙ _ｏ ）との差を用いて、前記５次のパラメータｋ _ｑ を０に固定したカメラパラメータをニュートン法に従って補正する第１の補正手段と、
前記第１の補正手段によって補正されたカメラパラメータを用いて、前記現実空間中に配されている指標を前記画像上に投影した場合における投影位置（ｘ _ｐ 、ｙ _ｐ ）を求める第３の計算手段と、
前記第３の計算手段が求めた投影位置（ｘ _ｐ 、ｙ _ｐ ）と、前記第１の計算手段が求めた座標位置（ｘ _ｏ 、ｙ _ｏ ）との差を用いて、前記第１の補正手段が補正したカメラパラメータ中の前記５次のパラメータｋ _ｑ を、ニュートン法に従って補正する第２の補正手段と、
前記第２の補正手段によって補正されたカメラパラメータを用いて、前記現実空間中に配されている指標を前記画像上に投影した場合における投影位置（ｘ _ｐ 、ｙ _ｐ ）を求める第４の計算手段と、
前記第４の計算手段が求めた投影位置（ｘ _ｐ 、ｙ _ｐ ）と、前記第１の計算手段が求めた座標位置（ｘ _ｏ 、ｙ _ｏ ）との差を用いて、前記第２の補正工程で補正したカメラパラメータを、前記５次のパラメータｋ _ｑ 、前記パラメータｋ _ｖ２ｈ を固定して、ニュートン法に従って補正する第３の補正手段と
を備えることを特徴とする。

本発明によれば、アスペクト比を考慮して高精度にカメラの歪みパラメータを推定することができる。

請求項２および請求項４記載の発明によれば、パターンをカメラの光軸に対して垂直な平面に配置しなくても歪み補正パラメータを高精度に求めることができる。つまり、簡便に歪み補正パラメータを求めることができる。

以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。

［第１の実施形態］
図１は、撮像装置としてのカメラ１０１と、補正処理を行うコンピュータ１０２とで構成されているシステムのハードウェア構成例を示すブロック図である。

カメラ１０１は、ＮＴＳＣに準拠した一般的なビデオカメラであり、レンズの放射性わい曲歪みを有する。カメラ１０１が撮像した画像はＮＴＳＣ信号としてコンピュータ１０２に送出される。

コンピュータ１０２は、キャプチャデバイス１０３、ＣＰＵ１０４、メモリ１０５、表示装置１０６、入力装置１０７により構成されている。なお、コンピュータ１０２の構成はこれに限定するものではなく、適宜変形例が考えられる。

キャプチャデバイス１０３は、カメラ１０１から送出された上記ＮＴＳＣ信号を受け、これをデータ（画像データ）に変換してメモリ１０５に送出する。

ＣＰＵ１０４は、メモリ１０５に格納されているプログラムやデータを用いてコンピュータ１０２全体の制御を行うと共に、コンピュータ１０２が行う後述の各処理を実行する。

メモリ１０５は、キャプチャデバイス１０３から送出された画像データを一時的に記憶するためのエリア、ＣＰＵ１０４が各種の処理を実行する際に用いるワークエリア等の様々なエリアを適宜提供することができる。なお、このワークエリアには、この画像データに対してＣＰＵ１０４が各種の処理を行った結果のデータ（処理済みの画像のデータ）を一時的に記憶するためのエリアも含まれる。

表示装置１０６は、ＣＲＴや液晶画面等により構成されており、画像や文字などでを表示することができる。

入力装置１０７は、キーボードやマウスなどであり、操作者が入力装置を操作することで、各種の指示をＣＰＵ１０４に対して行うことができる。

図２は、上記システムを用いて、カメラ１０１に係るパラメータを校正（補正）する際の様子を示す図である。なお、図２において図１と同じ部分については同じ番号を付けており、その説明は省略する。

２０１はカメラ１０１に係るパラメータを校正するための校正用パターンで、例えば、所定のパターンが印刷された紙である。黒点２０２については後述する。

本実施形態では、このようなパターンをカメラ１０１で撮像し、撮像した画像をコンピュータ１０２に送出する。カメラ１０１はレンズ歪みを有する。従って、パターンの撮影画像ははこのレンズ歪みによる影響を受けている。

図４の４０２は一般的な樽型歪みを示す図である。歪みの無い理想的なレンズでグリッドが印刷されている校正用パターンを撮影すると、４０１のような歪みの無いグリッド画像を得ることができる。しかしながら、レンズ歪のために、例えば４０２のような樽型歪みを有する画像が撮影される。

このような歪みは、複合現実感装置等において、実写画像と仮想現実映像の合成の際に、位置ずれの原因となる。また、画像を用いた位置計測において、誤差の原因となる。

そこで、本実施形態では、カメラ１０１に係るパラメータを校正し、４０２に例示するようなレンズ歪みによる撮像画像の変形を防ぐ。

図５は、カメラ１０１に係るパラメータを校正するための処理のフローチャートである。尚、図５のフローチャートに従った処理をＣＰＵ１０４に実行させるためのプログラムやデータはメモリ１０５に格納されている。そしてＣＰＵ１０４がこれらを用いて処理を実行することで、コンピュータ１０２は以下の各処理を実現する。

本実施形態では、式（２）を用いる。

ｘ’＝ｋ_ｑ×（ｘ_ｉ−ｃ_ｘ）
ｙ’＝ｋ_ｑ×ｋ_ｖ２ｈ×（ｙ_ｉ−ｃ_ｙ）
ｄ＝１−ｋ_ｃ（ｘ’^２＋ｙ’^２） （式２）
ｘ_ｏ＝ｘ’×ｄ＋ｃ_ｘ
ｙ_ｏ＝ｙ’×ｄ＋ｃ_ｙ
ここで、（ｘ_ｉ、ｙ_ｉ）は歪みのない理想的な位置、（ｘ_ｏ、ｙ_ｏ）は歪んだ位置を表す。また、ｋ_ｃは放射方向わい曲歪みの３次のパラメータ、ｋ_ｑは放射性わい曲歪みの５次のパラメータ、ｋ_ｖ２ｈはアスペクト比を示すパラメータである。（ｃ_ｘ、ｃ_ｙ）は歪み中心位置を示すパラメータである。

また、カメラ校正において推定すべき透視投影変換パラメータとして、焦点距離（ｆ_ｘ、ｆ_ｙ）、主点位置（ｐ_ｘ、ｐ_ｙ）があり、外部パラメータとしては位置position、姿勢orientationがある。

よって、本実施形態では、カメラ１０１に係るパラメータには、ｋ_ｃ、ｋ_ｑ、ｋ_ｖ２ｈ、ｃ_ｘ、ｃ_ｙ、ｆ_ｘ、ｆ_ｙ、ｐ_ｘ、ｐ_ｙ、position、orientationがある。

先ず、ステップＳ５０１では、初期パラメータを推定する。カメラ１０１のレンズがよほど歪みの大きいレンズで無ければ、ｋ_ｃ、ｋ_ｑの初期値は０にしておけば良い。また、歪み中心（ｃ_ｘ、ｃ_ｙ）の初期値は特殊なレンズでなければ、画像（カメラ１０１により撮像する画像）中心にしておけば良い。もし、カメラ１０１のレンズに特殊なレンズを用いている場合はそれに合わせた歪みの初期パラメータとする。

ｋ_ｖ２ｈの初期値には使用機材の理論値を設定すれば良い。一般的なコンピュータでＮＴＳＣに準拠したビデオ信号をキャプチャする場合であれば、およそ１：１のアスペクト比でビデオ信号をキャプチャできる。従って、アスペクト比を示すパラメータｋ_ｖ２ｈには１：１を設定する。なお、それは誤差を含んでいるが、ここで使用する初期値としては問題はない。

透視投影パラメータおよび外部パラメータ（ｆ_ｘ、ｆ_ｙ、ｐ_ｘ、ｐ_ｙ、position、orientation）は、パターンの配置情報（黒点２０２の位置、グリッドの交点間の距離など）に基づき、Inter-image homographyを利用したカメラパラメータ推定計算により推定する。複数の画像間におけるグリッドの対応点は、黒点２０２を基準として特定する。

次に、ステップＳ５０２では、カメラ１０１により撮像した校正用パターンの画像から直線を検出し、検出された直線の交点（図２に示したグリッドの交点）を検出する。検出した交点（以下、観測点、若しくは指標と呼称する）の画像上における座標位置を（ｘ_ｏ、ｙ_ｏ）とする。

本実施形態では、カメラ１０１の外部パラメータを同時に推定するため、カメラ１０１と校正用パターン２０１の位置関係が異なる複数の画像を取得する。画像領域全般にわたって、歪みをより正確に推定するためには、それぞれの画像の領域全体にグリッドが撮影されている事が望ましい。

ステップＳ５０３では、ｆ_ｘ＝ｆ_ｙ＝ｆ（所定の値）とする。これは焦点距離ｆ_ｘ、ｆ_ｙの大きさの違いが本質的にアスペクト比ｋ_ｖ２ｈと同じものであり、一方を推定した後の残差的な物として、もう一方を推定するからである。

従来例では、アスペクト比を固定してパラメータ推定を行っているが、式（３）の歪みのモデル式は、アスペクト比が正確な事を前提としており、アスペクト比に誤差があると、縦と横で放射性わい曲歪みの強度が異なるモデルとなってしまう。

そのため、本実施形態では、アスペクト比の推定（ｋ_ｖ２ｈの推定）を優先的に行い、アスペクト比が補正された画像面上で、レンズ中心からいずれの方向にも偏りのない放射性わい曲歪みのパラメータ推定（ｋ_ｑの推定）を行う。

ステップＳ５０４では、５次の歪み係数ｋ_ｑを０に固定する。これはｋ_ｑのパラメータ変動量は、ｋ_ｃのパラメータ変動量と比較しても極めて小さな値となるため、同時に推定すると計算誤差に埋もれてしまって収束させることができないためである。またｋ_ｃとｋ_ｑとは、相互に関連が強いため、同時に推定しようとすると、局所解に陥ってしまう可能性が高い。

ステップＳ５０５では、初期化したパラメータを用いて、パターン座標系での観測点を画像面へ透視投影するとともに、レンズ歪み逆補正を行う。これにより、観測点が画像面に写像されるであろう位置の座標（ｘ_ｐ、ｙ_ｐ）を計算する。

ステップＳ５０６では、ステップＳ５０５で求めた座標（ｘ_ｐ、ｙ_ｐ）と、ステップＳ５０２で検出した観測点の座標位置（ｘ_ｏ、ｙ_ｏ）との差を用いて、カメラ１０１に係るパラメータをニュートン法でもって補正する（更新する）。この求めるパラメータは、（ｃ_ｘ、ｃ_ｙ、ｋ_ｃ、ｋ_ｖ２ｈ、ｆ、ｐ_ｘ、ｐ_ｙ、ｐｏｓｉｔｉｏｎ、ｏｒｉｅｎｔａｔｉｏｎ）である。

このときニュートン法を用いるため∂ｘ_ｉ／∂ｃ_ｘ、∂ｘ_ｉ／∂ｃ_ｙ、∂ｘ_ｉ／∂ｋ_ｃ、∂ｘ_ｉ／∂ｋ_ｖ２ｈ、∂ｘ_ｉ／∂ｆ、∂ｘ_ｉ／∂ｐ_ｘ、∂ｘ_ｉ／∂ｐ_ｙ、∂ｘ_ｉ／∂（ｐｏｓｉｔｉｏｎ）、∂ｘ_ｉ／∂（ｏｒｉｅｎｔａｔｉｏｎ）、、を計算して用いる。

ステップＳ５０７では、残差を計算し、残差が所定値以下になったか（求めるパラメータが最適化されたか）を判断する。そして、残差が所定値以上である場合には処理をステップＳ５０５に戻し、処理を繰り返す。なお、ニュートン法に従った数値計算処理については周知のものであるので、これに関する説明は省略する。

一方、残差が所定値以下になった場合は処理をステップＳ５０８に進める。ステップＳ５０８では、ステップＳ５０７までの処理で求めたパラメータを固定し、以上の処理で値を固定していたｋ_ｑをニュートン法でもって補正するために、このｋ_ｑを変数とする。なお、予め∂ｘ_ｉ／∂ｋ_ｑ、∂ｙ_ｉ／∂ｋ_ｑを計算しておく。

ステップＳ５０９では、ステップＳ５０７までの処理で求めたパラメータを用いて、パターン座標系での観測点を画像面へ透視投影し、レンズ歪み逆補正を行う。これにより、観測点が画像面に写像されるであろう位置の座標（ｘ_ｐ、ｙ_ｐ）を計算する。

ステップＳ５１０では、ステップＳ５０９で求めた座標（ｘ_ｐ、ｙ_ｐ）と、ステップＳ５０２で検出した観測点の座標位置（ｘ_ｏ、ｙ_ｏ）との差を用いて、ｋ_ｑをニュートン法でもって更新する。

ステップＳ５１１では、残差を計算し、残差が所定値以下になったか（求めるパラメータが最適化されたか）を判断する。そして、残差が所定値以上である場合には処理をステップＳ５０９に戻し、以降の処理を繰り返す。

ステップＳ５１２では、例えば、ステップＳ５０７，Ｓ５１１のそれぞれで求めた残差の和が所定値以下であるのか否かを判断し、所定値以上である場合には処理をステップＳ５０５に戻し、以降の処理を繰り返す。なお、ステップＳ５０５に処理を戻した場合、ｋ_ｑは０ではなく、ステップＳ５０９〜Ｓ５１１で求めたものを用いる。

ステップＳ５１３では、ステップＳ５１２で最終的に決定した５次の係数ｋ_ｑ、アスペクト比ｋ_ｖ２ｈを固定する。これは、ｋ_ｑはこの後の最適化でｋ_ｃと同時には推定できないためである。また、アスペクト比を固定するのは、アスペクト比と本質的に同じ意味を持つ（ｆ_ｘ、ｆ_ｙ）の別々の推定を行うためである。

そして、ステップＳ５１４では、ｆ_ｘ、ｆ_ｙを縦横別のパラメータとして設定し、ステップＳ５１５〜Ｓ５１７の処理を行う。ステップＳ５１５〜Ｓ５１７の処理は、ステップＳ５０５〜Ｓ５０７における処理（ステップＳ５０９〜Ｓ５１１）と同様である。

なお、ｆ_ｘ、ｆ_ｙは必ずしも別に推定する必要は無く、その場合はステップＳ５１７における処理は省略することができる。実際に計算を行うとｆ_ｘ、ｆ_ｙはほぼ同じ値になるが、より残差を減らすために別に計算することが有効な場合もある。

なお、補正結果に関しては、あらかじめ歪みパラメータと、スケールを求めておき、表示装置１０６に内蔵される機能を使って、変換を行いながら、表示をする事も可能である。

以上の説明により、本実施形態によれば、カメラの校正において、校正用パターンをカメラに垂直に提示する必要がなく容易に校正が可能で、垂直に提示でない事による誤差を排除できる。

また、カメラの歪みパラメータ推定において、アスペクト比の誤差が、歪みパラメータの精度に悪影響を与える事なく正確な推定ができる。

また、本実施形態は、歪み補正パラメータとカメラの透視投影変換パラメータおよび外部パラメータとを同時に求める。よって、歪み補正パラメータ計算用の画像を取得して歪み補正パラメータを計算した後に、カメラの透視投影変換パラメータ計算用の画像を取得して、カメラの透視投影変換パラメータを計算するというように、２度の校正を行う必要がない。

なお、上記実施形態では、５次の係数ｋ_ｑを計算しているが、これは省略することもできる。その場合、図５のフローチャートにおいて、ステップＳ５０８からステップＳ５１２における処理は省略することになる。

また、放射方向に加え、接線方向わい曲歪みを考慮するなど、レンズ歪みのモデルが上記実施形態と異なる場合であっても、上記実施形態と同様にアスペクト比を考慮して、歪みパラメータと透視投影変換パラメータを推定する事が可能である。

［その他の実施形態］
また、本発明の目的は、以下のようにすることによって達成されることはいうまでもない。即ち、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給する。そして、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行する。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。

また、コンピュータが読み出したプログラムコードを実行することにより、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行う。その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれたとする。その後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。

本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。

撮像装置としてのカメラ１０１と、補正処理を行うコンピュータ１０２とで構成されているシステムのハードウェア構成例を示すブロック図である。 第１の実施形態に係るシステムを用いて、カメラ１０１に係るパラメータを校正（補正）する際の様子を示す図である。 従来の歪みパラメータ計算処理のフローチャートである。 一般的樽型歪みを示す図である。 カメラ１０１に係るパラメータを校正するための処理のフローチャートである。

Claims (3)

1. 現実空間中に配された指標をカメラにより撮像することで得られる画像を取得する取得工程と、
   前記画像中に映っている前記指標の前記画像中における座標位置（ｘ _ｏ 、ｙ _ｏ ）を求める第１の計算工程と、
   放射方向わい曲歪みの３次のパラメータｋ _ｃ 、放射性わい曲歪みの５次のパラメータｋ _ｑ 、アスペクト比を示すパラメータｋ _ｖ２ｈ 、歪み中心位置を示すパラメータ（ｃ _ｘ 、ｃ _ｙ ）、焦点距離（ｆ _ｘ 、ｆ _ｙ ）、主点位置（ｐ _ｘ 、ｐ _ｙ ）、を含むカメラパラメータにおいて、前記５次のパラメータｋ _ｑ を０に固定したカメラパラメータを用いて、前記現実空間中に配されている指標を前記画像上に投影した場合における投影位置（ｘ _ｐ 、ｙ _ｐ ）を求める第２の計算工程と、
   前記第２の計算工程で求めた投影位置（ｘ _ｐ 、ｙ _ｐ ）と、前記第１の計算工程で求めた座標位置（ｘ _ｏ 、ｙ _ｏ ）との差を用いて、前記５次のパラメータｋ _ｑ を０に固定したカメラパラメータをニュートン法に従って補正する第１の補正工程と、
   前記第１の補正工程で補正されたカメラパラメータを用いて、前記現実空間中に配されている指標を前記画像上に投影した場合における投影位置（ｘ _ｐ 、ｙ _ｐ ）を求める第３の計算工程と、
   前記第３の計算工程で求めた投影位置（ｘ _ｐ 、ｙ _ｐ ）と、前記第１の計算工程で求めた座標位置（ｘ _ｏ 、ｙ _ｏ ）との差を用いて、前記第１の補正工程で補正したカメラパラメータ中の前記５次のパラメータｋ _ｑ を、ニュートン法に従って補正する第２の補正工程と、
   前記第２の補正工程で補正されたカメラパラメータを用いて、前記現実空間中に配されている指標を前記画像上に投影した場合における投影位置（ｘ _ｐ 、ｙ _ｐ ）を求める第４の計算工程と、
   前記第４の計算工程で求めた投影位置（ｘ _ｐ 、ｙ _ｐ ）と、前記第１の計算工程で求めた座標位置（ｘ _ｏ 、ｙ _ｏ ）との差を用いて、前記第２の補正工程で補正したカメラパラメータを、前記５次のパラメータｋ _ｑ 、前記パラメータｋ _ｖ２ｈ を固定して、ニュートン法に従って補正する第３の補正工程と
   を備えることを特徴とする情報処理方法。
2. 現実空間中に配された指標をカメラにより撮像することで得られる画像を取得する取得手段と、
   前記画像中に映っている前記指標の前記画像中における座標位置（ｘ _ｏ 、ｙ _ｏ ）を求める第１の計算手段と、
   放射方向わい曲歪みの３次のパラメータｋ _ｃ 、放射性わい曲歪みの５次のパラメータｋ _ｑ 、アスペクト比を示すパラメータｋ _ｖ２ｈ 、歪み中心位置を示すパラメータ（ｃ _ｘ 、ｃ _ｙ ）、焦点距離（ｆ _ｘ 、ｆ _ｙ ）、主点位置（ｐ _ｘ 、ｐ _ｙ ）、を含むカメラパラメータにおいて、前記５次のパラメータｋ _ｑ を０に固定したカメラパラメータを用いて、前記現実空間中に配されている指標を前記画像上に投影した場合における投影位置（ｘ _ｐ 、ｙ _ｐ ）を求める第２の計算手段と、
   前記第２の計算手段が求めた投影位置（ｘ _ｐ 、ｙ _ｐ ）と、前記第１の計算手段が求めた座標位置（ｘ _ｏ 、ｙ _ｏ ）との差を用いて、前記５次のパラメータｋ _ｑ を０に固定したカメラパラメータをニュートン法に従って補正する第１の補正手段と、
   前記第１の補正手段によって補正されたカメラパラメータを用いて、前記現実空間中に配されている指標を前記画像上に投影した場合における投影位置（ｘ _ｐ 、ｙ _ｐ ）を求める第３の計算手段と、
   前記第３の計算手段が求めた投影位置（ｘ _ｐ 、ｙ _ｐ ）と、前記第１の計算手段が求めた座標位置（ｘ _ｏ 、ｙ _ｏ ）との差を用いて、前記第１の補正手段が補正したカメラパラメータ中の前記５次のパラメータｋ _ｑ を、ニュートン法に従って補正する第２の補正手段と、
   前記第２の補正手段によって補正されたカメラパラメータを用いて、前記現実空間中に配されている指標を前記画像上に投影した場合における投影位置（ｘ _ｐ 、ｙ _ｐ ）を求める第４の計算手段と、
   前記第４の計算手段が求めた投影位置（ｘ _ｐ 、ｙ _ｐ ）と、前記第１の計算手段が求めた座標位置（ｘ _ｏ 、ｙ _ｏ ）との差を用いて、前記第２の補正工程で補正したカメラパラメータを、前記５次のパラメータｋ _ｑ 、前記パラメータｋ _ｖ２ｈ を固定して、ニュートン法に従って補正する第３の補正手段と
   を備えることを特徴とする情報処理装置。
3. コンピュータを、請求項１に記載の情報処理装置が有する各手段として機能させるためのコンピュータプログラム。

Images