WO2010013289A1 - カメラ校正画像作成装置およびカメラ校正画像作成プログラム - Google Patents

Abstract

　複数の位置を表す幾何学パターンを施した１つの基準面からなる仮想基準ボードの複数の姿勢に関する３次元データを格納する３次元データ格納手段、３次元データから、指定された姿勢の仮想基準ボード上の各位置の３次元座標を算出する３次元座標生成手段、予め測定されたカメラと所定のディスプレイの相対距離に基づいて、上記３次元座標をディスプレイの表示画面上に射影変換して２次元座標を算出する射影変換手段、２次元座標に基づいてディスプレイで表示する基準ボード画像を生成する画像生成手段を備える。

Description

カメラ校正画像作成装置およびカメラ校正画像作成プログラム

　この発明は、カメラ校正時に使用するチェッカーボードとして代替できる画像をディスプレイに表示するカメラ校正画像作成装置およびカメラ校正画像作成プログラムに関するものである。

　カメラで撮像された画像は、レンズの影響を受けて歪みを含んだ画像となる。このような画像を、例えば３次元位置計測にそのまま使用すると計算結果に大きな誤差が生じる。そのため、３次元位置計測において、正確な３次元位置を特定するためには上記の歪みを取り除いた画像を作成することが必要となる。この歪みを取り除いた画像を作成するに際しては、レンズの特性を表す各パラメータを求め、歪みのある画像の各画素をどの位置に移動させるかを表わすパラメータを計算する必要がある。このパラメータは、具体的には内部パラメータおよびレンズの歪み補正係数と呼ばれるものからなる。

　上記内部パラメータは、カメラ画像を正規化するために使用するパラメータであり、焦点距離ｆ、画像内におけるレンズ中心（ｕ₀ ，ｖ₀ ）や、せん断係数ｋ_s 、スケールファクタ（ｋ_u ，ｋ_v ）等のレンズ特性について表現したもので、次式で表される。

　一方、歪み補正係数は、光学的性質による樽型歪みと円周方向の歪みについて数式にモデル化したときの係数である。ここで（ｘ_d ，ｙ_d ）を得られた歪みがあるカメラ画像中の座標とし、（ｘ_u ，ｙ_u ）を、歪みを除去した画像における対応点とすると、（２）式で表すことができる。

また、Ｋ_i は樽型歪みの性質を表すパラメータであり、Ｐ_i は円周方向の歪みの性質を表すパラメータであり、これらを歪み補正係数と呼ぶ。
　そして、（２）式において高次の項について影響は少ないとして無視すると、（３）式のように近似できる。

　これらのパラメータを実際に求める手法としては、一般的に非特許文献１に記載される手法が用いられている。この手法では、例えば図１に示すような、白と黒の正方形が交互に描かれたチェッカーボードが用いられる。パラメータを求めるためのカメラを所定の位置に設置し、このカメラに対してチェッカーボードを据え、いろいろな方向を向くように姿勢を変えてチェッカー面をカメラで撮像する。次に、得られた各カメラ画像上のチェッカー面を構成している白と黒の正方形の頂点が重なる交点の位置座標を検出する。そして、カメラ画像上の各位置座標と３次元的な位置情報の対応関係を求める。これらのデータを用いて最適化計算をすることにより、カメラの内部パラメータ、歪み補正係数が求まる。このように各パラメータを求めることをカメラキャリブレーションと呼んでいる。

Zhenyou Zhang, "A Flexible New Technique for Camera Calibration", Microsoft Research Technical Report,MSR-TR-98-71,December 2, 1998.

　上述したように、非特許文献１に記載されたカメラ校正手法の場合、１台のカメラに対してチェッカーボードの姿勢を複数方向に変えて撮像するという作業が要求される。また、同タイプの複数のカメラでも歪みが異なる場合があるため、カメラごとに校正を行なう必要があり、カメラ校正に掛かる作業負荷はさらに大となる。また、カメラ校正結果に対する安定性について、各撮像画像に写っているチェッカーボードが均等な姿勢をとっていなければ適切な校正結果を得ることができないといった問題がある。さらに、複数のカメラに対してそれぞれカメラ校正を行う場合には、全く同じ位置にあるチェッカーボードを撮像することが困難であるので、安定した精度を保つことができないといった問題がある。

　この発明は、上記のような課題を解決するためになされたもので、カメラ校正時の作業負荷を軽減し、均質で安定したカメラ校正を可能にするチェッカーボードのような基準ボード画像を提供するカメラ校正画像作成装置を得ることを目的とする。

　この発明に係るカメラ校正画像作成装置は、平面上の予め定義された複数の位置を表す幾何学パターンを施した１つの基準面からなる仮想基準ボードの複数の姿勢に関する３次元データを格納する３次元データ格納手段と、３次元データ格納手段の３次元データから、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標を算出する３次元座標生成手段と、予め測定された校正対象のカメラと所定のディスプレイの相対距離に基づいて、３次元座標生成手段で算出された３次元座標を前記ディスプレイの表示画面上に射影変換して各位置の２次元座標を算出する射影変換手段と、射影変換手段で算出された２次元座標情報に基づいて前記ディスプレイで表示する基準ボード画像を生成する画像生成手段を備えたものである。

　このことによって、カメラで表示画面を撮像したときのカメラ画像が実際のチェッカーボードのような基準ボードを撮像したときと同様の画像となるように、各姿勢の基準ボード画像を生成できるようにしたので、ディスプレイに表示した基準ボード画像をカメラ校正手法に適用できる。また、実際の基準ボードの場合、ボードの姿勢をいろいろ変えて撮像しなければならないが、その姿勢を変える作業を自動化できるため、作業負荷を軽減することができる。さらに、表示される基準ボード画像は、複数の同タイプのカメラに対して、映っている基準ボードの各姿勢を常時均等に決めることができるので、均質で安定したカメラ校正を行うことを可能にする。

カメラ校正に用いるチェッカーボードのパターンを示す説明図である。 この発明の実施の形態１によるカメラ校正画像作成装置を含む機能構成を示すブロック回路図である。 この発明の実施の形態１に係る動作手順を示すフローチャートである。 この発明の実施の形態１に係るディスプレイとカメラの設定関係を示す説明図である。 この発明の実施の形態１に係る３次元座標を２次元座標に変換する射影変換について示す模式図である。 この発明の実施の形態１に係るカメラによる撮像画像の処理過程を示す説明図である。 この発明の実施の形態２によるカメラ校正画像作成装置を含む機能構成を示すブロック回路図である。 この発明の実施の形態２に係る動作手順を示すフローチャートである。 この発明の実施の形態２に係る実際のチェッカーボードを撮像する状態を示す模式図である。 この発明の実施の形態２に係る射影変換行列を用いた３次元座標／２次元座標変換の方法を示す模式図である。 この発明の実施の形態２に係る射影座標探索部の処理動作を示す説明図である。 この発明の実施の形態３に係るポインティングシステムの概略構成を示す説明図である。

　以下、この発明をより詳細に説明するために、この発明を実施するための最良の形態について、添付の図面に従って説明する。
実施の形態１．
　カメラ校正には図１に示すようなチェッカーパターンが施されたチェッカーボードが多く使用されている。したがって、この発明の実施の形態の説明においても、同様なチェッカーボードを使用した例について説明することとする。このチェッカーボード上に施されたパターンは、平面上の予め定義された複数の位置を表すための幾何学パターンである。このような目的の幾何学パターンとしては、他に格子縞や位置そのものを表すドット（点）などがある。したがって、この発明としては、チェッカーボードのみに限らず、平面上の予め定義された複数の位置を表す幾何学パターンを施した基準ボードあるいは基準面でも適用可能である。

　図２は、この発明の実施の形態１によるカメラ校正画像作成装置を含む機能構成を示すブロック回路図である。
　ディスプレイ２は、例えばＣＲＴ、液晶、プラズマなどのフラットな表示画面や投射型スクリーンを持つもので、後述するカメラ校正画像作成装置２００で生成される各種姿勢のチェッカーボード画像を表示する手段である。カメラ１は、カメラ校正の対象となるカメラで、ディスプレイ２の表示画面に表示されるチェッカーボード画像を撮像してその画像信号を出力する手段である。３次元データ格納部３は、１つのチェッカー面からなる実際のチェッカーボードを模した３次元モデル（以下、仮想チェッカーボードとする）の複数の姿勢における画像データを予め作成して格納しておく手段である。

　校正処理装置１００は、画像取得部１０１、特徴点抽出部１０２、カメラキャリブレーション部１０３を備えており、周知の構成である。
　画像取得部１０１は、カメラ１により撮像されたカメラ画像を取得して保持する手段である。特徴点抽出部１０２は、画像取得部１０１で保持されたチェッカーボードのカメラ画像からチェッカーパターンの各交点座標を特徴点として検出する手段である。カメラキャリブレーション部１０３は、特徴点抽出部１０２で抽出されたチェッカーパターンの各交点座標に基づいて内部パラメータ、歪み補正係数を算出する手段である。

　カメラ校正画像作成装置２００は、３次元座標生成部１０４、射影変換部１０５、画像生成部１０６を備えており、この実施の形態１の発明の構成を表わしている。なお、上記３次元データ格納部３もカメラ校正画像作成装置２００に含める構成としてもよい。
　３次元座標生成部２０１は、３次元データ格納部３から、指定された姿勢の仮想チェッカーボードのチェッカーパターンの各交点の３次元座標を算出する手段である。射影変換部２０２は、予め測定されたカメラ１とディスプレイ２の相対距離に基づいて、３次元座標生成部２０１で算出された交点の３次元座標をディスプレイ２の表示画面上に射影変換して２次元座標を算出する手段である。画像生成部２０３は、射影変換部２０２で算出された２次元座標情報に基づいてディスプレイ２で表示するチェッカーボード画像を生成する手段である。
　なお、上記図２において破線で囲まれた部分１０は、コンピュータと処理プログラムで構成することが可能な機能部分を示している。

　次に、図３のフローチャートに従って動作を説明する。
　図４に示すように、カメラ１を、治具を用いてディスプレイ２の表示画面に対してレンズの中心軸が垂直となるようにして固定し、このときのディスプレイ２とレンズ中心との距離Ｃを計測する（ステップＳＴ２０１）。なお、カメラ１の固定位置とディスプレイ２の設置位置の距離を予め計測して決めておき、既知の情報として用いてもよい。次に、３次元座標生成部２０１では、３次元データ格納部３から、カメラ１の撮像対象となる指定された姿勢の仮想チェッカーボードの３次元画像データを読み出し、その画像上のチェッカーパターンの各交点の３次元座標を算出する（ステップＳＴ２０２）。

　射影変換部２０２では、３次元座標生成部２０１で算出された仮想チェッカーボードの交点座標をディスプレイ２の表示画面上へ射影変換して２次元座標を求める（ステップＳＴ２０３）。このとき、ステップＳＴ２０１で求めたディスプレイ２の表示画面とカメラレンズ中心との距離Ｃを用いて変換を行う。ここで、３次元座標を２次元座標に変換する射影変換について具体的に説明する。図５に示すように、カメラ１から見て、生成された３次元の仮想チェッカーボードＶ１をディスプレイ２の表示画面へ射影すると、Ｖ２のようなチェッカーボード画像となる。この場合、仮想チェッカーボードＶ１上の３次元座標Ａ（Ｘ，Ｙ，Ｚ）が、表示画面上の２次元座標Ａ’（ｘ，ｙ）に対応したとすると、この２次元座標は、射影変換により（４）式のように表される。

　画像生成部２０３では、射影変換部２０２で求めた仮想チェッカーボードの各交点の２次元座標データに基づいてチェッカーボード画像データを生成してディスプレイ２に与え、チェッカーボード画像を表示させる（ステップＳＴ２０４）。
　次に、ディスプレイ２の表示画面に表示されたチェッカーボード画像を所定の距離Ｃに固定されたカメラ１で撮像し、そのカメラ画像を画像取得部１０１で取得して保持する（ステップＳＴ２０５）。このときの取得されたカメラ画像は、図６（ａ）に例示するように、レンズによる歪みを含んだチェッカーパターンの画像である。次に、特徴点抽出部１０２では、画像取得部１０１に保持されたカメラ画像上の特徴点であるチェッカーパターンの交点座標を抽出する（ステップＳＴ２０６）。ここでは、図６（ｂ）に例示するチェッカーパターンの交点位置を抽出する。この特徴点抽出方法は、一般的に知られているパターンマッチングが用いられる。

　ステップＳＴ２０２からＳＴ２０６までの処理を、カメラ校正に必要とする複数の姿勢の仮想チェッカーボードについて全て行った場合（ステップＳＴ２０７）、カメラキャリブレーション部１０３では、これまで特徴点抽出部１０２で抽出された各カメラ画像上の交点座標のデータを用いてカメラ校正を行い、内部パラメータ、レンズの歪み補正係数を求め（ステップＳＴ２０８）、処理を終了する。なお、このカメラ校正は非特許文献１に記載されているような周知手法を用いて行うものとする。カメラ校正で得られた内部パラメータ、レンズの歪み補正係数を用いて補正されたカメラ画像は図６（ｃ）に例示されるようになる。

　なお、上記処理例では、３次元データ格納部３に予め格納されるデータは、各姿勢における実際のチェッカーボードを模した仮想チェッカーボードの３次元画像データであったが、この画像データの代わりに、仮想チェッカーボードの各姿勢におけるチェッカーパターンの各交点の３次元座標データとしてもよい。この場合、３次元座標生成部２０１は、３次元データ格納部３から、指定された姿勢の仮想チェッカーボードのチェッカーパターンの各交点の３次元座標データそのものを検索することになる。また、３次元データ格納部３に予め格納されるデータを、仮想チェッカーボードの各姿勢におけるチェッカーパターンの１点の交点座標データとしてもよい。この場合は、３次元座標生成部２０１は、指定された姿勢の仮想チェッカーボードの１点の交点の３次元座標データ、対応する姿勢およびチェッカーパターンのサイズに基づいて、仮想チェッカーボードの各交点の３次元座標を算出することになる。

　以上のように、この実施の形態１によれば、チェッカーパターンを施した１つの基準面からなる仮想チェッカーボードの複数の姿勢に関する３次元データから、指定された姿勢の仮想チェッカーボードのチェッカーパターンの各交点の３次元座標を算出し、予め測定された校正対象のカメラと所定のディスプレイの相対距離に基づいて、上記算出された各交点の３次元座標をディスプレイの表示画面上に射影変換して各交点の２次元座標を算出し、算出された２次元座標情報に基づいてディスプレイで表示するチェッカーボード画像を生成するようにしている。すなわち、カメラで表示画面を撮像したときのカメラ画像が実際のチェッカーボードを撮像したときと同様の画像となるように、各姿勢のチェッカーボード画像を生成できるので、チェッカーボード画像をカメラ校正に適用できる。また、実際のチェッカーボードの場合、ボードの姿勢をいろいろ変えて撮像しなければならないが、その姿勢を変える作業を自動化できるため、作業負荷を軽減することができる。さらに、表示されるチェッカーボード画像は、複数の同タイプのカメラに対して、映っているチェッカーボードの各姿勢を常時均等に決めることができるので、均質で安定したカメラ校正を行うことを可能にする。

実施の形態２．
　上記実施の形態１では、実際に計測したカメラとディスプレイの表示画面の相対距離を用いて、あたかも実際のチェッカーボードが３次元空間に存在しているようなチェッカーボード画像の表示を行う処理を行った。この実施の形態２では、カメラとディスプレイの相対距離を実測する代わりに、直交する２つのチェッカー面を持つチェッカーボード（以下、変形ボードと呼ぶことにする）を事前に１度撮像し、そのカメラ画像から求めた交点座標を用いて、実施の形態１と同様なチェッカーボード画像を生成する処理について述べる。

　図７は、この発明の実施の形態２によるカメラ校正画像作成装置を含む機能構成を示すブロック回路図である。図において、図２の構成に相当する部分には同一符号を付し、原則としてその説明は省略する。
　この実施の形態２では、カメラ校正画像作成装置２００が、画像取得部１０１と特徴点抽出部１０２を、カメラ校正を行う校正処理装置１００と共用する構成となっている。ここで使用する変形ボード２は、図９に示すようなチェッカーパターンがそれぞれ施された２つの面を互いに直交させた構造を持つ。しかし、３次元データ格納部３には、実施の形態１と同じ１つのチェッカー面からなる仮想チェッカーボードの座標作成用のデータが格納されているものとする。

　投影座標探索部２０４は、１度撮像した変形ボード４のカメラ画像から抽出した各交点座標に基づいて疑似カメラ画像を生成し、この疑似カメラ画像を撮像時における変形ボード４の各位置の座標データに基づいて修正し、その修正画像からディスプレイ２の表示画面上の２次元座標を算出する手段である。射影行列生成部２０５は、変形ボード４によって定義されるチェッカーパターンの各交点の３次元座標を、投影座標探索部２０４で算出されたディスプレイ２の表示画面上の２次元座標に対応付ける射影変換行列を生成する手段である。射影変換部２１２は、求めた射影変換行列を用いて、３次元座標生成部２０１で生成された仮想チェッカーボードの３次元座標をディスプレイ２の表示画面上に射影変換して各交点の２次元座標を算出する手段である。

　次に、図８のフローチャートに従って動作を説明する。
　図９に示すように、前もってカメラ1の前に直交する２つのチェッカー面を持つ変形ボード４をある姿勢にして設置し、そのチェッカー面をカメラ1で１度撮像したカメラ画像を画像取得部１０１で取得し保存する（ステップＳＴ４０１）。次に、特徴点抽出部１０２では、画像取得部１０１で取得したカメラ画像に写っているチェッカーパターンの各交点座標を特徴点として求める（ステップＳＴ４０２）。この特徴点の抽出方法としては、一般的に知られているパターンマッチングが用いられる。

　ここで、次の処理ステップの説明に移る前に、直交する２つチェッカー面を持つ変形ボードを用いた場合における射影変換行列の求め方について説明する。
　図１０に示すように、変形ボード４の直交する２つのチェッカー面を、それぞれＹ＝０、Ｚ＝０の平面となるように座標系を設定すると、射影変換行列は（５）式のようにそれぞれ３行３列の平面射影行列となる。

これらの行列は、３次元座標と２次元座標の２つの座標系の対応データを複数用意することにより求めることができる。この２つの座標系をそれぞれ斉次座標で（Ｘ，Ｙ，Ｚ，１）と（ｘ，ｙ，１）として表すと、求めた（５）式の行列を組み合わせることで、（６）式のように、３行４列の行列で定義できる、３次元座標から２次元座標への射影変換行列が求まる。

　そこで、図１０に示すように、カメラ１と変形ボード４の間にカメラ１から見て変形ボード４の像が映る仮想面３’を設置した場合、変形ボード４上の既知の交点座標で定義される３次元座標から、それに対応する仮想面３’上の射影位置（２次元座標）を求めることが可能となる。この実施の形態２では、上記仮想面３’をディスプレイ２の表示画面に置き替えて、変形ボード４の交点の３次元座標を表示画面上の２次元座標に変換する処理を行うようにする。

　図８のフローチャートに戻り、上記考えの基に、まず投影座標探索部２０４により、特徴点抽出部１０２で求めた変形ボード４のカメラ画像上の各交点座標に対して、変形ボード４の交点座標を用いてカメラ1から見たディスプレイ２の表示画面上の歪みの無い対応点の座標を探索する（ステップＳＴ４０３）。ここでは、特徴点抽出部１０２で求めた変形ボード４のカメラ画像上の各交点座標に基づいて上記カメラ画像に近似する疑似カメラ画像を生成し、図１１（ａ）に示すようにディスプレイ２に表示させる。この疑似カメラ画像は、レンズの歪みを受けているから、交点座標がずれているところがある筈である。そこで、疑似カメラ画像の交点座標と、既知である変形ボード４の撮像時の交点座標データの対応する交点座標を比較し、その結果に基づいて、図１１（ｂ）に示すように、疑似カメラ画像の交点座標を修正して再表示し、ディスプレイ２の表示画面上の修正画像の各交点座標を求める。なお、他の手法を用いて表示画面上の交点座標を求めてもよい。

　次に、射影行列生成部２０５では、ステップＳＴ４０１で撮像に用いた実際のチェッカーボード４によって定義される交点の３次元座標を、投影座標探索部２０４により求めたディスプレイ２の表示画面上の交点の２次元座標に対応付ける射影変換行列を求める（ステップＳＴ４０４）。ここでは、上記（６）式の射影変換行列を求めることになる。

　次に、３次元座標生成部２０１では、３次元データ格納部３から、カメラ１の撮像対象とする指定された姿勢の仮想チェッカーボードの３次元画像データを読み出し、そのチェッカーパターンの各交点の３次元座標を算出する（ステップＳＴ４０５）。射影変換部２１２では、射影行列生成部２０５で生成された射影変換行列を用い、３次元座標生成部２０１で算出された仮想チェッカーボードの各交点の３次元座標をディスプレイ２の表示画面上に射影して各交点の２次元座標を算出する（ステップＳＴ４０６）。画像生成部２０３では、射影変換部２０２で求めた２次元座標データに基づいてチェッカーボード画像データを生成してディスプレイ２に与え、チェッカーボード画像を表示させる（ステップＳＴ４０７）。

　次に、ディスプレイ２の表示画面に表示されたチェッカーボード画像をカメラ１で撮像し、そのカメラ画像を画像取得部１０１で取得して保持する（ステップＳＴ４０８）。このときの取得されたカメラ画像は、図６（ａ）に例示するように、レンズによる歪みを含んだチェッカーパターンの画像である。次に、特徴点抽出部１０２では、画像取得部１０１が保持されたカメラ画像上の特徴点であるチェッカーボードの交点座標の検出を行う（ステップＳＴ４０９）。ここでは、図６（ｂ）に例示するように、チェッカーパターンの交点位置を検出する。この特徴点抽出方法は、一般的に知られているパターンマッチングが用いられる。

　ステップＳＴ４０５からステップＳＴ４０９までの処理を、カメラ校正に必要とする複数の姿勢のチェッカーボード画像について全て行った場合（ステップＳＴ４１０）、カメラキャリブレーション部１０３では、これまで特徴点抽出部１０２で抽出された各カメラ画像上の交点座標のデータを用いてカメラ校正を行い、内部パラメータ、レンズの歪み補正係数を求め（ステップＳＴ４１１）、処理を終了する。なお、このカメラ校正は非特許文献１に記載されているような周知手法を用いて行うものとする。カメラ校正で得られた内部パラメータ、レンズの歪み補正係数を用いて補正されたカメラ画像は図６（ｃ）に例示されるようになる。

　なお、実施の形態１と同様に、３次元データ格納部３に予め格納されるデータを、仮想チェッカーボードの画像データの代わりに、仮想チェッカーボードの各姿勢におけるチェッカーパターンの各交点の３次元座標データとしてもよい。この場合、３次元座標生成部２０１は、３次元データ格納部３から、指定された姿勢の仮想チェッカーボードのチェッカーパターンの各交点の３次元座標データそのものを検索することになる。また、３次元データ格納部３に予め格納されるデータを、仮想チェッカーボードの各姿勢におけるチェッカーパターンの１点の交点座標データとしてもよい。この場合は、３次元座標生成部２０１は、指定された姿勢の仮想チェッカーボードの１点の交点の３次元座標データ、対応する姿勢およびチェッカーパターンのサイズに基づいて、仮想チェッカーボードの各交点の３次元座標を算出することになる。

　以上のように、この実施の形態２によれば、校正対象のカメラにより撮像した、チェッカーパターンを施した直交する２つの基準面を持つ変形ボードのカメラ画像を取得し、この変形ボードのカメラ画像に写っているチェッカーパターンの各交点の座標を抽出し、抽出されたチェッカーパターンの各交点の座標に基づいて所定のディスプレイに表示する疑似カメラ画像を生成し、撮像時の変形ボードの各交点の座標データに基づいて疑似カメラ画像上の各交点を修正して修正画像を生成し、修正画像上のチェッカーパターンの各交点に対応する所定のディスプレイの表示画面上の２次元座標を算出し、変形ボードによって定義されるチェッカーの交点の３次元座標を、上記算出された所定ディスプレイの表示画面上の２次元座標に対応付ける射影変換行列を生成し、予め準備した、変形ボードと同じチェッカーパターンを施した１つの面からなる仮想チェッカーボードの複数の姿勢に関する３次元データから、指定された姿勢の仮想チェッカーボードのチェッカーパターンの各位置の３次元座標を算出し、上記生成された射影変換行列に基づいて、算出された３次元座標を所定のディスプレイの表示画面上に射影変換して各交点の２次元座標を算出し、算出された２次元座標情報に基づいて所定のディスプレイで表示するチェッカーボード画像を生成するようにしている。すなわち、直交する２つのチェッカー面を持つ変形ボードを事前に１度撮像したデータを用いて、ディスプレイの表示画面に対する射影変換行列を作成し、この射影変換行列を使用して各姿勢のチェッカーボード画像をディスプレイに表示できるようにしたので、このチェッカーボード画像をカメラで撮像することは、所望の正確な位置、姿勢の分かった実際のチェッカーボードを撮像することと同等である。したがって、実施の形態１で行っているカメラとディスプレイの正確な相対距離を計測する必要がなくなり、カメラ校正の際にチェッカーボードの姿勢をいろいろ変えて撮像する作業を自動化することができ、作業効率を向上させることができる。また、表示されるチェッカーボード画像は、複数の同タイプのカメラに対して、映っているチェッカーボードの各姿勢を常時均等に決めることができるので、均質で安定したカメラ校正を行うことが可能となる。
　さらに、直交する２つのチェッカー面を持つ変形ボードを撮像したデータを使用して射影変換行列を作成しているので、１つの面のチェッカーボードを用いた場合に比べ射影変換行列を簡略化できるため、射影変換の処理時間を短縮することができる。

実施の形態３．
　図１２は、カメラとプロジェクタを用いたポインティングシステムの概略構成も示す説明図である。
　このポインティングシステムは、机の上板に相当する部分を半透過型のスクリーン３０とし、その下部に、スクリーン３０に画像を投影するプロジェクタ２０とスクリーン３０の投影面を撮像するためのカメラ１０を設置している。また、プロジェクタ２０に与える画像データの生成、カメラ１０で得られるカメラ画像の処理、および各種制御を行う画像処理装置４０を備えている。
　ポインティングシステムの動作は、プロジェクタ２０によりスクリーン３０に画像を投影し、スクリーン３０の上部側に映し出された画像の適当な位置でユーザがＬＥＤを当てて点灯させると、その状態をカメラ１０が撮像し、得られるカメラ画像からスクリーン３０上のポインティング位置を算出する仕組みとなっている。

　このシステムの構成の場合、スクリーン３０を、実施の形態１または実施の形態２におけるディスプレイの表示画面としてそのまま利用することにより、カメラ校正用の画像を作成して表示し、カメラ１０に対するカメラ校正を行うことが可能となる。また、このシステムでは、カメラ１０の設置位置やレンズの設定を変更してもカメラを設置した状態のまま再キャリブレーションを行うことができるので、作業性がよい。なお、カメラ校正時にカメラ校正用画像が投影面で十分反射せずカメラ画像の品質が満たされないような場合には、スクリーン３０の上側に反射体を設置して撮像すればよい。

　以上のように、この発明に係るカメラ校正画像作成装置は、カメラで表示画面を撮像したときに得られる画像が、実際のチェッカーボードを撮像したときと同様の画像となるように各姿勢のチェッカーボード画像を生成できるので、各種カメラに対するカメラキャリブレーション作業の改善に適している。

Claims (10)

1. 　平面上の予め定義された複数の位置を表す幾何学パターンを施した１つの基準面からなる仮想基準ボードの複数の姿勢に関する３次元データを格納する３次元データ格納手段と、
   　前記３次元データ格納手段の３次元データから、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標を算出する３次元座標生成手段と、
   　予め測定された校正対象のカメラと所定のディスプレイの相対距離に基づいて、前記３次元座標生成手段で算出された３次元座標を前記ディスプレイの表示画面上に射影変換して各位置の２次元座標を算出する射影変換手段と、
   　前記射影変換手段で算出された２次元座標情報に基づいて前記ディスプレイで表示する基準ボード画像を生成する画像生成手段を備えたことを特徴とするカメラ校正画像作成装置。
2. 　３次元データ格納手段は、３次元データとして、仮想基準ボードの３次元画像データを格納しており、
   　３次元座標生成手段は、前記３次元データ格納手段から読み出した３次元画像データから、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標を算出することを特徴とする請求項１記載のカメラ校正画像作成装置。
3. 　３次元データ格納手段は、３次元データとして、仮想基準ボードの幾何学パターンの位置の３次元座標データを格納しており、
   　３次元座標生成手段は、前記３次元データ格納手段から、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標データそのものを検索することを特徴とする請求項１記載のカメラ校正画像作成装置。
4. 　３次元データ格納手段は、３次元データとして、仮想基準ボードの中心にある幾何学パターンの１点の位置の３次元座標データを格納しおり、
   　３次元座標生成手段は、前記３次元データ格納手段から読み出した指定された姿勢の仮想基準ボードの１点の位置の３次元座標データ、対応する姿勢および幾何学パターンのサイズに基づいて、当該仮想基準ボードの幾何学パターンの各位置の３次元座標を算出することを特徴とする請求項１記載のカメラ校正画像作成装置。
5. 　平面上の予め定義された複数の位置を表す幾何学パターンを施した１つの基準面からなる仮想基準ボードの複数の姿勢に関する３次元データを格納する３次元データ格納手段と、
   　校正対象のカメラにより撮像した、前記仮想基準ボードと同じ幾何学パターンを施した直交する２つの基準面を持つ変形ボードのカメラ画像を取得する画像取得手段と、
   　前記画像取得手段が取得した変形ボードのカメラ画像に写っている幾何学パターンの各位置の座標を抽出する特徴点抽出手段と、
   　前記特徴点抽出手段で抽出された幾何学パターンの各位置の座標に基づいて所定のディスプレイに表示する疑似カメラ画像を生成し、撮像時における前記変形ボードの各位置の座標データに基づいて疑似カメラ画像の各位置を修正して修正画像を生成し、当該修正画像上の幾何学パターンの各位置に対応する前記ディスプレイの表示画面上の２次元座標を算出する投影座標探索手段と、
   　前記変形ボードによって定義される幾何学パターンの位置の３次元座標を、前記投影座標探索手段で算出された前記ディスプレイの表示画面上の２次元座標に対応付ける射影変換行列を生成する射影行列生成手段と、
   　前記３次元データ格納手段の３次元データから、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標を算出する３次元座標生成手段と、
   　前記射影行列変換手段で生成された射影変換行列に基づいて、前記３次元座標生成手段で算出された３次元座標を前記ディスプレイの表示画面上に射影変換して各位置の２次元座標を算出する射影変換手段と、
   　前記射影変換手段で算出された２次元座標情報に基づいて前記ディスプレイで表示する基準ボード画像を生成する画像生成手段を備えたことを特徴とするカメラ校正画像作成装置。
6. 　３次元データ格納手段は、３次元データとして、仮想基準ボードの３次元画像データを格納しており、
   　３次元座標生成手段は、前記３次元データ格納手段から読み出した３次元画像データから、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標を算出することを特徴とする請求項５記載のカメラ校正画像作成装置。
7. 　３次元データ格納手段は、３次元データとして、仮想基準ボードの幾何学パターンの位置の３次元座標データを格納しており、
   　３次元座標生成手段は、前記３次元データ格納手段から、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標データそのものを検索することを特徴とする請求項５記載のカメラ校正画像作成装置。
8. 　３次元データ格納手段は、３次元データとして、仮想基準ボードの中心にある幾何学パターンの１点の位置の３次元座標データを格納しおり、
   　３次元座標生成手段は、前記３次元データ格納手段から読み出した指定された姿勢の仮想基準ボードの１点の位置の３次元座標データ、対応する姿勢および幾何学パターンのサイズに基づいて、当該仮想基準ボードの幾何学パターンの各位置の３次元座標を算出することを特徴とする請求項５記載のカメラ校正画像作成装置。
9. 　予め準備された、平面上の予め定義された複数の位置を表す幾何学パターンを施した１つの基準面からなる仮想基準ボードの複数の姿勢に関する３次元データから、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標を算出し、
   　予め測定された校正対象のカメラと所定のディスプレイの相対距離に基づいて、前記算出された各位置の３次元座標を前記ディスプレイの表示画面上に射影変換して各位置の２次元座標を算出し、
   　前記算出された２次元座標情報に基づいて前記ディスプレイで表示する基準ボード画像を生成する処理をコンピュータ上で行うことを特徴とするカメラ校正画像作成プログラム。
10. 　校正対象のカメラにより撮像した、平面上の予め定義された複数の位置を表す幾何学パターンを施した直交する２つの基準面を持つ変形ボードのカメラ画像を取得し、
    　前記取得した変形ボードのカメラ画像に写っている幾何学パターンの各位置の座標を抽出し、
    　前記抽出された幾何学パターンの各位置の座標に基づいて所定のディスプレイに表示する疑似カメラ画像を生成し、
    　撮像時の前記変形ボードの各位置の座標データに基づいて前記疑似カメラ画像上の各位置を修正して修正画像を生成し、
    　前記修正画像上の幾何学パターンの各位置に対応する前記ディスプレイの表示画面上の２次元座標を算出し、
    　前記変形ボードによって定義される幾何学パターンの位置の３次元座標を、前記算出された前記ディスプレイの表示画面上の２次元座標に対応付ける射影変換行列を生成し、
    　予め準備した、前記変形ボードと同じ幾何学パターンを施した１つの基準面からなる仮想基準ボードの複数の姿勢に関する３次元データから、指定された姿勢の仮想基準ボードの幾何学パターンの各位置の３次元座標を算出し、
    　前記生成された射影変換行列に基づいて、前記算出された３次元座標を前記ディスプレイの表示画面上に射影変換して各位置の２次元座標を算出し、
    　前記算出された２次元座標情報に基づいて前記ディスプレイで表示する基準ボード画像を生成する処理をコンピュータ上で行うことを特徴とするカメラ校正画像作成プログラム。

Images