JP5235842B2 - 光学系パラメータ校正装置、光学系パラメータ校正方法、プログラム、及び記録媒体 - Google Patents

Description

本発明は、プロジェクタとカメラによって被写体を取り囲むように配置されたプロジェクタ・カメラ系のパラメータを校正する光学系パラメータ校正装置、光学系パラメータ校正方法、プログラム、及び記録媒体に関する。

従来、カメラを校正する、あるいはカメラの内部・外部パラメータを推定するには、カメラキャリブレーションが利用される（例えば、非特許文献１参照）。このキャリブレーションでは、図９に示すように、被写体を平面とし、その平面上の参照点（格子点）の２次元座標を既知とし、カメラ１によりその参照点を観測する。このとき、平面上の参照点とカメラ１で得た画像座標との間には、平面射影変換（ホモグラフィ）と呼ばれる射影関係が成立する。

上記射影関係は、図１０に示すように、プロジェクタ３、スクリーン２、カメラ１の間でも成立するため、プロジェクタ３とカメラ１との双方をキャリブレーションする作業に利用することができる。プロジェクタ３からスクリーン２にパターンを投影し、その投影像をカメラ１で撮影する。プロジェクタ３から照射するパターンの例として、カメラ１で観測可能な程度の点、すなわち、参照点ｐ^（ｐ） _ｊが用いられる。この参照点を２次元座標：（ｘ^（ｐ） _ｊ，ｙ^（ｐ） _ｊ）、ｊ＝１，２，…，Ｎとして表現する。

スクリーン２は、平面であると仮定して、プロジェクタ３で投影されたスクリーン２上での点の３次元座標をＰ^（ｓ） _ｊ＝（Ｘ^（ｓ） _ｊ，Ｙ^（ｓ） _ｊ，０）、ｊ＝１，２，…，Ｎとする。さらに，そのスクリーン２上の点をカメラ１で撮影して得た２次元座標をｐ^（ｃ） _ｊ＝（ｘ^（ｃ） _ｊ，ｙ^（ｃ） _ｊ）、ｊ＝１，２，…，Ｎとする。このとき、プロジェクタ３にセットする参照点ｐ^（ｐ） _ｊ、スクリーン２上の点Ｐ^（ｓ） _ｊ、カメラ１で観測した画像座標ｐ^（ｃ） _ｊは、平面射影によって結び付けることができる。すなわち、プロジェクタ３からスクリーン２への平面射影変換をＨ_ｐｓ、スクリーン２からカメラ１への平面射影変換をＨ_ｓｃとすると、次式（１）、（２）の関係で対応付けることができる。

数式（１）、（２）から明らかなように、プロジェクタ３にセットした参照点ｐ^（ｐ） _ｊとカメラ１によって観測されたその点の画像座標ｐ^（ｃ） _ｊとの間には、次式（３）の関係が成立する。

Ｈ_ｐｃは、プロジェクタ３にセットする点とカメラ１で観測した点とを透視投影の関係によって直接に結び付ける平面射影変換と考えることができる。逆に、数式（３）の関係から、プロジェクタ３にセットする参照点の座標とカメラ１で観測したその画像座標とが得られれば、Ｈ_ｐｃは、最小二乗法を使って推定することができる。

よって、プロジェクタ３面上の任意の参照点座標ｐ^（ｐ） _ｊが与えられれば、Ｈ_ｐｃを用いて、カメラ１で観測される画像座標ｐ^（ｃ） _ｊと対応付けることができるので、プロジェクタ３とカメラ１との双方をキャリブレーションしたことになる。このように、プロジェクタ３、スクリーン２、並びに、カメラ１の三者の平面射影変換を利用して、プロジェクタ３とカメラ１とのキャリブレーションを行うことができる。

近年、上述した原理を発展させ、複数のプロジェクタ、１つのスクリーン、単眼カメラを用いたプロジェクタ・カメラのキャリブレーションが公知となっている（例えば、非特許文献２参照）。この方法は、プロジェクタの内部幾何（アスペクト比、焦点距離、キーストーンなど）を既知として、スクリーンとカメラとの間の平面射影変換を、複数のプロジェクタによって形成される投影像から計算し、カメラの内部パラメータ、並びに、スクリーンに対する外部パラメータ（姿勢、位置）を推定する。

Z. Zhang, "A flexible new technique for camera calibration", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.22, No.11, pp.1330-1334, 2000. T. Okatani and K. Deguchi, "Autocalibration of a Projector-Camera-System", IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol.27, No.12, pp.1845-1855, 2005. 土居謙介，辻徳生，山本健吉，石井抱，"高フレームレート三次元画像計測のためのコード化パターン光投影法"，電子情報通信学会論文誌Ｄ，Ｖｏｌ．Ｊ９１−Ｄ，Ｎｏ．５，２００８．

プロジェクタ３とカメラ１の光学的メカニズムは、大まかに逆の構成となっている。すなわち、プロジェクタ３は、光を出すデバイスであり、カメラ１は、光を受光するデバイスである。よって、プロジェクタ３の射影幾何においても、ピンホールカメラモデルと呼ばれるシンプルな投影モデルが扱われる。

従来技術では。プロジェクタ３、スクリーン２、カメラ１の平面射影変換に着目して、プロジェクタ３にセットされる参照点座標とカメラ１で観測される画像座標との間の位置合わせ、あるいは、複数のプロジェクタを用いて、カメラ１の内部パラメータとスクリーン２に対する相対的なカメラ姿勢と位置を推定する。

しかしながら、既知の参照物体を用いたキャリブレーションではないため、スケール（カメラ位置などが実空間での物理量ではない）が不定である。射影幾何の関係上、プロジェクタ３もカメラ１と見なすことができるので、図１０に示すプロジェクタ・カメラは、二眼のステレオカメラと見なすことができる。ステレオカメラは、３次元計測にも応用することができるが、カメラの内部・外部パラメータが既知であることを前提とする。すなわち、外部パラメータのスケールが不定ならば、復元、あるいは計測した３次元情報も不定となる。

一方、プロジェクタ・カメラシステムは、光学パターン投影の原理を用いた３次元形状の復元に応用されている。この方法により、白黒のグレーコードをプロジェクタから投影し、被写体上の像をカメラで観測しながら、被写体の３次元形状を復元する。超高速度カメラと組み合わせた方法（例えば、非特許文献３参照）も公開されており、人の形状を密に、滑らかに復元することもできる。この方法では、スケールの不定性を解消するには、事前に実空間でのプロジェクタ・カメラキャリブレーションが必要である。

このように、プロジェクタ・カメラシステムを用いて、実空間スケールでの３次元形状を、復元、または計測するには、既知の参照物体を利用するか、あるいは、実空間上の何らかの既知の点との対応をとる必要があった。非特許文献１、２では、自動的なプロジェクタ・カメラシステムのキャリブレーションが可能となるが、実空間とのスケールの不定性がある。非特許文献３は、事前のキャリブレーションを前提としており、その具体的な方法は、他の手段に委ねられている。

カメラキャリブレーションと同様に、プロジェクタ・カメラシステムにおけるキャリブレーション作業は、オペレータへの作業負担となる。その作業効率を低下させ、作業量を増加させる要因の一つは、プロジェクタで投影、あるいは、カメラで観測する参照点の量に起因する。より正確に参照点の画像座標を得るには、手動作業に頼ることになる。安定的にカメラパラメータを推定するには、できるだけ多くの参照点を測定することが望ましいため、キャリブレーション作業工程では、多くの時間を必要としていた。

本発明は、このような事情を考慮してなされたものであり、その目的は、プロジェクタ・カメラシステムのパラメータを容易に校正することができ、また、内部・外部パラメータを推定することができる光学系パラメータ校正装置、光学系パラメータ校正方法、プログラム、及び記録媒体を提供することにある。

上述した課題を解決するために、本発明は、光学投影装置と画像入力装置によって被写体を取り囲むように配置されたプロジェクタ・カメラシステムの前記光学投影装置の第１のパラメータ、及び前記画像入力装置の第２のパラメータを校正する光学系パラメータ校正装置であって、スクリーン上の幾何情報が既知であるターゲット点を、前記画像入力装置から第１の画像として入力するとともに、前記光学投影装置から前記スクリーン上に照射したサンプル点を前記画像入力装置から第２の画像として入力する画像入力手段と、前記画像入力手段により入力された前記第１の画像、及び前記第２の画像上に設定された所定の２次元座標系における双方の座標値の対応関係に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正するサンプル点補正手段と、前記画像入力手段により入力された前記ターゲット点に対する第１の画像から、前記画像入力装置の第１のパラメータを推定するための第１の参照点を抽出するとともに、前記サンプル点補正手段によって補正されたサンプル点に対する第２の画像から、前記光学投影装置の第２のパラメータを推定するための第２の参照点を抽出する参照点抽出手段と、前記参照点抽出手段により抽出された第１の参照点の２次元座標から、前記画像入力装置の第１のパラメータを推定するとともに、前記参照点抽出手段により抽出された第２の参照点の２次元座標から、前記光学投影装置の第２のパラメータを推定するパラメータ推定手段とを備えることを特徴とする光学系パラメータ校正装置である。

本発明は、上記の発明において、前記光学投影装置から被写体に照射される対応点の２次元座標を変更しながら、その投影像を前記画像入力装置で測定することを逐次的に行わせ、その都度、前記画像入力手段により入力される第１の画像と前記第２の画像とから前記パラメータ推定手段により推定される、前記画像入力装置の第１のパラメータと前記光学投影装置の第２のパラメータ、及び、前記画像入力装置の姿勢・位置情報と前記光学投影装置の姿勢・位置情報に基づいて、前記対応点の３次元座標を計測する３次元計測処理手段を更に備えることを特徴とする。

本発明は、上記の発明において、前記画像入力手段により入力された前記第１の画像と前記第２の画像との２次元座標値を測定し、それら画像座標値の対応関係から、前記スクリーンと前記画像入力装置間、前記光学投影装置と前記スクリーン間の平面射影変換をそれぞれ推定する平面射影推定手段を更に備え、前記サンプル点補正手段は、前記平面射影推定手段により推定された平面射影変換に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正する。

また、上述した課題を解決するために、本発明は、光学投影装置と画像入力装置によって被写体を取り囲むように配置されたプロジェクタ・カメラシステムの前記光学投影装置の第１のパラメータ、及び前記画像入力装置の第２のパラメータを校正する光学系パラメータ校正方法であって、スクリーン上の幾何情報が既知であるターゲット点を、前記画像入力装置から第１の画像として入力するとともに、前記光学投影装置から前記スクリーン上に照射したサンプル点を前記画像入力装置から第２の画像として入力するステップと、前記第１の画像、及び前記第２の画像上に設定された所定の２次元座標系における双方の座標値の対応関係に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正するステップと、前記ターゲット点に対する第１の画像から、前記画像入力装置の第１のパラメータを推定するための第１の参照点を抽出するとともに、前記補正されたサンプル点に対する第２の画像から、前記光学投影装置の第２のパラメータを推定するための第２の参照点を抽出するステップと、前記第１の参照点の２次元座標から、前記画像入力装置の第１のパラメータを推定するとともに、前記第２の参照点の２次元座標から、前記光学投影装置の第２のパラメータを推定するステップとを含むことを特徴とする光学系パラメータ校正方法である。

また、上述した課題を解決するために、本発明は、光学投影装置と画像入力装置によって被写体を取り囲むように配置されたプロジェクタ・カメラシステムの前記光学投影装置の第１のパラメータ、及び前記画像入力装置の第２のパラメータを校正する光学系パラメータ校正装置のコンピュータに、スクリーン上の幾何情報が既知であるターゲット点を、前記画像入力装置から第１の画像として入力するとともに、前記光学投影装置から前記スクリーン上に照射したサンプル点を前記画像入力装置から第２の画像として入力する画像入力機能、前記画像入力機能により入力された前記第１の画像、及び前記第２の画像上に設定された所定の２次元座標系における双方の座標値の対応関係に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正するサンプル点補正機能、前記画像入力機能により入力された前記ターゲット点に対する第１の画像から、前記画像入力装置の第１のパラメータを推定するための第１の参照点を抽出するとともに、前記サンプル点補正機能によって補正されたサンプル点に対する第２の画像から、前記光学投影装置の第２のパラメータを推定するための第２の参照点を抽出する参照点抽出機能、前記参照点抽出機能により抽出された第１の参照点の２次元座標から、前記画像入力装置の第１のパラメータを推定するとともに、前記参照点抽出機能により抽出された第２の参照点の２次元座標から、前記光学投影装置の第２のパラメータを推定するパラメータ推定機能を実現させることを特徴とするプログラムである。

また、上述した課題を解決するために、本発明は、光学投影装置と画像入力装置によって被写体を取り囲むように配置されたプロジェクタ・カメラシステムの前記光学投影装置の第１のパラメータ、及び前記画像入力装置の第２のパラメータを校正する光学系パラメータ校正装置のコンピュータに、スクリーン上の幾何情報が既知であるターゲット点を、前記画像入力装置から第１の画像として入力するとともに、前記光学投影装置から前記スクリーン上に照射したサンプル点を前記画像入力装置から第２の画像として入力するステップと、前記第１の画像、及び前記第２の画像上に設定された所定の２次元座標系における双方の座標値の対応関係に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正するステップと、前記ターゲット点に対する第１の画像から、前記画像入力装置の第１のパラメータを推定するための第１の参照点を抽出するとともに、前記補正されたサンプル点に対する第２の画像から、前記光学投影装置の第２のパラメータを推定するための第２の参照点を抽出するステップと、前記第１の参照点の２次元座標から、前記画像入力装置の第１のパラメータを推定するとともに、前記第２の参照点の２次元座標から、前記光学投影装置の第２のパラメータを推定するステップとを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体である。

この発明によれば、プロジェクタ・カメラシステムのパラメータを容易に校正することができ、また、内部・外部パラメータを推定することができる。

カメラとスクリーン（被写体）の位置関係を定義する概念図である。 カメラとスクリーン（被写体）の位置関係を定義する概念図である。 スクリーン上のターゲット点（格子点）を説明する模式図である。 スクリーン上のターゲット点（格子点）のうち、パラメータを推定するために必要な参照点を示す模式図である。 本第１実施形態によるプロジェクタ・カメラシステム校正装置の構成を示すブロック図である。 本第１実施形態によるプロジェクタ・カメラシステム校正装置の動作を説明するためのフローチャートである。 本第２実施形態によるプロジェクタ・カメラシステム校正装置の構成を示すブロック図である。 本第２実施形態によるプロジェクタ・カメラシステム校正装置の３次元計測処理部１７の動作を説明するためのフローチャートである。 ２次元物体を使ったカメラ校正作業を説明する模式図である。 スクリーン、カメラ、プロジェクタ間の位置関係を説明する模式図である。

以下、本発明の一実施形態を、図面を参照して説明する。

Ａ．発明の原理
まず、プロジェクタ・カメラシステムの射影幾何の基本原理とその原理に基づく計算アルゴリズムとについて説明する。なお、カメラ、スクリーン（被写体）、プロジェクタの位置関係は、前述した図１０に示した通りであるので、図１０を参照して説明する。

まず、カメラ１を用いて、プロジェクタ３から投影される点とスクリーン２上の既知の参照点とを一致させる原理について説明する。スクリーン２上の参照点の３次元座標をＰ^（ｑ） _ｊ＝（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０）、ｊ＝１，２，…，Ｎとする（この３次元座標値は、予め何らかの手段で測定され既知である）。この参照点を、カメラ１により画像座標ｐ^（ｑ） _ｊ＝（ｘ^（ｑ） _ｊ，ｙ^（ｑ） _ｊ）、ｊ＝１，２，…，Ｎとして観測されるものとする。このとき、平面射影変換Ｈ_ｓｃにより、この両者を次式（４）により関係付けることができる。

画像座標ｐ^（ｑ） _ｊと参照点Ｐ^（ｑ） _ｊは、既知であるので、平面射影変換Ｈ_ｓｃの３×３の要素は、これらのデータから最小二乗法を用いて推定することができる。

一方、プロジェクタ３に適当にセットされた２次元座標ｐ^（ｐ） _ｊ＝（ｘ^（ｐ） _ｊ，ｙ^（ｐ） _ｊ）、ｊ＝１，２，…，Ｎは、平面のスクリーン２上において、３次元座標Ｐ^（ｓ） _ｊ＝（Ｘ^（ｓ） _ｊ，Ｙ^（ｓ） _ｊ，０）、ｊ＝１，２，…，Ｎの座標に投影されると仮定し、この３次元座標がカメラ１により画像座標ｐ^（ｃ） _ｊ＝（ｘ^（ｃ） _ｊ，ｙ^（ｃ） _ｊ）、ｊ＝１，２，…，Ｎとして観測されるとする。

一般的に、スクリーン２上の既知の参照点Ｐ^（ｑ） _ｊと、プロジェクタ３により照らされている３次元座標Ｐ^（ｓ） _ｊとは、異なるので、カメラ１で観測された画像座標も異なる。但し、同じスクリーン２上の３次元座標を、同じカメラ１で観測しているので、３次元座標Ｐ^（ｓ） _ｊとその画像座標ｐ^（ｃ） _ｊとの間は、先に求めた平面射影変換Ｈ_ｓｃで関係付けられる。よって、スクリーン２上の３次元座標Ｐ^（ｓ） _ｊは、次式（５）に従って得られる。

さらに、得られた３次元座標Ｐ^（ｓ） _ｊとプロジェクタ３に適当に設定した２次元座標ｐ^（ｐ） _ｊとは、数式（１）の関係にあるので、これらのデータから、平面射影変換Ｈ_ｐｓは、最小二乗法を用いて求めることができる。スクリーン２とプロジェクタ３との間の平面射影変換Ｈ_ｐｓが得られたので、スクリーン２上の既知の参照点Ｐ^（ｑ） _ｊへ投影されるプロジェクタ３面上の２次元座標ｐ^（ｒ） _ｊ＝（ｘ^（ｒ） _ｊ，ｙ^（ｒ） _ｊ）は、次式（６）となる。

つまり、数式（４）、（６）から、次式（７）の関係が得られる。

平面射影変換Ｈ_ｐｓ、Ｈ_ｓｃを求めた後、数式（７）を用いて、スクリーン２上の既知の参照点Ｐ^（ｑ） _ｊ＝（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０）へ投影する２次元座標ｐ^（ｒ） _ｊ＝（ｘ^（ｒ） _ｊ，ｙ^（ｒ） _ｊ）を求めることができる。逆に、この２次元座標ｐ^（ｒ） _ｊをプロジェクタ３にセットして投影すれば、スクリーン２上の既知の参照点Ｐ^（ｑ） _ｊに投影される。これにより、プロジェクタ３とカメラ１とを、スクリーン２上の既知の参照点を介して対応付けたことになる。

次に、そのスクリーン２上の参照点から、プロジェクタ３とカメラ１との内部・外部パラメータを計算するための原理を説明する。なお、ここでの解決手段の原理・方法は、単眼カメラに限定した記載になっているが、上記平面射影変換を利用したプロジェクタ３による投影点とカメラ１による観測点とが対応付けられるので、プロジェクタ３についても同様の説明ができる。

図１、図２は、カメラとスクリーン（被写体）の位置関係を定義する概念図である。図３、図４は、スクリーン（被写体）のパターンを示す模式図である。図３に示すスクリーン２（被写体）上のパターンをカメラ１で撮影するとき、図１、図２に示す世界座標系ＸｗＹｗＺｗを参照物体上に設定しても一般性を失わない。スクリーン２には、図３に示すような格子パターンが描かれているとする（必ずしも、格子状に配列されている必要はない）。各格子点を参照点Ｐ^（ｑ） _ｊ＝（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０）、ｊ＝１，２，…，Ｎとする（以降、これらをターゲット点と呼ぶ）。

この平面において、図４に示すように、便宜上、点Ｏを世界座標系上の原点とし、点Ｏを通過するように、上下方向に点Ａと点Ｂが配置され、さらに、この線分Ａ−Ｂと直交する方向に点Ｃと点Ｄが配置され、線分Ｃ−Ｄは、点Ｏで線分Ａ−Ｂと垂直に交わっている。線分Ａ−Ｂを世界座標系のＺｗ軸であるとし、各点は、原点Ｏからそれぞれｈ_１，ｈ_２（＜０）の高さとする。

点Ｃ、点Ｄは、世界座標系のＸｗＹｗ平面上に位置し、原点Ｏからそれぞれｄ_３、ｄ_４の距離とする。点Ｏ、点Ａ、点Ｂ、点Ｃ、点Ｄ（以降、これら５点を参照点と呼ぶ）が、内部・外部パラメータ推定に用いる参照点となり、これらの点をカメラで、それぞれｐ_０＝（ｘ_０，ｙ_０）、ｐ_１＝（ｘ_１，ｙ_１）、ｐ_２＝（ｘ_２，ｙ_２）、ｐ_３＝（ｘ_３，ｙ_３）、ｐ_４＝（ｘ_４，ｙ_４）の画像座標として観測できるとする。

一方、カメラ１の視点をローカルな原点としたカメラ座標系ＸＹＺを設定し、このカメラ１による幾何射影を、ピンホールカメラに従った透視投影にモデル化できると仮定する。参照物体上の３次元点をＰ_ｊ＝（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）、カメラ視点の位置を（Ｔ_ｘ，Ｔ_ｙ，Ｔ_ｚ）とすると、画像上で観測されるその点の２次元点ｐ_ｊ＝（ｘ_ｊ，ｙ_ｊ）は、次式（８）、（９）で与えられる。

ｆは、焦点距離、Ｒ_１１，Ｒ_１２，…，Ｒ_３３は、３×３の回転行列の要素に対応する。本発明で扱うカメラモデルでは、画像中心は投影中心であるとし、レンズ歪を無視する。

ここで、世界座標系ＸｗＹｗＺｗとカメラ座標系ＸＹＺとの姿勢の関係を表すために、Ｅｕｌｅｒ角θ，φ，ωを用いると、その姿勢の回転行列は、次式（１０）と記述できる。

θ，φ，ωは、それぞれＺ軸、Ｘ軸、Ｚｗ軸周り回転角である。図１、図２では、線分Ａ−Ｂを軸として、点Ｃ，ＤがＺｗ軸周りに回転角ωで回転された状態と考えることができるので、カメラ回転行列を、次式（１１）と与えることができる。

本発明の基本原理は、スクリーン２上の５つの参照点：Ｏ，Ａ，Ｂ，Ｃ，Ｄの画像上での座標値：ｐ_０〜ｐ_４が数式（８）、（９）に従って観測されると仮定し、その画像座標と参照点に関する計量情報：ｈ_１，ｈ_２，ｄ_３，ｄ_４を用いて、カメラ１の焦点距離ｆ、Ｅｕｌｅｒ回転角：θ，φ，ω、並びに、世界座標系でのカメラ視点の位置（Ｔ_ｘ，Ｔ_ｙ，Ｔ_ｚ）を逆問題として解くことである。その推定に必要となる計算式を、数式（８）、（９）で結び付けられた透視投影の関係式から導出する必要がある。以下、その計算式を導出する。

点Ａ，Ｂの３次元座標を世界座標系においてそれぞれ（０，０，ｈ１），（０，０，ｈ２）と与えることができる。数式（８）、（９）に従えば、点Ｏ，Ａ，Ｂの２次元座標のｘ，ｙ座標値は、それぞれ、次式（１２）、（１３）、（１４）、（１５）となる。

数式（１２）と数式（１４）から、次式（１６）を得て、数式（１３）と数式（１５）から、次式（１７）を得る。

次に、数式（１６）から、次式（１８）、（１９）を得て、数式（１７）から、次式（２０）、（２１）を得る。

よって、数式（１８）、（２０）、並びに、数式（１１）から、回転角θについて、次式（２２）を導出することができる。

一方、図２の点Ｃ，Ｄの３次元座標は、それぞれ（−ｄ_３ｓｉｎ（ω），ｄ_３ｃｏｓ（ω），０），（−ｄ_４ｓｉｎ（ω），ｄ_４ｃｏｓ（ω），０）と与えられるので、数式（８）、（９）に従えば、それぞれの画像座標は、次式（２３）、（２４）と記述できる。

次に、数式（１２）、（２３）から、次式（２５）を得て、数式（１３）、（２４）から、次式（２６）を得る。

ここで、数式（２５）から、次式（２７）、（２８）が得られる。

さらに、数式（２６）から、次式（２９）、（３０）がそれぞれ得られる。

よって、数式（２７）、（２９）、並びに、数式（１１）から、次式（３１）が得られる。

数式（２７）において、数式（１１）と数式（２０）を用いると、次式（３２）が得られるので、数式（３２）に数式（３１）を代入することにより、次式（３３）を得ることができる。

図１、図２において、Ｘ軸周りの回転角φは、下向きとして−π／２＜φ＜０の範囲と定義したので、数式（３３）では、負の解を採用した（カメラがスクリーンに対して、上向きに固定されている場合には、正の解を採用する）。なお、数式（３３）で明らかなように、γ＝０とき、回転角φを求めることができない。よって、この場合の別解を考える。

数式（３１）にγ＝０を代入すると、次式（３４）を得る。

そこで、数式（１１）、数式（２０）、数式（２９）、並びに、数式（３４）から、次式（３５）を得る。

よって、数式（３５）から、次式（３６）となる。

数式（３３）、または、数式（３６）を用いて、回転角φを計算した後、数式（３１）から、回転角ωが次式（３７）により求められ、数式（２９）から、焦点距離ｆが次式（３８）より得られる。

最後に、数式（１２）〜数式（１５）、数式（２３）、並びに、数式（２４）を結合させると、次の連立方程式（３９）〜（４３）を得る。

上記連立方程式（３９）〜（４３）を解けば、カメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）が得られる。

ここで、数式（１９）、数式（２１）、（数式２８）、並びに、数式（３０）の分母に着目すると、いずれかが０になる場合、上記で導出した式を用いてパラメータを得ることができない（但し、α，βの分母が０になっても、次の例外では、導出した式を用いてパラメータを求めることができる。すなわち、ｘ_０＝ｘ_１＝ｘ_２の場合には、α＝ｘ_０と置換して計算し、ｘ_０＝ｘ_３＝ｘ_４の場合には、γ＝ｘ_０と置換して計算する）。つまり、カメラパラメータを計算する前に、数式（１９）、数式（２１）、数式（２８）、並びに、数式（３０）を用いて、α，β，γ、並びに、εが計算できるかをチェックする必要がある。もし、いずれかの分母が０になる場合には、サンプル点から参照点を抽出し直す。

以上説明したように、本発明は、平面射影変換を利用したプロジェクタによる投影点とカメラによる観測点とを、スクリーン上のターゲット点を介して位置合わせした後、スクリーン上から抽出した５つの参照点（Ｏ，Ａ，Ｂ，Ｃ，Ｄ）とその画像座標との間の投影関係から導出した式を用いて、プロジェクタのパラメータと、カメラのパラメータとを推定するものである。よって、本発明の基本構成は、これらの処理を実行するための構成となっている。

Ｂ．第１実施形態
次に、本発明の第１実施形態について説明する。
図５は、本第１実施形態によるプロジェクタ・カメラシステム校正装置の構成を示すブロック図である。プロジェクタ・カメラシステム校正装置１０は、サンプル点設定部１１、画像入力部１２、平面射影推定部１３、サンプル点補正部１４、参照点抽出部１５、パラメータ推定部１６から構成される。

サンプル点設定部１１は、プロジェクタ３からスクリーン２へ投影するための２次元座標の初期値を設定する。画像入力部１２は、スクリーン２上の既知のターゲット点と、プロジェクタ３によってスクリーン２に投影されたサンプル点とをそれぞれ画像として観測する。平面射影推定部１３は、スクリーン２上のターゲット点の座標とカメラ１によって観測した座標との間の平面射影変換と、プロジェクタ３に設定したサンプル点の座標とプロジェクタ３によりスクリーン２上へ投影された点をカメラ１によって観測して得た座標との間の平面射影変換とを推定する。

サンプル点補正部１４は、それらの平面射影変換からスクリーン２上の既知のターゲット点へプロジェクタ３から投影されるサンプル点が一致するようにサンプル点の２次元座標を補正する。参照点抽出部１５は、そのサンプル点（または／及びターゲット点）からパラメータ推定に必要な参照点を抽出する。パラメータ推定部１６は、上記参照点の２次元座標からプロジェクタ３のパラメータとカメラ１のパラメータとを推定する。

上述した構成において、校正対象のプロジェクタ３とカメラ１とは、必ずしも構成要素として接続している必要はなく、校正に必要な画像を画像入力部１２を通して取得すればよい。その画像入力部１２には、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用してもよいし、あるいは、ネットワークを介して、リモートなデータ資源を利用する形態でもよい。さらに、処理の必要に応じて、リアルタイムで画像を取得する場合も可能であり、本発明は必ずしも記憶装置を必要としない。

図１０に示すように、スクリーン２に向くように適当にプロジェクタ３とカメラ１とが設置されているとする。このとき、プロジェクタ３に設定するサンプル点の全てがスクリーン２上に投影され、それら全ての点がカメラ１により観測され、さらに、スクリーン２上の既知のターゲット点の全てもカメラ１によって観測されていると仮定する。スクリーン２には、図３のような市松模様のパターンが描かれているとし、本第１実施形態では、ターゲット点が各格子点となる。但し、必ずしも市松模様に限定されるものではなく、ターゲット点の３次元座標が何らかの手段によって既知であればよい。本第１実施形態では、格子間隔が一定で、横方向と縦方向との寸法が事前に分かっているとする。この平面上の任意の点を原点とすると、図３では、縦横方向の格子間隔がｄであるので、各格子点の２次元座標を容易に与えることができる。

次に、本第１実施形態の動作について説明する。
図６は、本第１実施形態によるプロジェクタ・カメラシステム校正装置の動作を説明するためのフローチャートである。まず、各点の既知の座標値Ｐ^（ｑ） _ｊ＝（Ｘ^（ｑ） _ｊ，Ｙ^（ｑ） _ｊ，０）、ｊ＝１，２，…，Ｎを設定する（ステップＳ１０）。次に、カメラ観測で得た画像からターゲット点の２次元座標ｐ^（ｑ） _ｊ＝（ｘ^（ｑ） _ｊ，ｙ^（ｑ） _ｊ）を測定する（ステップＳ１１）。次に、上記２つの座標の対応点から、数式（４）の関係に基づいて、最小二乗法を用いて、平面射影変換Ｈ_ｓｃを求める（ステップＳ１２）。

一方、サンプル点設定部１１において、プロジェクタ３からスクリーン２上へ投影するための２次元座標ｐ^（ｐ） _ｊ＝（ｘ^（ｐ） _ｊ，ｙ^（ｐ） _ｊ）、ｊ＝１，２，…，Ｎを設定する（ステップＳ１３）。これらの点は、スクリーン２上において、３次元座標Ｐ^（ｓ） _ｊ＝（Ｘ^（ｓ） _ｊ，Ｙ^（ｓ） _ｊ，０）、ｊ＝１，２，…，Ｎであるとすると、ステップＳ１２により平面射影変換Ｈ_ｓｃが得られているので、平面射影変換Ｈ_ｓｃを用いて、３次元座標Ｐ^（ｓ） _ｊ＝（Ｘ^（ｓ） _ｊ，Ｙ^（ｓ） _ｊ，０）、ｊ＝１，２，…，Ｎを数式（５）に従って算出する（ステップＳ１４）。

次に、得られた３次元座標Ｐ^（ｓ） _ｊとプロジェクタ３に適当に設定した２次元座標ｐ^（ｐ） _ｊとは、数式（１）の関係にあるので、これらのデータから平面射影変換Ｈ_ｐｓを最小二乗法を用いて求める（ステップＳ１５）。スクリーン２とプロジェクタ３間の平面射影変換Ｈ_ｐｓが得られたので、次に、スクリーン２上の既知のターゲット点Ｐ^（ｑ）へ投影されるプロジェクタ３面上の２次元座標ｐ^（ｒ） _ｊ＝（ｘ^（ｒ） _ｊ，ｙ^（ｒ） _ｊ）を、数式（６）、または数式（７）により算出する（ステップＳ１６）。

以上の処理によって、プロジェクタ３からのサンプル点は、スクリーン２の既知のターゲット点（図３の格子点）に投影され、その投影像がカメラ１によって観測されるため、プロジェクタ３とカメラ１とがスクリーン２上への平面射影上において校正されたことになる。

続いて、スクリーン２上のターゲット点（または／及びサンプル点）の中からパラメータ推定に用いる参照点を抽出する（ステップＳ１７）。例えば、図４において、原点Ｏに対して、縦方向に点Ａ、Ｂを設定する。点Ａ、Ｂの３次元座標は、格子間隔が分かれば与えられるため、便宜上、それぞれ（０，０，ｈ_１）、（０，０，ｈ_２）とする。さらに、点Ｃ、Ｄを横方向の格子点として設定する。もし、ターゲット点（または／及びサンプル点）が格子状に配置されていなくても、点Ｏ、Ａ、Ｂ、Ｃ、Ｄの参照点の抽出は、線分Ａ−Ｂが原点Ｏで線分Ｃ−Ｄと直交することを満たせば、参照点候補として抽出する。

また、ステップＳ１７では、各参照点の画像座標：ｐ_０＝（ｘ_０，ｙ_０），ｐ_１＝（ｘ_１，ｙ_１）、ｐ_２＝（ｘ_２，ｙ_２）、ｐ_３＝（ｘ_３，ｙ_３）、ｐ_４＝（ｘ_４，ｙ_４）も得られる。上記ステップＳ１６によって、プロジェクタ３にセットされる２次元座標は、ステップＳ１７によって得られた参照点の座標へ投影されている。よって、スクリーン２上の各参照点へプロジェクタ３によって投影される２次元座標も、それぞれ、ｐ’ _０＝（ｘ’_０，ｙ’_０）、ｐ’_１＝（ｘ’_１，ｙ’_１）、ｐ’_２＝（ｘ’_２，ｙ’_２）、ｐ’_３＝（ｘ’_３，ｙ’_３）、ｐ’_４＝（ｘ’_４，ｙ’_４）として得られる。これ以降、プロジェクタ３も同様に、画像座標を入れ換えるだけで、同様の計算によってパラメータを推定することができるため、カメラ１の場合について説明する。

パラメータ推定部１６では、まず、画像座標ｐ_ｋ＝（ｘ_ｋ，ｙ_ｋ）、ｋ＝０，１，２，３，４から参照点適正検査の処理を行う（ステップＳ１８）。すなわち、数式（１９）、（２１）、（２８）、（３０）の分母が０になっていないかをチェックする。但し、ｘ_０＝ｘ_１＝ｘ_２の場合、α＝ｘ_０と置換し、ｘ_０＝ｘ_３＝ｘ_４の場合、γ＝ｘ_０と置換する。このチェックにより、α、β、γ、εのどれか１つが計算できない場合、計算不可と見なして、他の参照点をスクリーン２上のターゲット点から再び抽出する（ステップＳ１９のＮＯ、Ｓ１７）。

そして、参照点の画像座標の適正検査が完了すると（ステップＳ１９のＹＥＳ）、パラメータ推定部１６において、カメラパラメータを推定する（ステップＳ２０〜Ｓ２３）。計算式の導出と基本原理は、上記で説明しているので、以降では、既に上記で導出した計算式を用いて、どのようにカメラパラメータを求めるかについて説明する。

α、βが得られているので、回転角θは、数式（２２）によって算出できる（ステップＳ２０）。次に、γ、εが得られているので、回転角φを数式（３３）により算出する（ステップＳ２１）。なお、γ＝０のときは、数式（３６）を用いる。さらに、γ、ε、θ、並びに、φが得られているので、数式（３７）によって回転パラメータωを算出し、数式（３８）を用いて、焦点距離ｆを算出する（ステップＳ２２）。最後に、これまでに求めたカメラパラメータを用いて、数式（３９）〜（４３）の連立一次方程式を解くことによってカメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）を算出する（ステップＳ２３）。

上述した第１実施形態によれば、プロジェクタ３、カメラ１、スクリーン２間の平面射影変換に基づいて、スクリーン２上の既知のターゲット点にプロジェクタ３からの投影点を合わせた後、そのターゲット点から抽出した適正な参照点から、上記で導出された基本式に従って、カメラ１の焦点距離ｆ、カメラ座標系と世界座標系間の回転角θ、φ、ω、並びに、カメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）を求めることができる。さらに、カメラ観測で得た画像座標をプロジェクタに設定した２次元座標値に置き換え（ｐ_ｋ→ｐ’_ｋ）れば、上記と同様の処理を繰り返すことにより、プロジェクタ３の焦点距離ｆ’、プロジェクタ座標系と世界座標系間の回転角θ’、φ’、ω’、並びに、プロジェクタ視点位置（Ｔ’ｘ，Ｔ’ｙ，Ｔ’ｚ）を求めることができる。

なお、上述した第１実施形態では、単眼のカメラ１と単体のプロジェクタ２との系で説明したが、カメラ１が複数、あるいは、プロジェクタ３が複数あっても、同様の処理により、各カメラのパラメータと各プロジェクタのパラメータとを推定することができる。

Ｃ．第２実施形態
次に、本発明の第２実施形態について説明する。
本第２実施形態は、プロジェクタ３から投影された点の位置をカメラ１で観測し、その両者の対応点からプロジェクタ３のパラメータとカメラ１のパラメータとを用いて、３次元計測を行うことを特徴としている。

図７は、本第２実施形態によるプロジェクタ・カメラシステム校正装置の構成を示すブロック図である。なお、図５に対応する部分には同一の符号を付けて説明を省略する。本第２実施形態では、図７に示すように、第１実施形態と比べて、３次元計測処理部１７を備えている点で異なる。以下では、３次元計測処理部１７についてのみ説明する。

第１実施形態と同様にして、プロジェクタ３のパラメータとカメラ１のパラメータとが得られているとする。このとき、プロジェクタ３から点が照射されてスクリーン２に投影される現象を、思考的に、スクリーン２上からの任意の点をプロジェクタ３で受けたと考えることができる。すなわち、プロジェクタ３とカメラ１で対応付けられた２次元座標点から、二眼カメラのステレオ計測によって３次元計測することが可能となる。

数式（１０）に示すように、世界座標系に対するカメラ１、プロジェクタ３のぞれぞれの姿勢は、Ｅｕｌｅｒ角を使って定義されている。つまり、参照点に対するカメラ１、あるいはプロジェクタ３の回転行列は、数式（１１）であるため、上記方法で得たカメラ１とプロジェクタ３の外部パラメータから、カメラ座標系ＸＹＺ軸の回転角へ変換する必要がある。カメラ座標系、あるいはプロジェクタ座標系における回転パラメータω、ω’は、世界座標系のＺｗ軸周りの回転であるため、この回転角を用いて座標変換を行う。以下では、プロジェクタ３についても同様に変換できるので、カメラ１の外部パラメータの変換方法について説明する。

カメラに関するＥｕｌｅｒ角：θ、φ、ωから、数式（１０）に従って３×３の回転行列を計算し、次式（４４）を得る。

以降の回転行列要素：Ｒ_１１，Ｒ_１２，…，Ｒ_３３は、数式（４４）で計算された値を用いる。一方、第１実施形態と同様にして得たカメラ視点位置（Ｔｘ，Ｔｙ，Ｔｚ）は、次式（４５）により変換し、以降の（Ｔｘ，Ｔｙ，Ｔｚ）は、数式（４５）の変換による視点位置：（Ｔｘ，Ｔｙ，Ｔｚ）の値を用いる。

次に、本第２実施形態の動作について説明する。
図８は、本第２実施形態によるプロジェクタ・カメラシステム校正装置の３次元計測処理部１７の動作を説明するためのフローチャートである。３次元計測処理部１７では、まず、プロジェクタ３に２次元座標ｐ’_ｊ＝（ｘ’_ｊ，ｙ’_ｊ）をセットする（ステップＳ３０）。この点は、プロジェクタ３から投影され、被写体のある点へ照射される（ステップＳ３１）。なお、被写体は、スクリーン２以外の任意の静止物体であるとする。プロジェクタ３からのｐ’_ｊの光が被写体上の、ある点Ｐ_ｊ＝（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）に投影されたとする。本第２実施形態では、この３次元座標（Ｘ_ｊ，Ｙｊ，Ｚ_ｊ）を計測するものである。

次に、プロジェクタ３の投影の後に、カメラ１により画像を取得し、何も照射しないときの画像との背景差分などの画像処理を行って、投影された点の画像座標ｐ_ｊ＝（ｘ_ｊ，ｙ_ｊ）を観測する（ステップＳ３２）。次に、投影点が観測できるかどうかをチェックする（ステップＳ３３）。つまり、何も照射しないときの背景画像からの差がなければ、オクルージョン等によりプロジェクタ３からのｐ’_ｊの光がカメラ１で観測できないと判定する。この場合（ステップＳ３３のＹＥＳ)、ステップＳ３０に戻り、次の２次元座標がセットされる。

一方、画像座標が観測できたならば（ステップＳ３３のＮＯ）、次式（４６）、（４７）を用いて、点Ｐ_ｊの３次元座標（Ｘ_ｊ，Ｙ_ｊ，Ｚ_ｊ）を計測する（ステップＳ３４）。

ここで、数式（４６）右辺の［Ｆ］の肩にある†は、行列［Ｆ］の一般化逆行列を意味する。数式（４７）のＲ’_１１，Ｒ’_１２，…，Ｒ’_３３は、プロジェクタのＥｕｌｅｒ角を数式（４４）に代入して得られ、数式（４６）の（Ｔ’ｘ，Ｔ’ｙ，Ｔ’ｚ）は、その回転行列を用いて、数式（４５）で視点位置を変換して得られるものである。以上の処理を、プロジェクタ３にセットできる全ての参照点に対して行い、被写体の３次元形状を計測する（ステップＳ３５のＹＥＳ）。

上述した第２実施形態によれば、プロジェクタ３とカメラ１で対応付けられた２次元座標点から、二眼カメラのステレオ計測によって３次元計測することができる。

なお、上述した第２実施形態では、単眼のカメラ１と単体のプロジェクタ３との系で説明したが、カメラ１が複数、あるいは、プロジェクタ３が複数あっても、多視点カメラの原理により、同様に３次元計測することができる。

また、上述したサンプル点設定部１１、画像入力部１２、平面射影推定部１３、サンプル点１４、参照点抽出部１５、パラメータ推定部１６、３次元計測処理部１７による各ステップを実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、各処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものであってもよい。また、「コンピュータシステム」は、ＷＷＷシステムを利用している場合であれば、ホームページ提供環境（あるいは表示環境）も含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、フラッシュメモリ等の書き込み可能な不揮発性メモリ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。

さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Dynamic Random Access Memory））のように、一定時間プログラムを保持しているものも含むものとする。また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

１ カメラ
２ スクリーン
３ プロジェクタ
１０ プロジェクタ・カメラシステム校正装置
１１ サンプル点設定部
１２ 画像入力部
１３ 平面射影推定部
１４ サンプル点補正部
１５ 参照点抽出部
１６ パラメータ推定部
１７ ３次元計測処理部

Claims (6)

1. 光学投影装置と画像入力装置によって被写体を取り囲むように配置されたプロジェクタ・カメラシステムの前記光学投影装置の第１のパラメータ、及び前記画像入力装置の第２のパラメータを校正する光学系パラメータ校正装置であって、
   スクリーン上の幾何情報が既知であるターゲット点を、前記画像入力装置から第１の画像として入力するとともに、前記光学投影装置から前記スクリーン上に照射したサンプル点を前記画像入力装置から第２の画像として入力する画像入力手段と、
   前記画像入力手段により入力された前記第１の画像、及び前記第２の画像上に設定された所定の２次元座標系における双方の座標値の対応関係に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正するサンプル点補正手段と、
   前記画像入力手段により入力された前記ターゲット点に対する第１の画像から、前記画像入力装置の第１のパラメータを推定するための第１の参照点を抽出するとともに、前記サンプル点補正手段によって補正されたサンプル点に対する第２の画像から、前記光学投影装置の第２のパラメータを推定するための第２の参照点を抽出する参照点抽出手段と、
   前記参照点抽出手段により抽出された第１の参照点の２次元座標から、前記画像入力装置の第１のパラメータを推定するとともに、前記参照点抽出手段により抽出された第２の参照点の２次元座標から、前記光学投影装置の第２のパラメータを推定するパラメータ推定手段と
   を備えることを特徴とする光学系パラメータ校正装置。
2. 前記光学投影装置から被写体に照射される対応点の２次元座標を変更しながら、その投影像を前記画像入力装置で測定することを逐次的に行わせ、その都度、前記画像入力手段により入力される第１の画像と前記第２の画像とから前記パラメータ推定手段により推定される、前記画像入力装置の第１のパラメータと前記光学投影装置の第２のパラメータ、及び、前記画像入力装置の姿勢・位置情報と前記光学投影装置の姿勢・位置情報に基づいて、前記対応点の３次元座標を計測する３次元計測処理手段を更に備えることを特徴とする請求項１に記載の光学系パラメータ校正装置。
3. 前記画像入力手段により入力された前記第１の画像と前記第２の画像との２次元座標値を測定し、それら画像座標値の対応関係から、前記スクリーンと前記画像入力装置間、前記光学投影装置と前記スクリーン間の平面射影変換をそれぞれ推定する平面射影推定手段を更に備え、
   前記サンプル点補正手段は、
   前記平面射影推定手段により推定された平面射影変換に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正する
   ことを特徴とする請求項１または２に記載の光学系パラメータ校正装置。
4. 光学投影装置と画像入力装置によって被写体を取り囲むように配置されたプロジェクタ・カメラシステムの前記光学投影装置の第１のパラメータ、及び前記画像入力装置の第２のパラメータを校正する光学系パラメータ校正方法であって、
   スクリーン上の幾何情報が既知であるターゲット点を、前記画像入力装置から第１の画像として入力するとともに、前記光学投影装置から前記スクリーン上に照射したサンプル点を前記画像入力装置から第２の画像として入力するステップと、
   前記第１の画像、及び前記第２の画像上に設定された所定の２次元座標系における双方の座標値の対応関係に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正するステップと、
   前記ターゲット点に対する第１の画像から、前記画像入力装置の第１のパラメータを推定するための第１の参照点を抽出するとともに、前記補正されたサンプル点に対する第２の画像から、前記光学投影装置の第２のパラメータを推定するための第２の参照点を抽出するステップと、
   前記第１の参照点の２次元座標から、前記画像入力装置の第１のパラメータを推定するとともに、前記第２の参照点の２次元座標から、前記光学投影装置の第２のパラメータを推定するステップと
   を含むことを特徴とする光学系パラメータ校正方法。
5. 光学投影装置と画像入力装置によって被写体を取り囲むように配置されたプロジェクタ・カメラシステムの前記光学投影装置の第１のパラメータ、及び前記画像入力装置の第２のパラメータを校正する光学系パラメータ校正装置のコンピュータに、
   スクリーン上の幾何情報が既知であるターゲット点を、前記画像入力装置から第１の画像として入力するとともに、前記光学投影装置から前記スクリーン上に照射したサンプル点を前記画像入力装置から第２の画像として入力する画像入力機能、
   前記画像入力機能により入力された前記第１の画像、及び前記第２の画像上に設定された所定の２次元座標系における双方の座標値の対応関係に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正するサンプル点補正機能、
   前記画像入力機能により入力された前記ターゲット点に対する第１の画像から、前記画像入力装置の第１のパラメータを推定するための第１の参照点を抽出するとともに、前記サンプル点補正機能によって補正されたサンプル点に対する第２の画像から、前記光学投影装置の第２のパラメータを推定するための第２の参照点を抽出する参照点抽出機能、
   前記参照点抽出機能により抽出された第１の参照点の２次元座標から、前記画像入力装置の第１のパラメータを推定するとともに、前記参照点抽出機能により抽出された第２の参照点の２次元座標から、前記光学投影装置の第２のパラメータを推定するパラメータ推定機能
   を実現させることを特徴とするプログラム。
6. 光学投影装置と画像入力装置によって被写体を取り囲むように配置されたプロジェクタ・カメラシステムの前記光学投影装置の第１のパラメータ、及び前記画像入力装置の第２のパラメータを校正する光学系パラメータ校正装置のコンピュータに、
   スクリーン上の幾何情報が既知であるターゲット点を、前記画像入力装置から第１の画像として入力するとともに、前記光学投影装置から前記スクリーン上に照射したサンプル点を前記画像入力装置から第２の画像として入力するステップと、
   前記第１の画像、及び前記第２の画像上に設定された所定の２次元座標系における双方の座標値の対応関係に基づいて、前記光学投影装置から照射されるサンプル点の位置が前記スクリーン上のターゲット点の位置と一致するように、前記光学投影装置に設定するサンプル点の２次元座標を補正するステップと、
   前記ターゲット点に対する第１の画像から、前記画像入力装置の第１のパラメータを推定するための第１の参照点を抽出するとともに、前記補正されたサンプル点に対する第２の画像から、前記光学投影装置の第２のパラメータを推定するための第２の参照点を抽出するステップと、
   前記第１の参照点の２次元座標から、前記画像入力装置の第１のパラメータを推定するとともに、前記第２の参照点の２次元座標から、前記光学投影装置の第２のパラメータを推定するステップと
   を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。

Images