JP6176114B2

JP6176114B2 - 投影像自動補正システム、投影像自動補正方法およびプログラム

Info

Publication number: JP6176114B2
Application number: JP2013533499A
Authority: JP
Inventors: 剛志柴田; 彰彦池谷; 仙田　修司; 修司仙田
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2011-09-15
Filing date: 2012-09-11
Publication date: 2017-08-09
Anticipated expiration: 2032-09-11
Also published as: JPWO2013038656A1; WO2013038656A1; US9344695B2; US20140340529A1

Description

本発明は、投影像自動補正システム、投影像自動補正方法およびプログラムに関する。

プロジェクタなどの投射型表示装置では、ＰＣなどからプロジェクタへ出力された画像(以下、プロジェクタ画像)をスクリーンなどに投影する。このとき、プロジェクタがスクリーンに対して斜めに配置されており、プロジェクタに搭載されているレンズの光軸（以下、プロジェクタの光軸）とスクリーン平面の法線ベクトルが平行でない場合、スクリーン上に投射された投影画像（以下、スクリーン投影画像）は、スクリーンに正対した方向から見て台形に歪んだ形状となる。より快適に、スクリーン投影画像を視聴するためには、スクリーン投影画像の歪みを補正する必要がある。

特開２０１０−１２８１０２号公報

上述のような歪みを補正する方法のひとつとして、スクリーン投影画像をカメラで撮影して得られた画像（以下、撮影画像）とプロジェクタ画像から、スクリーンとプロジェクタの位置関係（より具体的には、プロジェクタの光軸とスクリーン平面の傾き、及び、プロジェクタ・スクリーン間の距離）を算出し、スクリーン投影画像のひずみを補正する方法がある。

この方法の原理について、図を用いてより詳しく説明する。まず、プロジェクタ画像と撮影画像及びスクリーン投影画像の関係を、図９を用いて説明する。

図９では、プロジェクタ９０５を用いてプロジェクタ画像９００をスクリーン９０６に投影した画像が、スクリーン投影画像９０３である。さらに、スクリーン９０６に投影した画像をカメラ９０７で撮影し得られた画像が、撮影画像９０１である。撮影画像９０１及びスクリーン投影画像９０３では、像が９０２及び９０４に示すように歪んでいる。この撮影画像９０１、スクリーン投影画像９０３の投影像の歪みの形状（すなわち、プロジェクタ画像９００から撮影画像９０１への画像変換或いはスクリーン投影画像９０３への画像変換）は、カメラ・スクリーン・プロジェクタの幾何学的配置が決定すれば一意的に定まる。

一方、一般的にカメラ内蔵プロジェクタの場合には、カメラ・プロジェクタ間の幾何学的配置は固定され、予め定まっている。したがって、撮影画像とプロジェクタ画像から、プロジェクタ・スクリーン間の幾何学的配置を得ることができれば、プロジェクタ画像からスクリーン投影画像への画像変換が定まるため、歪みが補正されたスクリーン投影画像に対応するプロジェクタ画像を求めることができる。以上が、カメラを用いてスクリーン投影画像の歪みを補正する方法の原理である。

このような原理にもとづき、投影像の歪みを補正する方法が、例えば、特許文献１に開示されている。特許文献１に開示の技術では、まず、プロジェクタ画像２２０１に対し、所定形状の校正用パターン（２２０２及び２２０３）を重畳したスクリーン投影画像（２２０４及び２２０５）を複数撮影する。これら複数の撮影画像（２２０６及び２２０７）の差分を算出し、スクリーンとプロジェクタの位置関係を算出する測定用画像２２０８を生成する。測定用画像から、三角測量の原理に基づき、スクリーンの３次元座標を計測する。最後に、計測結果より、スクリーンとプロジェクタの位置関係を算出し、スクリーン投影画像の歪み補正を行う方法が開示されている。なお、図２２は、特許文献１から引用した。

しかしながら、特許文献１に記載された方法には、２つの問題点がある。

第１の問題点は、スクリーン投影画像内の画像の解り易さ、すなわちスクリーン投影画像の視認性が低下するということである。

その理由は、利用者が本来投影しようと意図していたプロジェクタ画像上に校正用パターンが重畳された画像をスクリーンに投影するため、スクリーン投影画像内のコンテンツの一部が隠されるためである。

第２の問題点は、利用が静止した画像に限定されていることである。

その理由は、スクリーン・カメラ間の位置関係を算出するために必要な測定用画像の生成には、同一のプロジェクタ画像に対して、異なる２枚の校正用パターンを重畳したスクリーン投影画像をカメラで撮影することが必要である。このため、補正処理の間はプロジェクタ画像が変化しないことが前提となっているためである。

本発明の目的は、スクリーン投影画像内に視認性を低下させるような校正用パターンを重畳せず、かつ静止した画像以外の画像においてもスクリーン投影画像の歪み補正が可能な投影像自動補正システムを提供することにある。

本発明によれば、プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段と、前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段と、を有し、前記プロジェクタ平面パラメタ推定手段は、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正システムが提供される。

また、本発明によれば、コンピュータを、プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段、前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段、として機能させ、前記プロジェクタ平面パラメタ推定手段は、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定するプログラムが提供される。

また、本発明によれば、プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出ステップ、前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定ステップ、をコンピュータが実行し、前記コンピュータは、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、前記プロジェクタ平面パラメタ推定ステップでは、固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正方法が提供される。

本発明によれば、スクリーン投影画像内に視認性を低下させるような校正用パターンを重畳せず、かつ静止した画像以外の画像においてもスクリーン投影画像の歪み補正が可能な投影像自動補正システムが実現される。

上述した目的、および、その他の目的、特徴および利点は、以下に述べる好適な実施の形態、および、それに付随する以下の図面によって、さらに明らかになる。
第１の実施形態の投影像自動補正システムの機能ブロック図の一例である。第１の実施形態の投影像自動補正方法の処理の流れの一例を示すフローチャートである。第２の実施形態の投影像自動補正システムの機能ブロック図の一例である。第２の実施形態の投影像自動補正方法の処理の流れの一例を示すフローチャートである。第３の実施形態の投影像自動補正システムの機能ブロック図の一例である。第３の実施形態の投影像自動補正方法の処理の流れの一例を示すフローチャートである。第４の実施形態の投影像自動補正システムの機能ブロック図の一例である。第４の実施形態の投影像自動補正方法の処理の流れの一例を示すフローチャートである。本発明の構成を説明するための概念図である。本発明の構成を説明するための概念図である。本発明の構成を説明するための概念図である。本発明の構成を説明するための概念図である。本発明の構成を説明するための概念図である。本発明の構成を説明するための概念図である。本発明の構成を説明するための概念図である。本発明の構成を説明するための概念図である。本発明の構成を説明するための概念図である。本発明の構成を説明するための概念図である。本発明の構成を説明するための概念図である。本発明の構成を説明するための概念図である。本発明の構成を説明するための概念図である。特許文献１に記載されている図である。

以下、本発明の実施の形態について図面を用いて説明する。

なお、本実施形態の装置は、任意のコンピュータのＣＰＵ、メモリ、メモリにロードされたプログラム（あらかじめ装置を出荷する段階からメモリ内に格納されているプログラムのほか、ＣＤ等の記憶媒体やインターネット上のサーバ等からダウンロードされたプログラムも含む）、そのプログラムを格納するハードディスク等の記憶ユニット、ネットワーク接続用インタフェースを中心にハードウエアとソフトウエアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。

また、本実施形態の説明において利用する機能ブロック図は、ハードウエア単位の構成ではなく、機能単位のブロックを示している。これらの図においては、各装置は１つの機器により実現されるよう記載されているが、その実現手段はこれに限定されない。すなわち、物理的に分かれた構成であっても、論理的に分かれた構成であっても構わない。

＜第１の実施形態＞
図１を参照すると、本発明の第１の実施の形態の投影像自動補正システム１は、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）１００と、画像投影部１１０と、撮影画像入力部１２０と、プロジェクタ画像入力部１３０と、画像出力部１４０とから構成されている。コンピュータ（中央処理装置；プロセッサ；データ処理装置）１００は、投影像枠検出部１０１と、プロジェクタ平面パラメタ推定部１０２と、投影パターン生成部１０３とを含む。これらの各部はそれぞれ概略つぎのように動作する。

画像投影部１１０は、後述する画像出力部１４０から出力された画像をスクリーンに投影する。出力された画像をスクリーンに投影する方法としては、例えばプロジェクタなどの投射型表示装置を用いる。

撮影画像入力部１２０には、画像投影部１１０によりスクリーン上に投影されたスクリーン投影画像をカメラなどによって撮影した画像（以下、撮影画像）が入力される。そして、撮影画像入力部１２０は、入力された撮影画像をメモリ（図示せず）に記憶する。なお、図示しないが、投影像自動補正システム１は、スクリーン投影画像を撮像するためのカメラを備えており、当該カメラと、上記画像投影部１１０が備えるプロジェクタとの相対的な位置関係は固定されていてもよい。すなわち、カメラとプロジェクタの光軸の傾き及び光学中心間の距離は固定されており、投影像自動補正システムはこれらの値を予め保持しておいてもよい。

プロジェクタ画像入力部１３０には、利用者が本来スクリーンに投影しようと意図した画像（プロジェクタ画像）が入力される。例えば、投影像自動補正システム１は有線及び／又は無線で他の機器と通信可能に構成されており、プロジェクタ画像入力手段１３０には、例えばＰＣや、携帯端末などの他の機器から、プロジェクタ画像が入力される。そして、プロジェクタ画像入力部１３０は、入力されたプロジェクタ画像をメモリ（図示せず）に記憶する。

画像出力部１４０は、プロジェクタ画像入力部１３０に入力されたプロジェクタ画像あるいは、後述する投影パターン生成部１０３にて生成された「スクリーン投影画像が歪まないように補正されたプロジェクタ画像」を、画像投影部１１０に出力する。

投影像枠検出部１０１は、撮影画像入力部１２０に入力された撮影画像から、スクリーン投影画像の枠を構成する直線を検出する。例えば、投影像枠検出部１０１は、撮影画像に含まれるスクリーン投影画像から複数の直線を検出し、検出した直線群の中から、直線の信頼度、直線の傾き及び位置の中の少なくとも１つに基づいて、スクリーン投影画像の枠を構成する直線を検出してもよい。以下、スクリーン投影画像の枠を構成する直線として検出された直線を「検出直線」という。

例えば、投影像枠検出部１０１は、図１０に示すように、まず撮影画像中に存在する直線群を検出し（図１０中の１０００の状態）、次に検出した直線の信頼度、直線の傾き及び位置に基づき撮影画像中のスクリーン投影画像の枠を構成する４本の直線を選択し（図１０中の１００１の状態）、その４本の直線各々の位置を、検出直線の位置としてメモリ（図示せず）に記憶する。以下、各処理の詳細の一例について説明する。

最初の処理となる撮影画像中に存在する直線を検出する方法としては、例えば、ハフ変換による直線検出法を用いることができる。なお、ハフ変換による直線検出法とは、まず初めに画像でエッジセグメントが存在する画素を判定し、次に撮影画像上での２次元座標を定義したとき、全ての傾きθ及び原点からの距離ρで表される直線について、それぞれの直線上に存在するエッジセグメントの画素数をそれぞれ投票し、最後に投票数が一定以上である直線のみを画像中に存在する直線として検出するという方法である。以下では、ハフ変換により検出された直線群のそれぞれの直線を添え字ｉで区別し、各直線の投票数、傾き、距離をそれぞれＶ_ｉ、θ_ｉ、ρ_ｉで表す。

図１０中の１０００を例にとって説明すると、点線１００２や点線１００３がハフ変換により検出された直線である。なお、以上では、全ての傾きθ及び距離ρで表される直線を検出の対象とする場合について述べたが、図１１に示すような撮影画像中の予め定められた領域（図１１中の斜線部１１０１）に存在する直線のみ投票を行い、直線の検出をしてもよい。さらに、同時に、この予め定められた領域に存在するエッジセグメントの画素数のみを投票してもよい。このように予め定められた領域でのみ直線検出を行うことで、スクリーン投影画像の枠を構成しない直線の検出を抑えることができる。

次に、得られた直線群からスクリーン投影画像の枠を構成する４本の直線を選択する。以下では、図１０における枠上部の直線１００４を選択する場合について述べる。投影像枠検出部１０１は、投票数Ｖ_ｉ、傾きθ_ｉ、距離ρ_ｉを引数とする信頼度Ｌ_ｉ（Ｖ_ｉ、θ_ｉ、ρ_ｉ）を全ての検出した直線について算出し、信頼度が最も大きい直線を枠上部の直線として選択する。信頼度Ｌ_ｉは、傾きθ_ｉ及び距離ρ_ｉが、予め定められた直線の傾きθ₀及び距離ρ₀に最も近く、さらに投票数Ｖ_ｉが最も多い直線ほど大きな値をとることを特徴とする関数である。例えば、信頼度Ｌ_ｉ（Ｖ_ｉ、θ_ｉ、ρ_ｉ）としては、以下のようなものを用いればよい。

同様の処理を枠下部、枠右部、枠左部についても行い、４本の直線を検出する。最後に、投影像枠検出部１０１は、検出された４本の直線からなる枠の位置をメモリ（図示せず）に記憶する。一方で、投影像枠検出部１０１は、撮影画像中から３本以上の直線が検出されなかった場合には、枠検出失敗フラグをメモリ（図示せず）に記憶する。

図１に戻り、プロジェクタ平面パラメタ推定部１０２は、プロジェクタとスクリーンの関係、具体的には、スクリーンとプロジェクタ間の距離、及び／又は、プロジェクタの光軸に対するスクリーンの傾きを推定する。プロジェクタ平面パラメタ推定部１０２は、さらに、プロジェクタのズーム倍率をも推定することができる。

例えば、プロジェクタ平面パラメタ推定部１０２は、まず、スクリーン投影画像の原画であるプロジェクタ画像及び撮影画像各々に座標軸を定め、次いで、撮影画像の座標における検出直線の座標データ、及び、プロジェクタ画像の座標におけるプロジェクタ画像の枠に対応する直線の座標データを取得する。そして、プロジェクタ平面パラメタ推定部１０２は、上記座標データと、予め定められたカメラの焦点距離やＣＣＤの画素の縦横比などを表すカメラの内部パラメタ、プロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離を用いて、スクリーンとプロジェクタ間の距離、プロジェクタの光軸に対するスクリーンの傾き、及び、プロジェクタのズーム倍率を推定することができる。

より詳細には、プロジェクタ平面パラメタ推定部１０２は、プロジェクタとカメラの光軸の傾き及び光学中心間の距離、カメラの内部パラメタ、スクリーンとプロジェクタ間の距離、プロジェクタの光軸に対するスクリーンの傾き、及び、プロジェクタのズーム倍率を用いて、撮影画像の座標上の点をプロジェクタ画像の座標上の点に変換する変換ルールを保持しておく。そして、固定値であるプロジェクタとカメラの光軸の傾き及び光学中心間の距離、及び、カメラの内部パラメタ各々の値と、不定値であるスクリーンとプロジェクタ間の距離、プロジェクタの光軸に対するスクリーンの傾き、及び、プロジェクタのズーム倍率各々の値とを用いて、撮影画像の座標における検出直線の座標データをプロジェクタ画像の座標における座標データに変換し、変換後の座標データと、プロジェクタ画像の座標におけるプロジェクタ画像の枠に対応する直線の座標データとが近似するように複数の不定値の値を推定する。

または、プロジェクタ平面パラメタ推定部１０２は、上記変換ルールを保持しておき、固定値であるプロジェクタとカメラの光軸の傾き及び光学中心間の距離、及び、カメラの内部パラメタ各々の値と、不定値であるスクリーンとプロジェクタ間の距離、プロジェクタの光軸に対するスクリーンの傾き、及び、プロジェクタのズーム倍率各々の値とを用いて、プロジェクタ画像の座標におけるプロジェクタ画像の枠に対応する直線の座標データを撮影画像の座標における座標データに変換し、変換後の座標データと、撮影画像の座標における検出直線の座標データとが近似するように複数の不定値の値を推定してもよい。

これらの処理の詳細を述べる。まず、プロジェクタ平面パラメタ推定部１０２は、３つの座標系、プロジェクタ座標系、カメラ座標系、スクリーン座標系を定義する。図１２に示すように、プロジェクタの光学中心を原点とし、光軸がＺ軸と一致している座標系をプロジェクタ座標とし、各座標はＸ＝（Ｘ、Ｙ、Ｚ）^Ｔと表す。同様にカメラの光学中心を原点とし、光軸がＺ軸と一致している座標をカメラ座標系とし、各座標はＸ'=(Ｘ'，Ｙ'、Ｚ'）^Ｔと表す。このとき、プロジェクタ座標とカメラ座標との間の座標変化を以下で表せる。

ここで、Ｒは回転行列でありプロジェクタとカメラとの間のＸＹＺ軸における回転角を用いてオイラー表現を用いて定義される。Ｘ_０は並進ベクトルである。Ｒ及びＸ_０は、プロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離から算出することができる。また、スクリーンＬの平面上の互いに直交する２つの単位ベクトルｅ_ｘ、ｅ_ｙを、スクリーン平面の法線ベクトルに垂直なベクトルとして定義する。そして、ｘ、ｙ軸がそれぞれｅ_ｘ、ｅ_ｙに平行な座標系を、スクリーン座標系として定義する。なお、スクリーン投影画像はスクリーン座標系上に存在することに注意する。

さらに、図１３に示すように、プロジェクタ座標Ｘ＝（Ｘ，Ｙ、Ｚ）^Ｔとプロジェクタ座標の同次座標ｘ_ｐ＝（ｘ_ｐ，ｙ_ｐ、１）^Ｔとの関係を以下のように定義する。

また、図１４に示すように、同次座標ｘ_ｐとプロジェクタ画像の座標ｕ_ｐ＝（ｕ_ｐ、ｖ_ｐ、１）^Ｔとの関係を以下で定義する。

ここでＡ_ｐは同次座標ｘ_ｐとプロジェクタ画像の座標ｕ_ｐの変換を表す行列（プロジェクタの擬似的な内部行列）であり、プロジェクタのズームｆを用いて以下のように表わされる。

同様に、カメラ座標の同次座標ｘ_ｃ＝（ｘ_ｃ，ｙ_ｃ、１）^Ｔと撮影画像の座標ｕ_ｃ＝（ｕ_ｃ，ｖ_ｃ、１）^Ｔ及びカメラ座標との関係を、以下のように定義する。

ただし、Ａ_ｃは同次座標と撮影画像の座標の変換を表す行列であり、カメラ内部パラメタと呼ばれ、焦点距離やＣＣＤの画素の縦横比などを表す量である。カメラ内部パラメタは、予め以下のような行列によって与えられている。

また、スクリーン平面Ｌを、プロジェクタ座標を用いて以下のように表す。

ここで、ｐ、ｑ、ｒは平面を特徴付けるパラメタであり、スクリーン・プロジェクタ間の距離、スクリーン平面の傾きにより表される。このとき、図１２に示すように、プロジェクタ画像の座標における点ｘ_ｐが平面Ｌに投影され、これが撮影画像の座標における点ｘ_ｃとして撮像される。このとき、ｘ_ｐとｘ_ｃの関係は以下で表される。

ただし、Ｔは３×３の行列で、回転Ｒ、並進Ｘ_０、平面パラメタｐ、ｑ、ｒを用いて以下で表される。なお、∝は、右辺と左辺のベクトルが比例の関係であることを示している（以下同様）。

［数４］、［数７］、［数１０］より、プロジェクタ画像における点ｕ_p（プロジェクタ画像の座標上の点）と、撮影画像上の点ｕ_ｃ（撮影画像の座標上の点）は、以下の式を満たす。

［数１２］によれば、撮影画像上の点ｕ_ｃからプロジェクタ画像上の点ｕ_pへの変換（及びその逆の変換）は、カメラの内部パラメタＡ_ｃ、ズームｆ、回転Ｒ、並進Ｘ_０を用いて記述できることを示している。なお、本実施の形態では、内部パラメタＡ_ｃ、回転Ｒ、並進Ｘ_０の値は予め与えられており、未知変数は平面パラメタｐ、ｑ、ｒ及びズームｆのみである。プロジェクタ平面パラメタ推定部１０２は、投影像枠検出部１０１にて検出された検出直線上の点のいくつか、例えば全ての点が［数１２］の関係式を満たすように、平面パラメタｐ、ｑ、ｒ、及び、プロジェクタのズームｆを決定する。

具体的には、プロジェクタ平面パラメタ推定部１０２は、まず、プロジェクタ画像の座標におけるプロジェクタ画像の枠に対応する直線からサンプリングされたＮ個の座標データ｛ｕ_pｋ｝＝（ｕ_p１、ｕ_p２、・・・、ｕ_pＮ）を、［数１２］を用いて撮影画像の座標における座標データに変換する。Ｎ個の座標データは、例えば、枠の頂点（２つの直線の交点）や、４つの直線各々の中点などとすることができる。そして、プロジェクタ平面パラメタ推定部１０２は、変換後のＮ個の座標データと、撮影画像の座標における４本の検出直線の対応するＮ個の座標データ（２つの直線の交点、４つの直線各々の中点など）とが近似するように、平面パラメタｐ、ｑ、ｒ、プロジェクタのズームｆを決定する。例えば、プロジェクタ平面パラメタ推定部１０２は、［数１３］に示す誤差関数Ｅが最小になるように平面パラメタｐ、ｑ、ｒ、プロジェクタのズームｆを決定してもよいし、または、誤差関数Ｅが所定値Ｅ_０より小さくなるようにこれらを決定してもよい。所定値Ｅ_０は、例えば、Ｍ個の座標データがある場合には、Ｅ_０＝ε／Ｍとしてもよい。なお、εは１にくらべ充分に小さい正の実数であり、予め利用者が定めることができる設計的事項である。

ただし、Ｆ（・）は３行１列のベクトルを引数とし、引数ベクトルの第３成分の要素で全ての成分を除した値を要素とするベクトルを出力する関数である。例えば、Ｘ＝（Ｘ，Ｙ，Ｚ）^Ｔを引数とした場合、Ｆ（Ｘ）＝（Ｘ／Ｚ，Ｙ／Ｚ，１）^Ｔとなる。

なお、上記に準じて、検出直線からサンプリングされた座標データをプロジェクタ画像の座標に変換し、上記処理を行ってもよい。

さらに、プロジェクタ平面パラメタ推定部１０２は、平面パラメタｐ、ｑ、ｒ、及びズームｆをメモリ（図示せず）に記憶する。一方、投影像枠検出部１０１にて枠検出失敗フラグが出力された場合には、平面パラメタ推定は行わず、平面パラメタ推定失敗フラグを生成しメモリ（図示せず）に記憶する。

投影パターン生成部１０３は、プロジェクタ平面パラメタ推定部１０２が推定したスクリーンとプロジェクタ間の距離、及び、プロジェクタの光軸に対するスクリーンの傾きを用いて、仮想的なスクリーンの座標軸を定める。そして、投影パターン生成部１０３は、プロジェクタ平面パラメタ推定部１０２が推定したプロジェクタのズーム倍率をさらに用いて、プロジェクタ画像上の任意の複数の点の仮想的なスクリーン上での投影位置を算出する。その後、投影パターン生成部１０３は、当該結果を利用して、スクリーン投影画像が歪まないように補正されたプロジェクタ画像を生成する。以下、より具体的に説明する。

まず、図１５に示すように、投影パターン生成部１０３は、スクリーン平面パラメタ推定部１０２にて推定された平面の傾き（法線ベクトルｎ：プロジェクタの光軸に対するスクリーンの傾き）から、スクリーンに接する互いに直交する２つの単位ベクトルｅ_ｘ、ｅ_ｙを法線ベクトルに垂直なベクトルとして決定する。この時、スクリーン座標系の定義より、スクリーン座標系におけるｘ、ｙ軸（仮想的なスクリーンの座標軸）がそれぞれｅ_ｘ、ｅ_ｙとなる。

次に、スクリーン平面パラメタ推定部１０２は、図１６に示すように、プロジェクタ画像の任意の複数の点、例えばコーナー４点に対応するスクリーン投影画像上の点を推定する。具体的には、スクリーン平面パラメタ推定部１０２は、プロジェクタ画像の座標におけるプロジェクタ画像の座標データを、上記仮想的なスクリーンの座標における座標データに変換する変換ルールを保持しておく。そして、スクリーン平面パラメタ推定部１０２は、当該変換ルールを用いて、プロジェクタ画像の座標におけるプロジェクタ画像の任意の複数の点（例：コーナー４点）を、仮想的なスクリーンの座標における座標データに変換する。そして、スクリーン平面パラメタ推定部１０２は、当該変換後の座標データを、プロジェクタ画像の任意の複数の点に対応するスクリーン投影画像上の点と推定する。

変換ルールの内容としては、例えば、図１６に示すように、スクリーンの光学中心と、プロジェクタ画像の任意の点（例：プロジェクタ画像の枠の４つの頂点の１つ）とを結ぶ直線の式を算出し、当該直線と、仮想的なスクリーンの座標系におけるｘ−ｙ平面との交点を算出するものであってもよい。例えば、図１６では、プロジェクタ画像１６０１がスクリーン１６０２に投影され、スクリーン投影画像１６０３となるとき、プロジェクタ画像の枠の４つの頂点１６０４に対応するスクリーン投影画像上の点１６０５の座標値を、スクリーン座標系にて算出する。

次に、投影パターン生成部１０３が、スクリーン投影画像が歪まないようにプロジェクタ画像を補正する構成について説明する。

まず、投影パターン生成部１０３は、プロジェクタ画像の座標におけるプロジェクタ画像の任意の複数の座標点（例：プロジェクタ画像の枠の４つの頂点）を結んで構成される形状（例：プロジェクタ画像の枠の４つの頂点を結んで構成される四角形）と、当該複数の座標点を仮想的なスクリーンの座標系に変換した複数の座標点を結んで構成される形状とを比較し、これらの形状が略同一になるように、仮想的なスクリーンの座標系における複数の座標点を補正する。例えば、上述のようにプロジェクタ画像の枠の４つの頂点の座標点を変換した場合、投影パターン生成部１０３は、変換後の４つの座標点を結んで形成される四角形の４つの角が直角になり、かつ、アスペクト比がプロジェクタ画像の枠のものと等しくなるように、補正する。

ここで、図１７を用いて一例を説明する。図１７には、プロジェクタ画像の枠の４つの頂点を仮想的なスクリーンの座標系に変換した点を結んで形成される四角形（補正前のスクリーン投影画像１７０１）が記載されている。投影パターン生成部１０３は、補正前のスクリーン投影画像１７０１を、四角形の角が直角になり、かつ、アスペクト比がプロジェクタ画像の枠のものと等しくなるように、補正前のスクリーン投影画像１７０１の４つの頂点（１７０３等）の座標データを補正し、補正後のスクリーン投影画像１７０４を得る。

その後、投影パターン生成部１０３は、図１８に示すように、補正後のスクリーン投影画像１７０４の４つの頂点（１８０１等）の座標データを、プロジェクタ画像の座標における座標データに変換する。例えば、補正後のスクリーン投影画像１７０４の４つの頂点（１８０１等）各々とプロジェクタの光学中心を結ぶ４つの直線の式を算出し、当該直線とプロジェクタ画像の座標におけるｘ−ｙ平面との交点を算出することで、補正後のスクリーン投影画像１７０４の４つの頂点（例えば図１８中の１８０１）に対応するプロジェクタ画像の座標における座標データ（例えば図１８中の１８０２）を算出する。

その後、投影パターン生成部１０３は、図１９に示すように、補正前のプロジェクタ画像（図１９中の１９０１）の４つの頂点が補正後のプロジェクタ画像の４つの頂点に変換されるような変換（ホモグラフィ）を算出し、算出された変換にてプロジェクタ画像全体を変換することで、歪み補正されたプロジェクタ画像（図１９中の１９０２）を生成する。投影パターン生成部１０３は、生成した補正画像をメモリ（図示せず）に記憶する。一方、プロジェクタ平面パラメタ推定部にて、平面パラメタ推定失敗フラグが出力された場合には、補正は行わず、プロジェクタ画像をそのままメモリ（図示せず）に記憶する。

次に、図２のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

まず、撮影画像入力部１２０にて撮影画像を入力する（Ｓ２０１）。次に、プロジェクタ画像入力部１３０にて、プロジェクタ画像を入力する（Ｓ２０２）。さらに、投影像枠検出部１０１にて、スクリーン投影画像の枠を検出する（Ｓ２０３）。次に、プロジェクタ平面パラメタ推定部１０２にて、プロジェクタの平面を推定する（Ｓ２０４）。さらに、投影パターン生成部１０３にて、補正された投影パターンを生成する（Ｓ２０５）。次に、画像出力部１４０にて、補正された投影パターンを画像出力部１１０へ出力する（Ｓ２０６）。最後に、画像投影部１１０にて、補正された投影パターンを投影する（Ｓ２０７）。

本実施形態の投影像自動補正システム１は、例えば、以下のプログラムをコンピュータにインストールすることで実現することができる。

コンピュータを、
プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段、
として機能させるためのプログラム。

次に、本実施の形態の効果について説明する。撮影画像中のスクリーン投影画像の枠を構成する直線を検出し、検出した枠を構成する直線の位置からスクリーン・プロジェクタの間の距離及びスクリーン平面の傾きを算出し、さらに算出したスクリーン・プロジェクタの間の距離およびスクリーン平面の傾きから、角度及びアスペクト比が補正されたスクリーン投影画像を生成するよう動作する。このような構成を採用することで、撮影画像中のスクリーン投影画像の枠を構成する直線を用いてスクリーン投影画像の補正を行うため、スクリーン投影画像内部に校正用パターンを重畳する必要がなく、ゆえに視認性を低下させることなくスクリーン投影画像の歪みを補正できる。また、本実施の形態では、さらに、撮影画像中のスクリーン投影画像の枠を構成する直線からスクリーン投影画像を補正し、ゆえにスクリーン投影画像内のパターンによらずスクリーン投影画像の補正が可能であるため、静止した画像以外の画像においてもスクリーン投影画像の歪みを補正できる。

＜第２の実施形態＞
図３を参照すると、本発明の第２の実施の形態の投影像自動補正システム１ａは、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）１００ａと、画像投影部１１０と、撮影画像入力部１２０と、プロジェクタ画像入力部１３０と、画像出力部１４０とから構成されている。コンピュータ（中央処理装置；プロセッサ；データ処理装置）１００ａは、投影像枠検出部１０１ａと、プロジェクタ平面パラメタ推定部１０２と、平面パラメタ検証部３０４と、投影パターン１０３ａとを含む。

これらの各部はそれぞれ概略つぎのように動作する。なお、画像投影部１１０、撮影画像入力部１２０、プロジェクタ画像入力部１３０、画像出力部１４０、プロジェクタ平面パラメタ推定部１０２、投影パターン生成部１０３ａは、第１の実施の形態と同様であるため、説明を省略する。

投影像枠部１０１ａは、後述する平面パラメタ検証部３０４にて投影像枠再検出フラグが生成されていない場合には、第１の実施の形態と同様の方法にて、スクリーン投影画像の枠を検出する。一方、投影像枠再検出フラグが生成されている場合には、これまで検出された検出直線を除外して、再度、第１の実施の形態と同様の方法にて枠の検出を行う。

平面パラメタ検証部３０４は、プロジェクタ平面パラメタ推定部１０２にて推定された平面パラメタｐ、ｑ、ｒ、及び、ズームｆの正誤を判定する。具体的には、平面パラメタ検証部３０４は、予め、平面パラメタｐ、ｑ、ｒ、及び、ズームｆの数値範囲を定めたデータを保持しておき、プロジェクタ平面パラメタ推定部１０２にて推定された値が、当該数値範囲内に含まれるか否かを判定する。そして、これらの全て平面パラメタ及びズームが予め指定された値の範囲内である場合には正しいと判定し、範囲外である場合には誤りと判定する。

推定された平面パラメタｐ、ｑ、ｒ、及び、ズームｆが正しいと判定された場合には、推定された値をメモリ（図示せず）に記録する。一方、推定された値が誤りであると判定された場合には、投影像枠再検出フラグを生成し、これをメモリ（図示せず）に記録する。なお、本実施の形態では、投影像枠検出部１０１ａにおける枠検出と、平面パラメタ検証部３０４における推定パラメタの検証を、推定パラメタが正しいと判定されるまで繰り返し行ってもよいし、一定回数で打ち切っても良い。一定回数で打ち切る場合には、平面パラメタ検証部３０４は、平面パラメタ推定は行わず、平面パラメタ推定失敗フラグを生成しメモリ（図示せず）に記憶する。

投影パターン生成部１０３ａは、平面パラメタ検証部３０４にて、平面パラメタ推定失敗フラグが出力されていない場合には、第１の実施の形態と同様にして、スクリーン投影画像が歪まないように補正したプロジェクタ画像を生成し、メモリ（図示せず）に記憶する。一方、平面パラメタ検証部３０４にて平面パラメタ推定失敗フラグを出力された場合には、歪み補正していないプロジェクタ画像を、メモリ（図示せず）に記憶する。

次に、図４のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

まず、撮影画像入力部１２０にて撮影画像を入力する（Ｓ４０１）。次に、プロジェクタ画像入力部１３０にて、プロジェクタ画像を入力する（Ｓ４０２）。さらに、投影像枠検出部１０１ａにて、スクリーン投影画像の枠を検出する（Ｓ４０３）。次に、プロジェクタ平面パラメタ推定部１０２にて、プロジェクタの平面を推定する（Ｓ４０４）。さらに、平面パラメタ検証部３０４にて、平面パラメタの正誤を判定する（Ｓ４０５）。平面パラメタの値が正である場合（或いは、投影像枠検出部１０１ａにて一定回数以上の試行を行った場合）には、投影像パターン生成部１０３ａにて、補正された投影パターンを生成する（Ｓ４０７）。それ以外の場合には再び、映像枠検出部１０１ａにてスクリーン投影画像の枠を検出する（Ｓ４０６）。次に、画像出力部１４０にて、補正された投影パターンを画像出力部１１０へ出力する（Ｓ４０８）。最後に、画像投影部１１０にて、補正された投影パターンを投影する（Ｓ４０９）。

本実施形態では、平面パラメタ検証部３０４にて、プロジェクタ平面パラメタ推定部１０２にて算出された平面パラメタｐ、ｑ、ｒ、及び、ズームｆの正誤を判定し、これらの平面パラメタ及びズームが正と判定された場合のみ投影パターン生成部１０３ａにて、スクリーン投影画像の歪みの補正を行う。したがって、第１の実施形態に比べ、投影像が誤った形に補正されることを防ぐことができる。

＜第３の実施形態＞
図５を参照すると、本発明の第３の実施の形態の投影像自動補正システム１ｂは、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）１００ｂと、画像投影部１１０と、撮影画像入力部１２０と、プロジェクタ画像入力部１３０と、画像出力部１４０とから構成されている。コンピュータ（中央処理装置；プロセッサ；データ処理装置）１００ｂは、投影像枠検出部１０１ｂと、プロジェクタ平面パラメタ推定部１０２と、画像合成部５０１と、投影パターン１０３とを含む。

これらの各部はそれぞれ概略つぎのように動作する。なお、画像投影部１１０、撮影画像入力部１２０、プロジェクタ画像入力部１３０、プロジェクタ平面パラメタ推定部１０２、投影パターン生成部１０３、画像出力部１４０は、第１の実施の形態と同様であるため、説明を省略する。

画像合成部５０１は、後述する投影像枠検出部１０１ｂがスクリーン投影画像の枠の検出に失敗し、初期投影像枠検出失敗フラグが生成されている場合、投影像枠検出部１０１ｂにてより正確に枠を検出可能にするために、プロジェクタ画像に枠の画像を合成した画像（以下、合成画像）を生成し、メモリ（図示せず）に記録する。合成画像は、プロジェクタ画像の外枠から内部への数画素を一定の色（例えば、白或いは黒）で塗りつぶした画像を用いる。画像合成部５０１はこのような画像を、１枚生成してもいいし、或いは複数枚生成しても良い。以下では、図２０に示すように合成画像として、プロジェクタ画像の外枠から内部への数画素を白色（図２０中の２００１）及び黒色（図２０中の２００２）で塗りつぶした画像を生成した例について述べる。なお、一定色強調された領域は、プロジェクタ画像の端の領域であり、この領域にコンテンツが含まれていることは少ない。従って、この領域を、一定色で塗りつぶしたプロジェクタ画像を投影しても、視聴者の視認性は損なわれない。

投影像枠検出部１０１ｂは、画像合成部５０１にて合成画像が生成されていない場合には、第１の実施の形態と同様の方法にて、スクリーン投影画像の枠を検出する。スクリーン投影画像の枠の検出に成功した場合には、検出した枠の位置をメモリ（図示せず）に記録する。

一方、スクリーン投影画像の枠の検出に失敗した場合には、初期投影像枠検出失敗フラグを生成し、メモリ（図示せず）に記録する。そして、画像合成部５０１にて合成画像を生成し、さらに、以下のような手順で、枠の検出を行う。まず、画像出力部１４０が合成画像２００１を画像投影部１１０に出力し、さらに画像投影部１１０は合成画像２００１をスクリーンに投影する。これを撮影し得られた画像（図２１中の２１０１）を用いて、第１の実施の形態と同様の方法にて、スクリーン投影画像の枠を検出する。検出に成功した場合には、その位置をメモリ（図示せず）に記録する。

一方、検出に失敗した場合には、投影像枠検出部１０１ｂは、枠が合成されていないプロジェクタ画像の撮影画像と撮影画像２１０１の差分画像(以下、差分画像（白）と呼ぶ)を生成し、差分画像（白）に対し、第１の実施の形態と同様の方法にて、スクリーン投影画像の枠を検出する。検出に成功した場合には、その位置をメモリ（図示せず）に記録する。

一方、検出に失敗した場合には、画像出力部１４０は合成画像２００２を画像投影部１１０に出力し、さらに画像投影部１１０は合成画像２００２をスクリーンに投影する。これを撮影し得られた画像（図２１中の２１０２）を用いて、撮影画像２１０１及び撮影画像２１０２との差分画像（以下、差分画像（白黒））を生成する。さらに差分画像（白黒）に対し、第１の実施の形態と同様の方法にて、スクリーン投影画像の枠を検出する。検出に成功した場合には、その位置をメモリ（図示せず）に記録する。一方、検出に失敗した場合には、投影像枠失敗フラグを生成し、これをメモリ（図示せず）に記録する。

次に、図６のフローチャートを参照して本実施の形態の全体の動作について詳細に説明する。

まず、撮影画像入力部１２０にて撮影画像を入力する（Ｓ６０１）。次に、プロジェクタ画像入力部１３０にて、プロジェクタ画像を入力する（Ｓ６０２）。さらに、投影像枠検出部１０１ｂにて、スクリーン投影画像の枠を検出する（Ｓ６０３）。スクリーン投影画像の枠の検出に成功した場合には、後述するＳ６０７に進み、一方、枠の検出に失敗した場合には、画像合成部５０１にて、合成画像を生成する（Ｓ６０５）。次に、投影像枠検出部１０１ｂにて、再びスクリーン投影画像の枠を検出する（Ｓ６０６）。さらに、プロジェクタ平面パラメタ推定部１０２にて、プロジェクタの平面を推定する（Ｓ６０７）。さらに、投影パターン生成部１０３にて、補正された投影パターンを生成する（Ｓ６０８）。次に、画像出力部１４０にて、補正された投影パターンを画像出力部１１０へ出力する（Ｓ６０９）。最後に、画像投影部１１０にて、補正された投影パターンを投影する（Ｓ４０９）。

本実施形態では、画像合成部５０１にて、プロジェクタ画像の枠領域が強調された合成画像を生成し、合成画像を画像投影部１１０にて、スクリーン上へ投影する。さらに、投影像枠検出部１０１ｂは、枠領域が強調されたスクリーン投影画像をカメラで撮影し得られた撮影画像から、スクリーン投影画像の枠を検出することで第１の実施の形態に比べ、視認性を損なうことなく、よりロバストに枠を検出できる。本実施の形態では、ロバストにスクリーン投影画像の枠を検出することが可能であるため、第１の実施の形態に比べ、よりロバストにスクリーン投影画像の歪み補正を行うことができる。

＜第４の実施形態＞
図７を参照すると、本発明の第４の実施の形態の投影像自動補正システム１ｃは、プログラム制御により動作するコンピュータ（中央処理装置；プロセッサ；データ処理装置）１００ｃと、画像投影部１１０と、撮影画像入力部１２０と、プロジェクタ画像入力部１３０と、画像出力部１４０とを含む。コンピュータ（中央処理装置；プロセッサ；データ処理装置）１００ｃは、投影像枠検出部１０１ｃと、プロジェクタ平面パラメタ推定部１０２と、投影パターン生成部１０３と、投影像枠記憶部７０１と、カメラパラメタ推定部７０２とを含む。

これらの各部はそれぞれ概略つぎのように動作する。なお、画像投影部１１０、撮影画像入力部１２０、プロジェクタ画像入力部１３０、投影像枠検出部１０１と、投影パターン生成部１０３、画像出力部１４０は、第１の実施の形態と同様であるため、説明を省略する。

投影像枠記憶部７０１は、過去に投影像枠検出部１０１にて検出された投影像の枠の位置（撮影画像の座標における検出直線の座標データ）を記憶する。この時、投影像枠記憶部７０１は、過去に検出された全ての投影像の枠の位置を記憶してもよいし、その一部を記憶してもよい。例えば、投影像枠記憶部７０１は、投影像枠検出部１０１にて検出された枠の位置が、投影像枠記憶部７０１に記憶されているどの枠の位置とも大きく異なっている場合のみ、その値を記憶してもよい。また、過去に投影像枠記憶部７０１にて記憶した枠の位置のうち、ある一定時間以上経過した枠の位置については、その値を記憶から削除してもよい。以下では、記憶された投影像の枠の位置はＭ種類であるとし、添え字ｍで区別する。例えば、Ｍ種類のスクリーン投影像から検出された各枠からサンプリングされたＮ個の点群とプロジェクタ画像のそれらに対応する点群は、それぞれ｛ｕ_ｃｍｋ｝＝（ｕ_ｃｍ１、ｕ_ｃｍ２、・・・、ｕ_ｃｍＮ）、｛ｕ_pｍｋ｝＝（ｕ_pｍ１、ｕ_p２、・・・、ｕ_pｍＮ）と表す。

カメラパラメタ推定部７０２は、投影像枠記憶部７０１に記憶された複数の投影像における枠の位置（撮影画像の座標における検出直線の座標データ）から、プロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離を推定する。以下で、より詳細に説明する。

一般的に、投影像枠記憶部７０１に記憶された枠の位置は、異なるズーム及び異なるスクリーン・プロジェクタの位置関係での投影像から検出されたものである。以下では、これらを区別するために、記憶されたＭ種類の各枠に対応する平面パラメタをそれぞれｐ_ｍ、ｑ_ｍ、ｒ_ｍ（ｍ＝1・・・Ｍ）とし、それぞれのズームをｆ_ｍ（ｍ＝1・・・Ｍ）と表す。この時、［数１１］と同様に、下記で定義される行列Ｔ_ｍ及びＡ_ｐｍを用いて、プロジェクタ画像における点ｕ_pｍｋ（プロジェクタ画像の座標上の点）と、撮影画像における点ｕ_ｃｍｋ（撮影画像の座標上の点）の関係は以下のように表せる。

［数１６］は、撮影画像における点ｕ_ｃｍｋからプロジェクタ画像における点ｕ_pｍｋへの変換はカメラの内部パラメタＡ_ｃ、平面パラメタｐ_ｍ、ｑ_ｍ、ｒ_ｍ、ズームｆ_ｍ、回転Ｒ、並進Ｘ_０を用いて記述できることを示している。カメラパラメタ推定部７０２では、内部パラメタＡ_ｃのみが予め与えられており、平面パラメタｐ_ｍ、ｑ_ｍ、ｒ_ｍ、ズームｆ_ｍ、回転Ｒ、並進Ｘ_０が未知変数である。カメラパラメタ推定部７０２は、［数１７］で表される誤差関数Ｅを最小化させることで、回転Ｒ、並進Ｘ_０、平面パラメタｐ_ｍ、ｑ_ｍ、ｒ_ｍ、プロジェクタのズームｆ_ｍを算出する。カメラパラメタ推定部７０２は、誤差関数Ｅが所定値（設計的事項）よりも小さくなるように、回転Ｒ、並進Ｘ_０、平面パラメタｐ_ｍ、ｑ_ｍ、ｒ_ｍ、プロジェクタのズームｆ_ｍを算出してもよい。

ただし、Ｆ（・）は［数１３］と同様に３行１列のベクトルを引数とし、ベクトルの第３成分の要素で全ての成分を除した値を出力する関数である。

すなわち、カメラパラメタ推定部７０２は、第１の実施形態で説明したプロジェクタ平面パラメタ推定部１０２と同様にして、プロジェクタとカメラの光軸の傾き及び光学中心間の距離を推定することができる。詳細には、カメラパラメタ推定部７０２は、プロジェクタとカメラの光軸の傾き及び光学中心間の距離、カメラの内部パラメタ、スクリーンとプロジェクタ間の距離、プロジェクタの光軸に対するスクリーンの傾き、及び、プロジェクタのズーム倍率を用いて、撮影画像の座標上の点をプロジェクタ画像の座標上の点に変換する変換ルールを保持しておく。そして、固定値であるカメラの内部パラメタの値と、不定値であるプロジェクタとカメラの光軸の傾き及び光学中心間の距離、各スクリーン配置におけるスクリーンとプロジェクタ間の距離、各スクリーン配置におけるプロジェクタの光軸に対するスクリーンの傾き、及び、各スクリーン配置におけるプロジェクタのズーム倍率各々の値とを用いて、各スクリーン配置における撮影画像の座標における検出直線の座標データをプロジェクタ画像の座標における座標データに変換し、変換後の座標データと、プロジェクタ画像の座標におけるプロジェクタ画像の枠に対応する直線の座標データとが近似するように複数の不定値の値を推定する。

さらに、カメラパラメタ推定部７０２は、平面パラメタｐ_ｍ、ｑ_ｍ、ｒ_ｍ、ズームｆ_ｍ、回転Ｒ、並進Ｘ_０をメモリ（図示せず）に記録する。なお、カメラパラメタ推定部７０２による平面パラメタｐ_ｍ、ｑ_ｍ、ｒ_ｍ、ズームｆ_ｍ、回転Ｒ、並進Ｘ_０の推定は、歪み補正を行うときは毎回行ってもよいし、定められた規則に従った間隔ごとに行っても良い。あるいは、利用者の指示によりカメラパラメタ推定部７０２によるこれらの推定を行ってもよい。

プロジェクタ平面パラメタ推定部１０２ｃは、予め与えられているカメラの内部パラメタＡ_ｃと、カメラパラメタ推定部７０２にて推定されたプロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離（すなわち、回転Ｒ、並進Ｘ_０）と、投影像枠検出部１０１にて検出された投影像の枠の位置から、第１の実施の形態におけるプロジェクタ平面パラメタ推定部１０２と同様の方法にて、平面パラメタ及びプロジェクタのズームを算出する。算出した平面パラメタ及びズームは、メモリ（図示せず）に記憶する。

次に、本実施の形態の動作について述べる。

まず、撮影画像入力部１２０にて撮影画像を入力する（Ｓ８０１）。次に、プロジェクタ画像入力部１３０にて、プロジェクタ画像を入力する（Ｓ８０２）。さらに、投影像枠検出部１０１にて、投影像の枠を検出する（Ｓ８０３）。さらに、投影像枠記憶部７０１にて、検出された枠を記憶する（Ｓ８０４）。次に、投影像枠記憶部７０２にて記憶された複数の枠を用いて、カメラパラメタ推定を行う場合には、後述のＳ８０６に進む。一方、カメラパラメタ推定を行わない場合には、後述のＳ８０７に進む（Ｓ８０５）。さらに、カメラパラメタ推定部７０２にて、投影像枠記憶部７０１に記憶された複数の枠の位置から、カメラパラメタを推定する（Ｓ８０６）。次に、プロジェクタ平面パラメタ推定部にて、プロジェクタの平面パラメタを推定する（Ｓ８０７）。さらに、投影パターン生成部１０３にて、補正された投影パターンを生成する（Ｓ８０８）。次に、画像出力部１４０にて、補正された投影パターンを画像出力部１１０へ出力する（Ｓ８０９）。最後に、画像投影部１１０にて、補正された投影パターンを投影する（Ｓ８１０）。

投影像枠記憶部７０１にて複数の異なるスクリーン位置から投影されたスクリーン投影像の枠の位置を記憶し、記憶された複数の枠の位置からプロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離を推定する。第４の実施の形態では、スクリーン投影像を補正する過程で、プロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離も推定するため、何らかの原因（製品の劣化、衝撃など）により予め定めたプロジェクタ・カメラ間の光軸のなす角度及び光学中心間の距離に誤差が生じていた場合にも、その誤差を補正し、投影像の歪みを補正できる。したがって、実施の形態１に比べ、高精度に歪みが補正された投影像を生成することができる。

＜＜付記＞＞
＜発明１＞
プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段と、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段と、
を有する投影像自動補正システム。
＜発明２＞
発明１の投影像自動補正システムにおいて、
前記プロジェクタ平面パラメタ推定手段は、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、
固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正システム。
＜発明３＞
発明１の投影像自動補正システムにおいて、
前記プロジェクタ平面パラメタ推定手段は、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記プロジェクタ画像の座標上の点を前記撮影画像の座標上の点に変換する変換ルールを保持し、
固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを前記撮影画像の座標における座標データに変換し、変換後の座標データと、前記撮影画像の座標における前記検出した直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正システム。
＜発明４＞
発明１から３のいずれか１の投影像自動補正システムにおいて、
前記プロジェクタ平面パラメタ推定手段が推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定手段が推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成手段をさらに有する投影像自動補正システム。
＜発明５＞
発明１から４のいずれか１の投影像自動補正システムにおいて、
前記投影像枠検出手段は、前記撮影画像に含まれる前記スクリーン投影画像から直線を検出し、検出した直線の中から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
＜発明６＞
発明５の投影像自動補正システムにおいて、
前記投影像枠検出手段は、前記スクリーン投影画像から検出した直線の信頼度、直線の傾き及び位置の中の少なくとも１つに基づいてスクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
＜発明７＞
発明１から６のいずれか１の投影像自動補正システムにおいて、
前記プロジェクタ平面パラメタ推定手段にて推定されたスクリーンとプロジェクタ間の距離及び前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値が、予め定められた値の範囲内であるかを判定することで、前記プロジェクタ平面パラメタ推定手段にて推定された値の正誤を判定する平面パラメタ検証手段をさらに有する投影像自動補正システム。
＜発明８＞
発明１から７のいずれか１の投影像自動補正システムにおいて、
プロジェクタ画像に一定色の枠を重畳した合成画像を生成する画像合成手段をさらに有し、
前記投影像枠検出手段は、前記合成画像の前記スクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
＜発明９＞
発明１から８のいずれか１の投影像自動補正システムにおいて、
前記投影像枠検出手段にて検出された枠の位置を記憶する投影像枠記憶手段と、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記投影像枠記憶手段が記憶する枠の位置、及び、前記カメラの内部パラメタを用いて、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離を推定するカメラパラメタ推定手段と、
をさらに有する投影像自動補正システム。
＜発明１０＞
コンピュータを、
プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段、
として機能させるためのプログラム。
＜発明１１＞
発明１０のプログラムにおいて、
前記プロジェクタ平面パラメタ推定手段は、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、
固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定するプログラム。
＜発明１２＞
発明１０のプログラムにおいて、
前記プロジェクタ平面パラメタ推定手段は、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記プロジェクタ画像の座標上の点を前記撮影画像の座標上の点に変換する変換ルールを保持し、
固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを前記撮影画像の座標における座標データに変換し、変換後の座標データと、前記撮影画像の座標における前記検出した直線の座標データとが近似するように複数の前記不定値の値を推定するプログラム。
＜発明１３＞
発明１０から１２のいずれか１のプログラムにおいて、
コンピュータを、さらに、
前記プロジェクタ平面パラメタ推定手段が推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定手段が推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成手段として機能させるためのプログラム。
＜発明１４＞
発明１０から１３のいずれか１のプログラムにおいて、
前記投影像枠検出手段は、前記撮影画像に含まれる前記スクリーン投影画像から直線を検出し、検出した直線の中から、前記スクリーン投影画像の枠を構成する直線を検出するプログラム。
＜発明１５＞
発明１４のプログラムにおいて、
前記投影像枠検出手段は、前記スクリーン投影画像から検出した直線の信頼度、直線の傾き及び位置の中の少なくとも１つに基づいてスクリーン投影画像の枠を構成する直線を検出するプログラム。
＜発明１６＞
発明１０から１５のいずれか１のプログラムにおいて、
コンピュータを、さらに、
前記プロジェクタ平面パラメタ推定手段にて推定されたスクリーンとプロジェクタ間の距離及び前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値が、予め定められた値の範囲内であるかを判定することで、前記プロジェクタ平面パラメタ推定手段にて推定された値の正誤を判定する平面パラメタ検証手段として機能させるためのプログラム。
＜発明１７＞
発明１０から１６のいずれか１のプログラムにおいて、
コンピュータを、さらに、
プロジェクタ画像に一定色の枠を重畳した合成画像を生成する画像合成手段として機能させ、
前記投影像枠検出手段は、前記合成画像の前記スクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出するプログラム。
＜発明１８＞
発明１０から１７のいずれか１のプログラムにおいて、
コンピュータを、さらに、
前記投影像枠検出手段にて検出された枠の位置を記憶する投影像枠記憶手段、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記投影像枠記憶手段が記憶する枠の位置、及び、前記カメラの内部パラメタを用いて、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離を推定するカメラパラメタ推定手段、
として機能させるためのプログラム。
＜発明１９＞
プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出ステップ、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定ステップ、
をコンピュータが実行する投影像自動補正方法。
＜発明２０＞
発明１９の投影像自動補正方法において、
前記プロジェクタ平面パラメタ推定ステップでは、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを利用し、
固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正方法。
＜発明２１＞
発明１９の投影像自動補正方法において、
前記プロジェクタ平面パラメタ推定ステップでは、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記プロジェクタ画像の座標上の点を前記撮影画像の座標上の点に変換する変換ルールを利用し、
固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを前記撮影画像の座標における座標データに変換し、変換後の座標データと、前記撮影画像の座標における前記検出した直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正方法。
＜発明２２＞
発明１９から２１のいずれか１の投影自動補正方法において、
前記プロジェクタ平面パラメタ推定ステップで推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定ステップで推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成ステップをコンピュータがさらに実行する投影像自動補正方法。
＜発明２３＞
発明１９から２２のいずれか１の投影像自動補正方法において、
前記投影像枠検出ステップでは、前記撮影画像に含まれる前記スクリーン投影画像から直線を検出し、検出した直線の中から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正方法。
＜発明２４＞
発明２３の投影像自動補正方法において、
前記投影像枠検出ステップでは、前記スクリーン投影画像から検出した直線の信頼度、直線の傾き及び位置の中の少なくとも１つに基づいてスクリーン投影画像の枠を構成する直線を検出する投影像自動補正方法。
＜発明２５＞
発明１９から２４のいずれか１の投影像自動補正方法において、
前記プロジェクタ平面パラメタ推定ステップにて推定されたスクリーンとプロジェクタ間の距離及び前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値が、予め定められた値の範囲内であるかを判定することで、前記プロジェクタ平面パラメタ推定手段にて推定された値の正誤を判定する平面パラメタ検証ステップをコンピュータがさらに実行する投影像自動補正方法。
＜発明２６＞
発明１９から２５のいずれか１の投影像自動補正方法において、
プロジェクタ画像に一定色の枠を重畳した合成画像を生成する画像合成ステップをコンピュータがさらに実行し、
前記投影像枠検出ステップでは、前記合成画像の前記スクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正方法。
＜発明２７＞
発明１９から２６のいずれか１の投影像自動補正方法において、
前記投影像枠検ステップにて検出された枠の位置を記憶する投影像枠記憶ステップと、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記投影像枠記憶ステップで記憶した枠の位置、及び、前記カメラの内部パラメタを用いて、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離を推定するカメラパラメタ推定ステップと、
をコンピュータがさらに実行する投影像自動補正方法。

この出願は、２０１１年９月１５日に出願された日本特許出願特願２０１１−２０１７８９号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

Claims

プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段と、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段と、
を有し、
前記プロジェクタ平面パラメタ推定手段は、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、
固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正システム。
プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段と、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段と、
を有し、
前記プロジェクタ平面パラメタ推定手段は、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記プロジェクタ画像の座標上の点を前記撮影画像の座標上の点に変換する変換ルールを保持し、
固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを前記撮影画像の座標における座標データに変換し、変換後の座標データと、前記撮影画像の座標における前記検出した直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正システム。
プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段と、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段と、
前記プロジェクタ平面パラメタ推定手段が推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定手段が推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成手段と、
を有する投影像自動補正システム。
請求項１又は２に記載の投影像自動補正システムにおいて、
前記プロジェクタ平面パラメタ推定手段が推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定手段が推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成手段をさらに有する投影像自動補正システム。
請求項１から４のいずれか１項に記載の投影像自動補正システムにおいて、
前記投影像枠検出手段は、前記撮影画像に含まれる前記スクリーン投影画像から直線を検出し、検出した直線の中から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
請求項５に記載の投影像自動補正システムにおいて、
前記投影像枠検出手段は、前記スクリーン投影画像から検出した直線の信頼度、直線の傾き及び位置の中の少なくとも１つに基づいてスクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
請求項１から６のいずれか１項に記載の投影像自動補正システムにおいて、
前記プロジェクタ画像に一定色の枠を重畳した合成画像を生成する画像合成手段をさらに有し、
前記投影像枠検出手段は、前記合成画像の前記スクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像自動補正システム。
請求項１から７のいずれか１項に記載の投影像自動補正システムにおいて、
前記投影像枠検出手段にて検出された枠の位置を記憶する投影像枠記憶手段と、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記投影像枠記憶手段が記憶する枠の位置、及び、前記カメラの内部パラメタを用いて、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離を推定するカメラパラメタ推定手段と、
をさらに有する投影像自動補正システム。
コンピュータを、
プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段、
として機能させ、
前記プロジェクタ平面パラメタ推定手段は、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、
固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定するプログラム。
コンピュータを、
プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段、
として機能させ、
前記プロジェクタ平面パラメタ推定手段は、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記プロジェクタ画像の座標上の点を前記撮影画像の座標上の点に変換する変換ルールを保持し、
固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを前記撮影画像の座標における座標データに変換し、変換後の座標データと、前記撮影画像の座標における前記検出した直線の座標データとが近似するように複数の前記不定値の値を推定するプログラム。
コンピュータを、
プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出手段、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定手段、
前記プロジェクタ平面パラメタ推定手段が推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定手段が推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成手段、
として機能させるためのプログラム。
プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出ステップ、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定ステップ、
をコンピュータが実行し、
前記コンピュータは、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記撮影画像の座標上の点を前記プロジェクタ画像の座標上の点に変換する変換ルールを保持し、
前記プロジェクタ平面パラメタ推定ステップでは、固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記撮影画像の座標における前記検出した直線の座標データを前記プロジェクタ画像の座標における座標データに変換し、変換後の座標データと、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正方法。
プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出ステップ、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定ステップ、
をコンピュータが実行し、
前記コンピュータは、
前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率を用いて、前記プロジェクタ画像の座標上の点を前記撮影画像の座標上の点に変換する変換ルールを保持し、
前記プロジェクタ平面パラメタ推定ステップでは、固定値である前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、及び、前記カメラの内部パラメタ各々の値と、不定値である前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率各々の値とを用いて、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを前記撮影画像の座標における座標データに変換し、変換後の座標データと、前記撮影画像の座標における前記検出した直線の座標データとが近似するように複数の前記不定値の値を推定する投影像自動補正方法。
プロジェクタで映し出されたスクリーン上のスクリーン投影画像をカメラで撮影した撮影画像から、前記スクリーン投影画像の枠を構成する直線を検出する投影像枠検出ステップ、
前記スクリーン投影画像の原画であるプロジェクタ画像及び前記撮影画像各々に座標軸を定め、前記プロジェクタと前記カメラの光軸の傾き及び光学中心間の距離、前記カメラの内部パラメタ、前記撮影画像の座標における前記検出された直線の座標データ、及び、前記プロジェクタ画像の座標における前記枠に対応する直線の座標データを用いて、前記スクリーンと前記プロジェクタ間の距離、前記プロジェクタの光軸に対する前記スクリーンの傾き、及び、前記プロジェクタのズーム倍率の中の少なくとも１つを推定するプロジェクタ平面パラメタ推定ステップ、
前記プロジェクタ平面パラメタ推定ステップで推定した前記スクリーンと前記プロジェクタ間の距離、及び、前記プロジェクタの光軸に対する前記スクリーンの傾き各々の値を用いて仮想的なスクリーンの座標軸を定め、前記プロジェクタ平面パラメタ推定ステップで推定した前記プロジェクタのズーム倍率の値をさらに利用して、前記プロジェクタ画像上の任意の複数の点の前記仮想的なスクリーン上での投影位置を算出し、その結果を利用して、スクリーン投影画像が歪まないように補正した前記プロジェクタ画像を生成する投影パターン生成ステップ、
をコンピュータが実行する投影像自動補正方法。