JP5973368B2 - 空間投影装置、空間投影方法及び空間投影プログラム - Google Patents

Description

本発明は、画像を空間に投影する空間投影装置、空間投影方法及び空間投影プログラムに関する。

プロジェクタは極めてフレキシブルな画像出力デバイスであり、投影仕様の範囲内であれば個人スペース、会議ホール、巨大パブリックビューイング、ビルの壁などに合わせて自由サイズの映像表示を提供することができる。プロジェクタを使って平面スクリーンではない任意の構造物（以下、被写体と称する）へ投影するとき、被写体の形状を事前に計測して、その形状に合わせて所定画像が空間歪みの無いように投影する技術は、プロジェクション・マッピング（projection mapping）として知られている。任意スケール表示の利点を活かして、プロジェクション・マッピングはエンターテインメント志向のイベントやイルミネーションによる広告表示などに利用されている。

プロジェクション・マッピングでは、所定画像を正確に投影するために、目視確認と手動操作によって１画素単位での位置合わせを行う場合がある。これに対して、プロジェクタ投影の状態をカメラによって把握し、所定画像を指定された位置に投影するために、プロジェクタ・カメラシステムが利用されている。プロジェクタ・カメラシステムは、プロジェクタとカメラが連動して、カメラからのフィードバック画像に応じて、プロジェクタから投影出力する画像を処理する。通常、平面なスクリーンにプロジェクション・マッピングする場合には、プロジェクタ画面上の点とカメラ画面上の点を、キャリブレーション作業で得た平面射影変換（plane-homography）を使い、スクリーン面を介して対応付ける。この対応関係を利用して、所定画像をスクリーン面の決められた場所に投影する。

もし、被写体の空間構造に凹凸があったり曲がった構造である場合には、その空間構造を事前に把握しなければならない。例えば、レーザ計測を利用して、被写体の空間構造、あるいは凹凸形状を得る。その形状に合わせて所定画像を幾何的に変形させて、平面スクリーンと同様の状態で指定個所に所定画像を投影する（例えば、非特許文献１参照）。あるいは、構造光（structured light）と呼ばれる幾何パターンをプロジェクタから投影し、カメラで観測した歪み画像から空間構造の凹凸形状あるいは奥行きを計測する方式も利用できる。このように、従来技術は、外界または被写体の空間構造をレーザ計測またはプロジェクタ・カメラシステムを利用して空間構造を把握し、その凹凸形状または奥行きに合わせて指定個所へ所定画像を投影する。

これに対して、外界の空間構造を計測せずに、ライト・トランスポートを利用したプロジェクション・マッピングの技術が公開されている（例えば、非特許文献２参照）。ライト・トランスポート（light transport）とは、全てのプロジェクタ画素と全てのカメラ画素間の対応関係を表現したデータであり、図１５に示すようにプロジェクタ画素の１点１点を順番に点灯させ、その画素からの光が光学的反射や屈折によって結び付くカメラ画素を検出することによって得られる。図１５は、未校正なプロジェクタ・カメラシステムを使ったＬＴＭの測定を示す図である。プロジェクタ画面の画素数がｕ×ｖ画素であるとき、各点光源のカメラ応答の画像Ｃｊを列ベクトル化して並べた行列Ｔはｕｖ×ｐｑ画素の巨大、かつ、スパースな行列であり、ライト・トランスポート行列（light transport matrix）と呼ばれる。非特許文献２では、この行列の転置Ｔ^Ｔを利用して、プロジェクタからの視点から観測されるであろう仮想画像（dual photography）を人工的に生成する方法が公知である。

一般的に、レーザあるいは構造光を使った３次元形状計測では一次反射光のみを受光することを前提としている。このため、被写体の構造によって発生する光学的な多重反射や屈折を扱うことができない。これに対して、ライト・トランスポートは一次反射光と多重反射や屈折光を区別することなく扱うことできるため、全てのプロジェクタ画素と全てのカメラ画素間の対応付けに基づいた高精度なプロジェクション・マッピングを可能とする。なお、以降では、ライト・トランスポートをＬＴ、ライト・トランスポート行列をＬＴＭと称する。

J. Shimamura and K. Arakawa:"Location-Aware Projection with Robust 3-D Viewing Point Detection and Fast Image Deformation", Proc. ACM International Conference on Multimedia, pp.296--299, 2004. P. Sen, B. Chen, G. Garg, S.R. Marschner, M. Horowitz, M. Levoy, and H.P.A. Lensch: "Dual Photography",ACM Transactions on Graphics, vol.23, no.3, pp.745--755, 2005.

ＬＴを利用したプロジェクション・マッピングは、レーザあるいは構造光による３次元計測に頼らずに、任意形状に対して所定画像を投影することができる。ただし、そのＬＴを計測するための作業に膨大な時間がかかるという問題がある。図１５に示したように、プロジェクタ画面がｐ×ｑ画素であるとき、各画素を点光源として使い、カメラ応答の画素を検出する作業を順番に繰り返すと、単純にｐ×ｑ枚の画像を観測する必要がある。例えば、１０００×１０００画素の画像を点光源として使うと、１００００００枚の画像を処理してＬＴＭを生成することになり、計算機コストが高くその処理に多くの時間がかかるという問題がある。

本発明は、このような事情に鑑みてなされたもので、プロジェクタ・カメラシステムの動作を活用したプロジェクション・マッピングにおいて、面倒な計測作業を回避し、できるだけ少ないカメラ応答画像から効率的にライト・トランスポート行列（ＬＴＭ）を得ることができる空間投影装置、空間投影方法及び空間投影プログラムを提供することを目的とする。

本発明は、２^ｎ×２^ｎ（ｎは自然数）の画素を有するプロジェクタから被写体に投影した複数の照明パターンをカメラで観測した観測画像からプロジェクタ画素とカメラ画素間の対応関係を表現したライト・トランスポート行列を算出する空間投影装置であって、前記プロジェクタの画素をブロックサイズが２^ｎ−ｉ×２^ｎ−ｉである２ ^ｉ ×２ ^ｉ 個のレイヤｉのブロックｊに分割し（ｉは１以上ｎ以下の整数、ｊは１以上４以下の整数）、レイヤｉの各ブロックはレイヤｉ−１の４種のブロックを１個ずつ含むように前記４ｎ枚の照明パターンを生成し、レイヤ１から順にすべての照明パターンを前記被写体に投影する照明パターン生成・投影手段と、前記カメラで観測した４ｎ枚の観測画像の背景差分から前記カメラの画素ごとに対応する応答画素を特定した復号テーブルを生成する照明パターン復号手段と、前記復号テーブルを用いて前記カメラの画素に対応する前記プロジェクタの画素を求めることにより前記ライト・トランスポート行列を算出するライト・トランスポート行列算出手段とを備えることを特徴とする。

本発明は、前記２^ｎ×２^ｎの画素を有するプロジェクタに代えて、ｐ×ｑ（ｐ、ｑは、自然数）の画素を有するプロジェクタを用いる場合の前記ｎは、２^ｎ＞ｍａｘ（ｐ，ｑ）を満たす最小のｎであることを特徴とする。

本発明は、前記照明パターン復号手段は、所定の閾値より大きい画素値を持つ画素のみを前記応答画素として特定することを特徴とする。

本発明は、前記照明パターン復号手段は、各レイヤにおける４つの照明パターンのうち最大応答を得た応答画素を特定することにより、各レイヤにおける４つの照明パターンにおいて１回だけ応答有と判定した前記復号テーブルを生成することを特徴とする。

本発明は、前記ライト・トランスポート行列を用いて入力画像を前記被写体に投影するライト・トランスポート操作手段とをさらに備えることを特徴とする。

本発明は、２^ｎ×２^ｎ（ｎは自然数）の画素を有するプロジェクタから被写体に投影した複数の照明パターンをカメラで観測した観測画像からプロジェクタ画素とカメラ画素間の対応関係を表現したライト・トランスポート行列を算出する空間投影装置が行う空間投影方法であって、前記プロジェクタの画素をブロックサイズが２^ｎ−ｉ×２^ｎ−ｉである２ ^ｉ ×２ ^ｉ 個のレイヤｉのブロックｊに分割し（ｉは１以上ｎ以下の整数、ｊは１以上４以下の整数）、レイヤｉの各ブロックはレイヤｉ−１の４種のブロックを１個ずつ含むように前記４ｎ枚の照明パターンを生成し、レイヤ１から順にすべての照明パターンを前記被写体に投影する照明パターン生成・投影ステップと、前記カメラで観測した４ｎ枚の観測画像の背景差分から前記カメラの画素ごとに対応する応答画素を特定した復号テーブルを生成する照明パターン復号ステップと、前記復号テーブルを用いて前記カメラの画素に対応する前記プロジェクタの画素を求めることにより前記ライト・トランスポート行列を算出するライト・トランスポート行列算出ステップとを有することを特徴とする。

本発明は、コンピュータを、前記空間投影装置として機能させるための空間投影プログラムである。

本発明によれば、プロジェクタ・カメラシステムを使って、少ないカメラ応答画像から効率的に凹凸や曲がった形状の空間構造のライト・トランスポート行列を獲得することができる。

本発明の第１実施形態の構成を示すブロック図である。 図１に示す同期制御部３１の処理動作をフローチャートである。 図１に示す符号化照明生成部３２の処理動作を示すフローチャートである。 プロジェクタ１の画面を８×８画素とした例を示す図である。 プロジェクタ画面がイレギュラーなサイズである場合を示す図である。 図１に示す照明パターン復号部３３の処理動作を示すフローチャートである。 図７は、復号テーブルの例を示す図である。 図１に示すＬＴ獲得部３４の処理動作を示すフローチャートである。 スパース表現のＬＴＭを示す図である。 本発明の第２実施形態の構成を示すブロック図である。 図１０に示すＬＴ操作部３５の処理動作を示すフローチャートである。 本発明の第３実施形態の構成を示すブロック図である。 図１２に示す画像送信部３ｂが備える同期制御部３７の処理動作を示すフローチャートである。 図１２に示す画像受信部３ａが備える同期制御部３１の処理動作を示すフローチャートである。 未校正なプロジェクタ・カメラシステムを使ったＬＴＭの測定を示す図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による空間投影装置を説明する。図１は同実施形態の構成を示すブロック図である。この図に示す空間投影装置３は、１台のプロジェクタ１と１台のカメラ２のプロジェクタ・カメラシステムを使用したものである。本実施形態は、プロジェクタ１とカメラ２のハンドリングを制御するための同期制御部３１、ＬＴを得るために符号化された照明パターンを生成する符号化照明生成部３２、カメラ２から得た観測画像から照明パターンに応答した画素を検出して、元の照明パターンに復号する照明パターン復号部３３、並びに、その照明パターンの系列からＬＴＭを算出するＬＴ獲得部３４から構成される。

この構成において、プロジェクタ１、カメラ２は必ずしも構成要素として接続している必要はなく、処理に必要なデータを取得すればよく、同期制御部３１、符号化照明生成部３２、照明パターン復号部３３、ＬＴ獲得部３４からそれぞれの矢印へのデータの流れは、ハードディスク装置、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでもよい。

次に、図２を参照して、図１に示す同期制御部３１の処理動作を説明する。図２は図１に示す同期制御部３１の処理動作をフローチャートである。まず、処理を開始すると、同期制御部３１は、符号化照明生成部３２との連携によりプロジェクタ１からの照明を出力する準備をチェックした（ステップＳ１）後、プロジェクタ１から照明パターンを投影するためのフレーム番号ｆを同期信号として送出する（ステップＳ２）。フレーム番号ｆは、処理開始と同時にｆ＝０と初期化され、符号化照明生成部３２から照明パターンを投影するたびに１ずつカウントされる値である。

次に、同期制御部３１は、照明パターン復号部３３との連携によりカメラ２により画像観測の準備をチェックして（ステップＳ３）、カメラ２から画像を取得する命令（画像観測の命令）として、そのトリガーを照明パターン復号部３３へ転送する（ステップＳ４）。同期制御部３１は、符号化照明生成部３２から全ての照明パターンを投影した時点で処理停止とし、その停止命令があるまで、フレーム番号をカウントしながらこの処理を続ける（ステップＳ５）。

次に、図３を参照して、図１に示す符号化照明生成部３２の処理動作を説明する。図３は、図１に示す符号化照明生成部３２の処理動作を示すフローチャートである。まず、符号化照明生成部３２は、同期制御部３１から初期化されたフレーム番号を受信する（ステップＳ１１）。フレーム番号は照明する画像の管理番号となり、時系列番号を示すように初期値ｆ＝０から付与され、カメラ２で画像を観測するたびに同期制御部３１においてｆ←ｆ＋１にカウントされる。

図４はプロジェクタ１の画面を８×８画素とした簡単な例である。この例を参照して処理内容を説明する。レイヤ１ではブロックＡ、Ｂ、Ｃ、Ｄの画素領域はそれぞれ４×４画素である。レイヤ２では区分けされた領域は２×２画素単位でラベル付けされており、レイヤ３では１画素単位でラベル付けされている。

符号化照明生成部３２は、同期制御部３１からフレーム番号ｆを受信すると、フレーム番号ｆを値４で割って商を算出して、フレーム番号の判定を行い（ステップＳ１２）、レイヤが変更になったか否かを判定する（ステップＳ１３）。値４はレイヤがＡ、Ｂ、Ｃ、Ｄの４つのブロックに分けされていることに起因する数字であり、ブロック種類に応じて変更可能である。図４では、最初にレイヤ１を使う。符号化照明生成部３２は、フレーム番号に応じてその剰余が０のとき、レイヤ１→レイヤ２、あるいはレイヤ２→レイヤ３にレイヤを変更する（ステップＳ１４）。レイヤ変更がない場合、すなわち、その剰余が０でなければ、レイヤを変更しない（ステップＳ１３でＮｏの場合）。

次に、符号化照明生成部３２は、画素割当の変更を行う（ステップＳ１５）。画素割当の変更では、ブロックＡ、Ｂ、Ｃ、Ｄで割り当てた画素をフレーム番号に応じて点灯させる。図４では、フレーム番号ｆを４で割ったときの余りが０のときはブロックＡの画素領域を照明とし、フレーム番号ｆを４で割ったときの余りが１のときはブロックＢの画素領域を照明とし、フレーム番号ｆを４で割ったときの余りが２のときはブロックＣの画素領域を照明とし、フレーム番号ｆを４で割ったときの余りが３のときはブロックＤの画素領域を照明とする。続いて、符号化照明生成部３２は、点灯画素に照明処理を行う（ステップＳ１６）。点灯画素による照明では、点灯させる画素が決まった後、プロジェクタ画面全体へ解像度を変換して、その照明パターンの画像をプロジェクタ１へ出力する。これにより、その照明パターンが被写体に投影される。そして、符号化照明生成部３２は、その停止命令があるまで、この処理を続ける（ステップＳ１７）。

以上説明したように、時系列順ではフレーム番号ｆ＝０，１，２，３のとき、レイヤ１においてそれぞれブロックＡ、Ｂ、Ｃ、Ｄの画素領域を、フレーム番号ｆ＝４，５，６，７のとき、レイヤ２においてそれぞれブロックＡ、Ｂ、Ｃ、Ｄの画素領域、フレーム番号ｆ＝８，９，１０，１１のとき、レイヤ３においてそれぞれブロックＡ、Ｂ、Ｃ、Ｄの画素領域をそれぞれ点灯させる。このように、フレーム番号に従って、レイヤのブロックＡ、Ｂ、Ｃ、Ｄの画素領域の順番に照明として点灯させて、被写体を照らす。一般的には、プロジェクタ画面が２^ｎ×２^ｎ（ｎは整数）画素のとき、本処理ではフレーム番号ｆ＝０，１，２，．．．，４ｎ−１に従って、ブロックＡ、Ｂ、Ｃ、Ｄの照明パターンを使う。符号化照明生成部３２はフレーム番号が４ｎになった時点で処理を停止する。

なお、プロジェクタ画面が２^ｎ×２^ｎ画素で表現できない場合、例えば、８００×６００画素の場合では、それを包含するできるだけ大きい２^ｎ×２^ｎ画素において、上記の処理を行う。この例では、１０２４×１０２４画素が包含する最大画素サイズなので、２^１０×２^１０画素として上記の照明パターンを生成する（図５参照）。図５は、プロジェクタ画面がイレギュラーなサイズである場合を示す図である。

８００×６００画素を超える画素領域では無効画素であるため値０を常時セットしておき、２^１０×２^１０画素において、各レイヤのブロックを照明とした符号パターンを生成する。これにより、任意サイズのプロジェクタ画面に対応して、照明符号パターンを生成する。

次に、図６参照して、図１に示す照明パターン復号部３３の処理動作を説明する。図６は、図１に示す照明パターン復号部３３の処理動作を示すフローチャートである。照明パターン復号部３３は、同期制御部３１から画像観測命令の同期信号が入力されると、画像を取得できる状態かのチェックを行い（ステップＳ２１）、観測可能でなければ同期信号を待機し（ステップＳ２２）、観測可能状態ならばカメラ２から観測画像を取得する（ステップＳ２３）。

次に、照明パターン復号部３３は、事前に保有しておいた背景画像の取り出しを行い（ステップＳ２４）、この背景画像との背景差分を処理する（ステップＳ２５）。背景画像とは、照明パターンが照明されていない状態、あるいは黒を投影したときの観測画像である。この背景差分において、蛍光灯などの環境光の元では画像雑音が多く混入するため、所定の閾値として例えば１０階調に設定しておき（ステップＳ２６）、この値より大きい画素をカメラ２の応答画素として検出する（ステップＳ２７）。

符号化照明生成部３２では、各レイヤにおいて４つのブロックの画素を順番に照明として使っているため、応答画素はその照明に対応して検出される。ただし、ブロックＡとブロックＢの境界付近に位置する画素では、ブロックＡとブロックＢからの双方の符号化照明に対して応答画素が検出される場合や、４つのブロック境界付近に位置する画素では、複数の符号化照明に対して応答画素が検出される場合がある。そこで、ここでは、各カメラ２の画素と１つの照明パターンと対応付ける。照明パターン復号部３３は、符号化照明生成部３２において同じレイヤにおいてブロックを切り替えながら照明パターンを投影したとき、各ブロックからの照明に対して最大の輝度値となる応答画素を特定する（ステップＳ２８）。つまり、照明パターン復号部３３は、同じカメラ２の画素が１つ以上の照明パターンに応答した場合は、最大応答を得たときの照明パターンとのＬＴを獲得する。この処理により、同期制御部３１からのフレーム番号ｆに従って、各レイヤの４回の照明パターンにおいて１回だけ応答有りと判定する。ここで、最初のレイヤから最終レイヤにおいて、応答有りの場合を１、そうでない場合を０として、図７に示すの復号テーブルに書き込む（ステップＳ２９）。以上の処理を処理停止の命令まで続け、全ての照明パターンから０と１のビット列を復号テーブルに書き込む（ステップＳ３０）。

次に、図７に示す復号テーブルのビット列について説明する。レイヤ３の画素ｐ_１はレイヤ１ではブロックＡ、レイヤ２ではブロックＣに属するので、時系列の符号は「１０００」「００１０」「０１００」になる。一方、レイヤ３の画素ｐ_２はレイヤ１ではブロックＣ、レイヤ２ではブロックＤに属するので、時系列の符号は「００１０」「０００１」「００１０」になる。プロジェクタ画面が２^ｎ×２^ｎ画素を使うとき符号長は４ｎになり、プロジェクタ画面の画素ＯＮ／ＯＦＦの４ｎビットの符号パターンは全ての画素で異なる。復号テーブルでは、フレーム番号ｆ＝０からｆ＝４ｎ−１までの照明パターンに対して、各レイヤのどのブロックからの照明に対するカメラ応答画素かが記録されるため、プロジェクタ画面のどの画素からの光に応答したかが特定できるようになっている。

次に、図８を参照して、図１に示すＬＴ獲得部３４の処理動作を説明する。図８は、図１に示すＬＴ獲得部３４の処理動作を示すフローチャートである。ＬＴ獲得部３４は照明パターン復号部３３から出力された復号テーブル（図７参照）の符号化ビット列からカメラ２の画素と対応づけられたプロジェクタ１画素を算出し、ＬＴＭにおいて各座標を記録する。ＬＴ獲得部３４は、図７に示す復号テーブルを入力すると（ステップＳ４１）、そのテーブルの右端のコラムのカメラ２の座標を（Ｘ_１，Ｙ_１）から（Ｘ_ｕ，Ｙ_ｖ）の順に逐次読み出す。説明の都合上、座標（Ｘ_ｉ，Ｙ_ｊ）が読み出されたときの処理動作を説明する。

図７の復号テーブルの横方向には、各カメラ座標の画素が応答した符号化系列が記録されている。座標（Ｘ_ｉ，Ｙ_ｊ）では、「００１０ ００１０ ．．．． ０１００」となっている。ＬＴ獲得部３４は、この復号系列から、４ビットずつ取り出して符号系列の照合により各レイヤの照明ブロックを決定する（ステップＳ４２）。レイヤ１の欄から「００１０」と復号されているので、図４に示すのレイヤ１の例では”ブロックＣ”のプロジェクタ座標と特定される。

次に、ＬＴ獲得部３４は、レイヤ２の欄から「００１０」と復号されているので、図４に示すレイヤ２の例では右下隅の”ブロックＣ”のプロジェクタ座標をさらに特定する（ステップＳ４３）。この処理をレイヤｎまで続けることにより、各レイヤのブロックをチェックしてプロジェクタ座標を特定していく。図７の座標（Ｘ_ｉ，Ｙ_ｊ）が、この処理を経て、プロジェクタ座標（Ｘ_ｓ，Ｙ_ｔ）に辿り着いたとする。そのとき、ＬＴ獲得部３４は、図９に示すように、全てのカメラ座標を縦方向に並べたＬＴＭにおいて、カメラ座標（Ｘ_ｉ，Ｙ_ｊ）と光学的に結び付いたプロジェクタ座標（Ｘ_ｓ，Ｙ_ｔ）をカメラ座標（Ｘ_ｉ，Ｙ_ｊ）の横方向に記録する（ステップＳ４４）。この場合は１つのプロジェクタ座標が記録される。図９は、スパース表現のＬＴＭを示す図である。そして、ＬＴ獲得部３４は、全てのカメラ座標に対して対応するプロジェクタ座標を書き込み、処理を終了する（ステップＳ４５）。

このように、図１５に示した状況において、未校正なプロジェクタ・カメラシステムを使って、未知の任意形状の表面にプロジェクタ１からの照明を投影したとき、プロジェクタ画面の各座標から照明した光線とカメラ２の画面の各座標の応答を結び付けるＬＴを効率的に獲得することができる。この処理によれば、２５６×２５６＝２^７＋１×２^７＋１画素のプロジェクタ画面を使うとき、ＬＴＭを得るために各画素を点光源とした場合は６５５３６枚の観測画像を必要としたが、この例では僅か４×７＝２８枚の観測画像からＬＴＭを得ることができる。

＜第２実施形態＞
次に、本発明の第２実施形態による空間投影装置を説明する。図１０は、第２実施形態の構成を示すブロック図である。この構成において、プロジェクタ１、カメラ２、画像データベース（ＤＢ）３６は必ずしも構成要素として接続している必要はなく、処理に必要なデータを取得すればよく、同期制御部３１、符号化照明生成部３２、照明パターン復号部３３、ＬＴ獲得部３４、ＬＴ操作部３５からそれぞれの矢印へのデータの流れは、ハードディスク装置、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでもよい。図１０に示す空間投影装置３は、ＬＴ操作部３５を除く他の処理部は図１に示すものと同じため、ここでは詳細な説明を省略する。

次に、図１１を参照して、図１０に示すＬＴ操作部３５の処理動作を説明する。図１１は、図１０に示すＬＴ操作部３５の処理動作を示すフローチャートである。まず、ＬＴ操作部３５は、ＬＴ獲得部３４において得たＬＴＭを読み込む（ステップＳ５１）。続いて、ＬＴ操作部３５は、対応座標の抽出を行い、カメラ座標の所定領域に画像全体を射影されるように、平面射影変換を使ってカメラ座標と画像座標を相互に変換できるように設定する（ステップＳ５２）。

次に、ＬＴ操作部３５は、画像データベース３６から取り出した各画像を、読み込んだＬＴＭを使って被写体へ投影する（ステップＳ５３）。投影する被写体の所定範囲に画像全体が投影されるとして、図９に示すＬＴＭから逐次カメラ座標とそれと結び付くプロジェクタ座標を取り出す。

次に、ＬＴ操作部３５は、輝度補正を行う（ステップＳ５４）。輝度補正では、以下の原理を利用する。プロジェクタ１の応答は事前に入力輝度に対して線形的に輝度を出力する場合、カメラ輝度Ｃとプロジェクタ輝度Ｐは、（１）式の関係になる。
Ｃ＝ＶＰ＋Ｆ， ・・・（１）

行列Ｖはプロジェクタ１とカメラ２間の各チャネルの光学的関係に基づいて算出されるカラー混合行列（color mixing matrix）であり、Ｆはプロジェクタ１のブラックオフセット光を含む環境光を表す。

取り出したカメラ座標に該当する画像上の画素値をＣ，ＬＴで結び付くプロジェクタ座標の輝度値をＰとして、（１）式の関係式を利用する。この輝度補正では、所定の輝度をカメラ２で観測するために、（２）式により輝度を補正する。
Ｐ＝Ｖ−１（Ｃ−Ｆ）， ・・・（２）

次に、プロジェクタ１から出力するための画像バッファを用意する。その画像バッファの各座標はプロジェクタ座標と結び付けられている。ＬＴＭのカメラ座標と画像の輝度を補正した後、そのプロジェクタ座標に相当する画素値を補正値Ｐで埋める。これを全てのカメラ座標について処理して、補正画像を生成する（ステップＳ５５、Ｓ５６）。補正画像が生成できたら、プロジェクタ１へ出力して被写体へその画像を投影する。これにより、被写体の凹凸形状に対して、平面スクリーンでの画像投影と同様に、幾何歪みの無い画像が投影できる。

＜第３実施形態＞
次に、本発明の第３実施形態による空間投影装置を説明する。図１２は、第３実施形態の構成を示すブロック図である。図１２に示す空間投影装置３は、画像受信部３ａと画像送信部３ｂとを備えたものである。図１２において、ＬＴ操作部３５を備えている場合は第２実施形態の処理に従い、ＬＴ操作部３５を備えていない場合は第１実施形態の処理に従う。

ただし、カメラ２と接続された画像受信部３ａよ、プロジェクタ１と接続された画像送信部３ｂとが接続されていないため、それぞれに同期制御部３１と同期制御部３７を設けてある。図１３は、図１２に示す画像送信部３ｂが備える同期制御部３７の処理動作を示すフローチャートである。同期制御部３７は、照明準備ができたか否かを判定し（ステップＳ６１）、準備ができていれば、フレーム番号を送出し（ステップＳ６２）、一定時間（例えば５秒）待機する（ステップＳ６３）。そして、処理の停止指示まで繰り返す（ステップＳ６４）。

図１４は、図１２に示す画像受信部３ａが備える同期制御部３１の処理動作を示すフローチャートである。同期制御部３１は、観測可能か否かを判定し（ステップＳ７１）、観測可能であれば、画像観測の命令を送出する（ステップＳ７２）。そして、処理の停止指示まで繰り返す（ステップＳ７３）。

図１２に示す空間投影装置３では、符号化照明生成部３２で得た照明画像をプロジェクタ１から送出した後、一定間隔の時間（例えば、５秒）で処理を待機し、この時間の間に、カメラ２側では画像を観測して逐次ＬＴＭを記録するようにする。

以上説明したように、プロジェクタ・カメラシステムを使って、少ないカメラ応答画像から効率的に凹凸や曲がった形状の空間構造のライト・トランスポートを獲得することができ、そのライト・トランスポート行列を使えばスクリーン平面上にあたかも投影されたかのように、その空間構造に画像を投影することができる。また、ライト・トランスポートを利用したプロジェクション・マッピングを行う際に、所定の照明パターンに対する観測画像を組合せることで各カメラ画素に対応するプロジェクタ画素を求めることにより、従来のプロジェクタ画素ごとに対応するカメラ画素を求める方法に比してライト・トランスポート行列算出に必要となる観測画像の数を抑えることができる。さらに、その画像提示を使った拡張現実や映像コミュニケーションを実現することが可能となる。

なお、図１、図１０、図１２における処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより空間投影処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータシステム」は、ホームページ提供環境（あるいは表示環境）を備えたＷＷＷシステムも含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。

また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行っても良い。

プロジェクタ・カメラシステムの動作を活用したプロジェクション・マッピングにおいて、面倒な計測作業を回避し、できるだけ少ないカメラ応答画像から効率的にライト・トランスポート行列（ＬＴＭ）を得ることが不可欠な用途に適用できる。

１・・・プロジェクタ、２・・・カメラ、３・・・空間投影装置、３ａ・・・画像受信部、３ｂ・・・画像送信部、３１、３７・・・同期制御部、３２・・・符号化照明生成部、３３・・・照明パターン復号部、３４・・・ＬＴ獲得部、３６・・・画像データベース（ＤＢ）

Claims (7)

1. ２^ｎ×２^ｎ（ｎは自然数）の画素を有するプロジェクタから被写体に投影した複数の照明パターンをカメラで観測した観測画像からプロジェクタ画素とカメラ画素間の対応関係を表現したライト・トランスポート行列を算出する空間投影装置であって、
   前記プロジェクタの画素をブロックサイズが２^ｎ−ｉ×２^ｎ−ｉである２ ^ｉ ×２ ^ｉ 個のレイヤｉのブロックｊに分割し（ｉは１以上ｎ以下の整数、ｊは１以上４以下の整数）、レイヤｉの各ブロックはレイヤｉ−１の４種のブロックを１個ずつ含むように４ｎ枚の照明パターンを生成し、レイヤ１から順にすべての照明パターンを前記被写体に投影する照明パターン生成・投影手段と、
   前記カメラで観測した４ｎ枚の観測画像の背景差分から前記カメラの画素ごとに対応する応答画素を特定した復号テーブルを生成する照明パターン復号手段と、
   前記復号テーブルを用いて前記カメラの画素に対応する前記プロジェクタの画素を求めることにより前記ライト・トランスポート行列を算出するライト・トランスポート行列算出手段と
   を備えることを特徴とする空間投影装置。
2. 前記２^ｎ×２^ｎの画素を有するプロジェクタに代えて、ｐ×ｑ（ｐ、ｑは、自然数）の画素を有するプロジェクタを用いる場合の前記ｎは、２^ｎ＞ｍａｘ（ｐ，ｑ）を満たす最小のｎであることを特徴とする請求項１に記載の空間投影装置。
3. 前記照明パターン復号手段は、所定の閾値より大きい画素値を持つ画素のみを前記応答画素として特定することを特徴とする請求項１または２に記載の空間投影装置。
4. 前記照明パターン復号手段は、各レイヤにおける４つの照明パターンのうち最大応答を得た応答画素を特定することにより、各レイヤにおける４つの照明パターンにおいて１回だけ応答有と判定した前記復号テーブルを生成することを特徴とする請求項１から３のいずれか１項に記載の空間投影装置。
5. 前記ライト・トランスポート行列を用いて入力画像を前記被写体に投影するライト・トランスポート操作手段とをさらに備えることを特徴とする請求項１から４のいずれか１項に記載の空間投影装置。
6. ２^ｎ×２^ｎ（ｎは自然数）の画素を有するプロジェクタから被写体に投影した複数の照明パターンをカメラで観測した観測画像からプロジェクタ画素とカメラ画素間の対応関係を表現したライト・トランスポート行列を算出する空間投影装置が行う空間投影方法であって、
   前記プロジェクタの画素をブロックサイズが２^ｎ−ｉ×２^ｎ−ｉである２ ^ｉ ×２ ^ｉ 個のレイヤｉのブロックｊに分割し（ｉは１以上ｎ以下の整数、ｊは１以上４以下の整数）、レイヤｉの各ブロックはレイヤｉ−１の４種のブロックを１個ずつ含むように前記４ｎ枚の照明パターンを生成し、レイヤ１から順にすべての照明パターンを前記被写体に投影する照明パターン生成・投影ステップと、
   前記カメラで観測した４ｎ枚の観測画像の背景差分から前記カメラの画素ごとに対応する応答画素を特定した復号テーブルを生成する照明パターン復号ステップと、
   前記復号テーブルを用いて前記カメラの画素に対応する前記プロジェクタの画素を求めることにより前記ライト・トランスポート行列を算出するライト・トランスポート行列算出ステップと
   を有することを特徴とする空間投影方法。
7. コンピュータを、請求項１から５のいずれか１項に記載の空間投影装置として機能させるための空間投影プログラム。

Images