JP6069241B2 - 空間投影装置及び空間投影プログラム - Google Patents

Description

本発明は、プロジェクタを使い、空間情報に合わせて所定画像を投影する空間投影装置及び空間投影プログラムに関する。

プロジェクタは極めてフレキシブルな画像出力デバイスであり、投影仕様の範囲内であればパーソナルスペース、会議ホール、巨大パブリックビューイング、ビルの壁面などに合わせて自由サイズの映像表示を提供することができる。プロジェクタを使って平面スクリーンではない任意の構造物（以下、被写体と称する）へ投影するとき、被写体の形状を事前に計測して、その形状に合わせて所定画像が空間歪みの無いように投影する技術は、プロジェクション・マッピング（projection mapping）として知られている。任意スケールの映像投影のメリットを活かしたプロジェクション・マッピングは、エンターテインメント志向のイベントやイルミネーションによる広告表示などに利用されている。

プロジェクション・マッピングでは、所定画像を正確に投影するために、目視確認と手動操作によって１画素単位での位置合わせを行う場合がある。これに対して、プロジェクタ投影の状態をカメラによって把握し、所定画像を指定された位置に投影するために、プロジェクタ・カメラシステムが利用されている。プロジェクタ・カメラシステムは、プロジェクタとカメラが連動して、カメラからのフィードバック画像に応じて、プロジェクタから投影出力する画像を処理する。通常、平面なスクリーンにプロジェクション・マッピングする場合には、キャリブレーション作業で得た平面射影変換（ｐｌａｎｅ−ｈｏｍｏｇｒａｐｈｙ）を使い、プロジェクタ画面上の点とカメラ画面上の点をスクリーン面を介して対応付ける。この対応関係を利用して、所定画像をスクリーン面の決められた場所に投影する。

もし、空間構造に凹凸があったり曲がった構造である場合には、その空間構造を事前に把握しなければならない。例えば、非特許文献１では、レーザ計測を利用して、被写体の空間構造、あるいは凹凸形状を得る。その形状に合わせて所定画像を幾何的に変形させて、平面スクリーンと同様の状態で指定個所に所定画像を投影する。あるいは、構造光（ｓｔｒｕｃｔｕｒｅｄ ｌｉｇｈｔ）と呼ばれる幾何パターンをプロジェクタから投影し、カメラで観測した歪み画像から空間構造の凹凸形状あるいは奥行きを計測する方式も利用できる。このように、従来技術は、外界または被写体の空間構造をレーザ計測またはプロジェクタ・カメラシステムを利用して空間構造を把握し、その凹凸形状または奥行きに合わせて指定個所へ所定画像を投影する。

これに対して、外界の空間構造を計測せずに、ライト・トランスポートを利用したプロジェクション・マッピングが非特許文献２で公開されている。ライト・トランスポート（ｌｉｇｈｔ ｔｒａｎｓｐｏｒｔ：ＬＴ）とは、全てのプロジェクタ画素と全てのカメラ画素間の対応関係を表現したデータである。図１５は、未校正なプロジェクタ・カメラシステムにおいてライト・トランスポート測定を示す図である。図１５に示すようにプロジェクタ画素の１点１点を順番に点灯させ、その画素からの光が光学的反射によって結び付くカメラ画素を検出することによって得られる。

プロジェクタ画面の画素数がｐ×ｑ画素でカメラ画面の画素数がｕ×ｖ画素であるとき、各点光源のカメラ応答の画像Ｃ_ｊを列ベクトル化して並べた行列Ｔはｕｖ×ｐｑ画素の巨大、かつ、スパースな行列となり、ライト・トランスポート行列（ｌｉｇｈｔ ｔｒａｎｓｐｏｒｔ ｍａｔｒｉｘ：ＬＴＭ）と呼ばれる。非特許文献２では、この行列の転置Ｔ^Ｔを利用して、視点から観測されるであろう仮想画像（ｄｕａｌ ｐｈｏｔｏｇｒａｐｈｙ）を人工的に生成する方法が公知である。

一般的に、レーザあるいは構造光を使った３次元形状計測では直接反射光のみを受光することを前提としている。このため、被写体の構造によって発生する光学的な間接反射光、並びに、それらの多重反射光を扱うことができない。これに対して、ライト・トランスポートはカメラ画素においては点光源からの光が物体表面で反射した直接反射光、物体表面からそれ以外の表面で反射した間接反射光、並びに、これらの複数の反射光を含む多重反射光を扱う。ライト・トランスポートを利用すれば、直接反射光と間接反射光を区別することなく、全てのプロジェクタ画素と全てのカメラ画素間の対応付けに基づいた高精度なプロジェクション・マッピングを可能とする。

なお、プロジェクタ・カメラシステムを使って、物体表面に合わせた輝度補償を行う技術が非特許文献３において公開されている。

J.Shimamura and K.Arakawa:"Location-Aware Projection with Robust 3-D Viewing PointDetection and Fast Image Deformation", Proc. ACM International Conference on Multimedia, pp.296.299,2004. P.Sen, B.Chen, G.Garg, S.R.Marschner, M.Horowitz, M.Levoy, and H.P.A.Lensch: "DualPhotography", ACM Transactions on Graphics, vol.23, no.3, pp.745.755,2005. K. Fujii, M. D. Grossberg, and S. K. Nayar:"A Projector-Camera System with Real-Time Photometric Adaptation for Dynamic Environments", Proc. of IEEE Computer Vision and Pattern Recognition (CVPR), vol.1, pp.814-821, 2005.

ライト・トランスポートを利用したプロジェクション・マッピングは、レーザあるいは構造光による３次元計測に頼らずに、任意形状に対して所定画像を投影することができる。ただし、そのライト・トランスポートを計測するための作業に膨大な時間がかかるという問題がある。図１５に示したように、プロジェクタ画面がｐ×ｑ画素であるとき、各画素を点光源として使い、カメラ応答の画素を検出する作業を順番に繰り返すと、単純にｐ×ｑ枚の画像を観測する必要がある。例えば、１０００×１０００画素の画像を点光源として使うと、１００００００枚の画像を処理してライト・トランスポート行列を生成することになり、計算機コストが高くその処理に多くの時間がかかる。これは全点を逐次点灯させてライト・トランスポートを計測する方式であり、ｂｒｕｔｅ−ｆｏｒｃｅ ｓｃａｎ（以下ではＢＦＳと称する）と呼ばれている。

また、任意の物体表面には反射特性があるため、光学的に整合がとれた所定画像を投影する必要がある。非特許文献３には、物体表面に合わせた輝度補償が公開されているが、いわゆる、直接反射を前提とした輝度補償であるため、間接反射を考慮して適切に輝度を補償するわけではない。

本発明は、このような事情に鑑みてなされたもので、面倒な計測作業を回避し、ライト・トランスポートを効率的に得ることができる空間投影装置及び空間投影プログラムを提供することを目的とする。

本発明は、横方向の画素数がＷ、縦方向の画素数がＨであるプロジェクタから被写体に投影した点光源照明パターンをカメラで取得した観測画像を用いて前記プロジェクタの画素と前記カメラの画素の対応関係を示すライト・トランスポート・テーブルを用いて投影を行う空間投影装置であって、前記プロジェクタを横方向にｍ（ｍは２以上の自然数）個、縦方向にｎ（ｎは２以上の自然数）個に分割することによりｍ×ｎ個のサブ画面を生成し、前記ｍ×ｎ個のサブ画面のそれぞれから１画素ずつ選択して生成される（Ｗ／ｍ）×（Ｈ／ｎ）枚の点光源照明パターンを前記被写体に投影する点光源照明パターン投影手段と、前記サブ画面の各画素を点光源として前記被写体に投影した際に応答する前記カメラの画素が存在する観測範囲を予測する観測範囲予測手段と、前記カメラで取得した観測画像から前記観測範囲を用いて各カメラの画素に対応するサブ画面の画素を求めることにより前記ライト・トランスポート・テーブルを算出するライト・トランスポート・テーブル算出手段とを備えることを特徴とする。

本発明は、前記ライト・トランスポート・テーブルを用いて入力画像を前記被写体に投影する画像投影手段をさらに備えることを特徴とする。

本発明は、前記画像投影手段は、前記ライト・トランスポート・テーブルを用いて輝度補償する際に、複数の輝度補償値が算出されるとき、前記複数の輝度補償値の平均を用いて前記輝度補償を実行することを特徴とする。

本発明は、コンピュータを、前記空間投影装置として機能させるための空間投影プログラムである。

本発明によれば、面倒な計測作業を回避し、できるだけ少ないカメラ応答画像から直接反射光と間接反射光のライト・トランスポートを効率的に得ることができるという効果が得られる。

本発明の第１実施形態の構成を示すブロック図である。 図１に示す同期制御部１１の処理動作を示すフローチャートである。 図１に示す点光源照明生成部１２の処理動作を示すフローチャートである。 点光源照明生成部におけるサブ画面の点光源照明を示す図である。 図１に示すＬＴ計測部１４の処理動作を示すフローチャートである。 図４に示すプロジェクタ画面分割に応じて、カメラ画面を２×２に分割する例を示す図である。 ＬＴテーブルの一例を示す図である。 図１に示す観測方向予測部１３の処理動作を示すフローチャートである。 観測範囲の更新を示す図である。 第２実施形態による空間投影装置の構成を示すブロック図である。 ライト・トランスポートを使った輝度補償の原理を示す図である。 図１０に示す画像投影部１５の処理動作を示すフローチャートである。 本発明の第３実施形態による空間投影装置の構成を示すブロック図である。 本発明の第４実施形態による空間投影装置の構成を示すブロック図である。 未校正なプロジェクタ・カメラシステムにおけるＬＴ測定を示す図である。

＜第１実施形態＞
以下、図面を参照して、本発明の第１実施形態による空間投影装置を説明する。図１は同実施形態の構成を示すブロック図である。図１に示す空間投影装置は、１台のプロジェクタと１台のカメラのプロジェクタ・カメラシステムを使ったものである。空間投影装置１は、プロジェクタ２とカメラ３のハンドリングを制御するための同期制御部１１、被写体４を照明するためプロジェクタ画面において照明パターンを生成する点光源照明生成部１２、その照明光に対するカメラ応答を検出するためカメラ画面において観測方向を予測する観測方向予測部１３、カメラから得た観測画像から点光源照明に応答した画素を検出するＬＴ測定部１４から構成される。

この構成において、プロジェクタ２、カメラ３は必ずしも構成要素として接続している必要はなく、処理に必要なデータを取得すればよく、同期制御部１１、点光源照明生成部１２、観測方向予測部１３、ＬＴ計測部１４からそれぞれの矢印へのデータの流れは、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。

次に、図２を参照して、図１に示す同期制御部１１の処理動作を説明する。図２は、図１に示す同期制御部１１の処理動作を示すフローチャートである。まず、処理を開始すると、同期制御部１１は、点光源照明生成部１２との連携によりプロジェクタ２からの照明光を出力する準備をチェックした後（ステップＳ１）、プロジェクタ２から照明パターンを投影するためのフレーム番号ｆを同期信号として送出する（ステップＳ２）。フレーム番号は処理開始と同時にｆ＝０と初期化され、点光源照明生成部１２から照明パターンを投影するたびに１ずつカウントされる値である。

次に、同期制御部１１は、ＬＴ計測部１４との連携によりカメラにより画像キャプチャ（画像観測）の準備をチェックして（ステップＳ３）、カメラ３から画像を取得する命令として、そのトリガーをＬＴ計測部１４へ転送する（ステップＳ４）。そして、同期制御部１１は、点光源照明生成部１２から全ての照明パターンを投影した時点で処理停止とし、その停止命令があるまで、フレーム番号をカウントしながらこの処理を続ける（ステップＳ５）。

次に、図３を参照して、図１に示す点光源照明生成部１２の処理動作を説明する。図３は、図１に示す点光源照明生成部１２の処理動作を示すフローチャートである。まず、点光源照明生成部１２は、同期制御部１１から初期化されたフレーム番号を受信すると、本処理動作を開始する。フレーム番号は照明する画像の管理番号となり、時系列番号を示すように初期値ｆ＝０から付与され、カメラで画像を観測するたびに同期制御部１１においてｆ←ｆ＋１としてカウントアップされる。

図４は、プロジェクタ画面をプロジェクタ画面００、プロジェクタ画面１０、プロジェクタ画面０１、プロジェクタ画面１１の２×２領域に同じ画素サイズに分割した例である。この例を用いて、本処理動作を説明する。本処理を開始すると、点光源照明生成部１２は、各サブ画面の左下隅の画素を点光源として、４箇所の画素を点灯させた照明パターンを設定する（ステップＳ１１）。例えば、プロジェクタ画面のサイズをＷ×Ｈ画素として、プロジェクタ画面００、プロジェクタ画面０１、プロジェクタ画面１０、プロジェクタ画面１１で点灯させる画素の座標の初期値をそれぞれ（ｕ００，ｖ００）＝（１，１）、（ｕ１０，ｖ１０）＝（Ｗ／２＋１，１）、（ｕ０１，ｖ０１）＝（１，Ｈ／２＋１）、（ｕ１１，ｖ１１）＝（Ｗ／２＋１，Ｈ／２＋１）とする（ステップＳ１２）。

次に、点光源照明生成部１２は、同期制御部１１からフレーム番号を受信する（ステップＳ１３）。そして、点光源照明生成部１２は、フレーム番号の判定を行いながら（ステップＳ１４）、指定画素が各サブ画面の右端になったか否かを判定する（ステップＳ１５）。この判定の結果、サブ画面の右端になっていなければ、受信したフレーム番号に応じて、
（ｕ００，ｖ００）←（ｕ００＋１，ｖ００） ・・・（１）
（ｕ１０，ｖ１０）←（ｕ１０＋１，ｖ１０） ・・・（２）
（ｕ０１，ｖ０１）←（ｕ０１＋１，ｖ０１） ・・・（３）
（ｕ１１，ｖ１１）←（ｕ１１＋１，ｖ１１） ・・・（４）
により、その画素を１画素ずつ右方向にシフトさせて（ステップＳ１６）、各画素を点灯させた新たな照明パターンを設定して照明を行う（ステップＳ１８）。

一方、指定画素がサブ画面の右端になった場合、
（ｕ００，ｖ００）←（１，ｖ００＋１） ・・・（５）
（ｕ１０，ｖ１０）←（Ｗ／２＋１，ｖ１０＋１） ・・・（６）
（ｕ０１，ｖ０１）←（１，ｖ０１＋１） ・・・（７）
（ｕ１１，ｖ１１）←（Ｗ／２＋１，ｖ１１＋１） ・・・（８）
により、各サブ画面の左端に戻って、１画素分上方向にシフトさせて（ステップＳ１７）、各画素を点灯させた新たな照明パターンを設定して照明を行う（ステップＳ１８）。

これ以降、同期制御部１１からのフレーム番号転送を受信するたびに、式（１）〜式（４）の右シフトと、式（５）〜式（８）の上シフトによる点光源のスキャニングを、各サブ画面の右上隅の画素が点光源になるまで繰り返す。以上の処理によって、各フレームにおいて、４箇所の画素を点光源とした照明パターンがプロジェクタ２から被写体４へ照射されることになる。

図４に示すように、４箇所の画素を同時に点光源として使う場合は、Ｗ／２×Ｈ／２枚の照明パターンを使うことになる。この例では、２×２に分割する例を述べたが、一般的に、ｍとｎを整数として、ｍ×ｎ（ｍ＝ｎでもよい）に分割することにより、ｍｎ画素を同時に点光源照明に使うことができる。プロジェクタ画面の分割と同時点灯照明によって、従来の１画素を点光源照明とするＢＦＳ方式と比べて、ｍｎ倍の処理の速さを確保できる。

次に、図５を参照して、図１に示すＬＴ計測部１４の処理動作を説明する。図５は、図１に示すＬＴ計測部１４の処理動作を示すフローチャートである。まず、同期制御部１１から画像観測命令の同期信号が入力されると、ＬＴ計測部１４は、画像を取得できる状態かのチェックを行い（ステップＳ２１）、観測可能でなければ同期信号の待機を行う（ステップＳ２２）。

一方、観測可能状態ならばＬＴ計測部１４は、カメラ３から観測画像を取得する（ステップＳ２３）。次に、ＬＴ計測部１４は、事前に保有しておいた背景画像を取り出し（ステップＳ２４）、この背景画像との背景差分を処理する（ステップＳ２５）。背景画像とは、照明パターンが照明されていない状態、あるいは黒を投影したときの観測画像である。この背景差分において、蛍光灯などの環境光の元では画像雑音が多く混入するため、所定の閾値として例えば１０階調に設定しておき（ステップＳ２６）、ＬＴ計測部１４は、この値より大きい画素をカメラの応答画素として検出する（ステップＳ２７）。

図６は、図４に示すプロジェクタ画面分割に応じて、カメラ画面を２×２に分割する例を示す図である。観測方向予測部１３において、カメラ画面００の観測範囲は座標（ｘ００，ｙ００）を中心とした矩形枠として設定し、同様に、カメラ画面１０、カメラ画面０１、カメラ画面１１の観測範囲は、それぞれ座標（ｘ１０，ｙ１０）、座標（ｘ０１，ｙ０１）、座標（ｘ１１，ｙ１１）を中心とした矩形枠として設定する。なお、（ｘ００，ｙ００）等の決定方法については、後述する。

各観測範囲は点光源照明生成部１３において設定し（ステップＳ２８）、ＬＴ計測部１４は、各サブ画面でのプロジェクタ画素と対応付ける（ステップＳ２９）。これにより各観測範囲内で検出したカメラ画素と、その範囲に照射した点光源のプロジェクタ画素を特定できる。続いて、ＬＴ計測部１４は、ＬＴテーブルに書き込みを行う（ステップＳ３０）。例えば、プロジェクタ座標（Ｕｓ，Ｖｔ）に対して、２つのカメラ画素（Ｘｉ，Ｙｊ）、（Ｘ′ｉ，Ｙ′ｊ）が検出されたとする。図７は、ＬＴテーブルの一例を示す図である。図７に示すように、全てのカメラ座標を縦方向に並べたＬＴテーブルにおいて、カメラ座標（Ｘｉ，Ｙｊ）と光学的に結び付いたプロジェクタ座標（Ｕｓ，Ｖｔ）をカメラ座標（Ｘ′ｉ，Ｙ′ｊ）の横方向に、カメラ座標（Ｘ′ｉ，Ｙ′ｊ）と光学的に結び付いたプロジェクタ座標（Ｕｓ，Ｖｔ）をカメラ座標（Ｘ′ｉ，Ｙ′ｊ）の横方向にそれぞれ記録する。

このように、点光源照明生成部１２からの照明と同期しながら、各観測範囲内で応答したカメラ画素を逐次計測する。この処理により、各サブ画面からの点光源照明と、それに応答するカメラ画素を同時に計測することができ、従来のＢＦＳと同様のＬＴテーブルを得ることができる。この処理は、全ての点光源照明を使って、全てのカメラ座標に対応するプロジェクタ座標をＬＴテーブルに書き込み、本処理を終了する（ステップＳ３１）。

次に、図８を参照して、図１に示す観測方向予測部１３の処理動作を説明する。図８は、図１に示す観測方向予測部１３の処理動作を示すフローチャートである。観測方向予測部１３は、ＬＴ計測部１４においてカメラ応答画素を検出するために補助的に機能するものである。まず、処理を開始すると、観測方向予測部１３は、初期設定モードの判定を行う（ステップＳ４１）。この判定の結果、初期設定モードのときは、サブ画面の切り替えを行い（ステップＳ４２）、カメラ画面における観測範囲を初期設定する。図４に示すように、点光源としてプロジェクタ画面００の左下隅のプロジェクタ画素を点灯させた照明パターンを設定する（ステップＳ４３）。これを被写体４へ投影して観測画像を得る（ステップＳ４４）。

次に、観測方向予測部１３は、ＬＴ計測部１４で使った背景画像と同じ背景画像を取り出し（ステップＳ４５）、観測画像との背景差分を算出する（ステップＳ４６）。このとき、観測方向予測部１３は、所定の閾値を設定し（ステップＳ４７）、この閾値以下は雑音と見なし、所定閾値以上のカメラ応答画素を検出する（ステップＳ４８）。そして、観測方向予測部１３は、検出したカメラ画素の座標からその平均値（ｘ′，ｙ′）を算出する（ステップＳ４９）。この平均値の２次元座標を中心とした画素範囲をプロジェクタ画面００に対するカメラ画面での観測範囲の初期値とする（ステップＳ５０）。

例えば、横方向の探索範囲を２ｗ＋１、縦方向の探索範囲を２ｈ＋１と与え、ｘ′−ｗ≦ｘ≦ｘ′＋ｗ，ｙ′−ｈ≦ｙｘ≦ｙ′＋ｈの観測範囲（ｘ，ｙ）を初期値として設定する。あるいは、検出したカメラ画素の座標全てを覆うようにｗ、ｈの幅をそれぞれ設定してもよい。

次に、サブ画面をプロジェクタ画面１０に切り替えて、同様にプロジェクタ画面１０の初期の点光源照明に対する観測範囲を設定する。順番に、プロジェクタ画面０１、プロジェクタ画面１１の点光源照明に対しても観測範囲の初期値を設定する。以上、プロジェクタ画素の初期値を点灯させた状態において、他のサブ画面からの点光源照明を二重に観測しないように、互いに間隔を設けて所定の観測範囲を設定する。全てのサブ画面の観測範囲の設定が完了すると、本処理は初期設定モードから外れて、それぞれのサブ画面に対するカメラ画面での観測範囲のデータをＬＴ計測部１４へ転送する（ステップＳ５１）。

本実施形態において各サブ画面において新たな点光源照明パターンが設定されて被写体４を照射するたびに、ＬＴ計測部１４においてカメラ画面に設定された観測範囲においてカメラ応答画素を検出し、検出できたか否かを判定する（ステップＳ５２）。図４の各サブ画面の点光源は同期制御部１１から転送されるフレーム番号に従ってシフトするため、カメラ画面においてもそのシフトに追従して観測範囲を変更する必要がある。そこで、ＬＴ計測部１４から、それぞれの観測範囲で検出したカメラ応答画素を取り出し（ステップＳ５３）、再びその平均値を算出する（ステップＳ５４）。各観測範囲で算出した平均のカメラ応答画素の座標を中心として、横方向の探索範囲を２ｗ＋１、縦方向の探索範囲を２ｈ＋１と与えた観測範囲を更新する（ステップＳ５５）。

なお、探索範囲の設定では、初期状態ではサブ画面において共通とし、各シフト量に応じてフレーム間で探索範囲の横縦方向の範囲を２ｗ＋１＋Δｗ、２ｈ＋１＋Δｈに変化させてもよい（Δｗ、Δｈはサブ画面の横縦方向のシフト量に比例した変化量）。観測範囲の更新に伴い、それぞれのサブ画面に対するカメラ画面での観測範囲のデータをＬＴ計測部へ転送する。図９の左の図は、カメラ画面において分割された画面において、ｆ＝Ｆのときの観測範囲（黒丸の中心とした矩形）を示す。図９の右の図では、ｆ＝Ｆ＋１において新たなカメラ応答が検出されると、その検出された画素（黒丸）の位置の平均座標を中心とした矩形の観測範囲を設定する。ｆ＝Ｆのときの観測範囲は白丸で示した画素の観測範囲は破線で示されており、カメラ応答の検出に応じて観測範囲を更新する。次のフレームでは、この範囲においてカメラ応答を検出する。以上の処理は、ＬＴ計測部１４においてカメラ応答が検出されるたびに、観測方向予測部１３においてそれぞれのサブ画面に対するカメラ画面での観測範囲を更新することにより、サブ画面の点光源照明のシフトに追従して、効率的にカメラ応答画素を検出することができる。

これにより、図１５に示した状況において、未校正なプロジェクタ・カメラシステムを使って、未知の任意形状の表面にプロジェクタからの照明を投影したとき、プロジェクタ画面の各座標から照明した光線とカメラ画面の各座標の応答を結び付けるＬＴを効率的に獲得できる。

＜第２実施形態＞
次に、本発明の第２実施形態による空間投影装置を説明する。図１０は、第２実施形態による空間投影装置の構成を示すブロック図である。図１０に示す空間投影装置は、１台のプロジェクタと１台のカメラのプロジェクタ・カメラシステムを使ったものである。図１０において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図１０に示す装置が図１に示す装置と異なる点は、画像投影部１５と画像データベース（ＤＢ）１６が新たに設けられている点である。

図１０に示す構成において、プロジェクタ２、カメラ３、画像データベース１６は必ずしも構成要素として接続している必要はなく、処理に必要なデータを取得すればよい。また、同期制御部１１、点光源照明生成部１２、観測方向予測部１３、ＬＴ計測部１４、画像投影部１５からのそれぞれの矢印で示すデータの流れは、ハードディスク、ＲＡＩＤ装置、ＣＤ−ＲＯＭなどの記録媒体を利用する、または、ネットワークを介してリモートなデータ資源を利用する形態でもどちらでも構わない。

次に、図１０に示す画像投影部１５の処理動作を説明する。画像投影部１５は、画像ＤＢ１６から取り出した各画像を、ＬＴ計測部１４で得たＬＴテーブルを使って任意の画像を被写体へ投影する。図１１は、ライト・トランスポートを使った輝度補償の原理を示す図である。カメラ画素Ｃ_αはプロジェクタ画面の丸枠で囲んだＮ_α個のプロジェクタ画素Ｐ_ｉ，ｉ＝１，２，・・・，ｊ，・・・，Ｎ_αとＬＴの関係にあり、カメラ画素Ｃ_βはプロジェクタ画素Ｐ_ｊのＬＴの関係にあるとする。つまり、プロジェクタ画素Ｐ_ｊはカメラ画素Ｃ_αとＣ_βの双方にＬＴの関係があると仮定する。非特許文献３によれば、物体表面の輝度変化を無視して平面投影のカラー混合行列を使うと、

という関係になる。ここで、Ｖ_αとＶ_βはカメラ画素Ｃ_αとＣ_βに関するカラー混合行列であり、Ｆ_αとＦ_βはカメラ画素Ｃ_αとＣ_βに関する環境光ベクトルを表す。

一般的に、複数のプロジェクタ画素とカメラ画素のライト・トランスポートについては、所定輝度値をＮ_α等分して分配すると、

により与えられる。式（１１）、（１２）により、プロジェクタ画素Ｐ_ｉはユニークに決定できるが、プロジェクタ画素Ｐ_ｊは２つの解Ｐ_α、Ｐ_βが与えられることになる。この不整合を解消するため、複数の輝度補償値が算出されるとき、
Ｐ_ｊ＝（１／２）（Ｐ_α＋Ｐ_β） ・・・（１３）
により、輝度補償の整合を図る。式（１３）は３つ以上の補償輝度値が算出される場合にも拡張でき、それぞれの補償輝度値を加算して平均化すればよい。

以上のライト・トランスポートを使った輝度補償の原理を踏まえて、任意の被写体表面に対して光学的に整合がとれた所定画像を投影するための画像投影部１５の処理動作を説明する。図１２は、図１０に示す画像投影部１５の処理動作を示すフローチャートである。処理を開始すると、画像投影部１５は、ＬＴテーブルを読み出して（ステップＳ６１）各カメラ画素とライト・トランスポートで結び付くプロジェクタ画素の使用回数を集計する（ステップＳ６２）。一方、画像投影部１５は、投影する画像を画像ＤＢから読み出す（ステップＳ６３）とともに、補助輝度を初期化する（ステップＳ６４）。

次に、画像投影部１５は、投影画像における各カメラ画素について、ＬＴテーブルにおいて１つのプロジェクタ画素がある場合は式（１２）を、２つ以上のプロジェクタ画素がある場合は式（１１）を使ってそれぞれ輝度補償値を算出する（ステップＳ６５）。次に、画像投影部１５は、各プロジェクタ画素について２つの輝度補償値が算出される場合は式（１３）で平均化し、Ｎ個（Ｎ＞２）の輝度補償値が算出される場合は、それらを加算してプロジェクタ画素の集計より得た使用回数Ｎで平均化して輝度を調整する（ステップＳ６６）。そして、画像投影部１５は、所定画像の全ての画素について、上記の輝度補償と調整を行って、輝度調整画像を生成する（ステップＳ６７）。その画像をプロジェクタ２へ入力すると、被写体の表面に所定画像が投影されることになる（ステップＳ６８）。

次に、被写体表面の反射特性により輝度変化が発生する場合があるため、物体表面の輝度変化を調整する。式（１１）による輝度補償の枠組みにおいて補償輝度Ｐαに補助輝度Ｄαを導入して、
Ｐ_α＝（１／Ｎ_α）Ｖ_α ^−１（Ｃ_α−Ｆ_α＋Ｄ_α） ・・・（１４）
により与える。なお、同時に、式（１２）の補償輝度Ｐ_βについても補助輝度Ｄ_βを導入して輝度変化に応じて調整するが、補償輝度Ｐβと同じの処理フローとなるため、以下では補償輝度Ｐ_αについて説明する。

補助輝度Ｄ_αは、平面投影より輝度が減少したときはＤ_α＞０となり、輝度が増加したときはＤ_α＜０となることで物体表面上の輝度調整の役割を担う。輝度変化を事前に予測することは困難であるため、補助輝度Ｄ_αを零ベクトルで初期化して、カメラ検出を行い（ステップＳ６９）、輝度変化があるか否かを判定して（ステップＳ７０）、カメラ３により検出した輝度変化に応じて補助輝度を更新する（ステップＳ７１）。初期の補助輝度Ｄ_αを与えたとき、カメラによって輝度Ｃ′_αを観測したとする。輝度誤差ΔＣ_α、
ΔＣ_α＝Ｃ_α−Ｃ′_α ・・・（１５）
が検出されたならば輝度変化があると判定して、その輝度誤差をライト・トランスポートの関係で結び付くプロジェクタ画素へフィードバックする。ゲイン行列Ｋを与えて、補助輝度Ｄ_αを

により更新する。

更新した補助輝度Ｄ_αを式（１４）に代入し、式（１３）に従って輝度を再調整する。輝度変化が一定値に収束するまで式（１３）、（１４）、（１６）を使って輝度誤差ΔＣ_αのフィードバックを反復する（ステップＳ７２）ことにより、補償輝度Ｐ_αを物体表面の輝度変化に応じて調整する。

以上の処理により、ＬＴ計測部１４で得たライト・トランスポートの関係に基づき、平面スクリーンでの画像投影と同様に、被写体の凹凸形状に対して幾何歪みが無く、かつ、物体表面の特性に応じて光学的に輝度が調整された画像が投影できる。

＜第３実施形態＞
次に、図１３を参照して、本発明の第３実施形態による空間投影装置を説明する。図１３は、本発明の第３実施形態による空間投影装置の構成を示すブロック図である。図１３に示す空間投影装置１は、Ｎ（Ｎは２以上の自然数）台のプロジェクタと１台のカメラのマルチプロジェクタ・システムを使ったものである。図１３において、図１に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図１３に示す装置が図１に示す装置と異なる点は、Ｎ台のプロジェクタ２−１〜Ｎが設けられている点である。

本実施形態では、１台のプロジェクタとカメラ３を連動させて、各プロジェクタ２−１〜Ｎとカメラ３間のライト・トランスポートを計測するものである。点光源照明生成部１２とプロジェクタ２−１〜Ｎはスイッチや分岐装置などを利用して接続を切り替えるようになっている。ある１つのプロジェクタと接続すると、第１実施形態と同様の処理によってライト・トランスポートを計測することができる。

＜第４実施形態＞
次に、図１４を参照して、本発明の第４実施形態による空間投影装置を説明する。図１４は、本発明の第４実施形態による空間投影装置の構成を示すブロック図である。図１４に示す空間投影装置１は、Ｎ（Ｎは２以上の自然数）台のプロジェクタと１台のカメラのマルチプロジェクタ・システムを使ったものである。図１４において、図１０に示す装置と同一の部分には同一の符号を付し、その説明を省略する。図１４に示す装置が図１０に示す装置と異なる点は、Ｎ台のプロジェクタ２−１〜Ｎが設けられている点である。

本実施形態では、ＬＴ計測部１４で各プロジェクタ２−１〜ＮのＬＴテーブルを読み込み、それに応じて画像を投影する。その処理内容は第２実施形態と同様である。本実施形態による空間投影装置１を使えば、パノラマの画像または高ダイナミックレンジの画像を多重投影することができる。

以上説明したように、複数のプロジェクタの画素を点光源とする照明パターンを用いてライト・トランスポート・テーブルを生成する際に、照明パターンに含まれる各点光源に対するカメラ応答画素が観察できる範囲を予測するようにした。この構成により、プロジェクタ・カメラシステムを使って、少ないカメラ応答画像から効率的に凹凸や曲がった形状の空間構造のライト・トランスポートを獲得することができる。また、直接反射と間接反射に関するライト・トランスポートを使えばスクリーン平面上にあたかも投影されたかのように、その空間構造に対して、幾何的、かつ、光学的に補正された画像を投影することができる。さらに、その画像提示を使った拡張現実や映像コミュニケーションを実現することが可能となる。

前述した実施形態における空間投影装置をコンピュータで実現するようにしてもよい。その場合、この機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することによって実現してもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ−ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムを送信する場合の通信線のように、短時間の間、動的にプログラムを保持するもの、その場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリのように、一定時間プログラムを保持しているものも含んでもよい。また上記プログラムは、前述した機能の一部を実現するためのものであっても良く、さらに前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるものであってもよく、ＰＬＤ（Ｐｒｏｇｒａｍｍａｂｌｅ Ｌｏｇｉｃ Ｄｅｖｉｃｅ）やＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）等のハードウェアを用いて実現されるものであってもよい。

以上、図面を参照して本発明の実施の形態を説明してきたが、上記実施の形態は本発明の例示に過ぎず、本発明が上記実施の形態に限定されるものではないことは明らかである。したがって、本発明の技術思想及び範囲を逸脱しない範囲で構成要素の追加、省略、置換、その他の変更を行ってもよい。

面倒な計測作業を回避し、できるだけ少ないカメラ応答画像から直接反射光と間接反射光のライト・トランスポートを効率的に得ることが不可欠な用途に適用できる。

１・・・空間投影装置、１１・・・同期制御部、１２・・・点光源照明生成部、１３・・・観測方向予測部、１４・・・ＬＴ計測部、１５・・・画像投影部、１６・・・画像ＤＢ（データベース）、２、２−１〜Ｎ・・・プロジェクタ、３・・・カメラ、４・・・被写体

Claims (4)

1. 横方向の画素数がＷ、縦方向の画素数がＨであるプロジェクタから被写体に投影した点光源照明パターンをカメラで取得した観測画像を用いて前記プロジェクタの画素と前記カメラの画素の対応関係を示すライト・トランスポート・テーブルを用いて投影を行う空間投影装置であって、
   前記プロジェクタを横方向にｍ（ｍは２以上の自然数）個、縦方向にｎ（ｎは２以上の自然数）個に分割することによりｍ×ｎ個のサブ画面を生成し、前記ｍ×ｎ個のサブ画面のそれぞれから１画素ずつ選択して生成される（Ｗ／ｍ）×（Ｈ／ｎ）枚の点光源照明パターンを前記被写体に投影する点光源照明パターン投影手段と、
   前記サブ画面の各画素を点光源として前記被写体に投影した際に応答する前記カメラの画素が存在する観測範囲を予測する観測範囲予測手段と、
   前記カメラで取得した観測画像から前記観測範囲を用いて各カメラの画素に対応するサブ画面の画素を求めることにより前記ライト・トランスポート・テーブルを算出するライト・トランスポート・テーブル算出手段と
   を備えることを特徴とする空間投影装置。
2. 前記ライト・トランスポート・テーブルを用いて入力画像を前記被写体に投影する画像投影手段をさらに備えることを特徴とする請求項１に記載の空間投影装置。
3. 前記画像投影手段は、
   前記ライト・トランスポート・テーブルを用いて輝度補償する際に、複数の輝度補償値が算出されるとき、前記複数の輝度補償値の平均を用いて前記輝度補償を実行することを特徴とする請求項２に記載の空間投影装置。
4. コンピュータを、請求項１から３のいずれか１項に記載の空間投影装置として機能させるための空間投影プログラム。

Images