JP6768197B2 - 情報処理装置および方法 - Google Patents

Description

本技術は、情報処理装置および方法に関し、特に、投影画像の特性を局所的に変化させることができるようにした情報処理装置および方法に関する。

従来、複数のプロジェクタを用いて画像を投影するシステムがあった（例えば、非特許文献１参照）。このようなシステムにおいては、コンピュータが、複数のプロジェクタを制御して互いに協働させ、各プロジェクタの個体差や相対位置を補正した、画像の特性が一様な１枚の大きな画像を投影させていた。

Ramesh Raskar, Jeroen van Baar, Paul Beardsley, Thomas Willwacher, Srinivas Rao, Clifton Forlines, "iLamps: Geometrically Aware and Self-Configuring Projectors", ACM SIGGRAPH 2003 Conference Proceedings

しかしながら、プロジェクタが投影する投影画像の表現力に対する要求は高くなる一方であり、例えば輝度や解像度等の画像の特性が一様でないような投影画像も求められるようになってきており、従来のシステムでは実現できないおそれがあった。

本技術は、このような状況に鑑みて提案されたものであり、投影画像の特性を局所的に変化させることができるようにすることを目的とする。

本技術の一側面は、第１の画像に対する奥行き方向の距離が所望の範囲内であるオブジェクトを含む領域を注目領域に設定する注目領域設定部と、第１の投影部を制御して、前記第１の画像を画像投影面に投影させ、第２の投影部の投影の方向と画角を制御することにより、前記画像投影面に対して前記第１の投影部により投影された前記第１の画像内の前記注目領域に、第２の画像を投影させる制御部とを備える情報処理装置である。

前記制御部は、前記第２の画像として、前記第１の画像の前記注目領域に投影される部分画像、または前記部分画像のパラメータを変更した画像を、前記注目領域に投影させることができる。

前記制御部は、前記第２の画像として、前記第１の画像の前記注目領域に投影される部分画像とは異なる絵柄の画像を、前記注目領域に投影させることができる。

前記注目領域設定部は、前記第１の画像に対する特性パラメータが所望の範囲内である領域を前記注目領域に設定することができる。

前記注目領域設定部は、前記第１の画像に対して特徴が検出された領域を前記注目領域に設定することができる。

前記注目領域設定部は、CG画像である前記第１の画像に対してオブジェクトを含む領域を前記注目領域に設定することができる。

前記注目領域設定部は、前記第１の画像に対して指定された領域を前記注目領域に設定することができる。

前記第１の投影部と前記第２の投影部とは、互いに独立した同期信号に同期して駆動し、前記制御部は、全ての前記投影部の同期信号が一致するタイミングにおいて前記第１の画像および前記第２の画像を投影させることができる。

前記第１の投影部と前記第２の投影部とをさらに備えることができる。

前記第１の投影部と前記第２の投影部とは、互いの相対位置が固定されているようにすることができる。

本技術の一側面は、また、第１の画像に対する奥行き方向の距離が所望の範囲内であるオブジェクトを含む領域を注目領域に設定し、第１の投影部を制御して、前記第１の画像を画像投影面に投影させ、第２の投影部の投影の方向と画角を制御することにより、前記画像投影面に対して前記第１の投影部により投影された前記第１の画像内の前記注目領域に、第２の画像を投影させる情報処理方法である。

本技術の一側面においては、第１の画像に対する奥行き方向の距離が所望の範囲内であるオブジェクトを含む領域が注目領域に設定され、第１の投影部が制御されて、その第１の画像が画像投影面に投影され、第２の投影部の投影の方向と画角が制御されることにより、画像投影面に対して第１の投影部により投影された第１の画像内の注目領域に、第２の画像が投影される。

本技術によれば、情報を処理することが出来る。また本技術によれば、投影画像の特性を局所的に変化させることができる。

投影撮像システムの主な構成例を示す図である。 投影撮像装置の外観を説明する図である。 画像投影の様子の例を示す図である。 画像補正の様子の例を示す図である。 画像補正の様子の例を示す図である。 利用例を説明する図である。 注目領域用の制御の様子の例を示す図である。 画像投影の様子の例を示す図である。 投影撮像装置の主な構成例を示すブロック図である。 コントローラの主な構成例を示すブロック図である。 コントローラが実現する機能の例を示す機能ブロック図である。 システム制御処理の流れの例を説明するフローチャートである。 制御パラメータの例を説明する図である。 画像投影の様子の例を示す図である。 画像投影の様子の例を示す図である。 画像投影の様子の例を示す図である。 画像投影の様子の例を示す図である。 投影撮像装置のモジュール構成例を説明する図である。 プロジェクタモジュールの主な構成例を示すブロック図である。 カメラモジュールの主な構成例を示すブロック図である。 投影撮像装置や投影撮像システムの主な構成例を示す図である。 投影部の主な構成例を示すブロック図である。 レーザ光の走査の例を示す図である。 投影撮像システムの主な構成例を示す図である。 プロジェクタモジュール制御処理の流れの例を説明するフローチャートである。 カメラモジュール制御処理の流れの例を説明するフローチャートである。 領域分割の様子の例を説明する図である。 注目領域設定処理の流れの例を説明するフローチャートである。

以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．第１の実施の形態（投影撮像システム）

＜１．第１の実施の形態＞
＜投影撮像システム＞
本技術を適用した情報処理装置の一実施の形態である制御装置を適用した投影撮像システムの主な構成例を、図１に示す。図１に示される投影撮像システム１００は、画像を投影するシステムである。図１に示されるように、投影撮像システム１００は、投影撮像装置１０１とコントローラ１０２を有する。投影撮像装置１０１とコントローラ１０２は、ケーブル１０３により接続されている。

投影撮像装置１０１は、画像投影面１１１に画像を投影したり、画像投影面１１１に投影された投影画像１１２を撮像したりする装置である。投影撮像装置１０１が投影する画像は、動画像であってもよいし、静止画像であってもよい。また、投影撮像装置１０１が撮像して得られる撮像画像は、動画像であってもよいし、静止画像であってもよい。また、投影撮像装置１０１にスピーカ等を設け、投影撮像装置１０１が音声を出力することができるようにしてもよい。例えば、投影撮像装置１０１が、投影する画像に合わせた音声（例えばBGM（Back Ground Music）等）を出力することができるようにしてもよいし、操作確認用の音声（例えばビープ音やメッセージ等）を出力することができるようにしてもよい。

コントローラ１０２は、ケーブル１０３を介して投影撮像装置１０１を制御する。例えば、コントローラ１０２は、制御信号を、ケーブル１０３を介して投影撮像装置１０１に供給し、画像を投影させたり撮像させたりする。また、コントローラ１０２は、投影撮像装置１０１に投影させる画像のデータを、ケーブル１０３を介して投影撮像装置１０１に供給したり、投影撮像装置１０１が撮像して得られた撮像画像を、ケーブル１０３を介して投影撮像装置１０１から取得したりする。

ケーブル１０３は、例えばUSB（Universal Serial Bus）やHDMI（登録商標）（High-Definition Multimedia Interface）等のような、制御信号と画像や音声等のコンテンツデータとを伝送可能な所定の規格の通信ケーブル（伝送媒体）である。ケーブル１０３は、単数の通信ケーブルにより構成されるようにしてもよいし、複数の通信ケーブルにより構成されるようにしてもよい。

画像投影面１１１は、投影撮像装置１０１が画像を投影する面である。画像投影面１１１は、平面であってもよいし、曲面であってもよいし、一部若しくは全部に凹凸を有する面であってもよいし、複数の面により構成されていてもよい。また、画像投影面１１１の色は任意であり、複数色により構成されるようにしてもよい。

画像投影面１１１は、任意の物体に形成されるようにしてもよい。例えば、画像投影面１１１は、所謂スクリーンや壁面のような面状の物体に形成されるようにしてもよい。また、画像投影面１１１は、立体構造物に形成されるようにしてもよい。例えばビルディング、駅舎、城等の建造物の壁面等に形成されるようにしてもよいし、例えば、岩等の自然物、看板や銅像等の人造物、箪笥、椅子、机等の家具等に形成されるようにしてもよいし、例えば人や動植物等の生物に形成されるようにしてもよい。また、画像投影面１１１は、例えば部屋空間の壁、床、天井等のように、複数の面に形成されるようにしてもよい。

また、画像投影面１１１は、固体に形成されるようにしてもよいし、液体や気体に形成されるようにしてもよい。例えば、池やプール等の水面、滝や噴水等の流水面、霧やガス等の気体に形成されるようにしてもよい。また、画像投影面１１１は、移動してもよいし、変形してもよいし、変色してもよい。また、画像投影面１１１は、例えば、部屋の壁と家具と人物、複数のビルディング、城壁と噴水等のように、複数の物体に形成されるようにしてもよい。

＜投影撮像装置の構造＞
図２は、投影撮像装置１０１の構造の例を説明する図である。図２のＡに示されるように、投影撮像装置１０１は、プロジェクタモジュール１２１−１乃至プロジェクタモジュール１２１−８、並びに、カメラモジュール１２２を有する。

プロジェクタモジュール１２１−１乃至プロジェクタモジュール１２１−８は、互いに同一の物理構成を有する。つまり、プロジェクタモジュール１２１−１乃至プロジェクタモジュール１２１−８は、筐体の形状が共通化されているだけでなく、後述する内部の物理構成も共通化されており、互いに同様の機能を有する。以下において、プロジェクタモジュール１２１−１乃至プロジェクタモジュール１２１−８を互いに区別する必要が無い場合、プロジェクタモジュール１２１と称する。

プロジェクタモジュール１２１は、コントローラ１０２に制御され、コントローラ１０２から供給される画像を画像投影面１１１に投影する。プロジェクタモジュール１２１の外観の例を図２のＢおよび図２のＣに示す。プロジェクタモジュール１２１は、筐体内部で発光した光を、図２のＢおよび図２のＣに示されるように筐体の一方向に形成される光出射部１２１Ａから出射する。図２のＡに示されるように、各プロジェクタモジュール１２１の光出射部１２１Ａは互いに略同一方向に形成されており、各プロジェクタモジュール１２１が同一の画像投影面１１１に画像を投影することができるように構成されている。

カメラモジュール１２２は、コントローラ１０２に制御され、画像投影面１１１に投影された投影画像１１２を撮像し、その投影画像１１２を含む撮像画像を得る。この撮像画像はコントローラ１０２に供給され、例えばコントローラ１０２によるプロジェクタモジュール１２１の制御に利用される。カメラモジュール１２２の外観の例を図２のＤおよび図２のＥに示す。図２のＤおよび図２のＥに示されるように、カメラモジュール１２２は、基本的に、プロジェクタモジュール１２１と同様の形状の筐体を有する。カメラモジュール１２２は、内部の物理構成についても、例えば光学系等、プロジェクタモジュール１２１と共通化可能な部分については、プロジェクタモジュール１２１と共通化されている。

また、カメラモジュール１２２は、図２のＤおよび図２のＥに示されるように筐体の一方向に形成される光入射部１２２Ａから入射された光を筺体内部で光電変換し、撮像画像を得る。図２のＡに示されるように、カメラモジュール１２２の光入射部１２２Ａは、プロジェクタモジュール１２１の光出射部１２１Ａの方向と略同一の方向に形成されており、プロジェクタモジュール１２１が画像投影面１１１に投影した投影画像を撮像することができるように構成されている。

図２のＡに示されるように、投影撮像装置１０１において、プロジェクタモジュール１２１−１乃至プロジェクタモジュール１２１−８並びにカメラモジュール１２２は、縦３個×横３個に並べて配置されている。各モジュール（プロジェクタモジュール１２１−１乃至プロジェクタモジュール１２１−８並びにカメラモジュール１２２）は、互いに固定されている。そのため、互いの相対位置（光出射部１２１Ａ同士の相対位置）が固定化される。詳細については後述するが、各プロジェクタモジュール１２１はコントローラ１０２の制御の下で互いに協働して画像を投影するため、互いの投影画像の位置や歪みの補正が行われる。そのような補正の制御に、プロジェクタモジュール１２１同士の相対位置関係が用いられる。上述したようにこの相対位置が固定化されることにより、この投影画像の位置や歪み補正の制御がより容易になる。

また、詳細については後述するが、この投影画像の位置や歪み補正の制御には、カメラモジュール１２２において得られた撮像画像も用いられる。例えば、画像投影面１１１の形状や角度等に応じた補正も適用することにより、投影画像の位置や歪みをより正しく補正することができる。そのため、コントローラ１０２は、実際の投影結果である投影画像（すなわち撮像画像）に基づく補正の制御を適用することができる。この撮像画像を制御に利用するためには、カメラモジュール１２２と各プロジェクタモジュール１２１との相対位置関係が必要になる。上述したようにこの相対位置が固定化されることにより、撮像画像を用いた投影画像の位置や歪み補正の制御がより容易になる。

なお、図２のＡの例の場合、３×３に並べられたモジュール群の中央にカメラモジュール１２２が配置され、そのカメラモジュール１２２を囲むように、８個のプロジェクタモジュール１２１が配置されている。各モジュールをこのように配置することにより、各プロジェクタモジュール１２１とカメラモジュール１２２との相対距離がより均一になるとともに、より短くなるので、撮像画像を用いた投影画像の位置や歪み補正の制御がより容易になる。また、各プロジェクタモジュール１２１の配置が縦、横、斜め等の各方向により均一化されるとともに、各方向における両端のモジュールの相対位置をより短くすることができる。これにより、より多様なアスペクト比の画像について、各プロジェクタモジュール１２１の投影画像１１２の歪みを低減させることができる。

また、各モジュールの物理構成は、互いに異なるようにしてもよいが、上述したように各モジュールの物理構成をできるだけ共通化することにより、製造コストの増大を抑制することができる。また、製造をより容易にすることもできる。

＜協働した投影＞
例えば、解像度4K（例えば4096x2160）、フレームレート60fps、プログレッシブ走査方式の画像（4K@60P）を含むコンテンツデータがプロジェクタモジュール１２１に供給されるとする。コンテンツデータが供給されたプロジェクタモジュール１２１は、その画像（4K@60P）の内の、自身に割り当てられた部分画像（例えば、解像度フルHD、フレームレート60fps、プログレッシブ走査方式の画像（1080@60P））を切り出して、画像投影面１１１に投影する。

例えば、プロジェクタモジュール１２１−１、プロジェクタモジュール１２１−３、プロジェクタモジュール１２１−６、プロジェクタモジュール１２１−８は、図３のＡのような配置で画像を投影する。図３のＡに示される例では、これらのプロジェクタモジュール１２１の投影画像が画像投影面１１１上で縦に２つ、横に２つ（2x2)並ぶ位置に投影されている。より具体的には、プロジェクタモジュール１２１−１の投影画像１１２−１は、画像投影面１１１の左上に投影され、プロジェクタモジュール１２１−３の投影画像１１２−３は、画像投影面１１１の右上に投影され、プロジェクタモジュール１２１−６の投影画像１１２−６は、画像投影面１１１の左下に投影され、プロジェクタモジュール１２１−８の投影画像１１２−８は、画像投影面１１１の右下に投影されている。

図３のＡに示されるように、これらの投影画像１１２（投影画像１１２−１、投影画像１１２−３、投影画像１１２−６、投影画像１１２−８）は、その一部が互いに重なり、１つの領域を形成している。これらの投影画像１１２には、上述した部分画像（1080@60P）が含まれており、図３のＡのように投影された状態において、画像投影面１１１上に画像（4K@60P）の投影画像１３１が形成されるようになされている。より具体的には、投影画像１１２−１には、投影画像１３１（4K@60P）の左上の部分画像が含まれており、投影画像１１２−３には、投影画像１３１（4K@60P）の右上の部分画像が含まれており、投影画像１１２−６には、投影画像１３１（4K@60P）の左下の部分画像が含まれており、投影画像１１２−８には、投影画像１３１（4K@60P）の右下の部分画像が含まれている。上述したようにこれらの投影画像１１２同士はその一部が重なり合うので、各投影画像１１２に含まれる部分画像は、フルHDよりも高解像度（つまり、広範囲）の画像であってもよい。

このように、プロジェクタモジュール１２１−１、プロジェクタモジュール１２１−３、プロジェクタモジュール１２１−６、およびプロジェクタモジュール１２１−８を協働させることにより、投影撮像システム１００は、解像度4Kの画像（4K@60P）を、解像度を落とさずに（画質を低減させずに）投影することができる。

なお、このような投影画像１３１を実現するためには、各投影画像１１２の位置合わせや幾何補正等を行う必要がある。カメラモジュール１２２は、撮像機能を備えており、図３のＢに示されるように、その撮像機能を用いてプロジェクタモジュール１２１が投影した投影画像１１２をセンシングすることができる。図３の例では、カメラモジュール１２２は、プロジェクタモジュール１２１−８の投影画像１１２−８（部分画像１３１−８）を撮像している。コントローラ１０２は、このセンサデータを基に、各種補正を行うことにより、画像投影面１１１上において、各部分画像がより自然な形で合成され、１つの投影画像１３１が形成されるようにすることができる。

画像補正の内容としては、例えば、図３のＢに示されるように、プロジェクタ個体差補正、オーバーラップ補正、スクリーン形状補正等がある。プロジェクタ個体差補正は、例えば、輝度、ガンマ、ブライトネス、コントラスト、ホワイトバランス、色味等に対する補正である。オーバーラップ補正は、投影画像１１２同士が重なり合う領域であるオーバーラップ領域に対する補正である。例えば、レベル補正や歪み補正等がある。スクリーン形状補正は、画像投影面１０２の形状や姿勢に対応するための補正である。例えば、射影変換（平面、球形、シリンドリカル（円柱状）、多項式曲線）がある。もちろん、これら以外の補正が行われるようにしてもよい。

例えば図４に示されるように、画像投影面１０２が投影撮像装置１０１に対して斜め方向に向いている場合、補正をしないと投影画像が歪んでしまうが、射影変換等によりその歪みを低減させることができる。また、例えば、図５の例のように曲面に複数の画像を投影する場合も、射影変換等により、１つの画像のように投影することができる。

＜投影撮像システムの利用例＞
このような投影撮像システム１００を用いることにより、様々な投影が可能になる。例えば、図６のＡのように複数の投影画像を並べることにより、投影画像の解像度を増大させることができる。また、図６のＢの例のように、各プロジェクタモジュール１２１が投影する各投影画像（部分画像）の並べ方によって、投影画像（画像全体）のアスペクト比を、各プロジェクタモジュール１２１のスペックに依存せずに自由に設定することができる。

また、図６のＣの例のように、複数の壁や天井に（つまり、複数の方向を向いたスクリーン（換言するに立体構造））に対して画像を歪みなく投影させることができる。さらに、図６のＤの例のように、視聴者を取り囲むような広範囲かつ曲面のスクリーンに対して画像を歪みなく投影させることもできる。

このような投影面の自由度が向上することにより、投影画像の表現力が増大するので、例えば臨場感や視認性を向上させることができ、表現の娯楽性や芸術性を向上させることができる。

＜投影画像の特性の局所的な制御＞
従来の画像投影システムでは、コントローラ１０２が、各プロジェクタの個体差や相対位置を補正することにより、特性が一様な１枚の大きな投影画像１３１が得られるように、各プロジェクタの画像投影を制御していた。

しかしながら、プロジェクタが投影する投影画像の表現力に対する要求は高くなる一方であり、例えば輝度や解像度等の画像の特性が一様でないような投影画像も求められるようになってきており、従来のシステムでは実現できないおそれがあった。

そこで、第１の投影部を制御して、第１の画像を画像投影面に投影させ、第２の投影部を制御して、画像投影面に対して第１の投影部により投影された第１の画像内の所定の部分領域である注目領域に、第２の画像を投影させるようにする。

例えば、第１の投影部と第２の投影部とを制御する情報処理装置において、その第１の投影部を制御して、第１の画像を画像投影面に投影させ、その第２の投影部を制御して、画像投影面に対して第１の投影部により投影された第１の画像内の所定の部分領域である注目領域に、第２の画像を投影させる制御部を備えるようにする。

より具体的には、図１の投影撮像システム１００の場合、コントローラ１０２が、投影撮像装置１０１の一部のプロジェクトモジュール１２１（第１の投影部）を制御して、第１の画像を画像投影面１１１に、大きな投影画像１３１となるように投影させ、投影撮像装置１０１の他のプロジェクトモジュール１２１（第２の投影部）を制御して、画像投影面１１１に対して投影された上述の大きな投影画像１３１内の所定の部分領域である注目領域に、第２の画像を投影させるようにする。

なお、投影画像において局所的に変化させる画像の特性（パラメータ）は任意である。例えば、この画像の特性（パラメータ）は、輝度、色、解像度、フレームレート等であってもよい。また、複数の特性（パラメータ）を局所的に変化させるようにしてもよい。また、第２の画像の絵柄は、第１の画像の注目領域に投影される部分画像と同じであってもよいし、異なっていてもよい。また、注目領域（すなわち第２の画像）の位置、形状、大きさは任意である（第１の画像の投影画像より小さければよい）。注目領域が特性ごとに独立していていもよい。また、第１の画像の投影に用いる投影部の数は任意であり、単数でも複数でも良い。また、第２の画像の投影に用いる投影部の数も任意であり、単数でも複数でも良い。さらに、注目領域の数は任意であり、単数でも複数でも良い。さらに、注目領域が複数の場合、各注目領域に投影される第２の画像の特性や絵柄は、互いに同一であってもよいし、他と異なっていてもよい。さらに、注目領域が複数の場合、各注目領域への投影に用いる投影部の数は任意であり、単数でも複数でも良いし、互いに同一であってもよいし、他と異なっていてもよい。

＜投影の方向や画角の制御＞
また、画像投影面に投影された第１の画像の任意の部分に注目領域を設定するようにし、上述した他の投影部の投影の方向や画角を制御することにより、その設定した注目領域に第２の画像を投影させるようにしてもよい。例えば、投影撮像システム１００の場合、コントローラ１０２が、画像投影面１１１の大きな投影画像１３１の任意の位置に、任意の大きさ、任意の形状の注目領域を設定し、その注目領域に第２の画像を投影させるように、上述した他のプロジェクトモジュール１２１の投影の方向と画角を制御するようにしてもよい。

図７のＡの例の場合、シフト１、シフト２、シフト３のように、プロジェクタモジュール１２１の画像の投影方向（シフト量やシフト方向）が制御されている。また、図７のＢの例の場合、ズーム１、ズーム２、ズーム３のように、プロジェクタモジュール１２１の画像の投影画角（ズーム量、投影範囲の大きさ）が制御されている。図７のＣの例では、図７のＡの例と図７のＢの例とが組み合わされ、プロジェクタモジュール１２１の画像の投影方向と投影画角の両方が制御されている。コントローラ１０２は、各プロジェクタモジュール１２１についてこのように制御することにより、投影画像１３１（投影された第１の画像）の任意の部分に第２の画像を投影することができる（任意の部分を注目領域として設定することができる）。

＜投影画像例＞
投影撮像システム１００は、例えば、図８のように画像を投影することができる。図８の例の場合、図３のＡを参照して説明したように、プロジェクタモジュール１２１−１の投影画像１１２−１、プロジェクタモジュール１２１−３の投影画像１１２−３、プロジェクタモジュール１２１−６の投影画像１１２−６、プロジェクタモジュール１２１−８の投影画像１１２−８により投影画像１３１（第１の画像の投影画像）が形成されている。さらに、その投影画像１３１の内部に、プロジェクタモジュール１２１−２の投影画像１１２−２、プロジェクタモジュール１２１−４の投影画像１１２−４、プロジェクタモジュール１２１−５の投影画像１１２−５、プロジェクタモジュール１２１−７の投影画像１１２−７が形成されている。つまり、投影画像１３１の投影画像１１２−２、投影画像１１２−４、投影画像１１２−５、投影画像１１２−７の各部分が注目領域として設定され、その各注目領域に第２の画像が投影されている。

例えば、各注目領域に第１の画像と同じ絵柄の第２の画像を投影することにより、各注目領域の輝度を注目領域外よりも高くすることができる。その際、第２の画像の輝度を変化させ、第１の画像の輝度より高くしてもよいし、低くしてもよい。また、各注目領域に半透明のグレー画像を第２の画像として投影することにより、各注目領域の輝度を擬似的に注目領域外よりも低減させることができる。

また、投影画像１１２−２、投影画像１１２−４、投影画像１１２−５、および投影画像１１２−７は、画角制御（ズーム制御）により、プロジェクタモジュール１２１の投影画角が絞られた投影画像である。したがって、これらの投影画像は、投影画像１３１よりも高解像度にすることができる。例えば、各注目領域に第１の画像よりも高解像度の第２の画像を投影することにより、各注目領域の解像度を注目領域外よりも高くすることができる。

このようにすることにより、投影画像の特性を局所的に変化させることができる。例えば、投影画像において、画像の特性（例えば輝度や解像度等）を、所定の注目領域とその注目領域外とで変化させることができる。これにより、投影画像の表現力が増大する（各プロジェクタモジュール１２１の表現能力を超えた画像の投影が可能になる）ので、例えば臨場感を向上させたり、視認性を向上させたりすることができ、表現の娯楽性や芸術性を向上させることができる。

また、コントローラ１０２が、投影画像の任意の部分を注目領域に設定し、その注目領域に第２の画像を投影させるように、各プロジェクタモジュールの投影方向や投影画角を制御することができるようにすることにより、投影画像の任意の部分において局所的に画像の特性を変化させることができる。

＜投影撮像装置の構成＞
図９は、投影撮像装置１０１の主な構成例を示すブロック図である。図９に示されるように、投影撮像装置１０１は、制御部１５１、画像処理部１５２、メモリ１５３、プロジェクタモジュール１２１、カメラモジュール１２２、入力部１６１、出力部１６２、記憶部１６３、通信部１６４、およびドライブ１６５を有する。

プロジェクタモジュール１２１は、投影部１８１、光学系１８２、および光学系制御部１８３を有する。カメラモジュール１２２は、光学系制御部１９１、光学系１９２、および撮像部１９３を有する。

プロジェクタモジュール１２１の投影部１８１は、画像の投影に関する処理を行う。例えば、投影部１８１は、制御部１５１に制御されて投影光を発光し、画像処理部１５２から供給される画像データの画像を投影撮像装置１０１の外部（例えば画像投影面１１１等）に投影する。つまり、投影部１８１は、投影機能を実現する。投影部１８１の光源は任意であり、LED（Light Emitting Diode）やキセノン等であってもよい。また、投影部１８１が投影光としてレーザ光を発光するようにしてもよい。投影部１８１が発光する投影光は、光学系１８２を介して投影撮像装置１０１の外部に出射される。

光学系１８２は、例えば複数のレンズや絞り等を有し、投影部１８１から出射される投影光に対して光学的影響を付与する。例えば、光学系１８２は、投影光の焦点距離、露出、投影方向、投影画角等を制御する。

光学系制御部１８３は、アクチュエータや電磁コイル等を有し、制御部１５１に制御され、それらによって光学系１８２を制御することにより、投影光の焦点距離、露出、投影方向、投影画角等を制御する。

カメラモジュール１２２の光学系制御部１９１は、アクチュエータや電磁コイル等を有し、制御部１５１に制御され、それらによって光学系１９２を制御することにより、入射光の焦点距離や露出、撮像の方向や画角等を制御する。

光学系１９２は、例えば複数のレンズや絞り等を有し、撮像部１９３に入射される入射光に対して光学的影響を付与する。例えば、光学系１９２は、入射光の焦点距離や露出、撮像の方向や画角等を制御する。

撮像部１９３は、イメージセンサを有し、そのイメージセンサにより、光学系１９２を介して入射される入射光を光電変換することにより、装置外部の被写体を撮像し、撮像画像を生成する。撮像部１９３は、得られた撮像画像のデータを画像処理部１５２に供給する。つまり、撮像部１９３は、撮像機能（センサ機能）を実現する。例えば、撮像部１９３は、投影部１８１が画像投影面１１１に投影した投影画像１１２を撮像する。なお、撮像部１９３が有するイメージセンサは任意であり、例えば、CMOS（Complementary Metal Oxide Semiconductor）を用いたCMOSイメージセンサであってもよいし、CCD（Charge Coupled Device）を用いたCCDイメージセンサであってもよい。

制御部１５１は、CPU（Central Processing Unit）、ROM（Read Only Memory）、RAM（Random Access Memory）等を内蔵し、プログラムを実行したりデータを処理したりすることにより、投影撮像装置１０１内の各処理部の制御に関する処理を行う。つまり、投影撮像装置１０１の各処理部は、この制御部１５１の制御の下、投影や撮像等に関する処理を行う。

例えば、制御部１５１は、コントローラ１０２から供給される投影に関する制御情報を、通信部１６４を介して取得する。例えば、制御部１５１は、その制御情報に基づいて、画像処理部１５２を制御し、投影する画像に対して所定の画像処理を行わせる。また、例えば、制御部１５１は、その制御情報に基づいて、プロジェクタモジュール１２１の投影部１８１を制御し、画像の投影を行わせたりする。さらに、例えば、制御部１５１は、その制御情報に基づいて、プロジェクタモジュール１２１の光学系制御部１８３を制御し、投影光の焦点距離、露出、投影方向、投影画角等を制御する。

また、例えば、制御部１５１は、コントローラ１０２から供給される撮像に関する制御情報を、通信部１６４を介して取得する。例えば、制御部１５１は、その制御情報に基づいて、カメラモジュール１２２の光学系制御部１９１を制御し、入射光の焦点距離や露出、撮像の方向や画角等を制御する。また、例えば、制御部１５１は、その制御情報に基づいて、カメラモジュール１２２の撮像部１９３を制御し、撮像を行わせたりする。さらに、例えば、制御部１５１は、その制御情報に基づいて、画像処理部１５２を制御し、撮像画像に対して所定の画像処理を行わせる。

画像処理部１５２は、投影する画像や、撮像して得られた撮像画像に対する画像処理を行う。例えば、画像処理部１５２は、コントローラ１０２から供給される画像データを、通信部１６４を介して取得し、それをメモリ１５３に保持させる。また、画像処理部１５２は、例えば、撮像部１９３から供給される撮像画像のデータ（撮像画像データ）を取得し、それをメモリ１５３に保持させる。画像処理部１５２は、例えば、メモリ１５３に保持されている画像データや撮像画像データを読み出し、画像処理を行う。画像処理の内容は任意であり、例えば、切り取りや合成等の加工や、パラメータ調整等を含む。画像処理部１５２は、例えば、画像処理後の画像データや撮像画像データをメモリ１５３に保持させる。

また、画像処理部１５２は、例えば、メモリ１５３に保持されている画像データを読み出し、所望のプロジェクタモジュール１２１の投影部１８１に供給し、その画像を投影させる。また、画像処理部１５２は、例えば、メモリ１５３に保持されている撮像画像データを読み出し、通信部１６４を介してコントローラ１０２に供給する。

メモリ１５３は、画像処理部１５２が処理する画像データや撮像画像データを記憶し、画像処理部１５２の要求等に基づいて、記憶している画像データや撮像画像データを画像処理部１５２に供給する。

入力部１６１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部１６１には、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサが入力部１６１に含まれるようにしてもよい。出力部１６２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部１６２には、ディスプレイ、スピーカ、出力端子等が含まれる。

記憶部１６３は、プログラムやデータ等の情報を記憶する記憶媒体よりなる。例えば、記憶部１６３には、ハードディスク、RAMディスク、不揮発性メモリ等が含まれる。通信部１６４は、所定の通信媒体を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスよりなる。通信部１６４は、例えば、ネットワークインタフェースよりなる。例えば、通信部１６４にはケーブル１０３が接続される。通信部１６４は、そのケーブル１０３を介してコントローラ１０２と通信（プログラムやデータ等の授受）を行う。

ドライブ１６５は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア１７１に記憶されている情報（プログラムやデータ等）を読み出す。ドライブ１６５は、リムーバブルメディア１７１から読み出した情報を制御部１５１に供給する。また、ドライブ１６５は、書き込み可能なリムーバブルメディア１７１が自身に装着された場合、制御部１５１を介して供給される情報（プログラムやデータ等）を、そのリムーバブルメディア１７１に記憶させることができる。

＜コントローラの構成＞
図１０は、コントローラ１０２の主な構成例を示すブロック図である。図１０に示されるように、コントローラ１０２において、CPU２０１、ROM２０２、RAM２０３は、バス２０４を介して相互に接続されている。

バス２０４にはまた、入出力インタフェース２１０も接続されている。入出力インタフェース２１０には、入力部２１１、出力部２１２、記憶部２１３、通信部２１４、およびドライブ２１５が接続されている。

入力部２１１は、ユーザ入力等の外部の情報を受け付ける入力デバイスよりなる。例えば、入力部２１１には、キーボード、マウス、操作ボタン、タッチパネル、カメラ、マイクロホン、入力端子等が含まれる。また、加速度センサ、光センサ、温度センサ等の各種センサや、バーコードリーダ等の入力機器が入力部２１１に含まれるようにしてもよい。出力部２１２は、画像や音声等の情報を出力する出力デバイスよりなる。例えば、出力部２１２には、ディスプレイ、スピーカ、出力端子等が含まれる。

記憶部２１３は、プログラムやデータ等の情報を記憶する記憶媒体よりなる。例えば、記憶部２１３には、ハードディスク、RAMディスク、不揮発性メモリ等が含まれる。通信部２１４は、所定の通信媒体を介して外部の装置とプログラムやデータ等の情報を授受する通信を行う通信デバイスよりなる。通信部２１４は、例えば、ネットワークインタフェースよりなる。例えば、通信部２１４にはケーブル１０３が接続される。通信部２１４は、そのケーブル１０３を介して投影撮像装置１０１と通信（プログラムやデータの授受）を行う。

ドライブ２１５は、自身に装着された、例えば、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア２２１に記憶されている情報（プログラムやデータ等）を読み出す。ドライブ２１５は、リムーバブルメディア２２１から読み出した情報をCPU２０１やRAM２０３等に供給する。また、ドライブ２１５は、書き込み可能なリムーバブルメディア２２１が自身に装着された場合、CPU２０１やRAM２０３等から供給される情報（プログラムやデータ等）を、そのリムーバブルメディア２２１に記憶させることができる。

CPU２０１は、例えば、記憶部２１３に記憶されているプログラムを、入出力インタフェース２１０およびバス２０４を介して、RAM２０３にロードして実行することにより、各種処理を行う。RAM２０３にはまた、CPU２０１が各種の処理を実行する上において必要なデータなども適宜記憶される。

＜機能ブロックの構成＞
図１１は、コントローラ１０２において実現される主な機能の例を示す機能ブロック図である。図１１に示されるように、コントローラ１０２は、補正パラメータ設定部２３１、画像全体用モジュール選択部２３２、画像全体用制御パラメータ設定部２３３、注目領域設定部２３４、注目領域用モジュール選択部２３５、注目領域用制御パラメータ設定部２３６、光学系制御部２３７、画像処理部２３８、画像投影制御部２３９、撮像制御部２４０等の機能ブロックを実現する。

補正パラメータ設定部２３１は、各プロジェクタモジュール１２１の投影画像の補正パラメータの設定に関する処理を行う。画像全体用モジュール選択部２３２は、画像全体の投影（つまり第１の画像の投影）に用いるプロジェクタモジュール１２１の選択に関する処理を行う。画像全体用制御パラメータ設定部２３３は、画像全体の投影（つまり第１の画像の投影）に関する各プロジェクタモジュールの制御パラメータの設定に関する処理を行う。

注目領域設定部２３４は、注目領域の設定に関する処理を行う。注目領域用モジュール選択部２３５は、注目領域に対する画像の投影（つまり第２の画像の投影）に用いるプロジェクタモジュール１２１の選択に関する処理を行う。注目領域用制御パラメータ設定部２３６は、注目領域に対する画像の投影（つまり第２の画像の投影）に関する各プロジェクタモジュールの制御パラメータの設定に関する処理を行う。

光学系制御部２３７は、プロジェクタモジュール１２１の光学系制御部１８３やカメラモジュール１２２の光学系制御部１９１の制御に関する処理を行う。画像処理部２３８は、画像処理部１５２の制御に関する処理を行う。画像投影制御部２３９は、プロジェクタモジュール１２１の投影部１８１の制御に関する処理を行う。撮像制御部２４０は、カメラモジュール１２２の撮像部１９３の制御に関する処理を行う。

コントローラ１０２のCPU２０１がRAM２０３や記憶部２１３等から読み出したプログラムを、RAM２０３を利用して実行したり、プログラムを実行して生成したり、RAM２０３や記憶部２１３等から読み出したりしたデータを、RAM２０３を利用して処理したりすることにより、これらの機能が実現される。

＜システム制御処理の流れ＞
このコントローラ１０２が、これらの機能ブロックを用いて実行するシステム制御処理の流れの例を、図１２のフローチャートを参照して説明する。

システム制御処理が開始されると、補正パラメータ設定部２３１は、ステップＳ１０１において、各プロジェクタモジュールの補正パラメータを設定する。各プロジェクタモジュール１２１の投影画像の補正としては、例えば、プロジェクタモジュールの個体差を是正する補正（輝度、ガンマ、ブライトネス、コントラスト、ホワイトバランス、色味等の補正等）、オーバーラップ領域に関する補正（レベル補正、歪み補正等）、画像投影面１１１の形状に基づく補正（射影変換（平面、球面、シリンドリカル、多項式曲線）等）等がある。もちろん、補正の内容は任意であり、これらの例以外の補正が行われるようにしてもよい。補正パラメータ設定部２３１は、このような補正に用いられる（補正結果に相当する）パラメータである補正パラメータを設定する。

ステップＳ１０２において、画像全体用モジュール選択部２３２は、大きな投影画像を形成するための画像投影である画像全体投影（すなわち、第１の画像の投影）に割り当てるプロジェクタモジュール１２１を選択する。例えば、図８の例の場合、大きな投影画像１３１を形成するための画像全体投影には、プロジェクタモジュール１２１−１、プロジェクタモジュール１２１−３、プロジェクタモジュール１２１−６、プロジェクタモジュール１２１−８が割り当てられている。なお、どのプロジェクタモジュール１２１を画像全体投影に割り当てるかは任意であり、図８の例以外であってもよい。また、いくつのプロジェクタモジュール１２１を画像全体投影に割り当てるかも任意であり、図８の例以外であってもよい。

ステップＳ１０３において、画像全体用制御パラメータ設定部２３３は、画像全体投影に割り当てた各プロジェクタモジュール１２１の光学系制御や画像処理に用いられる制御パラメータを設定する。画像全体用制御パラメータ設定部２３３は、画像全体投影に割り当てた各プロジェクタモジュール１２１同士の相対位置関係、各プロジェクタモジュール１２１の投影画像１１２のレイアウトパターン、ステップＳ１０１において設定された各プロジェクタの補正パラメータ等に基づいて、画像全体投影に割り当てた各プロジェクタモジュール１２１用の制御パラメータを設定する。この制御パラメータには、例えば、図１３に示されるように、投影方向や画角の制御、キーストン補正、ブレンディング補正、輝度や色の調整等に用いられる制御パラメータ等が含まれる。もちろん、この処理において設定される制御パラメータは任意であり、図１３の例に限定されない。

ステップＳ１０４において、注目領域設定部２３４は、画像全体（大きな投影画像）の一部を注目領域として設定する。この注目領域の位置、大きさ、形状は任意である。また、この注目領域の設定方法は任意である。例えば、注目領域設定部２３４が、第１の画像のヒストグラムを用いて、大きな投影画像の、輝度レベルが所望の範囲内（例えば、所定の基準レベルより大きい等）となる領域を注目領域として設定するようにしてもよい。また、例えば、注目領域設定部２３４が、第１の画像の直交変換係数等を用いて、大きな投影画像の、空間周波数が所望の範囲内（例えば、所定の基準レベルより高周波である等）となる領域を注目領域として設定するようにしてもよい。さらに、例えば、注目領域設定部２３４が、第１の画像の色分布等を用いて、大きな投影画像の、各色成分が所望の範囲内（例えば、所定の色である等）となる領域を注目領域として設定するようにしてもよい。つまり、注目領域設定部２３４が、第１の画像に対する特性パラメータが所望の範囲内である領域を注目領域に設定するようにしてもよい。この特性パラメータは、任意である。例えば、この特性パラメータが、上述した、輝度レベル、空間周波数、色成分等であってもよいし、それら以外であってもよい。また、複数の特性パラメータに基づいて注目領域の設定が行われるようにしてもよい。

さらに、例えば、注目領域設定部２３４が、第１の画像内に含まれる各オブジェクトまでの距離（奥行き方向の距離）を検出し、大きな投影画像の、そのオブジェクトまでの距離が所望の範囲内（例えば、所定の基準距離よりも近い等）のオブジェクトを含む領域を注目領域として設定するようにしてもよい。さらに、例えば、注目領域設定部２３４が、第１の画像に対して人物検出や顔検出等の特徴検出を行い、大きな投影画像の、その特徴が検出された領域（例えば人物や顔等が検出された領域）を注目領域として設定するようにしてもよい。さらに、例えば、注目領域設定部２３４が、第１の画像に対して動体検出を行い、大きな投影画像の、動体が検出された領域を注目領域として設定するようにしてもよい。さらに、例えば、注目領域設定部２３４が、その動体が検出された領域を注目領域から除外するようにしてもよい。

また、例えば、大きな投影画像の、第１の画像の所定のオブジェクトを含む領域を注目領域として設定するようにしてもよい。例えば、この第１の画像がCG（Computer Graphics）画像のように、画像内に含まれるオブジェクトを識別（抽出）可能である場合、注目領域設定部２３４が、大きな投影画像の、その識別（抽出）したオブジェクトを含む領域を注目領域とするようにしてもよい。例えば、第１の画像が複数のレイヤにより構成される場合、注目領域設定部２３４が、大きな投影画像の、所望のレイヤに含まれるオブジェクトを含む領域を注目領域とするようにしてもよい。

さらに、例えば、注目領域設定部２３４が、大きな投影画像の、外部から指定された領域を注目領域として設定するようにしてもよい。例えば、注目領域設定部２３４が、大きな投影画像の、ユーザ等がポインタ等により指定した領域を注目領域として設定するようにしてもよい。

また、例えば、注目領域設定部２３４が、大きな投影画像の、予め定められた所定の部分を注目領域として設定するようにしてもよい。

さらに、上述した方法を複数組み合わせて用いるようにしてもよいし、上述した方法と上述した方法以外の方法とを組み合わせて用いるようにしてもよい。

ステップＳ１０５において、注目領域設定部２３４は、注目領域が存在するか否かを判定する。ステップＳ１０４の処理により注目領域が設定され、存在すると判定された場合、処理はステップＳ１０６に進む。

ステップＳ１０６において、注目領域用モジュール選択部２３５は、ステップＳ１０４において設定された注目領域への画像（第２の画像）の投影に割り当てるプロジェクタモジュール１２１を選択する。つまり、注目領域用モジュール選択部２３５は、上述した大きな投影画像よりも小さな投影画像を注目領域に形成するための画像投影に割り当てるプロジェクタモジュール１２１を選択する。注目領域用モジュール選択部２３５は、ステップＳ１０２において選択されたプロジェクタモジュール１２１以外の中から、注目領域への画像投影に割り当てるプロジェクタモジュール１２１を選択する。

ステップＳ１０７において、注目領域用制御パラメータ設定部２３６は、注目領域に割り当てた各プロジェクタモジュールの制御パラメータを設定する。この制御パラメータは、ステップＳ１０３の処理により設定される制御パラメータと同様である。

なお、この注目領域への画像投影に対するプロジェクタモジュール１２１の割り当てを、ステップＳ１０２における画像全体投影に対するプロジェクタモジュール１２１の割り当てよりも優先させるようにしてもよい。その場合、例えば、先に、ステップＳ１０４乃至ステップＳ１０７の各処理を、ステップＳ１０２およびステップＳ１０３の処理の前に行うようにすればよい。

ステップＳ１０７の処理が終了すると処理はステップＳ１０８に進む。また、ステップＳ１０５において、注目領域が存在しないと判定された場合、処理はステップＳ１０８に進む。

ステップＳ１０８において、光学系制御部２３７は、ステップＳ１０３において設定された制御パラメータやステップＳ１０７において設定された制御パラメータを用いて、各プロジェクタモジュール１２１の光学系制御部１８３を制御することにより、画像投影の方向や画角等を制御する。

ステップＳ１０９において、画像投影制御部２３９は、画像を各プロジェクタモジュール１２１に供給し、表示させる。また、画像処理部２３８は、適宜、各プロジェクタモジュール１２１の画像処理部１５２を制御して画像処理を行わせ、投影する画像（第１の画像や第２の画像）を補正・編集（加工）させる。

ステップＳ１１０において、画像投影制御部２３９は、システム制御処理を終了するか否かを判定する。例えば、投影する画像が動画像であり、次フレーム以降についても同様の制御処理を行うため、システム制御処理を終了しないと判定された場合、処理はステップＳ１０２に戻り、その次のフレームの画像に対してそれ以降の処理を繰り返す。

つまり、動画像を投影する場合、処理対象のフレームの画像に対してステップＳ１０２乃至ステップＳ１１０の処理が実行される。これらの処理は、動画像の各フレームに対して行われるようにしてもよいし、数フレーム毎等のように一部のフレームに対して行われるようにしてもよい。つまり、注目領域の設定やその注目領域に対する第２の画像の投影は、１フレーム毎に更新されるようにしてもよい、複数フレーム毎に更新されるようにしてもよいし、不定期に更新されるようにしてもよいし、更新されないようにしてもよい。

画像の投影が終了する等して、ステップＳ１１０においてシステム制御処理を終了すると判定された場合、システム制御処理が終了する。

なお、ステップＳ１０８の処理とステップＳ１０９の処理は、互いに並行して（並列的に）実行することができる。つまり、画像の投影を行いながらその画像投影の方向や画角等の制御を行うことができる。付言するに、ステップＳ１０８の光学系の制御は、ステップＳ１０２乃至ステップＳ１１０の各処理と並行して（並列的に）実行することができる。つまり、ステップＳ１０８の光学系の制御は、投影する動画像のフレームタイミングとは独立に行うことができる。例えば、ステップＳ１０２乃至ステップＳ１１０の処理が数フレーム毎に実行される場合、ステップＳ１０８の処理は、その数フレームの間の任意のタイミングにおいて行われるようにしてもよい。

なお、以上の各処理において、カメラモジュール１２２が撮像した撮像画像を利用するようにしてもよい。例えば、ステップＳ１０１の補正パラメータの設定、ステップＳ１０３の制御パラメータの設定、ステップＳ１０４の注目領域の設定、ステップＳ１０７の制御パラメータの設定、ステップＳ１０８の制御処理、ステップＳ１０９の制御処理等において、撮像制御部２４０が、カメラモジュール１２２の各部を制御し、画像投影面１１１の投影画像１１２を撮像し、各処理部が、その撮像画像を利用するようにしてもよい。

以上のようにシステム制御処理を実行することにより、投影撮像システム１００は、投影画像の特性を局所的に変化させることができる。

＜投影画像の例＞
次にこのような投影撮像システム１００により得られる投影画像の例について説明する。図１４のＡの例の場合、投影画像１１２−１、投影画像１１２−３、投影画像１１２−６、投影画像１１２−８により大きな投影画像（第１の画像の投影画像）が形成され、その大きな投影画像の絵柄の中で、例えばオブジェクトまでの距離が近い、人物とバイクを含む領域が注目領域として設定されている。つまり、投影画像１１２−２、投影画像１１２−４、投影画像１１２−５、投影画像１１２−７により小さな投影画像（第２の画像の投影画像）が形成されている。例えば、投影画像１１２−２、投影画像１１２−４、投影画像１１２−５、投影画像１１２−７を、投影画像１１２−１、投影画像１１２−３、投影画像１１２−６、投影画像１１２−８と同等の解像度とすると、注目領域の小さな投影画像の解像度が、その他の領域の画像の解像度よりも高くなる。したがって、投影画像において、より手前に位置する人物やバイクをより高解像度に表現することができる。また、投影画像を重ねることにより、その注目領域の輝度がその他の領域よりも高くなる。したがって、投影画像において、より手前に位置する人物やバイクをより明るく表現することができる。このようにすることにより、自然に注目領域（人物やバイク）の注目度がその他の領域（すなわち背景）よりも高くなる（すなわち、注目領域に注目を促す）ように、投影画像を表示することができる。

図１４のＢの例の場合、投影画像１１２−１、投影画像１１２−３、投影画像１１２−６、投影画像１１２−８により大きな投影画像（第１の画像の投影画像）が形成され、その大きな投影画像の絵柄の中で、動体が検出され、動体として検出された選手とボールとを含む領域が注目領域として設定されている。つまり、投影画像１１２−２、投影画像１１２−４、投影画像１１２−５、投影画像１１２−７により小さな投影画像（第２の画像の投影画像）が形成されている。このように、１つの大きな投影画像に対して複数の注目領域を設定することもできる。

図１５のＡの例の場合、投影画像１１２−１が部屋空間の正面の壁の一部と天井の一部に投影され、投影画像１１２−３が部屋空間の正面の壁の一部と右側面の壁の一部に投影され、投影画像１１２−６が部屋空間の正面の壁の一部と左側面の壁の一部に投影され、投影画像１１２−８が部屋空間の正面の壁の一部と床の一部に投影されており、部屋空間の正面、天井の一部、右側面の壁の一部、左側面の壁の一部、床の一部にわたる大きな投影画像（第１の画像の投影画像）が形成されている。そして、この部屋空間の正面の壁が注目領域に設定されており、この正面の壁に、投影画像１１２−２、投影画像１１２−４、投影画像１１２−５、投影画像１１２−７が形成されている。このようにすることにより、画像の投影範囲を側面や天井や床にまで広げ、没入感を向上させるとともに、ユーザの視界の中心付近に位置する正面の壁の投影画像（すなわち主要な画像範囲）の輝度や解像度を十分に高くし、画質の低減を抑制することができる。

なお、図１５のＢの例のように、画像投影面（壁など）が曲面であっても同様な投影画像を形成することができる。

以上のように、局所的に輝度や解像度等を高くすることにより、より重要な領域（注目領域）に対する注目度を向上させる（視覚的に目立つようにする）ことができる。換言するに、より重要な領域（注目領域）のみ高画質化し、それ以外の重要でない領域（注目領域以外）について画質を低減させる（輝度や解像度を低くする）ことができる。つまり、投影画像全体を高画質化する必要がないので、その分、投影撮像装置１０１に必要な画像投影性能を低減させることができ、より安価に投影撮像システム１００を実現することができる。また、注目領域以外を低画質化することができるので画像投影に必要な消費電力の増大を抑制することができる。

なお、注目領域を他の領域よりも低画質化するようにしてもよい。例えば、第２の画像として、他の領域よりも低解像度の画像や焦点がぼけた画像を投影したり、位置をずらして投影したり、グレー画像やモザイク加工された画像を投影したりしてもよい。このようにすることにより、注目領域に対する注目度を低減させるようにすることもできる。また、例えば、境界線を注目領域としてこのように低画質化することにより、アンチエイリアシング効果を実現することができる。

また、第２の画像として注目領域に対して第１の画像と全く異なる絵柄の画像を投影するようにしてもよい。例えば、図１６のＡに示されるように、第１の画像３０１の一部に、字幕、メニュー画面、データ画面のようなデジタル画像を第２の画像３０２として重畳させるようにしてもよい。これにより、例えば、クローズドキャプションやオンスクリーンディスプレイ等を実現することができる。また、その際、第２の画像３０２を上述したように高解像度化することができるので、第２の画像３０２の細かい文字等が潰れないようにすることができる。

また、例えば、図１６のＢに示されるように、第１の画像３１１の一部に、第２の画像３１２のとして所謂ワイプ画像を重畳させるようにしてもよい。これにより、例えば、ピクチャインピクチャを実現することができる。また、その際、第２の画像３１２を上述したように高解像度化することができるので、この第２の画像３１２において、従来の低解像度のワイプ画像では表現できなかった小さな画像もより鮮明に表示させることができる。

さらに、注目領域の輝度を高めることにより、ハイダイナミックレンジを実現することもできる。例えば、図１６のＣに示されるように、第１の画像３２１の太陽のような光源を注目領域とし、その注目領域に高輝度の第２の画像３２２を重畳させるようにしてもよい。このようにすることにより、第１の画像３２１の暗い部分と、第２の画像３２２とのコントラスト比がより大きくなり、ハイダイナミックレンジを実現することができる。

また、第１の画像の注目領域に、第１の画像の色域と異なる色域の第２の画像を重畳することにより、投影画像の色域を拡張することもできる。図１７のＡの例の場合、第１の画像を投影するプロジェクタモジュール１２１−１（ＰＪ１）は、（Ｒ１、Ｇ１、Ｂ１）にピークを持つ色成分の画像を注目領域に投影し、第２の画像を投影するプロジェクタモジュール１２１−２（ＰＪ２）は、その同じ場所に、（Ｒ２、Ｇ２、Ｂ２）にピークを持つ色成分の画像を投影している。このようにすることにより、投影撮像装置１０１の画像投影性能を超える投影画像の投影を実現することができる。

また、例えば、図１７のＢのように、第１の画像と第２の画像との表示タイミングを変えることにより、ハイフレームレートを実現することができる。特に、局所的なハイフレームレートを実現することができる。図１７のＢは、第１の画像を投影するプロジェクタモジュール１２１−１（ＰＪ１）の同期タイミングと、第２の画像を投影するプロジェクタモジュール１２１−２（ＰＪ２）の同期タイミングの例を示している。この例の場合、互いのプロジェクタモジュール１２１の投影タイミングが半周期ずれているので、注目領域においては、第１の画像と第２の画像とが交互に表示されることになる。したがって、局所的なハイフレームレートの投影が実現される。

なお、このとき、注目領域における第１の画像と第２の画像とで一部の水平画素ラインを間引くようにしてもよい。例えば、第１の画像において奇数画素ラインが投影され、第２の画像において偶数画素ラインが投影されるようにしてもよい。また、複数ライン毎に間引くようにしてもよい。また、例えば、水平画素ラインではなく垂直画素ラインを間引くようにしてもよい。さらに、例えば、水平画素ラインではなく、部分領域を間引くようにしてもよい。

また、このようなハイフレームレートを利用して、視差を有する立体視用画像を投影するようにしてもよい。例えば、注目領域について、第１の画像として右眼用画像を投影し、第２の画像として左眼用画像を投影するようにしてもよい。このようにすることにより、局所的な立体視用画像の投影を実現することができる。

また、換言するに、第１の画像の投影タイミングと第２の画像の投影タイミングは、互いに一致していなくてもよい。つまり、さらに換言するに、第１の画像が投影されていない状態で、第２の画像のみを、その投影位置、大きさ、形状等を制御しながら、投影するようにしてもよい。例えば、第２の画像を移動させながら投影するようにしてもよい。

＜投影撮像装置の他の構成例＞
投影撮像システム１００の構成は、上述した例に限定されない。例えば、投影撮像装置１０１の各モジュールの配置は、図２の例に限定されない。例えば、図１８のＡのように、カメラモジュール１２２が３×３構成の中央に配置されていなくてもよい。また、図１８のＢの例のように、カメラモジュール１２２を複数有するようにしてもよい。図１８のＢの例の場合、３×３構成の中断の左右にカメラモジュール１２２−１およびカメラモジュール１２２−２が配置されている。このように複数のカメラモジュール１２２を用いることにより、各カメラモジュール１２２の視差を用いて撮像画像から画像投影面１１１までの距離をより容易に計測することができるので、コントローラ１０２は、補正パラメータや制御パラメータの設定を、より容易かつより正確に行うことができる。もちろん、この場合の各カメラモジュール１２２の配置位置は任意であり、図１８のＢの例に限定されない。

また、投影撮像装置１０１のモジュール構成は任意であり３×３に限定されない。例えば、図１８のＣの例のように、投影撮像装置１０１が、プロジェクタモジュール１２１−１、カメラモジュール１２２、プロジェクタモジュール１２１−２を有し、縦１×横３構成を形成するようにしてもよい。また、図１８のＤの例のように、縦３×横１構成を形成するようにしてもよい。また、図１８のＥの例のように、投影撮像装置１０１が、１０個のプロジェクタモジュール１２１−１と２個のカメラモジュール１２２を有し、縦３×横４構成を形成するようにしてもよい。

また、図１８のＦの例のように、各モジュールが互いに離れて配置されるようにしてもよい。その場合、例えば図示せぬ固定部材等によって互いの相対位置が固定されるようにしてもよいし、互いに独立して配置されるようにしてもよい。

また、図９の例では、投影撮像装置１０１において、各モジュールに共通の制御部１５１等が設けられるように説明したが、各モジュールが互いに独立に動作するようにしてもよい。

その場合のプロジェクタモジュール１２１の主な構成例を図１９に示す。図１９の例の場合、プロジェクタモジュール１２１は、制御部３５１、画像処理部３５２、メモリ３５３、投影部３５４、光学系３５５、光学系制御部３５６、入力部３６１、出力部３６２、記憶部３６３、通信部３６４、およびドライブ３６５を有する。

制御部３５１は、制御部１５１と同様の処理部である。画像処理部３５２は、画像処理部１５２と同様の処理部である。メモリ３５３は、メモリ１５３と同様の処理部である。投影部３５４は、投影部１８１と同様の処理部である。光学系３５５は、光学系１８２と同様の処理部である。光学系制御部３５６は、光学系制御部１８３と同様の処理部である。入力部３６１は、入力部１６１と同様の処理部である。出力部３６２は、出力部１６２と同様の処理部である。記憶部３６３は、記憶部１６３と同様の処理部である。通信部３６４は、通信部１６４と同様の処理部である。ドライブ３６５は、ドライブ１６５と同様の処理部であり、リムーバブルメディア１７１と同様のリムーバブルメディア３７１を装着することができる。

つまり、制御部３５１乃至ドライブ３６５の各処理部は、図９の対応する処理部と同様の処理を行う。ただし、図１９の各処理部は、撮像に関する制御処理や撮像画像に対する画像処理は行わない。

また、その場合のカメラモジュール１２２の主な構成例を図２０に示す。図２０の例の場合、カメラモジュール１２２は、制御部４０１、光学系制御部４０２、光学系４０３、撮像部４０４、画像処理部４０５、メモリ４０６、入力部４１１、出力部４１２、記憶部４１３、通信部４１４、およびドライブ４１５を有する。

制御部４０１は、制御部１５１と同様の処理部である。光学系制御部４０２は、光学系制御部１９１と同様の処理部である。光学系４０３は、光学系１９２と同様の処理部である。撮像部４０４は、撮像部１９３と同様の処理部である。画像処理部４０５は、画像処理部１５２と同様の処理部である。メモリ４０６は、メモリ１５３と同様の処理部である。入力部４１１は、入力部１６１と同様の処理部である。出力部４１２は、出力部１６２と同様の処理部である。記憶部４１３は、記憶部１６３と同様の処理部である。通信部４１４は、通信部１６４と同様の処理部である。ドライブ４１５は、ドライブ１６５と同様の処理部であり、リムーバブルメディア１７１と同様のリムーバブルメディア４２１を装着することができる。

つまり、制御部４０１乃至ドライブ４１５の各処理部は、図９の対応する処理部と同様の処理を行う。ただし、図２０の各処理部は、投影に関する制御処理や投影する画像に対する画像処理は行わない。

このように、プロジェクタモジュール１２１とカメラモジュール１２２とのそれぞれに制御部等を設けることにより、モジュール毎に独立に動作することができる。

＜投影撮像システムの他の構成例＞
また、図１においては、投影撮像装置１０１とコントローラ１０２とがケーブル１０３を介して互いに通信するように説明したが、投影撮像装置１０１とコントローラ１０２とが無線通信を行うようにしてもよい。その場合、ケーブル１０３は省略することができる。また、その場合、通信部１６４（通信部３６４）、通信部２１４（通信部４１４）は、例えば無線LAN（Local Area Network）、Bluetooth（登録商標）、IrDA（登録商標）等の無線通信を行うことができる。もちろん、これらの通信部が、有線通信と無線通信の両方を行うことができるようにしてもよい。

また、図１においては、投影撮像装置１０１とコントローラ１０２とが別体として構成されるように説明したが、これに限らず、図２１のＡに示されるように、投影撮像装置１０１とコントローラ１０２とが一体的に構成されるようにしてもよい。図２１のＡに示される、投影撮像装置４３１は、投影撮像装置１０１のプロジェクタモジュール１２１およびカメラモジュール１２２と、コントローラ１０２とが一体的に構成された装置であり、図１の投影撮像システム１００と同様の機能を有する。

また、図２１のＢに示されるように、投影撮像装置１０１とコントローラ１０２とが所定のネットワーク４４１を介して接続されるようにしてもよい。ネットワーク４４１は、通信媒体となる通信網である。ネットワーク４４１は、どのような通信網であってもよく、有線通信網であってもよいし、無線通信網であってもよいし、それらの両方であってもよい。例えば、有線LAN、無線LAN、公衆電話回線網、所謂3G回線や4G回線等の無線移動体用の広域通信網、またはインターネット等であってもよいし、それらの組み合わせであってもよい。また、ネットワーク４４１は、単数の通信網であってもよいし、複数の通信網であってもよい。また、例えば、ネットワーク４４１は、その一部若しくは全部が、例えばUSBケーブルやHDMI（登録商標）ケーブル等のような、所定の規格の通信ケーブルにより構成されるようにしてもよい。

さらに、図２１のＣに示されるように、投影撮像装置１０１の各モジュールが互いに独立に動作し、コントローラ１０２が省略され、いずれかのモジュールにおいて、コントローラ１０２と同様の処理を行うようにしてもよい。図２１のＣの例の場合、プロジェクタモジュール１２１−１乃至プロジェクタモジュール１２１−８と、カメラモジュール１２２とが互いに独立して動作し、各モジュールがネットワーク４４１を介して通信可能に接続されている。これらのモジュールの内、プロジェクタモジュール１２１−８がマスタとなり、コントローラ１０２と同様の処理を行い、他のモジュールを制御する。なお、各モジュールは、一体的に構成されるようにしてもよいし、モジュール毎に１つの装置として構成されるようにしてもよい。

なお、図１においては、投影撮像システム１００が、１つの投影撮像装置１０１と１つのコントローラ１０２を有するように説明したが、投影撮像装置１０１とコントローラ１０２の数はそれぞれ任意であり、複数であってもよい。

また、以上においては、投影撮像装置１０１が投影する画像（第１の画像や第２の画像）をコントローラ１０２が提供するように説明したが、この画像（第１の画像や第２の画像）の提供元は任意であり、コントローラ１０２以外であってもよい。例えば、コンテンツサーバのような、投影撮像装置１０１とコントローラ１０２以外の他の装置から供給されるようにしてもよいし、投影撮像装置１０１がコンテンツデータを予め記憶しているようにしてもよい。

＜投影部の他の構成例＞
投影部１８１は、レーザ光を光源としてもよい。その場合の投影部１８１の主な構成例を図２２に示す。図２２において、投影部１８１は、ビデオプロセッサ４５１、レーザドライバ４５２、レーザ出力部４５３−１、レーザ出力部４５３−２、レーザ出力部４５３−３、ミラー４５４−１、ミラー４５４−２、ミラー４５４−３、MEMS（Micro Electro Mechanical Systems）ドライバ４５５、および、MEMSミラー４５６を有する。

ビデオプロセッサ４５１は、画像処理部１５２から供給される画像を保持したり、その画像に対して必要な画像処理を行ったりする。ビデオプロセッサ４５１は、その投影する画像をレーザドライバ４５２やMEMSドライバ４５５に供給する。

レーザドライバ４５２は、ビデオプロセッサ４５１から供給される画像を投影するように、レーザ出力部４５３−１乃至レーザ出力部４５３−３を制御する。レーザ出力部４５３−１乃至レーザ出力部４５３−３は、例えば、赤、青、緑等、互いに異なる色（波長域）のレーザ光を出力する。つまり、レーザドライバ４５２は、ビデオプロセッサ４５１から供給される画像を投影するように、各色のレーザ出力を制御する。なお、レーザ出力部４５３−１乃至レーザ出力部４５３−３を互いに区別して説明する必要が無い場合、レーザ出力部４５３と称する。

ミラー４５４−１は、レーザ出力部４５３−１から出力されるレーザ光を反射し、MEMSミラー４５６に誘導する。ミラー４５４−２は、レーザ出力部４５３−２から出力されるレーザ光を反射し、MEMSミラー４５６に誘導する。ミラー４５４−３は、レーザ出力部４５３−３から出力されるレーザ光を反射し、MEMSミラー４５６に誘導する。なお、ミラー４５４−１乃至ミラー４５４−３を互いに区別して説明する必要が無い場合、ミラー４５４と称する。

MEMSドライバ４５５は、ビデオプロセッサ４５１から供給される画像を投影するように、MEMSミラー４５６のミラーの駆動を制御する。MEMSミラー４５６は、MEMSドライバ４５５の制御に従ってMEMS上に取り付けられたミラー（鏡）を駆動することにより、例えば、図２３の例のように各色のレーザ光を走査する。このレーザ光は、光出射部１２１Ａから装置外部に出力され、例えば画像投影面１１１に照射される。これにより、ビデオプロセッサ４５１から供給される画像が画像投影面１１１に投影される。

なお、図２２の例においては、レーザ出力部４５３を３つ設け、３色のレーザ光を出力するように説明したが、レーザ光の数（または色数）は任意である。例えば、レーザ出力部４５３を４つ以上であってもよいし、２つ以下であってもよい。つまり、投影撮像装置１０１（投影部１８１）から出力されるレーザ光は、２本以下であってもよいし、４本以上であってもよい。そして、投影撮像装置１０１（投影部１８１）から出力されるレーザ光の色数も任意であり、２色以下であってもよいし、４色以上であってもよい。また、ミラー４５４やMEMSミラー４５６の構成も任意であり、図２２の例に限定されない。もちろん、レーザ光の走査パターンは任意である。

＜プロジェクタモジュール間の同期＞
このようなMEMSを用いた投影部１８１の場合、MEMSがデバイスの共振動作を行うので、投影撮像装置１０１の各モジュールは、外部の同期信号で駆動することができない。モジュール間で同期が正しくとれないと、映像ボケや残像が発生し、投影画像の画質が低減するおそれがある。

そこで、例えば、図２４に示されるように、コントローラ１０２が、各プロジェクタモジュール１２１から同期信号（水平同期信号や垂直同期信号）を取得し、全てのプロジェクタモジュール１２１の同期信号（例えば垂直同期信号）が一致するタイミングにおいて第１の画像や第２の画像の投影を行わせるように、各プロジェクタモジュールを制御するようにしてもよい。

＜プロジェクタモジュール制御処理の流れ＞
この場合のコントローラ１０２により実行されるプロジェクタモジュール制御処理の流れの例を図２５のフローチャートを参照して説明する。

プロジェクタモジュール制御処理が開始されると、画像処理部２３８は、ステップＳ１３１において、外部の同期信号に同期して新フレームの画像データを外部から取得する。ステップＳ１３２において、画像処理部２３８は、ステップＳ１３１において取得した新フレームの画像データを、記憶部２１３等に記憶する。

ステップＳ１３３において、画像投影制御部２３９は、各プロジェクタモジュール１２１から水平や垂直の同期信号を取得し、全てのプロジェクタモジュール１２１の同期タイミングが一致したか否かを判定する。一致したと判定された場合、処理はステップＳ１３４に進む。

ステップＳ１３４において、画像投影制御部２３９は、その同期タイミングに応じたタイミングで、記憶部２１３から新フレームの画像データを読み出し、その新フレームの画像データを、その新フレームの画像を投影する各プロジェクタモジュール１２１に供給する。ステップＳ１３５において、画像投影制御部２３９は、その同期タイミングに応じたタイミングで、各プロジェクタモジュール１２１に、供給した新フレームの画像を投影させる。ステップＳ１３５の処理が終了すると、処理はステップＳ１３７に進む。

また、ステップＳ１３３において、全てのプロジェクタモジュールの同期信号を検知していないと判定された場合、処理はステップＳ１３６に進む。ステップＳ１３６において、画像投影制御部２３９は、その同期タイミングに応じたタイミングで、各プロジェクタモジュール１２１に、現在のフレームの画像を投影させる。ステップＳ１３６の処理が終了すると、処理はステップＳ１３７に進む。

ステップＳ１３７において、画像投影制御部２３９は、プロジェクタモジュール制御処理を終了するか否かを判定する。まだ、動画像の投影が継続中であり、終了しないと判定された場合、処理はステップＳ１３１に戻り、新たなフレームに対して、それ以降の処理が実行される。

また、ステップＳ１３７において、例えば全フレームの投影が終了する等して、プロジェクタモジュール制御処理を終了すると判定された場合、プロジェクタモジュール制御処理が終了する。

以上のようにプロジェクタモジュール制御処理を実行することにより、コントローラ１０２は、各プロジェクタモジュール１２１に互いに同一のタイミングで画像を投影させることができ、映像ボケや残像等による投影画像の画質の低減を抑制することができる。

＜プロジェクタモジュールとカメラモジュールとの間の同期＞
また、このようなMEMSを用いた投影部１８１の場合、コントローラ１０２は、例えば、図２４に示されるように、カメラモジュール１２２が、いずれかのプロジェクタモジュール１２１が生成する同期信号（水平同期信号や垂直同期信号）に応じたタイミングにおいて撮像を行うように、各モジュールを制御するようにしてもよい。

例えば、プロジェクタモジュール１２１の画像投影タイミングと、カメラモジュール１２２の撮像タイミングとがずれていると、投影画像を撮像することが困難になるおそれがある。

そこで、図２４の例の場合、各プロジェクタモジュール１２１が生成する垂直同期信号を入力とするORゲート４６１が設けられており、そのORゲート４６１の出力が垂直同期信号としてカメラモジュール１２２に供給されている。したがって、カメラモジュール１２２は、いずれかのプロジェクタモジュール１２１の同期タイミングに対応するタイミングにおいて、撮像を行うことができる。

＜カメラモジュール制御処理の流れ＞
この場合のコントローラ１０２により実行されるカメラモジュール制御処理の流れの例を図２６のフローチャートを参照して説明する。

カメラモジュール制御処理が開始されると、撮像制御部２４０は、ステップＳ１５１において、各プロジェクタモジュール１２１から水平や垂直の同期信号を取得し、いずれかのプロジェクタモジュール１２１の同期タイミングと一致したか否かを判定する。一致したと判定された場合、処理はステップＳ１５２に進む。

ステップＳ１５２において、撮像制御部２４０は、その同期タイミングに応じたタイミングで、カメラモジュール１２２に撮像を行わせ、撮像画像を取り込ませる。ステップＳ１５３において、撮像制御部２４０は、その取り込んだ撮像画像データを、カメラモジュール１２２から取得する。

ステップＳ１５４において、画像処理部２３８は、その取得した撮像画像データを記憶部２１３等に記憶する。ステップＳ１５４の処理が終了すると、処理はステップＳ１５５に進む。また、ステップＳ１５１において、いずれのプロジェクタモジュール１２１の同期タイミングもとも一致していないと判定された場合、処理はステップＳ１５５に進む。

ステップＳ１５５において、画像処理部２３８は、カメラモジュール制御処理を終了するか否かを判定する。まだ、動画像の投影が継続中であり、終了しないと判定された場合、処理はステップＳ１５１に戻り、新たなフレームに対して、それ以降の処理が実行される。

また、ステップＳ１５５において、例えば全フレームの投影が終了する等して、カメラモジュール制御処理を終了すると判定された場合、カメラモジュール制御処理が終了する。

以上のようにカメラモジュール制御処理を実行することにより、コントローラ１０２は、各プロジェクタモジュール１２１の投影タイミングに応じたタイミングで撮像を行わせることができ、より正確に投影画像を含む撮像画像を得るようにすることができる。これにより、システム制御処理における、撮像画像を利用する各処理（例えば、パラメータの設定や、注目領域の検出等）をより適切に実行することができる。

＜注目領域の設定＞
また、MEMSを用いる投影部１８１の場合、レーザ光を走査して画像の投影を行うので、注目領域を矩形以外の形状に設定することができる。そこで、図２７の例のように、第１の画像において、所定の画像特性（例えば、輝度や空間周波数など）に応じた領域分割と統合とにより、注目領域を設定するようにしてもよい。図２７の例の場合、注目領域設定部２３４は、所定の画像特性が不均一な（十分に均一でない）領域を分割し、この分割を、全ての領域においてその画像特性が十分に均一となるまで再帰的に繰り返す。また、注目領域設定部２３４は、互いに隣接する領域間でその画像特性が互いに一致若しくは十分に近似する場合、それらの領域を統合する。つまり、注目領域設定部２３４は、統合後の領域においてその画像特性が十分に均一である場合、互いに隣接するそれらの領域を統合する。

このようにして、注目領域設定部２３４は、領域内において所定の画像特性が十分に均一であり、かつ、互いに隣接する領域間においてその画像特性が互いに一致しない（十分に近似しない）ように第１の画像の領域分割を行う。そして、注目領域設定部２３４は、それらの分割された領域の内、その画像特性が所望の範囲内である領域を注目領域として設定する。

＜注目領域設定処理の流れ＞
この場合の注目領域設定処理の流れの例を図２８のフローチャートを参照して説明する。注目領域設定処理が開始されると、注目領域設定部２３４は、ステップＳ１７１において、所定の画像特性が不均一（十分に均一でない）領域を分割する（例えば縦２×横２に４分割する）。

ステップＳ１７２において、注目領域設定部２３４は、分割後の全ての領域でその画像特性が十分に均一になったか否かを判定する。その画像特性が十分に均一でない領域が存在すると判定された場合、処理はステップＳ１７１に戻り、その領域に対して領域分割が行われる。

ステップＳ１７２において、分割後の全ての領域でその画像特性が十分に均一になったと判定された場合、処理はステップＳ１７３に進む。

ステップＳ１７３において、注目領域設定部２３４は、互いに隣接し、その画像特性が互いに一致する（若しくは十分に近似する）領域同士を統合する。

ステップＳ１７４において、注目領域設定部２３４は、互いに隣接する全ての領域間でその画像特性が互いに異なる（十分に近似しない）か否かを判定する。互いに隣接し、その画像特性が互いに一致する（若しくは十分に近似する）領域が存在すると判定された場合、処理はステップＳ１７３に戻り、その互いに隣接し、その画像特性が互いに一致する（若しくは十分に近似する）領域の統合が行われる。

ステップＳ１７４において、互いに隣接する全ての領域間でその画像特性が互いに異なる（十分に近似しない）と判定された場合、処理はステップＳ１７５に進む。

ステップＳ１７５において、注目領域設定部２３４は、以上のように設定された分割後の領域の内、その画像特性が所望の範囲内である領域を注目領域として設定する。

ステップＳ１７５の処理が終了すると、注目領域設定処理が終了する。

以上のように注目領域を設定することにより、注目領域設定部２３４は、画像特性がより均一な注目領域を設定することができる。

上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークや記録媒体からインストールされる。

この記録媒体は、例えば、図９、図１０、図１９、図２０等に示されるように、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されているリムーバブルメディア１７１、リムーバブルメディア２２１、リムーバブルメディア３７１、リムーバブルメディア４２１等により構成される。これらのリムーバブルメディアには、磁気ディスク（フレキシブルディスクを含む）や光ディスク（CD-ROMやDVDを含む）が含まれる。さらに、光磁気ディスク（MD（Mini Disc）を含む）や半導体メモリ等も含まれる。

その場合、例えば投影撮像装置１０１においては、プログラムは、そのリムーバブルメディア１７１をドライブ１６５に装着することにより、記憶部１６３にインストールすることができる。また、例えばコントローラ１０２においては、プログラムは、そのリムーバブルメディア２２１をドライブ２１５に装着することにより、記憶部２１３にインストールすることができる。さらに、例えばプロジェクタモジュール１２１においては、プログラムは、そのリムーバブルメディア３７１をドライブ３６５に装着することにより、記憶部３６３にインストールすることができる。さらに、例えばカメラモジュール１２２においては、プログラムは、そのリムーバブルメディア４２１をドライブ４１５に装着することにより、記憶部４１３にインストールすることができる。

また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、例えば投影撮像装置１０１においては、プログラムは、通信部１６４で受信し、記憶部１６３にインストールすることができる。また、例えばコントローラ１０２においては、プログラムは、通信部２１４で受信し、記憶部２１３にインストールすることができる。さらに、例えばプロジェクタモジュール１２１においては、プログラムは、通信部３６４で受信し、記憶部３６３にインストールすることができる。さらに、例えばカメラモジュール１２２においては、プログラムは、通信部４１４で受信し、記憶部４１３にインストールすることができる。

その他、このプログラムは、記憶部やROM等に、あらかじめインストールしておくこともできる。例えば投影撮像装置１０１の場合、プログラムは、記憶部１６３や制御部１５１に内蔵されるROM等に、あらかじめインストールしておくこともできる。また、例えばコントローラ１０２の場合、プログラムは、記憶部２１３やROM２０２等に、あらかじめインストールしておくこともできる。さらに、例えばプロジェクタモジュール１２１の場合、プログラムは、記憶部３６３や制御部３５１に内蔵されるROM等に、あらかじめインストールしておくこともできる。さらに、例えばカメラモジュール１２２の場合、プログラムは、記憶部４１３や制御部４０１に内蔵されるROM等に、あらかじめインストールしておくこともできる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、本明細書において、記録媒体に記録されるプログラムを記述するステップは、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。

また、上述した各ステップの処理は、上述した各装置、若しくは、上述した各装置以外の任意の装置において、実行することができる。その場合、その処理を実行する装置が、上述した、その処理を実行するのに必要な機能（機能ブロック等）を有するようにすればよい。また、処理に必要な情報を、適宜、その装置に伝送するようにすればよい。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

また、以上において、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、本技術は、１つの機能を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本技術は、これに限らず、このような装置またはシステムを構成する装置に搭載するあらゆる構成、例えば、システムLSI（Large Scale Integration）等としてのプロセッサ、複数のプロセッサ等を用いるモジュール、複数のモジュール等を用いるユニット、ユニットにさらにその他の機能を付加したセット等（すなわち、装置の一部の構成）として実施することもできる。

なお、本技術は以下のような構成も取ることができる。
（１） 第１の投影部を制御して、第１の画像を画像投影面に投影させ、第２の投影部を制御して、前記画像投影面に対して前記第１の投影部により投影された前記第１の画像内の所定の部分領域である注目領域に、前記第２の画像を投影させる制御部
を備える情報処理装置。
（２） 前記制御部は、前記第２の画像として、前記第１の画像の前記注目領域に投影される部分画像、または前記部分画像のパラメータを変更した画像を、前記注目領域に投影させる
（１）に記載の情報処理装置。
（３） 前記制御部は、前記第２の画像として、前記第１の画像の前記注目領域に投影される部分画像とは異なる絵柄の画像を、前記注目領域に投影させる
（１）または（２）に記載の情報処理装置。
（４） 前記注目領域を設定する注目領域設定部をさらに備え、
前記制御部は、前記第２の投影部の投影の方向と画角を制御することにより、前記注目領域設定部が設定した前記注目領域に前記第２の画像を投影させる
（１）乃至（３）のいずれかに記載の情報処理装置。
（５） 前記注目領域設定部は、所定の画像特性に基づいて前記注目領域を設定する
（４）に記載の情報処理装置。
（６） 前記注目領域設定部は、前記第１の画像に対する特性パラメータが所望の範囲内である領域を前記注目領域に設定する
（５）に記載の情報処理装置。
（７） 前記注目領域設定部は、前記第１の画像に対する奥行き方向の距離が所望の範囲内であるオブジェクトを含む領域を前記注目領域に設定する
（５）または（６）に記載の情報処理装置。
（８） 前記注目領域設定部は、前記第１の画像に対して特徴が検出された領域を前記注目領域に設定する
（５）乃至（７）のいずれかに記載の情報処理装置。
（９） 前記注目領域設定部は、前記第１の画像に対してオブジェクトを含む領域を前記注目領域に設定する
（４）乃至（８）のいずれかに記載の情報処理装置。
（１０） 前記注目領域設定部は、前記第１の画像に対して指定された領域を前記注目領域に設定する
（４）乃至（９）のいずれかに記載の情報処理装置。
（１１） 前記制御部は、撮像部が前記画像投影面に投影された前記第１の画像および前記第２の画像を撮像した撮像画像に基づいて、前記第２の投影部の投影の方向と画角を制御する
（４）乃至（１０）のいずれかに記載の情報処理装置。
（１２） 前記第１の投影部と前記第２の投影部とは、互いに独立した同期信号に同期して駆動し、
前記制御部は、全ての前記投影部の同期信号が一致するタイミングにおいて前記第１の画像および前記第２の画像を投影させる
（１）乃至（１１）のいずれかに記載の情報処理装置。
（１３） 前記注目領域を設定する注目領域設定部をさらに備え、
前記第１の投影部と前記第２の投影部とは、互いに独立した同期信号に同期して駆動し、
前記制御部は、前記同期信号に同期して前記画像投影面に投影された前記第１の画像および前記第２の画像を撮像させるように撮像部を制御して、撮像画像に基づいて前記第２の投影部の投影の方向と画角を制御することにより、前記注目領域設定部が設定した前記注目領域に前記第２の画像を投影させる
（１）乃至（１２）のいずれかに記載の情報処理装置。
（１４） 前記第１の投影部と前記第２の投影部とをさらに備える
（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５） 前記第１の投影部と前記第２の投影部とは、互いの相対位置が固定されている
（１４）に記載の情報処理装置。
（１６） 前記画像投影面に投影された前記第１の画像および前記第２の画像を撮像する撮像部をさらに備える
（１５）に記載の情報処理装置。
（１７） 前記第１の投影部、前記第２の投影部、前記撮像部、および前記制御部は、一体的に構成される
（１６）に記載の情報処理装置。
（１８） 前記第１の投影部と前記第２の投影部とは、前記撮像部の周囲に配置される
（１７）に記載の情報処理装置。
（１９） 前記撮像部を複数備える
（１６）乃至（１８）のいずれかに記載の情報処理装置。
（２０） 第１の投影部を制御して、第１の画像を画像投影面に投影させ、
第２の投影部を制御して、前記画像投影面の、前記第１の投影部により投影された前記第１の画像内の所定の部分領域である注目領域に、前記第２の画像を投影させる
情報処理方法。

１００ 投影撮像システム， １０１ 投影撮像装置， １０２ コントローラ， １１１ 画像投影面， １１２ 投影画像， １２１ プロジェクタモジュール， １２２ カメラモジュール， １３１ 投影画像， １５１ 制御部， １５２ 画像処理部， １５３ メモリ， １６１ 入力部， １６２ 出力部， １６３ 記憶部， １６４ 通信部， １６５ ドライブ， １７１ リムーバブルメディア， １８１ 投影部， １８２ 光学系， １８３ 光学系制御部， １９１ 光学系制御部， １９２ 光学系， １９３ 撮像部， ２０１ CPU， ２０２ ROM， ２０３ RAM， ２０４ バス， ２１０ 入出力インタフェース， ２１１ 入力部， ２１２ 出力部， ２１３ 記憶部， ２１４ 通信部， ２１５ ドライブ， ２２１ リムーバブルメディア， ２３１ 補正パラメータ設定部， ２３２ 画像全体用モジュール選択部， ２３３ 画像全体用制御パラメータ設定部， ２３４ 注目領域設定部， ２３５ 注目領域用モジュール選択部， ２３６ 注目領域用制御パラメータ設定部， ２３７ 光学系制御部， ２３８ 画像処理部， ２３９ 画像投影制御部， ２４０ 撮像制御部， ３５１ 制御部， ３５２ 画像処理部， ３５３ メモリ， ３５４ 投影部， ３５５ 光学系， ３５６ 光学系制御部， ３６１ 入力部， ３６２ 出力部， ３６３ 記憶部， ３６４ 通信部， ３６５ ドライブ， ３７１ リムーバブルメディア， ４０１ 制御部， ４０２ 光学系制御部， ４０３ 光学系， ４０４ 撮像部， ４０５ 画像処理部， ４０６ メモリ， ４１１ 入力部， ４１２ 出力部， ４１３ 記憶部， ４１４ 通信部， ４１５ ドライブ， ４２１ リムーバブルメディア， ４３１ 投影撮像装置， ４４１ ネットワーク， ４５１ ビデオプロセッサ， ４５２ レーザドライバ， ４５３ レーザ出力部， ４５４ ミラー， ４５５ MEMSドライバ， ４５６ MEMSミラー， ４６１ ORゲート

Claims (11)

1. 第１の画像に対する奥行き方向の距離が所望の範囲内であるオブジェクトを含む領域を注目領域に設定する注目領域設定部と、
   第１の投影部を制御して、前記第１の画像を画像投影面に投影させ、第２の投影部の投影の方向と画角を制御することにより、前記画像投影面に対して前記第１の投影部により投影された前記第１の画像内の前記注目領域に、第２の画像を投影させる制御部と
   を備える情報処理装置。
2. 前記制御部は、前記第２の画像として、前記第１の画像の前記注目領域に投影される部分画像、または前記部分画像のパラメータを変更した画像を、前記注目領域に投影させる
   請求項１に記載の情報処理装置。
3. 前記制御部は、前記第２の画像として、前記第１の画像の前記注目領域に投影される部分画像とは異なる絵柄の画像を、前記注目領域に投影させる
   請求項１に記載の情報処理装置。
4. 前記注目領域設定部は、前記第１の画像に対する特性パラメータが所望の範囲内である領域を前記注目領域に設定する
   請求項１に記載の情報処理装置。
5. 前記注目領域設定部は、前記第１の画像に対して特徴が検出された領域を前記注目領域に設定する
   請求項１に記載の情報処理装置。
6. 前記注目領域設定部は、CG画像である前記第１の画像に対してオブジェクトを含む領域を前記注目領域に設定する
   請求項１に記載の情報処理装置。
7. 前記注目領域設定部は、前記第１の画像に対して指定された領域を前記注目領域に設定する
   請求項１に記載の情報処理装置。
8. 前記第１の投影部と前記第２の投影部とは、互いに独立した同期信号に同期して駆動し、
   前記制御部は、全ての前記投影部の同期信号が一致するタイミングにおいて前記第１の画像および前記第２の画像を投影させる
   請求項１に記載の情報処理装置。
9. 前記第１の投影部と前記第２の投影部とをさらに備える
   請求項１に記載の情報処理装置。
10. 前記第１の投影部と前記第２の投影部とは、互いの相対位置が固定されている
    請求項９に記載の情報処理装置。
11. 第１の画像に対する奥行き方向の距離が所望の範囲内であるオブジェクトを含む領域を注目領域に設定し、
    第１の投影部を制御して、前記第１の画像を画像投影面に投影させ、第２の投影部の投影の方向と画角を制御することにより、前記画像投影面に対して前記第１の投影部により投影された前記第１の画像内の前記注目領域に、第２の画像を投影させる
    情報処理方法。

Images