JPWO2017154611A1 - 情報処理装置、情報処理方法、及び、プログラム - Google Patents

Abstract

本技術は、プロジェクタが投影する映像の位置を安定させることができるようにする情報処理装置、情報処理方法、及び、プログラムに関する。情報処理装置は、プロジェクタの投影領域の範囲に関する情報である投影領域情報を取得する取得部と、前記投影領域情報に基づいて、前記投影領域に表示されるコンテンツの範囲である表示映像範囲を制御する映像制御部とを備える。本技術は、例えば、駆動型プロジェクタを用いたＡＶ（Audio Visual）システム、又は、ハンディ型プロジェクタに適用することができる。

Description

本技術は、情報処理装置、情報処理方法、及び、プログラムに関し、特に、プロジェクタが投影する映像の位置を安定させるようにした情報処理装置、情報処理方法、及び、プログラムに関する。

従来、パン方向（水平方向）及びチルト方向（垂直方向）に回転可能な駆動部によりプロジェクタの向きを変えることにより投影方向が可変である駆動型プロジェクタが提案されている（例えば、特許文献１参照）。

特開２０１０−８６９２８号公報

例えば、駆動型プロジェクタを用いてプロジェクションマッピングを行う場合に、表示空間内において投影する映像（内のコンテンツ）の位置が予め定められているときがある。この場合、駆動型プロジェクタの向きに合わせて、投影する映像の範囲を移動させる必要がある。すなわち、駆動型プロジェクタの向きが変化し、投影領域が移動した場合、移動先の投影領域の位置に合わせて投影する映像の範囲を移動させる必要がある。このとき、投影領域の移動と投影する映像の範囲の移動との間の時間のズレが大きくなると、映像が所定の位置に定位しなくなり、映像のズレや揺れが発生する。

そこで、本技術は、プロジェクタが投影する映像の位置を安定させることができるようにするものである。

本技術の一側面の情報処理装置は、プロジェクタの投影領域の範囲に関する情報である投影領域情報を取得する取得部と、前記投影領域情報に基づいて、前記投影領域に表示されるコンテンツの範囲である表示映像範囲を制御する映像制御部とを備える。

前記プロジェクタには、前記コンテンツの映像を構成する１つの画像に対応する第１の色の画像と、前記１つの画像に対応し、前記第１の色と異なる第２の色の画像と、を異なる時間に投影させ、前記映像制御部には、前記投影領域情報に基づいて、前記第１の色の画像又は前記第２の色の画像の位置を制御させることができる。

前記映像制御部には、前記プロジェクタの前記投影領域が移動する速さが速くなるほど、前記第１の色の画像と前記第２の色の画像との前記プロジェクタから見た位置が離れるように制御させることができる。

前記プロジェクタには、前記コンテンツの映像を構成する１つの画像に対応する第１の色の画像と、前記１つの画像に対応し、前記第１の色と異なる第２の色の画像と、を異なる時間に投影させ、前記映像制御部には、前記１つの画像に対応する前記第１の色の画像及び前記第２の色の画像の投影が完了するまでの間、前記プロジェクタの投影方向を制御する駆動部による前記プロジェクタの投影方向の移動を停止させることができる。

前記映像制御部は、前記１つの画像の投影を開始する前に、前記駆動部による前記プロジェクタの投影方向の移動を停止させ、前記１つの画像に対応する前記第１の色の画像及び前記第２の色の画像の投影が完了した後、前記駆動部による前記プロジェクタの投影方向の移動を再開させることができる。

前記投影領域情報を、前記プロジェクタの投影方向を制御する駆動部の制御情報に基づいて算出させることができる。

前記投影領域情報には、前記駆動部の制御情報及び特性に基づく前記投影領域の範囲に関する予測値を含ませることができる。

前記駆動部の制御情報に基づいて、前記投影領域情報の算出を行う算出部をさらに設けることができる。

前記プロジェクタと、前記駆動部とをさらに設けることができる。

前記投影領域情報を、前記プロジェクタの動きを検出するセンサからの情報に基づいて算出させることができる。

前記投影領域情報には、前記センサからの情報に基づく前記投影領域の範囲に関する予測値を含ませることができる。

前記センサからの情報に基づいて、前記投影領域情報の算出を行う算出部をさらに設けることができる。

前記プロジェクタと、前記センサとをさらに設けることができる。

前記投影領域情報には、前記投影領域の位置を表す情報、又は、前記投影領域の移動方向及び移動量を表す情報のうち少なくとも一方を含ませることができる。

前記投影領域の位置、又は、前記投影領域の移動方向及び移動量を、映像を投影する対象となる投影対象領域のデプス情報に基づく前記プロジェクタと前記投影領域との間の距離に基づいて算出させることができる。

前記投影対象領域のデプス情報を含むマップを生成するマップ生成部をさらに設けることができる。

前記映像制御部には、前記投影対象領域に対して予め設定されている映像の表示位置を示す映像位置情報に基づいて、前記表示映像範囲を制御させることができる。

前記映像制御部には、前記投影領域情報に基づいて、前記表示映像範囲を設定し、設定した前記表示映像範囲に対応する映像を前記プロジェクタに投影させることができる。

本技術の一側面の情報処理方法は、プロジェクタの投影領域の範囲に関する情報である投影領域情報の取得を制御する取得制御ステップと、前記投影領域情報に基づいて、前記投影領域に表示されるコンテンツの範囲である表示映像範囲を制御する映像制御ステップとを含む。

本技術の一側面のプログラムは、プロジェクタの投影領域の範囲に関する情報である投影領域情報の取得を制御する取得制御ステップと、前記投影領域情報に基づいて、前記投影領域に表示されるコンテンツの範囲である表示映像範囲を制御する映像制御ステップとを含む処理をコンピュータシステムに実行させる。

本技術の一側面においては、プロジェクタの投影領域の範囲に関する情報である投影領域情報が取得され、前記投影領域情報に基づいて、前記投影領域に表示されるコンテンツの範囲である表示映像範囲が制御される。

本技術の一側面によれば、プロジェクタが投影する映像の位置を安定させることができる。

なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。

本技術を適用したＡＶシステムの一実施の形態を示すブロック図である。 図１のＡＶシステムの駆動型プロジェクタの外観の構成例を示す模式図である。 図１のＡＶシステムにより実行される空間マップ生成処理を説明するためのフローチャートである。 反射率の算出方法を説明するための図である。 図１のＡＶシステムにより実行される表示制御処理の第１の実施の形態を説明するためのフローチャートである。 表示制御処理の第１の実施の形態の具体例を説明するための図である。 投影領域の移動量の算出方法の例を説明するための図である。 投影領域と表示映像範囲の関係を示す図である。 図１のＡＶシステムにより実行されるカラーブレーキング対策の第１の方法を実現するための表示制御処理を説明するためのフローチャートである。 カラーブレーキング対策の第１の方法を説明するための図である。 カラーブレーキング対策の第２の方法を説明するための図である。 本技術を適用したハンディ型プロジェクタの一実施の形態を示すブロック図である。 コンピュータの構成例を示すブロック図である。

以下、発明を実施するための形態（以下、「実施形態」と記述する）について図面を用いて詳細に説明する。なお、説明は以下の順序で行う。
１．実施の形態
２．変形例

なお、以下、コンテンツとは、映像（静止画像、動画像等）の他、キャラクタ、アイコン等のパーツを含み、映像になる前の状態（データ）を含む概念であるものとする。

＜１．実施の形態＞
｛ＡＶシステム１０の構成例｝
まず、図１及び図２を参照して、本技術を適用したＡＶ（Audio Visual）システム１０の構成例について説明する。図１は、ＡＶシステム１０の機能の構成例を示すブロック図である。図２は、ＡＶシステム１０を構成する駆動型プロジェクタ１１の外観の構成例を示す模式図である。

ＡＶシステム１０は、所定の空間（以下、表示空間と称する）に映像を投影するとともに、映像に伴う音を出力するシステムである。また、ＡＶシステム１０は、表示空間内において映像の表示位置及び仮想音源の位置を自由に変更することができ、例えば、プロジェクションマッピング等に用いられる。

ＡＶシステム１０は、駆動型プロジェクタ１１、センサ部１２、操作部１３、及び、情報処理装置１４を備える。

駆動型プロジェクタ１１は、反射型スピーカ３１、プロジェクタ３２、デプスセンサ３３、及び、駆動部３４を備えている。図２に示されるように、駆動型プロジェクタ１１においては、駆動部３４の上にデプスセンサ３３が設置され、デプスセンサ３３の上にプロジェクタ３２が設置され、プロジェクタ３２の上に反射型スピーカ３１が設置されている。

反射型スピーカ３１は、情報処理装置１４の制御の下に、表示空間内の所望の位置に出力音を当てて反射させることにより、反射位置に仮想音源を生成するスピーカである。ユーザは、仮想音源の位置から音が出力されているように感じる。反射型スピーカ３１は、反射位置に仮想音源を生成することが可能なスピーカであれば、特に方式は問わない。例えば、反射型スピーカ３１は、鋭い指向性を持つ超指向性スピーカにより構成される。

なお、後述するように、反射型スピーカ３１の出力音に対する反射音に基づいて、表示空間の空間マップを作成する場合、反射型スピーカ３１から超音波の出力音を出力できるようにすることが望ましい。そのようなスピーカの例として、超音波からなる搬送波を所定の方式で変調した信号を出力する超音波スピーカ（パラメトリックスピーカ）等が挙げられる。

なお、以下、反射型スピーカ３１が、仮想音源に向けて出力音を出力し、仮想音源において出力音を反射させることを、単に仮想音源から音を出力させると表現する場合がある。

プロジェクタ３２は、情報処理装置１４の制御の下に、情報処理装置１４から供給される映像データに基づく映像を表示空間内の壁や物体等に投影する。なお、プロジェクタ３２の方式は、特定の方式に限定されるものではなく、任意の方式を採用することが可能である。

デプスセンサ３３は、情報処理装置１４の制御の下に、例えば、赤外光を用いて、表示空間内の各位置の駆動型プロジェクタ１１（より正確には、デプスセンサ３３）からの距離を示す距離画像を撮影し、撮影した距離画像を情報処理装置１４に供給する。なお、デプスセンサ３３の方式には、ＴＯＦ（Time of Flight）方式、パターン照射方式、ステレオカメラ方式等の任意の方式を採用することができる。

駆動部３４は、情報処理装置１４の制御の下に、反射型スピーカ３１の出力方向、プロジェクタ３２の投影方向、及び、デプスセンサ３３の撮影方向を制御する。駆動部３４は、パンモータ４１、チルトモータ４２、及び、モータ制御部４３を備えている。

パンモータ４１は、反射型スピーカ３１、プロジェクタ３２、及び、デプスセンサ３３をパン方向（水平方向）に回転させるモータである。パンモータ４１は、エンコーダを備えており、例えば、パンモータ４１の回転速度及び回転位置の検出結果をモータ制御部４３に供給する。

チルトモータ４２は、反射型スピーカ３１、プロジェクタ３２、及び、デプスセンサ３３をチルト方向（垂直方向）に回転させるモータである。チルトモータ４２は、エンコーダを備えており、例えば、チルトモータ４２の回転速度及び回転位置の検出結果をモータ制御部４３に供給する。

モータ制御部４３は、情報処理装置１４の制御の下に、パンモータ４１及びチルトモータ４２の回転を制御する。また、モータ制御部４３は、駆動部３４の制御情報を情報処理装置１４に供給する。駆動部３４の制御情報は、例えば、パンモータ４１及びチルトモータ４２の回転速度及び回転位置を含む。

なお、駆動部３４を、例えば、ヨー方向（映像の投影方向の主軸周り）にも回転可能な構成としてもよい。また、駆動部３４は、モータや車輪等の移動機構をさらに備えていてもよい。

センサ部１２は、カメラ６１、魚眼カメラ６２、及び、マイクロフォン６３を備える。

カメラ６１は、表示空間内を撮影し、撮影の結果得られた画像（以下、表示空間画像と称する）を情報処理装置１４に供給する。表示空間画像は、例えば、表示空間内のユーザの位置、視線方向、ジェスチャ等の検出に用いられる。

魚眼カメラ６２は、魚眼レンズを備えるカメラにより構成され、超広角の画像を撮影する。魚眼カメラ６２は、撮影の結果得られた画像（以下、魚眼画像と称する）を情報処理装置１４に供給する。魚眼画像は、例えば、ポインティングデバイス８１から出射された赤外光の照射位置（ポインティング位置）の検出に用いられる。

マイクロフォン６３は、例えば、反射型スピーカ３１からの出力音に対する反射音の検出に用いられる。マイクロフォン６３は、検出した音を示す音声信号を情報処理装置１４に供給する。

操作部１３は、ポインティングデバイス８１を備える。

ポインティングデバイス８１は、ユーザが所望の位置を指し示すための操作デバイスである。例えば、ポインティングデバイス８１は、赤外光を照射し、赤外光によりユーザの操作に応じた位置（ポインティング位置）を指し示す。

なお、ポインティングデバイス８１を、専用のデバイスにより構成してもよいし、スマートフォンやリモートコントローラ等の他の用途にも利用可能な汎用のデバイスにより構成してもよい。

情報処理装置１４は、例えば、コンピュータ、或いは、ＣＰＵ等のプロセッサ及びメモリ等により構成される。情報処理装置１４は、主に駆動型プロジェクタ１１の制御に用いられる。

情報処理装置１４は、インタフェース（Ｉ／Ｆ）部１０１、ポインティング位置検出部１０２、ユーザ検出部１０３、マップ生成部１０４、記憶部１０５、移動量算出部１０６、入力部１０７、及び、制御部１０８を備える。

Ｉ／Ｆ部１０１は、例えば、通信デバイス、コネクタ等により構成される。Ｉ／Ｆ部１０１は、反射型スピーカ３１、プロジェクタ３２、デプスセンサ３３、モータ制御部４３、カメラ６１、魚眼カメラ６２、及び、マイクロフォン６３との間でデータ等の送受信を行う。また、Ｉ／Ｆ部１０１は、受信したデータ等を情報処理装置１４の各部に供給したり、送信するデータ等を情報処理装置１４の各部から取得したりする。

なお、Ｉ／Ｆ部１０１の通信方式には、有線又は無線の任意の方式を採用することができる。また、Ｉ／Ｆ部１０１の通信方式を、通信を行う対象毎に変えてもよい。さらに、Ｉ／Ｆ部１０１は、例えば、各通信対象と直接通信を行うようにしてもよいし、ネットワーク等を介して通信を行うようにしてもよい。

ポインティング位置検出部１０２は、魚眼カメラ６２により撮影された魚眼画像に基づいて、ポインティングデバイス８１によるポインティング位置の検出を行う。ポインティング位置検出部１０２は、検出結果を制御部１０８に供給する。

なお、ポインティング位置検出部１０２の検出方法には、任意の方法を採用することができる。

ユーザ検出部１０３は、カメラ６１により撮影された表示空間画像に基づいて、例えば、表示空間内のユーザの位置、視線方向、ジェスチャ等を検出する。ユーザ検出部１０３は、検出結果を制御部１０８に供給する。

なお、ユーザ検出部１０３の検出方法には、任意の方法を採用することができる。

マップ生成部１０４は、Ｉ／Ｆ部１０１を介して、デプスセンサ３３及びモータ制御部４３を制御して、デプスセンサ３３による表示空間内の距離画像の撮影を制御する。そして、マップ生成部１０４は、距離画像を用いて、表示空間内の空間認識を行い、表示空間内の物体や壁等の３次元形状を示す第１空間マップを生成する。第１空間マップは、例えば、３次元の点群マップからなり、表示空間内の各位置の駆動型プロジェクタ１１からの距離を示すデプス情報を含む。

また、マップ生成部１０４は、Ｉ／Ｆ部１０１を介して、反射型スピーカ３１及びモータ制御部４３を制御して、反射型スピーカ３１からの出力音の表示空間内の走査を制御する。そして、マップ生成部１０４は、表示空間内に出力音を走査したときにマイクロフォン６３により検出された反射音の検出結果に基づいて、表示空間内の空間認識を行い、表示空間内の物体や壁等の３次元形状を示す第２空間マップを生成する。第２空間マップは、例えば、３次元の点群マップからなり、表示空間内の各位置の駆動型プロジェクタ１１からの距離を示すデプス情報、及び、各位置の反射特性（例えば、反射率、反射角等）を示す反射特性情報を含む。

さらに、マップ生成部１０４は、第１空間マップと第２空間マップを統合した統合空間マップを生成する。統合空間マップは、例えば、表示空間内の各位置の駆動型プロジェクタ１１からの距離を示すデプス情報、各位置の反射特性を示す反射特性情報、及び、表示空間内の各位置の映像の表示の可否（映像の投影の可否）を示す表示特性情報を含む。また、統合空間マップは、例えば、表示空間に対して予め設定されている映像の表示位置を示す映像位置情報を含む。マップ生成部１０４は、生成した統合空間マップを記憶部１０５に記憶させる。

さらに、マップ生成部１０４は、例えば、第１空間マップに基づいて、マイクロフォン６３等の位置を検出する。マップ生成部１０４は、検出結果を制御部１０８に供給する。

なお、例えば、カメラ６１により撮影された表示空間画像に基づいて、マイクロフォン６３等の位置を検出するようにしてもよい。

移動量算出部１０６は、駆動部３４の制御情報に基づいて、プロジェクタ３２の投影領域の移動方向及び移動量を算出又は予測する。移動量算出部１０６は、投影領域の移動方向及び移動量の算出結果又は予測結果を制御部１０８に供給する。

なお、例えば、移動量算出部１０６は、投影領域の移動速度又は加速度に基づいて、投影領域の移動方向及び移動量を予測することも可能である。また、例えば、移動量算出部１０６は、プロジェクタ３２の投影方向の移動（角）速度、（角）加速度に基づいて、投影領域の移動方向及び移動量を予測することも可能である。

入力部１０７は、例えば、操作デバイス等により構成され、制御部１０８への指令やデータ（例えば、映像データ、音声データ）等の入力に用いられる。

制御部１０８は、映像制御部１１１及び音響制御部１１２を備える。

映像制御部１１１は、駆動型プロジェクタ１１による映像の表示を制御する。例えば、映像制御部１１１は、Ｉ／Ｆ部１０１を介してプロジェクタ３２を制御して、表示する映像の内容及び表示タイミング等を制御する。また、映像制御部１１１は、例えば、プロジェクタ３２の投影領域の移動方向及び移動量の算出結果又は予測結果に基づいて、表示映像範囲を制御する。ここで、表示映像範囲とは、表示空間内に表示するように設定されているコンテンツのうち、投影領域内に表示されるコンテンツの範囲のことである。

また、例えば、映像制御部１１１は、Ｉ／Ｆ部１０１を介してモータ制御部４３を制御して、プロジェクタ３２の映像の投影方向、及び、反射型スピーカ３１の出力方向を制御することにより、映像の表示位置、及び、出力音の反射位置（すなわち、仮想音源の位置）を制御する。

音響制御部１１２は、反射型スピーカ３１による出力音の出力を制御する。例えば、音響制御部１１２は、Ｉ／Ｆ部１０１を介して反射型スピーカ３１を制御して、出力音の内容、音量、及び、出力タイミング等を制御する。

なお、以下、説明を分かりやすくするために、Ｉ／Ｆ部１０１の記載を適宜省略する。例えば、映像制御部１１１が、Ｉ／Ｆ部１０１を介してプロジェクタ３２に映像データを供給する場合、単に、映像制御部１１１が、プロジェクタ３２に映像データを供給すると記載する。

｛ＡＶシステム１０の処理｝
次に、図３乃至図１０を参照して、ＡＶシステム１０の処理について説明する。

（空間マップ生成処理）
まず、図３のフローチャートを参照して、ＡＶシステム１０により実行される空間マップ生成処理について説明する。

なお、この処理は、例えば、駆動型プロジェクタ１１が設置されたとき、又は、駆動型プロジェクタ１１の設置位置が移動したとき開始される。駆動型プロジェクタ１１の設置位置の移動は、例えば、カメラ６１により撮影された表示空間画像に基づいて検出したり、或いは、駆動型プロジェクタ１１に加速度センサ、ジャイロセンサ等を設けることにより検出することができる。

また、例えば、カメラ６１により撮影された表示空間画像に基づいて、表示空間の状態が変化したときに、空間マップ生成処理を開始するようにしてもよい。表示空間の状態の変化としては、例えば、表示空間内の可動部の移動（例えば、ドア、窓、カーテン等の開閉）、表示空間内への人の出入り等が想定される。

ステップＳ１において、ＡＶシステム１０は、表示空間内の測定を行う。具体的には、マップ生成部１０４は、モータ制御部４３を制御して、駆動部３４をパン方向及びチルト方向に回転させ、デプスセンサ３３に表示空間内の全ての領域を走査させるとともに、反射型スピーカ３１から出力される出力音（超音波信号）を表示空間内の全ての領域を走査させる。

これにより、デプスセンサ３３により表示空間内の全ての領域が撮影され、各領域のデプスセンサ３３からの距離を示す距離画像が得られる。デプスセンサ３３は、撮影した距離画像をマップ生成部１０４に供給する。また、表示空間内の全ての領域からの出力音に対する反射音がマイクロフォン６３により検出される。マイクロフォン６３は、検出結果を示す音声信号をマップ生成部１０４に供給する。

ステップＳ２において、マップ生成部１０４は、空間マップを生成する。具体的には、マップ生成部１０４は、デプスセンサ３３により撮影された距離画像に基づいて、第１空間マップを生成する。第１空間マップは、表示空間内の各位置の駆動型プロジェクタ１１からの距離を示すデプス情報を含む。

なお、デプスセンサ３３は、赤外光の反射を利用しているため、黒壁、コンクリート、ガラス等の赤外光の反射を利用できない領域のデプス情報が、第１空間マップにおいて欠落する。

また、マップ生成部１０４は、第１空間マップに基づいて、表示空間内におけるマイクロフォン６３等の位置を検出する。マップ生成部１０４は、検出結果を制御部１０８に供給する。

さらに、マップ生成部１０４は、マイクロフォン６３からの音声信号に基づいて、第２空間マップを生成する。具体的には、マップ生成部１０４は、出力音の出力方向、反射型スピーカ３１及びマイクロフォン６３の位置、並びに、出力音を出力してから反射音を受信するまでの時間に基づいて、反射型スピーカ３１及びマイクロフォン６３からの表示空間内の各位置までの距離を算出する。

また、マップ生成部１０４は、反射音の音量に基づいて、表示空間内の各位置の反射率を算出する。例えば、図４に示されるように、反射型スピーカ３１から出力された出力音が反射位置Ｐで反射され、その反射音をマイクロフォン６３により検出した場合について説明する。なお、以下、反射型スピーカ３１と反射位置Ｐの間の距離をＬ１とし、反射位置Ｐとマイクロフォン６３の間の距離をＬ２とする。

ここで、反射位置Ｐにおいて、出力音が減衰することなく全てマイクロフォン６３の方向に反射されると仮定した場合（反射率１００％であると仮定した場合）、マイクロフォン６３により検出される反射音の出力音に対する減衰量は、距離Ｌ１＋距離Ｌ２に基づいて推定することができる。以下、この場合の減衰量を基準減衰量と称する。

一方、実際には、出力音は反射位置Ｐにおいて拡散又は吸収されるため、マイクロフォン６３の方向に反射される反射音の音量は小さくなる。そこで、マップ生成部１０４は、マイクロフォン６３により実際に検出される反射音の出力音に対する減衰量と、基準減衰量との比率により、反射位置Ｐの反射率を推定する。

そして、マップ生成部１０４は、表示空間内の各位置の駆動型プロジェクタ１１からの距離を示すデプス情報、及び、表示空間内の各位置の反射率を示す反射特性情報を含む第２空間マップを生成する。

なお、赤外光の反射が利用できず、第１空間マップにおいてデプス情報が欠落している領域であっても、出力音（超音波信号）の反射が利用できる領域であれば、その領域のデプス情報を得ることができる。

ステップＳ３において、マップ生成部１０４は、空間マップを統合する。具体的には、マップ生成部１０４は、第１空間マップにおいてデプス情報が欠落している領域のデプス情報を、第２空間マップのデプス情報で補う。

また、マップ生成部１０４は、表示空間内の各位置において映像の表示が可能であるか否かを示す表示特性情報を生成する。例えば、マップ生成部１０４は、第１空間マップにおいてデプス情報が得られている位置を、映像の表示が可能な位置であると判定する。一方、マップ生成部１０４は、第１空間マップにおいてデプス情報が欠落している位置の硬度や表面材質を、第２空間マップの反射特性情報に基づいて推定する。そして、マップ生成部１０４は、推定した硬度及び表面材質に基づいて、第１空間マップにおいてデプス情報が欠落している位置において映像の表示が可能であるか否かを判定する。これにより、例えば、黒壁、コンクリート、ガラス等の映像の投影が困難な位置が、映像の表示が困難な位置であると判定される。

なお、マップ生成部１０４は、第１空間マップにおいてデプス情報が欠落している全ての位置を、映像の表示が困難な位置であると判定するようにしてもよい。

さらに、マップ生成部１０４は、第２空間マップの表示空間内の各位置の反射特性情報を、そのまま統合空間マップの反射特性情報として用いる。

このようにして、マップ生成部１０４は、表示空間内の各位置のデプス情報、表示特性情報、及び、反射特性情報を含む統合空間マップを生成する。

また、マップ生成部１０４は、例えば、表示空間に対して予め設定されている映像の表示位置を示す映像位置情報を統合空間マップに追加する。映像位置情報には、例えば、表示空間の各位置において表示するように設定されている映像の内容が示されている。なお、表示空間において表示される映像が動画である場合、例えば、映像位置情報には、各位置において表示するように設定されている映像の内容が時系列により示される。

マップ生成部１０４は、生成した統合空間マップを記憶部１０５に記憶させる。

その後、空間マップ生成処理は終了する。

なお、例えば、空間マップの生成中に、空間マップを生成中である旨の情報を、画像や音声等により駆動型プロジェクタ１１から出力するようにしてもよい。

（表示制御処理）
次に、図５のフローチャートを参照して、ＡＶシステム１０により実行される表示制御処理について説明する。この処理は、例えば、ユーザが、ポインティングデバイス８１、情報処理装置１４の入力部１０７、ジェスチャ、又は、視線等の任意の方法により、プロジェクタ３２の投影領域の移動の指令をＡＶシステム１０に与えたとき開始される。

なお、以下、図６に示されるように、プロジェクタ３２の投影領域の移動先（目標位置）を領域Ｐ３に設定し、投影領域を領域Ｐ１から領域Ｐ３に上方向に移動させる場合を、適宜具体例として説明する。

例えば、図６のＡの投影領域Ｐ１内には、家である被写体Ｓ１が表示されている。また、表示空間内における被写体Ｓ１の表示位置は固定されており、プロジェクタ３２の投影領域が領域Ｐ１から領域Ｐ３に移動しても、表示空間内における被写体Ｓ１の位置は固定されたまま移動しない。この例では、被写体Ｓ１は、投影領域Ｐ３の外にあるため、投影領域が領域Ｐ３に移動した場合には、被写体Ｓ１が表示されなくなる。

なお、図６では、図を簡単にするために、駆動型プロジェクタ１１の反射型スピーカ３１及びデプスセンサ３３の図示を省略している。

ステップＳ５１において、映像制御部１１１は、プロジェクタ３２の駆動を開始する。具体的には、映像制御部１１１は、モータ制御部４３を制御して、投影領域を移動させる方向に応じて、パンモータ４１及びチルトモータ４２の少なくとも一方の回転を開始させる。

ステップＳ５２において、移動量算出部１０６は、投影領域の移動方向及び移動量を算出する。例えば、移動量算出部１０６は、駆動部３４の制御情報をモータ制御部４３から取得する。上述したように、駆動部３４の制御情報は、パンモータ４１及びチルトモータ４２の回転速度及び回転位置を含んでいる。そして、例えば、移動量算出部１０６は、パンモータ４１及びチルトモータ４２の回転速度及び回転位置に基づいて、前のフレームの映像を投影した後のプロジェクタ３２のパン方向及びチルト方向の回転方向及び回転角を検出する。

また、移動量算出部１０６は、プロジェクタ３２のパン方向及びチルト方向の回転方向に基づいて、投影領域の移動方向を検出する。さらに、移動量算出部１０６は、統合空間マップのデプス情報に基づいて、プロジェクタ３２と投影領域との間の距離を求める。そして、移動量算出部１０６は、プロジェクタ３２のパン方向及びチルト方向の回転角、並びに、プロジェクタ３２と投影領域との間の距離に基づいて、投影領域のパン方向及びチルト方向の移動量を算出する。移動量算出部１０６は、投影領域の移動方向及び移動量の算出結果を制御部１０８に供給する。

ここで、図７に示されるように、投影領域が領域Ｐ１から領域Ｐ１と領域Ｐ３（図６）の間の領域Ｐ２まで移動した場合の投影領域の移動量の算出方法を例に挙げて説明する。

なお、図７では、図６と同様に、図を簡単にするために、駆動型プロジェクタ１１の反射型スピーカ３１及びデプスセンサ３３の図示を省略している。

移動量算出部１０６は、チルトモータ４２の回転速度及び回転位置に基づいて、プロジェクタ３２の回転角θを検出する。また、移動量算出部１０６は、統合空間マップのデプス情報に基づいて、プロジェクタ３２と投影領域Ｐ１との間の距離Ｌを求める。

そして、移動量算出部１０６は、例えば、次式（１）により、投影領域Ｐ１と投影領域Ｐ２の間の移動量Ｈを算出する。

Ｈ＝Ｌ×ｔａｎθ ・・・（１）

なお、この例では、投影領域Ｐ１がプロジェクタ３２とほぼ同じ高さにあり、投影領域Ｐ１に対するプロジェクタ３２の投影方向がほぼ水平なので、次式（１）により移動量Ｈを算出することが可能である。一方、投影領域Ｐ１の高さによっては、式（１）とは異なる式により、移動量Ｈが算出される場合がある。

また、統合空間マップを用いることにより、デプスセンサ３３等により距離Ｌを検出する処理を省略できるため、移動量算出部１０６は、移動量Ｈをより迅速に算出することができる。

なお、プロジェクタ３２が、回転方向だけでなく並進方向にも移動する場合には、移動量算出部１０６は、その並進方向の移動も考慮して、投影領域の移動方向及び移動量を算出する。

ステップＳ５３において、映像制御部１１１は、表示映像範囲を設定する。例えば、映像制御部１１１は、統合空間マップの映像位置情報に基づいて、算出した移動方向及び移動量だけ移動した後の投影領域に表示する映像の範囲である表示映像範囲を設定する。この表示映像範囲は、前のフレームの表示映像範囲から、算出した投影領域の移動方向と同じ方向に、投影領域の移動量と同じ量だけ移動した範囲となる。

例えば、上述した図７の例において、映像制御部１１１は、投影領域Ｐ２に対応する表示映像範囲を設定する。投影領域Ｐ２に対応する表示映像範囲は、投影領域Ｐ１に対応する表示映像範囲から上方向に距離Ｈだけ移動した範囲となる。

ステップＳ５４において、ＡＶシステム１０は、映像を表示する。具体的には、映像制御部１１１は、ステップＳ５３の処理で設定した表示映像範囲内の映像に対応する映像データをプロジェクタ３２に供給する。プロジェクタ３２は、映像制御部１１１から供給された映像データに基づく映像を投影する。

例えば、上述した図７の例において、表示映像範囲が上方向に距離Ｈだけ移動する。これに伴い、投影領域Ｐ２内における被写体Ｓ１の位置は、表示映像範囲の移動方向とは逆に、投影領域Ｐ１内における被写体Ｓ１の位置から下方向に距離Ｈだけ移動する。

ステップＳ５５において、映像制御部１１１は、投影領域の移動が完了したか否かを判定する。映像制御部１１１は、投影領域が移動先として設定された目標位置に到達していない場合、投影領域の移動が完了していないと判定し、処理はステップＳ５２に戻る。

その後、ステップＳ５５において、投影領域の移動が完了したと判定されるまで、ステップＳ５２乃至Ｓ５５の処理が繰り返し実行される。

一方、ステップＳ５５において、映像制御部１１１は、投影領域が目標位置に到達した場合、投影領域の移動が完了したと判定し、処理はステップＳ５６に進む。

ステップＳ５６において、映像制御部１１１は、プロジェクタ３２の駆動を停止する。具体的には、映像制御部１１１は、モータ制御部４３を制御して、パンモータ４１及びチルトモータ４２の回転を停止させる。

その後、表示制御処理は終了する。

このようにして、投影領域の移動に追従して表示映像範囲が移動し、表示空間内の決められた場所に決められた映像が表示される。

例えば、映像制御部１１１が、モータ制御部４３を介してパンモータ４１及びチルトモータ４２の駆動を開始してから、パンモータ４１及びチルトモータ４２が実際に回転を開始するまでに時間を要する。さらに、パンモータ４１及びチルトモータ４２が回転を開始してから回転速度が安定し等速になるまでに時間を要する。従って、プロジェクタ３２の投影領域も、移動を開始するまでに時間を要し、さらに投影領域の移動速度が安定し等速になるまでに時間を要する。

図８は、図６及び図７に示されるように、プロジェクタ３２の投影領域を移動させた場合の投影領域と表示映像範囲の関係を示す図である。図内の上方には、投影領域と投影領域内に表示される映像が模式的に示されている。図内の下方には、投影領域及び表示映像範囲の移動速度を示すグラフが表示されている。なお、グラフの横軸は時間を示し、縦軸は移動速度を示している。

例えば、時刻ｔ０において、映像制御部１１１が、モータ制御部４３を介してチルトモータ４２の駆動を開始した後、時刻ｔ１においてチルトモータ４２が回転を開始し、投影領域の移動が開始される。その後、チルトモータ４２の回転速度が徐々に加速し、時刻ｔ２において回転速度が安定し等速になる。そして、時刻ｔ３において、投影領域が目標位置である領域Ｐ３に到達したとき、映像制御部１１１は、モータ制御部４３を介して、チルトモータ４２の回転を停止させる。

例えば、時刻ｔ０と時刻ｔ１の間の時刻ｔａにおいて、新たなフレームの映像を投影する場合、投影領域が移動していないため、図６のＡの例と同様に、投影領域Ｐ１にそのまま被写体Ｓ１が同じ位置に表示される。

次に、時刻ｔ１と時刻ｔ２の間の時刻ｔｂにおいて、次のフレームの映像を投影する場合、投影領域は、領域Ｐ１から図７のＢの領域Ｐ２まで移動している。これに合わせて、映像制御部１１１は、投影領域の移動方向と同じ方向に、時刻ｔａと時刻ｔｂの間の投影領域の移動量と同じ量だけ、表示映像範囲を移動させる。これにより、投影領域内において、被写体Ｓ１は、投影領域の移動方向と逆方向に投影領域の移動量と同じ量だけ移動する。その結果、投影領域の移動に関わらず、被写体Ｓ１の表示位置は、表示領域内の所定の位置に定位したまま移動しない。

次に、時刻ｔ３の後の時刻ｔｃにおいて、次のフレームの映像を投影する場合、投影領域は、領域Ｐ２から図６のＢの領域Ｐ３まで移動している。これに合わせて、映像制御部１１１は、投影領域の移動方向と同じ方向に、時刻ｔｂと時刻ｔｃの間の投影領域の移動量と同じ量だけ、表示映像範囲を移動させる。これにより、被写体Ｓ１は、投影領域の移動方向と逆方向に投影領域の移動量と同じ量だけ移動するが、被写体Ｓ１は、投影領域Ｐ３の外に出て表示されなくなる。

このように、プロジェクタ３２のパン方向及びチルト方向の回転に伴う投影領域のパン方向及びチルト方向の移動方向及び移動量が迅速に算出され、投影領域の移動に合わせて表示映像範囲が迅速に移動する。これにより、駆動開始時にパンモータ４１及びチルトモータ４２の動作が不安定になっても、映像が所定の位置に定位され、映像のズレや揺れ等の発生が抑制される。すなわち、プロジェクタ３２が投影する映像の位置が安定する。

なお、以上の説明では、映像制御部１１１が、駆動部３４の制御情報に基づいて、投影領域の移動方向及び移動量を算出し、算出した移動方向及び移動量に基づいて、表示映像範囲を移動させる例を示した。すなわち、プロジェクタ３２のパン方向及びチルト方向の回転による投影領域の移動に追従して、表示映像範囲を移動する例を示した。

一方、例えば、駆動部３４に特性を予め把握しておき、駆動部３４の制御情報及び特性に基づいて、投影領域の移動方向及び移動量を予測するようにすることも可能である。ここで、駆動部３４の特性として、例えば、パンモータ４１及びチルトモータ４２の応答特性や回転特性等が挙げられる。

例えば、図５のステップＳ５２において、映像制御部１１１が、駆動部３４の制御情報及び特性に基づいて、投影領域の移動方向及び移動量を予測する。そして、映像制御部１１１が、投影領域の移動方向及び移動量の予測値に基づいて、表示映像範囲を設定するようにしてもよい。

これにより、投影領域の移動とほぼ同時に表示映像範囲を移動させることができ、投影領域の移動に対する表示映像範囲の移動の遅れがほぼ０になるため、映像のズレや揺れ等の発生をさらに抑制することができる。すなわち、プロジェクタ３２が投影する映像の位置をさらに安定させることができる。

なお、このとき、例えば、プロジェクタ３２の実際の投影方向を検出し、検出結果をフィードバックし、投影領域の位置を補正することにより、プロジェクタ３２が投影する映像の位置をさらに安定させることができる。

また、例えば、プロジェクタ３２が、単板式のＤＬＰ（Digital Light Processing）方式のプロジェクタからなり、コンテンツの映像を構成する１つの画像に対してＲ（赤）、Ｇ（緑）、Ｂ（青）の各色の画像を、時分割で異なる時間に投影する場合がある。そして、ユーザは、異なる時間に投影された各色の画像を視認することにより、１つのカラーの画像を認識する。ここで、１つの画像とは、例えば、静止画像、動画像の１コマの画像等である。

この場合、上述した方法により投影領域及び表示映像領域を移動させると、カラーブレーキングが発生するおそれがある。ここで、カラーブレーキングとは、例えば、同じ１つの画像に対応する異なる色の画像が異なる位置に投影されることにより、色ずれ等が発生する現象である。

ここで、図９のフローチャートを参照して、カラーブレーキング対策の第１の方法を実現するための表示制御処理について説明する。

ステップＳ１０１において、図５のステップＳ５１の処理と同様に、プロジェクタ３２の駆動が開始される。

ステップＳ１０２において、図５のステップＳ５６の処理と同様に、プロジェクタ３２の駆動が停止される。

ステップＳ１０３において、図５のステップＳ５２の処理と同様に、投影領域の移動方向及び移動量が算出される。

ステップＳ１０４において、図５のステップＳ５３の処理と同様に、表示映像範囲が設定される。

ステップＳ１０５において、ＡＶシステム１０は、映像を表示する。具体的には、映像制御部１１１は、ステップＳ１０４の処理で設定した表示映像範囲内の映像に対応する映像データをプロジェクタ３２に供給する。プロジェクタ３２は、映像制御部１１１から供給された映像データに基づく映像を投影する。

このとき、プロジェクタ３２は、例えば、図１０に示されるように、表示映像範囲内の映像に対応するＲ、Ｇ、Ｂの各色の画像を、時分割で異なる時間に投影領域に投影する。

なお、図１０の上のグラフの横軸は、時間を示し、Ｒ、Ｇ、Ｂの各色の画像を投影するタイミングを示している。

ここで、ステップＳ１０２において、プロジェクタ３２の駆動が停止されており、投影領域の移動が停止している。従って、例えば、図１０の被写体Ｓ２に対するＲ、Ｇ、Ｂの画像が、表示空間内の同じ位置に投影される。これにより、カラーブレーキングの発生が抑制され、被写体Ｓ２の表示位置が安定するとともに、被写体の色が忠実に再現される。

ステップＳ１０６において、図５のステップＳ５５の処理と同様に、投影領域の移動が完了したか否かが判定される。投影領域の移動が完了していないと判定された場合、処理はステップＳ１０１に戻る。

その後、ステップＳ１０６において、投影領域の移動が完了したと判定されるまで、ステップＳ１０１乃至Ｓ１０６の処理が繰り返し実行される。

一方、ステップＳ１０６において、投影領域の移動が完了したと判定された場合、表示制御処理は終了する。

このように、投影領域を移動する際に、１つの画像に対応する全ての色の画像の投影が完了するまでの間、プロジェクタ３２の駆動が一旦停止され、投影領域の移動が停止される。より具体的には、投影領域を移動する際に、１つの画像の投影を開始する前にプロジェクタ３２の駆動が一旦停止され、投影領域の移動が一旦停止される。その後、当該１つの画像に対応する全ての色の画像の投影が完了した後、プロジェクタ３２の駆動が再開され、投影領域の移動が再開される。これにより、上述したように、カラーブレーキングの発生が抑制され、映像の投影位置が安定するとともに、映像の色が忠実に再現される。

また、例えば、プロジェクタ３２から投影されるＲ、Ｇ、Ｂの各色の画像の投影領域内の位置を制御することにより、カラーブレーキングの発生を抑制するようにしてもよい。

ここで、図１１を参照して、カラーブレーキング対策の第２の方法について説明する。なお、図１１には、プロジェクタ３２の表示可能範囲Ａと、Ｒの画像Ｖｒ、Ｇの画像Ｖｇ、及び、Ｂの画像Ｖｂとの位置関係が示されている。表示可能範囲Ａは、プロジェクタ３２が映像を表示可能な範囲であり、プロジェクタ３２の投影領域と等しい。プロジェクタ３２は、表示可能範囲Ａ内の任意の位置に任意の大きさの映像を表示することが可能である。従って、表示可能範囲Ａより小さいサイズの映像を表示する場合、映像制御部１１１は、プロジェクタ３２に供給する映像データにより、表示可能範囲Ａ内の映像の位置を制御することができる。これにより、映像制御部１１１は、例えば、プロジェクタ３２の投影方向を固定したまま、表示可能範囲Ａ（投影領域）内で映像の位置を移動させることができる。一方、表示可能範囲Ａと同じサイズの映像を表示する場合には、映像の位置は一意に定まる。

そして、映像制御部１１１は、表示可能範囲Ａ内における画像Ｖｒ、画像Ｖｇ、及び、画像Ｖｒの位置を制御することにより、投影領域の移動に伴う画像Ｖｒ、画像Ｖｇ、及び、画像Ｖｒの位置のズレを防止する。具体的には、表示可能範囲Ａ（＝投影領域）は、プロジェクタ３２の投影方向の移動とともに移動する。そこで、映像制御部１１１は、表示可能範囲Ａの座標系における画像Ｖｒに対する画像Ｖｇの位置を、画像Ｖｒを投影してから画像Ｖｇを投影するまでの間の表示可能範囲Ａ（投影領域）の移動を相殺する方向に、表示可能範囲Ａの移動量に対応する移動量だけ移動させる。また、映像制御部１１１は、表示可能範囲Ａの座標系における画像Ｖｇに対する画像Ｖｂの位置を、画像Ｖｇを投影してから画像Ｖｂを投影するまでの間の表示可能範囲Ａ（投影領域）の移動を相殺する方向に、表示可能範囲Ａの移動量に対応する移動量だけ移動させる。

従って、投影領域の移動速度が速くなるほど、表示可能範囲Ａの座標系における画像Ｖｒ、Ｖｇ、及び、Ｖｂ間の間隔が長くなり、プロジェクタ３２から見た画像Ｖｒ、Ｖｇ、及び、Ｖｂの位置が離れる。一方、投影領域の移動速度が遅くなるほど、表示可能範囲Ａの座標系における画像Ｖｒ、Ｖｇ、及び、Ｖｂ間の間隔が短くなり、プロジェクタ３２から見た画像Ｖｒ、Ｖｇ、及び、Ｖｂの位置が近づく。また、投影領域が停止している場合、表示可能範囲Ａ内における画像Ｖｒ、Ｖｇ、及び、Ｖｂの位置は、略一致する。

これにより、投影領域が移動していても、画像Ｖｒ、Ｖｇ及びＶｂが、表示空間内の略同じ位置に投影され、カラーブレーキングの発生が抑制される。

なお、映像制御部１１１の代わりに、プロジェクタ３２が、表示可能範囲Ａ内の各色の画像の位置を制御することも可能である。例えば、プロジェクタ３２の映像制御部（不図示）が、映像制御部１１１から供給される映像データに含まれる各色の画像をフレームバッファに配置する位置により、表示可能範囲Ａ内の各色の画像の位置を制御することができる。

また、表示可能範囲Ａ内において各色の画像をシフトするための制御ベクトルは、例えば、投影領域の移動方向及び移動量に基づくベクトルに基づいて、所定の関数により算出される。

なお、上述したカラーブレーキング対策を適用可能な画像の色の組み合わせは、上述したＲ、Ｇ、Ｂに限定されるものではなく、任意である。

＜２．変形例＞
以下、上述した本技術の実施の形態の変形例について説明する。

｛システムの構成例に関する変形例｝
図１のＡＶシステム１０の構成例は、その一例であり、必要に応じて変更することが可能である。

例えば、反射型スピーカ３１を駆動型プロジェクタ１１と別に設け、プロジェクタ３２と別に駆動できるようにしてもよい。これにより、仮想音源の位置をより柔軟に設定することが可能になる。

また、例えば、情報処理装置１４の一部又は全部を駆動型プロジェクタ１１に設けたり、駆動型プロジェクタ１１の一部又は全部を情報処理装置１４に設けたりすることが可能である。例えば、移動量算出部１０６を情報処理装置１４ではなく、駆動型プロジェクタ１１に設けるようにしてもよい。この場合、情報処理装置１４のＩ／Ｆ部１０１は、投影領域の移動方向及び移動量に関する情報を駆動型プロジェクタ１１から取得し、制御部１０８に供給する。そして、制御部１０８の映像制御部１１１は、取得した情報に基づいて、表示映像範囲を制御する。

さらに、例えば、センサ部１２の一部又は全部を、駆動型プロジェクタ１１又は情報処理装置１４に設けるようにしてもよい。

また、本技術は、情報処理装置１４から駆動部３４の制御を行わず、駆動型プロジェクタ１１が、情報処理装置１４の制御によらずに、投影領域を移動させる場合にも適用することができる。すなわち、この場合も、上述した方法と同様に、映像制御部１１１が、駆動部３４の制御情報に基づいて、投影領域の移動方向及び移動量を算出又は予測し、表示映像範囲を制御することが可能である。

さらに、駆動部３４の構成は、上述した例に限定されるものではなく、他の構成を採用することが可能である。他の構成を採用した場合にも、上述した実施の形態と同様に、駆動部３４の制御情報や特性等に基づいて、投影領域の移動方向及び移動量を算出又は予測するようにすればよい。

また、以上の説明では、プロジェクタ３２の向きを変えることにより、投影領域を移動させる例を示したが、例えば、プロジェクタ３２から投影される映像をミラー等の反射体で反射し、反射体の向きを変えることにより、投影領域を移動させるようにしてもよい。この場合、例えば、移動量算出部１０６は、反射体を駆動する駆動部の制御情報や特性等に基づいて、投影領域の移動方向及び移動量を算出又は予測するようにすればよい。

同様に、以上の説明では、反射型スピーカ３１の向きを変えることにより、仮想音源の位置を移動させる例を示したが、例えば、反射型スピーカ３１から出力される出力音をミラー等の反射体で反射し、反射体の向きを変えることにより、仮想音源の位置を移動させるようにしてもよい。

さらに、例えば、デプスセンサ３３以外のセンサを用いて、表示空間内のデプス情報を取得するようにしてもよい。

また、本技術は、例えば、ユーザが手に持って向きを変えることにより投影領域を移動させるハンディ型のプロジェクタにも適用することができる。

図１２は、ハンディ型プロジェクタ２０１の構成例を示すブロック図である。

ハンディ型プロジェクタ２０１は、反射型スピーカ２１１、プロジェクタ２１２、センサ部２１３、入力部２１４、及び、情報処理部２１５を備える。

反射型スピーカ２１１は、図１の反射型スピーカ３１と同様に、壁等に出力音を当てて反射させることにより、反射位置に仮想音源を生成するスピーカである。

プロジェクタ２１２は、図１のプロジェクタ３２と同様に、情報処理部２１５から供給される映像データに基づく映像を表示空間内の壁や物体等に投影する。

センサ部２１３は、デプスセンサ２２１、カメラ２２２、マイクロフォン２２３、加速度センサ２２４、及び、ジャイロセンサ２２５を備える。

デプスセンサ２２１は、図１のデプスセンサ３３と同様に、赤外光を用いて、デプスセンサ２２１からの距離を示す距離画像を撮影し、撮影した距離画像を情報処理部２１５に供給する。

カメラ２２２は、ハンディ型プロジェクタ２０１の周囲を撮影し、撮影の結果得られた画像を情報処理部２１５に供給する。カメラ２２２により撮影された画像は、例えば、ハンディ型プロジェクタ２０１の周囲のユーザの位置、視線方向、ジェスチャ等の検出に用いられる。

マイクロフォン２２３は、図１のマイクロフォン６３と同様に、例えば、反射型スピーカ２１１からの出力音に対する反射音の検出に用いられる。マイクロフォン２２３は、検出した音を示す音声信号を情報処理部２１５に供給する。

加速度センサ２２４は、例えば、ハンディ型プロジェクタ２０１のＸ軸、Ｙ軸、及び、Ｚ軸の３軸方向の加速度を検出する。加速度センサ２２４は、検出結果を示す信号を情報処理部２１５に供給する。

ジャイロセンサ２２５は、例えば、ハンディ型プロジェクタ２０１のヨー軸、ピッチ軸、及び、ロール軸の３軸回りの角速度を検出する。ジャイロセンサ２２５は、検出結果を示す信号を情報処理部２１５に供給する。

入力部２１４は、例えば、操作デバイス等により構成され、情報処理部２１５の制御部２３６への指令やデータ（例えば、映像データ、音声データ）等の入力に用いられる。

情報処理部２１５は、インタフェース（Ｉ／Ｆ）部２３１、ユーザ検出部２３２、マップ生成部２３３、記憶部２３４、移動量算出部２３５、及び、制御部２３６を備える。

Ｉ／Ｆ部２３１は、例えば、図１のＩ／Ｆ部１０１と同様に、通信デバイス、コネクタ等により構成される。Ｉ／Ｆ部２３１は、反射型スピーカ２１１、プロジェクタ２１２、デプスセンサ２２１、カメラ２２２、マイクロフォン２２３、加速度センサ２２４、及び、ジャイロセンサ２２５との間でデータ等の送受信を行う。また、Ｉ／Ｆ部２３１は、受信したデータ等を情報処理部２１５の各部に供給したり、送信するデータ等を情報処理部２１５の各部から取得したりする。

ユーザ検出部２３２は、カメラ２２２により撮影された画像に基づいて、例えば、ハンディ型プロジェクタ２０１の周囲のユーザの位置、視線方向、ジェスチャ等を検出する。ユーザ検出部２３２は、検出結果を制御部２３６に供給する。

なお、ユーザ検出部２３２の検出方法には、任意の方法を採用することができる。

マップ生成部２３３は、図１のマップ生成部１０４と同様に、デプスセンサ２２１により撮影された距離画像、及び、マイクロフォン２２３により検出される、反射型スピーカ２１１の出力音に対する反射音の検出結果を用いて、統合空間マップを生成する。マップ生成部２３３は、生成した統合空間マップを記憶部２３４に記憶させる。

移動量算出部２３５は、ハンディ型プロジェクタ２０１の動きを検出するセンサ（例えば、加速度センサ２２４及びジャイロセンサ２２５）からの情報に基づいて、ハンディ型プロジェクタ２０１の姿勢や動きを検出する。さらに、移動量算出部２３５は、ハンディ型プロジェクタ２０１の姿勢や動きの検出結果に基づいて、プロジェクタ２１２の投影領域の移動方向及び移動量を算出する。移動量算出部２３５は、投影領域の移動方向及び移動量の算出結果を制御部２３６に供給する。

或いは、移動量算出部２３５は、ハンディ型プロジェクタ２０１の動きを検出するセンサからの情報に基づいて、ハンディ型プロジェクタ２０１の姿勢や動きを予測する。さらに、移動量算出部２３５は、ハンディ型プロジェクタ２０１の姿勢や動きの予測結果に基づいて、プロジェクタ２１２の投影領域の移動方向及び移動量を予測する。移動量算出部２３５は、投影領域の移動方向及び移動量の予測結果を制御部２３６に供給する。なお、投影領域の移動方向及び移動量を予測には、例えば、特開２０１５‐７２５３４号公報に開示されている技術を用いることが可能である。

ここで、移動量算出部２３５は、図１の情報処理装置１４の移動量算出部１０６と同様に、統合空間マップを用いることにより、投影領域の移動量を迅速に算出又は予測することができる。

制御部２３６は、映像制御部２４１及び音響制御部２４２を備える。

映像制御部２４１は、プロジェクタ２１２による映像の表示を制御する。例えば、映像制御部２４１は、Ｉ／Ｆ部２３１を介してプロジェクタ２１２を制御して、表示する映像の内容及び表示タイミング等を制御する。

また、映像制御部２４１は、図１の情報処理装置１４の映像制御部１１１と同様に、投影領域の移動方向及び移動量の算出結果又は予測結果に基づいて、表示映像範囲を制御する。これにより、図１のＡＶシステム１０と同様に、ハンディ型プロジェクタ２０１の動きに合わせて表示映像範囲が移動し、映像が所定の位置に定位され、映像のズレや揺れ等の発生が抑制される。すなわち、プロジェクタ２１２が投影する映像の位置が安定する。

音響制御部２４２は、反射型スピーカ２１１による出力音の出力を制御する。例えば、音響制御部２４２は、Ｉ／Ｆ部２３１を介して反射型スピーカ２１１を制御して、出力音の内容、音量、及び、出力タイミング等を制御する。

なお、ハンディ型プロジェクタ２０１（プロジェクタ２１２）の動きを検出するセンサとして、加速度センサ２２４及びジャイロセンサ２２５以外のセンサや、センサの組み合わせを用いるようにしてもよい。

｛空間マップに関する変形例｝
空間マップに含まれる情報は、上述した例に限定されるものではなく、必要に応じて変更することが可能である。例えば、カメラ６１等により取得した情報に基づいて、表示空間の各位置の色情報やテクスチャ情報等を空間マップに含めるようにしてもよい。

また、空間マップは、必ずしも表示空間内全ての領域の情報を含む必要はなく、少なくとも映像を投影する対象となる投影対象領域の情報を含んでいればよい。

さらに、以上の説明では、第１空間マップと第２空間マップを統合した統合空間マップを生成し、用いる例を示したが、いずれか一方のみを生成し、用いることも可能である。

また、空間マップの一部又は全部の情報を外部から情報処理装置１４や情報処理部２１５に与えるようにしてもよい。

｛その他の変形例｝
以上の説明では、表示映像範囲の制御に、投影領域の移動方向及び移動量を用いる例を示したが、プロジェクタが次に映像を投影する際の表示空間内における投影領域の範囲に関する情報（投影領域情報）であって、投影領域の移動方向及び移動量以外の情報を用いることも可能である。例えば、投影領域の移動方向及び移動量を用いずに、直接投影領域の位置を算出又は予測して、表示映像範囲の制御に用いるようにしてもよい。

また、本技術を適用する映像の種類は特に限定されるものではなく、例えば、動画、静止画、２次元映像、３次元映像等が対象となる。なお、動画の場合は、時間の経過とともに表示空間に表示される映像が変化する。従って、例えば、投影領域に対応する表示映像範囲を設定する際に、その表示映像範囲の映像を投影する時点において表示空間に表示するように設定されている映像を対象にして表示映像範囲を設定するようにすればよい。

さらに、上述したカラーブレーキング対策の第２の方法は、プロジェクタ以外の表示装置（例えば、液晶ディスプレイ、有機ＥＬディスプレイ等）が、１つの画像に対して異なる色の画像を、時分割で異なる時間に表示することにより、ユーザに１つのカラーの画像を認識させる場合にも適用することができる。例えば、表示画面を備える表示装置が、表示画面を見るユーザに対して相対的に移動する場合、カラーブレーキング対策の第２の方法を適用することができる。具体的には、例えば、表示装置がユーザに対して移動する場合、表示装置の移動方向及び移動量に基づいて、上述した方法により、表示画面内における各色の画像の表示位置をシフトさせることにより、カラーブレーキングの発生を抑制することができる。

｛コンピュータの構成例｝
上述した情報処理装置１４、及び、情報処理部２１５の一連の処理は、ハードウエアにより実行することもできるし、ソフトウエアにより実行することもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここで、コンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータなどが含まれる。

図１３は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。

コンピュータにおいて、ＣＰＵ（Central Processing Unit）５０１，ＲＯＭ（Read Only Memory）５０２，ＲＡＭ（Random Access Memory）５０３は、バス５０４により相互に接続されている。

バス５０４には、さらに、入出力インタフェース５０５が接続されている。入出力インタフェース５０５には、入力部５０６、出力部５０７、記憶部５０８、通信部５０９、及びドライブ５１０が接続されている。

入力部５０６は、キーボード、マウス、マイクロフォンなどよりなる。出力部５０７は、ディスプレイ、スピーカなどよりなる。記憶部５０８は、ハードディスクや不揮発性のメモリなどよりなる。通信部５０９は、ネットワークインタフェースなどよりなる。ドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリなどのリムーバブルメディア５１１を駆動する。

以上のように構成されるコンピュータでは、ＣＰＵ５０１が、例えば、記憶部５０８に記憶されているプログラムを、入出力インタフェース５０５及びバス５０４を介して、ＲＡＭ５０３にロードして実行することにより、上述した一連の処理が行われる。

コンピュータ（ＣＰＵ５０１）が実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア５１１に記録して提供することができる。また、プログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することができる。

コンピュータでは、プログラムは、リムーバブルメディア５１１をドライブ５１０に装着することにより、入出力インタフェース５０５を介して、記憶部５０８にインストールすることができる。また、プログラムは、有線または無線の伝送媒体を介して、通信部５０９で受信し、記憶部５０８にインストールすることができる。その他、プログラムは、ＲＯＭ５０２や記憶部５０８に、あらかじめインストールしておくことができる。

なお、コンピュータが実行するプログラムは、本明細書で説明する順序に沿って時系列に処理が行われるプログラムであっても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで処理が行われるプログラムであっても良い。

また、複数のコンピュータが連携して上述した処理を行うようにしてもよい。そして、上述した処理を行う単数又は複数のコンピュータにより、コンピュータシステムが構成される。

また、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、すべての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、及び、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。

さらに、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。

例えば、本技術は、１つの機能をネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングの構成をとることができる。

また、上述のフローチャートで説明した各ステップは、１つの装置で実行する他、複数の装置で分担して実行することができる。

さらに、１つのステップに複数の処理が含まれる場合には、その１つのステップに含まれる複数の処理は、１つの装置で実行する他、複数の装置で分担して実行することができる。

また、本明細書に記載された効果はあくまで例示であって限定されるものではなく、他の効果があってもよい。

また、例えば、本技術は以下のような構成も取ることができる。

（１）
プロジェクタの投影領域の範囲に関する情報である投影領域情報を取得する取得部と、
前記投影領域情報に基づいて、前記投影領域に表示されるコンテンツの範囲である表示映像範囲を制御する映像制御部と
を備える情報処理装置。
（２）
前記プロジェクタは、前記コンテンツの映像を構成する１つの画像に対応する第１の色の画像と、前記１つの画像に対応し、前記第１の色と異なる第２の色の画像と、を異なる時間に投影し、
前記映像制御部は、前記投影領域情報に基づいて、前記第１の色の画像又は前記第２の色の画像の位置を制御する
前記（１）に記載の情報処理装置。
（３）
前記映像制御部は、前記プロジェクタの前記投影領域が移動する速さが速くなるほど、前記第１の色の画像と前記第２の色の画像との前記プロジェクタから見た位置が離れるように制御する
前記（２）に記載の情報処理装置。
（４）
前記プロジェクタは、前記コンテンツの映像を構成する１つの画像に対応する第１の色の画像と、前記１つの画像に対応し、前記第１の色と異なる第２の色の画像と、を異なる時間に投影し、
前記映像制御部は、前記１つの画像に対応する前記第１の色の画像及び前記第２の色の画像の投影が完了するまでの間、前記プロジェクタの投影方向を制御する駆動部による前記プロジェクタの投影方向の移動を停止する
前記（１）に記載の情報処理装置。
（５）
前記映像制御部は、前記１つの画像の投影を開始する前に、前記駆動部による前記プロジェクタの投影方向の移動を停止させ、前記１つの画像に対応する前記第１の色の画像及び前記第２の色の画像の投影が完了した後、前記駆動部による前記プロジェクタの投影方向の移動を再開させる
前記（４）に記載の情報処理装置。
（６）
前記投影領域情報は、前記プロジェクタの投影方向を制御する駆動部の制御情報に基づいて算出される
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（７）
前記投影領域情報は、前記駆動部の制御情報及び特性に基づく前記投影領域の範囲に関する予測値を含む
前記（６）に記載の情報処理装置。
（８）
前記駆動部の制御情報に基づいて、前記投影領域情報の算出を行う算出部を
さらに備える前記（６）又は（７）に記載の情報処理装置。
（９）
前記プロジェクタと、
前記駆動部と
をさらに備える前記（８）に記載の情報処理装置。
（１０）
前記投影領域情報は、前記プロジェクタの動きを検出するセンサからの情報に基づいて算出される
前記（１）乃至（５）のいずれかに記載の情報処理装置。
（１１）
前記投影領域情報は、前記センサからの情報に基づく前記投影領域の範囲に関する予測値を含む
前記（１０）に記載の情報処理装置。
（１２）
前記センサからの情報に基づいて、前記投影領域情報の算出を行う算出部を
さらに備える前記（１０）又は（１１）に記載の情報処理装置。
（１３）
前記プロジェクタと、
前記センサと
をさらに備える前記（１２）に記載の情報処理装置。
（１４）
前記投影領域情報は、前記投影領域の位置を表す情報、又は、前記投影領域の移動方向及び移動量を表す情報のうち少なくとも一方を含む
前記（１）乃至（１３）のいずれかに記載の情報処理装置。
（１５）
前記投影領域の位置、又は、前記投影領域の移動方向及び移動量は、映像を投影する対象となる投影対象領域のデプス情報に基づく前記プロジェクタと前記投影領域との間の距離に基づいて算出される
前記（１４）に記載の情報処理装置。
（１６）
前記投影対象領域のデプス情報を含むマップを生成するマップ生成部を
さらに備える前記（１５）に記載の情報処理装置。
（１７）
前記映像制御部は、前記投影対象領域に対して予め設定されている映像の表示位置を示す映像位置情報に基づいて、前記表示映像範囲を制御する
前記（１５）又は（１６）に記載の情報処理装置。
（１８）
前記映像制御部は、前記投影領域情報に基づいて、前記表示映像範囲を設定し、設定した前記表示映像範囲に対応する映像を前記プロジェクタに投影させる
前記（１）乃至（１７）のいずれかに記載の情報処理装置。
（１９）
プロジェクタの投影領域の範囲に関する情報である投影領域情報の取得を制御する取得制御ステップと、
前記投影領域情報に基づいて、前記投影領域に表示されるコンテンツの範囲である表示映像範囲を制御する映像制御ステップと
を含む情報処理方法。
（２０）
プロジェクタの投影領域の範囲に関する情報である投影領域情報の取得を制御する取得制御ステップと、
前記投影領域情報に基づいて、前記投影領域に表示されるコンテンツの範囲である表示映像範囲を制御する映像制御ステップと
を含む処理をコンピュータシステムに実行させるためのプログラム。

１０ ＡＶシステム， １１ 駆動型プロジェクタ， １２ センサ部， １３ 操作部， １４ 情報処理装置， ３１ 反射型スピーカ， ３２ プロジェクタ， ３３ デプスセンサ， ３４ 駆動部， ４１ パンモータ， ４２ チルトモータ， ４３ モータ制御部， ６１ カメラ， ６２ 魚眼カメラ， ６３ マイクロフォン， ８１ ポインティングデバイス， １０２ ポインティング位置検出部， １０３ ユーザ検出部， １０４ マップ生成部， １０６ 移動量算出部， １０８ 制御部， １１１ 映像制御部， １１２ 音響制御部， ２０１ ハンディ型プロジェクタ， ２１１ 反射型スピーカ， ２１２ プロジェクタ， ２１３ センサ部， ２１５ 情報処理部， ２２１ デプスセンサ， ２２２ カメラ， ２２３ マイクロフォン， ２２４ 加速度センサ， ２２５ ジャイロセンサ， ２３２ ユーザ検出部， ２３３ マップ生成部， ２３５ 移動量算出部, ２３６ 制御部， ２４１ 映像制御部， ２４２ 音響制御部

Claims (20)

1. プロジェクタの投影領域の範囲に関する情報である投影領域情報を取得する取得部と、
   前記投影領域情報に基づいて、前記投影領域に表示されるコンテンツの範囲である表示映像範囲を制御する映像制御部と
   を備える情報処理装置。
2. 前記プロジェクタは、前記コンテンツの映像を構成する１つの画像に対応する第１の色の画像と、前記１つの画像に対応し、前記第１の色と異なる第２の色の画像と、を異なる時間に投影し、
   前記映像制御部は、前記投影領域情報に基づいて、前記第１の色の画像又は前記第２の色の画像の位置を制御する
   請求項１に記載の情報処理装置。
3. 前記映像制御部は、前記プロジェクタの前記投影領域が移動する速さが速くなるほど、前記第１の色の画像と前記第２の色の画像との前記プロジェクタから見た位置が離れるように制御する
   請求項２に記載の情報処理装置。
4. 前記プロジェクタは、前記コンテンツの映像を構成する１つの画像に対応する第１の色の画像と、前記１つの画像に対応し、前記第１の色と異なる第２の色の画像と、を異なる時間に投影し、
   前記映像制御部は、前記１つの画像に対応する前記第１の色の画像及び前記第２の色の画像の投影が完了するまでの間、前記プロジェクタの投影方向を制御する駆動部による前記プロジェクタの投影方向の移動を停止する
   請求項１に記載の情報処理装置。
5. 前記映像制御部は、前記１つの画像の投影を開始する前に、前記駆動部による前記プロジェクタの投影方向の移動を停止させ、前記１つの画像に対応する前記第１の色の画像及び前記第２の色の画像の投影が完了した後、前記駆動部による前記プロジェクタの投影方向の移動を再開させる
   請求項４に記載の情報処理装置。
6. 前記投影領域情報は、前記プロジェクタの投影方向を制御する駆動部の制御情報に基づいて算出される
   請求項１に記載の情報処理装置。
7. 前記投影領域情報は、前記駆動部の制御情報及び特性に基づく前記投影領域の範囲に関する予測値を含む
   請求項６に記載の情報処理装置。
8. 前記駆動部の制御情報に基づいて、前記投影領域情報の算出を行う算出部を
   さらに備える請求項６に記載の情報処理装置。
9. 前記プロジェクタと、
   前記駆動部と
   をさらに備える請求項８に記載の情報処理装置。
10. 前記投影領域情報は、前記プロジェクタの動きを検出するセンサからの情報に基づいて算出される
    請求項１に記載の情報処理装置。
11. 前記投影領域情報は、前記センサからの情報に基づく前記投影領域の範囲に関する予測値を含む
    請求項１０に記載の情報処理装置。
12. 前記センサからの情報に基づいて、前記投影領域情報の算出を行う算出部を
    さらに備える請求項１０に記載の情報処理装置。
13. 前記プロジェクタと、
    前記センサと
    をさらに備える請求項１２に記載の情報処理装置。
14. 前記投影領域情報は、前記投影領域の位置を表す情報、又は、前記投影領域の移動方向及び移動量を表す情報のうち少なくとも一方を含む
    請求項１に記載の情報処理装置。
15. 前記投影領域の位置、又は、前記投影領域の移動方向及び移動量は、映像を投影する対象となる投影対象領域のデプス情報に基づく前記プロジェクタと前記投影領域との間の距離に基づいて算出される
    請求項１４に記載の情報処理装置。
16. 前記投影対象領域のデプス情報を含むマップを生成するマップ生成部を
    さらに備える請求項１５に記載の情報処理装置。
17. 前記映像制御部は、前記投影対象領域に対して予め設定されている映像の表示位置を示す映像位置情報に基づいて、前記表示映像範囲を制御する
    請求項１５に記載の情報処理装置。
18. 前記映像制御部は、前記投影領域情報に基づいて、前記表示映像範囲を設定し、設定した前記表示映像範囲に対応する映像を前記プロジェクタに投影させる
    請求項１に記載の情報処理装置。
19. プロジェクタの投影領域の範囲に関する情報である投影領域情報の取得を制御する取得制御ステップと、
    前記投影領域情報に基づいて、前記投影領域に表示されるコンテンツの範囲である表示映像範囲を制御する映像制御ステップと
    を含む情報処理方法。
20. プロジェクタの投影領域の範囲に関する情報である投影領域情報の取得を制御する取得制御ステップと、
    前記投影領域情報に基づいて、前記投影領域に表示されるコンテンツの範囲である表示映像範囲を制御する映像制御ステップと
    を含む処理をコンピュータシステムに実行させるためのプログラム。

Images