JP6782426B2 - 映像提示システム - Google Patents

Description

本発明は、映像提示システムに関する。

非特許文献１は、大画面ハーフミラーフィルム（以下、単に「ハーフミラー」と言う場合もある。）を用いた映像提示システムを開示する。このシステムでは、ユーザの前方に、床面スクリーンおよびハーフミラーが配置される。床面スクリーンは、床の上に水平に配置される。ハーフミラーは、床面スクリーン上方のユーザの正面に配置され、一般的にハーフミラー背面はユーザがいる場所に比べて照明が暗く設定されている。ハーフミラーは、ユーザに近づくにつれて床面スクリーンからの距離が大きくなるように、床面スクリーンに対して４５度傾斜している。

上記の構成において、プロジェクタから映像を床面スクリーンに投影すると、床面スクリーンに投影された映像がハーフミラーに入射し、入射角度に等しい反射角度で反射して、ユーザに虚像として提示される。上述のようにハーフミラーが４５度傾斜しているので、ユーザからすると、ハーフミラーを挟んでユーザとは反対側に位置する前方の空間に、映像の虚像が浮かび上がるように見える。このようにユーザの前方の空間（以下、「前方空間」という場合もある）に虚像を合成することで、虚像に示される対象物があたかもユーザの前方に存在しているような映像をユーザに提示することができる。

村瀬香緒里、小木哲朗、齋藤康太、小山尚英「大画面ハーフミラーによる没入型拡張現実環境の構築とオクルージョン表現」、［online］、日本バーチャルリアリティ学会論文誌、Vol.13、No.2、pp.141-150、2008.6、［平成２８年７月１５日検索］、インターネット〈URL: http://lab.sdm.keio.ac.jp/ogi/papers/TVRSJ2008-murase.pdf〉

前方空間に虚像を合成した映像をユーザに提示する技術を、テレビ電話などに用いることが考えられる。たとえば、前方空間に対話相手の虚像を合成した映像を提示することで、対話相手が目の前にいるような状況での対話コミュニケーションを実現できる可能性がある。

非特許文献１に開示されたシステムでは、ハーフミラーを４５度傾けた状態でユーザの前方に配置するため、ユーザの前方に大きなスペースが必要になり、システムが大型化する。このようにシステムが大型化すると、たとえば、ユーザからハーフミラーを挟んでユーザとは反対側に位置する空間までの距離、つまりユーザと前方空間に合成された対話相手の虚像との距離が大きくなってしまう。この距離が大きくなると、対話相手がすぐ目の前にいるような状況での対話コミュニケーションを実現することは困難になる。したがって、小型化等を含めたよりシンプルな構成のシステムが望まれる。

本発明は、上記課題に鑑みてなされたものであり、従来よりもシンプルな構成で前方空間に虚像を合成した映像を提示することが可能な映像提示システムを提供することを目的とする。

本発明の一態様に係る映像提示システムは、ユーザの前方空間に虚像を合成した映像をユーザに提示する映像提示システムであって、特定波長の光で構成される映像を入射角度とは異なる角度で反射し、特定波長の光以外の光を透過するホログラムミラーと、映像をホログラムミラーに向かって表示するスクリーンと、を備え、ホログラムミラーは、ユーザに対向するように設けられた状態で、ユーザが、ホログラムミラーを挟んでユーザとは反対側の位置に映像の虚像を視認できるように、スクリーンからの映像を反射する。

上記の映像提示システムでは、特定波長の光で構成される映像を入射角度とは異なる角度で反射し、特定波長の光以外の光を透過するホログラムミラーと、映像をホログラムミラーに向かって表示するスクリーンとが用いられる。ホログラムミラーが特定波長の光以外の光を透過するので、ユーザは、ホログラムミラーを挟んでユーザとは反対側に位置する前方空間を視認し得る。一方で、ホログラムミラーは、ユーザに対向するように設けられた状態で、ユーザが、ホログラムミラーを挟んでユーザとは反対側の位置に映像の虚像を視認できるように、スクリーンからの映像を反射する。このため、上述の前方空間に映像の虚像を合成し、当該虚像（つまり映像の対象物）があたかもユーザの前方に存在しているような映像を、ユーザに提示することができる。ここで、ホログラムミラーがユーザに対向するように設けられた状態では、非特許文献１のようにハーフミラーを４５度傾けた状態でユーザの前方に配置した状態と比較して、ユーザの前方のスペースが小さくなる。非特許文献１のようにハーフミラーを４５度傾けた状態に維持する必要もない。したがって、上記の映像提示システムによれば、従来よりもシンプルな構成で前方空間に虚像を合成した映像を提示することが可能になる。たとえばユーザの前方のスペースが小さくなる分、テレビ電話などにおいて、対話相手がすぐ目の前にいるような状況での対話コミュニケーションを実現することもできる。

映像提示システムは、ユーザ側の位置からホログラムミラーを撮影するカメラを更に備え、カメラは、ホログラムミラーを挟んでカメラとは反対側の位置にユーザの虚像を撮影できるように配置されてもよい。これにより、ユーザの正面の姿をカメラで撮影することができる。たとえば、テレビ電話などにおいて、上記のカメラによって撮影されたユーザの正面の姿が同様の映像提示システムを利用している対話相手に映像として提示されることで、提示される映像におけるユーザの目線が、対話相手を正面から見たときと同じような目線になる。ユーザから見た対話相手の目線についても同様である。その結果、ユーザと対話相手との間で、目線によるコミュニケーション（アイコンタクト）も可能になる。

スクリーンは、映像をホログラムミラーに向かって表示する第１の状態と、映像を表示することなく光を透過させる第２の状態との２つの状態が交互に切り替わるように構成され、カメラは、スクリーンを挟んでホログラムミラーとは反対側に配置されていてもよい。これにより、スクリーンの状態が第１の状態のときには、映像をユーザに提示することができる。また、スクリーンの状態が第２の状態のときには、スクリーンを通して、カメラでユーザの虚像を撮影することができる。ここで、カメラは、ホログラムミラーとはスクリーンを挟んで反対側に配置されている。この場合、ホログラムミラーから見て、スクリーンおよびカメラが同じ方向に位置するので、スクリーンからの映像の虚像をユーザが正面で視認できるようにすることの精度の向上と、ユーザの虚像をカメラが正面で撮影できるようにすることの精度の向上とを両立できる。

映像提示システムは、スクリーンを挟んでホログラムミラーとは反対側に配置されたミラーを更に備え、カメラは、ミラーによる反射を利用してホログラムミラーを撮影できるように配置されてもよい。あるいは、映像提示システムは、ホログラムミラーとスクリーンとの間に配置されたハーフミラーを更に備え、カメラは、ハーフミラーによる反射を利用してホログラムミラーを撮影できるように配置されてもよい。このようにミラーまたはハーフミラーの反射を利用することによって、カメラの配置の自由度を高めることができる。

あるいは、映像提示システムは、ユーザから見てホログラムミラーの背後に配置されたカメラを更に備え、カメラは、ホログラムミラーを介してユーザを撮影してもよい。この場合も、ユーザの正面の姿をカメラで撮影することができる。

本発明によると、従来よりもシンプルな構成で前方空間に虚像を合成した映像を提示することが可能になる。

映像提示システムの構成を示す図である。 映像提示システムのブロック図である。 像提示システムの構成の別の例を示す図である。 映像提示システムの構成の別の例を示す図である。 映像提示システムの構成の別の例を示す図である。 映像提示システムの構成の別の例を示す図である。 映像提示システムの別の例のブロック図である。

以下、本発明の実施形態について、図面を参照しながら説明する。なお、図面の説明において同一要素には同一符号を付し、重複する説明は省略する。

図１は、実施形態に係る映像提示システムの構成を示す図である。映像提示システム１は、ユーザＵの前方の空間（前方空間）に虚像を合成した映像をユーザＵに提示するシステムであり、たとえば対話コミュニケーションに用いられる。対話コミュニケーションの例は、テレビ電話である。図１には、ユーザＵが映像提示システム１を利用して、対話相手Ｄ（図にはその虚像Ｄｉが示される）と対話コミュニケーションを行う様子が示される。

映像提示システム１は、ホログラムミラー１０と、スクリーン２０と、カメラ３０と、プロジェクタ４０と、マイク５０と、スピーカ６０と、制御装置７０とを含む。

ホログラムミラー１０は、たとえばシート形状のホログラム材料に対して露光を行うことによって作られる。ホログラム材料をレンズやミラー等の光学系として用いたものを、一般的にはホログラム光学素子（ＨＯＥ：Holographic Optical Element）と呼ぶ。ＨＯＥの材質（ホログラム材料）の例は、フォトポリマーである。ＨＯＥの露光は、レーザのようなコヒーレントな光を、ＨＯＥの両面にそれぞれ異なる角度で照射することによって行われる。このようにして得られたホログラムミラー１０は、次に説明する波面再現性および波長選択性の２つの特性を有する。

波面再現性とは、露光時の光の経路を再現する、という特性である。露光時の光の経路は、上述のＨＯＥの両面にそれぞれ照射された光の経路を合わせた経路である。波面再現性を有するホログラムミラー１０は、露光時の光の経路に沿って光を屈折・反射するレンズとしての機能を有する。露光時の光の照射角度を調節することによって、ホログラムミラー１０を、入射光を入射角度とは異なる所望の反射角度で反射するオフアクシスミラーとすることができる。

波長選択性とは、露光に用いられた光の波長と同一の波長の光のみに対して上述のレンズとしての機能を発揮し、それ以外の波長の光は透過させる、という特性である。露光に用いられる光は、複数の異なる波長の光の合波光であってよい。波長選択性を有するホログラムミラー１０は、特定波長以外の波長の光は透過させるので、ユーザＵは、ホログラムミラー１０を挟んで反対側の前方空間を視認し得る。

以上のような波面再現性および波長選択性の２つの特性によれば、ホログラムミラー１０を、たとえば、特定波長の光を入射角度とは異なる角度で反射し、特定波長以外の波長の光を透過するように構成できる。特定波長は、後述のスクリーン２０が表示する映像を構成する光の波長を含むように設定される。たとえば映像がＲ（赤）、Ｇ（緑）、Ｂ（青）などの単色光で構成される場合には、特定波長も、その単色光の波長を含むように設定される。映像がＲＧＢの三原色で構成される場合には、特定波長は、ＲＧＢの三原色の光の波長を含むように設定される。

スクリーン２０は、ホログラムミラー１０よりもユーザＵ側の位置から、映像をホログラムミラー１０に向かって表示する。映像の例は、対話相手Ｄの正面の姿の映像である。スクリーン２０は、たとえば略平板形状またはシート形状を有する。スクリーン２０としては、プロジェクタスクリーンを用いることができる。図１に示される例では、スクリーン２０は、前面投影および背面投影（リアプロジェクション）の両方が可能な透過型スクリーンである。透過型スクリーンは、たとえば透過型フィルムを用いて構成される。透明に近い（たとえば半透明の）透過型フィルムを用いることによって、プロジェクタで投影をしていない場合はスクリーン２０が透過して見えるようになる。

スクリーン２０には、プロジェクタ４０からの映像が投影される。プロジェクタ４０は、プロジェクタ４０からスクリーン２０までの光路上にユーザＵが存在しないように配置される。投影のフレーム数は、たとえば６０フレーム／秒である。プロジェクタ４０は、ホログラムミラー１０よりもユーザＵ側の位置から、スクリーン２０に映像を投影する。この例では、プロジェクタ４０は、スクリーン２０の背面に映像を投影する。プロジェクタ４０は、映像を投影する状態と、映像を投影しない状態とが交互に切り替わるように、後述の制御装置７０によって制御され得る。プロジェクタ４０が映像を投影する状態では、スクリーン２０は、映像をホログラムミラー１０に向かって表示する状態（第１の状態）となる。プロジェクタ４０が映像を投影しない状態では、スクリーン２０は、映像を表示することなく光を透過させる透過状態（第２の状態）となる。つまり、スクリーン２０は、第１の状態と第２の状態とが交互に切り替わるように構成され得る。

カメラ３０は、ホログラムミラー１０よりもユーザＵ側の位置から、ホログラムミラー１０を撮影する。撮影のフレーム数は、たとえば６０フレーム／秒である。マイク５０は、ホログラムミラー１０よりもユーザＵ側の位置で、周囲の音を集音する。マイク５０によって集音される音の例は、ユーザＵの音声である。
スピーカ６０は、ホログラムミラー１０よりもユーザＵ側の位置から、ユーザＵに向けて音を出力する。スピーカ６０によって出力される音の例は、対話相手Ｄの音声である。

制御装置７０は、映像提示システム１に含まれる各要素を制御する。制御装置７０の機能については、後に図２を参照して説明する。制御装置７０のハードウェア構成についても後述する。

映像提示システム１は、たとえば室内で利用することができる。図１に示される例では、ホログラムミラー１０が、壁Ｗに設けられる。この例では、壁Ｗが床Ｆに対して垂直に延在しているので、ホログラムミラー１０は、垂直に設けられることになる。壁Ｗは、通常の壁のように不透明な材料を用いて作られていて良い。カメラ３０、プロジェクタ４０、スピーカ６０、マイク５０および制御装置７０は、床Ｆのうちの壁ＷよりもユーザＵ側の部分に設けられている。スクリーン２０は、たとえば、固定部材（不図示）を介して床Ｆに設けられてよい。ユーザＵは、ホログラムミラー１０と対向する位置で映像提示システム１を利用し、対話相手Ｄとの対話を行う。換言すると、映像提示システム１は、ホログラムミラー１０がユーザＵに対向するように設けられた状態で利用される。

本実施形態では、ホログラムミラー１０は、ユーザＵが、ホログラムミラー１０を挟んでユーザＵとは反対側の位置に映像の虚像を視認できるように、スクリーン２０からの映像を反射する（矢印ＡＲ１）。このような反射特性は、先に説明したＨＯＥの露光時の光の照射角度を、ホログラムミラー１０およびスクリーン２０の位置関係に合わせて調節することによって実現できる。ホログラムミラー１０はユーザＵと対向するように設けられているので、ユーザＵからは、ホログラムミラー１０の後方の空間にスクリーン２０の虚像２０ｉ（すなわち対話相手Ｄの虚像Ｄｉ）が合成された映像が見える。

また、カメラ３０は、ホログラムミラー１０を挟んでカメラ３０とは反対側の位置にユーザＵの虚像Ｕｉを撮影できるように配置される。ホログラムミラー１０が上述のような反射特性（矢印ＡＲ１）を有していることから、カメラ３０は、ホログラムミラー１０からみたときにスクリーン２０とほぼ同じ方向に位置するように配置される（矢印ＡＲ２）。たとえば、ホログラムミラー１０からみたときに、スクリーン２０およびカメラ３０が並設されていてよい。スクリーン２０が透過型スクリーンであれば、ホログラムミラー１０からみたときにカメラ３０がスクリーン２０の背後に位置するようにスクリーン２０およびカメラ３０が重なっていてよい。この場合、カメラ３０は、スクリーン２０を挟んでホログラムミラー１０とは反対側に配置される。先に説明したように、ホログラムミラー１０はユーザＵに対向するように設けられるので、カメラ３０は、ユーザＵの正面の姿を撮影することができる。

図２は、映像提示システムのブロック図である。図２には互いに通信が可能な２つの映像提示システムのブロック図が示される。一方の映像提示システム１はユーザＵが利用し、他方の映像提示システム１は対話相手Ｄが利用する。

映像提示システム１に含まれるホログラムミラー１０、スクリーン２０、カメラ３０、プロジェクタ４０、マイク５０およびスピーカ６０については、先に図１を参照して説明したとおりである。図２には、制御装置７０の詳細構成が更に示される。具体的に、制御装置７０は、カメラ３０、プロジェクタ４０、マイク５０およびスピーカ６０を制御可能に構成され、その機能ブロックとして、時分割処理部７２と、制御部７４と、記憶部７６と、通信部７８とを含む。

時分割処理部７２は、スクリーン２０によって表示映像を表示するモード（表示モード）と、カメラ３０によって撮影された映像を取り込むモード（取込モード）とを、時間的に切り替えて実行する処理（時分割処理）を行う。表示モードでは、対話相手の映像がプロジェクタ４０からスクリーン２０へ投影され、スクリーン２０による映像の表示が行われる。ここでの対話相手は、ユーザＵが利用する映像提示システム１では対話相手Ｄであり、対話相手Ｄが利用する映像提示システム１ではユーザＵである。表示モードでは、スクリーン２０が上述の第１の状態（映像をホログラムミラー１０に向かって表示する状態）となる。カメラ３０によって撮影された映像は、取り込まなくてもよい。取込モードでは、プロジェクタ４０からスクリーン２０への映像の投影が停止（中断）され、カメラ３０によって撮影された映像が取り込まれる。スクリーン２０は、上述の第２の状態（映像を表示することなく光を透過させる透過状態）となる。

時分割処理部７２は、たとえば、１秒間を１２０フレームに分割し、１フレームごとに、取込モードと表示モードとを交互に実行する。この場合、時分割処理部７２は、１２０フレームのうちの表示モードが実行される６０フレームにおいて映像をスクリーン２０に投影するように、プロジェクタ４０を制御する。時分割処理部７２は、１２０フレームのうちの取込モードが実行される６０フレームにおいて撮影を行うようにカメラ３０を制御してもよいし、全１２０フレームで撮影を行うようにカメラ３０を制御してもよい。後者の場合、たとえば、カメラ３０が撮影した１２０フレーム分の映像のうち取込モードが実行される６０フレーム分の映像が間引いて取り込まれる。

なお、上述の時分割処理は、スクリーン２０が透過型スクリーンであり、カメラ３０がスクリーン２０を通してホログラムミラー１０を撮影する場合に実行される。すなわち、先に説明したように、カメラ３０がスクリーン２０を挟んでホログラムミラー１０とは反対側に位置する場合には、スクリーン２０に映像が表示されていると、その映像もカメラ３０によって撮影されてしまう。上述の時分割処理を行うことによって、スクリーン２０による映像の表示とカメラ３０による撮影とのタイミングをずらすことができるので、スクリーン２０に表示された映像がカメラ３０によって撮影されることを防ぐことができる。一方、カメラ３０がスクリーン２０を通さずにホログラムミラー１０を撮影できる場合、たとえばホログラムミラー１０から見てスクリーン２０とカメラ３０とが重ならないように位置する（スクリーン２０およびカメラ３０が空間分割されている）場合には、スクリーン２０に表示された映像がカメラ３０によって撮影されてしまうことがないので、上述の時分割処理は不要である。時分割処理を行わない場合には、カメラ３０によって撮影された映像がそのまま６０フレーム／秒で取り込まれ、また、制御部７４からの映像がそのまま６０フレーム／秒でスクリーン２０に表示されてよい。

制御部７４は、制御装置７０に含まれる各要素を制御することによって、制御装置７０の全体制御を行う部分である。記憶部７６は、制御装置７０によって実行される処理に必要な種々の情報を記憶する部分である。たとえば、記憶部７６は、制御装置７０の各機能を実現するためのプログラムを記憶する。通信部７８は、映像提示システム１の外部と通信を行う部分である。図２に示される例では、ユーザＵが利用する映像提示システム１と、対話相手Ｄが利用する映像提示システム１とが、それぞれの通信部７８を介して通信可能となっている。

次に、図２とともに図１も参照して、映像提示システム１の動作の概要について説明する。ユーザＵが利用する映像提示システム１において、ホログラムミラー１０で反射されたユーザＵの姿（虚像Ｕｉ）を、カメラ３０が撮影する。カメラ３０によって撮影された映像は、通信部７８を介して、対話相手Ｄが利用する映像提示システム１の通信部７８に送信される。対話相手Ｄが利用する映像提示システム１では、通信部７８によって受信された映像を、プロジェクタ４０がスクリーン２０に投影する。スクリーン２０は、ホログラムミラー１０に向かって映像を表示する。このようにして、対話相手Ｄは、ホログラムミラー１０を挟んで対話相手Ｄとは反対側の空間（対話相手Ｄの前方空間）に、スクリーン２０の映像の虚像（つまりユーザＵの正面の姿）を視認することができる。

また、対話相手Ｄが利用する映像提示システム１において、ホログラムミラー１０で反射された対話相手Ｄの姿（虚像Ｄｉ）を、カメラ３０が撮影する。カメラ３０によって撮影された映像は、通信部７８を介して、ユーザＵが利用する映像提示システム１の通信部７８に送信される。ユーザＵが利用する映像提示システム１では、通信部７８によって受信された映像を、プロジェクタ４０がスクリーン２０に投影する。スクリーン２０は、ホログラムミラー１０に向かって映像を表示する。このようにして、ユーザＵは、ホログラムミラー１０を挟んでユーザＵとは反対側の空間（ユーザＵの前方空間）に、スクリーン２０の映像の虚像（つまり対話相手Ｄの正面の姿）を視認することができる。

また、ユーザＵが利用する映像提示システム１において、マイク５０が、ユーザＵの音声を集音する。マイク５０によって集音された音は、通信部７８を介して、対話相手Ｄが利用する映像提示システム１の通信部７８に送信される。対話相手Ｄが利用する映像提示システム１では、通信部７８によって受信された音を、スピーカ６０が出力する。このようにして、対話相手Ｄは、ユーザＵの音声を聞くことができる。

また、対話相手Ｄが利用する映像提示システム１において、マイク５０が、対話相手Ｄの音声を集音する。マイク５０によって集音された音は、通信部７８を介して、ユーザＵが利用する映像提示システム１の通信部７８に送信される。ユーザＵが利用する映像提示システム１では、通信部７８によって受信された音を、スピーカ６０が出力する。このようにして、ユーザＵは、対話相手Ｄの音声を聞くことができる。

以上のように、ユーザＵおよび対話相手Ｄがそれぞれ利用する映像提示システム１間で、両者の映像および音声を送受信することで、ユーザＵと対話相手Ｄとの対話コミュニケーションが行われる。

映像提示システム１の作用効果について説明する。映像提示システム１では、特定波長の光（たとえばＲＧＢの三原色の光）で構成される映像を入射角度とは異なる角度で反射し、特定波長の光以外の光を透過するホログラムミラー１０と、映像をホログラムミラー１０に向かって表示するスクリーン２０とが用いられる。ホログラムミラー１０が特定波長の光以外の光を透過するので、ユーザＵは、ホログラムミラー１０を挟んでユーザＵとは反対側に位置する前方空間を視認し得る。一方で、ホログラムミラー１０は、ユーザに対向するように設けられた状態で、ユーザＵが、ホログラムミラー１０を挟んでユーザＵとは反対側の位置に映像の虚像、つまり対話相手Ｄの姿を視認できるように、スクリーン２０からの映像を反射する。このため、上述の前方空間に映像の虚像を合成し、当該虚像（つまり対話相手Ｄ）があたかもユーザＵの前方に存在しているような映像を、ユーザＵに提示することができる。

ここで、ホログラムミラー１０がユーザＵに対向するように設けられた状態では、非特許文献１のようにハーフミラーを４５度傾けた状態でユーザの前方に配置した状態と比較して、ユーザＵの前方のスペースが小さくなる。非特許文献１のようにハーフミラーを４５度傾けた状態に維持する必要もない。したがって、映像提示システム１によれば、従来よりもシンプルな構成で前方空間に虚像を合成した映像を提示することが可能になる。たとえばユーザＵの前方のスペースが小さくなる分、テレビ電話などにおいて、対話相手Ｄがすぐ目の前にいるような状況での対話コミュニケーションを実現することもできる。

また、映像提示システム１は、ユーザＵ側の位置からホログラムミラー１０を撮影するカメラ３０を更に備え、カメラ３０は、ホログラムミラー１０を挟んでカメラ３０とは反対側の位置にユーザＵの虚像を撮影できるように配置されている。これにより、ユーザＵの正面の姿をカメラで撮影することができる。たとえば、テレビ電話などにおいて、カメラ３０によって撮影されたユーザＵの正面の姿が、同じ映像提示システム１を利用している対話相手Ｄに映像として提示されることで、提示される映像におけるユーザＵの目線が、対話相手Ｄを正面から見たときと同じような目線になる。ユーザＵから見た対話相手Ｄの目線についても同様である。その結果、ユーザＵと対話相手Ｄとの間で、目線によるコミュニケーション（アイコンタクト）も可能になる。

また、スクリーン２０が透過型スクリーンの場合、スクリーン２０は、映像をホログラムミラー１０に向かって表示する第１の状態と、映像を表示することなく光を透過させる第２の状態との２つの状態が交互に切り替わるように構成され、カメラ３０は、スクリーン２０を挟んでホログラムミラー１０とは反対側に配置されてよい。これにより、スクリーン２０の状態が第１の状態のときには、映像（対話相手Ｄの虚像Ｄｉ）をユーザＵに提示することができる。また、スクリーン２０の状態が第２の状態のときには、スクリーン２０を通して、カメラ３０でユーザＵの虚像Ｕｉを撮影することができる。この場合、ホログラムミラー１０から見て、スクリーン２０およびカメラ３０が同じ方向に位置するので、スクリーン２０からの映像の虚像（対話相手Ｄの姿）をユーザＵが正面で視認できるようにすれば、カメラ３０も、ユーザＵの虚像Ｕｉを正面で撮影できるようになる。よって、スクリーン２０からの映像の虚像をユーザＵが正面で視認できるようにすることの精度の向上と、ユーザＵの虚像Ｕｉをカメラ３０が正面で撮影できるようにすることの精度の向上とを両立できる。

また、映像提示システム１では、ホログラムミラー１０以外の構成要素、つまり、スクリーン２０、カメラ３０、プロジェクタ４０、マイク５０、スピーカ６０および制御装置７０をすべてホログラムミラー１０よりもユーザＵ側に配置することができる。これにより、ホログラムミラー１０の後方（ユーザＵとは反対側）のスペースが不要になるので、この点でも、システム構成をシンプルなものにすることができる。

また、スクリーン２０を床Ｆに設けることによって、スクリーン２０がユーザＵに視認されにくくなる。プロジェクタ４０は、プロジェクタ４０からスクリーン２０までの光路上にユーザＵが存在しないように配置される。これにより、ユーザＵは、スクリーン２０に投影される映像を意識せずに、前方空間に合成された対話相手Ｄの映像を見ることができるので、実際に対話相手Ｄと対面しているような感覚で、対話相手Ｄと対話を行うことができる。

実施形態に係る映像提示システムは、図１および図２に示される構成に限定されない。スクリーンに映像を投影し、ホログラムミラーを挟んでユーザと反対側の前方空間に虚像を合成し、また、カメラがユーザの正面の虚像を正面で撮影する、という原則が成立する範囲において、種々の構成が採用され得る。いくつかの例を、以下、図３から図６を参照して説明する。

図３に示される映像提示システム１Ａは、映像提示システム１（図１）と比較して、プロジェクタ４０の位置において相違する。プロジェクタ４０は、スクリーン２０の前面（ホログラムミラー１０側の面）に映像を投影するように、スクリーン２０よりもホログラムミラー１０側に配置される。この例では、プロジェクタ４０は、壁Ｗのうちのホログラムミラー１０よりも下方の部分に取り付けられる。映像提示システム１Ａによれば、たとえば、プロジェクタ４０をスクリーン２０よりもホログラムミラー１０側に配置することができるという点で、プロジェクタ４０の配置の自由度を高めることができる。

図４に示される映像提示システム１Ｂは、映像提示システム１Ａ（図３）と比較して、ミラー３２を更に含む点、およびカメラ３０の位置において相違する。ミラー３２は、スクリーン２０を挟んでホログラムミラー１０とは反対側に配置される。カメラ３０は、ミラー３２による反射を利用してホログラムミラー１０を撮影できるように配置される（矢印ＡＲ３）。図４に示される例では、ミラー３２の反射面が壁Ｗの対向するように、ミラー３２が床Ｆ上に垂直に設けられる。カメラ３０は、ミラー３２の反射面（スクリーン２０側の面）を撮影できるように、床Ｆ上に設けられる。ただし、ミラー３２およびカメラ３０の位置は、図４に示される例に限定されない。映像提示システム１Ｂによれば、カメラ３０がミラー３２の反射を利用するので、その分、カメラ３０の配置の自由度を高めることができる。

図５に示される映像提示システム１Ｃは、映像提示システム１（図１）と比較して、スクリーン２０に代えてスクリーン２０Ａを含む点、ハーフミラー３４を更に含む点、およびカメラ３０の位置において相違する。スクリーン２０Ａは、非透過型プロジェクタスクリーンである。スクリーン２０Ａの形状は、スクリーン２０と同様であってよい。ハーフミラー３４は、ホログラムミラー１０とスクリーン２０との間に配置される。ハーフミラー３４は、例えば透過率と反射率とが等しくなるように構成されている。カメラ３０は、ハーフミラー３４による反射を利用してホログラムミラー１０を撮影できるように配置される（矢印ＡＲ４）。図５に示される例では、ハーフミラー３４は、スクリーン２０Ａと対向するように設けられる。ハーフミラー３４は、スクリーン２０Ａと同様に、固定部材（不図示）を介して床Ｆに設けられてよい。ただし、ハーフミラー３４およびカメラ３０の位置は、図５に示される例に限定されない。映像提示システム１Ｃによれば、カメラ３０がハーフミラー３４の反射を利用するので、その分、カメラ３０の配置の自由度を高めることができる。

図６に示される映像提示システム１Ｄは、映像提示システム１Ｂ（図４）と比較して、ホログラムミラー１０に代えてホログラムミラー１０Ｄを含む点、およびスクリーン２０、カメラ３０、ミラー３２の位置において相違する。映像提示システム１Ｄでは、スクリーン２０およびミラー３２は、床Ｆに対して平行に設けられる。ホログラムミラー１０Ｄは、ホログラムミラー１０と同様に壁Ｗに設けられ、ユーザＵが、ホログラムミラー１０を挟んでユーザＵとは反対側の位置に映像の虚像を視認できるように、スクリーン２０からの映像を反射する（矢印ＡＲ５）。カメラ３０は、スクリーン２０を介してミラー３２の反射面を撮影できるように、天井Ｓに設けられる（矢印ＡＲ６）。天井Ｓは、床Ｆと対向するように、壁Ｗに対して垂直に延在している。映像提示システム１Ｄによっても、映像提示システム１Ｂ（図４）と同様に、カメラ３０がミラー３２の反射を利用するので、その分、カメラ３０の配置の自由度を高めることができる。

以上、本発明の実施形態について説明したが、本発明は、上記実施形態に限定されるものではない。

たとえば、上記実施形態では、図２に示されるようにユーザＵおよび対話相手Ｄがいずれも映像提示システム１を利用することによって対話コミュニケーションを行う例を説明したが、対話相手Ｄは、映像提示システム１とは別のシステムを利用してもよい。図７に示される例では、対話相手Ｄは、既存のテレビ電話システム９０を利用する。テレビ電話システム９０は、通信部９７を用いて映像提示システム１（の通信部７８）と通信が可能である。テレビ電話システム９０では、制御部９５の制御のもと、ディスプレイ等の表示装置で構成される表示部９１が、映像提示システム１から送信されたユーザＵの映像を表示する。カメラ９２が、対話相手Ｄの映像を撮影し、その映像を、通信部９７が映像提示システム１に送信する。スピーカ９３が、映像提示システム１から送信されたユーザＵの音声を出力する。マイク９４が、対話相手Ｄの音声を集音し、その音を、通信部９７が映像提示システム１に送信する。記憶部９６は、制御部９５によって実行される処理に必要な種々の情報を記憶する。

図７に示される構成においても、映像提示システム１と、テレビ電話システム９０との間で、ユーザＵおよび対話相手Ｄの映像および音声を送受信することができるので、ユーザＵとの対話相手Ｄとの対話コミュニケーションを行うことができる。

また、上記実施形態では、透過型スクリーンであるスクリーン２０、または、非透過型スクリーンであるスクリーン２０Ａを用いた例について説明した。それら以外にも、透過状態と非透過状態とを切り替え可能なスクリーンが用いられてよい。そのようなスクリーンの例は、液晶スクリーンである。液晶スクリーンは、電圧を印加しない状態（ＯＦＦ状態）では不透明となり、非透過型スクリーンとして機能する。液晶スクリーンは、電圧を印加した状態（ＯＮ状態）には、透明になる。ＯＦＦ時の液晶スクリーンの透過度（透過率）は、透過型スクリーンであるスクリーン２０の透過度よりも低くすることができる。ＯＮ時の液晶スクリーンの透過度は、スクリーン２０の透過度よりも高く、ヘイズを低くすることができる。そのため、たとえば先に図１を参照して説明したように、プロジェクタからスクリーンに映像を投影して表示する場合には、液晶スクリーンをＯＦＦ状態で用いることで、高輝度投影が可能になる。また、カメラがスクリーンを介してホログラムミラーを撮影する場合には、液晶スクリーンをＯＮ状態で用いることで、高透過・低ヘイズ撮影が可能になる。

また、上記実施形態では、壁Ｗが不透明な材料を用いて作られ得る場合について説明したが、壁Ｗは、ガラスなどの透明な材料で作られていてもよい。この場合、カメラ３０の撮影対象にカメラ３０とはホログラムミラー１０を挟んで反対側の空間（つまり撮影を意図していない空間）が含まれないように、たとえば、カメラ３０が撮影可能な光の波長を反射する（透過させない）ような波長選択性を、ホログラムミラー１０に持たせるとよい。なお、ホログラムミラー１０は、ユーザＵの前方に配置できればよく、ホログラムミラー１０を壁Ｗに設けることは必須ではない。なお、ホログラムミラー１０と壁Ｗの間にカメラ３０を入れるスペースがある場合は、上記記述とは逆で、カメラ３０が撮影可能な光の波長を透過する(反射させない)ような波長選択性をホログラムミラー１０に持たせても良い。この場合、対話相手Ｄの投影映像はホログラムミラー１０で反射して虚像としてユーザＵに視認されるが、ユーザＵを撮影した映像はホログラムミラー１０を透過し、ホログラムミラー１０の背面に設置されているカメラ３０で直接撮影される。つまり、カメラ３０は、ユーザＵから見てホログラムミラー１０の背後に配置されていてもよく、その場合、カメラ３０は、ホログラムミラー１０を介してユーザＵを（正面から）撮影する。

なお、先に図２を参照して説明した制御装置７０のブロック図は、機能単位のブロックを示している。これらの機能ブロック（構成部）は、ハードウェア及び／又はソフトウェアの任意の組み合わせによって実現される。また、各機能ブロックの実現手段は特に限定されない。すなわち、各機能ブロックは、物理的及び／又は論理的に結合した１つの装置により実現されてもよいし、物理的及び／又は論理的に分離した２つ以上の装置を直接的及び／又は間接的に(例えば、有線及び／又は無線)で接続し、これら複数の装置により実現されてもよい。

例えば、制御装置７０は、本実施形態に係る映像提示システムによる映像の提示に必要な処理を行うコンピュータとして機能してもよい。制御装置７０は、物理的には、プロセッサ、メモリ、ストレージ、通信装置、入力装置、出力装置、バスなどを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニットなどに読み替えることができる。制御装置７０のハードウェア構成は、上述の各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

制御装置７０における各機能は、プロセッサ、メモリなどのハードウェア上に所定のソフトウェア（プログラム）を読み込ませることで、プロセッサが演算を行い、通信装置による通信や、メモリ及びストレージにおけるデータの読み出し及び／又は書き込みを制御することで実現される。

プロセッサは、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサは、周辺装置とのインターフェース、制御装置、演算装置、レジスタなどを含む中央処理装置（ＣＰＵ：Central ProcessingUnit）で構成されてもよい。例えば、上述の制御部７４は、プロセッサで実現されてもよい。

また、プロセッサは、プログラム（プログラムコード）、ソフトウェアモジュールやデータを、ストレージ及び／又は通信装置からメモリに読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態で説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、制御部７４は、メモリに格納され、プロセッサで動作する制御プログラムによって実現されてもよく、他の機能ブロックについても同様に実現されてもよい。上述の各種処理は、１つのプロセッサで実行される旨を説明してきたが、２以上のプロセッサにより同時又は逐次に実行されてもよい。プロセッサは、１以上のチップで実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されても良い。

メモリは、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（ErasableProgrammable ＲＯＭ）、ＥＥＰＲＯＭ（Electrically ErasableProgrammable ＲＯＭ）、ＲＡＭ（Random Access Memory）などの少なくとも１つで構成されてもよい。メモリは、レジスタ、キャッシュ、メインメモリ（主記憶装置）などと呼ばれてもよい。メモリは、実施形態に係る映像提示システムによる映像の提示を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュールなどを保存することができる。

ストレージは、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ−ＲＯＭ（Compact Disc ＲＯＭ）などの光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク(例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ−ｒａｙ（登録商標）ディスク)、スマートカード、フラッシュメモリ(例えば、カード、スティック、キードライブ)、フロッピー（登録商標）ディスク、磁気ストリップなどの少なくとも１つで構成されてもよい。ストレージは、補助記憶装置と呼ばれてもよい。上述の記憶媒体は、例えば、メモリ及び／又はストレージを含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置は、有線及び／又は無線ネットワークを介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。例えば、上述の通信部７８は、通信装置で実現されてもよい。

入力装置は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサなど）である。出力装置は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプなど）である。なお、入力装置及び出力装置は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサやメモリなどの各装置は、情報を通信するためのバスで接続される。バスは、単一のバスで構成されてもよいし、装置間で異なるバスで構成されてもよい。

また、制御装置７０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（ApplicationSpecific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）などのハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサは、これらのハードウェアの少なくとも１つで実装されてもよい。

以上の説明において、当業者にとっては、本実施形態が本明細書中に説明した実施形態に限定されるものではないということは明らかである。本実施形態は、特許請求の範囲の記載により定まる本発明の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本明細書の記載は、例示説明を目的とするものであり、本実施形態に対して何ら制限的な意味を有するものではない。

情報の通知は、本明細書で説明した態様／実施形態に限られず、他の方法で行われてもよい。例えば、情報の通知は、物理レイヤシグナリング（例えば、ＤＣＩ（Downlink Control Information）、ＵＣＩ（UplinkControl Information））、上位レイヤシグナリング（例えば、ＲＲＣ（RadioResource Control）シグナリング、ＭＡＣ（Medium Access Control）シグナリング、報知情報（ＭＩＢ（Master Information Block）、ＳＩＢ（SystemInformation Block）））、その他の信号又はこれらの組み合わせによって実施されてもよい。また、ＲＲＣシグナリングは、ＲＲＣメッセージと呼ばれてもよく、例えば、ＲＲＣ接続セットアップ（RRC Connection Setup）メッセージ、ＲＲＣ接続再構成（RRCConnection Reconfiguration）メッセージなどであってもよい。

本明細書で説明した各態様／実施形態は、ＬＴＥ（Long Term Evolution）、ＬＴＥ−Ａ（LTE-Advanced）、ＳＵＰＥＲ ３Ｇ、ＩＭＴ−Ａｄｖａｎｃｅｄ、４Ｇ、５Ｇ、ＦＲＡ（Future Radio Access）、Ｗ−ＣＤＭＡ（登録商標）、ＧＳＭ（登録商標）、ＣＤＭＡ２０００、ＵＭＢ（Ultra Mobile Broadband）、ＩＥＥＥ ８０２．１１（Ｗｉ−Ｆｉ）、ＩＥＥＥ ８０２．１６（ＷｉＭＡＸ）、ＩＥＥＥ ８０２．２０、ＵＷＢ（Ultra-WideBand）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、その他の適切なシステムを利用するシステム及び／又はこれらに基づいて拡張された次世代システムに適用されてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャートなどは、矛盾の無い限り、順序を入れ替えてもよい。例えば、本明細書で説明した方法については、例示的な順序で様々なステップの要素を提示しており、提示した特定の順序に限定されない。

情報等は、上位レイヤ(または下位レイヤ)から下位レイヤ(または上位レイヤ)へ出力され得る。複数のネットワークノードを介して入出力されてもよい。

入出力された情報等は特定の場所(例えば、メモリ)に保存されてもよいし、管理テーブルで管理してもよい。入出力される情報等は、上書き、更新、または追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：trueまたはfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

本明細書で説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、同軸ケーブル、光ファイバケーブル、ツイストペア及びデジタル加入者回線（ＤＳＬ）などの有線技術及び／又は赤外線、無線及びマイクロ波などの無線技術を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び／又は無線技術は、伝送媒体の定義内に含まれる。

本明細書で説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本明細書で説明した用語及び／又は本明細書の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。例えば、チャネル及び／又はシンボルは信号（シグナル）であってもよい。また、信号はメッセージであってもよい。また、コンポーネントキャリア（ＣＣ）は、キャリア周波数、セルなどと呼ばれてもよい。

本明細書で使用する「システム」および「ネットワーク」という用語は、互換的に使用される。

また、本明細書で説明した情報、パラメータなどは、絶対値で表されてもよいし、所定の値からの相対値で表されてもよいし、対応する別の情報で表されてもよい。例えば、無線リソースはインデックスで指示されるものであってもよい。

上述したパラメータに使用する名称はいかなる点においても限定的なものではない。さらに、これらのパラメータを使用する数式等は、本明細書で明示的に開示したものと異なる場合もある。様々なチャネル（例えば、ＰＵＣＣＨ、ＰＤＣＣＨなど）及び情報要素（例えば、ＴＰＣなど）は、あらゆる好適な名称によって識別できるので、これらの様々なチャネル及び情報要素に割り当てている様々な名称は、いかなる点においても限定的なものではない。

本明細書で「第１の」、「第２の」などの呼称を使用した場合においては、その要素へのいかなる参照も、それらの要素の量または順序を全般的に限定するものではない。これらの呼称は、２つ以上の要素間を区別する便利な方法として本明細書で使用され得る。したがって、第１および第２の要素への参照は、２つの要素のみがそこで採用され得ること、または何らかの形で第１の要素が第２の要素に先行しなければならないことを意味しない。

「含む（including）」、「含んでいる（including）」、およびそれらの変形が、本明細書あるいは特許請求の範囲で使用されている限り、これら用語は、用語「備える(comprising)」と同様に、包括的であることが意図される。さらに、本明細書あるいは特許請求の範囲において使用されている用語「または（or）」は、排他的論理和ではないことが意図される。

本明細書において、文脈または技術的に明らかに1つのみしか存在しない装置である場合以外は、複数の装置をも含むものとする。

１、１Ａ、１Ｂ、１Ｃ、１Ｄ…映像提示システム、１０、１０Ｄ…ホログラムミラー、２０、２０Ａ…スクリーン、３０…カメラ、４０…プロジェクタ、５０…マイク、６０…スピーカ、７０…制御装置、７２…時分割処理部、７４…制御部、７６…記憶部、７８…通信部。

Claims (4)

1. ユーザの前方空間に虚像を合成した映像をユーザに提示する映像提示システムであって、
   特定波長の光で構成される映像を入射角度とは異なる角度で反射し、特定波長の光以外の光を透過するホログラムミラーと、
   前記映像を前記ホログラムミラーに向かって表示するスクリーンと、
   前記ユーザ側の位置から前記ホログラムミラーを撮影するカメラと、
   を備え、
   前記ホログラムミラーは、ユーザに対向するように設けられた状態で、前記ユーザが、前記ホログラムミラーを挟んで前記ユーザとは反対側の位置に対話相手の前記映像の虚像を視認できるように、前記スクリーンからの前記映像を反射し、
   前記カメラは、前記ホログラムミラーを挟んで前記カメラとは反対側の位置に前記ユーザの虚像を撮影できるように配置される、
   映像提示システム。
2. 前記スクリーンは、前記映像を前記ホログラムミラーに向かって表示する第１の状態と、前記映像を表示することなく光を透過させる第２の状態との２つの状態が交互に切り替わるように構成され、
   前記カメラは、前記スクリーンを挟んで前記ホログラムミラーとは反対側に配置される、
   請求項１に記載の映像提示システム。
3. 前記スクリーンを挟んで前記ホログラムミラーとは反対側に配置されたミラーを更に備え、
   前記カメラは、前記ミラーによる反射を利用して前記ホログラムミラーを撮影できるように配置されている、
   請求項１に記載の映像提示システム。
4. 前記ホログラムミラーと前記スクリーンとの間に配置されたハーフミラーを更に備え、
   前記カメラは、前記ハーフミラーによる反射を利用して前記ホログラムミラーを撮影できるように配置される、
   請求項１に記載の映像提示システム。

Images