JP2024029955A - 表示システム、表示方法、処理装置およびプログラム - Google Patents

Abstract

【課題】汎用的なディスプレイを用いて広視野角を実現する。【解決手段】表示システム９は、ユーザＵの目に正対する表示部２ａを有するディスプレイ２と、ディスプレイ２の後方に設置され、光を拡散するスクリーン３と、スクリーン３の後方に設置されるプロジェクタ４と、ディスプレイ２およびプロジェクタ４に接続する処理装置１を備える。処理装置１は、第１の画像データ１２を前記ディスプレイに出力し、第２の画像データ１３をプロジェクタ４に出力する出力部２４を備える。ディスプレイ２の表示部２ａに表示される第１の画像データと、プロジェクタ４によってスクリーン３に投影される第２の画像データ１３とで、ユーザに視認させるコンテンツが形成される。【選択図】 図１

Description

特許法第３０条第２項適用申請有り （１）発行日２０２２年２月５日斎藤和人および橋本直己が、映像情報メディア学会技術報告、Ｖｏｌ．４６、Ｎｏ．４（ｐｐ．３３－３６）にて、橋本直己および斎藤和人が発明した「プロジェクタを用いた追跡投影による簡易型ＨＭＤの周辺視野拡張」について公開した。 （２）開催日２０２２年２月１２日 斎藤和人および橋本直己が、映像情報メディア学会 メディア工学研究会 学生研究発表会にて、橋本直己および斎藤和人が発明した「プロジェクタを用いた追跡投影による簡易型ＨＭＤの周辺視野拡張」について公開した。

本発明は、表示システム、表示方法、処理装置およびプログラムに関する。

超広視野角な映像提示により、ユーザの広い視野を覆い、高い没入感を実現するヘッドマウントディスプレイが開発され、普及しつつある。しかしながら、商品化されたヘッドマウントディスプレイは、その本体に複雑な光学系および複数のディスプレイを内蔵することを前提としている。ヘッドマウントディスプレイの重量増と、それに伴うユーザの装着負荷の増大およびコストの増加等が負担となり、ヘッドマウントディスプレイの普及の足かせになる場合がある。

汎用的なヘッドマウントディスプレイを装着し、ヘッドマウントディスプレイの視野角外の範囲を他の映像提示装置を用いてカバーすることで、広視野角を実現する方法がある（非特許文献１参照）。非特許文献１に記載の方法は、ヘッドマウントディスプレイを装着したユーザの背後にプロジェクタを配置し、プロジェクタがユーザの前の壁に映像を表示することで、ヘッドマウントディスプレイの視野角外の映像提示を実現する。

Hrvoje Benko, Eyal Ofek, Feng Zheng, Andrew D. Wilson: "FoveAR: Combining an Optically See-Through Near-Eye Display with Projector-Based Spatial Augmented Reality", Proc. of the 28th Annual ACM Symposium on User Interface Software and Technology（2015）

しかしながら非特許文献１に記載の方法は、ヘッドマウントディスプレイを装着したユーザの背後に配置されたプロジェクタが、ユーザの前に設置されたスクリーンに映像を投影する可能性がある。ユーザとプロジェクタ間、およびユーザとスクリーン間の距離が十分に離れていない場合、ユーザ自身がプロジェクタの投影の妨げとなり、スクリーンにユーザの影が表示されてしまう場合がある。従って、非特許文献１に記載の方法は、ユーザ自身が投影を妨げない程度の広大なスペースを必要とする。

また非特許文献１に記載の方法は、ヘッドマウントディスプレイの表示画面と、離れた壁の表示とを組み合わせて広い視野角を実現する。プロジェクタによる投影範囲のうち、ユーザが目で知覚可能な範囲は限定的であり、さらに、ユーザとスクリーンの距離が離れることから、ユーザが没入感を得る十分な視野角を実現しづらい問題がある。また非特許文献１に記載の方法は、ヘッドマウントディスプレイの表示画像と、壁に表示される画像までの距離に差があるので、人の目の焦点が合わせづらく、見づらい問題がある。

従って本発明の目的は、汎用的なディスプレイを用いて広視野角を実現する技術を提供することである。

本発明の一態様の表示システムは、ユーザの目に正対する表示部を有するディスプレイと、前記ディスプレイの後方に設置され、光を拡散するスクリーンと、前記スクリーンの後方に設置されるプロジェクタと、前記ディスプレイおよび前記プロジェクタに接続する処理装置を備える。前記処理装置は、第１の画像データを前記ディスプレイに出力し、第２の画像データを前記プロジェクタに出力する出力部を備える。前記ディスプレイの前記表示部に表示される前記第１の画像データと、前記プロジェクタによって前記スクリーンに投影される前記第２の画像データとで、ユーザに視認させるコンテンツを形成する。

本発明の一態様の表示方法は、ユーザの目に正対する表示部を有するディスプレイと、前記ディスプレイの後方に設置され、光を拡散するスクリーンと、前記スクリーンの後方に設置されるプロジェクタと、前記ディスプレイおよび前記プロジェクタに接続する処理装置を備える表示システムにおいて、前記処理装置が、第１の画像データをディスプレイに出力するステップと、前記ディスプレイが、前記第１の画像データを前記表示部に表示するステップと、前記処理装置が、第２の画像データを前記プロジェクタに出力するステップと、前記プロジェクタが、前記第２の画像データを前記スクリーンに表示するステップを備える。前記ディスプレイの前記表示部に表示される前記第１の画像データと、前記プロジェクタによって前記スクリーンに投影される前記第２の画像データとで、ユーザに視認させるコンテンツを形成する。

本発明の一態様の処理装置は、ユーザの目に正対する表示部を有するディスプレイと、
前記ディスプレイの後方に設置され、光を拡散するスクリーンと、前記スクリーンの後方に設置されるプロジェクタを備える表示システムに用いられ、前記ディスプレイおよび前記プロジェクタに接続する処理装置であって、第１の画像データを前記ディスプレイに出力し、第２の画像データを前記プロジェクタに出力する出力部を備える。前記ディスプレイの前記表示部に表示される前記第１の画像データと、前記プロジェクタによって前記スクリーンに投影される前記第２の画像データとで、ユーザに視認させるコンテンツを形成する。

本発明の一態様は、上記処理装置として、コンピュータを機能させるプログラムである。

本発明によれば、汎用的なディスプレイを用いて広視野角を実現する技術を提供することができる。

図１は、本発明の実施の形態に係る表示システムを説明する上面模式図である。 図２は、本発明の実施の形態に係る表示システムを説明する斜視模式図である。 図３は、表示システムにおいてユーザが視認する画像を説明する図である。 図４は、本発明の実施の形態に係る表示システムにおける処理を説明する図である。 図５は、本発明の実施の形態に係る表示システムに用いられる処理装置の機能を説明する図である。 図６は、Two-Pass Renderingを説明する図である。 図７は、処理装置に用いられるコンピュータのハードウエア構成を説明する図である。

次に、図面を参照して、本発明の実施の形態を説明する。以下の図面の記載において、同一または類似の部分には同一または類似の符号を付している。

また本発明の実施の形態において、背面、奥などの相対的な位置を示す用語は、特別な指定が無い限り、表示システムを利用するユーザの視線を基準に記載されている。

（表示システム）
本発明の実施の形態に係る表示システム９は、汎用的なディスプレイを用いて、広視野角でコンテンツデータを表示する。コンテンツデータは、静止画のデータ、動画のデータ、仮想空間を描画するためのオブジェクトの形状および位置などを特定するデータなどである。コンテンツは、少なくとも画像を用いて表現される。本発明の実施の形態において、表示システム９の基本的な構成として、ユーザに表示するコンテンツが、画像（静止画）である場合を説明する。

図１および図２を参照して、本発明の実施の形態に係る表示システム９を説明する。図１は、ユーザＵが表示システム９を利用する状況を上方から観察した模式図で、図２は斜方から観察した模式図である。

表示システム９は、処理装置１、ディスプレイ２、スクリーン３、第１のプロジェクタ４ａ、第２のプロジェクタ４ｂおよびカメラ５を備える。第１のプロジェクタ４ａおよび第２のプロジェクタ４ｂを区別しない場合、プロジェクタ４と記載する場合がある。図１および図２に示す例において表示システム９は、２台のプロジェクタ４を備える場合を説明するが、１台以上備えれば良い。本発明の実施の形態において、ユーザＵの視界は、ディスプレイ２の表示部２ａと、その周囲に配置されたスクリーン３で覆われることが好ましい。

処理装置１は、ディスプレイ２、プロジェクタ４およびカメラ５に接続する。処理装置１は、表示システム９でユーザＵにコンテンツデータを表示するための画像データを、ディスプレイ２およびプロジェクタ４に入力するコンピュータである。処理装置１は、図７に示すように、CPU９０１、メモリ９０２等を備える汎用的なコンピュータであって、デスクトップパソコン、ノートパソコン、スマートフォン、タブレット等の表示システム９の環境内に設置されるコンピュータであっても良いし、通信ネットワークを用いて接続するクラウドコンピュータであっても良い。また処理装置１は、これらの複数のコンピュータにより実装されても良い。ディスプレイ２にスマートフォンの表示画面を用いる場合、処理装置１は、このスマートフォンであっても良い。

処理装置１は、ディスプレイ２の表示部２ａに表示される第１の画像データ１２と、プロジェクタ４がスクリーン３に投影する第２の画像データ１３を生成する。処理装置１は、第１の画像データ１２をディスプレイ２に出力し、第２の画像データ１３をプロジェクタ４に出力する。

表示システム９において、ディスプレイ２の表示部２ａに表示される第１の画像データ１２と、プロジェクタ４によってスクリーン３に投影される第２の画像データ１３とで、ユーザに視認させるコンテンツ形成される。表示部２ａをユーザが視認した画像と、スクリーン３をユーザが視認した画像で、１つの画像が形成される。例えば、表示部２ａをユーザが視認した画像の端と、スクリーン３をユーザが視認した画像の内側部分（表示部２ａとの境界部分）とが繋がるように、第１の画像データ１２と第２の画像データ１３が生成される。

表示システム９において、ユーザＵから奥側（Ｙ軸方向）に向かって、ディスプレイ２、スクリーン３およびプロジェクタ４の順に配置される。またカメラ５は、ユーザＵの頭部、ディスプレイ２およびスクリーン３の位置を特定するために用いられる。カメラ５は、撮影データから、ユーザＵの頭部、ディスプレイ２およびスクリーン３の位置を特定可能な位置に、設置される。

ディスプレイ２は、ユーザの目に正対する表示部２ａを有する。表示部２ａは、左右方向において、ユーザＵの左右の目の幅以上の幅を有する。ディスプレイ２の所定の面の全体に表示部２ａが形成されることが好ましい。また表示部２ａが設けられる面に、フレームなどの表示部２ａ以外の物が設けられる場合でも、その物は、透明部材または細い部材などの目立ちにくい部材で形成されることが好ましい。表示部２ａとスクリーン３以外の物により、ユーザの視界が邪魔されることなく、広視野角かつ没入感を実現することができる。

ディスプレイ２は、例えば一般的なスマートフォン、汎用的なヘッドマウントディスプレイである。本発明の実施の形態に係る表示システム９は、ユーザの視界のうち、ディスプレイ２の表示部２ａ以外の部分をスクリーン３で覆うことで広視野を実現するので、ユーザＵの視界のうち、表示部２ａで覆われる部分以外が非透明部材で密閉されるヘッドマウントディスプレイは、ディスプレイ２に不向きである。

スクリーン３は、ディスプレイ２の後方に設置され、光を拡散する。スクリーン３は、いわゆる背面投影型スクリーンであって、後方に設置されたプロジェクタ４から投影された画像を、スクリーン３の前面のユーザＵに表示する。スクリーン３は、ユーザの視界のうち、ディスプレイ２以外の部分を覆うように配置される。ユーザの視界のうち、ディスプレイ２が覆う部分以外がスクリーン３で覆われることにより、ユーザの視界は、ディスプレイ２またはスクリーン３で覆われ、広視野と没入感を実現する。

スクリーン３は、ユーザの視界を覆う大きさを有することが好ましい。スクリーン３は、曲面で形成されることが好ましい。具体的にはスクリーン３は、水平方向（ＸＹ平面）において、ユーザＵの左右の脇からユーザＵの目に正対する位置にかけて配設される。スクリーン３が、ユーザの左脇、目の前および右脇にかけて配置されることにより、ユーザＵの視界を覆うことが可能になる。スクリーン３は、ユーザの視界を覆うように、少なくともユーザの左右の脇と目の前にかけて配置されればよく、例えば、ユーザの左右後方などユーザの視界外まで延伸して設けられても良い。

スクリーン３は、ディスプレイ２に近い位置に配置されることが好ましい。これによりユーザＵは、ディスプレイ２の表示部２ａとスクリーン３のそれぞれに表示された画像を一つのコンテンツと認識しやすくなる。

スクリーン３は、光の拡散性を有する。スクリーン３は、後方からプロジェクタ４で画像が投影された際、光の拡散性により、スクリーン３後方の視界を遮り、ユーザＵが、プロジェクタ４が投影した画像を視認できる環境に設置されることが求められる。この環境を実現するために、表示システム９が設置される環境の明るさ、プロジェクタ４の明るさ、画像の輝度、スクリーン３の材質等が調整される。

このように、スクリーン３は、曲面を形成可能で、拡散性を有する素材から選択される。スクリーン３は、例えば、背面投影スクリーンとして用いられる素材であって、乳白色などの透明度が低いプラスチック、薄い布、紙などで形成される。図１に示すように、スクリーン３を図１および図２に示すような形状に維持するために、スクリーン３を支えるフレームが用いられても良い。なおこのフレームは、ユーザまたはディスプレイ２との固定に用いられても良い。

ユーザＵが移動しても、ユーザＵの頭部に対するディスプレイ２およびスクリーン３の相対位置および相対姿勢が変動しないように、ディスプレイ２およびスクリーン３が設置されることが好ましい。例えば、ユーザＵの頭部に、ディスプレイ２およびスクリーン３が固定される。これにより、ディスプレイ２およびスクリーン３はユーザＵの動きに連動して動くことができる。

ディスプレイ２およびスクリーン３の位置および姿勢を特定するために、ユーザＵ等に１以上のマーカが設けられる。ユーザＵ等に設けられたマーカは、カメラ５によって撮影される。ユーザＵの頭部にディスプレイ２およびスクリーン３が固定される場合、ユーザＵ、ディスプレイ２およびスクリーン３のいずれかに１以上のマーカが設けられることにより、表示システム９が設置された空間におけるディスプレイ２およびスクリーン３の位置姿勢も特定される。またディスプレイ２またはスクリーン３の位置から、ユーザＵの視線方向も特定することができる。またディスプレイ２およびスクリーン３のそれぞれに、１以上のマーカが設けられても良い。

プロジェクタ４は、スクリーン３の後方に設置される。プロジェクタ４は、ユーザが視認するスクリーン３の面を前面とした場合、スクリーン３の背面に画像データを表示する。例えばユーザが動かない、または、１台のプロジェクタ４でスクリーン３全体に画像データを表示できるなどの場合、表示システム９は、１台のプロジェクタ４を用いれば良い。１台のプロジェクタでスクリーン３に投影可能な範囲でユーザが動いたり姿勢を変更したりする場合も、表示システム９は、１台のプロジェクタ４を用いれば良い。一方、ユーザが動いたり姿勢を変更したりすることにより１台のプロジェクタ４でスクリーン３全体に画像データを表示できないなどの場合、表示システム９は、図１および図２に示すように、複数のプロジェクタ４ａおよび４ｂを備えても良い。なおプロジェクタ４の数は問わない。複数のプロジェクタ４ａおよび４ｂを用いることにより、広い範囲に画像データを表示できるので、広いスクリーン３を適用したり、ユーザＵの動きに追跡して画像データを表示したりしやすくなる。

カメラ５は、ユーザＵ等に設けられたマーカを撮影する撮影データを、処理装置１に入力する。処理装置１は、カメラ５から取得した撮影データにおけるマーカの位置から、ディスプレイ２およびスクリーン３の位置および姿勢、さらにユーザＵの視線方向を特定する。ユーザＵにディスプレイ２およびスクリーン３が固定される場合、ユーザＵの位置および姿勢から、ユーザＵの視線方向のほか、ディスプレイ２およびスクリーン３それぞれの位置および姿勢を特定することができる。あるいはマーカは、ユーザＵの頭部、ディスプレイ２およびスクリーン３のそれぞれに設けられても良い。

なお、本発明の実施の形態において、ディスプレイ２およびスクリーン３の位置および姿勢を特定するためにマーカとカメラ５が用いられる場合を説明したが、これに限らない。マーカおよびカメラ５の代わりに、ユーザＵ等の位置を知らせるセンサと、センサを検知する検知装置が用いられても良い。また、スクリーンの輪郭から、ディスプレイ２およびスクリーン３の３次元位置姿勢を求める手法、機械学習によって獲得された判定モデルを使って位置姿勢を推定する技術など、そのほかの方法でも良い。ディスプレイ２およびスクリーン３の位置および姿勢が特定可能であれば、どのような方法でも良い。

このような表示システム９において、ディスプレイ２とプロジェクタ４は連動してユーザにコンテンツを表示する。ユーザＵは、ユーザの目の前に配置されたディスプレイ２の表示部２ａに表示された画像と、表示部２ａの周囲に設けられたスクリーン３に表示された画像を同時に視認できるので、ユーザの広い視野を実現することができる。

（画像）
本発明の実施の形態に係る表示システム９において、ディスプレイ２が第１の画像データ１２を表示し、プロジェクタ４がスクリーン３に第２の画像データ１３を表示することにより、ユーザＵは、ディスプレイ２に表示された画像とスクリーン３に表示された画像を１つの画像として視認することができる。図３を参照して、ユーザＵが視認する画像の一例を説明する。

図３のコンテンツデータ１１は、ユーザＵに視認させる画像である。ここでは、プロジェクタ４がユーザＵに正対し、ユーザＵが動かない場合を説明する。なお、図３の各図において、点線で表記された部分は、低解像度で表示され、実線で表記された部分は、高解像度で表示されることを意味する。図３の中列下方に示すスクリーン視認画像Ｕ１２および右列に示す視認画像Ｕ１のスクリーン視認画像Ｕ１２部分において、低解像度で表示され、それ以外において、高解像度で表示される。

処理装置１は、コンテンツデータ１１の中央部分をユーザＵに視認させるための第１の画像データ１２を生成する。第１の画像データ１２がディスプレイ２に表示され、ユーザＵは、ディスプレイ視認画像Ｕ１１を視認する。第１の画像データ１２の大きさは、ディスプレイ２の表示部２ａの大きさから決定される。またディスプレイ２の表示部２ａが、ユーザＵの視界の中央に位置する場合、ディスプレイ視認画像Ｕ１１の中心は、コンテンツデータ１１の中心に一致する。

また処理装置１は、コンテンツデータ１１の周縁部分をユーザＵに視認させるための第２の画像データ１３を生成する。第２の画像データ１３がプロジェクタ４によってスクリーン３に投影され、ディスプレイ２が配置されていない場合、ユーザＵは、スクリーン視認画像Ｕ１２を視認する。ここでは、プロジェクタ４がユーザＵに正対し、ユーザＵが動かない場合を説明するので、第２の画像データ１３は、コンテンツデータ１１と同じであっても良い。ユーザＵは、スクリーン３の背面に投影された画像を視認するので、スクリーン視認画像Ｕ１２は、解像度が劣化するので、境界がぼやけるなどの精細度が劣る場合がある。

第１の画像データ１２がディスプレイ２に表示され、第２の画像データ１３がプロジェクタ４によってスクリーン３に表示されることにより、ユーザＵは、視認画像Ｕ１を視認する。視認画像Ｕ１は、スクリーン視認画像Ｕ１２の中央に、ディスプレイ視認画像Ｕ１１が重畳された画像である。ユーザＵが表示システム９で視認する画像において、視認画像Ｕ１に示すように、中央に高精細な画像が配置され、その周辺に精細度が劣る画像が配置される。

一般的に人間の視野は、内角が６０度程度の有効視野と、それ以外の周辺視野に区分される。有効視野は、脳がほぼ明瞭に認識できる範囲であるのに対し、周辺視野は、物の形や色などを明瞭に認識できない範囲である。

本発明の実施の形態に係る表示システム９においてユーザＵは、有効視野に概ね対応する視野の範囲内でディスプレイ２によるディスプレイ視認画像Ｕ１１を視認する。またユーザＵは、ディスプレイ視認画像Ｕ１１の周辺の視野、換言すると、周辺視野に概ね対応する視野で、プロジェクタ４が投影したスクリーン３によるスクリーン視認画像Ｕ１２を視認する。スクリーン視認画像Ｕ１２が低解像度であっても広視野を実現できるので、ユーザが画像を認識する能力を考慮すると、十分な没入感を達成できると考えられる。表示システム９は、有効視野に高解像度の画像データを表示し、周辺視野に低解像度の画像データを表示することで、低コストかつ汎用的な部品で、広視野かつ高没入感を達成することができる。

本発明の実施の形態において、ユーザの視界の中心にディスプレイ２の表示部２ａが配置され、表示部２ａの全周囲にスクリーン３が配置される場合を説明するが、これに限らない。スクリーン３は、表示部２ａの周囲の少なくとも一部を覆えば良い。例えばスクリーン３は、表示部２ａの左側に配置され、右側に配置されなくても良い。またスクリーン３は、表示部２ａの上側に配置され、下側に配置されなくても良い。ユーザの姿勢等に応じて、スクリーン３は適宜配置されても良い。

図４を参照して、本発明の実施の形態に係る表示処理を説明する。ここでは、ユーザが動く場合を想定し、処理装置１が、ユーザＵの視線、ディスプレイ２とスクリーン３の位置および姿勢にあわせた画像データを生成する場合を説明する。図４に示す処理の内容および処理順序は一例であって、これに限るものではない。

ステップＳ１において処理装置１は、カメラ５から、撮影データを取得する。カメラ５の撮影領域は、ユーザＵ等に設けられたマーカを含む。

ステップＳ２において処理装置１は、撮影データ内のマーカの位置から、ユーザＵの視線方向とディスプレイ２の位置および姿勢を特定する。ステップＳ３において処理装置１は、コンテンツデータ１１から、ユーザＵの視線方向とディスプレイ２の位置および姿勢に対応する第１の画像データ１２を生成する。例えばコンテンツが仮想空間で、ユーザＵの視線方向が左上方向を向いている場合、ディスプレイ２において、仮想空間におけるユーザＵの位置の左上方向部分がユーザに視認されるように、第１の画像データ１２が生成される。

ステップＳ４において処理装置１は、第１の画像データ１２をディスプレイ２に入力する。ステップＳ５においてディスプレイ２は、第１の画像データ１２を表示部２ａに表示する。

ステップＳ６において処理装置１は、撮影データ内のマーカの位置から、スクリーン３の位置および姿勢を特定する。ステップＳ７において処理装置１は、コンテンツデータ１１から、ユーザＵの視線方向とスクリーン３の位置姿勢に対応する第２の画像データ１３を生成する。例えばコンテンツが仮想空間で、ユーザＵの視線方向が左上方向を向いている場合、スクリーン３において、仮想空間におけるユーザ位置の左上方向部分がユーザに視認されるように、第２の画像データ１３が生成される。またスクリーン３がプロジェクタ４に正対していない場合でも歪みのない画像が視認されるように、第２の画像データ１３は、予めスクリーン３とプロジェクタ４の位置および姿勢を考慮して補正される。第２の画像データ１３は、第１の画像データ１２によってユーザＵが視認する画像と連携して広い画角を実現するために、第１の画像データ１２よりも、縦方向および横方向において広い空間を表示する。また、ユーザＵの視界の中心に、ディスプレイ２の表示部２ａが位置し、その周囲に対称にスクリーン３が配置される場合、第１の画像データ１２が中心と第２の画像データ１３の中心が一致するように、第２の画像データ１３は、生成される。

ステップＳ８において処理装置１は、第２の画像データ１３をプロジェクタ４に入力する。ステップＳ９においてプロジェクタ４は、第２の画像データ１３をスクリーン３の背面に表示する。

ユーザＵは、ディスプレイ２に表示された第１の画像データ１２と、スクリーン３に表示された第２の画像データ１３とにより、一体となったコンテンツデータ１１を広視野で視認することができる。

（処理装置）
図５を参照して、本発明の実施の形態に係る処理装置１を説明する。

図５に示すように処理装置１は、コンテンツデータ１１、第１の画像データ１２、第２の画像データ１３および位置姿勢１４の各データと、第１の処理部２１、第２の処理部２２、特定部２３および出力部２４の各機能を備える。各データは、メモリ９０２またはストレージ９０３等の記憶装置に記憶される。各機能は、CPU９０１に実装される。

コンテンツデータ１１は、表示システム９がユーザに表示するコンテンツを特定するデータである。コンテンツは、少なくとも画像を用いて表現され、音楽などの他の要素で表現されても良い。

第１の画像データ１２は、ディスプレイ２によって表示される画像のデータである。

第２の画像データ１３は、プロジェクタ４によってスクリーン３の背面に表示される画像のデータである。

位置姿勢１４は、カメラ５の画像から特定された、ユーザＵの視線方向、プロジェクタ４に対するスクリーン３の位置および姿勢を特定するデータである。表示システム９が複数のプロジェクタ４を備える場合、位置姿勢１４は、各プロジェクタに対するスクリーン３の相対位置および相対姿勢を特定可能なデータである。位置姿勢１４は、絶対値で表現されても良いし、相対値で表現されても良い。

処理装置１は、ディスプレイ２の表示部２ａに表示される第１の画像データ１２と、プロジェクタ４によってスクリーン３に投影される第２の画像データ１３とで、ユーザＵに視認させるコンテンツを形成する。第１の画像データ１２が表示された表示部２ａをユーザＵが視認した画像と、第２の画像データ１３がプロジェクタ４によって投影されたスクリーン３をユーザＵが視認した画像で、１つの画像が形成される。

第１の処理部２１は、コンテンツデータ１１から、表示部２ａに表示される第１の画像データを生成する。

第１の処理部２１は、ユーザＵの視線方向と、ディスプレイ２の表示部２ａの位置および姿勢に従って、第１の画像データ１２を生成する。第１の処理部２１は、ユーザＵの視線方向から、第１の画像データ１２によってユーザＵが視認するディスプレイ視認画像Ｕ１１を決定する。第１の処理部２１は、ディスプレイ視認画像Ｕ１１をユーザＵが視認できるように、ディスプレイ２の表示部２ａの位置および姿勢に従ってディスプレイ視認画像Ｕ１１から、第１の画像データ１２を生成する。第１の処理部２１は、ユーザＵの左目で視認する左目用画像と、右眼で視認する右目用画像を連結して、第１の画像データ１２を生成しても良い。例えば表示部２ａのユーザＵ側に凸レンズを設ける場合、第１の処理部２１は、レンズ歪みを打ち消す補正などの既存技術により、第１の画像データ１２を生成しても良い。表示部２ａに凸レンズを設けることにより、焦点面が表示部２ａの位置よりもＹ軸方向にユーザＵから離れた位置に移動するので、ユーザの視認性が向上する。

第２の処理部２２は、コンテンツデータ１１から、プロジェクタ４に対するスクリーン３の位置および姿勢を参照して、プロジェクタ４がスクリーン３の表示する第２の画像データ１３を生成する。

第２の処理部２２は、ユーザの視線方向と、スクリーン３とプロジェクタ４の相対的な位置および姿勢に従って、第２の画像データ１３を生成する。第２の処理部２２は、ユーザＵの視線方向から、第２の画像データ１３によってユーザＵが視認するスクリーン視認画像Ｕ１２を決定する。プロジェクタ４がスクリーン３に正対しない場合、プロジェクタ４が表示した画像は、スクリーン３上で歪んで表示される。そこで第２の処理部２２は、スクリーン視認画像Ｕ１２をユーザＵが視認できるように、スクリーン３の位置および姿勢に従ってスクリーン視認画像Ｕ１２を補正して、第２の画像データ１３を生成する。例えば第２の処理部２２は、Two-Pass Renderingなどの既存技術により、第２の画像データ１３を生成する。

また第２の処理部２２は、第１の画像データ１２によってユーザＵが視認する画像と連携して広い画角を実現するために、第１の画像データ１２よりも、縦方向および横方向において広い空間を表示する第２の画像データ１３を生成する。

プロジェクタ４が複数台の場合、第２の処理部２２は、各プロジェクタ４とスクリーン３の相対的な位置および姿勢に応じて歪みが補正され、各プロジェクタ４に入力する各第２の画像データ１３を生成する。ディスプレイ２の表示部２ａに表示される第１の画像データ１２と、各プロジェクタ４によってスクリーン３に投影される各第２の画像データ１３とで、ユーザに視認させるコンテンツが形成される。

具体的には、プロジェクタ４が２台の場合、第２の処理部２２は、第１のプロジェクタ４ａに入力する第２の画像データ１３ａと、第２のプロジェクタ４ｂに入力する第２の画像データ１３ｂをそれぞれ生成する。このとき第２の処理部２２は、位置姿勢１４が特定する各プロジェクタ４に対するスクリーン３の相対的な位置および姿勢に従って、歪みを補正して、第２の画像データ１３ａおよび１３ｂをそれぞれ生成する。

特定部２３は、カメラ５から取得した撮影データ等を用いて、位置姿勢１４のデータを生成する。特定部２３は、例えば、撮影データにおけるマーカの位置から、ユーザＵの視線方向、ディスプレイ２とスクリーン３の位置および姿勢を特定する。特定部２３は、位置姿勢１４のデータを生成できれば、どのような手段を用いても良い。ユーザＵの視線方向は、ユーザＵの頭部、ディスプレイ２またはスクリーン３の位置および姿勢から特定される。

出力部２４は、第１の画像データ１２をディスプレイ２に出力する。出力部２４は、第２の画像データ１３をプロジェクタ４に出力し、プロジェクタ４に第２の画像データ１３をスクリーン３の背面に表示させる。表示システム９が複数のプロジェクタ４を備える場合、出力部２４は、各プロジェクタ４のそれぞれに、各プロジェクタ４のそれぞれに対応する各第２の画像データ１３を、出力する。出力部２４が各プロジェクタ４に入力した各第２の画像データ１３は、スクリーン３の背面に表示される。表示システム９は、ディスプレイ２の表示部２ａに表示される第１の画像データ１２と、各プロジェクタ４によってスクリーンにそれぞれ投影される各第２の画像データとで、ユーザに視認させるコンテンツを形成する。

（Two-Pass Rendering）
第２の処理部２２は、Two-Pass Renderingにより、第２の画像データ１３を生成する。図６を参照して、Two-Pass Renderingを説明する。

図６（ａ）は、表示システム９が適用される実空間ＲＳを模式的に示す。図６（ｂ）は、実空間ＲＳに対する仮想空間ＶＳを模式に示す。仮想空間ＶＳにおける仮想スクリーンＶ３の位置および姿勢は、実空間ＲＳにおけるスクリーン３の位置および姿勢に対応する。仮想空間ＶＳにおける仮想プロジェクタＶ４の表示方向ＶＤは、実空間ＲＳにおけるユーザの視線方向Ｄに対応する。ここで、対応するとは、仮想空間ＶＳにおける位置および方向が、実空間ＲＳにおける位置および方向から変換可能であることを意味する。ここでは、ディスプレイ２およびスクリーン３がユーザＵに固定され、スクリーン３の位置および姿勢から、ユーザの視線方向Ｄ、ディスプレイ２の位置および姿勢が特定される場合を説明する。

仮想空間ＶＳにおいて仮想プロジェクタＶ４は、仮想カメラＶ５の方向に向けて仮想スクリーンＶ３に対して、ユーザＵに視認させる画像を投影する。ユーザＵに視認させる画像は、図３に示す視認画像Ｕ１と同じ構図の高精細な画像である。仮想プロジェクタＶ４が投影する画像は、実空間ＲＳにおけるユーザＵの視線方向Ｄから特定される。

第２の処理部２２が第２の画像データ１３を生成する場合、図６（ｂ）に示すように、実空間ＲＳのプロジェクタの位置および姿勢に対応する位置および姿勢となるように、仮想空間ＶＳに仮想カメラＶ５を配置する。仮想空間ＶＳにおける仮想カメラＶ５の撮影方向は、実空間ＲＳにおけるプロジェクタ４の表示方向に対応する。

仮想空間ＶＳにおいて、仮想プロジェクタＶ４から仮想スクリーンＶ３に対して、ユーザＵに視認させる画像を投影する。第２の処理部２２は、仮想カメラＶ５から見た、仮想スクリーンＶ３に描画された画像をレンダリングした結果を、第２の画像データ１３として生成する。

図６に示す例において、実空間ＲＳにおけるプロジェクタ４は１台であるが、実空間ＲＳにおいて複数のプロジェクタ４が設けられる場合、実空間ＲＳの各プロジェクタ４の位置に応じて、仮想空間ＶＳに、複数の仮想カメラＶ５が設置される。第２の処理部２２は、各仮想カメラＶ５から見た、仮想スクリーンＶ３に描画された画像をレンダリングした結果を、各仮想カメラＶ５に対応する各プロジェクタ４が描画する第２の画像データ１３として生成する。

本発明の実施の形態に係る表示システム９は、汎用的なディスプレイを用いて広視野角で、画像データを表示することができる。また表示システム９は、ディスプレイ２とスクリーン３との距離が、非特許文献１と比べて短いので、人の目の焦点を合わせやすく見やすい。

（変形例）
本発明の実施の形態において、表示システム９の基本的な構成として、ディスプレイ２およびプロジェクタ４が連携して画像（静止画）を表示する場合を説明したがこれに限らない。変形例において、ディスプレイ２およびプロジェクタ４が連動して映像（動画）を表示する場合を説明する。

本発明の実施の形態に係る表示システム９は、ディスプレイ２およびプロジェクタ４が連携してコンテンツを表示するので、ユーザが映像を適切に視認するために、１つのフレームデータから生成された第１の画像データ１２と第２の画像データ１３は、同時に視認されなければならない。しかしながら、一つのフレームデータから第１の画像データ１２が生成されディスプレイ２に表示される時間と、第２の画像データ１３が生成されプロジェクタ４によってスクリーン３に表示される時間は異なる場合がある。

そこで、映像を表示する際、映像の１つのフレームデータを構成する第１の画像データ１２と第２の画像データ１３が同じタイミングで表示されるように、調整される。例えば、予め各フレームデータから第１の画像データ１２と第２の画像データ１３を生成して、それぞれディスプレイ２およびプロジェクタ４に蓄積し、同期した内部時計などを用いて同時に表示する方法がある。

ほかに、１つのフレームデータを構成する第１の画像データ１２と第２の画像データ１３が同じタイミングで表示されるように、処理装置１の出力部２４が、第１の画像データ１２を出力するタイミングと第２の画像データ１３を出力するタイミングを調節する方法もある。一般的に、プロジェクタ４による画像データの表示に時間がかかることが知られている。第２の画像データ１３のスクリーン３への表示に要する時間は、第１の画像データ１２のディスプレイ２への表示に要する時間より長いと考えられる。そこで出力部２４は、第１の画像データ１２の表示に要する時間と、第２の画像データ１３の表示に要する時間を予め計測し、その時間差を相殺するように、第１の画像データ１２を出力するタイミングと、第２の画像データ１３を出力するタイミングを調節する。

上記で示した方法は、予め表示する映像が決まっている場合に好適であるが、ユーザＵの移動によって映像を変更する場合には対応することができない。例えば、表示システム９が、ユーザＵの移動や視線の変更に応じて、仮想空間を移動するユーザの視界を表示する場合に適用する場合、他の調整方法が必要になる。

具体的には、特定部２３は、移動するディスプレイ２およびスクリーン３の未来の位置および姿勢を予測し、その予測した位置および姿勢に応じて、第１の画像データ１２および第２の画像データ１３が生成されても良い。移動するディスプレイ２およびスクリーン３の位置および姿勢の予測には、一般的な遅延補償プログラムが用いられても良い。これにより表示システム９は、ユーザの動きを予想した画像データを予め作成して表示することができるので、ユーザの動きに合わせて遅延無く画像データを表示することができる。

変形例に係る表示システム９は、汎用的なディスプレイを用いて広視野角で、映像データを表示することができる。

上記説明した本実施形態の処理装置１は、例えば、CPU（Central Processing Unit、プロセッサ）９０１と、メモリ９０２と、ストレージ９０３（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える汎用的なコンピュータシステムが用いられる。このコンピュータシステムにおいて、CPU９０１がメモリ９０２上にロードされたプログラムを実行することにより、処理装置１の各機能が実現される。

なお、処理装置１は、１つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また処理装置１は、コンピュータに実装される仮想マシンであっても良い。

処理装置１のプログラムは、HDD、SSD、USB（Universal Serial Bus）メモリ、CD(Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。

なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。

１ 処理装置
２ ディスプレイ
２ａ 表示部
３ スクリーン
４ プロジェクタ
５ カメラ
９ 表示システム
１１ コンテンツデータ
１２ 第１の画像データ
１３ 第２の画像データ
１４ 位置姿勢
２１ 第１の処理部
２２ 第２の処理部
２３ 特定部
２４ 出力部
２５ 調整部
９０１ CPU
９０２ メモリ
９０３ ストレージ
９０４ 通信装置
９０５ 入力装置
９０６ 出力装置
Ｕ ユーザ
Ｕ１ 視認画像
Ｕ１１ ディスプレイ視認画像
Ｕ１２ スクリーン視認画像

Claims (9)

1. ユーザの目に正対する表示部を有するディスプレイと、
   前記ディスプレイの後方に設置され、光を拡散するスクリーンと、
   前記スクリーンの後方に設置されるプロジェクタと、
   前記ディスプレイおよび前記プロジェクタに接続する処理装置を備え、
   前記処理装置は、
   第１の画像データを前記ディスプレイに出力し、第２の画像データを前記プロジェクタに出力する出力部を備え、
   前記ディスプレイの前記表示部に表示される前記第１の画像データと、前記プロジェクタによって前記スクリーンに投影される前記第２の画像データとで、ユーザに視認させるコンテンツを形成する
   表示システム。
2. 前記表示部をユーザが視認した画像と、前記スクリーンをユーザが視認した画像で、１つの画像が形成される
   請求項１に記載の表示システム。
3. 前記スクリーンは、水平方向において、前記ユーザの左右の脇から、ユーザの目に正対する位置にかけて配設される
   請求項１に記載の表示システム。
4. 前記表示システムは、複数のプロジェクタを備え、
   前記出力部は、各プロジェクタのそれぞれに、各プロジェクタのそれぞれに対応する第２の画像データを、出力し、
   前記ディスプレイの前記表示部に表示される前記第１の画像データと、各プロジェクタによって前記スクリーンにそれぞれ投影される各第２の画像データとで、ユーザに視認させるコンテンツを形成する
   請求項１に記載の表示システム。
5. ユーザの目に正対する表示部を有するディスプレイと、
   前記ディスプレイの後方に設置され、光を拡散するスクリーンと、
   前記スクリーンの後方に設置されるプロジェクタと、
   前記ディスプレイおよび前記プロジェクタに接続する処理装置を備える表示システムにおいて、
   前記処理装置が、第１の画像データをディスプレイに出力するステップと、
   前記ディスプレイが、前記第１の画像データを前記表示部に表示するステップと、
   前記処理装置が、第２の画像データを前記プロジェクタに出力するステップと、
   前記プロジェクタが、前記第２の画像データを前記スクリーンに表示するステップ
   を備え、
   前記ディスプレイの前記表示部に表示される前記第１の画像データと、前記プロジェクタによって前記スクリーンに投影される前記第２の画像データとで、ユーザに視認させるコンテンツを形成する表示方法。
6. ユーザの目に正対する表示部を有するディスプレイと、
   前記ディスプレイの後方に設置され、光を拡散するスクリーンと、
   前記スクリーンの後方に設置されるプロジェクタを備える表示システムに用いられ、
   前記ディスプレイおよび前記プロジェクタに接続する処理装置であって、
   第１の画像データを前記ディスプレイに出力し、第２の画像データを前記プロジェクタに出力する出力部を備え、
   前記ディスプレイの前記表示部に表示される前記第１の画像データと、前記プロジェクタによって前記スクリーンに投影される前記第２の画像データとで、ユーザに視認させるコンテンツを形成する処理装置。
7. 前記第１の画像データが表示された前記表示部をユーザが視認した画像と、前記第２の画像データが前記プロジェクタによって投影された前記スクリーンをユーザが視認した画像で、１つの画像が形成される
   請求項６に記載の処理装置。
8. 前記コンテンツから、前記表示部の位置および姿勢を参照して、前記表示部に表示される前記第１の画像データを生成する第１の処理部と、
   前記コンテンツから、前記プロジェクタに対する前記スクリーンの位置および姿勢を参照して、前記プロジェクタが前記スクリーンの表示する第２の画像データを生成する第２の処理部
   をさらに備える請求項６に記載の処理装置。
9. コンピュータを、請求項６ないし８のいずれか１項に記載の処理装置として機能させるためのプログラム。

Images