開示の表示デバイス、表示方法及び表示システムでは、曲率が1次元又は2次元に付与されている曲面形状を有すると共に、マトリクス状に配置された複数の曲面表示素子を有する曲面表示部と、複数の曲面表示素子に近接して配置された、対応する複数の偏光変調素子を有し、複数の表示素子が表示する映像が左目用映像である場合と、右目用映像である場合とで、複数の偏光変調素子により表示する映像を互いに異なる偏光方向に制御する偏光変調部と、複数の偏光変調素子に近接して配置された、対応する複数の視野角制御素子を有し、各視野角制御素子は対応する曲面表示素子の法線方向から外れる程、光線透過率が減少するように視野角を制限する視野角制御部とを用いる。付与する位相差が右目と左目で異なるパッシブ型の3次元鑑賞用眼鏡を通し、曲面表示部に交互に表示される左目用映像と右目用映像を偏光変調部及び視野角制御部を介して見た場合に、残像効果により、曲面表示部の曲率中心で3次元映像が発現する。
図1は、コンピュータのハードウェア構成の一例を示すブロック図である。図1に示すコンピュータ1は、一実施例における表示システムの制御系の一例を形成可能である。コンピュータ1は、図1に示す如くバス10を介して互いに接続されたプロセッサ11と、メモリ12と、入力装置13と、表示装置14と、通信装置15とを有する。プロセッサ11は、例えば中央処理装置(CPU:Central Processing Unit)等で形成可能であり、メモリ12に記憶されたプログラムを実行して、コンピュータ1全体の制御を司る。メモリ12は、例えば半導体記憶装置、磁気記録媒体、光記録媒体、光磁気記録媒体等の、コンピュータ読み取り可能な記憶媒体により形成可能である。メモリ12は、プロセッサ11が実行する表示プログラム(又は、表示制御プログラム)を含む各種プログラム、各種データ等を記憶する。
入力装置13は、オペレータにより操作される、例えばキーボード等で形成可能であり、プロセッサ11にコマンド及びデータを入力するのに用いられる。表示装置14は、ユーザに対するメッセージ等を表示する。通信装置15は、コンピュータ1を他のコンピュータやシステム等と、有線又は無線又は有線と無線の組み合わせで通信可能に接続する。この例では、コンピュータ1は、通信装置15を介して、後述するペン型デバイス(図示せず)、表示デバイス(図示せず)、基地局(図示せず)等と通信可能である。ペン型デバイスは、ユーザが3D映像にタッチする感覚を付与するセンサ機能を備えたセンサ部の一例である。表示デバイスは、映像を表示することで、複数のユーザが同時に鑑賞可能な3D映像を提供する表示機能を備えている。基地局は、後述するように、3D映像の元になるデータを通信装置15に送信する。
なお、コンピュータ1は、当該コンピュータ1の構成要素がバス10を介して接続されたハードウェア構成に限定されるものではない。コンピュータ1には、例えば汎用コンピュータを用いても良い。
コンピュータ1の入力装置13及び表示装置14は、いずれも省略可能である。コンピュータ1の通信装置15を更に省略したモジュール、半導体チップ等の場合、ペン型デバイス、表示デバイス、基地局等は、バス10に接続されても、プロセッサ11に直接接続されても良い。コンピュータ1は、ペン型デバイス及び表示デバイスと共に、表示システムの一例を形成可能である。
図2は、表示システムのソフトウェア構成の一例を示すブロック図である。図2に示す表示システム2は、受信部21と、計算部22と、蓄積部23と、センサ部24と、表示部25と、送信部26とを有する。受信部21の受信機能及び送信部26の送信機能は、例えば図1に示すコンピュータ1のプロセッサ11の制御下で、通信装置15により実行可能である。計算部22の計算機能は、例えば図1に示すコンピュータ1のプロセッサ11により実行可能である。蓄積部23の蓄積機能は、例えば図1に示すコンピュータ1のプロセッサ11がメモリ12を用いることにより実行可能である。センサ部24のセンサ機能は、例えばセンサ部24の一例である、後述するペン型デバイスにより実行可能である。表示部25の表示機能は、例えば後述する表示デバイスにより実行可能である。この例では、センサ部24及び表示部25が、図1に示すコンピュータ1のバス10又はプロセッサ11に接続されている。
受信部21は、基地局3が送信するデータを受信して蓄積部23に転送し、データの受信状態や、左目用、右目用映像生成用テーブル及び表示条件を含む付帯情報を計算部22に通知する。計算部22は、付帯情報に基づいて蓄積部23の受信データを加工して、再度蓄積部23に蓄積する。蓄積部23は、計算部22からの指令に基づき表示部25への表示を行う。センサ部24は、ペン型デバイス等のセンサの取得データを、計算部22からの指令に基づき計算部22に送信する。蓄積部23は、計算部22を介して得られるセンサ部24からのセンサ情報に基づき、更に加工されたデータやセンサデータを、計算部22の指令に基づき送信部26に送信する。
表示部25は、蓄積部23からのデータを表示して、3D映像を提供する。送信部26及び受信部21は、多地点に設置された複数の表示システム同士を基地局3を介して接続し、インタラクティブな表示システムを形成可能である。例えば、センサ部24の操作を介して3D映像を操作したり、3D映像に対して何らかの機能を発動する場合、送信部26は、映像操作や機能発動に関する情報を、他の表示システムと連携可能な基地局3に送信する。
なお、センサ部24は、上記第1の従来例のアタッチペンと同様のペン型デバイスであっても良い。ただし、複数のペン型デバイスが同時に操作される場合には、アクティブなペン型デバイスを変更できる手段、どのペン型デバイスがアクティブであるかを通知する手段等を備えることが望ましい。ペン型デバイスの詳細については、後述する。
基地局3は、コンピュータ1と通信可能な装置により形成可能であり、例えば図1に示すコンピュータ1と同様の構成を有する装置であっても良い。基地局3が表示システム2に送信するデータは、左目用映像と右目用映像を表示部25に表示するためのデータに加工されるが、データの加工は、基地局3側で行っても、表示システム2側で行っても、基地局3側と表示システム2側とで分散して行っても良い。
次に、左目用映像と右目用映像を表示部25に表示するためのデータ(以下、「表示用データ」とも言う)の生成について、図3及び図4と共に説明する。図3は、付帯情報の一例を示す図であり、図4は、基地局のデータ生成処理の一例を説明する図である。表示用データは、以下に説明する第1、第2及び第3の生成方法により生成可能である。
第1の生成方法の場合、図4に示すように、基地局3における原映像501は、単一の映像である。この場合、付帯情報には、左目用映像、右目用映像及び後述するスライド表示用の映像を生成するための情報が記載されている。これらの映像を生成するための情報は、図3に示す付帯情報中、上枠内に示す左目用、右目用映像生成テーブルと、下枠内に示す表示条件とを含む。左目用、右目用映像生成テーブルは、生成する左目用及び右目用映像の水平位置と垂直位置、及び左目用映像と右目用映像との間の距離(即ち、左右映像間距離)の情報を含む。一方、表示条件は、表示モード、左目用映像と右目用映像の切り換え周期、及び後述する第2の方法を採用する第2の表示モードにおいて第1の表示モードの映像を分割して映像部分を生成する際の分割数の情報を含む。後述する図8及び図9は、この第1の生成方法の場合を示す。
第2の生成方法の場合、原映像501は図4に示す左目用映像502Lと右目用映像502Rに既に分解されている。この場合、付帯情報には、後述するスライド表示用の映像部分を生成するための情報が記載されている。これらの映像部分を生成するための情報は、図3に示す付帯情報中、下枠内に示す表示条件の情報のみで良い。
第3の生成方法の場合、原映像501から図4に示すスライド表示用の映像503L,503Rが既に生成されている。この場合、付帯情報には、後述するスライド表示用の映像部分を生成するための情報が記載されている。スライド表示用の映像部分を生成するための情報は、図3に示す付帯情報中、下枠内に示す表示条件の情報のみで良い。
図5は、一実施例における表示システムの表示デバイスの一例を示す模式図である。図5は、説明の便宜上、例えば4名のユーザ500A〜500Dが表示デバイス250上の表示により提供される3D映像を鑑賞する例を示す。表示デバイス250は、曲率が1次元又は2次元に付与されている曲面形状を有する。図5に示す表示デバイス250は、曲面表示部251と、偏光変調部252と、視野角制御部253とを有する。この例では、曲面表示部251と、偏光変調部252と、視野角制御部253とが、この順番で積層されている。つまり、偏光変調部252は、曲面表示部251と視野角制御部253の間に設けられている。曲面表示部251は、曲面上にマトリクス状に配置された複数の曲面表示素子(又は、画素)を有する周知の構成を有する。偏光変調部252は、複数の偏光変調素子を有する周知の構成を有し、各偏光変調素子は、対応する曲面表示素子に近接して配置されている。視野角制御部253は、ユーザ500A〜500D側に配置された複数の視野角制御素子を有し、各視野角制御素子は、対応する偏光変調素子に近接して配置されている。図5中、十字印は、曲面表示部251の曲率中心である、表示デバイス250が提供する3D映像の仮想空間座標の中心260を示す。また、ペン型デバイス240は、センサ部24の一例である。
表示デバイス250が柔軟性又は弾性を有する場合には、表示デバイス250の曲面形状を一定に保つための支持部材(図示せず)により表示デバイス250を支持する構成としても良い。
各ユーザ500A〜500Dは、一般的な3D表示装置で用いられる偏光眼鏡であり、付与する位相差が右目と左目で異なる周知のパッシブ型の3D鑑賞用眼鏡(図示せず)を装着することで、表示デバイス250上の表示により発現する3D映像を鑑賞する。各ユーザ500A〜500Dは、表示デバイス250に表示された映像を、パッシブ型の3D観賞用眼鏡を介して見ると、表示された映像が3D化されて、見かけ上、表示デバイス250から投影された3D映像が見える。
パッシブ型の3D観賞用眼鏡のレンズは、左目用レンズと、右目用レンズと、各レンズに設けられた4分の1波長板(「λ/4波長板」とも言う)と、各レンズに設けられた直線偏光板とを有する周知の構成を有し、左目用と右目用とではレンズの偏光軸が異なる。例えば、4分の1波長板は、各レンズの表示デバイス250側に設けられ、直線偏光板は、各レンズの眼側に設けられている。このため、表示デバイス250に左目用映像を表示した場合は、パッシブ型の3D観賞用眼鏡の右目のレンズに入射する映像は消光されて、各ユーザ500A〜500Dの右目は暗がりを見ている状態になる。一方、表示デバイス250に右目用映像を表示した場合は、パッシブ型の3D観賞用眼鏡の左目のレンズに入射する映像は消光されて、各ユーザ500A〜500Dの左目は暗がりを見ている状態になる。したがって、表示デバイス250に表示される左目用映像と右目用映像とが適切な周期で切り換わると、各ユーザ500A〜500Dの脳内では、残像効果により左目用映像と右目用映像とが合成される。これにより、各ユーザ500A〜500Dがパッシブ型の3D観賞用眼鏡を介して上記の仮想空間座標の中心260越しに表示デバイス250上に表示された映像を見ると、3D映像が仮想空間座標の中心260に浮かび上がっている(又は、投影されている)ように見える。
図5に示す表示デバイス250の場合、プロセッサ11が表示プログラム(又は、表示制御プログラム)を実行することで、例えば図6に示すステップS1〜S8の処理が繰り返される。図6は、表示デバイスの処理の一例を説明するフローチャートである。
図6において、ステップS1では、プロセッサ11が、曲面表示部251の曲面表示素子に左目用映像を表示する。ステップS2では、ステップS1に同期して、偏光変調部252の偏光変調素子が、左目用映像を例えば左回り円偏光に変換し、左目用映像の映像光を通過する。ステップS3では、パッシブ型の3D鑑賞用眼鏡の表示デバイス250側の4分の1波長板が、左目用映像の映像光を直線偏光に変換する。例えば、左廻り円偏光は水平軸、右廻り円偏光は垂直軸が主な成分となる。ステップS4では、パッシブ型の3D鑑賞用眼鏡の眼側の直線偏光板が、左目用映像の映像光は左目側のレンズだけを通過させ、右目側のレンズは透過させずに消光する。
ステップS5では、ステップS1と同様にして、プロセッサ11が、曲面表示部251の曲面表示素子で右目用映像を表示する。ステップS6では、ステップS2と同様にして、ステップS5に同期して、偏光変調部252の偏光変調素子が、右目用映像を例えば右回り円偏光に変換し、右目用映像の映像光を通過する。ステップS7では、ステップS3と同様にして、パッシブ型の3D鑑賞用眼鏡の表示デバイス250側の4分の1波長板が、右目用映像の映像光を直線偏光に変換する。例えば右廻り円偏光は垂直軸、左廻り円偏光は水平軸が主な成分となる。ステップS8では、ステップS4と同様にして、パッシブ型の3D鑑賞用眼鏡の眼側の直線偏光板が、右目用映像の映像光は右目側のレンズだけを通過させ、左目側はレンズを透過させず消光する。ステップS8の後、処理はステップS1へ戻り、ステップS1〜S8の処理が繰り返される。
例えば、3D映像の元になる映像が、30フレーム/秒で構成された、例えばカメラによる撮像データであれば、1フレームの表示は、ステップS1が1/60秒間1フレーム分の映像を表示し、対応するステップS5が1/60秒間当該1フレーム分の映像を表示し、次の1フレームの表示では、ステップS1が1/60秒間次の1フレーム分の映像を表示し、対応するステップS5が1/60秒間当該次の1フレーム分の映像を表示する、という処理を繰り返す。
偏光変調部252は、例えば周知の透過型の空間光変調器(SLM:Spatial Light Modulator)等により形成可能である。偏光変調部252の各偏光変調素子は、左目用映像を例えば左回り円偏光に変換して透過させ、右目用映像を例えば右周り円偏光に変換して透過させるように、プロセッサ11により一定周期で円偏光の方向を電気的に切り換えられる。
なお、曲面表示部251の1ラインごとに交互に左目用映像と右目用映像を切り換えて表示する場合には、1/2フレームごとに映像全体を切り換えて左目用映像と右目用映像を交互に表示する場合と比較すると解像度が低下するが、プロセッサ11により偏光変調部252の偏光変調素子を1ラインごとに交互に円偏光の方向を左周りと右周りに固定しても良い。
偏光変調部252は、上記の如きプロセッサ11による電気的な制御により円偏光の方向を切り換える構成に限定されない。例えば、曲面表示部251の1ラインごとに交互に左目用映像と右目用映像を切り換えて表示する場合には、1/2フレームごとに映像全体を切り換えて左目用映像と右目用映像を交互に表示する場合と比較すると解像度が低下するが、偏光変調部252の偏光変調素子は、1ラインごとに交互に円偏光の方向が左周りと右周りに物理的に固定された構成を有しても良い。
視野角制御部253の各視野角制御素子は、対応する曲面表示素子の法線方向から外れる程、光線透過率が減少して映像が徐々に暗くなるように視野角を制限する。視野角制御部253の視野角制御素子は、曲面表示部251の曲率中心(即ち、表示デバイス250が提供する3D映像の仮想空間座標の中心260)に向かう光線の透過率が最大となるような視野角を有することが望ましい。図7は、視野角制御部の構造の第1の例を模式的に示す断面図である。図7は、曲面表示部251の曲率が1次元のみに付与されている場合の視野角制御部253を示す。図7に示す視野角制御部253の視野角制御素子は、視野角を制御するルーバー部33を、一対の透明フィルム31,32で挟んだ構造を有する。ルーバー部33は、複数の開口を形成する複数のルーバーで形成されている。図7は便宜上、ルーバー部33の複数の開口のうち、1つの開口に対する開口中心軸330を示す。各視野角制御素子、即ち、ルーバーが形成する各開口は、偏光変調部252の対応する偏光変調素子に近接して配置されている。透明フィルム31,32は、例えばポリエステル、PMMA(Polymethyl Methacrylate)、シリコーンゴム等で形成可能である。ルーバー部33は、例えば透明シリコーンゴムと着色シリコーンゴムを重ねた積層構造を有しても良い。
視野角制御部253におけるルーバー部33のルーバーのピッチと厚さの選定と、視野角との関係、並びに、視野角が±30度の場合のイメージを、図8及び図9に示す。
図8は、ルーバーの厚さと視野角の関係、及び、ルーバーのピッチと視野角の関係を説明する断面図である。図8に示すように、ルーバーの厚さが薄くなる程、視野角が狭くなる。また、ルーバーのピッチが狭くなる程、視野角が狭くなる。
図9は、視野角制御素子の光線透過率と視線角度の関係の一例を説明する図である。例えば、視野角が±60度に設計されている場合、各視野角制御素子は、図9に示す例では、視野角が0度では80%、±30度では40%、±60度では0%といった光線透過率を有する。視野角は、視野角制御部253のルーバー部33のルーバーのピッチと厚さを適宜選定することで、例えば±15度〜±60度の範囲に設計可能である。
図5に示す表示デバイス250において、曲面表示部251の曲率半径が1mであり、曲面表示部251を張る角度が120度である場合、表示デバイス250(又は、曲面表示部251)の円弧長は約2.1mとなる。例えば、複数のユーザが、表示デバイス250の視野角制御部253と対向する、表示デバイス250が提供する3D映像の仮想空間座標の中心260からの距離が一定で1mとなるような仮想円弧上の位置に並んだ場合を想定する。この場合、仮想円弧の約2.1mの円弧長を、成人男性の平均肩幅である約40cmで除算することで、6名のユーザが仮想円弧上に並んで表示デバイス250が提供する3D映像を鑑賞可能であることがわかる。
この場合、曲面表示部251の円弧長が例えば約40cmであり、視野角制御部253の視野角が例えば±23度程度であれば、1名のユーザの視野に、当該1名のユーザの隣りのユーザが見ている3D映像がクロストークとして混入しない。ただし、視野角制御部253の視野角を±11.5度よりも披く角度、例えば±23度に設計した場合、視野角制御素子の光線透過率は40%を下回って暗くなる。そこで、例えば視野角制御部253の視野角が±23度で視野角制御素子の最大光線透過率の5割に相当する40%程度の光線透過率を保つように、視野角を±46度程度に設計しても良い。視野角制御部253の視野角をどの程度にするかは、曲面表示部251の曲率半径、提供する3D映像に要求される画質、推奨する各ユーザの立ち位置、後述する表示モード等に応じて決めることができる。
図5に示す例では、曲面表示部251の曲率が1次元のみに付与されているので、図7に示す如き視野角制御部253を用いる。しかし、曲面表示部251の曲率が2次元に付与されている場合には、例えば図10に示すように、上下2段のルーバーを重ねたルーバー部を有する視野角制御部253を用いれば良い。
図10は、視野角制御部の構造の第2の例を模式的に示す斜視図である。図10は、曲面表示部251の曲率が2次元に付与されている場合の視野角制御部253を示す。図10中、図7と同一部分には同一符号を付し、その説明は省略する。図10に示す視野角制御部253の視野角制御素子は、視野角を制御する下段ルーバー部33−1と上段ルーバー部33−2とを、一対の透明フィルム31,32で挟んだ構造を有する。下段ルーバー部33−1と、上段ルーバー部33−2とは、夫々複数のルーバーを有する。この例では、下段ルーバー部33−1のルーバーと、上段ルーバー部33−2のルーバーとは、互いに直交する。また、下段ルーバー部33−1と上段ルーバー部33−2は、例えば透明シリコーンゴムと着色シリコーンゴムを重ねた構造を有しても良い。このように、曲面表示部251の曲率が2次元に付与されている場合であっても、視野角制御部の視野角とルーバーのピッチの関係は、図9の場合と同様で良い。
図11は、視野角制御部の構造の第3の例を模式的に示す斜視図である。この第3の例では、曲面表示部251の曲率が図11中矢印で示すように1次元に付与されている場合、曲率が1次元に付与されている方向と同じ方向に曲率を有する(即ち、パワーを有する)レンチキュラーレンズ群254が設けられている。レンチキュラーレンズ群254は、曲面表示部251の対応する曲面表示素子群に近接して配置されている。各レンチキュラーレンズの幅は、曲面表示素子との近接度合いで決まるが、レンチキュラーレンズの1列(又は、1行)分が曲面表示素子の1列(又は、1行)分に相当する。
図12は、視野角制御部の構造の第4の例を模式的に示す斜視図である。図11に示す第3の例では、曲面表示部251は紙面の左右方向(又は、水平方向)のみに曲率が付与されているが、図12に示す第4の例では、図12中矢印で示すように、曲面表示部251は紙面の左右方向及び紙面の上下方向(又は、垂直方向)の両方向に曲率を付与されている。このため、レンチキュラーレンズ群255は、曲面表示部251の各曲面表示素子に対応したサイズを有する凸レンズが、対応する曲面表示素子に近接して配置されている。説明の便宜上、図12の右上部分に、レンチキュラーレンズ群255の1つの凸レンズ255Aを取り出して示す。
表示デバイス250は、図7、図10、図11及び図12のいずれかに示す如き視野角制御部253を有するので、例えば図5において、ユーザ500Aが3D映像を鑑賞している場合、ユーザ500Dが鑑賞している側の曲面表示素子からの映像光(又は、画素)がクロストークとして入り込んでくることはなく、奥行き2次元若しくは奥行き3次元の3D映像を表示できる。つまり、上記の実施例によれば、奥行き2次元以上の立体性の高い3D映像を提供可能であり、高画質の3D映像を提供できる。
上記の実施例における表示システム2では、各位置のユーザが鑑賞する3D映像は、例えば3D映像を30フレーム/秒で表示する場合、60フレーム/秒で左目用映像と右目用映像を逐次的に表示するが、表示モードは、大きく分けると、第1の表示モードと、第2の表示モードの、2つの表示モードに分類できる。
第1の表示モードは、表示デバイス250の画面全体に相当する左目用映像と、画面全体に相当する右目用映像とを交互に切り換えて表示する、3D映像表示モードである。曲面表示部251の各曲面表示素子(又は、画素)は、曲面表示部251の曲率中心に向かって結像し、視野角制御部253の視野角制御素子により視野角が制限されるため、曲面表示素子の法線方向から外れる方向に拡散していく光は、視野角制御素子により遮断される。このため、例えば図5に示す例のように、曲面表示部251の曲率が1次元のみに付与されている場合は、各曲面表示素子は曲面表示部251の曲率中心に向かって結像し、例えば図7又は図11に示す如き視野角制御素子により視野角が1次元で制限される。したがって、上記第3の従来例による3D映像の場合と同様に、各ユーザは、奥行き2次元の3D映像を鑑賞することができる。
一方、曲面表示部251の曲率が2次元に付与されている場合には、曲面表示部251の各曲面表示素子(又は、画素)は、曲面表示部251の曲率中心に向かって結像し、視野角制御部253の視野角制御素子により視野角が2次元で制限される。つまり、例えば図10又は図12に示す如き視野角制御素子より視野角が2次元で制限されるので、各ユーザは、奥行き3次元の3D映像を鑑賞することができる。
第2の表示モードは、図5に示す表示デバイス250の左端の位置0から右端の位置Lに向かって、視野角制御部253の視野角制御素子の視野角と同程度の幅の映像をスクロールさせながら表示する3D映像表示モードである。第2の表示モードでは、第1の方法又は第2の方法を採用可能である。
第2の表示モードが採用する第1の方法は、同じ映像をスクロールさせて3D映像を提供する。この場合、ユーザが例えば図5に示す表示デバイス250の中心軸300上の、中央位置からずれた位置に立っている場合であっても、ユーザが中央位置に立って見ている場合と同じ状態の3D映像を提供することができる。一点鎖線で示す中心軸300は、表示デバイス250の中心と、仮想空間座標の中心260とを通る。このため、見かけ上、常にユーザの位置を向く3D映像を提供することができる。例えば、自動車が中央位置に立っているユーザに向かって正面から近づいてくる3D映像の場合、当該ユーザが表示デバイス250の左側に相当する上記の仮想円弧上の位置に立っていても、右側に相当する上記の仮想円弧上の位置に立っていても(即ち、当該ユーザの上記の仮想円弧上の位置にかかわらず)、当該ユーザに向かって正面から近づいてくるように見える自動車の3D映像を提供することができる。この場合、各ユーザには奥行き1次元の3D映像が見えることになるが、第1の方法を採用する第2の表示モードと第1の表示モードとを適宜切り換えれば、例えば遠隔地から教師が複数の生徒を指導するようなアプリケーションに好適である。
図5では曲面表示部251の曲率が1次元のみに付与されているが、曲率が2次元に付与されている場合には、例えば図13に示すようにクロストークが生じないような順番で映像をスクロールしても良い。図13は、曲面表示部の曲率が2次元に付与されている場合の映像のスクロールの一例を説明する図である。図13中、大略矩形で示す各メッシュは、表示デバイス250の曲面表示部251の複数の曲面表示素子で形成された1つの曲面表示素子群(又は、画素群)を表し、矢印は、曲面表示素子群の表示(又は、走査)順序の一例を示す。図13では、スクロールのイメージを分かり易くするため、便宜上、曲面表示素子群の大きさを拡大して個数を縮小して示す。図13中、曲面表示素子群の表示順序は、一点鎖線で示すように上側から下側へ、且つ、左側から右側へ順次表示されるか、或いは、二点鎖線で示すように下側から上側へ、且つ、右側から左側へ順次スクロール表示されるか、或いは、一点鎖線で示すスクロール表示と二点鎖線で示すスクロール表示を同時に、曲面表示部251の中心部分まで行われるものである。言うまでもなく、曲面表示素子群の表示順序は、図13において左側から右側へ、且つ、上側から下側へ順次表示されるものであっても良い。つまり、曲面表示素子群の表示順序は、図13を時計方向に90度回転させたものであっても、反時計方向に90度回転させたものであっても良い。
第2の表示モードが採用する第2の方法は、例えば図5の位置0から位置Lに向かって、第1の表示モードの映像のうち、視野角と同程度の幅の互いに異なる映像(例えば、表示デバイス250の画面全体の互いに異なる映像部分)を表示させながらスクロールして表示する3D映像表示モードである。つまり、位置0から位置Lに向かってスクロール表示される映像は互いに異なるが、各位置の映像は、第1の表示モードが、第2の方法を採用する第2の表示モードと同一時刻に表示を開始すると仮定すると、表示開始後のある同じ時刻に第1の表示モードで表示する全体映像の一部分に相当する。また、現在表示しようとしている映像が左目用であれば、当該視野角と同程度幅のみを左目用の偏光軸とし、残りの位置については、左目用円偏光と右目用円偏光の中間の直線偏光とするか、或いは、ランダムな偏光状態とすれば良い。これにより、視野角制御部253の視野角制御素子では制御しきれない、周囲の映像のクロストークにより生じるにじみを、効果的に防止できる。
また、曲面表示部251の曲率が2次元に付与されている場合には、例えば図13に示すように、クロストークが生じないような順番で映像をスクロールすれば良い。さらに、偏光変調部252の偏光変調素子は、映像のスクロールに合わせて偏光を制御すれば良い。
上記の如く、曲面表示部251は、左目用映像と右目用映像の各映像を、曲面表示素子で表示する。偏光変調部252は、曲面表示部251が表示する各映像の円偏光の方向を、各曲面表示素子に対応する偏光変調素子単位で制御する。上記の例では、偏光変調部252は、左目用映像については偏光変調素子単位で円偏光を左回りに制御し、右目用映像については偏光変調素子単位で円偏光を右回りに制御する。視野角制御部253は、ある鑑賞位置において、隣の鑑賞位置で見える3D映像がクロストークとして混入しない視野角となるように、各映像の円偏光を、各曲面表示素子(即ち、各偏向変調素子)に対応する視野角変調素子単位で、各映像が左目用であるか右目用であるかに応じた方向に制御する。
曲面表示部251が、曲率が1次元に付与されている円筒形状を有する場合は、偏光変調部252の偏光方向及び視野角制御部253の視野角は、曲面表示部251の曲率半径を規定する軸と当該軸に直交する軸の2軸で規定できる。これに対し、曲面表示部251が、曲率が2次元に付与されている球面形状を有する場合は、偏光変調部252の偏光方向及び視野角制御部253の視野角は、曲率中心(即ち、仮想空間座標の中心260)から球面形状に下ろした垂線を軸とした円の接線方向と、この接線方向と直交する方向の2軸で規定できる。
上記の実施例によれば、例えば幅が2m以下程度の実用的なサイズで、互いに異なる4箇所以上の多数の位置から同時に3D映像を鑑賞可能である。また、3D−UIに、ユーザが3D映像にタッチする感覚を付与できる。さらに、奥行き2次元以上の立体性の高い3D映像を表示可能であり、高画質の3D映像を提供できる。
[実施例1]
次に、実施例1を図14と共に説明する。図14は、実施例1における表示システムの表示デバイスの一例を示す模式図である。図14中、図5と同一部分には同一符号を付し、その説明は省略する。実施例1では、曲面表示部251の曲率が1次元のみに付与されている。この例では、曲面表示部251の曲面表示素子のピッチ(又は、画素ピッチ)は、0.347mmであり、60インチの4kテレビと同等である。曲面表示部251の円弧長は、約2.665mであり、表示デバイス250の画面の高さ(即ち、図14において紙面に対して垂直方向に沿った長さ)は1.499mである。このため、表示デバイス250の解像度は、7680×4320画素であり、60インチの8kテレビと同等である。この表示システムで張られる表示デバイス250の角度は、120度であり、視野角制御部253の視野角制御素子の視野角は±10度に設計されている。したがって、ユーザが視野角制御部253に対向して中心軸300に対して左右対称な120度の範囲に並んだ際に明るさが保てる範囲、即ち、有効表示角度は、100度である。つまり、曲面表示部251の水平方向に沿って配置された曲面表示素子(以下、「水平画素」とも言う)は、7680画素であるが、これらの7680画素中、6400画素は120度の範囲で並んだ際に明るい映像を形成し、外側の各片側640画素は120度よりも外側まで光が拡散するのでその分暗い映像を形成する。曲面表示部251の曲率半径は、約1.27242mである。仮想空間座標の中心260から後方(図14中、表示デバイス250から遠ざかる方向)に1mの位置で120度の仮想円弧を張ると、仮想円弧の円弧長は2.0944mになる。成人男性の平均的な肩幅が約0.4mであると仮定した場合、6名のユーザ500A〜500Fが仮想円弧に沿って並んで3D映像を鑑賞可能である。第1の表示モードを使用した場合、8kフル映像で奥行き2次元の3D映像を表示できる。
図15は、第1の表示モードの処理の一例を説明するフローチャートである。図15において、ステップS11では、図1に示すプロセッサ11が、基地局3から受信した3D映像の元になるデータに基づき、表示デバイス250の画面全体に相当する左目用映像と、画面全体に相当する右目用映像とを、周知の方法で生成する。ステップS12では、プロセッサ11が、生成した左目用映像のデータと、右目用映像のデータとを適切な周期で交互に表示デバイス250に出力する。ステップS13では、プロセッサ11が、基地局3から受信した3D映像の元になるデータが終了したか否かを判定し、判定結果がNOであると処理はステップS11へ戻り、判定結果がYESであると処理は終了する。
これにより、曲面表示部251の各曲面表示素子(又は、画素)は、プロセッサ11から出力される映像のデータが表す映像を、曲面表示部251の曲率中心に向かって結像し、視野角制御部253の視野角制御素子により視野角が制限されるため、曲面表示素子の法線方向から外れる方向に拡散していく光は、視野角制御素子により遮断される。このため、曲面表示部251の曲率が1次元のみに付与されている場合は、各曲面表示素子は曲面表示部251の曲率中心に向かって結像し、例えば図7又は図11に示す如き視野角制御素子により視野角が1次元で制限される。したがって、各ユーザは、奥行き2次元の3D映像を鑑賞することができる。この場合、表示デバイス250が提供する3D映像を同時に鑑賞できるユーザの数は、図14に示すように6名である。
なお、曲面表示部251の曲率が2次元に付与されている場合には、曲面表示部251の各曲面表示素子(又は、画素)は、曲面表示部251の曲率中心に向かって結像し、視野角制御部253の視野角制御素子により視野角が2次元で制限される。つまり、例えば図10又は図12に示す如き視野角制御素子より視野角が2次元で制限されるので、各ユーザは、奥行き3次元の3D映像を鑑賞することができる。
図16は、30フレーム/秒で3D映像を表示する場合のタイムチャートの一例を示す図である。先ず、図16(a)に示す左目用映像Vlを1/60秒表示して、図16(b)に示す、対応する右目用映像Vrを1/60秒表示する。図16中、梨地で示す各区間は、1枚の左目用映像Vl又は1枚の右目用映像Vrが表示される区間を示す。これらの映像V1,Vrは、夫々の表示角度に合わせて適切な視差となるように構成された映像であり、1枚の左目用映像Vlと1枚の右目用映像Vrの計2枚の映像により、各ユーザの脳内では奥行き2次元の3D映像が1枚構成される。したがって、3D映像の表示速度は、30フレーム/秒となる。
図17は、第1方法を採用する第2の表示モードの処理の一例を説明するフローチャートであり、図18は、図17の処理の一例を説明する図である。この例では、基地局3から受信した3D映像の元になるデータが、左目用映像と右目用映像のデータである。しかし、基地局3から受信した3D映像の元になるデータに基づき左目用映像と右目用映像を生成する処理自体は周知であり、コンピュータ1側で生成しても良い。
図17において、ステップS31では、図1に示すプロセッサ11が、基地局3から受信した1280×4320画素の左目用映像を、図18(a)において水平方向0番目(又は、位置0)の水平画素が映像の左端となるように表示デバイス250に表示され、1/60秒で映像の右端が水平方向7680番目の水平画素と一致するように遷移しながら表示されるように、表示デバイス250に出力する。遷移とは、左目用映像の左端が水平方向0番目の水平画素である場合に、1/60/(7680−1280)秒後に水平方向0番目の水平画素列は黒(即ち、RGBが全て輝度0に相当)を表示し、水平方向1番目の位置を左端にして左目用映像を表示し、更に1/60/(7680−1280)秒後に水平方向1番目の水平画素列(0番目の水平画素列は変更無し)は黒を表示し、水平方向2番目の位置を左端にして左目用映像を表示する処理を繰り返すことを言う。このような遷移により、1/60秒後には左目用映像が、左目用映像の左端が水平方向6400(=7680−1280)番目、即ち、右端が7679番目の水平画素になるように表示される。
ステップS32では、プロセッサ11が、左目用映像の左端が水平方向6400番目の水平画素に到達した時点で、図18(b)に示す、対応する右目用映像を、水平方向0番目の水平画素が左端となるように表示され、左目用映像と同様に遷移しながら表示されるように、表示デバイス250に出力する。
右目用映像の左端が水平方向6400番目の水平画素に到達した時点で、処理はステップS31へ戻り、次の左目用映像の左端が水平方向0番目の水平画素と一致するように表示され、同様に遷移しながら表示されるように、左目用映像を表示デバイス250に出力する。このように、例えば図18は、映像が3台の自動車が縦列に走る映像である場合を示すが、表示デバイス250は、これら3台の自動車が各ユーザに向かってくるような3D映像を提供する。この場合、図14に示すように、有効表示角度は始端の10度、終端の10度を除き、100度である。このため、仮想空間座標の中心260より1m後方での仮想円弧長は、1.745mとなり、表示デバイス250が提供する3D映像を同時に鑑賞できるユーザの数は5名になり、第1の表示モードの場合と比較すると1名少なくなる。なお、この例では、有効な水平方向の水平画素数が1280画素であるため、各ユーザは、第1の方法を採用する第2の表示モードの場合、奥行き1次元の3D映像をQuad-VGA(Video Graphics Array)やWXGA(Wide eXtended Graphics Array)クラス以上の画質で鑑賞できる。
図19は、第2方法を採用する第2の表示モードの処理の一例を説明するフローチャートである。図19において、ステップS41では、図1に示すプロセッサ11が、基地局3から受信した1280画素の左目用映像を、水平方向0番目(又は、位置0)の水平画素が映像の左端となるように表示デバイス250に表示されるように、表示デバイス250に出力する。ステップS42では、プロセッサ11が、1/60/(7680−1280)秒後に、水平方向0番目の水平画素列は黒(即ち、RGBが全て輝度0に相当)となるように表示し、水平方向1番目の水平画素が左端となるようにして水平方向1番目の左目用映像を表示する。ステップS43では、プロセッサ11が、N=2として1/60/(7680−1280)秒後に、水平方向N−1番目の水平画素列は黒(即ち、RGBが全て輝度0に相当)となるように表示し、水平方向N番目の水平画素が左端となるようにして水平方向N番目の左目用映像を表示する。ステップS44では、プロセッサ11が、水平方向N=6400番目の水平画素まで到達したか否かを判定し、判定結果がNOであるとNをN=N+1にインクリメントして処理はステップS43へ戻る。他方、ステップS44の判定結果がYESであると、処理はステップS45へ進む。
ステップS45では、プロセッサ11が、水平方向6400番目の水平画素列から7679番目の水平画素列までは黒(即ち、RGBが全て輝度0に相当)となるように表示し、これと並行して(又は、同時に)、水平方向1280画素の大きさの水平方向0番目の右目用映像を水平方向0番目の水平画素が左端となるようにして表示する。ステップS46では、プロセッサ11が、1/60/(7680−1280)秒後に、水平方向0番目の水平画素列は黒(即ち、RGBが全て輝度0に相当)となるように表示し、水平方向1番目の水平画素が左端となるようにして水平方向1番目の右目用映像を表示する。ステップS47では、プロセッサ11が、N=2として1/60/(7680−1280)秒後に、水平方向N−1番目の水平画素列は黒(即ち、RGBが全て輝度0に相当)となるように表示し、水平方向N番目の水平画素が左端となるようにして水平方向N番目の右目用映像を表示する。ステップS48では、プロセッサ11が、水平方向N=6400番目の水平画素まで到達したか否かを判定し、判定結果がNOであるとNをN=N+1にインクリメントして処理はステップS47へ戻る。他方、ステップS48の判定結果がYESであると、プロセッサ11は、上記と同様にして、処理の最初から1/30秒後に、次の左目用映像及び次の右目用映像の表示を行い、以下同様の処理を繰り返す。
図14に示す視野角制御部153により視野角が制御されているため、各ユーザの視線は、仮想空間座標の中心260越しに3D映像を鑑賞する。各ユーザがパッシブ型の3D観賞用眼鏡を介して3D映像を鑑賞する場合に、左目用映像と右目用映像との間に適切な視差が生じるように予め各映像のデータを計算しておけば、表示デバイス250が表示する映像が仮想空間座標の中心260に浮かび上がる(又は、投影される)3D映像を提供することができる。
しかし、第1の方法を採用する第2の表示モードの場合のように、どの位置においても同じ映像を用いると、提供される3D映像は、奥行き2次元ではなく、奥行き1次元になってしまう。これに対し、水平方向3839番目の水平画素と水平方向3840番目の水平画素の中間と、仮想空間座標の中心260とを結ぶ中心軸300を中心として、左側の画面はユーザ500A,500B,500Cが仮想空間座標の中心260を見たときのように、画面の右側の映像はユーザ500D,500E,500Fが仮想空間座標の中心260を見たときのように、左目用映像と右目用映像に等価的に視差を付与することで、奥行き2次元の3D映像を提供することができる。
このような3D映像を提供するには、タイミングや遷移の方法に関しては、第1の方法を採用する第2の表示モードの場合と類似した処理を行えば良いが、第1の方法を採用する場合とは異なり、各画素位置に応じた異なる映像を表示すれば良い。具体的には、第1の方法では、30フレーム/秒の映像を1秒間表示するのに左目用映像30枚、右目用映像30枚の計60枚を用いるが、第2の方法では、左目用映像は30×(7680−1280)=192000枚、右目用映像も同じく192000枚の、計384000枚を用いる。左目用映像、右目用映像を生成する表示システムのメモリや処理速度が不足する場合には、例えば10画素単位で映像を変更しても良い。この場合、30フレーム/秒の映像を1秒間表示する際の枚数は、38400枚となる。ただし、図14において例えばユーザ500Fがユーザ500Aの位置に移動した際に、奥行きは滑らかに変化するのではなく、飛び飛びに変化したように表現される。
上記の如く、第1の表示モード及び第2の表示モードのいずれの表示モードにおいても、奥行き2次元の3D映像を表示することができる。ただし、第2の表示モードの場合、第1の表示モードの場合と比較すると解像度が低下する。一方、第2の表示モードでは、視野角に制限された範囲のみを表示するため、クロストークが減り、高コントラストの3D映像を表示することができる。
図20は、左目用映像及び右目用映像を生成する処理の一例を説明するフローチャートである。この例では、予めメモリ12に各表示モードに相当する左目用映像及び右目用映像のデータを蓄積しておき、選択された表示モードに応じた映像を表示する。第2の方法を採用する第2の表示モードは、第1の表示モードの映像を分割して生成した映像部分を表示しても良い。リアルタイムに近い映像処理を行う場合は、予め読み込んだ映像のデータと、当該映像のデータの各画素が3D映像の仮想空間座標中のどこに位置するのかを示す映像対応の3次元位置データを読み込み、決定された表示モードに応じた左目用映像及び右目用映像のデータを生成し、メモリ12に一時的に蓄積する。どの程度の表示時間分の映像のデータを処理して蓄積するかは、メモリ12の記憶容量(又は、バッファサイズ)や処理時間に応じて決めれば良い。
図20において、ステップS51では、図1に示すプロセッサ11が、表示モードを、入力装置13から選択された表示モードに決定する。ステップS52では、プロセッサ11が、メモリ12に蓄積されている映像のデータを読み込む。メモリ12に蓄積されている映像のデータは、基地局3から受信したデータであっても、プロセッサ11が基地局3から受信したデータに処理を施したデータであっても良い。ステップS53では、プロセッサ11が、読み込んだ映像のデータの各画素が3D映像の仮想空間座標中のどこに位置するのかを示す映像対応の3次元位置データを読み込む。ステップS54では、プロセッサ11が、読み込んだ映像のデータ及び3次元位置データに基づき、決定された表示モードに応じた左目用映像及び右目用映像のデータを生成し、メモリ12に一時的に蓄積する。ステップS55では、プロセッサ11が、メモリ12に一時的に蓄積された、決定された表示モードに応じた左目用映像及び右目用映像のデータを表示デバイス250に出力し、決定された表示モードに応じた左目用映像及び右目用映像を表示デバイス250上に表示する。ステップS56では、プロセッサ11が、メモリ12に一時的に蓄積された決定された表示モードに応じた左目用映像及び右目用映像のデータが全て表示デバイス250に出力されたか否かを判定し、判定結果がNOであれば処理はステップS55へ戻り、判定結果がYESであれば処理は終了する。
[実施例2]
次に、実施例2を図21と共に説明する。図21は、実施例2における表示システムの表示デバイスの一例を示す模式図である。図21中、図5と同一部分には同一符号を付し、その説明は省略する。図21において、ユーザ500は、パッシブ型の3D観賞用眼鏡400を装着している。
実施例2における曲面表示部251の曲率半径や張る角度等は、上記実施例1の場合と同じであるが、実施例2では、曲面表示部251が円筒状ではなく球面状に形成されている。つまり、実施例1ではx軸周りか、若しくは、y軸周りのどちらかの曲率が0であるが、図21に示すように、実施例2では、x軸周り及びy軸周りの両方に等しい曲率が付与されている。実施例2における偏光変調部252及び視野角制御部253の取付順序は、実施例1の場合と同じであるが、偏光変調素子の偏光軸は例えば、z軸周りの方向と、z軸と直交方向の2軸で付与されている。視野角制御素子は、例えば図10のような構成の場合は、ルーバーがz軸周りの方向と、z軸と直交する方向の2軸と夫々平行になるように設定され、各々±10度の視野角となる。ただし、視野角制御素子のピッチは、有限の大きさであるため、ピッチの大きさ分の角度設定の誤差が生じる。レンズを用いる場合は、図11に示すような構成ではなく、図12に示すような構成を用いる。図12に示すような構成の視野角制御部253を用いることで、全ての画素に均一の視野角を付与することができる。
この表示システムは、例えば床下に埋め込まれている。ユーザ500は、曲面表示部251の表面を基準にして、曲面表示部251の表面からz軸方向に沿って1.27242m上方の仮想空間座標の中心260よりも、z軸方向の上方からこの仮想空間座標の中心260を介して3D映像を見る。第1の表示モードでは、図16の場合と同様に、表示デバイス250の全画面範囲で左目用映像と右目用映像を交互に表示することで、奥行き3次元でよりリアルに近い3D映像を提供することができる。
図22は、図21に示す表示デバイスの、第2の表示モードでの表示を説明する平面図である。図22に示す映像は、z軸周りに視野角10度に相当する映像である。つまり、z軸の真上から見ると、視野角制御素子により、映像の縁の部分の光線透過率が0になる。第1の方法を採用する第2の表示モードは、図22中、破線の矢印で示すように、この円形の映像を疑似的にらせん状に遷移させる。具体的には、先ずはx=0,y=0の位置にて左目用映像を表示し、次に例えばx軸側に1画素平行移動したのち、映像自体は回転せずに、中心軸がz軸周りに回転移動するように遷移させ、1周終わると再度x軸側に1画素平行移動して、同様の処理を繰り返す。この円形の縁の画素が曲面表示部251の最外縁の画素と一致した後に1周したところで、左目用映像の表示を終える。x=0,y=0の位置で表示してから、1/60秒の間にこのような処理を行う。次に、再度x=0,y=0の位置で右目用映像を表示して同様の処理を行う。これにより、例えば花が咲くような映像を表示した場合、各ユーザに向かって花が咲くような効果を付与することが可能になる。
第2の方法を採用する第2の表示モードでは、上記実施例1の場合と同様に、第1の方法を採用した場合と異なり、上記の円形の映像の中心の画素位置に応じた映像に切り換えながら遷移させる。第2の方法を採用した第2の表示モードの場合、上記実施例1の場合と同様に、第1の表示モードを用いる場合と比較すると解像度は低下するが、第1の表示モードよりもクロストークが減少し、高コントラストの3D映像を提供することができる。
この例においても、予め選択した表示モードに応じて生成された左目用映像及び右目用映像を表示デバイス250上に表示する。予め選択した表示モードに応じて生成された左目用映像及び右目用映像が無い場合には、図20と同様の処理を行えば良い。
上記実施例1の場合と同様に、実施例2においても、ユーザ500がペン型デバイス240を用いて疑似的に3D映像を操作することが可能である。一例として、赤外線を用いた方法を図23と共に説明する。図23は、ペン型デバイスを用いた3D映像の擬似的操作の一例を説明する模式図である。
図23に示すように、例えば図21に示す如き表示デバイス250の縁の、x軸とy軸に交差する位置に、2次元赤外PSD(IRPSD:Infra-Red Position Sensitive Detector)243とレンズ244を組み合わせた検知デバイス245を4個配置する。レンズ244は、対応する2次元IRPSD243の原点座標と図21に示した仮想空間座標の中心260とを結ぶ直線が、レンズ244の光軸と一致するように設置される。ペン型デバイス240の先端から出射される赤外光が、仮想空間座標の中心260の位置に照射されると、この赤外光の出力が各2次元IRPSD243の原点座標で出力されるように、各検知デバイス245の位置が調整されている。これにより、ペン型デバイス240が任意の位置にある時も、4つの2次元IRPSD243への赤外光の照射位置P1〜P4から、ペン型デバイス240の表示デバイス250に対する座標を計算することができる。
図24は、ペン型デバイスの一例の一端面を示す模式図である。ペン型デバイス240は、例えば長手方向(X軸及びY軸とは直交するZ軸方向)に沿った長さが10cmの筒状であり、一端面の直径は30mmである。ペン型デバイス240の一端面には、複数の発光素子が設けられている。この例では、ペン型デバイス240の一端面に、9個の発光素子61−1〜61−9がマトリクス状に設けられている。各発光素子61−1〜61−9は、赤外発光ダイオード(IRLED:Infra-Red Light Emitting Diode)と、IRLEDから一定距離の位置に接着されたレンズとを有する。各発光素子61−1〜61−9は、水平拡がり角及び垂直拡がり角が共に、例えば±30度である。
図25は、X軸方向に並んだ3個の発光素子61−4,61−5,61−6の設置角度を模式的に示す図である。また、図26は、Y軸方向に並んだ3個の発光素子61−1,61−4,61−7の設置角度を模式的に示す図である。各発光素子61−1〜61−9は、図25及び図26からもわかるように、互いに45度ずつ角度を変えた配置を有する。したがって、例えば発光素子51−5のIRLEDの光軸を中心にすると、赤外光は、図25に示す如くX軸に沿って±75度の範囲を照射する。同様に、例えば発光素子51−4のIRLEDの光軸を中心にすると、赤外光は、図26に示す如くY軸に沿って±75度の範囲を照射する。したがって、図19においてペン型デバイス240を仮想空間座標の中心260の近傍で操作して、3D映像に対する操作や指示を行うと、1つ以上の検知デバイス245で赤外光が検知される。ここで、各9個の発光素子61−1〜61−9は、互いに発光周期が異なり、例えば、15Hz〜95Hzまでの範囲で、10Hzずつ異なる。検知デバイス245が検知した赤外光がどの位置の発光素子61−1〜61−9からの赤外光であるかは、検知した発光周期から周知の方法で判別できる。
図27は、各検知デバイスに照射された赤外光からペン型デバイスの3D映像に対する角度を求める例を説明する模式図である。図27中、(a)はX軸方向に対する赤外光の角度を示し、(b)はY軸方向に対する赤外光の角度を示す。図27において、検知デバイス245のレンズ244は、2次元IRPSD243からZ軸に沿って一定距離fの位置に設けられている。図27中、(a)では、Z軸と平行な、レンズ244の光軸Oと、ペン型デバイス240から照射される赤外光IRのX軸方向の照射範囲の中心とは、角度θxを形成し、赤外光IRは2次元IRPSD243の中心からX軸方向にdxずれた位置に照射されるので、f×θx=dxが成り立つ。また、図27中、(b)の例では、Z軸平行な、レンズ244の光軸Oと、ペン型デバイス240から照射される赤外光IRのY軸方向の照射範囲の中心とは、角度θyを形成し、赤外光IRは2次元IRPSD243の中心からY軸方向にdyずれた位置に照射されるので、f×θy=dyが成り立つ。
図28は、電極を含む検知デバイスの平面図である。図28では、説明の便宜上、レンズ244の図示は省略し、2次元IRPSD243への赤外光IRの照射位置をPで示す。図28に示すように、検知デバイス245の2次元IRPSD243は、電極幅Lxを有するX軸用電極247−1,247−2と、電極幅Lyを有するY軸用電極248−1,248−2とを備える。X軸用電極247−1,247−2に流れる光電流を夫々Ix1,Ix2で表し、Y軸用電極248−1,248−2に流れる光電流を夫々Iy1,Iy2で表すと、次式が成り立つ。
(Ix2−Ix1)/(Ix1+Ix2)=2dx/Lx
(Iy2−Iy1)/(Iy1+Iy2)=2dy/Ly
検知デバイス245には、X軸方向(又は、円周方向)の電極(X軸用電極247−1,247−2に相当)は表面に、Y軸方向(又は、曲率方向)の電極(Y軸用電極248−1,248−2に相当)は裏面に配置された、所謂両面分割型の検知デバイスを用いることができる(例えば、非特許文献9,10参照)。これにより、図27及び図28に示すように、ペン型デバイス240が照射する赤外光IRの角度が、検知デバイス245に入射する光量により求まる。赤外光IRの変位が発生すると、検知デバイス245への入射光量は減衰する。そこで、ペン型デバイス240からの赤外光IRの発光光量を一定に保ち、検知デバイス245に対する角度を変更せずにペン型デバイス240を平行移動したときの検知デバイス245の受光光量の減衰量を予め較正しておくことで、赤外光IRの検知デバイス245に対する角度と変位を推定できる。ユーザ500は、ペン型デバイス240を操作することで、3D映像を操作したり、3D映像に対して何らかの機能を発動することができる。これにより、ペン型デバイス240を用いることで、ユーザ500が3D映像にタッチする感覚を付与できる。
図29は、上記の如く、ペン型デバイスの位置と角度を推定する処理の一例を説明するフローチャートである。図29に示す処理は、例えば図1に示すプロセッサ11により実行可能である。
図29において、ステップS61では、プロセッサ11が、図23に示す4個の検知デバイス245の2次元IRPSD243が検知した赤外光IRが、図24に示すペン型デバイス240の端面のどの位置の発光素子61−1〜61−9からの赤外光IRであるかの情報を、検知した発光周期から周知の方法で判別する。ステップS62では、プロセッサ11が、図27及び図28と共に説明した方法で、各検知デバイス245の2次元IRPSD243に照射されている赤外光IRの検知デバイス245に対する角度と変位の情報を推定する。ステップS63では、プロセッサ11が、ステップS61,S62で求めた情報と、ペン型デバイス240の発光素子61−1〜61−9の配置を含むペン型デバイス240の構造に関する情報とに基づいて、仮想空間座標の中心260における3D映像に対するペン型デバイス240の向きと、ペン型デバイス240の長手方向に沿った中心軸(又は、基準軸)の変位を推定し、処理は終了する。
図30は、表示システムの第1の適用例を説明する模式図である。図30中、図21と同一部分には同一符号を付し、その説明は省略する。図30は、映画館での鑑賞のイメージの一例を示す。既存の技術で映画館が提供する3D映像は、1方向の視差を用いた奥行1次元の3D映像である。これに対し、一実施例における表示システムを用いれば、奥行き3次元の映画配信が可能になる。図30に示すように、表示デバイス250の仮想空間座標の中心260を取り囲むように座席が形成され、4名以上の多数のユーザ(又は、鑑賞者)500は、仮想空間座標の中心260を見て映画の3D映像800を鑑賞する。このような映画鑑賞の際には、例えば第1の表示モードから第1の方法を採用する第2の表示モードに切り換えることで、例えば一人の人間が多数の人間に「分身」するような3D映像800をリアルに表現することできる。さらに、2次元映像の映画は、どこの座席で見ても大きな差異がないが、一実施例による3D映像800の表示では、座席により3D映像の見え方が変わるようにすることができる。したがって、同じ映画を異なる座席から何度も見ることで、映画のストーリーへの理解が深まり、ユーザに、同じ映画を複数回鑑賞することへのインセンティブを与えられるようなビジネスモデルを形成することもできる。さらに、選択されたユーザ500にペン型デバイス240を操作させることで、3D映像800にタッチする感覚を付与できる。
また、図示は省略するが、図30の例と同様に、仮想空間座標の中心260に歌手の3D映像を配置してコンサートを行うことができきる。また、仮想空間座標の中心260に配置された3D映像内で、歌手本人がパフォーマンスを行うコンサートを提供することもできる。なお、図30の映画館での鑑賞イメージの一例や本例で使用する表示システムは通常幅が2m以上となるが、特に発明の活用方法は他例と変わらない。
図31は、表示システムの第2の適用例を説明する模式図である。図31は、2台のバス70−1,70−2での次世代団体旅行のイメージの一例を示す。例えば、図31中、(a)に示す一方のバス70−1内で代表者500Xが同乗者であるユーザ500に挨拶をする際には、(b)に示す他方のバス70−2では、既存の技術によれば音声や映像をシェアできるに過ぎない。しかし、一実施例における表示システムを用いれば、代表者500Xが乗っていない他方のバス70−2内の表示デバイスに映像を表示して代表者500Xの3D映像を提供することで、代表者500Xは多数のユーザ500に対して臨場感のある挨拶を行うことができる。また、バス70−2の停車時であれば、例えばフロントガラス71に設けた表示デバイスに映像を表示することで3D映像を提供できる。さらに、他方のバス70−2のガイド500Yがペン型デバイス240を用いてある場所の建築物等の紹介する場合、ガイド500Yによる紹介を、バス70−1内ではガイド500Yの3D映像を表示することで、2台のバス70−1,70−2の間で一人のガイド500Yによる紹介をシェアすることができる。
図32は、表示システムの第3の適用例を説明する模式図である。図32は、物作りの一例を示す。この例では、例えば、職人500−1が用いる表示デバイス250−1を含む表示システムが、ネットワークの一例であるインターネット900を介して、弟子500−2の表示デバイス250−2を含む表示システム及び弟子500−3の表示デバイス250−3を含む表示システムと通信可能に接続されている。職人500−1は、例えば伝統的なお面の模倣を作成する。職人500−1の技術を習得するには、弟子500−2,500−3は、職人500−1と物理的に近い位置に居ることが望ましい。しかし、一実施例における表示システムを用いて職人500−1の作業をインターネット900を介して複数の弟子500−2,500−3がシェアすれば、職人500−1がお面の模倣のどの部分をどのように作っていくのか等を、職人500−1がコンピュータ支援設計(CAD:Computer Aided Design)に精通していなくても、職人500−1によるお面の模倣の3D映像700へのペン型デバイス240の操作で複数の弟子500−2,500−3に伝えることが可能になる。弟子500−2,500−3の表示システムでは、職人500−1の表示システムで提供されているのと同じお面の模倣の3D映像700が提供されるので、各弟子500−2,500−3はペン型デバイス240を操作して、職人500−1による作業を真似て技術を学習したり、技術を習得したりできる。
また、完成したお面の模倣の3D映像700の形状を、例えば3Dプリンタ(図示せず)で出力することで、多地点における複数の弟子500−2,500−3が、お面の模倣の完成品を同時にシェアできる。このように、例えば職人500−1の手及びペン型デバイス240をコンピュータ1の計算機能や基地局3によりバーチャルに生成して表示することで、3D映像700により職人500−1の技術をよりわかりやすく複数の弟子500−2,500−3に伝達できる。
上記の各実施例によれば、例えば幅が2m以下程度の実用的なサイズで、互いに異なる4箇所以上の多数の位置から同時に3D映像を鑑賞可能とすることができる。また、上記の各実施例によれば、3D−UIに、ユーザが3D映像にタッチする感覚を付与できる。さらに、上記の各実施例によれば、奥行き2次元以上の立体性の高い3D映像を表示(又は、投影)可能であり、高画質の3D映像を提供できる。
なお、言うまでもなく、カメラによる撮像データ等の、3D映像の元になる映像データは、画像データと音声データとを含んでも良い。この場合、互いに異なる多数の位置から3D映像を、音声と共に、同時に視聴可能とすることができる。この場合、図1に示すコンピュータ1に、音声出力用のスピーカ(図示せず)を接続すれば良い。
以上の実施例を含む実施形態に関し、更に以下の付記を開示する。
(付記1)
曲率が1次元又は2次元に付与されている曲面形状を有すると共に、マトリクス状に配置された複数の曲面表示素子を有する曲面表示部と、
前記複数の曲面表示素子に近接して配置された、対応する複数の偏光変調素子を有し、前記複数の表示素子が表示する映像が左目用映像である場合と、右目用映像である場合とで、前記複数の偏光変調素子により前記表示する映像を互いに異なる偏光方向に制御する偏光変調部と、
前記複数の偏光変調素子に近接して配置された、対応する複数の視野角制御素子を有し、各視野角制御素子は対応する曲面表示素子の法線方向から外れる程、光線透過率が減少するように視野角を制限する視野角制御部と、
を備え、
付与する位相差が右目と左目で異なるパッシブ型の3次元鑑賞用眼鏡を通し、前記曲面表示部に交互に表示される前記左目用映像と前記右目用映像を前記偏光変調部及び前記視野角制御部を介して見た場合に、残像効果により、前記曲面表示部の曲率中心で3次元映像が発現することを特徴とする、表示デバイス。
(付記2)
前記視野角制御部の各視野角制御素子は、前記曲率中心に向かう光線の透過率が最大となる視野角を有することを特徴とする、付記1記載の表示デバイス。
(付記3)
前記視野角制御部は、視野角を制御するルーバー部を、一対の透明フィルムで挟んだ構造を有することを特徴とする、付記1又は2記載の表示デバイス。
(付記4)
前記視野角制御部は、レンズ群を有することを特徴とする、付記1又は2記載の表示デバイス。
(付記5)
前記曲面表示部は、前記曲率が前記1次元に付与されている円筒形状を有し、
前記偏光変調部の偏光方向及び前記視野角制御部の視野角は、前記曲面表示部の曲率半径を規定する軸と当該軸と直交する軸の2軸で規定されることを特徴とする、付記1乃至4のいずれか1項記載の表示デバイス。
(付記6)
前記曲面表示部は、前記曲率が前記2次元に付与されている球面形状を有し、
前記偏光変調部の偏光方向及び前記視野角制御部の視野角は、前記曲率中心から前記球面形状に下ろした垂線を軸とした円の接線方向と、前記接線方向と直交する方向の2軸で規定されることを特徴とする、付記1乃至4のいずれか1項記載の表示デバイス。
(付記7)
曲率が1次元又は2次元に付与されている曲面形状を有する曲面表示部のマトリクス状に配置された複数の曲面表示素子により、左目用映像と右目用映像を交互に表示し、
前記複数の曲面表示素子に近接して配置された、対応する複数の偏光変調素子を有する偏光変調部により、前記複数の表示素子が表示する映像が左目用映像である場合と、右目用映像である場合とで、前記複数の偏光変調素子により前記表示する映像を互いに異なる偏光方向に制御し、
前記複数の偏光変調素子に近接して配置された、対応する複数の視野角制御素子を有する視野角制御部の各視野角制御素子により、対応する曲面表示素子の法線方向から外れる程、光線透過率が減少するように視野角を制限し、
付与する位相差が右目と左目で異なるパッシブ型の3次元鑑賞用眼鏡を通し、前記曲面表示部に交互に表示される前記左目用映像と前記右目用映像を前記偏光変調部及び前記視野角制御部を介して見た場合に、残像効果により、前記曲面表示部の曲率中心で3次元映像が発現することを特徴とする、表示方法。
(付記8)
前記表示デバイスの画面全体に相当する左目用映像と、前記画面全体に相当する右目用映像とを一定周期で交互に切り換えて表示し、
前記曲率が1次元に付与されている場合は奥行き2次元の3次元映像を発現し、前記曲率が2次元に付与されている場合は奥行き3次元の3次元映像を発現することを特徴とする、付記7記載の表示方法。
(付記9)
前記表示デバイスの一端から他端に向かって、前記視野角制御部の視野角制御素子の視野角と同程度の幅の映像をスクロールさせながら表示し、
前記曲率が1次元に付与されている場合は奥行き2次元の3次元映像を発現し、前記曲率が2次元に付与されている場合は奥行き3次元の3次元映像を発現することを特徴とする、付記7記載の表示方法。
(付記10)
同じ映像をスクロールさせて前記3次元映像を発現し、
前記表示デバイスと対向する、前記曲率中心とした仮想円弧上の各鑑賞位置にかかわらず、前記パッシブ型の3次元鑑賞用眼鏡を通して同じに見える3次元映像を発現することを特徴とする、付記9記載の表示方法。
(付記11)
前記曲率が2次元に付与されている場合は、
前記クロストークが生じないような順番で前記映像をスクロールし、
奥行き3次元の3次元映像を発現することを特徴とする、付記10記載の表示方法。
(付記12)
前記表示デバイスの一端から他端に向かって、前記視野角制御部の視野角制御素子の視野角と同程度の幅の、前記表示デバイスの画面全体の互いに異なる映像部分をスクロールさせながら表示し、
前記曲率が1次元に付与されている場合は奥行き2次元の3次元映像を発現し、前記曲率が2次元に付与されている場合は奥行き3次元の3次元映像を発現することを特徴とする、付記7記載の表示方法。
(付記13)
ペン型デバイスが発光する複数の光を、前記表示デバイスに設けられた複数の検知デバイスで検知した検知結果に基づき、制御系により前記ペン型デバイスの位置と角度を推定し、
前記ペン型デバイスの操作で、前記3D映像にタッチする感覚を付与することを特徴とする、付記7乃至12のいずれか1項記載の表示方法。
(付記14)
表示デバイスと、
前記表示デバイスに左目用映像と右目用映像を交互に表示するように制御する制御系と、
を備え、
前記表示デバイスは、
曲率が1次元又は2次元に付与されている曲面形状を有すると共に、マトリクス状に配置された複数の曲面表示素子を有する曲面表示部と、
前記複数の曲面表示素子に近接して配置された、対応する複数の偏光変調素子を有し、前記複数の表示素子が表示する映像が左目用映像である場合と、右目用映像である場合とで、前記複数の偏光変調素子により前記表示する映像を互いに異なる偏光方向に制御する偏光変調部と、
前記複数の偏光変調素子に近接して配置された、対応する複数の視野角制御素子を有し、各視野角制御素子は対応する曲面表示素子の法線方向から外れる程、光線透過率が減少するように視野角を制限する視野角制御部と、
を備え、
付与する位相差が右目と左目で異なるパッシブ型の3次元鑑賞用眼鏡を通し、前記曲面表示部に交互に表示される前記左目用映像と前記右目用映像を前記偏光変調部及び前記視野角制御部を介して見た場合に、残像効果により、前記曲面表示部の曲率中心で3次元映像が発現することを特徴とする、表示システム。
(付記15)
前記制御系は、前記表示デバイスの画面全体に相当する左目用映像と、前記画面全体に相当する右目用映像とを一定周期で交互に切り換えて表示するように前記制御デバイスを制御し、
前記曲率が1次元に付与されている場合は奥行き2次元の3次元映像を発現し、前記曲率が2次元に付与されている場合は奥行き3次元の3次元映像を発現することを特徴とする、付記14記載の表示システム。
(付記16)
前記制御系は、前記表示デバイスの一端から他端に向かって、前記視野角制御部の視野角制御素子の視野角と同程度の幅の映像をスクロールしながら表示するように前記表示デバイスを制御し、
前記曲率が1次元に付与されている場合は奥行き2次元の3次元映像を発現し、前記曲率が2次元に付与されている場合は奥行き3次元の3次元映像を発現することを特徴とする、付記14記載の表示システム。
(付記17)
前記制御系は、同じ映像をスクロールするように前記表示デバイスを制御して前記3次元映像を発現し、
前記表示デバイスと対向する、前記曲率中心とした仮想円弧上の各鑑賞位置にかかわらず、前記パッシブ型の3次元鑑賞用眼鏡を通して同じに見える3次元映像を発現することを特徴とする、付記16記載の表示システム。
(付記18)
前記曲率が2次元に付与されている場合、前記制御系は、前記クロストークが生じないような順番で前記映像をスクロールするように前記表示デバイスを制御し、奥行き3次元の3次元映像を発現することを特徴とする、付記17記載の表示システム。
(付記19)
前記制御系は、前記表示デバイスの一端から他端に向かって、前記視野角制御部の視野角制御素子の視野角と同程度の幅の、前記表示デバイスの画面全体の互いに異なる映像部分をスクロールしながら表示するように前記表示デバイスを制御し、
前記曲率が1次元に付与されている場合は奥行き2次元の3次元映像を発現し、前記曲率が2次元に付与されている場合は奥行き3次元の3次元映像を発現することを特徴とする、付記14記載の表示システム。
(付記20)
前記制御系は、ペン型デバイスが発光する複数の光を前記表示デバイスに設けられた複数の検知デバイスで検知した検知結果に基づき、前記ペン型デバイスの位置と角度を推定し、
前記ペン型デバイスの操作で、前記3D映像にタッチする感覚を付与することを特徴とする、付記14乃至19のいずれか1項記載の表示システム。
以上、開示の表示デバイス、表示方法及び表示システムを実施例により説明したが、本発明は上記実施例に限定されるものではなく、本発明の範囲内で種々の変形及び改良が可能であることは言うまでもない。