JP7339837B2

JP7339837B2 - 表示装置及び表示方法

Info

Publication number: JP7339837B2
Application number: JP2019181699A
Authority: JP
Inventors: 渉山田
Original assignee: NTT Docomo Inc
Current assignee: NTT Docomo Inc
Priority date: 2019-10-01
Filing date: 2019-10-01
Publication date: 2023-09-06
Anticipated expiration: 2039-10-01
Also published as: JP2021056462A

Description

本発明は、表示装置及び表示方法に関する。

近年、ＡＲ（Augmented Reality）ゴーグル及びＶＲ（Virtual Reality）ゴーグルが提案されている。図１は、光学シースルー方式のＡＲゴーグルの例である（例えば特許文献１）。図２は、ビデオシースルー方式が可能なＶＲゴーグルの例である（例えば特許文献２）。

特開２０１６－２１２１５０号公報特表２０１９－５０２１９３号公報

しかしながら、ＡＲゴーグルとＶＲゴーグルとは、使い分けられているのが現状である。例えば、ビデオシースルー型のＶＲゴーグルをＡＲゴーグルとして使用する場合、映像の解像度、レイテンシ及びＶＲ酔い等により、日常的に使用することは困難である。

本発明は上記の点に鑑みてなされたものであり、ＡＲ（Augmented Reality）ゴーグルとＶＲ（Virtual Reality）ゴーグルをひとつの装置に統合することを目的とする。

開示の技術によれば、ディスプレーによる画像と、現実の風景とを合成して表示する表示装置であって、前記ディスプレーから照射される光を反射するビームスプリッタと、現実の風景が前記ビームスプリッタを透過する前に通過する偏光フィルムと、前記ビームスプリッタから射出される光が通過する液晶板と、前記液晶板を駆動することで、現実の風景が前記液晶板を透過する度合いを制御する制御部とを有する表示装置が提供される。

開示の技術によれば、ＡＲ（Augmented Reality）ゴーグルとＶＲ（Virtual Reality）ゴーグルをひとつの装置に統合することができる。

ＡＲゴーグルの例を示す図である。ＶＲゴーグルの例を示す図である。本発明の実施の形態における表示装置１０のハードウェア構成例を示す図である。本発明の実施の形態における表示装置１０の機能構成例を示す図である。本発明の実施の形態における表示装置１０の外観を示す図である。本発明の実施の形態における表示装置１０のＡＲモードの例を示す図である。本発明の実施の形態における表示装置１０のＶＲモードの例を示す図である。本発明の実施の形態における表示装置１０のＡＲモードを説明するための図である。本発明の実施の形態における表示装置１０のＶＲモードを説明するための図である。

以下、図面を参照して本発明の実施の形態を説明する。なお、以下で説明する実施の形態は一例であり、本発明が適用される実施の形態は、以下の実施の形態に限られない。

図１に示されるＡＲゴーグルは、光学シースルー方式であり、現実の風景と、映像とを重畳して使用者に表示する。図２に示されるＶＲゴーグルは、ビデオシースルー方式が可能な没入型ＶＲゴーグルである。しかしながら、ビデオシースルー型のＶＲゴーグルをＡＲゴーグルとして使用する場合、映像の解像度、レイテンシ及びＶＲ酔い等により、日常的に使用することは困難である。

ＡＲゴーグルと、ＶＲゴーグルとの技術的な差分は、現実の風景を表示するかしないかである。そこで、光学シースルー方式によるＡＲゴーグルと、現実の風景を表示しないＶＲゴーグルとを、ひとつの装置として統合する表示装置を提案する。

ここで、例えば、調光ガラスを使用して、現実の風景を見せるモード又は現実の風景を見せないモードを切り替える装置が検討されている。また、例えば、液晶パネルを筐体の外側に配置して現実の風景を遮蔽する装置が検討されている。しかしながら、いずれも装置が大型化又は複雑化してコストが高くなることが想定される。

図３は、本発明の実施の形態における表示装置１０のハードウェア構成例を示す図である。例えば、本発明の実施の形態における表示装置１０は、本開示の表示方法に係る処理を行うコンピュータとして機能してもよい。図３は、本開示の一実施の形態に係る表示装置１０のハードウェア構成の一例を示す図である。上述の表示装置１０は、物理的には、プロセッサ１００１、記憶装置１００２、補助記憶装置１００３、通信装置１００４、入力装置１００５、出力装置１００６、バス１００７などを含むコンピュータ装置として構成されてもよい。

なお、以下の説明では、「装置」という文言は、回路、デバイス、ユニット等に読み替えることができる。表示装置１０のハードウェア構成は、図に示した各装置を１つ又は複数含むように構成されてもよいし、一部の装置を含まずに構成されてもよい。

表示装置１０における各機能は、プロセッサ１００１、記憶装置１００２等のハードウェア上に所定のソフトウェア（プログラム）を読み込ませることによって、プロセッサ１００１が演算を行い、通信装置１００４による通信を制御したり、記憶装置１００２及び補助記憶装置１００３におけるデータの読み出し及び書き込みの少なくとも一方を制御したりすることによって実現される。

プロセッサ１００１は、例えば、オペレーティングシステムを動作させてコンピュータ全体を制御する。プロセッサ１００１は、周辺装置とのインタフェース、制御装置、演算装置、レジスタ等を含む中央処理装置（ＣＰＵ：Central Processing Unit）で構成されてもよい。例えば、後述する制御部１０１等は、プロセッサ１００１によって実現されてもよい。

また、プロセッサ１００１は、プログラム（プログラムコード）、ソフトウェアモジュール又はデータ等を、補助記憶装置１００３及び通信装置１００４の少なくとも一方から記憶装置１００２に読み出し、これらに従って各種の処理を実行する。プログラムとしては、上述の実施の形態において説明した動作の少なくとも一部をコンピュータに実行させるプログラムが用いられる。例えば、図４に示す表示装置１０の制御部１０１は、記憶装置１００２に格納され、プロセッサ１００１で動作する制御プログラムによって実現されてもよい。上述の各種処理は、１つのプロセッサ１００１によって実行される旨を説明してきたが、２以上のプロセッサ１００１により同時又は逐次に実行されてもよい。プロセッサ１００１は、１以上のチップによって実装されてもよい。なお、プログラムは、電気通信回線を介してネットワークから送信されてもよい。

記憶装置１００２は、コンピュータ読み取り可能な記録媒体であり、例えば、ＲＯＭ（Read Only Memory）、ＥＰＲＯＭ（Erasable Programmable ROM）、ＥＥＰＲＯＭ（Electrically Erasable Programmable ROM）、ＲＡＭ（Random Access Memory）等の少なくとも１つによって構成されてもよい。記憶装置１００２は、レジスタ、キャッシュ、メインメモリ（主記憶装置）等と呼ばれてもよい。記憶装置１００２は、本開示の一実施の形態に係る通信方法を実施するために実行可能なプログラム（プログラムコード）、ソフトウェアモジュール等を保存することができる。

補助記憶装置１００３は、コンピュータ読み取り可能な記録媒体であり、例えば、ＣＤ－ＲＯＭ（Compact Disc ROM）等の光ディスク、ハードディスクドライブ、フレキシブルディスク、光磁気ディスク（例えば、コンパクトディスク、デジタル多用途ディスク、Ｂｌｕ－ｒａｙ（登録商標）ディスク）、スマートカード、フラッシュメモリ（例えば、カード、スティック、キードライブ）、フロッピー（登録商標）ディスク、磁気ストリップ等の少なくとも１つによって構成されてもよい。上述の記録媒体は、例えば、記憶装置１００２及び補助記憶装置１００３の少なくとも一方を含むデータベース、サーバその他の適切な媒体であってもよい。

通信装置１００４は、有線ネットワーク及び無線ネットワークの少なくとも一方を介してコンピュータ間の通信を行うためのハードウェア（送受信デバイス）であり、例えばネットワークデバイス、ネットワークコントローラ、ネットワークカード、通信モジュールなどともいう。通信装置１００４は、例えば周波数分割複信（ＦＤＤ：Frequency Division Duplex）及び時分割複信（ＴＤＤ：Time Division Duplex）の少なくとも一方を実現するために、高周波スイッチ、デュプレクサ、フィルタ、周波数シンセサイザなどを含んで構成されてもよい。例えば、送受信アンテナ、アンプ部、送受信部、伝送路インターフェース等は、通信装置１００４によって実現されてもよい。送受信部は、送信部と受信部とで、物理的に、または論理的に分離された実装がなされてもよい。

入力装置１００５は、外部からの入力を受け付ける入力デバイス（例えば、キーボード、マウス、マイクロフォン、スイッチ、ボタン、センサ等）である。出力装置１００６は、外部への出力を実施する出力デバイス（例えば、ディスプレイ、スピーカー、LEDランプ等）である。なお、入力装置１００５及び出力装置１００６は、一体となった構成（例えば、タッチパネル）であってもよい。

また、プロセッサ１００１及び記憶装置１００２等の各装置は、情報を通信するためのバス１００７によって接続される。バス１００７は、単一のバスを用いて構成されてもよいし、装置間ごとに異なるバスを用いて構成されてもよい。

また、表示装置１０は、マイクロプロセッサ、デジタル信号プロセッサ（ＤＳＰ：Digital Signal Processor）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＰＬＤ（Programmable Logic Device）、ＦＰＧＡ（Field Programmable Gate Array）等のハードウェアを含んで構成されてもよく、当該ハードウェアにより、各機能ブロックの一部又は全てが実現されてもよい。例えば、プロセッサ１００１は、これらのハードウェアの少なくとも１つを用いて実装されてもよい。

図４は、本発明の実施の形態における表示装置１０の機能構成例を示す図である。図４に示されるように、表示装置１０は、制御部１０１、入力部１０２、検知部１０３及び記憶部１０４を有する。図４に示される機能構成は一例に過ぎない。本発明の実施の形態に係る動作を実行できるのであれば、機能区分及び機能部の名称はどのようなものでもよい。

制御部１０１は、表示装置１０のＡＲモードとＶＲモードとを切り替える制御を行う機能を有する。制御部１０１は、眼前の液晶板の電圧を制御して、偏光状態を切り替える。すなわち、制御部１０１は、偏光状態を切り替えることにより、現実の風景を表示するかしないかを設定することができる。また、制御部１０１は、現実の風景の透過度を段階的に切り替えてもよい。例えば、制御部１０１は、現実の風景の透過度を０％、２５％、５０％、７５％又は１００％のように切り替えてもよい。現実の風景の透過度０％は、ＶＲモードに対応し、現実の風景の透過度１００％は、ＡＲモードに対応する。

入力部１０２は、使用者からＡＲモードとＶＲモードとを切り替えることを示す入力を受け付ける機能を有する。例えば、入力部１０２が、使用者からＡＲモードとＶＲモードとを切り替えることを示す入力を受け付けた場合、制御部１０１は、ＡＲモードとＶＲモードとを切り替える。入力部１０２は、入力装置１００５から構成されてもよい。

検知部１０３は、ディスプレー２０となるスマートフォンの通知又は周囲の環境の変化を検知する機能を有する。例えば、検知部１０３は、スマートフォンからＡＲモード又はＶＲモードが指定される通知を検知してもよい。検知部１０３が、当該通知を検知した場合、制御部１０１は、指定されたＡＲモード又はＶＲモードに切り替えてもよい。例えば、検知部１０３は、人物等が接近していることを検知してもよい。検知部１０３が、当該接近を検知した場合、制御部１０１は、ＡＲモードに切り替えてもよい。また、例えば、検知部１０３は、周囲の明るさが大きく変化したことを検知してもよい。検知部１０３が、当該変化を検知した場合、制御部１０１は、ＡＲモード又はＶＲモードに切り替えてもよい。検知部１０３は、入力装置１００５から構成されてもよい。

記憶部１０４は、各機能部の動作に必要な情報を記憶する。例えば、制御部１０１が現実の風景の透過度を切り替える値を記憶してもよい。また、例えば、検知部１０３が検知するイベントに係る設定を記憶してもよい。記憶部１０４は、記憶装置１００２又は補助記憶装置１００３から構成されてもよい。

図５は、本発明の実施の形態における表示装置１０の外観を示す図である。図５に示されるように、本発明の実施の形態における表示装置１０は、筐体そのものを偏光フィルムで覆う構成を有する。さらに、表示装置１０は、眼前に配置される液晶板に加える電圧を制御することで、現実の風景の透過度を変更することができる。すなわち、表示装置１０は、ＡＲモードでは現実の風景の透過度を１００％とし、ＶＲモードでは現実の風景の透過度を０％とする。必要に応じて、中間階調となる透過度が使用されてもよい。

図５に示される構成によって、表示装置１０は、使用者の目の近くに液晶板を配置することで、容易に広い視野角を得ることができる。また、表示装置１０は、偏光フィルムと液晶板のみで現実の風景の透過度を制御するため、安価に構成可能である。また、表示装置１０は、柔軟な偏光フィルムを用いるため、デザインの自由度が高くなる。

図６は、本発明の実施の形態における表示装置１０のＡＲモードの例を示す図である。図６に示されるように、表示装置１０のＡＲモードにおいて、映像表示に加えて、外部の風景が透過して使用者に見える。なお、ＡＲモードにおいて、必要に応じて、中間階調となる透過度が使用されてもよい。

図７は、本発明の実施の形態における表示装置１０のＶＲモードの例を示す図である。図７に示されるように、表示装置１０のＶＲモードにおいて、映像表示のみが使用者に見え、外部の風景は使用者に見えない。

図８は、本発明の実施の形態における表示装置１０のＡＲモードの構成例を説明するための図である。図８に示されるように、表示装置１０は、ミラー１１、ビームスプリッタ１２、偏光フィルム１３、レンズ１４及び液晶板１５を有し、ディスプレー２０が装着される。ディスプレー２０は、別途用意されるスマートフォンであってもよいし、表示装置１０に備え付けられる一部であってもよい。なお、ビームスプリッタ１２は、ハーフミラーであってもよい。

偏光フィルム１３と、液晶板１５は、液晶板１５に電圧が加わっていない場合、偏光の方向が平行になるようにする。すなわち、液晶板１５に電圧が加わっていない場合、現実の風景は、偏光フィルム１３、ビームスプリッタ１２及び液晶板１５を透過して眼球から見ることができる。一方、ディスプレー２０が表示する映像は、ミラー１１及びレンズ１４を通り、ビームスプリッタ１２で反射され、液晶板１５を透過し、眼球に届く。したがって、表示装置１０は、映像と現実の風景を合成して使用者に表示することができる。

図９は、本発明の実施の形態における表示装置１０のＶＲモードの構成例を説明するための図である。図９は、表示装置１０において液晶板１５に電圧が加わっている状態を模式的に示している。液晶板１５に電圧が加わっている場合、偏光フィルム１３と、液晶板１５とは、偏光の方向が垂直になるようにする。すなわち、液晶板１５に電圧が加わっている場合、現実の風景は、偏光フィルム１３及びビームスプリッタ１２を透過するが、偏光フィルム１３と液晶板１５の偏光の方向が垂直であるため、眼球に到達しない。一方、ディスプレー２０が表示する映像は、ミラー１１及びレンズ１４を通り、ビームスプリッタ１２で反射され、液晶板１５を透過し、眼球に届く。したがって、表示装置１０は、映像のみを使用者に表示することができる。

上述の本発明の実施の形態によれば、表示装置１０は、使用者からの入力、スマートフォンからの通知又は周囲の環境の検知結果に応じて、偏光フィルムで覆われた筐体の眼前に配置される液晶を駆動することで、ＡＲモードとＶＲモードとを切り替えることができる。

すなわち、ＡＲ（Augmented Reality）ゴーグルとＶＲ（Virtual Reality）ゴーグルをひとつの装置に統合することができる。

（実施の形態のまとめ）
以上、説明したように、本発明の実施の形態によれば、ディスプレーによる画像と、現実の風景とを合成して表示する表示装置であって、前記ディスプレーから照射される光を反射するビームスプリッタと、現実の風景が前記ビームスプリッタを透過する前に通過する偏光フィルムと、前記ビームスプリッタから射出される光が通過する液晶板と、前記液晶板を駆動することで、現実の風景が前記液晶板を透過する度合いを制御する制御部とを有する表示装置が提供される。

上記の構成により、表示装置１０は、使用者からの入力、スマートフォンからの通知又は周囲の環境の検知結果に応じて、偏光フィルムで覆われた筐体の眼前に配置される液晶を駆動することで、ＡＲモードとＶＲモードとを切り替えることができる。すなわち、ＡＲ（Augmented Reality）ゴーグルとＶＲ（Virtual Reality）ゴーグルをひとつの装置に統合することができる。

前記ディスプレーは、スマートフォンのディスプレーであってもよい。当該構成により、表示装置１０は、スマートフォン等の外部機器のディスプレーを利用して、ＡＲゴーグル又はＶＲゴーグルを構成することができる。

前記制御部は、前記スマートフォンからの通知、使用者による入力又は周囲の環境の変化に基づいて、前記液晶板を透過する度合いを制御してもよい。当該構成により、表示装置１０は、必要に応じてディスプレーからの映像に加えて現実の風景が表示されるように制御することができる。

また、本発明の実施の形態によれば、ディスプレーによる画像と、現実の風景とを合成して表示する表示方法であって、前記ディスプレーから照射される光をビームスプリッタで反射させ、現実の風景が前記ビームスプリッタを透過する前に偏光フィルムを通過させ、前記ビームスプリッタから射出される光を液晶板に通過させ、前記液晶板を駆動することで、現実の風景が前記液晶板を透過する度合いを制御する制御手順を実行する表示方法が提供される。

（実施形態の補足）
以上、本発明の実施の形態を説明してきたが、開示される発明はそのような実施形態に限定されず、当業者は様々な変形例、修正例、代替例、置換例等を理解するであろう。発明の理解を促すため具体的な数値例を用いて説明がなされたが、特に断りのない限り、それらの数値は単なる一例に過ぎず適切な如何なる値が使用されてもよい。上記の説明における項目の区分けは本発明に本質的ではなく、２以上の項目に記載された事項が必要に応じて組み合わせて使用されてよいし、ある項目に記載された事項が、別の項目に記載された事項に（矛盾しない限り）適用されてよい。機能ブロック図における機能部又は処理部の境界は必ずしも物理的な部品の境界に対応するとは限らない。複数の機能部の動作が物理的には１つの部品で行われてもよいし、あるいは１つの機能部の動作が物理的には複数の部品により行われてもよい。実施の形態で述べた処理手順については、矛盾の無い限り処理の順序を入れ替えてもよい。処理説明の便宜上、表示装置１０は機能的なブロック図を用いて説明されたが、そのような装置はハードウェアで、ソフトウェアで又はそれらの組み合わせで実現されてもよい。本発明の実施の形態に従って表示装置１０が有するプロセッサにより動作するソフトウェアは、ランダムアクセスメモリ（ＲＡＭ）、フラッシュメモリ、読み取り専用メモリ（ＲＯＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、レジスタ、ハードディスク（ＨＤＤ）、リムーバブルディスク、ＣＤ－ＲＯＭ、データベース、サーバその他の適切な如何なる記憶媒体に保存されてもよい。

本明細書で説明した各態様／実施形態の処理手順、シーケンス、フローチャート等は、矛盾の無い限り、順序を入れ替えてもよい。例えば、本開示において説明した方法については、例示的な順序を用いて様々なステップの要素を提示しており、提示した特定の順序に限定されない。

入出力された情報等は特定の場所（例えば、メモリ）に保存されてもよいし、管理テーブルを用いて管理してもよい。入出力される情報等は、上書き、更新、又は追記され得る。出力された情報等は削除されてもよい。入力された情報等は他の装置へ送信されてもよい。

本開示における判定は、１ビットで表される値（０か１か）によって行われてもよいし、真偽値（Boolean：true又はfalse）によって行われてもよいし、数値の比較（例えば、所定の値との比較）によって行われてもよい。

ソフトウェアは、ソフトウェア、ファームウェア、ミドルウェア、マイクロコード、ハードウェア記述言語と呼ばれるか、他の名称で呼ばれるかを問わず、命令、命令セット、コード、コードセグメント、プログラムコード、プログラム、サブプログラム、ソフトウェアモジュール、アプリケーション、ソフトウェアアプリケーション、ソフトウェアパッケージ、ルーチン、サブルーチン、オブジェクト、実行可能ファイル、実行スレッド、手順、機能などを意味するよう広く解釈されるべきである。

また、ソフトウェア、命令、情報などは、伝送媒体を介して送受信されてもよい。例えば、ソフトウェアが、有線技術（同軸ケーブル、光ファイバケーブル、ツイストペア、デジタル加入者回線（ＤＳＬ：Digital Subscriber Line）など）及び無線技術（赤外線、マイクロ波など）の少なくとも一方を使用してウェブサイト、サーバ、又は他のリモートソースから送信される場合、これらの有線技術及び無線技術の少なくとも一方は、伝送媒体の定義内に含まれる。

本開示において説明した情報、信号などは、様々な異なる技術のいずれかを使用して表されてもよい。例えば、上記の説明全体に渡って言及され得るデータ、命令、コマンド、情報、信号、ビット、シンボル、チップなどは、電圧、電流、電磁波、磁界若しくは磁性粒子、光場若しくは光子、又はこれらの任意の組み合わせによって表されてもよい。

なお、本開示において説明した用語及び本開示の理解に必要な用語については、同一の又は類似する意味を有する用語と置き換えてもよい。

本開示において使用する「システム」及び「ネットワーク」という用語は、互換的に使用される。

また、本開示において説明した情報、パラメータなどは、絶対値を用いて表されてもよいし、所定の値からの相対値を用いて表されてもよいし、対応する別の情報を用いて表されてもよい。例えば、無線リソースはインデックスによって指示されるものであってもよい。

本開示において、例えば、英語でのa, an及びtheのように、翻訳により冠詞が追加された場合、本開示は、これらの冠詞の後に続く名詞が複数形であることを含んでもよい。

本開示において、「ＡとＢが異なる」という用語は、「ＡとＢが互いに異なる」ことを意味してもよい。なお、当該用語は、「ＡとＢがそれぞれＣと異なる」ことを意味してもよい。「離れる」、「結合される」などの用語も、「異なる」と同様に解釈されてもよい。

本開示において説明した各態様／実施形態は単独で用いてもよいし、組み合わせて用いてもよいし、実行に伴って切り替えて用いてもよい。また、所定の情報の通知（例えば、「Ｘであること」の通知）は、明示的に行うものに限られず、暗黙的（例えば、当該所定の情報の通知を行わない）ことによって行われてもよい。

以上、本開示について詳細に説明したが、当業者にとっては、本開示が本開示中に説明した実施形態に限定されるものではないということは明らかである。本開示は、請求の範囲の記載により定まる本開示の趣旨及び範囲を逸脱することなく修正及び変更態様として実施することができる。したがって、本開示の記載は、例示説明を目的とするものであり、本開示に対して何ら制限的な意味を有するものではない。

１０表示装置
１１ミラー
１２ビームスプリッタ
１３偏光フィルム
１４レンズ
１５液晶板
２０ディスプレー
１０１制御部
１０２入力部
１０３検知部
１０４記憶部
１００１プロセッサ
１００２記憶装置
１００３補助記憶装置
１００４通信装置
１００５入力装置
１００６出力装置

Claims

ディスプレーによる画像と、現実の風景とを合成して表示する表示装置であって、
前記ディスプレーから照射される光を反射するビームスプリッタと、
現実の風景が前記ビームスプリッタを透過する前に通過する偏光フィルムと、
前記ビームスプリッタから射出される光が通過する液晶板と、
前記液晶板を駆動することで、現実の風景が前記液晶板を透過する度合いを制御する制御部とを有する表示装置。
前記ディスプレーは、スマートフォンのディスプレーである請求項１記載の表示装置。
前記制御部は、前記スマートフォンからの通知、使用者による入力又は周囲の環境の変化に基づいて、前記液晶板を透過する度合いを制御する請求項２記載の表示装置。
ディスプレーによる画像と、現実の風景とを合成して表示する表示方法であって、
前記ディスプレーから照射される光をビームスプリッタで反射させ、
現実の風景が前記ビームスプリッタを透過する前に偏光フィルムを通過させ、
前記ビームスプリッタから射出される光を液晶板に通過させ、
前記液晶板を駆動することで、現実の風景が前記液晶板を透過する度合いを制御する制御手順を実行する表示方法。