JPWO2016013269A1 - 画像表示装置及び画像表示方法、並びにコンピューター・プログラム - Google Patents

Abstract

ビデオ・シースルー方式により周囲の風景を観察可能な、優れた画像表示装置を提供する。ヘッド・マウント・ディスプレイ１００は、認証処理が行なわれている間は、外側カメラ３１２で撮影したビデオ・シースルー画像上に認証画面を重畳して表示するようにしている。したがって、ユーザーは、認証処理の期間もビデオ・シースルー画像で周囲の風景を観察することができる。ユーザーは、屋外で歩行しながらヘッド・マウント・ディスプレイ１００を使用するときであっても、常に自分の周囲の様子が分かるので、安全を確保することができる。

Description

本明細書で開示する技術は、例えば頭部に装着して画像の視聴に利用される画像表示装置及び画像表示方法、並びにコンピューター・プログラムに係り、特に、ビデオ・シースルー方式により周囲の風景を観察可能な画像表示装置及び画像表示方法、並びにコンピューター・プログラムに関する。

頭部又は顔部に装着して画像の視聴に利用される画像表示装置、すなわち、ヘッド・マウント・ディスプレイが知られている。ヘッド・マウント・ディスプレイは、例えば左右の眼毎に画像表示部が配置され、虚像光学系により表示画像の拡大虚像を形成することで、ユーザーは臨場感のある画像を観察することができる。ヘッド・マウント・ディスプレイの人気は極めて高い。今後量産が進めば、携帯電話やスマートフォン、携帯ゲーム機のように普及し、１人が１台のヘッド・マウント・ディスプレイを所持するようになることが想定される。

ヘッド・マウント・ディスプレイは、左右の眼の表示部として、例えば液晶や有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子などからなる高解像度の表示パネルを装備する。また、ヘッド・マウント・ディスプレイを、透過性のタイプと遮光性のタイプに分類することもできる。

透過性のヘッド・マウント・ディスプレイは、着用者は頭部に装着して画像を表示している間も、周囲の風景を観察することができるので（例えば、特許文献１を参照のこと）、屋外での使用時や歩行中の使用時において、ユーザーは障害物との衝突などの危険から回避することができる。

一方、遮光性のヘッド・マウント・ディスプレイは、頭部に着用した際に、着用者の眼を直接覆うように構成され、画像視聴時に没入感が増す。虚像光学系を用いて表示画面を拡大投影して、適当な画角となる拡大虚像としてユーザーに観察させるとともに、ヘッドフォンで多チャンネルを再現すれば、映画館で視聴するような臨場感を再現することができる（例えば、特許文献２を参照のこと）。また、遮光性のヘッド・マウント・ディスプレイにおいても、着用者の前方を撮影できるカメラを内蔵して、撮影して得られる外部画像を表示するビデオ・シースルー方式が知られており、着用者は外部画像を通じて周囲の風景を観察することができる（例えば、特許文献３、４を参照のこと）。なお、ビデオ・シースルーに対し、前者の透過性のヘッド・マウント・ディスプレイは、光学シースルー、又は、単にシースルーと呼ばれる。

ところで、携帯電話やスマートフォン、タブレットなどの多機能端末、パーソナル・コンピューターのように、使用者が個人又は特定のユーザー・グループに限定されるような情報機器においては、使用を開始する際に、暗証番号やパスワードの入力、生体情報などを利用した認証処理を行なうのが一般的である。

例えば、要認証機能のユーザー認証画面を表示し、ユーザーがユーザー認証画面に入力した複数の異なる番号を示す入力番号情報と記憶された暗証番号情報とを照合して、一致すれば要認証機能のロックを解除する、押圧量検知型タッチパネルディスプレイを備える電子機器について提案がなされている（例えば、特許文献５を参照のこと）。

また、ヘッド・マウント・ディスプレイにおいても、個人使用など使用者が限定されてくると、使用を開始する際に認証処理を行なう必要が生じてくる。

例えば、虹彩認証や網膜認証、顔面模写（モーフィング）、骨格認証などの生体認証がなされたことを条件に、ディスプレイでの画像の表示を許可する、眼鏡型又は頭部装着型の画像表示装置について提案がなされている（例えば、特許文献６を参照のこと）。

また、筋電位や眼電位を検出する筋電センサー、眼電センサーを用いて、ユーザーの注視位置や注視点の移動を検出し、ユーザーの注視位置や注視点の移動からなる動作パターンを利用してユーザー判別や認証処理を行なうヘッド・マウント・ディスプレイについて提案がなされている（例えば、特許文献７を参照のこと）。

認証機能が設定されたシステムでは、一般に、使用を開始する際に認証画面が表示され、認証処理を経てからでないと通常のオペレーション画面は表示されない。

遮光性のヘッド・マウント・ディスプレイの場合、ユーザーは両眼が覆われ、視界が奪われ、目隠しされたのと同じ状態になる。内蔵カメラをオンにして撮影画像をビデオ・シースルーにすれば、ユーザーは視界を取り戻し、周囲の風景を観察することができる。ところが、認証機能が設定されていると、認証処理を経てからでないと、ビデオ・シースルー画面を観察することができず、目隠しされた状態となる。パスワードの入力をミスするなど、認証処理が滞ると、長時間視界が失われたままとなり、ユーザーはとても危険な状態になる。

本明細書で開示する技術の目的は、頭部に装着して画像の視聴に利用され、ビデオ・シースルー方式により周囲の風景を観察可能な、優れた画像表示装置及び画像表示方法、並びにコンピューター・プログラムを提供することにある。

また、本明細書で開示する技術の目的は、頭部に装着して画像の視聴に利用され、使用を開始する際に画面を通じて認証処理を好適に行なうことができる、優れた画像表示装置及び画像表示方法、並びにコンピューター・プログラムを提供することにある。

本願は、上記課題を参酌してなされたものであり、請求項１に記載の技術は、
ユーザーの頭部又は顔部に装着して用いられる表示部と、
前記表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部と、
周囲を撮影する撮影部と、
前記表示部で画面表示する画像を制御する制御部と、
を具備し、
前記制御部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記表示部に前記撮影部による撮影画像を表示させる、
画像表示装置である。

本願の請求項２に記載の技術によれば、請求項１に記載の画像表示装置の前記制御部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記表示部を非表示状態から前記撮影画像の表示に切り換えるように構成されている。

本願の請求項３に記載の技術によれば、請求項１又は２のいずれかに記載の画像表示装置は、前記ユーザーを認証する認証処理部をさらに備えている。

本願の請求項４に記載の技術によれば、請求項３に記載の画像表示装置の前記認証処理部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記撮影画像の上に認証画面を表示させるように構成されている。

また、本願の請求項５に記載の技術は、
ユーザーの頭部又は顔部に装着して用いられる表示部と、
前記表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部と、
周囲を撮影する撮影部と、
前記ユーザーを認証する認証処理部と、
前記表示部で画面表示する画像を制御する制御部と、
を具備し、
前記制御部は、前記認証処理部による認証処理中は、前記撮影部による撮影画像の上に認証画面を表示させる、
画像表示装置である。

本願の請求項６に記載の技術によれば、請求項４又は５のいずれかに記載の画像表示装置の前記認証処理部は、認証処理が終了したことに応答して前記認証画面を消すように構成されている。

本願の請求項７に記載の技術によれば、請求項１乃至６のいずれかに記載の画像表示装置は、コンテンツを取得するコンテンツ取得部をさらに備えている。そして、前記制御部は、所定の事象の発生に応じて、前記表示部の表示を前記撮影画像からコンテンツの再生画像に切り換えるように構成されている。

また、本願の請求項８に記載の技術は、
ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出ステップと、
前記ユーザーの周囲の撮影画像を取得する画像取得ステップと、
前記表示部がユーザーの頭部又は顔部に装着されたことを検出したことに応答して、前記表示部に前記撮影画像を表示させる表示ステップと、
を有する画像表示方法である。

また、本願の請求項９に記載の技術は、
ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出ステップと、
前記ユーザーの周囲の撮影画像を取得する画像取得ステップと、
前記撮影画像の上に認証画面を表示させて、前記ユーザーを認証する認証処理ステップと、
を有する画像表示方法である。

また、本願の請求項１０に記載の技術は、
ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部、
前記ユーザーの周囲の撮影画像を取得する画像取得部、
前記表示部がユーザーの頭部又は顔部に装着されたことを検出したことに応答して、前記表示部に前記撮影画像を表示させる表示部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。

また、本願の請求項１１に記載の技術は、
ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部、
前記ユーザーの周囲の撮影画像を取得する画像取得部、
前記撮影画像の上に認証画面を表示させて、前記ユーザーを認証する認証処理部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラムである。

本願の請求項１０、１１に係るコンピューター・プログラムは、コンピューター上で所定の処理を実現するようにコンピューター可読形式で記述されたコンピューター・プログラムを定義したものである。換言すれば、本願の請求項１０、１１に係るコンピューター・プログラムをコンピューターにインストールすることによって、コンピューター上では協働的作用が発揮され、それぞれ本願の請求項８、９に係る画像表示方法と同様の作用効果を得ることができる。

本明細書で開示する技術によれば、頭部に装着して画像の視聴に利用され、使用を開始する際に画面を通じて認証処理を好適に行なうことができる、優れた画像表示装置及び画像表示方法、並びにコンピューター・プログラムを提供することができる。

本明細書で開示する技術によれば、画像表示装置は、ユーザーの頭部又は顔部に装着するとすぐにビデオ・シースルー画像を表示するので、ユーザーを視界が遮られた危険な状態から回避させることができる。

また、本明細書で開示する技術を適用した画像表示装置は、内蔵カメラで周囲の風景を撮影したビデオ・シースルー画像上に認証画面を重畳して表示することができる。したがって、ユーザーは、ビデオ・シースルー画像で周囲の風景を観察しながら認証処理を行なうことができる。ユーザーの眼を覆う頭部装着型の画像表示装置であっても、ユーザーは、常に外界の様子を確認しながら、安全に認証処理を行なうことができるようになる。

なお、本明細書に記載された効果は、あくまでも例示であり、本発明の効果はこれに限定されるものではない。また、本発明が、上記の効果以外に、さらに付加的な効果を奏する場合もある。

本明細書で開示する技術のさらに他の目的、特徴や利点は、後述する実施形態や添付する図面に基づくより詳細な説明によって明らかになるであろう。

図１は、ヘッド・マウント・ディスプレイ１００を頭部に装着しているユーザーを正面から眺めた様子を示した図である。 図２は、図１に示したヘッド・マウント・ディスプレイ１００を着用したユーザーを上方から眺めた様子を示した図である。 図３は、ヘッド・マウント・ディスプレイ１００の内部構成例を示した図である。 図４は、ユーザーが装着した直後にヘッド・マウント・ディスプレイ１００に表示される初期画面を例示した図である。 図５は、ヘッド・マウント・ディスプレイ１００がユーザーの認証処理を行なう際に表示される画面を例示した図である。 図６は、ヘッド・マウント・ディスプレイ１００の画面遷移例を示した図である。 図７は、ヘッド・マウント・ディスプレイ１００の画面遷移例（認証機能が設定されている場合）を示した図である

以下、図面を参照しながら本明細書で開示する技術の実施形態について詳細に説明する。

図１には、本明細書で開示する技術を適用したヘッド・マウント・ディスプレイ１００を頭部に装着しているユーザーを正面から眺めた様子を示している。

ヘッド・マウント・ディスプレイ１００は、ユーザーが頭部又は顔部に装着した際にユーザーの眼を直接覆い、画像視聴中のユーザーに没入感を与えることができる。また、シースルーのタイプとは相違し、ヘッド・マウント・ディスプレイ１００を着用したユーザーは現実世界の風景を直接眺めることはできない。但し、ユーザーの視線方向の風景を撮影する外側カメラ３１２を装備し、その撮像画像を表示することにより、ユーザーは間接的に現実世界の風景を眺める（すなわち、ビデオ・シースルーで風景を表示する）ことができる。勿論、ビデオ・シースルー画像に対し、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：拡張現実感）画像などの仮想的な表示画像を重ね合わせて見せることができる。また、表示画像は、外側（すなわち他人）からは見えないので、情報表示に際してプライバシーが守られ易い。

図１に示すヘッド・マウント・ディスプレイ１００は、帽子形状に類似した構造体であり、着用したユーザーの左右の眼を直接覆うように構成されている。ヘッド・マウント・ディスプレイ１００本体の内側の左右の眼に対向する位置には、ユーザーが観察する表示パネル（図１では図示しない）が配設されている。表示パネルは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイや、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。

ヘッド・マウント・ディスプレイ１００本体前面のほぼ中央には、周囲画像（ユーザーの視界）入力用の外側カメラ３１２が設置されている。また、ヘッド・マウント・ディスプレイ１００本体の左右の両端付近にそれぞれマイクロフォン１０３Ｌ、１０３Ｒが設置されている。左右ほぼ対称的にマイクロフォン１０３Ｌ、１０３Ｒを持つことで、中央に定位した音声（ユーザーの声）だけを認識することで、周囲の雑音や他人の話声と分離することができ、例えば音声入力による操作時の誤動作を防止することができる。

また、ヘッド・マウント・ディスプレイ１００本体の外側には、ユーザーが指先などを使ってタッチ入力することができるタッチパネル３１５が配設されている。図示の例では、左右一対のタッチパネル３１５を備えているが、単一又は３以上のタッチパネル３１５を備えていてもよい。

図２には、図１に示したヘッド・マウント・ディスプレイ１００を着用したユーザーを上方から眺めた様子を示している。図示のヘッド・マウント・ディスプレイ１００は、ユーザーの顔面と対向する側面に、左眼用及び右眼用の表示パネル１０４Ｌ、１０４Ｒを持つ。表示パネル１０４Ｌ、１０４Ｒは、例えば有機ＥＬ素子や液晶ディスプレイなどのマイクロ・ディスプレイや網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される。表示パネル１０４Ｌ、１０４Ｒの表示画像は、虚像光学部１０１Ｌ、１０１Ｒを通過するにより拡大虚像としてユーザーに観察される。また、眼の高さや眼幅にはユーザー毎に個人差があるため、着用したユーザーの眼と左右の各表示系とを位置合わせする必要がある。図２に示す例では、右眼用の表示パネルと左眼用の表示パネルの間に眼幅調整機構１０５を装備している。

図３には、ヘッド・マウント・ディスプレイ１００の内部構成例を示している。以下、各部について説明する。

制御部３０１は、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３０１ＡやＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３０１Ｂを備えている。ＲＯＭ３０１Ａ内には、制御部３０１で実行するプログラム・コードや各種データを格納している。制御部３０１は、ＲＡＭ３０１Ｂへロードしたプログラムを実行することで、画像の表示制御を始め、ヘッド・マウント・ディスプレイ１００全体の動作を統括的にコントロールする。

なお、ＲＯＭ３０１Ａに格納するプログラムとして、使用の開始時に実行する認証処理プログラム、外側カメラ３１２で撮影したシースルー画像や再生動画像を画面表示する表示制御プログラムを挙げることができる。また、ＲＯＭ３０１Ａに格納するデータとして、当該ヘッド・マウント・ディスプレイ１００に固有の識別情報、当該ヘッド・マウント・ディスプレイ１００を使用するユーザーを認証するための認証情報（例えば、暗証番号やパスワード、生体情報）などのユーザー属性情報などを挙げることができる。

入力インターフェース（ＩＦ）部３０２は、キーやボタン、スイッチなど、ユーザーが入力操作を行なう１以上の操作子（いずれも図示しない）を備え、操作子を介したユーザーの指示を受け付けて、制御部３０１に出力する。また、入力操作部３０２は、リモコン受信部３０３で受信したリモコン・コマンドからなるユーザーの指示を受け付けて、制御部３０１に出力する。

また、入力インターフェース（ＩＦ）部３０２は、ヘッド・マウント・ディスプレイ１００本体の外側に配設されているタッチパネル３１５に対してユーザーが指先でタッチ操作を行なうと、タッチされた指先位置の座標データなどの入力情報を制御部３０１に出力する。例えば、ヘッド・マウント・ディスプレイ１００本体の前面で、ちょうど表示部３０９の表示画像（虚像光学部３１０越しに観察される拡大虚像）の背面にタッチパネル３１５を配置すると、ユーザーは表示画像上を指先で触れるような感覚でタッチ操作を行なうことができる。

状態情報取得部３０４は、当該ヘッド・マウント・ディスプレイ１００本体、又は当該ヘッド・マウント・ディスプレイ１００を装着したユーザーの状態情報を取得する機能モジュールである。状態情報取得部３０４は、自ら状態情報を検出するための各種センサーを装備していてもよいし、これらのセンサー類の一部又は全部を備えた外部機器（例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末）から通信部３０５（後述）を介して状態情報を取得するようにしてもよい。

状態情報取得部３０４は、ユーザーの頭部動作を追跡するために、例えばユーザーの頭部の位置及び姿勢の情報又は姿勢の情報を取得する。ユーザーの頭部動作を追跡するために、状態情報取得部３０４は、例えば３軸ジャイロ・センサー、３軸加速度センサー、３軸地磁気センサーの合計９軸を検出可能なセンサーとする。また、状態情報取得部３０４は、ＧＰＳ（Ｇｌｏｂａｌ Ｐｏｓｉｔｉｏｎｉｎｇ Ｓｙｓｔｅｍ）センサー、ドップラー・センサー、赤外線センサー、電波強度センサーなどのいずれか１つ又は２以上のセンサーをさらに組み合わせて用いてもよい。また、状態情報取得部３０４は、位置姿勢情報の取得に、携帯電話基地局情報やＰｌａｃｅＥｎｇｉｎｅ（登録商標）情報（無線ＬＡＮアクセスポイントからの電測情報）など、各種インフラストラクチャーから提供される情報をさらに組み合わせて用いるようにしてもよい。図３に示す例では、頭部動作追跡のための状態取得部３０４は、ヘッド・マウント・ディスプレイ１００に内蔵されるが、ヘッド・マウント・ディスプレイ１００に外付けされるアクセサリー部品などで構成するようにしてもよい。後者の場合、外付け接続される状態取得部３０４は、頭部の姿勢情報を例えば回転マトリックスの形式で表現し、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信などの無線通信やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）のような高速な有線インフェース経由でヘッド・マウント・ディスプレイ１００本体に送信する。

また、状態情報取得部３０４は、上述したユーザーの頭部動作の追跡の他に、当該ヘッド・マウント・ディスプレイ１００を装着したユーザーの状態情報として、例えば、ユーザーの作業状態（ヘッド・マウント・ディスプレイ１００の装着の有無）や、ユーザーの行動状態（静止、歩行、走行などの移動状態、手や指先によるジェスチャー、瞼の開閉状態、視線方向、瞳孔の大小）、精神状態（ユーザーが表示画像を観察中に没頭若しくは集中しているかなどの感動度、興奮度、覚醒度、感情や情動など）、さらには生理状態を取得する。また、状態情報取得部３０４は、これらの状態情報をユーザーから取得するために、外側カメラ３１２や、機械スイッチなどからなる装着センサー、ユーザーの顔を撮影する内側カメラ、ジャイロ・センサー、加速度センサー、速度センサー、圧力センサー、体温又は気温を検知する温度センサー、発汗センサー、脈拍センサー、筋電位センサー、眼電位センサー、脳波センサー、呼気センサー、ガス・イオン濃度センサーなどの各種の状態センサー、タイマー（いずれも図示しない）を備えていてもよい。また、状態情報取得部３０４は、ヘッド・マウント・ディスプレイをユーザーの頭部に装着した際に、ユーザーの額に当接する動きに連動して、ヘッド・マウント・ディスプレイ１００がユーザーに装着されたことを検出する装着センサー（例えば、特許文献８を参照のこと）を利用して、ヘッド・マウント・ディスプレイ１００の装着の有無を検出するようにしてもよい。

環境情報取得部３１６は、当該ヘッド・マウント・ディスプレイ１００本体、又は当該ヘッド・マウント・ディスプレイ１００を着用したユーザーを取り巻く環境に関する情報を取得する機能モジュールである。ここで言う環境に関する情報として、音、風量、気温、気圧、雰囲気（煙、濃霧や、当該ヘッド・マウント・ディスプレイ１００又はユーザーが浴びる電磁波（紫外線、ブルーライト、電波）、熱線（赤外線）、放射線、大気中の一酸化炭素や二酸化炭素、酸素、窒素化合物（ニコチン）、大気中を漂う窒素酸化物（ＮＯ_x）や炭化水素（揮発性有機化合物（ＶＯＣ：Ｖｏｌａｔｉｌｅ Ｏｒｇａｎｉｃ Ｃｏｍｐｏｕｎｄｓ）あるいはこれらが紫外線の影響により光化学反応を起こして生成された光化学スモッグ、粒子状物質、花粉、ハウスダストなどの粉塵、アスベストなどの有害化学物質）、その他の環境因子を挙げることができる。環境情報取得部３１６は、環境情報を検出するために、音センサーや風量センサーを始めとして各種環境センサーを装備していてもよい。前述したマイクロフォンや外側カメラ３１２を環境センサーに含めることもできる。あるいは、環境情報取得部３１６は、これらのセンサー類の一部又は全部を備えた外部機器（例えば、ユーザーが身に付けているスマートフォンや腕時計、その他の多機能端末）から通信部３０５（後述）を介して環境情報を取得するようにしてもよい。

外側カメラ３１２は、例えばヘッド・マウント・ディスプレイ１００本体前面のほぼ中央に配置され（図２を参照のこと）、周囲画像を撮影することができる。ユーザーは、入力操作部３０２の操作、内側カメラや筋電位センサーなどで認識される瞳孔の大小や音声入力を通じて、外側カメラ３１２のズームを調整することができるものとする。また、状態情報取得部３０４で取得したユーザーの視線方向に合わせて外側カメラ３１２のパン、チルト、ロール方向の姿勢制御を行なうことで、外側カメラ３１２でユーザーの自分目線の画像すなわちユーザーの視線方向の画像を撮影することができる。外側カメラ３１２の撮影画像を、表示部３０９に表示出力することができ、また、撮影画像を通信部３０５から送信したり記憶部３０６に保存したりすることもできる。

外側カメラ３１２は、視差情報を利用して、周囲画像の３次元情報を取得できるように、外側カメラ３１２を複数台のカメラで構成することがより好ましい。また、１台のカメラでも、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ Ｌｏｃａｌｉｚａｔｉｏｎ ａｎｄ Ｍａｐｐｉｎｇ）画像認識を用いて、カメラを移動させながら撮影を行ない、時間的に前後する複数のフレーム画像を用いて視差情報を算出し（例えば、特許文献９を参照のこと）、算出した視差情報から周囲画像の３次元情報を取得することもできる。

外側カメラ３１２は、３次元情報を取得できることから、距離センサーとしても利用することができる。あるいは、例えば物体からの反射信号を検出するＰＳＤ（Ｐｏｓｉｔｉｏｎ Ｓｅｎｓｉｔｉｖｅ Ｄｅｔｅｃｔｏｒ）など安価なデバイスからなる距離センサーを外側カメラ３１２と併用するようにしてもよい。外側カメラ３１２や距離センサーは、ヘッド・マウント・ディスプレイ１００を装着するユーザーの身体位置、姿勢、形状を検出するために使用することができる。

通信部３０５は、外部機器（図示しない）との通信処理、並びに通信信号の変復調並びに符号化復号処理を行なう。外部機器として、ユーザーがヘッド・マウント・ディスプレイ１００を使用する際の視聴コンテンツを供給するコンテンツ再生装置（ブルーレイ・ディスク又はＤＶＤプレイヤー）や、ストリーミング・サーバーを挙げることができる。また、制御部３０１は、外部機器への送信データを通信部３０５から送出する。

通信部３０５の構成は任意である。例えば、通信相手となる外部機器との送受信動作に使用する通信方式に応じて、通信部３０５を構成することができる。通信方式は、有線、無線のいずれの形態であってもよい。ここで言う通信規格として、ＭＨＬ（Ｍｏｂｉｌｅ Ｈｉｇｈ−ｄｅｆｉｎｉｔｉｏｎ Ｌｉｎｋ）やＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、Ｗｉ−Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信やＢＬＥ（Ｂｌｕｅｔｏｏｔｈ（登録商標） Ｌｏｗ Ｅｎｅｒｇｙ）通信、ＡＮＴなどの超低消費電力無線通信、ＩＥＥＥ８０２．１１ｓなどで規格化されたメッシュ・ネットワークなどを挙げることができる。あるいは、通信部３０５は、例えばＷ−ＣＤＭＡ（Ｗｉｄｅｂａｎｄ Ｃｏｄｅ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅ Ａｃｃｅｓｓ）、ＬＴＥ（Ｌｏｎｇ Ｔｅｒｍ Ｅｖｏｌｕｔｉｏｎ）などの標準規格に従って動作する、セルラー無線送受信機であってもよい。

記憶部３０６は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）などで構成される大容量記憶装置である。記憶部３０６は、制御部３０１で実行するアプリケーション・プログラムや各種データを記憶している。例えば、ユーザーがヘッド・マウント・ディスプレイ１００を使用して、視聴するコンテンツを記憶部３０６に格納する。

画像処理部３０７は、制御部３０１から出力される画像信号に対して画質補正などの信号処理をさらに行なうとともに、表示部３０９の画面に合わせた解像度に変換する。そして、表示駆動部３０８は、表示部３０９の画素を行毎に順次選択するとともに線順次走査して、信号処理された画像信号に基づく画素信号を供給する。

表示部３０９は、例えば有機ＥＬ（Ｅｌｅｃｔｒｏ−Ｌｕｍｉｎｅｓｃｅｎｃｅ）素子や液晶ディスプレイなどのマイクロ・ディスプレイ、あるいは、網膜直描ディスプレイなどのレーザー走査方式ディスプレイで構成される表示パネルを有する。虚像光学部３１０は、表示部３０９の表示画像を拡大投影して、ユーザーには拡大虚像として観察させる。

なお、表示部３０９で出力する表示画像として、コンテンツ再生装置（ブルーレイ・ディスク又はＤＶＤプレイヤー）やストリーミング・サーバーから供給される商用コンテンツ（仮想世界）、外側カメラ３１２の撮影画像（ユーザーの視界画像などの現実世界の画像）などを挙げることができる。

音声処理部３１３は、制御部３０１から出力される音声信号に対して音質補正や音声増幅、入力された音声信号などの信号処理をさらに行なう。そして、音声入出力部３１４は、音声処理後の音声を外部出力、並びにマイクロフォン（前述）からの音声入力を行なう。

本実施例に係るヘッド・マウント・ディスプレイ１００は、遮光性、すなわち、着用したユーザーの眼を覆う。そして、表示部３０９には、映画などの商用コンテンツや、コンピューター・グラフィックスなどで表現された画像を表示する。虚像光学部３１０は、表示部３０９の表示画像を拡大投影して、適当な画角となる拡大虚像としてユーザーに観察させ、例えば映画館で視聴しているような臨場感を再現する。ユーザーは、表示部３０９に表示される仮想世界に没入体験することができる。

また、本実施例に係るヘッド・マウント・ディスプレイ１００は、バッテリー（図示しない）により駆動し、さまざまな省電力機能を装備している。例えば、ユーザーがヘッド・マウント・ディスプレイ１００を装着したことを装着センサー（前述）で検出し、装着状態のときのみ表示部３０９に画像を表示し、それ以外のときには（主電源がオンであっても）表示部３０９を画面非表示状態にして、消費電力をセーブする。

また、本実施例に係るヘッド・マウント・ディスプレイ１００は、着用者が特定の個人ユーザー又は特定のユーザー・グループに限定されることから、認証機能を装備し、使用を開始する際に認証処理を行なうように、認証機能が設定されているものとする。認証処理の方法自体は特に限定されない。例えば、タッチパネル３１５を利用した認証情報（暗証番号やパスワード）の入力や、ユーザーの注視点の動きに基づく認証処理（例えば、特許文献７を参照のこと）、着用者から採取される生体情報に基づく認証処理などを利用することができる。但し、いずれの認証方法であれ、認証処理が行なわれる期間中は、表示部３０９には、認証画面（認証情報の入力画面や、認証処理中であることを示す認証画面）が表示されるものとする。

また、ヘッド・マウント・ディスプレイ１００の使用を開始するタイミングは、主電源をオンにしたときではなく、ユーザーがヘッド・マウント・ディスプレイ１００を装着したことを装着センサー（前述）で検出したときとする。したがって、ヘッド・マウント・ディスプレイ１００の主電源をオンにしても、ユーザーが頭部又は顔部に装着していなければ認証処理は起動しない。ユーザーがヘッド・マウント・ディスプレイ１００を装着したことを検出すると認証処理が開始され、認証画面が表示される。

ユーザーは、遮光性のヘッド・マウント・ディスプレイ１００を装着すると、両眼が覆われ、視界が奪われ、目隠しされたのと同じ状態になる。そこで、本実施形態では、ユーザーがヘッド・マウント・ディスプレイ１００を頭部又は顔部に装着したことを装着センサー（前述）で検出し、その使用を開始すると、図４に示すように、初期画面４０１として、外側カメラ３１２で撮影したビデオ・シースルー画像を表示部３０９に即座に表示する。したがって、ユーザーは、ヘッド・マウント・ディスプレイ１００を装着すると、すぐに視界を取り戻して、周囲の風景を観察することができる。その後、ユーザーの操作などに応じて、外部入力される商用コンテンツ（映画など）の表示画面に遷移してもよい。

また、ヘッド・マウント・ディスプレイ１００が認証機能を設定しているときには、ユーザーがヘッド・マウント・ディスプレイ１００を頭部又は顔部に装着したことを装着センサー（前述）で検出し、その使用を開始すると、表示部３０９には認証画面が表示される。認証操作をミスするなどして認証処理が滞ると、なかなか認証画面が終了しない。これに対し、本実施形態では、ヘッド・マウント・ディスプレイ１００は、認証処理が行なわれている間は、図５に示すように、外側カメラ３１２で撮影したビデオ・シースルー画像５０１の上に認証画面５０２を重畳して表示するようにしている。したがって、ユーザーは、認証処理の期間もビデオ・シースルー画像で周囲の風景を観察することができる。ユーザーは、屋外で歩行しながらヘッド・マウント・ディスプレイ１００を使用するときであっても、常に自分の周囲の様子が分かるので、安全を確保することができる。認証処理が成功裏に終了すると、認証画面は消滅し、初期画面としてのビデオ・シースルー画像だけが残る。その後、ユーザーの操作などに応じて、外部入力される商用コンテンツ（映画など）の表示画面に遷移してもよい。

認証画面５０２は、利用する認証方法などに応じてその画面デザインは任意である。ビデオ・シースルー画像の上に重畳して表示する認証画面５０２を透明又は半透明にすることによって、ビデオ・シースルー表示される周囲の風景の視認性が向上する。

なお、外側カメラ３１２はユーザーの視線とほぼ一致する画像を撮影し、又は、撮影画像をユーザーの視界と一致するように変換したビデオ・シースルー画像を表示することが好ましい。但し、本明細書で開示する技術は、ユーザーの視界と一致するビデオ・シースルー画像に限定される訳ではない。

図６には、ヘッド・マウント・ディスプレイ１００の画面遷移例を示している。

装着センサーなどを備えた状態情報取得部３０４が、ユーザーがヘッド・マウント・ディスプレイ１００を装着したことを検出したことをトリガーにして、ヘッド・マウント・ディスプレイ１００は、非装着状態６０１から装着状態６０２へ遷移する。

この状態遷移に応答して、表示部３０９は、非表示画面６１１から初期画面６１２へ遷移する。この初期画面６１２では、外側カメラ３１２で撮影したビデオ・シースルー画像６１３が表示される。したがって、ユーザーは、ヘッド・マウント・ディスプレイ１００を装着すると、すぐに視界を取り戻して、周囲の風景を観察することができる。すなわち、ユーザーは、常に自分の周囲の様子が分かるので、安全を確保することができる。

その後、入力操作部３０２に対するユーザーの操作などに応じて、外部入力される商用コンテンツ（映画など）の表示画面６２１に遷移してもよい。このようにユーザーがヘッド・マウント・ディスプレイ１００を装着することによりビデオ・シースルー画像６１３が表示され、ヘッド・マウント・ディスプレイ１００の通常使用が開始されるが、その後、ユーザーがヘッド・マウント・ディスプレイ１００を取り外したことを装着センサーなどが検出すると、非装着状態６０１に復帰する。そして、ユーザーがヘッド・マウント・ディスプレイ１００を再び装着したことを検出すると、上記と同様の認証処理が繰り返し実行される。

また、図７には、認証機能が設定されている場合のヘッド・マウント・ディスプレイ１００の画面遷移例を示している。

装着センサーなどを備えた状態情報取得部３０４が、ユーザーがヘッド・マウント・ディスプレイ１００を装着したことを検出したことをトリガーにして、ヘッド・マウント・ディスプレイ１００は、非装着状態７０１から装着状態７０２へ遷移する。

この状態遷移に応答して、表示部３０９は、非表示画面７１１から初期画面７１２へ遷移する。この初期画面７１２では、外側カメラ３１２で撮影したビデオ・シースルー画像７１３の上に、認証処理用コンテンツ７１４が重畳して表示される。ここで言う認証処理用コンテンツ７１４は、認証情報の入力画面や、認証処理中であることを示す認証画面である。例えば、したがって、ユーザーは、ヘッド・マウント・ディスプレイ１００を装着して認証処理が開始されても、認証処理用コンテンツ７１４越しに周囲の風景を観察することができる。すなわち、ユーザーは、常に自分の周囲の様子が分かるので、安全を確保することができる。

認証処理が成功裏に終了すると、認証処理用コンテンツ７１４は消滅し、ビデオ・シースルー画像７１３だけが残る。

その後、入力操作部３０２に対するユーザーの操作などに応じて、外部入力される商用コンテンツ（映画など）の表示画面７２１に遷移してもよい。このようにユーザーがヘッド・マウント・ディスプレイ１００を装着するとすぐにビデオ・シースルー画像７１３が表示され、認証処理が成功すると、ヘッド・マウント・ディスプレイ１００の通常使用が開始されるが、その後、ユーザーがヘッド・マウント・ディスプレイ１００を取り外したことを装着センサーなどが検出すると、非装着状態７０１に復帰する。そして、ユーザーがヘッド・マウント・ディスプレイ１００を再び装着したことを検出すると、上記と同様の認証処理が繰り返し実行される。

特開２０１２−４２６５４号公報 特開２０１２−１４１４６１号公報 特開２００５−３８３２１号公報 特開２０１１−２４２５９１号公報 特開２０１３−２５７６６１号公報 特開２００７−３７４５号公報 特開２０１４−９２９４０号公報 特開２０１２−１８６６６０号公報 特開２００８−３０４２６８号公報

以上、特定の実施形態を参照しながら、本明細書で開示する技術について詳細に説明してきた。しかしながら、本明細書で開示する技術の要旨を逸脱しない範囲で当業者が該実施形態の修正や代用を成し得ることは自明である。

本明細書では、本明細書で開示する技術をビデオ・シースルー方式のヘッド・マウント・ディスプレイに適用した実施形態を中心に説明してきたが、本明細書で開示する技術の要旨はこれに限定されるものではない。勿論、ビデオ・シースルーにより周囲の風景を観察することができる、ヘッド・マウント・ディスプレイ以外のさまざまなタイプの画像表示装置に対して、同様に、本明細書で開示する技術を適用することができる。

また、本明細書で開示する技術は、両眼式及び単眼式の双方のヘッド・マウント・ディスプレイに好適に適用することができる。

また、本明細書で開示する技術は、携帯電話やスマートフォン、タブレット端末、パーソナル・コンピューターなど、さまざまなタイプのカメラ付きの画像表示装置にも適用することができる。

要するに、例示という形態により本明細書で開示する技術について説明してきたのであり、本明細書の記載内容を限定的に解釈するべきではない。本明細書で開示する技術の要旨を判断するためには、特許請求の範囲を参酌すべきである。

なお、本明細書の開示の技術は、以下のような構成をとることも可能である。
（１）ユーザーの頭部又は顔部に装着して用いられる表示部と、
前記表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部と、
周囲を撮影する撮影部と、
前記表示部で画面表示する画像を制御する制御部と、
を具備し、
前記制御部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記表示部に前記撮影部による撮影画像を表示させる、
画像表示装置。
（２）前記制御部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記表示部を非表示状態から前記撮影画像の表示に切り換える、
上記（１）に記載の画像表示装置。
（３）前記ユーザーを認証する認証処理部をさらに備える、
上記（１）又は（２）のいずれかに記載の画像表示装置。
（４）前記認証処理部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記撮影画像の上に認証画面を表示させる、
上記（３）に記載の画像表示装置。
（５）ユーザーの頭部又は顔部に装着して用いられる表示部と、
前記表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部と、
周囲を撮影する撮影部と、
前記ユーザーを認証する認証処理部と、
前記表示部で画面表示する画像を制御する制御部と、
を具備し、
前記制御部は、前記認証処理部による認証処理中は、前記撮影部による撮影画像の上に認証画面を表示させる、
画像表示装置。
（６）前記認証処理部は、認証処理が終了したことに応答して前記認証画面を消す、
上記（４）又は（５）のいずれかに記載の画像表示装置。
（７）コンテンツを取得するコンテンツ取得部をさらに備え、
前記制御部は、所定の事象の発生に応じて、前記表示部の表示を前記撮影画像からコンテンツの再生画像に切り換える、
上記（１）乃至（６）のいずれかに記載の画像表示装置。
（８）ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出ステップと、
前記ユーザーの周囲の撮影画像を取得する画像取得ステップと、
前記表示部がユーザーの頭部又は顔部に装着されたことを検出したことに応答して、前記表示部に前記撮影画像を表示させる表示ステップと、
を有する画像表示方法。
（９）ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出ステップと、
前記ユーザーの周囲の撮影画像を取得する画像取得ステップと、
前記撮影画像の上に認証画面を表示させて、前記ユーザーを認証する認証処理ステップと、
を有する画像表示方法。
（１０）ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部、
前記ユーザーの周囲の撮影画像を取得する画像取得部、
前記表示部がユーザーの頭部又は顔部に装着されたことを検出したことに応答して、前記表示部に前記撮影画像を表示させる表示部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
（１１）ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部、
前記ユーザーの周囲の撮影画像を取得する画像取得部、
前記撮影画像の上に認証画面を表示させて、前記ユーザーを認証する認証処理部、
としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。

１００…ヘッド・マウント・ディスプレイ
１０１Ｌ、１０１Ｒ…虚像光学部
１０３Ｌ、１０３Ｒ…マイクロフォン、１０４Ｌ、１０４Ｒ…表示パネル
１０５…眼幅調整機構
３０１…制御部、３０１Ａ…ＲＯＭ、３０１Ｂ…ＲＡＭ
３０２…入力操作部、３０３…リモコン受信部
３０４…状態情報取得部、３０５…通信部、３０６…記憶部
３０７…画像処理部、３０８…表示駆動部
３０９…表示部、３１０…虚像光学部、３１２…外側カメラ
３１３…音声処理部、３１４…音声入出力部、
３１５…タッチパネル、３１６…環境情報取得部

Claims (11)

1. ユーザーの頭部又は顔部に装着して用いられる表示部と、
   前記表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部と、
   周囲を撮影する撮影部と、
   前記表示部で画面表示する画像を制御する制御部と、
   を具備し、
   前記制御部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記表示部に前記撮影部による撮影画像を表示させる、
   画像表示装置。
2. 前記制御部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記表示部を非表示状態から前記撮影画像の表示に切り換える、
   請求項１に記載の画像表示装置。
3. 前記ユーザーを認証する認証処理部をさらに備える、
   請求項１又は２のいずれかに記載の画像表示装置。
4. 前記認証処理部は、前記表示部がユーザーの頭部又は顔部に装着されたことを前記検出部により検出したことに応答して、前記撮影画像の上に認証画面を表示させる、
   請求項３に記載の画像表示装置。
5. ユーザーの頭部又は顔部に装着して用いられる表示部と、
   前記表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部と、
   周囲を撮影する撮影部と、
   前記ユーザーを認証する認証処理部と、
   前記表示部で画面表示する画像を制御する制御部と、
   を具備し、
   前記制御部は、前記認証処理部による認証処理中は、前記撮影部による撮影画像の上に認証画面を表示させる、
   画像表示装置。
6. 前記認証処理部は、認証処理が終了したことに応答して前記認証画面を消す、
   請求項４又は５のいずれかに記載の画像表示装置。
7. コンテンツを取得するコンテンツ取得部をさらに備え、
   前記制御部は、所定の事象の発生に応じて、前記表示部の表示を前記撮影画像からコンテンツの再生画像に切り換える、
   請求項１乃至６のいずれかに記載の画像表示装置。
8. ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出ステップと、
   前記ユーザーの周囲の撮影画像を取得する画像取得ステップと、
   前記表示部がユーザーの頭部又は顔部に装着されたことを検出したことに応答して、前記表示部に前記撮影画像を表示させる表示ステップと、
   を有する画像表示方法。
9. ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出ステップと、
   前記ユーザーの周囲の撮影画像を取得する画像取得ステップと、
   前記撮影画像の上に認証画面を表示させて、前記ユーザーを認証する認証処理ステップと、
   を有する画像表示方法。
10. ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部、
    前記ユーザーの周囲の撮影画像を取得する画像取得部、
    前記表示部がユーザーの頭部又は顔部に装着されたことを検出したことに応答して、前記表示部に前記撮影画像を表示させる表示部、
    としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。
11. ユーザーの頭部又は顔部に装着して用いられる表示部がユーザーの頭部又は顔部に装着されたか否かを検出する検出部、
    前記ユーザーの周囲の撮影画像を取得する画像取得部、
    前記撮影画像の上に認証画面を表示させて、前記ユーザーを認証する認証処理部、
    としてコンピューターを機能させるようにコンピューター可読形式で記述されたコンピューター・プログラム。