JP7487236B2

JP7487236B2 - ヘッドマウントディスプレイ装置

Info

Publication number: JP7487236B2
Application number: JP2021575130A
Authority: JP
Inventors: 和彦吉澤; 眞弓中出
Original assignee: Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2020-02-04
Filing date: 2020-02-04
Publication date: 2024-05-20
Anticipated expiration: 2040-02-04
Also published as: US20230064819A1; JPWO2021156939A1; WO2021156939A1; CN115066721A; US11971550B2

Description

本発明は、ヘッドマウントディスプレイ装置（以下、ＨＭＤ:Head Mount Display、と称す）に関する。

ディスプレイを搭載し、頭部に装着して情報を視聴するＨＭＤは、近年、ゲーム用途や作業支援の分野での利用が広がりつつある。

本技術分野の背景技術として特許文献１がある。特許文献１には、表示画面に映像信号による映像を表示すると共に外光が透過するように成され、映像表示部分と外光透過部分との割合いを制御できるように成されかつ使用者の頭部に装着可能に成された表示手段と、使用者の見ようとする方向あるいは使用者の頭部の姿勢や頭部の位置を検出する検出手段と、検出手段の検出に応じて表示手段の表示画面における映像表示部分と外光透過部分との割合いを制御する表示制御手段とを備えた頭部装着型表示装置が開示されている。

特開平８－３２８５１２号公報

特許文献１では、ユーザがＨＭＤを装着したままで、使用者の見ようとする方向あるいは使用者の頭部の姿勢や頭部の位置に応じて、ＨＭＤの表示画像と外界映像とを見ることが出来る。

しかしながら、ユーザがＨＭＤを装着したまま寝てしまい、睡眠後に覚醒、或いは半覚醒した際に、ユーザがＨＭＤを装着していることを失念する場合が考えられる。この場合、ユーザはＨＭＤにより視界をふさがれて周辺状況を確認できないため、自身の状況を把握できず、慌てて行動した場合などは危険な状態を引き起こす可能性がある。上記特許文献１にはこのような状況に関して考慮されていない。

本発明は、上記課題に鑑み、ＨＭＤ装着時のユーザの危険を回避可能なＨＭＤを提供することを目的とする。

本発明は、その一例を挙げるならば、外界画像を第一画像入力部で取得して表示部に表示するビデオ透過型のヘッドマウントディスプレイ装置であって、装着者の両眼の状態の画像を取得する第二画像入力部と、制御部を有し、制御部は、第二画像入力部で取得した装着者の両眼の状態の画像から、所定時間以上両眼を閉じた状態が継続しない場合には装着者は覚醒状態であると判断し、所定時間以上両眼を閉じた状態が継続した場合には装着者は睡眠状態であると判断し、睡眠状態から覚醒状態になった場合、表示部に第一画像入力部で取得した外界画像を表示するように構成する。

本発明によれば、ＨＭＤ装着時のユーザの危険を回避可能なＨＭＤを提供できる。

実施例１におけるＨＭＤのハードウェア構成を示すブロック図である。実施例１におけるＨＭＤの外観および装着図である。実施例１におけるＨＭＤの機能構成図である。実施例１におけるＨＭＤの処理フローチャートである。実施例２におけるＨＭＤの処理フローチャートである。実施例２における警告メッセージの表示例である。実施例３におけるＨＭＤの処理フローチャートである。実施例４におけるＨＭＤの処理フローチャートである。実施例４におけるＨＭＤの警告メッセージの表示例である。実施例４におけるＨＭＤの外界表示例である。

以下、図面を用いて本発明の実施例について説明する。

図１は、本実施例におけるＨＭＤ１００のハードウェア構成を示すブロック図である。図１において、１０１は主制御部（ＣＰＵ／ＭＣＵ等）であって、１０２はコマンドやデータの送受信経路であるバス、１０３は、基本動作プログラムやその他の動作プログラム実行時のワークエリアとなるＲＡＭ、１１０は、ＦｌａｓｈＲＯＭ／ＥＥＰＲＯＭ／ＳＳＤ／ＨＤＤ等の不揮発記憶媒体であるストレージ部である。

また、１２０は、ユーザ操作インタフェースである操作入力部であり、ＳＷ類や電源キーや音量キー等の操作キー１２１と、タッチパッドなどのタッチセンサ１２２を有する。

また、１３０は、イメージ（ビデオ）プロセッサ等の画像処理部であり、表示部（ディスプレイ）１３１、画像信号処理部（イメージ（ビデオ）シグナルプロセッサ）１３２、外界映像取得用の外部カメラである第一画像入力部１３３、両眼確認用の内部カメラである第二画像入力部１３４を有する。

また、１４０は音声処理部（オーディオプロセッサ）であって、音声出力部（スピーカ）１４１、音声信号処理部（オーディオシグナルプロセッサ）１４２、音声入力部（マイク）１４３を有する。

また、１５１は位置情報取得部（ＧＰＳ受信部）である。また、１６０はセンサ部であって、ジャイロセンサ１６１、地磁気センサ１６２、加速度センサ１６３を有する。

また、１７０は、ＬＡＮ（Ｗｉ－Ｆｉ（登録商標））通信部やモバイル通信部、Ｂｌｕｅｔｏｏｔｈ（登録商標）通信部等からなる通信部、１８０は拡張インタフェース部であり、例えば充電端子等の機能を有する。

図２は、本実施例におけるＨＭＤの外観および装着図である。本実施例におけるＨＭＤは、図２に示すように、ゴーグル型であり、前面に窓がある光学透過型ではなく、外界画像をカメラで撮像してＨＭＤ内の表示部に表示するビデオ透過型の密閉型のＨＭＤである。（Ａ）は、ユーザＵ１の頭部にＨＭＤ１００を装着した状態の上面図であり、（Ｂ）は正面図、（Ｃ）は側面図である。

図２において、１３３Ｌは左側の外部カメラである第一画像入力部（Ｌ）、１３３Ｒは右側の外部カメラである第一画像入力部（Ｒ）である。なお、第一画像入力部は一つ（例えば、中央部に一つの第一画像入力部１３３）のみでもよい。

また、１２２Ｌはタッチセンサ（Ｌ）、１２２Ｒはタッチセンサ（Ｒ）（図示省略）であり、タッチセンサは左右何れか一つのみでもよい、
また、１４１Ｌは音声出力部（Ｌ）（ステレオスピーカＬ）、１４１Ｒは音声出力部（Ｒ）（ステレオスピーカＲ）（図示省略）である。

なお、図示は省略するが、音声入力部１４３としてモノラルマイクを有し、また、ＨＭＤの筐体の内側に、ユーザから視認可能に配置されたＬＣＤ等からなる表示部１３１を有する。また、表示部１３１は、左目用の表示部１３１Ｌと右目用の表示部１３１Ｒで構成されてもよい。また、ＨＭＤの筐体の内側には、更に、ユーザの両眼の状態を確認可能に配置された内部カメラである第二画像入力部１３４を有する。また、第二画像入力部１３４も、左目の状態を確認可能な第二画像入力部１３４Ｌと右目の状態を確認可能な第二画像入力部１３４Ｒで構成されてもよい。

図３は、本実施例におけるＨＭＤの機能構成図である。図３において、ストレージ部１１０は、ＯＳ等の基本的なプログラムである基本動作プログラム１００１と、本実施例の機能を実行するアプリケーション（以降アプリと省略する）や、その他のアプリを含むアプリケーション１００２と、各種動作設定値や各種情報（動画／静止画／音声等）を記憶しておく領域である各種データ記憶領域１００９で構成されている。

ストレージ部１１０に記憶されているプログラム／アプリは、ＲＡＭ１０３に展開（ロード）され、主制御部１０１が、展開されたプログラム／アプリを実行することにより、本実施例の機能部やその他の機能部が実行される。

図３において、ＲＡＭ１０３には、展開される実行プログラムを機能別に記載している。すなわち、ＨＭＤ１００の基本動作プログラムを実行する基本動作機能部１１０１と、第二画像入力部（内部カメラ）１３４の取得画像を解析してＨＭＤ１００を装着するユーザＵ１の両眼の状態や視線位置を確認する両眼状態確認部１１１１、通信部１７０を介して受信した情報を解析して受信した情報が緊急警報等か否かを確認する通信状態確認部１１１２、ＨＭＤ１００を装着するユーザＵ１の操作指示に応じて各種アプリの起動／実行等の処理を制御しアプリ画面（アプリ映像）を生成するアプリ制御部１１１３、両眼状態確認部１１１１で確認したユーザの両眼の状態や視線位置または通信状態確認部１１１２で確認した受信情報が緊急警報等か否かに応じてアプリ制御部１１１３で生成されたアプリ画面の映像（アプリ映像）と第一画像入力部（外部カメラ）が取得した外界映像の一方を選択して表示部１３１への表示を制御する表示制御部１１１４を有する。また、ＲＡＭ１０３はアプリにより作成／取得された各種情報の一時的な記憶領域である一時記憶領域１１９９を有している。

図４は、本実施例におけるＨＭＤの処理フローチャートである。図４において、まずステップＳ１０１で、表示制御部１１１４が、アプリ制御部１１１３がユーザの操作指示に従って起動／実行して生成したアプリ画面（アプリ映像）を表示部１３１に表示し、Ｓ１０２に進む。Ｓ１０２では、第二画像入力部（内部カメラ）１３４が、ユーザの両眼画像を取得し、Ｓ１０３に進む。Ｓ１０３では、両眼状態確認部１１１１が、Ｓ１０２の処理で取得したユーザの両眼画像を解析し、ユーザの両眼がともに閉じた状態であると判断した場合には、Ｓ１０４に進む。ユーザの両眼がともに閉じた状態ではないと判断した場合には、Ｓ１０２に戻る。Ｓ１０４では、両眼状態確認部１１１１が、タイマーのカウント値を初期化して、Ｓ１０５に進む。Ｓ１０５では、第二画像入力部（内部カメラ）１３４がユーザの両眼画像を取得し、Ｓ１０６に進む。Ｓ１０６では、両眼状態確認部１１１１が、Ｓ１０５の処理で取得したユーザの両眼画像を解析し、ユーザの両眼のいずれかが開いた状態であると判断した場合には、Ｓ１０２に戻る。ユーザの両眼のいずれも開いた状態ではないと判断した場合には、Ｓ１０７に進む。Ｓ１０７では、両眼状態確認部１１１１が、タイマーのカウント値をカウントアップして、Ｓ１０８に進む。Ｓ１０８では、両眼状態確認部１１１１が、タイマーのカウント値を予め定めた所定値と比較し、タイマーのカウント値≧所定値であった場合には、Ｓ１０９に進む。タイマーのカウント値≧所定値でなかった場合には、Ｓ１０５に戻る。

Ｓ１０９では、ユーザが睡眠状態になったものとして、表示制御部１１１４が、スリープ画面（無映像で暗い画面）を生成して表示部１３１に表示し、Ｓ１１０に進む。なお、Ｓ１０９の処理はなくてもよい。

Ｓ１１０では、第二画像入力部（内部カメラ）１３４が、ユーザの両眼画像を取得し、Ｓ１１１に進む。Ｓ１１１では、両眼状態確認部１１１１が、Ｓ１１０で取得したユーザの両眼画像を解析し、ユーザの両眼のいずれかが開いた状態であると判断した場合には、Ｓ１１２に進む。ユーザの両眼のいずれも開いた状態ではないと判断した場合には、Ｓ１１０に戻る。なお、Ｓ１１１の後にタイマーを付加して、所定時間以上眼が開いている状態を検出した場合にＳ１１２に進むようにしてもよい。

Ｓ１１２では、ユーザが覚醒状態（或いは半覚醒状態：以下同様）になったものとして、第一画像入力部（外部カメラ）１３３が、外界映像を取得し、Ｓ１１３に進む。Ｓ１１３では、表示制御部１１１４が、Ｓ１１２で取得した外界映像を表示部１３１に表示し、処理を終了する。

以上のように、本実施例では、内部カメラが装着者（ユーザ）の両眼の状態を確認し、所定時間以上両眼を閉じた状態が継続しない場合は、装着者（ユーザ）は覚醒状態であると判断し、所定時間以上両眼を閉じた状態が継続した場合、装着者（ユーザ）が睡眠状態であると判断する。そして、覚醒状態から睡眠状態となった場合は、アプリ映像をスリープ画面（無映像）に切り替え、その後、覚醒状態になった場合、スリープ画面をビデオスルー映像（外部カメラ映像）に切り替える。これにより、ＨＭＤ装着時に寝てしまい、その後覚醒した場合であっても、装着者（ユーザ）は自身の周囲（実空間）の状況を確認することが可能となる。

なお、覚醒状態から睡眠状態となった場合、アプリ映像をスリープ画面（無映像）に切り替えずに、アプリ映像の表示を継続してもよいが、無映像で暗い画面であるスリープ画面に切り替えることで、装着者が睡眠状態の際のＨＭＤのバッテリ消費の節約が可能となる。また、覚醒状態から睡眠状態となった場合に、アプリ映像をビデオスルー映像（外部カメラ映像）に切り替えてもよい。

また、Ｓ１０１で表示部１３１に表示されたアプリ画面（アプリ映像）が音声出力を伴っている（音声出力部１４１から音声出力を行っている）場合、Ｓ１０９でスリープ画面（無映像）に切り替える際に音声出力も併せて停止するようにしてもよい。或いは、ＨＭＤが稼働中であること（稼働中であったこと）を示すため、Ｓ１０９でスリープ画面（無映像）に切り替える際に音声出力はそのまま継続するようにしてもよい。また、音量を下げて音声出力を継続するようにしてもよい。

以上のように本実施例によれば、ＨＭＤ装着時に寝てしまい、その後覚醒した場合であっても、ユーザは自身の周囲状況を確認することが可能となり、危険を回避可能なＨＭＤを提供できる。

実施例１では、睡眠状態から覚醒した場合、外部カメラ映像に切り替えることで、ユーザは自身の周囲状況を確認することが可能となり、危険を回避可能とする構成について説明した。本実施例では、他の危険回避例について説明する。

図５は、本実施例におけるＨＭＤの処理フローチャートである。図５において、図４と同じ処理は同じ符号を付し、その説明は省略する。図５において、図４と異なる点は、ステップＳ１２２、Ｓ１２３であり、睡眠状態から覚醒した際に、装着者（ユーザ）にＨＭＤ装着中である旨のメッセージを表示する点である。

すなわち、図５において、Ｓ１０１～Ｓ１１１は図４の動作と同様である。なお、図５では、Ｓ１０９は記載していないが、図４と同様に覚醒状態から睡眠状態となった場合、スリープ画面を表示してもよい。

Ｓ１１１でＹｅｓの場合、睡眠状態から覚醒した状態であって、Ｓ１２２に進む。Ｓ１２２では、表示制御部１１１４が、ユーザにＨＭＤを装着中である旨を警告するためのメッセージを生成し、Ｓ１２３に進む。Ｓ１２３では、表示制御部１１１４が、アプリ制御部１１１３がユーザの操作指示に従って起動／実行して生成したアプリ画面（アプリ映像）に、Ｓ１２２で生成した警告メッセージを重畳して表示部１３１に表示し、処理を終了する。

図６は、本実施例における警告メッセージの表示例である。図６において、表示部１３１には、Ｓ１２２で生成した警告メッセージＭ１１が、アプリ画面（アプリ映像）ＡＰ１１に重畳して表示されている。なお、覚醒状態から睡眠状態となった場合にスリープ画面を表示する場合は、無映像で暗い画面であるスリープ画面に警告メッセージＭ１１を重畳表示する。また、警告メッセージの表示例は前述の他、『Ｘ時間寝ていました』等の表示や単なる現在時刻表示等であってもよい。即ち、ユーザにＨＭＤ装着中であることを気づかせるものであればよい。

また、警告メッセージは、図６に示したように、表示部１３１に表示するのみではなく、音声出力として音声出力部１４１から出力するようにしてもよい。この場合、同一の警告メッセージを複数回繰り返すようにすれば、ユーザが警告メッセージを聞き逃す可能性を低減できる。また、警告メッセージの音声出力を停止させるためのユーザの指示があるまで警告メッセージの音声出力を繰り返すようにしてもよい。

以上のように本実施例によれば、ＨＭＤ装着時に寝てしまい、その後覚醒した場合であっても、ユーザは警告メッセージを確認することができ、危険を回避可能なＨＭＤを提供できる。

なお、覚醒状態から睡眠状態となった場合に、表示部１３１に、覚醒状態で表示していたアプリ画面に警告メッセージを重畳表示してもよい。
また、警告メッセージを確認後、ユーザが外界映像の表示への切り替えを希望する場合は、操作入力部１２０からのユーザによる指示やジェスチャ動作等で切り替えればよい。また、ユーザの指示により、警告メッセージを消去してアプリ画面の表示を再開してもよい。

本実施例では、ＨＭＤ装着時の他の危険回避例について説明する。

図７は本実施例におけるＨＭＤの処理フローチャートである。図７において、まず、ステップＳ２０１で、表示制御部１１１４が、アプリ制御部１１１３がユーザの操作指示に従って起動／実行して生成したアプリ画面（アプリ映像）を表示部１３１に表示し、Ｓ２０２に進む。

Ｓ２０２では、通信部１７０が、外部ネットワーク上の機器や連携動作中の機器、例えば、スマートホン等の携帯情報端末から送信されたメッセージを受信し、Ｓ２０３に進む。Ｓ２０３では、通信状態確認部１１１２が、Ｓ２０２で受信したメッセージを解析し、受信したメッセージが緊急警報等であると判断した場合には、Ｓ２０４に進む。受信したメッセージが緊急警報等ではないと判断した場合には、Ｓ２０２に戻る。

Ｓ２０４では、第一画像入力部（外部カメラ）１３３が、外界映像を取得し、Ｓ２０５に進む。Ｓ２０５では、表示制御部１１１４が、Ｓ２０４で取得した外界映像を表示部１３１に表示し、処理を終了する。

このように、本実施例では、ＨＭＤは、通信部を介して例えば地震速報等の緊急警報（メール等）を受信した場合には、覚醒状態や睡眠状態によらず、アプリ映像をビデオスルー映像（外界映像）に切り替える。これにより、ビデオ透過型の密閉型のＨＭＤ装着時においても、緊急事態には、外界映像に切り換えることで、ユーザは自身の周囲状況を確認することが可能となり、危険を回避可能なＨＭＤを提供できる。

なお、緊急警報の内容を知らせる警告メッセージを表示部に重畳表示するようにしてもよい。

また、音声入力部１４３が音声情報を取得し（Ｓ２０２の処置の代替）、取得した音声情報を解析して、その音声情報が非常ベル等であると判断した場合（Ｓ２０３の処置の代替）に、外界映像に切り替えるようにしてもよい。

実施例２では、睡眠状態から覚醒した場合に表示画面に警告メッセージを重畳表示することで危険を回避可能なＨＭＤについて説明した。

本実施例では、警告メッセージの重畳表示後に、所定アイコンを注視することで外界映像に切り換える点について説明する。

図８は本実施例におけるＨＭＤの処理フローチャートである。図８において、まず点線で囲ったステップは、図５のＳ１０１からＳ１１１までの処理であり、省略して記載しており、その説明も省略する。

Ｓ１１１でＹｅｓの場合、睡眠状態から覚醒した状態であって、Ｓ１２４に進む。Ｓ１２４では、表示制御部１１１４が、ユーザにＨＭＤを装着中である旨を警告するためのメッセージを生成し、Ｓ１２５に進む。Ｓ１２５では、表示制御部１１１４が、アプリ制御部１１１３がユーザの操作指示に従って起動／実行して生成したアプリ画面（アプリ映像）に、Ｓ１２４で生成した警告メッセージを重畳して表示部１３１に表示する。

図９は、本実施例における警告メッセージの表示例である。図９において、表示部１３１には、Ｓ１２４で生成した警告メッセージＭ１２が、アプリ画面（アプリ映像）ＡＰ１１に重畳して表示されている。また、非常ドアの閉状態のマークである所定アイコンＯ１１が表示されている。警告メッセージＭ１２には、ＨＭＤを装着中である旨の表示と共に、“外部を確認したい場合はドアマークを見て下さい”とのメッセージが表示されている。後述するが、この所定アイコンＯ１１に所定時間以上視線を合わせると、表示部に表示される映像がアプリ映像から外界映像に切り替わる。

なお、Ｓ１２５では、所定アイコンＯ１１のみを表示するようにしてもよい。即ち、所定アイコンＯ１１が表示されることに警告メッセージＭ１２の意味合いを含めてもよい。

次に、Ｓ３０２において、第二画像入力部（内部カメラ）１３４が、ユーザの両眼画像を取得し、Ｓ３０３に進む。Ｓ３０３では、両眼状態確認部１１１１がＳ３０２で取得したユーザの両眼画像を解析して、ユーザの視線位置を検出し、Ｓ３０４に進む。Ｓ３０４では、両眼状態確認部１１１１が、Ｓ３０３で検出したユーザの視線位置を確認し、ユーザの視線位置が所定アイコン上にあると判断した場合にはＳ３０５に進む。ユーザの視線位置が所定アイコン上にないと判断した場合にはＳ３０２に戻る。なお、ユーザの視線位置が、所定アイコンを含み、所定アイコンよりも大きな所定範囲内にある場合に、ユーザの視線位置が所定アイコン上にあるものとして判断するようにしてもよい。

Ｓ３０５では、ユーザが所定アイコンを見ていると判断して、両眼状態確認部１１１１が、タイマーのカウント値を初期化して、Ｓ３０６に進む。Ｓ３０６では、第二画像入力部（内部カメラ）１３４が、ユーザの両眼画像を取得し、Ｓ３０７に進む。Ｓ３０７では、両眼状態確認部１１１１が、Ｓ３０６で取得したユーザの両眼画像を解析して、ユーザの視線位置を検出し、Ｓ３０８に進む。Ｓ３０８では、両眼状態確認部１１１１が、Ｓ３０７の処理で検出したユーザの視線位置を確認し、ユーザの視線位置が所定アイコン上（所定範囲内）から外れたと判断した場合には、Ｓ３０２に戻る。ユーザの視線位置が所定アイコン上（所定範囲内）から外れていないと判断した場合には、Ｓ３０９に進む。Ｓ３０９では、両眼状態確認部１１１１が、タイマーのカウント値をカウントアップして、Ｓ３１０に進む。Ｓ３１０では、両眼状態確認部１１１１が、タイマーのカウント値を予め定めた所定値と比較し、タイマーのカウント値≧所定値であった場合には、所定アイコンに所定時間以上視線を合わせている、すなわち注視していると判断しＳ３１１に進む。タイマーのカウント値≧所定値でなかった場合には、Ｓ３０６に戻る。

Ｓ３１１では、第一画像入力部（外部カメラ）１３３が、外界映像を取得し、Ｓ３１２に進む。Ｓ３１２では、表示制御部１１１４が、Ｓ３１１で取得した外界映像を表示部１３１に表示し、処理を終了する。

図１０は、本実施例における外界表示例である。図１０において、表示部１３１には、Ｓ３１２により、外界映像ＯＷ１１が表示される。すなわち、図９における所定アイコンＯ１１に所定時間以上視線を合わせると、表示部１３１に表示される映像がアプリ映像に重畳された警告メッセージから外界映像に切り替わるとともに、非常ドアの閉状態のマークの所定アイコンＯ１１から非常ドアの開状態のマークの所定アイコンＯ１２に変わる。

なお、所定アイコンＯ１２に所定時間以上視線を合わせると、表示部１３１に表示される映像が外界映像からアプリ映像に切り替わる。更に、所定アイコンのデザインも非常ドアの開状態のマークの所定アイコンＯ１２から非常ドアの閉状態のマークの所定アイコンＯ１１に変わる。

なお、所定アイコンは非常ドアマークでなくてもよく、外界表示を示唆するアイコンであればよい。

また、視線注視による外界切替えの待ちループは、割り込み処理、すなわち、操作入力部１２０からのユーザによる指示によりアプリ画面表示に切替えるようにしてもよい。

以上のように本実施例によれば、ＨＭＤ装着時に寝てしまい、その後覚醒した場合であっても、ユーザは警告メッセージを確認することができ、所定アイコンを注視することで外界映像に自動的に切り換えることが出来る。

なお、所定アイコンＯ１１は、ユーザの睡眠状態と覚醒状態との遷移によらず、アプリ実行中は常にアプリ映像ＡＰ１１に重畳して表示しておくようにしてもよい。即ち、長時間アプリ映像ＡＰ１１により視界が実空間から遮断されているとユーザが不安を感じる場合もあるため、ユーザがいつでも所定アイコンＯ１１に視線を合わせることにより外界を確認できるようにすれば、危険を回避可能となる。

また、上記した各実施例では、ＨＭＤがビデオ透過型の密閉型のＨＭＤである場合について説明を行った。しかしながら、ＨＭＤが光学透過型のＨＭＤであっても、アプリの実行により生成されたオブジェクトが表示部の多くを覆ってしまう場合には、上記した各実施例で説明した処理と同様の処理を行うことにより、ＨＭＤ装着時に寝てしまい、その後覚醒した場合に、アプリ画面（アプリ映像）によって実空間上の視界を遮られることなく、装着者（ユーザ）は自身の周囲（実空間）の状況を確認することが可能となる。なお、ＨＭＤが光学透過型のＨＭＤである場合、上記した各実施例におけるビデオスルー映像（外部カメラ映像）に切り替える処理は、アプリ映像の表示を停止する処理に変更すればよい。

以上実施例について説明したが、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

１００：ＨＭＤ（ヘッドマウントディスプレイ装置）、１０１：主制御部、１０３：ＲＡＭ、１１０：ストレージ部、１２０：操作入力部、１２１：操作キー、１２２：タッチセンサ、１３０：画像処理部、１３１：表示部、１３２：画像信号処理部、１３３：第一画像入力部、１３４：第二画像入力部、１４０：音声処理部、１４１：音声出力部、１４２：音声信号処理部、１４３：音声入力部、１５１：位置情報取得部、１６０：センサ部、１７０：通信部、１８０：拡張インタフェース部、１００１：基本動作プログラム、１００２：アプリケーション、１００９：各種データ記憶領域、１１０１：基本動作機能部、１１１１：両眼状態確認部、１１１２：通信状態確認部、１１１３：アプリ制御部、１１１４：表示制御部、１１９９：一時記憶領域、Ｕ１：ユーザ、Ｍ１１、Ｍ１２：警告メッセージ、ＡＰ１１：アプリ画面（アプリ映像）、Ｏ１１、Ｏ１２：所定アイコン、ＯＷ１１：外界映像。

Claims

外界画像を第一画像入力部で取得して表示部に表示するビデオ透過型のヘッドマウントディスプレイ装置であって、
装着者の両眼の状態の画像を取得する第二画像入力部と、
制御部を有し、
前記制御部は、
前記第二画像入力部で取得した装着者の両眼の状態の画像から、所定時間以上両眼を閉じた状態が継続しない場合には装着者は覚醒状態であると判断し、所定時間以上両眼を閉じた状態が継続した場合には装着者は睡眠状態であると判断し、
前記覚醒状態から前記睡眠状態となった場合は、前記表示部の表示を、前記覚醒状態で表示していたアプリケーション画像から無映像画面に切り替え、その後、前記睡眠状態から前記覚醒状態になった場合、前記表示部の表示を、前記無映像画面から前記第一画像入力部で取得した外界画像に切り替えることを特徴とするヘッドマウントディスプレイ装置。
外界画像を第一画像入力部で取得して表示部に表示するビデオ透過型のヘッドマウントディスプレイ装置であって、
装着者の両眼の状態の画像を取得する第二画像入力部と、
制御部を有し、
前記制御部は、
前記第二画像入力部で取得した装着者の両眼の状態の画像から、所定時間以上両眼を閉じた状態が継続しない場合には装着者は覚醒状態であると判断し、所定時間以上両眼を閉じた状態が継続した場合には装着者は睡眠状態であると判断し、
前記覚醒状態から前記睡眠状態となった場合は、前記表示部の表示として、前記覚醒状態で表示していたアプリケーション画像を継続表示し、その後、前記睡眠状態から前記覚醒状態になった場合、前記表示部の表示を、前記アプリケーション画像から前記第一画像入力部で取得した外界画像に切り替えることを特徴とするヘッドマウントディスプレイ装置。
外界画像を第一画像入力部で取得して表示部に表示するビデオ透過型のヘッドマウントディスプレイ装置であって、
装着者の両眼の状態の画像を取得する第二画像入力部と、
制御部を有し、
前記制御部は、
前記第二画像入力部で取得した装着者の両眼の状態の画像から、所定時間以上両眼を閉じた状態が継続しない場合には装着者は覚醒状態であると判断し、所定時間以上両眼を閉じた状態が継続した場合には装着者は睡眠状態であると判断し、
前記覚醒状態から前記睡眠状態となった場合は、前記表示部の表示を、前記覚醒状態で表示していたアプリケーション画像から前記第一画像入力部で取得した外界画像に切り替えることを特徴とするヘッドマウントディスプレイ装置。