JP5212155B2

JP5212155B2 - ヘッドマウントディスプレイ

Info

Publication number: JP5212155B2
Application number: JP2009029086A
Authority: JP
Inventors: 弘崇朝倉
Original assignee: Brother Industries Ltd
Current assignee: Brother Industries Ltd
Priority date: 2009-02-10
Filing date: 2009-02-10
Publication date: 2013-06-19
Anticipated expiration: 2029-02-10
Also published as: JP2010187132A

Description

本発明は、ヘッドマウントディスプレイに関するものであり、特に、画像情報に応じた画像光を観察者の眼に投射してその観察者に画像光に応じた画像を視認させるヘッドマウントディスプレイに関するものである。

従来より、動画ファイル、静止画ファイル、文章ファイル等の各種コンテンツ情報を記憶する記憶手段と、この記憶手段に記憶したコンテンツ情報を再生する再生手段とを備えた情報処理装置が知られている。

この情報処理装置の代表例としては、パーソナルコンピュータがある。一般にパーソナルコンピュータは、前記記憶手段や前記再生手段等を備えたコンピュータ本体と、このコンピュータ本体に所定の動作を行わせるために使用者が操作するキーボードやマウス等の機械的な操作手段と、再生手段により再生されたコンテンツ情報を画像として表示するディスプレイ等とから構成されている。

この画像情報を表示するディスプレイとしては、ＣＲＴ（Cathode Ray Tube）ディスプレイや液晶ディスプレイ等の卓上に載置して使用する表示装置が一般的であったが、液晶表示素子を画像表示デバイスとして用い、観察者が頭部に装着した状態で画像を視認することができるヘッドマウントディスプレイ（以下、「ＨＭＤ」と略す）等も開発されてきていた。

このようなＨＭＤにおいては、例えば、特許文献１に示すように、観察者が睡眠状態となったことを検知して、その時点で再生していた画像を停止させ、電源をオフするものが開示されている。また、例えば、特許文献２に示すように、睡眠状態から覚醒状態になったことを検知して、睡眠状態となった時点からの画像を再生するものも開示されている。

特開平１１−２４９０６４号公報特開２００６−２１１０６１号公報

ところが、観察者が画像を視認している最中に眠くなり、その後に完全に睡眠状態となった場合には、その睡眠状態が検知された以前において記憶が定かではないことが多く、その後に画像を再生する場合には、睡眠状態が検知される前の眠くなって以降の画像も再生したいと思われるが、上記従来の装置では眠くなって以降の画像を探して再生しなければならず、煩雑であった。

本発明は、上述したような課題に鑑みてなされたものであり、観察者が睡眠状態となった場合であっても、その後において睡眠状態ではなくなったときにおける煩雑さを抑制することができるヘッドマウントディスプレイを提供することを目的とする。

以上のような目的を達成するために、本発明は、以下のようなものを提供する。

すなわち、請求項１記載の本発明では、画像情報に応じた画像光を観察者の眼に投射して当該観察者に前記画像光に応じた画像を視認させる表示手段を備えたヘッドマウントディスプレイにおいて、観察者の眼の開閉状態を検知する開閉状態検知手段と、前記開閉状態検知手段によって検知された観察者の眼の開閉状態に基づいて、観察者の睡眠を検知する睡眠検知手段と、前記表示手段に画像を表示させる制御を行い、前記睡眠検知手段によって観察者の睡眠が検知された後に当該観察者の睡眠が検知されなくなった場合、少なくとも当該観察者の睡眠が検知された時点の所定時間前から、当該観察者の睡眠が検知された時点までに表示されていた画像を含む画像を表示させうる制御を行う表示制御手段と、を備え、前記所定時間は観察者の睡眠状態に応じて決定されることを特徴とするものである。

また、請求項２記載の本発明では、請求項１に記載の発明において、前記睡眠検知手段は、前記開閉状態検知手段によって検知された観察者の眼の開閉状態に基づいて、前記観察者の睡眠状態として、前記観察者の観察者の睡眠度合いを検知し、前記睡眠検知手段によって検知された観察者の睡眠度合いに基づいて、前記所定時間を決定する所定時間決定手段を備えたことを特徴とするものである。

また、請求項３記載の本発明では、請求項２に記載の発明において、前記睡眠検知手段は、前記開閉状態検知手段によって検知された観察者の眼の開閉時間の比に基づいて、観察者の睡眠度合いを検知することを特徴とするものである。

また、請求項４記載の本発明では、請求項２に記載の発明において、前記睡眠検知手段は、前記開閉状態検知手段によって検知された観察者の眼の開閉周期又は開閉量に基づいて、観察者の睡眠度合いを検知することを特徴とするものである。

また、請求項５記載の本発明では、請求項１から４のいずれかに記載の発明において、観察者によって操作可能な操作手段と、前記操作手段の操作に応じて、前記所定時間の基準を設定する所定時間設定手段と、を備えたことを特徴とするものである。

また、請求項６記載の本発明では、請求項１から４のいずれかに記載の発明において、観察者によって操作可能な操作手段と、前記操作手段の操作に応じて、前記睡眠検知手段によって観察者の睡眠が検知される基準を設定する睡眠検知設定手段と、を備えたことを特徴とするものである。

また、請求項７記載の本発明では、請求項１から６のいずれかに記載の発明において、前記睡眠検知手段によって観察者の睡眠が検知された時点の所定時間前に表示されていた画像から、当該観察者の睡眠が検知された時点までの画像の情報を少なくとも記憶する画像記憶手段を備えたことを特徴とするものである。

また、請求項８記載の本発明では、請求項１から６のいずれかに記載の発明において、ネットワークを介して通信可能な外部装置から画像の情報を受信する受信手段と、前記外部装置に対して、前記睡眠検知手段によって観察者の睡眠が検知された時点の所定時間前に表示されていた画像から、当該観察者の睡眠が検知された時点までの画像の情報を少なくとも記憶する旨の指示を行う画像記憶指示手段と、を備えたことを特徴とするものである。

本発明によれば、観察者が画像の視認中に睡眠状態となった場合であっても、その後、睡眠状態ではなくなったときに、睡眠状態となった時に視認できなかった画像、特に眠くなり始めた頃の画像を改めて視認するときの煩雑さを抑制することができる。

本発明の一実施形態に係るＨＭＤを示す説明図である。本発明の一実施形態に係るＨＭＤを示す説明図である。本発明の一実施形態に係るＨＭＤの電気的及び光学的構成を示す説明図である。本発明の一実施形態に係るＨＭＤの機能構成を示す説明図である。本発明の一実施形態に係るＨＭＤの機能を示す説明図である。本発明の一実施形態に係るＨＭＤの機能を示す説明図である。ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。本発明の一実施形態に係るＨＭＤの機能構成を示す説明図である。ＨＭＤにおいて制御を行う際に実行する処理の一例を示すフローチャートである。本発明の一実施形態に係る情報閲覧システムを示す説明図である。

以下、本発明の一実施形態について、図面を参照して具体的に説明する。図１及び図２は、本実施形態に係るヘッドマウントディスプレイ（以下、「ＨＭＤ」ということがある。）を示す説明図である。

［ＨＭＤ概観］
図１に示すように、本実施形態に係るＨＭＤ１は、観察者Ｐが頭部に装着した状態で、動画、静止画、文章等の各種コンテンツ情報を画像としてその観察者Ｐに視認可能に表示する。

このＨＭＤ１は、内部又は外部に記憶されている各種コンテンツ情報を画像信号に変換し、この画像信号に基づいて生成した光（以下、「画像光」という。）を観察者Ｐの眼に導いて走査する光走査部１０（図３参照）を備え、観察者Ｐが頭部に装着した状態で光走査部１０を動作させることによって、画像光を観察者の網膜上で２次元方向に走査させることにより、観察者Ｐにコンテンツ情報に対応する画像（以下、単に「コンテンツ」という。）を視認させることができるように構成している。なお、このＨＭＤ１の具体的構成については、後に詳述する。

また、このＨＭＤ１は、コンテンツを表示している最中であっても、観察者Ｐの視野の中で、そのコンテンツを表示している領域以外の領域では、観察者Ｐが外界を視認できるように構成している。

すなわち、このＨＭＤ１は、外光を透過しつつ、コンテンツ情報に応じた画像光を観察者Ｐの眼に投射するシースルー型のヘッドマウントディスプレイであるが、これに限らない。

また、本実施形態のＨＭＤ１は、図２に示すように、観察者Ｐの眼を含む範囲を撮像する撮像手段としてのＣＣＤ（Charge Coupled Devices）センサ２を備えており、観察者Ｐの眼の画像を検出するように構成されている。

具体的には、ＨＭＤ１の内部には、画像光Ａを出射する光路上にハーフミラー９６が配置されている。また、ＨＭＤ１の外部にもハーフミラー９７が配置されている。ハーフミラー９６は、画像光Ａをハーフミラー９７に向かって透過させる。また、ハーフミラー９７は、ＨＭＤ１から出射された画像光Ａを観察者Ｐの眼Ｅに向かって反射させる。これによって、画像光Ａが観察者Ｐに視認されることとなる。また、観察者Ｐの眼Ｅ近傍の像は、ハーフミラー９７、ハーフミラー９６の順に反射され、ＣＣＤセンサ２に撮像光Ｂとして入射する。このため、ＣＣＤセンサ２は、観察者Ｐの眼Ｅの近傍を含む範囲を撮像可能となる。

なお、図３に示すように、ＨＭＤ１は、外界の明るさを検出する輝度センサ８と、ＣＣＤセンサ２の撮像領域を照らす照明手段としてのＬＥＤ（Light Emitting Diode）３と、を備えており、輝度センサ８により外界の明るさが所定の明るさを下回ったことが検知されたときに、ＬＥＤ３がＣＣＤセンサ２の撮像領域を照らすこととなる。

［ＨＭＤ電気的構成］
ここで、本実施形態に係るＨＭＤ１の電気的構成等について、図３を参照して説明する。図３は、本実施形態に係るＨＭＤ１の電気的及び光学的構成を示す説明図である。

図３に示すように、このＨＭＤ１は、当該ＨＭＤ１全体の動作を統括制御する制御部１１０と、この制御部１１０から供給される画像信号に基づいて生成した画像光を２次元的に走査することにより画像を表示することによって、画像信号に応じた画像を視認させる光走査部１０と、を備えている。

光走査部１０は、この制御部１１０から供給される画像信号をドットクロック毎に読み出し、読み出した映像信号に応じて強度変調されたレーザビーム（画像光）を生成して出射する画像光生成部２０を備え、さらに、その画像光生成部２０と観察者Ｐの眼Ｅとの間には、画像光生成部２０で生成され、光ファイバ１００を介して出射される画像光を平行光化するコリメート光学系６１と、このコリメート光学系６１で平行光化された画像光を画像表示のために水平方向（第１方向）に走査する第１光走査部として機能する水平走査部７０と、水平走査部７０で水平方向に走査された画像光を垂直方向（第１方向と略直交する第２方向）に走査する第２光走査部として機能する垂直走査部８０と、水平走査部７０と垂直走査部８０との間に設けられたリレー光学系７５と、このように水平方向と垂直方向に走査（２次元的に走査）された画像光を瞳孔Ｅａへ出射するためのリレー光学系９０と、を備えている。

また、画像光生成部２０には、パーソナルコンピュータ（図示略）等の外部装置から供給される画像信号が、インターフェース１０４と制御部１１０とを介して入力され、それに基づいて画像光を出力するための要素となる各信号等を発生する信号処理回路２１が設けられ、この信号処理回路２１において、青（Ｂ）、緑（Ｇ）、赤（Ｒ）の各画像信号２２ａ〜２２ｃが生成され、出力される。また、信号処理回路２１は、水平走査部７０で使用される水平駆動信号２３と、垂直走査部８０で使用される垂直駆動信号２４とをそれぞれ出力する。

さらに、画像光生成部２０は、信号処理回路２１からドットクロック毎に出力される３つの画像信号（Ｂ，Ｇ，Ｒ）２２ａ〜２２ｃをそれぞれ画像光にする画像光出力部として機能する光源部３０と、これらの３つの画像光を１つの画像光に結合して任意の画像光を生成するための光合成部４０を備えている。

光源部３０は、青色の画像光を発生させるＢレーザ３４及びＢレーザ３４を駆動するＢレーザドライバ３１と、緑色の画像光を発生させるＧレーザ３５及びＧレーザ３５を駆動するＧレーザドライバ３２と、赤色の画像光を発生させるＲレーザ３６及びＲレーザ３６を駆動するＲレーザドライバ３３とを備えている。なお、各レーザ３４、３５、３６は、例えば、半導体レーザや高調波発生機構付き固体レーザとして構成することが可能である。なお、半導体レーザを用いる場合は駆動電流を直接変調して、画像光の強度変調を行うことができるが、固体レーザを用いる場合は、各レーザそれぞれに外部変調器を備えて画像光の強度変調を行う必要がある。

光合成部４０は、光源部３０から入射する画像光を平行光にコリメートするように設けられたコリメート光学系４１、４２、４３と、このコリメートされた画像光を合成するためのダイクロイックミラー４４、４５、４６と、合成された画像光を光ファイバ１００に導く結合光学系４７とを備えている。

各レーザ３４、３５、３６から出射した画像光は、コリメート光学系４１、４２、４３によってそれぞれ平行化された後に、ダイクロイックミラー４４、４５、４６に入射される。その後、これらのダイクロイックミラー４４、４５、４６により、各画像光が波長に関して選択的に反射・透過される。

具体的には、Ｂレーザ３４から出射した青色画像光は、コリメート光学系４１によって平行光化された後に、ダイクロイックミラー４４に入射される。Ｇレーザ３５から出射した緑色画像光は、コリメート光学系４２を経てダイクロイックミラー４５に入射される。Ｒレーザ３６から出射した赤色画像光は、コリメート光学系４３を経てダイクロイックミラー４６に入射される。

それら３つのダイクロイックミラー４４、４５、４６にそれぞれ入射した３原色の画像光は、波長選択的に反射または透過して結合光学系４７に達し、集光され光ファイバ１００へ出力される。

水平走査部７０及び垂直走査部８０は、光ファイバ１００から入射された画像光を画像として投影可能な状態にするために、水平方向と垂直方向に走査して走査画像光とするものである。

水平走査部７０は、画像光を水平方向に走査するための反射面を有する共振型偏向素子７１と、この共振型偏向素子７１を共振させ、共振型偏向素子７１の反射面を揺動させる駆動信号を発生する駆動信号発生器としての水平走査駆動回路７２と、共振型偏向素子７１から出力される変位信号に基づいて、共振型偏向素子７１の反射面の揺動範囲及び揺動周波数等の揺動状態を検出する水平走査角検出回路７３とを有している。

本実施形態において、水平走査角検出回路７３は、検出した共振型偏向素子７１の揺動状態を示す信号を制御部１１０へ入力するようにしている。

垂直走査部８０は、画像光を垂直方向に走査するための偏向素子８１と、この偏向素子８１を駆動させる垂直走査制御回路８２と、この垂直走査制御回路８２による反射面の揺動範囲及び揺動周波数等の揺動状態を検出する垂直走査角検出回路８３とを備えている。

また、水平走査駆動回路７２と垂直走査制御回路８２は、信号処理回路２１から出力される水平駆動信号２３と垂直駆動信号２４に基づいてそれぞれ駆動し、垂直走査角検出回路８３は、検出した偏向素子８１の揺動状態を示す信号を制御部１１０へ入力するようにしている。

そして、後に詳述する制御部１１０は、信号処理回路２１の動作を制御することによって、これら水平駆動信号２３と垂直駆動信号２４とを調整することによって、水平方向の走査と垂直方向の走査を同期させて、適正に２次元走査が行われる。

また、水平走査部７０と垂直走査部８０との間での画像光を中継するリレー光学系７５を備えており、共振型偏向素子７１によって水平方向に走査された光は、リレー光学系７５によって偏向素子８１の反射面に収束され、偏向素子８１によって垂直方向に走査されて、２次元的に走査された走査画像光として、リレー光学系９０へ出射される。

リレー光学系９０は、正の屈折力を持つレンズ系９１、９４を有している。垂直走査部８０から出射された表示用の走査画像光は、レンズ系９１によって、それぞれの画像光がその画像光の中心線を相互に略平行にされ、かつそれぞれ収束画像光に変換される。そして、レンズ系９４によってそれぞれほぼ平行な画像光となると共に、これらの画像光の中心線が観察者の瞳孔Ｅａに収束するように変換される。なお、このリレー光学系９０と観察者の瞳孔Ｅａとの間には、上述したハーフミラー９６、９７が配置されている。

なお、本実施形態においては、光ファイバ１００から入射された画像光を、水平走査部７０で水平方向に走査した後、垂直走査部８０によって垂直方向に走査することとしたが、水平走査部７０と垂直走査部８０との配置を入れ替え、垂直走査部８０によって垂直方向に走査した後、水平走査部７０で水平方向に走査するようにしてもよい。

また、制御部１１０は、ＣＰＵ（Central Processing Unit）１０１と、ＲＯＭ（Read Only Memory）としての不揮発性メモリであるフラッシュメモリ（図中においてはFlash Memoryと示す）１０２と、ＲＡＭ（Random Access Memory）１０３と、表示させる画像データを記憶しておくＶＲＡＭ（Video Random Access Memory）１０５とを備えている。

そして、これらＣＰＵ１０１、フラッシュメモリ１０２、ＲＡＭ１０３、ＶＲＡＭ１０５は、データ通信用のバスにそれぞれ接続されており、このデータ通信用のバスを介して各種情報の送受信を行う。

また、この制御部１１０は、当該ＨＭＤ１の電源スイッチＳＷ、観察者Ｐの眼を含む画像を撮像するＣＣＤセンサ２、外界の明るさ（輝度）を検知する輝度センサ８（例えば、受光センサ、フォトセンサなど）、輝度センサ８により外界の明るさが所定の明るさを下回ったことが検知されたときに、ＣＣＤセンサ２の撮像領域を照らすＬＥＤ３、観察者によって操作可能な操作スイッチ７、他の装置との通信を制御するための通信制御回路９、パーソナルコンピュータ等の外部装置と接続可能なインターフェース１０４とも接続されている。なお、このＣＣＤセンサ２と観察者Ｐの眼との間には、上述したハーフミラー９７、ハーフミラー９６が配置されている。

ＣＰＵ１０１は、フラッシュメモリ１０２に記憶されている各種情報処理プログラムを実行することにより、ＨＭＤ１を構成する図示しない各種回路を動作させて、ＨＭＤ１が備える各種機能を実行させる演算処理装置である。

フラッシュメモリ１０２は、ＨＭＤ１により表示するコンテンツの再生、停止、早送り、巻き戻し等の表示制御を行う際に画像光生成部２０、水平走査部７０、垂直走査部８０等を動作させるための情報処理プログラム等、制御部１１０がＨＭＤ１全体の動作を統括制御するためにＣＰＵ１０１により実行される各種情報処理プログラムを記憶している。

さらに、このフラッシュメモリ１０２には、制御部１１０がインターフェース１０４を介して他の装置から供給される画像等が記憶されるが、処理速度や容量の関係上、画像圧縮して記憶される場合が多い。

また、制御部１１０は、画像信号をインターフェース１０４から受信し、受信した信号に基づく画像データをＶＲＡＭ１０５の所定領域に展開して一時記憶する。ＶＲＡＭ１０５は、表示などの高速処理に用い、数フレーム程度の画像しか記憶できないものが一般的であるので、制御部１１０は、ＶＲＡＭ１０５に展開された画像データを順次ＲＡＭ１０３、又は、ＲＡＭ１０３を介して更に大容量のフラッシュメモリ１０２に記憶する。これによって、制御部１１０は、画像信号を外部から受信し、ＲＡＭ１０３又はフラッシュメモリ１０２に画像データとして記憶することとなる。

また、制御部１１０は、受信した画像信号に基づく画像を表示させる場合には、ＶＲＡＭ１０５に展開した画像データに応じた画像信号を光走査部１０に供給する。これによって、制御部１１０は、外部から受信した画像信号を光走査部１０に送信することとなる。

一方、制御部１１０は、フラッシュメモリ１０２に記憶した画像データに基づく画像を表示させる場合には、記憶した画像データをＲＡＭ１０３を介してＶＲＡＭ１０５の所定領域に展開して一時記憶し、その画像データに応じた画像信号を光走査部１０に供給する。これによって、制御部１１０は、フラッシュメモリ１０２に記憶した画像データに基づく画像信号を光走査部１０に送信することとなる。なお、長時間の画像を記憶することを想定しているため、フラッシュメモリ１０２には画像データを圧縮して記憶している。

なお、本実施形態においては、画像信号を受信し、その画像信号に基づく画像データを記憶し、再度、画像信号を光走査部１０に送信したが、これに限らず、例えば、ＭＰＥＧ（Moving Picture Experts Group）のようなデジタル信号で送受信してもよい。

また、ＶＲＡＭ１０５など、一時的に画像を記憶するメモリとしては、ＦＩＦＯ（First In First OUT）型メモリやデュアルポートＲＡＭなどの画像の読み書きを同時に行えるタイプのＲＡＭで構成することが好ましい。

［ＨＭＤ機能構成］
ここで、本実施形態に係るＨＭＤ１の機能構成等について、図４を参照して説明する。図４は、本実施形態に係るＨＭＤ１の機能構成を示す説明図である。

図４に示すように、このＨＭＤ１におけるＣＣＤセンサ２は、撮像手段２０１を有している。この撮像手段２０１は、観察者Ｐの眼のうち少なくとも一部を撮像する。そして、撮像手段２０１は、制御部１１０にその撮像データを供給することとなる。

そして、ＨＭＤ１における制御部１１０は、開閉状態検知手段２０２と、睡眠検知手段２０３と、所定時間決定手段２０４と、画像記憶手段２０５と、表示制御手段２０６と、を有している。ＨＭＤ１の制御部１１０において、後述のＣＰＵ１０１が所定の情報処理プログラムを実行することによって、開閉状態検知手段２０２、睡眠検知手段２０３、所定時間決定手段２０４、画像記憶手段２０５、表示制御手段２０６として制御部１１０が機能することとなる。

開閉状態検知手段２０２は、撮像手段２０１による撮像領域内における画像データに基づいて、観察者の眼の開閉状態を検知する。

睡眠検知手段２０３は、開閉状態検知手段２０２によって検知された観察者の眼の開閉状態（開閉時間の比）に基づいて、観察者の睡眠を検知する。

所定時間決定手段２０４は、睡眠検知手段２０３によって検知された観察者の睡眠状態に応じた所定時間を決定する。

画像記憶手段２０５は、上述したように所定の情報処理プログラムを実行するＣＰＵ１０１とＲＡＭ１０３とＶＲＡＭ１０５とフラッシュメモリ１０２が相当し、表示手段２０７に表示されている画像を主にフラッシュメモリ１０２に記憶する。特に、画像記憶手段２０５は、表示されている入力画像を逐次記憶することとなり、睡眠検知手段２０３によって観察者Ｐの睡眠が検知された時点の所定時間前から睡眠検知時点までに表示されていた画像を少なくとも事前に記憶する。

表示制御手段２０６は、表示手段２０７に画像を表示させる制御を行う。特に、表示制御手段２０６は、睡眠検知手段２０３によって観察者の睡眠が検知された後にその観察者の睡眠が検知されなくなったときには、少なくともその観察者の睡眠が検知された時点の所定時間前から当該観察者の睡眠が検知された時点までに表示された画像を含む画像を表示手段２０７に表示させる制御を行う。

このＨＭＤ１における操作スイッチ７は、観察者によって操作可能な操作手段２０８を有している。

また、このＨＭＤ１における光走査部１０は、表示手段２０７として機能する。この表示手段２０７は、外光を透過しつつ、画像情報（表示情報）に応じた画像光を観察者の眼に投射してその観察者に画像光に応じた画像を視認させる。

ここで、本実施形態に係るＨＭＤ１における機能について、図５及び図６を参照して説明する。図５及び図６は、本実施形態に係るＨＭＤ１の機能を示す説明図である。

このＨＭＤ１においては、観察者Ｐの眼の開閉状態によって観察者Ｐが睡眠状態であるか否かが判定可能である。図５（Ａ）に示すように、観察者Ｐの眼の開閉時間の比が所定比以上である場合には、覚醒状態と判定され、観察者Ｐの眼の開閉時間の比が所定比未満である場合には、睡眠状態と判定される。

また、本実施形態においては、撮像した画像から上下の瞼間の距離又は上下の瞼に挟まれた瞳の面積に基づいて睡眠状態であるか否かを判定するが、これに限らず、例えば、この瞼間の距離や瞳の面積を、各個人のそれらの最大値と比較した情報に基づいて、睡眠状態であるか否かを判定してもよく、その瞼の距離や瞳の面積などに個人差がある場合であっても睡眠状態を正確に検知し易く、更には、眼の細い（小さい）人に対して睡眠状態を正確に検知し易くなる。

また、上述した実施形態においては、観察者Ｐの眼が開いている時間と閉じている時間との比が所定比未満である場合に睡眠状態となったと検知したが、これに限らず、例えば、観察者Ｐの眼の開閉周期や開閉量によって睡眠状態となったと検知してもよい。特に、詳しく第二の実施形態で説明する睡眠状態１（うとうと状態）となったことを検知するのに用いてもよい。また、観察者Ｐの眼を半開きにして睡眠状態に入る場合もあるため、観察者Ｐの眼がある程度閉じた状態（所定の開閉面積の比であり、所謂「半開き」の状態）でその開閉周期が極端に長い場合も睡眠状態としてもよい。

また、このように検知された状態に応じて、以下のように画像が記憶され、再生されることとなる。即ち、図６（Ａ）左図に示すように、まず覚醒状態であると判定された状態で、所定の動画像（映像）コンテンツの画像（信号、情報、データ）が入力されるとその画像の記憶が開始され、所定時間Ｔａまで順次入力される画像の記憶が継続して行われる。その後、所定時間Ｔａの経過後が覚醒状態であれば、図６（Ａ）右図に示すように、古い画像から逐次消去されることで、所定時間Ｔａ前から現在までの記憶が少なくとも保持される。なお、現在の所定時間Ｔａ前よりも前に表示されていた画像が記憶されるようにしてもよく、その場合は、所定時間Ｔａ前の画像に関する情報（記憶位置）が記憶され、この情報に基づいて、改めて、この動画像コンテンツを再生する場合に前記所定時間Ｔａ前からの画像再生が容易となる。

また、覚醒状態から睡眠状態になったと判定された場合には、図６（Ｂ）に示すように、睡眠状態となったと検知された時点から所定時間Ｔａ前までの時間に記憶された画像の消去が禁止され、その後、図６（Ｃ）に示すように、時間が経過し、睡眠状態が継続されても、睡眠状態となったと検知された時点の所定時間Ｔａ前から睡眠状態となったと検知された時点まで表示された画像の記憶が維持される。そして、睡眠状態から覚醒状態となった時点以降に、自動的に又は画像の再生指示により、その睡眠状態となったと検知された時点の所定時間Ｔａ前からの画像が順次再生されることとなる。なお、睡眠状態となったと検知されてからの画像は、フラッシュメモリ１０２等の記憶手段の残りの容量に応じて引き続き記憶しても、記憶を止めても構わない。睡眠状態となったと検知されてからの画像を引き続き記憶する場合には、睡眠状態から覚醒状態となった時点以降に、改めて睡眠状態時に視聴できなかった画像も含めた再生指示があれば、その睡眠状態となったと検知された時点の所定時間Ｔａ前の画像から睡眠状態となった後に記憶された画像まで順次再生されることとなる。

［制御動作］
次に、図７及び図８のフローチャートを参照して、ＨＭＤ１の動作について説明する。図７及び図８は、ＨＭＤ１において実行される処理の動作を示すフローチャートである。特に、図７に示すメイン処理は、ＨＭＤ１の電源がオンされた際に制御部１１０によって実行される。

本実施形態のＨＭＤ１において、制御部１１０は、フラッシュメモリ１０２内に記憶している情報処理プログラムを実行することによって、上記した開閉状態検知手段２０２、睡眠検知手段２０３、所定時間決定手段２０４、画像記憶手段２０５、表示制御手段２０６等として機能することとなる。

［メイン処理］
最初に、図７に示すように、ＨＭＤ１に電源が投入されると、制御部１１０は、初期設定を行う（ステップＳ１１）。この処理において、制御部１１０は、ＲＡＭアクセス許可、作業領域の初期化等を実行する。この処理が終了した場合には、ステップＳ１２に処理を移す。

ステップＳ１２において、制御部１１０は、再生中であるか否かを判定する。この処理において、制御部１１０は、インターフェース１０４を介する画像信号の入力の有無に応じて、ＨＭＤ１において動画像コンテンツを再生している最中であるか否かを判定する。制御部１１０は、再生中であると判定すると（ステップＳ１２：ＹＥＳ）、ステップＳ１３に処理を移す。一方、制御部１１０は、再生中ではないと判定すると（ステップＳ１２：ＮＯ）、ステップＳ１３、ステップＳ１４を実行することなく、ステップＳ１５に処理を移す。

ステップＳ１３において、制御部１１０は、今現在再生している画像を保存（記憶）する。具体的には、制御部１１０は、逐次、インターフェース１０４から画像信号を受信し、一度ＶＲＡＭ１０５に画像データとして展開し、その画像データに応じた画像信号を光走査部１０に送信する一方で、この画像データを、ＶＲＡＭ１０５からフラッシュメモリ１０２又はＲＡＭ１０３に記憶する。制御部１１０は、このような処理を実行することによって、画像記憶手段２０５、表示制御手段２０６として機能する。この処理が終了した場合には、ステップＳ１４に処理を移す。

また、本実施形態においては、覚醒状態から睡眠状態となった場合でも、入力されている画像の記憶を継続するとともに、その画像の再生を一時停止しない構成であったが、これに限らず、例えば、画像の記憶や再生を一時停止してもよい。

ステップＳ１４において、制御部１１０は、睡眠検知処理を実行する。詳しくは図８を用いて後述するが、制御部１１０は、観察者Ｐの眼の開閉状態を一定時間毎にサンプリングし、検知することによって、観察者Ｐが睡眠状態となっているか否かを検知することとなる。この処理が終了した場合には、ステップＳ１５に処理を移す。

ステップＳ１５において、制御部１１０は、操作検知処理を実行する。この処理において、制御部１１０は、操作手段２０８としての操作スイッチ７の操作に応じた制御を行う。具体的には、制御部１１０は、操作スイッチ７の操作に応じて画像を再生する場合には、その指定された画像を再生し、同じように、制御部１１０は、操作スイッチ７の操作に応じて、再生を停止する場合には、その指定された画像の再生を停止することとなる。この処理が終了した場合には、ステップＳ１６に処理を移す。

ステップＳ１６において、制御部１１０は、その他制御処理を実行する。そして、制御部１１０は、電源オフであるか否かを判定する（ステップＳ２０）。この処理において、制御部１１０は、電源スイッチＳＷの操作等に応じて、電源オフであるか否かを判定することとなる。制御部１１０は、電源オフであると判定すると（ステップＳ２０：ＹＥＳ）、メイン処理を終了する。一方、制御部１１０は、電源オフではないと判定すると（ステップＳ２０：ＮＯ）、再度、ステップＳ１２に処理を移す。これによって、制御部１１０は、電源オフとなるまで、ステップＳ１２からステップＳ１６を繰り返し実行することとなる。

［睡眠検知処理］
図７のステップＳ１４において実行されるサブルーチンについて図８を用いて説明する。

最初に、図８に示すように、制御部１１０は、瞬き情報サンプリング処理を実行する（ステップＳ３１）。この処理において、制御部１１０は、撮像手段２０１としてのＣＣＤセンサ２から観察者Ｐの眼を撮像した画像信号を受け取り、観察者Ｐの眼の画像データを抽出し、取得する。そして、制御部１１０は、観察者Ｐの眼の画像データから観察者Ｐの眼が開放状態であるか閉鎖状態であるかを例えば画像１フレームにおいて判定する。そして、詳しく後述するように、制御部１１０は、十分な時間が経過するまで一定時間毎に、繰り返し上述した判定を行い、観察者Ｐの眼の開閉時間の比を計数し、ＲＡＭ１０３の所定領域にセットすることとなる。この処理が終了した場合には、ステップＳ３２に処理を移す。

そして、制御部１１０は、上述した判定を行うのに十分な時間が経過されたか否かを判定する（ステップＳ３２）。この処理において、制御部１１０は、上述した判定を行うのに十分な時間が経過されたと判定すると（ステップＳ３２：ＹＥＳ）、ステップＳ３３に処理を移す。一方、制御部１１０は、上述した判定を行うのに十分な時間が経過されていないと判定すると（ステップＳ３２：ＮＯ）、本サブルーチンの処理を終了する。

このように、制御部１１０は、観察者Ｐの眼の開閉状態を検知することとなる。制御部１１０は、このような処理を実行することによって、開閉状態検知手段２０２として機能する。

ステップＳ３３において、制御部１１０は、観察者Ｐの眼の開閉時間の比が所定比以上であるか否かを判定する。この処理において、制御部１１０は、ステップＳ３１においてサンプリングした観察者Ｐの眼の開閉時間の比と、予め設定されている所定比とを読み出し、比較することによって、観察者Ｐの眼の開閉時間の比が所定比以上であるか否かを判定することとなる。なお、この開閉時間の比は、大きくなると眼を開いている比率が長くなるように設定されており、所定比以上であると判定されると、観察者Ｐが覚醒状態であると認識され、所定比未満であると判定されると、観察者Ｐが睡眠状態であると認識される。

制御部１１０は、観察者Ｐの眼の開閉時間の比が所定比以上であると判定すると（ステップＳ３３：ＹＥＳ）、ステップＳ３４に処理を移す。一方、制御部１１０は、観察者Ｐの眼の開閉時間の比が所定比未満であると判定すると（ステップＳ３３：ＮＯ）、ステップＳ３６に処理を移す。

このように、制御部１１０は、検知された観察者Ｐの眼の開閉状態（開閉時間の比）に基づいて、観察者Ｐの睡眠を検知することとなる。制御部１１０は、このような処理を実行することによって、睡眠検知手段２０３として機能する。

ステップＳ３４において、制御部１１０は、所定時間Ｔａ前より前の画像を記憶済みであるか否かを判定する。すなわち、制御部１１０は、所定時間Ｔａ前より前に再生された画像データがフラッシュメモリ１０２又はＲＡＭ１０３に記憶されているか否かを判定する。この処理において、所定時間Ｔａ前より前の画像を記憶済みであると判定すると（ステップＳ３４：ＹＥＳ）、制御部１１０は、所定時間Ｔａ前より前に再生された画像データをフラッシュメモリ１０２又はＲＡＭ１０３にから消去して、その画像を消去する（ステップＳ３５）。このステップＳ３５の処理が終了したとき、又は所定時間Ｔａ前より前の画像を記憶済みではないと判定したとき（ステップＳ３４：ＮＯ）、本サブルーチンを終了する。

このように、制御部１１０は、所定時間Ｔａ前から現在までに表示された画像を記憶する。制御部１１０は、このような処理を実行することによって、画像記憶手段２０５として機能する。

なお、本実施形態においては、再生されている画像を逐次記憶し、一方で現在再生している時点の所定時間Ｔａ前よりも前の画像を消去するようにしたが、これに限らず、例えば、現在再生している時点の所定時間Ｔａ前よりも前の画像を消去せずに記憶しておくようにしてもよい。

一方、ステップＳ３６において、制御部１１０は、観察者Ｐの眼の開閉時間の比が所定比未満の状態で所定時間以上継続しているか否かを判定する。この処理において、この所定比未満の状態が所定時間以上継続していると判定すると（ステップＳ３６：ＹＥＳ）、制御部１１０は、動画像コンテンツの再生を中止する（ステップＳ３７）。このステップＳ３７の処理、又は所定比未満の状態が所定時間以上継続していないと判定したとき（ステップＳ３６：ＮＯ）、本サブルーチンを終了する。

このように、制御部１１０は、観察者Ｐの睡眠が検知された時点の所定時間Ｔａ前に表示されていた画像から、その観察者Ｐの睡眠が検知された時点までの画像を少なくとも含む画像を記憶する。制御部１１０は、このような処理を実行することによって、画像記憶手段２０５として機能する。

また、制御部１１０は、睡眠状態から覚醒状態を検知したり、再生指示があったりした場合には、このように記憶が維持された画像データが再生されることとなり、観察者が画像の視認中に睡眠状態となった場合であっても、その後、睡眠状態ではなくなったときに、睡眠状態となった時に視認できなかった画像、特に眠くなり始めた頃の画像を改めて視認するときの煩雑さを抑制することができる。

［第二の実施形態］
上述した実施形態においては、観察者Ｐの眼の開閉状態に基づいて、覚醒状態と睡眠状態との２段階の検知を行ったが、これに限らず、例えば、睡眠状態でも睡眠度合いを検知してもよい。また、この睡眠度合いによって、再生を開始させる時間を変化させてもよい。

また、上述した実施形態においては、再生を開始させる時間の基準や、観察者Ｐの睡眠が検知される基準が予め一定の値に設定されていたが、これに限らず、例えば、観察者Ｐの操作に応じて変化可能に設定してもよい。

このような構成の具体的な一実施形態について図５、図６、図９及び図１０を用いて以下に説明する。なお、本実施形態においては、発明の理解を容易とするために、異なる構成、処理について主に説明をし、同じような構成、処理については説明を省略する。

［ＨＭＤ機能構成］
ここで、本実施形態に係るＨＭＤ１の機能構成等について、図９を参照して説明する。図９は、本実施形態に係るＨＭＤ１の機能構成を示す説明図である。

図９に示すように、ＨＭＤ１における制御部１１０は、上述した実施形態以外に、所定時間設定手段２０９と、睡眠検知設定手段２１０と、を有している。ＨＭＤ１の制御部１１０において、後述のＣＰＵ１０１が所定の情報処理プログラムを実行することによって、上述した実施形態以外に、所定時間設定手段２０９、睡眠検知設定手段２１０として制御部１１０が機能することとなる。

睡眠検知手段２０３は、開閉状態検知手段２０２によって検知された観察者の眼の開閉状態（開閉時間の比）に基づいて、観察者の睡眠度合いを検知する。

所定時間決定手段２０４は、睡眠検知手段２０３によって検知された観察者の睡眠度合いに基づいて所定時間を決定する。

所定時間設定手段２０９は、操作手段２０８の操作に応じて所定時間の基準を設定する。

睡眠検知設定手段２１０は、操作手段２０８の操作に応じて、睡眠検知手段２０３によって観察者の睡眠や睡眠度合いが検知される基準を設定する。

このＨＭＤ１においては、図５（Ｂ）に示すように、観察者Ｐの眼の開閉時間の比が第一比以上である場合には、覚醒状態と判定され、観察者Ｐの眼の開閉時間の比が第一比未満第二比以上である場合には、睡眠状態１（うとうと状態）と判定され、観察者Ｐの眼の開閉時間の比が第二比未満である場合には、睡眠状態２（熟睡状態）と判定される。

また、睡眠状態２（熟睡状態）から覚醒状態になったと判定された場合には、図６（Ｄ）に示すように、その睡眠状態２となったと検知された時点の第一時間Ｔｂ前から画像から再生される。一方、睡眠状態１（うとうと状態）から覚醒状態になったと判定された場合には、図６（Ｅ）に示すように、覚醒状態となった時点から、睡眠状態１となった時点の第二時間Ｔｃ前の画像から再生が行われる。この第二時間Ｔｃは、第一時間Ｔｂよりも短く、睡眠状態１（うとうと状態）から覚醒状態となった場合には、睡眠状態２（熟睡状態）から覚醒状態となった場合よりも遡って再生する時間が短くなる。

さらに、睡眠状態２となったと検知された時点からこの検知状態が所定時間Ｔ２だけ経過したとき（図６（Ｄ）参照）、動画像コンテンツの再生を停止する。同様に睡眠状態１なったと検知された時点からこの検知状態が所定時間Ｔ１だけ経過したとき（図６（Ｅ）参照）、動画像コンテンツの再生を停止する。所定時間Ｔ１,Ｔ２は、睡眠状態が継続するか否かを判定するための期間であり、この期間が経過したときに睡眠状態から覚醒状態へ移行する可能性が低いと判断して動画像コンテンツの再生を停止している。また、熟睡状態（睡眠状態２）から覚醒状態になるよりもうとうと状態（睡眠状態１）から覚醒状態になる可能性が高いため、所定時間Ｔ１を所定時間Ｔ２よりも長くしている。なお、動画像コンテンツの再生を停止した後に電源オフを行うようにしてもよい。また、所定時間Ｔ１,Ｔ２は同一時間として、処理を簡素化することもできる。

また、第一時間Ｔｂは、動画像コンテンツを記憶するフラッシュメモリ１０２やＲＡＭ１０３の記憶容量の状態に応じて可変にすることが望ましい。また、睡眠状態１，２を検知した後は、再生の停止まで又は電源オフまで再生中の画像を記憶することが望ましいが、所定時間後まで記憶するようにしてもよく、また、フラッシュメモリ１０２の記憶容量の残量や電池残量（ＨＭＤ１を電池で動かした場合）に応じた時間だけ記憶するようにしてもよい。

［メイン処理］
ステップＳ１５において、制御部１１０は、操作検知処理を実行する。この処理において、制御部１１０は、操作手段２０８としての操作スイッチ７の操作に応じた制御を行う。具体的には、制御部１１０は、操作スイッチ７の操作に応じて、睡眠度合いの検知を行う基準となる観察者Ｐの眼の開閉時間の比や、その睡眠度合いに対応して覚醒時となってから再生の基準となる時間（第一時間Ｔｂ又は第二時間Ｔｃ）の設定を行う。これによって、制御部１１０は、操作手段２０８の操作に応じて、覚醒時において再生するための所定時間の基準と、観察者Ｐの睡眠や睡眠度合いが検知される基準とを設定することとなる。制御部１１０は、このような処理を実行することによって、所定時間設定手段２０９、睡眠検知設定手段２１０として機能する。この処理が終了した場合には、ステップＳ１６に処理を移す。

このように、観察者Ｐの操作に応じて、所定時間、睡眠の検知、睡眠度合いの検知の基準を、観察者Ｐの意図するように設定することができ、簡便である。

［睡眠検知処理］
図７のステップＳ１４において実行されるサブルーチンについて図１０を用いて説明する。

図１０に示すように、制御部１１０は、ステップＳ３２においてサンプリングするのに十分な時間が経過されたと判定されると（ステップＳ３２：ＹＥＳ）、ステップＳ４０に処理を移す。

ステップＳ４０において、制御部１１０は、観察者Ｐの眼の開閉時間の比が第一比以上であるか否かを判定する。この処理において、制御部１１０は、ステップＳ３１においてサンプリングした観察者Ｐの眼の開閉時間の比と、観察者Ｐの操作に応じて予め設定されている第一比とを読み出し、比較することによって、観察者Ｐの眼の開閉時間の比が第一比以上であるか否かを判定することとなる。なお、この開閉時間の比は、大きくなると眼を開いている比率が長くなるように設定されており、第一比以上であると判定されると、観察者Ｐが覚醒状態であると認識され、第一比未満であると判定されると、観察者Ｐが睡眠状態であると認識される。

制御部１１０は、観察者Ｐの眼の開閉時間の比が第一比以上であると判定すると（ステップＳ４０：ＹＥＳ）、ステップＳ４１に処理を移す。一方、制御部１１０は、観察者Ｐの眼の第一比が所定比未満であると判定すると（ステップＳ４０：ＮＯ）、ステップＳ４３に処理を移す。

ステップＳ４１において、制御部１１０は、第一時間Ｔｂ前より前の画像を記憶済みであるか否かを判定する。すなわち、制御部１１０は、第一時間Ｔｂ前より前に再生された画像データがフラッシュメモリ１０２又はＲＡＭ１０３に記憶されているか否かを判定する。この処理において、制御部１１０は、第一時間Ｔｂ前より前の画像を記憶済みであると判定すると（ステップＳ４１：ＹＥＳ）、第一時間Ｔｂ前より前に再生された画像データをフラッシュメモリ１０２又はＲＡＭ１０３にから消去して、その画像を消去する（ステップＳ４２）。このステップＳ４２の処理が終了したとき、又は第一時間Ｔｂ前より前の画像を記憶済みはでないと判定したとき（ステップＳ４１：ＮＯ）、制御部１１０は、本サブルーチンを終了する。

一方、ステップＳ４３において、制御部１１０は、観察者Ｐの眼の開閉時間の比が第二比以上であるか否かを判定する。この処理において、制御部１１０は、ステップＳ３１においてサンプリングした観察者Ｐの眼の開閉時間の比と、観察者Ｐの操作に応じて予め設定されている第二比とを読み出し、比較することによって、観察者Ｐの眼の開閉時間の比が第二比以上であるか否かを判定することとなる。なお、この開閉時間の比は、大きくなると眼を開いている比率が長くなるように設定されており、第一比未満第二比以上であると判定されると、観察者Ｐが睡眠状態１（うとうと状態）であると認識され、第二比未満であると判定されると、観察者Ｐが睡眠状態２（熟睡状態）であると認識される。

制御部１１０は、観察者Ｐの眼の開閉時間の比が第二比以上であると判定すると（ステップＳ４３：ＹＥＳ）、ステップＳ４７に処理を移す。一方、制御部１１０は、観察者Ｐの眼の第二比が所定比未満であると判定すると（ステップＳ４３：ＮＯ）、ステップＳ４４に処理を移す。

ステップＳ４４において、制御部１１０は、観察者Ｐの眼の開閉時間の比が第一比未満の状態が時間Ｔ１継続したか否かを判定する。すなわち、観察者Ｐが睡眠状態１（うとうと状態）であると判定してから所定時間Ｔ１を経過したか否かを判定する。この処理において、所定時間Ｔ１を経過していないと判定すると（ステップＳ４４：ＮＯ）、制御部１１０は、ステップＳ４５に処理を移す。一方、ステップＳ４４において、所定時間Ｔ１を経過したと判定すると（ステップＳ４４：ＹＥＳ）、制御部１１０は、動画像コンテンツの再生を中止し（ステップＳ４８）、本サブルーチンを終了する。

ステップＳ４５の処理において、制御部１１０は、睡眠状態１に移行した時点の第二時間Ｔｃ前よりも前の画像を記憶済みであるか否かを判定する（ステップＳ４５）。すなわち、観察者Ｐの眼の開閉時間の比が第一比未満になったことを検知した時点の第二時間Ｔｃ前よりも前に再生された画像データがフラッシュメモリ１０２又はＲＡＭ１０３に記憶されているか否かを判定する。第二時間Ｔｃ前よりも前の画像を記憶済みであると判定すると（ステップＳ４５：ＹＥＳ）、制御部１１０は、睡眠状態２に移行した時点の第二時間Ｔｃ前よりも前に再生された画像データをフラッシュメモリ１０２又はＲＡＭ１０３から消去し、その画像を消去する（ステップＳ４６）。このステップＳ４６の処理が終了したとき、又は第二時間Ｔｃ前よりも前の画像を記憶済みではないと判定すると（ステップＳ４５：ＮＯ）、本サブルーチンを終了する。

ステップＳ４７において、制御部１１０は、観察者Ｐの眼の開閉時間の比が第二比未満の状態が時間Ｔ２継続したか否かを判定する。すなわち、観察者Ｐが睡眠状態２（熟睡状態）に移行した時点から所定時間Ｔ２を経過したか否かを判定する。この処理において、所定時間Ｔ２を経過したと判定すると（ステップＳ４７：ＹＥＳ）、制御部１１０は、動画像コンテンツの再生を中止する（ステップＳ４８）。このステップＳ４８の処理が終了したとき、又は所定時間Ｔ２を経過したと判定したとき（ステップＳ４７：ＮＯ）、本サブルーチンを終了する。なお、再生停止後、フラッシュメモリ１０２又はＲＡＭ１０３に画像データを記憶した状態で、電源オフの処理を行うようにしてもよい。その際、制御部１１０は、睡眠状態のために電源オフを行った旨の情報もフラッシュメモリ１０２等に記憶するようにし、次回の電源オン時に、睡眠状態によって電源オフが行われた旨を表示するようにしてもよい。

このように、制御部１１０は、睡眠検知手段２０３として機能して、検知された観察者Ｐの眼の開閉状態（開閉時間の比）に基づいて、観察者Ｐの睡眠や睡眠度合いを検知することとなる。

開閉時間の比が第一比以上のとき、制御部１１０は、睡眠状態ではないことを検知し、画像記憶手段２０５として機能して、第一時間Ｔｂ（所定時間）前から現在までに表示された画像を記憶する。

また、開閉時間の比が第一比未満でかつ第二比以上のとき、制御部１１０は、観察者Ｐが睡眠状態１であることを検知し、画像記憶手段２０５として機能として、睡眠状態１であると検知された時点の第二時間Ｔｃ前に表示されていた画像から、その観察者Ｐの睡眠が検知された時点までの画像を少なくとも含む画像を記憶する。

また、開閉時間の比が第二比未満のとき、制御部１１０は、観察者Ｐが睡眠状態２であることを検知し、画像記憶手段２０５として機能として、睡眠状態２であると検知された時点の第一時間Ｔｂ（＞第二時間Ｔｃ）前に表示されていた画像から、その観察者Ｐの睡眠が検知された時点までの画像を少なくとも含む画像を記憶する。

このように、制御部１１０は、検知された観察者の睡眠度合いに基づいて、所定時間（第一時間Ｔｂにするか第二時間Ｔｃにするか）を決定することとなる。制御部１１０は、このような処理を実行することによって、所定時間決定手段２０４として機能する。このため、観察者Ｐの睡眠度合いに応じた位置から再生開始することとなり、簡便である。

例えば、制御部１１０は、睡眠状態から覚醒状態への移行を検知したり、再生指示を検知した場合には、このように記憶が維持された画像が再生されることとなり、観察者は画像を視認している途中で睡眠状態となった場合であっても、その後、睡眠状態ではなくなったときに、睡眠状態となった時に視認できなかった画像、特に眠くなり始めた頃の画像を改めて視認するときの煩雑さを抑制することができる。

［その他の実施形態］
なお、本実施形態においては、睡眠状態１、睡眠状態２から覚醒状態となったときに、それらの睡眠状態となったと検知した時点の所定時間（第一時間Ｔｂ又は第二時間Ｔｃ）前に表示されていた画像から、自動的に、又は、表示指示に応じて順次表示されるようにしたが、これに限らず、例えば、睡眠状態から覚醒状態となった場合には、その後一定時間が経過してから画像の再生を開始してもよい。具体的には、熟睡が推測される睡眠状態２から覚醒状態となった場合には、すぐに画像が表示されるよりも、観察者Ｐの再生指示の操作に応じて、又は、一定時間経過した後に、再生されたほうが好ましい。一方、睡眠状態２となることなく、睡眠状態１から覚醒状態となった場合には、その睡眠状態１となった時点の第二時間Ｔｃ前（所定時間前）に表示されていた画像から再生を開始させるようにしてもよい。

また、上述した実施形態においては、睡眠状態となった場合に再生していた画像を停止させることなく、継続して再生させていたが、これに限らず、例えば、睡眠状態２（熟睡状態）となった場合には、即座に覚醒状態となる可能性が相対的に低いため、例えば、記憶可能な一定時間だけ再生させるとともに、その一定時間の画像も記憶し、未だ睡眠状態２が続く場合には、ＨＭＤ１の電源などを停止（スタンバイ）させても好適である。一方、睡眠状態２となることなく、睡眠状態１となった場合には、即座に覚醒状態となる可能性が相対的に高いため、覚醒状態となったらすぐ再生できるように画像の再生を一時停止させても好適である。

また、上述した実施形態においては、睡眠状態１、睡眠状態２等の睡眠度合いの種類に基づいて、睡眠状態を検知した時点から遡って再生する所定時間を、第一時間Ｔｂ、第二時間Ｔｃのいずれかとしたが、これに限らず、例えば、睡眠状態１の長さに基づいて、睡眠状態を検知した時点から遡って再生する所定時間を決定してもよい。また、例えば、睡眠状態２の期間に基づいて第一時間Ｔｂを変更可能に決定してもよい。もちろん、それらの組合せであってもよい。また、例えば、睡眠検知時以前の睡眠度合い判定期間、又は、睡眠状態１（うとうと状態）の期間において、眼の開閉面積の比の平均値に応じて所定時間を決めてもよい。具体的には、上述した期間において眼の開き具合が小さいほど所定時間を長くするように構成してもよい。また、例えば、目の開閉周期や上下の瞼の間の距離の平均などに基づいて所定時間を変更可能に決定してもよい。つまり、制御部１１０は、観察者Ｐの眼の開閉周期や開閉量などに基づいて、観察者Ｐの睡眠度合いを検知できればよい。

また、上述した実施形態においては、睡眠状態１と睡眠状態２とを相互に独立して制御を行ったが、これに限らず、例えば、覚醒状態、睡眠状態１、睡眠状態２が相関する制御を行ってもよい。

なお、上述した実施形態においては、ＨＭＤ１自体に画像データ自体を保存したが、これに限らず、例えば、ＨＭＤ１自体に次に再生する時間を記憶してもよい。この場合においては、睡眠状態となったことを検知したときには、画像の再生を一時停止し、睡眠状態となっているか否かの検知が継続され、一定時間後、まだ睡眠状態ならば、画像の再生を停止し、電源など装置も停止又はスタンバイとしてもよい。また、睡眠状態２から睡眠状態１となった場合には、画像の再生を再開し、その再生している画像を記憶するが、睡眠状態２から覚醒状態となった場合に、睡眠状態２となった時点の所定時間前（第一時間Ｔｂ前）に表示されていた画像から再生を開始するため、画像の記憶を停止させてもよい。

また、例えば、ＨＭＤ１以外の外部装置に画像データ自体が記憶されており、ＨＭＤ１から再生箇所（例えば、再生時間等）を指示することによって、画像データがＨＭＤ１に供給されるように構成してもよい。

この場合においては、例えば、図１１に示すように、ＨＭＤ１が情報閲覧システムＳ１に含まれた構成であり、その他に管理サーバ３００、パーソナルコンピュータ３１０及び携帯型端末装置３１２が、ネットワーク網３０２に接続され、相互に通信可能に構成する。

ＨＭＤ１は、図９に示すように、画像記憶指示手段２１３を有しており、管理サーバ３００（外部装置）に対して、睡眠検知手段２０３によって観察者の睡眠が検知された時点において表示させていた画像よりも所定時間前における画像の情報を一定時間記憶する旨の指示を行う。

また、このＨＭＤ１における通信制御回路９は、受信手段２１１と、送信手段２１２とを有している。この受信手段２１１は、ネットワーク網３０２を介して通信可能な管理サーバ３００（外部装置）から画像の情報を受信する。一方、送信手段２１２は、画像記憶指示手段２１３によって指示された指示を管理サーバ３００に送信する。

管理サーバ３００は、各種のコンテンツに関する情報を管理する装置である。特に、管理サーバ３００は、コンテンツに対応する画像データや再生する時間などを観察者毎に記憶する。

これによって、画像データ自体や再生開始する時間などを管理サーバ３００等の外部装置に記憶することができ、ＨＭＤ１のデータ記憶領域の節約を行うことができる。

また、上述した実施形態においては、外光を透過しつつ、コンテンツ情報に応じた画像光を観察者Ｐの眼に投射するシースルー型のヘッドマウントディスプレイを採用したが、これに限らず、例えば、外光を透過しないヘッドマウントディスプレイを採用してもよい。

１ＨＭＤ
２ＣＣＤセンサ
１１０制御部

Claims

画像情報に応じた画像光を観察者の眼に投射して当該観察者に前記画像光に応じた画像を視認させる表示手段を備えたヘッドマウントディスプレイにおいて、
観察者の眼の開閉状態を検知する開閉状態検知手段と、
前記開閉状態検知手段によって検知された観察者の眼の開閉状態に基づいて、観察者の睡眠を検知する睡眠検知手段と、
前記表示手段に画像を表示させる制御を行い、前記睡眠検知手段によって観察者の睡眠が検知された後に当該観察者の睡眠が検知されなくなった場合、少なくとも当該観察者の睡眠が検知された時点の所定時間前から、当該観察者の睡眠が検知された時点までに表示されていた画像を含む画像を表示させうる制御を行う表示制御手段と、を備え、前記所定時間は観察者の睡眠状態に応じて決定されることを特徴とするヘッドマウントディスプレイ。
前記睡眠検知手段は、前記開閉状態検知手段によって検知された観察者の眼の開閉状態に基づいて、前記観察者の睡眠状態として、前記観察者の睡眠度合いを検知し、
前記睡眠検知手段によって検知された観察者の睡眠度合いに基づいて、前記所定時間を決定する所定時間決定手段を備えたことを特徴とする請求項１に記載のヘッドマウントディスプレイ。
前記睡眠検知手段は、前記開閉状態検知手段によって検知された観察者の眼の開閉時間の比に基づいて、観察者の睡眠度合いを検知することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
前記睡眠検知手段は、前記開閉状態検知手段によって検知された観察者の眼の開閉周期又は開閉量に基づいて、観察者の睡眠度合いを検知することを特徴とする請求項２に記載のヘッドマウントディスプレイ。
観察者によって操作可能な操作手段と、
前記操作手段の操作に応じて、前記所定時間の基準を設定する所定時間設定手段と、を備えたことを特徴とする請求項１から４のいずれかに記載のヘッドマウントディスプレイ。
観察者によって操作可能な操作手段と、
前記操作手段の操作に応じて、前記睡眠検知手段によって観察者の睡眠が検知される基準を設定する睡眠検知設定手段と、を備えたことを特徴とする請求項１から４のいずれかに記載のヘッドマウントディスプレイ。
前記睡眠検知手段によって観察者の睡眠が検知された時点の所定時間前に表示されていた画像から、当該観察者の睡眠が検知された時点までの画像の情報を少なくとも記憶する画像記憶手段を備えたことを特徴とする請求項１から６のいずれかに記載のヘッドマウントディスプレイ。
ネットワークを介して通信可能な外部装置から画像の情報を受信する受信手段と、
前記外部装置に対して、前記睡眠検知手段によって観察者の睡眠が検知された時点の所定時間前に表示されていた画像から、当該観察者の睡眠が検知された時点までの画像の情報を少なくとも記憶する旨の指示を行う画像記憶指示手段と、を備えたことを特徴とする請求項１から６のいずれかに記載のヘッドマウントディスプレイ。