JPH09127459A - 視線検出系を有した表示装置 - Google Patents

Abstract

(57)【要約】 【課題】 視線情報に基づいて観察系の表示手段で表示
する文字情報を含む画像情報の観察状態を種々と制御す
ることができる視線検出系を有した表示装置を得るこ
と。 【解決手段】 表示手段に表示した文字情報を含む画像
情報からの光束を光学系を用いて観察者に導光して、該
画像情報の虚像を観察する観察系と、該観察者の眼球に
光源手段からの光束を入射させ、該眼球からの反射光束
を結像光学系により撮像手段に導光し、該撮像手段から
の信号を用いて該観察者の視線情報を検出する視線検出
系と、該視線検出系からの視線情報に基づいて該表示手
段に表示する文字情報の表示を制御する制御手段とを有
すること。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は視線検出系を有した
表示装置に関し、特に観察者の頭部に装着して表示手段
に表示した文字情報を含む画像情報を観察者の眼球に導
光して該画像情報を観察するようにした、所謂ヘッドマ
ウントディスプレーと称されるメガネ型、ゴーグル型、
ヘルメット型の表示装置において、該表示手段で画像情
報を表示して観察する際に、観察者の眼球の動き、即ち
視線を検知する視線検出系からの信号を利用して該画像
情報を種々と制御するようにしたものである。

【０００２】

【従来の技術】従来より観察者の頭部に装着して表示手
段に表示した文字情報を含む画像情報を観察者の眼球に
導光して観察するようにしたヘッドマウントディスプレ
ーと称される表示装置が種々提案されている。そしてこ
のような表示装置に視線検出系、即ち観察者が観察して
いる注視点方向の軸、所謂視線（視軸）を観察者の眼球
面上を照明したときに得られる眼球の反射像を利用して
検出するようにした視線検出系を設け、該視線検出系で
得られる視線情報を利用して表示装置に表示された画像
情報を制御するようにした装置が、例えば特開平３−１
０１７０９号公報で提案されている。

【０００３】従来の表示装置では表示手段に表示した文
字情報は所定の時間経過すれば観察者が該文字情報を見
終えたか否かにかかわらず該文字情報を消去し、次の新
たな文字情報と更新するようにしている。

【０００４】

【発明が解決しようとする課題】従来の表示装置では、
表示手段に文字情報を含む画像情報を表示する際、観察
者が文字情報を見終えたか否かに係わらず、更新する文
字情報と画面（映像情報）のうち文字情報は、所定時間
経過すると消去していた。この為、観察者が文字情報を
読むことができない場合があった。又、表示手段に表示
する文字情報は所定時間表示し続けて、所定時間経過し
ないと消去しないようにしている。この為、すでに読み
終えた文字情報がいつまでも表示手段に表示され続ける
場合があった。

【０００５】このように従来の表示装置では、表示手段
に表示する画像情報を画像送出側で一方的に制御してい
た為に、観察者が文字情報を完全に読むことができない
場合や、読み終えたときでも、まだ文字情報が表示され
て目障りになるという問題点があった。

【０００６】本発明は表示手段で表示された文字情報を
含む画像情報を観察する観察系とその一部に観察者の視
線を検出する視線検出系とを設け、該視線検出系からの
視線情報に基づいて制御手段により該表示手段に表示す
る画像情報を種々と制御することにより良好なる画像情
報の観察を可能とした視線検出系を有した表示装置の提
供を目的とする。

【０００７】特に本発明は次の事項の少なくとも１つを
満足する視線検出系を有した表示装置の提供を目的とし
ている。 （イ）観察者が文字情報を読んだか否かを観察者の視線
情報から判断し、視線の動きにより文字情報の表示を制
御し、観察者が文字情報を確実に読めるようにする （ロ）文字情報の制御の具体例として、読み終えていな
いとおもわれる文字情報は消去せずに、表示手段に新し
い文字情報を並べて表示すること （ハ）文字情報の制御の具体例として、文字情報を読み
終えていないと判断した場合は表示手段面上の画像を静
止、若しくはスロー表示すること （ニ）観察者が文字情報を読み終えたと判断したら表示
手段から文字情報を消去し、目障りと感ずることを減少
させること。

【０００８】

【課題を解決するための手段】本発明の視線検出系を有
した表示装置は、 （１−１）表示手段に表示した文字情報を含む画像情報
からの光束を光学系を用いて観察者に導光して、該画像
情報の虚像を観察する観察系と、該観察者の眼球に光源
手段からの光束を入射させ、該眼球からの反射光束を結
像光学系により撮像手段に導光し、該撮像手段からの信
号を用いて該観察者の視線情報を検出する視線検出系
と、該視線検出系からの視線情報に基づいて該表示手段
に表示する文字情報の表示を制御する制御手段とを有す
ることを特徴としている。

【０００９】特に、（１−１−１）前記観察系と前記視
線検出系を観察者の頭部に装着する為の頭部装着手段を
有していること、（１−１−２）前記観察系は前記文字
情報を記憶する文字情報記憶手段を有し、前記制御手段
は前記視線検出系からの視線情報に基づいて前記表示手
段に文字情報を消去又は更新して表示する際、該観察者
の視線情報が該文字情報に注がれていると判断したとき
は更新前の文字情報を表示し続け、更新する文字情報を
該更新前の文字情報が表示されている位置以外に表示す
るようにしていること等を特徴としている。

【００１０】（１−２）表示手段に表示した文字情報を
含む画像情報からの光束を光学系を用いて観察者に導光
して、該画像情報の虚像を観察する観察系と、該観察者
の眼球に光源手段からの光束を入射させ、該眼球からの
反射光束を結像光学系により撮像手段に導光し、該撮像
手段からの信号を用いて該観察者の視線情報を検出する
視線検出系と、該視線検出系からの視線情報に基づいて
該表示手段に表示する画像情報を制御する制御手段とを
有し、前記制御手段は前記視線検出系からの視線情報に
基づいて前記表示手段に文字情報を消去又は更新して表
示する際、該観察者の視線情報が該文字情報に注がれて
いると判断したときは該表示手段に表示する画像情報を
静止又は表示速度を遅くしていることを特徴としてい
る。

【００１１】特に、（１−２−１）前記制御手段は前記
視線検出系からの視線情報が前記表示手段に表示した文
字情報から離れたものであるときは現在表示している文
字情報を消去していることを特徴としている。

【００１２】

【発明の実施の形態】図１は本発明の実施形態１の要部
ブロック図、図１４は本発明に係る表示装置１４１を観
察者１４２の頭部に装着したときの概念図である。

【００１３】図１において再生器１１３から出力される
文字情報（例えば字幕）を含む画像情報が、文字情報識
別器１１２にに入力される。文字情報識別器１１２は例
えば図２の如く画像表示部２０１と、文字情報表示部２
０２に分かれて表示している画像情報から文字情報のみ
を抽出し、Ａ／Ｄ変換器１１０へ送り、文字情報を抜き
取った画像（映像情報）を遅延器１０７に送出する。

【００１４】Ａ／Ｄ変換器１１０は文字情報をＡ／Ｄ変
換し、メモリ１の１０８若しくはメモリ２の１０９に送
り、文字情報はコントローラ１１１の制御により、第１
メモリ１０８か第２メモリ１０９に記憶される。ここで
第１，第２メモリ１０８，１０９は文字記憶手段の一要
素を構成している。第１メモリ１０８か第２メモリ１０
９に記憶された文字情報は、コントローラ１１１の制御
に応じてスイッチャ１０６により必要に応じて、Ｄ／Ａ
変換器１０５に送られ、Ｄ／Ａ変換後にスーパーインポ
ーズ器１０４に送られる。

【００１５】一方、遅延器１０７に送られた画像は、抜
き取られた文字情報の信号処理に要する時間分遅延さ
れ、スパーインポーズ器１０４に送られ、スーパーイン
ポウズ器１０４にて画像と文字情報が重ね合わせられ
る。重ね合わせられた画像情報は、表示駆動器１０３に
送られ、表示素子１０２（例えば液晶パネル等の表示手
段）に表示される。表示された画像情報は、例えば不記
載のバックライトから照射した光が表示素子１０２を通
り、光学素子（光学系）１００により観察者の瞳１１４
に結像される。

【００１６】また視線検知手段１０１は、観察者の瞳が
どこを見ているかの情報、即ち観察者の眼球の視線情報
をコントローラ１１１に送出する。

【００１７】本実施形態において、表示素子１０２、光
学系１００は観察系の一要素を構成し、コントローラ１
１１、再生器１１３、文字情報識別器１１２、スーパー
インポーズ器、表示駆動器１０３等は制御手段の一要素
を構成している。

【００１８】図３，図４は図１の光学系１００及び視線
検出手段１０１の要部概略図である。図３は観察系の光
路を示し、図４は視線検出手段の光路を示している。ま
ず図３の観察系の各要素について説明する。

【００１９】図３において、表示駆動器１０３により画
像情報が表示素子（表示手段）１０２に表示される。不
記載のバックライトから発せられ、表示素子１０２を通
った光は視線検知用のダイクロイックミラー７１３を通
り、光学素子１００の入射面１００−ａに入射し、全反
射面１００−ｂに臨界角以上の入射角で入射し全反射さ
れる。全反射された光は、鏡面反射面又はハーフミラー
面より成る凹面ミラー１００−ｃで反射され、前記全反
射面１００−ｂに臨界角以下で入射し透過し、観察者の
瞳１１４に導光される。その結果観察者には、表示画面
が拡大された虚像２０３が観察される。部材１１５は、
これらの各要素を頭部に装着するための部材（頭部装着
手段）である。

【００２０】次に図４の視線検出手段の各要素について
説明する。図４において、２つの赤外発光ダイオード７
０６ａ，ｂ（図には一方のみ表示）から観察者の眼球の
瞳１１４方向に発せられた赤外光は、観察者の瞳１１４
にて反射され、光学プリズム１００の全反射面１００−
ｂに臨界角以下で入射し透過し、ハーフミラー面１００
−ｃで反射され、全反射面１００−ｂに臨界角以上で入
射し、この面にて全反射し入射面１００−ａを通り、ダ
イクロイックミラー７１３にて反射され、受光レンズ７
１１を通りイメージセンサ（撮像手段）７１２に結像さ
れる。そしてイメージセンサ７１２からの信号を用いて
観察者の眼球の視線情報を検出している。

【００２１】次にこのときの視線検出系の視線検出方法
を図５を用いて説明する。図５（Ａ）はイメージセンサ
７１２に投影される像の概略図、図５（Ｂ）はイメージ
センサの出力強度図、図５（Ｃ），（Ｄ）は視線検知方
法の原理の上面図と側面図をそれぞれ示す。

【００２２】まず図５（Ｃ）において赤外発光ダイオー
ド７０６ｂより放射された赤外光は観察者の眼球７０８
の角膜７１０を照明する。このとき角膜７１０の表面で
反射した赤外光により形成される角膜反射像（虚像）は
結像レンズ７１１により集光され、イメージセンサ７１
２上の位置ｄ’に結像する。同様に赤外発光ダイオード
７０６ａより放射された赤外光は眼球の角膜７１０を照
明する。このとき角膜７１０の表面で反射した赤外光に
より形成された角膜反射像ｅは、結像レンズ７１１によ
り集光され、イメージセンサ７１２上の位置ｅ’に結像
する。また虹彩７０４の端部ａ，ｂからの光束は結像レ
ンズ７１１を介してイメージセンサ７１２上の位置
ａ’，ｂ’に該端部ａ，ｂの像を結像する。結像レンズ
７１１の光軸に対する眼球７０８の光軸の回転角θが小
さい場合、虹彩７０４の端部ａ，ｂのｘ座標をｘａ，ｘ
ｂとすると、ｘａ，ｘｂはイメージセンサ上で多数点求
めることができる（図５（Ａ）の中のｘ印）。

【００２３】そこでまず円の最小自乗法にて瞳孔中心ｘ
ｃを算出する。一方角膜７１０の曲率中心ｏのｘ座標を
ｘｏとすると、眼球７０８の光軸に対する回転角θｘ
は、 ｏｃ＊ｓｉｎθｘ＝ｘｃ−ｘｏ ・・・・・・（１） となる。

【００２４】また、角膜反射像ｄとｅの中点ｋに所定の
補正値δｘを考慮してｘｏを求めると、 ｘｋ＝（ｘｄ＋ｘｅ）／２ ｘｏ＝（ｘｄ＋ｘｅ）／２＋δｘ ・・・・・・（２） ここでδｘは装置の設置方法／眼球距離等から幾何学的
に求められる数値であり、その算出方法は公知なので省
略する。

【００２５】（１）を（２）へ代入しθｘを求めると、 θｘ＝ａｒｃｓｉｎ［［ｘｃ−｛（ｘｄ＋ｘｅ）／２＋δｘ｝］／ｏｃ］ ・・・・・・（３） さらにイメージセンサ上に投影された各々の特徴点の座
標を、’（ダッシュ）をつけて（４）に書き換えると、 θｘ＝ａｒｃｓｉｎ［［ｘｃ’−｛（ｘｄ’＋ｘｅ’）／２＋δｘ’｝］／ ｏｃ／β］ ・・・・・・（４） となる。ここでβは結像レンズ７１１に対する眼球の距
離ｓｚｅにより決まる倍率で、実際は角膜反射像の間隔
ｘｄ’−ｘｅ’ の関数として求められる。

【００２６】垂直面で考えると、図５（Ｄ）の様な構成
となる。ここで２個の赤外発光ダイオード７０６ａ，７
０６ｂにより生じる角膜反射像は同位置に発生し、これ
をｉとする。眼球の回転角θｙの算出方法は水平面の時
とほぼ同一であるが（２）式のみ異なり、角膜曲律中心
ｏのｙ座標をｙｏとすると、 ｙｏ＝ｙｉ＋δｙ ・・・・・・・・（５） ここでδｙは装置の配置方法、眼球距離等から幾何学的
に求められる数値であり、その算出法は省略する。よっ
て垂直方向の回転角θｙは、 θｙ＝ａｒｃｓｉｎ［［ｙｃ’−（ｙｉ’＋δｙ’）］／ｏｃ／β ・・・・・・・・（６） となる。

【００２７】さらに、ヘッドマウント型ディスプレイの
画面上の位置座標（ｘｎ，ｙｎ）は光学系で決まる定数
ｍを用いると、水平面上、垂直面上それぞれ、 ｘｎ＝ｍ＊ａｒｃｓｉｎ［［ｘｃ’−｛（ｘｄ’＋ｘｅ’）／２＋δｘ’｝］ ／ｏｃ／β］ ・・・・・・・・（７ ） ｙｎ＝ｍ＊ａｒｃｓｉｎ［［ｙｃ’−（ｙｉ’＋δｙ’）］／ｏｃ／β］］ ・・・・・・・・（８ ） となる。本実施形態では以上の方法により観察者が表示
手段面上のどの位置を観察しているかを検出している。

【００２８】本実施形態では、このような視線検知方法
を用いて、例えば図６に示す如く観察者が表示手段面６
１上の文字情報を読み終えたか否か判定している。図６
（Ａ）では視線（本実施形態では’＋’で視線位置を示
す。）６２が、文字情報表示位置の左側から右横に移動
し、文字情報表示の最後に来た場合に文字情報を読み終
えたと判定している。

【００２９】図６（Ｂ）は、文字情報表示エリア６３か
ら画像表示エリア６５に視線が移った時、文字を読み終
えたと判断するものである。

【００３０】図６（Ｃ）は複数行の文字情報表示エリア
６３がなされる場合、右側から左端に視線６２が移動し
たとき文字を読み終えたと判断するものであり、上記各
手段を組み合わせて判定するようにしても良い。

【００３１】図７は本実施形態のコントローラによる視
線検知状況と文字表示処理に関するフローチャートであ
る。以後の説明において、便宜上、現在表示しているデ
ータで最も新しいデータを現データ、現データの前のデ
ータを旧データ、書き換える新しいデータを更新データ
と呼ぶ。また、本実施形態の説明では、文字表示エリア
は図６（Ｃ）に示すように２行あるものとして説明す
る。このときの文字表示エリアを表示エリア１、表示エ
リア２とする。

【００３２】図７において、＃１で再生器から表示文字
を書き換える更新データが送られてきたか否か判定する
（文字を表示していない状況から文字を表示する場合も
含む。）。更新データが送られて来たなら＃２にて旧デ
ータを表示中か否か判定する。旧データを表示中という
ことは、現データと両方表示していることになる。

【００３３】旧データを表示していなければ＃３にて、
表示エリア１に現データを表示しているか否か判定す
る。表示エリア１に表示しているなら、＃４にて表示エ
リア１の視線が終了（観察者が文字情報を読み終えた）
しているか判定し、終了していれば＃６にてメモリ１に
更新データを記憶し、終了していなければ＃５にて更新
データをメモリ２に記憶する。

【００３４】＃１にて更新データの要求がない、すなわ
ち表示情報（表示なしも含む）を変更しないときは、＃
８にて旧データを表示しているか否か判定する。旧デー
タを表示していれば＃９にて旧データを読み終えたか否
かを判定し、読み終えていれば旧データを消去するため
に旧データを保持しているメモリの内容を消去する。す
なわち、文字表示を変更しない場合は現データを表示し
続けるが、旧データと２行表示している場合は、旧デー
タを読み終えているなら消去するものである。

【００３５】＃３にて表示エリア１に表示していないと
きは、＃１１にて表示エリア２に表示しているか否か判
定する。表示していなければ更新データを表示エリア１
に表示するため更新データをメモリ１に記憶する。＃１
１にて表示エリア２に表示していれば、＃１２にて表示
エリア２の視線が終了した（文字情報を読み終えた）か
否か判定し、読み終えていなければ現データは引き続き
表示エリア２に表示し、更新データを表示エリア１に表
示するため、更新データをメモリ１に記憶する。＃１２
にて表示エリア２の視線が終了していれば、表示エリア
２を消去するため＃１３にてメモリ２の内容を消去し、
＃６にて更新データを表示エリア１に表示するため、更
新データをメモリ１に記憶する。

【００３６】＃２にて旧データを表示している場合、す
なわち旧データと現データの両方を表示している場合
は、＃１４にて旧データが表示エリア１に表示している
か否か判定する。表示エリア１に表示していれば、＃１
５にて表示エリア１の視線が終了した（文字情報を読み
終えた）か否か判定し、視線が終了していなければ２行
の文字情報のいずれも読み終えていないと判定し、＃２
６にて再生器の出力を静止、或いはスロー再生とする。

【００３７】＃１５にて現データを表示している表示エ
リア１の視線が終了していると判定したなら、＃１６に
て表示エリア１の表示を消去するため、メモリ１の内容
を消去する。次に、＃１７にて表示エリア２の視線が終
了した（表示エリア２の文字情報を読み終えた）か否か
判定し、視線が終了しているなら＃１８にて表示エリア
２の表示を消去するためメモリ２の内容を消去し、＃１
９にて更新データを表示エリア１に表示するため更新デ
ータをメモリ１に記憶する。これは、２行表示していた
情報を２行とも読み終えているため、更新データを表示
エリア１に表示するものである。

【００３８】＃１７にて表示エリア２の視線が終了して
いなければ、２行表示状態で表示エリア１を読み終え、
表示エリア２は読み終えていないため、更新データを表
示エリア１に表示するため＃１９にて更新データをメモ
リ１に記憶する。

【００３９】＃１４にて旧データを表示エリア１に表示
していないときは、旧データが表示エリア２に表示され
ているため、＃２０にて表示エリア２の視線が終了した
（表示エリア２の情報を読み終えた）か否か判定し、読
み終えたと判定したなら＃２１にて表示エリア２を消去
するため、メモリ２の内容を消去する。

【００４０】次に＃２２にて、現データが表示されてい
る表示エリア１の視線が終了した（表示エリア１の情報
を読み終えた）か否か判定し、終了していれば表示エリ
ア１を消去するため＃２３にてメモリ１の内容を消去
し、更新データを表示エリア１に表示するため＃２５に
て更新データをメモリ１に記憶する。これは２行表示さ
れていた情報を２行とも読み終えたと判定し、更新デー
タを表示エリア１に表示するものである。

【００４１】＃２２にて、現データが表示されている表
示エリア１の視線が終了していなければ、旧データは読
み終え現データは読み終えていないことになり、読み終
えた情報を記憶し、＃２１で消去されたメモリ２に更新
データを記憶する。

【００４２】＃２０にて表示エリア２の情報を読み終え
ていないと判定したなら、２行表示した情報の両方とも
読み終えていないと判定し、＃２６にて再生器の出力を
静止、若しくはスロー再生とする。

【００４３】メモリ１，メモリ２に記憶されたデータは
消去データを含めて、＃７にて画像信号にスーパーイン
ポーズされる。

【００４４】スーパーインポーズされた画像信号は、図
１の表示駆動器１０３にて表示素子１０２に表示され
る。

【００４５】図８は図７のフローチャートで処理される
画面の説明図である。図８においては、まず（ａ０）の
ように画像表示エリアと文字情報表示エリア１、文字情
報表示エリア２を設定する。

【００４６】又、図８にて更新データ１が送られてくる
とき、（ａ）に示す如く視線を示すマーク（＋）が表示
文字の最後にきているため、表示されている現データを
読み終えていると判断し、表示エリア１に更新データ１
を表示する。

【００４７】次に、更新データ２が送られてくるとき、
（ｂ）のごとく視線位置が表示文字の最後まで達してい
ないため表示文字を読み終えていないと判定し、（ｃ）
の如く更新データを表示エリア２に表示する。

【００４８】更新データ３が送られてくるとき、（ｃ）
のごとく表示エリア１の旧データは読み終えているが表
示エリア２の情報はまだ読み終えていないため、（ｄ）
のように更新データ３を表示エリア１に表示する。

【００４９】更新データ４が送られてくるとき、表示エ
リア２の旧データと表示エリア１の現データの両方を読
み終えているため、（ｅ）のように更新データ４を表示
エリア１に表示する。

【００５０】又、図８にて、（ｆ）の如く更新データ１
が送られて来たとき、表示エリア１の現データは読み終
えているため、（ｇ）のごとく更新データ１を表示エリ
ア１に表示する。更新データ２（これは文字情報がない
画像が送られてきたことを示す。）が送られてきたと
き、（ｇ）のごとく表示エリア１を読み終えていないた
め（ｈ）のように現データを表示エリア１に表示し続け
る。この場合、表示無しのデータを、表示エリア２に表
示したとも言える。

【００５１】（ｉ）のように更新データがなくとも（画
像は変化しても文字情報は前のままという意味。）、旧
データを読み終えれば旧データは消去する。更新データ
４が来たときは、表示がされていないため（ｊ）のよう
に表示エリア１に更新データ４を表示する。

【００５２】又、図８にて更新データ１（文字情報がな
い画像が送られてきたことを示す。）が送られてきたと
き、（ｋ）のごとく２行表示している内、表示エリア１
の旧データは読み終えたが、表示エリア２の現データは
読み終えていないため、（Ｌ）のように表示エリア１を
消去し、表示エリア２は表示し続ける。

【００５３】更新データ２が送られてきたとき、表示エ
リア２の現データは読み終えており、表示エリア１には
文字情報が表示されていないため（ｍ）のように更新デ
ータを表示エリア１に表示する。

【００５４】本実施形態によれば、表示文字情報を観察
者が読み終える前に消去や、文字情報を書き換えるデー
タが送られてきた場合、読み終えていないデータは表示
し続け、新しい情報は別の位置に表示するため、観察者
は確実に文字情報を読むことが可能となる。

【００５５】本実施形態では文字情報の表示エリアを２
行としたが、３行以上の行数であっても良い。

【００５６】また、複数行にまたがって表示する際、図
９に示すように古い順に表示情報を上から並べて表示す
るよう構成しても良い。

【００５７】図１０は本発明の実施形態２の要部ブロッ
ク図である。本実施形態は更新データが来なくとも表示
されている文字情報を読み終えたと判断されたときは、
表示文字を消去するものである。

【００５８】図１０において再生器１１３から出力され
る文字情報（例えば字幕）を含む画像情報が、文字情報
識別器１１２に入力される。文字情報識別器１１２は例
えば図２の如く画像表示部２０１と、文字情報表示部２
０２に分かれて表示している画像情報から文字情報のみ
を抽出し、画像信号をスーパーインポーズ器１０４に送
り、抜き取った文字情報をスイッチャ１０６に送出す
る。

【００５９】スイッチャ１０６には、文字情報を消去す
るのと同等の信号を発生する消去データ発生器１１６の
信号も入力され、コントローラ１１１が切り換えを行
う。

【００６０】スイッチャ１０６にて選択出力された文字
情報は、スパーインポーズ器１０４に送られ、スーパー
インポーズ器１０４にて画像（映像情報）と文字情報が
重ね合わせられる。

【００６１】重ね合わせられた画像情報は、表示駆動器
１０３に送られ、表示素子１０２（例えば液晶パネル）
に表示される。表示された画像は、例えば不記載のバッ
クライトから照射した光が表示素子を通り、光学素子
（光学系）１００により観察者の瞳１１４に結像され
る。

【００６２】また視線検知手段１０１は、観察者の瞳が
どこを見ているかをコントローラ１１１に送出する。

【００６３】コントローラ１１１によるスイッチャ１０
６の切り換えは例えば、図１１のフローチャートに示す
ように、＃１０１にて文字情報を表示中か否か判定し、
表示中であれば＃１０２にて視線が終了したか（文字情
報を読み終えたか）判定し、読み終えたと判定されると
更新データ（消去も含む。）がこなくとも＃１０２にて
表示文字を消去する。

【００６４】本実施形態によれば、表示文字情報を観察
者が読み終えると消去するため、不必要に表示文字が長
時間表示されることがなくなり、表示される文字情報の
煩わしさを低減することが可能となる。

【００６５】本実施形態では、表示文字を読み終える前
に更新データが送られてくると、表示データが更新され
るが、実施形態１と組み合わせてこれを防止するよう構
成することも可能である。

【００６６】また、実施形態１，２ともに表示素子は片
眼でも両眼でもよく、また両眼タイプでも視線検知手段
は片眼にのみ設けても良い。

【００６７】図１２は本発明の実施形態３の要部ブロッ
ク図である。本実施形態は視線検知手段を設けたヘッド
マウントディスプレイには文字情報のみを表示し、他の
画像情報はシースルーで観察されるようにしたものであ
る。

【００６８】図１２において、表示駆動器１０３により
文字情報が表示素子１０２に表示される。不記載のバッ
クライトから発せられ、表示素子１０２を通った光は視
線検知用のダイクロイックミラー７１３を通り、光学素
子１００の入射面１００−ａに入射し、１００−ｂの全
反射面に臨界角以上の入射角で入射し全反射される。全
反射された光は、曲面より成るハーフミラー１００−ｄ
で反射され、前記全反射面１００−ｂに臨界角以下で入
射し透過して、観察者の瞳１１４に結像される。その結
果観察者には、文字情報のみを表示する表示画面が拡大
された虚像２０４が観察されることになる。

【００６９】一方、第２の光学素子（例えばレンズ系や
プリズム等）を通してスクリーンに投影された画像又は
外界の画像２０５の光が第２の光学素子１００−１を通
り、ハーフミラー１００−ｄを通過し、観察者の瞳１１
４に入射する。その結果観察者はシースルーで観察され
るスクリーンの画像２０５と、表示素子１０２に表示さ
れた文字情報がオーバーラップされた画像２０６を観察
することになる。

【００７０】また、本構成において実施形態１又は２で
説明したような視線検知手段を設け、観察者が文字情報
を読み終えたか否かを判定し、文字情報を観察者が見や
すいよう制御する事が可能となる。

【００７１】本実施形態によれば、図１３のように画像
は大型スクリーンに表示し、文字情報のみをヘッドマウ
ント型ディスプレイ内に表示し、複数の観察者が好みの
言語による文字情報を観察するよう構成することも可能
となる。

【００７２】

【発明の効果】本発明によれば以上のように、表示手段
で表示された文字情報を含む画像情報を観察する観察系
とその一部に観察者の視線を検出する視線検出系とを設
け、該視線検出系からの視線情報に基づいて制御手段に
より該表示手段に表示する画像情報を種々と制御するこ
とにより良好なる画像情報の観察を可能とした視線検出
系を有した表示装置を達成することができる。

【００７３】この他、本発明によれば、 （２−１）観察者の視線情報より表示された文字情報を
読み終えたか否か判定し、その判定結果により文字情報
の表示を制御することにより観察者の読み速度に応じ
て、読み易い文字情報表示を実現する効果がある。

【００７４】（２−２）観察者の視線情報より表示され
た文字情報を読み終えたか否か判定し、表示された文字
情報を読み終える前に文字情報のない画像が送られてき
たときは、表示情報を消去せず表示し続けることにより
観察者が確実に文字情報を読むことができる効果があ
る。

【００７５】（２−３）表示文字情報を読み終える前に
新しい表示情報を持つ画像が送られてきたときは、読み
終えていない文字情報を表示し続け、新しい文字情報
を、読み終えていない文字情報が表示されている位置と
異なる位置に、同一画面内に表示することにより、観察
者が確実に文字情報を読みとることができる効果があ
る。

【００７６】（２−４）視線検知手段により観察者が表
示されている文字情報を読み終える前に、消去あるいは
新しい文字情報への書換え要求がきたときは、表示され
ている画像を静止、またはスロー再生することにより、
観察者が確実に文字情報を読みとることができる効果が
ある。

【００７７】（２−５）観察者の視線検知により観察者
が表示文字情報を読み終えたか判定し、表示文字情報を
読み終えたと判断されたときは、表示文字を消去、或い
は書換のための新しい文字情報が送られてこなくとも読
み終えた表示文字を消去することにより、読み終えた文
字情報を不必要表示し続けることがなくなり、不必要に
文字情報が表示されていることの煩わしさを低減する効
果がある。

【図面の簡単な説明】

【図１】 本発明の実施形態１の要部ブロック図

【図２】 本発明の実施形態１の表示手段の画像情報の
説明図

【図３】 本発明の実施形態１の観察系の光学系の説明
図

【図４】 本発明の実施形態１の視線検出系の説明図

【図５】 本発明の実施形態１の視線検出系の視線検出
原理の説明図

【図６】 本発明の実施形態１の視線検出法の説明図

【図７】 本発明の実施形態１の動作のフローチャート

【図８】 本発明の実施形態１の表示画面の説明図

【図９】 本発明の実施形態１の表示画面の説明図

【図１０】 本発明の実施形態２の要部ブロック図

【図１１】 本発明の実施形態２の動作のフローチャー
ト

【図１２】 本発明の実施形態３の要部ブロック図

【図１３】 本発明の実施形態３の表示画面の説明図

【図１４】 本発明に係る表示装置を観察者の頭部に装
着したときの説明図

【符号の説明】

１００ 光学系 １０１ 視線検出系 １０２ 表示手段 １０８，１０９ 記憶手段 １１１ 制御手段 １１４ 瞳 ７１２ 撮像手段 ７０６ 光源手段

Claims (5)

【特許請求の範囲】
1. 【請求項１】 表示手段に表示した文字情報を含む画像
   情報からの光束を光学系を用いて観察者に導光して、該
   画像情報の虚像を観察する観察系と、該観察者の眼球に
   光源手段からの光束を入射させ、該眼球からの反射光束
   を結像光学系により撮像手段に導光し、該撮像手段から
   の信号を用いて該観察者の視線情報を検出する視線検出
   系と、該視線検出系からの視線情報に基づいて該表示手
   段に表示する文字情報の表示を制御する制御手段とを有
   することを特徴とする視線検出系を有した表示装置。
2. 【請求項２】 前記観察系と前記視線検出系を観察者の
   頭部に装着する為の頭部装着手段を有していることを特
   徴とする請求項１の視線検出系を有した表示装置。
3. 【請求項３】 前記観察系は前記文字情報を記憶する文
   字情報記憶手段を有し、前記制御手段は前記視線検出系
   からの視線情報に基づいて前記表示手段に文字情報を消
   去又は更新して表示する際、該観察者の視線情報が該文
   字情報に注がれていると判断したときは更新前の文字情
   報を表示し続け、更新する文字情報を該更新前の文字情
   報が表示されている位置以外に表示するようにしている
   ことを特徴とする請求項１又は２の視線検出系を有した
   表示装置。
4. 【請求項４】 表示手段に表示した文字情報を含む画像
   情報からの光束を光学系を用いて観察者に導光して、該
   画像情報の虚像を観察する観察系と、該観察者の眼球に
   光源手段からの光束を入射させ、該眼球からの反射光束
   を結像光学系により撮像手段に導光し、該撮像手段から
   の信号を用いて該観察者の視線情報を検出する視線検出
   系と、該視線検出系からの視線情報に基づいて該表示手
   段に表示する画像情報を制御する制御手段とを有し、前
   記制御手段は前記視線検出系からの視線情報に基づいて
   前記表示手段に文字情報を消去又は更新して表示する
   際、該観察者の視線情報が該文字情報に注がれていると
   判断したときは該表示手段に表示する画像情報を静止又
   は表示速度を遅くしていることを特徴とする視線検出系
   を有した表示装置。
5. 【請求項５】 前記制御手段は前記視線検出系からの視
   線情報が前記表示手段に表示した文字情報から離れたも
   のであるときは現在表示している文字情報を消去してい
   ることを特徴とする請求項１又は２の視線検出系を有し
   た表示装置。