JPH0830380A - 表示装置 - Google Patents

表示装置

Info

Publication number
JPH0830380A
JPH0830380A JP7042123A JP4212395A JPH0830380A JP H0830380 A JPH0830380 A JP H0830380A JP 7042123 A JP7042123 A JP 7042123A JP 4212395 A JP4212395 A JP 4212395A JP H0830380 A JPH0830380 A JP H0830380A
Authority
JP
Japan
Prior art keywords
line
sight
display
observer
glance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP7042123A
Other languages
English (en)
Inventor
Hiroyuki Okada
浩幸 岡田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Minolta Co Ltd
Original Assignee
Minolta Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Minolta Co Ltd filed Critical Minolta Co Ltd
Priority to JP7042123A priority Critical patent/JPH0830380A/ja
Publication of JPH0830380A publication Critical patent/JPH0830380A/ja
Priority to US08/912,458 priority patent/US5790099A/en
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/017Head mounted
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16Constructional details or arrangements
    • G06F1/1613Constructional details or arrangements for portable computers
    • G06F1/163Wearable computers, e.g. on a belt
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0179Display position adjusting means not related to the information to be displayed
    • G02B2027/0187Display position adjusting means not related to the information to be displayed slaved to motion of at least a part of the body of the user, e.g. head, eye
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B2027/0192Supplementary details
    • G02B2027/0198System for aligning or maintaining alignment of an image in a predetermined direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Position Input By Displaying (AREA)
  • Calculators And Similar Devices (AREA)

Abstract

(57)【要約】 【目的】 表示画像観察者の視線を検出し、その検出結
果に従って画面上でのデータ処理が可能で、視線検知の
ズレ補正を簡単な操作で行えるようにする。 【構成】 画像表示用LCD7と、LCD表示映像を観
察するための観察光学系と、LCD観察者の視線を検出
する視線検出部15とを一体に設けたヘッドモニターデ
バイス2を頭部に装着した状態で、LCD7の表示画面
上の任意の部分に視線を移動させることにより、その表
示画面上のカーソルがその視線位置に追従して移動し、
且つ、その移動位置でリターンキーRを押すことによ
り、表示画面に対応する入力を行うことができるように
し、さらに、視線位置データを補正データにより補正し
て実際の視線位置を算出し、その視線位置データを表示
した後、補正操作したとき、その視線位置データと、直
前に算出された視線位置データとのズレ量を算出して調
整するもの。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、コンピュータや電子手
帳等のデータ処理機器、中でもパーソナルタイプの小型
機器の表示装置として好適な視線入力機能を備えた表示
装置に関するものである。
【0002】
【従来の技術】近年、パーソナルコンピュータ等のデー
タ処理機器は急速に普及し始めているが、その普及に伴
い装置自体の小型軽量化の進展にも目覚ましいものが見
られる。例えばパーソナルコンピュータの分野において
は、机上に常置するデスクトップタイプから不使用時に
はコンパクト化できるラッブトップタイプ、さらには手
軽に持ち運ぶことができるブックタイプ、ブックタイプ
を薄型化したノートタイプへと小型化が進み、最近では
機能を絞り込むことによりより簡単に携帯できるように
したポケットタイプのものまで開発されるに至ってい
る。
【0003】ところで、このような小型化で問題となる
のが入力手段である。すなわち、デスクトップタイプや
ラップトップタイプの場合、キーボードからの入力の
外、マウスによる入力やペンタッチ入力等、いずれの入
力手段を用いても比較的容易に行うことができるが、ノ
ートタイプやポケットタイプのものでは、キーボード自
体のサイズが小さくなるため、全面的にキー入力操作に
頼ることは処理能率のうえで不利である。
【0004】
【発明が解決しようとする課題】このため、例えばマウ
スによる入力方式も併用できるものが一般的になりつつ
あるが、マウスを使用する場合、マウスを走らせるため
のテーブルが必要となるため、テーブルあるいはその代
用となる台が調達できないところでは使用できないとい
う不都合がある。また、操作用の台がなくても使用でき
るものとして例えば入力手段としてトラックボールを備
えたものもあるが、操作性についてはマウス等の入力手
段と比べると相当劣ることは否めない。さらに、ペンタ
ッチ式の場合も同様のことが言える。更に、ポケットタ
イプのようにコンピュータ本体が小さくなってくるとL
CD等による表示装置も小さくなってくるので多くの情
報を表示できないという問題点もある。
【0005】このような問題点の解決策としては、機器
使用者の視線検出を行い、その検出結果に基づき表示画
面上でのデータ処理が可能な構成が考えられる。このよ
うな観点に立ったものとして、従来、カメラのファイン
ダーに視線検出機能を持たせてAFエリア等の指示を行
うものが提案されている。
【0006】具体的には、上記のような視線検出手段を
具備するカメラ等の光学機器は、特開平3−16862
3号公報や、特開平4−236935号公報等に開示さ
れているが、これらの先行技術例では、視線検出手段で
検出した視線方向と実際の視線方向とのズレを補正する
ために調整モードを設けている。この調整モードでは所
定のシーケンス、例えば所定の注視点を見てボタンを押
す等のシーケンスに従って調整を行うようになってい
る。また、調整のための余分な視線の移動も必要であ
る。
【0007】すなわち、上記先行技術例のようにカメラ
に組み込まれた上記のような視線検出手段においては、
目の光学的特性が人によって異なるため、調整モードに
設定し、観察者の目の特性を測定して補正データをもと
め、該データにより視線方向を補正する必要がある。こ
のとき、前記視線方向の調整操作が最初の1回だけで済
めば、さほどの問題もないが、通常は、1回だけの調整
操作では、調整時の測定誤差等により完全に補正するこ
とが困難である。このため、調整操作を行ったにも関わ
らず、実際の視線方向と検出された視線方向にズレが生
じるという不都合が往々にして生じることになる。
【0008】また、たとえ1回の操作で正確に調整し得
ても、使用者が調整後において、コンタクトレンズを使
用したり、その後の環境の変化等によって、視線方向に
ズレが生じることがある。このような事態が生じた場
合、従来では、再度調整モードに入って指定された方法
で調整を行い、補正データを修正することが必要であ
り、使い勝手の良いものではなかった。
【0009】本発明は、上記のような問題点に鑑みてな
されたもので、その第1の目的は、パーソナルコンピュ
ータのようなデータ処理機器を使用する者の視線を検出
し、その検出結果に従って表示画面上においてデータ処
理を行うことが可能なデータ処理機器の表示装置を提供
することにある。また、本発明の第2の目的は、このよ
うな視線検知機能付き表示装置において、視線検知のズ
レの補正を簡単な操作のみでなし得るようにすることに
ある。
【0010】
【課題を解決するための手段】上記第1の目的を達成す
るために本発明のデータ処理機器の表示装置では、画像
表示を行う表示手段と、この表示手段に表示された映像
を観察するための観察光学系と、前記表示手段を観察す
る観察者の視線を検出する視線検出手段と、この視線検
出手段から出力された観察位置信号に基づいて所定の処
理を実行する処理手段とを具備するものとしている。
【0011】上記第2の目的を達成するために本発明の
表示装置では、上記構成と同様の機能を有する表示手
段、観察光学系及び視線検出手段に加えて、前記視線検
出手段により検出された観察者の視線方向と実際の視線
方向のズレに関するデータを記憶する記憶手段と、前記
視線検出手段により検出された観察者の視線方向と前記
記憶手段に記憶されたデータに基づいて視線方向を補正
する補正手段と、この補正手段により補正された視線方
向に基づいて前記表示手段に視線位置を表示する表示制
御手段と、観察者の視線方向の変化に関わらず表示され
る視線位置の変化を禁止する禁止手段と、この禁止手段
の動作終了に応答して前記表示視線位置と検出視線方向
により実際の視線方向のズレに関するデータを算出する
算出手段と、前記記憶手段のデータを算出されたデータ
に変更する変更手段とを具備するものとしている。
【0012】また、第2の構成において、好ましくは補
正手段に操作部材を設け、この操作部材が操作されてい
る間、禁止手段が動作するように構成する。
【0013】さらに、上記いずれの構成においても、前
記観察光学系は、観察者の頭部に装着可能な保持具に取
り付けられたものとすることができる。
【0014】
【作用】上記第1の構成によると、観察者は観察光学系
を通して表示手段に表示された内容を観察することにな
るが、その観察時における観察者の視線は視線検出手段
によって検出される。視線検出手段によって検出された
観察者の視線の位置は観察位置信号として処理手段に出
力され、処理手段ではその観察位置信号に基づいて所定
の処理を実行する。この場合、観察光学系が保持具に取
り付けられているものでは、観察者はその保持具を頭部
に装着すれば、両手が自由になるので、表示手段の表示
内容を目で追いながら、例えばキーボード等を自在に操
作することができ、一層、操作性の優れたものとなる。
【0015】上記第2の構成によると、視線検出手段よ
り視線位置データを入力し、記憶手段より補正データを
入力する。次いで、視線位置データを補正データにより
補正して実際の視線位置を算出し、算出された視線位置
データを表示制御手段に出力する。そして、操作部材が
操作されたか、否かを判定し、操作されていると視線検
出手段より視線位置データを入力した後、直前に算出さ
れた視線位置データと視線位置データのズレ量を算出
し、算出された補正量を補正データとして記憶手段に記
憶させる。
【0016】
【実施例】以下、本発明の実施例を図面を参照しながら
説明する。図1〜図5は本発明をデータ処理機器として
の超小型パーソナルコンピュータの表示装置に適用した
第1実施例を示している。図1は本実施例装置を備えた
超小型パーソナルコンピュータの使用状態を示してい
る。この図において、1は超小型パーソナルコンピュー
タの本体、2は本実施例表示装置としてのヘッドモニタ
ーデバイスであって、両者1、2はケーブル3によって
電気的に接続されている。
【0017】コンピュータ本体1はデータ処理を行うた
めのCPU、記憶のためのメモリ、入出力のためのI/
O等のチップを備えたマイクロプロセッサ(図示せず)
及び入力操作用のキーボード4を備えた周知構成のもの
で、ワードプロセッサ、表計算、電卓、住所録登録の諸
機能の他、2種類のゲーム機能も併せもっており、図示
するように手の平に収まる程度の外形寸法に構成されて
いる。
【0018】一方、ヘッドモニターデバイス2は、モニ
ター本体5を、観察者の頭部に装着する保持具としての
リング状のヘッドバンド6の適所に取り付けたもので、
前記ケーブル3はヘッドバンド6から引き出されて、コ
ンピュータ本体1のコネクタに接続されている。
【0019】図2はヘッドモニターデバイス2の構成を
模式的に示している。この図において、7は表示手段と
してのLCD(液晶表示装置)であって、コンピュータ
本体1のモニターとして、液晶画面上に画像表示を行
う。8はLCD駆動回路であって、コンピュータ本体1
からの信号に基づいてLCD7を駆動する。
【0020】また、LCD7はモニター本体1の前面に
設けられた観察窓9と同軸上に配設されており、この観
察窓9には、LCD7上に表示されたコンピュータ本体
1の表示画像を観察するための接眼レンズ10が取り付
けられている。この接眼レンズ10はレンズ中に光分割
器として機能する半透過面10aを有しており、LCD
7の表示画像は該半透過面10aを透過して観察窓9へ
向かう光軸aに沿って、ヘッドモニターデバイス2を装
着した観察者の眼球に入射する。
【0021】11は接眼レンズ10の半透過面10aに
よって分割された光軸bと同軸上に配設されたハーフミ
ラー、12は接眼レンズ10とハーフミラー11間の光
軸b上に介在させた集光レンズ、13は赤外LEDであ
って、この赤外LED13から発する赤外光はハーフミ
ラー11上で、ほぼ90°屈折し、更に集光レンズ12と
接眼レンズ10の半透過面10aとを介して観察者の眼
球に投光する。
【0022】また、14は赤外エリアセンサであって、
ハーフミラー11の後方となる光軸b上に配設されてお
り、観察者の眼球で反射した赤外光の反射光を、接眼レ
ンズ10の半透過面10a、集光レンズ12及びハーフ
ミラー11を介して受光する。15は赤外エリアセンサ
14と電気的に接続された視線検出部であって、赤外エ
リアセンサ14の出力に基づいて観察者の視線位置を検
出し、その位置情報をケーブル3を通じてコンピュータ
本体1へ送る。なお、視線検出部15による観察者の視
線位置を検出するための具体的構成は周知構成のものを
適用することができる。
【0023】さらに、コンピュータ本体1は、視線検出
部15から出力された観察位置信号に基づいて後述する
所定の処理を実行する。この処理の実行はコンピュータ
本体1に内蔵の入力指示スイッチ(図示せず)をキーボ
ード4の例えばリターンキーRを操作することにより動
作させることにより行う。
【0024】次に、上記構成の表示装置の動作を説明す
ると、使用者、すなわち観察者はヘッドモニターデバイ
ス2のヘッドバンド6を頭部に装着し、モニター本体5
を接眼レンズ10が一方の目と一致するように位置させ
ることにより、LCD7に表示された画像が視野に入れ
ることができる。観察者はこの装着状態からLCD7の
表示画像を見ながら、コンピュータ本体1上のリターン
キーRを押すことによりデータ入力を行うのであるが、
このとき、観察者が必要とする画像部分に視線を移動さ
せることになる。
【0025】この視線を移動しているときの観察者の眼
球は、移動方向に対応して動くが、この眼球の動きは、
赤外LED13から眼球に向けて投光された赤外光の反
射光が接眼レンズ10の半透過面10a、集光レンズ1
2、ハーフミラー11を介して赤外エリアセンサ14で
受光され、さらに該赤外エリアセンサ14の出力に基づ
き、視線検出部15で観察者の視線位置が検出される。
【0026】視線検出部15で検出された視線位置は観
察位置信号として該視線検出部15からケーブル3を通
じてコンピュータ本体1へ送られ、コンピュータ本体1
では該観察位置信号に基づいて、LCD7の表示画面上
の視線と一致する位置にカーソルを表示する。したがっ
て、カーソルは使用者が見ている場所にコンピュータ本
体1により表示される。つまり、観察者が視線を任意の
場所に移動させることにより、カーソルはその動きに一
致して表示画面上を移動することになる。その後の操作
は、通常のコンピュータと同様に任意のカーソル位置で
観察者がリターンキーRを操作することによりデータ入
力を行うことができる。
【0027】図3及び図4はLCD7の表示状態の一例
を示している。図3に示す表示画面はコンピュータ本体
1が行う処理項目を表すメニュー画面である。この表示
画面において、観察者が視線を移すことによってカーソ
ルCを目的の位置に移動させ、例えば図3に示すよう
に、カーソルCを処理項目中の電卓欄に移動させた後、
リターンキーRを操作すると、入力指示スイッチがON
され、図4に示すように、カーソル位置の電卓メニュー
が選択される。
【0028】図5は電卓メニューに切り替わったときの
LCD7の表示画面を示している。電卓メニューを選択
した後、再度、入力指示スイッチをONすると、図5に
示すように、表示画面が選択されたメニュー、つまり電
卓に切り替わり、そのプログラムが起動する。そして、
視線移動、入力指示スイッチONを繰り返すことにより
コンピュータ本体1の入力指示を行う。
【0029】例えば図5に示すように、1252×(23+4…
…… という計算を行う場合は、まず表示画面上のキー
として示された“1”に視線を合わせて、カーソルCを
その位置に移動させたうえで、リターンキーRを押す
と、計算式の表示欄に“1”が記される。次いで、同様
にして“2”に視線を合わせてリターンキーRを押す。
このような操作を繰り返すことにより、マウスやトラッ
クボール等と同様にして入力操作を行うことができる。
【0030】なお、上記実施例では、表示手段としてL
CDを使用したものとしたが、その他、例えば特開平2
−42476号公報に開示されているようなライン状の
表示手段をミラーで走査するようなタイプのものでもよ
い。また、上記実施例では、観察光学系として単一の接
眼レンズ10を有するものとし、片目で観察するタイプ
のものを挙げたが、その他、例えば図6または図7に示
すように、両眼で表示手段を観察する構造としてもよ
い。
【0031】図6に示すものでは、ヘッドモニターデバ
イス2の観察光学系として、左右の眼に対応して一対の
接眼レンズ10を設け、その一方のみに半透過面10a
を形成する一方、LCD7の表示画像はハーフミラー1
6、反射ミラー17で屈折して一方の接眼レンズ10に
入射し、また、ハーフミラー16を透過し、反射ミラー
18、19で屈折して他方の接眼レンズ10に入射する
ようにしている。この場合、視線検出部15は片眼のみ
に配置すればよい。
【0032】図7に示すものでは、ヘッドモニターデバ
イス2の観察光学系として、左右の眼に対応して一対の
接眼レンズ10を設けるとともに、両眼に対して個別に
LCD7を設け、これらのLCD7をLCD駆動回路8
を通じて制御することにより、視線位置を決定するよう
にしている。この場合も、視線検出部15は片眼のみに
配置すればよい。
【0033】図8〜図11は本発明の第2実施例を示し
ている。図8はヘッドモニターデバイス2の構成を模式
的に示している。この図において、コンピュータ本体1
のキーボードには、操作部材としての補正釦21が設け
られている。この補正釦21は、LCD7の表示画面に
表示されているカーソルCと観察者が実際に見ている位
置がズレているときに、そのズレを補正するために押し
操作するものである。なお、この補正釦21は必ずしも
キーボード上に他のキーとは別に設けなくてもよく、キ
ーボード中の特定キーにその機能をもたせるようにして
もよい。なお、図8に示すその他の構成及び作用は、前
記第1実施例と基本的に共通しているので、共通部分に
共通の符号を付し、重複を避けるためにその説明を省略
する。
【0034】図9はコンピュータ本体1と、LCD7、
LCD駆動回路8からなる表示部22及び視線検出部1
5とにより構成される視線方向補正部を示している。こ
の図において、コンピュータ本体1内には記憶部23、
補正演算部24及び表示制御部25がソフト的に構成さ
れている。
【0035】記憶部23は視線検出部15により検出さ
れた視線位置と実際の視線位置とのズレ量に関するデー
タ、つまり補正データを記憶する。補正演算部24は視
線検出部15からの視線位置と、記憶部23の補正デー
タに基づいて補正視線位置を演算し、出力する。表示制
御部25は補正視線位置を入力するとともに、表示部2
2での表示位置を演算し、該表示部22に表示を行わせ
る。また、SC0Rは補正演算部24をON/OFFする
ための補正スイッチであって、補正釦21を押すとON
になる。
【0036】図10はLCD表示画面において、表示カ
ーソルCの位置と実際の視線位置とがズレている状態を
示している。この図に示す状態では、実線で示すカーソ
ルCの位置と破線で示す実際の視線位置に、横軸x方向
と縦軸y方向について、Δx,△yのズレが生じてい
る。このため、観察者は電卓を選択したいにも拘わら
ず、この状態でリターンキーRを押すとゲーム1が選択
されてしまうことになる。
【0037】そこで、この状態から正しく電卓を選択す
るためには、表示カーソルCの位置と実際の視線位置と
が一致するまで視線をずらせる必要があり、非常に使い
辛いことになる。つまり、実際の視線位置とカーソルC
を一致させるためには、現在使用している補正データ
に、更に△x、△yを加える必要が生じる。
【0038】本実施例では、この視線検知のズレ補正を
簡単な操作のみでなし得るようにするようにしている。
すなわち、図11のフローチャートは補正演算部24と
表示制御部25の動作を示している。この図において、
補正演算部24では、まず、ステップ#110で視線検
出部15より視線位置データを入力し、ステップ#12
0で記憶部23より補正データを入力する。次いで、ス
テップ#130で視線位置データを補正データにより補
正して実際の視線位置を算出し、ステップ#140で算
出された視線位置データを表示制御部25に出力する。
【0039】そして、ステップ#150、#160では
補正スイッチSCORのON/OFF、つまり補正釦21
が押されたか、否かを判別し、補正スイッチSCORが押
されていないと認識したときは、ステップ#110に戻
って上記動作を繰り返し、補正スイッチSCORが押され
たと認識したときは、SCORが離された後ステップ#1
70へ進んで視線検出部15より視線位置データを入力
した後、ステップ#180で、直前のステップ#140
で算出された視線位置データ、つまり現在カーソルCが
表示されている位置と#170で入力された視線位置デ
ータのズレ量(補正量)を算出し、ステップ#190
で、算出された補正量を補正データとして記憶部23に
記憶させる。
【0040】一方、表示制御部25では、補正演算部2
4においてステップ#140で補正視線位置出力が行わ
れたとき、同時にそのデータをステップ#210で入力
する。この後ステップ#220で表示部22での表示位
置を算出し、ステップ#230で表示部22にカーソル
Cを表示させる。
【0041】このような補正演算部24と表示制御部2
5において、通常は補正演算部24におけるステップ#
110の視線位置入力からステップ#150の補正スイ
ッチSCORONの有無判定まで、及び表示制御部25に
おけるステップ#210の視線位置入力からステップ#
230のカーソル表示までの動作により検出された視線
位置がLCD7の表示画面上にリアルタイムで表示され
る。
【0042】また、ステップ#150で補正スイッチS
CORがONであると判断されると、ステップ#160に
進み、該補正スイッチSCORがOFFされるまで補正ス
イッチSCORのOFF判定を繰り返すので、その間は視
線位置入力も行われない。したがって、LCD表示画面
のカーソル位置は補正スイッチSCORON直前のステッ
プ#140での出力データによる表示位置から変化しな
いことになる。
【0043】そこで観察者は、そのときのカーソル位置
が表示された状態から、視線をカーソルCに持って行
く。そして、補正スイッチSCORがOFFされると、そ
の時点の視線位置と前回の補正視線位置(その時点での
カーソル表示位置)とによりズレ量を演算して、最新の
補正データとして記憶部23により記憶するのである。
次いで、再びステップ#110に戻って視線位置を入力
し、最新の補正データにより補正してカーソル表示する
ため、以後は視線位置とカーソルCは一致する。
【0044】
【発明の効果】以上説明したように本発明によるとき
は、表示手段に表示された映像を観察光学系を通して見
るとき、その観察者の視線が視線検出手段によって検出
され、検出した観察位置信号に基づいて処理手段により
所定の処理を実行するようにしているので、例えばマウ
ス等による入力方式も用いて入力する場合に生じる不都
合、すなわち、マウスを走らせるためのテーブル等の必
要がなくなり、使用場所が限定されること、また、マウ
スを手で操作し、カーソルを眼で追う作業となるため、
眼の疲労が大きい等の作業上の問題があること等が抜本
的に解消され、小型パソコン等に最適な表示装置を実現
することができる。また、小型の表示手段を観察光学系
を通して拡大して見るように構成されているのでコンピ
ュータの大きさを大きくすることなく、多くの情報を表
示可能である。
【0045】請求項2によるときは、視線検出手段より
視線位置データを入力し、記憶手段より補正データを入
力し、次いで視線位置データを補正データにより補正し
て実際の視線位置を算出し、算出された視線位置データ
を表示制御手段に出力した後、補正操作されたか、否か
を判定し、操作されていると視線検出手段より視線位置
データを入力して、直前に算出された視線位置データと
視線位置データのズレ量を算出し、算出された補正量を
補正データとして記憶手段に記憶させるものであるの
で、補正手段によって行う簡単な操作のみで調整が可能
であり、また調整のための視線の移動も最小限で済む。
【0046】請求項3によるときは、補正手段に操作部
材を設け、この操作部材が操作されている間、禁止手段
が動作するように構成しているので、例えば操作部材に
よって1個のスイッチをON/OFF操作するだけで調
整が可能であり、しかも禁止手段の動作によって調整
中、視線位置が変更されることがないので、観察が容易
でその視線位置が変更されたことが、調整後の視線位置
移動によって一目で確認できる。
【0047】請求項4によるときは、観察光学系を観察
者の頭部に装着可能な保持具に取り付けたものとしてい
るので、観察者はその保持具を頭部に装着することによ
り、両手が自由になるので、表示手段の表示内容を目で
追いながら、例えばキーボード等を自在に操作すること
ができ、一層、操作性の優れたものとなる。
【図面の簡単な説明】
【図1】 本発明の第1実施例に係る表示装置を備えた
パーソナルコンピュータの使用状態を示す斜視図。
【図2】 ヘッドモニターデバイスの構成を模式的に示
すブロック図。
【図3】 LCD表示画面の一態様を示す正面図。
【図4】 その入力後の表示状態を示す正面図。
【図5】 電卓メニューを選択したときのLCDの表示
状態を示す正面図。
【図6】 ヘッドモニターデバイスの変形態様例を模式
的に示すブロック図。
【図7】 同じく他の変形態様例を模式的に示すブロッ
ク図。
【図8】 本発明の第2実施例に係る表示装置における
ヘッドモニターデバイスの構成を模式的に示すブロック
図。
【図9】 視線方向補正部の構成を示すブロック図。
【図10】 LCD表示画面における視線方向のズレの
一例を示す正面図。
【図11】 補正演算部及び表示制御部の動作を示すフ
ローチャート。
【符号の説明】
1 コンピュータ本体 2 ヘッドモニターデバイス 4 キーボード 5 モニター本体 7 LCD 8 LCD駆動回路 10 接眼レンズ 13 赤外LED 14 赤外エリアセンサ 15 視線検出部 21 補正釦 22 表示部 23 記憶部 24 補正演算部 25 表示制御部

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 画像表示を行う表示手段と、この表示手
    段に表示された映像を観察するための観察光学系と、前
    記表示手段を観察する観察者の視線を検出する視線検出
    手段と、この視線検出手段から出力された観察位置信号
    に基づいて所定の処理を実行する処理手段とを具備する
    ことを特徴とするデータ処理機器の表示装置。
  2. 【請求項2】 画像表示を行う表示手段と、この表示手
    段に表示された映像を観察するための観察光学系と、前
    記表示手段を観察する観察者の視線方向を検出する視線
    検出手段と、この視線検出手段により検出された観察者
    の視線方向と実際の視線方向のズレに関するデータを記
    憶する記憶手段と、前記視線検出手段により検出された
    観察者の視線方向と前記記憶手段に記憶されたデータに
    基づいて視線方向を補正する補正手段と、この補正手段
    により補正された視線方向に基づいて前記表示手段に視
    線位置を表示する表示制御手段と、観察者の視線方向の
    変化に関わらず表示される視線位置の変化を禁止する禁
    止手段と、この禁止手段の動作終了に応答して前記表示
    視線位置と検出視線方向により実際の視線方向のズレに
    関するデータを算出する算出手段と、前記記憶手段のデ
    ータを算出されたデータに変更する変更手段とを具備す
    ることを特徴とする表示装置。
  3. 【請求項3】 補正手段は操作部材を具備し、この操作
    部材が操作されている間、禁止手段が動作するように構
    成されている請求項2の表示装置。
  4. 【請求項4】 観察光学系は、観察者の頭部に装着可能
    な保持具に取り付けられている請求項1または2の表示
    装置。
JP7042123A 1994-05-10 1995-03-01 表示装置 Pending JPH0830380A (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP7042123A JPH0830380A (ja) 1994-05-10 1995-03-01 表示装置
US08/912,458 US5790099A (en) 1994-05-10 1997-08-18 Display device

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP6-96265 1994-05-10
JP9626594 1994-05-10
JP7042123A JPH0830380A (ja) 1994-05-10 1995-03-01 表示装置

Publications (1)

Publication Number Publication Date
JPH0830380A true JPH0830380A (ja) 1996-02-02

Family

ID=26381766

Family Applications (1)

Application Number Title Priority Date Filing Date
JP7042123A Pending JPH0830380A (ja) 1994-05-10 1995-03-01 表示装置

Country Status (2)

Country Link
US (1) US5790099A (ja)
JP (1) JPH0830380A (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002229730A (ja) * 2000-11-30 2002-08-16 Mixed Reality Systems Laboratory Inc 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
JP2014021708A (ja) * 2012-07-18 2014-02-03 Nikon Corp 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法
JP2015141686A (ja) * 2014-01-30 2015-08-03 株式会社リコー ポインティングデバイス、情報処理装置、情報処理システムおよびポインティングデバイスの制御方法
WO2016147499A1 (ja) * 2015-03-17 2016-09-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2020189254A1 (ja) * 2019-03-15 2020-09-24 ソニー株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6538697B1 (en) * 1995-04-26 2003-03-25 Canon Kabushiki Kaisha Man-machine interface apparatus and method
JPH10240491A (ja) * 1997-02-26 1998-09-11 Olympus Optical Co Ltd 情報処理装置
US7248232B1 (en) 1998-02-25 2007-07-24 Semiconductor Energy Laboratory Co., Ltd. Information processing device
US6867752B1 (en) * 1998-08-31 2005-03-15 Semiconductor Energy Laboratory Co., Ltd. Portable information processing system
WO2000054134A1 (de) * 1999-03-09 2000-09-14 Siemens Aktiengesellschaft Eingabe-/ausgabevorrichtung für ein benutzerendgerät
US6836751B2 (en) * 2002-01-23 2004-12-28 Radica China Ltd. Optical controller
JP2005100367A (ja) * 2003-09-02 2005-04-14 Fuji Photo Film Co Ltd 画像生成装置、画像生成方法、及び画像生成プログラム
WO2005119413A1 (de) * 2004-06-01 2005-12-15 Swisscom Mobile Ag Verfahren, system und vorrichtung zur körpergesteuerten übertragung von selektierbaren datenelementen an ein endgerät
ATE387654T1 (de) * 2004-06-01 2008-03-15 Swisscom Mobile Ag Leistungseinsparung in einer koordinateneingabevorrichtung
US8014047B2 (en) * 2006-02-17 2011-09-06 Marvell International Technology Ltd. Sheet media stack imaging system
KR100850357B1 (ko) * 2006-12-06 2008-08-04 한국전자통신연구원 시선 위치 추적 방법 및 그 장치
FR2912274B1 (fr) * 2007-02-02 2009-10-16 Binocle Sarl Procede de commande a partir d'un signal oculaire volontaire, notamment pour une prise de vues
FR3005173B1 (fr) * 2013-04-26 2015-04-10 Airbus Procede d'interaction dans un cockpit d'aeronef entre un pilote et son environnement
US9727136B2 (en) * 2014-05-19 2017-08-08 Microsoft Technology Licensing, Llc Gaze detection calibration

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0777432B2 (ja) * 1987-02-26 1995-08-16 富士写真光機株式会社 視線方向検出装置
US4934773A (en) * 1987-07-27 1990-06-19 Reflection Technology, Inc. Miniature video display system
JPH02164335A (ja) * 1988-12-16 1990-06-25 Konan Camera Kenkyusho:Kk 眼球運動解析装置
US5253008A (en) * 1989-09-22 1993-10-12 Canon Kabushiki Kaisha Camera
JP2787488B2 (ja) * 1989-11-28 1998-08-20 旭光学工業株式会社 視線検出装置
US5331149A (en) * 1990-12-31 1994-07-19 Kopin Corporation Eye tracking system having an array of photodetectors aligned respectively with an array of pixels
JP3134320B2 (ja) * 1991-01-17 2001-02-13 キヤノン株式会社 視線検出装置
JPH08104B2 (ja) * 1992-09-17 1996-01-10 株式会社エイ・ティ・アール視聴覚機構研究所 奥行き視線移動検査装置
JPH06109964A (ja) * 1992-09-28 1994-04-22 Minolta Camera Co Ltd 視線検出機能付きカメラ
US5467104A (en) * 1992-10-22 1995-11-14 Board Of Regents Of The University Of Washington Virtual retinal display
US5481622A (en) * 1994-03-01 1996-01-02 Rensselaer Polytechnic Institute Eye tracking apparatus and method employing grayscale threshold values

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002229730A (ja) * 2000-11-30 2002-08-16 Mixed Reality Systems Laboratory Inc 情報処理装置、複合現実感提示装置及びその方法並びに記憶媒体
US6853935B2 (en) 2000-11-30 2005-02-08 Canon Kabushiki Kaisha Information processing apparatus, mixed reality presentation apparatus, method thereof, and storage medium
JP2014021708A (ja) * 2012-07-18 2014-02-03 Nikon Corp 頭部装着型情報入出力装置、及び頭部装着型情報入出力方法
JP2015141686A (ja) * 2014-01-30 2015-08-03 株式会社リコー ポインティングデバイス、情報処理装置、情報処理システムおよびポインティングデバイスの制御方法
WO2016147499A1 (ja) * 2015-03-17 2016-09-22 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
WO2020189254A1 (ja) * 2019-03-15 2020-09-24 ソニー株式会社 情報処理装置、情報処理方法、及びコンピュータが読み取り可能な記録媒体
US11720178B2 (en) 2019-03-15 2023-08-08 Sony Group Corporation Information processing device, information processing method, and computer-readable recording medium

Also Published As

Publication number Publication date
US5790099A (en) 1998-08-04

Similar Documents

Publication Publication Date Title
JPH0830380A (ja) 表示装置
US6124843A (en) Head mounting type image display system
US7429108B2 (en) Gaze-responsive interface to enhance on-screen user reading tasks
EP2943836B1 (en) Head mount display device providing eye gaze calibration and control method thereof
JP2010145861A (ja) ヘッドマウントディスプレイ
US20030038754A1 (en) Method and apparatus for gaze responsive text presentation in RSVP display
US6292158B1 (en) Display system
JP2010145860A (ja) ヘッドマウントディスプレイ
JP5927867B2 (ja) 表示システム、及び操作入力方法
Kajastila et al. Eyes-free interaction with free-hand gestures and auditory menus
JPH09179062A (ja) コンピュータシステム
JP2001100903A (ja) 視線検出機能搭載装置
US10852816B2 (en) Gaze-informed zoom and pan with manual speed control
Hansen et al. Wrist-worn pervasive gaze interaction
JP2006243784A (ja) ポインティングシステム及びポインティング方法
JPH07244556A (ja) 情報端末
JPH10161801A (ja) 入力装置
Czuszynski et al. Septic safe interactions with smart glasses in health care
JP2012194626A (ja) 表示装置
JP2000010722A (ja) 視線ユーザ・インタフェース装置、そのインタフェース方法、コンピュータ装置、その制御方法、およびプログラム記憶媒体
JP2000293289A (ja) 携帯型端末装置
KR101098687B1 (ko) 이동 통신 단말기의 눈동자 추적을 이용한 기능 실행 방법
US10691250B2 (en) Information processing device, information processing method, and program for preventing reflection of an operation in an output
JP2002099386A (ja) 画面表示制御システム
JP2846185B2 (ja) 座標入力装置