JPH09185116A - Display device - Google Patents

Display device

Info

Publication number
JPH09185116A
JPH09185116A JP35224595A JP35224595A JPH09185116A JP H09185116 A JPH09185116 A JP H09185116A JP 35224595 A JP35224595 A JP 35224595A JP 35224595 A JP35224595 A JP 35224595A JP H09185116 A JPH09185116 A JP H09185116A
Authority
JP
Japan
Prior art keywords
observer
screen
character information
coordinate position
display device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP35224595A
Other languages
Japanese (ja)
Inventor
Takashi Kobayashi
崇史 小林
Takashi Arai
崇 荒井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Priority to JP35224595A priority Critical patent/JPH09185116A/en
Publication of JPH09185116A publication Critical patent/JPH09185116A/en
Pending legal-status Critical Current

Links

Abstract

PROBLEM TO BE SOLVED: To provide a display device constituted so that character information moved and displayed can be surely read without causing an observer to feel unpleasant. SOLUTION: The line of sight of the observer who gazes the character information displayed in a state where it is moved from a 1st coordinate position to a 2nd coordinate position on a screen is detected by a line-of-sight detection means 106, and the moving speed of the character information displayed on the screen is changed by a CPU 111 in accordance with relation between the coordinate position of the gazing point on the screen, and the 1st coordinate position and the 2nd coordinate position.

Description

【発明の詳細な説明】Detailed Description of the Invention

【0001】[0001]

【発明の属する技術分野】この発明は、ヘッドマウント
ディスプレイやビデオカメラのファインダ、スチルカメ
ラのファインダ等の表示装置に関する。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a display device such as a head mounted display, a viewfinder of a video camera, a viewfinder of a still camera.

【0002】[0002]

【従来の技術】従来、この種の表示装置において、画面
上に表示される文字情報等を注視する観察者の視線を検
出する方法が種々提案されている。
2. Description of the Related Art Heretofore, in this type of display device, various methods have been proposed for detecting the line of sight of an observer who is gazing at character information displayed on a screen.

【0003】その1つを図7〜図10を用いて説明す
る。
One of them will be described with reference to FIGS.

【0004】図7はイメージセンサに投影された眼球像
の概略図、図8は同イメージセンサの出力強度図、図9
は視線検出方法の原理を示す上面図、図10は同側面図
を示す。
FIG. 7 is a schematic diagram of an eyeball image projected on the image sensor, FIG. 8 is an output intensity diagram of the image sensor, and FIG.
Is a top view showing the principle of the line-of-sight detection method, and FIG. 10 is a side view of the same.

【0005】図9及び図10において、806a、80
6bは観察者に対して不感の赤外光を放射する発光ダイ
オード(IRED)等の光源であり、各光源806a、
806bは結像レンズ811の光軸に対して図9に示す
ようにx方向(水平方向)に略対称に、また、y方向
(垂直方向)には図10に示すようにやや下側に配置さ
れ、観察者の眼球808を発散照明している。該眼球8
08で反射した照明光の一部は結像レンズ811によっ
てイメージセンサ812に結像するようになっている。
In FIGS. 9 and 10, 806a, 80
Reference numeral 6b denotes a light source such as a light emitting diode (IRED) that emits infrared light that is insensitive to the observer.
806b is arranged substantially symmetrically with respect to the optical axis of the imaging lens 811 in the x direction (horizontal direction) as shown in FIG. 9 and slightly downward in the y direction (vertical direction) as shown in FIG. Thus, the eyeball 808 of the observer is divergently illuminated. The eyeball 8
A part of the illumination light reflected by 08 is imaged on the image sensor 812 by the imaging lens 811.

【0006】次に図7〜図10を用いて視線の検出方法
を説明する。
Next, a method of detecting the line of sight will be described with reference to FIGS.

【0007】まず、水平面で考えると、図9及び図10
において一方の光源806bより放射された赤外光は、
観察者の眼球808の角膜810を照明する。このとき
角膜810の表面で反射した赤外光により形成される角
膜反射像(虚像)dは、図9及び図10の結像レンズ8
11により集光され、イメージセンサ812上の位置
d′に結像する。同様に他方の光源806aより放射さ
れた赤外光は眼球の角膜810を照明する。このとき角
膜810の表面で反射した赤外光により形成された角膜
反射像(虚像)eは、結像レンズ811により集光さ
れ、イメージセンサ812上の位置e′に結像する。ま
た虹彩804の端部a、bからの光束は結像レンズ81
1を介してイメージセンサ812上の位置a′、b′に
該端部a、bの像を結像する。結像レンズ811の光軸
に対する眼球808の光軸の回転角θが小さい場合、虹
彩804の端部a、bのx座標をxa、xbとすると、
xa、xbはイメージセンサ812上で多数点求めるこ
とが出来る(図7の×印a)。そこで、まず、円の最小
自乗法にて瞳孔中心xc803を算出する。
First, considering the horizontal plane, FIG. 9 and FIG.
The infrared light emitted from one of the light sources 806b in
Illuminate the cornea 810 of the observer's eye 808. At this time, the corneal reflection image (virtual image) d formed by the infrared light reflected on the surface of the cornea 810 is the imaging lens 8 of FIGS. 9 and 10.
It is condensed by 11 and forms an image at a position d ′ on the image sensor 812. Similarly, the infrared light emitted from the other light source 806a illuminates the cornea 810 of the eyeball. At this time, the cornea reflection image (virtual image) e formed by the infrared light reflected on the surface of the cornea 810 is condensed by the imaging lens 811, and is imaged at the position e ′ on the image sensor 812. Light fluxes from the ends a and b of the iris 804 are formed by the imaging lens 81.
The images of the end portions a and b are formed at the positions a ′ and b ′ on the image sensor 812 via 1. When the rotation angle θ of the optical axis of the eyeball 808 with respect to the optical axis of the imaging lens 811, is small, and the x coordinates of the ends a and b of the iris 804 are xa and xb,
A large number of points xa and xb can be obtained on the image sensor 812 (x mark a in FIG. 7). Therefore, first, the pupil center xc803 is calculated by the method of least squares of the circle.

【0008】一方、角膜810の曲率中心oのx座標を
xoとすると、眼球808の光軸に対する回転角θx
は、下記(1)式となる。
On the other hand, when the x coordinate of the center of curvature o of the cornea 810 is xo, the rotation angle θx of the eyeball 808 with respect to the optical axis.
Is expressed by the following equation (1).

【0009】 oc*sinθx=xc−xo (1) また、角膜反射像dとeとの中点kに所定の補正値δx
を考慮してxoを求めると、下記(2)式となる。
Oc * sin θx = xc−xo (1) Further, a predetermined correction value δx is set at the midpoint k between the corneal reflection images d and e.
When xo is calculated in consideration of, the following equation (2) is obtained.

【0010】 xk=(xd+xe)/2 xo=(xd+xe)/2+δx (2) ここで、δxは装置の設置方法/眼球距離等から幾何学
的に求められる数値であり、その算出方法は省略する。
よって、(1)式を(2)式へ代入して回転角θxを求
めると、下記(3)式となる。
Xk = (xd + xe) / 2 xo = (xd + xe) / 2 + δx (2) where δx is a numerical value geometrically obtained from the installation method of the device / eyeball distance and the like, and the calculation method is omitted. .
Therefore, when the rotation angle θx is obtained by substituting the equation (1) into the equation (2), the following equation (3) is obtained.

【0011】 θx=arcsin[[xc−{(xd+xe)/2+δx}]/oc] (3) 更に、図9及び図10のイメージセンサ812上に投影
された各々の特徴点の座標の記号に「′」をつけて書き
換えると、下記(4)式となる。
Θx = arcsin [[xc − {(xd + xe) / 2 + δx}] / oc] (3) Furthermore, the symbol of the coordinates of each feature point projected on the image sensor 812 of FIGS. 9 and 10 is “ When rewritten with ‘’, the following equation (4) is obtained.

【0012】 θx=arcsin[[xc′−{(xd′+xe′)/2+δx′}]/o c/β] (4) ここで、βは図9及び図10の結像レンズ811に対す
る眼球の距離szeにより決まる倍率で、実際は角膜反
射像の間隔|xd′−xe′|の関数として求められ
る。
Θx = arcsin [[xc ′ − {(xd ′ + xe ′) / 2 + δx ′}] / oc / β] (4) where β is the value of the eyeball for the imaging lens 811 in FIGS. 9 and 10. It is a magnification determined by the distance sze, and is actually obtained as a function of the interval | xd'-xe '| of corneal reflection images.

【0013】垂直面で考えると図9及び図10のような
構成となる。ここで2個のIRED806a、806b
により生じる角膜反射像は同位置に発生し、これをiと
する。眼球の回転角θyの算出方法は水平面の時とほぼ
同一であるが、上記(2)式のみ異なり、角膜曲率中心
oのy座標をyoとすると、下記(5)式となる。
Considering the vertical plane, the configurations shown in FIGS. 9 and 10 are obtained. Here, two IREDs 806a and 806b
The corneal reflection image generated by is generated at the same position, and this is designated as i. The method of calculating the rotation angle θy of the eyeball is almost the same as that for the horizontal plane, but only the above formula (2) is different, and when the y coordinate of the corneal curvature center o is yo, the following formula (5) is obtained.

【0014】yo=yi+δy (5) ここで、δyは装置の配置方法、眼球距離等から幾何学
に求められる数値であり、その算出方法は省略する。依
って、垂直方向の回転角θyは、下記(6)式となる。
Yo = yi + δy (5) Here, δy is a numerical value obtained geometrically from the arrangement method of the device, the eyeball distance, etc., and the calculation method is omitted. Therefore, the rotation angle θy in the vertical direction is given by the following expression (6).

【0015】 θy=arcsin[[yc′−(yi′+δy′)]/oc/β] (6) となる。Θy = arcsin [[yc ′ − (yi ′ + δy ′)] / oc / β] (6)

【0016】更に、ビデオカメラのファインダの場合、
画面上の位置座標(xn、yn)はファインダ光学系で
決まる定数mを用いると、水平面上、垂直面上それぞ
れ、下記(7)式、及び(8)式となる。
Further, in the case of a viewfinder of a video camera,
When the constant m determined by the finder optical system is used, the position coordinates (xn, yn) on the screen are given by the following equations (7) and (8) on a horizontal plane and a vertical plane, respectively.

【0017】 xn=m*arcsin[[xc′−{(xd′+xe′)/2+δx′}] /oc/β] (7) yn=m*arcsin[[yc′−(yi′+δy′)]/oc/β] (8) 図7〜図10で明らかなように、瞳孔エッヂの検出はイ
メージセンサ812の出力波形の立ち上がりxb′、立
ち下がりxa′を利用する。また、角膜反射像の座標は
鋭い立ち上がり部xe′及びxd′を利用する。
Xn = m * arcsin [[xc '-{(xd' + xe ') / 2 + δx'}] / oc / β] (7) yn = m * arcsin [[yc '-(yi' + δy ')] / Oc / β] (8) As is clear from FIGS. 7 to 10, the detection of the pupil edge uses the rising edge xb ′ and the falling edge xa ′ of the output waveform of the image sensor 812. In addition, the coordinates of the corneal reflection image utilize the sharp rising portions xe 'and xd'.

【0018】次に視線検出機能をポインティングデバイ
スとして利用したパーソナルコンピュータ(パソコン)
のヘッドマウントディスプレイについて、図11及び図
12を用いて説明する。
Next, a personal computer (personal computer) using the gaze detection function as a pointing device
The head mounted display of 1 will be described with reference to FIGS. 11 and 12.

【0019】図11はヘッドマウントディスプレイの構
成を示すブロック図であり、同図において、1110は
ヘッドマウントディスプレイユニットで、ゴーグル、メ
ガネ等のような形状で、使用者の目の近傍に固定される
ようになっている。また1108は液晶表示素子、11
09は液晶表示回路で、パソコン画面の表示を行う。更
に、1107は特殊なプリズム、1101は観察者の目
であり、プリズム1107により、前記液晶画面が拡大
されて観察者の目1101に観察される。
FIG. 11 is a block diagram showing the structure of a head mounted display. In FIG. 11, reference numeral 1110 is a head mounted display unit, which is shaped like goggles, glasses, etc. and is fixed near the eyes of the user. It is like this. Reference numeral 1108 denotes a liquid crystal display element, 11
A liquid crystal display circuit 09 displays the personal computer screen. Further, 1107 is a special prism, 1101 is an observer's eye, and the liquid crystal screen is enlarged by the prism 1107 to be observed by the observer's eye 1101.

【0020】プリズム1107は、第1の光学作用面
a、第2の光学作用面b、第3の光学作用面cを有し、
全体として正の屈折力を有する観察光学系である。ま
た、1102は眼球を照明する赤外発光ダイオード、1
103は観察者の目1101及び角膜反射像を縮小結像
する結像レンズ系で、レンズ1103a,1103bを
有する。1104は前記像を検出するイメージセンサー
である。プリズム1107の第2光学作用面bは、観察
者の目1101の上下方向に傾斜しており、液晶表示素
子1108は観察者の目1101の上方(または下方)
に配置されている。
The prism 1107 has a first optical action surface a, a second optical action surface b, and a third optical action surface c,
The observation optical system has a positive refractive power as a whole. Reference numeral 1102 denotes an infrared light emitting diode that illuminates the eyeball, 1
Reference numeral 103 denotes an image forming lens system for reducing and forming an eye 1101 and a cornea reflection image of an observer, and includes lenses 1103a and 1103b. An image sensor 1104 detects the image. The second optical surface b of the prism 1107 is inclined in the vertical direction of the observer's eye 1101, and the liquid crystal display element 1108 is above (or below) the observer's eye 1101.
Are located in

【0021】図12は、プリズム1107の第2の光学
作用面bから見た側面図であり、第2の光学作用面bに
は、光を反射するための反射層(斜線部)が設けられて
おり、その中央部には、開口部Aがあいている。赤外発
光ダイオード1102は、光軸を含み紙面に平行な平面
に対して対称に2個、少なくとも1対の光源を観察者の
目1101の下方から該観察者の目1101を照明する
ように配置されている。
FIG. 12 is a side view of the prism 1107 as seen from the second optical action surface b. The second optical action surface b is provided with a reflection layer (hatched portion) for reflecting light. The opening A is open in the center. Two infrared light emitting diodes 1102 are arranged symmetrically with respect to a plane including the optical axis and parallel to the paper surface, and at least one pair of light sources are arranged so as to illuminate the eye 1101 of the observer from below the eye 1101 of the observer. Has been done.

【0022】次に、観察光学系の光学作用を説明する。Next, the optical function of the observation optical system will be described.

【0023】液晶表示素子1108からの光はプリズム
1107の第3の光学作用面cで、屈折透過し、プリズ
ム内の第1の光学作用面aで全反射し、第2の光学作用
面bの反射層で反射し、再び第1の光学作用面aを屈折
透過して、観察者の視度に適合した拡がり角(収束角、
平行)の光束となり、観察者の目1101側に射出す
る。ここでは、観察者の目1101と液晶表示素子11
08の中心を結ぶ線を基本光軸Lとして示している。そ
して、観察者の視度に対する調整は、液晶表示素子11
08をプリズム1107の光軸に沿って平行移動するこ
とにより可能となる。
The light from the liquid crystal display element 1108 is refracted and transmitted by the third optical action surface c of the prism 1107, is totally reflected by the first optical action surface a in the prism, and is reflected by the second optical action surface b of the prism. The divergence angle (convergence angle, convergence angle, which is reflected by the reflective layer, is refracted and transmitted again through the first optical action surface a, and is adapted to the diopter of the observer.
It becomes a (parallel) light flux and is emitted to the observer's eye 1101 side. Here, the observer's eyes 1101 and the liquid crystal display element 11 are
A line connecting the centers of 08 is shown as a basic optical axis L. The liquid crystal display element 11 is used to adjust the diopter of the observer.
This is possible by translating 08 along the optical axis of the prism 1107.

【0024】次に視線検出系の光学作用を説明する。Next, the optical function of the line-of-sight detection system will be described.

【0025】赤外発光ダイオード1102から発した光
は、視線検出系の光軸とは異なる方向から観察者の目1
101を照明する。照明光は観察者の目1101の角
膜、瞳孔で反射散乱され、角膜で反射した光は角膜反射
像を形成し、瞳孔で散乱した光は瞳孔像を形成する。こ
れらの光は、プリズム1107の第2の光学作用面bに
設けられた開口部Aを通して、結像レンズ系1103に
よりイメージセンサ1104上に結像される。そして、
メージセンサ1104から得られる観察者の目1101
の画像は、前述した視線検出原理によって構成された視
線検出回路1105によって、注視点データを後述する
パソコンユニット1120へ出力するようになってい
る。
The light emitted from the infrared light emitting diode 1102 is observed by the observer's eye 1 from a direction different from the optical axis of the visual axis detection system.
Illuminate 101. The illumination light is reflected and scattered by the cornea and the pupil of the observer's eye 1101, the light reflected by the cornea forms a corneal reflection image, and the light scattered by the pupil forms a pupil image. These lights are imaged on the image sensor 1104 by the imaging lens system 1103 through the opening A provided on the second optical action surface b of the prism 1107. And
The observer's eyes 1101 obtained from the image sensor 1104
In this image, the gazing point data is output to the personal computer unit 1120, which will be described later, by the visual axis detecting circuit 1105 configured according to the above-described visual axis detecting principle.

【0026】プリズム1107は、像性能と歪を補正
し、テレセントリックな系とするために、3つの作用面
a、b、cをそれぞれ回転対称軸を有しない3次元曲面
で構成するのが望ましく、ここでは、基本光軸Lを含
み、紙面に平行な平面にのみ対称な曲面構造としてい
る。
In the prism 1107, it is desirable that the three working surfaces a, b, and c are each formed by a three-dimensional curved surface having no axis of rotational symmetry in order to correct the image performance and distortion and to make a telecentric system. Here, a curved surface structure including the basic optical axis L and symmetric only with respect to a plane parallel to the paper surface is used.

【0027】結像レンズ系1103の一方のレンズ11
03aは、楔形状のレンズで、これにより結像レンズ系
1103を少ないレンズで構成することができるので小
型化に適している。このレンズ1103aの斜めの面に
曲率をつけることで、プリズム1107の第2の光学作
用面bで発生する偏心収差を有効に補正することができ
る。更に、結像レンズ系1103には少なくとも非球面
を1面設けると、軸外の結像性能を補正する上で有効で
ある。結像レンズ系1103の絞りは、プリズム110
7の第2の光学作用面bに設けた開口部Aに近いほうが
開口部Aを小さくすることができ、観察光学系に対する
中抜けを防ぐのに有効であり、できれば開口部Aと絞り
が一致しているのが望ましい。開口部Aは、2mmより
小さく設定したほうが観察者の目1101の瞳孔より小
さくなり、更に観察光学系に対する中抜けを防ぐのに有
効である。また、観察者の目1101を照明する光は、
視感度の低い光がよいので赤外光を使用している。この
場合、結像レンズ系1103に可視光をカットする部材
からなるレンズ1103bを少なくとも1個設けると、
視線の検出精度を向上させることができる。
One lens 11 of the imaging lens system 1103
Reference numeral 03a is a wedge-shaped lens, which makes it possible to configure the imaging lens system 1103 with a small number of lenses, which is suitable for downsizing. By imparting a curvature to the oblique surface of the lens 1103a, it is possible to effectively correct the decentering aberration generated on the second optical action surface b of the prism 1107. Furthermore, providing at least one aspherical surface in the imaging lens system 1103 is effective in correcting the off-axis imaging performance. The diaphragm of the imaging lens system 1103 is a prism 110.
7 is closer to the opening A provided on the second optical action surface b, it is possible to make the opening A smaller, which is effective in preventing a hollow portion in the observation optical system. It is desirable to do it. When the opening A is set to be smaller than 2 mm, it becomes smaller than the pupil of the eye 1101 of the observer, and it is effective to prevent the hollow portion in the observation optical system. In addition, the light that illuminates the observer's eyes 1101 is
Infrared light is used because light with low visibility is good. In this case, if at least one lens 1103b made of a member that cuts visible light is provided in the imaging lens system 1103,
It is possible to improve the detection accuracy of the line of sight.

【0028】更に、照明光源をプリズム1107を挟ん
で観察者の目1101と反対側に配置すると、プリズム
1107の屈折力が強くなり、高視野化した場合でも、
観察者の目1101を適切に照明することができるので
望ましい。この場合は、プリズム1107の第2の光学
作用面bの反射層の光源の部分に開口部Aを設ける。赤
外発光ダイオード1102から発射された光は、プリズ
ム1107の第2の光学作用面bの開口部Aを透過し、
第1の光学作用面aを透過して、視線検出系の光軸と異
なる方向から観察者の目1101を照明するようにな
る。
Further, when the illumination light source is arranged on the side opposite to the observer's eyes 1101 with the prism 1107 interposed therebetween, the refractive power of the prism 1107 becomes strong, and even when the field of view is increased,
This is desirable because the eyes 1101 of the observer can be appropriately illuminated. In this case, the opening A is provided in the light source portion of the reflective layer of the second optical action surface b of the prism 1107. The light emitted from the infrared light emitting diode 1102 passes through the opening A of the second optical surface b of the prism 1107,
The eye 1101 of the observer is illuminated from a direction different from the optical axis of the visual axis detection system through the first optical action surface a.

【0029】次にパソコンユニット1120について説
明すると、図11において、1120はパソコンユニッ
ト、1114はCPU(中央処理装置)であり、プログ
ラムやデータの演算処理を行うようになっている。11
13は各デバイスを結ぶシステムバス、1118は、R
OM(読み出し専用メモリ)1116やRAM(読み出
し書き込みメモリ)1117の制御を行うメモリコント
ローラ、1112はビデオRAM1111に書かれた内
容がディスプレイに表示されるよう制御するビデオグラ
フィックコントローラである。1115はポインティン
グデバイスやキーボードをコントロールするアクセサリ
/デバイスコントローラで、本実施の形態ではヘッドマ
ウントディスプレイ1110の視線検出回路1105に
接続されている。1119は周辺装置制御用のI/Oチ
ャネルで、本実施例ではヘッドマウントディスプレイ1
110の液晶表示回路1109に接続される。また、1
121はキャラクタコントローラ、1122はインタフ
ェースである。
Next, the personal computer unit 1120 will be described. In FIG. 11, reference numeral 1120 is a personal computer unit, and 1114 is a CPU (central processing unit), which performs arithmetic processing of programs and data. 11
13 is a system bus connecting the devices, 1118 is R
A memory controller 1112 for controlling the OM (read only memory) 1116 and the RAM (read / write memory) 1117 is a video graphic controller for controlling the contents written in the video RAM 1111 to be displayed on the display. Reference numeral 1115 denotes an accessory / device controller for controlling a pointing device or a keyboard, which is connected to the line-of-sight detection circuit 1105 of the head mounted display 1110 in this embodiment. Reference numeral 1119 denotes an I / O channel for controlling peripheral devices, and in this embodiment, the head mounted display 1
It is connected to the liquid crystal display circuit 1109 of 110. Also, 1
121 is a character controller and 1122 is an interface.

【0030】ここで、ヘッドマウントディスプレイ11
10に搭載されている視線ポインティングデバイスを使
ったパソコンのメニュー選択機能について、図13を用
いて説明する。
Here, the head mounted display 11
The menu selection function of the personal computer using the line-of-sight pointing device mounted on the personal computer 10 will be described with reference to FIG.

【0031】図13は観察者がヘッドマウントディスプ
レイ1301を装着した場合に見える画面であり、13
02はメニュー選択表示範囲、1303、1304、1
305はメニュー表示、α、β、γはそれぞれのメニュ
ー表示1303〜1305に対応した注視判別のための
座標群範囲である。観察者は、メニュー表示1303、
1304、1305を一定時間注視することによって、
それぞれのメニュー表示に対応する機能を実行すること
ができるようになっている。
FIG. 13 shows a screen seen when the observer wears the head mounted display 1301.
02 is a menu selection display range, 1303, 1304, 1
Reference numeral 305 denotes a menu display, and α, β, and γ are coordinate group ranges for gaze determination corresponding to the respective menu displays 1303 to 1305. The observer displays the menu display 1303,
By watching 1304 and 1305 for a certain period of time,
The function corresponding to each menu display can be executed.

【0032】次に視線ポインティングデバイス機能時に
おけるCPU1114の動作を図14のフローチャート
に従って具体的に説明する。それぞれの視線スイッチの
指標を含む所定の範囲の座標群はそれぞれ図11のRO
M1116に記憶されており、各座標群は各指標の図1
3に示した範囲α、β、γの座標を全て含む。
Next, the operation of the CPU 1114 at the time of the function of the line-of-sight pointing device will be specifically described with reference to the flowchart of FIG. A coordinate group in a predetermined range including the index of each line-of-sight switch is RO in FIG.
It is stored in M1116, and each coordinate group is shown in FIG.
All the coordinates of the ranges α, β, and γ shown in 3 are included.

【0033】まず、ステップS1401で電源がオン
(ON)されると、ステップS1402で変数l、m、
nが0にリセットされ、準備ができる。変数l、m、n
はそれぞれ観察者の注視点が範囲αのいずれかの座標、
範囲βのいずれかの座標、範囲γのいずれかの座標と一
致した回数をカウントする変数である。次にステップS
1403で図11のCPU1114は、観察者が画面を
覗き視線検出が正常に行われている間、絶えず観察者の
ファインダー上の注視点座標範囲α、β、γを視線検出
回路1105から受け取っている。
First, when the power is turned on in step S1401, variables l, m, and
n is reset to 0 and ready. Variables l, m, n
Is the coordinate at which the observer's point of gaze is in the range α,
It is a variable that counts the number of times that any coordinates in the range β and any coordinates in the range γ match. Next, step S
In 1403, the CPU 1114 of FIG. 11 continuously receives the gazing point coordinate ranges α, β, γ on the finder of the observer from the visual line detection circuit 1105 while the observer looks into the screen and the visual line detection is normally performed. .

【0034】いま、観察者が図13のメニューAのメニ
ュー表示1303を見た場合を説明する。注視点座標が
範囲αの内のいずれかの座標に略一致すると(ステップ
S1404)、ステップS1405で変数m、nを0に
リセットし、lが所定の回数(本実施例では5回)より
多いか否かをステップS1406で判断し、少なければ
ステップS1408でlに1を加え、再びステップS1
409でlが5より多いか否かを判断し、少なければ前
記ステップS1403へ戻り、再び視線検出回路110
5から注視点座標を受け取る。
Now, a case where the observer sees the menu display 1303 of the menu A in FIG. 13 will be described. When the coordinates of the gazing point substantially match any of the coordinates in the range α (step S1404), the variables m and n are reset to 0 in step S1405, and l is larger than a predetermined number (five in this embodiment). Whether or not it is determined in step S1406, and if less, 1 is added to 1 in step S1408, and step S1 is performed again.
At 409, it is determined whether or not l is larger than 5, and if it is smaller, the process returns to step S1403, and the line-of-sight detection circuit 110 is restarted.
Receives gazing point coordinates from 5.

【0035】また、前記ステップS1409で5以上と
判断されると、ステップS1411でAメニューを選択
した後、前記ステップS1403へ戻り、再び視線座標
を受け取る。また、前記ステップS1406でlが5以
上であれば、前記ステップS1408及びステップS1
409をスキップして、前記ステップS1411に進
む。
If it is determined in step S1409 that the number is 5 or more, the A menu is selected in step S1411, and then the process returns to step S1403 to receive the line-of-sight coordinates again. If l is 5 or more in step S1406, steps S1408 and S1 are performed.
409 is skipped, and the process proceeds to step S1411.

【0036】範囲αの内のいずれかの座標と視線座標が
一致しても、一致した回数が5回に満たない内に範囲α
の内のいずれかの座標から1度でもはずれると、ステッ
プS1413、ステップS1421、ステップS142
8で変数lは0にリセットされる。
Even if any of the coordinates in the range α coincides with the line-of-sight coordinates, the range α falls within five times if they match.
If the coordinates deviate from any of the coordinates even once, steps S1413, S1421, and S142.
At 8 the variable l is reset to 0.

【0037】他のメニューBのメニュー表示1304及
びメニューCのメニュー表示1305を見た場合も、上
記図13のメニューAのメニュー表示1303を見た場
合と同様なので、図14のフローチャートに示すが、そ
の説明は省略する。
The other menu B menu display 1304 and the menu C menu display 1305 are the same as the menu A menu display 1303 of FIG. 13 described above. The description is omitted.

【0038】ところで昨今のパソコンはマルチメディア
端末として用いられ、パソコンの画面には様々な文字情
報がスクロール表示できるようになっている。
By the way, recent personal computers are used as multimedia terminals, and various character information can be scroll-displayed on the screen of the personal computer.

【0039】図11のキャラクタコントローラ1121
は、CPU1114から指示されるキャラクタデータや
外部インターフェース1122を通して入力されるキャ
ラクタデータに対するコントローラである。
The character controller 1121 of FIG.
Is a controller for character data instructed from the CPU 1114 and character data input through the external interface 1122.

【0040】ここでは文字情報がディスプレイにスクロ
ール表示されるように制御している。
Here, the character information is controlled to be scroll-displayed on the display.

【0041】図15は前述した図13のヘッドマウント
ディスプレイ1301の画面の下の部分1505に文字
情報がスクロールして流れていく様子を示しており、画
面1501から画面1504までの4つの時間経過の過
程を表している。図15の例での文字情報は”abcd
efghijklmnopq.”で、画面の右から左の
方へスクロールして消えていき、画面1506の部分
は、ゲームの画面であったり、ワープロ(ワードプロセ
ッサ)の画面であったり、何か他のアプリケーションの
画面であったりする。画面1505の部分に流れる文字
情報は、これらのアプリケーションの為の文字情報であ
ったり、これらのアプリケーションとはなんら関係なく
現れ、スクロールして消えていくこともある。
FIG. 15 shows a state in which character information scrolls and flows to the lower portion 1505 of the screen of the head mounted display 1301 of FIG. 13 described above, and four time elapses from the screen 1501 to the screen 1504. It represents the process. The character information in the example of FIG. 15 is “abcd
efghijklmnopq. ", Scrolls from the right to the left of the screen and disappears. The part of the screen 1506 is the screen of the game, the screen of the word processor (word processor), or the screen of some other application. The character information flowing on the screen 1505 may be character information for these applications, may appear regardless of these applications, and may disappear by scrolling.

【0042】[0042]

【発明が解決しようとする課題】以上説明したように観
察者の視線を検出する方法は既に知られているが、従来
の視線検出方法では次のような不具合がある。
As described above, the method for detecting the line of sight of the observer is already known, but the conventional line-of-sight detection method has the following drawbacks.

【0043】例えば、ヘッドマウントディスプレイで視
線を検出しようとする場合、画面にスクロール表示され
る文字情報の移動速度は一定であるので、観察者によっ
ては表示される文字情報の移動速度が速すぎて画面上に
表示されている期間内に読み切れなかったり、また逆に
観察者によっては表示される文字情報の移動速度が遅す
ぎて不快に感じるという不具合がある。
For example, when trying to detect a line of sight with a head mounted display, the moving speed of the character information scroll-displayed on the screen is constant, and therefore the moving speed of the displayed character information is too fast for some observers. There is a problem that the reading cannot be completed within the period displayed on the screen, and conversely, the moving speed of the displayed character information is too slow depending on the observer, which is uncomfortable.

【0044】図13は観察者が注視している表示画面で
あり、画面の下部1301に、位置1302から位置1
303に向かって文字情報がスクロール表示されてい
る。もし、文字情報の移動速度が観察者の読み取り速度
と合致していれば、観察者は位置1304に注視点を置
いたまま文字情報を読み取ることができる。しかし、文
字情報の移動速度が観察者の読み取り速度より速いと、
観察者の注視点は次第に位置1303に移動していき、
しまいには読み取り不可能になってしまう。
FIG. 13 shows a display screen on which the observer is gazing, and from the position 1302 to the position 1 at the lower part 1301 of the screen.
Character information is scrolled toward 303. If the moving speed of the text information matches the reading speed of the observer, the observer can read the text information while keeping the gazing point at the position 1304. However, if the moving speed of text information is faster than the reading speed of the observer,
The observer's gazing point gradually moves to the position 1303,
In the end, it becomes unreadable.

【0045】また、文字情報の移動速度が観察者の読み
取り速度より遅い場合は、観察者の注視点は次第に位置
1302に移動していき、なかなか現れない文字情報に
いらいらする等の不快を感じることになる。
When the moving speed of the character information is slower than the reading speed of the observer, the gazing point of the observer gradually moves to the position 1302, and the user feels uncomfortable such as the character information that does not appear easily. become.

【0046】この発明は上記従来例の有する不具合を改
善するためになされたもので、移動表示される文字情報
等を観察者が不快を感じることなく確実に読み取れるよ
うにした表示装置を提供することを目的とするものであ
る。
The present invention has been made in order to improve the problems of the above-mentioned conventional example, and provides a display device capable of surely reading character information or the like that is moved and displayed without causing the observer to feel uncomfortable. The purpose is.

【0047】[0047]

【課題を解決するための手段】上記目的を達成するため
に、この発明の請求項1の表示装置は、画面上に表示さ
れる文字情報等を注視する観察者の視線を検出する視線
検出手段と、上記画面上における第1の座標位置から第
2の座標位置へ移動しながら表示される文字情報等を観
察者が注視している場合に該注視点の上記画面上の座標
位置と上記第1の座標位置と第2の座標位置との関係に
応じて上記文字情報等の移動速度を変化させる移動速度
変化手段とを具備したことを特徴とするものである。
In order to achieve the above object, the display device according to claim 1 of the present invention is a line-of-sight detecting means for detecting the line-of-sight of an observer who gazes at character information displayed on the screen. And when the observer is gazing at the character information or the like displayed while moving from the first coordinate position on the screen to the second coordinate position, the coordinate position on the screen of the gaze point and the And a moving speed changing means for changing the moving speed of the character information or the like according to the relationship between the first coordinate position and the second coordinate position.

【0048】また、同じ目的を達成するために、この発
明の請求項2の表示装置は、請求項1の表示装置におい
て、上記注視点の画面上における座標位置が上記第1の
座標位置と第2の座標位置の中間点より第1の座標位置
に近い場合は文字情報等の移動速度を早くし、中間点よ
り第2の座標位置に近い場合は文字情報等の移動速度を
遅くすることを特徴とするものである。
In order to achieve the same object, the display device according to claim 2 of the present invention is the display device according to claim 1, in which the coordinate position of the gazing point on the screen is the same as the first coordinate position. If the first coordinate position is closer to the first coordinate position than the intermediate point of the second coordinate position, the moving speed of the character information or the like is increased, and if the second coordinate position is closer than the intermediate point, the moving speed of the character information or the like is decreased. It is a feature.

【0049】[0049]

【発明の実施の形態】以下、この発明の実施の形態を図
1〜図6に基づき説明する。
BEST MODE FOR CARRYING OUT THE INVENTION Embodiments of the present invention will be described below with reference to FIGS.

【0050】(第1の実施の形態)まず、この発明の第
1の実施の形態を図1〜図5を用いて詳述する。
(First Embodiment) First, a first embodiment of the present invention will be described in detail with reference to FIGS.

【0051】図1はこの発明の第1の実施の形態に係る
表示装置の構成を示すブロック図、図2は図1の表示装
置におけるプリズムの第2の光学作用面bから見た側面
図、図3は同表示装置における画面を示す説明図、図4
は同表示装置の作用を示すフローチャート、図5は同表
示装置のメモリの動作を示す説明図である。
FIG. 1 is a block diagram showing a configuration of a display device according to a first embodiment of the present invention, FIG. 2 is a side view seen from a second optical surface b of a prism in the display device of FIG. 1, FIG. 3 is an explanatory view showing a screen on the display device, and FIG.
Is a flow chart showing the operation of the display device, and FIG. 5 is an explanatory diagram showing the operation of the memory of the display device.

【0052】図1において、110はヘッドマウントデ
ィスプレイユニットであり、ゴーグル、メガネ等のよう
な形状で使用者の目の近傍に固定されている。108は
液晶表示素子、109は液晶表示回路であり、パソコン
画面の表示を行う。また、107は特殊プリズム、10
1は観察者の目であり、プリズム107により、前記液
晶画面が拡大されて観察者の目101に観察される。プ
リズム107は、第1の光学作用面a、第2の光学作用
面b及び第3の光学作用面cを有し、全体として正の屈
折力を有する観察光学系である。更に、102は観察者
の目101を照明する赤外発光ダイオード、103は観
察者の目101及び角膜反射像を縮小結像する結像レン
ズ系、104は前記像を検出するイメージセンサーであ
る。プリズム107の第2光学作用面bは、観察者の目
101の上下方向に傾斜しており、液晶表示素子108
は観察者の上方(または下方)に配置されている。
In FIG. 1, 110 is a head mounted display unit, which is fixed in the vicinity of the user's eyes in the shape of goggles, glasses, or the like. A liquid crystal display element 108 and a liquid crystal display circuit 109 display a personal computer screen. Further, 107 is a special prism, 10
Reference numeral 1 is an observer's eye, and the liquid crystal screen is enlarged by the prism 107 and is observed by the observer's eye 101. The prism 107 is an observation optical system having a first optical action surface a, a second optical action surface b, and a third optical action surface c, and having a positive refracting power as a whole. Further, 102 is an infrared light emitting diode for illuminating the observer's eye 101, 103 is an image forming lens system for forming a reduced image of the observer's eye 101 and a cornea reflection image, and 104 is an image sensor for detecting the image. The second optical surface b of the prism 107 is tilted in the vertical direction of the observer's eyes 101, and the liquid crystal display element 108 is provided.
Is located above (or below) the observer.

【0053】図2はプリズム107の第2の光学作用面
bから見た側面図で、第2の光学作用面bには光を反射
するための反射層(斜線部)が設けられており、その中
央部には、開口部Aが設けられている。赤外発光ダイオ
ード102は、光軸を含み紙面に平行な平面に対して対
称に2個、少なくとも1対の光源を観察者の目101の
下方から該観察者の目901を照明するように配置され
ている。
FIG. 2 is a side view of the prism 107 as seen from the second optical action surface b. The second optical action surface b is provided with a reflection layer (hatched portion) for reflecting light. An opening A is provided in the central portion. Two infrared light emitting diodes 102 are arranged symmetrically with respect to a plane including the optical axis and parallel to the paper surface, and at least one pair of light sources are arranged so as to illuminate the eye 901 of the observer from below the eye 101 of the observer. Has been done.

【0054】次に観察光学系の光学作用を説明する。液
晶表示素子108からの光はプリズム107の第3の光
学作用面cで屈折透過し、第1の光学作用面aで全反射
し、第2の光学作用面bの反射層で反射し、再び第1の
光学作用面aを屈折透過し、観察者の視度に適合した拡
がり角(収束角、平行)の光束となり、観察者の目10
1側に射出する。ここでは、観察者の目101と液晶表
示素子108の中心を結ぶ線を基本光軸Lとして示して
いる。観察者の視度に対する調整は、液晶表示素子10
8を、プリズム107の光軸に沿って平行移動すること
により可能となる。
Next, the optical function of the observation optical system will be described. The light from the liquid crystal display element 108 is refracted and transmitted by the third optical action surface c of the prism 107, is totally reflected by the first optical action surface a, is reflected by the reflection layer of the second optical action surface b, and is again reflected. The light beam having a divergence angle (convergence angle, parallel) adapted to the diopter of the observer is refracted and transmitted through the first optical action surface a, and the observer's eyes 10
Inject to the 1 side. Here, a line connecting the eyes 101 of the observer and the center of the liquid crystal display element 108 is shown as the basic optical axis L. The liquid crystal display element 10 is used to adjust the diopter of the observer.
This is possible by translating 8 along the optical axis of the prism 107.

【0055】図3はヘッドマウントディスプレイ110
の画面であり、同図に示す画面301の下部302は従
来例で述べたように文字情報等がスクロール表示される
部分である。また、この画面301の下部302を略3
等分した内の左側を範囲303、右側を範囲304と
し、範囲303に含まれる画面上の座標群をL、範囲3
04に含まれる画面上の座標群をRとする。そして、こ
の座標群L及びRは従来例で記した視線スイッチの指標
エリアと同様に図1のROM116に記憶されている。
FIG. 3 shows a head mounted display 110.
The lower part 302 of the screen 301 shown in the figure is a part in which character information and the like are scroll-displayed as described in the conventional example. In addition, the lower part 302 of this screen 301 is approximately 3
The left side of the equally divided area is the range 303, the right side is the range 304, and the coordinate group on the screen included in the range 303 is L and the range 3
Let R be a coordinate group on the screen included in 04. Then, the coordinate groups L and R are stored in the ROM 116 of FIG. 1 similarly to the index area of the line-of-sight switch described in the conventional example.

【0056】図1のバッファメモリ123は、外部イン
ターフェース122を通して入力される文字データを一
旦蓄えるメモリである。キャラクタコントローラ121
はCPU114から指示され、バッファメモリ123を
制御することによって画面上の注視点の位置に応じた速
さで、入力された文字情報を画面下部202の部分に右
端から左端に向ってスクロール表示するようになってい
る。
The buffer memory 123 shown in FIG. 1 is a memory for temporarily storing character data input through the external interface 122. Character controller 121
Is instructed by the CPU 114, and by controlling the buffer memory 123, the input character information is scroll-displayed on the lower part 202 of the screen from the right end to the left end at a speed according to the position of the gazing point on the screen. It has become.

【0057】次にCPU114の動作を図4に示すフロ
ーチャートを用いて説明する。
Next, the operation of the CPU 114 will be described with reference to the flowchart shown in FIG.

【0058】まず、ステップS401で電源がオン(O
N)され、本処理動作が開始されると、ステップS40
2で観察者の視線検出、即ちファインダ画面上の観察者
の注視点の位置を検出する。これは従来例で示した図1
4のステップS1403と兼用してもよい。次にステッ
プS403で検出された注視点位置の座標が、前記座標
群Lの中の座標群のいずれかの座標と一致するか否かが
判断され、一致した場合はステップS404で文字情報
のスクロールの速さを遅くするように図1のキャラクタ
コントローラ121を指示した後、ステップS405に
進む。また、前記ステップS403において一致しない
場合は、前記ステップS404をスキップしてステップ
S405に進む。
First, in step S401, the power is turned on (O
N) and when this processing operation is started, step S40
In step 2, the line of sight of the observer is detected, that is, the position of the gazing point of the observer on the finder screen is detected. This is shown in FIG.
It may also be combined with step S1403 of step 4. Next, it is determined whether or not the coordinates of the gazing point position detected in step S403 match any of the coordinates of the coordinate group in the coordinate group L. If they match, scrolling of the character information is performed in step S404. After instructing the character controller 121 in FIG. 1 to slow down the speed, the process proceeds to step S405. If they do not match in step S403, step S404 is skipped and the process proceeds to step S405.

【0059】このステップS405では、前記座標群R
の中の座標群のいずれかの座標と一致するか否かが判断
され、一致した場合はステップS406で文字情報のス
クロールの速さを速くするように図1のキャラクタコン
トローラ121を指示した後、前記ステップS402へ
戻る。また、前記ステップS405において一致しない
場合は、前記ステップS406をスキップして前記ステ
ップS402へ戻る。
In step S405, the coordinate group R
It is determined whether or not any one of the coordinates in the coordinate group in FIG. 1 matches, and if they match, in step S406, after instructing the character controller 121 of FIG. 1 to increase the scroll speed of the character information, The procedure returns to step S402. If they do not match in step S405, step S406 is skipped and the process returns to step S402.

【0060】図1に示すキャラクタコントローラ121
は、メモリ123を制御して、外部インターフェース1
22を通して入力される文字情報を前記指示された速さ
でI/Oチャネル119に送る。
The character controller 121 shown in FIG.
Controls the memory 123 to control the external interface 1
The character information input via 22 is sent to the I / O channel 119 at the instructed speed.

【0061】また、文字情報のスクロールの速さを遅く
する場合にキャラクタコントローラ121により制御さ
れるメモリ123の動作を図5を用いて説明する。同図
において、501はデュアルポートメモリで、その入力
ポート502には図1の外部インターフェース122を
通して、表示する文字情報のデータ503が入力されて
いる。この時入力される文字情報のデータ503の間隔
はT1である。この間隔T1は文字情報のデータと同時
に端子506に外部から入力される書き込みストローブ
クロックの周期によって決まる。文字情報のデータ50
3は一旦メモリ501内のエリア504に蓄えられ、出
力ポート505から文字のデータ間隔T2で出力される
と同時に、外部端子507からは読み出しストローブク
ロックが出力される。この間隔T2は読み出しストロー
ブクロックによって決まるもので、文字情報が表示装置
の画面上で一定量移動する周期となる。つまり観察者の
注視点座標が図3で示す範囲303に入ったら、T2を
T1<T2としてスクロール表示の速さを遅くしてや
る。
The operation of the memory 123 controlled by the character controller 121 when slowing down the scrolling speed of the character information will be described with reference to FIG. In the figure, 501 is a dual port memory, and the input port 502 is inputted with data 503 of character information to be displayed through the external interface 122 of FIG. The interval of the character information data 503 input at this time is T1. This interval T1 is determined by the period of the write strobe clock input from the outside to the terminal 506 at the same time as the character information data. Character information data 50
3 is temporarily stored in the area 504 in the memory 501 and is output from the output port 505 at the character data interval T2, and at the same time, the read strobe clock is output from the external terminal 507. This interval T2 is determined by the read strobe clock, and is a cycle in which the character information moves by a fixed amount on the screen of the display device. That is, when the observer's gazing point coordinates enter the range 303 shown in FIG. 3, T2 is set to T1 <T2, and the scroll display speed is reduced.

【0062】また、逆に観察者の注視点座標が図3で示
す範囲304に入って、スクロールの速さを早くする場
合には、前記読み出しストローブクロックの周期を短く
する(T1>T2)。
On the contrary, when the gazing point coordinates of the observer enter the range 304 shown in FIG. 3 to increase the scroll speed, the cycle of the read strobe clock is shortened (T1> T2).

【0063】以上のように構成することにより、観察者
は図3の画面301の下部302上を移動する文字情報
を、常にその移動範囲の略中間点で確実に読み取ること
ができるようになる。
With the above configuration, the observer can always reliably read the character information moving on the lower portion 302 of the screen 301 of FIG. 3 at a substantially intermediate point of the moving range.

【0064】(第2の実施の形態)次にこの発明の第2
の実施の形態を図6を用いて説明する。図6は、この発
明の第2の実施の形態に係る表示装置におけるヘッドマ
ウントディスプレイの画面である。この第2の実施の形
態ではスクロールの速さが早い、もしくは遅いと判断す
る画面上の注視点位置の範囲をそれぞれ複数個設けて、
注視点がスクロールの終わりの方にあるほど読み出しス
トローブクロックの周期を長く、注視点がスクロールの
始めの方にあるほど読み出しストローブクロックの周期
を短くするように構成している。
(Second Embodiment) Next, the second embodiment of the present invention will be described.
The embodiment will be described with reference to FIG. FIG. 6 is a screen of the head mounted display in the display device according to the second embodiment of the present invention. In the second embodiment, a plurality of ranges of gazing point positions on the screen for determining whether scrolling is fast or slow are provided,
The read strobe clock has a longer period as the gazing point is closer to the end of the scroll, and the read strobe clock has a shorter period as the gazing point is toward the beginning of the scroll.

【0065】この第2の実施の形態に係る表示装置の動
作を図6を用いて説明する。画面601の下部602は
上述した第1の実施の形態で説明した通り文字情報がス
クロール表示される部分である。第2の実施の形態で
は、この部分が7つの範囲に分割されていて、注視点が
範囲603、605、607にある場合はスクロールの
速さを遅くし、注視点が範囲604、606、608に
ある場合はスクロールの速さを速くする。
The operation of the display device according to the second embodiment will be described with reference to FIG. A lower portion 602 of the screen 601 is a portion in which the character information is scroll-displayed as described in the first embodiment described above. In the second embodiment, when this part is divided into seven ranges and the gazing point is in the ranges 603, 605, and 607, the scrolling speed is slowed, and the gazing point is in the ranges 604, 606, and 608. If it is, increase the scroll speed.

【0066】それぞれの範囲とスクロールの速さの対応
の一例を図6の下部に示す。縦軸は読み出しストローブ
クロックの周期を表す。目盛609が書き込みストロー
ブクロックと同じ周期で、610、611、612の順
に周期が長くなる。また、逆に613、614、615
の順に周期が短くなる。つまり、スクロール範囲の内、
注視点位置がスクロールの終点に近づくに従ってスクロ
ールの速さを遅くし、注視点位置がスクロールの始点に
近づくに従ってスクロールの速さを速くする。
An example of the correspondence between each range and the scroll speed is shown in the lower part of FIG. The vertical axis represents the cycle of the read strobe clock. The scale 609 has the same cycle as the write strobe clock, and the cycle becomes longer in the order of 610, 611, and 612. On the contrary, 613, 614, 615
The cycle becomes shorter in this order. That is, within the scroll range
The speed of scrolling is decreased as the position of the gazing point approaches the end point of scrolling, and the speed of scrolling is increased as the position of the gazing point approaches the starting point of scrolling.

【0067】なお、それぞれの読み出しストローブクロ
ックにおける処理は、上述したの第1の実施の形態の場
合と同様であるから、その説明は省略する。
Since the processing for each read strobe clock is the same as that in the case of the above-described first embodiment, the description thereof is omitted.

【0068】以上のように構成すれば、観察者は画面上
を移動する文字情報を常にその移動範囲の略中間点で確
実に読み取ることができるようになる。
With the above arrangement, the observer can always reliably read the character information moving on the screen at the substantially intermediate point of the moving range.

【0069】なお、上記第1、第2の実施の形態ともヘ
ッドマウントディスプレイの場合について説明したが、
ビデオカメラのファインダ、スチルカメラのファインダ
等の表示装置にも適用することができる。
The case of the head mounted display has been described in both the first and second embodiments.
It can also be applied to a display device such as a viewfinder of a video camera or a viewfinder of a still camera.

【0070】[0070]

【発明の効果】以上詳述したように、この発明の請求項
1の表示装置によれば、画面上における第1の座標位置
から第2の座標位置へ移動しながら表示される文字情報
等を観察者が注視している場合に該注視点の上記画面上
の座標位置と上記第1の座標位置と第2の座標位置との
関係に応じて上記文字情報等の移動速度が変化するの
で、観察者は所定の位置に注視点を置いたまま文字情報
を確実に読み取ることができる。
As described above in detail, according to the display device of claim 1 of the present invention, the character information and the like displayed while moving from the first coordinate position to the second coordinate position on the screen are displayed. When the observer is gazing, since the moving speed of the character information and the like changes according to the relationship between the coordinate position on the screen of the gazing point and the first coordinate position and the second coordinate position, The observer can surely read the character information while keeping the gazing point at a predetermined position.

【0071】また、この発明の請求項2の表示装置によ
れば、注視点の画面上の座標位置が第1の座標位置と第
2の座標位置の中間点より第1の座標位置に近い場合は
文字情報等の移動速度を早くし、中間点より第2の座標
位置に近い場合は文字情報等の移動速度を遅くするの
で、観察者は常に移動範囲の略中間点で文字情報等を読
み取ることができ、従って、文字情報等の移動速度に目
が追いていけず、しまいに読み取りが不可能になった
り、なかなか現れない文字情報等にいらいらするなどの
不具合を解消することができる。
According to the display device of claim 2 of the present invention, when the coordinate position of the gazing point on the screen is closer to the first coordinate position than the midpoint between the first coordinate position and the second coordinate position. Makes the moving speed of the character information etc. faster, and makes the moving speed of the character information etc. slower when it is closer to the second coordinate position than the middle point, so that the observer always reads the character information etc. at the substantially middle point of the moving range. Therefore, it is possible to solve problems such as being unable to keep track of the moving speed of the character information and the like, which makes it impossible to read, and annoying the character information and the like that does not appear easily.

【図面の簡単な説明】[Brief description of the drawings]

【図1】この発明の第1の実施の形態に係る表示装置の
構成を示すブロック図である。
FIG. 1 is a block diagram showing a configuration of a display device according to a first embodiment of the present invention.

【図2】同表示装置におけるプリズムの第2光学作用面
から見た側面図である。
FIG. 2 is a side view seen from a second optical action surface of a prism in the display device.

【図3】同表示装置における表示画面の表示例を示す説
明図である。
FIG. 3 is an explanatory diagram showing a display example of a display screen on the display device.

【図4】同表示装置の動作を示すフローチャートであ
る。
FIG. 4 is a flowchart showing an operation of the display device.

【図5】同表示装置に設けられたメモリの作用説明図で
ある。
FIG. 5 is an operation explanatory view of a memory provided in the display device.

【図6】この発明の第2の実施の形態に係る表示装置に
おける表示画面の表示例を示す説明図である。
FIG. 6 is an explanatory diagram showing a display example of a display screen in the display device according to the second embodiment of the present invention.

【図7】イメージセンサに投影された眼球像の概略図で
ある。
FIG. 7 is a schematic diagram of an eyeball image projected on an image sensor.

【図8】同イメージセンサの出力強度を示す図である。FIG. 8 is a diagram showing an output intensity of the image sensor.

【図9】視線検出方法の原理を説明する上面図である。FIG. 9 is a top view illustrating the principle of the line-of-sight detection method.

【図10】視線検出方法の原理を説明する上面図であ
る。
FIG. 10 is a top view illustrating the principle of the line-of-sight detection method.

【図11】従来の表示装置の構成を示すブロック図であ
る。
FIG. 11 is a block diagram showing a configuration of a conventional display device.

【図12】同従来の表示装置におけるプリズムの第2の
光学作用面から見た側面図である。
FIG. 12 is a side view of the prism in the conventional display device as viewed from the second optical action surface.

【図13】同従来の表示装置における視線メニューの表
示例を示す説明図である。
FIG. 13 is an explanatory diagram showing a display example of a line-of-sight menu on the conventional display device.

【図14】同従来の表示装置の作用を示すフローチャー
トである。
FIG. 14 is a flowchart showing an operation of the conventional display device.

【図15】同従来の表示装置における表示画面の表示例
を示す説明図である。
FIG. 15 is an explanatory diagram showing a display example of a display screen in the conventional display device.

【符号の説明】[Explanation of symbols]

101 目 102 赤外発光ダイオード 103 結像レンズ 104 イメージセンサ 105 視線検出回路(視線検出手段) 106 視線検出系 107 プリズム 108 液晶表示素子(LCD) 109 液晶表示回路 110 ヘッドマウントディスプレイユニット 111 ビデオRAM 112 ビデオグラフィックコントローラ 113 システムバス 114 CPU(速度変化手段) 115 アクセサリーデバイスコントローラ 116 ROM 117 RAM 118 メモリコントローラ 119 I/Oチャネル 120 パソコンユニット 121 キャラクタコントローラ 122 外部インターフェース 123 バッファメモリ Reference Signs List 101 eye 102 infrared light emitting diode 103 imaging lens 104 image sensor 105 line-of-sight detection circuit (line-of-sight detection means) 106 line-of-sight detection system 107 prism 108 liquid crystal display element (LCD) 109 liquid crystal display circuit 110 head-mounted display unit 111 video RAM 112 video Graphic controller 113 System bus 114 CPU (speed changing means) 115 Accessory device controller 116 ROM 117 RAM 118 Memory controller 119 I / O channel 120 Personal computer unit 121 Character controller 122 External interface 123 Buffer memory

Claims (2)

【特許請求の範囲】[Claims] 【請求項1】 画面上に表示される文字情報等を注視す
る観察者の視線を検出する視線検出手段と、上記画面上
における第1の座標位置から第2の座標位置へ移動しな
がら表示される文字情報等を観察者が注視している場合
に該注視点の上記画面上の座標位置と上記第1の座標位
置と第2の座標位置との関係に応じて上記文字情報等の
移動速度を変化させる移動速度変化手段とを具備したこ
とを特徴とする表示装置。
1. A line-of-sight detecting means for detecting the line of sight of an observer who gazes at character information displayed on the screen, and is displayed while moving from the first coordinate position to the second coordinate position on the screen. When the observer is gazing at the character information or the like, the moving speed of the character information or the like according to the relationship between the coordinate position on the screen of the point of gaze and the first coordinate position and the second coordinate position. And a moving speed changing means for changing the display speed.
【請求項2】 上記注視点の画面上における座標位置が
上記第1の座標位置と第2の座標位置の中間点より第1
の座標位置に近い場合は文字情報等の移動速度を早く
し、中間点より第2の座標位置に近い場合は文字情報等
の移動速度を遅くすることを特徴とする請求項1記載の
表示装置。
2. The coordinate position of the gazing point on the screen is first from the midpoint between the first coordinate position and the second coordinate position.
2. The display device according to claim 1, wherein the moving speed of the character information or the like is increased when the position is close to the coordinate position of the character, and the moving speed of the character information or the like is decreased when the position is closer to the second coordinate position than the intermediate point. .
JP35224595A 1995-12-28 1995-12-28 Display device Pending JPH09185116A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP35224595A JPH09185116A (en) 1995-12-28 1995-12-28 Display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP35224595A JPH09185116A (en) 1995-12-28 1995-12-28 Display device

Publications (1)

Publication Number Publication Date
JPH09185116A true JPH09185116A (en) 1997-07-15

Family

ID=18422751

Family Applications (1)

Application Number Title Priority Date Filing Date
JP35224595A Pending JPH09185116A (en) 1995-12-28 1995-12-28 Display device

Country Status (1)

Country Link
JP (1) JPH09185116A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011358A (en) * 2004-05-27 2006-01-12 Sharp Corp Apparatus, method, and program for displaying information, and recording medium
JP2012175263A (en) * 2011-02-18 2012-09-10 Kyocera Corp Information display device
US9812091B2 (en) 2011-02-18 2017-11-07 Kyocera Corporation Automatic scrolling speed control by tracking user's eye

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006011358A (en) * 2004-05-27 2006-01-12 Sharp Corp Apparatus, method, and program for displaying information, and recording medium
JP2012175263A (en) * 2011-02-18 2012-09-10 Kyocera Corp Information display device
US9812091B2 (en) 2011-02-18 2017-11-07 Kyocera Corporation Automatic scrolling speed control by tracking user's eye

Similar Documents

Publication Publication Date Title
US9898075B2 (en) Visual stabilization system for head-mounted displays
US6886137B2 (en) Eye gaze control of dynamic information presentation
CN107272904B (en) Image display method and electronic equipment
US20120188148A1 (en) Head Mounted Meta-Display System
US11586090B1 (en) Bifocal optical assembly for a head-mounted display
US11860375B2 (en) Virtual reality display device and method for presenting picture
JPH09218375A (en) Fatigue deciding method and observing device using same
JP2010102215A (en) Display device, image processing method and computer program
JPH09179062A (en) Computer system
CN112384883A (en) Wearable device and control method thereof
JPH08179238A (en) Observation optical device
US11423569B1 (en) Gaze-tracking system and method employing selective glints
JP2002131693A (en) Image observing device
JP2023509823A (en) Focus-adjustable Magnification Correction Optical System
JPH09185116A (en) Display device
JPH09127459A (en) Display device provided with gaze detection system
JPH09185118A (en) Display device
JPH09185117A (en) Display device
JPH09190245A (en) Information processor and power saving control method for the processor
JPH08286141A (en) Gaze point detection system and control system using the system
JPH09262210A (en) Optical system
JPH09191438A (en) Display device having line of sight detection function
JPH117369A (en) Head mount display device
JP2002303819A (en) Video display device
JP3311209B2 (en) Data input method and device