JPH0822385A - Method and device for displaying line of sight correspondence - Google Patents
Method and device for displaying line of sight correspondenceInfo
- Publication number
- JPH0822385A JPH0822385A JP10172794A JP10172794A JPH0822385A JP H0822385 A JPH0822385 A JP H0822385A JP 10172794 A JP10172794 A JP 10172794A JP 10172794 A JP10172794 A JP 10172794A JP H0822385 A JPH0822385 A JP H0822385A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- screen
- operator
- display
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Digital Computer Display Output (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、操作者の視線の位置を
検出して、画面を移動制御する視線対応表示装置及び方
法に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a visual line corresponding display device and method for detecting the position of the visual line of an operator and controlling the movement of the screen.
【０００２】特に、ワードプロセッサ、ワークステーシ
ョン、パソコン等の情報処理機器のための視線対応表示
装置及び方法に関する。In particular, it relates to a line-of-sight compatible display device and method for information processing equipment such as word processors, workstations, personal computers and the like.
【０００３】[0003]
【従来の技術】ワードプロセッサやワークステーション
等の情報処理装置での、文書やプログラムの編集作成時
の操作性を考えると、表示画面は、出来る限り大きくし
たい。2. Description of the Related Art Considering the operability of an information processing device such as a word processor or a workstation when editing and creating a document or program, it is desirable to make the display screen as large as possible.
【０００４】しかしながら、表示画面の大きさには限度
がある。However, the size of the display screen is limited.
【０００５】このため、表示画面に実際に表示されるの
は、文書やプログラム等の一部である。Therefore, what is actually displayed on the display screen is a part of a document, a program, or the like.
【０００６】そして、操作者は、表示されていない内容
を確認するときには、画面を移動させて、所望の内容を
表示させている。この移動は、切替、及び、スクロール
により為される。When confirming the contents which are not displayed, the operator moves the screen to display the desired contents. This movement is performed by switching and scrolling.
【０００７】そして、この移動は、使用者が、その都
度、操作しなくてはならなかった。The user must operate this movement each time.
【０００８】このスクロール操作を自動化する装置が、
望まれている。A device for automating this scroll operation is
Is desired.
【０００９】本願は、上記スクロールまたは画面切替
を、操作者の視線により、制御するもの改良である。The present application is an improvement that controls the scrolling or screen switching according to the line of sight of the operator.
【００１０】特開昭63-121389 号公報(H04N13/04) にお
いて、操作者の視線の動きを検出して、表示画面をスク
ロールする視線対応表示装置が、提案されている。In Japanese Patent Laid-Open No. 63-121389 (H04N13 / 04), there is proposed a line-of-sight-corresponding display device which detects the movement of the line of sight of the operator and scrolls the display screen.
【００１１】しかし、この提案の視線対応表示装置は、
バ−チャルリアリティ−装置用であり、視線の動きに合
わせて、提示画像をスクロールするものであり、視線の
動きに合わせて目まぐるしく画像が動くものと思われ
る。However, the proposed line-of-sight compatible display device is
It is for a virtual reality device, and scrolls the presented image according to the movement of the line of sight, and it is considered that the image moves swiftly according to the movement of the line of sight.
【００１２】参考のため、視線に関する従来技術を以下
に紹介する。For reference, the prior art relating to the line of sight will be introduced below.
【００１３】検出した視線を利用して、制御を行う情報
機器に関するもの。The present invention relates to an information device which controls by utilizing the detected line of sight.
【００１４】(O) 特公昭60-17125号公報(G06F3/03)。(O) Japanese Patent Publication No. 60-17125 (G06F3 / 03).
【００１５】(A) 特開昭60-132224 号公報(G06F3/03)。(A) Japanese Patent Laid-Open No. 60-132224 (G06F3 / 03).
【００１６】(B) 特開平4-23027 号公報(G06F3/033) 。(B) Japanese Patent Laid-Open No. 4-23027 (G06F3 / 033).
【００１７】(C) 特開平4-106656号公報(G06F15/20) 。(C) Japanese Patent Laid-Open No. 4-106656 (G06F15 / 20).
【００１８】視線の検出に関するもの。Regarding the detection of the line of sight.
【００１９】(D) 電子情報通信学会論文誌 D- ２ Vol.7
5-D-２ No.5 pp.861-875 1992 年5月 伴野・岸野著
「顔と瞳孔の3 次元位置計測に基づく注視点検出アルゴ
リズム」。(D) IEICE Transactions D-2 Vol.7
5-D-2 No.5 pp.861-875 May 1992 by Banno and Kishino
"Gaze point detection algorithm based on 3D position measurement of face and pupil".
【００２０】(E) 特開平4-272743号公報(A61B3/113) 。(E) Japanese Patent Laid-Open No. 4-272743 (A61B3 / 113).
【００２１】(F) 特開平4-357930号公報(A61B3/113) 。(F) Japanese Patent Laid-Open No. 4-357930 (A61B3 / 113).
【００２２】目の特性に関するもの。Regarding eye characteristics.
【００２３】(G) 計測自動制御学会、第8 回ヒューマン
インターフェース論文集、pp.509-516(1992)「注視点マ
スキング法による視覚探索能力の解析」。(G) Society of Instrument and Control Engineers, The 8th Human Interface Papers, pp.509-516 (1992) "Analysis of visual search ability by gazing point masking method".
【００２４】[0024]
【発明が解決しようとする課題】本発明は、視線の動き
に応じて、表示画像をスクロール又は切り替える場合
に、人間の脳における視覚情報処理の性質を考慮し、ワ
ープロやワークステーション等の情報機器に適した表示
方法及び装置を提案するものである。DISCLOSURE OF THE INVENTION The present invention considers the nature of visual information processing in the human brain when scrolling or switching display images according to the movement of the line of sight, and considers the information equipment such as word processors and workstations. The present invention proposes a display method and device suitable for.
【００２５】[0025]
【課題を解決するための手段】本発明の視線対応表示方
法は、操作者の視線位置を検出し、視線移動速度が所定
の速度(5度/ 秒〜30度/ 秒) を越えた時に、画面の移動
処理を行うことを特徴とする。The line-of-sight correspondence display method of the present invention detects the line-of-sight position of an operator, and when the line-of-sight movement speed exceeds a predetermined speed (5 degrees / second to 30 degrees / second), It is characterized by performing screen movement processing.
【００２６】また、本発明の視線対応表示方法は、操作
者の視線位置を検出し、100 ミリ秒間隔以下で、視線移
動速度を検出し、この視線移動速度が所定の速度を越え
た場合に、画面の移動処理を行うことを特徴とする。Further, the line-of-sight correspondence display method of the present invention detects the line-of-sight position of the operator, detects the line-of-sight movement speed at intervals of 100 milliseconds or less, and when the line-of-sight movement speed exceeds a predetermined speed. , Screen movement processing is performed.
【００２７】また、本発明の視線対応表示方法は、操作
者の視線位置を検出し、視線移動速度が所定の速度を越
え且つこの視線位置が画面の周辺部(E) にある時にこの
視線位置の画面部分を画面中央方向に移動させ、前記視
線移動速度が所定の速度を越え、且つ、この視線位置が
画面の中央部(C) にある時は、画面移動を行わないこと
を特徴とする。Further, the line-of-sight correspondence display method of the present invention detects the line-of-sight position of the operator, and when the line-of-sight movement speed exceeds a predetermined speed and this line-of-sight position is in the peripheral portion (E) of the screen, this line-of-sight position is determined. When the line-of-sight movement speed exceeds a predetermined speed and the line-of-sight position is in the center (C) of the screen, the screen is not moved. .
【００２８】また、本発明の視線対応表示方法は、操作
者の視線位置を検出し、視線移動速度が所定の速度を越
え且つこの視線位置が画面の中央部(C) から周辺部(E)
に移動した時にこの視線位置の画面部分を画面中央方向
に移動し、前記視線移動速度が所定の速度を越え且つこ
の視線位置が画面の中央部(C) にある時は、画面移動を
行わないことを特徴とする。Further, in the visual line corresponding display method of the present invention, the visual line position of the operator is detected, the visual line moving speed exceeds a predetermined speed, and the visual line position is from the central portion (C) to the peripheral portion (E) of the screen.
When the line of sight is moved to the center of the screen when the line of sight is moved to, and the line-of-sight movement speed exceeds a predetermined speed and the line-of-sight position is in the center (C) of the screen, the screen is not moved. It is characterized by
【００２９】また、本発明の視線対応表示方法は、操作
者の視線位置を検出し、注視時間が所定の時間を越え且
つこの視線位置が周辺部(E) にある時にこの視線位置の
画面部分を画面中央方向に移動し、注視時間が所定の時
間を越え且つこの視線位置が中央部(C) にある時には画
面移動を行わないことを特徴とする。Further, the line-of-sight correspondence display method of the present invention detects the line-of-sight position of the operator, and when the gaze time exceeds a predetermined time and this line-of-sight position is in the peripheral portion (E), the screen portion of this line-of-sight position is displayed. Is moved toward the center of the screen, and when the gaze time exceeds a predetermined time and the line-of-sight position is in the central part (C), the screen is not moved.
【００３０】また、本発明は、操作者の視線位置を検出
しこの視線に応じて画面を移動させる視線対応表示方法
において、前記操作者の視線が、画面外にある場合に、
前記画面移動を禁止することを特徴とする。Further, the present invention is a line-of-sight-corresponding display method for detecting the line-of-sight position of the operator and moving the screen in accordance with the line-of-sight, when the line-of-sight of the operator is outside the screen,
It is characterized in that the screen movement is prohibited.
【００３１】本発明は、操作者の視線を視線検出手段(2
0)により検出し、この視線に応じて画面を移動させる視
線対応表示装置において、前記操作者の視線が、前記画
面外にある場合に、前記画面の移動制御を禁止する画面
表示制御手段(22)を、備えることを特徴とする。According to the present invention, the visual line of the operator is detected by the visual line detecting means (2
0), in the line-of-sight correspondence display device that moves the screen according to this line of sight, when the operator's line of sight is outside the screen, screen display control means for prohibiting the movement control of the screen (22 ) Is provided.
【００３２】また、本発明は、操作者の視線を視線検出
手段(20)により検出し、この視線に応じて画面を移動さ
せる視線対応表示装置において、前記操作者の視線が前
記画面内の中央部(C) にある場合は、前記画面移動を禁
止する画面表示制御手段(22)を、備えることを特徴とす
る。Further, according to the present invention, in the line-of-sight correspondence display device in which the line of sight of the operator is detected by the line-of-sight detecting means (20) and the screen is moved according to the line of sight, the line of sight of the operator is the center of the screen. In the case of the section (C), the screen display control means (22) for prohibiting the screen movement is provided.
【００３３】また、本発明は、操作者の視線を視線検出
手段(20)により検出し、操作者により注視されている画
面部分を画面中央方向に移動するように、この画面を移
動する視線対応表示装置において、前記操作者の視線が
前記画面内の周辺部(C) で、且つ、注視時間が所定の時
間を越えた時に、前記画面移動を行う画面表示制御手段
(22)を、備えることを特徴とする。Further, according to the present invention, the line of sight of the operator is detected by the line-of-sight detecting means (20), and the line-of-sight correspondence for moving the screen is moved so that the screen portion gazed by the operator is moved toward the center of the screen. In the display device, screen display control means for moving the screen when the operator's line of sight is at the peripheral part (C) in the screen and the gaze time exceeds a predetermined time.
(22) is provided.
【００３４】また、本発明は、操作者の視線を視線検出
手段(20)により検出し、操作者により注視されている画
面部分を画面中央方向に移動するように、この画面を移
動する視線対応表示装置において、注視時間が少なくと
も33ミリ秒を越えた後に、前記画面移動を行う画面表示
制御手段(22)を、備えることを特徴とする。Further, according to the present invention, the line of sight of the operator is detected by the line-of-sight detecting means (20), and the line-of-sight correspondence for moving the screen so as to move the screen portion gazed by the operator toward the center of the screen. The display device is characterized by comprising screen display control means (22) for moving the screen after the gaze time exceeds at least 33 milliseconds.
【００３５】また、本発明は、操作者の視線を視線検出
手段(20)により検出し、この視線に対応して画面を移動
する視線対応表示装置において、前記の視線の移動速度
を検出し、この視線移動速度が所定の速度を越えた場合
に、前記画面移動を行う画面表示制御手段(22)を、備え
ることを特徴とする。Further, the present invention detects the line of sight of the operator by the line-of-sight detecting means (20), and detects the moving speed of the line of sight in a line-of-sight correspondence display device which moves the screen corresponding to this line of sight, A screen display control means (22) for moving the screen when the line-of-sight movement speed exceeds a predetermined speed is provided.
【００３６】[0036]
【作用】本発明の視線対応表示方法では、視線移動速度
が所定の速度を越えた時に、画面の移動処理を行う。In the line-of-sight correspondence display method of the present invention, the screen movement processing is performed when the line-of-sight movement speed exceeds a predetermined speed.
【００３７】また、本発明の視線対応表示方法では、10
0 ミリ秒間隔以下で、視線移動速度が検出される。In the line-of-sight correspondence display method of the present invention, 10
The line-of-sight movement speed is detected at 0 millisecond intervals or less.
【００３８】また、本発明の視線対応表示方法では、視
線移動速度が所定の速度を越え且つこの視線位置が画面
の周辺部(E) にある時に、画面の移動処理が行われる。Further, in the line-of-sight correspondence display method of the present invention, when the line-of-sight movement speed exceeds a predetermined speed and the line-of-sight position is at the peripheral portion (E) of the screen, the screen movement processing is performed.
【００３９】また、本発明の視線対応表示方法では、視
線位置が画面の中央部(C) から周辺部(E) に所定速度以
上で移動した時に、画面の移動処理が行われる。Further, in the line-of-sight correspondence display method of the present invention, when the line-of-sight position moves from the central part (C) of the screen to the peripheral part (E) at a predetermined speed or more, the screen moving process is performed.
【００４０】また、本発明の視線対応表示方法では、視
線が周辺部(E) で所定速度以上で移動した時に、画面の
移動処理が行われる。Further, in the line-of-sight correspondence display method of the present invention, when the line-of-sight moves in the peripheral portion (E) at a speed equal to or higher than a predetermined speed, the screen moving process is performed.
【００４１】また、本発明では、視線が、画面外にある
場合には、画面移動は禁止され、実行されない。Further, in the present invention, when the line of sight is outside the screen, screen movement is prohibited and is not executed.
【００４２】本発明では、操作者の視線を視線検出手段
(20)により検出し、この視線に応じて画面を移動させる
視線対応表示装置において、視線が画面外にある場合に
は画面の移動制御は禁止される。In the present invention, the visual line of the operator is detected by the visual line detecting means.
In the line-of-sight-corresponding display device that is detected by (20) and moves the screen according to this line of sight, when the line of sight is outside the screen, the movement control of the screen is prohibited.
【００４３】また、本発明の視線対応表示装置では、視
線が中央部(C) にある場合は、画面移動は禁止される。Further, in the line-of-sight compatible display device of the present invention, screen movement is prohibited when the line of sight is in the central portion (C).
【００４４】また、本発明の視線対応表示装置では、視
線が前記画面内の周辺部(C) で、且つ、注視時間が所定
の時間を越えた時に、画面移動が行われる。Further, in the line-of-sight-corresponding display device of the present invention, the screen is moved when the line-of-sight is at the peripheral portion (C) in the screen and the gaze time exceeds a predetermined time.
【００４５】また、本発明の視線対応表示装置では、注
視時間が少なくとも33ミリ秒を越えた後に、前記画面移
動を行われる。In the line-of-sight compatible display device of the present invention, the screen movement is performed after the gaze time exceeds at least 33 milliseconds.
【００４６】また、視線対応表示装置では、視線移動速
度が所定の速度を越えた場合に、画面移動が行われる。In the line-of-sight correspondence display device, the screen is moved when the line-of-sight movement speed exceeds a predetermined speed.
【００４７】[0047]
【実施例】説明を簡単にするために、本発明の第1 実施
例を説明する前に、目の特性について、図1 を参照しつ
つ、説明する。EXAMPLES To simplify the description, the eye characteristics will be described with reference to FIG. 1 before describing the first example of the present invention.
【００４８】図1 は、視線の動きの一例を示している。
縦軸は視線の移動速度、横軸は時間である。FIG. 1 shows an example of the movement of the line of sight.
The vertical axis represents the moving speed of the line of sight, and the horizontal axis represents time.
【００４９】そして、図1 の(T1)は、視線が、一般にサ
ッカ−ドと呼ばれる動きをする期間である。Then, (T1) in FIG. 1 is a period during which the line of sight makes a movement generally called a saccade.
【００５０】このサッカ−ドと呼ばれる動きとは、視線
の位置が、高速で跳ぶように移動することである。この
サッカ−ドは、一般には、視線の動きが5 度/ 秒〜30度
/ 秒以上からである。このサッカ−ドによる視線の動き
は、数100 度/ 秒の速度に達することもある。The movement called the saccade means that the position of the line of sight moves so as to jump at a high speed. This saccade generally has a line of sight movement of 5 degrees / second to 30 degrees.
From / second or more. The movement of the gaze due to this saccade can reach a speed of several hundred degrees / second.
【００５１】また、サッカ−ドの持続時間は、30ms〜10
0ms といわれている。The duration of the sacchard is 30 ms to 10 ms.
It is said to be 0 ms.
【００５２】サッカードで目が動いているときは、サッ
カデックサプレッションと呼ばれる現象が生じる。この
サッカデックサプレッションとは、注視している時に比
べて、視覚特性が低下することである。When the eyes are moving in saccade, a phenomenon called saccade suppression occurs. The saccadic suppression means that the visual characteristic is lower than that when the user is gazing.
【００５３】この速度(5度/ 秒〜30度/ 秒) 以上まで目
の動きが達すると十分に視覚特性が低下し、表示画像を
その間に移動させても支障が少ない。When the movement of the eyes reaches the speed (5 degrees / second to 30 degrees / second) or more, the visual characteristics are sufficiently deteriorated, and there is little trouble even if the display image is moved in the meantime.
【００５４】つまり、サッカードで視線が動いている時
に、表示画面の移動を開始しても、画像情報を捉える際
の障害となる悪影響は少い。That is, even if the movement of the display screen is started when the line of sight is moving in saccade, there is little adverse effect that becomes an obstacle when capturing image information.
【００５５】また、サッカ−ドの持続時間中に、表示画
面の移動を終了させれば視覚特性上障害とならない。Also, if the movement of the display screen is completed during the duration of the sacchard, the visual characteristics will not be hindered.
【００５６】本発明の第1 実施例は、このサッカ−ド中
に画面の移動開始を行うものである。The first embodiment of the present invention is to start moving the screen during this sacchard.
【００５７】図2 〜図9 を参照しつつ、本発明の第1 実
施例を説明する。A first embodiment of the present invention will be described with reference to FIGS.
【００５８】この第1 実施例は、主にワープロ，ワーク
ステーション，パソコン等の情報処理装置に本願を適用
したものである。In the first embodiment, the present application is mainly applied to an information processing device such as a word processor, workstation, personal computer and the like.
【００５９】図2 は、第1 実施例の概略図である。FIG. 2 is a schematic diagram of the first embodiment.
【００６０】(10)は、装置本体である。(10) is the apparatus main body.
【００６１】(12)は、テキストデータが格納されたテキ
ストメモリである。このテキストメモリ(12)には、例え
ば、図3 に示す文書(TXT) のデータが格納されている。(12) is a text memory in which text data is stored. The text memory (12) stores, for example, the data of the document (TXT) shown in FIG.
【００６２】(14)は、ビデオＲＡＭからなる表示メモリ
である。この表示メモリ(14)には、テキストメモリ(12)
のテキストデータの一部が、イメージデータに変換され
て格納される。例えば、図4 に示すように、テキストメ
モリの文書(TXT) の一部(TXT1)が、イメージデータに変
換されて表示メモリ(14)に格納されている。この実施例
では、表示メモリ(14)の記憶可能な横幅が、テキスト文
書の横幅より、大きかったため、空き領域が存在する。(14) is a display memory including a video RAM. This display memory (14) has a text memory (12)
A part of the text data of is converted into image data and stored. For example, as shown in FIG. 4, a part (TXT1) of the document (TXT) in the text memory is converted into image data and stored in the display memory (14). In this embodiment, since the storable width of the display memory (14) is larger than the width of the text document, there is an empty area.
【００６３】(16)は、ＣＲＴ又はＬＣＤディスプレイか
らなる表示部である。(16) is a display unit composed of a CRT or LCD display.
【００６４】(18)は、キーボード( 図示せず) に設けら
れたスクロールキー及び画面切り替えキーからなる画面
移動制御操作部である。Reference numeral (18) is a screen movement control operation section comprising scroll keys and screen switching keys provided on a keyboard (not shown).
【００６５】(20)は、視線検出部である。この視線検出
部(20)は、従来から良く知られている一般的なものであ
る。つまり、使用者の顔( 頭) の方向を検出する第1 の
検出部( 図示せず) と、眼球の方向を検出をする第2 の
検出部( 図示せず) と、この２つの検出結果により視線
を検出する視線検出部( 図示せず) とからなる。(20) is a line-of-sight detection unit. The line-of-sight detection unit (20) is a general well-known unit. That is, the first detection unit (not shown) that detects the direction of the user's face (head), the second detection unit (not shown) that detects the direction of the eyeball, and these two detection results. And a line-of-sight detection unit (not shown) for detecting the line-of-sight.
【００６６】この視線検出部(20)は、例えば、テレビの
ビデオレートに同期して、1 秒間に60回、視線を検出す
る。つまり、16.7ミリ秒間隔で視線を検出する。先に述
べたように、サッカ−ドの持続時間は、30m 秒〜100m秒
と言われており、100m秒以下で視線を検出すれば、サッ
カードの検出や注視点の検出には支障はない。このよう
なことから、一般的に、本実施例の適用範囲では、１秒
間に10回以上、つまり、100m秒間隔以下で視線を検出す
ればよく、本実施例の値にこだわることはない。The line-of-sight detection unit (20) detects the line of sight 60 times per second in synchronization with the video rate of the television, for example. That is, the line of sight is detected at intervals of 16.7 milliseconds. As mentioned above, the duration of the sacchard is said to be 30 msec to 100 msec, and if the line of sight is detected within 100 msec, there will be no hindrance to the detection of the saccade or the gaze point. . For this reason, generally, in the applicable range of the present embodiment, it is sufficient to detect the line of sight at 10 times or more per second, that is, at intervals of 100 msec or less, and the value in the present embodiment is not limited.
【００６７】(22)は、本願の特徴である画面表示制御部
である。(22) is a screen display control section which is a feature of the present invention.
【００６８】この画面表示制御部(22)は、表示部(16)の
画面をスクロール制御したり、移動させる。つまり、画
面表示制御部(22)は、図5 に示すように、表示メモリ(1
4)中のイメージデータのうち表示部(16)に表示させる範
囲( 図5 のB1) を設定している。そして、図6 に示すよ
うに、表示範囲( 図6 のB2) を変更することにより、表
示内容を移動させる。The screen display control unit (22) controls scrolling or moves the screen of the display unit (16). That is, the screen display control unit (22) displays the display memory (1
Of the image data in 4), the range (B1 in Fig. 5) to be displayed on the display unit (16) is set. Then, as shown in FIG. 6, the display content is moved by changing the display range (B2 in FIG. 6).
【００６９】この表示範囲の変更(B1 →B2) を一度に行
えば、画面切替制御となり、徐々に行えばスクロール制
御となる。If the display range is changed (B1 → B2) at once, the screen switching control is performed, and if it is gradually performed, the scroll control is performed.
【００７０】なお、この例の表示範囲の変更(B1 →B2)
は、表示メモリ(14)内であるので、画面表示制御部(22)
は、出力範囲の変更(B1 →B2) のみの処理( 画面移動処
理Ａと以下呼ぶ) で対応できる。しかし、この表示メモ
リ(14)での記憶範囲を越える場合は、当然、テキストメ
モリ(12)から、対応する文書部分をイメージデータに変
換して、表示メモリ(14)に書き込む処理( 画面移動処理
Ｂ) が必要となる。The display range of this example is changed (B1 → B2)
Is in the display memory (14), so the screen display control unit (22)
Can be handled by only changing the output range (B1 → B2) (hereinafter referred to as screen movement processing A). However, if it exceeds the storage range of this display memory (14), of course, the corresponding document part is converted from the text memory (12) into image data and written in the display memory (14) (screen movement process). B) is required.
【００７１】この画面表示制御部(22)による制御は、視
線検出部(20)からの視線より行うと共に、従来と同様
に、画面移動制御操作部(18)により行う。The control by the screen display control unit (22) is performed by the line of sight from the line of sight detection unit (20) and by the screen movement control operation unit (18) as in the conventional case.
【００７２】第1 実施例の特徴であるこの視線による画
面表示制御部(22)の動作を、図7 のフローチャートを参
照しつつ、説明する。The operation of the screen display control unit (22) by this line of sight, which is a feature of the first embodiment, will be described with reference to the flowchart of FIG.
【００７３】まず、ステップＳ２で、視線検出部(20)か
らの視線情報が入力される。First, in step S2, line-of-sight information from the line-of-sight detection unit (20) is input.
【００７４】ステップＳ３で、使用者の視線が、表示部
(16)から外れているか否かを、この視線により判断す
る。そして、視線が、表示部(16)から外れていれば、作
業状態ではないと判定し、後の処理を行わない。視線
が、表示部(16)を見ていれば、ステップＳ４に進む。In step S3, the line of sight of the user is displayed on the display unit.
It is judged from this line of sight whether or not it is out of (16). Then, if the line of sight is out of the display section (16), it is determined that it is not in the working state, and the subsequent processing is not performed. If the line of sight is looking at the display unit (16), the process proceeds to step S4.
【００７５】ステップＳ４では、視線の時間的な変化を
計算して、「視線の動く方向」「視線の動く速度」「注
視しているか否か」「注視しているならその継続時間」
等が算出される。In step S4, the temporal change of the line of sight is calculated, and the "direction of movement of the line of sight", "speed of movement of the line of sight", "whether or not gazing""duration if gazing".
Etc. are calculated.
【００７６】ステップＳ５では、ステップＳ４で求めた
「視線の動く速度」が、所定速度以上か否かが判定され
る。つまり、注視しているか？，サッカード状態か？が
判定される。このときの所定速度は、前述のように目の
特性から考えて、5 度/ 秒から30度/ 秒の間の値に設定
すればよい。本実施例では、20度/ 秒とした。In step S5, it is determined whether the "moving speed of the line of sight" obtained in step S4 is equal to or higher than a predetermined speed. In other words, are you gazing? ， Is it saccade state? Is determined. The predetermined speed at this time may be set to a value between 5 degrees / second and 30 degrees / second in consideration of the eye characteristics as described above. In this example, it was set to 20 degrees / second.
【００７７】このステップＳ５で、使用者の視線移動速
度が、所定速度未満なら、後の処理を行わない。所定速
度以上ならステップＳ６に進む。In step S5, if the line-of-sight movement speed of the user is less than the predetermined speed, the subsequent processing is not performed. If the speed is equal to or higher than the predetermined speed, the process proceeds to step S6.
【００７８】周辺エリアと中央エリアについて説明す
る。図8 の(C) は、表示部(16)の中央エリアである。
(E) は周辺エリアである。(L) は両エリア(C)(E)の境界
を示している。The peripheral area and the central area will be described. FIG. 8 (C) shows the central area of the display unit (16).
(E) is the surrounding area. (L) indicates the boundary between both areas (C) and (E).
【００７９】ステップＳ６では、視線位置が、表示画面
の中央エリア(C) から周辺エリア(E) へ移動した場合、
表示メモリ(14)等を制御するステップＳ７の画面切替制
御がなされる。つまり、このステップＳ６により、視線
位置が表示画面の中央エリア(C) にある場合、及び、視
線位置が、表示画面の周辺エリア(E) から中央エリア
(C) に移動した場合等は、ステップＳ７の画面切替制御
は、為されない。In step S6, when the line-of-sight position moves from the central area (C) of the display screen to the peripheral area (E),
The screen switching control of step S7 for controlling the display memory (14) and the like is performed. In other words, by this step S6, when the line-of-sight position is in the central area (C) of the display screen, and when the line-of-sight position is from the peripheral area (E) of the display screen to the central area.
When moving to (C), the screen switching control in step S7 is not performed.
【００８０】ステップＳ７の画面切替制御を説明する。
このステップＳ７では、基本的に前記ステップＳ４で求
めた「視線の動く方向」と反対方向に表示画面内容を移
動させてやればよい。移動量は、所定量でもよい。The screen switching control in step S7 will be described.
In this step S7, basically, the display screen content may be moved in the direction opposite to the "moving direction of the line of sight" obtained in step S4. The movement amount may be a predetermined amount.
【００８１】この実施例のステップＳ７での画面の移動
方向は、斜めは行わずに、縦方向と横方向のうちの一方
のみとしている。このため、視線の移動を、縦方向成分
と横方向成分とに分け、成分が大きい方向で、画面を移
動させている。In the step S7 of this embodiment, the screen is moved in only one of the vertical direction and the horizontal direction, not obliquely. Therefore, the movement of the line of sight is divided into a vertical component and a horizontal component, and the screen is moved in the direction in which the component is large.
【００８２】もちろん、斜め方向の視線移動を検出し、
斜め方向に画面を移動させることも可能である。Of course, the movement of the line of sight in the oblique direction is detected,
It is also possible to move the screen diagonally.
【００８３】上述の説明から理解できるように、この第
1 実施例では、視線が高速移動しており、且つ、視線が
表示部(16)を向いている状態で、視線が予め定めた表示
画面(16)の領域内(C) かどうかの判定が行われ、視線が
領域(C) 中から外(E) へ移動した場合、画像表示メモリ
(14)が制御されて、表示領域が移動される。As can be seen from the above description, this first
In the first embodiment, it is possible to determine whether the line of sight is within the predetermined area (C) of the display screen (16) while the line of sight is moving at high speed and the line of sight is facing the display unit (16). When the line of sight is moved from inside the area (C) to outside (E), the image display memory
(14) is controlled and the display area is moved.
【００８４】視線が高速移動しており、且つ、視線が表
示部を向いている状態でも、視線が予め定めた表示部(1
6)の領域(C) 内で移動している場合、及び、視線が予め
定めたディスプレイの領域外(E) で移動している場合
は、制御を行わない。Even when the line of sight is moving at high speed and the line of sight is facing the display unit, the line of sight (1
If the movement is within the area (C) of 6) and if the line of sight is outside the predetermined display area (E), control is not performed.
【００８５】図9 を参照しつつ、この第2 実施例におけ
る表示部(16)の表示画面の制御の一例を説明する。An example of control of the display screen of the display unit (16) in the second embodiment will be described with reference to FIG.
【００８６】尚、図9 の破線(L) は、実際には表示され
ていない。この例では画面の大きさに対して80% の位置
に枠を設定している。The broken line (L) in FIG. 9 is not actually displayed. In this example, the frame is set at 80% of the screen size.
【００８７】(V1,V2,V3,V4,V5,V6) は視線があまり移動
しない注視点であり、図では１点を四角のマークで表し
た。(V1, V2, V3, V4, V5, V6) are gazing points where the line of sight does not move much, and one point is represented by a square mark in the figure.
【００８８】(V12,V23,V34,V45,V56) は各注視点間の視
線の軌跡である。(V12, V23, V34, V45, V56) is the trajectory of the line of sight between the gazing points.
【００８９】図9(a)に表示される如く、文字「 Ａ」 付近
の注視点(V1)から文字「 Ｄ」 付近の注視点(V2)への移動
(V12) 、及び、文字「 Ｄ」 付近の注視点(V2)から注視点
(V3)への移動(V23) は、所定速度(20 度／秒）以上で移
動しているが、中心エリア(C) 内であるので、画面移動
を行わない。As shown in FIG. 9A, the movement from the gazing point (V1) near the character "A" to the gazing point (V2) near the character "D" is performed.
(V12) and the gazing point (V2) near the character "D"
Moving to (V3) (V23) is moving at a predetermined speed (20 degrees / second) or more, but since it is within the central area (C), the screen is not moved.
【００９０】図9(b)に示される如く、文字「 Ｈ」 付近に
注視点(V4)が移動すると、この視点の移動(V34) は、周
辺エリア(E) への移動であるので、画面表示制御部(22)
は、表示メモリ(14)を制御して、表示画面を切り替え
る。As shown in FIG. 9 (b), when the gazing point (V4) moves near the character "H", the movement of this viewpoint (V34) is the movement to the peripheral area (E). Display controller (22)
Controls the display memory (14) to switch the display screen.
【００９１】このときの、視点の移動(V34) は，縦方向
成分より横方向成分の方が大きいので、視線に対応した
画面移動も、横方向に為される。つまり、図9(c)に示す
ように画面の表示領域が左方向に移動し、文字「 Ｊ」 ま
で見えるようになる。At this time, since the horizontal component of the viewpoint movement (V34) is larger than the vertical component, the screen movement corresponding to the line of sight is also performed in the horizontal direction. That is, as shown in FIG. 9 (c), the display area of the screen moves to the left and the character "J" can be seen.
【００９２】そして、図9(d)(e) に示されるように、注
視点(V4)から注視点(V5)への移動(V45) 及び注視点(V5)
から注視点(V6)への移動(V56) は、所定速度(20 度／
秒) 以上で移動しているが、中心エリア(C) 内であるの
で、画面移動は行わない。Then, as shown in FIGS. 9D and 9E, the movement (V45) from the gazing point (V4) to the gazing point (V5) and the gazing point (V5)
From the point of view (V6) to the gazing point (V6),
It has moved for more than 2 seconds, but since it is in the central area (C), the screen is not moved.
【００９３】この第1 実施例では、ステップＳ３によ
り、画面を見ていない時は、画面移動を行わないので、
不要な画面移動を防止できる。In the first embodiment, in step S3, the screen is not moved when not looking at the screen.
It is possible to prevent unnecessary screen movement.
【００９４】また、目がサッカード状態となる速度(5度
/ 秒〜30度/ 秒) 以上になって、画面移動を開始するの
で、画面移動による画像認識の障害になる可能性が少な
い。Also, the speed at which the eyes become saccade (5 degrees
/ Sec ~ 30 degrees / sec) The screen movement starts at the above speed, so there is little possibility of hindering image recognition due to the screen movement.
【００９５】また、視線が周辺エリア(E) に存在する場
合に画面移動を行い、中央エリア(C) に存在する場合に
画面移動を行わないので、不要な画面移動を防止でき
る。Since the screen is moved when the line of sight is in the peripheral area (E) and is not moved when the line of sight is in the central area (C), unnecessary screen movement can be prevented.
【００９６】尚、前記画面の移動量は、その時の視点の
移動速度に応じて、可変するようにしてもよい。つま
り、視線の移動速度が大きい時には、大きく移動せさて
もよい。The moving amount of the screen may be variable according to the moving speed of the viewpoint at that time. That is, when the moving speed of the line of sight is high, it may be moved greatly.
【００９７】また、移動量は、直前の注視点からの距離
量に応じて、可変するようにしてもよい。つまり、図9
(b)を参考に説明すれば、注視点(V4)の時、直前の注視
点となる視点は視点(V3)であり、この注視点(V3)と注視
点(V4)との距離に応じて、画面の移動量を決定してもよ
い。また、当然、この移動量が大きすぎて、注視点(V4)
の画面部分が図3 のテキスト右端に来てしまい、かえっ
て読み辛くなりことをさけるように、移動量は、設定さ
れる。Further, the movement amount may be variable according to the distance amount from the immediately preceding gazing point. That is, Fig. 9
Explaining with reference to (b), at the time of gazing point (V4), the point of view that is the immediately preceding gazing point is the viewpoint (V3), and depending on the distance between this gazing point (V3) and the gazing point (V4). Then, the amount of movement of the screen may be determined. Also, of course, this amount of movement is too large, and the gazing point (V4)
The amount of movement is set so that the screen part of will come to the right end of the text in Figure 3 and it will be difficult to read.
【００９８】また、この第1 実施例では、視線が表示部
を向いている状態でも、視線が予め定めた表示部(16)の
周辺エリア(E) 内で移動している場合は、画面移動制御
を行わなかったが、本願は別に移動制御を行うようにし
ても良い。Further, in the first embodiment, even if the line of sight is facing the display unit, if the line of sight is moving within the predetermined peripheral area (E) of the display unit (16), the screen is moved. Although the control is not performed, the present application may perform the movement control separately.
【００９９】次に、本発明の第2 実施例を説明する。Next, a second embodiment of the present invention will be described.
【０１００】説明を簡単にするために、本発明の第2 実
施例を説明する前に、目の特性について、図10を参照し
つつ、説明する。To simplify the description, the eye characteristics will be described with reference to FIG. 10 before describing the second embodiment of the present invention.
【０１０１】図10は、視線の動きの一例を示している。
縦軸は視線の移動速度、横軸は時間である。FIG. 10 shows an example of the movement of the line of sight.
The vertical axis represents the moving speed of the line of sight, and the horizontal axis represents time.
【０１０２】そして、図10の(T2)は、視線が、注視して
いる状態である。この例では、20度／秒の視線の移動速
度で注視点が判定され、400ミリ秒注視点が持続してい
る。Then, (T2) in FIG. 10 shows a state where the line of sight is gazing. In this example, the gazing point is determined at the moving speed of the line of sight of 20 degrees / second, and the gazing point is continued for 400 milliseconds.
【０１０３】この図や前述の文献(G) にも示されるよう
に、一般に注視点は、200 ミリ秒程度以上持続し、個人
差もあるが最初の33ms〜50ms程度で情報を受容し、後の
注視時間はその注視内容の処理に用いられていると考え
られ、注視部分の視覚情報を取り入れる必要はないと推
測される。As shown in this figure and the above-mentioned document (G), in general, the gazing point lasts for about 200 milliseconds or more, and although there are individual differences, information is received in the first 33ms to 50ms or so, and It is considered that the gaze time of is used for processing the gaze contents, and it is presumed that it is not necessary to incorporate the visual information of the gaze portion.
【０１０４】それゆえ、注視部分の情報の取り込みは、
注視後少なくとも33ミリ秒間は有効に使われているが、
これ以上の時間は、不必要である。Therefore, the acquisition of the information of the gaze portion is
It is used effectively for at least 33 milliseconds after gazing,
No more time is needed.
【０１０５】従って、この処理時に、画像を移動させた
り、消したりしても、悪影響は少ないと考えられる。Therefore, even if the image is moved or erased during this processing, it is considered that the adverse effect is small.
【０１０６】つまり、注視が、少なくとも33ミリ秒以上
続いたあとに、画面を変更しても、既に、必要な情報
は、取り込まれている。In other words, even if the screen is changed after the gaze continues for at least 33 milliseconds or more, the necessary information has already been fetched.
【０１０７】前述の第1 実施例では、視線の移動中に画
面の表示領域を移動開始させたが、この第2 実施例で
は、逆に注視後に画像の表示領域を移動させる。In the above-described first embodiment, the display area of the screen is started to move while the line of sight is moving, but in the second embodiment, conversely, the display area of the image is moved after the gaze.
【０１０８】図11、 図12を参照しつつ、本発明の第2 実
施例を説明する。A second embodiment of the present invention will be described with reference to FIGS. 11 and 12.
【０１０９】尚、この第2 実施例の概略構成図は、第1
実施例の図2 と同一であるので、図2 を流用して説明す
る。The schematic configuration diagram of the second embodiment is the first
Since it is the same as FIG. 2 of the embodiment, description will be made by diverting FIG.
【０１１０】第2 実施例の特徴であるこの視線による画
面表示制御部(22)の動作は、第1 実施例とは異なるの
で、これを図11のフローチャートを参照しつつ、説明す
る。Since the operation of the screen display control unit (22) by this line of sight, which is a feature of the second embodiment, is different from that of the first embodiment, this will be described with reference to the flowchart of FIG.
【０１１１】この第2 実施例のステップＳ１〜ステップ
Ｓ４では、第1 実施例と同様に動作する。In steps S1 to S4 of the second embodiment, the operation is similar to that of the first embodiment.
【０１１２】ステップＳ５では、視線位置が、周辺エリ
ア(E) か？否か？か、が判定される。視線位置が、中央
エリア(C) なら画面移動制御は為されない。視線位置
が、周辺エリア(E) ならステップＳ６に進む。In step S5, is the line-of-sight position in the peripheral area (E)? or not? Is determined. If the line-of-sight position is the central area (C), screen movement control is not performed. If the line-of-sight position is the peripheral area (E), the process proceeds to step S6.
【０１１３】ステップＳ６では、ステップＳ４で求めた
「注視継続時間」が、所定時間以上か否かが判定され
る。このときの所定時間は、前述のように目の特性から
考えて、33ミリ秒以上の値に設定すればよい。本実施例
では、100 ミリ秒とした。In step S6, it is determined whether or not the "fixation duration time" obtained in step S4 is a predetermined time or longer. The predetermined time at this time may be set to a value of 33 milliseconds or more considering the characteristics of the eyes as described above. In this embodiment, it is set to 100 milliseconds.
【０１１４】このステップＳ６で、使用者の注視時間
が、所定時間未満なら、後の処理を行わない。所定時間
以上ならステップＳ７に進む。In step S6, if the user's gaze time is less than the predetermined time, the subsequent processing is not performed. If it is equal to or longer than the predetermined time, the process proceeds to step S7.
【０１１５】このステップＳ７で、画面切替制御が為さ
れる。In step S7, screen switching control is performed.
【０１１６】ステップＳ７の画面切替制御を説明する。
このステップＳ７では、基本的に前記注視点位置を表示
画面の中心方向に移動させてやればよい。移動量は、所
定量でもよい。The screen switching control in step S7 will be described.
In step S7, basically, the position of the point of interest may be moved toward the center of the display screen. The movement amount may be a predetermined amount.
【０１１７】この実施例のステップＳ７での画面の移動
方向は、斜めは行わず、縦方向と横方向のうちの一方の
みとしている。このため、注視点位置が表示画面の左右
端の周辺エリア(E) であれば画面を横方向に移動させ、
注視点位置が表示画面の上下端の周辺エリア(E) であれ
ば画面を縦方向に移動させている。もちろん、斜め方向
に画面を移動させることも可能である。The moving direction of the screen in step S7 of this embodiment is not oblique, but only one of the vertical direction and the horizontal direction. Therefore, if the point of interest is in the peripheral area (E) on the left and right edges of the display screen, move the screen horizontally,
If the gazing point is in the peripheral area (E) at the upper and lower edges of the display screen, the screen is moved vertically. Of course, it is also possible to move the screen diagonally.
【０１１８】図12を参照しつつ、この第2 実施例におけ
る表示部(16)の表示画面の変遷の一例を説明する。An example of the transition of the display screen of the display unit (16) in the second embodiment will be described with reference to FIG.
【０１１９】尚、図12の破線(L) も、実際には表示され
ていない。The broken line (L) in FIG. 12 is not actually displayed either.
【０１２０】図12(a) に表示される如く、文字「 Ｄ」 近
辺の注視点(V7)は、100 ミリ秒以上の間、注視していて
も、中央エリア(C) での注視であるので、画面移動を行
わない。図12(b) に示される如く、文字「 Ｈ」 近辺に視
点(V8)が移動し、ここで注視されたとする。周辺エリア
(E) での注視であるので、注視が100 ミリ秒続くと、画
面移動が行われる。As shown in FIG. 12 (a), the gazing point (V7) near the character "D" is the gazing in the central area (C) even if the gazing point is 100 milliseconds or more. Therefore, the screen is not moved. As shown in FIG. 12 (b), it is assumed that the viewpoint (V8) is moved to the vicinity of the character “H” and is gazed at here. Surrounding area
Since it is the gaze in (E), if the gaze continues for 100 milliseconds, the screen is moved.
【０１２１】図12(c) に示すように画面の表示領域が移
動し、文字「 Ｊ」 まで表示されるようになる。As shown in FIG. 12 (c), the display area of the screen moves and the character "J" is displayed.
【０１２２】このように、第2 実施例では、目が情報を
取り込む期間(33ms)を越える時間(100ms) 後に、画面移
動を行うので、画面移動により画像認識の障害が発生す
る可能性が少ない。As described above, in the second embodiment, since the screen is moved after the time (100 ms) that exceeds the period (33 ms) in which the eyes take in information, it is unlikely that the screen movement causes an obstacle to image recognition. .
【０１２３】また、視線が周辺エリア(E) に存在する場
合に画面移動を行い、中央エリア(C) に存在する場合に
画面移動を行わないので、不要な画面移動を防止でき
る。Further, since the screen is moved when the line of sight is in the peripheral area (E) and is not moved when the line of sight is in the central area (C), unnecessary screen movement can be prevented.
【０１２４】次に、文書を表示している場合に、好適な
第3 実施例について、図14を参照しつつ、説明する。Next, a preferred third embodiment when displaying a document will be described with reference to FIG.
【０１２５】この第3 実施例は、基本的に第1 実施例と
同様に動作する。つまり、第1 実施例の図9(a)〜(c) に
示されるように、視線が移動すれば、この図14の(a) 〜
(c)に示されるように同様に動作する。The third embodiment basically operates in the same manner as the first embodiment. In other words, as shown in FIGS. 9 (a) to 9 (c) of the first embodiment, if the line of sight moves, (a) to
It operates similarly as shown in (c).
【０１２６】違いは、図14(d) に示されるように、注視
点(V4)から注視点(V5 ’) への移動(V45’) を改行と判
断して、視線と反対方向に画面を移動して文書の左端を
表示する。The difference is that, as shown in FIG. 14 (d), the movement (V45 ') from the gazing point (V4) to the gazing point (V5') is judged as a line feed, and the screen is moved in the direction opposite to the line of sight. Move to display the left edge of the document.
【０１２７】このように、注視点がテキスト文書の行の
最終文字付近から、次行の先頭文字方向に大きく移動し
た場合は、改行と判断して、文書の左端を表示する。In this way, when the gazing point largely moves in the direction of the first character of the next line from the vicinity of the last character of the line of the text document, it is determined to be a line break and the left end of the document is displayed.
【０１２８】このようなことを、第2 実施例に適用した
第4 実施例について、図15を参照しつつ、説明する。This will be described with reference to FIG. 15 for the fourth embodiment applied to the second embodiment.
【０１２９】この第4 実施例は、基本的に第2 実施例と
同様に動作する。つまり、第2 実施例の図12(a),(b) に
示されるように、視線が移動すれば、この図15の(a),
(b) に示されるように同様に動作する。The fourth embodiment basically operates in the same manner as the second embodiment. In other words, as shown in FIGS. 12 (a) and 12 (b) of the second embodiment, if the line of sight moves, then in FIG. 15 (a),
It operates similarly as shown in (b).
【０１３０】第２実施例との違いは、図15(c)(d)に示さ
れるように、注視点(V9 ’) への移動(V89’) を改行と
判断して、注視点(V9 ’) での注視が100m秒続くと、文
書の左端を表示する。The difference from the second embodiment is that the movement (V89 ') to the gazing point (V9') is judged as a line feed and the gazing point (V9 ' If the gaze with ') continues for 100 msec, the left edge of the document is displayed.
【０１３１】このように、注視点がテキスト文書の行の
最終文字付近から、次行の先頭文字方向に大きく移動し
て注視した場合は、改行と判断して、文書の左端を表示
する。As described above, when the gazing point moves from the vicinity of the last character of the line of the text document to the first character of the next line and gazes, the line is judged to be a line break and the left end of the document is displayed.
【０１３２】尚、上記第3,4 実施例では、横書き文書の
改行時の画面の移動について述べたが、これは、当然、
縦書き文書に応用することも可能である。In the third and fourth embodiments described above, the screen movement at the time of a line break in a horizontally written document has been described.
It can also be applied to a vertically written document.
【０１３３】尚、上記第1,2,3,4 実施例では、表示画面
の移動は、切替によって行っていたが、これは、スクロ
ールでもよい。In the first, second, third and fourth embodiments, the display screen is moved by switching, but this may be scrolled.
【０１３４】また、この切替処理中、及び、スクロール
処理中は、表示画面内容が移動し、、人の視線もこれに
釣られて移動する恐れがあるので、この時は、視線によ
る画面制御を中断してもよい。Further, during the switching process and the scrolling process, the contents of the display screen may move, and the line of sight of the person may be caught by this, and at this time, the screen control by the line of sight should be performed. You may suspend.
【０１３５】また、前記実施例では、視線の速度を角度
で算出したが、これは、画面上の視点の移動距離速度に
より算出してもよい。In the above embodiment, the line-of-sight velocity is calculated as an angle, but it may be calculated as the moving distance velocity of the viewpoint on the screen.
【０１３６】また、前記実施例では、文書を表示してい
る例を示したが、本願はこれに限られるわけでは無い。
つまり、絵画的画像、グラフ、文書等を表示する表示装
置に適用可能である。Further, in the above-mentioned embodiment, an example in which a document is displayed has been shown, but the present application is not limited to this.
That is, it can be applied to a display device that displays pictorial images, graphs, documents, and the like.
【０１３７】つまり、実施例では、視点(V4)(V8)の画面
部分を画面中央方向に移動せしめる処方として、まず、
移動方向としては、単純に画面中心方向に移動させるこ
と、縦横方向のうちの一方で移動させることが、考えら
れる。また、移動方向の決定としては、視点(V4)(V8)の
位置に応じて決定、この視点(V4)(V8)の移動軌跡の方向
(V34)(V78)に応じて決定が、考えられる。また、移動量
としては、視点(V4)(V8)の位置に応じて決定、視線移動
(V23) の移動速度に応じて決定、直前の注視点(V3)(V7)
からの距離に応じて決定、または、所定量とすること
が、考えられる。That is, in the embodiment, as a prescription for moving the screen portion of the viewpoints (V4) (V8) toward the center of the screen, first,
The moving direction may be simply moving toward the center of the screen or moving in one of the vertical and horizontal directions. In addition, the movement direction is determined according to the position of the viewpoint (V4) (V8), and the direction of the movement locus of this viewpoint (V4) (V8)
A decision is conceivable according to (V34) (V78). Also, the amount of movement is determined according to the position of the viewpoint (V4) (V8)
Determined according to the moving speed of (V23), immediately preceding gazing point (V3) (V7)
It is conceivable that it is determined according to the distance from or the amount is a predetermined amount.
【０１３８】そして、絵画的画像、グラフ、文書等を表
示する表示装置に適用する時に、前記画面の移動量・方
向等は、その時に表示されている種別に応じて、自動設
定変更するようにしてもよい。つまり、表示画面内容
が、絵画的画像か？、グラフか？、文書か？等の種別判
別データを予め備えるようにして、この種別判別データ
に応じて、可変してもよい。When applied to a display device that displays pictorial images, graphs, documents, etc., the movement amount and direction of the screen should be automatically changed according to the type displayed at that time. May be. In other words, is the display screen content a pictorial image? , A graph? , Document? It is also possible to previously provide the type determination data such as, and vary according to the type determination data.
【０１３９】また、この実施例での画面移動方向の処方
は、縦方向と横方向の内の一方のみとしているが、これ
は、当然、斜め方向も行うようにしてもよい。Further, the prescription in the screen movement direction in this embodiment is only one of the vertical direction and the horizontal direction, but this may of course be performed in the diagonal direction.
【０１４０】また、実施例では、エリアを２つに分けた
が、エリアを細分化し、視点の移動軌跡が、どのエリア
からどのエリアへ移動したかを検出し、この検出結果に
応じて、画面移動の種々の前記処方を選択して実行する
ようにしてもよい。Further, in the embodiment, the area is divided into two, but the area is subdivided, and it is detected from which area the moving locus of the viewpoint moves to which area, and the screen is displayed according to the detection result. The various prescriptions of travel may be selected and executed.
【０１４１】また、本実施例では、16.7ミリ秒間隔で視
線を検出し、16.7ミリ秒間隔で視線の移動速度を検出し
たが、検出間隔は短いほうが良い。Further, in this embodiment, the line of sight is detected at intervals of 16.7 milliseconds, and the moving speed of the line of sight is detected at intervals of 16.7 milliseconds, but it is better that the detection interval is shorter.
【０１４２】また、視点の検出をより精密に行うため
に、使用者と表示部間の距離変化を検出して、より精密
な視線の検出に用いても良い。Further, in order to detect the viewpoint more accurately, a change in the distance between the user and the display may be detected and used for more accurate detection of the line of sight.
【０１４３】更に、図13に示すような較正用の表示画面
により、より精密な視線の検出を行うことも可能であ
る。尚、較正用の表示画面については、前述の文献(E)
(G)に述べられているので、説明は割愛する。Further, it is possible to detect the line of sight more precisely by using the display screen for calibration as shown in FIG. Regarding the display screen for calibration, refer to the above-mentioned document (E).
Since it is described in (G), the explanation is omitted.
【０１４４】また、上記実施例では、上記画面移動制御
を行うモードについて、述べなかったが、例えば、従来
からの画面移動制御操作部による画面移動を文書作成中
・編集中に行い、本願の特徴である視線による画面移動
制御を文書作成後のチェック時に行う様にしてもよい。Further, in the above embodiment, the mode for performing the screen movement control is not described, but for example, the conventional screen movement control operation unit performs the screen movement during document creation / editing, which is a feature of the present invention. The screen movement control based on the line of sight may be performed at the time of checking after the document is created.
【０１４５】[0145]
【発明の効果】本発明によれば、ワープロやワークステ
ーションなど画像情報を編集する情報処理装置におい
て、操作者の視線の位置を検出し、かつ人間の視覚特性
に対応して、画面の表示内容を、切替又はスクロールす
るので、自然な表示ができる。According to the present invention, in an information processing device for editing image information such as a word processor or a workstation, the position of the operator's line of sight is detected, and the display contents of the screen are displayed according to the human visual characteristics. Is switched or scrolled, so that a natural display can be performed.
【０１４６】本発明の請求項１の視線対応表示方法で
は、視線移動速度が所定の速度を越えた時に、画面の移
動処理を行っている。つまり、この視線が動いている時
( 視覚特性が劣化している時，表示画面の内容の認識を
行っていない時) に、画面の移動処理を開始するので、
この移動による表示画面の内容の認識が阻害されること
はない。In the line-of-sight correspondence display method according to the first aspect of the present invention, the screen movement processing is performed when the line-of-sight movement speed exceeds a predetermined speed. In other words, when this line of sight is moving
(When the visual characteristics are deteriorated and the contents of the display screen are not recognized), the process of moving the screen is started.
This movement does not hinder the recognition of the contents of the display screen.
【０１４７】本発明の請求項２の視線対応表示方法で
は、操作者の視線位置を検出し、100ミリ秒間隔以下
で、視線移動速度を検出し、この視線移動速度が所定の
速度を越えた場合に、画面の移動処理を行っている。つ
まり、視線移動速度の検出が、この100 ミリ秒間隔より
長くかかると、通常のサッカード期間中(30 ミリ秒〜10
0ミリ秒) に、画面の移動処理を開始できない。従っ
て、請求項２の視線対応表示方法によれば、通常のサッ
カード期間中(30 ミリ秒〜100 ミリ秒) に、画面の移動
処理を開始出来るので、この移動による表示画面の内容
の認識が阻害される影響は小さい。理想的には、30ミリ
秒間隔以下で、検出することが望ましい。もっと、理想
的には、30ミリ秒間隔以下で、検出と画面移動開始を行
うことが望ましい。さらに、理想的には、30ミリ秒間隔
以下で、検出と画面移動開始完了を行うことが望まし
い。In the line-of-sight correspondence display method according to claim 2 of the present invention, the line-of-sight position of the operator is detected, the line-of-sight movement speed is detected at intervals of 100 milliseconds or less, and the line-of-sight movement speed exceeds a predetermined speed. In this case, screen movement processing is being performed. In other words, if the detection of the eye movement speed takes longer than this 100 ms interval, it will occur during the normal saccade period (30 ms to 10 ms).
The screen movement process cannot be started at 0 ms. Therefore, according to the line-of-sight-corresponding display method of claim 2, the movement process of the screen can be started during the normal saccade period (30 milliseconds to 100 milliseconds), so that the contents of the display screen can be recognized by this movement. The effect of being hindered is small. Ideally, it is desirable to detect at intervals of 30 milliseconds or less. More ideally, it is desirable to perform detection and screen movement start at intervals of 30 milliseconds or less. Further, ideally, it is desirable to perform detection and completion of screen movement start at intervals of 30 milliseconds or less.
【０１４８】本発明の請求項３，４の視線対応表示方法
では、視線位置が画面の中央部(C)にある時は、画面移
動を行わないので、不必要な画面移動をさけることがで
きる。In the line-of-sight-corresponding display method according to claims 3 and 4 of the present invention, when the line-of-sight position is in the central portion (C) of the screen, the screen is not moved, so unnecessary screen movement can be avoided. .
【０１４９】本発明の請求項５の視線対応表示方法で
は、注視時間が所定の時間を越え、且つ、この視線位置
が周辺部(E) にある時に、この視線位置の画面部分を画
面中央方向に移動しているので、注視位置の画面が画面
中央方向に移動することが出来る。According to the line-of-sight correspondence display method of claim 5 of the present invention, when the gaze time exceeds a predetermined time and the line-of-sight position is in the peripheral portion (E), the screen portion of this line-of-sight position is directed toward the center of the screen. Since it is moved to, the screen at the gaze position can move toward the center of the screen.
【０１５０】本発明の請求項６の視線対応表示方法で
は、視線が画面外にある時は、画面移動を行わないの
で、不必要な画面移動をさけることができる。According to the line-of-sight correspondence display method of the sixth aspect of the present invention, when the line of sight is outside the screen, the screen is not moved, so unnecessary screen movement can be avoided.
【０１５１】本発明の請求項７の視線対応表示装置で
は、視線が画面外にある時は、画面移動を行わないの
で、不必要な画面移動をさけることができる。In the line-of-sight-corresponding display device according to the seventh aspect of the present invention, since the screen is not moved when the line of sight is outside the screen, unnecessary screen movement can be avoided.
【０１５２】本発明の請求項８の視線対応表示装置で
は、視線が中央部(C) にある場合は、画面移動を行わな
いので、不必要な画面移動をさけることができる。In the line-of-sight-corresponding display device of the eighth aspect of the present invention, when the line of sight is in the central portion (C), the screen is not moved, so unnecessary screen movement can be avoided.
【０１５３】本発明の請求項９の視線対応表示装置で
は、注視位置の画面を画面中央方向に移動することが出
来る。In the line-of-sight correspondence display device according to claim 9 of the present invention, the screen at the gaze position can be moved toward the center of the screen.
【０１５４】本発明の請求項１０の視線対応表示装置で
は、注視時間が少なくとも33ミリ秒を越えた後に、前記
画面移動を行っている。従って、視覚情報を取り込んだ
後なので、表示画面の内容の認識が阻害される影響は小
さい。In the line-of-sight-corresponding display device of the tenth aspect of the present invention, the screen movement is performed after the gaze time exceeds at least 33 milliseconds. Therefore, since the visual information is captured, the influence of hindering the recognition of the contents of the display screen is small.
【０１５５】本発明の請求項１１の視線対応表示装置で
は、視線移動速度が所定の速度を越えた時に、画面の移
動処理を行っている。つまり、この視線が動いている時
( 視覚特性が劣化している時，表示画面の内容の認識を
行っていない時) に、画面の移動処理を開始するので、
この移動による表示画面の内容の認識に悪影響が出る可
能性は小さい。In the line-of-sight-corresponding display device according to the eleventh aspect of the present invention, when the line-of-sight movement speed exceeds a predetermined speed, the screen movement processing is performed. In other words, when this line of sight is moving
(When the visual characteristics are deteriorated and the contents of the display screen are not recognized), the process of moving the screen is started.
It is unlikely that this movement will adversely affect the recognition of the contents of the display screen.
【図１】眼球運動の一例を示す図である。FIG. 1 is a diagram showing an example of eye movement.
【図２】本発明の第1 実施例を示す図である。FIG. 2 is a diagram showing a first embodiment of the present invention.
【図３】この第1 実施例のテキストメモリを説明するた
めの図である。FIG. 3 is a diagram for explaining the text memory of the first embodiment.
【図４】このテキストメモリと表示メモリの関係を説明
するための図である。FIG. 4 is a diagram for explaining the relationship between the text memory and the display memory.
【図５】この表示メモリと表示部との関係を説明するた
めの図である。FIG. 5 is a diagram for explaining the relationship between the display memory and the display unit.
【図６】この表示メモリと表示部との関係を説明するた
めの図である。FIG. 6 is a diagram for explaining the relationship between the display memory and the display unit.
【図７】画面表示制御部の動作を説明するフローチャー
トである。FIG. 7 is a flowchart illustrating an operation of a screen display control unit.
【図８】画面のエリアを説明するための図である。FIG. 8 is a diagram for explaining screen areas.
【図９】第1 実施例による表示画面の変遷を示す図であ
る。FIG. 9 is a diagram showing a transition of a display screen according to the first embodiment.
【図１０】眼球運動の一例を示す図である。FIG. 10 is a diagram showing an example of eye movement.
【図１１】第２実施例のフローチャートを示す図であ
る。FIG. 11 is a diagram showing a flowchart of a second embodiment.
【図１２】第２実施例による表示画面の制御を説明する
ための図である。FIG. 12 is a diagram for explaining control of a display screen according to the second embodiment.
【図１３】較正表示画面を示す図である。FIG. 13 is a diagram showing a calibration display screen.
【図１４】第３実施例による表示画面の制御を説明する
ための図である。FIG. 14 is a diagram for explaining control of a display screen according to the third embodiment.
【図１５】第４実施例による表示画面の制御を説明する
ための図である。FIG. 15 is a diagram for explaining control of a display screen according to the fourth embodiment.
(14) 表示メモリ (16) 表示部 (20) 視線検出部( 視線検出手段) (22) 画面表示制御部( 画面表示制御部) (E) 周辺エリア( 周辺部) (C) 中央エリア( 中央部) (14) Display memory (16) Display section (20) Line-of-sight detection section (line-of-sight detection means) (22) Screen display control section (screen display control section) (E) Peripheral area (peripheral section) (C) Central area (center Part)
Claims (11)
線位置を検出し、視線移動速度が所定の速度を越えた時
に、画面の移動処理を行うことを特徴とする視線対応表
示方法。1. A line-of-sight-corresponding display method, which detects a position of the line-of-sight of an operator and performs a screen movement process when the line-of-sight movement speed exceeds a predetermined speed.
線位置を検出し、100 ミリ秒間隔以下で、視線移動速度
を検出し、この視線移動速度が所定の速度を越えた場合
に、画面の移動処理を行うことを特徴とする視線対応表
示方法。2. In the visual line correspondence display method, the visual line position of the operator is detected, the visual line movement speed is detected at intervals of 100 milliseconds or less, and when the visual line movement speed exceeds a predetermined speed, the screen is displayed. A line-of-sight correspondence display method characterized by performing a moving process.
を越え、且つ、この視線位置が画面の周辺部(E) にある
時に、この視線位置の画面部分を画面中央方向に移動さ
せ、 前記視線移動速度が所定の速度を越え、且つ、この視線
位置が画面の中央部(C) にある時は、画面移動を行わな
いことを特徴とする視線対応表示方法。3. A line-of-sight correspondence display method, wherein the line-of-sight position of the operator is detected, the line-of-sight movement speed exceeds a predetermined speed, and the line-of-sight position is at a peripheral portion (E) of the screen. When the line-of-sight movement speed exceeds a predetermined speed and the line-of-sight position is in the center portion (C) of the screen, the screen is not moved. Display method for line-of-sight.
を越え、且つ、この視線位置が画面の中央部(C) から周
辺部(E) に移動した時に、この視線位置の画面部分を画
面中央方向に移動し、 前記視線移動速度が所定の速度を越え、且つ、この視線
位置が画面の中央部(C) にある時は、画面移動を行わな
いことを特徴とする視線対応表示方法。4. In the line-of-sight correspondence display method, the line-of-sight position of the operator is detected, the line-of-sight movement speed exceeds a predetermined speed, and this line-of-sight position changes from the central part (C) to the peripheral part (E) of the screen. When moving, move the screen portion of this line-of-sight position toward the center of the screen, and if the line-of-sight movement speed exceeds a predetermined speed and this line-of-sight position is in the center part (C) of the screen, move the screen. A line-of-sight correspondence display method characterized by not performing.
え、且つ、この視線位置が周辺部(E) にある時に、この
視線位置の画面部分を画面中央方向に移動し、 注視時間が所定の時間を越え、且つ、この視線位置が中
央部(C) にある時には、画面移動を行わないことを特徴
とする視線対応表示方法。5. In the eye-gaze corresponding display method, when the eye-gaze position of the operator is detected, the gaze time exceeds a predetermined time, and the eye-gaze position is in the peripheral part (E), the screen portion of the eye-gaze position is displayed. Is moved toward the center of the screen, the gaze time exceeds a predetermined time, and when the gaze position is in the central portion (C), the screen is not moved, and the gaze-corresponding display method.
て画面を移動させる視線対応表示方法において、 前記操作者の視線が、画面外にある場合に、前記画面移
動を禁止することを特徴とする視線対応表示方法。6. A line-of-sight correspondence display method for detecting the line of sight of an operator and moving the screen according to the line of sight, wherein the screen movement is prohibited when the line of sight of the operator is outside the screen. Characteristic line-of-sight correspondence display method.
検出し、この視線に応じて画面を移動させる視線対応表
示装置において、 前記操作者の視線が、前記画面外にある場合に、前記画
面の移動制御を禁止する画面表示制御手段(22)を、 を備えることを特徴とする視線対応表示装置。7. A line-of-sight correspondence display device which detects the line of sight of an operator by a line-of-sight detection means (20) and moves the screen according to this line of sight, when the line of sight of the operator is outside the screen, A line-of-sight correspondence display device comprising: a screen display control means (22) for prohibiting the screen movement control.
検出し、この視線に応じて画面を移動させる視線対応表
示装置において、 前記操作者の視線が前記画面内の中央部(C) にある場合
は、前記画面移動を禁止する画面表示制御手段(22)を、 備えることを特徴とする視線対応表示装置。8. A line-of-sight correspondence display device in which the line of sight of an operator is detected by a line-of-sight detection means (20) and the screen is moved according to this line of sight, wherein the line of sight of the operator is a central part (C) in the screen. In the case (1), the line-of-sight correspondence display device is provided with a screen display control means (22) for prohibiting the screen movement.
検出し、操作者により注視されている画面部分を画面中
央方向に移動するように、この画面を移動する視線対応
表示装置において、 前記操作者の視線が前記画面内の周辺部(C) で、且つ、
注視時間が所定の時間を越えた時に、前記画面移動を行
う画面表示制御手段(22)を、 備えることを特徴とする視線対応表示装置。9. A line-of-sight-corresponding display device that moves the screen so that the line of sight of the operator is detected by the line-of-sight detecting means (20) and the screen portion gazed by the operator is moved toward the center of the screen. The operator's line of sight is the peripheral part (C) in the screen, and
A line-of-sight correspondence display device comprising a screen display control means (22) for moving the screen when the gaze time exceeds a predetermined time.
り検出し、操作者により注視されている画面部分を画面
中央方向に移動するように、この画面を移動する視線対
応表示装置において、 注視時間が少なくとも33ミリ秒を越えた後に、前記画面
移動を行う画面表示制御手段(22)を、 備えることを特徴とする視線対応表示装置。10. A line-of-sight-corresponding display device that moves the screen so that the line of sight of the operator is detected by the line-of-sight detecting means (20) and the screen portion gazed by the operator is moved toward the center of the screen. A line-of-sight correspondence display device comprising a screen display control means (22) for moving the screen after the gaze time exceeds at least 33 milliseconds.
り検出し、この視線に対応して画面を移動する視線対応
表示装置において、 前記の視線の移動速度を検出し、この視線移動速度が所
定の速度を越えた場合に、前記画面移動を行う画面表示
制御手段(22)を、 備えることを特徴とする視線対応表示装置。11. A line-of-sight correspondence display device which detects the line of sight of an operator by a line-of-sight detection means (20) and moves the screen in response to the line-of-sight, detects the moving speed of the line of sight, and determines the moving speed of the line-of-sight. A line-of-sight correspondence display device comprising: a screen display control means (22) for moving the screen when the speed exceeds a predetermined speed.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP10172794A JPH0822385A (en) | 1994-02-22 | 1994-04-18 | Method and device for displaying line of sight correspondence |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4660394 | 1994-02-22 | ||
| JP6-46603 | 1994-02-22 | ||
| JP10172794A JPH0822385A (en) | 1994-02-22 | 1994-04-18 | Method and device for displaying line of sight correspondence |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0822385A true JPH0822385A (en) | 1996-01-23 |
Family
ID=26386698
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP10172794A Pending JPH0822385A (en) | 1994-02-22 | 1994-04-18 | Method and device for displaying line of sight correspondence |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0822385A (en) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6256009B1 (en) * | 1999-02-24 | 2001-07-03 | Microsoft Corporation | Method for automatically and intelligently scrolling handwritten input |
| US6359572B1 (en) | 1998-09-03 | 2002-03-19 | Microsoft Corporation | Dynamic keyboard |
| US6552719B2 (en) | 1999-01-07 | 2003-04-22 | Microsoft Corporation | System and method for automatically switching between writing and text input modes |
| US6819315B2 (en) | 1997-12-16 | 2004-11-16 | Microsoft Corporation | Soft input panel system and method |
| JP2006023953A (en) * | 2004-07-07 | 2006-01-26 | Fuji Photo Film Co Ltd | Information display system |
| JP2006059147A (en) * | 2004-08-20 | 2006-03-02 | Kiyomi Nakamura | Computer input method and device |
| JP2009514090A (en) * | 2005-10-28 | 2009-04-02 | トビイ テクノロジー アーベー | Eye tracker with visual feedback |
| JP2013232072A (en) * | 2012-04-27 | 2013-11-14 | Dainippon Printing Co Ltd | Display configuration change system and electronic book terminal |
| JP2014081835A (en) * | 2012-09-28 | 2014-05-08 | Dainippon Printing Co Ltd | Display device, display control method and display control program |
| JP2014516595A (en) * | 2011-03-16 | 2014-07-17 | コントローラッド システムズ、インコーポレイテッド | Radiation control and minimization system and method |
| JP2014235437A (en) * | 2013-05-30 | 2014-12-15 | 株式会社ニコン | Display device and program |
| JP2015032180A (en) * | 2013-08-05 | 2015-02-16 | 富士通株式会社 | Information processor, determination method and program |
| JP2015032181A (en) * | 2013-08-05 | 2015-02-16 | 富士通株式会社 | Information processor, determination method and program |
| EP2849031A1 (en) | 2013-09-13 | 2015-03-18 | Fujitsu Limited | Information processing apparatus and information processing method |
| EP2849029A1 (en) | 2013-09-11 | 2015-03-18 | Fujitsu Limited | Information processing apparatus and information processing method using gaze tracking |
| EP2849030A2 (en) | 2013-09-13 | 2015-03-18 | Fujitsu Limited | Information processing apparatus and information processing method |
| JP2015106327A (en) * | 2013-12-02 | 2015-06-08 | 富士通株式会社 | Display device, program, and display method |
| JP2015127897A (en) * | 2013-12-27 | 2015-07-09 | ソニー株式会社 | Display control device, display control system, display control method, and program |
| WO2016136837A1 (en) * | 2015-02-25 | 2016-09-01 | 京セラ株式会社 | Wearable device, control method and control program |
| CN105988219A (en) * | 2015-03-17 | 2016-10-05 | 精工爱普生株式会社 | Head-mounted display device, and control method for head-mounted display device |
| JP2017027607A (en) * | 2016-08-30 | 2017-02-02 | 大日本印刷株式会社 | Display format change system and electronic book terminal |
| WO2017119213A1 (en) * | 2016-01-05 | 2017-07-13 | 株式会社Ｑｄレーザ | Image projection device |
| JP2018529162A (en) * | 2015-09-04 | 2018-10-04 | 株式会社ソニー・インタラクティブエンタテインメント | Apparatus and method for dynamic graphics rendering based on saccade detection |
| JP2019174734A (en) * | 2018-03-29 | 2019-10-10 | プリントネットワーク株式会社 | Display control unit, display control system, method, and program |
| CN111083299A (en) * | 2018-10-18 | 2020-04-28 | 富士施乐株式会社 | Information processing apparatus and storage medium |
| JP2022515304A (en) * | 2018-12-19 | 2022-02-18 | ライカ バイオシステムズ イメージング インコーポレイテッド | Eye tracking image viewer for digital pathology |
-
1994
- 1994-04-18 JP JP10172794A patent/JPH0822385A/en active Pending
Cited By (39)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6819315B2 (en) | 1997-12-16 | 2004-11-16 | Microsoft Corporation | Soft input panel system and method |
| US7411582B2 (en) | 1997-12-16 | 2008-08-12 | Microsoft Corporation | Soft input panel system and method |
| US6359572B1 (en) | 1998-09-03 | 2002-03-19 | Microsoft Corporation | Dynamic keyboard |
| US6552719B2 (en) | 1999-01-07 | 2003-04-22 | Microsoft Corporation | System and method for automatically switching between writing and text input modes |
| US6256009B1 (en) * | 1999-02-24 | 2001-07-03 | Microsoft Corporation | Method for automatically and intelligently scrolling handwritten input |
| JP2006023953A (en) * | 2004-07-07 | 2006-01-26 | Fuji Photo Film Co Ltd | Information display system |
| JP2006059147A (en) * | 2004-08-20 | 2006-03-02 | Kiyomi Nakamura | Computer input method and device |
| JP2009514090A (en) * | 2005-10-28 | 2009-04-02 | トビイ テクノロジー アーベー | Eye tracker with visual feedback |
| JP2014516595A (en) * | 2011-03-16 | 2014-07-17 | コントローラッド システムズ、インコーポレイテッド | Radiation control and minimization system and method |
| JP2013232072A (en) * | 2012-04-27 | 2013-11-14 | Dainippon Printing Co Ltd | Display configuration change system and electronic book terminal |
| JP2014081835A (en) * | 2012-09-28 | 2014-05-08 | Dainippon Printing Co Ltd | Display device, display control method and display control program |
| JP2014235437A (en) * | 2013-05-30 | 2014-12-15 | 株式会社ニコン | Display device and program |
| JP2015032180A (en) * | 2013-08-05 | 2015-02-16 | 富士通株式会社 | Information processor, determination method and program |
| JP2015032181A (en) * | 2013-08-05 | 2015-02-16 | 富士通株式会社 | Information processor, determination method and program |
| EP2849029A1 (en) | 2013-09-11 | 2015-03-18 | Fujitsu Limited | Information processing apparatus and information processing method using gaze tracking |
| US9377853B2 (en) | 2013-09-11 | 2016-06-28 | Fujitsu Limited | Information processing apparatus and information processing method |
| US9354701B2 (en) | 2013-09-13 | 2016-05-31 | Fujitsu Limited | Information processing apparatus and information processing method |
| EP2849031A1 (en) | 2013-09-13 | 2015-03-18 | Fujitsu Limited | Information processing apparatus and information processing method |
| EP2849030A2 (en) | 2013-09-13 | 2015-03-18 | Fujitsu Limited | Information processing apparatus and information processing method |
| JP2015056173A (en) * | 2013-09-13 | 2015-03-23 | 富士通株式会社 | Information processor, method and program |
| US9285875B2 (en) | 2013-09-13 | 2016-03-15 | Fujitsu Limited | Information processing apparatus and information processing method |
| JP2015106327A (en) * | 2013-12-02 | 2015-06-08 | 富士通株式会社 | Display device, program, and display method |
| JP2015127897A (en) * | 2013-12-27 | 2015-07-09 | ソニー株式会社 | Display control device, display control system, display control method, and program |
| JPWO2016136837A1 (en) * | 2015-02-25 | 2017-08-24 | 京セラ株式会社 | Wearable device, control method, and control program |
| WO2016136837A1 (en) * | 2015-02-25 | 2016-09-01 | 京セラ株式会社 | Wearable device, control method and control program |
| US10540009B2 (en) | 2015-02-25 | 2020-01-21 | Kyocera Corporation | Wearable device, control method, and control program |
| CN105988219B (en) * | 2015-03-17 | 2020-11-10 | 精工爱普生株式会社 | Head-mounted display device and method for controlling head-mounted display device |
| CN105988219A (en) * | 2015-03-17 | 2016-10-05 | 精工爱普生株式会社 | Head-mounted display device, and control method for head-mounted display device |
| JP2018529162A (en) * | 2015-09-04 | 2018-10-04 | 株式会社ソニー・インタラクティブエンタテインメント | Apparatus and method for dynamic graphics rendering based on saccade detection |
| US10585475B2 (en) | 2015-09-04 | 2020-03-10 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
| US11099645B2 (en) | 2015-09-04 | 2021-08-24 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
| US11416073B2 (en) | 2015-09-04 | 2022-08-16 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
| US11703947B2 (en) | 2015-09-04 | 2023-07-18 | Sony Interactive Entertainment Inc. | Apparatus and method for dynamic graphics rendering based on saccade detection |
| WO2017119213A1 (en) * | 2016-01-05 | 2017-07-13 | 株式会社Ｑｄレーザ | Image projection device |
| US10761329B2 (en) | 2016-01-05 | 2020-09-01 | Qd Laser, Inc. | Image projection device |
| JP2017027607A (en) * | 2016-08-30 | 2017-02-02 | 大日本印刷株式会社 | Display format change system and electronic book terminal |
| JP2019174734A (en) * | 2018-03-29 | 2019-10-10 | プリントネットワーク株式会社 | Display control unit, display control system, method, and program |
| CN111083299A (en) * | 2018-10-18 | 2020-04-28 | 富士施乐株式会社 | Information processing apparatus and storage medium |
| JP2022515304A (en) * | 2018-12-19 | 2022-02-18 | ライカ バイオシステムズ イメージング インコーポレイテッド | Eye tracking image viewer for digital pathology |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0822385A (en) | Method and device for displaying line of sight correspondence | |
| US5455601A (en) | Method of and apparatus for displaying image | |
| US6931587B1 (en) | Teleprompter device | |
| US9946338B2 (en) | Information processing to vary screen display based on a gaze point of the user | |
| US8656306B2 (en) | Apparatus and method for displaying image | |
| US20040046711A1 (en) | User-controlled linkage of information within an augmented reality system | |
| US10712817B1 (en) | Image re-projection for foveated rendering | |
| JP2008003816A (en) | Operation guide apparatus and operation guide method | |
| KR20150048623A (en) | Screen Operation Apparatus and Screen Operation Method Cross-Reference to Related Application | |
| CN110262741B (en) | Medical equipment and resolution adjusting method and device of digital image of medical equipment | |
| Aguilar et al. | Evaluation of a gaze-controlled vision enhancement system for reading in visually impaired people | |
| JP2023520345A (en) | Devices, methods, and graphical user interfaces for gaze-based navigation | |
| US11301667B2 (en) | Smart user equipment connected to head mounted display and method of controlling the same | |
| EP1472594A2 (en) | A system and method for providing a graphical user interface display with a conspicuous image element | |
| JP2011243108A (en) | Electronic book device and electronic book operation method | |
| JPWO2020100422A1 (en) | Display device, display control method, and program | |
| US10747308B2 (en) | Line-of-sight operation apparatus, method, and medical device | |
| US20210089121A1 (en) | Using spatial information for dynamic dominant eye shifts | |
| EP1811493B1 (en) | Video display | |
| JP2016115329A (en) | Head-mounted display system, method of displaying on head-mounted display, and program | |
| JPH09204287A (en) | Method and device for selecting processing | |
| WO2020195709A1 (en) | Information processing device, information processing method, and program | |
| JPH09160746A (en) | Image display device and method | |
| JPH09128138A (en) | Image display device and method | |
| JP3263115B2 (en) | Image display device |