JPH1185452A - Scroll controller - Google Patents

Scroll controller

Info

Publication number
JPH1185452A
JPH1185452A JP25425497A JP25425497A JPH1185452A JP H1185452 A JPH1185452 A JP H1185452A JP 25425497 A JP25425497 A JP 25425497A JP 25425497 A JP25425497 A JP 25425497A JP H1185452 A JPH1185452 A JP H1185452A
Authority
JP
Japan
Prior art keywords
sight
line
scroll
speed
display image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP25425497A
Other languages
Japanese (ja)
Inventor
Masahiro Ishiba
正大 石場
Hitoshi Hongo
仁志 本郷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP25425497A priority Critical patent/JPH1185452A/en
Publication of JPH1185452A publication Critical patent/JPH1185452A/en
Withdrawn legal-status Critical Current

Links

Landscapes

  • Digital Computer Display Output (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

PROBLEM TO BE SOLVED: To make a user recognizable a necessary information even when the scrolling speed exceeds the recognizing capability of the user, by performing a scrolling operation in response to the reading capability, etc., of the user in order to secure a proper scrolling operation for the user. SOLUTION: The line of sight of a user is detected (S20), and it is judged whether or not this line of sight is included in an image displayed at a display part after the direction of the line of sight is detected (S21). If the line of sight is included in the image, the movement of the line of sight is detected (S22), and it is judged whether or not a scrolling operation has been carried out (S23). If the scrolling operation has been carried out, the displayed image is scrolled (S24) and the scrolling speed is controlled based on the calculated moving speed of the line of sight. If an operation is performed to scroll upward the displayed image, for example, the scrolling speed is controlled based on the up-down movement of the line of sight. When the scrolling operation is stopped, the image scroll is also stopped (S25). Thus, the displayed image is scrolled at a speed where the user can read the image in the easiest way.

Description

【発明の詳細な説明】DETAILED DESCRIPTION OF THE INVENTION

【0001】[0001]

【発明の属する技術分野】本発明は、画像のスクロール
制御装置に関するものであり、特に、ワードプロセッ
サ、ワークステーション、パソコン等の情報処理機器に
おける表示画像の移動制御に関するものである。
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image scroll control device, and more particularly to a display image movement control in an information processing device such as a word processor, a workstation, and a personal computer.

【0002】[0002]

【従来の技術】従来、パソコン、ワープロ等の文書処理
装置を使用して、文書を読む場合等に表示画像(画面)
をスクロールする必要があるが、表示画像をスクロール
する場合には、スクロールバーやカーソルキーによる場
合がある。ここで、スクロールバーによる場合として
は、スクロールバーの両端にあるスクロールボタンをマ
ウスポインタ(マウスカーソル)を合わせてマウスを操
作する場合や、スクロールボックスをドラッグする場合
がある。また、スクロールバーにおけるスクロールボッ
クスと上記スクロールボタンの間をマウス操作するとス
クロールボックスが約1画面分移動するものもある。ま
た、カーソルキーで操作する場合としては、カーソルキ
ーを表示画像の端に移動させることにより表示画像をス
クロールさせるものがある。
2. Description of the Related Art Conventionally, when a document is read using a document processing device such as a personal computer or a word processor, a display image (screen) is displayed.
Need to be scrolled, but when the displayed image is scrolled, a scroll bar or a cursor key may be used. Here, as a case of using a scroll bar, there are a case where a mouse is operated by pointing a mouse pointer (mouse cursor) to scroll buttons at both ends of the scroll bar, and a case where a scroll box is dragged. In some cases, when the mouse is operated between the scroll box in the scroll bar and the scroll button, the scroll box moves by about one screen. As an operation using the cursor key, there is a method in which the display image is scrolled by moving the cursor key to an end of the display image.

【0003】[0003]

【発明が解決しようとする課題】しかし、上記スクロー
ルボタンによりスクロールを行う場合やカーソルキーで
スクロールを行う場合には、スクロールが予め設定され
た速度で行われるため、ユーザによっては、速すぎたり
遅すぎたりする場合がある。また、ある一人のユーザに
とっても文章をじっくり読みたい場合や速読したい場合
とで、スクロール速度が変化された方がよい場合があ
る。
However, when scrolling with the scroll buttons or scrolling with the cursor keys, the scrolling is performed at a preset speed, so that depending on the user, it may be too fast or too slow. It may be too much. Further, there are cases where it is better for a certain user to change the scroll speed depending on whether the user wants to read the sentence carefully or quickly.

【0004】また、スクロールボックスをドラッグする
場合やスクロールバーにおけるスクロールボックスと上
記スクロールボタンの間をマウス操作する場合には、ス
クロールボックスが移動した位置に対応する表示画像に
いきなり画面が切り替わるため継続してある文章を読む
ことができない。
Further, when the scroll box is dragged or when the mouse is operated between the scroll box and the scroll button in the scroll bar, the screen is immediately switched to the display image corresponding to the position where the scroll box has been moved, so that the operation is continued. I can't read certain sentences.

【0005】また、スクロール中にユーザが興味のある
箇所を発見した場合にも、スクロール速度が速いとユー
ザが必要な情報を認識できないおそれがある。つまり、
スクロールの速度がユーザの認識能力を越えて速いと、
単語だけでも認識したくても認識できない。また、ユー
ザが興味のある箇所を発見した場合に、スクロールを停
止する方法があるがその場合にはわざわざスクロールを
停止させなければならない。さらに、スクロールを停止
させる場合には、その興味を持った箇所が通り過ぎてし
まい逆方向にスクロールする必要が生じたりする。
[0005] In addition, even when the user finds a part of interest during scrolling, if the scrolling speed is high, the user may not be able to recognize necessary information. That is,
If the scrolling speed is faster than the user can recognize,
Even if you want to recognize only words, you cannot. Also, there is a method of stopping scrolling when the user finds a place of interest. In such a case, scrolling must be stopped. Further, when stopping the scrolling, the point of interest may pass, and it may be necessary to scroll in the opposite direction.

【0006】そこで、本発明は、ユーザの読取り能力等
に応じてスクロールを行うことによりユーザにとって適
切なスクロールを行うことができるスクロール制御装置
を提供するとともに、スクロール速度がユーザの認識能
力を越えて速い場合でも必要な情報を認識することがで
きるスクロール制御装置を提供することを目的とするも
のである。
Accordingly, the present invention provides a scroll control device capable of performing scrolling appropriate for a user by performing scrolling in accordance with the reading ability of the user and the like, and having a scroll speed exceeding the recognition ability of the user. It is an object of the present invention to provide a scroll control device capable of recognizing necessary information even at a high speed.

【0007】[0007]

【課題を解決するための手段】本発明は上記問題点を解
決するために創作されたものであって、第1には、表示
画像のスクロールを制御するスクロール制御装置であっ
て、視線の速度を検出して、その検出された速度に応じ
てスクロールの速度を制御することを特徴とする。よっ
て、検出された視線の速度に応じてスクロールの速度が
制御されるので、ユーザの視線の動きに合わせたスクロ
ールができ、ユーザにとっては文書情報が読みやすくな
る。
SUMMARY OF THE INVENTION The present invention has been made to solve the above-mentioned problems, and a first aspect of the present invention is a scroll control device for controlling scrolling of a display image, comprising: Is detected, and the scroll speed is controlled according to the detected speed. Therefore, the scroll speed is controlled according to the detected line-of-sight speed, so that scrolling can be performed in accordance with the user's line-of-sight movement, and the user can easily read the document information.

【0008】また、第2には、表示画像のスクロールを
制御するスクロール制御装置であって、表示画像内の視
線を検出する視線検出手段と、検出された視線の速度を
算出する視線速度算出手段と、算出された視線の速度に
応じてスクロール速度を制御するスクロール速度制御手
段と、を有することを特徴とする。この第2の構成のス
クロール制御装置においては、まず、視線検出手段が視
線を検出し、視線速度算出手段が検出された視線の速度
を算出する。そして、スクロール速度制御手段が、算出
された視線の速度に応じてスクロール速度を制御するの
である。よって、検出された視線の速度に応じてスクロ
ールの速度が制御されるので、ユーザの視線の動きに合
わせたスクロールができ、ユーザにとっては文書情報が
読みやすくなる。
A second aspect of the present invention is a scroll control device for controlling scrolling of a display image, wherein a line-of-sight detecting means for detecting a line of sight in the display image, and a line-of-sight speed calculating means for calculating a speed of the detected line of sight. And scroll speed control means for controlling the scroll speed in accordance with the calculated line-of-sight speed. In the scroll control device having the second configuration, first, the line-of-sight detection unit detects the line of sight, and the line-of-sight speed calculation unit calculates the detected line-of-sight speed. Then, the scroll speed control means controls the scroll speed according to the calculated gaze speed. Therefore, the scroll speed is controlled according to the detected line-of-sight speed, so that scrolling can be performed in accordance with the user's line-of-sight movement, and the user can easily read the document information.

【0009】また、第3には、上記第1又は第2の構成
において、視線位置が表示画像の端部に到達した場合
に、スクロール処理を開始することを特徴とする。よっ
て、表示画像の端部に到達したことによりスクロール処
理が開始されるので、自動的にスクロールが行われ、一
々スクロール操作を行う必要がない。また、第4には、
上記第3の構成において、視線位置が到達した表示画像
の端部の方向によりスクロール方向を決定することを特
徴とする。また、第5には、上記第1から第4までのい
ずれかの構成において、ユーザによりスクロール操作が
あった場合に、スクロール処理を開始することを特徴と
する。
Thirdly, in the first or second configuration, when the line of sight reaches an end of the display image, scroll processing is started. Therefore, since the scroll processing is started when the end of the display image is reached, the scroll is automatically performed, and it is not necessary to perform the scroll operation one by one. Fourth,
The third configuration is characterized in that the scroll direction is determined based on the direction of the end of the display image at which the line-of-sight position has arrived. Fifth, in any of the first to fourth configurations, the scroll process is started when a scroll operation is performed by the user.

【0010】また、第6には、上記第1から第5までの
いずれかの構成において、視線の速度の検出に際して、
スクロールされる方向に応じて所定の方向の速度成分が
検出され、該検出された速度成分に従いスクロール速度
が制御されることを特徴とする。よって、視線の速度を
各スクロール方向の成分に分けることによりスクロール
速度が決定されるので、視線の動きにより忠実にスクロ
ールを行うことができる。また、第7には、上記第6の
構成において、スクロール速度は、検出された速度成分
と略同一であることを特徴する。よって、視線の動きに
より忠実にスクロールを行うことができる。
Sixth, in any one of the first to fifth configurations, when detecting the speed of the line of sight,
A speed component in a predetermined direction is detected according to a scrolling direction, and a scroll speed is controlled according to the detected speed component. Therefore, the scroll speed is determined by dividing the line-of-sight speed into components in each scroll direction, so that the scroll can be performed more faithfully according to the line-of-sight movement. Seventh, in the sixth configuration, the scroll speed is substantially the same as the detected speed component. Therefore, scrolling can be performed more faithfully according to the movement of the line of sight.

【0011】また、第8には、表示画像のスクロールを
制御するスクロール制御装置であって、スクロール中に
表示画像内に注視点が検出された場合に、表示画像にお
ける所定の領域を所定時間停止して表示することを特徴
とする。よって、スクロール中に注視点が検出された場
合に、その注視点を含む所定の領域を所定時間固定して
表示するので、ユーザが興味を持った箇所を固定して表
示でき、その内容をユーザに認識させることができる。
Eighthly, the present invention relates to a scroll control device for controlling scrolling of a display image, wherein when a gazing point is detected in the display image during scrolling, a predetermined area in the display image is stopped for a predetermined time. Is displayed. Therefore, when a point of interest is detected during scrolling, a predetermined area including the point of interest is fixedly displayed for a predetermined period of time. Can be recognized.

【0012】また、第9には、表示画像のスクロールを
制御するスクロール制御装置であって、スクロール中に
注視点を検出する注視点検出手段と、注視点が検出され
た場合に、表示画像における所定の領域を所定時間停止
して表示することを停止表示手段と、を有することを特
徴とする。この第9の構成のスクロール制御装置におい
ては、上記注視点検出手段が、スクロール中に注視点を
検出する。そして、注視点が検出された場合には、上記
停止表示手段が、表示画像における所定の領域を所定時
間停止して表示する。よって、ユーザが興味を持った箇
所を固定して表示でき、その内容をユーザに認識させる
ことができる。
A ninth aspect is a scroll control device for controlling scrolling of a display image, comprising a gazing point detecting means for detecting a gazing point during scrolling, and a gazing point detecting means for detecting a gazing point when the gazing point is detected. Stop display means for stopping and displaying a predetermined area for a predetermined time. In the scroll control device having the ninth configuration, the gazing point detecting means detects the gazing point during scrolling. Then, when a gazing point is detected, the stop display means stops and displays a predetermined area in the display image for a predetermined time. Therefore, it is possible to fix and display a place where the user is interested, and to make the user recognize the content.

【0013】また、第10には、上記第8又は第9の構
成において、注視点が所定時間滞留した視線位置である
ことを特徴とする。また、第11には、上記第8から第
10までのいずれかの構成において、上記所定の領域
が、注視点を含む所定の領域であることを特徴とする。
A tenth feature is that, in the eighth or ninth configuration, the gazing point is a gaze position where the gazing point stays for a predetermined time. Eleventhly, in any one of the eighth to tenth configurations, the predetermined area is a predetermined area including a gazing point.

【0014】[0014]

【発明の実施の形態】本発明の実施の形態としての実施
例を図面を利用して説明する。本発明の第1実施例に基
づくスクロール制御装置A1は、図1に示されるように
構成され、表示部10と、文書メモリ12と、移動量検
出部14と、時間測定処理部16と、スクロール処理部
18と、視線検知処理部20と、文書編集処理部22と
を有している。
DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described with reference to the drawings. A scroll control device A1 according to the first embodiment of the present invention is configured as shown in FIG. 1, and includes a display unit 10, a document memory 12, a movement amount detection unit 14, a time measurement processing unit 16, a scroll It has a processing unit 18, a line-of-sight detection processing unit 20, and a document editing processing unit 22.

【0015】ここで、上記表示部10は、所定の文書を
表示するためのもので、CRTやLCD等のモニタによ
り構成される。また、文書メモリ12は、表示部10に
表示する文書情報を格納するものである。また、上記移
動量検出部14は、表示画像上を視線が移動する量を検
出するものであり、移動量の検出を行うためのプログラ
ムを格納したメモリと該プログラムに従い所定の処理を
行うCPU等から構成される。
Here, the display section 10 is for displaying a predetermined document, and is constituted by a monitor such as a CRT or an LCD. The document memory 12 stores document information to be displayed on the display unit 10. The movement amount detection unit 14 detects the amount of movement of the line of sight on the display image, and stores a program for detecting the movement amount, a CPU for performing predetermined processing according to the program, and the like. Consists of

【0016】また、上記時間測定処理部16は、表示画
像上を視線が移動する時間を測定するものであり、移動
時間の測定を行うためのプログラムを格納したメモリと
該プログラムに従い所定の処理を行うCPU等から構成
される。また、上記スクロール処理部は、表示画像をス
クロールさせるものであり、上記文書編集処理部22か
らのスクロール制御情報に従い表示画像をスクロールす
る機能を有する。
The time measurement processing section 16 measures the time required for the line of sight to move on the display image. The memory stores a program for measuring the movement time and performs predetermined processing in accordance with the program. It is composed of a CPU and the like. The scroll processing unit scrolls the display image, and has a function of scrolling the display image according to the scroll control information from the document editing processing unit 22.

【0017】また、上記視線検出手段としての上記視線
検知処理部20は、図2に示すように、ユーザを撮影す
るカメラ20aと該カメラにより撮影された画像に基づ
き視線検出を行う視線検出部20b等を有するものであ
る。ここで、上記カメラ20aは、図3に示すように、
表示部10を見るユーザ甲の顔を撮影するように設置さ
れるものである。このカメラ20aは、CCDカメラ等
により構成される。
As shown in FIG. 2, the line-of-sight detection processing unit 20 as a line-of-sight detection unit includes a camera 20a for photographing a user and a line-of-sight detection unit 20b for detecting a line of sight based on an image photographed by the camera. Etc. Here, the camera 20a, as shown in FIG.
It is installed so as to photograph the face of the user A who looks at the display unit 10. This camera 20a is constituted by a CCD camera or the like.

【0018】また、上記視線検出部20bは、上記カメ
ラ20aにより得られた画像データに人間の顔があり、
表示部10の方を向いている場合に、その人の視線を検
出するものである。具体的には、撮影して得られた画像
データに対してエッジ抽出を行い、人間の顔が写ってい
る場合に、その目における黒目の方向を検出することに
より行う。詳しくは後述する。この視線検出部20b
は、実際には、視線検出を行うためのプログラムを格納
したメモリと該プログラムに従い所定の処理を行うCP
U等から構成される。
The eye-gaze detecting unit 20b includes a human face in the image data obtained by the camera 20a,
When the user faces the display unit 10, the line of sight of the person is detected. Specifically, edge extraction is performed on image data obtained by shooting, and when a human face is captured, the direction of the iris in the eyes is detected. Details will be described later. This line-of-sight detection unit 20b
Is actually a memory that stores a program for performing line-of-sight detection and a CP that performs predetermined processing in accordance with the program.
U and the like.

【0019】また、上記文書編集処理部22は、スクロ
ール制御装置A1における各部の動作を制御して文書編
集についての各種処理を行うもので、例えば、上記移動
量検出部14により検出された視線の移動量及び上記時
間測定処理部16により測定された視線の移動時間から
表示画像上の視線の移動速度を算出する処理を行った
り、また、その算出された視線の移動速度に応じてスク
ロール速度を制御する。つまり、視線の移動速度に応じ
たスクロール速度についてのスクロール制御情報を出力
する。つまり、文書編集処理部22には、視線の速度に
応じたスクロール速度についての情報が格納されてい
る。なお、このスクロール速度についての情報は、スク
ロールの方向に応じて設けておいてもよい。つまり、表
示画像における上から下への方向、下から上への方向、
左から右への方向、右から左への方向の4つの方向につ
いて視線の速度とスクロール速度の関係を規定しておく
のである。
The document edit processing section 22 controls the operation of each section in the scroll control device A1 to perform various processes for document editing. For example, the document edit processing section 22 detects the line of sight detected by the movement amount detection section 14. A process of calculating the moving speed of the line of sight on the display image from the moving amount and the moving time of the line of sight measured by the time measurement processing unit 16 is performed, and the scroll speed is set in accordance with the calculated moving speed of the line of sight. Control. That is, scroll control information about a scroll speed according to the moving speed of the line of sight is output. That is, the document editing processing unit 22 stores information about the scroll speed corresponding to the line of sight speed. The information on the scroll speed may be provided according to the scroll direction. In other words, the direction from top to bottom in the display image, the direction from bottom to top,
The relationship between the line-of-sight speed and the scroll speed is defined for four directions, that is, a left-to-right direction and a right-to-left direction.

【0020】さらに、上記視線検出処理部20により検
出された視線が表示画像内に存在するか否かを判定する
処理を行ったり、その判定により、視線は表示画像内に
ないと判定された場合に表示画像のスクロールを停止さ
せる処理を行うものである。つまり、上記文書編集処理
部22はメインの制御部として機能し、具体的には図5
に示すフローチャートに従った処理を行うためのプログ
ラムを格納するメモリやCPU等により構成される。こ
の文書編集処理部22は、上記視線速度算出手段、スク
ロール速度制御手段として機能する。なお、本実施例で
は、上記のように視線検出手段をカメラ20aと視線検
出部20bとを有する視線検出処理部20により構成す
るものとして説明したが、これには限られず、人物の視
線を検出できるものであれば他の構成としてもよい。ま
た、上記各部を構成するCPUやメモリは実際には単一
のもので構成してもよい。
Further, a process for determining whether or not the line of sight detected by the line of sight detection processing unit 20 exists in the display image is performed. The processing for stopping the scroll of the displayed image is performed. In other words, the document edit processing unit 22 functions as a main control unit.
And a memory for storing a program for performing processing according to the flowchart shown in FIG. The document editing unit 22 functions as the line-of-sight speed calculation unit and the scroll speed control unit. In the present embodiment, the line-of-sight detection means is described as being configured by the line-of-sight detection processing unit 20 having the camera 20a and the line-of-sight detection unit 20b as described above, but is not limited thereto. Other configurations may be used if possible. Further, the CPU and the memory constituting each of the above-described units may be actually constituted by a single unit.

【0021】上記構成の画像のスクロール制御装置A1
の動作について、図5から図9を利用して説明する。図
3に示すように、ユーザは上記構成のスクロール制御装
置A1が搭載されたコンピュータ端末Pを使用している
ものとする。
An image scrolling control device A1 having the above configuration.
Will be described with reference to FIGS. 5 to 9. As shown in FIG. 3, it is assumed that the user is using a computer terminal P on which the scroll control device A1 having the above configuration is mounted.

【0022】まず最初に視線検出に基づく自動スクロー
ルについて説明する。文書メモリ12に読むべき文書の
文書情報が格納されているものとする。この文書の内容
は具体的には図7に示すような内容であるとする。次
に、ユーザはこの文書を画面上で読むわけであるが、そ
の際、ユーザの視線を検出する(S10)。
First, automatic scrolling based on line-of-sight detection will be described. It is assumed that document information of a document to be read is stored in the document memory 12. It is assumed that the content of this document is specifically as shown in FIG. Next, the user reads this document on the screen. At this time, the user's line of sight is detected (S10).

【0023】すなわち、上記カメラ20aが所定のユー
ザの顔を撮影する。すると、このカメラ20aにより撮
影された画像は視線検出部20bに送られる。視線検出
部20bでは、撮影された画像にエッジ抽出処理が行わ
れる。そして、エッジ抽出処理後に、まず、人の顔があ
るかどうかが検出される。つまり、エッジ抽出処理が行
われた画像と人物標準パターン画像とを比較して、人の
顔があるかどうかを推定する。なお、人の顔の判定にお
いては、肌色情報をも考慮して行うようにしてもよい。
フレーム間の差分画像から移動した物体を検知し、その
物体と人物標準パターン画像とを比較して人の顔を判定
するようにしてもよい。
That is, the camera 20a captures a predetermined user's face. Then, the image captured by the camera 20a is sent to the visual line detection unit 20b. The line-of-sight detection unit 20b performs an edge extraction process on the captured image. Then, after the edge extraction processing, first, it is detected whether or not there is a human face. In other words, the image subjected to the edge extraction processing is compared with the person standard pattern image to estimate whether or not there is a human face. The determination of a human face may be performed in consideration of skin color information.
The moving object may be detected from the difference image between the frames, and the human face may be determined by comparing the moving object with the person standard pattern image.

【0024】人の顔があることが検出されたら、視線を
検出する。ここでは、視線方向を検出する。すなわち、
エッジ抽出することにより得られたエッジ情報から、検
出された人の顔における目の垂直方向の位置と水平方向
の位置とを推定して目の部分の画像を切り出し、この切
り出した領域の濃淡画像を生成する。その後、目におけ
る黒目の位置に関する濃度分布情報を水平方向と垂直方
向とについて算出し、予め設けられている水平方向と垂
直方向の濃度分布情報と比較して、類似度を算出して視
線方向を算出するのである。
When it is detected that there is a human face, the line of sight is detected. Here, the gaze direction is detected. That is,
From the edge information obtained by extracting the edges, the vertical position and the horizontal position of the eyes in the detected human face are estimated to cut out an image of the eye portion, and a grayscale image of the cut out region Generate Thereafter, the density distribution information regarding the position of the iris in the eyes is calculated for the horizontal direction and the vertical direction, and compared with the density distribution information for the horizontal direction and the vertical direction provided in advance, the similarity is calculated, and the gaze direction is calculated. It is calculated.

【0025】そして、検出された方向の視線の空間位置
を検出する。つまり、撮影された画像におけるその人の
目の空間座標位置と、検出された視線方向とにより、そ
の視線の空間位置を検出する。なお、上記目の空間座標
位置の検出は次のように行う。つまり、図3に示すX方
向、Y方向の座標については撮影された2次元画像にお
ける座標により検出可能であり、また、Z方向の座標に
ついては、例えば、顔の大きさから推定する等の方法や
距離センサにより検出する方法がある。なお、このZ方
向の座標については、所定の光を照射し、顔や目等に反
射して帰ってくるまでの時間により算出してもよい。以
上のようにして、目の空間位置と視線方向とに基づき、
空間内における視線の位置が決定されるので、その視線
が表示部10のどの位置にあるかを検出する。
Then, the spatial position of the line of sight in the detected direction is detected. That is, the spatial position of the line of sight is detected based on the spatial coordinate position of the eye of the person in the captured image and the detected direction of the line of sight. The spatial coordinate position of the eye is detected as follows. That is, the coordinates in the X direction and the Y direction shown in FIG. 3 can be detected by the coordinates in the photographed two-dimensional image, and the coordinates in the Z direction can be estimated from, for example, the size of the face. And a method of detecting with a distance sensor. The coordinates in the Z direction may be calculated based on the time from when a predetermined light is emitted to when the light is reflected back on the face, eyes, and the like and returns. As described above, based on the spatial position of the eyes and the gaze direction,
Since the position of the line of sight in the space is determined, the position of the line of sight on the display unit 10 is detected.

【0026】なお、上記視線の検出においては、注視点
が検出されるかどうかを条件とするのが好ましい。つま
り、視線が一定時間停留している場合に始めて視線が検
出されたものとして処理を行う。つまり、視線が表示部
10の方を向いていたとしても、視線が一定時間停留し
ない場合には、表示画像を見ている状態とはいえないと
して、視線検出に、所定時間視線が停留していることを
条件とすることが望ましい。上記視線検出処理は上記視
線検出部20bにより行う。
In the detection of the line of sight, it is preferable that a condition is determined on whether or not a gazing point is detected. In other words, the processing is performed on the assumption that the line of sight has been detected for the first time when the line of sight has been stopped for a certain time. In other words, even if the line of sight is directed toward the display unit 10, if the line of sight does not stop for a certain period of time, it can be said that it is not possible to say that the user is looking at the display image, and the line of sight stops for a predetermined period of time for the line of sight detection. It is desirable to make it a condition. The visual line detection processing is performed by the visual line detection unit 20b.

【0027】なお、視線方向検出の方法は上記の方法に
は限られず、他の方法であってもよい。例えば、人の顔
があるかどうかの検出は上記と同様の方法で行い、視線
方向の検出については、近赤外光を照射してその反射角
度に基づき算出するようにしてもよい。また、上記の方
法とこの近赤外光による方法とを併用してもよい。ま
た、上記Z方向の座標は、近赤外光が反射して戻ってく
る到達時間により検出してもよい。視線検出の方法につ
いては、特開平8−322796号公報や特開平5−2
05030号公報に開示されている。
The method of detecting the direction of the line of sight is not limited to the above method, but may be another method. For example, the detection of the presence or absence of a human face may be performed in the same manner as described above, and the detection of the line of sight may be performed based on the reflection angle by irradiating near-infrared light. Further, the above method and this method using near-infrared light may be used in combination. The coordinates in the Z direction may be detected based on the arrival time at which the near-infrared light is reflected and returned. The method of gaze detection is described in JP-A-8-322796 and JP-A-5-252.
No. 05030.

【0028】以上のように視線が検出されたら、その視
線が表示部10における表示画像内にあるかどうかが判
定される(S11)。つまり、検出された視線が表示画
像内の領域を通過するかどうかが判定される。この判定
は、上記視線検出部20bにより行われる。表示画像内
にある場合には、ステップS12に移行し、表示画像内
にない場合には、ステップS10に戻る。
When the line of sight is detected as described above, it is determined whether or not the line of sight is within the display image on the display unit 10 (S11). That is, it is determined whether the detected line of sight passes through the area in the display image. This determination is performed by the visual line detection unit 20b. If it is within the display image, the process proceeds to step S12. If it is not within the display image, the process returns to step S10.

【0029】次に、ステップS12では、視線の動きを
検出する(S12)。つまり、視線が表示画像上をどの
ように移動するかが追尾され、かつ、その視線の移動量
と移動時間とが測定され、視線位置、すなわち、視線の
表示画像上の座標位置の移動速度が算出される。その
際、移動速度の算出においては、スクロールされる方向
に応じて所定の方向の速度成分が検出される。つまり、
表示画像における上から下への方向(画面垂直方向下向
き)、下から上への方向(画面垂直方向上向き)、左か
ら右への方向(画面水平方向右向き)、右から左への方
向(画面水平方向左向き)の4つの方向のうち算出可能
なものを算出しておく。例えば、視線が左下の方向に移
動した場合には、上から下への方向の速度成分と右から
左への速度成分が算出されることになる。つまり、図4
に示すように視線位置がX点からY点に移動した場合に
は、上から下方向への速度成分と右から左への速度成分
が算出される。
Next, in step S12, the movement of the line of sight is detected (S12). In other words, how the line of sight moves on the display image is tracked, and the amount and time of movement of the line of sight are measured, and the line-of-sight position, that is, the moving speed of the coordinate position of the line of sight on the display image is determined. Is calculated. At that time, in calculating the moving speed, a speed component in a predetermined direction is detected according to the scrolling direction. That is,
Direction of display image from top to bottom (screen vertical direction downward), bottom to top direction (screen vertical direction upward), left to right direction (screen horizontal right direction), right to left direction (screen Of the four directions (horizontal left direction), those that can be calculated are calculated in advance. For example, when the line of sight moves in the lower left direction, a velocity component in a direction from top to bottom and a velocity component from right to left are calculated. That is, FIG.
When the line of sight moves from the X point to the Y point as shown in (1), a velocity component from top to bottom and a velocity component from right to left are calculated.

【0030】そして、視線位置が表示画像の最端部に到
達したかどうかが判定される(S13)。視線位置が表
示画像の最端部に到達したと判定されたときには、表示
画像のスクロール処理を行う(S14)。つまり、表示
画像をスクロールさせるわけだが、この場合、すでに算
出されている視線の移動速度に応じて表示画像をスクロ
ールをさせる。
Then, it is determined whether or not the line of sight has reached the end of the display image (S13). When it is determined that the line of sight has reached the end of the display image, scroll processing of the display image is performed (S14). That is, the display image is scrolled. In this case, the display image is scrolled according to the already calculated moving speed of the line of sight.

【0031】、例えば、ある画面に表示された表示画像
を読んで行き、その画面の最終行まで読み終わると、表
示画像の最下端に視線が移動するので、その場合に、ス
クロール処理が行われることになる。この場合のスクロ
ール速度は、画面に表示された表示画像を左上端から右
下端まで読む間の上から下方向への視線位置の移動速度
(つまり、下方向(垂直方向下向き)への速度成分)に
従うことになる。また、読み飛ばしの場合でも、上から
順に読み飛ばしを行うと視線が最下端に来るので、その
時点でスクロール処理を行う。この場合も画面の上端か
ら下端にまで視線を移動した際の上から下方向への視線
位置の移動速度に従う。これら場合には、視線位置が表
示画像の最下端に来た場合であるので、表示画像は上方
向にスクロールさせる。なお、スクロールの速度は、視
線位置の下方向への移動速度と略同一とするのが好まし
い。つまり、上方向にスクロールを行う場合には、上か
ら下方向への視線の速度成分に従いスクロールを行う。
具体的には、図7の状態から上方向にスクロールしてい
くと、やがて図8に示す状態となり、さらに、上方向に
スクロールしていくと図9に示す状態となる。なお、こ
の場合のスクロールは、表示画像がその直前の表示画像
と全く異なる文書に切り換わるようなスクロールではな
く、あくまで算出された視線の移動速度に対応して順次
表示画像が移動していくものである。
For example, when a user reads a display image displayed on a certain screen and finishes reading up to the last line of the screen, the line of sight moves to the lowermost end of the display image. In this case, scroll processing is performed. Will be. The scrolling speed in this case is the moving speed of the line of sight from top to bottom while reading the display image displayed on the screen from the upper left end to the lower right end (that is, the speed component in the downward direction (vertically downward)). Will follow. Also, in the case of skipping, if skipping is performed in order from the top, the line of sight comes to the lowermost end, so that scroll processing is performed at that time. In this case as well, it follows the speed of movement of the line of sight from top to bottom when the line of sight is moved from the upper end to the lower end of the screen. In these cases, since the line-of-sight position is at the lowermost end of the display image, the display image is scrolled upward. It is preferable that the scroll speed is substantially the same as the downward moving speed of the line-of-sight position. That is, when scrolling upward, scrolling is performed according to the velocity component of the line of sight from top to bottom.
Specifically, when scrolling upward from the state of FIG. 7, the state shown in FIG. 8 is eventually obtained, and when scrolling further upward, the state shown in FIG. 9 is obtained. In this case, scrolling is not scrolling in which the display image is switched to a document completely different from the immediately preceding display image, but scrolling the display image sequentially in accordance with the calculated line-of-sight moving speed. It is.

【0032】なお、上記の説明では、視線位置が表示画
像の最下端に来た場合に、表示画像を上方向へスクロー
ルさせるものとして説明したが、視線位置が最上端に到
達した場合には、表示画像は下方向にスクロールされ、
視線位置が最右端に到達した場合には、表示画像は左方
向にスクロールされ、視線位置が最左端に到達した場合
には、表示画像は右方向にスクロールされることにな
る。その際のスクロール速度は、算出された各方向の視
線位置の速度に従うことになる。例えば、表示画像を下
方向にスクロールする場合には、下から上方向への視線
位置の速度に従いスクロールが行われる。
In the above description, the display image is scrolled upward when the line of sight reaches the lowermost end of the display image. However, when the line of sight reaches the uppermost end, The displayed image is scrolled down,
When the line of sight reaches the rightmost end, the display image is scrolled to the left, and when the line of sight reaches the leftmost end, the display image is scrolled to the right. The scroll speed at that time follows the calculated speed of the line-of-sight position in each direction. For example, when scrolling the display image in the downward direction, the scroll is performed according to the speed of the line of sight from upward to downward.

【0033】そして、上記の処理は文末に至るまで行わ
れる(S15)。なお、視線位置が他の最端部に移動し
た場合には、その方向にスクロールされることになる
(S12、S13)。例えば、当初視線位置が最下端に
あることが検出されて表示画像が上方向にスクロールさ
れている状態で、視線位置が最上端に移動した場合に
は、今度は表示画像は下方向にスクロールされる。その
際のスクロール速度は算出された下から上方向への視線
の速度に従うことになる。なお、表示画像の所定の範囲
以外の領域に視線位置が検出された場合には、スクロー
ルを停止するようにしてもよい。また、画面の表示領域
から視線が外れた場合には、スクロールを停止するよう
にしてもよい。
The above processing is performed until the end of the sentence (S15). When the line of sight has moved to the other end, scrolling is performed in that direction (S12, S13). For example, if the gaze position is moved to the top end in a state where the gaze position is initially detected at the bottom end and the display image is scrolled up, the display image is now scrolled down. You. The scroll speed at that time follows the calculated line-of-sight speed from below to above. Note that scrolling may be stopped when the line-of-sight position is detected in a region other than the predetermined range of the display image. Further, when the line of sight is displaced from the display area of the screen, scrolling may be stopped.

【0034】また、検出される視線の速度は更新してい
く。つまり、ある方向へのスクロールを行う場合には、
その直前に検出された視線の速度に従い制御を行う。な
お、算出される視線の速度を逐次平均化するようにして
もよい。つまり、下方向への視線の移動速度が複数回検
出された場合には、それらの移動速度を平均化する。
The speed of the detected line of sight is updated. In other words, when scrolling in a certain direction,
Control is performed according to the speed of the line of sight detected immediately before. Note that the calculated line-of-sight speed may be averaged sequentially. That is, when the moving speed of the line of sight in the downward direction is detected a plurality of times, those moving speeds are averaged.

【0035】以上のようにすることにより、視線の移動
速度に応じてスクロール速度を調整するので、ユーザも
最も読みやすい速度でスクロールを行うことができ、例
えば、ある文章をじっくり読んでいる場合には、ゆっく
りした速度でスクロールが行われ、一方、読み飛ばしを
行う場合には、速い速度でスクロールが行われることに
なる。また、自動的にスクロールを行うので、一々スク
ロール操作を行う必要がない。
In the above-described manner, the scroll speed is adjusted according to the moving speed of the line of sight, so that the user can scroll at the most easy-to-read speed. For example, when a user is reading a certain sentence carefully, Scrolls at a slow speed, while scrolling is performed at a high speed when skipping reading. Further, since scrolling is performed automatically, it is not necessary to perform scrolling operation one by one.

【0036】なお、ある文書情報が上下方向又は左右方
向にすべて表示されている場合には、当然その方向への
スクロールは必要ない。例えば、ある文書情報の左右方
向は画面にすべて表示されている場合には、左右方向に
スクロールを行う必要はない。また、文書情報が上下方
向のみならず、左右方向にも画面上に表示しきれていな
い場合には、文書を左から右に読むうちに最右端に視線
が来るので、その右方向への視線の速度に従い左方向に
スクロールを行い、その文書情報の右端まで読み終わる
と次には、視線は左端に来るので、その左方向への視線
の移動速度に応じて右方向にスクロールされる。このよ
うな左右のスクロールが繰り返された後に最下行の文書
を読み終わると、視線は最下端の左端に来る。その際
に、表示画像は右方向にスクロールされると同時に、そ
れまでに検出された下方向への視線の移動速度に従い表
示画像が上方向にスクロールされることになる。
When all document information is displayed in the vertical or horizontal direction, it is not necessary to scroll in that direction. For example, when all the horizontal directions of certain document information are displayed on the screen, there is no need to perform horizontal scrolling. Also, if the document information is not displayed on the screen not only in the vertical direction but also in the horizontal direction, the line of sight comes to the rightmost end while reading the document from left to right. Is scrolled to the left according to the speed, and when the reading of the document information is completed up to the right end, the line of sight then comes to the left end, so that it is scrolled to the right according to the moving speed of the line of sight to the left. When reading of the document at the bottom line is completed after such repeated left and right scrolling, the line of sight comes to the left end at the bottom end. At this time, the display image is scrolled rightward, and at the same time, the display image is scrolled upward according to the detected moving speed of the line of sight in the downward direction.

【0037】次に、手動スクロールの場合に図6等を使
用して説明する。文書メモリ12に読むべき文書の文書
情報が格納されているものとする。この文書の内容は具
体的には図7に示すような内容であるとする。
Next, the manual scrolling will be described with reference to FIG. It is assumed that document information of a document to be read is stored in the document memory 12. It is assumed that the content of this document is specifically as shown in FIG.

【0038】次に、ユーザはこの文書を表示画像上で読
むわけであるが、図6におけるステップS20〜S22
までの処理は上記図5におけるステップS10〜S12
までの処理と同様である。つまり、まず、ユーザの視線
を検出し(S20)、視線方向が検出されたら、その視
線が表示部10における表示画像内にあるかどうかが判
定される(S21)。表示画像内にある場合には、ステ
ップS22に移行し、表示画像内にない場合には、ステ
ップS20に戻る。そして、ステップS22では、視線
の動きを検出する(S22)。つまり、視線が表示画像
上をどのように移動するかが追尾され、かつ、その視線
の移動量と移動時間とが測定され、表示画像上の視線の
移動速度が算出される。その際、移動速度の算出におい
ては、スクロールされる方向に応じて所定の方向の速度
成分が検出される。つまり、表示画像における上から下
への方向、下から上への方向、左から右への方向、右か
ら左への方向の4つの方向のうち算出可能なものを算出
しておく。その後、スクロール操作があったかどうかが
判定される(S23)。つまり、スクロールボタンやカ
ーソルキーによる操作があったかどうかが判定される。
Next, the user reads this document on the display image. Steps S20 to S22 in FIG.
Steps S10 to S12 in FIG.
The processing is the same as that described above. That is, first, the line of sight of the user is detected (S20). When the direction of the line of sight is detected, it is determined whether or not the line of sight is in the display image on the display unit 10 (S21). If it is within the display image, the process proceeds to step S22. If it is not within the display image, the process returns to step S20. Then, in step S22, the movement of the line of sight is detected (S22). That is, how the line of sight moves on the display image is tracked, the amount of movement of the line of sight and the movement time are measured, and the moving speed of the line of sight on the display image is calculated. At that time, in calculating the moving speed, a speed component in a predetermined direction is detected according to the scrolling direction. That is, one of four directions, that is, a direction from top to bottom, a direction from bottom to top, a direction from left to right, and a direction from right to left in the display image, is calculated. Thereafter, it is determined whether a scroll operation has been performed (S23). That is, it is determined whether or not an operation has been performed using the scroll buttons or the cursor keys.

【0039】そして、スクロール操作があった場合に
は、表示画像のスクロール処理を行うが(S24)、算
出された視線の速度に従いそのスクロールの速度を制御
する。例えば、表示画像を上方向にスクロールさせる操
作が行われた場合には、上から下方向への視線の速度に
従いスクロール速度を制御する。よって、ある表示画像
で文書情報を左上端から右下端まで読み終わり、スクロ
ールボタン32をマウスカーソル30で連続クリックし
た場合のように上方向にスクロールする操作を行った場
合には、その左上端から右下端まで文書情報を読んだ際
の上から下方向への視線の移動速度に従いスクロール速
度が決定されることになる。
If a scroll operation has been performed, scroll processing of the displayed image is performed (S24), and the scroll speed is controlled according to the calculated line-of-sight speed. For example, when an operation of scrolling the display image upward is performed, the scroll speed is controlled according to the speed of the line of sight from top to bottom. Therefore, when the document information is read from the upper left corner to the lower right corner in a certain display image, and the scroll button 32 is scrolled upward as in the case where the scroll button 32 is continuously clicked with the mouse cursor 30, the operation starts from the upper left corner. The scroll speed is determined according to the moving speed of the line of sight from top to bottom when reading the document information to the lower right end.

【0040】また、検出される視線の速度は更新してい
く。つまり、ある方向へのスクロールを行う場合には、
その直前に検出された視線の速度に従い制御を行う。例
えば、上方向にスクロールする操作がされた場合に、上
から下方向への視線速度が前後して検出された場合に
は、最新のデータを利用する。なお、算出される視線の
速度を逐次平均化するようにしてもよい。つまり、下方
向への視線の移動速度が複数回検出された場合には、そ
れらの移動速度を平均化する。
The speed of the detected line of sight is updated. In other words, when scrolling in a certain direction,
Control is performed according to the speed of the line of sight detected immediately before. For example, when an operation of scrolling upward is performed and the line-of-sight speed from the top to the bottom is detected before and after, the latest data is used. Note that the calculated line-of-sight speed may be averaged sequentially. That is, when the moving speed of the line of sight in the downward direction is detected a plurality of times, those moving speeds are averaged.

【0041】以上のようにすることにより、視線の移動
速度に応じてスクロール速度を調整するので、ユーザも
最も読みやすい速度でスクロールを行うことができ、例
えば、ある文章をじっくり読んでいる場合には、ゆっく
りした速度でスクロールが行われ、一方、読み飛ばしを
行う場合には、速い速度でスクロールが行われることに
なる。そして、上記の処理はスクロール操作が解除され
るまで行われる(S25)。つまり、スクロール操作が
停止されると当然スクロールも停止することになる。
In the manner described above, the scroll speed is adjusted according to the moving speed of the line of sight, so that the user can scroll at the most easy-to-read speed. For example, when a user is reading a certain sentence carefully, Scrolls at a slow speed, while scrolling is performed at a high speed when skipping reading. Then, the above processing is performed until the scroll operation is released (S25). That is, when the scroll operation is stopped, the scroll is naturally stopped.

【0042】次に、第2実施例について説明する。第2
実施例に基づくスクロール制御装置A2は、図10に示
されるように構成され、表示部10と、文書メモリ12
と、注視領域検出部24と、時間測定処理部16´と、
スクロール処理部18と、視線検知処理部20と、文書
編集処理部22とを有している。
Next, a second embodiment will be described. Second
The scroll control device A2 according to the embodiment is configured as shown in FIG.
Gaze area detection unit 24, time measurement processing unit 16 ',
It has a scroll processing unit 18, a line-of-sight detection processing unit 20, and a document editing processing unit 22.

【0043】ここで、上記表示部10、文書メモリ1
2、スクロール処理部18、視線検知処理部20の各部
の構成は上記第1実施例と同様である。すなわち、上記
表示部10は、所定の文書を表示するためのもので、C
RTやLCD等のモニタにより構成される。また、文書
メモリ12は、表示部10に表示する文書情報を格納す
るものである。
Here, the display unit 10 and the document memory 1
2. The configuration of each unit of the scroll processing unit 18 and the line-of-sight detection processing unit 20 is the same as that of the first embodiment. That is, the display unit 10 is for displaying a predetermined document.
It is composed of a monitor such as an RT or LCD. The document memory 12 stores document information to be displayed on the display unit 10.

【0044】また、上記スクロール処理部18は、表示
画像をスクロールさせるものであり、上記文書編集処理
部22からのスクロール制御情報に従い表示画像をスク
ロールする機能を有する。また、上記視線検知処理部2
0は、図2に示すように、ユーザを撮影するカメラ20
aと該カメラにより撮影された画像に基づき視線検出を
行う視線検出部20b等を有するものである。ここで、
上記カメラ20aは、図3に示すように、表示部10を
見るユーザ甲の顔を撮影するように設置されるものであ
る。このカメラ20aは、CCDカメラ等により構成さ
れる。
The scroll processing section 18 is for scrolling the display image, and has a function of scrolling the display image in accordance with the scroll control information from the document editing processing section 22. In addition, the line-of-sight detection processing unit 2
0 is a camera 20 for photographing the user as shown in FIG.
a and a line-of-sight detecting unit 20b for performing line-of-sight detection based on images taken by the camera. here,
As shown in FIG. 3, the camera 20a is installed so as to photograph the face of the user A looking at the display unit 10. This camera 20a is constituted by a CCD camera or the like.

【0045】また、上記視線検出部20bは、上記カメ
ラ20aにより得られた画像データに人間の顔があり、
表示部10の方を向いている場合に、その人の視線を検
出するものである。具体的には、撮影して得られた画像
データに対してエッジ抽出を行い、人間の顔が写ってい
る場合に、その目における黒目の方向を検出することに
より行う。詳しくは後述する。なお、本実施例では、上
記視線検知処理部20は特に、注視点を検出する。すな
わち、所定時間滞留した視線を検知する。つまり、この
視線検知処理部20は、注視点検出手段として機能す
る。この視線検出部20bは、実際には、視線検出を行
うためのプログラムを格納したメモリと該プログラムに
従い所定の処理を行うCPU等から構成される。
The eye-gaze detecting unit 20b includes a human face in the image data obtained by the camera 20a.
When the user faces the display unit 10, the line of sight of the person is detected. Specifically, edge extraction is performed on image data obtained by shooting, and when a human face is captured, the direction of the iris in the eyes is detected. Details will be described later. In the present embodiment, the line-of-sight detection processing unit 20 particularly detects a gazing point. That is, the line of sight staying for a predetermined time is detected. That is, the gaze detection processing unit 20 functions as a gazing point detection unit. The gaze detection unit 20b actually includes a memory that stores a program for performing gaze detection, a CPU that performs predetermined processing in accordance with the program, and the like.

【0046】また、上記時間測定処理部16´は、上記
第1実施例とは機能が異なり、ユーザーが表示画像上の
文書のある部分を見ている場合の時間を測定するもので
ある。実際には、その時間の測定を行うためのプログラ
ムを格納したメモリと該プログラムに従い所定の処理を
行うCPU等から構成される。また、上記注視領域検出
手段としての注視領域検出部24は、表示画像上の視線
の注視点又は注視領域を検出するものであり、注視領域
の検出を行うためのプログラムを格納したメモリと該プ
ログラムに従い所定の処理を行うCPU等から構成され
る。
The time measurement processing section 16 'has a different function from that of the first embodiment, and measures the time when the user is looking at a certain portion of the document on the display image. Actually, it is composed of a memory storing a program for measuring the time and a CPU for performing predetermined processing according to the program. The gaze area detection unit 24 as the gaze area detection means detects a gaze point or a gaze area of a line of sight on a display image, and includes a memory storing a program for detecting the gaze area and the program. And the like for performing predetermined processing according to the above.

【0047】また、上記文書編集処理部22は、スクロ
ール制御装置A2における各部の動作を制御して文書編
集についての各種処理を行うもので、例えば、上記時間
測定処理部16´により測定された視線の滞留時間に基
づき注視点を検出したり、上記注視領域検出部24によ
り検出された注視点を含む所定の領域のみについてスク
ロールを一定時間停止させて表示画像のスクロール処理
を制御するものである。つまり、上記文書編集処理部2
2はメインの制御部として機能し、具体的には図11に
示すフローチャートに従った処理を行うためのプログラ
ムを格納するメモリやCPU等により構成される。この
文書編集処理部22は、上記停止表示手段として機能す
る。
The document editing processing section 22 controls the operation of each section in the scroll control device A2 to perform various processing for document editing. For example, the line of sight measured by the time measurement processing section 16 'is used. The gaze point is detected on the basis of the staying time, and scrolling of only a predetermined area including the gaze point detected by the gaze area detection unit 24 is stopped for a predetermined time to control the scroll processing of the display image. That is, the document edit processing unit 2
Reference numeral 2 functions as a main control unit, and specifically includes a memory, a CPU, and the like for storing a program for performing processing according to the flowchart shown in FIG. This document edit processing unit 22 functions as the above-mentioned stop display unit.

【0048】上記構成の画像のスクロール制御装置A2
の動作について、図11から図13を利用して説明す
る。図3に示すように、ユーザは上記構成のスクロール
制御装置A2が搭載されたコンピュータ端末Pを使用し
ているものとする。まず、文書メモリ12に読むべき文
書の文書情報が格納されているものとする。この文書の
内容は具体的には図12に示すような内容であるとす
る。
An image scrolling control device A2 having the above-described structure.
Will be described with reference to FIGS. 11 to 13. As shown in FIG. 3, it is assumed that the user uses a computer terminal P on which the scroll control device A2 having the above configuration is mounted. First, it is assumed that document information of a document to be read is stored in the document memory 12. It is assumed that the content of this document is specifically as shown in FIG.

【0049】次に、ユーザはこの文書を表示画像上で読
むわけであるが、その際、上記第1実施例と同様に、ユ
ーザの視線位置を検出する(S30)。つまり、目の空
間位置と視線方向とに基づき、空間内における視線の位
置が決定されるので、その視線が表示部10のどの位置
にあるかを検出する。詳しくは、上記第1実施例で説明
したとおりである。
Next, the user reads this document on the display image. At this time, the user's line of sight is detected as in the first embodiment (S30). That is, since the position of the line of sight in the space is determined based on the spatial position of the eyes and the direction of the line of sight, the position of the line of sight on the display unit 10 is detected. The details are as described in the first embodiment.

【0050】以上のように視線方向が検出されたら、そ
の視線が表示部10における表示画像内にあるかどうか
が判定される(S31)。つまり、検出された視線が表
示画像内の領域を通過するかどうかが判定される。表示
画像内にある場合には、ステップS32に移行し、表示
画像内にない場合には、ステップS30に戻る。
When the direction of the line of sight is detected as described above, it is determined whether or not the line of sight is within the display image on the display unit 10 (S31). That is, it is determined whether the detected line of sight passes through the area in the display image. When it is within the display image, the process proceeds to step S32, and when it is not within the display image, the process returns to step S30.

【0051】ステップS32では、表示画像がスクロー
ル中か否かを判定する(S32)。この機能は表示画像
がスクロールしていることが前提となるものだからであ
る。なお、表示画像のスクロールは、自動的に行われて
いるものであっても、手動的に、すなわち、スクロール
ボタンの操作や連続カーソルキー操作で行われているも
のであってもよい。スクロール中であるか否かは、文書
編集処理部がスクロールのための制御情報をスクロール
処理部18に送るので、この制御情報を監視することに
より判定できる。この場合には、文書編集処理部22が
スクロール判定手段となる。スクロール中である場合に
は、ステップS33に移行し、スクロール中でない場合
には、ステップS30に戻る。スクロールの方向は任意
であり、上下左右のいずれの方向であってもよい。
In step S32, it is determined whether or not the display image is scrolling (S32). This function is based on the premise that the display image is scrolling. The display image may be scrolled automatically or manually, that is, by scroll button operation or continuous cursor key operation. Since the document editing processing unit sends control information for scrolling to the scroll processing unit 18, whether or not scrolling is being performed can be determined by monitoring this control information. In this case, the document editing unit 22 serves as a scroll determination unit. If scrolling is being performed, the process proceeds to step S33. If scrolling is not being performed, the process returns to step S30. The direction of scrolling is arbitrary, and may be any one of up, down, left, and right.

【0052】次に、視線の動きを検出する(S33)。
つまり、視線が表示画像上をどのように移動するかが追
尾され、かつ、視線が表示画像上の文書のいずれかの位
置に滞留している時間が測定される。そして、注視点が
検出されたかどうか判定される(S34)。つまり、上
記の測定された時間があらかじめ設定した所定時間を超
えているときは、注視点であると判定されるものとす
る。注視点と判定された場合には、ステップS35に移
行し、注視点が検出されなかった場合には、ステップS
33に戻る。
Next, the movement of the line of sight is detected (S33).
In other words, how the line of sight moves on the display image is tracked, and the time during which the line of sight stays at any position of the document on the display image is measured. Then, it is determined whether or not the gazing point has been detected (S34). That is, when the measured time exceeds a predetermined time set in advance, it is determined that the user is a gazing point. If it is determined that the point of interest is determined, the process proceeds to step S35. If the point of interest is not detected, the process proceeds to step S35.
Return to 33.

【0053】ステップS35においては、上記検出され
た注視点を含む所定の領域を停止して表示させる処理を
行う。例えば、図12に示すように、注視点Pが検出さ
れた場合には、注視点Pを含む領域Rを一定時間停止さ
せる処理を行う。この領域R以外の部分は図13に示す
ように依然としてスクロールされていることになる。な
お、実際には、表示画像のスクロールは通常通り行い、
領域Rについては一定時間固定して表示することにな
る。停止時間は、その領域Rを瞬間的に知覚できる時
間、すなわち、数ミリ秒の極めて短いとする。領域Rの
大きさは予め定められているものとする。そして、上記
の処理は文末に至るまで行われる(S36)。
In step S35, a process of stopping and displaying a predetermined area including the detected point of interest is performed. For example, as shown in FIG. 12, when the point of interest P is detected, a process of stopping the region R including the point of interest P for a certain period of time is performed. The portion other than the region R is still scrolled as shown in FIG. Note that scrolling of the displayed image is performed normally,
The region R is fixedly displayed for a certain period of time. The stop time is a time during which the region R can be instantaneously perceived, that is, an extremely short time of several milliseconds. It is assumed that the size of the region R is predetermined. Then, the above processing is performed until the end of the sentence (S36).

【0054】以上のように、本実施例のスクロール制御
装置A2によれば、スクロール中に注視点が検出された
場合に、その注視点を含む所定の範囲を所定時間固定し
て表示するので、ユーザが興味を持った箇所を固定して
表示でき、その内容をユーザに認識させることができ
る。
As described above, according to the scroll control device A2 of this embodiment, when a point of interest is detected during scrolling, a predetermined range including the point of interest is fixedly displayed for a predetermined time. It is possible to fix and display a place where the user is interested, and to make the user recognize the content.

【0055】[0055]

【発明の効果】本発明に基づくスクロール制御装置によ
れば、ユーザの読取り能力等に応じてスクロールを行う
ことによりユーザにとって適切なスクロールを行うこと
ができる。また、スクロール速度がユーザの認識能力を
越えて速い場合でも必要な情報を認識させることができ
る。
According to the scroll control device of the present invention, it is possible to perform scrolling appropriate for the user by performing scrolling according to the reading ability of the user. Even when the scroll speed is faster than the user's recognition ability, necessary information can be recognized.

【図面の簡単な説明】[Brief description of the drawings]

【図1】本発明の第1実施例に基づくスクロール制御装
置の構成を示すブロック図である。
FIG. 1 is a block diagram showing a configuration of a scroll control device according to a first embodiment of the present invention.

【図2】視線検知処理部の構成を示すブロック図であ
る。
FIG. 2 is a block diagram illustrating a configuration of a line-of-sight detection processing unit.

【図3】本発明の各実施例に基づくスクロール制御装置
の使用状態を示す説明図である。
FIG. 3 is an explanatory diagram showing a use state of a scroll control device according to each embodiment of the present invention.

【図4】第1実施例のスクロール制御装置の動作を示す
説明図である。
FIG. 4 is an explanatory diagram illustrating an operation of the scroll control device according to the first embodiment.

【図5】第1実施例のスクロール制御装置の動作を示す
フローチャートである。
FIG. 5 is a flowchart illustrating an operation of the scroll control device according to the first embodiment.

【図6】第1実施例のスクロール制御装置の動作を示す
フローチャートである。
FIG. 6 is a flowchart illustrating an operation of the scroll control device according to the first embodiment.

【図7】第1実施例のスクロール制御装置の動作を示す
説明図である。
FIG. 7 is an explanatory diagram illustrating an operation of the scroll control device according to the first embodiment.

【図8】第1実施例のスクロール制御装置の動作を示す
説明図である。
FIG. 8 is an explanatory diagram illustrating an operation of the scroll control device according to the first embodiment.

【図9】第1実施例のスクロール制御装置の動作を示す
説明図である。
FIG. 9 is an explanatory diagram illustrating an operation of the scroll control device according to the first embodiment.

【図10】本発明の第2実施例に基づくスクロール制御
装置の構成を示すブロック図である。
FIG. 10 is a block diagram illustrating a configuration of a scroll control device according to a second embodiment of the present invention.

【図11】第2実施例のスクロール制御装置の動作を示
すフローチャートである。
FIG. 11 is a flowchart illustrating an operation of the scroll control device according to the second embodiment.

【図12】第2実施例のスクロール制御装置の動作を示
す説明図である。
FIG. 12 is an explanatory diagram showing the operation of the scroll control device according to the second embodiment.

【図13】第2実施例のスクロール制御装置の動作を示
す説明図である。
FIG. 13 is an explanatory diagram illustrating an operation of the scroll control device according to the second embodiment.

【符号の説明】[Explanation of symbols]

A1、A2 スクロール制御装置 10 表示部 12 文書メモリ 14 移動量検出部 16、16´ 時間測定処理部 18 スクロール処理部 20 視線検知処理部 22 文書編集処理部 24 注視領域検出部 A1, A2 Scroll control device 10 Display unit 12 Document memory 14 Movement amount detection unit 16, 16 'Time measurement processing unit 18 Scroll processing unit 20 Gaze detection processing unit 22 Document editing processing unit 24 Gaze area detection unit

Claims (11)

【特許請求の範囲】[Claims] 【請求項1】 表示画像のスクロールを制御するスクロ
ール制御装置であって、 視線の速度を検出して、その検出された速度に応じてス
クロールの速度を制御することを特徴とするスクロール
制御装置。
1. A scroll control device for controlling scrolling of a display image, wherein the scroll control device detects a speed of a line of sight and controls the scroll speed according to the detected speed.
【請求項2】 表示画像のスクロールを制御するスクロ
ール制御装置であって、 表示画像内の視線を検出する視線検出手段と、 検出された視線の速度を算出する視線速度算出手段と、 算出された視線の速度に応じてスクロール速度を制御す
るスクロール速度制御手段と、を有することを特徴とす
るスクロール制御装置。
2. A scroll control device for controlling scrolling of a display image, comprising: a line-of-sight detecting means for detecting a line of sight in the display image; a line-of-sight speed calculating means for calculating a speed of the detected line of sight; A scroll control device, comprising: scroll speed control means for controlling a scroll speed according to a line of sight speed.
【請求項3】 視線位置が表示画像の端部に到達した場
合に、スクロール処理を開始することを特徴とする請求
項1又は2に記載のスクロール制御装置。
3. The scroll control device according to claim 1, wherein the scroll processing is started when the line-of-sight position reaches an end of the display image.
【請求項4】 視線位置が到達した表示画像の端部の方
向によりスクロール方向を決定することを特徴とする請
求項3に記載のスクロール制御装置。
4. The scroll control device according to claim 3, wherein the scroll direction is determined based on the direction of the end of the display image at which the line-of-sight position has arrived.
【請求項5】 ユーザによりスクロール操作があった場
合に、スクロール処理を開始することを特徴とする請求
項1又は2又は3又は4に記載のスクロール制御装置。
5. The scroll control device according to claim 1, wherein a scroll process is started when a scroll operation is performed by a user.
【請求項6】 視線の速度の検出に際して、スクロール
される方向に応じて所定の方向の速度成分が検出され、
該検出された速度成分に従いスクロール速度が制御され
ることを特徴とする請求項1又は2又は3又は4又は5
に記載のスクロール制御装置。
6. When detecting the speed of the line of sight, a speed component in a predetermined direction is detected according to a scrolling direction,
6. The scroll speed is controlled according to the detected speed component.
3. The scroll control device according to item 1.
【請求項7】 スクロール速度は、検出された速度成分
と略同一であることを特徴する請求項6に記載のスクロ
ール制御装置。
7. The scroll control device according to claim 6, wherein the scroll speed is substantially the same as the detected speed component.
【請求項8】 表示画像のスクロールを制御するスクロ
ール制御装置であって、 スクロール中に表示画像内に注視点が検出された場合
に、表示画像における所定の領域を所定時間停止して表
示することを特徴とするスクロール制御装置。
8. A scroll control device for controlling scrolling of a display image, wherein when a gazing point is detected in the display image during scrolling, a predetermined area in the display image is stopped and displayed for a predetermined time. A scroll control device characterized by the above-mentioned.
【請求項9】 表示画像のスクロールを制御するスクロ
ール制御装置であって、 スクロール中に注視点を検出する注視点検出手段と、 注視点が検出された場合に、表示画像における所定の領
域を所定時間停止して表示することを停止表示手段と、
を有することを特徴とするスクロール制御装置。
9. A scroll control device for controlling scrolling of a display image, comprising: a fixation point detecting means for detecting a fixation point during scrolling; and a predetermined area in the display image when a fixation point is detected. A stop display means for stopping and displaying the time;
A scroll control device comprising:
【請求項10】 注視点が所定時間滞留した視線位置で
あることを特徴とする請求項8又は9に記載のスクロー
ル制御装置。
10. The scroll control device according to claim 8, wherein the gazing point is a sight line position that has stayed for a predetermined time.
【請求項11】 上記所定の領域が、注視点を含む所定
の領域であることを特徴とする請求項8又は9又は10
に記載のスクロール制御装置。
11. The apparatus according to claim 8, wherein the predetermined area is a predetermined area including a gazing point.
3. The scroll control device according to item 1.
JP25425497A 1997-09-02 1997-09-02 Scroll controller Withdrawn JPH1185452A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP25425497A JPH1185452A (en) 1997-09-02 1997-09-02 Scroll controller

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP25425497A JPH1185452A (en) 1997-09-02 1997-09-02 Scroll controller

Publications (1)

Publication Number Publication Date
JPH1185452A true JPH1185452A (en) 1999-03-30

Family

ID=17262434

Family Applications (1)

Application Number Title Priority Date Filing Date
JP25425497A Withdrawn JPH1185452A (en) 1997-09-02 1997-09-02 Scroll controller

Country Status (1)

Country Link
JP (1) JPH1185452A (en)

Cited By (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173104A (en) * 2002-11-21 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> Device, method and program for segmenting image
JP2006092290A (en) * 2004-09-24 2006-04-06 Matsushita Electric Ind Co Ltd Suspicious individual detector
JP2007213469A (en) * 2006-02-13 2007-08-23 Saitama Univ Visual line control display device and display method
JP2009151501A (en) * 2007-12-19 2009-07-09 Fuji Xerox Co Ltd Document transmission device and document transmission program, document reception device and document reception program, and document system
JP2010246809A (en) * 2009-04-17 2010-11-04 Konami Digital Entertainment Co Ltd Game device, game system, method of controlling game device, and program
JP2011227855A (en) * 2010-04-20 2011-11-10 Tomohiro Tsuta Reading state mapping device, reading state mapping device operating method, reading state mapping program and computer-readable recording medium
JP2012175263A (en) * 2011-02-18 2012-09-10 Kyocera Corp Information display device
WO2013190989A1 (en) * 2012-06-22 2013-12-27 株式会社エヌ・ティ・ティ・ドコモ Display device, display method and program
JP2014514658A (en) * 2011-04-08 2014-06-19 アマゾン・テクノロジーズ、インコーポレイテッド Content display based on gaze
WO2014203301A1 (en) * 2013-06-17 2014-12-24 日立マクセル株式会社 Information display terminal
JPWO2013111388A1 (en) * 2012-01-23 2015-05-11 三菱電機株式会社 Information display device
JP2015106327A (en) * 2013-12-02 2015-06-08 富士通株式会社 Display device, program, and display method
US9164582B2 (en) 2011-02-14 2015-10-20 Panasonic Intellectual Property Management Co., Ltd. Display control device and method detecting eye position of a user
JP2015212981A (en) * 2015-07-23 2015-11-26 京セラ株式会社 Electronic device, electronic document control program and electronic document control method
US9395813B2 (en) 2013-02-22 2016-07-19 Samsung Electronics Co., Ltd. Method for controlling operation and electronic device thereof
US9563272B2 (en) 2012-05-31 2017-02-07 Amazon Technologies, Inc. Gaze assisted object recognition
JP2017072896A (en) * 2015-10-05 2017-04-13 パイオニア株式会社 Information processing apparatus, information processing method, information processing program, and recording medium
US9842571B2 (en) 2013-02-22 2017-12-12 Samsung Electronics Co., Ltd. Context awareness-based screen scroll method, machine-readable storage medium and terminal therefor
US9910846B2 (en) 2015-05-01 2018-03-06 Fujitsu Limited Conversion device and conversion method
JP2018036476A (en) * 2016-08-31 2018-03-08 アイシン・エィ・ダブリュ株式会社 Scroll control system and scroll control program
CN111083299A (en) * 2018-10-18 2020-04-28 富士施乐株式会社 Information processing apparatus and storage medium
JP2020109683A (en) * 2016-06-28 2020-07-16 富士ゼロックス株式会社 Information processing device, information processing system and image formation device
JP2020173839A (en) * 2020-06-30 2020-10-22 パイオニア株式会社 Information processing device, information processing method, and information processing program, and recording medium
JP2022537236A (en) * 2020-05-22 2022-08-25 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド Video playback control method, device, electronic device, and storage medium

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004173104A (en) * 2002-11-21 2004-06-17 Nippon Telegr & Teleph Corp <Ntt> Device, method and program for segmenting image
JP2006092290A (en) * 2004-09-24 2006-04-06 Matsushita Electric Ind Co Ltd Suspicious individual detector
JP2007213469A (en) * 2006-02-13 2007-08-23 Saitama Univ Visual line control display device and display method
JP2009151501A (en) * 2007-12-19 2009-07-09 Fuji Xerox Co Ltd Document transmission device and document transmission program, document reception device and document reception program, and document system
JP2010246809A (en) * 2009-04-17 2010-11-04 Konami Digital Entertainment Co Ltd Game device, game system, method of controlling game device, and program
JP2011227855A (en) * 2010-04-20 2011-11-10 Tomohiro Tsuta Reading state mapping device, reading state mapping device operating method, reading state mapping program and computer-readable recording medium
US9164582B2 (en) 2011-02-14 2015-10-20 Panasonic Intellectual Property Management Co., Ltd. Display control device and method detecting eye position of a user
JP2012175263A (en) * 2011-02-18 2012-09-10 Kyocera Corp Information display device
JP2014514658A (en) * 2011-04-08 2014-06-19 アマゾン・テクノロジーズ、インコーポレイテッド Content display based on gaze
US9696799B2 (en) 2012-01-23 2017-07-04 Mitsubishi Electric Corporation Information display device that displays information on a screen
JPWO2013111388A1 (en) * 2012-01-23 2015-05-11 三菱電機株式会社 Information display device
US9563272B2 (en) 2012-05-31 2017-02-07 Amazon Technologies, Inc. Gaze assisted object recognition
JP2014006640A (en) * 2012-06-22 2014-01-16 Ntt Docomo Inc Display device, display method, and program
WO2013190989A1 (en) * 2012-06-22 2013-12-27 株式会社エヌ・ティ・ティ・ドコモ Display device, display method and program
US9395813B2 (en) 2013-02-22 2016-07-19 Samsung Electronics Co., Ltd. Method for controlling operation and electronic device thereof
US9842571B2 (en) 2013-02-22 2017-12-12 Samsung Electronics Co., Ltd. Context awareness-based screen scroll method, machine-readable storage medium and terminal therefor
US9990109B2 (en) 2013-06-17 2018-06-05 Maxell, Ltd. Information display terminal
JPWO2014203301A1 (en) * 2013-06-17 2017-02-23 日立マクセル株式会社 Information display terminal
WO2014203301A1 (en) * 2013-06-17 2014-12-24 日立マクセル株式会社 Information display terminal
JP2015106327A (en) * 2013-12-02 2015-06-08 富士通株式会社 Display device, program, and display method
US9910846B2 (en) 2015-05-01 2018-03-06 Fujitsu Limited Conversion device and conversion method
JP2015212981A (en) * 2015-07-23 2015-11-26 京セラ株式会社 Electronic device, electronic document control program and electronic document control method
JP2017072896A (en) * 2015-10-05 2017-04-13 パイオニア株式会社 Information processing apparatus, information processing method, information processing program, and recording medium
JP2020109683A (en) * 2016-06-28 2020-07-16 富士ゼロックス株式会社 Information processing device, information processing system and image formation device
JP2018036476A (en) * 2016-08-31 2018-03-08 アイシン・エィ・ダブリュ株式会社 Scroll control system and scroll control program
CN111083299A (en) * 2018-10-18 2020-04-28 富士施乐株式会社 Information processing apparatus and storage medium
JP2022537236A (en) * 2020-05-22 2022-08-25 ベイジン バイドゥ ネットコム サイエンス テクノロジー カンパニー リミテッド Video playback control method, device, electronic device, and storage medium
JP2020173839A (en) * 2020-06-30 2020-10-22 パイオニア株式会社 Information processing device, information processing method, and information processing program, and recording medium
JP2022109979A (en) * 2020-06-30 2022-07-28 パイオニア株式会社 Information processing device, information processing method, information processing program, and recording medium

Similar Documents

Publication Publication Date Title
JPH1185452A (en) Scroll controller
US9952663B2 (en) Method for gesture-based operation control
KR101347232B1 (en) Image Recognition Apparatus, Operation Determining Method, and Computer-Readable Medium
EP2287708B1 (en) Image recognizing apparatus, operation determination method, and program
EP1981278B1 (en) Automatic tracking device and automatic tracking method
EP3076334A1 (en) Image analyzing apparatus and image analyzing method
JP4982072B2 (en) Elevator car monitoring device and monitoring program
EP3015961B1 (en) Information processing device, control method, program, and storage medium
EP2908220A1 (en) Gesture recognition device and method of controlling gesture recognition device
US9544556B2 (en) Projection control apparatus and projection control method
CN109155821A (en) The mobile user interface shutter release button of camera
WO2013168173A1 (en) Gaze-based automatic scrolling
JP2008084287A (en) Information processor, imaging apparatus, information processing system, device control method and program
KR20180053402A (en) A visual line input device, a visual line input method, and a recording medium on which a visual line input program is recorded
US9323339B2 (en) Input device, input method and recording medium
JP2006350705A (en) Information providing device, method, and program
JP2012238293A (en) Input device
JP4686708B2 (en) Pointing system and pointing method
JP2007163864A (en) Display control apparatus, display control method, display control program, and display control program recording medium
KR20150025041A (en) Method and its apparatus for controlling a mouse cursor using eye recognition
JPH1185442A (en) Information output device
US10823964B2 (en) Work assistance apparatus, work assistance method, and computer-readable, non-transitory recording medium recording work assistance program executed by computer
JPH0784714A (en) Command processor
JP3530348B2 (en) Speed reading support device
KR101911676B1 (en) Apparatus and Method for Presentation Image Processing considering Motion of Indicator

Legal Events

Date Code Title Description
A761 Written withdrawal of application

Free format text: JAPANESE INTERMEDIATE CODE: A761

Effective date: 20040126