JPH1185442A - Information output device - Google Patents
Information output deviceInfo
- Publication number
- JPH1185442A JPH1185442A JP25599697A JP25599697A JPH1185442A JP H1185442 A JPH1185442 A JP H1185442A JP 25599697 A JP25599697 A JP 25599697A JP 25599697 A JP25599697 A JP 25599697A JP H1185442 A JPH1185442 A JP H1185442A
- Authority
- JP
- Japan
- Prior art keywords
- line
- sight
- message
- information
- output device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Digital Computer Display Output (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
Description
【０００１】[0001]
【発明の属する技術分野】本発明は、視線検出装置に関
するものであり、特に、ヘルプ情報を表示する視線検出
装置に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a gaze detecting device, and more particularly to a gaze detecting device for displaying help information.
【０００２】[0002]
【従来の技術】従来の端末装置においては、ユーザが操
作手順について分からなくなった場合に、所定の場合に
ヘルプ画面を表示して操作手順を指示する機能を備えた
ものが存在する。例えば、特開平３−１４４８１９号公
報においては、操作者が入力した指令がエラーであり、
その同じ指令を再度入力すると、該エラーの回数がカウ
ントされて所定値に達すると自動的に当該指令のエラー
に対する対処方法等のメッセージを出力するヘルプ機能
発動装置が開示されている。また、特開平４−１６０５
２７号公報においては、コンピュータの入力要求におい
て、何らかの原因で入力装置からの操作入力が停止した
ときには、速やかに操作の継続を促す自動ヘルプ画面を
提供することができるデータ処理装置が開示されてい
る。2. Description of the Related Art Some conventional terminal devices have a function of displaying a help screen and instructing an operation procedure in a predetermined case when a user cannot understand the operation procedure. For example, in JP-A-3-144819, a command input by an operator is an error,
When the same command is input again, a help function activation device is disclosed which counts the number of errors and automatically outputs a message such as a method of coping with the error of the command when the error reaches a predetermined value. In addition, Japanese Patent Application Laid-Open No.
No. 27 discloses a data processing device capable of providing an automatic help screen prompting prompt continuation of operation when operation input from the input device is stopped for some reason in response to an input request from a computer. .
【０００３】[0003]
【発明が解決しようとする課題】しかし、よりユーザの
状況を的確に把握し、ユーザが必要とする情報を提示す
ることができる装置が望まれる。また、特に、ユーザに
よってあるアプリケーションを使用する場合のスキルに
は格差があるが、上記の従来例では提示される情報は同
一であるため、提示される情報が初級者にとっては難解
であり、一方、上級者にとっては平易すぎることとなる
可能性がある。そこで、本発明は、ユーザの状況や熟練
度を的確に把握して適切な情報の提示を行うことができ
る情報出力装置を提供することを目的とするものであ
る。However, there is a need for an apparatus that can more accurately grasp the situation of a user and present information required by the user. Also, in particular, there is a difference in skills when a user uses an application, but in the above conventional example, the presented information is the same, so the presented information is difficult for a beginner, , It can be too easy for advanced users. Accordingly, it is an object of the present invention to provide an information output device capable of accurately grasping the situation and skill of a user and presenting appropriate information.
【０００４】[0004]
【課題を解決するための手段】本発明は上記問題点を解
決するために創作されたものであって、第１には、所定
の情報を出力する情報出力装置であって、情報を画面に
表示するための表示手段を有し、画面を視認するユーザ
の視線及び該視線の特性を検出し、その検出結果に応じ
てメッセージを出力することを特徴とする。よって、視
線の特性に応じてメッセージが出力されるので、ユーザ
の状況等に応じて適切なメッセージを出力することがで
きる。また、第２には、上記第１の構成において、上記
情報出力装置が、視線の特性の検出結果に従い、複数の
メッセージの中から所定のメッセージを選択して出力す
ることを特徴とする。よって、検出される視線の特性か
ら適切なメッセージを選択して出力することができ、ユ
ーザの状況や熟練度に応じたメッセージの出力が可能と
なる。SUMMARY OF THE INVENTION The present invention has been made to solve the above problems. First, there is provided an information output device for outputting predetermined information, the information being displayed on a screen. It has a display means for displaying, detects a line of sight of a user who looks at the screen and characteristics of the line of sight, and outputs a message according to the detection result. Therefore, since the message is output according to the characteristics of the line of sight, an appropriate message can be output according to the situation of the user. Secondly, in the first configuration, the information output device selects and outputs a predetermined message from a plurality of messages in accordance with a detection result of the line-of-sight characteristics. Therefore, an appropriate message can be selected and output from the characteristics of the detected line of sight, and a message can be output according to the user's situation and skill level.
【０００５】また、第３には、所定の情報を出力する情
報出力装置であって、情報を画面に表示するための表示
手段と、上記画面を視認するユーザの視線を検出する視
線検出手段と、上記視線検出手段により検出される視線
の特性を検出する特性検出手段と、該特性検出手段の検
出結果に従い、メッセージの出力の要否を判定するとと
もに、メッセージの出力が必要な場合に、所定のメッセ
ージの出力を制御する出力制御手段と、を有することを
特徴とする。この第３の構成の情報出力装置において
は、視線検出手段が、表示手段における画面を視認する
ユーザの視線を検出する。そして、上記特性検出手段
が、上記視線検出手段により検出される視線の特性を検
出する。さらに、出力制御手段が、該特性検出手段の検
出結果に従い、メッセージの出力の要否を判定するとと
もに、メッセージの出力が必要な場合に、所定のメッセ
ージの出力を制御する。よって、視線の特性に応じてメ
ッセージの出力の要否が判定され、メッセージの出力が
必要な場合に、所定のメッセージを出力するので、ユー
ザの状況等に応じて必要な場合にメッセージを出力する
ことにより、ユーザにとっての利便性を高めることがで
きる。A third aspect is an information output device for outputting predetermined information, comprising a display unit for displaying information on a screen, and a line-of-sight detecting unit for detecting a line of sight of a user who looks at the screen. A characteristic detecting unit for detecting a characteristic of a line of sight detected by the line of sight detecting unit, and determining whether or not to output a message according to a detection result of the characteristic detecting unit; Output control means for controlling the output of the message. In the information output device having the third configuration, the line-of-sight detection unit detects the line of sight of the user who visually recognizes the screen on the display unit. Then, the characteristic detecting means detects a characteristic of the visual line detected by the visual line detecting means. Further, the output control means determines whether or not the output of the message is necessary according to the detection result of the characteristic detecting means, and controls the output of a predetermined message when the output of the message is required. Therefore, the necessity of outputting a message is determined according to the characteristics of the line of sight, and a predetermined message is output when the message is required. Therefore, the message is output when necessary according to the situation of the user. As a result, convenience for the user can be improved.
【０００６】また、第４には、上記第３の構成におい
て、上記出力制御手段が、複数のメッセージの中から所
定のメッセージを選択して出力させることを特徴とす
る。よって、検出される視線の特性から適切なメッセー
ジを選択して出力することができ、ユーザの状況や熟練
度に応じたメッセージの出力が可能となる。また、第５
には、上記第４の構成において、上記出力制御手段が、
上記特性検出手段による検出結果から予め定められた複
数のレベルのうちのどのレベルに該当するかを判定し、
そのレベルに応じたメッセージを出力することを特徴と
する。よって、所定の処理操作における熟練度に応じた
内容のメッセージを出力することができる。Fourthly, in the above-mentioned third configuration, the output control means selects and outputs a predetermined message from a plurality of messages. Therefore, an appropriate message can be selected and output from the characteristics of the detected line of sight, and a message can be output according to the user's situation and skill level. In addition, the fifth
In the fourth configuration, the output control means may include:
Determine which level among a plurality of predetermined levels from the detection result by the characteristic detection means,
It is characterized by outputting a message according to the level. Therefore, it is possible to output a message having a content corresponding to the skill level in the predetermined processing operation.
【０００７】また、第６には、上記第１から第５までの
いずれかの構成において、検出される視線の特性が、視
線の動きのパターンであることを特徴とする。また、第
７には、上記第１から第６までのいずれかの構成におい
て、検出される視線の特性が、所定時間停留する注視点
のばらつきであることを特徴とする。In a sixth aspect, in any of the first to fifth configurations, the characteristic of the detected line of sight is a pattern of the line of sight movement. Seventh, in any one of the first to sixth configurations, the characteristic of the detected line of sight is a variation in the gazing point that remains stationary for a predetermined time.
【０００８】また、第８には、上記第１から第７までの
いずれかの構成において、出力されるメッセージが、所
定の処理操作に関するヘルプ情報であることを特徴とす
る。また、第９には、上記第８の構成において、出力さ
れるメッセージが、所定の処理操作についての熟練度に
応じた内容であることを特徴とする。[0008] Eighth, in any one of the first to seventh configurations, the output message is help information on a predetermined processing operation. Ninthly, in the ninth aspect, the output message has a content corresponding to the skill level of the predetermined processing operation.
【０００９】[0009]
【発明の実施の形態】本発明の実施の形態としての実施
例を図面を利用して説明する。本発明に基づく情報出力
装置としてのメッセージ出力装置Ａは、図１に示される
ように、カメラ１０と、視線検出部１２と、状態観察部
１４と、出力制御部１６と、記憶部１８と、表示部２０
とを有している。また、図２に示すコンピュータ端末Ｐ
には、上記構成のメッセージ出力装置Ａが搭載されてい
るものとする。DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described with reference to the drawings. As shown in FIG. 1, a message output device A as an information output device based on the present invention includes a camera 10, a line-of-sight detection unit 12, a state observation unit 14, an output control unit 16, a storage unit 18, Display unit 20
And Further, the computer terminal P shown in FIG.
Is equipped with the message output device A having the above configuration.
【００１０】ここで、上記カメラ１０は、ユーザの特に
顔部を撮影するもので、図２に示すように、表示部２０
を見るユーザ甲の顔を撮影するように設置されている。
このカメラ１０は、ＣＣＤカメラ等により構成される。
また、上記視線検出手段としての上記視線検出部１２
は、上記カメラ１０により得られた画像データから視線
を検出するものであり、該画像データに人間の顔があ
り、表示部２０の方を向いている場合にその人の視線を
検出する。具体的には、撮影して得られた画像データに
対してエッジ抽出を行い、人間の顔が写っている場合
に、その目における黒目の方向を検出することにより行
う。詳しくは後述する。この視線検出部１２は、実際に
は、視線検出を行うためのプログラム等の各種データを
格納したメモリと該プログラムに従い所定の処理を行う
ＣＰＵ等から構成される。Here, the camera 10 is for photographing a user's face in particular, and as shown in FIG.
Is installed so as to capture the face of the user in front of the user.
This camera 10 is constituted by a CCD camera or the like.
Further, the line-of-sight detection unit 12 as the line-of-sight detection means
Is for detecting a line of sight from image data obtained by the camera 10, and detects a line of sight of a person when the image data has a human face and faces the display unit 20. Specifically, edge extraction is performed on image data obtained by shooting, and when a human face is captured, the direction of the iris in the eyes is detected. Details will be described later. The gaze detection unit 12 actually includes a memory that stores various data such as a program for performing gaze detection, and a CPU that performs predetermined processing according to the program.
【００１１】また、上記特性検出手段としての状態観察
部１４は、視線検出部１２により検出された視線に従
い、ユーザの状態を観察する。すなわち、視線の動きの
パターン等により視線の特性を検出する。例えば、注視
点のばらつきを検出したり、注視点間の移動距離を算出
したり、ある注視点についての注視時間を算出したりす
る。ここで、注視点のばらつきとは、注視点が分散して
いる度合いをいい、この度合いが大きい場合には、それ
だけ表示部２０上の視線位置が定まらないことになるの
で、ユーザが初級者であるか、あるいは、操作が分から
なくて困っていることを示していることになる。なお、
出力制御部１６からの情報により、所定のアイコンに視
線が集中しているか否かを検出してもよい。つまり、出
力制御部１６から各アイコンの表示範囲の座標情報を得
ることにより、注視点が所定のアイコン内にあるか否か
を検出する。また、上記注視点の移動距離については、
移動距離が長い場合には、それだけ熟練していると判断
されることから、上級者であると判定されることにな
る。The state observation unit 14 as the characteristic detecting means observes the state of the user according to the line of sight detected by the line of sight detection unit 12. That is, the characteristics of the line of sight are detected based on the pattern of the line of sight movement. For example, it detects variations in gazing points, calculates a moving distance between gazing points, and calculates a gaze time for a certain gazing point. Here, the variation in the gazing point refers to the degree to which the gazing points are dispersed. If the degree is large, the gaze position on the display unit 20 is not fixed as much, so that the user is a beginner. It indicates that there is a problem, or that the operation is not understood. In addition,
Based on information from the output control unit 16, whether or not the line of sight is concentrated on a predetermined icon may be detected. That is, by obtaining coordinate information of the display range of each icon from the output control unit 16, it is detected whether or not the gazing point is within a predetermined icon. In addition, regarding the moving distance of the point of interest,
If the moving distance is long, it is determined that the user is more skilled, so that the user is determined to be an advanced person.
【００１２】また、上記注視時間とは、視線がある一定
の場所を停留している時間をいう。この場合にも、注視
時間が長い場合には、それだけ次の動作に移行するまで
の時間が長いことになるので、ユーザが初級者である
か、あるいは、操作が分からなくて困っていることを示
していることになる。また、ある操作から次の操作が行
われるまでに検出される注視点の数が多い場合にも、ユ
ーザが初級者であるか、あるいは、操作が分からなくて
困っていることを示しているといえる。The gaze time refers to the time during which the line of sight stops at a certain place. In this case as well, if the gaze time is long, the time required to shift to the next operation is long, so it is difficult for the user to be a beginner or to have trouble understanding the operation. It will show. Also, when the number of gazing points detected from one operation to the next operation is large, it also indicates that the user is a beginner or that the user is in trouble because he does not understand the operation I can say.
【００１３】さらには、視線が往復移動している場合
や、視線がさまよっている場合にも、同様に、ユーザが
初級者であるか、あるいは、操作が分からなくて困って
いることを示しているといえる。ただし、ユーザが表示
部２０上に表示された文章を読んでいる場合にも視線が
往復移動するので、この場合は除かれる。Further, when the line of sight is moving back and forth or when the line of sight is wandering, it is also indicated that the user is a beginner or that he is in trouble because he does not understand the operation. It can be said that there is. However, even when the user is reading the text displayed on the display unit 20, the line of sight moves reciprocally, so this case is excluded.
【００１４】そして、この状態観察部１４は、上記のよ
うな観察結果に基づく観察情報を出力制御部１６に出力
する。つまり、注視点のばらつきに関するばらつき度に
ついての情報を出力する。また、注視点間の移動距離や
注視時間に関する情報を出力する。この場合に、状態観
察部１４において検出される移動距離や注視時間が複数
となる場合には、例えば、その平均値についての情報を
出力する。つまり、上記観察情報には、上記ばらつき度
の情報、注視点間の移動距離の情報、注視時間の情報等
が含まれることになる。Then, the state observation unit 14 outputs observation information based on the above observation result to the output control unit 16. That is, information on the degree of variation related to the variation in the gazing point is output. In addition, it outputs information on the moving distance between the gazing points and the gazing time. In this case, when the moving distance and the gaze time detected by the state observation unit 14 are plural, for example, information about the average value is output. That is, the observation information includes the information on the degree of variation, the information on the moving distance between the gazing points, the information on the gazing time, and the like.
【００１５】次に、上記出力制御手段としての出力制御
部１６は、記憶部１８に記憶された各種画像情報を表示
部２０に出力する。また、この出力制御部１６には、図
示しない履歴格納部が設けられ、この履歴格納部には、
過去の観察情報が格納されている。また、この出力制御
部１６は、上記状態観察部１４からの観察情報や上記履
歴格納部に格納された観察情報に従い、ユーザの状態や
スキルを検出し、この検出結果に従って表示部２０に出
力する画像を制御する。また、上記表示手段としての上
記表示部２０は、所定の情報を表示するためのもので、
ＣＲＴやＬＣＤ等のモニタにより構成される。Next, the output control unit 16 as the output control means outputs various image information stored in the storage unit 18 to the display unit 20. The output control unit 16 includes a history storage unit (not shown).
Past observation information is stored. Further, the output control unit 16 detects the state and skill of the user according to the observation information from the state observation unit 14 and the observation information stored in the history storage unit, and outputs it to the display unit 20 according to the detection result. Control the image. Further, the display section 20 as the display means is for displaying predetermined information,
It is composed of a monitor such as a CRT or LCD.
【００１６】上記構成のメッセージ出力装置Ａの動作に
ついて図３を使用して説明する。まず、ユーザが上記構
成のメッセージ出力装置Ａが搭載されたコンピュータ端
末Ｐを使用して処理を行っているものとする。この処理
としては、ワードプロセッサによる文字の入力、表計算
による処理等任意であるが、ここでは、ワードプロセッ
サのアプリケーションを使用しているものとして説明す
る。まず、カメラに１０により画像データを取り込む
（Ｓ１０）。すなわち、上記カメラ１０がユーザ甲の顔
を撮影する。すると、このカメラ１０により撮影された
画像は視線検出部１２に送られる。The operation of the message output device A having the above configuration will be described with reference to FIG. First, it is assumed that the user is performing a process using the computer terminal P equipped with the message output device A having the above configuration. This processing is arbitrary, such as input of characters by a word processor, processing by spreadsheets, and the like. Here, description will be made assuming that an application of the word processor is used. First, image data is taken into the camera by 10 (S10). That is, the camera 10 photographs the face of the user A. Then, the image captured by the camera 10 is sent to the visual line detection unit 12.
【００１７】次に、視線検出部１２においては、視線検
出が行われる（Ｓ１１）。すなわち、まず、視線検出部
１２では、撮影された画像にエッジ抽出処理が行われ
る。そして、エッジ抽出処理後に、まず、人の顔がある
かどうかが検出される。つまり、エッジ抽出処理が行わ
れた画像と予め登録された人物標準パターン画像とを比
較して、人の顔があるかどうかを推定する。なお、人の
顔の判定においては、肌色情報をも考慮して行うように
してもよい。フレーム間の差分画像から移動した物体を
検知し、その物体と人物標準パターン画像とを比較して
人の顔を判定するようにしてもよい。Next, the line-of-sight detection unit 12 performs line-of-sight detection (S11). That is, first, the line-of-sight detection unit 12 performs an edge extraction process on the captured image. Then, after the edge extraction processing, first, it is detected whether or not there is a human face. In other words, the image on which the edge extraction processing has been performed is compared with a pre-registered person standard pattern image to estimate whether or not there is a human face. The determination of a human face may be performed in consideration of skin color information. The moving object may be detected from the difference image between the frames, and the human face may be determined by comparing the moving object with the person standard pattern image.
【００１８】人の顔があることが検出されたら、視線を
検出する。ここでは、視線方向を検出する。すなわち、
エッジ抽出することにより得られたエッジ情報から、検
出された人の顔における目の垂直方向の位置と水平方向
の位置とを推定して目の部分の画像を切り出し、この切
り出した領域の濃淡画像を生成する。その後、黒目の位
置に関する濃度分布情報を水平方向と垂直方向とについ
て算出し、予め設けられている水平方向と垂直方向の濃
度分布情報と比較して、類似度を算出して視線方向を算
出するのである。そして、検出された方向の視線の空間
位置を検出する。つまり、撮影された画像におけるその
人の目の空間座標位置と、検出された視線方向とによ
り、その視線の空間位置を検出する。なお、上記目の空
間座標位置の検出は次のように行う。つまり、図２に示
すＸ方向、Ｙ方向の座標については撮影された２次元画
像における座標により検出可能であり、また、Ｚ方向の
座標については、例えば、顔の大きさから推定する等の
方法や距離センサにより検出する方法がある。なお、こ
のＺ方向の座標については、所定の光を照射し、顔や目
等に反射して帰ってくるまでの時間により算出してもよ
い。When it is detected that there is a human face, the line of sight is detected. Here, the gaze direction is detected. That is,
From the edge information obtained by extracting the edges, the vertical position and the horizontal position of the eyes in the detected human face are estimated to cut out an image of the eye portion, and a grayscale image of the cut out region Generate Thereafter, the density distribution information regarding the position of the iris is calculated for the horizontal direction and the vertical direction, and is compared with the density distribution information for the horizontal direction and the vertical direction provided in advance, and the degree of similarity is calculated to calculate the gaze direction. It is. Then, the spatial position of the line of sight in the detected direction is detected. That is, the spatial position of the line of sight is detected based on the spatial coordinate position of the eye of the person in the captured image and the detected direction of the line of sight. The spatial coordinate position of the eye is detected as follows. That is, the coordinates in the X direction and the Y direction shown in FIG. 2 can be detected by the coordinates in the photographed two-dimensional image, and the coordinates in the Z direction can be estimated from the size of the face, for example. And a method of detecting with a distance sensor. The coordinates in the Z direction may be calculated based on the time from when a predetermined light is emitted to when the light is reflected back on the face, eyes, and the like and returns.
【００１９】以上のようにして、目の空間位置と視線方
向とに基づき、空間内における視線の位置が決定される
ので、その視線が表示部２０のどの位置にあるかを判定
する。具体的には、表示部２０の表示面において視線が
通過する視線位置としての座標（Ｘ，Ｙ）を算出する。As described above, the position of the line of sight in the space is determined based on the spatial position of the eyes and the direction of the line of sight, so that the position of the line of sight on the display unit 20 is determined. Specifically, the coordinates (X, Y) as the line-of-sight position where the line of sight passes on the display surface of the display unit 20 are calculated.
【００２０】なお、上記視線の検出においては、注視点
が検出されるかどうかを条件とするのが好ましい。つま
り、視線が一定時間停留している場合に始めて視線が検
出されたものとして処理を行う。つまり、視線が表示部
２０における表示面の方を向いていたとしても、視線が
一定時間停留しない場合には、表示されたキーワードを
知覚したとはいえないとして、視線検出に、所定時間視
線位置が停留していることを条件とすることが望まし
い。In the detection of the line of sight, it is preferable to make a condition whether or not a gazing point is detected. In other words, the processing is performed on the assumption that the line of sight has been detected for the first time when the line of sight has been stopped for a certain time. In other words, even if the line of sight is directed toward the display surface of the display unit 20, if the line of sight does not stop for a certain period of time, it cannot be said that the displayed keyword has been perceived. It is desirable that the vehicle is stopped.
【００２１】なお、視線方向検出の方法は上記の方法に
は限られず、他の方法であってもよい。例えば、人の顔
があるかどうかの検出は上記と同様の方法で行い、視線
方向の検出については、近赤外光を照射してその反射角
度に基づき算出するようにしてもよい。また、上記の方
法とこの近赤外光による方法とを併用してもよい。ま
た、上記Ｚ方向の座標は、近赤外光が反射して戻ってく
る到達時間により検出してもよい。視線検出の方法につ
いては、特開平８−３２２７９６号公報や特開平５−２
０５０３０号公報に開示されている。The method of detecting the direction of the line of sight is not limited to the above method, but may be another method. For example, the detection of the presence or absence of a human face may be performed in the same manner as described above, and the detection of the line of sight may be performed based on the reflection angle by irradiating near-infrared light. Further, the above method and this method using near-infrared light may be used in combination. The coordinates in the Z direction may be detected based on the arrival time at which the near-infrared light is reflected and returned. The method of gaze detection is described in JP-A-8-322796 and JP-A-5-252.
No. 05030.
【００２２】以上のように視線検出が行われたら、上記
状態観察部１４により視線の特性を検出する（Ｓ１
２）。つまり、注視点のばらつきを検出したり、注視点
間の移動距離を算出したり、ある注視点についての注視
時間を算出したりする。そして、これらの観察結果とし
ての観察情報を出力制御部１６に出力する。When the line of sight is detected as described above, the state observation unit 14 detects the characteristics of the line of sight (S1).
2). That is, it detects variations in the gazing points, calculates the moving distance between the gazing points, and calculates the gaze time for a certain gazing point. Then, observation information as these observation results is output to the output control unit 16.
【００２３】そして、出力制御部１６は、上記観察情報
に従い、ユーザの状況やスキルを検出する。なお、上記
履歴格納部にすでに観察情報が格納されている場合に
は、この情報も参考にする。例えば、図４に示すよう
に、表示部２０に所定の画像が表示され、その画像中に
プルダウンメニュー２２が表示されているものとする。
そして、注視点のばらつきに関しては、検出される注視
点が「新規作成」から「終了」が表示されるプルダウン
メニュー２２内の特定のメニューには集中せずに、プル
ダウンメニュー２２内に広く分散していたり、又は、上
記プルダウンメニュー２２外にも注視点がある場合に
は、注視点のばらつきは所定のしきい値よりも大きくな
り、ばらつきは大きいと判定される。一方、注視点があ
るメニュー、例えば、「開く」の領域に集中している場
合には、ばらつきは小さいと判定される。Then, the output control unit 16 detects the situation and skills of the user according to the observation information. If observation information has already been stored in the history storage unit, this information is also referred to. For example, as shown in FIG. 4, it is assumed that a predetermined image is displayed on the display unit 20, and a pull-down menu 22 is displayed in the image.
Regarding the variation in the gazing points, the detected gazing points are not concentrated on a specific menu in the pull-down menu 22 in which “New” to “End” is displayed, but are widely distributed in the pull-down menu 22. If there is a gazing point outside of the pull-down menu 22, or if there is a gazing point outside the pull-down menu 22, the variability of the gazing point is larger than a predetermined threshold value, and it is determined that the variability is large. On the other hand, when the gazing point is concentrated on a certain menu, for example, the area of “open”, it is determined that the variation is small.
【００２４】また、注視点間の移動距離に関しては、例
えば、注視点が「ファイル」から直ちに「開く」の位置
にまで移動した場合には、移動距離は大きいと判定さ
れ、一方、注視点が「ファイル」から「新規作成」に移
動し、その後「開く」に移動した場合には、注視点間距
離が短いと判定される。また、注視時間に関しては、例
えば、注視点が「開く」の位置に検出され、その後、次
の注視点に移動するまでの時間が所定値以上の場合や、
注視点が「開く」の位置に検出されてから所定の操作が
行われるまでの時間が所定値以上の場合には、総注視時
間は長いと判定される。以上のような判定結果を総合的
に判断して、当該処理に関して上級者か初級者であるか
を判定する。Regarding the movement distance between the gazing points, for example, when the gazing point is immediately moved from the “file” to the “open” position, it is determined that the moving distance is large. When moving from "file" to "new creation" and then to "open", it is determined that the distance between gazing points is short. In addition, regarding the gaze time, for example, if the time until the gaze point is detected to be “open” and then move to the next gaze point is a predetermined value or more,
If the time from when the gaze point is detected to the “open” position to when a predetermined operation is performed is equal to or longer than a predetermined value, it is determined that the total gaze time is long. By comprehensively judging the above judgment results, it is judged whether the process is advanced or beginner.
【００２５】以上のようにして、上級者か初級者かの判
定が行われたら、出力制御部１６は、メッセージを出力
するか否かを判定する（Ｓ１３）。メッセージを出力し
ない場合には、ステップＳ１０に戻り、メッセージを出
力する場合には、ステップＳ１４に移行する。メッセー
ジを出力しない場合としては、該アプリケーションの動
作状態において、メッセージを出力する意味がない場合
や出力すべきメッセージが用意されていない場合があ
る。一方、図４に示すように、プルダウンメニュー２２
が表示された状態で、プルダウンメニュー２２上に視線
が分散している場合等には、出力すべきメッセージが用
意されているので、メッセージを出力する。As described above, when it is determined that the user is advanced or beginner, the output control unit 16 determines whether to output a message (S13). If no message is output, the process returns to step S10, and if a message is output, the process proceeds to step S14. As a case where a message is not output, there is a case where it is meaningless to output a message or a case where a message to be output is not prepared in an operation state of the application. On the other hand, as shown in FIG.
Is displayed on the pull-down menu 22, the message is output because a message to be output is prepared.
【００２６】そして、ステップＳ１４においては、出力
すべきメッセージを選択する。つまり、上記での上級者
か初級者かの判定に従い出力すべきメッセージを出力す
る。例えば、図４の場合に注視点がプルダウンメニュー
２２上を分散している場合には、図５に示すようなヘル
プ画面２４を表示出力する。このヘルプ画面２４には、
「メニューのどこを知りたいのですか。知りたいところ
を押してください。」と表示され、その下には、各メニ
ューがイメージを示したアイコンとともに表示されてい
る。例えば、「開く」については、「開く」の文字とと
もに、そのイメージをイラスト化したアイコン２４ａが
表示されている。一方、上級者であると判定された場合
には、ヘルプ画面を出力する必要がないので、ヘルプ画
面は表示しない。なお、後述する上級者用のヘルプ画面
２８を出力するようにしてもよい。Then, in step S14, a message to be output is selected. That is, a message to be output is output in accordance with the determination as to whether the user is an advanced user or a beginner. For example, in the case of FIG. 4, when the points of interest are dispersed on the pull-down menu 22, a help screen 24 as shown in FIG. 5 is displayed and output. In this help screen 24,
"Where do you want to know the menu? Press the place you want to know." Is displayed, and below that, each menu is displayed with an icon showing an image. For example, as for “open”, an icon 24a that illustrates the image is displayed together with the characters “open”. On the other hand, if it is determined that the user is an advanced user, no help screen needs to be output, and thus no help screen is displayed. In addition, a help screen 28 for an advanced user, which will be described later, may be output.
【００２７】ここで、上記ヘルプ画面２４が表示された
場合には、以後に選択画面が用意されているので、履歴
格納部における情報から上級者か初級者かを判定する。
つまり、この判定は、当該処理に関してのみの判定では
なく、ユーザの総合的なスキルを判定するものである。
なお、ヘルプ画面２４では、「開く」を選択したものと
する。そして、「開く」のアイコン２４ａを選択した際
に、上記総合的なスキルの判定で初級者と判定されてい
る場合には、図５に示すような初級者用のヘルプ画面２
６を表示する。このヘルプ画面２６は、「開く」の処理
の内容が初級者にも平易に理解できるように記載されて
いる。Here, when the help screen 24 is displayed, since a selection screen is prepared thereafter, it is determined from the information in the history storage unit whether the user is an advanced user or a beginner.
That is, this determination is not a determination only regarding the process, but is a determination of a comprehensive skill of the user.
It is assumed that “open” is selected on the help screen 24. When the "open" icon 24a is selected, if the comprehensive skill is determined to be a beginner, a beginner help screen 2 as shown in FIG.
6 is displayed. The help screen 26 is described so that the contents of the process of “open” can be easily understood even by a beginner.
【００２８】一方、上記総合的なスキルの判定で上級者
と判定されている場合には、上記ヘルプ画面２６の代わ
りに図６に示すような上級者用のヘルプ画面２８が表示
される。このヘルプ画面２８は、当該処理に関して基礎
的な知識を備えていることを前提として、より高度な内
容を記載したものである。つまり、プルダウンメニュー
２２に関しては、初級者であるのでヘルプ画面２４を表
示するものの、総合的には上級者といえるので、ヘルプ
画面２８を表示するのである。なお、初級者用のヘルプ
画面２６が表示されている状態で、「詳細」のアイコン
をクリックすれば上級者用のヘルプ画面２８を表示する
ようにする。以上のように、検出されるユーザの視線の
特性に応じて、表示される内容を相違させるので、ユー
ザのスキルに応じて最適な表示を行うことができる。On the other hand, if it is determined that the user is advanced in the comprehensive skill determination, a help screen 28 for advanced users is displayed as shown in FIG. The help screen 28 describes more advanced contents on the assumption that the user has basic knowledge about the processing. In other words, the help screen 24 is displayed for the pull-down menu 22 because it is a beginner, but the help screen 28 is displayed because it can be said that the user is generally advanced. In addition, when the help screen 26 for beginners is displayed, clicking the “details” icon causes the help screen 28 for advanced users to be displayed. As described above, the displayed contents are made different according to the characteristics of the user's line of sight detected, so that an optimal display can be performed according to the skill of the user.
【００２９】なお、上記の説明では、プルダウンメニュ
ー２２内で注視点が分散している場合等には、ヘルプ画
面２４を表示するものとして説明したが、例えば、プル
ダウンメニュー２２において「開く」と「閉じる」の２
つのメニューにのみ注視点が分散している場合には、ヘ
ルプ画面２４には、「開く」と「閉じる」に関してのみ
表示するようにしてもよい。このようにすることによ
り、ユーザのその時の視線の状況に応じた表示を行うこ
とができる。In the above description, the help screen 24 is displayed when the gazing points are dispersed in the pull-down menu 22, for example. Close 2
If the points of interest are dispersed only in one menu, the help screen 24 may display only “open” and “close”. By doing so, it is possible to perform display according to the situation of the user's line of sight at that time.
【００３０】なお、上記の説明においては、初級者用の
ヘルプ画面２６と上級者用のヘルプ画面２８との２つの
レベルの画面を選択して出力するものとして説明した
が、これには限られず、３つ以上のレベルの画面を用意
してそれらを選択的に出力するようにしてもよい。その
場合には、履歴格納部に格納された情報から３つのレベ
ルのいずれに該当するかを判定することになる。In the above description, two levels of screens, that is, a help screen 26 for beginners and a help screen 28 for advanced users, are selected and output. However, the present invention is not limited to this. Alternatively, screens of three or more levels may be prepared and selectively output. In that case, it is determined which of the three levels corresponds to the information stored in the history storage unit.
【００３１】また、出力されるメッセージは表示部２０
に表示されるものとして説明したが、これには限られ
ず、例えば、音声により出力するようにしてもよい。こ
の音声の場合にも、上記と同様に、検出された視線の特
性を検出することにより出力するメッセージの内容を相
違させることになる。The output message is displayed on the display unit 20.
However, the present invention is not limited to this, and may be output by voice, for example. In the case of this voice as well, the content of the output message is made different by detecting the characteristics of the detected line of sight in the same manner as described above.
【００３２】[0032]
【発明の効果】本発明に基づく情報出力装置によれば、
ユーザの視線を検出して、その検出された視線の特性を
検出することにより、所定のメッセージを出力するの
で、ユーザの状況により適切なメッセージを出力するこ
とができる。特に、該特性に応じてメッセージを選択し
て出力することにより、ユーザの所定の処理操作に関す
る熟練度を的確に把握して適切な情報の提示を行うこと
ができる。According to the information output apparatus according to the present invention,
By detecting the user's line of sight and detecting the characteristics of the detected line of sight, a predetermined message is output, so that an appropriate message can be output according to the situation of the user. In particular, by selecting and outputting a message according to the characteristic, it is possible to accurately grasp the skill level of the user for the predetermined processing operation and to present appropriate information.
【図１】本発明の実施例に基づくメッセージ出力装置の
構成を示すブロック図である。FIG. 1 is a block diagram showing a configuration of a message output device according to an embodiment of the present invention.
【図２】本発明の実施例に基づくメッセージ出力装置の
使用状態を示す説明図である。FIG. 2 is an explanatory diagram showing a use state of a message output device according to an embodiment of the present invention.
【図３】本発明の実施例に基づくメッセージ出力装置の
動作を示すフローチャートである。FIG. 3 is a flowchart showing an operation of the message output device according to the embodiment of the present invention.
【図４】本発明の実施例に基づくメッセージ出力装置の
動作を示す説明図である。FIG. 4 is an explanatory diagram showing an operation of the message output device based on the embodiment of the present invention.
【図５】本発明の実施例に基づくメッセージ出力装置の
動作を示す説明図である。FIG. 5 is an explanatory diagram showing an operation of the message output device according to the embodiment of the present invention.
【図６】本発明の実施例に基づくメッセージ出力装置の
動作を示す説明図である。FIG. 6 is an explanatory diagram showing an operation of the message output device based on the embodiment of the present invention.
Ａ メッセージ出力装置 １０ カメラ １２ 視線検出部 １４ 状態観察部 １６ 出力制御部 １８ 記憶部 ２０ 表示部 A message output device 10 camera 12 gaze detection unit 14 state observation unit 16 output control unit 18 storage unit 20 display unit
Claims (9)
って、 情報を画面に表示するための表示手段を有し、画面を視
認するユーザの視線及び該視線の特性を検出し、その検
出結果に応じてメッセージを出力することを特徴とする
情報出力装置。1. An information output device for outputting predetermined information, comprising: display means for displaying information on a screen, detecting a line of sight of a user who views the screen and characteristics of the line of sight, and detecting the line of sight. An information output device for outputting a message according to a result.
結果に従い、複数のメッセージの中から所定のメッセー
ジを選択して出力することを特徴とする請求項１に記載
の情報出力装置。2. The information output device according to claim 1, wherein the information output device selects and outputs a predetermined message from a plurality of messages in accordance with a detection result of a line-of-sight characteristic.
って、 情報を画面に表示するための表示手段と、 上記画面を視認するユーザの視線を検出する視線検出手
段と、 上記視線検出手段により検出される視線の特性を検出す
る特性検出手段と、 該特性検出手段の検出結果に従い、メッセージの出力の
要否を判定するとともに、メッセージの出力が必要な場
合に、所定のメッセージの出力を制御する出力制御手段
と、を有することを特徴とする情報出力装置。3. An information output device for outputting predetermined information, comprising: display means for displaying information on a screen; gaze detection means for detecting a gaze of a user who views the screen; and gaze detection means Characteristic detecting means for detecting the characteristic of the line of sight detected by the method, and determining whether or not to output a message according to the detection result of the characteristic detecting means, and outputting a predetermined message when the message is required. And an output control means for controlling the information output device.
の中から所定のメッセージを選択して出力させることを
特徴とする請求項３に記載の情報出力装置。4. The information output apparatus according to claim 3, wherein said output control means selects and outputs a predetermined message from a plurality of messages.
による検出結果から予め定められた複数のレベルのうち
のどのレベルに該当するかを判定し、そのレベルに応じ
たメッセージを出力することを特徴とする請求項４に記
載の情報出力装置。5. The method according to claim 1, wherein the output control means determines which of a plurality of predetermined levels the level corresponds to from a detection result by the characteristic detecting means, and outputs a message corresponding to the level. The information output device according to claim 4, wherein
パターンであることを特徴とする請求項１又は２又は３
又は４又は５に記載の情報出力装置。6. The gaze characteristic detected is a gaze movement pattern.
Or the information output device according to 4 or 5.
間停留する注視点のばらつきであることを特徴とする請
求項１又は２又は３又は４又は５又は６に記載の情報出
力装置。7. The information output device according to claim 1, wherein the characteristic of the detected line of sight is a variation of a gazing point at which the line of sight stays for a predetermined time.
作に関するヘルプ情報であることを特徴とする請求項１
又は２又は３又は４又は５又は６又は７に記載の情報出
力装置。8. The system according to claim 1, wherein the output message is help information relating to a predetermined processing operation.
Or the information output device according to 2 or 3 or 4 or 5 or 6 or 7.
作についての熟練度に応じた内容であることを特徴とす
る請求項８に記載の情報出力装置。9. The information output device according to claim 8, wherein the output message has a content according to the skill level of the predetermined processing operation.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25599697A JPH1185442A (en) | 1997-09-03 | 1997-09-03 | Information output device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP25599697A JPH1185442A (en) | 1997-09-03 | 1997-09-03 | Information output device |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH1185442A true JPH1185442A (en) | 1999-03-30 |
Family
ID=17286462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP25599697A Pending JPH1185442A (en) | 1997-09-03 | 1997-09-03 | Information output device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH1185442A (en) |
Cited By (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011107915A (en) * | 2009-11-16 | 2011-06-02 | Fujitsu Ltd | Display device, display program and display method |
| JP2011179899A (en) * | 2010-02-26 | 2011-09-15 | Horiba Ltd | Particle-size distribution measuring instrument |
| JP2014044476A (en) * | 2012-08-24 | 2014-03-13 | Fujitsu Ltd | Image processor and image processing method |
| JP2014508311A (en) * | 2010-12-08 | 2014-04-03 | 株式会社ソニー・コンピュータエンタテインメント | Adaptive display using eye tracking |
| JP2014109916A (en) * | 2012-12-03 | 2014-06-12 | Fujitsu Ltd | User operation terminal device and user operation terminal program |
| JP2015032274A (en) * | 2013-08-06 | 2015-02-16 | 富士通株式会社 | Meticulous reading determination device, meticulous reading determination method, and meticulous reading determination program |
| WO2015122294A1 (en) * | 2014-02-13 | 2015-08-20 | オムロン株式会社 | Programmable display, mobile terminal device, data processing method, and program |
| JP2015184698A (en) * | 2014-03-20 | 2015-10-22 | 京セラドキュメントソリューションズ株式会社 | Electronic instrument and operation support program |
| JP2015185126A (en) * | 2014-03-26 | 2015-10-22 | 富士ゼロックス株式会社 | image processing apparatus and program |
| CN105929932A (en) * | 2015-02-27 | 2016-09-07 | 联想（新加坡）私人有限公司 | Gaze Based Notification Response |
| JP2016212562A (en) * | 2015-05-01 | 2016-12-15 | 富士通株式会社 | Conversion apparatus, conversion method, and conversion program |
| WO2017119127A1 (en) * | 2016-01-08 | 2017-07-13 | 三菱電機株式会社 | Work assistance device, work learning device, and work assistance system |
-
1997
- 1997-09-03 JP JP25599697A patent/JPH1185442A/en active Pending
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011107915A (en) * | 2009-11-16 | 2011-06-02 | Fujitsu Ltd | Display device, display program and display method |
| JP2011179899A (en) * | 2010-02-26 | 2011-09-15 | Horiba Ltd | Particle-size distribution measuring instrument |
| JP2014508311A (en) * | 2010-12-08 | 2014-04-03 | 株式会社ソニー・コンピュータエンタテインメント | Adaptive display using eye tracking |
| JP2014044476A (en) * | 2012-08-24 | 2014-03-13 | Fujitsu Ltd | Image processor and image processing method |
| JP2014109916A (en) * | 2012-12-03 | 2014-06-12 | Fujitsu Ltd | User operation terminal device and user operation terminal program |
| JP2015032274A (en) * | 2013-08-06 | 2015-02-16 | 富士通株式会社 | Meticulous reading determination device, meticulous reading determination method, and meticulous reading determination program |
| WO2015122294A1 (en) * | 2014-02-13 | 2015-08-20 | オムロン株式会社 | Programmable display, mobile terminal device, data processing method, and program |
| JP2015153073A (en) * | 2014-02-13 | 2015-08-24 | オムロン株式会社 | Programmable display apparatus, portable terminal device, data processing method, and program |
| US9946342B2 (en) | 2014-02-13 | 2018-04-17 | Omron Corporation | Programmable display device, portable terminal device, data processing method, and program |
| CN106415413B (en) * | 2014-02-13 | 2020-01-31 | 欧姆龙株式会社 | Programmable display, portable terminal device, data processing method |
| EP3106965A1 (en) * | 2014-02-13 | 2016-12-21 | Omron Corporation | Programmable display, mobile terminal device, data processing method, and program |
| CN106415413A (en) * | 2014-02-13 | 2017-02-15 | 欧姆龙株式会社 | Programmable display, mobile terminal device, data processing method, and program |
| EP3106965A4 (en) * | 2014-02-13 | 2017-03-29 | Omron Corporation | Programmable display, mobile terminal device, data processing method, and program |
| JP2015184698A (en) * | 2014-03-20 | 2015-10-22 | 京セラドキュメントソリューションズ株式会社 | Electronic instrument and operation support program |
| JP2015185126A (en) * | 2014-03-26 | 2015-10-22 | 富士ゼロックス株式会社 | image processing apparatus and program |
| CN105929932A (en) * | 2015-02-27 | 2016-09-07 | 联想（新加坡）私人有限公司 | Gaze Based Notification Response |
| CN105929932B (en) * | 2015-02-27 | 2020-04-24 | 联想（新加坡）私人有限公司 | Method of gaze-based notification response and information processing apparatus |
| JP2016212562A (en) * | 2015-05-01 | 2016-12-15 | 富士通株式会社 | Conversion apparatus, conversion method, and conversion program |
| JPWO2017119127A1 (en) * | 2016-01-08 | 2018-03-01 | 三菱電機株式会社 | Work support device, work learning device, and work support system |
| WO2017119127A1 (en) * | 2016-01-08 | 2017-07-13 | 三菱電機株式会社 | Work assistance device, work learning device, and work assistance system |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6677969B1 (en) | Instruction recognition system having gesture recognition function | |
| US11650659B2 (en) | User input processing with eye tracking | |
| US10248197B2 (en) | Systems and methodologies for real time eye tracking for electronic device interaction | |
| US6531999B1 (en) | Pointing direction calibration in video conferencing and other camera-based system applications | |
| US20090091650A1 (en) | Digital camera capable of appropriately discriminating the face of a person | |
| WO2017161867A1 (en) | Screen brightness adjustment method and apparatus, and intelligent terminal | |
| JPH1185452A (en) | Scroll controller | |
| JPH1185442A (en) | Information output device | |
| EP3260951A1 (en) | Information processing device, method, and program | |
| CN111543934A (en) | Vision detection method and device, electronic product and storage medium | |
| KR20120010875A (en) | Apparatus and Method for Providing Recognition Guide for Augmented Reality Object | |
| CN110007832B (en) | Information terminal device, information processing system, and computer-readable non-transitory storage medium storing display control program | |
| CN103685948A (en) | Shooting method and device | |
| US20130162518A1 (en) | Interactive Video System | |
| US11616903B2 (en) | Method and system for assisting a user who is looking at a screen of a user device | |
| US20160291804A1 (en) | Display control method and display control device | |
| JP3796019B2 (en) | Gaze detection device | |
| CN111610886A (en) | Method and device for adjusting brightness of touch screen and computer readable storage medium | |
| US10419631B2 (en) | Image display apparatus, image forming apparatus, and non-transitory computer readable medium with distance-based return process | |
| JP2010237884A (en) | Device, method, and program for controlling display | |
| JPH05298015A (en) | Glance detecting system and information processing system | |
| EP3624443A1 (en) | Surveillance device, surveillance method, computer program, and storage medium | |
| JPH05232908A (en) | Instruction input device | |
| JPH0720987A (en) | Estimation device of closely observed point | |
| JP3530348B2 (en) | Speed reading support device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20031216 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040106 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20040308 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20040406 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20040810 |