JPH0651901A - Communication equipment for glance recognition - Google Patents
Communication equipment for glance recognitionInfo
- Publication number
- JPH0651901A JPH0651901A JP4171266A JP17126692A JPH0651901A JP H0651901 A JPH0651901 A JP H0651901A JP 4171266 A JP4171266 A JP 4171266A JP 17126692 A JP17126692 A JP 17126692A JP H0651901 A JPH0651901 A JP H0651901A
- Authority
- JP
- Japan
- Prior art keywords
- display
- user
- icon
- gaze
- line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Position Input By Displaying (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は視線を検出することによ
って機械との情報通信を行なう視線認識によるコミュニ
ケーション装置に関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a communication device by line-of-sight recognition for communicating information with a machine by detecting the line of sight.
【０００２】[0002]
【従来の技術】従来、視線を検出することによって機械
との情報通信を行なう視線認識によるコミュニケーショ
ン装置としては、例えば特公昭６０−１７１２５号公報
に示されているように、眼球画像をカメラで撮影し、カ
メラの座標系における瞳孔の中心を計算により算出し、
ディスプレイの座標系への変換は、事前に行なったキャ
リブレーションデータに基づき計算し、ディスプレイ座
標上の視点を決定する方式のもの、あるいは特開平２−
１１０６２２号公報に示されているように使用者の頭部
に固定した照射部からの光を、ディスプレイ前面の受光
フィルタで受けて照射位置を決定するとともに、頭部と
ディスプレイとの間の距離を、距離測定部により測定
し、この距離データに基づき頭部の位置を決定する方式
のものが知られている。2. Description of the Related Art Conventionally, as a communication device based on visual axis recognition for performing information communication with a machine by detecting the visual axis, for example, as shown in Japanese Patent Publication No. 60-17125, an eyeball image is taken by a camera. Then, calculate the center of the pupil in the camera coordinate system by calculation,
The conversion to the coordinate system of the display is performed based on calibration data performed in advance to determine the viewpoint on the display coordinates, or JP-A-2-
As shown in Japanese Patent No. 110622, light from an irradiation unit fixed to the user's head is received by a light-receiving filter on the front of the display to determine the irradiation position, and the distance between the head and the display is determined. A method is known in which the distance is measured by a distance measuring unit and the position of the head is determined based on this distance data.
【０００３】[0003]
【発明が解決しようとする課題】前記従来の視線認識に
よるコミュニケーション装置において、カメラを用いる
前者は、カメラと使用者の頭部との相対位置関係が一定
であることを前提としているため、頭部を動かすと、カ
メラ、ディスプレイおよび頭部の位置関係が変わってし
まい、座標系変換のためのキャリブレーションを再度行
なう必要があるという問題がある。In the conventional communication device based on the line-of-sight recognition, the former using a camera is based on the premise that the relative positional relationship between the camera and the user's head is constant. When is moved, the positional relationship between the camera, the display, and the head is changed, and there is a problem in that calibration for coordinate system conversion needs to be performed again.
【０００４】一方、光の照射部を用いる後者は、照射部
が使用者の頭部に固定されているため、使用者がディス
プレイの正面に対座している限り、頭部を多少動かして
も問題はないが、使用者がディスプレイを斜めに見る位
置にいる場合には、頭部とディスプレイとの位置関係を
判別できず、誤差が大きくなるという問題がある。On the other hand, the latter, which uses the light irradiation unit, has a problem that even if the user moves his / her head a little as long as the user is sitting in front of the display, since the irradiation unit is fixed to the user's head. However, when the user is in a position where the display is viewed obliquely, there is a problem that the positional relationship between the head and the display cannot be discriminated and the error becomes large.
【０００５】また、従来の視線認識によるコミュニケー
ション装置は、いずれの方式の場合にも、機械が設定さ
れている場所に赴いてシステムを利用しなければなら
ず、例えば携帯しての使用は不可能であるという問題が
ある。Further, in any of the conventional communication devices based on line-of-sight recognition, it is necessary to go to a place where a machine is set and use the system, and for example, it is impossible to use it while carrying it. There is a problem that is.
【０００６】本発明は、このような点を考慮してなされ
たもので、システムの利用に際して、使用者の動作を拘
束することがなく、あらゆる場所で容易にシステムを利
用することができる視線認識によるコミュニケーション
装置を提供することを目的とする。The present invention has been made in consideration of such a point, and when the system is used, it is possible to easily use the system in any place without restraining the operation of the user. The purpose of the present invention is to provide a communication device.
【０００７】[0007]
【課題を解決するための手段】本発明は、前記目的を達
成する手段として、使用者に提供すべき情報を表示する
小型の表示手段と；この表示手段の表示画面前方に設置
されて表示画面を拡大する可動レンズ系と；使用者の視
線の方向を検出する眼球追跡手段と；少なくとも前記表
示手段、可動レンズ系および眼球追跡手段を、使用者の
頭部に装着固定する固定手段と；前記眼球追跡手段から
の信号および事前に行なった校正データに基づき、使用
者の注視点を表示画面上の座標点に変換する変換手段
と；前記眼球追跡手段からの信号に基づき、所定の注視
範囲に対する注視の継続時間を検出する注視時間検出手
段と；前記変換手段および注視時間検出手段からの信号
に基づき、表示画面の表示内容を制御する表示制御手段
とをそれぞれ設けたことを特徴とする。As a means for achieving the above object, the present invention provides a small-sized display means for displaying information to be provided to a user; a display screen installed in front of the display screen of the display means. A movable lens system for enlarging the eye; an eye tracking means for detecting the direction of the line of sight of the user; a fixing means for mounting and fixing at least the display means, the movable lens system and the eye tracking means on the head of the user; Conversion means for converting the gazing point of the user into coordinate points on the display screen based on the signal from the eye tracking means and the calibration data performed in advance; and for the predetermined gazing range based on the signal from the eye tracking means Gaze time detection means for detecting the duration of the gaze; and display control means for controlling the display contents of the display screen based on the signals from the conversion means and the gaze time detection means, respectively. And wherein the door.
【０００８】[0008]
【作用】本発明に係る視線認識によるコミュニケーショ
ン装置においては、小型の表示手段の表示画面が、可動
レンズ系で拡大されるとともに、眼球追跡手段により使
用者の視線の方向が検出される。そして、変換手段によ
り、使用者の注視点が、可動レンズ系で拡大された虚像
のスクリーン上の座標点に変換される。また、注視時間
検出手段により注視の継続時間が検出され、所定の注視
点に対する注視継続時間を、制御信号として用いること
により、表示画面の表示内容が制御される。このため、
目の動きのみにより表示制御を行なうことが可能とな
り、また、表示手段、可動レンズ系および眼球追跡手段
は、固定手段により使用者の頭部に固定されるので、例
えば屋外に携帯しても使用することが可能となる。In the communication device for visual line recognition according to the present invention, the display screen of the small display means is enlarged by the movable lens system, and the eye tracking means detects the direction of the user's visual line. Then, the conversion means converts the gazing point of the user into a coordinate point on the screen of the virtual image enlarged by the movable lens system. Further, the gaze duration is detected by the gaze duration detecting means, and the gaze duration for a predetermined gaze point is used as a control signal to control the display content of the display screen. For this reason,
The display control can be performed only by the movement of the eyes, and the display means, the movable lens system, and the eye tracking means are fixed to the head of the user by the fixing means. It becomes possible to do.
【０００９】[0009]
【実施例】以下、本発明の一実施例を図面を参照して説
明する。DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS An embodiment of the present invention will be described below with reference to the drawings.
【００１０】図１は、本発明に係る視線認識によるコミ
ュニケーション装置の一例を示すもので、このコミュニ
ケーション装置１は、超小型ディスプレイ装置２と、眼
球追跡装置３と、マイクロホン４と、これらを使用者５
の頭部に装着固定するための頭部固定装置６とを備えて
いる。FIG. 1 shows an example of a visual line recognition communication device according to the present invention. The communication device 1 includes a micro display device 2, an eye tracking device 3, a microphone 4, and a user of these devices. 5
Head fixing device 6 for mounting and fixing the same on the head.
【００１１】超小型ディスプレイ装置２は、ケース７内
に小型ディスプレイ８と可動レンズ９とを組付けて構成
されており、可動レンズ９を、小型ディスプレイ８に対
し遠近移動させることにより、小型ディスプレイ８の表
示画面が、虚像スクリーン１０として拡大されて使用者
５に認識されるようになっている。The ultra-small display device 2 is constructed by assembling a small display 8 and a movable lens 9 in a case 7. By moving the movable lens 9 to and from the small display 8, the small display 8 is moved. The display screen of is enlarged as the virtual image screen 10 and is recognized by the user 5.
【００１２】図２は、この超小型ディスプレイ装置２の
一例を示すもので、この超小型ディスプレイ装置２は、
ケース１１と、このケース１１内に配置された赤色ＬＥ
Ｄアレイ１２と、この赤色ＬＥＤアレイ１２からの光を
スキャンする可動ミラー１３と、赤色ＬＥＤアレイ１２
と可動ミラー１３との間に配置されピント調節のために
位置調節可能な拡大レンズ１４とから構成されており、
使用者が前記可動ミラー１３を介し赤色ＬＥＤアレイ１
２からの光を見ることにより、１２インチ相当の虚像ス
クリーンとして認識できるようになっている。FIG. 2 shows an example of this microminiature display device 2.
Case 11 and red LE arranged in this case 11
D array 12, movable mirror 13 for scanning light from red LED array 12, red LED array 12
And a movable mirror 13 and a magnifying lens 14 whose position can be adjusted for focus adjustment.
A red LED array 1 is used by the user through the movable mirror 13.
By seeing the light from 2, it is possible to recognize it as a virtual image screen equivalent to 12 inches.
【００１３】なお、超小型ディスプレイ装置２として
は、図２に示す構造のものに限らず、例えば液晶ディス
プレイとレンズ系とを組合わせて構成することもでき
る。The ultra-small display device 2 is not limited to the structure shown in FIG. 2, but may be constituted by combining a liquid crystal display and a lens system, for example.
【００１４】前記眼球追跡装置３は、例えば「強膜反射
法」と呼ばれる原理に基づく方式のものが用いられてい
る。この方式は、使用者５の眼球１５に赤外線を照射す
るとともに、その反射光を受光し、黒目と白目の反射率
に差があることを利用して眼球１５の方向、すなわち視
線１６の方向を検出するものである。この眼球追跡装置
３からの検出信号は、図１に示すように、視線角度検出
部１７および注視時間測定部１８にそれぞれ入力され、
視線角度および特定の視点１９に対する注視継続時間が
それぞれ検出されるようになっている。As the eye tracking device 3, for example, a system based on a principle called "sclera reflection method" is used. This method irradiates the eyeball 15 of the user 5 with infrared rays, receives the reflected light, and utilizes the fact that there is a difference in the reflectance of the black eye and the white eye, and thus the direction of the eyeball 15, that is, the direction of the line of sight 16 is changed. It is something to detect. The detection signal from the eye tracking device 3 is input to the line-of-sight angle detection unit 17 and the gaze time measurement unit 18, respectively, as shown in FIG.
The gaze angle and the gaze duration for the specific viewpoint 19 are respectively detected.
【００１５】視線角度検出部１７からの出力信号は、校
正制御部２０からの信号とともに視線角度・座標変換校
正値演算・保持部２１に入力されるようになっており、
視線角度・座標変換校正値演算・保持部２１からの信号
は、前記視線角度検出部１７からの出力信号とともに視
線角度・座標変換演算部２２に入力されるようになって
いる。そして、この視線角度・座標変換演算部２２によ
り、視点１９の虚像スクリーン１０上の座標点への変換
がなされるようになっている。The output signal from the line-of-sight angle detection unit 17 is input to the line-of-sight angle / coordinate conversion calibration value calculation / holding unit 21 together with the signal from the calibration control unit 20,
The signal from the line-of-sight angle / coordinate conversion calibration value calculation / holding unit 21 is input to the line-of-sight angle / coordinate conversion calculation unit 22 together with the output signal from the line-of-sight angle detection unit 17. Then, the line-of-sight angle / coordinate conversion calculation unit 22 converts the viewpoint 19 into a coordinate point on the virtual image screen 10.
【００１６】次に、視点１９の虚像スクリーン１０上の
座標点への変換方法の一例を、図３を参照して説明す
る。Next, an example of a method of converting the viewpoint 19 into coordinate points on the virtual image screen 10 will be described with reference to FIG.
【００１７】まず、視線角度の検出を行なうが、視線角
度の検出は、Ｘ成分と、Ｘ成分に直交するＹ成分とに分
けて行なう。なお、Ｘ成分、Ｙ成分とも、その検出方法
は基本的には同一であるため、以下Ｘ成分についてのみ
説明する。First, the line-of-sight angle is detected. The line-of-sight angle is detected separately for the X component and the Y component orthogonal to the X component. Since the detection method is basically the same for both the X component and the Y component, only the X component will be described below.
【００１８】視線角度の検出では、まず校正を行なう。
校正基準点を、虚像スクリーン１０左端のＡ点、中央の
Ｂ点、右端のＣ点にとる。これら各校正基準点Ａ，Ｂ，
Ｃを、虚像スクリーン１０上にアイマークポインタ等で
表示し、使用者５に各校正基準点Ａ，Ｂ，Ｃをそれぞれ
注視してもらう。そして、各校正基準点Ａ，Ｂ，Ｃにお
ける視線角度θA ，θB ，θC をそれぞれ検出する。To detect the line-of-sight angle, calibration is first performed.
The calibration reference points are set to point A at the left end of virtual image screen 10, point B at the center, and point C at the right end. Each of these calibration reference points A, B,
C is displayed on the virtual image screen 10 by an eye mark pointer or the like, and the user 5 is made to gaze at the calibration reference points A, B, and C, respectively. Then, the line-of-sight angles θ A , θ B , and θ C at the calibration reference points A, B, and C are detected, respectively.
【００１９】ここで、校正基準点Ａ，Ｂ，ＣのＸ座標を
それぞれＸA ，ＸB ，ＸC 、虚像スクリーン１０から眼
球１５までの距離をＬ、距離とＸ座標単位との比例定数
をα（だだし、Ｌ，αは未知）とすると、次式が成立す
る。Here, the X coordinates of the calibration reference points A, B, and C are X A , X B , and X C , respectively, the distance from the virtual image screen 10 to the eyeball 15 is L, and the proportional constant between the distance and the X coordinate unit. If α (however, L and α are unknown), the following equation holds.
【００２０】 （Ｌ×α×tan θC ）−（Ｌ×α×tan θB ）＝ＸC −ＸB …（１） （Ｌ×α×tan θB ）−（Ｌ×α×tan θA ）＝ＸB −ＸA …（２） これら両式より、(L × α × tan θ C ) − (L × α × tan θ B ) = X C −X B (1) (L × α × tan θ B ) − (L × α × tan θ A ) = X B −X A (2) From these two equations,
【００２１】 の式が得られ、未知であった距離Ｌと比例定数αとが
（Ｌ×α）の形で、実測の視線角度θA ，θB ，θC と
座標ＸA ，ＸB ，ＸC とによって表現される。[0021] Is obtained, and the unknown distance L and the proportional constant α are in the form of (L × α), and the measured line-of-sight angles θ A , θ B , θ C and the coordinates X A , X B , X C are obtained. Represented by
【００２２】この校正値は、視線角度・座標変換校正値
演算・保持部２１において演算された後保持され、続い
て視線角度・座標変換演算部２２においての演算に用い
られる。This calibration value is calculated and held in the line-of-sight angle / coordinate conversion calibration value calculation / holding unit 21, and subsequently used in the calculation in the line-of-sight angle / coordinate conversion calculation unit 22.
【００２３】一般の視点１９の位置をＸとし、そのとき
の視線角度をθx とすると、 （Ｌ×α×tan θx ）−（Ｌ×α×tan θB ）＝Ｘ−ＸB …（５） の式が得られる。この（５）式は、前記（３）式を代入
することにより、 Ｘ＝ＸB ＋（ＸC −ＸB ）×（tan θx −tan θB ）／ （tan θC −tan θB ） …（６） のように表わすことが可能となる。なお、測定誤差等を
考慮に入れて、θx ＞θB であれば（３）式を、θx ＜
θB であれば（４）式を適用することができる。If the position of the general viewpoint 19 is X and the line-of-sight angle at that time is θ x , then (L × α × tan θ x ) − (L × α × tan θ B ) = X−X B ( The expression of 5) is obtained. The equation (5), said by substituting equation (3), X = X B + (X C -X B) × (tan θ x -tan θ B) / (tan θ C -tan θ B) It becomes possible to express like (6). In consideration of measurement error and the like, if θ x > θ B , the equation (3) is changed to θ x <
If θ B , equation (4) can be applied.
【００２４】すなわち、実測の視線角度θA ，θB ，θ
C と校正基準点の座標ＸA ，ＸB ，ＸC を用いることに
より、任意の視点１９の位置Ｘの視線角度θx から、位
置Ｘの虚像スクリーン１０上における座標を求めること
が可能となる。また、同様の方法により、Ｙ成分の座標
も求めることが可能となり、この両者の計算を行なうこ
とで、虚像スクリーン１０上の視点１９の座標（ｘ，
ｙ）を計算することができる。That is, the measured line-of-sight angles θ A , θ B , θ
By using C and the coordinates X A , X B , and X C of the calibration reference point, the coordinates of the position X on the virtual image screen 10 can be obtained from the line-of-sight angle θ x of the position X of the arbitrary viewpoint 19. . In addition, the Y component coordinates can be obtained by the same method, and the coordinates (x, x, x) of the viewpoint 19 on the virtual image screen 10 can be calculated by performing both calculations.
y) can be calculated.
【００２５】このようにして求められた虚像スクリーン
１０上の視点１９の座標は、図１に示すように、視線角
度・座標変換演算部２２から、注視時間測定部１８から
の信号とともにアイコン制御部２４に入力されるように
なっている。The coordinates of the viewpoint 19 on the virtual image screen 10 thus obtained are, as shown in FIG. 1, from the line-of-sight angle / coordinate conversion calculating unit 22 and the signal from the gaze time measuring unit 18 together with the icon control unit. It is designed to be input to 24.
【００２６】注視時間測定部１８は、前述のように、特
定の視点に対する注視継続時間を検出するようになって
おり、例えば予め、アイコンを選択状態にするために使
用者５が意識してアイコンを注視しなければならない最
少時間、選択状態のアイコンに定義している処理を起動
させるために使用者５が意識してアイコンを注視しなけ
ればならない最少時間、あるいは選択状態のアイコンに
定義している処理を起動させるために使用者５が意識し
て目を閉じていなければならない最少時間等を決めてお
くことにより、眼球１５の動きによって画面表示内容を
制御できるようになっている。注視中の視線のふらつき
を吸収するために、注視継続時間としては視点の近傍に
設けた注視範囲内に視点が入っている時間を検出する。As described above, the gaze time measuring unit 18 is designed to detect the gaze duration for a specific viewpoint. For example, the user 5 is aware of the icon in advance in order to put it in the selected state. , The minimum time that the user 5 must be aware of in order to activate the processing defined for the selected icon, or the icon that is selected The screen display content can be controlled by the movement of the eyeball 15 by determining the minimum time or the like that the user 5 must consciously close his / her eyes in order to activate the processing. In order to absorb the fluctuation of the line of sight during gazing, as the gazing duration time, the time during which the viewpoint is within the gazing range provided near the viewpoint is detected.
【００２７】なおここで、アイコンとは、使用者５に情
報を提示したり、あるいは使用者５が情報を入力するた
めに画面上に設けられた適当な閉領域をいい、視点１９
が特定のアイコン上に移動してきたならば、使用者５へ
の視標として、視点１９にアイマークポインタが表示さ
れるとともに、視点１９が設定時間以上特定のアイコン
に留まったならば、当該アイコンが反転表示等で強調表
示され、選択されたアイコンは、他のアイコンが選択さ
れるまで有効となるようになっている。そしてこれによ
り、アイコンの境界線上に近い所での視点１９のふらつ
きや、まばたき等による検出視線位置の一時的な誤認等
によるアイコンの誤認識を避けることができるようにな
っている。Here, the icon means an appropriate closed area provided on the screen for presenting information to the user 5 or for inputting information by the user 5, and the viewpoint 19
Is moved to a specific icon, an eye mark pointer is displayed at the viewpoint 19 as a target for the user 5, and if the viewpoint 19 remains on the specific icon for a set time or longer, the icon is displayed. Is highlighted in reverse video or the like, and the selected icon is valid until another icon is selected. As a result, it is possible to avoid the erroneous recognition of the icon due to the fluctuation of the viewpoint 19 near the boundary line of the icon or the temporary misrecognition of the detected line-of-sight position due to blinking or the like.
【００２８】音声は必ずしも使用しなくてもよいが、音
声の併用がより効率的である場合には次のようにして併
用することができる。Although it is not always necessary to use the voice, the voice can be used in the following manner when the use of the voice is more efficient.
【００２９】前記マイクロホン４は、図１に示すよう
に、使用者５の口２５の近傍位置に設置され、使用者５
の音声２６を捉えるようになっている。マイクロホン４
で捉えられた音声２６は、音声認識部２７においてデー
タとして認識され、アイコン制御部２４に入力される。
そして、このアイコン制御部２４からの出力信号は、前
記校正制御部２０からの出力信号とともに画面表示制御
部２８に入力され、この画面表示制御部２８からの出力
信号により、小型ディスプレイ８の表示画面が制御され
るようになっている。The microphone 4 is installed near the mouth 25 of the user 5 as shown in FIG.
The voice 26 is captured. Microphone 4
The voice 26 captured by is recognized as data by the voice recognition unit 27 and is input to the icon control unit 24.
The output signal from the icon control unit 24 is input to the screen display control unit 28 together with the output signal from the calibration control unit 20, and the output signal from the screen display control unit 28 causes the display screen of the small display 8 to be displayed. Are controlled.
【００３０】図４は音声によるアイコンの制御方法を示
すフロチャートを示すものである。まずマイクロホン４
を用いて入力された音声は、選択状態のアイコンがある
場合、音声認識部２７において入力された音声データに
対する処理が定義されているか判断される。音声データ
に対する処理が定義されているときは、アイコン制御部
２４によりそのアイコンに定義されている音声データ入
力に対する処理が行われ、その処理信号が画面表示制御
部２８に入力され、この画面表示制御部２８により小型
ディスプレイ８の表示画面が制御される。FIG. 4 is a flow chart showing a method of controlling an icon by voice. First microphone 4
When there is an icon in the selected state in the voice input using, the voice recognition unit 27 determines whether the process for the voice data input is defined. When the process for the voice data is defined, the icon control unit 24 performs the process for the voice data input defined for the icon, and the processed signal is input to the screen display control unit 28 to control the screen display. The display screen of the small display 8 is controlled by the unit 28.
【００３１】また、音声データに対する処理が定義され
ていないときは、未定義な音声データ入力に対する処理
が行われる。また、アイコンが未選択状態で、音声デー
タに対する処理が定義されている音声が入力された場合
には、アイコン未選択状態における入力音声データに対
し定義されている処理が行われる。When the process for the voice data is not defined, the process for the undefined voice data input is performed. Further, in the case where the icon is not selected and the voice for which the process for the voice data is defined is input, the process for the input voice data in the icon unselected state is performed.
【００３２】音声によるデータ入力は、視線のように継
続的には行われないため、データ入力が発生するたびに
視線検出処理に優先して音声入力データ処理を行ない、
処理が終了した後、視線検出によるアイコン制御にデー
タ処理が引継がれる。Since the data input by voice is not continuously performed like the line of sight, the voice input data process is performed with priority over the line of sight detection process every time the data input occurs.
After the processing is completed, the data processing is handed over to the icon control by detecting the line of sight.
【００３３】図５は、視点１９の移動と注視時間による
アイコンの選択処理の手順を示すフローチャートを示す
もので、以下、図５を参照して本実施例の作用を説明す
る。FIG. 5 is a flow chart showing the procedure of the icon selection process based on the movement of the viewpoint 19 and the gaze time. The operation of this embodiment will be described below with reference to FIG.
【００３４】なお、図５において、ｔ1 は、アイコンを
選択状態にするために、使用者５が意識してアイコンを
注視しなければならない最少時間、ｔ2 は、選択状態の
アイコンに定義している処理を起動させるために、使用
者５が意識して選択状態のアイコンを注視しなければな
らない最少時間、ｔ3 は、選択状態のアイコンに定義し
ている処理を起動させるために、使用者が意識して目を
閉じなければならない最少時間である。In FIG. 5, t 1 is the minimum time that the user 5 must pay attention to the icon in order to bring it into the selected state, and t 2 is defined as the icon in the selected state. The minimum time that the user 5 has to consciously gaze at the selected icon in order to activate the processing that is being performed, t 3 is used to activate the processing defined in the selected icon. This is the minimum time for a person to consciously close his eyes.
【００３５】ステップＳ１において、視点検出がなされ
ると、ステップＳ２において、目を開けているか否かの
判別がなされる。目を開けていると判断された場合に
は、ステップＳ３において、視点１９がアイコン内であ
るか否かが判別され、アイコン内である場合には、ステ
ップＳ４において、選択状態のアイコンであるか否かが
判別される。When the viewpoint is detected in step S1, it is determined in step S2 whether or not the eyes are open. If it is determined that the eyes are open, it is determined in step S3 whether or not the viewpoint 19 is within the icon. If it is within the icon, in step S4 it is determined that the icon is in the selected state. It is determined whether or not.
【００３６】なお、目を開けているか否かの判断は、た
とえば眼球からの光の反射を見る眼球追跡装置を採用し
ている場合、目を閉じると眼球からではなく、閉じたま
ぶたからの反射光を検出するため、検出値が異常な値と
なり、これは、正常なレンジの値との比較手段を設け、
区別・判断することで解決可能である。Whether or not the eyes are open is determined by, for example, when an eye tracking device that looks at the reflection of light from the eyeball is used, when the eye is closed, the reflection is not from the eyeball but from the closed eyelid. Since it detects light, the detected value becomes an abnormal value, which is provided with a means for comparing with a value in a normal range.
It is possible to solve by distinguishing and judging.
【００３７】ステップＳ４において、選択状態のアイコ
ンであると判断された場合には、ステップＳ５におい
て、継続時間がｔ2 以上であるか否かが判別される。そ
して、ｔ2 を超えている場合には、ステップＳ６におい
て、選択状態にあるアイコンに定義された処理を起動
し、ステップＳ１に戻る。If it is determined in step S4 that the icon is in the selected state, it is determined in step S5 whether the duration is t 2 or more. Then, if t 2 is exceeded, in step S6, the process defined for the icon in the selected state is activated, and the process returns to step S1.
【００３８】一方、ステップＳ４において、選択状態の
アイコンでないと判断されたならば、ステップＳ７にお
いて、継続時間がｔ1 以上か否かが判別され、ｔ1 を超
えている場合には、ステップＳ８において、選択状態ア
イコンがあれば、そのアイコンを未選択状態に戻した
後、現在注視しているアイコンを選択状態にして、ステ
ップＳ１に戻る。On the other hand, if it is determined in step S4 that the icon is not in the selected state, it is determined in step S7 whether or not the duration is t 1 or more. If t 1 is exceeded, step S8 is performed. If there is a selected state icon, the icon is returned to the unselected state, the currently watched icon is set to the selected state, and the process returns to step S1.
【００３９】また、ステップＳ２において、目を閉じて
いると判断されたならば、ステップＳ９において、選択
状態のアイコンがあるか否かが判別され、選択状態のア
イコンがある場合には、ステップＳ１０において、継続
時間がｔ3 以上であるか否かが判別される。If it is determined in step S2 that the eyes are closed, it is determined in step S9 whether or not there is an icon in the selected state. If there is an icon in the selected state, step S10 is performed. At, it is determined whether the duration is t 3 or more.
【００４０】ステップＳ１０において、ｔ3 を超えてい
ると判断された場合には、ステップＳ１１において、選
択されているアイコンに定義された処理を起動した後、
ステップＳ１に戻る。If it is determined in step S10 that t 3 is exceeded, in step S11, after the process defined for the selected icon is activated,
Return to step S1.
【００４１】このように、眼球１５の動きを追跡して、
虚像スクリーン１０上の視点１９の座標を求め、その視
点１９の注視継続時間と音声とを用いて、画面表示を制
御するようにしているので、操作に両手を必要としな
い。また、コミュニケーション装置１は、頭部固定装置
６により使用者５の頭部に固定されるので、頭部を動か
しても問題がなく、移動しながらでも、また全く身体を
動かさなくても、操作することができる。このため、コ
ンピュータに限らず、様々な入力装置、情報表示・検索
装置を、自由な姿勢で制御できる装置を実現することが
できる。また、データ入力に音声を併用することもでき
るので、小型ディスプレイ８の限られた面積を、より有
効に利用することができる。In this way, by tracking the movement of the eyeball 15,
Since the coordinates of the viewpoint 19 on the virtual image screen 10 are obtained and the gaze duration and the sound of the viewpoint 19 are used to control the screen display, both hands are not required for the operation. Moreover, since the communication device 1 is fixed to the head of the user 5 by the head fixing device 6, there is no problem even if the head is moved, and the communication device 1 can be operated even while moving or without moving the body at all. can do. Therefore, it is possible to realize a device that can control various input devices and information display / search devices in any posture, not limited to computers. Moreover, since voice can be used together for data input, the limited area of the small display 8 can be used more effectively.
【００４２】本実施例に係るコミュニケーション装置１
は例えば次のような場合にでも使用することができる。Communication device 1 according to the present embodiment
Can be used, for example, in the following cases.
【００４３】即ち、本実施例に係るコミュニケーション
装置１を新しい電子メディアとして用いることにより、
例えば満員電車の中などでも新聞や雑誌を読むことがで
き、時間の有効活用が可能となる。That is, by using the communication device 1 according to this embodiment as a new electronic medium,
For example, you can read newspapers and magazines even in a crowded train, and you can use your time effectively.
【００４４】また、本実施例に係るコミュニケーション
装置１を健康モニタとして利用し、運動するときには各
種センサとともに身体に装置し、体調をリアルタイムで
モニタリングすることにより、運動の適正量を容易に把
握することができる。また、運動の記録計や運動のペー
スメーカーとしても利用できる。Further, the communication device 1 according to the present embodiment is used as a health monitor, and when exercising, it is mounted on the body together with various sensors and the physical condition is monitored in real time, so that the proper amount of exercise can be easily grasped. You can It can also be used as an exercise recorder and exercise pacemaker.
【００４５】さらに、本実施例に係るコミュニケーショ
ン装置１を寝たきり老人や身障者、あるいは病院に入院
中の人などの生活補助具として用い、目で打つワープロ
やリモートコントローラとして使用することにより、他
人とのコミュニケーションの強化や、より利便性のある
生活を営むことができる。Further, the communication device 1 according to the present embodiment is used as a life support tool for bedridden elderly people, people with disabilities, people who are hospitalized, etc. You can strengthen communication and live a more convenient life.
【００４６】[0046]
【発明の効果】以上説明したように本発明は、少なくと
も表示手段、可動レンズ系、および眼球追跡手段が、固
定手段により使用者の頭部に装着固定されるので、シス
テムの利用に際して、使用者の動作を拘束することがな
く、あらゆる場所で容易にシステムを利用することがで
きる。また、所定の注視点に対する注視の継続時間によ
って、表示画面の表示内容を制御することができるの
で、歩行中等、両手が使えない場合であっても、システ
ムを利用することができる。また、必要であれば音声も
併用して表示画面の表示内容を制御することができる。As described above, according to the present invention, at least the display means, the movable lens system, and the eye tracking means are mounted and fixed on the head of the user by the fixing means. The system can be easily used everywhere without restricting the operation of. Further, since the display content of the display screen can be controlled by the duration of the gaze with respect to a predetermined gaze point, the system can be used even when both hands cannot be used, such as while walking. If necessary, voice can be used together to control the display content of the display screen.
【図１】本発明の一実施例に係る視線認識によるコミュ
ニケーション装置を示す構成図。FIG. 1 is a configuration diagram showing a communication device by line-of-sight recognition according to an embodiment of the present invention.
【図２】超小型ディスプレイ装置の一例を示す構成図。FIG. 2 is a block diagram showing an example of a microminiature display device.
【図３】視線角度から視点の虚像スクリーン上の座標を
求める方法を示す説明図。FIG. 3 is an explanatory diagram showing a method of obtaining coordinates of a viewpoint on a virtual image screen from a line-of-sight angle.
【図４】音声入力によりアイコンを制御する方法を示す
フロチャート。FIG. 4 is a flowchart showing a method of controlling an icon by voice input.
【図５】視点の移動と注視時間によるアイコンの選択処
理の手順を示すフローチャート。FIG. 5 is a flowchart showing a procedure of icon selection processing based on viewpoint movement and gaze time.
１ コミュニケーション装置 ２ 超小型ディスプレイ装置 ３ 眼球追跡装置 ４ マイクロホン ５ 使用者 ６ 頭部固定装置 ８ 小型ディスプレイ ９ 可動レンズ １５ 眼球 １６ 視線 １７ 視線角度検出部 １８ 注視時間測定部 １９ 視点 ２０ 校正制御部 ２１ 視線角度・座標変換校正値保持部 ２２ 視線角度・座標変換演算部 ２４ アイコン制御部 ２６ 音声 ２７ 音声認識部 ２８ 画面表示制御部 1 Communication Device 2 Ultra-small Display Device 3 Eye Tracking Device 4 Microphone 5 User 6 Head Fixing Device 8 Small Display 9 Movable Lens 15 Eyeball 16 Line of Sight 17 Line of Sight Angle Detection Unit 18 Gaze Time Measurement Unit 19 Viewpoint 20 Calibration Control Unit 21 Line of Sight Angle / coordinate conversion calibration value storage unit 22 Line-of-sight angle / coordinate conversion calculation unit 24 Icon control unit 26 Voice 27 Voice recognition unit 28 Screen display control unit
Claims (1)
表示手段と；この表示手段の表示画面前方に設置されて
表示画面を拡大する可動レンズ系と；使用者の視線の方
向を検出する眼球追跡手段と；少なくとも前記表示手
段、可動レンズ系および眼球追跡手段を、使用者の頭部
に装着固定する固定手段と；前記眼球追跡手段からの信
号および事前に行なった校正データに基づき、使用者の
注視点を表示画面上の座標点に変換する変換手段と；前
記眼球追跡手段からの信号に基づき、所定の注視範囲に
対する注視の継続時間を検出する注視時間検出手段と；
前記変換手段および注視時間検出手段からの信号に基づ
き、表示画面の表示内容を制御する表示制御手段と；を
具備することを特徴とする視線認識によるコミュニケー
ション装置。1. A small-sized display means for displaying information to be provided to a user; a movable lens system installed in front of the display screen of the display means for enlarging the display screen; and a direction of the line of sight of the user is detected. Eyeball tracking means for performing; at least the display means, the movable lens system and the eyeball tracking means are fixed to the user's head by fixing; and based on a signal from the eyeball tracking means and calibration data performed in advance, Conversion means for converting the user's gaze point into coordinate points on the display screen; gaze time detection means for detecting a gaze duration for a predetermined gaze range based on the signal from the eye tracking means;
And a display control means for controlling display contents of a display screen based on signals from the conversion means and the gaze time detection means.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4171266A JPH0651901A (en) | 1992-06-29 | 1992-06-29 | Communication equipment for glance recognition |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP4171266A JPH0651901A (en) | 1992-06-29 | 1992-06-29 | Communication equipment for glance recognition |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0651901A true JPH0651901A (en) | 1994-02-25 |
Family
ID=15920145
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP4171266A Pending JPH0651901A (en) | 1992-06-29 | 1992-06-29 | Communication equipment for glance recognition |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0651901A (en) |
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0883093A (en) * | 1994-09-14 | 1996-03-26 | Canon Inc | Voice recognition device and information processing device using the voice recognition device |
| JPH08266576A (en) * | 1995-03-30 | 1996-10-15 | Takesumi Doi | Intention transmitting device by eye-ball motion |
| JPH08272517A (en) * | 1995-03-28 | 1996-10-18 | Sanyo Electric Co Ltd | Device and method for selecting sight line correspondence and information processor |
| JPH08297536A (en) * | 1995-04-26 | 1996-11-12 | Sharp Corp | Head mount type display unit |
| JPH0915483A (en) * | 1995-06-27 | 1997-01-17 | Canon Inc | Equipment provided with line-of-sight detecting means |
| JPH09114543A (en) * | 1995-10-02 | 1997-05-02 | Xybernaut Corp | Handfree computer system |
| JPH09212287A (en) * | 1996-02-07 | 1997-08-15 | Nec Corp | Visual point input device |
| JPH10105285A (en) * | 1996-08-29 | 1998-04-24 | Xybernaut Corp | Separable computer structure |
| JP2000148336A (en) * | 1998-08-31 | 2000-05-26 | Sony Corp | Device and method for processing image and image processing program medium |
| JP2000347596A (en) * | 1998-08-31 | 2000-12-15 | Semiconductor Energy Lab Co Ltd | Portable information processing system |
| JP2002041234A (en) * | 2000-05-09 | 2002-02-08 | Intel Corp | Micro-display system with function to detect object of stare |
| JP2009217834A (en) * | 1998-08-31 | 2009-09-24 | Sony Corp | Device and method for processing image and image processing program medium |
| WO2009150747A1 (en) * | 2008-06-13 | 2009-12-17 | パイオニア株式会社 | Sight line input user interface unit, user interface method, user interface program, and recording medium with user interface program recorded |
| JP2012022632A (en) * | 2010-07-16 | 2012-02-02 | Canon Inc | Information processing apparatus and control method thereof |
| JPWO2013021458A1 (en) * | 2011-08-09 | 2015-03-05 | パイオニア株式会社 | Mixed reality device |
| JP2015049721A (en) * | 2013-09-02 | 2015-03-16 | ソニー株式会社 | Information processor, information processing method and program |
| WO2015125274A1 (en) * | 2014-02-21 | 2015-08-27 | 三菱電機株式会社 | Speech recognition device, system, and method |
| JP2017041019A (en) * | 2015-08-18 | 2017-02-23 | 株式会社コロプラ | Head-mounted display system control program |
| JP2017191377A (en) * | 2016-04-11 | 2017-10-19 | 株式会社バンダイナムコエンターテインメント | Simulation control apparatus and simulation control program |
| JP2018515817A (en) * | 2015-03-20 | 2018-06-14 | フェイスブック，インク． | How to improve control by combining eye tracking and speech recognition |
| JP2020061186A (en) * | 2020-01-06 | 2020-04-16 | 株式会社バンダイナムコエンターテインメント | Simulation control device and simulation control program |
| WO2020105349A1 (en) | 2018-11-20 | 2020-05-28 | ソニー株式会社 | Information processing device and information processing method |
| CN111694434A (en) * | 2020-06-15 | 2020-09-22 | 掌阅科技股份有限公司 | Interactive display method of electronic book comment information, electronic equipment and storage medium |
| US11809535B2 (en) | 2019-12-23 | 2023-11-07 | Intel Corporation | Systems and methods for multi-modal user device authentication |
| US11966268B2 (en) | 2019-12-27 | 2024-04-23 | Intel Corporation | Apparatus and methods for thermal management of electronic user devices based on user activity |
| US12026304B2 (en) | 2019-03-27 | 2024-07-02 | Intel Corporation | Smart display panel apparatus and related methods |
-
1992
- 1992-06-29 JP JP4171266A patent/JPH0651901A/en active Pending
Cited By (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0883093A (en) * | 1994-09-14 | 1996-03-26 | Canon Inc | Voice recognition device and information processing device using the voice recognition device |
| JPH08272517A (en) * | 1995-03-28 | 1996-10-18 | Sanyo Electric Co Ltd | Device and method for selecting sight line correspondence and information processor |
| JPH08266576A (en) * | 1995-03-30 | 1996-10-15 | Takesumi Doi | Intention transmitting device by eye-ball motion |
| JPH08297536A (en) * | 1995-04-26 | 1996-11-12 | Sharp Corp | Head mount type display unit |
| JPH0915483A (en) * | 1995-06-27 | 1997-01-17 | Canon Inc | Equipment provided with line-of-sight detecting means |
| JPH09114543A (en) * | 1995-10-02 | 1997-05-02 | Xybernaut Corp | Handfree computer system |
| JPH09212287A (en) * | 1996-02-07 | 1997-08-15 | Nec Corp | Visual point input device |
| JPH10105285A (en) * | 1996-08-29 | 1998-04-24 | Xybernaut Corp | Separable computer structure |
| JP2000148336A (en) * | 1998-08-31 | 2000-05-26 | Sony Corp | Device and method for processing image and image processing program medium |
| JP2000347596A (en) * | 1998-08-31 | 2000-12-15 | Semiconductor Energy Lab Co Ltd | Portable information processing system |
| JP2009217834A (en) * | 1998-08-31 | 2009-09-24 | Sony Corp | Device and method for processing image and image processing program medium |
| JP4674644B2 (en) * | 1998-08-31 | 2011-04-20 | ソニー株式会社 | Image processing apparatus, image processing method, and image processing program medium |
| JP2002041234A (en) * | 2000-05-09 | 2002-02-08 | Intel Corp | Micro-display system with function to detect object of stare |
| WO2009150747A1 (en) * | 2008-06-13 | 2009-12-17 | パイオニア株式会社 | Sight line input user interface unit, user interface method, user interface program, and recording medium with user interface program recorded |
| JPWO2009150747A1 (en) * | 2008-06-13 | 2011-11-10 | パイオニア株式会社 | User interface device by line-of-sight input, user interface method, user interface program, and recording medium on which user interface program is recorded |
| JP2012022632A (en) * | 2010-07-16 | 2012-02-02 | Canon Inc | Information processing apparatus and control method thereof |
| JPWO2013021458A1 (en) * | 2011-08-09 | 2015-03-05 | パイオニア株式会社 | Mixed reality device |
| JP2015049721A (en) * | 2013-09-02 | 2015-03-16 | ソニー株式会社 | Information processor, information processing method and program |
| US10180718B2 (en) | 2013-09-02 | 2019-01-15 | Sony Corporation | Information processing apparatus and information processing method |
| US9939894B2 (en) | 2013-09-02 | 2018-04-10 | Sony Corporation | Information processing to operate a display object based on gaze information |
| WO2015125274A1 (en) * | 2014-02-21 | 2015-08-27 | 三菱電機株式会社 | Speech recognition device, system, and method |
| JP5925401B2 (en) * | 2014-02-21 | 2016-05-25 | 三菱電機株式会社 | Speech recognition apparatus, system and method |
| JP2018515817A (en) * | 2015-03-20 | 2018-06-14 | フェイスブック，インク． | How to improve control by combining eye tracking and speech recognition |
| JP2017041019A (en) * | 2015-08-18 | 2017-02-23 | 株式会社コロプラ | Head-mounted display system control program |
| JP2017191377A (en) * | 2016-04-11 | 2017-10-19 | 株式会社バンダイナムコエンターテインメント | Simulation control apparatus and simulation control program |
| WO2020105349A1 (en) | 2018-11-20 | 2020-05-28 | ソニー株式会社 | Information processing device and information processing method |
| US11900931B2 (en) | 2018-11-20 | 2024-02-13 | Sony Group Corporation | Information processing apparatus and information processing method |
| US12026304B2 (en) | 2019-03-27 | 2024-07-02 | Intel Corporation | Smart display panel apparatus and related methods |
| US11809535B2 (en) | 2019-12-23 | 2023-11-07 | Intel Corporation | Systems and methods for multi-modal user device authentication |
| US11966268B2 (en) | 2019-12-27 | 2024-04-23 | Intel Corporation | Apparatus and methods for thermal management of electronic user devices based on user activity |
| JP2020061186A (en) * | 2020-01-06 | 2020-04-16 | 株式会社バンダイナムコエンターテインメント | Simulation control device and simulation control program |
| CN111694434A (en) * | 2020-06-15 | 2020-09-22 | 掌阅科技股份有限公司 | Interactive display method of electronic book comment information, electronic equipment and storage medium |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0651901A (en) | Communication equipment for glance recognition | |
| US6421064B1 (en) | System and methods for controlling automatic scrolling of information on a display screen | |
| US6603491B2 (en) | System and methods for controlling automatic scrolling of information on a display or screen | |
| US6478425B2 (en) | System and method for automatically adjusting a lens power through gaze tracking | |
| US6394602B1 (en) | Eye tracking system | |
| US20110242486A1 (en) | Autism diagnosis support apparatus | |
| JP2006023953A (en) | Information display system | |
| JP4537901B2 (en) | Gaze measurement device, gaze measurement program, and gaze calibration data generation program | |
| JPWO2009019760A1 (en) | Moving body detection apparatus, moving body detection method, pointing device, computer program, and storage medium | |
| US20170300119A1 (en) | Intra-oral imaging using operator interface with gesture recognition | |
| CN109634431B (en) | Medium-free floating projection visual tracking interaction system | |
| JP3272906B2 (en) | Gaze direction detecting method and apparatus and man-machine interface apparatus including the same | |
| JP2005253778A (en) | Visual axis detecting method and device | |
| US11624907B2 (en) | Method and device for eye metric acquisition | |
| JPH09167049A (en) | Line of sight input device for console | |
| JPH0720987A (en) | Estimation device of closely observed point | |
| JP2006059147A (en) | Computer input method and device | |
| CN114740966A (en) | Multi-modal image display control method and system and computer equipment | |
| KR20190108909A (en) | System and method for measurement of visual acuity based on the analysis of user eye movements | |
| JP2001061785A (en) | Detection of sight line and apparatus therefor | |
| JP2991134B2 (en) | Attention point detection system on screen | |
| CN107870708A (en) | Image display device, image processing system and method for displaying image | |
| JPH11184621A (en) | Line of sight input device | |
| EP0933720A2 (en) | Input apparatus for the physically handicapped | |
| Wilder et al. | Eye tracking in virtual environments |