JPH10187334A - Information inputting method, information inputting device and information inputting recording medium - Google Patents

Information inputting method, information inputting device and information inputting recording medium

Info

Publication number
JPH10187334A
JPH10187334A JP8356505A JP35650596A JPH10187334A JP H10187334 A JPH10187334 A JP H10187334A JP 8356505 A JP8356505 A JP 8356505A JP 35650596 A JP35650596 A JP 35650596A JP H10187334 A JPH10187334 A JP H10187334A
Authority
JP
Japan
Prior art keywords
information
input
means
device
selection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP8356505A
Other languages
Japanese (ja)
Inventor
Masakazu Fujiki
Toshiichi Oshima
Hiroyuki Yamamoto
登志一 大島
裕之 山本
真和 藤木
Original Assignee
Canon Inc
キヤノン株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc, キヤノン株式会社 filed Critical Canon Inc
Priority to JP8356505A priority Critical patent/JPH10187334A/en
Publication of JPH10187334A publication Critical patent/JPH10187334A/en
Application status is Pending legal-status Critical

Links

Abstract

PROBLEM TO BE SOLVED: To perform an information input without closely observing a fixed area for a long time by deciding the selection of a selection element on a screen which is closely observed by a device observer when his blinking operation is detected by outputting a signal that determines an information input.
SOLUTION: A line of sight detector 101 measures the position of a cornea reflected image of infrared light and detects the direction of a line of sight, and a blink detector 102 detects the existence of the cornea reflected image of the infrared light and detects whether the eyelids of a user are closed. The detector 101 discriminates whether the device user closely observes a selection element by showing the selection element on a display 103. When it is discriminated that he closely observes the selection element, the detector 102 discriminates whether the user performs a blinking operation, and when it is discriminated that he performs the blinking operation, an input defined signal that shows that the input of information corresponding to the selection element is decided is sent through an inputting and outputting part 104 to/from an external device.
COPYRIGHT: (C)1998,JPO

Description

【発明の詳細な説明】 DETAILED DESCRIPTION OF THE INVENTION

【0001】 [0001]

【発明の属する技術分野】本発明は、計算機に情報を入力する手法および装置等に関するものであり、特に情報入力における入力確定処理に関するものである。 The present invention relates generally relates to methods and apparatus such as for inputting information to the computer, to an input confirmation process in particular information input.

【0002】 [0002]

【従来の技術】従来より、ディスプレイ上にボタンやメニュー(以下、選択要素と記す)を描画し、マウス等のポインティングデバイスを用いて、それらを選択することにより、選択要素に予め割当てられたデータを計算機に入力したり、予め設定された処理を計算機に開始させるなどの情報入力方法が考案されている。 Conventionally, buttons and menus (hereinafter, referred to as selection element) on the display draws a, using a pointing device such as a mouse, by selecting them, pre-assigned data to the selected element the or input to the computer, the information input method, such as to start the pre-set processing to the computer have been devised. このような情報入力方法は、GUI(グラフィカル・ユーザ・インターフェース)と呼ばれる技術の一部を構成するものである。 Such information input method, and constitutes a part of a technique called GUI (graphical user interface).

【0003】また、特に音符を入力する方法としては、 [0003] In addition, as a method for particular input a note,
楽器と同様の形状・機能を持つMIDI(MUSICA MIDI having the same shape and function and instruments (MUSICA
L INSTRUMENT DIGITAL INTE L INSTRUMENT DIGITAL INTE
RFACE:電子楽器間のデジタル・インターフェース)インターフェースを備えた入力デバイスを手や足で操作して、音符を順次選択するもの等があった。 RFACE: operating in hands or feet input device with a digital interface) interface between electronic musical instruments, there was like those which sequentially selects the note.

【0004】一方、従来より、視線方向を計測する視線検出方法および視線検出装置といったものがあり、視線検出方法としては、例えば、眼球に向けて照射した赤外光が角膜表面で反射した反射光(プルキニエ像)の位置を測定するもの等が提案されている。 On the other hand, conventionally, there are things like visual line detection method and the visual axis detection unit for measuring a gaze direction, the sight line detection method, for example, reflected light infrared light irradiated toward the eye is reflected by the corneal surface such as those for measuring the positions of the (Purkinje image) has been proposed.

【0005】更に、瞼が閉じている状態すなわち瞬きを検出する方法も考案されていて、瞬き検出の1つの方法としては、プルキニエ像の有無を検出するものがあり、 Furthermore, it has been devised a method of detecting a state or blinking eyelid is closed, as a way of blink detection, it is intended to detect the presence or absence of Purkinje image,
情報入力に用いられている。 It has been used in the information input.

【0006】 [0006]

【発明が解決しようとする課題】しかしながら、上記従来例では、GUI技術を用いた情報入力装置で使用するポインティングデバイス(例えば、マウス)は、手足の動作が不自由な使用者にとって操作が不可能であるか、 [SUMMARY OF THE INVENTION However, in the conventional example, pointing devices used in the information input device using a GUI techniques (e.g., mice) can not be operated for limbs operation Disabled user or it is,
あるいは操作が非常に困難であるという問題点があった。 Or the operation there was a problem that it is very difficult. 更に、装置使用者が健常者であっても、手や足で他の機器を操作するなどの理由によりポインティングデバイスを使用できない場合には、情報入力を行うことができないという問題があった。 Furthermore, device user even healthy person, if it can not use a pointing device for reasons such as to operate the other devices by hand or foot, there is a problem that it is impossible to perform information input.

【0007】これらの問題を解決するには、視線検出装置を用いた視線入力による情報入力装置が有効であるが、この種の装置として、例えば、眼前に配置したディスプレイ画面に選択要素を表示し、選択要素が存在する領域(以下、選択領域と呼ぶ)内に装置使用者の視線が向いているかどうかを検出して、選択領域内に視線が持続して向いている時間が予め設定したしきい値を超えた場合に、装置使用者が選択要素を注視したと判定して、 [0007] To solve these problems, although the information input device by line-of-sight input using the line-of-sight detecting device is effective, as this type of apparatus, for example, to display the selected element on the display screen disposed in front of the eyes , a region where the selection element exists (hereinafter, referred to as a selected region) to detect whether the line of sight of a device user within the facing, to the time that is oriented to sustained gaze within the selection region is set in advance if it exceeds the threshold, it is determined that the device user has watched the selected element,
注視した選択領域の情報が選択され、計算機に確定入力される情報入力装置を構成することが可能である。 Information gaze the selected area is selected, it is possible to configure the computer to the information input device to be confirmation input.

【0008】但し、この場合は、装置使用者の注視している時間を計る注視時間しきい値を小さな値に設定すると、例えば、無意識に選択要素を眺めた場合でも選択要素を注視したと装置が誤認識し、装置使用者が意図しない情報入力が行われる可能性があるという問題がある。 [0008] However, in this case, setting the gaze time threshold for measuring the time during which the gaze of the device user to a small value, for example, to watch the selected element even when viewed unintentionally selected element device there erroneously recognized, there is a problem that a device user might unintended information input is performed.

【0009】一方、注視時間のしきい値を大きな値に設定すれば、注視に関する誤判定の可能性は減少するものの、情報を入力するために選択領域を長時間凝視する必要があり、装置使用者に苦痛を与えるという問題がある。 On the other hand, by setting the threshold of the fixed time to a large value, the possibility of erroneous determination regarding gaze although reduced, it is necessary for a long time staring at selected areas in order to input information, device used there is a problem of giving pain to the person.

【0010】また、人間の眼球は常に微動しているため、装置使用者が選択領域を意識的に注視した場合でも、短時間の間に視線位置が選択領域外部に移動する可能性が高い。 Further, since the human eye is constantly fine movement, even when the device user has watched the selected region consciously likely viewpoint position in a short time to move to a selected area outside. この場合、持続して選択要素を注視している時間が注視時間しきい値を超えないため、装置使用者の意図に反して情報入力が行われない可能性がある。 In this case, since the time gazing at the selected element sustained does not exceed the fixed time threshold, there is a possibility that, contrary to the intention of the user of the apparatus information input not performed. かといって、注視時間しきい値を単に増加したのでは、情報入力にかかる時間が増加してしまうという問題がある。 To say whether, of simply increased the gaze time threshold, the time required for the information input there is a problem that increases.

【0011】依って、請求項1又は2に記載の発明の目的は、情報入力のため視線をポインティングデバイスとして用いる場合に、一定の領域を長時間凝視する苦痛を受けること無く、装置使用者の意図を確実に反映して情報入力を行い、且つ情報入力にかかる時間を少なくすることができる情報入力方法を提供することにある。 [0011] Depending, object of the invention according to claim 1 or 2, in the case of using a line of sight for information input as a pointing device, without undergoing painful for a long time staring at certain regions, the device user performed reliably reflect to the information input intention, and to provide an information input method can reduce the time required for data input.

【0012】更に、請求項3,4および請求項7,8, Furthermore, according to claim 3, 4 and claims 7 and 8,
9に記載の発明の目的は、情報入力のため視線をポインティングデバイスとして用いる場合に、一定の領域を長時間凝視する苦痛を受けること無く、装置使用者の意図を確実に反映して情報入力を行い、且つ情報入力にかかる時間も少なくすることができる情報入力装置を提供することにある。 The purpose of the invention is described in 9, in the case of using a line of sight for information input as a pointing device, without undergoing painful for a long time staring at a fixed area, reliably reflect to the information input of the intention of the user of the apparatus performs is to provide an information input device which can be less time required and information input.

【0013】更に、請求項5又は6に記載の発明の目的は、情報入力のため視線をポインティングデバイスとして用いる場合に、一定の領域を長時間凝視する苦痛を受けること無く、装置使用者の意図を確実に反映して情報入力を行い、且つ情報入力にかかる時間も少なくすることができるプログラムコードを格納した情報入力用記憶媒体を提供することにある。 Furthermore, object of the invention according to claim 5 or 6, in the case of using a line of sight for information input as a pointing device, without undergoing painful for a long time staring at certain areas, the intention of the user of the apparatus the reliably reflect performs information input, and to provide an information input storage medium storing a program code that can be less time required for data input.

【0014】更に、請求項10又は11に記載の発明の目的は、手足の動作が不自由な装置使用者の場合、あるいは健常者でも手又は足で他の機器を操作する等の理由で、キーボード等の手足の動作を必要とする入力デバイスを使用できない場合にも、手軽に情報入力を行うことができる情報入力方法を提供することにある。 Furthermore, object of the invention according to claim 10 or 11, for reasons such as limb if the action is impaired device user, or to operate the other devices also hand or foot in a healthy person, If you can not use an input device that requires the operation of the limb, such as a keyboard it is also to provide an information input method can be performed easily information input.

【0015】更に、請求項12又は13および16に記載の発明の目的は、手足の動作が不自由な装置使用者の場合、あるいは健常者でも手又は足で他の機器を操作する等の理由で、キーボード等の手足の動作を必要とする入力デバイスを使用できない場合にも、手軽に情報入力を行うことができる情報入力装置を提供することにある。 Furthermore, the reason for such purposes of the invention according to claim 12 or 13 and 16, if the limb operation Disabled device user, or to operate the other devices also hand or foot in healthy persons in, if it can not use an input device that requires the operation of the limb, such as a keyboard is also to provide an information input device capable of performing easily the information input.

【0016】更に、請求項14又は15に記載の発明の目的は、手足の動作が不自由な装置使用者の場合、あるいは健常者でも手又は足で他の機器を操作する等の理由で、キーボード等の手足の動作を必要とする入力デバイスを使用できない場合にも、情報入力を行うことができるプログラムコードを格納した情報入力用記憶媒体を提供することにある。 Furthermore, object of the invention according to claim 14 or 15, for reasons such as limb if the action is impaired device user, or to operate the other devices also hand or foot in a healthy person, If you can not use an input device that requires the operation of the limb, such as a keyboard is also to provide an information input storage medium storing a program code capable of performing information input.

【0017】 [0017]

【課題を解決するための手段】本出願に係る発明の目的を実現する構成は、請求項1に記載のように、選択要素の画像を表示装置に表示する選択要素表示機能と、前記選択要素に一意に割り当てられた画面上の領域を装置使用者が注視したか判定する注視検出機能と、前記装置使用者の閉瞼動作を検出する閉瞼検出機能と、情報の入力を確定するための信号を出力する入力確定機能とを有して、装置使用者が注視した画面上の選択要素の選択を、 Configuration for realizing the object of the invention according to this application SUMMARY OF THE INVENTION, as set forth in claim 1, and a selection element display function for displaying an image of the selected element on the display device, the selection element uniquely and determining gaze detection or assigned a device user an area on the screen is watched, and eyelid closure detection function for detecting the eyelid closure behavior of the device user, for fixing the input of information to the and an input confirmation function of outputting a signal, the selection of the selected element on the screen device user has gaze,
前記装置使用者の閉瞼動作を検出したら情報入力を確定するための信号を出力して確定することを特徴とする情報入力方法にある。 In the information input and wherein the determining to output the signal for determining the information input upon detection of eyelid closure behavior of the device user.

【0018】この構成によれば、画面上に表示した選択要素を装置使用者が注視したと判定した後、装置使用者の閉瞼動作を検出したら選択実行が行われたものとして、情報入力を確定する信号を出力し選択を確定することができる。 According to this configuration, after it is determined that the selection element displayed on the screen device user was watching, as when detecting the eyelid closure behavior of the device user selects execution has been performed, the information input It outputs a confirmation signal can confirm the selection.

【0019】本出願に係る発明の目的を実現する他の構成は、請求項2に記載のように、請求項1記載の情報入力方法において、選択要素の属性を設定する属性設定機能を有し、選択要素の選択および情報の入力の確定を視覚的に確認できることを特徴とする情報入力方法にある。 [0019] Another configuration for realizing the object of the invention according to this application, as described in claim 2, in the information inputting method according to claim 1, further comprising an attribute setting function that sets an attribute of the selected element , in the information input method characterized by visually confirming the determination of input selection and information of the selected element.

【0020】この構成によれば、画面上に表示する選択要素を、非選択、選択、確定等の状態に応じて属性を変えて表示するようにして、選択要素の選択および情報の入力の確定を視覚的に確認することで、より明確に実行することができる。 According to this configuration, the selection element to be displayed on the screen, the non-selected, selected, be displayed by changing the attributes in accordance with the state of the deterministic etc., determination of the input selection and information of the selected element the by visually confirm, can be performed more clearly.

【0021】本出願に係る発明の目的を実現する他の構成は、請求項3に記載のように、選択要素の画像を表示装置に表示する選択要素表示手段と、前記選択要素に一意に割り当てられた画面上の領域を装置使用者が注視したか判定する注視検出手段と、装置使用者の閉瞼動作を検出する閉瞼検出手段と、情報の入力を確定するための信号を出力する入力確定手段とを備えたことを特徴とする情報入力装置にある。 [0021] Another configuration for realizing the object of the invention according to this application, as described in claim 3, the selection element display means for displaying an image of the selected element on the display device, uniquely assigned to the selected element and determining gaze detection means or regions apparatus user on the screen is watched that is, the eyelid closure detection means for detecting the eyelid closure behavior of the device user, the input to output a signal for fixing the input of the information in the information input apparatus being characterized in that a determining means.

【0022】この構成によれば、画面上に表示した選択要素を装置使用者が注視したと判定した後、装置使用者の閉瞼動作を検出したら選択実行が行われたものとして、情報入力を確定する信号を出力し選択を確定することができる。 According to this configuration, after it is determined that the selection element displayed on the screen device user was watching, as when detecting the eyelid closure behavior of the device user selects execution has been performed, the information input It outputs a confirmation signal can confirm the selection.

【0023】本出願に係る発明の目的を実現する他の構成は、請求項4に記載のように、請求項3記載の情報入力装置において、選択要素の属性を設定する属性設定手段を備えたことを特徴とする情報入力装置にある。 [0023] Another configuration for realizing the object of the invention according to this application, as described in claim 4, in the information input device according to claim 3, wherein, with an attribute setting means for setting an attribute of the selected element in the information input device, characterized in that.

【0024】この構成によれば、画面上に表示する選択要素を、非選択、選択、確定などのような状態に応じて属性を変えて表示するようにして、選択要素の選択および情報の入力の確定を視覚的に確認することで、より明確に実行することができる。 According to this configuration, the selection element to be displayed on the screen, the non-selected, selected, be displayed by changing the attributes in accordance with the state, such as confirmation input selection and information of the selected element by checking the deterministic visually, it can be performed more clearly.

【0025】本出願に係る発明の目的を実現する他の構成は、請求項5に記載のように、計算機で読むことのできるプログラムコード手段を格納し情報入力を行うことが可能な記憶媒体において、選択要素の画像を表示装置に表示する機能と、前記選択要素に一意に割り当てられた画面上の領域を装置使用者が注視したか判定する機能と、装置使用者の閉瞼動作を検出する機能と、情報の入力を確定するための信号を出力する機能を含むプログラムコード手段を格納することを特徴とする情報入力用記憶媒体にある。 [0025] Another configuration for realizing the object of the invention according to this application, as described in claim 5, in the storage medium which can perform storage and information input program code means which can be read by the computer detects the function of displaying the image of the selected element on the display device, and a function of determining whether a region of a device user on the uniquely assigned screen to the selected element is gazing, the eyelid closure behavior of the device user function and, in the information input storage medium characterized by storing a program code means comprising a function of outputting a signal for fixing the input of information.

【0026】この構成によれば、画面上に表示した選択要素を装置使用者が注視したと判定した後、装置使用者の閉瞼動作を検出したら選択実行が行われたものとして、情報入力を確定する信号を出力し選択を確定させることができる。 According to this configuration, after it is determined that the selection element displayed on the screen device user was watching, as when detecting the eyelid closure behavior of the device user selects execution has been performed, the information input It outputs a confirmation signal can determine the selection.

【0027】本出願に係る発明の目的を実現する他の構成は、請求項6に記載のように、計算機で読むことのできるプログラムコード手段を格納し、情報入力を行うことが可能な記憶媒体において、選択要素の画像を表示装置に表示させる機能と、前記選択要素に一意に割り当てられた画面上の領域を装置使用者が注視したか判定する機能と、装置使用者の閉瞼動作を検出する機能と、情報の入力を確定するための信号を出力する機能と、前記選択要素の属性を設定する機能を含むプログラムコード手段を格納することを特徴とする情報入力用記憶媒体にある。 [0027] Another configuration for realizing the object of the invention according to this application, as described in claim 6, storing a program code means that can be read by a computer, the storage medium to perform information input in the detection a function of displaying the image of the selected element on the display device, and a function of determining whether a region of a device user on the uniquely assigned screen to the selected element is gazing, the eyelid closure behavior of the device user the function of a function of outputting a signal for fixing the input of the information, in the information input storage medium characterized by storing a program code means comprising a function to set an attribute of the selected element.

【0028】この構成によれば、画面上に表示する選択要素を、非選択、選択、確定などの状態に応じて属性を変えて表示するようにして、選択要素の選択および情報の入力の確定を視覚的に確認することで、より明確に実行させることができる。 According to this configuration, the selection element to be displayed on the screen, the non-selected, selected, be displayed by changing the attributes in accordance with the conditions such as confirmation, confirmation of the input selection and information of the selected element the by visually confirm, can be executed more clearly.

【0029】本出願に係る発明の目的を実現する具体的な構成は、請求項7に記載のように、前記注視検出手段は、赤外光の角膜反射像の位置を計測することにより視線方向を検出する視線検出装置であることを特徴とする請求項3記載の情報入力装置にある。 The specific configuration for realizing the object of the invention according to this application, as described in claim 7, wherein the gaze detecting means, the line-of-sight direction by measuring the position of the corneal reflection image of the infrared light in the information input apparatus according to claim 3, characterized in that the line-of-sight detecting device for detecting a.

【0030】この構成によれば、視線検出装置による装置使用者の視線方向の検出によって、選択要素を注視したことを判定できる。 According to this configuration, by detecting the gaze direction of the user of the apparatus by line-of-sight detecting device may determine that it has gaze selection element.

【0031】本出願に係る発明の目的を実現する他の具体的な構成は、請求項8に記載のように、前記閉瞼検出手段は、赤外光の角膜反射像の有無より装置使用者の閉瞼を検知する瞬き検出装置であることを特徴とする請求項3記載の情報入力装置にある。 [0031] Other specific configuration for realizing the object of the invention according to this application, as described in claim 8, wherein the eyelid closure detection means, a device user from the presence or absence of corneal reflection image of the infrared light in the information input apparatus according to claim 3, characterized in that the blink detection device for detecting the eyelid closure.

【0032】この構成によれば、瞬き検出装置により閉瞼動作を検出して、閉瞼動作を選択要素を選択する入力と見做すことができる。 [0032] According to this configuration, by detecting the eyelid closure behavior by blink detection device, it can be regarded as an input for selecting the selection element the eyelid closure behavior.

【0033】本出願に係る発明の目的を実現する他の具体的な構成は、請求項9に記載のように、前記属性設定手段は、選択要素の非選択状態、選択状態および確定状態に応じて前記選択要素の色又は形等の属性を変更することを特徴とする請求項3記載の情報入力装置にある。 [0033] Other specific configuration for realizing the object of the invention according to this application, as described in claim 9, wherein said attribute setting means, non-selected state of the selected element, depending on the selected state and confirmed state in the information input device according to claim 3, wherein changing the attributes such as color or shape of the selected element Te.

【0034】この構成によれば、選択要素の状態によって色分け表示すること等で視認性を高めて、選択要素の選択、情報入力の確定操作をより明確に行うことができる。 According to this structure, to enhance the visibility or the like can be displayed in different colors depending on the status of the selected element, it is possible to perform selection of the selection element, the confirmation operation of an information input more clearly.

【0035】本出願に係る発明の目的を実現する他の構成は、請求項10に記載のように、入力の対象となる複数の情報を装置使用者に順次提示する機能と、眼球の動作を用いた装置使用者の情報選択操作を検出する機能と、被選択情報を判別する信号を出力する被選択情報出力機能とを有して、順次提示される複数の情報からの選択を、眼球動作による装置使用者の情報選択操作を検出したら、被選択情報を判別する信号を出力して確定することを特徴とする情報入力方法にある。 [0035] Another configuration for realizing the object of the invention according to this application, as described in claim 10, the function of sequentially presenting a plurality of information to be input to the device user, the operation of the eye a function of detecting information selecting operation of the device user using, and a the selected information output function of outputting a signal to determine the selected information, the selection from a plurality of information sequentially presented, eye operation Upon detecting the information selecting operation of the device user by, in the information input and wherein the determining to output the signal to determine the selected information.

【0036】この構成によれば、順次画面上に提示される音符等の複数の情報を見て、装置使用者の意識的な眼球動作による視線の激しい動きを検出したら情報選択操作が行われたものとして、被選択情報の選択を確定することができる。 According to this configuration, seeing a plurality of information such as the notes presented on sequentially screen information selection operation upon detection of violent movement of the line of sight by conscious ocular operation of the device the user is performed as things, it is possible to confirm the selection of the selection information.

【0037】本出願に係る発明の目的を実現する他の構成は、請求項11に記載のように、入力の対象となる複数の情報を装置使用者に順次提示する機能と、閉瞼動作を用いた装置使用者の情報選択操作を検出する機能と、 [0037] Another configuration for realizing the object of the invention according to this application, as described in claim 11, the function of sequentially presenting a plurality of information to be input to the device user, the eyelid closure behavior a function of detecting information selecting operation of the device user using,
被選択情報を判別する信号を出力する被選択情報出力機能とを有して、順次提示される複数の情報からの選択を、閉瞼動作による装置使用者の情報選択操作を検出したら、被選択情報を判別する信号を出力して確定することを特徴とする情報入力方法にある。 And a the selected information output function of outputting a signal to determine the selected information, the selection from a plurality of information sequentially presented, upon detection of the information selecting operation of the device user by eyelid closure operation, the selected in the information input and wherein the determining to output the signal to determine information.

【0038】この構成によれば、順次画面上に提示される音符などの複数の情報を見て、装置使用者が意識的に行った閉瞼動作を検出したら情報選択操作が行われたものとして、被選択情報の選択を確定することができる。 [0038] According to this configuration, as looking at the plurality of information such as notes presented on sequentially screen, detecting Once information selection operation the eyelid closure behavior device user performs consciously is performed , it is possible to confirm the selection of the selection information.

【0039】本出願に係る発明の目的を実現する他の構成は、請求項12に記載のように、入力の対象となる複数の情報を装置使用者に順次提示する手段と、眼球の動作を用いた装置使用者の情報選択操作を検出する手段と、被選択情報を判別する信号を出力する被選択情報出力手段とを備えたことを特徴とする情報入力装置にある。 [0039] Another configuration for realizing the object of the invention according to this application, as described in claim 12, and means for sequentially presenting a plurality of information to be input to the device user, the operation of the eye It means for detecting a device user of information selection operation using, in the information input apparatus being characterized in that a the selected information output means for outputting a signal to determine the selected information.

【0040】この構成によれば、順次画面上に提示される音符等の複数の情報を見て、装置使用者の意識的な眼球動作による視線の激しい動きを検出したら情報選択操作が行われたものとして、被選択情報の選択を確定することができる。 [0040] According to this configuration, a look at the plurality of pieces of information such as notes that are presented on the order screen, detection Once information selection operation the violent movement of the line-of-sight by the conscious eye operation of the device the user has been performed as things, it is possible to confirm the selection of the selection information.

【0041】本出願に係る発明の目的を実現する他の構成は、請求項13に記載のように、入力の対象となる複数の情報を装置使用者に順次提示する手段と、閉瞼動作を用いた装置使用者の情報選択操作を検出する手段と、 [0041] Another configuration for realizing the object of the invention according to this application, as described in claim 13, and means for sequentially presenting a plurality of information to be input to the device user, the eyelid closure behavior It means for detecting a device user of information selection operation using,
被選択情報を判別する信号を出力する被選択情報出力手段とを備えたことを特徴とする情報入力装置にある。 In the information input apparatus being characterized in that a the selected information output means for outputting a signal to determine the selected information.

【0042】この構成によれば、順次画面上に提示される音符などの複数の情報を見て、装置使用者が意識的に行った閉瞼動作を検出したら情報選択操作が行われたものとして、被選択情報の選択を確定することができる。 [0042] According to this configuration, as looking at the plurality of information such as notes presented on sequentially screen, detecting Once information selection operation the eyelid closure behavior device user performs consciously is performed , it is possible to confirm the selection of the selection information.

【0043】本出願に係る発明の目的を実現する他の構成は、請求項14に記載のように、計算機で読むことのできるプログラムコード手段を格納し音符等の情報入力を行うことが可能な記憶媒体において、入力の対象となる複数の情報を装置使用者に順次提示する機能と、眼球の動作を用いた装置使用者の情報選択操作を検出する機能と、被選択情報を判別する信号を出力する機能とを含むプログラムコード手段を格納することを特徴とする情報入力用記憶媒体にある。 [0043] Another configuration for realizing the object of the invention according to this application, which can be carried out as described in claim 14, an information input, such as notes and stores the program code means can be read by the computer in the storage medium, a function of sequentially presenting a plurality of information to be input to the device user, a function of detecting a device user of information selection operation using the operation of the eye, a signal for determining the selection information in the information input storage medium characterized by storing a program code means comprising a function of outputting.

【0044】この構成によれば、順次画面上に提示される音符等の複数の情報を見て、装置使用者の意識的な眼球動作による視線の激しい動きを検出したら情報選択操作が行われたものとして、被選択情報の選択を確定させることができる。 [0044] According to this configuration, a look at the plurality of pieces of information such as notes that are presented on the order screen, detection Once information selection operation the violent movement of the line-of-sight by the conscious eye operation of the device the user has been performed as things, it is possible to confirm the selection of the selection information.

【0045】本出願に係る発明の目的を実現する他の構成は、請求項15に記載のように、計算機で読むことのできるプログラムコード手段を格納し音符等の情報入力を行うことが可能な記憶媒体において、入力の対象となる複数の情報を装置使用者に順次提示する機能と、閉瞼動作を用いた装置使用者の情報選択操作を検出する機能と、被選択情報を判別する信号を出力する機能とを含むプログラムコード手段を格納することを特徴とする情報入力用記憶媒体にある。 [0045] Another configuration for realizing the object of the invention according to this application, which can be carried out as described in claim 15, an information input, such as notes and stores the program code means can be read by the computer in the storage medium, a function of sequentially presenting a plurality of information to be input to the device user, a function of detecting a device user of information selection operation using the eyelid closure behavior, a signal for determining the selection information in the information input storage medium characterized by storing a program code means comprising a function of outputting.

【0046】この構成によれば、順次画面上に提示された音符などの複数の情報を見て、装置使用者が意識的に行った閉瞼動作を検出したら情報選択操作が行われたものとして、被選択情報の選択を確定させることができる。 [0046] According to this configuration, as looking at the plurality of information, such as note presented on a sequential screen, detecting Once information selection operation the eyelid closure behavior device user performs consciously is performed , you can determine the selection of the selection information.

【0047】本出願に係る発明の目的を実現する具体的な構成は、請求項16に記載のように、前記装置使用者の情報選択操作を検出する手段は、赤外光の角膜反射像の位置計測より装置使用者の眼球回転角を検出する視線検出装置であることを特徴とする請求項12又は13記載の情報入力装置にある。 The specific configuration for realizing the object of the invention according to this application, as described in claim 16, means for detecting information selecting operation of the device user, the infrared light image of corneal reflection in the information input device according to claim 12, wherein it is a line-of-sight detecting device for detecting the eyeball rotation angle of the device user from the position measurement.

【0048】この構成によれば、視線検出装置による装置使用者の視線検出によって、装置使用者が意識的に行う眼による情報選択操作を検知することができる。 [0048] According to this configuration, the device user of the visual line detection by line-of-sight detecting device can detect the information selecting operation by the ocular device user performs consciously.

【0049】 [0049]

【発明の実施の形態】 DETAILED DESCRIPTION OF THE INVENTION

(第1の実施の形態)以下、本発明の第1の実施の形態について図を参照して説明する。 (First Embodiment) will be described with reference to the drawings a first embodiment of the present invention. 図1〜図4は本発明の第1の実施の形態に係る図である。 1 to 4 is a diagram according to a first embodiment of the present invention. 図1は本発明の第1 Figure 1 is a first invention
の実施の形態に係る情報入力装置のブロック図である。 It is a block diagram of an information input device according to the embodiment.
図2は図1に示す装置の情報入力方法のフローチャートである。 Figure 2 is a flow chart of an information input method of the apparatus shown in FIG. 図3は図2に示す注視検出処理のサブルーチンである。 Figure 3 is a subroutine of the gaze detection processing shown in FIG. 図4は図2に示す閉瞼検出処理のサブルーチンである。 Figure 4 is a subroutine of eyelid closure detection processing shown in FIG.

【0050】本発明の第1の実施の形態は、装置使用者の前方に配置されたディスプレイ画面上に描画された1 The first embodiment of the present invention is drawn on the display screen disposed in front of the device user 1
つの選択要素を選択して、この選択要素に割当てられた情報や指令を計算機やその他の機器に入力するためのものであり、装置使用者は視線方向を検出する視線検出装置および瞬きを検出する瞬き検出装置を装着する。 One of the selected element by selecting is for inputting information or commands assigned to this selected element to the computer and other equipment, device user detects the visual line detecting device and blink for detecting a gaze direction mounting the blink detection device. ここで用いられる視線検出装置と瞬き検出装置は装置使用者の前方視界を妨げない構造であって、装置使用者はこれらの装置を装着したまま前方のディスプレイ画面を見ることが可能である。 A As used herein gaze detecting device and the blink detection device a structure that does not interfere with the forward view of the device user, device user is able to see the front of the display screen while wearing these devices.

【0051】ディスプレイ画面上では選択領域が他の領域と区別し得るように表示され、装置使用者がその選択領域を注視するとそこの選択要素は被選択状態になり、 [0051] than on the display screen is displayed so that the selected area can be distinguished from the other regions, there selection element When the device user to watch the selected area becomes the selected state,
続けて装置使用者が意識的に十分長い時間のあいだ瞼を閉じると、その選択要素による情報の入力が確定されるという情報入力方式である。 Continuing device user's consciously close between eyelids sufficiently long time, the information input method of inputting information by the selected element is determined.

【0052】なお、以下の説明では、瞬きよりも十分長い時間のあいだ瞼を閉じる動作を、特に「閉瞼」と呼んで区別する。 [0052] It should be noted, distinguished by the following description, to close the eyelids during a sufficiently long time behavior than the blink, particularly referred to as "eyelid closure".

【0053】図1において、101は視線検出装置、1 [0053] In FIG. 1, 101 line-of-sight detection device, 1
02は瞬き検出装置、103は装置使用者の意図を入力するための選択要素を表示するためのディスプレイ、1 02 blink detection device, a display for 103 to display the selected element for entering the intention of the user of the apparatus, 1
04は当該装置と外部機器との入出力部、105は当該装置を制御するプログラムを格納するための記憶装置、 04 output unit of the device and the external device, 105 is a storage device for storing a program for controlling the apparatus,
106は当プログラムに基づいた処理に必要な情報および処理の結果得られる情報を格納するための記憶装置である。 106 is a storage device for storing information obtained as a result of information and processing necessary processing based on the program. 107は記憶装置105に蓄積されたプログラムを実行することによって当装置の動作を制御するCPU 107 controls the operation of those devices by executing the program stored in the storage device 105 CPU
である。 It is. なお、当プログラムはフロッピーディスク、C Incidentally, this program is a floppy disk, C
D−ROM、ROM、磁気テープ等の記憶媒体に記憶されていて、外部機器との入出力部104から当装置に入力して、記憶装置105に記憶させる方式であってもよい。 D-ROM, ROM, stored in a storage medium such as a magnetic tape, and input from the input unit 104 to external devices to those devices, may be a method of storing in the storage device 105.

【0054】この場合の、視線検出装置101は、赤外光の角膜反射像の位置を計測することにより視線方向を検出するもので、この視線検出装置101は装置使用者の視線のディスプレイ上での位置を一定の時間毎に検出する機能を持っている(以下ディスプレイ上での視線の位置を視線位置と呼ぶ)。 [0054] In this case, the line-of-sight detection device 101 detects the gaze direction by measuring the position of the corneal reflection image of the infrared light, the sight line detecting device 101 on the display of the line of sight of the device user it has the function of detecting the position every predetermined time (hereinafter referred to the position of the line of sight on the display and line-of-sight position). 瞬き検出装置102は、赤外光の角膜反射像の有無を検出することにより、装置使用者の瞼が閉じているかどうかを検知するものである。 Blink detection device 102, by detecting the presence or absence of corneal reflection image of the infrared light, and detects whether the eyelid of the device user is closed. この瞬き検出装置102は、一定の時間毎に装置使用者の瞼の開閉状態を判別するようになっている。 The blink detector 102 is adapted to determine the opening and closing state of the eyelids of the user of the apparatus at every predetermined time.

【0055】つぎに図2のフローチャート他を参照して動作について説明する。 [0055] Next referring to a flow chart another 2 the operation will be described. 先ず、ディスプレイ103上に選択要素を表示する(S201)。 First, to display the selected element on the display 103 (S201). 次に装置使用者が装着している視線検出装置101による選択要素の注視検出処理を行う(S202)。 Then device user performs a gaze detection processing of the selected element by line-of-sight detecting device 101 wearing (S202). なお、このS202の注視検出処理の詳細についてはサブルーチンにより後述する。 The details of the gaze detection processing of S202 will be described later by the subroutine. S202における注視検出処理の結果に基づき、装置使用者が選択要素を注視したかどうかを判別する(S Based on the results of the gaze detection processing in S202, to determine whether a device user is gazing at selected element (S
203)。 203). 選択要素を注視していない場合はS202へ戻る。 If you do not watch the selected element is returned to S202. 判別結果が選択要素を注視したと判別した場合は、閉瞼検出処理を行う(S204)。 If the determination result is determined to have watch the selected element performs eyelid closure detection process (S204). なお閉瞼検出処理の詳細についてはサブルーチンで後述する。 Note that although the details of the closed eyelid detection process will be described later in the subroutine.

【0056】続いて、S204の閉瞼検出処理の結果に基づいて、装置使用者が閉瞼動作を行ったかどうかを判別する(S205)。 [0056] Then, based on the result of eyelid closure detection process S204, a device user to determine whether performed eyelid closure operation (S205). 閉瞼動作を行っていない場合はS S If you have not done the eyelid closure behavior
202へ戻る。 Back to 202. 閉瞼動作を行ったと判別した場合は、選択要素を装置使用者が選択し、選択要素に対応する情報の入力が確定したことを示す入力確定信号を外部機器との入出力部104を通じて発信して処理を終了する(S If it is determined that performed eyelid closure operation, selected by a device user selection element, it originated the input confirmation signal indicating that the input of information corresponding to the selected elements was determined through output unit 104 to an external device Te the process is terminated (S
206)。 206).

【0057】次に、S202の注視検出処理について、 [0057] Next, the gaze detection processing of S202,
図3のサブルーチンを参照して詳述する。 It will be described in detail with reference to the subroutine of FIG. 先ず、装置使用者が選択要素を表示する画面上の選択領域を注視しているかどうかを示すフラグ“注視フラグ”を“オフ”にセットする、すなわち選択領域が注視されていない状態を示すようにフラグを設定する(S301)。 First, is set to "off" flag "gaze flag" indicating whether gazing at the selected area on the screen device user to view the selected element, i.e. to show the state in which the selected region is not gazing set a flag (S301). 続いて、 continue,
装置使用者が選択要素を持続して注視している時間を示すカウンタI gを0に設定する(S302)。 The counter I g indicating the time at which a device user is gazing sustained the selection element is set to 0 (S302).

【0058】次に、視線位置を検出する。 Next, to detect the line-of-sight position. 検出結果は装置使用者の視線方向とディスプレイ画面との交点Gの座標として得られる。 Detection results are obtained as the coordinates of the intersection G between the viewing direction and the display screen of the device user. この座標値の単位は画素であってもよいし、長さを表す他の単位(例えば、cm)であってもよい(S303)。 The unit of the coordinate value may be a pixel may be another unit representing the length (e.g., cm) (S303). S303で検出した視線位置Gが選択領域内の点かどうかを判別する(S304)。 Detected viewpoint position G in S303 to determine whether a point in the selected region (S304). 点G Point G
が選択領域外の点の場合は注視検出処理を終了し、、点Gが選択領域内の場合はカウンタI gをインクリメントする(S305)。 If is outside the selected area point terminates the gaze detection processing ,, point G increments the counter I g in the case of the selection area (S305).

【0059】カウンタI gと予め設定されたしきい値T [0059] counter I g with a preset threshold T
gとを比較し(S306)、I gが大である場合は装置使用者が注視したと判断されるに十分な時間間隔のあいだ選択要素の方向に視線を向けていたと判断して、注視フラグを“オン”(選択領域が注視された状態)に設定する(S307)。 comparing the h g (S306), it is determined to have been directed toward the line of sight in the direction of between selected elements of sufficient time interval I g is if a large is determined that the device user has gaze, gaze It sets the flag to the "on" (state selected region is gazing) (S307). 一方、I gがしきい値Th g以下の場合は、十分な時間選択要素を注視していないと判断してS303に戻る。 On the other hand, when I g is less than or equal to the threshold Th g, returns to S303 to determine that no gazing sufficient time selection element.

【0060】次に、図4のサブルーチンを参照してS2 Next, with reference to the subroutine of FIG. 4 S2
04の閉瞼検出処理について詳述する。 It will be described in detail eyelid closure detection processing of 04. 先ず、装置使用者が閉瞼しているかどうかを示すフラグ“閉瞼フラグ” First, a flag indicating whether the device user is eyelid closure "eyelid closure flag"
を“オフ”にセットする。 It is set to "off" to. すなわち閉瞼していない状態を示すようにフラグをセットする(S401)。 That sets a flag to indicate the state where no eyelid closure (S401). 続いて、装置使用者が持続して瞼を閉じている時間を示すカウンタI pを0に設定する(S402)。 Subsequently, the counter I p indicating the time closing the eyelids persisted device user sets to 0 (S402).

【0061】次に、瞬きの有無を検出し(S403)、 Next, to detect the presence or absence of a blink (S403),
S403の処理で瞬きが検出されたかどうかを判別する(S404)。 Blink in the process of S403, it is determined whether or not the detected (S404). 瞬きが検出されない場合は閉瞼検出処理を終了、瞬きが検出された場合はカウンタI pをインクリメントする(S405)。 If blink is not detected ends eyelid closure detection process, if the blink is detected the counter is incremented I p (S405).

【0062】カウンタI pの値と予め設定されたしきい値Th pとを比較し(S406)、I pの方が大の場合は装置使用者が閉瞼したと判断されるに十分な時間間隔のあいだ瞼を閉じていたと判断して、閉瞼フラグを“オン”(閉瞼を行っていた状態を表す)に設定する(S4 [0062] counter is compared with the value with a preset threshold Th p of I p (S406), a time sufficient for those I p is in the case of large is determined that device user has eyelid closure it is determined to have been closed during eyelid interval, setting the eyelid closure flag "oN" (representing the state which has been subjected to eyelid closure) (S4
07)。 07). 一方、S406でI pがしきい値Th p以下だった場合は、十分な時間間隔のあいだ瞼を閉じていないと判断してS403へ戻る。 On the other hand, I p in step S406 is the case were more than the threshold value Th p, return to S403 it is determined that not closing during eyelid sufficient time interval.

【0063】このように、第1の実施の形態によれば、 [0063] Thus, according to the first embodiment,
選択要素が選択されたと判断されるための注視持続時間のしきい値Th gの値を小さくしても、無意識的な視線の動きによって誤って入力が確定されてしまう可能性は小さい。 Even reduce the value of the threshold Th g of gaze duration to be determined and selected elements are selected, the possibility of incorrectly entered by unconscious gaze movements from being finalized is small. なぜならば、入力の確定は「閉瞼」という通常の身体の動きとは異なる意識的な動作によって行っているからである。 This is because the determination of the input is because are carried out by different conscious action of the movement of the normal body called "eyelid closure". この場合のようにしきい値Th gの値を小さくすれば、眼球の微動によって視線位置が選択要素から外れて、選択要素が選択されないという不都合が生ずる可能性を小さくすることができる。 The smaller the value of the threshold Th g as in this case, the line-of-sight position by fine movement of the eye is disengaged from the selection element, it is possible to reduce the possibility that occurs inconvenience that selected element is not selected.

【0064】また、長時間一定の箇所を注視しつづける必要のないことから、装置使用者の苦痛を緩和することが可能である。 [0064] In addition, since a long period of time there is no need to continue to watch a certain point, it is possible to alleviate the pain of the user of the apparatus. 更に、閉瞼検出は視線検出処理だけの情報入力より精度が高いので、入力確定が確実に行われるという利点がある。 Furthermore, eyelid closure detection because of the high accuracy from the information input by the sight line detection processing, there is an advantage that input confirmation is ensured.

【0065】(請求項と実施の形態の対応)以上、請求項1あるいは請求項3などに表記する「閉瞼」により入力を確定する方式の、情報入力方法および情報入力装置について説明したが、本実施の形態は、システムあるいは装置にプログラムを供給することによって実施される形態にも適用されることはいうまでもない。 [0065] (claim and the corresponding embodiment) or more, the method of determining the input by "eyelid closure" as referred to to claims 1 or claim 3 has been described information input method and an information input device, this embodiment, it goes without saying that also applies to embodiments to be implemented by supplying a program to a system or an apparatus. この場合、 in this case,
請求項5にも表示したように、本実施の形態に係る「閉瞼」による入力確定方式のプログラムを格納した記憶媒体も本発明の構成要素となる。 As also displayed in claim 5, a storage medium which stores a program input confirmation method by "eyelid closure" according to the present embodiment is also a component of the present invention. その際、当記憶媒体から、そのプログラムをシステムあるいは装置に読み出すことによって、そのシステムあるいは装置が予め決められた(プログラムで規定する)方法で動作することになる。 At that time, from this storage medium, by reading the program to a system or apparatus, so that the system or the apparatus (specified by the program) predetermined to operate in the manner.

【0066】(他の実施の形態)なお、ここまでは入力確定操作を簡単に説明するために、選択要素が1つの場合について説明したが、選択要素が複数の場合も本発明が適用されることは言うまでもない。 It should be noted (another embodiment), for far to easily describe the input determination operation, but selected elements described for the case of one, the present invention is also applied when the selected element is a plurality it goes without saying. この場合、どの選択要素が選択されたかを検出するには、それぞれの選択要素に対して注視持続時間を計数すればよい。 In this case, to detect which selection element is selected may be counted gaze durations for each selected element. また、本実施の形態は、複数の機器から構成されるシステムに適用しても、1つの機器から成る装置に適用することも可能である。 Further, the present embodiment can be applied to a system constituted by a plurality of devices can also be applied to an apparatus comprising a single device.

【0067】これによって、本実施の形態は、例えば、 [0067] Thus, the present embodiment, for example,
手足の不自由な人が目の動作だけでワープロを操作して文章が作成できるようなことにも貢献できる。 Handicapped people of the hands and feet can contribute also to things like can be created sentence by operating the word processor with only the operation of the eye.

【0068】(第2の実施の形態)次に、本発明の第2 [0068] (Second Embodiment) Next, the second invention
の実施の形態について説明する。 It is described embodiment. 図5は本発明の第2の実施の形態に係る情報入力方法のフローチャートである。 Figure 5 is a flow chart of an information input method according to the second embodiment of the present invention. 図6は図5に示す選択要素の属性表示例を示す図である。 6 is a diagram illustrating an attribute display example of the selection element shown in FIG.

【0069】第2の実施の形態は、第1の実施の形態に加えて選択要素の選択および入力の確定を視覚的に確認する手段を付加したものである。 [0069] The second embodiment is that the determination of selection and input of the selection element in addition to the first embodiment adds a device to check visually. すなわち、選択要素の状態(非選択状態、選択状態および確定状態)に応じて、選択要素の色や形等の属性を変更するものである。 That is, the state of the selection element according to (non-selected state, a selected state and determined state), and changes the attribute such as color and shape of the selected element.

【0070】なお、図1に示した装置の構成は、本実施の形態でも共通なので構成に関する重複する説明は省略する。 [0070] Note that the structure of the apparatus shown in FIG. 1, and duplicate explanations about the configuration so common in this embodiment will be omitted.

【0071】つぎに動作について説明する。 [0071] Next, the operation will be described. 図5に示すフローチャートにおいて、図2のフローチャートと異なる処理は、S501とS505とS510の属性に関する部分である。 In the flowchart shown in FIG. 5, a flow chart is different from the process of FIG. 2 is a partially about the attributes of S501 and S505 and S510. その他のS502,503,504と、 And other S502,503,504,
S506,507,508,509と、S511の処理は、図2の前実施の形態のS201,202,203, And S506,507,508,509, processing of S511 is, S201,202,203 of the previous embodiment of FIG 2,
201,204,205,206,201順の処理と同一なので、以下では重複する部分の説明は省略し、異なる属性部分の処理のみについて説明する。 Since 201,204,205,206,201 same as the order of the processing, in the following description of the parts common to those will be omitted, it will be described only the processing of different attribute part.

【0072】先ず、S501では、選択要素の属性を初期状態(P 0 )に設定する。 [0072] First, in S501, the set attributes of the selected element in the initial state (P 0). 図6は選択要素の属性表示例であり、図6(a)はS501の状態における「非選択」を表す選択要素のイメージの表示例である。 Figure 6 is an attribute display example of the selection element, FIG. 6 (a) is a display example of an image of the selected element representing the "non-selection" in the state S501. 図6 Figure 6
(b)は「選択」状態の属性表示であり、図6(c)は「確定」状態の表示である。 (B) is an attribute display "selection" state, FIG. 6 (c) is a display of "definite" state.

【0073】次に、S505では選択要素の属性をP 0 [0073] Then, S505 the attributes of the selected element in P 0
とは異なるP 1 (「選択」)に設定する。 It is set to a different P 1 ( "select") and.

【0074】S510の処理では、選択要素の属性をP [0074] In the process of S510 is, the attributes of the selected element P
0 、P 1とは異なるP 2 (「確定」)に設定する。 0, set to different P 2 ( "fixed") and P 1.

【0075】このように、第2の実施の形態によれば、 [0075] Thus, according to the second embodiment,
前実施の形態に加えて、選択要素が選択された場合に、 In addition to the previous embodiment, when the selected element is selected,
その選択要素が選択状態に(P 1 :「選択」時)あることを装置使用者に視覚的に通知することにより、装置使用者が選択状態(P 1 :「選択」時)から直ちに入力を確定するための動作(閉瞼)を開始することも可能になり、これによって情報入力をすばやく行うことが可能になる。 The selection element is in the selected state: by (P 1 "selected" when) to visually notify the user of the apparatus that there, device user selected: immediately input from (P 1 "selected" when) initiating operation for determining the (eyelid closure) also becomes possible, whereby it is possible to quickly information input.

【0076】また、選択要素による情報入力が確定(P [0076] In addition, confirm the information input by the selected element (P
2 :「確定」)したことを装置使用者に視覚的に報知することにより、確定動作が行われたかかどうかを確認することが可能になる。 2: The `` final '') to be visually inform the user of the apparatus that was, it is possible to confirm whether or confirm operation is performed.

【0077】なお、第2の実施の形態においては、属性P 1の設定処理および属性P 2の設定処理は、必ずしも両方を具備している必要がないことはいうまでもない。 [0077] In the second embodiment, setting processing and sets the attribute P 2 attributes P 1, it is needless to say it is not necessarily need to comprise both.

【0078】(請求項と実施の形態の対応)以上、請求項2および請求項4等に表記した、属性表示によって状態を視覚的に確認しながら、「閉瞼」により入力を確定する方式の、情報入力方法および情報入力装置について説明したが、更に、システムあるいは装置に同様なプログラムを供給することによって、実施される形態にも適用されるものであることは言うまでもない。 [0078] (claim and the corresponding embodiments) above was expressed in claims 2 and 4 or the like, while visually confirm the state by the attribute display, the method to determine the input by "eyelid closure" has described an information input method and an information input device, further, by supplying a system or similar program to the apparatus, it goes without saying that also applies to embodiments to be implemented.

【0079】従って、請求項6に表記したような、第2 [0079] Accordingly, as represented in claim 6, the second
の実施の形態の属性確認による「閉瞼」入力確定方式のプログラムを格納した記憶媒体は、当然本発明の構成要素となるものである。 Storage medium which stores a program "eyelid closure" input confirmation method by attribute confirmation embodiment of are those naturally a component of the present invention.

【0080】(他の実施の形態)第2の実施の形態では、属性表示として色等を変える表示例について説明したが、更に、S510,S511の処理に置換えるか、 [0080] (Other Embodiment) The second embodiment has been described display example of changing the color or the like as the attribute display, further, or replaced with the processing of S510, S511,
あるいはS511の処理の後に加えて、入力が確定したことを装置使用者に報知する警告音を発するようにすることも可能である。 Or in addition after treatment S511, it is also possible to emit a warning sound to inform the device user that the input has been determined. その場合、装置使用者が入力を確定するために閉瞼動作を行っている最中に、警告音によって入力確定済みが分かるので、警告音が発生すれば直ちに閉瞼動作を中止することができるので、入力確定操作をすばやく行うことができるという利点が生ずる。 In that case, while the device user is performing the eyelid closure behavior to confirm the input, the input definite by warning sound is found, it is possible to alert sound is stopped immediately eyelid closure behavior upon failure so the advantage of being able to quickly input confirmation operation occurs.

【0081】(第3の実施の形態)次に、第3の実施の形態について説明する。 [0081] (Third Embodiment) Next, a third embodiment will be described.

【0082】以上の実施の形態では、注視検出処理において、視線位置が選択範囲に含まれる持続時間がしきい値を超えたことを注視の判別条件に用いているが、眼球の微動による注視検出の誤動作は避けられない。 [0082] In the above embodiment, the gaze detection processing, the time duration in which line-of-sight position is included in the selection range is used to determine the conditions of gaze that exceeds the threshold, gaze detection by fine movement of the eye the malfunction is inevitable. すなわち、装置使用者が意識的に選択要素に視線を向けているにも関わらず、無意識の眼球運動によって視線位置が選択範囲外に移動するため、注視の持続時間がしきい値以下と判断されて、注視していないと検知される場合がある。 In other words, despite the device user is towards the line of sight to consciously selection element, since the line-of-sight position by involuntary eye movement is moved out of the selected range, the duration of the gaze is determined to be equal to or less than the threshold value Te, there is a case that is detected not to be watching.

【0083】これを避けるための方式として、ある一定時間の間に繰返し検出した視線位置のうち、予め決められた割合以上の検出時点において視線位置が選択領域内に入っていることを注視の判別条件とする。 [0083] As a method for avoiding this, among the repeated detected viewpoint position during the certain time, the determination of the gaze that line-of-sight position is in the selection area in the detection time of the above ratio to a predetermined and conditions. この注視の判別条件の改善を、本発明の第3の実施の形態とするものである。 Improved determination condition of the gaze is for the third embodiment of the present invention.

【0084】このように改善すれば、眼球の微動による注視検出の誤動作の可能性が減少する。 [0084] In this way improved, the possibility of malfunction of the gaze detection by fine movement of the eyeball is reduced.

【0085】(第4の実施の形態)次に第4の実施の形態について説明する。 [0085] (Fourth Embodiment) Next, a fourth embodiment will be described.

【0086】以上の実施の形態では、視線検出装置および瞬き検出装置としてプルキニエ像の位置検出に基づいた装置を用いているが、他の原理(例えば、筋電位の測定、あるいは顔面像の画像処理)に基づく装置を用いて同等の検出を行うことも可能であり、これら別装置による構成を第4の実施の形態とするものである。 [0086] In the above embodiment, although using the apparatus based on the position detection of the Purkinje image as visual line detection device and a blink detection unit, other principles (e.g., measurement of myoelectric potential, or image processing facial image ) the device according to using it is also possible to carry out a similar detection is the configuration of these different devices intended to the fourth embodiment.

【0087】また、視線検出装置と瞬き検出装置は別個の装置として実現されているが、視線検出処理の過程で瞬きを検出することが可能な装置を用いてもかまわない。 [0087] Although the blink detection apparatus and line-of-sight detection device is realized as a separate device, may be an apparatus capable of detecting a blink in the course of the line-of-sight detection processing.

【0088】更に、視線検出装置と瞬き検出装置と、ディスプレイ装置は別個の装置として実現されているが、 [0088] Further, the sight line detecting device and the blink detection unit, the display device is implemented as a separate device,
例えば頭部装着型ディスプレイ(HMD)などに視線検出機能および瞬き検出機能が付加された装置を用いてもよい。 For example a head-mounted display (HMD) device gaze detection and blink detection function is added to, or the like may be used.

【0089】(第5の実施の形態)次に第5の実施の形態について説明する。 [0089] For (Fifth Embodiment) Next a fifth embodiment will be described. 図7〜図9は本発明の第5の実施の形態に係る図である。 7 to 9 are views of a fifth embodiment of the present invention. 図7は本発明の第5の実施の形態に係る情報入力装置のブロック図である。 Figure 7 is a block diagram of an information input device according to a fifth embodiment of the present invention. 図8は図7 8 is a diagram 7
に示す装置の情報入力方法のフローチャートである。 It is a flowchart of an information input method of the device shown in. 図9は図8に示す選択検知処理のサブルーチンである。 Figure 9 is a subroutine of selection detection processing shown in FIG.

【0090】本第5の実施の形態は、複数の音符の中から任意の音符を選択して入力するための方式である。 [0090] This fifth embodiment is a system for inputting select any notes from a plurality of notes. この情報入力装置は装置使用者に対して各音符に対応する音程を持つ音声を順次提示し、装置使用者は所望の音符の音声が発せられた時点で視線を激しく運動させることによって、対応する音符を選択し情報入力を行うものである。 The information input device sequentially presenting speech with the pitch corresponding to each note to the device user, device user by vigorous movement of the line of sight when the voice of notes desired is issued, the corresponding and it performs the selected information input notes.

【0091】図7において、701は視線検出装置、7 [0091] In FIG. 7, 701 line-of-sight detection device, 7
02は音声信号発生装置、703は音声信号発生装置7 02 sound signal generator, 703 sound signal generator 7
02より出力される電気信号を音声に変換するスピーカあるいはヘッドフォン等の発音装置、704は本情報入力装置と外部機器との入出力部、705は本装置を制御するプログラムを格納するための記憶装置、706は当プログラムに基づいた処理に必要な情報および処理の結果得られる情報を格納するための記憶装置である。 Electric signals output from the 02 sound generating device for a speaker or a headphone for converting the voice, 704 output section and the information input device and the external device, 705 is a storage device for storing a program for controlling the apparatus , 706 is a storage device for storing information obtained as a result of information and processing necessary processing based on the program. 70 70
7は記憶装置705に蓄積されたプログラムを実行することによって本装置の動作を制御するCPUである。 7 is a CPU which controls the operation of the apparatus by executing programs stored in the storage device 705. なお、本プログラムはフロッピーディスク、CD−RO It should be noted that the present program is a floppy disk, CD-RO
M、ROM、磁気テープ等の記憶媒体に記憶されていて、外部機器との入出力部704から本装置に入力して記憶装置705に記憶させるものであってもよい。 M, ROM, stored in a storage medium such as a magnetic tape, may be one to be stored is input to the apparatus from the output unit 704 with an external device to the storage device 705.

【0092】視線検出装置701は赤外光の角膜反射像の位置を計測することにより視線方向を検出するものであり、本視線検出装置701は装置使用者の眼球回転角を一定の時刻毎に検出する機能を持つ。 [0092] visual axis detecting device 701 is for detecting the gaze direction by measuring the position of the corneal reflection image of the infrared light, the visual line detection device 701 the eyeball rotation angle of the device user every predetermined time It has a function to be detected.

【0093】つぎに動作について図8のフローチャートを参照して説明する。 [0093] Referring now to the flowchart of FIG 8 will be described operation. 図8に示すフローチャート中、 In the flowchart shown in FIG. 8,
“I”は装置使用者に提示する音符を識別するための変数、“N”は装置使用者に提示する音符の総数を表す定数であり、それぞれの音符には一意に番号が割り振られているものとする。 "I" is a variable for identifying a note to be presented to the device user, "N" is a constant representing the total number of notes to be presented to the device user, each note is assigned a unique number and things.

【0094】先ず、変数Iを1に設定する(S60 [0094] First, to set the variable I to 1 (S60
1)。 1). 次に、第I番目の音符に対応する音程を持つ音声を、音声信号発生装置702と発音装置703を用いて発生させる(S602)。 Then, the speech with the pitch corresponding to the I-th note is generated using a sound signal generator 702 and the sound device 703 (S602). 装置使用者の眼球動作によって行う音符の選択動作を検知する(S603)。 Sensing the note selection operation performed by eye operation of the device user (S603). なお、 It should be noted that,
この選択動作検知については後でサブルーチンにより詳述する。 This selection operation detection will be described in detail later by the subroutine.

【0095】S603の検知処理の結果を基に装置使用者が選択動作を行ったかどうか判定する(S604)。 [0095] determines whether S603 of detecting groups to the apparatus user of the result of the process makes a selection operation (S604).
選択動作を行ったと判定された場合は、変数Iの値を外部機器との入出力部704から出力して処理を終了する(S605)。 If it is determined that performing selection operation, and the process is ended outputs the value of the variable I from the input and output portion 704 with an external device (S605). 一方、S604の処理で第I番目の音符が選択されていないと判断した場合は、変数Iをインクリメントし(S606)、変数Iが総音符数Nより大きいかどうか判定する(S607)。 On the other hand, if the I-th note is determined not to be selected in the processing of S604, it increments the variable I (S606), the variable I is determined whether greater than the total notes number N (S607). 変数Iが総音符数N Variable I is the total number of notes N
より大きいと判断した場合は、S605の処理を行って終了し、変数Iが総音符数N以下の場合はS602へ戻る。 If it is determined to be larger than, and exit performs the processing of S605, if the variable I is less than or equal to the total number of notes N Back to the S602. 以上の処理によって、いずれかの音符が選択された場合は各音符に割当てられた1以上N以下の数が装置から出力され、いずれの音符も選択されない場合はN+1 By the above process, either if the note is selected for the number of 1 or more N or less assigned to each note being output from the device, if any notes are also not selected N + 1
が出力される。 There is output.

【0096】ここで、S603の選択検知処理について図9のサブルーチンを参照して詳述する。 [0096] described in detail herein, with reference to the subroutine of FIG. 9 for selection detection process S603.

【0097】眼球回転角の測定回数を計数するカウンタ変数tを1に設定する(S801)。 [0097] to set the counter variable t for counting the number of measurements of the eyeball rotation angle to 1 (S801). 次に、眼球回転角の測定値θtを視線検出装置701より読み出す(S8 Next, read from line-of-sight detecting device 701 the measured value θt of eye rotation angle (S8
02)。 02). 続いて、θtを記憶装置706に格納する(S Subsequently, stores θt in the storage device 706 (S
803)。 803).

【0098】変数tをインクリメントし(S804)、 [0098] increments the variable t (S804),
予め設定された定数Tと変数tの値を比較する(S80 Comparing the value of the preset constant T and variables t (S80
5)。 5). 変数tがT以下の場合はS802へ戻るが、変数tがTより大の場合は、視線移動量mを次式より算出する(S806)。 Although the variable t is returned to S802 in the following cases T, variable t in the case of larger than T, is calculated by the following formula vision shift amount m (S806).

【0099】 [0099]

【数1】 [Number 1] 算出した視線移動量mと予め設定されたしきい値Mとの値を比較する(S807)。 Comparing the value of the calculated line of sight movement amount m with a preset threshold value M (S807). 視線移動量mがしきい値M Line-of-sight movement amount m threshold M
より大きいと判定された場合は、選択動作の有無を示す選択フラグをオン(選択が行われた状態)に設定して終了する(S808)。 If it is determined that the larger, and ends by setting the selection flag indicating the presence or absence of selection operation on (selection is made state) (S808). 一方、視線移動量mがしきい値M On the other hand, vision shift amount m is the threshold M
以下と判定された場合は、選択フラグをオフに設定して処理を終了する(S809)。 If it is determined that the following, the process ends by setting off the selection flag (S809). なお、選択フラグは記憶装置706に格納されている。 The selection flag is stored in the storage device 706.

【0100】このように、第5の実施の形態によれば、 [0100] Thus, according to the fifth embodiment,
キーボード等のデバイスを介さずに視線移動という手段によって音符入力が可能になる。 Allowing notes entered by means of eye movement without the intervention of the device such as a keyboard.

【0101】(請求項と実施の形態の対応)本実施の形態は、請求項10および請求項12に表記した眼球動作による音符入力方式が、システム又は装置にプログラムを供給することによって実施される場合にも当然適用されるものであり、請求項14に表記したように、眼球動作による音符入力方式のプログラムを格納した記憶媒体も本発明の構成要素である。 [0102] (claims and the embodiment of the support) the present embodiment, note input method by the ocular operation represented in claim 10 and claim 12 is embodied by supplying a program to a system or apparatus are those also of course applies to the case, as represented in claim 14, a storage medium which stores a program note input method by eye operation is also a component of the present invention.

【0102】従って、記憶媒体から該当プログラムを読み出すことによって、システム又は装置がプログラムで予め決められた情報入力方式で動作することになる。 [0102] Therefore, by reading the appropriate program from the storage medium, so that the system or apparatus operates in a predetermined information input method in the program.

【0103】(他の実施の形態)以上、1つの音符の入力方法について述べたが、続けて同様な処理を繰り返し行うことで、音符の列すなわち楽譜を入力することが可能なことは言うまでもない。 [0103] (Other Embodiments) The above is a description for one note input method, by repeating the similar processing continues, it is needless to say that can enter notes column i.e. score .

【0104】また、本実施の形態は、複数の機器から構成されるシステムへの適用も、1つの機器から成る装置に適用することも可能である。 [0104] This embodiment, application to a system including a plurality of devices also can be applied to an apparatus comprising a single device.

【0105】(第6の実施の形態)第5の実施の形態では、情報の選択を視線を激しく動作させることによって行っていた。 [0105] (Sixth Embodiment) The fifth embodiment has been performed by vigorously operated gaze selection information. これに対して、視線検出装置の代わりに瞼の開閉状態を検出する瞬き検出装置(例えば、図1の瞬き検出装置102)を設けて、装置使用者が予め設定された時間間隔のあいだ瞼を閉じることによって情報選択を行う方式を第6の実施の形態とする。 In contrast, blink detection device for detecting the open or closed state of the eyelids in place of the line-of-sight detection device (e.g., blink detection device 102 of FIG. 1) provided, the during eyelid time device user has preset interval the method of performing information selected by closing the sixth embodiment.

【0106】このような、第6の実施の形態によれば、 [0106] Such, according to the sixth embodiment,
無意識的な視線の動きによって誤って入力が確定してしまう可能性が小さくなり、音符入力の確実性が増す。 Input will likely becomes small to confirm incorrectly by unconscious gaze movement, increases the reliability of the note input.

【0107】(請求項と実施の形態との対応)請求項1 [0107] (correspondence between the claims Embodiment) claim 1
1および13に表記した閉瞼動作による音符入力方式に関しては、請求項15に表記したような、閉瞼動作による音符入力方式のプログラムを格納した記録媒体も本発明の構成要素となる。 For the note input method according eyelid closure behavior was expressed in 1 and 13, as represented in claim 15, a recording medium which stores a program note input method by eyelid closure behavior is also a component of the present invention. 従って、この記録媒体から当該プログラムを読み出すことによって、システム又は装置が予め決められた方式で動作することになる。 Therefore, by reading the program from the recording medium, so that the system or apparatus operates in a predetermined manner.

【0108】(第7の実施の形態)第5,第6の実施の形態では、装置使用者が選択すべき情報を音声として提示していた。 [0108] (Seventh Embodiment) The fifth, the sixth embodiment, has been presenting information device user to be selected as audio. これに対して、音符を記号を用いて表現し装置使用者に提示することも可能である。 In contrast, it is also possible to present the representation by a device user with a symbol notes.

【0109】例えば、“ド”、“レ”、“ミ”など音符に一意に割り当てられた文字をディスプレイ画面上に順次表示して、所望の音符を表す記号が表示された時に装置使用者が選択動作を行うことによって、情報の入力を行うことも可能である。 [0109] For example, "de", "Les", a uniquely assigned character notes, such as "Mi" sequentially displayed on the display screen, the device user when the symbol is displayed that represents the notes desired by performing the selection operation, it is also possible to input the information.

【0110】更に、記号だけではなく、他の情報提示媒体(例えば、色)を用いてもよい。 [0110] Furthermore, not only the symbol, other information presented medium (e.g., color) may be used. また、情報提示には記号と音声の併用というように複数の媒体を併用したり、単独媒体というように使い分けることも可能であり、このような情報媒体の表示拡張方式を第7の実施の形態とする。 Also, or by using a plurality of media such as the combination of symbols and audio information presentation, it is also possible to selectively use and so alone medium, a display extension method such information medium seventh embodiment to.

【0111】(第8の実施の形態)第5〜第7の実施の形態では、音符の入力が目的であったが、別の種類の情報を入力することも可能である。 [0111] In (Eighth Embodiment) The fifth to seventh embodiments, although the input note was an object, it is also possible to enter different types of information.

【0112】例えば、音符に対応する音声を提示する代わりにアルファベット文字をそれぞれ読み上げた音声を順次提示することにより、アルファベット文字の入力を行う事が可能になる。 [0112] For example, by sequentially presenting the voice that reads out each of the letters of the alphabet instead of presenting a sound corresponding to the note, it becomes possible to perform the input of alphabetic characters. このような他種情報の入力方式を第8の実施の形態とする。 The input method such other type information to the eighth embodiment.

【0113】 [0113]

【発明の効果】以上、説明したように、請求項1又は2 Effect of the Invention] As described above, according to claim 1 or 2
に記載の発明によれば、画面上に属性の変更も含めて表示し装置使用者が注視する選択要素の選択を、装置使用者の閉瞼を検出したら、情報入力を確定する信号を出力して確定するように構成したので、情報入力に視線をポインティングデバイスとして用いる場合、一定の領域を長時間凝視する苦痛を受けること無く装置使用者の意図を確実に反映して情報入力を行い、入力に要する時間も少なくすることが可能になった。 According to the invention described in, when a device user to view, including attribute changes on the screen to select the selection element to watch, to detect eyelid closure of a device user, and outputs a signal to confirm the information input and then, is determined Te, when using the line of sight to the information input as a pointing device, performs information input reliably reflect the intention of no device user to receive the pain for a long time staring at a fixed area, the input it has become possible to reduce the time required to.

【0114】更に、請求項3,4および請求項7,8, [0114] Further, according to claim 3, 4 and claims 7 and 8,
9に記載の発明によれば、選択要素を表示する選択要素表示手段と、視線検出装置により選択要素の表示領域を注視したかを判定する注視検出手段と、瞬き検出装置により閉瞼を検出する閉瞼検出手段と、入力確定手段と、 According to the invention described in 9, detects a selected element display means for displaying the selected element, and determining gaze detection means whether gazing at the display area of ​​the selected element by visual axis detecting device, the eyelid closure by blink detection device and eyelid closure detection means, and the input determination means,
選択要素の属性を色、形等で変更設定する属性設定手段を備えたので、視線をポインティングデバイスとして用いる際に、一定の領域を長時間凝視する苦痛を受けること無く装置使用者の意図を確実に反映して情報入力を行い、入力に要する時間も少なくなる情報入力装置を構成できる。 Color attributes of the selected element, since having the attribute setting means for changing settings in the form or the like, when using the line of sight as a pointing device, ensuring the intention of no device user to receive the pain for a long time staring constant region reflecting performs information input can be configured information input apparatus time also reduced required for input to.

【0115】更に、請求項5又は6に記載の発明によれば、画面上に属性の変更も含めて表示し装置使用者が注視する選択要素の選択を、装置使用者の閉瞼を検出したら、情報入力を確定する信号を出力して確定するプログラムを格納しているので、情報入力に視線をポインティングデバイスとして用いる際に、一定の領域を長時間凝視する苦痛を受けること無く装置使用者の意図を確実に反映して情報入力を行い、入力に要する時間も少なくすることが可能なプログラムを格納した情報入力用の記憶媒体を構成できる。 [0115] Further, according to the invention described in claim 5 or 6, when displaying device user including the attribute changes on the screen to select the selection element to watch, to detect eyelid closure device user since stores programs to determine and output a signal to confirm the information input, when using the line-of-sight to the information input as a pointing device, a no device user to receive the pain for a long time staring constant region performed reliably reflect to the information input intention, it can be configured storage medium for information storing capable to reduce the time required for the input program input.

【0116】更に、請求項10又は11に記載の発明によれば、順次提示される入力の対象となる複数の情報からの選択を、眼球動作あるいは閉瞼動作による装置使用者の情報選択操作を検出したら、被選択情報を判別する信号を出力して確定するように構成したので、手足の不自由な装置使用者あるいは健常者でも手足で他の機器を操作する等の理由によって、キーボード等の手足の動作を必要とする入力デバイスが使用できない場合でも、手軽に情報入力を行うことが可能になる。 [0116] Further, according to the invention described in claim 10 or 11, a selection from a plurality of information to be input to be presented sequentially, the information selecting operation of the device user by the ocular operation or eyelid closure behavior Once detected, and then, is determined by outputting a signal to determine the selected information, the reasons such as to operate the other devices limbs also handicapped device user or healthy person limbs, such as a keyboard even if the input device that requires a limb of operation is not available, it is possible to perform easily the information input.

【0117】更に、請求項12又は13および16に記載の発明によれば、入力の対象となる複数の情報を順次提示する手段と、視線検出装置を用いて眼球の動作あるいは閉瞼動作による情報選択操作を検出する手段と、被選択情報を判別する信号を出力する被選択情報出力手段を備えたので、手足が不自由な装置使用者あるいは健常者でも手足で他の機器を操作する等の理由によって、キーボード等の入力デバイスが使用できない場合でも、手軽に情報入力が可能な情報入力装置を構成できる。 [0117] Further, according to the invention described in claim 12 or 13 and 16, and means for sequentially presenting a plurality of information to be input, the information according to operation or eyelid closure operation of the eye by using the line-of-sight detection device It means for detecting a selection operation, etc. since with the the selected information output means for outputting a signal to determine the selected information, limbs to operate other equipment even limbs handicapped device user or a healthy person reason, even when the input device such as a keyboard can not be used, can be configured information input device capable of easily information input.

【0118】更に、請求項14又は15に記載の発明によれば、順次提示される音符等の複数の情報からの選択を、眼球動作あるいは閉瞼動作による情報選択操作を検出したら、被選択情報を判別する信号を出力して確定するプログラムを格納しているので、手足の動作が不自由な装置使用者あるいは健常者でも手足で他の機器を操作する等の理由によって、キーボード等の手足の動作を必要とする入力デバイスを使用できない場合でも手軽に情報入力を行うことができるプログラムを格納した、情報入力用記憶媒体を構成できる。 [0118] Further, according to the invention described in claim 14 or 15, if the selection from a plurality of information such as the notes to be presented sequentially, detects information selecting operation by the ocular operation or eyelid closure operation, the selected information since stores programs to determine and output a signal to determine, by reason of such limb operation to operate the other equipment even limbs handicapped device user or a healthy person, the limbs, such as a keyboard operation storing a program can be performed easily information input even when you can not use an input device that requires, can be configured information input storage medium.

【図面の簡単な説明】 BRIEF DESCRIPTION OF THE DRAWINGS

【図1】本発明の第1の実施の形態に係る情報入力装置のブロック図である Is a block diagram of an information input device according to the first embodiment of the invention; FIG

【図2】図1に示す装置の情報入力方法のフローチャートである。 2 is a flowchart of an information input method of the apparatus shown in FIG.

【図3】図2に示す注視検出処理のサブルーチンである。 3 is a subroutine of the gaze detection processing shown in FIG.

【図4】図2に示す閉瞼検出処理のサブルーチンである。 4 is a subroutine of the closed eyelid detection processing shown in FIG.

【図5】本発明の第2の実施の形態に係る情報入力方法のフローチャートである。 5 is a flowchart of an information input method according to the second embodiment of the present invention.

【図6】図5に示す選択要素の属性表示例を示す図である。 6 is a diagram illustrating an attribute display example of the selection element shown in FIG.

【図7】本発明の第5の実施の形態に係る情報入力装置のブロック図である。 7 is a block diagram of an information input device according to a fifth embodiment of the present invention.

【図8】図7に示す装置の情報入力方法のフローチャートである。 8 is a flowchart of an information input method of the apparatus shown in FIG.

【図9】図8に示す選択検知処理のサブルーチンである。 9 is a subroutine of the selection detection processing shown in FIG.

【符号の説明】 DESCRIPTION OF SYMBOLS

101,701 視線検出装置 102 瞬き検出装置 103 ディスプレイ 104,704 入出力部 105,106,705,706 記憶装置 107,707 CPU 702 音声信号発生装置 703 発音装置 101,701 gaze detecting device 102 Blink detection device 103 displays 104,704 output unit 105,106,705,706 storage 107,707 CPU 702 sound signal generator 703 sound generating device

Claims (16)

    【特許請求の範囲】 [The claims]
  1. 【請求項1】 選択要素の画像を表示装置に表示する選択要素表示機能と、前記選択要素に一意に割当てられた画面上の領域を装置使用者が注視したか判定する注視検出機能と、前記装置使用者の閉瞼動作を検出する閉瞼検出機能と、情報の入力を確定するための信号を出力する入力確定機能とを有して、装置使用者が注視した画面上の選択要素の選択を、前記装置使用者の閉瞼動作を検出したら情報入力を確定するための信号を出力して確定することを特徴とする情報入力方法。 [1 claim: a selection element display function for displaying an image of the selected element on the display device, and determining gaze detection or regions apparatus user on the screen that uniquely assigned to the selected element is gazing, the comprises a closed eyelid detection function for detecting the eyelid closure behavior of the device user, and an input confirmation function of outputting a signal for fixing the input of the information, the selection of selection elements on the screen device user is gazing the information input method characterized by determining outputs a signal for determining the information input upon detection of eyelid closure behavior of the device user.
  2. 【請求項2】 請求項1記載の情報入力方法において、 2. A data input method of claim 1,
    選択要素の属性を設定する属性設定機能を有し、選択要素の選択および情報の入力の確定を視覚的に確認できることを特徴とする情報入力方法。 Information input method characterized by having an attribute setting function that sets an attribute of the selected element, you can visually confirm the determination of the input selection and information of the selected element.
  3. 【請求項3】 選択要素の画像を表示装置に表示する選択要素表示手段と、前記選択要素に一意に割り当てられた画面上の領域を装置使用者が注視したか判定する注視検出手段と、装置使用者の閉瞼動作を検出する閉瞼検出手段と、情報の入力を確定するための信号を出力する入力確定手段とを備えたことを特徴とする情報入力装置。 3. A selected element display means for displaying an image of the selected element on the display device, and determining gaze detection means or regions apparatus user on the uniquely assigned screen to the selected element is gazing, device information input apparatus characterized by comprising: a closed eyelid detecting means for detecting an eyelid closure behavior of the user, an input determination means for outputting a signal for fixing the input of information.
  4. 【請求項4】 請求項3記載の情報入力装置において、 4. The information input device according to claim 3,
    選択要素の属性を設定する属性設定手段を備えたことを特徴とする情報入力装置。 Information input apparatus characterized by comprising an attribute setting means for setting an attribute of the selected element.
  5. 【請求項5】 計算機で読むことのできるプログラムコード手段を格納し情報入力を行うことが可能な情報入力用記憶媒体において、 選択要素の画像を表示装置に表示する手段と、前記選択要素に一意に割当てられた画面上の領域を装置使用者が注視したか判定する手段と、装置使用者の閉瞼動作を検出する手段と、情報の入力を確定するための信号を出力する手段を含むプログラムコード手段を格納することを特徴とする情報入力用記憶媒体。 5. A computer with information input storage medium capable of performing the storage and information input program code means which can be read, means for displaying an image of the selected element on the display device, unique to the selected element program comprising means for determining whether the region of a device user on the screen is watched assigned, means for detecting the eyelid closure behavior of the device user, the means for outputting a signal for fixing the input of information to the information input storage medium characterized by storing the code means.
  6. 【請求項6】 計算機で読むことのできるプログラムコード手段を格納し、情報入力を行うことが可能な情報入力用記憶媒体において、 選択要素の画像を表示装置に表示させる手段と、前記選択要素に一意に割当てられた画面上の領域を装置使用者が注視したか判定する手段と、装置使用者の閉瞼動作を検出する手段と、情報の入力を確定するための信号を出力する手段と、前記選択要素の属性を設定する手段を含むプログラムコード手段を格納することを特徴とする情報入力用記憶媒体。 6. to store the program code means can be read by a computer, the information input storage medium capable of inputting information, and means for displaying the image of the selected element on the display device, to the selected element means for determining uniquely or regions apparatus user on the assigned screen is gazing, comprising: means for detecting the eyelid closure behavior of the device user, and means for outputting a signal for fixing the input of the information, information input storage medium characterized by storing a program code means comprising means for setting an attribute of the selected element.
  7. 【請求項7】 前記注視検出手段は、赤外光の角膜反射像の位置を計測することにより視線方向を検出する視線検出装置であることを特徴とする請求項3記載の情報入力装置。 Wherein said gaze detection means, the information input device according to claim 3, wherein it is a line-of-sight detecting device for detecting the gaze direction by measuring the position of the corneal reflection image of the infrared light.
  8. 【請求項8】 前記閉瞼検出手段は、赤外光の角膜反射像の有無より装置使用者の閉瞼を検知する瞬き検出装置であることを特徴とする請求項3記載の情報入力装置。 Wherein said eyelid closure detection means, the information input apparatus according to claim 3, characterized in that the blink detection device for detecting the eyelid closure device users than the presence or absence of corneal reflection image of the infrared light.
  9. 【請求項9】 前記属性設定手段は、選択要素の被選択状態、選択状態および確定状態に応じて前記選択要素の色又は形等の属性を変更することを特徴とする請求項4 Wherein said attribute setting means, the selection state of the selection element, according to claim 4, characterized in that changing the attributes such as color or shape of the selected element in response to the selection state and confirmed state
    記載の情報入力装置。 Information input device as claimed.
  10. 【請求項10】 入力の対象となる複数の情報を装置使用者に順次提示する機能と、眼球の動作を用いた装置使用者の情報選択操作を検出する機能と、被選択情報を判別する信号を出力する被選択情報出力機能とを有して、 10. A function of successively presenting a plurality of information to be input target device user, a function of detecting a device user of information selection operation using the operation of the eye, the signal to determine the selected information and a the selected information output function of outputting,
    順次提示される複数の情報からの選択を、眼球動作による装置使用者の情報選択操作を検出したら、被選択情報を判別する信号を出力して確定することを特徴とする情報入力方法。 The selection from the plurality of information sequentially presented, upon detection of the information selecting operation of the device user by the ocular operation, information input wherein the determining to output the signal to determine the selected information.
  11. 【請求項11】 入力の対象となる複数の情報を装置使用者に順次提示する機能と、閉瞼動作を用いた装置使用者の情報選択操作を検出する機能と、被選択情報を判別する信号を出力する被選択情報出力機能とを有して、順次提示される情報からの選択を、閉瞼動作による装置使用者の情報選択操作を検出したら、被選択情報を判別する信号を出力して確定することを特徴とする情報入力方法。 11. A function of successively presented to a plurality of information equipment user to be input, a function of detecting a device user of information selection operation using the eyelid closure operation, the signal to determine the selected information and a the selected information output function of outputting, a selection from the information to be presented sequentially, upon detecting the information selecting operation of the device user by eyelid closure operation, and outputs the signal to determine the selected information information input method characterized by determining.
  12. 【請求項12】 入力の対象となる複数の情報を装置使用者に順次提示する手段と、眼球の動作を用いた装置使用者の情報選択操作を検出する手段と、被選択情報を判別する信号を出力する被選択情報出力手段とを備えたことを特徴とする情報入力装置。 12. A means for sequentially presenting a plurality of information to be input target device user, means for detecting a device user of information selection operation using the operation of the eye, the signal to determine the selected information information input apparatus being characterized in that a the selected information output means for outputting.
  13. 【請求項13】 入力の対象となる複数の情報を装置使用者に順次提示する手段と、閉瞼動作を用いた装置使用者の情報選択操作を検出する手段と、被選択情報を判別する信号を出力する被選択情報出力手段とを備えたことを特徴とする情報入力装置。 13. A means for sequentially presenting a plurality of information to be input target device user, means for detecting a device user of information selection operation using the eyelid closure operation, the signal to determine the selected information information input apparatus being characterized in that a the selected information output means for outputting.
  14. 【請求項14】 計算機で読むことのできるプログラムコード手段を格納し音符等の情報入力を行うことが可能な情報入力用記憶媒体において、 入力の対象となる複数の情報を装置使用者に順次提示する手段と、眼球の動作を用いた装置使用者の情報選択操作を検出する手段と、被選択情報を判別する信号を出力する手段とを含むプログラムコード手段を格納することを特徴とする情報入力用記憶媒体。 14. A computer in the information input storage medium capable of inputting information such as notes stored program code means which can be read sequentially presenting a plurality of information to be input to the device user means and means for detecting a device user of information selection operation using the operation of the eye, the information input, characterized in that storing a program code means comprising means for outputting a signal for determining the selection information use storage medium.
  15. 【請求項15】 計算機で読むことができるプログラムコードを格納し音符等の情報入力を行うことが可能な情報入力用記憶媒体において、 入力の対象となる複数の情報を装置使用者に順次提示する手段と、閉瞼動作を用いた装置使用者の情報選択操作を検出する手段と、被選択情報を判別する信号を出力する手段とを含むプログラムコード手段を格納することを特徴とする情報入力用記憶媒体。 15. A computer in the information input storage medium capable of inputting information such as notes for storing a program code that can be read sequentially presenting a plurality of information to be input to the device user means and means for detecting a device user of information selection operation using the eyelid closure behavior, input information, characterized in that storing a program code means comprising means for outputting a signal for determining the selection information storage medium.
  16. 【請求項16】 前記装置使用者の情報選択操作を検出する手段は、赤外光の角膜反射像の位置計測より装置使用者の眼球回転角を検出する視線検出装置であることを特徴とする請求項12又は13記載の情報入力装置。 16. Means of detecting information selecting operation of the device user, characterized in that it is a line-of-sight detecting device for detecting the eyeball rotation angle of the device user from a position measurement of the corneal reflected image of the infrared light information input device according to claim 12 or 13, wherein.
JP8356505A 1996-12-26 1996-12-26 Information inputting method, information inputting device and information inputting recording medium Pending JPH10187334A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP8356505A JPH10187334A (en) 1996-12-26 1996-12-26 Information inputting method, information inputting device and information inputting recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP8356505A JPH10187334A (en) 1996-12-26 1996-12-26 Information inputting method, information inputting device and information inputting recording medium

Publications (1)

Publication Number Publication Date
JPH10187334A true JPH10187334A (en) 1998-07-14

Family

ID=18449360

Family Applications (1)

Application Number Title Priority Date Filing Date
JP8356505A Pending JPH10187334A (en) 1996-12-26 1996-12-26 Information inputting method, information inputting device and information inputting recording medium

Country Status (1)

Country Link
JP (1) JPH10187334A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100749033B1 (en) 2004-03-03 2007-08-13 학교법인 한국정보통신학원 A method for manipulating a terminal using user's glint, and an apparatus
KR100846210B1 (en) * 2006-12-05 2008-07-15 한국전자통신연구원 System and method for actively inputting
JP2009015592A (en) * 2007-07-04 2009-01-22 Sharp Corp Noncontact input device for mobile communication terminal, mobile communication terminal, and mail creation system
JP2012137970A (en) * 2010-12-27 2012-07-19 Casio Comput Co Ltd Information processing device and method, and program
US8466875B2 (en) 2008-01-25 2013-06-18 Panasonic Corporation Electroencephalogram interface system, electroencephalogram interface apparatus, method, and computer program
JP2014021565A (en) * 2012-07-12 2014-02-03 Canon Inc Electronic device, and control method therefor
JP2015049721A (en) * 2013-09-02 2015-03-16 ソニー株式会社 Information processor, information processing method and program

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100749033B1 (en) 2004-03-03 2007-08-13 학교법인 한국정보통신학원 A method for manipulating a terminal using user's glint, and an apparatus
KR100846210B1 (en) * 2006-12-05 2008-07-15 한국전자통신연구원 System and method for actively inputting
JP2009015592A (en) * 2007-07-04 2009-01-22 Sharp Corp Noncontact input device for mobile communication terminal, mobile communication terminal, and mail creation system
US8466875B2 (en) 2008-01-25 2013-06-18 Panasonic Corporation Electroencephalogram interface system, electroencephalogram interface apparatus, method, and computer program
JP2012137970A (en) * 2010-12-27 2012-07-19 Casio Comput Co Ltd Information processing device and method, and program
JP2014021565A (en) * 2012-07-12 2014-02-03 Canon Inc Electronic device, and control method therefor
JP2015049721A (en) * 2013-09-02 2015-03-16 ソニー株式会社 Information processor, information processing method and program
US9939894B2 (en) 2013-09-02 2018-04-10 Sony Corporation Information processing to operate a display object based on gaze information
US10180718B2 (en) 2013-09-02 2019-01-15 Sony Corporation Information processing apparatus and information processing method

Similar Documents

Publication Publication Date Title
Dennett et al. Time and the observer: The where and when of consciousness in the brain
Mansell et al. Social anxiety and attention away from emotional faces
Boff et al. User's Guide Engineering Data Compendium Human Perception and Performance
US8390439B2 (en) Method and apparatus for generating mood-based haptic feedback
Stanney Realizing the full potential of virtual reality: human factors issues that could stand in the way
D'Mello et al. Gaze tutor: A gaze-reactive intelligent tutoring system
EP0634031B1 (en) Apparatus and method for eye tracking interface
JP2005237561A (en) Information processing device and method
JP2845926B2 (en) Man-machine system
EP2145327B1 (en) Vision cognition and coordination testing
US5929972A (en) Communication apparatus and method for performing vision testing on deaf and severely hearing-impaired individuals
Sibert et al. Evaluation of eye gaze interaction
US6149586A (en) System and method for diagnosing executive dysfunctions using virtual reality and computer simulation
Ansorge et al. Manual and verbal responses to completely masked (unreportable) stimuli: Exploring some conditions for the metacontrast dissociation
Gallace et al. Multisensory synesthetic interactions in the speeded classification of visual size
US5517021A (en) Apparatus and method for eye tracking interface
US20160267708A1 (en) Head mounted system and method to compute and render a stream of digital images using a head mounted display
US10353462B2 (en) Eye tracker based contextual action
US20030158467A1 (en) Web-based medical diagnostic and training system
TWI249700B (en) System and method for accelerating Chinese text input
JP2017526078A (en) System and method for biomechanics-based ocular signals for interacting with real and virtual objects
US8466875B2 (en) Electroencephalogram interface system, electroencephalogram interface apparatus, method, and computer program
US9870060B2 (en) Systems and methods for gaze-based media selection and editing
US20100182232A1 (en) Electronic Data Input System
US6126450A (en) Medical simulator system and medical simulator notifying apparatus