WO2021260831A1 - 情報入力装置 - Google Patents

情報入力装置 Download PDF

Info

Publication number
WO2021260831A1
WO2021260831A1 PCT/JP2020/024781 JP2020024781W WO2021260831A1 WO 2021260831 A1 WO2021260831 A1 WO 2021260831A1 JP 2020024781 W JP2020024781 W JP 2020024781W WO 2021260831 A1 WO2021260831 A1 WO 2021260831A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearer
electrode
movement
determination unit
spectacle frame
Prior art date
Application number
PCT/JP2020/024781
Other languages
English (en)
French (fr)
Inventor
一善 小野
新 豊田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to PCT/JP2020/024781 priority Critical patent/WO2021260831A1/ja
Priority to JP2022531306A priority patent/JP7435774B2/ja
Priority to US18/011,752 priority patent/US11874962B2/en
Priority to CN202080102162.XA priority patent/CN115917406A/zh
Publication of WO2021260831A1 publication Critical patent/WO2021260831A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0138—Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Definitions

  • the present invention relates to an information input device for inputting information.
  • Non-Patent Document 1 A line-of-sight input interface has been put into practical use as a device for a person with a severe limb disorder to input information to an information processing device such as a computer.
  • an information processing device such as a computer
  • Non-Patent Document 2 In order to access information that is used by healthy people on a daily basis, it is necessary to have a pointing device function that a user interface such as a mouse has, which is normally used by healthy people.
  • the functions for operating pointers and icons displayed on the computer screen include pointer movement operations and click-equivalent operations (click, press, drag, drop).
  • the pointer movement operation is realized by gaze at the line of sight using an eye tracker, and the operation equivalent to a click is realized by blinking.
  • the pointing function may malfunction due to an involuntary movement different from the user's intention. For example, if the user blinks unintentionally, the device recognizes a click-equivalent action. Therefore, the user needs to be careful not to cause involuntary movements when using the device.
  • the user is forced to limit the blinking that is different from the intention while using the device, which imposes a heavy burden on the user such as a feeling of fatigue.
  • the present invention has been made to solve the above problems, and an object thereof is to reduce the burden on the user and enable the user to input information in a natural form.
  • the information input device is provided on the spectacle frame, at least one of the nose pad and the rim of the spectacle frame, and has a measuring electrode for measuring an electric signal due to the movement of the eyelid or eyebrows of the wearer, and spectacles.
  • a deflection detection unit provided on the frame to detect the deflection of the spectacle frame, a first determination unit for determining the occurrence of eyelid or eyebrow movement of the wearer based on the electric signal measured by the measuring electrode, and the deflection detection unit.
  • the second determination unit that determines the occurrence of facial movement of the wearer and the first determination unit determine the occurrence of eyelid or eyebrow movement of the wearer, and at the same time.
  • the second determination unit determines that the wearer's facial movement has occurred, the second determination unit includes an output unit that outputs a command by operating the wearer's spectacle frame.
  • the first determination unit determines the occurrence of eyelid or eyebrow movement of the wearer of the spectacle frame
  • the second determination unit determines the face of the wearer of the spectacle frame. Since it is determined that the movement of the eyebrows has occurred, the burden on the user can be reduced and the information can be input in a form that is natural for the user.
  • FIG. 1A is a configuration diagram showing a configuration of an information input device according to the first embodiment of the present invention.
  • FIG. 1B is a configuration diagram showing the configuration of another information input device according to the first embodiment of the present invention.
  • FIG. 2 is a configuration diagram showing a configuration of an information input device according to a second embodiment of the present invention.
  • This information input device includes a spectacle frame 101, a measuring electrode 102, a deflection detection unit 104, a first determination unit 121, a second determination unit 122, and an output unit 123. Further, this information input device is provided in the modern part of the spectacle frame 101, and includes a common electrode 105 that comes into contact with the skin of the wearer of the spectacle frame 101 in the modern part. The common electrode 105 can also be provided on at least one of the two moderns.
  • the measuring electrode 102 is provided on the nose pad of the spectacle frame 101 and is used for measuring an electric signal due to the movement of the eyelids or eyebrows of the wearer.
  • the measuring electrode 102 is in contact with the skin of the wearer on the nose pad of the spectacle frame 101, and is used to measure the potential of the contacted portion.
  • the measurement electrode 103 can be provided on the rim of the spectacle frame 101. In this case, the measuring electrode 103 is in contact with the skin of the wearer on the rim of the spectacle frame 101, and is used to measure the potential of the contacted portion.
  • the deflection detection unit 104 is provided on the spectacle frame 101 and detects the deflection of the spectacle frame 101.
  • the deflection detection unit 104 can be provided, for example, on the bridge of the spectacle frame 101. It is generally known that when a human moves his / her face, for example, when he / she moves his / her ears, he / she becomes a voluntary movement by paying attention to the frontalis muscle, the auricular muscle, the temporal muscle, and the occipitalis muscle. When these muscles move, a displacement occurs between the temporal region and the glabellar. Since the spectacle frame 101 bends in response to this displacement, the deflection detection unit 104 detects this deflection.
  • the deflection detection unit 104 can be configured from a thin film type displacement sensor (bending sensor) manufactured by "SpectraSymbol”.
  • the eyebrows up and down as a voluntary movement by focusing mainly on the corrugator supercilii muscle, frontalis muscle, procerus muscle, orbicularis oculi muscle, temporal muscle, and nose muscle.
  • stress is generated in the spectacle frame 101 due to the displacement caused by the wearer consciously moving the eyebrows.
  • the deflection detection unit 104 By detecting this stress with the deflection detection unit 104, the behavior of the wearer moving the eyebrows up and down can be detected.
  • the first determination unit 121 determines the occurrence of eyelid or eyebrow movement of the wearer based on the electrical signal measured by the measurement electrode 102 with the common electrode 105 as the ground potential.
  • the first determination unit 121 amplifies the potential signal obtained from the measurement electrode 102, removes noise and the like from the amplified signal, and then takes out, for example, an electrocardiogram signal and stores it as the taken out electrocardiogram signal. By comparing with the reference signal, the occurrence of eyelid or eyebrow movement of the wearer is determined.
  • a rectified smoothing signal is obtained from a signal waveform that has been measured and processed, a time change is obtained from the waveform of the obtained rectified smoothing signal, and the above-mentioned feature extraction is performed.
  • the second determination unit 122 determines the occurrence of facial movement of the wearer when the deflection detection unit 104 detects the deflection of the spectacle frame 101.
  • the second determination unit 122 amplifies the potential signal obtained from the deflection detection unit 104, removes noise and the like from the amplified signal, and then compares the signal from which the noise and the like are removed with the stored reference signal. By doing so, it is determined that the spectacle frame 101 is bent.
  • the above-mentioned behavior of the wearer detected by the deflection detection unit 104 to move the eyebrows up and down and the movement of the eyebrows determined by the electric signal measured by the measurement electrode 102 are different movements.
  • the action of the wearer moving the eyebrows up and down detected by the deflection detection unit 104 is accompanied by other facial movements that occur simultaneously in this action, and as a result, stress is generated in the spectacle frame 101. ..
  • the movement of the eyebrows determined by the electric signal measured by the measuring electrode 102 does not accompany other movements of the face and does not generate stress on the spectacle frame 101.
  • each determination unit can also perform digitization processing of the measured signal. In addition, each determination unit can also perform adjustment processing of the acquired signal. In addition, each determination unit can also manage the identification of the wearable person, if necessary.
  • the output unit 123 determines the occurrence of the wearer's face movement. Outputs a command by operating the eyebrow frame 101 of. Further, the output unit 123 has a function of feeding back the presence / absence of the signal being measured and the signal output and processed by the external device to the wearable person by voice or vibration.
  • the output unit 123 can also transmit the signal processed by each determination unit to an external device such as a smartphone, a tablet terminal, or a personal computer.
  • the output unit 123 transmits each signal to an external device by wireless communication such as Bluetooth (registered trademark), wireless LAN, or wired communication.
  • the output unit 123 can also have a function of receiving a signal processed and transmitted by an external device.
  • Each determination unit and output unit 123 can be composed of a computer device including a CPU (Central Processing Unit), a main storage device, an external storage device, a network connection device, and the like. By operating the CPU (execution of the program) by the program expanded in the main storage device, each of the above-mentioned functions can be realized.
  • a CPU Central Processing Unit
  • main storage device an external storage device
  • network connection device a network connection device
  • two independent types of voluntary movements that is, the movement of the eyelid or eyebrows of the wearer and the movement of the face of the wearer are measured, and these are measured (detected) at the same time.
  • Output a command such as activating the pointing function.
  • the muscles of the face connect the bones to the skin and can create complex facial expressions.
  • it has the feature that a plurality of muscles are linked by two movements.
  • Two different types of voluntary movements can be functionally anatomically independently and spontaneously generated by the wearer on such facial muscles and skeletal structures.
  • This information input device includes a glasses frame 101, a first nose electrode 102a, a second nose electrode 102b, a first rim electrode 103a, a second rim electrode 103b, a deflection detection unit 104, a first determination unit 121a, and a second determination.
  • a unit 122 and an output unit 123 are provided.
  • this information input device includes a common electrode 105.
  • the deflection detection unit 104, the second determination unit 122, and the common electrode 105 are the same as those in the first embodiment described above.
  • the first nose pad electrode 102a and the second nose pad electrode 102b are provided on each of the two nose pads of the spectacle frame 101, and each of the nose pads contacts the skin of the wearer.
  • the first rim electrode 103a and the second rim electrode 103b come into contact with the skin of the wearer at each rim portion.
  • the measurement electrode is composed of the first nose pad electrode 102a, the second nose pad electrode 102b, the first rim electrode 103a, and the second rim electrode 103b. These electrodes are used to measure electrical signals due to the movement of the wearer's eyelids or eyebrows.
  • an active electrode can be used (Reference 2).
  • the first determination unit 121a moves the eyelids or eyebrows of the wearer based on the electrical signals measured by the first nose pad electrode 102a, the second nose pad electrode 102b, the first rim electrode 103a, and the second rim electrode 103b. Judge the occurrence of.
  • the first determination unit 121 amplifies the potential signal obtained from each of the first measurement electrodes having the above-described configuration, removes noise and the like from the amplified signal, and then takes out, for example, an electrocardiogram signal and takes out the eye. By comparing the electrocardiogram signal with the stored reference signal, it is determined whether the wearer's eyelids or eyebrows move.
  • the common electrode 105 is used as the ground potential, and the facial muscle or ocular potential around the right eye is measured (detected) by the differential potential between the first nose pad electrode 102a and the first rim electrode 103a. Further, the common electrode 105 is set as the ground potential, and the facial muscle or the ocular potential around the left eye is measured (detected) by the differential potential between the second nose pad electrode 102b and the second rim electrode 103b. Further, the common electrode 105 is set as the ground potential, and the facial muscle is determined by the differential potential between the first nose pad electrode 102a and the second nose pad electrode 102b or the differential potential between the first rim electrode 103a and the second rim electrode 103b. Alternatively, the electrooculogram can be detected.
  • the second determination unit 122 is the same as the first embodiment described above, and when the deflection detection unit 104 detects the deflection of the spectacle frame 101, it determines the occurrence of facial movement of the wearer.
  • the output unit 123 determines the occurrence of the wearer's face movement. Outputs a command by operating the eyebrow frame 101 of. Further, the output unit 123 has a function of feeding back the presence / absence of the signal being measured and the signal output and processed by the external device to the wearable person by voice or vibration.
  • two independent types of voluntary movements that is, the movement of the eyelid or eyebrows of the wearer and the movement of the face of the wearer are measured, and these are measured (detected) at the same time.
  • a command such as activating the pointing function is output.
  • the first determination unit determines the occurrence of eyelid or eyebrow movement of the wearer of the spectacle frame
  • the second determination unit determines the occurrence of movement of the wearer of the spectacle frame. Since the occurrence of facial movement is determined, the burden on the user can be reduced and information can be input in a form that is natural for the user.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Health & Medical Sciences (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • Biomedical Technology (AREA)
  • Ophthalmology & Optometry (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

第１判定部（１２１）は、共通電極（１０５）をグランド電位として、測定電極（１０２）で測定した電気信号を元に、被着者のまぶたまたは眉の動きの発生を判定する。第２判定部（１２２）は、たわみ検出部（１０４）がメガネフレーム（１０１）のたわみを検出すると、被着者の顔面の動きの発生を判定する。出力部（１２３）は、第１判定部（１２１）が被着者のまぶたまたは眉の動きの発生を判定し、同時に、第２判定部（１２２）が被着者の顔面の動きの発生を判定すると、被着者のメガネフレーム（１０１）の操作によるコマンドを出力する。

Description

情報入力装置
　本発明は、情報を入力するための情報入力装置に関する。
　重度の四肢障害を抱えた人が、コンピュータなどの情報処理機器へ情報を入力する装置として、視線入力インターフェースが実用化されている（非特許文献１）。 健常者が日常用いている情報へアクセスするためには、健常者が通常用いるような、マウスなどのユーザインターフェースが備えるようなポインティングデバイスの機能が必要である。つまり、情報へのアクセスのためには、コンピュータの画面上に表示されるポインタやアイコンを操作するための機能として、ポインタの移動操作、クリック相当の動作（クリック、プレス、ドラッグ、ドロップ）を備えることが必要である（非特許文献２）。
下り藤菜穂子　著、「特集B 障がい者支援と映像、2章 重度障がい者のための視線入力インタフフェース」、映像情報メディア学会誌 Vol. 69, No. 6, pp. 530-534、２０１５年。 今野　秀威　他、「両眼の位置検出を利用した多次元操作インターフェースの検討」、映像情報メディア学会誌、Vol. 61、No. 4、pp. 518～525、２００７年。
　従来の技術では、アイトラッカーを用いた視線の注視により、ポインタの移動操作を実現し、まばたきによって、クリック相当の動作を実現するなどの例がある。しかしながら、従来の技術では、ユーザの意図とは異なる不随意性運動によって、ポインティング機能に誤作動が生じる場合がある。例えば、ユーザが、意図と異なりまばたきをした場合、装置は、クリック相当の動作を認識してしまう。このため、ユーザは、不随意性運動が起こらないよう注意して装置を使用することが必要となる。従来の技術では、ユーザは、装置の使用中、意図と異なるまばたきを制限せざるを得ないような状況となり、疲労感などユーザの負担が大きいものであった。
　本発明は、以上のような問題点を解消するためになされたものであり、ユーザの負担を低減して、ユーザにとって自然な形態で情報が入力できるようにすることを目的とする。
　本発明に係る情報入力装置は、メガネフレームと、メガネフレームの鼻あておよびリムの少なくとも１つに設けられ、被着者のまぶたまたは眉の動きによる電気信号を測定するための測定電極と、メガネフレームに設けられ、メガネフレームのたわみを検出するたわみ検出部と、測定電極で測定した電気信号を元に、被着者のまぶたまたは眉の動きの発生を判定する第１判定部と、たわみ検出部がメガネフレームのたわみを検出すると、被着者の顔面の動きの発生を判定する第２判定部と、第１判定部が被着者のまぶたまたは眉の動きの発生を判定し、同時に、第２判定部が被着者の顔面の動きの発生を判定すると、被着者のメガネフレームの操作によるコマンドを出力する出力部とを備える。
　以上説明したように、本発明によれば、第１判定部で、メガネフレームの被着者のまぶたまたは眉の動きの発生を判定し、第２判定部で、メガネフレームの被着者の顔面の動きの発生を判定するので、ユーザの負担を低減して、ユーザにとって自然な形態で情報が入力できるようになる。
図１Ａは、本発明の実施の形態１に係る情報入力装置の構成を示す構成図である。 図１Ｂは、本発明の実施の形態１に係る他の情報入力装置の構成を示す構成図である。 図２は、本発明の実施の形態２に係る情報入力装置の構成を示す構成図である。
　以下、本発明の実施の形態に係る情報入力装置について説明する。
［実施の形態１］
　はじめに、本発明の実施の形態１に係る情報入力装置について、図１Ａ、図１Ｂを参照して説明する。この情報入力装置は、メガネフレーム１０１、測定電極１０２、たわみ検出部１０４、第１判定部１２１、第２判定部１２２、および出力部１２３を備える。また、この情報入力装置は、メガネフレーム１０１のモダンに設けられ、モダンの部分で、メガネフレーム１０１の被着者の皮膚に接触する共通電極１０５を備える。共通電極１０５は、２つのモダンの少なくとも一方に設けることもできる。
　測定電極１０２は、メガネフレーム１０１の鼻あてに設けられ、被着者のまぶたまたは眉の動きによる電気信号の測定に用いられる。測定電極１０２は、メガネフレーム１０１の鼻あてにおいて被着者の皮膚に接し、接している箇所の電位を測定するために用いられる。また、図１Ｂに示すように、メガネフレーム１０１のリムに、測定電極１０３を設けることもできる。この場合、測定電極１０３は、メガネフレーム１０１のリムにおいて被着者の皮膚に接し、接している箇所の電位を測定するために用いられる。
　たわみ検出部１０４は、メガネフレーム１０１に設けられ、メガネフレーム１０１のたわみを検出する。たわみ検出部１０４は、例えば、メガネフレーム１０１のブリッジに設けることができる。一般に人間が顔面を動かす場合、例えば、耳を動かす際、前頭筋、耳介筋、側頭筋、後頭筋へ意識を向けることで随意性運動となることが知られている。これらの筋肉が動いた際、側頭部と眉間との間に変位が生ずる。この変位に対応してメガネフレーム１０１がたわむので、たわみ検出部１０４このたわみを検出する。例えば、「SpectraSymbol」社製の薄膜型変位センサ（曲げセンサ）からたわみ検出部１０４を構成することができる。
　主に、前頭筋、耳介筋、側頭筋、後頭筋へ動作するよう意識を向けることにより、耳を随意的に前後へ動かすことが可能である。例えば、被着者が耳を前後に動かした場合、これに対応してメガネフレーム１０１には耳の前後の変位により応力が発生する。この応力をたわみ検出部１０４により検出することで、被着者の耳の前後運動が検出できる。
　また、主に、皺眉筋、前頭筋、鼻根筋、眼輪筋、側頭筋、鼻筋に意識を向けることにより、随意性運動として眉を上下に動かすことが可能である。例えば、被着者が眉を意識して動かしたことによる変位により、メガネフレーム１０１に応力が発生する。この応力をたわみ検出部１０４により検出することで、被着者が眉を上下に動かす所作が検出できる。
　第１判定部１２１は、共通電極１０５をグランド電位として、測定電極１０２で測定した電気信号を元に、被着者のまぶたまたは眉の動きの発生を判定する。第１判定部１２１は、測定電極１０２から得られた電位信号を増幅し、増幅された信号からノイズなどを除去した後、例えば眼電図信号を取り出し、取り出した眼電図信号と、記憶している基準信号とを比較することで、被着者のまぶた、または眉の動きの発生を判定する。
　ここで、表情筋の筋電信号は、同一の被験筋でも動作毎に振幅が異なるので、各被験筋の特徴抽出を行うことが重要となる（参考文献１参照）。特徴抽出では、例えば、測定されて処理の処理がなされた信号波形から整流平滑信号を得、得られた整流平滑信号の波形から時間変化を求め、上述した特徴抽出を行う。
　第２判定部１２２は、たわみ検出部１０４がメガネフレーム１０１のたわみを検出すると、被着者の顔面の動きの発生を判定する。第２判定部１２２は、たわみ検出部１０４から得られた電位信号を増幅し、増幅された信号からノイズなどを除去した後、ノイズなどを除去した信号と、記憶している基準信号とを比較することで、メガネフレーム１０１におけるたわみの発生を判定する。
　ところで、前述した、たわみ検出部１０４で検出される被着者が眉を上下に動かす所作と、測定電極１０２で測定された電気信号で判定される眉の動きとは、各々異なる動きとなる。例えば、たわみ検出部１０４で検出される被着者が眉を上下に動かす所作は、この所作において同時に発生する顔面の他の動きを伴い、この結果、メガネフレーム１０１に応力を発生させるものとなる。一方、測定電極１０２で測定された電気信号で判定される眉の動きは、顔面の他の動きを伴うことがなく、メガネフレーム１０１に応力を発生させることがない。
　なお、各判定部においては、測定された信号のデジタル化処理を実施することもできる。また、各判定部においては、取得した信号の加減処理を実施することもできる。また、各判定部は、必要に応じて、被着者の識別管理を行うこともできる。
　出力部１２３は、第１判定部１２１が被着者のまぶたまたは眉の動きの発生を判定し、同時に、第２判定部１２２が被着者の顔面の動きの発生を判定すると、被着者のメガネフレーム１０１の操作によるコマンドを出力する。また、出力部１２３は、測定している信号の有無や、出力されて外部装置にて処理された信号を、音声や振動などにより被着者にフィードバックする機能を有する。
　また、出力部１２３は、各判定部により処理された信号を、スマートフォンやタブレット端末、パーソナルコンピュータなどの外部装置に送信することもできる。例えば、出力部１２３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮなどの無線通信、あるいは、有線通信によって、各信号を外部装置に送信する。また、出力部１２３は、外部装置にて処理され送信された信号を受信する機能を備えることもできる。
　各判定部および出力部１２３は、ＣＰＵ（Central Processing Unit；中央演算処理装置）と主記憶装置と外部記憶装置とネットワーク接続装置となどを備えたコンピュータ機器から構成することができる。主記憶装置に展開されたプログラムによりＣＰＵが動作する（プログラムを実行する）ことで、上述した各機能が実現されるようにすることができる。
　上述した実施の形態１によれば、被着者のまぶたまたは眉の動きと、被着者の顔面の動きとの、独立した２種類の異なる随意性運動を測定し、これらが同時に測定（検出）された場合に、ポインティング機能をアクティブにするなどのコマンドを出力する。この結果、ユーザのジェスチャの一方が不随意性運動となってしまった場合には、装置が反応せず、誤作動が発生しないようにすることが可能となる。顔の筋肉は、骨と皮膚を結んでおり、複雑な表情を作り出すことができる。一方で、２つの動作で複数の筋が連動するという特徴を持つ。このような顔面の筋と骨格構造に対して、被着者が、２種類の異なる随意運動を機能解剖学的に独立かつ自然に発生させることができる。
［実施の形態２］
　次に、本発明の実施の形態２に係る情報入力装置について、図２を参照して説明する。この情報入力装置は、メガネフレーム１０１、第１鼻あて電極１０２ａ、第２鼻あて電極１０２ｂ、第１リム電極１０３ａ、第２リム電極１０３ｂ、たわみ検出部１０４、第１判定部１２１ａ、第２判定部１２２、および出力部１２３を備える。また、この情報入力装置は、共通電極１０５を備える。たわみ検出部１０４、第２判定部１２２、および共通電極１０５は、前述した実施の形態１と同様である。
　第１鼻あて電極１０２ａ、第２鼻あて電極１０２ｂは、メガネフレーム１０１の２つの鼻あての各々に設けられ、各々の鼻当ての部分で被着者の皮膚に接触する。第１リム電極１０３ａ、第２リム電極１０３ｂは、各々のリムの部分で被着者の皮膚に接触する。実施の形態２では、第１鼻あて電極１０２ａ、第２鼻あて電極１０２ｂ、第１リム電極１０３ａ、第２リム電極１０３ｂにより、測定電極を構成している。これら電極は、被着者のまぶたまたは眉の動きによる電気信号の測定に用いられる。上述した各電極は、アクティブ電極を用いることができる（参考文献２）。
　第１判定部１２１ａは、第１鼻あて電極１０２ａ、第２鼻あて電極１０２ｂ、第１リム電極１０３ａ、第２リム電極１０３ｂで測定した電気信号を元に、被着者のまぶたまたは眉の動きの発生を判定する。第１判定部１２１は、上述した構成の第１測定電極の各々から得られた電位信号を増幅し、増幅された信号からノイズなどを除去した後、例えば眼電図信号を取り出し、取り出した眼電図信号と、記憶している基準信号とを比較することで、被着者のまぶた、または眉の動きの発生を判定する。
　具体的には、共通電極１０５をグランド電位とし、第１鼻あて電極１０２ａと第１リム電極１０３ａとの差動電位により、右目周辺の表情筋あるいは眼電位を測定（検出）する。また、共通電極１０５をグランド電位とし、第２鼻あて電極１０２ｂと第２リム電極１０３ｂとの差動電位により、左目周辺の表情筋あるいは眼電位を測定（検出）する。また、共通電極１０５をグランド電位とし、第１鼻あて電極１０２ａと第２鼻あて電極１０２ｂとの差動電位、あるいは第１リム電極１０３ａと第２リム電極１０３ｂとの差動電位により、表情筋あるいは眼電位を検出することもできる。
　第２判定部１２２は、前述した実施の形態１と同様であり、たわみ検出部１０４がメガネフレーム１０１のたわみを検出すると、被着者の顔面の動きの発生を判定する。
　出力部１２３は、第１判定部１２１が被着者のまぶたまたは眉の動きの発生を判定し、同時に、第２判定部１２２が被着者の顔面の動きの発生を判定すると、被着者のメガネフレーム１０１の操作によるコマンドを出力する。また、出力部１２３は、測定している信号の有無や、出力されて外部装置にて処理された信号を、音声や振動などにより被着者にフィードバックする機能を有する。
　上述した実施の形態２においても、被着者のまぶたまたは眉の動きと、被着者の顔面の動きとの、独立した２種類の異なる随意性運動を測定し、これらが同時に測定（検出）された場合に、ポインティング機能をアクティブにするなどのコマンドを出力する。この結果、ユーザのジェスチャの一方が不随意性運動となってしまった場合には、装置が反応せず、誤作動が発生しないようにすることが可能となる。
　以上に説明したように、本発明によれば、第１判定部で、メガネフレームの被着者のまぶたまたは眉の動きの発生を判定し、第２判定部で、メガネフレームの被着者の顔面の動きの発生を判定するので、ユーザの負担を低減して、ユーザにとって自然な形態で情報が入力できるようになる。
　なお、本発明は以上に説明した実施の形態に限定されるものではなく、本発明の技術的思想内で、当分野において通常の知識を有する者により、多くの変形および組み合わせが実施可能であることは明白である。
［参考文献１］市川　かおる、堀　潤一、「筋電信号を用いた顔の動作識別インターフェースシステムの開発」第１０回情報科学技術フォーラム、第２分冊、Ｇ－０１８、５５９－５６０頁、２０１１年。
［参考文献２］BIOPAC SYSTEMS社、「アクティブ電極:TSD150シリーズ」、［令和０２年５月２２日検索］、（http://biopac-sys.jp/products/tsd150a/）。
［参考文献３］山下　利佳　他、「歯の衝撃によって生じる高周波数成分の伝播」、日本補綴歯科学会雑誌、第４３巻、４８９－４９４頁、１９９９年。
　１０１…メガネフレーム、１０２…測定電極、１０３…測定電極、１０４…たわみ検出部、１０５…共通電極、１２１…第１判定部、１２２…第２判定部、１２３…出力部。

Claims (4)

  1. 　メガネフレームと、
    　前記メガネフレームの鼻あておよびリムの少なくとも１つに設けられ、被着者のまぶたまたは眉の動きによる電気信号を測定するための測定電極と、
    　前記メガネフレームに設けられ、前記メガネフレームのたわみを検出するたわみ検出部と、
    　前記測定電極で測定した電気信号を元に、前記被着者のまぶたまたは眉の動きの発生を判定する第１判定部と、
    　前記たわみ検出部が前記メガネフレームのたわみを検出すると、前記被着者の顔面の動きの発生を判定する第２判定部と、
    　前記第１判定部が前記被着者のまぶたまたは眉の動きの発生を判定し、同時に、前記第２判定部が前記被着者の顔面の動きの発生を判定すると、前記被着者の前記メガネフレームの操作によるコマンドを出力する出力部と
    　を備える情報入力装置。
  2. 　請求項１記載の情報入力装置において、
    　前記測定電極は、
    　前記メガネフレームの鼻あての各々に設けられ、鼻当ての部分で前記被着者の皮膚に接触する第１鼻あて電極および第２鼻あて電極を有することを特徴とする情報入力装置。
  3. 　請求項１または２記載の情報入力装置において、
    　前記測定電極は、
    　前記メガネフレームの両眼のリムの各々に設けられ、リムの部分で前記被着者の皮膚に接触する第１リム電極および第２リム電極を有することを特徴とする情報入力装置。
  4. 　請求項１～３のいずれか１項に記載の情報入力装置において、
    　前記メガネフレームのモダンに設けられ、モダンの部分で前記被着者の皮膚に接触する共通電極を備えることを特徴とする情報入力装置。
PCT/JP2020/024781 2020-06-24 2020-06-24 情報入力装置 WO2021260831A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2020/024781 WO2021260831A1 (ja) 2020-06-24 2020-06-24 情報入力装置
JP2022531306A JP7435774B2 (ja) 2020-06-24 2020-06-24 情報入力装置
US18/011,752 US11874962B2 (en) 2020-06-24 2020-06-24 Information input device
CN202080102162.XA CN115917406A (zh) 2020-06-24 2020-06-24 信息输入设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/024781 WO2021260831A1 (ja) 2020-06-24 2020-06-24 情報入力装置

Publications (1)

Publication Number Publication Date
WO2021260831A1 true WO2021260831A1 (ja) 2021-12-30

Family

ID=79282699

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/024781 WO2021260831A1 (ja) 2020-06-24 2020-06-24 情報入力装置

Country Status (4)

Country Link
US (1) US11874962B2 (ja)
JP (1) JP7435774B2 (ja)
CN (1) CN115917406A (ja)
WO (1) WO2021260831A1 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11953695B2 (en) * 2021-03-08 2024-04-09 Samsung Electronics Co., Ltd. Wearable electronic device with display

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293061A (ja) * 2004-03-31 2005-10-20 Advanced Telecommunication Research Institute International ユーザインタフェース装置およびユーザインタフェースプログラム
JP2019017945A (ja) * 2017-07-21 2019-02-07 Kddi株式会社 本体と電極部とを弾性をもって接続した生体信号取得装置
US20190346928A1 (en) * 2018-05-09 2019-11-14 Oculus Vr, Llc Apparatus, systems, and methods for facilitating user interaction with electronic devices

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE50109521D1 (de) * 2001-02-19 2006-05-24 Fraunhofer Ges Forschung Vorrichtung und verfahren zur blickrichtungsbestimmung bezüglich eines festen referenzkoordinatensystems
JP2002358149A (ja) * 2001-06-01 2002-12-13 Sony Corp ユーザ入力装置
JP4730621B2 (ja) 2007-05-07 2011-07-20 敦 西川 入力装置
US11428955B1 (en) * 2013-03-15 2022-08-30 Percept Technologies Personalized optics
US10884493B2 (en) * 2013-06-20 2021-01-05 Uday Parshionikar Gesture based user interfaces, apparatuses and systems using eye tracking, head tracking, hand tracking, facial expressions and other user actions
US20180107275A1 (en) * 2015-04-13 2018-04-19 Empire Technology Development Llc Detecting facial expressions
KR102125055B1 (ko) 2019-03-26 2020-06-19 박태수 사용자의 측두근을 모니터링하는 안경 및 컴퓨터 프로그램
US11792500B2 (en) * 2020-03-18 2023-10-17 Snap Inc. Eyewear determining facial expressions using muscle sensors
US20230244298A1 (en) * 2020-06-24 2023-08-03 Nippon Telegraph And Telephone Corporation Information Input Device
NL2029031B1 (en) * 2021-08-24 2023-03-13 Norwegian Univ Sci & Tech Ntnu Nose-operated head-mounted device
US11874958B2 (en) * 2021-09-24 2024-01-16 Apple Inc. Eye detection methods and devices

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293061A (ja) * 2004-03-31 2005-10-20 Advanced Telecommunication Research Institute International ユーザインタフェース装置およびユーザインタフェースプログラム
JP2019017945A (ja) * 2017-07-21 2019-02-07 Kddi株式会社 本体と電極部とを弾性をもって接続した生体信号取得装置
US20190346928A1 (en) * 2018-05-09 2019-11-14 Oculus Vr, Llc Apparatus, systems, and methods for facilitating user interaction with electronic devices

Also Published As

Publication number Publication date
US11874962B2 (en) 2024-01-16
JP7435774B2 (ja) 2024-02-21
US20230273677A1 (en) 2023-08-31
CN115917406A (zh) 2023-04-04
JPWO2021260831A1 (ja) 2021-12-30

Similar Documents

Publication Publication Date Title
Cognolato et al. Head-mounted eye gaze tracking devices: An overview of modern devices and recent advances
US11144124B2 (en) Electronic device and control method thereof
Bulling et al. What's in the Eyes for Context-Awareness?
Postelnicu et al. EOG-based visual navigation interface development
Ryu et al. EOG-based eye tracking protocol using baseline drift removal algorithm for long-term eye movement detection
WO2021260830A1 (ja) 情報入力装置
Barbara et al. EOG-based eye movement detection and gaze estimation for an asynchronous virtual keyboard
Ang et al. A user-friendly wearable single-channel EOG-based human-computer interface for cursor control
Nathan et al. An electrooculogram based assistive communication system with improved speed and accuracy using multi-directional eye movements
Vijayprasath et al. Experimental explorations on EOG signal processing for realtime applications in labview
EP3586733B1 (en) Information processing method, information processing device, and program
Matthies et al. Capglasses: Untethered capacitive sensing with smart glasses
WO2021260831A1 (ja) 情報入力装置
Chen et al. Blink-sensing glasses: A flexible iontronic sensing wearable for continuous blink monitoring
US20200237221A1 (en) Wearable device, signal processing method and device
Li et al. Kissglass: Greeting gesture recognition using smart glasses
WO2021260829A1 (ja) 情報入力装置
JP6687639B2 (ja) 情報処理方法、情報処理装置、プログラム及びアイウエア
US20220236795A1 (en) Systems and methods for signaling the onset of a user's intent to interact
KR102306111B1 (ko) 장시간 안구 움직임 검출을 위한 기준선 드리프트 제거 알고리즘을 이용한 eog 기반 안구 추적 프로토콜의 방법 및 장치
Ahmed et al. A survey on human eye-gaze tracking (EGT) system “a comparative study”
Barbara et al. Comparative performance analysis of a commercial wearable EOG glasses for an asynchronous virtual keyboard
TWI689283B (zh) 眼睛輻輳啟用之眼睛追跡方法及系統
Peters et al. Modelling user attention for human-agent interaction
Matthies et al. Wearable Sensing of Facial Expressions and Head Gestures

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20941858

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022531306

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20941858

Country of ref document: EP

Kind code of ref document: A1