WO2021260829A1 - 情報入力装置 - Google Patents

情報入力装置 Download PDF

Info

Publication number
WO2021260829A1
WO2021260829A1 PCT/JP2020/024779 JP2020024779W WO2021260829A1 WO 2021260829 A1 WO2021260829 A1 WO 2021260829A1 JP 2020024779 W JP2020024779 W JP 2020024779W WO 2021260829 A1 WO2021260829 A1 WO 2021260829A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearer
electrode
determination unit
movement
input device
Prior art date
Application number
PCT/JP2020/024779
Other languages
English (en)
French (fr)
Inventor
一善 小野
新 豊田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2022531304A priority Critical patent/JP7409502B2/ja
Priority to PCT/JP2020/024779 priority patent/WO2021260829A1/ja
Priority to CN202080102347.0A priority patent/CN115720641A/zh
Priority to US18/002,536 priority patent/US20230236441A1/en
Publication of WO2021260829A1 publication Critical patent/WO2021260829A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C1/00—Assemblies of lenses with bridges or browbars
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection

Definitions

  • the present invention relates to an information input device for inputting information.
  • Non-Patent Document 1 A line-of-sight input interface has been put into practical use as a device for a person with a severe limb disorder to input information to an information processing device such as a computer.
  • an information processing device such as a computer
  • Non-Patent Document 2 In order to access information that is used by healthy people on a daily basis, it is necessary to have a pointing device function that a user interface such as a mouse has, which is normally used by healthy people.
  • the functions for operating pointers and icons displayed on the computer screen include pointer movement operations and click-equivalent operations (click, press, drag, drop).
  • the pointer movement operation is realized by gaze at the line of sight using an eye tracker, and the operation equivalent to a click is realized by blinking.
  • the pointing function may malfunction due to an involuntary movement different from the user's intention. For example, if the user blinks unintentionally, the device recognizes a click-equivalent action. Therefore, the user needs to be careful not to cause involuntary movements when using the device.
  • the user is forced to limit the blinking that is different from the intention while using the device, which imposes a heavy burden on the user such as a feeling of fatigue.
  • the present invention has been made to solve the above problems, and an object thereof is to reduce the burden on the user and enable the user to input information in a natural form.
  • the information input device is provided on the eyeglass frame and at least one of the nose pad and the rim of the eyeglass frame, and has a first measurement electrode for measuring an electric signal due to the movement of the wearer's eyelids or eyebrows.
  • the second measurement electrode for measuring the electrical signal due to the movement of the wearer's nose, which is installed in the modern eyeglass frame, and the wearer's eyelids or eyebrows based on the electrical signal measured by the first measurement electrode.
  • the first determination unit that determines the occurrence of the movement of the wearer, the second determination unit that determines the occurrence of the movement of the wearer's nose based on the electrical signal measured by the second measurement electrode, and the first determination unit are covered.
  • the output unit outputs a command by operating the wearer's glasses frame. To prepare for.
  • the information input device is provided on the spectacle frame and at least one of the nose pad and the rim of the spectacle frame, and has a first measurement electrode for measuring an electric signal due to the movement of the eyelid or eyebrows of the wearer. Based on the acceleration sensor provided on the bridge of the spectacle frame and measuring the vibration generated in the spectacle frame and the electric signal measured by the first measurement electrode, the occurrence of the movement of the wearer's eyelids or eyebrows is determined. 1 The judgment unit, the third judgment unit that determines the occurrence of the movement of the wearer's nose based on the vibration measured by the acceleration sensor, and the first judgment unit determine the occurrence of the movement of the wearer's eyeglasses or eyeglasses. At the same time, when the third determination unit determines that the movement of the wearer's spectacles has occurred, the third determination unit includes an output unit that outputs a command by operating the wearer's spectacle frame.
  • the first determination unit determines the occurrence of eyelid or eyebrow movement of the wearer of the spectacle frame
  • the second determination unit determines the jaw of the wearer of the spectacle frame. Since it is determined that the movement of the eyebrows has occurred, the burden on the user can be reduced and the information can be input in a form that is natural for the user.
  • FIG. 1A is a configuration diagram showing a configuration of an information input device according to the first embodiment of the present invention.
  • FIG. 1B is a configuration diagram showing the configuration of another information input device according to the first embodiment of the present invention.
  • FIG. 2 is a configuration diagram showing a configuration of an information input device according to a second embodiment of the present invention.
  • FIG. 3 is a configuration diagram showing the configuration of the information input device according to the third embodiment of the present invention.
  • This information input device includes a spectacle frame 101, a first measurement electrode 102, a second measurement electrode 104, a first determination unit 121, a second determination unit 122, and an output unit 123. Further, this information input device is formed on the bridge of the spectacle frame 101, is fixed to the electrode fixing portion 105 extending above the bridge and the electrode fixing portion 105, and comes into contact with the skin of the wearer at the portion of the electrode fixing portion 105.
  • the common electrode 106 is provided.
  • the first measurement electrode 102 is provided on the nose pad of the spectacle frame 101 and is used for measuring an electric signal due to the movement of the eyelids or eyebrows of the wearer.
  • the first measurement electrode 102 is in contact with the skin of the wearer on the nose pad of the spectacle frame 101, and is used to measure the potential of the contacted portion.
  • the first measurement electrode 103 may be provided on the rim of the spectacle frame 101. In this case, the first measurement electrode 103 is in contact with the skin of the wearer on the rim of the spectacle frame 101, and is used to measure the potential of the contacted portion.
  • the second measurement electrode 104 is provided in the modern spectacle frame 101 and is used to measure an electric signal due to the movement of the wearer's jaw.
  • the second measurement electrode 104 is used in the modern spectacle frame 101 to contact the skin of the wearer and measure the potential of the contacted portion.
  • the first determination unit 121 determines the occurrence of eyelid or eyebrow movement of the wearer based on the electrical signal measured by the first measurement electrode 102 with the common electrode 106 as the ground potential.
  • the first determination unit 121 amplifies the potential signal obtained from the first measurement electrode 102, removes noise and the like from the amplified signal, and then takes out, for example, an electrocardiogram signal, and the taken out electrocardiogram signal and By comparing with the stored reference signal, the occurrence of eyelid or eyebrow movement of the wearer is determined.
  • the second determination unit 122 determines the occurrence of jaw movement of the wearer based on the electrical signal measured by the second measurement electrode 104 with the common electrode 106 as the ground potential.
  • the second determination unit 122 amplifies the potential signal obtained from the second measurement electrode 104, removes noise and the like from the amplified signal, then takes out, for example, a myoelectric potential signal, and stores the taken out myoelectric potential signal. By comparing with the reference signal, the occurrence of the movement of the wearer's jaw is determined.
  • a rectified smoothing signal is obtained from a signal waveform that has been measured and processed, a time change is obtained from the waveform of the obtained rectified smoothing signal, and the above-mentioned feature extraction is performed.
  • each determination unit can also perform digitization processing of the measured signal. In addition, each determination unit can also perform adjustment processing of the acquired signal. In addition, each determination unit can also manage the identification of the wearable person, if necessary.
  • the output unit 123 determines the occurrence of movement of the wearer's jaw. Outputs a command by operating the eyebrow frame 101 of. Further, the output unit 123 has a function of feeding back the presence / absence of the signal being measured and the signal output and processed by the external device to the wearable person by voice or vibration.
  • the output unit 123 can also transmit the signal processed by each determination unit to an external device such as a smartphone, a tablet terminal, or a personal computer.
  • the output unit 123 transmits each signal to an external device by wireless communication such as Bluetooth (registered trademark), wireless LAN, or wired communication.
  • the output unit 123 can also have a function of receiving a signal processed and transmitted by an external device.
  • Each determination unit and output unit 123 can be composed of a computer device including a CPU (Central Processing Unit), a main storage device, an external storage device, a network connection device, and the like. By operating the CPU (execution of the program) by the program expanded in the main storage device, each of the above-mentioned functions can be realized.
  • a CPU Central Processing Unit
  • main storage device an external storage device
  • network connection device a network connection device
  • This information input device includes a glasses frame 101, a first nose electrode 102a, a second nose electrode 102b, a first rim electrode 103a, a second rim electrode 103b, a first modern electrode 104a, a second modern electrode 104b, and a first.
  • a determination unit 121a, a second determination unit 122a, and an output unit 123 are provided.
  • the first nose pad electrode 102a and the second nose pad electrode 102b are provided on each of the two nose pads of the spectacle frame 101, and each of the nose pads contacts the skin of the wearer.
  • the first rim electrode 103a and the second rim electrode 103b come into contact with the skin of the wearer at each rim portion.
  • the first measurement electrode is composed of the first nose pad electrode 102a, the second nose pad electrode 102b, the first rim electrode 103a, and the second rim electrode 103b. These electrodes are used to measure electrical signals due to the movement of the wearer's eyelids or eyebrows.
  • the first modern electrode 104a and the second modern electrode 104b are provided on each of the two moderns of the spectacle frame 101, and each modern part comes into contact with the skin of the wearer.
  • the first modern electrode 104a and the second modern electrode 104b constitute the second measurement electrode.
  • the first modern electrode 104a and the second modern electrode 104b are used for measuring an electric signal due to the movement of the jaw of the wearer.
  • an active electrode can be used (Reference 2).
  • the first determination unit 121a moves the eyelids or eyebrows of the wearer based on the electrical signals measured by the first nose pad electrode 102a, the second nose pad electrode 102b, the first rim electrode 103a, and the second rim electrode 103b. Judge the occurrence of.
  • the first determination unit 121 amplifies the potential signal obtained from each of the first measurement electrodes having the above-described configuration, removes noise and the like from the amplified signal, and then takes out, for example, an electrocardiogram signal and takes out the eye. By comparing the electrocardiogram signal with the stored reference signal, it is determined whether the wearer's eyelids or eyebrows move.
  • the common electrode 106 is set as the ground potential, and the facial muscle or ocular potential around the right eye is measured (detected) by the differential potential between the first nose pad electrode 102a and the first rim electrode 103a. Further, the common electrode 106 is set as the ground potential, and the facial muscle or the ocular potential around the left eye is measured (detected) by the differential potential between the second nose pad electrode 102b and the second rim electrode 103b. Further, the common electrode 106 is set as the ground potential, and the facial muscle is determined by the differential potential between the first nose pad electrode 102a and the second nose pad electrode 102b or the differential potential between the first rim electrode 103a and the second rim electrode 103b. Alternatively, the electrooculogram can be detected.
  • the second determination unit 122a determines the occurrence of jaw movement of the wearer based on the electric signals measured by the first modern electrode 104a and the second modern electrode 104b.
  • the second determination unit 122 amplifies the potential signal obtained from each of the second measurement electrodes having the above-described configuration, removes noise and the like from the amplified signal, and then takes out, for example, a myoelectric potential signal and takes out the myoelectric potential. By comparing the signal with the memorized reference signal, the occurrence of the movement of the wearer's jaw is determined.
  • the common electrode 106 is set as the ground potential, and the myoelectric potentials of the temporal muscle, masseter muscle, and lateral wing research muscle are measured (detected) by the differential potential between the first modern electrode 104a and the second modern electrode 104b. ..
  • the first nose pad electrode 102a or the second nose pad electrode 102b is used as the ground potential, and the differential potential between the first modern electrode 104a and the second modern electrode 104b is used to determine the muscles of the temporal muscle, masseter muscle, and lateral wing research muscle. It is also possible to measure (detect) the electric potential.
  • the output unit 123 determines the occurrence of movement of the wearer's jaw. Outputs a command by operating the eyebrow frame 101 of. Further, the output unit 123 has a function of feeding back the presence / absence of the signal being measured and the signal output and processed by the external device to the wearable person by voice or vibration.
  • This information input device includes a spectacle frame 101, a first measurement electrode 102, a first determination unit 121, a third determination unit 124, an acceleration sensor 107, and an output unit 123a. Further, this information input device is formed on the bridge of the spectacle frame 101, is fixed to the electrode fixing portion 105 extending above the bridge and the electrode fixing portion 105, and comes into contact with the skin of the wearer at the portion of the electrode fixing portion 105.
  • the common electrode 106 is provided.
  • the spectacle frame 101, the first measurement electrode 102, the first determination unit 121, the electrode fixing unit 105, and the common electrode 106 are the same as those in the first embodiment described above, and detailed description thereof will be omitted.
  • the acceleration sensor 107 is provided on the bridge of the spectacle frame 101 and measures the vibration generated in the spectacle frame 101.
  • the third determination unit 124 determines the occurrence of jaw movement of the wearer based on the vibration measured by the acceleration sensor 107. For example, the third determination unit 124 detects the impact of the tooth at the time of occlusion by performing frequency analysis of the signal measured by the acceleration sensor 107 and extracting a high frequency component when the tooth collides (Reference 3). ..
  • the third determination unit 124 can also perform digitization processing of the measured signal. In addition, the third determination unit 124 can also perform adjustment processing of the acquired signal. Further, the third determination unit 124 can also perform identification management of the wearable person, if necessary.
  • the output unit 123a determines the occurrence of the movement of the wearer's jaw. Outputs a command by operating the eyebrow frame 101 of. Further, the output unit 123a has a function of feeding back the presence / absence of the measured signal and the output signal processed by the external device to the wearable person by voice or vibration.
  • the first determination unit determines the occurrence of eyelid or eyebrow movement of the wearer of the spectacle frame
  • the second determination unit determines the occurrence of movement of the wearer of the spectacle frame. Since the occurrence of jaw movement is determined, the burden on the user can be reduced and information can be input in a form that is natural for the user.
  • the present invention is not limited to the embodiments described above, and many modifications and combinations can be carried out by a person having ordinary knowledge in the art within the technical idea of the present invention. That is clear.
  • the first nose pad electrode, the second nose pad electrode, the first rim electrode, and the second rim electrode of the configuration of the second embodiment can be combined with the configuration of the third embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Otolaryngology (AREA)
  • Acoustics & Sound (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Eye Examination Apparatus (AREA)

Abstract

第１判定部（１２１）は、共通電極（１０６）をグランド電位として、第１測定電極（１０２）で測定した電気信号を元に、被着者のまぶたまたは眉の動きの発生を判定する。第２判定部（１２２）は、共通電極（１０６）をグランド電位として、第２測定電極（１０４）で測定した電気信号を元に、被着者の顎の動きの発生を判定する。出力部（１２３）は、第１判定部（１２１）が被着者のまぶたまたは眉の動きの発生を判定し、同時に、第２判定部（１２２）が被着者の顎の動きの発生を判定すると、被着者のメガネフレーム（１０１）の操作によるコマンドを出力する。

Description

情報入力装置
　本発明は、情報を入力するための情報入力装置に関する。
　重度の四肢障害を抱えた人が、コンピュータなどの情報処理機器へ情報を入力する装置として、視線入力インターフェースが実用化されている（非特許文献１）。 健常者が日常用いている情報へアクセスするためには、健常者が通常用いるような、マウスなどのユーザインターフェースが備えるようなポインティングデバイスの機能が必要である。つまり、情報へのアクセスのためには、コンピュータの画面上に表示されるポインタやアイコンを操作するための機能として、ポインタの移動操作、クリック相当の動作（クリック、プレス、ドラッグ、ドロップ）を備えることが必要である（非特許文献２）。
下り藤菜穂子　著、「特集B 障がい者支援と映像、2章 重度障がい者のための視線入力インタフフェース」、映像情報メディア学会誌 Vol. 69, No. 6, pp. 530-534、２０１５年。 今野　秀威　他、「両眼の位置検出を利用した多次元操作インターフェースの検討」、映像情報メディア学会誌、Vol. 61、No. 4、pp. 518～525、２００７年。
　従来の技術では、アイトラッカーを用いた視線の注視により、ポインタの移動操作を実現し、まばたきによって、クリック相当の動作を実現するなどの例がある。しかしながら、従来の技術では、ユーザの意図とは異なる不随意性運動によって、ポインティング機能に誤作動が生じる場合がある。例えば、ユーザが、意図と異なりまばたきをした場合、装置は、クリック相当の動作を認識してしまう。このため、ユーザは、不随意性運動が起こらないよう注意して装置を使用することが必要となる。従来の技術では、ユーザは、装置の使用中、意図と異なるまばたきを制限せざるを得ないような状況となり、疲労感などユーザの負担が大きいものであった。
　本発明は、以上のような問題点を解消するためになされたものであり、ユーザの負担を低減して、ユーザにとって自然な形態で情報が入力できるようにすることを目的とする。
　本発明に係る情報入力装置は、メガネフレームと、メガネフレームの鼻あておよびリムの少なくとも１つに設けられ、被着者のまぶたまたは眉の動きによる電気信号を測定するための第１測定電極と、メガネフレームのモダンに設けられ、被着者の顎の動きによる電気信号を測定するための第２測定電極と、第１測定電極で測定した電気信号を元に、被着者のまぶたまたは眉の動きの発生を判定する第１判定部と、第２測定電極で測定した電気信号を元に、被着者の顎の動きの発生を判定する第２判定部と、第１判定部が被着者のまぶたまたは眉の動きの発生を判定し、同時に、第２判定部が被着者の顎の動きの発生を判定すると、被着者のメガネフレームの操作によるコマンドを出力する出力部とを備える。
　本発明に係る情報入力装置は、メガネフレームと、メガネフレームの鼻あておよびリムの少なくとも１つに設けられ、被着者のまぶたまたは眉の動きによる電気信号を測定するための第１測定電極と、メガネフレームのブリッジに設けられ、メガネフレームに発生した振動を測定する加速度センサと、第１測定電極で測定した電気信号を元に、被着者のまぶたまたは眉の動きの発生を判定する第１判定部と、加速度センサで測定した振動を元に、被着者の顎の動きの発生を判定する第３判定部と、第１判定部が被着者のまぶたまたは眉の動きの発生を判定し、同時に、第３判定部が被着者の顎の動きの発生を判定すると、被着者のメガネフレームの操作によるコマンドを出力する出力部とを備える。
　以上説明したように、本発明によれば、第１判定部で、メガネフレームの被着者のまぶたまたは眉の動きの発生を判定し、第２判定部で、メガネフレームの被着者の顎の動きの発生を判定するので、ユーザの負担を低減して、ユーザにとって自然な形態で情報が入力できる。
図１Ａは、本発明の実施の形態１に係る情報入力装置の構成を示す構成図である。 図１Ｂは、本発明の実施の形態１に係る他の情報入力装置の構成を示す構成図である。 図２は、本発明の実施の形態２に係る情報入力装置の構成を示す構成図である。 図３は、本発明の実施の形態３に係る情報入力装置の構成を示す構成図である。
　以下、本発明の実施の形態に係る情報入力装置について説明する。
［実施の形態１］
　はじめに、本発明の実施の形態１に係る情報入力装置について、図１Ａ、図１Ｂを参照して説明する。この情報入力装置は、メガネフレーム１０１、第１測定電極１０２、第２測定電極１０４、第１判定部１２１、第２判定部１２２、および出力部１２３を備える。また、この情報入力装置は、メガネフレーム１０１のブリッジに形成され、ブリッジより上部に伸びる電極固定部１０５と、電極固定部１０５に固定され、電極固定部１０５の部分で被着者の皮膚に接触する共通電極１０６とを備える。
　第１測定電極１０２は、メガネフレーム１０１の鼻あてに設けられ、被着者のまぶたまたは眉の動きによる電気信号の測定に用いられる。第１測定電極１０２は、メガネフレーム１０１の鼻あてにおいて被着者の皮膚に接し、接している箇所の電位を測定するために用いられる。また、図１Ｂに示すように、メガネフレーム１０１のリムに、第１測定電極１０３を設けることもできる。この場合、第１測定電極１０３は、メガネフレーム１０１のリムにおいて被着者の皮膚に接し、接している箇所の電位を測定するために用いられる。
　第２測定電極１０４は、メガネフレーム１０１のモダンに設けられ、被着者の顎の動きによる電気信号を測定するために用いられる。第２測定電極１０４は、メガネフレーム１０１のモダンにおいて被着者の皮膚に接し、接している箇所の電位を測定するために用いられる。
　第１判定部１２１は、共通電極１０６をグランド電位として、第１測定電極１０２で測定した電気信号を元に、被着者のまぶたまたは眉の動きの発生を判定する。第１判定部１２１は、第１測定電極１０２から得られた電位信号を増幅し、増幅された信号からノイズなどを除去した後、例えば眼電図信号を取り出し、取り出した眼電図信号と、記憶している基準信号とを比較することで、被着者のまぶた、または眉の動きの発生を判定する。
　第２判定部１２２は、共通電極１０６をグランド電位として、第２測定電極１０４で測定した電気信号を元に、被着者の顎の動きの発生を判定する。第２判定部１２２は、第２測定電極１０４から得られた電位信号を増幅し、増幅された信号からノイズなどを除去した後、例えば筋電位信号を取り出し、取り出した筋電位信号を、記憶している基準信号と比較することで、被着者の顎の動きの発生を判定する。
　ここで、表情筋の筋電信号は、同一の被験筋でも動作毎に振幅が異なるので、各被験筋の特徴抽出を行うことが重要となる（参考文献１参照）。特徴抽出では、例えば、測定されて処理の処理がなされた信号波形から整流平滑信号を得、得られた整流平滑信号の波形から時間変化を求め、上述した特徴抽出を行う。
　なお、各判定部においては、測定された信号のデジタル化処理を実施することもできる。また、各判定部においては、取得した信号の加減処理を実施することもできる。また、各判定部は、必要に応じて、被着者の識別管理を行うこともできる。
　出力部１２３は、第１判定部１２１が被着者のまぶたまたは眉の動きの発生を判定し、同時に、第２判定部１２２が被着者の顎の動きの発生を判定すると、被着者のメガネフレーム１０１の操作によるコマンドを出力する。また、出力部１２３は、測定している信号の有無や、出力されて外部装置にて処理された信号を、音声や振動などにより被着者にフィードバックする機能を有する。
　また、出力部１２３は、各判定部により処理された信号を、スマートフォンやタブレット端末、パーソナルコンピュータなどの外部装置に送信することもできる。例えば、出力部１２３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮなどの無線通信、あるいは、有線通信によって、各信号を外部装置に送信する。また、出力部１２３は、外部装置にて処理され送信された信号を受信する機能を備えることもできる。
　各判定部および出力部１２３は、ＣＰＵ（Central Processing Unit；中央演算処理装置）と主記憶装置と外部記憶装置とネットワーク接続装置となどを備えたコンピュータ機器から構成することができる。主記憶装置に展開されたプログラムによりＣＰＵが動作する（プログラムを実行する）ことで、上述した各機能が実現されるようにすることができる。
　上述した実施の形態１によれば、被着者のまぶたまたは眉の動きと、被着者の顎の動きとの、独立した２種類の異なる随意性運動を測定し、これらが同時に測定（検出）された場合に、ポインティング機能をアクティブにするなどのコマンドを出力する。この結果、ユーザのジェスチャの一方が不随意性運動となってしまった場合には、装置が反応せず、誤作動が発生しないようにすることが可能となる。顔の筋肉は、骨と皮膚を結んでおり、複雑な表情を作り出すことができる。一方で、２つの動作で複数の筋が連動するという特徴を持つ。このような顔面の筋と骨格構造に対して、被着者が、２種類の異なる随意運動を機能解剖学的に独立かつ自然に発生させることができる。
［実施の形態２］
　次に、本発明の実施の形態２に係る情報入力装置について、図２を参照して説明する。この情報入力装置は、メガネフレーム１０１、第１鼻あて電極１０２ａ、第２鼻あて電極１０２ｂ、第１リム電極１０３ａ、第２リム電極１０３ｂ、第１モダン電極１０４ａ、第２モダン電極１０４ｂ、第１判定部１２１ａ、第２判定部１２２ａ、および出力部１２３を備える。
　第１鼻あて電極１０２ａ、第２鼻あて電極１０２ｂは、メガネフレーム１０１の２つの鼻あての各々に設けられ、各々の鼻当ての部分で被着者の皮膚に接触する。第１リム電極１０３ａ、第２リム電極１０３ｂは、各々のリムの部分で被着者の皮膚に接触する。実施の形態２では、第１鼻あて電極１０２ａ、第２鼻あて電極１０２ｂ、第１リム電極１０３ａ、第２リム電極１０３ｂにより、第１測定電極を構成している。これら電極は、被着者のまぶたまたは眉の動きによる電気信号の測定に用いられる。
　第１モダン電極１０４ａ、第２モダン電極１０４ｂは、メガネフレーム１０１の２つのモダンの各々に設けられ、各々のモダンの部分で被着者の皮膚に接触する。実施の形態２では、第１モダン電極１０４ａ、第２モダン電極１０４ｂにより、第２測定電極を構成している。第１モダン電極１０４ａ、第２モダン電極１０４ｂは、被着者の顎の動きによる電気信号を測定するために用いられる。上述した各電極は、アクティブ電極を用いることができる（参考文献２）。
　第１判定部１２１ａは、第１鼻あて電極１０２ａ、第２鼻あて電極１０２ｂ、第１リム電極１０３ａ、第２リム電極１０３ｂで測定した電気信号を元に、被着者のまぶたまたは眉の動きの発生を判定する。第１判定部１２１は、上述した構成の第１測定電極の各々から得られた電位信号を増幅し、増幅された信号からノイズなどを除去した後、例えば眼電図信号を取り出し、取り出した眼電図信号と、記憶している基準信号とを比較することで、被着者のまぶた、または眉の動きの発生を判定する。
　具体的には、共通電極１０６をグランド電位とし、第１鼻あて電極１０２ａと第１リム電極１０３ａとの差動電位により、右目周辺の表情筋あるいは眼電位を測定（検出）する。また、共通電極１０６をグランド電位とし、第２鼻あて電極１０２ｂと第２リム電極１０３ｂとの差動電位により、左目周辺の表情筋あるいは眼電位を測定（検出）する。また、共通電極１０６をグランド電位とし、第１鼻あて電極１０２ａと第２鼻あて電極１０２ｂとの差動電位、あるいは第１リム電極１０３ａと第２リム電極１０３ｂとの差動電位により、表情筋あるいは眼電位を検出することもできる。
　第２判定部１２２ａは、第１モダン電極１０４ａ、第２モダン電極１０４ｂで測定した電気信号を元に、被着者の顎の動きの発生を判定する。第２判定部１２２は、上述した構成の第２測定電極の各々から得られた電位信号を増幅し、増幅された信号からノイズなどを除去した後、例えば筋電位信号を取り出し、取り出した筋電位信号を、記憶している基準信号と比較することで、被着者の顎の動きの発生を判定する。
　具体的には、共通電極１０６をグランド電位とし、第１モダン電極１０４ａと第２モダン電極１０４ｂとの差動電位により、側頭筋、咬筋、外側翼究筋の筋電位を測定（検出）する。なお、第１鼻あて電極１０２ａまたは第２鼻あて電極１０２ｂをグランド電位とし、第１モダン電極１０４ａと第２モダン電極１０４ｂとの差動電位により、側頭筋、咬筋、外側翼究筋の筋電位を測定（検出）することもできる。
　出力部１２３は、第１判定部１２１が被着者のまぶたまたは眉の動きの発生を判定し、同時に、第２判定部１２２が被着者の顎の動きの発生を判定すると、被着者のメガネフレーム１０１の操作によるコマンドを出力する。また、出力部１２３は、測定している信号の有無や、出力されて外部装置にて処理された信号を、音声や振動などにより被着者にフィードバックする機能を有する。
　上述した実施の形態２においても、被着者のまぶたまたは眉の動きと、被着者の顎の動きとの、独立した２種類の異なる随意性運動を測定し、これらが同時に測定（検出）された場合に、ポインティング機能をアクティブにするなどのコマンドを出力する。この結果、ユーザのジェスチャの一方が不随意性運動となってしまった場合には、装置が反応せず、誤作動が発生しないようにすることが可能となる。
［実施の形態３］
　次に、本発明の実施の形態３に係る情報入力装置について、図３を参照して説明する。この情報入力装置は、メガネフレーム１０１、第１測定電極１０２、第１判定部１２１、第３判定部１２４、加速度センサ１０７、および出力部１２３ａを備える。また、この情報入力装置は、メガネフレーム１０１のブリッジに形成され、ブリッジより上部に伸びる電極固定部１０５と、電極固定部１０５に固定され、電極固定部１０５の部分で被着者の皮膚に接触する共通電極１０６とを備える。メガネフレーム１０１、第１測定電極１０２、第１判定部１２１、電極固定部１０５、共通電極１０６は、前述した実施の形態１と同様であり、詳細な説明は省略する。
　加速度センサ１０７は、メガネフレーム１０１のブリッジに設けられ、メガネフレーム１０１に発生した振動を測定する。第３判定部１２４は、加速度センサ１０７で測定した振動を元に、被着者の顎の動きの発生を判定する。例えば、第３判定部１２４は、加速度センサ１０７で測定された信号の周波数解析を行い、歯が衝突した際の高周波成分を取り出すことで、咬合時の歯の衝撃を検出する（参考文献３）。
　なお、第３判定部１２４においては、測定された信号のデジタル化処理を実施することもできる。また、第３判定部１２４においては、取得した信号の加減処理を実施することもできる。また、第３判定部１２４は、必要に応じて、被着者の識別管理を行なうこともできる。
　出力部１２３ａは、第１判定部１２１が被着者のまぶたまたは眉の動きの発生を判定し、同時に、第３判定部１２４が被着者の顎の動きの発生を判定すると、被着者のメガネフレーム１０１の操作によるコマンドを出力する。また、出力部１２３ａは、測定している信号の有無や、出力されて外部装置にて処理された信号を、音声や振動などにより被着者にフィードバックする機能を有する。
　上述した実施の形態３によれば、被着者のまぶたまたは眉の動きと、被着者の顎の動きとの、独立した２種類の異なる随意性運動を測定し、これらが同時に測定（検出）された場合に、ポインティング機能をアクティブにするなどのコマンドを出力する。この結果、ユーザのジェスチャの一方が不随意性運動となってしまった場合には、装置が反応せず、誤作動が発生しないようにすることが可能となる。
　以上に説明したように、本発明によれば、第１判定部で、メガネフレームの被着者のまぶたまたは眉の動きの発生を判定し、第２判定部で、メガネフレームの被着者の顎の動きの発生を判定するので、ユーザの負担を低減して、ユーザにとって自然な形態で情報が入力できるようになる。
　なお、本発明は以上に説明した実施の形態に限定されるものではなく、本発明の技術的思想内で、当分野において通常の知識を有する者により、多くの変形および組み合わせが実施可能であることは明白である。例えば、実施の形態２の構成の第１鼻あて電極、第２鼻あて電極、第１リム電極、第２リム電極を、実施の形態３の構成に組み合わせることもできる。
［参考文献１］市川　かおる、堀　潤一、「筋電信号を用いた顔の動作識別インターフェースシステムの開発」第１０回情報科学技術フォーラム、第２分冊、Ｇ－０１８、５５９－５６０頁、２０１１年。
［参考文献２］BIOPAC SYSTEMS社、「アクティブ電極:TSD150シリーズ」、［令和０２年５月２２日検索］、（http://biopac-sys.jp/products/tsd150a/）。
［参考文献３］山下　利佳　他、「歯の衝撃によって生じる高周波数成分の伝播」、日本補綴歯科学会雑誌、第４３巻、４８９－４９４頁、１９９９年。
　１０１…メガネフレーム、１０２…第１測定電極、１０３…第１測定電極、１０４…第２測定電極、１０５…電極固定部、１０６…共通電極、１２１…第１判定部、１２２…第２判定部、１２３…出力部。

Claims (6)

  1. 　メガネフレームと、
    　前記メガネフレームの鼻あておよびリムの少なくとも１つに設けられ、被着者のまぶたまたは眉の動きによる電気信号を測定するための第１測定電極と、
    　前記メガネフレームのモダンに設けられ、前記被着者の顎の動きによる電気信号を測定するための第２測定電極と、
    　前記第１測定電極で測定した電気信号を元に、前記被着者のまぶたまたは眉の動きの発生を判定する第１判定部と、
    　前記第２測定電極で測定した電気信号を元に、前記被着者の顎の動きの発生を判定する第２判定部と、
    　前記第１判定部が前記被着者のまぶたまたは眉の動きの発生を判定し、同時に、前記第２判定部が前記被着者の顎の動きの発生を判定すると、前記被着者の前記メガネフレームの操作によるコマンドを出力する出力部と
    　を備える情報入力装置。
  2. 　請求項１記載の情報入力装置において、
    　前記第２測定電極は、
    　前記メガネフレームの２つのモダンの各々に設けられ、各々のモダンの部分で前記被着者の皮膚に接触する第１モダン電極および第２モダン電極を有することを特徴とする情報入力装置。
  3. 　メガネフレームと、
    　前記メガネフレームの鼻あておよびリムの少なくとも１つに設けられ、被着者のまぶたまたは眉の動きによる電気信号を測定するための第１測定電極と、
    　前記メガネフレームのブリッジに設けられ、前記メガネフレームに発生した振動を測定する加速度センサと、
    　前記第１測定電極で測定した電気信号を元に、前記被着者のまぶたまたは眉の動きの発生を判定する第１判定部と、
    　前記加速度センサで測定した振動を元に、前記被着者の顎の動きの発生を判定する第３判定部と、
    　前記第１判定部が前記被着者のまぶたまたは眉の動きの発生を判定し、同時に、前記第３判定部が前記被着者の顎の動きの発生を判定すると、前記被着者の前記メガネフレームの操作によるコマンドを出力する出力部と
    　を備える情報入力装置。
  4. 　請求項１～３のいずれか１項に記載の情報入力装置において、
    　前記第１測定電極は、
    　前記メガネフレームの鼻あての各々に設けられ、鼻当ての部分で前記被着者の皮膚に接触する第１鼻あて電極および第２鼻あて電極を有することを特徴とする情報入力装置。
  5. 　請求項１～４のいずれか１項に記載の情報入力装置において、
    　前記第１測定電極は、
    　前記メガネフレームの両眼のリムの各々に設けられ、リムの部分で前記被着者の皮膚に接触する第１リム電極および第２リム電極
    　を有することを特徴とする情報入力装置。
  6. 　請求項１～５のいずれか１項に記載の情報入力装置において、
    　前記メガネフレームのブリッジに形成され、前記ブリッジより上部に伸びる電極固定部と、
    　前記電極固定部に固定され、電気電極固定部の部分で前記被着者の皮膚に接触する共通電極と
    　を備えることを特徴とする情報入力装置。
PCT/JP2020/024779 2020-06-24 2020-06-24 情報入力装置 WO2021260829A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2022531304A JP7409502B2 (ja) 2020-06-24 2020-06-24 情報入力装置
PCT/JP2020/024779 WO2021260829A1 (ja) 2020-06-24 2020-06-24 情報入力装置
CN202080102347.0A CN115720641A (zh) 2020-06-24 2020-06-24 信息输入设备
US18/002,536 US20230236441A1 (en) 2020-06-24 2020-06-24 Information Input Device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/024779 WO2021260829A1 (ja) 2020-06-24 2020-06-24 情報入力装置

Publications (1)

Publication Number Publication Date
WO2021260829A1 true WO2021260829A1 (ja) 2021-12-30

Family

ID=79282596

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/024779 WO2021260829A1 (ja) 2020-06-24 2020-06-24 情報入力装置

Country Status (4)

Country Link
US (1) US20230236441A1 (ja)
JP (1) JP7409502B2 (ja)
CN (1) CN115720641A (ja)
WO (1) WO2021260829A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293061A (ja) * 2004-03-31 2005-10-20 Advanced Telecommunication Research Institute International ユーザインタフェース装置およびユーザインタフェースプログラム
JP2014515291A (ja) * 2011-05-20 2014-06-30 アイフルエンス，インコーポレイテッド 頭部、眼、眼瞼および瞳孔の反応を測定するためのシステムおよび方法
JP2019017945A (ja) * 2017-07-21 2019-02-07 Kddi株式会社 本体と電極部とを弾性をもって接続した生体信号取得装置
US20190346928A1 (en) * 2018-05-09 2019-11-14 Oculus Vr, Llc Apparatus, systems, and methods for facilitating user interaction with electronic devices

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4730621B2 (ja) 2007-05-07 2011-07-20 敦 西川 入力装置
US20190265802A1 (en) 2013-06-20 2019-08-29 Uday Parshionikar Gesture based user interfaces, apparatuses and control systems

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293061A (ja) * 2004-03-31 2005-10-20 Advanced Telecommunication Research Institute International ユーザインタフェース装置およびユーザインタフェースプログラム
JP2014515291A (ja) * 2011-05-20 2014-06-30 アイフルエンス，インコーポレイテッド 頭部、眼、眼瞼および瞳孔の反応を測定するためのシステムおよび方法
JP2019017945A (ja) * 2017-07-21 2019-02-07 Kddi株式会社 本体と電極部とを弾性をもって接続した生体信号取得装置
US20190346928A1 (en) * 2018-05-09 2019-11-14 Oculus Vr, Llc Apparatus, systems, and methods for facilitating user interaction with electronic devices

Also Published As

Publication number Publication date
JPWO2021260829A1 (ja) 2021-12-30
CN115720641A (zh) 2023-02-28
JP7409502B2 (ja) 2024-01-09
US20230236441A1 (en) 2023-07-27

Similar Documents

Publication Publication Date Title
JP6426589B2 (ja) 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム
US9955895B2 (en) Wearable head-mounted, glass-style computing devices with EOG acquisition and analysis for human-computer interfaces
Postelnicu et al. EOG-based visual navigation interface development
Nakanishi et al. Facilitating calibration in high-speed BCI spellers via leveraging cross-device shared latent responses
EP2698112B1 (en) Real-time stress determination of an individual
EP3527127A1 (en) Electronic device and control method thereof
Sim et al. The head mouse—Head gaze estimation" In-the-Wild" with low-cost inertial sensors for BMI use
Ang et al. A user-friendly wearable single-channel EOG-based human-computer interface for cursor control
WO2021260830A1 (ja) 情報入力装置
Vijayprasath et al. Experimental explorations on EOG signal processing for realtime applications in labview
EP3586733B1 (en) Information processing method, information processing device, and program
US11175736B2 (en) Apparatus, systems and methods for using pupillometry parameters for assisted communication
WO2021260831A1 (ja) 情報入力装置
WO2021260829A1 (ja) 情報入力装置
JP6687639B2 (ja) 情報処理方法、情報処理装置、プログラム及びアイウエア
TWI689283B (zh) 眼睛輻輳啟用之眼睛追跡方法及系統
Valeriani et al. Towards a wearable device for controlling a smartphone with eye winks
Fan et al. Design recommendations for voluntary blink interactions based on pressure sensors
US10966651B2 (en) Analytics and processing of biological signals from sensors
KR102306111B1 (ko) 장시간 안구 움직임 검출을 위한 기준선 드리프트 제거 알고리즘을 이용한 eog 기반 안구 추적 프로토콜의 방법 및 장치
Matthies et al. Wearable Sensing of Facial Expressions and Head Gestures
WO2017150148A1 (ja) 瞬目検出装置、眼鏡型電子機器、瞬目検出方法およびプログラム
EP3791775B1 (en) Eyewear device
Kharadea et al. EyePhone Technology: A Smart Wearable Device
Salvaro A fully-wearable non-invasive SSVEP-based BCI system enabled by AR techniques for daily use in real environment.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20941653

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022531304

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20941653

Country of ref document: EP

Kind code of ref document: A1