WO2021260830A1 - 情報入力装置 - Google Patents

情報入力装置 Download PDF

Info

Publication number
WO2021260830A1
WO2021260830A1 PCT/JP2020/024780 JP2020024780W WO2021260830A1 WO 2021260830 A1 WO2021260830 A1 WO 2021260830A1 JP 2020024780 W JP2020024780 W JP 2020024780W WO 2021260830 A1 WO2021260830 A1 WO 2021260830A1
Authority
WO
WIPO (PCT)
Prior art keywords
wearer
determination unit
spectacle frame
occurrence
movement
Prior art date
Application number
PCT/JP2020/024780
Other languages
English (en)
French (fr)
Inventor
一善 小野
新 豊田
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to US18/002,560 priority Critical patent/US20230244298A1/en
Priority to JP2022531305A priority patent/JPWO2021260830A1/ja
Priority to CN202080102213.9A priority patent/CN115942904A/zh
Priority to PCT/JP2020/024780 priority patent/WO2021260830A1/ja
Publication of WO2021260830A1 publication Critical patent/WO2021260830A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G02C11/10—Electronic devices other than hearing aids
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C11/00—Non-optical adjuncts; Attachment thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures

Definitions

  • the present invention relates to an information input device for inputting information.
  • Non-Patent Document 1 A line-of-sight input interface has been put into practical use as a device for a person with a severe limb disorder to input information to an information processing device such as a computer.
  • an information processing device such as a computer
  • Non-Patent Document 2 In order to access information that is used by healthy people on a daily basis, it is necessary to have a pointing device function that a user interface such as a mouse has, which is normally used by healthy people.
  • the functions for operating pointers and icons displayed on the computer screen include pointer movement operations and click-equivalent operations (click, press, drag, drop).
  • the pointer movement operation is realized by gaze at the line of sight using an eye tracker, and the operation equivalent to a click is realized by blinking.
  • the pointing function may malfunction due to an involuntary movement different from the user's intention. For example, if the user blinks unintentionally, the device recognizes a click-equivalent action. Therefore, the user needs to be careful not to cause involuntary movements when using the device.
  • the user has no choice but to limit the blinking that is different from the intention while using the device, which imposes a heavy burden on the user such as a feeling of fatigue.
  • the present invention has been made to solve the above problems, and an object thereof is to reduce the burden on the user and enable the user to input information in a natural form.
  • the information input device is provided in the spectacle frame, a spectacle frame, a deflection detection unit for detecting the deflection of the spectacle frame, and a modern spectacle frame, and outputs an electric signal due to the movement of the jaw of the wearer.
  • the first determination unit that determines the occurrence of facial movement of the wearer when the deflection detection unit detects the deflection of the spectacle frame, and the electrical signal measured by the measurement electrode.
  • the second determination unit that determines the occurrence of the wearer's jaw movement and the first determination unit determine the occurrence of the wearer's facial movement, and at the same time, the second determination unit determines the occurrence of the wearer's jaw movement.
  • the occurrence is determined, it is provided with an output unit that outputs a command by operating the wearer's spectacle frame.
  • the information input device includes a spectacle frame, a deflection detection unit provided on the spectacle frame to detect the deflection of the spectacle frame, an acceleration sensor provided on the spectacle frame and measuring vibration generated in the spectacle frame, and an acceleration sensor.
  • the deflection detection unit detects the deflection of the spectacle frame
  • the occurrence of the movement of the wearer's jaw is detected based on the first determination unit that determines the occurrence of facial movement of the wearer and the vibration measured by the acceleration sensor.
  • the third determination unit and the first determination unit determine the occurrence of facial movement of the wearer, and at the same time, the third determination unit determines the occurrence of the movement of the wearer's jaw, the wearer's It is equipped with an output unit that outputs commands by operating the spectacle frame.
  • the first determination unit determines the occurrence of facial movement of the wearer
  • the second determination unit determines the occurrence of jaw movement of the wearer of the spectacle frame. Since the determination is made, the burden on the user is reduced, and the information can be input in a form that is natural for the user.
  • FIG. 1 is a configuration diagram showing a configuration of an information input device according to the first embodiment of the present invention.
  • FIG. 2 is a configuration diagram showing a configuration of an information input device according to a second embodiment of the present invention.
  • This information input device includes a spectacle frame 101, a deflection detection unit 102, a first modern electrode 103a, a second modern electrode 103b, a first determination unit 121, a second determination unit 122, and an output unit 123. Further, this information input device is provided on the nose pad of the spectacle frame 101, and includes a common electrode 104 that comes into contact with the skin of the wearer of the spectacle frame 101 at the nose pad portion. The common electrode 104 can also be provided on at least one of the two nose pads. As each of the above-mentioned electrodes, an active electrode can be used (Reference 1).
  • the deflection detection unit 102 is provided on the spectacle frame 101 and detects the deflection of the spectacle frame 101.
  • the deflection detection unit 102 can be provided, for example, on the bridge of the spectacle frame 101. It is generally known that when a human moves his / her face, for example, when he / she moves his / her ears, he / she becomes a voluntary movement by paying attention to the frontalis muscle, the auricular muscle, the temporal muscle, and the occipitalis muscle. When these muscles move, a displacement occurs between the temporal region and the glabellar. Since the spectacle frame 101 bends in response to this displacement, the deflection detection unit 102 detects this deflection.
  • the deflection detection unit 102 can be configured from a thin film type displacement sensor (bending sensor) manufactured by "SpectraSymbol”.
  • the eyebrows up and down as a voluntary movement by focusing mainly on the corrugator supercilii muscle, frontalis muscle, procerus muscle, orbicularis oculi muscle, temporal muscle, and nose muscle.
  • stress is generated in the spectacle frame 101 due to the displacement caused by the wearer consciously moving the eyebrows.
  • the deflection detection unit 102 By detecting this stress with the deflection detection unit 102, the behavior of the wearer moving the eyebrows up and down can be detected.
  • the first modern electrode 103a and the second modern electrode 103b are provided on each of the two moderns of the spectacle frame 101, and come into contact with the skin of the wearer at each modern part.
  • the measurement electrode is configured by the first modern electrode 103a and the second modern electrode 103b.
  • the first determination unit 121 determines the occurrence of facial movement of the wearer when the deflection detection unit 102 detects the deflection of the spectacle frame 101.
  • the first determination unit 121 amplifies the potential signal obtained from the deflection detection unit 102, removes noise and the like from the amplified signal, and then compares the signal from which the noise and the like are removed with the stored reference signal. By doing so, it is determined that the spectacle frame 101 is bent.
  • the second determination unit 122 determines the occurrence of jaw movement of the wearer based on the electric signals measured by the first modern electrode 103a and the second modern electrode 103b.
  • the second determination unit 122 determines the occurrence of jaw movement of the wearer based on the electrical signals measured by the first modern electrode 103a and the second modern electrode 103b with the common electrode 104 as the ground potential.
  • the second determination unit 122 amplifies the potential signals obtained from the first modern electrode 103a and the second modern electrode 103b, removes noise and the like from the amplified signals, and then takes out, for example, a myoelectric potential signal and takes out the muscle. By comparing the potential signal with the stored reference signal, the occurrence of the movement of the wearer's jaw is determined.
  • a rectified smoothing signal is obtained from a signal waveform that has been measured and processed, a time change is obtained from the waveform of the obtained rectified smoothing signal, and the above-mentioned feature extraction is performed.
  • each determination unit can also perform digitization processing of the measured signal. In addition, each determination unit can also perform adjustment processing of the acquired signal. In addition, each determination unit can also manage the identification of the wearable person, if necessary.
  • the output unit 123 determines the occurrence of the wearer's spectacles.
  • the command by the operation of the frame 101 is output. Further, the output unit 123 has a function of feeding back the presence / absence of the signal being measured and the signal output and processed by the external device to the wearable person by voice or vibration.
  • the output unit 123 can also transmit the signal processed by each determination unit to an external device such as a smartphone, a tablet terminal, or a personal computer.
  • the output unit 123 transmits each signal to an external device by wireless communication such as Bluetooth (registered trademark), wireless LAN, or wired communication.
  • the output unit 123 can also have a function of receiving a signal processed and transmitted by an external device.
  • Each determination unit and output unit 123 can be composed of a computer device including a CPU (Central Processing Unit), a main storage device, an external storage device, a network connection device, and the like. By operating the CPU (execution of the program) by the program expanded in the main storage device, each of the above-mentioned functions can be realized.
  • a CPU Central Processing Unit
  • main storage device an external storage device
  • network connection device a network connection device
  • two independent types of voluntary movements that is, the movement of the wearer's face and the movement of the wearer's jaw
  • a command such as activating the pointing function
  • the device does not react and it is possible to prevent the malfunction from occurring.
  • the muscles of the face connect the bones to the skin and can create complex facial expressions.
  • it has the feature that a plurality of muscles are linked by two movements.
  • Two different types of voluntary movements can be functionally anatomically independently and spontaneously generated by the wearer on such facial muscles and skeletal structures.
  • This information input device includes a spectacle frame 101, a deflection detection unit 102, an acceleration sensor 105, a first determination unit 121, a third determination unit 124, and an output unit 123a. Further, this information input device is provided on the nose pad of the spectacle frame 101, and includes a common electrode 104 that comes into contact with the skin of the wearer of the spectacle frame 101 at the nose pad portion.
  • the spectacle frame 101, the deflection detection unit 102, the first determination unit 121, and the common electrode 104 are the same as those in the first embodiment described above, and detailed description thereof will be omitted.
  • the acceleration sensor 105 is provided on the spectacle frame 101 and measures the vibration generated in the spectacle frame 101.
  • the accelerometer 105 can be provided, for example, on the rim near the bridge of the spectacle frame 101.
  • the third determination unit 124 determines the occurrence of jaw movement of the wearer based on the vibration measured by the acceleration sensor 105. For example, the third determination unit 124 detects the impact of the tooth at the time of occlusion by performing frequency analysis of the signal measured by the acceleration sensor 105 and extracting a high frequency component when the tooth collides (Reference 3). ..
  • the third determination unit 124 can also perform digitization processing of the measured signal. In addition, the third determination unit 124 can also perform adjustment processing of the acquired signal. Further, the third determination unit 124 can also perform identification management of the wearable person, if necessary.
  • the output unit 123a when the first determination unit 121 determines the occurrence of facial movement of the wearer, and at the same time, the third determination unit 124 determines the occurrence of jaw movement of the wearer, the wearer's glasses.
  • the command by the operation of the frame 101 is output.
  • the output unit 123a has a function of feeding back the presence / absence of the measured signal and the output signal processed by the external device to the wearable person by voice or vibration.
  • the first determination unit determines the occurrence of facial movement of the wearer
  • the second determination unit determines the occurrence of jaw movement of the wearer of the spectacle frame. Is determined, so that the burden on the user is reduced and information can be input in a form that is natural for the user.
  • BIOPAC SYSTEMS "Active Electrode: TSD150 Series", [Searched on May 22, 2002], (http://biopac-sys.jp/products/tsd150a/).

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Ophthalmology & Optometry (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • Dermatology (AREA)
  • Biomedical Technology (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

第１判定部（１２１）は、たわみ検出部（１０２）がメガネフレーム（１０１）のたわみを検出すると、被着者の顔面の動きの発生を判定する。第２判定部（１２２）は、共通電極（１０４）をグランド電位として、第１モダン電極１０３ａ、第２モダン電極１０３ｂで測定した電気信号を元に、被着者の顎の動きの発生を判定する。出力部（１２３）は、第１判定部（１２１）が被着者の被着者の顔面の動きを判定し、同時に、第２判定部（１２２）が被着者の顎の動きの発生を判定すると、被着者のメガネフレーム（１０１）の操作によるコマンドを出力する。

Description

情報入力装置
　本発明は、情報を入力するための情報入力装置に関する。
　重度の四肢障害を抱えた人が、コンピュータなどの情報処理機器へ情報を入力する装置として、視線入力インターフェースが実用化されている（非特許文献１）。 健常者が日常用いている情報へアクセスするためには、健常者が通常用いるような、マウスなどのユーザインターフェースが備えるようなポインティングデバイスの機能が必要である。つまり、情報へのアクセスのためには、コンピュータの画面上に表示されるポインタやアイコンを操作するための機能として、ポインタの移動操作、クリック相当の動作（クリック、プレス、ドラッグ、ドロップ）を備えることが必要である（非特許文献２）。
下り藤菜穂子　著、「特集B 障がい者支援と映像、2章 重度障がい者のための視線入力インタフフェース」、映像情報メディア学会誌 Vol. 69, No. 6, pp. 530-534、２０１５年。 今野　秀威　他、「両眼の位置検出を利用した多次元操作インターフェースの検討」、映像情報メディア学会誌、Vol. 61、No. 4、pp. 518～525、２００７年。
　従来の技術では、アイトラッカーを用いた視線の注視により、ポインタの移動操作を実現し、まばたきによって、クリック相当の動作を実現するなどの例がある。しかしながら、従来の技術では、ユーザの意図とは異なる不随意性運動によって、ポインティング機能に誤作動が生じる場合がある。例えば、ユーザが、意図と異なりまばたきをした場合、装置は、クリック相当の動作を認識してしまう。このため、ユーザは、不随意性運動が起こらないよう注意して装置を使用することが必要となる。従来の技術では、ユーザは、装置の使用中、意図と異なるまばたきを制限せざるを得ないような状況となり、疲労感などユーザの負担が大きいものであった。
　本発明は、以上のような問題点を解消するためになされたものであり、ユーザの負担を低減して、ユーザにとって自然な形態で情報が入力できるようにすることを目的とする。
　本発明に係る情報入力装置は、メガネフレームと、メガネフレームに設けられ、メガネフレームのたわみを検出するたわみ検出部と、メガネフレームのモダンに設けられ、被着者の顎の動きによる電気信号を測定するための測定電極と、たわみ検出部がメガネフレームのたわみを検出すると、被着者の顔面の動きの発生を判定する第１判定部と、測定電極で測定した電気信号を元に、被着者の顎の動きの発生を判定する第２判定部と、第１判定部が被着者の顔面の動きの発生を判定し、同時に、第２判定部が被着者の顎の動きの発生を判定すると、被着者のメガネフレームの操作によるコマンドを出力する出力部とを備える。
　本発明に係る情報入力装置は、メガネフレームと、メガネフレームに設けられ、メガネフレームのたわみを検出するたわみ検出部と、メガネフレームに設けられ、メガネフレームに発生した振動を測定する加速度センサと、たわみ検出部がメガネフレームのたわみを検出すると、被着者の顔面の動きの発生を判定する第１判定部と、加速度センサで測定した振動を元に、被着者の顎の動きの発生を判定する第３判定部と、第１判定部が被着者の顔面の動きの発生を判定し、同時に、第３判定部が被着者の顎の動きの発生を判定すると、被着者のメガネフレームの操作によるコマンドを出力する出力部とを備える。
　以上説明したように、本発明によれば、第１判定部で、被着者の顔面の動きの発生を判定し、第２判定部で、メガネフレームの被着者の顎の動きの発生を判定するので、ユーザの負担を低減して、ユーザにとって自然な形態で情報が入力できるようになる。
図１は、本発明の実施の形態１に係る情報入力装置の構成を示す構成図である。 図２は、本発明の実施の形態２に係る情報入力装置の構成を示す構成図である。
　以下、本発明の実施の形態に係る情報入力装置について説明する。
［実施の形態１］
　はじめに、本発明の実施の形態１に係る情報入力装置について、図１を参照して説明する。この情報入力装置は、メガネフレーム１０１、たわみ検出部１０２、第１モダン電極１０３ａ、第２モダン電極１０３ｂ、第１判定部１２１、第２判定部１２２、および出力部１２３を備える。また、この情報入力装置は、メガネフレーム１０１の鼻あてに設けられ、鼻あての部分で、メガネフレーム１０１の被着者の皮膚に接触する共通電極１０４を備える。共通電極１０４は、２つの鼻当ての少なくとも一方に設けることもできる。上述した各電極は、アクティブ電極を用いることができる（参考文献１）。
　たわみ検出部１０２は、メガネフレーム１０１に設けられ、メガネフレーム１０１のたわみを検出する。たわみ検出部１０２は、例えば、メガネフレーム１０１のブリッジに設けることができる。一般に人間が顔面を動かす場合、例えば、耳を動かす際、前頭筋、耳介筋、側頭筋、後頭筋へ意識を向けることで随意性運動となることが知られている。これらの筋肉が動いた際、側頭部と眉間との間に変位が生ずる。この変位に対応してメガネフレーム１０１がたわむので、たわみ検出部１０２このたわみを検出する。例えば、「SpectraSymbol」社製の薄膜型変位センサ（曲げセンサ）からたわみ検出部１０２を構成することができる。
　主に、前頭筋、耳介筋、側頭筋、後頭筋へ動作するよう意識を向けることにより、耳を随意的に前後へ動かすことが可能である。例えば、被着者が耳を前後に動かした場合、これに対応してメガネフレーム１０１には耳の前後の変位により応力が発生する。この応力をたわみ検出部１０２により検出することで、被着者の耳の前後運動が検出できる。
　また、主に、皺眉筋、前頭筋、鼻根筋、眼輪筋、側頭筋、鼻筋に意識を向けることにより、随意性運動として眉を上下に動かすことが可能である。例えば、被着者が眉を意識して動かしたことによる変位により、メガネフレーム１０１に応力が発生する。この応力をたわみ検出部１０２により検出することで、被着者が眉を上下に動かす所作が検出できる。
　第１モダン電極１０３ａ、第２モダン電極１０３ｂは、メガネフレーム１０１の２つのモダンの各々に設けられ、各々のモダンの部分で被着者の皮膚に接触する。第１モダン電極１０３ａ、第２モダン電極１０３ｂにより、測定電極が構成される。
　第１判定部１２１は、たわみ検出部１０２がメガネフレーム１０１のたわみを検出すると、被着者の顔面の動きの発生を判定する。第１判定部１２１は、たわみ検出部１０２から得られた電位信号を増幅し、増幅された信号からノイズなどを除去した後、ノイズなどを除去した信号と、記憶している基準信号とを比較することで、メガネフレーム１０１におけるたわみの発生を判定する。
　第２判定部１２２は、第１モダン電極１０３ａ、第２モダン電極１０３ｂで測定した電気信号を元に、被着者の顎の動きの発生を判定する。第２判定部１２２は、共通電極１０４をグランド電位として、第１モダン電極１０３ａ、第２モダン電極１０３ｂで測定した電気信号を元に、被着者の顎の動きの発生を判定する。第２判定部１２２は、第１モダン電極１０３ａ、第２モダン電極１０３ｂから得られた電位信号を増幅し、増幅された信号からノイズなどを除去した後、例えば筋電位信号を取り出し、取り出した筋電位信号を、記憶している基準信号と比較することで、被着者の顎の動きの発生を判定する。
　ここで、表情筋の筋電信号は、同一の被験筋でも動作毎に振幅が異なるので、各被験筋の特徴抽出を行うことが重要となる（参考文献２参照）。特徴抽出では、例えば、測定されて処理の処理がなされた信号波形から整流平滑信号を得、得られた整流平滑信号の波形から時間変化を求め、上述した特徴抽出を行う。
　なお、各判定部においては、測定された信号のデジタル化処理を実施することもできる。また、各判定部においては、取得した信号の加減処理を実施することもできる。また、各判定部は、必要に応じて、被着者の識別管理を行うこともできる。
　出力部１２３は、第１判定部１２１が被着者の顔面の動きの発生を判定し、同時に、第２判定部１２２が被着者の顎の動きの発生を判定すると、被着者のメガネフレーム１０１の操作によるコマンドを出力する。また、出力部１２３は、測定している信号の有無や、出力されて外部装置にて処理された信号を、音声や振動などにより被着者にフィードバックする機能を有する。
　また、出力部１２３は、各判定部により処理された信号を、スマートフォンやタブレット端末、パーソナルコンピュータなどの外部装置に送信することもできる。例えば、出力部１２３は、Ｂｌｕｅｔｏｏｔｈ（登録商標）、無線ＬＡＮなどの無線通信、あるいは、有線通信によって、各信号を外部装置に送信する。また、出力部１２３は、外部装置にて処理され送信された信号を受信する機能を備えることもできる。
　各判定部および出力部１２３は、ＣＰＵ（Central Processing Unit；中央演算処理装置）と主記憶装置と外部記憶装置とネットワーク接続装置となどを備えたコンピュータ機器から構成することができる。主記憶装置に展開されたプログラムによりＣＰＵが動作する（プログラムを実行する）ことで、上述した各機能が実現されるようにすることができる。
　上述した実施の形態１によれば、被着者の顔面の動きと、被着者の顎の動きとの、独立した２種類の異なる随意性運動を測定し、これらが同時に測定（検出）された場合に、ポインティング機能をアクティブにするなどのコマンドを出力する。この結果、ユーザのジェスチャの一方が不随意性運動となってしまった場合には、装置が反応せず、誤作動が発生しないようにすることが可能となる。顔の筋肉は、骨と皮膚を結んでおり、複雑な表情を作り出すことができる。一方で、２つの動作で複数の筋が連動するという特徴を持つ。このような顔面の筋と骨格構造に対して、被着者が、２種類の異なる随意運動を機能解剖学的に独立かつ自然に発生させることができる。
［実施の形態２］
　次に、本発明の実施の形態２に係る情報入力装置について、図２を参照して説明する。この情報入力装置は、メガネフレーム１０１、たわみ検出部１０２、加速度センサ１０５、第１判定部１２１、第３判定部１２４、および出力部１２３ａを備える。また、この情報入力装置は、メガネフレーム１０１の鼻あてに設けられ、鼻あての部分で、メガネフレーム１０１の被着者の皮膚に接触する共通電極１０４を備える。メガネフレーム１０１、たわみ検出部１０２、第１判定部１２１、および共通電極１０４は、前述した実施の形態１と同様であり、詳細な説明は省略する。
　加速度センサ１０５は、メガネフレーム１０１に設けられ、メガネフレーム１０１に発生した振動を測定する。加速度センサ１０５は、例えば、メガネフレーム１０１のブリッジの近傍のリムに設けることができる。第３判定部１２４は、加速度センサ１０５で測定した振動を元に、被着者の顎の動きの発生を判定する。例えば、第３判定部１２４は、加速度センサ１０５で測定された信号の周波数解析を行い、歯が衝突した際の高周波成分を取り出すことで、咬合時の歯の衝撃を検出する（参考文献３）。
　なお、第３判定部１２４においては、測定された信号のデジタル化処理を実施することもできる。また、第３判定部１２４においては、取得した信号の加減処理を実施することもできる。また、第３判定部１２４は、必要に応じて、被着者の識別管理を行うこともできる。
　出力部１２３ａは、第１判定部１２１が被着者の顔面の動きの発生を判定し、同時に、第３判定部１２４が被着者の顎の動きの発生を判定すると、被着者のメガネフレーム１０１の操作によるコマンドを出力する。また、出力部１２３ａは、測定している信号の有無や、出力されて外部装置にて処理された信号を、音声や振動などにより被着者にフィードバックする機能を有する。
　上述した実施の形態３によれば、被着者の顔面の動きと、被着者の顎の動きとの、独立した２種類の異なる随意性運動を測定し、これらが同時に測定（検出）された場合に、ポインティング機能をアクティブにするなどのコマンドを出力する。この結果、ユーザのジェスチャの一方が不随意性運動となってしまった場合には、装置が反応せず、誤作動が発生しないようにすることが可能となる。
　以上に説明したように、本発明によれば、第１判定部で、被着者の顔面の動きの発生を判定し、第２判定部で、メガネフレームの被着者の顎の動きの発生を判定するので、ユーザの負担を低減して、ユーザにとって自然な形態で情報が入力できるようになる。
　なお、本発明は以上に説明した実施の形態に限定されるものではなく、本発明の技術的思想内で、当分野において通常の知識を有する者により、多くの変形および組み合わせが実施可能であることは明白である。
［参考文献１］BIOPAC SYSTEMS社、「アクティブ電極:TSD150シリーズ」、［令和０２年５月２２日検索］、（http://biopac-sys.jp/products/tsd150a/）。
［参考文献２］市川　かおる、堀　潤一、「筋電信号を用いた顔の動作識別インターフェースシステムの開発」第１０回情報科学技術フォーラム、第２分冊、Ｇ－０１８、５５９－５６０頁、２０１１年。
［参考文献３］山下　利佳　他、「歯の衝撃によって生じる高周波数成分の伝播」、日本補綴歯科学会雑誌、第４３巻、４８９－４９４頁、１９９９年。
　１０１…メガネフレーム、１０２…たわみ検出部、１０３ａ…第１モダン電極、１０３ｂ…第２モダン電極、１０４…共通電極、１０５…加速度センサ、１２１…第１判定部、１２２…第２判定部、１２３…出力部、１２３ａ…出力部、１２４…第３判定部。

Claims (4)

  1. 　メガネフレームと、
    　前記メガネフレームに設けられ、前記メガネフレームのたわみを検出するたわみ検出部と、
    　前記メガネフレームのモダンに設けられ、被着者の顎の動きによる電気信号を測定するための測定電極と、
    　前記たわみ検出部が前記メガネフレームのたわみを検出すると、前記被着者の顔面の動きの発生を判定する第１判定部と、
    　前記測定電極で測定した電気信号を元に、前記被着者の顎の動きの発生を判定する第２判定部と、
    　前記第１判定部が前記被着者の顔面の動きの発生を判定し、同時に、前記第２判定部が前記被着者の顎の動きの発生を判定すると、前記被着者の前記メガネフレームの操作によるコマンドを出力する出力部と
    　を備える情報入力装置。
  2. 　請求項１記載の情報入力装置において、
    　前記測定電極は、
    　前記メガネフレームの２つのモダンの各々に設けられ、各々のモダンの部分で前記被着者の皮膚に接触する第１モダン電極および第２モダン電極を有することを特徴とする情報入力装置。
  3. 　請求項２記載の情報入力装置において、
    　前記メガネフレームの鼻あてに設けられ、鼻あての部分で前記被着者の皮膚に接触する共通電極を備えることを特徴とする情報入力装置。
  4. 　メガネフレームと、
    　前記メガネフレームに設けられ、前記メガネフレームのたわみを検出するたわみ検出部と、
    　前記メガネフレームのブリッジに設けられ、前記メガネフレームに発生した振動を測定する加速度センサと、
    　前記たわみ検出部が前記メガネフレームのたわみを検出すると、被着者の顔面の動きの発生を判定する第１判定部と、
    　前記加速度センサで測定した振動を元に、前記被着者の顎の動きの発生を判定する第３判定部と、
    　前記第１判定部が前記被着者の顔面の動きの発生を判定し、同時に、前記第３判定部が前記被着者の顎の動きの発生を判定すると、前記被着者の前記メガネフレームの操作によるコマンドを出力する出力部と
    　を備える情報入力装置。
PCT/JP2020/024780 2020-06-24 2020-06-24 情報入力装置 WO2021260830A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US18/002,560 US20230244298A1 (en) 2020-06-24 2020-06-24 Information Input Device
JP2022531305A JPWO2021260830A1 (ja) 2020-06-24 2020-06-24
CN202080102213.9A CN115942904A (zh) 2020-06-24 2020-06-24 信息输入设备
PCT/JP2020/024780 WO2021260830A1 (ja) 2020-06-24 2020-06-24 情報入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/024780 WO2021260830A1 (ja) 2020-06-24 2020-06-24 情報入力装置

Publications (1)

Publication Number Publication Date
WO2021260830A1 true WO2021260830A1 (ja) 2021-12-30

Family

ID=79282597

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/024780 WO2021260830A1 (ja) 2020-06-24 2020-06-24 情報入力装置

Country Status (4)

Country Link
US (1) US20230244298A1 (ja)
JP (1) JPWO2021260830A1 (ja)
CN (1) CN115942904A (ja)
WO (1) WO2021260830A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115917406A (zh) * 2020-06-24 2023-04-04 日本电信电话株式会社 信息输入设备
US11953695B2 (en) * 2021-03-08 2024-04-09 Samsung Electronics Co., Ltd. Wearable electronic device with display

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293061A (ja) * 2004-03-31 2005-10-20 Advanced Telecommunication Research Institute International ユーザインタフェース装置およびユーザインタフェースプログラム
JP2014515291A (ja) * 2011-05-20 2014-06-30 アイフルエンス，インコーポレイテッド 頭部、眼、眼瞼および瞳孔の反応を測定するためのシステムおよび方法
US20190346928A1 (en) * 2018-05-09 2019-11-14 Oculus Vr, Llc Apparatus, systems, and methods for facilitating user interaction with electronic devices

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4486630A (en) * 1983-03-11 1984-12-04 Fetchko John E Device for use by quadri-plegics to operate a computer, video game or the like by the use of movements of the jaw and eyebrows
JP4730621B2 (ja) * 2007-05-07 2011-07-20 敦 西川 入力装置
WO2011074186A1 (ja) * 2009-12-15 2011-06-23 パナソニック株式会社 電極装着状態判定システム、電極装着状態判定方法及びそのプログラム
US8721070B2 (en) * 2010-12-08 2014-05-13 Refine Focus, Llc Translating multifocal eyeglass lenses
US9986086B2 (en) * 2014-07-31 2018-05-29 Samsung Electronics Co., Ltd. Mobile terminal and method of operating the same
KR102125055B1 (ko) * 2019-03-26 2020-06-19 박태수 사용자의 측두근을 모니터링하는 안경 및 컴퓨터 프로그램
US11846782B1 (en) * 2020-04-13 2023-12-19 Apple Inc. Electronic devices with deformation sensors

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005293061A (ja) * 2004-03-31 2005-10-20 Advanced Telecommunication Research Institute International ユーザインタフェース装置およびユーザインタフェースプログラム
JP2014515291A (ja) * 2011-05-20 2014-06-30 アイフルエンス，インコーポレイテッド 頭部、眼、眼瞼および瞳孔の反応を測定するためのシステムおよび方法
US20190346928A1 (en) * 2018-05-09 2019-11-14 Oculus Vr, Llc Apparatus, systems, and methods for facilitating user interaction with electronic devices

Also Published As

Publication number Publication date
JPWO2021260830A1 (ja) 2021-12-30
CN115942904A (zh) 2023-04-07
US20230244298A1 (en) 2023-08-03

Similar Documents

Publication Publication Date Title
Ando et al. Canalsense: Face-related movement recognition system based on sensing air pressure in ear canals
US5517021A (en) Apparatus and method for eye tracking interface
WO2021260830A1 (ja) 情報入力装置
EP0634031A1 (en) Apparatus and method for eye tracking interface
CN104023802B (zh) 使用神经分析的电子装置的控制
Booth et al. A wrist-worn piezoelectric sensor array for gesture input
JPWO2009139119A1 (ja) 脳波信号の識別方法を調整する装置、方法およびプログラム
Ang et al. A user-friendly wearable single-channel EOG-based human-computer interface for cursor control
Ryu et al. EOG-based eye tracking protocol using baseline drift removal algorithm for long-term eye movement detection
EP3586733B1 (en) Information processing method, information processing device, and program
Gorur et al. Glossokinetic potential based tongue–machine interface for 1-D extraction
Matthies et al. Capglasses: Untethered capacitive sensing with smart glasses
WO2021260831A1 (ja) 情報入力装置
Li et al. Kissglass: Greeting gesture recognition using smart glasses
Matthies et al. Prototyping Smart Eyewear with Capacitive Sensing for Facial and Head Gesture Detection
WO2021260829A1 (ja) 情報入力装置
Valeriani et al. Towards a wearable device for controlling a smartphone with eye winks
KR102306111B1 (ko) 장시간 안구 움직임 검출을 위한 기준선 드리프트 제거 알고리즘을 이용한 eog 기반 안구 추적 프로토콜의 방법 및 장치
Yamakawa et al. A proposal for a MMG-based hand gesture recognition method
KR20180075221A (ko) 전자 장치 및 그 동작 방법
Al-Zubi Detecting facial expressions from EEG signals and head movement for controlling mouse curser
Peters et al. Modelling user attention for human-agent interaction
Abrams et al. Design and testing of sensors for text entry and mouse control for individuals with neuromuscular diseases
Cheng et al. Displacement-pressure biparametrically regulated softness sensory system for intraocular pressure monitoring
Matthies et al. Wearable Sensing of Facial Expressions and Head Gestures

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20942117

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022531305

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20942117

Country of ref document: EP

Kind code of ref document: A1