WO2020017448A1 - 生体電位を用いる入力装置 - Google Patents

生体電位を用いる入力装置 Download PDF

Info

Publication number
WO2020017448A1
WO2020017448A1 PCT/JP2019/027675 JP2019027675W WO2020017448A1 WO 2020017448 A1 WO2020017448 A1 WO 2020017448A1 JP 2019027675 W JP2019027675 W JP 2019027675W WO 2020017448 A1 WO2020017448 A1 WO 2020017448A1
Authority
WO
WIPO (PCT)
Prior art keywords
body part
input
input operation
electrode
signal
Prior art date
Application number
PCT/JP2019/027675
Other languages
English (en)
French (fr)
Inventor
良平 長谷川
Original Assignee
国立研究開発法人産業技術総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 国立研究開発法人産業技術総合研究所 filed Critical 国立研究開発法人産業技術総合研究所
Priority to JP2020531287A priority Critical patent/JPWO2020017448A1/ja
Priority to US17/258,925 priority patent/US11493994B2/en
Publication of WO2020017448A1 publication Critical patent/WO2020017448A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors

Definitions

  • the present invention relates to an input device, an input method, and an input system that enable an operator to operate a device by using movement of a body part such as blinking of an operator without using an operator's hand or foot.
  • Patent Document 1 A device has been proposed (Patent Document 1).
  • Patent Literature 2 discloses a game apparatus, which detects a bioelectric signal of a predetermined frequency component (around 50 Hz) due to eyeball movement or blinking, and based on the bioelectric signal, determines the state of the operator (a state of panic, concentration). (A state in which the right eye is in a winked state).
  • Patent Document 3 discloses a device such as glasses for appropriately detecting blinks, in which two electrodes on the left and right of a nose pad of glasses and an electrode in the middle of the eyebrows are disclosed. For example, it is shown that a warning for preventing falling asleep is issued, for example, when detecting that the number of blinks of the user has increased from the measured electrogram signal.
  • Examples of the signal include an operation of intentionally closing and opening one eye, that is, a wink operation, and an operation of intentionally closing and opening both eyes, that is, a blink operation.
  • Electro-oculography to detect eyeball and eyelid movements
  • the eyeball has a positive charge on the cornea side and a negative charge on the retina side, so that a potential difference occurs between the two.
  • This potential difference is called an electro-oculogram.
  • the electro-oculogram is a potential difference of about several tens mV. When the potential difference is measured by attaching electrodes to the skin above and below the eye, the potential difference changes due to eye movement and blinking.
  • FIG. 7 is a diagram illustrating a general electro-oculography measurement technique.
  • a pair of electrode groups (Ch.1 (-), Ch.1 (+)) installed outside the both eyes enable horizontal eye position detection.
  • a pair of electrode groups (Ch.2 (+), Ch.2 (-)) installed on the eyebrows of one eye and the cheeks below the eye enable detection of the eyeball position in the vertical direction. .
  • only the detection for the right eyeball is illustrated, and the illustration for the left eyeball is omitted.
  • blinks include periodic blinks performed unconsciously, reflective blinks performed when light enters the eyes, and blinks (wink, blink) performed consciously (or optionally).
  • the biological signals of the body include those based on unconscious movements and those based on conscious movements. These are accurately distinguished, and the input content is accurately determined from the biological signals due to the conscious movements. It was difficult. For example, it has been difficult to distinguish voluntary binocular blinks from natural (binocular) blinks to moisten the eyes, which has been a source of malfunction.
  • the present invention is intended to solve these problems, and the present invention provides an input device capable of instantaneously and accurately detecting and discriminating a motion that breaks left-right symmetry of a body part such as a wink or a similar body motion. , An input method, and an input system.
  • the present invention has the following features to achieve the above object.
  • a first contact electrode provided at a first position on a body part, a second contact electrode provided at a second position on a body part, the first electrode and the second electrode; Measuring a biological signal between the electrodes, detecting a low-frequency component of 1 Hz or more and 30 Hz or less of the biological signal, based on the signal from the detecting unit, based on the signal from the body of the body part around the first position
  • An input device comprising: a determination processing unit configured to determine at least one of the presence or absence of an input operation and the presence or absence of an input operation of a body part around the second position.
  • the input device according to (1) further including a transmission unit that transmits a signal from the determination processing unit as an input operation signal.
  • the input device further including a sensor that detects an operation including a vertical and horizontal movement of the head and the detection unit.
  • a determination processing step of determining at least one of the presence or absence of an input operation of a body part around the position.
  • the input method according to (4) further comprising: transmitting a signal obtained in the determination processing step as an input operation signal.
  • a head movement detecting step in which the movement of tilting the head to the left or right or the movement of shaking the head of the head to the left or right is used as the first axis, and the movement of tilting the head back and forth is the second axis;
  • the input method according to the above (4) or (5) wherein the input operation signal based on the detection of the section operation is transmitted.
  • the input operation of the body part around the first position and the input operation of the body part around the second position are left-right asymmetrical movements of the left-right symmetrical body part.
  • the input operation of the body part around the first position is a wink of the left eye
  • the input operation of the body part around the second position is a wink of the right eye.
  • the input method according to any one of (4) to (7).
  • (9) a first electrode for contact placed at a first position on the body part, and a second electrode for contact placed at a second position on the body part, wherein the first electrode and the Detecting means for detecting a biological signal between the second electrodes and detecting a low-frequency component of 1 Hz or more and 30 Hz or less of the biological signal; and detecting a peripheral signal around the first position based on a signal obtained by the detecting means.
  • a determination processing means for determining at least one of the presence or absence of an input operation of a body part and the presence or absence of an input operation of a body part around the second position.
  • the presence or absence of a left or right operation of a wink or the like can be detected instead of the input device using limbs, and the operation can be accurately and quickly determined. Therefore, it is effective for an operator who has difficulty in limbs and an operator who wants to use limbs for other purposes, that is, a hands-free input operation or the like.
  • a sensor such as a gravitational acceleration for detecting an operation of tilting the head in the forward, backward, left, and right directions by regarding the head as a joystick (the top of the head is the tip direction) is further added.
  • An input operation corresponding to a conventional mouse pointing movement operation can be added. Therefore, an input operation having a conventional mouse click function and pointing movement function can be performed.
  • an operation of shaking the head left and right is detected by a geomagnetic sensor or a gyro sensor, and the input operation having the pointing movement function of the mouse can be added by combining with the head tilting back and forth.
  • the head can be regarded as a joystick (the back of the head is set to the tip direction). Even if the joystick is assumed to be in the same direction, by placing the computer-linked laser pointer at an appropriate position on the head, the screen position indicated by the laser can be changed by swinging left and right and tilting the head back and forth. It can also be done.
  • the input device instead of moving the mouse and pressing the left and right buttons, a personal computer operation is performed, and a moving object (an electric wheelchair, a drone, a cleaning robot, an automatic driving car, etc.) is moved. Control.
  • a moving object an electric wheelchair, a drone, a cleaning robot, an automatic driving car, etc.
  • FIG. 3 is a diagram illustrating electrooculogram measurement according to the first embodiment of the present invention.
  • FIG. 4 is a diagram illustrating left and right winks and a mouse click function according to the first embodiment.
  • FIG. 4 is a diagram illustrating a basic principle of replacing a left and right mouse click function with left and right winks according to the first embodiment.
  • FIG. 10 is a diagram illustrating a biological signal and a mouse click function by an asymmetric operation of a symmetric part of a body part according to the second embodiment. It is a figure explaining input operation by right-and-left front and back operation of a head of a 4th embodiment. It is a figure explaining correspondence with a joystick function by head operation of a 4th embodiment. It is a figure explaining a general electrooculogram measurement technique.
  • the present invention realizes accurate and high-speed detection and discrimination of a biological signal such as an asymmetric biological signal at a symmetric part of a body part represented by an electro-oculogram reflecting a wink.
  • a biological signal such as an asymmetric biological signal at a symmetric part of a body part represented by an electro-oculogram reflecting a wink.
  • the present invention can be used by all persons with disabilities, such as limbs or other parts of the body, or healthy persons who need a hands-free interface.
  • two types of switches are “pressed” by time-series data of a differential potential with respect to a biopotential reflecting a pair of left and right asymmetric body movements (left on-off, right on-off) of a wink or the like.
  • Interface technology that can handle this.
  • the device of the present invention can be applied not only to the asymmetrical operation of the left and right symmetrical portions but also to a body portion in which the device of the present invention can detect potential difference signals having different polarities caused by the operation of the body portion even when the device is not a symmetrical portion.
  • the input operation of the body part around the first and second positions where the electrodes are installed is defined as “first and second positions” on the eyebrows on one eye.
  • the “input operation” of “the body part around the first and second positions” corresponds to “wink” of “one eye”.
  • “input operation” of “body part around the first and second positions” corresponds to “lifting” of “one corner of mouth corner”.
  • the “input operation” of the “body part around the first and second positions” is “eye and eyebrow”.
  • One end of” corresponds to "lifting”.
  • the periphery means approximately 0.5 mm or more and 4 cm or less.
  • the determination processing unit of the present embodiment based on the signal from the detection unit, any one of the presence or absence of the input operation of the body part around the first position and the presence or absence of the input operation of the body part around the second position Is determined. For example, the determination processing unit determines whether there is a wink for the right eye and whether there is a wink for the left eye.
  • FIG. 1 is a diagram in which a pair of electrodes is arranged on each of the left and right eyes (on the eyebrows in the figure).
  • the input device of the present embodiment includes at least a first electrode arranged on one eye, a second electrode arranged on the other eye, and a potential difference between the first electrode and the second electrode. It comprises a sensor unit including a measuring device for measurement and a transmission unit for transmitting the measurement result, and an electric wire connecting the sensor unit and each electrode.
  • the sensor unit includes a detection unit that detects only a predetermined low-frequency component with respect to the signal of the measurement result of the potential difference, and a determination unit that determines the movement of the left and right eyes based on a signal from the detection unit, for example, the presence or absence of a wink. Preferably, it is provided.
  • the low frequency component detection unit and the discrimination unit are not provided in the sensor unit itself, the personal computer or the information device of the transmission destination may have the function.
  • the transmission unit a wired or wireless means can be used.
  • the electrodes are placed only on the left and right eyes and the potential difference is measured, there is no need to place the electrodes under the left and right eyes. Only one electrode is arranged for one eye. Although a pair of electrodes may be arranged only under the left and right eyes, it is considered that the wearing feeling is poor, so that it is preferable that the upper part of the eyebrows is used. In the present embodiment, an input operation using a wink is enabled. In order to minimize the shape of the device, for example, as shown in the figure, it is preferable to install a small sensor unit in the center of the forehead, that is, a wireless electrocardiograph. This eliminates the need for cables and structures that block the field of view.
  • FIG. 2 is a diagram for explaining the left and right winks and the mouse click function according to the present embodiment.
  • the left eye is winked as shown in FIG. 2A
  • an input signal corresponding to the operation of pressing the left switch of the mouse click is transmitted
  • the right switch of the mouse click is transmitted.
  • An input signal corresponding to the operation of pressing is transmitted.
  • the left and right winks can correspond to two switch operations. Since the input device of the present embodiment is an input operation by a wink operation, it can be called a wink operation detection input device.
  • FIG. 3 is a diagram for explaining the basic principle of replacing the left and right mouse click functions with the left and right winks.
  • 3 (a), 3 (b), 3 (c) and 3 (d), the rightmost column, the left-eye potential, the left-right difference, and the “similar function” are illustrated in this order.
  • the open / closed state of the eye is schematically illustrated below each of the “right eye potential” and “left eye potential”.
  • “Right eye potential” and “left eye potential” are each eye potential on the premise that measurement is performed for each eye as in FIG. 7 of the related art.
  • "Right eye potential” schematically shows the measurement result of the right eye electropotential measured as shown in FIG. 7, and
  • Left eye potential shows the measurement result of the left eye electropotential similarly measured. It is shown.
  • “Left-right difference” schematically shows the result of the electro-oculography measurement of FIG. 1 in the present embodiment for explanation.
  • the measurement result signal contains various noises and high-frequency components. Therefore, as in the present embodiment, it can be determined only by the low-frequency component detection step and the determination processing step. It can be seen that the electro-oculogram measurement result in the present embodiment tends to be common to the result obtained by taking the difference between the “left electro-oculogram” and the “right electro-oculogram” of the electro-oculography measurement for each eye in the conventional technique.
  • (A) is a case where both eyes maintain the open state, and there is no change in the electrogram of each eye, and there is no change in the potential of the “left-right difference”.
  • the “similar function” corresponds to the case where the left and right mouse click functions are off.
  • (B) is a case where winking is performed with the left eye, and a strong reaction is observed with respect to the blink of the left eye, but a weak reaction is limited with respect to the blink of the right eye.
  • the right eye remains open. However, because of the wink of another eye, the right eye slightly turns up (the iris moves upward) to reflect that the right eye is about to close. It is. Therefore, when the potential of the right eye is subtracted from the potential of the left eye, a positive potential change occurs.
  • Similar function corresponds to the left side of the mouse click function being on.
  • (C) is a case where winking is performed with the right eye, and is the reverse phenomenon of (b). Subtracting the right eye ocular potential from the left eye ocular potential results in a negative potential change. “Similar function” corresponds to the right of the mouse click function being on.
  • (D) is a case where both eyes blink, such as when the eyes are moistened.
  • an electro-oculogram reflecting the instantaneous upturn is generated in each of the left and right eyes, but since the same potential is generated at the same timing, the difference is canceled out and no signal is generated.
  • the "similar function" corresponds to a case where the left and right mouse click functions are off.
  • the potential difference signal between the first electrode and the second electrode contains a high frequency component of the electro-oculogram signal and other various noises, and it is possible to directly determine the presence or absence of wink from a signal extracted from a living body. Is impossible. Therefore, in the present embodiment, only predetermined low-frequency components are extracted from the signals extracted from the pair of electrodes by using a filter or the like. It is preferable to detect a low frequency component of 1 Hz or more and 30 Hz or less. Detection of a low-frequency component of 1 Hz or more and 20 Hz or less may be performed.
  • the simplest algorithm is a method in which a fixed threshold value is provided for each of the positive and negative potentials, and when the threshold value is exceeded, one of the corresponding switches is determined to be on. For example, the first switch is turned on when a positive potential that exceeds a positive threshold appears, and the second switch is turned on when a negative potential that exceeds a negative threshold appears.
  • a discrimination method may be employed in which pattern identification is performed on a positive or negative waveform pattern that exceeds each of the positive and negative threshold values and within 1 second before and after the peak time. According to this determination method, it is possible to perform a switch output that has high noise resistance to noise of peripheral electric devices and noise due to bioelectric potential other than blinking. More specifically, after a calibration time is set in advance and the potential data associated with the right and left winks is sufficiently acquired, the waveform patterns of the right and left winks at that time are used as templates (so-called learning data). ) Is preferably stored.
  • the correlation coefficient of the potential data of the new measurement result is obtained, or the discriminant score of the linear discriminant analysis is referred to, so that two types of switches, such as left and right mouse clicks, are used. Can be determined.
  • the blink (wink) of only one eye can be used as a signal as in the present embodiment, there is no malfunction such as in the related art depending on the blink (blink) of both eyes, and it depends on which of the right and left winks is performed. It becomes possible to operate two types of switches.
  • the present embodiment relates to an input device, an input method, and the like based on measurement of a conscious movement of a face other than electrooculogram measurement.
  • a description has been given of a multiple switch technology using biopotentials reflecting a pair of left and right asymmetric body movements, taking a wink as an example.
  • the pair of switches used in the present invention is installed, By detecting a conscious action other than blinking and performing the same determination processing, it is possible to function as an input device. An example is specifically described below with reference to FIG.
  • (A) and (b) are examples in which the movement of the facial expression muscle is detected and determined.
  • a mouth movement such as a smile on only one of the left and right sides
  • this is performed using a pair of electrodes
  • the difference between the left and right potential patterns of the low-frequency component of muscle activity is signaled.
  • Can be detected as Also, as shown in (b), a movement such as lifting the eye or eyebrow only to the right or left is performed only on one of the left and right sides, and this is performed using a pair of electrodes to perform a potential pattern of muscle activity.
  • the left and right difference of the potential pattern of the muscle activity reflecting the facial movement is detected as a signal, and a plurality of switch operations can be performed as in the wink by the determination process.
  • potential patterns of muscle activity are generated from a pair of electrodes placed under the left and right chin (neck), reflecting myoelectric potential reflecting the movement of the tongue to the left or right. Can be detected as a signal.
  • the input method based on the asymmetric operation of the left-right symmetric part has been described.
  • a potential pattern of a low-frequency component of muscle activity that reflects an operation of dorsiflexion (moving to the back of the hand) or palm flexion (bending to the palm) of the wrist is represented by a first electrode and a second electrode, respectively.
  • the same switch operation can be performed by installing and detecting the superficial digital flexor muscle and the superficial digital flexor muscle on the skin surface.
  • a head that is tilted left or right or a head that is swung right and left is defined as a first axis (X axis), and a movement that tilts the head back and forth is defined as a second axis (Y axis).
  • the method further includes a unit operation detecting step.
  • FIG. 5 is a schematic diagram showing an example in which a gravitational acceleration sensor or the like for detecting an operation of tilting the head back and forth or left and right is incorporated in the sensor unit (see FIG. 1) of the first embodiment.
  • A shows a case in which a motion of tilting the head to the left and right is detected. By consciously tilting the head to the left and right, the sensor unit detects this movement with a gravitational acceleration sensor or the like and transmits a signal corresponding to an operation of moving the mouse to the left or right.
  • (B) shows a case in which a forward and backward tilting movement of the head is detected.
  • the sensor unit By intentionally tilting the head forward or backward, the sensor unit detects this movement with an acceleration sensor or the like and transmits a signal corresponding to an operation of moving the mouse up and down.
  • the user can perform an input operation by moving the head back and forth and back and forth while performing a plurality of types of switch operations using winks and the like.
  • FIG. 6 is a schematic diagram showing an example in which an acceleration sensor or the like for detecting a joystick-like motion of the head is further incorporated in the sensor unit (see FIG. 1) of the first embodiment.
  • the user can perform an input operation using a joystick-like movement of the head while performing a plurality of types of switch operations using a wink or the like.
  • the function is generated by a function of detecting an asymmetrical biological signal and accurately determining the same, and a sensor for detecting a joystick-like movement of the head (a tilt can be measured by a two- or three-axis gravitational acceleration sensor).
  • a function like a mouse of a personal computer (combination of cursor movement and click operation) becomes possible.
  • the movement of tilting the head forward is similar to the operation of pointing the joystick forward or moving the mouse forward (pointing).
  • An operation of pressing a specific button (such as a left click) after performing the movement with a mouse or a joystick is possible.
  • the tilt of the left and right heads is intuitively linked to the cursor movement in the left and right direction.
  • tilting the head forward is equivalent to moving the cursor forward (up on the screen).
  • inclining the head backward is more intuitive to move the cursor up on the screen. Therefore, it is desirable to appropriately convert the meaning (positive or negative) of the front and rear head tilt signals in relation to the screen angle.
  • the horizontal cursor movement can be performed by swinging the left and right heads instead of tilting the left and right heads.
  • a geomagnetic sensor or a gyro sensor can be used to detect such a swing.
  • the input device, the input method, and the program thereof according to the present invention are industrially useful because they are technologies that can be operated using a device other than a limb for an operator who has limited limbs or for a healthy person.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Dermatology (AREA)
  • Neurosurgery (AREA)
  • Neurology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

手足以外の身体部位の動作により、各種機器へスイッチ入力操作を可能とする入力装置、入力方法及び入力システムを提供する。　身体部位の第１の位置に設置する接触用の第１の電極と、身体部位の第２の位置に設置する接触用の第２の電極と、前記第１の電極及び前記第２の電極の間の生体信号を計測し、前記生体信号の１Ｈｚ以上３０Ｈｚ以下の低周波成分を検出する検出部と、前記検出部からの信号に基づき、前記第１の位置の周辺における身体部位の入力動作の有無及び前記第２の位置の周辺における身体部位の入力動作の有無のうちのいずれか１以上を判別する判別処理部とを備える入力装置により、ウインク等の身体動作による入力を実現する。

Description

[規則37.2に基づきISAが決定した発明の名称]　生体電位を用いる入力装置
　本発明は、操作者が手や足を使うことなく、操作者の瞬き等の身体部位の動きを利用して、機器を操作することを可能とする入力装置、入力方法及び入力システムに関する。
　近年、情報科学分野、医療工学応用分野、福祉機器制御の分野、ゲーム分野等において、機器の操作は、各種スイッチ、ジョイスティックやマウス等の手による入力操作が主である。さらに、前述の各分野では、手足が不自由な操作者のために、又は健常者のために、手足以外を利用して操作できる機器が望まれている。
　発明者は、頭部運動に着目して、操作者の頭部のジョイスティック的な運動を、頭部に装着された検出手段により検出して、該検出された信号に基づき機器を操作制御する入力装置を提案した（特許文献１）。
　先行技術文献調査をしたところ、次のような文献（特許文献２、３）があった。特許文献２では、ゲーム装置に関し、眼球の動きや瞬きによる所定の周波数成分（５０Ｈｚ付近）の生体電気信号を検出して、生体電気信号に基づいて、操作者の状態（慌てている状態、集中している状態、右目がウインクされた状態）を判断することが、示されている。
　特許文献３には、瞬目を適切に検出するメガネ等の装置に関し、メガネの鼻パッドの左右の２つの電極と、眉間中央の電極とを設けることが、示されている。例えば、計測した眼電図信号から、使用者の瞬目の回数が増加していることを検出した場合等に、居眠りを防止するための警告を発することが、示されている。
特開２０１０－２３１２９０号公報 特開２０１１－１８３０７３号公報 特開２０１５－２１３７３４号公報
　従来、ヒトは、言語や手足を利用できない場合、その他の身体部位を使用して合図を送ることを行ってきた。合図の例として、意識的に片目をつぶってあける動作、即ちウインク動作、意識的に両目をつぶってあける動作、即ちブリンク動作等がある。
　眼球やまぶたの動作を検出するために、眼電位を検出する技術が知られている。一般に、眼球は、角膜側が正の電荷、網膜側が負の電荷を帯びているので、両者の間に電位差が発生する。この電位差を眼電位という。眼電位は、数十ｍＶ程度の電位差である。目の上下の皮膚に電極を付けて電位差を測定すると、目の動きや瞬きによってこの電位差が変わる。
　図７は、一般的な眼電位計測技術を説明する図である。両眼の外側に設置した一対の電極群（Ｃｈ．１（－）、Ｃｈ．１（＋））により、水平方向の眼球位置検出が可能である。また、片眼の眉毛上とその眼の下の頬の部分に設置した一対の電極群（Ｃｈ．２（＋）、Ｃｈ．２（－））により、垂直方向の眼球位置検出が可能である。なお、図では右眼球用の検出のみを図示したものであり、左眼球については図示を省略している。また、この計測技術を用いれば、視覚探索等における視線移動に伴う水平・垂直眼球運動の検出のみならず、瞬目に伴う瞬間的な両眼の上転運動を反映した眼電位の計測も可能とされている。
　一般に、瞬きには、無意識に行う周期性まばたきと、目に光りが差し込んだときに行う反射性まばたきと、意識的（又は随意的ともいう）に行うまばたき（ウインク、ブリンク）がある。
　このように身体の生体信号には、無意識な動きに基づくものと意識的な動きに基づくものがあり、これらを正確に区別して、意識的な動きによる生体信号から、正確に入力内容を判別することが困難であった。例えば、随意的な両眼の瞬きを、眼を潤わせるための自然な（両眼の）瞬きと区別することが困難であり、誤動作のもとであった。
　従来、身体部位の動作を検出することにより、手足による入力操作手段に代替できる装置が望まれていたが、前記動作を瞬時に正確に検出判別することが可能であって、かつ装着が簡便な装置が実現できていなかった。
　本発明は、これらの問題を解決しようとするものであり、本発明は、ウインク等の身体部位の左右対称性を破る動作またはこれに類する身体動作を、瞬時に正確に検出判別可能な入力装置、入力方法、及び入力システムを提供することを目的とする。
　本発明は、前記目的を達成するために、以下の特徴を有するものである。
（１）　身体部位の第１の位置に設置する接触用の第１の電極と、身体部位の第２の位置に設置する接触用の第２の電極と、前記第１の電極及び前記第２の電極の間の生体信号を計測し、前記生体信号の１Ｈｚ以上３０Ｈｚ以下の低周波成分を検出する検出部と、前記検出部からの信号に基づき、前記第１の位置の周辺における身体部位の入力動作の有無及び前記第２の位置の周辺における身体部位の入力動作の有無のうちのいずれか１以上を判別する判別処理部と、を備えることを特徴とする入力装置。
（２）　前記判別処理部からの信号を入力操作信号として送信する送信部をさらに備えることを特徴とする前記（１）記載の入力装置。
（３）　頭部の上下左右の動きを含めた動作を検出するセンサを、前記検出部と一体に備えることを特徴とする、前記（１）又は（２）記載の入力装置。
（４）　身体部位の第１の位置に設置する接触用の第１の電極と、身体部位の第２の位置に設置する接触用の第２の電極との間の、生体信号を計測し、前記生体信号の１Ｈｚ以上３０Ｈｚ以下の低周波成分を検出する検出ステップと、前記検出ステップで得られた信号に基づき、前記第１の位置の周辺における身体部位の入力動作の有無及び前記第２の位置の周辺における身体部位の入力動作の有無のうちのいずれか１以上を判別する判別処理ステップと、を備えることを特徴とする入力方法。
（５）　前記判別処理ステップで得られた信号を入力操作信号として送信する送信ステップと、をさらに備えることを特徴とする前記（４）記載の入力方法。
（６）　頭部を左右に傾ける、もしくは首を左右に振る動きを第１軸、頭部を前後に傾ける動きを第２軸として、これらを合成した頭部動作検出ステップをさらに備え、前記頭部動作検出に基づく入力操作信号を送信することを特徴とする、前記（４）又は（５）記載の入力方法。
（７）　前記第１の位置の周辺における身体部位の入力動作及び前記第２の位置の周辺における身体部位の入力動作が、左右対称な身体部位のうちの左右非対称動作であることを特徴とする、前記（４）乃至（６）のいずれか１項に記載の入力方法。
（８）　前記第１の位置の周辺における身体部位の入力動作が左眼のウインクであり、前記第２の位置の周辺における身体部位の入力動作が右眼のウインクであることを特徴とする前記（４）乃至（７）のいずれか１項に記載の入力方法。
（９）　身体部位の第１の位置に設置する接触用の第１の電極と、身体部位の第２の位置に設置する接触用の第２の電極とを備え、前記第１の電極及び前記第２の電極の間の生体信号を検出し、前記生体信号の１Ｈｚ以上３０Ｈｚ以下の低周波成分を検出する検出手段と、前記検出手段で得られた信号に基づき、前記第１の位置の周辺における身体部位の入力動作の有無及び前記第２の位置の周辺における身体部位の入力動作の有無のうちのいずれか１以上を判別する判別処理手段と、を備えることを特徴とする入力システム。
（１０）　前記判別処理手段で得られた信号を入力操作信号として送信する送信手段と、をさらに備えることを特徴とする前記（９）記載の入力システム。
　本発明の入力装置、入力方法及び入力システムによれば、手足による入力装置に代替して、ウインク等の左又は右の動作の有無を検出し、該動作の判別を正確かつ高速で実現できる。よって、手足の不自由な操作者、手足を他のことに使用したい操作者、即ち、ハンズフリー入力操作等に有効である。
　本発明の入力装置、入力方法及び入力システムによれば、第１の電極と第２の電極の２端子のみ、即ち１チャネルの検出のみで、例えば、右ウインクの有無と左ウインクの有無という、２種類のボタンスイッチに対応するような複数スイッチ操作が可能となった。
　本発明の入力装置、入力方法及び入力システムによれば、頭部を（頭頂部を先端方向とする）ジョイスティックと見立てて前後左右に傾ける動作を検出する重力加速度等のセンサをさらに付加することにより、従来のマウスのポインティング移動操作に相当する入力操作が追加できる。よって、従来のマウスのクリック機能とポインティング移動機能とを備える入力操作ができる。また、頭部を左右に傾ける代わりに、首を左右に振る動作を地磁気センサかジャイロセンサによって検出し、頭部の前後傾斜と組み合わせることによってもマウスのポインティング移動機能を備える入力操作を追加できる。この場合も頭部を（後頭部を先端方向とする）ジョイスティックと見立てることができる。なお、ジョイスティックを同様の方向に見立てる場合でも、パソコン連動式レーザーポインターを頭部の適当な位置に設置することで、そのレーザーが指し示す画面位置を、左右の首振りと頭部の前後傾斜によって変化させることもできる。
　本発明の入力装置、入力方法及び入力システムによれば、マウスの移動と左右ボタン押しの代わりにパソコン操作を行ったり、移動体（電動車いす、ドローン、お掃除ロボット、自動運転カーなど）の移動制御を行ったりすることができる。
本発明の第１の実施形態の眼電位計測を説明する図である。 第１の実施形態の、左右のウインクとマウスクリック機能を対応させて説明する図である。 第１の実施形態の、左右のウインクによって左右のマウスクリック機能を代替させる基本原理を説明する図である。 第２の実施形態の、身体部位の対称的部位の非対称動作による生体信号とマウスクリック機能を対応させて説明する図である。 第４の実施形態の、頭部の左右前後の動作による入力操作を説明する図である。 第４の実施形態の、頭部の動作によるジョイスティック機能との対応を説明する図である。 一般的な眼電位計測技術を説明する図である。
　本発明の実施形態について以下説明する。
　本発明は、ウインクを反映する眼電位に代表される、身体部位の対称的な部位の非対称生体信号等の生体信号の検出及び判別の正確化と高速化を実現したものである。本発明は、手足等の身体の一部が不自由な障がい者やハンズフリーのインターフェースが必要な健常者全てが利用することができる。
　本発明では、ウインク等の左右非対称の１対（左オンオフ、右オンオフ）の身体動作を反映した生体電位に対する差分電位の時系列データによって、２種のスイッチ（マウスボタンの左右等）を「押す」ことに対応できるインターフェース技術を実現した。また、左右の対称部位の非対称動作のみでなく、対称部位でない場合でも本発明装置により身体部位の動作により生じる極性の異なる電位差信号を検出できる身体部位の場合は、本発明の装置が適用できる。
　本発明では、電極を設置する第１や第２の位置の周辺における、身体部位の入力動作とは、片眼の上の眉毛の上を「第１、第２の位置」とすると、「第１や第２の位置の周辺における身体部位」の「入力動作」は、「片眼」の「ウインク」に対応する。また、顔面の頬を「第１、第２の位置」とすると、「第１や第２の位置の周辺における身体部位」の「入力動作」は、「口角片端」の「つり上げ」に対応する。また、顔面の眼や眉の上の左右端を「第１、第２の位置」とすると、「第１や第２の位置の周辺における身体部位」の「入力動作」は、「眼や眉の片端」の「つり上げ」に対応する。周辺とは、ほぼ０．５ｍｍ以上４ｃｍ以下程度をいう。
　本実施形態の判別処理部では、検出部からの信号に基づき、第１の位置の周辺における身体部位の入力動作の有無及び第２の位置の周辺における身体部位の入力動作の有無のうちのいずれか１以上を判別する。例えば、判別処理部では、右眼のウインクの有無、左眼のウインクの有無を判別処理する。
（第１の実施形態）
　本実施形態は、眼電位計測による入力装置及び入力方法等に関する。本実施形態について、図１、図２、図３を参照して以下具体的に説明する。図１は、左右のそれぞれの眼の上（図中では眉毛の上）に１対の電極を配置した図である。本実施形態の入力装置は、少なくとも、一方の眼の上に配置した第１の電極と、他方の眼の上に配置した第２の電極と、第１の電極と第２の電極の電位差を計測する計測器と計測結果を送信する送信部とを含むセンサ部と、センサ部と各電極間を接続する電線とからなる。センサ部は、電位差の計測結果の信号について、所定の低周波成分のみを検出する検出部と、検出部からの信号に基づき、左右の眼の動作、例えばウインクの有無を判別する判別部とを備えることが好ましい。なお、低周波成分の検出部と判別部は、センサ部自体に設けない場合は、送信先のパソコンや情報機器にその機能を持たせればよい。送信部は、有線、無線等の手段を用いることができる。
　本実施形態では、左右の眼の上のみに電極を設置してその電位差を計測するので、左右の眼の下に電極を設置する必要がない。片眼について一個のみ電極を配置する。左右の眼の下のみに一対の電極を配置してもよいが、装着感が悪いと考えられるので、眉毛の上が好ましい。本実施形態では、ウインクによる入力操作を可能とする。装置の形状を最小化するには、例えば、図示のように、額の中央に小型のセンサ部、即ち無線眼電計を設置することが好ましい。これにより、視野を遮るようなケーブルや構造物が不要となる。
　図２は、本実施形態の、左右のウインクとマウスクリック機能を対応させて説明する図である。図２（ａ）のように、左眼をウインクすると、マウスクリックの左スイッチを押す操作に対応する入力信号を送信し、（ｂ）のように、右眼をウインクすると、マウスクリックの右スイッチを押す操作に対応する入力信号を送信する。この対応により、左右ウインクにより２つのスイッチ操作に対応させることができる。本実施形態の入力装置は、ウインク動作による入力操作であるので、ウインク動作検知入力装置、とよぶことができる。
　図３は、左右のウインクによって左右のマウスクリック機能を代替させる基本原理を説明する図である。図３（ａ）（ｂ）（ｃ）（ｄ）の一番左側の列から「右眼電位」「左眼電位」「左右差分」「類似機能」の順で図示した。「右眼電位」「左眼電位」のそれぞれの下に眼の開閉状態を模式的に図示した。「右眼電位」と「左眼電位」は、従来技術の図７のように、片眼ごとに計測するという前提での各眼電位である。「右眼電位」は、図７のようにして計測される右眼の眼電位の計測結果を模式的に示し、「左眼電位」は、同様に計測される左眼の眼電位の計測結果を示したものである。
　「左右差分」は、本実施形態における図１の眼電位計測の結果を、説明のために模式的に示したものである。実際は、計測結果の信号には、種々のノイズや高周波成分が含まれているので、本実施形態のように、低周波成分検出ステップと判別処理ステップにより、初めて判別できる。本実施形態における眼電位計測結果が、従来技術の片眼ごとの眼電位計測の「左眼電位」と「右眼電位」の差分をとった結果と共通する傾向にあることが分かる。
　「類似機能」は対応するマウスクリック機能を模式的に図示したものである。
　（ａ）は、両眼とも開眼状態を維持している場合であり、片眼ごとの眼電図に変化は無く、「左右差分」の電位にも変化は無い。「類似機能」は、左右のマウスクリック機能がオフであることに対応する。
　（ｂ）は、左眼でウインクした場合であり、左眼の瞬きに関しては強い反応が観察されるが、右眼の瞬きに関しては弱い反応に限定される。本来、右眼は開眼のままが理想であるが、別の眼のウインクにつられてある程度、右眼も閉じそうになったのを反映してわずかに上転（黒目が上に移動）するためである。そのため、左眼の電位から右眼の電位を引くと陽性の電位変化が生じる。「類似機能」は、マウスクリック機能の左がオンであることに対応する。
　（ｃ）は、右眼でウインクした場合であり、（ｂ）の逆の現象である。左眼の眼電位から右眼の眼電位を引くと、陰性の電位変化が生じる。「類似機能」は、マウスクリック機能の右がオンであることに対応する。
　（ｄ）は、眼を潤すときのような両眼ともの瞬きが行われた場合である。この場合、左右の眼のそれぞれで、瞬時の上転を反映した眼電位が生じるが、同じタイミングで同じ電位が出るので、差分としては打ち消しあって信号が出ないことになる。「類似機能」は、左右のマウスクリック機能がオフであることに対応する。
　（ａ）（ｂ）（ｃ）（ｄ）のように、左右の差分の電位が出るのは、左右のウインクのみであり、かつ、その電位の極性が異なることがわかる。このことから、左右どちらのウインクをするかによって、２種類のスイッチ（例えばマウスの左クリックと右クリック）の機能に対応させることができる。その対応関係により、２種類のスイッチを制御することが可能となる。
　次に、電位差の計測結果の信号について、所定の低周波成分のみを検出する検出部について述べる。第１の電極と第２の電極との電位差信号には、眼電位信号の周波数の高い成分、その他種々のノイズも含まれていて、生体から取り出した信号から、直接ウインクの有無を判別することは不可能である。そこで、本実施形態では、一対の電極から取り出した信号を、フィルタ－等により、所定の低周波成分のみを取り出す。１Ｈｚ以上３０Ｈｚ以下の低周波成分を検出することが好ましい。１Ｈｚ以上２０Ｈｚ以下の低周波成分の検出でもよい。
　次に、眼の動作、例えば左右のウインクの有無を判別する判別部の信号処理について述べる。
　最も簡単なアルゴリズムは、正・負それぞれの電位に対して、一定の閾値を設け、閾値を超えた時に、該当する一方のスイッチをオンと判別する方法である。例えば、正の閾値を超えるような正の電位が出現した時には第１のスイッチを、負の閾値を超えるような負の電位が出現した時には第２のスイッチをオンにする。
　また、さらに、正負それぞれの閾値を超えた正もしくは負の、ピーク時間を中心にした前後１秒以内の波形パターンに対して、パターン識別を行う判別方法でもよい。この判別方法によって、周辺の電気機器のノイズや瞬き以外の生体電位によるノイズに対するノイズ耐性の強い、スイッチ出力が可能となる。より具体的には、予めキャリブレーションの時間を設けて、十分に左右それぞれのウインクと関連した電位データを取得しておいたうえで、その時の左右それぞれのウインクの波形パターンを鋳型（いわゆる学習データ）として記憶させておくことが好ましい。学習データの波形パターンに基づき、新規な計測結果の電位データの相関係数を求めたり、線形判別分析の判別得点を参照したりすることにより、マウスの左右のクリックのように、２種類のスイッチのどちらを入れるかを決定することが可能となる。
　本実施形態のように、片眼だけの瞬き（ウインク）を信号として用いることができれば、両目の瞬き（ブリンク）に依存した従来技術のような誤動作もなく、かつ左右どちらのウインクを行うかによって２種類のスイッチを作動させることが可能となる。
　また、パターン識別方法により判別処理を行う場合には、ウインクを２回連続で行ったり、ゆっくりとしたウインクを１回行ったりすることにより、同じ左眼、右眼でも、異なる電位パターンを生成することができるので、左右それぞれ、さらに２種類ずつのスイッチ（計６種類）を使い分けることが可能となる。これらはマウスの左右ボタンのダブルクリックや長押しに相当する。
（第２の実施形態）
　本実施形態は、眼電位計測以外の顔面の意識的動作の計測による入力装置及び入力方法等に関する。第１の実施形態では、ウインクを例に左右非対称の１対の身体動作を反映した生体電位を用いた複数スイッチ技術に関して述べたが、本発明で用いる１対のスイッチを設置する場所次第では、瞬き以外の意識的動作を検出し、同様の判別処理を行うことにより、入力装置として機能させることができる。例を、図４を参照して以下具体的に説明する。
　（ａ）（ｂ）は、顔面表情筋の動きを検出し判別する例である。（ａ）のように、笑顔のような口の動きを左右どちらかの片側だけ行う等することにより、これを一対の電極を用いて、筋活動の低周波成分の電位パターンの左右差分を信号として検出することができる。また、（ｂ）のように、眼や眉を左右どちらかだけ吊り上げたりするような動きを左右どちらかの片側だけ行う等することにより、これを一対の電極を用いて、筋活動の電位パターンの左右差分を信号として検出することができる。（ａ）（ｂ）のように、顔面動作を反映する筋活動の電位パターンの左右差分を信号として検出し、判別処理により、ウインク同様、複数のスイッチ操作を行うことができる。
　これらの顔面動作以外にも舌を左右どちらかに寄せる動きを反映した筋電位を左右のあごの下（首部分）に設置する１対の電極から筋活動（特に低周波の変動）の電位パターンの左右差分を信号として検出することができる。
（第３の実施形態）
　第１や第２の実施形態では、左右対称部位の非対称動作による入力方法について説明したが、本実施形態は、左右対称部位以外の身体部位に、本発明の入力装置や入力方法を適用する場合に関する。例えば手関節を背屈（手の甲側に反らせる動き）あるいは掌屈（手の平側に曲げる動き）させる動作を反映した筋活動の低周波成分の電位パターンを、第１の電極と第２の電極をそれぞれ浅指屈筋と浅指屈筋の皮膚表面に設置して検出することによっても、同様のスイッチ操作が可能である。
（第４の実施形態）
　本実施形態は、第１乃至第３の実施形態で説明した入力方法のいずれか１つ以上と頭部を巨大なジョイスティックと想定して左右や前後に傾けたり、左右に首を振ったりする動作と組み合わせた入力方法に関する。本実施形態では、頭部を左右に傾ける、もしくは首を左右に振る動きを第１軸（Ｘ軸）、頭部を前後に傾ける動きを第２軸（Ｙ軸）として、これらを合成した頭部動作検出ステップをさらに備える。
　図５は、第１の実施形態のセンサ部（図１参照）に、さらに、頭部を前後や左右に傾ける動作を検出する重力加速度センサ等を組み込んだ例を示す模式図である。（ａ）は、頭部を左右へ傾ける動きを検出する場合を示す。頭部を左右に意識的に傾けることにより、センサ部は、この動きを重力加速度センサ等により検出して、マウスを左右に移動させる操作に相当する信号を送信する。（ｂ）は、頭部の前後への傾ける動きを検出する場合を示す。頭部を前向きに又は後向きに意識的に傾けることにより、センサ部は、この動きを加速度センサ等により検出して、マウスを上下に移動させる操作に相当する信号を送信する。ユーザーは、ウインク等による複数種類のスイッチ操作をしながら、頭部の左右前後の動きによる入力操作をすることができる。
　図６は、第１の実施形態のセンサ部（図１参照）に、さらに、頭部のジョイスティック的動作を検出する加速度センサ等を組み込んだ例を示す模式図である。ユーザーは、ウインク等による複数種類のスイッチ操作をしながら、頭部のジョイスティック的動きによる入力操作をすることができる。
　本実施形態では、非対称な生体信号を検出して正確に判別する機能と、さらに頭部のジョイスティック的動作を検出するセンサ（２～３軸の重力加速度センサによって傾斜の測定が可能）によって生成するポインティング信号とを組み合わせることによって、パソコンのマウスのような機能（カーソル移動とクリック動作の組み合わせ）が可能となる。図５や図６のように、頭を前に傾ける動きは、ジョイスティックを前に倒したり、マウスを前に動かしたりする位置決め（ポインティング）動作とユーザーにとって類似動作であるため、パソコン画面上のカーソル移動をマウスやジョイスティックによって行ったうえで、特定のボタン（左クリックなど）を押すという操作が可能である。
　なお、左右の頭部の傾きは、左右方向のカーソル移動に直観的に結びつく。しかし、画面が比較的上を向いていて、それをユーザーが見下ろす場合は、頭を前に傾ける動作がカーソルを前（画面では上）に動かす動作であることに直観的に一致するのに対し、画面が垂直に置かれていて、ユーザーが前方を見る場合には、頭部を後ろに傾ける動作の方がカーソルを画面で上に移動させるためには直観的に一致する。よって、画面角度との関係で前後の頭部傾斜の信号の意味（正負）を適宜変換することが望ましい。
　また、どのような画面角度の場合でも左右方向のカーソル移動を、左右の頭部の傾きではなく、左右の頭部の首振りによって行うことも可能である。そのような首振りの検出には地磁気センサやジャイロセンサを利用することができる。頭部の前後方向の傾きも合わせ、パソコン連動式のレーザーポインターを頭部に設置して画面上の位置決めを行うことで、ウインク等の検出技術の効果を増強することもできる。
　なお、上記実施の形態等で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。
　本発明の入力装置、入力方法及びそのプログラムは、手足が不自由な操作者のために、又は健常者のために、手足以外を利用して操作できる技術であるので、産業上有用である。

 

Claims (10)

  1. 　身体部位の第１の位置に設置する接触用の第１の電極と、
    　身体部位の第２の位置に設置する接触用の第２の電極と、
    　前記第１の電極及び前記第２の電極の間の生体信号を計測し、前記生体信号の１Ｈｚ以上３０Ｈｚ以下の低周波成分を検出する検出部と、
    　前記検出部からの信号に基づき、前記第１の位置の周辺における身体部位の入力動作の有無及び前記第２の位置の周辺における身体部位の入力動作の有無のうちのいずれか１以上を判別する判別処理部と、
    を備えることを特徴とする入力装置。
  2. 　前記判別処理部からの信号を入力操作信号として送信する送信部をさらに備えることを特徴とする請求項１記載の入力装置。
  3. 　頭部の上下左右の動きを含めた動作を検出するセンサを、前記検出部と一体に備えることを特徴とする、請求項１又は２記載の入力装置。
  4. 　身体部位の第１の位置に設置する接触用の第１の電極と、身体部位の第２の位置に設置する接触用の第２の電極との間の、生体信号を計測し、前記生体信号の１Ｈｚ以上３０Ｈｚ以下の低周波成分を検出する検出ステップと、
    　前記検出ステップで得られた信号に基づき、前記第１の位置の周辺における身体部位の入力動作の有無及び前記第２の位置の周辺における身体部位の入力動作の有無のうちのいずれか１以上を判別する判別処理ステップと、
    を備えることを特徴とする入力方法。
  5. 　前記判別処理ステップで得られた信号を入力操作信号として送信する送信ステップと、
    をさらに備えることを特徴とする請求項４記載の入力方法。
  6. 　頭部を左右に傾ける、もしくは首を左右に振る動きを第１軸、頭部を前後に傾ける動きを第２軸として、これらを合成した頭部動作検出ステップをさらに備え、前記頭部動作検出に基づく入力操作信号を送信することを特徴とする、請求項４又は５記載の入力方法。
  7. 　前記第１の位置の周辺における身体部位の入力動作及び前記第２の位置の周辺における身体部位の入力動作が、左右対称な身体部位のうちの左右非対称動作であることを特徴とする、請求項４乃至６のいずれか１項に記載の入力方法。
  8. 　前記第１の位置の周辺における身体部位の入力動作が左眼のウインクであり、前記第２の位置の周辺における身体部位の入力動作が右眼のウインクであることを特徴とする請求項４乃至７のいずれか１項に記載の入力方法。
  9. 　身体部位の第１の位置に設置する接触用の第１の電極と、身体部位の第２の位置に設置する接触用の第２の電極とを備え、
    　前記第１の電極及び前記第２の電極の間の生体信号を検出し、前記生体信号の１Ｈｚ以上３０Ｈｚ以下の低周波成分を検出する検出手段と、
    　前記検出手段で得られた信号に基づき、前記第１の位置の周辺における身体部位の入力動作の有無及び前記第２の位置の周辺における身体部位の入力動作の有無のうちのいずれか１以上を判別する判別処理手段と、
    を備えることを特徴とする入力システム。
  10. 　前記判別処理手段で得られた信号を入力操作信号として送信する送信手段と、
    をさらに備えることを特徴とする請求項９記載の入力システム。

     
PCT/JP2019/027675 2018-07-20 2019-07-12 生体電位を用いる入力装置 WO2020017448A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2020531287A JPWO2020017448A1 (ja) 2018-07-20 2019-07-12 入力装置、入力方法及び入力システム
US17/258,925 US11493994B2 (en) 2018-07-20 2019-07-12 Input device using bioelectric potential

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-136723 2018-07-20
JP2018136723 2018-07-20

Publications (1)

Publication Number Publication Date
WO2020017448A1 true WO2020017448A1 (ja) 2020-01-23

Family

ID=69164676

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/027675 WO2020017448A1 (ja) 2018-07-20 2019-07-12 生体電位を用いる入力装置

Country Status (3)

Country Link
US (1) US11493994B2 (ja)
JP (1) JPWO2020017448A1 (ja)
WO (1) WO2020017448A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07241283A (ja) * 1994-03-04 1995-09-19 Omron Corp 覚醒度判定方法及び覚醒度判定装置
JP2010231290A (ja) * 2009-03-26 2010-10-14 National Institute Of Advanced Industrial Science & Technology 頭部運動による入力装置及び方法
JP2012055587A (ja) * 2010-09-10 2012-03-22 Konami Digital Entertainment Co Ltd 生体電気信号検出装置、ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP2017157139A (ja) * 2016-03-04 2017-09-07 株式会社東芝 眼球運動検出装置、眼球運動検出方法、およびアイウエア

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4561448A (en) * 1984-02-02 1985-12-31 Colen-Kery, Inc. Apparatus for sensing and recording biopotential electrical signals
US8405610B1 (en) * 2008-10-24 2013-03-26 Sprint Communications Company L.P. Electrooculographical control for a mobile device
JP5328700B2 (ja) 2010-03-10 2013-10-30 株式会社コナミデジタルエンタテインメント ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP5278576B2 (ja) * 2012-04-27 2013-09-04 カシオ計算機株式会社 ジェスチャー認識装置、ジェスチャー認識方法及びそのプログラム
JP5888205B2 (ja) * 2012-11-02 2016-03-16 ソニー株式会社 画像表示装置並びに情報入力装置
US9370302B2 (en) * 2014-07-08 2016-06-21 Wesley W. O. Krueger System and method for the measurement of vestibulo-ocular reflex to improve human performance in an occupational environment
US9974344B2 (en) * 2013-10-25 2018-05-22 GraceFall, Inc. Injury mitigation system and method using adaptive fall and collision detection
JP2015213734A (ja) 2014-04-21 2015-12-03 株式会社ジェイアイエヌ プログラム、情報処理装置、及びアイウエア
CN104182041B (zh) * 2014-08-08 2017-07-14 北京智谷睿拓技术服务有限公司 眨眼类型确定方法及眨眼类型确定装置
US10121063B2 (en) * 2015-01-12 2018-11-06 BMT Business Meets Technology Holding AG Wink gesture based control system
US11123012B2 (en) * 2015-05-27 2021-09-21 Quantum Applied Science & Research, Inc. Underwater measurement of bioelectric signals

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07241283A (ja) * 1994-03-04 1995-09-19 Omron Corp 覚醒度判定方法及び覚醒度判定装置
JP2010231290A (ja) * 2009-03-26 2010-10-14 National Institute Of Advanced Industrial Science & Technology 頭部運動による入力装置及び方法
JP2012055587A (ja) * 2010-09-10 2012-03-22 Konami Digital Entertainment Co Ltd 生体電気信号検出装置、ゲーム装置、ゲーム装置の制御方法、及びプログラム
JP2017157139A (ja) * 2016-03-04 2017-09-07 株式会社東芝 眼球運動検出装置、眼球運動検出方法、およびアイウエア

Also Published As

Publication number Publication date
US20210325966A1 (en) 2021-10-21
JPWO2020017448A1 (ja) 2021-06-24
US11493994B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
Zhang et al. An EEG/EMG/EOG-based multimodal human-machine interface to real-time control of a soft robot hand
Zhang et al. An EOG-based human–machine interface to control a smart home environment for patients with severe spinal cord injuries
EP1779820B1 (en) Apparatus and method for controlling vehicle by teeth-clenching
Barea et al. Wheelchair guidance strategies using EOG
Barea et al. System for assisted mobility using eye movements based on electrooculography
KR100396924B1 (ko) 생체신호를 이용한 전자기기 제어 장치 및 그 방법
EP0468340A2 (en) Eye directed controller
Belkacem et al. Classification of four eye directions from EEG signals for eye-movement-based communication systems
JP2004527815A (ja) 感知電気生理学的データに基づく活動開始方法及びシステム
CN110727353A (zh) 基于二维意图所定义的控制部件控制方法和装置
Molina-Cantero et al. Communication technologies based on voluntary blinks: Assessment and design
Law et al. A cap as interface for wheelchair control
Ogenga et al. Development of a Virtual Environment-Based Electrooculogram Control System for Safe Electric Wheelchair Mobility for Individuals with Severe Physical Disabilities
Groll et al. Cursor click modality in an accelerometer-based computer access device
Musić et al. Testing inertial sensor performance as hands-free human-computer interface
Anchan et al. Optimal bipolar lead placement in electrooculography (eog): A comparative study with an emphasis on prolonged blinks
WO2020017448A1 (ja) 生体電位を用いる入力装置
Novak Biomechatronic applications of brain-computer interfaces
Fan et al. Design recommendations for voluntary blink interactions based on pressure sensors
Schäfer et al. Feasibility analysis of sensor modalities to control a robot with eye and head movements for assistive tasks
An et al. Development of a virtual keyboard system using a bio-signal interface and preliminary usability test
Mishra A review on emg signal classification for human computer interaction
Peter et al. Electrooculography as a tool for managing application
Kwon et al. Vision combined with mi-based bci in soft robotic glove control
Matthies Reflexive interaction-extending peripheral interaction by augmenting humans

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19837454

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020531287

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19837454

Country of ref document: EP

Kind code of ref document: A1