JPWO2020017448A1 - 入力装置、入力方法及び入力システム - Google Patents
入力装置、入力方法及び入力システム Download PDFInfo
- Publication number
- JPWO2020017448A1 JPWO2020017448A1 JP2020531287A JP2020531287A JPWO2020017448A1 JP WO2020017448 A1 JPWO2020017448 A1 JP WO2020017448A1 JP 2020531287 A JP2020531287 A JP 2020531287A JP 2020531287 A JP2020531287 A JP 2020531287A JP WO2020017448 A1 JPWO2020017448 A1 JP WO2020017448A1
- Authority
- JP
- Japan
- Prior art keywords
- input
- body part
- signal
- electrode
- input operation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/012—Head tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
Landscapes
- Engineering & Computer Science (AREA)
- General Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Dermatology (AREA)
- General Health & Medical Sciences (AREA)
- Neurology (AREA)
- Neurosurgery (AREA)
- Position Input By Displaying (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
手足以外の身体部位の動作により、各種機器へスイッチ入力操作を可能とする入力装置、入力方法及び入力システムを提供する。身体部位の第1の位置に設置する接触用の第1の電極と、身体部位の第2の位置に設置する接触用の第2の電極と、前記第1の電極及び前記第2の電極の間の生体信号を計測し、前記生体信号の1Hz以上30Hz以下の低周波成分を検出する検出部と、前記検出部からの信号に基づき、前記第1の位置の周辺における身体部位の入力動作の有無及び前記第2の位置の周辺における身体部位の入力動作の有無のうちのいずれか1以上を判別する判別処理部とを備える入力装置により、ウインク等の身体動作による入力を実現する。
Description
本発明は、操作者が手や足を使うことなく、操作者の瞬き等の身体部位の動きを利用して、機器を操作することを可能とする入力装置、入力方法及び入力システムに関する。
近年、情報科学分野、医療工学応用分野、福祉機器制御の分野、ゲーム分野等において、機器の操作は、各種スイッチ、ジョイスティックやマウス等の手による入力操作が主である。さらに、前述の各分野では、手足が不自由な操作者のために、又は健常者のために、手足以外を利用して操作できる機器が望まれている。
発明者は、頭部運動に着目して、操作者の頭部のジョイスティック的な運動を、頭部に装着された検出手段により検出して、該検出された信号に基づき機器を操作制御する入力装置を提案した(特許文献1)。
先行技術文献調査をしたところ、次のような文献(特許文献2、3)があった。特許文献2では、ゲーム装置に関し、眼球の動きや瞬きによる所定の周波数成分(50Hz付近)の生体電気信号を検出して、生体電気信号に基づいて、操作者の状態(慌てている状態、集中している状態、右目がウインクされた状態)を判断することが、示されている。
特許文献3には、瞬目を適切に検出するメガネ等の装置に関し、メガネの鼻パッドの左右の2つの電極と、眉間中央の電極とを設けることが、示されている。例えば、計測した眼電図信号から、使用者の瞬目の回数が増加していることを検出した場合等に、居眠りを防止するための警告を発することが、示されている。
従来、ヒトは、言語や手足を利用できない場合、その他の身体部位を使用して合図を送ることを行ってきた。合図の例として、意識的に片目をつぶってあける動作、即ちウインク動作、意識的に両目をつぶってあける動作、即ちブリンク動作等がある。
眼球やまぶたの動作を検出するために、眼電位を検出する技術が知られている。一般に、眼球は、角膜側が正の電荷、網膜側が負の電荷を帯びているので、両者の間に電位差が発生する。この電位差を眼電位という。眼電位は、数十mV程度の電位差である。目の上下の皮膚に電極を付けて電位差を測定すると、目の動きや瞬きによってこの電位差が変わる。
図7は、一般的な眼電位計測技術を説明する図である。両眼の外側に設置した一対の電極群(Ch.1(−)、Ch.1(+))により、水平方向の眼球位置検出が可能である。また、片眼の眉毛上とその眼の下の頬の部分に設置した一対の電極群(Ch.2(+)、Ch.2(−))により、垂直方向の眼球位置検出が可能である。なお、図では右眼球用の検出のみを図示したものであり、左眼球については図示を省略している。また、この計測技術を用いれば、視覚探索等における視線移動に伴う水平・垂直眼球運動の検出のみならず、瞬目に伴う瞬間的な両眼の上転運動を反映した眼電位の計測も可能とされている。
一般に、瞬きには、無意識に行う周期性まばたきと、目に光りが差し込んだときに行う反射性まばたきと、意識的(又は随意的ともいう)に行うまばたき(ウインク、ブリンク)がある。
このように身体の生体信号には、無意識な動きに基づくものと意識的な動きに基づくものがあり、これらを正確に区別して、意識的な動きによる生体信号から、正確に入力内容を判別することが困難であった。例えば、随意的な両眼の瞬きを、眼を潤わせるための自然な(両眼の)瞬きと区別することが困難であり、誤動作のもとであった。
従来、身体部位の動作を検出することにより、手足による入力操作手段に代替できる装置が望まれていたが、前記動作を瞬時に正確に検出判別することが可能であって、かつ装着が簡便な装置が実現できていなかった。
本発明は、これらの問題を解決しようとするものであり、本発明は、ウインク等の身体部位の左右対称性を破る動作またはこれに類する身体動作を、瞬時に正確に検出判別可能な入力装置、入力方法、及び入力システムを提供することを目的とする。
本発明は、前記目的を達成するために、以下の特徴を有するものである。
(1) 身体部位の第1の位置に設置する接触用の第1の電極と、身体部位の第2の位置に設置する接触用の第2の電極と、前記第1の電極及び前記第2の電極の間の生体信号を計測し、前記生体信号の1Hz以上30Hz以下の低周波成分を検出する検出部と、前記検出部からの信号に基づき、前記第1の位置の周辺における身体部位の入力動作の有無及び前記第2の位置の周辺における身体部位の入力動作の有無のうちのいずれか1以上を判別する判別処理部と、を備えることを特徴とする入力装置。
(2) 前記判別処理部からの信号を入力操作信号として送信する送信部をさらに備えることを特徴とする前記(1)記載の入力装置。
(3) 頭部の上下左右の動きを含めた動作を検出するセンサを、前記検出部と一体に備えることを特徴とする、前記(1)又は(2)記載の入力装置。
(4) 身体部位の第1の位置に設置する接触用の第1の電極と、身体部位の第2の位置に設置する接触用の第2の電極との間の、生体信号を計測し、前記生体信号の1Hz以上30Hz以下の低周波成分を検出する検出ステップと、前記検出ステップで得られた信号に基づき、前記第1の位置の周辺における身体部位の入力動作の有無及び前記第2の位置の周辺における身体部位の入力動作の有無のうちのいずれか1以上を判別する判別処理ステップと、を備えることを特徴とする入力方法。
(5) 前記判別処理ステップで得られた信号を入力操作信号として送信する送信ステップと、をさらに備えることを特徴とする前記(4)記載の入力方法。
(6) 頭部を左右に傾ける、もしくは首を左右に振る動きを第1軸、頭部を前後に傾ける動きを第2軸として、これらを合成した頭部動作検出ステップをさらに備え、前記頭部動作検出に基づく入力操作信号を送信することを特徴とする、前記(4)又は(5)記載の入力方法。
(7) 前記第1の位置の周辺における身体部位の入力動作及び前記第2の位置の周辺における身体部位の入力動作が、左右対称な身体部位のうちの左右非対称動作であることを特徴とする、前記(4)乃至(6)のいずれか1項に記載の入力方法。
(8) 前記第1の位置の周辺における身体部位の入力動作が左眼のウインクであり、前記第2の位置の周辺における身体部位の入力動作が右眼のウインクであることを特徴とする前記(4)乃至(7)のいずれか1項に記載の入力方法。
(9) 身体部位の第1の位置に設置する接触用の第1の電極と、身体部位の第2の位置に設置する接触用の第2の電極とを備え、前記第1の電極及び前記第2の電極の間の生体信号を検出し、前記生体信号の1Hz以上30Hz以下の低周波成分を検出する検出手段と、前記検出手段で得られた信号に基づき、前記第1の位置の周辺における身体部位の入力動作の有無及び前記第2の位置の周辺における身体部位の入力動作の有無のうちのいずれか1以上を判別する判別処理手段と、を備えることを特徴とする入力システム。
(10) 前記判別処理手段で得られた信号を入力操作信号として送信する送信手段と、をさらに備えることを特徴とする前記(9)記載の入力システム。
(2) 前記判別処理部からの信号を入力操作信号として送信する送信部をさらに備えることを特徴とする前記(1)記載の入力装置。
(3) 頭部の上下左右の動きを含めた動作を検出するセンサを、前記検出部と一体に備えることを特徴とする、前記(1)又は(2)記載の入力装置。
(4) 身体部位の第1の位置に設置する接触用の第1の電極と、身体部位の第2の位置に設置する接触用の第2の電極との間の、生体信号を計測し、前記生体信号の1Hz以上30Hz以下の低周波成分を検出する検出ステップと、前記検出ステップで得られた信号に基づき、前記第1の位置の周辺における身体部位の入力動作の有無及び前記第2の位置の周辺における身体部位の入力動作の有無のうちのいずれか1以上を判別する判別処理ステップと、を備えることを特徴とする入力方法。
(5) 前記判別処理ステップで得られた信号を入力操作信号として送信する送信ステップと、をさらに備えることを特徴とする前記(4)記載の入力方法。
(6) 頭部を左右に傾ける、もしくは首を左右に振る動きを第1軸、頭部を前後に傾ける動きを第2軸として、これらを合成した頭部動作検出ステップをさらに備え、前記頭部動作検出に基づく入力操作信号を送信することを特徴とする、前記(4)又は(5)記載の入力方法。
(7) 前記第1の位置の周辺における身体部位の入力動作及び前記第2の位置の周辺における身体部位の入力動作が、左右対称な身体部位のうちの左右非対称動作であることを特徴とする、前記(4)乃至(6)のいずれか1項に記載の入力方法。
(8) 前記第1の位置の周辺における身体部位の入力動作が左眼のウインクであり、前記第2の位置の周辺における身体部位の入力動作が右眼のウインクであることを特徴とする前記(4)乃至(7)のいずれか1項に記載の入力方法。
(9) 身体部位の第1の位置に設置する接触用の第1の電極と、身体部位の第2の位置に設置する接触用の第2の電極とを備え、前記第1の電極及び前記第2の電極の間の生体信号を検出し、前記生体信号の1Hz以上30Hz以下の低周波成分を検出する検出手段と、前記検出手段で得られた信号に基づき、前記第1の位置の周辺における身体部位の入力動作の有無及び前記第2の位置の周辺における身体部位の入力動作の有無のうちのいずれか1以上を判別する判別処理手段と、を備えることを特徴とする入力システム。
(10) 前記判別処理手段で得られた信号を入力操作信号として送信する送信手段と、をさらに備えることを特徴とする前記(9)記載の入力システム。
本発明の入力装置、入力方法及び入力システムによれば、手足による入力装置に代替して、ウインク等の左又は右の動作の有無を検出し、該動作の判別を正確かつ高速で実現できる。よって、手足の不自由な操作者、手足を他のことに使用したい操作者、即ち、ハンズフリー入力操作等に有効である。
本発明の入力装置、入力方法及び入力システムによれば、第1の電極と第2の電極の2端子のみ、即ち1チャネルの検出のみで、例えば、右ウインクの有無と左ウインクの有無という、2種類のボタンスイッチに対応するような複数スイッチ操作が可能となった。
本発明の入力装置、入力方法及び入力システムによれば、頭部を(頭頂部を先端方向とする)ジョイスティックと見立てて前後左右に傾ける動作を検出する重力加速度等のセンサをさらに付加することにより、従来のマウスのポインティング移動操作に相当する入力操作が追加できる。よって、従来のマウスのクリック機能とポインティング移動機能とを備える入力操作ができる。また、頭部を左右に傾ける代わりに、首を左右に振る動作を地磁気センサかジャイロセンサによって検出し、頭部の前後傾斜と組み合わせることによってもマウスのポインティング移動機能を備える入力操作を追加できる。この場合も頭部を(後頭部を先端方向とする)ジョイスティックと見立てることができる。なお、ジョイスティックを同様の方向に見立てる場合でも、パソコン連動式レーザーポインターを頭部の適当な位置に設置することで、そのレーザーが指し示す画面位置を、左右の首振りと頭部の前後傾斜によって変化させることもできる。
本発明の入力装置、入力方法及び入力システムによれば、マウスの移動と左右ボタン押しの代わりにパソコン操作を行ったり、移動体(電動車いす、ドローン、お掃除ロボット、自動運転カーなど)の移動制御を行ったりすることができる。
本発明の実施形態について以下説明する。
本発明は、ウインクを反映する眼電位に代表される、身体部位の対称的な部位の非対称生体信号等の生体信号の検出及び判別の正確化と高速化を実現したものである。本発明は、手足等の身体の一部が不自由な障がい者やハンズフリーのインターフェースが必要な健常者全てが利用することができる。
本発明では、ウインク等の左右非対称の1対(左オンオフ、右オンオフ)の身体動作を反映した生体電位に対する差分電位の時系列データによって、2種のスイッチ(マウスボタンの左右等)を「押す」ことに対応できるインターフェース技術を実現した。また、左右の対称部位の非対称動作のみでなく、対称部位でない場合でも本発明装置により身体部位の動作により生じる極性の異なる電位差信号を検出できる身体部位の場合は、本発明の装置が適用できる。
本発明では、電極を設置する第1や第2の位置の周辺における、身体部位の入力動作とは、片眼の上の眉毛の上を「第1、第2の位置」とすると、「第1や第2の位置の周辺における身体部位」の「入力動作」は、「片眼」の「ウインク」に対応する。また、顔面の頬を「第1、第2の位置」とすると、「第1や第2の位置の周辺における身体部位」の「入力動作」は、「口角片端」の「つり上げ」に対応する。また、顔面の眼や眉の上の左右端を「第1、第2の位置」とすると、「第1や第2の位置の周辺における身体部位」の「入力動作」は、「眼や眉の片端」の「つり上げ」に対応する。周辺とは、ほぼ0.5mm以上4cm以下程度をいう。
本実施形態の判別処理部では、検出部からの信号に基づき、第1の位置の周辺における身体部位の入力動作の有無及び第2の位置の周辺における身体部位の入力動作の有無のうちのいずれか1以上を判別する。例えば、判別処理部では、右眼のウインクの有無、左眼のウインクの有無を判別処理する。
(第1の実施形態)
本実施形態は、眼電位計測による入力装置及び入力方法等に関する。本実施形態について、図1、図2、図3を参照して以下具体的に説明する。図1は、左右のそれぞれの眼の上(図中では眉毛の上)に1対の電極を配置した図である。本実施形態の入力装置は、少なくとも、一方の眼の上に配置した第1の電極と、他方の眼の上に配置した第2の電極と、第1の電極と第2の電極の電位差を計測する計測器と計測結果を送信する送信部とを含むセンサ部と、センサ部と各電極間を接続する電線とからなる。センサ部は、電位差の計測結果の信号について、所定の低周波成分のみを検出する検出部と、検出部からの信号に基づき、左右の眼の動作、例えばウインクの有無を判別する判別部とを備えることが好ましい。なお、低周波成分の検出部と判別部は、センサ部自体に設けない場合は、送信先のパソコンや情報機器にその機能を持たせればよい。送信部は、有線、無線等の手段を用いることができる。
本実施形態は、眼電位計測による入力装置及び入力方法等に関する。本実施形態について、図1、図2、図3を参照して以下具体的に説明する。図1は、左右のそれぞれの眼の上(図中では眉毛の上)に1対の電極を配置した図である。本実施形態の入力装置は、少なくとも、一方の眼の上に配置した第1の電極と、他方の眼の上に配置した第2の電極と、第1の電極と第2の電極の電位差を計測する計測器と計測結果を送信する送信部とを含むセンサ部と、センサ部と各電極間を接続する電線とからなる。センサ部は、電位差の計測結果の信号について、所定の低周波成分のみを検出する検出部と、検出部からの信号に基づき、左右の眼の動作、例えばウインクの有無を判別する判別部とを備えることが好ましい。なお、低周波成分の検出部と判別部は、センサ部自体に設けない場合は、送信先のパソコンや情報機器にその機能を持たせればよい。送信部は、有線、無線等の手段を用いることができる。
本実施形態では、左右の眼の上のみに電極を設置してその電位差を計測するので、左右の眼の下に電極を設置する必要がない。片眼について一個のみ電極を配置する。左右の眼の下のみに一対の電極を配置してもよいが、装着感が悪いと考えられるので、眉毛の上が好ましい。本実施形態では、ウインクによる入力操作を可能とする。装置の形状を最小化するには、例えば、図示のように、額の中央に小型のセンサ部、即ち無線眼電計を設置することが好ましい。これにより、視野を遮るようなケーブルや構造物が不要となる。
図2は、本実施形態の、左右のウインクとマウスクリック機能を対応させて説明する図である。図2(a)のように、左眼をウインクすると、マウスクリックの左スイッチを押す操作に対応する入力信号を送信し、(b)のように、右眼をウインクすると、マウスクリックの右スイッチを押す操作に対応する入力信号を送信する。この対応により、左右ウインクにより2つのスイッチ操作に対応させることができる。本実施形態の入力装置は、ウインク動作による入力操作であるので、ウインク動作検知入力装置、とよぶことができる。
図3は、左右のウインクによって左右のマウスクリック機能を代替させる基本原理を説明する図である。図3(a)(b)(c)(d)の一番左側の列から「右眼電位」「左眼電位」「左右差分」「類似機能」の順で図示した。「右眼電位」「左眼電位」のそれぞれの下に眼の開閉状態を模式的に図示した。「右眼電位」と「左眼電位」は、従来技術の図7のように、片眼ごとに計測するという前提での各眼電位である。「右眼電位」は、図7のようにして計測される右眼の眼電位の計測結果を模式的に示し、「左眼電位」は、同様に計測される左眼の眼電位の計測結果を示したものである。
「左右差分」は、本実施形態における図1の眼電位計測の結果を、説明のために模式的に示したものである。実際は、計測結果の信号には、種々のノイズや高周波成分が含まれているので、本実施形態のように、低周波成分検出ステップと判別処理ステップにより、初めて判別できる。本実施形態における眼電位計測結果が、従来技術の片眼ごとの眼電位計測の「左眼電位」と「右眼電位」の差分をとった結果と共通する傾向にあることが分かる。
「類似機能」は対応するマウスクリック機能を模式的に図示したものである。
(a)は、両眼とも開眼状態を維持している場合であり、片眼ごとの眼電図に変化は無く、「左右差分」の電位にも変化は無い。「類似機能」は、左右のマウスクリック機能がオフであることに対応する。
(b)は、左眼でウインクした場合であり、左眼の瞬きに関しては強い反応が観察されるが、右眼の瞬きに関しては弱い反応に限定される。本来、右眼は開眼のままが理想であるが、別の眼のウインクにつられてある程度、右眼も閉じそうになったのを反映してわずかに上転(黒目が上に移動)するためである。そのため、左眼の電位から右眼の電位を引くと陽性の電位変化が生じる。「類似機能」は、マウスクリック機能の左がオンであることに対応する。
(c)は、右眼でウインクした場合であり、(b)の逆の現象である。左眼の眼電位から右眼の眼電位を引くと、陰性の電位変化が生じる。「類似機能」は、マウスクリック機能の右がオンであることに対応する。
(d)は、眼を潤すときのような両眼ともの瞬きが行われた場合である。この場合、左右の眼のそれぞれで、瞬時の上転を反映した眼電位が生じるが、同じタイミングで同じ電位が出るので、差分としては打ち消しあって信号が出ないことになる。「類似機能」は、左右のマウスクリック機能がオフであることに対応する。
(a)(b)(c)(d)のように、左右の差分の電位が出るのは、左右のウインクのみであり、かつ、その電位の極性が異なることがわかる。このことから、左右どちらのウインクをするかによって、2種類のスイッチ(例えばマウスの左クリックと右クリック)の機能に対応させることができる。その対応関係により、2種類のスイッチを制御することが可能となる。
次に、電位差の計測結果の信号について、所定の低周波成分のみを検出する検出部について述べる。第1の電極と第2の電極との電位差信号には、眼電位信号の周波数の高い成分、その他種々のノイズも含まれていて、生体から取り出した信号から、直接ウインクの有無を判別することは不可能である。そこで、本実施形態では、一対の電極から取り出した信号を、フィルタ−等により、所定の低周波成分のみを取り出す。1Hz以上30Hz以下の低周波成分を検出することが好ましい。1Hz以上20Hz以下の低周波成分の検出でもよい。
次に、眼の動作、例えば左右のウインクの有無を判別する判別部の信号処理について述べる。
最も簡単なアルゴリズムは、正・負それぞれの電位に対して、一定の閾値を設け、閾値を超えた時に、該当する一方のスイッチをオンと判別する方法である。例えば、正の閾値を超えるような正の電位が出現した時には第1のスイッチを、負の閾値を超えるような負の電位が出現した時には第2のスイッチをオンにする。
また、さらに、正負それぞれの閾値を超えた正もしくは負の、ピーク時間を中心にした前後1秒以内の波形パターンに対して、パターン識別を行う判別方法でもよい。この判別方法によって、周辺の電気機器のノイズや瞬き以外の生体電位によるノイズに対するノイズ耐性の強い、スイッチ出力が可能となる。より具体的には、予めキャリブレーションの時間を設けて、十分に左右それぞれのウインクと関連した電位データを取得しておいたうえで、その時の左右それぞれのウインクの波形パターンを鋳型(いわゆる学習データ)として記憶させておくことが好ましい。学習データの波形パターンに基づき、新規な計測結果の電位データの相関係数を求めたり、線形判別分析の判別得点を参照したりすることにより、マウスの左右のクリックのように、2種類のスイッチのどちらを入れるかを決定することが可能となる。
本実施形態のように、片眼だけの瞬き(ウインク)を信号として用いることができれば、両目の瞬き(ブリンク)に依存した従来技術のような誤動作もなく、かつ左右どちらのウインクを行うかによって2種類のスイッチを作動させることが可能となる。
また、パターン識別方法により判別処理を行う場合には、ウインクを2回連続で行ったり、ゆっくりとしたウインクを1回行ったりすることにより、同じ左眼、右眼でも、異なる電位パターンを生成することができるので、左右それぞれ、さらに2種類ずつのスイッチ(計6種類)を使い分けることが可能となる。これらはマウスの左右ボタンのダブルクリックや長押しに相当する。
(第2の実施形態)
本実施形態は、眼電位計測以外の顔面の意識的動作の計測による入力装置及び入力方法等に関する。第1の実施形態では、ウインクを例に左右非対称の1対の身体動作を反映した生体電位を用いた複数スイッチ技術に関して述べたが、本発明で用いる1対のスイッチを設置する場所次第では、瞬き以外の意識的動作を検出し、同様の判別処理を行うことにより、入力装置として機能させることができる。例を、図4を参照して以下具体的に説明する。
本実施形態は、眼電位計測以外の顔面の意識的動作の計測による入力装置及び入力方法等に関する。第1の実施形態では、ウインクを例に左右非対称の1対の身体動作を反映した生体電位を用いた複数スイッチ技術に関して述べたが、本発明で用いる1対のスイッチを設置する場所次第では、瞬き以外の意識的動作を検出し、同様の判別処理を行うことにより、入力装置として機能させることができる。例を、図4を参照して以下具体的に説明する。
(a)(b)は、顔面表情筋の動きを検出し判別する例である。(a)のように、笑顔のような口の動きを左右どちらかの片側だけ行う等することにより、これを一対の電極を用いて、筋活動の低周波成分の電位パターンの左右差分を信号として検出することができる。また、(b)のように、眼や眉を左右どちらかだけ吊り上げたりするような動きを左右どちらかの片側だけ行う等することにより、これを一対の電極を用いて、筋活動の電位パターンの左右差分を信号として検出することができる。(a)(b)のように、顔面動作を反映する筋活動の電位パターンの左右差分を信号として検出し、判別処理により、ウインク同様、複数のスイッチ操作を行うことができる。
これらの顔面動作以外にも舌を左右どちらかに寄せる動きを反映した筋電位を左右のあごの下(首部分)に設置する1対の電極から筋活動(特に低周波の変動)の電位パターンの左右差分を信号として検出することができる。
(第3の実施形態)
第1や第2の実施形態では、左右対称部位の非対称動作による入力方法について説明したが、本実施形態は、左右対称部位以外の身体部位に、本発明の入力装置や入力方法を適用する場合に関する。例えば手関節を背屈(手の甲側に反らせる動き)あるいは掌屈(手の平側に曲げる動き)させる動作を反映した筋活動の低周波成分の電位パターンを、第1の電極と第2の電極をそれぞれ浅指屈筋と浅指屈筋の皮膚表面に設置して検出することによっても、同様のスイッチ操作が可能である。
第1や第2の実施形態では、左右対称部位の非対称動作による入力方法について説明したが、本実施形態は、左右対称部位以外の身体部位に、本発明の入力装置や入力方法を適用する場合に関する。例えば手関節を背屈(手の甲側に反らせる動き)あるいは掌屈(手の平側に曲げる動き)させる動作を反映した筋活動の低周波成分の電位パターンを、第1の電極と第2の電極をそれぞれ浅指屈筋と浅指屈筋の皮膚表面に設置して検出することによっても、同様のスイッチ操作が可能である。
(第4の実施形態)
本実施形態は、第1乃至第3の実施形態で説明した入力方法のいずれか1つ以上と頭部を巨大なジョイスティックと想定して左右や前後に傾けたり、左右に首を振ったりする動作と組み合わせた入力方法に関する。本実施形態では、頭部を左右に傾ける、もしくは首を左右に振る動きを第1軸(X軸)、頭部を前後に傾ける動きを第2軸(Y軸)として、これらを合成した頭部動作検出ステップをさらに備える。
本実施形態は、第1乃至第3の実施形態で説明した入力方法のいずれか1つ以上と頭部を巨大なジョイスティックと想定して左右や前後に傾けたり、左右に首を振ったりする動作と組み合わせた入力方法に関する。本実施形態では、頭部を左右に傾ける、もしくは首を左右に振る動きを第1軸(X軸)、頭部を前後に傾ける動きを第2軸(Y軸)として、これらを合成した頭部動作検出ステップをさらに備える。
図5は、第1の実施形態のセンサ部(図1参照)に、さらに、頭部を前後や左右に傾ける動作を検出する重力加速度センサ等を組み込んだ例を示す模式図である。(a)は、頭部を左右へ傾ける動きを検出する場合を示す。頭部を左右に意識的に傾けることにより、センサ部は、この動きを重力加速度センサ等により検出して、マウスを左右に移動させる操作に相当する信号を送信する。(b)は、頭部の前後への傾ける動きを検出する場合を示す。頭部を前向きに又は後向きに意識的に傾けることにより、センサ部は、この動きを加速度センサ等により検出して、マウスを上下に移動させる操作に相当する信号を送信する。ユーザーは、ウインク等による複数種類のスイッチ操作をしながら、頭部の左右前後の動きによる入力操作をすることができる。
図6は、第1の実施形態のセンサ部(図1参照)に、さらに、頭部のジョイスティック的動作を検出する加速度センサ等を組み込んだ例を示す模式図である。ユーザーは、ウインク等による複数種類のスイッチ操作をしながら、頭部のジョイスティック的動きによる入力操作をすることができる。
本実施形態では、非対称な生体信号を検出して正確に判別する機能と、さらに頭部のジョイスティック的動作を検出するセンサ(2〜3軸の重力加速度センサによって傾斜の測定が可能)によって生成するポインティング信号とを組み合わせることによって、パソコンのマウスのような機能(カーソル移動とクリック動作の組み合わせ)が可能となる。図5や図6のように、頭を前に傾ける動きは、ジョイスティックを前に倒したり、マウスを前に動かしたりする位置決め(ポインティング)動作とユーザーにとって類似動作であるため、パソコン画面上のカーソル移動をマウスやジョイスティックによって行ったうえで、特定のボタン(左クリックなど)を押すという操作が可能である。
なお、左右の頭部の傾きは、左右方向のカーソル移動に直観的に結びつく。しかし、画面が比較的上を向いていて、それをユーザーが見下ろす場合は、頭を前に傾ける動作がカーソルを前(画面では上)に動かす動作であることに直観的に一致するのに対し、画面が垂直に置かれていて、ユーザーが前方を見る場合には、頭部を後ろに傾ける動作の方がカーソルを画面で上に移動させるためには直観的に一致する。よって、画面角度との関係で前後の頭部傾斜の信号の意味(正負)を適宜変換することが望ましい。
また、どのような画面角度の場合でも左右方向のカーソル移動を、左右の頭部の傾きではなく、左右の頭部の首振りによって行うことも可能である。そのような首振りの検出には地磁気センサやジャイロセンサを利用することができる。頭部の前後方向の傾きも合わせ、パソコン連動式のレーザーポインターを頭部に設置して画面上の位置決めを行うことで、ウインク等の検出技術の効果を増強することもできる。
なお、上記実施の形態等で示した例は、発明を理解しやすくするために記載したものであり、この形態に限定されるものではない。
本発明の入力装置、入力方法及びそのプログラムは、手足が不自由な操作者のために、又は健常者のために、手足以外を利用して操作できる技術であるので、産業上有用である。
Claims (10)
- 身体部位の第1の位置に設置する接触用の第1の電極と、
身体部位の第2の位置に設置する接触用の第2の電極と、
前記第1の電極及び前記第2の電極の間の生体信号を計測し、前記生体信号の1Hz以上30Hz以下の低周波成分を検出する検出部と、
前記検出部からの信号に基づき、前記第1の位置の周辺における身体部位の入力動作の有無及び前記第2の位置の周辺における身体部位の入力動作の有無のうちのいずれか1以上を判別する判別処理部と、
を備えることを特徴とする入力装置。 - 前記判別処理部からの信号を入力操作信号として送信する送信部をさらに備えることを特徴とする請求項1記載の入力装置。
- 頭部の上下左右の動きを含めた動作を検出するセンサを、前記検出部と一体に備えることを特徴とする、請求項1又は2記載の入力装置。
- 身体部位の第1の位置に設置する接触用の第1の電極と、身体部位の第2の位置に設置する接触用の第2の電極との間の、生体信号を計測し、前記生体信号の1Hz以上30Hz以下の低周波成分を検出する検出ステップと、
前記検出ステップで得られた信号に基づき、前記第1の位置の周辺における身体部位の入力動作の有無及び前記第2の位置の周辺における身体部位の入力動作の有無のうちのいずれか1以上を判別する判別処理ステップと、
を備えることを特徴とする入力方法。 - 前記判別処理ステップで得られた信号を入力操作信号として送信する送信ステップと、をさらに備えることを特徴とする請求項4記載の入力方法。
- 頭部を左右に傾ける、もしくは首を左右に振る動きを第1軸、頭部を前後に傾ける動きを第2軸として、これらを合成した頭部動作検出ステップをさらに備え、前記頭部動作検出に基づく入力操作信号を送信することを特徴とする、請求項4又は5記載の入力方法。
- 前記第1の位置の周辺における身体部位の入力動作及び前記第2の位置の周辺における身体部位の入力動作が、左右対称な身体部位のうちの左右非対称動作であることを特徴とする、請求項4乃至6のいずれか1項に記載の入力方法。
- 前記第1の位置の周辺における身体部位の入力動作が左眼のウインクであり、前記第2の位置の周辺における身体部位の入力動作が右眼のウインクであることを特徴とする請求項4乃至7のいずれか1項に記載の入力方法。
- 身体部位の第1の位置に設置する接触用の第1の電極と、身体部位の第2の位置に設置する接触用の第2の電極とを備え、
前記第1の電極及び前記第2の電極の間の生体信号を検出し、前記生体信号の1Hz以上30Hz以下の低周波成分を検出する検出手段と、
前記検出手段で得られた信号に基づき、前記第1の位置の周辺における身体部位の入力動作の有無及び前記第2の位置の周辺における身体部位の入力動作の有無のうちのいずれか1以上を判別する判別処理手段と、
を備えることを特徴とする入力システム。 - 前記判別処理手段で得られた信号を入力操作信号として送信する送信手段と、
をさらに備えることを特徴とする請求項9記載の入力システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018136723 | 2018-07-20 | ||
JP2018136723 | 2018-07-20 | ||
PCT/JP2019/027675 WO2020017448A1 (ja) | 2018-07-20 | 2019-07-12 | 生体電位を用いる入力装置 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2020017448A1 true JPWO2020017448A1 (ja) | 2021-06-24 |
Family
ID=69164676
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020531287A Pending JPWO2020017448A1 (ja) | 2018-07-20 | 2019-07-12 | 入力装置、入力方法及び入力システム |
Country Status (3)
Country | Link |
---|---|
US (1) | US11493994B2 (ja) |
JP (1) | JPWO2020017448A1 (ja) |
WO (1) | WO2020017448A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07241283A (ja) * | 1994-03-04 | 1995-09-19 | Omron Corp | 覚醒度判定方法及び覚醒度判定装置 |
JP2010231290A (ja) * | 2009-03-26 | 2010-10-14 | National Institute Of Advanced Industrial Science & Technology | 頭部運動による入力装置及び方法 |
JP2012055587A (ja) * | 2010-09-10 | 2012-03-22 | Konami Digital Entertainment Co Ltd | 生体電気信号検出装置、ゲーム装置、ゲーム装置の制御方法、及びプログラム |
JP2017157139A (ja) * | 2016-03-04 | 2017-09-07 | 株式会社東芝 | 眼球運動検出装置、眼球運動検出方法、およびアイウエア |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4561448A (en) * | 1984-02-02 | 1985-12-31 | Colen-Kery, Inc. | Apparatus for sensing and recording biopotential electrical signals |
US8405610B1 (en) * | 2008-10-24 | 2013-03-26 | Sprint Communications Company L.P. | Electrooculographical control for a mobile device |
JP5328700B2 (ja) | 2010-03-10 | 2013-10-30 | 株式会社コナミデジタルエンタテインメント | ゲーム装置、ゲーム装置の制御方法、及びプログラム |
JP5278576B2 (ja) | 2012-04-27 | 2013-09-04 | カシオ計算機株式会社 | ジェスチャー認識装置、ジェスチャー認識方法及びそのプログラム |
JP5888205B2 (ja) * | 2012-11-02 | 2016-03-16 | ソニー株式会社 | 画像表示装置並びに情報入力装置 |
US9370302B2 (en) * | 2014-07-08 | 2016-06-21 | Wesley W. O. Krueger | System and method for the measurement of vestibulo-ocular reflex to improve human performance in an occupational environment |
US9974344B2 (en) * | 2013-10-25 | 2018-05-22 | GraceFall, Inc. | Injury mitigation system and method using adaptive fall and collision detection |
JP2015213734A (ja) | 2014-04-21 | 2015-12-03 | 株式会社ジェイアイエヌ | プログラム、情報処理装置、及びアイウエア |
CN104182041B (zh) | 2014-08-08 | 2017-07-14 | 北京智谷睿拓技术服务有限公司 | 眨眼类型确定方法及眨眼类型确定装置 |
US10121063B2 (en) * | 2015-01-12 | 2018-11-06 | BMT Business Meets Technology Holding AG | Wink gesture based control system |
WO2016191687A1 (en) * | 2015-05-27 | 2016-12-01 | Quantum Applied Science And Research, Inc. | Underwater measurement of bioelectric signals |
-
2019
- 2019-07-12 WO PCT/JP2019/027675 patent/WO2020017448A1/ja active Application Filing
- 2019-07-12 JP JP2020531287A patent/JPWO2020017448A1/ja active Pending
- 2019-07-12 US US17/258,925 patent/US11493994B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07241283A (ja) * | 1994-03-04 | 1995-09-19 | Omron Corp | 覚醒度判定方法及び覚醒度判定装置 |
JP2010231290A (ja) * | 2009-03-26 | 2010-10-14 | National Institute Of Advanced Industrial Science & Technology | 頭部運動による入力装置及び方法 |
JP2012055587A (ja) * | 2010-09-10 | 2012-03-22 | Konami Digital Entertainment Co Ltd | 生体電気信号検出装置、ゲーム装置、ゲーム装置の制御方法、及びプログラム |
JP2017157139A (ja) * | 2016-03-04 | 2017-09-07 | 株式会社東芝 | 眼球運動検出装置、眼球運動検出方法、およびアイウエア |
Also Published As
Publication number | Publication date |
---|---|
US11493994B2 (en) | 2022-11-08 |
WO2020017448A1 (ja) | 2020-01-23 |
US20210325966A1 (en) | 2021-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhang et al. | An EEG/EMG/EOG-based multimodal human-machine interface to real-time control of a soft robot hand | |
Lee et al. | Real-time “eye-writing” recognition using electrooculogram | |
Wu et al. | Controlling a human–computer interface system with a novel classification method that uses electrooculography signals | |
Barea et al. | Wheelchair guidance strategies using EOG | |
Sucar et al. | Gesture therapy: A vision-based system for upper extremity stroke rehabilitation | |
EP0468340A2 (en) | Eye directed controller | |
Ktena et al. | A virtual reality platform for safe evaluation and training of natural gaze-based wheelchair driving | |
CN111542800A (zh) | 具有对于高速、精确和直观的用户交互的适配的大脑-计算机接口 | |
US20020077534A1 (en) | Method and system for initiating activity based on sensed electrophysiological data | |
Soltani et al. | A practical efficient human computer interface based on saccadic eye movements for people with disabilities | |
CA2133416A1 (en) | Apparatus and method for eye tracking interface | |
CN110727353A (zh) | 基于二维意图所定义的控制部件控制方法和装置 | |
Law et al. | A cap as interface for wheelchair control | |
López et al. | Low-cost system based on electro-oculography for communication of disabled people | |
Rusydi et al. | Controlling 3-D movement of robot manipulator using electrooculography | |
Rodrigues et al. | Evaluation of a head-tracking pointing device for users with motor disabilities | |
Groll et al. | Cursor click modality in an accelerometer-based computer access device | |
Sancheti et al. | Hands-free cursor control using intuitive head movements and cheek muscle twitches | |
JPWO2020017448A1 (ja) | 入力装置、入力方法及び入力システム | |
Anchan et al. | Optimal bipolar lead placement in electrooculography (eog): A comparative study with an emphasis on prolonged blinks | |
Schäfer et al. | Feasibility analysis of sensor modalities to control a robot with eye and head movements for assistive tasks | |
Chin et al. | Enhanced hybrid electromyogram/eye gaze tracking cursor control system for hands-free computer interaction | |
Poon et al. | A novel user-specific wearable controller for surgical robots | |
Tuisku et al. | Gazing and frowning to computers can be enjoyable | |
Peter et al. | Electrooculography as a tool for managing application |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20201215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211124 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220118 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220420 |