JP6426589B2 - 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム - Google Patents

眼電位検出装置、眼電位検出方法、アイウエア及びフレーム Download PDF

Info

Publication number
JP6426589B2
JP6426589B2 JP2015232083A JP2015232083A JP6426589B2 JP 6426589 B2 JP6426589 B2 JP 6426589B2 JP 2015232083 A JP2015232083 A JP 2015232083A JP 2015232083 A JP2015232083 A JP 2015232083A JP 6426589 B2 JP6426589 B2 JP 6426589B2
Authority
JP
Japan
Prior art keywords
eye
electrode
channel signal
eye side
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015232083A
Other languages
English (en)
Other versions
JP2017093984A (ja
Inventor
広昭 古牧
広昭 古牧
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toshiba Corp
Original Assignee
Toshiba Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toshiba Corp filed Critical Toshiba Corp
Priority to JP2015232083A priority Critical patent/JP6426589B2/ja
Priority to US15/253,077 priority patent/US10602953B2/en
Publication of JP2017093984A publication Critical patent/JP2017093984A/ja
Application granted granted Critical
Publication of JP6426589B2 publication Critical patent/JP6426589B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/398Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02Operational features
    • A61B2560/0223Operational features of calibration, e.g. protocols for calibrating sensors
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2562/00Details of sensors; Constructional details of sensor housings or probes; Accessories for sensors
    • A61B2562/02Details of sensors specially adapted for in-vivo measurements
    • A61B2562/0219Inertial sensors, e.g. accelerometers, gyroscopes, tilt switches
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • A61B5/1103Detecting eye twinkling
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/68Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802Sensor mounted on worn items
    • A61B5/6803Head-worn items, e.g. helmets, masks, headphones or goggles

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Biophysics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Veterinary Medicine (AREA)
  • Ophthalmology & Optometry (AREA)
  • Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Eye Examination Apparatus (AREA)
  • Acoustics & Sound (AREA)
  • Otolaryngology (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)

Description

この発明の実施形態は、帯電した眼球の動きに対応して変化する眼電位を検出する装置および方法、さらには、アイウエア及びフレームに関する。
人の眼球運動による眼電に基づいてその人の視野領域を抽出する公知例1がある(特許文献1参照)。この公知例1では、眼電検出にEOG(Electro-Oculography)電極を用いている(段落0022)。公知例1に係る視野領域抽出装置は、使用者の眼球運動による眼電位から使用者の視線位置を検出する手段と、検出された視線位置を基準にして、予め設定された範囲からなる使用者の視野領域を使用者が視する映像から抽出する手段を備えている。この公知例1は、眼電を視線位置の検出に利用しているが、種々な眼動(上下左右方向の視線移動、左右両目の瞬目(瞬き)や目瞑り、左目または右目のウインクなど)を区別して検出し、検出した種々な眼動をコンピュータ情報入力に利用することはしていない。
他方、種々な眼動を区別して検出できる公知例2がある(特許文献2参照)。この公知例2に係るアイウエア(メガネ型ウエアラブル端末の一形態)では、メガネのノーズパッド部分とアイフレーム間のブリッジ(使用者の眉間の前にくる部分)にEOG電極を設けて、使用者の眼動にともなう眼電位の変化を検出している。使用者の眼動の種類(上下左右動や瞬目(瞬き)など)によって眼電位の変化の仕方が変わる。このことを利用して、アイウエアを装着した使用者は、眼動の種類に応じた情報をコンピュータ等に入力できる(段落0018)。
特開2009−288529号公報 特開2013−244370号公報
ノーズパッドに電極を設けた公知例2では、検出される眼電位が小さく残留ノイズの影響を受けやすい。そのため、眼電位に基づく眼動あるいは視線方向の検出を高精度で行うことが難しい。大きな眼電位を検出できれば、ノイズフロアから検出信号ピークレベルまでの振幅が大きくなる。すると、その大きな振幅の中に複数の閾値を設定することもでき、その閾値数分、検出情報量を増やすことができる。換言すると、ノイズに影響され難くなる分、種々な眼動の高精度検出に対応し易くなる。
公知例1の図4に示されるような電極A〜Cの配置なら、公知例2よりも大きな眼電位を検出できると思われる。しかし、公知例1と公知例2ではEOGの電極配置構成が全く異なるため、公知例1の電極構造を公知例2のノーズパッドに適用することはできない。従い、公知例1のEOG電極配置(検出眼電位大)を公知例2のアイフレーム(種々な眼動検出に対応可能)に適用して、種々な眼動の検出に対応し易くしようとすることは、想到し難い。
この発明の実施形態により解決しようとする課題の1つは、なるべく大きな眼電位を検出できるようにして、種々な眼動の高精度検出に対応し易くすることである。
一実施の形態に係る眼電位検出装置において、左眼側第1電極と右眼側第1電極が、左右両眼の中心を結ぶ線よりも上側に配置され、前記左右両眼の中心を結ぶ線の中点から垂直方向に引いた線に対して線対称に配置され、左眼側第2電極と右眼側第2電極が、前記左右両眼の中心を結ぶ線よりも下側に配置され、前記左右両眼の中心を結ぶ線の中点から垂直方向に引いた線に対して線対称に配置され、前記左眼側第2電極は、左眼中心位置を通る垂線を左右に跨ぐと眼電位の検出極性が変る変曲域を含む左所定範囲を避けて配置され、前記右眼側第2電極は、右眼中心位置を通る垂線を左右に跨ぐと眼電位の検出極性が変る変曲域を含む右所定範囲を避けて配置され、前記左眼側第1電極は、前記左眼中心位置を通る垂線と前記右眼中心位置を通る垂線とで挟まれる領域の内側で、前記左所定範囲を避けて配置され、前記右眼側第1電極は、前記左眼中心位置を通る垂線と前記右眼中心位置を通る垂線とで挟まれる領域の内側で、前記右所定範囲を避けて配置され、前記左眼側第1電極と前記左眼側第2電極は左眼球の中心位置から点対称に配置され、前記右眼側第1電極と前記右眼側第2電極は右眼球の中心位置から点対称に配置され、前記左眼側第2電極と前記右眼側第2電極の間隔は前記左右両眼の中心間隔よりも所定値以上広くなるように配置され、前記左眼側第2電極と前記右眼側第2電極から左右方向の眼動に対応した第1チャネル信号を検出し、前記右眼側第1電極と前記右眼側第2電極から第2チャネル信号を検出し、前記左眼側第1電極と前記左眼側第2電極から第3チャネル信号を検出し、左右方向の眼動に対して前記第2チャネル信号と前記第3チャネル信号が逆相となる期間において、前記第1チャネル信号により前記左右方向の眼動を検出する。
第1の実施の形態に係る眼電位検出装置の電極配置例を説明する図。 第1の実施の形態(ゴーグル型)に係る眼電位検出装置の電極実装例を説明する図。 第2の実施の形態(粘着パッド型)に係る眼電位検出装置の電極配置例を説明する図。 第3の実施の形態(ゴーグル型)に係る眼電位検出装置の電極実装例(その1)を説明する図。 第3の実施の形態(ゴーグル型)に係る眼電位検出装置の電極実装例(その2)を説明する図。 第4の実施の形態(ゴーグル型)に係る眼電位検出装置の電極実装例を説明する図。 第5の実施の形態(メガネ型)に係る眼電位検出装置の電極配置例を説明する図。 ゴーグル型のアイウエアにおいて、適切な位置に眼電位検出電極が配置された場合の寸法例を示す図(ユーザの顔面に接する側からみた図)。 ゴーグル型のアイウエアにおいて、Ch0の信号検出に関して不適切な位置に眼電位検出電極が配置された場合の寸法例を示す図(ユーザの顔面に接する側からみた図)。 ゴーグル型のアイウエアにおいて、最適ではないが使用可能な位置に眼電位検出電極が配置された場合の寸法例を示す図(ユーザの顔面に接する側からみた図)。 種々な眼動(瞬目(瞬き)、目瞑り、左右上下の視線移動)に対応して得られる眼電図(EOG)の波形例を示す図。 適切な位置に眼電位検出電極が配置されたゴーグル型アイウエアにおいて、種々な眼動(瞬目(瞬き)、目瞑り、左右上下の視線移動)に対応して得られる眼電図の波形例を説明する図。 Ch0の信号検出に関して不適切な位置に眼電位検出電極が配置されたゴーグル型アイウエアにおいて、種々な眼動(瞬目(瞬き)、目瞑り、左右上下の視線移動)に対応して得られる眼電図の波形例を説明する図。 最適ではないが使用可能な位置に眼電位検出電極が配置されたゴーグル型アイウエアにおいて、種々な眼動(瞬目(瞬き)、目瞑り、左右上下の視線移動)に対応して得られる眼電図の波形例を説明する図。 視線が正面を向いているときに、両目の瞬目(瞬き)を5回反復した直後に左目のウインク(左側片目の瞬目(瞬き))を5回反復した眼動に対応して得られる眼電図の波形例を説明する図。 視線が正面を向いているときに、両目の瞬目(瞬き)を5回反復した直後に右目のウインク(右側片目の瞬目(瞬き))を5回反復した眼動に対応して得られる眼電図の波形例を説明する図。 開示された各実施の形態において、ユーザ毎に行えるキャリブレーションの例を説明するフローチャート。 適切な位置(図1等)に眼電位検出電極が配置されたメガネ型アイウエアを例示する図。 種々な実施の形態に取り付け可能な情報処理部11と、その周辺デバイスとの関係を説明する図。 ユーザの顔面と接触する面にクッションを備え、このクッション上の適切な位置(図1等)に眼電位検出電極が配置された場合のゴーグル型アイウエア(左右両眼のアイフレームが連続したタイプ)の一例を裏面側から見た図。 ユーザの顔面と接触する面上の適切な位置(図1等)に眼電位検出電極が配置された場合のゴーグル型アイウエア(左右両眼のアイカップが分離したタイプ)の一例を正面側から見た図。
以下、図面を参照しながら種々な実施形態を説明する。
<基礎情報>
成人の眼球の直径は約25mm。生後は17mm程度で、成長に伴い大きくなる。
成人男性の瞳孔間距離は約65mm。(一般市販のステレオカメラは65mmの間隔で作られている物が多い。)
成人女性の瞳孔間距離は男性に比べて数mm短い。
眼電位は数十mV。
眼球は角膜側にプラス、網膜側にマイナスの電位を持つ。これを皮膚の表面で測定すると数百μVの電位差として現れる。
図1は、第1の実施の形態に係る眼電位検出装置の電極配置例(理想的な例)を説明する図である。この図は人の顔を正面から見ている図なので、右側に図示された目が左眼を示し、左側に図示された目が右目を示している。
ここでは、大人の眼球の平均的なサイズを、左眼右眼とも、直径約25mmとしている。また、大人の左右両眼間の平均的な中心間隔を、約65mmとしている。人の眼球は、左右両眼とも、角膜側が「+」に帯電し、網膜側が「−」に帯電している。これらの帯電により生じている眼球周りの電場(あるいは電気力線の状態)が、種々な眼動(上下左右方向の視線移動、左右両目の瞬目(瞬き)や目瞑り、左目または右目のウインクなど)に対応して変化する。この種々な眼動に対応した電場変化は、眼球周囲に配置した複数のEOG電極(151a、151b、152a、152b)から取り出される1以上のチャネル信号から、区別して検出できる。
具体的には、左右両眼の中心を結ぶ水平線よりも下側の左右電極(152b、151b)の電位差を第1チャネル(Ch0)の信号として検出し、鼻筋よりも右眼側(図示では左側)の上下電極(151a、151b)の電位差を第2チャネル(Ch1)の信号として検出し、鼻筋よりも左眼側(図示では右側)の上下電極(152a、152b)の電位差を第3チャネル(Ch2)の信号として検出する。第1〜第3チャネル信号はアナログ信号として検出されるが、これらのアナログ信号は3つのA/Dコンバータ(ADC Ch0〜Ch2)1512、1510、1520により、個別にデジタルデータ化される。
瞬目(瞬き)や目瞑りといった眼動は、第2チャネルおよび/または第3チャネル(Ch1/Ch2)の信号波形から区別して検出できる(図11の期間TX10またはTX40参照)。
上下の眼動(上方または下方への視線移動)は、第2チャネルおよび/または第3チャネル(Ch1/Ch2)の信号波形から区別して検出できる(図11の期間TX30参照)。
左右の眼動(左方または右方への視線移動)は、第1チャネル(Ch0)の信号波形、または第2チャネル(Ch1)もしくは第3チャネル(Ch2)の信号波形から区別して検出できる(図11の期間TX20参照)。
図1の電極配置およびADCの接続極性では、水平方向(左右方向の眼動)に関しては、Ch1の信号変化分(水平AC成分)とCh2の信号変化分(水平AC成分)が逆相となる。そのため、Ch1とCh2の水平AC成分を加算(同一の水平方向成分の減算に相当)すれば、Ch1およびCh2の水平AC成分がキャンセルされる。一方、垂直方向(上下方向の眼動)に関しては、Ch1の信号変化分(垂直AC成分)とCh2の信号変化分(垂直AC成分)は同相となる。そのため、Ch1とCh2の垂直AC成分を加算すれば、Ch1およびCh2の垂直AC成分は増強される。これにより、Ch1およびCh2において、水平方向の信号変化と垂直方向の信号変化の相互干渉を排除した検出が可能となる(つまり、Ch1およびCh2において、高精度な上下眼動の検出が可能となる)。
また、図1の電極配置およびADCの接続極性では、水平方向(左右方向の眼動)に関しては、左右両眼の電位変化が直列加算された形でCh0のADC1512に入力される。このことから、左右の眼動検出に関しては、第1チャネル(Ch0)の信号振幅が特に大きい(図12の期間TX20−1参照)。また、第1チャネル(Ch0)の信号波形には左右方向の眼動以外の信号成分が殆ど出ない。そのため、第1チャネル(Ch0)の信号は、左右眼動の検出に適している。
第1チャネル(Ch0)の信号は、ノイズフロアから検出信号のピークレベルまでの振幅が大きいことから、その大きな振幅の中に複数の閾値を設定することもできる。そうすると、その閾値数分、検出情報量を増やすことができる。換言すると、ノイズに影響され難くなる分、眼動の高精度検出に対応し易くなる。
なお、図1の実施形態では、眼球周囲のEOG電極(151a、151b、152a、152b)を、左所定範囲(AXL)と右所定範囲(AXL)を避けて配置している。左所定範囲(AXL)は、左眼中心位置を通る垂線を左右に跨ぐと眼電位の極性が変る(結果的にCh1〜Ch2夫々の信号位相が反転する)変曲域を含む。また、右所定範囲(AXR)は、右眼中心位置を通る垂線を左右に跨ぐと眼電位の極性が変る(結果的にCh1〜Ch2夫々の信号位相が反転する)変曲域を含む。
上記変曲域の存在により、左所定範囲(AXL)と右所定範囲(AXL)の外側に左右電極(152b、151b)がある実施形態(図1〜図6など)の検出信号成分(水平成分)の位相は、左所定範囲(AXL)と右所定範囲(AXL)の内側に左右電極(152b、151b)がある実施形態(図7など)の検出信号成分(水平成分)と、逆相になる。
図2は、第1の実施の形態(ゴーグル型)に係る眼電位検出装置の電極実装例を説明する図である。この電極実装例では、ゴーグル型アイウエアのクッション面(ユーザの顔面皮膚に接触する面)において、図1と同様な電極配置を行っている。
すなわち、例えばシリコーン製のクッションがゴーグルのフレーム110上に設けられ、このクッションの図示位置に所要の眼電位検出電極(EOG電極151a、151b、152a、152b)が取り付けられる。シリコーン製のクッションは、ユーザの顔面の凹凸に合うように柔らかく変形して、全てのEOG電極をユーザの皮膚面に安定接触させる。
また、ゴーグルのフレーム110上には、キャリブレーションマーカーとなる4つのLED(M01、M02、M11、M12)が取り付けられている。さらに、ユーザが正視する際のガイドとして、左右両眼の真正面(P1とP2の位置)にセンターマーカーが形成されている。センターマーカーは、例えば、フレーム110内に嵌め込まれる透明プラスチック板の所定箇所(P1とP2の位置)に罫書き加工することで、形成できる。このセンターマーカーに周辺のフレーム110に取り付けられたLEDからのサイド光が当ると、その光の一部がセンターマーカー部分で乱反射して、ユーザが視認できるような輝点となる。
なお、フレーム110内の透明板上にフィルム液晶などを用いたディスプレイが設けられているときは、そのディスプレイによりAR表示が可能となる。(ARは拡張現実:Augmented Realityの略で、ゴーグル越しに見える現実の世界に種々な情報を付加させるテクノロジーを指す。)このAR表示を用いてマーカー(M01、M02、M11、M12、P1、P2)をユーザに提示することもできる。
図1あるいは図2の電極配置例はゴーグル型アイウエア(図20、図21等)に適しているが、メガネ型アイウエア(図18等)に適用することも可能である。さらには、図1の電極配置例はアイウエア以外にも応用可能である。例えば、図示しないが、双眼鏡や双眼顕微鏡の接眼部、あるいは産業用ペリスコープ(Periscope)の接眼部に、図2に示すような構成のフレーム110を適用することも可能である。
図3は、第2の実施の形態(粘着パッド型)に係る眼電位検出装置の電極配置例を説明する図である。眼電位(EOG)は、筋萎縮性側索硬化症(ALS:Amyotrophic Lateral Sclerosis)患者、あるいは半身不随などの重度肢体不自由者において、残存機能(眼球運動や瞬目など)による意思伝達手段として利用が検討されている。このようなシーンでは、心電図、筋電図、脳波の測定と同様に、粘着パッドがEOG電極に使用される。図3は、粘着パッドを用いて眼電位を測定する際の理想的な電極配置を例示している。
図3の例では、右眼側だけにCh1検出用電極(151a、151c)を設け、左眼側にCh2検出用電極を設けていない。通常、意思伝達のための眼動では、左右両目は同方向に動かす。そのため、上下眼動の検出はCh1だけても可能となる。図3の実施形態では、左右方向の眼動を検出する電極(151b、152b)を、前述した左所定範囲(AXL)と右所定範囲(AXL)を避けた場所に配置している。
図4は、第3の実施の形態(ゴーグル型)に係る眼電位検出装置の電極実装例(その1)を説明する図である。粘着パッド型を採用しない場合は、図4に示すように、図3のような電極配置を、ゴーグルフレーム110上のクッションに設けることができる。この例では、Ch0用電極(151b、152b)は、左右両眼の中心を結ぶ水平線上に設けられている。
図5は、第3の実施の形態(ゴーグル型)に係る眼電位検出装置の電極実装例(その2)を説明する図である。Ch0用電極(151b、152b)が左右両眼の中心を結ぶ水平線より下側に設けられている点で、図5の例は図4の例と異なっている。
視力矯正用眼鏡を使用した上からゴーグルを装着すると、図4の電極実装例(その1)では眼鏡のツル(左右のヒンジ部分付近)がCh0用電極(151b、152b)と干渉してしまう恐れがある。この干渉を避けるため、図5の電極実装例(その2)では、Ch0用電極(151b、152b)を垂直方向にオフセットさせている。
図6は、第4の実施の形態(ゴーグル型)に係る眼電位検出装置の電極配置例とその電極実装例を説明する図である。この例では、図5のCh0用電極(151b、152b)と同様なCh3用電極(151d、152d)を、左右両眼の中心を結ぶ水平線より上側にも設けている(水平検出用電極ペアのダブル配置)。さらに、図5のCh1用電極(151a、151c)と同様なCh2用電極(152a、152c)を、左眼側にも設けている(垂直検出用電極ペアのダブル配置)。つまり、図4または図5の電極構造を、水平方向と垂直方向でダブルに設けて、検出の信頼性を高めたものが、図6の例である。
図6の例では、体動や表情の変化等でいずれかのEOG電極と皮膚との接触が一時的に乱れた場合にも、水平垂直信号を各々冗長化して取得できる。すなわち、ダブル配置された電極ペアのうちどちらか片方のペアにおいて電極と皮膚との接触が一時的に取れなくなった場合でも、問題が発生している側のペアを検出し、他方の正常ペアから得られる検出信号を使って処理を継続する事ができる。
問題が発生しているか否かは、例えば、検出信号の変化が通常検出され得る生体信号の範疇か否かで、判定できる。検出信号の変化が通常検出され得る生体信号の範疇か否かは、例えば検出信号の微分量が所定値を超えるかどうかで、判定できる。ここで、検出信号の「微分量」の大小には、2種類考えられる。第1の微分量が大きい場合は「一定時間当たりの振幅値が大きい(眼球移動よりも信号変化が大きい)場合」に対応し、第2の微分量が大きい場合は「振幅の大小を問わず、信号レベルの傾斜が大きい(眼球移動よりも信号変化が早い)場合」に対応する。第1の微分量の検出では、第2の微分量検出の場合と比べて、ADCのサンプルレートを抑えることができる。そのため、実装面からは、第1の微分量を検出する方が簡単となる。
なお、図2、図4〜図6に例示されるような眼電位検出電極付きのフレーム110は、アイウエア以外にも設けることができる。例えば、図示しないが、展望台の望遠鏡の接眼部に、眼電位検出電極付フレーム110を設けることができる。そうすると、望遠鏡を見ているユーザの眼動(例えば左右のウインク)により、望遠鏡の動作を制御しているコンピュータに対して、ズームイン/ズームアウト等を指示することができる。
あるいは、図示しないが、顕微鏡の接眼部に、眼電位検出電極付フレーム110(AR表示タイプ)を設けることができる。そうすると、眼動(例えば数回の連続瞬目(瞬き))を利用した操作指令により、視線を向けた顕微鏡の観測対象にデジタル情報でマーキングしたり、別の眼動(例えば視線の上下左右動)を利用した操作指令によりマーキングしたい位置を移動させたり、別の眼動(例えば短時間の目瞑り)を利用した操作指令によりその観測対象部分の画像データを切り出したりすることができる。
あるいは、図示しないが、産業用のペリスコープ(Periscope)の下端側接眼部に、眼電位検出電極付フレーム110を設けることができる。(産業用ペリスコープの一例として、高速鉄道の車両点検用ペリスコープがある。)例えば、低い位置から高い位置にある車両の屋根をペリスコープで点検する際に、ペリスコープ上端側の対物レンズの向きやズーミング等を、その下端側接眼部に顔を付けた点検作業員の眼動により、コントロールできる。
図7は、第5の実施の形態(メガネ型)に係る眼電位検出装置の電極配置例(図1〜図6とは異なる電極配置例)を説明する図である。
ユーザの顔や鼻の形状を無視した場合、眼電位測定時の信号振幅および水平垂直信号の混入防止の観点から、4つのEOG電極は、なるべく以下のように配置する:
上下に配置される電極(151a、152a;151b、152b)は、左右両眼の中心を結ぶ水平線を跨ぐ;
左右の電極ペア(Ch1用の151aと151bのペア;Ch2用の152aと152bのペア)は、それぞれ垂直に配置される;
左右の所定領域(図1で説明したAXLとAXR)を避けつつ、水平方向用のCh0電極(151b、152b)はその間隔が最大となる位置に配置。
図8は、ゴーグル型のアイウエアにおいて、適切な位置に眼電位検出電極が配置された場合(評価1とする)の寸法例を示す図(ユーザの顔面に接する側からみた図)である。この寸法例では、左眼側の2個のEOG電極(152a、152b)と右眼側の2個のEOG電極(151a、151b)は、左右両眼の中心を結ぶ線の中点から垂直方向に引いた垂線に対して線対称に配置されている。この垂線は、フレーム110の左右中心に引かれた垂線で示されており、例えばユーザの鼻筋に対応する。
また、上側の2個のEOG電極(152a、151a)は左右両眼の中心を結ぶ線よりも35mm上側に配置され、下側の2個のEOG電極(152b、151b)は左右両眼の中心を結ぶ線よりも35mm下側に配置されている。上側の2個のEOG電極(152a、151a)は、フレーム110の左右中心に引かれた垂線の左右方向±13mmの位置に配置される。下側の2個のEOG電極(152b、151b)は、フレーム110の左右中心に引かれた垂線の左右方向±62mmの位置に配置される。
図8の例では、左右両眼の中心を結ぶ線よりも上側の電極2個(152a、151a)および下側の電極2個(152b、151b)は、左所定範囲(AXL)と右所定範囲(AXL)を避けて、配置されている。ここで、左所定範囲(AXL)は、左眼中心位置(図2のP1)を通る垂線を左右に跨ぐと眼電位の極性が変る(結果的にCh2の信号位相が反転する)変曲域を含む。図8の例では、左眼球の直径を25mmとしたときに、左眼中心を通る垂線の左右方向に±12.5mmを、左所定範囲(AXL)としている。また、右所定範囲(AXR)は、右眼中心位置(図2のP2)を通る垂線を左右に跨ぐと眼電位の極性が変る(結果的にCh1の信号位相が反転する)変曲域を含む。図8の例では、右眼球の直径を25mmとしたときに、右眼中心を通る垂線の左右方向に±12.5mmを、右所定範囲(AXR)としている。左所定範囲(AXL)および右所定範囲(AXR)の上下方向のサイズは任意であるが、EOG電極が実装されるフレーム110のサイズに応じて適宜定めればよい。
図9は、ゴーグル型のアイウエアにおいて、Ch0の信号検出に関して不適切な位置に眼電位検出電極が配置された場合(評価2とする)の寸法例を示す図(ユーザの顔面に接する側からみた図)である。この寸法例では、左眼側の2個のEOG電極(152a、152b)と右眼側の2個のEOG電極(151a、151b)は、左右両眼の中心を結ぶ線の中点から垂直方向に引いた垂線に対して線対称に配置されている(図8の例と同様)。
また、上側の2個のEOG電極(152a、151a)は左右両眼の中心を結ぶ線よりも35mm上側に配置され、下側の2個のEOG電極(152b、151b)は左右両眼の中心を結ぶ線よりも35mm下側に配置されている(図8の例と同様)。上側の2個のEOG電極(152a、151a)は、フレーム110の左右中心に引かれた垂線の左右方向±13mmの位置に配置される(図8の例と同様)。
しかし、下側の2個のEOG電極(152b、151b)は、フレーム110の左右中心に引かれた垂線の左右方向±20mmの位置に配置されている(図8の例と異なる)。すなわち、図9の例では、下側の電極2個(152b、151b)が、左所定範囲(AXL)と右所定範囲(AXL)を避けずに配置されている(図8の例と異なる)。
図10は、ゴーグル型のアイウエアにおいて、最適ではないが使用可能な位置に眼電位検出電極が配置された場合(評価3とする)の寸法例を示す図(ユーザの顔面に接する側からみた図)である。この寸法例では、左眼側の2個のEOG電極(152a、152b)と右眼側の2個のEOG電極(151a、151b)は、左右両眼の中心を結ぶ線の中点から垂直方向に引いた垂線に対して線対称に配置されている(図8の例と同様)。
また、上側の2個のEOG電極(152a、151a)は左右両眼の中心を結ぶ線よりも35mm上側に配置され、下側の2個のEOG電極(152b、151b)は左右両眼の中心を結ぶ線よりも35mm下側に配置されている(図8の例と同様)。上側の2個のEOG電極(152a、151a)は、フレーム110の左右中心に引かれた垂線の左右方向±13mmの位置に配置される(図8の例と同様)。
しかし、下側の2個のEOG電極(152b、151b)は、フレーム110の左右中心に引かれた垂線の左右方向±11mmの位置に配置される(図8および図9の例と異なる)。すなわち、図10の例では、下側の電極2個(152b、151b)が左所定範囲(AXL)と右所定範囲(AXL)を避けて配置されているが、避け方が図8の例と異なる。
図11は、種々な眼動(瞬目(瞬き)、目瞑り、左右上下の視線移動)に対応して得られる眼電図(Electro-oculogram:EOG)の波形例を示す図である。これらの眼動の種類は、図8〜図10の評価1〜評価3で共通としているが、図11の波形データは図8の場合(評価1)を例示している。図8(または図2)の電極配置では、左右の電極ペアの並び方が「/」と「\」の形をしており、ユーザの鼻筋を間に挟んで線対称となっている。
図11の縦軸(Y軸)は信号レベル(振幅値)を示し、その横軸(X軸)は時間経過を示す。Y軸は動作電圧が3.3Vで分解能が24ビットのADCを用いた場合のサンプル値を示す。その場合、検出信号レベルの重みは3.3V÷(2の24乗)=196.695nV≒200nVとなる。すると、図11の縦軸間隔(20000)は「20000*196.695nV≒4mV」を示すことになる。また、X軸は256fsのサンプル数を示し、X軸の隣接数値の差分を256で割ると「秒」になる。
図11の期間TX10は、瞬目(瞬き)が1〜3回行われた場合および、1秒程の眼瞑りが1回行われた場合の、Ch0〜Ch2の検出信号波形例(電極配置が図8の評価1)を示す。期間TX40も、同様な眼動が行われた場合のCh0〜Ch2の検出信号波形例(電極配置は図8の評価1)を示す。図11のTX10とTX40の波形例は、計測した時間が異なっても、同種の眼動に対しては、同様な検出信号波形が得られることを示している。
期間TX10またはTX40において、コンマ数秒程度の素早い瞬目(瞬き)に対しては、Ch0の検出信号波形に殆ど変化が無い。しかし、Ch1とCh2の検出信号波形は瞬目(瞬き)回数に明確に反応して変化している。瞬目(瞬き)よりも時間の長い眼瞑りでは、Ch0の検出信号波形に僅かな変化が見られるが、Ch1とCh2の検出信号波形にはCh0よりもずっと大きな変化が生じている。
図11の期間TX20は、視線が正面から左方向へ移動して1秒程静止した後に正面へ戻ったときと、視線が正面から右方向へ移動して1秒程静止した後に正面へ戻ったときの、Ch0〜Ch2の検出信号波形例(電極配置は図8の評価1)を示す。ここで特徴的なのは、評価1の電極配置(図8)では、左右方向の眼動に対してCh1とCh2で検出信号の位相が逆になることと、Ch0で振幅の大きな検出信号が得られることである。
図11の期間TX30は、視線が正面から上方向へ移動して1秒程静止した後に正面へ戻ったときと、視線が正面から下方向へ移動して1秒程静止した後に正面へ戻ったときの、Ch0〜Ch2の検出信号波形例(電極配置は図8の評価1)を示す。上下方向の眼動では、Ch0には変化が殆ど見られず、Ch1とCh2に同様な波形変化が生じている。
図11の波形例から明らかなように、瞬目(瞬き)の回数、瞬目(瞬き)と眼瞑りの区別、左右方向の眼動の区別、上下方向の眼動の区別が、Ch0〜Ch2の検出信号波形から、可能である。
なお、眼動検出に関係する眼球運動の種類および眼球の移動範囲としては、例えば以下のものがある:
<眼球運動(眼動)の種類>
(01)補償性眼球運動
頭や身体の動きにかかわらず、外界の像を網膜上で安定させるために発達した、非随意的な眼球運動。
(02)随意性眼球運動
視対像を網膜上の中心にくるようにするために発達した眼球運動であり、随意的なコントロールが可能な運動。
(03)衝撃性眼球運動(サッケード)
物を見ようとして注視点を変えるときに発生する眼球運動(検出し易い)。
(04)滑動性眼球運動
ゆっくりと移動する物体を追尾するときに発生する滑らかな眼球運動(検出し難い)。
<眼球の移動範囲(一般的な成人の場合)>
(11)水平方向
左方向: 50°以下
右方向: 50°以下
(12)垂直方向
下方向: 50°以下
上方向: 30°以下
(自分の意思で動かせる垂直方向の角度範囲は、上方向だけ狭い。(閉眼すると眼球が上転する「ベル現象」があるため、閉眼すると垂直方向の眼球移動範囲は上方向にシフトする。)
(13)その他(評価1〜3では用いていない眼動)
輻輳角: 20°以下
図12は、適切な位置に眼電位検出電極が配置されたゴーグル型アイウエアにおいて、種々な眼動(瞬目(瞬き)、目瞑り、左右上下の視線移動)に対応して得られる眼電図の波形例(評価1におけるEOG波形)を説明する図である。図12の例はX軸の数値が図11と異なるが、波形の傾向は同様である。評価1(図8)の例では、左右方向の眼動に対して、およそ1.77mVのCh0信号が検出されている(図12の期間TX20−1参照)。
図13は、Ch0の信号検出に関して不適切な位置に眼電位検出電極が配置されたゴーグル型アイウエアにおいて、種々な眼動(瞬目(瞬き)、目瞑り、左右上下の視線移動)に対応して得られる眼電図の波形例(評価2におけるEOG波形)を説明する図である。評価2(図9)の例の例では、左右方向の眼動に対して、Ch0〜Ch2のいずれからも信号検出ができていない(図13の期間TX20−2参照)。
図14は、最適ではないが使用可能な位置に眼電位検出電極が配置されたゴーグル型アイウエアにおいて、種々な眼動(瞬目(瞬き)、目瞑り、左右上下の視線移動)に対応して得られる眼電図の波形例(評価3におけるEOG波形)を説明する図である。評価3(図10)の例では、左右方向の眼動に対して、およそ0.59mVのCh0信号が検出されている(図14の期間TX20−3参照)。これは評価1(図8)の場合の1/3であり、評価1の場合よりもノイズの影響を受けやすい状態である。眼動が左方向か右方向か程度の荒い検出なら評価3(図10)でもよいが、例えば左方向(または右方向)にどれくらい視線が移動したかを高精度に検出するのには、評価1(図8)の方が適している。
<ウインクの検出について>
人の眼球は、瞼と筋肉が連動しており、瞼を閉じると眼球が上方を向く。そのため、ウインク時には瞼を閉じた側の眼球だけが上方を向く。
Ch1/Ch2は、ウインクが行われる眼に近い側の検出信号振幅が相対的に大きくなるが、Ch1/Ch2でのウインク検出は比較的難しい(瞬目における左右の検出信号振幅が同一とはならず、例えば振幅の変化率の差分を見る必要がある)。
対して、Ch0では、その+端子/−端子に近い側にウインクによる信号変化が現れ、左右で信号変化が逆相となるため、左右個別のウインクの検出が容易となる。
図15は、視線が正面を向いているときに、両目の瞬目(瞬き)を5回反復した直後に左目のウインク(左側片目の瞬目(瞬き))を5回反復した眼動に対応して得られる眼電図の波形例を説明する図である。(この図の例示は、図1、図7のようにCh0検出電極が左右両眼の中心を結ぶ水平線より下にオフセットしている場合に対応。)
図1、図7等に例示されるように、Ch0のADC1512の電極位置が左右両目の眼球中心線より下方にオフセットしていると、両目同時の瞬目(瞬き)では、ADC1512の+入力と−入力の双方に負方向の電位変化が現れる。その際、+入力と−入力の双方の電位変化(量と方向)が略同じとすれば、その変化は殆どキャンセルされ、Ch0のADC1512から出力される信号レベルの値は、略一定となる(図15の左側破線内のCh0レベル参照)。一方、片目(左目)の瞬目(瞬き)では、ADC1512の−入力側は電位変化が殆どなく、ADC1512の+入力側に比較的大きめの負方向電位変化が現れる。そうすると、ADC1512の+入力と−入力の間における電位変化のキャンセル量は小さくなり、Ch0のADC1512から出力される信号レベルには、負方向に小さなパルス(信号レベルの小波)が表れる(図15の右側破線内のCh0レベル参照)。この信号レベルの小波(負方向のパルス)の極性から、左目のウインクがなされたことを検出できる(Ch0を利用した、左ウインク検出の一例)。
また、図6の例では、Ch3のADC1514の位置は、左右両目の眼球中心線より上方にオフセットしている。このオフセットのため、両目同時の瞬目(瞬き)では、ADC1514の+入力と−入力の双方に正方向の電位変化が現れる。その際、+入力と−入力の双方の電位変化(量と方向)が略同じとすれば、その変化は殆どキャンセルされ、Ch3のADC1514から出力される信号レベルの値は、略一定となる。一方、片目(左目)の瞬目(瞬き)では、ADC1514の−入力側は電位変化が殆どなく、ADC1514の+入力側に比較的大きめの正方向電位変化が現れる。そうすると、ADC1514の+入力と−入力の間における電位変化のキャンセル量は小さくなり、Ch3のADC1514から出力される信号レベルには、正方向に小さなパルス(信号レベルの小波:図示せず)が表れる。この信号レベルの小波(正方向のパルス)の極性から、左目のウインクがなされたことを検出できる(Ch3を利用した、左ウインク検出の他例)。
なお、ユーザの顔の歪みや皮膚の状態等でADC1512の+入力と−入力の電位変化が均等にならない場合は、アイウエア100をユーザが装着し両目同時に瞬目(瞬き)したときのCh0ADCの出力が最小(+入力成分と−入力成分との間のキャンセル量が最大)となるようなキャリブレーションを、事前に行っておけばよい。
また、両目瞬目(瞬き)が行われた時の検出信号Ch1/Ch2のピーク比SL1a/SL2aを基準とすると、左眼ウインクが行われたときのピーク比SL1b/SL2bは変化する(SL1b/SL2bはSL1a/SL2aとイコールでない)。このことからも、左ウインクを検出できる。
図16は、視線が正面を向いているときに、両目の瞬目(瞬き)を5回反復した直後に右目のウインク(右側片目の瞬目(瞬き))を5回反復した眼動に対応して得られる眼電図の波形例を説明する図である。(この図の例示は、図1、図7のようにCh0検出電極が左右両眼の中心を結ぶ水平線より下にオフセットしている場合に対応。)
前述したように、図1、図7等に例示されるようにADC1512の電極位置が左右両目の眼球中心線より下方にオフセットしていると、両目同時の瞬目(瞬き)ではADC1512の+入力と−入力の双方に負方向の電位変化が現れる。しかし、+入力と−入力における同様な電位変化は殆どキャンセルされ、Ch0のADC1512から出力される信号レベルの値は、略一定となる(図16の左側破線内のCh0レベル参照)。一方、片目(右目)の瞬目(瞬き)では、ADC1512の+入力側は電位変化が殆どなく、ADC1512の−入力側に比較的大きめの負方向電位変化が現れる。そうすると、ADC1512の−入力と+入力の間における電位変化のキャンセル量は小さくなり、Ch0のADC1512から出力される信号レベルには、正方向に小さなパルス(信号レベルの小波)が表れる(図16の右側破線内のCh0レベル参照)。この信号レベルの小波(正方向のパルス)の極性から、右目のウインクがなされたことを検出できる(Ch0を利用した右ウインク検出の一例)。
また、両目瞬目(瞬き)が行われた時の検出信号Ch1/Ch2のピーク比SR1a/SR2aを基準とすると、右眼ウインクが行われたときのピーク比SR1b/SR2bは変化する(SR1b/SR2bはSR1a/SR2aとイコールでない)。また、左ウインク時のピーク比SL1b/SL2bは右ウインク時のピーク比SR1b/SR2bと異なった値を持つ(どの程度異なるのかは実験で確認できる)。このことから、右ウインクとは別に、左ウインクを検出できる(Ch1とCh2を利用した左右ウインク検出の一例)。
なお、図6の例では、Ch3のADC1514の位置は、左右両目の眼球中心線より上方にオフセットしている。このオフセットのため、両目同時の瞬目(瞬き)では、図6のADC1514の+入力と−入力の双方に正方向の電位変化が現れる。その際、+入力と−入力の双方の電位変化(量と方向)が略同じとすれば、その変化は殆どキャンセルされ、Ch3のADC1514から出力される信号レベルの値は、略一定となる。一方、片目(右目)の瞬目(瞬き)では、ADC1514の+入力側は電位変化が殆どなく、ADC1514の−入力側に比較的大きめの正方向電位変化が現れる。そうすると、ADC1514の+入力と−入力の間における電位変化のキャンセル量は小さくなり、Ch3のADC1514から出力される信号レベルには、負方向に小さなパルス(信号レベルの小波:図示せず)が表れる。この信号レベルの小波(負方向のパルス)の極性から、右目のウインクがなされたことを検出できる(Ch3を利用した、右ウインク検出の他例)。
図6の例では、左ウインクの検出に、Ch0およびCh3の検出結果の論理ANDを使用でき、あるいはCh0およびCh3の検出結果の論理ORを使用できる。具体的には、論理ANDを使用するときは、Ch0で負方向パルスが検出され、かつCh3で正方向パルスが検出されたときにのみ、左ウインクがなされたものと判定する(不規則なノイズによる誤判定の可能性が小さくなる)。論理ORを使用するときは、Ch0で負方向パルスが検出され、またはCh3で正方向パルスが検出されたときに、左ウインクがなされたものと判定する(不規則なノイズによる誤判定の可能性は相対的に高まるが、ウインク検出の感度は高くなる)。
同様に、図6の例では、右ウインクの検出にも、Ch0およびCh3の検出結果の論理ANDあるいは論理ORを使用できる。具体的には、論理ANDを使用するときは、Ch0で正方向パルスが検出され、かつCh3で負方向パルスが検出されたときにのみ、右ウインクがなされたものと判定する。論理ORを使用するときは、Ch0で正方向パルスが検出され、またはCh3で負方向パルスが検出されたときに、右ウインクがなされたものと判定する。
なお、左右のウインク検出に関しては、図6の電極151cおよび152cをCh0と同様なADCの「−」および「+」入力へ繋ぎ、および/または、図6の電極151aおよび152aをCh3と同様なADCの「−」および「+」入力へ繋いで、図15および図16のCh0波形の右側に例示されるようなパルスを検出するようにしてもよい。
左右のウインク検出にCh0を利用するのかCh3を利用するのかCh1/Ch2を利用するのかは、機器設計者が適宜決めればよい。Ch0〜Ch3等を利用した左右のウインク検出結果は、操作コマンドとして利用できる。
また、Ch1/Ch2における瞬目検出(検出レベルは極大)のタイミングを用いることにより(ノイズによる影響を抑えて)、同一タイミングにおけるCh0上の検出信号の小波の極性を検出することもできる。
図17は、開示された各実施の形態において、ユーザ毎に行えるキャリブレーションの例を説明するフローチャートである。ここでは、例えば図2に示すような、眼電位検出電極/キャリブレーションマーカー付フレーム110を備えたゴーグルにおけるキャリブレーションの一例を説明する。
ユーザの顔面がフレーム110上の4つの眼電位検出電極(EOG電極151a、151b、152a、152b)にしっかりと接触したら、その接触状態を安定に維持する(ST10)。キャリブレーションは、ユーザがゴーグルを装着してEOG電極の安定接触状態が確保されたら、自動的に開始できる。あるいは、ゴーグル装着後のユーザによる手動操作で、キャリブレーションを開始できる。このキャリブレーションは、例えば図19の情報処理部11において実行できる。
この例では、キャリブレーションを、第1のキャリブレーションと第2のキャリブレーションに分けている(第1のキャリブレーションと第2のキャリブレーションを区別せず一括して行うキャリブレーションも可能)。
第1のキャリブレーションは、ユーザが正面を見ているときの状態(ユーザ毎に異なる基準状態)を検出するために行う。第2のキャリブレーションは、ユーザが正面を見ているときの状態(第1のキャリブレーション結果)を基準として行われる。第2のキャリブレーションでは、各Ch(Ch0〜Ch2)からの検出信号の波高、極性、発生タイミングを元にした、種々な眼動(視線移動および、瞬目、眼瞑り、ウインク)に対する特徴量を検出するために行う。
すなわち、キャリブレーションの実行が始まると(ST12イエス)、ユーザは、左右両眼正面の基準位置P1およびP2にあるマーカーを正視する(ST14)。ユーザが基準位置P1およびP2にあるマーカーを正視している間に、第1のキャリブレーションが実行される(ST16)。第1のキャリブレーションでは、Ch0、Ch1およびCh2夫々のADC出力レベルが、第1のキャリブレーション結果として一時記憶される(ST18)。
第1のキャリブレーション結果を一時記憶したら、フレーム110の所定位置に設けた4つのマーカーLED(M01、M02、M11、M12)のうち、1つ以上を点灯する(ST20)。一度に点灯するLEDが1つだけならその1つが注目すべきマーカーとなる。一度に点灯するLEDが2つ以上ならそのうちの1つを特定色(例えば赤)として注目すべきマーカーとし、それ以外のLEDは別の色(例えば緑)として非注目マーカー(あるいは準注目マーカー)とする。
注目すべきマーカーLEDが点灯されたら、第2のキャリブレーションが実行される(ST22)。第2のキャリブレーションでは、ユーザが注目マーカーのLED輝点を見るよう促して、注目マーカー方向への眼動を起こさせる。例えば上側LEDマーカーのM01が注目マーカーであれば、ユーザの両眼球は上側を向いて一時停止する。そのときのCh1およびCh2夫々のADC出力レベルが所定値になるように各ADCの内部状態(AD変換前の回路ゲインおよび/またはAD変換後の乗算係数等)を修正する。この修正結果(Ch0〜Ch2夫々のADC出力レベルとその出力レベルが得られたときの各ADCの内部状態のデータ)は、暫定キャリブレーション結果(その1)として一時記憶される。
注目マーカーを下側LEDマーカーM02に切り替えると、ユーザの両眼球は下側を向いて一時停止する。そのときのCh1およびCh2夫々のADC出力レベルが所定値になるように各ADCの内部状態(AD変換前の回路ゲインおよび/またはAD変換後の乗算係数等)を修正する。この修正結果(Ch0〜Ch2夫々のADC出力レベルとその出力レベルが得られたときの各ADCの内部状態のデータ)は、暫定キャリブレーション結果(その2)として一時記憶される。
注目マーカーを左側LEDマーカーM11に切り替えると、ユーザの両眼球は左側を向いて一時停止する。そのときのCh1およびCh2夫々のADC出力レベルが所定値になるように各ADCの内部状態(AD変換前の回路ゲインおよび/またはAD変換後の乗算係数等)を修正する。この修正結果(Ch0〜Ch2夫々のADC出力レベルとその出力レベルが得られたときの各ADCの内部状態のデータ)は、暫定キャリブレーション結果(その3)として一時記憶される。
注目マーカーを左側LEDマーカーM12に切り替えると、ユーザの両眼球は右側を向いて一時停止する。そのときのCh1およびCh2夫々のADC出力レベルが所定値になるように各ADCの内部状態(AD変換前の回路ゲインおよび/またはAD変換後の乗算係数等)を修正する。この修正結果(Ch0〜Ch2夫々のADC出力レベルとその出力レベルが得られたときの各ADCの内部状態のデータ)は、暫定キャリブレーション結果(その4)として一時記憶される。
このように、注目マーカーLEDの点灯位置を順次切り替え、その都度一時記憶した暫定キャリブレーション結果(その1〜その4)を纏めて、第2のキャリブレーション結果として一時記憶する(ST24)。
一時記憶された第1および第2のキャリブレーション結果は、キャリブレーションを行った該当ユーザのメモリバンク(図19の例では不揮発性メモリ11b)に登録される(ST26)。(メモリバンクに登録する情報は、第1のキャリブレーション結果を元にした第2のキャリブレーション結果だけでもよい。)
現ユーザのゴーグル使用が継続している間(ST30イエス)、キャリブレーションの再実行がないときは(ST32ノー)、ST28〜ST32の処理が反復される。使用中の発汗などでゴーグルのEOG電極とユーザの顔との接触状態が変るなどで再度キャリブレーションが必要になったら(ST32イエス)、ST14〜ST32の処理が反復される。
現ユーザのゴーグル使用が終了したが(ST30ノー)、別のユーザがそのゴーグルを継続使用するときは(ST34イエス)、ST10〜ST34の処理が反復される。別のユーザの第1および第2のキャリブレーション結果は、キャリブレーションを行った別ユーザのメモリバンク(図19の例では不揮発性メモリ11b)に登録される(ST26)。別ユーザによるゴーグル使用がないときは(ST34ノー)、図17の処理は終了する。
キャリブレーションをしないときは(ST12ノー)、メモリバンク(図19の11b)に現ユーザのキャリブレーションデータが登録されているかどうかチェックする(ST40)。このチェックは、例えば登録済みユーザ名をAR表示することで、行うことができる。(このAR表示は、例えば図18〜図21のフィルム液晶ディスプレイ12L/12Rで行うことができる。)現ユーザの名前(ニックネームやユーザIDコードでもよい)がAR表示中にあれば(ST40イエス)、ユーザは、その表示に視線を移し、例えば数秒の眼瞑りでそのユーザ名の項目を選択する。すると、その選択項目のキャリブレーションデータが使用される(ST42)。AR表示中にユーザの名前がないときは(ST40ノー)、キャリブレーションは行わず、事前設定されたデフォルト状態で、ゴーグルを使用することができる(ST44)。
キャリブレーションを行ったユーザ(またはデフォルト状態で使用することにしたユーザ)は、ゴーグル等の装置を使用して、眼動に応じた指令を図19の情報処理部11に与えることができる。例えば、カメラ付きのリモコンロボットやドローンを、ゴーグルを装着したユーザの眼動でコントロールする場合を想定してみる。その場合、
正視方向ら上下左右方向への視線移動に対応して、カメラの撮影方向を動かす。左ウインクに対応してカメラ映像をズームインし、右ウインクに対応してカメラ映像をズームアウトする。両目瞬目(瞬き)連続2回(1秒以内)でカメラ映像を写真撮影する(シャッターを切る)。撮影したカメラ画像は、Wi-Fi(登録商標)などで送信し、および/またはフラッシュメモリなどにJPEGデータとして記録する。
または、両目瞬目(瞬き)連続3回(1秒以内)で動画撮影を開始する。動画撮影中のズームイン/アウトは左右のウインクで行える。動画撮影中に、両目瞬目(瞬き)を連続2回連続する(1秒以内)と動画撮影は一時停止する。再度、両目瞬目(瞬き)を連続2回連続する(1秒以内)と、一時停止は解除され動画撮影が再開される。動画撮影中に、両目を2〜3秒以上瞑ると動画撮影は終了する。
図18は、適切な位置(図8に対応)に眼電位検出電極が配置されたメガネ型アイウエアを例示する図である。この例では、右アイフレーム(右リム)101と左アイフレーム(左リム)102がブリッジ103連結されている。左右アイフレーム102、101およびブリッジ103は、導電性を持つ部材、例えば軽量金属(アルミ合金、チタンなど)で構成できる。左アイフレーム102の左外側は左ヒンジ104を介して左テンプルバー106に繋がり、左テンプルバー106の先端に左モダン(左イヤーパッド)108が設けられている。同様に、右アイフレーム101の右外側は右ヒンジ105を介して右テンプルバー107に繋がり、右テンプルバー107の先端に右モダン(右イヤーパッド)109が設けられている。
右ヒンジ105付近のアイフレーム101の一部(または右テンプルバー107内)には、情報処理部11(数ミリ角の集積回路)が埋め込まれている。この情報処理部11は、マイクロコンピュータ、メモリ、通信処理部、種々なセンサ群を含むセンサ部などを集積したLSIにより構成される(情報処理部11の詳細については、図19を参照して後述する)。
リチウムイオン電池などの小型電池BATが、例えば左ヒンジ104付近の左テンプルバー106内(あるいはモダン108または109内)に埋め込まれ、アイウエア100の動作に必要な電源となっている。
左ヒンジ104寄りの左アイフレーム102端部には、適宜、左カメラ13Lが取り付けられ、右ヒンジ105寄りの右アイフレーム101端部には、適宜、右カメラ13Rが取り付けられている。これらのカメラは、超小型のCCDイメージセンサを用いて構成できる。
これらのカメラ(13L、13R)は、ステレオカメラを構成するものでもよい。あるいはこれらのカメラの位置に赤外線カメラ(13R)とレーザー(13L)を配置し、赤外線カメラ+レーザーによる距離センサを構成してもよい。この距離センサは、超音波を集音する小型半導体マイク(13R)と超音波を放射する小型圧電スピーカー(13L)などで構成することもできる。
なお、左右カメラ13L/13Rの代わりに、あるいは左右カメラ13L/13Rに加えて、ブリッジ103部分に図示しない中央カメラを設ける実施形態も考えられる。逆に、カメラを全く装備しない実施形態もあり得る(これらのカメラは、図19ではカメラ13として示されている)。
左アイフレーム102には左ディスプレイ12Lがはめ込まれ、右アイフレーム101には右ディスプレイ12Rがはめ込まれている。このディスプレイは、左右のアイフレームの少なくとも一方に設けられ、フィルム液晶などを用いて構成できる。具体的には、偏光板を用いないポリマー分散型液晶(PDLC)を採用したフィルム液晶表示デバイスを用いて、左右のディスプレイ12L、12Rの一方または両方を構成できる(このディスプレイは、図19ではディスプレイ12として示されている)。なお、右アイフレーム101だけにディスプレイ12Rを設けるように構成した場合は、左アイフレーム102には透明プラスチック板をはめ込むだけでよい。
左右のアイフレーム102、101の間であって、ブリッジ103の下側には、ノーズパッド部が設けられる。このノーズパッド部は、左ノーズパッド150Lと右ノーズパッド150Rのペアで構成される。
ノーズパッド150Rより斜め上方のアイフレーム101上には、EOG電極151aが設けられている。この電極151aは、弾性材で保持した導電性材により構成される。弾性材としては、柔らかくて適度な弾力を持つスポンジやシリコーン製のクッション材を用いることができる。導電性材としては、金属(ステンレスボール)や導電高分子などを用いることができる。右ディスプレイ12R側の右眼中心位置と点対称となる位置には、EOG電極151bが設けられる。電極151bも、弾性材で保持した導電性材により構成できる。
同様に、ノーズパッド150Lより斜め上方のアイフレーム102上には、EOG電極152aが設けられている。この電極151aも、電極151aと同様に、弾性材で保持した導電性材により構成できる。左ディスプレイ12L側の左眼中心位置と点対称となる位置には、EOG電極152bが設けられる。電極152bも、弾性材で保持した導電性材により構成できる。
電極151aと151bは、それぞれ、Ch1ADC1510の「+」入力と「−」入力に接続される。電極152aと152bは、それぞれ、Ch2ADC1520の「+」入力と「−」入力に接続される。そして、電極152bと151bは、それぞれ、Ch0ADC1512の「+」入力と「−」入力に接続される。
これらのADCからの出力は、ユーザの眼の動きに応じて異なる信号波形を持ち、ユーザの眼動に応じて内容が異なるデジタルデータとして、図19の情報処理部11に供給される。電極151a,151b,152a,152bは、視線検出センサとして用いられ、3つのADコンバータとともに図19の眼動検出部15の構成要素となっている。
図19は、種々な実施の形態に取り付け可能な情報処理部(プロセッサ11a、不揮発性メモリ11b、メインメモリ11c、通信処理部11d、センサ部11eなどを含む集積回路)11と、その周辺デバイス(ディスプレイ12、カメラ13、眼動厳守粒15、電源BATなど)との関係を説明する図である。
図19の例では、情報処理部11は、プロセッサ11a、不揮発性メモリ11b、メインメモリ11c、通信処理部11d、センサ部11eなどで構成されている。プロセッサ11aは製品仕様に応じた処理能力を持つマイクロコンピュータで構成できる。このマイクロコンピュータが実行する種々なプログラムおよびプログラム実行時に使用する種々なパラメータは、不揮発性メモリ11bに格納しておくことができる。プログラムを実行する際のワークエリアはメインメモリ11cが提供する。
センサ部11eは、図18、図20あるいは図21のアイウエア100(もしくは図1他のフレーム110)の位置および/またはその向きを検出するためのセンサ群を含んでいる。これらのセンサ群の具体例としては、3軸方向(x−y−z方向)の移動を検出する加速度センサ、3軸方向の回転を検出するジャイロ、絶対方位を検出する地磁気センサ(羅針盤機能)、電波や赤外線などを受信して位置情報その他を得るビーコンセンサがある。この位置情報その他の獲得には、iBeacon(登録商標)あるいはBluetooth(登録商標)4.0を利用できる。
情報処理部11に利用可能なLSIは、製品化されている。その一例として、東芝セミコンダクター&ストレージ社の「ウエアラブル端末向けTZ1000シリーズ」がある。このシリーズのうち、製品名「TZ1011MBG」は、CPU(11a、11c)、フラッシュメモリ(11b)、Bluetooth Low Energy(登録商標)(11d)、センサ群(加速度センサ、ジャイロ、地磁気センサ)(11e)、24ビットデルタシグマADC、I/O(USB他)を持つ。
プロセッサ11aで何をするかは、通信処理部11dを介して、図示しない外部サーバ(またはパーソナルコンピュータ)から、指令することができる。通信処理部11dでは、ZigBee(登録商標)、Bluetooth(登録商標)、Wi-Fi(登録商標)などの既存通信方式を利用できる。プロセッサ11aでの処理結果は、通信処理部11dを介して、図示しないサーバなどへ送ることができる。
情報処理部11のシステムバスには、ディスプレイ12(12Lと12R)、カメラ13(13Lと13R)、眼動検出部15等が接続されている。図19の各デバイス(11〜15)は、バッテリBATにより給電される。
図19の眼動検出部15は、視線検出センサを構成する4つの眼動検出電極(151a,151b,152a,152b)と、これらの電極から眼動に対応したデジタル信号を取り出す3つのADC(1510、1520、1512)と、これらADCからの出力データ(図11〜図16の検出信号波形に対応したデータ)をプロセッサ11a側に出力する回路を含んでいる。プロセッサ11aは、ユーザの種々な眼動(上下動、左右動、瞬目(瞬き)、眼瞑りなど)から、その眼動の種類に対応する指令を解釈し、その指令を実行する。
眼動の種類に対応する指令の具体例としては、眼動が例えば眼瞑りなら視線の先にある情報項目を選択し(コンピュータマウスのワンクリックに類似)、連続した複数回の瞬目(瞬き)あるいはウインクなら選択された情報項目に対する処理の実行を開始させる(コンピュータマウスのダブルクリックに類似)指令がある。この指令は、眼動検出部15を用いた情報入力Bの一例である。
図20は、ゴーグル型アイウエア(左右両眼のアイフレームが連続したタイプ)100の一例を裏面側から見た図である。このゴーグル型アイウエア100は、フレーム110上のクッション内に図2(または図8)のEOG電極(151a、151b、152a、152b)を持っている。フレーム110内のレンズ部分にはフィルム液晶が貼り付けられ、AR表示を可能にするディスプレイ12L/12Rを構成している。このゴーグル型アイウエア100はさらに、図19で説明した情報処理部11と電池BATも持っている。
図21は、ユーザの顔面と接触する面上の適切な位置(図8等を参照)に眼電位検出電極が配置された場合のゴーグル型アイウエア(左右両眼のアイカップが分離したタイプ)100の一例を正面側から見た図である。このゴーグル型アイウエア100も、AR表示を可能にするディスプレイ12L/12Rおよび、図19で説明した情報処理部11と電池BATを持っている。
図21のゴーグル型アイウエア100は、EOG電極(151a、151b、152a、152b)の配置方法は図18のメガネ型と同様であるが、ゴーグル本体をユーザの頭部にバンド固定する構成を持つため、図18よりも電極の接触状態の安定性が高い。
<一実施の形態における要点の纏め>
(1)一実施の形態に係る眼電位検出装置(図1、図2、図7等)では、ユーザの両眼周辺において、最小4個のEOG電極を、以下の条件に合うように配置する:
左眼側の電極2個(152a、152b)と右眼側の電極2個(151a、151b)は、左右両眼の中心を結ぶ線の中点から垂直方向に引いた線(例えばユーザの鼻筋に沿った線)に対して線対称に配置、かつ
左右両眼の中心を結ぶ線よりも上側の電極2個(152a、151a)および下側の電極2個(152b、151b)は、左眼中心(P1)を通る垂線を左右に跨ぐと眼電位の検出極性が変る変曲域を含む左所定範囲(AXL)と、右眼中心(P2)を通る垂線を左右に跨ぐと眼電位の検出極性が変る変曲域を含む右所定範囲(AXL)を避けて、配置。
(2)他の実施の形態に係る眼電位検出装置(図2等)では、大きな眼動検出信号振幅を得ること、および水平垂直情報(左右眼動と上下眼動の情報)の相互混入排除の両面から、ユーザの両眼に対向する所定領域内(例えばフレーム110の形状内)において、最小4個のEOG電極を、以下の条件に合うように配置する:
左眼側の電極2個(152a、152b)と右眼側の電極2個(151a、151b)は、左右両眼の中心を結ぶ線の中点から垂直方向に引いた線(例えばユーザの鼻筋に沿った線)に対して線対称に配置、
左眼側の電極2個(152a、152b)は左の眼球中心(P1)から点対称、および右眼側の電極2個(151a、151b)は右の眼球中心(P2)から点対称、かつ
左右両眼の中心を結ぶ線よりも下側の電極2個(152b、151b)は、左眼中心(P1)の周辺に存在し眼電位の検出極性が変る変曲域を含む左所定範囲(AXL)と、右眼中心(P2)の周辺に存在し眼電位の検出極性が変る変曲域を含む右所定範囲(AXL)を避けつつ、左右の所定範囲(AXL、AXR)の外側に配置。
(3)垂直方向の眼球移動の検出(両眼、片眼、共通)に関しては、最小2個のEOG電極を、以下の条件に合うように配置する(図3〜図6等):
右側の電極2個(151a、151c)または左側の電極2個(152a、152c)は、両眼の中心を結ぶ水平線に対して線対称で、
右または左の眼球中心から垂直方向に配置され、かつ、その眼球の直径(大人の眼球は約25mm)よりも外側(なるべく眼球中心寄り)。
(4)水平方向の眼球移動の検出(両眼の場合)に関しては、最小2個のEOG電極を、以下の条件に合うように配置する(図3、図4等):
両眼の中心を結ぶ水平線上で、左右眼球の外側(図3の例では152bと151b:大人の両眼中心間隔を約65mmとし、眼球直径を約25mmとすれば、水平方向の電極間隔は約90mm)。
(5)水平方向の眼球移動の検出(両眼の場合)に関しては、最小2個のEOG電極を、以下の条件に合うように配置する(図2、図5、図6等):
両眼の中心を結ぶ水平線の下および/または上で、左右眼球の外側(図2、図5の例では152bと151b;図6の例では152bと151b、および/または152dと151d)。
上記の条件にあうEOG電極配置を持つ装置としては、ユーザが身に付けるアイウエア(図18、図20、図21等)と、ユーザが身に付けるものではなく使用時にユーザが顔を接触させる機材(図示せず)がある。前者のアイウエアの典型例として、ゴーグルがある。また、後者の機材の典型例としては、望遠鏡、顕微鏡、あるいはペリスコープの接眼部がある。
実施の形態を参照して説明した眼電位検出技術を例えばゴーグル型ウェアラブルデバイス(皮膚接触部分にクッションを持つデバイス)に適用する事により、EOG電極の皮膚接触によるユーザの不快感を構造的に低減できる。
更に、ゴーグル型では電極配置の自由度が大きいため、電極の位置および個数を最適化する事ができ、眼動検出の精度や信頼性を向上させる事ができる。
<出願当初請求項の内容と実施形態との対応関係例>
[1]一実施の形態に係る眼電位検出装置は、最小限4個の電極(151a、151b、152a、152b)を用いて眼電位を検出する。この装置において、左眼側の電極2個(152a、152b)と右眼側の電極2個(151a、151b)は、左右両眼の中心を結ぶ線の中点から垂直方向に引いた線(例えばユーザの鼻筋に沿った線)に対して線対称に配置される。左右両眼の中心を結ぶ線よりも下側の電極2個(152b、151b)は、左眼中心位置(P1)を通る垂線を左右に跨ぐと眼電位の検出極性が変る変曲域を含む左所定範囲(AXL)と、右眼中心位置(P2)を通る垂線を左右に跨ぐと眼電位の検出極性が変る変曲域を含む右所定範囲(AXL)を避けて配置される。そして、前記下側の電極2個(152b、151b)から左右方向の眼動に対応した第1のチャネル信号(大振幅のCh0信号)を検出する。
[2]前記右眼側の電極2個(151a、151b)から第2のチャネル信号(Ch1)を検出し、前記左眼側の電極2個(152a、152b)から第3のチャネル信号(Ch2)を検出する。左右方向の眼動に対して前記第2チャネル信号(Ch1)と前記第3チャネル信号(Ch2)が逆相となる期間(図11のTX20−1)において、前記第1チャネル信号(Ch0)により前記左右方向の眼動を検出する。
[3]前記右眼側の電極2個(151a、151b)から第2のチャネル信号(Ch1)を検出し、前記左眼側の電極2個(152a、152b)から第3のチャネル信号(Ch2)を検出する。前記第1、第2、または第3チャネル信号(Ch0、Ch1、またはCh2)に対して(左右方向、上下方向などの)眼動に関するキャリブレーションを行うときにユーザの視線が向く位置に、1以上のマーカー(M01、M02、M11、M12、P1、P2)が配設される。
[4]左右両眼の中心を結ぶ線よりも上側の電極2個(図2の152a、151a)は、前記左眼中心位置(P1)を通る垂線と前記右眼中心位置(P2)を通る垂線とで挟まれる領域の内側で、前記左所定範囲(AXL)と前記右所定範囲(AXL)を避けて配置される。
[5]左右両眼の中心を結ぶ線よりも上側の電極2個(図6の152d、151d)は、前記左眼中心位置(P1)を通る垂線と前記右眼中心位置(P2)を通る垂線とで挟まれる領域の外側で、前記左所定範囲(AXL)と前記右所定範囲(AXL)を避けて配置され、前記左右両眼の中心を結ぶ線よりも上側の電極2個(図6の152d、151d)から第4のチャネル信号(Ch3)を検出される。
[6]一実施の形態に係る眼電位検出装置は、最小限4個の電極(151a、151b、152a、152b)を用いて眼電位を検出する。この装置において、左眼側の電極2個(152a、152b)と右眼側の電極2個(151a、151b)は、左右両眼の中心を結ぶ線の中点から垂直方向に引いた線(例えばユーザの鼻筋に沿った線)に対して線対称に配置される。前記左眼側の電極2個(152a、152b)は左の眼球中心位置(P1)から点対称に配置され、前記右眼側の電極2個(151a、151b)は右の眼球中心位置(P2)から点対称に配置される。左右両眼の中心を結ぶ線よりも下側の電極2個(152b、151b)の間隔(例えば124mm)は左右両眼の中心間隔(例えば65mm)よりも所定値(例えば50mm)以上広くなるように配置される。そして、左右両眼の中心を結ぶ線よりも下側の電極2個(152b、151b)から左右方向の眼動に対応した第1のチャネル信号(大振幅のCh0信号)を検出する。
[7]前記所定値は、平均的な大人の左右眼球の直径(約25mm)の和(約50mm)よりも大きい。
[8]前記右眼側の電極2個(151a、151b)から第2のチャネル信号(Ch1)を検出し、前記左眼側の電極2個(152a、152b)から第3のチャネル信号(Ch2)を検出する。そして、左右方向の眼動に対して前記第2チャネル信号(Ch1)と前記第3チャネル信号(Ch2)が逆相となる期間(図11のTX20−1)において、前記第1チャネル信号(Ch0)により前記左右方向の眼動を検出する。
[9]前記右眼側の電極2個(151a、151b)から第2のチャネル信号(Ch1)を検出し、前記左眼側の電極2個(152a、152b)から第3のチャネル信号(Ch2)を検出する。前記第1、第2、または第3チャネル信号(Ch0、Ch1、またはCh2)に対して(左右方向、上下方向などの)眼動に関するキャリブレーションを行うときに、ユーザの視線が向く位置に、1以上のマーカー(M01、M02、M11、M12、P1、P2)が配設される。
[10][1]の装置において、ユーザの顔面に接するフレーム(110)に前記電極(151a、151b、152a、152b)が組み込まれたアイウエア(図20のゴーグルなど)を提供する。
[11][1]の装置において、前記電極(151a、151b、152a、152b)が組み込まれたフレーム(図2などの110)を提供する。このフレームは、望遠鏡など、アイウエア以外の接眼部に利用できる。
[12][1]の装置において、前記最小限4個の電極(151a、151b、152a、152b)のうちの少なくとも2つの電極から検出される信号(Ch0信号、Ch1信号、Ch2信号)に基づいて、瞬目(瞬き)、眼瞑り、左右の眼動、上下の眼動、または左右のウインクを検出する。
[13][6]の装置において、ユーザの顔面に接するフレーム(110)に前記電極(151a、151b、152a、152b)が組み込まれたアイウエア(図20のゴーグルなど)を提供する。
[14][6]の装置において、前記電極(151a、151b、152a、152b)が組み込まれたフレーム(図2などの110)を提供する。このフレームは、望遠鏡など、アイウエア以外の接眼部に利用できる。
[15][6]の装置において、前記最小限4個の電極(151a、151b、152a、152b)のうちの少なくとも2つの電極から検出される信号(Ch0信号、Ch1信号、Ch2信号)に基づいて、瞬目(瞬き)、眼瞑り、左右の眼動、上下の眼動、または左右のウインクを検出する。
[16]他の実施の形態に係る方法は、最小限4個の電極(151a、151b、152a、152b)を用いて眼電位を検出する眼電位検出装置を用いる。この装置では、左眼側の電極2個(152a、152b)と右眼側の電極2個(151a、151b)が、左右両眼の中心を結ぶ線の中点から垂直方向に引いた線に対して線対称に配置される。また、左右両眼の中心を結ぶ線よりも下側の電極2個(152b、151b)は、左眼中心位置(P1)を通る垂線を左右に跨ぐと眼電位の検出極性が変る変曲域を含む左所定範囲(AXL)と、右眼中心位置(P2)を通る垂線を左右に跨ぐと眼電位の検出極性が変る変曲域を含む右所定範囲(AXL)を避けて配置される。この方法において、
前記下側の電極2個(152b、151b)から左方向の眼動に対応した極性(図11の例では、信号レベル増加方向の極性)の信号(図12の期間TX20−1における大振幅の上向きCh0信号)を検出し、前記下側の電極2個(152b、151b)から右方向の眼動に対応した別極性(図11の例では、信号レベル減少方向の極性)の信号(図12の期間TX20−1における大振幅の下向きCh0信号)を検出する。
[17][16]の方法で検出される前記信号(図12の期間TX20−1における大振幅のCh0信号)に対して、ユーザ毎にキャリブレーション(図17)を行う。
この発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。
例えば、実施形態では人の眼電位を検出する場合で説明を行ったが、本願の実施形態は、帯電した眼球を持つ生物(例えばチンパンジー)の眼電位検出に利用することも可能である。
これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。なお、開示された複数の実施形態のうちのある実施形態の一部あるいは全部と、開示された複数の実施形態のうちの別の実施形態の一部あるいは全部を、組み合わせることも、発明の範囲や要旨に含まれる。
100…アイウエア(ゴーグル型またはメガネ型);110…アイフレーム;11…情報処理部(プロセッサ11a、不揮発性メモリ11b、メインメモリ11c、通信処理部11dなどを含む集積回路);BAT…電源(リチウムイオン電池など);12…ディスプレイ部(右ディスプレイ12Rと左ディスプレイ12L:フィルム液晶など);IM1…右表示画像(テンキー、アルファベット、文字列、アイコンなど);IM2…左表示画像(テンキー、アルファベット、文字列、アイコンなど);13…カメラ(右カメラ13Rと左カメラ13L、またはブリッジ103部分に取り付けられた図示しないセンターカメラ);15…眼動検出部(視線検出センサ);1510…右側(Ch1)ADコンバータ;1520…左側(Ch2)ADコンバータ;1512…左右間(Ch0)ADコンバータ;1514…左右間(Ch3)ADコンバータ。

Claims (8)

  1. 最低限4個の電極を用いて眼電位を検出する装置において、
    左眼側第1電極と右眼側第1電極が、左右両眼の中心を結ぶ線よりも上側に配置され、前記左右両眼の中心を結ぶ線の中点から垂直方向に引いた線に対して線対称に配置され、
    左眼側第2電極と右眼側第2電極が、前記左右両眼の中心を結ぶ線よりも下側に配置され、前記左右両眼の中心を結ぶ線の中点から垂直方向に引いた線に対して線対称に配置され、
    前記左眼側第2電極は、左眼中心位置を通る垂線を左右に跨ぐと眼電位の検出極性が変る変曲域を含む左所定範囲を避けて配置され、
    前記右眼側第2電極は、右眼中心位置を通る垂線を左右に跨ぐと眼電位の検出極性が変る変曲域を含む右所定範囲を避けて配置され、
    前記左眼側第1電極は、前記左眼中心位置を通る垂線と前記右眼中心位置を通る垂線とで挟まれる領域の内側で、前記左所定範囲を避けて配置され、
    前記右眼側第1電極は、前記左眼中心位置を通る垂線と前記右眼中心位置を通る垂線とで挟まれる領域の内側で、前記右所定範囲を避けて配置され、
    前記左眼側第1電極と前記左眼側第2電極は左眼球の中心位置から点対称に配置され、
    前記右眼側第1電極と前記右眼側第2電極は右眼球の中心位置から点対称に配置され、
    前記左眼側第2電極と前記右眼側第2電極の間隔は前記左右両眼の中心間隔よりも所定値以上広くなるように配置され、
    前記左眼側第2電極と前記右眼側第2電極から左右方向の眼動に対応した第1チャネル信号を検出し、
    前記右眼側第1電極と前記右眼側第2電極から第2チャネル信号を検出し、
    前記左眼側第1電極と前記左眼側第2電極から第3チャネル信号を検出し、
    左右方向の眼動に対して前記第2チャネル信号と前記第3チャネル信号が逆相となる期間において、前記第1チャネル信号により前記左右方向の眼動を検出するように構成した眼電位検出装置。
  2. 前記第1チャネル信号前記第2チャネル信号、または前記第3チャネル信号に対して眼動に関するキャリブレーションを行うときに、ユーザの視線が向く位置に配設される1以上のマーカーを備えた、請求項1に記載の眼電位検出装置。
  3. ユーザの顔面に接するフレームを持ち、このフレームに、請求項1に記載された眼電位検出装置が組み込まれたアイウエア。
  4. 請求項1に記載された眼電位検出装置が組み込まれたフレーム。
  5. 前記第1チャネル信号と前記第2チャネル信号と前記第3チャネル信号に基づいて、瞬目(瞬き)、眼瞑り、左右の眼動、上下の眼動、または左右のウインクを検出するように構成した、請求項1に記載の眼電位検出装置。
  6. 前記所定値が、平均的な大人の左右眼球の直径の和よりも大きくなるように構成した、請求項に記載の眼電位検出装置。
  7. 左眼側第1電極と右眼側第1電極が、左右両眼の中心を結ぶ線よりも上側に配置され、前記左右両眼の中心を結ぶ線の中点から垂直方向に引いた線に対して線対称に配置され、
    左眼側第2電極と右眼側第2電極が、前記左右両眼の中心を結ぶ線よりも下側に配置され、前記左右両眼の中心を結ぶ線の中点から垂直方向に引いた線に対して線対称に配置され、
    前記左眼側第2電極は、左眼中心位置を通る垂線を左右に跨ぐと眼電位の検出極性が変る変曲域を含む左所定範囲を避けて配置され、
    前記右眼側第2電極は、右眼中心位置を通る垂線を左右に跨ぐと眼電位の検出極性が変る変曲域を含む右所定範囲を避けて配置され、
    前記左眼側第1電極は、前記左眼中心位置を通る垂線と前記右眼中心位置を通る垂線とで挟まれる領域の内側で、前記左所定範囲を避けて配置され、
    前記右眼側第1電極は、前記左眼中心位置を通る垂線と前記右眼中心位置を通る垂線とで挟まれる領域の内側で、前記右所定範囲を避けて配置され、
    前記左眼側第1電極と前記左眼側第2電極は左眼球の中心位置から点対称に配置され、
    前記右眼側第1電極と前記右眼側第2電極は右眼球の中心位置から点対称に配置され、
    前記左眼側第2電極と前記右眼側第2電極の間隔は前記左右両眼の中心間隔よりも所定値以上広くなるように配置された装置を用いる眼電位検出方法において、
    前記左眼側第2電極と前記右眼側第2電極から左右方向の眼動に対応した第1チャネル信号を検出し、
    前記右眼側第1電極と前記右眼側第2電極から第2チャネル信号を検出し、
    前記左眼側第1電極と前記左眼側第2電極から第3チャネル信号を検出し、
    左右方向の眼動に対して前記第2チャネル信号と前記第3チャネル信号が逆相となる期間において、前記第1チャネル信号により前記左右方向の眼動を検出するように構成した眼電位検出方法。
  8. 前記第1チャネル信号と前記第2チャネル信号と前記第3チャネル信号に対してユーザ毎にキャリブレーションを行う請求項7に記載の眼電位検出方法。
JP2015232083A 2015-11-27 2015-11-27 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム Active JP6426589B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015232083A JP6426589B2 (ja) 2015-11-27 2015-11-27 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム
US15/253,077 US10602953B2 (en) 2015-11-27 2016-08-31 Electro-oculographic detector and electro-oculographic detection method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015232083A JP6426589B2 (ja) 2015-11-27 2015-11-27 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム

Publications (2)

Publication Number Publication Date
JP2017093984A JP2017093984A (ja) 2017-06-01
JP6426589B2 true JP6426589B2 (ja) 2018-11-21

Family

ID=58777792

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015232083A Active JP6426589B2 (ja) 2015-11-27 2015-11-27 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム

Country Status (2)

Country Link
US (1) US10602953B2 (ja)
JP (1) JP6426589B2 (ja)

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108779974A (zh) * 2016-02-26 2018-11-09 株式会社布林卡姆 信号输出装置以及摄像装置
US10289196B2 (en) * 2016-07-01 2019-05-14 North Inc. Techniques for ocular control
JP6871104B2 (ja) * 2017-07-31 2021-05-12 株式会社東芝 帽子及びヘッドウェア
JP7170258B2 (ja) * 2017-08-10 2022-11-14 ヤマハ発動機株式会社 ウェアラブルデバイス対応眼電位データ処理装置、それを備えた眼鏡型ウェアラブルデバイス、及びウェアラブルデバイス対応眼電位データ処理方法
WO2019089801A2 (en) * 2017-10-31 2019-05-09 OCTHealth, LLC Apparatus and method for self-administration of optical scanning of a person's eye optical system
FR3078410B1 (fr) * 2018-02-28 2020-03-13 Universite De Lorraine Dispositif d'exploration du systeme visuel
WO2019178557A1 (en) * 2018-03-15 2019-09-19 Vizzario, Inc. Modular display and sensor system for attaching to eyeglass frames and capturing physiological data
JP6774975B2 (ja) * 2018-03-19 2020-10-28 株式会社東芝 眼球回転検出装置、電子機器及びシステム
EP3570268B1 (en) 2018-05-17 2024-01-24 IMEC vzw An active matrix display and a method for driving an active matrix display
GB2574580B (en) * 2018-05-25 2023-03-29 Uea Enterprises Ltd Portable wearable eye movement monitoring system, device and monitoring method
CN108733217A (zh) * 2018-07-24 2018-11-02 高维度(深圳)生物信息智能应用有限公司 眼电信号处理电路及基于眼电的人机交互系统
US10943407B1 (en) 2019-01-25 2021-03-09 Wellovate, LLC XR health platform, system and method
EP3725221A1 (en) * 2019-04-18 2020-10-21 Stichting IMEC Nederland System, device and method for eye activity monitoring
US11786694B2 (en) 2019-05-24 2023-10-17 NeuroLight, Inc. Device, method, and app for facilitating sleep
CN110441912B (zh) * 2019-08-27 2024-04-19 高维度(深圳)生物信息智能应用有限公司 一种便携眼镜智能穿戴设备及其控制方法
WO2021072073A1 (en) * 2019-10-09 2021-04-15 PARDUE, Machelle, T. Devices, systems, and methods for performing electroretinography
JP6957695B1 (ja) * 2020-07-30 2021-11-02 株式会社ジンズホールディングス プログラム、情報処理方法、及び情報処理装置
US20240281061A1 (en) * 2021-06-21 2024-08-22 University Of Houston System Skin-attachable sensor system and method for tracking eye movement and position
US11874958B2 (en) * 2021-09-24 2024-01-16 Apple Inc. Eye detection methods and devices
CN113867378A (zh) * 2021-09-30 2021-12-31 江苏集萃脑机融合智能技术研究所有限公司 基于眼电的飞行器控制方法、控制系统及飞行装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
JP4722573B2 (ja) * 2005-06-10 2011-07-13 株式会社エヌ・ティ・ティ・ドコモ 顔面情報検出装置および顔面情報検出式通信装置
JP2009288529A (ja) 2008-05-29 2009-12-10 Keio Gijuku 視野領域抽出装置、映像表示装置、視野領域抽出方法、映像表示方法、視野領域抽出プログラム、及び映像表示プログラム
JP5490664B2 (ja) 2009-11-18 2014-05-14 パナソニック株式会社 眼電位推定装置、眼電位算出方法、視線検出装置、ウェアラブルカメラ、ヘッドマウントディスプレイおよび電子めがね
JP5661067B2 (ja) 2012-05-29 2015-01-28 株式会社ジェイアイエヌ アイウエア
JP2014124308A (ja) * 2012-12-26 2014-07-07 Panasonic Corp 眼電位生成装置、眼電位生成方法およびビューワー
US9946340B2 (en) 2014-11-06 2018-04-17 Kabushiki Kaisha Toshiba Electronic device, method and storage medium

Also Published As

Publication number Publication date
US20170150897A1 (en) 2017-06-01
JP2017093984A (ja) 2017-06-01
US10602953B2 (en) 2020-03-31

Similar Documents

Publication Publication Date Title
JP6426589B2 (ja) 眼電位検出装置、眼電位検出方法、アイウエア及びフレーム
Cognolato et al. Head-mounted eye gaze tracking devices: An overview of modern devices and recent advances
JP6407824B2 (ja) メガネ型ウエアラブル端末およびこの端末を用いる方法
Nam et al. GOM-Face: GKP, EOG, and EMG-based multimodal interface with application to humanoid robot control
JP6774975B2 (ja) 眼球回転検出装置、電子機器及びシステム
JP6535123B2 (ja) 眼球運動検出装置及び眼球運動検出方法
JP6342440B2 (ja) 眼球運動検出装置、眼球運動検出方法、およびアイウエア
US20240134449A1 (en) Eye detection methods and devices
JP6524320B2 (ja) メガネ型ウエアラブル端末およびこの端末を用いる方法
JP2023174820A (ja) ウェアラブル機器及び表示方法
TWI689283B (zh) 眼睛輻輳啟用之眼睛追跡方法及系統
WO2016093096A1 (ja) プログラム、情報処理装置、及びアイウエア
Schäfer et al. Feasibility analysis of sensor modalities to control a robot with eye and head movements for assistive tasks
JPWO2017077601A1 (ja) 情報処理方法、情報処理装置、プログラム及びアイウエア
JP6830981B2 (ja) ウェアラブル機器及び表示方法
WO2016076268A1 (ja) プログラム、情報処理装置、及びアイウエア
JP2021009719A (ja) 電子機器及び表示方法
JP6594953B2 (ja) 視線移動検出方法、プログラム、情報処理装置及びアイウエア
JP2017227941A (ja) プログラム、情報処理装置、及びアイウエア
WO2021260829A1 (ja) 情報入力装置
WO2017064799A1 (ja) アイウエア
JP2022059595A (ja) 電子機器及び表示方法
JP2015205030A (ja) アイウエア
WO2017122533A1 (ja) 眼電位キャリブレーション装置、眼鏡型電子機器、眼電位キャリブレーション方法およびプログラム
Abbasimoshaei et al. Application of Eye-Tracking for a 3-DOF Robot Assisted Medical System

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180129

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180406

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180925

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20181025

R151 Written notification of patent or utility model registration

Ref document number: 6426589

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151