JPH07334297A - 視覚入力装置 - Google Patents

視覚入力装置

Info

Publication number
JPH07334297A
JPH07334297A JP6130077A JP13007794A JPH07334297A JP H07334297 A JPH07334297 A JP H07334297A JP 6130077 A JP6130077 A JP 6130077A JP 13007794 A JP13007794 A JP 13007794A JP H07334297 A JPH07334297 A JP H07334297A
Authority
JP
Japan
Prior art keywords
frame
eyeball
menu
goggles
input device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP6130077A
Other languages
English (en)
Inventor
Susumu Toki
将 土岐
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP6130077A priority Critical patent/JPH07334297A/ja
Publication of JPH07334297A publication Critical patent/JPH07334297A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

(57)【要約】 【目的】 検出確度を向上させた視覚入力装置を得る。 【構成】 操作者の眼球周辺に接触され眼球の動作に応
じた筋肉の変化量を電圧変化の筋電位量として検出する
筋電位検出部6と、光信号を発射するフレーム信号発生
部5とをゴーグル1に設ける。表示部2は所定の文字、
記号等の被選択部品により構成されるメニューを表示
し、表面にはフレーム信号発生部5の発射する光信号を
検出するフレーム位置検出部7が設けられる。筋電位変
位量は変位座標算出部11に入力されメニュー上の視点
位置が算出され、視点と一致した被選択部品が選択され
る。この視点位置の算出において、フレーム位置検出部
7の検出信号に基づきフレーム座標算出部10がゴーグ
ル1の位置から眼球の位置変動を検出し補正を加える。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、視覚入力装置に関し、
特に、筋電位の検出による視覚入力装置に関する。
【0002】
【従来の技術】従来、この種の視覚入力装置は、視覚を
利用したコンピュータ等の入力装置であり、主として手
・指等の動作に障害のあるいわゆる障害者のための入力
装置を目的としている。その他、仮想空間体験装置、ゲ
ーム機器等への応用も可能である。
【0003】従来の視覚入力装置は、例えば、眼球の場
所によって反射光の強度が異なる現象を利用して構成さ
れている。構成の内容を更に説明すると、ユーザの眼球
へ光を投射し、網膜で反射された反射光を受光し、この
光の強度分布によりユーザが凝視している表示装置の画
面上の標的点を検出する。眼球の位置つまり視線の位置
を光学的に検出することにより、キーボード入力に代替
えし、身体障害者によるコンピュータ入力を容易化して
いる。
【0004】本発明の技術分野と関連する従来例を例示
する。特公昭60−017125号公報には、瞳孔信号
からユーザが凝視する表示装置の画面上の標的点を検出
することにより、データの入力を行う技術が記載されて
いる。この瞳孔信号とは、データを入力しようとするユ
ーザの眼球に瞳孔の背後から光を投射し、眼球の網膜で
反射される光によって生じる信号のことである。
【0005】
【発明が解決しようとする課題】しかしながら、従来の
視覚入力装置におけるユーザの眼球へ投射する光源と眼
球および瞳孔信号を読取るセンサと、所定の光軸との設
定および校正は簡易でない。このため、キャリブレーシ
ョンの精度により得られる座標位置の精度が大きく左右
され、総合的な検出の信頼性と安定度に欠ける。また、
眼球の網膜で反射される光は極めて微弱な信号であり、
これを検出し左右の眼球の焦点、つまり視点の精度の高
い検出には大きな困難が伴う。本発明は、検出確度を向
上させ得る視覚入力装置を提供することを目的とする。
【0006】
【課題を解決するための手段】かかる目的を達成するた
め、本発明の視覚入力装置は、操作者の眼球周辺に接触
され眼球の動作に応じた筋肉の電位の変化量を筋電位量
として検出する筋電位検出手段と、所定の文字、記号等
の被選択部品により構成されるメニューを表示する表示
手段と、筋電位量を受信し、この筋電位量に基づき眼球
の表示手段上の視点を算出する演算処理手段とを有し、
表示手段上の視点の位置とメニューの被選択部品とが一
致した被選択部品を操作者が選択したものとして処理す
ることを特徴としている。
【0007】また、筋電位検出手段は、ゴーグルに設け
ると都合がよい。さらに、視覚入力装置は、ゴーグルの
少なくとも3か所から光信号を発射するフレーム信号発
生手段と、表示手段の前面のフレーム信号発生手段に対
向する位置に設けられ光信号を検出しこの検出した受光
信号を出力するフレーム位置検出手段と、受光信号から
ゴーグルの表示手段の前面に対する座標位置を算出する
フレーム座標算出手段とを有し、座標位置に基づいて視
点のメニューの被選択部品の位置に対する補正を行うと
よい。
【0008】
【作用】したがって、本発明の視覚入力装置によれば、
所定の文字、記号等の被選択部品により構成されるメニ
ューを表示し、操作者の眼球周辺に接触され眼球の動作
に応じた筋肉の電位の変化量を筋電位量として検出し、
この筋電位量に基づき眼球の表示されたメニュー上の視
点を算出する。よって、メニュー上の視点の位置とメニ
ューの被選択部品とが一致した被選択部品を操作者が選
択したものとして処理することにより、操作者の特定し
たメニューを検出することが可能となる。
【0009】
【実施例】次に添付図面を参照して本発明による視覚入
力装置の実施例を詳細に説明する。図1〜図3を参照す
ると本発明の視覚入力装置の実施例が示されている。
【0010】図1は本発明の実施例を示すブロック図で
ある。実施例の視覚入力装置は、ユーザの顔面に装着さ
れて眼部の状態等を検出するゴーグル1、入力メニュー
を表示する表示部2、拾捨選択等の入力信号の演算処理
を行う処理部3、およびスイッチ4を有して構成され
る。
【0011】上記各構成部において、ユーザの顔面に装
着されたゴーグル1は、ユーザの眼周辺部の筋電位を検
出することにより、視線位置の変位を検出すると共に、
表示部と顔面の相対的な位置を検出するための光を発射
する。ゴーグルの外観構成の形態例を、図2に概念図と
して示している。このゴーグル1は、更にフレーム信号
発生部5と筋電位検出部6とに分解される。
【0012】フレーム信号発生部5は、ゴーグル1を構
成するフレームの四角に鍵型の形態で設けられた発光部
である。この発光部からは、例えばレーザ光が発射され
る。
【0013】筋電位検出部6は、目の周りの左右各4か
所に設けられ、眼の動きを検出するセンサである。眼球
を動かす筋肉が眼球の四方にあり、この筋肉の伸縮によ
り眼球を上下左右に動かしている。この筋肉の伸縮に応
じて筋電位の変位量が検出される。筋電位検出部6は、
この人体の筋電位を検出するための電極部である。
【0014】ゴーグルの内側の表面に電極が形成され、
ユーザがゴーグル1を顔面に装着するとこの電極が顔面
に接触し、所定の部位の筋電位の検出が可能とされる。
検出された筋電位の信号は、処理部において眼球の動き
として置換され、左右の眼球動作により眼球の視点であ
る標的点が算出される。
【0015】図3は図1の表示部2、処理部3およびス
イッチ4を具体的に示す図である。図3を参照すると、
表示部2には、例えば図に示す様な入力メニューが入力
メニュー表示部8により表示される。その周りには、フ
レーム位置検出部7が設けられており、入力内容表示部
9が、別画面として設けられている。また、処理部3
は、「セット」・「確定」の入力機能を持ったスイッチ
4およびゴーグル1との接続がされている。
【0016】表示部2には、ゴーグル1の位置を検出す
るフレーム位置検出部7と、入力信号の一覧表である入
力メニュー表示部8と、入力済および変換中の内容を表
示する入力内容表示部9とが設けられている。
【0017】フレーム位置検出部7は、表示部の表示前
面の四角に設けられた光信号検出部である。ゴーグル1
に設けられた4か所の各々のフレーム信号発生部5、
5、5、5から光信号が発射される。発射された光信号
は入力メニュー表示部8の周囲にあるフレーム位置検出
部7においてそれぞれ検出される。ゴーグル1のフレー
ム信号発生部5から発射された4個の光信号を、表示部
2のフレーム位置検出部7においてそれぞれ検出するこ
とにより、ゴーグル1と表示部2との位置関係、つまり
ユーザの顔面と表示部2との位置関係を検出することが
可能となる。フレーム位置検出部7が検出した検出信号
は、処理部3へ送られる。
【0018】入力メニュー表示部8は、キーボードのキ
ーに相当する入力信号の一覧表を表示する表示部であ
る。入力メニュー表示部8の構成例が図2に示されてい
る。ユーザは、この入力メニュー表示部8に表示された
メニューの中から欲するものを選択する。メニューの選
択は、ゴーグル1を装着したユーザが欲するメニューに
視点を合わせることにより行う。アポイントされた個別
メニューは、フラッシュ表示、カーソル指示等の視認が
可能な識別状態で表示される。
【0019】入力内容表示部9は、入力済の内容等を表
示する表示部であり、標準的なワープロの画面表示部に
類似する。図2に示した入力内容表示部9は、液晶を用
いて構成された一例を示している。
【0020】処理部3にはフレーム座標算出部10と変
位座標算出部11と目視座標算出部12とが設けられて
おり、処理部3に接続する形でスイッチ4が設けられて
いる。
【0021】フレーム座標算出部10は、ゴーグル1の
表示部2に対する位置を算出する演算部である。フレー
ム信号発生部5とフレーム位置検出部7とは、それぞれ
フレーム座標算出部10と信号線で接続される。フレー
ム座標算出部10は、フレーム信号発生部5から発射さ
れる光信号を制御し、フレーム位置検出部7が検出した
検出信号を受信する。この検出信号に基づき、フレーム
座標算出部10がゴーグル1の表示部2に対する位置を
算出する。
【0022】変位座標算出部11は、ゴーグル1の筋電
位検出部6と信号線で接続され、ユーザの眼球の動きか
ら視点(または標的点)の座標を算出する演算部であ
る。この視点の座標は、ゴーグル1つまりユーザの顔面
に対する座標である。
【0023】目視座標算出部12は、フレーム座標算出
部10の演算データと変位座標算出部11演算データと
を入力データとし、表示部2上のユーザの視点の座標位
置を算出する演算部である。変位座標算出部11によっ
て算出される視点の座標がユーザの顔面に対する座標で
あるため、ユーザの顔面が動いた場合には表示部2に対
するる座標点が変動する。ユーザの顔面の位置変動に係
りなく表示部2上の標的点が変動しない様にするため
に、フレーム座標算出部10により検出された検出信号
に基づいた補正を行う。
【0024】スイッチ4は、セットスイッチと確定スイ
ッチとを有している。これらのスイッチは、個別メニュ
ーの設定、文字変換指令、表示メニュー切替え指令等の
入力を行うためのものである。
【0025】上記の各構成部で構成される視覚入力装置
でユーザが入力を行うに際し、ユーザの視点と表示部上
の標的点との相関関係を定めるための、初期設定が行わ
れる。この初期設定は、ユーザが視点を合せた個別メニ
ューと、識別表示された個別メニューとの位置ズレの現
象が発生する。この視点と識別表示点のズレは、初期設
定により補正する。
【0026】先ずユーザは、図2の様にゴーグル1を顔
面に装着し、図3の入力メニュー表示部8を目視する。
装置立ち上げ時には、目視位置を入力メニュー表示部8
の中央とし、入力メニュー表示部8の中央に視点を合わ
せつつスイッチ4のセットボタンを押す。視覚入力装置
の電源立ち上げ後のこの操作により、処理部3は、フレ
ーム信号発生部5からの信号、筋電位検出部6からの信
号、フレーム位置検出部7からの信号のそれぞれの信号
に基づき、各検出部が検出した信号と表示部2における
標的点との位置関係の関連性を演算し、演算結果を記憶
する。
【0027】上記の手順により初期設定された後は、標
的点の位置は筋電位検出部6から出力される信号によっ
て定まる。また、顔面による基準位置の変動は、フレー
ム位置検出部7からの出力信号により補正がされる。
【0028】フレーム位置検出部7からの出力信号は、
データ入力時のユーザの顔面の動きをとらえている。ユ
ーザがデータの入力を行う際には、入力メニュー表示部
8の目的とする場所へ視線を移動させる。この時、ゴー
グル1に設けられている筋電位検出部6では、眼球の動
きを筋電位としてとらえ、処理部3の変位座標算出部1
1へ送る。変位座標算出部11では、この信号を高速フ
ーリエ変換して動作方向、動作変位を算出する。この情
報と先のフレーム座標算出部10からの情報を目視座標
算出部12へ送ることにより、入力メニュー表示部8上
の目視している位置を算出し、メニュー表示のカーソル
を目視位置へ移動させる。
【0029】目的の所までカーソルが移動したら、スイ
ッチ4の確定を押すことによりデータの入力を行う。入
力されたデータは、入力内容表示部9の画面上に表示さ
れる。例えば、「猫」という入力を行う時の手順として
は、カーソルを「N」へもっていき「確定スイッチ」を
押しカーソルを「E」へもっていき「確定スイッチ」、
同様に「K」、「確定スイッチ」、「O」、「確定スイ
ッチ」の手順で操作する。そして最後に「変換」を選択
し“猫”に変換されたことを確認後に「確定スイッチ」
を操作する。
【0030】以上説明したように、本発明による視覚入
力装置は、眼球の筋電位検出と光による左右眼球間の中
心点とそこから表示部へ垂直にのばした点との位置検出
で目視位置を表示することにより、視覚を利用したコン
ピュータ等へのデータの入力が可能となる。
【0031】尚、上述の実施例は本発明の好適な実施の
一例ではあるがこれに限定されるものではなく本発明の
要旨を逸脱しない範囲において種々変形実施可能であ
る。例えば、実施例ではフレーム信号発生部およびフレ
ーム位置検出部を4か所による構成としたが、3か所以
上に設ければ2次元座標の位置検出が可能である。
【0032】
【発明の効果】以上の説明より明かなように、本発明の
視覚入力装置は、操作者の眼球の動作に応じた筋肉の電
位の変化量を筋電位量として検出し、所定の文字、記号
等の被選択部品により構成されるメニューを表示し、筋
電位量に基づき表示されたメニュー上の操作者の視点を
算出する。算出されたメニュー上の視点の位置とメニュ
ーの被選択部品との一致した被選択部品を操作者が選択
したものとして処理することにより、操作者の特定した
メニューを検出することができる。この手順によりキー
ボード等の手操作を伴わない選択入力が可能となる。
【図面の簡単な説明】
【図1】本発明の視覚入力装置の実施例を示す回路構成
ブロック図である。
【図2】実施例のゴーグルの外観構成と操作者へ装着し
た形態例を示した概念図である。
【図3】実施例の表示部および処理部の構成例を示した
外観斜視図である。
【符号の説明】
1 ゴーグル 2 表示部 3 処理部 4 スイッチ 5 フレーム信号発生部 6 筋電位検出部 7 フレーム位置検出部 8 入力メニュー表示部 9 入力内容表示部 10 フレーム座標算出部 11 変位座標算出部 12 目視座標算出部

Claims (3)

    【特許請求の範囲】
  1. 【請求項1】 操作者の眼球周辺に接触され眼球の動作
    に応じた筋肉の電位の変化量を筋電位量として検出する
    筋電位検出手段と、 所定の文字、記号等の被選択部品により構成されるメニ
    ューを表示する表示手段と、 前記筋電位量を受信し、該筋電位量に基づき前記眼球の
    前記表示手段上の視点を算出する演算処理手段とを有
    し、 前記表示手段上の前記視点の位置と前記メニューの被選
    択部品とが一致した該被選択部品を前記操作者が選択し
    たものとして処理することを特徴とする視覚入力装置。
  2. 【請求項2】 前記筋電位検出手段は、ゴーグルに設け
    られていることを特徴とする請求項1記載の視覚入力装
    置。
  3. 【請求項3】 前記視覚入力装置は、更に前記ゴーグル
    の少なくとも3か所から光信号を発射するフレーム信号
    発生手段と、前記表示手段の前面の前記フレーム信号発
    生手段に対向する位置に設けられ前記光信号を検出し該
    検出した受光信号を出力するフレーム位置検出手段と、
    前記受光信号から前記ゴーグルの前記表示手段の前面に
    対する座標位置を算出するフレーム座標算出手段とを有
    し、前記座標位置に基づいて前記視点の前記メニューの
    被選択部品の位置に対する補正を行うことを特徴とする
    請求項2記載の視覚入力装置。
JP6130077A 1994-06-13 1994-06-13 視覚入力装置 Pending JPH07334297A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP6130077A JPH07334297A (ja) 1994-06-13 1994-06-13 視覚入力装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP6130077A JPH07334297A (ja) 1994-06-13 1994-06-13 視覚入力装置

Publications (1)

Publication Number Publication Date
JPH07334297A true JPH07334297A (ja) 1995-12-22

Family

ID=15025441

Family Applications (1)

Application Number Title Priority Date Filing Date
JP6130077A Pending JPH07334297A (ja) 1994-06-13 1994-06-13 視覚入力装置

Country Status (1)

Country Link
JP (1) JPH07334297A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212287A (ja) * 1996-02-07 1997-08-15 Nec Corp 視点入力装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5872235A (ja) * 1981-10-26 1983-04-30 Komatsu Ltd インタ−フエ−ス
JPH0695797A (ja) * 1990-07-24 1994-04-08 Biocontrol Syst Inc 目視コントローラ
JP4090244B2 (ja) * 2001-03-27 2008-05-28 三星電子株式会社 ナノ気孔を有する物質を製造するための組成物

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5872235A (ja) * 1981-10-26 1983-04-30 Komatsu Ltd インタ−フエ−ス
JPH0695797A (ja) * 1990-07-24 1994-04-08 Biocontrol Syst Inc 目視コントローラ
JP4090244B2 (ja) * 2001-03-27 2008-05-28 三星電子株式会社 ナノ気孔を有する物質を製造するための組成物

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09212287A (ja) * 1996-02-07 1997-08-15 Nec Corp 視点入力装置

Similar Documents

Publication Publication Date Title
JP7153096B2 (ja) アイフィードバックによるコミュニケーションを可能にするシステム及び方法
CN114341779B (zh) 用于基于神经肌肉控制执行输入的系统、方法和界面
JP5887026B2 (ja) ヘッドマウントシステム及びヘッドマウントシステムを用いてディジタル画像のストリームを計算しレンダリングする方法
Kim et al. Quantitative evaluation of a low-cost noninvasive hybrid interface based on EEG and eye movement
US8988373B2 (en) Skin input via tactile tags
JPH0749744A (ja) 頭部搭載型表示入力装置
JP2010145861A (ja) ヘッドマウントディスプレイ
KR20160133306A (ko) 웨어러블 디바이스 및 웨어러블 디바이스의 피드백 제공 방법
JP6834614B2 (ja) 情報処理装置、情報処理方法、およびプログラム
Lee et al. AirTouch: Synchronizing in-air hand gesture and on-body tactile feedback to augment mobile gesture interaction
JP2001356875A (ja) ポインタ表示システム
Hu et al. StereoPilot: A wearable target location system for blind and visually impaired using spatial audio rendering
CN110140166A (zh) 用于向计算机提供免手工输入的系统
CN109984911B (zh) 一种具有虚拟现实功能的按摩设备及其控制方法
CN111563459A (zh) 一种手指动作采集方法及手指动作采集设备
US20210117663A1 (en) Control apparatus, information processing system, control method, and program
JPH07334297A (ja) 視覚入力装置
JP2012194626A (ja) 表示装置
JPS5872235A (ja) インタ−フエ−ス
CN114052649A (zh) 一种基于虚拟现实和眼动追踪技术的交替遮盖斜视诊断方法
US7145550B2 (en) Method and apparatus for reducing repetitive motion injuries in a computer user
JPH11184621A (ja) 視線入力装置
JPH1173273A (ja) 肢体不自由者用入力装置
CN111589099A (zh) 一种激光感应系统及激光感应方法
US11493994B2 (en) Input device using bioelectric potential

Legal Events

Date Code Title Description
A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 19970617