JPH06274269A - 視線入力装置 - Google Patents
視線入力装置Info
- Publication number
- JPH06274269A JPH06274269A JP5064495A JP6449593A JPH06274269A JP H06274269 A JPH06274269 A JP H06274269A JP 5064495 A JP5064495 A JP 5064495A JP 6449593 A JP6449593 A JP 6449593A JP H06274269 A JPH06274269 A JP H06274269A
- Authority
- JP
- Japan
- Prior art keywords
- pupil
- reflection image
- input
- corneal reflection
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
- Position Input By Displaying (AREA)
Abstract
(57)【要約】
【目的】 スイッチをオペレータの手の届かないところ
に配置可能とし，装置デザインの自由度を向上させ，か
つ，長時間作業時の疲労度を低減させる。 【構成】 人間１０１の眼球部を照明する近赤外光源１
０２ａと，近赤外光源１０２ａと共軸になるように配置
され，近赤外光源１０２ａによって照明された領域の明
るさ分布を入力するＣＣＤカメラ１０２ｃと，ＣＣＤカ
メラ１０２ｃの入力データから瞳孔および角膜反射像の
位置を抽出する瞳孔・角膜反射像抽出部１０８と，瞳孔
・角膜反射像抽出部１０８で抽出した瞳孔および角膜反
射像の位置に基づいて，ＣＣＤカメラ１０２ｃが人間に
注視されているか否かを判定する注視判定部１０９と，
注視判定部１０９によって注視されていると判定された
場合，予めＣＣＤカメラ１０２ｃと対応させて記憶させ
てある情報を出力するセレクタＣ１１０および文字入力
部１１１とを備えている。
に配置可能とし，装置デザインの自由度を向上させ，か
つ，長時間作業時の疲労度を低減させる。 【構成】 人間１０１の眼球部を照明する近赤外光源１
０２ａと，近赤外光源１０２ａと共軸になるように配置
され，近赤外光源１０２ａによって照明された領域の明
るさ分布を入力するＣＣＤカメラ１０２ｃと，ＣＣＤカ
メラ１０２ｃの入力データから瞳孔および角膜反射像の
位置を抽出する瞳孔・角膜反射像抽出部１０８と，瞳孔
・角膜反射像抽出部１０８で抽出した瞳孔および角膜反
射像の位置に基づいて，ＣＣＤカメラ１０２ｃが人間に
注視されているか否かを判定する注視判定部１０９と，
注視判定部１０９によって注視されていると判定された
場合，予めＣＣＤカメラ１０２ｃと対応させて記憶させ
てある情報を出力するセレクタＣ１１０および文字入力
部１１１とを備えている。
Description
【０００１】
【産業上の利用分野】本発明は，人間の視線（注視）に
よってデータ入力を行う視線入力装置に関する。
よってデータ入力を行う視線入力装置に関する。
【０００２】
【従来の技術】従来の入力装置としては，例えば，機械
式スイッチ，電気式スイッチ，或いは電子式スイッチ等
が知られている。このような入力装置では，オペレータ
が操作対象となるスイッチを押下，タッチ，或いは切り
換える等の操作を行うことにより，該当するスイッチに
対応した情報が入力される構成である。
式スイッチ，電気式スイッチ，或いは電子式スイッチ等
が知られている。このような入力装置では，オペレータ
が操作対象となるスイッチを押下，タッチ，或いは切り
換える等の操作を行うことにより，該当するスイッチに
対応した情報が入力される構成である。
【０００３】
【発明が解決しようとする課題】しかしながら，上記従
来の入力装置によれば，オペレータが操作対象となるス
イッチを目で探して手で操作するという一連の作業が必
要であるため，オペレータの手の届くところに全てのス
イッチを設置しなければならず，装置のデザイン上の制
約になるという問題点があった。特に，スイッチ数の多
い場合には，スイッチのレイアウトが困難になるという
不都合もあった。
来の入力装置によれば，オペレータが操作対象となるス
イッチを目で探して手で操作するという一連の作業が必
要であるため，オペレータの手の届くところに全てのス
イッチを設置しなければならず，装置のデザイン上の制
約になるという問題点があった。特に，スイッチ数の多
い場合には，スイッチのレイアウトが困難になるという
不都合もあった。
【０００４】また，コンピュータ作業等において，入力
装置としてキーボードを用いた場合，オペレータは入力
を実行するキーボードと，その結果が表示されるＣＲＴ
（表示装置）との間で視線を頻繁に動かさなければなら
ないため，長時間の作業では身体的な疲労が大きくなる
という問題点もあった。
装置としてキーボードを用いた場合，オペレータは入力
を実行するキーボードと，その結果が表示されるＣＲＴ
（表示装置）との間で視線を頻繁に動かさなければなら
ないため，長時間の作業では身体的な疲労が大きくなる
という問題点もあった。
【０００５】本発明は，上記に鑑みてなされたものであ
って，スイッチをオペレータの手の届かないところに配
置可能とし，装置デザインの自由度を向上させ，かつ，
長時間作業時の疲労度を低減させることを目的とする。
って，スイッチをオペレータの手の届かないところに配
置可能とし，装置デザインの自由度を向上させ，かつ，
長時間作業時の疲労度を低減させることを目的とする。
【０００６】
【課題を解決するための手段】本発明は，上記の目的を
達成するために，人間の眼球部を照明する光源手段と，
光源手段と共軸になるように配置され，光源手段によっ
て照明された領域の明るさ分布を入力する入力手段と，
入力手段の入力データから瞳孔および角膜反射像の位置
を抽出する瞳孔・角膜反射像抽出手段と，瞳孔・角膜反
射像抽出手段で抽出した瞳孔および角膜反射像の位置に
基づいて，入力手段が人間に注視されているか否かを判
定する注視判定手段と，注視判定手段によって注視され
ていると判定された場合，予め入力手段と対応させて記
憶させてある情報を出力する情報出力手段とを備えた視
線入力装置を提供するものである。
達成するために，人間の眼球部を照明する光源手段と，
光源手段と共軸になるように配置され，光源手段によっ
て照明された領域の明るさ分布を入力する入力手段と，
入力手段の入力データから瞳孔および角膜反射像の位置
を抽出する瞳孔・角膜反射像抽出手段と，瞳孔・角膜反
射像抽出手段で抽出した瞳孔および角膜反射像の位置に
基づいて，入力手段が人間に注視されているか否かを判
定する注視判定手段と，注視判定手段によって注視され
ていると判定された場合，予め入力手段と対応させて記
憶させてある情報を出力する情報出力手段とを備えた視
線入力装置を提供するものである。
【０００７】なお，前述した注視判定手段は，瞳孔中心
と角膜反射像中心との距離に基づいて，注視判定を行う
ことが望ましい。
と角膜反射像中心との距離に基づいて，注視判定を行う
ことが望ましい。
【０００８】
【作用】光源手段によって人間の眼球部を照明し，入力
手段で照明された領域の明るさ分布を入力する。続い
て，瞳孔・角膜反射像抽出手段が入力手段の入力データ
から瞳孔および角膜反射像の位置を抽出し，注視判定手
段が抽出した瞳孔および角膜反射像の位置に基づいて，
入力手段が人間に注視されているか否かを判定する。注
視判定手段によって注視されていると判定された場合，
情報出力手段は予め入力手段と対応させて記憶させてあ
る情報を出力する。
手段で照明された領域の明るさ分布を入力する。続い
て，瞳孔・角膜反射像抽出手段が入力手段の入力データ
から瞳孔および角膜反射像の位置を抽出し，注視判定手
段が抽出した瞳孔および角膜反射像の位置に基づいて，
入力手段が人間に注視されているか否かを判定する。注
視判定手段によって注視されていると判定された場合，
情報出力手段は予め入力手段と対応させて記憶させてあ
る情報を出力する。
【０００９】
【実施例】以下，本発明の一実施例を添付図面を参照し
て説明する。図１は，本発明の視線入力装置を適用した
コンピュータ用文字入力装置の構成を示すブロック図で
ある。また，図２は，上記のコンピュータ用文字入力装
置の外観図である。図において，１０１はスイッチ操作
を実行する人間を示し，１０２（１０２-1〜１０２ -N）
はＮ個配置されたスイッチ本体を示す。該スイッチ本体
１０２は，本発明の光源手段である近赤外光源１０２ａ
（１０２ａ-1〜１０２ａ-N），近赤外バンドパスフィル
タ１０２ｂ（１０２ｂ-1〜１０２ｂ-N），本発明の入力
手段であるＣＣＤカメラ１０２ｃ（１０２ｃ-1〜１０２
ｃ-N）とから各々構成されており，各々対応するＣＣＤ
カメラ１０２と近赤外光源１０２ａはそれらの光軸が共
軸系をなすように配置されている。なお，近赤外バンド
パスフィルタ１０２ｂはスイッチパネルを兼ねている。
また，スイッチ本体１０２はそれぞれ１対１で文字デー
タと対応している。
て説明する。図１は，本発明の視線入力装置を適用した
コンピュータ用文字入力装置の構成を示すブロック図で
ある。また，図２は，上記のコンピュータ用文字入力装
置の外観図である。図において，１０１はスイッチ操作
を実行する人間を示し，１０２（１０２-1〜１０２ -N）
はＮ個配置されたスイッチ本体を示す。該スイッチ本体
１０２は，本発明の光源手段である近赤外光源１０２ａ
（１０２ａ-1〜１０２ａ-N），近赤外バンドパスフィル
タ１０２ｂ（１０２ｂ-1〜１０２ｂ-N），本発明の入力
手段であるＣＣＤカメラ１０２ｃ（１０２ｃ-1〜１０２
ｃ-N）とから各々構成されており，各々対応するＣＣＤ
カメラ１０２と近赤外光源１０２ａはそれらの光軸が共
軸系をなすように配置されている。なお，近赤外バンド
パスフィルタ１０２ｂはスイッチパネルを兼ねている。
また，スイッチ本体１０２はそれぞれ１対１で文字デー
タと対応している。
【００１０】更に，近赤外光源１０２ａの発光を制御す
る光源発光制御部１０３と，ＣＣＤカメラ１０２ｃの出
力信号（画像信号）を選択するセレクタＡ１０４と，セ
レクタＡ１０４から出力された画像信号（アナログ信
号）をデジタル画像信号に変換するＡ／Ｄ変換器１０５
と，Ａ／Ｄ変換器１０５の出力先を選択するセレクタＢ
１０６と，画像信号を格納するＮ枚の画像メモリ１０７
（１０７-1〜１０７-N）と，画像信号から瞳孔および角
膜反射像を抽出する瞳孔・角膜反射像抽出部１０８（本
発明の瞳孔・角膜反射像抽出手段）と，抽出された瞳孔
および角膜反射像に基づいて人間１０１がどのスイッチ
本体１０２を注視しているかを判定する注視判定部１０
９（本発明の注視判定手段）と，スイッチ本体１０２-1
〜１０２-Nのうちどこを注視しているかによって入力す
る文字を選択するセレクタＣ１１０と，文字入力を実行
する文字入力部１１１と，入力結果を表示するＣＲＴ１
１２と，装置全体の動作を制御する全体制御部１１３と
から構成される。なお，１１４は，メイン電源（図示せ
ず）の投入および電源断を行うためのメインスイッチを
示し，電源投入によって全体制御部１１３による制御が
開始される。また，セレクタＣ１１０と文字入力部１１
１とで本発明の情報出力手段を構成している。以上の構
成において，その動作を説明する。まず，人間１０１が
メインスイッチ１１４を押下して電源を投入すると，全
体制御部１１３は，装置各部へ計測開始信号を出力す
る。続いて，全体制御部１１３はセレクタＡ１０４を介
してＣＣＤカメラ１０２ｃ-1を選択し，同時に光源発光
制御部１０３に対して信号を出力し，スイッチ本体１０
２-1の近赤外光源１０２ａ-1を点灯させる。また，全体
制御部１１３は，セレクタＢ１０６を介して，Ａ／Ｄ変
換器１０５の出力先として画像メモリ１０７-1を選択す
る。
る光源発光制御部１０３と，ＣＣＤカメラ１０２ｃの出
力信号（画像信号）を選択するセレクタＡ１０４と，セ
レクタＡ１０４から出力された画像信号（アナログ信
号）をデジタル画像信号に変換するＡ／Ｄ変換器１０５
と，Ａ／Ｄ変換器１０５の出力先を選択するセレクタＢ
１０６と，画像信号を格納するＮ枚の画像メモリ１０７
（１０７-1〜１０７-N）と，画像信号から瞳孔および角
膜反射像を抽出する瞳孔・角膜反射像抽出部１０８（本
発明の瞳孔・角膜反射像抽出手段）と，抽出された瞳孔
および角膜反射像に基づいて人間１０１がどのスイッチ
本体１０２を注視しているかを判定する注視判定部１０
９（本発明の注視判定手段）と，スイッチ本体１０２-1
〜１０２-Nのうちどこを注視しているかによって入力す
る文字を選択するセレクタＣ１１０と，文字入力を実行
する文字入力部１１１と，入力結果を表示するＣＲＴ１
１２と，装置全体の動作を制御する全体制御部１１３と
から構成される。なお，１１４は，メイン電源（図示せ
ず）の投入および電源断を行うためのメインスイッチを
示し，電源投入によって全体制御部１１３による制御が
開始される。また，セレクタＣ１１０と文字入力部１１
１とで本発明の情報出力手段を構成している。以上の構
成において，その動作を説明する。まず，人間１０１が
メインスイッチ１１４を押下して電源を投入すると，全
体制御部１１３は，装置各部へ計測開始信号を出力す
る。続いて，全体制御部１１３はセレクタＡ１０４を介
してＣＣＤカメラ１０２ｃ-1を選択し，同時に光源発光
制御部１０３に対して信号を出力し，スイッチ本体１０
２-1の近赤外光源１０２ａ-1を点灯させる。また，全体
制御部１１３は，セレクタＢ１０６を介して，Ａ／Ｄ変
換器１０５の出力先として画像メモリ１０７-1を選択す
る。
【００１１】一方，ＣＣＤカメラ１０２ｃ-1は，全体制
御部１１３からの計測開始信号によって画像の入力を開
始する。ＣＣＤカメラ１０２ｃ-1で入力された人間１０
１の顔面領域の画像信号は，Ａ／Ｄ変換器１０５でアナ
ログ・デジタル変換されて，デジタル画像Ｉ1 （ｘ，
ｙ）として画像メモリ１０７-1に格納される。ここで，
ｘおよびｙはそれぞれ１≦ｘ≦Ｘ，１≦ｙ≦Ｙ（ただ
し，Ｘ，Ｙは画素数）とする。全体制御部１１３は，画
像メモリ１０７-1に対する画像入力が完了すると，近赤
外光源１０２ａ-1を消灯する。
御部１１３からの計測開始信号によって画像の入力を開
始する。ＣＣＤカメラ１０２ｃ-1で入力された人間１０
１の顔面領域の画像信号は，Ａ／Ｄ変換器１０５でアナ
ログ・デジタル変換されて，デジタル画像Ｉ1 （ｘ，
ｙ）として画像メモリ１０７-1に格納される。ここで，
ｘおよびｙはそれぞれ１≦ｘ≦Ｘ，１≦ｙ≦Ｙ（ただ
し，Ｘ，Ｙは画素数）とする。全体制御部１１３は，画
像メモリ１０７-1に対する画像入力が完了すると，近赤
外光源１０２ａ-1を消灯する。
【００１２】次に，瞳孔・角膜反射像抽出部１０８にお
いて，デジタル画像Ｉ1 （ｘ，ｙ）から，瞳孔および角
膜反射像を抽出する。これを更に詳述する。図３は眼球
観測画像例を示す。この画像は，図１に示した共軸系の
近赤外光源１０２ａを点灯し，ＣＣＤカメラ１０２ｃで
撮像した人間１０１の眼球部付近の画像である。図３に
示すように，瞳孔領域（網膜反射像）３０１が明るく観
測される。これは入射光が網膜で反射して外部に出射し
たものをＣＣＤカメラ１０２ｃで観測しているためであ
る。したがって，この網膜反射像は瞳孔の大きさを表す
ものである。
いて，デジタル画像Ｉ1 （ｘ，ｙ）から，瞳孔および角
膜反射像を抽出する。これを更に詳述する。図３は眼球
観測画像例を示す。この画像は，図１に示した共軸系の
近赤外光源１０２ａを点灯し，ＣＣＤカメラ１０２ｃで
撮像した人間１０１の眼球部付近の画像である。図３に
示すように，瞳孔領域（網膜反射像）３０１が明るく観
測される。これは入射光が網膜で反射して外部に出射し
たものをＣＣＤカメラ１０２ｃで観測しているためであ
る。したがって，この網膜反射像は瞳孔の大きさを表す
ものである。
【００１３】また，眼球に当たった光は，角膜表面で正
反射してＣＣＤカメラ１０２ｃに到達するため，明るい
輝点（角膜反射像）３０２が観測される。
反射してＣＣＤカメラ１０２ｃに到達するため，明るい
輝点（角膜反射像）３０２が観測される。
【００１４】このように，瞳孔領域（即ち，網膜反射
像）３０１は，明るい円形領域（一般には楕円領域）と
なり，角膜反射像３０２は，網膜反射像に対して明るい
輝点となることを利用して，これらの位置を抽出する。
像）３０１は，明るい円形領域（一般には楕円領域）と
なり，角膜反射像３０２は，網膜反射像に対して明るい
輝点となることを利用して，これらの位置を抽出する。
【００１５】具体的には，瞳孔・角膜反射像抽出部１０
８は，図４の瞳孔抽出処理のフローチャート，および，
図５の角膜反射像抽出処理のフローチャートを実行す
る。まず，入力された画像Ｉi （ｘ，ｙ）（ただし，こ
こではｉ＝１）から，しきい値Ｔｈ1 〜Ｔｈ2 の間の明
るさを持つ画素を抽出する。これによって，画像Ｉ
i （ｘ，ｙ）の中の瞳孔候補領域を表す画像Ｊi （ｘ，
ｙ）を生成する。即ち，図４において，Ｔｈ1 ≦Ｉ
i （ｘ，ｙ）≦Ｔｈ2 であるか否かを判断し（Ｓ４０
１），Ｔｈ1 ≦Ｉi （ｘ，ｙ）≦Ｔｈ2 ならば，Ｊ
i （ｘ，ｙ）＝１とし（Ｓ４０２），一方，Ｔｈ1 ≦Ｉ
i （ｘ，ｙ）≦Ｔｈ2 でないならば，Ｊi （ｘ，ｙ）＝
０とする（Ｓ４０３）。
８は，図４の瞳孔抽出処理のフローチャート，および，
図５の角膜反射像抽出処理のフローチャートを実行す
る。まず，入力された画像Ｉi （ｘ，ｙ）（ただし，こ
こではｉ＝１）から，しきい値Ｔｈ1 〜Ｔｈ2 の間の明
るさを持つ画素を抽出する。これによって，画像Ｉ
i （ｘ，ｙ）の中の瞳孔候補領域を表す画像Ｊi （ｘ，
ｙ）を生成する。即ち，図４において，Ｔｈ1 ≦Ｉ
i （ｘ，ｙ）≦Ｔｈ2 であるか否かを判断し（Ｓ４０
１），Ｔｈ1 ≦Ｉi （ｘ，ｙ）≦Ｔｈ2 ならば，Ｊ
i （ｘ，ｙ）＝１とし（Ｓ４０２），一方，Ｔｈ1 ≦Ｉ
i （ｘ，ｙ）≦Ｔｈ2 でないならば，Ｊi （ｘ，ｙ）＝
０とする（Ｓ４０３）。
【００１６】このようにして抽出された結果には，一般
に，瞳孔以外のノイズが混入しているため，更に，瞳孔
のみを特定する処理を実行する。即ち，Ｊi （ｘ，ｙ）
をラベリング処理（画像処理における汎用手法のため説
明を省略する）し（Ｓ４０４），各領域の面積を求め予
想される瞳孔面積Ｓに対して，面積Ｓ−αからＳ＋α
（αはしきい値であり，α＞０）の領域のみを選択する
面積しきい値処理を実行する（Ｓ４０５）。この面積し
きい値処理によって，領域がただ１つに確定すればよい
が，複数選択されたときには，各領域の円形度を（領域
の周囲長）2 ／（領域の面積）に基づいて算出する（Ｓ
４０６）。なお，この算出で４πに近いほど円に近くな
る。
に，瞳孔以外のノイズが混入しているため，更に，瞳孔
のみを特定する処理を実行する。即ち，Ｊi （ｘ，ｙ）
をラベリング処理（画像処理における汎用手法のため説
明を省略する）し（Ｓ４０４），各領域の面積を求め予
想される瞳孔面積Ｓに対して，面積Ｓ−αからＳ＋α
（αはしきい値であり，α＞０）の領域のみを選択する
面積しきい値処理を実行する（Ｓ４０５）。この面積し
きい値処理によって，領域がただ１つに確定すればよい
が，複数選択されたときには，各領域の円形度を（領域
の周囲長）2 ／（領域の面積）に基づいて算出する（Ｓ
４０６）。なお，この算出で４πに近いほど円に近くな
る。
【００１７】次に，円形度しきい値処理を実行して（Ｓ
４０７），最も円に近い領域を瞳孔とする。更に，抽出
した瞳孔領域の重心位置（ｘｇi ，ｙｇi ）を算出し
（Ｓ４０８），その座標値（ｘｇi ，ｙｇi ）を保持し
ておく。
４０７），最も円に近い領域を瞳孔とする。更に，抽出
した瞳孔領域の重心位置（ｘｇi ，ｙｇi ）を算出し
（Ｓ４０８），その座標値（ｘｇi ，ｙｇi ）を保持し
ておく。
【００１８】次に，瞳孔・角膜反射像抽出部１０８にお
いては，図５のフローチャートに基づいて，角膜反射像
を抽出する。ここでは，入力画像Ｉi （ｘ，ｙ）から，
しきい値Ｔｈ2 以上の明るさを持つ画素を抽出する。即
ち，Ｔｈ2 ≦Ｉi （ｘ，ｙ）であるか否かを判断し（Ｓ
５０１），Ｔｈ2 ≦Ｉi （ｘ，ｙ）ならば，角膜反射像
候補領域として２値画像Ｌi （ｘ，ｙ）＝１を生成する
（Ｓ５０２）。一方，Ｔｈ２≦Ｉi （ｘ，ｙ）でないな
らば，Ｌi （ｘ，ｙ）＝０とする（Ｓ５０３）。
いては，図５のフローチャートに基づいて，角膜反射像
を抽出する。ここでは，入力画像Ｉi （ｘ，ｙ）から，
しきい値Ｔｈ2 以上の明るさを持つ画素を抽出する。即
ち，Ｔｈ2 ≦Ｉi （ｘ，ｙ）であるか否かを判断し（Ｓ
５０１），Ｔｈ2 ≦Ｉi （ｘ，ｙ）ならば，角膜反射像
候補領域として２値画像Ｌi （ｘ，ｙ）＝１を生成する
（Ｓ５０２）。一方，Ｔｈ２≦Ｉi （ｘ，ｙ）でないな
らば，Ｌi （ｘ，ｙ）＝０とする（Ｓ５０３）。
【００１９】ところで，この角膜反射像は非常に明るい
ため，一般には，このしきい値によって抽出可能である
が，人間１０１が眼鏡を装着しているような場合，眼鏡
のフレームからの反射光も観測されるため，複数の領域
が抽出されることがある。このため，以下の処理を実行
する。
ため，一般には，このしきい値によって抽出可能である
が，人間１０１が眼鏡を装着しているような場合，眼鏡
のフレームからの反射光も観測されるため，複数の領域
が抽出されることがある。このため，以下の処理を実行
する。
【００２０】抽出した２値化結果Ｌi （ｘ，ｙ）をラベ
リング処理し（Ｓ５０４），領域が複数存在する場合，
ステップＳ４０８で抽出した瞳孔領域の重心位置（ｘｇ
i ，ｙｇi ）を中心とする領域Ｒ（矩形領域）の外の領
域を除去して（Ｓ５０５），この領域Ｒ内に存在するＬ
i （ｘ，ｙ）の重心（ｘｈi ，ｙｈi ）を算出する（Ｓ
５０６）。これにより，領域Ｒ内に入っている領域を，
真の角膜反射像としてみなすことができる。これは人間
１０１の眼球の大きさがほぼ一定であり，瞳孔の位置が
判明すれば角膜反射像の存在位置を限定できるためであ
る。なお，領域Ｒの大きさは，眼鏡のフレームに対して
小さくなるように設定しておく必要がある。これは，本
視線入力装置を使用する環境（装置と人間１０１の距
離，ＣＣＤカメラ１０２ｃの画角等）に応じて予め設定
しておけばよい。このようにして抽出した角膜反射像領
域の重心位置（ｘｈi ，ｙｈi ）を算出し，その座標値
（ｘｈi ，ｙｈi ）を保持しておく。
リング処理し（Ｓ５０４），領域が複数存在する場合，
ステップＳ４０８で抽出した瞳孔領域の重心位置（ｘｇ
i ，ｙｇi ）を中心とする領域Ｒ（矩形領域）の外の領
域を除去して（Ｓ５０５），この領域Ｒ内に存在するＬ
i （ｘ，ｙ）の重心（ｘｈi ，ｙｈi ）を算出する（Ｓ
５０６）。これにより，領域Ｒ内に入っている領域を，
真の角膜反射像としてみなすことができる。これは人間
１０１の眼球の大きさがほぼ一定であり，瞳孔の位置が
判明すれば角膜反射像の存在位置を限定できるためであ
る。なお，領域Ｒの大きさは，眼鏡のフレームに対して
小さくなるように設定しておく必要がある。これは，本
視線入力装置を使用する環境（装置と人間１０１の距
離，ＣＣＤカメラ１０２ｃの画角等）に応じて予め設定
しておけばよい。このようにして抽出した角膜反射像領
域の重心位置（ｘｈi ，ｙｈi ）を算出し，その座標値
（ｘｈi ，ｙｈi ）を保持しておく。
【００２１】続いて，上記にて説明した処理が，ＣＣＤ
カメラ１０２ｃ-1から入力した画像に対して終了する
と，セレクタＡ１０４およびセレクタＢ１０６を切り換
え，更に光源発光制御部１０３を切り換えて，上記と同
様にＣＣＤカメラ１０２ｃ-2〜ＣＣＤカメラ１０２ｃ-N
の順に画像を入力して，瞳孔・角膜反射像抽出処理を実
行する。このときＣＣＤカメラ１０２ｃ- i （ただし，
ｉ＝１〜Ｎ）から入力された画像は画像メモリ１０７-i
に格納され，処理される。
カメラ１０２ｃ-1から入力した画像に対して終了する
と，セレクタＡ１０４およびセレクタＢ１０６を切り換
え，更に光源発光制御部１０３を切り換えて，上記と同
様にＣＣＤカメラ１０２ｃ-2〜ＣＣＤカメラ１０２ｃ-N
の順に画像を入力して，瞳孔・角膜反射像抽出処理を実
行する。このときＣＣＤカメラ１０２ｃ- i （ただし，
ｉ＝１〜Ｎ）から入力された画像は画像メモリ１０７-i
に格納され，処理される。
【００２２】次に，注視判定部１０９において，瞳孔の
重心位置（ｘｇi ，ｙｇi ）と角膜反射像領域の重心位
置（ｘｈi ，ｙｈi ）との距離ｄi を式（１）に基づい
て求め，スイッチ本体１０２-i（ｉ＝１〜Ｎ）を注視し
ているか否かの判定を実行する。
重心位置（ｘｇi ，ｙｇi ）と角膜反射像領域の重心位
置（ｘｈi ，ｙｈi ）との距離ｄi を式（１）に基づい
て求め，スイッチ本体１０２-i（ｉ＝１〜Ｎ）を注視し
ているか否かの判定を実行する。
【００２３】
【数１】
【００２４】スイッチ本体１０２-iを注視していると
き，図１にて示した共軸系の近赤外光源１０２ａとＣＣ
Ｄカメラ１０２ｃを用いることにより，瞳孔の重心位置
（ｘｇi ，ｙｇi ）と角膜反射像領域の重心位置（ｘｈ
i ，ｙｈi ）が近接する。即ち，その距離ｄi が非常に
小さな値となる。ここでは，これを用いて注視の判定を
実行する。
き，図１にて示した共軸系の近赤外光源１０２ａとＣＣ
Ｄカメラ１０２ｃを用いることにより，瞳孔の重心位置
（ｘｇi ，ｙｇi ）と角膜反射像領域の重心位置（ｘｈ
i ，ｙｈi ）が近接する。即ち，その距離ｄi が非常に
小さな値となる。ここでは，これを用いて注視の判定を
実行する。
【００２５】図６は，上記注視判定のようすを示すもの
であり，同図（ａ）は注視状態，同図（ｂ）は非注視状
態を示している。図示されるように，注視状態では距離
ｄiが小さいが，反対に非注視状態では距離ｄi が大き
いことが判る。
であり，同図（ａ）は注視状態，同図（ｂ）は非注視状
態を示している。図示されるように，注視状態では距離
ｄiが小さいが，反対に非注視状態では距離ｄi が大き
いことが判る。
【００２６】また，注視判定部１０９においては，第ｍ
回目のスイッチ本体１０２-iからの画像出力から算出し
た距離ｄi を保持しておく配列Ｋ（ｍ，ｉ）を用意して
おく。但し，１≦ｍ≦Ｍ，１≦ｉ≦Ｎである。
回目のスイッチ本体１０２-iからの画像出力から算出し
た距離ｄi を保持しておく配列Ｋ（ｍ，ｉ）を用意して
おく。但し，１≦ｍ≦Ｍ，１≦ｉ≦Ｎである。
【００２７】セレクタＡ１０４およびセレクタＢ１０６
を切り換えて，全てのＣＣＤカメラ１０２ｃ-1〜１０２
ｃ-Nから画像入力し，前述のように瞳孔・角膜反射像抽
出，距離ｄi 算出を実行する処理を一定回数Ｍ繰り返
す。その後，全てのＫ（ｍ，ｉ）（１≦ｍ≦Ｍ）が０或
いは非常に小さい値であるときスイッチ本体１０２-iを
注視していると判断する。
を切り換えて，全てのＣＣＤカメラ１０２ｃ-1〜１０２
ｃ-Nから画像入力し，前述のように瞳孔・角膜反射像抽
出，距離ｄi 算出を実行する処理を一定回数Ｍ繰り返
す。その後，全てのＫ（ｍ，ｉ）（１≦ｍ≦Ｍ）が０或
いは非常に小さい値であるときスイッチ本体１０２-iを
注視していると判断する。
【００２８】この処理は，全てのＫ（ｍ，ｉ）（Ｋ
（１，ｉ），Ｋ（２，ｉ），・・，Ｋ（Ｍ，ｉ））が所
定の値Ｄ以下，かつ，式（２）の値が最少となるスイッ
チ本体１０２を求めることによって実現される。
（１，ｉ），Ｋ（２，ｉ），・・，Ｋ（Ｍ，ｉ））が所
定の値Ｄ以下，かつ，式（２）の値が最少となるスイッ
チ本体１０２を求めることによって実現される。
【００２９】
【数２】
【００３０】なお，入力回数Ｍは，スイッチ本体１０２
の総数Ｎにもよるが，瞳孔・角膜反射像抽出処理に要す
る時間を３０ｍｓｅｃとして，スイッチ本体１０２の総
数をＮ＝１０とした場合には，Ｍ＝２程度が望ましい。
また，これは６００ｍｓｅｃの注視時間に相当する。即
ち，３０ｍｓｅｃ×スイッチ本体１０２の総数１０×画
像取り込み回数２＝６００ｍｓｅｃである。また，上記
において，更に，スイッチ本体１０２の総数を３，画像
取り込み回数を３とした場合におけるタイミングチャー
トを図７に示す。
の総数Ｎにもよるが，瞳孔・角膜反射像抽出処理に要す
る時間を３０ｍｓｅｃとして，スイッチ本体１０２の総
数をＮ＝１０とした場合には，Ｍ＝２程度が望ましい。
また，これは６００ｍｓｅｃの注視時間に相当する。即
ち，３０ｍｓｅｃ×スイッチ本体１０２の総数１０×画
像取り込み回数２＝６００ｍｓｅｃである。また，上記
において，更に，スイッチ本体１０２の総数を３，画像
取り込み回数を３とした場合におけるタイミングチャー
トを図７に示す。
【００３１】次に，スイッチ１０２-iが注視されている
ことが認識されると，セレクタＣ１１０を切り換えて文
字入力部１１１を駆動し，ＣＲＴ１１２上に所定の文字
出力を実行する。同時に，スイッチ本体１０２-iが注視
されていることが認識されると，先の配列Ｋ（ｍ，ｉ）
はクリアされて，再度，本動作の最初に戻って，その処
理を実行する。
ことが認識されると，セレクタＣ１１０を切り換えて文
字入力部１１１を駆動し，ＣＲＴ１１２上に所定の文字
出力を実行する。同時に，スイッチ本体１０２-iが注視
されていることが認識されると，先の配列Ｋ（ｍ，ｉ）
はクリアされて，再度，本動作の最初に戻って，その処
理を実行する。
【００３２】なお，本装置において，データ入力機能以
外に，１文字除去（訂正用），改行，大文字・小文字，
変換等の編集機能をスイッチ本体１０２に付加してもよ
い。また，本実施例は，瞳孔と角膜反射像に着目して注
視判定を行うようにしたが，例えば，顔の向きによって
判定することでも可能である（なお，顔の向きの計測法
については，例えば，顔画像からの視線感知法として，
青山他，情報処理学会全国大会講演予稿集（１９８８）
に開示されている方法がある）。更に，本実施例では，
遠方に設置したＣＣＤカメラ１０２ｃを用いて画像入力
を実行しているが，この他に，図８に示すように，眼鏡
フレームにハーフミラー８０１，ＬＥＤ８０２，および
カメラ８０３を固定し，人間１０１がその眼鏡フレーム
を装着するようにしても同様の効果を得ることができ
る。
外に，１文字除去（訂正用），改行，大文字・小文字，
変換等の編集機能をスイッチ本体１０２に付加してもよ
い。また，本実施例は，瞳孔と角膜反射像に着目して注
視判定を行うようにしたが，例えば，顔の向きによって
判定することでも可能である（なお，顔の向きの計測法
については，例えば，顔画像からの視線感知法として，
青山他，情報処理学会全国大会講演予稿集（１９８８）
に開示されている方法がある）。更に，本実施例では，
遠方に設置したＣＣＤカメラ１０２ｃを用いて画像入力
を実行しているが，この他に，図８に示すように，眼鏡
フレームにハーフミラー８０１，ＬＥＤ８０２，および
カメラ８０３を固定し，人間１０１がその眼鏡フレーム
を装着するようにしても同様の効果を得ることができ
る。
【００３３】前述したように本実施例では，第１に，人
間１０１の前方に配置したスイッチパネル（近赤外バン
ドパスフィルタ１０２ｂ）を注視することによってデー
タ入力を行うことができるので，スイッチ本体１０２は
人間１０１の手の届かない所に配置可能となり，装置デ
ザイン（レイアウト）の自由度が向上する。
間１０１の前方に配置したスイッチパネル（近赤外バン
ドパスフィルタ１０２ｂ）を注視することによってデー
タ入力を行うことができるので，スイッチ本体１０２は
人間１０１の手の届かない所に配置可能となり，装置デ
ザイン（レイアウト）の自由度が向上する。
【００３４】第２に，人間１０１の手による操作が不要
となると共に，スイッチ本体１０２の入力結果との間の
視線移動を狭域で実行することができるので，身体的疲
労が低減される。
となると共に，スイッチ本体１０２の入力結果との間の
視線移動を狭域で実行することができるので，身体的疲
労が低減される。
【００３５】第３に，厳密な視線方向を計測する必要が
なく，注視判定のみの処理で本発明を実現されることが
できるので，処理速度が速くなる。
なく，注視判定のみの処理で本発明を実現されることが
できるので，処理速度が速くなる。
【００３６】
【発明の効果】以上説明したように，本発明による視線
入力装置は，人間の眼球部を照明し，照明された領域の
明るさ分布から瞳孔および角膜反射像の位置を抽出し，
瞳孔および角膜反射像の位置に基づいて，人間に注視さ
れているか否かを判定し，注視されていると判定された
場合に，視線入力がなされたものとして情報出力手段か
ら所定の情報を出力するため，スイッチをオペレータの
手の届かないところに配置可能とし，装置デザインの自
由度を向上させ，かつ，長時間作業時の疲労度を低減さ
せることができる。
入力装置は，人間の眼球部を照明し，照明された領域の
明るさ分布から瞳孔および角膜反射像の位置を抽出し，
瞳孔および角膜反射像の位置に基づいて，人間に注視さ
れているか否かを判定し，注視されていると判定された
場合に，視線入力がなされたものとして情報出力手段か
ら所定の情報を出力するため，スイッチをオペレータの
手の届かないところに配置可能とし，装置デザインの自
由度を向上させ，かつ，長時間作業時の疲労度を低減さ
せることができる。
【図１】本発明の視線入力装置を適用したコンピュータ
用文字入力装置の構成を示すブロック図である。
用文字入力装置の構成を示すブロック図である。
【図２】本発明の視線入力装置を適用したコンピュータ
用文字入力装置の外観図である。
用文字入力装置の外観図である。
【図３】本発明により観測された眼球観測画像例を示す
説明図である。
説明図である。
【図４】本発明による瞳孔抽出処理を示すフローチャー
トである。
トである。
【図５】本発明による角膜反射像抽出処理を示すフロー
チャートである。
チャートである。
【図６】本発明による注視判定部における注視判定のよ
うすを示す説明図である。
うすを示す説明図である。
【図７】本発明によるスイッチ本体の総数を３，画像取
り込み回数を３とした場合における瞳孔・角膜反射像抽
出処理例を示すタイミングチャートである。
り込み回数を３とした場合における瞳孔・角膜反射像抽
出処理例を示すタイミングチャートである。
【図８】本発明による画像入力部分の他の実施例を示す
説明図である。
説明図である。
１０１ 人間 １０２ スイッチ
本体 １０２ａ 近赤外光源 １０２ｃ ＣＣＤ
カメラ １０８ 瞳孔・角膜反射像抽出部 １０９ 注視判定
部 １１３ 全体制御部
本体 １０２ａ 近赤外光源 １０２ｃ ＣＣＤ
カメラ １０８ 瞳孔・角膜反射像抽出部 １０９ 注視判定
部 １１３ 全体制御部
Claims (2)
- 【請求項１】 人間の眼球部を照明する光源手段と，前
記光源手段と共軸になるように配置され，前記光源手段
によって照明された領域の明るさ分布を入力する入力手
段と，前記入力手段の入力データから瞳孔および角膜反
射像の位置を抽出する瞳孔・角膜反射像抽出手段と，前
記瞳孔・角膜反射像抽出手段で抽出した瞳孔および角膜
反射像の位置に基づいて，前記入力手段が人間に注視さ
れているか否かを判定する注視判定手段と，前記注視判
定手段によって注視されていると判定された場合，予め
前記入力手段と対応させて記憶させてある情報を出力す
る情報出力手段とを備えたことを特徴とする視線入力装
置。 - 【請求項２】 前記注視判定手段は，瞳孔中心と角膜反
射像中心との距離に基づいて，注視判定を行うことを特
徴とする請求項１記載の視線入力装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5064495A JPH06274269A (ja) | 1993-03-24 | 1993-03-24 | 視線入力装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP5064495A JPH06274269A (ja) | 1993-03-24 | 1993-03-24 | 視線入力装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH06274269A true JPH06274269A (ja) | 1994-09-30 |
Family
ID=13259847
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP5064495A Pending JPH06274269A (ja) | 1993-03-24 | 1993-03-24 | 視線入力装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH06274269A (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002282210A (ja) * | 2001-03-27 | 2002-10-02 | Japan Science & Technology Corp | 視線検出方法及びその装置 |
| JP2011080890A (ja) * | 2009-10-08 | 2011-04-21 | Toshiba Corp | 対象物識別装置 |
| EP2639743A2 (en) | 2012-03-16 | 2013-09-18 | Fujitsu Limited | Image processing device, image processing program, and image processing method |
| JP2013196364A (ja) * | 2012-03-19 | 2013-09-30 | Fujitsu Ltd | 角膜反射検出装置、角膜反射検出プログラムおよび角膜反射検出方法 |
-
1993
- 1993-03-24 JP JP5064495A patent/JPH06274269A/ja active Pending
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2002282210A (ja) * | 2001-03-27 | 2002-10-02 | Japan Science & Technology Corp | 視線検出方法及びその装置 |
| JP4729188B2 (ja) * | 2001-03-27 | 2011-07-20 | 独立行政法人科学技術振興機構 | 視線検出装置 |
| JP2011080890A (ja) * | 2009-10-08 | 2011-04-21 | Toshiba Corp | 対象物識別装置 |
| EP2639743A2 (en) | 2012-03-16 | 2013-09-18 | Fujitsu Limited | Image processing device, image processing program, and image processing method |
| US9082000B2 (en) | 2012-03-16 | 2015-07-14 | Fujitsu Limited | Image processing device and image processing method |
| JP2013196364A (ja) * | 2012-03-19 | 2013-09-30 | Fujitsu Ltd | 角膜反射検出装置、角膜反射検出プログラムおよび角膜反射検出方法 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2988178B2 (ja) | 視線方向計測装置 | |
| US10747995B2 (en) | Pupil tracking device | |
| CN105706028B (zh) | 投影型影像显示装置 | |
| JP3143819B2 (ja) | まぶたの開度検出装置 | |
| JP2006293786A (ja) | 視線入力装置を備えた市場調査用機器 | |
| EP0596749A1 (en) | Ophtalmologic apparatus | |
| JP2019171022A (ja) | 評価装置、評価方法、及び評価プログラム | |
| JP2019121191A (ja) | 操作判定装置及び操作判定方法 | |
| JPH09167049A (ja) | コンソール用視線入力装置 | |
| JP3735947B2 (ja) | 視線入力装置 | |
| JPH06274269A (ja) | 視線入力装置 | |
| JP3726122B2 (ja) | 視線検出システム | |
| JPH09212082A (ja) | 視線入力装置 | |
| WO2014126307A1 (ko) | 로봇에서의 시력 측정 방법 및 이를 위한 로봇 | |
| CN110706164A (zh) | 基于增强现实的管状视野图像变形显示方法及眼镜 | |
| JPH04174309A (ja) | 運転車の眼位置検出装置及び状態検出装置 | |
| JP5048284B2 (ja) | 眼科装置 | |
| US20210153795A1 (en) | Evaluation apparatus, evaluation method, and evaluation program | |
| JPH08159733A (ja) | 車両用視線方向計測装置 | |
| JPH09251539A (ja) | 視線計測装置 | |
| JPH06323832A (ja) | 車両用インターフェイス | |
| JPH07229714A (ja) | 車両用視線方向計測装置 | |
| JPH08297019A (ja) | 車両用視線方向計測装置 | |
| WO2019188152A1 (ja) | 評価装置、評価方法、及び評価プログラム | |
| JP2932551B2 (ja) | 虹彩位置検出装置及び運転者の状態検出装置 |