JPH11327774A - 画像処理による注視点検出手段を利用した被制御機器の非接触制御方式 - Google Patents

Abstract

(57)【要約】 【課題】 使用者７が被制御機器５を制御及び動作さ
せる場合において，接触型のスイッチ等の接点によって
操作を行うため、接点等の開閉回数の限界，埃，油や湿
度等の使用環境等の理由から生じる接触不良や誤動作等
によって長期間の正常動作が非常に困難であることか
ら、被制御機器５を部品の寿命や使用環境等に左右され
ることなく長期間の正常動作を可能にする。 【解決手段】 使用者７の眼球６を撮影するビデオカメ
ラ１等の画像入力装置，ビデオカメラ１に撮影された使
用者７の眼球６の映像から使用者７の表示器４上の注視
位置及び瞬き・凝視等の使用者７の意志決定情報を検出
する注視点検出手段２，注視点検出手段２によって検出
された表示器４上の注視位置及び使用者７の意志決定情
報から被制御機器５を制御及び動作させる計算機３及び
被制御機器５の制御及び動作の内容を表示する表示器４
を備えることで、被制御機器５は部品の寿命や使用環境
等に左右されることなく長期間の正常動作を可能にす
る。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は，使用者７が被制
御機器５を制御及び動作させる場合において，被制御機
器５の制御及び動作の内容を計算機３によって表示した
表示器４の画面を注視している使用者７の眼球６の映像
をビデオカメラ１によって撮影し，ビデオカメラ１に撮
影された使用者７の眼球６の映像から注視点検出手段２
が検出した使用者７の注視している表示器４上の注視位
置及び使用者７の意志決定情報から計算機３が被制御機
器５を制御及び動作させることによって，使用者７はス
イッチ等の接触型の部品や装置を操作することなく，眼
球６によって非接触で被制御機器５を制御及び動作させ
ることのできる画像処理による注視点検出手段を利用し
た被制御機器の非接触制御方式についてのものである。

【０００２】

【従来の技術】従来技術による使用者７が被制御機器５
を制御及び動作させる方法の装置構成を図２により説明
する。図２の２１は使用者，２２は被制御機器２３の制
御及び動作を決定するスイッチ等の接触型の動作決定手
段，２３は使用者２１が操作した動作決定手段２２の設
定通りに制御及び動作する被制御機器である。

【０００３】図２において使用者２１が，押しボタンや
キーボード等の接点式のスイッチ，タッチパネルやライ
トペン等のセンサ等を用いたスイッチ等の接触型の動作
決定手段２２を操作することによって，使用者２１が被
制御機器２３を制御及び動作内容を決定し，被制御機器
２３を制御及び動作させる。

【０００４】この様に従来技術による使用者７が被制御
機器５を制御及び動作させる方法は図２の使用者２１が
接触型の動作決定手段２２を操作することによって，被
制御機器２３を制御及び動作させる方法である。

【０００５】

【発明が解決しようとする課題】図２に示される従来技
術による使用者２１が被制御機器２３を制御及び動作さ
せる方法は使用者２１が接触型の動作決定手段２２を操
作することによって，被制御機器２３を制御及び動作さ
せる方法であるため，接触型の動作決定手段２２の様な
接点等の部品や装置の開閉回数や使用回数の限界，埃，
油や湿度等の使用環境等の理由によって生じる接触不良
や誤動作等によって長期間の正常動作が非常に困難であ
った。この発明は接触型の動作決定手段２２の寿命や使
用環境等による接触不良や誤動作を無くし，被制御機器
２３を長期間の正常動作ができる制御方式を目的とす
る。

【０００６】

【課題を解決するための手段】この目的を達成するため
に，この発明は使用者７が被制御機器５を制御及び動作
させる場合において，使用者７の眼球６を撮影するビデ
オカメラ１等の画像入力装置，ビデオカメラ１に撮影さ
れた使用者７の眼球６の映像から使用者７の表示器４上
の注視位置及び瞬き・凝視等の使用者７の意志決定情報
を検出する注視点検出手段２，注視点検出手段２によっ
て検出された表示器４上の注視位置及び使用者７の意志
決定情報から被制御機器５を制御及び動作させる計算機
３及び被制御機器５の制御及び動作の内容を表示する表
示器４を備える。

【０００７】

【発明の実施の形態】この発明による画像処理による注
視点検出手段を利用した被制御機器の非接触制御方式に
おける装置構成を図１，図３，図４により説明する。図
１はこの発明による画像処理による注視点検出手段を利
用した被制御機器の非接触制御方式における装置の構成
図であり，図３は装置の動作手順を説明するフローチャ
ートである。図４は計算機３が被制御機器５の制御及び
動作内容を表示器４に表示する画面の一例で，（Ａ）は
表示器４の初期の表示画面，（Ｂ）は図１の注視点検出
手段２が眼球６の表示器４上の注視位置を検出した時に
計算機３が表示器４にマークを表示した表示画面であ
る。

【０００８】図３の３１では計算機３は表示器４に図４
の（Ａ）に示される被制御機器５の制御及び動作の情報
を表した初期画面を表示する。３２では使用者７が表示
器４に表示された図４の（Ａ）の画面を注視すると，注
視点検出手段２はビデオカメラ１から入力した使用者７
の眼球６の映像から眼球６の表示器４上の注視位置及び
瞬き・凝視等の使用者７の意志決定情報を検出する。次
に３３では注視点検出手段２が検出した眼球６の表示器
４上の注視位置及び瞬き・凝視等の使用者７の意志決定
情報の情報を計算機３に出力する。３４では計算機３は
注視点検出手段２からの入力情報によって，使用者７が
注視している表示器４上の注視位置に図４の（Ｂ）に示
される様にマーク等を表示する。さらに３５では計算機
３は注視点検出手段２から入力した情報である瞬き・凝
視等の使用者７の意志決定情報から，使用者７が表示器
４上の注視位置の内容通りに被制御機器５を制御及び動
作させる意志決定の可否を判断する。最後に計算機３は
使用者７が被制御機器５の制御及び動作の決定意志があ
るならば，３６で使用者７の意志通りに被制御機器５の
制御及び動作を行い，３２の処理に移行して注視点検出
手段２から次の検出情報の入力待ち状態になるが，使用
者７が被制御機器５の制御及び動作の決定意志がないな
らば，すぐに３２に移行して注視点検出手段２から次の
検出情報の入力待ち状態になる。

【０００９】これによって使用者７は図２の接触型の動
作決定手段２２を操作することなく被制御機器５を制御
及び動作させることができ，図２の接触型の動作決定手
段２２の寿命や使用環境等による接触不良や誤動作を無
くし，長期間の正常動作が可能であることは明らかであ
る。

【００１０】

【実施例】この発明による画像処理による注視点検出手
段を利用した被制御機器の非接触制御方式における装置
を実現した場合の一例を図１，図４，図５，図６，図７
により説明する。図４は図１の計算機３が被制御機器５
の制御及び動作内容を表示器４に表示する画面の一例
で，（Ａ）は表示器４の初期の表示画面，（Ｂ）は図１
の注視点検出手段２が眼球６の表示器４上の注視位置を
検出した時に計算機３が表示器４にマークを表示した表
示画面である。図５は図１を実際に装置化した場合の装
置構造の一例の断面図で，５１は外部ケース５９の内部
に配置した表示器５５を見るための覗き窓，５２は覗き
窓５１から見る使用者眼球，５３は外部ケース５９の内
部に配置した表示器５５の表示画面を使用者眼球５２が
見るために表示器５５の画面を投影又は反射するハーフ
ミラー等の部品，５４はハーフミラー５３を透過して使
用者眼球５２の映像を撮影するビデオカメラ等の画像入
力装置，５５は計算機５７が被制御機器５８の制御及び
動作の内容を使用者眼球５２に明示するために表示する
表示器，５６はビデオカメラ５４等の画像入力装置から
使用者眼球５２の撮影映像を入力して使用者眼球５２の
表示器５５上の注視位置及び使用者眼球５２の意志決定
情報を検出する注視点検出手段，５７は注視点検出手段
５６から使用者眼球５２の表示器５５上の注視位置及び
使用者眼球５２の意志決定情報の検出情報を入力して表
示器５５の画面表示及び被制御機器５８の制御を行う計
算機，５８は計算機５７によって制御及び動作する被制
御機器である。図６は図５の注視点検出手段５６の動作
手順，図７は図５の計算機５７の動作手順を示したフロ
ーチャートである。

【００１１】図５の計算機５７は図４の（Ａ）の初期の
表示画面を表示器５５に表示する。使用者眼球５２が外
部ケース５９の覗き窓５１から外部ケース５９の内部を
見た場合には表示器５５の表示画面はハーフミラー５３
の表面で反射されて，使用者眼球５２は表示器５５の表
示画面の全体を見ることができる。

【００１２】図５のビデオカメラ５４は中間に配置され
ているハーフミラー５３を通して外部ケース５９の覗き
窓５１にある使用者眼球５２の撮影を行い，その撮影映
像を注視点検出手段５６に出力する。注視点検出手段５
６は図６の６１でビデオカメラ５４が出力した使用者眼
球５２の映像を入力して，６２で入力された使用者眼球
５２の映像から表示器５５上の注視位置を検出する。そ
して，６３で予め意志決定情報として決めてある使用者
眼球５２の瞬きの有無を検出して，６４で使用者眼球５
２の表示器５５上の注視位置情報及び使用者眼球５２の
瞬きの有無で示される意志決定情報を計算機５７に出力
する。

【００１３】次に図５の計算機５７は図７の７１で注視
点検出手段５６から使用者眼球５２の表示器５５上の注
視位置情報及び使用者眼球５２の瞬きの有無で示される
意志決定情報を入力して，７２では使用者眼球５２の表
示器５５上の注視位置に図４の（Ｂ）の様に表示器５５
にマークを表示して，７３で瞬きの有無で示される意志
決定情報によって使用者眼球５２が表示器５５上の表示
したマークの内容通りに被制御機器５８を制御及び動作
させる意志があるかを確認する。この時，計算機５７が
被制御機器５８を制御及び動作させるかの使用者眼球５
２の意志決定の判断は，注視点検出手段５６から入力し
た使用者眼球５２の瞬きの有無に示される意志決定情報
によって行われ，瞬きがある場合には表示器５５に表示
したマークの位置に表示してある画面の内容を実行して
被制御機器５８を制御及び動作させ，瞬きがない場合に
は被制御機器５８の制御及び動作は何も行わないで注視
点検出手段５６から次の検出情報の入力待ち状態にな
る。

【００１４】この様に画像処理による注視点検出手段を
利用した被制御機器の非接触制御方式における装置を実
現した一例である図５の装置では，使用者眼球５２は外
部ケース５９の覗き窓５１から外部ケース５９の内部に
配置された表示器５５をハーフミラー５３を通して見る
ことによって，図２の接触型の動作決定手段２２を操作
することなく被制御機器５を制御及び動作させることが
でき，図２の接触型の動作決定手段２２の寿命や使用環
境等による接触不良や誤動作を無くし，長期間の正常動
作を行うことができる。

【００１５】

【発明の効果】この発明によれば，使用者７が被制御機
器５を制御及び動作させる場合において，使用者７の眼
球６を撮影するビデオカメラ１等の画像入力装置，ビデ
オカメラ１に撮影された使用者７の眼球６の映像から使
用者７の表示器４上の注視位置及び瞬き・凝視等の使用
者７の意志決定情報を検出する注視点検出手段２，注視
点検出手段２によって検出された表示器４上の注視位置
及び使用者７の意志決定情報から被制御機器５を制御及
び動作させる計算機３及び被制御機器５の制御及び動作
の内容を表示する表示器４を備えることによって，従来
技術である図２の接触型の動作決定手段２２の様な接点
等の部品や装置の開閉回数や使用回数の限界，埃，油や
湿度等の使用環境等の理由によって生じる接触不良や誤
動作等によって長期間の正常動作が困難であった問題を
解決して，接触型の動作決定手段２２の寿命や使用環境
等による接触不良や誤動作を無くし，被制御機器５の長
期間の正常動作を可能にすることができる。

【図面の簡単な説明】

【図１】この発明による画像処理による注視点検出手段
を利用した被制御機器の非接触制御方式の装置の構成図
である。

【図２】従来技術による被制御機器の制御方式の装置の
構成図である。

【図３】この発明による画像処理による注視点検出手段
を用いた被制御機器の非接触制御方式の装置の動作手順
を説明するフローチャートである。

【図４】図１の計算機３が被制御機器５の制御及び動作
内容を表示器４に表示する画面の一例である。

【図５】この発明による画像処理による注視点検出手段
を用いた被制御機器の非接触制御方式を実際に装置化し
た場合の装置構造の一例の断面図である。

【図６】図５の注視点検出手段５６の動作手順を示した
フローチャートである。

【図７】図５の計算機５７の動作手順を示したフローチ
ャートである。

【符号の説明】

１ ビデオカメラ ２ 注視点検出手段 ３ 計算機 ４ 表示器 ５ 被制御機器 ６ 眼球 ７ 使用者

Claims (1)

【特許請求の範囲】
1. 【請求項１】この発明は，使用者７が被制御機器５を制
   御及び動作させる場合において，使用者７の眼球６を撮
   影するビデオカメラ１等の画像入力装置，ビデオカメラ
   １に撮影された使用者７の眼球６の映像から使用者７の
   表示器４上の注視位置及び瞬き・凝視等の使用者７の意
   志決定情報を検出する注視点検出手段２，注視点検出手
   段２によって検出された表示器４上の注視位置及び使用
   者７の意志決定情報から被制御機器５を制御及び動作さ
   せる計算機３及び被制御機器５の制御及び動作の内容を
   表示する表示器４を備えることを特徴とする画像処理に
   よる注視点検出手段を利用した被制御機器の非接触制御
   方式である。