JPH03256112A - 制御処理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 ［発明の目的］ （産業上の利用分野） 本発明はマン・マシン・インタフェース技術の改良に係
わり、特に機械系に、人間の視線移動位置を認識させる
機能を（２ｆた已−て入力Ｊ−タ作性の改善を図った制
御処理装置に関する。

（従来の技術） コンピュータや制御装置等のような機械系と人間との間
の情報伝達は第４図に示されるように、人間の側（人間
系４ｃ）では目、耳、皮膚等の感覚器４９から情報入力
を受け、この受けた入力情報によって、大脳中＋ＩＫ４
ｅが判断と指令を行いこれにＬ（づいて、手、足、口等
の効果器４ｆが機能し、これによって機械系４ｄに対し
、出力操作を行うことになる。これらの出力１”Ｙ作に
よる機械系側の操作対象は、機械系のハンドル、レバー
、キーボード、マウス等の制御器４１である。

制御器４１から入力された情報は、機械系の演算処理装
置４７内で処理され、デイスプレィ、プリンタ、計器等
の表示器４８に出力される。人間系４Ｃは、この出力を
感覚器４９から情報として受け、この受けた情報は伝達
経路４ａを循環して上述の動作を実行して行く。

このように、従来は人間系から機械系への入力は主に、
手、足等の運動を利用して行われ、機械系では一般に入
力装置としての制御器４１にはキーボード、マウス、ハ
ンドル、レバー、音声入力装置等が用いられていた。

（発明が解決しようとする課題） 人間（オペレータ）の操作により機械系を制御する場合
、機械系に操作情報を与える必要がある。この操作情報
を機械系に入力をするには、オペレータはまず自己の目
や耳等の感覚器から入力された情報を自己の大脳中枢に
て処理して運動神経に命令を出し、自己の手などの効果
器で機械系の制御器を操作して機械系への入力を行わな
ければならないため、人間（オペレータ）が認識してか
ら実際に入力動作に移るまでに時間がかかったり、また
、人為的操作によるため、入力ミスを起し易い等の問題
があった。また、手の障害を持つ人達などでは多くの場
合、機械系を操作するのが困難であると云った問題があ
る。

そこでこの発明の目的とするところは、人間が認識する
情報をそのまま機械系へ入力できるようにして、機械系
に対する入力操作を容易にするとともに、情報伝達の経
路をより簡単にし、機械系と人間との間のインタフェー
スをより人間側に近付けて人間側の負担を軽減し、且つ
、入力操作を誰でも迅速に誤りなく行えるようにした制
御処理装置を提供することにある。

［発明の構成コ （課題を解決するための手段） 上記目的を達成するため、本発明は次のように構成する
。すなわち、操作手段の操作により入力された指示に従
い、その指示に対応した制御または処理を制御手段にて
実行するようにした制御処理装置において、画像やキャ
ラクタを像として表示する表示手段と、この表示手段に
対するオペレータの視線を検知してその視線位置情報を
出力する視線検知手段とを設けると共に、前記制御手段
には操作要素の表示情報を発生して前記表示手段に表示
させる表示情報発生手段と、前記視線検知手段の出力情
報をもとに前記表示手段の表示面におけるオペレータ視
線位置を認識するとともにその認識した視線位置に対応
する前記表示面位置に視線位置をマーク表示する視点表
示手段と、前記視線検知手段の出力情報をもとに瞼の運
動を検知して、これが所定時間継続するとき入力指令と
して認識して前記表示面におけるマーク表示された視線
位置対応の操作要素に対応する所定の操作を実行する処
理手段とを付加して構成する。

また、表示手段は制御対象要素を図形または文字等で表
示すると共に、その表示されている制御対象要素に対す
る選択指示があることを表示する位置表示部とを有する
パネル表示手段を用い、且つ、このパネル表示手段に対
するオペレータの視線を検知してその視線位置情報を出
力する視線検知手段とを設け、前記制御手段には前記視
線検知手段の出力情報をもとに前記パネル表示手段の表
示面におけるオペレータ視線位置を認識するとともにそ
の認識した視線位置に対応する前記表示面位置の前記位
置表示部を表示状態に制御する視点表示手段と、前記視
線検知手段の出力情報をもとに瞼の運動を検知して、こ
れが所定時間継続するとき入力指令として認識して前記
表示面における表示状態に制御されている位置表示部対
応の制御対象要素の操作を実行する処理手段とを付加し
て構成する。

（作　用） このような構成の本装置は、前記制御手段の表示情報発
生手段により、操作要素の表示情報を発生して前記表示
手段に表示させる。オペレータが表示手段を見ると、視
線検知手段が表示手段に対するオペレータの視線を検知
してその視線位置情報を出力する。これにより、制御手
段は前記視線検知手段の出力情報をもとに前記表示手段
の表示面におけるオペレータ視線位置を認識するととも
にその認識した視線位置に対応する前記表示面位置に視
線位置をマーク表示するように制御し、また、前記視線
検知手段の出力情報をもとにオペレータの瞼の運動を検
知して、これが所定時間継続するとき入力指令として認
識して前記表示面におけるマーク表示された視線位置対
応の操作要素に対応する所定の操作を実行する。

そのため、オペレータが表示手段の画面における所望の
操作要素を目で見、所定の時間に亘り継続して目を閉じ
るか、あるいは所定の時間に亘り継続して瞬きすること
で、その操作要素を実行する指令を与えることができる
。従って、操作要素があるコマンドに対応するものであ
ればそのコマンドが実行され、操作要素がスイッチ等の
要素に対応するものであれば、それをオン／オフ制御さ
せる等、制御操作されることなる。

また、制御対象要素を図形または文字等で表示すると共
に、その表示されている制御対象要素に対する選択指示
があることを表示する位置表示部とを有するパネル表示
手段を用いた場合には、視線検知手段がこのパネル表示
手段に対するオペレータの視線を検知してその視線位置
情報を出力することにより、前記制御手段では前記視点
表示手段が前記視線検知手段の出力情報をもとに前記パ
ネル表示手段の表示面におけるオペレータ視線位置を認
識し、その認識した視線位置に対応する前記表示面位置
の前記位置表示部を表示状態に制御する。また、前記制
御手段の前記処理手段は前記視線検知手段の出力情報を
もとに瞼の運動を検知して、これが所定時間継続すると
き入力指令として認識して前記表示面における表示状態
に制御されている位置表示部対応の制御対象要素の操作
を実行する。

これにより、パネルを用いた表示部であっても、オペレ
ータの目による指示でパネル上の制御操作要素に対応す
る要素を操作することができる。

そのため、本発明によれば、制御装置やコンピュータ等
の機械系に対し、目による入力操作ができるようになる
から、誰でも簡単且つ容易に、しかも、迅速に機械系を
操作できるようになり、機械系と人間との間のインタフ
ェースをより人間側に近付けて人間側の負担を軽減し、
且つ、入力操作を誰でも迅速に誤りなく行えるようにし
た制御処理装置を提供することができる。

（実施例） 以下、本発明の一実施例について、図面を参照して説明
する。

第１図は本発明の一実施例を示すブロック図であり、図
中１０は入力装置、ＩＩはアイポインタ、１６は信号変
換器、１７は演算処理装置、１８は表示器であり、これ
らで機械系である制御処理装置を構成している。１９は
人間の感覚器である。アイポインタ１１は赤外線光源１
２と検出部１３と増幅器１４および測定回路１５とを持
ち、赤外線光源１２を人間の感覚器１９である眼球に当
てるとともに、眼球における角膜の内部の反射光を検出
部１３により検出することによりオペレータの視線位置
を検出したり、瞬きを検出するようにしである。

検出部１３は赤外線ダイオードにより構成され０ ており、例えば、複数の赤外線ダイオードを眼球の周囲
のそれぞれ異なる位置に配置して反射方向に応じたそれ
ぞれの光−電変換出力として得るようにし、視線方向情
報として検出できるようにしである。この検出部１３で
検出された角膜内部の反射光の検出出力を増幅器１４で
増幅し、測定回路１５ではこの増幅された反射光検出出
力をもとに視線位置を検出したり、瞬きを検出すること
ができる。

尚、視線方向と瞬きを検出することができれば良いこと
から、アイポインタ１１の検出系はＣＣＤ（固体撮像素
子）のような２次元画像を得ることができる小型の撮像
素子を使用し、眼球の像をとらえてその像における反射
光の強さと反射光像の位置情報より演算にて視線方向と
瞬き情報を得るようにしても良い。このようなアイポイ
ンタ（ｌを用いて人間が表示器１８のどこを見ているか
を認識し、表示器１８上に表示を行う。

表示器１８はＣＲＴ　（ブラウン管）やＬＣＤ（液晶）
表示パネル、あるいはプラズマデイスプレィ等により形
成されていて、キャラクタや画像１〕 を表示するものである。

信号変換器１６はアイポインタ１１により得られた視線
方向と瞬き情報をディジタルデータに変換するものであ
り、演算処理装置１７はこの情報をもとに処理を行って
人間の視線位置を表示器（８上の対応位置に表示させる
べく表示器１８を制御したり、人間が目をつぶったり瞬
きをすることにより（但し、誤入力防止のため、一定時
間以上継続して瞬きをしたり、目をつぶる必要がある）
、反射光が変化するため、それを知って人間が指示した
位置の入力や削除等の操作を行うべく制御すると云った
機能を持たせである。

このような構成の本装置は、アイポインタ１１において
、赤外線光源１２を人間の感覚器１９である眼球に当て
、角膜の内部の反射光を検出器１３により検出すると共
にこの検出信号をもとに測定回路Ｊ５は視線位置と瞬き
の情報を検出する。さらに信号変換器１６を介してこれ
ら情報は演算処理装置１７に送られる。

演算処理装置１７ではこの情報をもとに処理を］２ 行って人間の視線位置を表示器１８上に表示させるべく
制御する。また、人間が目をつぶったり、瞬きをすると
、反射光が変化するため、アイポインタ１１の検出情報
より知ることができるから、所定時間以上瞬きをするか
、目が閉じられていることでその直前における視線位置
に対して必要な指令を行うことができる。

尚、対象がプラント等であれば、演算処理装置１７には
例えば、そのプラントにおける必要な操作系統の図を操
作要素のシンボル等と共に生成させて表示器１８上に表
示させる機能および表示器１８上に表示されたシンボル
等とその目視位置を対応させる機能、瞬きや目をつぶる
ことによる操作指示を認識して前記目視指定されたシン
ボル対応の操作要素を操作制御し、且つ、操作状態対応
のシンボル表示を行う機能等を持たせておく。

このようにすると、演算処理装置ｉ７はその制御対象プ
ラントにおける必要な操作系統の図を生成させて表示器
１８上に表示させるので、オペークはプラントの起動で
あれば、まず初めに操作系３ 読図中のメインスイッチの表示位置に視線を向け、所定
時間間をつぶるか、瞬きをする。これにより、アイポイ
ンタ（１からの情報によって演算処理装置ｔ７はメイン
スイッチの位置が指示されたことを認識し、且つ、操作
指示が与えられたと認識する。

そして、メインスイッチを操作する指令を制御系に与え
、表示器１８に対してはメインスイッチが操作された状
態となるように表示制御する。

これによりプラントは起動され、表示器１８上にはメイ
ンスイッチがオンとなった状態が表示される。このよう
にして、オペレータが指示したいと思う操作要素の指定
と操作を目で指示することができる。

但し、この瞬きによる入力を行う機能は演算処理装置１
７に接続した図示しないハードスイッチの操作にて許可
／禁止を選択する。更にキーボードや音声入力装置等の
他の入力装置１１と組み合わせることにより、視線によ
る画面の指示と同時に他の入力装置から制御を行うこと
ができるようになる。

４ 以上は各種制御システム等に適用する場合を想定した例
であるが、パーソナルコンピュータシステムに応用する
場合は次の第２図のようになる。

第２図に示すように、パーソナルコンピュータシステム
において、そのプロセッサユニットであるＣＰＵ本体２
７に、オペレータ２ｃの感覚器２９である目に光源を当
て、その反射光を検出することでオペレータ２ｃの視線
の移動位置や、瞬きの状態を測定する前述のアイポイン
タ２１を接続する。

ＣＰＵ本体２７には、実行させるアプリケーションやツ
ールにおける必要な操作コマンドやカーフ／ｌ、、入力
文字−覧等をアイコン（コマンドやメニュー等をシンボ
ル化して画面に表示し、操作指令したいシンボルをカー
ソルで指示して選択動作させることにより、その指定コ
マンドやメニュー中の指定した項目を実行させることが
できる簡易操作用の入力方式）やシンボル、メニューを
表示したメニューウィンドウ等のかたちで生成させてデ
イスプレィ装置２８上に表示させる機能およびデイスプ
レィ装置２８上に表示されたシンボルやメニ５ ニー等とその目視位置を対応させ、且つ、その対応位置
にカーソルを表示する機能、瞬きや目をつぶることによ
る操作指示を認識して前記目視指定されたシンボル対応
の操作要素を操作制御し、且つ、操作状態対応のシンボ
ル表示を行う機能等を持たせておく。

ＣＰＵ本体２７はアイポインタ２１により得られた情報
を処理して表示器２８上に表示されたシンボルやメニュ
ー等の目視位置を知るが、オペレータ２Ｃの視線位置を
表示するデイスプレィ装置２８と、アイポインタ２１に
より、視線の位置を測定して対応付けるためには、予め
、オペレータ２ｃと、デイスプレィ装置２８の画面との
位置関係を情報として得ることのできる回路をアイポイ
ンタ２１内に設けると同時に、ＣＰＵ本体２７にはこの
情報に基づきデイスプレィ装置２８の画面の対応位置に
カーソルを表示し、且つ、そのカーソル位置のシンボル
やメニュー等の内容を認識できるようにする機能を持た
せておく必要がある。

２０はＣＰＵ本体２７に接続された従来の入力装置に のような構成において、ＣＰＵ本体２７はデイスプレィ
装置２８の画面上にシンボルやアイコンあるいはメニュ
ー等を表示する。オペレータ２ｃがデイスプレィ装置２
８の画面を見ると、アイポインタ２１によりそのオペレ
ータ２ｃの視線位置が検出され、その検出情報に基づい
てＣＰＵ本体２７が視線位置を特定し、デイスプレィ装
置２８の画面上における視線対応位置にカーソルを表示
させる。そして、オペレータ２ｃが視線を移動させると
、視線に合わせてカーソルを移動させる。

オペレータ２ｃが一定時間以上目を閉じるか、一定時間
以上に亘り、瞬きを続けると、ＣＰＵ本体２７はこれを
認識して実行指令と判断し、その時点でのカーソル位置
で示されるコマンドやメニューの内容に従って、それを
実行する。従って、そのカーソル位置にて入力や実行、
削除等の操作が目の運動によって行える。特に、デイス
プレィ装置２８の画面上にアイコンを表示し、目で所望
のアイコンを見つめることでアイコンを指示し、瞬き７ をする構成によれば、極めて簡単にコンピュータの操作
が行えるようになる。

この結果、オペレータはキーボードやマウス等を手で操
作しなくとも、デイスプレィ装置の画面を見るだけでデ
イスプレィ装置の画面上のカーソル位置を移動させるこ
とができ、瞬きをしたり、目をつぶるだけでカーソル位
置にて入力や実行、削除等の操作を行えるので、誰でも
簡単かつ手早く、コンピュータの操作を行うことができ
るようになる。また、キーボード等の入力装置も併用す
れば、同時に目と手からコンピュータの操作を行うこと
も可能となり、幅広い制御が行えるようになる。

また、別の実施例として、第３図に示すように、表示部
としてＬＥＤやスイッチを持ち、絵や記号を表示してい
るパネル３８と、オペレータ３ｃの視線位置を測定する
アイポインタ３（と、アイポインタ３１からの情報を処
理するＣＰＵ本体３７とからなるシステム構成とし、こ
のシステムにおいて、オペレータ３ｃとパネル面３８と
の位置関係を予め与８ えておく。

このようにすれば、オペレータ３ｃが指定位置にてアイ
ポインタ３１を装備し、パネル３８上の表示またはスイ
ッチを見て、目をつぶるか瞬きをするだけでその表示に
対する指示やスイッチの操作を行うことができると共に
、パネル３８上のＬＥＤの点灯、消灯を行うことができ
る。そのため、パネル３８上の記号等を目で指示するこ
とによりシステムの状態を変化させたり、制御操作する
ことができて、システムの迅速な制御を行うことができ
るようになる。

オペレータ３ｃが見ている位置を示すにはパネル面３８
にＬＥＤ等でポイント表示できるようにしておき、視点
位置のＬＥＤの点灯または消灯で行うことができる。

また、今まで述べてきたのとは逆に、表示部上をカーソ
ル移動させ、目的の位置に達した時点でカーソルを止め
てその位置を指定したりすることもできる。その他、本
システムの考え方は、例えば、テレビ・ゲーム等にも用
いることもでき、　９ また、例えば、実際に動いている物体の動きをＣＲＴ上
に表示し、目視指定により停止位置を指令したり、起動
させたすすべく、当該物体の動きを制御する装置に指令
を与える構成とすることで、表示部上で物体の動作を止
めたり、物体を移動させたりすることもできる。

以上述べたように、本発明は表示部の表示要素に対する
オペレータの視線を検知して表示し、視線検知情報から
得られる瞼の運動情報を入力指令として利用して、オペ
レータの視線に一致する表示部の表示要素を認識すると
ともに、その表示要素に対応して定めた所定の処理を実
施するようにしたものであるから、表示要素を操作の対
象要素としたり、コマンド等に対応させることにより、
視線で指定した要素の実行指令や操作指令を与えること
ができるようになり、従って、人間は機械系への入力を
行う際に、表示部の表示面上を見るだけでキーボードや
マウス等の制御器を手等により操作することなく、表示
部の表示面上の点を指示することができ、瞬き等の目の
運動だけで入力　０ 操作を簡単、かつ、迅速に行える。

更に従来の入力装置と一緒に組み合わせて用いることに
より同時に機械系を操作することができ、特に音声入力
装置との組み合わせにおいては、手の不日由な人達にも
容易に機械系を操作できるようになり、利用価値は高い
。

尚、本発明は上記し、且つ、図面に示す実施例に限定す
ることなく、その要旨を変更しない範囲内で適宜変形し
て実施し得るものである。

［発明の効果］ 以上詳述したように、本発明によれば、制御装置やコン
ピュータ等の機械系に対し、目による入力操作ができる
ようになるから、誰でも簡単且つ容易に、しかも、迅速
に機械系を操作できるようになり、機械系と人間との間
のインタフェースをより人間側に近付けて人間側の負担
を軽減し、且つ、入力操作を誰でも迅速に誤りなく行え
るようにした制御処理装置を提供することができる。

【図面の簡単な説明】

第１図は本発明の一実施例を示すブロック図で１ あり、第２図および第３図は本発明の他の実施例を示す
ブロック図であって、第２図はパーソナルコンピュータ
システムにおける構成図、第３図はパネルによる制御シ
ステムの構成図、第４図は従来のマン・マシン・インタ
フェースの情報の伝達経路を説明するための図である。 １０、２０・・・入力装置、１１．２１．３１・・・ア
イポインタ、１２・・・光源、１３・・・検出部、１５
・・・測定回路、１６・・・信号変換器、（７・・・演
算処理装置、１８・・・表示器、２７．３７・・・ＣＰ
Ｕ本体、２８・・・デイスプレィ装置、３８・・・パネ
ル。

Claims (2)

【特許請求の範囲】
1. （１）操作手段の操作により入力された指示に従い、そ
   の指示に対応した制御または処理を制御手段にて実行す
   るようにした制御処理装置において、画像やキャラクタ
   を像として表示する表示手段と、この表示手段に対する
   オペレータの視線を検知してその視線位置情報を出力す
   る視線検知手段とを設けると共に、前記制御手段には操
   作要素の表示情報を発生して前記表示手段に表示させる
   表示情報発生手段と、前記視線検知手段の出力情報をも
   とに前記表示手段の表示面におけるオペレータ視線位置
   を認識するとともにその認識した視線位置に対応する前
   記表示面位置に視線位置をマーク表示する視点表示手段
   と、前記視線検知手段の出力情報をもとに瞼の運動を検
   知して、これが所定時間継続するとき入力指令として認
   識して前記表示面におけるマーク表示された視線位置対
   応の操作要素に対応する所定の操作を実行する処理手段
   とを付加して構成したことを特徴とする制御処理装置。
2. （２）操作手段の操作により入力された指示に従い、そ
   の指示に対応した制御または処理を制御手段にて実行す
   るようにした制御処理装置において、制御対象要素を図
   形または文字等で表示すると共に、その表示されている
   制御対象要素に対する選択指示があることを表示する位
   置表示部とを有するパネル表示手段と、このパネル表示
   手段に対するオペレータの視線を検知してその視線位置
   情報を出力する視線検知手段とを設けると共に、前記制
   御手段には前記視線検知手段の出力情報をもとに前記パ
   ネル表示手段の表示面におけるオペレータ視線位置を認
   識し、且つ、その認識した視線位置に対応する前記表示
   面位置の前記位置表示部を表示状態に制御する視点表示
   手段と、前記視線検知手段の出力情報をもとに瞼の運動
   を検知して、これが所定時間継続するとき入力指令とし
   て認識して前記表示面における表示状態に制御されてい
   る位置表示部対応の制御対象要素の操作を実行する処理
   手段とを付加して構成したことを特徴とする制御処理装
   置。