JPS62501802A - 凝視方向制御装置の改良 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるため要約のデータは記録されません。

Description

【発明の詳細な説明】 凝視方向制御装置の改良 本発明は、凝視方向制御装置とかかる装置を制御する方法に関する。

実質上点である標準光源と、使用者の眼の網膜、角膜またはその他の部分からの 標準光の反射を検出する検出手段を備え、使用者の眼の相対的な目視方向を測定 して確かめる凝視方向決定手段は知られている。

このような技術は、Ｂｉｏｍｅｄｉｃａｌ　Ｅｎｇｉｎｅｅｒｉｎｇ　Ｂ　Ｍ　 Ｅ　−２１巻、　ｍ４．　Ｊｕｌｙ　１９７４のＩＥＥＥ会報で１ｌｅｒｃｈａ ｎ　を等によって論じられている。

かかる装置の別の説明は、１ｎｔｅｒｎａｔｉｏｎａｌ　Ｂｕｓｉｎｅｓｓ　Ｍ ａｃｈｉｎｅ社のオーストラリア特許第５４４，４９０号及びＣａｒｌ　Ｐ、Ｇ ｒａｆの米国特許第４．１０９，１４５号で成されている。

この発明が解決しようとする問題は、上記したような種類の装置に関連している 。

しかし、このような技術に伴う困隨は、何に対していつ使用者がターゲートある いは少くともターゲットの方向に自分の視線を一致させたか、そして最終的にそ のような一致が、ターゲット自体を何らかの反応が生じた物に対して識別した結 果なのか又は利用者にとってその人の視線に一致するものとしてターゲットを識 別した結果なのかを妥当な正確さで判断することにある。

従来、所定の時間すなわち不用意な動作を避けるのに充分な時間、測定される凝 視方向がターゲットに対して正確に一敗したま＼であるかどうかにより、上記の 問題に対する答えを出すことが提案されてきた。

実際上この方式は問題を解消しているが、使用者にとってできるだけ多くの選択 が可能なように、所定のスクリーン領域内にできるだけ多くの数のターゲットを 詰め込む点に難点がある。

さらに別の難点は、動作を行なうのにかかる時間が不必要に長びくことにある。

このため主目標は、別のターゲットの不用意な選択によるエラーの可能性を最小 限化することを考慮しつ一１目視領域内でできるだけ多（の選択を可能にすると 同時に、実施できる限り迅速で一貫した応答を使用者に与えることにある。

従ってこの発明の目的は、選択の精度と速度を向上させる構成と方法を提案する ことにある。

つまり本発明は、使用者の眼の凝視方向を検出する凝視方向決定手段を備え、該 凝視方向決定手段がターゲット方向に対する凝視方向の相対位置をも決定し、さ らに凝視方向決定手段が複数の凝視方向を測定して記録し、各測定が逐次選択さ れる時間間隔の間に行なわれ、逐次検出された方向のうち所定数の少くとも所定 の割合が各位置についてターゲット方向から所定の範囲内に入ることが検出され ると、“起動“つまり′識別”信号を与える凝視方向制御装置にある。

測定読取値の所定の割合が所定の範囲内に入るかどうかをめる方式を採用するこ とで、ターゲット位置の迅速で極めて正確な初期推定が可能となる。

人は通常、ずっと−貫した凝視方向を維持することができない。

この問題は、凝視しようとしてもわずかな不随意の眼の運動が生じることと、ど んなシステムにも非常に細い検出ターゲットを分離するのを困難とする固有のノ イズレベルが存在するということに起因している。

通常の連続した凝視方式では、特有のターゲット範囲を越えて延びた測定される 凝視方向が解釈の再開を遅らせる。また従来技術におけるローパスフィルタ等の 信号平均化方式も、人の意図したターゲットを正確且つ迅速に決定する点で困難 なことが知られている。

凝視を非常に小さい特有のターゲット範囲内に維持しようとするのは非常に疲れ るので、これまで提案されているシステムにおけるような迅速で確実なターゲッ トの凝視を行なう集中を必要としないことはこの発明の著しい利点である。

こうした特徴は、本システムを利用しようとする人々がひどく不能化されていた り、非常に緊張した状態にある人達であることを考慮すれば極めて重要で、極度 の集中という追加の緊張が避けられるなら大きな利点である。

好ましくは、ターゲットとその範囲が画像表示装置上に表示され、凝視方向が画 像表示装置上の表示ターゲットを参照してめられる。この発明が適用される別の 態様では、ターゲットが可変な形状の３次元ターゲットを含み、移動するターゲ ットと固定ターゲットの２種類がある。

好ましくは、少くとも１つのターゲット頭載がそれらのうち任意のものの作動の メニュ一つまり結果を実際に変化させる制御動作を含み、使用者は第１の視覚ス クリーンから動作できるだけでな（、視覚スクリーンを事実上適宜変えられるの で、ターゲソＨＪ域に対する凝視方向の意図した持続だけで、外部における事象 発生の制御に対して広範囲の可能性が広かれる。

好ましくは、そして使用者がそれを行なえる場合には、スイッチ、キーボードま たはその他のトランスジューサを介して、及びターゲットを識別する眼に関して 動作を開始する補助手段を設けることができ、これは利用可能な選択の数、反射 の速度と精度をさらに向上させる。

本発明はその広い意味において上記のような構成に制限されないが、凝視方向決 定手段には実質上点の標準光源と、ビディコンテレビカメラから成り使用者の眼 の網膜及び角膜からの標準光の反射を検出する検出手段とを含めるのが最も有利 である。

通常のテレビラスターでは、凝視方向の読取が画像情報の各フレームから得られ 、１つのシステムでそのような読取が毎秒５０回行なわれるか、あるいは別のシ ステムで毎秒６０回行なわれるようにスキャン速度が選ばれる。

別の態様の発明は、凝視方向の決定によって必要なターゲットをめる方法で、タ ーゲット方向に対する複数の凝視方向を測定して記録する段階、直前の先行する 所定数の測定のうち少くとも所定の割合がターゲットの所定範囲内に入るときに のみ“起動”信号を発生する段階を含む方法にある。

好ましくは、“起動”信号を発生する割合を決めるのに使われる測定・記録した 凝視方向の数が、後に続く動作の性質に応じて３〜２００の範囲内にある。

好ましくは、“起動”信号を発生する割合を決めるのに使われる測定・記録した 凝視方向の数が、１秒の３１５０〜２００１５０の時間範囲内で採られる。

好ましくは、測定・記録した凝視方向のうちターゲットの位置の所定範囲内に入 る割合が、後に続く動作の性質に応じて０．５〜０．９の範囲内にある。

好ましくは、ターゲットの位置の所定範囲が各方向において少くとも１度という 使用者の眼を包含する角度に等しい。

測定・記録した凝視方向の数とその数の必要な割合、及びターゲットの位置範囲 は個々の利用者に合うように動的に変えられ、あるいは凝視の動作状態をモニタ ーして選択の速度と精度をいっそう最適化する。別の態様では、別の制御機能ま たは凝視の選択によって、パラメータの１つ以上を変更することができる。

発明は、図面に基いて以下説明する好ましい実施例を参照することでより明解に 理解されよう。第１図は利用者の眼、ターゲット及び凝視方向をめる装置の一部 を形成する手段の構成を概略的に示す。

第２図はターゲット、該ターゲットの特有な範囲境界及び範囲内のターゲットに 対して予測される一般的な凝視方向の検出位置を示し、第３図は凝視方向の目標 点をめるためのフローチャートである。

図面特に第１図を参照すると、使用者の眼１、実質上点の光′６！Ａ２、及び使 用者の眼１の角膜５による光源２の反射に対する瞳孔４の相対位置を網膜４ａで の反射光によって検出するビディコンテレビカメラ３が示しである。

実質上点の光源は反射体２ａの前方に置かれたフィラメント２で与えられ、フィ ラメント２からの光はフィルタ２ｂを通って鏡２Ｃに向かい、次いでビームスプ リンタ２ｄに入射して眼１の方向に向かう。

反射光はビームスプリンタ２ｄに戻り、フィルタ２ｅを通うてビディコンテレビ カメラ３に入る。

フィルタ２ｂ、２ｄはそれぞれ同一の型で、近赤外域に近い光の狭いバンド中だ けを通すように選ばれている。これらフィルタの効果は勿論、凝視方向の測定動 作に外部の光が干渉する可能性を減じることにある。

この実施例のカメラ３は毎秒５０サイクル、６２５ラインのモノクロテレビカメ ラで、２：１の飛越しく　１ｎｔｅｒｆａｃｅ）ラスタースキャン方式を採用し 、カメラで見られる眼の特徴の境界位置を検出するのに使われる、クリスタル発 振器でロックされた列（ビクセル）及び行カウンタから得られる信号に同期され ている。

このような構成により、凝視方向の読取と記録は毎秒５０回可能である。

図面中、ターゲット７は画像表示装置のスクリーンの一部で、多数の別々のユニ ークに識別された範囲に分割されており、各範囲は適切なターゲットを含んでい る０例示のスクリーンは４９の異った領域に分割され、この実施例では、各ター ゲット毎にユニークな範囲が分割線で示された範囲であり、従って図示の矩形境 界によって囲まれた総領域の約１／４９である。

第２図には、図示の矩形を成す４つのライン９，１０．１１及び１２で囲まれた ターゲット８が示しである。

まず、眼１の視線がターゲット８を向いているかどうかの評価が必要である。

第２図には、ターゲットスクリーンと交差すると見込まれる８つの順番の代表的 な凝視方向の測定例が示しである。

つまり、（ａｌはユニークなターゲット領域範囲内にあり、（ｂｌはわずか外側 、［Ｃ１は内側、＋ｄｌは内側、（ｅｌはわずか外側、（ｆ）は内側、Ｔｇ）と ｆｈｌは共に内側である。

各々が記録された８つの順番の読取から、０．７５の割合つまり８つの読取中６ つが所定の範囲内にあり、従って一部の８７５０以内にそのターゲットが選ばれ たものであるという判定の成されることが明らかであろう。

実施例では、このように成された予測の判定に基き、使用者に対する目視フィー ドバックとして、カーソルをターゲット８の下方に置くという有効な手段が取ら れる。

その後、凝視方向の非常に多数の測定と記録を逐次用いて測定とカウントを継続 し、好ましくは、非常に速い決定が必要なら、０．８の割合で逐次読取の所定数 を２０として、ターゲット８が選ばれたものであることをカーソルが示した後の 指示を行なうことによって、さらに次の動作を開始できる。

経験のある使用者にとって０．８の割合で２０の読取は適切だが、例としてもっ と経験の浅い利用者にとってはさらに多い数の数が適切で、０．８３の割合で７ ０という大きい数を逐次測定数として使用可能である。

比率の因子は必要な精度の度合で、スクリーンの距離及びスクリーンのサイズは 、垂直方向及び水平方向両方で１度より大きい精度が必要でないように選ばれる べきである。

第３図は凝視方向の目標点をめるためのフローチャートである。

コンピュータが適切に設定された後のステップ１３は、凝視方向自体の他、ヘッ ド位置、眼位置のロス、まばたき又はす。

カード（眼球の瞬間的な運動）等、凝視方向決定装置からの情報のテストを含む 。

１４における次のテストは、ヘッド位置のチェックで、再位置合せが所望なとき は警告を与える。

１５は、最終的に選択されたサンプル数を用いた視線情報のデジタル的なフィル タリングである。

次の１６の機能ステップでは、見つめられている現時点のターゲットの計算が成 され、これが正当なターゲットでないと、マイナス１のレベルがターゲット位置 として設定され、これは位置が決まらなかったこととして解釈し得る。

１７〜２６では、優先順位が最も高い動作クラス“Ａ′からの動作が行われるべ きかどうかを決める領域が存在する。

１７は連続動作かまたは単一事象かのテストで、もし連続動作ならフローチャー トは左側に進み、単一事象なら右側へ進む。

１８におけるテストは、任意のターゲットについて、測定位置のうちそのターゲ ットに関し特有に識別された範囲内に入る直前の所定数の割合が、そこに位置し た全読取の所定の割合より大きいかどうかを判定する。

先に連続動作が開始された任意のターゲットについてノーなら、フローチャート の経路は左側へ進み、１９の中断動作シーケンスに至る。

イエスなら、フローチャートの経路は右側へ進み、２０のテストでそのターゲッ トに関する動作が可能かどうかを確かめ、２１で動作を実行つまり継続した後、 ２２を通り該当のステップに応じてその他の動作を可能あるいは不能とする。

２３は現時点のターゲットについて１Ｂと同じ割合テストを与え、割合が所定値 より大きいと、フローチャートの経路は２４に進み、動作が可能かどうかをテス トし、可能なら実行動作である２５に進んで、それまでの全ての測定に関するタ ーゲットにマイナス１を設定する。

上記の数ステップのいずれかでノーなら、フローチャートは上述したステップ１ ７〜２６と同様に、優先順位のもっと低い動作（ｂｌ、　（Ｃ１等他のクラスに 関するテストに進み、順次２７を通ってリターンしフローチャートを再開する。

上記の方法で利用者がターゲットを識別つまり選択できたら、そのターゲットに ついて意図された動作の確認が直ちに生じるか、あるいはその凝視が継続する時 間の割合に関し同様の基準を用いてさらにある時間の経過後に生じる。

あるいは、利用者が凝視してターゲットを識別したら、スイッチ、キーバッドま たはその他任意の別個の装置等から成る補助手段を使って、そのターゲットに関 し何らかの動作を示すようにしてもよい。

いずれの場合でも、特に凝視の制御にあっては、動作が生じたかどうかを確認す るため、（識別の進行中に全体のターゲットＳＪＴ域を小さい中心部分より明る くする等）別のもっと強い形の視覚フィードバックを設けるのが有用である。他 の形のフィードバック、特に聴覚フィードバックを視覚フィードバックと併用し てもよいし、またはそれに代えて用いてもよい。

以上説明した発明の利点は、従来行なわれていたよりもっと迅速にターゲットの 凝視を判定でき、従って凝視制御を用いた動作をより速く実行でき、この結果使 用者が利用可能なより多くのターゲットを所定のスクリーン領域上に置けること にある。

このように従来よりも密なターゲットの詰め込みは選択の範囲をはるかに増大せ しめ、かかる発明の利点の直接的結果として、より迅速な制御とより信転性の高 い制御が得られる。

手続補正書く方式） 特許庁長官　黒　１）明　雄　殿 １、事件の表示　ＰＣＴ／ＡＵ８５１００３２４２、発明の名称　凝視方向制御 装置の改良３、補正をする者 事件との関係　出願人 名　称　ザ　ユニヴアーシティ　オブ　アゾレイド５、補正命令の日付　昭和６ ２年４月１４日国際調丘報告 ＡＮＮＥＸ　Ｔｏ　ＴＨＥ　ＩＮＴＥＲＮＡＴＩＯＮＡＬ　５ＥＡＲＣＨＲＥＰ ＯＲＴ　０ＮｒＮＴＥＲＮＡＴＩＯＮＡＬ　ＡＰＰＬＩＣＡＴ！ＯＮ　Ｎｏ、　 ＰＣＴ／ＡＵ　ＥＩＳＯＯ３２４ＬＩＳ　４０３４４０１　ＧＢ　１５４０９９ ２Ａυ　７７３７３／８１　ＥＰ　５５３３８　ＪＰ５７１１７０４１

Claims (13)

【特許請求の範囲】
1. １．使用者の眼の凝視方向を検出する凝視方向決定手段を備え、該凝視方向決定 手段がターゲット方向に対する凝視方向の相対位置をも決定し、さらに凝視方向 決定手段が復数の凝視方向を測定して記録し、各測定が逐次選択される時間間隔 の間に行なわれ、逐次測定された方向のうち所定数の少くとも所定の割合が各位 置についてターゲット方向から所定の範囲内に入ることが検出されると、“起動 ”つまり“識別”信号を与える凝視方向制御装置。
2. ２．凝視方向決定手段が実質上点の標準光源と、使用者の眼の網膜、角膜、角膜 、虹彩または水晶体の１つ以上からの標準光の反射を検出する検出手段を備えた ことを更に特徴とする請求の範囲第１項記載の凝視方向制御装置。
3. ３．画像表示装置上に１つ以上のターゲットが表示され、該表示ターゲットを参 照して凝視方向が決められることを更に特徴とする請求の範囲第１又は２項のい ずれかに記載の凝視方向制御装置。
4. ４．“起動”信号の発生に続いて動作を行なわしめる手段が備わっていることを 更に特徴とする前記請求の範囲のいずれか１項記載の凝視方向制御装置。
5. ５．“起動”信号が画像表示装置上に“ターゲット位置”識別信号を生ずること を更に特徴とする前記請求の範囲のいずれか１項記載の凝視方向制御装置。
6. ６．“ターゲット位置”識別信号が、ターゲット位置に重ね合わされるかまたは その近くに位置したカーソルであることを更に特徴とする請求の範囲第５項記載 の凝視方向制御装置。
7. ７．“起動”信号の発生に応じ、前記凝視方向決定手段が別の複数の凝視方向に 関する凝視方向をさらに測定して記録し、逐次検出された方面のうち所定数の少 くとも所定の割合が各位置についてターゲット方向から所定の範囲内に入ること が検出されると“動作”信号を生じることを更に特徴とする前記請求の範囲のい ずれか１項記載の凝視方向制御装置。
8. ８．“起動”信号を生じる割合を決めるのに使われる測定・記録した凝視方向の 数が３から２００の範囲内であることを更に特徴とする前記請求の範囲いずれか １項記載の凝視方向制御装置。
9. ９．“起動”信号を生じる割合を決めるのに使われる測定・記録した凝視方向の 数が１秒の３／５０から２００／５０の時間範囲内で採られることを更に特徴と する前記請求の範囲いずれか１項記載の凝視方向制御装置。
10. １０．測定・記録した凝視方向のうちターゲット位置の所定の範囲内に入る所定 数の所定の割合が０．６から０．９の範囲内であることを更に特徴とする前記請 求の範囲いずれか１項記載の凝視方向制御装置。
11. １１．添付の図面に例示し、それらを参照して明細書中で説明した実質上その通 りの凝視方向制御装置。
12. １２．凝視方向の決定により必要なターゲットを求める方法であって、ターゲッ ト方向に対する複数の凝視方向を測定して記録する段階、及び直前の先行する所 定数の測定のうち少くとも所定の割合がターゲットの所定範囲内に入るときにの み“起動”信号を発生する段階を含む方法。
13. １３．実質上明細書中で説明した通りの凝視方向の決定により必要なターゲット を求める方法。