JP4944773B2 - 視線追跡に基づいてコンピュータ装置を制御するための装置、方法及びコンピュータプログラム - Google Patents

視線追跡に基づいてコンピュータ装置を制御するための装置、方法及びコンピュータプログラム Download PDF

Info

Publication number
JP4944773B2
JP4944773B2 JP2007516423A JP2007516423A JP4944773B2 JP 4944773 B2 JP4944773 B2 JP 4944773B2 JP 2007516423 A JP2007516423 A JP 2007516423A JP 2007516423 A JP2007516423 A JP 2007516423A JP 4944773 B2 JP4944773 B2 JP 4944773B2
Authority
JP
Japan
Prior art keywords
signal
user
gui
eye
component
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2007516423A
Other languages
English (en)
Other versions
JP2008502990A (ja
Inventor
クリストファー ビョルクルンド
ヘンリク エスキルソン
マグナス ヤコブソン
マルテン スコーゴ
Original Assignee
トビイ テクノロジー アーベー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by トビイ テクノロジー アーベー filed Critical トビイ テクノロジー アーベー
Publication of JP2008502990A publication Critical patent/JP2008502990A/ja
Application granted granted Critical
Publication of JP4944773B2 publication Critical patent/JP4944773B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)
  • Digital Computer Display Output (AREA)

Description

本発明は、主にコンピュータベースの視線追跡システムに関する。より詳細には、本発明は、請求項１の前提部に記載のコンピュータ装置を制御するための装置と、これに対応する請求項１１の前提部に記載の方法に関する。また、本発明は請求項２１に記載のコンピュータプログラム及び請求項２２に記載のコンピュータで読み取り可能な媒体に関する。
グラフィカルユーザインターフェイス（ＧＵＩ）の導入により、人間とコンピュータとの対話に革新がもたらされた。すなわち、これによって既存の伝達経路を超越した処理能力でもって、情報をユーザに提供するための効率的な手段が与えられた。情報を提供するスピードは、カラースクリーン、大画面化されたディスプレイ、知的な画像オブジェクト（例えば、ポップアップウィンドウ）、ウィンドウタブ、メニュー、ツールバー及び音声により、ここ数年加速的である。しかしながらこの間、キーボードやポインティングデバイス（例えば、マウス、トラックボール、又はタッチパッド）等の入力装置は基本的に変わらないままである。近年、手書き装置（例えば、スタイラスペン又はグラフィカルペンといった形態のもの）が導入されている。しかし、出力側の処理能力が数倍に増大しているにもかかわらず、入力側の処理能力は実質的に変わりないままである。その結果、人間がコンピュータと対話する場合のコミュニケーションの処理能力において、重大な非対称性が生じている。
この処理能力の差を低減するために、視線追跡装置を使用した様々な試みがなされている。しかしながら、多くの場合、それらの装置は１つの点又は複数の点において的外れである。１つの問題点は、従来技術の解決法が、コンピュータへの入力インターフェイスに関する全体論的な視野をもたないことである。このため、比較的大きな運動課題が、鋭敏な知覚器官である目に課せられる。このことは通常、ユーザが経験する疲労症状や不快感をもたらす。これについては、特にアイトラッカー（ｅｙｅ ｔｒａｃｋｅｒ）を画像ディスプレイ上のカーソル制御に用いる場合に当てはまり、様々な理由のため、アイトラッカーがユーザの注視点を十分良好に追跡することができず、その結果、ユーザの実際の注視点と、カーソルが制御される位置との間に不一致が生じる。
カーソルを直接制御する代わりに、適切な初期カーソル位置を選択するために視線方向信号が用いられる。特許文献１は、視線及び手動によるカーソル位置決めの統合システムを開示しており、該システムは、視線方向信号と手動入力とを統合することにより、オペレータがカーソルを位置付けるように支援する。オペレータの装置について機械的な起動が検出された場合、カーソルは、オペレータが現在凝視している領域に対して予め定められた初期位置に配置される。これにより、ユーザにとって使い勝手の良いカーソル機能が実現される。
特許文献２には、船上の監視席用の視覚的対話システムが記載されている。ここで視線追跡カメラは、オペレータによる視線の走査、注視位置、滞留時間、瞬目率、及び瞳の大きさを監視するが、これは、オペレータの注意がスクリーン上の重要な対象物へと向けられるように、合図をさらに行うべきか否かを判別するためである。
特許文献３には、観察者の凝視とこれに対応する脳電位を喚起するイベントから、視覚的刺激を選択する、知的な決定を予測するための装置が記載されている。アイトラッカーは、視線方向を記録し、それに基づいて継続期間、開始時及び終了時の瞳の大きさ、サッカード（ｓａｃｃａｄｅ）及び瞬きの観点から凝視特性が判別される。それに対応した、脳電位を喚起する単一イベントが抽出され、人工ニューラルネットワークが、注視点に関連した選択を予測する。人工ニューラルネットワークのトレーニング後に、この装置はコンピュータを制御するのに用いられ、ユーザの如何なる手動操作をも必要とせずに、例えば、ディスプレイ上のアイコンが、ユーザの予測された意図に従って有効化される。
また、ユーザが生成した入力データを、コンピュータ制御用の高度な情報に抽象化することに関して、いくつかの試みがなされている。例えば、特許文献４には、マルチモードユーザインターフェイス、つまり、異なる入力モード間での手動による切り換えを要することなく、ユーザの入力を柔軟に処理することが可能なインターフェイスが記載されている。データストリーム内での、異なる情報カテゴリは、データストリームが生成される状況の前後関係に応じて区別される。
米国特許第６２０４８２８号明細書 米国特許第６４０１０５０号明細書 米国特許第５６４９０６１号明細書 米国特許出願公開第２００４／０００１１００号明細書 スウェーデン特許出願第０２０３４５７−７号明細書 米国特許第５８５０２２１号明細書
実際、この方法は人間と機械との対話の効率を向上させるが、視線追跡データが最適に処理されるような、多彩な解決策は今のところ提案されていない。一方、ほんのわずかな例外を除いて、今日の視線追跡インターフェイスは、ある特定のタスクのみに合わせて仕上がっている。よって、最初のアプリケーションについての視線追跡データの処理を、次のアプリケーションには再使用することができず、その逆もまた同様である。このため、単一のコンピュータにおいて、複数の視線制御アプリケーションを使用する場合に、ある特定の視線追跡データを処理するユニットが通常、アプリケーション毎に必要となる。勿論、このような場合には、異なるアプリケーションが、かなりの量の重複する視線追跡データを処理するという高いリスクがある。さらに、視線で制御可能なアプリケーションの各設計者は、アプリケーションに必要なデータを取り出すために、視線追跡技術及び視線追跡データの解釈の両方の専門知識をもつことが必要となる。
従って、本発明の目的は、ユーザの眼球運動に基づいてコンピュータ装置を制御する全体論的な手段を提供して、上記の問題を解決するとともに、二重処理の量を最小限に抑えること、すなわち、２以上の別々のアプリケーションに属するＧＵＩコンポーネント（部品）に対して、できるだけ多量の視線追跡データの処理が集中的に実行されるようにすることで、人間と機械との間の効率の良い対話を提供することにある。
本発明のある態様によれば、本発明の目的は、イベントエンジンが少なくとも１つのＧＵＩコンポーネントの各々から制御信号要求を受信するように構成された装置によって達成される。この制御信号要求は、対象となるＧＵＩコンポーネントによって要求される非カーソル制御イベント出力信号のセットの一部（サブセット）を規定する。また、イベントエンジンは、各々の制御信号要求に従って、非カーソル制御イベント出力信号を、少なくとも１つのＧＵＩコンポーネントに対して配信する。
この装置は有益であるが、その理由は、視線追跡信号によって制御可能な、任意のアプリケーションに対して、非常に柔軟なインターフェイスが得られるためである。そして、これにより、ソフトウェア開発者は、視線追跡技術に関する深い知識を必要とせずに、アイコントロール可能なアプリケーションを設計することができるようになる。従って、本発明は、新たなアプリケーションの開発を刺激し、その結果、人間とコンピュータとの間の対話をさらに向上させる。そして、コンピュータ処理のリソース（資源）が別の目的のために解放されることになり、これは、あるアプリケーションに関して導出された高度な視線追跡データ信号を、１つ以上の別のアプリケーションによって再使用できるからである。換言すれば、イベントエンジンは、要求されたＧＵＩコンポーネント（又は、潜在的な「加入者」であるコンポーネント）に対して、視線追跡データについての集中的な処理を行うように構成される。このため、イベントエンジンが導入される時点において、各コンポーネント及び要求された制御信号の各々が、明確に知られている必要はない。むしろ、本発明によれば、１つ以上のＧＵＩコンポーネントは、後から追加されるアイコントロール可能なアプリケーションの実装に関連して、該当する制御信号を要求することができる。勿論、その反対の場合も当てはまり、すなわち、制御信号要求のセットは、提案された装置の起動時に限って提示される。
本発明のこの態様に係る好適な実施形態によれば、コンピュータ装置はまた、カーソル制御信号を受信し、該カーソル制御信号に応じてディスプレイ上のグラフィカルポインタを制御するように構成される。従って、例えば、イベントエンジンとカーソル制御信号が共同して、ディスプレイ上に表されるＧＵＩコンポーネントと相互作用し、これにより、人間と機械との間の直感的な対話が実現されることになる。
本発明のこの態様に係る別の好適な実施形態によれば、少なくとも１つのＧＵＩコンポーネントが、該コンポーネントのユーザ操作の際に、少なくとも１つの出力制御信号をそれぞれ生成するように構成される。これは、ＧＵＩコンポーネントを操作することで、ユーザが、コンピュータ装置に対して、１つ以上の外部装置、例えば、プリンタ、カメラ等への出力信号を生成させるようにできるということである。勿論、これは非常に望ましい特徴である。さらに、１つ以上のＧＵＩコンポーネントが出力制御信号を生成するという事実は、１つ以上のＧＵＩコンポーネントに関連して、非カーソル制御イベント出力信号が、コンポーネントに内部的で排他的な影響を与えることを妨げるものではない。
本発明のこの態様に係る好適な実施形態によれば、イベントエンジンは、視線追跡データ信号の動的変化に基づいて、非カーソル制御イベント出力信号のうちの、第１の信号を少なくとも生成する。これにより、ユーザの眼球運動の時間パラメータが、コンピュータ装置の機能及び処理を制御するために用いられる。例えば、この時間パラメータは、ディスプレイ上の特定領域内をユーザが凝視する際の滞留時間を反映し、特定の注視パターンや凝視パターンなどを識別することができる。これにより、多種の高度でアイコントロール可能な機能が実現可能である。
本発明のこの態様に係る、また別の好適な実施形態によれば、少なくとも１つのＧＵＩコンポーネントが、非カーソル制御イベント出力信号を、ユーザの意図の表れとして解釈する。この予測される意図に応じて、コンポーネントのユーザ操作がトリガされる。これには、例えば、コマンド履歴に基づいて、１つ以上のコンピュータ機能を有効化することを含む。このことは、コマンド入力の手続が簡単になるという理由から有益である。
本発明のこの態様に係る、さらに別の好適な実施形態によれば、少なくとも１つのＧＵＩコンポーネントが、非カーソル制御イベント出力信号を、ユーザの予測される注目レベルとしてを解釈する。この予測された注目レベルに応じて、コンポーネントのユーザ操作がトリガされる。これにより得られる１つの利点は、コンピュータの動作がユーザの現在の注目レベルと一致するようになることである。
本発明のこの態様に係る、また別の好適な実施形態によれば、少なくとも１つのＧＵＩコンポーネントが、非カーソル制御イベント出力信号を、ユーザの心理状態パラメータとして解釈し、この心理状態パラメータに応じて、コンポーネントのユーザ操作がトリガされる。この特徴が望ましいとされる理由は、ユーザが意識を集中して専念していることや、気をそらしていること、疲れているか集中していないこと、又は混乱していること等、のように見えるか否かに応じて、コンピュータに異なる動作をさせることができるからである。
本発明のこの態様に係る、さらに別の好適な実施形態によれば、イベントエンジンは、少なくとも１つの補助入力信号、例えば、ボタン又はスイッチ、音声信号、入力要素の運動パターン、カメラに記録されたジェスチャーのパターン若しくは顔の表情、又はＥＥＧ（ｅｌｅｃｔｒｏｅｎｃｅｐｈａｌｏｇｒａｍ：脳電図）信号等に起因する信号を受信するように構成される。この補助入力信号にさらに基づいて、イベントエンジンは非カーソル制御イベント出力信号のセットを生成する。これにより、ユーザ入力信号の非常に効率的な組み合わせを使用して、コンピュータを制御することができる。一般に、このような組み合わせは、非常に直感的であって習得し易いようになされる。
本発明の別の態様によれば、上記の目的は、制御信号要求が、少なくとも１つのＧＵＩコンポーネントの各々から受信されるようにした方法により達成される。この制御信号要求は、特定のＧＵＩコンポーネントによって要求される、非カーソル制御イベント出力信号のセットの一部（サブセット）を規定する。そして、非カーソル制御イベント出力信号は、制御信号要求の各々に従って、少なくとも１つのＧＵＩコンポーネントに配信される。
この方法の利点及び好適な実施形態については、提案された装置に関連する上記の説明から明らかである。
本発明の他の態様によれば、上記の目的は、コンピュータの内部メモリに直接ロード可能なコンピュータプログラムにより達成され、該コンピュータプログラムは、コンピュータによって実行される際に、上記で提案した方法について制御するためのソフトウェアを包む。
本発明のさらに別の態様によれば、上記の目的は、コンピュータで読み取り可能な媒体、つまり、コンピュータを制御して、上記で提案した方法を実行するためのプログラムが記録された媒体によって達成される。
本発明は、ユーザからコンピュータへと情報を伝達するために、つまり、基本的には、ユーザがそれに気付く必要のないコマンドを生成するために利用可能な処理能力を飛躍的に増加させる。よって、この処理能力の増加によって、ユーザが認識上の負担をさらに強いられることはない。逆に、本発明によって、認識上の負担が実際に軽減される。同時に、処理能力の増加によって、人間と機械との間の対話について効率の改善が保証される。
さらに、本発明によって、これまでは手及び／又は指による操作を必要としたコマンドが、ユーザの眼球運動に基づいて、効率的かつ容易に行えるようになる。勿論、このことは、障害を有するコンピュータユーザから、コールセンター環境（例えば、顧客関係の管理アプリケーションにおけるデータの入力や編集を行う場合）のサポートオペレータ、高度なコンピュータ支援設計（ＣＡＤ）ツールのユーザ、外科医、そして、様々な理由により効率的に手の操作及び／又は指の操作でコマンドを効率的に生成できないドライバーやパイロットなど、広範囲の適用において望ましい。ユーザがその手や指を容易に動かせる状況であっても、本発明は、人間工学の向上、そして、例えば反復運動損傷のリスクを低減させるのに有用である。この他、コンピュータ装置が非常にクリーンな環境又は汚染された環境に設置されている場合には、コンピュータ装置から出る可能性のある排出物から環境を保護する必要があるか、その反対に、環境中の有害物質からコンピュータ装置を保護する必要があり、従って、従来のコマンド入力が不可能であるか又は少なくとも実用的でない程度にまで、コンピュータ装置を密閉する必要がある。
本発明は、ユーザの眼によって制御できる新規なソフトウェア及びコンピュータアプリケーションを開発するために優れた基盤を提供する。従って、本発明は、長期において、深遠で制約のない、眼で対話する（ｅｙｅ ｉｎｔｅｒａｃｔｉｏｎ）アプリケーションの統合を、標準的なコンピュータ環境に持ち込むことを保証する。
本発明のさらなる利点、好ましい特徴、及び適用については、以下の記載及び従属請求項から明らかとなる。
本発明について、例示した好適な実施形態を用いるとともに添付図面を参照して、より詳細に説明する。
図１は、本発明に係る典型的な使用状況の概要図を示す。ここでユーザ１１０は、少なくとも部分的に視線追跡データ信号ＤＥＹＥに基づいてコンピュータ装置１３０を制御する。この視線追跡データ信号ＤＥＹＥは、ディスプレイ１２０上での、ユーザ１１０の注視点ｘ、ｙを記述する。従って、ディスプレイ１２０上のＧＵＩコンポーネント２２０を見ることにより、ユーザ１１０は、コンピュータ装置１３０に対するコマンドを生成することができる。この操作については、ＧＵＩコンポーネント２２０が視線追跡データ信号ＤＥＹＥによって少なくとも間接的に影響を受けるように構成されているために可能となる。本発明では、視線追跡データ信号ＤＥＹＥが、ディスプレイ１２０上のカーソルや、ポインタに影響を与えることなく、コンピュータ装置によって実行可能な任意のタスクに関連したイベントをもたらすものとする。注意すべきことは、本発明によれば、既知の如何なる種類のコンピュータスクリーン又はモニタ、そして２つ以上の別々のディスプレイの組み合わせであっても、ディスプレイ１２０に相当することである。例えば、ディスプレイ１２０は、一対の立体視スクリーン、ヘッドアップディスプレイ（ＨＵＤ）、ヘッドマウントディスプレイ（ＨＭＤ）や、一対の立体視メガネレンズ、あるいは壁が仮想環境のための投影スクリーンを含むようにされた部屋等の、仮想環境用のプレゼンテーション手段を構成する。
視線追跡データ信号ＤＥＹＥを生成するため、当然ではあるが、ディスプレイ１２０はアイトラッカー（視線追跡装置）と関連付けられるか、又はアイトラッカーを含んでいる。但し、この装置は本発明の適用対象ではないので、ここではその詳細な説明を省略する。尚、アイトラッカーについては、２００２年１１月２１日に、本出願人の名称で出願された上記特許文献５に記載した解決策により具現化することが好ましい。
コンピュータ装置１３０によって、グラフィック制御信号Ｃ−ＧＲが生成されて、ディスプレイ１２０上で視覚的なフィードバック情報を得ることが好ましい。この視覚的なフィードバック情報は、コンピュータ装置１３０によって受け取られた任意のユーザコマンドに応じて生成されるが、これはユーザ１１０に対して、視線追跡データ信号ＤＥＹＥに基づくコマンドを確認させるためである。このような確認は、例えば、人間の眼のような鋭敏な知覚器官によってコマンドが生成される場合には、特に望ましい。
本発明の好ましい一実施形態によると、コンピュータ装置１３０は、視線追跡データ信号ＤＥＹＥの他に、カーソル制御信号Ｋを受信する。このカーソル制御信号Ｋはディスプレイ１２０上のグラフィカルポインタの位置を制御する。勿論、グラフィック制御信号Ｃ−ＧＲはまた、カーソル制御信号Ｋに基づいた信号であってもよい。
図２は、本発明の一実施形態に係る装置構成を示しており、これは図１を参照して説明したコンピュータ装置１３０を用いて実現される。
本装置は、イベントエンジン２１０と、１つ以上のＧＵＩコンポーネント２２０と、を含み、ユーザにより生成されるコマンドであって、少なくとも部分的には視線追跡データ信号ＤＥＹＥで表されるコマンドに基づいて操作される構成となっている。イベントエンジン２１０は、視線追跡データ信号ＤＥＹＥを受信して、該信号に基づいて一組の非カーソル（ｎｏｎ−ｃｕｒｓｏｒ）制御イベント出力信号Ｄ−ＨＩｉを生成するように構成されており、これら非カーソル制御イベント出力信号Ｄ−ＨＩｉは少なくとも１つのＧＵＩコンポーネント２２０に影響を与える。非カーソル制御イベント出力信号Ｄ−ＨＩｉの各々は、ディスプレイ１２０に対するユーザ１１０の眼球運動について、特定の状況を記述する。
例えば、第１の信号は、ユーザ１１０の注視がディスプレイ全体に向けられているかどうかを示すことができ（つまり、「ディスプレイ注視」信号）、また第２の信号は、ディスプレイ１２０上の所定領域内におけるユーザ１１０による凝視の滞留時間を反映させることができる。そして第３の信号は、（特定の点に対する）視線の固定を表し、第４の信号は視線がサッカード（急速な眼球運動）を行っているどうかを示すことができる。第５の信号は、視線がスムーズな経路をとっているかどうかを示し、第６の信号はユーザ１１０が文章を読んでいることを反映し、第７の信号は、ユーザ１１０が注意をそらしているときに、ユーザにより生成された特定の視線追跡データ信号ＤＥＹＥに基づいてトリガされる。
本発明によれば、イベントエンジン２１０は、１つ以上の各ＧＵＩコンポーネント２２０ａ乃至２２０ｎから、各々の制御信号要求Ｒａ乃至Ｒｎを受信する。この制御信号要求（例えば、Ｒａ）は、ユーザの意図通りに操作するために、特定のＧＵＩコンポーネント（例えば、２２０ａ）によって要求される非カーソル制御イベント出力信号Ｄ−ＨＩｉのセットの一部（サブセット）を定める。そして、イベントエンジン２１０は、制御信号要求Ｒａ乃至Ｒｎの各々に従って、非カーソル制御イベント出力信号Ｄ−ＨＩｉを、１つ以上のＧＵＩコンポーネント２２０ａ乃至２２０ｎに各々配信する。
最も効率的な処理は、イベントエンジン２１０が、少なくとも１つのＧＵＩコンポーネントによって実際に要求されたそのようなイベント出力信号Ｄ−ＨＩｉを、排他的に生成する場合に実現される。しかしながら、本発明によれば、生成可能な全ての非カーソル制御イベント出力信号Ｄ−ＨＩｉについては、これに対応する制御信号要求が受信されたか否かに関わらず、常にイベントエンジン２１０によって生成されることもあり得る。すなわち、これにより手続が簡略化され、アプリケーションによっては、この方策が過度に広範囲の処理を要求しない場合もある。
本発明のある好適な実施形態によると、各ＧＵＩコンポーネント２２０ａ乃至２２０ｎは、ユーザによる、これらのＧＵＩコンポーネント２２０ａ乃至２２０ｎの操作時に、少なくとも１つの出力制御信号Ｃａ乃至Ｃｎを各々に生成するように構成される。上述した視覚的なフィードバック情報を生成することに加えて、１つ以上の内部装置又は周辺装置は、出力制御信号Ｃａ乃至Ｃｎによって影響を受ける。例えば、プリント（印刷）ジョブが開始され、また計算タスクが実行されることや、電子メールが送信され、写真を撮るためにカメラがトリガされるといったこともある。
上述したように、非カーソル制御イベント出力信号Ｄ−ＨＩｉは、視覚追跡データ信号ＤＥＹＥによる、多くの異なる局面を表す。本発明の一実施形態によると、少なくとも一つの出力信号Ｄ−ＨＩｉは、視覚追跡データ信号ＤＥＹＥの動的な変化（進展）に基づく。従って、当該信号は、ディスプレイ１２０に亘る特定の注視パターンを表すことができる。この注視パターンは判別されて、例えば、サッカード、スムーズな追跡、凝視又は読み取りの期間を定める。
また、非カーソル制御イベント出力信号Ｄ−ＨＩｉは、凝視エンター（ｇａｚｅ−ｅｎｔｅｒ）及び凝視リーブ（ｇａｚｅ−ｌｅａｖｅ）のデータを示す。このデータは、ユーザの注視点がディスプレイ上のＧＵＩコンポーネント内に収まっていることを、視線追跡データ信号ＤＥＹＥが示す場合のタイムインスタンスを反映するパラメータである。従って、凝視エンターのデータは、ユーザの注視がディスプレイ上のＧＵＩコンポーネントの表示部分に向けられるときに生成され、また凝視リーブのデータは、ユーザの注視が当該表示部分の外部に向けられるときに生成される。
ＧＵＩコンポーネントについての上記した滞留時間は通常、特定のＧＵＩコンポーネントに関して、凝視エンターのデータが生成されて凝視リーブのデータが生成されるまでの間の期間として定義される。通常は、滞留時間に対して起動信号を関連付けることが望ましいが、これは、例えば、ある滞留時間が経過したときに「アイボタン（ｅｙｅ−ｂｕｔｔｏｎ）」を作動させるためである。これに代わって、ボタン、スイッチ、音声信号、入力要素の運動パターン、カメラに記録されたジェスチャー（身振り）のパターンや顔の表情によって起動信号を構成することも可能である。さらには、瞬き又は所定のＥＥＧ信号によって起動信号を生成してもよい。但し、後者のタイプの信号は通常、ユーザが十分な精度をもって制御することが比較的難しい。
本発明の一実施形態によれば、イベントエンジン２１０は、１つ以上の補助入力信号ＤＪを受信し、この信号にさらに基づいて、一組の非カーソル制御イベント出力信号Ｄ−ＨＩｉを生成するように構成される。この補助入力信号ＤＪについては、ボタン、スイッチ、音声信号、入力要素の運動パターン、カメラに記録されたジェスチャーのパターンや顔の表情、又はＥＥＧ信号に起因しても構わない。
従って、視線追跡データ信号ＤＥＹＥと、１つ以上の補助入力信号ＤＪとの組み合わせに基づいて、非常に直感的で習得し易い、複合のユーザコマンドを生成することができる。よって、コンピュータ装置１３０を用いた、効率の高い人間対機械間の対話を実現できる。例えば、文書用のアイボタンを見て、制御用の言葉「開け」と発することで、テキスト文書を開くことができる。さらに複雑な音声認識が利用可能であれば、所望の検索語を発しながら、関連したテキスト入力ボックスに視線を向けることにより、インターネット検索が行われるといった具合である。
本発明の一実施形態によると、ＧＵＩコンポーネント２２０ａ乃至２２０ｎの少なくとも１つが、イベントエンジン２１０からの非カーソル制御イベント出力信号Ｄ−ＨＩｉを、ユーザ１１０の予測される意図として解釈する。この予測された意図に応じて、コンポーネント２２０ａ乃至２２０ｎについてのユーザ操作がトリガされる。好ましくは、イベントエンジン２１０が、補助入力信号ＤＪとして受信された複数の入力ソースに基づいてユーザの意図を予測し、その補助入力信号ＤＪには、キーボード信号、マウス信号、音声データ、及びカメラ画像を含むことができる。但し、視線追跡データ信号ＤＥＹＥが、予測されるユーザの意図についてその基礎を成すことは勿論である。例えば、重要な情報は、様々な凝視パターン及び凝視時間から導出される。
本発明の他の実施形態によれば、ＧＵＩコンポーネント２２０ａ乃至２２０ｎの少なくとも１つが、イベントエンジン２１０からの非カーソル制御イベント出力信号Ｄ−ＨＩｉを、ユーザの予測される注目レベルとして解釈する。この予測された注目レベルに応じて、コンポーネント２２０ａ乃至２２０ｎについてのユーザ操作がトリガされる。また、注目レベルは、例えば、キーボード、マウス、音声データ、カメラ画像に起因する補助入力信号ＤＪ、及び視線追跡データ信号ＤＥＹＥに基づいて推定される。特に、凝視パターン、凝視位置及び凝視時間が、ユーザ１００の注目レベルを判別するための重要な基準を成す。ＧＵＩコンポーネント２２０ａ乃至２２０ｎは、予測される注目レベルに応じて各々の挙動が異なり、これは該コンポーネントの特性を、ユーザ１１０の現在の動作に合致させるためである。
さらに、本発明の一実施形態によれば、ＧＵＩコンポーネント２２０ａ乃至２２０ｎの少なくとも１つが、イベントエンジン２１０からの非カーソル制御イベント出力信号Ｄ−ＨＩｉを、ユーザ１１０についての心理状態パラメータとして解釈する。この心理状態パラメータは、ユーザ１１０の一般的な状態、例えば、ユーザが意識を集中し若しくは専念しているか、気をそらしているか、また、疲れているのか若しくは集中していないのか、又は混乱しているのかといった状態に見えるか否かについて、そのような状態を反映する。例えば、心理状態パラメータは、疲労度が約２０％であって、注目度が約５０％である状態を示すことができる。そして、予測された心理状態に基づいて、コンポーネント２２０ａ乃至２２０ｎについてのユーザ操作がトリガされる。典型的には、ヘルプメニュー及びポップアップウィンドウの数及び内容が、予測される心理状態に応じて適合される。尚、レーダー観測基地のように、注目レベル及び心理状態が真に重要となる操作者環境においては、オペレータがまだ観測していないターゲットなどに注目させることによって、セキュリティを向上させることができる。
本発明の一実施形態によれば、イベントエンジン２１０がテンプレートライブラリ２３０と関連付けられており、このテンプレートライブラリは、一般的なＧＵＩコンポーネントである、アイボタン、スクロールバー、マルチビューツールバー（図４に関する以下の記載を参照）、テキスト入力フィールド（図５に関する以下の記載を参照）、拡大可能なテキスト入力フィールド（図６に関する以下の記載を参照）、及びスクロールウィンドウ（図７に関する以下の記載を参照）等を含む。このようなテンプレートライブラリ２３０を用いて、ソフトウェア設計者は、これまでと同様、ディスプレイに対するユーザの眼球運動に基づいて操作可能な関数及びコントロールを容易に生成することができる。但し、特定のアイコントロール（視線で制御）可能なアプリケーションの設計が完了した後において、テンプレートライブラリ２３０は、一般的なコンポーネントを起源とするＧＵＩコンポーネントに関して、実際上の機能をもたないことを勿論である。それにも関わらず、テンプレートライブラリ２３０は、アプリケーションの将来的なアップグレードや再設計の場合に再び有用となる。
本発明によれば、ＧＵＩコンポーネントの操作がディスプレイ上でグラフィックを使って確認されることは、技術的に必要でない。しかしながら、このことは、ユーザの使い易さの観点から好ましい。図３ａは概略的なシンボル３１０を示しており、このシンボルは、非観察モード（すなわち、視線追跡データ信号ＤＥＹＥは、ユーザの注視点がシンボル３１０の外にあることを示す）におけるディスプレイ上のアイコントロール可能なＧＵＩコンポーネントを表す。また図３ｂは観察モードにおけるシンボル３１０を示しており、このモードでは、ユーザの注視点がシンボル３１０によって表される表示領域内にあることを、視線追跡データ信号ＤＥＹＥが示す。観察モードにおいて、シンボル３１０は中央に位置するオブジェクト３１１を含む。このオブジェクト３１１は、ユーザの現在の視線がシンボル３１０に向けられていることを、コンピュータ装置が登録済みであると、ユーザに対して確認させるためのものである。従って、シンボル３１０に関連付けられたＧＵＩコンポーネントの如何なる操作をも行うことができる。中央に位置するオブジェクト３１１により得られる重要な利点は、このオブジェクトが、ユーザに視線をシンボル３１０の中央に集中させる手助けとなることである。これにより、より信頼性の高い視線追跡機能が実現されるとともに、与えられた任意のアイトラッカーに対して、シンボル３１０を他よりも小さくすることができる。勿論、シンボル３１０及び中央に位置するオブジェクト３１１は、図３ａ及び図３ｂに表される正方形以外の外形を有してもよい。また、視覚的刺激をさらに向上させるために、オブジェクト３１１がアニメーション化されてもよいし、又は、特に興味をひくような色や形状をもつことも可能である。
図４は、本発明の第１の実施形態を示し、提案のマルチビューツールバー４０１を用いてフレーム４００内のアプリケーションを制御するものである。ここで、マルチビューツールバー４０１は、４つの異なるアイボタンを含んでおり、各ボタンは、該ボタンに関連付けられたアプリケーションのサムネイル画像（図示せず）を含むことができる。第１のボタン４１０は、第１のアプリケーションに関連付けられており、該アプリケーションについては、例えば、望ましくは所定のＵＲＬ又はウェブページにアクセスするインターネットブラウザである。この第１のアプリケーションは、フレーム４００内のサブフレーム４２０により表されるユーザインターフェイスを有する。そして、ユーザは、第１のボタンを見ることにより、サブフレーム４２０を開くことができる。この起動は、ボタン４１０を所定の滞留時間に亘って凝視した後で行われるか、又は、例えば、キー打ちや制御用の言葉等の起動信号に応じて行われる。そして、テキスト入力ボックス４１１を見て、関係のある検索語を入力した上で、検索ボタン４１２を操作することにより、検索が実行される（好ましくは、視線追跡データ信号に基づいて行われる）。
図５は、提案のマルチビューツールバー４０１に基づく、本発明の第２の実施形態を示す。ここでは、第２のボタン５１０が第２のアプリケーションに関連付けられており、該アプリケーションは、例えば、フレーム４００内のサブフレーム５２０の形態でユーザインターフェイスを有する製品管理システムである。これは、ユーザが、特定の凝視滞留時間中に、第２のボタン５１０を見ることにより第２のアプリケーションを起動するか、あるいは、（上述したように）別の起動信号を生成することにより、第２のアプリケーションを起動し得ることを意味する。好ましくは、テキスト入力ボックス及びボタン５１５のデフォルト設定が最初に有効化される。そして、サブフレーム５２０内の他の領域を見ることにより、別のフィールド及び機能が有効化されて操作される。
特に、スクリーンコントロールについては、ユーザの眼球運動に基づく操作によって拡大するように構成することができる。図６ａ及び図６ｂは、このことを本発明の第３の実施形態として示すものである。
ここで、サブフレーム５２０内のテキストフィールド６２０は、ディスプレイ上の比較的小さな領域を占めているが、これは、ユーザの注視点がフィールド６２０の外にあることを視線追跡データ信号が示している場合である。しかし、注視点がテキストフィールド６２０で表された表示領域内に存在する時間が、所定の滞留時間に達したことを、視線追跡データ信号が示している場合には、この領域が、例えば、図６ｂに示すように拡大する。よって、フィールド６２０内で最初に見ることができた以上の情報が表示される。このような拡大したテキストフィールド６２０については、フレーム４００内に示される他のグラフィカルオブジェクトを網羅することも可能である。このことは、情報を要求に応じて提示できるが故に有益であり、フレーム４００及びサブフレーム５２０は、それらに実際に嵌め込まれるデータよりも多くのデータを含むことになる。例えば、そのようにしない場合に必要となるテキストスクロールを避けることができる。
図７は、本発明の第４の実施形態を示しており、ユーザの眼球運動に基づくスクロール機能を実現するものである。ここで、第３のアプリケーションは、例えば、マップ（地図）ビューワとされ、第３のボタン７１０に関連付けられている。この第３のボタン７１０を見るとともに、それに関連付けられたＧＵＩコンポーネントを有効にすることにより、凝視の滞留時間に基づくか、あるいは、別途の起動信号を用いて、コンピュータ装置がフレーム４００内でマップサブフレーム７２０を開く。そして、このサブフレームはデジタルマップを提示する。ここで、マップは、マップサブフレーム７２０において利用可能な提示範囲よりも大きいものとされ、よって、一度にマップの一部しか表示することができない。
マップについてのスクロールは、ユーザの注視点に基づいて行われる。好ましくは、注視点が、第１の破線ａと、第２の破線ｂと、第３の破線ｃと、第４の破線ｄ（これらの破線はどれもディスプレイ上で見えないことが好ましい）とによって区切られた中央領域内にあることを、視線追跡データ信号が示す限り、スクロールは行われない。しかし、ユーザの注視点が、破線ａ、ｂ、ｃ、又はｄのいずれかの外側に位置する場合には、注視点により定められる特定の方向において、マップのスクロールが行われる。詳しくは、注視点が破線ｃよりも下にある場合において、矢印Ｓ（南）に沿って下方向にスクロールが行われ、注視点が破線ｄよりも上にある場合には、矢印Ｎ（北）に沿って上方向にスクロールが行われ、また、注視点が破線ｂの右にある場合には、矢印Ｅ（東）に沿って右方向にスクロールが行われ、注視点が破線ａの左にある場合には、矢印Ｗ（西）に沿って左方向にスクロールが行われることになる。さらには、注視点が破線ｃの下にあって、かつ破線ｂの右にある場合において、矢印ＳＥ（南東）に沿って斜め方向のスクロールが行われ、注視点が破線ｄの上にあって、かつ破線ｂの右にある場合には、矢印ＮＥ（北東）に沿って斜め方向にスクロールが行われ、注視点が破線ｄの上にあり、かつ破線ａの左にある場合には、矢印ＮＷ（北西）に沿って斜め方向にスクロールが行われ、そして、注視点が破線ｃの下にあって、かつ破線ａの左にある場合には、矢印ＳＷ（南西）に沿って斜め方向にスクロールが行われることになる。このスクロール機能は、滞留時間に基づいて有効化されるか、又は、キーやボタンをクリックすること、あるいはキーやボタンを押し続けるといった別途の起動信号が必要とされる。
さらに、スクロール速度は、注視点と、各破線ａ、ｂ、ｃ及びｄとの間の距離に依存して決まり、この距離が比較的長い場合は比較的速度が速く、これとは逆に距離が比較的短い場合には比較的遅い。また、スクロール速度は、スクロール時間及び／又は視線追跡データ信号に記録された最新のサッカードの長さに依存して決まる。好適には、最大スクロール速度については、全ての可能な速度においてユーザがスクロールされた情報を視認できる値に設定される。
本発明の一実施形態によれば、スクロール機能は、キーやボタンを押下したり、キーやボタンを解放したり、最新のサッカードの長さが所定の値を超えたり、注視点がマップサブフレーム７２０の外へ移動したり、注視点がマップサブフレーム７２０の中心に向けて移動したり、あるいは、注視点がスクロールを有効化する線ａ、ｂ、ｃ及びｄとは反対の方向へと移動することによって、停止される。
尚、視線追跡駆動式のスクロールによる解決策については、例えば、上記特許文献６の従来技術において記載されていることに留意されたい。この文献では、観察者の目がどこを見ているかに基づいて、ページ指向の又は連続的なスクロール機能が開始されるか、又は制御される。
要約すると、本発明に係るコンピュータ装置を制御する一般的な方法については、図８のフローチャートを参照して以下に記載される。
最初のステップ８１０において、少なくとも１つのＧＵＩコンポーネントの各々からの制御信号要求を受信するが、各コンポーネントは、ユーザにより生成されたアイコマンドに基づいて操作される構成となっている。この制御信号要求は、非カーソル制御イベント出力信号のセットの一部（サブセット）を規定し、これは、ユーザが意図通りに操作するために、特定のＧＵＩコンポーネントによって要求されるものである。
次ステップ８２０において、視線追跡データ信号を受信する。この信号は、ディスプレイ、つまり、少なくとも１つのＧＵＩコンポーネントを具体化するコンピュータに関連するディスプレイ上でのユーザの注視点を記述する。続いてステップ８３０では、視線追跡データ信号、そして任意の補助入力信号に基づいて、一セットの非カーソル制御イベント出力信号を生成する。
続くステップ８４０において、非カーソル制御イベント出力信号を、少なくとも１つのＧＵＩコンポーネントに配信し、これによって、（例えば、各制御信号要求に従って）関連する影響が生じる。非カーソル制御イベント出力信号の各々は、ディスプレイに対する、ユーザの眼球運動についての特定の状況を表すものとされる。つまり、非カーソル制御イベント出力信号は、ユーザによって生成されたアイコマンドを表している。ステップ８４０の後、処理はステップ８２０に戻り、更新された視線追跡データ信号を受信する。
図８に関連して説明した全ての処理ステップや、これらのステップのサブシーケンス（ｓｕｂ−ｓｅｑｕｅｎｃｅ）は、プログラムされたコンピュータ装置によって制御される。さらに、図面を参照して説明した本発明の実施形態については、コンピュータ装置と、該コンピュータ装置により実行されるプロセスを備えるが、本発明は、コンピュータプログラム、特に、本発明を実施するように構成された、キャリア（伝送媒体）上又はキャリア中のコンピュータプログラムにも拡張される。このプログラムは、ソースコード、オブジェクトコード、コードの中間ソース及び部分的にコンパイルされた形式のオブジェクトコードの形態とされるか、あるいは、本発明による処理の実施において使用に好適な任意の他の形態とされる。また、このプログラムは、オペレーティングシステムの一部でもよいし、あるいは別途のアプリケーションでも構わない。キャリアは、プログラムを伝達可能なエンティティ又はデバイスであってもよい。例えば、キャリアは、フラッシュメモリや、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）としての、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）若しくは半導体ＲＯＭ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、又は、フレキシブルディスクやハードディスク等の磁気記録媒体のような、記憶媒体を備える。さらに、キャリアは、例えば、電気的又は光学的なケーブルを介して伝送されるか、又は無線、その他の手段により伝えることが可能な、電気的又は光学的な信号等の伝搬可能なキャリアであってもよい。プログラムが、ケーブル又は他のデバイス又は手段により直接的に伝搬可能な信号により具体化される場合に、キャリアは、そのようなケーブル又はデバイス又は手段によって構成される。これに代わって、キャリアについては、プログラムが組み込まれた集積回路であって、関連する処理を実行し又はその実行に使用するように適合された集積回路でもよい。
本明細書中で使用した「備える」、「備えている」という語は、記載された特徴、数値、ステップ又は構成要素の存在を特定するものである。しかし、この語は、１つ以上の追加的な特徴、数値、ステップ若しくは構成要素又はそれらの集合について、その存在及び追加を排除しない。
本発明は、上述した図示の具体例に限定されるものではなく、本発明の技術的範囲内において自由に変更可能である。
本発明によるコンピュータ装置を制御するユーザの概要を示す図である。 本発明の実施形態に係るコンピュータ装置を制御するための装置構成を示す図である。 非観察モード及び観察モードの各々について、ディスプレイ上のアイコントロール可能なＧＵＩコンポーネントを表すように提案されたシンボルを示す図である。 提案のマルチビューツールバーを用いた、本発明の第１の実施形態を示す図である。 提案のマルチビューツールバーに基づいた、本発明の第２の実施形態を示す図である。 ユーザの眼球運動に基づく操作の際に拡大するようにスクリーンコントロールが適合された、本発明の第３の実施形態を示す図である。 ユーザの眼球運動に基づいてスクロール機能を実現する、本発明の第４の実施形態を示す図である。 本発明に係るコンピュータ装置を制御する一般的な方法について、フローチャートを用いて示す図である。

Claims (22)

  1. グラフィックディスプレイ（１２０）に関連したコンピュータ装置（１３０）を制御するための装置であって、
    前記グラフィックディスプレイ（１２０）は、ユーザによって生成されたコマンドに基づいて操作されるように構成された、少なくとも１つのＧＵＩコンポーネント（２２０）を表示し、
    前記グラフィックディスプレイ（１２０）上でのユーザ（１１０）の注視点（ｘ、ｙ）を表す視線追跡データ信号（ＤＥＹＥ）を受信するとともに、少なくとも前記視線追跡データ信号（ＤＥＹＥ）に基づいて、前記少なくとも１つのＧＵＩコンポーネント（２２０）に影響を与える非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のセットを生成するように構成したイベントエンジン（２１０）を備え、
    前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）の各々が、前記グラフィックディスプレイ（１２０）に対するユーザ（１１０）の特定の眼球運動の状況を表しており、
    前記イベントエンジン（２１０）は、
    前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）の各々から、個別の制御信号要求（Ｒａ乃至Ｒｎ）を受信し、該個別の制御信号要求（Ｒａ乃至Ｒｎ）の各々が、ユーザが意図する操作に対応する１つの前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）に必要とされる前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のセットの一部を規定し、
    前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）の各々から受信した前記個別の制御信号要求（Ｒ ａ 乃至Ｒ ｎ ）の要求に対応する前記非カーソル制御イベント出力信号（Ｄ−ＨＩ ｉ ）のセットを生成し、
    制御信号要求（Ｒａ乃至Ｒｎ）の各々に従って生成された前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のセットを、前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）に対して供給する、ことを特徴とする装置。
  2. 前記コンピュータ装置（１３０）が、
    カーソル制御信号（Ｋ）を受信し、
    前記カーソル制御信号（Ｋ）に応じて前記グラフィックディスプレイ（１２０）上のグラフィカルポインタを制御するように構成された、ことを特徴とする請求項１に記載の装置。
  3. 前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）の１つ以上のコンポーネントが、当該コンポーネント（２２０ａ乃至２２０ｎ）のユーザ操作の際に、１つ以上の出力制御信号（Ｃａ乃至Ｃｎ）をそれぞれ生成するように構成された、ことを特徴とする請求項１又は２に記載の装置。
  4. 前記イベントエンジン（２１０）が、前記視線追跡データ信号（ＤＥＹＥ）の動的変化に基づいて、前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のうちの少なくとも第１の信号を生成するように構成された、ことを特徴とする請求項１から３のいずれか１項に記載の装置。
  5. 前記第１の信号が前記グラフィックディスプレイ（１２０）に亘る特定の注視パターンを表す、ことを特徴とする請求項４に記載の装置。
  6. 前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）が、前記第１の信号を、ユーザ（１１０）の予測される意図として解釈し、該予測された意図に応じて前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）のユーザ操作をトリガするように構成された、ことを特徴とする請求項５に記載の装置。
  7. 前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）が、前記第１の信号を、ユーザ（１１０）の予測される注目レベルとして解釈し、該予測された注目レベルに応じて前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）のユーザ操作をトリガするように構成された、ことを特徴とする請求項５又は６に記載の装置。
  8. 前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）が、前記第１の信号を、ユーザ（１１０）の心理状態パラメータとして解釈し、該心理状態パラメータに応じて前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）のユーザ操作をトリガするように構成された、ことを特徴とする請求項５から７のいずれか１項に記載の装置。
  9. 前記イベントエンジン（２１０）が、少なくとも１つの補助入力信号（Ｄｊ）を受信し、さらに前記少なくとも１つの補助入力信号（Ｄｊ）に基づいて、前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のセットを生成するように構成された、ことを特徴とする請求項１から８のいずれか１項に記載の装置。
  10. 前記少なくとも１つの補助入力信号（Ｄｊ）が、ボタン、スイッチ、音声信号、入力要素の運動パターン、ジェスチャーのパターン、顔の表情及びＥＥＧ信号のうちの少なくとも１つに起因する、ことを特徴とする請求項１から９のいずれか１項に記載の装置。
  11. グラフィックディスプレイ（１２０）に関連したコンピュータ装置（１３０）を制御する方法であって、
    前記グラフィックディスプレイ（１２０）は、ユーザによって生成されたコマンドに基づいて操作されるように構成した、少なくとも１つのＧＵＩコンポーネント（２２０）を表示し、
    前記方法が、
    前記グラフィックディスプレイ（１２０）上でのユーザ（１１０）の注視点（ｘ、ｙ）を表す視線追跡データ信号（ＤＥＹＥ）を受信したことに応じて、前記視線追跡データ信号（ＤＥＹＥ）に基づいて、前記少なくとも１つのＧＵＩコンポーネント（２２０）に影響を与える、非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のセットであって、該非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）の各々が、前記グラフィックディスプレイ（１２０）に対するユーザ（１１０）の眼球運動の状況を表わす、非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のセットを生成し、
    前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）の各々から、ユーザが意図する操作に対応する１つの前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）に必要とされる前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のセットの一部に対応する個別の制御信号要求（Ｒａ乃至Ｒｎ）を受信し、
    少なくとも視線追跡データ信号（Ｄ ＥＹＥ ）に基づいて、前記非カーソル制御イベント出力信号（Ｄ−ＨＩ ｉ ）のセットを生成し、前記非カーソル制御イベント出力信号（Ｄ−ＨＩ ｉ ）のセットは、ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）に影響を与え、前記非カーソル制御イベント出力信号（Ｄ−ＨＩ ｉ ）の各々は、前記グラフィックディスプレイ（１２０）に対するユーザ（１１０）の特定の眼球運動の状況を表しており、前記非カーソル制御イベント出力信号（Ｄ−ＨＩ ｉ ）のセットは、ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）各々の個別制御信号要求から要求され、
    前記制御信号要求（Ｒａ乃至Ｒｎ）の各々に従って、前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）に対して前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のセットを供給することを含む、ことを特徴とする方法。
  12. カーソル制御信号（Ｋ）を受信し、
    前記カーソル制御信号（Ｋ）に応じて前記グラフィックディスプレイ（１２０）上のグラフィカルポインタを制御する、ことを特徴とする請求項１１に記載の方法。
  13. 各ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）が、該ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）のユーザ操作の際に、１つ以上の出力制御信号（Ｃａ乃至Ｃｎ）をそれぞれ生成するようにした、ことを特徴とする請求項１１又は１２に記載の方法。
  14. 前記視線追跡データ信号（ＤＥＹＥ）の動的変化に基づいて、前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のうちの少なくとも第１の信号を生成する、ことを特徴とする請求項１１から１３のいずれか１項に記載の方法。
  15. 前記第１の信号が前記グラフィカルディスプレイ（１２０）に亘る特定の注視パターンを表す、ことを特徴とする請求項１４に記載の方法。
  16. 前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）が、前記第１の信号を、ユーザ（１１０）の予測される意図として解釈し、該予測された意図に応じて前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）のユーザ操作をトリガするようにした、ことを特徴とする請求項１５に記載の方法。
  17. 前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）が、前記第１の信号を、ユーザ（１１０）の予測される注目レベルを解釈し、該予測された注目レベルに応じた前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）のユーザ操作をトリガするようにした、ことを特徴とする請求項１５又は１６に記載の方法。
  18. 前記少なくとも１つのＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）が、前記第１の信号を、ユーザ（１１０）の心理状態パラメータとして解釈し、該心理状態パラメータに応じて前記ＧＵＩコンポーネント（２２０ａ乃至２２０ｎ）のユーザ操作をトリガするようにした、ことを特徴とする請求項１５から１７のいずれか１項に記載の方法。
  19. 少なくとも１つの補助入力信号（Ｄｊ）を受信し、さらに前記少なくとも１つの補助入力信号（Ｄｊ）に基づいて、前記非カーソル制御イベント出力信号（Ｄ−ＨＩｉ）のセットを生成する、ことを特徴とする請求項１１から１８のいずれか１項に記載の方法。
  20. 前記少なくとも１つの補助入力信号（Ｄｊ）が、ボタン、スイッチ、音声信号、入力要素の運動パターン、ジェスチャーのパターン、顔の表情及びＥＥＧ信号のうちの少なくとも１つに起因する、ことを特徴とする請求項１１から１９のいずれか１項に記載の方法。
  21. コンピュータの内部メモリに直接ロード可能なコンピュータプログラムであって、該コンピュータによって実行される場合に、請求項１１から２０のいずれかの１項のステップを制御するためのソフトウェアを備える、ことを特徴とするコンピュータプログラム。
  22. プログラムが記録されたコンピュータで読み取り可能な媒体であって、該プログラムは、コンピュータに、請求項１１から２０のいずれか１項のステップを制御させる、コンピュータで読み取り可能な媒体。
JP2007516423A 2004-06-18 2005-05-24 視線追跡に基づいてコンピュータ装置を制御するための装置、方法及びコンピュータプログラム Active JP4944773B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP04445071.6A EP1607840B1 (en) 2004-06-18 2004-06-18 Eye control of computer apparatus
EP04445071.6 2004-06-18
PCT/SE2005/000775 WO2005124521A1 (en) 2004-06-18 2005-05-24 Arrangement, method and computer program for controlling a computer apparatus based on eye-tracking

Publications (2)

Publication Number Publication Date
JP2008502990A JP2008502990A (ja) 2008-01-31
JP4944773B2 true JP4944773B2 (ja) 2012-06-06

Family

ID=34932990

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007516423A Active JP4944773B2 (ja) 2004-06-18 2005-05-24 視線追跡に基づいてコンピュータ装置を制御するための装置、方法及びコンピュータプログラム

Country Status (8)

Country Link
US (8) US8185845B2 (ja)
EP (2) EP2202609B8 (ja)
JP (1) JP4944773B2 (ja)
CN (1) CN100458665C (ja)
DK (2) DK1607840T3 (ja)
ES (2) ES2568506T3 (ja)
PT (1) PT1607840E (ja)
WO (1) WO2005124521A1 (ja)

Families Citing this family (189)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10039445B1 (en) 2004-04-01 2018-08-07 Google Llc Biosensors, communicators, and controllers monitoring eye movement and methods for using them
PT1607840E (pt) 2004-06-18 2015-05-20 Tobii Ab Controlo ocular de um computador
US20070270122A1 (en) 2005-05-10 2007-11-22 Ewell Robert C Jr Apparatus, system, and method for disabling a mobile communicator
US8385880B2 (en) * 2005-05-10 2013-02-26 Mobile Communication Technologies, Llc Apparatus for and system for enabling a mobile communicator
US8437729B2 (en) * 2005-05-10 2013-05-07 Mobile Communication Technologies, Llc Apparatus for and system for enabling a mobile communicator
US8825482B2 (en) 2005-09-15 2014-09-02 Sony Computer Entertainment Inc. Audio, video, simulation, and user interface paradigms
US10437459B2 (en) 2007-01-07 2019-10-08 Apple Inc. Multitouch data fusion
US8455513B2 (en) 2007-01-10 2013-06-04 Aerie Pharmaceuticals, Inc. 6-aminoisoquinoline compounds
JP2008271413A (ja) * 2007-04-24 2008-11-06 Olympus Corp 画像表示装置、撮像装置、処理プログラム、画像表示装置の制御方法
CN101681201B (zh) * 2008-01-25 2012-10-17 松下电器产业株式会社 脑波接口系统、脑波接口装置、方法
ITFI20080049A1 (it) * 2008-03-12 2009-09-13 Sr Labs Srl Apparato per la creazione, il salvataggio e la formattazione di documenti testuali tramite controllo oculare e metodo associato basato sul posizionamento ottimizzato del cursore.
JP4982430B2 (ja) * 2008-05-27 2012-07-25 株式会社エヌ・ティ・ティ・ドコモ 文字入力装置及び文字入力方法
CN101291364B (zh) * 2008-05-30 2011-04-27 华为终端有限公司 一种移动通信终端的交互方法、装置及移动通信终端
US8450344B2 (en) 2008-07-25 2013-05-28 Aerie Pharmaceuticals, Inc. Beta- and gamma-amino-isoquinoline amide compounds and substituted benzamide compounds
CN102144201A (zh) * 2008-09-03 2011-08-03 皇家飞利浦电子股份有限公司 在用户与交互式显示系统之间执行基于目光的交互的方法
US8659590B1 (en) * 2008-12-17 2014-02-25 Nvidia Corporation System, method, and computer program product for modifying signals of a three-dimensional graphics application program based on a tracking algorithm
JP4775671B2 (ja) * 2008-12-26 2011-09-21 ソニー株式会社 情報処理装置および方法、並びにプログラム
WO2010083853A1 (en) * 2009-01-26 2010-07-29 Tobii Technology Ab Detection of gaze point assisted by optical reference signals
JP2010176510A (ja) * 2009-01-30 2010-08-12 Sanyo Electric Co Ltd 情報表示装置
US20120105486A1 (en) * 2009-04-09 2012-05-03 Dynavox Systems Llc Calibration free, motion tolerent eye-gaze direction detector with contextually aware computer interaction and communication methods
EP3828172A1 (en) 2009-05-01 2021-06-02 Aerie Pharmaceuticals, Inc. Dual mechanism inhibitors for the treatment of disease
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US20120191542A1 (en) * 2009-06-24 2012-07-26 Nokia Corporation Method, Apparatuses and Service for Searching
IT1399456B1 (it) * 2009-09-11 2013-04-19 Sr Labs S R L Metodo e apparato per l'utilizzo di generiche applicazioni software attraverso controllo oculare e opportune metodologie di interazione.
EP2515206B1 (en) * 2009-12-14 2019-08-14 Panasonic Intellectual Property Corporation of America User interface apparatus and input method
US9507418B2 (en) * 2010-01-21 2016-11-29 Tobii Ab Eye tracker based contextual action
US8467133B2 (en) 2010-02-28 2013-06-18 Osterhout Group, Inc. See-through display with an optical assembly including a wedge-shaped illumination system
US8477425B2 (en) 2010-02-28 2013-07-02 Osterhout Group, Inc. See-through near-eye display glasses including a partially reflective, partially transmitting optical element
US10180572B2 (en) 2010-02-28 2019-01-15 Microsoft Technology Licensing, Llc AR glasses with event and user action control of external applications
US8472120B2 (en) 2010-02-28 2013-06-25 Osterhout Group, Inc. See-through near-eye display glasses with a small scale image source
US9134534B2 (en) 2010-02-28 2015-09-15 Microsoft Technology Licensing, Llc See-through near-eye display glasses including a modular image source
US9759917B2 (en) 2010-02-28 2017-09-12 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered AR eyepiece interface to external devices
US9097890B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc Grating in a light transmissive illumination system for see-through near-eye display glasses
US9129295B2 (en) 2010-02-28 2015-09-08 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a fast response photochromic film system for quick transition from dark to clear
EP2539759A1 (en) 2010-02-28 2013-01-02 Osterhout Group, Inc. Local advertising content on an interactive head-mounted eyepiece
US9229227B2 (en) 2010-02-28 2016-01-05 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a light transmissive wedge shaped illumination system
US20150309316A1 (en) 2011-04-06 2015-10-29 Microsoft Technology Licensing, Llc Ar glasses with predictive control of external device based on event input
US9091851B2 (en) 2010-02-28 2015-07-28 Microsoft Technology Licensing, Llc Light control in head mounted displays
US9285589B2 (en) 2010-02-28 2016-03-15 Microsoft Technology Licensing, Llc AR glasses with event and sensor triggered control of AR eyepiece applications
US20120249797A1 (en) 2010-02-28 2012-10-04 Osterhout Group, Inc. Head-worn adaptive display
US8488246B2 (en) 2010-02-28 2013-07-16 Osterhout Group, Inc. See-through near-eye display glasses including a curved polarizing film in the image source, a partially reflective, partially transmitting optical element and an optically flat film
US9128281B2 (en) 2010-09-14 2015-09-08 Microsoft Technology Licensing, Llc Eyepiece with uniformly illuminated reflective display
US9366862B2 (en) 2010-02-28 2016-06-14 Microsoft Technology Licensing, Llc System and method for delivering content to a group of see-through near eye display eyepieces
US9341843B2 (en) 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
US9182596B2 (en) 2010-02-28 2015-11-10 Microsoft Technology Licensing, Llc See-through near-eye display glasses with the optical assembly including absorptive polarizers or anti-reflective coatings to reduce stray light
US8482859B2 (en) 2010-02-28 2013-07-09 Osterhout Group, Inc. See-through near-eye display glasses wherein image light is transmitted to and reflected from an optically flat film
US9097891B2 (en) 2010-02-28 2015-08-04 Microsoft Technology Licensing, Llc See-through near-eye display glasses including an auto-brightness control for the display brightness based on the brightness in the environment
US9223134B2 (en) 2010-02-28 2015-12-29 Microsoft Technology Licensing, Llc Optical imperfections in a light transmissive illumination system for see-through near-eye display glasses
US9557812B2 (en) * 2010-07-23 2017-01-31 Gregory A. Maltz Eye gaze user interface and calibration method
US8531394B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglasses transceiver
US9760123B2 (en) 2010-08-06 2017-09-12 Dynavox Systems Llc Speech generation device with a projected display and optical inputs
US8599027B2 (en) 2010-10-19 2013-12-03 Deere & Company Apparatus and method for alerting machine operator responsive to the gaze zone
US8633979B2 (en) * 2010-12-29 2014-01-21 GM Global Technology Operations LLC Augmented road scene illustrator system on full windshield head-up display
US9160906B2 (en) 2011-02-03 2015-10-13 Jason R. Bond Head-mounted face image capturing devices and systems
US8573866B2 (en) 2011-02-03 2013-11-05 Jason R. Bond Head-mounted face image capturing devices and systems
JP5606953B2 (ja) * 2011-02-18 2014-10-15 京セラ株式会社 情報表示装置
US9812091B2 (en) 2011-02-18 2017-11-07 Kyocera Corporation Automatic scrolling speed control by tracking user's eye
US9013264B2 (en) 2011-03-12 2015-04-21 Perceptive Devices, Llc Multipurpose controller for electronic devices, facial expressions management and drowsiness detection
EP2693348A4 (en) 2011-03-30 2014-12-03 Nec Corp DATA-SAVING ESTIMATION DEVICE, DATA-PARENT ESTIMATING METHOD, AND RECORDING MEDIUM
US8643680B2 (en) * 2011-04-08 2014-02-04 Amazon Technologies, Inc. Gaze-based content display
US9026780B2 (en) 2011-04-12 2015-05-05 Mobile Communication Technologies, Llc Mobile communicator device including user attentiveness detector
US10139900B2 (en) 2011-04-12 2018-11-27 Mobile Communication Technologies, Llc Mobile communicator device including user attentiveness detector
US9026779B2 (en) 2011-04-12 2015-05-05 Mobile Communication Technologies, Llc Mobile communicator device including user attentiveness detector
US10509466B1 (en) * 2011-05-11 2019-12-17 Snap Inc. Headwear with computer and optical element for use therewith and systems utilizing same
US8911087B2 (en) 2011-05-20 2014-12-16 Eyefluence, Inc. Systems and methods for measuring reactions of head, eyes, eyelids and pupils
US8885877B2 (en) 2011-05-20 2014-11-11 Eyefluence, Inc. Systems and methods for identifying gaze tracking scene reference locations
US10976810B2 (en) * 2011-07-11 2021-04-13 Texas Instruments Incorporated Sharing input and output devices in networked systems
JP5785015B2 (ja) * 2011-07-25 2015-09-24 京セラ株式会社 電子機器、電子文書制御プログラムおよび電子文書制御方法
US20130033524A1 (en) * 2011-08-02 2013-02-07 Chin-Han Wang Method for performing display control in response to eye activities of a user, and associated apparatus
US8995945B2 (en) 2011-08-30 2015-03-31 Mobile Communication Technologies, Llc Mobile communicator and system
US9354445B1 (en) 2011-09-16 2016-05-31 Google Inc. Information processing on a head-mountable device
US9383579B2 (en) * 2011-10-12 2016-07-05 Visteon Global Technologies, Inc. Method of controlling a display component of an adaptive display system
US8929589B2 (en) 2011-11-07 2015-01-06 Eyefluence, Inc. Systems and methods for high-resolution gaze tracking
WO2013074997A1 (en) 2011-11-18 2013-05-23 Infinite Z, Inc. Indirect 3d scene positioning control
US8860660B2 (en) 2011-12-29 2014-10-14 Grinbath, Llc System and method of determining pupil center position
US9910490B2 (en) 2011-12-29 2018-03-06 Eyeguide, Inc. System and method of cursor position control based on the vestibulo-ocular reflex
US10013053B2 (en) * 2012-01-04 2018-07-03 Tobii Ab System for gaze interaction
CN103197755A (zh) * 2012-01-04 2013-07-10 中国移动通信集团公司 一种翻页方法、装置及终端
US9684374B2 (en) 2012-01-06 2017-06-20 Google Inc. Eye reflection image analysis
JP5994328B2 (ja) * 2012-03-29 2016-09-21 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US9361833B2 (en) 2012-04-12 2016-06-07 Intel Corporation Eye tracking based selectively backlighting a display
US9046917B2 (en) 2012-05-17 2015-06-02 Sri International Device, method and system for monitoring, predicting, and accelerating interactions with a computing device
US9823742B2 (en) 2012-05-18 2017-11-21 Microsoft Technology Licensing, Llc Interaction and management of devices using gaze detection
US9317113B1 (en) 2012-05-31 2016-04-19 Amazon Technologies, Inc. Gaze assisted object recognition
KR20130143160A (ko) * 2012-06-20 2013-12-31 삼성전자주식회사 휴대단말기의 스크롤 제어장치 및 방법
US20140009395A1 (en) * 2012-07-05 2014-01-09 Asustek Computer Inc. Method and system for controlling eye tracking
US9093072B2 (en) * 2012-07-20 2015-07-28 Microsoft Technology Licensing, Llc Speech and gesture recognition enhancement
WO2014015521A1 (en) * 2012-07-27 2014-01-30 Nokia Corporation Multimodal interaction with near-to-eye display
US20140055337A1 (en) * 2012-08-22 2014-02-27 Mobitv, Inc. Device eye tracking calibration
US9575960B1 (en) * 2012-09-17 2017-02-21 Amazon Technologies, Inc. Auditory enhancement using word analysis
US9292086B2 (en) * 2012-09-26 2016-03-22 Grinbath, Llc Correlating pupil position to gaze location within a scene
CN103699210A (zh) * 2012-09-27 2014-04-02 北京三星通信技术研究有限公司 移动终端及其操控方法
US8990843B2 (en) 2012-10-26 2015-03-24 Mobitv, Inc. Eye tracking based defocusing
US9626072B2 (en) 2012-11-07 2017-04-18 Honda Motor Co., Ltd. Eye gaze control system
CN102981620A (zh) * 2012-11-27 2013-03-20 中兴通讯股份有限公司 一种终端操作方法及终端
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
KR102205374B1 (ko) 2012-12-06 2021-01-21 아이플루언스, 인크. 아이 트래킹 웨어러블 디바이스들 및 사용을 위한 방법들
CN103869943A (zh) * 2012-12-14 2014-06-18 鸿富锦精密工业(武汉)有限公司 显示内容修改系统及方法
US9681982B2 (en) 2012-12-17 2017-06-20 Alcon Research, Ltd. Wearable user interface for use with ocular surgical console
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
CN103118159B (zh) * 2013-01-17 2016-03-02 广东欧珀移动通信有限公司 一种移动终端操作方法及装置
US20140247208A1 (en) * 2013-03-01 2014-09-04 Tobii Technology Ab Invoking and waking a computing device from stand-by mode based on gaze detection
US9864498B2 (en) * 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
US20140247210A1 (en) 2013-03-01 2014-09-04 Tobii Technology Ab Zonal gaze driven interaction
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
ES2852377T3 (es) 2013-03-15 2021-09-13 Aerie Pharmaceuticals Inc Sales dimesilato de 4-(3-amino-1-(isoquinolin-6-ilamino)-1-oxopropan-2-il)bencilo, sus combinaciones con prostaglandinas y el uso de las mismas en el tratamiento de trastornos oculares
US9213403B1 (en) 2013-03-27 2015-12-15 Google Inc. Methods to pan, zoom, crop, and proportionally move on a head mountable display
US20140298246A1 (en) * 2013-03-29 2014-10-02 Lenovo (Singapore) Pte, Ltd. Automatic display partitioning based on user number and orientation
CN103257707B (zh) * 2013-04-12 2016-01-20 中国科学院电子学研究所 利用视线跟踪技术和常规鼠标控制设备的三维漫游方法
FR3005173B1 (fr) * 2013-04-26 2015-04-10 Airbus Procede d'interaction dans un cockpit d'aeronef entre un pilote et son environnement
JPWO2014188565A1 (ja) 2013-05-23 2017-02-23 パイオニア株式会社 表示制御装置
GB2514603B (en) 2013-05-30 2020-09-23 Tobii Ab Gaze-controlled user interface with multimodal input
US9965062B2 (en) * 2013-06-06 2018-05-08 Microsoft Technology Licensing, Llc Visual enhancements based on eye tracking
US10025378B2 (en) 2013-06-25 2018-07-17 Microsoft Technology Licensing, Llc Selecting user interface elements via position signal
US9146618B2 (en) 2013-06-28 2015-09-29 Google Inc. Unlocking a head mounted device
US20150009118A1 (en) * 2013-07-03 2015-01-08 Nvidia Corporation Intelligent page turner and scroller
US9094677B1 (en) 2013-07-25 2015-07-28 Google Inc. Head mounted display device with automated positioning
US10152495B2 (en) * 2013-08-19 2018-12-11 Qualcomm Incorporated Visual search in real world using optical see-through head mounted display with augmented reality and user interaction tracking
EP2843507A1 (en) * 2013-08-26 2015-03-04 Thomson Licensing Display method through a head mounted device
KR20160046885A (ko) 2013-08-27 2016-04-29 오클랜드 유니서비시즈 리미티드 응시 제어 인터페이스 방법 및 시스템
JP2015090569A (ja) * 2013-11-06 2015-05-11 ソニー株式会社 情報処理装置及び情報処理方法
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
FR3014219B1 (fr) * 2013-11-29 2016-01-15 Thales Sa Poste de controle de drones
JP6260255B2 (ja) * 2013-12-18 2018-01-17 株式会社デンソー 表示制御装置およびプログラム
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
CN103729059A (zh) * 2013-12-27 2014-04-16 北京智谷睿拓技术服务有限公司 交互方法及装置
US9390726B1 (en) 2013-12-30 2016-07-12 Google Inc. Supplementing speech commands with gestures
KR102122339B1 (ko) * 2013-12-30 2020-06-12 주식회사 케이티 Hmd 제어 방법, 컴퓨팅 장치 및 컴퓨터 판독가능 매체
US9213413B2 (en) 2013-12-31 2015-12-15 Google Inc. Device interaction with spatially aware gestures
US10017114B2 (en) 2014-02-19 2018-07-10 Magna Electronics Inc. Vehicle vision system with display
WO2016018487A2 (en) 2014-05-09 2016-02-04 Eyefluene, Inc. Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US10564714B2 (en) 2014-05-09 2020-02-18 Google Llc Systems and methods for biomechanically-based eye signals for interacting with real and virtual objects
US10416759B2 (en) * 2014-05-13 2019-09-17 Lenovo (Singapore) Pte. Ltd. Eye tracking laser pointer
US20150362990A1 (en) * 2014-06-11 2015-12-17 Lenovo (Singapore) Pte. Ltd. Displaying a user input modality
US9678567B2 (en) 2014-07-16 2017-06-13 Avaya Inc. Indication of eye tracking information during real-time communications
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
CN106796443A (zh) * 2014-08-07 2017-05-31 Fove股份有限公司 三维上的凝视点的位置确定方法
JP6252409B2 (ja) * 2014-09-02 2017-12-27 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
US9405120B2 (en) 2014-11-19 2016-08-02 Magna Electronics Solutions Gmbh Head-up display and vehicle using the same
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
US10884488B2 (en) 2014-11-24 2021-01-05 Samsung Electronics Co., Ltd Electronic device and method for controlling display
JP6549693B2 (ja) * 2015-02-25 2019-07-24 京セラ株式会社 ウェアラブル装置、制御方法及び制御プログラム
KR101648017B1 (ko) * 2015-03-23 2016-08-12 현대자동차주식회사 디스플레이 장치, 차량 및 디스플레이 방법
CN104834446B (zh) * 2015-05-04 2018-10-26 惠州Tcl移动通信有限公司 一种基于眼球追踪技术的显示屏多屏控制方法及系统
US9898865B2 (en) * 2015-06-22 2018-02-20 Microsoft Technology Licensing, Llc System and method for spawning drawing surfaces
DE102015115526A1 (de) 2015-09-15 2017-03-16 Visteon Global Technologies, Inc. Verfahren zur Zielerfassung von Zielobjekten, insbesondere zur Zielerfassung von Bedienelementen in einem Fahrzeug
US10825058B1 (en) * 2015-10-02 2020-11-03 Massachusetts Mutual Life Insurance Company Systems and methods for presenting and modifying interactive content
US10871821B1 (en) 2015-10-02 2020-12-22 Massachusetts Mutual Life Insurance Company Systems and methods for presenting and modifying interactive content
EP3156879A1 (en) * 2015-10-14 2017-04-19 Ecole Nationale de l'Aviation Civile Historical representation in gaze tracking interface
TWI670625B (zh) * 2015-10-19 2019-09-01 日商鷗利硏究所股份有限公司 視線輸入裝置、視線輸入方法、及程式
DE102015220398A1 (de) * 2015-10-20 2017-04-20 Robert Bosch Gmbh Verfahren zur Übermittlung von Informationen an einen Fahrer eines Kraftfahrzeuges und adaptives Fahrerassistenzsystem
US9469195B1 (en) 2015-11-17 2016-10-18 International Business Machines Corporation Adaptive, automatically-reconfigurable, vehicle instrument display
US9457665B1 (en) 2015-11-17 2016-10-04 International Business Machines Corporation Adaptive, automatically-reconfigurable, vehicle instrument display
US9452678B1 (en) * 2015-11-17 2016-09-27 International Business Machines Corporation Adaptive, automatically-reconfigurable, vehicle instrument display
US10324297B2 (en) 2015-11-30 2019-06-18 Magna Electronics Inc. Heads up display system for vehicle
CN105528577B (zh) * 2015-12-04 2019-02-12 深圳大学 基于智能眼镜的识别方法
US10489043B2 (en) * 2015-12-15 2019-11-26 International Business Machines Corporation Cognitive graphical control element
US10198233B2 (en) * 2016-03-01 2019-02-05 Microsoft Technology Licensing, Llc Updating displays based on attention tracking data
US10401621B2 (en) 2016-04-19 2019-09-03 Magna Electronics Inc. Display unit for vehicle head-up display system
US10552183B2 (en) 2016-05-27 2020-02-04 Microsoft Technology Licensing, Llc Tailoring user interface presentations based on user state
EP3472828B1 (en) * 2016-06-20 2022-08-10 Magic Leap, Inc. Augmented reality display system for evaluation and modification of neurological conditions, including visual processing and perception conditions
JP6233471B2 (ja) * 2016-08-22 2017-11-22 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
MX2019002396A (es) 2016-08-31 2019-07-08 Aerie Pharmaceuticals Inc Composiciones oftalmicas.
US10372591B2 (en) 2016-09-07 2019-08-06 International Business Machines Corporation Applying eye trackers monitoring for effective exploratory user interface testing
US10345898B2 (en) 2016-09-22 2019-07-09 International Business Machines Corporation Context selection based on user eye focus
US10942701B2 (en) 2016-10-31 2021-03-09 Bragi GmbH Input and edit functions utilizing accelerometer based earpiece movement system and method
CN110178102A (zh) * 2017-03-21 2019-08-27 惠普发展公司，有限责任合伙企业 显示器内的估计
CN110506037A (zh) 2017-03-31 2019-11-26 爱瑞制药公司 芳基环丙基-氨基-异喹啉酰胺化合物
US11023109B2 (en) * 2017-06-30 2021-06-01 Microsoft Techniogy Licensing, LLC Annotation using a multi-device mixed interactivity system
WO2019060283A1 (en) * 2017-09-20 2019-03-28 Magic Leap, Inc. PERSONALIZED NEURONAL FOLLOW-UP NETWORK
CN108334871A (zh) * 2018-03-26 2018-07-27 深圳市布谷鸟科技有限公司 基于智能座舱平台的平视显示设备的交互方法及系统
US10871874B2 (en) 2018-05-09 2020-12-22 Mirametrix Inc. System and methods for device interaction using a pointing device and attention sensing device
US11427563B2 (en) 2018-09-14 2022-08-30 Aerie Pharmaceuticals, Inc. Aryl cyclopropyl-amino-isoquinolinyl amide compounds
TWI683132B (zh) * 2019-01-31 2020-01-21 創新服務股份有限公司 人臉眼睛定位系統在顯微鏡的應用
CN110162185A (zh) * 2019-06-10 2019-08-23 京东方科技集团股份有限公司 一种智能显示方法及装置
US11322113B2 (en) 2019-09-12 2022-05-03 Logitech Europe S.A. Techniques for eye fatigue mitigation
US10842430B1 (en) 2019-09-12 2020-11-24 Logitech Europe S.A. Eye fatigue detection using visual imaging
CN112584280B (zh) * 2019-09-27 2022-11-29 百度在线网络技术（北京）有限公司 智能设备的控制方法、装置、设备和介质
US11163995B2 (en) 2019-12-31 2021-11-02 Logitech Europe S.A. User recognition and gaze tracking in a video system
US10928904B1 (en) * 2019-12-31 2021-02-23 Logitech Europe S.A. User recognition and gaze tracking in a video system
CN111883124B (zh) * 2020-07-24 2022-11-11 贵州电网有限责任公司 一种继电保护设备的语音识别系统
US20230376114A1 (en) * 2020-09-04 2023-11-23 Cheng Qian Methods and systems for computer-human interactions
US11503998B1 (en) 2021-05-05 2022-11-22 Innodem Neurosciences Method and a system for detection of eye gaze-pattern abnormalities and related neurological diseases
US20230008220A1 (en) * 2021-07-09 2023-01-12 Bank Of America Corporation Intelligent robotic process automation bot development using convolutional neural networks
CN116225209A (zh) * 2022-11-03 2023-06-06 溥畅(杭州)智能科技有限公司 一种基于眼动追踪的人机交互方法及系统

Family Cites Families (115)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4348186A (en) 1979-12-17 1982-09-07 The United States Of America As Represented By The Secretary Of The Navy Pilot helmet mounted CIG display with eye coupled area of interest
US4836670A (en) 1987-08-19 1989-06-06 Center For Innovative Technology Eye movement detector
JP2541688B2 (ja) 1990-05-21 1996-10-09 日産自動車株式会社 眼位置検出装置
US5367315A (en) * 1990-11-15 1994-11-22 Eyetech Corporation Method and apparatus for controlling cursor movement
EP0496430A1 (en) 1991-01-25 1992-07-29 Central Glass Company, Limited Continuous process for preparing sodium percarbonate
JPH04372012A (ja) * 1991-06-20 1992-12-25 Fuji Xerox Co Ltd 入力装置
US5360971A (en) * 1992-03-31 1994-11-01 The Research Foundation State University Of New York Apparatus and method for eye tracking interface
JPH0653106B2 (ja) * 1992-06-22 1994-07-20 株式会社エイ・ティ・アール通信システム研究所 視線情報解析装置
JP2607215B2 (ja) * 1993-06-25 1997-05-07 株式会社エイ・ティ・アール通信システム研究所 視線解析装置
JPH0749744A (ja) * 1993-08-04 1995-02-21 Pioneer Electron Corp 頭部搭載型表示入力装置
JPH0764709A (ja) * 1993-08-26 1995-03-10 Olympus Optical Co Ltd 指示処理装置
JP2602001B2 (ja) 1993-11-01 1997-04-23 インターナショナル・ビジネス・マシーンズ・コーポレイション 縮小可能キーボード付パーソナル通信機
WO1996015515A1 (fr) 1994-11-11 1996-05-23 Xanavi Informatics Corporation Systeme d'affichage cartographique pour vehicules
US5583795A (en) 1995-03-17 1996-12-10 The United States Of America As Represented By The Secretary Of The Army Apparatus for measuring eye gaze and fixation duration, and method therefor
JPH08272517A (ja) * 1995-03-28 1996-10-18 Sanyo Electric Co Ltd 視線対応選択装置及び方法並びに情報処理装置
US5649061A (en) * 1995-05-11 1997-07-15 The United States Of America As Represented By The Secretary Of The Army Device and method for estimating a mental decision
JP4272711B2 (ja) * 1995-05-15 2009-06-03 キヤノン株式会社 画像生成方法及び装置
US7453451B1 (en) 1999-03-16 2008-11-18 Maguire Francis J Jr Moveable headrest for viewing images from different directions
JP3542410B2 (ja) * 1995-06-27 2004-07-14 キヤノン株式会社 視線検出手段を有する機器
US6001065A (en) 1995-08-02 1999-12-14 Ibva Technologies, Inc. Method and apparatus for measuring and analyzing physiological signals for active or passive control of physical and virtual spaces and the contents therein
US5850221A (en) 1995-10-20 1998-12-15 Araxsys, Inc. Apparatus and method for a graphic user interface in a medical protocol system
US5638176A (en) 1996-06-25 1997-06-10 International Business Machines Corporation Inexpensive interferometric eye tracking system
US5731805A (en) 1996-06-25 1998-03-24 Sun Microsystems, Inc. Method and apparatus for eyetrack-driven text enlargement
US5850211A (en) 1996-06-26 1998-12-15 Sun Microsystems, Inc. Eyetrack-driven scrolling
AUPO099696A0 (en) 1996-07-12 1996-08-08 Lake Dsp Pty Limited Methods and apparatus for processing spatialised audio
US6542081B2 (en) 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
US6847336B1 (en) 1996-10-02 2005-01-25 Jerome H. Lemelson Selectively controllable heads-up display system
US6252989B1 (en) 1997-01-07 2001-06-26 Board Of The Regents, The University Of Texas System Foveated image coding system and method for image bandwidth reduction
US6351273B1 (en) 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6028608A (en) 1997-05-09 2000-02-22 Jenkins; Barry System and method of perception-based image generation and encoding
DE19731301C2 (de) 1997-07-13 2001-05-10 Smi Senso Motoric Instr Gmbh Vorrichtung zum Steuern eines Mikroskopes mittels Blickrichtungsanalyse
JPH11259226A (ja) * 1998-03-13 1999-09-24 Canon Inc 視線入力意思伝達装置、視線入力意思伝達方法および記憶媒体
US6182114B1 (en) 1998-01-09 2001-01-30 New York University Apparatus and method for realtime visualization using user-defined dynamic, multi-foveated images
US6152563A (en) 1998-02-20 2000-11-28 Hutchinson; Thomas E. Eye gaze direction tracker
US6204828B1 (en) 1998-03-31 2001-03-20 International Business Machines Corporation Integrated gaze/manual cursor positioning system
US6526159B1 (en) * 1998-12-31 2003-02-25 Intel Corporation Eye tracking for resource and power management
US6567830B1 (en) 1999-02-12 2003-05-20 International Business Machines Corporation Method, system, and program for displaying added text to an electronic media file
US6577329B1 (en) * 1999-02-25 2003-06-10 International Business Machines Corporation Method and system for relevance feedback through gaze tracking and ticker interfaces
GB2348520B (en) * 1999-03-31 2003-11-12 Ibm Assisting user selection of graphical user interface elements
US6401050B1 (en) 1999-05-21 2002-06-04 The United States Of America As Represented By The Secretary Of The Navy Non-command, visual interaction system for watchstations
US6909439B1 (en) 1999-08-26 2005-06-21 International Business Machines Corporation Method and apparatus for maximizing efficiency of small display in a data processing system
DE19951001C2 (de) 1999-10-22 2003-06-18 Bosch Gmbh Robert Vorrichtung zur Darstellung von Informationen in einem Fahrzeug
JP2001154794A (ja) * 1999-11-29 2001-06-08 Nec Fielding Ltd まばたきによるクリック機能を有するポインティング装置
CN100355284C (zh) * 1999-11-30 2007-12-12 伊强德斯股份有限公司 视觉装置
US20010034256A1 (en) * 2000-03-07 2001-10-25 Green Donald L. Game timer
US6643721B1 (en) * 2000-03-22 2003-11-04 Intel Corporation Input device-adaptive human-computer interface
US6456262B1 (en) 2000-05-09 2002-09-24 Intel Corporation Microdisplay with eye gaze detection
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP4672856B2 (ja) 2000-12-01 2011-04-20 キヤノン株式会社 マルチ画面表示装置及びマルチ画面表示方法
US6601021B2 (en) * 2000-12-08 2003-07-29 Xerox Corporation System and method for analyzing eyetracker data
US7134085B2 (en) * 2000-12-13 2006-11-07 National Instruments Corporation System and method for automatically configuring program data exchange
US7287230B2 (en) * 2000-12-13 2007-10-23 National Instruments Corporation Configuring a GUI element to subscribe to data
US6971065B2 (en) * 2000-12-13 2005-11-29 National Instruments Corporation Automatically configuring a graphical program to publish or subscribe to data
US6478425B2 (en) * 2000-12-29 2002-11-12 Koninlijke Phillip Electronics N. V. System and method for automatically adjusting a lens power through gaze tracking
US8205149B2 (en) 2001-01-05 2012-06-19 Microsoft Corporation Enhanced find and replace for electronic documents
US7027655B2 (en) 2001-03-29 2006-04-11 Electronics For Imaging, Inc. Digital image compression with spatially varying quality levels determined by identifying areas of interest
US6886137B2 (en) * 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
US7668317B2 (en) 2001-05-30 2010-02-23 Sony Corporation Audio post processing in DVD, DTV and other audio visual products
US20030046259A1 (en) 2001-08-29 2003-03-06 International Business Machines Corporation Method and system for performing in-line text expansion
US7284201B2 (en) 2001-09-20 2007-10-16 Koninklijke Philips Electronics N.V. User attention-based adaptation of quality level to improve the management of real-time multi-media content delivery and distribution
US7068288B1 (en) 2002-02-21 2006-06-27 Xerox Corporation System and method for moving graphical objects on a computer controlled system
JP3800524B2 (ja) 2002-03-15 2006-07-26 インターナショナル・ビジネス・マシーンズ・コーポレーション 表示制御方法、これを用いたプログラム及び情報処理装置
US6927674B2 (en) * 2002-03-21 2005-08-09 Delphi Technologies, Inc. Vehicle instrument cluster having integrated imaging system
US7028288B2 (en) 2002-06-03 2006-04-11 Sun Microsystems, Inc. Input field constraint mechanism
EP1376322A1 (de) 2002-06-27 2004-01-02 Alcatel Verfahren und multimodale Benutzer-Schnittstelle zum Verarbeiten von Benutzereingaben
GB2390948A (en) * 2002-07-17 2004-01-21 Sharp Kk Autostereoscopic display
US7065387B2 (en) * 2002-10-15 2006-06-20 Wildseed Limited Mobile digital communication/computing device having variable and soft landing scrolling
DE60330980D1 (de) * 2002-10-15 2010-03-04 Volvo Technology Corp Verfahren für die auswertung der kopf- und augenaktivität einer person
SE524003C2 (sv) 2002-11-21 2004-06-15 Tobii Technology Ab Förfarande och anläggning för att detektera och följa ett öga samt dess blickvinkel
US7949957B2 (en) 2002-12-31 2011-05-24 International Business Machines Corporation Edit selection control
JP4151952B2 (ja) 2003-01-06 2008-09-17 アルパイン株式会社 ナビゲーション装置
US7078911B2 (en) 2003-02-06 2006-07-18 Cehelnik Thomas G Patent application for a computer motional command interface
US7762665B2 (en) * 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US6989754B2 (en) * 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
BRPI0411056A (pt) * 2003-06-06 2007-04-17 Volvo Technology Corp método e disposição para controlar subsistemas veiculares baseados na atividade interpretativa do condutor
US7533351B2 (en) 2003-08-13 2009-05-12 International Business Machines Corporation Method, apparatus, and program for dynamic expansion and overlay of controls
DE10338694B4 (de) 2003-08-22 2005-08-25 Siemens Ag Wiedergabeeinrichtung, umfassend wenigstens einen Bildschirm zur Darstellung von Informationen
US9274598B2 (en) 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
US20050047629A1 (en) 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US7365738B2 (en) * 2003-12-02 2008-04-29 International Business Machines Corporation Guides and indicators for eye movement monitoring systems
US7565625B2 (en) 2004-05-06 2009-07-21 Pixar Toolbar slot method and apparatus
PT1607840E (pt) 2004-06-18 2015-05-20 Tobii Ab Controlo ocular de um computador
US7573439B2 (en) 2004-11-24 2009-08-11 General Electric Company System and method for significant image selection using visual tracking
US20060140420A1 (en) 2004-12-23 2006-06-29 Akihiro Machida Eye-based control of directed sound generation
US7344251B2 (en) 2005-02-23 2008-03-18 Eyetracking, Inc. Mental alertness level determination
JP3863165B2 (ja) 2005-03-04 2006-12-27 株式会社コナミデジタルエンタテインメント 音声出力装置、音声出力方法、ならびに、プログラム
US7590944B2 (en) 2005-03-31 2009-09-15 Microsoft Corporation Scrollable and re-sizeable formula bar
US8775975B2 (en) 2005-09-21 2014-07-08 Buckyball Mobile, Inc. Expectation assisted text messaging
US8020993B1 (en) 2006-01-30 2011-09-20 Fram Evan K Viewing verification systems
US20070299631A1 (en) 2006-06-27 2007-12-27 Microsoft Corporation Logging user actions within activity context
US8225229B2 (en) 2006-11-09 2012-07-17 Sony Mobile Communications Ab Adjusting display brightness and/or refresh rates based on eye tracking
JP2010525746A (ja) 2007-04-25 2010-07-22 チャウム，デイビッド 相互作用と圧縮とを有するビデオコピー防止システム
US8398404B2 (en) 2007-08-30 2013-03-19 Conflict Kinetics LLC System and method for elevated speed firearms training
US7945571B2 (en) 2007-11-26 2011-05-17 Legit Services Corporation Application of weights to online search request
US7850306B2 (en) 2008-08-28 2010-12-14 Nokia Corporation Visual cognition aware display and visual data transmission architecture
WO2010149823A1 (en) 2009-06-23 2010-12-29 Nokia Corporation Method and apparatus for processing audio signals
US8717447B2 (en) 2010-08-20 2014-05-06 Gary Stephen Shuster Remote telepresence gaze direction
US20130208926A1 (en) 2010-10-13 2013-08-15 Microsoft Corporation Surround sound simulation with virtual skeleton modeling
US8493390B2 (en) 2010-12-08 2013-07-23 Sony Computer Entertainment America, Inc. Adaptive displays using gaze tracking
US20120156652A1 (en) 2010-12-16 2012-06-21 Lockheed Martin Corporation Virtual shoot wall with 3d space and avatars reactive to user fire, motion, and gaze direction
WO2012107892A2 (en) 2011-02-09 2012-08-16 Primesense Ltd. Gaze detection in a 3d mapping environment
EP2508945B1 (en) 2011-04-07 2020-02-19 Sony Corporation Directional sound capturing
JP5757166B2 (ja) 2011-06-09 2015-07-29 ソニー株式会社 音制御装置、プログラム及び制御方法
WO2013064914A1 (en) 2011-10-31 2013-05-10 Sony Ericsson Mobile Communications Ab Amplifying audio-visual data based on user's head orientation
US20130201305A1 (en) 2012-02-06 2013-08-08 Research In Motion Corporation Division of a graphical display into regions
US9423871B2 (en) 2012-08-07 2016-08-23 Honeywell International Inc. System and method for reducing the effects of inadvertent touch on a touch screen controller
US9665171B1 (en) 2013-03-04 2017-05-30 Tobii Ab Gaze and saccade based graphical manipulation
US9898081B2 (en) 2013-03-04 2018-02-20 Tobii Ab Gaze and saccade based graphical manipulation
US10082870B2 (en) 2013-03-04 2018-09-25 Tobii Ab Gaze and saccade based graphical manipulation
US20140328505A1 (en) 2013-05-02 2014-11-06 Microsoft Corporation Sound field adaptation based upon user tracking
US9544682B2 (en) 2013-06-05 2017-01-10 Echostar Technologies L.L.C. Apparatus, method and article for providing audio of different programs
ES2633016T3 (es) 2013-08-23 2017-09-18 Tobii Ab Sistemas y métodos para proveer audio a un usuario según una entrada de mirada
US9143880B2 (en) 2013-08-23 2015-09-22 Tobii Ab Systems and methods for providing audio to a user based on gaze input
US20150253937A1 (en) 2014-03-05 2015-09-10 Samsung Electronics Co., Ltd. Display apparatus and method of performing a multi view display thereof
US9898079B2 (en) 2014-06-11 2018-02-20 Drivemode, Inc. Graphical user interface for non-foveal vision

Also Published As

Publication number Publication date
CN1969249A (zh) 2007-05-23
US20130318457A1 (en) 2013-11-28
JP2008502990A (ja) 2008-01-31
EP2202609B1 (en) 2016-01-27
CN100458665C (zh) 2009-02-04
WO2005124521A1 (en) 2005-12-29
US20180307324A1 (en) 2018-10-25
ES2568506T3 (es) 2016-04-29
US10025389B2 (en) 2018-07-17
PT1607840E (pt) 2015-05-20
US20120146895A1 (en) 2012-06-14
DK2202609T3 (en) 2016-04-25
US20130321270A1 (en) 2013-12-05
US9952672B2 (en) 2018-04-24
US20180329510A1 (en) 2018-11-15
US20070164990A1 (en) 2007-07-19
ES2535364T3 (es) 2015-05-08
US20130326431A1 (en) 2013-12-05
DK1607840T3 (da) 2015-02-16
EP1607840B1 (en) 2015-01-28
EP2202609B8 (en) 2016-03-09
US20140009390A1 (en) 2014-01-09
EP2202609A3 (en) 2011-05-25
US9996159B2 (en) 2018-06-12
EP2202609A2 (en) 2010-06-30
US10203758B2 (en) 2019-02-12
EP1607840A1 (en) 2005-12-21
US8185845B2 (en) 2012-05-22

Similar Documents

Publication Publication Date Title
JP4944773B2 (ja) 視線追跡に基づいてコンピュータ装置を制御するための装置、方法及びコンピュータプログラム
US10353462B2 (en) Eye tracker based contextual action
JP2021524629A (ja) ウェアラブルシステムのためのトランスモード入力融合
EP2266014B1 (en) Apparatus to create, save and format text documents using gaze control and associated method
EP4127869A1 (en) Devices, methods, and graphical user interfaces for gaze-based navigation
US12032803B2 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
US20220091722A1 (en) Devices, methods, and graphical user interfaces for interacting with three-dimensional environments
Bacher Web2cHMI. A multi-modal native user interface implementation for accelerator operations and maintenance applications

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080314

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101111

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101207

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110307

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110314

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110405

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110412

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20110427

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20110510

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110602

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120302

R150 Certificate of patent or registration of utility model

Ref document number: 4944773

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150309

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250