JPH10124035A - アイトラッカ駆動のスクロール操作 - Google Patents

アイトラッカ駆動のスクロール操作

Info

Publication number
JPH10124035A
JPH10124035A JP9170596A JP17059697A JPH10124035A JP H10124035 A JPH10124035 A JP H10124035A JP 9170596 A JP9170596 A JP 9170596A JP 17059697 A JP17059697 A JP 17059697A JP H10124035 A JPH10124035 A JP H10124035A
Authority
JP
Japan
Prior art keywords
display
user
computer
function
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9170596A
Other languages
English (en)
Inventor
Bruce Tognazzini
トグナジニ ブルース
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Microsystems Inc
Original Assignee
Sun Microsystems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Microsystems Inc filed Critical Sun Microsystems Inc
Publication of JPH10124035A publication Critical patent/JPH10124035A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

(57)【要約】 【課題】 ページ指向あるいは連続情報のスクロール操
作を、ユーザの目が見つめる場所に基づいて、アイトラ
ッカによって検出されると開始しあるいは制御する構成
を与える。 【解決手段】 スクロール操作速度はユーザが読んだテ
キストのスクリーンでどの程度下向きで遠くにあるかに
基づいて、ユーザがテキストを読み切ることがないよう
に徐々に変化されることができる。スクロールするオブ
ジェクトの選択はアイトラッカを用いて同様達成され
る。ページおよびスクロールオブジェクトはディスプレ
イ上で定められかつユーザの視線によって活性化される
ことができる。ページ変化が切迫しているをユーザが知
ることができるようにするために背景色の変化が使用さ
れてもよい。

Description

【発明の詳細な説明】
【０００１】
【発明の属する技術分野】本発明はコンピュータシステ
ムに関し、より詳細にはスクロール操作を制御するため
に使用されるアイトラッカ（ｅｙｅｔｒａｃｋｅｒ）を
有するコンピュータシステムに関する。
【０００２】
【従来の技術】当該分野で、それぞれがテキストあるい
はグラフィック情報を含む複数のウィンドウを用いるコ
ンピュータシステムが知られている。往々、テキストあ
るいはグラフィック情報はそれを見るために利用可能な
ウインドウの寸法を越えてしまう。このような状況下
で、スクロール操作、すなわちテキストあるいはグラフ
ィック材料の所望部分をユーザがウィンドを介して見る
ことができるように情報をウィンドウに関して移動する
ことが必要である。普通、これは、ユーザが現在見てい
る材料の１つの次元での変位の適切な部分を指示する態
様でスクロールバーに沿ってインジケータを操作するこ
とによって行われる。典型的には、これはユーザ側の複
雑な作業となる。それはポインティング装置あるいはス
クロール操作キーを位置決めすること、および内容を上
下に移動するようにその装置あるいはキーを動作するこ
とを必要とする。この作業は時間が掛かり、ある程度認
識操作がなくなる原因となる。すなわち、ユーザはスク
ロール操作の作業を行うためウインドウの本質的な内容
から注意を散らされなければならない。ユーザの注意が
ウインドウの内容に戻ると、ユーザはスクロール操作が
必要になった時に中断した思考プロセスを呼び戻すこと
ができる。
【０００３】アイトラッカ装置は、特に、航空機におい
てある操縦操作でディスプレイを頭上げすることに関連
して既知となっている。アイトラッカ装置はユーザの目
を監視し、ユーザが見ている方向、およびある応用では
ユーザの目が焦点決めする３次元空間の特定の点を計算
する。
【０００４】１つのアイトラッカ装置の商品は米国カリ
フォルニア州エル・チャオンのエドワード・オプチカル
・テクノロジーズ社によって製造されている「デュアル
・パーキンジェ・イメージ（Ｄｕａｌ−Ｐｕｒｋｉｎｊ
ｅ−Ｉｍａｇｅ）」（ＤＰＩ）アイトラッカである。そ
れは、高精度でかつ目に何も取り付けずに大きな２次元
視界にわたって見つめる方向を決定する。それはオブジ
ェクトにとって目につかずかつ通常の視覚を妨げない赤
外線光で動作する。このアイトラッカは１分程の照準弧
長精度と１ミリ秒ほどの応答時間とを有している。この
ＤＰＩアイトラッカは目の焦点の連続測定を行うことが
できるようにして３次元アイトラッカを与えるようにす
るために赤外線オプトメータを用いることができる。
【０００５】オブジェクト指向プログラミングはオブジ
ェクトの実際の世界の表示をモデル化するかあるいはデ
ータおよびそのデータに対して働く命令を含んだものを
モデル化するソフトウェア開発の既知の形態である。オ
ブジェクトはオブジェクト指向プログラムの基礎的な建
築用ブロックである。オブジェクトはソフトウェアの実
体である。それらは人間のようなある種の身体的なもの
をモデル化してもよく、あるいは当座預金のようなある
種の仮想的なものをモデル化してもよい。通常、あるオ
ブジェクトはそのオブジェクトの状態を集合的に定める
１つあるいはそれ以上の属性（フィールド）、これら属
性を変更することができる１組の方法（プロシージャ）
によって定められる性状、他のオブジェクトからそれを
区別する識別を有している。カプセル封じとはオブジェ
クトの詳細の殆どを隠すことをいう。これにより、オブ
ジェクトは単一の実体として扱われ得る。しかしなが
ら、そのオブジェクトに関連した動作の組は系統だてら
れ、良く規定されたインターフェースを構成する。オブ
ジェクトは、往々、抽象的なデータ形式あるいはクラス
の場合に言及される。このクラスを一度だけ定義するこ
とによって、複数の場合が、クラス属性とプロシージャ
とを各場合と関連付けることによってかつこれら場合を
それらの識別あるいはそのクラスに対して許された値の
範囲に関連付けられた特定の値だけで相違させるように
することによって作られ得る。
【０００６】オブジェクト指向プログラミングは、ま
た、クラス属性およびプロシージャをクラスから受け継
いだ下位のサブクラスの創設および種々のクラスの一群
の場合の共通の属性およびプロシージャのみを定義特性
として保持している上位のスーパクラスの創設（ｃｒｅ
ａｔｉｏｎ ｏｆ ｓｕｐｅｒｃｌａｓｓ）を可能とす
る。
【０００７】
【発明が解決しようとする課題】本発明は、ユーザに表
示される画像を表示させるようにスクロールバーを取り
扱うといった従来技術で必要とした形式の操作を表だっ
ては一切行わずにユーザがスクロールを制御できるよう
にする装置、システム、プロセスおよびコンピュータプ
ログラムプロダクトを提供する。
【０００８】
【課題を解決するための手段】これは、目がウインドウ
内のある点と接近する時に、見られているテキストまた
はグラフック材料の部分が一般的にユーザによって明ら
かに必要とされる操作をすること無しにユーザの関心あ
るいは注意に従うものとなるようにスクロール操作が自
動的に開始されるような態様でアイトラッカをコンピュ
ータに統合することによって達成される。本発明は、コ
ンピュータと、このコンピュータに接続したディスプレ
イと、このコンピュータに接続し、ユーザの目が見つめ
ているこのディスプレイ上の位置を検出するためのアイ
トラッカと、このディスプレイ上の情報内容をこの位置
の関数として変化する制御器と、を具備したディスプレ
イ上の情報を制御するための装置に関する。この制御器
がディスプレイ上の情報内容に対して行う変化の１つの
形式は、ユーザの目が向けられる位置と基準位置との間
の関係の関数となる速度でスクロール操作を行うことを
含んでいる。この関数は線形関数、指数関数あるいは不
連続関数となることができる。不連続関数が使用される
場合に、この不連続関数の部分間の転移はスクロール操
作の速度変化がユーザにとって実質的に気が散ること無
しに生じるように滑らかにされる。
【０００９】他の形式の変化はページングを含んでい
る。ページングは特定の期間の間スクリーン上の特定の
区域を見つめているユーザによって開始される。ページ
内のスクロール操作は特定の期間の間スクリーンの特定
の区域を見つめることによって達成される。スクリーン
のこの区域はアイコンの表示によってマークされること
ができる。
【００１０】本発明は、また、ユーザの目が向けられる
ディスプレイ上の位置を識別し、このディスプレイ上の
情報内容をこの位置の関数として変化することによっ
て、アイトラッカを有するコンピュータのディスプレイ
上の情報を制御するための方法に関する。
【００１１】本発明は、また、ユーザの目が向けられる
ディスプレイ上の位置を識別しかつこの位置に基づいて
テキストオブジェクトを選択することによって、アイト
ラッカを有するコンピュータのディスプレイ上の情報を
制御するための方法に関する。
【００１２】本発明は、また、ユーザの目が向けられる
ディスプレイ上の位置を識別しかつユーザの目がページ
境界に達すると表示色を変化することによって、アイト
ラッカを有するコンピュータのディスプレイ上の情報を
制御するための方法に関する。
【００１３】本発明は、また、情報を表示するためのシ
ステムにおいて、ネットワークと、このネットワークに
接続された複数のコンピュータとを具備しており、この
コンピュータの少なくとも１つはアイトラッカを有しか
つユーザの目が見つめているディスプレイ上の位置を検
出して上記ディスプレイ上の情報内容を上記位置の関数
として変化するように構成されるようにしたことシステ
ムに関する。
【００１４】本発明は、また、本発明の技術を実施する
ためのコンピュータプログラムプロダクトに関する。
【００１５】本発明の更に他の目的および利点は、本発
明を実行する上で期待される最良のモードを簡略的に図
示することにより本発明の好適実施例だけが示されかつ
記載されるような以下の詳細な説明から当業者にとって
容易に明かとなるであろう。理解されるように、本発明
は他のおよび異なった実施例が可能であり、その幾つか
の詳細は種々の明白な点で全てが本発明から逸脱するこ
となく変更が可能である。従って、図面および説明は本
質的に図示的なものであり、制限的なものとは看做され
るべきではない。本発明のシステムの目的、特徴および
長所は添付図面を参照し、以下の説明から明白となるで
あろう。
【００１６】
【発明の実施の形態】以下の詳細な説明はコンピュータ
あるいはコンピュータのネットワーク上で実行されるプ
ログラムプロシージャに関連して与えられることができ
る。これらプロシージャの記載および表示は当業者によ
って使用され彼等の仕事の内容を他の当業者に最も効果
的に伝達するための手段である。
【００１７】プロシージャは、ここでは、一般的に、所
望の結果に導くステップの自己矛盾のないシーケンスと
なるように考えられる。これらのステップは、物理的量
の物理的操作を必要とするものである。通常、必須では
ないが、これら量は、記憶され、転送され、結合され、
比較されかつ他に操作されることができる電気的あるい
は磁気的信号の形を取る。往々、主として共通の使用の
ため、ビット、値、要素、記号、文字、期間、数等のよ
うな信号を言及することが便利であることを示す。しか
しながら、これらおよび同様の用語の全ては適切な物理
的量に関連されなければならず、これら量に与えられる
単に便利なラベルであればよいということが理解されな
ければならない。
【００１８】更に、行われる操作は人間のオペレータに
よって行われる精神的な動作と往々普通に関連する用語
的に加算あるいは比較のようなものに言及される。人間
のオペレータのこのようなケーパビリティは必要でない
か、あるいは本明細書に記載され本発明の一部を構成す
るあらゆる動作において殆どの場合好ましくなく、これ
ら動作は機械の動作となる。本発明の動作を行うための
有用な機械は汎用のデジタルコンピュータあるいは同様
な装置を含んでいる。
【００１９】本発明は、また、これら動作を行うための
装置に関する。この装置は必要な目的のために特に構成
されてもよく、あるいは記憶されたコンピュータプログ
ラムによって選択的に作動されもしくは再構成された汎
用目的のコンピュータからなってもよい。本明細書にお
いて与えられるプロシージャは特定のコンピュータある
いは他の装置に固有に関連するものではない。種々の汎
用の機械が本明細書の技術に従って書かれたプログラム
と共に使用されることができ、あるいは必要な方法ステ
ップを行うためにより特別化した装置を構成するために
より便利であると分かる。種々のこれら機械のための必
要な構成は与えられる記載から明かとなる。
【００２０】図１Ａは本発明を実行するために好ましい
形式のコンピュータを示す。図１Ａで表面的に見られる
ように、コンピュータシステムはディスクドライブ１１
０Ａおよび１１０Ｂを有する中央処理ユニット１００を
有している。ディスクドライブの表示１１０Ａおよび１
１０Ｂはコンピュータシステムに収容されているような
ディスクドライブの数の単なる記号化に過ぎない。典型
的に、これらは１１０Ａのようなフロッピィーディスク
ドライブ、ハードディスクドライブ（外部には示されて
いない）およびスロット１１０Ｂによって示されている
ようなＣＤ―ＲＯＭドライブを含んでいる。典型的に
は、ドライブの数および形式はコンピュータ構成が異な
れば変化する。このコンピュータはディスプレイ１２０
を有し、それに情報が表示される。キーボード１３０お
よびマウス１４０は典型的に入力装置として同様利用可
能である。ディスプレイのケーシング上に装着されて示
された１つそれ以上のカメラならびに照明部１９０はユ
ーザの目を観察するために使用され、ユーザの目が見て
いる位置を決定する。好ましくは、図１Ａに示されるコ
ンピュータはサンマイクロシステム社からのＳＰＡＲＣ
ワークステーションである。
【００２１】図１Ｂは図１Ａのコンピュータの内部ハー
ドウェアのブロック図を示す。１５０はこのコンピュー
タの他の構成要素を相互接続する主情報ハイウェイとし
て働く。ＣＰＵ１５５はシステムの中央処理ユニットで
あり、プログラムを実行するために必要な計算および論
理演算を行う。読出し専用メモリ１６０およびランダム
アクセスメモリ１６５はコンピュータの主メモリを構成
する。ディスク制御器１７０は１つあるいはそれ以上の
ディスクドライブとシステムバス１５０をインターフェ
ースする。これらディスクドライブは１７３のようなフ
ロッピーディスクドライブ、１７２のような内部あるい
は外部ハードディスクドライブ、１７１のようなＣＤ−
ＲＯＭあるいはＤＶＤ（デジタルビデオディスク）であ
ってもよい。ディスプレイインターフェース１７５は高
解像度ディスプレイ１２０をインターフェースし、バス
からの情報がディスプレイで見ることができるようにす
る。アイトラッカ１９０はアイトラッカインターフェー
ス１８９でバスに接続されている。それはユーザの目が
見ている位置を表す。外部装置との通信は通信ポート１
８５を介して行われることができる。
【００２２】図１Ｃは図１Ｂの１７３のようなあるいは
図１Ａの１１０Ａのようなドライブと共に使用され得る
例示的なメモリ媒体を示す。典型的にフロッピーディス
ク、ＣＤ−ＲＯＭあるいはデジタルビデオディスクのよ
うなメモリ媒体はコンピュータが本発明に従ってその機
能を行うことができるようにするようにコンピュータを
制御するためのプログラム情報を含んでいる。
【００２３】図２は電子新聞出版物に見い出されるよう
な新聞のオブジェクト２００を示す。これは新聞ロゴ２
１０、見出し２２０および見出し記事２３０を含んでい
る。更に、複数の記事テキストオブジェクト２４０が示
され、それぞれはその特定の記事のための記事冒頭部あ
るいは見出し２４１と記事のテキスト２４２とからな
る。図示される新聞はページに任意に編成された複数の
このようなテキストオブジェクトを備えている。
【００２４】図３は例示的なテキストのオブジェクトを
表す。記事冒頭部オブジェクト３１０および記事のテキ
スト３２０はテキストオブジェクトからなる。テキスト
オブジェクトは図３に示されるテキストオブジェクトの
外側境界によって指示されたウインドウ内に記憶されて
いる。水平線によって指示され、座標系Ｏの原点で始ま
る基準位置はテキストオブジェクトにわたって伸びる。
実際には、この基準位置は記事の読者には見えないが、
隠れた制御線を表す。テキストオブジェクトのテキスト
が最初にオブジェクトウインドウ内で表示される時に、
テキストの初めは通常の態様で記事冒頭部の真下に位置
決めされる。ユーザの目が記事のテキストを読み始める
と、目は基準線Ｏの方向に下向きに移動する。電子新聞
のフォーマットのため、記事を表示するためのウィンド
ウは比較的に小さく、従ってテキストは通常ウィンドウ
内には全て表示され得ない。この結果、ユーザの目が基
準線に達すると、テキストオブジェクトのテキストは未
読テキストの供給が常に行われるようにウインドウ内を
スクロールし始める。図３に示されるように、スクロー
ル速度は位置Ｘの関数として調節される（図において、
Ｘは基準線からの上あるいは下の線数を表す）。スクロ
ール速度はその位置Ｘの関数として調節される。
【００２５】スクロール速度を用いたＸの特定の関数は
以下の任意のものであってもよい。
【００２６】
【数１】 Ｆ＝ＫＸ （１）
【００２７】
【数２】 Ｆ＝ＫＸ2 （２）
【００２８】
【数３】 ０，Ｘ＝−９最上部まで Ｆ３＝ Ｎ，Ｘ＝０ ｔｏ −８ （３） Ｍ，Ｘ＝０ ｔｏ ＋８ ２Ｍ，Ｘ＝９最下部まで
【００２９】勿論、多数の他の機能が使用できるが、こ
れらが好ましい。上の数式（１）において、スクロール
操作の速度は線形である。すなわち、テキストがスクロ
ールする速度はユーザの目が見つめていると思われる所
から基準線に関してどの程度上方であるかあるいは基準
線からどの程度下方であるかの関数である。ユーザの目
が線（基準線）の上方にあれば、スクロール速度はユー
ザの目が基準線に達するまでゆっくりしたものとなる。
スクロールする速度はユーザの目が基準線以下に下がる
と速度上昇し始めて、ユーザの目は決して見つめている
ウィンドウの底部には達することはない。
【００３０】式（２）は非線形関数を示す。この関数の
場合で、ユーザの目が基準線から変位するにつれて、ス
クロールする速度は指数関数的に増大あるいは減少す
る。
【００３１】式（３）は見つめているウィンドウを幾つ
かの領域に分割し、それぞれの領域が特定のスクロール
する速度に関連するようにしたことを示している。
【００３２】ユーザが読み取ることができる上で、スク
ロールする速度の変化がどのようなものであってもそれ
が徐々に生じるものであることが重要である。従って、
スクロールする境界が式（３）に関連して生じる場合の
ように突然に交わる場合でさえ、スクロールする速度の
古い値からスクロールする速度の新たな値への転移はユ
ーザの読出しを中断させないように極めて徐々に生じる
ものとなる。
【００３３】ユーザの読出しを中断させない要請は、ま
た、高解像度ディスプレイの必要性の基となる。低解像
度のディスプレイでは、スクロール操作は高解像度のデ
ィスプレイが滑らかに達成できるのに比較して幾分かガ
タガタの態様のものとして生じてしまう。すなわち、あ
る行の文字の画像が見つめているウィンドウで上方に変
位すると、低解像度のディスプレイでは文字の行の各移
動に対してピクセルの線間の相当の飛び越しを必要とす
ることになる。このようなディスプレイの飛び越しは読
出しに対する妨げとなってしまう。しかしながら、高解
像度のディスプレイを使用することによって、飛び越し
は最小とされ、無視できる点まで減少される。
【００３４】図４は前ページおよび次ページ制御区域を
有するページ変化情報を組み込んだページレイアウトを
表す。図４はあるページ指向テキストエディタにおいて
使用されるようなテキストページを示している。ページ
４００は４４０で中央決めされたテキストの初めと最下
部のページで示されるテキストの終りとを備えた垂直の
点線として示された余白境界を有する。次ページ区域４
２０および前ページ区域４３０はテキスト情報の次ペー
ジあるいは前ページの表示をトリガするためにアイトラ
ッカに関連して明示的に表されかつ使用される。ユーザ
の目がページの下方に向けて移動すると、ユーザはテキ
ストの底部に達する。ページ境界が近いということおよ
びユーザがページ変化を期待できるということをユーザ
に準備させるために、別の背景色が区域４６０に示され
る。これにより、ユーザはこのページのテキストの終り
が近付いているということを視覚的に認識することがで
きる。ユーザがウィンドウの最下部でＸＹＺにより記号
化されたテキストの最後の行を読む際に、ユーザの目
は、見つめているウィンドウにおいてテキストの次ペー
ジを検索して表示するために検出されて使用される区域
４２０に向けて移動方向が自然に連続する。同様に、第
２のすなわち後続のページにあり特定の参照のためテキ
ストを戻って見ている時には、ユーザの目はＡＢＣで示
されるテキストの最上行までスクリーンで上向きに進
む。ユーザが探している材料を見い出し得ず、なおも他
のページに戻りたい場合には、ユーザは目で短時間の間
区域４３０に密に近接して見つめるだけで、それはペー
ジ繰り上げ要求と解釈され、前のページのテキストが表
示ウィンドウで置換される。
【００３５】図５はスクロール操作オブジェクトおよび
ページ変化オブジェクトを組み込んでいるページレイア
ウトを表す。図５に示される配列は表示ウィンドウが１
ページ以下の情報しか表示できない場合に好ましく使用
される。図５に示されるように、テキストオブジェクト
５００は上向きスクロール区域５１０、下向きスクロー
ル区域５１５、次ページ区域５２０および前ページ区域
５３０を含んでいる。スクロール区域５１０および５１
５は表示ウィンドウと関連し、通常移動しない。上向き
スクロール区域５１０はテキスト表示がページの最上部
にある時には有効ではなく、下向きスクロール区域５１
５はテキスト表示がページの最下部になってしまった時
には有効ではない。上述したように、ページを変化する
ためにはページ変化区域５２０および５３０を見ること
が必要である。しかしながら、ページ内部でのスクロー
ル操作は上向きスクロールおよび下向きスクロール区域
５１０および５１５によって制御される。
【００３６】ここに記載されたスクロール区域はどれか
あるいはいずれも可視的あるいは不可視的なものであっ
てもよい。ユーザが機能を意識的に行わせるように選択
できるために、ある意味で可視的な区域が好適である。
しかしながら、それら区域を不可視的にすれば、それら
はユーザの目が所望の機能を呼び出すために読取の過程
で通常横行する位置に位置決めされる。
【００３７】図６はオブジェクト選択プロセスのフロー
チャートである。図示されるこのプロセスは、例えば、
電子新聞の一部として図２に示されたテキストオブジェ
クトのような複数のオブジェクトからあるテキストオブ
ジェクトを選択する上で使用され得る。アイトラッカは
ディスプレイ上でのユーザが見る位置（視線位置）を決
定し（６００）、この視線位置がテキストオブジェクト
の境界内にあるかどうかを決定する（６１０）。オブジ
ェクトの境界内にあれば、タイマＴ１が設定され（６２
０）、ユーザの目がオブジェクトの境界を離れたかどう
かを調べるためにユーザの視線位置が検査される（６３
０）。そうだったら、タイマＴ１はリセットされ（６４
０）、プロセスはブロック６００から再度始まる。そう
でなかったら、タイマＴ１が値τ１を越えたかどうかを
調べるための検査が行われる。タイマがτ１を越えなか
ったら（６５０−Ｎ）、ユーザの目の位置がオブジェク
トの境界内に留まっていることを検査するプロセスが続
く（６３０）。そうでなく、タイマがτ１の値を越えた
ら、オブジェクトが表示のために選択される（６６
０）。
【００３８】図７はオブジェクト選択解除プロセスのフ
ローチャートを示す。一旦オブジェクトが選択されてし
まったら、そのオブジェクトがユーザの注目する中心に
留まるかどうかを決定することが必要となる。図７に示
されるプロセスはその決定が可能とし、かつそれがもは
やユーザの注目する中心になくなった時にはそのオブジ
ェクトを選択解除する。上述のように、アイトラッカは
ディスプレイ上でのユーザの視線位置を決定し（７０
０）、その視線位置が選択されたオブジェクトの境界の
外側に行ったかどうかを決定する（７１０）。そうであ
ったら、タイマＴ２が設定され、ユーザの目がオブジェ
クトの境界内に戻ったかどうかを調べるための検査がな
される（７３０）。そうだったら、タイマＴ２はリセッ
トされ、プロセスはブロック７００で再度開始する。ユ
ーザの目が選択されたオブジェクトの境界内に戻らなか
ったら（７３０−Ｎ）、タイマＴ２はそれがτ２よりも
大であるかどうかを調べるために検査される。タイマＴ
２がτ２を越えなかったら、ユーザの目がオブジェクト
の境界内に戻ったかどうかを調べるためにユーザの目の
監視が続く。タイマＴ２がτ２を越えたら（７５０−
Ｙ）、ユーザの注目はこのオブジェクトを離れたことに
なり、このオブジェクトは選択解除される（７６０）。
【００３９】図８は選択されたオブジェクトのスクロー
ル操作のアイトラッカ制御のフローチャートである。一
旦オブジェクトが選択されると（８００）、このオブジ
ェクトの基準位置に対する視線位置の決定がなされる
（８１０）。テキストオブジェクトのスクロール操作の
速度は、図３に関連して上述したように、基準位置に対
する視線位置の関数として決定される。これは未読テキ
ストを常時、ユーザが見ることができる表示域内に保持
するためのオブジェクトのスクロール操作を可能とす
る。一旦速度調節が行われたら、オブジェクトが依然と
して選択されているかを知るための検査が行われる（８
３０）。そうであれば、ユーザの目の位置の監視とスク
ロール操作速度の調節は進行的に続く。オブジェクトが
選択されなかったら、プロセスは初めに戻る。これによ
り、可変速度スクロールが表示ウィンドウ内でのユーザ
の目の位置に基づいて実行され得るようになる。
【００４０】図９はページ表示のアイトラッカ制御のフ
ローチャートである。オブジェクトがユーザの注目の中
心として選択されていたら（９００）、ユーザの視線位
置がページの最上部および最下部に関して決定される
（９１０）。ユーザの目がそのページの最上部あるいは
最下部のＮ個の行内に近付くと、表示色の変化が生じて
ページ変化境界が近付いていることおよびページ変化が
差し迫っていることが指示される（９２０）。ユーザの
視線位置がある時間期間の間それぞれページ繰り下げ区
域すなわちボタンあるいはページ繰り上げ区域すなわち
ボタンに置かれた時には、テキストの新たなページが表
示される。すなわち、ページ繰り上げあるいはページ繰
り下げ機能が実行される。
【００４１】オプションとして、ページの変化によって
生じる混乱時に思考プロセスの連続性を確保する態様と
してページの最下部から次のページの最上部までのテキ
ストの複製行を含むようにすることが所望されてもよ
い。
【００４２】図１０は目で活性化されるスクロールオブ
ジェクトを用いてスクロール操作のアイトラッカ制御の
フローチャートである。
【００４３】上述したように、オブジェクトが選択され
ると、ユーザの視線位置が決定される（１０１０）。視
線位置がある時間期間の間それぞれページ繰り上げ区域
あるいはページ繰り下げ区域に置かれた時には、表示さ
れている情報は上向きあるいは下向きスクロール区域に
よって指示された方向にスクロールされる（１０２
０）。
【００４４】図示の態様で、通常の読取プロセスでのユ
ーザの目の行動が従来技術のスクロール操作技術に関連
した厄介さ、気が散ることおよび他の問題点を取り除く
態様でスクロール操作速度、スクロール操作方向の両方
およびページ変化を制御するために使用され得る。
【００４５】この開示には、本発明の好適実施例のみが
示されかつ記載されているが、上述したように、本発明
は種々の他の組合せおよび環境を使用することができ、
本明細書に表されたような発明の概念の範囲から逸脱す
ることなく変化あるいは変更が可能であることを理解さ
れるべきである。
【図面の簡単な説明】
【図１】Ａは本発明を実行するために好ましい形式のア
イトラッカを装備したコンピュータを示す。Ｂは図１Ａ
のコンピュータのブロック図を示す。Ｃは図１Ａのコン
ピュータと共に使用することができるプログラムを含ん
だ例示的なメモリ媒体を示す。
【図２】種々のテキストオブジェクトから構成された電
子新聞の図である。
【図３】例示的なテキストオブジェクトを示す。
【図４】前ページおよび次ページ制御区域を有するペー
ジ変化情報を組み込んだページレイアウトを示す。
【図５】スクロールオブジェクトおよびページ変化オブ
ジェクトを組み入れたページレイアウトを示す。
【図６】オブジェクト選択プロセスのフローチャートで
ある。
【図７】オブジェクト選択解除プロセスのフローチャー
トである。
【図８】選択されたオブジェクトのスクロール操作のア
イトラッカ制御のフローチャートである。
【図９】ページ表示のアイトラッカ制御のフローチャー
トである。
【図１０】目で活性化されるスクロールオブジェクトを
用いるスクロール操作のアイトラッカ制御のフローチャ
ートである。
【符号の説明】
１００ 中央処理ユニット １２０ ディスプレイ １９０ アイトラッカ

Claims (19)

    【特許請求の範囲】
  1. 【請求項１】 （イ）コンピュータと、 （ロ）上記コンピュータに接続したディスプレイと、 （ハ）上記コンピュータに接続し、ユーザの目が見つめ
    ている上記ディスプレイ上の位置を検出するためのアイ
    トラッカと、 （ニ）上記ディスプレイ上の情報内容を上記位置の関数
    として変化する制御器と、を具備する、ディスプレイ上
    の情報を制御する装置。
  2. 【請求項２】 請求項１記載の装置において、上記ディ
    スプレイ上の上記情報内容は上記位置および基準位置間
    の関係の関数となる速度でスクロール操作を行うことに
    よって変化される、装置。
  3. 【請求項３】 請求項２記載の装置において、上記関数
    は線形関数である、装置。
  4. 【請求項４】 請求項２記載の装置において、上記関数
    は指数関数である、装置。
  5. 【請求項５】 請求項２記載の装置において、上記関数
    は不連続関数である、装置。
  6. 【請求項６】 請求項５記載の装置において、上記不連
    続関数の部分間の転移はスクロール操作の速度変化がユ
    ーザにとって実質的に気が散ること無しに生じるように
    滑らかにされる、装置。
  7. 【請求項７】 請求項１記載の装置において、上記ディ
    スプレイ上の上記情報内容はページングによって変化さ
    れる、装置。
  8. 【請求項８】 請求項７記載の装置において、特定の期
    間の間スクリーン上の特定の区域をユーザが見つめるこ
    とによってページングが開始される、装置。
  9. 【請求項９】 請求項７記載の装置において、ページ内
    のスクロール操作は特定の期間の間スクリーンの特定の
    区域を見つめることによって達成される、装置。
  10. 【請求項１０】 請求項７記載の装置において、上記デ
    ィスプレイ上の情報内容を変化することは所定の期間の
    間アイコンを見つめることによって開始される、装置。
  11. 【請求項１１】 アイトラッカを有するコンピュータの
    ディスプレイ上の情報を制御するための方法であって、 （イ）ユーザの目が向けられる上記ディスプレイ上の位
    置を識別するステップを行うための要素を与えること、 （ロ）上記ディスプレイ上の情報内容を上記位置の関数
    として変化するステップを行うための要素を与えるこ
    と、のステップを具備する、方法。
  12. 【請求項１２】 アイトラッカを有するコンピュータの
    ディスプレイ上の情報を制御するための方法において、 （イ）ユーザの目が向けられる上記ディスプレイ上の位
    置を識別するステップを行うための要素を与えること、 （ロ）上記位置に基づいてテキストオブジェクトを選択
    するステップを行うための要素を与えること、のステッ
    プを具備する、方法。
  13. 【請求項１３】 請求項１２記載の方法において、 上記テキストオブジェクトに表示される情報内容を上記
    位置の関数として変化するステップを行うための要素を
    与えるステップを更に具備する、方法。
  14. 【請求項１４】 請求項１２記載の方法において、 ユーザの目がある時間量の間上記テキストオブジェクト
    を離れると、上記テキストオブジェクトを選択解除する
    ステップを行うための要素を与えるステップを更に具備
    する、方法。
  15. 【請求項１５】 アイトラッカを有するコンピュータの
    ディスプレイ上の情報を制御するための方法であって、 （イ）ユーザの目が向けられる上記ディスプレイ上の位
    置を識別するステップを行うための要素を与えること、 （ロ）ユーザの目がページ境界に達すると表示色を変化
    するステップを行うための要素を与えること、のステッ
    プを具備する、方法。
  16. 【請求項１６】 （イ）ネットワークと、 （ロ）上記ネットワークに接続された複数のコンピュー
    タとを具備しており、上記コンピュータの少なくとも１
    つはアイトラッカを有しかつユーザの目が見つめている
    ディスプレイ上の位置を検出して上記ディスプレイ上の
    情報内容を上記位置の関数として変化するよう構成され
    た、情報表示システム。
  17. 【請求項１７】 アイトラッカを有するコンピュータの
    ディスプレイ上の情報のスクロール操作を制御するため
    のコンピュータプログラムプロダクトにおいて、 （イ）メモリ媒体と、 （ロ）上記メモリ媒体に記憶されたコンピュータプログ
    ラムとを具備しており、上記コンピュータプログラムは
    ユーザの目が向けられる上記ディスプレイ上の位置を識
    別しかつ上記ディスプレイ上の情報内容を上記位置の関
    数として変化するための命令を含んだことを特徴とする
    コンピュータプログラムプロダクト。
  18. 【請求項１８】 アイトラッカを有するコンピュータの
    ディスプレイ上の情報のスクロール操作を制御するため
    のコンピュータプログラムプロダクトにおいて、 （イ）メモリ媒体と、 （ロ）上記メモリ媒体に記憶されたコンピュータプログ
    ラムとを具備しており、上記コンピュータプログラムは
    ユーザの目が向けられる上記ディスプレイ上の位置を識
    別しかつ上記位置に基づいてテキストオブジェクトを選
    択するための命令を含んでいる、コンピュータプログラ
    ムプロダクト。
  19. 【請求項１９】 アイトラッカを有するコンピュータの
    ディスプレイ上の情報のスクロール操作を制御するため
    のコンピュータプログラムプロダクトにおいて、 （イ）メモリ媒体と、 （ロ）上記メモリ媒体に記憶されたコンピュータプログ
    ラムとを具備しており、上記コンピュータプログラムは
    ユーザの目が向けられる上記ディスプレイ上の位置を識
    別しかつユーザの目がページ境界に達すると表示色を変
    化するための命令を含んでいる、コンピュータプログラ
    ムプロダクト。
JP9170596A 1996-06-26 1997-06-26 アイトラッカ駆動のスクロール操作 Pending JPH10124035A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US670907 1996-06-26
US08/670,907 US5850211A (en) 1996-06-26 1996-06-26 Eyetrack-driven scrolling

Publications (1)

Publication Number Publication Date
JPH10124035A true JPH10124035A (ja) 1998-05-15

Family

ID=24692380

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9170596A Pending JPH10124035A (ja) 1996-06-26 1997-06-26 アイトラッカ駆動のスクロール操作

Country Status (4)

Country Link
US (1) US5850211A (ja)
EP (1) EP0816980B1 (ja)
JP (1) JPH10124035A (ja)
DE (1) DE69703955T2 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059147A (ja) * 2004-08-20 2006-03-02 Kiyomi Nakamura コンピュータ入力方法と装置
WO2012111272A1 (ja) * 2011-02-14 2012-08-23 パナソニック株式会社 表示制御装置および表示制御方法
JP2013003671A (ja) * 2011-06-13 2013-01-07 Sony Corp 表示切換装置、表示切換方法、表示切換プログラム
JP2013206272A (ja) * 2012-03-29 2013-10-07 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
WO2013190989A1 (ja) * 2012-06-22 2013-12-27 株式会社エヌ・ティ・ティ・ドコモ 表示装置、表示方法及びプログラム
JP2014514658A (ja) * 2011-04-08 2014-06-19 アマゾン・テクノロジーズ、インコーポレイテッド 注視に基づくコンテンツディスプレイ
JP2015055950A (ja) * 2013-09-11 2015-03-23 富士通株式会社 情報処理装置、方法及びプログラム
JPWO2013111388A1 (ja) * 2012-01-23 2015-05-11 三菱電機株式会社 情報表示装置
JP2016525743A (ja) * 2013-06-25 2016-08-25 マイクロソフト テクノロジー ライセンシング，エルエルシー ユーザインターフェースナビゲーション
JP2017004553A (ja) * 2016-08-22 2017-01-05 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
US9563272B2 (en) 2012-05-31 2017-02-07 Amazon Technologies, Inc. Gaze assisted object recognition
JP2019003228A (ja) * 2017-06-09 2019-01-10 富士通株式会社 機器連携システム、機器連携装置、機器連携方法及び機器連携プログラム

Families Citing this family (99)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3784110B2 (ja) * 1996-07-30 2006-06-07 東京エレクトロン株式会社 処理装置
US6067069A (en) * 1997-03-14 2000-05-23 Krause; Philip R. User interface for dynamic presentation of text with a variable speed based on a cursor location in relation to a neutral, deceleration, and acceleration zone
US6098085A (en) * 1997-03-17 2000-08-01 At&T Corp. Word-serial reader for network devices having limited display capabilities
US6351273B1 (en) 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US6931587B1 (en) * 1998-01-29 2005-08-16 Philip R. Krause Teleprompter device
US6326957B1 (en) * 1999-01-29 2001-12-04 International Business Machines Corporation System and method for displaying page information in a personal digital notepad
WO2000054134A1 (de) * 1999-03-09 2000-09-14 Siemens Aktiengesellschaft Eingabe-/ausgabevorrichtung für ein benutzerendgerät
US6462752B1 (en) 1999-11-16 2002-10-08 International Business Machines Corporation Automatic scrolling function for editors and browsers
US6603491B2 (en) 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
EP1184414A3 (en) * 2000-08-30 2003-08-06 JSR Corporation Conjugated diene-based rubber and method of producing the same, oil extended rubber and rubber composition containing the same
US7240284B2 (en) * 2001-02-15 2007-07-03 Denny Jaeger Method for formatting text by hand drawn inputs
US7013258B1 (en) 2001-03-07 2006-03-14 Lenovo (Singapore) Pte. Ltd. System and method for accelerating Chinese text input
US6886137B2 (en) * 2001-05-29 2005-04-26 International Business Machines Corporation Eye gaze control of dynamic information presentation
US6847386B2 (en) * 2001-06-19 2005-01-25 International Business Machines Corporation Visual cue for on-screen scrolling
US20030038754A1 (en) * 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
US7202857B2 (en) * 2001-08-29 2007-04-10 Microsoft Corporation Manual controlled scrolling
US6690387B2 (en) * 2001-12-28 2004-02-10 Koninklijke Philips Electronics N.V. Touch-screen image scrolling system and method
US6637883B1 (en) 2003-01-23 2003-10-28 Vishwas V. Tengshe Gaze tracking system and method
US20040174497A1 (en) * 2003-03-07 2004-09-09 Manish Sharma Method and system for controlling the movement of a device
EP1611499A2 (en) * 2003-03-21 2006-01-04 Queen's University At Kingston Method and apparatus for communication between humans and devices
US8292433B2 (en) 2003-03-21 2012-10-23 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7762665B2 (en) 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
CN100583236C (zh) * 2003-05-21 2010-01-20 松下电器产业株式会社 声音输出装置及声音输出方法
US20050047629A1 (en) * 2003-08-25 2005-03-03 International Business Machines Corporation System and method for selectively expanding or contracting a portion of a display using eye-gaze tracking
US9274598B2 (en) 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
DE102004027289B4 (de) * 2004-06-04 2006-08-24 Siemens Ag Verfahren und Anordnung zur berührungslosen Navigation in einem Dokument
ES2568506T3 (es) 2004-06-18 2016-04-29 Tobii Ab Control ocular de aparato computador
US20060066567A1 (en) * 2004-09-29 2006-03-30 Scharenbroch Gregory K System and method of controlling scrolling text display
ITFI20040223A1 (it) * 2004-10-29 2005-01-29 Sr Labs S R L Metodo e sistema di visualizzazione,elaborazione ed analisi integrata di immagini mediche
US7835498B2 (en) * 2005-02-18 2010-11-16 Koninklijke Philips Electronics N. V. Automatic control of a medical device
US7697827B2 (en) 2005-10-17 2010-04-13 Konicek Jeffrey C User-friendlier interfaces for a camera
US8209620B2 (en) 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
US7599520B2 (en) * 2005-11-18 2009-10-06 Accenture Global Services Gmbh Detection of multiple targets on a plane of interest
US20100231504A1 (en) * 2006-03-23 2010-09-16 Koninklijke Philips Electronics N.V. Hotspots for eye track control of image manipulation
CN101078965B (zh) * 2006-05-24 2010-08-04 鸿富锦精密工业（深圳）有限公司 非线性页面定位系统及方法
US7649536B1 (en) * 2006-06-16 2010-01-19 Nvidia Corporation System, method, and computer program product for utilizing natural motions of a user to display intuitively correlated reactions
US7928926B2 (en) * 2006-06-27 2011-04-19 Panasonic Corporation Display apparatus and method for hands free operation that selects a function when window is within field of view
US20080259551A1 (en) * 2007-04-20 2008-10-23 Gotive A.S. Modular computing device
US8438496B1 (en) 2007-05-09 2013-05-07 Adobe Systems Incorporated Content sensitive automatic scrolling
TWI450178B (zh) * 2008-04-25 2014-08-21 Wistron Corp 驅動電子裝置顯示頁面捲動之方法與裝置
CN101840265B (zh) * 2009-03-21 2013-11-06 深圳富泰宏精密工业有限公司 视觉感知装置及其控制方法
CN101943982B (zh) 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
IT1399456B1 (it) * 2009-09-11 2013-04-19 Sr Labs S R L Metodo e apparato per l'utilizzo di generiche applicazioni software attraverso controllo oculare e opportune metodologie di interazione.
US8878773B1 (en) 2010-05-24 2014-11-04 Amazon Technologies, Inc. Determining relative motion as input
US8531355B2 (en) * 2010-07-23 2013-09-10 Gregory A. Maltz Unitized, vision-controlled, wireless eyeglass transceiver
USRE47059E1 (en) * 2010-07-24 2018-09-25 Joel Nevins Computer-implemented methods and computer program products for integrating and synchronizing multimedia content, including content displayed via interactive televisions, smartphones, electronic book readers, holographic imagery projectors, and other computerized devices
US8739019B1 (en) * 2011-07-01 2014-05-27 Joel Nevins Computer-implemented methods and computer program products for integrating and synchronizing multimedia content, including content displayed via interactive televisions, smartphones, electronic book readers, holographic imagery projectors, and other computerized devices
US20120235065A1 (en) 2011-03-16 2012-09-20 Intellirad Control, Inc. Radiation control and minimization system and method
KR101773845B1 (ko) * 2011-05-16 2017-09-01 삼성전자주식회사 휴대용 단말기에서 입력 처리 방법 및 장치
US8655796B2 (en) 2011-06-17 2014-02-18 Sanjay Udani Methods and systems for recording verifiable documentation
US8606595B2 (en) 2011-06-17 2013-12-10 Sanjay Udani Methods and systems for assuring compliance
US9024843B2 (en) * 2011-06-30 2015-05-05 Google Inc. Wearable computer with curved display and navigation tool
US9041734B2 (en) 2011-07-12 2015-05-26 Amazon Technologies, Inc. Simulating three-dimensional features
AU2011204946C1 (en) 2011-07-22 2012-07-26 Microsoft Technology Licensing, Llc Automatic text scrolling on a head-mounted display
US10088924B1 (en) 2011-08-04 2018-10-02 Amazon Technologies, Inc. Overcoming motion effects in gesture recognition
US8947351B1 (en) 2011-09-27 2015-02-03 Amazon Technologies, Inc. Point of view determinations for finger tracking
US9081177B2 (en) 2011-10-07 2015-07-14 Google Inc. Wearable computer with nearby object response
US9547406B1 (en) 2011-10-31 2017-01-17 Google Inc. Velocity-based triggering
KR101891786B1 (ko) 2011-11-29 2018-08-27 삼성전자주식회사 아이 트래킹 기반의 사용자 기능 운용 방법 및 이를 지원하는 단말기
US8942434B1 (en) 2011-12-20 2015-01-27 Amazon Technologies, Inc. Conflict resolution for pupil detection
US9223415B1 (en) 2012-01-17 2015-12-29 Amazon Technologies, Inc. Managing resource usage for task performance
WO2013168173A1 (en) * 2012-05-11 2013-11-14 Umoove Services Ltd. Gaze-based automatic scrolling
US9148537B1 (en) * 2012-05-18 2015-09-29 hopTo Inc. Facial cues as commands
US9395826B1 (en) 2012-05-25 2016-07-19 hopTo Inc. System for and method of translating motion-based user input between a client device and an application host computer
TWI482610B (zh) * 2012-06-05 2015-05-01 Utechzone Co Ltd Two - way communication system
KR20130143160A (ko) * 2012-06-20 2013-12-31 삼성전자주식회사 휴대단말기의 스크롤 제어장치 및 방법
US20140195918A1 (en) * 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
JP2014157466A (ja) * 2013-02-15 2014-08-28 Sony Corp 情報処理装置及び記憶媒体
US9864498B2 (en) 2013-03-13 2018-01-09 Tobii Ab Automatic scrolling based on gaze detection
ES2731560T3 (es) 2013-03-01 2019-11-15 Tobii Ab Interacción de mirada con deformación retardada
KR102081930B1 (ko) * 2013-03-21 2020-02-26 엘지전자 주식회사 시선 위치를 디텍트하는 디스플레이 디바이스 및 제어 방법
CN105308550B (zh) * 2013-06-17 2019-01-01 麦克赛尔株式会社 信息显示终端
WO2015025185A1 (en) * 2013-08-21 2015-02-26 Thomson Licensing Video display with pan function controlled by viewing direction
US9269012B2 (en) 2013-08-22 2016-02-23 Amazon Technologies, Inc. Multi-tracker object tracking
JP6127839B2 (ja) * 2013-09-02 2017-05-17 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10055013B2 (en) 2013-09-17 2018-08-21 Amazon Technologies, Inc. Dynamic object tracking for user interfaces
US10317995B2 (en) 2013-11-18 2019-06-11 Tobii Ab Component determination and gaze provoked interaction
US10558262B2 (en) 2013-11-18 2020-02-11 Tobii Ab Component determination and gaze provoked interaction
CN103869977B (zh) * 2014-02-19 2016-06-08 小米科技有限责任公司 图像显示方法、装置和电子设备
WO2015131345A1 (en) 2014-03-05 2015-09-11 Empire Technology Development Llc Semantic data generation
US9325938B2 (en) * 2014-03-13 2016-04-26 Google Inc. Video chat picture-in-picture
CN103914150A (zh) * 2014-04-08 2014-07-09 小米科技有限责任公司 摄像头控制方法和装置
US9952883B2 (en) 2014-08-05 2018-04-24 Tobii Ab Dynamic determination of hardware
CN104267812B (zh) * 2014-09-22 2017-08-29 联想(北京)有限公司 一种信息处理方法及电子设备
US10585485B1 (en) 2014-11-10 2020-03-10 Amazon Technologies, Inc. Controlling content zoom level based on user head movement
US10222966B2 (en) * 2015-02-09 2019-03-05 Flipboard, Inc. Parallax discrete page scrolling
US9911037B2 (en) * 2015-02-23 2018-03-06 Umoove Services Ltd. System and method of feedback for attention and concentration
JP6097377B1 (ja) * 2015-11-27 2017-03-15 株式会社コロプラ 画像表示方法及びプログラム
US20190155472A1 (en) * 2016-05-11 2019-05-23 Sharp Kabushiki Kaisha Information processing device, and control method for information processing device
US10437070B2 (en) 2016-12-23 2019-10-08 Realwear, Inc. Interchangeable optics for a head-mounted display
US11507216B2 (en) 2016-12-23 2022-11-22 Realwear, Inc. Customizing user interfaces of binary applications
US10620910B2 (en) 2016-12-23 2020-04-14 Realwear, Inc. Hands-free navigation of touch-based operating systems
US10936872B2 (en) 2016-12-23 2021-03-02 Realwear, Inc. Hands-free contextually aware object interaction for wearable display
US10393312B2 (en) 2016-12-23 2019-08-27 Realwear, Inc. Articulating components for a head-mounted display
US11099716B2 (en) 2016-12-23 2021-08-24 Realwear, Inc. Context based content navigation for wearable display
CN108090463B (zh) * 2017-12-29 2021-10-26 腾讯科技（深圳）有限公司 对象控制方法、装置、存储介质和计算机设备
JP7282810B2 (ja) 2018-02-22 2023-05-29 イノデム ニューロサイエンシズ 視線追跡方法およびシステム
CN109491952A (zh) * 2018-11-27 2019-03-19 掌阅科技股份有限公司 跨页选择文字方法、电子设备及计算机存储介质
US11775060B2 (en) 2021-02-16 2023-10-03 Athena Accessible Technology, Inc. Systems and methods for hands-free scrolling

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4595990A (en) * 1980-12-31 1986-06-17 International Business Machines Corporation Eye controlled information transfer
US4513317A (en) * 1982-09-28 1985-04-23 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Retinally stabilized differential resolution television display
JPS63121389A (ja) * 1986-11-10 1988-05-25 A T R Tsushin Syst Kenkyusho:Kk 立体画像表示装置
US4950069A (en) * 1988-11-04 1990-08-21 University Of Virginia Eye movement detector with improved calibration and speed
US5367315A (en) * 1990-11-15 1994-11-22 Eyetech Corporation Method and apparatus for controlling cursor movement
JPH04205408A (ja) * 1990-11-30 1992-07-27 Nec Corp 画面スクロール制御方式
US5864330A (en) * 1993-06-29 1999-01-26 International Business Machines Corp. Method and apparatus for providing a two-dimensional position-sensitive scroll icon in a data processing system user interface
US5633657A (en) * 1994-10-11 1997-05-27 Falcon; Fernando D. Mouse driver arrangement for providing advanced scrolling capabilities to a conventional mouse

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006059147A (ja) * 2004-08-20 2006-03-02 Kiyomi Nakamura コンピュータ入力方法と装置
WO2012111272A1 (ja) * 2011-02-14 2012-08-23 パナソニック株式会社 表示制御装置および表示制御方法
US9164582B2 (en) 2011-02-14 2015-10-20 Panasonic Intellectual Property Management Co., Ltd. Display control device and method detecting eye position of a user
JP2014514658A (ja) * 2011-04-08 2014-06-19 アマゾン・テクノロジーズ、インコーポレイテッド 注視に基づくコンテンツディスプレイ
JP2013003671A (ja) * 2011-06-13 2013-01-07 Sony Corp 表示切換装置、表示切換方法、表示切換プログラム
US9696799B2 (en) 2012-01-23 2017-07-04 Mitsubishi Electric Corporation Information display device that displays information on a screen
JPWO2013111388A1 (ja) * 2012-01-23 2015-05-11 三菱電機株式会社 情報表示装置
JP2013206272A (ja) * 2012-03-29 2013-10-07 Sony Corp 情報処理装置、情報処理方法及びコンピュータプログラム
US10437324B2 (en) 2012-03-29 2019-10-08 Sony Corporation Information processing apparatus, information processing method, and computer program
US10037078B2 (en) 2012-03-29 2018-07-31 Sony Corporation Information processing apparatus, information processing method, and computer program
US9563272B2 (en) 2012-05-31 2017-02-07 Amazon Technologies, Inc. Gaze assisted object recognition
JP2014006640A (ja) * 2012-06-22 2014-01-16 Ntt Docomo Inc 表示装置、表示方法及びプログラム
WO2013190989A1 (ja) * 2012-06-22 2013-12-27 株式会社エヌ・ティ・ティ・ドコモ 表示装置、表示方法及びプログラム
JP2016525743A (ja) * 2013-06-25 2016-08-25 マイクロソフト テクノロジー ライセンシング，エルエルシー ユーザインターフェースナビゲーション
JP2015055950A (ja) * 2013-09-11 2015-03-23 富士通株式会社 情報処理装置、方法及びプログラム
JP2017004553A (ja) * 2016-08-22 2017-01-05 ソニー株式会社 情報処理装置、情報処理方法及びコンピュータプログラム
JP2019003228A (ja) * 2017-06-09 2019-01-10 富士通株式会社 機器連携システム、機器連携装置、機器連携方法及び機器連携プログラム

Also Published As

Publication number Publication date
DE69703955D1 (de) 2001-03-01
EP0816980A3 (en) 1998-11-11
EP0816980A2 (en) 1998-01-07
EP0816980B1 (en) 2001-01-24
US5850211A (en) 1998-12-15
DE69703955T2 (de) 2001-08-02

Similar Documents

Publication Publication Date Title
JPH10124035A (ja) アイトラッカ駆動のスクロール操作
US5528260A (en) Method and apparatus for proportional auto-scrolling
US5704050A (en) Snap control for relocating elements of a graphical user interface
US5754809A (en) Perspective windowing technique for computer graphical user interface
US5396590A (en) Non-modal method and apparatus for manipulating graphical objects
JP4093823B2 (ja) 視野移動操作方法
US7274377B2 (en) Viewport panning feedback system
US5806077A (en) Hypertext display system
US6731315B1 (en) Method for selecting display parameters of a magnifiable cursor
JP2759700B2 (ja) イメージ・エディタを作動する方法
US7665033B2 (en) Using a zooming effect to provide additional display space for managing applications
US6741266B1 (en) Gui display, and recording medium including a computerized method stored therein for realizing the gui display
US5917486A (en) System and method for client program control of a computer display cursor
US5694151A (en) Method and apparatus for providing visual feedback during manipulation of text on a computer screen
US7216291B2 (en) System and method to display table data residing in columns outside the viewable area of a window
US5790819A (en) Mechanism for fine-grained and coarse-grained control of zooming in a display of a one-dimensional data set
US5686937A (en) User interface system and method for creating and removing a scrolling icon from a display based upon user past and present interaction with the icon
US5956032A (en) Signalling a user attempt to resize a window beyond its limit
EP0757309A2 (en) Transient link indicators in image maps
US20020089546A1 (en) Dynamically adjusted window shape
EP0703563A2 (en) Method and apparatus for displaying overlapping graphical objects on a computer monitor
CN102934065B (zh) 信息处理装置
JP2501293B2 (ja) 入力装置への圧力の表示方法及びシステム
US6317140B1 (en) Displaying interactive bitmap images within a display space
GB2310989A (en) Graphical user interface