JPH1091378A - 視標追跡主導型バックトラックの方法および装置 - Google Patents

視標追跡主導型バックトラックの方法および装置

Info

Publication number
JPH1091378A
JPH1091378A JP9183271A JP18327197A JPH1091378A JP H1091378 A JPH1091378 A JP H1091378A JP 9183271 A JP9183271 A JP 9183271A JP 18327197 A JP18327197 A JP 18327197A JP H1091378 A JPH1091378 A JP H1091378A
Authority
JP
Japan
Prior art keywords
context
user
lost
computer
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP9183271A
Other languages
English (en)
Inventor
Bruce Tognazzini
ブルース・トグナズィーニ
Jakob Nielsen
ジェイコブ・ニールセン
Robert Glass
ロバート・グラス
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Microsystems Inc
Original Assignee
Sun Microsystems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Microsystems Inc filed Critical Sun Microsystems Inc
Publication of JPH1091378A publication Critical patent/JPH1091378A/ja
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/0485Scrolling or panning
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G06F3/04895Guidance during keyboard input operation, e.g. prompting

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)

Abstract

(57)【要約】 【課題】 ディスプレイ装置のユーザがディスプレイ装
置から目をそらす原因となった注意散逸からより迅速に
回復するように支援するための装置、方法、システム、
コンピュータ・プログラム製品を開示する。 【解決手段】 また、前に表示され復元されたハイパー
テキスト・ドキュメント内でユーザが最後に見ていたと
ころを本発明が示すことにより、ハイパーテキスト・ド
キュメントをナビゲートしているときにもユーザを支援
する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、一般に、コンピュ
ータと人間との間のユーザ・インタフェース技術に関
し、より具体的には、コンピュータ・ユーザがディスプ
レイ装置上に提示したドキュメント内のどこを最後に見
ていたかをコンピュータが自動的に記憶し、ユーザがも
う一度そのドキュメントを見たときにコンピュータがそ
の位置にそのドキュメントを復元し、その位置を示すこ
とができるようにするための方法、装置、システム、コ
ンピュータ・プログラム製品に関する。
【0002】
【従来の技術】
人間/コンピュータ間の対話 最新のコンピュータ・システムの重要な特徴は、人間の
ユーザとコンピュータとの間のインタフェースである。
初期の対話インタフェースはテキスト・ベースであり、
ユーザはキーボード上で一連の文字をタイプすることに
よってコンピュータとやりとりし、コンピュータは出力
装置、一般にディスプレイ画面上に文字を表示すること
によってユーザとやりとりしていた。このような入力文
字は、コンピュータのオペレーティング・システムまた
はコンピュータ上で実行中のアプリケーション・プログ
ラムへのコマンドを指定するものであった。このコマン
ドにより、所与の操作を実行するためのプログラム論理
が呼び出されていた。最新のコンピュータ・システムで
は、ユーザとコンピュータとの対話を単純化するために
グラフィカル・ユーザ・インタフェース(GUI)を使
用している。GUIを搭載したコンピュータは、ディス
プレイ画面上にテキストとアイコンを含むグラフィック
を表示することによってユーザとやりとりし、ユーザ
は、ダイアログに応答してテキスト情報をタイプするこ
とと、マウスなどのポインティング・デバイスを使って
表示されたアイコンを操作することの両方によってマシ
ンとやりとりする。
【0003】多くの最新のGUIはウィンドウ環境を用
意している。典型的なウィンドウ環境では、ディスプレ
イ画面上に描かれたグラフィック表示は電子の「デスク
トップ」の表面に似るように配置され、コンピュータ上
で動作中の各アプリケーション・プログラムはディスプ
レイ画面上の矩形領域として表示された1枚または複数
の電子の「用紙」として表される。このような矩形領域
は「ウィンドウ」と呼ぶ。各ウィンドウは多数の区画を
含むことができる。各区画は特定のタイプの情報(テキ
スト、静止画像、動画など)用の区域である。
【0004】各ウィンドウは、関連アプリケーションま
たはシステム・プログラムによって生成された情報を表
示する。さらに、複数のウィンドウが同時にデスクトッ
プ上に存在し、それぞれが1つのプログラムによって生
成された情報を含む場合もある。プログラムは、ウィン
ドウ内に画像、グラフィック、またはテキストを描画ま
たは「ペイント」することにより、各ウィンドウを介し
てユーザに情報を提示する。また、ユーザは、ディスプ
レイ画面上の他の位置にウィンドウを移動し、従来通り
デスクトップを配置するためにそのサイズおよび外観を
変更することもできる。ユーザは、ポインティング・デ
バイスによって制御されたカーソルを使ってウィンドウ
内に表示されたオブジェクトを「ポイント」し、希望通
りにオブジェクトを操作することによってプログラムと
やりとりする。場合によっては、プログラムが任意の操
作に応答してユーザからの追加情報を要求することもあ
る。この要求は、要求された情報をユーザがキーボード
からダイアログに提供できるようにするための「ダイア
ログ」として提示される。
【0005】各ウィンドウは、通常、サイズ変更ボック
ス、ボタン、スクロール・バーなど、いくつかの標準的
なグラフィック・オブジェクトを含む。これらの機能
は、ポインティング・デバイスを使ってユーザが操作で
きるユーザ・インタフェース・コントロールを表してい
る。このコントロールを選択または操作すると、GUI
は基礎となるプログラム内のプログラム論理を呼び出し
て、対応するコマンドを実行する。
【0006】コンピュータ/人間間インタフェースの先
行技術は、コンピュータ・ユーザがディスプレイ装置上
に提示された様々なウィンドウ間を移動するのを支援す
るものではない。また、先行技術は、ユーザがコンピュ
ータ・ディスプレイから注意を散逸した後でドキュメン
ト内のどこにいたかをユーザが記憶するのを支援するも
のでもない。
【0007】凝視追跡装置 ほとんどの凝視追跡装置は、人の凝視の方向は瞳孔の相
対位置および対象物の角膜からの反射に直接関係すると
いう原理に基づいて機能する(凝視追跡は視標追跡と呼
ばれる場合も多い)。このような装置は、目の凝視方向
を決定するために目のビデオ画像を操作する画像処理機
能を含む場合が多い。このような画像処理機能は、明る
い目の作用を使用することによって強化されている。
【0008】明るい目の作用は、網膜の反射性の高さの
結果である。このような網膜の特徴は、目に入った光の
うちのかなりの量が瞳孔から反射して戻ることを意味す
る。したがって、カメラのレンズの軸に沿って目の中に
光が照射されると、網膜はその光の大部分を反射してカ
メラに戻す。このため、瞳孔は、カメラにとって明るい
ディスクのように見える。この作用により、瞳孔は目の
映像からもっと容易に結像できるようになる。
【0009】凝視追跡の方法は他にも存在する。一方は
頭の動きを追跡し、もう一方は目からの反射を測定する
という、2台のビデオ・カメラの使用を取り入れた方法
もある。その他のメカニズムでは、目の様々な側の位置
間の電位差を測定することを含む。高精度の装置は、ユ
ーザにとっては非常に厄介なものであり、ユーザの頭を
固定位置に保持するか、または目を追跡するためにユー
ザが特殊な装置を装着することが必要である。
【0010】The Eyegaze Eyetracking System - Uniqu
e Example of a Multiple-Use Technology(4th Annual
1994 IEEE Dual-Use Technologies and Applications C
onference,1994年5月)に記載されているように、
最近、凝視視標追跡システムが開発された。このシステ
ムは、ユーザの一方の目を監視するためにコンピュータ
・ディスプレイの下側にビデオ・カメラを配置する。ま
た、この装置は、明るい目の作用を最大にするためにカ
メラのレンズの中心に位置する赤外線発光ダイオード
(LED)を有する。コンピュータ上の画像処理ソフト
ウェアは、約1/4インチの正確さで1秒間に60回、
ディスプレイ上のユーザの凝視点を計算する。
【0011】凝視追跡装置は、武器制御、オペレータの
トレーニング、有用性分析、マーケット・リサーチのた
めに、また、障害者用の補助具として使用されている。
しかし、凝視追跡装置は、特定の時点でコンピュータ・
ユーザがコンピュータ操作のどの特徴に関心をもってい
るかを判定するため、またはディスプレイ画面上のどこ
をユーザが見ているかによって示されるように、ユーザ
の関心をコンピュータに教えるために使用されているわ
けではない。
【0012】人は、注意が散逸したり、中断されること
がよくある。作業を中断されたり、作業から注意を散逸
したりした多くの人は、中断時に自分が何を考え何を行
っていたかを思い出すのは難しいことだと分かる。した
がって、作業を再開しようとする場合、考えたり行って
いたことを再現する間にかなりの時間が過ぎていく。そ
の結果、中断または作業からの注意散逸を処理するため
の時間が必要になるだけでなく、作業に対するユーザの
意識を復元するための時間も必要になる。たとえば、新
聞の読者は、電話を受けて応答した後で(どの文章また
は段落であるかは言うまでもなく)どの記事を読んでい
たかを思い出すのが難しいと分かることがよくある。こ
の問題は、新聞を読んでいるときだけでなく、コンピュ
ータに向かって作業しているときにも発生する。プログ
ラマは、同僚からの質問によって注意が散逸した後でプ
ログラム修正の詳細を再獲得するのは難しいことだと分
かる。従来のオフィス環境の中断としては、電話や、イ
ンターホンによる中断、会議、昼食、忠告、サポート、
その他多くの目的のための同僚による中断などがある。
【0013】コンピュータは非常に生産性の高いツール
であるが、従来のオフィス環境には既に述べたものに加
え、さらに別の中断や注意の散逸を与えるものがある。
そのような中断としては、新しい電子メール(eメー
ル)の到着を示す即時通知、テレビ会議、即時テキスト
・メッセージ通信、コンピュータの異常、それぞれが任
意の時点で注意を要する少なくとも1つのウィンドウを
有する複数のプログラム、手近な作業から人の注意を散
逸するためにすべてが共同していると思われる多数の他
の注意散逸や中断などがある。さらに、仕事場での従来
の注意散逸により、コンピュータ・ユーザがコンピュー
タ画面から目をそらし、その結果、注意散逸前にどこを
読んでいたかをユーザが忘れてしまうことがよくある。
【0014】大型のハイパーテキスト・エンティティ
(ワールド・ワイド・ウェブ(WWW)など)をナビゲ
ートする場合も同様の問題が存在する。ハイパーテキス
ト・システムにより、ユーザは、得られる材料を含む特
定のノードへの特定のハイパーリンクを選択することに
より、その材料により自分自身の経路を選択することが
できる。ワールド・ワイド・ウェブ(WWW)およびW
WWブラウザの背景については、Wayne Ause
によるInstant HTML Web Pages(Ziff-Davis Press、ISBN
1-56276-363-6、Copyright 1995、1〜15ページ)の第1
章を参照すると、十分記載されているが、同書は参照に
より先行技術の例示として本明細書に取り入れるものと
する。
【0015】ほとんどのWWWブラウザ・プログラムに
はバックトラック機能が用意されている。この機能によ
り、ユーザは前に選択したハイパーテキスト・ノードに
戻ることができる。一般にこのようなプログラムは履歴
機能も備えており、それにより、ユーザは前に訪れたペ
ージのメニューからページを選択することができる。前
に訪れたページに戻る場合、ユーザは、そのページで何
を行っていたかを思い出すために相当な時間を費やして
そのページを再読することにより、そのページのどこに
いたかを思い出すために、自分自身をそのページに方向
付ける必要がある。
【0016】Netscape(登録商標)Navig
ator(WWWブラウザの一実施形態)は、そのペー
ジに最後に訪れたときに見たデータを提示するようにバ
ックトラック・ページを位置決めする機能を備えてい
る。しかし、このアプリケーションでは、最後に訪れた
ときにユーザがそのページのどの部分を見ていたかに関
するヒントは得られない。
【0017】
【発明が解決しようとする課題】本発明は、機能強化し
た諸機能をコンピュータ・ユーザに提供するための経済
的な装置、方法、システム、コンピュータ・プログラム
製品を提供する。本発明は、ディスプレイ装置のユーザ
がディスプレイ装置から目をそらす原因となった注意散
逸からより迅速に回復するように支援しようとするもの
である。また、前に表示され復元されたハイパーテキス
ト・ドキュメント内でユーザが最後に見ていたところを
本発明が示すことにより、ハイパーテキスト・ドキュメ
ントをナビゲートしているときにもユーザを支援する。
【0018】
【課題を解決するための手段】本発明の一態様は、コン
ピュータのユーザが喪失コンテキストを再確立するのを
支援するためのコンピュータ制御の方法である。この方
法ではディスプレイ装置と凝視追跡装置とを使用する。
凝視追跡装置はディスプレイ装置上のユーザの凝視位置
を判定する。この方法の第1のステップは、ディスプレ
イ装置上のユーザの凝視位置を監視し、ディスプレイ装
置上の活動域内に表示された現行コンテキストを追跡す
るステップである。また、これは、ディスプレイの活動
域からの注意の中断も検出し、時間と、現行コンテキス
トを喪失コンテキストとして保管する。この方法は、喪
失コンテキストを復元し、喪失コンテキストにインジケ
ータを適用することによりユーザに対して喪失コンテキ
ストを示す。
【0019】本発明の他の態様では、ユーザが喪失コン
テキストを再確立するのを支援するように構成された情
報提示装置を開示する。この装置は、中央演算処理装置
と、メモリと、ディスプレイ装置と、ディスプレイ装置
上の凝視位置を判定する凝視追跡装置とを含む。この装
置は、ディスプレイ上の凝視位置を監視し、その結果、
ディスプレイの活動域内の現行コンテキストを追跡する
ように構成された監視メカニズムも含む。さらに、この
装置は、監視メカニズムと協力し、ディスプレイ装置の
前記活動域からの注意の中断を検出するように構成され
た第1の検出メカニズムを含む。同じく監視メカニズム
と協力する第2の検出メカニズムは、凝視位置がディス
プレイ上の(喪失コンテキストを有する)ターゲット域
に入った時期を検出する。凝視位置がターゲット域に入
ったことを第2の検出メカニズムが検出すると、復元メ
カニズムがターゲット域内に喪失コンテキストを復元す
る。最後に、喪失コンテキストにインジケータを適用す
ることにより、指示メカニズムがユーザに対して喪失コ
ンテキストを示す。
【0020】本発明の他の態様は、ユーザに対してディ
スプレイ装置上で情報を提示する情報提示システムであ
る。このシステムは凝視追跡装置を含む。凝視追跡装置
はディスプレイ装置上の凝視位置を判定する。このシス
テムは、ディスプレイ上の凝視位置を監視し、その結
果、ディスプレイの活動域内の現行コンテキストを追跡
するように構成された監視メカニズムも含む。さらに、
このシステムは、監視メカニズムと協力し、ディスプレ
イ装置の前記活動域からの注意の中断を検出するように
構成された第1の検出メカニズムを含む。同じく監視メ
カニズムと協力する第2の検出メカニズムは、凝視位置
がディスプレイ上の(喪失コンテキストを有する)ター
ゲット域に入った時期を検出する。凝視位置がターゲッ
ト域に入ったことを第2の検出メカニズムが検出する
と、復元メカニズムがターゲット域内に喪失コンテキス
トを復元する。最後に、喪失コンテキストにインジケー
タを適用して、指示メカニズムがユーザに対して喪失コ
ンテキストを示す。
【0021】本発明の最後の態様は、コンピュータで使
用可能な記憶媒体で実現されるコンピュータで読取り可
能なコードを有するコンピュータ・プログラム製品を開
示する。コンピュータ上で実行すると、このコンピュー
タで読取り可能なコードにより、コンピュータは、上記
のシステムと同じ機能を有する監視メカニズムと、第1
の検出メカニズムと、第2の検出メカニズムと、復元メ
カニズムと、指示メカニズムとを実行する。
【0022】本発明の上記および多くのその他の目的お
よび利点は、様々な図面に図示した好ましい実施形態に
関する以下の詳細な説明を読めば、当業者には必ず明ら
かになるだろう。
【0023】
【発明の実施の形態】
表記法および用語集 以下の「表記法および用語集」は、本発明およびその好
ましい実施形態を理解しやすくするためのものである。
【0024】コンテキスト−−ディスプレイ装置上に表
示されたドキュメント内で、ユーザにとって関心のある
位置。喪失コンテキストとは、他の場所を見る前にユー
ザが特定のドキュメント上で見ていた場所である。現行
コンテキストとは、ドキュメント内でユーザが現在見て
いる位置である。
【0025】グラフィカル・ユーザ・インタフェース
(GUI)−−ディスプレイ上の選択可能制御域を指し
示し、選択可能制御域に関連するコマンドまたはコンピ
ュータ操作を活動化することにより、ユーザがコンピュ
ータ・ディスプレイとやりとりできるようにするユーザ
・インタフェース。GUIは当技術分野では周知のもの
である。
【0026】凝視位置−−画面上の関心のある区域であ
って、限られた期間中のユーザの凝視の境界を示すも
の。
【0027】凝視座標−−限られた期間中のユーザの凝
視とディスプレイ画面との交点を表す座標。
【0028】凝視座標(生)−−ユーザの凝視とディス
プレイ画面との瞬間的な交点を表す座標。
【0029】画像−−ディスプレイ画面上に表示される
情報であって、ピクチャ、描画、イラスト、テキスト、
ビデオなどであり、これらに限定されない。一般に画像
はウィンドウ内に含まれる区画に表示される。静止画像
はピクチャである。動画は、ビデオと同様に順次再生さ
れるいくつかの静止画像のフレームからなる。
【0030】ポインティング・デバイス−−コンピュー
タ・ユーザの入力に応答し、コンピュータ・ディスプレ
イ画面上のカーソルを移動させる装置。このようなカー
ソルは、(たとえば、マウス・デバイスのボタンを押す
ことにより)ポインティング・デバイスを活動化した場
合に、そのアクティブ・ポイントによって覆われる選択
可能制御域に関連するコマンドが呼び出されるような、
アクティブ・ポイントを備えている。一般にグラフィカ
ル・ユーザ・インタフェースではポインティング・デバ
イスを使用する。
【0031】選択可能制御域−−コンピュータ・ディス
プレイ上の1つの区域であって、ポインティング・デバ
イスの活動化に敏感なところ。選択可能制御域上でポイ
ンティング・デバイスを活動化すると、その選択可能制
御域に関連するコマンドまたはコンピュータ操作が呼び
出される。グラフィカル・ユーザ・インタフェース(G
UI)を備えた多くのコンピュータ・システムでは、キ
ーボードのファンクション・キーやコマンド行など、こ
のようなコマンドまたはコンピュータ操作を呼び出すた
めの他の方法も備えている。
【0032】URL−−均一リソース・ロケータ。UR
Lは、ワールド・ワイド・ウェブ上の情報にアクセスす
るために使用する。
【0033】区画−−ウィンドウ内の1つの区域であっ
て、情報を示す場所。
【0034】ウィンドウ−−コンピュータ・ディスプレ
イ画面上の通常は矩形の1つの区域であって、アプリケ
ーションによって制御されるもの。
【0035】手順−−所望の結果に至るための筋の通っ
た一連のステップ。このようなステップは、物理的数量
の物理的操作を必要とするものである。通常、このよう
な数量は、格納、転送、合成、比較、その他の操作が可
能な電気信号または磁気信号の形態を取る。このような
信号は、ビット、値、要素、記号、文字、用語、数など
と呼ばれる。当業者であれば、上記および同様の用語は
いずれも適切な物理的数量に関連し、このような数量に
便宜的なラベルが付けられているに過ぎないことが分か
るだろう。
【0036】概要 命令コードを実行する際にコンピュータが実行する操作
は、人間のオペレータが実行する知的操作に一般に関連
する、加算または比較などの用語で呼ばれる場合が多
い。本発明では、ここに記載する操作のいずれにおいて
も、人間のオペレータのこのような能力は一切不要であ
る。すなわち、操作はマシンの操作である。本発明の操
作を実行するための有用なマシンとしては、プログラミ
ング済み汎用ディジタル・コンピュータまたは同様のデ
バイスがある。いずれの場合も、計算の方法はコンピュ
ータを操作する際の操作方法とは区別される。本発明
は、他の所望の物理信号を生成するために電気信号また
はその他の(たとえば、機械的、化学的)物理信号を処
理する際にコンピュータを操作するための方法ステップ
に関する。
【0037】また、本発明は、このような操作を実行す
るための装置にも関する。この装置は、必要な目的のた
めに特別に構築するか、またはコンピュータのメモリ内
に格納されたコンピュータ・プログラムによって選択的
に活動化または再構成される汎用コンピュータを含むこ
とができる。ここに提示する手順は、特定のコンピュー
タまたはその他の装置に本質的に関連するものではな
い。特に、ここに示す教示に従って作成されたプログラ
ムとともに様々な汎用マシンを使用するか、または必要
な方法ステップを実行するためにより専門化した装置を
構築する方がより好都合であると分かる場合もある。こ
のような様々なマシンにとって必要な構造は以下の説明
から明らかになるだろう。また、本発明は、プログラミ
ング済み論理を実行するようにコンピュータに指示する
プログラムでコード化したコンピュータで読取り可能な
記憶媒体に実施することもできる。
【0038】動作環境 図1は、本発明をサポートするように構成され、一般参
照文字101で示すコンピュータ・システムを示してい
る。システム101は、入出力(「I/O」)セクショ
ン105と、中央演算処理装置(「CPU」)107
と、メモリ・セクション109とを有するプロセッサ1
03を含む。I/Oセクション105は、キーボード1
11、ディスク記憶ユニット113、ネットワーク11
7へのアクセスを可能にするネットワーク・インタフェ
ース115、ディスプレイ・ユニット119、ポインテ
ィング・デバイス121、凝視追跡装置123、CD−
ROMドライブ・ユニット125に接続されている。C
D−ROMユニット125は、通常、複数のプログラム
およびデータ129を含むCD−ROM媒体127を読
み取ることができる。CD−ROMドライブ・ユニット
125はCD−ROM媒体127を使用し、ディスク記
憶ユニット113はファイル記憶メカニズムを含む。当
業者であれば、ファイル記憶メカニズムは、コンピュー
タがデータにアクセスできるようにするための読取り専
用メモリ、RAM、またはその他の記憶技術を含むこと
ができることが分かるだろう。このようなコンピュータ
・システムは、本発明を実施するプログラミング済み論
理を実行することができる。
【0039】凝視追跡操作 図2は、コンピュータ・ディスプレイ装置203に接続
された凝視追跡装置201を示している。図示の通り、
凝視追跡装置201は、コンピュータ・ディスプレイ2
03の下側に取り付けられ、ビデオ・レンズ205を含
み、レンズ205の中心には赤外線LED207が取り
付けられている。当業者であれば、本発明では多種多様
なタイプの凝視追跡装置を使用できることが分かるだろ
う。コンピュータ・ディスプレイ装置203は、情報を
表示するためにコンピュータがアクセス可能な表示域2
09を有する。一般にコンピュータは、この情報表示の
ために複数のウィンドウ211および213を作成す
る。ユーザが表示域209を見ると、凝視追跡装置はユ
ーザの凝視位置を判定する。凝視座標(生)は、順序付
けされた1対の値であって、画面上でユーザの凝視され
ているところを示す直接の2次元座標を示すものであ
る。いくつかの凝視座標を使用すると、凝視座標の時間
加重平均の2次元座標である凝視位置を作成することが
できる。本発明では、精密な凝視座標を使用する必要は
ない。実際には、凝視座標は約1/4インチまで正確で
あればよい。当業者であれば、関心のある区域を表す矩
形、多角形、円、その他の形状として凝視位置を返すこ
ともできることが分かるだろう。さらに当業者であれ
ば、ユーザが十分な時間の間、表示された区域に対する
関心を示した場合のみ凝視位置を示すように凝視追跡装
置201を構成するか、または所定の期間中、凝視座標
を監視することによりユーザが関心を示した場合を検出
するようにアプリケーションまたはシステム・プログラ
ム論理を使用できることが分かるだろう。凝視位置は、
ユーザがディスプレイの特定の区域に関心を持ったこと
をシステムが検出したときに作成される。システムは、
一定の期間の間、ユーザの凝視が表示可能域209の特
定の領域に限定されていることを認識することにより、
この状態を検出する。
【0040】図3は、凝視追跡装置から返される凝視座
標から判定された凝視位置の諸態様を示している。破線
矩形301は画像(図示せず)の境界を示している。凝
視追跡装置には不確実性があり、関心のある区域に焦点
が合っているときでもユーザの凝視は絶えず動いている
(目の不随意運動による)ので、本発明のこの実施形態
では、ユーザの凝視が固定されている区域303として
凝視位置を示す。示された区域303は、ユーザの凝視
が1/2秒などの所与の時間の間、指定の区域を離れな
かったことを意味する。返された円形区域303を使用
するアプリケーション・プログラムは、ユーザの凝視が
画像301の範囲内に十分入ると判断することができ
る。というのは、示された円303が画像301のその
区域内に完全に含まれるからである。ユーザが画像全体
に関心がある場合、凝視はもっと拡散し、その結果、円
が大きくなるはずである。たとえば、画像301を画像
305と比較すると、画像301を見ているユーザは、
円303によって示される画像301の特定の態様に焦
点が合っている。画像305を見ているユーザは、円3
07によって示される画像305の特定の態様と比較し
て、画像305の全体の方に関心があることを示してい
る。当業者であれば、円と同様に矩形またはその他の区
域指示を使用できることが分かるだろう。
【0041】本発明の他の実施形態では、凝視追跡装置
は1つの点として凝視位置を返す。たとえば、破線矩形
309は、他の画像(この場合も画像は図示せず)の境
界を示している。この実施形態の凝視追跡装置は、所定
の期間中の凝視の動きを処理した後、凝視の位置の時間
加重平均である点(凝視座標)311を返すだけであ
る。
【0042】図4は、複数の凝視座標(生)から凝視位
置を作成するために使用するプロセスを示している。こ
のプロセスは先端部401から始まる。次にステップ4
03でプロセスは必要なセットアップまたは初期設定ス
テップを実行する。これは、凝視追跡装置から瞬間凝視
座標データを定期的に収集し、ユーザ優先データとその
他のワンタイム初期設定値を獲得するためのタイマ・プ
ログラム論理の初期設定を含む。次にステップ405で
プロセスは複数の凝視座標(生)を受け取る。これらの
凝視座標(生)は所与の時間中のユーザの凝視の位置を
示す。十分な数の凝視座標(生)を収集した後、プロセ
スは判断ブロック407で凝視座標(生)の焦点パター
ンの有無を検査する。凝視座標(生)が統計的に他のも
のから離れずにすべての凝視座標(生)が所定の境界内
に入るときに焦点パターンが発生する。判断ブロック4
07で凝視座標(生)によって焦点があった凝視が示さ
れない場合、矢印408が示すように瞬間凝視座標
(生)の収集を続行する。判断ブロック407で焦点パ
ターンが見つかった場合、ステップ409では、統計的
に有意な凝視座標(生)を含む焦点区域を決定する。最
後に、ステップ411では、凝視位置をプログラム論理
に使用できるようにする。最後に、プロセスは矢印41
2が示すように繰り返す。単純な座標対ではなく1つの
区域として凝視位置を提示する場合、受取り側のプログ
ラム論理は、その凝視位置がどの区画にオーバラップす
るかを判定する。
【0043】当技術分野では、アプリケーション・プロ
グラムなどのプログラム論理に凝視位置を提示するため
の様々な周知の方法がある。このような方法としては、
アプリケーションに例外を提供すること、凝視位置を含
むプログラム間メッセージをアプリケーションに送るこ
と、その他の多くの方法などがある。
【0044】凝視追跡装置を使用すると、実行中のコン
ピュータ・プログラムは、コンピュータ・ユーザが生産
性を高めるのを支援するようにその動作を変更すること
ができる。これは、ユーザが注意を散逸したときにコン
ピュータ・ディスプレイ上で見ていた場所をユーザが特
定するのに要する時間を短縮することによって行われ
る。また、これは、ユーザがそのページを離れたときに
ユーザがページ内のどこにいたかをコンピュータがユー
ザに思い出させるので、ハイパーテキスト・ページのナ
ビゲーションも支援するものである。凝視追跡装置を使
用する本発明の好ましい実施形態については以下に詳し
く説明する。
【0045】ユーザが表示テキストを読むと、コンテキ
ストは、現在読まれている単語を含む。また、コンテキ
ストは、ユーザが読んでいる文章および段落をも含む。
さらに、ユーザがコンピュータ・ディスプレイ上のピク
チャを見ている場合、コンテキストは、ピクチャの識別
コードと、ピクチャのどの区域を見ているかの両方を含
む。コンピュータ・ユーザがコンピュータ・ディスプレ
イを見ることを中断されるかまたはそれ以外に注意を散
逸された場合、ユーザはどこを見ていたかを忘れてしま
い、ユーザはコンテキストを喪失する。その結果、ユー
ザは、コンピュータ・ディスプレイに戻る場合、中断ま
たは注意散逸が発生したときにユーザがどこを読んでい
たか(またはユーザが何を見ていたか)を思い出さなけ
ればならない。中断を処理するのに必要な時間が短けれ
ば、ユーザは最後に見た単語または文章に向かうだけで
よい場合が多い。中断を処理するのに必要な時間が相当
長いと、ユーザは喪失コンテキストを再獲得するために
より多くのテキストを再読する必要がある場合が多い。
【0046】本発明の目的の1つは、コンピュータ・ユ
ーザが中断または注意散逸後に喪失コンテキストを再獲
得するのを支援するための方法、装置、システム、コン
ピュータ・プログラムを記録した記録媒体を提供するこ
とである。図5、図6、図7は、様々な形式の喪失コン
テキストにコンピュータ・ユーザの凝視を引きつける方
法のサンプルを示す。
【0047】図5は、喪失コンテキストを示すいくつか
の方法の結果を示している。喪失コンテキストには、ユ
ーザがそのコンテキストを再獲得するのを支援するいく
つかの方法でマークを付ける。喪失コンテキストが単一
単語(「TITLE」という単語など)であった場合、
喪失コンテキストが復元されると、単語501の明滅反
転表示によってその単一単語が示される。喪失コンテキ
ストがテキスト本文内の1単語であった場合、しかもコ
ンテキストを喪失した時点と喪失コンテキストを復元し
た時点との遅延が短い場合、文章503の明滅反転表示
によってその単語を含む文章が示される。しかし、遅延
が長い場合、段落505の明滅反転表示によってその単
語を含む段落全体が示される。当業者であれば、このよ
うな指示は多くの形式が可能であることが分かるだろ
う。たとえば、カラー表示を使用すること、喪失コンテ
キストに他の書体を使用すること、喪失コンテキストを
枠で囲むこと、あるいは当技術分野で使用するその他の
方法のいずれかにより、喪失コンテキストを強調表示す
る方法があるが、これに限定されない。さらに、本発明
の好ましい一実施形態では、表示に一時インジケータを
追加することによって「強調表示」を行う。このような
インジケータとしては、喪失コンテキストを指し示す明
滅矢印、喪失コンテキストの周囲に配置した赤い円、ド
キュメントの残りの部分から喪失コンテキストを区別す
るために使用するその他の方法などが考えられる。当業
者であれば、所与の喪失コンテキストを示すために図5
に示す指示のうちの1つだけを使用することも分かるだ
ろう。
【0048】図6は、ユーザに対して提示されるグラフ
ィック画像511を示している。グラフィック画像51
1のコンテキストは、グラフィック画像511の凝視位
置の座標である。グラフィック画像511の喪失コンテ
キストを示すためには、ユーザの目を引きつけるように
喪失コンテキスト513の座標周辺の区域を図形的に変
更する。喪失コンテキスト513の区域は、反転表示、
他のカラー、あるいは当技術分野で十分理解された他の
方法によって表示される。
【0049】図7は、ハイパーテキスト・ページ529
上に提示された複数のハイパーリンク521、523、
525、527を示している。ハイパーリンクを表す各
アンカー521、523、525、527には下線が付
いている。アンカーは、他のカラーで表示されたテキス
トで示す場合も多い。アンカーの上でポインティング・
デバイスを活動化することによりユーザがハイパーリン
クを活動化すると、ハイパーテキスト・ブラウザは既存
のページを新しいページに置き換える。したがって、元
のハイパーテキスト・ページ529の喪失コンテキスト
はユーザによって活動化されたハイパーリンクになる。
図7では、最後に活動化されたのは「WabiServ
er」というハイパーリンク521である。このハイパ
ーリンク521はハイパーテキスト・ページ529用の
喪失コンテキストである。
【0050】図8は、コンテキストを監視するために使
用するプロセスを示している。このプロセスは先端部6
01から始まる。セットアップ・ステップ603でプロ
セスは、そのプロセスに必要な初期設定を実行する。監
視ステップ605でプロセスは、上記のように凝視追跡
装置から返される凝視位置を監視する。判断ブロック6
07でプロセスは、凝視位置がディスプレイ装置上の活
動域の範囲内に入っているかどうかを判定する。活動域
は活動GUIウィンドウまたは区画を含むものである。
【0051】判断ブロック607で凝視位置が活動域の
範囲内に入っていなかった場合、プロセスは判断ブロッ
ク609で、凝視位置がターゲット域に入ったばかりで
あるかどうかを判定する。ターゲット域とは、コンテキ
ストに関して監視したことがあるウィンドウまたは区画
であるが、ユーザが目をそらしたかまたはユーザがハイ
パーリンクを活動化したために非活動状態になったもの
である。凝視位置がターゲット域に入ったばかりではな
いと判断ブロック609が判定した場合、プロセスは判
断ブロック611に移行し、注意中断条件が発生したか
どうかを判定する。注意中断条件は、凝視位置が活動域
から外へ移動したときに発生する。通常、これは、ユー
ザがコンピュータ・ディスプレイ画面から目を離すか、
またはディスプレイ画面上の他のウィンドウを見たとき
に発生する。最後に、矢印612が示すように、プロセ
スは監視ステップ605に戻り、プロセスが繰り返す。
【0052】判断ブロック607の条件が満足された場
合、プロセスは時間追跡ステップ613に移行し、コン
ピュータから現行の日付および時間を獲得する。次にス
テップ615でプロセスは、凝視位置とディスプレイ装
置上でユーザに対して表示されるものとの交点を検出す
ることによってユーザが何を見ていたかを突き止めるこ
とにより、したがって、現行コンテキストを追跡するこ
とにより、現行コンテキストを決定する。最後に、プロ
セスは、矢印612が示すように繰り返す。ただし、
(上記のように)凝視位置を判定する方法により、凝視
位置は適度に安定した凝視を表し、ディスプレイ装置の
各種区域間で高速移動する凝視座標(生)を表すわけで
はないことに留意されたい。
【0053】判断ブロック609の条件が満足された場
合(すなわち、凝視位置がターゲット域に入ったばかり
である場合)、プロセスは喪失コンテキスト復元ステッ
プ617に移行する。喪失コンテキスト復元ステップ6
17については、図13および図14を説明しながら以
下に詳しく説明する。喪失コンテキスト復元ステップ6
17が完了すると、プロセスは矢印612が示すように
繰り返す。
【0054】判断ブロック611の条件が満足された場
合(すなわち、注意の中断が発生した場合)、プロセス
はステップ619で現行コンテキストを保管する。この
ステップ619については、図9に関して以下に詳しく
説明する。現行コンテキスト保管ステップ619が完了
すると、プロセスは矢印612が示すように繰り返す。
【0055】図9は、現行コンテキスト保管ステップ6
19が使用するプロセスを示している。このプロセスは
先端部701から始まる。ステップ703でプロセス
は、ステップ613および615から判定したように現
行時間と現行コンテキストを獲得する。次に、判断ブロ
ック705でプロセスは、ハイパーリンクの呼出しによ
って注意の中断が発生したかどうかを判定する。ハイパ
ーリンクを呼び出すと、ユーザが訪れている現行ハイパ
ーテキスト・ページからハイパーテキスト・リンク移動
が発生する。この条件が満足されていない場合、プロセ
スは判断ブロック707で、WWWブラウザ・アプリケ
ーションから得られるようなブックマークまたは履歴メ
ニューの使用などによりメニュー・コマンドを介して終
了することによって注意の中断が発生したかどうかを検
査する。この条件が満足されていない場合、プロセスは
ステップ709に移行し、ユーザが活動域から目を離し
た場合を処理するが、このステップについては図10に
関して以下に詳しく説明する。最後に、プロセスは終端
部711で完了する。
【0056】判断ブロック・ステップ705の条件(ハ
イパーリンクの呼出し)が満足された場合、プロセスは
ステップ713でハイパーリンク終了処理を処理する
が、このステップについては図11に関して以下に詳し
く説明する。この場合もプロセスは終端部711で完了
する。
【0057】判断ブロック・ステップ707の条件(メ
ニューによるハイパーリンクの呼出し)が満足された場
合、プロセスはステップ715でメニュー終了処理を処
理するが、このステップについては図12に関して以下
に詳しく説明する。
【0058】図10は、ユーザが活動域から目を離した
場合に使用するプロセスを示している。このプロセス
は、ステップ709で呼び出され、先端部721から始
まる。ステップ723でプロセスは、喪失コンテキスト
をステップ703から獲得した現行コンテキストおよび
時間のコンテキストに設定する。この喪失コンテキスト
は、以前の活動域をもう一度活動状態にしたときに喪失
コンテキストを回復できるように、以前の活動域に関連
して保管される。最後に、プロセスは終端部725で完
了する。具体的には、ハイパーテキスト・ドキュメント
の場合、ハイパーテキスト・ページのURLとともに喪
失コンテキストがブラウザの履歴リスト内に記録され
る。喪失コンテキストがHTMLデータ内の単語である
場合、プロセスはHTMLデータ内のその単語の文字オ
フセットを履歴リストに保管する。喪失コンテキストが
画像である場合、画像の文字セットと画像内の凝視位置
の両方が履歴リストに記録される。他のタイプのドキュ
メントの場合、喪失コンテキスト情報をそのドキュメン
トと相関させるデータベースに喪失コンテキストが格納
される。
【0059】図11は、ハイパーリンクを直接活動化す
ることにより(アンカー上にポインティング・デバイス
を位置決めし、ポインティング・デバイスを活動化する
ことにより)ユーザが活動域を終了した場合に使用する
プロセスを示している。したがって、喪失コンテキスト
はアンカーのコンテキストになる。このプロセスは、ス
テップ705で呼び出され、先端部731から始まる。
ステップ733でプロセスは、喪失コンテキストをステ
ップ703から獲得した現行コンテキストおよび時間の
コンテキストに設定する。喪失コンテキストは、ハイパ
ーテキスト・ページのURLとともにブラウザの履歴リ
スト内に記録される。喪失コンテキストはHTMLファ
イル内のアンカーなので、プロセスはHTMLデータ内
のそのアンカーの文字オフセットを履歴リストに保管す
る。喪失コンテキストが画像アンカーである場合、画像
の文字セットと画像内の凝視位置の両方が履歴リストに
記録される。
【0060】図12は、ハイパーリンクを活動化するた
めのメニューを使用することにより(履歴またはブック
マーク・メニューなどのメニューからハイパーテキスト
・ページを選択することにより)ユーザが活動域を終了
した場合に使用するプロセスを示している。このプロセ
スは、ステップ707で呼び出され、先端部741から
始まる。ステップ743でプロセスは、喪失コンテキス
トをステップ703から獲得した現行コンテキストおよ
び時間のコンテキストに設定する。この喪失コンテキス
トは、以前の活動域をもう一度活動状態にしたときに喪
失コンテキストを回復できるように、以前の活動域に関
連して保管される。最後に、プロセスは終端部745で
完了する。具体的には、ハイパーテキスト・ドキュメン
トの場合、ハイパーテキスト・ページのURLとともに
喪失コンテキストがブラウザの履歴リスト内に記録され
る。喪失コンテキストがHTMLデータ内の単語である
場合、プロセスはHTMLデータ内のその単語の文字オ
フセットを履歴リストに保管する。喪失コンテキストが
画像である場合、画像の文字セットと画像内の凝視位置
の両方が履歴リストに記録される。他のタイプのドキュ
メントの場合、喪失コンテキスト情報をそのドキュメン
トと相関させるデータベースに喪失コンテキストが格納
される。
【0061】図13は喪失コンテキストを復元するため
に使用するプロセスを示している。このプロセスは、凝
視位置がターゲット域に入った後でステップ617から
呼び出される。ターゲット域とは、ディスプレイ装置上
の表示域であって、保管した喪失コンテキスト情報が関
連付けられているところである。このプロセスは先端部
801から始まる。次にステップ803で、喪失コンテ
キスト情報が取り出される。プロセスが喪失コンテキス
ト情報を入手すると、プロセスはステップ805で、コ
ンテキストがユーザに対して表示されるようにターゲッ
ト域内に情報を位置決めする。次にステップ807でプ
ロセスは、ユーザの凝視がそのコンテキストに引きつけ
られるようにユーザに対して喪失コンテキストを示す。
ステップ807については、図14に関して以下に説明
する。最後に、プロセスはステップ809で完了する。
【0062】図14は、ユーザがコンテキストを素早く
再獲得するのを支援するように喪失コンテキストを示す
ために使用するプロセスを示している。このプロセスは
図13のステップ807から呼び出される。このプロセ
スは先端部811から始まる。次にスイッチ・ステップ
813でプロセスは、喪失コンテキストがテキスト関連
コンテキストか、画像関連コンテキストか、ハイパーリ
ンク関連コンテキストかを判定するために喪失コンテキ
ストを検査する。喪失コンテキストがテキスト関連であ
る場合、スイッチ・ステップ813はテキスト・ケース
・ステップ815を呼び出す。喪失コンテキストがテキ
スト関連である場合、スイッチ・ステップ813は画像
ケース・ステップ817を呼び出す。喪失コンテキスト
がテキスト関連である場合、スイッチ・ステップ813
はハイパーリンク・ケース・ステップ819を呼び出
す。
【0063】ハイパーリンク・ケース・ステップ819
が呼び出された場合、喪失コンテキストの指示は、ステ
ップ821でハイパーリンク・アンカーを強調表示する
ことによって行われる。本発明の好ましい一実施形態で
は、図7のラベル521に示すようにアンカーを強調表
示する。次にこのプロセスでは、ステップ823で強調
表示を明滅させる。当業者であれば、強調表示の明滅が
ユーザの注意を引きつけるように機能することが分かる
だろう。ユーザの注意を引きつけるための方法として、
本発明で企図する当技術分野で十分理解されているもの
は、上記以外にもいくつか存在する。
【0064】画像ケース・ステップ817が呼び出され
た場合、ステップ825は、画像上の前の凝視位置を突
き止め、前の凝視位置上にセンタリングされた円内の区
域を選択する。次にステップ827でプロセスは、図6
のラベル513に示すように円で囲んだ区域を強調表示
する。次にプロセスは、ステップ823で強調表示を明
滅させる。
【0065】テキスト・ケース・ステップ815が呼び
出された場合、判断ブロック829では、喪失コンテキ
ストが独立単語を示しているかどうかを判定する。この
条件が満足されている場合、プロセスはステップ831
で、図5のラベル501に示すようにその単語を強調表
示する。次にプロセスは、ステップ823で強調表示を
明滅させる。判断ブロック829で喪失コンテキストが
単一単語を示していない場合、プロセスはステップ83
3で、そのコンテキストが喪失されていた時間の長さを
決定する。判断ブロック835でこの遅延時間がユーザ
設定の優先値より短い場合、文章強調表示ステップ83
7が喪失コンテキストを含む文章を強調表示する。次に
プロセスは、ステップ823で強調表示を明滅させる。
しかし、判断ブロック835で遅延がユーザ設定の優先
値より短くなかった場合、段落強調表示ステップ839
が喪失コンテキストを含む段落全体を強調表示する。次
にステップ823でプロセスは、強調表示を明滅させ
る。
【0066】この時点で、喪失コンテキストが画面上に
表示され、強調表示され、明滅している。しかし、依然
としてユーザは喪失コンテキストをただちに見えるわけ
ではない。判断ブロック841で凝視位置が喪失コンテ
キストと交差していない場合、プロセスはステップ84
3に移行し、喪失コンテキストの明滅を続行する。しか
し、判断ブロック841で喪失コンテキストと凝視位置
が交差している場合、喪失コンテキストが再確立され、
新しい現行コンテキストになる。ステップ843でプロ
セスは、ステップ823によって維持されていた明滅を
停止し、強調表示を除去する。最後にプロセスは終端部
845で完了する。
【0067】現在の好ましい実施形態に関して本発明を
説明してきたが、当業者であれば、本発明の範囲を逸脱
せずに様々な修正および変更が可能であることが分かる
だろう。したがって、本発明の範囲は、ここに述べた特
定の実施形態に制限されず、上記の特許請求の範囲およ
びそれと同等のものによってのみ定義すべきものであ
る。
【図面の簡単な説明】
【図1】 CPUと、本発明を実施可能な従来のメモリ
とを含む、コンピュータ・システムの一部分を示す図で
ある。
【図2】 凝視追跡装置を備えたディスプレイ装置を示
す図である。
【図3】 好ましい実施形態による凝視位置の諸態様を
示す図である。
【図4】 好ましい実施形態により使用する、凝視位置
を判定するためのプロセスを示す図である。
【図5】 好ましい実施形態により喪失コンテキストを
強調表示するために使用するインジケータ例を示す図で
ある。
【図6】 好ましい実施形態により喪失コンテキストを
強調表示するために使用するインジケータ例を示す図で
ある。
【図7】 好ましい実施形態により喪失コンテキストを
強調表示するために使用するインジケータ例を示す図で
ある。
【図8】 好ましい実施形態により凝視位置を監視する
ために使用するプロセスを示す図である。
【図9】 好ましい実施形態により注意中断条件を処理
するために使用するプロセスを示す図である。
【図10】 好ましい実施形態により注意中断条件を処
理するために使用するプロセスを示す図である。
【図11】 好ましい実施形態により注意中断条件を処
理するために使用するプロセスを示す図である。
【図12】 好ましい実施形態により注意中断条件を処
理するために使用するプロセスを示す図である。
【図13】 好ましい実施形態により喪失コンテキスト
を復元して示すために使用するプロセスを示す図であ
る。
【図14】 好ましい実施形態により喪失コンテキスト
を復元して示すために使用するプロセスを示す図であ
る。
【符号の説明】
101 コンピュータ・システム 103 プロセッサ 105 入出力(「I/O」)セクション 107 中央演算処理装置(「CPU」) 109 メモリ・セクション 111 キーボード 113 ディスク記憶ユニット 115 ネットワーク・インタフェース 117 ネットワーク 119 ディスプレイ・ユニット 121 ポインティング・デバイス 123 凝視追跡装置 125 CD−ROMドライブ・ユニット 127 CD−ROM媒体 129 プログラムおよびデータ
─────────────────────────────────────────────────────
【手続補正書】
【提出日】平成9年9月17日
【手続補正1】
【補正対象書類名】図面
【補正対象項目名】全図
【補正方法】変更
【補正内容】
【図3】
【図7】
【図1】
【図2】
【図4】
【図5】
【図6】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
フロントページの続き (71)出願人 591064003 901 SAN ANTONIO ROAD PALO ALTO,CA 94303,U. S.A. (72)発明者 ジェイコブ・ニールセン アメリカ合衆国・94027・カリフォルニア 州・アサートン・ウォルナット アヴェニ ュ・38 (72)発明者 ロバート・グラス アメリカ合衆国・95030・カリフォルニア 州・ロス ガトス・グレンウッド ドライ ブ・24371

Claims (4)

    【特許請求の範囲】
  1. 【請求項1】 ディスプレイ装置と前記ディスプレイ装
    置上の凝視位置を判定する凝視追跡装置とを有するコン
    ピュータのユーザが喪失コンテキストを再確立するのを
    支援するためのコンピュータ制御の方法において、 (a)前記ディスプレイ装置の活動域内の現行コンテキ
    ストを追跡するために前記凝視位置を監視するステップ
    と、 (b)前記活動域から注意中断を検出し、前記注意中断
    の時点で前記現行コンテキストを前記喪失コンテキスト
    として保管するステップと、 (c)前記喪失コンテキストを復元するステップと、 (d)前記喪失コンテキストにインジケータを適用する
    ことにより、前記ユーザに対して前記喪失コンテキスト
    を示すステップとを含むことを特徴とするコンピュータ
    制御の方法。
  2. 【請求項2】 コンピュータのユーザが喪失コンテキス
    トを再確立するのを支援するように構成され、中央演算
    処理装置と、メモリと、ディスプレイ装置と、前記ディ
    スプレイ装置上の凝視位置を判定するための凝視追跡装
    置とを有する情報提示装置において、 前記ディスプレイ装置の活動域内の現行コンテキストを
    追跡するために前記凝視位置を監視するように構成され
    た監視メカニズムと、 前記監視メカニズムと協力し、前記活動域から注意中断
    を検出するように構成されるとともに、前記注意中断の
    時点で前記現行コンテキストを前記喪失コンテキストと
    して保管するようにも構成された第1の検出メカニズム
    と、 同じく前記監視メカニズムと協力し、前記凝視位置が前
    記ディスプレイ装置上のターゲット域に入った時期を検
    出するように構成された第2の検出メカニズムであっ
    て、前記ターゲット域が前記喪失コンテキストを有する
    第2の検出メカニズムと、 前記第2の検出メカニズムに応答して、前記ターゲット
    域内に前記喪失コンテキストを復元するように構成され
    た復元メカニズムと、 前記ディスプレイ装置上の前記喪失コンテキストにイン
    ジケータを適用することにより、前記ユーザに対して前
    記喪失コンテキストを示すように構成された指示メカニ
    ズムとを含むことを特徴とする情報提示装置。
  3. 【請求項3】 ユーザが喪失コンテキストを再確立する
    のを支援するように構成され、ディスプレイ装置と、前
    記ディスプレイ装置上の凝視位置を判定するための凝視
    追跡装置とを有する情報提示システムにおいて、 前記ディスプレイ装置の活動域内の現行コンテキストを
    追跡するために前記凝視位置を監視するように構成され
    た監視メカニズムと、 前記監視メカニズムと協力し、前記活動域から注意中断
    を検出するように構成されるとともに、前記注意中断の
    時点で前記現行コンテキストを前記喪失コンテキストと
    して保管するようにも構成された第1の検出メカニズム
    と、 同じく前記監視メカニズムと協力し、前記凝視位置が前
    記ディスプレイ装置上のターゲット域に入った時期を検
    出するように構成された第2の検出メカニズムであっ
    て、前記ターゲット域が前記喪失コンテキストを有する
    第2の検出メカニズムと、 前記第2の検出メカニズムに応答して、前記ターゲット
    域内に前記喪失コンテキストを復元するように構成され
    た復元メカニズムと、 前記ディスプレイ装置上の前記喪失コンテキストにイン
    ジケータを適用することにより、前記ユーザに対して前
    記喪失コンテキストを示すように構成された指示メカニ
    ズムとを含むことを特徴とする情報提示システム。
  4. 【請求項4】 (a)ユーザが喪失コンテキストを再確
    立するのを支援するようにコンピュータに指示するコン
    ピュータで読取り可能なプログラムを有するコンピュー
    タで使用可能な記憶媒体であって、 (b)ディスプレイ装置の活動域内の現行コンテキスト
    を追跡するために前記凝視位置を監視するように構成さ
    れた監視メカニズムを実行するように前記コンピュータ
    に指示するプロログラムと、 前記監視メカニズムと協力し、前記活動域から注意中断
    を検出するように構成されるとともに、前記注意中断の
    時点で前記現行コンテキストを前記喪失コンテキストと
    して保管するようにも構成された第1の検出メカニズム
    を実行するように前記コンピュータに指示するプログラ
    ムと、 同じく前記監視メカニズムと協力し、前記凝視位置が前
    記ディスプレイ装置上のターゲット域に入った時期を検
    出するように構成された第2の検出メカニズムであっ
    て、前記ターゲット域が前記喪失コンテキストを有する
    第2の検出メカニズムを実行するように前記コンピュー
    タに指示するプログラムと、 前記第2の検出メカニズムに応答して、前記ターゲット
    域内に前記喪失コンテキストを復元するように構成され
    た復元メカニズムを実行するように前記コンピュータに
    指示するプログラムと、 前記ディスプレイ装置上の前記喪失コンテキストにイン
    ジケータを適用することにより、前記ユーザに対して前
    記喪失コンテキストを示すように構成された指示メカニ
    ズムを実行するように前記コンピュータに指示するプロ
    グラムと、を記録した記録媒体。
JP9183271A 1996-06-25 1997-06-25 視標追跡主導型バックトラックの方法および装置 Pending JPH1091378A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/670,056 US5831594A (en) 1996-06-25 1996-06-25 Method and apparatus for eyetrack derived backtrack
US08/670056 1996-06-25

Publications (1)

Publication Number Publication Date
JPH1091378A true JPH1091378A (ja) 1998-04-10

Family

ID=24688800

Family Applications (1)

Application Number Title Priority Date Filing Date
JP9183271A Pending JPH1091378A (ja) 1996-06-25 1997-06-25 視標追跡主導型バックトラックの方法および装置

Country Status (4)

Country Link
US (1) US5831594A (ja)
EP (1) EP0816985B1 (ja)
JP (1) JPH1091378A (ja)
DE (1) DE69717351T2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015032255A (ja) * 2013-08-06 2015-02-16 コニカミノルタ株式会社 表示装置、表示制御プログラムおよび画像処理装置
JP2015122064A (ja) * 2013-12-20 2015-07-02 レノボ・シンガポール・プライベート・リミテッド 動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供すること
EP3089048A2 (en) 2015-05-01 2016-11-02 Fujitsu Limited Conversion method and device for predictive input with ranking
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6513046B1 (en) 1999-12-15 2003-01-28 Tangis Corporation Storing and recalling information to augment human memories
US6801223B1 (en) 1998-12-18 2004-10-05 Tangis Corporation Managing interactions between computer users' context models
US8181113B2 (en) 1998-12-18 2012-05-15 Microsoft Corporation Mediating conflicts in computer users context data
US7225229B1 (en) 1998-12-18 2007-05-29 Tangis Corporation Automated pushing of computer user's context data to clients
US6842877B2 (en) 1998-12-18 2005-01-11 Tangis Corporation Contextual responses based on automated learning techniques
US7046263B1 (en) 1998-12-18 2006-05-16 Tangis Corporation Requesting computer user's context data
US6920616B1 (en) * 1998-12-18 2005-07-19 Tangis Corporation Interface for exchanging context data
US9183306B2 (en) 1998-12-18 2015-11-10 Microsoft Technology Licensing, Llc Automated selection of appropriate information based on a computer user's context
US7779015B2 (en) 1998-12-18 2010-08-17 Microsoft Corporation Logging and analyzing context attributes
US6791580B1 (en) 1998-12-18 2004-09-14 Tangis Corporation Supplying notifications related to supply and consumption of user context data
US7231439B1 (en) 2000-04-02 2007-06-12 Tangis Corporation Dynamically swapping modules for determining a computer user's context
US9811237B2 (en) * 1999-04-06 2017-11-07 Iii Holdings 2, Llc Visual navigation of virtual environments through logical processes
WO2001075676A2 (en) 2000-04-02 2001-10-11 Tangis Corporation Soliciting information based on a computer user's context
US7464153B1 (en) 2000-04-02 2008-12-09 Microsoft Corporation Generating and supplying user context data
US6603491B2 (en) * 2000-05-26 2003-08-05 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
US20020054130A1 (en) * 2000-10-16 2002-05-09 Abbott Kenneth H. Dynamically displaying current status of tasks
US20030038754A1 (en) * 2001-08-22 2003-02-27 Mikael Goldstein Method and apparatus for gaze responsive text presentation in RSVP display
US7624023B2 (en) * 2002-06-04 2009-11-24 International Business Machines Corporation Client opportunity modeling tool
US7762665B2 (en) 2003-03-21 2010-07-27 Queen's University At Kingston Method and apparatus for communication between humans and devices
US7872635B2 (en) 2003-05-15 2011-01-18 Optimetrics, Inc. Foveated display eye-tracking system and method
US7365738B2 (en) 2003-12-02 2008-04-29 International Business Machines Corporation Guides and indicators for eye movement monitoring systems
US8232962B2 (en) 2004-06-21 2012-07-31 Trading Technologies International, Inc. System and method for display management based on user attention inputs
US8564544B2 (en) 2006-09-06 2013-10-22 Apple Inc. Touch screen device, method, and graphical user interface for customizing display of content category icons
CN101840265B (zh) * 2009-03-21 2013-11-06 深圳富泰宏精密工业有限公司 视觉感知装置及其控制方法
TW201103972A (en) 2009-04-01 2011-02-01 Solvay Fluor Gmbh Process for the manufacture of etched items
US20100295782A1 (en) 2009-05-21 2010-11-25 Yehuda Binder System and method for control based on face ore hand gesture detection
US9141875B2 (en) * 2010-05-26 2015-09-22 Ramot At Tel-Aviv University Ltd. Method and system for correcting gaze offset
US9030505B2 (en) * 2012-05-17 2015-05-12 Nokia Technologies Oy Method and apparatus for attracting a user's gaze to information in a non-intrusive manner
US9189064B2 (en) * 2012-09-05 2015-11-17 Apple Inc. Delay of display event based on user gaze
US9265458B2 (en) 2012-12-04 2016-02-23 Sync-Think, Inc. Application of smooth pursuit cognitive testing paradigms to clinical drug development
US9380976B2 (en) 2013-03-11 2016-07-05 Sync-Think, Inc. Optical neuroinformatics
US9886087B1 (en) * 2013-11-30 2018-02-06 Allscripts Software, Llc Dynamically optimizing user interfaces
US20150169048A1 (en) * 2013-12-18 2015-06-18 Lenovo (Singapore) Pte. Ltd. Systems and methods to present information on device based on eye tracking
US9633252B2 (en) 2013-12-20 2017-04-25 Lenovo (Singapore) Pte. Ltd. Real-time detection of user intention based on kinematics analysis of movement-oriented biometric data
US9311718B2 (en) 2014-01-23 2016-04-12 Microsoft Technology Licensing, Llc Automated content scrolling
US9614724B2 (en) 2014-04-21 2017-04-04 Microsoft Technology Licensing, Llc Session-based device configuration
US10111099B2 (en) 2014-05-12 2018-10-23 Microsoft Technology Licensing, Llc Distributing content in managed wireless distribution networks
US9430667B2 (en) 2014-05-12 2016-08-30 Microsoft Technology Licensing, Llc Managed wireless distribution network
US9384334B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content discovery in managed wireless distribution networks
US9384335B2 (en) 2014-05-12 2016-07-05 Microsoft Technology Licensing, Llc Content delivery prioritization in managed wireless distribution networks
US9874914B2 (en) 2014-05-19 2018-01-23 Microsoft Technology Licensing, Llc Power management contracts for accessory devices
US10037202B2 (en) 2014-06-03 2018-07-31 Microsoft Technology Licensing, Llc Techniques to isolating a portion of an online computing service
US9367490B2 (en) 2014-06-13 2016-06-14 Microsoft Technology Licensing, Llc Reversible connector for accessory devices
CN107077211B (zh) * 2014-10-23 2021-02-02 皇家飞利浦有限公司 视线跟踪驱动的感兴趣区域分割
US10248280B2 (en) 2015-08-18 2019-04-02 International Business Machines Corporation Controlling input to a plurality of computer windows
JP2018128829A (ja) * 2017-02-08 2018-08-16 富士ゼロックス株式会社 情報処理装置及び情報処理プログラム
US20190018545A1 (en) * 2017-07-13 2019-01-17 International Business Machines Corporation System and method for rapid financial app prototyping
JP6908297B2 (ja) * 2019-12-25 2021-07-21 Necプラットフォームズ株式会社 業務管理システム、業務管理方法、及び業務管理プログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB8701288D0 (en) * 1987-01-21 1987-02-25 Waldern J D Perception of computer-generated imagery
JP2692219B2 (ja) * 1988-12-28 1997-12-17 松下電器産業株式会社 固体撮像装置
JPH03282676A (ja) * 1990-03-30 1991-12-12 Hitachi Ltd 情報検索方法
US5452452A (en) * 1990-06-11 1995-09-19 Cray Research, Inc. System having integrated dispatcher for self scheduling processors to execute multiple types of processes
JPH0467093A (ja) * 1990-07-05 1992-03-03 Sord Comput Corp 一時ウインドウ拡大表示方式
FR2692680B1 (fr) * 1992-06-18 1995-01-13 Sofretec Dispositif de conversion des informations de sortie d'un radar pour leur visualisation sur un écran de télévision.
US5363481A (en) * 1992-06-22 1994-11-08 Tektronix, Inc. Auto selecting scrolling device
US5539871A (en) * 1992-11-02 1996-07-23 International Business Machines Corporation Method and system for accessing associated data sets in a multimedia environment in a data processing system
US5396264A (en) * 1994-01-03 1995-03-07 Motorola, Inc. Automatic menu item sequencing method
JPH07248872A (ja) * 1994-03-11 1995-09-26 Matsushita Electric Ind Co Ltd 入力装置及び演算入出力装置
US5546528A (en) * 1994-06-23 1996-08-13 Adobe Systems Incorporated Method of displaying multiple sets of information in the same area of a computer screen

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015032255A (ja) * 2013-08-06 2015-02-16 コニカミノルタ株式会社 表示装置、表示制御プログラムおよび画像処理装置
JP2015122064A (ja) * 2013-12-20 2015-07-02 レノボ・シンガポール・プライベート・リミテッド 動作に関するバイオメトリックデータを使用して直近の既知のブラウジング位置の手がかりを提供すること
US10180716B2 (en) 2013-12-20 2019-01-15 Lenovo (Singapore) Pte Ltd Providing last known browsing location cue using movement-oriented biometric data
US9535497B2 (en) 2014-11-20 2017-01-03 Lenovo (Singapore) Pte. Ltd. Presentation of data on an at least partially transparent display based on user focus
EP3089048A2 (en) 2015-05-01 2016-11-02 Fujitsu Limited Conversion method and device for predictive input with ranking
US9910846B2 (en) 2015-05-01 2018-03-06 Fujitsu Limited Conversion device and conversion method

Also Published As

Publication number Publication date
US5831594A (en) 1998-11-03
EP0816985A3 (en) 1998-06-03
DE69717351T2 (de) 2003-07-03
DE69717351D1 (de) 2003-01-09
EP0816985A2 (en) 1998-01-07
EP0816985B1 (en) 2002-11-27

Similar Documents

Publication Publication Date Title
JPH1091378A (ja) 視標追跡主導型バックトラックの方法および装置
US20210072872A1 (en) Devices, Methods, and Graphical User Interfaces for Navigating, Displaying, and Editing Media Items with Multiple Display Modes
US6437758B1 (en) Method and apparatus for eyetrack—mediated downloading
US5886683A (en) Method and apparatus for eyetrack-driven information retrieval
US5731805A (en) Method and apparatus for eyetrack-driven text enlargement
US5898423A (en) Method and apparatus for eyetrack-driven captioning
US8307296B2 (en) Systems and methods for effective attention shifting
TWI343015B (en) Pointing method, apparatus and computer program product for selecting a target object from a plurality of objects
Jacob et al. Eye tracking in human-computer interaction and usability research: Ready to deliver the promises
CA2051180C (en) Application independent (open) hypermedia enablement services
Ohno Features of eye gaze interface for selection tasks
US20020175933A1 (en) Method and arrangement for providing an expanded desktop
Prescher et al. Touching graphical applications: bimanual tactile interaction on the HyperBraille pin-matrix display
Kumar et al. Eye-controlled interfaces for multimedia interaction
Hanson et al. Improving Web accessibility through an enhanced open-source browser
US20030007010A1 (en) Providing alternate access for physically impaired users to items normally displayed in drop down menus on user-interactive display interfaces
Liu et al. Three-dimensional PC: toward novel forms of human-computer interaction
Leitão Creating mobile gesture-based interaction design patterns for older adults: A study of tap and swipe gestures with Portuguese seniors
Porta et al. WeyeB, an eye-controlled web browser for hands-free navigation
JP2940846B2 (ja) ハイパテキスト表示システム
Ohno et al. Gaze-Based Interaction for Anyone, Anytime.
US20050283727A1 (en) Non-resident methods and systems for providing clickless user actuation of a webpage
Fraser et al. The effects of feedback on targeting performance in visually stressed conditions
Monden et al. Evaluation of gaze-added target selection methods suitable for general GUIs
JP7462856B2 (ja) メディア内の視覚コンテンツを管理するユーザインタフェース