JPH07234774A - 可視オブジェクト内のユーザが興味を持つロケーションを同定する方法及び装置 - Google Patents

可視オブジェクト内のユーザが興味を持つロケーションを同定する方法及び装置

Info

Publication number
JPH07234774A
JPH07234774A JP5285203A JP28520393A JPH07234774A JP H07234774 A JPH07234774 A JP H07234774A JP 5285203 A JP5285203 A JP 5285203A JP 28520393 A JP28520393 A JP 28520393A JP H07234774 A JPH07234774 A JP H07234774A
Authority
JP
Japan
Prior art keywords
sound
visible object
user
loi
location
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5285203A
Other languages
English (en)
Other versions
JP2599562B2 (ja
Inventor
Cary L Bates
ケリー・リー・ベイツ
Brian J Cragun
ブライアン・ジョン・クラガン
Jhon Donovan Robert
ロバート・ジョン・ドノバン
William Jaaskelainen
ウィリアム・ジャスケレイネン
Jeffrey M Ryan
ジェフリィ・ミカエル・ライアン
Bryan Lester Striemer
ブライアン・レスター・ストリーマー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH07234774A publication Critical patent/JPH07234774A/ja
Application granted granted Critical
Publication of JP2599562B2 publication Critical patent/JP2599562B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/001—Teaching or communicating with blind persons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04812—Interaction techniques based on cursor appearance or behaviour, e.g. being affected by the presence of displayed objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Document Processing Apparatus (AREA)

Abstract

(57)【要約】 【目的】 本発明の目的は、コンピュータ・ユーザに、
可視オブジェクト内の位置の可聴即ち可聴指示（aural
indication）を与える方法及び装置を提供することであ
る。 【構成】 本発明は、或る特定な現在位置が可視オブジ
ェクト内の或るＬＯＩに関連しているかをユーザに理解
させることを助けるサウンドをユーザに与えるために３
つの別々な方法を使用する。第１は、ユーザが、可視オ
ブジェクト内の特定なＬＯＩをマークするためにサウン
ド・マークを使用でき、その結果ユーザは、後にこれら
のＬＯＩに戻ることが出来る。第２は、ユーザは、可視
オブジェクトの頻繁に使用される部分を可聴的に示すビ
ュー領域を与えられる。最後に、ユーザは、可視オブジ
ェクト全体に対する位置識別子の現在位置の可聴指示を
与えられる。これは関係位置付けと呼ばれる。ユーザが
可視オブジェクト上でどのように移動させたかに係わら
ず（即ち、位置識別子がどのように移動されたかに係わ
らず）、各型の可聴ＬＯＩ指示が、ユーザに提示され得
る。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、データ処理技術に関す
る。更に具体的のいうならば、本発明は、可視オブジェ
クト内の位置通知に関する。
【０００２】
【従来の技術】二次記憶装置の近年の増大により、多量
のデータをコンピュータ・システム内に記憶することが
可能となった。任意のコンピュータ・システムに記憶さ
れる情報は、動的なユーザ・ドキュメント並びに例えば
百科事典及び辞書のような静的情報を含む。今日のユー
ザ・インターフェイス（即ちウインドウ発生アプリケー
ション）により複数のデータを同時に表示することが出
来、そしてこれのためのこの様な多量の情報をアクセス
出来ることにより、コンピュータ・システム・ユーザ
は、非常に大きさサイズの可視オブジェクトを見ること
が出来、そして複数の可視オブジェクトを同時に見たり
又編集することが出来るようになった。今日の可視オブ
ジェクトが非常に大きいことにより、ユーザは、今どこ
を見ているのか若しくは単一の可視オブジェクトであっ
てもこれのどこを見ているのか等の疑問を生じる。この
問題は、ユーザが幾つかの可視オブジェクトからの情報
を同時に必要とする場合には、更に悪化される。
【０００３】例えば、或るユーザがドキュメントを書い
ていてこの中に有名な詩の一節を入れようとすることが
ある。コンピュータ・システムの二次的記憶装置（多く
の場合光学的記憶装置）にこの詩の全文が記憶されてい
て、ユーザは単にこの記憶装置をアクセスし、適切な一
節を選択しそしてこれをドキュメント内に入れ込む。し
かしながら、この能力は２つの可視オブジェクトだけに
限られない。ドキュメントを書いている過程では、或る
用語を規定するための辞書及び或る説明を入れるための
百科事典のようにユーザは非常に多くの情報を必要とす
る。
【０００４】幾つかの可視オブジェクトが同時にユーザ
に提示される。或る時点では、多量のデータが多数のウ
インドウに表示され、そしてユーザは、どのオブジェク
トの部分が今提示されているかが判らなくなる。勿論、
これはユーザを驚かせる。結局ユーザは、彼が今どこの
画面にいるのか若しくは彼が何処へ行きたいのかを各可
視オブジェクト毎に試み失敗して終わる。
【０００５】
【発明が解決しようとする課題】これを解決するための
一つの試みは、しおりを使用することである。本の特定
な頁を忘れないようにするためにしおりが使用されるの
と同じように、コンピュータで使用するしおりは、可視
オブジェクト内の特定な位置即ちロケーションの可視表
示である。ユーザは、しおりを特定な位置にマークし
て、そしてこのしおりをアクセスすることによりこの位
置に戻る。しかしながら、このしおりは２つの大きな問
題を生じる。第１は、位置の可視表示としてのしおり
が、これらがユーザにより観察され得る時のみ有効であ
ることである。幾つかの可視オブジェクトの画面が同時
にユーザに提示されている時、使用されているウインド
ウは常に重ねられている。このしおりの機能は、ユーザ
が可視表示を含むウインドウの外側部分を見るというこ
とを前提にしているので、ユーザは、しばしばしおりを
見ることが出来なくなり従ってしおりを使用することが
出来なくなる。この問題は、可視的に損なわれたコンピ
ュータ・ユーザを考える時特に重大な問題である。
【０００６】しおりの第２の問題点は、これが、これの
機能を達成するユーザの介入に依存することである。も
しもユーザが可視オブジェクト内の位置にマークしなけ
れば、位置情報はユーザに知らされない。しおりのイン
プリメンテーションでは、ユーザは、しおりを可視オブ
ジェクトの何処に関連させるのか（即ちトップ及びボト
ムに関連させるのか）若しくはしおりを可視オブジェク
トの頻繁に使用される部分を関連させるかを決められな
い。スクロール・バー機能は、ユーザが全体の可視オブ
ジェクトの何処に関連させるかの表示を与えるが、これ
は余りにも可視表示に依存しすぎる。上述のように、こ
れはウインドウが重なり合う時にユーザを混乱させそし
て可視的に損なわれるコンピュータ・ユーザに対しては
働かなくなる。
【０００７】
【課題を解決するための手段】本発明の目的は、コンピ
ュータ・ユーザに、可視オブジェクト内の位置の可聴即
ち可聴指示（aural indication）を与える方法及び装置
を提供することである。
【０００８】本発明の他の目的は、可視オブジェクトの
うち頻繁に見られる部分の位置の可聴指示を発生するビ
ュー領域をコンピュータ・ユーザに与える方法及び装置
を提供することである。
【０００９】本発明の他の目的は、ビュー領域がコンピ
ュータ・ユーザにより見られた度合いを反映してビュー
領域のサイズを動的に調整する方法及び装置を提供する
ことである。
【００１０】本発明の他の目的は、可視オブジェクト内
の位置の可聴指示を与えるサウンド・マークをこの可視
オブジェクト内に形成する能力をコンピュータ・ユーザ
に与える方法及び装置を提供することである。
【００１１】本発明の他の目的は、可視オブジェクト全
体の対する位置識別子の現在位置の可聴指示をコンピュ
ータ・ユーザに与える方法及び装置を提供することであ
る。
【００１２】本発明は、サウンドを使用して可視オブジ
ェクト内のユーザが興味を持つ場所（location of inte
rest）を同定する能力をコンピュータ・システム・ユー
ザに与える。最初に、本明細書で使用する用語について
説明する。用語”可視オブジェクト”は、ユーザに対し
て提示されることが出来るオブジェクトを意味しそして
これは修正されることが出来るオブジェクトでも良く、
若しくは単に見るためだけのオブジェクトでも良い。用
語”現在位置”は、位置識別子の可視オブジェクト内の
現在位置を意味する。用語”位置識別子”は、可視オブ
ジェクト内の種々なビューを選択するために使用され
る。ユーザは長い時間をかけて位置識別子を移動させ
る。位置識別子は、カーソル若しくはスライダのような
一般的なものを指す（スライダの例が図３及び図４に示
されている）。用語”ユーザが興味を持つ場所（ＬＯ
Ｉ）”は、可視オブジェクト内の現在位置以外のユーザ
が特に興味を持つ場所を意味する。このＬＯＩは固定さ
れることもでき若しくは時間の経過に応じてゆっくりと
移動することもある。しかしながら、これは、現在位置
の変動ほどそれほどしばしば変化しない。本明細書で
は、ＬＯＩに対して現在位置が何処にあるかについて説
明をするので、現在位置及びＬＯＩの相違を理解するこ
とが重要である。
【００１３】他の用語は、サウンド及び強度である。用
語”サウンド”は、どのような音をも指す。従って、サ
ウンドは、ビーという音、ブザーの音、予め録音された
若しくは合成された音声若しくはどのような雑音をも指
す。用語”強度”は、用語”サウンド”の修飾子として
使用される。例えば、強度の変化は、ピッチの変化、音
量の変化若しくはサウンドの他の任意の修飾子の変化を
指す。
【００１４】本発明は、或る特定な現在位置が可視オブ
ジェクト内の或るＬＯＩに関連しているかをユーザに理
解させることを助けるサウンドをユーザに与えるために
３つの別々な方法を使用する。第１は、ユーザが、可視
オブジェクト内の特定なＬＯＩをマークするためにサウ
ンド・マークを使用でき、その結果ユーザは、後にこれ
らのＬＯＩに戻ることが出来る。第２は、ユーザは、可
視オブジェクトの頻繁に使用される部分を可聴的に示す
ビュー領域を与えられる。最後に、ユーザは、可視オブ
ジェクト全体に対する位置識別子の現在位置の可聴指示
を与えられる。これは関係位置付けと呼ばれる。ユーザ
が可視オブジェクト上でどのように移動させたかに係わ
らず（即ち、位置識別子がどのように移動されたかに係
わらず）、各型の可聴ＬＯＩ指示が、ユーザに提示され
得る。しかしながら、サウンド・マーク及びビュー領域
は、位置的オリエンテーションを呼ばれるカテゴリにグ
ループ化され、一方関係位置付けは、関係オリエンテー
ションと呼ばれる別のカテゴリである。ユーザに位置的
オリエンテーション及び関係オリエンテーションを同時
に選択させることは混乱を減少するよりもむしろ増大す
るので、本発明は、ユーザに位置識別子の移動当たりた
だ一つのオリエンテーションのみ（即ち、カーソル移動
当たり一つのオリエンテーション及びスライダの移動当
たり一つのオリエンテーション）を選択させる。
【００１５】サウンド・マークを生じるために、コンピ
ュータ・ユーザは、位置識別子を所望のＬＯＩに移動さ
せる。次いで、キーストローク若しくはグラフィック・
ポイント装置がＬＯＩを同定するために使用される。ユ
ーザが位置識別子をサウンド・マークから遠ざけると、
サウンド・マークからの距離が増大するにつれて強度が
減少するサウンドが発生される。位置識別子の位置が、
このサウンド・マークに対して規定されたサウンド領域
の外側に移動されると、サウンドは停止する。ユーザが
位置識別子をサウンド領域に戻すように移動させると、
位置識別子がサウンド領域に近づくにつれて強度が増大
するサウンドが発生される。
【００１６】書類の部分がユーザにより見られた度合い
に基づいて、ビュー領域が動的に発生されそして調整さ
れる。もしもユーザが書類のある特定な部分を長い時間
見ると、この書類の部分を対するビュー領域が動的に形
成される。もしもユーザがこの書類の或る部分に連続的
に戻ると、この特定なビュー領域に協同するビュー領域
エリア（ＶＲＡ）が動的に拡大され、一方この可視オブ
ジェクトのこの部分を余り頻繁に見ないと、このＶＲＡ
のサイズが減少しそして最後にはビュー領域が消滅す
る。ビュー領域はそのＶＲＡの中心に残るように動的に
調整される。
【００１７】全体の可視オブジェクトに対して位置識別
子が何処にあるかを知らされるユーザは、位置識別子が
可視オブジェクトの端部に近づくように移動されるにつ
れて強度が増大するサウンドを聴き、そして位置識別子
が可視オブジェクトの中央の向かって移動されるにつれ
て強度が減少するサウンドを聴く。
【００１８】本発明に従う可視オブジェクト内のユーザ
が興味を持つロケーション（ＬＯＩ）を同定する方法
は、上記可視オブジェクト内に上記ＬＯＩをマークし、
上記可視オブジェクト内に於ける位置識別子の現在位置
に基づいて上記可視オブジェクトの種々なビューをユー
ザに提示し、現在位置及び上記ＬＯＩの間の距離を示す
サウンドを発生することを含む。
【００１９】上記マークする工程は、上記可視オブジェ
クト内にサウンド・マークを生成する。
【００２０】上記マークする工程は、上記可視オブジェ
クト内にビュー領域及びビュー領域エリアを自動的に生
成する。
【００２１】上記サウンドを発生する工程は、上記現在
位置及び上記ＬＯＩの間の距離に基づいて上記サウンド
を変化させる。
【００２２】本発明に従う可視オブジェクト内のユーザ
が興味を持つロケーション（ＬＯＩ）を同定する方法
は、上記可視オブジェクト内に上記ＬＯＩをマークし、
上記可視オブジェクト内でグラフィック・ポイント装置
を移動させ、上記グラフィック・ポイント装置及び上記
ＬＯＩの間の距離を示すサウンドを発生することを含
む。
【００２３】上記マークする工程は、上記可視オブジェ
クト内にサウンド・マークを生成する。
【００２４】上記マークする工程は、上記可視オブジェ
クト内にビュー領域及びビュー領域エリアを自動的に生
成する。
【００２５】上記サウンドを発生する工程は、上記グラ
フィック・ポイント装置が上記ＬＯＩに近づくにつれて
上記サウンドを変化させ、上記グラフィック・ポイント
装置が上記ＬＯＩから遠ざかるにつれて上記サウンドを
変化させる。
【００２６】上記サウンドを発生する工程は、上記グラ
フィック・ポイント装置が上記ＬＯＩに近づくにつれて
第１サウンドを変化させ、上記グラフィック・ポイント
装置が上記ＬＯＩから遠ざかるにつれて第２サウンドを
変化させる。
【００２７】本発明に従う可視オブジェクト内のユーザ
が興味を持つロケーション（ＬＯＩ）を同定する方法
は、上記可視オブジェクト内に上記ＬＯＩをマークし、
スクロール・バーを移動させて上記可視オブジェクト内
に於ける種々な位置を表す上記可視オブジェクトの種々
なビューをユーザに提示し、現在位置及び上記ＬＯＩの
間の距離を示すサウンドを発生することを含む。
【００２８】上記マークする工程は、上記可視オブジェ
クト内にサウンド・マークを生成する。
【００２９】上記マークする工程は、上記可視オブジェ
クト内にビュー領域及びビュー領域エリアを自動的に生
成することを含む。
【００３０】上記サウンドを発生する工程は、上記現在
位置及び上記ＬＯＩの間の距離に基づいて上記サウンド
を変化させる。
【００３１】本発明に従う最上端及び最下端を有する可
視オブジェクト内のユーザが興味を持つロケーション
（ＬＯＩ）を同定する方法は上記可視オブジェクト上で
位置識別子を移動させ、上記可視オブジェクト内の上記
位置識別子の現在位置に基づいて上記可視オブジェクト
の種々なビューをユーザに提示し、ここで上記現在位置
は、上記可視オブジェクトの上記最上端からの第１距離
及び上記可視オブジェクトの上記最下端からの第２距離
であり、上記第１距離及び上記第２距離をユーザに知ら
せるシングル・サウンドを発生し、上記位置識別子が上
記可視オブジェクト上で移動するにつれて上記シングル
・サウンドを変化させることを含む。
【００３２】本発明に従う最上端及び最下端を有する可
視オブジェクト内のユーザが興味を持つロケーション
（ＬＯＩ）を同定する方法は、位置ファインダをターン
・オンし、上記可視オブジェクトの上記最上端を表す第
１ピッチのシングル・サウンドを発生し、位置識別子の
現在位置を表す第２ピッチの上記シングル・サウンドを
発生し、上記可視オブジェクトの上記最下端を表す第３
ピッチのシングル・サウンドを発生する。
【００３３】本発明に従う可視オブジェクト内のユーザ
が興味を持つロケーション（ＬＯＩ）を同定する装置
は、上記可視オブジェクト内に上記ＬＯＩをマークする
手段と、上記可視オブジェクト内に於ける位置識別子の
現在位置に基づいて上記可視オブジェクトの種々なビュ
ーをユーザに提示する手段と、上記現在位置及び上記Ｌ
ＯＩの間の距離を示すサウンドを発生する手段とを含
む。
【００３４】
【実施例】図１は本発明のコンピュータ・システムのブ
ロック図である。この良好な実施例のコンピュータ・シ
ステムは、ＩＢＭパーソナル・システム／２モデル８０
である。しかしながら、他の任意のコンピュータ・シス
テムを使用することが出来る。図１はコンピュータ・シ
ステム１００の分解図である。コンピュータ・システム
１００は、主即ち中央処理ユニット（ＣＰＵ）１０５、
主記憶装置１３０、サウンド発生カード１４０及びＩ／
Ｏ制御装置１４５を含み、これらはバス１３５により内
部接続されている。この良好な実施例のバス１３５は、
標準型のハード・ワイアのマルチ・ドロップ・バスであ
るが、双方向の通信をサポートする任意の接続手段が使
用されうる。
【００３５】サウンド発生カード１４０及びスピーカ１
４２は、種々なサウンドをユーザに対して生じるために
コンピュータ・システム１００により使用される。良好
な実施例においては、サウンド発生カード１４０はＩＢ
Ｍ Ｍ−オウデォ・キャプチャ及びプレイバック・アダ
プタであるが、本発明は、これと同様に複数サウンドを
発生する任意のサウンド発生器及びシングル・サウンド
を発生するサウンド発生器を使用することが出来る。
【００３６】主記憶装置１３０は、オブジェクト・デー
タ１１０、可視オブジェクト１１２、ブラウズ・マネー
ジャ１１５、サウンド・プロセッサ１２０、スクロール
・プロセッサ１２５、ビュー領域モニター１２７、関係
（リレーショナル）サウンド・プロセッサ１２９及びサ
ウンド発生器１３２を含む。これらのそれぞれのエンテ
ィティは主記憶装置１３０内にあるとして示されている
が、これらは時として磁気記憶装置１５０若しくは光学
的記憶装置１５５内に記憶されることが出来ることは当
業者により明かである。例えば、可視オブジェクト１１
２は、ブラウズ・マネージャ１１５によりアクセスされ
た時に主記憶装置１３０にロードされるけれども、これ
らは、使用されない時には、磁気記憶装置１５０若しく
は光学的記憶装置１５５に記憶されることが出来る。
【００３７】Ｉ／Ｏ制御装置１４５に接続されているの
は、磁気記憶装置１５０、光学的記憶装置１５５、モニ
ター及びキーボード１６０及びグラフィック・ポイント
装置１６５である。前述のように、磁気記憶装置１５０
及び光学的記憶装置１５５は、可視オブジェクトを、こ
れがブラウズ・マネージャ１１５若しくは他のプログラ
ムによりアクセスされていない時に収容する。代表的に
は、磁気記録媒体の書き込み時間が早いために、磁気記
憶装置１５０は、時間の経過と共に変化する可視オブジ
ェクトを記憶するのに使用され、一方静的な可視オブジ
ェクトは、低価格の光学的記憶媒体（即ち光学的記憶装
置１５５）に記憶される。モニター及びキーボード１６
０はコンピュータ・システム１００と通信するために使
用され、そしてグラフィック・ポイント装置１６５は、
可視オブジェクトに対して位置表示体を移動させるのに
使用される。本発明のグラフィック・ポイント装置１６
５はマウスであるけれども、他の任意の型のグラフィッ
ク・ポイント装置が使用され得る。
【００３８】図２は、本発明を説明するために本明細書
で使用される可視オブジェクトの例を示す。図示のよう
に、可視オブジェクト２００は１８００年代にＣｌｅｍ
ｅｎｔ Ｃ． Ｍｏｏｒｅにより書かれた有名な子供の
詩である。又図２には、ビュー２０２、２０４及び２０
６が示されている。ビュー２０２、２０４及び２０６
は、可視オブジェクトへの窓として考えることが出来
る。各ビューは、可視オブジェクト内の異なる場所にあ
ってユーザに提示されるものを表す。多くの場合、ユー
ザは可視オブジェクト全体を同時に見ることが出来ない
ので、可視オブジェクト内のユーザが指定したＬＯＩに
対する、書類内の頻繁に見たＬＯＩに対する若しくは可
視オブジェクト全体に対する位置識別子の現在位置の可
聴指示を受け取ることが好ましい。
【００３９】本発明のサウンド・マーク、ビュー領域及
び相対的位置の表すサウンドはこの様な能力を与える。
例えば、ビュー２０２がユーザに提示されるように位置
識別子が現在位置決めされているとする。更に、ユーザ
がサウンド・マークをビュー２０４に形成したとする。
もしも位置識別子がビュー２０４に向かって移動される
ならば、ユーザはサウンドを聞き始める。位置識別子が
サウンド・マークにより指定されるポイントに近づくに
つれて、サウンドの強度は増大する。従って、ユーザ
は、ユーザが設定したサウンド・マークに近づいている
ことが判る。もしもユーザが位置識別子をビュー２０６
に向かって移動させると、ユーザは、強度が減少するサ
ウンドを聴き、そしてこれにより位置識別子がサウンド
・マークから離れていくことを理解する。サウンド・マ
ークがどのように利用されそして形成されるかは、図
３、５ー１２、１５ー１７を参照して説明する。
【００４０】ビュー領域は同様な例を用いて説明されう
る。何らかの理由でコンピュータ・システム１００のユ
ーザがビュー２０６に示されるテキストに特に興味があ
り、従って可視オブジェクト２００のこの部分に相当長
い時間かけたと仮定する。ブラウズ・マネージャ１１
５、サウンド・プロセッサ１２０及びビュー領域モニタ
１２７は協同して、適切なビュー領域を自動的に生じそ
して動的に調整する。もしも位置識別子がビュー２０４
からビュー２０６に向かって移動されると、ユーザはサ
ウンドを聞き始める。位置識別子がビュー２０６内に形
成されたビュー領域に近づくにつれてサウンドの強度が
増大する。従って、ユーザは可視オブジェクトの頻繁に
見た部分を近づいていることが判る。ユーザが位置識別
子をビュー領域の中心を越えて（即ちビュー領域２０６
に向けて）移動させると、サウンドの強度は減少し、そ
してユーザは、位置識別子がビュー領域の中心から離れ
ていくことが判る。如何にビュー領域が自動的に生ぜら
れそして動的に調整されるかは図４、５ー１２及び１５
ー１７を参照して述べる。
【００４１】最後に、ユーザは、本発明の関係位置づけ
機能を使用して、可視オブジェクト全体に対する位置識
別子の現在位置を知らされる。この場合、ユーザは、位
置識別子が可視オブジェクト２００の端部に対して何処
にあるかを指摘するように強度を変化するサウンドを聴
く。関係位置づけの詳細は図５ー１４を参照して説明す
る。
【００４２】図３は、本発明で使用されるサウンド・マ
ーク領域（ＳＭＡ）２１０を示す。ＳＭＡ２１０は、ユ
ーザがサウンド・マーク（例えば、サウンド・マーク２
１２）を形成したときに自動的に形成される。良好な実
施例では、サウンド・マーク２１２は、ユーザがグラフ
ィック・ポイント装置１６５の左のボタンを３回クリッ
クした時に形成される。しかしながら、可視オブジェク
ト内の特定なＬＯＩを指定するための他の幾つかの方法
を使用できることは当業者に明かである。サウンド・マ
ーク領域２１０は、このサウンド・マーク（ここではサ
ウンド・マーク２１２）に対してサウンドが生ぜられる
領域を規定する。本発明の実施例のサウンド・マークは
特定なポイントを表すけれども、ポイントよりも大きい
面積を囲む例えば円、長四角、矩形、三角形等の図形を
使用できることは当業者により明かである。位置識別子
が最初ＳＭＡ２１０を横切ってトラックする時、サウン
ドが予め決められた最小の強度で発生される。位置識別
子がサウンド・マーク２１２に近づくにつれて、発生さ
れるサウンドの強度は、位置識別子がサウンド・マーク
２１２の上になるまで、増大され続ける。この点で、予
め決められた最大の強度が発生される。位置識別子がサ
ウンド・マークから離れるにつれて、サウンドの強度は
小さくなる。位置識別子がＳＭＡ２１０から出ると、サ
ウンドは完全に消滅される。上述のように、位置識別子
は、例えば、カーソル若しくはスライダ２１４のような
スライダでも良い。
【００４３】図４は、本発明で使用されるビュー領域エ
リア（ＶＲＡ）を示す。ＶＲＡ２２０は、ユーザが、可
視オブジェクトのこの特定な部分を或る決められた時間
見ているときに、このビュー領域２２２を囲んで自動的
に形成される。図３のＳＭＡ２１０と同様に、ＶＲＡ２
２０は、このビュー領域２２２に対してサウンドを発生
する領域を規定する。位置識別子が最初にＶＲＡ２２０
を横切ると、或る予定の最小強度のサウンドが発生され
る。位置識別子がビュー領域２２２に近づくにつれて、
発生されるサウンドの強度は位置識別子がビュー領域２
２２内になるまで増大する。この時点で予定の最大強度
のサウンドが発生される。位置識別子がビュー領域２２
２から離れて、ＶＲＡ２２０で囲まれる領域に向かうに
つれて、サウンドの強度は減少される。位置識別子がＶ
ＲＡ２２０を出ると、サウンドは完全に消滅される。Ｖ
ＲＡが如何に自動的に形成されそして動的に調整される
かは、図１８を参照して説明する。
【００４４】図５及び６は、ブラウズ・マネージャ１１
５の内部動作を示す。ユーザが特定な可視オブジェクト
を見るために選択すると、これの動作によりブラウズ・
マネージャ１１５が呼び出される。当業者により明らか
なように、可視オブジェクトの選択によりウィンドウ・
オリエンテッド・ツールを呼び出す種々な方法がある。
【００４５】従って、このプロセスの詳細は説明しな
い。本発明の管理機構として、ブラウズ・マネージャ１
１５は、特定なウインドウを開始しそしてウインドウ・
エベントを矯正処理機構に送る。ブラウズ・マネージャ
１１５は、図５のブロック３００で開始して、選択され
た可視オブジェクトに使用されるウインドウを形成す
る。ウインドウが形成されると、ブラウズ・マネージャ
１１５は、ブロック３０２において、選択された可視オ
ブジェクト及び関連するオブジェクト・データ・レコー
ドを取り出す。本発明の可視オブジェクトのそれぞれ
は、これに関連する単一のオブジェクト・データ・レコ
ードを有する。説明の便宜上、ユーザが、Ｃｌｅｍｅｎ
ｔ Ｃ．Ｍｏｏｒｅの有名な子供の詩（図２、３及び４
を参照）を表す可視オブジェクトを選択したとする。
【００４６】図７は、良好な実施例のオブジェクト・デ
ータ・レコードのフォーマットを示す。オブジェクト・
データ・レコード３４２は、グローバル・パラメータ３
４４及びロケーション・インジケータ・レコード（ＬＩ
Ｒ）３４６を含む。最初、グローバル・パラメータ３４
４は、図７に示す各フィールドにデフォルト値を含む。
【００４７】これらのフィールドのそれぞれの使用につ
いては後に説明する。ＬＩＲ３４６のそれぞれは、可視
オブジェクト内に存在するサウンド・マーク若しくはビ
ュー領域を表す。勿論、最初はオブジェクト・データ・
レコード３４２にはサウンド・レコードは存在しない。
その理由は、ユーザがまだ可視オブジェクト２００をア
クセスしていないからである。ＬＩＲ３４６は後の説明
を容易にするために図７に示されている。ＬＩＲ３４６
の個々のフィールド及びこれの使用については後述す
る。
【００４８】図５に戻ると、ブラウズ・マネージャ１１
５が、可視オブジェクト２００及び関連するオブジェク
ト・データ・レコード（即ち、オブジェクト・データ・
レコード３４２）を取り出すと、ブロック３０４におい
て、ブラウズ・マネージャ１１５は、ユーザが可視オブ
ジェクト２００に関連するデフォルト値を変更したいか
否かをユーザに尋ねる。もしもユーザの答えがイエスで
あると、ブラウズ・マネージャ１１５は、ブロック３０
６においてユーザにテーブルを提示し、その結果ユーザ
はこれらのデフォルト値を変更即ち修正できる。図８
は、本発明の実施例の値修正テーブル３７９を示す。ユ
ーザが修正テーブル３７９のエントリィを修正すると、
ブラウズ・マネージャ１１５は、オブジェクト・データ
・レコード３４２の関連するフィールドを更新する。
【００４９】ユーザが適切な値を変更すると、ブラウズ
・マネージャ１１５は、ブロック３０８においてその内
部初期設定を完了する。他の事柄のうちで、この初期設
定は、新たに形成されたウインドウにスクロール・バー
及びスライダーを形成すること並びにビュー領域モニタ
１２７の設定を行う。
【００５０】この時点で、ユーザは可視オブジェクト２
００をアクセスできるようになり、そしてこれを動かし
始める。ユーザが可視オブジェクト２００内若しくはこ
れの上で動作を行う毎に、そしてこれが位置識別子（即
ちカーソル若しくはスライダ）の移動、サウンド・マー
クの追加若しくは削除、若しくはデフォルト・パラメー
タを更新する要求であると、ウインドウ・エベントがブ
ラウズ・マネージャ１１５により受け取られる。前述の
ように、カーソルの移動は、キーストローク、ページの
移動若しくはグラフィック・ポイント装置の使用により
行われることが出来る。説明の便宜上、可視オブジェク
ト２００を見ているユーザがカーソルを移動させたと仮
定する。ブラウズ・マネージャ１１５は、この型のウイ
ンドウ・エベントをブロック３１２で検出し、ブロック
３１４でカーソルを移動し、そしてブロック３１６でサ
ウンド・プロセッサ１２０を呼び出す。サウンド・プロ
セッサ１２０に渡されるパラメータは、ウインドウ・エ
ベントそれ自体である。
【００５１】図９は、良好な実施例のウインドウ・エベ
ントの一部分を示す。ウインドウ・エベント部分３０１
は、現在位置３０３、エベント・タイプ３０５及び位置
ファインダ・フィールド３０７を含む。現在位置３０３
は位置インジケータ（この場合にはカーソル）の現在位
置を含み、エベント・タイプ３０５は、ウインドウ・エ
ベントの型（この場合にはカーソル移動エベント）を含
む。位置ファインダ・フィールド３０７は、関係位置づ
けに対して重要であり、そしてこれについては図１２ー
１４を参照して後述する。
【００５２】図１０ー１２は、サウンド・プロセッサ１
２０の内部動作を示す。サウンド・プロセッサ１２０
は、ブロック４００において、どの型のウインドウ・エ
ベントであるかを調べる。この場合、ウインドウ・エベ
ントはカーソル移動である。次いで、サウンド・プロセ
ッサ１２０はブロック４０２において、ユーザが位置的
オリエンテーション若しくは関係オリエンテーションの
どれを選択したかを調べる。サウンド・プロセッサ１２
０はこれを、図７のオブジェクト・データ・レコード３
４２のカーソル・オリエンテーション・フィールド３７
０を使用して調べる。ユーザは図８の修正テーブル３７
９のカーソル・オリエンテーション・フィールド３９８
を用いて所望のオリエンテーションを選択する。もしも
ユーザがカーソル位置の変更に対して関係オリエンテー
ションを選択したら、サウンド・プロセッサ１２０は、
関係サウンド・プロセッサ（ＲＳＰ）１２９をブロック
４０４で呼び出し、その結果ユーザは、カーソルが可視
オブジェクト全体に対して関連づけされるにつれて、カ
ーソルの現在位置の可聴表示を受け取る。
【００５３】図１３ー１４は、関係位置づけサウンド・
プロセッサ即ち発生器（ＲＰＳ）１２９の内部動作を示
す。ＲＰＳ１２９は、ブロック５００において位置ファ
インダがオンであるか否かを調べる。ＲＰＳ１２９は、
渡されたエベントをチェックすることによりこのことを
調べる。もしも位置ファインダがオンでなければ、ＲＰ
Ｓ１２９は、ブロック５０５に進み、このコンピュータ
・システムにマルチプル・サウンド・ハードウエアが搭
載されているか否かを調べる。このコンピュータ・シス
テムにはマルチプル・サウンド・ハードウエアが搭載さ
れているので、ＲＰＳ１２９はブロック５６５におい
て、オブジェクト・データ・レコード３４２の関係サウ
ンドＩＤフィールド３９４が零に等しいか否かを調べ
る。もしもそうであるならば、ＲＰＳ１２９は、新たな
関係サウンドＩＤをブロック５７０で生じる。現存する
関係サウンドＩＤがあるか否かに係わらず、ＲＰＳ１２
９は、通過部分に関連するピッチを計算し（ブロック５
８５）、そしてサウンド発生カード１４０に適切なサウ
ンドを出すように指令する（ブロック５９０）。
【００５４】もしもブロック５００において、ＲＰＳ１
２９が位置ファインダがオンであることを調べると、動
作は図１４のブロック５１０に進み、そしてここでＲＰ
Ｓ１２９は再びこのコンピュータ・システムにマルチプ
ル・サウンド・ハードウエアが搭載されているか否かを
調べる。このコンピュータ・システムにはマルチプル・
サウンド・ハードウエアが搭載されているので、ＲＰＳ
１２９は、ブロック５２０で、オブジェクト・データ・
レコード３４２の関係サウンドＩＤフィールド３９４が
零に等しいか否かを調べる。もしもそうであるならば、
ＲＰＳ１２９は、ブロック５３０において新たな関係サ
ウンドＩＤを形成する。現存する関係サウンドＩＤがあ
るか否かに係わらず、ブロック５４０においてＲＰＳ１
２９は、可視オブジェクト２００の一番上の線に関連す
るピッチを出すようにサウンド発生カード１４０に指令
する。このことは、オブジェクト・データ・レコード３
４２の最上部ピッチ・フィールド３６４を参照すること
により行われる。次いでブロック５５０においてＲＰＳ
１２９は約１秒間待機し、通過部分に関連するピッチを
ブロック５９９において計算し、そしてブロック５９７
において、適切なサウンドを発生するようにサウンド発
生カード１４０に指令する。ブロック５８０において更
に１秒間待機した後に、ＲＰＳ１２９は、可視オブジェ
クト２００の一番下の位置に関連するピッチを生じるよ
うにサウンド発生カード１４０に指令する。このこと
は、オブジェクト・データ・レコード３４２のボトム・
ピッチ・フィールド３６６を参照することにより達成さ
れる。ブロック５６２において１秒間待機した後に、Ｒ
ＰＳ１２９はブロック５９５において終了し、そして制
御を呼び出しプログラム（この場合にはサウンド・プロ
セッサ）に戻す。
【００５５】再び図１０を参照すると、もしもブロック
４０２においてサウンド・プロセッサ１２０が、ユーザ
がカーソル位置変更に対して位置的オリエンテーション
を選択したと判断すると、サウンド・プロセッサ１２０
は、次にブロック４０８において、ＬＩＲ（若しくは追
加のＬＩＲ）がオブジェクト・データ・レコード３４２
内に存在するか否かを調べる。前述のように、ＬＩＲ
は、ロケーション・インジケータ・レコードを意味す
る。これらのレコードがオブジェクト・データ・レコー
ド３４２内に存在することは、ユーザが可視オブジェク
ト内にサウンド・マークを形成したこと若しくはビュー
領域がユーザに対して自動的に形成されたことを示す。
もしもオブジェクト・データ・レコード３４２内にＬＩ
Ｒがないならば、若しくはオブジェクト・データ・レコ
ード３４２内の全てのＬＩＲが調査され終えたならば、
サウンド・プロセッサ１２０は、ブロック４０６におい
て復帰して制御を呼び出しプログラム（この場合にはブ
ラウズ・マネージャ１１５）に戻す。もしも更にＬＩＲ
が存在するならば、ブロック４１２において、サウンド
・プロセッサ１２０は、次のＬＩＲを取り出す。次に、
サウンド・プロセッサ１２０は、ブロック４１４におい
て、オブジェクト・データ・レコード３４２のフィール
ド３７４若しくはフィールド３７６に於いて見いだされ
るロケーション・インジケータ・タイプ（ＬＩＴ）がＡ
ＬＬに等しいか否かを調べる。
【００５６】ＬＩＴはユーザが選択する値であり、可視
オブジェクト内を移動する時を気づくことを望むＬＯＩ
の型を選択する。可能な値は、全てのＬＯＩに対するＡ
ＬＬ，ＬＯＩなしに対するＮＯＮＥ、サウンド・マーク
ＬＯＩに対するＭＡＲＫ、及びビュー領域に対するＲＥ
ＧＩＯＮを含む。ユーザは、カーソル移動及びスクロー
ル・バー移動に対して異なる値を選択することが出来る
（図８のフィールド３９２及び３９８を参照）。もしも
取り出されたＬＩＴがＡＬＬに等しくないならば、ブロ
ック４１６においてサウンド・プロセッサ１２０は次に
これをこのＬＩＲに記憶されているＬＩＴと比較する
（図７のフィールド３８８を参照）。もしもこの質問に
対する答えがノーであるならば、サウンド・プロセッサ
１２０はブロック４０８に戻りそして他のＬＩＲを見
る。
【００５７】もしも取り出されたＬＩＴがＡＬＬに等し
いならば若しくはこのＬＩＲに記憶されているＬＩＴに
等しいならば、ブロック４２０においてサウンド・プロ
セッサ１２０は、このエベントに渡された現在位置が、
この現在位置がこのＬＩＲにより囲まれているＳＭＡ若
しくはＶＲＡ内にあることを示すか否かを調べる。これ
らの領域は、オブジェクト・データ・レコード３４２の
外側フィールド境界フィールド３７８及び最大領域境界
フィールド３８０によりＬＩＲ内で囲まれている。これ
らのフィールドは、この領域を計算するに必要な値を含
む。例えば、もしもＳＭＡ若しくはＶＲＡが円として形
作られるとすると、最大領域フィールド３８０は可視オ
ブジェクト２００内の或る特定なＬＯＩを含み、そして
外側境界フィールド３７８は半径を含む。領域形フィー
ルド３９０を参照することのより、そして外側領域境界
フィールド３７８及び最大領域境界フィールド３８０に
記憶された値を使用することにより、サウンド・プロセ
ッサ１２０は、ＳＭＡ若しくはＶＲＡにより囲まれた領
域を計算しそして現在位置がこの領域内にあるか否かを
調べる（ブロック４２０）。
【００５８】もしも現在位置がこの計算された領域内に
ないならば、図１１のブロック４２６においてサウンド
・プロセッサ１２０は次に、このコンピュータ・システ
ムにマルチプル・サウンド・ハードウエアが搭載されて
いるか否かを調べる。前述のように、このコンピュータ
・システムにはマルチプル・サウンド・ハードウエアが
搭載されているので、次にサウンド・プロセッサ１２０
はブロック４３０において、サウンドＩＤがオブジェク
ト・データ・レコード３４２にセットされているか否か
を調べる（図７のサウンドＩＤフィールド３９２を参
照）。サウンドＩＤは使用されるべき特定なサウンドを
同定するためにマルチプル・サウンド・ハードウエアに
おいて使用される。もしもサウンドＩＤがセットされて
いないと、ブロック４０８に戻りそして残りのＬＩＲを
調べる。もしもサウンドＩＤがセットされているなら
ば、ブロック４３６においてサウンド・プロセッサ１２
０は、サウンド発生カード１４０を指令して、関連する
サウンドをオフにし、ブロック４３８においてサウンド
ＩＤフィールド３９２を零にセットし、そしてブロック
４３２においてブロック４０８に戻りそして更に他のＬ
ＩＲを調べる。
【００５９】もしも現在位置が計算された領域内にある
ならば、サウンド・プロセッサ１２０はブロック４１８
に進み、ここでサウンド・プロセッサ１２０は、現在位
置がサウンド・マークのトップにあるか否か若しくはビ
ュー領域内にあるか否かを調べる。このことは、ＬＩＴ
フィールド３８８を参照することにより（即ちサウンド
・マーク若しくはビュー領域が含まれるか否かを調べ
る）、そして現在位置を最大領域境界フィールド３８２
に記憶されたいる値に比較することにより達成される。
もしも通過位置がサウンド・マークのトップになく若し
くはビュー領域内にないならば、サウンド・プロセッサ
１２０は現在位置とサウンド・マーク若しくはビュー領
域との間の距離に基づいてサウンドの強度を計算する
（ブロック４１２）。本発明の良好な実施例では、強度
の変化を表すために音量の変化を使用しているが、可聴
音の強度の変化を行う他の任意の型の方法が本発明の範
囲内で使用されうることが当業者により明かであろう。
もしも通過位置がサウンド・マークのトップにあり若し
くはビュー領域内にあるならば、サウンド・プロセッサ
１２０は、ブロック４２４において、最大強度フィール
ド３８２で同定される最大強度に強度レベルをセットす
る。
【００６０】現在位置がサウンド・マークのトップにあ
るか若しくはビュー領域内にあるかに係わらず、サウン
ド・プロセッサ１２０は図１２のブロック４３４におい
て、このコンピュータ・システムにマルチプル・サウン
ド・ハードウエアが搭載されているか否かを調べる。こ
のコンピュータ・システム１００にはマルチプル・サウ
ンド・ハードウエアが搭載されているので、次いでサウ
ンド・プロセッサ１２０はブロック４４２において、サ
ウンドＩＤがオブジェクト・データ・レコード３４２内
にセットされているか否かを調べる。もしもそうでない
ならば、サウンド・プロセッサ１２０は新たなサウンド
を設定し、そして適切なサウンドＩＤをオブジェクト・
データ・レコード３４２内に記憶する。サウンドＩＤが
既にセットされているかに係わらず若しくはこれから設
定されるべきであるかに係わらず、サウンド・プロセッ
サ１２０はサウンド発生器１３２を呼び出しそしてこれ
をパラメータとしてサウンドＩＤに渡す（ブロック４５
０）。
【００６１】図１５はサウンド発生器１３２の内部動作
を示す。サウンド発生器１３２は最初ブロック６００に
おいて、第２オーディオ特性がこのＬＩＲにセットされ
ているか否かを調べる。この第２オーディオ特性は、ユ
ーザが位置識別子をサウンド・マークから若しくはビュ
ー領域の中心から遠ざけるように移動させていることを
ユーザに知らせるために本発明において使用される。ユ
ーザが位置識別子をサウンド・マークから若しくはビュ
ー領域の中心から遠ざけるように移動させると、サウン
ド発生器１３２は異なるサウンドを出すようにサウンド
発生カード１４０に指令する。第２オーディオ特性の使
用は、ユーザが大きなビュー領域にいる時に特に価値が
ある。その理由は、ユーザが位置識別子をビュー領域外
に移動させる迄強度の減少が生じないからである。
【００６２】もしもサウンド発生器１３２が、第２サウ
ンド特性がＬＩＲ内に存在することを調べるならば、ブ
ロック６０５において、サウンド発生器１３２は、最後
の位置フィールド３５２で同定されている位置が現在位
置よりも最大領域境界の中心に近いか否かを調べる。も
しもそうでないならば、サウンド発生器１３２は第１オ
ーディオ特性の対する適切なサウンドを出すようにサウ
ンド発生カード１４０に指令する（図７の第１オーディ
オ特性フィールド３８４並びに図１５のブロック６１
０、６２０及び６３０を参照）。最後の位置フィールド
３５２で同定される位置が、通過位置よりも最大領域境
界の中心に近いならば、サウンド発生器１３２は、第２
オーディオ特性に対する適切なサウンドを出すようにサ
ウンド発生カード１４０に指令する（図７の第２オーデ
ィオ特性フィールド３８６並びに図１５のブロック６１
０、６２０及び６３０を参照）。これが達成されると、
サウンド発生器１３２は、現在位置をオブジェクト・デ
ータ・レコード３４２の最後位置フィールド３５２に記
憶する（ブロック６４０）。サウンド発生器１３２は次
いで制御をサウンド・プロセッサ１２０に戻す。
【００６３】次いで、サウンド・プロセッサ１２０は図
１０のブロック４０８に戻りそしてオブジェクト・デー
タ・レコード３４２内にＬＩＲがなくなるまでプロセス
を繰り返す。
【００６４】再び図５を参照すると、以下の例の説明の
ために、可視オブジェクト２００を見ているユーザがス
クロール・バー・エベントを開始させたとする。前述の
カーソル・エベントの例のように、ブラウズ・マネージ
ャ１１５は、ブロック３１０でウインドウ・エベントを
得る。ブラウズ・マネージャ１１５は、ブロック３３０
においてウインドウ・エベントがスクロール・バー・エ
ベントであることを検出し、ブロック３３２においてス
クロール・バー・エベントで指示されている位置にスラ
イダを移動させ、そしてブロック３３４において、渡さ
れたパラメータとしてのウインドウ・エベントと共にス
クロール・プロセッサ１２５を呼び出す。
【００６５】図１６はスクロール・バー・プロセッサ１
２５の内部動作を詳細に示す。呼び出されるとスクロー
ル・バー・プロセッサ１２５はブロック７０５において
渡されたエベントがドラッグ・エベントであるか否かを
調べる。もしもエベントがドラッグ・エベントである
と、これは、ユーザがスライダをスクロール・バー上で
上下に引こうとしていることを意味する。もしもそうで
あるならば、スクロール・バー・プロセッサ１２５は、
これが最初のドラッグ・エベントであるか若しくは一連
のドラッグ・エベントに於ける一つであるかを調べる。
もしもこれが最初のドラッグ・エベントであると、オブ
ジェクト・データ・レコード３４２のドラッグ・イン・
プロセス・フィールド３４８は論理零を含む。もしもこ
れが一連のドラッグ・エベントのうちの一つであるなら
ば、オブジェクト・データ・レコード３４２のドラッグ
・イン・プロセス・フィールド３４８は論理１を含む。
スクロール・バー・プロセッサ１２５はこの決定をブロ
ック７２０で行う。もしもグラフィック・ポイント装置
１６５がスライダのトップにあるならば、スクロール・
バー・プロセッサ１２５は、オブジェクト・データ・レ
コード３４２のドラッグ・イン・プロセス・フィールド
３４８を論理１にセットする必要があることを知る（ブ
ロック７３０及び７５０）。もしもグラフィックポイン
ト装置１６５がスライダのトップになければ、スクロー
ル・バー・プロセッサ１２５は、ユーザがスライダを引
く試みを失敗しそしてスプリアス・エベントを発生した
ことを知る（ブロック７３０）。もしもそうであるなら
ば、スクロール・バー・プロセッサ１２５は制御をブラ
ウズ・マネージャ１１５に戻す。
【００６６】オブジェクト・データ・レコード３４２の
ドラッグ・イン・プロセス・フィールド３４８がブロッ
ク７２０に於いて論理１であると調べられたか否かに係
わらず、スクロール・バー・プロセッサ１２５は、ユー
ザが関係オリエンテーション若しくは位置的オリエンテ
ーションを選択したか否かを最終的に調べる必要がある
（ブロック７５５）。もしもユーザが関係オリエンテー
ションを選択したならば（スクロール・オリエンテーシ
ョン・フィールド３７２により決められる）、スクロー
ル・バー・プロセッサ１２５は、ブロック７６０におい
てＲＰＳ１２９を呼び出し、そしてＲＰＳ１２９の復帰
時に、制御をブラウズ・マネージャ１１５に戻す。もし
もユーザが位置的オリエンテーションを選択したなら
ば、スクロール・バー・プロセッサ１２５はサウンド・
プロセッサ１２０を呼び出し、そしてサウンド・プロセ
ッサ１２０の復帰時に制御をブラウズ・マネージャ１１
５に戻す。ＲＰＳ１２９の内部動作についての図１３ー
１５の説明を、そしてサウンド・プロセッサ１２０の詳
細についての図１０ー１２の説明を参照されたい。
【００６７】もしもブロック７０５において、スクロー
ル・バー・プロセッサ１２５が、通過エベントがドラッ
グ・エベントでないことを調べるならば、これはブロッ
ク７１５に進み、オブジェクト・データ・レコード３４
２のドラッグ・イン・プロセス・フィールド３４８が論
理１を含むか否かを調べる。もしもそうでないならば、
スクロール・バー・プロセッサ１２５は、ブロック７４
０において、このエベントに適切なプロセスを行いそし
て制御をブラウズ・マネージャ１１５に戻す。オブジェ
クト・データ・レコード３４２のドラッグ・イン・プロ
セス・フィールド３４８が論理１であるとされると、ス
クロール・バー・プロセッサ１２５は、オブジェクト・
データ・レコード３４２のドラッグ・イン・プロセス・
フィールド３４８を論理零にセットし（図１７のブロッ
ク７７２）、そしてブロック７７４において、このコン
ピュータ・システムがマルチプル・サウンド・ハードウ
エアを搭載しているか否かを調べる。コンピュータ・シ
ステム１００はマルチプル・サウンド・システムを搭載
しているので、スクロール・バー・プロセッサ１２５は
どのサウンドをターン・オフにするかを調べる。これを
行うために、スクロール・バー・プロセッサ１２５は最
初ブロック７７８において、ユーザが関係オリエンテー
ション若しくは位置的オリエンテーションを選択したか
を調べる。もしもユーザが関係オリエンテーションを選
択したならば、スクロール・バー・プロセッサ１２５は
ブロック７８０において、オブジェクト・データ・レコ
ード３４２の関係サウンドＩＤ３９４に関連するサウン
ドをターン・オフするようにサウンド発生カード１４０
に指令し、ブロック７８４においてオブジェクト・デー
タ・レコード３４２の関係サウンドＩＤ３９４をクリア
し、そして制御をブラウズ・マネージャ１１５に戻す。
もしもユーザが位置的オリエンテーションを選択したな
らば、ブロック７３２においてスクロール・バー・プロ
セッサ１２５は最後の能動ＬＩＲを得て（最後のＬＩＲ
フィールド３６８により決められる）、そしてブロック
７８６においてサウンドＩＤフィールド３９２がセット
されたか否かを調べる。もしもセットされていないなら
ば、このＬＩＲに対して現在サウンドが発生されていな
い。従って、スクロール・バー・プロセッサ１２５は直
ちにブラウズ・マネージャ１１５に制御を戻す。もしも
サウンドＩＤフィールド３９２がセットされているなら
ば、スクロール・バー・プロセッサ１２５は、ブロック
７８８において、オブジェクト・データ・レコード３４
２はサウンドＩＤ３９２に関連するサウンドをオフにす
るようにサウンド発生カード１４０に指令し、ブロック
７９０においてオブジェクト・データ・レコード３４２
のサウンドＩＤ３９２をクリアし、そして制御をブラウ
ズ・マネージャ１１５に戻す。
【００６８】上述のように、ビュー領域及びＶＲＡは、
可視オブジェクトの特定な部分のユーザの使用を反映し
て、自動的に作成され、調整されそして消去される。更
に、ＶＲＡは、このビュー領域により表されている可視
オブジェクトの特定な部分の使用頻度の変動に適応する
ように、動的に拡大されそして作成される。このこと
は、ビュー領域モニタ１２７により達成される。図１８
を参照すると、ビュー領域モニタ１２７がブラウズ・マ
ネージャ１１５により開始された後に（図５のブロック
３０８の説明を参照）、ブロック８００においてビュー
領域モニタ１２７はオブジェクト・データ・レコード３
４２のサンプリング期間フィールド３５８において規定
される特定なサンプリング期間だけ待機し、そしてブロ
ック８０５に進み、ここでビュー領域モニタ１２７は、
オブジェクト・データ・レコード３４２のＬＩＲにより
指定されるビュー領域の全てを、オブジェクト・データ
・レコード３４２の縮小ファクタ・フィールド３５６で
指定される縮小ファクタの半分だけ縮小する。次にブロ
ック８１０において、ビュー領域モニタ１２７は、オブ
ジェクト・データ・レコード３４２の現在位置フィール
ド３５０により指定される現在位置がビュー領域内にあ
るか否かを調べる。このことは、オブジェクト・データ
・レコード３４２の全てのＬＩＲを調べることにより達
成される。もしもビュー領域モニタ１２７が、現在位置
がビュー領域内にないと判断すると、これはブロック８
１５において新たなビュー領域を形成し、そしてブロッ
ク８００に戻り、そしてここで再び指定された期間だけ
待機する。新たなビュー領域が形成されると、これに関
連するＬＩＲが形成されて可視オブジェクトに対するオ
ブジェクト・データ・レコード３４２内に記憶される。
上述のように、本発明の良好な実施例はビュー領域及び
ＶＲＡを表すのに長方形を使用するが、例えば円、三角
形、矩形等の他の任意の形状を使用することが出来る。
もしもビュー領域モニタ１２７が現在位置がビュー領域
内にあると判断すると、次にビュー領域モニタ１２７は
ブロック８２０および８３５において、現在位置が、こ
のビュー領域のトップから１／４の領域内にあるか若し
くは下から１／４の領域内にあるか否かを調べる。もし
もそうであるならば、ビュー領域モニタ１２７はブロッ
ク８２５において、このＬＩＲの外側領域境界を、オブ
ジェクト・データ・レコード３４２の拡大ファクタ・フ
ィールド３５４に含まれている拡大ファクタにより拡大
する。そしてブロック８３０において、ビュー領域モニ
タ１２７は、最大強度を増大し、そしてこの最大領域境
界をビュー領域の新たな中心点の調節する。次いで、ビ
ュー領域モニタ１２７はブロック８００に戻る。もしも
現在位置がこのビュー領域のトップの１／４若しくは下
の１／４内になければ、ビュー領域モニタ１２７はブロ
ック８４０において、このＬＩＲの外側領域境界を拡大
ファクタ・フィールド３５４に含まれている拡大ファク
タの１／２だけ拡大する。次いで、ビュー領域モニタ１
２７はブロック８００に戻る。
【００６９】
【発明の効果】本発明は、コンピュータ・ユーザに、可
視オブジェクト内の位置の可聴即ち可聴指示（aural in
dication）を与える方法及び装置を実現する。
【図面の簡単な説明】
【図１】本発明のコンピュータ・システムを示す図であ
る。
【図２】本発明で使用する可視オブジェクトを示す図で
ある。
【図３】本発明で使用するサウンド・マーク領域の例を
示す図である
【図４】本発明で使用するビュー領域エリアを示す図で
ある。
【図５】本発明のブラウズ・マネージャの内部動作を示
す図である。
【図６】本発明のブラウズ・マネージャの内部動作を示
す図である。
【図７】本発明の実施例で使用されるプライマリィ・デ
ータを示す図である。
【図８】本発明の実施例で使用される種々なグローバル
・パラメータに対するデフォルト値をセットするのに使
用されるユーザ・インターフェイスを示す図である。
【図９】本発明の実施例のウインドウ・エベントの部分
を示すブロックを示す図である。
【図１０】本発明の実施例のサウンド・プロセッサの内
部動作を示すフロー・チャートである。
【図１１】本発明の実施例のサウンド・プロセッサの内
部動作を示すフロー・チャートである。
【図１２】本発明の実施例のサウンド・プロセッサの内
部動作を示すフロー・チャートである。
【図１３】本発明の実施例の関係位置づけサウンド・プ
ロセッサの内部動作を示すフロー・チャートである。
【図１４】本発明の実施例の関係位置づけサウンド・プ
ロセッサの内部動作を示すフロー・チャートである。
【図１５】本発明の実施例のサウンド発生器の内部動作
を示すフロー・チャートである。
【図１６】本発明の実施例のスクロール・プロセッサの
内部動作を示すフロー・チャートである。
【図１７】本発明の実施例のスクロール・プロセッサの
内部動作を示すフロー・チャートである。
【図１８】本発明の実施例のビュー領域モニタの内部動
作を示すフロー・チャートである。
【符号の説明】
１００・・・コンピュータ・システム １０５・・・ＣＰＵ １３０・・・主記憶装置 １４０・・・サウンド発生カード １４５・・・Ｉ／Ｏ制御装置 １５０・・・磁気記憶装置 １５５・・・光学的記憶装置 １６０・・・モニタ及びキーボード １６５・・・グラフィック・ポイント装置 ２００・・・可視オブジェクト ２０２、２０４、２０６・・・ビュー ２１０・・・サウンド・マーク領域 ２１２・・・サウンド・マーク ２１４・・・スライダ ２２０・・・ビュー領域エリア ２２２・・・ビュー領域
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 ＦＩ 技術表示箇所 Ｇ０６Ｔ 11/80 (72)発明者 ブライアン・ジョン・クラガン アメリカ合衆国ミネソタ州、ロチェスタ ー、トウエンティフォース・ストリート・ ノース・ウエスト 2613番地 (72)発明者 ロバート・ジョン・ドノバン アメリカ合衆国ミネソタ州、ロチェスタ ー、ビオラ・ハイツ・レーン・ノース・イ ースト 1900番地 (72)発明者 ウィリアム・ジャスケレイネン アメリカ合衆国ミネソタ州、オロノコ、ウ エスト・センター・ストリート 610番地 (72)発明者 ジェフリィ・ミカエル・ライアン アメリカ合衆国ミネソタ州、バイロン、ピ ー・オー・ボックス 550 (72)発明者 ブライアン・レスター・ストリーマー アメリカ合衆国ミネソタ州、ザンブロタ、 ウォーレン・アベニュー 330番地

Claims (16)

    【特許請求の範囲】
  1. 【請求項１】可視オブジェクト内のユーザが興味を持つ
    ロケーション（ＬＯＩ）を同定する方法において、 上記可視オブジェクト内に上記ＬＯＩをマークし、 上記可視オブジェクト内に於ける位置識別子の現在位置
    に基づいて上記可視オブジェクトの種々なビューをユー
    ザに提示し、 現在位置及び上記ＬＯＩの間の距離を示すサウンドを発
    生することを含む上記可視オブジェクト内のユーザが興
    味を持つロケーションを同定する方法。
  2. 【請求項２】上記マークする工程は、上記可視オブジェ
    クト内にサウンド・マークを生成することを特徴とする
    請求項１の可視オブジェクト内のユーザが興味を持つロ
    ケーションを同定する方法。
  3. 【請求項３】上記マークする工程は、上記可視オブジェ
    クト内にビュー領域及びビュー領域エリアを自動的に生
    成することを含むことを特徴とする請求項１の可視オブ
    ジェクト内のユーザが興味を持つロケーションを同定す
    る方法。
  4. 【請求項４】上記サウンドを発生する工程は、上記現在
    位置及び上記ＬＯＩの間の距離に基づいて上記サウンド
    を変化させることを特徴とする請求項１の可視オブジェ
    クト内のユーザが興味を持つロケーションを同定する方
    法。
  5. 【請求項５】可視オブジェクト内のユーザが興味を持つ
    ロケーション（ＬＯＩ）を同定する方法において、 上記可視オブジェクト内に上記ＬＯＩをマークし、 上記可視オブジェクト内でグラフィック・ポイント装置
    を移動させ、 上記グラフィック・ポイント装置及び上記ＬＯＩの間の
    距離を示すサウンドを発生することを含む上記可視オブ
    ジェクト内のユーザが興味を持つロケーションを同定す
    る方法。
  6. 【請求項６】上記マークする工程は、上記可視オブジェ
    クト内にサウンド・マークを生成することを特徴とする
    請求項５の可視オブジェクト内のユーザが興味を持つロ
    ケーションを同定する方法。
  7. 【請求項７】上記マークする工程は、上記可視オブジェ
    クト内にビュー領域及びビュー領域エリアを自動的に生
    成することを含むことを特徴とする請求項５の可視オブ
    ジェクト内のユーザが興味を持つロケーションを同定す
    る方法。
  8. 【請求項８】上記サウンドを発生する工程は、上記グラ
    フィック・ポイント装置が上記ＬＯＩに近づくにつれて
    上記サウンドを変化させ、上記グラフィック・ポイント
    装置が上記ＬＯＩから遠ざかるにつれて上記サウンドを
    変化させることを特徴とする請求項５の可視オブジェク
    ト内のユーザが興味を持つロケーションを同定する方
    法。
  9. 【請求項９】上記サウンドを発生する工程は、上記グラ
    フィック・ポイント装置が上記ＬＯＩに近づくにつれて
    第１サウンドを変化させ、上記グラフィック・ポイント
    装置が上記ＬＯＩから遠ざかるにつれて第２サウンドを
    変化させることを特徴とする請求項５の可視オブジェク
    ト内のユーザが興味を持つロケーションを同定する方
    法。
  10. 【請求項１０】可視オブジェクト内のユーザが興味を持
    つロケーション（ＬＯＩ）を同定する方法において、 上記可視オブジェクト内に上記ＬＯＩをマークし、 スクロール・バーを移動させて上記可視オブジェクト内
    に於ける種々な位置を表す上記可視オブジェクトの種々
    なビューをユーザに提示し、 現在位置及び上記ＬＯＩの間の距離を示すサウンドを発
    生することを含む上記可視オブジェクト内のユーザが興
    味を持つロケーションを同定する方法。
  11. 【請求項１１】上記マークする工程は、上記可視オブジ
    ェクト内にサウンド・マークを生成することを特徴とす
    る請求項１０の可視オブジェクト内のユーザが興味を持
    つロケーションを同定する方法。
  12. 【請求項１２】上記マークする工程は、上記可視オブジ
    ェクト内にビュー領域及びビュー領域エリアを自動的に
    生成することを含むことを特徴とする請求項１０の可視
    オブジェクト内のユーザが興味を持つロケーションを同
    定する方法。
  13. 【請求項１３】上記サウンドを発生する工程は、上記現
    在位置及び上記ＬＯＩの間の距離に基づいて上記サウン
    ドを変化させることを特徴とする請求項１０の可視オブ
    ジェクト内のユーザが興味を持つロケーションを同定す
    る方法。
  14. 【請求項１４】最上端及び最下端を有する可視オブジェ
    クト内のユーザが興味を持つロケーション（ＬＯＩ）を
    同定する方法において、 上記可視オブジェクト上で位置識別子を移動させ、 上記可視オブジェクト内の上記位置識別子の現在位置に
    基づいて上記可視オブジェクトの種々なビューをユーザ
    に提示し、ここで上記現在位置は、上記可視オブジェク
    トの上記最上端からの第１距離及び上記可視オブジェク
    トの上記最下端からの第２距離であり、 上記第１距離及び上記第２距離をユーザに知らせるシン
    グル・サウンドを発生し、 上記位置識別子が上記可視オブジェクト上で移動するに
    つれて上記シングル・サウンドを変化させることを含む
    上記最上端及び最下端を有する可視オブジェクト内のユ
    ーザが興味を持つロケーション（ＬＯＩ）を同定する方
    法。
  15. 【請求項１５】最上端及び最下端を有する可視オブジェ
    クト内のユーザが興味を持つロケーション（ＬＯＩ）を
    同定する方法において、 位置ファインダをターン・オンし、 上記可視オブジェクトの上記最上端を表す第１ピッチの
    シングル・サウンドを発生し、 位置識別子の現在位置を表す第２ピッチの上記シングル
    ・サウンドを発生し、 上記可視オブジェクトの上記最下端を表す第３ピッチの
    シングル・サウンドを発生することを含む上記最上端及
    び最下端を有する可視オブジェクト内のユーザが興味を
    持つロケーション（ＬＯＩ）を同定する方法。
  16. 【請求項１６】可視オブジェクト内のユーザが興味を持
    つロケーション（ＬＯＩ）を同定する装置において、 上記可視オブジェクト内に上記ＬＯＩをマークする手段
    と、 上記可視オブジェクト内に於ける位置識別子の現在位置
    に基づいて上記可視オブジェクトの種々なビューをユー
    ザに提示する手段と、 上記現在位置及び上記ＬＯＩの間の距離を示すサウンド
    を発生する手段とを含む上記可視オブジェクト内のユー
    ザが興味を持つロケーションを同定する装置。
JP5285203A 1992-12-22 1993-11-15 可視オブジェクト内のユーザが興味を持つロケーションを同定する方法及び装置 Expired - Lifetime JP2599562B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US07/995,473 US5533182A (en) 1992-12-22 1992-12-22 Aural position indicating mechanism for viewable objects
US995473 1992-12-22

Publications (2)

Publication Number Publication Date
JPH07234774A true JPH07234774A (ja) 1995-09-05
JP2599562B2 JP2599562B2 (ja) 1997-04-09

Family

ID=25541852

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5285203A Expired - Lifetime JP2599562B2 (ja) 1992-12-22 1993-11-15 可視オブジェクト内のユーザが興味を持つロケーションを同定する方法及び装置

Country Status (4)

Country Link
US (1) US5533182A (ja)
EP (1) EP0604340B1 (ja)
JP (1) JP2599562B2 (ja)
DE (1) DE69327709T2 (ja)

Families Citing this family (171)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5564004A (en) * 1994-04-13 1996-10-08 International Business Machines Corporation Method and system for facilitating the selection of icons
DE69619592T2 (de) * 1995-04-11 2002-11-07 Dragon Systems Inc Bewegung eines auf dem Bildschirm gezeigten Zeigers
US5737555A (en) * 1995-11-13 1998-04-07 International Business Machines Corporation Method for rapid repositioning of a display pointer in a preferred order
US5801692A (en) * 1995-11-30 1998-09-01 Microsoft Corporation Audio-visual user interface controls
US5991781A (en) * 1996-09-27 1999-11-23 Sun Microsystems, Inc. Method and apparatus for detecting and presenting client side image map attributes including sound attributes using page layout data strings
US5963191A (en) * 1997-03-25 1999-10-05 International Business Machines Corporation Method and system for denying graphical pointer access to a widget of a data processing system graphical user interface
US5995102A (en) * 1997-06-25 1999-11-30 Comet Systems, Inc. Server system and method for modifying a cursor image
US6339437B1 (en) * 1997-09-30 2002-01-15 Sun Microsystems, Inc. Relevance-enhanced scrolling
JPH11154074A (ja) * 1997-11-25 1999-06-08 Sharp Corp スクロール制御装置
US20080028292A1 (en) * 1997-12-22 2008-01-31 Ricoh Company, Ltd. Techniques to facilitate reading of a document
US6108675A (en) * 1998-01-22 2000-08-22 International Business Machines Corporation Positioning of transmitted document pages in receiving display station windows for maximum visibility of information on pages
US6582475B2 (en) * 1998-09-09 2003-06-24 Ricoh Company Limited Automatic adaptive document printing help system
US6608630B1 (en) * 1998-11-09 2003-08-19 Broadcom Corporation Graphics display system with line buffer control scheme
US6798420B1 (en) 1998-11-09 2004-09-28 Broadcom Corporation Video and graphics system with a single-port RAM
US6768774B1 (en) 1998-11-09 2004-07-27 Broadcom Corporation Video and graphics system with video scaling
US6636222B1 (en) 1999-11-09 2003-10-21 Broadcom Corporation Video and graphics system with an MPEG video decoder for concurrent multi-row decoding
US6573905B1 (en) 1999-11-09 2003-06-03 Broadcom Corporation Video and graphics system with parallel processing of graphics windows
US7446774B1 (en) 1998-11-09 2008-11-04 Broadcom Corporation Video and graphics system with an integrated system bridge controller
US6661422B1 (en) 1998-11-09 2003-12-09 Broadcom Corporation Video and graphics system with MPEG specific data transfer commands
US6853385B1 (en) 1999-11-09 2005-02-08 Broadcom Corporation Video, audio and graphics decode, composite and display system
US7982740B2 (en) 1998-11-09 2011-07-19 Broadcom Corporation Low resolution graphics mode support using window descriptors
US6310633B1 (en) * 1999-03-23 2001-10-30 Ricoh Company Limited Method and system for organizing document information
US6469712B1 (en) * 1999-03-25 2002-10-22 International Business Machines Corporation Projected audio for computer displays
US6404442B1 (en) * 1999-03-25 2002-06-11 International Business Machines Corporation Image finding enablement with projected audio
US6486896B1 (en) * 1999-04-07 2002-11-26 Apple Computer, Inc. Scalable scroll controller
US7228492B1 (en) 1999-07-06 2007-06-05 Ricoh Company, Ltd. 2D graph displaying document locations of user-specified concept of interest
US6538656B1 (en) 1999-11-09 2003-03-25 Broadcom Corporation Video and graphics system with a data transport processor
US9668011B2 (en) * 2001-02-05 2017-05-30 Avago Technologies General Ip (Singapore) Pte. Ltd. Single chip set-top box system
US6975324B1 (en) 1999-11-09 2005-12-13 Broadcom Corporation Video and graphics system with a video transport processor
US8913667B2 (en) * 1999-11-09 2014-12-16 Broadcom Corporation Video decoding system having a programmable variable-length decoder
US8645137B2 (en) 2000-03-16 2014-02-04 Apple Inc. Fast, language-independent method for user authentication by voice
US6559869B1 (en) * 2000-05-04 2003-05-06 Microsoft Corporation Adaptive auto-scrolling merge for hand written input
US7277765B1 (en) 2000-10-12 2007-10-02 Bose Corporation Interactive sound reproducing
FI20010958A0 (fi) * 2001-05-08 2001-05-08 Nokia Corp Menetelmä ja järjestely laajennetun käyttöliittymän muodostamiseksi
US6996777B2 (en) * 2001-11-29 2006-02-07 Nokia Corporation Method and apparatus for presenting auditory icons in a mobile terminal
US20030142143A1 (en) * 2002-01-28 2003-07-31 International Business Machines Corporation Varying heights of application images to convey application status
US20030142133A1 (en) * 2002-01-28 2003-07-31 International Business Machines Corporation Adjusting transparency of windows to reflect recent use
US7146573B2 (en) * 2002-01-28 2006-12-05 International Business Machines Corporation Automatic window representation adjustment
US20030142141A1 (en) * 2002-01-28 2003-07-31 International Business Machines Corporation Displaying specified resource usage
US20030142140A1 (en) * 2002-01-28 2003-07-31 International Business Machines Corporation Adjusting the tint of a translucent window to convey status
US20030142149A1 (en) * 2002-01-28 2003-07-31 International Business Machines Corporation Specifying audio output according to window graphical characteristics
US20030142137A1 (en) * 2002-01-28 2003-07-31 International Business Machines Corporation Selectively adjusting the order of windows in response to a scroll wheel rotation
US6954905B2 (en) * 2002-01-28 2005-10-11 International Business Machines Corporation Displaying transparency characteristic aids
JP4465142B2 (ja) * 2002-01-30 2010-05-19 富士通株式会社 ウィンドウ表示制御プログラム、ウィンドウ表示制御方法およびウィンドウ表示制御装置
US7062723B2 (en) * 2002-05-20 2006-06-13 Gateway Inc. Systems, methods and apparatus for magnifying portions of a display
US20030234763A1 (en) * 2002-06-24 2003-12-25 Xerox Corporation System and method for audible feedback for touch screen displays
US6999066B2 (en) * 2002-06-24 2006-02-14 Xerox Corporation System for audible feedback for touch screen displays
US8261184B2 (en) * 2002-08-02 2012-09-04 Ignatius Xavier Haase Apparatus and method for encoding and displaying documents
US20040051746A1 (en) * 2002-09-13 2004-03-18 Xerox Corporation Embedded control panel for multi-function equipment
US7176898B2 (en) 2002-09-13 2007-02-13 Xerox Corporation Removable control panel for multi-function equipment
US7667710B2 (en) 2003-04-25 2010-02-23 Broadcom Corporation Graphics display system with line buffer control scheme
US7334195B2 (en) * 2003-10-14 2008-02-19 Microsoft Corporation System and process for presenting search results in a histogram/cluster format
US8063916B2 (en) 2003-10-22 2011-11-22 Broadcom Corporation Graphics layer reduction for video composition
US7735012B2 (en) * 2004-11-04 2010-06-08 Apple Inc. Audio user interface for computing devices
TWI263972B (en) * 2005-05-25 2006-10-11 Via Tech Inc An apparatus for image scrolling detection and method of the same
US8677377B2 (en) 2005-09-08 2014-03-18 Apple Inc. Method and apparatus for building an intelligent automated assistant
WO2007068119A1 (en) * 2005-12-13 2007-06-21 Audio Pod Inc. Segmentation and transmission of audio streams
US9318108B2 (en) 2010-01-18 2016-04-19 Apple Inc. Intelligent automated assistant
US20080238886A1 (en) * 2007-03-29 2008-10-02 Sony Ericsson Mobile Communications Ab Method for providing tactile feedback for touch-based input device
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
US9330720B2 (en) 2008-01-03 2016-05-03 Apple Inc. Methods and apparatus for altering audio output signals
US7552396B1 (en) * 2008-04-04 2009-06-23 International Business Machines Corporation Associating screen position with audio location to detect changes to the performance of an application
US8996376B2 (en) 2008-04-05 2015-03-31 Apple Inc. Intelligent text-to-speech conversion
US10496753B2 (en) 2010-01-18 2019-12-03 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US8249263B2 (en) * 2008-05-15 2012-08-21 International Business Machines Corporation Method and apparatus for providing audio motion feedback in a simulated three-dimensional environment
US20100030549A1 (en) 2008-07-31 2010-02-04 Lee Michael M Mobile device having human language translation capability with positional feedback
US8898568B2 (en) 2008-09-09 2014-11-25 Apple Inc. Audio user interface
WO2010067118A1 (en) 2008-12-11 2010-06-17 Novauris Technologies Limited Speech recognition involving a mobile device
US10241644B2 (en) 2011-06-03 2019-03-26 Apple Inc. Actionable reminder entries
US9858925B2 (en) 2009-06-05 2018-01-02 Apple Inc. Using context information to facilitate processing of commands in a virtual assistant
US10241752B2 (en) 2011-09-30 2019-03-26 Apple Inc. Interface for a virtual digital assistant
US10706373B2 (en) 2011-06-03 2020-07-07 Apple Inc. Performing actions associated with task items that represent tasks to perform
US9431006B2 (en) 2009-07-02 2016-08-30 Apple Inc. Methods and apparatuses for automatic speech recognition
US10679605B2 (en) 2010-01-18 2020-06-09 Apple Inc. Hands-free list-reading by intelligent automated assistant
US10705794B2 (en) 2010-01-18 2020-07-07 Apple Inc. Automatically adapting user interfaces for hands-free interaction
US10276170B2 (en) 2010-01-18 2019-04-30 Apple Inc. Intelligent automated assistant
US10553209B2 (en) 2010-01-18 2020-02-04 Apple Inc. Systems and methods for hands-free notification summaries
US8682667B2 (en) 2010-02-25 2014-03-25 Apple Inc. User profiling for selecting user specific voice input processing information
US10762293B2 (en) 2010-12-22 2020-09-01 Apple Inc. Using parts-of-speech tagging and named entity recognition for spelling correction
US9262612B2 (en) 2011-03-21 2016-02-16 Apple Inc. Device access using voice authentication
WO2012140525A1 (en) 2011-04-12 2012-10-18 International Business Machines Corporation Translating user interface sounds into 3d audio space
US10057736B2 (en) 2011-06-03 2018-08-21 Apple Inc. Active transport based notifications
USD749085S1 (en) * 2011-08-23 2016-02-09 Sony Corporation Display panel or screen with graphical user interface
US8994660B2 (en) 2011-08-29 2015-03-31 Apple Inc. Text correction processing
US10134385B2 (en) 2012-03-02 2018-11-20 Apple Inc. Systems and methods for name pronunciation
US9483461B2 (en) 2012-03-06 2016-11-01 Apple Inc. Handling speech synthesis of content for multiple languages
US9280610B2 (en) 2012-05-14 2016-03-08 Apple Inc. Crowd sourcing information to fulfill user requests
US9721563B2 (en) 2012-06-08 2017-08-01 Apple Inc. Name recognition system
US9495129B2 (en) 2012-06-29 2016-11-15 Apple Inc. Device, method, and user interface for voice-activated navigation and browsing of a document
US9576574B2 (en) 2012-09-10 2017-02-21 Apple Inc. Context-sensitive handling of interruptions by intelligent digital assistant
US9547647B2 (en) 2012-09-19 2017-01-17 Apple Inc. Voice-based media searching
DE212014000045U1 (de) 2013-02-07 2015-09-24 Apple Inc. Sprach-Trigger für einen digitalen Assistenten
US10652394B2 (en) 2013-03-14 2020-05-12 Apple Inc. System and method for processing voicemail
US9368114B2 (en) 2013-03-14 2016-06-14 Apple Inc. Context-sensitive handling of interruptions
WO2014144579A1 (en) 2013-03-15 2014-09-18 Apple Inc. System and method for updating an adaptive speech recognition model
KR101759009B1 (ko) 2013-03-15 2017-07-17 애플 인크. 적어도 부분적인 보이스 커맨드 시스템을 트레이닝시키는 것
WO2014197336A1 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for detecting errors in interactions with a voice-based digital assistant
WO2014197334A2 (en) 2013-06-07 2014-12-11 Apple Inc. System and method for user-specified pronunciation of words for speech synthesis and recognition
US9582608B2 (en) 2013-06-07 2017-02-28 Apple Inc. Unified ranking with entropy-weighted information for phrase-based semantic auto-completion
WO2014197335A1 (en) 2013-06-08 2014-12-11 Apple Inc. Interpreting and acting upon commands that involve sharing information with remote devices
US10176167B2 (en) 2013-06-09 2019-01-08 Apple Inc. System and method for inferring user intent from speech inputs
JP6259911B2 (ja) 2013-06-09 2018-01-10 アップル インコーポレイテッド デジタルアシスタントの２つ以上のインスタンスにわたる会話持続を可能にするための機器、方法、及びグラフィカルユーザインタフェース
KR101809808B1 (ko) 2013-06-13 2017-12-15 애플 인크. 음성 명령에 의해 개시되는 긴급 전화를 걸기 위한 시스템 및 방법
DE112014003653B4 (de) 2013-08-06 2024-04-18 Apple Inc. Automatisch aktivierende intelligente Antworten auf der Grundlage von Aktivitäten von entfernt angeordneten Vorrichtungen
US9620105B2 (en) 2014-05-15 2017-04-11 Apple Inc. Analyzing audio input for efficient speech and music recognition
US10592095B2 (en) 2014-05-23 2020-03-17 Apple Inc. Instantaneous speaking of content on touch devices
US9502031B2 (en) 2014-05-27 2016-11-22 Apple Inc. Method for supporting dynamic grammars in WFST-based ASR
US9430463B2 (en) 2014-05-30 2016-08-30 Apple Inc. Exemplar-based natural language processing
US9785630B2 (en) 2014-05-30 2017-10-10 Apple Inc. Text prediction using combined word N-gram and unigram language models
US10289433B2 (en) 2014-05-30 2019-05-14 Apple Inc. Domain specific language for encoding assistant dialog
US9760559B2 (en) 2014-05-30 2017-09-12 Apple Inc. Predictive text input
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
WO2015184186A1 (en) 2014-05-30 2015-12-03 Apple Inc. Multi-command single utterance input method
US9633004B2 (en) 2014-05-30 2017-04-25 Apple Inc. Better resolution when referencing to concepts
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9842101B2 (en) 2014-05-30 2017-12-12 Apple Inc. Predictive conversion of language input
US10078631B2 (en) 2014-05-30 2018-09-18 Apple Inc. Entropy-guided text prediction using combined word and character n-gram language models
US9734193B2 (en) 2014-05-30 2017-08-15 Apple Inc. Determining domain salience ranking from ambiguous words in natural speech
US10659851B2 (en) 2014-06-30 2020-05-19 Apple Inc. Real-time digital assistant knowledge updates
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10446141B2 (en) 2014-08-28 2019-10-15 Apple Inc. Automatic speech recognition based on user feedback
US9818400B2 (en) 2014-09-11 2017-11-14 Apple Inc. Method and apparatus for discovering trending terms in speech requests
US10789041B2 (en) 2014-09-12 2020-09-29 Apple Inc. Dynamic thresholds for always listening speech trigger
US9886432B2 (en) 2014-09-30 2018-02-06 Apple Inc. Parsimonious handling of word inflection via categorical stem + suffix N-gram language models
US9668121B2 (en) 2014-09-30 2017-05-30 Apple Inc. Social reminders
US10074360B2 (en) 2014-09-30 2018-09-11 Apple Inc. Providing an indication of the suitability of speech recognition
US9646609B2 (en) 2014-09-30 2017-05-09 Apple Inc. Caching apparatus for serving phonetic pronunciations
US10127911B2 (en) 2014-09-30 2018-11-13 Apple Inc. Speaker identification and unsupervised speaker adaptation techniques
US10552013B2 (en) 2014-12-02 2020-02-04 Apple Inc. Data detection
US9711141B2 (en) 2014-12-09 2017-07-18 Apple Inc. Disambiguating heteronyms in speech synthesis
US9865280B2 (en) 2015-03-06 2018-01-09 Apple Inc. Structured dictation using intelligent automated assistants
US9721566B2 (en) 2015-03-08 2017-08-01 Apple Inc. Competing devices responding to voice triggers
US9886953B2 (en) 2015-03-08 2018-02-06 Apple Inc. Virtual assistant activation
US10567477B2 (en) 2015-03-08 2020-02-18 Apple Inc. Virtual assistant continuity
US9899019B2 (en) 2015-03-18 2018-02-20 Apple Inc. Systems and methods for structured stem and suffix language models
US9842105B2 (en) 2015-04-16 2017-12-12 Apple Inc. Parsimonious continuous-space phrase representations for natural language processing
US10083688B2 (en) 2015-05-27 2018-09-25 Apple Inc. Device voice control for selecting a displayed affordance
US10127220B2 (en) 2015-06-04 2018-11-13 Apple Inc. Language identification from short strings
US10101822B2 (en) 2015-06-05 2018-10-16 Apple Inc. Language input correction
US11025565B2 (en) 2015-06-07 2021-06-01 Apple Inc. Personalized prediction of responses for instant messaging
US10255907B2 (en) 2015-06-07 2019-04-09 Apple Inc. Automatic accent detection using acoustic models
US10186254B2 (en) 2015-06-07 2019-01-22 Apple Inc. Context-based endpoint detection
US10747498B2 (en) 2015-09-08 2020-08-18 Apple Inc. Zero latency digital assistant
US10671428B2 (en) 2015-09-08 2020-06-02 Apple Inc. Distributed personal assistant
US9697820B2 (en) 2015-09-24 2017-07-04 Apple Inc. Unit-selection text-to-speech synthesis using concatenation-sensitive neural networks
US11010550B2 (en) 2015-09-29 2021-05-18 Apple Inc. Unified language modeling framework for word prediction, auto-completion and auto-correction
US10366158B2 (en) 2015-09-29 2019-07-30 Apple Inc. Efficient word encoding for recurrent neural network language models
US11587559B2 (en) 2015-09-30 2023-02-21 Apple Inc. Intelligent device identification
US10691473B2 (en) 2015-11-06 2020-06-23 Apple Inc. Intelligent automated assistant in a messaging environment
US10049668B2 (en) 2015-12-02 2018-08-14 Apple Inc. Applying neural network language models to weighted finite state transducers for automatic speech recognition
US10223066B2 (en) 2015-12-23 2019-03-05 Apple Inc. Proactive assistance based on dialog communication between devices
US10446143B2 (en) 2016-03-14 2019-10-15 Apple Inc. Identification of voice inputs providing credentials
US9934775B2 (en) 2016-05-26 2018-04-03 Apple Inc. Unit-selection text-to-speech synthesis based on predicted concatenation parameters
US9972304B2 (en) 2016-06-03 2018-05-15 Apple Inc. Privacy preserving distributed evaluation framework for embedded personalized systems
US10249300B2 (en) 2016-06-06 2019-04-02 Apple Inc. Intelligent list reading
US10049663B2 (en) 2016-06-08 2018-08-14 Apple, Inc. Intelligent automated assistant for media exploration
DK179309B1 (en) 2016-06-09 2018-04-23 Apple Inc Intelligent automated assistant in a home environment
US10509862B2 (en) 2016-06-10 2019-12-17 Apple Inc. Dynamic phrase expansion of language input
US10192552B2 (en) 2016-06-10 2019-01-29 Apple Inc. Digital assistant providing whispered speech
US10490187B2 (en) 2016-06-10 2019-11-26 Apple Inc. Digital assistant providing automated status report
US10067938B2 (en) 2016-06-10 2018-09-04 Apple Inc. Multilingual word prediction
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
DK179343B1 (en) 2016-06-11 2018-05-14 Apple Inc Intelligent task discovery
DK179415B1 (en) 2016-06-11 2018-06-14 Apple Inc Intelligent device arbitration and control
DK179049B1 (en) 2016-06-11 2017-09-18 Apple Inc Data driven natural language event detection and classification
DK201670540A1 (en) 2016-06-11 2018-01-08 Apple Inc Application integration with a digital assistant
US10593346B2 (en) 2016-12-22 2020-03-17 Apple Inc. Rank-reduced token representation for automatic speech recognition
US10691406B2 (en) 2017-02-16 2020-06-23 Microsoft Technology Licensing, Llc. Audio and visual representation of focus movements
DK179745B1 (en) 2017-05-12 2019-05-01 Apple Inc. SYNCHRONIZATION AND TASK DELEGATION OF A DIGITAL ASSISTANT
DK201770431A1 (en) 2017-05-15 2018-12-20 Apple Inc. Optimizing dialogue policy decisions for digital assistants using implicit feedback
US10996933B2 (en) 2018-03-29 2021-05-04 Jean Marie Richardson Facilitation of flexible platform user interfaces

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5208745A (en) * 1988-07-25 1993-05-04 Electric Power Research Institute Multimedia interface and method for computer system
US5016003A (en) * 1988-10-27 1991-05-14 Rice-Kelly Research And Engineering, Inc. Environmental control system for the handicapped
JPH0354667A (ja) * 1989-07-21 1991-03-08 Pioneer Electron Corp 再生情報の疑問点解決支援装置
US5339391A (en) * 1990-05-14 1994-08-16 Microelectronics And Computer Technology Corporation Computer display unit with attribute enhanced scroll bar
CA2068476C (en) * 1991-08-19 1996-07-23 Frank A. Mckiel, Jr. Audio user interface with stereo and filtered sound effects
US5223828A (en) * 1991-08-19 1993-06-29 International Business Machines Corporation Method and system for enabling a blind computer user to handle message boxes in a graphical user interface
US5186629A (en) * 1991-08-22 1993-02-16 International Business Machines Corporation Virtual graphics display capable of presenting icons and windows to the blind computer user and method
US5371846A (en) * 1991-10-16 1994-12-06 International Business Machines Corporation Non-linear scroll bar
US5287102A (en) * 1991-12-20 1994-02-15 International Business Machines Corporation Method and system for enabling a blind computer user to locate icons in a graphical user interface

Also Published As

Publication number Publication date
DE69327709T2 (de) 2000-07-06
EP0604340B1 (en) 2000-01-26
DE69327709D1 (de) 2000-03-02
JP2599562B2 (ja) 1997-04-09
US5533182A (en) 1996-07-02
EP0604340A1 (en) 1994-06-29

Similar Documents

Publication Publication Date Title
JP2599562B2 (ja) 可視オブジェクト内のユーザが興味を持つロケーションを同定する方法及び装置
US5539871A (en) Method and system for accessing associated data sets in a multimedia environment in a data processing system
JP7488304B2 (ja) 環境を注釈し、測定し、かつモデリングするためのシステム、方法、及びグラフィカルユーザインタフェース
US6564186B1 (en) Method of displaying information to a user in multiple windows
JP3575598B2 (ja) コンピュータ・ディスプレイ用の音声投射方法及びシステム
US5768607A (en) Method and apparatus for freehand annotation and drawings incorporating sound and for compressing and synchronizing sound
US6113394A (en) Reading aid
US5477241A (en) Method of resetting a computer video display mode
US6861951B2 (en) Methods and apparatus for generating a data structure indicative of an alarm system circuit
JP2002530767A (ja) 関連付けられた電子的データを有する印刷書籍
JP2001195165A (ja) Ｇｕｉ制御方法及び装置並びに記録媒体
JPH10154061A (ja) 情報処理装置及びプログラム記憶媒体
JP2003512668A (ja) 情報処理装置
JPH11345233A (ja) 文書処理方法および装置ならびに記録媒体
JPH07104872B2 (ja) データ処理システムによるマルチメディア表示における特定のセグメントの効率的な指定及び検索の方法及びシステム
JP3340581B2 (ja) テキスト読み上げ装置及びウインドウシステム
JP3203061B2 (ja) 音声電子黒板及び音声認識機能を備える表示装置
JPH04271428A (ja) 情報管理システム形成使用方法とそのシステムとその装置
WO2022111392A1 (zh) 一种视频处理方法、装置、设备及存储介质
JPH07168691A (ja) 表示図形領域選択方式
JPH09134368A (ja) 地図表示システム
JP2001014313A (ja) 文書処理装置、文書処理方法、及び記録媒体
JPH07295531A (ja) スクリーン・セーバー、スクリーン・セーバーの表示データ管理方式、簡易画像データ・ベース及び表示画面機密保持方式
JPH08160989A (ja) サウンドデータリンク編集方法
JPH06230916A (ja) グラフィック・オブジェクトの状況の非視覚的決定方法及びシステム