JPH0580009B2 - - Google Patents
Info
- Publication number
- JPH0580009B2 JPH0580009B2 JP2110657A JP11065790A JPH0580009B2 JP H0580009 B2 JPH0580009 B2 JP H0580009B2 JP 2110657 A JP2110657 A JP 2110657A JP 11065790 A JP11065790 A JP 11065790A JP H0580009 B2 JPH0580009 B2 JP H0580009B2
- Authority
- JP
- Japan
- Prior art keywords
- input
- user
- profile
- application program
- application
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 230000000694 effects Effects 0.000 claims description 31
- 230000004044 response Effects 0.000 claims description 13
- 238000013507 mapping Methods 0.000 claims description 2
- 238000000034 method Methods 0.000 description 11
- 238000010586 diagram Methods 0.000 description 10
- 230000006870 function Effects 0.000 description 10
- 241001422033 Thestylus Species 0.000 description 8
- 230000009471 action Effects 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000003993 interaction Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 239000004020 conductor Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 3
- 230000007613 environmental effect Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000001427 coherent effect Effects 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/10—Program control for peripheral devices
- G06F13/105—Program control for peripheral devices where the programme performs an input/output emulation function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
- G06F9/45508—Runtime interpretation or emulation, e g. emulator loops, bytecode interpretation
- G06F9/45512—Command shells
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Description
Ａ 産業上の利用分野
本発明はデイジタル・コンピユータに入力デー
タを入力する際の改良に関する。詳細に説明すれ
ば、本発明は、元々或る特定の入力装置の使用を
想定して記述されたプログラムを実行中のコンピ
ユータにデータを入力するために、ユーザが少な
くとも１つの他の入力装置を選択することを可能
にする拡張ユーザ・インタフエースに関する。 Ｂ 従来の技術 従来、コンピユータは科学者、数学者及びその
他の高いレベルの洗練されたコンピユータ・ユー
ザによつてのみ使用されていた。コンピユータ技
術が進歩するにつれて、特にパーソナルコンピユ
ータの出現によつて、データ処理はあらゆるレベ
ルの社会、あらゆるレベルのユーザに広がつてい
る。その結果、コンピユータ・ユーザがコンピユ
ータ専門家又は高度のデータ処理技術を有する人
である場合が減少する傾向にある。コンピユー
タ・ハードウエア及びソフトウエアは能力及び効
率が高くなるにつれて、将来は更にコンピユータ
の利用が増大するであろう。 しかしながら、コンピユータが普及している社
会にもかかわらず、多くの人々はコンピユータの
使用法について懸念を持つている。在来のテキス
ト表示及び英数字キーボード入力装置は容易には
習得されず、数百には達しないが、多数の正しい
コマンドの形式の記憶を必要とする。ユーザはか
なりすぐれたタイピストでない限り、データ入力
は不便であり時間を浪費することがある。１つの
ソフトウエアに熟達するのに必要とする施行のた
めの時間は、その努力も避けようとするような不
慣れなユーザにとつては極めていらだたしいもの
である。 ゆえに、技術的に“ユーザに親切な人”入力装
置及びコンピユータ・プログラムとして知られて
いるものを設計することが必要となつている。前
記“ユーザに親切な”装置及びソフトウエアは不
慣れなユーザが長い訓練を経ずに所望のタスクを
実行できるように設計される。比較的人気のある
入力装置の１つはマウス指示装置である。マウス
はそれが平らな面をユーザによつて移動される方
向及び距離に対応する信号を生成する。コンピユ
ータは、コンピユータ表示装置でカーソルの位置
を変更することにより、この情報に応答し、ユー
ザが任意の表示された対象を指すことを可能にす
る。カーソルが正しく位置設定された後は、ユー
ザはマウスの上部の１つ又は２つ以上のボタンを
押すことにより多数の機能を実行することができ
る。 人間工学研究によれば、ユーザがコンピユータ
の表示装置画面に直にデータを入力することを可
能にする装置−技術的には接触入力装置として一
般に知られている−は人間機械間の親密さを最大
にする。表示面で用いる初期の入力装置の１つは
ライトペンであつた。ライトペンは手に持つて
CRTの表面に当てる光検出器である。ライトペ
ンの位置は光のドツト−表示装置を走査するラス
タ−の座標を検出することによつて決定される。
もう１つのタイプの接触入力装置は表示画面上に
取付けられた機械的に変形する膜である。この膜
は柔軟な表面に配置された２つの透明な導体の面
から成る透明なオーバレー（overlay）である。
選択が行われると、ユーザは導体の面の１つを指
又はスタイラス接触によつて他の１つに接触する
ように機械的に変形させ、それによつて、それら
の導体を互いに電気的に接触させる。適切な電子
装置及びソフトウエアにより指又はスタイラス接
触で生成された電気信号は表示面上の位置に変換
される。もう１つの接触入力装置は表示画面の上
に置かれた容量性の透明なオーバレーであつて、
電磁信号によつて駆動される透明な導体を含む。
この入力装置はオーバレーの容量の変化によつて
指が接触した位置を検出することができる。又
は、代りにスタイラスが使用され、スタイラスの
位置を決定するためにオーバレーからの電磁信号
をコンピユータに送り返す。更にもう１つの接触
入力装置は、表示画面の回りにはめこまれ、水平
及び垂直方向に並行して配列された多数の赤外線
又は可視光線送信器及び受信器を有するフレーム
を用いる。ユーザの指が光ビームをさえぎると、
水平及び垂直方向の受信器は信号の欠如に気づ
き、それによつてユーザが望む活動の位置を見つ
ける。 音声認識装置又はデイジタル・タブレツトのよ
うな、ユーザの活動に応答する多くの他の、ユー
ザに親切な入力装置が開発されている。 ユーザに親切な入力装置に加えて、設計者はよ
りユーザに親切なソフトウエアを開発するために
努力している。採用されている１つの手法は特定
のタスク又は実行可能な機能を選択するためのメ
ニユーを提供することである。この方法では、ユ
ーザは長いコマンドのリストを記憶する必要はな
い。メニユーは画面表示の全部又は一部分が用い
られ、キーボード又は他のカーソル移動装置によ
つてカーソルがメニユー項目に隣接するスペース
に移され、特定の活動を選択することができる。
代りに、ユーザはメニユー選択に関連した英数字
をコマンド行に書込むことにより、ある活動を選
択することができる。 もう１つの最近の傾向は統合された幾つかの種
類のコンピユータ・プログラム・アプリケーシヨ
ンを提供することである。統合されなければ、ユ
ーザはワード処理、データベース操作、グラフイ
ツクス及び電子メール機能等のために別々のアプ
リケーシヨン・プログラムを使用する必要があ
る。異なるプログラムの出力を統合して１つの所
望の出力にすることはかなり困難なことがよくあ
る。１つの解法は種々のアプリケーシヨンを含む
１つの統合されたソフトウエアの部分−多重機能
プログラムと呼ばれる−を記述することである。
一般に、これらの多重機能プログラムはテキス
ト、スプレツドシート及びビジネス用グラフ作成
アプリケーシヨンを含む。 別のアプローチはマイクロソフト社の
WINDOWS（TM）−TMは商標を表わす−又は
IBM社のプレゼンテーシヨン・マネジヤ（TM）
によつて実現されるような統合操作環境を提供す
ることである。このアプローチでは、個々のアプ
リケーシヨン・プログラムは情報を共有し且つし
ばしば同時に表示画面に、各々がそれ自身のウイ
ンドーに、現われる。最も有力な個々のアプリケ
ーシヨン・プログラムを選択することにより、ず
つと有力な環境をユーザの特定の要求に合わせる
ことができる。これとは対照的に、多重機能プロ
グラムの場合は、パツケージに組込まれるアプリ
ケーシヨン・プログラムが何であつても、ユーザ
はこれらのプログラムに制約されてしまう。 あいにく、多くのユーザに親切な入力装置及び
多くのユーザに親切なコンピユータ・プログラム
が開発されているのに、これらの努力はうまく統
合されていない。例えば、キーボード入力又はマ
ウス入力を受入れるように記述されているが接触
入力装置又は音声認識装置からの情報を認識しな
い多数のプログラムがある。この状況はユーザに
親切な新しい入力装置の導入及び広範な利用にと
つて深刻な障害を呈する。プログラマは既存のソ
フトウエアの大部分に大幅な変更を行うか、新し
い多重機能プログラムを記述するか、又は新しい
入力装置が開発される毎にアプリケーシヨン・プ
ログラムのセツトを記述しなければならない。こ
れらの代案は追加の開発費用及び時間を相当に必
要とするので、入力装置を開発する組織の能力の
範囲を越えたり、期待される利益に比し費用が掛
かり過ぎたりすることがある。更に、著作権又は
他の所有権上の問題が存在するために入力装置の
開発者が既存のソフトウエアを改変できないこと
がある。更に、新たに開発されたソフトウエア
は、特定の目的のために既に記述されている確立
されたアプリケーシヨン・プログラムほどには効
率的ではなかつたり商業的にユーザに受入れられ
なかつたりすることがある。 最後の考慮事項は、個々のユーザは自らの要求
をたぶん最もよく承知しているが、アプリケーシ
ヨン・プログラムの大幅な変更を自ら行うことは
殆んど不可能であるばかりか、その感心があるよ
うにも見えないことである。ユーザが該ユーザの
目的に最もよく役立つ特定の入力装置及びアプリ
ケーシヨン・プログラムを選択することが可能で
あり、しかも比較的低い技術レベルで以て自らと
コンピユータの間のユーザに親切なインタフエー
ス内の構成要素を組立てることが可能であれば、
好都合である。プログラマにより開発された一般
的な解法は特定のユーザの要求にとつては最適で
はないかも知れない。また、入力装置及びアプリ
ケーシヨン・プログラムが将来において改善され
たとしても、インタフエースの最小限度の変更を
行うだけでこれに対処できることをユーザに保証
することができれば、好都合である。 Ｃ 発明が解決しようとする課題 本発明の目的はユーザがコンピユータ・システ
ムにデータを入力する入力装置を複数の入力装置
から選択することを可能にすることである。 本発明のもう１つの目的は活動状態のアプリケ
ーシヨン・プログラムを変更することなく、当該
プログラムが最初に記述されたときに使用を意図
していた入力装置とは異なる入力装置を介してコ
ンピユータ・システムに情報を入力することであ
る。 本発明の更にもう１つの目的は割合に不慣れな
ユーザが使用可能なアプリケーシヨン・プログラ
ム及び入力装置から特定のものをそれぞれ選択
し、自らの要求に合わせて特に設計されたユー
ザ・インタフエースを構築することを可能にする
ことである。 本発明の更にもう１つの目的はユーザに親切な
入力装置及びアプリケーシヨン・プログラムの将
来の拡張に適応できるようにユーザ・インタフエ
ースを構築することである。 本発明の更にもう１つの目的は１つのコンピユ
ータを操作する異なるユーザが、データを入力す
る際に、個々の選択に合わせて異なるユーザ・イ
ンタフエースを構築することを可能にすることで
ある。 Ｄ 課題を解決するための手段 これらの目的は複数のアプリケーシヨン・プロ
グラムを実行できる統合操作環境とともに動作
し、該環境によつて提供されるメツセージ及び集
中（focusing）機能を利用する拡張ユーザ・イン
タフエースによつてなし遂げられる。拡張ユー
ザ・インタフエースは３つの主要なモジユール、
代替入力サブシステム・モジユール、インタフエ
ース・プロフアイル・モジユール及び環境リン
ク・モジユールから成る。代替入力サブシステ
ム・モジユールは接続されたユーザに親切な入力
装置と拡張ユーザ・インタフエースの残りのもの
並びにアプリケーシヨン・プログラムの間の通信
を統合操作環境を通して提供する。代替入力サブ
システム・モジユールは入力装置によつて生成さ
れた入力信号を受取り、それらを拡張ユーザ・イ
ンタフエースで使用可能な入力メツセージに変換
する。 インタフエース・プロフアイル・モジユールは
アプリケーシヨン・プロフアイルのセツトから成
る。すなわち、ユーザが望んでいる各入力装置の
使用方法が各アプリケーシヨン・プログラムに最
初に記述されている使用方法と異なる場合には、
かかるアプリケーシヨン・プログラム毎に１つの
アプリケーシヨン・プロフアイルが設けられる。
完全に新しい入力装置をかかるアプリケーシヨ
ン・プログラムによつて用いることができ、又は
オプシヨンとして、ユーザは既存の入力装置の入
力信号を、その入力装置用に最初に記述されたア
プリケーシヨン・プログラムへの入力信号とは異
なるように変更することもできる。アプリケーシ
ヨン・プロフアイルの各々は、アプリケーシヨ
ン・プログラムによつて使用可能な対応するコマ
ンドに写像された、入力メツセージのリストを含
む。インタフエース・プロフアイル・モジユール
は、コンピユータ・システムを利用するユーザ毎
に、ユーザ・プロフアイルのセツトを含むことも
ある。ユーザ・プロフアイルは入力メツセージ及
び幾つかのアプリケーシヨン・プログラムが共有
することがあるそれらの対応するコマンドを含
む。 環境リンク・モジユールは統合操作環境と通信
し、拡張ユーザ・インタフエース手順を実行する
ためのアルゴリズムを含む。例えば、該モジユー
ルは代替入力サブシステムによつて生成された入
力メツセージを取得し、どのアプリケーシヨン・
プログラムが活動状態であるかについて統合操作
環境に質問し、インタフエース・プロフアイル・
モジユール内の適切なアプリケーシヨン・プロフ
アイルにある対応するコマンドと該入力メツセー
ジを突合せ、そして命令のセツトに基づいた活
動、例えば該操作環境を介して活動状態のアプリ
ケーシヨン・プログラムへのメツセージの送付を
開始する。拡張ユーザ・インタフエースはポツプ
アツプ・キーボード又はイメージ拡大ユーテイリ
テイのようなユーテイリテイ・プログラムのセツ
トを含むこともある。 Ｅ 実施例 第１図はプレゼンテーシヨンマネジヤのような
典型的な統合操作環境５６でアプリケーシヨン・
プログラムＡ５０，Ｂ５１，Ｃ５２及びＤ５３を
利用するコンピユータ・システムとユーザの対話
を示す。 ユーザは装置Ａ（キーボード）３２、装置Ｂ（マ
ウス）３４又は接触センサ３６を介してコンピユ
ータ・システムにデータを入力する。ユーザがデ
ータを入力すると、選択された装置は適切なドラ
イバを活動化するために割込みを発生する。キー
ボード３２の場合には、ドライバＡ６０が活動化
され、マウス３４の場合には、ドライバＢ６２が
活動化され、接触センサ３６への入力は接触ドラ
イバ６３を活動化する。適切なドライバは統合操
作環境５６に信号を送る。統合操作環境５６はど
のアプリケーシヨン・プログラムが活動状態であ
るかを追跡し、全ての入力データを当該アプリケ
ーシヨン・プログラムに送る。代りに、ユーザは
アプリケーシヨン・プログラムを変更することが
でき、統合操作環境５６はメツセージを新たに活
動化されたアプリケーシヨン・プログラムに回送
する。１つの良好な実施例では、アプリケーシヨ
ン・プログラムＡ５０はスプレツドシート・プロ
グラムであり、アプリケーシヨン・プログラムＢ
５１はワード・プロセツサであり、アプリケーシ
ヨン・プログラムＣ５２は図形プログラムであ
り、そしてアプリケーシヨン・プログラムＤ５３
は電子メール機能である。統合操作環境５６は所
与の時点でユーザの“集中点”を決定するので、
活動状態のプログラムの追跡は“集中機能”であ
る。説明のため、ユーザはキーボード３２を介し
てデータを入力中であり、スプレツドシート５０
は活動状態のアプリケーシヨン・プログラムであ
ると仮定すると、スプレツドシート５０はどの活
動を実行すべきかを判定する。一般に、この活動
は３種類の活動：“スプレツドシート５０は表示
装置２８を変更する”、“スプレツドシート５０は
プリンタのような他のＩ／Ｏ装置と通信する”、
又は“スプレツドシート５０は他のアプリケーシ
ヨンと通信する”のうちの１つになる。これらの
メツセージの全ては統合操作環境５６によつて処
理される。 従来の技術の統合操作環境は複数のアプリケー
シヨン・プログラムのアクセスを容易にするの
で、ユーザは自らの要求に最もよく適合する特定
のアプリケーシヨン・プログラムを選択できる
が、ユーザが特定のアプリケーシヨン・プログラ
ムと通信するためにはこのプログラムが最初に記
述されたときに想定されていた特定の入力装置を
使用しなければならない。例えば、スプレツドシ
ート５０はキーボード３２及びマウス３４の組合
せについて記述されているプログラムである。接
触ドライバ６３は首尾一貫して統合操作環境５６
と通信するように開発されているが、接触センサ
３６によつて生成された信号をマウス移動及びマ
ウス・クリツクに変換することにより、接触入力
装置３６の能力はマウス装置の能力の範囲に限定
される。手書き文字又はジエスチヤの認識のよう
な新しい種類のコマンドは、この方法によつて、
特にスプレツドシート５０のような、接触コマン
ドのタイプが何を意味するかを理解しないアプリ
ケーシヨン・プログラムいによつて適応させるこ
とは容易にはできない。他の新しい入力装置は更
に厳しく制限される。従つて、システム設計者又
はユーザは新たなユーザ親切な入力装置を個々の
ワークステーシヨンに含めようとするが、既存の
ソフトウエアの使用は不可能であるか又は厳しく
制約されることに気づくであろう。 本発明の良好な実施例は第２図に示すようなユ
ーザとコンピユータ・システムの間の対話を制御
するコンピユータ・プログラムのセツトを含む。
本発明は主としてパーソナルコンピユータ、例え
ばIBM PS／２（TM）での利用を企図している
が、本発明の原理は他の個々のワークステーシヨ
ン又は大規模なデータ処理システムに拡張するこ
とができる。第２図の構造ブロツク図はシステ
ム・バス２２によつて読取専用メモリ（ROM）
２４及びランダム・アクセス・メモリ（RAM）
２６に接続された中央演算処理装置（CPU）２
０を含む。第２図のコンピユータ・システムに
は、コンピユータがユーザに情報を表示する表示
装置２８、キーボード３０を含む複数の入力装
置、及び装置Ａ３２並びに装置Ｂ３４−これらは
下記の説明では第２の英数字キーボード３２及び
マウス３４であるが、数字キーボードのような専
用のキーボードでも、遠隔指示装置又は他の種々
の入力装置でもよい−も含む。更に、コンピユー
タ・システムは接触センサ３６、即ち表示装置２
８の表面で用いる接触入力装置、音声センサ３８
及びイメージ・センサ４０を含む。Ｉ／Ｏ４２は
通信ライン又は他のＩ／Ｏ装置に接続することが
できる。 ランダム・アクセス・メモリ（RAM）２６は
アプリケーシヨン・プログラムＡ５０、アプリケ
ーシヨンプログラムＢ５１、アプリケーシヨン・
プログラムＣ５２及びアプリケーシヨン・プログ
ラムＤ５３を含む。典型的なアプリケーシヨン・
プログラムの例はワード・プロセツサ、スプレツ
ドシート、図形プログラム、電子メール及びデー
タベース・プログラムを含む。RAM２６はオペ
レーテイング・システム５４、例えばDOS（TM）
又はOS／２（TM）、及び統合操作環境プログラ
ム５６、例えばWINDOWS（TM）又はプレゼン
テーシヨン・マネジヤ（TM）も記憶し、幾つか
のアプリケーシヨン・プログラムの同時実行を可
能にする。他のソフトウエアはドライバＡ６０及
びドライバＢ６２を含み、これらのドライバは統
合操作環境５６のために第２のキーボード３２及
びマウス３４によつてそれぞれ生成された電気信
号を解釈する。接触ドライバ６３、ジエスチヤ認
識装置６４及び文字認識装置５６は接触センサか
らの信号を処理する。音声センサ３８及びイメー
ジ・センサ４０からの入力信号は音声認識装置６
６及びイメージ認識装置６８によりそれぞれ処理
される。第２図では完全にソフトウエアとして図
示されているが、ドライバＡ６０、ドライバＢ６
２、接触ドライバ６３、ジエスチヤ認識装置６
４、音声認識装置６６及びイメージ認識装置６８
はハードウエア及びソフトウエアの組合せにする
こともできる。最後に、RAM２６には、拡張ユ
ーザ・インタフエース１００を構成するソフトウ
エア・モジユールのセツトも存在する。 第１の実施例 第３図は本発明に従つて設計されたコンピユー
タ・システムを示す。標準的な装置ドライバを介
して統合操作環境５６に接続されるというより
も、複数の入力装置の少なくとも１つが、認識装
置を介して拡張ユーザ・インタフエース１００に
接続される。第３図で、音声センサ３８及びイメ
ージ・センサ４０はそれぞれの認識装置、音声認
識装置６６及びイメージ認識装置６８を介して拡
張ユーザ・インタフエース（AUI）１００に接
続される。多くのアプリケーシヨン・プログラム
はキーボード及びマウス入力を認識するから、キ
ーボード３２及びマウス３４はそれぞれのドライ
バ、ドライバＡ６０及びドライバＢ６２を介して
統合操作環境５６に接続されたままである。最後
に、第３図で、接触センサ３６は標準的な接触ド
ライバ６３を介して統合操作環境５６に、そして
ジエスチヤ認識装置６４及び文字認識装置６５を
介して拡張ユーザ・インタフエース１００に接続
される。接触ドライバ６３、ジエスチヤ認識装置
６４及び文字認識装置６５は接触センサ３６から
の信号を変換してジエスチヤ又は文字“トーク
ン”を生成する。接触センサ３６の表面の指又は
スタイラスの位置の連続は、文字認識装置６５に
よつて手書きの英数字として、又はジエスチヤ認
識装置６４によつて右方向の矢印又は円のような
ジエスチヤとして認識することができる。音声認
識装置６６は音声センサ３８で受取つた音をデイ
ジタル化し、予め定義された音のパターンとの突
合せを実行して音声“トークン”を生成する。イ
メージ認識装置６８はイメージ・センサ４０から
の情報を処理しイメージ“トークン”を出力す
る。“トークン”は入力装置から収集された電気
信号の連続を表わす入力メツセージである。例え
ば、ユーザが接触センサ上で円を描いたときに収
集された点の連続は“円トークン”として定義す
ることができる。接触センサ３６を統合操作環境
５６に結合すると、特に接触センサ３６用に記述
されているアプリケーシヨン・プログラム、又は
原子的なマウス入力信号だけを必要とする他の既
存のアプリケーシヨン・プログラムを、ユーザが
利用することを可能にする。更に、接触センサ３
６はジエスチヤ認識装置６４及び文字認識装置６
５を介してAUIにも接続されるので、接触入力
を認識しないアプリケーシヨン・プログラムは拡
張ユーザ・インタフエース１００の変換機能によ
りジエスチヤ又は文字“トークン”を受取ること
もできる。 他の実施例では、キーボード３２及びマウス３
４は、接触センサ３６と同じように、AUI１０
０及び統合操作環境５６の両方に接続される。更
に、他の実施例では、全ての入力装置はAUIの
みに直に接続される。キーボードAUIリンクを
利用することにより、ユーザはアプリケーシヨ
ン・プログラムに対する通常のタイプ書きのコマ
ンドを、入力又は記憶するのに都合のいコマンド
に変更することができる。AUIはアプリケーシ
ヨン・プログラムとして書かれているので、これ
は統合操作環境の通信及び集中機能を利用するこ
とができる。 本発明のもう１つの良好な実施例は、任意の他
の指定装置と同様にマウス３４及び接触センサ３
６の双方からの入力を受取ることにより、ドライ
バＢ６２及び接触ドライバ６３の機能を組合せる
単一の指示装置ドライバ（図示せず）を用いる。
この実施例は特に米国特許第4686332号明細書に
記載された接触入力装置、又は米国特許出願第
264409号明細書（1988年10月28日出願）記載の遠
隔感知スタイラスによる動作に適合している。指
定装置ドライバはマウス３４からのマウス入力と
接触入力装置３６からの指及びスタイラス入力の
間を調停し適切な入力メツセージを統合操作環境
５６に送る。 第３図で、AUI１００は更に幾つかのコンピ
ユータ・コード・モジユールに分割される。環境
リンク・モジユール１０１はAUI１００の手順
を実行するためのアルゴリズムを含み且つ統合操
作環境５６に対する通信能力を提供する。代替入
力サブシステム（AIS）１０３は、ユーザに親切
な新しい入力装置、例えば音声センサ３８の設計
者が拡張ユーザ・インタフエース１００に継ぎ目
なしに相互接続することを可能にするインタフエ
ース記述を提供する。AIS１０３は、入力装置及
びそれぞれの認識装置によつて送付された入力信
号を、拡張ユーザ・インタフエース１００の残り
の部分によつて使用できる入力メツセージに変換
する。ジエスチヤを示す接頭部GS／のような、
各々の入力メツセージの一部は入力装置−入力信
号は該入力装置から受取られる−の識別に専用さ
れる。本実施例では、AIS１０３は正しいアプリ
ケーシヨン・プログラムが適切なコマンドを受取
るように各々の入力メツセージにタイムスタンプ
する。 インタフエース・プロフアイル・モジユール１
０４は、アプリケーシヨン・プロフアイル１０５
及びユーザ・プロフアイル１０７のセツトから成
る。これらのプロフアイルは、フアイル形式のも
のであつて、入力装置３６，３８及び４０受取ら
れた入力信号に基いてAIS１０３から生成される
入力メツセージと、これらの入力メツセージに対
し写像され且つ既存のアプリケーシヨン・プログ
ラムによつて使用可能なキーボード、マウス又は
他のコマンド（例えば、マウス・クリツク、キー
ストローク・メツセージ、マクロ、ユーテイリテ
イ・プログラム等）とをリストする。拡張ユー
ザ・インタフエース・ユーテイリテイ（AUIユ
ーテイリテイ）１０９は、AUI１００によつて
使用できるポツプアツプ・キーボード又はイメー
ジ拡大ユーテイリテイのようなユーテイリテイ・
プログラムのセツトである。図示のように、
AUI１０９は別個のアプリケーシヨン・プログ
ラム、又はアプリケーシヨン・プログラムのセツ
トとして記述することができるので、統合操作環
境５６のメツセージ通過機能を用いて他のアプリ
ケーシヨン・プログラムと通信することができ
る。 拡張ユーザ・インタフエース・ユーテイリテイ
１０９に存在するかも知れない幾つかのユーテイ
リテイの例は“ポツプアツプ”数値キーパツド、
イメージ拡大ユーテリテイ及び電子メール発送ス
リツプを含む。“ポツプアツプ”キーボード及び
“ポツプアツプ”キーパツドはなるべくなら表示
装置の表面で接触入力装置とともに動作する機能
を備えるように設計する方がよい。適切なコマン
ド、例えば円ジエスチヤを出すか又はキーボー
ド・アイコン（icon）に接触することにより、キ
ーボード又はキーパツドが画面にポツプアツプす
る。画面に表示されたキーに接触することにより
ユーザは迅速に英数字情報の列を直に画面に入力
することができるので、手動のキーボードに注意
をそらす必要がなくなる。キーボード又はキーパ
ツドに必要とするスペースはかなり小さいので、
スプレツドシート、ワードプロセツサ等、活動状
態のアプリケーシヨン・プログラムの作業領域を
完全に覆うことはない。イメージ拡大ユーテイリ
テイは適切なジエスチヤが行われた位置の周囲に
一定の大きさの矩形を拡大する。該ユーテイリテ
イは拡大されたイメージ内で非常に正確にカーソ
ル位置を定めることができる。スタイラスが離れ
ると、通常の大きさの表示が復元され、選択され
たカーソル座標は活動状態のアプリケーシヨン・
プログラムに送られる。 第４図の流れ図は第３図のコンピユータ・シス
テムの、音声入力信号に対応する動作を示す。活
動状態のアプリケーシヨン・プログラムはスプレ
ツドシートであり、表示装置２８でユーザに示さ
れるのは、ユーザが使用できる見込みのある機能
メニユー・バーと同時に選択されたデータのアレ
イである。ユーザはキーボードで連続してキーを
打つよりは、コンピユータ・システムに入力する
データを、もう１つの入力装置、音声センサ３８
を用いて選択する。ユーザが、例えばワード
“GRAPH”と発声するのに応答して、ステツプ
111で、音声センサ３８が電気信号を生成し、そ
れらを適切な変換装置、音声認識装置６６に送
る。これらの電気信号に応答して、ステツプ113
で、音声認識装置が活動化され、適切な入力信
号、音声入力“トークン”を代替入力サブシステ
ム１０３に送る。ステツプ115で、AIS１０３は
入力メツセージ−該入力信号が受取られた時点及
びどの入力装置が該信号を送つたかに関する情報
を含む−を環境リンク１０１に転送する。入力メ
ツセージに応答して、ステツプ117で、環境リン
ク１０１はどのアプリケーシヨン・プログラムが
現に活動状態であるかについて統合操作環境５６
に質問する。活動状態のアプリケーシヨン・プロ
グラムが例えばスプレツドシート５０であると決
定されると、ステツプ119で、環境リンク１０１
は、スプレツドシート５０によつて認識される入
力メツセージ“GRAPH”に対応するコマンド、
即ち、メニユー選択−graph（グラフ）−につい
て、スプレツドシート５０のアプリケーシヨン・
プロフアイル１０５を参照する。そして、ステツ
プ121で、環境リンク１０１はユーザ・プロフア
イル１０７を検査し、アプリケーシヨン・プロフ
アイル１０５からのコマンドを指定変更する、よ
り高い優先順位のコマンドがあるかどうかを判定
する。ステツプ123で、環境リンク１０１はどち
らのコマンドがより高い優先順位を持つているか
を判定する。そして、ステツプ125で、環境リン
ク１０１はより高い優先順位のコマンド、この例
では、アプリケーシヨン・プロフアイル１０５か
らのメニユー選択コマンドを統合操作環境５６に
送り、統合操作環境５６は該コマンドを活動状態
のアプリケーシヨン・プログラム、スプレツドシ
ート５０に回送する。ステツプ127で、スプレツ
ドシート５０は当該コマンドに応答して適切な処
理をする。この場合は、現に選択されたデータを
グラフにし、それに応じて表示装置２８でユーザ
に表示される情報を変更する。 インタフエース・プロフアイル 拡張ユーザ・インタフエース１００の能力と柔
軟性の理解のためにインタフエース・プロフアイ
ル１０４のアプリケーシヨン・プロフアイル１０
５及びユーザ・プロフアイル１０７の詳細な説明
を必要とする。両タイプのプロフアイルは、入力
メツセージのリストを、適切なアプリケーシヨ
ン・プログラム、環境リンク・モジユール１０１
又は統合操作環境５６自身によつて認識される。
対応するコマンドのリストと関連づける。該コマ
ンドはプログラム、統合操作環境によつて認識さ
れた命令、又はマクロ（MACRO）の名前であ
ることがある。マクロは任意の長さの“事象”ス
トリング及び（又は）ユーテイリテイを含むフア
イルである。“事象”は、本明細書では、ユーザ
の行動、例えば、単一のキーストローク、マウ
ス・ボタンの押し、マウス・ボタンの解放、マウ
ス二重クリツク、単一のメニユー選択、単一のジ
エスチヤないしは他の“トークン”、もしくは単
一の加速器（アクセレレータ）キー選択から生じ
る入力メツセージである。ユーテイリテイの例は
ポツプアツプ・キーボードである。マクロは他の
予め定義されたマクロもコマンドとして扱う。大
抵は、加速器キーは統合操作環境５６の特性であ
る。それらはメニユー選択をエミユレートするキ
ーストロークのシーケンスを指定する。例えば、
アプリケーシヨンは削除（DELETE）キーが編
集（EDIT）メニユーからのカツト（CUT）の選
択と同じであり、シフト／挿入（SHIFT／
INSERT）キーが編集メニユーからのペースト
（PASTE）の選択と同じであることを指定する
ことができる。実際に、これらの２つの例は広く
用いられる加速器である。 アプリケーシヨン・プログラムの各々はそれ自
身のアプリケーシヨン・プロフアイル１０５を有
することがある。プロフアイル１０５は代替入力
サブシステム１０３に接続された入力装置毎に入
力メツセージ及び対応するコマンドの写像を含
む。例えば、１つのアプリケーシヨン・プロフア
イルは表１に示すような入力メツセージ及びコマ
ンドを含
タを入力する際の改良に関する。詳細に説明すれ
ば、本発明は、元々或る特定の入力装置の使用を
想定して記述されたプログラムを実行中のコンピ
ユータにデータを入力するために、ユーザが少な
くとも１つの他の入力装置を選択することを可能
にする拡張ユーザ・インタフエースに関する。 Ｂ 従来の技術 従来、コンピユータは科学者、数学者及びその
他の高いレベルの洗練されたコンピユータ・ユー
ザによつてのみ使用されていた。コンピユータ技
術が進歩するにつれて、特にパーソナルコンピユ
ータの出現によつて、データ処理はあらゆるレベ
ルの社会、あらゆるレベルのユーザに広がつてい
る。その結果、コンピユータ・ユーザがコンピユ
ータ専門家又は高度のデータ処理技術を有する人
である場合が減少する傾向にある。コンピユー
タ・ハードウエア及びソフトウエアは能力及び効
率が高くなるにつれて、将来は更にコンピユータ
の利用が増大するであろう。 しかしながら、コンピユータが普及している社
会にもかかわらず、多くの人々はコンピユータの
使用法について懸念を持つている。在来のテキス
ト表示及び英数字キーボード入力装置は容易には
習得されず、数百には達しないが、多数の正しい
コマンドの形式の記憶を必要とする。ユーザはか
なりすぐれたタイピストでない限り、データ入力
は不便であり時間を浪費することがある。１つの
ソフトウエアに熟達するのに必要とする施行のた
めの時間は、その努力も避けようとするような不
慣れなユーザにとつては極めていらだたしいもの
である。 ゆえに、技術的に“ユーザに親切な人”入力装
置及びコンピユータ・プログラムとして知られて
いるものを設計することが必要となつている。前
記“ユーザに親切な”装置及びソフトウエアは不
慣れなユーザが長い訓練を経ずに所望のタスクを
実行できるように設計される。比較的人気のある
入力装置の１つはマウス指示装置である。マウス
はそれが平らな面をユーザによつて移動される方
向及び距離に対応する信号を生成する。コンピユ
ータは、コンピユータ表示装置でカーソルの位置
を変更することにより、この情報に応答し、ユー
ザが任意の表示された対象を指すことを可能にす
る。カーソルが正しく位置設定された後は、ユー
ザはマウスの上部の１つ又は２つ以上のボタンを
押すことにより多数の機能を実行することができ
る。 人間工学研究によれば、ユーザがコンピユータ
の表示装置画面に直にデータを入力することを可
能にする装置−技術的には接触入力装置として一
般に知られている−は人間機械間の親密さを最大
にする。表示面で用いる初期の入力装置の１つは
ライトペンであつた。ライトペンは手に持つて
CRTの表面に当てる光検出器である。ライトペ
ンの位置は光のドツト−表示装置を走査するラス
タ−の座標を検出することによつて決定される。
もう１つのタイプの接触入力装置は表示画面上に
取付けられた機械的に変形する膜である。この膜
は柔軟な表面に配置された２つの透明な導体の面
から成る透明なオーバレー（overlay）である。
選択が行われると、ユーザは導体の面の１つを指
又はスタイラス接触によつて他の１つに接触する
ように機械的に変形させ、それによつて、それら
の導体を互いに電気的に接触させる。適切な電子
装置及びソフトウエアにより指又はスタイラス接
触で生成された電気信号は表示面上の位置に変換
される。もう１つの接触入力装置は表示画面の上
に置かれた容量性の透明なオーバレーであつて、
電磁信号によつて駆動される透明な導体を含む。
この入力装置はオーバレーの容量の変化によつて
指が接触した位置を検出することができる。又
は、代りにスタイラスが使用され、スタイラスの
位置を決定するためにオーバレーからの電磁信号
をコンピユータに送り返す。更にもう１つの接触
入力装置は、表示画面の回りにはめこまれ、水平
及び垂直方向に並行して配列された多数の赤外線
又は可視光線送信器及び受信器を有するフレーム
を用いる。ユーザの指が光ビームをさえぎると、
水平及び垂直方向の受信器は信号の欠如に気づ
き、それによつてユーザが望む活動の位置を見つ
ける。 音声認識装置又はデイジタル・タブレツトのよ
うな、ユーザの活動に応答する多くの他の、ユー
ザに親切な入力装置が開発されている。 ユーザに親切な入力装置に加えて、設計者はよ
りユーザに親切なソフトウエアを開発するために
努力している。採用されている１つの手法は特定
のタスク又は実行可能な機能を選択するためのメ
ニユーを提供することである。この方法では、ユ
ーザは長いコマンドのリストを記憶する必要はな
い。メニユーは画面表示の全部又は一部分が用い
られ、キーボード又は他のカーソル移動装置によ
つてカーソルがメニユー項目に隣接するスペース
に移され、特定の活動を選択することができる。
代りに、ユーザはメニユー選択に関連した英数字
をコマンド行に書込むことにより、ある活動を選
択することができる。 もう１つの最近の傾向は統合された幾つかの種
類のコンピユータ・プログラム・アプリケーシヨ
ンを提供することである。統合されなければ、ユ
ーザはワード処理、データベース操作、グラフイ
ツクス及び電子メール機能等のために別々のアプ
リケーシヨン・プログラムを使用する必要があ
る。異なるプログラムの出力を統合して１つの所
望の出力にすることはかなり困難なことがよくあ
る。１つの解法は種々のアプリケーシヨンを含む
１つの統合されたソフトウエアの部分−多重機能
プログラムと呼ばれる−を記述することである。
一般に、これらの多重機能プログラムはテキス
ト、スプレツドシート及びビジネス用グラフ作成
アプリケーシヨンを含む。 別のアプローチはマイクロソフト社の
WINDOWS（TM）−TMは商標を表わす−又は
IBM社のプレゼンテーシヨン・マネジヤ（TM）
によつて実現されるような統合操作環境を提供す
ることである。このアプローチでは、個々のアプ
リケーシヨン・プログラムは情報を共有し且つし
ばしば同時に表示画面に、各々がそれ自身のウイ
ンドーに、現われる。最も有力な個々のアプリケ
ーシヨン・プログラムを選択することにより、ず
つと有力な環境をユーザの特定の要求に合わせる
ことができる。これとは対照的に、多重機能プロ
グラムの場合は、パツケージに組込まれるアプリ
ケーシヨン・プログラムが何であつても、ユーザ
はこれらのプログラムに制約されてしまう。 あいにく、多くのユーザに親切な入力装置及び
多くのユーザに親切なコンピユータ・プログラム
が開発されているのに、これらの努力はうまく統
合されていない。例えば、キーボード入力又はマ
ウス入力を受入れるように記述されているが接触
入力装置又は音声認識装置からの情報を認識しな
い多数のプログラムがある。この状況はユーザに
親切な新しい入力装置の導入及び広範な利用にと
つて深刻な障害を呈する。プログラマは既存のソ
フトウエアの大部分に大幅な変更を行うか、新し
い多重機能プログラムを記述するか、又は新しい
入力装置が開発される毎にアプリケーシヨン・プ
ログラムのセツトを記述しなければならない。こ
れらの代案は追加の開発費用及び時間を相当に必
要とするので、入力装置を開発する組織の能力の
範囲を越えたり、期待される利益に比し費用が掛
かり過ぎたりすることがある。更に、著作権又は
他の所有権上の問題が存在するために入力装置の
開発者が既存のソフトウエアを改変できないこと
がある。更に、新たに開発されたソフトウエア
は、特定の目的のために既に記述されている確立
されたアプリケーシヨン・プログラムほどには効
率的ではなかつたり商業的にユーザに受入れられ
なかつたりすることがある。 最後の考慮事項は、個々のユーザは自らの要求
をたぶん最もよく承知しているが、アプリケーシ
ヨン・プログラムの大幅な変更を自ら行うことは
殆んど不可能であるばかりか、その感心があるよ
うにも見えないことである。ユーザが該ユーザの
目的に最もよく役立つ特定の入力装置及びアプリ
ケーシヨン・プログラムを選択することが可能で
あり、しかも比較的低い技術レベルで以て自らと
コンピユータの間のユーザに親切なインタフエー
ス内の構成要素を組立てることが可能であれば、
好都合である。プログラマにより開発された一般
的な解法は特定のユーザの要求にとつては最適で
はないかも知れない。また、入力装置及びアプリ
ケーシヨン・プログラムが将来において改善され
たとしても、インタフエースの最小限度の変更を
行うだけでこれに対処できることをユーザに保証
することができれば、好都合である。 Ｃ 発明が解決しようとする課題 本発明の目的はユーザがコンピユータ・システ
ムにデータを入力する入力装置を複数の入力装置
から選択することを可能にすることである。 本発明のもう１つの目的は活動状態のアプリケ
ーシヨン・プログラムを変更することなく、当該
プログラムが最初に記述されたときに使用を意図
していた入力装置とは異なる入力装置を介してコ
ンピユータ・システムに情報を入力することであ
る。 本発明の更にもう１つの目的は割合に不慣れな
ユーザが使用可能なアプリケーシヨン・プログラ
ム及び入力装置から特定のものをそれぞれ選択
し、自らの要求に合わせて特に設計されたユー
ザ・インタフエースを構築することを可能にする
ことである。 本発明の更にもう１つの目的はユーザに親切な
入力装置及びアプリケーシヨン・プログラムの将
来の拡張に適応できるようにユーザ・インタフエ
ースを構築することである。 本発明の更にもう１つの目的は１つのコンピユ
ータを操作する異なるユーザが、データを入力す
る際に、個々の選択に合わせて異なるユーザ・イ
ンタフエースを構築することを可能にすることで
ある。 Ｄ 課題を解決するための手段 これらの目的は複数のアプリケーシヨン・プロ
グラムを実行できる統合操作環境とともに動作
し、該環境によつて提供されるメツセージ及び集
中（focusing）機能を利用する拡張ユーザ・イン
タフエースによつてなし遂げられる。拡張ユー
ザ・インタフエースは３つの主要なモジユール、
代替入力サブシステム・モジユール、インタフエ
ース・プロフアイル・モジユール及び環境リン
ク・モジユールから成る。代替入力サブシステ
ム・モジユールは接続されたユーザに親切な入力
装置と拡張ユーザ・インタフエースの残りのもの
並びにアプリケーシヨン・プログラムの間の通信
を統合操作環境を通して提供する。代替入力サブ
システム・モジユールは入力装置によつて生成さ
れた入力信号を受取り、それらを拡張ユーザ・イ
ンタフエースで使用可能な入力メツセージに変換
する。 インタフエース・プロフアイル・モジユールは
アプリケーシヨン・プロフアイルのセツトから成
る。すなわち、ユーザが望んでいる各入力装置の
使用方法が各アプリケーシヨン・プログラムに最
初に記述されている使用方法と異なる場合には、
かかるアプリケーシヨン・プログラム毎に１つの
アプリケーシヨン・プロフアイルが設けられる。
完全に新しい入力装置をかかるアプリケーシヨ
ン・プログラムによつて用いることができ、又は
オプシヨンとして、ユーザは既存の入力装置の入
力信号を、その入力装置用に最初に記述されたア
プリケーシヨン・プログラムへの入力信号とは異
なるように変更することもできる。アプリケーシ
ヨン・プロフアイルの各々は、アプリケーシヨ
ン・プログラムによつて使用可能な対応するコマ
ンドに写像された、入力メツセージのリストを含
む。インタフエース・プロフアイル・モジユール
は、コンピユータ・システムを利用するユーザ毎
に、ユーザ・プロフアイルのセツトを含むことも
ある。ユーザ・プロフアイルは入力メツセージ及
び幾つかのアプリケーシヨン・プログラムが共有
することがあるそれらの対応するコマンドを含
む。 環境リンク・モジユールは統合操作環境と通信
し、拡張ユーザ・インタフエース手順を実行する
ためのアルゴリズムを含む。例えば、該モジユー
ルは代替入力サブシステムによつて生成された入
力メツセージを取得し、どのアプリケーシヨン・
プログラムが活動状態であるかについて統合操作
環境に質問し、インタフエース・プロフアイル・
モジユール内の適切なアプリケーシヨン・プロフ
アイルにある対応するコマンドと該入力メツセー
ジを突合せ、そして命令のセツトに基づいた活
動、例えば該操作環境を介して活動状態のアプリ
ケーシヨン・プログラムへのメツセージの送付を
開始する。拡張ユーザ・インタフエースはポツプ
アツプ・キーボード又はイメージ拡大ユーテイリ
テイのようなユーテイリテイ・プログラムのセツ
トを含むこともある。 Ｅ 実施例 第１図はプレゼンテーシヨンマネジヤのような
典型的な統合操作環境５６でアプリケーシヨン・
プログラムＡ５０，Ｂ５１，Ｃ５２及びＤ５３を
利用するコンピユータ・システムとユーザの対話
を示す。 ユーザは装置Ａ（キーボード）３２、装置Ｂ（マ
ウス）３４又は接触センサ３６を介してコンピユ
ータ・システムにデータを入力する。ユーザがデ
ータを入力すると、選択された装置は適切なドラ
イバを活動化するために割込みを発生する。キー
ボード３２の場合には、ドライバＡ６０が活動化
され、マウス３４の場合には、ドライバＢ６２が
活動化され、接触センサ３６への入力は接触ドラ
イバ６３を活動化する。適切なドライバは統合操
作環境５６に信号を送る。統合操作環境５６はど
のアプリケーシヨン・プログラムが活動状態であ
るかを追跡し、全ての入力データを当該アプリケ
ーシヨン・プログラムに送る。代りに、ユーザは
アプリケーシヨン・プログラムを変更することが
でき、統合操作環境５６はメツセージを新たに活
動化されたアプリケーシヨン・プログラムに回送
する。１つの良好な実施例では、アプリケーシヨ
ン・プログラムＡ５０はスプレツドシート・プロ
グラムであり、アプリケーシヨン・プログラムＢ
５１はワード・プロセツサであり、アプリケーシ
ヨン・プログラムＣ５２は図形プログラムであ
り、そしてアプリケーシヨン・プログラムＤ５３
は電子メール機能である。統合操作環境５６は所
与の時点でユーザの“集中点”を決定するので、
活動状態のプログラムの追跡は“集中機能”であ
る。説明のため、ユーザはキーボード３２を介し
てデータを入力中であり、スプレツドシート５０
は活動状態のアプリケーシヨン・プログラムであ
ると仮定すると、スプレツドシート５０はどの活
動を実行すべきかを判定する。一般に、この活動
は３種類の活動：“スプレツドシート５０は表示
装置２８を変更する”、“スプレツドシート５０は
プリンタのような他のＩ／Ｏ装置と通信する”、
又は“スプレツドシート５０は他のアプリケーシ
ヨンと通信する”のうちの１つになる。これらの
メツセージの全ては統合操作環境５６によつて処
理される。 従来の技術の統合操作環境は複数のアプリケー
シヨン・プログラムのアクセスを容易にするの
で、ユーザは自らの要求に最もよく適合する特定
のアプリケーシヨン・プログラムを選択できる
が、ユーザが特定のアプリケーシヨン・プログラ
ムと通信するためにはこのプログラムが最初に記
述されたときに想定されていた特定の入力装置を
使用しなければならない。例えば、スプレツドシ
ート５０はキーボード３２及びマウス３４の組合
せについて記述されているプログラムである。接
触ドライバ６３は首尾一貫して統合操作環境５６
と通信するように開発されているが、接触センサ
３６によつて生成された信号をマウス移動及びマ
ウス・クリツクに変換することにより、接触入力
装置３６の能力はマウス装置の能力の範囲に限定
される。手書き文字又はジエスチヤの認識のよう
な新しい種類のコマンドは、この方法によつて、
特にスプレツドシート５０のような、接触コマン
ドのタイプが何を意味するかを理解しないアプリ
ケーシヨン・プログラムいによつて適応させるこ
とは容易にはできない。他の新しい入力装置は更
に厳しく制限される。従つて、システム設計者又
はユーザは新たなユーザ親切な入力装置を個々の
ワークステーシヨンに含めようとするが、既存の
ソフトウエアの使用は不可能であるか又は厳しく
制約されることに気づくであろう。 本発明の良好な実施例は第２図に示すようなユ
ーザとコンピユータ・システムの間の対話を制御
するコンピユータ・プログラムのセツトを含む。
本発明は主としてパーソナルコンピユータ、例え
ばIBM PS／２（TM）での利用を企図している
が、本発明の原理は他の個々のワークステーシヨ
ン又は大規模なデータ処理システムに拡張するこ
とができる。第２図の構造ブロツク図はシステ
ム・バス２２によつて読取専用メモリ（ROM）
２４及びランダム・アクセス・メモリ（RAM）
２６に接続された中央演算処理装置（CPU）２
０を含む。第２図のコンピユータ・システムに
は、コンピユータがユーザに情報を表示する表示
装置２８、キーボード３０を含む複数の入力装
置、及び装置Ａ３２並びに装置Ｂ３４−これらは
下記の説明では第２の英数字キーボード３２及び
マウス３４であるが、数字キーボードのような専
用のキーボードでも、遠隔指示装置又は他の種々
の入力装置でもよい−も含む。更に、コンピユー
タ・システムは接触センサ３６、即ち表示装置２
８の表面で用いる接触入力装置、音声センサ３８
及びイメージ・センサ４０を含む。Ｉ／Ｏ４２は
通信ライン又は他のＩ／Ｏ装置に接続することが
できる。 ランダム・アクセス・メモリ（RAM）２６は
アプリケーシヨン・プログラムＡ５０、アプリケ
ーシヨンプログラムＢ５１、アプリケーシヨン・
プログラムＣ５２及びアプリケーシヨン・プログ
ラムＤ５３を含む。典型的なアプリケーシヨン・
プログラムの例はワード・プロセツサ、スプレツ
ドシート、図形プログラム、電子メール及びデー
タベース・プログラムを含む。RAM２６はオペ
レーテイング・システム５４、例えばDOS（TM）
又はOS／２（TM）、及び統合操作環境プログラ
ム５６、例えばWINDOWS（TM）又はプレゼン
テーシヨン・マネジヤ（TM）も記憶し、幾つか
のアプリケーシヨン・プログラムの同時実行を可
能にする。他のソフトウエアはドライバＡ６０及
びドライバＢ６２を含み、これらのドライバは統
合操作環境５６のために第２のキーボード３２及
びマウス３４によつてそれぞれ生成された電気信
号を解釈する。接触ドライバ６３、ジエスチヤ認
識装置６４及び文字認識装置５６は接触センサか
らの信号を処理する。音声センサ３８及びイメー
ジ・センサ４０からの入力信号は音声認識装置６
６及びイメージ認識装置６８によりそれぞれ処理
される。第２図では完全にソフトウエアとして図
示されているが、ドライバＡ６０、ドライバＢ６
２、接触ドライバ６３、ジエスチヤ認識装置６
４、音声認識装置６６及びイメージ認識装置６８
はハードウエア及びソフトウエアの組合せにする
こともできる。最後に、RAM２６には、拡張ユ
ーザ・インタフエース１００を構成するソフトウ
エア・モジユールのセツトも存在する。 第１の実施例 第３図は本発明に従つて設計されたコンピユー
タ・システムを示す。標準的な装置ドライバを介
して統合操作環境５６に接続されるというより
も、複数の入力装置の少なくとも１つが、認識装
置を介して拡張ユーザ・インタフエース１００に
接続される。第３図で、音声センサ３８及びイメ
ージ・センサ４０はそれぞれの認識装置、音声認
識装置６６及びイメージ認識装置６８を介して拡
張ユーザ・インタフエース（AUI）１００に接
続される。多くのアプリケーシヨン・プログラム
はキーボード及びマウス入力を認識するから、キ
ーボード３２及びマウス３４はそれぞれのドライ
バ、ドライバＡ６０及びドライバＢ６２を介して
統合操作環境５６に接続されたままである。最後
に、第３図で、接触センサ３６は標準的な接触ド
ライバ６３を介して統合操作環境５６に、そして
ジエスチヤ認識装置６４及び文字認識装置６５を
介して拡張ユーザ・インタフエース１００に接続
される。接触ドライバ６３、ジエスチヤ認識装置
６４及び文字認識装置６５は接触センサ３６から
の信号を変換してジエスチヤ又は文字“トーク
ン”を生成する。接触センサ３６の表面の指又は
スタイラスの位置の連続は、文字認識装置６５に
よつて手書きの英数字として、又はジエスチヤ認
識装置６４によつて右方向の矢印又は円のような
ジエスチヤとして認識することができる。音声認
識装置６６は音声センサ３８で受取つた音をデイ
ジタル化し、予め定義された音のパターンとの突
合せを実行して音声“トークン”を生成する。イ
メージ認識装置６８はイメージ・センサ４０から
の情報を処理しイメージ“トークン”を出力す
る。“トークン”は入力装置から収集された電気
信号の連続を表わす入力メツセージである。例え
ば、ユーザが接触センサ上で円を描いたときに収
集された点の連続は“円トークン”として定義す
ることができる。接触センサ３６を統合操作環境
５６に結合すると、特に接触センサ３６用に記述
されているアプリケーシヨン・プログラム、又は
原子的なマウス入力信号だけを必要とする他の既
存のアプリケーシヨン・プログラムを、ユーザが
利用することを可能にする。更に、接触センサ３
６はジエスチヤ認識装置６４及び文字認識装置６
５を介してAUIにも接続されるので、接触入力
を認識しないアプリケーシヨン・プログラムは拡
張ユーザ・インタフエース１００の変換機能によ
りジエスチヤ又は文字“トークン”を受取ること
もできる。 他の実施例では、キーボード３２及びマウス３
４は、接触センサ３６と同じように、AUI１０
０及び統合操作環境５６の両方に接続される。更
に、他の実施例では、全ての入力装置はAUIの
みに直に接続される。キーボードAUIリンクを
利用することにより、ユーザはアプリケーシヨ
ン・プログラムに対する通常のタイプ書きのコマ
ンドを、入力又は記憶するのに都合のいコマンド
に変更することができる。AUIはアプリケーシ
ヨン・プログラムとして書かれているので、これ
は統合操作環境の通信及び集中機能を利用するこ
とができる。 本発明のもう１つの良好な実施例は、任意の他
の指定装置と同様にマウス３４及び接触センサ３
６の双方からの入力を受取ることにより、ドライ
バＢ６２及び接触ドライバ６３の機能を組合せる
単一の指示装置ドライバ（図示せず）を用いる。
この実施例は特に米国特許第4686332号明細書に
記載された接触入力装置、又は米国特許出願第
264409号明細書（1988年10月28日出願）記載の遠
隔感知スタイラスによる動作に適合している。指
定装置ドライバはマウス３４からのマウス入力と
接触入力装置３６からの指及びスタイラス入力の
間を調停し適切な入力メツセージを統合操作環境
５６に送る。 第３図で、AUI１００は更に幾つかのコンピ
ユータ・コード・モジユールに分割される。環境
リンク・モジユール１０１はAUI１００の手順
を実行するためのアルゴリズムを含み且つ統合操
作環境５６に対する通信能力を提供する。代替入
力サブシステム（AIS）１０３は、ユーザに親切
な新しい入力装置、例えば音声センサ３８の設計
者が拡張ユーザ・インタフエース１００に継ぎ目
なしに相互接続することを可能にするインタフエ
ース記述を提供する。AIS１０３は、入力装置及
びそれぞれの認識装置によつて送付された入力信
号を、拡張ユーザ・インタフエース１００の残り
の部分によつて使用できる入力メツセージに変換
する。ジエスチヤを示す接頭部GS／のような、
各々の入力メツセージの一部は入力装置−入力信
号は該入力装置から受取られる−の識別に専用さ
れる。本実施例では、AIS１０３は正しいアプリ
ケーシヨン・プログラムが適切なコマンドを受取
るように各々の入力メツセージにタイムスタンプ
する。 インタフエース・プロフアイル・モジユール１
０４は、アプリケーシヨン・プロフアイル１０５
及びユーザ・プロフアイル１０７のセツトから成
る。これらのプロフアイルは、フアイル形式のも
のであつて、入力装置３６，３８及び４０受取ら
れた入力信号に基いてAIS１０３から生成される
入力メツセージと、これらの入力メツセージに対
し写像され且つ既存のアプリケーシヨン・プログ
ラムによつて使用可能なキーボード、マウス又は
他のコマンド（例えば、マウス・クリツク、キー
ストローク・メツセージ、マクロ、ユーテイリテ
イ・プログラム等）とをリストする。拡張ユー
ザ・インタフエース・ユーテイリテイ（AUIユ
ーテイリテイ）１０９は、AUI１００によつて
使用できるポツプアツプ・キーボード又はイメー
ジ拡大ユーテイリテイのようなユーテイリテイ・
プログラムのセツトである。図示のように、
AUI１０９は別個のアプリケーシヨン・プログ
ラム、又はアプリケーシヨン・プログラムのセツ
トとして記述することができるので、統合操作環
境５６のメツセージ通過機能を用いて他のアプリ
ケーシヨン・プログラムと通信することができ
る。 拡張ユーザ・インタフエース・ユーテイリテイ
１０９に存在するかも知れない幾つかのユーテイ
リテイの例は“ポツプアツプ”数値キーパツド、
イメージ拡大ユーテリテイ及び電子メール発送ス
リツプを含む。“ポツプアツプ”キーボード及び
“ポツプアツプ”キーパツドはなるべくなら表示
装置の表面で接触入力装置とともに動作する機能
を備えるように設計する方がよい。適切なコマン
ド、例えば円ジエスチヤを出すか又はキーボー
ド・アイコン（icon）に接触することにより、キ
ーボード又はキーパツドが画面にポツプアツプす
る。画面に表示されたキーに接触することにより
ユーザは迅速に英数字情報の列を直に画面に入力
することができるので、手動のキーボードに注意
をそらす必要がなくなる。キーボード又はキーパ
ツドに必要とするスペースはかなり小さいので、
スプレツドシート、ワードプロセツサ等、活動状
態のアプリケーシヨン・プログラムの作業領域を
完全に覆うことはない。イメージ拡大ユーテイリ
テイは適切なジエスチヤが行われた位置の周囲に
一定の大きさの矩形を拡大する。該ユーテイリテ
イは拡大されたイメージ内で非常に正確にカーソ
ル位置を定めることができる。スタイラスが離れ
ると、通常の大きさの表示が復元され、選択され
たカーソル座標は活動状態のアプリケーシヨン・
プログラムに送られる。 第４図の流れ図は第３図のコンピユータ・シス
テムの、音声入力信号に対応する動作を示す。活
動状態のアプリケーシヨン・プログラムはスプレ
ツドシートであり、表示装置２８でユーザに示さ
れるのは、ユーザが使用できる見込みのある機能
メニユー・バーと同時に選択されたデータのアレ
イである。ユーザはキーボードで連続してキーを
打つよりは、コンピユータ・システムに入力する
データを、もう１つの入力装置、音声センサ３８
を用いて選択する。ユーザが、例えばワード
“GRAPH”と発声するのに応答して、ステツプ
111で、音声センサ３８が電気信号を生成し、そ
れらを適切な変換装置、音声認識装置６６に送
る。これらの電気信号に応答して、ステツプ113
で、音声認識装置が活動化され、適切な入力信
号、音声入力“トークン”を代替入力サブシステ
ム１０３に送る。ステツプ115で、AIS１０３は
入力メツセージ−該入力信号が受取られた時点及
びどの入力装置が該信号を送つたかに関する情報
を含む−を環境リンク１０１に転送する。入力メ
ツセージに応答して、ステツプ117で、環境リン
ク１０１はどのアプリケーシヨン・プログラムが
現に活動状態であるかについて統合操作環境５６
に質問する。活動状態のアプリケーシヨン・プロ
グラムが例えばスプレツドシート５０であると決
定されると、ステツプ119で、環境リンク１０１
は、スプレツドシート５０によつて認識される入
力メツセージ“GRAPH”に対応するコマンド、
即ち、メニユー選択−graph（グラフ）−につい
て、スプレツドシート５０のアプリケーシヨン・
プロフアイル１０５を参照する。そして、ステツ
プ121で、環境リンク１０１はユーザ・プロフア
イル１０７を検査し、アプリケーシヨン・プロフ
アイル１０５からのコマンドを指定変更する、よ
り高い優先順位のコマンドがあるかどうかを判定
する。ステツプ123で、環境リンク１０１はどち
らのコマンドがより高い優先順位を持つているか
を判定する。そして、ステツプ125で、環境リン
ク１０１はより高い優先順位のコマンド、この例
では、アプリケーシヨン・プロフアイル１０５か
らのメニユー選択コマンドを統合操作環境５６に
送り、統合操作環境５６は該コマンドを活動状態
のアプリケーシヨン・プログラム、スプレツドシ
ート５０に回送する。ステツプ127で、スプレツ
ドシート５０は当該コマンドに応答して適切な処
理をする。この場合は、現に選択されたデータを
グラフにし、それに応じて表示装置２８でユーザ
に表示される情報を変更する。 インタフエース・プロフアイル 拡張ユーザ・インタフエース１００の能力と柔
軟性の理解のためにインタフエース・プロフアイ
ル１０４のアプリケーシヨン・プロフアイル１０
５及びユーザ・プロフアイル１０７の詳細な説明
を必要とする。両タイプのプロフアイルは、入力
メツセージのリストを、適切なアプリケーシヨ
ン・プログラム、環境リンク・モジユール１０１
又は統合操作環境５６自身によつて認識される。
対応するコマンドのリストと関連づける。該コマ
ンドはプログラム、統合操作環境によつて認識さ
れた命令、又はマクロ（MACRO）の名前であ
ることがある。マクロは任意の長さの“事象”ス
トリング及び（又は）ユーテイリテイを含むフア
イルである。“事象”は、本明細書では、ユーザ
の行動、例えば、単一のキーストローク、マウ
ス・ボタンの押し、マウス・ボタンの解放、マウ
ス二重クリツク、単一のメニユー選択、単一のジ
エスチヤないしは他の“トークン”、もしくは単
一の加速器（アクセレレータ）キー選択から生じ
る入力メツセージである。ユーテイリテイの例は
ポツプアツプ・キーボードである。マクロは他の
予め定義されたマクロもコマンドとして扱う。大
抵は、加速器キーは統合操作環境５６の特性であ
る。それらはメニユー選択をエミユレートするキ
ーストロークのシーケンスを指定する。例えば、
アプリケーシヨンは削除（DELETE）キーが編
集（EDIT）メニユーからのカツト（CUT）の選
択と同じであり、シフト／挿入（SHIFT／
INSERT）キーが編集メニユーからのペースト
（PASTE）の選択と同じであることを指定する
ことができる。実際に、これらの２つの例は広く
用いられる加速器である。 アプリケーシヨン・プログラムの各々はそれ自
身のアプリケーシヨン・プロフアイル１０５を有
することがある。プロフアイル１０５は代替入力
サブシステム１０３に接続された入力装置毎に入
力メツセージ及び対応するコマンドの写像を含
む。例えば、１つのアプリケーシヨン・プロフア
イルは表１に示すような入力メツセージ及びコマ
ンドを含
【表】
むことがある。ここに例示するアプリケーシヨ
ン・プロフアイルは、対応するコマンドに対して
写像された入力メツセージと、入力メツセージを
作成するのに必要なユーザ活動を説明するコメン
トと、所与のアプリケーシヨンが活動状態にある
とき当該入力メツセージを受取つた際にコンピユ
ータ・システムが行う活動を説明するコメントと
を示す。 一般に、AIS103からの同じ入力メツセージは
異なるアプリケーシヨン・プロフアイル１０５上
の異なるマクロを呼出す。例えば、或るアプリケ
ーシヨン・プロフアイル１０５は、“カツト／ペ
ースト”と呼ばれるマクロが右矢印のジエスチヤ
に応答して実行されるべきことを指定するのに対
し、異なるアプリケーシヨン・プロフアイル１０
５は右矢印のジエスチヤをキーストローク・シー
ケンス“書式201（ENTER（入力））”に写像でき
ることを指定することがある。ジエスチヤ認識装
置６４は接触センサ３６からの右矢印のジエスチ
ヤを検出すると、現に活動状態のウインドーを所
有するアプリケーシヨン・プログラムを決定する
環境リンク１０１を呼出す。環境リンク１０１は
対応するアプリケーシヨン・プロフアイル１０５
を読取り、当該情報を適切なユーザ・プロフアイ
ル１０７と組合せ、より高い優先順位を有するコ
マンドを選択し、そして活動状態のアプリケーシ
ヨン・プログラム、統合操作環境５６又は他の適
切なAUIモジユールにこのコマンドを出す。 ユーザ・プロフアイル１０７はアプリケーシヨ
ン・プログラム５０〜５３の全て又は幾つかに共
通のコマンドを含む。システム・ユーザ毎に別々
のユーザ・プロフアイル１０７を記述することが
できる。拡張ユーザ・インタフエースは活動状態
のユーザ・プロフアイルをログ・オン（log−
on）手順の間に決定することができる。ユー
ザ・プロフアイル１０７内のエントリは、アプリ
ケーシヨン・プロフアイル１０５内のエントリの
指定変更（Override）に用いることができる。
この状況は特定のユーザがシステム・ユーザのグ
ループのために記述されたアプリケーシヨン・プ
ロフアイル１０５によつて提供された方法と異な
る方法でデータを入力するほうを選択するとき起
きることがある。ユーザ・プロフアイル１０７は
大域省略時（global default）の活動、即ち、も
し特定の入力メツセージが環境リンク１０１によ
り適切なアプリケーシヨン・プロフアイル１０５
で発見されなかつた場合の活動を提供するのに用
いることもできる。大域省略時の活動のためにユ
ーザ・プロフアイル１０７が用いられる場合、所
与の入力メツセージのマクロを有するアプリケー
シヨン・プロフアイル１０５には該省略時の活動
よりも高い優先順位を付与することができる。 本発明の良好な実施例はアプリケーシヨン・プ
ロフアイル１０５とユーザ・プロフアイル１０７
を区別するが、他の実施例では、ユーザ毎に別々
のアプリケーシヨン・プロフアイル１０５を記述
することができる。インタフエース・プロフアイ
ル・モジユール１０４がこのように構成された場
合、もし特定のユーザのアプリケーシヨン・プロ
フアイル１０５が存在しなかつたなら、環境リン
ク１０１は省略時のアプリケーシヨン・プロフア
イル１０５を参照するであろう。省略時のアプリ
ケーシヨン・プロフアイル１０５はアプリケーシ
ヨン・プログラム、入力装置又はコンピユータ・
システムを構成するプログラマによつて提供され
る。一般に考えられているように、所与のアプリ
ケーシヨン・プログラムのアプリケーシヨン・プ
ロフアイル１０５はたいてい該アプリケーシヨン
自身によつて提供される。代りに、全てのアプリ
ケーシヨン・プロフアイル１０５並びに通常のユ
ーザ・プロフアイル１０７はシステム・プログラ
マによつて提供される。拡張ユーザ・インタフエ
ース１００の能力を調査することを欲しない不慣
れなユーザの場合には、通常は省略時プロフアイ
ルが適切である。しかしながら、多くのユーザは
拡張ユーザ・インタフエース１００をユーザ自身
の特定の要求及び仕様に合わせて調整するえこと
を望んでいるであろう。よつて、既存のアプリケ
ーシヨン又はユーザ・プロフアイルを記述又は変
更する必要がある。 拡張ユーザ・インタフエース・ユーテイリテイ
１０９の１つである拡張ユーザ・インタフエース
制御パネルは極めて効率的且つユーザに親切な方
法でユーザ独特のプロフアイルを作成するためユ
ーザがAUI機能の多くを調整することを可能に
する。拡張ユーザ・インタフエース１００はかな
り複雑なコンピユータ・コードを含むが、この制
御パネルの使用により、ユーザはその作業を理解
しなくてもよい。AUI制御パネルが提供する機
能のなかには、プロフアイルを変更し又は作成す
る能力がある。これは制御パネル・メニユーから
“プロフアイル（PROFILE）”を選択して、AUI
制御パネルのインタフエース・プロフアイル作
成／変更モジユールを呼出すことにより遂行され
る。制御パネルは、最初に、変更すべきプロフア
イルの名前をユーザに質問する。この時点で、適
切なプロフアイルのメニユーがユーザに表示され
る。これはユーザ活動の記述（例えば、円のジエ
スチヤ、音声“カツト”コマンド等）のリスト
と、かかるユーザ活動に応答してコンピユータが
行う活動の記述、即ちマクロとを含む。もし前記
名前に関連したアプリケーシヨン・プロフアイル
又はユーザ・プロフアイルがなければ、該ユーテ
イリテイは新しいプロフアイルを作成し、空白の
メニユーを表示する。ユーザはこのメニユーを通
じてカーソルを移動し該プロフアイルで情報を追
加又は変更し、そしてコマンド記録機能又はマク
ロ記録機能を呼出す。例えば、表１の最初の項目
では、スプレツドシート・アプリケーシヨン・プ
ロフアイルの１行のメニユーは次のように解釈す
ることができる： ユーザ活動 制御センサにおける円のジエスチヤ コマンド ポツプアツプ・キーボードを呼出す ユーザは、もし入力メツセージを円のジエスチ
ヤから右の矢印のジエスチヤに変更することを欲
するならば、カーソルをユーザ活動フイールドに
移動してメニユーから“ユーザ活動（USER
ACTION）”を選択する。ユーザは自らが欲する
ポツプアツプ・キーボードを呼出す活動を実行す
るようにプロンプト（操作指示）され、そして記
述された活動の種類を追加してメニユーに表示す
るようにプロンプトされる。同様に、ユーザは、
もし円のジエスチヤによつて呼出されたマクロを
変更することを欲するならば、カーソルをマク
ロ・フイールドに移動して実行すべきマクロの名
前を入力する。 ユーザは新しいプロフアイルを既存のプロフア
イルの変更と同じ方法で作成する。最初に、カー
ソルを空白のユーザ活動フイールドに移動し、メ
ニユーから“ユーザ活動”を選択し、それが終了
すると、カーソルを対応するマクロ・フイールド
に移動し、マクロ名又は他のコマンドを入力する
などの活動を該プロフアイルの完成まで続ける。
従つて、ユーザが最も便利な方法でコンピユー
タ・システムにデータを入力できるように選択し
たアプリケーシヨン・プログラムのための拡張ユ
ーザ・インタフエース・プロフアイルを構築する
のに割合に不慣れなユーザにとつて、それは割合
に簡明な手順になる。 マクロはユーザ・プロフアイル又はアプリケー
シヨン・プロフアイルとは無関係に作成すること
ができる。例えば、統合操作環境５６としてのプ
レゼンテーシヨン・マネジヤには、ユーザがマク
ロを作成し変更し且つ実行することを可能にする
３つの協同ユーテイリテイがある。 マクロ作成ユーテイリテイ（MCU）は解説、
プロンプタ、又は完全に隠れたユーテイリテイと
してセツトアツプすることができるプレゼンテー
シヨン・マネジヤのプログラムである。それは標
準的なプログラム・ローダーから、又は指定され
たジエスチヤないしは他の入力信号を介して呼出
すことができる。そのジヨブは将来のプレイバツ
クのためにユーザのコマンドのシーケンスを記録
することである。ユーザはMCUを始動し、所定
の動作シーケンスを実行し、そしてMCUを停止
するだけである。そして、MCUはマクロの名前
のような所要の情報についてユーザをプロンプト
する。マクロが指名されると、ユーザはそれをア
プリケーシヨン・プロフアイルのどれかで又はユ
ーザ・プロフアイルで参照することにより当該マ
クロの使用を制御することができる。 マクロ変更ユーテイリテイ（MMU）はユーザ
が予め作成されたマクロを介して１つのステツプ
を呼出すことを可能にするプレゼンテーシヨン・
マネジヤのプログラムである。MMUはそれが実
行する前にマクロ内の各々のステツプの英語の記
述を表示する。プレイバツク・プロセス内の任意
の点で、ユーザはマクロ内の１又はそれ以上のコ
マンドを変更することができる。変更は（経験の
あるマクロ記述者の場合は）英語ウインドーの内
容を編集するか又は予め記憶されたコマンドを重
ね書きする”記録”機能を活動状態にすることに
よつて実行することができる。MMUはユーザが
容易にマクロを検査し、デバツクし且つ変更する
ことも可能にする。MMUはユーザが必要とする
ものの大部分の実行が既に可能な既存のマクロを
変更することによりユーザにマクロを構築させる
こともできる。 マクロ実行ユーテイリテイ（MEU）は最大速
度でマクロをプレイバツクするプレゼンテーシヨ
ン・マネジヤのプログラムである。MEUは、ユ
ーザが適切なジエスチヤを出す毎に、環境リンク
１０１によつて呼出すことができる。例えば、も
し左矢印のジエスチヤが認識されれば、環境リン
ク１０１は現在のユーザ・プロフアイルを調べ、
当該ジエスチヤが“大域的に”禁止されているか
どうかを決定する。もし禁止されていなければ、
環境リンク１０１は活動状態のアプリケーシヨン
の名前を決定し、対応するアプリケーシヨン・プ
ロフアイルを読取つて、このアプリケーシヨンの
マクロを左の矢印のジエスチヤに連結しているも
のが（もしあれば）何であるかを決定する。そし
て、環境リンク１０１はもし必要ならMEUを呼
出す。 マウス指示装置に代わる接触入力装置に関連し
て省略時ユーザ・プロフアイルの一例を説明す
る。多くのプログラムはマウス入力を認識するの
で、非常に多くのアプリケーシヨン・プログラム
はこの省略時プロフアイルを用いて動作させるこ
とができる。 この例では、拡張ユーザ・インタフエースは複
数のモードの１つ−スタイラス又は指の動作の結
果によつてどのマウス同等のコマンドがユーザ・
プロフアイルで見つかるかを決定する−でセツト
することができる。AUIがモード１のとき、ど
んなマウス・ボタン・メツセージもタツチダウン
によつて生成されないが、指又はスタイラスが接
触パネルで移動している間に、マウス移動コマン
ドが生成される。スタイラスが離昇（lift−off）
すると、ボタンダウン、ボタンアツプ・コマン
ド・シーケンスはアプリケーシヨン・プログラム
に送られる。モード１は、活動状態のアプリケー
シヨンによる活動が行われる前に、カーソル位置
の正確な決定を可能にする。拡張ユーダ・インタ
フエースがモード２のとき、どんなマウス・ボタ
ン・コマンドもタツチダウンによつて生成されな
いが、スタイラスの移動によつてマウス移動メツ
セージが生成され、スタイラスが離昇すると、マ
ウス二重クリツクが生成される。AUUIアモード
３のとき、マウス・ボタン・ダウン・コマンドは
スタイラストの接触によつて生成され、スタイラ
スが離昇すると、マウス・ボタン・アツプ・コマ
ンドが生成される。モード３は画面の対象（アイ
コン等）を引きずり、ウインドーのサイズを設定
し、ウインドーの顧客領域内の領域に記号を付け
る（例えば、移動することになつているテキスト
に記号を付ける）のに役立つ。３つのモードは手
動で反復してアイコン（AUIが入つているモー
ドを指示する）で接触パネルに接触することによ
り、又はアプリケーシヨン・プロフアイルにより
自動的に選択することができる。 第２の実施例 第５図は統合操作環境としてプレゼンテーシヨ
ン・マネジヤ１５６を用い、コンピユータ・シス
テムを実行するオペレーテイング・システムとし
てOS／２１５４を用いる、もう一つの拡張ユー
ザ・インタフエースの実施例を示す。OS／２１
５４及びプレゼンテーシヨン・マネジヤ１５６の
特性のため、僅かに異なる拡張ユーザ・インタフ
エース２００の配列が必要である。OS／２１５
４は全ての入力にタイムスタンプするシングル・
キユー（単一の待ち行列）モジユールを有し、全
ての入力をそれらがコンピユータ・システムに送
られた順序で、このモジユール内のキユーに入れ
る必要がある。よつて、代りの入力装置の全て
は、環境リンク・モジユール、PMリンク２０１
により処理される前にOS／２１５４を通らなけ
ればならない。更に、本実施例のシングル・キユ
ーの特徴はキーボード入力及びマウス入力だけが
可能であり、接触入力装置又は他の代りの入力装
置からの入力は扱わない。 これらの制約により第５図に示す拡張ユーザ・
インタフエースが設計されている。全ての入力装
置、キーボード１３０、装置Ｃ１３２、装置Ｄ１
３４、装置Ｅ１３６及び装置Ｆ１３８はOS／２
１５４を通つてOS／２１５４のシングル・キユ
ーに加えられる。キーボード１３０の入力信号は
標準的な装置ドライバ１４０を通つて直にOS／
２１５４に送られる。装置Ｃ１３２、装置Ｄ１３
４、装置Ｅ１３６及び装置Ｆ１３８の入力信号は
それぞれ装置特定コード１４１，１４２，１４３
及び１４４を通つ代替入力サブシステム２０３に
送られてから、OS／２１５４のシングル・キユ
ーに渡される。シングル・キユーはキーボード入
力又はマウス入力だけを処理するから、代替入力
サブシステム２０３は装置Ｃ１３２、装置Ｄ１３
４、装置Ｅ１３６及び装置Ｆ１３８からの入力信
号をマウス入力メツセージ又はキーボード入力メ
ツセージに変換する。更に、OS／２１５４は接
触、音声又はイメージの“トークン”を入力メツ
セージとして扱わないから、全ての前記入力はマ
ウス移動点又は他の“事象”の連続として通過す
る。そして、OS／２１５４は活動状態のアプリ
ケーシヨン・プログラムを追跡するプレゼンテー
シヨン・マネジヤ１５６に入力メツセージを渡
す。 第５図で、PMリンク２０１、拡張ユーザ・イ
ンタフエース２００の環境リンク・モジユール
は、プレゼンテーシヨン・マネジヤ１５６及びア
プリケーシヨン・プログラム、アプリケーシヨン
Ｅ１５０、アプリケーシヨンＦ１５１、アプリケ
ーシヨンＧ１５２並びにアプリケーシヨンＨ１５
３の間のフイルタとして動作する。活動状態のア
プリケーシヨン・プログラムを参照する情報と一
緒にプレゼンテーシヨン・マネジヤ１５６から入
力メツセージを受取つた後、代替入力サブシステ
ムが受取つた“キーボード”又は“マウス”のメ
ツセージが実際にキーボード又はマウスのメツセ
ージであるか、又はむしろ接触、音声、イメージ
ないしは他のメツセージであるかを決定するため
に、PMリンク２０１は代替入力サブシステム２
０３を参照し直す。そして、PMリンクは真のメ
ツセージを適切なアプリケーシヨン・プログラム
に渡す。真の入力メツセージが理解されないこと
を活動状態のアプリケーシヨン・プログラムが示
さない限り、拡張ユーザ・インタフエース２００
の残りのモジユールは呼出されない。もし活動状
態のアプリケーシヨンが真の入力メツセージは理
解されないことを示せば、PMリンク２０１は正
しいコマンドを決定するためにインタフエース・
プロフアイル・モジユール２０４を参照する。も
し真の入力メツセージがそれはジエスチヤ、文
字、音声又はイメージの“トークン”かも知れな
いと表示すれば、PMリンク２０１はトークンを
識別するために入力メツセージを適切な認識装置
に送り、そして正しいコマンドを決定するために
インタフエース・プロフアイルを探索する。 第６図の流れ図は第５図のコンピユータ・シス
テムの、音声入力信号に応答する動作を示す。活
動状態のアプリケーシヨン・プログラムはスプレ
ツドシート１５０であり、表示装置２８でユーザ
に表示されるのはユーザに使用可能な一部の機能
と同時に選択されたデータのアレイである。キー
ボード１３０を用いるよりは、ユーザはもう１つ
の入力装置、音声センサ１３６を用いるデータ入
力を選択する。ステツプ221で、ユーザがワード
“GRAPH”を発声するのに応答して、音声セン
サ１３６は電気信号を生成し、それによつて適切
な装置特定コード１４３が呼出される。ステツプ
223で、装置特定コードはワード“GRAPH”に
対応する入力信号の連続をAIS２０３に送る。ス
テツプ225で、AIS２０３は入力信号をキーボー
ド入力メツセージ又はマウス入力メツセージの連
続として変換し、OS／２１５４のシングル・キ
ユーに加える。入力メツセージのストリームにタ
イムスタンプしたのち、OS／２１５４はそれら
をプレゼンテーシヨン・マネジヤ１５６に渡し、
該マネジヤはユーザの集中点を追跡し、入力メツ
セージを活動状態のアプリケーシヨンプログラ
ム、スプレツドシート１５０に渡す。ステツプ
227で、PMリンク２０１は活動状態のアプリケ
ーヨン・プログラムへのメツセージを傍受し、ス
テツプ229で、AIS２０３に参照し直し、真の入
力メツセージは音声入力メツセージのセツトであ
ると決定し、ステツプ231で、真の入力メツセー
ジ、音声入力をスプレツドシート１５０に送る。 PMリンク２０１が真の音声入力メツセージを
送つた後、ステツプ233で、アプリケーシヨン・
プログラムはそれ自身のメツセージに応答し、次
の２つの動作のうちの一方が生じる。アプリケー
シヨンは、もし送付された入力メツセージのタイ
プを理解しなければ、ステツプ233で“R0”メツ
セージをPMリンク２０１に返送し、入力メツセ
ージを理解しないことを示す。R0メツセージに
応答して、PMリンク２０１は通常はインタフエ
ース・プロフアイル２０４に進み、ステツプ241
で適切なアプリケーシヨン・プロフアイル２０５
内の対応するコマンドを決定し、ステツプ243で
ユーザ・プロフアイル２０７内の対応するコマン
ドを決定する。しかしながら、入力メツセージ
は、それらが音声メツセージであることをステツ
プ237で示すから、PMリンク２０１は最初に入
力メツセージを音声認識装置２１５に送り、ワー
ド“GRAPH”の正しい音声入力トークンを受取
る。ステツプ239でこのトークンを受取つた後、
PMリンク２０１は先ずスプレツドシート１５０
のアプリケーシヨン・プロフアイル２０５をステ
ツプ241で調べ、スプレツドシート１５０によつ
て認識される入力メツセージに対応するコマン
ド、即ち、メニユー選択−グラフ−を見つける。
次にPMリンク２０１は現在のユーザのユーザ・
プロフアイル２０７をステツプ243で参照する。
そしてPMリンク２０１は、スプレツドシート１
５０についてどちらのプロフアイルがより高い優
先順位のコマンドを有するかを、ステツプ245で
決定し、次いで、ステツプ247で、該高い優先順
位のコマンドをスプレツドシート１５０に送る。
そして該スプレツドシートは適切な活動をステツ
プ249で行う、このケースでは、現に選択された
データを図形化し、表示装置２８でユーザに表示
された情報を変更する。 他方、もしスプレツドシート１５０が音声入力
を解読し扱うことができるか、さもなければ、そ
れが既知であれば、“R1”メツセージがステツプ
233でPMリンク２０１に送られる。PMリンク２
０１は、その際、現在のメツセージについてそれ
以上の活動は行わない。スプレツドシート１５０
は音声入力を意識していることがあるが、一定の
状況では、即ち該アプリケーシヨン・プログラム
中の期間、該音声入力を無視するように選択する
こともある。代りに、該意識しているアプリケー
シヨン１５０は幾つかの音声入力を理解し、他の
音声入力を理解できないことがある。特定の音声
入力メツセージが理解されないときは必ず、ステ
ツプ233で、R0メツセージをPMリンク２０１に
返送する。“R0”メツセージを受取つた場合、
PMリンク２０１はこれらの音声入力メツセージ
について、前述の詳細な説明のように、音声認識
装置２１５及びインタフエース・プロフアイル２
０４を調べる。 第５図の実施例で、文字認識装置２１１及びジ
エスチヤ認識装置２１３は拡張ユーザ・インタフ
エース２００の一部である。PMリンク２０１
は、文字又はジエスチヤかも知れない入力メツセ
ージを受取ると、点のセツトを文字認識装置２１
１に送る。もし文字認識装置２１１が該点のセツ
トを英数字として認識すれば、当該文字は識別さ
れ、活動状態のアプリケーシヨン・プログラムで
の以後の処理のためにPMリンク２０１に返送さ
れる。もし該点のセツトが文字として認識されな
ければ、それはジエスチヤ認識装置２１３に送ら
れ、ジエスチヤとして認識されるかどうかが決定
される。もしそれがジエスチヤとして認識されれ
ば、PMリンク２０１は該ジエスチヤをインタフ
エース・プロフアイル２０４に送り、適切なアプ
リケーシヨン・プロフアイル２０５又はユーザ・
プロフアイル２０７から活動状態のアプリケーシ
ヨン・プログラムに送る命令のセツトを見つけ
る。もしそれが文字としてもジエスチヤとしても
認識されなければ、PMリンク２０１は、入力メ
ツセージはたぶんマウス・メツセージとして指定
されたものと判定し、該点のセツトの最後の点で
“マウス・ボタンダウン、マウス・ボタンアツプ”
メツセージを生成する。 接触パネルでのウーザ活動によつてどのマウス
同等のコマンドが生成されるかを決めるために
種々のモードが用いられる場合には、前述の省略
時ユーザ・プロフアイルの代りに、本発明はPM
リンク２０１内に、マウス・ボタンダウン事象、
マウス移動事象又はマウス・ボタンアツプ事象を
エミユレートする接触入力とジエスチヤ又は文字
とみなされることになつている接触入力とを識別
することができるコンピユータ・モジユールを組
込む。これは２つのタイプの接触入力を識別する
ために時間遅延を用いて行われる。拡張ユーザ・
インタフエース２００は、アプリケーシヨンが事
象について知らされる前に、接触センサから受取
つた、スタイラス離昇又はスタイラスが特定の点
で該セツトされた時間遅延の間遅延されている、
全ての点をストローク・バツフアに入れることに
より、ユーザが画面に接触して所望の位置に移動
することを可能にする。ユーザが所望の位置に達
し該セツトされた時間遅延の間移動を停止する
と、アプリケーシヨン・プログラムは該事象をマ
ウスの事象としてPMリンク２０１を介して受取
る。例えば、もしユーザが200ミリ秒の間移動を
停止すれば、所望の位置でのマウス・ボタンダウ
ン・マウス・ボタンアツプ事象がアプリケーシヨ
ン・プログラムに伝達される。しかしながら、も
し該セツトされた時間の期間が終る前にユーザが
再び移動を開始すれば、ユーザが再び停止し該時
間遅延の期間休止しない限り、該事象は生成され
ない。時間遅延は一般にミリ秒で指定され、ユー
ザが対話する画面の領域に応じて変更することが
できる。時間遅延はユーザ・プロフアイル２０７
でユーザが指定し、又は接触入力を利用している
アプリケーシヨン・プログラムによつて変更する
ことができる。 他方、もしユーザが特定の点で該指定された時
間遅延期間の間停止せず、代りにスタイラスを接
触画面から離昇するならば、拡張ユーザ・インタ
フエース２００は入力点のセツトを文字認識又は
ジエスチヤ認識の候補として選択する。換言すれ
ば、時間遅延はジエスチヤの実行に合わせてウイ
ンドーを提供する。この時間の間、拡張ユーザ・
インタフエース２００はジエスチヤの実行だけを
可能にする。もしユーザが時間遅延期間の終了ま
で待つてから離昇すれば、収集された点はジエス
チヤの候補にはならないが、マウス事象にはな
る。もしユーザが時間遅延期間が終了する前に離
昇すれば、文字認識装置２１１又はジエスチヤ認
識装置２１３で入力点のセツトをジエスチヤ又は
文字として認識する試みがなされるが、もし認識
されなければ、通常のマウス・エミユレーシヨ
ン・シーケンス、該セツトの最後の入力点ではマ
ウス・ボタンダウン、マウス・ボタンアツプが生
成される。もし認識されれば、PMリンク２０１
はインタフエース・プロフアイル２０４を参照し
て適切なコマンドを活動状態のアプリケーシヨ
ン・プログラムに送る。 次に、接触センサ１３４の表面でユーザが描く
円のジエスチヤの認識について第７図を参照して
説明する。 AUIユーテイリテイ・モジユール２０９でポ
ツプアツプ・キーボード・ユーテイリテイの呼出
しを欲するユーザは、接触センサ１３４の表面に
円を描き、セツトされた時間遅延の終了前にスタ
イラスを離昇する。接触センサ１３４はステツプ
261で装置特定コード１４２への一連の割込みを
生成し、ステツプ263で、円の点のセツトに対応
する入力信号のセツトをAIS２０３に送る。AIS
２０３は入力信号を、ステツプ265で、OS／２１
５４のシングル・キユーによつて処理されるマウ
ス入力メツセージに変換する。入力メツセージは
表示マネジヤ１５６によつて、活動状態のアプリ
ケーシヨン・プログラム、スプレツドシート１５
０に送られるが、ステツプ267で先ずPMリンク
２０１によつて傍受される。そしてPMリンク２
０１はステツプ269でAIS２０３に質問し、“マウ
ス”入力メツセージは実際に接触入力であると判
定する。 最初の接触入力点、通常はセンサ１３４におけ
る接触点が見つかると、PMリンク２０１はステ
ツプ271でユーザが選択した時間遅延期間につい
てユーザ・プロフアイル２０７を参照する。PM
リンク２０１はステツプ273でそのストローク・
バツフア内の接触入力点をスタイラス離昇事象が
検出されるまで収集する。PMリンク２０１が接
触入力点を収集するとき、ユーザが接触センサに
おけるストローク内で休止する毎にステツプ275
で“安定期間”を開始し、PMリンク２０１はス
テツプ277で安定期間の時間測定を開始し、時間
遅延期間が終了したかどうかを判定する。もしユ
ーザが時間遅延期間終了前に移動すれば、PMリ
ンク２０１はステツプ273でストローク内の接触
入力点収集を続行するが、もし安定期間が時間遅
延よりも長ければ、ステツプ281でマウス・ボタ
ンダウン及びマウス・ボタンアツプ・コマンドが
生成される。本実施例では、ユーザはスタイラス
の離昇前は休止しない、従つて、ステツプ279で、
該ストロークは文字認識装置２１１及びジエスチ
ヤ認識装置２１３に送られ、処理される。もし接
触入力ストロークがジエスチヤとしても文字とし
ても認識されていなければ、ステツプ281で、マ
ウス・ボタンダウン及びマウス・ボタンアツプ・
コマンドが生成される。 ジエスチヤ認識装置２１３によつて円のジエス
チヤとして認識された後、PMリンク２０１はス
テツプ283で該円のジエスチヤをスプレツドシー
ト１５０に送る。ステツプ285で、スプレツドシ
ート１５０は“R0“メツセージ−円のジエスチヤ
が理解されなかつたことを示す−を戻す。円のジ
エスチヤがステツプ287で理解されなかつたとき、
PMリンク２０１はステツプ289でスプレツドシ
ート１５０についてアプリケーシヨン・プロフア
イル２０５を参照し、該円のジエスチヤについて
対応するコマンドがないことを知る。PMリンク
２０１は次にステツプ291で、対応するコマンド
“ポツプアツプ・キーボードを呼出す”を含むユ
ーザ・プロフアイル２０７を参照する。ステツプ
293で、ユーザ・プロフアイル２０７からのコマ
ンドが最も高い優先順位を有するとき、PMリン
ク２０１はステツプ295でこのメツセージをAUI
ユーテイリテイ・モジユール２０９に送り、ポツ
プアツプ・キーボードは表示装置でユーザに表示
される。 本発明は特定の実施例を参照して説明されてい
るが、本発明の意図及び範囲を逸脱せずに形式及
び細部の変更が可能であることは当業者には理解
されている。例えば、ジエスチヤ及び文字認識は
接触入力装置に関して論述されているが、マウス
又は図形タブレツトのような別の指示入力装置を
利用してジエスチヤ又は文字を拡張ユーザ・イン
タフエースに送ることもできる。更に、特定のア
プリケーシヨン・プログラム、統合操作環境及び
入力装置について特定の記述がなされているが、
拡張ユーザ・インタフエースの柔軟性はこれらの
プログラム及び装置についての既存の実施例並び
に一層の拡張のどちらにも適応させることができ
る。 Ｆ 発明の効果 本発明によれば、ユーザがコンピユータ・シス
テムにデータを入力する入力装置を複数の入力装
置から選択することが可能になる。
ン・プロフアイルは、対応するコマンドに対して
写像された入力メツセージと、入力メツセージを
作成するのに必要なユーザ活動を説明するコメン
トと、所与のアプリケーシヨンが活動状態にある
とき当該入力メツセージを受取つた際にコンピユ
ータ・システムが行う活動を説明するコメントと
を示す。 一般に、AIS103からの同じ入力メツセージは
異なるアプリケーシヨン・プロフアイル１０５上
の異なるマクロを呼出す。例えば、或るアプリケ
ーシヨン・プロフアイル１０５は、“カツト／ペ
ースト”と呼ばれるマクロが右矢印のジエスチヤ
に応答して実行されるべきことを指定するのに対
し、異なるアプリケーシヨン・プロフアイル１０
５は右矢印のジエスチヤをキーストローク・シー
ケンス“書式201（ENTER（入力））”に写像でき
ることを指定することがある。ジエスチヤ認識装
置６４は接触センサ３６からの右矢印のジエスチ
ヤを検出すると、現に活動状態のウインドーを所
有するアプリケーシヨン・プログラムを決定する
環境リンク１０１を呼出す。環境リンク１０１は
対応するアプリケーシヨン・プロフアイル１０５
を読取り、当該情報を適切なユーザ・プロフアイ
ル１０７と組合せ、より高い優先順位を有するコ
マンドを選択し、そして活動状態のアプリケーシ
ヨン・プログラム、統合操作環境５６又は他の適
切なAUIモジユールにこのコマンドを出す。 ユーザ・プロフアイル１０７はアプリケーシヨ
ン・プログラム５０〜５３の全て又は幾つかに共
通のコマンドを含む。システム・ユーザ毎に別々
のユーザ・プロフアイル１０７を記述することが
できる。拡張ユーザ・インタフエースは活動状態
のユーザ・プロフアイルをログ・オン（log−
on）手順の間に決定することができる。ユー
ザ・プロフアイル１０７内のエントリは、アプリ
ケーシヨン・プロフアイル１０５内のエントリの
指定変更（Override）に用いることができる。
この状況は特定のユーザがシステム・ユーザのグ
ループのために記述されたアプリケーシヨン・プ
ロフアイル１０５によつて提供された方法と異な
る方法でデータを入力するほうを選択するとき起
きることがある。ユーザ・プロフアイル１０７は
大域省略時（global default）の活動、即ち、も
し特定の入力メツセージが環境リンク１０１によ
り適切なアプリケーシヨン・プロフアイル１０５
で発見されなかつた場合の活動を提供するのに用
いることもできる。大域省略時の活動のためにユ
ーザ・プロフアイル１０７が用いられる場合、所
与の入力メツセージのマクロを有するアプリケー
シヨン・プロフアイル１０５には該省略時の活動
よりも高い優先順位を付与することができる。 本発明の良好な実施例はアプリケーシヨン・プ
ロフアイル１０５とユーザ・プロフアイル１０７
を区別するが、他の実施例では、ユーザ毎に別々
のアプリケーシヨン・プロフアイル１０５を記述
することができる。インタフエース・プロフアイ
ル・モジユール１０４がこのように構成された場
合、もし特定のユーザのアプリケーシヨン・プロ
フアイル１０５が存在しなかつたなら、環境リン
ク１０１は省略時のアプリケーシヨン・プロフア
イル１０５を参照するであろう。省略時のアプリ
ケーシヨン・プロフアイル１０５はアプリケーシ
ヨン・プログラム、入力装置又はコンピユータ・
システムを構成するプログラマによつて提供され
る。一般に考えられているように、所与のアプリ
ケーシヨン・プログラムのアプリケーシヨン・プ
ロフアイル１０５はたいてい該アプリケーシヨン
自身によつて提供される。代りに、全てのアプリ
ケーシヨン・プロフアイル１０５並びに通常のユ
ーザ・プロフアイル１０７はシステム・プログラ
マによつて提供される。拡張ユーザ・インタフエ
ース１００の能力を調査することを欲しない不慣
れなユーザの場合には、通常は省略時プロフアイ
ルが適切である。しかしながら、多くのユーザは
拡張ユーザ・インタフエース１００をユーザ自身
の特定の要求及び仕様に合わせて調整するえこと
を望んでいるであろう。よつて、既存のアプリケ
ーシヨン又はユーザ・プロフアイルを記述又は変
更する必要がある。 拡張ユーザ・インタフエース・ユーテイリテイ
１０９の１つである拡張ユーザ・インタフエース
制御パネルは極めて効率的且つユーザに親切な方
法でユーザ独特のプロフアイルを作成するためユ
ーザがAUI機能の多くを調整することを可能に
する。拡張ユーザ・インタフエース１００はかな
り複雑なコンピユータ・コードを含むが、この制
御パネルの使用により、ユーザはその作業を理解
しなくてもよい。AUI制御パネルが提供する機
能のなかには、プロフアイルを変更し又は作成す
る能力がある。これは制御パネル・メニユーから
“プロフアイル（PROFILE）”を選択して、AUI
制御パネルのインタフエース・プロフアイル作
成／変更モジユールを呼出すことにより遂行され
る。制御パネルは、最初に、変更すべきプロフア
イルの名前をユーザに質問する。この時点で、適
切なプロフアイルのメニユーがユーザに表示され
る。これはユーザ活動の記述（例えば、円のジエ
スチヤ、音声“カツト”コマンド等）のリスト
と、かかるユーザ活動に応答してコンピユータが
行う活動の記述、即ちマクロとを含む。もし前記
名前に関連したアプリケーシヨン・プロフアイル
又はユーザ・プロフアイルがなければ、該ユーテ
イリテイは新しいプロフアイルを作成し、空白の
メニユーを表示する。ユーザはこのメニユーを通
じてカーソルを移動し該プロフアイルで情報を追
加又は変更し、そしてコマンド記録機能又はマク
ロ記録機能を呼出す。例えば、表１の最初の項目
では、スプレツドシート・アプリケーシヨン・プ
ロフアイルの１行のメニユーは次のように解釈す
ることができる： ユーザ活動 制御センサにおける円のジエスチヤ コマンド ポツプアツプ・キーボードを呼出す ユーザは、もし入力メツセージを円のジエスチ
ヤから右の矢印のジエスチヤに変更することを欲
するならば、カーソルをユーザ活動フイールドに
移動してメニユーから“ユーザ活動（USER
ACTION）”を選択する。ユーザは自らが欲する
ポツプアツプ・キーボードを呼出す活動を実行す
るようにプロンプト（操作指示）され、そして記
述された活動の種類を追加してメニユーに表示す
るようにプロンプトされる。同様に、ユーザは、
もし円のジエスチヤによつて呼出されたマクロを
変更することを欲するならば、カーソルをマク
ロ・フイールドに移動して実行すべきマクロの名
前を入力する。 ユーザは新しいプロフアイルを既存のプロフア
イルの変更と同じ方法で作成する。最初に、カー
ソルを空白のユーザ活動フイールドに移動し、メ
ニユーから“ユーザ活動”を選択し、それが終了
すると、カーソルを対応するマクロ・フイールド
に移動し、マクロ名又は他のコマンドを入力する
などの活動を該プロフアイルの完成まで続ける。
従つて、ユーザが最も便利な方法でコンピユー
タ・システムにデータを入力できるように選択し
たアプリケーシヨン・プログラムのための拡張ユ
ーザ・インタフエース・プロフアイルを構築する
のに割合に不慣れなユーザにとつて、それは割合
に簡明な手順になる。 マクロはユーザ・プロフアイル又はアプリケー
シヨン・プロフアイルとは無関係に作成すること
ができる。例えば、統合操作環境５６としてのプ
レゼンテーシヨン・マネジヤには、ユーザがマク
ロを作成し変更し且つ実行することを可能にする
３つの協同ユーテイリテイがある。 マクロ作成ユーテイリテイ（MCU）は解説、
プロンプタ、又は完全に隠れたユーテイリテイと
してセツトアツプすることができるプレゼンテー
シヨン・マネジヤのプログラムである。それは標
準的なプログラム・ローダーから、又は指定され
たジエスチヤないしは他の入力信号を介して呼出
すことができる。そのジヨブは将来のプレイバツ
クのためにユーザのコマンドのシーケンスを記録
することである。ユーザはMCUを始動し、所定
の動作シーケンスを実行し、そしてMCUを停止
するだけである。そして、MCUはマクロの名前
のような所要の情報についてユーザをプロンプト
する。マクロが指名されると、ユーザはそれをア
プリケーシヨン・プロフアイルのどれかで又はユ
ーザ・プロフアイルで参照することにより当該マ
クロの使用を制御することができる。 マクロ変更ユーテイリテイ（MMU）はユーザ
が予め作成されたマクロを介して１つのステツプ
を呼出すことを可能にするプレゼンテーシヨン・
マネジヤのプログラムである。MMUはそれが実
行する前にマクロ内の各々のステツプの英語の記
述を表示する。プレイバツク・プロセス内の任意
の点で、ユーザはマクロ内の１又はそれ以上のコ
マンドを変更することができる。変更は（経験の
あるマクロ記述者の場合は）英語ウインドーの内
容を編集するか又は予め記憶されたコマンドを重
ね書きする”記録”機能を活動状態にすることに
よつて実行することができる。MMUはユーザが
容易にマクロを検査し、デバツクし且つ変更する
ことも可能にする。MMUはユーザが必要とする
ものの大部分の実行が既に可能な既存のマクロを
変更することによりユーザにマクロを構築させる
こともできる。 マクロ実行ユーテイリテイ（MEU）は最大速
度でマクロをプレイバツクするプレゼンテーシヨ
ン・マネジヤのプログラムである。MEUは、ユ
ーザが適切なジエスチヤを出す毎に、環境リンク
１０１によつて呼出すことができる。例えば、も
し左矢印のジエスチヤが認識されれば、環境リン
ク１０１は現在のユーザ・プロフアイルを調べ、
当該ジエスチヤが“大域的に”禁止されているか
どうかを決定する。もし禁止されていなければ、
環境リンク１０１は活動状態のアプリケーシヨン
の名前を決定し、対応するアプリケーシヨン・プ
ロフアイルを読取つて、このアプリケーシヨンの
マクロを左の矢印のジエスチヤに連結しているも
のが（もしあれば）何であるかを決定する。そし
て、環境リンク１０１はもし必要ならMEUを呼
出す。 マウス指示装置に代わる接触入力装置に関連し
て省略時ユーザ・プロフアイルの一例を説明す
る。多くのプログラムはマウス入力を認識するの
で、非常に多くのアプリケーシヨン・プログラム
はこの省略時プロフアイルを用いて動作させるこ
とができる。 この例では、拡張ユーザ・インタフエースは複
数のモードの１つ−スタイラス又は指の動作の結
果によつてどのマウス同等のコマンドがユーザ・
プロフアイルで見つかるかを決定する−でセツト
することができる。AUIがモード１のとき、ど
んなマウス・ボタン・メツセージもタツチダウン
によつて生成されないが、指又はスタイラスが接
触パネルで移動している間に、マウス移動コマン
ドが生成される。スタイラスが離昇（lift−off）
すると、ボタンダウン、ボタンアツプ・コマン
ド・シーケンスはアプリケーシヨン・プログラム
に送られる。モード１は、活動状態のアプリケー
シヨンによる活動が行われる前に、カーソル位置
の正確な決定を可能にする。拡張ユーダ・インタ
フエースがモード２のとき、どんなマウス・ボタ
ン・コマンドもタツチダウンによつて生成されな
いが、スタイラスの移動によつてマウス移動メツ
セージが生成され、スタイラスが離昇すると、マ
ウス二重クリツクが生成される。AUUIアモード
３のとき、マウス・ボタン・ダウン・コマンドは
スタイラストの接触によつて生成され、スタイラ
スが離昇すると、マウス・ボタン・アツプ・コマ
ンドが生成される。モード３は画面の対象（アイ
コン等）を引きずり、ウインドーのサイズを設定
し、ウインドーの顧客領域内の領域に記号を付け
る（例えば、移動することになつているテキスト
に記号を付ける）のに役立つ。３つのモードは手
動で反復してアイコン（AUIが入つているモー
ドを指示する）で接触パネルに接触することによ
り、又はアプリケーシヨン・プロフアイルにより
自動的に選択することができる。 第２の実施例 第５図は統合操作環境としてプレゼンテーシヨ
ン・マネジヤ１５６を用い、コンピユータ・シス
テムを実行するオペレーテイング・システムとし
てOS／２１５４を用いる、もう一つの拡張ユー
ザ・インタフエースの実施例を示す。OS／２１
５４及びプレゼンテーシヨン・マネジヤ１５６の
特性のため、僅かに異なる拡張ユーザ・インタフ
エース２００の配列が必要である。OS／２１５
４は全ての入力にタイムスタンプするシングル・
キユー（単一の待ち行列）モジユールを有し、全
ての入力をそれらがコンピユータ・システムに送
られた順序で、このモジユール内のキユーに入れ
る必要がある。よつて、代りの入力装置の全て
は、環境リンク・モジユール、PMリンク２０１
により処理される前にOS／２１５４を通らなけ
ればならない。更に、本実施例のシングル・キユ
ーの特徴はキーボード入力及びマウス入力だけが
可能であり、接触入力装置又は他の代りの入力装
置からの入力は扱わない。 これらの制約により第５図に示す拡張ユーザ・
インタフエースが設計されている。全ての入力装
置、キーボード１３０、装置Ｃ１３２、装置Ｄ１
３４、装置Ｅ１３６及び装置Ｆ１３８はOS／２
１５４を通つてOS／２１５４のシングル・キユ
ーに加えられる。キーボード１３０の入力信号は
標準的な装置ドライバ１４０を通つて直にOS／
２１５４に送られる。装置Ｃ１３２、装置Ｄ１３
４、装置Ｅ１３６及び装置Ｆ１３８の入力信号は
それぞれ装置特定コード１４１，１４２，１４３
及び１４４を通つ代替入力サブシステム２０３に
送られてから、OS／２１５４のシングル・キユ
ーに渡される。シングル・キユーはキーボード入
力又はマウス入力だけを処理するから、代替入力
サブシステム２０３は装置Ｃ１３２、装置Ｄ１３
４、装置Ｅ１３６及び装置Ｆ１３８からの入力信
号をマウス入力メツセージ又はキーボード入力メ
ツセージに変換する。更に、OS／２１５４は接
触、音声又はイメージの“トークン”を入力メツ
セージとして扱わないから、全ての前記入力はマ
ウス移動点又は他の“事象”の連続として通過す
る。そして、OS／２１５４は活動状態のアプリ
ケーシヨン・プログラムを追跡するプレゼンテー
シヨン・マネジヤ１５６に入力メツセージを渡
す。 第５図で、PMリンク２０１、拡張ユーザ・イ
ンタフエース２００の環境リンク・モジユール
は、プレゼンテーシヨン・マネジヤ１５６及びア
プリケーシヨン・プログラム、アプリケーシヨン
Ｅ１５０、アプリケーシヨンＦ１５１、アプリケ
ーシヨンＧ１５２並びにアプリケーシヨンＨ１５
３の間のフイルタとして動作する。活動状態のア
プリケーシヨン・プログラムを参照する情報と一
緒にプレゼンテーシヨン・マネジヤ１５６から入
力メツセージを受取つた後、代替入力サブシステ
ムが受取つた“キーボード”又は“マウス”のメ
ツセージが実際にキーボード又はマウスのメツセ
ージであるか、又はむしろ接触、音声、イメージ
ないしは他のメツセージであるかを決定するため
に、PMリンク２０１は代替入力サブシステム２
０３を参照し直す。そして、PMリンクは真のメ
ツセージを適切なアプリケーシヨン・プログラム
に渡す。真の入力メツセージが理解されないこと
を活動状態のアプリケーシヨン・プログラムが示
さない限り、拡張ユーザ・インタフエース２００
の残りのモジユールは呼出されない。もし活動状
態のアプリケーシヨンが真の入力メツセージは理
解されないことを示せば、PMリンク２０１は正
しいコマンドを決定するためにインタフエース・
プロフアイル・モジユール２０４を参照する。も
し真の入力メツセージがそれはジエスチヤ、文
字、音声又はイメージの“トークン”かも知れな
いと表示すれば、PMリンク２０１はトークンを
識別するために入力メツセージを適切な認識装置
に送り、そして正しいコマンドを決定するために
インタフエース・プロフアイルを探索する。 第６図の流れ図は第５図のコンピユータ・シス
テムの、音声入力信号に応答する動作を示す。活
動状態のアプリケーシヨン・プログラムはスプレ
ツドシート１５０であり、表示装置２８でユーザ
に表示されるのはユーザに使用可能な一部の機能
と同時に選択されたデータのアレイである。キー
ボード１３０を用いるよりは、ユーザはもう１つ
の入力装置、音声センサ１３６を用いるデータ入
力を選択する。ステツプ221で、ユーザがワード
“GRAPH”を発声するのに応答して、音声セン
サ１３６は電気信号を生成し、それによつて適切
な装置特定コード１４３が呼出される。ステツプ
223で、装置特定コードはワード“GRAPH”に
対応する入力信号の連続をAIS２０３に送る。ス
テツプ225で、AIS２０３は入力信号をキーボー
ド入力メツセージ又はマウス入力メツセージの連
続として変換し、OS／２１５４のシングル・キ
ユーに加える。入力メツセージのストリームにタ
イムスタンプしたのち、OS／２１５４はそれら
をプレゼンテーシヨン・マネジヤ１５６に渡し、
該マネジヤはユーザの集中点を追跡し、入力メツ
セージを活動状態のアプリケーシヨンプログラ
ム、スプレツドシート１５０に渡す。ステツプ
227で、PMリンク２０１は活動状態のアプリケ
ーヨン・プログラムへのメツセージを傍受し、ス
テツプ229で、AIS２０３に参照し直し、真の入
力メツセージは音声入力メツセージのセツトであ
ると決定し、ステツプ231で、真の入力メツセー
ジ、音声入力をスプレツドシート１５０に送る。 PMリンク２０１が真の音声入力メツセージを
送つた後、ステツプ233で、アプリケーシヨン・
プログラムはそれ自身のメツセージに応答し、次
の２つの動作のうちの一方が生じる。アプリケー
シヨンは、もし送付された入力メツセージのタイ
プを理解しなければ、ステツプ233で“R0”メツ
セージをPMリンク２０１に返送し、入力メツセ
ージを理解しないことを示す。R0メツセージに
応答して、PMリンク２０１は通常はインタフエ
ース・プロフアイル２０４に進み、ステツプ241
で適切なアプリケーシヨン・プロフアイル２０５
内の対応するコマンドを決定し、ステツプ243で
ユーザ・プロフアイル２０７内の対応するコマン
ドを決定する。しかしながら、入力メツセージ
は、それらが音声メツセージであることをステツ
プ237で示すから、PMリンク２０１は最初に入
力メツセージを音声認識装置２１５に送り、ワー
ド“GRAPH”の正しい音声入力トークンを受取
る。ステツプ239でこのトークンを受取つた後、
PMリンク２０１は先ずスプレツドシート１５０
のアプリケーシヨン・プロフアイル２０５をステ
ツプ241で調べ、スプレツドシート１５０によつ
て認識される入力メツセージに対応するコマン
ド、即ち、メニユー選択−グラフ−を見つける。
次にPMリンク２０１は現在のユーザのユーザ・
プロフアイル２０７をステツプ243で参照する。
そしてPMリンク２０１は、スプレツドシート１
５０についてどちらのプロフアイルがより高い優
先順位のコマンドを有するかを、ステツプ245で
決定し、次いで、ステツプ247で、該高い優先順
位のコマンドをスプレツドシート１５０に送る。
そして該スプレツドシートは適切な活動をステツ
プ249で行う、このケースでは、現に選択された
データを図形化し、表示装置２８でユーザに表示
された情報を変更する。 他方、もしスプレツドシート１５０が音声入力
を解読し扱うことができるか、さもなければ、そ
れが既知であれば、“R1”メツセージがステツプ
233でPMリンク２０１に送られる。PMリンク２
０１は、その際、現在のメツセージについてそれ
以上の活動は行わない。スプレツドシート１５０
は音声入力を意識していることがあるが、一定の
状況では、即ち該アプリケーシヨン・プログラム
中の期間、該音声入力を無視するように選択する
こともある。代りに、該意識しているアプリケー
シヨン１５０は幾つかの音声入力を理解し、他の
音声入力を理解できないことがある。特定の音声
入力メツセージが理解されないときは必ず、ステ
ツプ233で、R0メツセージをPMリンク２０１に
返送する。“R0”メツセージを受取つた場合、
PMリンク２０１はこれらの音声入力メツセージ
について、前述の詳細な説明のように、音声認識
装置２１５及びインタフエース・プロフアイル２
０４を調べる。 第５図の実施例で、文字認識装置２１１及びジ
エスチヤ認識装置２１３は拡張ユーザ・インタフ
エース２００の一部である。PMリンク２０１
は、文字又はジエスチヤかも知れない入力メツセ
ージを受取ると、点のセツトを文字認識装置２１
１に送る。もし文字認識装置２１１が該点のセツ
トを英数字として認識すれば、当該文字は識別さ
れ、活動状態のアプリケーシヨン・プログラムで
の以後の処理のためにPMリンク２０１に返送さ
れる。もし該点のセツトが文字として認識されな
ければ、それはジエスチヤ認識装置２１３に送ら
れ、ジエスチヤとして認識されるかどうかが決定
される。もしそれがジエスチヤとして認識されれ
ば、PMリンク２０１は該ジエスチヤをインタフ
エース・プロフアイル２０４に送り、適切なアプ
リケーシヨン・プロフアイル２０５又はユーザ・
プロフアイル２０７から活動状態のアプリケーシ
ヨン・プログラムに送る命令のセツトを見つけ
る。もしそれが文字としてもジエスチヤとしても
認識されなければ、PMリンク２０１は、入力メ
ツセージはたぶんマウス・メツセージとして指定
されたものと判定し、該点のセツトの最後の点で
“マウス・ボタンダウン、マウス・ボタンアツプ”
メツセージを生成する。 接触パネルでのウーザ活動によつてどのマウス
同等のコマンドが生成されるかを決めるために
種々のモードが用いられる場合には、前述の省略
時ユーザ・プロフアイルの代りに、本発明はPM
リンク２０１内に、マウス・ボタンダウン事象、
マウス移動事象又はマウス・ボタンアツプ事象を
エミユレートする接触入力とジエスチヤ又は文字
とみなされることになつている接触入力とを識別
することができるコンピユータ・モジユールを組
込む。これは２つのタイプの接触入力を識別する
ために時間遅延を用いて行われる。拡張ユーザ・
インタフエース２００は、アプリケーシヨンが事
象について知らされる前に、接触センサから受取
つた、スタイラス離昇又はスタイラスが特定の点
で該セツトされた時間遅延の間遅延されている、
全ての点をストローク・バツフアに入れることに
より、ユーザが画面に接触して所望の位置に移動
することを可能にする。ユーザが所望の位置に達
し該セツトされた時間遅延の間移動を停止する
と、アプリケーシヨン・プログラムは該事象をマ
ウスの事象としてPMリンク２０１を介して受取
る。例えば、もしユーザが200ミリ秒の間移動を
停止すれば、所望の位置でのマウス・ボタンダウ
ン・マウス・ボタンアツプ事象がアプリケーシヨ
ン・プログラムに伝達される。しかしながら、も
し該セツトされた時間の期間が終る前にユーザが
再び移動を開始すれば、ユーザが再び停止し該時
間遅延の期間休止しない限り、該事象は生成され
ない。時間遅延は一般にミリ秒で指定され、ユー
ザが対話する画面の領域に応じて変更することが
できる。時間遅延はユーザ・プロフアイル２０７
でユーザが指定し、又は接触入力を利用している
アプリケーシヨン・プログラムによつて変更する
ことができる。 他方、もしユーザが特定の点で該指定された時
間遅延期間の間停止せず、代りにスタイラスを接
触画面から離昇するならば、拡張ユーザ・インタ
フエース２００は入力点のセツトを文字認識又は
ジエスチヤ認識の候補として選択する。換言すれ
ば、時間遅延はジエスチヤの実行に合わせてウイ
ンドーを提供する。この時間の間、拡張ユーザ・
インタフエース２００はジエスチヤの実行だけを
可能にする。もしユーザが時間遅延期間の終了ま
で待つてから離昇すれば、収集された点はジエス
チヤの候補にはならないが、マウス事象にはな
る。もしユーザが時間遅延期間が終了する前に離
昇すれば、文字認識装置２１１又はジエスチヤ認
識装置２１３で入力点のセツトをジエスチヤ又は
文字として認識する試みがなされるが、もし認識
されなければ、通常のマウス・エミユレーシヨ
ン・シーケンス、該セツトの最後の入力点ではマ
ウス・ボタンダウン、マウス・ボタンアツプが生
成される。もし認識されれば、PMリンク２０１
はインタフエース・プロフアイル２０４を参照し
て適切なコマンドを活動状態のアプリケーシヨ
ン・プログラムに送る。 次に、接触センサ１３４の表面でユーザが描く
円のジエスチヤの認識について第７図を参照して
説明する。 AUIユーテイリテイ・モジユール２０９でポ
ツプアツプ・キーボード・ユーテイリテイの呼出
しを欲するユーザは、接触センサ１３４の表面に
円を描き、セツトされた時間遅延の終了前にスタ
イラスを離昇する。接触センサ１３４はステツプ
261で装置特定コード１４２への一連の割込みを
生成し、ステツプ263で、円の点のセツトに対応
する入力信号のセツトをAIS２０３に送る。AIS
２０３は入力信号を、ステツプ265で、OS／２１
５４のシングル・キユーによつて処理されるマウ
ス入力メツセージに変換する。入力メツセージは
表示マネジヤ１５６によつて、活動状態のアプリ
ケーシヨン・プログラム、スプレツドシート１５
０に送られるが、ステツプ267で先ずPMリンク
２０１によつて傍受される。そしてPMリンク２
０１はステツプ269でAIS２０３に質問し、“マウ
ス”入力メツセージは実際に接触入力であると判
定する。 最初の接触入力点、通常はセンサ１３４におけ
る接触点が見つかると、PMリンク２０１はステ
ツプ271でユーザが選択した時間遅延期間につい
てユーザ・プロフアイル２０７を参照する。PM
リンク２０１はステツプ273でそのストローク・
バツフア内の接触入力点をスタイラス離昇事象が
検出されるまで収集する。PMリンク２０１が接
触入力点を収集するとき、ユーザが接触センサに
おけるストローク内で休止する毎にステツプ275
で“安定期間”を開始し、PMリンク２０１はス
テツプ277で安定期間の時間測定を開始し、時間
遅延期間が終了したかどうかを判定する。もしユ
ーザが時間遅延期間終了前に移動すれば、PMリ
ンク２０１はステツプ273でストローク内の接触
入力点収集を続行するが、もし安定期間が時間遅
延よりも長ければ、ステツプ281でマウス・ボタ
ンダウン及びマウス・ボタンアツプ・コマンドが
生成される。本実施例では、ユーザはスタイラス
の離昇前は休止しない、従つて、ステツプ279で、
該ストロークは文字認識装置２１１及びジエスチ
ヤ認識装置２１３に送られ、処理される。もし接
触入力ストロークがジエスチヤとしても文字とし
ても認識されていなければ、ステツプ281で、マ
ウス・ボタンダウン及びマウス・ボタンアツプ・
コマンドが生成される。 ジエスチヤ認識装置２１３によつて円のジエス
チヤとして認識された後、PMリンク２０１はス
テツプ283で該円のジエスチヤをスプレツドシー
ト１５０に送る。ステツプ285で、スプレツドシ
ート１５０は“R0“メツセージ−円のジエスチヤ
が理解されなかつたことを示す−を戻す。円のジ
エスチヤがステツプ287で理解されなかつたとき、
PMリンク２０１はステツプ289でスプレツドシ
ート１５０についてアプリケーシヨン・プロフア
イル２０５を参照し、該円のジエスチヤについて
対応するコマンドがないことを知る。PMリンク
２０１は次にステツプ291で、対応するコマンド
“ポツプアツプ・キーボードを呼出す”を含むユ
ーザ・プロフアイル２０７を参照する。ステツプ
293で、ユーザ・プロフアイル２０７からのコマ
ンドが最も高い優先順位を有するとき、PMリン
ク２０１はステツプ295でこのメツセージをAUI
ユーテイリテイ・モジユール２０９に送り、ポツ
プアツプ・キーボードは表示装置でユーザに表示
される。 本発明は特定の実施例を参照して説明されてい
るが、本発明の意図及び範囲を逸脱せずに形式及
び細部の変更が可能であることは当業者には理解
されている。例えば、ジエスチヤ及び文字認識は
接触入力装置に関して論述されているが、マウス
又は図形タブレツトのような別の指示入力装置を
利用してジエスチヤ又は文字を拡張ユーザ・イン
タフエースに送ることもできる。更に、特定のア
プリケーシヨン・プログラム、統合操作環境及び
入力装置について特定の記述がなされているが、
拡張ユーザ・インタフエースの柔軟性はこれらの
プログラム及び装置についての既存の実施例並び
に一層の拡張のどちらにも適応させることができ
る。 Ｆ 発明の効果 本発明によれば、ユーザがコンピユータ・シス
テムにデータを入力する入力装置を複数の入力装
置から選択することが可能になる。
第１図は統合操作環境、例えばプレゼンテーシ
ヨン・マネジヤを用いてユーザの活動に応答する
コンピユータ・システムのソフトウエアとハード
ウエアの対話単位を示すブロツク図である。第２
図は本発明に従つて一連のアプリケーシヨン及び
オペレーテイング・システム・プログラムが読込
まれているメモリを示すコンピユータ・システム
構成のブロツク図である。第３図は本発明の第１
の実施例に従つて設計されたユーザ活動に応答す
るコンピユータ・システムのソフトウエアとハー
ドウエアの対話単位を示すブロツク図である。第
４図は本発明の第１の実施例の、音声入力信号に
応答する動作の流れ図である。第５図は本発明の
第２の実施例に従つて設計されたユーザ活動に応
答するコンピユータ・システムのソフトウエア及
びハードウエアの対話単位を示すブロツク図であ
る。第６図は本発明の第２の実施例の、音声入力
信号に応答する動作の流れ図である。第７図はマ
ウス指示装置をエミユレートする接触入力とジエ
スチヤ又は文字を示す接触入力とを識別するコン
ピユータ・モジユールの動作の流れ図である。 ２０……CPU、２４……ROM、２６……
RAM、２８……表示装置、３０，３２……キー
ボード、３４……マウス、３６……接触センサ、
３８……音声センサ、４０……イメージ・セン
サ、４２……Ｉ／Ｏ、４４……デイスク、５０〜
５３……アプリケーシヨン・プログラム、５４…
…オペレーテイング・システム、５６……統合操
作環境、６０……ドライバＡ、６２……ドライバ
Ｂ、６３……接触ドライバ、６４……ジエスチヤ
認識装置、６５……文字認識装置、６６……音声
認識装置、６８……イメージ認識装置、７０……
BIOS、１００……拡張ユーザ・インタフエー
ス、１０１……環境リンク・モジユール、１０３
……代替入力サブシステム、１０４……インタフ
エース・プロフアイル、１０５……アプリケーシ
ヨン・プロフアイル、１０７……ユーザ・プロフ
アイル、１０９……AUIユーテイリテイ、１３
０……キーボード、１３２……装置Ｃ、１３４…
…装置Ｄ、１３６……装置Ｅ、１３８……装置
Ｆ、１４１〜１４４……装置特定コード、１５４
……OS／２、１５６……表示マネジヤ、２００
……拡張ユーザ・インタフエース、２０１……
PMリンク、２０３……代替入力サブシステム、
２０４……インタフエース・プロフアイル、２０
５……アプリケーシヨン・プロフアイル、２０７
……ユーザ・プロフアイル、２１１……文字認識
装置、２１３……ジエスチヤ認識装置、２１５…
…音声認識装置。
ヨン・マネジヤを用いてユーザの活動に応答する
コンピユータ・システムのソフトウエアとハード
ウエアの対話単位を示すブロツク図である。第２
図は本発明に従つて一連のアプリケーシヨン及び
オペレーテイング・システム・プログラムが読込
まれているメモリを示すコンピユータ・システム
構成のブロツク図である。第３図は本発明の第１
の実施例に従つて設計されたユーザ活動に応答す
るコンピユータ・システムのソフトウエアとハー
ドウエアの対話単位を示すブロツク図である。第
４図は本発明の第１の実施例の、音声入力信号に
応答する動作の流れ図である。第５図は本発明の
第２の実施例に従つて設計されたユーザ活動に応
答するコンピユータ・システムのソフトウエア及
びハードウエアの対話単位を示すブロツク図であ
る。第６図は本発明の第２の実施例の、音声入力
信号に応答する動作の流れ図である。第７図はマ
ウス指示装置をエミユレートする接触入力とジエ
スチヤ又は文字を示す接触入力とを識別するコン
ピユータ・モジユールの動作の流れ図である。 ２０……CPU、２４……ROM、２６……
RAM、２８……表示装置、３０，３２……キー
ボード、３４……マウス、３６……接触センサ、
３８……音声センサ、４０……イメージ・セン
サ、４２……Ｉ／Ｏ、４４……デイスク、５０〜
５３……アプリケーシヨン・プログラム、５４…
…オペレーテイング・システム、５６……統合操
作環境、６０……ドライバＡ、６２……ドライバ
Ｂ、６３……接触ドライバ、６４……ジエスチヤ
認識装置、６５……文字認識装置、６６……音声
認識装置、６８……イメージ認識装置、７０……
BIOS、１００……拡張ユーザ・インタフエー
ス、１０１……環境リンク・モジユール、１０３
……代替入力サブシステム、１０４……インタフ
エース・プロフアイル、１０５……アプリケーシ
ヨン・プロフアイル、１０７……ユーザ・プロフ
アイル、１０９……AUIユーテイリテイ、１３
０……キーボード、１３２……装置Ｃ、１３４…
…装置Ｄ、１３６……装置Ｅ、１３８……装置
Ｆ、１４１〜１４４……装置特定コード、１５４
……OS／２、１５６……表示マネジヤ、２００
……拡張ユーザ・インタフエース、２０１……
PMリンク、２０３……代替入力サブシステム、
２０４……インタフエース・プロフアイル、２０
５……アプリケーシヨン・プロフアイル、２０７
……ユーザ・プロフアイル、２１１……文字認識
装置、２１３……ジエスチヤ認識装置、２１５…
…音声認識装置。
Claims (1)
- 【特許請求の範囲】 １ 中央プロセツサと、ランダム・アクセス・メ
モリとを備え、該メモリ内に拡張ユーザ・インタ
ーフエースを常駐させるとともに、任意の時点で
１つだけが活動状態にある複数のアプリケーシヨ
ン・プログラムを同時に実行することができる統
合操作環境及びオペレーテイング・システムをも
前記メモリ内に常駐させるようにしたコンピユー
タ・システムであつて、 ユーザが実行する活動に応答して前記拡張ユー
ザ・インターフエースに入力信号を送る複数の入
力装置と、 前記複数の入力装置に結合され、前記入力信号
を入力メツセージにそれぞれ変換する変換手段
と、 前記入力メツセージと当該入力メツセージに対
応し且つ前記複数のアプリケーシヨン・プログラ
ムの少なくとも１つによつて使用可能なコマンド
との写像テーブルを保持するインターフエース・
プロフアイルと、 前記変換手段、前記インターフエース・プロフ
アイル及び前記統合操作環境に結合され、前記入
力メツセージを受取り、前記複数のアプリケーシ
ヨン・プログラムのうち前記入力信号が前記複数
の入力装置の１つによつて送られた時点で活動状
態にあつた特定のアプリケーシヨン・プログラム
を判別し、前記入力メツセージを前記特定のアプ
リケーシヨン・プログラム用の前記インターフエ
ース・プロフアイルに保持される前記対応するコ
マンドと突き合わせるとともに、当該対応するコ
マンドを前記特定のアプリケーシヨン・プログラ
ム又は前記統合操作環境に送る、環境リンク・モ
ジユールと、 前記複数のアプリケーシヨン・プログラムに関
連する状況、結果、選択及びその他の項目に関す
る情報を表示する表示装置とを備え、 前記活動状態にあるアプリケーシヨン・プログ
ラムの作成時に元々予定されていたユーザ活動と
異なるユーザ活動に応答して、当該アプリケーシ
ヨン・プログラムを変更することなく所定の活動
を実行するようにした、 前記コンピユータ・システム。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US07/344,879 US5157384A (en) | 1989-04-28 | 1989-04-28 | Advanced user interface |
| US344879 | 1989-04-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0320812A JPH0320812A (ja) | 1991-01-29 |
| JPH0580009B2 true JPH0580009B2 (ja) | 1993-11-05 |
Family
ID=23352455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2110657A Granted JPH0320812A (ja) | 1989-04-28 | 1990-04-27 | コンピュータ・システム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5157384A (ja) |
| EP (1) | EP0394614B1 (ja) |
| JP (1) | JPH0320812A (ja) |
| CA (1) | CA2007411C (ja) |
| DE (1) | DE69026417T2 (ja) |
Families Citing this family (230)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5252951A (en) * | 1989-04-28 | 1993-10-12 | International Business Machines Corporation | Graphical user interface with gesture recognition in a multiapplication environment |
| JPH03163623A (ja) * | 1989-06-23 | 1991-07-15 | Articulate Syst Inc | 音声制御コンピュータ・インターフェース |
| JPH0778782B2 (ja) * | 1989-07-19 | 1995-08-23 | インターナショナル・ビジネス・マシーンズ・コーポレーシヨン | 対話型コンピュータ・システムならびにその使用環境適合化装置および方法 |
| US5497319A (en) * | 1990-12-31 | 1996-03-05 | Trans-Link International Corp. | Machine translation and telecommunications system |
| US5276816A (en) * | 1990-12-31 | 1994-01-04 | International Business Machines Corporation | Icon object interface system and method |
| US5606702A (en) * | 1991-03-30 | 1997-02-25 | International Business Machines Corporation | Method for specifying user interfaces and programming system running a multiple user interface computer |
| JPH0520274A (ja) * | 1991-07-10 | 1993-01-29 | Canon Inc | 電子情報機器 |
| JP2695542B2 (ja) * | 1991-07-12 | 1997-12-24 | 財団法人ニューメディア開発協会 | ユーザ情報の利用・獲得を行う情報処理装置 |
| US5301326A (en) * | 1991-09-24 | 1994-04-05 | Microsoft Corporation | Method and system for controlling the execution of an application program |
| US5825865A (en) * | 1991-10-04 | 1998-10-20 | Motorola, Inc. | Temporary message routing and destination selection |
| JPH0736142B2 (ja) * | 1991-10-10 | 1995-04-19 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 移動指示手段の運動停止を認識する方法および情報処理装置 |
| CA2076466C (en) * | 1991-10-21 | 2002-01-15 | Alan R. Tannenbaum | Method for buffering high bandwidth data from an input device |
| US5848187A (en) * | 1991-11-18 | 1998-12-08 | Compaq Computer Corporation | Method and apparatus for entering and manipulating spreadsheet cell data |
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| JP3286339B2 (ja) | 1992-03-25 | 2002-05-27 | 株式会社リコー | ウインドウ画面制御装置 |
| US5404524A (en) * | 1992-04-03 | 1995-04-04 | International Business Machines Corporation | System for identifying attached input pointing devices, loading associated software routines, and interacting with anyone input pointing device while disabling the others |
| US5317695A (en) * | 1992-04-03 | 1994-05-31 | International Business Machines Corporation | Method and system for permitting communication between a data processing system and input pointing devices of multiple types |
| US5818800A (en) * | 1992-04-06 | 1998-10-06 | Barker; Bruce J. | Voice recording device having portable and local modes of operation |
| US5508821A (en) * | 1992-04-09 | 1996-04-16 | Matsushita Electric Industrial Co., Ltd. | Image scanner and image forming apparatus with an interface for connection with an external computer |
| CA2089784C (en) * | 1992-04-15 | 1996-12-24 | William Joseph Anderson | Apparatus and method for disambiguating an input stream generated by a stylus-based user interface |
| DE69333096T2 (de) * | 1992-04-15 | 2004-02-12 | Xerox Corp. | Vorrichtungen und Verfahren zum graphischen Zeichnen und Ausgabe |
| US6239389B1 (en) | 1992-06-08 | 2001-05-29 | Synaptics, Inc. | Object position detection system and method |
| US5880411A (en) | 1992-06-08 | 1999-03-09 | Synaptics, Incorporated | Object position detector with edge motion feature and gesture recognition |
| US5942733A (en) * | 1992-06-08 | 1999-08-24 | Synaptics, Inc. | Stylus input capacitive touchpad sensor |
| DE69324067T2 (de) | 1992-06-08 | 1999-07-15 | Synaptics Inc | Objekt-Positionsdetektor |
| US5889236A (en) | 1992-06-08 | 1999-03-30 | Synaptics Incorporated | Pressure sensitive scrollbar feature |
| US5861583A (en) | 1992-06-08 | 1999-01-19 | Synaptics, Incorporated | Object position detector |
| US6028271A (en) | 1992-06-08 | 2000-02-22 | Synaptics, Inc. | Object position detector with edge motion feature and gesture recognition |
| FR2696258B1 (fr) * | 1992-09-25 | 1994-10-28 | Sextant Avionique | Dispositif de gestion d'un système d'interaction homme-machine. |
| FR2696574B1 (fr) * | 1992-10-06 | 1994-11-18 | Sextant Avionique | Procédé et dispositif d'analyse d'un message fourni par des moyens d'interaction à un système de dialogue homme-machine. |
| EP0593386A3 (en) * | 1992-10-16 | 1996-07-31 | Ibm | Method and apparatus for accessing touch screen desktop objects via fingerprint recognition |
| US5442376A (en) * | 1992-10-26 | 1995-08-15 | International Business Machines Corporation | Handling multiple command recognition inputs in a multi-tasking graphical environment |
| US5561811A (en) * | 1992-11-10 | 1996-10-01 | Xerox Corporation | Method and apparatus for per-user customization of applications shared by a plurality of users on a single display |
| EP0606811A3 (en) * | 1992-12-28 | 1995-06-21 | Ibm | Use a preferred object handler. |
| US5502803A (en) * | 1993-01-18 | 1996-03-26 | Sharp Kabushiki Kaisha | Information processing apparatus having a gesture editing function |
| US5890122A (en) * | 1993-02-08 | 1999-03-30 | Microsoft Corporation | Voice-controlled computer simulateously displaying application menu and list of available commands |
| WO1994020899A1 (en) * | 1993-03-10 | 1994-09-15 | Barker Bruce | Data entry device |
| CA2115210C (en) * | 1993-04-21 | 1997-09-23 | Joseph C. Andreshak | Interactive computer system recognizing spoken commands |
| US5638501A (en) * | 1993-05-10 | 1997-06-10 | Apple Computer, Inc. | Method and apparatus for displaying an overlay image |
| US5614926A (en) * | 1993-05-17 | 1997-03-25 | Sharp Kabushiki Kaisha | Word processor with a handwriting text processing function |
| CA2155357C (en) * | 1993-07-19 | 2001-12-18 | David R. Anderson | Dynamic linking system |
| US5581670A (en) * | 1993-07-21 | 1996-12-03 | Xerox Corporation | User interface having movable sheet with click-through tools |
| CA2124505C (en) * | 1993-07-21 | 2000-01-04 | William A. S. Buxton | User interface having simultaneously movable tools and cursor |
| CA2124624C (en) * | 1993-07-21 | 1999-07-13 | Eric A. Bier | User interface having click-through tools that can be composed with other tools |
| JPH0792993A (ja) * | 1993-09-20 | 1995-04-07 | Fujitsu Ltd | 音声認識装置 |
| US5583761A (en) * | 1993-10-13 | 1996-12-10 | Kt International, Inc. | Method for automatic displaying program presentations in different languages |
| JP2813728B2 (ja) * | 1993-11-01 | 1998-10-22 | インターナショナル・ビジネス・マシーンズ・コーポレイション | ズーム／パン機能付パーソナル通信機 |
| US5375084A (en) * | 1993-11-08 | 1994-12-20 | International Business Machines Corporation | Selectable interface between memory controller and memory simms |
| JP2710547B2 (ja) * | 1994-02-15 | 1998-02-10 | インターナショナル・ビジネス・マシーンズ・コーポレイション | グラフィカル・ユーザ・インターフェース |
| US5542069A (en) * | 1994-03-02 | 1996-07-30 | Sun Microsystems, Inc. | Method and apparatus for simulating input events in a windowed environment |
| US5681220A (en) * | 1994-03-18 | 1997-10-28 | International Business Machines Corporation | Keyboard touchpad combination in a bivalve enclosure |
| US5613137A (en) * | 1994-03-18 | 1997-03-18 | International Business Machines Corporation | Computer system with touchpad support in operating system |
| CA2187925C (en) * | 1994-04-21 | 2000-04-25 | Colin Jones | Interface device and method |
| US6496872B1 (en) * | 1994-05-16 | 2002-12-17 | Apple Computer, Inc. | Computer system for automatically instantiating tasks designated by a user |
| US5787246A (en) * | 1994-05-27 | 1998-07-28 | Microsoft Corporation | System for configuring devices for a computer system |
| US5748980A (en) * | 1994-05-27 | 1998-05-05 | Microsoft Corporation | System for configuring a computer system |
| US6763454B2 (en) * | 1994-05-27 | 2004-07-13 | Microsoft Corp. | System for allocating resources in a computer system |
| US5655148A (en) * | 1994-05-27 | 1997-08-05 | Microsoft Corporation | Method for automatically configuring devices including a network adapter without manual intervention and without prior configuration information |
| US5570113A (en) * | 1994-06-29 | 1996-10-29 | International Business Machines Corporation | Computer based pen system and method for automatically cancelling unwanted gestures and preventing anomalous signals as inputs to such system |
| US5867106A (en) * | 1994-09-02 | 1999-02-02 | Packard Bell Nec | Password switch to override remote control |
| US6137473A (en) * | 1994-09-02 | 2000-10-24 | Nec Corporation | System and method for switching control between a host computer and a remote interface device |
| US6092117A (en) * | 1994-09-02 | 2000-07-18 | Packard Bell Nec | System and method for automatically reconnecting a wireless interface device to a host computer |
| US6209034B1 (en) | 1994-09-02 | 2001-03-27 | Nec Corporation | Remote keyboard macros activated by hot icons |
| US5974558A (en) * | 1994-09-02 | 1999-10-26 | Packard Bell Nec | Resume on pen contact |
| US6262719B1 (en) | 1994-09-02 | 2001-07-17 | Packard Bell Nec, Inc. | Mouse emulation with a passive pen |
| US6292181B1 (en) | 1994-09-02 | 2001-09-18 | Nec Corporation | Structure and method for controlling a host computer using a remote hand-held interface device |
| WO1996009579A1 (en) * | 1994-09-22 | 1996-03-28 | Izak Van Cruyningen | Popup menus with directional gestures |
| JP3399665B2 (ja) * | 1994-11-04 | 2003-04-21 | シャープ株式会社 | 情報処理装置 |
| US5630159A (en) * | 1994-12-29 | 1997-05-13 | Motorola, Inc. | Method and apparatus for personal attribute selection having delay management method and apparatus for preference establishment when preferences in a donor device are unavailable |
| US5761420A (en) * | 1995-02-28 | 1998-06-02 | Johnson; William | Method and apparatus for telephone proof of documents |
| US5706456A (en) * | 1995-04-18 | 1998-01-06 | Unisys Corporation | Application specific graphical user interface (GUI) that is window programmable and capable of operating above a windows operating system GUI |
| US5802388A (en) * | 1995-05-04 | 1998-09-01 | Ibm Corporation | System and method for correction and confirmation dialog for hand printed character input to a data processing system |
| EP0752646B1 (en) * | 1995-07-07 | 2002-03-27 | Sun Microsystems, Inc. | Data access implementation of device driver interface |
| US6668244B1 (en) * | 1995-07-21 | 2003-12-23 | Quartet Technology, Inc. | Method and means of voice control of a computer, including its mouse and keyboard |
| US5864815A (en) * | 1995-07-31 | 1999-01-26 | Microsoft Corporation | Method and system for displaying speech recognition status information in a visual notification area |
| US5857172A (en) * | 1995-07-31 | 1999-01-05 | Microsoft Corporation | Activation control of a speech recognizer through use of a pointing device |
| US5748191A (en) * | 1995-07-31 | 1998-05-05 | Microsoft Corporation | Method and system for creating voice commands using an automatically maintained log interactions performed by a user |
| US5761641A (en) * | 1995-07-31 | 1998-06-02 | Microsoft Corporation | Method and system for creating voice commands for inserting previously entered information |
| US5790889A (en) * | 1995-08-11 | 1998-08-04 | Dell U.S.A., L.P. | Method of selecting pointing device in a computer comprising responsive to a reconfiguration event, indentifying all connected pointing devices and selecting one of the devices |
| US5787285A (en) * | 1995-08-15 | 1998-07-28 | International Business Machines Corporation | Apparatus and method for optimizing applications for multiple operational environments or modes |
| US6289312B1 (en) * | 1995-10-02 | 2001-09-11 | Digital Equipment Corporation | Speech interface for computer application programs |
| US5805777A (en) * | 1995-10-11 | 1998-09-08 | Eastman Kodak Company | Extended printer control interface |
| US7512671B1 (en) * | 1995-10-16 | 2009-03-31 | Nec Corporation | Computer system for enabling a wireless interface device to selectively establish a communication link with a user selectable remote computer |
| US5990875A (en) * | 1995-10-16 | 1999-11-23 | Packard Bell Nec | Double pen up event |
| US6664982B1 (en) | 1995-10-16 | 2003-12-16 | Nec Corporation | Multi-user on-screen keyboard |
| US6963783B1 (en) | 1995-10-16 | 2005-11-08 | Packard Bell Nec | Audio compression in a wireless remote interface tablet |
| US6018806A (en) * | 1995-10-16 | 2000-01-25 | Packard Bell Nec | Method and system for rebooting a computer having corrupted memory using an external jumper |
| US6279153B1 (en) | 1995-10-16 | 2001-08-21 | Nec Corporation | Multi-user flash ROM update |
| US6005533A (en) * | 1995-10-16 | 1999-12-21 | Packard Bell Nec | Remote occlusion region |
| US6126327A (en) * | 1995-10-16 | 2000-10-03 | Packard Bell Nec | Radio flash update |
| US5996082A (en) * | 1995-10-16 | 1999-11-30 | Packard Bell Nec | System and method for delaying a wake-up signal |
| US6148344A (en) * | 1995-10-16 | 2000-11-14 | Nec Corporation | System and method for enabling an IPX driver to accommodate multiple LAN adapters |
| US6108727A (en) * | 1995-10-16 | 2000-08-22 | Packard Bell Nec | System having wireless interface device for storing compressed predetermined program files received from a remote host and communicating with the remote host via wireless link |
| JP3434105B2 (ja) * | 1995-11-28 | 2003-08-04 | 富士通株式会社 | マクロプログラム管理装置 |
| US6300936B1 (en) | 1997-11-14 | 2001-10-09 | Immersion Corporation | Force feedback system including multi-tasking graphical host environment and interface device |
| US5823782A (en) * | 1995-12-29 | 1998-10-20 | Tinkers & Chance | Character recognition educational system |
| US5838972A (en) * | 1996-02-09 | 1998-11-17 | Sun Microsystems, Inc. | Method and apparatus for dynamically loading an input run-time module and an output run-time module |
| USRE38286E1 (en) | 1996-02-15 | 2003-10-28 | Leapfrog Enterprises, Inc. | Surface position location system and method |
| USRE39881E1 (en) | 1996-02-15 | 2007-10-16 | Leapfrog Enterprises, Inc. | Surface position location system and method |
| US5898422A (en) * | 1996-05-31 | 1999-04-27 | International Business Machines Corporation | Method and system for recognition of pointers |
| US5841994A (en) * | 1996-06-14 | 1998-11-24 | Texas Instruments Incorporated | Portable computer with multiple zoom port interface |
| GB2315139A (en) * | 1996-07-06 | 1998-01-21 | Ibm | Selecting operations in an object-oriented user interface |
| US5867153A (en) | 1996-10-30 | 1999-02-02 | Transaction Technology, Inc. | Method and system for automatically harmonizing access to a software application program via different access devices |
| US5873064A (en) * | 1996-11-08 | 1999-02-16 | International Business Machines Corporation | Multi-action voice macro method |
| US6654955B1 (en) * | 1996-12-19 | 2003-11-25 | International Business Machines Corporation | Adding speech recognition libraries to an existing program at runtime |
| US6297805B1 (en) | 1997-08-29 | 2001-10-02 | Xerox Corporation | Multiple interacting computers interfaceable through a physical manipulatory grammar |
| US6268857B1 (en) | 1997-08-29 | 2001-07-31 | Xerox Corporation | Computer user interface using a physical manipulatory grammar |
| US6243075B1 (en) | 1997-08-29 | 2001-06-05 | Xerox Corporation | Graspable device manipulation for controlling a computer display |
| US6297838B1 (en) | 1997-08-29 | 2001-10-02 | Xerox Corporation | Spinning as a morpheme for a physical manipulatory grammar |
| US6243074B1 (en) | 1997-08-29 | 2001-06-05 | Xerox Corporation | Handedness detection for a physical manipulatory grammar |
| US6678744B2 (en) * | 1997-10-09 | 2004-01-13 | Ericsson Inc. | Application wrapper methods and systems |
| US8020095B2 (en) | 1997-11-14 | 2011-09-13 | Immersion Corporation | Force feedback system including multi-tasking graphical host environment |
| US6160540A (en) * | 1998-01-12 | 2000-12-12 | Xerox Company | Zoomorphic computer user interface |
| US9239673B2 (en) | 1998-01-26 | 2016-01-19 | Apple Inc. | Gesturing with a multipoint sensing device |
| US20070177804A1 (en) * | 2006-01-30 | 2007-08-02 | Apple Computer, Inc. | Multi-touch gesture dictionary |
| US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
| US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
| US9292111B2 (en) * | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
| US6509913B2 (en) | 1998-04-30 | 2003-01-21 | Openwave Systems Inc. | Configurable man-machine interface |
| US6438523B1 (en) | 1998-05-20 | 2002-08-20 | John A. Oberteuffer | Processing handwritten and hand-drawn input and speech input |
| US6263375B1 (en) * | 1998-08-31 | 2001-07-17 | International Business Machines Corp. | Method for creating dictation macros |
| AU6040999A (en) * | 1998-09-14 | 2000-04-03 | Microsoft Corporation | Input device with forward/backward control |
| US7002552B1 (en) * | 1999-04-06 | 2006-02-21 | Microsoft Corporation | Computer input device with digit support and natural position actuators |
| US8275617B1 (en) | 1998-12-17 | 2012-09-25 | Nuance Communications, Inc. | Speech command input recognition system for interactive computer display with interpretation of ancillary relevant speech query terms into commands |
| US6192343B1 (en) | 1998-12-17 | 2001-02-20 | International Business Machines Corporation | Speech command input recognition system for interactive computer display with term weighting means used in interpreting potential commands from relevant speech terms |
| US7206747B1 (en) | 1998-12-16 | 2007-04-17 | International Business Machines Corporation | Speech command input recognition system for interactive computer display with means for concurrent and modeless distinguishing between speech commands and speech queries for locating commands |
| US6937984B1 (en) | 1998-12-17 | 2005-08-30 | International Business Machines Corporation | Speech command input recognition system for interactive computer display with speech controlled display of recognized commands |
| US6233560B1 (en) | 1998-12-16 | 2001-05-15 | International Business Machines Corporation | Method and apparatus for presenting proximal feedback in voice command systems |
| US6963937B1 (en) | 1998-12-17 | 2005-11-08 | International Business Machines Corporation | Method and apparatus for providing configurability and customization of adaptive user-input filtration |
| US6570555B1 (en) * | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
| US6336149B1 (en) * | 1999-01-26 | 2002-01-01 | Glenn W. Preston | Macro recording and playback device independent of operating system or application software and method of using same |
| US7966078B2 (en) | 1999-02-01 | 2011-06-21 | Steven Hoffberg | Network media appliance system and method |
| US6727884B1 (en) * | 1999-04-06 | 2004-04-27 | Microsoft Corporation | System and method for mapping input device controls to software actions |
| US7116310B1 (en) * | 1999-04-06 | 2006-10-03 | Microsoft Corporation | Application programming interface that maps input device controls to software actions |
| US6965368B1 (en) * | 1999-04-06 | 2005-11-15 | Microsoft Corporation | Game control device having genre data |
| US6711620B1 (en) | 1999-04-14 | 2004-03-23 | Matsushita Electric Industrial Co. | Event control device and digital broadcasting system |
| JP4528384B2 (ja) * | 1999-07-08 | 2010-08-18 | マイクロソフト コーポレーション | 音声入力用グラフィカル・ユーザ・インターフェースのための表示装置 |
| US6598169B1 (en) * | 1999-07-26 | 2003-07-22 | Microsoft Corporation | System and method for accessing information made available by a kernel mode driver |
| US7987431B2 (en) | 1999-10-29 | 2011-07-26 | Surfcast, Inc. | System and method for simultaneous display of multiple information sources |
| US6724403B1 (en) | 1999-10-29 | 2004-04-20 | Surfcast, Inc. | System and method for simultaneous display of multiple information sources |
| US7028264B2 (en) * | 1999-10-29 | 2006-04-11 | Surfcast, Inc. | System and method for simultaneous display of multiple information sources |
| US7016835B2 (en) * | 1999-10-29 | 2006-03-21 | International Business Machines Corporation | Speech and signal digitization by using recognition metrics to select from multiple techniques |
| GB9930851D0 (en) | 1999-12-24 | 2000-02-16 | Koninkl Philips Electronics Nv | Apparatus control system and method |
| US6642942B1 (en) * | 2000-03-07 | 2003-11-04 | Intel Corporation | Method and system for configuring among call processing applications in a call processing system |
| US7058888B1 (en) * | 2000-04-25 | 2006-06-06 | Microsoft Corporation | Multi-modal text editing correction |
| US6661405B1 (en) | 2000-04-27 | 2003-12-09 | Leapfrog Enterprises, Inc. | Electrographic position location apparatus and method |
| US6750978B1 (en) * | 2000-04-27 | 2004-06-15 | Leapfrog Enterprises, Inc. | Print media information system with a portable print media receiving unit assembly |
| US6668156B2 (en) * | 2000-04-27 | 2003-12-23 | Leapfrog Enterprises, Inc. | Print media receiving unit including platform and print media |
| AU2001230044A1 (en) * | 2000-11-27 | 2002-06-03 | Nokia Corporation | Method and system providing a mediation function |
| DE60117676T2 (de) * | 2000-12-29 | 2006-11-16 | Stmicroelectronics S.R.L., Agrate Brianza | Verfahren zur einfachen Ausdehnung der Funktionalität eines tragbaren elektronischen Geräts und zugehöriges, tragbares elektronisches Gerät |
| US7916124B1 (en) | 2001-06-20 | 2011-03-29 | Leapfrog Enterprises, Inc. | Interactive apparatus using print media |
| US6608618B2 (en) | 2001-06-20 | 2003-08-19 | Leapfrog Enterprises, Inc. | Interactive apparatus using print media |
| EP1286261A1 (de) * | 2001-08-13 | 2003-02-26 | Alcatel | Verfahren, Bedienoberflächenmodul, Zwischenmodule sowie damit ausgestattetes Netzwerk-Management-System zur Bedienung eines Bedienoberflächenmoduls |
| EP1321852A1 (fr) * | 2001-10-03 | 2003-06-25 | C O2W3 Sas | Plate-forme logicielle modulable |
| US9189467B1 (en) | 2001-11-07 | 2015-11-17 | Apple Inc. | Method and apparatus for annotating an electronic document |
| KR20040091016A (ko) * | 2002-02-06 | 2004-10-27 | 리이프프로그 엔터프라이시스, 인코포레이티드 | 인터랙티브 장치 및 방법 |
| EP1388786A1 (de) * | 2002-03-15 | 2004-02-11 | Alcatel | Benutzerschnittstelle für eine Mensch-Computer Interaktion |
| CN100530112C (zh) * | 2002-04-22 | 2009-08-19 | 汤姆森特许公司 | 将用户信号传递给多个应用程序的方法和装置 |
| US7099893B2 (en) * | 2002-06-28 | 2006-08-29 | Sap Aktiengesellschaft | Recording application user actions for application testing |
| US8682636B2 (en) * | 2002-08-30 | 2014-03-25 | Sap Ag | Non-client-specific testing of applications |
| US20040063078A1 (en) * | 2002-09-30 | 2004-04-01 | Marcus Brian I. | Electronic educational toy appliance |
| US20040229195A1 (en) * | 2003-03-18 | 2004-11-18 | Leapfrog Enterprises, Inc. | Scanning apparatus |
| US8745541B2 (en) * | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
| US7068262B2 (en) * | 2003-06-09 | 2006-06-27 | Leapfrog Enterprises, Inc. | Writing stylus for electrographic position location apparatus |
| EP1654632A1 (en) * | 2003-08-14 | 2006-05-10 | NTT DoCoMo INC. | Direct data input |
| US20050055647A1 (en) * | 2003-09-05 | 2005-03-10 | Chung-Hui Chen | System and method for switching software functions |
| CA2551114C (en) * | 2004-01-13 | 2014-07-08 | University Of Toledo | Noninvasive birefringence compensated sensing polarimeter |
| US8469808B2 (en) | 2004-01-15 | 2013-06-25 | Bgc Partners, Inc. | System and method for managing a game controller device for electronic trading |
| US7458029B2 (en) | 2004-01-15 | 2008-11-25 | Microsoft Corporation | System and process for controlling a shared display given inputs from multiple users using multiple input modalities |
| US8170945B2 (en) | 2004-01-15 | 2012-05-01 | Bgc Partners, Inc. | System and method for providing security to a game controller device for electronic trading |
| US7207885B2 (en) | 2004-01-15 | 2007-04-24 | Espeed, Inc. | System and method for using a game controller device for electronic trading |
| US7707039B2 (en) | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
| US8442331B2 (en) | 2004-02-15 | 2013-05-14 | Google Inc. | Capturing text from rendered documents using supplemental information |
| US7812860B2 (en) | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
| US10635723B2 (en) | 2004-02-15 | 2020-04-28 | Google Llc | Search engines and systems with handheld document data capture devices |
| US7345681B2 (en) * | 2004-02-17 | 2008-03-18 | Microsoft Corporation | Pen data capture and injection |
| US20060067576A1 (en) * | 2004-03-17 | 2006-03-30 | James Marggraff | Providing a user interface having interactive elements on a writable surface |
| US20060125805A1 (en) * | 2004-03-17 | 2006-06-15 | James Marggraff | Method and system for conducting a transaction using recognized text |
| US20060081714A1 (en) | 2004-08-23 | 2006-04-20 | King Martin T | Portable scanning device |
| US9116890B2 (en) | 2004-04-01 | 2015-08-25 | Google Inc. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US8146156B2 (en) | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
| US7990556B2 (en) | 2004-12-03 | 2011-08-02 | Google Inc. | Association of a portable scanner with input/output and storage devices |
| US9143638B2 (en) | 2004-04-01 | 2015-09-22 | Google Inc. | Data capture from rendered documents using handheld device |
| US20060098900A1 (en) | 2004-09-27 | 2006-05-11 | King Martin T | Secure data gathering from rendered documents |
| US7894670B2 (en) | 2004-04-01 | 2011-02-22 | Exbiblio B.V. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US8489624B2 (en) | 2004-05-17 | 2013-07-16 | Google, Inc. | Processing techniques for text capture from a rendered document |
| US8874504B2 (en) | 2004-12-03 | 2014-10-28 | Google Inc. | Processing techniques for visual capture data from a rendered document |
| US8620083B2 (en) | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
| US8346620B2 (en) | 2004-07-19 | 2013-01-01 | Google Inc. | Automatic modification of web pages |
| US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
| US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
| US7167675B2 (en) * | 2004-10-15 | 2007-01-23 | Leapfrog Enterprises, Inc. | Magnetic switch and apparatus including magnetic switch |
| US7922099B1 (en) | 2005-07-29 | 2011-04-12 | Leapfrog Enterprises, Inc. | System and method for associating content with an image bearing surface |
| US7883420B2 (en) | 2005-09-12 | 2011-02-08 | Mattel, Inc. | Video game systems |
| US7936339B2 (en) * | 2005-11-01 | 2011-05-03 | Leapfrog Enterprises, Inc. | Method and system for invoking computer functionality by interaction with dynamically generated interface regions of a writing surface |
| EP1865410A1 (en) * | 2006-06-09 | 2007-12-12 | Delta Electronics, Inc. | Human-machine interface system with device bridge and method for designing and operating the same |
| US8261967B1 (en) | 2006-07-19 | 2012-09-11 | Leapfrog Enterprises, Inc. | Techniques for interactively coupling electronic content with printed media |
| EP2067119A2 (en) | 2006-09-08 | 2009-06-10 | Exbiblio B.V. | Optical scanners, such as hand-held optical scanners |
| US8130194B1 (en) * | 2006-12-18 | 2012-03-06 | Imi Innovations, Inc. | Non-mouse devices that function via mouse-like messages |
| US20080228618A1 (en) | 2007-03-15 | 2008-09-18 | Noviello Joseph C | System And Method For Providing An Operator Interface For Displaying Market Data, Trader Options, And Trader Input |
| US7631124B2 (en) * | 2007-04-06 | 2009-12-08 | Microsoft Corporation | Application-specific mapping of input device elements |
| US20090046064A1 (en) * | 2007-08-17 | 2009-02-19 | Microsoft Corporation | Pointing device for control of a graphical display or application |
| US20090161575A1 (en) * | 2007-12-19 | 2009-06-25 | Research In Motion Limited | Long Term Evolution User Equipment Multi-Packet Data Network Connectivity Control |
| US20090187847A1 (en) * | 2008-01-18 | 2009-07-23 | Palm, Inc. | Operating System Providing Consistent Operations Across Multiple Input Devices |
| FR2933211B1 (fr) * | 2008-06-26 | 2010-11-26 | Airbus France | Dispositif d'interaction avec un systeme d'affichage, notamment pour un systeme d'affichage avionique |
| US20100095250A1 (en) * | 2008-10-15 | 2010-04-15 | Raytheon Company | Facilitating Interaction With An Application |
| KR101185093B1 (ko) * | 2008-12-19 | 2012-09-21 | 한국전자통신연구원 | Ａｕｔｏｓａｒ 응용 소프트웨어의 소프트웨어 구조 모델링 도구를 위한 프로젝트 관리 장치 및 방법 |
| DE202010018601U1 (de) | 2009-02-18 | 2018-04-30 | Google LLC (n.d.Ges.d. Staates Delaware) | Automatisches Erfassen von Informationen, wie etwa Erfassen von Informationen unter Verwendung einer dokumentenerkennenden Vorrichtung |
| WO2010105245A2 (en) | 2009-03-12 | 2010-09-16 | Exbiblio B.V. | Automatically providing content associated with captured information, such as information captured in real-time |
| US8447066B2 (en) | 2009-03-12 | 2013-05-21 | Google Inc. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
| US8421761B2 (en) * | 2009-08-26 | 2013-04-16 | General Electric Company | Imaging multi-modality touch pad interface systems, methods, articles of manufacture, and apparatus |
| US9081799B2 (en) | 2009-12-04 | 2015-07-14 | Google Inc. | Using gestalt information to identify locations in printed information |
| US9323784B2 (en) | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
| US9092128B2 (en) | 2010-05-21 | 2015-07-28 | Apple Inc. | Method and apparatus for managing visual information |
| US8392935B2 (en) | 2011-03-28 | 2013-03-05 | Google Inc. | Uniform event handling across multiple computing devices |
| US8151279B1 (en) * | 2011-03-28 | 2012-04-03 | Google Inc. | Uniform event handling across multiple computing devices |
| US20130139113A1 (en) * | 2011-11-30 | 2013-05-30 | Microsoft Corporation | Quick action for performing frequent tasks on a mobile device |
| KR101322952B1 (ko) * | 2012-02-24 | 2013-10-29 | 주식회사 팬택 | 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법 |
| US9274622B2 (en) * | 2012-09-11 | 2016-03-01 | Microsoft Technology Licensing, Llc | Device specific data in a unified pointer message |
| CN102999340B (zh) * | 2012-11-28 | 2016-08-31 | 百度在线网络技术（北京）有限公司 | 一种输入法界面的编辑方法及装置 |
| DE102014200782A1 (de) * | 2014-01-17 | 2015-07-23 | Bayerische Motoren Werke Aktiengesellschaft | Betreiben eines Fahrzeugs gemäß dem Wunsch eines Fahrzeuginsassen |
| CN106462317A (zh) * | 2014-05-29 | 2017-02-22 | 惠普发展公司有限责任合伙企业 | 用户账户切换界面 |
| US10044591B2 (en) | 2014-09-04 | 2018-08-07 | Home Box Office, Inc. | Two-way remote communication system for testing a client device program |
| US10078382B2 (en) * | 2014-09-04 | 2018-09-18 | Home Box Office, Inc. | Unified input and invoke handling |
| JP6138737B2 (ja) * | 2014-10-02 | 2017-05-31 | 株式会社アスタリスク | 携帯端末、及びキーボードアプリケーションプログラム |
| US10168895B2 (en) * | 2015-08-04 | 2019-01-01 | International Business Machines Corporation | Input control on a touch-sensitive surface |
| US10636074B1 (en) * | 2015-09-18 | 2020-04-28 | Amazon Technologies, Inc. | Determining and executing application functionality based on text analysis |
| US20200050540A1 (en) * | 2018-08-10 | 2020-02-13 | International Business Machines Corporation | Interactive automation test |
| TWI709071B (zh) * | 2018-12-27 | 2020-11-01 | 英屬開曼群島商敦泰電子有限公司 | 觸控板驅動系統及方法 |
| CN113094188A (zh) * | 2021-03-30 | 2021-07-09 | 网易（杭州）网络有限公司 | 系统消息的处理方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59105137A (ja) * | 1982-11-25 | 1984-06-18 | プレ−・エレクトロフアインメカニツシエ・ウエルケ・ヤコブ・プレ−・ナツハフオ−ゲル・ゲゼルシヤフト・ミト・ベシユレンクテル・ハフツング・ウント・コンパニ− | デ−タ処理装置のタ−ミナル |
| JPS63298426A (ja) * | 1987-05-29 | 1988-12-06 | Hitachi Ltd | メニュ−選択処理方式 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4451895A (en) * | 1980-07-17 | 1984-05-29 | Telesis Corporation Of Delaware, Inc. | Interactive computer aided design system |
| JPS5968037A (ja) * | 1982-09-21 | 1984-04-17 | Canon Inc | 入力装置 |
| US4726065A (en) * | 1984-01-26 | 1988-02-16 | Horst Froessl | Image manipulation by speech signals |
| US4587630A (en) * | 1984-02-15 | 1986-05-06 | Hewlett-Packard Company | Intelligent programmable touchscreen system |
| US4689761A (en) * | 1984-08-14 | 1987-08-25 | Metaphor Computer Systems | Multiple independent input peripherals |
| US4972496A (en) * | 1986-07-25 | 1990-11-20 | Grid Systems Corporation | Handwritten keyboardless entry computer system |
| JPS63172325A (ja) * | 1987-01-10 | 1988-07-16 | Pioneer Electronic Corp | タツチパネル制御装置 |
| US4903012A (en) * | 1987-01-20 | 1990-02-20 | Alps Electric Co., Ltd. | Coordinate system input device providing registration calibration and a mouse function |
| US4896290A (en) * | 1987-08-24 | 1990-01-23 | Wang Laboratories, Inc. | Method for routing events from key strokes in a multi-processing computer systems |
| US4908612A (en) * | 1987-09-29 | 1990-03-13 | Penguin Products, Inc. | Computer input-output device |
| US4931950A (en) * | 1988-07-25 | 1990-06-05 | Electric Power Research Institute | Multimedia interface and method for computer system |
-
1989
- 1989-04-28 US US07/344,879 patent/US5157384A/en not_active Expired - Fee Related
-
1990
- 1990-01-09 CA CA002007411A patent/CA2007411C/en not_active Expired - Fee Related
- 1990-01-23 DE DE69026417T patent/DE69026417T2/de not_active Expired - Lifetime
- 1990-01-23 EP EP90101292A patent/EP0394614B1/en not_active Expired - Lifetime
- 1990-04-27 JP JP2110657A patent/JPH0320812A/ja active Granted
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59105137A (ja) * | 1982-11-25 | 1984-06-18 | プレ−・エレクトロフアインメカニツシエ・ウエルケ・ヤコブ・プレ−・ナツハフオ−ゲル・ゲゼルシヤフト・ミト・ベシユレンクテル・ハフツング・ウント・コンパニ− | デ−タ処理装置のタ−ミナル |
| JPS63298426A (ja) * | 1987-05-29 | 1988-12-06 | Hitachi Ltd | メニュ−選択処理方式 |
Also Published As
| Publication number | Publication date |
|---|---|
| CA2007411C (en) | 1998-04-21 |
| DE69026417D1 (de) | 1996-05-15 |
| EP0394614B1 (en) | 1996-04-10 |
| US5157384A (en) | 1992-10-20 |
| EP0394614A3 (en) | 1992-09-02 |
| JPH0320812A (ja) | 1991-01-29 |
| CA2007411A1 (en) | 1990-10-28 |
| EP0394614A2 (en) | 1990-10-31 |
| DE69026417T2 (de) | 1996-11-14 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0580009B2 (ja) | ||
| US5252951A (en) | Graphical user interface with gesture recognition in a multiapplication environment | |
| US5936614A (en) | User defined keyboard entry system | |
| US7685539B2 (en) | User interface for stylus-based user input | |
| EP0660218B1 (en) | User interface apparatus for computing system | |
| US6643721B1 (en) | Input device-adaptive human-computer interface | |
| US7091954B2 (en) | Computer keyboard and cursor control system and method with keyboard map switching | |
| US7602382B2 (en) | Method for displaying information responsive to sensing a physical presence proximate to a computer input device | |
| US7358956B2 (en) | Method for providing feedback responsive to sensing a physical presence proximate to a control of an electronic device | |
| US6928619B2 (en) | Method and apparatus for managing input focus and z-order | |
| EP1040406B1 (en) | Soft input panel system and method | |
| US8957854B2 (en) | Zero-click activation of an application | |
| JP2012190468A (ja) | タッチスクリーン型インターフェースを用いるコンピュータの作動 | |
| JP2011248888A (ja) | デュアルスクリーン上のユーザジェスチャのための方法及びデュアルスクリーンデバイス | |
| US20220350418A1 (en) | Composite computer keyboard | |
| JP2000181617A (ja) | タッチパッド及びタッチパッドによるスクロール制御方法 | |
| US7119795B2 (en) | Information processing unit, control method for information processing unit for performing operation according to user input operation, and computer program | |
| JPH07141140A (ja) | マルチウィンドウ型コンピュータシステム | |
| KR100379917B1 (ko) | 핫키입력부를 구비한 휴대용 단말기 | |
| WO1998007087A1 (en) | Method and apparatus for efficient text entry and editing | |
| JPS60209832A (ja) | 画面入力ポイント指示方式 |