JPH0320812A - コンピュータ・システム - Google Patents
コンピュータ・システムInfo
- Publication number
- JPH0320812A JPH0320812A JP2110657A JP11065790A JPH0320812A JP H0320812 A JPH0320812 A JP H0320812A JP 2110657 A JP2110657 A JP 2110657A JP 11065790 A JP11065790 A JP 11065790A JP H0320812 A JPH0320812 A JP H0320812A
- Authority
- JP
- Japan
- Prior art keywords
- input
- user
- application program
- interface
- profile
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims description 16
- 230000015572 biosynthetic process Effects 0.000 title 1
- 238000011017 operating method Methods 0.000 title 1
- 230000009471 action Effects 0.000 claims abstract description 13
- 230000000694 effects Effects 0.000 claims description 39
- 230000004044 response Effects 0.000 claims description 20
- 241001422033 Thestylus Species 0.000 claims description 8
- 238000013507 mapping Methods 0.000 claims description 6
- 230000004048 modification Effects 0.000 claims description 4
- 238000012986 modification Methods 0.000 claims description 4
- 230000000977 initiatory effect Effects 0.000 claims description 2
- 230000007613 environmental effect Effects 0.000 claims 1
- 238000005259 measurement Methods 0.000 claims 1
- 230000024977 response to activity Effects 0.000 claims 1
- 230000008859 change Effects 0.000 abstract description 10
- 230000006870 function Effects 0.000 description 10
- 238000012545 processing Methods 0.000 description 8
- 238000010586 diagram Methods 0.000 description 6
- 230000003993 interaction Effects 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 239000004020 conductor Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000012528 membrane Substances 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 239000013256 coordination polymer Substances 0.000 description 1
- 230000008878 coupling Effects 0.000 description 1
- 238000010168 coupling process Methods 0.000 description 1
- 238000005859 coupling reaction Methods 0.000 description 1
- 238000013479 data entry Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000005057 finger movement Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 230000008520 organization Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000004513 sizing Methods 0.000 description 1
- 238000012549 training Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
- G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
- G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F13/00—Interconnection of, or transfer of information or other signals between, memories, input/output devices or central processing units
- G06F13/10—Program control for peripheral devices
- G06F13/105—Program control for peripheral devices where the programme performs an input/output emulation function
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/02—Input arrangements using manually operated switches, e.g. using keyboards or dials
- G06F3/023—Arrangements for converting discrete items of information into a coded form, e.g. arrangements for interpreting keyboard generated codes as alphanumeric codes, operand codes or instruction codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
- G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
- G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
- G06F3/04883—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures for inputting data by handwriting, e.g. gesture or text
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45504—Abstract machines for programme code execution, e.g. Java virtual machine [JVM], interpreters, emulators
- G06F9/45508—Runtime interpretation or emulation, e g. emulator loops, bytecode interpretation
- G06F9/45512—Command shells
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
- G06F2203/038—Indexing scheme relating to G06F3/038
- G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer
Abstract
(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。
め要約のデータは記録されません。
Description
【発明の詳細な説明】
Ａ．産業上の利用分野
本発明はディジタル・コンピュータに入力データを入力
する際の改良に関する．詳細に説明すれば，本発明は，
最初異なる入力装置用として記述されたデータをプログ
ラム実行中のコンピュータに入力するために，ユーザが
少なくとも１つの入力装置を選択することを可能にする
拡張ユーザ・インタフェースに関する． Ｂ．従来の技術 従来、コンピュータは科学者，数学者及びその他の高い
レベルの洗練されたコンピュータ・ユーザによってのみ
使用されていた．コンピュータ技術が進歩するにつれて
，特にパーソナルコンビュータの出現によって、データ
処理はあらゆるレベルの社会，あらゆるレベルのユーザ
に広がっている．その結果，コンピュータ・ユーザがコ
ンピュータ専門家又は高度のデータ処理技術を有する人
である場合が減少する傾向にある．コンピュータ・ハー
ドウェア及びソフトウエアは能力及び効率が高くなるに
つれて、将来は更にコンピュータの利用が増大するであ
ろう． しかしながら，コンピュータが普及している社会にもか
かわらず、多くの人々はコンピュータの使用法について
懸念を持っている．在来のテキスト表示及び英数字キー
ボード入力装置は容易には習得されず、数百には達しな
いが、多数の正しいコマンドの形式の記憶を必要とする
．ユーザはかなりすぐれたタイピストでない限り，デー
タ入力は不便であり時間を浪費することがある．ｌつの
ソフトウェアに熟達するのに必要とする試行のための時
間は、その努力も避けようとするような不慣れなユーザ
にとっては極めていらだたしいものである． ゆえに，技術的に”ユーザに親切な”入力装置及びコン
ピュータ・プログラムとして知られているものを設計す
ることが必要になっている．前記”ユーザに親切な”装
置及びソフトウェアは不慣れなユーザが長い訓練を経ず
に所望のタスクを実行できるように設計される．比較的
人気のある入力装置の１つはマウス指示装置である．マ
ウスはそれが平らな面をユーザによって移動される方向
及び距離に対応する信号を生威する．コンピュータは、
コンピュータ表示装置でカーソルの位置を変更すること
により，この情報に応答し，ユーザが任意の表示された
対象を指すことを可能にする．力一ソルが正しく位置設
定された後は、ユーザはマウスの上部の１つ又は２つ以
上のボタンを押すことにより多数の機能を実行すること
ができる．人間工学研究によれば、ユーザがコンピュー
タの表示装置画面に直にデータを入力することを可能に
する装置一技術的には接触入力装置として一般に知られ
ている−は人間機械間の親密さを最大にする．表示面で
用いる初期の入力装置の１つはライトペンであった．ラ
イトペンは手に持ってＣＲＴの表面に当てる光検出器で
ある．ライトペンの位置は光のドットー表示装置を走査
するラスターの座標を検出することによって決定される
．もう１つのタイプの接触入力装置は表示画面上に取付
けられた機械的に変形する膜である．この膜は柔軟な表
面に配置された２つの透明な導体の面から或る透明なオ
ーバレー（ｏｖｅｒｌａｙ）である．選択が行われると
，ユーザは導体の面のｌつを指又はスタイラス接触によ
って他の１つに接触するように機械的に変形させ、それ
によって，それらの導体を互いに電気的に接触させる．
適切な電子装置及びソフトウエアにより指又はスタイラ
ス接触で生戒された電気信号は表示面上の位置に変換さ
れる．もう１つの接触入力装置は表示画面の上に置かれ
た容量性の透明なオーバレーであって，電磁信号によっ
て駆動される透明な導体を含む．この入力装置はオーバ
レーの容量の変化によって指が接触した位置を検出する
ことができる．又は，代りにスタイラスが使用され、ス
タイラスの位置を決定するためにオーバレーからの電磁
信号をコンピュータに送り返す．更にもう１つの接触入
力装置は、表示画面の回りにはめこまれ、水平及び垂直
方向に並行して配列された多数の赤外線又は可視光線送
信器及び受信器を有するフレームを用いる．ユーザの指
が光ビームをさえぎると，水平及び垂直方向の受信器は
信号の欠如に気づき，それによってユーザが望む活動の
位置を見つける．音声認識装置又はディジタル・タブレ
ットのような，ユーザの活動に応答する多くの他の，ユ
ーザに親切な入力装置が開発されている．ユーザに親切
な入力装置に加えて、設計者はよりユーザに親切なソフ
トウェアを開発するために努力している．採用されてい
るｔつの手法は特定のタスク又は実行可能な機能を選択
するためのメニューを提供することである．この方法で
は、ユーザは長いコマンドのリストをメモリに書留める
必要はない．メニューは画面表示の全部又は一部分が用
いられ，キーボード又は他のカーソル移動装置によって
カーソルがメニュー項目に隣接するスペースに移され，
特定の活動を選択することができる．代りに、ユーザは
メニュー選択に関連した英数字をコマンド行に書込むこ
とにより，ある活動を選択することができる． もうｌつの最近の傾向は統合された幾つかの種類のコン
ピュータ・プログラム・アプリケーションを提供するこ
とである．統合されなければ，ユーザはワード処理，デ
ータベース操作、グラフィックス及び電子メール機能等
のために別々のアプリケーション・プログラムを使用す
る必要がある．異なるプログラムの出力を統合してｌつ
の所望の出力にすることはかなり困難なことがよくある
．１つの解法は種々のアプリケーションを含む１つの統
合されたソフトウエアの部分一多重機能プログラムと呼
ばれる一を記述することである．一般に，これらの多重
機能プログラムはテキスト，スブレッドシ一ト及びビジ
ネス用グラフ作成アプリケーションを含む・ 別のアプローチはＭｉｃｒｏｓｏｆｔ ＷＩＮＤＯＷＳ
（ＴＭ）ＴＭは登録商標を表わす一又はＩＢＭプレゼ
ンテーション・マネジャ（ＴＭ）によって実現されるよ
うな統合操作環境を提供することである．このアプロー
チでは，個々のアプリケーション・プログラムは情報を
共有し且つしばしば同時に表示画面に、各々がそれ自身
のウインドーに，現われる．最も有力な個々のアプリケ
ーション・プログラムを選択することにより，パッケー
ジに組込まれるアプリケーション・プログラムが何であ
ってもユーザが制約される多重機能プログラムとは対照
的に、ずっと有力な環境をユーザの特定の要求に合わせ
ることができる． あいにく、多くのユーザに親切な入力装置及び多くのユ
ーザに親切なコンピュータ・プログラムが開発されてい
るのに、これらの努力はうまく統合されていない．例え
ば、キーボード入力又はマウス人力を受入れるように記
述されているが接触入力装置又は音声認識装置からの情
報を認識しない多数のプログラムがある．この状況はユ
ーザに親切な新しい入力装置の導入及び広範な利用にと
って深刻な障害を呈する．プログラマは既存のソフトウ
ェアの大部分に大幅な変更を行うか、新しい多重機能プ
ログラムを記述するか、又は新しい入力装置が開発され
る毎にアプリケーション・プログラムのセットを記述し
なければならない．代案にはかなりの開発努力の費用及
び時間が付加されるので、入力装置を開発する組織の能
力の範囲を越えたり，期待される利益に比し費用が掛か
り過ぎたりすることがある．更に、著作権又は他の所有
権は入力装置開発者が既存のソフトウェアの採用を妨げ
ることがある．更に、新たに開発されたソフトウェアは
、特定の目的のために既に記述されている確立されたア
プリケーション・プログラムほどには効率的ではなかっ
たり商業的にユーザに受入れられなかったりすることが
ある．最後の考慮事項は、個々のユーザは自らの要求を
たぶん最もよく承知しているが，アプリケーション・プ
ログラムの大幅な変更が可能であるようにも，関心があ
るようにも見えないことである．ユーザが該ユーザの目
的に最もよく役立つ特定の入力装置及びアプリケーショ
ン・プログラムを選択し，比較的低い技術レベルであっ
ても、自らとコンピュータの間のユーザに親切なインタ
フェース内の構或要素を組立てることを可能にすること
は好都合である．プログラマによる一般的な解法は特定
のユーザの要求にとっては最適ではないかも知れない．
入力装置及びアプリケーション・プログラムの将来の拡
張がインタフェースの最小の変更で提供できることをユ
ーザに保証することも好都合である． Ｃ．発明が解決しようとする課題 本発明の目的はユーザがコンピュータ・システムにデー
タを入力する入力装置を複数の入力装置から選択するこ
とを可能にすることである．本発明のもう１つの目的は
活動状態のアプリケーション・プログラムが、該アプリ
ケーション・プログラム・コードを変更することなく、
最初に記述されたときの入力装置と異なる入力装置を介
してコンピュータ・システムに情報を入力することであ
る． 本発明の更にもう１つの目的は割合に不慣れなユーザが
使用可能なアプリケーション・プログラム及び入力装置
の間から選択し，特に自らの要求に合わせて設計された
ユーザ・インタフェースを構築することを可能にするこ
とである．本発明の更にもう１つの目的はユーザに親切
な入力装置及びアプリケーション・プログラムの将来の
拡張をユーザ・インタフェースに適応させることである
． 本発明の更にもう１つの目的は１つのコンビュータを操
作する異なるユーザが，データを入力する際に、個々の
選択に合わせて異なるユーザ・インタフェースを構築す
ることを可能にすることである． Ｄ．課題を解決するための手段 これらの目的は複数のアプリケーション・プロダラムを
実行できる統合操作環境で動作し、該環響 境によって提供されるメッセージを利用し機能を集中す
る拡張ユーザ・インタフェースによってなし遂げられる
．拡張ユーザ・インタフェースは３つの主要なモジュー
ル、代替入力サブシステム・モジュール、インタフェー
ス・プロファイル・モジュール及び環境リンク・モジュ
ールから成る．代替入力サブシステム・モジュールは接
続されたユーザに親切な入力装置及び拡張ユーザ・イン
タフェース並びにアプリケーション・プログラムの間の
通信を統合操作環境によって提供する．代替入力サブシ
ステム・モジュールは入力装置によって生成された入力
信号を受取り、それらを拡張ユーザ・インタフェースで
使用可能な入力メッセージに変換する． インタフェース・プロファイル・モジュールはアプリケ
ーション・プログラム毎に１つの，該アプリケーション
・プログラムが最初に記述された方法と異なる方法で，
ユーザが入力装置を使用することを欲する、アプリケー
ション・プロファイルを含む．完全に新しい入力装置は
アプリケーション・プログラムによって用いることがで
き、又はオプションとして、ユーザはアプリケーション
・プログラムが最初に応答した入力装置から既存の入力
装置の入力信号に変更することができる．アプリケーシ
ョン・プロファイルの各々は、アプリケーション・プロ
グラムによって使用可能な対応するコマンドに写像され
た、八カメッセージのリストを含む，インタフェース・
プロファイル・モジュールは，コンピュータ・システム
を利用するユーザ毎に，ユーザ・プロファイルのセット
を含むこともある．ユーザ・プロファイルは幾つかのア
プリケーション・プログラムが共有することがある入力
メッセージ及びそれらの対応するコマンドを含む． 環境リンク・モジュールは統合操作環境と通信し、拡張
ユーザ・インタフェース手順実行アルゴリズムを含む．
例えば、該モジュールは代替入力サブシステムによって
生成された入力メッセージを取得し，どのアプリケーシ
ョン・プログラムが活動状態であるかについて統合操作
環境に質問し、インタフェース・プロファイル・モジュ
ール内の適切なアプリケーション・プロファイルにある
対応するコマンドと該入力メッセージを突合せ、そして
命令のセットに基づいた活動，例えば該操作環境を介し
て活動状態のアプリケーション・プログラムへのメッセ
ージの送付を開始する．拡張ユーザ・インタフェースは
ポップアップ・キーボード又はイメージ拡大ユーティリ
ティのようなユーティリティ・プログラムのセットを含
むこともある． Ｅ．実施例 第１図は表示マネジャのような典型的な統合操作環９５
６でアプリケーション・プログラムＡ５０，Ｂ ５１．
Ｃ ５２及びＤ ５３を利用するコンピュータ・シス
テムとユーザの対話を示す． ユーザは装ＨＡ （キーボード）３２、装置Ｂ（マウス
）３４又は接触センサ３６を介してコンピュータ・シス
テムにデータを入力する．ユーザがデータを入力すると
、選択された装置は適切なドライバを活動化するために
割込みを発生する．キーボード３２の場合には，ドライ
バＡ ６０が活動化され，マウス３４の場合には，ドラ
イバ８ ８２が活動化され，接触センサ３６の入力は接
触ドライバ６３を活動化する．適切なドライバは統合操
作環境５６に信号を送る．統合操作環境５６はどのアプ
リケーション・プログラムが活動状態であるかを追跡し
，全ての入力データを当該アプリケーション・プログラ
ムに送る．代りに．ユーザはアプリケーション・プログ
ラムを変更することができ，統合操作環境５６はメッセ
ージを新たに活動化されたアプリケーション・プログラ
ムに回送する．１つの良好な実施例では、アプリケーシ
ョン・プログラムＡ ５０はスブレッドシ一ト・プログ
ラムであり、アプリケーション・プログラムＢ ５１は
ワード・プロセッサであり、アプリケーション・プログ
ラムＣ５２は図形プログラムであり，そしてアプリケー
ション・プログラムＤ ５３は電子メール機能である．
統合操作環境５６は所与の時点でユーザの“集中点”を
決定するので、活動状態のプログラムの追跡は”集中機
能”である．説明のため、ユーザはキーボード３２を介
してデータを入力中であり，スブレッドシ一ト５０は活
動状態のアプリケーション・プログラムであると仮定す
ると、スブレッドシ一ト５０はどの活動を実行すべきか
を判定する．一般に，この活動は３種類の活動：″スブ
レッドシ一ト５０は表示装置２８を変更する″ ”スブ
レッドシ一ト５０はプリンタにような他のＩ／Ｏ装置と
通信する”、又は”スブレッドシ一ト５０は他のアプリ
ケーションと通信する”のうちの１つになる．メッセー
ジの全ては統合操作環境５６によって処理される．従来
の技術の統合操作環境は複数のアプリケーション・プロ
グラムのアクセスを容易にするので、ユーザは自らの要
求に最もよく適合する特定のアプリケーション・．プロ
グラムを選択できるが，ユーザは記述されている該入力
装置を伴うアプリケーション・プログラムとしか通信で
きない，例えば、スブレッドシ一ト５０はキーボード３
２及びマウス３４の組合せについて記述されているプロ
グラムである．接触ドライバ６３は首尾一貫して統合操
作環境５６と通信するように開発されているが，接触セ
ンサ６３によって生成された信号をマウス移動及びマウ
ス・クリックに変換することにより，接触入力装置３６
の能力はマウス装置の能力の範囲に限定される．認識の
手書き即ちジェスチャのような新しい接触コマンドの種
類は、この方法によって，特にスブレッドシ一ト５０の
ような．接触コマンドのタイプが何を意味するかを理解
しないアプリケーション・プログラムによって適応させ
ることは容易にはできない．他の新しい入力装置は更に
厳しく制限される．従って，システム設計者即ちユーザ
は新たなユーザに親切な人力装置を個々のワークステー
ションに含めようとするが、既存のソフトウェアの使用
は不可能であるか又は厳しく制約されることに気づくで
あろう． 本発明の良好な実施例は第２図に示すようなユーザとコ
ンピュータ・システムの間の対話を制御するコンピュー
タ・プログラムのセットを含む．本発明は主としてパー
ソナルコンピュータ，例えばＩＢＭ ＰＳ／２ （ＴＭ
）での利用を企図しているが、本発明の原理は他の個々
のワークステーション又は大規模なデータ処理システム
に拡張することができる．第２図の構造ブロック図はシ
ステム・バス２２によって読取専用メモリ（ＲＯＭ）
２４及びランダム・アクセス・メモリ（ＲＡＭ） ２８
に接続された中央演算処理装！（ＣＰ［Ｊ） ２０を含
む．第２図のコンピュータ・システムには、コンピュー
タがユーザに情報を表示する表示装置２８、キーボード
３ｏを含む複数の入力装置、及び装置Ａ ３２並びに装
置Ｂ ３４−これらは下記の説明では第２の英数字キー
ボード３２及びマウス３４であるが、数字キーボードの
ような専用のキーボードでも、遠隔指示装置又は他の種
々の入力装置でもよい−も含む．更に，コンピュータ・
システムは接触センサ３６、即ち表示装置２８の表面で
用いる接触入力装置，音声センサ３８及びイメージ・セ
ンサ４０を含む． Ｉ／０ ４２は通信ライン又は他の
Ｉ／Ｏ装置に接続することができる．ランダム・アクセ
ス・メモリ（ＲＡＭ） ２６はアプリケーション・プロ
グラム＾５０，アプリケーションプログラムＢ５１．ア
プリケーション・プログラムＣ ５２及びアプリケーシ
ョン・プログラムＤ ５３を含む．典型的なアプリケー
ション・プログラムの例はワード・プロセッサ、スブレ
ッドシ一ト、図形プログラム．電子メール及びデータベ
ース・プログラムを含む． ＲＡＭ ２６はオペレーテ
ィング・システム５４、例えば００５ （ＴＭ）又はＯ
Ｓ／２ （ＴＭ），及び統合操作環境プログラム５６，
例えば ＷＩＮＤＯＷ （ＴＭ）又は表示マネジャ （
ＴＭ）も記憶し，幾つかのアプリケーション・プログラ
ムの同時実行を可能にする．他のソフトウェアはドライ
バＡ ｆ３０及びドライバＢ６２を含み、操作環境５６
の第２のキーボード３２及びマウス３４によってそれぞ
れ生成された電気信号を解釈する．接触ドライバ６３．
ジェスチャ認識装置６４及び文字認識装置６５は接触セ
ンサからの信号を処理する．音声センサ３８及びイメー
ジ・センサ４０からの入力信号は音声認識装置６６及び
イメージ認識装置６８によりそれぞれ処理される，第２
図では完全にソフトウェアとして図示されているが、ド
ライバＡ６０，ドライバＢ６２，接触ドライバ６３，ジ
ェスチャ認識装置６４，音声認識装置６６及びイメージ
認識装置６８はハードウェア及びソフトウェアの組合せ
にすることもできる．！＆後に、ＲＡＭ ２６には、拡
張ユーザ・インタフェース１００を構或するソフトウェ
ア・モジュールのセットも存在する．第１の実施例 第３図は本発明に従って設計されたコンピュータ・シス
テムを示す．標準的な装置ドライバを介して統合操作環
境５６に接続されるというよりも，複数の入力装置の少
なくとも１つが，認識装置を介して拡張ユーザ・インタ
フェース１００に接続される．第３図で，音声センサ３
８及びイメージ・センサ４０はそれぞれの認識装置，音
声認識装置６６及びイメージ認識装Ｒ６８を介して拡張
ユーザ・インタフェース（ＡＩＬＩ） １００に接続さ
れる．多くのアプリケーション・プログラムはキーボー
ド及びマウス入力を認識するから，キーボード３２及び
マウス３４はそれぞれのドライバ、ドライバＡ ６０及
びドライバＢ ６２を介して統合操作環境５６に接続さ
れたままである．最後に、第３図で、接触センサ３６は
標準的な接触ドライバ６３を介して統合操作環境５６に
，そしてジェスチャ認識装置６４及び文字認識装置６５
を介して拡張ユーザ・インタフェース１００に接続され
る．接触ドライバ６３，ジェスチャ認識装置６４及び文
字認識装置６５は接触センサ３６からの信号を変換して
ジェスチャ又は文字”トークン”を生成する．接触セン
サ３６の表面の指又はスタイラスの位置の連続は、文字
認識装置６５によって手書きの英数字として、又はジェ
スチャ認識装置６４によって右方向の矢印の円のような
ジェスチャとして認識することができる．音声認識装置
６６は音声センサ３８で受取った音をディジタル化し、
予め定義された音のパターンとの突合せを実行して音声
”トークン”を生成する．イメージ認識装置６８はイメ
ージ・センサ４０からの情報を処理しイメージ”トーク
ン”を出力する．′″トークン”は入力装置から収集さ
れた電気信号の連続を表わす入力信号である．例えば、
ユーザが接触センサ上で円を描いたときに収集された点
の連続は”円トークン”として定義することができる．
接触センサ３６を統合操作環境５６に結合することは，
特に接触センサ３６用に記述されているアプリケーショ
ン・プログラム、又は原始的なマウス入力信号だけが必
要とする他の既存のアプリケーション・プログラムを、
ユーザが利用することを可能にする．更に、接触センサ
３６はジェスチャ認識装置６４及び文字認識装置６５を
介してＡＵＩにも接続されるので、接触人刀を認識しな
いアプリケーション・プログラムは拡張ユーザ・インタ
フェース１００の変換機能によりジェスチャ又は文字”
トークン”を受取ることもできる． 他の実施例では、キーボード３２及びマウス３４は．接
触センサ３６と同じように、ＡＵＩ １００及び統合操
作環境５６の両方に接続されることになっている．更に
、他の実施例では，全ての入力装置はＡＵＩのみに直に
接続される．キーボードＡＵＩリンクを利用することに
より、ユーザはアプリケーション・プログラムに対する
通常のタイプ書きのコマンドを、入力する即ち記憶する
のに都合のよいコマンドに変更することができる． Ａ
ＵＩはアプリケーション・プログラムとして書込まれる
ので，統合操作環境の通信及び集中機能を利用すること
ができる．本発明のもう１つの良好な実施例は、任意の
他の指定装置と同様にマウス３４及び接触センサ３６の
双方からの入力を受取ることにより，ドライバＢ６２及
び接触ドライバ６３の機能を組合せる単一指定装置ドラ
イバ（＠示せず）を用いる．この実施例は特に米国特許
第４８６８３３２号明細書に記載された接触入力装置，
又は米国特許出願第２６４４０９号明細書（１９８８年
１０月２８日出願）記戟の遠隔感知スタイラスによる動
作に適合している．指定装置ドライバはマウス３４から
のマウス入力と接触入力装置３６からの指及びスタイラ
ス入力の間を調停し適切な入力メッセージを統合操作環
境５６に送る． 第３図で． ＡＵＩ １００は更に幾つかのコンピュー
タ・コード・モジュールに分割される．環境リンク・モ
ジュール１０１はＡＵＩ １００の手順を実行するため
のアルゴリズムを含み且つ統合操作環境５６に通信能力
を提供する．代替入力サブシステム（ＡＩＳ）１０３は
、ユーザに親切な新しい入力装置、例えば音声センサ３
８の設計者が拡張ユーザ・インタフェースｌ００に継ぎ
目なしに相互接続することを可能にするインタフェース
記述を提供する． ＡＩＳ １０３は、入力装置及びそ
れぞれの認識装置によって送付された入力信号を，拡張
ユーザ・インタフェース１００の残りの部分によって使
用できる入力メッセージに変換する．ジェスチャを示す
接頭部ＧＳ／のような、各々の入力メッセージの一部は
入力装置一入力信号は該入力装置から受取られる一の識
別に専用される．本実施例では， ＡＩＳ １０３は正
しいアプリケーション・プログラムが適切なコマンドを
受取るように各々の入力メッセージにタイムスタンプす
る． インタフェース・プロファイル・モジュール１０４はア
プリケーション・プロファイル１０５及びユーザ・プロ
ファイル１０７ − ＡＩＳ １０３にょり入力装置３
６、３８及び４ｏで受取った入力信号から生成され、既
存のアプリケーション・プログラム，例えばマウス・ク
リック、キーストローク・メッセージ，マクロ（ＭＡＣ
ＲＯ），ユーティリティ・プログラム等によって用いら
れるキーボード、マウス又は他のコマンドに写像された
入力メッセージをリストするファイルである一から成る
．拡張ユーザ・インタフェース・ユーティリティ （Ａ
ＵＩユーティリティ） １０９は． ＡＵＩ １００に
よって使用できるポップアップ・キーボード又はイメー
ジ拡大ユーティリティのようなユーティリティ・プログ
ラムのセットである．図示のように． ＡＵＩ １０９
は別個のアプリケーション・プログラム、又はアプリケ
ーション・プログラムのセットとして記述することがで
きるので、統合操作環境５６のメッセージ通過機能を用
いて他のアプリケーション・プログラムと通信すること
ができる． 拡張ユーザ・インタフェース・ユーティリティ１０９に
存在するかも知れない幾つかのユーティリティの例は”
ポップアップ”数値キーパッド、イメージ拡大ユーティ
リティ及び電子メール発送スリップを含む．”ポップア
ップ”キーボード及び”ポップアップ“キーパッドはな
るべくなら表示装置の表面で接触入力装置とともに動作
する機能を備えるように設計する方がよい．適切なコマ
ンド，例えば円ジェスチャを出すか又はキーボード・ア
イコン（ｉｃｏｎ）に接触することにより、キーボード
又はキーパッドが画面にポップアップする．画面に表示
されたキーに接触することによりユーザは迅速に英数字
情報の列を直に画面に入方することができるので，手動
のキーボードに注意をそらす必要がなくなる．キーボー
ド又はキーパッドに必要とするスペースはかなり小さい
ので，スブレッドシ一ト、ワードプロセッサ等，活動状
態のアプリケーション・プログラムの作業領域を完全に
覆うことはない．イメージ拡大ユーティリティは適切な
ジェスチャが行われた位置の周囲に一定の大きさの矩形
を拡大する．該ユーティリティは拡大されたイメージ内
で非常に正確にカーソル位置を定めることができる．ス
タイラスが離れると，通常の大きさの表示が復元され，
選択されたカーソル座標は活動状態のアプリケーション
・プログラムに送られる． 第４図の流れ図は第３図のコンピュータ・システムの、
音声入力信号に対応する動作を示す．活動状態のアプリ
ケーション・プログラムはスブレッドシ一トであり，表
示装Ｎ２８でユーザに示されるのは，ユーザが使用でき
る見込みのある機能メニュー・バーと同時に選択された
データのアレイである．ユーザはキーボードで連続して
キーを打つよりは、コンピュータ・システムに入力する
データを、もう１つの入力装置，音声センサ３８を用い
て選択する．ユーザが，例えばワード”ＧＲＡＰＨ”と
発声するのに応答して，ステップ１１１で５音声センサ
３８が電気信号を生成し，それらを適切な変換装置，音
声認識装置６６に送る．これらの電気信号に応答して、
ステップ１１３で、音声認識装置が活動化され，適切な
入力信号，音声入力”トークン”を代替入力サブシステ
ム１０３に送る．ステップ１１５で． ＡＩＳ １０３
は入力メッセージー該入力信号が受取られた時点及びど
の入力装置が該信号を送ったかに関する情報を含むーを
環境リンク１０１に転送する．入力メッセージに応答し
て、ステップ１１７で，環境リンク１０１はどのアプリ
ケーション・プログラムが現に活動状態であるかについ
て統合操作環境５６に質問する．活動状態１のアプリケ
ーション・プログラムが例えばスブレッドシ−ト５０で
あると決定されると．ステップ１１９で，環境リンク１
０１は、スブレッドシ一ト５０によって認識される入力
メッセージ”ＧＲＡＰＨ″に対応するコマンド、即ち、
メニュー選択一ｇｒａｐｈ （グラフ）一について，ス
ブレッドシ一ト５０のアプリケーション・プロファイル
１０５を参照する．そして、ステップ１２１で、環境リ
ンク１０１はユーザ・プロファイル１０７を検査し、ア
プリケーション・プロファイル１０５からのコマンドを
指定変更する、より高い優先順位のコマンドがあるかど
うかを判定する．ステップ１２３で、環境リンク１０１
はどちらのコマンドがより高い優先順位を持っているか
を判定する．そして，ステップ１２５で，環境リンク１
０１はより高い優先順位のコマンド、この例では，アプ
リケーション・プロファイル１０５からのメニュー選択
コマンドを統合操作環境５６に送り，統合操作環境５６
は該コマンドを活動状態のアプリケーション・プログラ
ム、スブレッドシ一ト５０に回送する．ステップ１２７
で，スブレッドシ一ト５０は当該コマンドに応答して適
切な処理をする、この場合は、現に選択されたデータを
グラフにし、それに応じて表示装置２８でユーザに表示
される情報を変更する． インタフェース・プロファイル 拡張ユーザ・インタフェース１００の能力と柔軟性の理
解のために，インタフェース・プロファイル１０４のア
プリケーション・プロファイル１０５及びユーザ・プロ
ファイル１０７の詳細な説明を必要とする．両タイプの
プロファイルは、入力メッセージのリストを、適切なア
プリケーション・プログラム．環境リンク・モジュール
１０１によって、又は統合操作環境５６自身によって認
識される、対応するコマンドのリストに結合させる．該
コマンドはプログラム、統合操作環境によって認識され
た命令、・又はマクロ（ＭＡＣＲＯ）の名前であること
がある．マクロは任意の長さの”事象”ストリング及び
（又は）ユーティリティを含むファイルである．″事象
”は、本明細書では、ユーザの行動，例えば．単一のキ
ーストローク５マウス・ボタンの押し．マウス・ボタン
の解放、マウス二重クリック，単一のメニュー選択，単
一のジェスチャないしは他の”トークン”， もしくは
単一の加速器キー選択から生じる入力メッセージである
．ユーティリティの例はポップアップ・キーボードであ
る．マクロは他の予め定義されたマグロもコマンドとし
て扱う．大抵は，加速器キーは統合操作環境５６の特性
である．それらはメニュー選択をエミュレートするキー
ストロークのシーケンスを指定する．例えば，アプリケ
ーションは削除（ＤＥＬＥＴＥ）キーは編集（ＥＤＩＴ
）メニューからのカット（ＣＵＴ）の選択と同じであり
，シフト／挿入（Ｓ旧ＦＴ／ＩＮＳＥＲＴ）は編集メニ
ューからのペースト（ＰＡＳＴＥ）の選択と同じである
ことを指定することができる．実際に、これらの２つの
例は広く用いられる加速器である．アプリケーション・
プログラムの各々はそれ自身のアプリケーション・プロ
ファイル１０５を有することがある．プロファイル１０
５は代替入力サブシステム１０３に接続された入力装置
毎に入力メッセージ及び対応するコマンドの写像を含む
．例えば，１つのアプリケーション・プロファイルは表
１に示すような入力メッセージ及びコマンドを含表−１ むことがある．例示のアプリケーション・プロファイル
は，該対応するコマンドに対して写像された入力メッセ
ージを，ユーザに表示するコメント、即ち入力メッセー
ジを作成するのに必要なユーザ活動を説明するコメント
、及び所与のアプリケーションが活動状態であるとき当
該入力メッセージを受取った際にコンピュータ・システ
ムが行う活動を説明するコメン・トと一緒に示す．一般
に、ＡＩＳ １０３からの同じ入力メッセージは異なる
マクロを異なるアプリケーション・プｉファイル１０５
に呼出す．例えば，一定のアプリケーション・プロファ
イル１０５は、”カット／ペースト“と呼ばれるマグロ
は右矢印のジェスチャに応答して実行すべきであるが．
異なるアプリケーション・プロファイル１０５は該右矢
印のジェスチャをキーストローク・シーケンス”書式２
０１ （ＥＮＴＥＲ（入力））に写像できることを指定
することがある．ジェスチャ認識装置６４は接触センサ
３６からの右矢印のジェスチャを検出すると、現に活動
状態のウィンドーを所有するアプリケーション・プログ
ラムを決定する環境リンク１０１を呼出す．環境リンク
１０１は対応するアプリケーション・プロファイル１０
５を読取り、当該情報を対応するユーザ・プロファイル
１０７と組合せ，より高い優先順位を有するコマンドを
選択し，そして活動状態のアプリケーション・プログラ
ム．Ｍ合操作環境５６又は他の適切なＡＵＩモジュール
にコマンドを出す．ユーザ・プロファイル１０７はアプ
リケーション・プログラム５０〜５３の全て又は幾つか
に共通のコマンドを含む．システム・ユーザ毎に別々の
ユーザ・プロファイル１０７を記述することができる．
拡張ユーザ・インタフェースは活動状態のユーザ・ブロ
ファイルををログ・オン（ｌｏｇ−ｏｎ）手順の間に決
定することができる．ユーザ・プロファイル１０７内の
エントリは、アプリケーション・プロファイル１０５内
のエントリの指定変更に用いることができる．この状況
は特定のユーザがシステム・ユーザのグループのために
記述されたアプリケーション・プロファイル１０５によ
って提供された方法と異なる方法でデータを入力するほ
うを選択するとき起きることがある．ユーザ・プロファ
イル１０５は大域省略時、即ち、もし特定の入力メッセ
ージが環境リンク１０１により適切なアプリケーション
・プロファイル１０５で発見されなかった場合の活動を
提供するのに用いることもできる．大域省略時の活動の
ためにユーザ・プロファイル１０７が用いられる場合、
所与の入力メッセージのマクロを有するアプリケーショ
ン・プロファイル１０５は該省略時の活動よりも高い優
先順位を付与することができる． 本発明の良好な実施例はアプリケーション・プロファイ
ル１０５とユーザ・プロファイル１０７を区別するが、
他の実施例では，ユーザ毎に別々のアプリケーション・
プロファイル１０５を記述することができる．インタフ
ェース・プロファイル・モジュール１０４がこのように
構成された場合，もし特定のユーザのアプリケーション
・プロファイル１０５が存在しなかったなら，環境リン
ク１０１は省略時のアプリケーション・プロファイル１
０５を参照するであろう．省略時のアプリケーション・
プロファイル１０５はアプリケーション・プログラム，
入力装置又はコンピュータ・システムを構成するプログ
ラマによって提供される．一般に考えられているように
，所与のアプリケーション・プログラムのアプリケーシ
ョン・プロファイル１０５はたいてい該アプリケーショ
ン自身によって提供される．代りに，全てのアプリケー
ション・プロファイル１０５並びに通常のユーザ・プロ
ファイル１０７はシステム・プログラマによって提供さ
れる．拡張ユーザ・インタフェース１００の能力を調査
することを欲しない不慣れなユーザの場合には、通常は
省略時プロファイルが適切である．しかしながら．多く
のユーザは拡張ユーザ・インタフェース１００をユーザ
自身の特定の要求及び仕様に合わせて調整することを望
んでいるであろう．よって、既存のアプリケーション又
はユーザ・プロファイルを記述又は変更する必要がある
． 拡張ユーザ・インタフェース制御パネル、拡張ユーザ・
インタフェース・ユーティリティ１０９は極めて効率的
且つユーザに親切な方法でユーザ独特のプロファイルを
作或するためユーザが＾ＵＩ機能の多くを調整すること
を可能にする．拡張ユーザ・インタフェース１００はか
なり複雑なコンピュータ・コードを含むが、制御パネル
の使用によりユーザはその作業を理解しなくてもよい．
ＡＵＩ制御パネルが提供する機能のなかには、プロフ
ァイルを変更し又は作成する能力がある．これは制御パ
ネル・メニューから”プロファイル（ＰＲＯＦＩＬＥ）
″を選択して、＾ＵＩ制御パネルのインタフェース・プ
ロファイル作或／変更モジュールを呼出すことにより遂
行される．制御パネルは，最初に，変更すべきプロファ
イルの名前をユーザに質問する．この時点で、ユーザ活
動に応答して、コンピュータがとる活動の記述に対する
ユーザ活動，例えば，円のジェスチャ、音声”カット”
コマンド等の記述のリスト、即ちマクロを含む、適切な
プロファイルのメニューがユーザに表示される．もし前
記名前に関連したアプリケーション・プロファイル又は
ユーザ・プロファイルがなければ、該ユーティリティは
新しいプロファイルを作威し，空白のメニューを表示す
る．ユーザはメニューを通じてカーソルを移動し該プロ
ファイルで情報を追加又は変更し、そしてコマンド記録
機能又はマクロ記録機能を呼出す．例えば、表、１の最
初の項目では、スブレッドシ一ト・アプリケーション・
プロファイルの１行のメニューは次のように解釈するこ
とができる： ≧二並孟１ エヱ之上 制御センサにおける ポップアップ・キーボ円のジェ
スチャ ードを呼出す ユーザは，もし入力メッセージを円のジェスチャから右
の矢印のジェスチャに変更することを欲するならば、カ
ーソルをユーザ活動フィールドに移動してメニューから
“ユーザ活動（ＵＳＥＲ ＡＣＴＩＯＮ）を選択する．
ユーザは自らが欲するポップアップ・キーボードを呼出
す活動を実行するようにプロンプト（操作指示）され、
そして記述された活動の種類を追加してメニューに表示
するようにプロンプトされる．同様に、ユーザは、もし
円のジエスチャによって呼出されたマクロを変更するこ
とを欲するならば、カーソルをマクロ・フィールドに移
動して実行すべきマクロの名前を入力する．ユーザは新
しいプロファイルを既存のプロファイルの変更と同じ方
法で作成する．最初に、力一ソルを空白のユーザ活動フ
ィールドに移動し、メニューから“ユーザ活動”を選択
し、それが終了すると、カーソルを対応するマクロ・フ
ィールドに移動し、マクロ名又は他のコマンドを入力す
るなどの活動を該プロファイルの完成まで続ける．従っ
て、ユーザが最も便利な方法でコンピュータ・システム
にデータを入力できるように選択したアプリケーション
・プログラムのための拡張ユーザ・インタフェース・プ
ロファイルを構築するのに割合に不慣れなユーザにとっ
て，それは割合に簡明な手順になる． マグロはユーザ・プロファイル又はアプリケーション・
プロファイルとは無関係に作成することができる．例え
ば、表示マネジャ５６には、ユーザがマクロを作成し変
更し且つ実行することを可能にする３つの協同ユーティ
リティがある．マクロ作成ユーティリティ（ＭＣＵ）は
解説，プロンプタ、又は完全に隠れたユーティリティと
してセットアップすることができる表示マネジャ・プロ
グラムである．それは標準的なプログラム・ローダーか
ら．又は指定されたジェスチャないしは他の入力信号を
介して呼出すことができる．そのジョブは将来のプレイ
バックのためにユーザのコマンドのシーケンスを記録す
ることである．ユーザはＭＣＵを始動し，所望の動作シ
ーケンスを実行し、そしてＭＣＵを停止するだけである
．そして、ＭＣＵはマクロの名前のような所要の情報に
ついてユーザをプロンプトする．マクロが指名されると
、ユーザはそれをアプリケーション・プロファイルのど
れかで又はユーザ・プロファイルで参照することにより
当該マクロの使用を制御することができる． マクロ変更ユーティリティ（ＭＨＯ）はユーザが予め作
威されたマクロを介して１つのステップを呼出すことを
可能にする表示マネジャ・プログラムである． ＭＭＵ
はそれが実行する前にマクロ内の各々のステップの英語
の記述を表示する．プレイバック・プロセス内の任意の
点で、ユーザはマクロ内の１又はそれ以上のコマンドを
変更することができる．変更は（経験のあるマクロ記述
者の場合は）英語ウィンドーの内容を編集するか又は予
め記憶されたコマンドを重ね書きする”記録”機能を活
動状態にすることによって実行することができる． ８
８０はユーザが容易にマクロを検査し、デバッグし且つ
変更することも可能にする． ＭＭＵはユーザが必要と
するものの大部分の実行が既に可能な既存のマクロを変
更することによりユーザにマクロを構築させることもで
きる． マクロ実行ユーティリティ（ＭＥＵ）は最大速度でマク
ロをプレイバックする表示マネジャ・プログラムである
． ＭＥＩＩは，ユーザが適切なジェスチャを出す毎に
，環境リンク１０１によって呼出すことができる．例え
ば，もし左矢印のジェスチャが認識されれば，環境リン
ク１０１は現在のユーザ・プロファイルを調べ、当該ジ
ェスチャが”大域的に”禁止されているかどうかを決定
する．もし禁止されていなければ、環境リンク１０１は
活動状態のアプリケーションの名前を決定し、対応する
アプリケーション・プロファイルを読取って、このアプ
リケーションのマクロを左の矢印のジェスチャに連結し
ているものが（もしあれば）何であるかを決定する．そ
して、環境リンク１０１はもし必要ならＭＥＵを呼出す
． マウス指示装置に代わる接触入力装置に関連して省略時
ユーザ・プロファイルの一例を説明する．多くのプログ
ラムはマウス入力を認識するので、非常に多くのアプリ
ケーション・プログラムはこの省略時プロファイルを用
いて動作させることができる． この例では，拡張ユーザ・インタフェースは複数のモー
ドの１つースタイラス又は指の動作の結果によってどの
マウス同等のコマンドがユーザ・プロファイルで見つか
るかを決定する一でセットすることができる． ＡＵＩ
がモード１のとき、どんなマウス・ボタン・メッセージ
もタッチダウンによって生成されないが，指又はスタイ
ラスが接触パネルで移動している間に，マウス移動コマ
ンドが生成される．スタイラスが離昇（ｌｉｆｔ−ｏｆ
ｆ）すると、ボタンダウン．ボタンアップ・コマンド・
シーケンスはアプリケーション・プログラムに送られる
．モード１は５活動状態のアプリケーションによる活動
が行われる前に、カーソル位置の正確な決定を可能にす
る．拡張ユーザ・インタフェースがモード２のとき，ど
んなマウス・ボタン・コマンドもタッチダウンによって
生成されないが，スタイラスの移動によってマウス移動
メッセージが生成され，スタイラスが離昇すると，マウ
ス二重クリックが生成される． ＡＵＩがモード３のと
き，マウス・ボタン・ダウン・コマンドはスタイラスの
接触によって生成され、スタイラスが離昇すると，マウ
ス・ボタン・アップ・コマンドが生成される．モード３
は画面の対象（アイコン等）引きずり、ウィンドーのサ
イズを設定し、ウィンドーの顧客領域内の領域に記号を
付ける（例えば、移動することになっているテキストに
記号を付ける）のに役立つ．３つのモードは手動で反復
してアイコン（ＡＵＩが入っているモードを指示する）
で接触パネルに接触することにより、又はアプリケーシ
ョン・プロファイルにより自動的に選択することができ
る． 第２の実施例 第５図は統合操作環境として表示マネジャ１５６を用い
、コンピュータ・システムを実行するオペレーティング
・システムとしてＯＳ／２ １５４を用いる，もうｌつ
の拡張ユーザ・インタフェースの実施例を示す． ＯＳ
／２ １５４及び表示マネジャ１５６の特性のため、僅
かに異なる拡張ユーザ・インタフェース２００の配列が
必要である． ＯＳ／２ １５４は全ての入力にタイム
スタンプするシングル・キュー（単一の待ち行列）モジ
ュールを有し，全ての入力をそれらがコンピュータ・シ
ステムに送られた順序で，このモジュール内のキューに
入れる必要がある．よって．代りの入力装置の全ては，
環境リンク・モジュール．ＰＭリンク ２０１により処
理される前にＯＳ／２ １５４を通らなければならない
．更に，本実施例のシングル・キュ二の特徴はキーボー
ド入力及びマウス入力だけが可能であり，接触入力装置
又は他の代りの入力装置からの入力は扱わない．これら
の制約により第５図に示す拡張ユーザ・インタフェース
が設計されている６全での入力装置，キーボード１３０
，装置Ｃ １３２，装＠ｔ３１３４、装置Ｅ １３６
及び装ｉ１Ｆ１３８はＯＳ／２ １５４を通ッテｏｓ／
２１５４のシングル・キューに加えられる．キーボード
１３０の入力信号は標準的な装置ドライバ１４０を通っ
て直にＯＳ／２ １５４に送られる．装置Ｃ １３２、
装置Ｄ１３４、装置Ｅ １３６及び装置Ｆ１３８の入
力信号はそれぞれ装置特定コード１４１，１４２、１４
３及び１４４を通って代替入力サブシステム２０３に送
られてから， ＯＳ／２ １５４のシングル・キューに
渡される．シングル・キューはキーボード入力又はマウ
ス入力だけを処理するから．代替入力サブシステム２０
３は装置Ｃ１３２、装置Ｄ１３４、装置Ｅ１３６及び装
置Ｆ １３８からの入力信号をマウス入力メッセージ
又はキーボード入力メッセージに変換する．更に、ＯＳ
／２ １５４は接触、音声又はイメージの”トークン”
を入力メッセージとして扱わないから，全ての前記入力
はマウス移動点又は他の、”事象”の連続として通過す
る．そして、ＯＳ／２ １５４は活動状態のアプリケー
ション・プログラムを追跡する表示マネジャ１５６に入
力メッセージを渡す． 第５図で． ＰＭリンク２０ｌ，拡張ユーザ・インタフ
ェース２００の環境リンク・モジュールは、表示マネジ
ャ１５６及びアプリケーション・プログラム，アプリケ
ーションＥ １５０、アプリケーションＦ１５１，ア
プリケーションＧ１５２並びにアプリケーションＨ１５
３の間のフィルタとして動作する．活動状態のアプリケ
ーション・プログラムを参照する情報と一緒に表示マネ
ジャｌ５６から入力メッセージを受取った後、代替入力
サブシステムが受取った”キーボード”又は”マウス”
のメッセージが実際にキーボード又はマウスのメッセー
ジであるか、又はむしろ接触，音声，イメージないしは
他のメッセージであるかを決定するために， ＰＭリン
ク２０１は代替入力サブシステム２０３を参照し直す．
そして．ＰＭリンク２０１は真のメッセージを適切なア
プリケーション・プログラムに渡す，真の入力メッセー
ジが理解されないことを活動状態のアプリケーション・
プログラムが示さない限り，拡張ユーザ・インタフェー
ス２００の残りのモジュールは呼出されない．もし活動
状態のアプリケーションが真の入力メッセージは理解さ
れないことを示せば、ＰＭリンク２０１は正しいコマン
ド髪決定するためにインタフェース・プロファイル・モ
ジュール２０４を参照する．もし真の入力メッセージが
それはジェスチャ、文字、音声又はイメージの６トーク
ン”かも知れないと表示すれば、ＰＭリンク２０ｌはト
ークンを識別するために入力メッセージを適切な認識装
置に送り，そして正しいコマンドを決定するためにイン
タフェース・プロファイルを探索する． 第６図の流れ図は第５図のコンピュータ・システムの．
音声入力信号に応答する動作を示す．活動状態のアプリ
ケーション・プログラムはスブレッドシ一ト１５０であ
り、表示装１１２ｇでユーザに表示されるのはユーザに
使用可能な一部の機能と同時に選択されたデータのアレ
イである．キーボード１３０を用いるよりは，ユーザは
もう１つの入力装置，音声センサ１３６を用いるデータ
入力を選択する．ステップ２２１で，ユーザがワード“
ＧＲＡＰＨ″を発声するのに応答して，音声センサ１３
６は電気信号を生成し、それによって適切な装置特定コ
ード１４３が呼出される１ステップ２２３で，装置特定
コードはワード″ＧＲＡＰＨ″に対応する入力信号の連
続をＡＩＳ ２０３に送る．ステップ２２５で． ＡＩ
Ｓ ２０３は入力信号をキーボード人カメッセージ又は
マウス入力メッセージの連続として変換し． ＯＳ／２
１５４のシングル・キューに加える．入力メッセージ
のストリームにタイムスタンプしたのち、ＯＳ／２ １
５４はそれらを表示マネジャ１５６に渡し，表示マネジ
ャはユーザの集中点を追跡し、人力メッセージを活動状
態のアプリケーションプログラム、スブレッドシ一トｌ
５０に渡す，ステップ２２７で． ＰＭリンク２０１は
活動状態のアプリケーション・プログラムへのメッセー
ジを傍受し、ステップ２２９で，ＡＩＳ２０３に参照し
直し、真の入力メッセージは音声入力メッセージのセッ
トであると決定し，ステップ２３１で，真の入力メッセ
ージ、音声入力をスブレッドシ一ト１５０に送る． ＰＭリンク ２０１が真の音声人カメッセージを送った
後、ステップ２３３で，アプリケーション・プログラム
はそれ自身のメッセージに応答し．次の２つの動作のう
ちの一方が生じる．アプリケーションは、もし送付され
た入力メッセージのタイプを理解しなければ，ステップ
２３３で″ＲＯ″メッセージをＰＭＩＪンク２０１に返
送し，入力メッセージを理解しないことを示す． ＲＯ
メッセージに応答して，ＰＭリンク２０１は通常はイン
タフェース・プロファイル２０４に進み、ステップ２４
１で適切なアプリケーション・プロファイル２０５内の
対応するコマンドを決定し、ステップ２４３でユーザ・
プロファイル２０７内の対応するコマンドを決定する．
しかしながら、入力メッセージは、それらが音声メッセ
ージであることをステップ２３７で示すから， ＰＭリ
ンク ２０１は最初に入力メッセージを音声認識装置２
１５に送り．ワード″ＧＲＡＰＨ″の正しい音声入力ト
一クンを受取る．ステップ２３９でこのトークンを受取
った後、ＰＭＩノンク２０１は先ずスブレッドシ一ト１
５０のアプリケーション・プロファイル２０５をステッ
プ２４１で調べ、スブレッドシ一ト１５０によって認識
される入力メッセージに対応するコマンド、即ち，メニ
ュー選択−グラフーを見つける．次にＰＭリンク２０１
は現在のユーザのユーザ・プロファイル２０７をステッ
プ２４３で参照する．そしてＰＭＩノンク２０１は、ス
ブレッドシ一ト１５０についてどちらのプロファイルが
より高い優先順位のコマンドを有するかを，ステップ２
４５で決定し、次いで，ステップ２４７で、該高い優先
順位のコマンドをスブレッドシ一ト１５０に送る．そし
て該スブレッドシ一トは適切な活動をステップ２４９で
行う，このケースでは、現に選択されたデータを図形化
し．表示装置２８でユーザに表示された情報を変更する
． 他方，もしスブレッドシ一ト１５０が音声入力を解読し
扱うことができるか，さもなければ，それが既知であれ
ば、”Ｒ１″メッセージがステップ２３３でＰＭリンク
２０１に送られる． ＰＭリンク２０１は，その際，現
在のメッセージについてそれ以上の活動は行わない．ス
ブレッドシ一ト１５０は音声入力を意識していることが
あるが，一定の状況では、即ち該アプリケーション・プ
ログラム中の期間、該音声入力を無視するように選択す
ることもある．代りに．該意識しているアプリケーショ
ン１５０は幾つかの音声入力を理解し５他の音声入力を
理解できないことがある．特定の音声人カメッセージが
理解されないときは必ず、ステップ２３３で， ＲＯメ
ッセージをＰＭＵンク２０１に返送する， ”ＲＯ’″
メッセージを受取った場合、ＰＭリンク２０１はこれら
の音声人カメッセージについて，前述の詳細な説明のよ
うに、音声認識装置２１５及びインタフェース・プロフ
ァイル２０４を調べる． 第５図の実施例で、文字認識装置２１１及びジエスチャ
認識装置２１３は拡張ユーザ・インタフェース２００の
一部である．ＰＭｌノンク２０１は，文字又はジェスチ
ャかも知れない入力メッセージを受取ると、点のセット
を文字認識装置２１１に送る．もし文字認識装置２１１
が該点のセットを英数字として認識すれば、当該文字は
識別され，活動状態のアプリケーション・プログラムで
の以後の処理のためにＰＭＩＪンク２０１に返送される
．もし該点のセットが文字として認識されなければ、そ
れはジエスチャ認識装置２１３に送られ．ジエスチャと
して認識されるかどうかが決定される．もしそれがジエ
スチャとして認識されれば， ＰＭリンク２０１は該ジ
エスチャをインタフェース・プロファイル２０４に送り
，適切なアプリケーション・プロファイル２０５又はユ
ーザ・プロファイル２０７から活動状態のアプリケーシ
ョン・プログラムに送る命令のセットを見つける．もし
それが文字としてもジエスチャとしても認識されなけれ
ば、ＰＭリンク２０１は、入力メッセージはたぶんマウ
ス・メッセージとして指定されたものと判定し，該点の
セットの最後の点で”マウス・ボタンダウン，マウス・
ボタンアップ”メッセージを生成する． 接触パネルでのユーザ活動によってどのマウス同等のコ
マンドが生成されるかを決めるために種々のモードが用
いられる場合には、前述の省略時ユーザ・プロファイル
の代りに，本発明はＰＭリンク２０１内に，マウス・ボ
タンダウン事象，マウス移動事象又はマウス・ボタンア
ップ事象をエミュレートする接触入力とジェスチャ又は
文字とみなされることになっている接触入力とを識別す
ることができるコンピュータ・モジュールを組込む．こ
れは２つのタイプの接触入力を識別するために時間遅延
を用いて行われる．拡張ユーザ・インタフェース２００
は，アプリケーションが事象について知らされる前に．
接触センサから受取った．スタイラス離昇又はスタイラ
スが特定の点で該セットされた時間遅延の間遅延されて
いる、全ての点をストローク・バッファに入れることに
より、ユーザが画面に接触して所望の位置に移動するこ
とを可能にする．ユーザが所望の位置に達し該セットさ
れた時間遅延の間移動を停止すると、アプリケーション
・プログラムは該事象をマウスの事象としてＰＭＩノン
ク２０１を介して受取る．例えば，もしユーザが２００
ミリ秒の間移動を停止すれば、所望の位置でのマウス・
ボタンダウン、マウス・ボタンアップ事象がアプリケー
ション・プログラムに伝達される．しかしながら、もし
該セットされた時間の期間が終る前にユーザが再び移動
を開始すれば．ユーザが再び停止し該時間遅延の期間休
止しない限り、該事象は生成されない．時間遅延は一般
にミリ秒で指定され、ユーザが対話する画面の領域に応
じて変更することができる．時間遅延はユーザ・プロフ
ァイル２０７でユーザが指定し、又は接触入力を利用し
ているアプリケーション・プログラムによって変更する
ことができる．他方，もしユーザが特定の点で該指定さ
れた時間遅延期間の間停止せず、代りにスタイラスを接
触画面から離昇するならば，拡張ユーザ・インタフェー
ス２００は入力点のセットを文字認識又はジェスチャ認
識の候補として選択する．換言すれば．時間遅延はジェ
スチャの実行に合わせてウィンドーを提供する．この時
間の間、拡張ユーザ・インタフェース２００はジェスチ
ャの実行だけを可能にする．もしユーザが時間遅延期間
の終了まで待つてから離昇すれば５収集された点はジェ
スチャの候補にはならないが，マウス事象にはなる．も
しユーザが時間遅延期間が終了する前に離昇すれば，文
字認識装置２１１又はジェスチャ認識装置２１３で入力
点のセットをジェスチャ又は文字として認識する試みが
なされるが、もし認識されなければ，通常のマウス・エ
ミュレーション・シーケンス、該セットの最後の入力点
ではマウス・ボタンダウン，マウス・ボタンアップが生
成される．もし認識されれば、ＰＭリンク２０１はイン
タフェース・プロファイル２０４を参照して適切なコマ
ンドを活動状態のアプリケーション・プログラムに送る
．次に、接触センサ１３４の表面でユーザが描く円のジ
ェスチャの認識について第７図を参照して説明する． ＡＵＩユーティリティ・モジュール２０９でポップアッ
プ・キーボード・ユーティリティの呼出しを欲するユー
ザは，接触センサ１３４の表面に円を描き，セットされ
た時間遅延の終了前にスタイラスを離昇する．接触セン
サ１３４はステップ２６１で装置特定コード１４２への
一連の割込みを生成し、ステップ２６３で，円の点のセ
ットに対応する入力信号のセットをＡＩＳ ２０３に送
る． ＡＩＳ ２０３は入力信号を，ステップ２６５で
、ＯＳ／２ １５４のシングル・キューによって処理さ
れるマウス人カメッセージに変換する．入力メッセージ
は表示マネジャー５６によって．活動状態のアプリケー
ション・プログラム、スブレッドシ一ト１５０に送られ
るが、ステップ２６７で先ずＰＭＩＪンク２０１によっ
て傍受される．そしてＰＭリンク２０１はステップ２６
９でＡＩＳ ２０３に質問し．″マウス“入力メッセー
ジは実際に接触人力であると判定する． 最初の接触入力点，通常はセンサー３４における接触点
が見つかると、ＰＭリンク２０１はステップ２７ｌでユ
ーザが選択した時間遅延期間についてユーザ・プロファ
イル２０７を参照する． ＰＭリンク２０１はステップ
２７３でそのストローク・バッファ内の接触入力点をス
タイラス離昇事象が検出されるま／ で収集する． ＰＭリンク２０１が接触入力点を収集す
るとき、ユーザが接触センサにおけるストローク内で休
止する毎にステップ２７５で”安定期間”を開始し，
ＰＭリンク２０１はステップ２７７で安定期閏の時間測
定を開始し、時間遅延期間が終了したかどうかを判定す
る．もしユーザが時間遅延期間終了前に移動すれば、Ｐ
ＭＩノンク２０１はステップ２７３でストローク内の接
触入力点収集を続行するが．もし安定期間が時間遅延よ
りも長ければ，ステップ２８１でマウス・ボタンダウン
及びマウス・ボタンアップ・コマンドが生成される．本
実施例では，ユーザはスタイラスの離昇前は休止しない
、従って，ステップ２７９で、該ストロークは文字認識
装置２１１及びジェスチャ認識装Ｍ２１３に送られ、処
理される．もし接触入力ストロークがジェスチャとして
も文字としても認識されていなければ．ステップ２８１
で、マウス・ボタンダウン及びマウス・ボタンアップ・
コマンドが生成される．ジェスチャ認識装置２１３によ
って円のジェスチャとして認識された後， ＰＭリンク
２０１はステップ２８３で該円のジェスチャをスブレッ
ドシ一ト１５０に送る．ステップ２８５で、スブレッド
シ一ト３５０は″ＲＯＭメッセージー円のジェスチャが
理解されなかったことを示す一を戻す．円のジェスチャ
がステップ２８７で理解されなかったとき、ＰＭリンク
２０１はステップ２８９でスブレッドシ一ト１５０につ
いてアプリケーション・プロファイル２０５を参照し，
該円のジェスチャについて対応するコマンドがないこと
を知る．ＰＭＩノンク２０１は次にステップ２９１で、
対応するコマンド”ポップアップ・キーボードを呼出す
”を含むユーザ・プロファイル２０７を参照する．ステ
ップ２９３で，ユーザ・プロファイル２０７からのコマ
ンドが最も高い優先順位を有するとき、ＰＭリンク２０
１はステップ２９５でこのメッセージをＡＵＩユーティ
リティ・モジュール２０９に送り、ポップアップ・キー
ボードは表示装置でユーザに表示される． 本発明は特定の実施例を参照して説明されているが、本
発明の意図及び範囲を逸脱せずに形式及び細部の変更が
可能であることは当業者には理解されている．例えば，
ジェスチャ及び文字認識は接触入力装置に関して論述さ
れているが，マウス又は図形タブレッ１−のような別の
指示入力装置を利用してジェスチャ又は文字を拡張ユー
ザ・インタフェースに送ることもできる．更に．特定の
アプリケーション・プログラム，ＰＡ合操作環境及び入
力装置について特定の記述がなされているが，拡張ユー
ザ・インタフェースの柔軟性はこれらのプログラム及び
装置についての既存の実施例並びに一層の拡張のどちら
にも適応させることができる． Ｆ．発明の効果 本発明によれば，ユーザがコンピュータ・システムにデ
ータを入力する入力装置を複数の入力装置から選択する
ことが可能になる．
する際の改良に関する．詳細に説明すれば，本発明は，
最初異なる入力装置用として記述されたデータをプログ
ラム実行中のコンピュータに入力するために，ユーザが
少なくとも１つの入力装置を選択することを可能にする
拡張ユーザ・インタフェースに関する． Ｂ．従来の技術 従来、コンピュータは科学者，数学者及びその他の高い
レベルの洗練されたコンピュータ・ユーザによってのみ
使用されていた．コンピュータ技術が進歩するにつれて
，特にパーソナルコンビュータの出現によって、データ
処理はあらゆるレベルの社会，あらゆるレベルのユーザ
に広がっている．その結果，コンピュータ・ユーザがコ
ンピュータ専門家又は高度のデータ処理技術を有する人
である場合が減少する傾向にある．コンピュータ・ハー
ドウェア及びソフトウエアは能力及び効率が高くなるに
つれて、将来は更にコンピュータの利用が増大するであ
ろう． しかしながら，コンピュータが普及している社会にもか
かわらず、多くの人々はコンピュータの使用法について
懸念を持っている．在来のテキスト表示及び英数字キー
ボード入力装置は容易には習得されず、数百には達しな
いが、多数の正しいコマンドの形式の記憶を必要とする
．ユーザはかなりすぐれたタイピストでない限り，デー
タ入力は不便であり時間を浪費することがある．ｌつの
ソフトウェアに熟達するのに必要とする試行のための時
間は、その努力も避けようとするような不慣れなユーザ
にとっては極めていらだたしいものである． ゆえに，技術的に”ユーザに親切な”入力装置及びコン
ピュータ・プログラムとして知られているものを設計す
ることが必要になっている．前記”ユーザに親切な”装
置及びソフトウェアは不慣れなユーザが長い訓練を経ず
に所望のタスクを実行できるように設計される．比較的
人気のある入力装置の１つはマウス指示装置である．マ
ウスはそれが平らな面をユーザによって移動される方向
及び距離に対応する信号を生威する．コンピュータは、
コンピュータ表示装置でカーソルの位置を変更すること
により，この情報に応答し，ユーザが任意の表示された
対象を指すことを可能にする．力一ソルが正しく位置設
定された後は、ユーザはマウスの上部の１つ又は２つ以
上のボタンを押すことにより多数の機能を実行すること
ができる．人間工学研究によれば、ユーザがコンピュー
タの表示装置画面に直にデータを入力することを可能に
する装置一技術的には接触入力装置として一般に知られ
ている−は人間機械間の親密さを最大にする．表示面で
用いる初期の入力装置の１つはライトペンであった．ラ
イトペンは手に持ってＣＲＴの表面に当てる光検出器で
ある．ライトペンの位置は光のドットー表示装置を走査
するラスターの座標を検出することによって決定される
．もう１つのタイプの接触入力装置は表示画面上に取付
けられた機械的に変形する膜である．この膜は柔軟な表
面に配置された２つの透明な導体の面から或る透明なオ
ーバレー（ｏｖｅｒｌａｙ）である．選択が行われると
，ユーザは導体の面のｌつを指又はスタイラス接触によ
って他の１つに接触するように機械的に変形させ、それ
によって，それらの導体を互いに電気的に接触させる．
適切な電子装置及びソフトウエアにより指又はスタイラ
ス接触で生戒された電気信号は表示面上の位置に変換さ
れる．もう１つの接触入力装置は表示画面の上に置かれ
た容量性の透明なオーバレーであって，電磁信号によっ
て駆動される透明な導体を含む．この入力装置はオーバ
レーの容量の変化によって指が接触した位置を検出する
ことができる．又は，代りにスタイラスが使用され、ス
タイラスの位置を決定するためにオーバレーからの電磁
信号をコンピュータに送り返す．更にもう１つの接触入
力装置は、表示画面の回りにはめこまれ、水平及び垂直
方向に並行して配列された多数の赤外線又は可視光線送
信器及び受信器を有するフレームを用いる．ユーザの指
が光ビームをさえぎると，水平及び垂直方向の受信器は
信号の欠如に気づき，それによってユーザが望む活動の
位置を見つける．音声認識装置又はディジタル・タブレ
ットのような，ユーザの活動に応答する多くの他の，ユ
ーザに親切な入力装置が開発されている．ユーザに親切
な入力装置に加えて、設計者はよりユーザに親切なソフ
トウェアを開発するために努力している．採用されてい
るｔつの手法は特定のタスク又は実行可能な機能を選択
するためのメニューを提供することである．この方法で
は、ユーザは長いコマンドのリストをメモリに書留める
必要はない．メニューは画面表示の全部又は一部分が用
いられ，キーボード又は他のカーソル移動装置によって
カーソルがメニュー項目に隣接するスペースに移され，
特定の活動を選択することができる．代りに、ユーザは
メニュー選択に関連した英数字をコマンド行に書込むこ
とにより，ある活動を選択することができる． もうｌつの最近の傾向は統合された幾つかの種類のコン
ピュータ・プログラム・アプリケーションを提供するこ
とである．統合されなければ，ユーザはワード処理，デ
ータベース操作、グラフィックス及び電子メール機能等
のために別々のアプリケーション・プログラムを使用す
る必要がある．異なるプログラムの出力を統合してｌつ
の所望の出力にすることはかなり困難なことがよくある
．１つの解法は種々のアプリケーションを含む１つの統
合されたソフトウエアの部分一多重機能プログラムと呼
ばれる一を記述することである．一般に，これらの多重
機能プログラムはテキスト，スブレッドシ一ト及びビジ
ネス用グラフ作成アプリケーションを含む・ 別のアプローチはＭｉｃｒｏｓｏｆｔ ＷＩＮＤＯＷＳ
（ＴＭ）ＴＭは登録商標を表わす一又はＩＢＭプレゼ
ンテーション・マネジャ（ＴＭ）によって実現されるよ
うな統合操作環境を提供することである．このアプロー
チでは，個々のアプリケーション・プログラムは情報を
共有し且つしばしば同時に表示画面に、各々がそれ自身
のウインドーに，現われる．最も有力な個々のアプリケ
ーション・プログラムを選択することにより，パッケー
ジに組込まれるアプリケーション・プログラムが何であ
ってもユーザが制約される多重機能プログラムとは対照
的に、ずっと有力な環境をユーザの特定の要求に合わせ
ることができる． あいにく、多くのユーザに親切な入力装置及び多くのユ
ーザに親切なコンピュータ・プログラムが開発されてい
るのに、これらの努力はうまく統合されていない．例え
ば、キーボード入力又はマウス人力を受入れるように記
述されているが接触入力装置又は音声認識装置からの情
報を認識しない多数のプログラムがある．この状況はユ
ーザに親切な新しい入力装置の導入及び広範な利用にと
って深刻な障害を呈する．プログラマは既存のソフトウ
ェアの大部分に大幅な変更を行うか、新しい多重機能プ
ログラムを記述するか、又は新しい入力装置が開発され
る毎にアプリケーション・プログラムのセットを記述し
なければならない．代案にはかなりの開発努力の費用及
び時間が付加されるので、入力装置を開発する組織の能
力の範囲を越えたり，期待される利益に比し費用が掛か
り過ぎたりすることがある．更に、著作権又は他の所有
権は入力装置開発者が既存のソフトウェアの採用を妨げ
ることがある．更に、新たに開発されたソフトウェアは
、特定の目的のために既に記述されている確立されたア
プリケーション・プログラムほどには効率的ではなかっ
たり商業的にユーザに受入れられなかったりすることが
ある．最後の考慮事項は、個々のユーザは自らの要求を
たぶん最もよく承知しているが，アプリケーション・プ
ログラムの大幅な変更が可能であるようにも，関心があ
るようにも見えないことである．ユーザが該ユーザの目
的に最もよく役立つ特定の入力装置及びアプリケーショ
ン・プログラムを選択し，比較的低い技術レベルであっ
ても、自らとコンピュータの間のユーザに親切なインタ
フェース内の構或要素を組立てることを可能にすること
は好都合である．プログラマによる一般的な解法は特定
のユーザの要求にとっては最適ではないかも知れない．
入力装置及びアプリケーション・プログラムの将来の拡
張がインタフェースの最小の変更で提供できることをユ
ーザに保証することも好都合である． Ｃ．発明が解決しようとする課題 本発明の目的はユーザがコンピュータ・システムにデー
タを入力する入力装置を複数の入力装置から選択するこ
とを可能にすることである．本発明のもう１つの目的は
活動状態のアプリケーション・プログラムが、該アプリ
ケーション・プログラム・コードを変更することなく、
最初に記述されたときの入力装置と異なる入力装置を介
してコンピュータ・システムに情報を入力することであ
る． 本発明の更にもう１つの目的は割合に不慣れなユーザが
使用可能なアプリケーション・プログラム及び入力装置
の間から選択し，特に自らの要求に合わせて設計された
ユーザ・インタフェースを構築することを可能にするこ
とである．本発明の更にもう１つの目的はユーザに親切
な入力装置及びアプリケーション・プログラムの将来の
拡張をユーザ・インタフェースに適応させることである
． 本発明の更にもう１つの目的は１つのコンビュータを操
作する異なるユーザが，データを入力する際に、個々の
選択に合わせて異なるユーザ・インタフェースを構築す
ることを可能にすることである． Ｄ．課題を解決するための手段 これらの目的は複数のアプリケーション・プロダラムを
実行できる統合操作環境で動作し、該環響 境によって提供されるメッセージを利用し機能を集中す
る拡張ユーザ・インタフェースによってなし遂げられる
．拡張ユーザ・インタフェースは３つの主要なモジュー
ル、代替入力サブシステム・モジュール、インタフェー
ス・プロファイル・モジュール及び環境リンク・モジュ
ールから成る．代替入力サブシステム・モジュールは接
続されたユーザに親切な入力装置及び拡張ユーザ・イン
タフェース並びにアプリケーション・プログラムの間の
通信を統合操作環境によって提供する．代替入力サブシ
ステム・モジュールは入力装置によって生成された入力
信号を受取り、それらを拡張ユーザ・インタフェースで
使用可能な入力メッセージに変換する． インタフェース・プロファイル・モジュールはアプリケ
ーション・プログラム毎に１つの，該アプリケーション
・プログラムが最初に記述された方法と異なる方法で，
ユーザが入力装置を使用することを欲する、アプリケー
ション・プロファイルを含む．完全に新しい入力装置は
アプリケーション・プログラムによって用いることがで
き、又はオプションとして、ユーザはアプリケーション
・プログラムが最初に応答した入力装置から既存の入力
装置の入力信号に変更することができる．アプリケーシ
ョン・プロファイルの各々は、アプリケーション・プロ
グラムによって使用可能な対応するコマンドに写像され
た、八カメッセージのリストを含む，インタフェース・
プロファイル・モジュールは，コンピュータ・システム
を利用するユーザ毎に，ユーザ・プロファイルのセット
を含むこともある．ユーザ・プロファイルは幾つかのア
プリケーション・プログラムが共有することがある入力
メッセージ及びそれらの対応するコマンドを含む． 環境リンク・モジュールは統合操作環境と通信し、拡張
ユーザ・インタフェース手順実行アルゴリズムを含む．
例えば、該モジュールは代替入力サブシステムによって
生成された入力メッセージを取得し，どのアプリケーシ
ョン・プログラムが活動状態であるかについて統合操作
環境に質問し、インタフェース・プロファイル・モジュ
ール内の適切なアプリケーション・プロファイルにある
対応するコマンドと該入力メッセージを突合せ、そして
命令のセットに基づいた活動，例えば該操作環境を介し
て活動状態のアプリケーション・プログラムへのメッセ
ージの送付を開始する．拡張ユーザ・インタフェースは
ポップアップ・キーボード又はイメージ拡大ユーティリ
ティのようなユーティリティ・プログラムのセットを含
むこともある． Ｅ．実施例 第１図は表示マネジャのような典型的な統合操作環９５
６でアプリケーション・プログラムＡ５０，Ｂ ５１．
Ｃ ５２及びＤ ５３を利用するコンピュータ・シス
テムとユーザの対話を示す． ユーザは装ＨＡ （キーボード）３２、装置Ｂ（マウス
）３４又は接触センサ３６を介してコンピュータ・シス
テムにデータを入力する．ユーザがデータを入力すると
、選択された装置は適切なドライバを活動化するために
割込みを発生する．キーボード３２の場合には，ドライ
バＡ ６０が活動化され，マウス３４の場合には，ドラ
イバ８ ８２が活動化され，接触センサ３６の入力は接
触ドライバ６３を活動化する．適切なドライバは統合操
作環境５６に信号を送る．統合操作環境５６はどのアプ
リケーション・プログラムが活動状態であるかを追跡し
，全ての入力データを当該アプリケーション・プログラ
ムに送る．代りに．ユーザはアプリケーション・プログ
ラムを変更することができ，統合操作環境５６はメッセ
ージを新たに活動化されたアプリケーション・プログラ
ムに回送する．１つの良好な実施例では、アプリケーシ
ョン・プログラムＡ ５０はスブレッドシ一ト・プログ
ラムであり、アプリケーション・プログラムＢ ５１は
ワード・プロセッサであり、アプリケーション・プログ
ラムＣ５２は図形プログラムであり，そしてアプリケー
ション・プログラムＤ ５３は電子メール機能である．
統合操作環境５６は所与の時点でユーザの“集中点”を
決定するので、活動状態のプログラムの追跡は”集中機
能”である．説明のため、ユーザはキーボード３２を介
してデータを入力中であり，スブレッドシ一ト５０は活
動状態のアプリケーション・プログラムであると仮定す
ると、スブレッドシ一ト５０はどの活動を実行すべきか
を判定する．一般に，この活動は３種類の活動：″スブ
レッドシ一ト５０は表示装置２８を変更する″ ”スブ
レッドシ一ト５０はプリンタにような他のＩ／Ｏ装置と
通信する”、又は”スブレッドシ一ト５０は他のアプリ
ケーションと通信する”のうちの１つになる．メッセー
ジの全ては統合操作環境５６によって処理される．従来
の技術の統合操作環境は複数のアプリケーション・プロ
グラムのアクセスを容易にするので、ユーザは自らの要
求に最もよく適合する特定のアプリケーション・．プロ
グラムを選択できるが，ユーザは記述されている該入力
装置を伴うアプリケーション・プログラムとしか通信で
きない，例えば、スブレッドシ一ト５０はキーボード３
２及びマウス３４の組合せについて記述されているプロ
グラムである．接触ドライバ６３は首尾一貫して統合操
作環境５６と通信するように開発されているが，接触セ
ンサ６３によって生成された信号をマウス移動及びマウ
ス・クリックに変換することにより，接触入力装置３６
の能力はマウス装置の能力の範囲に限定される．認識の
手書き即ちジェスチャのような新しい接触コマンドの種
類は、この方法によって，特にスブレッドシ一ト５０の
ような．接触コマンドのタイプが何を意味するかを理解
しないアプリケーション・プログラムによって適応させ
ることは容易にはできない．他の新しい入力装置は更に
厳しく制限される．従って，システム設計者即ちユーザ
は新たなユーザに親切な人力装置を個々のワークステー
ションに含めようとするが、既存のソフトウェアの使用
は不可能であるか又は厳しく制約されることに気づくで
あろう． 本発明の良好な実施例は第２図に示すようなユーザとコ
ンピュータ・システムの間の対話を制御するコンピュー
タ・プログラムのセットを含む．本発明は主としてパー
ソナルコンピュータ，例えばＩＢＭ ＰＳ／２ （ＴＭ
）での利用を企図しているが、本発明の原理は他の個々
のワークステーション又は大規模なデータ処理システム
に拡張することができる．第２図の構造ブロック図はシ
ステム・バス２２によって読取専用メモリ（ＲＯＭ）
２４及びランダム・アクセス・メモリ（ＲＡＭ） ２８
に接続された中央演算処理装！（ＣＰ［Ｊ） ２０を含
む．第２図のコンピュータ・システムには、コンピュー
タがユーザに情報を表示する表示装置２８、キーボード
３ｏを含む複数の入力装置、及び装置Ａ ３２並びに装
置Ｂ ３４−これらは下記の説明では第２の英数字キー
ボード３２及びマウス３４であるが、数字キーボードの
ような専用のキーボードでも、遠隔指示装置又は他の種
々の入力装置でもよい−も含む．更に，コンピュータ・
システムは接触センサ３６、即ち表示装置２８の表面で
用いる接触入力装置，音声センサ３８及びイメージ・セ
ンサ４０を含む． Ｉ／０ ４２は通信ライン又は他の
Ｉ／Ｏ装置に接続することができる．ランダム・アクセ
ス・メモリ（ＲＡＭ） ２６はアプリケーション・プロ
グラム＾５０，アプリケーションプログラムＢ５１．ア
プリケーション・プログラムＣ ５２及びアプリケーシ
ョン・プログラムＤ ５３を含む．典型的なアプリケー
ション・プログラムの例はワード・プロセッサ、スブレ
ッドシ一ト、図形プログラム．電子メール及びデータベ
ース・プログラムを含む． ＲＡＭ ２６はオペレーテ
ィング・システム５４、例えば００５ （ＴＭ）又はＯ
Ｓ／２ （ＴＭ），及び統合操作環境プログラム５６，
例えば ＷＩＮＤＯＷ （ＴＭ）又は表示マネジャ （
ＴＭ）も記憶し，幾つかのアプリケーション・プログラ
ムの同時実行を可能にする．他のソフトウェアはドライ
バＡ ｆ３０及びドライバＢ６２を含み、操作環境５６
の第２のキーボード３２及びマウス３４によってそれぞ
れ生成された電気信号を解釈する．接触ドライバ６３．
ジェスチャ認識装置６４及び文字認識装置６５は接触セ
ンサからの信号を処理する．音声センサ３８及びイメー
ジ・センサ４０からの入力信号は音声認識装置６６及び
イメージ認識装置６８によりそれぞれ処理される，第２
図では完全にソフトウェアとして図示されているが、ド
ライバＡ６０，ドライバＢ６２，接触ドライバ６３，ジ
ェスチャ認識装置６４，音声認識装置６６及びイメージ
認識装置６８はハードウェア及びソフトウェアの組合せ
にすることもできる．！＆後に、ＲＡＭ ２６には、拡
張ユーザ・インタフェース１００を構或するソフトウェ
ア・モジュールのセットも存在する．第１の実施例 第３図は本発明に従って設計されたコンピュータ・シス
テムを示す．標準的な装置ドライバを介して統合操作環
境５６に接続されるというよりも，複数の入力装置の少
なくとも１つが，認識装置を介して拡張ユーザ・インタ
フェース１００に接続される．第３図で，音声センサ３
８及びイメージ・センサ４０はそれぞれの認識装置，音
声認識装置６６及びイメージ認識装Ｒ６８を介して拡張
ユーザ・インタフェース（ＡＩＬＩ） １００に接続さ
れる．多くのアプリケーション・プログラムはキーボー
ド及びマウス入力を認識するから，キーボード３２及び
マウス３４はそれぞれのドライバ、ドライバＡ ６０及
びドライバＢ ６２を介して統合操作環境５６に接続さ
れたままである．最後に、第３図で、接触センサ３６は
標準的な接触ドライバ６３を介して統合操作環境５６に
，そしてジェスチャ認識装置６４及び文字認識装置６５
を介して拡張ユーザ・インタフェース１００に接続され
る．接触ドライバ６３，ジェスチャ認識装置６４及び文
字認識装置６５は接触センサ３６からの信号を変換して
ジェスチャ又は文字”トークン”を生成する．接触セン
サ３６の表面の指又はスタイラスの位置の連続は、文字
認識装置６５によって手書きの英数字として、又はジェ
スチャ認識装置６４によって右方向の矢印の円のような
ジェスチャとして認識することができる．音声認識装置
６６は音声センサ３８で受取った音をディジタル化し、
予め定義された音のパターンとの突合せを実行して音声
”トークン”を生成する．イメージ認識装置６８はイメ
ージ・センサ４０からの情報を処理しイメージ”トーク
ン”を出力する．′″トークン”は入力装置から収集さ
れた電気信号の連続を表わす入力信号である．例えば、
ユーザが接触センサ上で円を描いたときに収集された点
の連続は”円トークン”として定義することができる．
接触センサ３６を統合操作環境５６に結合することは，
特に接触センサ３６用に記述されているアプリケーショ
ン・プログラム、又は原始的なマウス入力信号だけが必
要とする他の既存のアプリケーション・プログラムを、
ユーザが利用することを可能にする．更に、接触センサ
３６はジェスチャ認識装置６４及び文字認識装置６５を
介してＡＵＩにも接続されるので、接触人刀を認識しな
いアプリケーション・プログラムは拡張ユーザ・インタ
フェース１００の変換機能によりジェスチャ又は文字”
トークン”を受取ることもできる． 他の実施例では、キーボード３２及びマウス３４は．接
触センサ３６と同じように、ＡＵＩ １００及び統合操
作環境５６の両方に接続されることになっている．更に
、他の実施例では，全ての入力装置はＡＵＩのみに直に
接続される．キーボードＡＵＩリンクを利用することに
より、ユーザはアプリケーション・プログラムに対する
通常のタイプ書きのコマンドを、入力する即ち記憶する
のに都合のよいコマンドに変更することができる． Ａ
ＵＩはアプリケーション・プログラムとして書込まれる
ので，統合操作環境の通信及び集中機能を利用すること
ができる．本発明のもう１つの良好な実施例は、任意の
他の指定装置と同様にマウス３４及び接触センサ３６の
双方からの入力を受取ることにより，ドライバＢ６２及
び接触ドライバ６３の機能を組合せる単一指定装置ドラ
イバ（＠示せず）を用いる．この実施例は特に米国特許
第４８６８３３２号明細書に記載された接触入力装置，
又は米国特許出願第２６４４０９号明細書（１９８８年
１０月２８日出願）記戟の遠隔感知スタイラスによる動
作に適合している．指定装置ドライバはマウス３４から
のマウス入力と接触入力装置３６からの指及びスタイラ
ス入力の間を調停し適切な入力メッセージを統合操作環
境５６に送る． 第３図で． ＡＵＩ １００は更に幾つかのコンピュー
タ・コード・モジュールに分割される．環境リンク・モ
ジュール１０１はＡＵＩ １００の手順を実行するため
のアルゴリズムを含み且つ統合操作環境５６に通信能力
を提供する．代替入力サブシステム（ＡＩＳ）１０３は
、ユーザに親切な新しい入力装置、例えば音声センサ３
８の設計者が拡張ユーザ・インタフェースｌ００に継ぎ
目なしに相互接続することを可能にするインタフェース
記述を提供する． ＡＩＳ １０３は、入力装置及びそ
れぞれの認識装置によって送付された入力信号を，拡張
ユーザ・インタフェース１００の残りの部分によって使
用できる入力メッセージに変換する．ジェスチャを示す
接頭部ＧＳ／のような、各々の入力メッセージの一部は
入力装置一入力信号は該入力装置から受取られる一の識
別に専用される．本実施例では， ＡＩＳ １０３は正
しいアプリケーション・プログラムが適切なコマンドを
受取るように各々の入力メッセージにタイムスタンプす
る． インタフェース・プロファイル・モジュール１０４はア
プリケーション・プロファイル１０５及びユーザ・プロ
ファイル１０７ − ＡＩＳ １０３にょり入力装置３
６、３８及び４ｏで受取った入力信号から生成され、既
存のアプリケーション・プログラム，例えばマウス・ク
リック、キーストローク・メッセージ，マクロ（ＭＡＣ
ＲＯ），ユーティリティ・プログラム等によって用いら
れるキーボード、マウス又は他のコマンドに写像された
入力メッセージをリストするファイルである一から成る
．拡張ユーザ・インタフェース・ユーティリティ （Ａ
ＵＩユーティリティ） １０９は． ＡＵＩ １００に
よって使用できるポップアップ・キーボード又はイメー
ジ拡大ユーティリティのようなユーティリティ・プログ
ラムのセットである．図示のように． ＡＵＩ １０９
は別個のアプリケーション・プログラム、又はアプリケ
ーション・プログラムのセットとして記述することがで
きるので、統合操作環境５６のメッセージ通過機能を用
いて他のアプリケーション・プログラムと通信すること
ができる． 拡張ユーザ・インタフェース・ユーティリティ１０９に
存在するかも知れない幾つかのユーティリティの例は”
ポップアップ”数値キーパッド、イメージ拡大ユーティ
リティ及び電子メール発送スリップを含む．”ポップア
ップ”キーボード及び”ポップアップ“キーパッドはな
るべくなら表示装置の表面で接触入力装置とともに動作
する機能を備えるように設計する方がよい．適切なコマ
ンド，例えば円ジェスチャを出すか又はキーボード・ア
イコン（ｉｃｏｎ）に接触することにより、キーボード
又はキーパッドが画面にポップアップする．画面に表示
されたキーに接触することによりユーザは迅速に英数字
情報の列を直に画面に入方することができるので，手動
のキーボードに注意をそらす必要がなくなる．キーボー
ド又はキーパッドに必要とするスペースはかなり小さい
ので，スブレッドシ一ト、ワードプロセッサ等，活動状
態のアプリケーション・プログラムの作業領域を完全に
覆うことはない．イメージ拡大ユーティリティは適切な
ジェスチャが行われた位置の周囲に一定の大きさの矩形
を拡大する．該ユーティリティは拡大されたイメージ内
で非常に正確にカーソル位置を定めることができる．ス
タイラスが離れると，通常の大きさの表示が復元され，
選択されたカーソル座標は活動状態のアプリケーション
・プログラムに送られる． 第４図の流れ図は第３図のコンピュータ・システムの、
音声入力信号に対応する動作を示す．活動状態のアプリ
ケーション・プログラムはスブレッドシ一トであり，表
示装Ｎ２８でユーザに示されるのは，ユーザが使用でき
る見込みのある機能メニュー・バーと同時に選択された
データのアレイである．ユーザはキーボードで連続して
キーを打つよりは、コンピュータ・システムに入力する
データを、もう１つの入力装置，音声センサ３８を用い
て選択する．ユーザが，例えばワード”ＧＲＡＰＨ”と
発声するのに応答して，ステップ１１１で５音声センサ
３８が電気信号を生成し，それらを適切な変換装置，音
声認識装置６６に送る．これらの電気信号に応答して、
ステップ１１３で、音声認識装置が活動化され，適切な
入力信号，音声入力”トークン”を代替入力サブシステ
ム１０３に送る．ステップ１１５で． ＡＩＳ １０３
は入力メッセージー該入力信号が受取られた時点及びど
の入力装置が該信号を送ったかに関する情報を含むーを
環境リンク１０１に転送する．入力メッセージに応答し
て、ステップ１１７で，環境リンク１０１はどのアプリ
ケーション・プログラムが現に活動状態であるかについ
て統合操作環境５６に質問する．活動状態１のアプリケ
ーション・プログラムが例えばスブレッドシ−ト５０で
あると決定されると．ステップ１１９で，環境リンク１
０１は、スブレッドシ一ト５０によって認識される入力
メッセージ”ＧＲＡＰＨ″に対応するコマンド、即ち、
メニュー選択一ｇｒａｐｈ （グラフ）一について，ス
ブレッドシ一ト５０のアプリケーション・プロファイル
１０５を参照する．そして、ステップ１２１で、環境リ
ンク１０１はユーザ・プロファイル１０７を検査し、ア
プリケーション・プロファイル１０５からのコマンドを
指定変更する、より高い優先順位のコマンドがあるかど
うかを判定する．ステップ１２３で、環境リンク１０１
はどちらのコマンドがより高い優先順位を持っているか
を判定する．そして，ステップ１２５で，環境リンク１
０１はより高い優先順位のコマンド、この例では，アプ
リケーション・プロファイル１０５からのメニュー選択
コマンドを統合操作環境５６に送り，統合操作環境５６
は該コマンドを活動状態のアプリケーション・プログラ
ム、スブレッドシ一ト５０に回送する．ステップ１２７
で，スブレッドシ一ト５０は当該コマンドに応答して適
切な処理をする、この場合は、現に選択されたデータを
グラフにし、それに応じて表示装置２８でユーザに表示
される情報を変更する． インタフェース・プロファイル 拡張ユーザ・インタフェース１００の能力と柔軟性の理
解のために，インタフェース・プロファイル１０４のア
プリケーション・プロファイル１０５及びユーザ・プロ
ファイル１０７の詳細な説明を必要とする．両タイプの
プロファイルは、入力メッセージのリストを、適切なア
プリケーション・プログラム．環境リンク・モジュール
１０１によって、又は統合操作環境５６自身によって認
識される、対応するコマンドのリストに結合させる．該
コマンドはプログラム、統合操作環境によって認識され
た命令、・又はマクロ（ＭＡＣＲＯ）の名前であること
がある．マクロは任意の長さの”事象”ストリング及び
（又は）ユーティリティを含むファイルである．″事象
”は、本明細書では、ユーザの行動，例えば．単一のキ
ーストローク５マウス・ボタンの押し．マウス・ボタン
の解放、マウス二重クリック，単一のメニュー選択，単
一のジェスチャないしは他の”トークン”， もしくは
単一の加速器キー選択から生じる入力メッセージである
．ユーティリティの例はポップアップ・キーボードであ
る．マクロは他の予め定義されたマグロもコマンドとし
て扱う．大抵は，加速器キーは統合操作環境５６の特性
である．それらはメニュー選択をエミュレートするキー
ストロークのシーケンスを指定する．例えば，アプリケ
ーションは削除（ＤＥＬＥＴＥ）キーは編集（ＥＤＩＴ
）メニューからのカット（ＣＵＴ）の選択と同じであり
，シフト／挿入（Ｓ旧ＦＴ／ＩＮＳＥＲＴ）は編集メニ
ューからのペースト（ＰＡＳＴＥ）の選択と同じである
ことを指定することができる．実際に、これらの２つの
例は広く用いられる加速器である．アプリケーション・
プログラムの各々はそれ自身のアプリケーション・プロ
ファイル１０５を有することがある．プロファイル１０
５は代替入力サブシステム１０３に接続された入力装置
毎に入力メッセージ及び対応するコマンドの写像を含む
．例えば，１つのアプリケーション・プロファイルは表
１に示すような入力メッセージ及びコマンドを含表−１ むことがある．例示のアプリケーション・プロファイル
は，該対応するコマンドに対して写像された入力メッセ
ージを，ユーザに表示するコメント、即ち入力メッセー
ジを作成するのに必要なユーザ活動を説明するコメント
、及び所与のアプリケーションが活動状態であるとき当
該入力メッセージを受取った際にコンピュータ・システ
ムが行う活動を説明するコメン・トと一緒に示す．一般
に、ＡＩＳ １０３からの同じ入力メッセージは異なる
マクロを異なるアプリケーション・プｉファイル１０５
に呼出す．例えば，一定のアプリケーション・プロファ
イル１０５は、”カット／ペースト“と呼ばれるマグロ
は右矢印のジェスチャに応答して実行すべきであるが．
異なるアプリケーション・プロファイル１０５は該右矢
印のジェスチャをキーストローク・シーケンス”書式２
０１ （ＥＮＴＥＲ（入力））に写像できることを指定
することがある．ジェスチャ認識装置６４は接触センサ
３６からの右矢印のジェスチャを検出すると、現に活動
状態のウィンドーを所有するアプリケーション・プログ
ラムを決定する環境リンク１０１を呼出す．環境リンク
１０１は対応するアプリケーション・プロファイル１０
５を読取り、当該情報を対応するユーザ・プロファイル
１０７と組合せ，より高い優先順位を有するコマンドを
選択し，そして活動状態のアプリケーション・プログラ
ム．Ｍ合操作環境５６又は他の適切なＡＵＩモジュール
にコマンドを出す．ユーザ・プロファイル１０７はアプ
リケーション・プログラム５０〜５３の全て又は幾つか
に共通のコマンドを含む．システム・ユーザ毎に別々の
ユーザ・プロファイル１０７を記述することができる．
拡張ユーザ・インタフェースは活動状態のユーザ・ブロ
ファイルををログ・オン（ｌｏｇ−ｏｎ）手順の間に決
定することができる．ユーザ・プロファイル１０７内の
エントリは、アプリケーション・プロファイル１０５内
のエントリの指定変更に用いることができる．この状況
は特定のユーザがシステム・ユーザのグループのために
記述されたアプリケーション・プロファイル１０５によ
って提供された方法と異なる方法でデータを入力するほ
うを選択するとき起きることがある．ユーザ・プロファ
イル１０５は大域省略時、即ち、もし特定の入力メッセ
ージが環境リンク１０１により適切なアプリケーション
・プロファイル１０５で発見されなかった場合の活動を
提供するのに用いることもできる．大域省略時の活動の
ためにユーザ・プロファイル１０７が用いられる場合、
所与の入力メッセージのマクロを有するアプリケーショ
ン・プロファイル１０５は該省略時の活動よりも高い優
先順位を付与することができる． 本発明の良好な実施例はアプリケーション・プロファイ
ル１０５とユーザ・プロファイル１０７を区別するが、
他の実施例では，ユーザ毎に別々のアプリケーション・
プロファイル１０５を記述することができる．インタフ
ェース・プロファイル・モジュール１０４がこのように
構成された場合，もし特定のユーザのアプリケーション
・プロファイル１０５が存在しなかったなら，環境リン
ク１０１は省略時のアプリケーション・プロファイル１
０５を参照するであろう．省略時のアプリケーション・
プロファイル１０５はアプリケーション・プログラム，
入力装置又はコンピュータ・システムを構成するプログ
ラマによって提供される．一般に考えられているように
，所与のアプリケーション・プログラムのアプリケーシ
ョン・プロファイル１０５はたいてい該アプリケーショ
ン自身によって提供される．代りに，全てのアプリケー
ション・プロファイル１０５並びに通常のユーザ・プロ
ファイル１０７はシステム・プログラマによって提供さ
れる．拡張ユーザ・インタフェース１００の能力を調査
することを欲しない不慣れなユーザの場合には、通常は
省略時プロファイルが適切である．しかしながら．多く
のユーザは拡張ユーザ・インタフェース１００をユーザ
自身の特定の要求及び仕様に合わせて調整することを望
んでいるであろう．よって、既存のアプリケーション又
はユーザ・プロファイルを記述又は変更する必要がある
． 拡張ユーザ・インタフェース制御パネル、拡張ユーザ・
インタフェース・ユーティリティ１０９は極めて効率的
且つユーザに親切な方法でユーザ独特のプロファイルを
作或するためユーザが＾ＵＩ機能の多くを調整すること
を可能にする．拡張ユーザ・インタフェース１００はか
なり複雑なコンピュータ・コードを含むが、制御パネル
の使用によりユーザはその作業を理解しなくてもよい．
ＡＵＩ制御パネルが提供する機能のなかには、プロフ
ァイルを変更し又は作成する能力がある．これは制御パ
ネル・メニューから”プロファイル（ＰＲＯＦＩＬＥ）
″を選択して、＾ＵＩ制御パネルのインタフェース・プ
ロファイル作或／変更モジュールを呼出すことにより遂
行される．制御パネルは，最初に，変更すべきプロファ
イルの名前をユーザに質問する．この時点で、ユーザ活
動に応答して、コンピュータがとる活動の記述に対する
ユーザ活動，例えば，円のジェスチャ、音声”カット”
コマンド等の記述のリスト、即ちマクロを含む、適切な
プロファイルのメニューがユーザに表示される．もし前
記名前に関連したアプリケーション・プロファイル又は
ユーザ・プロファイルがなければ、該ユーティリティは
新しいプロファイルを作威し，空白のメニューを表示す
る．ユーザはメニューを通じてカーソルを移動し該プロ
ファイルで情報を追加又は変更し、そしてコマンド記録
機能又はマクロ記録機能を呼出す．例えば、表、１の最
初の項目では、スブレッドシ一ト・アプリケーション・
プロファイルの１行のメニューは次のように解釈するこ
とができる： ≧二並孟１ エヱ之上 制御センサにおける ポップアップ・キーボ円のジェ
スチャ ードを呼出す ユーザは，もし入力メッセージを円のジェスチャから右
の矢印のジェスチャに変更することを欲するならば、カ
ーソルをユーザ活動フィールドに移動してメニューから
“ユーザ活動（ＵＳＥＲ ＡＣＴＩＯＮ）を選択する．
ユーザは自らが欲するポップアップ・キーボードを呼出
す活動を実行するようにプロンプト（操作指示）され、
そして記述された活動の種類を追加してメニューに表示
するようにプロンプトされる．同様に、ユーザは、もし
円のジエスチャによって呼出されたマクロを変更するこ
とを欲するならば、カーソルをマクロ・フィールドに移
動して実行すべきマクロの名前を入力する．ユーザは新
しいプロファイルを既存のプロファイルの変更と同じ方
法で作成する．最初に、力一ソルを空白のユーザ活動フ
ィールドに移動し、メニューから“ユーザ活動”を選択
し、それが終了すると、カーソルを対応するマクロ・フ
ィールドに移動し、マクロ名又は他のコマンドを入力す
るなどの活動を該プロファイルの完成まで続ける．従っ
て、ユーザが最も便利な方法でコンピュータ・システム
にデータを入力できるように選択したアプリケーション
・プログラムのための拡張ユーザ・インタフェース・プ
ロファイルを構築するのに割合に不慣れなユーザにとっ
て，それは割合に簡明な手順になる． マグロはユーザ・プロファイル又はアプリケーション・
プロファイルとは無関係に作成することができる．例え
ば、表示マネジャ５６には、ユーザがマクロを作成し変
更し且つ実行することを可能にする３つの協同ユーティ
リティがある．マクロ作成ユーティリティ（ＭＣＵ）は
解説，プロンプタ、又は完全に隠れたユーティリティと
してセットアップすることができる表示マネジャ・プロ
グラムである．それは標準的なプログラム・ローダーか
ら．又は指定されたジェスチャないしは他の入力信号を
介して呼出すことができる．そのジョブは将来のプレイ
バックのためにユーザのコマンドのシーケンスを記録す
ることである．ユーザはＭＣＵを始動し，所望の動作シ
ーケンスを実行し、そしてＭＣＵを停止するだけである
．そして、ＭＣＵはマクロの名前のような所要の情報に
ついてユーザをプロンプトする．マクロが指名されると
、ユーザはそれをアプリケーション・プロファイルのど
れかで又はユーザ・プロファイルで参照することにより
当該マクロの使用を制御することができる． マクロ変更ユーティリティ（ＭＨＯ）はユーザが予め作
威されたマクロを介して１つのステップを呼出すことを
可能にする表示マネジャ・プログラムである． ＭＭＵ
はそれが実行する前にマクロ内の各々のステップの英語
の記述を表示する．プレイバック・プロセス内の任意の
点で、ユーザはマクロ内の１又はそれ以上のコマンドを
変更することができる．変更は（経験のあるマクロ記述
者の場合は）英語ウィンドーの内容を編集するか又は予
め記憶されたコマンドを重ね書きする”記録”機能を活
動状態にすることによって実行することができる． ８
８０はユーザが容易にマクロを検査し、デバッグし且つ
変更することも可能にする． ＭＭＵはユーザが必要と
するものの大部分の実行が既に可能な既存のマクロを変
更することによりユーザにマクロを構築させることもで
きる． マクロ実行ユーティリティ（ＭＥＵ）は最大速度でマク
ロをプレイバックする表示マネジャ・プログラムである
． ＭＥＩＩは，ユーザが適切なジェスチャを出す毎に
，環境リンク１０１によって呼出すことができる．例え
ば，もし左矢印のジェスチャが認識されれば，環境リン
ク１０１は現在のユーザ・プロファイルを調べ、当該ジ
ェスチャが”大域的に”禁止されているかどうかを決定
する．もし禁止されていなければ、環境リンク１０１は
活動状態のアプリケーションの名前を決定し、対応する
アプリケーション・プロファイルを読取って、このアプ
リケーションのマクロを左の矢印のジェスチャに連結し
ているものが（もしあれば）何であるかを決定する．そ
して、環境リンク１０１はもし必要ならＭＥＵを呼出す
． マウス指示装置に代わる接触入力装置に関連して省略時
ユーザ・プロファイルの一例を説明する．多くのプログ
ラムはマウス入力を認識するので、非常に多くのアプリ
ケーション・プログラムはこの省略時プロファイルを用
いて動作させることができる． この例では，拡張ユーザ・インタフェースは複数のモー
ドの１つースタイラス又は指の動作の結果によってどの
マウス同等のコマンドがユーザ・プロファイルで見つか
るかを決定する一でセットすることができる． ＡＵＩ
がモード１のとき、どんなマウス・ボタン・メッセージ
もタッチダウンによって生成されないが，指又はスタイ
ラスが接触パネルで移動している間に，マウス移動コマ
ンドが生成される．スタイラスが離昇（ｌｉｆｔ−ｏｆ
ｆ）すると、ボタンダウン．ボタンアップ・コマンド・
シーケンスはアプリケーション・プログラムに送られる
．モード１は５活動状態のアプリケーションによる活動
が行われる前に、カーソル位置の正確な決定を可能にす
る．拡張ユーザ・インタフェースがモード２のとき，ど
んなマウス・ボタン・コマンドもタッチダウンによって
生成されないが，スタイラスの移動によってマウス移動
メッセージが生成され，スタイラスが離昇すると，マウ
ス二重クリックが生成される． ＡＵＩがモード３のと
き，マウス・ボタン・ダウン・コマンドはスタイラスの
接触によって生成され、スタイラスが離昇すると，マウ
ス・ボタン・アップ・コマンドが生成される．モード３
は画面の対象（アイコン等）引きずり、ウィンドーのサ
イズを設定し、ウィンドーの顧客領域内の領域に記号を
付ける（例えば、移動することになっているテキストに
記号を付ける）のに役立つ．３つのモードは手動で反復
してアイコン（ＡＵＩが入っているモードを指示する）
で接触パネルに接触することにより、又はアプリケーシ
ョン・プロファイルにより自動的に選択することができ
る． 第２の実施例 第５図は統合操作環境として表示マネジャ１５６を用い
、コンピュータ・システムを実行するオペレーティング
・システムとしてＯＳ／２ １５４を用いる，もうｌつ
の拡張ユーザ・インタフェースの実施例を示す． ＯＳ
／２ １５４及び表示マネジャ１５６の特性のため、僅
かに異なる拡張ユーザ・インタフェース２００の配列が
必要である． ＯＳ／２ １５４は全ての入力にタイム
スタンプするシングル・キュー（単一の待ち行列）モジ
ュールを有し，全ての入力をそれらがコンピュータ・シ
ステムに送られた順序で，このモジュール内のキューに
入れる必要がある．よって．代りの入力装置の全ては，
環境リンク・モジュール．ＰＭリンク ２０１により処
理される前にＯＳ／２ １５４を通らなければならない
．更に，本実施例のシングル・キュ二の特徴はキーボー
ド入力及びマウス入力だけが可能であり，接触入力装置
又は他の代りの入力装置からの入力は扱わない．これら
の制約により第５図に示す拡張ユーザ・インタフェース
が設計されている６全での入力装置，キーボード１３０
，装置Ｃ １３２，装＠ｔ３１３４、装置Ｅ １３６
及び装ｉ１Ｆ１３８はＯＳ／２ １５４を通ッテｏｓ／
２１５４のシングル・キューに加えられる．キーボード
１３０の入力信号は標準的な装置ドライバ１４０を通っ
て直にＯＳ／２ １５４に送られる．装置Ｃ １３２、
装置Ｄ１３４、装置Ｅ １３６及び装置Ｆ１３８の入
力信号はそれぞれ装置特定コード１４１，１４２、１４
３及び１４４を通って代替入力サブシステム２０３に送
られてから， ＯＳ／２ １５４のシングル・キューに
渡される．シングル・キューはキーボード入力又はマウ
ス入力だけを処理するから．代替入力サブシステム２０
３は装置Ｃ１３２、装置Ｄ１３４、装置Ｅ１３６及び装
置Ｆ １３８からの入力信号をマウス入力メッセージ
又はキーボード入力メッセージに変換する．更に、ＯＳ
／２ １５４は接触、音声又はイメージの”トークン”
を入力メッセージとして扱わないから，全ての前記入力
はマウス移動点又は他の、”事象”の連続として通過す
る．そして、ＯＳ／２ １５４は活動状態のアプリケー
ション・プログラムを追跡する表示マネジャ１５６に入
力メッセージを渡す． 第５図で． ＰＭリンク２０ｌ，拡張ユーザ・インタフ
ェース２００の環境リンク・モジュールは、表示マネジ
ャ１５６及びアプリケーション・プログラム，アプリケ
ーションＥ １５０、アプリケーションＦ１５１，ア
プリケーションＧ１５２並びにアプリケーションＨ１５
３の間のフィルタとして動作する．活動状態のアプリケ
ーション・プログラムを参照する情報と一緒に表示マネ
ジャｌ５６から入力メッセージを受取った後、代替入力
サブシステムが受取った”キーボード”又は”マウス”
のメッセージが実際にキーボード又はマウスのメッセー
ジであるか、又はむしろ接触，音声，イメージないしは
他のメッセージであるかを決定するために， ＰＭリン
ク２０１は代替入力サブシステム２０３を参照し直す．
そして．ＰＭリンク２０１は真のメッセージを適切なア
プリケーション・プログラムに渡す，真の入力メッセー
ジが理解されないことを活動状態のアプリケーション・
プログラムが示さない限り，拡張ユーザ・インタフェー
ス２００の残りのモジュールは呼出されない．もし活動
状態のアプリケーションが真の入力メッセージは理解さ
れないことを示せば、ＰＭリンク２０１は正しいコマン
ド髪決定するためにインタフェース・プロファイル・モ
ジュール２０４を参照する．もし真の入力メッセージが
それはジェスチャ、文字、音声又はイメージの６トーク
ン”かも知れないと表示すれば、ＰＭリンク２０ｌはト
ークンを識別するために入力メッセージを適切な認識装
置に送り，そして正しいコマンドを決定するためにイン
タフェース・プロファイルを探索する． 第６図の流れ図は第５図のコンピュータ・システムの．
音声入力信号に応答する動作を示す．活動状態のアプリ
ケーション・プログラムはスブレッドシ一ト１５０であ
り、表示装１１２ｇでユーザに表示されるのはユーザに
使用可能な一部の機能と同時に選択されたデータのアレ
イである．キーボード１３０を用いるよりは，ユーザは
もう１つの入力装置，音声センサ１３６を用いるデータ
入力を選択する．ステップ２２１で，ユーザがワード“
ＧＲＡＰＨ″を発声するのに応答して，音声センサ１３
６は電気信号を生成し、それによって適切な装置特定コ
ード１４３が呼出される１ステップ２２３で，装置特定
コードはワード″ＧＲＡＰＨ″に対応する入力信号の連
続をＡＩＳ ２０３に送る．ステップ２２５で． ＡＩ
Ｓ ２０３は入力信号をキーボード人カメッセージ又は
マウス入力メッセージの連続として変換し． ＯＳ／２
１５４のシングル・キューに加える．入力メッセージ
のストリームにタイムスタンプしたのち、ＯＳ／２ １
５４はそれらを表示マネジャ１５６に渡し，表示マネジ
ャはユーザの集中点を追跡し、人力メッセージを活動状
態のアプリケーションプログラム、スブレッドシ一トｌ
５０に渡す，ステップ２２７で． ＰＭリンク２０１は
活動状態のアプリケーション・プログラムへのメッセー
ジを傍受し、ステップ２２９で，ＡＩＳ２０３に参照し
直し、真の入力メッセージは音声入力メッセージのセッ
トであると決定し，ステップ２３１で，真の入力メッセ
ージ、音声入力をスブレッドシ一ト１５０に送る． ＰＭリンク ２０１が真の音声人カメッセージを送った
後、ステップ２３３で，アプリケーション・プログラム
はそれ自身のメッセージに応答し．次の２つの動作のう
ちの一方が生じる．アプリケーションは、もし送付され
た入力メッセージのタイプを理解しなければ，ステップ
２３３で″ＲＯ″メッセージをＰＭＩＪンク２０１に返
送し，入力メッセージを理解しないことを示す． ＲＯ
メッセージに応答して，ＰＭリンク２０１は通常はイン
タフェース・プロファイル２０４に進み、ステップ２４
１で適切なアプリケーション・プロファイル２０５内の
対応するコマンドを決定し、ステップ２４３でユーザ・
プロファイル２０７内の対応するコマンドを決定する．
しかしながら、入力メッセージは、それらが音声メッセ
ージであることをステップ２３７で示すから， ＰＭリ
ンク ２０１は最初に入力メッセージを音声認識装置２
１５に送り．ワード″ＧＲＡＰＨ″の正しい音声入力ト
一クンを受取る．ステップ２３９でこのトークンを受取
った後、ＰＭＩノンク２０１は先ずスブレッドシ一ト１
５０のアプリケーション・プロファイル２０５をステッ
プ２４１で調べ、スブレッドシ一ト１５０によって認識
される入力メッセージに対応するコマンド、即ち，メニ
ュー選択−グラフーを見つける．次にＰＭリンク２０１
は現在のユーザのユーザ・プロファイル２０７をステッ
プ２４３で参照する．そしてＰＭＩノンク２０１は、ス
ブレッドシ一ト１５０についてどちらのプロファイルが
より高い優先順位のコマンドを有するかを，ステップ２
４５で決定し、次いで，ステップ２４７で、該高い優先
順位のコマンドをスブレッドシ一ト１５０に送る．そし
て該スブレッドシ一トは適切な活動をステップ２４９で
行う，このケースでは、現に選択されたデータを図形化
し．表示装置２８でユーザに表示された情報を変更する
． 他方，もしスブレッドシ一ト１５０が音声入力を解読し
扱うことができるか，さもなければ，それが既知であれ
ば、”Ｒ１″メッセージがステップ２３３でＰＭリンク
２０１に送られる． ＰＭリンク２０１は，その際，現
在のメッセージについてそれ以上の活動は行わない．ス
ブレッドシ一ト１５０は音声入力を意識していることが
あるが，一定の状況では、即ち該アプリケーション・プ
ログラム中の期間、該音声入力を無視するように選択す
ることもある．代りに．該意識しているアプリケーショ
ン１５０は幾つかの音声入力を理解し５他の音声入力を
理解できないことがある．特定の音声人カメッセージが
理解されないときは必ず、ステップ２３３で， ＲＯメ
ッセージをＰＭＵンク２０１に返送する， ”ＲＯ’″
メッセージを受取った場合、ＰＭリンク２０１はこれら
の音声人カメッセージについて，前述の詳細な説明のよ
うに、音声認識装置２１５及びインタフェース・プロフ
ァイル２０４を調べる． 第５図の実施例で、文字認識装置２１１及びジエスチャ
認識装置２１３は拡張ユーザ・インタフェース２００の
一部である．ＰＭｌノンク２０１は，文字又はジェスチ
ャかも知れない入力メッセージを受取ると、点のセット
を文字認識装置２１１に送る．もし文字認識装置２１１
が該点のセットを英数字として認識すれば、当該文字は
識別され，活動状態のアプリケーション・プログラムで
の以後の処理のためにＰＭＩＪンク２０１に返送される
．もし該点のセットが文字として認識されなければ、そ
れはジエスチャ認識装置２１３に送られ．ジエスチャと
して認識されるかどうかが決定される．もしそれがジエ
スチャとして認識されれば， ＰＭリンク２０１は該ジ
エスチャをインタフェース・プロファイル２０４に送り
，適切なアプリケーション・プロファイル２０５又はユ
ーザ・プロファイル２０７から活動状態のアプリケーシ
ョン・プログラムに送る命令のセットを見つける．もし
それが文字としてもジエスチャとしても認識されなけれ
ば、ＰＭリンク２０１は、入力メッセージはたぶんマウ
ス・メッセージとして指定されたものと判定し，該点の
セットの最後の点で”マウス・ボタンダウン，マウス・
ボタンアップ”メッセージを生成する． 接触パネルでのユーザ活動によってどのマウス同等のコ
マンドが生成されるかを決めるために種々のモードが用
いられる場合には、前述の省略時ユーザ・プロファイル
の代りに，本発明はＰＭリンク２０１内に，マウス・ボ
タンダウン事象，マウス移動事象又はマウス・ボタンア
ップ事象をエミュレートする接触入力とジェスチャ又は
文字とみなされることになっている接触入力とを識別す
ることができるコンピュータ・モジュールを組込む．こ
れは２つのタイプの接触入力を識別するために時間遅延
を用いて行われる．拡張ユーザ・インタフェース２００
は，アプリケーションが事象について知らされる前に．
接触センサから受取った．スタイラス離昇又はスタイラ
スが特定の点で該セットされた時間遅延の間遅延されて
いる、全ての点をストローク・バッファに入れることに
より、ユーザが画面に接触して所望の位置に移動するこ
とを可能にする．ユーザが所望の位置に達し該セットさ
れた時間遅延の間移動を停止すると、アプリケーション
・プログラムは該事象をマウスの事象としてＰＭＩノン
ク２０１を介して受取る．例えば，もしユーザが２００
ミリ秒の間移動を停止すれば、所望の位置でのマウス・
ボタンダウン、マウス・ボタンアップ事象がアプリケー
ション・プログラムに伝達される．しかしながら、もし
該セットされた時間の期間が終る前にユーザが再び移動
を開始すれば．ユーザが再び停止し該時間遅延の期間休
止しない限り、該事象は生成されない．時間遅延は一般
にミリ秒で指定され、ユーザが対話する画面の領域に応
じて変更することができる．時間遅延はユーザ・プロフ
ァイル２０７でユーザが指定し、又は接触入力を利用し
ているアプリケーション・プログラムによって変更する
ことができる．他方，もしユーザが特定の点で該指定さ
れた時間遅延期間の間停止せず、代りにスタイラスを接
触画面から離昇するならば，拡張ユーザ・インタフェー
ス２００は入力点のセットを文字認識又はジェスチャ認
識の候補として選択する．換言すれば．時間遅延はジェ
スチャの実行に合わせてウィンドーを提供する．この時
間の間、拡張ユーザ・インタフェース２００はジェスチ
ャの実行だけを可能にする．もしユーザが時間遅延期間
の終了まで待つてから離昇すれば５収集された点はジェ
スチャの候補にはならないが，マウス事象にはなる．も
しユーザが時間遅延期間が終了する前に離昇すれば，文
字認識装置２１１又はジェスチャ認識装置２１３で入力
点のセットをジェスチャ又は文字として認識する試みが
なされるが、もし認識されなければ，通常のマウス・エ
ミュレーション・シーケンス、該セットの最後の入力点
ではマウス・ボタンダウン，マウス・ボタンアップが生
成される．もし認識されれば、ＰＭリンク２０１はイン
タフェース・プロファイル２０４を参照して適切なコマ
ンドを活動状態のアプリケーション・プログラムに送る
．次に、接触センサ１３４の表面でユーザが描く円のジ
ェスチャの認識について第７図を参照して説明する． ＡＵＩユーティリティ・モジュール２０９でポップアッ
プ・キーボード・ユーティリティの呼出しを欲するユー
ザは，接触センサ１３４の表面に円を描き，セットされ
た時間遅延の終了前にスタイラスを離昇する．接触セン
サ１３４はステップ２６１で装置特定コード１４２への
一連の割込みを生成し、ステップ２６３で，円の点のセ
ットに対応する入力信号のセットをＡＩＳ ２０３に送
る． ＡＩＳ ２０３は入力信号を，ステップ２６５で
、ＯＳ／２ １５４のシングル・キューによって処理さ
れるマウス人カメッセージに変換する．入力メッセージ
は表示マネジャー５６によって．活動状態のアプリケー
ション・プログラム、スブレッドシ一ト１５０に送られ
るが、ステップ２６７で先ずＰＭＩＪンク２０１によっ
て傍受される．そしてＰＭリンク２０１はステップ２６
９でＡＩＳ ２０３に質問し．″マウス“入力メッセー
ジは実際に接触人力であると判定する． 最初の接触入力点，通常はセンサー３４における接触点
が見つかると、ＰＭリンク２０１はステップ２７ｌでユ
ーザが選択した時間遅延期間についてユーザ・プロファ
イル２０７を参照する． ＰＭリンク２０１はステップ
２７３でそのストローク・バッファ内の接触入力点をス
タイラス離昇事象が検出されるま／ で収集する． ＰＭリンク２０１が接触入力点を収集す
るとき、ユーザが接触センサにおけるストローク内で休
止する毎にステップ２７５で”安定期間”を開始し，
ＰＭリンク２０１はステップ２７７で安定期閏の時間測
定を開始し、時間遅延期間が終了したかどうかを判定す
る．もしユーザが時間遅延期間終了前に移動すれば、Ｐ
ＭＩノンク２０１はステップ２７３でストローク内の接
触入力点収集を続行するが．もし安定期間が時間遅延よ
りも長ければ，ステップ２８１でマウス・ボタンダウン
及びマウス・ボタンアップ・コマンドが生成される．本
実施例では，ユーザはスタイラスの離昇前は休止しない
、従って，ステップ２７９で、該ストロークは文字認識
装置２１１及びジェスチャ認識装Ｍ２１３に送られ、処
理される．もし接触入力ストロークがジェスチャとして
も文字としても認識されていなければ．ステップ２８１
で、マウス・ボタンダウン及びマウス・ボタンアップ・
コマンドが生成される．ジェスチャ認識装置２１３によ
って円のジェスチャとして認識された後， ＰＭリンク
２０１はステップ２８３で該円のジェスチャをスブレッ
ドシ一ト１５０に送る．ステップ２８５で、スブレッド
シ一ト３５０は″ＲＯＭメッセージー円のジェスチャが
理解されなかったことを示す一を戻す．円のジェスチャ
がステップ２８７で理解されなかったとき、ＰＭリンク
２０１はステップ２８９でスブレッドシ一ト１５０につ
いてアプリケーション・プロファイル２０５を参照し，
該円のジェスチャについて対応するコマンドがないこと
を知る．ＰＭＩノンク２０１は次にステップ２９１で、
対応するコマンド”ポップアップ・キーボードを呼出す
”を含むユーザ・プロファイル２０７を参照する．ステ
ップ２９３で，ユーザ・プロファイル２０７からのコマ
ンドが最も高い優先順位を有するとき、ＰＭリンク２０
１はステップ２９５でこのメッセージをＡＵＩユーティ
リティ・モジュール２０９に送り、ポップアップ・キー
ボードは表示装置でユーザに表示される． 本発明は特定の実施例を参照して説明されているが、本
発明の意図及び範囲を逸脱せずに形式及び細部の変更が
可能であることは当業者には理解されている．例えば，
ジェスチャ及び文字認識は接触入力装置に関して論述さ
れているが，マウス又は図形タブレッ１−のような別の
指示入力装置を利用してジェスチャ又は文字を拡張ユー
ザ・インタフェースに送ることもできる．更に．特定の
アプリケーション・プログラム，ＰＡ合操作環境及び入
力装置について特定の記述がなされているが，拡張ユー
ザ・インタフェースの柔軟性はこれらのプログラム及び
装置についての既存の実施例並びに一層の拡張のどちら
にも適応させることができる． Ｆ．発明の効果 本発明によれば，ユーザがコンピュータ・システムにデ
ータを入力する入力装置を複数の入力装置から選択する
ことが可能になる．
第１図は統合操作環境、例えば表示マネジャを用いてユ
ーザの活動に応答するコンピュータ・システムのソフト
ウェアとハードウェアの対話単位を示すブロック図であ
る． 第２図は本発明に従って一連のアプリケーション及びオ
ペレーティング・システム・プログラムが読込まれてい
るメモリを示すコンピュータ・システム構成のブロック
図である． 第３図は本発明の第１の実施例に従って設計されたユー
ザ活動に応答するコンピュータ・システムのソフトウェ
アとハードウェアの対話単位を示すブロック図である． 第４図は本発明の第１の実施例の，音声入力信号に応答
する動作の流れ図である． 第５図は本発明の第２の実施例に従って設計されたユー
ザ活動に応答するコンピュータ・システムのソフトウェ
ア及びハードウェアの対話単位を示すブロック図である
． 第６図は本発明の第２の実施例の，音声入力信号に応答
する動作の流れ図である． 第７図はマウス指示装置をエミュレートする接触入力と
ジェスチャ又は文字を示す接触入力とを識別するコンピ
ュータ・モジュールの動作の流れ図である， ２０・・・・ＣＰＵ， ２４・・・・ＲＯＭ、 ２６
・・・・ＲＡＭ，２８・・・・表示装置、３０．３２・
・・・キーボード．３４・・・・マウス、３６・・・・
接触センサ、３８・・・・音声センサ、４ｏ・・・・イ
メージ・センサ、４２・・・・Ｉ／０． ４４・・・
・ディスク、５０〜５３・・・・アプリケーション・プ
ログラム、５４・・・・オペレーティング・システム、
５６・・・・統合操作環境、６０・・・・ドライバＡ、
６２・・．．ドライバＢ５６３・・・・接触ドライバ
、６４・・・・ジェスチャ認識装置，６５・・・・文字
認識装置．６６・・・・音声認識装置，６８・・・・イ
メージ認識装置、７ｏ・・・・ＢＩＯＳ． １００・
・・・拡張ユーザ・インタフェース，１０ｌ・・・・環
境リンク・モシュール、 １０３・・・・代替入力サブ
システム， １０４・・・・インタフェース・プロファ
イル、 １０５・・・・アプリケーション・プロファイ
ル，１０７・・・・ユーザ．プロファイル、 １０９・
・・・ＡＵＩユーティリティ，１３０・・・・キーボー
ド、 １３２・・・・装置Ｃ， １３４・・・・装置
Ｄ．１３６・・・・装置Ｅ． １３８・・・・装置Ｆ
． １４１〜ｌ４４・・・・装置特定コード， １
５４・・・・ＯＳ／２， １５６・・・・表示マネジャ
、 ２００・・・・拡張ユーザ・インタフェース，２０
ｌ・・・・ＰＭＵンク，２０３・．．．代替入力サブシ
ステム，２０４・・・・インタフェース．プロファイル
，２０５・・・・アプリケーション・プロファイル、２
０７・・・・ユーザ・プロファイル、２１１・・・・文
字認識装置、 ２１３・・・・ジェスチャ認識装置、
２１５・・・・音声認識装置．
ーザの活動に応答するコンピュータ・システムのソフト
ウェアとハードウェアの対話単位を示すブロック図であ
る． 第２図は本発明に従って一連のアプリケーション及びオ
ペレーティング・システム・プログラムが読込まれてい
るメモリを示すコンピュータ・システム構成のブロック
図である． 第３図は本発明の第１の実施例に従って設計されたユー
ザ活動に応答するコンピュータ・システムのソフトウェ
アとハードウェアの対話単位を示すブロック図である． 第４図は本発明の第１の実施例の，音声入力信号に応答
する動作の流れ図である． 第５図は本発明の第２の実施例に従って設計されたユー
ザ活動に応答するコンピュータ・システムのソフトウェ
ア及びハードウェアの対話単位を示すブロック図である
． 第６図は本発明の第２の実施例の，音声入力信号に応答
する動作の流れ図である． 第７図はマウス指示装置をエミュレートする接触入力と
ジェスチャ又は文字を示す接触入力とを識別するコンピ
ュータ・モジュールの動作の流れ図である， ２０・・・・ＣＰＵ， ２４・・・・ＲＯＭ、 ２６
・・・・ＲＡＭ，２８・・・・表示装置、３０．３２・
・・・キーボード．３４・・・・マウス、３６・・・・
接触センサ、３８・・・・音声センサ、４ｏ・・・・イ
メージ・センサ、４２・・・・Ｉ／０． ４４・・・
・ディスク、５０〜５３・・・・アプリケーション・プ
ログラム、５４・・・・オペレーティング・システム、
５６・・・・統合操作環境、６０・・・・ドライバＡ、
６２・・．．ドライバＢ５６３・・・・接触ドライバ
、６４・・・・ジェスチャ認識装置，６５・・・・文字
認識装置．６６・・・・音声認識装置，６８・・・・イ
メージ認識装置、７ｏ・・・・ＢＩＯＳ． １００・
・・・拡張ユーザ・インタフェース，１０ｌ・・・・環
境リンク・モシュール、 １０３・・・・代替入力サブ
システム， １０４・・・・インタフェース・プロファ
イル、 １０５・・・・アプリケーション・プロファイ
ル，１０７・・・・ユーザ．プロファイル、 １０９・
・・・ＡＵＩユーティリティ，１３０・・・・キーボー
ド、 １３２・・・・装置Ｃ， １３４・・・・装置
Ｄ．１３６・・・・装置Ｅ． １３８・・・・装置Ｆ
． １４１〜ｌ４４・・・・装置特定コード， １
５４・・・・ＯＳ／２， １５６・・・・表示マネジャ
、 ２００・・・・拡張ユーザ・インタフェース，２０
ｌ・・・・ＰＭＵンク，２０３・．．．代替入力サブシ
ステム，２０４・・・・インタフェース．プロファイル
，２０５・・・・アプリケーション・プロファイル、２
０７・・・・ユーザ・プロファイル、２１１・・・・文
字認識装置、 ２１３・・・・ジェスチャ認識装置、
２１５・・・・音声認識装置．
Claims (5)
- （１）１つのコンピュータ・システムで同時に複数のア
プリケーション・プログラムを実行することが可能な統
合操作環境で用いる拡張ユーザ・インタフェース機構で
あって、前記複数のアプリケーション・プログラムは所
与の時点でその１つだけが活動状態であり、前記コンピ
ュータ・システムは中央プロセッサ、ランダム・アクセ
ス・メモリ、表示装置及び少なくとも１つの、ユーザが
実行する動作に応答して前記拡張ユーザ・インタフェー
ス機構に入力信号を送る、入力装置を有し、前記入力装
置に結合され、前記入力信号を入力メッセージに変換す
る代替入力サブシステム・モジュール、 前記複数のアプリケーション・プログラムの少なくとも
１つによって使用可能な対応するコマンドに対する前記
入力メッセージの写像を含むインタフェース・プロファ
イル、及び 前記代替入力サブシステム、前記インタフェース・プロ
ファイル及び前記統合操作環境に結合され、前記入力メ
ッセージを受取り、前記入力信号が前記入力装置によっ
て送られた時点で活動状態であったアプリケーション・
プログラムの、前記インタフェース・プロファイルに含
まれた前記対応するコマンドを前記入力メッセージと突
合せ、前記対応するコマンドを前記ランダム・アクセス
・メモリ内の適切なコンピュータ・モジュールに送る環
境リンク・モジュール を含み、 該活動状態のアプリケーション・プログラムが元来その
ために記述されたものであるところのユーザ活動と異な
るユーザ活動に応答して、該アプリケーション・プログ
ラムの変更なしに、前記コンピュータ・システムが所与
の活動を実行するようにした、 拡張ユーザ・インタフェース機構。 - （２）中央プロセッサと、拡張ユーザ・インタフェース
を備えたランダム・アクセス・メモリと、所与の時点で
その１つだけが活動状態である複数のアプリケーション
・プログラムを同時に実行することができる統合操作環
境とを有するコンピュータ・システムであって、 ユーザが実行する活動に応答して前記拡張ユーザ・イン
タフェースに入力信号を送る複数の入力装置。 前記複数の入力装置に結合され、前記入力信号を時間測
定情報を含む形式の入力メッセージに変換する代替入力
サブシステム・モジュール、前記複数のアプリケーショ
ン・プログラムの少なくとも１つによって使用可能な対
応するコマンドに対する前記入力メッセージの写像を含
むインタフェース・プロファイル、 前記代替入力サブシステム、前記インタフェース・プロ
ファイル及び前記統合操作環境に結合され、前記入力メ
ッセージを受取り、前記入力メッセージを、前記入力信
号が前記複数の入力装置の１つによって送られた時点で
活動状態であったアプリケーション・プログラムの前記
インタフェース・プロファイルに含まれた前記対応する
コマンドと突合せ、且つ前記対応するコマンドを前記ラ
ンダム・アクセス・メモリ内の適切なコンピュータ・モ
ジュールに送る環境リンク・モジュール、及び 前記複数のアプリケーション・プログラムに関連した状
況、結果、選択及びその他の項目に関する情報を表示す
る表示装置 を含み、 該活動状態のアプリケーション・プログラムが元来その
ために記述されたところのユーザ活動と異なるユーザ活
動に応答して、該アプリケーシヨン・プログラムの変更
なしに、前記コンピュータ・システムが所与の活動を実
行する コンピュータ・システム。 - （３）複数のアプリケーション・プログラムを同時にコ
ンピュータ・システムで実行することが可能な統合操作
環境と拡張ユーザ・インタフェースが協同して用いるイ
ンタフェース・プロファイルのセットの保持装置であっ
て、前記複数のアプリケーション・プログラムはその１
つだけが所与の時点で活動状態であり、 前記複数のアプリケーション・プログラムの少なくとも
１つによって使用可能な対応するコマンドに対して写像
された前記拡張ユーザ・インタフェースに結合された複
数の入力装置の少なくとも１つの入力信号から取出され
る入力メッセージの写像を含み、前記複数のアプリケー
ション・プログラムの少なくとも１つが、元来そのため
に記述されたところのユーザ活動と異なるユーザ活動に
応答して、該アプリケーション・プログラムの変更なし
に、前記コンピュータ・システムに所与の活動を実行さ
せるようにする インタフェース・プロファイルのセットの保持装置。 - （４）少なくとも１つの入力装置からの入力信号を入力
メッセージに変換する代替入力サブシステムを有する拡
張ユーザ・インタフェースの使用により統合操作環境で
実行する複数のアプリケーション・プログラム、及び前
記複数のアプリケーション・プログラムの少なくとも１
つによって対応するコマンドに対する前記入力メッセー
ジの写像を構成するインタフェース・プロファイルによ
ってコンピュータ・システムを操作する方法であって、
ユーザによって実行された活動に応答して少なくとも１
つの入力装置から送られた入力信号を受取るステップ、 前記入力信号を入力メッセージに変換するステップ、 前記入力信号が送られた時点で前記アプリケーション・
プログラムのどれが活動状態であったかを判定するステ
ップ。 前記活動状態のアプリケーション・プログラムの前記イ
ンタフェース・プロファイル内の前記入力メッセージに
対応するコマンドを見つけるステップ、及び 前記対応するコマンドを前記ランダム・アクセス・メモ
リ内の適切なコンピュータ・モジュールに送るステップ を含み、 元来そのために記述されたところのユーザ活動と異なる
ユーザ活動に応答して、該アプリケーション・プログラ
ムの変更なしに、前記コンピュータ・システムが所与の
活動を実行する コンピュータ・システム操作方法。 - （５）コンピュータ・システムに対するコマンドをユー
ザ活動に応答して接触入力装置表面に生成する方法であ
って、 ユーザが前記接触入力装置表面の全域でスタイラスを移
動させるときに接触入力点を集めるステップ。 前記接触入力装置表面の所与の点で前記ユーザが停止す
るのに応答して、前記ユーザが前記所与の点からスタイ
ラスを移動させない安定期間の時間測定を開始するステ
ップ、及び 前記安定期間が所定の期間よりも長くなるのに応答して
、前記所与の点に前記コンピュータ・システムに対する
マウス・コマンドを生成するステップ を含むコマンド生成方法。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| US07/344,879 US5157384A (en) | 1989-04-28 | 1989-04-28 | Advanced user interface |
| US344879 | 1989-04-28 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH0320812A true JPH0320812A (ja) | 1991-01-29 |
| JPH0580009B2 JPH0580009B2 (ja) | 1993-11-05 |
Family
ID=23352455
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2110657A Granted JPH0320812A (ja) | 1989-04-28 | 1990-04-27 | コンピュータ・システム |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US5157384A (ja) |
| EP (1) | EP0394614B1 (ja) |
| JP (1) | JPH0320812A (ja) |
| CA (1) | CA2007411C (ja) |
| DE (1) | DE69026417T2 (ja) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08137804A (ja) * | 1994-11-04 | 1996-05-31 | Sharp Corp | 情報処理装置 |
| JP2001042892A (ja) * | 1999-07-08 | 2001-02-16 | Microsoft Corp | 音声入力用グラフィカル・ユーザ・インターフェース、その処理方法および記録媒体 |
| JP2016071815A (ja) * | 2014-10-02 | 2016-05-09 | 株式会社アスタリスク | 携帯端末、及びキーボードアプリケーションプログラム |
Families Citing this family (227)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5252951A (en) * | 1989-04-28 | 1993-10-12 | International Business Machines Corporation | Graphical user interface with gesture recognition in a multiapplication environment |
| JPH03163623A (ja) * | 1989-06-23 | 1991-07-15 | Articulate Syst Inc | 音声制御コンピュータ・インターフェース |
| JPH0778782B2 (ja) * | 1989-07-19 | 1995-08-23 | インターナショナル・ビジネス・マシーンズ・コーポレーシヨン | 対話型コンピュータ・システムならびにその使用環境適合化装置および方法 |
| US5276816A (en) * | 1990-12-31 | 1994-01-04 | International Business Machines Corporation | Icon object interface system and method |
| US5497319A (en) * | 1990-12-31 | 1996-03-05 | Trans-Link International Corp. | Machine translation and telecommunications system |
| US5606702A (en) * | 1991-03-30 | 1997-02-25 | International Business Machines Corporation | Method for specifying user interfaces and programming system running a multiple user interface computer |
| JPH0520274A (ja) * | 1991-07-10 | 1993-01-29 | Canon Inc | 電子情報機器 |
| JP2695542B2 (ja) * | 1991-07-12 | 1997-12-24 | 財団法人ニューメディア開発協会 | ユーザ情報の利用・獲得を行う情報処理装置 |
| US5301326A (en) * | 1991-09-24 | 1994-04-05 | Microsoft Corporation | Method and system for controlling the execution of an application program |
| US5825865A (en) * | 1991-10-04 | 1998-10-20 | Motorola, Inc. | Temporary message routing and destination selection |
| JPH0736142B2 (ja) * | 1991-10-10 | 1995-04-19 | インターナショナル・ビジネス・マシーンズ・コーポレイション | 移動指示手段の運動停止を認識する方法および情報処理装置 |
| CA2076466C (en) * | 1991-10-21 | 2002-01-15 | Alan R. Tannenbaum | Method for buffering high bandwidth data from an input device |
| US5848187A (en) * | 1991-11-18 | 1998-12-08 | Compaq Computer Corporation | Method and apparatus for entering and manipulating spreadsheet cell data |
| US8352400B2 (en) | 1991-12-23 | 2013-01-08 | Hoffberg Steven M | Adaptive pattern recognition based controller apparatus and method and human-factored interface therefore |
| JP3286339B2 (ja) | 1992-03-25 | 2002-05-27 | 株式会社リコー | ウインドウ画面制御装置 |
| US5317695A (en) * | 1992-04-03 | 1994-05-31 | International Business Machines Corporation | Method and system for permitting communication between a data processing system and input pointing devices of multiple types |
| US5404524A (en) * | 1992-04-03 | 1995-04-04 | International Business Machines Corporation | System for identifying attached input pointing devices, loading associated software routines, and interacting with anyone input pointing device while disabling the others |
| US5818800A (en) * | 1992-04-06 | 1998-10-06 | Barker; Bruce J. | Voice recording device having portable and local modes of operation |
| US5508821A (en) * | 1992-04-09 | 1996-04-16 | Matsushita Electric Industrial Co., Ltd. | Image scanner and image forming apparatus with an interface for connection with an external computer |
| EP0566293B1 (en) * | 1992-04-15 | 2003-07-16 | Xerox Corporation | Graphical drawing and editing systems and methods therefor |
| CA2089784C (en) * | 1992-04-15 | 1996-12-24 | William Joseph Anderson | Apparatus and method for disambiguating an input stream generated by a stylus-based user interface |
| US6239389B1 (en) | 1992-06-08 | 2001-05-29 | Synaptics, Inc. | Object position detection system and method |
| US5942733A (en) * | 1992-06-08 | 1999-08-24 | Synaptics, Inc. | Stylus input capacitive touchpad sensor |
| US5889236A (en) | 1992-06-08 | 1999-03-30 | Synaptics Incorporated | Pressure sensitive scrollbar feature |
| DE69324067T2 (de) | 1992-06-08 | 1999-07-15 | Synaptics Inc | Objekt-Positionsdetektor |
| US6028271A (en) | 1992-06-08 | 2000-02-22 | Synaptics, Inc. | Object position detector with edge motion feature and gesture recognition |
| US5861583A (en) | 1992-06-08 | 1999-01-19 | Synaptics, Incorporated | Object position detector |
| US5880411A (en) | 1992-06-08 | 1999-03-09 | Synaptics, Incorporated | Object position detector with edge motion feature and gesture recognition |
| FR2696258B1 (fr) * | 1992-09-25 | 1994-10-28 | Sextant Avionique | Dispositif de gestion d'un système d'interaction homme-machine. |
| FR2696574B1 (fr) * | 1992-10-06 | 1994-11-18 | Sextant Avionique | Procédé et dispositif d'analyse d'un message fourni par des moyens d'interaction à un système de dialogue homme-machine. |
| EP0593386A3 (en) * | 1992-10-16 | 1996-07-31 | Ibm | Method and apparatus for accessing touch screen desktop objects via fingerprint recognition |
| US5442376A (en) * | 1992-10-26 | 1995-08-15 | International Business Machines Corporation | Handling multiple command recognition inputs in a multi-tasking graphical environment |
| US5561811A (en) * | 1992-11-10 | 1996-10-01 | Xerox Corporation | Method and apparatus for per-user customization of applications shared by a plurality of users on a single display |
| EP0606811A3 (en) * | 1992-12-28 | 1995-06-21 | Ibm | Use a preferred object handler. |
| US5502803A (en) * | 1993-01-18 | 1996-03-26 | Sharp Kabushiki Kaisha | Information processing apparatus having a gesture editing function |
| US5890122A (en) * | 1993-02-08 | 1999-03-30 | Microsoft Corporation | Voice-controlled computer simulateously displaying application menu and list of available commands |
| CA2157910A1 (en) * | 1993-03-10 | 1994-09-15 | Bruce Barker | Data entry device |
| CA2115210C (en) * | 1993-04-21 | 1997-09-23 | Joseph C. Andreshak | Interactive computer system recognizing spoken commands |
| US5638501A (en) | 1993-05-10 | 1997-06-10 | Apple Computer, Inc. | Method and apparatus for displaying an overlay image |
| US5614926A (en) * | 1993-05-17 | 1997-03-25 | Sharp Kabushiki Kaisha | Word processor with a handwriting text processing function |
| CN1110064A (zh) * | 1993-07-19 | 1995-10-11 | 塔里根特公司 | 动态连接系统 |
| US5581670A (en) * | 1993-07-21 | 1996-12-03 | Xerox Corporation | User interface having movable sheet with click-through tools |
| CA2124505C (en) * | 1993-07-21 | 2000-01-04 | William A. S. Buxton | User interface having simultaneously movable tools and cursor |
| CA2124624C (en) * | 1993-07-21 | 1999-07-13 | Eric A. Bier | User interface having click-through tools that can be composed with other tools |
| JPH0792993A (ja) * | 1993-09-20 | 1995-04-07 | Fujitsu Ltd | 音声認識装置 |
| US5583761A (en) * | 1993-10-13 | 1996-12-10 | Kt International, Inc. | Method for automatic displaying program presentations in different languages |
| JP2813728B2 (ja) * | 1993-11-01 | 1998-10-22 | インターナショナル・ビジネス・マシーンズ・コーポレイション | ズーム／パン機能付パーソナル通信機 |
| US5375084A (en) * | 1993-11-08 | 1994-12-20 | International Business Machines Corporation | Selectable interface between memory controller and memory simms |
| JP2710547B2 (ja) * | 1994-02-15 | 1998-02-10 | インターナショナル・ビジネス・マシーンズ・コーポレイション | グラフィカル・ユーザ・インターフェース |
| US5542069A (en) * | 1994-03-02 | 1996-07-30 | Sun Microsystems, Inc. | Method and apparatus for simulating input events in a windowed environment |
| US5613137A (en) * | 1994-03-18 | 1997-03-18 | International Business Machines Corporation | Computer system with touchpad support in operating system |
| US5681220A (en) * | 1994-03-18 | 1997-10-28 | International Business Machines Corporation | Keyboard touchpad combination in a bivalve enclosure |
| WO1995029440A1 (en) * | 1994-04-21 | 1995-11-02 | British Telecommunications Public Limited Company | Interface device and method |
| US6496872B1 (en) * | 1994-05-16 | 2002-12-17 | Apple Computer, Inc. | Computer system for automatically instantiating tasks designated by a user |
| US5787246A (en) * | 1994-05-27 | 1998-07-28 | Microsoft Corporation | System for configuring devices for a computer system |
| US5748980A (en) * | 1994-05-27 | 1998-05-05 | Microsoft Corporation | System for configuring a computer system |
| US6763454B2 (en) | 1994-05-27 | 2004-07-13 | Microsoft Corp. | System for allocating resources in a computer system |
| US5655148A (en) * | 1994-05-27 | 1997-08-05 | Microsoft Corporation | Method for automatically configuring devices including a network adapter without manual intervention and without prior configuration information |
| US5570113A (en) * | 1994-06-29 | 1996-10-29 | International Business Machines Corporation | Computer based pen system and method for automatically cancelling unwanted gestures and preventing anomalous signals as inputs to such system |
| US6209034B1 (en) | 1994-09-02 | 2001-03-27 | Nec Corporation | Remote keyboard macros activated by hot icons |
| US5867106A (en) * | 1994-09-02 | 1999-02-02 | Packard Bell Nec | Password switch to override remote control |
| US6092117A (en) * | 1994-09-02 | 2000-07-18 | Packard Bell Nec | System and method for automatically reconnecting a wireless interface device to a host computer |
| US5974558A (en) * | 1994-09-02 | 1999-10-26 | Packard Bell Nec | Resume on pen contact |
| US6137473A (en) * | 1994-09-02 | 2000-10-24 | Nec Corporation | System and method for switching control between a host computer and a remote interface device |
| US6262719B1 (en) | 1994-09-02 | 2001-07-17 | Packard Bell Nec, Inc. | Mouse emulation with a passive pen |
| US6292181B1 (en) * | 1994-09-02 | 2001-09-18 | Nec Corporation | Structure and method for controlling a host computer using a remote hand-held interface device |
| WO1996009579A1 (en) * | 1994-09-22 | 1996-03-28 | Izak Van Cruyningen | Popup menus with directional gestures |
| US5630159A (en) * | 1994-12-29 | 1997-05-13 | Motorola, Inc. | Method and apparatus for personal attribute selection having delay management method and apparatus for preference establishment when preferences in a donor device are unavailable |
| US5761420A (en) * | 1995-02-28 | 1998-06-02 | Johnson; William | Method and apparatus for telephone proof of documents |
| US5706456A (en) * | 1995-04-18 | 1998-01-06 | Unisys Corporation | Application specific graphical user interface (GUI) that is window programmable and capable of operating above a windows operating system GUI |
| US5802388A (en) * | 1995-05-04 | 1998-09-01 | Ibm Corporation | System and method for correction and confirmation dialog for hand printed character input to a data processing system |
| EP0752646B1 (en) * | 1995-07-07 | 2002-03-27 | Sun Microsystems, Inc. | Data access implementation of device driver interface |
| US6668244B1 (en) * | 1995-07-21 | 2003-12-23 | Quartet Technology, Inc. | Method and means of voice control of a computer, including its mouse and keyboard |
| US5748191A (en) * | 1995-07-31 | 1998-05-05 | Microsoft Corporation | Method and system for creating voice commands using an automatically maintained log interactions performed by a user |
| US5761641A (en) * | 1995-07-31 | 1998-06-02 | Microsoft Corporation | Method and system for creating voice commands for inserting previously entered information |
| US5857172A (en) * | 1995-07-31 | 1999-01-05 | Microsoft Corporation | Activation control of a speech recognizer through use of a pointing device |
| US5864815A (en) * | 1995-07-31 | 1999-01-26 | Microsoft Corporation | Method and system for displaying speech recognition status information in a visual notification area |
| US5790889A (en) * | 1995-08-11 | 1998-08-04 | Dell U.S.A., L.P. | Method of selecting pointing device in a computer comprising responsive to a reconfiguration event, indentifying all connected pointing devices and selecting one of the devices |
| US5787285A (en) * | 1995-08-15 | 1998-07-28 | International Business Machines Corporation | Apparatus and method for optimizing applications for multiple operational environments or modes |
| US6289312B1 (en) * | 1995-10-02 | 2001-09-11 | Digital Equipment Corporation | Speech interface for computer application programs |
| US5805777A (en) * | 1995-10-11 | 1998-09-08 | Eastman Kodak Company | Extended printer control interface |
| US7512671B1 (en) * | 1995-10-16 | 2009-03-31 | Nec Corporation | Computer system for enabling a wireless interface device to selectively establish a communication link with a user selectable remote computer |
| US6108727A (en) * | 1995-10-16 | 2000-08-22 | Packard Bell Nec | System having wireless interface device for storing compressed predetermined program files received from a remote host and communicating with the remote host via wireless link |
| US6018806A (en) * | 1995-10-16 | 2000-01-25 | Packard Bell Nec | Method and system for rebooting a computer having corrupted memory using an external jumper |
| US6664982B1 (en) | 1995-10-16 | 2003-12-16 | Nec Corporation | Multi-user on-screen keyboard |
| US5996082A (en) * | 1995-10-16 | 1999-11-30 | Packard Bell Nec | System and method for delaying a wake-up signal |
| US6126327A (en) * | 1995-10-16 | 2000-10-03 | Packard Bell Nec | Radio flash update |
| US7113173B1 (en) | 1995-10-16 | 2006-09-26 | Nec Corporation | Local handwriting recognition in a wireless interface tablet device |
| US6279153B1 (en) | 1995-10-16 | 2001-08-21 | Nec Corporation | Multi-user flash ROM update |
| US6148344A (en) * | 1995-10-16 | 2000-11-14 | Nec Corporation | System and method for enabling an IPX driver to accommodate multiple LAN adapters |
| US6005533A (en) * | 1995-10-16 | 1999-12-21 | Packard Bell Nec | Remote occlusion region |
| US5990875A (en) * | 1995-10-16 | 1999-11-23 | Packard Bell Nec | Double pen up event |
| JP3434105B2 (ja) * | 1995-11-28 | 2003-08-04 | 富士通株式会社 | マクロプログラム管理装置 |
| US6300936B1 (en) | 1997-11-14 | 2001-10-09 | Immersion Corporation | Force feedback system including multi-tasking graphical host environment and interface device |
| US5823782A (en) * | 1995-12-29 | 1998-10-20 | Tinkers & Chance | Character recognition educational system |
| US5838972A (en) * | 1996-02-09 | 1998-11-17 | Sun Microsystems, Inc. | Method and apparatus for dynamically loading an input run-time module and an output run-time module |
| USRE38286E1 (en) | 1996-02-15 | 2003-10-28 | Leapfrog Enterprises, Inc. | Surface position location system and method |
| USRE39881E1 (en) | 1996-02-15 | 2007-10-16 | Leapfrog Enterprises, Inc. | Surface position location system and method |
| US5898422A (en) * | 1996-05-31 | 1999-04-27 | International Business Machines Corporation | Method and system for recognition of pointers |
| US5841994A (en) * | 1996-06-14 | 1998-11-24 | Texas Instruments Incorporated | Portable computer with multiple zoom port interface |
| GB2315139A (en) * | 1996-07-06 | 1998-01-21 | Ibm | Selecting operations in an object-oriented user interface |
| US5867153A (en) | 1996-10-30 | 1999-02-02 | Transaction Technology, Inc. | Method and system for automatically harmonizing access to a software application program via different access devices |
| US5873064A (en) * | 1996-11-08 | 1999-02-16 | International Business Machines Corporation | Multi-action voice macro method |
| US6654955B1 (en) * | 1996-12-19 | 2003-11-25 | International Business Machines Corporation | Adding speech recognition libraries to an existing program at runtime |
| US6297838B1 (en) | 1997-08-29 | 2001-10-02 | Xerox Corporation | Spinning as a morpheme for a physical manipulatory grammar |
| US6243074B1 (en) | 1997-08-29 | 2001-06-05 | Xerox Corporation | Handedness detection for a physical manipulatory grammar |
| US6297805B1 (en) | 1997-08-29 | 2001-10-02 | Xerox Corporation | Multiple interacting computers interfaceable through a physical manipulatory grammar |
| US6243075B1 (en) | 1997-08-29 | 2001-06-05 | Xerox Corporation | Graspable device manipulation for controlling a computer display |
| US6268857B1 (en) | 1997-08-29 | 2001-07-31 | Xerox Corporation | Computer user interface using a physical manipulatory grammar |
| US6678744B2 (en) * | 1997-10-09 | 2004-01-13 | Ericsson Inc. | Application wrapper methods and systems |
| US8020095B2 (en) | 1997-11-14 | 2011-09-13 | Immersion Corporation | Force feedback system including multi-tasking graphical host environment |
| US6160540A (en) * | 1998-01-12 | 2000-12-12 | Xerox Company | Zoomorphic computer user interface |
| US8479122B2 (en) | 2004-07-30 | 2013-07-02 | Apple Inc. | Gestures for touch sensitive input devices |
| US9239673B2 (en) | 1998-01-26 | 2016-01-19 | Apple Inc. | Gesturing with a multipoint sensing device |
| US9292111B2 (en) | 1998-01-26 | 2016-03-22 | Apple Inc. | Gesturing with a multipoint sensing device |
| US7614008B2 (en) | 2004-07-30 | 2009-11-03 | Apple Inc. | Operation of a computer with touch screen interface |
| US20070177804A1 (en) * | 2006-01-30 | 2007-08-02 | Apple Computer, Inc. | Multi-touch gesture dictionary |
| US6509913B2 (en) | 1998-04-30 | 2003-01-21 | Openwave Systems Inc. | Configurable man-machine interface |
| US6438523B1 (en) | 1998-05-20 | 2002-08-20 | John A. Oberteuffer | Processing handwritten and hand-drawn input and speech input |
| US6263375B1 (en) * | 1998-08-31 | 2001-07-17 | International Business Machines Corp. | Method for creating dictation macros |
| US7002552B1 (en) * | 1999-04-06 | 2006-02-21 | Microsoft Corporation | Computer input device with digit support and natural position actuators |
| AU6040999A (en) * | 1998-09-14 | 2000-04-03 | Microsoft Corporation | Input device with forward/backward control |
| US6192343B1 (en) | 1998-12-17 | 2001-02-20 | International Business Machines Corporation | Speech command input recognition system for interactive computer display with term weighting means used in interpreting potential commands from relevant speech terms |
| US6233560B1 (en) | 1998-12-16 | 2001-05-15 | International Business Machines Corporation | Method and apparatus for presenting proximal feedback in voice command systems |
| US6937984B1 (en) | 1998-12-17 | 2005-08-30 | International Business Machines Corporation | Speech command input recognition system for interactive computer display with speech controlled display of recognized commands |
| US8275617B1 (en) | 1998-12-17 | 2012-09-25 | Nuance Communications, Inc. | Speech command input recognition system for interactive computer display with interpretation of ancillary relevant speech query terms into commands |
| US7206747B1 (en) | 1998-12-16 | 2007-04-17 | International Business Machines Corporation | Speech command input recognition system for interactive computer display with means for concurrent and modeless distinguishing between speech commands and speech queries for locating commands |
| US6963937B1 (en) | 1998-12-17 | 2005-11-08 | International Business Machines Corporation | Method and apparatus for providing configurability and customization of adaptive user-input filtration |
| US6570555B1 (en) * | 1998-12-30 | 2003-05-27 | Fuji Xerox Co., Ltd. | Method and apparatus for embodied conversational characters with multimodal input/output in an interface device |
| US6336149B1 (en) * | 1999-01-26 | 2002-01-01 | Glenn W. Preston | Macro recording and playback device independent of operating system or application software and method of using same |
| US7904187B2 (en) | 1999-02-01 | 2011-03-08 | Hoffberg Steven M | Internet appliance system and method |
| US6965368B1 (en) * | 1999-04-06 | 2005-11-15 | Microsoft Corporation | Game control device having genre data |
| US6727884B1 (en) * | 1999-04-06 | 2004-04-27 | Microsoft Corporation | System and method for mapping input device controls to software actions |
| US7116310B1 (en) * | 1999-04-06 | 2006-10-03 | Microsoft Corporation | Application programming interface that maps input device controls to software actions |
| US6711620B1 (en) | 1999-04-14 | 2004-03-23 | Matsushita Electric Industrial Co. | Event control device and digital broadcasting system |
| US6598169B1 (en) * | 1999-07-26 | 2003-07-22 | Microsoft Corporation | System and method for accessing information made available by a kernel mode driver |
| US7028264B2 (en) * | 1999-10-29 | 2006-04-11 | Surfcast, Inc. | System and method for simultaneous display of multiple information sources |
| US7987431B2 (en) | 1999-10-29 | 2011-07-26 | Surfcast, Inc. | System and method for simultaneous display of multiple information sources |
| US6724403B1 (en) | 1999-10-29 | 2004-04-20 | Surfcast, Inc. | System and method for simultaneous display of multiple information sources |
| US7016835B2 (en) * | 1999-10-29 | 2006-03-21 | International Business Machines Corporation | Speech and signal digitization by using recognition metrics to select from multiple techniques |
| GB9930851D0 (en) | 1999-12-24 | 2000-02-16 | Koninkl Philips Electronics Nv | Apparatus control system and method |
| US6642942B1 (en) * | 2000-03-07 | 2003-11-04 | Intel Corporation | Method and system for configuring among call processing applications in a call processing system |
| US7058888B1 (en) * | 2000-04-25 | 2006-06-06 | Microsoft Corporation | Multi-modal text editing correction |
| US6668156B2 (en) | 2000-04-27 | 2003-12-23 | Leapfrog Enterprises, Inc. | Print media receiving unit including platform and print media |
| US6661405B1 (en) | 2000-04-27 | 2003-12-09 | Leapfrog Enterprises, Inc. | Electrographic position location apparatus and method |
| US6750978B1 (en) * | 2000-04-27 | 2004-06-15 | Leapfrog Enterprises, Inc. | Print media information system with a portable print media receiving unit assembly |
| WO2002042908A1 (en) * | 2000-11-27 | 2002-05-30 | Nokia Corporation | Method and system providing a mediation function |
| DE60117676T2 (de) * | 2000-12-29 | 2006-11-16 | Stmicroelectronics S.R.L., Agrate Brianza | Verfahren zur einfachen Ausdehnung der Funktionalität eines tragbaren elektronischen Geräts und zugehöriges, tragbares elektronisches Gerät |
| US7916124B1 (en) | 2001-06-20 | 2011-03-29 | Leapfrog Enterprises, Inc. | Interactive apparatus using print media |
| US6608618B2 (en) | 2001-06-20 | 2003-08-19 | Leapfrog Enterprises, Inc. | Interactive apparatus using print media |
| EP1286261A1 (de) * | 2001-08-13 | 2003-02-26 | Alcatel | Verfahren, Bedienoberflächenmodul, Zwischenmodule sowie damit ausgestattetes Netzwerk-Management-System zur Bedienung eines Bedienoberflächenmoduls |
| EP1321852A1 (fr) * | 2001-10-03 | 2003-06-25 | C O2W3 Sas | Plate-forme logicielle modulable |
| US9189467B1 (en) | 2001-11-07 | 2015-11-17 | Apple Inc. | Method and apparatus for annotating an electronic document |
| EP1479058A1 (en) * | 2002-02-06 | 2004-11-24 | Leapfrog Enterprises, Inc. | Write on interactive apparatus and method |
| EP1388786A1 (de) * | 2002-03-15 | 2004-02-11 | Alcatel | Benutzerschnittstelle für eine Mensch-Computer Interaktion |
| CN100530112C (zh) * | 2002-04-22 | 2009-08-19 | 汤姆森特许公司 | 将用户信号传递给多个应用程序的方法和装置 |
| US7099893B2 (en) * | 2002-06-28 | 2006-08-29 | Sap Aktiengesellschaft | Recording application user actions for application testing |
| US8682636B2 (en) * | 2002-08-30 | 2014-03-25 | Sap Ag | Non-client-specific testing of applications |
| US20040063078A1 (en) * | 2002-09-30 | 2004-04-01 | Marcus Brian I. | Electronic educational toy appliance |
| US20040229195A1 (en) * | 2003-03-18 | 2004-11-18 | Leapfrog Enterprises, Inc. | Scanning apparatus |
| US8745541B2 (en) * | 2003-03-25 | 2014-06-03 | Microsoft Corporation | Architecture for controlling a computer using hand gestures |
| US7068262B2 (en) * | 2003-06-09 | 2006-06-27 | Leapfrog Enterprises, Inc. | Writing stylus for electrographic position location apparatus |
| AU2003266983A1 (en) * | 2003-08-14 | 2005-03-07 | Docomo Communications Laboratories Europe Gmbh | Direct data input |
| US20050055647A1 (en) * | 2003-09-05 | 2005-03-10 | Chung-Hui Chen | System and method for switching software functions |
| EP1740087B1 (en) * | 2004-01-13 | 2012-05-09 | The University of Toledo | Noninvasive birefringence compensated sensing polarimeter |
| US7207885B2 (en) | 2004-01-15 | 2007-04-24 | Espeed, Inc. | System and method for using a game controller device for electronic trading |
| US7458029B2 (en) * | 2004-01-15 | 2008-11-25 | Microsoft Corporation | System and process for controlling a shared display given inputs from multiple users using multiple input modalities |
| US8170945B2 (en) | 2004-01-15 | 2012-05-01 | Bgc Partners, Inc. | System and method for providing security to a game controller device for electronic trading |
| US8469808B2 (en) | 2004-01-15 | 2013-06-25 | Bgc Partners, Inc. | System and method for managing a game controller device for electronic trading |
| US7707039B2 (en) | 2004-02-15 | 2010-04-27 | Exbiblio B.V. | Automatic modification of web pages |
| US8442331B2 (en) | 2004-02-15 | 2013-05-14 | Google Inc. | Capturing text from rendered documents using supplemental information |
| US7812860B2 (en) | 2004-04-01 | 2010-10-12 | Exbiblio B.V. | Handheld device for capturing text from both a document printed on paper and a document displayed on a dynamic display device |
| US10635723B2 (en) | 2004-02-15 | 2020-04-28 | Google Llc | Search engines and systems with handheld document data capture devices |
| US7345681B2 (en) * | 2004-02-17 | 2008-03-18 | Microsoft Corporation | Pen data capture and injection |
| US20060067576A1 (en) * | 2004-03-17 | 2006-03-30 | James Marggraff | Providing a user interface having interactive elements on a writable surface |
| US20060125805A1 (en) * | 2004-03-17 | 2006-06-15 | James Marggraff | Method and system for conducting a transaction using recognized text |
| WO2008028674A2 (en) | 2006-09-08 | 2008-03-13 | Exbiblio B.V. | Optical scanners, such as hand-held optical scanners |
| US20060098900A1 (en) | 2004-09-27 | 2006-05-11 | King Martin T | Secure data gathering from rendered documents |
| US9143638B2 (en) | 2004-04-01 | 2015-09-22 | Google Inc. | Data capture from rendered documents using handheld device |
| US7990556B2 (en) | 2004-12-03 | 2011-08-02 | Google Inc. | Association of a portable scanner with input/output and storage devices |
| US8146156B2 (en) | 2004-04-01 | 2012-03-27 | Google Inc. | Archive of text captures from rendered documents |
| US7894670B2 (en) | 2004-04-01 | 2011-02-22 | Exbiblio B.V. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US9116890B2 (en) | 2004-04-01 | 2015-08-25 | Google Inc. | Triggering actions in response to optically or acoustically capturing keywords from a rendered document |
| US20060081714A1 (en) | 2004-08-23 | 2006-04-20 | King Martin T | Portable scanning device |
| US8620083B2 (en) | 2004-12-03 | 2013-12-31 | Google Inc. | Method and system for character recognition |
| US8489624B2 (en) | 2004-05-17 | 2013-07-16 | Google, Inc. | Processing techniques for text capture from a rendered document |
| US8874504B2 (en) | 2004-12-03 | 2014-10-28 | Google Inc. | Processing techniques for visual capture data from a rendered document |
| US8346620B2 (en) | 2004-07-19 | 2013-01-01 | Google Inc. | Automatic modification of web pages |
| US7653883B2 (en) | 2004-07-30 | 2010-01-26 | Apple Inc. | Proximity detector in handheld device |
| US8381135B2 (en) | 2004-07-30 | 2013-02-19 | Apple Inc. | Proximity detector in handheld device |
| US7167675B2 (en) * | 2004-10-15 | 2007-01-23 | Leapfrog Enterprises, Inc. | Magnetic switch and apparatus including magnetic switch |
| US7922099B1 (en) | 2005-07-29 | 2011-04-12 | Leapfrog Enterprises, Inc. | System and method for associating content with an image bearing surface |
| US7883420B2 (en) | 2005-09-12 | 2011-02-08 | Mattel, Inc. | Video game systems |
| US7936339B2 (en) * | 2005-11-01 | 2011-05-03 | Leapfrog Enterprises, Inc. | Method and system for invoking computer functionality by interaction with dynamically generated interface regions of a writing surface |
| EP1865410A1 (en) * | 2006-06-09 | 2007-12-12 | Delta Electronics, Inc. | Human-machine interface system with device bridge and method for designing and operating the same |
| US8261967B1 (en) | 2006-07-19 | 2012-09-11 | Leapfrog Enterprises, Inc. | Techniques for interactively coupling electronic content with printed media |
| US8130194B1 (en) * | 2006-12-18 | 2012-03-06 | Imi Innovations, Inc. | Non-mouse devices that function via mouse-like messages |
| US20080228618A1 (en) | 2007-03-15 | 2008-09-18 | Noviello Joseph C | System And Method For Providing An Operator Interface For Displaying Market Data, Trader Options, And Trader Input |
| US7631124B2 (en) * | 2007-04-06 | 2009-12-08 | Microsoft Corporation | Application-specific mapping of input device elements |
| US20090046064A1 (en) * | 2007-08-17 | 2009-02-19 | Microsoft Corporation | Pointing device for control of a graphical display or application |
| US20090161575A1 (en) * | 2007-12-19 | 2009-06-25 | Research In Motion Limited | Long Term Evolution User Equipment Multi-Packet Data Network Connectivity Control |
| US20090187847A1 (en) * | 2008-01-18 | 2009-07-23 | Palm, Inc. | Operating System Providing Consistent Operations Across Multiple Input Devices |
| FR2933211B1 (fr) * | 2008-06-26 | 2010-11-26 | Airbus France | Dispositif d'interaction avec un systeme d'affichage, notamment pour un systeme d'affichage avionique |
| US20100095250A1 (en) * | 2008-10-15 | 2010-04-15 | Raytheon Company | Facilitating Interaction With An Application |
| KR101185093B1 (ko) * | 2008-12-19 | 2012-09-21 | 한국전자통신연구원 | Ａｕｔｏｓａｒ 응용 소프트웨어의 소프트웨어 구조 모델링 도구를 위한 프로젝트 관리 장치 및 방법 |
| CN105930311B (zh) | 2009-02-18 | 2018-10-09 | 谷歌有限责任公司 | 执行与再现文档关联的动作的方法、移动设备和可读介质 |
| WO2010105245A2 (en) | 2009-03-12 | 2010-09-16 | Exbiblio B.V. | Automatically providing content associated with captured information, such as information captured in real-time |
| US8447066B2 (en) | 2009-03-12 | 2013-05-21 | Google Inc. | Performing actions based on capturing information from rendered documents, such as documents under copyright |
| US8421761B2 (en) * | 2009-08-26 | 2013-04-16 | General Electric Company | Imaging multi-modality touch pad interface systems, methods, articles of manufacture, and apparatus |
| US9081799B2 (en) | 2009-12-04 | 2015-07-14 | Google Inc. | Using gestalt information to identify locations in printed information |
| US9323784B2 (en) | 2009-12-09 | 2016-04-26 | Google Inc. | Image search using text-based elements within the contents of images |
| US9092128B2 (en) | 2010-05-21 | 2015-07-28 | Apple Inc. | Method and apparatus for managing visual information |
| US8151279B1 (en) * | 2011-03-28 | 2012-04-03 | Google Inc. | Uniform event handling across multiple computing devices |
| US8392935B2 (en) | 2011-03-28 | 2013-03-05 | Google Inc. | Uniform event handling across multiple computing devices |
| US20130139113A1 (en) * | 2011-11-30 | 2013-05-30 | Microsoft Corporation | Quick action for performing frequent tasks on a mobile device |
| KR101322952B1 (ko) * | 2012-02-24 | 2013-10-29 | 주식회사 팬택 | 휴대용 단말기에서 동작인식의 처리를 관리하는 장치 및 방법 |
| US9274622B2 (en) * | 2012-09-11 | 2016-03-01 | Microsoft Technology Licensing, Llc | Device specific data in a unified pointer message |
| CN102999340B (zh) * | 2012-11-28 | 2016-08-31 | 百度在线网络技术（北京）有限公司 | 一种输入法界面的编辑方法及装置 |
| DE102014200782A1 (de) * | 2014-01-17 | 2015-07-23 | Bayerische Motoren Werke Aktiengesellschaft | Betreiben eines Fahrzeugs gemäß dem Wunsch eines Fahrzeuginsassen |
| EP3149558A4 (en) * | 2014-05-29 | 2017-12-20 | Hewlett-Packard Development Company, L.P. | User account switching interface |
| US9846496B2 (en) * | 2014-09-04 | 2017-12-19 | Home Box Office, Inc. | Virtual input device system |
| US10044591B2 (en) | 2014-09-04 | 2018-08-07 | Home Box Office, Inc. | Two-way remote communication system for testing a client device program |
| US10168895B2 (en) * | 2015-08-04 | 2019-01-01 | International Business Machines Corporation | Input control on a touch-sensitive surface |
| US10636074B1 (en) * | 2015-09-18 | 2020-04-28 | Amazon Technologies, Inc. | Determining and executing application functionality based on text analysis |
| US20200050540A1 (en) * | 2018-08-10 | 2020-02-13 | International Business Machines Corporation | Interactive automation test |
| TWI709071B (zh) * | 2018-12-27 | 2020-11-01 | 英屬開曼群島商敦泰電子有限公司 | 觸控板驅動系統及方法 |
| CN113094188A (zh) * | 2021-03-30 | 2021-07-09 | 网易（杭州）网络有限公司 | 系统消息的处理方法及装置 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59105137A (ja) * | 1982-11-25 | 1984-06-18 | プレ−・エレクトロフアインメカニツシエ・ウエルケ・ヤコブ・プレ−・ナツハフオ−ゲル・ゲゼルシヤフト・ミト・ベシユレンクテル・ハフツング・ウント・コンパニ− | デ−タ処理装置のタ−ミナル |
| JPS63298426A (ja) * | 1987-05-29 | 1988-12-06 | Hitachi Ltd | メニュ−選択処理方式 |
Family Cites Families (11)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4451895A (en) * | 1980-07-17 | 1984-05-29 | Telesis Corporation Of Delaware, Inc. | Interactive computer aided design system |
| JPS5968037A (ja) * | 1982-09-21 | 1984-04-17 | Canon Inc | 入力装置 |
| US4726065A (en) * | 1984-01-26 | 1988-02-16 | Horst Froessl | Image manipulation by speech signals |
| US4587630A (en) * | 1984-02-15 | 1986-05-06 | Hewlett-Packard Company | Intelligent programmable touchscreen system |
| US4689761A (en) * | 1984-08-14 | 1987-08-25 | Metaphor Computer Systems | Multiple independent input peripherals |
| US4972496A (en) * | 1986-07-25 | 1990-11-20 | Grid Systems Corporation | Handwritten keyboardless entry computer system |
| JPS63172325A (ja) * | 1987-01-10 | 1988-07-16 | Pioneer Electronic Corp | タツチパネル制御装置 |
| US4903012A (en) * | 1987-01-20 | 1990-02-20 | Alps Electric Co., Ltd. | Coordinate system input device providing registration calibration and a mouse function |
| US4896290A (en) * | 1987-08-24 | 1990-01-23 | Wang Laboratories, Inc. | Method for routing events from key strokes in a multi-processing computer systems |
| US4908612A (en) * | 1987-09-29 | 1990-03-13 | Penguin Products, Inc. | Computer input-output device |
| US4931950A (en) * | 1988-07-25 | 1990-06-05 | Electric Power Research Institute | Multimedia interface and method for computer system |
-
1989
- 1989-04-28 US US07/344,879 patent/US5157384A/en not_active Expired - Fee Related
-
1990
- 1990-01-09 CA CA002007411A patent/CA2007411C/en not_active Expired - Fee Related
- 1990-01-23 EP EP90101292A patent/EP0394614B1/en not_active Expired - Lifetime
- 1990-01-23 DE DE69026417T patent/DE69026417T2/de not_active Expired - Lifetime
- 1990-04-27 JP JP2110657A patent/JPH0320812A/ja active Granted
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPS59105137A (ja) * | 1982-11-25 | 1984-06-18 | プレ−・エレクトロフアインメカニツシエ・ウエルケ・ヤコブ・プレ−・ナツハフオ−ゲル・ゲゼルシヤフト・ミト・ベシユレンクテル・ハフツング・ウント・コンパニ− | デ−タ処理装置のタ−ミナル |
| JPS63298426A (ja) * | 1987-05-29 | 1988-12-06 | Hitachi Ltd | メニュ−選択処理方式 |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH08137804A (ja) * | 1994-11-04 | 1996-05-31 | Sharp Corp | 情報処理装置 |
| JP2001042892A (ja) * | 1999-07-08 | 2001-02-16 | Microsoft Corp | 音声入力用グラフィカル・ユーザ・インターフェース、その処理方法および記録媒体 |
| JP2016071815A (ja) * | 2014-10-02 | 2016-05-09 | 株式会社アスタリスク | 携帯端末、及びキーボードアプリケーションプログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| DE69026417T2 (de) | 1996-11-14 |
| DE69026417D1 (de) | 1996-05-15 |
| EP0394614A3 (en) | 1992-09-02 |
| EP0394614A2 (en) | 1990-10-31 |
| US5157384A (en) | 1992-10-20 |
| EP0394614B1 (en) | 1996-04-10 |
| CA2007411A1 (en) | 1990-10-28 |
| CA2007411C (en) | 1998-04-21 |
| JPH0580009B2 (ja) | 1993-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JPH0320812A (ja) | コンピュータ・システム | |
| US5252951A (en) | Graphical user interface with gesture recognition in a multiapplication environment | |
| US6643721B1 (en) | Input device-adaptive human-computer interface | |
| US5936614A (en) | User defined keyboard entry system | |
| JP3546337B2 (ja) | 計算システム用ユーザ・インタフェース装置及びグラフィック・キーボード使用方法 | |
| US7685539B2 (en) | User interface for stylus-based user input | |
| US6928619B2 (en) | Method and apparatus for managing input focus and z-order | |
| US8159457B2 (en) | Zero-click activation of an application | |
| JPH0778782B2 (ja) | 対話型コンピュータ・システムならびにその使用環境適合化装置および方法 | |
| JP2004303207A (ja) | ジェスチャの動的フィードバック | |
| JPH05204533A (ja) | タッチ・スクリーン装置に対する運動検出器のシステム・オーバーヘッドを低減する方法及び装置 | |
| JP2000207089A (ja) | ハイパ―テキスト文書を表示する方法および装置 | |
| JPH10116144A (ja) | グラフィカル・ユーザ・インターフェースにおけるポインタの音声サポートされたナビゲーション方法及び装置 | |
| JPH1165769A (ja) | タッチパネル表示制御方法及びそれを記録した記録媒体 | |
| JP2000181617A (ja) | タッチパッド及びタッチパッドによるスクロール制御方法 | |
| US7119795B2 (en) | Information processing unit, control method for information processing unit for performing operation according to user input operation, and computer program | |
| US20100017757A1 (en) | Method and system to reduce workload and skills required in usage of mouse or other pointing devices | |
| JPH0772976A (ja) | タッチパネルにおけるマウス入力方式 | |
| JPH10198504A (ja) | 情報処理装置の機能起動方法及び座標読取システム | |
| JPH07141140A (ja) | マルチウィンドウ型コンピュータシステム | |
| JP2011086116A (ja) | キーボード装置、ユーザーインターフェース装置、および情報処理機器 | |
| KR20000060996A (ko) | 프로그램 자동실행 기능을 가지는 터치패드를 구비한 컴퓨터 시스템 | |
| JPH05241810A (ja) | 手順プログラミング環境を有するデータ処理システムにおける方法 |