JP2501006B2 - 入力装置の登録方法及びシステム - Google Patents

入力装置の登録方法及びシステム

Info

Publication number
JP2501006B2
JP2501006B2 JP5238549A JP23854993A JP2501006B2 JP 2501006 B2 JP2501006 B2 JP 2501006B2 JP 5238549 A JP5238549 A JP 5238549A JP 23854993 A JP23854993 A JP 23854993A JP 2501006 B2 JP2501006 B2 JP 2501006B2
Authority
JP
Japan
Prior art keywords
input
recognition
event
input device
provider
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP5238549A
Other languages
English (en)
Other versions
JPH06214933A (ja
Inventor
アール． タネンバウム アラン
エム． ゼッツ ジョン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH06214933A publication Critical patent/JPH06214933A/ja
Application granted granted Critical
Publication of JP2501006B2 publication Critical patent/JP2501006B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0381—Multimodal input, i.e. interface arrangements enabling the user to issue commands by simultaneous use of input devices of different nature, e.g. voice plus gesture on digitizer

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Character Discrimination (AREA)

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】本発明は、一般的には、データ処
理システムのための入力装置に関し、より詳細には、複
数の入力装置からの入力を認識し、そのような複数の装
置のための両立性のあるインタフェースを提供する方法
とシステムに関する。
【０００２】
【従来の技術および発明が解決しようとする課題】コン
ピュータ技術が進歩し、とりわけパーソナルコンピュー
タの出現によって、データ処理が社会のあらゆる階層そ
してユーザのあらゆる階層に浸透した。大きなソフトウ
ェア本体がＩＢＭ（登録商標）互換パーソナルコンピュ
ータのために製作されてきた。非常に膨大な量のこれら
のアプリケーションは、キーボード入力だけまたはキー
ボード入力とマウスポインタ装置の入力との組み合わせ
を受け入れるように書かれている。さらには、パーソナ
ルコンピュータを制御しかつデータがアプリケーション
に転送されるのを可能にするオペレーティングシステム
もまた、主としてキーボード入力とマウス入力の組み合
わせだけに対して書かれたものである。
【０００３】例えば、タッチセンサ、ペンデータ表示装
置、音声認識装置、データグローブ、およびバーコード
スキャナのような多くの新しい入力装置は、ある種の動
作に関してはより適切なものであり、またそれらの特徴
ある入力を制御する非常に効率的な方法をコンピュータ
システムに提供するものである。しかし残念ながら、大
きなアプリケーション本体がこの形式の入力を理解しな
い。
【０００４】1989年 4月28日に出願され、ここで援用さ
れ、本発明と同時に譲渡された『Advanced User Interf
ace 』と題する米国特許第5,157,384 号は、既存のアプ
リケーションプログラムが新規の入力装置を理解するこ
とを可能にするオペレーティングシステム拡張機能を示
唆する。その拡張オペレーティングシステムのある種の
改善が、1991年10月21日に出願され、ここで援用され、
本発明と同時係願である、米国特許出願第07/344,879
(5,157,384) の一部係属出願である『GraphicalUser In
terface With Gesture Recognition In A Multi Applic
ation Environment』と題する米国特許第07/779,702号
に記述される。
【０００５】将来は、与えられたシステムにおいて、複
数の入力装置が同時に動作しているであろう。また、現
在は使用することのできない新規の認識装置の開発を適
合させることも望まれる。ゆえに、オペレーティングシ
ステムあるいはそこで実行されているアプリケーション
の開発者がここで開示される知識を有しないところの複
数の異なった入力イベントを有する多くの入力装置があ
れば、シナリオが存在するのである。オペレーティング
システムあるいは拡張オペレーティングシステムを書き
直すことを続けるより、むしろ、本出願人は非装置依存
型インタフェースを開発することが好ましいと考える。
このインタフェースは、アプリケーションプログラム、
オペレーティングシステム、あるいはオペレーティング
システム拡張機能を改訂することなく、新規の入力装置
の新規の入力イベントの配信(delivery)によってその入
力装置の接続(attachment)を既存のアプリケーションプ
ログラムに提供する。
【０００６】したがって、本発明の目的は、複数の入力
装置の同時使用を提供することである。
【０００７】さらに、本発明の目的は、アプリケーショ
ンプログラムまたはオペレーティングシステムを変更す
ることなく、既存のプログラムによって新規の入力装置
の使用を適合させることである。
【０００８】さらに、本発明の目的は、新規の入力装置
と新規の入力イベントとを処理するために、両立性のあ
るインタフェースをプログラムと入力装置とに提供する
ことである。
【０００９】さらに、本発明の目的は、プログラムイン
タフェースに接続する新規の入力装置とそれの入力イベ
ントのレパートリ(repertoire)とを登録することであ
る。
【００１０】
【課題を解決するための手段及び作用】本発明の一態様
は、システムバスに結合されたメモリ、プロセッサ、お
よび表示装置を備えるシステムに第１の入力装置を登録
する方法であって、第１の入力装置に関する第１の組の
入力イベントをメモリの認識サブシステムに転送する段
階と、認識サブシステムによって対応する識別子をそれ
ぞれの入力イベントに割り当てる段階と、第１の組の入
力イベントおよび対応する識別子を認識サブシステムお
よび第１の入力装置に結合された第１の認識プロバイダ
に格納する段階と、を備える。
【００１１】本発明の一態様は、システムバスに結合さ
れたメモリ、プロセッサ、および表示装置を備えて第１
の入力装置を登録するシステムにおいて、第１の入力装
置に関する第１の組の入力イベントをメモリの認識サブ
システムに転送する手段と、認識サブシステムによって
対応する識別子をそれぞれの入力イベントに割り当てる
手段と、第１の組の入力イベントおよび対応する識別子
を認識サブシステムおよび第１の入力装置に結合された
第１の認識プロバイダに格納するための手段と、を備え
る。
【００１２】本発明の一態様は、システムバスに結合さ
れたメモリ、プロセッサ、および表示装置を備えるシス
テムに入力装置を登録する方法であって、入力装置に関
する１つの組の入力イベントをメモリの認識サブシステ
ムに転送する段階と、認識サブシステムからの対応する
１つの組の識別子を受信する段階であって、ここで、そ
れぞれの識別子は１つの組の入力イベントの選択された
１つに対応している、前記受信する段階と、１つの組の
入力イベントおよび対応する識別子をメモリに格納する
段階と、を備える。
【００１３】本発明の一態様は、システムバスに結合さ
れたメモリ、プロセッサ、および表示装置を備えるシス
テムに第１の入力装置を登録する方法であって、第１の
入力装置に関する第１の組の入力イベントを受信する段
階と、対応する識別子をそれぞれの入力イベントに割り
当てる段階と、対応する識別子を入力装置に結合された
プロバイダに転送する段階と、第１の組の入力イベント
および対応する識別子を格納する段階と、を備える。
【００１４】本発明のこれらのそしてその他の目的は、
認識サブシステムを導入することによる入力イベントを
登録する方法とシステムによって達成される。複数の入
力装置は、装置アダプタと装置ドライバとによってシス
テムに結合される。それぞれの入力装置は複数の入力イ
ベントを生成することができる。本発明の好ましい実施
例においては、複数の装置ドライバは、認識プロバイダ
(recognition provider)となるように変更される。別の
実施例においては、認識プロバイダの個々の層は、装置
ドライバとオペレーティングシステムおよびその拡張機
能との間に付加される。
【００１５】入力イベントは、その入力装置に関連づけ
られる認識プロバイダによって入力イベントとして認識
される予め定められた１つの入力信号または１組の入力
信号である。例えば、タッチセンサはジェスチャーを入
力として認識する。タッチセンサへのスタイラスの接
触、タッチセンサ上のスタイラスの経路を表現する１組
の入力、およびタッチセンサからのスタイラスの持ち上
げ、によって円のジェスチャーの入力イベントとしてタ
ッチセンサの認識プロバイダに理解される１組の入力信
号が生成される。入力装置とそれに関連する認識プロバ
イダとが接続されると、そのプロバイダは入力装置によ
って生成されるすべてのイベントのリストを認識サブシ
ステムに登録する。そのリストのそれぞれのイベントに
対して、プロバイダは、識別文字列のような要求される
情報および任意選択の情報とを、ターゲットオブジェク
トにまたはそのイベントが呼び出されるときのユーザへ
の図形的あるいは可聴的なフィードバックに供給する。
入力イベントのリストにおけるそれぞれのイベントに対
して、認識サブシステムは識別文字列を割り当て、そし
てその識別文字列を認識プロバイダに通知する。
【００１６】登録手順が完了すれば、通常の処理が続行
され、別のプロバイダが登録を試みるまで、またはすで
に登録された認識プロバイダが報告すべき入力イベント
を有するまで、認識サブシステムはアイドル状態のまま
である。最初の場合、処理は上述したように登録を続行
し、認識サブシステムに同時に登録される異なる認識プ
ロバイダの数に制限はない。もちろん、メモリーの割り
振りなどのためにオペレーティングシステムによって設
定される制約は存在するかもしれない。すでに登録され
た認識プロバイダがイベントを報告するとき、コンピュ
ータシステムのユーザはシステムにコマンドを指示する
ために入力装置をすでに用いている。認識プロバイダ
は、ユーザから入力信号を受信し、それらの入力信号を
入力イベントに関連づける。その入力イベントが、上述
の登録手順の間に認識サブシステムによってそれに提供
される識別番号に関連づけられる。また、認識プロバイ
ダも入力イベントをウィンドウに表示されるある特定の
システムオブジェクトに関連づけることができる。入力
イベントを受信したら、認識サブシステムはターゲット
オブジェクトに入力イベントが発生したことを通報す
る。入力イベントの入力の形式および識別子に加えて、
認識サブシステムは、入力イベントが生成された時点で
のシステムの状態を決定するのに使用されるターゲット
オブジェクトに対して有益な情報を作成してもよい。そ
のような状態情報は、アクティブ状態のオブジェクトま
たはそれのウィンドウと、キーボードイベントが配信さ
れたであろうオブジェクトまたはそれのウィンドウと、
入力装置によって生成された生入力信号に関する情報
と、を包含する。ターゲットオブジェクトは、そのイベ
ントを解釈することを選択してもよいし、あるいは、認
識サブシステムが入力イベントの翻訳を提供するように
要求することを選択してもよい。
【００１７】
【実施例】本発明の好ましい実施例が実現される環境が
図１および図２を参照して記述される。図１を参照する
と、本発明と同時係願されここで援用されるArbeitman
その他による1989年 3月15日出願の『Flat Touch Scree
n Workpad For A Data Processing System』と題する米
国特許出願第351,227 号に記述されるものとほぼ類似す
るタッチワークパッド(touch workpad) が示される。ワ
ークパッドは、長方形のタッチオーバレイ１６のエッジ
を取り囲む長方形の凹型ウィンドウ１４を有するハウジ
ング１２を備える。タッチオーバレイ１６は透明であ
り、液晶表示装置（ＬＣＤ）１８の上に配置される。オ
ーバレイ１６は、接着剤層によってお互いに積層された
いくつかのプラスチック基板層を含む積層構造からな
る。また、オーバレイ１６は、垂直方向に配置された第
１の複数の透明な導体１６Ａと、垂直方向に配置された
第２の複数の透明な導体１６Ｂと、を含む。表示ウィン
ドウ１４のエッジにおけるオーバレイ１６の上または近
傍のスタイラス２０またはフィンガーのより正確な位置
決めを可能とするために、垂直と水平の両方向の導体の
それぞれは凹型ウィンドウ１４を越えて配置される。
【００１８】スタイラス２０はタッチワークパッドへの
ケーブル２２に接続される。スタイラス２０はオーバレ
イ１６によって放射される信号をピックアップするため
にアンテナとして動作し、フィンガータッチによって提
供されてもよい非常に大きな解像度を提供する。また、
ハウジングのベゼル(bezel) 上には、ワークパッド１０
からのデータが受信されるモードを変更するのに使用す
ることのできる４つのボタンスイッチ２４〜２７があ
る。ワークパッドケーブル２８は、ワークパッドとユー
ザが交信しているコンピュータとの間のコネクタであ
る。ワークパッドケーブル２８は、ＬＣＤ１８を動作さ
せる表示信号およびフィンガータッチモードとスタイラ
スモードのいずれでもオーバレイ１６を動作させるタッ
チ信号とともに、ワークパッド１０への電力も提供す
る。加えて、ケーブル２８は、スタイラス２０によって
受信される信号強度とフィンガータッチによる容量の変
化による周波数変化とを測定するコンピュータへの配管
(conduit) でもある。
【００１９】図２はフィンガータッチおよびスタイラス
の検出システムの構成図を示す。図２に描写されるシス
テムは、この図において援用される米国特許第4,686,33
2 号に開示されるシステムと類似する。タッチ制御プロ
セッサ３０、ランダムアクセスメモリ３２、リードオン
リーメモリ３４、およびＩ／Ｏコントローラ３６、がパ
ーソナルコンピュータのタッチパネルアダプタカード３
７に存在するのに対して、タッチ装置の残りの部分はタ
ッチワークパッド１０に集積されている。図１に関連し
て論議したように、タッチワークパッド１０は、ケーブ
ル２８を介してパーソナルコンピュータおよびタッチパ
ネルアダプタカード３７と交信する。垂直方向の導体Ｘ
はＸ−バス３８を介して、そして水平方向の導体ＹはＹ
−バス４０を介して、それぞれワイヤ選択マルチプレク
サ４２に接続される。放射ピックアップスタイラス２０
はゲート４４を介して放射ピックアップ測定装置４６に
接続される。ワイヤ選択マルチプレクサ４２は、フィン
ガータッチの容量測定に使用される容量測定装置５２に
モードマルチプレクサ５０を介して接続される。また、
ワイヤ選択マルチプレクサ４２は、スタイラス検出動作
のためのＸ−バス３８およびＹ−バス４０をドライブす
るのに使用される４０ＫＨｚ発振器ドライバ５４にモー
ドマルチプレクサ５０を介して接続される。また、モー
ドマルチプレクサ５０は、スタイラス検出動作に対し
て、スタイラス２０の出力を放射ピックアップ測定装置
４６に選択的に接続するためにゲート４４への使用許可
出力を有する。容量測定装置５２の出力は、アナログ／
ディジタル変換器５６を介してワークパッドバス５８に
接続される。放射ピックアップ測定装置４６の出力は、
アナログ／ディジタル変換器４８を介してバス５８に接
続される。ワイヤ選択マルチプレクサ４２への制御入力
６０はバス５８に接続される。制御入力６２はバス５８
からモードマルチプレクサ５０に接続される。
【００２０】ワークパッドバス５８は、パーソナルコン
ピュータにおけるタッチパネルアダプタカード３７のＰ
Ｃインタフェース６６に接続するケーブル２８にワーク
パッドインタフェース６４を介して接続される。ＰＣイ
ンタフェース６６は、メインシステムバス６８およびア
ダプタカードバス７０に連絡する。Ｉ／Ｏコントローラ
３６は、パーソナルコンピュータのメインバス６８に接
続するＩ／Ｏバス７２を有する。また、Ｉ／Ｏコントロ
ーラ３６はアダプタカードバス７０に接続される。ま
た、アダプタバス７０は、制御プロセッサ３０をリード
オンリーメモリ（ＲＯＭ）３４およびランダムアクセス
メモリ（ＲＡＭ）３２に内部接続する。パーソナルコン
ピュータは、ＣＰＵ７４、ＲＯＭ７６、ディスク記憶装
置７８、オペレーティングシステム８１およびアプリケ
ーションプログラム８２を記憶するメモリ８０、標準の
キーボード８４、そして、標準の表示装置８６、のよう
な標準装置を包含する。標準の表示装置は典型的にはＣ
ＲＴであり、好ましい実施例においては、さらにワーク
パッド１０におけるＬＣＤ１８が存在する。
【００２１】ワイヤ選択マルチプレクサ４２およびモー
ドマルチプレクサ５０は、制御プロセッサ３０によって
バス５８から制御入力６０および６２を通って加えられ
る制御信号に応答して、オーバレイ１６における複数の
水平および垂直の導体の選択されるパターンを、容量測
定装置５２かまたは４０ＫＨｚ発振器ドライバ５４のい
ずれかに接続する。フィンガータッチ動作の期間におい
て、容量測定装置５２はそれの入力動作の状態であり、
容量測定装置５２は、制御プロセッサ３０からの制御信
号に応答して、オーバレイ１６の水平および垂直の導体
アレイにおいて選択された１つの導体にモードマルチプ
レクサ５０およびワイヤ選択マルチプレクサ４２を介し
て結合されるそれの入力を有する。容量測定装置５２の
出力はＡ／Ｄ変換器５６によってディジタル値に変換さ
れ、バス５８を通って制御プロセッサ３０に供給され
る。制御プロセッサ３０は、オペレータの指によって触
れられているオーバレイ１６における水平アレイの導体
対と垂直アレイの導体対とを検出するために、一連の記
憶されたプログラム命令を実行する。
【００２２】フィンガータッチ感知モードとスタイラス
感知モードはお互いに独立して動作し、フィンガータッ
チあるいはスタイラスが検出されるまで、検出システム
は２つのモードの間を循環する。
【００２３】本発明と同時係願の『Advanced User Inte
rface 』すなわちＡＵＩ（拡張ユーザインタフェース）
と題する米国特許第5,157,384 号は、入力の新規の形式
が、入力のその形式を理解するようには書かれていない
アプリケーションによって処理されることを可能にする
オペレーティングシステム拡張機能について記述する。
そのオペレーティングシステム拡張機能に対するある種
の改善が、本発明と同時係願の1991年10月21日出願の
『Graphical User Interface With Gesture Recognitio
n In A Multiapplication Environment 』と題する米国
特許出願第07/779,702号に記述される。例えば、今日ま
でのほとんどのアプリケーションはキーボード入力とマ
ウス入力だけしか容認しないように書かれている。ユー
ザは、元々はマウス入力とキーボード入力のみを容認す
るように書かれたどのアプリケーションの命令コードも
変更することなくタッチセンサを利用するために、拡張
ユーザインタフェース（ＡＵＩ）を使用するであろう。
１つの好ましい実施例においては、ＡＵＩはオペレーテ
ィングシステム８１およびアプリケーションプログラム
８２とともにＲＡＭ８０に記憶される。
【００２４】図３は、それらの装置ドライバあるいは装
置固有命令コード(device specificcode)モジュール１
１０〜１１８を介してシステムと交信する複数の入力装
置１００〜１０８を描写する。入力装置それ自体を除い
て、図３に描写されるすべての要素は、好ましくは、主
記憶装置に常駐の”命令コードモジュール”である。入
力装置に直接に接続された命令コードモジュールのいく
つかは、人が一般に装置ドライバと関連づけて考えるす
べての機能を実行しないので、それらは装置指定命令コ
ード(device specified code) と呼ばれる。複数のアプ
リケーション１５０〜１５３は、ここで援用される本発
明と同時係願の米国特許第4,868,332 号、米国特許第5,
007,085 号、および米国特許第5,157,384 号によって示
唆されるようなオペレーティングシステム１２０とオペ
レーティングシステム拡張機能によって同時に実行され
ている。キーボード１００はキーボード装置ドライバ１
１０によって処理される。ともにポインタ装置であるマ
ウスポインタ装置１０２およびタッチセンサ１０４は、
それらのそれぞれの装置固有命令コードモジュール１１
２および１１４とさらに単一化ポインタ装置ドライバ１
２２とによって処理される。音声センサ１０６およびイ
メージセンサ１０８はそれぞれ装置固有命令コードモジ
ュール１１６と１１８によって処理される。図３には入
力のための２つのチャンネルが示される。キーボード入
力とポインタ装置入力は通常のチャンネルを通ってオペ
レーティングシステム１２０に達し、そしてそれのプレ
ゼンテーションマネージャ１２１を通って入力キューに
達する。ここで援用され本発明と同時係願の1991年10月
21日出願の『Method For Buffering High Band Data Fr
om An Input Device』と題する米国特許出願第07/779,7
03号において示唆されるように、拡張情報キュー( ＥＩ
Ｑ： extended information queue)１２４を通る第２の
チャンネルが提供され、非常に多くの情報がアプリケー
ションプログラム１５０〜１５３に伝達されることを可
能にする。米国特許出願第07/779,703号によって示唆さ
れるように、単一化ポインタ装置ドライバによって生成
される疑似ポインタ装置イベントの使用によって、拡張
ユーザインタフェースの環境リンクモジュール(environ
mental link module) １３０は、オペレーティングシス
テム１２０に転送されない詳細情報に関してＥＩＱ１２
４に問い合わせすることができる。例えば、タッチセン
サ１０４上でのタッチイベントが発生した場合には、単
一化ポインタ装置ドライバ１２２は、タッチ入力イベン
トと同一の時刻スタンプによって疑似マウスポインタイ
ベントを自動的に生成する。その疑似マウスイベントは
オペレーティングシステム１２０に送出され、非常に大
きな帯域幅のＥＩＱ１２４がすべてのタッチ入力を受信
する。
【００２５】環境リンクモジュール１３０のインターセ
プトサブシステム１３２は、キーボードまたはマウス以
外の入力装置が使用されたかどうかを決定するために、
通常は直接にアクティブ状態のアプリケーションに達す
る入力メッセージをインターセプトする。もしキーボー
ドまたはマウス以外の入力装置が使用されたのであれ
ば、発生した入力イベントを識別するために、ＥＩＱ１
２４はこの情報をプロバイダ１４２、１４４、および１
４６の中の１つに転送する。認識プロバイダがそのイベ
ントを識別した後、認識サブシステムの識別番号を得る
ために認識プロバイダは登録時に生成されるテーブルを
参照し、その識別番号を認識サブシステム１３４に送出
する。認識サブシステム１３４は、アプリケーションが
イベントを処理することを可能にすることができるし、
あるいは、アプリケーションが理解するであろう対応す
るコマンドに関してインタフェースプロファイル１４０
におけるイベントを探索するように翻訳エージェント１
３６に依頼することもできる。
【００２６】インタフェースプロファイル１４０は、In
ternational Business Machines 社に譲渡され、ここで
援用される米国特許第5,157,384 号により完全に記述さ
れる。それらは、アプリケーションが理解するように書
かれた対応するコマンドと一致する入力イベントを包含
する。それぞれのプロファイルは個々のアプリケーショ
ンまたはユーザに対して準備される。入力イベントと対
応するコマンドの英数字の説明のような光学的な情報
も、ユーザもプロファイル１４０をカストマイズしても
よいように制御パネルに表示するためにプロファイル１
４０に含まれる。
【００２７】本発明は、プロバイダ１４２、１４４、１
４６と環境リンクプログラム１３０の認識サブシステム
１３４との間の対話を提供する。オペレーティングシス
テムの拡張機能の一部である認識サブシステム１３４
は、入力イベントのプロバイダへの接続インタフェース
を提供する。接続は入力イベント認識プロバイダ（以
下、プロバイダ）を登録することからなる。プロバイダ
は、一般的には、例えば、ジェスチャー認識プロバイダ
１４２に対する”ジェスチャー”または音声認識プロバ
イダ１４４に対する”音声”のような名前で登録する。
いったん登録されると、プロバイダはさらにそれの入力
装置によって生成されるすべての入力イベントのリスト
を認識サブシステム１３４に登録する。ジェスチャー認
識プロバイダ１４２に対しては、関連する入力装置はタ
ッチセンサ１０４である。音声認識プロバイダ１４４の
関連する入力装置は音声センサ１０６である。リストの
それぞれのイベントに対して、プロバイダは、イベント
と任意選択の情報とを含む文字列のような要求される情
報を、ターゲットオブジェクトに、または入力イベント
がうまく呼び出されたときのユーザへの図形的または可
聴的なフィードバックに供給する。認識イベントのリス
トにおけるそれぞれのイベントに対して、認識サブシス
テム１３４は識別番号を割り当て、プロバイダにその認
識番号を通知する。
【００２８】そのプロバイダに対する登録手順が完了す
ると、通常の処理が続行される。認識サブシステム１３
４は、別のプロバイダが登録することを試みるまで、ま
たはすでに登録されたプロバイダが報告すべきイベント
を有するまでは、アイドル状態のままである。
【００２９】最初の場合、処理は上述された方法と同じ
方法で登録を続行する。例えば、装置ハンドラの数、ア
クティブ状態のプログラムの数、メモリーの割り振り、
などのようなオペレーティングシステムによって設定さ
れる制約を除いて認識サブシステムに同時に登録される
異なる認識プロバイダの数に制限はない。
【００３０】すでに登録されたプロバイダが報告すべき
入力イベントを有する場合、システムにコマンドを送出
することは一般にシステムのユーザが入力装置によって
操作した結果によるものである。プロバイダは１組の入
力信号を入力装置から受信し、そしてこれらの信号を特
定の入力イベントと関連づける。つぎにその入力イベン
トは、登録手順の間に認識サブシステムによってそれに
提供された識別番号に関連づけられる。また、プロバイ
ダが認識イベントを特定のシステムオブジェクトに関連
づけてもよい。ターゲットオブジェクトの決定は、例え
ば、ジェスチャーの位置、ジェスチャーにおけるホット
ポイント、またはコマンドのプレフィックス(prefix)に
おけるオブジェクトのスポークンネーム(spoken name)
のような、プロバイダが使用したいいかなる情報に基づ
いてもよい。
【００３１】新規の認識プロバイダの登録が図４のフロ
ーチャートに描写される。この処理は、認識プロバイダ
がステップ２００においてその認識プロバイダの名前を
登録するときに開始する。ステップ２０１において、認
識サブシステムがイベントを受信し、かつ、ステップ２
０２において、それぞれのイベントに対して、文字列が
認識サブシステムに送信される。もし何か関連するイベ
ント情報が存在すれば、ステップ２０４において、それ
もまた認識サブシステムに送信される。イベントがその
後に認識されたときは、例えばアイコンのようなイベン
トの視覚的な表現が表示される。ステップ２０６におい
て、認識サブシステムがこのイベントに識別番号を割り
当て、ステップ２０８において、この識別番号をプロバ
イダに送信する。ステップ２１０において、認識プロバ
イダがその識別番号をイベントに接続し、入力イベント
のテーブルを組み立てる。つぎに、ステップ２１２にお
いて、その特定の認識プロバイダに対してこれが登録さ
れるべき最後の入力イベントかどうかを決定するため
に、認識プロバイダによって検査がなされる。もしそう
であれば、処理は終了し、もしそうでなければ、さらな
るイベントのために処理はステップ２０１に戻る。
【００３２】入力イベントの処理が図５のフローチャー
トに描写される。ステップ２５０において、ユーザはコ
ンピュータシステムに接続された入力装置の１つを操作
し終わっている。このことは、装置固有命令コードによ
って入力信号が認識プロバイダに転送される結果とな
る。ステップ２５２において、認識プロバイダは受信さ
れた入力信号を入力イベントを定義する入力信号のパタ
ーンと一致させることを試みる。もし入力信号と一致す
る入力イベントが検出されなければ、処理は終了する。
もし入力イベントが識別されれば、ステップ２５４にお
いて、プロバイダは入力信号のターゲットオブジェクト
またはアプリケーションを識別することを試みる。ジェ
スチャーの場合には、ジェスチャーを構成する入力点の
１つがホットポイントとして識別される。そのホットポ
イントが現れるウィンドウを所有するオブジェクトがタ
ーゲットオブジェクトとして識別される。音声入力信号
の場合には、ユーザは、一般的には、プリフィックスと
してターゲットアプリケーションを使用するであろう。
例えば、オフィスアプリケーションへ向かうべき音声メ
ッセージは”オフィス”というワードによって始まるか
もしれない。ターゲットオブジェクトが決定されると、
ステップ２５６において、プロバイダ名、登録の間にイ
ベントに割り当てられたイベント識別番号、そして、タ
ーゲットオブジェクト、が認識サブシステムに送信され
る。このイベントを受信した後、ステップ２５８におい
て、認識サブシステムは入力イベントが発生したことを
ターゲットオブジェクトに通報する。例えばジェスチャ
ーのようなイベントの形式および個々の入力イベントの
識別子に加えて、認識サブシステムは、ステップ２６０
において、ターゲットオブジェクトが関係するかもしれ
ない有効な追加情報を作成することができる。一般に、
この情報は入力イベントが生成された時点のコンピュー
タシステムの状態に関連づけられ、アクティブ状態のオ
ブジェクトまたはそのウィンドウと、キーボードイベン
トが配信されるであろうオブジェクトと、生イベントに
関する情報と、が含まれるがそれには限定されない。タ
ーゲットオブジェクトは、それがイベントのさらなる処
理を中止することができるように、ステップ２６２にお
いて、認識サブシステムに通知するイベントを解釈する
ことを選択してもよい。
【００３３】もしターゲットオブジェクトがイベントを
解釈したくないのであれば、認識サブシステムが環境リ
ンク１３０における翻訳エージェント１３６と連絡す
る。翻訳エージェント１３６は、ステップ２６４におい
て、入力イベントが生成されたときのシステムの状態に
基づいてインタフェースプロファイルを参照するか、あ
るいは、プロバイダによって識別されたターゲットオブ
ジェクトによってインタフェースプロファイルを参照す
る。例えば、アクティブ状態のアプリケーションに関す
るプロファイルが問い合わせられるかもしれない。ジェ
スチャーの入力イベントの場合には、ホットスポットが
現れるウィンドウに関するプロファイルが問い合わせら
れる。音声のイベントに対しては、音声コマンドのプレ
フィックスによって指示されるターゲットオブジェクト
が問い合わせられるであろう。もしプロファイルがある
特定のオブジェクトに関して書かれていなければ、省略
時解釈のプロファイルが問い合わせられる。プロファイ
ルは、入力イベントの登録識別番号とターゲットオブジ
ェクトによってかまたはユーザがシステムに存在するこ
とを予想する別のオブジェクトによって理解されるであ
ろう対応するコマンドとを結合する。翻訳エージェント
が適切なプロファイルを捜し出し対応するコマンドを検
出したら、認識サブシステムがその対応するコマンドを
呼び出す。プロファイルは認識イベントの名前をそのコ
マンドに対応づける。
【００３４】プロファイルは、ユーザによってかあるい
は米国特許第5,157,384 号に開示されるようなＡＵＩ制
御パネルによる対話によってかのいずれかで設定され
る。別の方法として、プロファイルはアプリケーション
によって発送されてもよい。プロファイルのライタ(wri
ter)はエンドユーザであり、アプリケーションプロファ
イルは常にシステムプロファイルに優先する。
【００３５】ターゲットオブジェクトまたは翻訳エージ
ェントからのフィードバックは、入力イベントがターゲ
ットオブジェクトによってうまく認識されたことを認識
サブシステムに述べる。また、プロバイダによって識別
子で認識サブシステムに転送されるその情報は図形的ま
たは可聴的なデータを包含してもよい。図形的または可
聴的なデータは図形ユーザインタフェースに使用されて
うまくいった認識をユーザに知らせる。例えば、円のジ
ェスチャーがタッチセンサに描かれた場合、円の画像が
ユーザに提供される。画像がどのように表示されるかの
外観、表示時間の長さ、円の色、などがデータに包含さ
れてもよい。同様に、音の持続期間と周波数のようなフ
ィードバックの可聴的成分が音声データに包含される。
【００３６】システムはプロバイダが新規の入力イベン
トを付加することを可能にする。認識処理の機能はいつ
拡張されてもよい。
【００３７】図６は、認識サブシステムが認識イベント
に関連づける認識イベントおよび識別番号の２つのテー
ブルを示す。また、認識サブシステムが入力はシステム
によってうまく理解されたことをユーザに指示するのに
使用することができる付加的な任意選択の情報も示され
る。ジェスチャー認識プロバイダに関しては、５つのジ
ェスチャー認識のジェスチャー入力イベントが一覧表に
されており、それは、円、上矢印、下矢印、シグマ記
号、文字Ｍに似たジェスチャー、である。それぞれの認
識イベントは例えば円のジェスチャーに対する”Ｇ Ｃ
ＩＲＣＬＥ”のような識別文字列によって表現され、円
の場合には登録番号”Ｒ１”が認識サブシステムによっ
て割り当てられる。ジェスチャーがうまく認識されたと
き、システムはビープ音を鳴らし、システムへのジェス
チャー入力の画像をフラッシュする。音声認識プロバイ
ダに対するテーブルも類似しており、送信、ダイヤル、
コメント、大、小、の５つの認識イベントを有し、それ
らは、それが音声認識プロバイダからのものであること
を指示するために文字Ｖで始まり、登録処理の間に識別
番号を割り当てられる。音声入力がうまく認識されたと
き、発音に対応するアスキーテキストが図形ユーザイン
タフェースの音声アイコン上に印字される。
【００３８】図７は仮想のオフィスアプリケーションの
ためのアプリケーションプロファイルの例を示す。それ
ぞれの識別番号Ｒ１〜Ｒ１０は対応するコマンドと組み
合わせられる。例えば、識別番号Ｒ１を割り当てられた
円のジェスチャーは、拡張ユーザインタフェースのユー
ティリティーであるポップアップキーボードを呼び出す
対応するコマンド”ＰＯＰＫＥＹ”をもたらすことにな
る。これは、プロファイルが属するオブジェクト以外の
オブジェクトに適用される１つの対応するコマンドの例
である。識別番号は内部的に使用されるので、それらは
文字列を使用する必要はない。
【００３９】
【発明の効果】上記のように、本発明によれば、アプリ
ケーションプログラムまたはオペレーティングシステム
を変更することなく、既存のプログラムによって新規の
入力装置の使用を適合させることができる効果を有す
る。
【図面の簡単な説明】
【図１】フィンガータッチとスタイラス位置の検出に使
用されるオーバレイ装置の前面図である。
【図２】フィンガータッチおよびスタイラス位置の統合
された検出システムの構成図である。
【図３】本発明によるオペレーティングシステム拡張機
能を備えたデータ処理システムにおいて動作している複
数のアプリケーションプログラムのブロック構成図であ
る。
【図４】本発明の登録手順のフローチャートである。
【図５】すでに登録された入力イベントの処理フローチ
ャートである。
【図６】認識イベントのテーブルである。
【図７】インタフェースプロファイルである。
【符号の説明】
１０・・・ワークパッド １２・・・ハウジング １４・・・ウィンドウ １６・・・タッチオーバレイ １８・・・液晶表示装置 ２０・・・スタイラス ２２・・・ケーブル ２４、２５、２６、２７・・・ボタンスイッチ ２８・・・ワークパッドケーブル ５８・・・バス ６８・・・システムバス ７０・・・アダプタカードバス ７２・・・Ｉ／Ｏバス １２４・・・拡張情報キュー １３０・・・環境リンクモジュール
───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジョン エム． ゼッツ アメリカ合衆国22043、バージニア州フ ォールズ チャーチ、カービー コート 6640

Claims (9)

    (57)【特許請求の範囲】
  1. 【請求項１】 システムバスに結合されたメモリ、プロ
    セッサ、および表示装置を備えるシステムに第１の入力
    装置を登録する方法であって、 第１の入力装置に関する第１の組の入力イベントをメモ
    リの認識サブシステムに転送する段階と、 認識サブシステムによって対応する識別子をそれぞれの
    入力イベントに割り当てる段階と、 第１の組の入力イベントおよび対応する識別子を認識サ
    ブシステムおよび第１の入力装置に結合された第１の認
    識プロバイダに格納する段階と、 を備えたことを特徴とする入力装置の登録方法。
  2. 【請求項２】 第１の入力装置からの第１の入力信号を
    転送する段階と、 第１の認識プロバイダによって第１の入力信号を第１の
    入力イベントとして認識する段階と、 第１の入力イベントの対応する識別子を認識サブシステ
    ムに転送する段階と、 をさらに備えた請求項１に記載の入力装置の登録方法。
  3. 【請求項３】 第２の入力装置に関する第２の組の入力
    イベントをメモリの認識サブシステムに転送する段階
    と、 認識サブシステムによって対応する識別子を第２の組の
    それぞれの入力イベントに割り当てる段階と、 第２の組の入力イベントおよび対応する識別子を認識サ
    ブシステムおよび第２の入力装置に結合された第２の認
    識プロバイダに格納する段階と、 をさらに備えた請求項１に記載の入力装置の登録方法。
  4. 【請求項４】 システムバスに結合されたメモリ、プロ
    セッサ、および表示装置を備えて第１の入力装置を登録
    するシステムにおいて、 第１の入力装置に関する第１の組の入力イベントをメモ
    リの認識サブシステムに転送する手段と、 認識サブシステムによって対応する識別子をそれぞれの
    入力イベントに割り当てる手段と、 第１の組の入力イベントおよび対応する識別子を認識サ
    ブシステムおよび第１の入力装置に結合された第１の認
    識プロバイダに格納するための手段と、 を備えたことを特徴とする入力装置の登録システム。
  5. 【請求項５】 第１の入力装置からの第１の入力信号を
    転送する手段と、 第１の認識プロバイダによって第１の入力信号を第１の
    入力イベントとして認識する手段と、 第１の入力イベントの対応する識別子を認識サブシステ
    ムに転送する手段と、 をさらに備えた請求項４に記載の入力装置の登録システ
    ム。
  6. 【請求項６】 第２の入力装置に関する第２の組の入力
    イベントをメモリの認識サブシステムに転送する手段
    と、 認識サブシステムによって対応する識別子を第２の組の
    それぞれの入力イベントに割り当てる手段と、 第２の組の入力イベントおよび対応する識別子を認識サ
    ブシステムおよび第２の入力装置に結合された第２の認
    識プロバイダに格納するための手段と、 をさらに備えた請求項４に記載の入力装置の登録システ
    ム。
  7. 【請求項７】 システムバスに結合されたメモリ、プロ
    セッサ、および表示装置を備えるシステムに入力装置を
    登録する方法であって、 入力装置に関する１つの組の入力イベントをメモリの認
    識サブシステムに転送する段階と、 認識サブシステムからの対応する１つの組の識別子を受
    信する段階であって、ここで、それぞれの識別子は１つ
    の組の入力イベントの選択された１つに対応している、
    前記受信する段階と、 １つの組の入力イベントおよび対応する識別子をメモリ
    に格納する段階と、 を備えたことを特徴とする入力装置の登録方法。
  8. 【請求項８】 入力装置によって転送された第１の入力
    信号を１つの組の入力イベントにおける第１の入力イベ
    ントとして認識する段階と、 第１の入力イベントの対応する識別子を認識サブシステ
    ムに転送する段階と、 をさらに備えた請求項７に記載の入力装置の登録方法。
  9. 【請求項９】 システムバスに結合されたメモリ、プロ
    セッサ、および表示装置を備えるシステムに第１の入力
    装置を登録する方法であって、 第１の入力装置に関する第１の組の入力イベントを受信
    する段階と、 対応する識別子をそれぞれの入力イベントに割り当てる
    段階と、 対応する識別子を入力装置に結合されたプロバイダに転
    送する段階と、 第１の組の入力イベントおよび対応する識別子を格納す
    る段階と、 を備えたことを特徴とする入力装置の登録方法。
JP5238549A 1992-10-26 1993-09-24 入力装置の登録方法及びシステム Expired - Lifetime JP2501006B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US07/966,206 US5442376A (en) 1992-10-26 1992-10-26 Handling multiple command recognition inputs in a multi-tasking graphical environment
US966206 1992-10-26

Publications (2)

Publication Number Publication Date
JPH06214933A JPH06214933A (ja) 1994-08-05
JP2501006B2 true JP2501006B2 (ja) 1996-05-29

Family

ID=25511050

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5238549A Expired - Lifetime JP2501006B2 (ja) 1992-10-26 1993-09-24 入力装置の登録方法及びシステム

Country Status (3)

Country Link
US (1) US5442376A (ja)
EP (1) EP0595065A1 (ja)
JP (1) JP2501006B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5937573A (en) 1995-02-01 1999-08-17 New Oji Paper Co., Ltd Mulching paper sheet

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69432199T2 (de) * 1993-05-24 2004-01-08 Sun Microsystems, Inc., Mountain View Graphische Benutzerschnittstelle mit Verfahren zur Schnittstellebildung mit fernsteuernden Einrichtungen
JP3227906B2 (ja) * 1993-05-31 2001-11-12 富士通株式会社 手書き入力情報処理装置
US5805139A (en) * 1994-01-31 1998-09-08 Kabushiki Kaisha Toshiba Computer system with standard built-in pointing device, which is connectable to optional external pointing device
US9513744B2 (en) * 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
US6212541B1 (en) * 1994-10-24 2001-04-03 Microsoft Corporation System and method for switching between software applications in multi-window operating system
US6083270A (en) 1995-03-24 2000-07-04 The Board Of Trustees Of The Leland Stanford Junior University Devices and methods for interfacing human users with electronic devices
US5694150A (en) * 1995-09-21 1997-12-02 Elo Touchsystems, Inc. Multiuser/multi pointing device graphical user interface system
US6300936B1 (en) 1997-11-14 2001-10-09 Immersion Corporation Force feedback system including multi-tasking graphical host environment and interface device
US5825352A (en) * 1996-01-04 1998-10-20 Logitech, Inc. Multiple fingers contact sensing method for emulating mouse buttons and mouse operations on a touch sensor pad
US5898422A (en) * 1996-05-31 1999-04-27 International Business Machines Corporation Method and system for recognition of pointers
US6654955B1 (en) * 1996-12-19 2003-11-25 International Business Machines Corporation Adding speech recognition libraries to an existing program at runtime
US8020095B2 (en) 1997-11-14 2011-09-13 Immersion Corporation Force feedback system including multi-tasking graphical host environment
US6085120A (en) * 1997-11-17 2000-07-04 International Business Machines Corporation Data system processing and method for creating application extension
US6965368B1 (en) * 1999-04-06 2005-11-15 Microsoft Corporation Game control device having genre data
US7116310B1 (en) * 1999-04-06 2006-10-03 Microsoft Corporation Application programming interface that maps input device controls to software actions
US6727884B1 (en) 1999-04-06 2004-04-27 Microsoft Corporation System and method for mapping input device controls to software actions
US8050918B2 (en) * 2003-12-11 2011-11-01 Nuance Communications, Inc. Quality evaluation tool for dynamic voice portals
US7406696B2 (en) * 2004-02-24 2008-07-29 Dialogic Corporation System and method for providing user input information to multiple independent, concurrent applications
US8234120B2 (en) * 2006-07-26 2012-07-31 Nuance Communications, Inc. Performing a safety analysis for user-defined voice commands to ensure that the voice commands do not cause speech recognition ambiguities
GB2452644B (en) 2006-10-10 2009-09-16 Promethean Ltd Automatic tool docking
US7924272B2 (en) * 2006-11-27 2011-04-12 Microsoft Corporation Infrared sensor integrated in a touch panel
US8094129B2 (en) 2006-11-27 2012-01-10 Microsoft Corporation Touch sensing using shadow and reflective modes
US8269746B2 (en) 2006-11-27 2012-09-18 Microsoft Corporation Communication with a touch screen
US8595642B1 (en) 2007-10-04 2013-11-26 Great Northern Research, LLC Multiple shell multi faceted graphical user interface
US8165886B1 (en) * 2007-10-04 2012-04-24 Great Northern Research LLC Speech interface system and method for control and interaction with applications on a computing system
CN103105926A (zh) 2011-10-17 2013-05-15 微软公司 多传感器姿势识别
US20130211843A1 (en) * 2012-02-13 2013-08-15 Qualcomm Incorporated Engagement-dependent gesture recognition
US9274622B2 (en) * 2012-09-11 2016-03-01 Microsoft Technology Licensing, Llc Device specific data in a unified pointer message
BE1025596A9 (nl) * 2017-09-29 2019-05-06 Inventrans Bvba Werkwijze en inrichting en systeem voor het verschaffen van dubbele muis ondersteuning

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4686332A (en) * 1986-06-26 1987-08-11 International Business Machines Corporation Combined finger touch and stylus detection system for use on the viewing surface of a visual display device
US4451895A (en) * 1980-07-17 1984-05-29 Telesis Corporation Of Delaware, Inc. Interactive computer aided design system
JPS5968037A (ja) * 1982-09-21 1984-04-17 Canon Inc 入力装置
US4726065A (en) * 1984-01-26 1988-02-16 Horst Froessl Image manipulation by speech signals
US4587630A (en) * 1984-02-15 1986-05-06 Hewlett-Packard Company Intelligent programmable touchscreen system
US4689761A (en) * 1984-08-14 1987-08-25 Metaphor Computer Systems Multiple independent input peripherals
US4972496A (en) * 1986-07-25 1990-11-20 Grid Systems Corporation Handwritten keyboardless entry computer system
JPS63172325A (ja) * 1987-01-10 1988-07-16 Pioneer Electronic Corp タツチパネル制御装置
US4903012A (en) * 1987-01-20 1990-02-20 Alps Electric Co., Ltd. Coordinate system input device providing registration calibration and a mouse function
US4908612A (en) * 1987-09-29 1990-03-13 Penguin Products, Inc. Computer input-output device
US4931950A (en) * 1988-07-25 1990-06-05 Electric Power Research Institute Multimedia interface and method for computer system
US5047952A (en) * 1988-10-14 1991-09-10 The Board Of Trustee Of The Leland Stanford Junior University Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove
US5007085A (en) * 1988-10-28 1991-04-09 International Business Machines Corporation Remotely sensed personal stylus
US5157384A (en) * 1989-04-28 1992-10-20 International Business Machines Corporation Advanced user interface
US5218671A (en) * 1989-05-31 1993-06-08 Computer Design, Inc. Image color correction system and method

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5937573A (en) 1995-02-01 1999-08-17 New Oji Paper Co., Ltd Mulching paper sheet

Also Published As

Publication number Publication date
US5442376A (en) 1995-08-15
JPH06214933A (ja) 1994-08-05
EP0595065A1 (en) 1994-05-04

Similar Documents

Publication Publication Date Title
JP2501006B2 (ja) 入力装置の登録方法及びシステム
ES2394015T3 (es) Pizarra blanca electrónica con interfaz de usuario multifuncional
EP0394614B1 (en) Advanced user interface
US5177328A (en) Information processing apparatus
US5252951A (en) Graphical user interface with gesture recognition in a multiapplication environment
US10140016B2 (en) User input apparatus, computer connected to user input apparatus, and control method for computer connected to user input apparatus, and storage medium
US6259432B1 (en) Information processing apparatus for improved intuitive scrolling utilizing an enhanced cursor
US5790120A (en) Individually configurable panel user interface with selective launching, sticky windows, hot keys, start up options and configurable background
JP7412572B2 (ja) ウィジェット処理方法及び関連する機器
US7474299B1 (en) Method for controlling a handheld computer by entering commands onto a displayed feature of the handheld computer
EP0440812B1 (en) System and apparatus for handwritten input information
EP1040406B1 (en) Soft input panel system and method
US20030025678A1 (en) Apparatus with touch screen and method for displaying information through external display device connected thereto
JP2004532477A (ja) 改良したユーザインターフェースを有するタッチスクリーン
US5802388A (en) System and method for correction and confirmation dialog for hand printed character input to a data processing system
WO2020119486A1 (zh) 一种切换支付功能方法及电子设备
JPH06342416A (ja) 表示画面情報の分散処理のための方法および装置
WO2019072172A1 (zh) 一种显示多个内容卡片的方法及终端设备
US20120054320A1 (en) Server device, server-client system, server program, and recording medium with same recorded thereon
CN111124709A (zh) 一种文本处理方法及电子设备
CN108780400B (zh) 数据处理方法及电子设备
CN106775014A (zh) 一种基于压感笔的红外触摸屏的触摸数据处理方法及系统
KR950014984B1 (ko) 입력 장치로부터 고대역폭 데이타를 버퍼링하는 방법 및 데이타 처리 시스템
CN113672290B (zh) 一种文件打开方法及设备
US20100017757A1 (en) Method and system to reduce workload and skills required in usage of mouse or other pointing devices