JPH04260919A - データ処理システム - Google Patents

データ処理システム

Info

Publication number
JPH04260919A
JPH04260919A JP3094750A JP9475091A JPH04260919A JP H04260919 A JPH04260919 A JP H04260919A JP 3094750 A JP3094750 A JP 3094750A JP 9475091 A JP9475091 A JP 9475091A JP H04260919 A JPH04260919 A JP H04260919A
Authority
JP
Japan
Prior art keywords
hand
data processing
pose
processing system
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP3094750A
Other languages
English (en)
Inventor
Jacques F Gerrissen
ヤクエス　フレデリク　ヘリッセン
Itegem Jozeph P M Van
プルデント マリア ファン イテヘム ヨゼフ
Johannes R H Daamen
ヨハネス　ロマヌス　フーホ　ダーメン
Boer Jaap J De
イャープ　イェルン　デ　ブル
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Koninklijke Philips NV
Original Assignee
Philips Gloeilampenfabrieken NV
Koninklijke Philips Electronics NV
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Philips Gloeilampenfabrieken NV, Koninklijke Philips Electronics NV filed Critical Philips Gloeilampenfabrieken NV
Publication of JPH04260919A publication Critical patent/JPH04260919A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0354—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of 2D relative movements between the device, or an operating part thereof, and a plane or surface, e.g. 2D mice, trackballs, pens or pucks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04817—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance using icons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0489—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using dedicated keyboard keys or combinations thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B21/00—Teaching, or communicating with, the blind, deaf or mute
    • G09B21/009—Teaching or communicating with deaf persons

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Evolutionary Biology (AREA)
  • User Interface Of Digital Computer (AREA)
  • Digital Computer Display Output (AREA)
  • Position Input By Displaying (AREA)
  • Processing Or Creating Images (AREA)

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】
【０００１】本発明はデータ処理を可視表示するディス
プレイデバイスを具えたデータ処理システムに関するも
のである。
【０００２】このようなシステムは広く知られており、
広く使われている。このシステムのディスプレイデバイ
スはユーザ向けインタフェースとして機能する。このデ
ィスプレイデハイスは例えばシステムの状態を可視表示
し、表示された情報に基づいてユーザがシステムの処理
を制御するための何らかの操作を行い得るようにするフ
ィードバック手段として機能し得る。また、このディス
プレイデバイスはこのシステムを通してコミュニケート
する２以上のユーザ間の通信チャネル内のリンクとして
も機能し得る。
【０００３】ディスプレイデバイスを用いて行われるこ
のシステムとの対話およびこのシステムを介しての通信
はシステムとユーザとの間の情報交換をユーザの知覚に
適合する表示で実行する必要があると共にシステムが処
理し得るフォーマットに変換し得る表示で実行する必要
がある。
【０００４】
【従来の技術】システムとの対話又はシステムを介する
通信を達成するために情報をディスプレイデバイスに可
視表示する種々の方法が既知である。その一例の方法は
システムの処理の結果として発生されたテキストをユー
ザが読取れるように表示し、テキスト（例えば命令）の
入力はキーボードにより又はテキスト付き表示領域を選
択することにより実行し、このテキストと関連するデー
タをマウスを操作してカーソルを所定の表示領域に案内
し適切なボタンを押すことにより入力させるものである
。
【０００５】他の方法はジョイスティック又は他の制御
装置を操作し、それに与えた動き又は力を表示カーソル
又は他の物体の動きに変換させるものである。
【０００６】更に他の方法はディスプレイデバイスに結
合されたディジタイジングタブレット又はタッチスクリ
ーンによりデータ、例えば手書きテキスト又は手書き図
形を入力させ、ディスプレイデバイスを部分的に可視フ
ィードバック手段として機能させるものである。
【０００７】
【発明が解決しようとする課題】種々の用途に対しシス
テムとの対話及びシテスムを介する通信はデータをディ
スプレイデバイスに明示する方法を改良することにより
改善することができる。
【０００８】これがため、本発明の目的はユーザが推考
すべき表示情報を適切なコード（又は言語）を用いて表
わし、システムとの対話を表わす信号転送の帯域幅を減
少させ、ユーザとシステムとの対話及びシテスムを介す
る通信を一層速く容易に行い得るようにしたデータ処理
ディスプレイデバイスを具えたデータ処理システムを提
供することにある。
【０００９】
【課題を解決するための手段】この目的のために、本発
明のデータ処理システムは、更に、−図式化した人間の
手の像（以後ハンドイメージという）をディスプレイデ
バイス上に発生させる図形手段と、−前記図形手段と結
合され、前記ハンドイメージのポーズ又は一連のポーズ
を制御して少なくとも２つの異なるハンドポーズを含む
ハンドポーズ言語によりシステムを介する通信又はシス
テムとの対話を達成する制御手段と、を具えていること
を特徴とする。
【００１０】情報又は追加の情報を表わすハンドポーズ
コードによる通信又は対話はオーディオ通信の内容をハ
ンドイメージの自然のジェスチャーにより視覚的に豊か
にする特別の利点、或いは表示物体に対する意図する操
作又は表示物体に対する特定の意味の属性をハンドイメ
ージの関連するポーズにより可視表示する特別の利点を
もたらす。更に、自然のハンドジェスチャーに基づく言
語は覚え易い。更に、ハンドジェスチャー言語は対話モ
ード又は通信モードの何れのモードにおいても表示図形
に種々の処理を実行する際に低い帯域幅のコミュニケー
ションツールを必要とするだけである。例えばゆびさし
ポーズのハンドイメージを用いて特定の表示データ領域
又は表示物体を指示することができ、例えば特定の領域
又は物体を選択すること或いは特定の領域又は物体に注
意を向けさせることができる。更に他の種々のハンドジ
ェスチャーによって−ゆびさしハンドポーズを表示デー
タアイテム間でスイッチングしてこれらデータアイテム
が関連することを示すこと、−開いた手の形のハンドポ
ーズを（物体の上又はそばで）振らせることにより特定
の表示物体を除去する意図を示すこと、−縮小又は拡大
の要求時に人さし指と親指を近づける又は遠ざけるハン
ドポーズを示すことにより特定の物体のサイズの所望の
変化を示すこと、−にぎった手の形のハンドポーズによ
り仮想物体をつかまえ、これを短距離移動させることに
より物体の意図する移転を示すことができる。
【００１１】各別のサインを表わす各別の静止ハンドイ
メージに加えて、一連のハンドイメージは複合サインを
表わすのに特に好適である。例えば特定の物体に実行す
べき特定の処理は選択サインに、特定の処理に対応する
サイン又は一連のサインを続けることにより表わすこと
ができる。
【００１２】このようなジェスチャーの意味はわかり易
く、且つ情報が簡約された形で与えられるから、ジェス
チャー語いが数個、例えば６種類のサインに制限される
場合でも、これらジェスチャーの種々の組合せが複合サ
インを発生することを考慮すればシステムとの対話及び
システムを介する通信を高速に且つ容易に進めることが
できる。
【００１３】語いの制限は、この種のデータ通信をユー
ザに容易に使用可能にすると共に一度覚えれば忘れるこ
とはないという利点をもたらす。更に、この語いがハン
ドポーズコードに関する限りシステムの通信チャネルの
帯域幅及び語いの記憶用のシステムメモリ容量を制限す
ることができ、これによりコストの節約及び速度の向上
が得られる。
【００１４】システムを介する通信とシステムとの対話
を同一のハンドポーズ言語を用いて交互に生じさせるこ
とができる。換言すれば、ユーザが解釈するハンドポー
ズサインはハンドポーズサイン命令によりシステムが実
行する処理と一致する。
【００１５】本発明は、例えばコンピュータ支援共同作
業に使用することができる。この場合には数人のユーザ
が仮想共通作業領域を共有し、各ユーザがこの作業領域
にアクセスしこれを可視表示して仕事を共同して実行す
ることができる。この仮想作業領域内に情報アイテムを
導入して可視表示し、これらアイテムを適当なハンドポ
ーズイメージサインの供給に応答して再配置、寸法変更
及び移転させることがきる。更に、表示情報アイテムに
対する種々の処理の実行を開始する前に、意図する処理
を表わすハンドイメージサインは参加者に次の実行段階
のための準備をさせる手段として機能する。これがため
、共同設計又は共同図形化を明瞭且つ自然な方法で実行
し得る。この共同作業において個々の参加者により制御
されるハンドイメージは例えばハンドイメージの色、サ
イズ又は形に基づいてパーソナル化するのが好ましい。 この属性により各参加者を仮想作業領域内で簡単に識別
することが可能になる。
【００１６】他の用途として、ユーザとコンピュータ援
用設計（ＣＡＤ）システムとの対話がある。例えばスケ
ーリング命令、除去命令及び移転命令を処理すべきアイ
テムが表示されたとき関連するハンドポーズサインと関
連する適当なキーを押すことにより人間工学的方法でシ
ステム内に導入することができる。これがため、慣例の
システムのように表示されている作業領域と特定の処理
を選択するメニューとを切り換える必要がなくなる。
【００１７】カーソルを図式化したハンドイメージとし
て与え、このイメージのポーズを表わすべき所望のサイ
ンに応じて制御し得るようにするのが好ましい。本発明
は図式化したハンドイメージをカーソルとして用い得る
が、複数のハンドイメージを使用可能にすることにより
マルチサイン通信に向けた用途を拡張することができる
。
【００１８】本発明データ処理システムの一実施例にお
いて、前記制御手段が−前記ハンドイメージの複数のポ
ーズを記憶するメモリと、−前記メモリに結合され、表
示すべき特定のハンドポーズ又は特定の一連のハンドポ
ーズを選択する選択手段と、を具えていることを特徴と
する。
【００１９】通信又は対話は静止ハンドサイン又は動く
ハンドサインの双方に基づくものとし得る。後者の場合
には選択手段を操作して特定の一連の記憶ハンドイメー
ジをアドレスし、表示されたとき動く印象をえるように
することができる。
【００２０】本発明データ処理システムの他の実施例に
おいては、前記選択手段が−ユーザにより制御されるキ
ーを含み、特定のキーを駆動することにより表示すべき
特定のハンドポーズを選択するキーボード、−特定のボ
タンを駆動することにより特定のハンドポーズ又は一連
のハンドポーズを選択するマルチボタンマウス装置、の
少なくとも１つを具えていることを特徴とする。
【００２１】これらキー又はボタンは、これらキー又は
ボタンを実際に操作するときユーザの手が前記キー又は
ボタンにより選択されるハンドイメージポーズと一致す
るポーズになるように配列し、システムへのアクセスが
人間工学に適合するようにするのが好ましい。選択手段
は右手用と左手用の両方を製造すべきである。
【００２２】ハンドポーズ言語に関する文化の相違を考
慮するのが好ましい（例えば、デスモンド　　モリス社
刊　”Ｍａｎｗａｔｃｈｉｎｇ”，　１９７７年参照）
　。これがため、数種類のハンドポーズ語いをシステム
メモリ内に記憶してもよい。
【００２３】ハンドポーズコードは片手の特定のポーズ
や動きに関連するサインに制限する必要はない。例えば
＜物体をもっと近づける＞サインを開いた両手をほぼ平
行にして互いに近づけることにより表わすことができる
。
【００２４】
【実施例】図面につき本発明の実施例を詳細に説明する
。
【００２５】図１は多数のユーザの通信に用いる本発明
のデータ処理システムの一例を略図示したものである。 このデータ処理システム１０は結合回路網１４を介して
相互結合された複数個のステーション１２を具える。各
ステーション１２により全てのステーション１２に共通
の仮想作業領域にアクセスし得ると共に各ステーション
１２からこの仮想作業領域内にデータを入力させること
ができる。仮想作業領域は各ステーション１２内のディ
スプレイデバイス１６に可視表示される。表示されたデ
ータに対する処理はハンドポーズコードにより提案され
、或いは実行される。この目的のために、各ステーショ
ン１２は慣例の英数字キーボード又はディジタイジング
タブレットに加えてメモリ２０に記憶されている複数の
ハンドポーズイメージから特定のハンドポーズイメージ
を選択する選択手段１８を含んでいる。この特定のハン
ドポーズイメージは可視表示中の共通仮想作業領域内へ
導入すべき特定の情報を表わす。例えば、キーワード又
はシンボルのような情報アイテムについての順序づけ、
設計又は図式化の問題の共同解決のために、これらのア
イテムを慣例の方法で仮想作業領域内に導入し、これら
のアイテムに対する所望の処理を同一の仮想作業領域内
に導入した特定のハンドポーズイメージにより可視表示
し、全ユーザが見えるようにすることができる。更に、
所望の処理をユーザ及びシステムの双方に意味が解って
いる同一のハンドポーズイメージにより実行させること
ができる。例えば、表示された情報アイテムと視覚的に
関連する特定の領域内に特定のハンドポーズサイン又は
複合サインを導入した後にこのハンドポーズサイン又は
複合サインにより表わされた特定の処理の実行について
同意に達したとき、例えば起動ボタン又はキーを押して
実行を開始させることができる。ユーザは集会室や会議
ホールのような同一の実際の作業領域内にいる必要はな
い点に注意されたい。実際にユーザは異なる室、ビルデ
ィング又は国にちらばっていてもよい。
【００２６】図２は、ユーザとシステムの対話用に好適
な本発明データ処理システムの一例を示す。このデータ
処理システム１０はディスプレイデバイス１６をユーザ
向けフィードバック手段として具えると共に、上述の慣
例のデータ入力装置（図示せず）に加えてメモリ２０に
記憶されたハンドポーズコードに基づいて所定の処理を
選択する選択装置１８を具える。選択したハンドポーズ
サインをシステム１０に入力すると、これと関連する処
理がディスプレイデバイス１６に示されているデータに
ついて処理装置２２により実行される。例えば、設計の
仕事を、例えば選択した物体像の寸法を減少させるハン
ドポーズコード、この像を拡大するハンドポーズコード
、２つの選択した物体間の水平間隔を増大させるハンド
ポーズコード、特定の特徴部分を除去するハンドポーズ
コード等を用いて実行することができる。この作業は、
次の処理を実行すべきディスプレイ上のエンティティを
指し示すハンドポーズコードを最初に入力し、次いで意
図する処理と一致するハンドポーズコードを選択するこ
とにより実行することができる。
【００２７】図３Ａ〜３Ｈは種々の処理を表わす図式化
したハンドイメージポーズの例を図示したものである。
【００２８】図３Ａは＜オープンファイル＞処理を表わ
すのに用い得るサインを示す。これと反対の処理＜クロ
ーズファイル＞を表わすサインは図３Ｂに示す。同一の
サイン対を用いて、特定の表示物体を表示領域を横切る
移送に対しつかまえ（図３Ｂ）、これを開放する（図３
Ａ）まで保持して物体を移転させることができる。
【００２９】図３Ｃ及び３Ｄのサインは＜選択した（又
は全ての）直線寸法の拡大＞処理及び＜選択した（又は
全ての）直線寸法の縮小＞処理に用いることができる。 図３Ｅは表示されている特定のアイテムを指し示すサイ
ンを示し、指示選択に用いることができる。図３Ｆのサ
インはこのサインを特定の表示特徴部上に置くかその上
で振らせることによりこの特定特徴部を削除又は除去す
るのに用いることができる。このサインは一連の処理ス
テップの中断の指示にも用いることができ、＜停止＞サ
インとすることもできる。図３Ｇのサインは２つの表示
物体間の所定の方向の距離の意図する変化を指示するの
に用いることができる。図３Ｈのサインは窓を指示する
のに用いることができ、これにより窓内に示されるもの
に注意を引きつけ、例えば処理すべき物体の数を限界す
ることができる。
【００３０】このように、ハンドポーズイメージ及びそ
の系列を自然のジェスチャー言語の等価物として用いて
ユーザが理解すべき情報或いはシステムが処理すべき情
報を簡約化した形で表現することができる。
【００３１】ハンドポーズサインは静止像として表示す
ることができ、また実際のジェスチャー言語のように動
きを与えることもできる。例えば、図３Ｃのサインは人
さし指と親指の先が図示の位置ともっと開いた位置との
間でスイッチングさせて表示することができる。或いは
又、グレートーンの色を周期的にスイッチングすること
もできる。
【００３２】図３Ｃ，３Ｄ及び３Ｇのハンドポーズサイ
ンに対しては、これらサインにより指示されたそれぞれ
の処理に関する直線寸法の選択を、選択装置にハンドイ
メージポーズのいくつかの向きの１つを選択するキー又
はボタン又はハンドイメージポーズを回転させるノブを
設け、これにより特定の寸法を選択することにより達成
することができる。
【００３３】前述したように、ハンドイメージポーズを
組み合わせて複合的意味を表わすことができる。例えば
特定の表示物体の選択又は指示（図３Ｅ）とともにこの
物体の上又はそのそばで開いた手（図３Ｆ）を振らせる
ことによりこの物体の除去の意志表示を行い、駆動時に
この物体を除去させることがてきる。他の組合せは例え
は仮想作業領域の一部分、例えば一群の物体に注意を向
けさせる図３Ｈの窓サインの使用に続いて図３Ｇのサイ
ンを使用し、開いた両手を近づけることにより窓内の一
群の物体を一層コンパクトにする処理又はサイズの均等
縮小処理を指示することができる。
【００３４】図４は本発明データ処理システムに用いる
マルチボタンマウスの一例の概略図を示す。マウス４０
はケース４２を具え、その形はユーザの手に合わせてあ
る。 ボタン４４，　４６，　４８，　５０，　５２，　５４
及び５６の位置は人間工学に適合した操作性が得られる
ように選択する。ボタン４６の位置は図３Ｂのサインに
対応するにぎった手にほぼ対応する。ボタン４８の位置
はディスプレイ上の表示アイテムを指示又は選択するの
に用いることができ、この場合ユーザの手が図３Ｅのハ
ンドイメージの位置にくる。ボタン５０及び５２はユー
ザの手に図３Ｃ及び３Ｄのハンドポーズに対応するポー
ズを採らせ、これらハンドポーズと関連する処理を実行
させるのに好適である。ボタン５４は同じく人間工学に
従って、図３Ａのサインで表される＜オープンファイル
＞命令又は＜表示物体解放＞命令を実行させるのに用い
ることができる。破線で示すボタン５６は＜中断＞処理
又は＜削除＞命令を選択するのに用いることができる。
【図面の簡単な説明】
【図１】コンピュータ支援共同作業用の本発明データ処
理システムの一例の概略図である。
【図２】ユーザとシステムとの間の対話用に好適な本発
明データ処理システムの一例の概略図である。
【図３】Ａ〜Ｈは本発明データ処理システムに用いる図
式化したハンドポーズサインの一例を示す図である。
【図４】本発明データ処理システムに用いるマルチボタ
ンマウスの一例を示す図である。
【符号の説明】
１０　　データ処理システム １２　　ステーション １４　　結合回路網 １６　　ディスプレイデバイス １８　　選択装置 ２０　　メモリ ２２　　処理装置 ４０　　マルチボタンマウス ４２　　ケース ４４〜５６　　ボタン

Claims (8)

    【特許請求の範囲】
  1. 【請求項１】　　データ処理を可視表示するディスプレ
    イデバイスを具えたデータ処理システムにおいて、該シ
    ステムは−図式化した人間の手の像（以後ハンドイメー
    ジという）をディスプレイデバイス上に発生させる図形
    手段と、−前記図形手段と結合され、前記ハンドイメー
    ジのポーズ又は一連のポーズを制御して少なくとも２つ
    の異なるハンドポーズを含むハンドポーズ言語によりシ
    ステムを介する通信又はシステムとの対話を達成する制
    御手段と、を具えていることを特徴とするデータ処理シ
    ステム。
  2. 【請求項２】　　前記制御手段が−前記ハンドイメージ
    の複数のポーズを記憶するメモリと、−前記メモリに結
    合され、表示すべき特定のハンドポーズ又は特定の一連
    のハンドポーズを選択する選択手段と、を具えているこ
    とを特徴とする請求項１記載のデータ処理システム。
  3. 【請求項３】　　前記選択手段が−ユーザにより制御さ
    れるキーを含み、特定のキーを駆動することにより表示
    すべき特定のハンドポーズを選択するキーボード、−特
    定のボタンを駆動することにより特定のハンドポーズ又
    は一連のハンドポーズを選択するマルチボタンマウス装
    置、の少なくとも１つを具えていることを特徴とする請
    求項２記載のデータ処理システム。
  4. 【請求項４】　　前記選択手段がマルチボタンマウス装
    置を具えている請求項３記載のデータ処理システムにお
    いて、各ボタンの位置は特定のマウス操作を選択するユ
    ーザの手の特定のハンドポーズと一致させ、該特定のハ
    ンドポーズは特定の処理を反映するハンドポーズ言語に
    従ったハンドポーズサインに似せてあることを特徴とす
    るデータ処理システム。
  5. 【請求項５】前記制御手段は表示されたハンドイメージ
    に該制御手段のコントローラのアイデンティティを表わ
    す識別子を割り当てる識別手段を含んでいることを特徴
    とする請求項１記載のデータ処理システム。
  6. 【請求項６】　　前記識別手段は次の識別子：−複数の
    色の中から選択した特定の色−ハンドイメージの複数の
    サイズの中から選択した特定のサイズ、−複数の形の中
    から選択した特定の形、の少なくとも１つをハンドイメ
    ージに割り当てることを特徴とする請求項５記載のデー
    タ処理システム。
  7. 【請求項７】　　請求項３に記載されたデータ処理シス
    テム用キーボード。
  8. 【請求項８】　　請求項３又は４に記載されたデータ処
    理システム用マルチボタンマウス装置。
JP3094750A 1990-04-02 1991-04-01 データ処理システム Pending JPH04260919A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP90200780A EP0450196B1 (en) 1990-04-02 1990-04-02 Data processing system using gesture-based input data
NL90200780.6 1990-04-02

Publications (1)

Publication Number Publication Date
JPH04260919A true JPH04260919A (ja) 1992-09-16

Family

ID=8204983

Family Applications (1)

Application Number Title Priority Date Filing Date
JP3094750A Pending JPH04260919A (ja) 1990-04-02 1991-04-01 データ処理システム

Country Status (5)

Country Link
US (1) US5319747A (ja)
EP (1) EP0450196B1 (ja)
JP (1) JPH04260919A (ja)
KR (1) KR100209867B1 (ja)
DE (1) DE69032645T2 (ja)

Families Citing this family (110)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB9025286D0 (en) * 1990-11-21 1991-01-02 Smiths Industries Plc Radar apparatus
JP3161725B2 (ja) * 1990-11-21 2001-04-25 株式会社日立製作所 ワークステーションおよび共同情報処理システム
WO1992009948A1 (en) * 1990-11-30 1992-06-11 Vpl Research, Inc. Improved method and apparatus for creating virtual worlds
US5262777A (en) * 1991-11-16 1993-11-16 Sri International Device for generating multidimensional input signals to a computer
US5398310A (en) * 1992-04-13 1995-03-14 Apple Computer, Incorporated Pointing gesture based computer note pad paging and scrolling interface
US5563996A (en) * 1992-04-13 1996-10-08 Apple Computer, Inc. Computer note pad including gesture based note division tools and method
FR2695745B1 (fr) * 1992-09-15 1994-10-28 Sextant Avionique Procédé de dialogue gestuel multimode dans un environnement virtuel.
FR2696574B1 (fr) * 1992-10-06 1994-11-18 Sextant Avionique Procédé et dispositif d'analyse d'un message fourni par des moyens d'interaction à un système de dialogue homme-machine.
US5561811A (en) * 1992-11-10 1996-10-01 Xerox Corporation Method and apparatus for per-user customization of applications shared by a plurality of users on a single display
US5659764A (en) * 1993-02-25 1997-08-19 Hitachi, Ltd. Sign language generation apparatus and sign language translation apparatus
JPH0773190A (ja) * 1993-04-29 1995-03-17 Matsushita Electric Ind Co Ltd ペンベースコンピューターシステム用絵文字ネーミング
JP3630712B2 (ja) * 1994-02-03 2005-03-23 キヤノン株式会社 ジェスチャー入力方法及びその装置
US5732227A (en) * 1994-07-05 1998-03-24 Hitachi, Ltd. Interactive information processing system responsive to user manipulation of physical objects and displayed images
US6266057B1 (en) * 1995-07-05 2001-07-24 Hitachi, Ltd. Information processing system
JPH0822370A (ja) * 1994-07-06 1996-01-23 Minolta Co Ltd 情報処理装置
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
EP0823683B1 (en) * 1995-04-28 2005-07-06 Matsushita Electric Industrial Co., Ltd. Interface device
US5831584A (en) * 1995-07-28 1998-11-03 Chrysler Corporation Hand calibration system and virtual display selection for vehicle simulator
US5784056A (en) * 1995-12-29 1998-07-21 Sun Microsystems, Inc. System and method for temporally varying pointer icons
US5796395A (en) * 1996-04-02 1998-08-18 Wegener Internet Projects Bv System for publishing and searching interests of individuals
US5764222A (en) * 1996-05-28 1998-06-09 International Business Machines Corporation Virtual pointing device for touchscreens
US5748184A (en) * 1996-05-28 1998-05-05 International Business Machines Corporation Virtual pointing device for touchscreens
US5874948A (en) * 1996-05-28 1999-02-23 International Business Machines Corporation Virtual pointing device for touchscreens
US5808605A (en) * 1996-06-13 1998-09-15 International Business Machines Corporation Virtual pointing device for touchscreens
US5835079A (en) * 1996-06-13 1998-11-10 International Business Machines Corporation Virtual pointing device for touchscreens
US6067079A (en) * 1996-06-13 2000-05-23 International Business Machines Corporation Virtual pointing device for touchscreens
US5864635A (en) * 1996-06-14 1999-01-26 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by stroke analysis
US5862256A (en) * 1996-06-14 1999-01-19 International Business Machines Corporation Distinguishing gestures from handwriting in a pen based computer by size discrimination
US5856824A (en) * 1996-06-25 1999-01-05 International Business Machines Corp. Reshapable pointing device for touchscreens
US5812118A (en) * 1996-06-25 1998-09-22 International Business Machines Corporation Method, apparatus, and memory for creating at least two virtual pointing devices
US5790104A (en) * 1996-06-25 1998-08-04 International Business Machines Corporation Multiple, moveable, customizable virtual pointing devices
US5933134A (en) * 1996-06-25 1999-08-03 International Business Machines Corporation Touch screen virtual pointing device which goes into a translucent hibernation state when not in use
US5801707A (en) * 1996-07-19 1998-09-01 Motorola, Inc. Method and apparatus for displaying hierarchical data associated with components of a system
US6002808A (en) * 1996-07-26 1999-12-14 Mitsubishi Electric Information Technology Center America, Inc. Hand gesture control system
US5872559A (en) * 1996-10-04 1999-02-16 International Business Machines Corporation Breakaway and re-grow touchscreen pointing device
US5870083A (en) * 1996-10-04 1999-02-09 International Business Machines Corporation Breakaway touchscreen pointing device
KR19990011180A (ko) 1997-07-22 1999-02-18 구자홍 화상인식을 이용한 메뉴 선택 방법
GB9722766D0 (en) 1997-10-28 1997-12-24 British Telecomm Portable computers
US6215498B1 (en) 1998-09-10 2001-04-10 Lionhearth Technologies, Inc. Virtual command post
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US6771294B1 (en) * 1999-12-29 2004-08-03 Petri Pulli User interface
US7148879B2 (en) * 2000-07-06 2006-12-12 At&T Corp. Bioacoustic control system, method and apparatus
US20020071277A1 (en) * 2000-08-12 2002-06-13 Starner Thad E. System and method for capturing an image
US20030001908A1 (en) * 2001-06-29 2003-01-02 Koninklijke Philips Electronics N.V. Picture-in-picture repositioning and/or resizing based on speech and gesture control
US20030048260A1 (en) * 2001-08-17 2003-03-13 Alec Matusis System and method for selecting actions based on the identification of user's fingers
US7379053B2 (en) * 2001-10-27 2008-05-27 Vortant Technologies, Llc Computer interface for navigating graphical user interface by touch
JP4298407B2 (ja) * 2002-09-30 2009-07-22 キヤノン株式会社 映像合成装置及び映像合成方法
US20050052427A1 (en) * 2003-09-10 2005-03-10 Wu Michael Chi Hung Hand gesture interaction with touch surface
US7667700B1 (en) 2004-03-05 2010-02-23 Hrl Laboratories, Llc System and method for navigating operating in a virtual environment
US20050273201A1 (en) * 2004-06-06 2005-12-08 Zukowski Deborra J Method and system for deployment of sensors
US7743348B2 (en) * 2004-06-30 2010-06-22 Microsoft Corporation Using physical objects to adjust attributes of an interactive display application
US7925996B2 (en) * 2004-11-18 2011-04-12 Microsoft Corporation Method and system for providing multiple input connecting user interface
JP2006172439A (ja) * 2004-11-26 2006-06-29 Oce Technologies Bv 手操作を用いたデスクトップスキャン
US8659546B2 (en) 2005-04-21 2014-02-25 Oracle America, Inc. Method and apparatus for transferring digital content
US8209620B2 (en) 2006-01-31 2012-06-26 Accenture Global Services Limited System for storage and navigation of application states and interactions
US7599520B2 (en) * 2005-11-18 2009-10-06 Accenture Global Services Gmbh Detection of multiple targets on a plane of interest
US20090278915A1 (en) * 2006-02-08 2009-11-12 Oblong Industries, Inc. Gesture-Based Control System For Vehicle Interfaces
US7983451B2 (en) * 2006-06-30 2011-07-19 Motorola Mobility, Inc. Recognition method using hand biometrics with anti-counterfeiting
US10915242B1 (en) * 2006-12-19 2021-02-09 Philip R. Schaefer Interface to computer and other display information
US7844915B2 (en) 2007-01-07 2010-11-30 Apple Inc. Application programming interfaces for scrolling operations
US9134904B2 (en) 2007-10-06 2015-09-15 International Business Machines Corporation Displaying documents to a plurality of users of a surface computer
US8139036B2 (en) 2007-10-07 2012-03-20 International Business Machines Corporation Non-intrusive capture and display of objects based on contact locality
US8024185B2 (en) 2007-10-10 2011-09-20 International Business Machines Corporation Vocal command directives to compose dynamic display text
US9203833B2 (en) 2007-12-05 2015-12-01 International Business Machines Corporation User authorization using an automated Turing Test
US8650634B2 (en) 2009-01-14 2014-02-11 International Business Machines Corporation Enabling access to a subset of data
JP5168161B2 (ja) * 2009-01-16 2013-03-21 ブラザー工業株式会社 ヘッドマウントディスプレイ
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
US20100257462A1 (en) * 2009-04-01 2010-10-07 Avaya Inc Interpretation of gestures to provide visual queues
US8610924B2 (en) 2009-11-24 2013-12-17 International Business Machines Corporation Scanning and capturing digital images using layer detection
US8441702B2 (en) 2009-11-24 2013-05-14 International Business Machines Corporation Scanning and capturing digital images using residue detection
US20120016641A1 (en) * 2010-07-13 2012-01-19 Giuseppe Raffa Efficient gesture processing
USD667419S1 (en) * 2011-03-09 2012-09-18 Microsoft Corporation Display screen with user interface
US8601380B2 (en) * 2011-03-16 2013-12-03 Nokia Corporation Method and apparatus for displaying interactive preview information in a location-based user interface
WO2012123033A1 (de) * 2011-03-17 2012-09-20 Ssi Schaefer Noell Gmbh Lager Und Systemtechnik Steuerung und überwachung einer lager- und kommissionieranlage durch bewegung und sprache
US8908894B2 (en) 2011-12-01 2014-12-09 At&T Intellectual Property I, L.P. Devices and methods for transferring data through a human body
US9025111B2 (en) 2012-04-20 2015-05-05 Google Inc. Seamless display panel using fiber optic carpet
US8782549B2 (en) 2012-10-05 2014-07-15 Google Inc. Incremental feature-based gesture-keyboard decoding
US9021380B2 (en) * 2012-10-05 2015-04-28 Google Inc. Incremental multi-touch gesture recognition
US8701032B1 (en) 2012-10-16 2014-04-15 Google Inc. Incremental multi-word recognition
US8850350B2 (en) 2012-10-16 2014-09-30 Google Inc. Partial gesture text entry
US8843845B2 (en) 2012-10-16 2014-09-23 Google Inc. Multi-gesture text input prediction
US9164596B1 (en) 2012-10-22 2015-10-20 Google Inc. Method and apparatus for gesture interaction with a photo-active painted surface
US8819574B2 (en) 2012-10-22 2014-08-26 Google Inc. Space prediction for text input
US9195320B1 (en) 2012-10-22 2015-11-24 Google Inc. Method and apparatus for dynamic signage using a painted surface display system
US9014417B1 (en) 2012-10-22 2015-04-21 Google Inc. Method and apparatus for themes using photo-active surface paint
US8832589B2 (en) 2013-01-15 2014-09-09 Google Inc. Touch keyboard using language and spatial models
DE102013207528A1 (de) 2013-04-25 2014-10-30 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Interagieren mit einem auf einer Datenbrille angezeigten Objekt
US9081500B2 (en) 2013-05-03 2015-07-14 Google Inc. Alternative hypothesis error correction for gesture typing
US20150058774A1 (en) * 2013-08-22 2015-02-26 Intuit Inc. Gesture-based visualization of financial data
US10108984B2 (en) 2013-10-29 2018-10-23 At&T Intellectual Property I, L.P. Detecting body language via bone conduction
US9594433B2 (en) 2013-11-05 2017-03-14 At&T Intellectual Property I, L.P. Gesture-based controls via bone conduction
US9349280B2 (en) 2013-11-18 2016-05-24 At&T Intellectual Property I, L.P. Disrupting bone conduction signals
US10678322B2 (en) 2013-11-18 2020-06-09 At&T Intellectual Property I, L.P. Pressure sensing via bone conduction
US9715774B2 (en) 2013-11-19 2017-07-25 At&T Intellectual Property I, L.P. Authenticating a user on behalf of another user based upon a unique body signature determined through bone conduction signals
US9405892B2 (en) 2013-11-26 2016-08-02 At&T Intellectual Property I, L.P. Preventing spoofing attacks for bone conduction applications
USD757114S1 (en) * 2014-02-21 2016-05-24 Samsung Electronics Co., Ltd. Display screen or portion thereof with icon
US9582071B2 (en) 2014-09-10 2017-02-28 At&T Intellectual Property I, L.P. Device hold determination using bone conduction
US10045732B2 (en) 2014-09-10 2018-08-14 At&T Intellectual Property I, L.P. Measuring muscle exertion using bone conduction
US9589482B2 (en) 2014-09-10 2017-03-07 At&T Intellectual Property I, L.P. Bone conduction tags
US9882992B2 (en) 2014-09-10 2018-01-30 At&T Intellectual Property I, L.P. Data session handoff using bone conduction
US9600079B2 (en) 2014-10-15 2017-03-21 At&T Intellectual Property I, L.P. Surface determination via bone conduction
US10477328B2 (en) 2016-08-01 2019-11-12 Qualcomm Incorporated Audio-based device control
US10831316B2 (en) 2018-07-26 2020-11-10 At&T Intellectual Property I, L.P. Surface interface
JP7330507B2 (ja) * 2019-12-13 2023-08-22 株式会社Agama-X 情報処理装置、プログラム、及び、方法
CN111228793B (zh) * 2020-01-21 2021-11-19 腾讯科技（深圳）有限公司 交互界面的显示方法和装置、存储介质及电子装置
USD999776S1 (en) * 2020-04-29 2023-09-26 Toontrack Music Ab Display screen or portion thereof with graphical user interface
USD1000474S1 (en) * 2021-03-17 2023-10-03 Beijing Xiaomi Mobile Software Co., Ltd. Display screen with animated graphical user interface
USD1017637S1 (en) * 2022-01-20 2024-03-12 Clo Virtual Fashion Inc. Display panel with icon
USD1017638S1 (en) * 2022-01-20 2024-03-12 Clo Virtual Fashion Inc. Display panel with icon

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4414537A (en) * 1981-09-15 1983-11-08 Bell Telephone Laboratories, Incorporated Digital data entry glove interface device
US5008853A (en) * 1987-12-02 1991-04-16 Xerox Corporation Representation of collaborative multi-user activities relative to shared structured data objects in a networked workstation environment
US4974173A (en) * 1987-12-02 1990-11-27 Xerox Corporation Small-scale workspace representations indicating activities by other users
US4878843A (en) * 1988-06-08 1989-11-07 Kuch Nina J Process and apparatus for conveying information through motion sequences
US5047952A (en) * 1988-10-14 1991-09-10 The Board Of Trustee Of The Leland Stanford Junior University Communication system for deaf, deaf-blind, or non-vocal individuals using instrumented glove

Also Published As

Publication number Publication date
EP0450196B1 (en) 1998-09-09
EP0450196A1 (en) 1991-10-09
DE69032645D1 (de) 1998-10-15
US5319747A (en) 1994-06-07
KR910018936A (ko) 1991-11-30
DE69032645T2 (de) 1999-04-08
KR100209867B1 (ko) 1999-07-15

Similar Documents

Publication Publication Date Title
JPH04260919A (ja) データ処理システム
EP0192927A2 (en) Method of editing graphic objects in an interactive draw graphic system using implicit editing actions
JPH0822370A (ja) 情報処理装置
EP1987412B1 (en) Graphic user interface device and method of displaying graphic objects
KR100910759B1 (ko) 전자기기에서의 사용자 인터페이스 제공 방법 및 그 장치
WO2016107462A1 (zh) 一种信息输入方法、装置及智能终端
US20120313968A1 (en) Image display system, information processing apparatus, display device, and image display method
JP2000181608A (ja) 仮想入力装置
KR20100010980A (ko) 단말 터치스크린에서 직관적인 파일 관리를 위한 장치 및방법
KR100762944B1 (ko) 화면자판 편집기와 편집방법
JPS62150423A (ja) 表示制御装置
EP1124176B1 (en) Display system
JPH03256116A (ja) 情報処理装置及びメニュー表示方法
JPH03144719A (ja) 情報処理装置及び情報処理方法
JPH0470925A (ja) ヘルプメッセージ表示方式
JPH04175960A (ja) 通信制御方式
JPH0452922A (ja) マウス入力方式
KR20150105127A (ko) 터치 키패드의 생성 방법 및 장치
JPH04177474A (ja) 図形処理装置
JP2004102733A (ja) ポインティング装置の機能提示方法
CN118484114A (zh) 界面显示方法、装置
JP2001282405A (ja) 座標入力装置
Reuhman A short route to tgif pictures
JPH08171473A (ja) 表示装置、および、その画像データの分類表示方法
JPH06337907A (ja) 図形処理装置