JPH0683512A - コマンド及びデータ入力方法及び入力装置 - Google Patents

コマンド及びデータ入力方法及び入力装置

Info

Publication number
JPH0683512A
JPH0683512A JP5012192A JP1219293A JPH0683512A JP H0683512 A JPH0683512 A JP H0683512A JP 5012192 A JP5012192 A JP 5012192A JP 1219293 A JP1219293 A JP 1219293A JP H0683512 A JPH0683512 A JP H0683512A
Authority
JP
Japan
Prior art keywords
user
hand
data
command
data input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP5012192A
Other languages
English (en)
Inventor
Hans-E Korth
ハンス−エルドマン・コルト
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of JPH0683512A publication Critical patent/JPH0683512A/ja
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected
    • G06F3/0426—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected tracking fingers with respect to a virtual keyboard projected or printed on the surface
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01H—ELECTRIC SWITCHES; RELAYS; SELECTORS; EMERGENCY PROTECTIVE DEVICES
    • H01H2217/00—Facilitation of operation; Human engineering
    • H01H2217/044—Repetitive strain injury [RSI] considerations

Abstract

(57)【要約】 【目的】処理システムでのユーザコマンド又はデータの
獲得方法が開示され、人間の手及び指の動きを分析可能
にする。 【構成】活動は、物理的には存在しない入力デバイス上
での操作として解釈される。光学的なユーザ／コンピュ
ータインターフェース構成要素の結果、手と画像間のデ
ータを獲得する視覚的なスクリーン／ユーザ経路は、ユ
ーザから処理ユニットへの結合を行う。それは、異なる
タイプのマニュアルで操作される入力デバイス（例え
ば、マウス、キーボード等）をエミュレート可能にす
る。現行のアプリケーションが最適化されるために、そ
して、ユーザの生理学上のために、機械的な入力ユニッ
トが仮想デバイスにより置き換え可能である。マニュア
ルデータ入力の速度、簡単さ、及び確かさは、維持され
る。指の動きを検出することは、反復の緊張による障害
（ＲＳＩ）症候群を減少するためのフィードバックを形
成することができる。

Description

【発明の詳細な説明】
【０００１】
【産業上の利用分野】この発明は、人間ユーザーによる
直接的なデータ又はコマンド入力のためのインターフェ
ースの分野のものである。より詳細には、この発明は、
マニュアルで操作され、指先の押圧又は手で誘導される
他の動きに反応するデバイスに関する。
【０００２】
【従来の技術】データを例えばコンピュータに入力する
ために、キーボードは最も広く使用されたデバイスであ
る。それは、デジタルデータの高速で確かな入力を可能
とする。他の入力デバイスは、特殊な、制限されたアプ
リケーションに使用される。つまり、音声認識は本質的
に速いが、それはとても大きな処理オーバヘッド必要と
する。音声から文字への変換には、あいまいさが存在す
る。自動的な手書きの解析もまた困難である。つまり、
容易に解読可能な単一の文字を入力するのは、遅く、め
んどうなことである。個人の筆跡を読むことは、複雑
で、時間を浪費するタスクになる。
【０００３】ポインティングデバイス（マウス、ペン）
が、グラフィックウィンドウ環境に関連して処理を制御
し２進データを入力するために広範囲のアプリケーショ
ンで見い出される。このような構成では、典型的な計算
セッションは、ポインタとキーボード間の頻繁な切り替
えを必要とする。
【０００４】ＣＡＤのアプリケーションでは、典型的に
は、マウスが描画編集のために使用される。他のデバイ
ス、例えばジョイスティック又はトラックボールが、透
視図の他の側面の描画を発生するために仮想３次元オブ
ジェクトを回転するような、視覚的なコマンドの簡便な
入力を可能にするために、システムに付加できる。
【０００５】グラフィックステーションで使用するため
の特別な光学的入力デバイスが、ＩＢＭ ＴＤＢ ３２
巻、ＮＯ．３Ｂ １９８９年８月、９２頁に記載されて
いる。このデバイスは、面の方向の指令を与えるため
に、面に特別な絵が描かれたハンドヘルドキューブから
成る。キューブの実際の位置及び方向は、テレビジョン
センサにより検出される。キューブに記録された絵はデ
ィジタル的に処理され、そして、コマンドが抽出され、
キューブの方向に対応して仮想的な３次元オブジェクト
のグラフィク表示を変更する。キューブが手で保持さ
れ、方向指令が部分的に覆い隠されるという事実がある
ため、この技術での固有の問題が残る。
【０００６】開発中のミニチュアステーション、先進的
なコンピュータは、外形の小型化によって特徴づけられ
る。電子機器のサイズが縮小しているが、ユーザーイン
ターフェースの寸法、例えばキーボード又はマウスは、
機能性を損失することなく、極めて小型化することはで
きない。
【０００７】この発明は、従来技術のユーザー入力デバ
イス固有の欠点を改善しようとするものである。
【０００８】
【発明が解決しようとする課題】したがって、この発明
の目的は、機械的な構成要素固有の問題を回避して、種
々のタイプのマニュアルで操作される入力デバイスをエ
ミュレートできるデータ又はコマンド処理システムにお
けるデータ又はコマンド入力のための新規で先進的なイ
ンターフェースを提供することにある。
【０００９】
【課題を解決するための手段】上述の問題点を解決する
ために、この発明では、概ね、手及び指の動き並びに人
間のユーザのジェスチュアをモニタする画像獲得システ
ムを使用して配列される光学的なユーザインターフェー
スが開示される。これらの活動は、物理的には存在しな
いコンピュータのキーボード又は他の入力デバイス上で
の操作として解釈される。画像獲得システムは、テレビ
ジョンセンサと、上記テレビジョンセンサからの信号を
ディジタル化し処理するための手段からなる。ユーザの
手、指及び指先は、テレビジョンセンサにより観察さ
れ、そして、処理信号のための上記手段により分析さ
れ、入力データ又はコマンドとしてそれぞれ解釈され
る。
【００１０】この発明の光学的なインターフェースため
に必要とされるハードウェアは、「フレーム取込み」回
路を有するビデオセンサ（例えばＣＣＤアレイ）であ
る。１００×１００の画素配列は、必要とされた画像処
理のために最小である。アナモフィック画像レンズ又は
引き伸ばされた画素を有するセンサチップが、センサを
キーボードのアスペクト比と合致させるために使用され
る。オートフォーカス又は固定フォーカスがセットアッ
プ手続きを簡単化する。カムコーダ又は電子描画センサ
のための標準的なセンサが、これらの必要性を容易に達
成する。
【００１１】もし、机の上が、人間の皮膚の陰と明らか
に相違する灰色レベルで識別できれば、白黒画像で充分
であろう。背景について（例えば机の表面）何の仮定も
なければ、低水準画像処理がオペレータの手の形を決定
するのに必要とされる。背景画像が一定のままである
（ノイズ及び陰影を除けば）という以前の知識と、隣接
する実体としての手の知識で、適度な時間量の処理しか
必要としなくなるであろう。
【００１２】カメラについては低コストなので、フレー
ム取込みのハードウェアは、駆動回路を有するスタンド
アロンのキーボードのためのコストよりもっと低くでき
ることに注意されるべきである。それ以上のコスト削減
は、欠陥画素（例えばＣＣＤチップ上で）が許容される
という事実から生じる。
【００１３】１秒間に５０枚（半フレーム）のテレビカ
メラは、１秒に数十のキーのタイプ速度をモニタするに
は十分な速度である。一般的な画像処理タスクは大きな
演算能力を要求するが、多くの以前の知識があるので、
キーストローク検出は非常に経済的にできる。
【００１４】もし、例えばモニタ又はコンピュータのハ
ウジングからオペレータの方にカメラが向けられると
（図１）、画像の最低部は、仕事をする机によって満た
される。机の上を動くオブジェクトは、その大きさ、形
状及び動きにより、非常に簡単に手であると識別され
る。手が確認されたときには、連続する画像フレーム内
でのその置換えは、より小さくなる。したがって、適度
な数の画素だけが、動きに追従し、絵のシーンの完全性
を確認するために分析されなければならない。
【００１５】仮想キーボードの上に手の形が与えられる
と、単純なモデルが指先の位置を手の輪郭の下側で突出
部（５つまで）に位置させる。手と関連する指の動きも
また小さい。これらは、小画像領域の評価により効率的
にモニタ可能である。動きが安定していることは、検索
範囲の位置を外挿することを可能にする。
【００１６】明らかに、指先動作に加えて、手の動作及
び形が、付加情報（例えば、セッションの開始／終了、
キーボードの再定義、カメラモード、又は他のコマン
ド）を有する光学的なインターフェースにジェスチュア
を送るのに使用可能である。したがって、この発明は、
一般的なデータ処理システム又は電子構成要素における
マニュアルでの操作手段に代えられる、先進的な非接触
のデータ／コマンド入力デバイスを実現する。
【００１７】光学的なユーザーインターフェースは、マ
ルチタスクのために使用できる。これらは、直ちに交換
可能であり、現行のアプリケーションで切り替えられ
る。
【００１８】英数字のキーボード：際立った利点は、
「サブノートブック」サイズのコンピュータのための仮
想キーボードにより提供される。フルサイズのキーボー
ドがコンパクトなデバイスで利用可能である。
【００１９】大文字セットのためのキーボード：実際の
キーの機能の視認化は、大文字セット（例えば漢字）の
ための複数のシフトキーを有するキーホード及びサブグ
ループのディスプレイの取扱いを可能にする。
【００２０】計算パネル：配置が、例えば、入力速度、
ファンクションキーの簡単化又は適切なセットのために
最適化できる。
【００２１】任意のアナログ及びディジタル制御パネ
ル：異なる制御パネル、例えばトラックボール、ジョイ
スティックが実際のタスクのためにエミュレート可能と
される。
【００２２】音楽楽器のためのキーボード：仮想のピア
ノキーボードが備えられると、ＰＣは完全な音楽作成の
ためのシステムとなる。外部キーボード、シンセサイザ
／シーケンスは、時代遅れになろう。衝撃的で動的な感
性は、センサーアルゴリズムに固有なものである。カメ
ラ及びピアノキーボードを有するＰＣは、絵及び曲の入
力、出力、処理、及び記憶ができる「マルチメディア」
インターフェースを備えることになろう。
【００２３】個人的な署名識別：肯定のＩＤが署名ダイ
ナミックスから得ることができる。
【００２４】更なるカメラ入力：システムの画像獲得能
力は、他の目的、例えば文書読み取り、ファックス、テ
レビ電話のために、更に使用可能である。
【００２５】
【実施例】キーボードのタスクは、利用可能なキー及び
その位置についての情報を提供し、オペレータによるキ
ーの押圧を検知し、そして、キーが触れられたときのフ
ィードバックを発生する。
【００２６】キーボードは、物理的に存在する必要はな
い。図１において、仮想キーボード３は、データ又はコ
マンド入力デバイスとして働く。インターフェースのコ
ンピュータ側からは、キーボードのオペレータの指先の
動きを検出するための方法がなければならない。従来、
これは、個々のキーの下の電気的な接触でなされてい
る。しかしながら、また、このような他のアプローチが
働く。つまり、もし、仮想キーボード上（例えば、机の
上）の手及び指の動きが光学的なシステムによりモニタ
されるなら、適切な画像処理がユーザーの意思を検出可
能である。
【００２７】図２はカメラ２により見られる領域を示
す。観察された領域４において、ユーザーの手が検出さ
れる。図２の拡大された部分５は、更なる画像処理のた
めに選択されたカメラの画像の領域を表す。
【００２８】３段階のアルゴリズムが実行時間を最小に
する（図３）。第１の段階のアルゴリズムは、線６に沿
ってコントラスト値をスキャンし、手の存在を検出す
る。第２の段階のルーチンは、手の形７をたどる。第３
の段階のアルゴリズムは、指先の位置を見つける（８
１、８２、８３）。
【００２９】仮想光学キーボード３（ＶＯＫ）のための
キー情報は、モニタスクリーン１上のウィンドウに表示
できる。手の画像の概略表現は、キーテンプレート上に
表示できる。スクリーンとキーボードとの間で画面を切
り替える必要はないので、アプリケーションでキーボー
ドの同時表示は、人間工学的な理由から利益がある。
【００３０】キーボードウィンドウは、ディスプレイ領
域の１０〜２０パーセントを必要とする。しかしなが
ら、ウィンドウはデータの入力の間にのみ現れ、そのた
め、他の同時のアプリケーションに影響を与えない。入
力カーソル位置をチェックして、キーボードウィンドウ
は、テキスト入力領域と反対側のスクリーン上に、それ
自身が置かれる。
【００３１】仮想キーを打鍵する指先は、下方（数１０
ｍｍの経路を越える）への速い動きをし、机の表面が叩
かれたときに急速に止まり、短い休息の後に上に戻る。
打鍵した指先を止めたところの位置がキーとされる。指
を同時に動かすことによるあいまいさは、相違する動き
の特徴を評価することにより（打鍵した指は、より長い
経路を越えて迅速に動き、そして急速に止まる）、ま
た、相対的な指の位置にはありそうもないことを示す手
のモデルにより解決できる。
【００３２】実際上、指先の位置は、フレーム毎（又は
半フレーム）、例えば４０ミリ秒毎に決定できる。５フ
レームのシーケンスは、１６０ミリ秒間隔に先端の動き
をモニタ可能にする。２つの連続フレームの間の先端の
位置の相違は、それから、指の速度のための４つの値
（Ｖ４．．．Ｖ１）を与える。打鍵を識別するために、
上述に対応する速度値のシーケンスが見い出される必要
がある。４つの速度測定でのみでこの問題を解決するた
めに、いくつかの仮定がなされる。
【００３３】つまり、衝撃の前では、指先の加速度は相
対的に一定である。これは、加速は筋肉の緊張のみによ
るので、理にかなっていると思われる。この場合、衝撃
点の近くの速度（Ｖｘ）は、２つの打鍵前の速度から、
外挿により計算できる。外挿された値は、それから、閾
値と比較できる。
【００３４】仮想キーへの打鍵は、打鍵前の速度値が最
小値以上でなければならないことを意味する。
【００３５】衝撃で、速度は急速に減少する。それ故
に、衝撃の間での速度測定値（Ｖ２）は、有用な情報を
有していない。しかしながら、それは、計測シーケンス
の確実性をチェックするために使用される（ノイズの欠
如）。
【００３６】衝撃の後、指先の速度は急速に減少する。
減速は、弾性のある指先の変形に依存する。打鍵後の速
度は、減速の最小値とそれに続く再加速の最大値とによ
り決定される範囲内になければならない。
【００３７】これらの仮定で、打鍵のために満たさなけ
ればならない４つの簡単化された条件が記述さできる。
つまり、
【００３８】 １．Ｖｘ＞Ｖｍｉｎ（Ｖｍｉｎ＝衝撃速度の最小値） ２．Ｖ４＞Ｖｐ（Ｖｐ＝打鍵前の速度の最小値） ３．Ｖ２＞Ｖ１ 振動していない ４．Ｖ１＜Ｖｔ（Ｖｔ＝打鍵後の速度の最大値）
【００３９】キーの打鍵が検出されたとき、対応するキ
ーが見つけられるに違いない。これは、指が動いている
ので、単純なタスクではない。もし、指が視覚的に導か
れれば、キー選択は、打鍵動作の開始前、例えば打鍵検
出前の数１００ｍ秒前に行われる。視覚的な制御の下で
の高速のタイピングについて、人間オペレータの「検索
して打鍵する」衝動は、指と打鍵されるキーとの間の視
認できる間隔から発生される。この場合、仮想キーボー
ドテンプレート上で、実際の衝撃点が選択される。実際
上、これらの極地の間で安定して移行が実現されなけれ
ばならない。指先の経路の知識は、打鍵検出アルゴリズ
ムのための以前の打鍵速度及び加速判定基準を精選する
ことができる。
【００４０】自己センタリングルーチンが、物理的なキ
ーボードにより与えられる感触のあるキーセンタのフィ
ードバックを得るのに必要とされる。つまり、人間オペ
レータは、入力キーを打鍵しようと欲する。これは、指
の画像を再配置するアルゴリズムを可能にする。手の像
の不要なドリフトを避けるために、一種の「堅固さ」が
実現されなければならない。
【００４１】指先の動きをモニタするために、指先毎の
垂直方向の動きの履歴についての情報がバッファされ
る。５本の先端の計測値の途切れのないシーケンスが、
打鍵決定アルゴリズムについての指のエリジブル（有資
格属性）を作るために必要とされる。しかしながら、モ
ニタしている間に、肯定に識別された数の指先を変更で
きる（例えば照明が不十分、ビデオフレーム領域からは
み出た又は重なっている指）。この場合、指の数の割当
てが変更でき、そして、指の履歴は崩される。履歴バッ
ファの新たな構築のための５つのフレームのデッドタイ
ムを避けるために、再割当アルゴリズムが必要とされ
る。つまり、指の数が増加されるときには、新たな指が
識別されなければならない。履歴バッファへの正しいア
クセスを可能にするポインタが発生されなければならな
い。指の数が減少する場合、残った指のためのポインタ
が更新されなければならない。仮想キーボードルーチン
で、全ての指（新に来たものを除いて）が、永続的に追
跡される。指の計測値の変動で誘発されたノイズの場合
でさえ、指は打鍵の署名のためにモニタ可能とされる。
【００４２】単純で直感的なジェスチュアのセットが仮
想キーボードの操作を制御するために定義される。例え
ば、
【００４３】開始／終了：画像処理アルゴリズムは、
「手首の線」をスキャンしながら、手の存在についてチ
ェックする。これは、例えば３２０ミリ秒毎に、又は手
の形の検出のエラーが発生したときになされる。もし、
手が検出されたなら、キーボードテンプレートウィンド
ウがディスプレイスクリーン上に開かれる。もし、手が
取り去されると、ウィンドウは閉じられる。
【００４４】タイプ開始位置：机上の手の配置（例え
ば、同時に５本の指の打鍵）は、仮想キーボードに置く
というコマンドとして、例えば左の手がＡ−Ｓ−Ｄ−Ｆ
−スペースキーの上にある、と解釈できる。
【００４５】取り消し：キーの打鍵の後の急速な上向き
の指動作は、単に打鍵を「取り消す」シグナルである。
高い直感性が、親指をモニタすることにはある。無意識
のうちに、タイピングのエラーをすると、驚きのリアク
ションで親指が上へ持ち上げられる。取り消しのジェス
チュアは、キーボードの行動を簡単化する。つまり、バ
ックスペース又は削除キーを見つけるために、現在の仕
事を中断することを回避できる。
【００４６】モードスイッチ：片手又は両手の種々のジ
ェスチュアが、相違するキーボードモード（例えば、タ
イプライタ、マウス、計算機、指のペン／ペイント、ホ
ストセッション、ピアノ）の間の切り替をするために表
せる。タイプライタとポイティングデバイスとの間の迅
速な切り替えは、高速のカーソル位置を可能にする。
【００４７】机の面での代わりに、仮想キーボードが指
先の位置との関係を定義できる。これは、実際にキーが
打たれる前に、各指に対してキーが割り当てられること
を意味する。短く、迅速な下向きの動作は、それから、
入力キーを選択する。プリヒットキーの割り当ては、オ
ペレータのフィードバックについての特有な特徴を提供
する。
【００４８】つまり、キーの割り当ては、スクリーン上
に表示できる（例えば、キーボードレイアウトウィンド
ウ上のカラーコードとして）。
【００４９】電気的にサポートされ、安定化されたキー
配列は、手及び指の動きにハンディキャップを持つオペ
レータを補助することを可能にする
【００５０】拡大された又は音響上のフィードバック
は、視覚的に障害をもつオペレータをサポートできる。
【００５１】実際のキーの機能（シフト状態等）が示さ
れる。
【００５２】「持ち上げる」指の動きが検出できる。こ
れは、タイプエラーを取り消すために非常に高速で直感
的な方法である。
【００５３】キーの中心と関連して実際の指先の位置が
モニタできる（色、クリックのラウンドネス及びピッ
チ）。
【００５４】コンピュータは、真の指及び手の位置に関
連して、仮想キーの中心を動的に調整することができ
る。殆ど静止している指が、自動的に仮想キーの上に
「置かれる」。この位置から、経験豊富なタイピスト
は、視覚上の制御をしないで、他のキーを見つけられ
る。
【００５５】オペレータガイダンスは、特別なキーに来
たときに警告又は奨励の発行を可能にする。
【００５６】プリヒットキーの割当は、効率的なオペレ
ータフィードバックを提供できる。仮想キーボード技術
は、「サブノートブック」サイズのコンピュータの標準
的なサイズのキーボードを形成するのに使用される。他
の実現は、ＰＣのために要求される机の面を減少させ、
遠隔の及びプロテクトされたキーボードを定義し、視覚
的及び運動上の障害を有する人に適合できる。
【００５７】もし、カラーセンサーが使用でき、手がモ
ノクロ（青色）のデスクテンプレートの上で動かされれ
ば、画像（手の形）のセグメント化は非常に簡単にな
る。しかしながら、もし、机の上が人間の皮膚の陰とは
著しく相違する灰色レベルで識別できれば、白黒画像で
も同様に働くであろう。もし、机の背景について何も仮
定しないとすると、オペレータの手の形を決定のに低水
準画像処理が必要とされる。背景画像は一定のままであ
る（ノイズ及び陰を除いて）とうい知識と、隣接の実体
としての手についての知識で、適度な時間量の処理しか
必要としなくなるであろう。
【００５８】上述のように、キーボードはユーザにキー
情報及びフィードバックを提供する。仮想キーボードの
感覚のフィードバックは、作業プレートへの指先の接触
により与えられる。聴覚上のフィードバック（クリッ
ク）は、処理ユニットにより容易に形成できる。
【００５９】仮想キーボードのためのキー情報は、モニ
タ画面上のウィンドウに表示できる。手の画像の概略的
な表現は、キーテンプレート上に表示ができる。アプリ
ケーションでキーボードを同時に表示することは、スク
リーンとキーボードの間での画面の切り替えが不要なの
で、経済的な理由により有利である（注意：これは、今
日のマウスポインタの使用と非常に似ている）。
【００６０】もし、指先衝撃が無用に大きければ、指の
動きの感覚が、オペレータにフィードバック情報を形成
のに使用できる。これは、ＲＳＩ（反復の緊張による障
害）症候群を誘発する危険性のある緊張を減少させる。
とにかく、物理的なスプリングの荷重がキーにかからな
いので、仮想キーボードは、指の緊張を減少して操作で
きる。
【００６１】仮想キーボードは、キーボードサイズの個
人的な最適化を可能にする。これは、取るに足りないこ
とではない。人間の手のサイズは、大きく異なってい
る。標準的なキーボードサイズは妥協である。キーボー
ドインターフェースに対するオペレータの視覚的、感覚
的及びモトリックな機能が分離されると、これらの機能
は、使い易さのために最適化でき、それは操作速度につ
ながる。
【００６２】更に、仮想キーボードは、右手と左手につ
いて、分離した要素に容易に二重化又は分割できる。こ
れは、非常にリラックスした作業姿勢を可能にする（例
えば、肘掛けのある椅子で）。障害者と密接に係ってい
ることは、明白である。
【００６３】コンピュータの使い方やタイピングにそん
なに経験がないオペレータにとって、キーボード配列で
印字されたテンプレート（プレースマット）は、有用に
なろう。もう１つの画像評価手続きが、それから、画像
プロセッサを補助し、仮想キーボードとテンプレートと
を合致させる。プレースマットには、堅いデスク面上で
の衝撃から指先の緊張を減少させるために、柔らかい組
織（例えば発泡ポリウレタン）が適用される。
【００６４】
【発明の効果】この発明は、データ又はコマンド処理シ
ステムにおけるデータ又はコマンド入力のための、新規
なそして先進的なインターフェースを提供し、それは、
機械的な構成要素で固有の問題を回避し、種々のタイプ
のマニュアル操作の入力デバイスをエミュレートするこ
とを可能にする。
【図面の簡単な説明】
【図１】人間ユーザの手及び指の動きを検出するための
画像獲得システムの構成を示す図である。
【図２】観察された手の領域のセグメント化と共に、カ
メラの画像のプロットを示す図である。
【図３】手の画像処理のステップを示す図である。

Claims (10)

    【特許請求の範囲】
  1. 【請求項１】 ユーザの誘発する動きが観察されるよう
    なコマンド及びデータ処理システムでユーザコマンド及
    びデータを獲得するためのコマンド及びデータ入力方法
    において、 テレビジョンセンサと、上記テレビジョンセンサからの
    信号をディジタル化し、処理するための手段とを有し、 ユーザの手及び／又は指が上記テレビジョンセンサによ
    り観察され、以てテレビジョンセンサの配置が、上記手
    または指の箇所で視覚的にさまたげられないビューを与
    えるようにする段階と、 形、位置及びアクティブな動きを検出する段階と、 処理信号に対して上記テレビジョンセンサからの信号を
    ディジタル化し、処理するための手段により分析する段
    階と、 上記動きを、それぞれ、入力データ又はコマンドである
    と解釈する段階を有することを特徴とする、 ユーザコマンド及びデータ入力方法。
  2. 【請求項２】 上記形及び位置の分析は、指先の位置を
    含む請求項１記載のユーザコマンド及びデータ入力方
    法。
  3. 【請求項３】 上記動きは、垂直の動きと、水平の動き
    と、指先の動作を含む請求項１記載のユーザコマンド及
    びデータ入力方法。
  4. 【請求項４】 上記処理システムは、更にモニタからな
    り、少なくとも上記モニタの表示領域の一部が上記テレ
    ビジョンセンサの前面のそれぞれの範囲で少なくとも概
    略的な手及び指の動きを視認化するのに使用される請求
    項１〜３記載のユーザコマンド及びデータ入力方法。
  5. 【請求項５】 上記表示領域の一部は、上記テレビジョ
    ンセンサの前面の上記範囲に手を位置することにより自
    動的にアクティブにされる請求項４記載の方法。
  6. 【請求項６】 観察される手、指、又は指先の概略表示
    は、上記モニタ上に表示される請求項４又は５記載のユ
    ーザコマンド及びデータ入力方法。
  7. 【請求項７】 上記概略表示は、上記テレビジョンセン
    サの前面での実際の手、指又は指先の位置に対応して上
    記モニタ上に置かれ、動かされるような請求項６記載の
    ユーザコマンド及びデータ入力方法。
  8. 【請求項８】 上記アクティブな動きの検出は、検出さ
    れた動きと、予め定義され蓄えられた動きのパターンと
    の比較によるクラス化と、動きの不一致の識別化とを含
    み、特定のタイプの動きだけが受け入れられるようにし
    た請求項１〜７記載のユーザコマンド及びデータ入力方
    法。
  9. 【請求項９】 上記受け入れられる特定のタイプの動き
    は、コマンドとして解釈される請求項８記載のユーザコ
    マンド及びデータ入力方法。
  10. 【請求項１０】 上記動きとしては、キーの押し下げ動
    作があり、該キーの押し下げ動作は、上記テレビジョン
    センサの後のフレームによって検出される請求項１〜９
    記載のユーザコマンド及びデータ入力方法。
JP5012192A 1992-02-07 1993-01-28 コマンド及びデータ入力方法及び入力装置 Pending JPH0683512A (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE92102049.1 1992-02-07
EP92102049A EP0554492B1 (en) 1992-02-07 1992-02-07 Method and device for optical input of commands or data

Publications (1)

Publication Number Publication Date
JPH0683512A true JPH0683512A (ja) 1994-03-25

Family

ID=8209311

Family Applications (1)

Application Number Title Priority Date Filing Date
JP5012192A Pending JPH0683512A (ja) 1992-02-07 1993-01-28 コマンド及びデータ入力方法及び入力装置

Country Status (4)

Country Link
US (1) US5767842A (ja)
EP (1) EP0554492B1 (ja)
JP (1) JPH0683512A (ja)
DE (1) DE69204045T2 (ja)

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282428A (ja) * 2000-03-29 2001-10-12 Matsushita Electric Ind Co Ltd 情報処理装置
JP2003535405A (ja) * 2000-05-29 2003-11-25 ブイケービー インコーポレイティド 文字・数字及び他のデータを入力する仮想データ入力装置及び方法
WO2005052778A1 (ja) * 2003-11-25 2005-06-09 Kenji Nishi 情報入力器、収納装置、情報入力装置、及び情報処理装置
WO2005069114A1 (ja) * 2004-01-15 2005-07-28 Vodafone K.K. 移動体通信端末
WO2006088251A1 (ja) * 2005-02-16 2006-08-24 Takao Shinozawa キーボードの状態を撮影して映写するブラインドタッチ補助装置
KR100663515B1 (ko) * 2004-11-08 2007-01-02 삼성전자주식회사 휴대 단말 장치 및 이를 위한 데이터 입력 방법
JP2007538299A (ja) * 2003-12-22 2007-12-27 エイオーエル エルエルシー 自動訂正機能を備えた仮想キーボードシステム
JP4846871B1 (ja) * 2010-10-28 2011-12-28 善博 和田 キー入力装置、それを備える携帯端末および携帯端末を入力装置として機能させるためのプログラム
JP2012252584A (ja) * 2011-06-03 2012-12-20 Nakayo Telecommun Inc 仮想キーボード入力方法
WO2012176315A1 (ja) * 2011-06-23 2012-12-27 富士通株式会社 情報処理装置、入力制御方法及び入力制御プログラム
JP2013200815A (ja) * 2012-03-26 2013-10-03 Yahoo Japan Corp 操作入力装置、操作入力方法、及び、プログラム
JP2014157515A (ja) * 2013-02-15 2014-08-28 Konica Minolta Inc タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム
JP5621927B2 (ja) * 2011-06-23 2014-11-12 富士通株式会社 情報処理装置、入力制御方法及び入力制御プログラム
KR20150010702A (ko) * 2012-02-24 2015-01-28 토마스 제이. 모스카릴로 제스처 인식 디바이스들 및 방법들
JP2015049519A (ja) * 2013-08-29 2015-03-16 シャープ株式会社 ソフトウェアキーボードを表示可能な画像表示装置及びその制御方法
JP2015111478A (ja) * 2015-03-23 2015-06-18 株式会社ナカヨ 仮想キーボード入力方法
WO2016079774A1 (en) * 2014-11-21 2016-05-26 Johri Abhishek System and method for data and command input
JP2016122475A (ja) * 2016-04-05 2016-07-07 株式会社ナカヨ 仮想キーボードを有する情報装置
JP2021033978A (ja) * 2019-08-14 2021-03-01 藤沼 伊代子 音が出るエア楽器の実現、ゲーム、ラジオ・コントロール・カー、ロボット、建設機械、等々を操作するコントローラーの代わりになるエア・コントローラーの実現をも後押しする、バーチャル・キーボード（ｖｒ・キーボード、仮想キーボード、エア・キーボード、ａｒ・キーボード、エア・キーボード入力方式）
JP2022115022A (ja) * 2021-01-27 2022-08-08 藤沼 伊代子 エア入力システム

Families Citing this family (217)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6417969B1 (en) 1988-07-01 2002-07-09 Deluca Michael Multiple viewer headset display apparatus and method with second person icon display
EP1326122B1 (en) * 1993-08-12 2006-09-06 Seiko Epson Corporation Head-mounted image display device and data processing apparatus including the same
DE4344050C1 (de) * 1993-12-23 1995-03-09 Henry Rudolph Eingabeverfahren und Eingabevorrichtung für Computerterminals zum Schutz vor Ausspähung und zur Gewährleistung der Intimität eines Nutzers
JPH086708A (ja) * 1994-04-22 1996-01-12 Canon Inc 表示装置
US6281878B1 (en) 1994-11-01 2001-08-28 Stephen V. R. Montellese Apparatus and method for inputing data
GB9505664D0 (en) * 1995-03-21 1995-05-10 Central Research Lab Ltd An interactive display and input device
WO1996034332A1 (fr) * 1995-04-28 1996-10-31 Matsushita Electric Industrial Co., Ltd. Dispositif d'interface
DE19612949C1 (de) * 1996-04-01 1997-08-14 Siemens Ag Verfahren zur Erkennung mindestens eines fingerförmigen Objekts in einem ersten, handförmigen Objekt durch einen Rechner
FI961459A0 (fi) * 1996-04-01 1996-04-01 Kyoesti Veijo Olavi Maula Arrangemang foer optisk fjaerrstyrning av en anordning
US5936615A (en) * 1996-09-12 1999-08-10 Digital Equipment Corporation Image-based touchscreen
US5894298A (en) * 1997-03-14 1999-04-13 Northern Telecom Limited Display apparatus
US6252598B1 (en) * 1997-07-03 2001-06-26 Lucent Technologies Inc. Video hand image computer interface
DE19734511A1 (de) * 1997-08-08 1999-02-11 Siemens Ag Kommunikationseinrichtung
US6750848B1 (en) * 1998-11-09 2004-06-15 Timothy R. Pryor More useful man machine interfaces and applications
US7614008B2 (en) 2004-07-30 2009-11-03 Apple Inc. Operation of a computer with touch screen interface
US9239673B2 (en) 1998-01-26 2016-01-19 Apple Inc. Gesturing with a multipoint sensing device
US8479122B2 (en) 2004-07-30 2013-07-02 Apple Inc. Gestures for touch sensitive input devices
US9292111B2 (en) 1998-01-26 2016-03-22 Apple Inc. Gesturing with a multipoint sensing device
CA2318815C (en) 1998-01-26 2004-08-10 Wayne Westerman Method and apparatus for integrating manual input
US7663607B2 (en) 2004-05-06 2010-02-16 Apple Inc. Multipoint touchscreen
US7844914B2 (en) 2004-07-30 2010-11-30 Apple Inc. Activating virtual keys of a touch-screen virtual keyboard
US7808479B1 (en) 2003-09-02 2010-10-05 Apple Inc. Ambidextrous mouse
US6292169B1 (en) * 1998-02-13 2001-09-18 Kabushiki Kaisha Toshiba Information input apparatus
US7248232B1 (en) * 1998-02-25 2007-07-24 Semiconductor Energy Laboratory Co., Ltd. Information processing device
SE510478C2 (sv) * 1998-03-16 1999-05-25 Tony Paul Lindeberg Förfarande och anordning för överföring av information genom rörelsedetektering, samt användning av anordningen
US6043805A (en) * 1998-03-24 2000-03-28 Hsieh; Kuan-Hong Controlling method for inputting messages to a computer
US7116763B2 (en) * 1998-06-10 2006-10-03 Henry Sifuentes Voice and motion activated telephone
US6064354A (en) * 1998-07-01 2000-05-16 Deluca; Michael Joseph Stereoscopic user interface method and apparatus
WO2000003348A1 (de) * 1998-07-10 2000-01-20 Siemens Aktiengesellschaft Vorrichtung zur projektion
US6417797B1 (en) 1998-07-14 2002-07-09 Cirrus Logic, Inc. System for A multi-purpose portable imaging device and methods for using same
US7036094B1 (en) 1998-08-10 2006-04-25 Cybernet Systems Corporation Behavior recognition system
US6681031B2 (en) 1998-08-10 2004-01-20 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US6950534B2 (en) * 1998-08-10 2005-09-27 Cybernet Systems Corporation Gesture-controlled interfaces for self-service machines and other applications
US20010008561A1 (en) * 1999-08-10 2001-07-19 Paul George V. Real-time object tracking system
US6266048B1 (en) * 1998-08-27 2001-07-24 Hewlett-Packard Company Method and apparatus for a virtual display/keyboard for a PDA
TW464800B (en) * 1998-10-07 2001-11-21 Intel Corp A method for inputting data to an electronic device, an article comprising a medium for storing instructions, and an image processing system
US6690357B1 (en) 1998-10-07 2004-02-10 Intel Corporation Input device using scanning sensors
US6433774B1 (en) * 1998-12-04 2002-08-13 Intel Corporation Virtualization of interactive computer input
US6147678A (en) * 1998-12-09 2000-11-14 Lucent Technologies Inc. Video hand image-three-dimensional computer interface with multiple degrees of freedom
US6222465B1 (en) * 1998-12-09 2001-04-24 Lucent Technologies Inc. Gesture-based computer interface
US6614422B1 (en) * 1999-11-04 2003-09-02 Canesta, Inc. Method and apparatus for entering data using a virtual input device
US6522395B1 (en) 1999-04-30 2003-02-18 Canesta, Inc. Noise reduction techniques suitable for three-dimensional information acquirable with CMOS-compatible image sensor ICS
DE19933524A1 (de) * 1999-07-16 2001-01-18 Nokia Mobile Phones Ltd Verfahren zur Eingabe von Daten in ein System
US6512838B1 (en) 1999-09-22 2003-01-28 Canesta, Inc. Methods for enhancing performance and data acquired from three-dimensional image systems
CN100391103C (zh) * 1999-10-27 2008-05-28 菲罗兹·加萨比安 集成袖珍键盘系统
US20030174125A1 (en) * 1999-11-04 2003-09-18 Ilhami Torunoglu Multiple input modes in overlapping physical space
US6710770B2 (en) 2000-02-11 2004-03-23 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
US20030132950A1 (en) * 2001-11-27 2003-07-17 Fahri Surucu Detecting, classifying, and interpreting input events based on stimuli in multiple sensory domains
US6525717B1 (en) 1999-12-17 2003-02-25 International Business Machines Corporation Input device that analyzes acoustical signatures
WO2001073745A1 (en) * 2000-03-29 2001-10-04 Indelelink Corporation Personalized computer peripheral
US7859519B2 (en) 2000-05-01 2010-12-28 Tulbert David J Human-machine interface
USRE40368E1 (en) * 2000-05-29 2008-06-10 Vkb Inc. Data input device
US6650318B1 (en) * 2000-10-13 2003-11-18 Vkb Inc. Data input device
IL136434A0 (en) * 2000-05-29 2001-06-14 Gal Moshe Ein Wireless cursor control
IL136432A0 (en) * 2000-05-29 2001-06-14 Vkb Ltd Data input device
IL136652A0 (en) * 2000-06-08 2001-06-14 Arlinsky David A closed-loop control system in a car
US7042442B1 (en) * 2000-06-27 2006-05-09 International Business Machines Corporation Virtual invisible keyboard
AU2001286450A1 (en) * 2000-08-12 2002-02-25 Georgia Tech Research Corporation A system and method for capturing an image
US6611253B1 (en) * 2000-09-19 2003-08-26 Harel Cohen Virtual input environment
US8384885B2 (en) * 2000-09-20 2013-02-26 Hitachi, Ltd. Personal identification system
TR200002828A3 (tr) * 2000-09-29 2002-05-21 Cetin Yasemin Bilgisayarli Yapay Görmeye Dayali Kablosuz ve Antensiz Klavye Cihazi.
US6690354B2 (en) 2000-11-19 2004-02-10 Canesta, Inc. Method for enhancing performance in a system utilizing an array of sensors that sense at least two-dimensions
US6828918B2 (en) 2000-11-29 2004-12-07 International Business Machines Corporation Personalized accessibility identification receiver/transmitter and method for providing assistance
CN100489881C (zh) * 2001-01-08 2009-05-20 Vkb有限公司 数据输入装置和数据输入方法
US6677932B1 (en) 2001-01-28 2004-01-13 Finger Works, Inc. System and method for recognizing touch typing under limited tactile feedback conditions
US7030861B1 (en) * 2001-02-10 2006-04-18 Wayne Carl Westerman System and method for packing multi-touch gestures onto a hand
JP4485087B2 (ja) * 2001-03-01 2010-06-16 株式会社半導体エネルギー研究所 半導体装置の動作方法
US6603462B2 (en) * 2001-03-21 2003-08-05 Multidigit, Inc. System and method for selecting functions based on a finger feature such as a fingerprint
GB2374266A (en) 2001-04-04 2002-10-09 Matsushita Comm Ind Uk Ltd Virtual user interface device
US20040085300A1 (en) * 2001-05-02 2004-05-06 Alec Matusis Device and method for selecting functions based on intrinsic finger features
US6478432B1 (en) 2001-07-13 2002-11-12 Chad D. Dyner Dynamically generated interactive real imaging device
WO2003017244A1 (en) * 2001-08-17 2003-02-27 Multidigit, Inc. System and method for selecting actions based on the identification of user's fingers
US20030067538A1 (en) * 2001-10-04 2003-04-10 Myers Kenneth J. System and method for three-dimensional data acquisition
US20030067537A1 (en) * 2001-10-04 2003-04-10 Myers Kenneth J. System and method for three-dimensional data acquisition
US20030226968A1 (en) * 2002-06-10 2003-12-11 Steve Montellese Apparatus and method for inputting data
AU2003238660A1 (en) * 2002-06-26 2004-01-19 Vkb Inc. Multifunctional integrated image sensor and application to virtual interface technology
US7656393B2 (en) 2005-03-04 2010-02-02 Apple Inc. Electronic device having display and surrounding touch sensitive bezel for user interface and control
US11275405B2 (en) 2005-03-04 2022-03-15 Apple Inc. Multi-functional hand-held device
US6857746B2 (en) * 2002-07-01 2005-02-22 Io2 Technology, Llc Method and system for free-space imaging display and interface
US8576173B2 (en) * 2002-07-04 2013-11-05 Koninklijke Philips N. V. Automatically adaptable virtual keyboard
US6924793B2 (en) * 2002-07-16 2005-08-02 Hewlett-Packard Development Company, L.P. Multi-styli input device and method of implementation
US20040041716A1 (en) * 2002-08-29 2004-03-04 Compx International Inc. Virtual keyboard and keyboard support arm assembly
US20040075735A1 (en) * 2002-10-17 2004-04-22 Koninklijke Philips Electronics N.V. Method and system for producing a pseudo three-dimensional display utilizing a two-dimensional display device
US7774075B2 (en) * 2002-11-06 2010-08-10 Lin Julius J Y Audio-visual three-dimensional input/output
AU2003291304A1 (en) * 2002-11-06 2004-06-03 Julius Lin Virtual workstation
US7671843B2 (en) * 2002-11-12 2010-03-02 Steve Montellese Virtual holographic input method and device
MXPA05010884A (es) * 2003-04-10 2007-01-15 Amgen Inc Compuestos biciclicos que tienen afinidad por receptores de bradicinina y composiciones farmaceuticas de los mismos.
JP2006523074A (ja) * 2003-04-11 2006-10-05 カネスタ インコーポレイテッド センサのダイナミックレンジを差分拡大する方法及びシステム
US7176438B2 (en) * 2003-04-11 2007-02-13 Canesta, Inc. Method and system to differentially enhance sensor dynamic range using enhanced common mode reset
EP1683345A2 (en) * 2003-10-31 2006-07-26 VKB Inc. Optical apparatus for virtual interface projection and sensing
US20050096985A1 (en) * 2003-11-04 2005-05-05 Werden Todd C. Business system and method for a virtual point of sale system in a retail store
US7755608B2 (en) * 2004-01-23 2010-07-13 Hewlett-Packard Development Company, L.P. Systems and methods of interfacing with a machine
US6969964B2 (en) * 2004-01-26 2005-11-29 Hewlett-Packard Development Company, L.P. Control device and method of use
US6955297B2 (en) * 2004-02-12 2005-10-18 Grant Isaac W Coordinate designation interface
US7237723B2 (en) * 2004-02-12 2007-07-03 Grant Isaac W Coordinate designation interface
IL161002A0 (en) 2004-03-22 2004-08-31 Itay Katz Virtual video keyboard system
US20070115261A1 (en) * 2005-11-23 2007-05-24 Stereo Display, Inc. Virtual Keyboard input system using three-dimensional motion detection by variable focal length lens
AU2005253600B2 (en) * 2004-06-04 2011-01-27 Benjamin Firooz Ghassabian Systems to enhance data entry in mobile and fixed environment
US8381135B2 (en) 2004-07-30 2013-02-19 Apple Inc. Proximity detector in handheld device
US7653883B2 (en) 2004-07-30 2010-01-26 Apple Inc. Proximity detector in handheld device
CN101661357B (zh) 2004-08-16 2013-07-03 苹果公司 触敏器件和提高触敏器件的空间分辨率的方法
US20060077179A1 (en) * 2004-10-08 2006-04-13 Inventec Corporation Keyboard having automatic adjusting key intervals and a method thereof
US7189909B2 (en) * 2004-11-23 2007-03-13 Román Viñoly Camera assembly for finger board instruments
US9760214B2 (en) 2005-02-23 2017-09-12 Zienon, Llc Method and apparatus for data entry input
GB2440683B (en) * 2005-02-23 2010-12-08 Zienon L L C Method and apparatus for data entry input
WO2006090386A2 (en) * 2005-02-24 2006-08-31 Vkb Inc. A virtual keyboard device
KR100687737B1 (ko) * 2005-03-19 2007-02-27 한국전자통신연구원 양손 제스쳐에 기반한 가상 마우스 장치 및 방법
EP1865404A4 (en) * 2005-03-28 2012-09-05 Panasonic Corp USER INTERFACE SYSTEM
US20060267946A1 (en) * 2005-05-25 2006-11-30 Microsoft Corporation Methods and systems for providing feedback corresponding to user input
JP5166255B2 (ja) * 2005-06-16 2013-03-21 ガサビアン，フィルズ データ入力システム
US20070019099A1 (en) * 2005-07-25 2007-01-25 Vkb Inc. Optical apparatus for virtual interface projection and sensing
US20070019103A1 (en) * 2005-07-25 2007-01-25 Vkb Inc. Optical apparatus for virtual interface projection and sensing
US8018579B1 (en) * 2005-10-21 2011-09-13 Apple Inc. Three-dimensional imaging and display system
US20090153468A1 (en) * 2005-10-31 2009-06-18 National University Of Singapore Virtual Interface System
US7511702B2 (en) 2006-03-30 2009-03-31 Apple Inc. Force and location sensitive display
US7538760B2 (en) 2006-03-30 2009-05-26 Apple Inc. Force imaging input device and system
US20070247434A1 (en) * 2006-04-19 2007-10-25 Cradick Ryan K Method, apparatus, and computer program product for entry of data or commands based on tap detection
US7978181B2 (en) 2006-04-25 2011-07-12 Apple Inc. Keystroke tactility arrangement on a smooth touch surface
US9152241B2 (en) * 2006-04-28 2015-10-06 Zienon, Llc Method and apparatus for efficient data input
US8279180B2 (en) 2006-05-02 2012-10-02 Apple Inc. Multipoint touch surface controller
US8552989B2 (en) 2006-06-09 2013-10-08 Apple Inc. Integrated display and touch screen
CN104965621B (zh) 2006-06-09 2018-06-12 苹果公司 触摸屏液晶显示器及其操作方法
KR101759853B1 (ko) 2006-06-09 2017-07-19 애플 인크. 터치 스크린 액정 디스플레이
US20080141125A1 (en) * 2006-06-23 2008-06-12 Firooz Ghassabian Combined data entry systems
EP2041640B1 (en) * 2006-07-16 2012-01-25 I. Cherradi Free fingers typing technology
US8395658B2 (en) * 2006-09-07 2013-03-12 Sony Computer Entertainment Inc. Touch screen-like user interface that does not require actual touching
KR100764652B1 (ko) * 2006-10-25 2007-10-08 삼성전자주식회사 터치스크린을 가지는 단말기의 키 입력 장치 및 방법
JP5034481B2 (ja) * 2006-12-19 2012-09-26 ヤマハ株式会社 鍵盤楽器
EP2124139A4 (en) * 2006-12-22 2013-01-09 Panasonic Corp USER INTERFACE DEVICE
US8493330B2 (en) 2007-01-03 2013-07-23 Apple Inc. Individual channel phase delay scheme
US9710095B2 (en) 2007-01-05 2017-07-18 Apple Inc. Touch screen stack-ups
US20090030767A1 (en) * 2007-07-24 2009-01-29 Microsoft Corporation Scheduling and improving ergonomic breaks using environmental information
US20110210931A1 (en) * 2007-08-19 2011-09-01 Ringbow Ltd. Finger-worn device and interaction methods and communication methods
IL188523A0 (en) * 2008-01-01 2008-11-03 Keyless Systems Ltd Data entry system
KR101079598B1 (ko) 2007-12-18 2011-11-03 삼성전자주식회사 디스플레이장치 및 그 제어방법
JP2009146333A (ja) * 2007-12-18 2009-07-02 Panasonic Corp 空間入力動作表示装置
US8199106B2 (en) * 2007-12-20 2012-06-12 University Of Central Florida Research Foundation, Inc. Systems and methods of camera-based fingertip tracking
US9001036B2 (en) 2007-12-20 2015-04-07 University Of Central Florida Research Foundation, Inc. Systems and methods of camera-based fingertip tracking
US20090172606A1 (en) * 2007-12-31 2009-07-02 Motorola, Inc. Method and apparatus for two-handed computer user interface with gesture recognition
WO2009107935A2 (en) * 2008-02-28 2009-09-03 Lg Electronics Inc. Virtual optical input device with feedback and method of controlling the same
US8358277B2 (en) * 2008-03-18 2013-01-22 Microsoft Corporation Virtual keyboard based activation and dismissal
JP5015072B2 (ja) * 2008-06-18 2012-08-29 株式会社リコー 入力装置及び画像形成装置
US8665228B2 (en) 2008-06-19 2014-03-04 Tactile Displays, Llc Energy efficient interactive display with energy regenerative keyboard
US7777899B1 (en) * 2008-06-19 2010-08-17 Gesturetek, Inc. Interaction interface for controlling an application
US8068641B1 (en) 2008-06-19 2011-11-29 Qualcomm Incorporated Interaction interface for controlling an application
US8217908B2 (en) 2008-06-19 2012-07-10 Tactile Displays, Llc Apparatus and method for interactive display with tactile feedback
US8115745B2 (en) 2008-06-19 2012-02-14 Tactile Displays, Llc Apparatus and method for interactive display with tactile feedback
US9513705B2 (en) 2008-06-19 2016-12-06 Tactile Displays, Llc Interactive display with tactile feedback
US20100103103A1 (en) * 2008-08-22 2010-04-29 Palanker Daniel V Method And Device for Input Of Information Using Visible Touch Sensors
CN101685250B (zh) * 2008-09-24 2012-09-19 深圳富泰宏精密工业有限公司 便携式电子装置
US8228345B2 (en) * 2008-09-24 2012-07-24 International Business Machines Corporation Hand image feedback method and system
US9477396B2 (en) 2008-11-25 2016-10-25 Samsung Electronics Co., Ltd. Device and method for providing a user interface
US9552154B2 (en) * 2008-11-25 2017-01-24 Samsung Electronics Co., Ltd. Device and method for providing a user interface
GB2466023A (en) * 2008-12-08 2010-06-09 Light Blue Optics Ltd Holographic Image Projection Systems
US8660300B2 (en) * 2008-12-12 2014-02-25 Silicon Laboratories Inc. Apparatus and method for optical gesture recognition
US20100199228A1 (en) * 2009-01-30 2010-08-05 Microsoft Corporation Gesture Keyboarding
US9405970B2 (en) 2009-02-02 2016-08-02 Eyesight Mobile Technologies Ltd. System and method for object recognition and tracking in a video stream
US8140970B2 (en) * 2009-02-23 2012-03-20 International Business Machines Corporation System and method for semi-transparent display of hands over a keyboard in real-time
US9417700B2 (en) * 2009-05-21 2016-08-16 Edge3 Technologies Gesture recognition systems and related methods
DE102009026447A1 (de) 2009-05-25 2010-12-09 BSH Bosch und Siemens Hausgeräte GmbH Hausgerät mit einer Benutzerschnittstelle
CN104808821A (zh) 2009-05-26 2015-07-29 美国智能科技有限公司 数据输入方法及装置
US9703398B2 (en) * 2009-06-16 2017-07-11 Microsoft Technology Licensing, Llc Pointing device using proximity sensing
US20100315335A1 (en) * 2009-06-16 2010-12-16 Microsoft Corporation Pointing Device with Independently Movable Portions
US8654524B2 (en) 2009-08-17 2014-02-18 Apple Inc. Housing as an I/O device
US20110063205A1 (en) * 2009-09-15 2011-03-17 Motorola, Inc. Display magnifier
US9513798B2 (en) * 2009-10-01 2016-12-06 Microsoft Technology Licensing, Llc Indirect multi-touch interaction
US8522308B2 (en) * 2010-02-11 2013-08-27 Verizon Patent And Licensing Inc. Systems and methods for providing a spatial-input-based multi-user shared display experience
US20110227947A1 (en) * 2010-03-16 2011-09-22 Microsoft Corporation Multi-Touch User Interface Interaction
WO2011121144A1 (es) * 2010-03-29 2011-10-06 Fundacion Robotiker Sistema de interacción persona-máquina no mecánico mediante gestos manuales y vibración
US10719131B2 (en) 2010-04-05 2020-07-21 Tactile Displays, Llc Interactive display with tactile feedback
US20200393907A1 (en) 2010-04-13 2020-12-17 Tactile Displays, Llc Interactive display with tactile feedback
US8384559B2 (en) 2010-04-13 2013-02-26 Silicon Laboratories Inc. Sensor device with flexible interface and updatable information store
US8593402B2 (en) 2010-04-30 2013-11-26 Verizon Patent And Licensing Inc. Spatial-input-based cursor projection systems and methods
US8396252B2 (en) 2010-05-20 2013-03-12 Edge 3 Technologies Systems and related methods for three dimensional gesture recognition in vehicles
US9760123B2 (en) * 2010-08-06 2017-09-12 Dynavox Systems Llc Speech generation device with a projected display and optical inputs
KR20120018685A (ko) * 2010-08-23 2012-03-05 주식회사 팬택 복수 사용자의 입력을 인식할 수 있는 단말기 및 그 제어방법
US8582866B2 (en) 2011-02-10 2013-11-12 Edge 3 Technologies, Inc. Method and apparatus for disparity computation in stereo images
US8666144B2 (en) 2010-09-02 2014-03-04 Edge 3 Technologies, Inc. Method and apparatus for determining disparity of texture
US9167289B2 (en) 2010-09-02 2015-10-20 Verizon Patent And Licensing Inc. Perspective display systems and methods
US8467599B2 (en) 2010-09-02 2013-06-18 Edge 3 Technologies, Inc. Method and apparatus for confusion learning
US8655093B2 (en) 2010-09-02 2014-02-18 Edge 3 Technologies, Inc. Method and apparatus for performing segmentation of an image
US8957856B2 (en) 2010-10-21 2015-02-17 Verizon Patent And Licensing Inc. Systems, methods, and apparatuses for spatial input associated with a display
US8804056B2 (en) * 2010-12-22 2014-08-12 Apple Inc. Integrated touch screens
US8970589B2 (en) 2011-02-10 2015-03-03 Edge 3 Technologies, Inc. Near-touch interaction with a stereo camera grid structured tessellations
TWI469910B (zh) * 2011-03-15 2015-01-21 Via Tech Inc 簡單節點式運輸系統之控制方法與裝置
US8897491B2 (en) * 2011-06-06 2014-11-25 Microsoft Corporation System for finger recognition and tracking
GB201110156D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch-sensitive display devices
GB201110159D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
GB201110157D0 (en) 2011-06-16 2011-07-27 Light Blue Optics Ltd Touch sensitive display devices
JP2013037462A (ja) * 2011-08-05 2013-02-21 Sony Corp 情報処理装置、および情報処理方法
GB201117542D0 (en) 2011-10-11 2011-11-23 Light Blue Optics Ltd Touch-sensitive display devices
US9672609B1 (en) 2011-11-11 2017-06-06 Edge 3 Technologies, Inc. Method and apparatus for improved depth-map estimation
US20140362052A1 (en) 2012-01-20 2014-12-11 Light Blue Optics Ltd Touch Sensitive Image Display Devices
GB2513498A (en) 2012-01-20 2014-10-29 Light Blue Optics Ltd Touch sensitive image display devices
GB201205303D0 (en) 2012-03-26 2012-05-09 Light Blue Optics Ltd Touch sensing systems
JP5962249B2 (ja) * 2012-06-21 2016-08-03 富士通株式会社 文字入力プログラム、情報処理装置および文字入力方法
US10048779B2 (en) * 2012-06-30 2018-08-14 Hewlett-Packard Development Company, L.P. Virtual hand based on combined data
US9305229B2 (en) 2012-07-30 2016-04-05 Bruno Delean Method and system for vision based interfacing with a computer
US9557846B2 (en) 2012-10-04 2017-01-31 Corning Incorporated Pressure-sensing touch system utilizing optical and capacitive systems
JP2014109876A (ja) * 2012-11-30 2014-06-12 Toshiba Corp 情報処理装置、情報処理方法及びプログラム
US9202313B2 (en) 2013-01-21 2015-12-01 Microsoft Technology Licensing, Llc Virtual interaction with image projection
US9275277B2 (en) 2013-02-22 2016-03-01 Kaiser Foundation Hospitals Using a combination of 2D and 3D image data to determine hand features information
US10721448B2 (en) 2013-03-15 2020-07-21 Edge 3 Technologies, Inc. Method and apparatus for adaptive exposure bracketing, segmentation and scene organization
AU2013206695A1 (en) 2013-07-04 2015-01-22 Canon Kabushiki Kaisha Touch system and method for determining the distance between a pointer and a surface
JP6160329B2 (ja) * 2013-07-24 2017-07-12 船井電機株式会社 プロジェクタ
US20160004384A1 (en) * 2014-07-03 2016-01-07 Hisashi Sato Method of universal multi-touch input
US9766806B2 (en) 2014-07-15 2017-09-19 Microsoft Technology Licensing, Llc Holographic keyboard display
DE102015210140A1 (de) * 2015-06-02 2016-12-08 Robert Bosch Gmbh Industrielles Gerät mit Projektionstastatur
TWI570596B (zh) * 2015-06-22 2017-02-11 廣達電腦股份有限公司 光學輸入方法以及使用該方法之光學虛擬滑鼠
DE102015212028A1 (de) * 2015-06-29 2016-12-29 Robert Bosch Gmbh Bedienvorrichtung für eine Handwerkzeugmaschine
EP3334978B1 (en) 2015-08-10 2019-10-09 Arçelik Anonim Sirketi A household appliance controlled by using a virtual interface
US10983144B2 (en) 2017-10-11 2021-04-20 Rohde & Schwarz Gmbh & Co. Kg Measurement apparatus with projected user interface
US10719173B2 (en) * 2018-04-04 2020-07-21 Facebook Technologies, Llc Transcribing augmented reality keyboard input based on hand poses for improved typing accuracy
CN113508211B (zh) 2019-03-08 2023-06-02 因温特奥股份公司 具有从内部无接触地打开的移动门的访问控制系统
AU2020234892B2 (en) 2019-03-08 2023-05-11 Inventio Ag Access control system comprising a sliding door and visualization of status information
KR102269466B1 (ko) * 2019-05-21 2021-06-28 이진우 동작 인식 기반의 문자 입력 방법 및 그 장치
CN114115693A (zh) * 2020-08-26 2022-03-01 华为技术有限公司 一种基于虚拟键盘输入文本的方法及装置

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61196317A (ja) * 1985-02-27 1986-08-30 Nippon Telegr & Teleph Corp <Ntt> 情報入力方式

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3510210A (en) * 1967-12-15 1970-05-05 Xerox Corp Computer process character animation
US4145715A (en) * 1976-12-22 1979-03-20 Electronic Management Support, Inc. Surveillance system
US4672559A (en) * 1984-12-26 1987-06-09 E. I. Du Pont De Nemours And Company Method for operating a microscopical mapping system
US4843568A (en) * 1986-04-11 1989-06-27 Krueger Myron W Real time perception of and response to the actions of an unencumbered participant/user
US4821118A (en) * 1986-10-09 1989-04-11 Advanced Identification Systems, Inc. Video image system for personal identification
US4763356A (en) * 1986-12-11 1988-08-09 AT&T Information Systems, Inc. American Telephone and Telegraph Company Touch screen form entry system
US4928170A (en) * 1988-06-21 1990-05-22 Visualtek, Inc. Automatic focus control for an image magnification system
US4991005A (en) * 1989-10-27 1991-02-05 Smith Ethel L Glass frame viewing assembly and method of use
US5025314A (en) * 1990-07-30 1991-06-18 Xerox Corporation Apparatus allowing remote interactive use of a plurality of writing surfaces
US5239373A (en) * 1990-12-26 1993-08-24 Xerox Corporation Video computational shared drawing space
US5168531A (en) * 1991-06-27 1992-12-01 Digital Equipment Corporation Real-time recognition of pointing information from video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61196317A (ja) * 1985-02-27 1986-08-30 Nippon Telegr & Teleph Corp <Ntt> 情報入力方式

Cited By (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001282428A (ja) * 2000-03-29 2001-10-12 Matsushita Electric Ind Co Ltd 情報処理装置
JP2003535405A (ja) * 2000-05-29 2003-11-25 ブイケービー インコーポレイティド 文字・数字及び他のデータを入力する仮想データ入力装置及び方法
WO2005052778A1 (ja) * 2003-11-25 2005-06-09 Kenji Nishi 情報入力器、収納装置、情報入力装置、及び情報処理装置
US7688305B2 (en) 2003-11-25 2010-03-30 Kenji Nishi Information inputting tool, storage device, information inputting device, and information processing equipment
JP2007538299A (ja) * 2003-12-22 2007-12-27 エイオーエル エルエルシー 自動訂正機能を備えた仮想キーボードシステム
WO2005069114A1 (ja) * 2004-01-15 2005-07-28 Vodafone K.K. 移動体通信端末
KR100663515B1 (ko) * 2004-11-08 2007-01-02 삼성전자주식회사 휴대 단말 장치 및 이를 위한 데이터 입력 방법
US8311370B2 (en) 2004-11-08 2012-11-13 Samsung Electronics Co., Ltd Portable terminal and data input method therefor
WO2006088251A1 (ja) * 2005-02-16 2006-08-24 Takao Shinozawa キーボードの状態を撮影して映写するブラインドタッチ補助装置
JP4846871B1 (ja) * 2010-10-28 2011-12-28 善博 和田 キー入力装置、それを備える携帯端末および携帯端末を入力装置として機能させるためのプログラム
JP2012252584A (ja) * 2011-06-03 2012-12-20 Nakayo Telecommun Inc 仮想キーボード入力方法
JP5621927B2 (ja) * 2011-06-23 2014-11-12 富士通株式会社 情報処理装置、入力制御方法及び入力制御プログラム
US9418285B2 (en) 2011-06-23 2016-08-16 Fujitsu Limited Information processing apparatus and input control method
WO2012176315A1 (ja) * 2011-06-23 2012-12-27 富士通株式会社 情報処理装置、入力制御方法及び入力制御プログラム
JPWO2012176315A1 (ja) * 2011-06-23 2015-02-23 富士通株式会社 情報処理装置、入力制御方法及び入力制御プログラム
KR20150010702A (ko) * 2012-02-24 2015-01-28 토마스 제이. 모스카릴로 제스처 인식 디바이스들 및 방법들
US11009961B2 (en) 2012-02-24 2021-05-18 Thomas J. Moscarillo Gesture recognition devices and methods
JP2015519624A (ja) * 2012-02-24 2015-07-09 トーマス ジェイ モスカリッロＭＯＳＣＡＲＩＬＬＯ， Ｔｈｏｍａｓ， Ｊ． ジェスチャー認識装置及び方法
KR20190022911A (ko) * 2012-02-24 2019-03-06 토마스 제이. 모스카릴로 제스처 인식 디바이스들 및 방법들
JP2013200815A (ja) * 2012-03-26 2013-10-03 Yahoo Japan Corp 操作入力装置、操作入力方法、及び、プログラム
JP2014157515A (ja) * 2013-02-15 2014-08-28 Konica Minolta Inc タッチ判定装置、タッチ判定方法、およびタッチ判定プログラム
JP2015049519A (ja) * 2013-08-29 2015-03-16 シャープ株式会社 ソフトウェアキーボードを表示可能な画像表示装置及びその制御方法
WO2016079774A1 (en) * 2014-11-21 2016-05-26 Johri Abhishek System and method for data and command input
US10705619B2 (en) 2014-11-21 2020-07-07 Abhishek Johri System and method for gesture based data and command input via a wearable device
JP2015111478A (ja) * 2015-03-23 2015-06-18 株式会社ナカヨ 仮想キーボード入力方法
JP2016122475A (ja) * 2016-04-05 2016-07-07 株式会社ナカヨ 仮想キーボードを有する情報装置
JP2021033978A (ja) * 2019-08-14 2021-03-01 藤沼 伊代子 音が出るエア楽器の実現、ゲーム、ラジオ・コントロール・カー、ロボット、建設機械、等々を操作するコントローラーの代わりになるエア・コントローラーの実現をも後押しする、バーチャル・キーボード（ｖｒ・キーボード、仮想キーボード、エア・キーボード、ａｒ・キーボード、エア・キーボード入力方式）
JP2022115022A (ja) * 2021-01-27 2022-08-08 藤沼 伊代子 エア入力システム

Also Published As

Publication number Publication date
EP0554492A1 (en) 1993-08-11
EP0554492B1 (en) 1995-08-09
DE69204045T2 (de) 1996-04-18
DE69204045D1 (de) 1995-09-14
US5767842A (en) 1998-06-16

Similar Documents

Publication Publication Date Title
JPH0683512A (ja) コマンド及びデータ入力方法及び入力装置
US11093086B2 (en) Method and apparatus for data entry input
EP2717120B1 (en) Apparatus, methods and computer program products providing finger-based and hand-based gesture commands for portable electronic device applications
KR100327209B1 (ko) 첨펜의자취를이용한소프트웨어키보드시스템및그에따른키코드인식방법
AU658574B2 (en) Computer with separate display plane and user interface processor
AU657499B2 (en) User interface having simulated devices
US6611258B1 (en) Information processing apparatus and its method
CN1198204C (zh) 用所连外部显示设备显示信息的带触摸屏装置及其方法
US20050122313A1 (en) Versatile, configurable keyboard
US20060119588A1 (en) Apparatus and method of processing information input using a touchpad
GB2470654A (en) Data input on a virtual device using a set of objects.
JPH0778120A (ja) 手持ち演算装置及び手持ち演算装置における入力信号処理方法
JP2009527041A (ja) コンピューティングシステムにデータを入力するシステム及び方法
EP0557282A1 (en) COMPUTER COMPRISING AN INPUT BY DIGITIZER FOR STANDARD PROGRAMS.
CN1160242A (zh) 使用虚拟边界选择性映射纸簿式输入装置的方法和设备
US20010033268A1 (en) Handheld ergonomic mouse
CN1378171A (zh) 一种计算机输入系统
KR19980040109A (ko) 카메라 부착형 컴퓨터의 화면 스크롤 방법
JPH0667787A (ja) 位置入力装置
JPH0524532B2 (ja)
JP2023137822A (ja) 表示装置、清書方法、プログラム、情報共有システム
JPH06195169A (ja) 電子計算機の入力装置
Paul et al. Design of a Laser Controlled Keyboard for Physically Challenged People
JPH1165755A (ja) 表示情報の触覚化装置
KR20030060355A (ko) 휴대용 컴퓨터 및 그 제어방법