JP5965540B2 - 仮想キーボード上のキー入力を認識する方法及びその装置 - Google Patents

Description

本発明は、仮想キーボード上のキー入力を認識する方法及びその装置に関し、多様な種類の仮想キーボード上のキー入力を認識する方法に関する。

従来、物理的キーボードは体積が大きく、掃除が難しいという短所があるため、これに対する代案として平面にキーボードをプロジェクションして作った仮想キーボードが存在する。しかし、このようなプロジェクション仮想キーボードは、ユーザ親和的ではないためユーザの適応が容易でなく、キーボードの種類と形態が限定されているので、提供されるキーボード形状にユーザが合わせて適応しなければならない不便さがある。また、このようなキーボードは、仮想のキーボードを作るために高価のハードウェア資源とユーザのキーボード入力を認知するための赤外線受信機を必要とする。

また、タブレットパソコンやスマートホンなどに適用される仮想キーボードの場合、画面のほぼ半分を占めて画面を遮る不便さがあり、２バイト文字や特殊文字、数字などを交互に入力しなければならない場合、仮想キーボード上のキーもやはり交互に画面に現われるため、キー入力が不便な問題がある。

前述のような問題点を解決するために、本発明の目的は、ユーザの便宜を提供し、多様な種類の仮想キーボードに適用可能なキー入力認識方法を提供することにある。

前述のような問題点を解決するための本発明の他の目的は、ユーザの便宜を提供し、多様な種類の仮想キーボードに適用可能なキー入力認識装置を提供することにある。

上記目的を達成するための本発明は、少なくとも１つのカメラを利用して仮想キーボード上のキー入力を認識する方法において、前記カメラを利用して前記仮想キーボード上にキー入力のためのユーザツールの動作を感知すると、前記ユーザツールを追跡し、且つ前記ユーザツールの垂直座標上の位置があらかじめ定義された垂直閾値より小さいか等しいときまで追跡する段階と、最終的に追跡された前記ユーザツールの水平位置上のキーが入力されたものと判断する段階とを含むキー入力認識方法を提供する。

ここで、前記追跡する段階の前に、前記カメラを利用してあらかじめ定められたパターン認識方法によって前記仮想キーボード上の各キーのパターンによる位置を認識する段階をさらに含むことを特徴とする。

ここで、前記追跡する段階の前に、前記仮想キーボード上にキー入力のためのユーザツールが前記仮想キーボードの平面に当接したものと認識される垂直座標上の最低位置を測定し、前記垂直閾値として決定する段階をさらに含むことを特徴とする。

ここで、前記決定する段階は、前記ユーザツールがユーザの手である場合、前記仮想キーボードをタイピングするユーザの手先の垂直座標を測定し、最も低い点を前記垂直閾値として決定することを特徴とする。

ここで、前記判断する段階は、前記キー入力のためのユーザツールの動作とともにあらかじめ定められた少なくとも１つの他の信号が感知された場合、前記少なくとも１つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間とが同一であれば、前記水平位置上のキーが入力されたものと判断することを特徴とする。

ここで、前記判断する段階は、前記キー入力のためのユーザツールの動作とともにあらかじめ定められた少なくとも１つの他の信号が感知された場合、前記少なくとも１つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間との差があらかじめ定められた許容誤差以内の場合、前記最終的に追跡されたユーザツールの水平位置上のキーが入力されたものと判断することを特徴とする。

ここで、前記少なくとも１つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間との差があらかじめ定められた許容誤差以内の場合は、前記少なくとも１つの他の信号が感知された時間に合わせて前記垂直閾値を補正する段階をさらに含むことを特徴とする。

ここで、前記判断する段階で、ユーザツールの水平位置上のキーが入力されたものと判断した場合、前記キー入力を確認するための信号を発生させる段階をさらに含むことを特徴とする。

ここで、前記キー入力を確認するための信号は、振動、音、発光のうち少なくとも１つを含むことを特徴とする。

前記他の目的を達成するための本発明は、少なくとも１つのカメラを利用して仮想キーボード上のキー入力を認識する装置において、少なくとも１つのカメラ、前記少なくとも１つのカメラを利用して、仮想キーボード上にキー入力のためのユーザツールの動作が感知されれば、前記ユーザツールを追跡し、且つ前記ユーザツールの垂直座標上の位置があらかじめ定義された垂直閾値より小さいかまたは同じときまで追跡するユーザツール追跡部と、最終的に追跡された前記ユーザツールの水平位置上のキーが入力されたものと判断するキー値認識部とを含むキー入力認識装置を提供する。

ここで、あらかじめ定められたパターン認識方法を利用して前記仮想キーボード上の各キーのパターンによる位置を認識するパターン認識部をさらに含むことを特徴とする。

ここで、前記仮想キーボード上にキー入力のためのユーザツールが前記仮想キーボードの平面に接したものと認識される垂直座標上の最低位置を前記垂直閾値として決定する閾値初期化部をさらに含むことを特徴とする。

ここで、前記閾値初期化部は、前記ユーザツールがユーザの手の場合、前記仮想キーボードをタイピングするユーザの手先の垂直座標を測定し、最も低い点を前記垂直閾値として決定することを特徴とする。

ここで、前記キー値認識部は、前記キー入力のためのユーザツールの動作とともにあらかじめ定められた少なくとも１つの他の信号が感知された場合、前記少なくとも１つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間とが同一であれば、前記水平位置上のキーが入力されたものと判断することを特徴とする。

ここで、前記キー値認識部は、前記キー入力のためのユーザツールの動作とともにあらかじめ定められた少なくとも１つの他の信号が感知された場合、前記少なくとも１つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間との差があらかじめ定められた許容誤差以内の場合、前記最終的に追跡されたユーザツールの水平位置上のキーが入力されたものと判断することを特徴とする。

ここで、前記キー値認識部は、前記少なくとも１つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間との差があらかじめ定められた許容誤差以内の場合、前記少なくとも１つの他の信号が感知された時間に合わせて前記垂直閾値を補正することを特徴とする。

ここで、前記キー値認識部は、ユーザツールの水平位置上のキーが入力されたものと判断した場合、前記キーの入力を確認するための信号を発生させることを特徴とする。

ここで、前記キーの入力を確認するための信号は、振動、音、発光のうち最小限１つを含むことを特徴とする。

上記のような本発明による仮想キーボード上のキー入力認識方法及び装置を利用する場合には、多様な種類の仮想キーボード上に表示されたキーを、カメラを利用してパターン認識し、これによってキーをタイピングするユーザの動きを追跡して入力されたキー値を認識することによって、キーボード種類や形態にかかわらず、ユーザのキー入力を認識することができる。特に、本発明による方法及び装置がタブレットパソコンやスマートホンなどに適用される場合、分離した別途の仮想キーボードを使用することができるので、従来、パソコンやスマートホンの画面に表示される仮想キーボードによって画面が遮られるか、または２バイトコードなど他の種類のキーを入力するとき、交互に画面表示する不便が解消される。また、タブレットパソコンなどに３Ｄ撮影のような機能が追加されることに伴い、自ずとカメラが２つ以上または３Ｄカメラが付着する場合、追加のハードウェア資源が不要であるという長所がある。

本発明の一実施例による仮想キーボード上のキー入力を認識する過程を示すフローチャートである。

本発明の一実施例による仮想キーボード上のキーを認識する例を示す概念図である。

本発明の一実施例によるキー入力とユーザ信号の感知時間差による処理過程を示す概念図である。

本発明の一実施例による仮想キーボード上のキー入力認識装置の構成を示すブロック図である。

本発明は、多様な変更を加えることができ、さまざまな実施例を有することができるところ、特定の実施例を図面に例示し詳細に説明する。しかし、これは、本発明を特定の実施形態に限定しようとするものではなく、本発明の思想及び技術範囲に含まれるすべての変更、均等物ないし代替物を含むものと理解しなければならない。各図面を説明する際、類似の参照符号を類似の構成要素について使用した。

第１、第２、Ａ、Ｂなどの用語は、多様な構成要素を説明するのに使用されることができるが、前記構成要素は、前記用語に限定されてはならない。前記用語は、１つの構成要素を他の構成要素から区別する目的でのみ使用される。例えば、本発明の権利範囲を逸脱することなく、第１構成要素は、第２構成要素として命名されてもよく、同様に、第２構成要素も第１構成要素として命名されてもよい。及び／またはという用語は、複数の関連され記載された項目の組み合わせまたは複数の関連され記載された項目のうちいずれかの項目を含む。

任意の構成要素が他の構成要素に「連結されて」いるか、「接続されて」いると言及されたときは、他の構成要素に直接に連結されているか、または接続されてもよいが、中間に他の構成要素が存在することもあると理解しなければならない。一方、任意の構成要素が他の構成要素に「直接連結されて」いるか、「直接接続されて」いると言及されたときは、中間に他の構成要素が存在しないものと理解しなければならない。

本願において使用された用語は、ただ特定の実施例を説明するために使用されたものであって、本発明を限定しようとする意図ではない。単数の表現は、文脈上明白に異なる意味を示さない限り、複数の表現を含む。本願において、「含む」または「有する」などの用語は、明細書上に記載された特徴、数字、段階、動作、構成要素、部品またはこれらを組み合わせたものが存在することを指定しようとするものであって、１つまたはそれ以上の他の特徴や数字、段階、動作、構成要素、部品またはこれらを組み合わせたものの存在または付加可能性をあらかじめ排除しないものと理解しなければならない。

異なる定義をしない限り、技術的または科学的用語を含み、ここで使用されるすべての用語は、本発明の属する技術分野において通常の知識を有する者によって一般的に理解されるものと同一の意味を有している。一般的に使用される辞書に定義されているもののような用語は、関連技術の文脈上有する意味と一致する意味を有するものと解釈するべきであり、本出願で明白に定義しない限り、理想的または過度に形式的意味として解釈しない。

以下、本発明による好ましい実施例を添付の図面を参照して詳細に説明する。本発明を説明するにおいて、全体的理解を容易にするために図面上の同一の構成要素については、同一の参照符号を使用し、同一の構成要素について重複する説明を省略する。

図１は、本発明の一実施例による仮想キーボード上のキー入力を認識するための各段階を示すフローチャートである。

図１を参照すると、本発明の一実施例による仮想キーボード上のキー入力を認識する過程は、キーパターン認識段階Ｓ１１０、閾値初期化段階Ｓ１２０、キー入力ツールの動き追跡段階Ｓ１３０、キー入力パターン比較段階Ｓ１４０、ユーザ信号感知段階Ｓ１５０、閾値補正段階Ｓ１６０、キー入力確認段階Ｓ１７０及び確認信号音出力段階Ｓ１８０を備えて構成することができる。

また、図１を参照すると、本発明の一実施例による仮想キーボード上のキー入力を認識する過程は、少なくとも１つのカメラを利用して行われ、各段階は、次のように説明することができる。

キーパターン認識段階Ｓ１１０は、少なくとも１つのカメラを利用して、あらかじめ定められたパターン認識方法によって仮想キーボード上の各キーのパターンによる位置を認識する段階であってよい。以下、仮想キーボード上のキーパターン認識方法を、図面を参照して説明する。この際、カメラは、２つのカメラまたは１つの３Ｄカメラを利用してもよい。

図２は、本発明の一実施例による仮想キーボード上のキーを認識する例を示す概念図である。

図２を参照すると、本発明による仮想キーボード２００内の各キーの位置は、カメラを利用して文字
をパターン認識する方法を使用して把握することができる。例えば、パターン認識方法によって
を探索する場合、
を探索した後、その周辺の閉鎖された領域２２０を
の領域として見做される。

一方、本発明による仮想キーボードは、映像追跡方法を利用して認識するので、従来のプロジェクションキーボードのように、レーザーを利用してプロジェクションキーボードを作って使用してもよく、ユーザが直接キーボードを描いて使用してもよく、従来の物理的キーボードを使用してもよい。また、物理的な境界がないので、キーの大きさや位置を任意に変えることができる。例えば、「Ｅｓｃ」キーを既存のキーより大きくするか、または「Ｅｎｔｅｒ」キーを両側に配置することも可能である。したがって、既存のプロジェクションキーボードのように、レーザーでキーボードを作っても、キーボードを作るレーザーハードウェアとこれを認知するカメラハードウェアの位置が相互独立して定めることができ、デザインに有利である。

また、ユーザの入力パターンによって、特定キーの範囲も変更可能である。そして、キー入力を望まない状況で手を平面に位置する場合でも、全般ユーザの習慣に加えて、特定ユーザに対するデータを蓄積し、これを区別することによって、ユーザの便宜を助けることができる。

閾値初期化段階Ｓ１２０は、仮想キーボード上にキー入力のためのユーザツールが仮想キーボードの平面に接したものと認識される垂直座標上の最低位置を測定して垂直閾値として決定する段階であってよい。例えば、ユーザツールがユーザの手なら、ユーザの指の厚さなどにより仮想キーボード上のキーボードがタッチされるとき、カメラによって認知される指の垂直座標が異なってもよい。

したがって、初期にユーザが何回か任意のキーをタイピングしながら、ユーザの指先が最も低く位置する場合、すなわち仮想キーボードから垂直座標上の低い点を垂直閾値に設定することができる。以後、設定された垂直閾値より低い箇所に指先が位置すると、当該位置のキーが入力されたものと判断することができる。この際、カメラを利用して入力を認識するためには、その前に指先の位置を把握することが必要であるが、従来開発されている手の色に基づく位置探しや、あらかじめ指定された領域にユーザが手を位置させる方法などを用いてもよい。

キー入力ツール動き追跡段階Ｓ１３０は、カメラを利用して仮想キーボード上にキー入力のためのユーザツールの動作を感知すると、ユーザツールを追跡する。この際、ユーザツールの垂直座標上の位置があらかじめ定められた垂直閾値、例えば、閾値初期化段階Ｓ１２０で設定した垂直閾値より小さいかまたは等しいときまで追跡することができる。

キー入力パターン比較段階Ｓ１４０は、ユーザのタイピング習慣を分析し、あらかじめ定義されたキー入力パターンとキー入力ツールの動き追跡段階Ｓ１３０で追跡されたキー入力映像を比較し、キー入力中であるか否かを区別する段階であってもよい。これは、ユーザがキー入力を望むわけではないが、平面に手を位置させる場合を区別するためのものである。

例えば、ユーザがタイピングを休んで待機状態であるとき、楽な姿勢を取ることができ、タイピングはそれ以上進まない場合があり得る。最も簡単な例として、両手の親指を除いた八つの指が同時に当ることを待機状態として認識する方法と待機状態に進むキーなどを作る方法などがある。

ユーザ信号感知段階Ｓ１５０は、選択によりキー入力のためのユーザツールの動作とともにあらかじめ定められた少なくとも１つの他の信号、すなわちユーザから発せられたユーザ信号を感知する段階であってもよい。この際、ユーザ信号が感知された時間とユーザツールが最終的に追跡された時間との差を比較し、その差があらかじめ定められた許容誤差以内の場合は、ユーザ信号が感知された時間に合わせて垂直閾値を補正することができる（Ｓ１６０）。

すなわち、仮想キーボード上のキーを入力するユーザツール（例えば、ユーザの手）に対する追跡映像認識の正確性を高めるために音及び振動のようなユーザからの信号を感知し、映像認識結果とユーザ信号の感知結果による時間差を同期化するために垂直閾値を修正する方法を用いてもよい。以下、図面を参照して説明する。

図３は、本発明の一実施例によるキー入力とユーザ信号の感知時間の差による処理過程を示す概念図である。

図３を参照すると、追跡映像信号３１０とユーザ信号３２０で入力された、それぞれ３つの信号を示す。第一は、映像信号３１１とユーザ信号３２１の間の感知時間の差が大きい過ぎたため、キーが入力されたものと判断しない場合である。第二は、映像信号３１３とユーザ信号３２３の間の感知時間の差はあるが、許容され得る差であるので、キーが入力されたものと判断できる。また、この場合、信号間の到達時間の差を調整するためにユーザ信号感知時間に合わせて閾値を修正することができる（Ｓ１５０）。第三は、映像信号３１５とユーザ信号３２５の間の差がないので、キーが入力されたものと判断することができる。また、この場合は、閾値の補正を行う必要はない。

キー入力確認段階Ｓ１７０は、最終的に追跡された前記ユーザツールの水平位置上のキーが入力されたものと判断する段階であってもよい。すなわち最終的に追跡されたユーザツールの垂直座標上の位置があらかじめ定められた垂直閾値より小さい位置の水平座標上の位置を導出し、導出された位置に対応するキー値が入力されたものと判断することができる。この際、導出された位置に対応するキー値は、キーパターン認識段階Ｓ１１０で認識されたパターンによるキーの位置を参照して把握することができる。

または、ユーザ信号感知段階Ｓ１５０で約束されたユーザ信号を感知した場合、ユーザ信号が感知された時間とユーザツールが最終的に追跡された時間との差を比較し、差がないか、またはその差があらかじめ定められた許容誤差以内なら、当該水平座標上の位置のキー値が入力されたものと判断することができる。

入力確認信号音出力段階Ｓ１８０は、キー入力確認段階Ｓ１７０で、ユーザツールの水平位置上のキーが入力されたものと判断した場合、キーの入力を確認するための信号を発生させる段階であってよい。すなわち、キーが正常に入力されたことを確認できるように、振動や発光、信号音などのフィードバック信号をユーザに送ることができる。このようなフィードバック信号は、ユーザが従来のキーボードでキーをタイピングしながら感じた感覚を再現することができる。

図４は、本発明の一実施例による仮想キーボード上のキー入力認識装置の構成を示すブロック図である。

図４を参照すれば、本発明の一実施例による仮想キーボード３０上のキー入力認識装置１０は、カメラ４１０、パターン認識部４２０、閾値初期化部４３０、キー値認識部４４０を備えて構成することができる。

また、図４を参照すると、本発明の一実施例による仮想キーボード上のキー入力認識装置１０の各構成要素及び構成要素間の連結関係は、次のように説明することができる。

カメラ４１０は、仮想キーボード３０上のキーパターンを認識して各キーの位置を確認し、ユーザのキー入力動作を追跡して、入力されたキーの位置を認識するために利用できる。この際、カメラ４１０は、ユーザの入力を認知するデュアルカメラを利用してもよい。

パターン認識部４２０は、少なくとも１つのカメラ４１０（例えば２つのカメラまたは１つの３Ｄカメラ）を利用して、あらかじめ定められたパターン認識方法によって仮想キーボード３０上の各キーのパターンによる位置を認識することになる。

閾値初期化部４３０は、仮想キーボード３０上にキー入力のためのユーザツールが仮想キーボードの平面に接したものと認識される垂直座標上の最低位置を測定し、垂直閾値として決定することができる。

キー値認識部４４０は、カメラ４１０を利用して仮想キーボード３０上にキー入力のためのユーザツールの動作を感知すると、ユーザツールを追跡する。この際、ユーザツールの垂直座標上の位置があらかじめ定められた垂直閾値より小さいかまたは等しいときまで追跡することができる。
・・ また、キー値認識部４４０は、選択によりキー入力のためのユーザツールの動作とともに、あらかじめ定められた少なくとも１つの他の信号、すなわちユーザから発せられたユーザ信号を感知することができる。この際、ユーザ信号が感知された時間とユーザツールが最終的に追跡された時間との差を比較し、同一であれば、最終的に追跡されたユーザツールの水平位置上のキーが入力されたものと判断する。すなわち、“１”が表示された位置をユーザがタイピングした場合、当該位置値をあらかじめ認識したパターンに対応させて“１”が入力されたものと判断し、これによる処理をする。

しかし、その差があらかじめ定められた許容誤差を脱した場合、当該動作を無視してキーが入力されなかったものと判断し、許容誤差範囲以内の場合、ユーザ信号が感知された時間に合わせて垂直閾値を補正し、当該水平位置のキーが入力されたものと判断することになる。

この際、ユーザ信号を感知するためのセンサーが使用されてもよく、またアナログ信号をデジタル信号に変換して測定するためにＡＤＣが利用されてもよい。また、映像信号とユーザ信号との差を測定するために、時間軸上で２つの信号の最高点の差を利用する方法や一定周期毎にサンプリングして２つの信号が発生した間の周期を測定する方法、位相測定器を利用する方法などが利用できる。

また、キー値認識部４４０は、ユーザツールの水平位置上のキーが入力されたものと判断した場合、キーの入力を確認するための信号を発生させることができる。すなわち、キーが正常に入力されたことを確認できるように、ユーザに振動や発光、信号音などのフィードバック信号を与えることができる。

上記では、本発明の好ましい実施例を参照して説明したが、当該技術分野における熟練した当業者ならば、下記特許請求の範囲に記載された本発明の思想及び領域を逸脱しない範囲内で本発明を多様に修正及び変更できることは理解できることである。

Claims (14)

1. 少なくとも１つのカメラを利用して仮想キーボード上のキー入力を認識する方法において、
   前記カメラを利用して前記仮想キーボード上にキー入力のためのユーザツールの動作を感知すると前記ユーザツールを追跡し、且つ前記ユーザツールの垂直座標上の位置があらかじめ定義された垂直閾値より小さいかまたは等しいときまで追跡する段階と、
   最終的に追跡された前記ユーザツールの水平位置上のキーが入力されたものと判断する段階とを含み、
   前記判断する段階は、
   前記キー入力のためのユーザツールの動作とともにあらかじめ定められた少なくとも１つの他の信号が感知された場合、前記少なくとも１つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間との差が、あらかじめ定められた許容誤差以内の場合、前記最終的に追跡されたユーザツールの水平位置上のキーが入力されたものと判断し、
   前記少なくとも１つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間との差が、あらかじめ定められた許容誤差以内の場合、
   前記少なくとも１つの他の信号が感知された時間に合わせて前記垂直閾値を補正することを特徴とするキー入力認識方法。
2. 前記追跡する段階の前に、
   前記カメラを利用してあらかじめ定められたパターン認識方法によって前記仮想キーボード上の各キーのパターンによる位置を認識する段階をさらに含むことを特徴とする、請求項１に記載のキー入力認識方法。
3. 前記追跡する段階の前に、
   前記仮想キーボード上にキー入力のためのユーザツールが前記仮想キーボードの平面に接したものと認識される垂直座標上の最低位置を測定し、前記垂直閾値として決定する段階をさらに含むことを特徴とする、請求項１に記載のキー入力認識方法。
4. 前記決定する段階は、
   前記ユーザツールがユーザの手である場合、前記仮想キーボードをタイピングするユーザの手の先の垂直座標を測定し、最も低い点を前記垂直閾値として決定することを特徴とする、請求項３に記載のキー入力認識方法。
5. 前記判断する段階は、
   前記キー入力のためのユーザツールの動作とともにあらかじめ定められた少なくとも１つの他の信号が感知された場合、前記少なくとも１つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間とが同一であれば、前記水平位置上のキーが入力されたものと判断することを特徴とする、請求項１に記載のキー入力認識方法。
6. 前記判断する段階において、ユーザツールの水平位置上のキーが入力されたものと判断した場合、
   前記キーの入力を確認するための信号を発生させる段階をさらに含むことを特徴とする、請求項１に記載のキー入力認識方法。
7. 前記キーの入力を確認するための信号は、振動、音、発光のうち最小限１つを含むことを特徴とする、請求項６に記載のキー入力認識方法。
8. 少なくとも１つのカメラを利用して仮想キーボード上のキー入力を認識する装置において、
   少なくとも１つのカメラと、
   前記少なくとも１つのカメラを利用して、仮想キーボード上にキー入力のためのユーザツールの動作を感知すると、前記ユーザツールを追跡し、且つ前記ユーザツールの垂直座標上の位置が、あらかじめ定義された垂直閾値より小さいかまたは等しいときまで追跡するユーザツール追跡部と、
   前記ユーザツール追跡部で最終的に追跡された前記ユーザツールの水平位置上のキーが入力されたものと判断するキー値認識部とを含み、
   前記キー値認識部は、
   前記キー入力のためのユーザツールの動作とともに、あらかじめ定められた少なくとも１つの他の信号が感知された場合、前記少なくとも１つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間との差が、あらかじめ定められた許容誤差以内の場合、前記最終的に追跡されたユーザツールの水平位置上のキーが入力されたものと判断し、
   前記少なくとも１つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間との差が、あらかじめ定められた許容誤差以内の場合、前記少なくとも１つの他の信号が感知された時間に合わせて前記垂直閾値を補正することを特徴とするキー入力認識装置。
9. あらかじめ定められたパターン認識方法を利用して前記仮想キーボード上の各キーのパターンによる位置を認識するパターン認識部をさらに含むことを特徴とする、請求項８に記載のキー入力認識装置。
10. 前記仮想キーボード上にキー入力のためのユーザツールが前記仮想キーボードの平面に接したものと認識される垂直座標上の最低位置を前記垂直閾値として決定する閾値初期化部をさらに含むことを特徴とする、請求項８に記載のキー入力認識装置。
11. 前記閾値初期化部は、
    前記ユーザツールがユーザの手である場合、前記仮想キーボードをタイピングするユーザの手の先の垂直座標を測定し、最も低い点を前記垂直閾値として決定することを特徴とする、請求項１０に記載のキー入力認識装置。
12. 前記キー値認識部は、
    前記キー入力のためのユーザツールの動作とともに、あらかじめ定められた少なくとも１つの他の信号が感知された場合、前記少なくとも１つの他の信号が発生した時間と前記ユーザツールが最終的に追跡された時間とが同一であれば、前記水平位置上のキーが入力されたものと判断することを特徴とする、請求項８に記載のキー入力認識装置。
13. 前記キー値認識部は
    前記ユーザツールの水平位置上のキーが入力されたものと判断した場合、
    前記キーの入力を確認するための信号を発生させることを特徴とする、請求項８に記載のキー入力認識装置。
14. 前記キーの入力を確認するための信号は、振動、音、発光のうち最小限１つを含むことを特徴とする、請求項１３に記載のキー入力認識装置。