JP5166008B2 - テキストを入力する装置 - Google Patents

Description

本発明は、電子装置にテキストを入力する技術に関する。具体的には、本発明は、シーケンシャル・タップ（順次叩く動作）を使用してテキストを入力する方法および装置に関する。

可搬型、いわゆるモバイル電子装置は、日常生活の重要な一部になるにつれて、コンピュータ使用環境の拡張を推進しており、その結果「ノマディック・ライフ（遊牧生活）」の概念が出現している。このようなノマディック・ライフを営む人は、タスク（作業）が絶えず中断されかつ異なるタスク同士が互いを中断するマルチタスキング状況に直面することが多い。このマルチタスキング状況では、テキスト入力に対する要求が変化し、かつユーザの環境（たとえば、リビング・ルームのソファ、車内、空港の待合室、歩道、またはオフィスの廊下）、ユーザの同時並行的な活動（たとえば、歩行、対話、読書、自動車の運転、自転車の運転、ＴＶ視聴、食事、または幼児を抱っこすること）、およびテキスト入力の目的（たとえば、書き写し、覚書、約束、連絡情報、注意書き、運転目的地などの用途入力、ＳＭＳなどの通信、またはeメール）に依存する。これらの因子の組み合わせのそれぞれは、テキスト入力装置に対する異なる要求を示唆している。いくつかの状況では、”ツウィドラ（Twiddler）”（米国特許第５２６７１８１号明細書）などの片手持ち装置が有用であり、他の場合には、電話での「マルチタップ（複数回叩くこと）」または予測テキスト入力で十分である。

このようなテキスト入力装置を選択するのに使用される基準は、「情況適切性（contextual appropriateness)」によって決定することができる。情況適切性の最も重要な部分では、ドーリッシュ（Dourish）が生態学的な視点から述べたように、人間の認知は、神経現象に限られるのではなく、人間、行動、環境を含む複合体内に位置する（Dourish, P., Where the Action Is, MIT Press, 2001を参照されたい。）。したがって、モバイルテキスト入力システムを選択して使用するための情況適切性には、ユーザが押しつけと感じることなしに、あるタスクを別のタスクに切り替えるのを可能にする短い装置取得時間、効率的なテキスト入力、経験および動作をあまり要求しないこと、ならびに形状因子が含まれる。

装置取得タスクは、多くのモバイルテキスト入力システムにおいて、満足できるものとなっていない。ボタン・ベースのモバイルテキスト入力装置を取り扱うための典型的な操作では通常、「掴む−押す−放す」のような一連の動作が行われる。言い換えれば、装置は、カバンまたはポケットに携帯されるかまたは携帯されるものの適切な表面上に取り付けられることが多い。前アクションとして、ユーザは、装置を「掴んで」各指に対する装置上のボタンの位置を調整する必要がある。装置に文字を入力する際、ユーザは正しい位置／ボタンを「押さなければ」ならない。最後に、ユーザが装置を最初の位置に戻すことを要求する「放す」という後アクションが主アクションの後で行われる。

形状因子は、モバイル装置のユーザにとって重要なもう１つの情況適切性因子である。装置の小型化は、携帯装置に搭載された最新技術を携帯または着用する人に有用である。しかし、装置の小型化と人間の物理的制約との適切な兼ね合せの決定は複雑である。一方では、小さくて薄い形状因子を有する装置は、優先順位が装置の携帯性である消費者にとって魅力的である。他方では、特に、１本の指に複数のボタンが割り当てられるインタフェースを使用する際、装置を制御するボタンが小さすぎるかまたはボタンが多すぎてユーザが装置を適切に制御できないため、ユーザは苦労することがある。アコット（Accot）およびザイ（Zhai）は、装置のサイズおよび移動スケールが入力制御品質に影響を与え、かつ小さな移動スケールの性能限界が運動精度によって制限される傾向があると述べている（ J. Accot and S. Zhai, Scale Effects in Sterring Law Tasks, Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, ACM Press, 2001）。この結果は、装置内の物理的にスケーリング可能なシステムとは異なり、限られた運動精度公差内で装置を制御する人体のスケールが一定であることに基づく結果である。したがって、装置小型化の限界は、技術的制約ではなく人体の物理的制約によって決定される傾向がある。

情況適切性の必要条件を満たす多くのテキスト入力機構が提案されており、各機構はそれ自体の速度およびエラー特性を有する。本明細書では、片方の手しか必要としない技術に注目する。というのは、非デスクトップ環境では、他方の手は、ある物品の保持や運転のような他の作業で占有されることがあるからである。しかし、たいていの既存の解決策は、誤って押すのを無くすのに十分な程度に大きくしなければならないが、装置を小型化し指をすべてのボタンに容易に届かせるようにするために全体として小さな空間を占有しなければならないボタンのアレイを含む。このような制約のために、望ましい方法よりも低速でより不満足なテキスト入力方法になることが多い。

モバイル装置の設計者は、ユーザがスタイラスを使用してモバイル装置にテキストを入力する片手持ちテキスト入力システムであるユニストークス（Unistrokes）システム（米国特許第５５９６６５６号明細書）またはグラフィティ（Graffiti）システムなどのシステムを提案している。このようなシステムでは、ユーザは、特別に用意されたパッド上に一連の定義済みのストロークのうちの１つを入力し、そのストロークは次に、モバイル装置によって文字またはアクション（すなわち、「バックスペース」などのアクション）として解釈される。

他のモバイル装置設計者は、テキスト入力用の手持ち携帯ユニットであるツウィドラ（Twiddler）などのシステムを提案している。ツウィドラ（Twiddler）は、一方の面上にテキスト入力ボタンを有し、他方の面上に制御ボタンを有する。ユーザは、装置を使用する際、押すことに対してボタンがどのように反応するかを選択する（すなわち、テキスト文字、数字、またはＡＳＣＩＩ文字を出力することによって反応する）。ツウィドラは、「和音型（chorded）」つまりピアノで和音を弾くような同時操作による入力装置である。言い換えれば、ツウィドラでは、ユーザがいくつかの文字を入力する場合に複数のボタンを同時に押し続ける必要がある。

米国特許第５２６７１８１号明細書

残念なことに、上述の各システムはそれぞれ、場合によっては情況適切性の１つまたは複数の態様を満たすが、各システムは他の態様を満たさないかまたは独自の問題を生じさせることが多い。

本発明の一実施態様は、テキストを入力するシステムを提供する。システムは、指トリガ・イベントのシーケンスを受け取ることによって起動する。システムは次に、指トリガ・イベントのシーケンスを指トリガ・イベントの１つまたは複数の所定のシーケンスと一致させることを試みる。シーケンスがある所定のシーケンスと一致した場合、システムはこの所定のシーケンスに対応する少なくとも１つの文字を出力する。

この実施態様の一変形態様では、システムは、指トリガ・イベントのシーケンスを受信する間に、（１）一連の指トリガ・イベントを検出し、（２）一連のイベントにおける各イベントを生じさせた指を識別し、（３）一連のイベントにおける各イベントを生じさせた指の識別表示を記録する。

この実施態様の一変形態様では、一連の指トリガ・イベントを検出することは、（１）接触検知表面に対する指の接触を検出すること、（２）音響検知表面に対する指のタップを検出すること、（３）筋肉の運動、骨の運動、皮膚中の電気インパルス、その他の生理学的指標のうちの少なくとも１つを測定することによって、指の動きを検出すること、あるいは（４）少なくとも１本の指に着用されるかまたは取り付けられるかまたは移植されたセンサを使用して指の動きを検出することのうちの少なくとも１つを含む。

この実施態様の一変形態様では、システムは、指トリガ・イベントのシーケンスを一致させることを試みる際に、所定数の指トリガ・イベントがいつ生じたかを判定する。所定数の指トリガ・イベントが生じている際、システムは、所定数の指トリガ・イベントを指トリガ・イベントの１つまたは複数の所定のシーケンスと一致させることを試みる。

この実施態様の一変形態様では、システムは、指トリガ・イベントのシーケンスを一致させることを試みる際に、シーケンスの終わりの指トリガ・イベントがいつ生じたかを判定する。

この実施態様の一変形態様では、システムは、指トリガ・イベントのシーケンスを一致させることを試みる際に、指トリガ・イベントのシーケンスにおける各指トリガ・イベントが生じるたびに、指トリガ・イベントとその前の指トリガ・イベントのシーケンスとの組み合わせが指トリガ・イベントの所定のシーケンスのプレフィックスであるかどうかを判定する。指トリガ・イベントとその前の指トリガ・イベントのシーケンスとの組み合わせが指トリガ・イベントの所定のシーケンスのプレフィックスである場合、システムは次の指トリガ・イベントを待つ。指トリガ・イベントとその前の指トリガ・イベントのシーケンスとの組み合わせが指トリガ・イベントの所定のシーケンスのプレフィックスではない場合、システムは、指トリガ・イベントとその前の指トリガ・イベントのシーケンスとの組み合わせを指トリガ・イベントの１つまたは複数の所定のシーケンスと一致させることを試みる。

この実施態様の一変形態様では、システムは、指トリガ・イベントのシーケンスが指トリガ・イベントの一連の所定のシーケンスにおける指トリガ・イベントの所定の一シーケンスに一致しない場合、エラー信号を出力し、指トリガ・イベントの次のシーケンスの受信を開始する。

この実施態様の一変形態様では、指トリガ・イベントのシーケンスは、人体の他の部分によってトリガされるイベントまたは機械的装置を操作することによってトリガされるイベントのうちの少なくとも一方を含む。さらに、他の一変形態様では、特定の１本の指による指トリガ・イベントが、指トリガ・イベントのシーケンスにおける直前のイベントの繰り返しを表す。

本発明の各実施形態は、様々な表面上へのテキストの入力を容易にする。第１の実施形態では、テキスト入力システムは、単一接触検知／容量表面などの「検知表面」を含んでいる。単一接触抵抗／容量表面は、「タブレット」パーソナル・コンピュータ（ＰＣ）または「ラップトップ」パーソナル・コンピュータ（ＰＣ）などのタッチパッド・ポインティング・デバイスに広く使用されている。

しかし、単一接触表面は、指タップ動作による複数回の接触を検出することができないので、予想されない検出が生じる可能性がある。たとえば、ユーザが第１の指を放す前に第２の指でタップすると、単一接触表面は、この２回のタップを２回の別々のタップではなくポイント・アンド・ドラッグ動作と解釈することがある。多接触抵抗／容量表面はこの問題を解決するもう１つの表面である。しかし、多接触抵抗／容量表面は高価であり、市場に普及してはいない。

他の実施形態では、テキスト入力システムは「補助的な普通の表面」を含む。つまり、前述のＰＣ等の入力装置として構成されたタブレットやタッチパッドなどではなく、机の天板等の単純な表面を含む。たとえば、補助的な普通の表面は、”タッパー（Tapper）”（Paradiso等、２００２年）などの音響センサまたは視覚センサによって実現される検知表面であってよい。この手法は、レストランのテーブル、ダッシュボード、歩道を一時的に検知表面に転用するようにできる。

他の実施形態では、テキスト入力システムは、着用可能な装置を含む。たとえば、手首または手取り付け音響センサが着用可能な装置として機能することができる。曲げセンサおよび加速度計によってサポートされる手袋または指着用インタフェースは、着用可能な装置の考えられる形状因子である。第２の形状因子は、「スマート・ダスト」などの小形加速度計によって実現される爪取り付けインタフェースである。

他の実施形態では、上記のテキスト入力システムは、マウスや携帯電話などの小形電子装置自体の表面上で実現される。このようなシステムは、（ユーザが、テキスト入力システムを使用するには装置を「掴んで押して戻す」必要があるため）装置取得時間を短縮するという最初の目標を完全には実現しないが、すでに普及している既存の装置を使用すると、テキスト入力システムをより容易に採用することができる。

上述の実現オプションを絞り込むには、以下の設計上の制約および基準を使用することができる。所与の指でタップするかまたは押したことの検出を試みる際、その実施に影響を与える２つの異なる種類の指タップ動作に対処しなければならない。第１の場合には、ユーザは、最初にタップした指を放した後で第２の指でタップする。この場合、２回の別々の指タップが行われる。他の場合には、ユーザは、第１の指を放す前に第２の指でタップする。前者の場合、指タップのシーケンス（連続動作）として容易に検出される。しかし、指タップが順次行われたかそれとも「和音」のように行われたかを区別するのは、後者の場合には困難である。自然な指タップ動作では各指タップ間の間隔が非常に短い場合があるため、可能性として後者の場合を無くすことは困難であり、そのため検出時にエラーが生じる恐れがある。これを防ぐために、本発明の実施形態から和音オプションを除外することができ、テキスト入力システムの入力をできるだけ明確な一貫したものにする。

他の実施形態は、掌、肘、足のような人体の他の部分によるタップを含む、他の物体（エンティティ(entity)）によるタップを検出する。他の実施形態は、スタイラスのような、ユーザによって操作される物体、または人体の他の部分を使用して操作される装置によるタップを検出する。

タップ・イベントを生じさせた物体がどれであるかは、上記の各節で説明したように様々な方法で捕捉することができる。しかし、自然なタップ動作用のロケーション・フリー・インタフェースを実現する場合、本発明の各実施形態では、タップ・イベント（１回のタップ動作）のシーケンスを受信している間の、そのタップ・イベントの位置を考慮しない。さらに、本発明の各実施形態では、タップ・イベントのシーケンスを受信する間のタップ・イベントの持続時間も圧力も考慮しない。その代わり、これらの実施形態は、シーケンスにおける各タップ・イベントを生じさせた物体がどれであるかのみを考慮する。

図１〜４は、本発明の各実施形態による例示的なテキスト入力システムを示している。図１〜４の各システムでは、ユーザは、指の動きの定義済みシーケンスを使用してモバイルコンピューティング装置に入力すべき文字またはアクション（すなわち、ｃｔｒｌまたはバックスペース）を示す。このような指の動きは、指によるタップ、押下、または移動であってよい。図示の都合上、以下の各節では、指トリガ・イベントに応答するテキスト入力システムについて論じる。しかし、他の実施形態では、テキスト入力システムは、以下の各節で論じる原則を使用して、人体の他の部分またはユーザによって操作される機械的装置を含む他の物体によってタップすることまたは押すことに応答する。

図１は、本発明の実施形態による接触検知装置に結合されたＰＤＡ１００を示している。接触検知装置１０２は、ユーザ１０４の指からの圧力（すなわち、タップまたは押下）を電気信号に変換し、この信号をパーソナル・デジタル・アシスタント（ＰＤＡ）１００に送る。接触検知パネル１０６が容量性であっても抵抗性であってもよいことに留意されたい。

接触検知装置１０２は、イーサネット（登録商標）やＵＳＢ結合装置などによって電気配線を通してＰＤＡ１００に結合することができる。または、赤外線、８０２．１１無線、Ｂｌｕｅｔｏｏｔｈなどの無線リンクを通してＰＤＡ１００に結合することができる。

図１では、図２〜４と同様に、接触検知装置１０２がＰＤＡ１００に結合されるように示されているが、他の実施形態では、テキスト入力システムが、デスクトップ・コンピュータ、携帯電話、モバイルコンピューティング装置、他の電子装置などの装置に結合される。他の代替実施形態では、テキスト入力システムがＰＤＡに組み込まれる。

動作時には、ユーザ１０４が接触検知パネル１０６を指でタップするかまたは押すと、接触検知装置１０２が、ユーザが１０４がどの指を使用して接触検知パネル１０６に接触したかを認識する。接触検知装置１０２は次いで、どの指が接触したかを示す信号をＰＤＡ１００に発する。

ＰＤＡ１００は、このような信号のシーケンスを受信した後、信号のシーケンスを定義済みのシーケンスのテーブルと比較、照合し、信号のシーケンスをテキスト文字（すなわち、「Ａ」、「９」、もしくは「＜」など）またはアクション（すなわち、バックスペース、削除、もしくはｃｔｒｌなど）に変換する。他の実施形態では、接触検知装置１０２は、指接触シーケンスを直接文字またはアクションに変換し、その文字またはアクションをＰＤＡ１００に送信する。

図２は、本発明の一実施形態による、ＰＤＡ１００に結合された指取り付け発信装置１１０および手首取り付けトランシーバ１１２を示している。本発明の一実施形態では、指取り付け発信装置１１０は、低出力無線送信器に結合された加速度計、衝撃センサ、または曲げセンサである。他の実施形態では、指取り付け装置は、「スマート・ダスト」加速度計などとして、爪に埋め込まれるかまたは他の方法で爪の表面上に組み込まれる。

本発明の一実施形態では、指取り付け発信装置１１０は、低出力無線信号を使用して無線で指の動きを手首取り付けトランシーバ１１２に伝達する。他の実施形態では、指取り付け発信装置１００は、有線結合装置などによって手首取り付け発信装置１１０に直接電気的に結合される。たとえば、手首取り付けトランシーバ１１２を含む手袋に指取り付け発信装置１１０を組み込むことができ、この場合、手袋は、指取り付け発信装置１１０をトランシーバ１１２に結合する配線を含む。

動作時には、指取り付け発信装置１１０は、指が叩く動作をしたとき（または指で他の定義済みの動きが行われたとき）にそれを検出し、次いで、どの指でタップしたかの識別情報である識別子を含む信号によってこのタップを手首取り付けトランシーバ１１２に伝達する。手首取り付けトランシーバ１１２は、どの指で叩かれたかを示す信号をＰＤＡ１００に発する。ＰＤＡ１００は、このような信号のシーケンスを受信した後、信号のシーケンスを定義済みのシーケンスの予め記憶されたテーブルと比較し、信号のシーケンスをテキスト文字またはアクションに変換する。他の実施形態では、手首取り付けトランシーバ１１２は、タップのシーケンスを直接文字またはアクションに変換し、その文字またはアクションをＰＤＡ１００に送信する。

図３は、本発明の一実施形態による、ＰＤＡに結合された手首取り付け検出装置１２０を示している。手首取り付け検出装置１２０は、骨伝導マイクロフォン、生体電気信号、筋肉の運動、またはその他の指の動きの生理学的指標を使用して指の動き（指でタップすることなど）を検出する。

動作時には、手首取り付け検出装置１２０は、指でタップされたとき（または指で他の定義済みの動きが行われたとき）にそれを検出し、どの指でタップしたかの識別子を含む信号によってこのタップをＰＤＡ１００に伝達する。ＰＤＡ１００は、このような信号を受信した後、信号のシーケンスを定義済みシーケンスの予め記憶されたテーブルと比較し、信号のシーケンスをテキスト文字またはアクションに変換する。他の実施形態では、手首取り付け検出装置１２０は、タップのシーケンスを直接文字またはアクションに変換し、その文字またはシーケンスをＰＤＡ１００に送信する。

図４は、本発明の一実施形態による、ＰＤＡに結合された音響センサ１３０を示している。音響センサ１３０は２つのマイクロフォン１３２を含んでいる。

動作時には、ユーザ１０４が指でタップすると、両方のマイクロフォン１３２がタップの音を捕捉する。次いで、音響センサが、各マイクロフォン１３２への音の到達時間を比較し、到達時間の差からどの指でタップしたかを判定する。次いで、音響センサ１３０は、どの指でタップしたかを示す識別子を含む、タップを示す信号をＰＤＡ１００に発する。ＰＤＡ１００は、このような信号のシーケンスを受信した後、信号のシーケンスを定義済みシーケンスのテーブルと比較し、信号のシーケンスをテキスト文字またはアクションに変換する。他の実施形態では、手首取り付け検出装置１２０がタップのシーケンスを直接文字またはアクションに変換し、その文字またはアクションをＰＤＡ１００に送信する。

前述の各節で説明した制約が与えられたと仮定すると、本発明の各実施形態は、アルペジオ式タップ・イベントを使用する（すなわち、タップまたは押下を同時ではなく別々に行う）。例示の都合上、タップ・イベントは、片方の手の指によって生じると仮定し、すなわち、各指ごとに１つの、５つの離散した入力に限定されるテキスト入力システムを仮定する。したがって、潜在的な各文字を複数のタップのシーケンスにマップした。たとえば、本発明の一実施形態は、各シーケンスの長さが３である指のシーケンスに各アルファベット文字を割り当てる（図８参照）。しかし、他の物体によってタップを認識する他の実施形態では、文字マッピングがこのようなタップ・イベントを含むように拡張される。

アルペジオ式指タップを使用するテキスト入力システムの１つの利点は、システムが、指で定義済みの位置を押すかまたはタップすることを必要とせずに、どの指でアクションを実行したかを簡単に判定できることである。ロケーション・フリー特性は、タップが定義済みの位置を押す動作よりも自然でよりストレスが少ないため有効である。ロケーション・フリー・システムでは、どのボタンを押すかではなくどの指でタップするかが重要であるので、ユーザが検知表面を指でタップするときには物理的キーボード・レイアウトも仮想キーボード・レイアウトも必要ない。必要な物品は、テキスト入力システムのユーザを助ける視覚的補助装置（または「指ストローク−文字マップ」）だけである。

本発明の各実施形態は、効率および学習可能性（したがって適応性）を向上させるために、最も有効な指ストローク−文字マップを設けることを試みる。指ストローク−文字のどのマッピングを使用するかを決定する際、マップ上に示すべき文字の順序およびその順序で各文字にマップされる指ストロークの数を検討した。

このような検討に基づいて、本発明の各実施形態では、指ストローク−文字マップにアルファベット順を使用してアルファベット順の学習済みの認識マップを再使用する。指ストローク−文字マップのアルファベット順は、ユーザに対する認識および知覚要件を低減させると考えられ、スミス（Smith）およびザイ（Zhai）は、指ストローク−文字マップのアルファベット順がテキスト・インタフェースの望ましい態様であることを示した（B. A. Smith & S. Zhai, Optimized Virtual Keyboards with and without Alphabetical Ordering - A Novice User Study, Proc. INTERACT 2001 - IFIP International Conference on Human-Computer Interaction, 2001参照）。ＳｍｉｔｈおよびＺｈａｉによれば、「アルファベット・チューニング」による視覚的探索はアルファベット・チューニング無しの探索よりも９％速い。

さらに、本発明の各実施形態は、様々な長さのシーケンスを混ぜたシーケンス（すなわち、１桁または２桁のシーケンスを含むシーケンス）ではなく１組の３桁の数のシーケンスを指ストローク−文字マップに使用する。このようなシーケンスとしては、指ストローク−文字マップ内に一貫したパターンを維持するようなシーケンスが選択される。これは、人間の動作において制御されたプロセスから自動プロセスに移る際には一貫したパターンが重要であることが示されているからである（M. Ingmarsson, D. Dinka, and S. Zhai, TNT: A Numeric Keypad Based Text Input Method, Proceedings of the SIGCHI Conference on Human Factors in Computing Systems, ACM Press, 2004参照）。

本発明の他の実施形態では、文字頻度ベースの指ストローク−文字マップを使用する。文字頻度ベース・マッピングは、各文字にほぼ任意のシーケンスを割り当てることを犠牲にして文字ストローク効率を最適化する。したがって、最も頻繁に使用される文字（従来、「ｅ-ｔ-ａ−ｏ−ｎ−ｓ−ｈ−ｒ−ｄ−ｌ−ｕ」の順で頻度が高いと考えられている）は最も短いタップ動作シーケンスを有する。

他の実施形態では、「クワーティ」位置（キーボードの左上からＱＷＥＲＴＹの順となる一般的なキー配列）ベースの指ストローク−文字マッピングを使用して学習可能性を助け、特にクワーティ・ユーザの初心者の「推測可能性」をサポートする。このようなマッピングは、従来のクワーティ・キーボード上の文字の位置を利用する。あるそのようなマッピングは、各キーを固有に識別できるように各列、手、および指に数字を割り当てる。「ｒ」や「ｔ」（どちらも１番上の列にあり、通常左手の人差し指によって接触される）のようなどちらとも取れるキーは、第４のタップによって曖昧さを排除すること、つまり区別することができる。したがって、このようなシステムにおける文字のマップ・エントリは「列、手、指、および（必要に応じて）曖昧さ排除」というフォーマットであってよい。このような実施形態では、１番下の列＝１（人差し指）、中央の列＝２（中指）、１番上の列＝３（薬指）；ならびに左手＝１、右手＝２と仮定すると、ｑ＝３１４（すなわち、１番上の列、左手、小指）、ｗ＝３１３（１番上の行、左手、薬指）．．．ｒ＝３１１１（すなわち、１番上の列、左手、人差し指、第１の文字）、およびｔ＝３１１２（すなわち、１番上の列、左手、人差し指、第２の文字）となる。

従来のクワーティ・キーボードは各列に１０個の一次キーを有することに留意されたい。本発明の一実施形態（「第１のタップ割り当て」実施形態）では、クワーティ・キーをそれぞれが５つの文字から成る６つの群にグループ分けする（”ＱＷＥＲＴ”、”ＹＵＩＯＰ”、”ＡＳＤＦＧ”、”ＨＪＫＬ；”、”ＺＸＣＶＢ”、”ＮＭ＜＞／”）。文字を選択する場合、ユーザは２回のタップを実行する。第１のタップはこれらの６つの群のうちの１つを選択し、第２のタップは、群内の文字を選択する。これは、ユーザが、第１のタップが特定の群にどのように対応しているかを記憶するだけでよいので学習しやすい。群内の文字の位置は、クワーティ・レイアウトについてのユーザの知識から予測することができる。

このような「第１のタップ割り当て」の一例は、”Ｔ”（かなり「逆方向（他の指から離れる方向）に向けられた」親指、図７参照）が”ＱＷＥＲＴ”を選択し、通常の親指が”ＡＳＤＦＧ”を選択し、人差し指が”ＺＸＣＶＢ”を選択し、薬指が”ＮＭ＜＞／”を選択し、小指が”ＨＪＫＬ；”を選択し、かなり逆方向に向けられた小指が”ＹＵＩＯＰ”を選択する。（数字１〜５に対応する）広げた親指または（数字６〜０に対応する）広げた小指を使用した第２のタップでは、ユーザは数字を選択することができる。中指は、スペース・バー、リターン、バックスペース、タブ、キャップ、およびその他の記号を入力する。

他の実施形態では、指ストローク−文字マッピングに「文字形状」を使用してマッピングの推測可能性を助ける。たとえば、形状ベースのマッピングは、開／閉、上昇／下降、左向き／右向きのような様々な活字特徴の各々に指を割り当てる。

他の実施形態では、前述の指ストローク−文字マッピングの組み合わせを使用する。たとえば、母音に単一指タップを割り当てることができ、一方、子音にアルファベット順で指タップ・シーケンスを割り当てる。表１は、１＝人差し指、２＝中指、３＝薬指、４＝小指、およびＴ＝親指と仮定した場合の例示的なマッピングおよび対応する指ストローク・シーケンスを示している。

このマッピングを使用すると、句”ｈｅｌｌｏ ｗｏｒｌｄ”は以下のように入力される。
２３Ｔ２Ｔ３２Ｔ３２Ｔ４ＴＴ１２２Ｔ４Ｔ４３Ｔ３２Ｔ１４ＴＴ
（比較のために、１２キー（またはマルチタップ）入力装置では、上記の句は４４３３５５５Ｐ５５５６６６＃９６６６７７７５５５３として入力される。この場合、Ｐ＝ポーズ（重字を入力するときに必要である）である。）

他の実施形態は、大文字ロック・モードに切り替えたり大文字ロック・モードから切り替えたり、バックスペース・キーを入力したり、数字／記号にアクセスしたりするためのモディファイア・キーに特別なシーケンスを使用する。バックスペースを除いて、アクション文字は通常、それほど頻繁には実行されず、したがって、アクション文字を入力するのにより呼び出すのが困難なシーケンスが必要であっても性能が著しく損なわれることはない。したがって、バックスペースは、すべての指を一度に下ろすことや、掌によるアクションや、おそらく動作など、入力が非常な容易なマッピングに割り当てられ、一方、他のアクション・キーにはより複雑なシーケンスが割り当てられる。

他の実施形態は、所与の指ストローク−文字マップを作成する際に指の敏捷性および指同士の間の敏捷性を考慮する。（たとえば、人差し指が小指よりも敏捷であり、したがって、人差し指では小指よりも迅速にタップすることができ、したがって、「１−２」のようなシーケンスは「４−３」のようなシーケンスよりも高速に実行することができると仮定する。）

他の実施形態では、タップまたは押下入力モードを拡張し、指タップと指ストロークの組み合わせを使用して各指に関連する文字の曖昧さを排除することができる。たとえば、クワーティ型指ストローク−文字マッピングでは、左手中指は文字「ｅ」（１番上の列）、「ｄ」（ホーム列）、および「ｃ」（１番下の列）を入力する。「ｅ」を選択する場合、ユーザは中指で押して上方向を指し示し、「ｄ」の場合、ユーザは中指でタップし、「ｃ」の場合、ユーザは中指で押して下方向を指し示す。斜め動作を使用して人差し指に関連する文字群の曖昧さを排除することができる（たとえば、左手人差し指はｒ、ｔ、ｆ、ｇ、ｃ、ｖ、ｂを入力し、右人差し指はｙ、ｕ、ｈ、ｊ、ｎ、ｍを入力する）。

他の実施形態では、掌を使用してモードを変更するかまたはアクションを実行することができ、あるいは掌を選択モディファイアとして使用することができる。たとえば、掌の手首に近い部分を使用して小文字、大文字、アクション（すなわち、タブ、上／下、ホームなど）のような複数の指ストローク−文字マップを切り替えることができる。一方、掌はバックスペース・インジケータとして働くことができる。

他の実施形態では、肘や、足や、掌のような人体の他の部分によって生じさせられるタップ・イベント、または人体の一部を使用して操作されるスタイラスやその他の機械的装置などの機械的装置によって生じさせられるタップ・イベントが、文字マッピングの一部として使用される。

他の実施形態では、システムは、マッピング構成だけでなく、ユーザが指ストロークのシーケンスを入力している間に次にどの指でタップするかに応じて生成することのできる文字に関する視覚的フィードバックもユーザに与える。

図５〜７は、本発明の一実施形態による指を識別するプロセスを示している。さらに、図８〜１０は、本発明の一実施形態による指ストローク−文字マップを示している。

具体的には、図５は、本発明の一実施形態による、指の第１の各指の識別子を示している。図５では、指の識別子は、指「１」としての人差し指から始まり、手を横切って、指「４」である小指に移動し、次に指「５」である親指に移動する。図６は、本発明の一実施形態による指の第２の識別子を示している。図６では、指の識別子は、指「１」としての親指から始まり、手を横切って、指「５」である親指に移動する。図７は、本発明の一実施形態による、掌の識別子を含む指の第３の識別子を示している。図７では、点線の円は、指および掌の識別子を示している。親指以外の各指は、１つの識別子を有し（すなわち、人差し指には「２」）、掌は１つの識別子を有する。これに対して、親指は３つの識別子「１」、「Ｔ」、「＃」を有する。したがって、本発明の各実施形態では、テキスト入力システムには親指が３つの別々のタップ物体に見える（すなわち、各識別表示ごとに１つのタップ物体として扱われる）。ここでは、掌のタップ・イベントも、指のタップ・イベントと同様指トリガ・イベントと呼ぶ。

ユーザ１０４は、テキスト入力システム（図１〜４のシステムなど）を使用して所与の文字を出力する際、テキスト入力システムの指ストローク−文字マッピングに従って指の一連の動き（すなわち、タップまたは押下）を実行する。たとえば、図８は、本発明の一実施形態による指ストローク−文字マップ３００を示している。図８では、文字「Ａ」はシーケンス「１−１−１」にマップされる。図５の指識別システムを使用する場合、ユーザ１０４は、「Ａ」文字については人差し指を使用して３回タップするかまたは押す。あるいは、ユーザ１０４は、「Ｂ」文字については人差し指で２回、中指で１回タップするかまたは押す。図６の指識別システムを使用する場合、ユーザ１０４は、「Ａ」文字については親指を使用して３回タップするかまたは押し、「Ｂ」文字については親指を使用して２回タップするかまたは押し、人差し指を使用して１回タップするかまたは押す。図７の指識別システムを使用する場合、ユーザ１０４は、図６と同様の指ストロークを実行し、親指で「Ｔ」識別表示または「＃」識別表示ではなく「１」識別表示としてタップする。

他の実施形態では、１本の指が「繰り返しストローク」指として働き、ユーザ１０４がタップするかまたは押すときに、シーケンスにおける最後の指ストロークを繰り返す。たとえば、図９は、本発明の一実施形態による「繰り返し」指ストロークを用いる指ストローク−文字マップ３１０を示している。小指を「繰り返しストローク」指として用いる図５の指識別システムを使用する場合、ユーザ１０４は、「Ａ」文字については、人差し指でタップするかまたは押し、次に小指でタップするかまたは押し、最後に再び人差し指でタップするかまたは押す。（小指でタップするかまたは押すと、人差し指の「繰り返し」、すなわち、図８の「１−１−１」指ストロークと同一のシーケンスになることに留意されたい。）あるいは、ユーザ１０４は「Ｂ」文字については人差し指−小指−中指というパターンでタップするかまたは押す。所望の指で２回タップすると、所望の指でタップし、次に「繰り返しストローク」指でタップするよりも遅くなることがあるので、「繰り返しストローク」指を使用することによってユーザ１０４はテキストをより高速に入力できることに留意されたい。

他の実施形態では、いくつかの固有の文字／数字マップがテキスト入力装置に関連付けされる。図１０は、本発明の一実施形態による２つの数字マップ、指ストローク−アルファベット文字マップ３３０、および指ストローク−ＡＳＣＩＩ文字を含む指ストローク−文字マップ３３２を示している。図１０の文字マップが２つの指ストローク・シーケンスを使用して各文字または数字を表し、それによってテキストの入力が簡略化されることに留意されたい。

図１０に示されているように、数字マップとアルファベット／ＡＳＣＩＩ文字マップとの切り替えは、親指の「＃」識別子を使用して行われる。「数字モード」（すなわち、数字指ストローク−文字マップを使用する）では、親指で「Ｔ」識別子をタップするかまたは押すと最初の５つの数字と最後の５つの数字が循環的に切り替わる。各数字マップ内では、所与の指で１回タップするかまたは押すと、対応する数字が出力される。たとえば、最初の５つの数字のマップがアクティブである間に親指の「１」識別子を使用すると数字１が出力され、最後の５つの数字のマップがアクティブである場合には数字６が出力される。あるいは、文字モードでは、「Ｔ−Ｔ」をタップするかまたは押す（すなわち、親指で「Ｔ」識別子の位置を２回タップする）と、アルファベット文字マップとＡＳＣＩＩ文字マップが循環的に切り換わる。これらのマップ内では、２ストローク・シーケンスを入力すると、対応する文字が出力されるかまたは対応するアクションが実行される。

３０個の「一次」キーおよび１０個の数字キーだけでなく、７個の特別記号キー、４個のスペース・キー（スペース、バックスペース、リターン、タブ）、およびいくつかのモディファイア・キー（シフト、コントロール、ａｌｔ、エスケープ、ウィンドウ、削除、挿入、ホーム／終了、ページ上／下、矢印、ファンクションなど）がある。中指および５＋２個の識別子を使用することによって、７個の特別記号キーをカバーすることができる。４個のスペース・キーは、他の親指識別子によって示すことができ、またはおそらく手全体を表面に押し付ける（たとえば、手全体を押し付けるのがスペースであってよく、一方、親指を除いて手全体を押し付けるのがバックスペースであってよい）ことによって示すことができる。モディファイア・キーは、モデル・シーケンスによってアクセスすることも他の親指識別子によってアクセスすることもできる。

図１１は、本発明の一実施形態による、所定の長さのシーケンスを使用してテキストを入力するプロセスを示すフローチャートを示している。例示のために指イベントが使用されているが、他の実施形態では、テキストを入力するプロセスは、人体の他の部分やユーザ１０４によって操作される機械的装置のような他の物体によって生じさせられるイベントを含むことに留意されたい。

プロセスは、システムがタップ・イベント（すなわち、指ストローク）を検出したときに開始する（ステップ４００）。たとえば、ユーザ１０４は、指で接触検知パネル１０６をタップするかまたは押すか、あるいは指取り付け発信装置１１０がユーザ１０４の指に取り付けられている間に指による認識される動きを実行することができる。

システムは、どの指がイベントを生じさせたかを判定し、指の識別子をシーケンス・バッファ内のエントリとして格納する（ステップ４０２）。システムは次に、シーケンス・バッファを検査して、シーケンス・バッファにエントリを格納することによってバッファが所定のサイズに達したかどうかを判定する（ステップ４０４）。たとえば、本発明の一実施形態では、シーケンス・バッファは、システムが３つの異なる指ストロークに関連する指識別子をシーケンス・バッファに格納したときに所定のサイズに達する。シーケンス・バッファが所定のサイズに達していない場合、システムはステップ４００に戻り、次の指トリガ・イベントを待つ。シーケンス・バッファが所定のサイズに達している場合、システムは、シーケンス・バッファ上に格納されているシーケンスを指ストローク−文字マップ内のシーケンスと比較する（ステップ４０６）。指ストローク−文字マップは、いくつかの指ストローク・シーケンスおよび各シーケンスに対応する出力文字を含んでいる。

システムは、指ストローク・シーケンスが指ストローク−文字マップ内の指ストローク・シーケンスに一致するかどうかを判定する（ステップ４０８）。指ストローク・シーケンスが指ストローク−文字マップ内の指ストローク・シーケンスに一致しない場合、システムはエラーを示し、シーケンス・バッファをリセットする（ステップ４１０）。指ストローク・シーケンスが指ストローク−文字マップ内の指ストローク・シーケンスに一致する場合、システムは文字を出力し、バッファをリセットする（ステップ４１２）。

図１２は、本発明の一実施形態による、終了イベントを使用してテキストを入力するプロセスを示すフローチャートを示している。プロセスは、システムが指トリガ・イベント（すなわち、指ストローク）を検出したときに開始する（ステップ４２０）。

システムは次に、どの指がイベントを生じさせたかを判定し、指の識別子が「終了」指識別子に一致するかどうかを判定する（ステップ４２２）。たとえば、終了指識別子は、かなり逆方向に向けられた親指に対応する「＃」または「Ｔ」を検出することを含む（図７参照）。指識別子が終了指識別表示に一致しない場合、システムは指の識別表示をシーケンス・バッファに追加する（ステップ４２４）。システムは次にステップ４２０に戻り、次の指トリガ・イベントを待つ。指識別表示が終了指識別表示に一致する場合、
システムは、シーケンス・バッファ上に格納されているシーケンスを指ストローク−文字マップ内のシーケンスと比較する（ステップ４２６）。

システムは次に、指ストローク・シーケンスが指ストローク−文字マップ内に存在する指ストローク・シーケンスに一致するかどうかを判定する（ステップ４２８）。指ストローク・シーケンスが指ストローク−文字マップ内に存在する指ストローク・シーケンスに一致しない場合、システムはエラーを示し、シーケンス・バッファをリセットする（ステップ４３０）。指ストローク・シーケンスが指ストローク−文字マップ内に存在する指ストローク・シーケンスに一致する場合、システムは文字を出力し、シーケンス・バッファをリセットする（ステップ４２８）。

図１３は、本発明の一実施形態による、プレフィックスを使用してテキストを入力するプロセスを示すフローチャートである。プロセスは、システムが指トリガ・イベント（すなわち、指ストローク）を検出したときに開始する（ステップ４４０）。

システムは次に、どの指がイベントを生じさせたかを判定し、指の識別子をシーケンス・バッファ内のエントリとして格納する（ステップ４４２）。システムは次に、シーケンス・バッファ上に格納されているシーケンスを指ストローク−文字マップ内のシーケンスと比較する（ステップ４４４）。

システムは、指ストローク・シーケンスが指ストローク−文字マップ内に存在する指ストローク・シーケンスに一致するかどうかを判定する（ステップ４４６）。指ストローク・シーケンスが指ストローク−文字マップ内に存在する指ストローク・シーケンスに一致する場合、システムは文字を出力し、バッファをリセットする（ステップ４４８）。指ストローク・シーケンスが指ストローク−文字マップ内に存在する指ストローク・シーケンスに一致しない場合、システムは、指ストロークにおける少なくとも１つの文字のプレフィックス（例えば上位の所定数の桁、例えば２桁）が文字マップに一致するかどうかを判定する（ステップ４５０）。指ストロークにおける少なくとも１つの文字のプレフィックスが文字マップに一致する場合、システムはステップ４４０に戻り、次の指トリガ・イベントを待つ。指ストロークにおける少なくとも１つの文字のプレフィックスが文字マップに一致しない場合、システムはエラーを示し、シーケンス・バッファをリセットする（ステップ４５２）。

＜付記＞
（１）
テキストを入力する装置であって、
指、掌、肘、脚等の身体の各部位の動き、または前記身体の各部位の動きに関連して動く物体の動きである指トリガ・イベントのシーケンスを受け取る受取り部と、
前記指トリガ・イベントのシーケンスと文字情報を対応づけしたテーブルを記憶する記憶部と、
前記受け取られたシーケンスと、前記テーブルに記された記憶されたシーケンスとを照合する照合部と、
照合の結果、受け取られたシーケンスが記憶されたシーケンスに一致した場合、前記テーブルにより記憶されたシーケンスに対応付けられた文字情報を、受け取られたシーケンスに対応する文字情報として出力する出力部と、
を含む、装置。
（２）
（１）に記載の装置であって、
前記受取り部は、
一連の指トリガ・イベントを検出し、
各イベントを生じさせた前記身体の部位またはこれに関連して動く前記物体を識別し、
その前記身体の部位または前記物体に対し予め定められた識別子を記録することにより、前記指トリガ・イベントのシーケンスを受け取るように構成される、
装置。
（３）
（２）に記載の装置であって、
前記受取り部は、
前記身体の部位またはこれに関連して動く前記物体が接触したこと、および接触した位置を検出する接触検知表面を有し、
前記接触した位置に基づき、各イベントを生じさせた前記身体の部位または前記物体を識別する、
装置。
（４）
（２）に記載の装置であって、
前記受取り部は、
前記身体の部位または個連関連して動く前記物体が叩いたことにより、音を発生する音響発生表面と、
前記音が発生した位置を検出する位置検出集音部と、
を有し、
前記音が発生した位置に基づき、各イベントを生じさせた前記身体の部位または前記物体を識別する、
装置。
（５）
（２）に記載の装置であって、
前記受取り部は、
前記身体の部位の動作を、筋肉の運動、骨の運動、皮膚内の電気インパルスその他の生理学的指標のうちの少なくとも１つを測定することにより検出する生理学的指標検出部を有し、この生理学的指標に基づき、各イベントを生じさせた前記身体の部位を識別する、
装置。
（６）
（２）に記載の装置であって、
前記受取り部は、
前記身体の部位に装着され、その部位の動きを検出するセンサを使用して、当該身体の部位の動作を検出する動作検出部を有し、検出された動作に基づき、各イベントを生じさせた前記身体の部位を識別する、
装置。
（７）
（１）に記載の装置であって、
前記照合部は、前記指トリガ・イベントのシーケンスを照合する際に、一つのシーケンスに含まれる最大の指トリガ・イベントの数より小さい、予め定められた所定数の指トリガ・イベントが生じたときに、この所定数の指トリガ・イベントで構成される部分シーケンスと、前記記憶されたシーケンスの上位の前記所定数の部分シーケンスとを照合する工程を含む、
装置。

本発明の一実施形態による接触検知装置に結合されたＰＤＡを示す図である。 本発明の一実施形態による、一連の指取り付け発信装置ＰＤＡに結合された手首取り付けトランシーバを示す図である。 本発明によるＰＤＡに結合された手首取り付け検出装置を示す図である。 本発明の一実施形態によるＰＤＡに結合された音響センサを示す図である。 本発明の一実施形態による指の第１の識別子を示す図である。 本発明の一実施形態による指の第２の識別子を示す図である。 本発明の一実施形態による掌の識別子を含む指の第３の指識子を示す図である。 本発明の一実施形態による指ストローク−文字マップを示す図である。 本発明の一実施形態による「繰り返し」指ストロークを含む指ストローク−文字マップを示す図である。 本発明の一実施形態による２つの数字マップ、指ストローク−アルファベット文字マップ、および指ストローク−ＡＳＣＩＩ文字を含む指ストローク−文字マップを示す図である。 本発明の一実施形態による所定の長さのシーケンスを使用してテキストを入力するプロセスを示すフローチャートである。 本発明の一実施形態による終了イベントを使用してテキストを入力するプロセスを示すフローチャートである。 本発明の一実施形態によるプレフィックスを使用してテキストを入力するプロセスを示すフローチャートである。

符号の説明

１００ ＰＤＡ、１０２ 接触検知装置、１０４ ユーザの手、１０６ 接触検知パネル、１１０ 指取り付け発信装置、１１２ 手首取り付けトランシーバ、１２０ 手首取り付け検出装置、１３０ 音響センサ、１３２ マイクロフォン、３００ 指ストローク−文字マップ、３１０ 指ストローク−文字マップ、３３０ 指ストローク−アルファベット文字マップ、３３２ 指ストローク−ＡＳＣＩＩ文字マップ。

Claims (1)

1. テキストを入力する装置であって、
   指トリガ・イベントのシーケンスを受け取るように構成された受取り部と、
   前記受取り部に結合され、前記受け取られた指トリガ・イベントのシーケンスを指トリガ・イベントの予め記憶されたシーケンスに一致させることを試みるように構成された一致部と、
   前記一致部に結合され、前記受け取られた指トリガ・イベントのシーケンスが前記記憶されたシーケンスに一致する場合にこの記憶されたシーケンスに対応する少なくとも１つの文字を出力するように構成された出力部と、
   を含み、
   前記受取り部は、一連の指トリガ・イベントを検出し、前記一連の指トリガ・イベントにおける各イベントを生じさせた指を識別し、前記一連の指トリガ・イベントにおける各イベントを生じさせた前記指の識別子を記録することによって前記指トリガ・イベントのシーケンスを受け取るように構成され、
   さらに、前記受取り部は、
   接触検知表面に対する指の接触を検出することと、音響検知表面に対する指のタップ（叩くこと）を検出することと、筋肉の運動、骨の運動、皮膚内の電気インパルスその他の生理学的指標のうちの少なくとも１つを測定することによって指の動きを検出することと、少なくとも１本の指に着用されるか、取り付けられるか、または移植されたセンサを使用して指の動きを検出すること、のうちの少なくとも１つによって前記一連の指トリガ・イベントを検出するように構成され、
   特定の１本の指による指トリガ・イベントが、指トリガ・イベントのシーケンスにおける直前のイベントの繰り返しを表す、
   装置。

Images