JP5323987B2 - ユーザ入力オブジェクトのサイズ及び／又は方位角を検出し且つそれに応答する電子デバイス用ディスプレイ - Google Patents

Description

本発明は、電子デバイス用ディスプレイに関し、特にユーザ入力を受信するディスプレイに関する。

タッチセンシティブディスプレイにおけるスタイラス及び／又は指の接触を検出するために、種々の技術が使用可能である。例えば抵抗膜方式タッチスクリーンパネルは、２つの離間した薄い金属製の導電層及び抵抗層を含む。ユーザ入力オブジェクトがパネルに触れた時に層が接続されることにより、電流は変化する。この電流の変化は、ユーザ入力接触イベントとして検出される。一般に抵抗膜方式タッチスクリーンは、相対的に精密であるが、特にユーザの指がタッチスクリーンに接触するために使用される場合に十分に感知可能でない場合がある。

一般に静電容量方式タッチスクリーンは、センサを介して電流を継続的に伝導する酸化インジウムスズ等の物質で塗布される。センサは、横軸及び縦軸の双方に格納された電子の制御された場を示し、静電容量を達成する。センサの容量場がユーザの指等の別の容量場により変更される場合、パネルの各隅に配置された電子回路は、歪みを測定し、障害の場所を識別する。静電容量方式タッチスクリーンは、相対的に高い感度を有するが、イベントの場所が検出される精度は低い。

側光式タッチスクリーンは、ディスプレイの表面の上部で光検出器のグリッドを使用する。光は、水平に及び垂直に一方から他方に送出され且つ検出器により受信される。指又はスタイラスが近接すると光のビームが遮断され、検出器により場所を座標に変換することができるようになる。しかし、光源及び検出器がディスプレイの上部に配置される必要があるため、この構成は、一般に移動デバイスでは望ましくない高さを形成する。

別の種類の光学式タッチスクリーンは、全反射原理を使用する。屈折媒体は光で充填され、指又は他の物体が表面に対して押下される場合に内部反射光路が遮断されることにより、光は屈折媒体の外側に反射される。屈折媒体の外側の光はカメラにより検出される。一般に光屈折タッチスクリーンは、高い感度及び精度を有する。しかし、光源及び屈折媒体に必要な空間により、ディスプレイの寸法は増大し、また、カメラと組み合わされるため、ディスプレイのコントラストも制限される可能性がある。従って、この種の光学式タッチスクリーンは、ハンドヘルドデバイスで使用するのは現実的ではないだろう。

また、ユーザ入力が画面と接触する場合にのみ生成されるため、タッチスクリーンは、マウスを用いたユーザインタフェースと同一の一般的なプロトコルを使用して動作できないだろう。従って、ユーザがアイコンの移動を追跡すること、例えば領域を選択することは、マウスで実行するよりも困難だろう。しかし、マウス入力デバイスは、小型化されたハンドヘルドデバイスで使用するのは望ましくないだろう。

いくつかの実施形態に係る電子デバイスは、電磁放射線検出器の配列を含むタッチセンシティブディスプレイスクリーンを備える。電磁放射線検出器の配列は、ディスプレイスクリーンから離れて近接するユーザ入力オブジェクトの画像を表す画像信号を生成し、ディスプレイスクリーンがユーザ入力オブジェクトによってタッチされたことに応じてタッチ信号を生成するように構成される。電子デバイスは制御回路を更に備え、制御回路は、キーボードを形成する複数のキーを表示すると共にキー上に文字を表示するように構成される。制御回路は、画像信号から、ディスプレイスクリーンに対するユーザ入力オブジェクトのサイズ及び／又は方位角を識別する。制御回路は、ユーザ入力オブジェクトの識別されたサイズ及び／又は方位角に応じて、且つタッチ信号に応じて、キーボードのキー上に示された文字の中からのユーザ選択を識別し、識別されたユーザ選択の文字に対応する文字データを出力する。

いくつかの更なる実施形態において、前記制御回路は更に、前記キーボードの複数のキーの各々の上に少なくとも２つの異なる文字を表示し、キーを選択する前記ユーザ入力オブジェクトの前記識別された方位角に応じて、前記複数のキーのうちの選択された１つのキー上に表示された文字の中からのユーザ選択を識別する、ように構成される。

いくつかの更なる実施形態において、前記制御回路は更に、前記ユーザ選択の文字として、前記ユーザ入力オブジェクトの前記識別された方位角によって示される方向に存在する、前記選択されたキー上の複数の文字のうちの最初の文字を識別するように構成される。

いくつかの更なる実施形態において、前記制御回路は更に、前記ユーザ入力オブジェクトの前記識別された方位角に応じて、左手の指による前記キーボードのキーのうちの１つの選択と、右手の指による選択とを区別する選択信号を生成し、前記選択されたキー上に表示された複数の文字のうちの最も左の文字をユーザが選択したと判断することにより、前記選択が左手の指により行われたと識別する前記選択信号に対して応答し、前記選択されたキー上に表示された複数の文字のうちの最も右の文字をユーザが選択したと判断することにより、前記選択が右手の指により行われたと識別する前記選択信号に対して応答する、ように構成される。

いくつかの更なる実施形態において、前記制御回路は更に、前記ユーザ入力オブジェクトの前記識別された方位角に応じて、ユーザの左手の指による前記キーボードのキーの中からの選択と、ユーザの右手の別の指による選択とを区別する選択信号を生成し、ユーザが選択したキーボードの一連の文字を用いて定義された単語のデータベースの中から候補の単語を選択する予測テキスト入力動作を起動することにより、ユーザが片方の手を用いてタイプしていることを示す前記選択信号に対して応答する、ように構成される。

いくつかの更なる実施形態において、前記制御回路は更に、前記キーボードの複数のキーの各々の上に少なくとも２つの異なる文字を表示し、キーを選択する前記ユーザ入力オブジェクトの前記識別されたサイズに応じて、前記複数のキーのうちの選択された１つのキー上に表示された複数の文字の中からのユーザ選択を識別する、ように構成される。

いくつかの更なる実施形態において、前記制御回路は更に、前記ユーザ入力オブジェクトの前記識別されたサイズに応じて、ユーザの親指を用いた前記キーボードのキーの中からの選択と、親指でない別の指を用いた選択とを区別する選択信号を生成するように構成される。

いくつかの更なる実施形態において、前記制御回路は更に、ユーザが選択する可能性のある文字を表示された数字でない文字に制限することにより、ユーザの親指による選択を示す前記選択信号に対して応答し、ユーザが選択する可能性のある文字を表示された英字でない文字に制限することにより、ユーザの親指でない指の１つによる選択を示す前記選択信号に対して応答する、ように構成される。

いくつかの更なる実施形態において、前記制御回路は更に、選択された一連の英文字を用いて定義された単語のデータベースの中から候補の単語を選択する予測テキスト入力動作を起動することにより、ユーザの片方又は両方の親指による表示された英文字の一連の選択を示す前記選択信号に対して応答し、ユーザの親指でない指のうちの１つによる少なくとも１つのキーの選択を示す前記選択信号に応じて、前記予測テキスト入力動作を停止する、ように構成される。

いくつかの更なる実施形態において、前記制御回路は更に、前記ユーザ入力オブジェクトの前記識別されたサイズに応じて、前記キーボードのキーの少なくとも一部の表示サイズを修正するように構成される。

いくつかの更なる実施形態において、前記制御回路は更に、前記ユーザ入力オブジェクトの第１の閾値サイズを識別したことに応じて、前記ディスプレイスクリーン上のＱＷＥＲＴＹキーボードの第１の複数のキーを表示し、前記ユーザ入力オブジェクトの第２の閾値サイズを識別したことに応じて、前記表示された第１の複数のキーを、前記ディスプレイスクリーン上のＱＷＥＲＴＹキーボードの第２の複数のキーにより置き換える、ように構成される。前記第２の閾値サイズは、前記第１の閾値サイズよりも大きく、前記第２の複数のキーは、前記第１の複数のキーよりも少ない。

いくつかの更なる実施形態において、前記制御回路は更に、前記識別されたサイズに応じて、ユーザの親指によるキーの選択と、ユーザの親指でない指のうちの１つによる選択とを区別する選択信号を生成し、ユーザの親指による選択を識別したことに応じて、前記キーボードのキーのうちの少なくとも１つの表示サイズを拡大し、ユーザの親指でない指のうちの１つのよる選択を識別したことに応じて、以前の前記拡大された少なくとも１つのキーの表示サイズを減少させる、ように構成される。

いくつかの更なる実施形態において、前記制御回路は更に、前記ユーザ入力オブジェクトの前記識別されたサイズに応じて、ユーザの親指によるキーの選択と、ユーザの親指でない指のうちの１つによる選択とを区別する選択信号を生成し、ユーザの親指でない指のうちの１つによる選択を識別したことに応じて、ＱＷＥＲＴＹキーボード構成に配列される第１の複数のキーの各々に第１の複数の英文字を表示し、ユーザの親指による選択を識別したことに応じて、第２の複数の表示キー上に前記第１の複数の英文字のグルーピングを表示する、ように構成され、前記第２の複数の表示キーは、前記第１の複数の表示キーよりも少ない。

いくつかの更なる実施形態において、前記制御回路は更に、前記第１の複数の表示キーよりも大きなキーシンボルとして、前記第２の複数の表示キーを表示するように構成される。

いくつかの更なる実施形態において、前記制御回路は更に、前記ユーザ入力オブジェクトの前記識別された方位角に応じて、前記キーボードのキーのうちの１つの選択が左手の指によるものであるか右手の指によるものであるかを示す選択信号を生成し、前記第１の複数のキーの中からの選択のためにユーザが右手及び左手両方の指を使用しているということを示す前記選択信号に応じて、前記第１の複数のキーの表示を、前記第２の複数のキーの表示により置き換える、ように構成される。

いくつかの更なる実施形態において、前記制御回路は更に、少なくとも複数である閾値数のキー選択に関して、両方ではなくどちらか片方の親指を用いてユーザが表示キーの中から選択しているということを示す前記選択信号に応じて、前記第１又は第２の複数のキーの表示を、第３の複数のキーの表示により置き換えるように構成される。

いくつかの更なる実施形態において、前記制御回路は更に、ユーザの親指でない指のうちの少なくとも１つを用いてユーザが前記第２の複数のキーの中から選択しているということを示す前記選択信号に応じて、前記第２の複数のキーの表示を、前記第１の複数のキーの表示により置き換えるように構成される。

いくつかの更なる実施形態において、前記制御回路は更に、閾値時間の間ユーザが右手及び左手両方の親指を用いて前記第１の複数のキーの中から選択しているということを示す前記選択信号に応じて、前記第１の複数のキーの表示を、前記第２の複数のキーの表示により置き換え、ユーザの親指でない指のうちの少なくとも１つを用いてユーザが前記第２の複数のキーの中から選択しているということを示す前記選択信号に応じて、前記第２の複数のキーの表示を、前記第１の複数のキーの表示により置き換える、ように構成される。

いくつかの更なる実施形態において、前記制御回路は更に、前記第２の複数のキーのうちの選択されたキー上に表示された文字のうちの最も左の文字をユーザが選択したと識別することにより、左手の指によるキー選択を示す前記選択信号に応答し、前記第２の複数のキーのうちの選択されたキー上に表示された文字のうちの最も右の文字をユーザが選択したと識別することにより、右手の指によるキー選択を示す前記選択信号に応答する、ように構成される。

いくつかの他の実施形態において、電子デバイスは、タッチセンシティブディスプレイスクリーンと、制御回路と、を備える。前記タッチセンシティブディスプレイスクリーンは、電磁放射線検出器の配列を含み、前記電磁放射線検出器の配列は、当該ディスプレイスクリーンから離れて近接するユーザ入力オブジェクトの画像を表す画像信号を生成し、当該ディスプレイスクリーンが前記ユーザ入力オブジェクトによってタッチされたことに応じてタッチ信号を生成するように構成される。前記制御回路は、キーボードを形成する複数のキーを前記ディスプレイスクリーン上に表示すると共に当該キー上に文字を表示するように構成される。前記制御回路は、前記画像信号から、前記ディスプレイスクリーンに対する前記ユーザ入力オブジェクトのサイズ及び方位角のうちの少なくとも一方を識別する。戦記制御回路は、前記ユーザ入力オブジェクトの前記識別されたサイズ及び方位角のうちの少なくとも一方に応じて、且つ前記タッチ信号に応じて、前記キーボードのキー上に示された文字の中からのユーザ選択を識別し、前記識別されたユーザ選択の文字に対応する文字データを出力する。前記制御回路は、前記ユーザ入力オブジェクトの第１の閾値サイズを識別したことに応じて、ＱＷＥＲＴＹキーボード構成に配列される第１の複数のキーの各々に第１の複数の英文字を表示し、前記ユーザ入力オブジェクトの第２の閾値サイズを識別したことに応じて、第２の複数の表示キー上に前記第１の複数の英文字のグルーピングを表示する。前記第２の閾値サイズは、前記第１の閾値サイズよりも大きく、前記第２の複数のキーは、前記第１の複数のキーよりも少ない。前記制御回路は、前記ユーザ入力オブジェクトの前記識別された方位角に応じて、左手の指による前記キーボードのキーのうちの１つの選択と、右手の指による選択とを区別し、前記ユーザ選択の文字として、前記ユーザ入力オブジェクトの前記識別された方位角によって示される方向に存在する、前記選択されたキー上の複数の文字のうちの最初の文字を識別する。

本明細書に組み込まれ且つその一部を構成する添付の図面は、本発明の実施形態を図示し、説明と共に本発明の原理を説明するために用いられる。
図１は、本発明の実施形態に係るディスプレイを有する移動通信デバイスを示す正面図である。 図２は、図１のディスプレイを示す分解図である。 図３は、図１のディスプレイを示す横断面図である。 図４は、本発明の実施形態に係る電磁放射線エミッタ及び電磁放射線検出器を含む図１のディスプレイの層を示す横断面図である。 図５Ａは、本発明の実施形態に係る電磁放射線プロファイルを示すデジタル画像を示す図である。図５Ｂは、図５Ａの画像から導出された強調画像を示す図である。図５Ｃは、図５Ａ及び図５Ｂの画像を使用してユーザ入力デバイスを識別することを示す概略図である。図５Ｄは、図５Ｃの概略図に基づいて識別された対象領域を示す概略図である。 図６は、本発明の実施形態に係る動作を示すフローチャートである。 図７は、本発明のいくつかの実施形態に係るタッチセンシティブディスプレイを示す横断面図である。 図８は、本発明のいくつかの実施形態に係る別のタッチセンシティブディスプレイを示す横断面図である。 図９は、本発明の実施形態に係る動作を示すフローチャートである。 図１０は、本発明のいくつかの実施形態に係る無線移動通信デバイスを含む無線通信システムを示す概略ブロック図である。 図１１は、更なる実施形態に係るディスプレイを示す平面図である。 図１２は、更なる実施形態に係るディスプレイの画素を示す概略図である。 図１３は、本発明の実施形態に係る動作を示すフローチャートである。 図１４は、種々の実施形態に係るユーザ入力オブジェクトを示すデジタル画像である。 図１５は、いくつかの実施形態に従って取り込まれ且つ特徴付けられるホットスポットのいくつかの属性を示す図である。 図１６は、いくつかの実施形態に従って制御回路が表示装置上に描画する例示的なＱＷＥＲＴＹキーボードを示す図である。 図１７は、いくつかの実施形態に従って制御回路が表示装置上に描画する別の例示的なキーボードを示す図である。 図１８は、いくつかの実施形態に従う、キーボードキー上に表示される複数の文字の中からのユーザの選択を識別するための、制御器により実行される動作を示すフローチャートである。 図１９は、いくつかの実施形態に従う、選択されたキーボードキー上に表示される２つの文字の中からのユーザの選択を識別するための、制御器により実行される動作を示すフローチャートである。 図２０は、いくつかの実施形態に従う、予測テキスト入力動作を起動させ且つ停止させるための、制御器により実行される動作を示すフローチャートである。 図２１は、いくつかの実施形態に従う、、予測テキスト入力動作を起動させ且つ停止させ、且つキーを選択したユーザの指のサイズに応じて、選択されたキー上に表示される数字、英字及び／又は他の文字の中からのユーザ選択を判定するための、制御器により実行される動作を示すフローチャートである。 図２２は、いくつかの実施形態に従って制御器が表示装置上に表示するキー毎に１つの文字を含む例示的なＱＷＥＲＴＹキーボードを示す図である。 図２３は、いくつかの実施形態に従って制御器が表示装置上に表示するキー毎に２つの文字を含むより小型化されたＱＷＥＲＴＹキーボードを示す図である。 図２４は、いくつかの実施形態に従って制御器が表示装置上に表示するキー毎に２つの文字を含む更により小型化されたＱＷＥＲＴＹキーボードを示す図である。 図２５は、いくつかの実施形態に従う、ユーザがキーを親指でない指で選択したか、あるいは親指で選択したかに応じて、キーボードキーの数及びサイズ、及び各キー上に表示される文字の数を制御するために、少なくともいくつかの機能を実行するための、制御器により実行される例示的な動作を示すフローチャートである。 図２６は、いくつかの実施形態に従う、ユーザが親指／親指でない指でタイプしているか及びユーザが両手を使用してタイプしているかに応じて、キーボードキーの数及びサイズ、及び各キー上に表示される文字の数を制御するために、少なくともいくつかの機能を実行するための、制御器により実行される例示的な動作を示すフローチャートである。

次に、本発明の実施形態が示される添付の図面及び例を参照して、以下において本発明を説明する。しかし、本発明は、多くの種々の形態で具体化されてもよく、本明細書で説明する実施形態に限定されるものとして解釈されるべきではない。これらの実施形態は、その開示内容が完璧で完全なものとなり、且つ本発明の範囲が当業者に完全に理解されるように提供される。

全体を通して、同様の参照番号は同様の要素を示す。図において、ある特定の線、層、構成要素、要素又は特徴は、明確にするために誇張されている場合もある。

本明細書で使用される専門用語は、特定の実施形態を説明するためだけのものであり、本発明を限定することを意図しない。本明細書で使用されるように、特に指示のない限り、単数形(“a”, “an”, and “the”)は複数形を含むことを意図する。本明細書で使用される場合の用語「備える(“comprises” and/or “comprising”)」は、記載される特徴、ステップ、動作、要素及び／又は構成要素の存在を特定するが、１つ以上の他の特徴、ステップ、動作、要素、構成要素及び／又はそれらの集合の存在又は追加を除外しないことが更に理解されるだろう。本明細書で使用されるように、「及び／又は(and/or)」という用語は、関連付けられ且つ列挙された項目のうちの１つ以上のいずれか及び全ての組合せを含む。本明細書で使用されるように、「ＸとＹとの間」及び「ＸとＹの周囲の間(between about X and Y)」等の表現は、Ｘ及びＹを含むように解釈されるべきである。本明細書で使用されるように、「ＸとＹの周囲の間」等の表現は「Ｘの周囲とＹの周囲との間」を意味する。本明細書で使用されるように、「Ｘの周囲からＹへ」等の表現は「Ｘの周囲からＹの周囲へ」を意味する。

特に指示のない限り、本明細書で使用される全ての用語（技術科学用語を含む）は、本発明が属する技術の当事者により一般に理解されるのと同一の意味を有する。一般的に使用される辞書において定義される用語等の用語は、関連技術説明におけるそれらの用語の意味と一致する意味を有するものとして解釈されるべきであり、特に指示のない限り、理想化された意味又は過度に形式的な意味に解釈されないことが更に理解されるだろう。既知の機能又は構成は、簡潔に及び／又は明確にするために詳細に説明されなくてもよい。

要素は、例えば別の要素「上にあり(“on”)」、別の要素に「装着され(“attached”)」、別の要素に「接続され(“connected” to)」、別の要素と「結合され(“coupled” with)」、別の要素に「接触している(contacting)」などものとして示される場合、直接他の要素上にあるか、他の要素に装着されるか、他の要素に接続されるか、他の要素と結合されるか、又は他の要素に接触していてもよく、あるいは介在要素が更に存在してもよいことが理解されるだろう。これに対して、要素が、例えば別の要素の「直接上にあるか」、別の要素に「直接装着されるか」、別の要素に「直接接続されるか」、別の要素と「直接結合されるか」、あるいは別の要素に「直接接触している」場合、介在要素は存在しない。別の特徴に「隣接して」開示される構造又は特徴を参照することは、隣接する特徴と重なり合うか、あるいは隣接する特徴の基盤をなす部分を有する場合があることが当業者により更に理解されるだろう。

空間に関係のある用語、例えば「下(“under”)」、「下側(“below”)」、「下方(“lower”)」、「上(“over”)」及び「上側(“upper”)」等は、説明を簡単にするために本明細書で使用されてもよく、図示されるように別の要素又は特徴との１つの要素又は特徴の関係を説明する。空間に関係のある用語は、図において説明される方位に加え、使用中又は動作中のデバイスの種々の方位を含むことを意図することが理解されるだろう。例えば、図のデバイスが反転される場合、他の要素又は特徴の「下」あるいは「真下」にあるものとして説明される要素は、他の要素又は特徴の「上」に配向される。従って、「下」という例示的な用語は、「上」及び「下」の双方の方位を含む。あるいは、デバイスは配向されてもよく（９０度又は他の方位で回転されてもよく）、本明細書で使用される空間に関係のある記述子はそれに応じて解釈される。同様に、特に指示のない限り、「上方に」、「下方に」、「垂直」及び「水平」等の用語は、説明のためだけに本明細書で使用される。

種々の要素を説明するために「第１の」、「第２の」等の用語が本明細書で使用されてもよいが、これらの要素はこれらの用語により限定されるべきではないことが理解されるだろう。これらの用語は、１つの要素を別の要素と区別するためだけに使用される。従って、以下で説明する「第１の」要素は、本発明の教示から逸脱せずに「第２の」要素と呼ばれてもよい。特に指示のない限り、動作（又はステップ）の手順は、請求の範囲又は図面に提示される順序に限定されない。

本明細書で使用されるように、「移動通信端末」又は「端末」は、例えばセルラネットワーク、ワイドエリアネットワーク、無線ローカルエリアネットワーク（ＷＬＡＮ）、ＧＰＳシステム及び／又は別のＲＦ通信デバイスから無線インタフェースを介して通信信号を受信するように構成される通信デバイスを含むがそれに限定されない。

本明細書で使用されるように、「ディスプレイ」は、情報を表示するため及び／又は美的のためにグラフィックス、照明又は背面照明等の視覚表現を提供できるデバイスを含むがそれに限定されない。

図１〜図３に示されるように、例示的なハンドヘルド移動電子デバイス１０は、液晶ダイオード（ＬＣＤ）ディスプレイ１２を含む。ディスプレイ１２は、背面照明層１４と、液晶層１６と、保護層１８（ガラス等）と、タッチパネル層２０とを含む。図４に示されるように、背面照明層１４及び／又は液晶層１６が省略される別の構成を採用する有機発光ダイオード（ＯＬＥＤ）が使用される。図４のディスプレイ１２は、基板Ｓ上に電磁放射線エミッタＥ及び電磁放射線検出器Ｄの配列を含む。いくつかの実施形態において、電磁放射線エミッタＥ及び電磁放射線検出器Ｄは、それぞれ、赤外線エミッタ及び赤外線検出器を含んでもよい。基板Ｓは、ディスプレイ１２上で種々の色の画素を表示するために使用される発光ダイオード（ＬＥＤ）又はＯＬＥＤ等の光エミッタＲ、Ｇ及びＢを更に含む。

図３に示されるように、エミッタは、ディスプレイ１２から離れる方向へ電磁放射線ＥＲを発する。指等のユーザ入力オブジェクト２２がディスプレイ１２に隣接して（必ずしもディスプレイ１２と接触しない）配置される場合、電磁放射線ＥＲは、ディスプレイ１２の方向へ反射される。反射された電磁放射線ＥＲは、液晶層１６内及び／又は液晶層１６の真下で検出器Ｄにより検出される。ユーザ入力オブジェクト２２とディスプレイとの接触は必要ではなく、電磁放射線ＥＲは、オブジェクト２２がディスプレイ１２から離間される場合にオブジェクト２２により反射されてもよい。

図５Ａ〜図５Ｄ及び図６に示されるように、電磁放射線検出器Ｄの出力は、ユーザにより選択されるかあるいは強調（ハイライト）されるディスプレイの領域等のユーザ入力を識別する（図５Ｄ、図６のブロック１０２）ために使用可能な、検出された電磁放射線プロファイル（図５、図６のブロック１００）に応じて２次元画像を生成するために、使用される。この構成において、指又はスタイラス等のユーザ入力オブジェクトは、オブジェクトが離間され且つディスプレイ１２と物理的に接触しない場合にも検出可能である。

例えば、図５Ａに示されるように、検出器Ｄからのデータは、ユーザの指の例示的な赤外線（ＩＲ）画像を示す図５Ａに示された画像を提供するために使用される。画像の画素間のコントラストは、オプションとして図５Ｂに示されるように強調されてもよい。ユーザの指Ｆの形状は、図５Ｃに示されるように識別されてもよい。図５Ｄに示されるように、対象領域Ｔは、例えば指Ｆの形状（例えば、指Ｆの先）から領域を識別するために当業者に既知である画像解析技術を使用することにより識別される。いくつかの実施形態において、対象領域Ｔは、例えば対象領域Ｔでアイコンを表示することにより、図１〜図４のディスプレイ１２上に示されてもよい。従って、ユーザ入力オブジェクト又は指Ｆの移動は、指Ｆの移動に応答するアイコンを表示することにより、ディスプレイ１２上で追跡されてもよい。この構成において、種々のユーザ入力は、指Ｆからの接触なしでディスプレイにより登録されてもよい。

特定の実施形態において、ディスプレイ１２は、ユーザ入力オブジェクトがディスプレイに接触する場合に更なるユーザ入力が検出されるように、タッチセンシティブディスプレイを更に含む。この構成において、従来のマウスの環境で使用されるのと同様のディスプレイ１２へのユーザ入力が使用される。ユーザがディスプレイ１２に接触せずに、例えば図５Ａ〜図５Ｄに関連して説明されるようにユーザ入力オブジェクトを移動する場合、従来のマウス矢印等のアイコンは移動する。ユーザがディスプレイ１２に触れる場合、別のユーザ入力は電子デバイス１０により受信される。これは、特定の場所でマウスボタンを選択すること又は「クリックすること」に類似してもよい。それに応じて、ディスプレイ１２は、ユーザ入力オブジェクトの動き及び／又は接触を検出し、従来のマウス環境に類似するユーザインタフェースを提供する。

図４の赤外線電磁放射線エミッタＥ及び赤外線電磁放射線検出器Ｄに関連して本発明に係る実施形態を説明するが、ユーザ入力オブジェクトの場所に応答する電磁放射線プロファイルを提供するために他の適切な技術が使用されてもよいことが理解されるべきである。例えば、いくつかの実施形態において、図４に示されたエミッタＥは省略され、検出器Ｄは、ユーザ入力オブジェクトの位置に応答するバックグラウンド電磁放射線の障害物を検出するように構成される。いくつかの実施形態において、電磁放射線検出器Ｄは、例えばユーザの手の指(digit or finger)からの熱放射を赤外線（ＩＲ）信号として検出するように構成される。

本発明の更なる実施形態によると、タッチセンシティブディスプレイシステムが提供されてもよい。図７に示されるように、ディスプレイ１２’は、電磁放射線エミッタＥ_１、Ｅ_２、電磁放射線検出器Ｄ_１、Ｄ_２及び屈折媒体３０の配列を含む。指Ｆ等のユーザ入力オブジェクトからの接触が無い状態で且つエミッタＥ_２及び検出器Ｄ_２に関連して示されるように、エミッタＥ_２は屈折媒体３０に対して電磁放射線を発するように構成され、屈折媒体３０の全反射は検出器Ｄ_２に対する電磁放射線を反射する。屈折媒体３０の全反射が、エミッタＥ_１及び検出器Ｄ_１に関連して示されるように指Ｆからの接触により妨害されるかあるいは変化するため、反射された電磁放射線の方向は変化し、検出器Ｄ_１は減少した量の電磁放射線を検出する。屈折媒体３０は、透明及び／又は半透明プラスチック、エラストマ材料又はガラスを含むあらゆる適切な材料から形成されてもよい。いくつかの実施形態において、表面３０_Ｓは、反射コーティング又は部分反射コーティングを含む。従って、指Ｆの存在は、検出器Ｄ_１において検出された電磁放射線を削減するかあるいは除去することにより検出される。

図８で示されたようないくつかの実施形態において、エミッタＥ及び検出器Ｄは、それぞれ、赤、緑及び青の光に対する光エミッタＲ、Ｇ、Ｂと共に基板Ｓ上に提供される。光エミッタＲ、Ｇ、Ｂは、ＬＥＤ又はＯＬＥＤであってもよい。従って、エミッタＥ及び／又は検出器Ｄはディスプレイに組み込むことができる。

図９に示されるように、エミッタＥ及び検出器Ｄは、例えばディスプレイ１２’上で検出器Ｄの配列により検出された電磁放射線の量を検出することにより、ディスプレイの電磁放射線プロファイルを検出する（ブロック１５０）ために使用される。ディスプレイの屈折媒体が接触され（ブロック１５２）、それに起因する電磁放射線プロファイルの変化が検出される（ブロック１５４）。検出器が減少した量の反射光を検出する領域を識別すること等に基づいて、接触領域が検出される（ブロック１５６）。

特定の実施形態において、図７及び図８に示された構成は、図２〜図６に関連して説明されるように、ディスプレイ１２’と接触していないユーザ入力オブジェクトを検出するように構成される更なるエミッタＥ及び検出器Ｄを含む。図７及び図８の屈折媒体３０の表面は、エミッタＥにより発せられた電磁放射線の入射角に基づいて、反射するようになる（例えば、プラスチック又はガラスと、空気との境界面(interface)の場合、約４５度）。他の角度において、屈折媒体３０の表面は透過的である。それに応じて、屈折媒体３０上のエミッタＥの入射角を選択して、図７及び図８に関連して説明された（すなわち、反射された電磁放射線、及び屈折媒体３０と接触することによる、その途絶を検出する）ように構成されるエミッタＥ及び検出器Ｄのペア、並びに図２〜図６に関連して説明した（すなわち、ディスプレイ１２、１２’から離れたユーザ入力オブジェクトを検出する）ように屈折媒体３０を介して電磁放射線を発するかあるいは送信するエミッタＥを提供することができる。

図１０は、セルラ基地局２０２及び／又は無線ローカルネットワーク２１６から無線通信信号を受信する移動無線通信端末等の無線端末２００を含む無線通信システムを示す概略ブロック図である。セルラ基地局２０２は、ＭＴＳＯ２０６に接続されることにより、ＰＳＴＮ２１２及びネットワーク２１４（例えば、インターネット）に接続される。移動端末２００は、８０２．１１ａ、８０２．１１ｂ、８０２．１１ｅ、８０２．１１ｇ、８０２．１１ｉを含んでもよいがそれらに限定されない通信プロトコル及び／又は他の無線ローカルエリアネットワークプロトコルを使用して無線ローカルネットワーク２１６と通信してもよい。無線ローカルネットワーク２１６は、ネットワーク２１４に接続されてもよい。

本発明のいくつかの実施形態において、移動端末２００は、制御回路２３２と、セルラ送受信機回路２３４と、メモリ回路２３６と、タイミング回路（時計）２３８と、ローカルネットワーク送受信機回路２４０と、スピーカデバイス２４２と、マイクデバイス２４４と、表示装置２４６と、キーパッド２４８とを備える。ディスプレイ２４６は、本明細書で説明するディスプレイ１２、１２’の要素を内蔵してもよい。

メモリ２３６は、制御器２３２により実行されるソフトウェアを格納し、１つ以上の消去可能プログラマブル読み出し専用メモリ（ＥＰＲＯＭ又はフラッシュＥＰＲＯＭ）、バッテリバックアップランダムアクセスメモリ（ＲＡＭ）、磁気記憶装置、光記憶装置又は他のデジタル記憶装置を含んでもよく、制御器２３２から又は制御器２３２内で少なくとも部分的に分離されてもよい。制御器２３２は、同一のパッケージに内臓されるか又は互いに分離してもよい２つ以上のプロセッサ、例えば汎用プロセッサ及びデジタル信号プロセッサ等を含んでもよい。

特に制御器２３２は、例えばディスプレイ１２、１２’の検出器Ｄにより検出された電磁放射線プロファイルからのユーザ入力を識別すること、及び識別された入力に応答して、表示装置２４６上に表示されている項目（アイテム）の中からのユーザの選択を判定することにより、図１〜図９に関連して説明したような動作を制御するように構成されてもよい。

一般にセルラ送受信機２３４は、送信機（ＴＸ）２５０及び受信機（ＲＸ）２５２の双方を含むことにより双方向通信を可能にするが、本発明はそのようなデバイスに限定されず、本明細書で使用されるように、「送受信機」は受信機２５２のみを含んでもよい。移動端末２００は、アンテナ２５４を介して通信されてもよい無線周波数信号を使用して基地局２０２とそのように通信してもよい。例えば移動端末２００は、１つ以上のセルラ通信プロトコル、例えば先進移動電話サービス（ＡＭＰＳ）、ＡＮＳＩ−１３６、ＧＳＭ（登録商標）（Ｇｌｏｂａｌ Ｓｔａｎｄａｒｄ ｆｏｒ Ｍｏｂｉｌｅ）通信、汎用パケット無線サービス（ＧＰＲＳ）、ＧＳＭ進化型高速データレート（ＥＤＧＥ）、符号分割多元接続（ＣＤＭＡ）、広帯域ＣＤＭＡ、ＣＤＭＡ２０００及びユニバーサル移動通信システム（ＵＭＴＳ）等を使用してセルラ送受信機２３４を介して通信するように構成されてもよい。本明細書で使用されるような通信プロトコルは、通信される情報、タイミング、周波数、変調及び／又は通信接続を設定し及び／又は維持する動作を特定してもよい。いくつかの実施形態において、アンテナ２２８及び２５４は単一のアンテナであってもよい。

更なる実施形態を図１１及び図１２に示す。図１１及び図１２に示されるように、ディスプレイ１２は、それぞれがＯＬＥＤエミッタ及び／又はＬＥＤエミッタＲ、Ｇ、Ｂ、並びにＩＲ検出器Ｄを含む複数の画素４２を含んでもよい。ＩＲ検出器Ｄの出力は、サンプリングされ、ディスプレイ１２に近似する空間の感知された画像、例えば図５Ａに示されたＩＲ画像を表す画像信号を生成する。上述したように、ＩＲ画像は、ユーザの指及び／又はスタイラス等のユーザ入力オブジェクトの存在を識別するように従来の画像処理技術を使用して処理されてもよい。いくつかの実施形態によると、ユーザ入力オブジェクトによる動き及び／又は動作は、種々の入力又はコマンドに対応するものとして制御器２３２により解釈される。ユーザ入力オブジェクトがディスプレイ１２に触れる前に検出器Ｄの配列がユーザ入力オブジェクトの動きを感知するため、移動端末２００は、タッチ又はタッチベースのジェスチャに加えて他の種類の動作又は動作の組合せに応答する。いくつかの実施形態によると、タッチに基づくジェスチャと組み合わされたタッチに基づかないジェスチャは、移動端末２００の動作を制御するために使用される。

いくつかの実施形態に係るジェスチャ解釈は、従来のタッチのみのタッチパッドを使用するジェスチャ解釈よりも複雑かもしれない。例えば図１３は、いくつかの実施形態に係るジェスチャ解釈を示す図である。図１３のフローチャートのブロックは、移動端末２００によりジェスチャ解釈で使用されるステップを示してもよく、移動端末２００の制御器２３２により実行されたソフトウェアプログラムで機能モジュールとして実現されてもよい。

図１３を参照すると、ジェスチャ解釈は、画像取得（ブロック／モジュール３０２）、画像フィルタリング及び正規化（ブロック／モジュール３０４）、形状識別（ブロック／モジュール３０６）、ホットスポット検出（ブロック／モジュール３０８）、タッチ検出（ブロック／モジュール３１０）及びジェスチャ判定（ブロック／モジュール３１２）のうちの１つ以上を含んでもよい。

画像取得（ブロック／モジュール３０２）は、ＩＲ検出器Ｄの出力をサンプリングし、且つそれに応答してユーザ入力オブジェクト（例えば、指又はスタイラス）の２次元電磁画像を表す画像信号を生成することにより実行されてもよい。生成された画像信号は、ノイズを削減するか、縁部を鮮明にするか、画像の特徴を強調（ハイライト）するか、あるいは他の目的でフィルタリングされ且つ正規化されてもよい（ブロック／モジュール３０４）。形状識別（ブロック／モジュール３０６）は、画像信号で表された形状を識別するためにパターン認識を使用する。一般にパターン認識は、画像に関する数字情報又は記号情報が算出される特徴抽出を含んでもよい。分類スキーム又は記述スキームは抽出された特徴を分類する。例えば、画像信号により表された画像から抽出される特徴は、画像のスケール不変の(scale-invariant)特徴及び／又は回転不変の(rotation-invariant)特徴を含む。物体／画像認識技術は、当業者には既知であり、本明細書で詳細に説明される必要はない。

ユーザ入力オブジェクト、例えばユーザの指、スタイラスチップ等の形状が画像で識別されると、ユーザ入力オブジェクトの「ホットスポット」の場所が識別される（ブロック／モジュール３０８）。「ホットスポット」は、ユーザがユーザ入力オブジェクトでディスプレイ１２に触れた場合にユーザ入力オブジェクトと表示画面１２との接触が予想されるユーザ入力オブジェクト上の点を示す。すなわち、以下に更に詳細に説明するように、ユーザ入力オブジェクト（例えば、指、スタイラス等）がディスプレイ１２と接触していない場合でも、移動端末２００の動作はホットスポットの場所に応答して制御される。

ホットスポットの判定は、１つ以上の発見的方法（ヒューリスティック）及び／又は決定論的方法を使用して実行可能である。例えばホットスポットは、識別された特定のユーザ入力オブジェクトがユーザの指、ユーザの親指、あるいはスタイラス又は他の人工のポインティングデバイスであるという判定に基づいて予測／位置特定することができる。ホットスポットの判定はまた、較正データに基づいて実行されてもよい。例えば、予備的なホットスポットが判定されてもよく、次にユーザが画面に触れるように要求されてもよい。ホットスポットの場所は、画面上のタッチの予測された場所と実際の場所との差に基づいて調整される。

形状判定を図１４に更に詳細に示す。図１４に示されるように、形状判定は、縁部のぼけにより判定されるような形状（例えば、人差し指、親指又はスタイラス）、方位（左手又は右手）及び画面までの距離等のユーザ入力オブジェクト５５の属性を判定するために使用される。例えば、図１４（ｄ）に示されるように、画面から離れた状態で保持されるユーザ入力オブジェクト５５は、縁部のぼけ５５ａを示す。縁部のぼけの量は、ディスプレイ１２からのユーザ入力オブジェクト５５の距離の長さとして解釈される。

図１４（ａ）を参照すると、ホットスポット６０は、ユーザ入力オブジェクト５５の場所及び方位に基づいて判定される。ホットスポット６０を図１５に更に詳細に示す。

いくつかの実施形態によると、移動端末２００は、ディスプレイ１２の検出器Ｄにより取り込まれた画像を解析するホットスポット検出モジュール３０８を含んでもよい。ホットスポット検出モジュールは、形状（ｓ）、位置（ｘ、ｙ）、方位角（θ）、半径（ｒ）、表示画面からの距離（ｚ）及び／又は速度ベクトル（ｕ、ｖ、ｗ）等のホットスポットの種々の属性を識別し且つ出力する。１つ以上のジェスチャは、これらの属性に応じて推測される。いくつかの実施形態において、１つ以上のジェスチャは、タッチスクリーンディスプレイ１２上のタッチと組み合わせてこれらの属性に応じて推測される。

形状は、ホットスポット検出モジュール３０８によりユーザ入力オブジェクトとして検出された形状の種類、例えば指、親指、スタイラス等を示す。

位置（ｘ、ｙ）は、ホットスポット６０の中心を示す。位置（ｘ、ｙ）は、ユーザ入力オブジェクトとして使用される形状の種類を認識することに基づいて判定されてもよい。形状が識別されると、ホットスポット検出モジュール３０８は、発見的方法又は決定論的方法を適用し、形状の種類に基づいてホットスポット６０の中心の位置を特定する。また、いくつかの実施形態において、種々の形状は、移動端末２００で種々の機能を起動するためのユーザ入力オブジェクトとして使用されてもよい。例えば親指の形状は、いくつかの実施形態において指の形状とは異なる機能を起動するために使用されてもよい。ホットスポットの中心位置は、特定のジェスチャにより起動（アクティブ化）されるディスプレイ１２上の場所を規定する。

ホットスポットの中心位置（ｘ、ｙ）は、ディスプレイ１２上の場所に触れるようにユーザに命令することにより較正される。場所は、ディスプレイ上のいかなる場所であってもよく、あるいはグラフィックアイコンにより示された場所等の事前定義された場所であってもよい。タッチの場所は、ディスプレイ１２のタッチスクリーン機能により検出され、形状に対するホットスポットの中心の位置（ｘ、ｙ）が判定される。

方位角（θ）は、表示画面１２の方位に対するユーザ入力オブジェクトの主軸の角度を表してもよい。方位角（θ）を認識することにより、ホットスポットをより正確に判定できるようになる場合がある。また、いくつかの実施形態において、ユーザ入力オブジェクトの方位角に基づいて種々のコマンドが呼び出されてもよい。

ホットスポット６０のサイズは、ホットスポット６０の半径（ｒ）により表される。半径は、ディスプレイ１２と接触しているユーザ入力オブジェクトの部分のサイズを表す。例えば指は、スタイラスより大きな表示画面１２との接触半径を有してもよい。ホットスポット６０の半径は、ジェスチャの効力の有効領域を判定するために使用されてもよい。いくつかの実施形態において、ホットスポットのサイズを考慮する確率モデルは、ジェスチャにより起動される表示画面１２の領域を推定又は予測するために使用される。

出力（ｚ）は、表示画面１２までのユーザ入力オブジェクト５５の距離を示す。表示画面までのユーザ入力オブジェクトの距離を追跡することにより、ジェスチャは、ユーザ入力オブジェクトが表示画面に接触しない場合でも解釈され、且つ移動端末２００においてコマンド又は動作を呼び起こすために使用される。

いくつかの実施形態によると、ホットスポット６０から画面１２までの距離（ｚ）は、追跡されたオブジェクトの縁部の相対的なぼけを解析することにより推定される。すなわち、距離（ｚ）は、追跡されるオブジェクトの種類／形状、並びに追跡されたオブジェクトのぼけの双方の機能として推定されてもよい。表示画面１２からのユーザ入力オブジェクトの距離は、いくつかの実施形態において画像ズーム機能を呼び起こすために使用される。

ホットスポットの速度ベクトル（ｕ、ｖ、ｗ）は、ｘ方向及びｙ方向（ｕ及びｖ）、並びにｚ方向（ｗ）にホットスポットの速度を追跡する。ホットスポットの速度（ｕ、ｖ、ｗ）は、最後に認識したホットスポット座標からの範囲に含まれた距離を計算することにより判定される。ｚ方向の速度ベクトルｗは、ｚ方向の速度を判定する際にホットスポットの半径（ｒ）の変化を更に考慮する。

ディスプレイ１２はタッチスクリーン機能を更に含み、移動端末２００は、画面１２がユーザ入力オブジェクトにより触れられる時及び場所を判定するように構成される（ブロック／モジュール３１０）。ディスプレイ１２は、従来のタッチスクリーン（例えば、抵抗膜方式、静電容量方式等）を含んでもよく、及び／又は図７及び図８の実施形態に対して上述したようにユーザ入力オブジェクトによるタッチを検出するように構成されてもよい。

ジェスチャは、ホットスポット検出モジュール３０８により出力されたホットスポット属性のうちの１つ以上に基づいて判定される。例えば、以下の表１に示されたジェスチャは、１つ以上のホットスポット属性に基づいて識別される。表１に示されるように、ジェスチャは、事前条件、トリガ及び事後条件に基づいて識別される。事前条件と、トリガと、事後条件との組合せは、移動端末２００の特徴又は機能にマッピングされるイベントの発生を示す。表１において、「ＨＳ」は「ホットスポット」を示す。「イベント」列は、ジェスチャ検出から上位層（例えば、アプリケーション層）に渡されるデータを表す。当該ジェスチャに依存して、アプリケーションに対して種々のデータが使用可能であってもよい。イベント列の数字「１」は、１つのイベントが存在することを示す。イベント列の記号「^＊」は、ジェスチャが検出される間に複数のイベントが存在してもよいことを示す。

表１−考えられるジェスチャ検出アルゴリズム

表１から分かるように、３次元のユーザ入力オブジェクト追跡及びジェスチャ解釈は、タッチパッド及びタッチスクリーンのユーザに親しみのある２次元のジェスチャ解釈の上位集合である。しかし、３次元のユーザ入力オブジェクト追跡及びジェスチャ解釈により、ドラッグアンドドロップ等の直感的ジェスチャを含むより多種多様のジェスチャが可能になる。

ユーザ入力オブジェクト追跡を種々のジェスチャを検出するアルゴリズムと組み合わせることにより、広範な固有のユーザインタフェース動作の作成及び実現が可能になる。例えば表１は、「選択」ジェスチャ及び「クリック」ジェスチャの双方を規定する。「選択」ジェスチャは、ホットスポットの検出（事前条件）に応答して解釈され、ディスプレイ上のタッチの検出（トリガリングイベント）、再度ホットスポットの検出（事後条件）が後続する。「クリック」ジェスチャは、閾値速度ｗ_{ｃｌｉｃｋ}を超えるｚ方向の速度でディスプレイ上のタッチの検出（トリガリングイベント）に応答して解釈され、再度ホットスポットの検出（事後条件）が後続する。これらのジェスチャは、類似するが異なる効力を有する。例えば、「選択」ジェスチャは、ウェブページ上に表示されたハイパーリンク等の表示画面の小部分をゆっくりと選択するために使用され、「クリック」ジェスチャは、タッチスクリーン上のクリック可能なボタン等の広いヒット領域を選択するために使用される。

「追跡」ジェスチャは、「選択」ジェスチャで選択される表示画面の部分に関する視覚フィードバックをユーザに与えるように、例えば実際のリンクがマウスポインタのように強調表示される高密度のウェブページで適切な有用性を提供する。

ジェスチャは、使用される特定のユーザ入力オブジェクトに依存して異なってもよく、及び／又は同一のジェスチャは、使用されるユーザ入力オブジェクト（例えば、指対親指）に依存して移動端末２００内で異なる機能を起動してもよいことが理解されるだろう。それに応じて、いくつかの実施形態において、形状は異なるイベントをトリガするために使用されてもよいことが理解されるだろう。更に形状は、意図した対象の選択の精度を向上させるために使用されてもよい。

いくつかの他の実施形態に従って、電子デバイスは、ディスプレイに対してユーザタッチオブジェクトのサイズ及び／又は方位角を検出し、且つユーザにより選択されるキーボード上に視覚的に表示される文字を判定するのを補助し及び／又はキーボード及び関連付けられた文字がユーザに対して表示される方法を変更するためにその情報を使用するように構成される制御器と、タッチセンシティブディスプレイとを備える。図１６〜図２６に関して、これらの実施形態及び更なる実施形態を以下に詳細に説明する。図１０の移動端末２００に関連して種々の実施形態を本明細書で説明するが、本発明は、タッチセンシティブディスプレイスクリーン及び制御回路を含むあらゆる電子デバイスで具体化されてもよいため、種々の実施形態に限定されない。

本明細書で使用されるように、「選択された」という用語は、指又は他のユーザ入力オブジェクトがタッチセンシティブディスプレイ２４６等のディスプレイに必ずしも触れていないが近接に配置されることを示す画像信号を示す。それに応じて、ユーザ入力オブジェクトは、キーに触れていないが隣接する場合に表示されたキーを選択したと判定されてもよい。従って、いくつかの実施形態に従って、ユーザ入力オブジェクトは、ディスプレイに必ずしも触れていないが近接に配置され、本明細書で説明する種々の機能の動作、例えば表示されたキーボード上で文字を選択すること及び／又は種々のキーボード構成を表示させることをトリガしてもよい。あるいは、いくつかの他の実施形態において、そのような機能は、ユーザ入力オブジェクトがディスプレイの規定された１つ以上の領域に物理的に接触するまでトリガされなくてもよい。

上述したように、いくつかの実施形態において、表示装置２４６は、ディスプレイに対して近接に離間されるユーザ入力オブジェクトの画像を表す画像信号を生成するように構成される電磁放射線検出器Ｄの配列を含む。ユーザ入力オブジェクトは、ユーザの手の指及び／又はユーザにより操作されるスタイラス又は他の物体を含んでもよいが、それらに限定されない。検出器Ｄは、ユーザ入力オブジェクトにより触れられるディスプレイ２４６に応答してタッチ信号を生成するように更に構成されてもよい。

制御回路２３２は、キーボードを形成し且つキー上に文字を表示する構成で複数のキーを表示装置２４６上に視覚的に表示するように構成される。本明細書で使用されるように、「キーボード」という用語は、全体的又は部分的なＱＷＥＲＴＹキーボード配列、タッチパッド配列（例えば、英数字記号を含む従来の電話キーパッド構成）、あるいは他のあらゆるキー配列を含むがそれに限定されない。図１６は、制御回路２３２が表示装置２４６上に描画する例示的なＱＷＥＲＴＹキーボードを示す。図１６を参照すると、ＱＷＥＲＴＹキーボードは、キー３００と、キー３００内に表示される文字とを表すグラフィックシンボルを含む。

制御器２３２は、表示装置２４６に対して近接に離間されたユーザ入力オブジェクトのサイズ及び／又は方位角を画像信号から識別するように構成されてもよい。制御器２３２は、識別されたユーザ入力オブジェクトのサイズ及び／又は方位角、並びにタッチ信号に応答してキーボードキー３００上に示された文字の中からのユーザの選択を識別し、且つ識別されたユーザが選択した文字に対応する文字データを移動端末２００の他の回路／機能アプリケーションに出力する。

例えば、タッチポイントが２つの隣接キー３００の間に現れる場合、制御器２３２は、識別されたユーザ入力オブジェクトの方位角により示された方向に現れる２つのキーのうちの最初のキーをユーザが選択したキーであるものとして識別してもよい。従って、左手の指が水平に隣接した２つのキーの間のキーボードに触れる場合、制御器２３２は、左のキーが選択されたと判定することによりそれに応答する。同様に、右手の指が水平に隣接した２つのキーの間のキーボードに触れる場合、制御器２３２は、右のキーが選択されたと判定することによりそれに応答する。

あるいは又は更に、制御器２３２は、ユーザの指のサイズに応じて選択キー上に表示される複数の文字の中からのユーザの選択を識別してもよい。例えば制御器２３２は、ユーザの親指により実行されたキー選択をユーザの親指でない他の指（例えば、人差し指）により実行された選択と区別してもよい。それに応じて、ユーザの指の方位角及び／又はサイズは、選択されたキーボード上のキーを識別し、及び／又は選択されたキー上に表示される複数の文字の中から選択された文字を識別するために使用される。これらの実施形態及び他の実施形態を以下に更に詳細に説明する。

制御器２３２は、キーボードキー３００のうちのいくつか又は全ての上に複数の異なる文字を表示し、且つ識別されたキーを選択しているユーザ入力オブジェクトの方位角に応じて、選択された複数の文字キー３００のうちの１つの文字キー上に表示された文字の中からのユーザの選択を識別するように構成されてもよい。

図１７は、制御器２３２が表示装置２４６上に描画する例示的なキーボード（例えば、キーパッド）を示す。図１７を参照すると、キーボードは、各キー３１０上に表示される複数の文字を含む。示された文字は、英字及び非英字（例えば、数字、数学記号及び他の記号）を含む。制御回路２３２は、識別されたキーを選択しているユーザ入力オブジェクトの方位角に応じて、選択された複数の文字キー３１０のうちの１つの文字キー上に表示された複数の文字の中からのユーザの選択を識別するように構成される。

図１８は、図１７のキーボード３１０等のキーボードキー上に表示される複数の文字の中からのユーザの選択を識別するための、制御器２３２により実行される動作３２０を示すフローチャートである。図１７及び図１８を参照すると、ディスプレイ２４６は、ユーザ入力オブジェクトがディスプレイ２４６に接触する前及び／又は接触した後にユーザ入力オブジェクトの取得した画像を表す画像信号を生成する（ブロック３２２）。制御器２３２は、ディスプレイ２４６に対して画像信号により示されたユーザ入力オブジェクトの方位角を識別する（ブロック３２４）。次に制御器２３２は、識別された方位角に応じて選択されたキー３１０上に表示された複数の文字の中からのユーザ選択を識別し（ブロック３２６）、ユーザが選択した文字を出力する（ブロック３２８）。

例えば、図１７に示されたキー３１０のうちの１つは、英字「ａ」、「ｂ」及び「ｃ」を含む。制御器２３２は、選択されたキーに対してユーザの指が左から接近する場合に最左端の文字（「ａ」）をユーザにより選択されたものとして識別するように構成され、選択されたキーに対してユーザの指が右から接近する場合に最右端の文字（「ｃ」）をユーザにより選択されたものとして識別し、選択されたキーに対してユーザの指がキーボードキー３１０の上部／下部から接近する場合に中央の文字（「ｂ」）をユーザにより選択されたものとして識別する。

図１９は、図１７のキーボード３１０等のキーボードキー上に表示される２つの文字の中からのユーザの選択を識別するための、制御器２３２により実行される更なる動作３３０を示すフローチャートである。図１９の動作３３０は、制御器２３２が、識別された方位角に応じてユーザが左手又は右手の指を使用してキーを選択したかを識別し、且つそれに応じて選択されたキー上の２つの文字の中から選択するという点で、図１８の動作３２０とは根本的に異なる。

図１９を参照すると、ディスプレイ２４６は、選択されたキーに対して取得した指の画像を表す画像信号を生成する（ブロック３３２）。制御器２３２は、左手の指により実行されたキー選択を右手の指により実行されたキー選択と区別する選択信号を生成する（ブロック３３４）。制御器２３２は、ユーザの左手の指がキーを選択したかを判定し（ブロック３３６）、そうである場合に選択されたキー上に表示された２つの文字のうちの左の文字をユーザが選択した文字として出力する（ブロック３３８）。これに対して、ユーザの右手の指がキーを選択した場合、制御器２３２は、選択されたキー上に表示された右の文字をユーザが選択した文字として出力する。

いくつかの更なる実施形態は、ディスプレイに対するユーザ入力オブジェクトの方位角に応じて予測テキスト入力動作を起動すること及び停止することに関する。予測テキスト入力動作は、ユーザがタッチセンシティブディスプレイ上に表示されるキーボード上でタイプする時に入力された一連の英字を使用して、規定された単語のデータベースの中から候補の単語を選択する。

図２０は、予測テキスト入力を起動し且つ停止するための、制御器２３２により実行される動作３４０を示すフローチャートである。図２０を参照すると、ディスプレイ２４６は、選択されたキーに対して取得した指の画像を表す画像信号を生成する（ブロック３４２）。制御器２３２は、識別されたユーザ入力オブジェクトの方位角に応じて、ユーザの左手の指によりキーボードキーの中から選択することをユーザの右手の指により選択することと区別する選択信号を生成する（ブロック３４４）。制御器２３２は、選択信号からユーザが片手でタイプしているかを判定し（ブロック３４６）、そうである場合に、ユーザが片手を使用してキーボード上でタイプするにつれてユーザが選択した一連のキーボード文字を使用して単語を見つけるためにデータベースの中から候補の単語を選択する、予測テキスト入力動作を起動する（ブロック３４８）。あるいは、制御器２３２は、予測テキスト入力動作を停止する（ブロック３４９）ことにより、ユーザが両手を使用してキーボード上でタイプしているという判定に応答する（ブロック３４６）。

いくつかの更なる実施形態は、予測テキスト入力動作を起動すること及び停止すること、並びにキーを選択したユーザの指のサイズに応じて選択されたキー上に表示される数字、英字及び／又は他の文字の中からのユーザ選択を判定することに関する。図２１は、この機能のうちの少なくともいくつかを実行するために制御器２３２により実行される動作３５０を示すフローチャートである。図２１を参照すると、ディスプレイ２４６は、選択されたキーに対して取得された指の画像を表す画像信号を生成する（ブロック３５２）。制御器２３２は、選択する指のサイズに応じて、親指を使用してキーを選択するユーザを親指でない指を使用してキーを選択するユーザと区別する選択信号を生成する（ブロック３５４）。制御器２３２は、選択信号からユーザが親指でキーを選択したかを判定し（ブロック３５６）、そうである場合に予測テキスト入力動作を起動し（ブロック３５８）、選択されたキーの複数の表示文字の中からユーザが選択する可能性のある文字を数字でない文字に制限する（ブロック３６０）。あるいは、制御器２３２は、予測テキスト入力動作を停止し（ブロック３６２）（アクティブであった場合）、且つ選択されたキーの複数の表示文字の中からユーザが選択する可能性のある文字を数字に制限する（ブロック３６４）ことにより、ユーザが親指でない指を使用してキーを選択したと判定すること（ブロック３５６）に応答する。

特定の限定しない例として、図１７に示されたキーボードキー３１０を参照すると、制御器２３２は、予測テキスト入力を停止し、且つ選択されたキー上でユーザが選択する可能性のある文字を表示された英字でない文字（例えば、数字及び数学記号）に制限することにより、親指でない指（例えば、人差し指）を使用してキーを選択するユーザに応答する。これに対して、制御器２３２は、予測テキスト入力を起動し、且つ選択されたキー上でユーザが選択する可能性のある文字を表示された英字に制限することにより、親指を使用してキーを選択するユーザに応答する。

いくつかの更なる実施形態は、ユーザの指のサイズ及びユーザがキーボードキーを選択するために使用する指の数に応じて、キーボードキーの数及び／又はサイズ、及び／又は各キーの上に表示される文字の数を制御することに関する。図２２〜図２６に関して、例示的な実施形態を以下に説明する。図２２は、親指でない指（例えば、人差し指）を使用してキーボード上でタイプするユーザに応答して制御器２３２が表示装置２４６上に表示する、キー毎に１つの文字を含む例示的なＱＷＥＲＴＹキーボード３７０を示す。図２３は、２つの親指を使用してキーボード３８０上でタイプするユーザに応答して制御器２３２が表示装置２４６上に表示する、キー毎に２つの文字を含むより小型化されたＱＷＥＲＴＹキーボード３８０を示す。図２４は、２つの親指を使用してキーボード３８０上でタイプするユーザに応答して制御器２３２が表示装置２４６上に表示する、キー毎に２つの文字を含む更により小型化されたキーボード３９０（例えば、電話キーパッド構成）を示す。

図２５は、ユーザがキーを親指でない指で選択したか、あるいは親指で選択したかに応じて、キーボードキーの数及びサイズ、及び各キー上に表示される文字の数を制御するために、少なくともいくつかの機能を実行するための、制御器２３２により実行される例示的な動作４００を示すフローチャートである。図２２及び図２３の例示的なキーボードと組み合わせて図２５を参照すると、ディスプレイ２４６は、選択されたキーに対して取得した指の画像を表す画像信号を生成する（ブロック４０２）。制御器２３２は、選択している指のサイズに応じて、親指を使用してキーを選択するユーザを親指でない指を使用してキーを選択するユーザと区別する選択信号を生成する（ブロック４０４）。制御器２３２は、選択信号からユーザが親指でない指（例えば、人差し指）でキーを選択したかを判定し（ブロック４０６）、そうである場合に各キー上に異なる文字を含む第１の複数のＱＷＥＲＴＹキーボードキー３７０を表示する（ブロック４０８）。制御器２３２は、ユーザが親指を使用してキーを選択したと判定する（ブロック４１０）場合、キーボード３７０のキーより大きいがより少ないキーを有するより小型化されたＱＷＥＲＴＹキーボード３８０を表示する（ブロック４１２）。キーボード３８０のより大きなキーは、片方又は両方の親指を使用してキーボード３８０上でタイプしているユーザにより、より正確に選択されるだろう。制御器２３２は、ユーザが親指を使用してキーボード３８０上でタイプしていると判定することに応答して、予測テキスト入力動作を更に起動してもよい（ブロック４１４）。

従って、制御器２３２は、ユーザが親指又は親指でない指でタイプしているかに応じて、ユーザに対して種々のキーボードを表示してもよい。ここで、種々のキーボードは特に、関連付けられた親指／親指でない指を使用するユーザによるより簡単で正確なタイプを補助するように構成されてもよい。

図２６は、いくつかの実施形態に従う、ユーザが親指／親指でない指でタイプしているか及びユーザが両手を使用してタイプしているかに応じて、キーボードキーの数及びサイズ、及び各キー上に表示される文字の数を制御するために、少なくともいくつかの機能を実行するための、制御器２３２により実行される例示的な動作４２０を示すフローチャートである。図２２〜図２４の例示的なキーボードと組み合わせて図２６を参照すると、ディスプレイ２４６は、選択されたキーに対して取得した指の画像を表す画像信号を生成する（ブロック４２２）。制御器２３２は、ディスプレイ２４６に対して識別された指の方位角に応じて、左手の指でタイプするユーザを右手の指でタイプするユーザと区別する選択信号を生成する（ブロック４２４）。制御器２３２は、選択信号からユーザが親指でない指を使用してタイプしているかを判定し（ブロック４２６）（例えば、規定された長さの、親指でない指による一連のキー選択を検出する）、そうである場合に各キー上に異なる文字を含む第１の複数のＱＷＥＲＴＹキーボードキー３７０を表示する（ブロック４２８）。制御器２３２は、ユーザが両手から由来するものを使用してタイプしていると判定する（ブロック４３０）場合、キーボード３７０のキーより大きいがより少ないキーを有するより小型化されたＱＷＥＲＴＹキーボード３８０を表示する（ブロック４３２）。キーボード３８０のより大きなキーは、両方の親指でタイプするユーザにより、より正確に選択されるだろう。示されないが、更に制御器２３２は、ユーザがキーボード３８０上で両方の親指でタイプする時、予測テキスト入力動作を起動して単語を予測してもよい。制御器２３２は、ユーザが片手（例えば、片手の片方の親指）のみを使用してタイプしていると判定する（ブロック４３４）場合、キーボード３７０のキーより大きいがより少ないキーを有する更により小型化されたキーボード３８０を表示する（ブロック４３６）。より小型化されたキーボード３８０のより大きなキーは、片方の親指でタイプするユーザにより、より簡単に且つ正確に選択することができる。制御器２３２は、ユーザが片手を使用してキーボード３９０上でタイプする時、予測テキスト入力動作を起動して（ブロック４３８）単語を予測する。

上記の記述は、本発明を例示するものであり、本発明を限定するものとして解釈されるべきではない。本発明のいくつかの例示的な実施形態を説明したが、本発明の新規の教示及び利点から実質的に逸脱することなく、例示的な実施形態において多くの変更が可能であることは、当業者により容易に理解されるだろう。従って、全てのそのような変更は、請求の範囲で規定される本発明の範囲内に含まれることを意図する。従って、上記の記述は、本発明を例示するものであり、開示された特定の実施形態に限定されるものとして解釈されるべきではなく、且つ開示された実施形態及び他の実施形態に対する変更は、添付の請求の範囲の範囲内に含まれることを意図することが理解されるべきである。本発明は、本発明に含まれる請求の範囲の均等物と共に、以下の請求の範囲により規定される。

［関連出願］
本願は、２００８年１０月１３日に出願された同時係属中で同一譲受人の米国出願第１２／２５０，１０８号（タイトル：“User Input Displays For Mobile Devices”）、及び、２００８年１１月１４日に出願された同時係属中で同一譲受人の米国出願第１２／２７１，２３９号（タイトル：“Displays for Mobile Devices that Detect User Inputs Using Touch and Tracking of User Input Objects”）に関連し、これら両方の開示は、その全体が参照により本願に組み込まれる。

Claims (10)

1. タッチセンシティブディスプレイスクリーンと、制御回路と、を備える電子デバイスであって、
   前記タッチセンシティブディスプレイスクリーンは、当該ディスプレイスクリーンから離れて近接するユーザ入力オブジェクトの画像を表す画像信号を生成し、当該ディスプレイスクリーンが前記ユーザ入力オブジェクトによってタッチされたことに応じてタッチ信号を生成するように構成される、電磁放射線検出器の配列を含み、
   前記制御回路は、キーボードを形成する複数のキーを前記ディスプレイスクリーン上に表示すると共に当該キー上に文字を表示し、前記画像信号から、前記ディスプレイスクリーンに対する前記ユーザ入力オブジェクトのサイズ及び方位角を識別し、前記ユーザ入力オブジェクトの前記識別されたサイズ及び方位角に応じて、且つユーザ選択の文字に対応する単一のタッチポイントにおける前記ユーザ入力オブジェクトによるタッチを示す前記タッチ信号に応じて、前記キーボードのキー上に示された文字の中からのユーザ選択を識別し、前記識別されたユーザ選択の文字に対応する文字データを出力する、ように構成される
   ことを特徴とする電子デバイス。
2. 前記制御回路は更に、前記キーボードの複数のキーの各々の上に少なくとも２つの異なる文字を表示し、前記単一のタッチポイントにおいてキーを選択する前記ユーザ入力オブジェクトの前記識別された方位角に応じて、且つ、前記単一のタッチポイントにおいてキーを選択する前記ユーザ入力オブジェクトの前記識別されたサイズに応じて、或いはこれらのいずれか一方に応じて、前記複数のキーのうちの選択された１つのキー上に表示された文字の中からのユーザ選択を識別する、ように構成される
   ことを特徴とする請求項１に記載の電子デバイス。
3. 前記制御回路は更に、前記ユーザ選択の文字として、前記ユーザ入力オブジェクトの前記識別された方位角によって示される方向に存在する、前記選択されたキー上の複数の文字のうちの最初の文字を識別するように構成される
   ことを特徴とする請求項２に記載の電子デバイス。
4. 前記制御回路は更に、前記ユーザ入力オブジェクトの前記識別された方位角に応じて、前記単一のタッチポイントにおける左手の指による前記キーボードのキーのうちの１つの選択と、前記単一のタッチポイントにおける右手の指による選択とを区別する選択信号を生成し、前記選択されたキー上に表示された複数の文字のうちの最も左の文字をユーザが選択したと判断することにより、前記選択が左手の指により行われたと識別する前記選択信号に対して応答し、前記選択されたキー上に表示された複数の文字のうちの最も右の文字をユーザが選択したと判断することにより、前記選択が右手の指により行われたと識別する前記選択信号に対して応答する、ように構成される
   ことを特徴とする請求項２に記載の電子デバイス。
5. 前記制御回路は更に、前記ユーザ入力オブジェクトの前記識別された方位角に応じて、前記単一のタッチポイントにおけるユーザの左手の指による前記キーボードのキーの中からの選択と、前記単一のタッチポイントにおけるユーザの右手の別の指による選択とを区別する選択信号を生成し、ユーザが選択したキーボードの一連の文字を用いて定義された単語のデータベースの中から候補の単語を選択する予測テキスト入力動作を起動することにより、ユーザが片方の手を用いてタイプしていることを示す前記選択信号に対して応答する、ように構成される
   ことを特徴とする請求項１に記載の電子デバイス。
6. 前記制御回路は更に、前記ユーザ入力オブジェクトの前記識別されたサイズに応じて、前記単一のタッチポイントにおけるユーザの親指を用いた前記キーボードのキーの中からの選択と、前記単一のタッチポイントにおける親指でない別の指を用いた選択とを区別する選択信号を生成するように構成される
   ことを特徴とする請求項１に記載の電子デバイス。
7. 前記制御回路は更に、ユーザが選択する可能性のある文字を表示された数字でない文字に制限することにより、ユーザの親指による選択を示す前記選択信号に対して応答し、ユーザが選択する可能性のある文字を表示された英字でない文字に制限することにより、ユーザの親指でない指の１つによる選択を示す前記選択信号に対して応答する、ように構成される
   ことを特徴とする請求項６に記載の電子デバイス。
8. 前記制御回路は更に、選択された一連の英文字を用いて定義された単語のデータベースの中から候補の単語を選択する予測テキスト入力動作を起動することにより、ユーザの片方又は両方の親指による表示された英文字の一連の選択を示す前記選択信号に対して応答し、ユーザの親指でない指のうちの１つによる少なくとも１つのキーの選択を示す前記選択信号に応じて、前記予測テキスト入力動作を停止する、ように構成される
   ことを特徴とする請求項６に記載の電子デバイス。
9. 前記制御回路は更に、前記ユーザ入力オブジェクトの前記識別されたサイズに応じて、前記キーボードのキーの少なくとも一部の表示サイズを修正するように構成される
   ことを特徴とする請求項１に記載の電子デバイス。
10. 前記制御回路は更に、前記単一のタッチポイントに応じて、複数の文字のサブセットを識別し、前記ユーザ入力オブジェクトの前記識別された方位角に応じて、前記サブセットの中からのユーザ選択の文字を識別する、ように構成される
    ことを特徴とする請求項１に記載の電子デバイス。