JP6109847B2 - ３自由度以上を有するユーザインターフェースを伴う電子デバイスであって、前記ユーザインターフェースが、タッチセンサ式表面および非接触検出手段を含む、電子デバイス - Google Patents

Description

開示される発明は、一般論として、３自由度以上を有するユーザインターフェースを伴う電子デバイスに関する。具体的には、本発明は、それらのユーザインターフェースの一部として、トラックパッドまたはタッチセンサ式ディスプレイ等のタッチセンサ式表面を採用する、電子デバイスに関する。

タッチパッドおよびタッチセンサ式ディスプレイ（「タッチ画面」または「タッチスクリーン」とも称される）等のタッチセンサ式表面の形態のユーザインターフェースを伴う電子デバイスが、当技術分野で周知である。タッチセンサ式表面は、表面のアクティブ領域に触れるユーザ入力オブジェクト（スタイラス、ユーザの指、またはユーザの手等）を検出することによって、ユーザインターフェースとしての機能を果たしてもよい。それによって、タッチセンサ式表面は、オブジェクトがそのアクティブ領域に触れることを検出するだけでなく、むしろ、オブジェクトがアクティブ領域と接触する場所も検出し、すなわち、タッチセンサ式ディスプレイは、タッチセンサ式表面と該ユーザ入力オブジェクトとの間の接触領域（例えば、幾何学的平均位置、またはアクティブ領域が区画に分割される場合、接触させられる全ての区画）の位置（ｘおよびｙ座標等）を抽出してもよい。多種多様の異なるセンサ技術が、タッチセンサ式表面の基礎を形成してもよい。したがって、タッチセンサ式表面は、抵抗、容量（例えば、表面容量投影容量、相互容量、または自己容量）、表面音響波、赤外線、光学結像、分散信号、および音響パルス認識センサ技術に基づいてもよい。それらのセンサ技術に応じて、いくつかのタッチセンサ式表面は、単一の接触のみを検出するために好適であり、他のタッチセンサ式表面は、複数の接触を検出するために好適である。

タッチセンサ式ディスプレイの形態のタッチセンサ式表面は、付加的な機能を果たす。それらは、それぞれの電子デバイスによって生成される情報を表示する。

タッチセンサ式表面の領域が触れられたとき、タッチセンサ式表面は、タッチ事象から位置情報を抽出し、抽出された位置情報を電子デバイスのコントローラ手段に提出する。電子デバイスの現在の状態に応じて、電子デバイスは、現在の状態にとどまってもよく、または別の状態に移行される。この機能性は、タッチセンサ式表面を伴うそのような電子デバイスのユーザが、電子デバイスの機能に対して制御力を発揮することを可能にする。例示的電子デバイスとして電話を考慮すると、ユーザは、電話のロックを解除し、電話をかけ、またはアドレス帳を呼び出してもよい。別の例示的電子デバイスとしてパーソナルコンピュータ（またはタブレットコンピュータ）を考慮すると、ユーザは、グラフィカルユーザインターフェースに関するコマンドを発する、表示されたオブジェクト（地図等）の視点を変更する等をしてもよい。

タッチセンサ式表面は、主に、ユーザ入力オブジェクトとタッチセンサ式表面との間の物理的接触の平均位置を表す２次元データを生成する。したがって、ユーザインターフェースの役割を果たすタッチセンサ式表面は、いずれか２自由度でユーザ入力を可能にする。

しかしながら、電子デバイス上で作動する多くのアプリケーションは、タッチセンサ式表面、コンピュータマウス、およびトラックボール等の通常のユーザインターフェースによって提供される、従来の２次元制御（すなわち、２自由度）を超えて拡張する、３または多次元制御可能性を必要とする。その実施例は、Ｇｏｏｇｌｅ Ｅａｒｔｈ（および地理情報を提供するための類似システム）、３Ｄ構築および３Ｄ可視化のための３Ｄレンダリングソフトウェア（例えば、ＡｕｔｏＣＡＤ ３Ｄ、Ｐｈｏｔｏｓｈｏｐ、ｃｉｎｅｍａ ４Ｄ）、３Ｄテレビおよび３Ｄ携帯電話によって３次元で表示されるユーザインターフェース、３Ｄゲーム等の３次元コンテンツを表示するアプリケーションである。３Ｄ環境で制御を提供するために、３自由度以上が望ましいことは自明である。

従来技術では、付加的な制御要素を提供することによって、従来の２次元制御を超えて拡張する、付加的な自由度を伴うユーザインターフェースを提供することが知られている。そのような付加的な制御要素の実施例は、コンピュータマウスのスクロールホイールならびにルックアンドムーブジョイスティックである。それでもなお、これらの制御要素は、一連の問題を課す。第１に、それらは、典型的には、ユーザの直感に基づかず、またはユーザの直感と一致せず、したがって、容易に習得または理解されない。さらに、準ずる付加的な制御要素は、典型的には、嵩張り、特に、典型的には、その一次ユーザインターフェースとしてタッチセンサ式表面および／またはディスプレイにすぎないものを備える、モバイルデバイス（例えば、タブレットコンピュータおよび携帯電話）の状態を考慮して、持ち歩くことが実用的ではない。付加的な制御要素は、そのようなタッチセンサ式表面とシームレスに統合しない。対照的に、ユーザは、非互換性であると思われるほど、性質および特性上、タッチセンサ式表面とは異なるものとしてそれらを知覚する。最終的に、これらの付加的な制御要素は、有意な機械的摩耗を受けることが共通している。

したがって、電子デバイス（具体的には、小型モバイル電子デバイス）を携帯電話およびタブレットコンピュータ等のタッチセンサ式表面とシームレスに統合し、いかなる機械的摩耗も被らない、より直観的で使い易い多次元制御可能性の必要性がある。

本発明は、上記の欠点のうちのいくつかを克服するように、かつさらなる利点を得るように、考案および具現化されている。

本発明は、請求項１、１９、および２１で記載され、特徴付けられる一方、従属請求項は、本発明の他の特性を説明する。

本発明の側面によると、電子デバイスは、ユーザ入力オブジェクトに関する第１の位置情報および第２の位置情報を判定するために適合される。この意味での電子デバイスは、携帯電話、ｍｐ３プレーヤ、ＰＤＡ、タブレットコンピュータ、コンピュータ、リモートコントロール、ラジオ、コンピュータマウス、タッチセンサ式ディスプレイ、およびテレビ等、それ自体がユーザインターフェースであるか、またはユーザインターフェースを備える、任意の電子デバイスであってもよい。ユーザ入力オブジェクトは、スタイラス（例えば、小型ペン型器具）またはデジタルペンのようなものであってもよい。この意味でのユーザ入力オブジェクトはまた、ユーザの手または指であってもよい。好ましくは、ユーザ入力オブジェクトは、複数の指またはさらに２つの手等の１つ以上の別個の、または接続された部分を含んでもよい。それでもなお、本発明の実施形態がどのようにして設計されているかに応じて、ユーザ入力オブジェクトは、ある要件を満たさなければならず、すなわち、好適なユーザ入力オブジェクトとして適格であるために、ある電気および／または光学性質を有していなければならない。電子デバイスによって含まれるコントローラに関して、第１および第２の位置情報の下で理解されるものを説明する。

電子デバイスは、タッチセンサ式表面を備える。本願の意味でのタッチセンサ式表面は、ユーザ入力オブジェクトがタッチセンサ式表面のアクティブ領域に触れる（本願の意味では「タッチセンサ式表面に触れること」とは、「タッチセンサ式表面のアクティブ領域に触れること」を指す）場所に依存して第１の位置情報を判定するために好適な任意のユーザインターフェースデバイスである。この目的で、タッチセンサ式表面は、オブジェクトがそのアクティブ領域に触れることを検出するだけでなく、むしろ、オブジェクトがアクティブ領域と接触する場所も検出し、すなわち、タッチセンサ式表面は、タッチセンサ式表面と該ユーザ入力オブジェクトとの間の接触領域の位置（ｘおよびｙ座標等）（例えば、幾何学的平均位置、またはアクティブ領域がセンサ区画に分割される場合、接触させられる全てのセンサ区画）を抽出してもよい。それによって、タッチセンサ式表面は、第１の位置情報であって、ユーザ入力オブジェクトがタッチセンサ式表面に接触する場所に依存する（またはそれのみに依存する）第１の位置情報を判定する。多種多様の異なるセンサ技術が、タッチセンサ式表面の基礎を形成してもよい。したがって、それらは、抵抗、容量（例えば、表面容量投影容量、相互容量、または自己容量）、表面音響波、赤外線、光学結像、分散信号、および音響パルス認識センサ技術に基づいてもよい。センサ技術に応じて、いくつかのタッチセンサ式表面は、単一の接触のみを検出するために好適であり、他のタッチセンサ式表面は、複数の接触を検出するために好適である。さらに、センサ技術は、ユーザ入力オブジェクトとしての機能を果たし得る制約を課す。容量センサ技術に基づくタッチセンサ式表面は、例えば、手袋等の絶縁材料を通してユーザの指／手を検出することができない。タッチセンサ式表面はまた、タッチセンサ式ディスプレイであってもよく、それによって、電子デバイスによって生成される情報を表示するという付加的な機能を果たしてもよい。

電子デバイスはさらに、非接触検出手段を備える。この意味での非接触検出手段は、ユーザ入力オブジェクトの空間的構成に依存して、好ましくは、タッチセンサ式表面に関するユーザ入力オブジェクトの空間的構成に依存して、第２の位置情報を判定するために好適な任意の手段である。ユーザ入力オブジェクトの空間的構成は、タッチセンサ式表面に関するユーザ入力オブジェクトの３次元配列、場所、および配向として理解されるものである。ユーザ入力オブジェクトが、例えば、ユーザの指である場合には、空間的構成とは、指が占有する（検出）空間内の位置を指し得る。ユーザ入力オブジェクトが、例えば、２つの手から成る場合には、空間的構成は、２つの手が占有する（検出）空間内の位置を指し得る。ユーザ入力オブジェクトの空間的構成は、その空間的構成が変化している間に、ユーザ入力オブジェクトがタッチセンサ式表面上の同一の接触領域に触れたままであり得るという点で、ユーザ入力オブジェクトがタッチセンサ式表面に接触する場所（第１の位置情報）とは異なる。そのような状況の実施例は、指に接続された手が左に、右に、上に、または下に移動している間に、タッチセンサ式領域上の１つの特定の接触領域に触れるユーザの指である。そのような状況の別の実施例は、検出空間内の別のユーザの指が左に、右に、上に、または下に移動している間に、タッチセンサ式領域上の１つの特定の接触領域に触れる１本のユーザの指である。それによって、指の空間的構成が変化する一方で、タッチセンサ式表面との接触領域は、同一のままである。第２の位置情報を判定することによって、電子デバイスは、タッチセンサ式表面に関する（および／またはその上の所定の参照点に関する）ユーザ入力オブジェクトの空間的構成に応じて、情報を判定する。非接触検出手段は、非接触検出手段の検出空間内に位置するユーザ入力オブジェクトの一部分の空間的構成を判定するのみであってもよいことに留意されたい。検出空間は、非接触検出手段の具体的設計に依存する。概して、非接触検出手段は、第２の位置情報を判定するために好適な任意の手段であってもよい。具体的には、非接触検出手段は、（１）何らかの種類の放射線（例えば、光、赤外光、または電波等）および／または機械的波動（超音波等）を放出し、オブジェクトまたは環境を探査するためにその反射を検出する、能動非接触３Ｄスキャナ、（２）この種類の大部分のスキャナが、容易に利用可能な周囲放射線および／または機械的波動であるため可視光を検出する、いかなる種類の放射線自体も放出しないが、代わりに、反射した周囲放射線を検出することに依存する、受動非接触３Ｄスキャナ、（３）分析モジュールに動作可能に接続される電場生成および検出電極の配列等の容量感知配列、または（４）飛行時間カメラ等の飛行時間測定に基づく非接触３Ｄスキャナであってもよい。具体的には実施形態に関して、準ずる非接触検出手段に関する詳細を以下で説明する。

電子デバイスはまた、タッチセンサ式表面と、非接触検出手段とに動作可能に接続される、コントローラ手段も備える。コントローラ手段は、タッチセンサ式表面から非接触検出手段へ取得される情報および／またはデータ（アナログまたはデジタルであり得る）を処理するために好適な任意の手段であってもよい。コントローラ手段は、１つ以上のコントローラ、プロセッサ、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、アナログ・デジタル変換器（ＡＤＣ）、および／またはプログラム可能なコンピュータマシンを備えてもよい。具体的には、コントローラ手段は、タッチセンサ式表面および非接触検出手段のそれぞれのための少なくとも１つの別個のコントローラを備えてもよい。

準ずるコントローラ手段は、タッチセンサ式表面を介して第１の位置情報、および非接触検出手段を介して第２の位置情報を同時および／または交互に判定するために適合される。第１および第２の位置情報の両方がどのようにして同時および／または交互に判定されるかは、電子デバイスの具体的な実施形態に依存する。例えば、非接触検出手段が、少なくとも１つのカメラおよび画像分析モジュールに基づく場合には、第２の位置情報は、コントローラ手段の一体部分、または該第２の位置情報をコントローラ手段に伝送する別個のモジュールのいずれか一方である、画像分析モジュールを用いて、画像収集速度で判定することができる。同時および／または交互に、タッチセンサ式検出手段は、コントローラ手段と組み合わせて、好ましくは、第２の位置情報と同一の速度で、第１の位置情報を判定する。各時間間隔（情報生成速度に起因するその長さ）について、第１および第２の位置情報を含む位置情報タプルが生成される。代替として、非接触検出手段が、分析モジュールに動作可能に接続される電場生成および検出手段の配列に基づく場合、第２の位置情報は、多重化方法、例えば、周波数分割多重化および／または時分割多重化を採用することによって、同時および／または交互に取得されてもよい。そのような多重化方法は、タッチセンサ式表面が、第２の位置情報のそのような判定に干渉し得るセンサ技術を採用する場合、例えば、タッチセンサ式表面が容量センサ技術（非接触検出手段と同一の電極構造でさえあり得る）に基づく場合に必要とされ得る。

これは、そのような電子デバイスが、（すなわち、２自由度を伴う）典型的な２次元制御を超えて拡張するタッチセンサ式表面に基づいて、ユーザインターフェースを提供するため有利である。この効果は、非接触検出手段とのタッチセンサ式表面の有利な組み合わせによって達成され、後者は、ユーザの指またはスタイラス等のユーザ入力オブジェクトの空間的構成に依存する第２の位置情報を判定することによって、付加的な自由度を導入する。これらの検出手段は、非接触であるため、タッチセンサ式表面とシームレスに統合し、いかなる機械的摩耗も被らない。加えて、それらは、直観的であり、使い易く、ユーザによって容易に理解される、さらなる自由度を提供する。

いくつかの実施形態では、コントローラ手段は、時分割多重化および／または周波数分割多重化を使用して、第１の位置情報および第２の位置情報を同時および／または交互に判定するために適合される。本実施形態は、タッチセンサ式表面および非接触検出手段が別様に相互に干渉するであろう場合に有利である。これは、例えば、両方が容量センサ技術に依存する場合であり得る。

いくつかの実施形態では、第１の位置情報は、ユーザ入力オブジェクトがタッチセンサ式表面に接触する場所に依存する、第１の位置を含み、第２の位置情報は、ユーザ入力オブジェクトの空間的構成に依存する、第２の位置を含む。第１および第２の位置情報は、タッチセンサ式表面を介して、および非接触検出手段（未加工データを含む）を介して取得される、多種多様のデータを含有してもよい。電子デバイスのユーザに２自由度を提供するためには、ユーザ入力オブジェクトがタッチセンサ式表面に接触する場所に依存する、第１の位置を抽出することで十分である。付加的な自由度を提供するために、別の第２の位置が抽出される。この第２の位置は、解釈し易く、ユーザ入力オブジェクトの空間的構成全体の表現を分析し易い。具体的には、ユーザ入力オブジェクトが指形状および／またはロッド形状である場合、第１および第２の位置が、ユーザインターフェース目的で十分である精度でタッチセンサ式表面に関するユーザ入力オブジェクトの空間的構成を判定するために十分である。したがって、本実施形態は、第１および第２の位置が、第１および第２の位置情報によって含むことができる、より複雑な一式のデータよりも解釈および分析し易いため、有利である。計算能力およびメモリ要求は、低減され得る。

いくつかの実施形態では、第１の位置は、ユーザ入力オブジェクトが、好ましくは、ユーザ入力デバイスの電気的性質に関して加重された、タッチセンサ式表面に接触する場所の平均位置（好ましくは、実質的に幾何学的平均位置）である。ユーザ入力オブジェクトがタッチセンサ式表面に接触する場所は、ユーザ入力オブジェクトとタッチセンサ式表面との間の接触領域である。その平均位置および／または幾何学的平均位置として理解されるものは、具体的な実施形態、具体的には、第１の位置情報を判定するために使用されるセンサ技術に依存する。例示的な場合では、位置情報は、容量センサ技術を用いて判定される。この目的で、タッチセンサ式表面のアクティブ領域は、区画に分割され、各区画は、容量センサ要素を有する、および／または担持する。したがって、複数の容量センサが、タッチセンサ式表面上に配置される。（例えば、ユーザの指の形態の）ユーザ入力オブジェクトがタッチセンサ式表面と接触するとき、次いで、電場の異なる変化、したがって、容量センサの静電容量の異なる変化が、誘発され、これらの容量センサによって測定される。タッチセンサ式表面上の異なる場所に配列される容量センサ要素によって測定される、これらの異なる変化から、平均接触位置（または幾何学的平均位置）が計算および／または判定される。好ましくは、第１の位置（すなわち、平均位置、または実質的に幾何学的平均位置）は、容量センサの静電容量に誘発される変化を加重することによって、計算および判定される。後者の場合、第１の位置は、ユーザ入力デバイスの電気的性質を加重することによって判定される。

いくつかの実施形態では、第２の位置は、ユーザ入力オブジェクトの平均位置（好ましくは、実質的に幾何学的平均位置）である。好ましくは、第２の位置は、非接触検出手段の検出空間内のユーザ入力オブジェクトの平均位置（好ましくは、実質的に幾何学的平均位置）である。ユーザ入力オブジェクトの平均位置（または幾何学的平均位置）は、検出空間内のユーザ入力オブジェクトの空間的構成を表す、空間内の点を示す。それは、第２の位置情報から判定される。非接触検出手段が容量センサ技術に基づく場合、ユーザ入力オブジェクトの平均位置（または実質的に幾何学的平均位置）は、対応する電場生成および検出電極の電場へのユーザ入力オブジェクトの電気的影響を分析することによって判定される。準ずる方法は、それぞれが参照することにより本明細書に組み込まれる、国際公開第ＷＯ ２０１１／１２８１１６ Ａ２号、独国特許第ＤＥ １０ ２００７ ０２０ ８７３ Ａｌ号、および独国特許第ＤＥ １０ ２０１０ ００７ ４５５ Ａｌ号から公知である。好ましくは、第２の位置（すなわち、平均位置または実質的に幾何学的平均位置）は、容量センサの静電容量に誘発される変化を加重することによって、計算および判定される。後者の場合、第２の位置は、ユーザ入力デバイスの電気的性質を加重することによって判定される。第２の位置は、必ずしもユーザ入力オブジェクトによって占有される位置ではない。具体的には、ユーザ入力オブジェクトが１つよりも多くの部品から成る場合（例えば、ユーザ入力オブジェクトが２本のユーザの指または２つのユーザの手から成る場合）には、第２の位置は、頻繁に、ユーザ入力オブジェクトによって占有されていない空間内の位置にあると判定されてもよい。

いくつかの実施形態では、第１の位置情報は、２次元で判定および／または表現される。本実施形態は、第１の位置情報がユーザ入力オブジェクトとタッチセンサ式表面との間の接触領域（のみ）に依存するため有利である。したがって、任意のタッチ事象は、タッチセンサ式表面上の位置を表す２つの座標、および必要であれば、容量センサ要素の静電容量に、または抵抗センサ要素の抵抗率に誘発される変化等の測定された数量を表す、スカラ値によって表すことができる。そのような説明の実施形態は、２次元スカラ場であってもよい。そのような説明の別の実施形態は、例えば、第１の位置を表す、２タプル（ペアとも称される）であってもよい。したがって、接触領域情報は、２次元で判定および／または表現することができる。

いくつかの実施形態では、第２の位置情報は、３次元で判定および表現される。本実施形態は、第２の位置情報が３次元空間内のユーザ入力オブジェクトの空間的構成に依存するため有利である。オブジェクトの任意の空間的構成は、３つの座標、および必要であれば、スカラ値によって表すことができる。そのような説明の実施形態は、３次元スカラ場であってもよい。そのような説明の別の実施形態は、例えば、第２の位置を表す、３タプル（トリプレットとも称される）であってもよい。したがって、配列情報は、３次元で判定および／または表現することができる。

いくつかの実施形態では、それでもなお、第１の位置情報は、３次元で判定および／または表現される。本実施形態では、第１および第２の位置情報の両方を比較または操作するために、いかなる座標変換も行われてはならないため有利である。

いくつかの実施形態では、第１の位置情報および第２の位置情報の両方とも、同一の座標系で判定および／または表現される。本実施形態は、第１および第２の位置情報によって含まれる座標および／また位置の相対的配列を容易に判定することを可能にするため有利である。

いくつかの実施形態では、第１および第２の位置の両方とも、同一の座標系で判定および／または表現される。本実施形態は、第１および第２の位置の相対的配列を容易に判定することを可能にするため有利である。

いくつかの実施形態では、第１の位置情報および第２の位置情報の両方とも、好ましくは、タッチセンサ式表面の固定参照位置に対して判定される。本実施形態は、タッチセンサ式表面上の参照位置に関する第１および第２の位置情報によって含まれる座標および／または位置の相対的配列を容易に判定することを可能にするため有利である。

いくつかの実施形態では、第１および第２の位置の両方とも、好ましくは、タッチセンサ式表面の固定参照位置に対して判定される。本実施形態は、タッチセンサ式表面上の参照位置に関する第１および第２の位置の相対的配列を容易に判定することを可能にするため有利である。

いくつかの実施形態では、第２の位置情報は、タッチセンサ式表面の所定の距離内にある、すなわち、検出空間内にある、ユーザ入力オブジェクトの一部分の空間的構成に依存し、所定の距離は、好ましくは、０．５ｃｍ、１ｃｍ、１．５ｃｍ、２ｃｍ、２．５ｃｍ、３ｃｍ、３．５ｃｍ、４ｃｍ、４．５ｃｍ、５ｃｍ、５．５ｃｍ、６ｃｍ、７ｃｍ、８ｃｍ、９ｃｍ、１０ｃｍ、１５ｃｍ、２０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍ未満である。概して、ユーザ入力オブジェクトは、ユーザ（例えば、スタイラス）またはユーザの身体の一部（例えば、指）のいずれか一方によって保持される。その結果として、非接触検出手段は、ユーザ入力オブジェクトと、ユーザ入力オブジェクトとしての機能を果たすべきではない、またはユーザ入力オブジェクトと見なされるべきではない、ユーザの身体部分とを区別しなければならない。これは、特に、ユーザ入力オブジェクト自体がユーザ入力オブジェクト（例えば、腕を介して胴体に接続された手の一部である指等）である場合に達成することが困難である。検出空間をタッチセンサ式表面の前の所定の距離まで短縮することによって、ユーザ入力オブジェクトの一部分のみが、非接触検出手段によって判定される第２の位置情報、すなわち、タッチセンサ式表面の所定の距離内にある部分に影響を及ぼす。好ましくは、所定の距離は、（１）検出および判定される部分が、付加的な自由度を伴う便利で使い易く直観的な制御を達成するために十分であり、（２）ユーザ入力オブジェクトとしての機能を果たすべきではない、またはユーザ入力オブジェクトと見なされるべきではない、ユーザの部分が検出／判定されない、（３）ユーザ入力オブジェクトとしての機能を果たすべきではない、ユーザの身体部分の認識による、電子デバイスの機能の意図しない起動または動作停止が回避／防止されるように、電子デバイスおよびユーザ入力オブジェクトの幾何学形状に応じて選択または設定されてもよい。

いくつかの実施形態では、所定の距離は、コントローラ手段および／または非接触検出手段によって画定されてもよい。容量感知に基づく非接触検出手段の場合、所定の距離は、電場生成および検出手段によって生成される電場の幾何学形状に、したがって、電場生成および検出手段自体の幾何学形状に依存し得る。

いくつかの実施形態では、タッチセンサ式表面は、タッチセンサ式ディスプレイの一部である。多くの電子デバイス（具体的には、小型モバイルデバイス）は、タッチセンサ式ディスプレイを有し、タッチセンサ式表面は、タッチセンサ式ディスプレイの一部または一体部分である。従来技術のデバイスに既に存在している、そのような構成要素および機能性は、本発明による実施形態を構築するために採用され、および／またはそれに従って修正されてもよい。本実施形態は、ユーザが別個のタッチセンサ式表面によって制御されるポインタと間接的に相互作用するよりもむしろ、表示されているものと直接相互作用することをタッチセンサ式ディスプレイが可能にするため、有利である。さらに、それは、いかなる中間デバイスも必要とすることなく、ユーザにそうさせる。

いくつかの実施形態では、非接触検出手段は、能動または受動である、非接触３Ｄスキャナを備える。能動スキャナは、何らかの種類の放射線または機械的波動を放出し、オブジェクトまたは環境を探査するためにその反射を検出する。可能性として考えられる種類の放出は、光等の電磁放射線、および超音波等の機械的波動を含む。受動スキャナは、それら自体はいかなる種類の放射線も放出しないが、代わりに、反射した周囲放射線を検出することに依存する。この種類の大部分のスキャナが、容易に利用可能な周囲放射線および／または機械的波動であるため可視光を検出する。赤外線等の他の種類の放射線も使用することができる。受動方法は、大部分の場合、特定のハードウェアではなく、単純なＣＣＤカメラに依存するため、非常に安価であり得る。それでもなお、能動および受動スキャナの両方が、３Ｄセンサモジュールを必要とする。３Ｄセンサモジュールは、わずかに離れて配列され、同一の光景を観察する、２つのビデオカメラを伴う立体システムであってもよい。各カメラによって見られる画像間のわずかな差を分析することによって、画像内の各点での距離を判定することが可能である。この方法は、人間の立体視覚を駆動する同一の原理に基づく。３Ｄセンサモジュールはまた、コントラストが良好な背景に対する３次元オブジェクトの周囲の一連の写真から作成される輪郭を使用する、シルエット技法に基づいてもよい。

いくつかの実施形態では、非接触３Ｄスキャナは、ユーザ入力オブジェクトの画像を記録するための少なくとも１つのビデオカメラと、記録された画像から第２の位置情報を判定するための画像分析コントローラとを備え、画像分析モジュールは、別個のモジュールまたはコントローラ手段の一体部分である。

いくつかの実施形態では、非接触検出手段は、静的または準静的である電場を生成するための電場生成手段等の容量感知手段と、ユーザ入力オブジェクトによって引き起こされる電場の変化を検出するための電場検出手段であって、電場検出手段は、別個の手段または電場生成手段の一体部分である、電場検出手段と、電場の検出された変化から第２の位置情報を判定するための分析モジュールであって、分析モジュールは、別個のモジュールまたはコントローラ手段の一体部分である、分析モジュールとを備える。準ずる非接触検出手段は、それぞれが参照することにより本明細書に組み込まれる、国際公開第ＷＯ ２０１１／１２８１１６ Ａ２号、独国特許第ＤＥ １０ ２００７ ０２０ ８７３ Ａｌ号、および独国特許第ＤＥ １０ ２０１０ ００７ ４５５ Ａｌ号から公知である。その例示的実施形態を以下で説明する。

いくつかの実施形態では、電場生成手段および／または電場検出手段は、タッチセンサ式表面の、および／またはタッチセンサ式ディスプレイの一体部分である。本実施形態は、同一の構成要素がタッチセンサ式表面、ディスプレイ、および非接触検出手段の異なる機能を果たし得るため有利である。それによって、電子デバイスは、その形態に関してより小型に生産され得、かつより低費用で生産され得る。

いくつかの実施形態では、電子デバイスはさらに、別個のモジュールまたはコントローラ手段の一体部分である、ジェスチャ認識モジュールを備え、ジェスチャ認識モジュールは、それぞれコントローラ手段によって判定される、第１の位置情報、第２の位置情報、第１の位置、および／または第２の位置、またはそのような情報の変化から、所定のカテゴリに属するものとしてジェスチャを識別するために適合され、電子デバイスは、所定のジェスチャがジェスチャ認識モジュールによって識別されたときまたは後に、第１の状態から第２の状態へ移行するために適合される。電子デバイスは、複数の状態を成してもよい。状態とは、例えば、電子デバイスによって提示されるグラフィカルユーザインターフェースの状態、アプリケーション（テキスト編集、メッセージング、グラフィック編集、Ｅメール、音楽再生、またはゲームで遊ぶことに関するアプリケーション等）の状態、またはロック／ロック解除状態を指し得る。ユーザインターフェースを介して、ユーザは、電子デバイスと相互作用し、それを第１状態から第２の状態に移行させてもよい。それと関連付けられる１つの問題は、そのような移行が、例えば、ユーザインターフェースとの意図しない相互作用により、非意図的に呼び出され得ることである。この問題は、ユーザが所定のジェスチャを用いて相互作用することのみを可能にすることによって解決される。所定のジェスチャがジェスチャ認識モジュールによって識別される場合のみ、電子デバイスは、第１の状態から第２の状態に移行する。そのようなジェスチャ認識モジュールを提供することの別の利点は、一式の所定のジェスチャカテゴリが提供されてもよく、それによって、ユーザが電子デバイスと相互作用することができ、ジェスチャは、特に、直観的であり、ユーザにとって習得し易いことである。

いくつかの実施形態では、ジェスチャ認識モジュールは、好ましくは、所定のジェスチャカテゴリを記憶および／または取得するため、第１および第２の位置情報から、および／またはコントローラ手段によって判定される第１および第２の位置から、ジェスチャを記録するため、所定のジェスチャカテゴリに対応するものとして記録されたジェスチャを識別するため、好ましくは、（ズーム倍率、または離散回転角度等の）パラメータを識別されたジェスチャから抽出するために適合され、ジェスチャは、好ましくは、位相空間内の軌道であり、位相空間は、第１および第２の位置情報の、および／または第１および第２の位置の全ての可能性として考えられる状態によって、すなわち、第１および第２の位置情報、および／または第１および第２の位置が占有し得る状態によって、画定される。

いくつかの実施形態では、ジェスチャは、ユーザ入力オブジェクトがタッチセンサ式表面に触れる限り、ジェスチャ認識モジュールによって記録される。本実施形態は、ジェスチャの開始および終了が、ジェスチャを行わなければならないユーザ、およびジェスチャを記録および／または識別しなければならないジェスチャ認識モジュールの両方について一義的に画定されるため有利である。

いくつかの実施形態では、第２の位置が、回転軸の周囲の実質的に円形の軌道上で移動し、回転軸が、タッチセンサ式表面と垂直であり、第１の位置に交差し、第１の位置が、実質的に一定のままである場合に、ジェスチャは、所定のカテゴリに属する。そのようなジェスチャは、指先でタッチセンサ式表面に触れ、指が円錐の外側面（の一部）を描くように指の残りの部分を移動させることによって行われてもよい。そのようなジェスチャはまた、第１の手の指先でタッチセンサ式表面に触れ、指が円のまたはその一部を描くように第２の手の指を移動させることによって行われてもよい。電子デバイスにおけるそのようなジェスチャと関連付けられる機能は、回転、具体的には、表示された図の中へ指し示す軸の周囲での２Ｄまたは３Ｄ図の回転であり得る。後者の場合、第１の状態は、未回転図となり、第２の状態は、回転図となるであろう、それによって、回転角度は、実質的に円形の運動で指を移動させることによって横断される角度に依存し得る。

いくつかの実施形態では、第２の位置が、タッチセンサ式表面に向かって、またはタッチセンサ式表面から離れて、実質的に線である軌道上で移動し、第１の位置が、実質的に一定のままであり、線が、好ましくは、タッチセンサ式表面と垂直である場合に、ジェスチャは、所定のカテゴリに属する。そのようなジェスチャは、１本の指（例えば、親指または人差し指）の指先でタッチセンサ式表面に触れ、同一の手の残りの指（または指先）を移動させるか、あるいはタッチセンサ式表面に向かって、またはタッチセンサ式表面から離れて、他方の手の指（または指先）を移動させることによって、行われてもよい。電子デバイスにおけるそのようなジェスチャと関連付けられる機能は、ズーミング、具体的には、２Ｄまたは３Ｄ図へのズーミングまたはそこからのズーミングアウトであり得る。後者の場合、第１の状態は、未拡大図となり、第２の状態は、拡大図となるであろう、それによって、ズーム倍率は、タッチセンサ式表面に向かって、またはタッチセンサ式表面から離れて、指を移動させることによって、横断される距離に依存し得る。

いくつかの実施形態では、第２の位置が、回転軸の周囲の実質的に円形の軌道上で移動し、回転軸が、タッチセンサ式表面内に位置し、第１の位置に交差し、第１の位置が、実質的に一定のままである場合に、ジェスチャは、所定のカテゴリに属する。そのようなジェスチャは、１本の指（例えば、親指または人差し指）でタッチセンサ式表面に触れ、指の残りの部分（および／または手全体）を移動させるか、あるいは１本の指をタッチセンサ式表面と接触したまま保ちながら、実質的に円形の軌道上で他方の手の指（または指先）を移動させることによって、行われてもよい。電子デバイスにおけるそのようなジェスチャと関連付けられる機能は、例えば、３Ｄ制御のための別の自由度であり得る。

いくつかの実施形態では、第２の位置が、タッチセンサ式表面と平行に、実質的に線である軌道上で移動し、第１の位置が、実質的に一定のままである場合に、ジェスチャは、所定のカテゴリに属する。そのようなジェスチャは、指先（例えば、親指または人差し指）でタッチセンサ式表面に触れ、同一の手の指の残りの部分（および／または手全体）を移動させるか、あるいは１本の指をタッチセンサ式表面と接触したまま保ちながら、タッチセンサ式表面と平行に、実質的に線である軌道上で他方の手の指（または指先）を移動させることによって、行われてもよい。電子デバイスにおけるそのようなジェスチャと関連付けられる機能は、例えば、３Ｄ制御のための別の自由度であり得る。

いくつかの実施形態では、第１および第２の位置が実質的に同一方向へ同時に移動し、該同一方向は、タッチセンサ式表面と実質的に平行である場合に、ジェスチャは、所定のカテゴリに属する。そのようなジェスチャは、１本の指（例えば、親指または人差し指）でタッチセンサ式表面に触れ、同一の手の指の残りの部分（および／または手全体）を移動させるか、あるいはタッチセンサ式表面と平行な軌道上で１本の指とともに他方の手の指（または指先）を移動させることによって、行われてもよい。電子デバイスにおけるそのようなジェスチャと関連付けられる機能は、従来技術のタッチパッドまたはマウスによっても行われ得る、「古典的な」平行移動であり得る。

電子デバイスは、必ずしも離散状態として第１および第２の状態を提示しないことに留意されたい。対照的に、電子デバイスは、連続移行によって、および／または複数の中間状態の間で複数の移行を行うことによって、第１の状態と第２の状態との間の移行を提示し、および／または受けてもよい。

いくつかの実施形態では、ジェスチャ認識モジュールは、ベクトル（具体的には、ベクトルの長さ、ベクトルの初期点、ベクトルの終点、画面の表面とベクトルとの間の角度、タッチセンサ式表面上に投影されるベクトルとタッチセンサ式表面内に位置する好ましい軸との間の角度）を判定するために適合され、ベクトルの初期点は、第１の位置であり、ベクトルの終点は、第２の位置である。

いくつかの実施形態では、ジェスチャ認識モジュールは、円筒座標系内の第２の位置を判定する、および／または第２の位置を円筒座標系に変換するために適合され、円筒座標系の原点は、第１の位置であり、高さ軸は、タッチセンサ式表面と垂直であり、参照軸は、タッチセンサ式表面内に位置する。本実施形態は、所定のジェスチャ（または所定のジェスチャのうちの１つ）を、円筒座標系によって画定される自由度のうちの１つのみ（すなわち、高さ、方位角、および半径）に対する変化から識別することができる場合に有利である。

いくつかの実施形態では、この円筒座標系の各自由度は、所定のジェスチャカテゴリと関連付けられる。本実施形態は、この円筒座標系の自由度のうちの１つと関連付けられる所定のジェスチャカテゴリのうちの１つに属するジェスチャの容易な認識を可能にするため、有利である。いくつかの実施形態では、ジェスチャは、この円筒座標系の自由度に従って、複数のジェスチャに分解されてもよく、これらの自由度のそれぞれは、別の所定のジェスチャカテゴリに属する。

本発明の別の側面によれば、上記の実施形態のうちの１つによる電子デバイスを制御するための方法は、タッチセンサ式ディスプレイを介して第１の位置情報、および非接触検出手段を介して第２の位置情報を同時および／または交互に判定するステップを含む。

いくつかの実施形態では、第１の位置および第２の位置を同時および／または交互に判定するステップは、時分割多重化方法および／または周波数分割多重化方法に基づく。

本発明の別の側面によると、上記の実施形態のうちの１つによる電子デバイスを制御するための方法は、電子デバイスが第１の状態である間に、第１の位置情報および第２の位置情報を判定するステップと、ジェスチャを記録するステップと、検出されたジェスチャが所定のジェスチャに対応する場合に、電子デバイスを第２の状態に移行するステップと、検出された位相空間軌道が所定のジェスチャに対応しない場合に、デバイスを第１の状態で維持するステップとを含む。

本発明の別の側面によると、その中に組み込まれた実行可能なコンピュータプログラム機構とともに、上記の実施形態のうちの１つによる電子デバイスと併せて使用するためのコンピュータプログラム製品であって、実行可能なコンピュータプログラム機構は、タッチセンサ式ディスプレイを介して第１の位置情報、および非接触検出手段を介して第２の位置情報を同時および／または交互に判定するための命令を備え、第１の位置および第２の位置を同時および／または交互に判定するステップは、時分割多重化方法および／または周波数分割多重化方法に基づいてもよい。

本発明の別の側面によると、その中に組み込まれた実行可能なコンピュータプログラム機構とともに、上記の実施形態のうちの１つによる電子デバイスと併せて使用するためのコンピュータプログラム製品であって、実行可能なコンピュータプログラム機構は、電子デバイスが第１の状態である間に、第１の位置情報および第２の位置情報を判定し、ジェスチャを記録し、検出されたジェスチャが所定のジェスチャカテゴリに属する場合に、電子デバイスを第２の状態に移行し、検出された位相空間軌道が所定のジェスチャカテゴリに属しない場合に、デバイスを第１の状態で維持するための命令を備え、ジェスチャは、ユーザ入力オブジェクトがタッチセンサ式表面に触れる限り記録されてもよい。

いくつかの実施形態では、実行可能なコンピュータプログラム機構はさらに、ズーム倍率または離散回転角度等のパラメータを識別されたジェスチャから抽出するための命令を備える。
本願明細書は、例えば、以下の項目も提供する。
（項目１）
少なくとも１つのユーザの手または少なくとも１つのスタイラス等のユーザ入力オブジェクトに関する第１の位置情報および第２の位置情報を判定するための電子デバイスであって、
タッチセンサ式表面と、
非接触検出手段と、
前記タッチセンサ式表面と、前記非接触検出手段とに動作可能に接続される、コントローラ手段と
を備え、
前記第１の位置情報は、前記ユーザ入力オブジェクトが前記タッチセンサ式表面に接触する場所に依存し、
前記第２の位置情報は、前記タッチセンサ式表面に関する前記ユーザ入力オブジェクトの空間的構成に依存し、
前記コントローラ手段は、前記タッチセンサ式表面を介して前記第１の位置情報、および前記非接触検出手段を介して前記第２の位置情報を同時および／または交互に判定するために適合され、前記コントローラ手段は、好ましくは、少なくとも１つのコントローラを備える、
電子デバイス。
（項目２）
前記コントローラ手段は、時分割多重化および／または周波数分割多重化を使用して、前記第１の位置情報および前記第２の位置情報を同時に判定するために適合される、項目１に記載の電子デバイス。
（項目３）
前記第１の位置情報は、前記ユーザ入力オブジェクトが前記タッチセンサ式表面に接触する場所に依存する、第１の位置を含み、前記第２の位置情報は、前記ユーザ入力オブジェクトの前記空間的構成に依存する、第２の位置を含む、項目１に記載の電子デバイス。
（項目４）
前記第２の位置情報は、前記タッチセンサ式表面の所定の距離内にある前記ユーザ入力オブジェクトの一部分の前記空間的構成に依存し、前記所定の距離は、好ましくは、０．５ｃｍ、１ｃｍ、１．５ｃｍ、２ｃｍ、２．５ｃｍ、３ｃｍ、３．５ｃｍ、４ｃｍ、４．５ｃｍ、５ｃｍ、５．５ｃｍ、６ｃｍ、７ｃｍ、８ｃｍ、９ｃｍ、１０ｃｍ、１５ｃｍ、２０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍ未満である、項目１に記載の電子デバイス。
（項目５）
前記第１の位置は、前記ユーザ入力オブジェクトが前記タッチセンサ式表面に接触する場所の平均位置である、項目３に記載の電子デバイス。
（項目６）
前記第２の位置は、前記ユーザ入力オブジェクトの、または前記ユーザ入力オブジェクトの一部分の平均位置である、項目３に記載の電子デバイス。
（項目７）
前記第１の位置情報は、２次元で判定および／または表現され、および／または前記第２の位置情報は、３次元で判定および／または表現される、項目１に記載の電子デバイス。
（項目８）
前記第１の位置情報および前記第２の位置情報の両方とも、同一の座標系で判定および／または表現され、
前記第１および第２の位置の両方とも、好ましくは、同一の座標系で判定および／または表現され、
前記第１の位置情報および前記第２の位置情報の両方とも、好ましくは、前記タッチセンサ式表面上の参照位置に対して判定され、
前記第１および第２の位置の両方とも、好ましくは、前記タッチセンサ式表面上の参照位置に対して判定される、
項目１に記載の電子デバイス。
（項目９）
前記タッチセンサ式表面は、タッチセンサ式ディスプレイの一部である、項目１に記載の電子デバイス。
（項目１０）
前記非接触検出手段は、能動または受動型である、非接触３Ｄスキャナを備える、項目１に記載の電子デバイス。
（項目１１）
前記非接触３Ｄスキャナは、前記ユーザ入力オブジェクトの画像を記録するための少なくとも１つのビデオカメラと、前記記録された画像から前記第２の位置情報を判定するための画像分析コントローラとを備え、前記画像分析モジュールは、別個のモジュールであるかまたは前記コントローラ手段の一体部分である、項目１０に記載の電子デバイス。
（項目１２）
前記非接触検出手段は、容量感知手段を備え、前記容量感知手段は、
順に、好ましくは、
静的または準静的である電場を生成するための電場生成手段と、
前記ユーザ入力オブジェクトによって引き起こされる前記電場の変化を検出するための電場検出手段と
を備え、前記電場検出手段は、別個の手段であるかまたは前記電場生成手段の一体部分である、
項目１に記載の電子デバイス。
（項目１３）
前記容量感知手段は、
静的または準静的である電場を生成するための電場生成手段と、前記ユーザ入力オブジェクトによって引き起こされる前記電場の変化を検出するための電場検出手段であって、前記検出手段は、別個の手段であるかまたは前記電場生成手段の一体部分である、電場検出手段と、
前記電場の前記検出された変化から前記第２の位置情報を判定するための分析モジュールであって、前記分析モジュールは、別個のモジュールであるかまたは前記コントローラ手段の一体部分である、分析モジュールと
を備える、項目１２に記載の電子デバイス。
（項目１４）
前記電場生成手段および／または前記電場検出手段は、前記タッチセンサ式表面の、および／またはタッチセンサ式ディスプレイの一体部分である、項目１に記載の電子デバイス。
（項目１５）
前記電子デバイスはさらに、別個のモジュールであるかまたは前記コントローラ手段の一体部分である、ジェスチャ認識モジュールを備え、
前記ジェスチャ認識モジュールは、前記コントローラ手段によって判定される、前記第１の位置情報、前記第２の位置情報、前記第１の位置、および／または前記第２の位置から、所定のカテゴリに属するものとしてジェスチャを識別するために適合され、
前記電子デバイスは、前記ジェスチャが前記ジェスチャ認識モジュールによって前記所定のジェスチャカテゴリに属するものとして識別されたときまたは後に、第１の状態から第２の状態へ移行するために適合される、
項目１に記載の電子デバイス。
（項目１６）
前記ジェスチャ認識モジュールは、
好ましくは、所定のジェスチャカテゴリを記憶および／または取得することと、
前記コントローラ手段によって判定される、前記第１および第２の位置情報から、および／または前記第１および第２の位置から、前記ジェスチャを記録することであって、好ましくは、前記ジェスチャは、前記ユーザ入力オブジェクトが前記タッチセンサ式表面に触れる限り、前記ジェスチャが記録される、ことと、
前記所定のジェスチャカテゴリに属するものとして前記記録されたジェスチャを識別することと、
好ましくは、ズーム倍率、または離散回転角度等のパラメータを前記識別されたジェスチャから抽出することと
を行うように適合され、
ジェスチャは、好ましくは、位相空間内の軌道であり、前記位相空間は、前記第１および第２の位置情報の、および／または前記第１および第２の位置の全ての可能性として考えられる状態によって、すなわち、前記第１および第２の位置情報、および／または前記第１および第２の位置が占有し得る状態によって、画定される、
項目１５に記載の電子デバイス。
（項目１７）
前記第２の位置が、回転軸の周囲の実質的に円形の軌道上で移動し、前記回転軸が、前記タッチセンサ式表面と垂直であり、前記第１の位置に交差し、前記第１の位置が、実質的に一定のままである場合、または
前記第２の位置が、前記タッチセンサ式表面に向かって、または前記タッチセンサ式表面から離れて、実質的に線である軌道上で移動し、前記第１の位置が、実質的に一定のままであり、前記線が、好ましくは、前記タッチセンサ式表面と垂直である場合、または
前記第２の位置が、回転軸の周囲の実質的に円形の軌道上で移動し、前記回転軸が、前記タッチセンサ式表面内に位置し、前記第１の位置に交差し、前記第１の位置が、実質的に一定のままである場合、または
前記第２の位置が、前記タッチセンサ式表面と平行に、実質的に線である軌道上で移動し、前記第１の位置が、実質的に一定のままである場合、または
前記第１および第２の位置が実質的に同一方向へ同時に移動し、前記同一方向は、前記タッチセンサ式表面と実質的に平行である場合、
ジェスチャは、前記所定のカテゴリに属する、
項目１５に記載の電子デバイス。
（項目１８）
前記ジェスチャ認識モジュールは、ベクトル（具体的には、前記ベクトルの長さ、前記ベクトルの初期点、前記ベクトルの終点、画面の表面と前記ベクトルとの間の角度、前記タッチセンサ式表面上に投影される前記ベクトルと前記タッチセンサ式表面内に位置する好ましい軸との間の角度）を判定するために適合され、前記ベクトルの前記初期点は、前記第１の位置であり、前記ベクトルの前記終点は、前記第２の位置である、項目１５に記載の電子デバイス。
（項目１９）
前記ジェスチャ認識モジュールは、円筒座標系内の前記第２の位置を判定する、および／または前記第２の位置を円筒座標系に変換するために適合され、
前記円筒座標系の原点は、前記第１の位置であり、高さ軸は、前記タッチセンサ式表面と垂直であり、参照軸は、前記タッチセンサ式表面内に位置する、
項目１５に記載の電子デバイス。
（項目２０）
前記タッチセンサ式ディスプレイを介して前記第１の位置情報、および前記非接触検出手段を介して前記第２の位置情報を同時および／または交互に判定するステップを含む、項目１に記載の電子デバイスを制御するための方法。
（項目２１）
前記第１の位置および前記第２の位置を同時および／または交互に判定するステップは、時分割多重化方法および／または周波数分割多重化方法に基づく、項目２０に記載の方法。
（項目２２）
前記電子デバイスが第１の状態である間に、前記第１の位置情報および前記第２の位置情報を判定するステップと、
ジェスチャを記録するステップと、
前記検出されたジェスチャが所定のジェスチャカテゴリに属する場合に、前記電子デバイスを第２の状態に移行するステップと、
前記検出された位相空間軌道が所定のジェスチャカテゴリに属しない場合に、前記デバイスを前記第１の状態で維持するステップと
を含む、項目１に記載の電子デバイスを制御するための方法。
（項目２３）
前記ジェスチャは、前記ユーザ入力オブジェクトが前記タッチセンサ式表面に触れる限り記録される、項目２２に記載の方法。
（項目２４）
ズーム倍率または離散回転角度等のパラメータを前記識別されたジェスチャから抽出するステップをさらに含む、項目２２に記載の方法。

本発明の上記の実施形態ならびにその付加的な実施形態のより良好な理解のために、類似参照数字が図の全体を通して対応する部分を指す、以下の図面と併せて、以下の発明を実施するための形態を参照されたい。
図１は、本発明のいくつかの実施形態による、タッチセンサ式表面および非接触検出手段を伴う電子デバイスの一般概略図の等角図である。 図２は、本発明のいくつかの実施形態による、タッチセンサ式表面および非接触検出手段を伴う電子デバイスの一般概略図の断面図である。 図３は、本発明のいくつかの実施形態による、第１の所定のジェスチャカテゴリに属するジェスチャの概略図である。 図４は、本発明のいくつかの実施形態による、第２の所定のジェスチャカテゴリに属するジェスチャの概略図である。 図５は、本発明のいくつかの実施形態による、第３の所定のジェスチャカテゴリに属するジェスチャの概略図である。 図６は、本発明のいくつかの実施形態による、第４の所定のジェスチャカテゴリに属するジェスチャの概略図である。 図７は、本発明のいくつかの実施形態による、例示的電子デバイスを図示するブロック図である。 図８は、本発明のいくつかの実施形態による、非接触検出手段と組み合わせられたタッチセンサ式ディスプレイの一般概略図の上面図である。 図９は、本発明のいくつかの実施形態による、非接触検出手段と組み合わせられたタッチセンサ式ディスプレイの一般概略図の側面図である。 図１０は、本発明のいくつかの実施形態による、非接触検出手段と組み合わせられたタッチセンサ式ディスプレイの一般概略図の上面図である。 図１１は、本発明のいくつかの実施形態による、非接触検出手段と組み合わせられたタッチセンサ式ディスプレイの一般概略図の側面図である。

ここで、その実施例が添付図面で図示される、実施形態を詳細に参照する。以下の詳細な説明では、本発明の徹底的な理解を提供するために、多数の具体的詳細が記載される。しかしながら、本発明は、これらの具体的詳細なしで実践されてもよいことが、当業者に明白となるであろう。他の場合では、周知の方法、手順、構成要素、および回路は、実施形態の側面を不必要に曖昧にしないよう、詳細に説明されていない。

図１は、ユーザ入力オブジェクト５００に関する第１の位置情報および第２の位置情報を判定するために適合される、電子デバイス１００の一般概略図である。電子デバイスは、タブレットコンピュータ１００であるが、携帯電話、ｍｐ３プレーヤ、ＰＤＡ、タブレットコンピュータ、コンピュータ、リモートコントロール、ラジオ、コンピュータマウス、タッチセンサ式ディスプレイ、およびテレビ等、それ自体がユーザインターフェースであるか、またはユーザインターフェースを備える、任意の電子デバイスであり得る。ユーザ入力オブジェクト５００は、ユーザの指５００として示されるが、スタイラス（例えば、小型ペン型器具）またはデジタルペンのようなものであってもよい。

電子デバイス１００は、タッチセンサ式表面２００のアクティブ領域２０２に触れるユーザ入力オブジェクト５００を検出するために好適であることにより、ユーザインターフェースとしての機能を果たす、タッチセンサ式表面２００を備える。それによって、タッチセンサ式表面２００は、ユーザ入力オブジェクト５００がそのアクティブ領域２０２に触れることを検出するだけでなく、むしろ、ユーザ入力オブジェクト５００がアクティブ領域と接触する場所も検出し、すなわち、タッチセンサ式ディスプレイは、タッチセンサ式表面２００と該ユーザ入力オブジェクト５００との間の接触領域のｘおよびｙ座標（例えば、加重幾何学的平均位置、またはアクティブ領域がセンサ区画に分割される場合、接触させられる全てのセンサ区画）を抽出する。それによって、タッチセンサ式表面２００は、第１の位置情報であって、ユーザ入力オブジェクト５００がタッチセンサ式表面２００に接触する場所のみに依存する、第１の位置情報を判定する。本実施形態では、タッチセンサ式表面は、容量センサ技術に基づき、タッチセンサ式表面２００のアクティブ領域２０２は、各区画が容量センサ要素２０４を備える、区画に分割されるが、多種多様の異なるセンサ技術は、例えば、抵抗、容量（例えば、表面容量投影容量、相互容量、自己容量）、表面音響波、赤外線、光学結像、分散信号、および音響パルス認識センサ技術といった、タッチセンサ式表面２００の基礎を形成することもできる。本実施形態では、タッチセンサ式表面２００は、電子デバイス１００によって生成される情報を表示するために好適である、タッチセンサ式ディスプレイ２００である。

電子デバイス１００はさらに、非接触検出手段３００を備える。一般に、この意味での非接触検出手段３００は、タッチセンサ式表面２００に関するユーザ入力オブジェクト５００の空間的構成に依存して、第２の位置情報を判定するために好適な任意の手段である。ユーザ入力オブジェクト５００の空間的構成は、タッチセンサ式表面２００に関するユーザ入力オブジェクト５００の３次元配列、場所、および配向として理解されるものである。ユーザ入力オブジェクト５００は、図で示されるように、ユーザの指５００であり、したがって、空間的構成とは、指５００が占有する空間を指す。ユーザ入力オブジェクト５００が、タッチセンサ式表面２００上の同一の接触領域２１０に触れたままとなり得る一方で、その空間的構成は、変化し得る。具体的な実施例は、指５００に接続された手が左に、右に、上に、または下に移動している間に、タッチセンサ式領域上の１つの特定の接触領域に触れるユーザの指５００である。それによって、指５００の空間的構成が変化する一方で、タッチセンサ式表面２０２との接触領域２１０は、同一のままである。第２の位置情報を判定することによって、電子デバイス１００は、タッチセンサ式表面２００に関する（および／またはその上の所定の参照点に関する）ユーザ入力オブジェクトの空間的構成に応じて、情報を判定する。具体的には、非接触検出手段３００は、複数の電極を用いた容量感知に基づく。図１は、接地電極３０６ならびに４つの電場生成および検出電極３０１、３０２、３０３、３０４の一致した配列を概略的に示す。ここで、４つの電場生成および検出電極３０１、３０２、３０３、３０４が、別個のユニットとして示されている一方で、接地電極３０６は、タッチセンサ式表面２００の一部として示されている。しかしながら、電場生成および検出電極３０１、３０２、３０３、３０４のそれぞれ、および接地電極３０６は、タッチセンサ式表面２００の一部、または別個の実体のいずれか一方であってもよい。電場生成および検出電極３０１、３０２、３０３、３０４の少なくともそれぞれは、非接触検出コントローラ１２４に動作可能に接続される。好ましくは、接地電極３０６もまた、非接触検出コントローラ１２４に動作可能に接続される。接地電極は、例えば、タッチセンサ式表面２００を備えるタッチセンサ式ディスプレイのＶＣＯＭ電極であってもよい。容量感知システムの形態の非接触検出手段３００は、２つのモード、すなわち、（１）ユーザ入力オブジェクト５００が、４つの電場生成および検出電極３０１、３０２、３０３、３０４の間の相互連結を変更し、各電極が、他の電極のそれぞれに対して連続的に走査される、相互容量モードで、および（２）ユーザ入力オブジェクト５００が、電場生成および検出電極３０１、３０２、３０３、３０４に負荷を加えるか、または接地への寄生容量を増加させる、自己または絶対容量モードで、操作されてもよい。そのような非接触検出手段３００に関するさらなる実施形態を以下で説明する。

電子デバイス１００はまた、タッチセンサ式表面２００と、非接触検出手段３００とに動作可能に接続される、コントローラ手段も備える。コントローラ手段は、タッチセンサ式表面から、および非接触検出手段から取得される情報および／またはデータ（アナログまたはデジタルであり得る）を処理するために好適な任意の手段であってもよい。コントローラ手段は、１つ以上のコントローラ、プロセッサ、集積回路（ＩＣ）、特定用途向け集積回路（ＡＳＩＣ）、アナログ・デジタル変換器（ＡＤＣ）、および／またはプログラム可能なコンピュータマシンを備えてもよい。本具体的実施形態では、コントローラ手段は、タッチセンサ式表面コントローラ１２２、および上記で既に記述された非接触検出手段コントローラ１２４といった、少なくとも２つのコントローラを伴う入出力サブシステム１２０を備える。両方のコントローラは、特定用途向け集積回路（ＡＳＩＣ）として具現化される。いくつかの実施形態では、これら２つのコントローラは、単一のＡＳＩＣとして具現化される。

準ずるコントローラ手段１２０は、タッチセンサ式表面を介して第１の位置情報、および非接触検出手段３００を介して第２の位置情報を同時および／または交互に判定するために適合される。第１および第２の位置情報の両方がどのようにして同時および／または交互に判定されるかは、電子デバイス１００の具体的な実施形態に依存する。ここで、非接触検出手段３００およびタッチセンサ式表面２００の両方とも、容量感知に基づく。それらの測定値が相互に干渉するという問題が生じ得る。干渉問題を解決するか、またはそのような問題が生じ得ることを防止するために、多重化方法が採用される。現在議論されている、いくつかの実施形態では、周波数分割多重化ならびに時分割多重化の両方が実装される。時分割多重化については、時間が間隔に分割され、２つの連続時間間隔で、第１の位置情報が、２つの時間間隔のうちの一方においてタッチセンサ式表面２００を介して判定され、第２の位置情報が、２つの時間間隔のうちの他方において非接触検出手段を介して判定される。各時間間隔は、約数ミリ秒であってもよい。各時間間隔は、１００ミリ秒、１０ミリ秒、１ミリ秒、または０．１ミリ秒未満であってもよい。時分割多重化は、任意の所与の時点で、最新の第１および第２の位置情報の両方が電子デバイス１００において入手可能であるように、第１および第２の位置情報を交互に判定することを可能にする。周波数分割多重化については、非重複周波数範囲が、電場を生成および検出するために（したがって、容量感知のために）タッチセンサ式表面２００および非接触検出手段３００に割り当てられる。このようにして、同一の媒体（タッチセンサ式表面および／または一般的に使用されている電極の前の空間）が、タッチセンサ式表面２００および非接触検出手段３００の両方によって使用されてもよい。その結果として、周波数分割多重化は、任意の所与の時点で、最新の第１および第２の位置情報の両方が電子デバイス１００において入手可能であるように、第１および第２の位置情報を同時に判定することを可能にする。

現在議論されている、いくつかの実施形態では、第１の位置情報は、ユーザ入力オブジェクトがタッチセンサ式表面に接触する場所に依存する第１の位置を含み、第２の位置情報は、タッチセンサ式表面の所定の距離内にあるユーザ入力オブジェクトの一部分の空間的構成に依存する第２の位置を含み、所定の距離Ｏは、３ｃｍ未満である。タッチセンサ式表面および所定の距離によって画定される空間は、直方体３１０として示されている。所定の距離は、コントローラ手段１２０および非接触検出手段３００によって画定される。具体的には、所定の距離は、電場生成および検出電極３０１、３０２、３０３、３０４、および適用可能である場合、接地電極３０６によって生成される電場の幾何学形状によって、したがって、これらの電極自体の幾何学形状で画定される。

現在議論されている、いくつかの実施形態では、第１の位置は、実質的に、ユーザ入力オブジェクト５００がタッチセンサ式表面２００に接触する場所の幾何学的平均位置である。幾何学的平均位置は、表面の各容量センサ要素２０４においてユーザ入力オブジェクト５００によって誘発される静電容量の変化を加重することによって計算される。ユーザ入力オブジェクト５００がタッチセンサ式表面２００に接触する場所は、ユーザ入力オブジェクトとタッチセンサ式表面との間の接触領域２１０である。ここで、位置情報は、容量センサ技術を用いて判定される。複数の容量センサ要素２０４が、タッチセンサ式表面２００上に配列される。（例えば、ユーザの指の形態の）ユーザ入力オブジェクト５００が、タッチセンサ式表面２００と接触する。次いで、容量センサ要素２０４の電場の異なる変化が、誘発され、容量センサ要素２０４によって測定される。タッチセンサ式表面２００上の異なる場所に配列される容量センサ要素２０４によって測定される、これらの異なる変化から、幾何学的平均位置が計算および／または判定される。この目的で、全ての容量センサ要素２０４の場所を示し、各センサ要素２０４においてユーザ入力オブジェクト５００によって誘発される静電容量の変化を示す、マップが作成されてもよい。幾何学的平均位置は、幾何学的平均、すなわち、静電容量変化が観察された全ての位置の平均位置を判定することによって、計算されてもよい。幾何学的平均位置はまた、静電容量変化の大きさによって加重される幾何学的平均を判定することによって計算されてもよい。

現在議論されている、いくつかの実施形態では、第２の位置は、実質的に、ユーザ入力デバイス５００の電気的性質によって加重されるタッチセンサ式表面２００の所定の距離Ｄ内にある、ユーザ入力オブジェクト５００の一部分の幾何学的平均位置である。しかしながら、ユーザ入力オブジェクト５００の平均位置はまた、ユーザ入力オブジェクト５００の空間的構成を表す空間内の点を示すのみであってもよい。第２の位置が表すものにかかわらず、それは第２の位置情報から判定されなければならない。ここで、非接触検出手段は、容量センサ技術に基づき、ユーザ入力オブジェクト５００の平均位置は、対応する電場生成および検出電極の電場へのユーザ入力オブジェクトの電気的影響を分析することによって判定される。準ずる方法は、それぞれが参照することにより本明細書に組み込まれる、国際公開第ＷＯ ２０１１／１２８１１６ Ａ２号、独国特許第ＤＥ １０ ２００７ ０２０ ８７３ Ａｌ号、および独国特許第ＤＥ １０ ２０１０ ００７ ４５５ Ａｌ号から公知である。

現在議論されている、いくつかの実施形態では、第１の位置情報がユーザ入力オブジェクト５００とタッチセンサ式表面２００との間の接触領域２１０（のみ）に依存するため、第１の位置情報は、２次元で判定および表現される。任意のタッチ事象は、タッチセンサ式表面上の位置を表す２つの座標によって表される。現在議論されている、いくつかの実施形態では、第１の位置情報は、２タプルの形態で第１の位置を含む。

現在議論されている、いくつかの実施形態では、第２の位置情報が３次元空間内のユーザ入力オブジェクトの空間的構成に依存するため、第２の位置情報は、３次元で判定および表現される。オブジェクトの任意の空間的構成は、３つの座標、および必要であれば、スカラ値によって表すことができる。そのような説明の好ましい実施形態は、３次元スカラ場である。そのような説明の別の好ましい実施形態は、例えば、第２の位置を表す、３タプル（トリプレットとも称される）であろう。現在議論されている、いくつかの実施形態では、第２の位置情報は、３タプルの形態で第２の位置を含む。

現在議論されている、いくつかの実施形態では、第１の位置情報および第２の位置情報の両方とも、好ましくは、同一の座標系で判定および／または表現される。この目的で、第１の位置情報は、第２の位置情報の座標系に変換される。同様に、第２の位置情報は、第１の位置情報の座標に変換することができ、または第１および第２の位置情報の両方とも、別の座標に変換することができる。

現在議論されている、いくつかの実施形態では、第１の位置情報、第２の位置情報、ならびに第１および第２の位置の両方とも、タッチセンサ式表面２００上の固定参照位置に対して判定される。

現在議論されている、いくつかの実施形態では、電子デバイス１００はさらに、電子デバイス１００のメモリ１０２の中の別個のフトウェアモジュールである、ジェスチャ認識モジュール１３８を備える。ジェスチャ認識モジュール１３８は、コントローラ手段１２０によって判定される第１および第２の位置から、所定のカテゴリに属するものとしてジェスチャを識別するために適合される。電子デバイス１００は、所定のジェスチャがジェスチャ認識モジュール１３８によって識別されたときまたは後に、第１の状態から第２の状態へ移行するために適合される。電子デバイス１００は、複数の状態を成してもよい。状態とは、例えば、電子デバイスによって提示されるグラフィカルユーザインターフェースの状態、アプリケーション（テキスト編集、メッセージング、グラフィック編集、Ｅメール、音楽再生、またはゲームで遊ぶことに関するアプリケーション等）の状態、またはロック状態を指す。ユーザインターフェースを介して、ユーザは、電子デバイスと相互作用し、それを第１状態から第２の状態に移行させてもよい。

現在議論されている、いくつかの実施形態では、ジェスチャ認識モジュールは、複数の所定のジェスチャカテゴリを記憶および／または取得するため、コントローラ手段１２０によって判定される第１および第２の位置からジェスチャを記録するため、複数の所定のジェスチャカテゴリのうちの少なくとも１つに属するものとして記録されたジェスチャを識別するため、ズーム倍率、または離散回転角度等のパラメータを識別されたジェスチャから抽出するために適合され、ジェスチャは、位相空間内の軌道であり、位相空間は、第１および第２の位置情報の、および／または第１および第２の位置の全ての可能性として考えられる状態によって、すなわち、第１および第２の位置情報、および／または第１および第２の位置が成し得る状態によって、画定される。

現在議論されている、いくつかの実施形態では、ジェスチャは、ユーザ入力オブジェクトがタッチセンサ式表面２００に触れる限り、ジェスチャ認識モジュール１３８によって記録される。これは、ジェスチャの開始および終了が、ジェスチャを行うユーザ、およびジェスチャを記録するジェスチャ認識モジュール１３８の両方について一義的に画定されるため有利である。

現在議論されている、いくつかの実施形態では、第２の位置が、回転軸の周囲の実質的に円形の軌道上で移動し、回転軸が、タッチセンサ式表面と垂直であり、第１の位置に交差し、第１の位置が、実質的に一定のままである場合に、ジェスチャは、第１の所定のカテゴリに属する。図３は、指先５０２でタッチセンサ式表面に触れ、指が円錐（の一部）を描くように指の残りの部分５０４を移動させることによって、そのようなジェスチャが行われてもよいことを示す。電子デバイス１００におけるそのようなジェスチャと関連付けられる機能は、回転、具体的には、表示された図の中へ指し示す軸の周囲での２Ｄまたは３Ｄ図の回転であり得る。後者の場合、第１の状態は、未回転図となり、第２の状態は、回転図となるであろう、それによって、回転角度は、実質的に円形の運動で指を移動させることによって横断される角度に依存し得る。

現在議論されている、いくつかの実施形態では、第２の位置が、タッチセンサ式表面に向かって、またはタッチセンサ式表面から離れて、実質的に線である軌道上で移動し、第１の位置が、実質的に一定のままであり、線が、好ましくは、タッチセンサ式表面と垂直である場合に、ジェスチャは、第２の所定のカテゴリに属する。図４は、１本の指先５０２でタッチセンサ式表面に触れ、タッチセンサ式表面に向かって、またはタッチセンサ式表面から離れて残りの指５０４を移動させることによって、そのようなジェスチャが行われてもよいことを示す。電子デバイス１００におけるそのようなジェスチャと関連付けられる機能は、ズーミング、具体的には、２Ｄまたは３Ｄ図へのズーミングまたはそこからのズーミングアウトであり得る。後者の場合、第１の状態は、未拡大図となり、第２の状態は、拡大図となるであろう、それによって、ズーム倍率は、タッチセンサ式表面２００に向かって、またはタッチセンサ式表面２００から離れて指を移動させることによって横断される距離に依存し得る。

現在議論されている、いくつかの実施形態では、第２の位置が、回転軸の周囲の実質的に円形の軌道上で移動し、回転軸が、タッチセンサ式表面内に位置し、第１の位置に交差し、第１の位置が、実質的に一定のままである場合に、ジェスチャは、第３の所定のカテゴリに属する。そのようなジェスチャは、指先（例えば、親指または人差し指）でタッチセンサ式表面２００に触れ、１本の指を静止したまま保ちながら、実質的に円形の軌道上で指の残りの部分を移動させることによって、行われてもよい。電子デバイス１００におけるそのようなジェスチャと関連付けられる機能は、例えば、３Ｄ制御のための別の自由度であり得る。

現在議論されている、いくつかの実施形態では、第２の位置が、タッチセンサ式表面と平行に、実質的に線である軌道上で移動し、第１の位置が、実質的に一定のままである場合に、ジェスチャは、第４の所定のカテゴリに属する。図５は、指先５０２でタッチセンサ式表面２００に触れ、１本の指を静止したまま保ちながら、タッチセンサ式表面と平行に、実質的に線である軌道上で指の残りの部分５０４を移動させることによって、そのようなジェスチャが行われてもよいことを示す。電子デバイス１００におけるそのようなジェスチャと関連付けられる機能は、例えば、３Ｄ制御のための別の自由度であり得る。

現在議論されている、いくつかの実施形態では、第１および第２の位置が実質的に同一方向へ同時に移動し、該同一方向は、タッチセンサ式表面と実質的に平行である場合に、ジェスチャは、第５の所定のカテゴリに属する。図６は、指先５０２（例えば、親指または人差し指）でタッチセンサ式表面２００に触れ、タッチセンサ式表面２００と平行な軌道上で、指先および指の残りの部分５０４とともに手全体５００を移動させることによって、そのようなジェスチャが行われてもよいことを示す。電子デバイス１００におけるそのようなジェスチャと関連付けられる機能は、従来技術のタッチパッドまたはマウスによっても行われ得る、「古典的な」平行移動であり得る。

現在議論されている、いくつかの実施形態では、ジェスチャ認識モジュールは、ベクトル（具体的には、ベクトルの長さ、ベクトルの初期点、ベクトルの終点、画面の表面とベクトルとの間の角度、タッチセンサ式表面上に投影されるベクトルとタッチセンサ式表面内に位置する好ましい軸との間の角度）を判定するために適合され、ベクトルの初期点は、第１の位置であり、ベクトルの終点は、第２の位置である。

現在議論されている、いくつかの実施形態では、ジェスチャ認識モジュール１３８は、円筒座標系内の第２の位置を判定する、および／または第２の位置を円筒座標系に変換するために適合され、円筒座標系の原点は、第１の位置であり、高さ軸は、タッチセンサ式表面と垂直であり、参照軸は、タッチセンサ式表面内に位置する。本実施形態は、ジェスチャ（または所定のジェスチャのうちの１つ）を、円筒座標系によって画定される自由度のうちの１つのみ（すなわち、高さ、方位角、および半径）の変化から識別することができる場合に有利である。

上記の実施形態のうちの１つによる電子デバイス１００を制御するための方法は、タッチセンサ式ディスプレイ２００を介して第１の位置情報、および非接触検出手段を介して第２の位置情報を同時および／または交互に判定するステップを含む。

現在議論されている、いくつかの実施形態では、第１の位置および第２の位置を同時および／または交互に判定するステップは、時分割多重化に基づく。

現在議論されている、いくつかの実施形態では、上記の実施形態のうちの１つによる電子デバイス１００を制御するための方法は、電子デバイスが第１の状態である間に、第１の位置情報および第２の位置情報を判定するステップと、ジェスチャを記録するステップと、検出されたジェスチャが所定のジェスチャに対応する場合に、電子デバイスを第２の状態に移行するステップと、検出された位相空間軌道が所定のジェスチャに対応しない場合に、デバイスを第１の状態で維持するステップとを含む。
（例示的電子デバイス１００）

図７は、例示的電子デバイス１００のより詳細な概略図である。本発明を開示される正確な形態に限定すると見なされるものではない、本実施例では、デバイス１００は、メモリ１０２と、メモリコントローラ１０４と、１つ以上の処理モジュール（ＣＰＵ）１０６と、周辺機器インターフェース１０８と、ＲＦ回路１１２と、オーディオ回路１１４と、スピーカ１１６と、マイクロホン１１８と、入力／出力（Ｉ／Ｏ）サブシステム１２０と、タッチセンサ式ディスプレイ１２６と、非接触検出手段１２８と、外部ポート１４８とを含む。これらの構成要素は、１つ以上の通信バスまたは信号線１１０を経由して通信する。デバイス１００は、ハンドヘルドコンピュータ、タブレットコンピュータ、携帯電話、メディアプレーヤ、携帯情報端末（ＰＤＡ）、またはこれらのアイテムのうちの２つ以上の組み合わせを含む同等物を含むが、それらに限定されない、任意の電子デバイスであり得る。デバイス１００は、電子デバイス１００の一実施例にすぎず、デバイス１００は、構成要素の示された、または異なる構成よりも多いまたは少ない構成要素を有してもよいことを理解されたい。図１に示される種々の構成要素は、１つ以上の信号処理および／または特定用途向け集積回路を含む、ハードウェア、ソフトウェア、またはハードウェアおよびソフトウェアの両方の組み合わせで実装されてもよい。

メモリ１０２は、高速ランダムアクセスメモリを含んでもよく、また、１つ以上の磁気ディスク記憶デバイス、フラッシュメモリデバイス、または他の不揮発性ソリッドステートメモリデバイス等の不揮発性メモリを含んでもよい。メモリ１０２はさらに、１つ以上のプロセッサ１０６から遠隔に位置する記憶装置、例えば、ＲＦ回路１１２または外部ポート１４８を介してアクセスされる記憶装置に取り付けられたネットワーク、ならびにインターネット、イントラネット、ローカルエリアネットワーク（ＬＡＮ）、ワイドローカルエリアネットワーク（ＷＬＡＮ）、記憶領域ネットワーク（ＳＡＮ）、および同等物等の通信ネットワーク（図示せず）、またはそれらの任意の好適な組み合わせを含んでもよい。ＣＰＵ１０６および周辺機器インターフェース１０８等のデバイス１００の他の構成要素によるメモリ１０２のアクセスは、メモリコントローラ１０４によって制御されてもよい。

周辺機器インターフェース１０８は、デバイスの入力および出力周辺機器をＣＰＵ１０６およびメモリ１０２に連結する。１つ以上のプロセッサ１０６は、デバイス１００に対する種々の機能を果たすように、およびデータを処理するように、メモリ１０２に記憶された種々のソフトウェアプログラムおよび／または命令のセットを実行する。

周辺機器インターフェース１０８、ＣＰＵ１０６、およびメモリコントローラ１０４は、チップ１１１等の単一のチップ上で実装されてもよい。それらは、別個のチップ上で実装されてもよい。

ＲＦ（高周波）回路１１２は、電磁波を受信および送信する。ＲＦ回路１１２は、電磁波へ／から電気信号を変換し、電磁波を介して通信ネットワークおよび他の通信デバイスと通信する。ＲＦ回路１１２は、アンテナシステム、ＲＦ送受信機、１つ以上の増幅器、チューナ、１つ以上の発振器、デジタル信号プロセッサ、ＣＯＤＥＣチップセット、加入者識別モジュール（ＳＩＭ）カード、メモリ等を含むが、それらに限定されない、これらの機能を果たすための周知の回路を含んでもよい。ＲＦ回路１１２は、ワールドワイドウェブ（ＶＶ１Ａ／ＶＶ）とも称されるインターネット、イントラネット、および／または携帯電話ネットワーク、無線ローカルエリアネットワーク（ＬＡＮ）、および／またはメトロポリタンエリアネットワーク（ＭＡＮ）等の無線ネットワーク等のネットワーク、および無線通信による他のデバイスと通信してもよい。無線通信は、グローバルシステムフォーモバイルコミュニケーションズ（Ｇｌｏｂａｌ Ｓｙｓｔｅｍ ｆｏｒ Ｍｏｂｉｌｅ Ｃｏｍｍｕｎｉｃａｔｉｏｎｓ；ＧＳＭ（登録商標））、拡張データＧＳＭ（登録商標）環境（Ｅｎｈａｎｃｅｄ Ｄａｔａ ＧＳＭ Ｅｎｖｉｒｏｎｍｅｎｔ；ＥＤＧＥ）、広帯域符号分割多重アクセス（Ｗ−ＣＤＭＡ）、符号分割多重アクセス（ＣＯＭＡ）、時分割多重アクセス（ＴＤＭＡ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）、Ｗｉｒｅｌｅｓｓ Ｆｉｄｅｌｉｔｙ（Ｗｉ−Ｆｉ）（例えば、ＩＥＥＥ ８０２．１１ａ、ＩＥＥＥ ８０２．１１ｂ、 ＩＥＥＥ ８０２．１１ｑ、および／またはＩＥＥＥ ８０２１１ｎ）、ボイスオーバーインタネットプロトコル（ＶｏｌＰ）、Ｗｉ−ＭＡＸ、Ｅメール用プロトコル、インスタントメッセージング、および／またはショートメッセージサービス（ＳＭＳ）、または本書の出願日時点でまだ開発されていない通信プロトコルを含む、任意の他の好適な通信プロトコルを含むが、それらに限定されない、複数の通信規格、プロトコル、および技術のうちのいずれかを使用してもよい。

オーディオ回路１１４、スピーカ１１６、およびマイクロホン１１８は、ユーザとデバイス１００との間にオーディオインターフェースを提供する。オーディオ回路１１４は、周辺機器インターフェース１０８からオーディオデータを受信し、オーディオデータを電気信号に変換し、電気信号をスピーカ１１６に伝送する。スピーカは、電気信号を人間の耳に聞こえる音波に変換する。オーディオ回路１１４はまた、音波からマイクロホン１１６によって変換される電気信号も受信する。オーディオ回路１１４は、電気信号をオーディオデータに変換し、処理のためにオーディオデータを周辺機器インターフェース１０８に伝送する。オーディオデータは、周辺機器インターフェース１０８によって、メモリ１０２および／またはＲＦ回路１１２から取り出され、および／またはそこへ伝送されてもよい。オーディオ回路１１４はまた、ヘッドセットジャック（図示せず）を含んでもよい。ヘッドセットジャックは、オーディオ回路１１４と、出力専用ヘッドホンまたは出力（一方または両方の耳用のヘッドホン）および入力（マイクロホン）の両方を伴うヘッドセット等の可撤性オーディオ入力／出力周辺機器との間にインターフェースを提供する。

入出力サブシステム１２０の形態のコントローラ手段は、タッチセンサ式ディスプレイ１２６等のデバイス１００上の入力／出力周辺機器と非接触検出手段１２８との間にインターフェースを提供する。入出力サブシステム１２０は、タッチセンサ式ディスプレイコントローラ１２２と、非接触検出手段コントローラ１２４とを含む。

デバイス１００は、種々の構成要素に電力供給するための電力システム１３０も含む。電力システム１３０は、電力管理システム、１つ以上の電源（例えば、バッテリ、交流電流（ＡＣ））、再充電システム、停電検出回路、電力変換器またはインバータ、電力状態インジケータ（例えば、発光ダイオード（ＬＥＤ））、および可搬性デバイスにおける電力の生成、管理、および分配と関連付けられる任意の他の構成要素を含んでもよい。

ソフトウェア構成要素は、オペレーティングシステム１３２と、通信モジュール（または命令のセット）１３４と、ジェスチャ認識モジュール（または命令のセット）１３８と、グラフィックスモジュール（または命令のセット）１４０と、ユーザインターフェース状態モジュール（または命令のセット）１４４と、１つ以上のアプリケーション（または命令のセット）１４６とを含んでもよい。

オペレーティングシステム１３２（例えば、Ｄａｒｗｉｎ、ＲＴＸＣ、ＬＩＮＵＸ（登録商標）、ＵＮＩＸ（登録商標）、ＯＳ Ｘ、ＷＩＮＤＯＷＳ（登録商標）、またはＶｘＷｏｒｋｓ等の組み込みオペレーティングシステム）は、一般的なシステムタスク（例えば、メモリ管理、記憶デバイス制御、電力管理等）を制御および管理するための種々のソフトウェア構成要素および／またはドライバを含み、種々のハードウェアおよびソフトウェア構成要素の間の通信を促進する。

通信モジュール１３４は、１つ以上の外部ポート１４８を経由して他のデバイスとの通信を促進し、また、ＲＦ回路１１２および／または外部ポート１４８によって受信されるデータを取り扱うための種々のソフトウェア構成要素も含む。外部ポート１４８（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＦＩＲＥＷＩＲＥ等）は、他のデバイスに直接、またはネットワーク（例えば、インターネット、無線ＬＡＮ等）を経由して間接的に連結するために適合される。

ジェスチャ認識モジュール１３８は、（入出力）サブシステム１２０から、第１および第２の位置情報、具体的には、第１および第２の位置を受信するように適合される。ジェスチャ認識モジュール１３８は、接触が起こったかどうかを判定すること、第１および第２の位置の移動があるかどうかを判定して該移動を追跡すること、および接触が断たれたかどうか（すなわち、接触が中断されたかどうか）を判定すること等、第１および第２の位置情報、具体的には、第１および第２の位置を分析することに関係する種々の動作を行うための種々のソフトウェア構成要素を含む。移動を判定することは、第１および第２の位置の速さ（大きさ）、速度（大きさおよび方向）、および／または加速度（大きさおよび／または方向を含む）を判定することを含んでもよい。

グラフィックスモジュール１４０は、タッチセンサ式ディスプレイ１２６上にグラフィックスをレンダリングして表示するための種々の既知のソフトウェア構成要素を含む。「グラフィックス」という用語は、制限ではないが、テキスト、ウェブページ、アイコン（ソフトキーを含むユーザインターフェースオブジェクト等）、デジタル画像、ビデオ、アニメーション、および同等物を含む、ユーザに表示することができる任意のオブジェクトを含むことに留意されたい。

電子デバイス状態モジュール１４４は、デバイス１００の電子デバイス状態を制御する。電子デバイス状態モジュール１４４は、第１の状態モジュール１５０と、第２の状態モジュール１５２とを含んでもよい。第１の状態モジュールは、デバイス１００を第１の状態に移行するように、およびデバイス１００を第１の状態に移行するように、１つ以上の条件のうちのいずれかを満たすことを検出する。第２の状態モジュールは、本デバイスを電子デバイスの第２の状態に移行するように、およびデバイス１００を第２の状態に移行するように、１つ以上の条件のうちのいずれかを満たすことを検出する。

１つ以上のアプリケーション１３０は、制限ではないが、ブラウザ、アドレス帳、連絡先リスト、Ｅメール、インスタントメッセージング、文書処理、キーボードエミュレーション、ウィジェット、ＪＡＶＡ（登録商標）使用可能アプリケーション、暗号化、デジタル権利管理、音声認識、音声複製、場所判定能力（全地球測位システム（ＧＥＳ）によって提供されるもの等）、音楽プレーヤ（ｉＶ１Ｐ３ ＡＡＣファイル等の１つ以上のファイルに記憶された録音音楽を再生する）等を含む、デバイス１００上にインストールされる任意のアプリケーションを含むことができる。
（例示的タッチセンサ式表面２００および非接触検出手段３００）

図８−１４は、タッチセンサ式ディスプレイ２００の形態のタッチセンサ式表面２００の一体部分である、非接触検出手段３００の例示的実施形態のより詳細な概略図を提供する。このタッチセンサ式ディスプレイは、第１の位置情報および第２の位置情報を同時および／または交互に検出することを可能にし、このタッチセンサ式ディスプレイは、ロバストで低費用の設計によって特徴付けられる。

図８は、透明および隔離材料から成る画面層２０１を備える、非接触検出手段３００と組み合わせられた簡略化タッチセンサ式ディスプレイ２００を示す。この画面層２０１上で、画面層に接続される、透明電極層が配列される。この電極層は、複数の電極区画２０４に分割され、電極区画２０４は、容量センサ要素２０４である。全ての電極区画２０４の全体が、区画アレイ２０２の形態のここで示されているアクティブ領域２０２を形成する。この区画アレイ２０２は、すなわち、対応する水平および／または垂直な連続隣接電極区画２０４が、小型伝導性区分２０６、２０８によって相互に接続されるという事実により、区画線Ｚ１、Ｚ２、Ｚ３、Ｚ４、およびＺ５、ならびに区画列Ｓ１、Ｓ２．．．Ｓ９を形成する。区画線Ｚ１．．．Ｚ５および区画列Ｓ１．．．Ｓ９は、相互に関して隔離され、そのそれぞれは、供給線ＬＺ１／５およびＬＳ１／９に接続される。伝導性区分２０６、２０８は、タッチセンサ式ディスプレイ２００の領域２０２中で相互に交差する限りにおいて、相互に対して隔離される。

区画列および区画線は、これらの供給接続ＬＺ１／５およびＬＳ１／９を介して、コントローラ手段１２０、具体的には、非接触検出コントローラ１２４に接続される。これらのコントローラ手段１２０、１２４は、（周波数分割多重化を用いて）同時および（時分割多重化を用いて）交互にユーザ入力オブジェクト５００に関する第１および第２の位置情報を判定し得るように、設計されており、非接触検出は、区画アレイ２０２の複数の電極区画２０４を、電極グループ３０１、３０２、３０４、３０４、具体的には、電極線Ｚ１．．．Ｚ５または電極列Ｓ１．．．Ｓ９に組み合わせることによって事前形成される。

図９では、タッチセンサ式ディスプレイのガラス２０１の設計が、簡略化実施例として概略的に示されている。画面層２０１は、好ましくは、プラスチックまたはガラス材料から成り、例えば、０．８ｍｍの厚さを有する。画面層２０１の両側で、透明伝導性層２０４、３０６（例えば、ＩＴＯ層）が提供される。

使用位置でユーザに向かって配向される頂面は、構造化され、それによって、複数の区画２０４に分割される、層２０４を有し、ここで、層は、線および列にグループ化される緊密に隣接した区画２０４（例えば、菱形）を有する。行および列にグループ化された電極区画２０４を電気的に接触させることは、専用供給線を介して行われる。（ディスプレイに向かって配向される）底部側は、透明ＩＴＯ層３０６で連続的にコーティングされる。それに従って構築された画面層１は、既知のタッチセンサ式ディスプレイ機能性をこのディスプレイに提供するために、好適なディスプレイの前に配列される。電極層２０４、３０６のそれぞれは、さらなる（ここでは示されていない）隔離透明層によって覆われてもよい。したがって、電極層２０４、３０６は、ガルバニック様式で直接接触することができない。

図１０に示されるように、縁に近い菱形の線のうちの４本（すなわち、水平グループによって形成される区画線Ｚ１／３０３およびＺ５／３０１、垂直グループによって形成される区画列Ｓ１／３０２およびＳ９／３０４）が、第２の位置情報を判定するために使用される。線および列にグループ化された電極区画を使用することによって、ジェスチャ認識電極の「フレーム」が得られる。

第２の位置情報を判定するために使用される、上側水平電極区画グループＺ１／３０３および下側水平電極区画グループＺ５／３０１、ならびに（縁に近い）左右の電極列Ｓ１／３０２およびＳ９／３０４の両方が、陰影によって強調表示されている。水平電極区画グループＺ１／３０３およびＺ５／３０１の両方とも、ユーザの指５００の平均位置のｙ位置を判定するために採用される。ｙ位置判定と同時に、またはその直後に、分析が行われてもよく、それを用いて、電極区画をグループ化することによって、細長い検出電極が、左縁領域Ｓ１／３０２の中および右縁領域Ｓ９／３０４の中でそれぞれ形成される。これら２つの電極グループＳ１／３０２、Ｓ９／３０４によって、ユーザの指５００の平均位置のｘ位置が判定されてもよい。さらに、ユーザの指の平均位置のｚ距離が、測定された信号から計算される。平均位置を判定するために、他の分析アプローチが採用されてもよい。

第２の位置情報の判定を支援する、表示領域中で接地電極３０６としての機能を果たす背後電極３０６等のさらなる電極を有することが可能である。これらの付加的な電極を用いて、例えば、所定の距離は、ユーザ入力オブジェクト（ユーザの手等）の複数部分が非接触検出手段によって判定される空間的配列に寄与するように拡大されてもよい。

そのようなディスプレイを特色とする電子デバイスでは、第１および第２の位置情報は、同時および／または交互に判定されてもよい。この目的で、多重化、具体的には、時分割多重化 および／または周波数分割多重化が採用される。

コントローラ手段１２０、具体的には、非接触検出コントローラ１２４は、グループドライバを備え、グループドライバは、どの電極区画グループＺ１／３０３、Ｚ５／３０１、Ｓ１／３０２、５９／３０４（または必要であれば、どの単一の電極区画２０４）が、第２の位置情報を判定するために現在採用されているかを判定する。グループドライバは、現在の電極区画グループ化に関する情報を補償コントローラに転送してもよく、したがって、電極区画グループＺ１／３０３、Ｚ５／３０１、５１／３０２、Ｓ９／３０４を介して検出される電場現象を分析するために考慮に入れられる、具体的な特性化値または選好および参照レベルを課す。これらの特性化値は、構成における現在アクティブな電極システムの全容量または正規接地であってもよく、いかなる外部影響（ユーザ入力オブジェクトに起因する外部影響等）も存続しない。次いで、特性化値は、較正値と見なされてもよい。補償コントローラは、別個の実体または非接触検出コントローラ１２４の一体部分であってもよい。

コントローラ手段１２０、具体的には、電極区画線および列を一時的に起動するため、および起動された電極区画線および列を介して測定される信号を分析するための非接触検出コントローラ１２４は、ＡＳＩＣ１２０／１２４として実装されてもよい。ＡＳＩＣ１２０／１２４は、画面層２０１の近くに配列されてもよく、かつ画面層２０１に物理的に接続されてもよい。ＡＳＩＣ１２０／１２４は、タッチセンサ式表面２００を介して第１の位置情報、および非接触検出手段３００を介して第２の位置情報を同時および／または交互に判定するために適合されるように、設計されてもよい。ＡＳＩＣ１２０／１２４は、そのある機能がＡＳＩＣ１２０／１２４をプログラムすることによって定義され得るように、設計されてもよい。ＡＳＩＣ１２０／１２４は、ＡＳＩＣ１２０／１２４が電極区画アレイのどの電極区画グループ（具体的には、どの電極区画線Ｚ１．．Ｚ５および電極区画列Ｓ１．．．Ｓ９）が、第２の位置情報を判定するために現在採用されているかを定義するように、設計されてもよい。

ＡＳＩＣ１２０／１２４自体は、従来技術のタッチセンサ式表面が提供するであろう方法で、第１の位置情報に関する（具体的には第１の位置に関する）信号を提供する。加えて、ＡＳＩＣ１２０／１２４は、第２の位置情報に関する（具体的には第２の位置に関する）信号を提供する。ＡＳＩＣ１２０／１２４では、判定された第１および第２の位置情報に関する具体的な事前分析を行うアプリケーションが作動していてもよい。ＡＳＩＣ１２０／１２４は、第１の位置情報を使用してもよく、それに応じて、第２の位置情報を判定するために採用されるべきである電極区画グループを選択してもよい。これは、適切な電極区画グループを選択することによって、第２の位置情報を判定する精度が向上させられ得るため有利である。ＡＳＩＣ１２０／１２４は、例えば、タッチセンサ式表面２００の前面上の所定の距離内でユーザ入力オブジェクトを移動させることによって誘発され得る、接地に対する容量結合の変化、電位の結合、および／または起動された電極区画グループの環境の誘電性質の変化を分析することによって、第２の位置情報を判定してもよい。異なる測定アプローチが、この目的でＡＳＩＣ１２０／１２４によって採用されてもよい。典型的な測定プローチは、例えば、アナログ信号（すなわち、ある範囲内で変化する信号）として接地電極に対する起動された電極区画の連結を検出することにある。

非接触検出コントローラ１２４は、ＲＸおよびＴＸコネクタを備えてもよい。例えば、チャネル多重化によって、第２の位置情報を判定するための複数の電極区画連鎖を採用することが可能である。対応する電極区画連鎖での信号レベルの分析は、多重オブジェクト認識が行われるという点で行われてもよい（例えば、２本の指先の認識、および指先のそれぞれの第１および第２の位置情報の対応する判定）。

図１１では、例示的実施形態による、非接触検出手段３００と組み合わせられたタッチセンサ式ディスプレイ２００が示されており、第１および第２の位置情報の判定が、より詳細に表示される。縁に近く、区画列Ｓ１／３０２およびＳ９／３０４にグループ化される電極区画を用いて、タッチセンサ式表面２００に関するユーザの指５００の平均位置の距離Ｌ１、Ｌ２を示す、信号レベルが検出される。これらの信号レベルから、ユーザの指５００の平均位置のｘおよびｚ距離が計算される。信号検出は、タッチセンサ式ディスプレイ２００の特定の電極区画グループを、コントローラ手段１２０と、具体的には、非接触検出コントローラ１２４と連続的に接続する、グループドライバを用いて行われる。後者は、アナログ・デジタル変換器（ＡＤＣ）を備え、それに従って取得されたデジタルの第２の信号位置情報から第１および第２の位置情報を計算する。タッチセンサ式ディスプレイは、その上に配列された電極区画２０４を有する側面とは反対側にある、裏面に配列されたＩＴＯ層３０６を有する。方形波信号が、裏面に配列されたＩＴＯ層３０６に印加される。

タッチセンサ式表面２００および非接触検出手段３００は、本発明に従って、従来技術のタッチセンサ式ディスプレイ２００およびコントローラ手段１２０から構築されてもよい。

電極アレイの電極区画は、透明多層画面構造で実装されてもよい。電極区画の間の交差点の特に確実な隔離を達成するために、電極区画線を形成する電極区画が、電極区画列を形成する電極区画とは異なる層に配列されてもよく、および／または電極区画線を形成する電極区画および電極区画列を形成する電極区画が、１つの層の反対側に配列される。さらに、使用中にユーザから外方に向いている側面上で、背後電極３０６（例えば、接地電極としての機能を果たし得る）がＶＣＯＭ層によって形成されてもよい。

先述の説明は、説明の目的で、具体的実施形態を参照して説明されている。しかしながら、上記の例証的議論は、包括的であること、または本発明を開示される正確な形態に限定することを目的としていない。多くの修正および変形例が、上記の教示を考慮して可能である。当業者であれば、異なる実施形態の技術的特徴が、恣意的に組み合わせられ、修正され、および／または除去されてもよいことを理解するであろう。実施形態は、本発明およびその実用的用途の原理を最も良く説明し、それによって、当業者が、考慮される特定の用途に適するように、本発明および種々の修正を伴う種々の実施形態を最も良く利用することを可能にするために、選択および説明された。

Claims (14)

1. 少なくとも１つのユーザの手または少なくとも１つのスタイラス等のユーザ入力オブジェクトに関する第１の位置情報および第２の位置情報を判定するための電子デバイスであって、前記電子デバイスは、
   ２次元タッチセンサ式表面、特に、タッチセンサ式ディスプレイと、
   ３次元非接触検出手段であって、前記３次元非接触検出手段は、容量感知手段を備え、前記容量感知手段は、順に、
   静的または準静的である電場を生成するための電場生成手段と、
   前記ユーザ入力オブジェクトによって引き起こされる前記電場の変化を検出するための電場検出手段と
   を備え、
   前記電場検出手段は、別個の手段であるかまたは前記電場生成手段の一体部分である、３次元非接触検出手段と、
   前記タッチセンサ式表面と、前記非接触検出手段とに動作可能に接続されているコントローラ手段と
   を備え、
   前記第１の位置情報は、前記ユーザ入力オブジェクトが前記タッチセンサ式表面に接触する場所に依存する第１の位置を含み、
   前記第２の位置情報は、前記タッチセンサ式表面に関する前記ユーザ入力オブジェクトの空間的構成に依存する第２の位置を含み、
   前記コントローラ手段は、前記タッチセンサ式表面を介して前記第１の位置情報を、および前記非接触検出手段を介して前記第２の位置情報を判定および出力するために適合され、前記コントローラ手段は、好ましくは、少なくとも１つのコントローラを備え、前記コントローラ手段は、時分割多重化および／または周波数分割多重化を使用して、前記第１の位置情報および前記第２の位置情報を同時に判定するために適合されており、
   前記電子デバイスはさらに、別個のモジュールであるかまたは前記コントローラ手段の一体部分である、ジェスチャ認識モジュールを備え、
   前記ジェスチャ認識モジュールは、前記コントローラ手段によって判定される、前記第１の位置情報、前記第２の位置情報、前記第１の位置、および／または前記第２の位置から、所定のジェスチャカテゴリに属するものとしてジェスチャを識別するために適合され、
   前記ジェスチャは、前記第１の位置が手の少なくとも１つの指によって決定され、前記第１の位置が一定のままである間に前記手の残りの部分が前記ジェスチャを行う場合、前記所定のジェスチャカテゴリに属し、
   前記電子デバイスは、前記ジェスチャが前記ジェスチャ認識モジュールによって前記所定のジェスチャカテゴリに属するものとして識別されたときまたは後に、第１の状態から第２の状態へ移行するために適合されている、電子デバイス。
2. 前記第２の位置情報は、前記タッチセンサ式表面の所定の距離内にある前記ユーザ入力オブジェクトの一部分の前記空間的構成に依存し、前記所定の距離は、好ましくは、０．５ｃｍ、１ｃｍ、１．５ｃｍ、２ｃｍ、２．５ｃｍ、３ｃｍ、３．５ｃｍ、４ｃｍ、４．５ｃｍ、５ｃｍ、５．５ｃｍ、６ｃｍ、７ｃｍ、８ｃｍ、９ｃｍ、１０ｃｍ、１５ｃｍ、２０ｃｍ、５０ｃｍ、１ｍ、２ｍ、５ｍ、または１０ｍ未満である、請求項１に記載の電子デバイス。
3. 前記第１の位置は、前記ユーザ入力オブジェクトが前記タッチセンサ式表面に接触する場所の平均位置である、請求項１または２に記載の電子デバイス。
4. 前記第２の位置は、前記ユーザ入力オブジェクトの、または前記ユーザ入力オブジェクトの一部分の平均位置である、請求項１または２に記載の電子デバイス。
5. 前記容量感知手段は、前記電場の前記検出された変化から前記第２の位置情報を判定するための分析モジュールを備え、前記分析モジュールは、別個のモジュールであるかまたは前記コントローラ手段の一体部分である、請求項１〜４のうちのいずれかに記載の電子デバイス。
6. 前記電場生成手段および／または前記電場検出手段は、前記タッチセンサ式表面の、および／または前記タッチセンサ式ディスプレイの一体部分である、請求項１〜５のうちのいずれかに記載の電子デバイス。
7. 前記ジェスチャ認識モジュールは、
   好ましくは、所定のジェスチャカテゴリを記憶および／または取得することと、
   前記コントローラ手段によって判定される、前記第１および第２の位置情報、および／または前記第１および第２の位置から、ジェスチャを記録することであって、好ましくは、前記ジェスチャは、前記ユーザ入力オブジェクトが前記タッチセンサ式表面に触れる限り記録される、ことと、
   前記所定のジェスチャカテゴリに属するものとして前記記録されたジェスチャを識別することと、
   好ましくは、ズーム倍率、または離散回転角度等のパラメータを前記識別されたジェスチャから抽出することと
   を行うように適合され、
   ジェスチャは、好ましくは、位相空間内の軌道であり、前記位相空間は、前記第１および第２の位置情報の全ての可能性として考えられる状態によって、および／または、前記第１および第２の位置情報、および／または前記第１および第２の位置が占有し得る状態によって、画定される、請求項１〜６のうちのいずれかに記載の電子デバイス。
8. 前記第２の位置が、回転軸の周囲の実質的に円形の軌道上で移動し、前記回転軸が、前記タッチセンサ式表面と垂直であり、前記第１の位置に交差し、前記第１の位置が、実質的に一定のままである場合、または
   前記第２の位置が、前記タッチセンサ式表面に向かって、または前記タッチセンサ式表面から離れて、実質的に線である軌道上で移動し、前記第１の位置が、実質的に一定のままであり、前記線が、好ましくは、前記タッチセンサ式表面と垂直である場合、または
   前記第２の位置が、回転軸の周囲の実質的に円形の軌道上で移動し、前記回転軸が、前記タッチセンサ式表面内に位置し、前記第１の位置に交差し、前記第１の位置が、実質的に一定のままである場合、または
   前記第２の位置が、前記タッチセンサ式表面と平行に、実質的に線である軌道上で移動し、前記第１の位置が、実質的に一定のままである場合、または
   前記第１および第２の位置が実質的に同一方向へ同時に移動し、前記同一方向は、前記タッチセンサ式表面と実質的に平行である場合、
   ジェスチャは、前記所定のカテゴリに属する、請求項１〜６のうちのいずれかに記載の電子デバイス。
9. 前記ジェスチャ認識モジュールは、ベクトル（具体的には、前記ベクトルの長さ、前記ベクトルの初期点、前記ベクトルの終点、画面の表面と前記ベクトルとの間の角度、前記タッチセンサ式表面上に投影される前記ベクトルと前記タッチセンサ式表面内に位置する好ましい軸との間の角度）を判定するために適合され、前記ベクトルの初期点は、前記第１の位置であり、前記ベクトルの終点は、前記第２の位置である、請求項１〜６のうちのいずれかに記載の電子デバイス。
10. 前記ジェスチャ認識モジュールは、円筒座標系内の前記第２の位置を判定すること、および／または前記第２の位置を円筒座標系に変換することを行うために適合され、
    前記円筒座標系の原点は、前記第１の位置であり、高さ軸は、前記タッチセンサ式表面と垂直であり、参照軸は、前記タッチセンサ式表面内に位置する、請求項１〜６のうちのいずれかに記載の電子デバイス。
11. 請求項１〜１０のうちのいずれかに記載の電子デバイスを制御するための方法であって、
    前記タッチセンサ式表面を介して前記第１の位置情報を、および前記３次元非接触検出手段を介して前記第２の位置情報を判定するステップと、
    前記第１および第２の位置情報を出力するステップと
    を含み、
    前記第１の位置および前記第２の位置を判定するステップは、時分割多重化方法および／または周波数分割多重化方法に基づく、方法。
12. 請求項１〜１０のうちのいずれかに記載の電子デバイスを制御するための方法であって、
    前記電子デバイスが第１の状態である間に、前記第１の位置情報および前記第２の位置情報を判定することと、
    ジェスチャを記録することと、
    前記検出されたジェスチャが所定のジェスチャカテゴリに属する場合に、前記電子デバイスを第２の状態に移行することと、
    検出された位相空間軌道が所定のジェスチャカテゴリに属しない場合に、前記デバイスを前記第１の状態で維持することと
    を含む、方法。
13. 前記ジェスチャは、前記ユーザ入力オブジェクトが前記タッチセンサ式表面に触れる限り記録される、請求項１２に記載の方法。
14. ズーム倍率または離散回転角度等のパラメータを前記識別されたジェスチャから抽出するステップをさらに含む、請求項１２に記載の方法。

Images