JP4771951B2 - 非接触ヒューマンコンピュータインターフェイス - Google Patents

Description

本発明は、非接触ヒューマンコンピュータインターフェイスに関する。より詳細には、本発明は、ユーザによって行われたジェスチャが検出され、何らかの手段によって解釈され、ジェスチャを使用して、コンピュータまたはコンピュータ制御機器の操作に影響を与えるタイプのインターフェイスに関する。

マウスは、コンピュータシステムの操作を制御する手段として、現代のコンピュータシステムで一般に使用されている装置である。こうした装置は一般に、コンピュータキーボードの横にあり、これによってユーザは、例えば表示システムに表示されたオプションを選択することができる。こうした装置のユーザは、コンピュータで稼働しているソフトウェアによる要求に応じて所望のアクションを実行するために、それに手を伸ばし、クリックしたり、ドラッグしたりする必要がある。通常、マウスの位置に対応するディスプレイ上のポインタの位置を知る必要がある。しかし、これは、一部のソフトウェアアプリケーションでは不要であり、ユーザに求められる入力は、例えば１組のスライドを介して進めるまたは戻すため、あるいはディスプレイに表示される動画を開始するまたは停止するための、左クリックまたは右クリックである。ユーザがプレゼンテーションを提供している場合、または特にディスプレイに表示されるものに一生懸命集中している場合、マウスを探して適切なボタンを押す不便さは、望ましくない場合があり、そのため、ある種のジェスチャ認識システムが有用である。

米国特許第６２２２４６５号明細書は、ユーザによって行われるジェスチャが、ビデオカメラおよび画像処理ソフトウェアによって検出される、ＧｅｓｔｕｒｅＢａｓｅｄ ＣｏｍｐｕｔｅｒＩｎｔｅｒｆａｃｅを開示している。しかし、ビデオシステムおよび関連する処理は、実施が複雑で高価であり、照明状態およびユーザの意図しない動きに反応しやすい。また、こうした一部のシステムには、処理要件が高いために、ユーザの動きと、クライアントプログラムによって作用される動きとの間に待ち時間がある。

ジェスチャの検出のより簡単なシステムは、米国特許第５９９０８６５号明細書によって提供されており、この明細書では、コンデンサのプレート間のスペースが、空間（ｖｏｌｕｍｅ）を画定し、例えばオペレータの両手の動きを、静電容量の変化によって検出できる容量性システムを開示している。しかしこれは、動きは検出できるが、その動きが何であるかがわからないという、非常に劣った分解能を有するという問題を被る。例えば、大きい指の動きとわずかな腕の動きとを区別するのに苦労する。さらに、空間が大きい場合、静電容量は非常に小さく、続いて測定が難しく、それによって雑音および感度の問題につながる。

本発明によれば、少なくとも１つの信号送信器および少なくとも２つの検出器を含む複数のトランスデューサを備える、ユーザによって行われるジェスチャを検出するヒューマンコンピュータインターフェイス装置が提供され、検出器が、少なくとも２つの信号送信器によって送信され、かつトランスデューサの近くの検出空間内のオブジェクトから反射される信号を検出し、検出された信号に関する情報を電子制御システムに渡すように構成され、信号に関する情報が、検出空間内のオブジェクトの動きに関するパターンを検出するために処理されるように構成され、電子制御システムが、検出されたパターンによって規定された方法で、ホストコンピュータシステムと通信するように構成されることを特徴とする。

トランスデューサは、オペレータの手など、検出空間内のオブジェクトから反射し得る信号を送受信することができる任意の適したトランスデューサとすることができる。トランスデューサは、赤外線または超音波のトランスデューサであることが好ましいが、可視のトランスデューサを使用してもよい。こうしたトランスデューサは、非常に安価であるため、こうしたトランスデューサのアレイを、非専用アプリケーションに適した低コストインターフェイスに組み込むことができる。だいたい２個、５個、１０個、２０個、４０個、またはそれ以上の信号送信器および検出器が、アレイに存在している場合もある。背景放射および雑音を抑えるために、検出器には光学または電子フィルタ手段が備えられてもよい。

トランスデューサは、ハウジング内に配置されることができ、ハウジングは、信号送信器の駆動、検出器からの信号の受信、および受信された信号の処理に関連付けられた電子機器をさらに含む。トランスデューサは、このハウジング内に、直線パターン、二次元パターン、三次元パターン、または他の任意の適した構成で配置されることができる。ハウジングは、コンピュータモニタや家具類など、他の何らかの機器の一部を形成したり、壁、天井、ドアフレームなど、建物の構造の一部を形成することもできる。トランスデューサのレイアウトパターンは、トランスデューサを取り付ける状況によって左右され得る。

検出空間内から検出器によって受信された信号を、復号して、その信号が発せられた信号送信器を識別することができるように、トランスデューサを、その関連する電子機器によって制御することができる。この制御は、発せられた信号の変調の形態、または信号送信器によって生成された信号の周波数を、信号送信器ごとに異なるように構成する変調の形態をとることができる。変調は、パルス変調、パルス符号変調、周波数変調、振幅変調の形態、または他の任意の適した変調の形態をとることができる。

制御電子機器は、ユーザによって行われたジェスチャを示す特定のリターンを探すために、検出器によって受信された信号を解釈するように構成されることができる。ジェスチャは、ユーザが、例えばユーザの手などのオブジェクトを所与の方向または方法で検出空間内に配置し、または検出空間内で動かすことから成ることができる。例えば、ユーザが、手をトランスデューサの上方で左から右に、または右から左に動かす場合がある。また、ジェスチャは、足や頭の動きなど、他の動きから成る場合もある。制御電子機器は、検出器から受信した信号を、それぞれコンピュータマウスまたはジョイスティックを右に動かす（またはマウスを右クリックする）のに相当する、またはコンピュータマウスまたはジョイスティックを左に動かす（またはマウスを左クリックする）のに相当すると解釈するようにプログラムされ、次いでマウスの動きまたはマウスボタンのクリックによって生成されるのと同様に、コンピュータシステムにデータを入力するように構成されることができる。このように、本発明のジェスチャインターフェイスは、マウスのボタンの代わりに、コンピュータシステムで使用することができる。システムの使用を容易にするために、可視または音響のフィードバックを提供することができる。

当然、検出器によって受信された信号を処理する電子制御システムは、異なるジェスチャを分析することができるというという条件で、これより複雑なジェスチャを、本発明のインターフェイスによって解釈することができる。電子制御システムは、わずかなジェスチャを認識する基本的なシステムとすることができ、または多数のジェスチャを認識すべき場合、またはジェスチャが互いに微妙に異なっている場合、複雑なシステムとすることができる。検出器から受信された信号に関連する情報は、インターフェイスに入力されるジェスチャを区別するようにプログラムされたニューラルネットワークシステムへの入力を提供することができる。

トランスデューサは、検出空間内のオブジェクトの範囲または位置を測定するように構成されることができ、したがってより複雑なジェスチャを分析することができる。これは、受信された信号から復号された任意の変調の位相比較、または送信された信号自体の相対強度などの標準技術を使用して行うことができる。超音波トランスデューサが使用される場合、飛行時間の測定を範囲の測定に使用することができる。また、トランスデューサは、トランスデューサレイの平面に平行な平面上の検出空間内のオブジェクトの位置を測定するように構成されることもできる。これによって、オブジェクトの位置は、ジェスチャ情報の一部を形成することができる。オブジェクトが位置間を移動するのにかかる時間、すなわち速度も、ジェスチャ情報の一部を形成することができる。

インターフェイス装置は、ユーザから入力されたジェスチャを学習するように構成されることができ、さらに、特定のコマンドをジェスチャに関連付けるように構成されることができ、したがって所与のジェスチャに関連付けられているコマンドを、ユーザによって望まれるようにプログラムし直すことができる。

上述の実装の代替として、トランスデューサ構成は、少なくとも２つの信号送信器および少なくとも１つの検出器を含むことができる。検出空間内のオブジェクトは、オブジェクトの所与の瞬間の位置および速度に従って、信号送信器のうちの１つまたは複数から少なくとも１つの検出器に１つまたは複数の信号を反射することができる。オブジェクトによって行われたジェスチャを検出するために、受信された１つまたは複数の信号を、上述のように解釈することができる。

本発明の第２の態様によれば、ホストコンピュータシステムの入力信号を生成する方法が提供され、この方法は、
少なくとも１つの信号送信器を使用して少なくとも１つの信号を検出空間内に送信し、かつ少なくとも１つの検出器を使用して少なくとも１つの信号を検出空間から受信するステップと、
受信された任意の信号を電子制御システムに渡すステップと、
電子制御システムで動きのパターンを検出するステップと、
検出されたパターンに応じる方法で、ホストコンピュータシステムと通信するステップとを含む。

次に、一例にすぎないが下記の図面を参照して、本発明をより詳しく説明する。

図１は、ＵＳＢケーブル４を介して、コンピュータシステム３に接続されるハウジング２に取り付けられたトランスデューサ１のアレイを含む、本発明の第１の実施形態を示している。また、コンピュータシステム３には、標準マウス５およびキーボード６も接続される。トランスデューサ１は、「Ｔ」型に構成されており、それぞれハウジング２内に含まれる制御電子機器（図示せず）と通信する。各信号送信器トランスデューサは、それ自体の検出器トランスデューサと結合され、トランスデューサの対を形成している。信号送信器は、適切に通電されると、実質的にコリメートされたビームのＩＲ放射を生成し、検出器は、こうした放射に反応する。検出器は、信号送信器によって送信された波長以外の波長の強度が低減されて、背景雑音を抑えるように、光学フィルタを備えている。制御電子機器（図示せず）は、信号送信器を駆動し、検出器によって受信された信号を処理し、ジェスチャがシステムに入力されているかどうかを検出し、入力されている場合はそのジェスチャが何であるかを検出するために信号を分析するように構成されている。

Ｂｌｕｅｔｏｏｔｈや赤外線などの無線インターフェイスを使用して、センサユニットをコンピュータシステムにリンクしたり、他の任意の適切な手段を使用して、この接続を実施することができる。

ジェスチャが識別されると、ジェスチャに関連付けられているコマンドは、ＵＳＢケーブル４を介してコンピュータシステム３に伝えられ、コンピュータシステム３で稼働しているソフトウェアは、当然コマンドは異なっていてもよいが、コマンドが、マウス５またはキーボード６などの標準データ入力装置によって送信された場合と同じように、コマンドに適したように動作する。

図２は、本発明の第１の実施形態の操作を示すブロック図である。信号送信器側のトランスデューサに関連付けられている回路は、点線エリア７内に示されており、一方、検出器、ジェスチャ認識装置、およびコンピュータインターフェイスに関連付けられている回路は、図の残りの部分１０に示されている。

信号送信器８は、ＩＲエネルギーを検出空間９まで送信するように構成される赤外線（ＩＲ）ＬＥＤを含む。ＩＲＬＥＤ自体は、信号送信器ドライバ回路１１によって標準の方法で駆動される。

検出器のアレイは、検出空間の近くからＩＲ放射を受信するように構成されている。これらの検出器１３は、受信された信号をアナログ信号処理回路１４に提供し、次いでアナログデジタル変換器（ＡＤＣ）１４に提供する。アナログデジタル変換器（ＡＤＣ）１４は、次いで、ジェスチャ認識エンジン１６に接続される。エンジン１６は、訓練段階中に、インターフェイスに入力されたジェスチャに関連する信号を格納するジェスチャライブラリ１７からも入力を取得する。コマンド生成器１８は、エンジン１６から出力を取得し、コンピュータインターフェイス１９に接続される。

インターフェイスの操作は、次の通りである。ＩＲエネルギーは、信号送信器８によって、トランスデューサレイの真上に配置される検出空間９に送信される。検出空間に存在するオブジェクトは、信号をトランスデューサに反射し返す傾向にあり、信号が検出器１３によって検出される。受信された信号の相対強度は、どのトランスデューサにオブジェクトが最も近いかの粗いインジケータとして使用することができ、これにより、オブジェクトの位置の粗い指示が提供される。検出された任意の信号は、アナログ信号処理およびＡＤＣ１４に渡され、増幅され、その後の処理を容易にするために、デジタル形式に変換される。そこから、デジタル信号は、ジェスチャ認識エンジン１６に入力される。このエンジン１６は、受信された信号を、訓練プロセス中に生成された格納されている信号と比較する。現在の入力の組と格納されている入力の組との間に、十分近い一致があった場合、現在の入力信号に最も近い格納されている信号に対応するジェスチャが、行われたジェスチャであると想定される。次いでこのジェスチャに関連する詳細は、コマンド生成器に送信される。コマンド生成器は、格納されているジェスチャを、ホストコンピュータ（図１のアイテム３）によって認識可能な所与のコマンドに関連付けるルックアップテーブルである。このコマンドは、次いで、コンピュータインターフェイス１９によってコンピュータ３に送信される。

この実施形態に関連付けられている訓練プロセスは、次のように動作する。ホストコンピュータ３で稼働し、ジェスチャ学習コマンド関連ユニット２０の制御下にあるソフトウェアを介して訓練モードを入力すると、ジェスチャのサンプルは、検出空間内において作成され、例えば「ＲＩＧＨＴＭＯＶＥＭＥＮＴ」など、ユーザによって適切に注釈が付けられる。これらのサンプルによって生成されたデジタル信号は、次いでジェスチャライブラリに格納される。次いで、ホストコンピュータに提示されるコマンドの選択から選択することによって、ジェスチャに関連付けられるコマンドが、コンピュータに入力される。このプロセスは、様々なジェスチャについて繰り返され、データは同様に格納され、したがって、ジェスチャおよび関連のコマンドのテーブルが構築される。

第１の実施形態は、Ｋｒｅｙｓｉｇ， Ｅ， Ａｄｖａｎｃｅｄ Ｅｎｇｉｎｅｅｒｉｎｇ Ｍａｔｈｅｍａｔｉｃｓ，８^ｔｈ Ｅｄ，Ｗｉｌｅｙで言及されているものなど、知られている方法を使用して、現在の入力データを、ジェスチャライブラリに格納されているジェスチャデータと相関させ、相関距離が最も低いジェスチャが、ユーザによって行われたと最も考えられるジェスチャとして選択されるジェスチャ認識エンジンを使用する。また、最低相関距離がこの閾値より大きい場合、ジェスチャは選択されないような、最大相関距離閾値もある。このように、ジェスチャの誤った認識が低減され、システムの信頼性が向上する。

第２の実施形態は、上述の形式のジェスチャライブラリが不要である、より複雑なジェスチャ認識システムを使用する。このシステムは、ニューラルネットワークを使用して、検出器から入力されたデータを分析し、ジェスチャのライブラリから最も考えられるジェスチャを予測し、コマンドをそのジェスチャに関連付けられているホストコンピュータに出力する。したがってこの第２の実施形態は、さらに多くのジェスチャを、第１の実施形態に使用するメモリスペースと同等のメモリスペースに格納することができる。本発明を実施するのに適したニューラルネットワーク技術の詳細は、Ｋｏｈｏｎｅｎ，Ｔ、“Ｓｅｌｆ Ｏｒｇａｎｉｓａｔｉｏｎ＆ ＡｓｓｏｃｉａｔｉｖｅＭｅｍｏｒｙ”，３^ｒｄ Ｅｄｉｔｉｏｎ，Ｂｅｒｌｉｎ Ｇｅｒｍａｎｙ，１９８９， ＳｐｒｉｎｇｅｒＶｅｒｌａｇに見出されることができる。

図３に、上述の実施形態で使用されるような信号送信器および検出器の対の構成が、示されている。ここでは、明瞭にするために、４つの信号送信器と検出器の対１００のみが示されているが、当然、実際にはそれより多くてもよい。各対１００の信号送信器１０１は、システムの他のすべての信号送信器の中でその信号送信器に一意のＰＣＭコードで変調される、実質的にコリメートされたＩＲビーム１０３を出力する。次いで、システムが、異なる信号送信器からの信号を区別することができるように、検出器によって受信された信号を、復調することができる。これは、検出空間内のオブジェクトの位置をより正確に識別するのに有用である。ＩＲビームのコリメーションによって、１つの信号送信器からの信号が、その信号送信器に関連付けられていない検出器によって捕捉される機会が低減するため、復調プロセスがより簡単になる。

本発明の第４の実施形態は、上述の実施形態に記載されている方法より簡単な方法で、検出器から受信された信号を処理する。この実施形態は、検出器から受信された信号をデジタル化し、それらを復調して、発せられた信号に適用される変調を取り除いた上で、このデータをホストコンピュータシステムに渡す。次いでホストコンピュータは、データの簡単な分析を行って基本的なパターンを抽出する。例えば、この実施形態が、図３のハードウェアシステムで実施される場合、検出空間を通る人の手の左から右への動きは、トランスデューサ１００からの応答、次いでトランスデューサ１００ａからの応答、トランスデューサ１００ｂからの応答、トランスデューサ１００ｃからの応答を提供する。これは、各トランスデューサの出力の時間の比較によって容易に識別できる方法で、デジタル化された信号に反映される。同様に、右から左への動きは、対応するが、トランスデューサからの時間的に逆の応答を提供する。

図４ａおよび図４ｂは、本発明とともに使用することができる２つのジェスチャを示している。図４ａは、本発明による、ユーザがインターフェイス上方で手を右から左に移動させる平面図を示している。このジェスチャがホストコンピュータで稼働しているコンピュータプログラムで行うこのアクションは、上述のようにプログラム可能であるが、例えば、マウスの右クリックに対応させることができる。図４ｂは、ユーザが、手をインターフェイスから離して垂直方向に上向きに上げる、第２のジェスチャを示している。この場合もまた、このジェスチャは、プログラム可能であるが、一般には、例えばグラフィカル表示プログラムのズーム率を制御するために使用することができる。

他のジェスチャを、上述のジェスチャとの組み合わせで使用したり、またはインターフェイスによって認識可能な他の任意のジェスチャとの組み合わせで使用することができる。例えば、ユーザのジェスチャの終わりの一時停止、またはそのジェスチャに続く第２の手の動きは、マウスボタンのクリックとして、またはコンピュータキーボード上の「Ｅｎｔｅｒ」ボタンを押すのと同等として解釈されるようにプログラムすることができる。あるいは、このインターフェイスは、追加の機能要素、例えば電子ボタンまたは音声入力などと組み合わせて、コンピュータのマウスボタンの機能を達成することができる。

有利には、コンピュータシステムは、ジェスチャが認識されていることを示す、あるいは、ジェスチャが認識されておらず、そのため繰り返す必要があることを示すために、可視または可聴のフィードバックを提供するように構成されることができる。例えば、緑色光を使用して、動きが、現在解釈の過程であることを示すことができる。例えば、動きの一時停止によって示されるジェスチャの終了のたびに、ジェスチャが認識されたか、反復が必要であるかを示すために、光は、色を変更するよう構成されることができる。

当業者であれば、本発明の範囲内の他の実施形態を思い付くことができ、したがって本発明は、本明細書に記載したような実施形態に限定されるものではない。例えば、本発明は、汎用コンピュータシステムで使用されるものとして示されているが、ゲームコンソール、コンピュータ支援設計システム、屋内電気器具、公的な情報システム、アクセス制御機構、および他のセキュリティシステム、ユーザ識別または他の任意の適したシステムなどの専用コンピュータ機器で使用することもできる。

コンピュータシステムに接続されている本発明の第１の実施形態を示す図である。 第１の実施形態およびコンピュータシステムへのその接続を示すブロック図である。 本発明の第３の実施形態におけるトランスデューサ構成を示す図である。 本発明とともに使用することができる一般のジェスチャを示す図である。 本発明とともに使用することができる一般のジェスチャを示す図である。

Claims (26)

1. 複数のトランスデューサと、
   電子制御システムとを備える、インターフェイス装置であって、
   前記複数のトランスデューサは、平面内で互いに直交する２つの直線上に配置され、前記複数のトランスデューサの各々が、少なくとも１つの信号送信器及びこの信号送信器に隣接して配置された少なくとも１つの信号検出器を含み、前記少なくとも１つの信号送信器は、前記平面上に位置する三次元検出空間内に信号を送信し、前記少なくとも１つの信号検出器は、前記三次元検出空間内のオブジェクトから反射された前記信号を検出し、前記信号は、前記平面上にある前記オブジェクトの、前記平面に対する垂直距離を表し、
   前記電子制御システムは、前記信号に関する情報を処理して、前記三次元検出空間内の前記オブジェクトの動きに関するパターンを検出し、前記パターンは、前記信号を検出した前記信号検出器の位置によって部分的に決定され、前記電子制御システムは、ルックアップテーブルを用いて、前記インターフェイス装置の第１コマンドを前記パターンに関連付け、さらに、前記インターフェイス装置の第２コマンドを、前記パターン、及び前記オブジェクトの前記垂直距離の変化に関連する前記オブジェクトの速度に共に関連付けることを特徴とするインターフェイス装置。
2. 前記電子制御システムが、ホストコンピュータ内に実装される、請求項１に記載のインターフェイス装置。
3. 前記複数のトランスデューサの各々が、単一の信号検出器および２つ以上の信号送信器を含む、請求項１に記載のインターフェイス装置。
4. 前記２つの直線の各々の上に、３つ以上のトランスデューサが配置されている、請求項１に記載のインターフェイス装置。
5. 前記パターンが、前記信号を送信した前記信号送信器の位置によって部分的に決定される、請求項４に記載のインターフェイス装置。
6. 前記複数のトランスデューサが、前記平面に直交する第３の直線上に配置されたトランスデューサを含む、請求項１に記載のインターフェイス装置。
7. 前記複数のトランスデューサのそれぞれが、異なる種類の信号を送信し、前記異なる種類の信号の各々が、前記複数のトランスデューサのうち前記信号に関連するトランスデューサを識別する一意的な特徴を有する、請求項１に記載のインターフェイス装置。
8. 複数のトランスデューサを用いてオブジェクトの動きに関するパターンを検出する方法であって、前記複数のトランスデューサは、平面内で互いに直交する２つの直線上に配置され、前記複数のトランスデューサの各々が、少なくとも１つの信号送信器及びこの信号送信器に隣接して配置された少なくとも１つの信号検出器を含む方法において、
   前記信号送信器を使用して、前記平面上に位置する三次元検出空間内に信号を送信するステップと、
   前記信号検出器を使用して、前記三次元検出空間内のオブジェクトによって反射された複数の前記信号を受信するステップであって、前記複数の信号の少なくとも１つが、前記平面上にある前記オブジェクトの、前記平面に対する垂直距離を表すステップと、
   電子制御システムを使用して、前記送信された信号の一意的な特徴に、部分的に基づいて、前記信号送信器を識別するステップと、
   前記電子制御システムを使用して、前記オブジェクトの前記垂直距離の変化に関連する第１速度を計算するステップであって、前記第１速度は、部分的に、前記送信された信号及び前記受信した複数の信号に共に関連する情報の時間的比較から計算するステップと、
   前記電子制御システムを使用して、前記検出空間内の前記オブジェクトの動きに関するパターンを、前記信号送信器の識別に部分的に基づいて検出するステップと、
   前記電子制御システムを使用して、前記検出したパターン及び前記オブジェクトの前記第１速度に共に対応する、前記インターフェイス装置の第１コマンドをルックアップテーブルから選択するステップと、
   前記電子制御システムを使用して、前記検出空間内の前記オブジェクトの前記垂直距離の第２の変化に関連する第２速度を計算するステップであって、前記第２速度は、前記第１速度より大きいステップと、
   前記電子制御システムを使用して、前記検出したパターン及び前記オブジェクトの前記第２速度に共に対応する、前記インターフェイス装置の第２コマンドを前記ルックアップテーブルから選択するステップであって、前記第２コマンドは前記第１コマンドと異なるステップと
   を含む方法。
9. 前記一意的な特徴が、前記信号の波長を含む、請求項８に記載の方法。
10. さらに、前記電子制御システムを使用して、前記識別した信号送信器からの信号以外の前記複数の信号に関連する波長の強度を低減して、前記検出空間内の背景雑音を抑えるステップを含む、請求項９に記載の方法。
11. さらに、
    前記電子制御システムを使用して、前記検出したパターンを、ジェスチャ・ライブラリ中に記憶されたジェスチャデータと比較するステップと、
    前記電子制御システムを使用して、前記比較における最低相関距離に応じて、前記第１コマンドを、前記検出したパターンに関連付けるステップと
    を含む、請求項８に記載の方法。
12. さらに、前記電子制御システムを使用して、最大相関閾値距離を識別するステップであって、前記最低相関距離が前記最大相関閾値距離より小さい場合に、前記第１コマンドを選択するステップを含む、請求項８に記載の方法。
13. さらに、
    前記信号送信器を使用して、前記信号を一意的な変調コードで変調するステップと、
    前記信号検出器を使用して、前記変調した信号を復調して、前記複数の信号から前記信号を特定するステップと
    を含む、請求項８に記載の方法。
14. さらに、
    前記電子制御システムを使用して、前記オブジェクトの前記垂直距離の変化を、ズーム操作に関連付けるステップと
    を含む、請求項８に記載の方法。
15. さらに、前記電子制御システムを使用して、前記検出したパターンが認識されていることを示す可聴のフィードバックを提供するステップを含む、請求項８に記載の方法。
16. 前記オブジェクトが、ユーザの手、ユーザの頭、またはユーザの脚である、請求項８に記載の方法。
17. さらに、
    前記電子制御システムを使用して、音声入力を受信するステップと、
    前記電子制御システムを使用して、前記検出したパターン及び前記音声入力に共に対応する第３コマンドを選択するステップと
    を含む、請求項８に記載の方法。
18. 前記音声入力をユーザから受信する、請求項１７に記載の方法。
19. 前記最低相関距離が前記最大相関閾値距離より大きい場合に、コマンドを選択しない、請求項１２に記載の方法。
20. 前記オブジェクトの前記垂直距離の変化を、前記信号の送信と前記信号の受信との間の時間長により識別する、請求項１に記載のインターフェイス装置。
21. 前記オブジェクトの前記垂直距離の変化を、前記オブジェクトから反射されて検出された前記信号により識別する、請求項１に記載のインターフェイス装置。
22. 前記第２コマンドがズーム機能のコマンドを含む、請求項１に記載のインターフェイス装置。
23. 前記オブジェクトの前記垂直距離の変化が、前記平面にほぼ直交する方向の変化である、請求項１に記載のインターフェイス装置。
24. 複数のトランスデューサを用いてオブジェクトの動きに関するパターンを検出する方法であって、前記複数のトランスデューサは、平面内で互いに直交する２つの直線上に配置され、前記複数のトランスデューサの各々が、少なくとも１つの信号送信器及びこの信号送信器に隣接して配置された少なくとも１つの信号検出器を含む方法において、
    前記信号送信器を使用して、信号を検出空間内に送信するステップと、
    前記信号検出器を使用して、前記検出空間内のオブジェクトによって反射された複数の前記信号を受信するステップであって、前記複数の信号の少なくとも１つが、前記平面上にある前記オブジェクトの、前記平面に対する垂直距離を表すステップと、
    電子制御システムを使用して、前記送信された信号の一意的な特徴に、部分的に基づいて、前記信号送信器を識別するステップと、
    前記電子制御システムを使用して、前記検出空間内の前記オブジェクトの動きに関するパターンを、前記信号送信器の識別に部分的に基づいて検出するステップと、
    前記電子制御システムを使用して、前記オブジェクトの垂直距離の変化に関連する速度を検出するステップであって、前記垂直距離の変化は、前記平面に直交する方向の変化であるステップと、
    前記検出したパターン、及び前記オブジェクトの前記垂直距離の変化に関連する速度に共に対応する、前記インターフェイス装置のコマンドをルックアップテーブルから選択するステップと、
    を含む方法。
25. 前記コマンドがズーム機能のコマンドを含む、請求項２４に記載の方法。
26. 前記第１速度が、前記オブジェクトの動きの一時停止を識別する、請求項８に記載の方法。

Images