JP6427279B2 - ジェスチャの追跡および認識のための、ｒｆに基づいた微細動作追跡 - Google Patents

Description

関連出願の相互参照
本願は、米国特許法第１１９条（ｅ）の下で、２０１５年４月３０日に出願された米国仮出願第６２／１５５，３５７号および２０１５年５月２８日に出願された米国仮出願第６２／１６７，８２３号に基づく優先権を主張するものであり、それらのすべての開示を、引用により本明細書に援用する。

背景
スマートフォン、コンピュータ使用の腕輪、指輪、および時計などの小画面コンピューティングデバイスが普及し続けている。多くのコンピューティングデバイスと同様に、これらの小画面デバイスは、バーチャル・キーボードを使ってユーザとやりとりすることが多い。しかしながら、入力に時間がかかり、誤入力に終わることが多いため、これらの小画面上でバーチャル・キーボードを使ってやりとりすることは面倒だと感じる人が多い。これはユーザをいらだたせて、小画面コンピューティングデバイスの利用可能性を制限してしまう。

この課題に取り組むために、画面上で行われなかったジェスチャの追跡を可能にする、光学のフィンガー・トラッキングおよびハンド・トラッキング技術が開発された。しかしながら、これらの光学技術は、規模が大きい、費用がかかる、または、不正確であるため、小画面コンピューティングデバイスの使い勝手の問題に取り組む際、その有用性が制限されてしまう。レーダー・トラッキング方式を含むその他の従来技術が試みられたが、ほとんど成功しなかった。これらのレーダー・トラッキング方式は、その分解能がレーダーシステムのハードウェアによって制約を受けるため、大規模、複雑、または高価なレーダーシステムを持たずに小さなジェスチャ動作を判定することに苦労していた。

概要
本文書は、無線周波数（ＲＦ）に基づいた微細動作追跡技術について説明する。本技術によって、ミリメートル規模の手の動作さえも追跡できるようになる。そうするために、従来技術を利用した場合はセンチメートル以上の分解能しか許容できないであろうレーダーシステムからのレーダー信号が使われる。

本概要欄は、以下の詳細な説明欄でさらに説明する、ＲＦに基づいた微細動作追跡についての要約した概念を紹介するために設けられている。本概要欄は、請求項の主題の本質的な特徴の特定を目的とせず、請求項の主題の範囲の決定に使うためのものでもない。

ＲＦに基づいた微細動作追跡の技術およびデバイスの実施の形態を、以下の図面を参照しながら説明する。図面の全体にわたって、同様の機能および構成要素に対して同一の番号を付す。

従来システムのハードウェア制約付き分解能を例示する図である。 ＲＦに基づいた微細動作追跡を可能にする技術が実施される可能性のある環境例を示す図である。この環境は、微細動作追跡の技術が、図１に示すような従来のレーダーシステムのハードウェア制限を解決し得る、きわめて単純なレーダーシステムを図示している。 ＲＦに基づいた微細動作追跡の判定を可能にし得るコンピューティングデバイスを例示する図である。 提供されるレーダーフィールド内で動く手とあわせて、図２のきわめて単純なレーダーシステムを例示する図である。 手の複数の点の速度図表、相対速度チャート、および相対変位チャートを例示する図である。 ＲＦに基づいた微細動作追跡によって判定される、昔ながらの機械式時計の鋸歯状の歯車を巻くときと似た、手の指に向かう親指の微細動作を有するジェスチャ例を示す図である。 ＲＦに基づいた微細動作追跡によるジェスチャ認識を可能にする方法例を示す図である。 バーチャルボタンを押すのに効果的な、３つのサブ・ジェスチャステップで構成されるジェスチャ例を示す図である。 細かい動作ができ、ＲＦに基づいた微細動作追跡による制御が可能な、４つのステップで構成される、回転する微細動作ジェスチャ例を示す図である。 ＲＦに基づいた微細動作追跡の使用を可能にする技術を実施する、または当該技術が実装されるコンピュータシステム例を示す図である。

詳細な説明
概要
本明細書において、ＲＦに基づいた微細動作追跡を可能にする技術を説明する。本技術は、追跡されるミリメートル規模の分解能よりも粗い、ハードウェア制約付きの従来の分解能を有するレーダーシステムからのレーダー信号からであっても、ミリメートル規模の手の動作を追跡する。

ジェスチャをしている手は、複数の動的構成部分を有する複雑で柔軟性のある目標である。このため、通常、指先、手のひら、または親指など、手のサブ構成部分のレンジおよび速度が、従来ハードウェアのサブ分解能の限界である。したがって、従来のハードウェアは、小さな動作を追跡するために、大規模、高価、または複雑でなければならない。小さな動作を追跡できるこれらの従来のハードウェアにとっても、リアルタイムジェスチャ認識アプリケーション用の追跡アルゴリズムは計算的に制約されてしまう。

図１に示す従来システムのハードウェア制約付き分解能を考える。ここでは、ハードウェア制約付き空間分解能１０２は、クロスレンジ分解能１０４およびレンジ分解能１０６から成る。クロスレンジ分解能１０４はアンテナ・ビーム幅１０８に依存しており、レンジ分解能１０６は帯域幅１１０に依存している。クロスレンジ分解能１０４およびレンジ分解能１０６は、いずれも、従来レーダーシステムのハードウェアに基づいている。帯域幅１１０は、パルス幅または波長として表され得る。

よりよい分解能を得るために、従来のレーダーシステムでは、複数のアンテナが用いられることが多く、複雑性とコストが増えてしまう。これは、３つの別個のレーダー照射素子１１６およびアンテナ１１８を有する従来のレーダーシステム１１４によって提供されるレーダーフィールド１１２と合わせて図示されている。別個のレーダー照射素子１１６ごとに、レーダーフィールド１１２内で動く手１２０からの反射が受信される。したがって、１２個の構成要素１２２は各々、レーダーシステムのハードウェアによって、その大きさに制約を受けてしまう。なお、人差し指を親指に向かって移動させるなどの手１２０の微細動作は、構成要素１２２のうちの特定の構成要素１２２−１内で行われるであろう。このような場合、従来のシステムおよび技術では、この微細動作が行われたことを判定できない。

図１を、図２と比較する。図２は、ＲＦに基づいた微細動作追跡の技術が従来レーダーシステムのハードウェア制限を解消し得る環境２００を例示する図である。この例示において、１つのレーダー照射素子２０４および１つのアンテナ素子２０６を有する比較的単純なレーダーシステム２０２が示されている。１つのレーダー照射素子２０４を、図１の複数のレーダー照射素子１１６と比較し、１つのアンテナ素子２０６を、図１の複数のアンテナ１１８と比較する。ここで、単純なレーダーシステム２０２は、従来のレーダーシステム１１４よりも単純であったり、高価でなかったり、小型であったり、複雑でなかったりする。さらに、従来のレーダーシステム１１４のほうが高価であったり、大型であったり、複雑であったりするにもかかわらず、従来のレーダーシステム１１４は、構成要素１２２の大きさによって許容されるよりも高い分解能を必要とする手１２０の微細動作を判定できない。

記載のとおり、レーダーシステムは、従来技術を使うと、ハードウェア・パラメータに基づいた変位検出の分解能に限界がある。これらの限界は、システムのハードウェアのパラメータに基づいているので、単純なレーダーシステム２０２の分解能は、（３つの例を使って図示される）ハードウェア制約付きの空間分解能２１２に関して、レンジ分解能２０８とクロスレンジ分解能２１０とを有する。しかしながら、後述するが、ＲＦに基づいた微細動作追跡技術では、ハードウェアに制約された限界が従来示唆してきたものよりも小さな動作の微細動作追跡を可能にし、よって、従来示唆されるものよりも細かい分解能を可能にする。したがって、この技術は、レーダーシステムの波長またはビーム幅よりも細かい相対変位の分解能を許容することができる。

本文書は、ここで、ＲＦに基づいた微細動作追跡が使用され得るコンピューティングデバイスの例を説明し、方法例およびジェスチャの説明と続き、例示的なコンピュータシステムの説明で終わる。

コンピュータシステム例
図３は、ＲＦに基づいた微細動作追跡を可能にし得るコンピューティングデバイスを例示する図である。コンピューティングデバイス３０２は、さまざまな非限定的なデバイス例、デスクトップコンピュータ３０２−１、コンピュータ腕時計３０２−２、スマートフォン３０２−３、タブレット３０２−４、コンピュータリング３０２−５、コンピュータ眼鏡３０２−６、および電子レンジ３０２−７を使って例示されている。しかしながら、ホームオートメーションおよび制御システム、エンターテインメントシステム、オーディオシステム、その他の家庭用電気器具、セキュリティシステム、ネットブック、自動車、および電子ブックなどのその他のデバイスを使用してもよい。なお、コンピューティングデバイス３０２はウェアラブル、非ウェアラブルだがモバイルではない、またはどちらかというと固定型（たとえば、デスクトップおよび電気器具）であり得る。

コンピューティングデバイス３０２は、１つ以上のコンピュータプロセッサ３０４およびコンピュータ読み取り可能な媒体３０６を備え、メモリ媒体および記憶媒体を備える。コンピュータ読み取り可能な媒体３０６上のコンピュータ読み取り可能な命令として実施されるアプリケーションおよび／またはオペレーティングシステム（図示せず）は、本明細書に記載の機能性のいくらかを提供するために、プロセッサ３０４によって実行され得る。また、コンピュータ読み取り可能な媒体３０６は、後述する微細動作追跡モジュール３０８および認識モジュール３１０も備える。

また、コンピューティングデバイス３０２は、有線、無線、または光ネットワークを介してデータを通信するための１つ以上のネットワークインターフェース３１２、およびディスプレイ３１４を備えてもよい。ネットワークインターフェース３１２は、ローカルエリアネットワーク（ＬＡＮ）、ワイヤレスローカルエリアネットワーク（ＷＬＡＮ）、パーソナルエリアネットワーク（ＰＡＮ）、ワイドエリアネットワーク（ＷＡＮ）、イントラネット、インターネット、ピアツーピアネットワーク、ポイントツーポイントネットワーク、メッシュネットワークなどを介してデータを通信してもよい。ディスプレイ３１４は、デスクトップコンピュータ３０２−１など、コンピューティングデバイス３０２と一体化または関連付けることができる。

また、コンピューティングデバイス３０２は、レーダー照射素子２０４およびアンテナ素子２０６を含む図２のレーダーシステム２０２のようなレーダーシステムを備える、またはそれに関連付けられてもよい。上述したように、このレーダーシステム２０２は、従来技術を利用した場合ではミリメートル規模の微細動作を依然として判定できない従来のレーダーシステムよりも単純であったり、高価でなかったり、複雑でなかったりし得る。

微細動作追跡モジュール３０８は、レーダーフィールド内の手の２つ以上の点の反射の重ね合わせを表すレーダー信号から相対動力を抽出するように構成される。手４０４が動いてもよいレーダーフィールド４０２をレーダーシステム２０２が提供している図４の環境４００における、図２のレーダーシステム２０２をより詳細に考える。この手４０４にはさまざまな特徴点があり、レーダーアンテナ素子２０６に向かって移動する特徴点もあれば、そこから離れていく特徴点、静止している特徴点もある。親指の点４０６、人差し指の点４０８、および指の付け根の関節の点４１０に図示されている。微細動作ジェスチャについて、親指の点４０６はアンテナ素子２０６から離れるように移動し、人差し指の点４０８はアンテナ素子２０６に近づくように移動し、指の付け根の関節の点４１０は静止していると想定する。

より詳細には、微細動作追跡モジュール３０８は、これらの点ごとに相対速度およびエネルギーを判定できる。したがって、親指の点４０６は毎秒１．７メートルの速度でアンテナ素子２０６から離れ、人差し指の点４０８は毎秒２．１メートルでアンテナ素子２０６に近づき、指の付け根の関節の点４１０は毎秒ゼロメートルであると想定する。微細動作追跡モジュール３０８は、レーダー信号を使って、手のこれらの点の速度図表を決定する。

たとえば、図５を考える。図５は、速度図表５０２を例示し、手４０４の３つの点の速度およびエネルギーを例示する図である。速度図表５０２は速度とエネルギーとの関係を任意の単位で表し、親指の点４０６、人差し指の点４０８、および指の付け根の関節の点４１０のエネルギーの計測結果がより高いことを示している。速度軸では、指の付け根の関節の点４１０はアンテナ素子２０６に対して移動していないが、親指の点４０６および人差し指の点４０８については、アンテナ素子２０６に向かっていく移動、およびそこから離れていく移動が示されている。分かりやすくするために各点の絶対速度が示されているが、本技術に必須ではない。相対速度があれば十分であり、本技術は、複数の絶対速度を判定してそれらを比較して相対速度を求めるよりも軽い処理を利用することができる。

速度図表５０２、および速度図表５０２より前または後に決定された他の速度図表を使うと、本技術は、手４０４の複数の点の間の相対速度を求めることができる。ここでは、最も相対速度が高いのは、親指の点４０６と人差し指の点４０８との間である。親指の点４０６と人差し指の点４０８との間の相対変位が最も大きな相対変位だが、微細動作追跡モジュール３０８は、親指の点４０６と指の付け根の関節の点４１０または人差し指の点４０８との間の相対速度（そして、変位）を求めてもよい、これによって、ジェスチャ認識および制御の細かさを向上させることができる。しかしながら、この解決策は、手４０４の１つまたは複数の点にノイズまたはその他の信号品質の問題が存在する場合などでは、その他の点にとって良い、またはその他の点にとってはむしろ良い場合がある。

記載のとおり、速度図表５０２は、手４０４の各点のエネルギーを示す。このエネルギーは、各点から照射素子またはアンテナ素子までの目標レンジ（たとえば、レーダー照射素子からのラジアル距離）に応じた反射エネルギー強度の測定結果である。反射と送信された信号との時間差がドップラー周波数によって観測される。したがって、ラジアル速度が求められ、積分されてラジアル距離が求められる。このドップラー周波数の観測は、レーダー信号についてのレンジ・ドップラー・時間のデータキューブによって行うことができる。しかしながら、このような形式は必須ではない。複数の点の反射の重ね合わせを有するレーダー信号のデータ形式が何であれ、相対速度を積分することによって、ドップラーによって決定される相対動力とレーダー信号のアンラップされた（ｕｎｗｒａｐｐｅｄ）信号位相とを定量的に組み合わせることができる。必要に応じて、またこれに加えて、拡張カルマンフィルタを使って、未処理の位相を手の点のドップラーセントロイドと合わせてもよい。これによって、非線形の位相アンラッピングが可能になる。

より詳細には、次の式は、速度図表５０２を決定する方法を表す。式１は、距離の経時的な増分変化に応じた位相の増分変化を表す。より具体的には、φは位相である。したがって、Δφ（ｔ，Τ）は位相の変化である。ｒ_ｉは距離であり、Δｒ_ｉは変位であり、λは波長である。したがって、Δｒ_ｉ（ｔ，Τ）／λは、波長に対する変位の変化である。位相の増分変化は、各々、変位変化の４πに等しい。

式２は、周波数、ｆ_{Ｄｏｐｐｌｅｒ，ｉ}（Τ）を表す。これは、位相の時間微分（１／２π ｄφ（ｔ，Ｔ）／ｄＴ）に比例する。そして、変位の時間微分と波長とをつなげる（２／λ ｄｒ（ｔ，Ｔ）／ｄＴ）と、ここでもまた波長に対する速度ｖが得られる。

式１および式２は、微細動作を行っている手の複数の点などの傾斜速度の関係を表し、この関係が、手のこれらの点から反射した信号においてどのように表されているかを示している。

式３は、微細動作の周波数の推定方法を示す。本技術は、各周波数でのエネルギー量を表すドップラーセントロイドｆ_{Ｄｏｐｐｌｅｒ，ｃｅｎｔｒｏｉｄ}（Ｔ）を使って、ドップラースペクトルを算出する。本技術は、セントロイドの総和Σ_ｆｆ Ｆ（ｆ）を使って、各々の微細動作に対応する周波数を取り出す。

したがって、本技術は、図２の例示的な速度図表５０２のような、親指の点４０６、人差し指の点４０８、および指の付け根の関節の点４１０など、さまざまな速度で移動しているエネルギーの図表を作る。この図表から、本技術は、後述する図表の特定のエネルギーにおける特定の微細動作を推定する。

相対速度チャート５０４は、相対速度５０６の時間との関係を図示している。分かりやすく説明するために図示しているが、親指の点４０６の親指の絶対速度５０８および人差し指４０８の人差し指絶対速度５１０は必須ではない。相対速度５０６は、絶対速度を求めずに求めることができる。しかしながら、これらの絶対速度を示すことによって、絶対速度間の相対速度、およびそれが時間を経て変化する様子（６つの時間単位を経た２．１単位から１．９単位までの親指の点４０６の減速に留意）を図示している。

６つの時間単位を経て求められた相対速度５０６を使って、次は、相対速度を積分することによって相対変位を求めることができる。これは、変位軌道５１４を例示する相対変位チャート５１２を使って示されている。変位軌道５１４は、６つの時間単位を経た、人差し指の点４０８に対する親指の点４０６の変位の変化である。したがって、親指の点４０６と人差し指の点４０８とは、６つの時間単位を経て２４個の任意の変位単位分、お互いから離れるように移動している。

場合によっては、微細動作追跡モジュール３０８は、複数の相対速度の加重平均を求め、複数の加重平均を積分して相対変位を求める。加重平均は、より高確率で正確な表示値である複数の速度の表示値、あるいは、より低いノイズまたはその他の要因を有する複数の速度の表示値に基づいて重み付けすることができる。

図５の例に示すように、本技術は、低帯域幅のＲＦ信号の利用を含む、微細動作の追跡を可能にする。これによって、ＲＦシステムを変更したり複雑または高価なレーダーシステムを加えたりするのではなく、Ｗｉ−Ｆｉルータなどの一般的なＲＦ装置を使った追跡が可能になる。

図３に戻ると、認識モジュール３１０は、手の上の複数の点の相対変位に基づいて、手が行ったジェスチャを判定するように構成される。そして、認識モジュール３１０は、当該ジェスチャをアプリケーションまたはデバイスに渡すことができる。

たとえば、判定されたジェスチャが、昔ながらの機械式時計の鋸歯状の歯車を巻くときと似た、指に向かう親指の微細動作である場合を想定する。この例は図６に図示されており、開始位置６０２での微細ジェスチャの開始、および終了位置６０４での当該微細ジェスチャの終了を示している。なお、移動６０６は、開始から終了までに行われているが、中間位置での移動は、視覚的に分かりやすくするため、図示していない。開始位置６０２において、親指の先端が人差し指の先にある状態で、親指の点６０８および人差し指の点６１０は互いに相対的に位置している。終了位置６０４では、親指、すなわち親指の点６０８は、指、すなわち人差し指の点６１０を跨いで数ミリメートル移動している。したがって、各々が他方に対してこの数ミリメートル分変位している。本技術は、このジェスチャを数ミリメートルよりも細かい分解能で追跡するように構成されるが、この図は開始と終了を示しており、中間でなされた計測結果は示していない。

微細動作追跡モジュール３０８によって求められた親指の点６０８と人差し指の点６１０との間の変位を使って、認識モジュール３１０はジェスチャを判定し、（複数のサブ・ジェスチャ部分を有する１つの全体ジェスチャがなされるため、一般的に、複数のサブ・ジェスチャとして）このジェスチャをアプリケーション（ここでは、スマートウォッチのアプリケーション）に渡す。すると、表示されているテキストをスクロールアップするために、ユーザ・インターフェース６１２が変更される（スクロールはスクロールアロー６１４で示され、結果は開始テキスト６１６および終了テキスト６１８で示されている）。追跡されるジェスチャは大きい場合も小さい場合もあり得るが、ミリメートル規模は必須ではなく、片手の使用や人の手の使用さえも必須ではない。これは、ロボットに対する制御を決定するために追跡されるロボットアームなどのデバイスが追跡される場合があるためである。したがって、微細動作追跡モジュール３０８は、ミリメートル以下の細かい分解能、および最大５センチメートルの総相対変位を有する微細ジェスチャを追跡してもよく、ユーザの一方の手、腕、またはオブジェクトに対する他方の腕、手、または指を追跡してもよく、大きさにして１メートルにもなる相対変位を有する複数の手を使ったジェスチャなど、より大きなジェスチャを追跡してもよい。

方法例
図７は、ＲＦに基づいた微細動作追跡を使った、ジェスチャを認識する方法７００を表す。方法７００は、手がジェスチャを行うレーダーシステムからレーダー信号を受信し、レーダーシステムのパラメータに基づいて、従来技術が許容するよりも細かい分解能で変位を求め、この変位に基づいて、ジェスチャ、ミリメートル規模の微細動作ジェスチャでさえも、判定する。この方法は、行われた動作を特定する複数のブロックのセットとして図示されているが、それぞれのブロックによって行われる動作に示した順序や組み合わせに必ずしも限定されない。以下の説明において図２〜図６、図８、および図９への参照がされている箇所があるが、これらの参照は一例にすぎない。本技術は、１つのデバイス上で動作する１つのエンティティまたは複数のエンティティによる動作や、これらの図に記載されたものに限定されない。

７０２において、図２に示すようなレーダーフィールドが提供される。レーダーフィールドは、既存のＷｉＦｉレーダーを含む単純なレーダーシステムによって提供でき、複雑なマルチエミッタもしくはマルチアンテナ、またはナロービーム走査式レーダーを使う必要はない。代わりに、５７ＧＨｚ〜６４ＧＨｚまたは５９ＧＨｚ〜６１ＧＨｚなどのブロードビームの完全に連続したレーダーフィールドを使用することができ、その他の周波数帯域や、さらには音波も使用できる。

７０４において、レーダーフィールド内の手の複数の点の反射の重ね合わせを表すレーダー信号が受信される。記載のとおり、これは、わずか１つのアンテナから受信できる。手の各点は、照射部またはアンテナに対する移動、よって、互いの点に対する移動がある。後述するが、わずか２つの点が表され、分析され得る。

７０６において、レーダー信号は、移動目標表示（Ｍｏｖｉｎｇ Ｔａｒｇｅｔ Ｉｎｄｉｃａｔｏｒ：ＭＴＩ）フィルタなどを使って、フィルタ処理できる。レーダー信号をフィルタ処理することは必須ではないが、こうすることによってノイズを除去でき、他よりも大きな移動を有する点を表す要素など、信号に含まれる要素の位置を特定するのに役立てることができる。

７０８において、レーダー信号から速度図表が決定される。この決定例は、図５などに上述されている。

７１０において、速度図表から複数の相対速度が抽出される。時間の経過に伴う複数の相対速度を求めるために、上記速度図表より前または後に決定される１つ以上の速度図表も決定される。したがって、動作７０４および７０８は、図７において繰り返し矢印と共に示すように、本技術によって繰り返すことができる。

７１２において、複数の相対速度を積分することによって、変位軌道が求められる。複数の速度図表から複数回にかけて抽出された相対速度が積分される。この例が図５の相対変位チャート５１２に示されている。

７１４において、手の複数の点の間の当該変位軌道に基づいて、ジェスチャが判定される。上述したように、このジェスチャは、片手もしくは複数の手、または複数のオブジェクトによって行われる微細ジェスチャなど、細かく小さいジェスチャ、またはより大きなジェスチャであり得る。

７１６において、ジェスチャは、アプリケーションまたはデバイスに渡される。アプリケーションまたはデバイスによって受信されると、ジェスチャは、アプリケーションまたはデバイスの表示、機能、または、性能を制御または変更するなど、アプリケーションまたはデバイスを制御するのに有効である。デバイスは、方法７００が実行されるリモコン、周辺機器、またはシステムであり得る。

この求められた変位軌道は、図６の例における指の付け根の関節での点と指先での別の点との間の変位を示し、両方の点は移動している。ＲＦに基づいた微細動作追跡技術は、手のすべての点、多くの点さえも追跡する必要はなく、さらには、３次元空間の２つの点を追跡する必要さえもない。代わりに、一方の点から他方の点までの相対的な変位を判定するだけで、十分に、ジェスチャ、さらには１ミリメートル以下の細かいジェスチャを判定できる。

方法７００の動作によって、レーダーフィールド内の手の複数の点の反射の重ね合わせを表すレーダー信号から相対動力が抽出される。これらの相対動力は、手の複数の点の互いに対する変位を示し、これらの相対動力から微細動作ジェスチャを判定することができる。上述したように、場合によっては、重ね合わせから相対動力を抽出することによって、これらの点のマイクロドップラーセントロイドが判定される。マイクロドップラーセントロイドによって、計算的に軽い超分解能の速度の推定を求めることができる。したがって、必要とされる計算資源は、従来のレーダー技術と比べて比較的低く、さらに、一部のウェアラブルデバイスおよび電気器具など、小型または資源制約型デバイスにおいてＲＦに基づいた微細動作の本技術の使用が可能になる。本技術が資源制約型デバイスに対して利用できるだけでなく、デバイスに対して小さく細かい制御を行うために小さく細かいジェスチャ（たとえば、微細ジェスチャ）が行われると、計算的に軽い判定によって、ジェスチャに対して、リアルタイムなど、より早く反応することができる。

さらに、ＲＦに基づいた微細動作技術は、マイクロドップラーセントロイドを利用することによって、ドップラー図表のピークを利用する場合よりもノイズおよびクラッターに対して大きなロバスト性を許容できる。分解能を上げるために、微細動作追跡モジュール３０８は、レーダー信号の位相変化を利用して複数の点についての高周波数の移動のミリメートルおよびサブ・ミリメートルの変位を抽出してもよい。

ジェスチャ例
図２〜図７において説明したＲＦに基づいた微細動作技術は、ミリメートルまたはサブ・ミリメートル規模のジェスチャさえも可能になる。たとえば、２つのこのようなジェスチャを例示する図８および図９を考える。

図８は、３つのサブ・ジェスチャステップから構成されるジェスチャを例示する図であり、当該ジェスチャは、１０ミリメートル以下の分解能を有する。各ステップは、微細動作モジュール３０８によって追跡でき、サブ・ジェスチャは、認識モジュール３１０によって判定できる。各サブ・ジェスチャは制御を可能にでき、制御が行われる前にサブ・ジェスチャのうちの最後のサブ・ジェスチャが完了する必要があってもよい。これは、アプリケーションがジェスチャを受信することによって駆動できる。または、認識モジュール３１０によって駆動することができる。これは、親指と指との接触の完了のみがアプリケーションまたはデバイスに渡されるべきであると示すデータなど、ジェスチャを受信するように意図されたアプリケーションまたはデバイスからのパラメータを認識モジュール３１０が有してもよいためである。

これは、図８の場合である。図８は、手８０８の２つの点８０４および８０６の開始点８０２を、押されていないバーチャルボタン８１０を表示しているユーザ・インターフェースと合わせて示している。２つの点８０４および８０６（指先および親指の先）が互いに近づくように移動する第１サブ・ジェスチャ８１２が示されている。また、２つの点８０４および８０６が互いにさらに近づくように移動する第２サブ・ジェスチャ８１４も示されている。２つの点８０４および８０６が触れる、またはそれに近くなる（点８０４および点８０６がちょうど指先および親指の先にあるか、またはずれているかによって異なる）第３サブ・ジェスチャ８１６によって当該ジェスチャが完了する。ここで、微細動作追跡モジュール３０８が、３つのサブ・ジェスチャ８１２、８１４、および８１６ごとに、点８０４と点８０６との間の変位を判定し、これらを認識モジュール３１０に渡すと想定する。認識モジュール３１０は、点が互いに触れる、またはそれに近くなる全体ジェスチャを渡すまで待機し、点が互いに触れる、またはそれに近くなった時点でアプリケーションが当該ジェスチャを受信し、押された状態のバーチャルボタン８１８を表示して、ボタンが押されたことをユーザ・インターフェースに示す。

さらなる例として図９を考える。図９は、回転する微細動作ジェスチャ９００を例示する図である。回転する微細動作ジェスチャ９００は、親指９０２および人差し指９０４の両方がおおよそ反対方向（親指方向９０６および人差し指方向９０８）に移動して、親指９０２が人差し指９０４に向かう動作を伴う。

回転する微細動作ジェスチャ９００が開始位置９１０に図示されている。４つのサブ・ジェスチャ位置９１２、９１４、９１６、および９１８も合わせて示されているが、これらは視覚的に分かりやすくするためであり、全ジェスチャを通して、さらにはサブ・ミリメートルの分解能でずっと多くの移動が認められ得る。回転する微細動作ジェスチャ９００の効果をよりよく可視化するために、マークが付けられている輪９２０を考える。このマークが付けられている輪９２０は、親指９０２と人差し指９０４とによってつかまれているわけではないが、回転させられると、マーク９２２が、マーク９２２−１の開始点から、マーク９２２−２、マーク９２２−３、そしてマーク９２２−４に移動し、マーク９２２−５で終了する状況に似たジェスチャが行われる様子が認識でき、細かい分解能での制御を行うために利用できる方法を読み手に見せるために図示されている。

回転する微細動作ジェスチャ９００が行われると、微細動作追跡モジュール３０８は、親指９０２および人差し指９０４各々の１つまたは複数の点との間の変位軌道を求め、これらをジェスチャモジュール３１０に渡す。すると、ジェスチャモジュール３１０は、行われているジェスチャまたはその一部を判定する。このジェスチャは、デバイスまたはアプリケーションに渡される。これによって、デバイスまたはアプリケーションは、当該微細動作ジェスチャによって制御される。この種類の微細動作に対して、アプリケーションは、再生中のメディアを進めてもよく（または、当該ジェスチャが逆に行われた場合はバックさせる）、ディスプレイのテキストまたはコンテンツをスクロールしてもよく、音楽のボリューム、サーモスタットの温度、またはその他のパラメータを上げてもよい。さらに、ＲＦに基づいた微細動作技術は高分解能であり、計算要件が易しいため、リアルタイムで細かい動作を認識することができ、ユーザは、親指および指を前後に動かして簡単に、１００段階あるボリュームのうちのぴったり３４など、緻密な所望の制御を決定したり、再生中の映像の中から正確にフレームを見つけたりすることができる。

コンピュータシステム例
図１０は、任意の種類のクライアント、サーバ、および／または図２〜図８を参照して説明されたコンピューティングデバイスとして実装できる、ＲＦに基づいた微細動作追跡を実行するための例示的なコンピュータシステム１０００のさまざまな構成要素を例示する図である。

コンピュータシステム１０００は、デバイスデータ１００４（たとえば、受信したデータ、受信中のデータ、同報送信されることになっているデータ、当該データのデータパケットなど）の有線および／または無線通信を可能にする通信デバイス１００２を備える。デバイスデータ１００４またはその他のデバイスコンテンツは、デバイスの設定、デバイスに格納されたメディアコンテンツ、および／またはデバイスのユーザに関する情報（たとえば、ジェスチャを行っている行為者の識別情報）を含めることができる。コンピュータシステム１０００に格納されるメディアコンテンツは、任意の種類の音声、映像、および／または画像データを含めることができる。コンピュータシステム１０００は、人間の発話、レーダーフィールドとのやりとり、ユーザ選択可能な（明示的または暗示的な）入力、メッセージ、音楽、テレビジョンメディアコンテンツ、記録映像コンテンツ、ならびに任意のコンテンツおよび／またはデータ送信側から受信したその他の種類の音声、映像、および／または画像データなど、任意の種類のデータ、メディアコンテンツ、および／または入力が受信可能な１つ以上のデータ入力部１００６を備える。

また、コンピュータシステム１０００は、シリアルインターフェースおよび／またはパラレルインターフェース、無線インターフェース、任意の種類のネットワークインターフェース、モデム、およびその他の種類の通信インターフェースのうちの１つ以上として実装できる複数の通信インターフェース１００８を備える。通信インターフェース１００８は、その他の電子装置、コンピュータデバイス、および通信デバイスがコンピュータシステム１０００とデータを通信する通信ネットワークとコンピュータシステム１０００との間の接続および／または通信リンクを提供する。

コンピュータシステム１０００は、コンピュータシステム１０００の動作を制御するための、およびＲＦに基づいた微細動作追跡の技術を可能にするまたはＲＦに基づいた微細動作追跡が実装できる技術を可能にするためのコンピュータにより実行可能なさまざまな命令を処理する１つ以上のプロセッサ１０１０（たとえば、マイクロプロセッサ、コントローラなどのうちのいずれか）を備える。これに代えて、または、これに加えて、コンピュータシステム１０００は、ハードウェア、ファームウェア、または参照符号１０１２によって全体として識別される処理回路および制御回路と接続されて実装される固定論理回路のうちのいずれか１つまたはこれらの組み合わせを使って実装できる。図示しないが、コンピュータシステム１０００は、デバイス内のさまざまな構成要素を接続するシステムバスまたはデータ転送システムを備えることができる。システムバスは、メモリバスまたはメモリコントローラ、周辺バス、ユニバーサルシリアルバス、および／またはさまざまなバスアーキテクチャを利用したプロセッサもしくはローカルバスなど、異なるバス構造のうちのいずれか１つまたはこれらの組み合わせを含むことができる。

また、コンピュータシステム１０００は、永続的および／または非一時的なデータ記憶（つまり、単なる信号の送信とは異なる）を可能にする１つ以上のメモリデバイスなどの、コンピュータ読み取り可能な媒体１０１４も備えることができ、たとえば、ランダムアクセスメモリ（ＲＡＭ）、不揮発性メモリ（たとえば、読取り専用メモリ（ＲＯＭ）、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭなどのうちのいずれか１つ以上）、およびディスク記憶装置などが挙げられる。ディスク記憶装置は、ハードディスクドライブ、書き込み可能および／または書き換え可能なコンパクトディスク（ＣＤ）、任意の種類のディジタル多用途ディスク（ＤＶＤ）など、任意の種類の磁気または光記憶装置として実装されてもよい。また、コンピュータシステム１０００は、大容量記憶媒体デバイス（記憶媒体）１０１６を備えることもできる。

コンピュータ読み取り可能な媒体１０１４は、さまざまなデバイスアプリケーション１０１８およびコンピュータシステム１０００の動作態様に関するその他の情報および／またはデータ、ならびにデバイスデータ１００４を格納するためのデータ記憶機構を提供する。たとえば、オペレーティングシステム１０２０は、コンピュータ読み取り可能な媒体１０１４と合わせて、コンピュータアプリケーションとして保持され、プロセッサ１０１０上で実行することができる。デバイスアプリケーション１０１８は、任意の形態の制御アプリケーション、ソフトウェアアプリケーション、信号処理および制御モジュール、特定デバイス用のプログラム、アブストラクションモジュールまたはジェスチャモジュールなど、デバイスマネージャを備えてもよい。また、デバイスアプリケーション１０１８は、微細動作追跡モジュール３０８および認識モジュール３１０など、ＲＦに基づいた微細動作追跡を実行するためのシステム構成要素、エンジン、管理プログラムも含む。

また、コンピュータシステム１０００は、レーダー照射素子２０４およびアンテナ素子２０６を有するレーダーシステム２０２などのレーダーシステムのうちの１つ以上を備える、またはこれらを利用してもよい。図示しないが、微細動作追跡モジュール３０８または認識モジュール３１０の１つ以上の構成要素の全体または一部は、ハードウェアまたはファームウェアを通じて操作されてもよい。

結論
ＲＦに基づいた微細動作追跡を利用した技術およびＲＦに基づいた微細動作追跡を含む装置について、特徴および／または方法に特有の言葉で説明したが、当然ながら、請求の範囲の主題は、上述の具体的な特徴または方法によって必ずしも限定されるわけではない。むしろ、具体的な特徴および方法は、ＲＦに基づいた微細動作追跡の判定方法の実施例として開示されている。

Claims (20)

1. コンピュータで実行される方法であって、
   レーダーシステムによって提供されるレーダーフィールド内の手の２つ以上の点の反射の重ね合わせを表すレーダー信号を受信するステップを含み、前記２つ以上の点のうちの第１点は第１移動を有し、前記２つ以上の点のうちの第２点は第２移動を有し、
   前記方法は、さらに、
   前記レーダー信号の速度図表を決定するステップを含み、前記速度図表は、複数の速度でのエネルギーを示し、前記エネルギーのうちの第１エネルギーは、前記第１移動を有する前記第１点の反射を表し、前記エネルギーのうちの第２エネルギーは、前記第２移動を有する前記第２点の反射を表し、
   前記方法は、さらに、
   前記速度図表、および時間の経過に伴い前記速度図表より前または後に決定された１つ以上の速度図表から、前記第１点と前記第２点との間の複数の相対速度を抽出するステップと、
   前記複数の相対速度を積分することによって変位軌道を求めるステップとを含み、前記変位軌道は、前記第１点と前記第２点との間の相対変位を表す、方法。
2. 前記レーダー信号の速度図表を決定するステップにおいて、前記第１点および前記第２点のそれぞれの第１マイクロドップラーセントロイドおよび第２マイクロドップラーセントロイドを判定する、請求項１に記載の方法。
3. 前記第１マイクロドップラーセントロイドおよび前記第２マイクロドップラーセントロイドに関連する前記エネルギーに基づいて、前記２つ以上の点から前記第１点および前記第２点を判定するステップをさらに含み、前記エネルギーは、前記２つ以上の点のうちのその他の点に関連するエネルギーよりも高い、請求項２に記載の方法。
4. ミリメートルまたはサブ・ミリメートルの複数の変位を前記レーダー信号の位相変化を使って抽出することによって、前記変位軌道の分解能を上げるステップをさらに含む、請求項１〜３のいずれか１項に記載の方法。
5. 前記速度図表を決定するステップの前に、前記レーダー信号をフィルタ処理するステップをさらに含む、請求項１〜４のいずれか１項に記載の方法。
6. 前記レーダー信号をフィルタ処理するステップは、より大きな移動を有する前記２つ以上の点のうちの複数の点を決定するために、移動目標表示（ＭＴＩ）フィルタを使って前記第１点を前記第２点から隔離するステップを含む、請求項５に記載の方法。
7. 前記第１点は第１の指であり、前記第２点は第２の指であり、前記第１移動および前記第２移動の間における前記第１点と前記第２点との間の前記相対変位は、前記第２の指に対する前記第１の指のミリメートル規模の移動を示す、請求項１〜６のいずれか１項に記載の方法。
8. 前記ミリメートル規模の移動についての前記相対変位は、１ミリメートル以下の細かい分解能での相対変位である、請求項７に記載の方法。
9. 前記第１移動および前記第２移動の間における前記第１点と前記第２点との間の前記相対変位に基づいて、ジェスチャを判定するステップをさらに含む、請求項１〜８のいずれか１項に記載の方法。
10. アプリケーションまたはデバイスに関連する表示、機能、または性能を制御または変更するのに有効な前記ジェスチャを、前記アプリケーションまたは前記デバイスに渡すステップをさらに含む、請求項９に記載の方法。
11. 複数の命令を含むコンピュータ読み取り可能なプログラムであって、前記複数の命令は、１つ以上のコンピュータプロセッサによって実行されることに応答して、微細動作追跡モジュールおよび認識モジュールを実行し、
    前記微細動作追跡モジュールは、
    レーダーシステムによって提供されるレーダーフィールド内の手の２つ以上の点の反射の重ね合わせを表すレーダー信号を受信するように構成され、前記２つ以上の点のうちの第１点は第１移動を有し、前記２つ以上の点のうちの第２点は第２移動を有し、
    前記微細動作追跡モジュールは、さらに、
    前記レーダー信号の速度図表を決定するように構成され、前記速度図表は、複数の速度でのエネルギーを示し、前記エネルギーのうちの第１エネルギーは、前記第１移動を有する前記第１点の反射を表し、前記エネルギーのうちの第２エネルギーは、前記第２移動を有する前記第２点の反射を表し、
    前記微細動作追跡モジュールは、さらに、
    前記速度図表、および時間の経過に伴い前記速度図表より前または後に決定された１つ以上の速度図表から、前記第１点と前記第２点との間の複数の相対速度を抽出し、
    前記複数の相対速度を積分することによって変位軌道を求めるように構成され、前記変位軌道は、前記第１点と前記第２点との間の相対変位を表し、
    前記認識モジュールは、
    前記変位軌道に基づいて、前記第１点および前記第２点のジェスチャを判定し、
    デバイスの表示、機能、または性能を制御または変更するのに有効な前記ジェスチャを渡すように構成される、コンピュータ読み取り可能なプログラム。
12. 前記微細動作追跡モジュールは、さらに、前記相対速度の加重平均を判定するように構成され、前記相対速度を積分することによって前記相対速度の前記加重平均を積分する、請求項１１に記載のコンピュータ読み取り可能なプログラム。
13. 前記加重平均の判定は、より高確率で正確な表示値、またはより低いノイズに基づいておこなわれる、請求項１２に記載のコンピュータ読み取り可能なプログラム。
14. 前記レーダー信号についてのレンジ・ドップラー・時間のデータキューブを利用して、前記レーダー信号の前記速度図表を決定する、請求項１１〜１３のいずれか１項に記載のコンピュータ読み取り可能なプログラム。
15. 前記相対速度を積分することによって、前記レーダー信号についての前記レンジ・ドップラー・時間のデータキューブからの前記相対速度と前記レーダー信号のアンラップされた信号位相とを定量的に組み合わせる、請求項１４に記載のコンピュータ読み取り可能なプログラム。
16. 前記変位軌道は、全体ジェスチャのサブ・ジェスチャステップを表し、
    前記微細動作追跡モジュールは、後続の複数の変位軌道を求めるようにさらに構成され、
    前記認識モジュールは、前記全体ジェスチャの複数のサブ・ジェスチャを判定し、前記デバイスの表示、機能、または性能をリアルタイムで制御または変更するのに有効な前記複数のサブ・ジェスチャを渡すようにさらに構成される、請求項１１〜１５のいずれか１項に記載のコンピュータ読み取り可能なプログラム。
17. 装置であって、
    １つ以上のコンピュータプロセッサと、
    レーダーシステムとを備え、前記レーダーシステムは、
    レーダーフィールドを提供するように構成される１つ以上のレーダー照射素子と、前記レーダーフィールド内の手の２つ以上の点の反射の重ね合わせを表すレーダー信号を受信するように構成される１つ以上のアンテナ素子とを備え、
    前記装置は、さらに、
    複数の命令を格納した１つ以上のコンピュータ読み取り可能な記憶媒体を備え、前記複数の命令は、前記１つ以上のコンピュータプロセッサによって実行されることに応答して、微細動作追跡モジュールおよび認識モジュールとを実行し、
    前記微細動作追跡モジュールは、
    前記レーダーシステムによって提供される前記レーダーフィールド内の前記手の前記２つ以上の点の反射の重ね合わせを表す前記レーダー信号を受信するように構成され、前記２つ以上の点のうちの第１点は第１移動を有し、前記２つ以上の点のうちの第２点は第２移動を有し、
    前記微細動作追跡モジュールは、さらに、
    前記レーダー信号の速度図表を決定するように構成され、前記速度図表は複数の速度でのエネルギーを示し、前記エネルギーのうちの第１エネルギーは、前記第１移動を有する前記第１点の反射を表し、前記エネルギーのうちの第２エネルギーは、前記第２移動を有する前記第２点の反射を表し、
    前記微細動作追跡モジュールは、さらに、
    前記速度図表、および時間の経過に伴い前記速度図表より前または後に決定された１つ以上の速度図表から、前記第１点と前記第２点との間の複数の相対速度を抽出し、
    前記複数の相対速度を積分することによって変位軌道を求めるように構成され、前記変位軌道は、前記第１点と前記第２点との間の相対変位を表し、
    前記認識モジュールは、
    前記変位軌道に基づいて、前記第１点および前記第２点のジェスチャを判定し、
    前記装置、リモコン、または周辺機器の表示、機能、または性能を制御または変更するのに有効な前記ジェスチャを前記装置のアプリケーション、前記リモコン、または前記周辺機器に渡すように構成される、装置。
18. 前記レーダーシステムには、ハードウェア・パラメータに基づいた変位検出の分解能に限界があり、前記相対変位の分解能は、前記ハードウェア・パラメータに基づいた変位検出の分解能の限界より細かい、請求項１７に記載の装置。
19. 前記ハードウェア・パラメータに基づいた変位検出の分解能の限界は、前記レーダーシステムによって提供される前記レーダーフィールドの波長に基づき、前記相対変位の分解能は、前記波長より細かい、請求項１８に記載の装置。
20. 前記１つ以上のレーダー照射素子は、１つのレーダー照射素子であり、前記１つ以上のアンテナ素子は、１つのレーダーアンテナ素子であり、前記レーダーシステムによって提供される前記レーダーフィールドは、ブロードビームの完全に連続したレーダーフィールドである、請求項１７〜１９のいずれか１項に記載の装置。