JP6159260B2 - ジェスチャ認識システム - Google Patents

Description

本発明は、ユーザのジェスチャを検出するジェスチャ検出装置及び方法、すなわち、ジェスチャが推測されることができるデータを収集する手段に関する。更に、本発明は、ユーザのジェスチャを認識するジェスチャ認識システム及び方法、すなわち、データを収集し、ジェスチャについて評価する手段に関する。

ＵＳ２００２／００７５２３２Ａ１において、ユーザによりなされたジェスチャの認識に対するシステムが記載され、前記システムは、伝導性ゴム層の電気抵抗が測定される手袋を有する。手袋の伸縮が、検出され、ユーザによりなされた手のジェスチャについて評価されることができる。

この背景の観点から、本発明の目的は、ユーザにより着用されるハードウェアの少しの努力でジェスチャを信頼できるように検出及び認識する手段を提供することである。

この目的は、請求項１に記載のジェスチャ検出装置、請求項２に記載の方法、請求項８に記載のジェスチャ認識システム、請求項９に記載の方法、及び請求項１４に記載のコンピュータプログラムにより達成される。好適な実施例は、従属請求項において開示される。

第１の態様によると、本発明は、ユーザのジェスチャを検出するジェスチャ検出装置に関する。本発明に関連して、用語"ジェスチャ"は、広い意味で理解されるべきであり、生体がとることができるいかなる構成又は姿勢をも有する。特に、ジェスチャは、人体が自発的にとることができ、何らかの情報、例えばコマンドに対するシンボルを表す姿勢を有するべきである。本発明によるジェスチャ検出装置は、前記装置の前記ユーザの皮膚の電気特性を測定する少なくとも１つの電極を有する。実際に、２以上の電極が、典型的には、皮膚の所望の電気特性を測定するのに使用される。

第２の態様によると、本発明は、ユーザのジェスチャを検出する方法に関し、前記方法は、前記ユーザの皮膚の電気特性の測定を有する。前記方法は、一般的な形式において、前述のジェスチャ検出装置により実行されることができるプロシージャを有する。前記ジェスチャ検出装置に対してなされた見解、説明及び定義は、したがって、前記方法に対して類似的に適用され、逆も同様である。

前記ジェスチャ検出装置及び前記方法は、ユーザによりなされたジェスチャを検出するために、すなわちジェスチャが推測されることができるデータを提供するために、皮膚の電気特性の測定を利用する。このアプローチは、データ収集に対してハードウェア努力をほとんど必要としないという利点を持つ。必要とされるのは、前記ユーザの皮膚に接触する１つの（又は複数の）電極である。更に、異なるジェスチャは、常に前記ジェスチャを行う体部位を覆う皮膚に対して何らかの効果を生じ、これらの効果は、通常、皮膚の電気特性の変化を有するので、前記アプローチは、非常に高感度であり、信頼できる。前記変化は、典型的には、局所的であるので、前記電極は、好ましくは、関心のジェスチャにより最も影響を受ける皮膚の領域（例えば最大に伸縮される領域）に取り付けられる。

以下に、上で規定された前記ジェスチャ検出装置及び前記方法の両方に関する本発明の様々な実施例が、記載される。

測定される前記皮膚の電気特性は、一般に、異なるジェスチャにより影響を受けるいかなる特性又は値であってもよい。好ましくは、これは、受動的電気特性、すなわち前記ユーザの体により又は体内で電圧の能動的な発生を有さない特性である。受動的電気特性は、例えば、前記皮膚の容量、及び最も好適なオプションである前記皮膚の電気伝導度を有する。電気伝導度（又は、同等に、電気インピーダンス）は、容易に測定されることができる特性であり、同時に、前記特性は、ジェスチャが通常は前記皮膚の異なる領域の伸縮を伴い、前記皮膚の局所伝導度に影響を与えるので、異なるジェスチャに対して高感度である。

前記皮膚の測定された電気特性は、前述の電気特性の１つの変化、特に前記皮膚の電気伝導度の変化を更に有することができる。前記皮膚の電気特性は、通常は、ジェスチャの他に様々な影響に依存するので、このような特性の特定の値は、しばしば、対応するジェスチャを曖昧でなく決定することを可能にしない。例えば、前記皮膚の電気伝導度が人の感情状態により影響を受けることは周知である。この理由で、電気特性の変化は、しばしば、ジェスチャのより信頼できるインジケータを提供する。電気特性の変化は、特にジェスチャがとられる又は止められる場合に、すなわちあるジェスチャから他のジェスチャへの遷移中に、生じることができる。このようなジェスチャ間の遷移中に、前記皮膚の電気特性に対する他の影響（例えば感情的状態）は、通常は、一定のままである。前記電気特性の変化は、したがって、高い信頼性で、前記ジェスチャの変化に起因することができる。電気特性の"変化"が、変化率（すなわち速度）を表す単一の値及び前記特性の"軌道"を表す複数の値を有することができる。

ジェスチャが、（人間又は動物の）体がとることができるいかなる構成又は姿勢をも有することができると、既に述べられた。多くの実際的な重要な場合に、手が、情報を伝達するのに人間の（発話の次に）最も自然かつ多用途の"道具"であるので、ジェスチャは、手の姿勢を有する。

電気的皮膚特性を測定する前記少なくとも１つの電極は、好ましくは、ユーザの手又は手首に取り付けられる。これは、手の姿勢の前述の好適な検出を可能にする。

本発明の他の好適な実施例において、１つ又は複数の電極は、皮膚に取り付けられる及び／又は体の一部（例えば手首）の周りに巻きつけられることができる可撓性のキャリア、例えば織物マット上に配置される。このように、通常は小さい電極の付着は、より快適にされることができる。更に、前記キャリアは、特に複数の電極間の相互距離について、電極の適切な配置を保証するのを助ける。

前記ジェスチャ検出装置は、典型的には、全てが詳細に述べられるわけではないアシスタントコンポーネント、例えば（測定）データを他の装置に送信する通信装置又は電源（バッテリ）を更に有する。

第３の態様によると、本発明は、以下の２つの主要なコンポーネント、すなわち、
−上に記載された種類のジェスチャ検出装置、すなわちユーザの皮膚の電気特性を測定する少なくとも１つの電極を持つ装置と、
−前述のジェスチャ検出装置により提供された測定データからジェスチャを認識するデータ処理装置と、
を有するジェスチャ認識システムに関する。前記データ処理装置は、例えば、マイクロプロセッサ又はＦＰＧＡを有することができる。

第４の態様によると、本発明は、ユーザのジェスチャを認識する方法に関し、前記方法は、前記ユーザの皮膚のでき特性の測定データからのジェスチャの認識を有する。

本発明の第３及び第４の態様による前記ジェスチャ認識システム及び前記方法は、ジェスチャの認識、すなわち、これらのデータに対して可能なジェスチャのセットから１つのジェスチャを割り当てる目的での測定データの評価又は解釈に関する。前記データ処理装置を用いて、前記ジェスチャ認識システムは、このような評価を自動的に行うことを可能にするコンポーネントを有する。この自動認識プロシージャの結果は、他のコンポーネントにより、例えばＶＣＲ又はＣＤ／ＤＶＤプレイヤ等のようなＣＥ装置を制御するのに、使用されることができる。

本発明の第３及び第４の態様による前記ジェスチャ認識システム及び前記方法が、皮膚の電気特性の測定を使用する限り、前記ジェスチャ検出装置及び関連した方法に対して上で行われた見解、説明及び定義は、適用される。更に、前記システム及び前記方法は、以下に記載される特定の実施例で実現されることができる。

１つの特定の実施例によると、複数の時間的に連続した測定データは、ジェスチャを認識するように評価される。前記測定データは、１つのジェスチャ又は複数の連続したジェスチャに属しうる。このアプローチは、（一般に生物学的パラメータに関する）電気的皮膚特性に対して特徴的である測定データの高い変動性に取り組む方法を提供する。前記アプローチは、単一の測定値が、しばしば、何らかのジェスチャに対する信頼できる関連付けを可能にしないことを考慮に入れる。この理由で、（最初は未知である）ジェスチャに属する複数の測定データが、収集され、これらのデータは、典型的には、前記電気特性の変動性によって拡散される。データの全体的なセットは、しかしながら、典型的には、特定のジェスチャにより信頼できるように関連付けられた特徴的範囲又は間隔にわたり分散される。したがって、ある期間、例えば数秒に対する電気特性の測定は、一般にジェスチャ認識の精度を増すのを助けることができる。

関連する実施例によると、ジェスチャは、ジェスチャ間の遷移中に得られた測定データから認識される。既に上で説明されたように、電気特性の変化を測定することは、しばしば、関連付けられたジェスチャを、より信頼できる形で推測するのに使用されることができる。これは、前記変化がジェスチャ間の遷移による場合に特に真である。

前記ジェスチャ認識システムの特定の実施例において、前記ジェスチャ検出装置及び前記データ処理装置は、無線通信リンクを介して（機能的に）結合された物理的に分離したコンポーネントである。ユーザにより運ばれなければならない前記ジェスチャ検出装置は、可能な限り軽く作成されることができるのに対し、ジェスチャ認識及びデータ評価に対する必要な計算パワーは、（固定）データ処理装置内に収容されることができる。

前記ジェスチャ認識システムの他の実施例によると、前記ジェスチャ検出装置及び前記データ処理装置は、一体化された装置を構成する。このアプローチの利点は、最小量のデータ、特に認識されたジェスチャのみが外に通信されなければならないことである。

本発明の第４の態様による前記認識方法は、典型的には、計算装置の助けで、例えば前記ジェスチャ検出装置の前記データ処理装置で、実現される。結果的に、本発明は、計算装置上で実行される場合に本発明によるいずれかの方法の機能を提供するコンピュータプログラムを含む。

更に、本発明は、機械可読形式で前記コンピュータプログラムを記憶し、前記データキャリア上に記憶された前記プログラムが計算装置上で実行される場合に本発明の方法の少なくとも１つを実行するデータキャリア、例えばフロッピーディスク、ハードディスク、ＥＰＲＯＭ又はコンパクトディスク（ＣＤ−ＲＯＭ）を含む。前記データキャリアは、以前の段落において述べられた前記計算装置の前記プログラムを記憶するのに特に適していることができる。

近年、このようなソフトウェアは、しばしば、ダウンロード用にインターネット又は企業イントラネット上で提供され、したがって、本発明は、本発明によるコンピュータプログラムをローカル又はワイドエリアネットワーク上で送信することをも含む。

本発明のこれら及び他の態様は、以下に記載される実施例を参照して説明され、明らかになる。これらの実施例は、添付の図面の助けで、例として記載される。

図の同様の参照番号は、同一又は同様のコンポーネントを指す。

ユーザの手に取り付けられたジェスチャ検出装置の上面図（左）及び底面図（右）を示す。 認識されることができる手の異なるジェスチャを示す。 ２つの別個の装置により実現されるジェスチャ認識システムのコンポーネントを概略的に示す。 一体化された装置により実現されるジェスチャ認識システムのコンポーネントを概略的に示す。

ユーザと被制御装置との間のジェスチャベースのインタラクションは、古典的なボタン又はマウスの使用に取って代わることができる前途有望な新しいインタフェース設計と見なされる。しかしながら、現在、（タッチスクリーン"２Ｄ"ジェスチャを除いて）このアプローチの商業的応用は少ししか存在しない。これは、ジェスチャのロバストかつ単純な認識が難しいという事実による。

ジェスチャ認識に対する多くのアプローチは、重大な不利点、例えば特定の（高価かつ不便な）スーツ又は手袋を着用する必要性を持つ。ビデオベースのジェスチャ認識は、通常、ユーザが追加の装置を着用又は保持することを要求しないが、複数の他の不利点を持つ。例えば、前記ユーザの手は、常にカメラに見える必要があり、これは、特定の事情（例えば自転車に乗っている、外を歩いている等）においてこのアプローチを完全に使用不可能にする。更に、ロバスト性は、照明及びコントラストに非常に依存し、これは、環境又は一日の時間に劇的に依存する。

この観点から、ジェスチャ検出及び認識に対する新しいアプローチが、ここで提案される。このアプローチの本質的フィーチャは、皮膚及び身体伝導度並びに／又は姿勢若しくはジェスチャを認識するための時間の変化の使用である。

図１は、前述の一般的な原理によって異なる手のジェスチャを検出するジェスチャ検出装置１１０を概略的に示す。ジェスチャ検出装置１１０は、４つの電極１２０Ａ、１２０Ｂ、１２０Ｃ及び１２０Ｄが固定の場所において一体化されている第１の可撓性キャリア又はパッチ１１１を有する。第１の可撓性パッチ１１１は、図１の左側部分に示されるようにユーザの手１の上側に取り付けられる。

加えて、ジェスチャ検出装置１１０は、単一の電極１２０Ｅを持つ第２の可撓性パッチ１１２を有し、前記パッチ１１２は、図１の右側部分に示されるように手のひら／手首に取り付けられる（図１が同じ手１の上面図及び底面図を示すことに注意すべきである）。

提案された方法の基本原理は、ユーザの皮膚上に配置された２つの点（コネクタ）の間の伝導度（又は抵抗）の測定である。ジェスチャ検出装置１１０を用いて、例えば、いずれか２つの電極の間の伝導度（例えば電極１２０Ａと１２０Ｂとの間の伝導度Ｓ_AB）が測定されることができる。前記ユーザが手の姿勢を変化させると、例えば皮膚が二点間で伸びるため前記伝導度も変化する。異なるジェスチャは、前記伝導度に異なる効果を持ち、異なるジェスチャのいくつかの例が図２に示される。

図３は、本発明によるジェスチャ認識システム１００を概略的に示す。ジェスチャ認識システム１００は、２つの主要なコンポーネント、すなわち、１．ジェスチャ認識に対して必要とされる生データを提供するジェスチャ検出装置１１０と、２．ジェスチャ検出装置１１０により提供された測定データを評価するようにプログラムされたデータ処理装置１５０（又は"認識エンジン"）とを有する。

ジェスチャ検出装置１１０は、例えば図１の電極１２０Ａ−１２０Ｅを持つ弾性パッチ１１１及び１１２により実現される、伝導度測定ユニットを有する。更に、これは、前記伝導度測定ユニットにより提供された測定データをデータ処理装置１５０に通信する無線通信ユニット１２０（図１に示されない）を有する。更に、バッテリが、前記通信ユニットに電力を供給し、伝導度を測定するのに必要とされる。

データ処理装置１５０の結果に基づいて、様々なコンポーネント及び／又はプロセスが、他のモジュール１６０において制御されることができる。これらのモジュール１６０及びデータ処理装置１５０は、例えば、媒体層１７０に属することができる。

図４は、データ処理装置１５０'がジェスチャ検出装置１１０'と一体化される、変更されたジェスチャ認識システム１００'を示す。無線通信ユニット１２０は、認識プロセスの結果を被制御装置１７０に通信するのに使用されることができる。

図４の実施例において、前記ユーザにより着用される前記装置は、何らかの処理パワーを必要とする。しかしながら、生データが送信される必要が無いので、データ転送は、大幅に低減される。

本発明の上の実施例は、様々な形に変更されることができる。例えば、伝導度は、二点間でのみ測定される場合、多くのジェスチャは、伝導度に対して同じ又は非常に小さい効果のみを持つので、認識されることができるジェスチャのセットは、かなり限定される。２つの測定点（電極）の適切な場所も、認識可能な手の姿勢のセットに影響を与える。この理由で、伝導度が、２より多い点の間で測定されることは、好ましい。

皮膚の伝導度は、多くの要因により影響を受け、したがって、即時の伝導度を測定することは、通常、（たとえ較正の直後だとしても）ジェスチャの良好な推定を与えない。代わりに、短い時間期間にわたる値の範囲が、測定されることができる。この値の"ストリング"は、ジェスチャを認識するのに使用されることができる。フラットタッチパネル上の２次元ジェスチャを認識するのに使用される技術が、このような値のストリングを認識するのに使用されることができる。例えば、ＳＶＭ（サポートベクターマシン）法は、このために使用されることができる。この方法に関する細部は、文献（例えばCorinna Cortes and V. Vapnik, "Support-Vector Networks", Machine Learning, 20, 1995）に見つけられることができる。

更に、伝導度の変化が、決定されることができる。この変化は、あるジェスチャから他のジェスチャへの遷移（例えば拳から開いた手のひらへの遷移）中、又はジェスチャが既に行われている場合のいずれかに測定されることができる。

図１は、可撓性の薄い装置１１０が（医療パッチと同様に）単純に皮膚に"くっつけられる"実施例を示す。手における付着に依存して、手首の周りに巻きつけられるリストバンドの形式で作られた"リストバンドユーザインタフェース"設計が、代わりに好適でありうる。

要約すると、本発明は、ジェスチャベースのインタラクションをサポートする控えめな方法を開示する。前記方法は、例えば指及び手の姿勢（例えば拳、開いた手のひら、ＯＫ等）を識別することを可能にする。これは前記ユーザの身体上の少数のスポットにおいて皮膚及び身体の伝導度を測定することに基づく。皮膚及び身体の伝導度の差に基づいて、特定の姿勢が一意的に識別されることができる。

本発明の本質的なフィーチャは、前記方法の拡張性であり、すなわち所要の精度及び所要のジェスチャのセットに基づいて、伝導度が測定される所要の接点の場所及び数が、推定されることができる。最も単純な場合に、２つの接点のみが要求される。したがって、軽量民生用アプリケーションに対して、無線通信を備えた単純な平らなパッチのような装置が、作成されることができる。

本発明によるユーザインタフェースは、例えば、ＣＬ装置（タッチレスインタラクションから利益を得るキッチン器具、ｍｐ３プレイヤのような携帯型装置等）及びヘルスケア装置等を含む異なる器具及びシステムとの単純な楽なジェスチャインタラクションをサポートするのに使用されることができる。

最終的に、本出願において、用語"有する"が他の要素又はステップを除外せず、不定冠詞"１つの"が複数を除外せず、単一のプロセッサ又は他のユニットが複数の手段の機能を満たしてもよいことが指摘される。本発明は、あらゆる新規な特徴的フィーチャ及び特徴的フィーチャのあらゆる組み合わせにある。更に、請求項内の参照符号は、その範囲を限定すると解釈されるべきではない。

Claims (6)

1. ユーザの身体部分のジェスチャを検出するジェスチャ認識システムであって、当該システムは、
   前記身体部分における皮膚の第１領域と電気的に接続される第１電極、及び、前記身体部分における皮膚の、前記第１領域と異なる第２領域と、電気的に接続される第２電極を有し、
   前記ジェスチャの検出が、前記第１電極と前記第２電極との間の電気伝導度を測定することを含み、前記ジェスチャが、前記身体部分の前記皮膚の特定の領域の伸び又は前記身体部分の前記皮膚の他の特定の領域の縮みを含み、
   前記電気伝導度が前記伸び又は前記縮みに依存する、
   ジェスチャ認識システム。
2. 前記ジェスチャの検出が、ある期間にわたる前記電気伝導度の変化の検出を含む、請求項１に記載のジェスチャ認識システム。
3. 前記第１電極及び前記第２電極は前記システムの使用中に可撓性キャリアによって前記皮膚に取り付けられる、請求項１又は請求項２に記載のジェスチャ認識システム。
4. ユーザの身体部分のジェスチャを検出するための方法であって、当該方法は、前記身体部分における皮膚の第１領域と電気的に接続される第１電極、及び、前記身体部分における皮膚の、前記第１領域と異なる第２領域と、電気的に接続される第２電極を使用し、
   前記ジェスチャの検出が、前記第１電極と前記第２電極との間の電気伝導度を測定することを含み、前記ジェスチャが、前記身体部分の前記皮膚の特定の領域の伸び又は前記身体部分の前記皮膚の他の特定の領域の縮みを含み、
   前記電気伝導度が前記伸び又は前記縮みに依存する、
   方法。
5. 前記ジェスチャの検出が、ある期間にわたる前記電気伝導度の変化の検出を含む、請求項４に記載の方法。
6. 前記第１電極及び前記第２電極は前記システムの使用中に可撓性キャリアによって前記皮膚に取り付けられる、請求項４又は請求項５に記載の方法。

Images