JP4430368B2 - 自由空間に作られるジェスチャを解析する方法及び装置 - Google Patents

Description

本発明は、利用できる情報が自由空間に作られたジェスチャから得られるジェスチャ解析の技術分野に関する。

例えば、ジェスチャ解析は、ジェスチャ認識であり、所謂ジェスチャ判別によるメディアプレーヤ又は他の機器へのリアルタイム（実時間）コマンド（命令）入力を行う時に実行される。この解析は、ジェスチャを伴う人体（ボディ）により作られる信号から特定のジェスチャのサインを得ることを必要とする。この信号は、典型的には、筋電図描画（ElectroMyoGraphic：以下、ＥＭＧと略す場合がある）信号であり、ジェスチャを作り出す筋肉領域における皮膚の表面において検出される。

更に、一般的な分野に於ける人体運動解析にあっては、初期の研究の大部分は、医療用アプリケーションであり、特に整形外科及び人工補綴制御等で行われていた。これらにあっては、この種の解析は管理された環境において明確に定めた運動をする患者に対して行われる。特に、これらの運動は人体の固定基準部分から解析される。例えば、前腕の運動は、一般に肘又は肩を、例えば台を使用して基準点に静止させて行われる。このように制約された状態では、運動解析は自由空間で作られるジェスチャとは言えない。これに対して、ジェスチャにおいては、人体及び肢の絶対基準又は基点を必要とすることなく自由運動が許される。

最近、特に制御装置又は人体の運動にフィードバックを与えるため、自由空間において作られるジェスチャから利用可能な情報を引き出すことが可能なマン−マシンインタフェース技術に対する要求が高まっている。例えば、このようなマン−マシンインタフェースは、音楽／ビデオ（メディア）プレーヤ機能、ビデオゲーム、シミュレータ、パーソナルコンピュータ、家電機器等への操作命令を出すアプリケーションがあり、また音楽及びその他の芸術的表現の作成にも使用可能であるが、本発明はこれらに何ら限定されるものではない。

このような状況において、自由空間におけるジェスチャから有用な情報を抽出することは、人体の一部が固定基準点に身体的又は物理的に制約された状況では問題とされなかった技術的な挑戦を必要とする。特に、センサ出力における生データ信号から受け入れ可能な信頼性及び速度で適切なサインを作り、その作られたサインから対応するジェスチャを判別するには、何か有効なアルゴリズムが必要である。

特に、このアルゴリズムでは２つの動作モードで動作する。その１つは、学習又は訓練モードであり、選択された１セットのジェスチャと、対応する生データ信号から抽出されたその最終情報との相関を確立する。今１つは、認識モードであり、学習モードで取得した相関を利用して、その対応するジェスチャからコマンドのような特定の最終情報を判別することである。

３次元空間における腕の動きを解析する既知の技術の一例は、Proceeding of the IEEE Conference on Multimedia and Exposition, 2000に出版されたO. A. Alsayeghによる「ＥＭＧに基づくヒューマン−マシンインタフェースシステム」と題する論文に開示されている。このアプローチでは、ＥＭＧ電極が肩及び腕の関節に配置され、それらの出力信号は前処理段階で周波数フィルタリングされる。次に、それらの包絡線を抽出する。ローカル（部分）及びグローバル（全体）の最大値及び最小値（極値）を代表する制御点を包絡線から抽出する。最後に、一時的なサインを、記録された極値の時間ベースで作り、対応するジェスチャを判別する。更に詳しくいえば、前処理されたＥＭＧ信号は、包絡線の２つの連続する極値間の各時間間隔の時間積分である。次に、対象物のそれぞれ異なる筋肉に対応する３つの相互に直交する軸により定義される特徴空間にプロットを行う。これらの筋肉の各々について、包絡線信号の特定の時間積分を対応する軸にプロットする。それぞれの特定のジェスチャに対して、連続するプロット点は、その空間における楕円形を形成し、これがジェスチャのサインを構成する。次に、これらの楕円形は、将来のジェスチャの基準として作用する。研究の結果、上述する方法により１２の異なる腕のジェスチャが認識可能であることが判明した。

しかしながら、上述した従来技術では、ジェスチャを高速及び正確に認識することが困難であるという課題があった。

そこで、本発明は、一層明確なジェスチャ認識が可能なジェスチャ認識方法及び装置を提供することを目的とする。すなわち、本発明は、異なるアプローチを意図するものであり、これに限定するものではないが、原理的には高速且つ正確なジェスチャ認識を実現するとともに、主に手の動きを含む如く、余り明確でないジェスチャでも使用可能にする。本発明による技術は、ジェスチャを作り出す対象及びインタフェースされる電子機器間の高度に応答性が優れ且つ直感的な相互作用を得ることができ、民生分野、業務分野及び研究分野へのアプリケーションに効果的に使用可能である。

特に、第１の発明のジェスチャのサイン抽出方法は、ジェスチャを作り出す筋肉運動を表す少なくとも１つの時間進展信号を得て、該時間進展信号により得られる少なくとも１つのパラメータ値を決定することにより、自由空間で作られたジェスチャのサインを抽出するジェスチャのサイン抽出方法であって、前記時間進展信号を複数のサブフレームに分割するステップと、いくつかのサブフレームに対して、定められたサブフレームの少なくとも一部に亘る前記時間進展信号により得られる少なくとも１つのパラメータ値を決定するステップと、前記パラメータ値を前記定められたサブフレームに特に割り当てた次元に沿うベクトルの成分として表現するステップとを有し、その結果得られるベクトルが、そのジェスチャのサインを形成し、更に、ジェスチャ判別モードを設け、学習モードで取得した前もって学習したジェスチャのセットの中から解析されたジェスチャを判別し、各学習したジェスチャはサインベクトルとして表現され、判別中のジェスチャの判別の決定は、判別中のジェスチャがまだ能動的な前記時間進展信号として生じている間に行われることを特徴とする。

付随的な特徴は、以下のとおりである。すなわち、パラメータ値を決定しそれをベクトルの成分として表現するステップは、時間進展信号が進行中にひき続くサブフレームを占有するまで繰り返し実行され、その結果得られるサインを形成するベクトルが時間進展信号の進行中に増加する次元数を獲得するようにする。

学習した各ジェスチャは、その学習したサインが取得され、決定されたサブフレーム数に対応する決定された次元数を有することができ、判別の決定は、その決定されたサブフレーム数に関し、判別中のジェスチャの時間進展信号によりカバーされる、より少ないサブフレーム数に基づいて行われる。

更にこの方法は、学習される所定クラスのジェスチャに対して次のステップからなるジェスチャ学習モードにより構成される。すなわち、反復的にそのジェスチャを作りそのサインを取得することにより、そのクラスのジェスチャの１セットのサインを取得し、そのセットのサインを蓄積し、及びその学習したクラスのジェスチャ、更にオプションでそのクラスのジェスチャに関連するコマンドに対応するそのセットのサインに関する対応を蓄積する。

更にその方法は、判別中のジェスチャが現に作られているジェスチャ判別モードを備え、それは現在判別中のジェスチャの少なくとも部分サインベクトルを生成するステップ、この部分サインベクトルは現在利用可能な数のパラメータ値に制限され、これにより学習したサインベクトルより少ない次元を有し、作られた少なくとも１つの部分サインベクトルに対し、多くの学習したサインのうちどのサインがその部分サインベクトルに最も適合するか決定するステップ、及びその決定ステップを使用して判別中のジェスチャのサインの決定を行うステップを備えている。

１つの変形例では、決定は、学習したサインを取得するのに使用された合計サブフレーム数よりも少ない制限された固定のサブフレーム数により定められる期間中に取得した部分サイン数に基づいて行うことができる。

他の変形例では、決定は、学習したサインの中でどのサインが最もその部分サインベクトルに適合するかを決定するステップの結果の関数で可変するサブフレーム数をカバーする期間に亘り取得した部分サイン数から行われる。

更に好ましくは、この方法は、時間進展信号により作られる包絡線により抽出するステップを備え、このパラメータ値は、その包絡線のパラメータ値である。例えば、このパラメータ値は、包絡線の信号レベル、包絡線のパワーレベル、包絡線のエネルギレベルの少なくとも１つの値であり、その値は、好ましくは検討中のサブフレームの期間中に亘り平均化される。

このジェスチャ判別モードにおける各サブフレームの期間は、好ましくは学習モードにおける対応するサブフレームの期間と等しくされ、また、サブフレームは、実質的に均一な期間とすることができる。更にこの方法は、時間進展信号の振幅における閾値のクロシング（交差）を検出してジェスチャの開始を監視するステップを備え、最初のサブフレームの開始その閾値のクロシング時間と一致させる。

この時間進展信号は、複数のセンサの１つからの筋電図描画（ＥＭＧ）信号であり、各センサの出力信号は、独立チャネルとして処理される。時間進展信号は、下肢、好ましくは前腕及び更に好ましくは前腕の頂部近傍に取り付けられた少なくとも１個のセンサから取得し、肢、好ましくは手首、手又は指の末端の動きを含むジェスチャを表す信号を生成する。

時間進展信号は、相反する筋肉位置におけるセンサから取得することが可能である。この方法は、機器にコマンド（命令）を与えるために応用でき、少なくとも１つのサインが特定のコマンドに対応する。ジェスチャは、機器に対して、例えばplay（再生）、skip（飛ばし）、pause（一時停止）等の動作状態にさせる、選択されたトリガコマンドに対応させることができる。少なくとも１つのサインは、指差し動作、手のひらを開く動作、手首の回転、手を握る動作、手首を内側に曲げる動作、手首を外側に曲げる動作のジェスチャのうちの１つのジェスチャから抽出することが可能である。

この方法は、例えば「play：再生」を命令するための指差し動作、例えば「stop：停止」を命令するための手のひらを開く、例えば「fast forward：早送り」、「rewind：巻き戻し」又は「song seek/fast play：曲検索／高速再生」を命令するための手首の回転、例えば「pause/mute：一時停止／消音」のための手のひらの閉じ、例えば「next track：次トラック」又は「step volume up：ボリューム（音量）のステップ状アップ」のための手首の（内側への）曲げ及び「previous track：前トラック」又は「step volume down：ボリューム（音量）のステップダウン」のための手首の外側への曲げの一連のコマンドジェスチャから取った少なくとも１つのコマンドによるメディアプレーヤのコマンド（命令）に使用可能である。

更に、この方法は、ジェスチャを作り出すために含まれる筋肉運動を表す信号から実質的に連続した可変のコマンド出力を発生するステップを備えることが可能である。この実質的に連続して変化するコマンド出力は、ジェスチャの作成に含まれる筋肉運動を表す信号の自然振動の関数及び／又はその信号の包絡線の関数として変化するようにすることも可能である。更にこの実質的に連続して変化するコマンド出力は、ジェスチャ判別により作られたコマンドと独立にすることが可能である。この実質的に連続して変化するコマンドパラメータは、ジェスチャ判別により作られたコマンドに関連する量を制御するようにすることが可能である。

実質的に連続して変化するコマンド出力が抽出される信号及びサインが取得される信号は、例えばそれぞれの腕の如く相互に異なる筋肉領域（部位）から源を発することが可能である。この実質的に連続して変化するコマンド出力が抽出される信号及びサインが取得される信号は、例えば同じ腕の如く共通の筋肉領域から源を発することが可能である。

第２の発明のジェスチャのサイン取得装置は、ジェスチャの作成に関与する筋肉運動を表す少なくとも１つの時間進展信号を抽出し、該時間進展信号により生み出される少なくとも１つのパラメータを決定することにより、自由空間で作られるジェスチャのサインを得るジェスチャのサイン取得装置において、前記時間進展信号を複数のサブフレームに時間分割する手段と、定められたサブフレームの一部に亘る前記時間進展信号により生み出される少なくとも１つのパラメータ値を決定する手段と、前記定められたサブフレームに特に割り当てられた次元に沿うベクトル成分として当該パラメータ値を表す手段とを備え、その結果得られるベクトルは、前記ジェスチャのサインを形成し、更に、ジェスチャ判別モードを設け、学習モードで取得した前もって学習したジェスチャのセットの中から解析されたジェスチャを判別し、各学習したジェスチャはサインベクトルとして表現され、判別中のジェスチャの判別の決定は、判別中のジェスチャがまだ能動的な前記時間進展信号として生じている間に行われることを特徴とする。

本発明の他の実施例によると、本発明は上述した実施例による方法を実行する装置に関する。本発明の更に他の実施例によると、本発明は上述した実施例による装置に関し、人が装着可能な（ウェアラブル）ユニットに収められ、更に抽出されたコマンド入力をコマンド実行装置に送る手段を備えている。

本発明の更に他の実施例によると、本発明は、ユーザのコマンドに応答する装着可能な装置に関し、上述した実施例における何れかによる装置を備えることを特徴とする。本発明の更に他の実施例によると、本発明は、上述した実施例の何れかによる装置に関し、ユーザのコマンド入力を装置に送ることを特徴とする。

第３の発明のコンピュータプログラムは、デジタルコンピュータのメモリ内にローディングされるコンピュータプログラムにおいて、そのコンピュータプログラムがコンピュータ上で走らされるとき、請求項１乃至２５のいずれか１項に記載のステップを前記コンピュータに実行させる。

本発明によれば、高速且つ正確なジェスチャ認識を実現するとともに、主に手の動きを含む如く、余り明確でないジェスチャでも使用可能にする。更に本発明による技術は、ジェスチャを作り出す対象及びインタフェースされる電子機器間の高度に応答性が優れ且つ直感的な相互作用を得ることができ、民生用分野、業務用分野及び研究分野へのアプリケーションに効果的に使用可能である。

以下、本発明による自由空間に作られるジェスチャを解析する方法及び装置の実施例の構成及び動作を、添付図面を参照して詳細に説明する。図１を参照すると、対象物（サブジェクト）１は、本発明により解析されるジェスチャを作り出すものである。このジェスチャは、腕（アーム）の前腕１ａ、手首１ｂ及び手１ｃのレベルにおける運動が関与する。この例において、ジェスチャは、手首１ｂを実質的に曲げることなく手１ｃを開いており、ある定められたコマンドを表す。このジェスチャを作り出す全体の筋肉運動は、前腕１ａの上部近傍に配置された２個１セットの筋電図描画（ＥＭＧ）センサ２ａ、２ｂにより検出される。典型的には、これらのセンサ２ａ、２ｂは、例えばセンサ取付アームバンド４の内側の適切な位置に配置させることにより、その領域の相反する筋肉からの信号を検出するように構成されている。それ以外の数のセンサを使用することも可能である。

ここで、運動は自由空間で行われ、したがって腕又は人体（身体）の絶対基準位置はなく、同じジェスチャを、例えば顔の前であっても作ることができることに注目されたい。

各センサ２ａ、２ｂから取得したデータは、デジタル化され且つフォーマット化されて、例えばブルートゥース「Bluetooth」の如き無線転送プロトコルによりデータ取得インタフェース６へ送られ、ここで生の信号が抽出され前処理される。次に、この信号は、ジェスチャ解析ユニット８に供給され、ここで現在作られているジェスチャとそれが表すコマンドとの間の相関が確立される。この相関の結果は、コマンド（命令）発生／フォーマット化ユニット１０へ送られ、ここでそのコマンドをそれが意図する、例えばメディアプレーヤ等の被制御装置１２により利用可能な形態にする。

ジェスチャ解析ユニット８により実行される一方のセンサ（例えばセンサ２ｂ）からの信号に対する基本な解析を図２に示す。同じ解析は、他のセンサ（例えばセンサ２ａ）からの信号に対しても並行して実行されることが理解されよう。これらのセンサ２ａ、２ｂからの前処理された生信号は、データ取得インタフェース６による前処理に供され、前処理されたＥＭＧ信号（以下、ＥＭＧ信号という）１４としてジェスチャ解析ユニット８へ送られる。このＥＭＧ信号１４は、一般に時間進展信号（time-evolving signal）と呼ばれるものの例をなす。

ジェスチャ解析ユニット８において、ＥＭＧ信号１４のレベルは絶えず監視され、そのレベルが所定の第１の閾値Sthreshを超えると、直ちに信号解析プログラムをトリガする。特に、その閾値Sthreshと交差（クロス）すると、時間ｔ０からスタートする時間カウントが開始される。この時間ｔ０は、時間窓又はフレームＦの開始を規定する。

ＥＭＧ信号１４の包絡線１６は、当業者が周知の標準的な信号フィルタ技術を使用して抽出される。この包絡線１６は、時間変動信号（典型的には電圧）であり、これは通常のＥＭＧ信号１４の振動の周期よりも十分に長い時間スケールでのＥＭＧ信号１４の変調又は変動を表す。この包絡線１６のカーブ（曲線）は、一般に図示の如くＥＭＧ信号１４又はその二乗の通常の山（ピーク）及び谷値を有する。このＥＭＧ信号１４は、最初に整流してもよい。

時間ｔ０からスタートして進展するフレームＦは、連続するサブフレームＳＦ１〜ＳＦ８に分割される。隣接するサブフレームの境界における時間ｔ０〜ｔ８は、予め設定される。一例として、各サブフレームＳＦ１〜ＳＦ８は、同じ時間幅Ｄを有するが、この幅Ｄは異なるサブフレームに対して一様である必要はない。この幅Ｄは、ジェスチャの事前解析により実験的に固定され、少なくとも選択された最小数のサブフレームが包絡線１６の存在中に作られるように選択される。このサブフレームは、包絡線の１セットのパラメータ値中に包絡線のサインが得られるようにし、各値は、その対応するサブフレームＳＦ１〜ＳＦ８中に包絡線の特徴部を反映する。特に、各値は、ベクトル空間である特徴空間１８の各直交次元に沿う大きさを表す。サインは、典型的には全ての直交次元の値が０である点である特徴空間の基点に対するベクトル量で表される。したがって、古典的な数学ルールによると、サインのサインベクトル空間は、ｎ個１セットの直交単位ベクトルSiで定義される（ここで、ｉは、１〜ｎの全ての値である）。これにより、サインベクトルは、点Ｓ（Psf1・s1，Psf2・s2，Psf3・s3，・・・，Psfn・sn）で表示される。ここで、各係数Psfiは、パラメータ値と等しいスカラー係数（特別の単位）であり、サブフレームＳＦｉに亘る包絡線の部分に決定される。

ユークリッド空間において、基点からのサインベクトルの大きさ｜Ｓ｜は、単に次式で表される。

｜Ｓ｜＝［（Psw1）２＋（Psw2）２＋（Psw3）２，・・・，＋（Pswn）２］１／２
この例において、検討されるパラメータPiは、対応するサブフレームＳＦｉを占有する部分の包絡線１６の時間平均化された信号レベル（電圧）である。この包絡線信号の平均化は、種々の異なる方法で行うことが可能であり、例えば、検討中のサブフレームに亘る１セットのサンプルされた信号値の平均化（最も簡単なフォームでは、サブフレームの初期及び最終信号値の単なる平均値を取る）、又は進展する信号の時間積分をサブフレームに亘り行い且つその幅Ｄで割る。

本発明の変形例では、包絡線信号のレベルの代わりに、パラメータは、例えば次の１つ又は組合せであってもよい。すなわち、
−検討するサブフレームに亘る包絡線１６の平均パワー（この場合の包絡線１６は、生信号レベルを、好ましくは整流し二乗して得る）
−包絡線１６のエネルギ
−信号レベル、パワー又はエネルギの変化率
−その他
同様に、パラメータの時間平均化は、次の数学的特性により置換可能である。例えば、
−サブフレーム内の最小値又は最大値
−サブフレーム内の所定セットのサンプル値の中間値
−その他
包絡線１６は、そのパラメータ値を決定するＥＭＧ信号１４の好適形態をなすが、包絡線１６に頼ることなく、ＥＭＧ信号１４のパラメータを検討する変形例を考慮することも可能であり、このパラメータは、この場合にはＥＭＣ信号１４から直接得る。また、このパラメータは、上述したパラメータの何れか、又はＥＭＧ信号１４の周波数特性、例えばサブフレーム中の平均時間、その他であってもよい。

サインは、包絡線１６が時間的に進展し、順次のサブフレームを占有するに連れて、リアルタイム、すなわち進行形で取得される。したがって、包絡線１６がサブフレームＳＦ１（時間ｔ１）を超えて時間的に進展するや否や、時間平均化された包絡線１６の信号レベルPsf1は、そのサブフレームＳＦ１で決定され（特別単位で）、そしてサインベクトルＳの第１の直交次元に特別割り当てられたメモリ部に蓄積される。この手順は、サイクル状に反復され、各反復はサインベクトルＳの次の直交成分値を取得することとなる。

サインベクトルＳは、それぞれ多次元の特徴空間（これは現実のｎ次元を有する）１８を形成する直交軸APsf1、APsf2、APsf3の直交成分の最初の３つを図的に表す。この目的で、各軸APsfiは、決定されたパラメータの特別単位で進められる。この表現において、成分APsfiの大きさは、その大きさが決定されるや否や対応する軸APsfiに沿ってプロットされ、特に成分APsfiの各大きさは、その直交軸APsfiに沿ってプロットされるとき、その表現中に示される。

その特徴空間表現におけるサインベクトルＳは、基点に対する単一のマッピングされた点の位置として表される。この特徴空間表現におけるこの点は、ベクトル成分Psf1の第１の大きさPsf1が決定されるや否や存在し始め、その点はリアルタイムで進展し、更に多くの値Psfiが利用可能になるに連れて、特徴空間１８の次元数が順次増加する。

ベクトル成分の大きさが利用可能になるとき、インクレメント状に包絡線のサインベクトルＳを取得する上述したアプローチは、ジェスチャをリアルタイムで判別するのに有効である。もし必要であれば、包絡線のサインを完全に明示する完全なｎベクトル成分のサブセット（部分集合）のみで、すなわち詳細を後述する如く、全ての可能な時間サブフレームを検討する前にジェスチャを得ることを可能にする。

複数のセンサ２ａ、２ｂからの信号を並列に管理するとき、上述したサインベクトル取得手順は、対応する抽出された各包絡線のマルチチャネル解析を単に合成する。特に、例えば２センサシステムでは、各３個のセンサ２ａ、２ｂからのＥＭＧ信号１４は、それぞれ各２包絡線に同じであるサブフレームＳＦ１〜ＳＦ８に分割される対応する包絡線を生じる。

そして、この各３個の２センサは、同時にサブフレームＳＦｉ毎に２つのパラメータ値Pａswi、Pｂswiを生じ、各々サインベクトルＳの対応する直交成分の大きさとなる。一般的に、ｎサブフレーム及びｊセンサチャネルの完全なサインは、ｎ＊ｊ直交成分を有し、すなわち、特徴空間表現にｎ＊ｊ次元を占有し、そして一度にｊ直交ベクトルのセットが取得される。したがって、２センサの完全なサインは、Ｓ（Pａsf1，Pｂsf1，Pａsf2，Pｂsf2，Pａsf3，Pｂsf3，・・・，Pａsfn，Pｂsfn）により与えられ、ここで、各Ｐ値は、サインベクトル空間の対応する単位ベクトル（ここでは、簡単のために示さない）の係数（決定されたパラメータ値）である。換言すると、サインベクトルＳは、対応する次元に対してインデックスされたＰ係数値として蓄積される。

次に、このサイン形成技術を、例えば１セットの学習したジェスチャクラスから解析中のジェスチャのクラスを認識するためのジェスチャ判別アプリケーションに、どのように使用するかについて説明する。このアプリケーションは、学習モード（又は訓練モードとも呼ばれる）と判別モードよりなる。ここで、「クラス」の用語は、ジェスチャのタイプを判別するために使用され、ここで使用される約束では、考慮するジェスチャの各特別タイプ（例えば、指差し、手首の回転等）に、それぞれの指定クラスＧｘが割り当てられる。ここで、サフィックスｘは、ジェスチャのユニークな識別子である。この手順は、時間幅Ｄ及びサブフレームＳＦが、実験的に予め決定されている段階からスタートする。これらのファクタは、完全なフレームＦの長さに対応して検討され、それ自身は開始閾値Sthresh及び包絡線レベルが所定レベルから低下することに対応する終了閾値Tthreshの表現で決定される。

学習モードでは、包絡線は予め定められたサブフレームＳＦ１〜ＳＦ８の全てについて解析され、その後に参照するための最も完全なフォームを取得する。学習モードは、管理されるタイプであり、入力として供給されるそのクラス及び、更にもし必要であれば、このジェスチャのクラスに関連する特定コマンドとの相関においてジェスチャが学習される。

学習モードのために可能なプロトコルは、図３のフローチャートにより与えられる。このプロトコルは、学習されるジェスチャのクラスである指定Ｇｋの選択（ステップＡ２）及びもし必要ならば、選択されたジェスチャのクラスに関連するコマンドＣｋ（ステップＡ４）で始まる。これらが管理された学習パラメータをなす。次に、センサ取付アームバンド４が装着された対象に対応するクラスのジェスチャを行わせる（ステップＡ６）。そして、そのジェスチャの２ｎ次元のサインを決定する（ステップＡ８）。この例における２ｎ次元は、各２センサ２ａ、２ｂに対しｎサブフレームＳＦ１〜ＳＦｎに亘り開発される。ステップＡ６、Ａ８を、指定回数ｙ実行され（ステップＡ１０）、そしてこのように習得したｙ個のサインＳ１、Ｓ２、Ｓ３、・・・、Ｓｙがメモリに蓄積される（ステップＡ１２）。実際問題として、蓄積される量は、各ジェスチャについて上述の如く取得されたパラメータ値である。図３は、蓄積された１つのサインＳＩのサイン内容（コンテンツ）を示し、これらは２ｎ個の値Ｓ（Pａsf1，Pｂsf1，Pａsf2，Pｂsf2，Pａsf3，Pｂsf3，・・・，Pａsfn、Pｂsfn）により構成される。

更に、メモリは、サインのセットＳ１、Ｓ２、Ｓ３、・・・、Ｓｙ及び、ｉ）ジェスチャの選択されたクラスＧｋ及び、ｉｉ）選択されたコマンドＣｋ間の対応を蓄積する（ステップＡ１２）。この結果として生じる対応は、メモリ蓄積ボックスＭＳ内に示されるようにメモリ内に蓄積される。

換言すると、メモリは、サインベクトルＳ１〜Ｓｙ、ジェスチャＧｘ及び命令Ｃｘを連結するインデックスされた対応表（テーブル）を含んでいる。ジェスチャ判別がコマンドの目的で使用されないアプリケーションにあっては、上述したコマンドＣｘとの対応は、単に無視可能である。

上述の手順は、学習される各新たなジェスチャのクラスについて同様に実行される。したがって、ｍ個の異なるジェスチャのクラスを学習する一般的な場合には、各クラスを同じ数ｙで反復されるジェスチャがサンプルされると仮定して、合計ｍ＊ｙの蓄積されたサインとなる。これらは、まとめられて学習された集成を形成し、各々特定ジェスチャ及びアプリケーションが必要とする場合には特定コマンドに相関する対応表を有する。

ジェスチャの各クラスＧｘに対して、ｙ個のサインベクトルは、個人差のために同一ではないが、ベクトル値はある共通範囲内に入る。特徴空間表現において、この共通範囲は、学習されたジェスチャＧｘに対してプロットされたｙ個のポイント（点）のクラスタに対応することとなろう。１つのクラスタの学習されたサイン点は、好ましくは最小の可能な変動を示すべきである。

学習フェーズでは、ｍ個の上述した範囲は良好に分離され、又は等価的に特徴空間におけるｍ個の対応するクラスタが良好に分離され、各学習したジェスチャが明確に区別可能にする。一旦必要とするジェスチャ数が上述の如く学習されると、ジェスチャ判別モードが開始できる。このジェスチャ判定モードにおいて、作られたジェスチャ（以下、「候補」ジェスチャ、又は判別中のジェスチャという）Ｇｃは、解析されてクラスＧを決定する。一旦判別されると、ジェスチャは、対応するコマンドＣを送るため、フィードバックを発生するため又はその他の目的に使用される。

ジェスチャ判別モードは、学習モードと同じパラメータ設定における候補ジェスチャのサインベクトルＳｃの抽出よりなる。特に、学習モードで用いられたサブフレームのタイミング及び時間幅Ｄは、ジェスチャ判別モードのために保持される。しかし、後述の如く、サブフレームの幾つかのみが一般的に検討され、判別は候補ジェスチャのサインの部分フォームに基づく。

次に、典型的には最近傍解析（nearest neighbor analysis）である比較技術をその部分サインＳｃに適用し、学習した集成のサイン中で最も近い一致を決定する。次に、候補ジェスチャＧｃは、学習した集成における一致サインの１つと同じクラスのジェスチャに源を発するとされる。

本発明の実施例によるジェスチャ判別ルーチンの中核アスペクトを、１つのセンサチャネルに対し、図４のフローチャートに示す。そして、同じ手順が全てのアクティブセンサに並列に適用される。

この手順は、開始閾値Sthreshを交差することにより判別されたジェスチャＧｃの開始を検出することによりスタートする（ステップＡ１４）。包絡線パラメータの決定に必要なデータは、利用のために連続ベースでサンプル及び累積され（ステップＡ１６）、更にｉ番目のサブフレームＳＦｉに関連する変数インデックスｉを１に設定する（ステップＡ１８）。現在のサブフレームＳＦｉが終了する瞬間が検出され（ステップＡ２０）、そのサブフレームＳＦｉの包絡線部のパラメータ値Psfiが決定される（ステップＡ２２）。この値は、サインベクトルＳｃに関連する単位ベクトルの係数である（ステップＡ２４）。次に、最近傍解析を実行し、候補サインベクトルの最新フォーム間のベクトル分離を学習した集成のサインベクトルと比較する。部分的に占有された次元、すなわち最初のｉベクトル成分に対し解析を行うことに注目されたい。マルチチャネルの場合には、ステップＡ２４における他のセンサからの成分を、ステップＡ２６で実行される最近傍解析に組み込む。最近傍解析において、学習された集成のサインは、標準技術を使用して、解析される現在のサインＳｃと同じ番号の次元を有するフォームに利用される。

学習された集成における判別された最近傍に関連するジェスチャのクラスが、後に参照するために記録される（ステップＡ２８）。次に、手順をステップＡ２０にループバックして、次のサブフレームに対して上述した動作を反復する。ステップＡ１４〜Ａ２４も実行され、学習モードにおけるサインベクトルを取得し、この場合にはこれらのステップに続いて図３の、例えばステップＡ１０等が行われる。

強制的に、候補サインＧｃと学習された集成の最も近いサイン間のベクトル空間におけるユークリッド距離が予め決められた制限値δを超えてはならないようにしてもよい。これにより、さもなければ許容できない判別誤差率を生じ得るスプリアス又は不十分に判別されるジェスチャを取り除くようにする。

この例において、最近傍解析（ステップＡ２６）における最善の一致確認が、ルーチンにより得られる。すなわち、候補サインベクトルＧｃ及び学習された集成の各サインベクトル間の分離を計算し、次にこの分離が最小となる学習された集成のサインベクトルを選択する。

ステップＡ２８の反復により、幾つかの最近傍を判別した後、決定アルゴリズムが働くようにする（ステップＡ３０）。その目的は、ステップＡ２８の反復により決定されたそれぞれの最近傍値内で学習された集成の最も近傍する１つを選択することによる決定を行うことであるが、これらは同じである必要はない。そのアルゴリズムが一度選択を行うと、その選択された最近傍サインに帰するジェスチャのクラスは、対応表への適切な入力から回収され、候補サインベクトルに割り当てられる（ステップＡ３２）。

好ましい実施例では、候補サインを判別するサーチは、進行形、すなわち図４の右の時間スケールから分かるように、リアルタイムで行われることに注目されたい。ここで、最近傍解析（ステップＡ２８）の結果は、実質的に対応するサブフレームが終わると直ちに得られる。小さい遅延時間εは、ステップＡ２０〜Ａ２８の実行時間に対応する。換言すると、この手順は、最近傍解析又は等価マッチング技法を行う前に候補サインベクトルの完全なセットのベクトル成分を得るまで待つ必要はない。これは、典型的な実用状態で、最初のサブフレームはジェスチャのクラスを識別するため十分に信頼できる判別を提供することは困難であるが、候補ジェスチャの包絡線が終了閾値Tthreshに到達する十分前にクラスが判別できる場合が多いという、出願人の観測に従っている。

１つの形態では、これは、候補ジェスチャの包絡線の進展をカバーするｎ個のサブフレーム間の制限されたセットのサブフレームに基づいて判別の決定を前もって確立することにより実現される。例えば、最初のサブフレームＳＦ１からスタートする最初の連続するｒ個のサブフレームから取ったパラメータ値に基づいて決定を行う必要を強制する。ここで、ｒ＜ｎである。この形態の実行は、図５に例示されるが、このケースではｒ＝４サブフレームである。

最初のサブフレームＳＦ１のパラメータが取得されるや否や、対応する部分サインベクトルＳが最初の次元に対して確立される。この値は、上述の如く対応する次元に対し、学習された集成のサインベクトルと比較（最近傍解析ステップＡ２６）が行われる。この早期の比較結果は、最も近いマッチングのため対応するジェスチャとして記録される。次のサブフレームＳＦ２のパラメータ値が取得されると、直ちに上述の動作が反復される。この場合には、対応する部分サインベクトルは、第１及び第２の直交次元の両方に確立される。第２の比較結果は、同様に記録される。

このように、この手順がサブフレームＳＦｒまでの各サブフレームに対して継続される。そして、毎回の判別のために提出されるサインベクトルは、既に取得済みの成分と組み立てられ、現在取得された成分により補足される。

ｒ個の全てのサブフレームＳＦ１〜ＳＦｒのプロセス（処理）が完了すると、ｒ個のセットの判別結果が得られ、これから最終決定が行われる（決定アルゴリズムのステップＡ３０）。この決定は、異なる決定アルゴリズム及び統計技術により行うことが可能である。また、順次得られる結果は、より多くのパラメータ値を含むことにより一層信頼性が高くなるという事実に基づいて、重み付け係数を適用可能である。

上述は、判別決定プロセス発生の終りが、時間的に制限された（少なくとも最初の出力決定が出力される、利用されるデータ取得は、時間ｔｒに終わる）一例である。その効果の１つは、時点ｔ０からスタートする既知及び一定期間の後に出力される決定を得ることが保証されることである。

他のアプローチによると、判別の決定時点は、時間的に可変し、その時点は現在処分される結果との一貫性により決定される。この実行形態（フォーム）は、図６に示されている。ここで、この手順は、連続するサブフレームに対するサインベクトル成分の確立及び毎回ジェスチャ判別を得る点に関して上述と同様である。しかし、この場合には、順次取得した判別結果は、順次比較される。予め確立された規則に従って、処分される結果が圧倒的に特定の１つのジェスチャクラスであると一旦決定されると、そのジェスチャクラスの候補ジェスチャを判別する決定が行われる。そこで、この決定は、可変数のサブフレーム処理の終りに、利用のために出力され、その数は、累積された判別結果の一貫性に依存する。サインベクトルへの入力の進展は、図６中に矢印ＳＡで示される。この矢印は、サブフレームの通過と時間的に対応して進むので、最近傍解析ステップＡ２６及び決定アルゴリズムＡ３０には、この決定アルゴリズムが判別の決定する時間までに、対応する時間フレームからより多くのベクトル成分が入力できる。このアプローチの効果は、当初一貫性に欠けると思われる信号に、より多くのサンプリングサブフレームを与えることにより、均一な高い判別の信頼性を保証することである。

両方のアプローチにおいて、更なるサブフレームからのベクトル成分が、最近傍解析に提供でき、例えば先に出力された誤った決定を訂正する可能性を提供する。これら全てのアプローチにおいて、人に対して視覚又は聴覚によるプロンプト（注意）を送り、もし得られた結果が、ｒ個のサブフレームの終り（時間制限による変形の場合）又は完全なフレームＦの終り（決定出力の可変時間による変形の場合）に満足できる結果を生じないとき、例えばもし余りにも多くの結果が強制限界δの外となるとき、そのジェスチャを反復させるようにする。

このように学習された集成のクラスで満足する相関が見つかると直ちに判別された候補ジェスチャの決定を行う可能性は、判別速度に大きく貢献し、人に対して高い応答性及び直感的なジェスチャインタフェースの印象を与える。本発明によるジェスチャ判別は、手及び手首のレベルで表現されるジェスチャの判別に特に適している。

例えば、図７Ａ、７Ｂ（（ａ）〜（ｆ））は、それぞれ上述したジェスチャ判別技法を使用して高い信頼性でジェスチャのセットの１つの判別及び識別を示し、これにより例えばパーソナル又はコンポーネントシステムオーディオＣＤ（コンパクトディスク）又はカセットプレーヤ、ビデオテープレコーダ（ＶＴＲ）、ＰＣミュージックプレーヤ等のメディアプレーヤにコマンドを与える。

図７Ａ、７Ｂに示す例において、特定のコンパクトディスクプレーヤに関連する各ジェスチャは、次の如くコマンドを伝える。
ａ）指差し＝＞play：再生（図７Ａ（ａ）参照）
ｂ）手のひらを開く＝＞stop：停止（図７Ａ（ｂ）参照）
ｃ）手首の回転（時計方向又は反時計方向）＝＞seek：検索−fast forward早送り/song search：曲検索（すなわち、ＣＤの高速再生でトラックに沿って迅速に進む）（図７Ａ（ｃ）参照）
ｄ）こぶし形成＝＞pause：一時停止又はmute：消音（図７Ｂ（ｄ）参照）
ｅ）手首の曲げ（手首の内側への曲げ）＝＞次のトラックへのジャンプ（図７Ｂ（ｅ）参照）
ｆ）手首を伸ばす（手首の外側への曲げ）＝＞前のトラックへのジャンプ（図７Ｂ（ｆ）参照）
上述した６種類のジェスチャは、直感的表現、自由空間内での実行容易性及び上述したジェスチャ判別技法により他のジェスチャから良好に識別する能力に関し、特に賢明な選択であると本願の出願人により判明された。

図８は、本発明によるジェスチャからコマンドを発する完全なシステムの基本ユニットを示す簡略ブロック図である。図８において、センサ２ａ、２ｂ及び２ｃ（単に２個であってもよい）は、センサ取付アームバンド４内に配置され、このセンサ取付アームバンド４には、更に、生ＥＭＧ信号を送信するブルートゥース（Bluetooth）無線インタフェースモジュール（アンテナ付き、以下、ブルートゥースインタフェースモジュールという）２０、及びこのブルートゥースインタフェースモジュール２０とセンサ２を駆動するバッテリ２２が設けられている。これに代わって、センサ信号は、他の無線プロトコル又は有線リンクにより送信することも可能である。この例では、センサ取付アームバンド４は、ジェスチャ判別のために必要な全ての装着可能なハードウェアを含んでいる。したがって、ブルートゥースインタフェースモジュール２０は、フォーマット化及び送信の前に生信号をデジタル化するアナログ／デジタル変換器をも組み込んでいる。変形例にあっては、センサ取付アームバンド４は、単にセンサ２ａ〜２ｃのみを含むように簡易化し、これらを別の装着可能な、例えばウエストパックの如きユニットに有線でリンクされる。このユニットは、装着可能なハードウェア用のバッテリ、センサ信号のアナログ／デジタル変換器及びブルートゥースプロトコルモジュールにより構成される。

受信側において、送信された生ＥＭＧ信号は、ブルートゥースインタフェース２４により検出され、これから生ＥＭＧ信号はそれぞれ前処理を行うフィルタ２６及び利得制御ユニット２８へ送られる。ブルートゥースインタフェース２４〜利得制御ユニット２８は、図１に示すデータ取得インタフェース６に対応する。

前処理されたＥＭＧ信号１４の包絡線１６は、包絡線抽出ユニット３０により抽出され、フレーム開始／終了検出ユニット３２と平均信号レベル決定ユニット３４の双方へ送られる。フレーム開始／終了検出ユニット３２は、その中で包絡線１６が利用される完全なフレームＦを確立する作用を有する。すなわち、それぞれ開始閾値Sthresh及び終了閾値Tthreshの交差により決定されるフレームの開始及び終了時間である。

フレーム開始／終了検出ユニット３２は、異なるサブフレームＳＦ１、ＳＦ２を確立するサブフレーム管理ユニット３６と協働する。このために、サブフレーム管理ユニット３６は、プログラマブルであり、フレームの判別に最適である適切な（数及び時間幅において）サブフレームにスライス（分割）する。更に、このサブフレーム管理ユニット３６は、信号を平均信号レベル決定ユニット３４へ送り、検討する連続するサブフレームの時間境界ｔ０、ｔ１、ｔ２、ｔ３、・・・を示す。このようにして、平均信号レベル決定ユニット３４は、供給される時間境界によるサブフレームの時間幅Ｄに対応する期間に亘り平均化された包絡線１６の信号レベルを計算する。

毎回、サブフレームの平均信号値が取得され、リアルタイムのサインベクトル形成ユニット３８に送られ、このサインベクトル形成ユニット３８は、インクレメント状にサインＳｃを発生する。このようにして取得したサインは、サインのライブラリを構成し、特に学習モードで学習された集成を形成するサイン蓄積ユニット４０及び最近傍解析又はその等価解析を実行するサイン比較／判別ユニット４２の双方に送られる。サイン比較／判別ユニット４２は、リアルタイムでサイン蓄積ユニット４０にアクセスし、現在のサイン及び蓄積されたサイン間における最近傍解析又はその他の等価な比較を行う。

サイン比較／判別ユニット４２は、リアルタイムでこのように判別した最近傍するジェスチャの関連クラスを決定ユニット４４に出力する。この決定ユニット４４は、上述した決定アルゴリズムを実行し、その決定した選択、すなわちジェスチャの選択された判別クラスをコマンド発生／フォーマット化ユニット１０に出力する。このコマンド発生／フォーマット化ユニット１０は、被制御装置１２、例えば図中のＣＤプレーヤにより認識可能な形態にコマンドをフォーマット化する。更に、このコマンド発生／フォーマット化ユニット１０は、被制御装置１２の通信ポート４６とインタフェースする通信インタフェースを備える。このポートは、また例えばブルートゥースインタフェース、赤外線又は無線周波数ポート、又はコマンド発生／フォーマット化ユニット１０に繋がる有線リンクであってもよい。

コマンド発生／フォーマット化ユニット１０は、異なるコマンドフォーマット及び通信プロトコルを蓄積することができ、ジェスチャ装置の上流部であるデータ取得インタフェース６、ジェスチャ解析ユニット８を異なるタイプ及びモデルの被制御装置１２に普遍的に適用可能にする。

装置全体の動作は、例えばパーソナルコンピュータ（ＰＣ）に見られるメモリ（記憶装置）、ＣＰＵ（中央演算処理装置）及び必要なコントローラ、インタフェースボード等により構成される中央管理ユニット４８により取り扱われる。ジェスチャ判別システム１００の異なる動作パラメータは、例えば中央管理ユニット４８へのデータ交換ポートを有するＰＣよりなるユーザコンフィギュレーションインタフェース５０により構成可能である。

上述したセンサ２〜ユーザコンフィギュレーションインタフェース５０により実行される異なる動作の少なくとも幾つかを実行するソフトウェアコードは、ＣＤ−ＲＯＭ（読出し専用メモリ）等のソフトウェアコードキャリア５２内に収められている。このソフトウェアコードキャリア５２は、中央管理ユニット４８の適切なリーダ（読出し装置）内に挿入可能であり、これにより実行可能なプログラムを含むそのソフトウェアコードがロードされ、上述の如きジェスチャ判別又はその実施例の一部を実行する。

生ＥＭＧ信号又は筋肉運動を表すその他の信号は、上述したジェスチャ解析技法と別に又は一体に使用でき、図９の例に示す応答システムへのコマンド又は信号入力のより一層連続した形態を表現することが可能である。ここで、図９は、バイオ信号制御パーソナル音楽システム６０のアーキテクチャを示す。このバイオ信号制御パーソナル音楽システム６０は、ユーザバイオ信号（シグナル）コマンド発生器６２と、音響効果処理機能を有するＣＤプレーヤ等の音楽プレーヤ（演奏器）６４とにより構成される。

この例において、ユーザバイオ信号コマンド発生器６２は、図１及び図８の装置、すなわち１セットのセンサ２ａ〜２ｃ、センサ取付アームバンド（以下、第１のアームバンドという）４、データ取得インタフェース６、ジェスチャ解析ユニット８及びコマンド発生／フォーマット化ユニット１０を組み込んでいる。これらのシステムコンポーネントであるセンサ２〜コマンド発生／フォーマット化１０は、図１乃至図８を参照して上述した技法により、図７Ａ、７Ｂのジェスチャのジェスチャ判別コマンドを実行するように構成される。これにより、ユーザは、対応するジェスチャ（それぞれ指差し、手を開く、手首の回転、手を閉じ、手首の曲げ、手首の伸ばし）を行うことにより、音楽プレーヤ６４に（そのコマンド入力インタフェース６６を介して）、必要なコマンド（play：再生、stop：停止、song search：曲検索、pause：一時停止、next track：次トラック、previous track：前トラック）を送る。次に、これらのコマンドは、通常の方法で、モータ駆動及び関連するサーボを含む音楽プレーヤの駆動機構６８に作用する。

これと並行して、ユーザは、音楽「スカルプト」コマンド、すなわち音楽プレーヤ６４により作られる音の特性に影響するコマンドを入力可能である。また、これらのスカルプトコマンドは、筋肉繊維のオリジン（発生源）から取られ、第１のアームバンド４に類似した第２のアームバンド４’に収容されている第２のセットのＥＭＧセンサ２ａ’、２ｂ’、２ｃ’により検出される。典型的には、第１及び第２のアームバンド４、４’は、それぞれ例えば左前腕と右前腕である異なる前腕に装着される。

第２のセットのセンサ２ａ’〜２ｃ’の出力は、第１のアームバンド４の場合と同様に、ブルートゥースプロトコルを使用してデータ取得インタフェース６の対応するチャネルに送られる。そのデータ取得インタフェース６において、これらの信号は前処理され、右腕に対応する適切にシェーピングされた生ＥＭＧ右信号（以下、右腕ＥＭＧ信号という）１４’を得る。この右腕のＥＭＧ信号１４’は、音楽スカルプトユニット７０に直接送られるとともに、ジェスチャ解析ユニット８の包絡線抽出ユニット３０に送られる。この目的で、包絡線抽出ユニット３０には、付加チャネルが設けられ、それぞれのセンサの入力された右腕ＥＭＧ信号１４’のチャネルから、それぞれの包絡線（以下、右腕包絡線という）１６’を抽出し、そしてこれらの右腕包絡線１６’を音楽スカルプトユニット７０の対応する入力に直接送る。

音楽スカルプトユニット７０は、前処理された生右腕ＥＭ信号１４’及びそれが受ける右腕包絡線１６’の何れか一方又は両方から利用可能な特性を抽出する。例えば、これらの特性は、音楽スカルプトユニット７０に供給される右腕ＥＭＧ信号１４’及び右腕包絡線１６’の全て又は選択された１つの周波数、振幅、時間変動、エネルギ、パワー等であってもよい。これらの特性から、音楽スカルプトユニット７０は、フィルタリング、リズムインポジション又は発生、ビート抽出（テンポの制御用）、及び残響、ＤＪ（ディスクジョッキー）効果（スクラッチング、逆再生等）の特殊音楽効果等の対応するサウンド影響コマンドを作る。次に、これらサウンド影響コマンドをフォーマット化し、このコマンドをコマンド入力インタフェース６６に送り、そしてこれらは音楽プレーヤ６４のサウンド処理ユニット７２に入力される。コマンド発生／フォーマット化ユニット１０及び音楽スカルプトユニット７０からのコマンドは、ブルートゥース無線プロトコル、赤外線又は無線周波数リンク又は有線リンクを介して音楽プレーヤ６４のコマンド入力インタフェース６６に送られる。

サウンド処理ユニット７２は、受け取ったサウンド影響コマンドを実行して必要なスカルプトを生成する。これにより得られるサウンドは、再生されるＣＤ（又はその他のメディア）に記録されたサウンドよりなり、このようにして生成したスカルプトは増幅器７４を介してスピーカ７６及び／又はヘッドホン出力７８に送られる。

以上のコマンドは、第２のアームバンド４’の信号から抽出された実質的に連続して変化するコマンドの出力の例であり、これらのコマンドは、第１のアームバンド４の信号から抽出され、ジェスチャ判別によって生成されたコマンドとは無関係である。しかしながら、他の実施例及びアプリケーションでは、連続的に変化するコマンドパラメータは、これに代わって、ジェスチャ判別により作られる付随するコマンドに直接関係するように行うことができる。これは、例えば以下のａ）及びｂ）の如く異なる方法で実現可能である。

ａ）例えば図９に示す構成の右前腕と左前腕からの分離した筋肉領域を使用する。一例として、判別されたコマンドジェスチャは、指差しであり、「play：再生」モードを命令すると認識され、連続的に変化する量の別のジェスチャは、再生モードの音量レベルを設定するか、又はどのくらい離れたトラックから再生を開始するかを設定する。表示ベースのアプリケーションでは、同様のアプローチで、指差しによりバックライトのスイッチオンを指定し、連続的に制御される量のジェスチャとして、バックライトの強度レベルを設定する。他の例として、ジェスチャ解析によりテープの早送り又は巻き戻しを命令し、これとは別になされる連続して制御されるコマンドジェスチャにより可変速度が決定される。及び／又は、
ｂ）実質的に同じ筋肉領域を使用し、同じジェスチャが判別されたコマンド及びそのコマンドに関連する実質的に連続して変化する量を表す信号を生成する。一例として、先に述べた例の指差しジェスチャは、再生モードの設定及び再生レベル又は再生開始位置の決定の両方を行うことが可能である。ここで、再生レベルは、ジェスチャの強さ（速度、勢い、テンション又は大きさ）により決定され、これはセンサ信号及びその包絡線から直接検出される。この合成されたジェスチャのアプローチにおいて、同じセンサをコマンド及びそれに関連する実質的に変化する量の両方に使用され、この場合には、ＥＭＧ信号１４、１４’及び包絡線１６、１６’は１つ且つ同じものになる。

連続的に変化するコマンド出力を作るセンサのＥＭＧ信号１４’及び／又はその包絡線１６’の解析は、単に強度値又は対応するジェスチャの全体又は部分の期間のサインを得るパラメータに使用されるパラメータの如きその他のパラメータを得る必要があるのみである。

本発明は、アプリケーション、ソフトウェア及びハードウェアの実現、センサ技術、センサ位置、解析されるジェスチャ、作られるコマンド又はフィードバック等に関して、種々の形態で実行可能であることが明白である。

更に、ジェスチャ判別及びコマンド実行機能（すなわち、センサ２〜被制御装置１２）の完全なハードウェアは、（必要に応じて適切なデータ伝送リンクを使用して）装着可能な形態で実現することができる。コマンドを受ける被制御装置は、例えば身体に装着可能なコンピュータ、パーソナルデジタルアシスタント（ＰＤＡ）、モニタ、メディアプレーヤ、医療機器等であってもよい。

既に上述したアプリケーション及びインプレメンテーション（実現）に加えて、本発明は次のように使用可能である。
−民生用機器分野：メディアプレーヤ、ビデオゲーム、楽器の制御、家庭電気機器（ランプ、キッチン及びガーデン用機器、音声配信、電動機器等）への命令、
−業務用機器分野：レコーディングスタジオ、舞台照明制御等、
−芸術分野：楽器の制御、グラフィックアニメーション、カラージェネレーション（着色）、ＤＪ音響効果（スクラッチング、ミキシング、フェーディング等）
−教育環境分野：授業（プレイスタイル、身体表現等の解析）、
−健康及び介護分野：サインランゲージ（手話）の音声合成、シンボルの表示又はタイプされた語による自動翻訳
−産業分野：オンラインプロセスパラメータ、機械類、信号のジェスチャによる制御
−運輸分野：陸上、航空又は海上輸送機のジェスチャ命令による制御
−命令、制御及びインテリジェンス
−その他

本発明により解析されるジェスチャを実行するＥＭＧセンサが前腕に取り付けられた対象機器の簡単な構成図である。 本発明の実施例においてセンサ信号からジェスチャのサインを生じさせる説明図である。 本発明の好適実施例によるジェスチャ判別アプリケーションにおける学習モードのフローチャートを示す図である。 本発明の好適実施例によるジェスチャ判別アプリケーションにおけるジェスチャ判別モードのフローチャートを示す図である。 判別の決定出力が時間的に束縛される本発明の一実施例における判別モードの説明図である。 判別の決定出力が時間的に変動する本発明の一実施例における判別モードの説明図である。 （ａ）〜（ｃ）は、メディアプレーヤを制御する好適実施例により判別される３つの異なる手／手首のジェスチャの例を示す図である。 （ｄ）〜（ｆ）は、メディアプレーヤを制御する好適実施例により判別される３つの異なる手／手首のジェスチャの例を示す図である。 本発明によるジェスチャサイン抽出方法を実行するジェスチャ判別コマンドシステムを形成する実施例のブロック図である。 筋肉活性化信号から音楽スカルプトコマンドを別途入力する付加手段を有する図８のシステムに基づくユーザバイオシグナル（信号）コマンド発生器の実施例のブロック図である。

符号の説明

１ 人体（ユーザの身体）、２ａ，２ｂ センサ、４ センサ取付アームバンド、６ データ取得インタフェース、８ ジェスチャ解析ユニット、１０ コマンド発生／フォーマット化ユニット、１２ 被制御装置、３０ 包絡線抽出ユニット、３２ フレーム開始／終了検出ユニット、３４ 平均信号レベル決定ユニット、３６ サブフレーム管理ユニット、３８ リアルタイムサインベクトル形成ユニット、４０ ジェスチャサインメモリ蓄積ユニット、４２ サイン比較／判別ユニット、４４ 決定ユニット

Claims (31)

1. ジェスチャを作り出す筋肉運動を表す少なくとも１つの時間進展信号を得て、該時間進展信号により得られる少なくとも１つのパラメータ値を決定することにより、自由空間で作られたジェスチャのサインを抽出するジェスチャのサイン抽出方法において、
   前記時間進展信号を複数のサブフレームに分割するステップと、
   いくつかのサブフレームに対して、定められたサブフレームの少なくとも一部に亘る前記時間進展信号により得られる少なくとも１つのパラメータ値を決定するステップと、
   前記パラメータ値を前記定められたサブフレームに特に割り当てた次元に沿うベクトルの成分として表現するステップと
   を有し、
   その結果得られるベクトルが、そのジェスチャのサインを形成し、
   更に、ジェスチャ判別モードを設け、学習モードで取得した前もって学習したジェスチャのセットの中から解析されたジェスチャを判別し、各学習したジェスチャはサインベクトルとして表現され、判別中のジェスチャの判別の決定は、判別中のジェスチャがまだ能動的な前記時間進展信号として生じている間に行われる
   ことを特徴とするジェスチャのサイン抽出方法。
2. 前記パラメータ値を決定するステップ及びそれをベクトルの成分として表現するステップは、前記時間進展信号が進行中にひき続くサブフレームを占有するまで繰り返し実行され、その結果得られるサインを形成するベクトルが前記時間進展信号の進行中に増加する次元数を獲得するようにした
   ことを特徴とする請求項１に記載のジェスチャのサイン抽出方法。
3. 前記学習した各ジェスチャは、その学習したサインが取得され、決定されたサブフレーム数に対応する決定された次元数を有することができ、前記判別の決定は、その決定されたサブフレーム数に関し、判別中のジェスチャの前記時間進展信号によりカバーされる、より少ないサブフレーム数に基づいて行われる
   ことを特徴とする請求項１に記載のジェスチャのサイン抽出方法。
4. 更に、学習される所定クラスのジェスチャに対してジェスチャ学習モードが設けられ、このジェスチャ学習モードが、反復的にそのジェスチャを作りそのサインを取得することにより、そのクラスのジェスチャの１セットのサインを取得するステップと、
   そのセットのサインを蓄積するステップと、
   その学習したクラスのジェスチャ、更にオプションでそのクラスのジェスチャに関連するコマンドに対応するそのセットのサインに関する対応を蓄積するステップと
   を有する請求項１乃至３のいずれか１項に記載のジェスチャのサイン抽出方法。
5. 更に、判別中のジェスチャが現に作られているジェスチャ判別モードを有し、このジェスチャ判別モードは、
   現在判別中のジェスチャの少なくとも部分サインベクトルを生成するステップと、
   この部分サインベクトルは現在利用可能な数のパラメータ値に制限され、これにより学習したサインベクトルより少ない次元を有し、作られた少なくとも１つの部分サインベクトルに対し、多くの学習したサインのうちどのサインがその部分サインベクトルに最も適合するか決定するステップと、
   その決定ステップを使用して判別中のジェスチャのサインの決定を行うステップと
   を有する請求項４に記載のジェスチャのサイン抽出方法。
6. 前記サインの決定は、学習したサインを取得するのに使用された合計サブフレーム数よりも少なく制限された固定のサブフレーム数により定められる期間中に取得した部分サイン数に基づいて行う
   ことを特徴とする請求項５に記載のジェスチャのサイン抽出方法。
7. 前記サインの決定は、学習したサインの中でどのサインが最もその部分サインベクトルに適合するかを決定するステップの結果の関数で可変するサブフレーム数をカバーする期間に亘り取得した部分サイン数から行う
   ことを特徴とする請求項５に記載のジェスチャのサイン抽出方法。
8. 更に、前記時間進展信号により作られる包絡線により前記パラメータ値を抽出するステップを有し、
   前記パラメータ値は前記包絡線のパラメータ値である
   ことを特徴とする請求項１乃至７のいずれか１項に記載のジェスチャのサイン抽出方法。
9. 前記パラメータ値は、前記包絡線の信号レベル、前記包絡線のパワーレベル、前記包絡線のエネルギレベルの少なくとも１つの値であり、その値は、前記サブフレームの期間中に亘り平均化される
   ことを特徴とする請求項８に記載のジェスチャのサイン抽出方法。
10. 前記ジェスチャ判別モードにおける各サブフレームの期間は、少なくとも学習モードにおける対応するサブフレームの期間と等しくされる
    ことを特徴とする請求項３乃至９のいずれか１項に記載のジェスチャのサイン抽出方法。
11. 前記各サブフレームは、実質的に均一な期間である
    ことを特徴とする請求項１乃至１０のいずれか１項に記載のジェスチャのサイン抽出方法。
12. 更に、前記時間進展信号の振幅における閾値のクロシング（交差）を検出してジェスチャの開始を監視するステップを有し、
    最初のサブフレームの開始を、その閾値のクロシング時間と一致させる
    ことを特徴とする請求項１乃至１１のいずれか１項に記載のジェスチャのサイン抽出方法。
13. 前記時間進展信号は、複数のセンサの１つからの筋電図描画（ＥＭＧ）信号であり、各センサの出力信号は、独立チャネルとして処理される
    ことを特徴とする請求項１乃至１２のいずれか１項に記載のジェスチャのサイン抽出方法。
14. 前記時間進展信号は、下肢、或いは前腕及び前腕の頂部近傍に取り付けられた少なくとも１個のセンサから取得し、肢、少なくとも手首、手又は指の末端の動きを含むジェスチャを表す信号を生成する
    ことを特徴とする請求項１乃至１１のいずれか１項に記載のジェスチャのサイン抽出方法。
15. 前記時間進展信号は、相反する筋肉位置におけるセンサから取得する
    ことを特徴とする請求項１４に記載のジェスチャのサイン抽出方法。
16. 当該ジェスチャのサイン抽出方法は、ジェスチャに応じて予め設定されたコマンドによって制御される機器にコマンド（命令）を与えるために応用でき、少なくとも１つのサインが特定のコマンドに対応する
    ことを特徴とする請求項１乃至１５のいずれか１項に記載のジェスチャのサイン抽出方法。
17. 前記ジェスチャは、前記機器に対して、少なくともplay（再生）、skip（飛ばし）、pause（一時停止）を含む動作状態にさせる、選択されたトリガコマンドに対応させる
    ことを特徴とする請求項１６に記載のジェスチャのサイン抽出方法。
18. 上記少なくとも１つのサインは、指差し動作、手のひらを開く動作、手首の回転、手を握る動作、手首を内側に曲げる動作、手首を外側に曲げる動作のジェスチャのうちの１つのジェスチャから抽出する
    ことを特徴とする請求項１６又は１７に記載のジェスチャのサイン抽出方法。
19. 「再生」を命令するための指差し動作、「停止」を命令するための手のひらを開く動作、「早送り」、「巻き戻し」又は「曲検索／高速再生」を命令するための手首の回転動作、「一時停止／消音」のための手のひらの閉じる動作、「次トラック」又は「音量のステップ状アップ」のための手首の内側への曲げ動作及び「前トラック」又は「音量のステップダウン」のための手首の外側への曲げ動作の一連のコマンドジェスチャから取った少なくとも１つのコマンドによるメディアプレーヤのコマンド（命令）に使用可能である
    ことを特徴とする請求項１８に記載のジェスチャのサイン抽出方法。
20. 更に、ジェスチャを作り出すために含まれる筋肉運動を表す信号から実質的に連続した可変のコマンド出力を発生するステップを有する
    請求項１乃至１９のいずれか１項に記載のジェスチャのサイン抽出方法。
21. 前記実質的に連続して変化するコマンド出力は、ジェスチャの作成に含まれる筋肉運動を表す信号の自然振動の関数及び／又はその信号の前記包絡線の関数として変化する
    ことを特徴とする請求項２０に記載のジェスチャのサイン抽出方法。
22. 前記実質的に連続して変化するコマンド出力は、ジェスチャ判別により作られたコマンドと独立である
    ことを特徴とする請求項２０又は２１に記載のジェスチャのサイン抽出方法。
23. 前記実質的に連続して変化するコマンドパラメータは、ジェスチャ判別により生成されたコマンドに関連する量を制御する
    ことを特徴とする請求項２０又は２１に記載のジェスチャのサイン抽出方法。
24. 前記実質的に連続して変化するコマンド出力が抽出される信号及びサインが取得される信号は、それぞれ相互に異なる筋肉領域（部位）から源を発する
    ことを特徴とする請求項２０乃至２３のいずれか１項に記載のジェスチャのサイン抽出方法。
25. 前記実質的に連続して変化するコマンド出力が抽出される信号及びサインが取得される信号は、共通の筋肉領域から源を発する
    ことを特徴とする請求項２０乃至２４のいずれか１項に記載のジェスチャのサイン抽出方法。
26. ジェスチャの作成に関与する筋肉運動を表す少なくとも１つの時間進展信号を抽出し、該時間進展信号により生み出される少なくとも１つのパラメータを決定することにより、自由空間で作られるジェスチャのサインを得るジェスチャのサイン取得装置において、
    前記時間進展信号を複数のサブフレームに時間分割する手段と、
    定められたサブフレームの一部に亘る前記時間進展信号により生み出される少なくとも１つのパラメータ値を決定する手段と、
    前記定められたサブフレームに特に割り当てられた次元に沿うベクトル成分として当該パラメータ値を表す手段と
    を備え、
    その結果得られるベクトルは、前記ジェスチャのサインを形成し、
    更に、ジェスチャ判別モードを設け、学習モードで取得した前もって学習したジェスチャのセットの中から解析されたジェスチャを判別し、各学習したジェスチャはサインベクトルとして表現され、判別中のジェスチャの判別の決定は、判別中のジェスチャがまだ能動的な前記時間進展信号として生じている間に行われる
    ことを特徴とするジェスチャのサイン取得装置。
27. 請求項１乃至２５のいずれか１項に記載のジェスチャのサイン抽出方法を実行することを特徴とする請求項２６に記載のジェスチャのサイン取得装置。
28. 人が装着可能なユニットに収められ、更に、抽出されたコマンド入力をコマンド実行装置に送る手段を備える請求項２６又は２７に記載のジェスチャのサイン取得装置。
29. ユーザのコマンドに応答する装着可能なジェスチャのサイン取得装置において、請求項２６乃至２８のいずれか１項に記載のジェスチャのサイン取得装置を構成する
    ことを特徴とする装着可能なジェスチャのサイン取得装置。
30. ユーザのコマンド入力を前記ジェスチャのサイン取得装置に送る
    ことを特徴とする請求項２６乃至２９のいずれか１項に記載の装着可能なジェスチャのサイン取得装置。
31. デジタルコンピュータのメモリ内にローディングされるコンピュータプログラムにおいて、そのコンピュータプログラムがコンピュータ上で走らされるとき、請求項１乃至２５のいずれか１項に記載のステップを前記コンピュータに実行させる
    ことを特徴とするコンピュータプログラム。

Images