JP4613142B2 - ジェスチャ認識装置、これを用いたオンライン動作システム、ジェスチャ認識方法及びコンピュータ可読媒体 - Google Patents

Description

本発明は、ジェスチャ認識装置、これを用いたオンライン動作システム、ジェスチャ認識方法及びコンピュータ可読媒体に関する。

ジェスチャ認識装置とは、連続したカメラからの画像を逐次処理装置に取り込み、デジタル画像処理によって手の動きを検出し、ジェスチャを認識する装置である。

近年、コンピュータの発展とともにより高機能・高知能的な電化製品が開発されている。そこで重要なのは人とコンピュータのインターフェース（以下ＨＣＩ（ｈｕｍａｎ−ｃｏｍｐｕｔｅｒ ｉｎｔｅｒａｃｔｉｏｎと言う）である。例えば、コンピュータを操作する場合にはキーボードやマウスを使う。これらは間接的だがＨＣＩに必要不可欠なツールである。近年ＨＣＩツールとして、声紋や指紋といった人自体が本来持つ能力を認識するシステムが開発されている。手のジェスチャはその一つだと位置づけられる。本来、手を使ったジェスチャは人同士のコミュニケーション手段として使われており、ジェスチャ認識システムが重要なＨＣＩツールになる可能性がある。

ジェスチャ認識を行うときによく用いられる手法としては、隠れマルコフモデル（以下、ＨＭＭ（ｈｉｄｄｅｎ Ｍａｒｋｏｖ ｍｏｄｅｌ）と言う）が挙げられる。ＨＭＭは順次ジェスチャを確認するには有効であるが、認識前のパラメータのチューニングで非常に多くのトレーニングが必要であり新たに認識したいジェスチャを追加する場合は非現実的である（例えば非特許文献１参照）。
ＨＭＭ以外の手法としては、ダイナミックプログラミング（以下、ＤＰ（ｄｙｎａｍｉｃ ｐｒｏｇｒａｍｍｉｎｇ）と言う）マッチングがある（例えば、非特許文献２参照）。ＤＰマッチングは特に複雑な処理を行う必要がなく認識結果が良好である。ただし認識にはジェスチャの開始と終了を指定する必要がある。
Masato Aoba and Yoshiyasu Takefuji："Motion feature extraction usingsecond-order neural network and self-organizing map for gesture recognition"，情報処理学会研究報，2004-MPS-52，pp.5-8，2004年12月 Osaki, R., Shimada, M. and Uehara, K. : Extraction of primitivemotions by using clustering and segmentation of motion-captured data, JSAIVol.15, No.5, pp.878-886,(2000).

具体的には、従来のＤＰマッチングにおいては、ジェスチャの開始と終了を指定しジェスチャ全体でマッチングを行っていた。そのため、ジェスチャの動作時間を考慮する必要がある。すなわち、同じジェスチャであっても、速い動作の場合と遅い動作の場合があり、動作速度によって、時間が変化する。これらの動作を従来のＤＰマッチングでジェスチャとして認識するためには、無理やり時間を合わせて動的にマッチングさせる必要があった。
またジェスチャ全体でマッチングしているため、動作終了から認識処理を開始し、処理時間がかかってしまう。
したがって、本発明の課題は、ジェスチャの始めと終わりを何らかの方法で抽出することなしに、リアルタイムでジェスチャの認識が可能であるジェスチャ認識装置、これを用いたオンライン動作システム、ジェスチャ認識方法及びコンピュータ可読媒体を提供することである。

上記課題を解決する本発明は、下記項目に関する。
［１］ Ａ ジェスチャを連続的にフレーム画像として入力するための撮像手段と、
Ｂ 前記撮像手段から連続的に入力されたフレーム画像から移動物体の動作方向をベクトルとして取得するベクトル取得部と、取得したベクトルを連続して出力するベクトル出力部とから構成されるフレーム画像処理手段と、
Ｃ 前記連続して出力されたベクトルに基づいて、ベクトルの長さを正規化して、角度に重み付けしたベクトル特徴量から作成された状態特徴マップデータを格納し、前記連続した特徴量と状態特徴マップとから作成された状態重みマップデータを格納するジェスチャ要素登録手段と、
Ｄ 前記ジェスチャ要素登録手段に格納された状態特徴マップと状態重みマップを入力し、各状態位置を初期化する状態位置初期化部と、前記フレーム画像処理手段で出力されたベクトルをベクトル特徴量に変換し、連続的に入力し、さらに前記ジェスチャ要素登録手段に格納された状態マップを入力し、両者に基づいて、所定の状態およびその前後の状態の比較値として一時的に格納し、出力するベクトル特徴量マッチング部と、前記比較値に基づいて、前記初期化された状態位置と前記比較値により各状態の推移を判定し、出力する状態遷移判定部と、前記各状態における推移と状態重みマップとを比較して、所定の閾値によりジェスチャ認識フラグを成立させるか否かを判定するジェスチャ判定部と、
から構成されるジェスチャ認識手段と、
を備えたことを特徴とするジェスチャ認識装置。

前記ジェスチャ要素登録手段は、
前記連続して出力されたベクトルを蓄積するベクトル蓄積部と、
蓄積されたベクトルからベクトル行列を取得するベクトル行列取得部と、
取得したベクトル行列からベクトルの長さを正規化して、角度に重み付けしたベクトル特徴量に変換するベクトル特徴量変換部と、
連続した特徴量から状態特徴マップを作成し格納する状態特徴マップ作成部と、
前記連続した特徴量と状態特徴マップとから状態重みマップを作成し格納する状態重みマップ作成部と、
から構成されることを特徴とする、［１］に記載のジェスチャ認識装置。
［３］ さらに、取得したベクトルを連続して表示するための表示手段を備えたことを特徴とする、［１］または［２］に記載のジェスチャ認識装置。

［４］ ［１］から［３］のいずれか１項に記載のジェスチャ認識装置を用いて、ジェスチャを認識させるジェスチャ認識方法であって、
予め取得した状態特徴マップと状態重みマップを入力する工程（Ｓ１０１）と、
各状態位置を初期化する工程（Ｓ１０２）と、
撮像手段からのジェスチャをフレーム画像として連続的に入力する工程（Ｓ１０３）と、
前記撮像手段から連続的に入力されたフレーム画像から移動物体の動作方向をベクトルとして取得する工程（Ｓ１０４）と、
取得したベクトルを連続して出力する工程（Ｓ１０５）と、
前記出力されたベクトルをベクトル特徴量に変換する工程（Ｓ１０６）と、
前記変換された各ベクトル特徴量を連続的に入力し、さらに予め作成された状態マップを入力し、両者に基づいて、所定の状態およびその前後の状態の比較値として一時的に格納し、出力する工程（Ｓ１０７）と、
前記比較値に基づいて、前記初期化された状態位置と前記比較値により各状態の推移を判定し、前記各状態における推移と状態重みマップとを比較して、所定の閾値によりジェスチャ認識フラグを成立させるか否かを判定する工程（Ｓ１０８）と、
を含み、
前記工程Ｓ１０８でジェスチャ認識フラグが成立した場合には、ジェスチャ認識を完了し、前記ジェスチャ認識フラグが成立しない場合には、工程（Ｓ１０３）へ移行することを特徴とするジェスチャ認識方法。

［５］ 前記初期化が状態数分のゼロ行列を作成することによって行われ、前記推移の判定がフレーム処理で得られるベクトルに対し、現状の状態と前後の状態の3つを比較対象として、それぞれの比較値を次の状態の一致度が高い場合は進行すると判定し、進行した状態の値を1とし、現状の状態の一致度が高い場合は滞在とし、現状の状態の値を+1とし、前の状態の一致度が高い時は現状の状態の値を-1とし、0になったとき状態が後退すると判定することを特徴とする［４］に記載のジェスチャ認識方法。
なお、［５］において、前記工程（Ｓ１０８）における推移の判定を所定の閾値に基づいて行うことも可能である。

［６］ ［１］から［３］のいずれか１項に記載のジェスチャ認識装置を用いて、入力されたジェスチャを解析するジェスチャ解析方法であって、
請求項１から請求項３のいずれか１項に記載のジェスチャ認識装置を用いて、入力されたジェスチャを登録するジェスチャ登録方法であって、
撮像手段からのジェスチャをフレーム画像として連続的に入力する工程（Ｓ２０１）と、
前記撮像手段から連続的に入力されたフレーム画像から移動物体の動作方向をベクトルとして取得する工程（Ｓ２０２）と、
取得したベクトルを連続して出力する工程（Ｓ２０３）と、
前記連続して出力されたベクトルを蓄積する工程（Ｓ２０４）と、
蓄積されたベクトルからベクトル行列を取得する工程（Ｓ２０５）と、
取得したベクトル行列からベクトルの長さを正規化して、角度に重み付けしたベクトル特徴量に変換する工程（Ｓ２０６）と、
Ｃ-４ 連続した特徴量から状態特徴マップを作成し格納する工程（Ｓ２０７）と、
Ｃ-５ 前記連続した特徴量と状態特徴マップとから状態重みマップを作成し格納する工程（Ｓ２０８）と、
を含むことを特徴とするジェスチャ登録方法。

なお、前記ベクトルを取得する工程において、前記撮像手段から連続的に入力されたフレーム画像の解像度を変換して低解像度画像とし、変換した低解像度画像をＬ*ａ*ｂ*イメージ変換しＬ*ａ*ｂ*イメージ変換した画像から移動物体を検出し、Ｌ*ａ*ｂ*イメージ変換した画像を平滑化処理し、平滑化した画像を二値化し、二値化した画像をクラスタリング処理し、クラスタリング処理したトラッキング処理した後に前記撮像手段から連続的に入力されたフレーム画像から移動物体の動作方向をベクトルとして取得することも可能であり、前記移動体の検出をフレーム差分法により行うことも可能である。

［７］ 前記ベクトル変換工程において、同じ方向の角度の値を1とし、逆向きの角度の値を0とし、x軸0〜360およびy軸0〜1のグラフとしてマッピングすることを特徴とする［６］に記載のジェスチャ認識方法。

［８］ ［４］から［７］のいずれか１項に記載の工程を実行するプログラムが格納されたコンピュータ可読媒体。
なお、本発明のコンピュータ可読媒体において、前記ジェスチャ認識結果がコンピュータアプリケーションの動作と関連付けされていることも可能である。
［９］ オンラインに所定の動作を行う装置を操作するオンライン動作システムであって、請求項１から請求項３のいずれか１に記載のジェスチャ認識装置と、前記ジェスチャ認識装置と公衆回線を介して接続され、前記ジェスチャ認識装置の認識結果に応じて所定の動作を行う装置とから構成されたオンライン動作システム。

本発明によると、ジェスチャを「状態」の移り変わりとして設定する。すなわち、ジェスチャを全体の動作として認識するのではなく、瞬間的動きを認識し、その積み重ねとしてジェスチャを認識するので、リアルタイムでジェスチャを認識可能である。
さらに、このようにしてジェスチャを「状態」として設定するので、動作速度に関わらず認識可能である。さらに、従来技術と相違してジェスチャの開始と終了を指定することなしに、動作速度に依存することなく簡単な手法でジェスチャ認識することが可能となる。
このジェスチャ認識装置をオンラインで動作させたい動作対象装置と接続することによって、ジェスチャの始めと終わりを意識することなく効率よく認識させて、動作対象装置をオンラインでより容易に動作可能となる。

以下、本発明を添付図面に基づいて説明する。なお、本発明においてジェスチャ認識装置とは、撮像手段であるカメラからの連続した画像を逐次処理装置（例えば、コンピュータシステム）に取り込み、デジタル画像処理によって移動体、代表的には手の動きを検出し、ジェスチャを認識する装置である。

本発明において使用する用語「ジェスチャ」とは「移動体（手）の形ではなく、動作を示すものである。例えば“手を振る”、“円を描く”などの行為を指すものである。本発明は、このようなジェスチャ認識装置において、独特の画像処理アルゴリズム及びそのアルゴリズムを具現化する装置に基づくものである。
本発明においては、ジェスチャを、「状態」として設定し、設定した状態の遷移に基づいて認識することを特徴としている。

（ジェスチャ認識装置）
まず、図１〜図９を用いて本発明のジェスチャ認識装置について説明する。
図１は、本発明のジェスチャ認識装置全体を示す概略図であり、図２は、図１に示すフレーム画像処理手段、ジェスチャ要素登録手段、ベクトル特徴量マッチング手段、およびジェスチャ認識手段を示す概略図であり、図３は、ベクトル蓄積部３１においてジェスチャをフレーム毎にベクトル分割した状態を示す図面であり、図４は、重みづけの例を示す図面であり、図５は、状態特徴マップの一例を示す図面であり、図６は、状態重みマップの一例を示す図面であり、図７はベクトル特徴量マッチング部４２における比較値を求める例を示す図面であり、図８は、状態特徴マップにおける状態の遷移の一例を示す図面であり、そして図９は、ジェスチャ判断部により比較する滞在値を示す図面である。

図１に示す通り、本実施形態のジェスチャ認識装置１は、ジェスチャを連続的にフレーム画像として入力するための撮像手段１０と、フレーム画像処理手段２０と、ジェスチャ要素登録手段３０と、ジェスチャ認識手段４０とから主として構成されている。より一般的には、デジタル（ビデオ）カメラ等の撮像手段１０と、前記撮像手段１０と接続されたコンピュータシステムとから本実施形態のジェスチャ認識装置１が構成される。

すなわち、撮像手段１０からの連続的フレーム画像を入力するためのインターフェースと、前記インターフェースを介して入力された画像を一時的に保存する保存装置であるメモリと、前記メモリに一時的に保存した画像データを処理するための演算子であるＣＰＵ及び後述する処理プログラム及び各種データを格納するための格納手段、及びジェスチャ認識結果を出力する出力手段を含むコンピュータシステムとから本実施形態のジェスチャ認識装置１が構成されるのが一般的である。好ましくは、出力された認識結果は、ディスプレイ等の表示手段に連続的に出力される。
しかしながら、同等の機能を有する装置であれば本発明は、撮像手段１０とコンピュータシステムに限定されず、同等の機能を有していれば本発明の範囲内である。

本実施形態のジェスチャ認識装置1における撮像手段１０は、ジェスチャの動作主体である移動体を連続的に入力して、後段のコンピュータシステムに出力できるものであれば特に限定されるものではなく、当該技術分野に周知のデジタルビデオカメラを用いることができる。また、連続して出力するフレーム画像の解像度及びフォーマットも本発明を具現することが可能であれば特に限定されるものではなく、後段での処理の容易さ及び画質を鑑みて適宜解像度を決定することが可能である。なお、本発明で適用可能な画像フォーマットは、例えばjpg・bmp・pngなどの汎用の画像圧縮形式による画像バイナリデータであることが好ましい。

本実施形態におけるフレーム画像処理手段２０は、前記撮像手段１０により撮像され、出力されるフレーム画像から動作対象を抽出して連続したベクトルとして出力するための手段であり、図２に示す通り、前記撮像手段から連続的に入力されたフレーム画像から移動物体の動作方向をベクトルとして取得するベクトル取得部２１と、取得したベクトルを連続して出力するベクトル出力部２２とから構成される。

ベクトル取得部２１は、例えば、コンピュータシステムにおける中央演算子、メモリ、記憶媒体、前記記憶媒体に格納したプログラムより構成され、従来公知の技術により、撮像手段からの連続した画像、例えばＲＧＢイメージ画像を取り込み、解像度を変換（低解像度化）、L*a*b*イメージ変換し、ジェスチャの動作主体である移動体を検出し、平滑処理し、２値化し、クラスタリングし、トラッキングした後に、本発明の特徴である移動物体の動作方向をベクトルとして取得するコンポーネントである。

ベクトル出力部２２は、前記ベクトル取得部２１により取得したベクトルを連続して
後段のジェスチャ要素登録手段３０と、ジェスチャ認識手段４０に出力する機能を有している。

本実施形態におけるジェスチャ要素登録手段３０は、後述するジェスチャ認識手段４０による認識を行うのに必要な要素を登録（学習）する手段である。すなわち、ジェスチャ要素登録手段３０は、ジェスチャ認識手段４０によりジェスチャを認識するために必要な要素を事前に登録するための手段であり、一般的には状態特徴マップデータ及び状態重みマップデータの各要素を格納する格納手段とから構成されている。
これらのデータは事前にジェスチャ要素登録手段３０に格納されていてもよいが、本実施形態では、ジェスチャを登録して格納する機能を有する場合について説明する。
ジェスチャ要素登録手段３０は、例えば事前に登録した要素（状態特徴マップデータ及び状態重みマップデータの要素）を格納したＲＯＭなどで提供することも可能であるが、新たに認識したいジェスチャを登録したい場合には、前記撮像手段１０で入力され、前記フレーム画像処理手段２２から出力されたベクトルに基づいて状態特徴マップデータ及び状態重みマップデータを作成し、格納する必要がある。
すなわち、本実施形態におけるジェスチャ要素登録手段３０は、前記ベクトル出力部２２から前記連続して出力されたベクトルを蓄積するベクトル蓄積部３１と、蓄積されたベクトルからベクトル行列を取得するベクトル行列取得部３２と、取得したベクトル行列からベクトルの長さを正規化して、角度に重み付けしたベクトル特徴量に変換するベクトル特徴量変換部３３と、連続した特徴量から状態特徴マップを作成し格納する状態特徴マップ作成部３４と、前記連続した特徴量と状態特徴マップとから状態重みマップを作成し格納する状態重みマップ作成部３５とから構成されている。
なお本発明において使用する用語「角度に重み付けしたベクトル特徴量」とは、取得したベクトルの方向が角度0〜360°に対してどのくらいずれているかを示す量であり、例えば同じ方向の角度の値が1で、逆向きの角度の値が0であるx軸が0〜360、y軸が0〜1の特徴量を意味する。このように本発明において、角度に重み付けしたベクトル特徴量を取得することによって取得したベクトルは下図に示す通り、０°から３６０°のいずれか一点を示しているのに対して、周囲の重み付けを行うことによって、多少ずれたベクトルでも同方向として取り扱うことができる。
また、本発明において使用する用語「状態特徴マップ」とは、ジェスチャを表す連続したベクトル特徴量の集合を意味し、決まった順番で方向が移り変わっていることを示す。

これらのベクトル蓄積部３１は、ジェスチャのベクトル行列を得るためベクトルを蓄積する機能を有しており、ベクトル行列取得部３２は、前記ベクトル蓄積部３１に蓄積されたジェスチャ毎に時間的に連続したベクトルからベクトル行列を取得する機能を有している。
具体的には、図３に示す通り、ジェスチャをフレーム毎にベクトル分割し（Ｖ（ｔ）、Ｖ（ｔ-１）、Ｖ（ｔ-２）、Ｖ（ｔ-３）・・・、このベクトルの集合がジェスチャのベクトル行列とする。

ベクトル特徴量変換部３３は、時間に左右されないベクトルの方向・角度に重点を置く特徴量を取得する目的で、ベクトルの長さを正規化し（すなわちベクトルの長さを１として）、角度に重み付けした特徴量に変換する機能を有している。求める角度の重みは検出角度との差が小さければ大きな値、差が大きければ小さな値をとる。重みの例として図４に示す通り、正規分布を用いる。なお、所望に応じて角度を量子化してもよい。

状態特徴マップ作成部３４は、ジェスチャを代表的なベクトル特徴量（状態）の移り変わりで表すために状態特徴マップを作成する機能を有する。
すなわち、状態特徴マップは、ベクトル特徴量に変換したベクトル行列において、いくつかの代表的なベクトル特徴量に集約する機能を有している。
代表的なベクトル特徴量を一つの状態と考え、状態数をベクトル行列分に初期化し徐々に状態数を減らしていき、この時ベクトル行列の一つ一つのベクトル状態量がどの状態に最もマッチングしているか検索する。状態全体のマッチング和が閾値より小さくなったときの状態群を状態特徴マップとするものである。
またジェスチャを追加する場合は、以前の状態特徴マップと上記処理を行った状態特徴マップで比較し、状態の統合・追加・削除を行い新しい状態特徴マップを作成する。

代表状態のマッチング和は差分和のノルムや積和ノルム、分散値を用いて作成される。
状態特徴マップは、例えば図５に示すような代表状態数毎にベクトル特徴量が存在する3次元のマップである。

状態重みマップ作成部３５は、各代表状態の重み比率マップを学習しておき、ジェスチャ認識の判定に使用する目的で、状態特徴マップにおける状態に対して、ベクトル行列の一つ一つのベクトル状態量が最もマッチングする状態をカウントし、重み比率でグラフ化した状態重みマップを作成する機能を有している。

すなわち、前記ベクトル行列取得部３２からの時間的に連続したベクトル特徴量の行列及び状態特徴マップ作成部３４からの状態特徴マップから状態重みマップを作成する。
状態重みマップは、例えば図６に示す通りの代表状態毎の重みを全体との比率で表した2次元マップである。

これらのベクトル蓄積部３１、ベクトル行列取得部３２、ベクトル特徴量変換部３３、状態特徴マップ作成部３４は、例えば、コンピュータシステムにおける中央演算子、メモリ、記憶媒体、前記記憶媒体に格納したプログラムより構成される。
ジェスチャ要素登録手段３０は、前記連続して出力されたベクトルに基づいて、ベクトルの長さを正規化して、角度に重み付けしたベクトル特徴量から作成された状態特徴マップデータを格納し、前記連続した特徴量と状態特徴マップとから作成された状態重みマップデータを格納し、必要に応じて後段のジェスチャ認識手段に必要データを出力する構成とすることも可能である。

ジェスチャ認識手段４０は、前記ジェスチャ要素登録手段３０に格納された状態特徴マップと状態重みマップを入力し、各状態位置を初期化する状態位置初期化部４１と、前記フレーム画像処理手段２０で出力されたベクトルをベクトル特徴量に変換し、さらに前記ジェスチャ要素登録手段３０に格納された状態マップを入力し、両者に基づいて、所定の状態およびその前後の状態の比較値として一時的に格納し、出力するベクトル特徴量マッチング部４２と、前記ベクトル特徴量マッチング部４２における比較値に基づいて、前記初期化された状態位置と前記比較値により各状態の推移を判定し、出力する状態遷移判定部４３と、前記各状態における推移と状態重みマップとを比較して、所定の閾値によりジェスチャ認識フラグを成立させるか否かを判定するジェスチャ判定部４４とから構成される。

状態位置初期化部４１は、ジェスチャ解析処理で得られた（またはジェスチャ要素登録手段に予め格納されている）状態特徴マップと状態重みマップとから構成されるモーション特徴マップを読み込み、状態位置を初期状態に設定する機能を有している。すなわち、状態位置初期化部４１は、認識するジェスチャの特徴マップを読み込んで、状態遷移認識の準備をするために状態位置を初期状態に設定する。状態位置初期化部４１の機能により、モーション特徴マップ（状態特徴マップ＋状態重みマップ）がメモリ上に存在し、状態位置が初期位置に設定される。

ベクトル特徴量マッチング部４２は、前記フレーム画像処理手段２０で出力されたベクトルを前記ベクトル行列取得部３２と同様にベクトル特徴量に変換する認識用ベクトル特徴量変換部４２Ａと、前記ジェスチャ要素登録手段３０に格納された状態マップを入力し、両者に基づいて、所定の状態およびその前後の状態の比較値として一時的に格納し、出力するマッチング部４２Ｂとから構成されている。
具体的には、状態位置初期化部４１の機能によりメモリ上に存在するモーション特徴マップ（状態特徴マップ＋状態重みマップ）と、認識用ベクトル特徴量変換部４２Ａからリアルタイムに出力されるベクトル特徴量とを比較して、この比較値をリアルタイムに連続して出力する。
比較値は、例えば図７に示す通り、差分和のノルムの他に積和ノルムや分散値を用いて取得する。好ましい実施形態においては、比較は現在の状態と一つ前の状態、次の状態の３つ行う。

状態遷移判定部４３は、状態特徴マップにおける状態の遷移を行うためベクトル特徴マッチングで得られた比較値を元に、閾値によって状態を進行、滞在、後退と遷移する機能。また、各状態にカウンタを設け滞在値として保存する機能を有している。

すなわち、状態遷移判定部４３は、前記ジェスチャ要素登録手段３０に格納された状態特徴マップを読み込み、さらに前記状態遷移判定部４３により判定されたベクトル特徴マッチング比較値より、状態特徴マップにおける状態の遷移を行う。具体的には、例えば、図８に示す通り次の状態におけるマッチング度が高い場合は状態を進行する。滞在値は遷移した状態位置の値を１とする。現在の状態のマッチング度が高い場合は状態を滞在する。滞在値は状態位置に＋１する。上記２つを外れた場合、滞在値は状態位置に−１する。０になったとき、状態を後退する。これらを元に状態遷移を滞在グラフとして出力し、保存する。

より具体的には、初めに状態数分のゼロ行列を作り（状態の初期化[0 0 0 0 0 ・・・]）、フレーム処理で得られるベクトルに対し、現状の状態と前後の状態の3つを比較対象として、それぞれの比較値を求める。次の状態の一致度が高い場合は進行する。進行した状態の値を1にする。現状の状態の一致度が高い場合は滞在、現状の状態の値を+1する。前の状態の一致度が高い時は現状の状態の値を-1とし、0になったとき状態が後退する。実際には一致度に閾値を設けている。
より具体的には、特徴状態の遷移のみで、状態を認識することが考えられるが、この場合には少しの誤差であっても状態が後退してしまう場合があり、正しいジェスチャ認識ができない場合がある。そのため、状態が後退する場合に少しウエイトをかけてから後退するように修正して誤差を吸収することができた。
また、最終状態に到達した瞬間にジェスチャ成立となってしまうため、誤認識する可能がある。そこで、前記した滞在値と状態重みを導入し、各状態における滞在比率でジェスチャの成立判断をすることとした。
これにより、瞬間的なノイズに強く、滞在比率により動作速度が遅くても速くても同様に取り扱うことが可能となった。

ジェスチャ判定部４４は、ジェスチャの成立判定を行うため前記各状態における推移と状態重みマップとを比較して、所定の閾値によりジェスチャ認識フラグを成立させるか否かを判定する。
すなわち、ジェスチャ判定部４４は、前記ジェスチャ要素登録手段３０に格納された状態特徴マップを読み込み、さらに状態遷移判定部４３からの各状態における滞在値を、例えば図９に示す通り、差分和のノルムまたは積和ノルムや分散値を用いて比較してジェスチャ認識フラグを成立するか否かを判断する。

以上のように構成された本発明のジェスチャ認識装置は、従来技術と相違してジェスチャの始めと終わりを何らかの方法で指定することなしに、なおかつジェスチャの動作速度に無関係に容易にジェスチャを認識することが可能である。
また、本発明のジェスチャ認識装置は、認識する際のデータ量が少なく、また認識すべきジェスチャを簡単に登録可能である。
さらに、本発明の別の実施形態において、認識すべき要素をＲＯＭ、ハードディスクなの記憶手段に予め登録しておくことにより、簡単な構成でリアルタイムでジェスチャを認識可能なジェスチャ認識装置を構成することが可能となる。

さらに、本発明の好ましい実施形態では、取得したベクトルを連続して表示するための表示手段（図示せず）を備えることが可能である。このように取得したベクトルを連続して表示することにより、ユーザは、ジェスチャの結果を視覚的に確認することが可能である。また、当該表示手段で関連したジェスチャを予め表示させることにより、ユーザは認識させるべきジェスチャを忘れた場合でも前記表示手段により表示させることにより、対応可能である。
さらに、本発明のジェスチャ認識装置は、単一のジェスチャだけでなく、例えば複数のジェスチャについて各々解析し状態特徴マップを保存しておき、認識手段を並列に処理することで適合するジェスチャを認識することも可能である。

なお、本発明の別の実施形態では、オンラインに所定の動作を行う装置を操作するオンライン動作システムであって、本発明のジェスチャ認識装置と、前記ジェスチャ認識装置と公衆回線を介して接続され、前記ジェスチャ認識装置の認識結果に応じて所定の動作を行う装置とから構成されたオンライン動作システムが提供される。

なお、本発明におけるオンラインに所定の動作を行う装置とは、何らかの入力があった際に動作を行う装置であり、オンラインにより本発明のジェスチャ認識装置と接続可能であれば特に限定されるものではない。具体的には、ホームセキュリティ分野、風呂、エアコン装置、老人介護システムやカーナビ、テレビ、オーディオ、ＤＶＤ、ビデオ、テレビ、照明機器、ゲームなどのリモコン・スイッチ・操作系全般が対象である。

（動作：ジェスチャ認識方法）
次に本発明のジェスチャ認識装置の動作、すなわちジェスチャ認識方法を、図１０〜図１１に基づいて説明する。
図１０Ａは、本発明におけるジェスチャ登録方法を示すフローチャートであり、図１０Ｂは、本発明におけるジェスチャ認識方法を示すフローチャートである。図１１は、図１０Ａの工程Ｓ２０６を説明するためのグラフである。

本発明におけるジェスチャ登録方法は、図１０Ａに示す通りまず、撮像手段からのジェスチャをフレーム画像として連続的に入力する（Ｓ２０１）。

次いで、工程Ｓ２０１で連続的に入力されたフレーム画像から移動物体の動作方向をベクトルとして取得し、（Ｓ２０２）、取得したベクトルを連続して出力する（Ｓ２０３）。
なお、Ｓ２０２、Ｓ２０３は、従来公知の技術により、撮像手段からの連続した画像、例えばＲＧＢイメージ画像を取り込み、解像度を変換（低解像度化）、L*a*b*イメージ変換し、ジェスチャの動作主体である移動体を検出し、平滑処理し、２値化し、クラスタリングし、トラッキングした後に、移動物体の動作方向をベクトルとして取得することができる。
なお、前記移動体の検出は、従来公知の方法、例えばフレーム差分法により行うことができる。

次いで、工程Ｓ２０４において、前記連続して出力されたベクトルを蓄積し、蓄積されたベクトルからベクトル行列を取得し（Ｓ２０５）、取得したベクトル行列からベクトルの長さを正規化して、角度に重み付けしたベクトル特徴量に変換し（Ｓ２０６）、連続した特徴量から状態特徴マップを作成し格納し（Ｓ２０７）、そして前記連続した特徴量と状態特徴マップとから状態重みマップを作成し格納する（Ｓ２０８）。
すなわち、工程Ｓ２０４〜Ｓ２０８は、ジェスチャ単位でベクトルを蓄積、行列化したものを入力とし、ベクトル特徴量に変換、状態特徴マップと状態重みマップから成るモーション特徴マップを作成し出力する工程である。

工程Ｓ２０６において、同じ方向の角度の値を1とし、逆向きの角度の値を0とし、x軸0〜360およびy軸0〜1のグラフとしてマッピングすることが好ましい。
すなわち、図１１に示す通り、ベクトルとは方向を示すものであり、0〜360度の中の1点だけが求まっている状態である。これに対して、周りの角度に重みを持たせることで、ベクトル特徴量への変換が容易になる。

このように図１０Ａに示す各工程により、本発明のジェスチャ認識装置にジェスチャの認識要素を容易に登録可能である。還元すると、このジェスチャ登録方法は、本発明のジェスチャ認識方法のためのジェスチャの解析方法と言える。すなわち、これらの認識要素の取得は、以下に説明するジェスチャ認識方法に使用するための準備段階とも言える。しかしながら、本発明の特定の実施形態において、予めジェスチャ認識方法を登録しておくことも可能である。
次に、本発明のジェスチャ認識装置において、ジェスチャを認識する方法について図１０Ｂに基づいて説明する。
まず、工程Ｓ１０１において、状態特徴マップと状態重みマップを入力し、各状態位置を初期化する（Ｓ１０２）。
次いで、フレーム画像を入力し（Ｓ１０３）、移動体の動作方向をベクトルとして取得し（Ｓ１０４）、そして前記工程Ｓ２０６と同様に取得したベクトル行列からベクトルの長さを正規化して、角度に重み付けしたベクトル特徴量に変換する（Ｓ１０５）。
そして、このベクトル特徴量と各状態における推移と状態重みマップとを比較して、所定の閾値によりジェスチャ認識フラグを成立させるか否かを判定する（すなわち、得られたベクトル特徴量がジェスチャとして成立するか否かをマッチングする）（Ｓ１０６）。
この際、入力した状態マップとベクトル特徴量に基づいて、所定の状態およびその前後の状態の比較値として一時的に格納し、出力し（Ｓ１０７）、前記比較値に基づいて、前記初期化された状態位置と前記比較値により各状態の推移を判定し、前記各状態における推移と状態重みマップとを比較して、所定の閾値によりジェスチャ認識フラグを成立させるか否かを判定する。
ジェスチャ認識フラグが成立した場合には（Ｙｅｓ）、ジェスチャ認識を完了する（エンド）。一方、ジェスチャ認識フラグが成立しない場合には、工程１０３へ移行して
フレーム画像を入力する。

なお、工程Ｓ１０２における初期化が状態数分のゼロ行列を作成することによって行われ（段落００４５参照）、前記工程Ｓ１０８における推移の判定がフレーム処理で得られるベクトルに対し、現状の状態と前後の状態の3つを比較対象として、それぞれの比較値を次の状態の一致度が高い場合は進行すると判定し、進行した状態の値を1とし、現状の状態の一致度が高い場合は滞在とし、現状の状態の値を+1とし、前の状態の一致度が高い時は現状の状態の値を-1とし、0になったとき状態が後退すると判定することが好ましい。
このように判断するのは、前述の通り、瞬間的なノイズに強く、様々な動作速度に対応して認識処理することが可能だからである。
また、前記工程Ｓ１０８における推移の判定が所定の閾値に基づいて行うことができる。

なお、本発明のジェスチャ認識方法において、図１０Ａのジェスチャ登録（解析）は、ジェスチャ認識をするための予備的ジェスチャ解析と捉えることができる。
すなわち、予めベクトル特徴量を作成し、状態特徴マップ、状態重みマップが作成され、利用可能であれば図１０Ａに示す登録処理を省略して図１０Ｂに示す認識処理を直接実行することが可能である。
以上のように構成された本発明のジェスチャ認識方法は、従来技術と相違してジェスチャの開始と終了を指定することなしに、動作速度に依存することなく簡単な手法でリアルタイムにジェスチャ認識することが可能となる。しかも、取り扱う情報も従来のジェスチャ認識方法に比較して非常に少ないので、装置に多大の負荷をかけずに（より安価な装置で）、ジェスチャ認識を行うことが可能である。

また、前記ジェスチャ認識方法の各工程を実行するためのプログラムをコンピュータ可読媒体に格納することによって、例えばプレゼンテーションプログラム等のアプリケーションプログラムと関連付けして、ジェスチャに応じて、アプリケーションプログラムを動作させることも可能である。

以上、本発明の実施形態を説明したが、本発明はこれらに限定されるものではなく、幅広く適用できる。
例えば、本発明の撮像手段に、連続的に入力されたフレーム画像の解像度を変換して低解像度画像とする画像変換部と、前記画像変換手段で低解像度化した画像を、Ｌ^*ａ^*ｂ^*イメージ変換するＬ^*ａ^*ｂ^*イメージ変換部と、前記Ｌ^*ａ^*ｂ^*イメージ変換部でＬ^*ａ^*ｂ^*イメージ変換した画像から移動物体を検出する移動体検出部と、Ｌ^*ａ^*ｂ^*イメージ変換した画像を平滑化処理するスムージングフィルタと、前記スムージングフィルタで平滑化した画像を二値化する二値化処理部と、二値化した画像をクラスタリング処理するクラスタリング処理部と設けることが可能である。このような撮像手段は、本発明のジェスチャ認識装置に適用すると、後段の各種処理が軽減される。また、ジェスチャ認識以外に防犯用・駐車場管理装置などの移動体を検出する装置に使用可能。出力可能なデータが予め処理された二値化データであるので移動体を処理する際の負荷が軽減される。

本発明のジェスチャ認識装置全体を示す概略図。 図１に示すフレーム画像処理手段、ジェスチャ要素登録手段、ベクトル特徴量マッチング手段、およびジェスチャ認識手段を示す概略図。 ベクトル蓄積部においてジェスチャをフレーム毎にベクトル分割した状態を示す図面。 重みづけの例を示す図面。 状態特徴マップの一例を示す図面。 状態重みマップの一例を示す図面。 ベクトル特徴量マッチング部における比較値を求める例を示す図面。 状態特徴マップにおける状態の遷移の一例を示す図面。 ジェスチャ判断部により比較する滞在値を示す図面。 本発明におけるジェスチャ登録方法を示すフローチャート。 本発明におけるジェスチャ認識方法を示すフローチャート。 図１０Ａの工程Ｓ２０６を説明するためのグラフ。

符号の説明

１ ジェスチャ認識装置
１０ 撮像手段
２０ フレーム画像処理手段
３０ ジェスチャ要素登録手段
３１ ベクトル蓄積部
３２ ベクトル行列取得部
３３ ベクトル特徴量変換部
３４ 状態特徴マップ作成部
３５ 状態重みマップ作成部
４０ ジェスチャ認識手段
４１ 状態位置初期化部
４２ ベクトル特徴量マッチング部
４２Ａ 認識用ベクトル特徴量変換部
４２Ｂ マッチング部
４３ 状態遷移判定部
４４ ジェスチャ判定部

Claims (9)

1. Ａ ジェスチャを連続的にフレーム画像として入力するための撮像手段と、
   Ｂ 前記撮像手段から連続的に入力されたフレーム画像から移動物体の動作方向をベクトルとして取得するベクトル取得部と、
   取得したベクトルを連続して出力するベクトル出力部とから構成されるフレーム画像処理手段と、
   Ｃ 前記連続して出力されたベクトルに基づいて、ベクトルの長さを正規化して、角度に重み付けしたベクトル特徴量から作成された状態特徴マップデータを格納し、前記連続した特徴量と状態特徴マップとから作成された状態重みマップデータを格納するジェスチャ要素登録手段と、
   Ｄ 前記ジェスチャ要素登録手段に格納された状態特徴マップと状態重みマップを入力し、各状態位置を初期化する状態位置初期化部と、
   前記フレーム画像処理手段で出力されたベクトルをベクトル特徴量に変換し、連続的に入力し、さらに前記ジェスチャ要素登録手段に格納された状態マップを入力し、両者に基づいて、所定の状態およびその前後の状態の比較値として一時的に格納し、出力するベクトル特徴量マッチング部と、
   前記比較値に基づいて、前記初期化された状態位置と前記比較値により各状態の推移を判定し、出力する状態遷移判定部と、
   前記各状態における推移と状態重みマップとを比較して、所定の閾値によりジェスチャ認識フラグを成立させるか否かを判定するジェスチャ判定部と、
   から構成されるジェスチャ認識手段と、
   を備えたことを特徴とするジェスチャ認識装置。
2. 前記ジェスチャ要素登録手段は、
   前記連続して出力されたベクトルを蓄積するベクトル蓄積部と、
   蓄積されたベクトルからベクトル行列を取得するベクトル行列取得部と、
   取得したベクトル行列からベクトルの長さを正規化して、角度に重み付けしたベクトル特徴量に変換するベクトル特徴量変換部と、
   連続した特徴量から状態特徴マップを作成し格納する状態特徴マップ作成部と、
   前記連続した特徴量と状態特徴マップとから状態重みマップを作成し格納する状態重みマップ作成部と、
   から構成されることを特徴とする、請求項１に記載のジェスチャ認識装置。
3. さらに、取得したベクトルを連続して表示するための表示手段を備えたことを特徴とする、請求項１または請求項２に記載のジェスチャ認識装置。
4. 請求項１から請求項３のいずれか１項に記載のジェスチャ認識装置を用いて、ジェスチャを認識させるジェスチャ認識方法であって、
   予め取得した状態特徴マップと状態重みマップを入力する工程（Ｓ１０１）と、
   各状態位置を初期化する工程（Ｓ１０２）と、
   撮像手段からのジェスチャをフレーム画像として連続的に入力する工程（Ｓ１０３）と、
   前記撮像手段から連続的に入力されたフレーム画像から移動物体の動作方向をベクトルとして取得する工程（Ｓ１０４）と、
   取得したベクトルを連続して出力する工程（Ｓ１０５）と、
   前記出力されたベクトルをベクトル特徴量に変換する工程（Ｓ１０６）と、
   前記変換された各ベクトル特徴量を連続的に入力し、さらに予め作成された状態マップを入力し、両者に基づいて、所定の状態およびその前後の状態の比較値として一時的に格納し、出力する工程（Ｓ１０７）と、
   前記比較値に基づいて、前記初期化された状態位置と前記比較値により各状態の推移を判定し、前記各状態における推移と状態重みマップとを比較して、所定の閾値によりジェスチャ認識フラグを成立させるか否かを判定する工程（Ｓ１０８）と、
   を含み、
   前記工程Ｓ１０８でジェスチャ認識フラグが成立した場合には、ジェスチャ認識を完了し、前記ジェスチャ認識フラグが成立しない場合には、工程（Ｓ１０３）へ移行することを特徴とするジェスチャ認識方法。
5. 前記初期化が状態数分のゼロ行列を作成することによって行われ、
   前記推移の判定がフレーム処理で得られるベクトルに対し、現状の状態と前後の状態の3つを比較対象として、それぞれの比較値を次の状態の一致度が高い場合は進行すると判定し、進行した状態の値を1とし、現状の状態の一致度が高い場合は滞在とし、現状の状態の値を+1とし、
   前の状態の一致度が高い時は現状の状態の値を-1とし、0になったとき状態が後退すると判定することを特徴とする請求項４に記載のジェスチャ認識方法。
6. 請求項１から請求項３のいずれか１項に記載のジェスチャ認識装置を用いて、入力されたジェスチャを登録するジェスチャ登録方法であって、
   撮像手段からのジェスチャをフレーム画像として連続的に入力する工程（Ｓ２０１）と、
   前記撮像手段から連続的に入力されたフレーム画像から移動物体の動作方向をベクトルとして取得する工程（Ｓ２０２）と、
   取得したベクトルを連続して出力する工程（Ｓ２０３）と、
   前記連続して出力されたベクトルを蓄積する工程（Ｓ２０４）と、
   蓄積されたベクトルからベクトル行列を取得する工程（Ｓ２０５）と、
   取得したベクトル行列からベクトルの長さを正規化して、角度に重み付けしたベクトル特徴量に変換する工程（Ｓ２０６）と、
   連続した特徴量から状態特徴マップを作成し格納する工程（Ｓ２０７）と、
   前記連続した特徴量と状態特徴マップとから状態重みマップを作成し格納する工程（Ｓ２０８）と、
   を含むことを特徴とするジェスチャ登録方法。
7. 前記ベクトル変換工程において、同じ方向の角度の値を1とし、逆向きの角度の値を0とし、x軸0〜360およびy軸0〜1のグラフとしてマッピングすることを特徴とする請求項６に記載のジェスチャ登録方法。
8. 請求項４から請求項７のいずれか１項に記載の工程を実行するプログラムが格納されたコンピュータ可読媒体。
9. オンラインに所定の動作を行う装置を操作するオンライン動作システムであって、請求項１から請求項３のいずれか１に記載のジェスチャ認識装置と、前記ジェスチャ認識装置と公衆回線を介して接続され、前記ジェスチャ認識装置の認識結果に応じて所定の動作を行う装置とから構成されたオンライン動作システム。
   

Images