JP5733656B2 - ジェスチャ認識装置及びジェスチャ認識方法 - Google Patents

Description

本発明は、使用者によって行われるジェスチャを認識するための技術に関するものである。

使用者のジェスチャを認識する技術として、下記特許文献１〜５に記載のものがある。

例えば、特許文献１の技術では、複数の多軸加速度センサを使用者の身体に取り付ける。そして、一つの多軸加速度センサの出力を基準として、このセンサと他のセンサとの出力の差分を、各軸において算出する。ついで、この差分出力の時間変化のデータと辞書データとを照合する。辞書データでは、差分出力の時間変化のデータとジェスチャとが対応付けられているので、使用者のジェスチャを特定することができる。

ところで、この技術においては、特定の一つのセンサの出力を基準とするので、基準となるセンサの初期位置が重要になる。そして、基準センサが初期位置に正しく設置されないと、ジェスチャの認識精度が劣化すると考えられる。

また、他の各文献の技術でも、ジェスチャの認識動作が煩雑であるという問題があった。

特開平７−２１９７０３号公報 特開平４−２５７０１４号公報 特開平７−１２１２９４号公報 特開２００８−１１２４５９号公報 特開２００２−７０３０号公報

本発明は、前記の状況に鑑みてなされたものである。本発明は、ジェスチャの認識を簡便な手順で比較的正確に行うことが可能な技術を提供することを目的としている。

前記した課題を解決する手段は、以下の項目のように記載できる。

（項目１）
検出部と処理部とを備えており、
前記検出部は、３軸方向への加速度をそれぞれ検出できる構成となっており、
かつ、前記検出部は、使用者の動作に対応して三次元空間内を移動させられるものであり、
前記処理部は、前記３軸方向のうちの少なくとも一つの軸方向における前記加速度についての、既定時間内での標準偏差と、他の軸方向における前記加速度についての、既定時間内での標準偏差との大小関係を用いてジェスチャを認識する構成となっている
ジェスチャ認識装置。

検出部は、通常、使用者の身体、例えば指に取り付けられる。操作者は、検出部を三次元空間内で移動させることにより、各種の動作、すなわちジェスチャを行うことができる。ここで、三次元空間とは、空気中に限らず、例えば水中であってもよい。

（項目２）
前記処理部は、さらに、前記加速度の方向を判別することにより、前記ジェスチャの方向を特定する構成となっている
項目１に記載のジェスチャ認識装置。

（項目３）
前記処理部は、前記標準偏差どうしの大小関係を用いた木構造に基づいて前記ジェスチャを認識する構成となっている
項目１又は２に記載のジェスチャ認識装置。

（項目４）
前記検出部は、使用者の指に装着されるものである
項目１〜３のいずれか１項に記載のジェスチャ認識装置。

（項目５）
以下のステップを備えるジェスチャ認識方法：
（１）３軸方向のうちの少なくとも一つの軸方向における加速度についての、既定時間内での標準偏差と、他の軸方向における前記加速度についての、既定時間内での標準偏差とを算出するステップ；
（２）前記算出された標準偏差どうしの大小関係を用いた木構造に基づいてジェスチャを認識するステップ。

（項目６）
項目５に記載の各ステップをコンピュータで実行させるためのコンピュータプログラム。

（項目７）
以下のステップを備える、ジェスチャ認識のための木構造の生成方法：
（１）標準的なジェスチャについて、３軸方向における加速度についての、既定時間内での標準偏差を、各軸について算出するステップ；
（２）前記各軸における標準偏差の大小関係を用いて前記標準的なジェスチャに辿りつけるように、ジェスチャを特定するための木構造を決定するステップ。

本発明によれば、ジェスチャの認識を簡便な手順で比較的正確に行うことが可能になる。

本発明の一実施形態に係るジェスチャ認識装置の概要を説明するための説明図である。 図１のジェスチャ認識装置において用いる筐体の概略的な斜視図である。 本実施形態のジェスチャ認識方法の全体的な流れを説明するためのフローチャートである。 ジェスチャにおける特徴値を取得する手順を説明するための説明図である。 検出部を取り付ける指のモデルを示す説明図である。 三次元座標系の取り方を示す説明図である。 基本的なジェスチャにおける加速度の波形を示す説明図である。 各軸方向における加速度の標準偏差の状況を説明するための説明図である。 ジェスチャを認識するための決定木の一例を示す説明図である。 ジェスチャ認識動作を説明するためのフローチャートである。

以下、添付図面を参照しながら、本発明の実施形態に係るジェスチャ認識装置について説明する。

（本実施形態の構成）
本実施形態のジェスチャ認識装置は、検出部１と処理部２とを備えている（図１及び図２参照）。

（検出部）
検出部１は、３軸方向への加速度をそれぞれ検出できる構成となっている。さらに、検出部１は、使用者の動作に対応して三次元空間内を移動させられるものとなっている。

具体的には、この実施形態における検出部１は、加速度センサ１１と、MPU（マイクロプロセッサ）ボード１２と、パワーボード１３と、電池１４と、筐体１５を備えている（図１及び図２参照）。

加速度センサ１１は、３軸方向、すなわちＸ−Ｙ−Ｚ方向への加速度をそれぞれ測定することができる構成となっている。このような加速度センサは、一軸方向への加速度検出用の部品を互いに直交して配置することにより容易に得ることができる。

MPUボード１２は、柔軟性のあるコネクタ部材を介して加速度センサ１１に接続されており、加速度センサ１１から出力される各軸方向での加速度値を取得することができるようになっている。また、MPUボード１２は、チップアンテナ１２１を備えており、処理部２との間で無線通信を行うことができるようになっている。すなわち、MPUボード１２は、無線を介して、処理部２に、検出された加速度値を送信できるようになっている。

パワーボード１３は、柔軟性のあるコネクタ部材を介してMPUボード１２に接続されており、電池１４から供給される電力をMPUボード１２に供給できるようになっている。

電池１４としては、通常の一次電池あるいは再充電可能な二次電池（蓄電池）を用いることができる。ただし、電池１４としては、なるべく小型軽量であることが好ましい。

筐体１５は、この実施形態では，指に装着可能な指輪型の形状とされている。さらに、筐体１５の内部には、前記した加速度センサ１１等の各要素部材が収納されている。

（処理部）
処理部２は、通信Ｉ／Ｆ（インタフェース）部２１と、記憶部２２と、ＣＰＵ（中央処理装置）２３とを備えている（図１参照）。

通信Ｉ／Ｆ部２１は、検出部１のＭＰＵボード１２に搭載されたチップアンテナ１２１と通信するためのインタフェースとなる部分である。また、通信Ｉ／Ｆ部２１は、電波送受信用のアンテナ２１１を備えている。

記憶部２２は、CPU２３において実行されるコンピュータプログラムと、動作のために必要な各種のデータを格納している。

CPU２３は、ジェスチャの認識を行うためのコンピュータプログラムを、記憶部２２に記憶されたデータと、検出部１から送られた加速度とを用いて実行するように構成されている。CPU２３で実行されるジェスチャ認識動作の詳細は後述する。

前記の構成により、本実施形態の処理部２は、３軸方向のうちの少なくとも一つの軸方向における加速度についての、既定時間内での標準偏差と、他の軸方向における加速度についての、既定時間内での標準偏差との大小関係を用いてジェスチャを認識する構成とされている。

（本実施形態の動作）
つぎに、本実施形態に係るジェスチャ認識装置を用いたジェスチャ認識方法を、図３〜図１０をさらに参照して説明する。

（図３のステップＳＡ−１）
まず、基本的なジェスチャに対応して、３軸方向における加速度の特徴値を取得する。このステップは、学習のためのステップである。ここで、本実施形態では、加速度の特徴値として、標準偏差の差分を用いる。以下、図４を参照しながら、詳しく説明する。

（サンプリング）
まず、説明の前提として、この実施形態における検出部１の装着状態を、図５に基づいて説明する。図５は、指をモデル化した図を示している。この例では、第１関節と第２関節との間に検出部１の筐体１５を取り付けたと仮定している。ただし、他の部位に筐体１５を取り付けることは可能である。また、手の指以外の箇所に検出部１を取り付けることも可能である。その場合は、筐体１５の形状を、取り付け箇所に適合するように構成することが好ましい。

図５の状態におけるヨー、ロール、ピッチ等の動作の方向の取り方を、図６に示した。

サンプリング動作においては、基本的なジェスチャを実行し、そのときの各軸における加速度を測定する。図７の（ａ）〜（ｌ）に、基本的な１２種類のジェスチャと、そのときの各軸における加速度の値とを示す。図７の（ａ）〜（ｌ）に示したグラフにおいて、縦軸は加速度値、横軸はサンプル点を示す。なお、この例では、５０Hzでサンプリングを行った。つまり、１秒間あたり５０個の加速度データを、各軸方向において取得した。また、図４においては、図６（ｃ）に示すL-Shiftの動作（左方向に指先を動かす動作）での加速度値を記載してある。このサンプリングを複数回（例えば１００回）行う。なお、この明細書では、特に言及しない限り、１回の動作に対する複数のサンプル点の取得の全体をサンプリングと称する。

（標準偏差の算出）
ついで、１回のサンプリングにおける標準偏差を下記のようにして算出する。まず、各軸における平均加速度を下記式により求める。

ここで、
Ｎ：各回の加速度サンプリングにおけるサンプル点の数（例えばＮ＝５０）；
ａ_i：ｉ番目のサンプル点における加速度値；
ａバー：平均加速度。

求めた平均加速度ａバーを用いて、各軸における標準偏差ｓｄを下記式により求める。

この標準偏差ｓｄを、各回のサンプリングについて求める。したがって、サンプリングを１００回行った場合は、１００個の標準偏差ｓｄを、各軸について求めることができる。

L-Shiftという動作について、百回のサンプリングを行った結果を図８に示す。このグラフにおける縦軸は、Ｘ，Ｙ，Ｚの各軸について前記の計算によって得た、加速度値の標準偏差である。このグラフの横軸は、各サンプリングの回数（何回目のサンプリングか）を示す。

この図から分かるように、各回の動作において、Ｙ軸方向の標準偏差が、他の方向の標準偏差より大きい。また、第１１回目のサンプリングにおけるジェスチャは、第３５回目のサンプリングにおけるジェスチャよりもゆっくりした動作である。このため、加速度の絶対値として、第１１回目のデータは、第３５回目のデータよりも小さい。しかしながら、標準偏差に着目すると、いずれの場合でも、Ｙ軸方向の標準偏差が、他の方向の標準偏差より大きいという特徴を維持している。したがって、標準偏差の大小という、比較的単純な判断を行うことにより、ジェスチャの判別が可能であることが分かる。すなわち、sd_y>sd_xかつsd_y>sd_zという特徴判定により、一つのジェスチャ判別が可能となる。

（図３のステップＳＡ−２）
前記と同様な特徴抽出を、各ジェスチャについて行う。これにより、図９に示すように、標準偏差の比較を用いた決定木を作成することができる。すなわち、取得された特徴値に基づいて、ジェスチャ認識用の決定木を生成する。この決定木の生成は、通常、特徴値を見ながら作業者が行うことができる。

なお、この決定木では、ジェスチャの方向を決定するために、最大及び最小の加速度が得られたサンプル番号の大小をさらに比較している。例えば、図7の（ｃ）に示す左への移動と、図7の（ｄ）に示す右への移動は、前記した標準偏差の大小だけでは区別が難しい。しかしながら、Ｙ軸方向への加速度の最大値と最小値が、それぞれ、どのサンプル値で発生したかという情報を追加的に用いると、ジェスチャの方向を決定することができる。例えば、図7（ｃ）を見ると、Ｙ方向加速度の最大値は、最小値よりも後のサンプル値番号で得られている。つまり、YmaxNo＞YminNoとなる。一方、図7（ｄ）の波形を見ると、逆にYmaxNo＜YminNoとなっている。このようにサンプル番号を比較することにより、つまり、最大値と最小値の発生順序を比較することにより、ペアとなるジェスチャを区別することができる。

（図３のステップＳＡ−３）
ついで、使用者は、実際のジェスチャを実行する。検出部１は、３軸方向での加速度を検出し、処理部２は、ジェスチャの認識を行う。このジェスチャ認識は、前記した決定木を用いて行われる。ジェスチャ認識動作の詳細を、図１０をさらに参照しながら説明する。

（図１０のステップＳＢ−１）
まず、使用者は、検出部１の筐体１５を指に取り付ける。この状態では、加速度センサ１１と指との位置関係が固定される。

ついで、使用者は、既定の動作開始ジェスチャを行う。動作開始ジェスチャとは、ジェスチャ判定が容易な特別のジェスチャである。例えば、使用者は、指を水平方向に進めるジェスチャを行う。このとき、各軸の加速度センサの値としては、動作開始時に０以外であり、その後はほぼ０となる。このような加速度値は、処理部２に送られる。処理部２のCPU２３は、記憶部２２に格納されたデータを参照する。そして、前記のような特別な値の場合は、動作開始ジェスチャであると判定することができる。動作開始ジェスチャと判定した場合は、後述の処理が行われる。

（図１０のステップＳＢ−２）
前記した動作開始ジェスチャを行った後、使用者は、既定のジェスチャを行う。例えば、本実施形態では、図７に示した１２種類のジェスチャのうちのいずれかを行う。このジェスチャによって発生した各軸方向での加速度は、検出部１によって検出され、処理部２に送られる。

（図１０のステップＳＢ−３）
ついで、使用者は、既定の動作終了ジェスチャを行う。この動作終了ジェスチャは、動作開始ジェスチャと同様に、ジェスチャ判定が容易な特別のジェスチャである。この実施形態では、既定時間の間動作を停止する（検出部１を動かさない）というジェスチャを行う。サンプリングを行う時間を１秒間とすると、１秒間の間、動作を停止させる。このようにすると、各軸方向での加速度値はほぼ０を維持するので、処理部２は、動作終了ジェスチャを判定することができる。

（図１０のステップＳＢ−４）
ついで、処理部２のCPU２３は、記憶部２２に格納されたコンピュータプログラムに従って、得られた加速度値を用いて、各軸方向での特徴値を計算する。つまり、各軸方向での加速度の標準偏差、加速度の最大値、加速度の最小値をそれぞれ算出する。また、加速度の最大値と最小値が得られたサンプル番号をそれぞれ特定する。

（図１０のステップＳＢ−５）
ついで、処理部２のCPU２３は、算出された特徴値を、図９に一例として示す決定木に適用する。この決定木において＆とあるのはアンド条件を示す。これにより、図９の四角枠で示すジェスチャを特定することができる。

（図１０のステップＳＢ−６）
前記ステップＳＢ−５によりジェスチャを特定できた場合は、次のステップに進む。ジェスチャを特定できなかった場合は、処理部２は、適宜の手段（例えば警告音や警告表示）によりエラーメッセージを表示する。これにより、使用者に対して、再度の動作開始ジェスチャの実行を促すことができる。既定時間内に動作開始ジェスチャが行われた場合は、前記したＳＢ−２からのステップを再度実行する。

（図１０のステップＳＢ−７）
ついで、処理部２は、特定したジェスチャに対応する命令を特定する。例えば、コンピュータ（図示せず）への特定の指令内容を特定する。この操作は、記憶部２２に適宜な照合テーブルを備えることにより実行できる。

（図１０のステップＳＢ−８）
ついで、処理部２は、コンピュータ（図示せず）に対して、特定された命令を送信する。これにより、コンピュータは、使用者のジェスチャに対応する動作を行うことができる。

本実施形態では、前記したように、加速度の標準偏差の大小関係を用いて、ジェスチャ認識用決定木を生成することができる。このため、決定木が簡潔であるという利点がある。

また、本実施形態では、閾値最適化を行う必要がない。このため、人間によって、安定した決定木を簡単に生成できるという利点もある。

さらに、本実施形態では、ジェスチャ判定に必要な計算量が少ないという利点もある。例えば、従来の技術では、2つの信号シーケンスの間の類似度を測る認識手法（動的時間伸縮法 、隠れマルコフモデル）を用いるものがある。このような従来手法では、積分やマトリックス計算が必要となり、計算量が多い。これに対して、本実施形態では、前記した通り、少ない計算量でジェスチャの認識を行うことができる。

なお、本発明は、前記した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々の変更を加え得るものである。例えば、前記した検出部における各機能要素は、ネットワークを介して分散配置されていてもよい。また、各機能要素が、複数のハードウエアの組み合わせによって実現されていてもよく、さらには、各機能要素が集合して一つのハードウエアを構成していてもよい。要するに、各機能要素は、必要な機能を実行できるように構成されていればよい。

１ 検出部
１１ 加速度センサ
１２ ボード
１２１ チップアンテナ
１３ パワーボード
１４ 電池
１５ 筐体
２ 処理部
２１ 通信I/F部
２１１ アンテナ
２２ 記憶部
２３ ＣＰＵ

Claims (7)

1. 検出部と処理部とを備えており、
   前記検出部は、３軸方向への加速度をそれぞれ検出できる構成となっており、
   かつ、前記検出部は、使用者の動作に対応して三次元空間内を移動させられるものであり、
   前記処理部は、前記３軸方向のうちの少なくとも一つの軸方向における前記加速度についての、既定時間内での標準偏差と、他の一つ又は二つの軸方向における前記加速度についての、既定時間内での標準偏差との大小関係を異なる軸方向の間で判断するノードを有する木構造に基づいてジェスチャを認識する構成となっている
   ジェスチャ認識装置。
2. 前記処理部は、さらに、前記加速度の方向を判別することにより、前記ジェスチャの方向を特定する構成となっている
   請求項１に記載のジェスチャ認識装置。
3. 前記処理部は、特定の軸方向における加速度の最大値と最小値の発生順序を比較することにより、前記ジェスチャの方向を特定する構成となっている
   請求項１に記載のジェスチャ認識装置。
4. 前記検出部は、使用者の指に装着されるものである
   請求項１〜３のいずれか１項に記載のジェスチャ認識装置。
5. 以下のステップを備える、装置を用いるジェスチャ認識方法：
   （１）３軸方向のうちの少なくとも一つの軸方向における加速度についての、既定時間内での標準偏差と、他の一つ又は二つの軸方向における前記加速度についての、既定時間内での標準偏差とを算出するステップ；
   （２）前記算出された標準偏差どうしの大小関係を異なる軸方向の間で判断するノードを有する木構造に基づいてジェスチャを認識するステップ。
6. 請求項５に記載の各ステップをコンピュータで実行させるためのコンピュータプログラム。
7. 以下のステップを備える、ジェスチャ認識のための木構造の生成方法：
   （１）標準的なジェスチャについて、３軸方向における加速度についての、既定時間内での標準偏差を、各軸について算出するステップ；
   （２）前記各軸における標準偏差の大小関係を異なる軸方向の間で順次判断することにより前記標準的なジェスチャに辿りつけるように、ジェスチャを特定するための木構造を決定するステップ。