WO2017199356A1

WO2017199356A1 - ジェスチャ認識装置、ジェスチャ認識パターン情報のキャリブレーション方法、及びそれを用いた通信端末

Info

Publication number: WO2017199356A1
Application number: PCT/JP2016/064681
Authority: WO
Inventors: 裕美福島
Original assignee: Hitachi Maxell Ltd
Current assignee: Maxell Ltd
Priority date: 2016-05-18
Filing date: 2016-05-18
Publication date: 2017-11-23
Anticipated expiration: 2018-11-18

Abstract

ジェスチャ認識装置において、ユーザのジェスチャ動作の特徴の違いにより誤認識が発生する。本発明は、認識率を向上させ、使用勝手のよいジェスチャ認識装置を提供することを目的とする。　そのために、ジェスチャを認識するための基準となるジェスチャ認識パターン情報を保持する保持部と、ユーザのジェスチャ情報とジェスチャ認識パターン情報とをマッチングするマッチング部と、ユーザからの入力を受け付ける入力部と、ジェスチャ認識パターン情報をキャリブレーションするキャリブレーション部とを有し、入力部はジェスチャに対応した動作に対する正誤情報が入力され、キャリブレーション部は、ユーザの操作状態とジェスチャに対応した動作の状態と入力された正誤情報及び/または正誤情報に相当する情報に応じてジェスチャ認識パターン情報を変更する構成とする。

Description

ジェスチャ認識装置、ジェスチャ認識パターン情報のキャリブレーション方法、及びそれを用いた通信端末

　本発明は、主にジェスチャ認識装置の認識技術に関する。

　家電機器や車両に搭載された機器操作に関して、特定の操作装置を用いず、ユーザの手の形状やジェスチャを用いた操作方法が考案されており普及しつつある。

　ジェスチャ認識技術の一つとして、ＷＯ２０１５／０１５８４３号公報（特許文献１）がある。特許文献１では、「手の座標系に基づいて手の動きの特徴量を算出することで、或いは手の形状の特徴量と手又は指の動きの特徴量を算出することで、操作者によって、操作領域に入れられる手の角度、手振り動作の方向などに違いがあっても、誤認識の少ないジェスチャー判定が可能となり、該ジェスチャー判定に基づく機器の操作を操作者の意図に合致したものとすることが可能となる。」と記載されている。

ＷＯ２０１５／０１５８４３号公報

　ジェスチャによる機器操作は、ユーザが操作装置を手に取るなどの準備が不要で、簡単な動作により機器を操作することが可能であるため機器操作の方法として有効である。しかし、ジェスチャは個々にジェスチャ動作の大きさ、速度や角度などが異なるためにジェスチャを認識し難い場合がある。

　そこで、特許文献１に記載のように、手の角度或いは手振り動作の方向の違いを考慮した上でジェスチャ判定を行うことで誤認識を低減させる方法が開示されている。

　一方、近年、腕時計型の通信端末が普及している。省電力化のため、ディスプレイは通常消灯され表示されておらず、例えば腕時計を見るジェスチャによりディスプレイが点灯し情報が表示されるなどといった機能を具備している。しかし、この腕時計を見るジェスチャを行ってもディスプレイが点灯表示されないことや、また逆に腕時計を見るジェスチャを行っていない場合でもディスプレイが点灯表示されてしまうといった誤認識が発生しており、ユーザにとって使い勝手が悪く、特許文献１のような技術を適用しても、未だ誤認識や誤動作という問題は解決されていない。

　上記課題を解決するため、本発明は、その一例を挙げるならば、ジェスチャを認識し対応した動作を実行するジェスチャ認識装置であって、ジェスチャを認識するための基準となるジェスチャ認識パターン情報を保持する保持部と、ユーザのジェスチャ情報とジェスチャ認識パターン情報とをマッチングするマッチング部と、ユーザからの入力を受け付ける入力部と、ジェスチャ認識パターン情報をキャリブレーションするキャリブレーション部とを有し、入力部はジェスチャに対応した動作に対する正誤情報が入力され、キャリブレーション部は、ユーザの操作状態とジェスチャに対応した動作の状態と入力された正誤情報及び/または正誤情報に相当する情報に応じてジェスチャ認識パターン情報を変更するように構成する。

　本発明によれば、使用勝手のよいジェスチャ認識装置、ジェスチャ認識パターン情報のキャリブレーション方法、及びそれを用いた通信端末を提供することが出来る。

実施例１におけるジェスチャ認識装置のブロック図である。実施例１におけるユーザの操作内容に対応する装置動作と装置動作に対するユーザの認識状態の分類を示す概略図である。実施例１におけるジェスチャ動作の例を示す図である。実施例１におけるユーザの操作内容に対応する装置動作と装置動作に対するユーザの認識状態の分類の具体例である。実施例１におけるジェスチャ認識パターン情報の概略図である。実施例１における分類した状態の判定に関する処理フローである。実施例１における状態Ｄでのジェスチャ認識パターン情報の更新フローである。実施例１における状態Ｄでのジェスチャ認識パターン情報の他の更新フローである。実施例１における状態Ｂ及び状態Ｃでのジェスチャ認識パターン情報の更新フローである。実施例１における状態Ｂ及び状態Ｃでのジェスチャ認識パターン情報の他の更新フローである。実施例１における状態Ａでのジェスチャ認識パターン情報の他の更新フローである。実施例２におけるユーザの操作内容に対応する装置動作と装置動作に対するユーザの認識状態の分類を示す概略図である。実施例２におけるキャリブレーション処理フローである。実施例３におけるユーザが入力した正誤情報の修正フローである。実施例３におけるジェスチャ動作に対する正誤入力の回数を示す表示例である。実施例３におけるジェスチャ動作に対する正誤入力の比率を示す表示例である。実施例３におけるユーザが入力した正誤情報の他の修正フローである。実施例３におけるジェスチャ動作に対するコマンド処理の実行履歴を時系列で示す表示例である。実施例４におけるジェスチャ認識装置のキャリブレーション用情報の蓄積処理フローである。実施例４における状態Ｄでのキャリブレーション処理フローである。実施例４における状態Ｂ及び状態Ｃでのキャリブレーション処理フローである。実施例５におけるジェスチャ認識装置のブロック図である。実施例５におけるサーバ装置のブロック図である。実施例５におけるサーバ装置のデータ収集、分析フローである。実施例５におけるジェスチャ認識装置がサーバ装置より基準情報を取得しジェスチャ認識装置に情報を反映するフローである。実施例５におけるサーバ装置がジェスチャ認識装置へ基準情報を送信するフローである。

　以下、本発明の実施例を図面を用いて説明する。

　まず、本実施例におけるジェスチャ認識装置の基本的動作について説明する。図１は、本実施例におけるジェスチャ認識装置を示すブロック図である。図1において、ジェスチャ認識装置１００は、制御部１０１、入力部１０２、センシング部１０３、マッチング部１０４、キャリブレーション部１０５、コマンド処理部１０６、表示部１０７から成り、ジェスチャ認識パターン情報を例えばメモリ等の保持部１０８に保持する（以下では、保持部１０８に保持されたジェスチャ認識パターン情報を「ジェスチャ認識パターン情報１０８」と記述する場合もある）。このジェスチャ認識パターン情報１０８は、ジェスチャを認識するための基準となる情報として使用される。

　制御部１０１は、ジェスチャ認識装置全体を制御するものである。入力部１０２はユーザ操作による入力情報を入力する。センシング部１０３は、ユーザのジェスチャ動作及び周囲環境の状況などをセンシングする。例えばユーザがジェスチャ認識装置そのものを身に付けている場合、装置の角速度、加速度、地磁気、光センサなどのセンサを用いセンサ情報を取得する。例えばユーザがジェスチャ認識装置そのものを身に付けていない場合は、ユーザの動作をカメラなどにより認識しユーザの動作を取得する。なお、センシング部１０３は、ユーザの動作を特定するためのセンサでありこれらに限らない。マッチング部１０４は、センシング部１０３で取得したユーザの動作特徴を示す情報と、予め決められたジェスチャ認識パターン情報１０８とをマッチングする。キャリブレーション部１０５は、ジェスチャ認識パターン情報１０８をユーザに応じたパターンにキャリブレーションする。コマンド処理部１０６はマッチング部１０４で基準のジェスチャ認識パターン情報１０８と合致したジェスチャに対応する動作（以下、コマンド処理、または、コマンド動作と記述する場合もある）を実施する。表示部１０７は、入力部１０２からの入力情報の表示や、各種状態表示等を行なう。なお、タッチディスプレイなどのように入力部１０２と一体となった入出力部を構成していても良い。

　次に、本実施例におけるキャリブレーション方法として、基準となるジェスチャ認識パターン情報をユーザに応じてキャリブレーションする方法について示し、誤認識を防ぐまたは認識率を向上させることが可能となることを示す。

　本実施例におけるキャリブレーション方法では、ユーザが意図して特定のジェスチャ動作を行ったか、その結果ジェスチャ認識装置がどのような動作を行ったか、そしてその動作をユーザが認識したかどうかという状態に分類する。分類した状態に対して認識があっていたか間違っていたかをユーザが入力することで、その都度ジェスチャ認識パターン情報をキャリブレーションする。

　まず、図２を用いて一般的なジェスチャ認識装置における、ユーザの操作内容に対応する装置動作と装置動作に対するユーザの認識状態の分類を示す。

　図２において、例えば、Ａに示す状態は、ユーザが意図してジェスチャ動作を行い、ジェスチャ認識装置がユーザの意図にあった期待の動作を行い、期待の動作となったことをユーザが認識している場合である。Ｂに示す状態は、ユーザがジェスチャ動作を行っておらず、ジェスチャ認識装置が誤認識し、誤った動作を行った際、ユーザがその誤った動作を認識した場合である。Ｃに示す状態は、ユーザがジェスチャ動作を行っておらず、ジェスチャ認識装置が誤認識し誤った動作を行った際、ユーザがその動作を認識しなかった場合である。Ｄに示す状態は、ユーザが意図してジェスチャ動作を行い、ジェスチャ認識装置がユーザの意図に合わず期待の動作でない誤った動作を行ってしまった際、ユーザがその期待の動作にならなかったことを認識した場合である。Ｅに示す状態は、ユーザがジェスチャ動作を行っておらず、ジェスチャ認識装置はユーザの期待通りの動作となり、ユーザが期待の動作であったことを認識した場合である。最後に、Ｆに示す状態は、ユーザが意図してジェスチャ動作を行っておらず、ジェスチャ認識装置はユーザの期待通りの動作となり、ユーザが期待の動作であったことを認識しなかった場合である。

　次に、具体的な例を上げて、ユーザの操作内容に対応する装置動作と装置動作に対するユーザの認識状態の分類を説明する。例えば、図３に示すように、腕時計型の通信端末であるジェスチャ認識装置１００で腕時計を見るジェスチャの例を用いて説明する。

　図４は、腕時計型のジェスチャ認識装置で、腕時計を見るジェスチャによりディスプレイが点灯する仕様であった場合の、ユーザの操作内容に対応する装置動作と装置動作に対するユーザの認識状態を示す分類の概略図である。図４において、Ａに示す状態は、ユーザがディスプレイを点灯するように腕時計を見るジェスチャを行い、ディスプレイが点灯表示され、それをユーザが認識している場合である。Ｂに示す状態は、ユーザが腕時計を見るジェスチャをしていないが、ディスプレイが点灯表示され、ディスプレイが点灯したことをユーザが認識した場合である。Ｃに示す状態は、ユーザが腕時計を見るジェスチャをしていないが、ディスプレイが点灯表示され、ディスプレイが点灯したことをユーザが認識しなかった場合である。Ｄに示す状態は、ユーザがディスプレイを点灯するように腕時計を見るジェスチャを行ったがディスプレイが点灯表示されず、ディスプレイが点灯しなかったことをユーザが認識した場合である。Ｅに示す状態は、ユーザが腕時計を見るジェスチャをしておらず、ジェスチャをしていないためディスプレイも点灯せず、ディスプレイが点灯していないことをユーザが認識している状態である。最後に、Ｆに示す状態は、ユーザが腕時計を見るジェスチャをしておらず、ジェスチャをしていないためディスプレイも点灯せず、ディスプレイが点灯していないことをユーザが認識していない状態である。

　ここで、状態Ａ、状態Ｅ、状態Ｆにおいて、ジェスチャ認識装置はユーザの期待したとおりの動作を行っている。逆に、状態Ｂ、状態Ｃ、状態Ｄにおいて、ジェスチャ認識装置はユーザの期待した動作となっておらず、これらの状態での誤認識は、ユーザに使い勝手や余計な電力消費といった点で負担となっている。

　以降では、図２及び図４で分類した状態に対して、ユーザがジェスチャ認識装置の動作が正しかったか、間違っていたかという正誤情報を入力することでキャリブレーションが可能であることを説明する。

　状態Ｂ、状態Ｃ、状態Ｄでは、ジェスチャ認識装置はユーザの意図と異なる動作を行ったため、これを正す必要がある。ここで、状態Ｂと状態Ｄは、ユーザが期待の動作であったかどうかをユーザが認識しているためユーザにより正誤を入力することが可能である。状態Ｃは、期待の動作でなかったことをユーザが認識していないため正誤を入力することは不可能である。しかし、状態Ａにおいて、期待の動作であったことを入力することにより、ジェスチャ認識装置がジェスチャに対応した動作を行ったにも関わらずユーザからの正誤入力が無いということが、ユーザがジェスチャに対応した動作に気付かなかったということと等価と考えられるため、状態Ｃであることを推定することが可能となる。

　よって、全ての状態に対してユーザが正誤情報を入力することが負担となる可能性があるため、例えば、状態Ｄまたは/及び状態Ｂのみに対して正誤情報を入力することで、キャリブレーションを行うことが可能である。なお、どの状態に対してユーザが正誤情報を入力しキャリブレーションを行うかの正誤入力の設定有無は、ジェスチャ認識装置で予め設定してもよく、ユーザが任意に設定してもよい。

　まず初めに、図５を用いて本実施例におけるジェスチャ認識パターン情報について説明する。図５（Ａ）はジェスチャ認識パターン情報の一例である。例えば、コマンドＡを実行するためのジェスチャとして基準となるジェスチャ認識パターン情報Ａ００１、Ａ００２、・・・Ａ０ＸＸが登録されている。これらは、コマンドＡに紐付ける異なるジェスチャのパターンであってもよく、コマンドＡに紐付ける同じジェスチャであるが特徴が異なるパターンでもよい。このパターンは、例えばセンシング部１０３でセンシングしたユーザ動作の位置や加速度などを正規化した情報が考えられるが、ユーザのジェスチャを認識するための情報であればこれらに限らない。図５（Ｂ）はマッチング部１０４が、ジェスチャ認識パターン情報に対して、センシングしたデータとマッチングを行う際、センシングデータとの類似度の閾値を示す。例えばＡ００１のジェスチャ認識パターン情報の場合、このパターンとの類似度が６０を超えた場合にマッチングしたとみなし、コマンドＡを実行する。このように複数のパターンに対し類似度の閾値を柔軟に設定することで、ユーザにあったジェスチャ認識を行う。

　次に、具体的なキャリブレーション処理フローを説明する。図６で主に図２及び図４で分類した状態の判定に関する処理フローを説明する。図６において、ステップ６０１では、センシング部１０３でセンサデータを取得する。ステップ６０２では、マッチング部１０４が、取得したセンサデータと例えば図５（Ａ）に示したジェスチャ認識パターン情報とのマッチングを行い、センサデータのジェスチャ認識パターン情報に対する類似度を算出する。ステップ６０３では、ジェスチャ認識パターン情報に対して設定されている類似度の閾値との比較を行う。ステップ６０２で算出した類似度が、設定されている閾値以上であればマッチングしたと判定し、ステップ６０４に進む。ステップ６０２で算出した類似度が、設定されている閾値未満であればマッチングしなかったと判定しステップ６０５に進む。ステップ６０４では、制御部１０１の指示によりコマンド処理部１０６において、認識したジェスチャに紐付けられるジェスチャに対応した動作（コマンド）を実行する。ステップ６０５では、センシングしたセンサデータ及び/またはマッチング処理結果であるマッチングしたジェスチャ認識パターン情報を示す固有IDまたは/及びマッチング処理結果である類似度及び/またはコマンド実行履歴及び/またはこれらの処理実行時刻を履歴として保存する。

　ステップ６０６では、ジェスチャ認識装置のコマンド処理実行内容に対するユーザの入力部１０２を介した正誤情報の入力有無を判定する。入力有の場合はステップ６０７に進む。入力無しの場合は状態Ｃに対応してステップ１０００またはステップ１１００に進む。この場合、ステップ１０００とステップ１１００のどちらのステップでも良く、これらをジェスチャ認識装置で予め設定してもよく、ユーザが設定してもよい。

　ステップ６０７では、ユーザによる入力内容が、ジェスチャ認識装置の動作が正しかったか間違っていたか正誤どちらの入力であるかを判定する。すなわち、図２、図４の○×の判定に対応する。なお、ここでは、状態Ａ、Ｂ、Ｄに対して判定を行っている。「正」入力の場合は状態Ａに対応してステップ９００に進む。「誤」入力の場合は状態Ｂまたは状態Ｄに対応してステップ６０８に進む。ステップ６０８では、コマンド実行の有無を判定する。コマンド実行した場合は状態Ｂに対応してステップ１０００またはステップ１１００に進む。コマンド実行していない場合は状態Ｄに対応してステップ７００またはステップ８００に進む。この場合、ステップ７００とステップ８００のどちらのステップでも良く、これらをジェスチャ認識装置で予め設定してもよく、ユーザが設定してもよい。ステップ６０９ではステップ６０５の履歴に加え、キャリブレーション前のジェスチャ認識パターン情報または/及び正誤入力の有無、正誤情報を履歴情報として保存する。

　状態Ｄにおける、ジェスチャ認識パターン情報の更新フローであるステップ７００とステップ８００について図７と図８を用いて説明する。図７は、ステップ７００の処理内容であり、ユーザが行ったジェスチャのセンサデータをもとに作成したジェスチャ認識パターン情報を新たに登録する処理フローである。図７において、初めにステップ７０１で、状態Ｄへの正誤入力をユーザが行う設定であるかどうかを判定する。正誤入力の設定有りの場合はステップ７０２に進み、設定無しの場合は終了する。本状態Ｄはユーザが意図してジェスチャ動作を行ったが、期待した動作とならなかった場合であるため、キャリブレーション部１０５は、ステップ７０２ではユーザが行ったジェスチャに関するセンサデータをもとに作成したジェスチャ認識パターン情報を新たに登録する。ステップ７０３ではそのパターンの類似度閾値を設定する。ここで類似度閾値は例えば、ジェスチャ認識装置で保持するデフォルトの類似度閾値でもよく、新たに登録するジェスチャ認識パターン情報であるため、誤認識による誤動作が発生しにくいようにデフォルトの類似度閾値よりも高く設定しても良い。このように、ユーザのジェスチャの認識パターンを新たに登録することでより認識率を向上させることが可能となる。

　図８は、ステップ８００の処理内容であり、ユーザが行ったジェスチャのセンサデータと類似性の高いジェスチャ認識パターン情報の類似度閾値を変更する処理フローである。図８において、初めにステップ８０１で、状態Ｄへの正誤入力をユーザが行う設定であるかどうかを判定する。正誤入力の設定有りの場合はステップ８０２に進み、設定無しの場合は終了する。ステップ８０２ではユーザが行ったジェスチャに関するセンサデータと、ジェスチャ認識装置が保持しているジェスチャ認識パターン情報とのマッチングを行う。ステップ８０３では、前記マッチング処理の結果より最も類似度が高かったパターンを取得する。キャリブレーション部１０５は、ステップ８０４では、該当のパターンの類似度閾値を設定されていた閾値よりも低く設定する。このように、予めジェスチャ認識装置が保持しているジェスチャ認識パターン情報の類似度閾値を低く設定することにより、より認識率を向上させることが可能となる。

　次に、状態Ｂ及び状態Ｃにおける、ジェスチャ認識パターン情報の更新フローであるステップ１０００とステップ１１００について図９と図１０を用いて説明する。図９は、ステップ１０００の処理内容である。

　まず、状態Ｂにおける、ジェスチャ認識パターン情報の更新フローを説明する。図９において、初めにステップ１００１で、状態Ｂへの正誤入力をユーザが行う設定であるかどうかを判定する。正誤入力の設定有りの場合はステップ１００２に進み、設定無しの場合は終了する。状態Ｂはユーザが意図してジェスチャ動作を行っていないが、ジェスチャ認識装置が誤認識し誤ったコマンドを実行した場合であるため、ステップ１００２では、キャリブレーション部１０５は、合致したジェスチャ認識パターン情報の類似度閾値を高く設定する。類似度閾値を高く設定することにより、ユーザのジェスチャと合致し難くすることで誤認識を防ぐことが可能となる。

　次に、状態Ｃにおける、ジェスチャ認識パターン情報の更新フローを説明する。図９において、初めにステップ１００１で、状態Ｃは、状態Ａへの正誤入力を行うことにより等価的に判定できる状態であるため、状態Ａへの正誤入力をユーザが行う設定であるかどうかを判定する。正誤入力の設定有りの場合はステップ１００２に進み、設定無しの場合は終了する。状態Ｃはユーザが意図してジェスチャ動作を行っていないが、ジェスチャ認識装置が誤認識し誤ったジェスチャに対応した動作（コマンド）を実行した場合であるため、ステップ１００２では、キャリブレーション部１０５は、合致したジェスチャ認識パターン情報の類似度閾値を高く設定する。類似度閾値を高く設定することにより、ユーザのジェスチャと合致し難くすることで誤認識を防ぐことが可能となる。

　図１０はステップ１１００の処理内容であり、状態Ｂ及び状態Ｃにおける、ジェスチャ認識パターン情報の他の更新フローを説明する。

　まず、状態Ｂにおける、ジェスチャ認識パターン情報の更新フローを説明する。

　図１０において、初めにステップ１１０１で、状態Ｂへの正誤入力をユーザが行う設定であるかどうかを判定する。正誤入力の設定有りの場合はステップ１１０２に進み、設定無しの場合は終了する。状態Ｂはユーザが意図してジェスチャ動作を行っていないが、ジェスチャ認識装置が誤認識し誤ったジェスチャに対応した動作を実行した場合であるため、ステップ１１０２では、キャリブレーション部１０５は、履歴情報より、該当のジェスチャ認識パターン情報と合致したが動作が誤っていた回数を取得する。ステップ１１０３で、取得した回数が規定の回数以上かどうかを判定する。規定回数以上の場合はステップ１１０４に進み、規定回数未満であった場合は終了する。規定回数は、ジェスチャ認識装置で予め設定してもよく、ユーザが任意に設定してもよい。ステップ１１０４では、本パターンを基準パターンより削除する。誤認識の多かったパターンを削除することにより、誤認識を防ぐことが可能となる。

　次に、状態Ｃにおける、ジェスチャ認識パターン情報の更新フローを説明する。

　図１０において、初めにステップ１１０１で、状態Ｃは、状態Ａへの正誤入力を行うことにより等価的に判定できる状態であるため、状態Ａへの正誤入力をユーザが行う設定であるかどうかを判定する。正誤入力の設定有りの場合はステップ１１０２に進み、設定無しの場合は終了する。状態Ｃはユーザが意図してジェスチャ動作を行っていないが、ジェスチャ認識装置が誤認識し誤ったジェスチャに対応した動作を実行した場合であるため、ステップ１１０２では、履歴情報より、該当のジェスチャ認識パターン情報と合致したが動作が誤っていた回数を取得する。ステップ１１０３で、取得した回数が規定の回数以上かどうかを判定する。規定回数は、ジェスチャ認識装置で予め設定してもよく、ユーザが任意に設定してもよい。規定回数以上の場合はステップ１１０４に進み、規定回数未満であった場合は終了する。ステップ１１０４では、本パターンを基準パターンより削除する。誤認識の多かったパターンを削除することにより、誤認識を防ぐことが可能となる。

　図１１はステップ９００の処理内容であり、状態Ａにおける、ジェスチャ認識パターン情報の更新フローを説明する。図１１において、初めにステップ９０１で、状態Ａへの正誤入力をユーザが行う設定であるかどうかを判定する。正誤入力の設定有りの場合はステップ９０２に進み、設定無しの場合は終了する。本状態Ａはユーザが意図してジェスチャ動作を行い、ジェスチャ認識装置がユーザの期待のジェスチャに対応した動作を行った場合である。ステップ９０２では、合致したジェスチャ認識パターン情報との類似度を取得する。ステップ９０３では、キャリブレーション部１０５は、合致したジェスチャ認識パターン情報の類似度閾値を変更する。ここで、類似度閾値は、例えば合致した際の類似度を設定する。ユーザのジェスチャと合致するということは、類似度閾値を超えていた場合であり、ユーザのジェスチャはジェスチャ認識パターン情報との類似性が高く、ユーザがこのパターンを再現できる可能性が高いということであるため類似度閾値を合致した際の類似度閾値とすることで、誤認識を防ぐことが可能となる。なお、変更する類似度閾値は、合致した際の類似度閾値ではなく、予め設定されていた類似度閾値と合致した際の類似度閾値の平均や、これらに任意の係数を掛けた値を設定してもよい。

　以上のように、本実施例によれば、予め決められたジェスチャ認識パターン情報をユーザに応じて修正することで、ユーザにあったジェスチャ認識パターン情報とすることが可能となり、ジェスチャ認識率が向上しユーザにとって使用勝手のよい機器を提供することが出来る。

　本実施例は、ジェスチャ認識装置においてユーザが必ずジェスチャ認識装置の動作を認識している場合について説明する。一例として、腕時計型のジェスチャ認識装置で、腕時計を見るジェスチャによりディスプレイが点灯し、ディスプレイを点灯させると同時に点灯したことを、腕時計を振動させるなどの方法でユーザに通知できる場合について説明する。この場合、図４に示したユーザの操作内容に対応する装置動作と装置動作に対するユーザの認識状態の分類のうち、状態Ｃと状態Ｆのユーザが気付かなかった状態がなくなり、図１２で示す分類となる。

　図１３を用いて、本実施例における具体的なキャリブレーション処理フローを説明する。図１３において、ステップ６０１から６０５は、図６で説明したステップと同様であるので、その説明は省略する。ステップ１３０６では、ジェスチャ認識装置のコマンド処理実行内容に対するユーザの正誤情報の入力有無を判定する。入力がある場合はステップ１３０７に進む。入力が無い場合は終了する。ステップ１３０７では、コマンド実行（ジェスチャに対応した動作）の有無を判定する。コマンド実行した場合はステップ１０００またはステップ１１００に進む。コマンド実行していない場合はステップ７００またはステップ８００に進む。ステップ７００とステップ８００のどちらのステップでも良く、これらをジェスチャ認識装置で予め設定してもよく、ユーザが設定してもよい。

　このように、ジェスチャ認識装置がジェスチャに対応した動作を行うと同時にユーザに動作を行ったことを通知できる場合は、ユーザの正誤入力が必要なパターンを減らすことが可能である。

　本実施例は、ユーザが入力した正誤情報の修正方法について説明する。すなわち、ユーザが必ずジェスチャ認識装置のジェスチャに対応した動作（コマンド動作）に対して正誤情報を入力できるとは限らないため、キャリブレーションしたジェスチャ認識パターン情報の修正を可能とする。

　図１４を用いて、本実施例における修正フローについて説明する。図１４において、まず、ステップ１４０１で、図６のステップ６０５または/及び６０９で保存した履歴情報を取得し、状態Ａから状態Ｅについて、ユーザが正誤情報及び/または正誤情報に相当する情報を入力した回数を合計する。ステップ１４０２では、前記集計した情報を表示する。図１５及び図１６に表示例として、例えば一日のユーザの操作内容に対応する装置動作と装置動作に対するユーザの認識状態についての集計結果を示す。図１５では、状態Ａから状態Ｄのユーザが正誤情報及び/または正誤情報に相当する情報を入力した回数を示し、図１６ではその比率を示している。ステップ１４０３では、ユーザによる信頼度の有無を確認する。入力がある場合はステップ１４０４に進み、入力が無い場合は終了する。ステップ１４０４ではユーザが入力した信頼度を取得する。ここで信頼度は、状態Ａから状態Ｄの回数に対する信頼性を示す値でもよく、状態Ａから状態Ｄの修正後の回数または比率でもよい。例えば回数の場合は、信頼度は、下記式（１）、
　　　１００－｜（修正後回数―修正前回数）／修正前回数×１００｜　　…（１）
で表すことが可能であるが、信頼度の算出方法はこれに限らない。ステップ１４０５では、１４０１で取得した履歴情報と、信頼度を元に、キャリブレーション時に変更設定した類似度閾値の正負方向を元に戻す方向に修正、設定する。

　また、このユーザが入力した正誤情報の修正方法の変形例について以下説明する。図１７を用いて、本実施例における修正フローについて説明する。図１７において、ステップ１７０１で、図６のステップ６０５または/及び６０９で保存した履歴情報を取得し、状態Ａから状態Ｅについて、処理実行時刻を取得する。ステップ１７０２では、処理実行時刻を表示する。図１８に表示例として、例えば一日の処理実行時刻を示す。時系列に、処理実行時刻を縦線で示している。ユーザは表示された時系列の処理実行時刻を参照し、正誤入力を行った時刻や時間帯に間違いが無いかを確認し、修正を行う。ステップ１７０３では、修正入力の有無を確認し入力がある場合はステップ１７０３に進み、入力が無い場合は終了する。ここで、ユーザが入力する情報は、削除したい処理時刻でもよく、削除したい時間帯でもよい。ステップ１７０４では、ユーザが入力した時刻または時間帯において、キャリブレーションを行ったかどうかを判定する。該当時刻または時間帯に変更設定を行った場合はステップ１７０５に進む。変更設定を行っていない場合は終了する。ステップ１７０５では、該当時間帯で行ったキャリブレーション処理による修正を取り消し、履歴情報を用い元のジェスチャ認識装置パターン情報に戻す。

　キャリブレーション期間の開始は、ジェスチャ認識装置を初めて使用するタイミングでもよく、ジェスチャ認識装置が提供する、キャリブレーション期間の開始設定をユーザが行ったタイミング、またはユーザが設定した開始時期でもよい。また、キャリブレーション期間の終了は、例えば、図１５や図１６に示した状態Ａから状態Ｄの回数及び比率が一定比率となったタイミングや、毎日の各状態の回数及び比率の変動が収束したタイミングでもよく、ジェスチャ認識装置が提供する、キャリブレーション期間の終了設定を行ったタイミング、またはユーザが設定した終了時期でもよい。

　また、ユーザによる正誤情報の入力方法は、ジェスチャ認識装置付属の入力装置や、タッチパネル式の表示装置などを用いてもよい。この時、ジェスチャ認識装置はユーザのジェスチャ動作を認識し、ジェスチャに対応した動作を行うとともに、入力装置を受付状態とすることや、タッチパネル式の表示部に入力ボタンを表示させることにより入力を受け付ける。また、入力装置が無い場合でも、加速度センサなどのセンサを具備している場合、例えば、「正しい」ことを入力するためにジェスチャ認識装置をなでる、「誤り」を入力するためにジェスチャ認識装置をトントンとたたく、などのジェスチャ動作により入力してもよい。

　このように、ユーザのジェスチャ動作とジェスチャ認識装置の動作及びユーザの認識状態に応じて、ユーザの期待通りの動作であったかという正誤情報を入力することで、ジェスチャ認識パターン情報をキャリブレーションし、誤認識を防ぐまたは認識率を向上させることが可能となる。

　本実施例は、実施例１と同様に、分類した状態に対して認識があっていたか間違っていたかをユーザが入力することで、ジェスチャ認識パターン情報をキャリブレーションするが、そのユーザ入力を保持し、一定期間蓄積した情報を元に、ジェスチャ認識パターン情報をキャリブレーションする。

　図１９を用いて、本実施例におけるジェスチャ認識装置のキャリブレーション用情報の蓄積処理フローを示す。図１９において、ステップ１９０１では、センシング部１０３でセンサデータを取得する。ステップ１９０２では、マッチング部１０４で取得したセンサデータとジェスチャ認識パターン情報とのマッチングを行い、センサデータのジェスチャ認識パターン情報に対する類似度を算出する。ステップ１９０３では、キャリブレーション部は、ジェスチャ認識パターン情報に対して設定されている類似度の閾値との比較を行う。ステップ１９０２で算出した類似度が、設定されている閾値以上であればマッチングしたと判定し。ステップ１９０４に進む。ステップ１９０２で算出した類似度が、設定されている閾値未満であればマッチングしなかったと判定しステップ１９０５に進む。ステップ１９０５では、ユーザからの正誤入力の有無とその正誤情報を確認し、ステップ１９０６では、センシングしたセンサデータ及び/またはマッチング処理結果であるマッチングしたジェスチャ認識パターン情報を示す固有IDまたは/及びマッチング処理結果である類似度及び/またはコマンド実行履歴及び/またはこれらの処理実行時刻及び/または正誤入力の有無、正誤情報を履歴情報として保存する。これにより、ジェスチャ認識パターン情報のキャリブレーションに使用する情報を蓄積する。

　図２０を用いて、キャリブレーション部１０５における、状態Ｄでのキャリブレーション処理フローを説明する。ステップ２００１で、図１９のフローで蓄積した情報から、状態Ｄにおける、全てのセンサデータを取得する。ステップ２００２では、取得したセンサデータ間の類似度を算出する。

　ステップ２００３では、類似度が一定値以上のパターンか、一定値未満のパターンに分類する。ステップ２００４では、データを正規化するなどして新しいパターンを作成し、登録する。ステップ２００５では、そのパターンの類似度を判定する。類似度がある一定以上であればステップ２００６に進み、ある一定未満の場合はステップ２００７に進む。ステップ２００６では登録した新パターンの類似度閾値を基準よりも低く設定することで、ジェスチャの認識率を向上させる。ステップ２００７では、登録した新パターンの類似度閾値を基準よりも高く設定することで、ジェスチャの認識率を向上させ、誤認識を発生しにくくする。

　図２１を用いて、キャリブレーション部１０５における、状態Ｂまたは状態Ｃでのキャリブレーション処理フローを説明する。ステップ２１０１で、ステップ１９００で蓄積した情報より、状態Ｂまたは状態Ｃにおける、センサデータと合致したジェスチャ認識パターン情報を取得する。ステップ２１０２では、同一のジェスチャ認識パターン情報と合致したセンサデータやその回数などより、平均や分散などを考慮し類似度閾値を調整し、ステップ２１０３で類似度閾値の設定を行う。例えば、状態Ｂまたは状態Ｃとなった回数が多い場合は、合致したジェスチャ認識パターン情報の類似度閾値を高く設定し、誤認識し難くする。

　このように、ユーザのジェスチャ動作とジェスチャ認識装置の動作及びユーザの認識状態に応じて、ユーザの期待通りの動作であったかという正誤情報を入力し、所定期間蓄積した情報を用いることで、ジェスチャ認識パターン情報をキャリブレーションし、誤認識を防ぐまたは認識率を向上させることが可能となる。

　本実施例は、実施例１や４と同様に、分類した状態に対して認識があっていたか間違っていたかをユーザが入力し、その都度または一定期間蓄積した情報を元に、ジェスチャ認識パターン情報をキャリブレーションするが、この時、ジェスチャ認識パターン情報を、例えばユーザの性別、年齢、身長、体重などの特徴を元に分類されたジェスチャ認識パターン情報やキャリブレーション期間情報を用いることでキャリブレーションの加速を図る点について説明する。

　以下、本実施例における図２２に示すジェスチャ認識装置と図２３に示す外部サーバ装置による実現方法を説明する。

　図２２は、本実施例におけるジェスチャ認識装置を示すブロック図である。ジェスチャ認識装置４００において、図１と同様の機能は同じ符号を付しており、その説明は省略する。通信部１０９は、ジェスチャ認識装置４００以外の通信機能を具備した機器との通信を行う。情報管理部１１０は、ジェスチャ認識装置４００を所持するユーザに関する特性情報を管理する。

　図２３は、本実施例におけるサーバ装置を示すブロック図である。サーバ装置２２００は、制御部２２０１、分析部２２０２、記録部２２０３、通信部２２０４、記録媒体２２０５から成る。制御部２２０１は、サーバ装置全体を制御するものである。通信部２２０４は、通信機能を保持する外部装置、本例ではジェスチャ認識装置間での通信を行う。分析部２２０２は、ジェスチャ認識装置より取得した情報を分析する。記録部２２０３は、通信により取得した情報または分析した情報の記録を制御し、記録媒体２２０５に記録する。

　ジェスチャ認識装置４００は、情報管理部１１０で管理、保持しているユーザの性別、年齢、身長、体重などの特性情報及び/またはジェスチャ認識パターン情報及び/またはキャリブレーション履歴情報をサーバ装置２２００に適宜送信する。ここでキャリブレーション履歴情報とは、キャリブレーション状態の変遷やキャリブレーション開始から終了までの期間といった情報を含む。

　図２４を用いて、サーバ装置のデータ収集、分析フローについて説明する。ステップ２０４１では、ジェスチャ認識装置からの情報を受信する。これは、例えばユーザの性別、年齢、身長、体重などの特性情報及び/またはジェスチャ認識パターン情報及び/またはキャリブレーション履歴情報である。ステップ２４０２では、分析部２２０２は受信した情報を元に、ユーザの特性情報及び/またはジェスチャ認識パターン情報及び/またはキャリブレーション履歴情報ごとに分類を行い、特徴を抽出し、例えば、ユーザの性別、年齢等の特徴に対して推奨の新たなジェスチャ認識パターン情報やキャリブレーション期間などを作成する。ステップ２０４３では、記録部２２０３は受信した情報や、前記作成した基準情報を記録媒体２２０５に記録する。

　図２５を用いて、ジェスチャ認識装置がサーバ装置より基準情報を取得しジェスチャ認識装置に情報を反映するフローを説明する。ステップ２３０１では、ジェスチャ認識装置は、サーバ装置に対して、ジェスチャ認識装置のユーザの特性情報を送信するとともに、基準情報取得要求を送信する。ステップ２３０２では、サーバよりジェスチャ認識パターン情報をはじめとする基準情報を取得する。ステップ２３０３では、取得した基準情報である、ジェスチャ認識パターン情報やキャリブレーションの開始から終了までの期間を示すキャリブレーション期間情報を設定、保持する。

　図２６を用いて、サーバ装置がジェスチャ認識装置へ基準情報を送信するフローを説明する。ステップ２０５１では、ステップ２３０１に記載の要求を受信する。ステップ２５０２では、受信情報を判定し、どのようなデータを送信するかを判定する。例えば、基準のジェスチャ認識パターン情報を送信するか、基準のキャリブレーション期間を送信するか、またはその両方を送信するかなどの判定を行う。ステップ２５０３では、この判定に応じて必要な情報をジェスチャ認識装置に送信する。

　このように、本実施例によれば、ジェスチャ認識装置は、多数のユーザに係る情報を元に分析を行った結果であるジェスチャ認識パターン情報などを用いることにより、ジェスチャ認識装置に予め記録されていたジェスチャ認識パターン情報よりも、よりユーザに合ったジェスチャ認識パターン情報を使用することができ、キャリブレーションの加速が可能となる。

　なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。

　また、上記の各構成、機能、処理部、処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現しても良い。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現しても良い。各機能を実現するプログラム等の情報は、メモリや、ハードディスク、ＳＳＤ等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

　また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えても良い。

１００：ジェスチャ認識装置、１０１：制御部、１０２：入力部、１０３：センシング部、１０４：マッチング部、１０５：キャリブレーション部、１０６：コマンド処理部、１０７：表示部、１０８：保持部、または、ジェスチャ認識パターン情報、１０９：通信部、１１０：情報管理部、２２００：サーバ装置は、２２０１：制御部、２２０２：分析部、２２０３：記録部、２２０４：通信部、２２０５：記録媒体

Claims

　ジェスチャを認識し対応した動作を実行するジェスチャ認識装置であって、
　前記ジェスチャを認識するための基準となるジェスチャ認識パターン情報を保持する保持部と、
　ユーザのジェスチャ情報と前記ジェスチャ認識パターン情報とをマッチングするマッチング部と、
　ユーザからの入力を受け付ける入力部と、
　前記ジェスチャ認識パターン情報をキャリブレーションするキャリブレーション部とを有し、
　前記入力部はジェスチャに対応した動作に対する正誤情報が入力され、
　前記キャリブレーション部は、ユーザの操作状態と前記ジェスチャに対応した動作の状態と前記入力された正誤情報及び/または該正誤情報に相当する情報に応じて前記ジェスチャ認識パターン情報を変更することを特徴とするジェスチャ認識装置。
　請求項１に記載のジェスチャ認識装置であって、
　前記ジェスチャ認識パターン情報は、ジェスチャ認識パターン及びジェスチャ認識パターンとの類似度閾値を含み、
　前記マッチング部は、ユーザのジェスチャが前記ジェスチャ認識パターンとの類似度閾値を超えた際にジェスチャが合致したと判定し、
　前記キャリブレーション部は、ユーザの操作状態と前記ジェスチャに対応した動作の状態と前記入力された正誤情報及び/または正誤情報に相当する情報に応じて前記ジェスチャ認識パターンの類似度閾値を変更することを特徴とするジェスチャ認識装置。
　請求項１に記載のジェスチャ認識装置であって、
　前記キャリブレーション部は、ユーザの操作状態と前記ジェスチャに対応した動作の状態と前記入力された正誤情報及び/または正誤情報に相当する情報に応じて前記ジェスチャ認識パターン情報を変更または削除することを特徴とするジェスチャ認識装置。
　請求項１に記載のジェスチャ認識装置であって、
　前記入力部は前記入力された正誤情報の信頼度が入力され、
　前記キャリブレーション部は、前記入力された正誤情報の信頼度に応じて前記ジェスチャ認識パターン情報を修正することを特徴とするジェスチャ認識装置。
　請求項１に記載のジェスチャ認識装置であって、
　前記ジェスチャ認識パターン情報を管理する情報管理部と、
　外部サーバから情報を取得するための通信部を有し、
　前記情報管理部は、前記通信部を介し、外部サーバへユーザの特性情報を送信すること及び/または前記ジェスチャ認識パターン情報と前記ジェスチャに対応した動作の情報を送信することを特徴とするジェスチャ認識装置。
　請求項５記載のジェスチャ認識装置であって、
　前記外部サーバからユーザの特性情報に応じた前記ジェスチャ認識パターン情報及び/またはキャリブレーション期間情報を取得することを特徴とするジェスチャ認識装置。
　請求項６に記載のジェスチャ認識装置と情報を通信するサーバ装置であって、
　ネットワークを介して情報を取得、送信する通信部と、
　取得した情報を蓄積する記録部及び記憶媒体と、
　取得した情報を分析する分析部とを有し、
　前記通信部は、前記ジェスチャ認識装置からジェスチャ認識装置を使用するユーザの特性情報及び/または前記ジェスチャ認識パターン情報と前記ジェスチャに対応した動作の情報及び/または前記キャリブレーション期間情報を受信し、
　前記分析部は、前記受信した情報を用いて同類のユーザの特性情報ごと及び/または前記ジェスチャ認識パターン情報ごとに分類し、新たなジェスチャ認識パターン情報を作成し、
　前記通信部は、前記分類した結果をジェスチャ認識装置の要求に応じて送信することを特徴とするサーバ装置。
　ジェスチャ認識パターン情報のキャリブレーション方法であって、
　ジェスチャに対応した動作に対するユーザからの正誤情報を受け付けるステップと、
　ユーザの操作状態と前記ジェスチャに対応した動作の状態と前記入力された正誤情報及び/または正誤情報に相当する情報に応じて前記ジェスチャ認識パターン情報を変更するステップを有することを特徴とするキャリブレーション方法。
　請求項８に記載のキャリブレーション方法であって、
　ユーザのジェスチャと前記ジェスチャ認識パターン情報との類似度閾値を超えた際に、ジェスチャが合致したと判定するステップと、
　ユーザの操作状態と前記ジェスチャに対応した動作の状態と前記入力された正誤情報及び/または正誤情報に相当する情報に応じて前記ジェスチャ認識パターン情報に対する前記類似度の閾値を変更するステップを有することを特徴とするキャリブレーション方法。
　請求項８に記載のキャリブレーション方法であって、
　ユーザの操作状態と前記ジェスチャに対応した動作の状態と前記入力された正誤情報及び/または正誤情報に相当する情報に応じて前記ジェスチャ認識パターン情報を削除するステップを有することを特徴とするキャリブレーション方法。
　請求項８に記載のキャリブレーション方法であって、
　ユーザにより入力された正誤情報の信頼度の入力を受け付けるステップと、
　前記入力された信頼度に応じて前記ジェスチャ認識パターン情報を修正するステップを有することを特徴とするキャリブレーション方法。
　請求項８に記載のキャリブレーション方法であって、
　外部サーバへユーザの特性情報を送信するステップ及び/または
　前記ジェスチャ認識パターン情報と前記ジェスチャに対応した動作の情報を送信するステップを有することを特徴とするキャリブレーション方法。
　請求項１２に記載のキャリブレーション方法であって、
　前記外部サーバからユーザの特性情報に応じた前記ジェスチャ認識パターン情報及び/またはキャリブレーション期間情報を取得するステップを有することを特徴とするキャリブレーション方法。
　通信端末であって、
　ジェスチャを認識し対応したコマンドを実行するジェスチャ認識機能を有しており、
　認識対象となるジェスチャ認識パターン情報と、
　ユーザのジェスチャ情報と前記ジェスチャ認識パターン情報とをマッチングするマッチング部と、
　ユーザからの入力を受け付ける入力部と情報を表示するディスプレイを兼用した入出力部と、
　前記ジェスチャ認識パターン情報をキャリブレーションするキャリブレーション部とを有し、
　前記入出力部はジェスチャに対応した動作に対する正誤情報が入力され、
　前記キャリブレーション部は、ユーザの操作状態と前記ジェスチャに対応した動作の状態と前記入力された正誤情報及び/または該正誤情報に相当する情報に応じて前記ジェスチャ認識パターン情報を変更することを特徴とする通信端末。