JP6842253B2 - 認識装置及び認識方法 - Google Patents

Description

本発明は、ジェスチャを認識する認識装置及び認識方法に関する。

自動車などの車両の多くにナビゲーション装置などの情報システムが普及している。また、近年では、ユーザのジェスチャによって種々の動作を行うように構成された情報システムが一般化され始めている。当該情報システムにはユーザのジェスチャを認識するジェスチャ認識装置が搭載されている。例えば、特許文献１には、ユーザにより入力されたジェスチャ画像からジェスチャを認識するジェスチャ認識装置が開示されている。

特開2014-102697号公報

ジェスチャ認識装置を含む情報システムには、特定のジェスチャと情報システムの特定の動作とが関連付けられて登録されている。ジェスチャ認識装置が当該特定のジェスチャを認識した場合は、情報システムの当該特定の機能（動作）が実行される。

しかし、ジェスチャの認識装置は、誤認識の点で課題を有している。例えば、ジェスチャを認識させることを意図していない場合でも、ジェスチャ認識装置の認識領域（検知範囲）内で登録済みのジェスチャに類似するジェスチャが認識された場合には対応する動作が実行されてしまうという課題が一例として挙げられる。

本発明は上記した点に鑑みてなされたものであり、誤認識を抑制し、対象となる装置を所望のタイミングで正確に動作させることが可能な認識装置及び認識方法を提供することを課題の１つとしている。

請求項１に記載の発明は、ジェスチャを認識する認識部と、対象装置への動作を指示するジェスチャとして登録不可能な少なくとも１つの不登録ジェスチャを記憶する記憶部と、記憶部に記憶された不登録ジェスチャに基づいて、認識部によって認識されたジェスチャを登録可能であるか否かを判定する判定部と、を有し、記憶部は、判定部によって登録可能であると判定されたジェスチャを登録ジェスチャとして記憶することを特徴としている。

また、請求項７に記載の発明は、対象装置への動作を指示するジェスチャとして登録不可能な少なくとも１つの不登録ジェスチャを記憶する記憶部を備えた認識装置によって実行される認識方法であって、ジェスチャを認識する認識工程と、記憶部に記憶された不登録ジェスチャに基づいて、認識工程において認識されたジェスチャを登録可能であるか否かを判定する判定工程と、判定工程において登録可能であると判定されたジェスチャを登録ジェスチャとして記憶部に記憶する記憶工程と、を有することを特徴としている。

実施例１に係る認識装置を含むナビゲーションシステムの構成を示すブロック図である。 実施例１に係る認識装置の構成を示すブロック図である。 実施例１に係る認識装置におけるジェスチャの登録処理フローを示す図である。 実施例１に係る認識装置によるジェスチャの登録可否判定のパターン例を示す図である。 実施例１に係る認識装置による通常の認識処理フローを示す図である。 実施例１に係る認識装置による不登録ジェスチャの記憶処理フローを示す図である。 実施例２に係る認識装置の構成を示すブロック図である。 実施例２に係る認識装置における参照ジェスチャの切替処理フローを示す図である。

以下に本発明の実施例について詳細に説明する。

図１は、実施例１に係るジェスチャ認識装置（以下、単に認識装置と称する）３０を含むナビゲーションシステム１０の構成を示すブロック図である。本実施例においては、ナビゲーションシステム１０は、ナビゲーション装置２０、認識装置３０、撮像装置４０及びＨＭＩ（Human-Machine Interface）装置５０からなる。撮像装置４０は、例えばカメラである。また、本実施例においては、ＨＭＩ装置５０は、タッチパネル式のディスプレイ５１と、スピーカ５２を含む。

ナビゲーション装置２０は、例えば車両などの移動体に搭載され、当該移動体の移動案内を行う。例えば移動体が自動車の場合、ナビゲーションシステム１０はカーナビゲーションシステムである。なお、ナビゲーションシステム１０は、車両に搭載される場合に限定されない。例えば、ナビゲーション装置２０は、ＰＮＤ（Personal Navigation Device）などの携帯型のナビゲーション装置や、スマートフォンなどの携帯端末装置にハードウエア又はソフトウエアとして搭載されたものであってもよい。

ナビゲーション装置２０は、認識装置３０からの信号、又はＨＭＩ装置５０からの信号に基づいて、例えば出発地から目的地までユーザに移動案内を行う。具体的には、ナビゲーション装置２０は、例えばユーザがＨＭＩ装置５０又は認識装置３０を操作することで、ナビゲーション装置２０に目的地を入力する。ナビゲーション装置２０は、例えば現在地から当該目的地までの経路生成を行い、これに基づいてユーザの移動を案内する。

認識装置３０は、撮像装置４０によって撮像されたユーザのジェスチャを示す画像を取得し、これに基づいたジェスチャの認識、及びナビゲーション装置２０の種々の操作を行う。認識装置３０によって実行されるナビゲーション装置２０の動作は、例えば、目的地の設定、経路選択、ディスプレイ５１の表示切替（例えば地図表示の縮尺変更）、スピーカ５２の音量調節、移動案内の開始及び停止の切替、及びユーザの切替などである。認識装置３０は、ジェスチャを認識してナビゲーション装置２０を動作させるように構成されている。

図２は、認識装置３０の構成を示すブロック図である。図２を用いて、認識装置３０の詳細な構成について説明する。本実施例においては、認識装置３０は、認識部３１、記憶部３２、判定部３３、登録部３４、信号生成部３５及びモード切替部３６を有する。

認識部３１は、ジェスチャを認識する。認識部３１は、撮像装置４０からの画像を取得し、ジェスチャを認識する。具体的には、例えば、認識部３１は、当該画像を解析し、ジェスチャとして認識する対象となる部分を抽出する。例えば、認識対象が手の形状である場合、認識部３１は、撮像された画像から、手の部分とそれ以外の部分（背景部分など）とを区別して認識し、手の部分以外の部分を除去した画像データを生成する。

なお、認識部３１は、静止したジェスチャのみならず、動きを伴ったジェスチャ、又は複数の静止したジェスチャの組み合わせを認識することができる。例えば、認識部３１は、撮像装置４０から、静止画のみならず、動画（連続した複数の静止画）を取得する。そして、認識部３１は、１つの手の形状のみならず、一連の手の形状の変化を１つのジェスチャとして認識する。

記憶部３２は、各種ジェスチャをデータベースとして記憶する。本実施例においては、記憶部３２は、ナビゲーション装置２０への動作を指示するジェスチャとして登録不可能なジェスチャ、すなわちナビゲーション装置２０を動作させないジェスチャである不登録ジェスチャを記憶する不登録ジェスチャ記憶部３２Ａを有する。また、記憶部３２は、ナビゲーション装置２０を動作させるために登録されたジェスチャ、すなわちナビゲーション装置２０の動作を指示することが可能なジェスチャである登録ジェスチャを記憶する登録ジェスチャ記憶部３２Ｂを有する。

判定部３３は、記憶部３２に記憶された少なくとも１つの不登録ジェスチャに基づいて、認識部３１によって認識されたジェスチャを登録可能であるか否かを判定する。本実施例においては、判定部３３は、認識部３１によって認識されたジェスチャと、記憶部３２に記憶された不登録ジェスチャとを比較し、認識されたジェスチャが新規に登録可能なジェスチャであるか否かの判定を行う。また、記憶部３２の登録ジェスチャ記憶部３２Ｂに既にナビゲーション装置２０への動作を指示可能なジェスチャが既登録ジェスチャとして記憶されている場合、判定部３３は当該既登録ジェスチャ及び不登録ジェスチャに基づいて登録可否の判定を行う。

判定部３３は、例えば、認識部３１によって認識されたジェスチャと不登録ジェスチャ及び登録ジェスチャとの一致度に基づいて、登録可否の判定を行う。例えば、判定部３３は、登録可否の判定基準となる一致度の閾値を有し、当該一致度が当該閾値以下の場合に、認識されたジェスチャが新規登録可能なジェスチャであると判定する。

登録部３４は、判定部３３によって登録可能であると判定されたジェスチャを、ナビゲーション装置２０の特定の動作に対応付ける。登録部３４は、当該新規のジェスチャを記憶部３２に供給する。記憶部３２には、ナビゲーション装置２０の動作が当該ジェスチャ（登録可能ジェスチャ）に対応付けて記憶される。

信号生成部３５は、動作指定信号生成部３５Ａと、判定結果出力信号生成部３５Ｂとを有する。動作指定信号生成部３５Ａは、記憶部３２に既登録ジェスチャが記憶されている場合に、当該既登録ジェスチャに対応するナビゲーション装置２０を動作させる信号を生成する。

具体的には、動作指定信号生成部３５Ａは、認識部３１によって認識されたジェスチャが既登録ジェスチャに対応するジェスチャであると判定部３３によって判定された場合、当該ジェスチャに対応するナビゲーション装置２０の動作を指定する信号（動作指定信号）を生成する。動作指定信号生成部３５Ａは、生成した動作指定信号をナビゲーション装置２０に送信する。これによってナビゲーション装置２０の当該ジェスチャに対応する動作が実行される。

判定結果出力信号生成部３５Ｂは、認識されたジェスチャが新規登録不可能なジェスチャであると判定部３３によって判定された場合、当該判定結果を出力する信号（判定結果出力信号）を生成する。判定結果出力信号生成部３５Ｂは、生成した判定結果出力信号をＨＭＩ装置５０に送信する。これによって、認識されたジェスチャが新規登録不可能であることがＨＭＩ装置５０に出力される。例えば、当該判定結果は、ＨＭＩ装置５０のディスプレイ５１に表示される。

モード切替部３６は、認識装置３０の動作モード（処理モード）を切り替える。具体的には、本実施例においては、認識装置３０は、通常の認識モードであるナビゲーション装置２０を動作させるモード（第１の動作モード）と、ジェスチャを登録するモード（第２の動作モード）と、不登録ジェスチャを記憶するモード（第３の動作モード）とを有する。モード切替部３６は、認識装置３０のこれらの動作モードを切り替える。

モード切替部３６は、例えば認識装置３０の起動時には通常モード（第１のモード）によって認識装置３０を動作させる。また、モード切替部３６は、ＨＭＩ装置５０のユーザの指定（選択）に応じ、認識装置３０の動作モードを切り替える。

図３は、認識装置３０がジェスチャの登録処理（第２の動作モード）のフローを示す図である。認識装置３０は、ユーザの操作によってＨＭＩ装置５０からジェスチャの新規登録を開始する信号を受信した場合、ジェスチャの登録処理を開始する。

まず、認識部３１は、ジェスチャを含むジェスチャ画像を取得する（ステップＳ１１）。例えば、認識部３１は、撮像装置５０が撮像した画像を取得する。次に、認識部３１は、ジェスチャ画像内のジェスチャを認識する（ステップＳ１２）。例えば、認識部３１は、ジェスチャ画像を解析し、ジェスチャを示す部分を抽出する。

続いて、判定部３３は、認識されたジェスチャが不登録ジェスチャに対応するジェスチャであるか否かの判定を行う（ステップＳ１３）。判定部３３は、記憶部３２の不登録ジェスチャ記憶部３２Ａ内の少なくとも１つの不登録ジェスチャを読み出し、認識されたジェスチャとの一致度を算出（測定）する。

判定部３３は、この一致度が閾値以上の場合、認識されたジェスチャが不登録ジェスチャに対応するジェスチャであると判定する（ステップＳ１４）。判定部３３によって、認識されたジェスチャが不登録ジェスチャに対応するジェスチャであると判定された場合、信号生成部３５の判定結果出力信号生成部３５Ｂは、当該判定結果を示す出力信号を生成し、ＨＭＩ装置５０に送信する（ステップＳ１５）。

これによって、例えばＨＭＩ装置５０のディスプレイ５１には、ジェスチャを登録することができないことを示す情報が表示される。判定結果出力信号生成部３５Ｂが登録不可の判定結果出力信号を生成した後、認識装置３０は、登録処理（第２のモード）の動作を終了する。

一方、判定部３３は、当該一致度が閾値未満の場合、認識されたジェスチャが不登録ジェスチャに対応するジェスチャではないと判定する。この後、判定部３３は、認識されたジェスチャが既登録ジェスチャに対応するジェスチャであるか否かの判定を行う（ステップＳ１６）。

例えば、既に登録ジェスチャ記憶部３２Ｂ内に少なくとも１つのジェスチャ（すなわち他の動作に対応付けられたジェスチャ）が既登録ジェスチャとして記憶されている場合は、判定部３３は、認識されたジェスチャが当該既登録ジェスチャに対応するジェスチャであるか否かの判定を行う。判定部３３は、登録ジェスチャ記憶部３２Ｂ内のジェスチャを読み出し、認識されたジェスチャとの一致度を算出する。当該一致度が閾値以上である場合、判定部３３は、認識されたジェスチャが既登録ジェスチャに対応するジェスチャであると判定する。

判定部３３は、認識されたジェスチャが不登録ジェスチャには対応しないが既登録ジェスチャには対応する場合、認識されたジェスチャが新規登録不可能なジェスチャであると判定する（ステップＳ１４に進む）。

一方、判定部３３は、認識されたジェスチャが不登録ジェスチャにも既登録ジェスチャにも対応しないと判定した場合、認識されたジェスチャが新規に登録可能なジェスチャであると判定する（ステップＳ１７）。判定部３３によって、認識されたジェスチャが登録可能なジェスチャであると判定された場合、登録部３４は、当該ジェスチャをナビゲーション装置２０の特定の動作に対応付けて登録する。また、記憶部３２は、当該ジェスチャを登録ジェスチャとして登録ジェスチャ記憶部３２Ｂ内に記憶する（ステップＳ１８）。記憶部３２がジェスチャを新規に記憶した後、認識装置３０は登録処理（第２のモード）の動作を終了する。

図４は、判定部３３が登録可否の判定を行う判定パターンを例示する図である。図４に示すように、不登録ジェスチャに対応するジェスチャが認識された場合、判定部３３は、当該認識されたジェスチャを登録することができないジェスチャであると判定する（判定パターン１）。次に、不登録ジェスチャに対応しないジェスチャが認識され、既登録ジェスチャが記憶されていない場合、判定部３３は、当該認識されたジェスチャを登録することができるジェスチャであると判定する（判定パターン２）。また、不登録ジェスチャに対応しないが既登録ジェスチャに対応するジェスチャが認識された場合、判定部３３は、当該認識されたジェスチャを登録することができないジェスチャであると判定する（判定パターン３）。

図５は、認識装置３０のジェスチャを認識してナビゲーション装置２０を操作する通常の動作（第１の動作モード）のフローを示す図である。認識装置３０は、認識部３１がジェスチャ画像を取得することで、ジェスチャの認識動作を開始する。まず、認識部３１は、ジェスチャ画像からジェスチャを認識する（ステップＳ２１）。

次に、判定部３３は、認識されたジェスチャが登録ジェスチャに対応するジェスチャであるか否かの判定を行う（ステップＳ２２）。判定部３３によって、認識されたジェスチャが既登録ジェスチャに対応するジェスチャであると判定された場合、信号生成部３５の動作指定信号生成部３５Ａは、認識されたジェスチャに対応するナビゲーション装置２０の動作を指定する信号を生成する。動作指定信号生成部３５Ａは、生成した動作指定信号をナビゲーション装置２０に送信する（ステップＳ２３）。

一方、判定部３３は、認識されたジェスチャが既登録ジェスチャに対応するジェスチャではないと判定した場合、当該認識されたジェスチャが不登録ジェスチャに対応するか否かの判定を行う（ステップＳ２４）。判定部３３は、認識されたジェスチャと既に記憶済みの不登録ジェスチャとの一致度に基づいて、認識されたジェスチャが不登録ジェスチャに対応するか否かを判定する。

判定部３３は、認識されたジェスチャが既登録ジェスチャに対応せずかつ不登録ジェスチャに対応する場合、この判定を行って動作を終了する。すなわち、通常モードでは、認識装置３０は、認識されたジェスチャが既登録ジェスチャに対応せず、不登録ジェスチャに対応する場合、このジェスチャを破棄して、次の画像取得まで待機する。

一方、判定部３３は、認識されたジェスチャが既登録ジェスチャにも不登録ジェスチャにも対応しない場合、認識されたジェスチャが新規に不登録ジェスチャとして記憶するジェスチャであると判定する。記憶部３２は、認識されたジェスチャが既登録ジェスチャ及び不登録ジェスチャに対応するジェスチャではない場合、当該認識されたジェスチャを不登録ジェスチャとして、不登録ジェスチャ記憶部３２Ｂ内に記憶する（ステップＳ２５）。

この通常モードで新たに不登録ジェスチャを記憶する場合は、例えば、ユーザが意図しないタイミングで撮像装置５０の撮像領域内で手を止めた（通過させた）場合に相当する。すなわち、この認識されたジェスチャは、ユーザが無意識に又は偶発的に認識させたジェスチャである可能性がある。また、このジェスチャを認識（登録）すると、ナビゲーション装置２０を誤動作させる可能性がある。認識装置３０は、このユーザの意図しないジェスチャ（認識装置３０には紛らわしいジェスチャ）を不登録ジェスチャとして自動的に記憶する。認識装置３０は、記憶部３２が不登録ジェスチャを記憶して通常動作の処理を終了する（次の画像取得まで待機する）。

図６は、不登録ジェスチャの記憶動作（第３の動作モード）のフローを示す図である。認識装置３０は、ユーザの操作によってＨＭＩ装置５０から不登録ジェスチャの新規記憶を開始する信号を受信した場合、不登録ジェスチャの記憶処理を開始する。まず、認識部３１は、ジェスチャを含むジェスチャ画像を取得する（ステップＳ３１）。例えば、認識部３１は、撮像装置５０が撮像した画像を取得する。次に、認識部３１は、ジェスチャ画像内のジェスチャを認識する（ステップＳ３２）。

続いて、判定部３３は、認識されたジェスチャが既登録ジェスチャに対応するか否かの判定を行う（ステップＳ３３）。判定部３３は、認識されたジェスチャと既登録ジェスチャとの一致度に基づいて両者が互いに対応するか否かの判定を行う。判定部３３は、認識されたジェスチャが既登録ジェスチャに対応しない場合、当該認識されたジェスチャが不登録ジェスチャとして記憶できないジェスチャであると判定する（ステップＳ３５）。

判定部３３によって、認識されたジェスチャが不登録ジェスチャとして記憶不可能なジェスチャであると判定された場合、信号生成部３５の判定結果出力信号生成部３５Ｂは、当該判定結果を示す信号を生成する。信号生成部３５は、生成した判定結果出力信号をＨＭＩ装置５０に送信する（ステップＳ３５）。これによって、例えばＨＭＩ装置５０のディスプレイ５１に、ジェスチャを記憶することができないことを示す情報が表示される。判定結果出力信号生成部３５Ｂが記憶不可の判定結果出力信号を生成した後、認識装置３０は、記憶処理（第３のモード）の動作を終了する。

一方、判定部３３は、認識されたジェスチャが既登録ジェスチャに対応しない場合、記憶済みの不登録ジェスチャに対応するか否かの判定を行う（ステップＳ３６）。判定部３３は、認識されたジェスチャと不登録ジェスチャ記憶部３２Ａに記憶されたジェスチャとの一致度を算出し、両者の対応関係を判定する。判定部３３は、認識されたジェスチャが既登録ジェスチャには対応せず、他の不登録ジェスチャに対応する場合、当該認識されたジェスチャが不登録ジェスチャとして記憶できないと判定する（ステップＳ３４に進む）。

また、判定部３３は、認識されたジェスチャが既登録ジェスチャにも不登録ジェスチャにも対応しない場合、当該認識されたジェスチャを新規に不登録ジェスチャとして記憶可能であると判定する（ステップＳ３７）。この場合、記憶部３２は、認識されたジェスチャを不登録ジェスチャ記憶部３２Ａ内に記憶する（ステップＳ３８）。記憶部３２が不登録ジェスチャを記憶した後、認識装置３０は記憶処理の動作を終了する。

なお、本実施例においては記憶部３２に既に少なくとも１つの登録ジェスチャが記憶されている場合について説明したが、記憶部３２に既登録ジェスチャが記憶されていなくてもよい。例えば、登録処理又は記憶処理時（第１及び第３の動作モード時）にはジェスチャが１つも登録されていなくてもよい。この場合、例えば登録処理の場合は、不登録ジェスチャに対応していないジェスチャが認識された場合に新規にジェスチャを登録すればよい。また、記憶処理時には、１つの不登録ジェスチャが記憶されていなくてもよい。すなわち、記憶部３２内には、不登録ジェスチャ及び登録ジェスチャが１つも記憶されていなくてもよい。また、不登録ジェスチャは、予め製造時や販売時に記憶されていてもよい。

上記したように、認識装置３０は、少なくとも１つの不登録ジェスチャ（登録しないジェスチャ）を記憶する記憶部３２と、記憶部３２内の不登録ジェスチャに基づいて、認識されたジェスチャが登録可能であるか否かの判定を行う判定部３３とを有する。また、記憶部３２は、判定部３３によって登録可能と判定されたジェスチャを登録ジェスチャとして記憶する。

従って、例えば、ナビゲーション装置２０を操作することを意図しないジェスチャ、例えば車両の場合はエアコンの操作やシフトノブの操作時の手の形状を不登録ジェスチャとして予め記憶しておくことで、当該意図しないジェスチャを登録させないことができる。従って、誤認識が防止され、ナビゲーション装置２０の誤操作が防止される。従って、対象となるナビゲーション装置２０を所望のタイミングで正確に動作させることが可能となる。

また、認識装置３０は、通常モード（第１の動作モード）において、既登録ジェスチャにも不登録ジェスチャにも対応しないジェスチャが認識された場合には、当該認識されたジェスチャを、ユーザが指定されることなく自動的に不登録ジェスチャとして記憶する。従って、ユーザは意図していなくても認識装置３０にとって紛らわしいジェスチャを装置内に蓄積していくことができる。これによって、ジェスチャの誤認識及びナビゲーション装置２０の誤操作を防止することができる。従って、ユーザが操作したい時に正確にナビゲーション装置２０を操作することができる。

図７は、実施例２に係る認識装置６０の構成を示すブロック図である。認識装置６０は、記憶部６１、参照ジェスチャ切替部６２、判定部６３、登録部６４、信号生成部６５及びモード切替部６６の構成を除いては、認識装置３０と同様の構成を有する。

記憶部６１は、複数（本実施例においては２つ）の不登録ジェスチャ記憶部６１Ａ及び６１Ｂと、登録ジェスチャ記憶部６１Ｃと、指定ジェスチャ記憶部６１Ｄとを有する。具体的には、記憶部６１の不登録ジェスチャ記憶部６１Ａ及び６１Ｂには、互いに異なる種類の不登録ジェスチャセットが記憶されている。

また、指定ジェスチャ記憶部６１Ｄには、本実施例においては、判定部６３の登録可否判定の基準となる不登録ジェスチャ６１Ａ及び６１Ｂ（すなわち不登録ジェスチャセット）のそれぞれを指定する指定ジェスチャを記憶している。

参照ジェスチャ指定部６２は、判定部６３が判定を行う際に参照するジェスチャセットを指定する。具体的には、本実施例においては、参照ジェスチャ指定部６２は、判定部６３が、不登録ジェスチャ記憶部６１Ａ内の不登録ジェスチャセットに基づいて登録可否の判定を行うか、又は不登録ジェスチャ記憶部６１Ｂ内の不登録ジェスチャセットに基づいて登録可否の判定を行うかを指定する。参照ジェスチャ指定部６２は、認識部３１が認識したジェスチャが指定ジェスチャ記憶部６１Ｄ内のジェスチャに対応するか否かを判定する。そして、参照ジェスチャ指定部６２は、認識部３１によって認識されたジェスチャが指定ジェスチャに対応すると判定した場合、当該指定ジェスチャに対応付けられたジェスチャを参照ジェスチャとして指定し、これを判定部６３及び信号生成部６５に供給する。

判定部６３は、参照ジェスチャ切替部６２によって指定されたジェスチャセットに基づいて、各種判定を行う。本実施例においては、判定部６３は、不登録ジェスチャ記憶部６１Ａ内の不登録ジェスチャ又は不登録ジェスチャ記憶部６１Ｂ内の不登録ジェスチャに基づいて登録可否の判定を行う。換言すれば、判定部６３は、認識部３１によって認識されたジェスチャが指定ジェスチャに対応すると判定された場合、当該指定ジェスチャに対応する不登録ジェスチャセットに基づいて登録可否の判定を行う。

なお、本実施例においては参照ジェスチャ指定部６２が、認識部３１によって認識されたジェスチャが指定ジェスチャに対応するか否かの判定を行う場合について説明した。しかし、この判定は、判定部６３が行ってもよい。すなわち、参照ジェスチャ指定部６２は、判定部６３の判定結果を受けて参照ジェスチャを指定してもよい。

登録部６４は、判定部６３によって、認識されたジェスチャが登録可能であると判定された場合、当該認識されたジェスチャをナビゲーション装置２０の特定の動作に対応付けて登録する。登録部６４が登録した（対応付けた）ジェスチャは登録ジェスチャとして登録ジェスチャ記憶部６１Ｃ内に記憶される。

信号生成部６５は、参照ジェスチャ指定部６２によって指定された参照ジェスチャに基づいて、ナビゲーション装置２０への動作指定信号の生成及び判定結果出力信号の生成動作を行う。具体的には、動作指定信号生成部６５Ａは、指定された既登録ジェスチャ及び不登録ジェスチャに基づいて、認識されたジェスチャに対応するナビゲーション装置２０の動作を指定する信号を生成する。また、判定結果出力信号生成部６５Ｂは、例えば、指定された参照ジェスチャに基づいて、判定部６３による登録可否の判定結果を出力する信号を生成する。

本実施例においては、認識装置６０は、認識装置３０の第１〜第３の動作モードに加え、指定ジェスチャを記憶する動作モード（第４の動作モード）を有する。動作モードの切り替えはモード切替部６６が行う。例えば、指定ジェスチャの記憶動作は、ユーザからの指示に基づいて開始される。また、判定部６３は、指定ジェスチャを記憶することができるか否かの判定を行う。例えば、判定部６３は、認識されたジェスチャが不登録ジェスチャ、既登録ジェスチャ（及び他の指定ジェスチャ）のいずれにも対応しない場合、当該認識されたジェスチャを指定ジェスチャとして記憶可能であると判定する。

図８は、認識装置６０が通常モード（第１のモード）での動作フローを示す図である。認識装置６０は、認識装置３０と同様に、通常モードではジェスチャ画像を取得すると処理を開始する。まず、認識部３１は、ジェスチャを認識する（ステップＳ４１）。

次に、判定部６３（又は参照ジェスチャ指定部）は、認識されたジェスチャが指定ジェスチャに対応するか否かの判定を行う（ステップＳ４２）。判定部６３は、認識されたジェスチャと指定ジェスチャ記憶部６１Ｄ内のジェスチャとの一致度を算出し、これに基づいて両者の対応関係を判定する。

判定部６３によって、認識されたジェスチャが指定ジェスチャに対応すると判定された場合、参照ジェスチャ指定部６２は、判定部６３及び信号生成部６５が参照するジェスチャを、当該ジェスチャに対応付けられた既登録ジェスチャ及び不登録ジェスチャに指定する（ステップＳ４３）。例えば、本実施例においては、判定部４２が登録可否の判定を行う際に参照する不登録ジェスチャセットを、不登録ジェスチャ記憶部６１Ａ内の不登録ジェスチャセットと不登録ジェスチャ記憶部６１Ｂ内の不登録ジェスチャセットとの間で切り替える。

参照ジェスチャ指定部６２が参照ジェスチャを切り替えた後、認識装置６０は参照ジェスチャの指定（切替）処理を終了し、次のジェスチャ画像を取得するまで待機する。一方、認識されたジェスチャが指定ジェスチャに対応するジェスチャではないと判定された場合、参照ジェスチャ指定部６２は、参照ジェスチャの切替動作を行わず、当該切替処理を終了する。

なお、認識されたジェスチャが指定ジェスチャに対応しない場合、認識装置６０は、認識装置３０と同様に、例えば図５のステップＳ２２に進み、既登録ジェスチャとの比較及び動作指定信号の生成動作を行ってもよい。この場合、信号生成部６５の動作指定信号生成部６５Ａは、参照ジェスチャ指定部６２によって切り替えられた（指定された）ジェスチャに基づいて動作指定信号を生成すればよい。

本実施例においては、認識装置６０の記憶部６１には、互いに異なる複数の不登録ジェスチャセットと、当該複数の不登録ジェスチャセットのそれぞれを指定する指定ジェスチャとが記憶されている。また、認識装置６０は、登録可否判定又は動作指定信号生成（ナビゲーション装置２０の操作信号生成）に用いる参照ジェスチャを指定する参照ジェスチャ指定部６２を有する。そして、判定部６３は、指定ジェスチャが認識された場合に当該指定ジェスチャに対応する不登録ジェスチャセットに基づいて登録可否を判定する。

従って、例えばナビゲーション装置２０を複数のユーザが操作する場合、ユーザに応じた参照ジェスチャ（例えば不登録ジェスチャ）を用いて登録可否判定などの動作を行うことができる。従って、ユーザが異なる場合でもユーザごとに誤認識を防止し、対象となるナビゲーション装置２０を所望のタイミングで正確に動作させることが可能な認識装置６０となる。

なお、上記においては、認識装置３０及び６０が動作を指定する対象装置がナビゲーション装置２０である場合について説明した。しかし、認識装置３０及び６０は、ナビゲーション装置２０以外の他の装置と連携し、ジェスチャによって当該他の装置を動作させるように構成されていてもよい。すなわち、認識装置３０及び６０は、ジェスチャを認識して対象装置を動作させるように構成されていればよい。

このように、認識装置３０（又は６０）は、ジェスチャを認識する認識部３１と、対象装置への動作を指示するジェスチャとして登録不可能な少なくとも１つの不登録ジェスチャを記憶する記憶部３２と、当該少なくとも１つの不登録ジェスチャに基づいて、当該認識されたジェスチャを登録可能であるか否かを判定する判定部３３と、を有し、記憶部３２は、判定部３３によって登録可能であると判定されたジェスチャを登録ジェスチャとして記憶する。また、認識装置３０は、既登録ジェスチャが認識された場合に当該ジェスチャに対応する対象装置の動作を指定する信号を生成する信号生成部３５とを有する。従って、誤認識を抑制し、対象となる装置を所望のタイミングで正確に動作させることが可能なジェスチャ認識装置を提供することができる。

なお、本発明は、ジェスチャを認識する認識方法としても実施されることができる。例えば、本発明は、対象装置への動作を指示するジェスチャとして登録不可能な不登録ジェスチャを記憶している記憶部３２を有する認識装置３０によって実行されるジェスチャの認識方法を１つの形態として実施することができる。また、他の形態としては、例えば、記憶部３２を有する記憶装置を用いたジェスチャの認識方法としても実施することができる。

これらの認識方法においては、例えば、ジェスチャを認識する認識工程（認識ステップ）、記憶部３２に記憶された不登録ジェスチャに基づいて、当該認識工程において認識されたジェスチャを登録可能であるか否かを判定する判定工程（判定ステップ）、及び当該判定工程において登録可能であると判定されたジェスチャを登録ジェスチャとして記憶部３２に記憶する記憶工程（記憶ステップ）を含む。これらの工程は、例えば、それぞれ図３におけるステップＳ１２、Ｓ１３及びＳ１７、並びにＳ１８に対応する。また、追加の工程として、図３、５、６及び８に記載の各ステップに対応する工程（ステップ）を実行してもよい。これらの工程を経てジェスチャ認識を行うことで、誤認識を抑制し、対象となる装置を所望のタイミングで正確に動作させることが可能となる。

１０ ナビゲーションシステム
２０ ナビゲーション装置
３０、６０ ジェスチャ認識装置
３１ 認識部
３２、６１ 記憶部
３３、６３ 判定部
３４ 登録部
３５ 信号生成部

Claims (8)

1. ジェスチャを認識する認識部と、
   対象装置の動作を指示するジェスチャを登録する登録部と、
   前記対象装置の動作を指示するジェスチャとして登録不可能な少なくとも１つの不登録ジェスチャを予め記憶する記憶部と、
   前記記憶部に記憶された不登録ジェスチャに基づいて、前記認識部によって認識されたジェスチャを登録可能であるか否かを判定する判定部と、を有し、
   前記記憶部は、前記対象装置以外の装置に対する操作において発生する特定の身体動作を前記不登録ジェスチャとして予め記憶し、
   前記登録部は、前記判定部によって登録可能であると判定されたジェスチャのみを登録ジェスチャとして登録することを特徴とする認識装置。
2. 前記記憶部は、前記登録部により登録された前記登録ジェスチャを既登録ジェスチャとして記憶し、
   前記判定部は、前記記憶部に記憶されている不登録ジェスチャ及び既登録ジェスチャに基づいて、前記認識部によって認識されたジェスチャを登録可能であるか否かを判定することを特徴とする請求項１に記載の認識装置。
3. 前記記憶部は、複数の不登録ジェスチャセットと、前記複数の不登録ジェスチャセットのそれぞれを指定する指定ジェスチャとを記憶し、
   前記判定部は、前記認識部によって認識されたジェスチャが前記指定ジェスチャに対応するか否かを判定し、前記認識部によって認識されたジェスチャが前記指定ジェスチャに対応すると判定した場合、前記指定ジェスチャに対応する不登録ジェスチャセットに基づいて登録可否の判定を行うことを特徴とする請求項１又は２に記載の認識装置。
4. 前記記憶部は、前記対象装置の動作を前記登録ジェスチャに対応付けて記憶することを特徴とする請求項１乃至３のいずれか１つに記載の認識装置。
5. 前記認識部によって認識されたジェスチャが前記記憶部に記憶された既登録ジェスチャに対応すると前記判定部によって判定された場合、前記認識部によって認識されたジェスチャに対応する前記対象装置の動作を指定する信号を生成する信号生成部を有することを特徴とする請求項４に記載の認識装置。
6. 前記信号生成部は、前記認識部によって認識されたジェスチャが前記判定部によって登録可能なジェスチャではないと判定された場合、当該判定結果を出力する信号を生成する信号生成部を有することを特徴とする請求項５に記載の認識装置。
7. 前記認識部は、特定の手の形状をなす１の身体動作を１のジェスチャとして認識することを特徴とする請求項１乃至６のいずれか１つに記載の認識装置。
8. 対象装置の動作を指示するジェスチャとして登録不可能であって、且つ前記対象装置以外の装置に対する操作において発生する特定の身体動作に対応する少なくとも１つの不登録ジェスチャを予め記憶する記憶部を備えた認識装置によって実行される認識方法であって、
   ジェスチャを認識する認識工程と、
   前記記憶部に記憶された不登録ジェスチャに基づいて、前記認識工程において認識されたジェスチャを登録可能であるか否かを判定する判定工程と、
   前記判定工程において登録可能であると判定されたジェスチャのみを登録ジェスチャとして登録する登録工程と、を有することを特徴とする認識方法。

Images