JP5932082B2

JP5932082B2 - 認識装置

Info

Publication number: JP5932082B2
Application number: JP2015042547A
Authority: JP
Inventors: 俊信中洲; 司池; 一成大内; 岡田　隆三; 隆三岡田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2015-03-04
Filing date: 2015-03-04
Publication date: 2016-06-08
Anticipated expiration: 2032-05-30
Also published as: JP2015127976A

Description

本発明の実施形態は、認識装置に関する。

従来、ユーザの手や指等の特定部位の所定動作であるジェスチャを認識する認識装置が知られている。かかる認識装置は、ユーザによるジェスチャを認識し、操作対象となる操作対象機器の操作を実行する。操作対象機器は、ＰＣ（Personal Computer）等の情報処理装置が一例として挙げられる。認識装置を利用した技術としては、ユーザによるジェスチャに応じてＰＣ画面のマウスカーソルを移動させるものがある。また、認識装置を利用した他の技術としては、ユーザによるジェスチャに応じてＰＣ画面を切り替える等の各種コマンドを実行するものがある。

特開２０１０−１８２０１４号公報特開２００５−３５２５３１号公報

しかしながら、従来技術においては、ジェスチャに応じた操作対象装置の操作のモードを事前にユーザに選択させる場合があるという問題がある。例えば、マウスカーソルを移動させるモードと、コマンドを実行するモードとが搭載されている場合に、ユーザは、これらのモードにおいて同一又は類似するジェスチャが存在するために、何れのモードを利用するかを事前に選択しなければならない。

ジェスチャに応じた操作を実現する場合には、ユーザが直感的に操作し易いジェスチャが採用されることが好ましい。このため、例えば、マウスカーソルを下方向に移動させるためのジェスチャと、画面を下方向に移動させるためのジェスチャとは、何れも手を下方向に動かす動作となっていることがある。これらの結果、従来技術では、ジェスチャに応じた操作対象装置の操作のモードを事前にユーザに選択させる場合がある。また、ジェスチャによってモードを切り替えることも考えられるが、かかる場合には、モードを切り替えるためのジェスチャを行なうことになるため、ユーザにとっては煩雑であるため好ましくない。

本発明が解決しようとする課題は、ジェスチャに応じた操作対象装置の操作のモードの切り替えに係る操作性を向上させることができる認識装置を提供することである。

実施の形態の認識装置は、取得部と、算出部と、判定部と、制御部とを有する。取得部は、被写体の特定部位の位置を時系列で取得する。算出部は、時系列で取得される位置から、特定部位の動きの特徴量を算出する。判定部は、算出された特徴量と第１閾値との大小関係、及び、算出された特徴量と第１閾値よりも小さい第２閾値との大小関係を判定する。制御部は、特徴量が第２閾値以上且つ第１閾値未満である場合に、特定部位の位置又は動きの認識方法が切り替えられる可能性があることを報知するための表示処理を制御する。

第１の実施形態に係る認識装置を示すブロック図。認識装置を適用した情報処理装置を示す図。時系列で取得される特定部位の位置を示す図。第１モードにおける画面表示を示す図。第２モードにおける画面表示を示す図。第１の実施形態に係る全体処理を示すフローチャート。第１の実施形態の変形例１に係る認識装置を示すブロック図。第１の実施形態の変形例１に係る特徴量に応じた制御を示す図。カーソルの暫定表示を示す図。第１の実施形態の変形例１に係る全体処理を示すフローチャート。第１の実施形態の変形例２に係る認識装置を示すブロック図。第１の実施形態の変形例２に係る特徴量に応じた制御を示す図。第１の実施形態の変形例２に係る特徴量に応じた制御を示す図。第１の実施形態の変形例２に係る特徴量に応じた制御を示す図。第１の実施形態の変形例２に係る特徴量に応じた制御を示す図。第１の実施形態の変形例２に係る特徴量に応じた制御を示す図。第１の実施形態の変形例２に係る特徴量に応じた制御を示す図。第１の実施形態の変形例２に係る特徴量に応じた制御を示す図。第１の実施形態の変形例３に係る認識装置を示すブロック図。第１の実施形態の変形例３に係る全体処理を示すフローチャート。第１の実施形態の変形例４に係る認識装置を示すブロック図。第１の実施形態の変形例４に係る全体処理を示すフローチャート。第１の実施形態の変形例５に係る認識装置を示すブロック図。第１の実施形態の変形例５に係る全体処理を示すフローチャート。第２の実施形態に係る認識装置を示すブロック図。ジェスチャの類似について説明する図。第２の実施形態に係る第１モードの画面表示を示す図。第２の実施形態に係る第２モードの画面表示を示す図。第２の実施形態に係る全体処理を示すフローチャート。モードの移行に係るユーザへの報知を示す図。モードの移行に係るユーザへの報知を示す図。識別部を追加した認識装置を示すブロック図。形状認識部を追加した認識装置を示すブロック図。認識装置をテレビ受像機に適用する図。認識装置を医療用の情報端末に適用する図。プログラムがコンピュータを用いて実現される図。

（第１の実施形態）
図１は、第１の実施形態に係る認識装置の構成例を示すブロック図である。図１に示すように、認識装置１００は、取得部１１０と、算出部１２０と、判定部１３０と、制御部１４０とを有する。例えば、認識装置１００は、カメラ及びイメージセンサ等の撮像素子を搭載したＰＣ（Personal Computer）等の情報処理装置に適用され、ユーザのジェスチャを認識して、認識したジェスチャに応じて該ＰＣの操作を制御する。カメラは、時系列の画像を撮像する。また、認識装置１００は、ＰＣが有する表示部１に接続されている。

図２は、認識装置を適用した情報処理装置の例を示す図である。図２に示す情報処理装置１０には、以下の実施形態の何れかの認識装置が適用される。例えば、情報処理装置１０には、カメラ１１が搭載されており、被写体であるユーザを撮像する。ユーザは、情報処理装置１０の画面１２のウィンドウ１３内に表示されたウェブコンテンツや文書を閲覧するために、手１４によってジェスチャを行なう。これにより、スクロールバー１５がジェスチャに応じて移動し、ウィンドウ１３がスクロールする。或いは、ユーザは、情報処理装置１０の画面１２（表示部１）に表示されたカーソルを移動するために、手１４によってジェスチャを行なう。これにより、カーソルがジェスチャに応じて移動する。

取得部１１０は、カメラ１１によって撮像された時系列の画像に対して、被写体であるユーザの手や指等の特定部位を画像毎に検出して、時系列に追跡することにより、ユーザの特定部位の位置を時系列で取得する。取得する特定部位の位置は、例えば、撮像素子から得られる手や指等である特定部位の検出領域の重心とする。また、取得する特定部位の位置は、撮像画像上で規定されているピクセル位置等の座標で表現しても良いし、検出されたユーザの顔等の部位の位置からの相対座標で表現しても良い。

また、位置だけでなく、各位置を取得した時刻も保存しても良い。時刻は、認識装置１００の起動時或いは位置取得の開始時を「０」として、開始時からの経過時間、経過クロック数、経過フレーム数等で表現される。例えば、撮像画像上の（ｘ，ｙ）座標で位置を表現する場合、ｉ番目のフレームで取得した位置（ｘｉ，ｙｉ）と、取得時の時刻「Ｔｉ」とを対応付けて保存する。

図３は、時系列で取得される特定部位の位置の例を示す図である。図３に示すように、特定部位の動きは、「Ｐ_１」、「Ｐ_２」、「Ｐ_３」、「Ｐ_４」、「Ｐ_５」、「Ｐ_６」、「Ｐ_７」、「Ｐ_８」の順に、破線の矢印で表されるように連続した軌跡を辿る。取得部１１０では、撮像素子でサンプリングされた離散的な点それぞれとして、「Ｐ_１」〜「Ｐ_８」それぞれの位置が取得される。なお、図３に示す「Ｐ_３」や「Ｐ_６」は、「折り返し点」と呼ぶ場合がある。

算出部１２０は、取得部１１０によって取得された位置から、被写体であるユーザの手や指等の特定部位の動きの特徴量を算出する。ここで、特徴量として、手の移動速度を例に挙げて説明する。例えば、算出部１２０は、取得部１１０によって取得された位置について、時刻「Ｔ_８」に取得された最も直近の位置を「Ｐ_８」とし、時刻「Ｔ_７」に取得された前回の位置を「Ｐ_７」としたときに、手の移動速度「Ｖ」を「｜Ｐ_８からＰ_７までの距離／（Ｔ_８−Ｔ_７）｜」により算出する。

判定部１３０は、算出部１２０によって算出された手の移動速度を特徴量として、手の移動速度と、移動速度の特定の値を表す第１閾値との大小関係を判定する。そして、判定部１３０は、手の移動速度と第１閾値との大小関係の判定結果を制御部１４０に対して出力する。かかる第１閾値は、ユーザのジェスチャに応じた制御を実行する場合において、手や指等の特定部位の位置又は動きの認識方法を用いる第１モードにするのか、又は、該第１モードとは異なる認識方法を用いる第２モードにするのか、を判定するために利用される。つまり、本実施形態の一つの様態では、手の移動速度に応じて、第１モード或いは第２モードが選択される。

制御部１４０は、判定部１３０による判定結果を受け付けて、手の移動速度が第１閾値未満である場合に第１モードを選択し、手の移動速度が第１閾値以上である場合に第２モードを選択する。また、制御部１４０は、選択した第１モード或いは第２モードそれぞれにおいて、ユーザのジェスチャに応じて表示部１に表示する画面の表示処理を制御する。例えば、制御部１４０は、第１モードである場合に表示部１に表示されるカーソルの移動を制御したり、第２モードである場合に表示部１に表示された画面のスクロールを制御したりする。ここで、第１モードにおけるカーソルの移動とは、ポインティングによるカーソルの移動を指す。

図４は、第１モードにおける画面表示の例を示す図である。図４では、第１モードにおける制御の一例として、画面上のカーソルを移動させる場合を例に挙げる。図４上段に示すウィンドウ１３の状態において、ユーザによって手を下方向に移動させるジェスチャが行なわれた場合に、図４下段に示すウィンドウ１３のように、カーソル１６が下方向に移動する。なお、第１モードである場合には、スクロールバー１５は移動しない。

図５は、第２モードにおける画面表示の例を示す図である。図５では、第２モードにおける制御の一例として、画面上のスクロールバーを移動させる場合を例に挙げる。図５上段に示すウィンドウ１３の状態において、ユーザによって手を下方向に移動させるジェスチャが行なわれた場合に、図５下段に示すウィンドウ１３のように、スクロールバー１５が下方向に移動することにより、ウィンドウ１３が下方向にスクロールする。また、図５では、スクロールバー１５の移動方向に応じてブロック矢印１７が表示される例を示している。なお、第２モードである場合には、カーソル１６は移動しない。

次に、図６を用いて、第１の実施形態に係る全体処理の流れを説明する。図６は、第１の実施形態に係る全体処理の流れの例を示すフローチャートである。

図６に示すように、取得部１１０によってユーザの手の位置が取得された場合に（ステップＳ１０１肯定）、算出部１２０は、手の動きから得られる手の移動速度を算出する（ステップＳ１０２）。また、取得部１１０によってユーザの手の位置が取得されない場合に（ステップＳ１０１否定）、該位置の取得待ちの状態となる。

また、判定部１３０は、算出部１２０によって算出された手の移動速度と、第１閾値との大小関係を比較する（ステップＳ１０３）。このとき、判定部１３０によって手の移動速度が第１閾値未満であると判定された場合に（ステップＳ１０４肯定）、制御部１４０は、第１モードを選択する（ステップＳ１０５）。一方、判定部１３０によって手の移動速度が第１閾値以上であると判定された場合に（ステップＳ１０４否定）、制御部１４０は、第２モードを選択する（ステップＳ１０６）。

本実施形態によれば、ユーザによるジェスチャでの特定部位の移動速度に応じて、表示部に表示する画面の表示処理の制御に係るジェスチャ認識のモードを選択するので、ジェスチャに応じた操作対象装置の操作のモードの切り替えに係る操作性を向上させることができる。つまり、本実施形態によれば、操作対象装置の操作のモードを切り替えるための操作をユーザに行なわせなくて良いので、操作性の向上をはかることができる。

（第１の実施形態の変形例１）
図７は、第１の実施形態の変形例１に係る認識装置の構成例を示すブロック図である。第１の実施形態の変形例１では、第１の実施形態と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。第１の実施形態の変形例１では、以下に示す判定部１３０ａ、制御部１４０ａ以外の各部の機能及び構成、処理については第１の実施形態と同様である。

図７に示すように、認識装置１００ａは、取得部１１０と、算出部１２０と、判定部１３０ａと、制御部１４０ａとを有する。また、第１の実施形態と同様に、認識装置１００ａは、表示部１に接続されている。

判定部１３０ａは、算出部１２０によって算出された手の移動速度を特徴量として、手の移動速度と第１閾値との大小関係、さらには、手の移動速度と第１閾値よりも小さい値を表す第２閾値との大小関係を判定する。そして、判定部１３０ａは、手の移動速度と第１閾値との大小関係の判定結果、手の移動速度と第２閾値との大小関係の判定結果を制御部１４０ａに対して出力する。かかる第２閾値は、ユーザのジェスチャに応じた制御を実行する場合において、第１モードから第２モードに移行する前段階の手の移動速度に該当するか否かを判定するために利用される。第１モードから第２モードに移行する前段階とは、条件「第２閾値≦手の移動速度＜第１閾値」を満たす場合である。つまり、本実施形態の一つの様態では、手の移動速度に応じて、第１モードから第２モードへ移行する可能性があることや、第２モードから第１モードに移行したこと等を、ユーザに報知することができる。

制御部１４０ａは、判定部１３０ａによる判定結果を受け付けて、手の移動速度が第１閾値未満（第２閾値未満である場合を含む）である場合に第１モードを選択し、手の移動速度が第１閾値以上である場合に第２モードを選択する。また、制御部１４０ａは、選択した第１モード或いは第２モードそれぞれにおいて、ユーザのジェスチャに応じて表示部１に表示する画面の表示処理を制御し、手の移動速度が第２閾値以上且つ第１閾値未満である場合に、該手の移動速度に応じて表示部１に表示する画面の表示処理を制御する。手の移動速度が第２閾値以上且つ第１閾値未満である場合の表示部１に表示する画面の表示処理の制御では、例えば、カーソルを第１モードとは異なる表示である暫定表示としてユーザに報知する。

図８は、第１の実施形態の変形例１に係る特徴量に応じた制御の例を示す図である。図８では、特徴量である手の移動速度と、第１閾値及び第２閾値との現状での大小関係を表す「現在の状態」、現在の状態に応じた制御を表す「制御」がそれぞれ示されている。これらのうち、現在の状態が「手の移動速度＜第２閾値」である場合には、認識方法及び表示処理が「第１モード」に応じたものとなる。また、現在の状態が「第２閾値≦手の移動速度＜第１閾値」である場合には、認識方法が「第１モード」に応じたものとなり、表示処理が「暫定表示」となる。また、現在の状態が「第１閾値≦手の移動速度」である場合には、認識方法及び表示処理が「第２モード」に応じたものとなる。

図９は、カーソルの暫定表示の例を示す図である。図９に示すように、暫定表示は、第１モードに応じたカーソル表示がカーソル２０である場合に、透明度を変更したカーソル表示であるカーソル２１、明度を変更したカーソル表示であるカーソル２２、大きさを変更したカーソル表示であるカーソル２３等がある。また、これらの他に、彩度や点滅速度やカーソルの移動速度（移動の停止を含む）を変化させたり、３次元表示が可能であれば飛び出し量を変化させたりしても良い。

また、透明度、明度及び大きさ等は、透明度を５０パーセントにする等、予め定めた一定の割合にしても良いし、特徴量である手の移動速度に応じて変化させても良い。例えば、手の移動速度が第１閾値である場合に透明度を１００パーセントにして、手の移動速度が第２閾値である場合に透明度を０パーセントになるように変化させる。このとき、特徴量を「Ｅ」、第１閾値を「Ｅ１」、第２閾値を「Ｅ２」とすると、透明度は、「１００×（Ｅ−Ｅ２）／（Ｅ１−Ｅ２）」となる。

次に、図１０を用いて、第１の実施形態の変形例１に係る全体処理の流れを説明する。図１０は、第１の実施形態の変形例１に係る全体処理の流れの例を示すフローチャートである。

図１０に示すように、取得部１１０によってユーザの手の位置が取得された場合に（ステップＳ２０１肯定）、算出部１２０は、手の動きから得られる手の移動速度を算出する（ステップＳ２０２）。また、取得部１１０によってユーザの手の位置が取得されない場合に（ステップＳ２０１否定）、該位置の取得待ちの状態となる。

また、判定部１３０ａは、算出部１２０によって算出された手の移動速度と第１閾値との大小関係、手の移動速度と第２閾値との大小関係を比較する（ステップＳ２０３）。このとき、判定部１３０ａによって手の移動速度が第２閾値未満であると判定された場合に（ステップＳ２０４肯定，ステップＳ２０５肯定）、制御部１４０ａは、第１モードを選択する（ステップＳ２０６）。

また、判定部１３０ａによって手の移動速度が第２閾値以上且つ第１閾値未満であると判定された場合に（ステップＳ２０４肯定，ステップＳ２０５否定）、制御部１４０ａは、第１モードを選択し、手の移動速度に応じて画面の表示処理を制御する（ステップＳ２０７）。また、判定部１３０ａによって手の移動速度が第１閾値以上であると判定された場合に（ステップＳ２０４否定）、制御部１４０ａは、第２モードを選択する（ステップＳ２０８）。

本実施形態によれば、第１モードから第２モードへ移行する前段階においてカーソル等の表示を暫定表示にするので、第１モードから第２モードへ移行する可能性があることや、第２モードから第１モードへ移行したことをユーザに認識させることができる。また、本実施形態によれば、操作対象装置の操作のモードを切り替えるための操作をユーザに行なわせなくて良いので、操作性の向上をはかることができる。

（第１の実施形態の変形例２）
図１１は、第１の実施形態の変形例２に係る認識装置の構成例を示すブロック図である。第１の実施形態の変形例２では、第１の実施形態と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。第１の実施形態の変形例２では、以下に示す判定部１３０ｂ、制御部１４０ｂ以外の各部の機能及び構成、処理については第１の実施形態と同様である。

図１１に示すように、認識装置１００ｂは、取得部１１０と、算出部１２０と、判定部１３０ｂと、制御部１４０ｂとを有する。また、第１の実施形態と同様に、認識装置１００ｂは、表示部１に接続されている。第１の実施形態の変形例２では、特徴量である手の移動速度と、第１閾値及び第２閾値との現状での大小関係を表す「現在の状態」、直前のモードが第１モード又は第２モードの何れであるかを表す「直前のモード」に応じて、認識方法及び表示処理が変化する。以下では、図１２〜図１８を用いて、それぞれのパターンにおける認識方法及び表示処理について説明する。図１２〜図１８は、第１の実施形態の変形例２に係る現在の状態と直前のモードとの関係における認識方法及び表示処理の例を示す図である。

図１２において、判定部１３０ｂは、手の移動速度が第２閾値未満であると判定する。これにより、制御部１４０ｂは、直前のモードが第１モードである場合に、認識方法及び表示部１に表示する画面の表示処理を「第１モード」に応じたものとして制御する。また、制御部１４０ｂは、直前のモードが第２モードである場合に、認識方法及び表示部１に表示する画面の表示処理を「第１モード」に応じたものとして制御する。

また、図１２において、判定部１３０ｂは、手の移動速度が第２閾値以上且つ第１閾値未満であると判定する。これにより、制御部１４０ｂは、直前のモードが第１モードである場合に、認識方法を「第１モード」に応じたものとして制御し、表示部１に表示する画面の表示処理を「暫定表示」として制御する。また、制御部１４０ｂは、直前のモードが第２モードである場合に、認識方法及び表示部１に表示する画面の表示処理を「第１モード」に応じたものとして制御する。

また、図１２において、判定部１３０ｂは、手の移動速度が第１閾値以上であると判定する。これにより、制御部１４０ｂは、直前のモードが第１モードである場合に、認識方法及び表示部１に表示する画面の表示処理を「第２モード」に応じたものとして制御する。また、制御部１４０ｂは、直前のモードが第２モードである場合に、認識方法及び表示部１に表示する画面の表示処理を「第２モード」に応じたものとして制御する。

また、図１３において、判定部１３０ｂ及び制御部１４０ｂは、図１２で説明した処理と同様の処理を行なう。これに加えて、算出部１２０は、ユーザの特定部位である手の移動距離を特徴量として算出する。そして、制御部１４０ｂは、第２モードを選択している状態において、算出部１２０によって算出された手の移動距離が所定時間以上継続して所定範囲内である場合に、認識方法及び表示部１に表示する画面の表示処理を「第１モード」に応じたものとして制御する。手の移動距離が所定時間以上継続して所定範囲内である場合とは、手の静止が検出されたことを指す。つまり、ユーザの手は若干揺れたりして動きが発生する場合もあるため、手の移動距離が所定時間以上継続して所定範囲内であれば、手が静止したこととして検出する。

また、図１４において、判定部１３０ｂは、手の移動速度が第２閾値未満であると判定する。これにより、制御部１４０ｂは、直前のモードが第１モードである場合に、認識方法及び表示部１に表示する画面の表示処理を「第１モード」に応じたものとして制御する。また、制御部１４０ｂは、第２モードを選択している状態において、判定部１３０ｂによる判定において第１閾値未満（第２閾値未満を含む）である状態が所定時間以上続いた場合に、認識方法及び表示部１に表示する画面の表示処理を「第１モード」に応じたものとして制御する。なお、所定時間の一定割合を経過した時点で、第１モードに移行する可能性があることをユーザに報知するために、暫定表示をするようにしても良い。

また、図１４において、判定部１３０ｂは、手の移動速度が第２閾値以上且つ第１閾値未満であると判定する。これにより、制御部１４０ｂは、直前のモードが第１モードである場合に、認識方法を「第１モード」に応じたものとして制御し、表示部１に表示する画面の表示処理を「暫定表示」として制御する。また、制御部１４０ｂは、第２モードを選択している状態において、判定部１３０ｂによる判定において第１閾値未満である状態が所定時間以上続いた場合に、認識方法及び表示部１に表示する画面の表示処理を「第１モード」に応じたものとして制御する。なお、所定時間の一定割合を経過した時点で、第１モードに移行する可能性があることをユーザに報知するために、暫定表示をするようにしても良い。

また、図１４において、手の移動速度が第１閾値以上である場合に、判定部１３０ｂ及び制御部１４０ｂは、図１２で説明した処理と同様の処理を行なう。なお、第１モードを選択している状態において、判定部１３０ｂによる判定において第１閾値以上である状態が所定時間以上続いた場合に、認識方法及び表示部１に表示する画面の表示処理を「第２モード」に応じたものとして制御するようにしても良い。

また、図１５において、判定部１３０ｂは、第１閾値以上であると判定する。これにより、制御部１４０ｂは、第１モードを選択している状態において、判定部１３０ｂによる判定において第１閾値以上である状態の継続時間が所定閾値未満である場合に、認識方法を「第１モード」に応じたものとして制御し、表示部１に表示する画面の表示処理を「暫定表示」として制御する。一方、制御部１４０ｂは、第１モードを選択している状態において、判定部１３０ｂによる判定において第１閾値以上である状態の継続時間が所定閾値以上である場合に、認識方法及び表示部１に表示する画面の表示処理を「第２モード」に応じたものとして制御する。また、制御部１４０ｂは、直前のモードが第２モードである場合に、認識方法及び表示部１に表示する画面の表示処理を「第２モード」に応じたものとして制御する。なお、図１５において、手の移動速度が第１閾値未満（第２閾値未満を含む）である場合に、判定部１３０ｂ及び制御部１４０ｂは、図１４で説明した処理と同様の処理を行なう。図１５の例によれば、特徴量としての手の移動速度の値に、１フレームだけノイズが入った場合等でも、該ノイズの影響を抑制した制御を実現することができる。

また、図１６において、判定部１３０ｂは、手の移動速度が第２閾値以上且つ第１閾値未満であると判定する。これにより、制御部１４０ｂは、直前のモードが第１モードである場合に、認識方法を「第１モード」に応じたものとして制御し、表示部１に表示する画面の表示処理を「暫定表示Ａ」として制御する。また、制御部１４０ｂは、直前のモードが第２モードである場合に、認識方法を「第１モード」に応じたものとして制御し、表示部１に表示する画面の表示処理を「暫定表示Ｂ」として制御する。「暫定表示Ａ」と「暫定表示Ｂ」とは、それぞれ異なる暫定表示であることを表す。なお、図１６において、手の移動速度が第２閾値未満である場合、手の移動速度が第１閾値以上である場合に、判定部１３０ｂ及び制御部１４０ｂは、図１２で説明した処理と同様の処理を行なう。

また、図１７の例においては、第１閾値よりも大きい第３閾値をさらに利用する。図１７において、判定部１３０ｂは、手の移動速度が第２閾値以上且つ第１閾値未満であると判定する。これにより、制御部１４０ｂは、直前のモードが第１モードである場合に、認識方法を「第１モード」に応じたものとして制御し、表示部１に表示する画面の表示処理を「暫定表示Ａ」として制御する。また、制御部１４０ｂは、直前のモードが第２モードである場合に、認識方法及び表示部１に表示する画面の表示処理を「第１モード」に応じたものとして制御する。

また、図１７において、判定部１３０ｂは、手の移動速度が第１閾値以上且つ第３閾値未満であると判定する。これにより、制御部１４０ｂは、直前のモードが第１モードである場合に、認識方法及び表示部１に表示する画面の表示処理を「第２モード」に応じたものとして制御する。また、制御部１４０ｂは、直前のモードが第２モードである場合に、認識方法を「第２モード」に応じたものとして制御し、表示部１に表示する画面の表示処理を「暫定表示Ｂ」として制御する。

また、図１７において、判定部１３０ｂは、手の移動速度が第３閾値以上であると判定する。これにより、制御部１４０ｂは、直前のモードが第１モードである場合に、認識方法及び表示部１に表示する画面の表示処理を「第２モード」に応じたものとして制御する。また、制御部１４０ｂは、直前のモードが第２モードである場合に、認識方法及び表示部１に表示する画面の表示処理を「第２モード」に応じたものとして制御する。なお、手の移動速度が第２閾値未満である場合に、判定部１３０ｂ及び制御部１４０ｂは、図１２で説明した処理と同様の処理を行なう。

また、図１８においても、図１７の例と同様に第３閾値を利用する。図１８において、判定部１３０ｂは、手の移動速度が第２閾値未満であると判定する。これにより、制御部１４０ｂは、直前のモードが第１モードである場合に、認識方法及び表示部１に表示する画面の表示処理を「第１モード」に応じたものとして制御する。また、制御部１４０ｂは、第２モードを選択している状態において、判定部１３０ｂによる判定において第２閾値未満である状態の継続時間が所定閾値未満である場合に、認識方法を「第２モード」に応じたものとして制御し、表示部１に表示する画面の表示処理を「暫定表示Ｂ」として制御する。一方、制御部１４０ｂは、第２モードを選択している状態において、判定部１３０ｂによる判定において第２閾値未満である状態の継続時間が所定閾値値以上である場合に、認識方法及び表示部１に表示する画面の表示処理を「第１モード」に応じたものとして制御する。

また、図１８において、判定部１３０ｂは、手の移動速度が第２閾値以上且つ第１閾値未満であると判定する。これにより、制御部１４０ｂは、直前のモードが第１モードである場合に、認識方法を「第１モード」に応じたものとして制御し、表示部１に表示する画面の表示処理を「暫定表示Ａ」として制御する。また、制御部１４０ｂは、第２モードを選択している状態において、判定部１３０ｂによる判定において第２閾値以上且つ第１閾値未満である状態の継続時間が所定閾値未満である場合に、認識方法を「第２モード」に応じたものとして制御し、表示部１に表示する画面の表示処理を「暫定表示Ｂ」として制御する。一方、制御部１４０ｂは、第２モードを選択している状態において、判定部１３０ｂによる判定において第２閾値以上且つ第１閾値未満である状態の継続時間が所定閾値以上である場合に、認識方法及び表示部１に表示する画面の表示処理を「第１モード」に応じたものとして制御する。

また、図１８において、判定部１３０ｂは、手の移動速度が第１閾値以上且つ第３閾値未満であると判定する。これにより、制御部１４０ｂは、第１モードを選択している状態において、判定部１３０ｂによる判定において第１閾値以上且つ第３閾値未満である状態の継続時間が所定閾値未満である場合に、認識方法を「第１モード」に応じたものとして制御し、表示部１に表示する画面の表示処理を「暫定表示Ａ」として制御する。一方、制御部１４０ｂは、第１モードを選択している状態において、判定部１３０ｂによる判定において第１閾値以上且つ第３閾値未満である状態の継続時間が所定閾値以上である場合に、認識方法及び表示部１に表示する画面の表示処理を「第２モード」に応じたものとして制御する。また、制御部１４０ｂは、直前のモードが第２モードである場合に、認識方法を「第２モード」に応じたものとして制御し、表示部１に表示する画面の表示処理を「暫定表示Ｂ」として制御する。

また、図１８において、判定部１３０ｂは、手の移動速度が第３閾値以上であると判定する。これにより、制御部１４０ｂは、第１モードを選択している状態において、判定部１３０ｂによる判定において第３閾値以上である状態の継続時間が所定閾値未満である場合に、認識方法を「第１モード」に応じたものとして制御し、表示部１に表示する画面の表示処理を「暫定表示Ａ」として制御する。一方、制御部１４０ｂは、第１モードを選択している状態において、判定部１３０ｂによる判定において第３閾値以上である状態の継続時間が所定閾値以上である場合に、認識方法及び表示部１に表示する画面の表示処理を「第２モード」に応じたものとして制御する。また、制御部１４０ｂは、直前のモードが第２モードである場合に、認識方法及び表示部１に表示する画面の表示処理を「第２モード」に応じたものとして制御する。

本実施形態によれば、第１モードと第２モードとのそれぞれへ移行する前段階においてカーソルの表示を暫定表示にするので、各モードへ移行する可能性があることや、各モードへ移行したことをユーザに認識させることができる。また、本実施形態によれば、手の移動速度等の特徴量の状態の継続時間に応じて、各モードへ移行したり、カーソルの表示を暫定表示にしたりするので、各モードへ移行する可能性があることや、各モードへ移行したことをユーザに認識させることができる。また、本実施形態によれば、操作対象装置の操作のモードを切り替えるための操作をユーザに行なわせなくて良いので、操作性の向上をはかることができる。

（第１の実施形態の変形例３）
図１９は、第１の実施形態の変形例３に係る認識装置の構成例を示すブロック図である。第１の実施形態の変形例３では、第１の実施形態と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。第１の実施形態の変形例３では、以下に示す判定部１３０ｃ、制御部１４０ｃ以外の各部の機能及び構成、処理については第１の実施形態と同様である。

図１９に示すように、認識装置１００ｃは、取得部１１０と、算出部１２０と、判定部１３０ｃと、制御部１４０ｃとを有する。また、第１の実施形態と同様に、認識装置１００ｃは、表示部１に接続されている。第１の実施形態の変形例３では、第１閾値が第１の実施形態とは異なる。具体的には、第１の実施形態の変形例３では、第１閾値よりも所定値だけ大きい又は小さい値を閾値として利用する。詳細には、第１モードが選択されている状態においては、第１閾値よりも所定値だけ大きい値を第４閾値とする。一方、第２モードが選択されている状態においては、第１閾値よりも所定値だけ小さい値を第５閾値とする。

判定部１３０ｃは、現在の状態が「第１モード」である場合に、第１閾値よりも所定値だけ大きい第４閾値を利用して、算出部１２０によって算出された手の移動速度と第４閾値との大小関係を判定する。そして、判定部１３０ｃは、手の移動速度と第４閾値との大小関係の判定結果を制御部１４０ｃに対して出力する。一方、判定部１３０ｃは、現在の状態が「第２モード」である場合に、第１閾値よりも所定値だけ小さい第５閾値を利用して、算出部１２０によって算出された手の移動速度と第５閾値との大小関係を判定する。そして、判定部１３０ｃは、手の移動速度と第５閾値との大小関係の判定結果を制御部１４０ｃに対して出力する。

制御部１４０ｃは、判定部１３０ｃによる判定結果を受け付けて、手の移動速度が第４閾値未満である場合に第１モードを選択し、手の移動速度が第４閾値以上である場合に第２モードを選択する。また、制御部１４０ｃは、判定部１３０ｃによる判定結果を受け付けて、手の移動速度が第５閾値未満である場合に第１モードを選択し、手の移動速度が第５閾値以上である場合に第２モードを選択する。また、制御部１４０ｃは、選択した第１モード或いは第２モードそれぞれにおいて、ユーザのジェスチャに応じて表示部１に表示する画面の表示処理を制御する。

次に、図２０を用いて、第１の実施形態の変形例３に係る全体処理の流れを説明する。図２０は、第１の実施形態の変形例３に係る全体処理の流れの例を示すフローチャートである。

図２０に示すように、取得部１１０によってユーザの手の位置が取得された場合に（ステップＳ３０１肯定）、算出部１２０は、手の動きから得られる手の移動速度を算出する（ステップＳ３０２）。また、取得部１１０によってユーザの手の位置が取得されない場合に（ステップＳ３０１否定）、該位置の取得待ちの状態となる。

また、判定部１３０ｃは、現在の状態が第１モードである場合に（ステップＳ３０３肯定）、第１閾値よりも所定値だけ大きい値である第４閾値を利用することを決定する（ステップＳ３０４）。一方、判定部１３０ｃは、現在の状態が第２モードである場合に（ステップＳ３０３否定）、第１閾値よりも所定値だけ小さい値である第５閾値を利用することを決定する（ステップＳ３０５）。これらにより、判定部１３０ｃは、手の移動速度と、利用することを決定した第４閾値又は第５閾値との大小関係を比較する（ステップＳ３０６）。

このとき、判定部１３０ｃによって手の移動速度が第４閾値未満又は第５閾値未満であると判定された場合に（ステップＳ３０７肯定）、制御部１４０ｃは、第１モードを選択する（ステップＳ３０８）。一方、判定部１３０ｃによって手の移動速度が第４閾値以上又は第５閾値以上であると判定された場合に（ステップＳ３０７否定）、制御部１４０ｃは、第２モードを選択する（ステップＳ３０９）。

本実施形態によれば、第１モードである場合に第１閾値よりも所定値だけ大きい第４閾値を利用し、第２モードである場合に第１閾値よりも所定値だけ小さい第５閾値を利用するので、モードを切り替わりにくくすることができる。つまり、本実施形態によれば、不用意なジェスチャにより安易にモードが切り替わることを抑制することができる。

（第１の実施形態の変形例４）
図２１は、第１の実施形態の変形例４に係る認識装置の構成例を示すブロック図である。第１の実施形態の変形例４では、第１の実施形態と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。第１の実施形態の変形例４では、以下に示す制御部１４０ｄ、第１認識部１５０ｄ、第２認識部１６０ｄ以外の各部の機能及び構成、処理については第１の実施形態と同様である。

図２１に示すように、認識装置１００ｄは、取得部１１０と、算出部１２０と、判定部１３０と、制御部１４０ｄと、第１認識部１５０ｄと、第２認識部１６０ｄとを有する。また、第１の実施形態と同様に、認識装置１００ｄは、表示部１に接続されている。

第１認識部１５０ｄは、第１モードに対応する認識方法により、取得部１１０によって時系列で取得された位置から、ユーザの手や指等の特定部位の位置や動きを認識する。そして、第１認識部１５０ｄは、認識した位置や動きを制御部１４０ｄに対して出力する。第１認識部１５０ｄによる上記認識処理は、取得部１１０による位置の取得ごとに実行される。ここで、第１モードは、一つの様態として、カーソル移動のためのジェスチャを認識するためのモードである。

また、第１認識部１５０ｄによる認識処理では、取得部１１０によって取得された位置をそのまま出力しても良いし、取得された位置を補正してから出力しても良い。位置の補正については、例えば、手の検出を開始した位置からの相対位置を出力対象の位置としても良い。また、カルマンフィルタ等を適用して動きを平滑化し、得られる位置を出力対象の位置としても良い。また、上述したように、第１モードはカーソル移動のためのモードであるため、カーソルが画面外に移動しないように、移動範囲を制限した位置を出力することが好ましい。

第２認識部１６０ｄは、第２モードに対応する認識方法により、取得部１１０によって時系列で取得された位置から、ユーザの手や指等の特定部位の位置や動きを認識する。そして、第２認識部１６０ｄは、認識した位置や動きの方向に応じたコマンドを制御部１４０ｄに対して出力する。第２認識部１６０ｄによる上記認識処理は、取得部１１０による位置の取得ごとに実行される。ここで、第２モードは、一つの様態として、画面上のスクロールバーを移動させる等、対応方向のコマンドのためのジェスチャを認識するためのモードである。

また、第２認識部１６０ｄによる認識処理では、コマンドの方向やコマンド確定までの進捗率（０〜１）を出力しても良い。かかる進捗率は、例えば、取得部１１０による位置取得の開始時点である時刻「Ｔ_ｊ」を「０」、所定時間「Ｔ_０ａ」が経過する時点である時刻「Ｔ_ｊ＋Ｔ_０ａ」を「１」、時刻「Ｔ_ｊ」から時刻「Ｔ_ｊ＋Ｔ_０ａ」の期間を線形に補間した値とする。この場合、時刻「ｔ（Ｔ_ｊ≦ｔ≦Ｔ_ｊ＋Ｔ_０ａ）」の進捗率は、「（ｔ−Ｔ_ｊ）／Ｔ_０ａ」となる。つまり、進捗率が「１」であれば、コマンドが確定した状態となる。なお、上記の手法に限られるものではなく、折り返し点の前後も含んだ手の移動軌跡から、ユーザの意図した方向へのジェスチャを認識して、該当する方向へのコマンドを出力する手法でも良い。

制御部１４０ｄは、判定部１３０による判定結果に応じて第１モード或いは第２モードを選択する。そして、制御部１４０ｄは、現在の状態が第１モードである場合に、第１認識部１５０ｄによる認識結果の出力を選定し、該認識結果に応じて表示部１に表示する画面の表示処理を制御する。一方、制御部１４０ｄは、現在の状態が第２モードである場合に、第２認識部１６０ｄによる認識結果の出力を選定し、該認識結果に応じて表示部１に表示する画面の表示処理を制御する。なお、制御部１４０ｄは、現在の状態が第２モードである時に第２認識部１６０ｄによって進捗率が出力されている場合に、進捗率の出力が継続していれば、第１モードに移行していても第２認識部１６０ｄによる認識結果だけを選定しても良い。或いは、第２認識部１６０ｄによる認識結果だけでなく、第１認識部１５０ｄによる認識結果も選定し、第１認識部１５０ｄ及び第２認識部１６０ｄによる認識結果に応じて表示部１に表示する画面の表示処理を制御しても良い。

次に、図２２を用いて、第１の実施形態の変形例４に係る全体処理の流れを説明する。図２２は、第１の実施形態の変形例４に係る全体処理の流れの例を示すフローチャートである。

図２２に示すように、取得部１１０によってユーザの手の位置が取得された場合に（ステップＳ４０１肯定）、ステップＳ４０２、ステップＳ４０３及びステップＳ４０４の各処理が実行される。また、取得部１１０によってユーザの手の位置が取得されない場合に（ステップＳ４０１否定）、該位置の取得待ちの状態となる。

ここで、第１認識部１５０ｄは、取得部１１０によって時系列で取得された位置から、第１モードに対応する認識方法によりユーザの手の位置や動きを認識して、認識結果となるカーソル位置を制御部１４０ｄに対して出力する（ステップＳ４０２）。また、第２認識部１６０ｄは、取得部１１０によって時系列で取得された位置から、第２モードに対応する認識方法によりユーザの手の位置や動きを認識して、認識結果となるコマンドの方向を制御部１４０ｄに対して出力する（ステップＳ４０３）。また、算出部１２０は、手の動きから得られる手の移動速度を算出する（ステップＳ４０４）。

また、判定部１３０は、算出部１２０によって算出された手の移動速度と、第１閾値との大小関係を比較する（ステップＳ４０５）。このとき、判定部１３０によって手の移動速度が第１閾値未満であると判定された場合に（ステップＳ４０６肯定）、制御部１４０ｄは、第１モードを選択し、第１認識部１５０ｄによって出力された認識結果であるカーソル位置に応じた画面の表示処理を制御する（ステップＳ４０７）。一方、判定部１３０によって手の移動速度が第１閾値以上であると判定された場合に（ステップＳ４０６否定）、制御部１４０ｄは、第２モードを選択し、第２認識部１６０ｄによって出力された認識結果であるコマンドの方向に応じて表示部１に表示する画面の表示処理を制御する（ステップＳ４０８）。

本実施形態によれば、ユーザによるジェスチャにおける特定部位の移動速度に応じて、表示部に表示する画面の表示処理の制御に係るジェスチャの認識方法を選択し、選択した認識方法に対応するジェスチャの認識結果を選定して、選定した認識結果に応じて表示部に表示する画面の表示処理を制御する。この結果、ジェスチャに応じた操作対象装置の操作のモードの切り替えに係る操作性を向上させることができるとともに、該当するモードに応じたジェスチャの認識結果に応じて表示部に表示する画面の表示処理を制御することができる。

（第１の実施形態の変形例５）
図２３は、第１の実施形態の変形例５に係る認識装置の構成例を示すブロック図である。第１の実施形態の変形例５では、第１の実施形態と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。第１の実施形態の変形例５では、以下に示す判定部１３０ｅ、制御部１４０ｅ、第１認識部１５０ｅ、第２認識部１６０ｅ以外の各部の機能及び構成、処理については第１の実施形態と同様である。

図２３に示すように、認識装置１００ｅは、取得部１１０と、算出部１２０と、判定部１３０ｅと、制御部１４０ｅと、第１認識部１５０ｅと、第２認識部１６０ｅとを有する。また、第１の実施形態と同様に、認識装置１００ｅは、表示部１に接続されている。

判定部１３０ｅは、算出部１２０によって算出された手の移動速度を特徴量として、手の移動速度と第１閾値との大小関係を判定する。そして、判定部１３０ｅは、手の移動速度と第１閾値との大小関係の判定結果について、手の移動速度が第１閾値未満である場合に、該判定結果を第１認識部１５０ｅに対して出力する。一方、判定部１３０ｅは、手の移動速度と第１閾値との大小関係の判定結果について、手の移動速度が第１閾値以上である場合に、該判定結果を第２認識部１６０ｅに対して出力する。

つまり、手の移動速度が第１閾値未満である場合には、第１モードに応じた認識処理、すなわち第１認識部１５０ｅによる認識処理のみが実行されれば良いため、判定結果を第１認識部１５０ｅに対して出力している。同様に、手の移動速度が第１閾値以上である場合には、第２モードに応じた認識処理、すなわち第２認識部１６０ｅによる認識処理のみが実行されれば良いため、判定結果を第２認識部１６０ｅに対して出力している。

第１認識部１５０ｅは、判定部１３０ｅから判定結果を受け付けた場合に、取得部１１０から時系列の位置を取得し、第１モードに対応する認識方法により、取得した位置からユーザの手や指等の特定部位の位置や動きを認識する。そして、第１認識部１５０ｅは、認識した位置や動きを制御部１４０ｅに対して出力する。第１認識部１５０ｅによる上記認識処理は、判定部１３０ｅからの判定結果を受け付けた場合に実行される。なお、第１認識部１５０ｅによる認識処理における位置の補正等については、上記第１認識部１５０ｄと同様である。

第２認識部１６０ｅは、判定部１３０ｅから判定結果を受け付けた場合に、取得部１１０から時系列の位置を取得し、第２モードに対応する認識方法により、取得した位置からユーザの手や指等の特定部位の位置や動きを認識する。そして、第２認識部１６０ｅは、認識した位置や動きの方向に応じたコマンドを制御部１４０ｅに対して出力する。第２認識部１６０ｅによる上記認識処理は、判定部１３０ｅからの判定結果を受け付けた場合に実行される。なお、第２認識部１６０ｅによる認識処理における進捗率の出力等については、上記第２認識部１６０ｄと同様である。

制御部１４０ｅは、第１認識部１５０ｅによって認識結果が出力された場合に、第１モードを選択し、出力された認識結果に応じて表示部１に表示する画面の表示処理を制御する。一方、制御部１４０ｅは、第２認識部１６０ｅによって認識結果が出力された場合に、第２モードを選択し、出力された認識結果に応じて表示部１に表示する画面の表示処理を制御する。

次に、図２４を用いて、第１の実施形態の変形例５に係る全体処理の流れを説明する。図２４は、第１の実施形態の変形例５に係る全体処理の流れの例を示すフローチャートである。

図２４に示すように、取得部１１０によってユーザの手の位置が取得された場合に（ステップＳ５０１肯定）、算出部１２０は、手の動きから得られる手の移動速度を算出する（ステップＳ５０２）。また、取得部１１０によってユーザの手の位置が取得されない場合に（ステップＳ５０１否定）、該位置の取得待ちの状態となる。

また、判定部１３０ｅは、算出部１２０によって算出された手の移動速度と、第１閾値との大小関係を比較する（ステップＳ５０３）。このとき、判定部１３０ｅは、手の移動速度が第１閾値未満であると判定した場合に（ステップＳ５０４肯定）、判定結果を第１認識部１５０ｅに対して出力する。一方、判定部１３０ｅは、手の移動速度が第１閾値以上であると判定した場合に（ステップＳ５０４否定）、判定結果を第２認識部１６０ｅに対して出力する。

また、判定部１３０ｅから判定結果を受け付けた第１認識部１５０ｅは、取得部１１０から時系列の位置を取得し、第１モードに対応する認識方法によりユーザの手の位置や動きを認識して、認識結果となるカーソル位置を制御部１４０ｅに対して出力する（ステップＳ５０５）。この後、第１認識部１５０ｅから認識結果を受け付けた制御部１４０ｅは、第１モードを選択し、認識結果であるカーソル位置に応じて表示部１に表示する画面の表示処理を制御する（ステップＳ５０６）。

また、判定部１３０ｅから判定結果を受け付けた第２認識部１６０ｅは、取得部１１０から時系列の位置を取得し、第２モードに対応する認識方法によりユーザの手の位置や動きを認識して、認識結果となるコマンドの方向を制御部１４０ｅに対して出力する（ステップＳ５０７）。この後、第２認識部１６０ｅから認識結果を受け付けた制御部１４０ｅは、第２モードを選択し、認識結果であるコマンドの方向に応じて表示部１に表示する画面の表示処理を制御する（ステップＳ５０８）。

本実施形態によれば、モードの判定結果の出力後から、何れかのモードに対応するジェスチャの認識処理のみを実行するので、処理負荷を軽減しつつ、該当するモードに応じたジェスチャの認識結果に応じて表示部に表示する画面の表示処理を制御することができる。

（第２の実施形態）
図２５は、第２の実施形態に係る認識装置の構成例を示すブロック図である。第２の実施形態では、第１の実施形態と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。第２の実施形態では、以下に示す取得部１１０の機能及び構成、処理については第１の実施形態と同様である。

図２５に示すように、認識装置２００は、取得部１１０と、算出部２２０と、判定部２３０と、制御部２４０とを有する。また、第１の実施形態と同様に、認識装置２００は、表示部１に接続されている。

算出部２２０は、手や指等の特定部位の移動ベクトルと、所定の座標軸ベクトルとの内積の符号の切り替わりから、次の切り替わりまでの時間が所定時間内となる動きが連続して発生する回数を特徴量として算出する。例えば、算出部２２０は、折り返し点（或いは、検出開始時の点）から次の折り返し点までが「３５０ｍｓ」等の所定時間以内となる手の動きが連続して発生する回数を特徴量として算出する。つまり、ユーザによって手が左右に振られる等、手の往復運動がジェスチャとして行なわれた場合に、所定時間以内における該往復運動の折り返しの発生の回数を特徴量とする。

判定部２３０は、算出部２２０によって算出された所定時間以内における手の往復運動の折り返しの発生の回数を特徴量として、回数と、回数の特定の値を表す第６閾値との大小関係を判定する。そして、判定部２３０は、回数と第６閾値との大小関係の判定結果を制御部２４０に対して出力する。例えば、第６閾値は、「４」である。つまり、判定部２３０では、第２モードに対応するコマンドが手の往復運動に応じて実行されるものである場合に、往復運動の折り返しの発生の回数が「４」回より多いか又は少ないかの判定が行なわれる。これは、第１モードに対応する手の払いによるカーソル移動と、第２モードに対応する手の往復運動によるコマンドとが、類似したジェスチャであることに起因する。

制御部２４０は、判定部２３０による判定結果を受け付けて、回数が第６閾値未満である場合に第１モードを選択し、回数が第６閾値以上である場合に第２モードを選択する。また、制御部２４０は、選択した第１モード或いは第２モードそれぞれにおいて、ユーザのジェスチャに応じて表示部１に表示する画面の表示処理を制御する。つまり、第２の実施形態では、手の往復運動に応じて第２モードに対応するコマンドが実行される場合に、第１モードと第２モードとの何れかを選択する処理において、両方のモードが選択されるのを抑止する効果がある。

図２６は、ジェスチャの類似について説明する図である。例えば、図２６の上段に示すように、画面３０には、複数のアプリケーションのアイコンが表示されている。このとき、カーソル３１によりアプリケーション３２がフォーカスされている状態、すなわちアプリケーション３２が選択されている状態において、手の往復運動が行なわれた場合には、図２６の下段左方と、図２６の下段右方とに示す認識結果となってしまう。

具体的には、図２６の下段左方では、右方向への連続的な手の払いに伴って左右方向に手が移動したことにより、画面３３においてカーソル３１が右方向に移動し、アプリケーション３４が選択された状態となる。また、図２６の下段右方では、手の往復運動によって左右方向に手が移動したことにより、画面３５においてアプリケーション３２が起動された状態となる。第２の実施形態では、手の往復運動に応じて第２モードに対応するコマンドが実行される場合に、第１モードと第２モードとの何れかを選択する処理において、両方のモードが選択される（図２６参照）のを抑止できる。以下に、第２の実施形態に係る各モードにおける画面の表示例を説明する。

図２７は、第２の実施形態に係る第１モードにおける画面の表示例を示す図である。図２７に示すように、右方向に手が払われたことにより、画面４０においてカーソル４１が右方向に移動する。このとき、カーソル４１を右方向に移動することを表す表示４２を画面に出力するようにしても良い。

図２８は、第２の実施形態に係る第２モードにおける画面の表示例を示す図である。図２８に示すように、画面５０でカーソル５１によりアプリケーション５２がフォーカスされている状態において、左右方向に手が払われたことにより、アプリケーション５２が起動する。このとき、手のアイコンが左右に往復している（アプリケーション５２を起動する）ことを表す表示５３を画面に出力するようにしても良い。なお、表示５３については、進捗率が出力されている間に出力するようにしても良い。

次に、図２９を用いて、第２の実施形態に係る全体処理の流れを説明する。図２９は、第２の実施形態に係る全体処理の流れの例を示すフローチャートである。

図２９に示すように、取得部１１０によってユーザの手の位置が取得された場合に（ステップＳ６０１肯定）、算出部２２０は、ユーザの手の往復運動の折り返しの発生の回数を特徴量として算出する（ステップＳ６０２）。また、取得部１１０によってユーザの手の位置が取得されない場合に（ステップＳ６０１否定）、該位置の取得待ちの状態となる。

また、判定部２３０は、算出部２２０によって算出された回数と第６閾値との大小関係を比較する（ステップＳ６０３）。このとき、判定部２３０によって回数が第６閾値未満であると判定された場合に（ステップＳ６０４肯定）、制御部２４０は、第１モードを選択する（ステップＳ６０５）。一方、判定部２３０によって回数が第６閾値以上であると判定された場合に（ステップＳ６０４否定）、制御部２４０は、第２モードを選択する（ステップＳ６０６）。

本実施形態によれば、第１モードと第２モードとで認識されるジェスチャが類似する場合に、手の往復運動等を検出することによりモードを切り分けるので、両方のモードが同時に選択されるのを抑止することができる。

（第３の実施形態）
さて、これまで認識装置の実施形態について説明したが、上述した実施形態以外にも種々の異なる形態にて実施されて良い。そこで、（１）特定部位の位置、（２）特徴量、（３）暫定表示、（４）移行中であることのユーザへの報知、（５）閾値の補正、（６）類似するジェスチャ、（７）認識結果の出力、（８）その他適用例、（９）ハードウェア構成、について異なる実施形態を説明する。

（１）特定部位の位置
上記実施形態では、カメラによって撮像された時系列の画像に対して、被写体であるユーザの手や指等の特定部位を画像毎に検出して、時系列に追跡することにより、ユーザの特定部位の位置を時系列で取得する場合を説明した。かかる特定部位の位置は、被写体であるユーザの顔や最初に検出されたある部位のサイズによって正規化した座標値としても良い。また、特定部位の位置は、撮像画像上の位置に限られるものではなく、距離センサや複数の撮像素子から推定された奥行き情報を座標軸の１つとして利用しても良い。また、特定部位は、手や指等の他にも、頭、レーザポインタの発光部等でも良い。また、特定部位の位置を取得する取得部１１０による処理は、特開２００６−２６８８２５号公報で開示されているパターン認識法や、特許第３７７７６５０号公報で開示されている背景差分法等を利用して、ユーザの特定部位の位置を時系列で取得しても良い。

（２）特徴量
また、上記実施形態では、手の移動速度や手の往復運動の折り返しの発生の回数等を特徴量として利用する場合を説明した。手の移動速度「Ｖ」としての特徴量は、最も直近の位置から、直前の折り返し点或いは位置取得の開始点までの区間ベクトルの速さのうち最大のものを利用しても良い。さらに、特徴量は、移動加速度「α」としても良い。最新のベクトルの加速度を求める場合、移動加速度「α」は、時刻「Ｔ_８」に取得された最も直近の位置を「Ｐ_８」（図３参照）とし、時刻「Ｔ_７」に取得された前回の位置を「Ｐ_７」とし、時刻「Ｔ_６」に取得された前々回の位置を「Ｐ_６」としたときに、「[（Ｐ_８からＰ_７までの速さ）−（Ｐ_７からＰ_６までの速さ）]／（Ｔ_８−Ｔ_７）」により算出される。また、移動加速度「α」は、最も直近の位置から、直前の折り返し点或いは位置取得の開始点までの区間ベクトルの加速度のうち最大のものを利用しても良い。

また、特徴量は、特定部位の操作距離「Ｌ」、移動速度「Ｖ」、移動加速度「α」で表現される関数の値としても良い。操作距離「Ｌ」は、直前の折り返し点或いは位置取得の開始点から、最も直近の位置までのベクトルのユークリッド距離の和とする。特徴量を「Ｅ」とすると、「Ｅ＝Ｖ×Ｌ×α」のように単純に掛け合わせても良いし、重みを加えた掛け合わせ「Ｅ＝Ｖ×√Ｌ」としても良い。また、以下のように、条件に応じて変化する値としても良い。
Ｅ＝Ｖ（Ｌ≧閾値Ｌ１）
０（Ｌ＜閾値Ｌ１）

また、光源を有する光学ポインタ等を利用してジェスチャ操作を実行する形態のときには、例えば、加速度を特徴量として利用することもできる。もちろん、手によるジェスチャにおいても加速度を用いても良い。手によるジェスチャの場合、手がぶれることが多いため、光学ポインタによるジェスチャにおいて加速度を特徴量として利用すると、より精度が高い。

（３）暫定表示
また、上記実施形態では、特徴量や直前のモードに応じてカーソルを暫定表示する場合を説明した。暫定表示については、カーソルと図５に示したブロック矢印１７との両方を表示し、特徴量が第１閾値である場合に、第１モードに応じた表示０パーセントとし、第２モードに応じた表示１００パーセントとする割合で大きさや明度を変化させても良い。このとき、特徴量が第２閾値である場合には、第１モードに応じた表示１００パーセントとし、第２モードに応じた表示０パーセントとする割合で大きさや明度を変化させる。また、上記の割合でカーソルとブロック矢印１７とを、モーフィングさせても良い。

（４）移行中であることのユーザへの報知
また、上記実施形態では、カーソルを暫定表示することにより、モードが移行中であることをユーザに報知する場合を説明した。モードの移行に係るユーザへの報知は、現在何れのモードであるかを画面上の任意の位置に表示するようにしても良い。図３０及び図３１は、モードの移行に係るユーザへの報知の例を示す図である。図３０に示すように、「第１モード」、「移行中」、「第２モード」の何れかを点灯又は点滅させた表示とする。なお、図３０に示した「移行中」とは、カーソルの暫定表示が行なわれている状態を指す。

また、図３１に示すように、「第１モード」、「第２モードに移行中」、「第２モード」、「第１モードに移行中」の何れかを点灯又は点滅させた表示とする。なお、図３１に示した「第１モードに移行中」及び「第２モードに移行中」とは、それぞれ異なるカーソルの暫定表示が行なわれている状態を指す。具体的には、「第１モードに移行中」は「暫定表示Ｂ」に該当し、「第２モードに移行中」は「暫定表示Ａ」に該当する。

（５）閾値の補正
また、上記実施形態では、第１閾値よりも所定値だけ大きい値を第４閾値とし、第１閾値よりも所定値だけ小さい値を第５閾値として、モードに応じて補正した閾値を利用する場合を説明した。かかる閾値の補正については、上記とは逆の補正を行なった閾値を利用しても良い。具体的には、第１モードである場合に第１閾値よりも所定値だけ小さい第４閾値を利用し、第２モードである場合に第１閾値よりも所定値だけ大きい第５閾値を利用する。また、第１閾値だけでなく、第２閾値及び第３閾値についても同様に補正後の閾値を利用するようにしても良い。第２閾値及び第３閾値の補正については、第１閾値の補正で加えた又は引いた値と同一の値を加える又は引くことにしても良いし、「第４閾値／第１閾値」又は「第５閾値／第１閾値」の比を第２閾値及び第３閾値に掛けた値を利用しても良い。

また、閾値の補正については、ユーザに応じて閾値を変化させても良い。図３２は、第３の実施形態に係る識別部を追加した認識装置の構成例を示すブロック図である。図３２に示すように、認識装置１００ｆは、取得部１１０と、算出部１２０と、判定部１３０ｆと、制御部１４０と、識別部１７０ｆとを有する。また、第１の実施形態と同様に、認識装置１００ｆは、表示部１に接続されている。図３２では、第１の実施形態と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。図３２では、以下に示す判定部１３０ｆ、識別部１７０ｆ以外の各部の機能及び構成、処理については第１の実施形態と同様である。

認識装置１００ｆでは、ユーザの過去の操作履歴からジェスチャを行なうときの手の振りの大きさや移動速度等について、ユーザごとに平均値を求めておく。識別部１７０ｆは、被写体であるユーザを識別する。例えば、識別部１７０ｆは、カメラ１１によって撮像された映像からジェスチャを行なったユーザの顔認証を行ない、識別結果を判定部１３０ｆに対して出力する。なお、ユーザの識別については、顔認証ではなく、指紋認証等のユーザを識別可能な任意の手法を利用すれば良い。

判定部１３０ｆは、識別部１７０ｆからユーザの識別結果を受け付けた場合に、該ユーザに対応する手の移動速度の平均値と、想定された標準の手の移動速度との比率から、第１閾値の値を補正する。そして、判定部１３０ｆは、算出部１２０によって算出された手の移動速度を特徴量として、手の移動速度と補正後の第１閾値との大小関係を判定する。その後、判定部１３０ｆは、手の移動速度と補正後の第１閾値との大小関係の判定結果を制御部１４０に対して出力する。なお、閾値の補正は、第１閾値だけでなく第２閾値に対しても上記と同様に行なっても良い。

また、閾値の補正については、特定部位の形状を利用して閾値を変化させても良い。図３３は、第３の実施形態に係る形状認識部を追加した認識装置の構成例を示すブロック図である。図３３に示すように、認識装置１００ｇは、取得部１１０と、算出部１２０と、判定部１３０ｇと、制御部１４０と、形状認識部１８０ｇとを有する。また、第１の実施形態と同様に、認識装置１００ｇは、表示部１に接続されている。図３３では、第１の実施形態と同様の構成については同一の符号を付し、同様の構成については詳細な説明を省略する場合がある。図３３では、以下に示す判定部１３０ｇ、形状認識部１８０ｇ以外の各部の機能及び構成、処理については第１の実施形態と同様である。

認識装置１００ｇでは、モード選択の精度向上のために、手や指等の特定部位の形状を利用して閾値を補正する。形状認識部１８０ｇは、手や指等の特定部位の形状を認識する。例えば、形状認識部１８０ｇは、カメラ１１によって撮像された映像から、ジェスチャを行なったユーザの手のひらの形状の認識を行ない、認識結果を判定部１３０ｇに対して出力する。

判定部１３０ｇは、形状認識部１８０ｇから手のひらの形状の認識結果を受け付けた場合に、認識結果である手のひらの形状と、所定形状との一致度合いを算出し、一致度合いが所定の一致度よりも大きい場合に、第１閾値を所定値だけ大きくする。また、判定部１３０ｇは、一致度合いが所定の一致度よりも小さい場合に、第１閾値を所定値だけ小さくする。そして、判定部１３０ｇは、算出部１２０によって算出された手の移動速度と、補正後の第１閾値との大小関係を判定する。その後、判定部１３０ｇは、手の移動速度と補正後の第１閾値との大小関係の判定結果を制御部１４０に対して出力する。なお、閾値の補正は、第１閾値だけでなく第２閾値に対しても上記と同様に行なっても良い。つまり、ジェスチャを行なう特定部位の形状と所定形状との一致度が高ければ、カーソル移動を行なうような動きの少ない簡易なジェスチャが多い第１モードに応じたジェスチャを行なっている可能性が高い。このため、一致度が高い場合には、第１モードとして判定されやすくするために、第１閾値よりも所定値だけ大きな閾値を利用する。

（６）類似するジェスチャ
また、上記実施形態では、所定時間以内における手の往復運動の折り返しの発生の回数を特徴量として、類似するジェスチャについても好適にモードを選択する場合を説明した。かかる特徴量としては、特定部位の移動ベクトルと所定の座標軸ベクトルとの内積の符号が、過去の所定時間内に切り替わった動きの回数を利用しても良い。例えば、図３の例で説明すると、「Ｐ_１」から「Ｐ_８」までを過去の時間を所定時間内とする場合に、算出部２２０は、「Ｐ_１」から「Ｐ_８」それぞれの移動ベクトルと、固定の座標軸ベクトルとの内積を求める。図３の例では、「Ｐ_１」から「Ｐ_３」までが左方向、「Ｐ_３」から「Ｐ_６」までが右方向、「Ｐ_６」から「Ｐ_８」までが左方向のベクトルとなっている。このため、移動ベクトルそれぞれと固定の座標軸ベクトルとの内積の符号は、「正」、「負」、「正」若しくは「負」、「正」、「負」の順で切り替わる。これにより、図３の例では、回数は「２」となる。なお、判定部２３０や制御部２４０による処理については、上記実施形態と同様である。

また、手の往復運動の行き帰りの距離がより短ければ、第２モードに応じたジェスチャを行なっていることが多いと考えられる。このため、特徴量の算出においては、移動ベクトルと所定の座標軸ベクトルとの内積の符号の切り替わりから、次の切り替わりまでの距離が所定スカラー以内となる手の往復運動であることを条件として加える。例えば、図３の例で説明すると、算出部２２０は、「Ｐ_１」から「Ｐ_３」、「Ｐ_３」から「Ｐ_６」、「Ｐ_６」から「Ｐ_８」のそれぞれの距離が所定スカラー以内であれば、内積の符号の切り替わり回数を全てカウントして特徴量として算出する。

（７）認識結果の出力
また、上記実施形態では、第１認識部１５０ｄや第２認識部１６０ｄ等によってジェスチャの認識結果が出力される場合を説明した。第１モードの認識方法によっては、コマンドが確定するまでの間に進捗率を出力しても良い。また、第２モードの認識方法でも、手の往復動作であると確定するまでの間、すなわち所定時間内に手の往復動作が継続している間に、進捗率を出力しても良い。第１モードで第１認識部１５０ｄによる進捗率の出力が継続している間は、第２モードに移行したとしても、第１認識部１５０ｄによる認識結果を出力しても良い。これは、第２モードについても同様に、第２モードで第２認識部１６０ｄによる進捗率の出力が継続している間は、第１モードに移行したとしても、第２認識部１６０ｄによる認識結果を出力しても良い。つまり、第１認識部１５０ｄ及び第２認識部１６０ｄの両方からの認識結果が出力されている状態となる。この状態であるときには、例えば、一方で進捗率が「０．８」以上になった場合に、もう一方の認識結果を出力しないようにしても良い。

（８）その他適用例
また、上記実施形態では、認識装置をＰＣ等の情報処理装置に適用する場合を説明した。認識装置は、その適用がＰＣに限られるわけではなく、種々の機器に適用することができる。図３４は、認識装置をテレビ受像機に適用する例を説明する図である。図３４に示すテレビ受像機６０には、カメラ６１が搭載されており、テレビ受像機６０の視聴者を撮像している。テレビ受像機６０は、視聴者の手６２を特定部位として検出及び追跡し、手６２のジェスチャを認識する。テレビ画面６３には、現在「チャンネル４」が表示されている。視聴者は、手６２を左方向に動かすジェスチャを行なうことにより、「チャンネル３」へ変更させることができ、手６２を右方向に動かすジェスチャを行なうことにより、「チャンネル５」へ変更させることができる。

図３５は、認識装置を医療用の情報端末に適用する例を説明する図である。図３５に示す情報端末７０は、上記実施形態の何れかの認識装置が搭載されており、手術中の医者への情報提供に用いられる。手術中の医者は、手７１を清潔に保つことが好ましいため、医者に患者のモニタリング情報や検査結果等の情報提供を行なう情報端末７０に手７１を直接触れることは困難である。そこで、情報端末７０に上記実施形態の何れかの認識装置を適用することにより、医者が手７１のジェスチャによって非接触で情報端末７０の操作を可能とする。情報端末７０には、カメラ７２が搭載されており、医者を撮像している。情報端末７０は、医者の手７１を特定部位として検出及び追跡してジェスチャを認識し、情報端末７０に対して検出されたジェスチャの方向へスクロールさせるためのコマンドや、表示情報を変更するためのコマンド等を実行する。

なお、認識装置の適用については、ＰＣ、テレビ受像機、医療用の情報端末に限られるわけではなく、ゲーム機器等、他の機器に適用することもできる。つまり、ユーザがリモートコントローラ、センサ、マーカ等を持ったり、身につけたりすることなく、機器を容易に操作するジェスチャインタフェースに関し、機器制御のためのメニューや機器に表示されたコンテンツ等の切り替えの操作を行なうことができる機器に応用できる。

（９）ハードウェア構成
図３６は、認識プログラムがコンピュータを用いて実現されることを示す図である。図３６に示すように、認識装置としてのコンピュータ１０００は、バス１００９で接続された、ＣＰＵ１００１等の制御装置と、ＲＯＭ１００２やＲＡＭ１００３等の記憶装置と、ＨＤＤ（Hard Disk Drive）１００４、ディスクドライブ１００５等の外部記憶装置と、ディスプレイ１００６等の表示装置と、キーボード１００７やマウス１００８等の入力装置を備えており、通常のコンピュータを利用したハードウェア構成となっている。

認識装置で実行される認識プログラムは、一つの様態として、インストール可能な形式又は実行可能な形式のファイルでＣＤ−ＲＯＭ、フレキシブルディスク（ＦＤ）、ＣＤ−Ｒ、ＤＶＤ（Digital Versatile Disk）等のコンピュータで読み取り可能な記録媒体に記録されて提供される。また、認識装置で実行される認識プログラムを、インターネット等のネットワークに接続されたコンピュータ上に格納し、ネットワーク経由でダウンロードさせることにより提供するように構成しても良い。また、認識装置で実行される認識プログラムをインターネット等のネットワーク経由で提供又は配布するように構成しても良い。また、認識プログラムを、ＲＯＭ等に予め組み込んで提供するように構成しても良い。

認識装置で実行される認識プログラムは、上述した各部（取得部１１０、算出部１２０、判定部１３０、制御部１４０）を含むモジュール構成となっており、実際のハードウェアとしてはＣＰＵ（プロセッサ）が記憶媒体から認識プログラムを読み出して実行することにより、上記各部が主記憶装置上にロードされ、取得部１１０、算出部１２０、判定部１３０、制御部１４０が主記憶装置上に生成されるようになっている。

また、上述してきた実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。また、各実施形態は、内容を矛盾させない範囲で適宜組み合わせることが可能である。また、各実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００認識装置
１１０取得部
１２０算出部
１３０判定部
１４０制御部

Claims

被写体の特定部位の位置を時系列で取得する取得部と、
時系列で取得される前記位置から、前記特定部位の動きの特徴量を算出する算出部と、
算出された前記特徴量と第１閾値との大小関係、及び、算出された前記特徴量と前記第１閾値よりも小さい第２閾値との大小関係を判定する判定部と、
前記特徴量が前記第２閾値以上且つ前記第１閾値未満である場合に、前記特定部位の位置又は動きの認識方法が切り替えられる可能性があることを報知するための表示処理を制御する制御部と
を有する認識装置。
前記判定部は、前記特徴量と前記第１閾値よりも大きい第３閾値との大小関係をさらに判定し、
前記制御部は、前記特徴量が前記第１閾値以上且つ前記第３閾値未満である場合に、前記特徴量が前記第１閾値未満である場合に選択される前記認識方法である第１方法とは異なる第２方法を選択する請求項１に記載の認識装置。
前記制御部は、前記特徴量に応じて、表示部に表示するオブジェクトの透明度、明るさ、点滅速度及び飛び出し量の少なくとも一つを増減させて、前記表示部に表示する画面の表示処理を制御する請求項１又は２に記載の認識装置。
前記制御部は、前記特徴量が前記第１閾値のときに、前記特徴量が前記第１閾値未満である場合に選択される前記認識方法である第１方法に対応して表示部に表示するオブジェクトの形状変化を０割、且つ、前記特徴量が前記第１閾値以上である場合に選択され、前記第１方法とは異なる前記認識方法である第２方法に対応して前記表示部に表示するオブジェクトの形状変化を１０割とする割合で前記表示部に表示する画面の表示処理を制御し、前記特徴量が前記第２閾値のときに前記第１方法に対応して前記表示部に表示するオブジェクトの形状変化を１０割、且つ、前記第２方法に対応して前記表示部に表示するオブジェクトの形状変化を０割とする割合で、前記表示部に表示する画面の表示処理を制御する請求項１〜３の何れか一つに記載の認識装置。
前記特徴量が前記第１閾値未満である場合に選択される前記認識方法である第１方法によって、前記取得部によって時系列で取得された前記位置から、前記特定部位の位置又は動きを認識する第１認識部と、
前記特徴量が前記第１閾値以上である場合に選択され、前記第１方法とは異なる前記認識方法である第２方法によって、前記取得部によって時系列で取得された前記位置から、前記特定部位の位置又は動きを認識する第２認識部と
をさらに有し、
前記制御部は、前記第１方法を選択した場合は前記第１認識部による認識結果に応じて表示部に表示する画面の表示処理を制御し、前記第２方法を選択した場合は前記第２認識部による認識結果に応じて前記表示部に表示する画面の表示処理を制御する請求項１に記載の認識装置。
前記判定部による判定結果に応じて前記取得部によって時系列で取得された前記位置を取得し、前記特徴量が前記第１閾値未満である場合に選択される前記認識方法である第１方法によって、取得した前記位置から前記特定部位の位置又は動きを認識する第１認識部と、
前記判定部による判定結果に応じて前記取得部によって時系列で取得された前記位置を取得し、前記特徴量が前記第１閾値以上である場合に選択され、前記第１方法とは異なる前記認識方法である第２方法によって、取得した前記位置から前記特定部位の位置又は動きを認識する第２認識部と
をさらに有し、
前記第１認識部及び前記第２認識部による認識は、どちらか一方のみが実行されるものであって、
前記制御部は、前記第１認識部による認識が実行された場合は前記第１認識部による認識結果に応じて表示部に表示する画面の表示処理を制御し、前記第２認識部による認識が実行された場合は前記第２認識部による認識結果に応じて前記表示部に表示する画面の表示処理を制御する請求項１に記載の認識装置。
前記制御部は、前記特徴量が前記第１閾値未満である場合に選択される前記認識方法である第１方法が選択されている時に前記特徴量が前記第１閾値以上である状態が所定時間以上続いた場合に、前記第１方法とは異なる前記認識方法である第２方法を選択する請求項１に記載の認識装置。
前記制御部は、前記特徴量が前記第１閾値以上である場合に選択される前記認識方法である第２方法が選択されている時に前記特徴量が前記第１閾値未満である状態が所定時間以上続いた場合に、前記第２方法とは異なる前記認識方法である第１方法を選択する請求項１に記載の認識装置。
前記制御部は、前記特徴量が前記第１閾値未満である場合に選択される前記認識方法である第１方法が選択されている時に前記特徴量が前記第１閾値よりも所定値大きい値である第４閾値以上である場合に、前記第１方法とは異なる前記認識方法である第２方法を選択する請求項１に記載の認識装置。
前記制御部は、前記特徴量が前記第１閾値以上である場合に選択される前記認識方法である第２方法が選択されている時に前記特徴量が前記第１閾値よりも所定値小さい値である第５閾値未満である場合に、前記第２方法とは異なる前記認識方法である第１方法を選択する請求項１に記載の認識装置。
前記被写体であるユーザを識別する識別部をさらに有し、
前記判定部は、識別された前記ユーザに応じて値を増減した前記第１閾値、及び、識別された前記ユーザに応じて値を増減した前記第２閾値の少なくとも一つを利用して、前記特徴量との大小関係を判定する請求項１〜１０の何れか一つに記載の認識装置。
前記特定部位の形状を認識する形状認識部をさらに有し、
前記判定部は、認識された前記特定部位の形状と、所定形状との一致度合いに応じて値を増減した前記第１閾値、及び、前記一致度合いに応じて値を増減した前記第２閾値の少なくとも一つを利用して、前記特徴量との大小関係を判定する請求項１〜１０の何れか一つに記載の認識装置。
前記算出部は、前記特定部位の移動の距離、速さ及び加速度のうち少なくとも一つを前記特徴量として算出する請求項１に記載の認識装置。
前記制御部は、前記特徴量が前記第１閾値以上である場合に選択される前記認識方法である第２方法が選択されている時に前記特徴量である前記移動の距離が所定時間以上継続して所定範囲内である場合に、前記第２方法とは異なる前記認識方法である第１方法を選択する請求項１３に記載の認識装置。
被写体の特定部位の位置を時系列で取得する取得部と、
前記特定部位の移動ベクトルと所定の座標軸ベクトルとの内積の符号の切り替わりから、次の切り替わりまでの位置間の距離が、所定スカラー以内となる前記特定部位の動きとする条件において、時系列で取得される前記位置から、前記移動ベクトルと前記所定の座標軸ベクトルとの内積の符号の切り替わりから、次の切り替わりまでの時間が所定時間内となる動きが連続して発生する回数を算出する算出部と、
算出された前記回数と第６閾値との大小関係を判定する判定部と、
前記回数が前記第６閾値未満である場合に、前記特定部位の位置又は動きの認識方法である第１方法を選択し、前記回数が前記第６閾値以上である場合に、前記第１方法とは異なる認識方法である第２方法を選択する制御部と
を有する認識装置。
被写体の特定部位の位置を時系列で取得する取得部と、
前記特定部位の移動ベクトルと所定の座標軸ベクトルとの内積の符号の切り替わりから、次の切り替わりまでの位置間の距離が、所定スカラー以内となる前記特定部位の動きとする条件において、時系列で取得される前記位置から、前記移動ベクトルと前記所定の座標軸ベクトルとの内積の符号が、過去の所定時間内に切り替わった動きの回数を算出する算出部と、
算出された前記回数と第６閾値との大小関係を判定する判定部と、
前記回数が前記第６閾値未満である場合に、前記特定部位の位置又は動きの認識方法である第１方法を選択し、前記回数が前記第６閾値以上である場合に、前記第１方法とは異なる認識方法である第２方法を選択する制御部と
を有する認識装置。