WO2016167331A1 - ジェスチャー認識装置、ジェスチャー認識方法、及び情報処理装置 - Google Patents

Abstract

ユーザーのジェスチャーを迅速に認識することができるジェスチャー認識装置、ジェスチャー認識方法、及び情報処理装置を提供する。ジェスチャー認識装置（１）は、ユーザーの身体部位の検出及び追跡を行って得られた身体部位動作情報を生成する動作情報生成部（１０）と、生成された身体部位動作情報と予め記憶されているジェスチャー事前動作モデル情報（ＰＧＭ）とを比較する第１の比較を行い、この結果に基づいてジェスチャー事前動作（ＰＧ）についての予測結果（ＰＧＲ）を生成する予測処理部（２０）と、生成された身体部位動作情報と予め記憶されているジェスチャーモデル情報（ＧＭ）とを比較する第２の比較を行い、前記予測結果（ＰＧＲ）と第２の比較の結果とに基づいて、検出された身体部位の動作が示すジェスチャーの認識結果（ＧＲ）を生成する認識処理部（３０）とを有する。

Description

ジェスチャー認識装置、ジェスチャー認識方法、及び情報処理装置

　本発明は、ユーザーのジェスチャーを迅速に認識するジェスチャー認識装置及びジェスチャー認識方法、並びに、前記ジェスチャー認識装置を含む情報処理装置に関するものである。

　近年、ユーザーの身体の動き及び形状（ジェスチャー）によって機器を操作するジェスチャーＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）が、様々な機器に採用されている。ジェスチャーＵＩは、ゲームエンターテインメント機器に多く採用されているが、最近は、放送受信機、ＰＣ（Ｐｅｒｓｏｎａｌ　Ｃｏｍｐｕｔｅｒ）、カーナビゲーションシステム、及び情報通信端末等、のような各種の機器に採用されている。

　ジェスチャーＵＩは、機器を操作するために、ユーザーのジェスチャーを利用する。ジェスチャーＵＩが認識するジェスチャーには、例えば、ユーザーの身体の一部の動き及び形状（手の動き及び形状、指の動き及び形状等）とユーザーの身体全体の動き及び形状が含まれる。ジェスチャーＵＩは、カメラ等の撮像装置を通じてユーザーの撮像データ（画像データ）を取得し、複数フレームのフレーム画像（撮像データ）からユーザーのジェスチャーを認識し、認識されたジェスチャーに応じた情報をユーザー操作入力信号（制御信号）として機器（制御対象）に送信する。ジェスチャーＵＩを採用する機器では、ユーザーのジェスチャーに応じて機器の動作が制御されるので、ユーザーは優れた操作性を感じることができる。

　特許文献１は、ユーザーの手が、ある方向にある速度以上で動き始めたこと、ユーザーの手の動きが継続されていること、及び、ユーザーの手の動きが停止するか又はユーザーの手の動きが逆方向の動きに切り替わること、を検出し、その後、ユーザーが実行したジェスチャー（例えば、「スワイプ」と呼ばれる、ある方向に手を振る動作）の認識処理を開始することを記載している。

国際公開第２０１０／０９５２０４号

　しかしながら、特許文献１に記載の方法は、ジェスチャーの開始、ジェスチャーの継続、及び、ジェスチャーの完了を検出した後に、ジェスチャーの認識処理を開始し、この認識処理の完了後に、制御対象機器は、ジェスチャーの認識処理の結果に基づく処理（例えば、表示画面の切替え）を実行する。このように、従来は、ユーザーのジェスチャーが完了した後に、ジェスチャーの認識処理を開始するので、ジェスチャーの開始から制御対象機器における処理の実行開始までの時間が長いという問題があった。言い替えれば、ユーザーのジェスチャーによる入力操作に対する制御対象機器の動作の反応が遅いという問題があった。

　そこで、本発明は、上記従来技術の課題を解決するためになされたものであり、ユーザーのジェスチャーを迅速に認識することができるジェスチャー認識装置及びジェスチャー認識方法、並びに、前記ジェスチャー認識装置を含む情報処理装置を提供することを目的とする。

　本発明に係るジェスチャー認識装置は、ユーザーを撮影して取得された複数フレームの撮像データの各々において、前記ユーザーの身体部位の検出及び追跡を行って得られた前記身体部位の動作から身体部位動作情報を生成する動作情報生成部と、ジェスチャーの直前に行われるジェスチャー事前動作についてのユーザーの身体部位の基準動作を示すジェスチャー事前動作モデル情報を予め記憶し、前記動作情報生成部によって生成された前記身体部位動作情報と前記ジェスチャー事前動作モデル情報とを比較する第１の比較を行い、前記第１の比較の結果に基づいて、前記動作情報生成部によって検出された前記身体部位の動作が示すジェスチャー事前動作についての予測結果を生成する予測処理部と、ジェスチャー中におけるユーザーの身体部位の基準動作を示すジェスチャーモデル情報を予め記憶し、前記動作情報生成部によって生成された前記身体部位動作情報と前記ジェスチャーモデル情報とを比較する第２の比較を行い、前記予測結果と前記第２の比較の結果とに基づいて、前記動作情報生成部によって検出された前記身体部位の動作が示すジェスチャーの認識結果を生成する認識処理部と、を有することを特徴とする。

　また、本発明に係るジェスチャー認識方法は、ジェスチャーの直前に行われるジェスチャー事前動作についてのユーザーの身体部位の基準動作を示すジェスチャー事前動作モデル情報とジェスチャー中におけるユーザーの身体部位の基準動作を示すジェスチャーモデル情報とを予め記憶するジェスチャー認識装置が行うジェスチャー認識方法であって、ユーザーを撮影して取得された複数フレームの撮像データの各々において、前記ユーザーの身体部位の検出及び追跡を行って得られた前記身体部位の動作から身体部位動作情報を生成する動作情報生成ステップと、前記動作情報生成ステップにおいて生成された前記身体部位動作情報と前記ジェスチャー事前動作モデル情報とを比較する第１の比較を行い、前記第１の比較の結果に基づいて、前記動作情報生成ステップにおいて検出された前記身体部位の動作が示すジェスチャー事前動作についての予測結果を生成する予測処理ステップと、前記動作情報生成ステップにおいて生成された前記身体部位動作情報と前記ジェスチャーモデル情報とを比較する第２の比較を行い、前記予測結果と前記第２の比較の結果とに基づいて、前記動作情報生成ステップにおいて検出された前記身体部位の動作が示すジェスチャーの認識結果を生成する認識処理ステップと、を有することを特徴とする。

　また、本発明に係る情報処理装置は、上記ジェスチャー認識装置と、前記ジェスチャー認識装置に前記撮像データを送信する撮像装置と、前記ジェスチャーの認識結果に応じて制御される制御対象機器と、を有することを特徴とする。

　本発明においては、ジェスチャーの開始の直前に実行されるジェスチャー事前動作から、ジェスチャー事前動作に続いて実行されるジェスチャーを予測し、この予測の結果を用いてジェスチャーの認識処理を実行する。このため、本発明においては、ジェスチャーの開始前の時点からジェスチャーの認識処理を開始すること、及び、ジェスチャーの完了前の時点でジェスチャーの認識処理を完了することが可能である。よって、本発明によれば、ジェスチャーの開始からジェスチャーに応じた制御信号の出力までの時間を短縮することができ、その結果、ジェスチャーの開始から制御対象機器の動作の開始までの時間を短縮することができる。

本発明が適用可能な情報処理装置の構成の一例を示す概略図である。 本発明が適用可能な情報処理装置の構成の他の例を示す概略図である。 本発明の実施の形態１に係るジェスチャー認識装置の構成を概略的に示すブロック図である。 実施の形態１に係るジェスチャー認識装置における身体部位検出フェーズを示すフローチャートである。 実施の形態１に係るジェスチャー認識装置における身体部位追跡フェーズを示すフローチャートである。 実施の形態１に係るジェスチャー認識装置におけるジェスチャー予測フェーズを示すフローチャートである。 実施の形態１に係るジェスチャー認識装置におけるジェスチャー識別フェーズを示すフローチャートである。 （ａ）及び（ｂ）は、実施の形態１に係るジェスチャー認識装置における身体部位検出処理（身体部位検出フェーズ）の一例を示す図である。 （ａ）から（ｆ）は、実施の形態１に係るジェスチャー認識装置における身体部位追跡処理（身体部位追跡フェーズ）の一例を示す図である。 実施の形態１に係るジェスチャー認識装置で扱われる身体部位動作情報の一例を示す図である。 （ａ）から（ｆ）は、実施の形態１に係るジェスチャー認識装置が検出するジェスチャー事前動作の一例を示す図である。 実施の形態１に係るジェスチャー認識装置が予め記憶しているジェスチャー事前動作モデル情報の一例を示す図である。 （ａ）から（ｆ）は、実施の形態１に係るジェスチャー認識装置が検出するジェスチャー事前動作の一例を示す図であり、（ｇ）から（ｋ）は、実施の形態１に係るジェスチャー認識装置が検出するジェスチャーの一例を示す図である。 実施の形態１に係るジェスチャー認識装置におけるジェスチャー事前動作の開始時点、ジェスチャー事前動作の終了時点（ジェスチャーの開始時点）、ジェスチャーの完了時点、及びジェスチャー認識処理の完了時点を時間軸上に示す図である。 （ａ）から（ｆ）は、実施の形態１に係るジェスチャー認識装置が検出するジェスチャーの直前のジェスチャー事前動作の他の例（左手の手のひらを開いた状態を作る例）を示す図である。 （ａ）から（ｆ）は、実施の形態１に係るジェスチャー認識装置が検出するジェスチャーの直前のジェスチャー事前動作のさらに他の例（左手の１本の指を突き出した状態を作る例）を示す図である。 本発明の実施の形態２に係るジェスチャー認識装置の構成を概略的に示すブロック図である。 本発明の実施の形態３に係るジェスチャー認識装置の構成を概略的に示すブロック図である。 本発明の実施の形態１から３の変形例を示すハードウェア構成図である。

　図１は、本発明が適用可能な情報処理装置の構成の一例を概略的に示す図である。図１に示される情報処理装置は、ジェスチャー認識装置１と、ジェスチャー認識装置１に接続された撮像装置としてのカメラ４と、ジェスチャー認識装置１に接続された画像表示部としてのディスプレイ５とを備える。図１においては、ジェスチャー認識装置１とカメラ４とによって、ジェスチャーＵＩが構成される。ジェスチャー認識装置１は、ユーザーＵを撮影するカメラ４で生成された複数フレームのフレーム画像（撮像データ）を用いて、ユーザーＵが実行したジェスチャー事前動作（ジェスチャー予備動作）ＰＧ及びジェスチャーを認識し、ディスプレイ５は、この認識の結果に応じた画像表示を行う。図１の情報処理装置は、ジェスチャー認識装置１として、以下に説明する実施の形態１から３及び変形例におけるジェスチャー認識装置を採用することができる。

　図２は、本発明が適用可能な情報処理装置の構成の他の例を概略的に示す図である。図２に示される情報処理装置は、画像表示部としてのディスプレイを有するジェスチャー認識装置７と、ジェスチャー認識装置７に接続された撮像装置としてのカメラ４とを備える。図２においては、ジェスチャー認識装置７とカメラ４とによって、ジェスチャーＵＩが構成される。ジェスチャー認識装置７は、ユーザーＵを撮影するカメラ４で生成された複数フレームのフレーム画像（撮像データ）を用いて、ユーザーＵが実行したジェスチャー事前動作ＰＧ及びジェスチャーを認識し、ディスプレイは、この認識の結果に応じた画像表示を行う。図２の情報処理装置は、ジェスチャー認識装置７がディスプレイを有している点を除いて、図１の情報処理装置と同じである。

実施の形態１．
　図３は、本発明の実施の形態１に係るジェスチャー認識装置１の構成を概略的に示すブロック図である。ジェスチャー認識装置１は、実施の形態１に係るジェスチャー認識方法を実施することができる装置である。実施の形態１においては、図１に示されるカメラ４及び表示制御部５１が、ジェスチャー認識装置１に接続されており、表示情報記憶部５２及び制御対象機器としてのディスプレイ５が、表示制御部５１を経由してジェスチャー認識装置１に接続されている。図３には、ジェスチャー認識装置１を含む情報処理装置が示されている。

　図３に示されるように、ジェスチャー認識装置１は、ユーザーが実行するジェスチャーを識別（特定）し、ジェスチャーに対応する信号（制御信号）を出力する装置である。図３に示されるように、ジェスチャー認識装置１は、動作情報生成部１０と、予測処理部２０と、認識処理部３０とを備える。また、ジェスチャー認識装置１は、ユーザーが実行するジェスチャーに基づく信号を、制御対象機器としてのディスプレイ５の表示制御部５１に送信する機器制御部４１を備える。

　動作情報生成部１０は、カメラ４によりユーザーを撮影して取得された複数フレームのフレーム画像データ（「フレーム画像」又は「撮像データ」とも言う。）の各々において、ユーザーの身体部位の検出及び追跡を行って得られた身体部位の動作から身体部位動作情報を生成する。

　予測処理部２０は、ジェスチャーの直前に行われるジェスチャー事前動作ＰＧにおけるユーザーの身体部位の動作を示すジェスチャー事前動作モデル情報ＰＧＭを予め記憶する。予測処理部２０は、動作情報生成部１０によって生成された身体部位動作情報とジェスチャー事前動作モデル情報ＰＧＭとを比較する第１の比較を行い、第１の比較の結果に基づいて、動作情報生成部１０によって検出された身体部位の動作が示すジェスチャー事前動作ＰＧを識別（特定）する。予測処理部２０は、ジェスチャーの直前に行われるジェスチャー事前動作ＰＧを識別することによって、ジェスチャーの開始時点（後述する図１４の時刻ｔ２）の前に、行われると予測されるジェスチャーを、予測することができる。機器制御部４１は、予測処理部２０によってジェスチャー事前動作ＰＧが識別された場合には、その後、行われると予測されるジェスチャーに応じた制御信号を出力することができる。

　認識処理部３０は、ジェスチャー中におけるユーザーの身体部位の動作を示すジェスチャーモデル情報ＧＭを予め記憶する。認識処理部３０は、動作情報生成部１０によって生成された身体部位動作情報とジェスチャーモデル情報ＧＭとを比較する第２の比較を行い、第２の比較の結果に基づいて、動作情報生成部１０によって検出された身体部位の動作が示すジェスチャーを特定する。機器制御部４１は、認識処理部３０によってジェスチャーが特定された場合には、特定されたジェスチャーに応じた制御信号を出力する。ジェスチャーの直前に行われるジェスチャー事前動作ＰＧを識別することができた場合、認識処理部３０は、予測されたジェスチャーに応じた処理を早い時点で開始することができ（後述する図１４の時刻ｔ２よりも前）、ジェスチャーの認識処理を早い時点（後述する図１４の時刻ｔ３）で完了することができる。

　図３において、動作情報生成部１０は、例えば、撮像制御部１１と、撮像データ記憶部１２と、身体部位検出部１３と、身体部位追跡部１４と、身体部位動作情報生成部１５と、身体部位動作情報記憶部１６とを有する。図３において、予測処理部２０は、例えば、ジェスチャー事前動作モデル記憶部（第１の記憶部）２１と、ジェスチャー事前動作予測部２２と、ジェスチャー事前動作予測結果記憶部２３とを有する。図３において、認識処理部３０は、例えば、ジェスチャー認識部３１と、ジェスチャーモデル記憶部（第２の記憶部）３２とを有する。図３に示される情報処理装置においては、ジェスチャー認識装置１に、カメラ４、ディスプレイ５、表示制御部５１、及び表示情報記憶部５２が接続されている。ディスプレイ５、表示制御部５１、及び表示情報記憶部５２は、表示装置を構成する。図には、１台のカメラ４が示されているが、複数台のカメラが接続されてもよい。

　実施の形態１においては、カメラ４で撮像することによって取得された撮像データであるフレーム画像ＦＩに含まれる１人のユーザーＵに関して、身体部位として左手を検出し、左手の動作からユーザーが実行したジェスチャーを識別（認識）する。左手の検出は、例えば、手のひら領域の重心位置の検出又は指先位置の検出などのように、左手の特定の位置の検出である。実施の形態１においては、ジェスチャー認識装置１が認識するジェスチャーが、左手で行う「右スワイプ」と呼ばれるジェスチャーである場合を説明する。「右スワイプ」とは、ユーザーが手（又は腕）を右方向に振る動作である。この場合の「右方向」は、ユーザーＵがカメラ４に向かって「右」の方向である。したがって、ユーザーＵが左手を右方向に振る「右スワイプ」を実行する様子をカメラ４で撮像し、時系列順に複数フレームのフレーム画像ＦＩを見た場合、複数のフレーム画像ＦＩを見る人は、ディスプレイ上でユーザーＵの手が、ディスプレイを見る人の左方向に動く映像を見る。

　カメラ４は、撮像制御部１１から撮像開始を示す制御信号を受信したときに、動画撮影（又は、連続した複数の静止画の撮像）を開始し、撮像制御部１１から撮像終了を示す制御信号を受信したときに、動画撮影（又は、連続した複数の静止画の撮像）を終了する。

　撮像制御部１１は、カメラ４に撮像開始又は撮像終了を示す制御信号を送信し、カメラ４の撮像によって得られた撮像データであるフレーム画像ＦＩを受信する。撮像データ記憶部１２は、撮像制御部１１から撮像データとしてのフレーム画像ＦＩを受け取り、フレーム画像ＦＩをそのフレーム番号ＦＮとともに記憶する。撮像データ記憶部１２に記憶されたフレーム画像ＦＩとフレーム番号ＦＮは、身体部位検出部１３及び身体部位追跡部１４によって読み出される。

　身体部位検出部１３は、撮像データ記憶部１２から、撮像データとしてのフレーム画像ＦＩとそのフレーム番号ＦＮとを取得する。身体部位検出部１３は、取得したフレーム画像ＦＩに含まれるユーザーの左手の座標ＬＨＰと、取得したフレーム画像ＦＩのフレーム番号ＦＮとを、身体部位動作情報記憶部１６に送信する。

　身体部位追跡部１４は、撮像データ記憶部１２からフレーム画像ＦＩとそのフレーム番号ＦＮとを読み出して取得する。また、身体部位追跡部１４は、身体部位動作情報記憶部１６から１フレーム前のフレーム画像ＦＩ（－１）における左手の座標ＬＨＰ（－１）を取得する。また、身体部位追跡部１４は、身体部位動作情報生成部１５に、１フレーム前のフレーム画像ＦＩ（－１）の左手の座標ＬＨＰ（－１）と、今回のフレーム画像ＦＩ（０）における左手の座標ＬＨＰ（０）とを、送信する。また、身体部位追跡部１４は、身体部位動作情報記憶部１６に、記憶している身体部位動作情報１５０を削除する制御信号を送信する。

　身体部位動作情報生成部１５は、身体部位追跡部１４から１フレーム前のフレーム画像ＦＩ（－１）における左手の座標ＬＨＰ（－１）と今回のフレーム画像ＦＩ（０）における左手の座標ＬＨＰ（０）とを取得し、身体部位動作情報１５０を身体部位動作情報記憶部１６に送信する。

　身体部位動作情報記憶部１６は、身体部位検出部１３から左手の座標ＬＨＰとフレーム番号ＦＮとを受け取り、これらを記憶する。また、身体部位動作情報記憶部１６は、身体部位動作情報生成部１５から身体部位動作情報１５０を受け取り、身体部位動作情報１５０を記憶する。身体部位動作情報記憶部１６に記憶されている１フレーム前のフレーム画像ＦＩ（－１）における左手の座標ＬＨＰ（－１）は、身体部位追跡部１４によって読み出される。また、身体部位動作情報記憶部１６は、身体部位追跡部１４から、記憶している身体部位動作情報１５０を削除する制御信号を受信し、このときに削除対象の情報を削除する。また、身体部位動作情報記憶部１６に記憶されている身体部位動作情報１５０（例えば、後述する図１０に示される）は、ジェスチャー事前動作予測部２２によって読み出される。また、身体部位動作情報記憶部１６に記憶されている身体部位動作情報１５０は、ジェスチャー認識部３１によって読み出される。

　ジェスチャー事前動作モデル記憶部２１は、ジェスチャー事前動作モデル情報ＰＧＭを記憶する。また、ジェスチャー事前動作モデル記憶部２１に記憶されているジェスチャー事前動作モデル情報ＰＧＭは、ジェスチャー事前動作予測部２２によって読み出される。

　ジェスチャー事前動作予測部２２は、身体部位動作情報記憶部１６から身体部位動作情報１５０を取得する。また、ジェスチャー事前動作予測部２２は、ジェスチャー事前動作モデル記憶部２１からジェスチャー事前動作モデル情報ＰＧＭを取得する。また、ジェスチャー事前動作予測部２２は、ジェスチャー事前動作予測結果記憶部２３にジェスチャー事前動作予測結果ＰＧＲを送信する。

　ジェスチャー事前動作予測結果記憶部２３は、ジェスチャー事前動作予測部２２からジェスチャー事前動作予測結果ＰＧＲを受け取り、これを記憶する。また、ジェスチャー事前動作予測結果記憶部２３は、ジェスチャー認識部３１にジェスチャー事前動作予測結果ＰＧＲを送信する。

　ジェスチャー認識部３１は、身体部位動作情報記憶部１６から身体部位動作情報１５０を取得する。また、ジェスチャー認識部３１は、ジェスチャー事前動作予測結果記憶部２３からジェスチャー事前動作予測結果ＰＧＲを取得する。また、ジェスチャー認識部３１は、ジェスチャーモデル記憶部３２からジェスチャーモデル情報ＧＭを取得する。また、ジェスチャー認識部３１は、機器制御部４１にジェスチャー識別結果ＧＲを送信する。

　ジェスチャーモデル記憶部３２は、ジェスチャーモデル情報ＧＭを記憶する。また、ジェスチャーモデル記憶部３２のジェスチャーモデル情報ＧＭは、ジェスチャー認識部３１によって読み出される。

　機器制御部４１は、ジェスチャー認識部３１からジェスチャー識別結果ＧＲを受け取る。また、機器制御部４１は、表示制御部５１に、ジェスチャー識別結果ＧＲに対応する機器動作の実行を指示する制御信号を送信する。

　表示制御部５１は、機器制御部４１から機器動作の実行を指示する制御信号を受信する。また、表示制御部５１は、表示情報記憶部５２から、ディスプレイ５に表示するための表示データを取得し、この表示データに応じた画像をディスプレイ５に表示させる。

　ディスプレイ５は、表示制御部５１から表示データを受け取り、この表示データに基づく画像を表示する。

　図４は、実施の形態１に係るジェスチャー認識装置１におけるジェスチャー認識処理の身体部位検出フェーズＳ１を示すフローチャートである。図５は、実施の形態１に係るジェスチャー認識装置１におけるジェスチャー認識処理の身体部位追跡フェーズＳ２を示すフローチャートである。図６は、実施の形態１に係るジェスチャー認識装置１におけるジェスチャー認識処理のジェスチャー予測フェーズＳ３を示すフローチャートである。図７は、実施の形態１に係るジェスチャー認識装置１におけるジェスチャー認識処理のジェスチャー識別フェーズＳ４を示すフローチャートである。

　図４を用いて、身体部位検出フェーズＳ１の処理について説明する。まず、身体部位検出部１３は、撮像データ記憶部１２に身体部位検出処理が未だ実行されていない新たなフレーム画像ＦＩが蓄積されている場合には（図４のステップＳ１１においてＹＥＳ）、撮像データ記憶部１２から身体部位検出処理が未だ実行されていない新たなフレーム画像ＦＩとそのフレーム番号ＦＮとを読み出す（図４のステップＳ１２）。撮像データ記憶部１２に身体部位検出処理が未だ行われていない新たなフレーム画像ＦＩが蓄積されていない場合には（図４のステップＳ１１においてＮＯ）、身体部位検出部１３は、身体部位検出フェーズＳ１における処理を行わず、撮像データ記憶部１２に、身体部位検出処理が未だ行われていない新たなフレーム画像ＦＩが蓄積されるまで、待機する。

　撮像データ記憶部１２は、撮像データとしてのフレーム画像ＦＩを蓄積する際に、１フレームのフレーム画像を構成する画素の画素値だけではなく、フレームを特定するためにフレーム毎に付されたフレーム番号ＦＮをも記憶する。フレーム番号ＦＮは、カメラ４が撮像したフレーム画像ＦＩ毎に割り当てられる。例えば、最初に撮像されたフレーム画像ＦＩのフレーム番号ＦＮを「ＦＮ＝０」とし、その後、順に撮像されたフレーム画像ＦＩのフレーム番号ＦＮをそれぞれ「ＦＮ＝１」、「ＦＮ＝２」、…というように１ずつ増加する値とする。身体部位検出部１３が撮像データ記憶部１２に最新のフレーム画像ＦＩが蓄積されているかどうかを判定する際には、身体部位検出部１３は、前回の身体部位検出処理を行ったフレーム画像ＦＩのフレーム番号ＦＮと、撮像データ記憶部１２に記憶されているフレーム番号ＦＮとを比較し、記憶されているフレーム番号ＦＮが前回の身体部位検出処理を行ったフレーム画像ＦＩのフレーム番号ＦＮよりも１以上加算されているかを調べる。フレーム番号ＦＮが１以上加算されている場合は、身体部位検出部１３は、新たなフレーム画像ＦＩとそのフレーム番号ＦＮを撮像データ記憶部１２から読み出す（図４のステップＳ１２）。

　図８（ａ）及び（ｂ）は、実施の形態１に係るジェスチャー認識装置１における身体部位検出処理（身体部位検出フェーズＳ１）の一例を示す図である。図８（ａ）は、ジェスチャー認識装置１に入力される撮像データ（入力画像）を示し、図８（ｂ）は、左手ＬＨの検出結果を示す。身体部位検出部１３は、図８（ａ）に示される、撮像データ記憶部１２から読み出された複数のフレーム画像ＦＩにおいて、図８（ｂ）に示されるように左手ＬＨを検出する（図４のステップＳ１３）。撮像データから、手などの身体の特定の部位をオブジェクトとして検出する方法は公知であり、身体部位検出部１３は、身体部位の検出方法を自由に選択することができる。

　左手の座標ＬＨＰを検出することができた場合（図４のステップＳ１４においてＹＥＳ）、身体部位検出部１３は、検出した左手の座標ＬＨＰとフレーム番号ＦＮとを、身体部位動作情報記憶部１６に送信する。身体部位動作情報記憶部１６は、身体部位検出部１３から左手の座標ＬＨＰとフレーム番号ＦＮとを受け取り、これらを記憶する（図４のステップＳ１５）。一方、左手の座標ＬＨＰを検出することができなかった場合は（図４のステップＳ１４においてＮＯ）、身体部位検出部１３は、撮像データ記憶部１２に再び新たなフレーム画像ＦＩが蓄積されるまで、待機する。

　左手の座標ＬＨＰを検出することができた場合、撮像データ記憶部１２に新たなフレーム画像ＦＩが蓄積されると、図５に示される身体部位追跡フェーズＳ２が実行される。すなわち、身体部位検出部１３ではなく、身体部位追跡部１４がフレーム画像ＦＩ及びフレーム番号ＦＮを読み出して、追跡処理を実行する。

　図５に示されるように、身体部位追跡部１４は、撮像データ記憶部１２が身体部位追跡処理を行っていない新たなフレーム画像ＦＩを蓄積している場合（図５のステップＳ２１においてＹＥＳ）、この新たなフレーム画像ＦＩとそのフレーム番号ＦＮとを撮像データ記憶部１２から読み出して取得する（図５のステップＳ２２）。撮像データ記憶部１２が新たなフレーム画像ＦＩを蓄積していない場合には（図５のステップＳ２１においてＮＯ）、身体部位追跡部１４は、以降の身体部位追跡処理を行わず、新たなフレーム画像ＦＩが蓄積されるまで、待機する。

　図９（ａ）から（ｆ）は、実施の形態１に係るジェスチャー認識装置１における身体部位追跡処理（身体部位追跡フェーズＳ２）の一例を示す図である。図９（ａ）から（ｃ）は、撮像データに基づく各フレームのフレーム画像（入力画像）であり、図９（ｄ）から（ｆ）は、それぞれ図９（ａ）から（ｃ）における左手ＬＨの位置を星形マークで示す図である。身体部位追跡部１４は、図９（ａ）から（ｃ）に示されるように撮像データ記憶部１２から読み出された複数のフレーム画像ＦＩにおいて、図９（ｄ）から（ｆ）に示されるように左手ＬＨの追跡を実行する（図５のステップＳ２３）。具体的には、身体部位追跡部１４は、身体部位動作情報記憶部１６から１フレーム前のフレーム画像ＦＩ（－１）における左手の座標ＬＨＰ（－１）を取得し、その周辺座標で最新のフレーム画像ＦＩ（０）における左手ＬＨを検出する。このように最新のフレーム画像ＦＩ（０）において検出された左手ＬＨが１フレーム前のフレーム画像ＦＩ（－１）における左手の座標ＬＨＰ（－１）近傍に存在する場合に、同一の身体部位としての左手ＬＨであるとして追跡を行う手法を採用することができる。同一の身体部位としての左手ＬＨを追跡する方法は、輝度分布に基づく特徴量を用いて追跡を行う方法などのように、公知の方法である。身体部位追跡部１４は、身体部位の追跡方法を、公知の方法の中から自由に選択することができる。

　左手の追跡が成功した場合（図５のステップＳ２４においてＹＥＳ）、身体部位追跡部１４は、身体部位動作情報生成部１５に、１フレーム前のフレーム画像ＦＩ（－１）における左手の座標ＬＨＰ（－１）と、今回のフレーム画像ＦＩ（０）における左手の座標ＬＨＰ（０）と、を送信する。

　一方、左手の追跡が失敗した場合（図５のステップＳ２４においてＮＯ）、身体部位追跡部１４は、身体部位動作情報記憶部１６に、追跡が失敗したと判断した時点までに記憶していた身体部位動作情報１５０を消去することを指示する制御信号を送信する。この制御信号を受け取った身体部位動作情報記憶部１６は、受け取った制御信号の指示に従って、記憶している身体部位動作情報１５０を消去する（図５のステップＳ２７）。追跡に失敗した場合、次のフレーム画像ＦＩに対しては、身体部位検出フェーズＳ１の処理（図５のＡから図４のＡに処理が移行する）が実行される。

　身体部位追跡部１４による追跡が成功した場合（図５のステップＳ２４においてＹＥＳ）、身体部位動作情報生成部１５は、身体部位追跡部１４から、１フレーム前のフレーム画像ＦＩ（－１）における左手の座標ＬＨＰ（－１）と、今回のフレーム画像ＦＩ（０）における左手の座標ＬＨＰ（０）とを取得し、これらの左手の座標ＬＨＰを、図１０に示されるような身体部位動作情報１５０を生成する（図５のステップＳ２５）。

　図１０は、実施の形態１に係るジェスチャー認識装置１で扱われる身体部位動作情報の一例を示す図である。図１０に示されるように、身体部位動作情報１５０は、フレーム番号ＦＮ、身体部位座標ＢＰＰ（ｘｙ座標位置）、身体部位動作量ＢＰＭ（動作量ｍａｇ）、身体部位動作方向ＢＰＤ（基準方向に対する角度ｄｉｒ（単位：度）を含む。身体部位動作情報１５０は、身体部位動作情報記憶部１６に記憶される。

　身体部位動作情報生成部１５は、このようにして生成された身体部位動作情報１５０を身体部位動作情報記憶部１６に送信する。身体部位動作情報記憶部１６は、身体部位動作情報１５０を記憶する（ステップＳ２６）。

　図６に示されるように、ジェスチャー予測フェーズＳ３において、ジェスチャー事前動作予測部２２は、身体部位動作情報記憶部１６に身体部位動作情報１５０が記憶されている場合（図６のステップＳ３１においてＹＥＳ）、身体部位動作情報記憶部１６から身体部位動作情報１５０を読み出す（図６のステップＳ３２）。身体部位動作情報記憶部１６に身体部位動作情報１５０が記憶されていない場合は（図６のステップＳ３１においてＮＯ）、ジェスチャー事前動作予測部２２は、身体部位動作情報記憶部１６に身体部位動作情報１５０が記憶されるまで、待機する。

　ジェスチャー事前動作予測部２２は、身体部位動作情報記憶部１６から身体部位動作情報１５０を読み出し、ジェスチャー事前動作モデル記憶部２１から予め記憶されているジェスチャー事前動作モデル情報ＰＧＭを読み出す（図６のステップＳ３３）。

　図１１（ａ）から（ｆ）は、実施の形態１に係るジェスチャー認識装置１が検出するジェスチャー事前動作ＰＧの一例を示す図である。ユーザーＵが、ジェスチャーとして、左手ＬＨで右スワイプを実行する場合には、最初に、図１１（ａ）から（ｆ）の順に、ユーザーＵの左手ＬＨをユーザーの左上方向（図１１では、右上方向に）移動させる動作（振り上げる動作）を実行する。このように、ユーザーＵは、左手による右スワイプのジェスチャーを実行する直前に（後述する図１４の時刻ｔ２より前に）、図１１（ａ）から（ｆ）の順に、手を振り上げる動作を行う傾向があり、このように実際のジェスチャーより前に実行する身体部位の動作をジェスチャー事前動作ＰＧとして定義する。

　図１２は、実施の形態１に係るジェスチャー認識装置１が予め記憶しているジェスチャー事前動作モデル情報ＰＧＭの一例を示す図である。ジェスチャー事前動作モデル情報ＰＧＭは、このジェスチャー事前動作ＰＧに関する身体部位動作情報を記載した身体部位事前動作情報１５１である。図１２に示されるように、ジェスチャー事前動作モデル情報ＰＧＭは、身体部位動作量ＢＰＭ及び身体部位動作方向ＢＰＤが含まれる。

　ジェスチャー事前動作モデル情報ＰＧＭ中の、身体部位動作量ＢＰＭ及び身体部位動作方向ＢＰＤの記載内容は、事前に集めた、１人以上、１回以上の右スワイプを実行する前のスワイプ事前動作における左手の座標ＬＨＰの動作量及び動作方向の平均として表される。すなわち、身体部位動作量ＢＰＭ及び身体部位動作方向ＢＰＤの記載内容は、右スワイプの事前動作として、平均的にどのような動きをするかを時間順に記載される。

　ジェスチャー事前動作予測部２２は、身体部位動作情報記憶部１６から読み出した身体部位動作情報１５０と、ジェスチャー事前動作モデル記憶部２１から読み出したジェスチャー事前動作モデル情報ＰＧＭとの類似度（第１の類似度）を算出する。類似度は、各フレームの身体部位動作量ＢＰＭ及び身体部位動作方向ＢＰＤをベクトルとして捉え、身体部位動作情報１５０とジェスチャー事前動作モデル情報ＰＧＭとで時間順にベクトル同士のユークリッド距離及び相関係数を求め、ユークリッド距離の平均及び相関係数の平均を算出し、これらを類似度として用いることができる。

　類似度は、値が大きいほど類似していることを示す。互いに似ている２つの動作であったとしても、２つの動作の各々に要する時間が異なる場合には、時間軸順で１対１に対応させて算出した類似度が、小さくなる場合がある。例えば、ユーザーＵが左手を振り上げるジェスチャー事前動作ＰＧを、ゆっくりと行った場合である。そのため、類似度を算出する際は、身体部位動作情報１５０又はジェスチャー事前動作モデル情報ＰＧＭの身体部位動作量ＢＰＭ及び身体部位動作方向ＢＰＤについて、異なる間隔でサンプリングして比較してもよい。

　さらに、ジェスチャー事前動作予測部２２は、算出した類似度が、決められた閾値（第１の閾値）ＭＴＨ１以上であるかどうかを判定する。ジェスチャー事前動作予測部２２は、算出した類似度が、閾値ＭＴＨ１以上である場合に、ユーザーＵが右スワイプを実行する前のジェスチャー事前動作ＰＧであるスワイプ事前動作を行っていると予測し、閾値ＭＴＨ１未満である場合には、ユーザーＵは、右スワイプを実行する前のスワイプ事前動作を行っていないと予測する。ユーザーＵが右スワイプを実行する前のスワイプ事前動作を行っていると予測した場合、ジェスチャー事前動作予測部２２は、ジェスチャー事前動作予測結果記憶部２３に、そのことを示すジェスチャー事前動作予測結果ＰＧＲを送信し、ジェスチャー事前動作予測結果記憶部２３は、このジェスチャー事前動作予測結果ＰＧＲを記憶する。ジェスチャー事前動作予測結果ＰＧＲは、例えば、単純なフラグのようなものでよく、ユーザーＵが右スワイプを実行する前のスワイプ事前動作を行っていると予測した場合に「１」を記載し、記憶するなどすればよい。

　図７に示されるように、ジェスチャー識別フェーズＳ４では、ジェスチャー認識部３１は、身体部位動作情報記憶部１６に身体部位動作情報１５０が記憶されている場合（図７のステップＳ４１においてＹＥＳ）、この身体部位動作情報１５０を取得する（図７のステップＳ４２）。身体部位動作情報記憶部１６に身体部位動作情報１５０が記憶されていない場合は（図７のステップＳ４１においてＮＯ）、ジェスチャー認識部３１は、身体部位動作情報記憶部１６に身体部位動作情報１５０が記憶されるまで、待機する。

　ジェスチャー認識部３１は、身体部位動作情報記憶部１６から身体部位動作情報１５０を読み出し、ジェスチャーモデル記憶部３２からジェスチャーモデル情報ＧＭを読み出す（図７のステップＳ４３）。

　ジェスチャー認識部３１は、ジェスチャー事前動作予測結果記憶部２３にジェスチャー事前動作予測結果ＰＧＲが記憶されている場合（図７のステップＳ４４においてＹＥＳ）、これを読み出す（図７のステップＳ４５）。ジェスチャー事前動作予測結果記憶部２３にジェスチャー事前動作予測結果ＰＧＲが記憶されていない場合は（図７のステップＳ４４においてＮＯ）、ジェスチャー認識部３１は、身体部位動作情報がジェスチャー動作モデルであるジェスチャーモデル情報に一致するかを判定する（図７のステップＳ４７）。

　ジェスチャー認識部３１は、ジェスチャー事前動作予測結果記憶部２３からジェスチャー事前動作予測結果ＰＧＲを読み出した場合、読み出された身体部位動作情報１５０の全フレームの情報と、ジェスチャーモデル情報ＧＭの全フレームの情報との類似度を算出するか、又は、一部フレーム分の情報と、ジェスチャーモデル情報ＧＭの一部フレーム分の情報との類似度を算出する。

　ジェスチャー認識部３１は、算出した類似度（第２の類似度）が、閾値（第２の閾値）ＭＴＨ２以上であるかどうかを判定し、閾値ＭＴＨ２以上である場合に、ユーザーＵが右スワイプを実行している最中（又は実行した）と認識し、閾値ＭＴＨ２未満である場合には、ユーザーＵは、右スワイプを実行していないと認識する。ユーザーＵが右スワイプを実行している最中（又は実行した）と認識した場合、ジェスチャー認識部３１は、機器制御部４１にジェスチャー識別結果ＧＲを送信し（図７のステップＳ４６においてＹＥＳ）、右スワイプを実行していないと認識した場合は、何もしない（図７のステップＳ４６においてＮＯ）。

　実際に、数名の被験者をユーザーＵとして検証した結果、左手ＬＨで右スワイプを実行する場合のジェスチャー事前動作ＰＧとして、左手ＬＨを斜め左上方向に動作させながら振り上げ、右方向に振り払うことが確認されている。そのため、この振り上げ動作をジェスチャー事前動作予測部２２が予測し、その後、ユーザーＵが右方向に左手ＬＨを振り払い始めたことをジェスチャー認識部３１が認識することができれば、ジェスチャーの完了前（左手ＬＨが右方向の最後の位置に到達する前）であっても右スワイプを認識することが可能である。

　図１３（ａ）から（ｆ）は、実施の形態１に係るジェスチャー認識装置１が検出するジェスチャー事前動作ＰＧの一例を示す図であり、図１３（ｇ）から（ｋ）は、実施の形態１に係るジェスチャー認識装置が検出するジェスチャーの一例を示す図である。図１３（ａ）から（ｆ）に示される振り上げ動作から、図１３（ｇ）から（ｋ）に示される振り払い動作までの一連の流れのうち、振り払い動作の比較的前半までを認識することができれば、ジェスチャーを認識することができる。

　図１４は、実施の形態１に係るジェスチャー認識装置１におけるジェスチャー事前動作ＰＧの開始時点ｔ１、ジェスチャー事前動作ＰＧの終了時点（ジェスチャーの開始時点）ｔ２、ジェスチャーの完了時点ｔ４、及びジェスチャーの認識処理の完了時点ｔ３を示す図である。ジェスチャー事前動作ＰＧの開始時点ｔ１、ジェスチャー事前動作ＰＧの終了時点（ジェスチャー開始時点）ｔ２、ジェスチャーの完了時点ｔ４があるが、このようにジェスチャー事前動作ＰＧを認識することができれば、ジェスチャー事前動作ＰＧの終了時点（ジェスチャー開始時点）ｔ２とジェスチャー終了時点ｔ４との間の期間内において、ジェスチャー認識部３１は、機器制御部４１にジェスチャー識別結果ＧＲを送信することができる。

　ジェスチャー認識部３１は、ジェスチャー事前動作予測結果記憶部２３からジェスチャー事前動作予測結果ＰＧＲを取得しなかった場合、身体部位動作情報１５０の全フレーム又は一部フレーム分の情報と、ジェスチャーモデル情報ＧＭの全フレーム分の情報との類似度（第２の類似度）を算出する。ジェスチャーモデル情報ＧＭは、ジェスチャーにおける身体部位動作量ＢＰＭ及び身体部位動作方向ＢＰＤが記載される。

　図１４に示されるように、ジェスチャー事前動作ＰＧを認識することができてない場合、ジェスチャー事前動作ＰＧの終了時点（ジェスチャー開始時点）とジェスチャー終了時点との間の左手ＬＨの動作情報からジェスチャーを認識し、ジェスチャー終了時点以降に、ジェスチャー認識部３１が機器制御部４１にジェスチャー識別結果ＧＲを送信する。

　以上のことより、ジェスチャー事前動作ＰＧを予測することができた場合（図１４の時刻ｔ３に認識処理を完了）、ジェスチャー事前動作ＰＧを予測せずにジェスチャーのみでジェスチャー認識した場合（図１４の時刻ｔ５に認識処理を完了）と比べて、短い時間でジェスチャー認識が可能である。

　ジェスチャー事前動作ＰＧを予測することができた場合に、このジェスチャー事前動作予測結果ＰＧＲのみでジェスチャー認識を行うことも可能であるが、より認識率を高めるためには、ジェスチャーの最初の部分を合わせて認識することができてから、ジェスチャー識別結果ＧＲを送信する方が望ましい。

　また、ジェスチャー事前動作ＰＧを予測することで、ジェスチャーモデル記憶部３２が複数種類のジェスチャーに関するジェスチャーモデル情報ＧＭを記憶している場合に、複数種類のジェスチャーの内、その後実際に行われる可能性の高いジェスチャーを絞り込むことができ、認識時間の短縮効果及び認識率の向上効果が得られる。そして、その種類が増えるほど、効果が高くなる。認識対象のジェスチャーが複数ある場合、それらのジェスチャーモデル情報ＧＭに関して身体部位動作情報１５０と順番に比較することが一般的に必要であるが、ジェスチャー事前動作予測結果ＰＧＲがあれば全てと比較する必要はない。全てと比較するような場合でも、ジェスチャー事前動作予測結果ＰＧＲによって可能性の高いジェスチャーから順に比較することができるため、認識時間の期待値は、従来方法に比べて短くなるため、有利である。

　機器制御部４１は、ジェスチャー認識部３１からジェスチャー識別結果ＧＲを受け取り、情報処理装置１００がその結果に対応する機器動作を行うよう、表示制御部５１に制御信号を送信する。機器制御部４１は、例えば、右スワイプを認識する度にディスプレイ５に表示する画像を変更する。変更後の画像は、例えば、表示情報記憶部５２中に記憶している、ディスプレイ５に現在表示中の画像が格納されているフォルダ内における次の画像（画像の順は、例えば、ファイル名及び作成日時順で決定される）である。

　このような機器動作を実行するため、機器制御部４１から制御信号を受信した表示制御部５１は、表示情報記憶部５２から表示する情報を読み出し、これをディスプレイ５に送信して画像を表示させる。

　以上のように構成されたジェスチャー認識装置１においては、ユーザーＵによって実行されるジェスチャーを、ジェスチャーが完了する時点（後述する図１４における時刻ｔ４）よりも前（例えば、後述する図１４における時刻ｔ３）に認識を完了することができるため、ジェスチャー認識結果に基づく機器制御の実行を、従来（例えば、後述する図１４における時刻ｔ５）よりも早く行うことができる。これにより、ユーザーＵが感じていたジェスチャー実行から機器制御までのタイムラグを短縮することができ、ユーザーＵにとってストレスレスなジェスチャー操作が可能となる。

　実施の形態１においては、ジェスチャー認識する元となる撮像データを画像データとしているが、これは、可視光（色信号として）で撮像可能なカメラでのデータのみを指すわけではなく、赤外線を利用して撮像するカメラの撮像によって得られたデータ、及び、２個以上のカメラの撮像によって得られたデータであってもよい。また、測距可能なカメラを利用する場合には、身体部位検出部１３が身体部位検出をすることが容易になる。これは、例えば、距離情報をもとに、画像データに含まれる人物と、それ以外のもの（背景）とを、識別しやすくなるからである。

　実施の形態１においては、ジェスチャー認識装置１が認識することができるジェスチャーとして、左手の右スワイプの場合を説明したが、左手の左スワイプ、右手の左スワイプ、右手の左スワイプ、左手の上スワイプ、右手の上スワイプ、左手の下スワイプ、右手の下スワイプなどのような他のジェスチャーを認識する場合にも、本発明を適用することができる。

　図１５（ａ）から（ｆ）は、実施の形態１に係るジェスチャー認識装置１が検出するジェスチャーの直前のジェスチャー事前動作ＰＧ（左手を移動しながら、手のひらを徐々に開く動作）とジェスチャー（左手の手のひらを開いた状態にする動作）を示す図である。図１６（ａ）から（ｆ）は、実施の形態１に係るジェスチャー認識装置１が検出するジェスチャーの直前のジェスチャー事前動作ＰＧ（左手を移動しながら、１本の指を徐々に伸ばす動作）とジェスチャー（左手の１本の指を伸ばした状態にする動作）を示す図である。本発明が適用可能なジェスチャーは、図１５（ｅ）及び（ｆ）に示されるように、手のひらを開いた状態にする動作であってもよい。また、本発明が適用可能なジェスチャーは、図１６（ｅ）及び（ｆ）に示されるように、１本の指を伸ばして、何かを指し示す状態にする動作であってもよい。この場合には、ジェスチャー認識装置１は、図１５（ａ）から（ｄ）並びに図１６（ａ）から（ｄ）に示されるように、手を挙げる際に徐々に手の形が変化する動作を、ジェスチャー事前動作ＰＧと認識することができる。

　実施の形態１においては、ジェスチャー事前動作予測部２２は、ユーザーＵがジェスチャー事前動作ＰＧを実行したかどうかを予測し、実行した場合に、ジェスチャー事前動作予測結果記憶部２３に、そのことを示すジェスチャー事前動作予測結果ＰＧＲを送信する。ジェスチャー事前動作予測結果記憶部２３は、ジェスチャー事前動作予測結果ＰＧＲを記憶する。

　なお、ジェスチャー事前動作予測部２２は、ユーザーＵがジェスチャー事前動作ＰＧを実行した場合にのみ、ジェスチャー事前動作予測結果ＰＧＲをジェスチャー事前動作予測結果記憶部２３に記憶させるのではなく、類似度算出結果そのものを、ジェスチャー事前動作予測確率ＰＧＰＲとしてジェスチャー事前動作予測結果記憶部２３に記憶させてもよい。

　また、ジェスチャー認識部３１は、このように確率で表されたジェスチャー事前動作予測結果ＰＧＲをジェスチャー事前動作予測結果記憶部２３から読み出し、身体部位動作情報１５０と、ジェスチャーモデル情報ＧＭとの類似度を算出する際、この確率に応じて比較するフレーム数を変化させて、認識に要する時間を変更（例えば、短縮）してもよい。言い換えれば、ジェスチャー認識部３１は、身体部位動作情報１５０とジェスチャー事前動作モデル情報（ジェスチャー事前動作予測結果ＰＧＲ）との間の第１の類似度に応じて、複数フレームの撮像データの内の、第２の比較に用いる撮像データの時間を変更（すなわち、第２の比較において比較対象となる撮像データの量を変更して撮像データに対応する時間を変更）してもよい。例えば、ジェスチャー認識部３１は、このジェスチャー事前動作予測確率ＰＧＰＲが高い場合には、そのジェスチャーが実行される確率が高いので、実際のジェスチャーのうち、比較的少ない最初の数フレームがジェスチャーモデル情報ＧＭと一致した際にそのジェスチャーが実行されたと識別する。言い換えれば、ジェスチャー認識部３１は、身体部位動作情報１５０とジェスチャー事前動作モデル情報（ジェスチャー事前動作予測結果ＰＧＲ）との間の第１の類似度が予め決められた第１の閾値以上であるときに、複数フレームの撮像データの内の、第２の比較に用いる撮像データの時間を短縮（すなわち、第２の比較において比較対象となる撮像データの量を減らして撮像データに対応する時間）してもよい。一方、このジェスチャー事前動作予測確率ＰＧＰＲが低い場合には、そのジェスチャーが実行される確率は、低いとして、実際のジェスチャーのうち、比較的多い最初の数フレームがジェスチャーモデル情報ＧＭと一致した際にそのジェスチャーが実行されたと識別する。このようにすることで、例えば、ジェスチャー事前動作モデル情報ＰＧＭと少し異なるような左手ＬＨの上げ方をして右スワイプを行ったとしても、そのジェスチャーを認識することが可能となる。

　実施の形態１においては、ジェスチャー認識装置１が認識するジェスチャーとして右スワイプを説明したが、その他のジェスチャーを含む複数個のジェスチャーを同時に認識対象とすることができる。この場合、ジェスチャー事前動作モデル記憶部２１には、認識対象であるジェスチャーの全て又は一部のジェスチャー事前動作モデル情報ＰＧＭを予め記憶させておく。ジェスチャー事前動作予測部２２は、それらのジェスチャー事前動作ＰＧを予測することができるよう構成され、ジェスチャーモデル記憶部３２は、それらのジェスチャーモデル情報ＧＭを予め格納する。また、ジェスチャー認識部３１は、それらのジェスチャーを認識するように構成され、認識したジェスチャーに応じた機器制御を実行するための制御信号を機器制御部４１に送信する。このような処理によって、ユーザーＵは、複数種類のジェスチャーを入力することができ、様々な種類の機器制御を実行することができる。

　また、ジェスチャー事前動作予測部２２は、ユーザーＵがジェスチャー事前動作ＰＧを実行した場合にのみ、ジェスチャー事前動作予測結果ＰＧＲを記憶させるのではなく、それぞれのジェスチャーにおける類似度算出結果そのものを、ジェスチャー事前動作予測確率ＰＧＰＲとしてジェスチャー事前動作予測結果記憶部２３に記憶させてもよい。

　また、ジェスチャー認識部３１は、このように確率で表されたジェスチャー事前動作予測結果ＰＧＲをジェスチャー事前動作予測結果記憶部２３から読み出し、身体部位動作情報１５０と、ジェスチャーモデル情報ＧＭとの類似度を算出する際、この確率に応じてジェスチャー毎に比較するフレーム数を変化させるなどして、認識に要する時間を短縮してもよい。このようにすることで、ジェスチャー認識部３１は、複数種類のジェスチャーが認識対象であっても、ジェスチャー事前動作モデル情報ＰＧＭと異なる動作をした後に、実際のジェスチャーを行ったとしても、そのジェスチャーを認識することが可能となる。

　実施の形態１においては、ジェスチャー認識装置１が認識するジェスチャーが右スワイプである場合を説明したが、ジェスチャー認識装置１は、その他のジェスチャーを含む複数個のジェスチャーを同時に認識対象とすることができる。このとき、機器及び外界、時刻、ジェスチャーの過去の使用頻度などのような使用状況を考慮して、ジェスチャー事前動作ＰＧを予測したり、及び、ジェスチャーを認識したりしてもよい。ここで、機器とは、ジェスチャー認識装置１に接続されている制御対象機器である。外界とは、ジェスチャー認識装置１又は機器の設置環境である。時刻情報は、外部から取得してもよく、又は、内蔵する時計から取得してもよい。このように、ジェスチャー認識装置１は、機器の状態によって認識するジェスチャーを絞ることができる。また、ジェスチャー認識装置１は、１日の内の特定の時間帯には、あるジェスチャーが頻繁に実行されている、などの時間帯情報及び使用頻度情報を予め収集して記憶し、ジェスチャーの識別処理の前に、ジェスチャーの範囲を絞ることができる。このようにすることで、ジェスチャー事前動作ＰＧの予測確率及び、ジェスチャー認識の認識率を向上させることができる。

　実施の形態１においては、左手ＬＨが認識対象の身体部位である場合を説明したが、その他の身体部位を対象とすることも可能である。例えば、人差し指の先、肘、膝、肩などの身体部位を認識対象としてもよい。また、異なる種類のジェスチャーにおいては、身体部位は、異なる動作をすることが一般的である。それぞれのジェスチャー毎に特徴的な動きをする身体部位を認識対象とすることで、認識率を向上させることが可能である。

　実施の形態１においては、左手ＬＨを認識対象の身体部位である場合を説明したが、身体部位は、１カ所である必要はなく、２カ所以上であってもよい。これら複数個所の動作を組み合わせてジェスチャー認識することで、１カ所の動作だけでは認識し難いジェスチャーをも、複数個所を組み合わせることで、識別率を向上させることができる。

　実施の形態１においては、ジェスチャー事前動作と実際のジェスチャー動作とを合わせてジェスチャーを認識できるため、ユーザーＵによるジェスチャー動作が高速に行われた場合でも、ジェスチャー動作のみをジェスチャー認識に利用する場合と比較して利用できる撮像データの量が増加する。これにより、実施の形態１は、ジェスチャー認識率を向上できるという効果も持つ。

実施の形態２．
　図１７は、本発明の実施の形態２に係るジェスチャー認識装置２の構成を概略的に示すブロック図である。ジェスチャー認識装置２は、実施の形態２に係るジェスチャー認識方法を実施することができる装置である。図１７において、図３に示される構成要素と同一又は対応する構成要素には、図３における符号と同じ符号を付している。実施の形態２においては、図１で示されたカメラ及びディスプレイが、ジェスチャー認識装置２に接続されている場合を説明する。実施の形態２に係るジェスチャー認識装置２（図１７）は、ジェスチャー認識部３１ａからジェスチャー事前動作モデル記憶部２１ａにデータが送られる点において、実施の形態１に係るジェスチャー認識装置１（図３）に係るジェスチャー認識装置１（図３）と異なる。この点を除き、実施の形態２は、実施の形態１と同じである。実施の形態２に係るジェスチャー認識装置２は、ジェスチャー事前動作モデル記憶部２１に記憶されるジェスチャー事前動作モデル情報ＰＧＭを逐次更新するものであるから、ユーザーＵのジェスチャー事前動作ＰＧの予測確率を向上させることができる。

　ジェスチャー認識部３１ａは、ジェスチャー事前動作モデル記憶部２１に、身体部位動作情報１５０を送る。ジェスチャー事前動作モデル記憶部２１ａは、ジェスチャー認識部３１ａから、身体部位動作情報１５０を受け取り、この身体部位動作情報１５０を記憶する。

　ジェスチャー認識部３１ａは、ジェスチャー識別フェーズＳ４において、身体部位動作情報１５０の全フレーム分の情報と、ジェスチャーモデル情報ＧＭの全フレーム分の情報との類似度を算出し、ジェスチャーを識別する。また、ジェスチャー認識部３１ａは、ジェスチャー識別フェーズＳ４において身体部位動作情報１５０の一部フレーム分の情報と、ジェスチャーモデル情報ＧＭの一部フレーム分の情報との類似度を算出し、ジェスチャーを識別する。ジェスチャー認識部３１ａは、ユーザーＵがジェスチャーを実行している最中である（又は実行した）と認識した場合、機器制御部４１にジェスチャー識別結果ＧＲを送信し、実行していないと認識した場合は何もしない。

　また、ジェスチャー認識部３１ａは、ユーザーＵがジェスチャーを実行している最中である（又は実行した）と認識した場合、身体部位動作情報１５０のうち、ジェスチャーに関する情報以前の情報を抽出する。すなわち、ジェスチャー認識部３１ａは、今回識別したジェスチャーにおけるジェスチャー事前動作ＰＧを抽出する。ジェスチャー認識部３１ａは、このジェスチャー事前動作ＰＧに関する身体部位動作情報１５０をジェスチャー事前動作モデル記憶部２１ａに送信する。

　ジェスチャー事前動作モデル記憶部２１ａは、ジェスチャー認識部３１ａから受け取った身体部位動作情報１５０を、ジェスチャー事前動作モデル情報ＰＧＭとして記憶する。このとき、ジェスチャー事前動作モデル記憶部２１ａは、既にジェスチャー事前動作モデル情報ＰＧＭを記憶している場合には、それらの平均を新たに記憶するか、又は、ジェスチャー認識部３１ａから読み出されたジェスチャー事前動作モデル情報ＰＧＭを新たに記憶する。

　以上に説明したように、実施の形態２に係るジェスチャー認識装置２においては、ユーザーＵによって実行されるジェスチャーを、ジェスチャーが完了する時点よりも前に認識することができるため、ジェスチャー認識結果に基づく機器制御の実行を従来よりも迅速に行うことができる。これにより、ユーザーＵが感じていたジェスチャー実行から機器制御までのタイムラグを短縮することができ、ユーザーＵにとってストレスレスなジェスチャー操作が可能となる。

　また、実施の形態２に係るジェスチャー認識装置２においては、ジェスチャー事前動作モデル情報ＰＧＭを逐次更新することができるため、ユーザーＵの癖及び慣れによるジェスチャーの仕方に関する変化を逐次反映することができるため、ジェスチャー事前動作ＰＧの予測確率を向上させることができる。

実施の形態３．
　図１８は、本発明の実施の形態３に係るジェスチャー認識装置３の構成を概略的に示すブロック図である。ジェスチャー認識装置３は、実施の形態３に係るジェスチャー認識方法を実施することができる装置である。図１８において、図１７に示される構成要素と同一又は対応する構成要素には、図１７における符号と同じ符号を付している。実施の形態３においては、図１で示されたカメラ及びディスプレイが、ジェスチャー認識装置３に接続されている場合を説明する。実施の形態３に係るジェスチャー認識装置３（図１８）は、ジェスチャーを実行する人物を特定する人物特定処理部１７を備える点において、実施の形態２に係るジェスチャー認識装置２（図１７）と異なる。この点を除き、実施の形態３は、実施の形態２と同じである。実施の形態３に係るジェスチャー認識装置３は、ユーザー情報を考慮してジェスチャー認識を実行する。実施の形態３に係るジェスチャー認識装置３によれば、ユーザーＵのジェスチャー事前動作ＰＧの予測確率を向上させることができる。

　図１８において、動作情報生成部１０ａの人物特定処理部１７は、撮像データ記憶部１２からフレーム画像ＦＩを取得し、フレーム画像ＦＩに含まれる人物についての人物特定結果ＨＤＲを、身体部位検出部１３と身体部位追跡部１４とジェスチャー事前動作予測部２２ａとに送信する。

　身体部位検出部１３は、撮像データ記憶部１２から、フレーム画像ＦＩとそのフレーム番号ＦＮとを取得し、フレーム画像ＦＩに含まれる左手の座標ＬＨＰとフレーム番号ＦＮとを、身体部位動作情報記憶部１６に送信する。また、身体部位検出部１３は、人物特定結果ＨＤＲを、人物特定処理部１７から受け取り、左手の座標ＬＨＰとフレーム番号ＦＮとの組を、身体部位動作情報記憶部１６に送信する。

　身体部位追跡部１４は、撮像データ記憶部１２からフレーム画像ＦＩとそのフレーム番号ＦＮとを取得する。また、身体部位追跡部１４は、身体部位動作情報記憶部１６から特定のユーザーの１フレーム前のフレーム画像ＦＩにおける左手の座標ＬＨＰを取得する。また、身体部位追跡部１４は、人物特定処理部１７から人物特定結果ＨＤＲを受け取る。また、身体部位追跡部１４は、１フレーム前のフレーム画像ＦＩにおける左手の座標ＬＨＰと、今回のフレーム画像ＦＩにおける左手の座標ＬＨＰと、人物特定結果ＨＤＲとを、身体部位動作情報生成部１５に送信する。また、身体部位追跡部１４は、身体部位動作情報記憶部１６に、記憶している身体部位動作情報１５０を削除する制御信号を送信する。

　身体部位動作情報生成部１５は、身体部位追跡部１４から１フレーム前のフレーム画像ＦＩ（－１）における左手の座標ＬＨＰ（－１）と、今回のフレーム画像ＦＩ（０）における左手の座標ＬＨＰ（０）と、人物特定結果ＨＤＲとを受け取り、身体部位動作情報１５０を身体部位動作情報記憶部１６に送信する。

　ジェスチャー事前動作モデル記憶部２１ａは、ユーザー毎のジェスチャー事前動作モデル情報ＰＧＭを記憶する。また、ジェスチャー事前動作モデル記憶部２１ａは、ジェスチャー事前動作予測部２２ａに特定のユーザーのジェスチャー事前動作モデル情報ＰＧＭを送信する。

　ジェスチャー事前動作予測部２２ａは、身体部位動作情報記憶部１６から特定のユーザー（最新フレーム画像ＦＩにおいて身体部位動作があったユーザー）の身体部位動作情報１５０を読み出す。また、ジェスチャー事前動作予測部２２ａは、ジェスチャー事前動作モデル記憶部２１ａからユーザーのジェスチャー事前動作モデル情報ＰＧＭを受け取る。また、ジェスチャー事前動作予測部２２ａは、ジェスチャー事前動作予測結果記憶部２３にユーザーのジェスチャー事前動作予測結果ＰＧＲを送信する。

　ジェスチャー事前動作予測結果記憶部２３は、ジェスチャー事前動作予測部２２ａから特定のユーザーのジェスチャー事前動作予測結果ＰＧＲを受け取り、これを記憶する。また、ジェスチャー事前動作予測結果記憶部２３は、ジェスチャー認識部３１ａに特定のユーザーのジェスチャー事前動作予測結果ＰＧＲを送信する。

　ジェスチャー認識部３１ａは、身体部位動作情報記憶部１６から特定のユーザーの身体部位動作情報１５０を受け取る。また、ジェスチャー認識部３１ａは、ジェスチャー事前動作予測結果記憶部２３から、特定のユーザーのジェスチャー事前動作予測結果ＰＧＲを受け取る。また、ジェスチャー認識部３１ａは、ジェスチャーモデル記憶部３２から特定のユーザーのジェスチャーモデル情報ＧＭを読み出す。また、ジェスチャー認識部３１ａは、機器制御部４１にジェスチャー識別結果ＧＲを送信する。

　ジェスチャーモデル記憶部３２は、ユーザー毎のジェスチャーモデル情報ＧＭを記憶する。また、ジェスチャー認識部３１ａは、ジェスチャーモデル記憶部３２から、特定のユーザーのジェスチャーモデル情報ＧＭを取得する。

　まず、人物特定処理部１７は、撮像データ記憶部１２からフレーム画像ＦＩを受け取り、フレーム画像ＦＩに含まれるユーザーについて人物特定処理を実行する。人物特定処理の手法としては、顔検出などが挙げられる。人物特定処理の実行後に、人物特定処理部１７は、人物特定結果ＨＤＲを、身体部位検出部１３と身体部位追跡部１４とジェスチャー事前動作予測部２２ａとに送信する。

　身体部位検出部１３は、身体部位を検出し、検出結果情報を身体部位動作情報記憶部１６に送信する。このとき、身体部位検出部１３は、人物特定処理部１７から受け取った人物特定結果ＨＤＲを身体部位動作情報記憶部１６に送信する。

　身体部位追跡部１４は、撮像データ記憶部１２から読み出された複数のフレーム画像ＦＩにおいて身体部位の追跡を実行する。このとき、身体部位追跡部１４は、人物特定処理部１７から受け取った人物特定結果ＨＤＲをもとに、同一人物の身体部位を追跡する。例えば、身体部位追跡部１４は、第１のユーザーの手と第２のユーザーの手とを、人物特定結果ＨＤＲを利用して、別個の身体部位として追跡を実行する。

　追跡が成功した場合、身体部位追跡部１４は、１フレーム前のフレーム画像ＦＩ（－１）における左手の座標ＬＨＰ（－１）と、今回のフレーム画像ＦＩ（０）における左手の座標ＬＨＰ（０）と、人物特定結果ＨＤＲとを、身体部位動作情報生成部１５に送信する。

　身体部位動作情報生成部１５は、身体部位追跡部１４から、１フレーム前のフレーム画像ＦＩ（－１）における左手の座標ＬＨＰ（－１）と、今回のフレーム画像ＦＩ（０）における左手の座標ＬＨＰ（０）と、人物特定結果ＨＤＲとを受け取り、これらの情報から身体部位動作情報１５０を生成する。このとき、身体部位動作情報１５０は、ユーザー別に異なるファイルに記載される。また、身体部位動作情報１５０は、同一ファイルに記載してもよい。この場合は、身体部位動作情報１５０は、ユーザー毎に、身体部位動作情報を判別することができるように記載する。身体部位動作情報記憶部１６は、身体部位動作情報１５０を記憶する。

　ジェスチャー事前動作モデル記憶部２１ａは、ユーザー毎のジェスチャー事前動作モデル情報ＰＧＭを記憶する。ジェスチャー事前動作モデル情報ＰＧＭは、ユーザー毎に記憶されるため、各ユーザーの癖などの各ユーザーに固有の身体動作を反映することができる。ジェスチャー事前動作モデル情報ＰＧＭは、予めユーザーが実行するジェスチャーをもとに取得し登録した情報であってもよいし、又は、実施の形態２のように、ジェスチャー認識部３１ａから認識結果をフィードバックすることで逐次記憶、更新された情報であってもよい。また、ジェスチャー事前動作予測部２２ａは、ジェスチャー事前動作モデル記憶部２１ａから、特定のユーザーのジェスチャー事前動作モデル情報ＰＧＭを取得する。

　ジェスチャー事前動作予測部２２ａは、身体部位動作情報記憶部１６から、特定のユーザー（最新フレーム画像ＦＩにおいて身体部位動作があったユーザー）の身体部位動作情報１５０を取得する。また、ジェスチャー事前動作予測部２２ａは、ジェスチャー事前動作モデル記憶部２１ａから、上記ユーザーのジェスチャー事前動作モデル情報ＰＧＭを取得し、類似度を算出する。ジェスチャー事前動作予測部２２ａは、算出した類似度を閾値ＭＴＨ１と比較し、上記ユーザーがジェスチャー事前動作ＰＧを実行したか予測し、ジェスチャー事前動作予測結果ＰＧＲを送信し、ジェスチャー事前動作予測結果記憶部２３はこれを記憶する。

　ジェスチャー認識部３１ａは、身体部位動作情報記憶部１６から、特定のユーザーの身体部位動作情報１５０を取得し、さらに、ジェスチャーモデル記憶部３２から、上記のジェスチャーモデル情報を読み出す。さらに、ジェスチャー認識部３１ａは、ジェスチャー事前動作予測結果記憶部２３に上記ユーザーのジェスチャー事前動作予測結果ＰＧＲが記憶されている場合には、このジェスチャー事前動作予測結果ＰＧＲを受け取る。ジェスチャー認識部３１ａは、ジェスチャー事前動作予測結果記憶部２３に上記ユーザーのジェスチャー事前動作予測結果ＰＧＲが記憶されていない場合は何もしない。その後、ジェスチャー認識部３１ａは、取得した身体部位動作情報１５０とジェスチャーモデル情報ＧＭとの類似度を算出し、類似度に基づいてジェスチャーを識別する。

　なお、ジェスチャーモデル記憶部３２には、ユーザー毎にジェスチャーモデル情報ＧＭが記憶されている。ジェスチャー認識部３１ａは、特定のユーザーのジェスチャーモデル情報ＧＭを送信する。

　このように構成されたジェスチャー認識装置３においては、ユーザーＵによって実行されるジェスチャーを、ジェスチャーが完了する時点よりも前に認識することができるため、ジェスチャー認識結果に基づく機器制御の実行を、従来よりも迅速に行うことができる。これにより、ユーザーＵが感じていたジェスチャー実行から機器制御までのタイムラグを短縮することができ、ユーザーＵにとってストレスレスなジェスチャー操作が可能となる。

　さらに、ジェスチャー認識装置３においては、ユーザー毎にジェスチャー事前動作ＰＧ及びジェスチャーを認識する。そのため、ユーザーＵの癖などによるジェスチャーの仕方に関する違いを吸収することができるため、ジェスチャー事前動作ＰＧの予測確率及びジェスチャーの認識率を向上させることができる。

　実施の形態３においては、人物特定処理の内容として顔検出だけでなく、その他の手法を利用することが可能である。例えば、人物してのユーザーの髪型、服装、身長などユーザーを特定することができる情報としてもよい。

　実施の形態３においては、ユーザーによって認識するジェスチャーを絞ることも可能である。このようにすることで、ジェスチャー事前動作ＰＧの予測確率及び、ジェスチャー認識の認識率を向上させることができる。

変形例．
　図１９は、本発明の実施の形態１から３に係るジェスチャー認識装置の変形例を示すハードウェア構成図である。図３に示されるジェスチャー認識装置１は、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ９１と、メモリ９１に格納されたプログラムを実行する情報処理部としてのプロセッサ９２とを用いて（例えば、コンピュータにより）実現することができる。この場合には、図３における撮像データ記憶部１２、身体部位動作情報記憶部１６、ジェスチャー事前動作モデル記憶部２１、ジェスチャー事前動作予測結果記憶部２３、及びジェスチャーモデル記憶部３２は、図１９におけるメモリ９１に相当する。また、図３における撮像制御部１１、身体部位検出部１３、身体部位追跡部１４、身体部位動作情報生成部１５、ジェスチャー事前動作予測部２２ａ、ジェスチャー認識部３１、及び機器制御部４１は、プログラムを実行するプロセッサ９２に相当する。なお、図３に示されるジェスチャー認識装置１の一部を、図１９に示されるメモリ９１と、プログラムを実行するプロセッサ９２とによって実現してもよい。

　また、図１７に示されるジェスチャー認識装置２は、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ９１と、メモリ９１に格納されたプログラムを実行する情報処理部としてのプロセッサ９２とを用いて（例えば、コンピュータにより）実現することができる。この場合には、図１７における撮像データ記憶部１２、身体部位動作情報記憶部１６、ジェスチャー事前動作モデル記憶部２１ａ、ジェスチャー事前動作予測結果記憶部２３、及びジェスチャーモデル記憶部３２は、図１９におけるメモリ９１に相当する。また、図１７における撮像制御部１１、身体部位検出部１３、身体部位追跡部１４、身体部位動作情報生成部１５、ジェスチャー事前動作予測部２２ａ、ジェスチャー認識部３１ａ、及び機器制御部４１は、プログラムを実行するプロセッサ９２に相当する。なお、図１７に示されるジェスチャー認識装置２の一部を、図１９に示されるメモリ９１と、プログラムを実行するプロセッサ９２とによって実現してもよい。

　また、図１８に示されるジェスチャー認識装置３は、ソフトウェアとしてのプログラムを格納する記憶装置としてのメモリ９１と、メモリ９１に格納されたプログラムを実行する情報処理部としてのプロセッサ９２とを用いて（例えば、コンピュータにより）実現することができる。この場合には、図１８における撮像データ記憶部１２、身体部位動作情報記憶部１６、ジェスチャー事前動作モデル記憶部２１ａ、ジェスチャー事前動作予測結果記憶部２３、及びジェスチャーモデル記憶部３２は、図１９におけるメモリ９１に相当する。また、図１８における撮像制御部１１、身体部位検出部１３、身体部位追跡部１４、身体部位動作情報生成部１５、人物特定処理部１７、ジェスチャー事前動作予測部２２ａ、ジェスチャー認識部３１ａ、及び機器制御部４１は、プログラムを実行するプロセッサ９２に相当する。なお、図１８に示されるジェスチャー認識装置３の一部を、図１９に示されるメモリ９１と、プログラムを実行するプロセッサ９２とによって実現してもよい。

　本発明に係るジェスチャー認識装置、ジェスチャー認識方法、及び情報処理装置は、例えば、放送受信機、ＰＣ、カーナビゲーションシステム、及び情報通信端末等のような各種の電子機器に適用可能である。

　また、本発明に係るジェスチャー認識装置、ジェスチャー認識方法、及び情報処理装置は、ユーザーが実行するジェスチャーに応じて視聴チャンネルを変更する放送受信機、及び、ユーザーが実行するジェスチャーに応じてディスプレイに表示される電子番組表の表示の変更を行う放送受信機に適用可能である。

　１，２，３，７　ジェスチャー認識装置、　４　カメラ、　５　ディスプレイ、　１０，１０ａ　動作情報生成部、　１１　撮像制御部、　１２　撮像データ記憶部、　１３　身体部位検出部、　１４　身体部位追跡部、　１５　身体部位動作情報生成部、　１６　身体部位動作情報記憶部、　１７　人物特定処理部、　２０，２０ａ，２０ｂ　予測処理部、　２１，２１ａ　ジェスチャー事前動作モデル記憶部（第１の記憶部）、　２２，２２ａ　ジェスチャー事前動作予測部、　２３　ジェスチャー事前動作予測結果記憶部、　３０，３０ａ　認識処理部、　３１，３１ａ　ジェスチャー認識部、　３２　ジェスチャーモデル記憶部（第２の記憶部）、　４１　機器制御部、　５１　表示制御部、　５２　表示情報記憶部。

Claims (10)

1. 　ユーザーを撮影して取得された複数フレームの撮像データの各々において、前記ユーザーの身体部位の検出及び追跡を行って得られた前記身体部位の動作から身体部位動作情報を生成する動作情報生成部と、
   　ジェスチャーの直前に行われるジェスチャー事前動作についてのユーザーの身体部位の基準動作を示すジェスチャー事前動作モデル情報を予め記憶し、前記動作情報生成部によって生成された前記身体部位動作情報と前記ジェスチャー事前動作モデル情報とを比較する第１の比較を行い、前記第１の比較の結果に基づいて、前記動作情報生成部によって検出された前記身体部位の動作が示すジェスチャー事前動作についての予測結果を生成する予測処理部と、
   　ジェスチャー中におけるユーザーの身体部位の基準動作を示すジェスチャーモデル情報を予め記憶し、前記動作情報生成部によって生成された前記身体部位動作情報と前記ジェスチャーモデル情報とを比較する第２の比較を行い、前記予測結果と前記第２の比較の結果とに基づいて、前記動作情報生成部によって検出された前記身体部位の動作が示すジェスチャーの認識結果を生成する認識処理部と、
   　を有することを特徴とするジェスチャー認識装置。
2. 　前記認識処理部は、前記身体部位動作情報と前記ジェスチャー事前動作モデル情報との間の第１の類似度に応じて、前記複数フレームの撮像データの内の、前記第２の比較に用いる撮像データの時間を変更することを特徴とする請求項１に記載のジェスチャー認識装置。
3. 　前記認識処理部は、前記身体部位動作情報と前記ジェスチャー事前動作モデル情報との間の第１の類似度が予め決められた第１の閾値以上であるときに、前記複数フレームの撮像データの内の、前記第２の比較に用いる撮像データの時間を短縮することを特徴とする請求項１又は２に記載のジェスチャー認識装置。
4. 　前記認識処理部は、前記身体部位動作情報と前記ジェスチャー事前動作モデル情報との間の第１の類似度に応じて、前記第２の比較に用いる前記ジェスチャーモデル情報の範囲を絞り込むことを特徴とする請求項１に記載のジェスチャー認識装置。
5. 　前記認識処理部は、前記身体部位動作情報と前記ジェスチャー事前動作モデル情報との間の第１の類似度が予め決められた第１の閾値以上であるときに、前記第２の比較に用いる前記ジェスチャーモデル情報の範囲を絞り込むことを特徴とする請求項１又は４に記載のジェスチャー認識装置。
6. 　前記予測処理部は、前記ジェスチャー認識装置に接続される制御対象機器の種類、前記ジェスチャー認識装置の設置環境、時刻、時間帯あたりのジェスチャーの使用頻度のうちの少なくとも１つに応じて、前記第１の比較を行う前記ジェスチャー事前動作モデル情報を絞り込むことを特徴とする請求項１から５のいずれか１項に記載のジェスチャー認識装置。
7. 　前記認識処理部は、前記ジェスチャー認識装置に接続される制御対象機器の種類、前記ジェスチャー認識装置の設置環境、時刻、時間帯あたりのジェスチャーの使用頻度のうちの少なくとも１つに応じて、前記第２の比較を行う前記ジェスチャーモデル情報を絞り込むことを特徴とする請求項１から５のいずれか１項に記載のジェスチャー認識装置。
8. 　前記認識処理部は、前記認識されたジェスチャーの直前の身体部位動作情報を前記予測処理部に送信し、
   　前記予測処理部は、前記認識されたジェスチャーの直前の身体部位動作情報を、前記ジェスチャー事前動作モデル情報として記憶する
   　ことを特徴とする請求項１から７のいずれか１項に記載のジェスチャー認識装置。
9. 　ジェスチャーの直前に行われるジェスチャー事前動作についてのユーザーの身体部位の基準動作を示すジェスチャー事前動作モデル情報とジェスチャー中におけるユーザーの身体部位の基準動作を示すジェスチャーモデル情報とを予め記憶するジェスチャー認識装置が行うジェスチャー認識方法であって、
   　ユーザーを撮影して取得された複数フレームの撮像データの各々において、前記ユーザーの身体部位の検出及び追跡を行って得られた前記身体部位の動作から身体部位動作情報を生成する動作情報生成ステップと、
   　前記動作情報生成ステップにおいて生成された前記身体部位動作情報と前記ジェスチャー事前動作モデル情報とを比較する第１の比較を行い、前記第１の比較の結果に基づいて、前記動作情報生成ステップにおいて検出された前記身体部位の動作が示すジェスチャー事前動作についての予測結果を生成する予測処理ステップと、
   　前記動作情報生成ステップにおいて生成された前記身体部位動作情報と前記ジェスチャーモデル情報とを比較する第２の比較を行い、前記予測結果と前記第２の比較の結果とに基づいて、前記動作情報生成ステップにおいて検出された前記身体部位の動作が示すジェスチャーの認識結果を生成する認識処理ステップと、
   　を有することを特徴とするジェスチャー認識方法。
10. 　請求項１から８のいずれか１項に記載のジェスチャー認識装置と、
    　前記ジェスチャー認識装置に前記撮像データを送信する撮像装置と、
    　前記ジェスチャーの認識結果に応じて制御される制御対象機器と、
    　を有することを特徴とする情報処理装置。

Images