JP6019947B2 - ジェスチャ認識装置、その制御方法、表示機器、および制御プログラム - Google Patents

Description

本発明は、ユーザの動作からジェスチャを認識するジェスチャ認識装置、その制御方法、表示機器、および制御プログラムに関する。

近年、テレビジョン受像機、パーソナルコンピュータ、またはタブレット端末などの表示装置に、操作者が動作させる認識対象物のジェスチャを認識するジェスチャ認識装置を組み合わせた表示機器が登場してきている。このような表示機器において、操作者がデータグローブ等の特殊な装具を装着する必要がなく、また操作者が自然かつスムーズに当該表示機器に対する操作を行えるように、操作者の手や指などを用いて行うジェスチャを認識するジェスチャ認識装置が望まれている。

ここで、図６を用いて、従来のジェスチャ認識装置におけるジェスチャ認識の流れを説明しておく。同図に示すとおり、従来のジェスチャ認識では、まず操作者の特定／決定が行われる。すなわち、ジェスチャ認識装置は、認識した複数の人物のうちいずれの人物を操作者とするか否か判断したり、または、認識した人物が予め登録された操作者リストに含まれているか判断したりする。次に、操作者が、ジェスチャを開始することをジェスチャ認識装置に伝達する。具体的には、操作者が、例えば手を挙げるなどの開始動作を行うと、ジェスチャ認識装置が、カメラなどの撮影部を用いて撮影した上記開始動作を認識して、認識対象物（例えば操作者の手、指示棒など）のジェスチャ認識を行うことができる状態になる。その後、ジェスチャ認識装置は、上記開始動作の後に操作者が認識対象物を用いて行うジェスチャを認識する。

ところで、ジェスチャ認識装置においては、認識対象物のジェスチャ認識を実行する際、処理負荷を低減することなどを目的として、撮影部によって撮影された画像の全体領域においてジェスチャ認識を行うのではなく、画像の一部領域を認識領域として設定し、該認識領域内でジェスチャ認識を行う場合がある。

例えば、特許文献１には、動画像データから肌色領域を抽出し、さらに抽出された肌色領域について、顔形状のテンプレートを用いることによって顔領域を算出するジェスチャ認識装置において、算出された顔領域の横幅、縦長さ、面積などを用いてジェスチャの起こりうる範囲を限定し、この限定された領域のみにおいて、ジェスチャ認識を実行することが記載されている。

また、特許文献２には、ステレオカメラを用いてユーザを撮像することにより、室内空間におけるユーザの位置を３次元的に特定し、上記ステレオカメラから取得されるユーザの距離情報（ｘ、ｙ、ｚ）に基づき、ユーザの頭部や手といった認識対象となる領域を抽出する情報統合認識装置が記載されている。また、同文献には、上記認識対象となる領域を抽出するにあたり、各カメラの視野内において、床面から突起しており、かつ室内において固定的でない対象について、６４×６４画素程度の大きさで高い所から順次抽出し、抽出された対象を上記認識対象とすることが記載されている。

特開２００３−２１６９５５号公報（２００３年７月３１日公開） ＷＯ２００３／０２５８５９号公報（２００３年３月２７日公開）

さて、ユーザが自身の手を認識対象物として用いてジェスチャを行う場合、適切な認識領域の範囲および位置がユーザ毎に異なる。例えば、ユーザが大人であれば大きな範囲の認識領域が適切である一方、子供のユーザに対しては、より小さな認識領域が適切である。また、ユーザ毎に腕の長さがそれぞれ異なることから、ユーザの顔の位置に対する認識領域の位置についても、ユーザ毎にそれぞれ違っている。

しかしながら、特許文献１および特許文献２に開示された技術によれば、認識対象となる領域はジェスチャ認識装置または情報統合認識装置によって決定されるものである。すなわち、ユーザは、自分に適切な認識領域を設定することや、状況に応じて認識領域を修正するといったことができない。そのため、ユーザは、快適なジェスチャを行うことができない場合があるという問題がある。

本発明は、上記の課題に鑑みてなされたものであり、その目的は、ユーザが認識領域を規定することのできるジェスチャ認識装置を提供することにある。

本発明に係るジェスチャ認識装置は、上記課題を解決するために、ユーザが撮影された動画から、該ユーザによるジェスチャを認識するジェスチャ認識装置において、上記ジェスチャの種類を判定する判定手段と、上記判定手段によって判定されたジェスチャの種類に基づいて、動画像全体の領域のうちジェスチャが認識される領域である認識領域を規定する認識領域規定手段とを備えたことを特徴としている。

また、本発明に係るジェスチャ認識装置の制御方法は、上記課題を解決するために、ユーザが撮影された動画から、該ユーザによるジェスチャを認識するジェスチャ認識装置の制御方法であって、上記ジェスチャの種類を判定した後、判定されたジェスチャの種類に基づいて、動画像全体の領域のうちジェスチャが認識される領域である認識領域を規定することを特徴としている。

上記構成および上記方法によれば、ユーザが実行するジェスチャの種類の判定結果に基づいて、認識領域が規定される。すなわち、ユーザは、ジェスチャを行うことによって、認識領域を規定することができる。なお、上記ジェスチャの種類は、ユーザがジェスチャを行うために使用する認識対象物の形状、向き、および／または変位によって規定されるものであってよい。これにより、ユーザは、ジェスチャによって所望の位置および大きさで認識領域を設定することができる。また、ユーザは、認識対象物を用いて、形状、向き、および／または変位が互いに異なるジェスチャを行うことにより、認識領域を修正することもできる。このように、ユーザ自身が認識領域を規定することができることによって、ユーザは快適なジェスチャを行うことができる。

また、本発明に係るジェスチャ認識装置は、上記ユーザの手によってジェスチャが行われ、上記ジェスチャを行う際の所定の手形状を含む手形状リストを記憶した記憶部をさらに備え、上記判定手段が、上記手形状リストを参照することによって、上記所定の手形状を検出する構成であってもよい。

上記構成によれば、ユーザが手を用いて行うジェスチャの種類が、手形状リストを用いて判定される。そしてその判定結果に基づいて、認識領域が規定される。ユーザは、手の形状、向き、および／または変位によって規定されるジェスチャによって、所望の位置および大きさで認識領域を設定することができる。また、手の形状、向き、および／または変位を変えたジェスチャを行うことにより、認識領域を修正することもできる。

また、本発明に係るジェスチャ認識装置は、上記判定手段が、上記所定の手形状を検出した場合に、上記ユーザが上記所定の手形状とした手を振る範囲を検出する動作検出手段をさらに備え、上記認識領域規定手段は、上記動作検出手段によって検出された上記手を振る範囲に基づいて、上記認識領域を規定する構成であってもよい。

上記構成によれば、ユーザが手を振る動作を行うことにより、手を振る範囲に基づいて、認識領域が設定される。従って、ユーザは、手を振るという簡単な動作によって、自分で認識領域を設定することができる。さらに、手を振る範囲を調整することによって、認識領域の大きさおよび／または位置を、ユーザ自身で調整することができる。これにより、ユーザは、所望の位置および所望の大きさに設定した認識領域内で、ジェスチャを行うことができる。

また、本発明に係るジェスチャ認識装置は、上記判定手段が、上記所定の手形状を検出した場合に、上記ユーザが上記所定の手形状とした手を用いてジェスチャを行っている間、上記手の特定部位の動きを監視することによって、上記特定部位が上記認識領域をはみ出さないか監視する動作範囲監視手段をさらに備え、上記手の上記特定部位が上記認識領域をはみ出したことを上記動作範囲監視手段が検出した場合に、上記認識領域規定手段は、上記認識領域を所定の割合で拡大する修正を行う構成であってもよい。

上記構成によれば、ユーザが自分の手を用いてジェスチャを行っている間、その手の特定部位が、認識領域をはみ出すことがないか監視される。そして、手の上記特定部位が認識領域をはみ出した場合、上記認識領域を拡大するように修正が行われる。なお、操作者の手の上記特定部位とは、例えば、人差し指のみを延ばした手の人差し指の先端である。

さて、ユーザがジェスチャを行う際、予め定義された認識領域を、ユーザは見ることができない。そのため、ユーザは手を用いてジェスチャを行っている間に、その手が認識領域からはみ出てしまう場合がある。また、予め定められた認識領域がユーザにとって適切な大きさや適切な位置でなかった場合、ユーザは快適な操作を行うことができない。しかしながら、上記構成および上記方法によれば、ユーザがジェスチャを行う手の特定部位が認識領域をはみ出した場合、認識領域が所定の割合で拡大される。従って、ユーザは、予め定められた認識領域が狭すぎたり、あるいは位置が遠すぎ／近すぎたりする場合であっても、ジェスチャを行っている手が認識領域からはみ出すことを気にする必要がないので、快適なジェスチャを行うことができる。

また、本発明に係るジェスチャ認識装置は、上記記憶部が、上記手の向きおよび変位の少なくともいずれか一方と上記認識領域の修正内容とを対応付ける認識領域修正テーブルをさらに記憶しているとともに、上記判定手段が、上記所定の手形状を検出した場合に、上記認識領域修正テーブルを参照することにより、上記手の向きおよび変位の少なくともいずれか一方と対応する上記認識領域の修正内容を検出する動作検出手段をさらに備え、上記認識領域規定手段は、上記修正内容で上記認識領域を修正する構成であってもよい。

上記構成によれば、認識領域を修正するための修正動作が検出された場合に、検出された修正動作と対応する修正内容で上記認識領域が修正される。そこで、ユーザは、状況や好みに応じて認識領域を修正したい場合、所望の修正内容に対応する修正動作を行う。すると、ユーザの行った修正動作が検出されて、認識領域が修正されることになる。ここで、認識領域の上記修正内容とは、例えば、認識領域の大きさや位置である。従って、上記構成および上記方法によれば、ユーザは、現時点の認識領域が適切でない場合に、修正動作を行うことにより、認識領域の大きさや位置を自分で修正することができる。

また、本発明に係るジェスチャ認識装置は、外部の機器に対して、ジェスチャの認識結果に対応する処理を実行するように指示する機器制御手段をさらに備えた構成であってもよい。

上記構成によれば、上述したようなジェスチャの認識結果に対応する処理が、外部の機器において実行される。上記外部の機器とは、例えば表示装置を備えた表示機器である。これにより、ユーザは、上記表示機器などの外部の機器を、ジェスチャで操作することができる。

なお、上記ジェスチャ認識装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記ジェスチャ認識装置をコンピュータにて実現させるジェスチャ認識装置の制御プログラムも、本発明の範疇に入る。

また、上記ジェスチャ認識装置と、上記ジェスチャ認識装置が保持する各種情報をユーザに表示するための表示装置とを備え、上記ジェスチャ認識装置によって動作制御が行われる表示機器も本発明の範囲に含まれる。

以上のように、本発明に係るジェスチャ認識装置は、ジェスチャの種類を判定する判定手段と、上記判定手段によって判定されたジェスチャの種類に基づいて、動画像全体の領域のうちジェスチャが認識される領域である認識領域を規定する認識領域規定手段とを備えている。

また、本発明に係る別のジェスチャ認識装置は、ジェスチャの種類を判定した後、判定されたジェスチャの種類に基づいて、動画像全体の領域のうちジェスチャが認識される領域である認識領域を規定する。

これにより、ユーザが認識領域を規定することのできるジェスチャ認識装置を提供することができる。

本発明の一実施形態に係るジェスチャ認識装置の構成を示すブロック図である。 （ａ）は手を振る開始動作を示す模式図であり、（ｂ）は（ａ）にＺで示す動画像領域において、操作者が手を振る動作を撮影した動画像の差分を累積した累積値を示している。 指を用いてジェスチャを行う操作者を示す模式図である。 図１に示すジェスチャ認識装置の動作を示すフローチャートである。 図１に示すジェスチャ認識装置が適用された表示機器の外観を示す図である。 一般的なジェスチャ認識の流れを説明する説明図である。

以下、本発明の実施の形態について、詳細に説明する。なお、以下の説明において、「右」や「左」は、動画像を視認する者から見た方向をあらわすものとする。

〔実施形態１〕
本発明のジェスチャ認識装置１に関する実施の一形態について図１〜図４に基づいて説明すれば、以下のとおりである。

（ジェスチャ認識装置１の構成）
まず、ジェスチャ認識装置１の構成について、図１を用いて説明する。同図は、ジェスチャ認識装置１の構成を示すブロック図である。

図１に示すように、ジェスチャ認識装置１は、動画撮影部１１、制御手段１２、および記憶部１３を備えている。以下に、上記の各部材の詳細をそれぞれ説明する。

（１．動画撮影部１１）
動画撮影部１１は、操作者を含む空間の画像を撮影するものである。動画撮影部１１は、より詳細には、ジェスチャを行う主体となる操作者、および、ジェスチャ認識の対象となる操作者の手（認識対象物）を撮像し、動画データを生成する。また、動画撮影部１１は、所定の時間（例えば１／１５秒）ごとに撮影したフレーム画像を、制御手段１２に出力する。

（２．制御手段１２）
制御手段１２は、ジェスチャ認識装置１が備える各部を統括制御するものであり、形状認識手段（判定手段）１２１、動作範囲監視手段１２２、動作検出手段１２３、認識領域規定手段１２４、ジェスチャ認識手段１２５、および表示機器制御手段１２６を含む構成である。なお、制御手段１２に含まれる各手段については、その詳細を後述する。

（３．記憶部１３）
記憶部１３は、ジェスチャ認識装置１が扱う各種データを記憶するものであり、データを揮発的に記憶する一時記憶部と、データを不揮発的に記憶する記憶装置とを含む。上記一時記憶部は、ジェスチャ認識装置１が実行する各種処理の過程で、演算に使用するデータおよび演算結果等を一時的に記憶するいわゆるワーキングメモリであり、ＲＡＭなどで構成される。また、上記記憶装置は、制御手段１２が実行する制御プログラムおよびＯＳプログラム、ならびに、ジェスチャ認識装置１が有する各種機能を実行するときに読み出す各種データを記憶するものであり、ＲＯＭなどで構成される。

記憶部１３は、以下の３つの内容を記憶している。
１．後述する手の形状１〜３を含む手形状リスト
２．形状２とした手の向きおよび／または変位と、下記認識領域ＯＥの修正内容とを対応付ける認識領域修正テーブル
３．あるジェスチャを認識した場合に制御手段１２により実行される処理内容を、ジェスチャの種類毎にそれぞれ示すジェスチャ−処理内容対応テーブル
なお、上記認識領域ＯＥとは、上記ユーザが上記手を用いて行うジェスチャの種類に基づいて、動画像全体の領域のうちジェスチャが認識される領域のことである。

（制御手段１２の詳細な構成）
以下に、制御手段１２の詳細な構成について、図１〜図３を用いて説明する。

（１．形状認識手段１２１）
形状認識手段１２１は、操作者の手の形状として、特に以下の３つの形状１〜３を識別するものである。
形状１．５本の指（すなわち全ての指）を延ばした手
形状２．２本の指（例えば人差し指と中指）を延ばした手
形状３．１本の指（例えば人差し指）を延ばした手
（手の形状の認識方法について）
手の形状を認識する方法としては、以下の３つの方法を挙げることができる。

第１に、手の形状毎にテンプレートを作成しておき、テンプレートマッチングの方法によって、動画像に写る手の形状を認識する方法。

第２に、手の形状毎にそれぞれ用意した複数の学習サンプルを、統計学的学習方法によって学習しておき、学習された手の形状と動画像に写る手の形状との類似度を計算することによって、類似度の高さから動画像に写る手の形状を決定する方法。

第３に、マルチクラス分類（多クラス識別）により、Ｒａｎｄｏｍｉｚｅｄ Ｔｒｅｅｓなどの１つの決定木（識別器）を学習し、学習された決定木によって動画像に写る手の形状のクラスを決定する方法。

（テンプレートマッチングについて）
テンプレートマッチングとは、撮影された動画像などのサンプルについて、予め準備したモデルとの一致（マッチング）の程度を計算する方法のことである。

以下に、テンプレートマッチングの方法による手の形状認識の流れを簡単に説明する。なお、テンプレートマッチングのため、顔形状のテンプレートを予め記憶部１３に記憶しておく。

まず、動作検出手段１２３は、認識領域ＯＥから、人間の肌の色を有する領域である肌色領域を抽出する。これにより、認識領域ＯＥ内にある操作者の手が抽出されることになる。次に、動作検出手段１２３は、抽出した肌色領域の形状について、記憶部１３に予め記憶した形状１〜３の手形状のテンプレートとのテンプレートマッチングを行う。そして、動作検出手段１２３は、テンプレートマッチングの結果、肌色領域の形状との類似度が最も高い形状１〜３のいずれかを、上記肌色領域の形状から認識された手形状として決定する。ただし、動作検出手段１２３は、上記肌色領域の形状と、各テンプレートとの類似度がいずれも所定値より低い場合、形状１〜３のいずれにも該当しないと判定する。

（２．動作範囲監視手段１２２）
動作範囲監視手段１２２は、操作者が形状３の形にした手を用いてジェスチャを行っている間、その手の先端部すなわち人差し指の先端Ｆ（図３参照）の動作する動作範囲が、認識領域ＯＥをはみ出すことがないかを監視するものである。言い換えれば、動作範囲監視手段１２２は、認識領域ＯＥの内側から外側へ、認識領域ＯＥの境界である四角形の各辺を人差し指の先端Ｆが横切らないかを監視する。

なお、本実施形態のように、操作者が人差し指のみを延ばした手（形状３）によってジェスチャを行う場合、動作範囲監視手段１２２は、人差し指の先端Ｆを抽出する。しかしながら、本発明はこれに限られない。例えば、操作者が形状３以外の形状とした手を用いてジェスチャを行う場合、動作範囲監視手段１２２は、その手の特定部位が認識領域ＯＥをはみ出すことがないかを監視する。

（人差し指の先端Ｆの抽出について）
人差し指の先端Ｆを抽出するためには、操作者の手を抽出したのち、その手の人差し指を抽出するという過程を経る。まず、動画像から操作者の手を抽出するには、認識領域ＯＥにおいて、動画像の前景を抽出すればよい。これにより、ジェスチャ実行時には動画撮影部１１に対して最も近くに位置する操作者の手が抽出されることになる。あるいは、認識領域ＯＥ内において、肌色を有する領域を抽出してもよい。また、操作者の手から人差し指を抽出するには、縦方向に所定以上の長さで肌色が連続する一方、横方向には所定未満の長さで肌色が連続する、長細い形状を有する領域を抽出すればよい。これにより、人差し指のみを延ばした手が認識対象物である場合、人差し指が抽出されることになる。さらに、こうして抽出された長細い形状の領域の先端部を抽出すれば、人差し指の先端Ｆが抽出されることになる。

（３．動作検出手段１２３）
動作検出手段１２３は、形状１または２の手の形状を作った操作者が行う設定動作および修正動作を検出するものである。ここで、上記設定動作および上記修正動作とは、動画像全体の領域のうちジェスチャが認識される領域である認識領域ＯＥ（図３参照）を設定または修正するために操作者が行う動作のことである。以下に、動作検出手段１２３によって検出される設定動作および修正動作を示す。
設定動作：操作者が、形状１すなわち全ての指を延ばした形状を作った手を振る動作。
修正動作：操作者が、形状２すなわち人差し指および中指を延ばした手の形状を作り、延ばした２本の指を所定の方向に向ける動作。ここで、上記所定の方向とは、例えば左右方向、上下方向、または斜め方向である。

ここで、上記設定動作における手を振る動作とは、詳細には、図２の（ａ）に示すように、全ての指を延ばした形状とした手のひらをジェスチャ認識装置１（動画撮影部１１）に向けた状態で、操作者が手を（上下左右いずれかの方向に）振る動作である。

なお、上記修正動作において、動作検出手段１２３は、延ばした指が所定の方向に向けられたことを検出する代わりに、手が所定の方向に変位したことを検出する構成としてもよい。この場合、上記修正動作は、“操作者が、形状２すなわち人差し指および中指を延ばした手の形状を作り、その手を所定の方向に変位させる動作”となる。

なお、上記設定動作および上記修正動作は上記の内容に限定されず、手の形状（例えば延ばされた指の本数）、手の向き（例えば、延ばされた指の方向）、および手の変位（例えば変位量）によって規定されるものであればよい。

（手振り動作の検出方法について）
動作検出手段１２３は、操作者を撮影した動画のフレーム画像について、画像間における差分を抽出する。動作検出手段１２３は、例えば３０フレーム分の画像に亘って画像間差分を抽出する処理を行い、こうして抽出された各差分を累積する。これにより、画像間において変位している領域、すなわち動いている領域が抽出されることになる。図２の（ａ）に示す手振り動作を撮影した動画について、上記のように画像間差分を累積した差分累積結果を、図２の（ｂ）に示す。なお、図２の（ｂ）は、図２の（ａ）において、Ｚで示す領域を拡大したものである。図２の（ｂ）においては、白色が強い領域ほど画像間差分の累積値が高いことを示している。動作検出手段１２３は、このようにして抽出された画像間差分の累積値が、所定値よりも大きい領域が存在する場合、手振り動作を検出したと判定する。

（４．認識領域規定手段１２４）
認識領域規定手段１２４は、動作範囲監視手段１２２による動作範囲の監視結果、および動作検出手段１２３による修正動作および設定動作の検出結果に基づいて、認識領域ＯＥの修正を行うものである。以下に、動作範囲監視手段１２２および動作検出手段１２３の検出結果による認識領域ＯＥの修正および設定について、それぞれ詳細に説明する。

（設定動作による認識領域ＯＥの設定）
形状認識手段１２１により形状１の手の形が認識された場合、認識領域規定手段１２４は、動作検出手段１２３によって上記設定動作が検出された後、認識領域ＯＥを設定する。このとき、認識領域規定手段１２４は、動作検出手段１２３が算出した上記差分累積結果に基づき、認識領域ＯＥを設定する。具体的には、認識領域規定手段１２４は、画像間差分の累積値が所定値以上である点（画素）をすべて含み、かつ、画像の上下および左右方向に平行な辺を有する最小の四角形の領域を算出する。認識領域規定手段１２４は、こうして算出された四角形の領域を認識領域ＯＥとして設定する（図２（ｂ）参照）。

さて、特許文献１に記載された従来のジェスチャ認識装置では、まず顔領域を算出して、この顔領域に基づき、ジェスチャを認識する領域を設定していた。そのため、操作者が動画撮影部に近づきすぎた場合など、動画像に操作者の顔が映らない場合、上記従来のジェスチャ認識装置では、ジェスチャを認識する領域を設定することができなかった。一方、本実施形態に係るジェスチャ認識装置１では、認識領域規定手段１２４は、上記のように操作者の顔の位置を特定することなく、認識領域ＯＥの設定を行う。従って、たとえ動画像に操作者の顔が映らない場合であっても、認識領域ＯＥの設定を行うことができる。

（修正動作による認識領域ＯＥの修正）
形状認識手段１２１により形状２の手の形が認識された場合、認識領域規定手段１２４は、前述した修正動作に基づいて、認識領域ＯＥの修正を行う。

認識領域規定手段１２４は、以下のように、上記認識領域修正テーブルを参照することにより、動作検出手段１２３によって検出された修正動作に対応する修正内容で、認識領域ＯＥを修正する。

操作者が手で形状２の形を作り、延ばした指（人差し指および中指）をある方向に向ける修正動作を、動作検出手段１２３が検出した場合、認識領域規定手段１２４は、人差し指および中指が延ばされた方向に基づいて、認識領域ＯＥの修正を行う。例えば、動作検出手段１２３は、人差し指および中指を左方向／右方向に向ける修正動作を検出した場合、認識領域を右方向／左方向に所定の割合（例えば、認識領域の左右方向の長さの１０％）で拡大する。また、動作検出手段１２３は、人差し指および中指を上方向／下方向に向ける修正動作を検出した場合、認識領域を上方向／下方向に所定の割合（例えば、認識領域の上下方向の長さの１０％）で拡大する。さらに、動作検出手段１２３は、人差し指および中指を斜め方向に向ける修正動作を検出した場合、認識領域を横方向および縦方向に所定の割合（例えば、各辺の長さの１０％）で、それぞれ拡大する。

また、上記修正動作において、前述のように、手を所定の方向に変位させることを、延ばした指を所定の方向に向けることの代わりとする構成としてもよい。この構成の場合、手を所定の方向に動かしたときの手の変位量に応じて、認識領域ＯＥの修正内容を異なるものとしてもよい。例えば、操作者が所定の距離より短い距離で手を動かした場合、認識領域規定手段１２４は、認識領域ＯＥを１０％の割合で拡大する一方、操作者が所定の距離以上の距離で手を動かした場合、認識領域規定手段１２４は、認識領域ＯＥを２０％の割合で拡大してもよい。

なお、上記のように認識領域ＯＥを拡大する構成以外にも、操作者が、人差し指、中指、および薬指を延ばした手の形状を作り、延ばした３本の指を所定の方向に向ける動作を行った場合に、認識領域規定手段１２４は、指が延ばされた方向に基づいて、認識領域ＯＥを規定する四角形の各辺のうち、指が延ばされた側の辺の長さを１０％の割合で縮小する修正を行う構成としてもよい。

このように、本発明は、操作者が手の形状・向きや変位によって規定される修正動作によって認識領域ＯＥの修正を行うことができるので、以下のような利点を有する。

操作者が動画撮影部１１から遠くに位置する場合、操作者が動画撮影部１１の近くに位置する場合と比べて、操作者がジェスチャを行ったときの該ジェスチャの解像度が低くなる。その結果、ジェスチャ認識の精度が低下する。そのため、操作者が動画撮影部１１から離れてジェスチャを行う場合、ジェスチャ認識の精度を保つためには、認識領域を拡大する修正が必要となる。しかしながら、特許文献１および２に記載された従来のジェスチャ認識装置では、操作者が動画像における認識領域の範囲を修正することはできない。一方、本実施形態に係るジェスチャ認識装置１では、上述した修正動作または設定動作を行うことによって、操作者が認識領域ＯＥを拡大することができる。すなわち、本発明によれば、操作者は、動画撮影部１１から自分までの距離に応じて、認識領域ＯＥが適切な範囲となるように調整することができる。

（動作範囲の監視結果による認識領域ＯＥの修正）
形状認識手段１２１により形状３の手の形が認識された場合、認識領域規定手段１２４は、以下のように、動作範囲監視手段１２２による動作範囲の監視結果に基づいて、認識領域ＯＥの修正を行う。

認識領域規定手段１２４は、操作者の人差し指先端Ｆが認識領域ＯＥからはみ出したことを動作範囲監視手段１２２が検出した場合、認識領域ＯＥの各辺について、所定の長さ、例えば各辺の１０％の割合で拡大する。あるいは、認識領域規定手段１２４は、人差し指の先端Ｆが認識領域ＯＥをはみ出たときに横切った認識領域ＯＥの辺が右／左の辺であった場合、認識領域ＯＥを右方向／左方向に１０％の割合で拡大してもよい。同様に、認識領域規定手段１２４は、人差し指の先端Ｆが認識領域ＯＥをはみ出たときに横切った認識領域ＯＥの辺が上／下の辺であった場合、認識領域ＯＥを上方向／下方向に１０％の割合で拡大してもよい。

なお、認識領域規定手段１２４は、人差し指先端Ｆが認識領域ＯＥから１度または所定の回数はみ出したことを動作範囲監視手段１２２が検出した場合に、認識領域ＯＥを拡大してもよいし、あるいは、人差し指先端Ｆが認識領域ＯＥから所定以上の頻度（例えば１００フレームの間に５回）ではみ出したことを動作範囲監視手段１２２が検出した場合に、認識領域ＯＥを拡大してもよい。その他、認識領域規定手段１２４は、人差し指の先端Ｆが所定以上の変位速度で認識領域ＯＥからはみ出したことを動作範囲監視手段１２２が検出した場合に、認識領域ＯＥを上述のように拡大する修正を行ってもよい。ここで、上記所定以上の速さとは、例えば、１フレーム間（１／１５秒間に相当）に、認識領域ＯＥの辺の長さの１０％以上、人差し指の先端Ｆが変位する速さである。

（５．ジェスチャ認識手段１２５）
ジェスチャ認識手段１２５は、認識領域ＯＥ（ＯＥ´）内において、操作者の手の位置、形状、向き、および変位を認識することによってジェスチャ認識を行う。なお、ジェスチャ認識の方法としては、ＨＭＭ（Hidden Markov Model；隠れマルコフモデル）あるいは連続ＤＰ（Continuous Dynamic Programming）などを使用することができる。

ジェスチャ認識を行うためには、ＨＭＭを用いた方法を使用することができる。ＨＭＭを用いた方法では、予め、ジェスチャ認識装置１が認識するジェスチャの種類毎のモデルを、ジェスチャデータベースとして記憶部１３に記憶しておく。その後、ジェスチャ認識装置１に入力された画像に対して、ジェスチャ認識手段１２５は、上記ジェスチャデータベースに含まれる各モデルの尤度を計算する。その結果、入力画像に対する尤度値が所定値以上である１つまたは複数のモデルが発見された場合、ジェスチャ認識手段１２５は、それらのモデルのうち尤度が最も高いモデルに対応するジェスチャを、入力画像から認識したジェスチャとして、表示機器制御手段１２６に送出する。

なお、ジェスチャ認識手段１２５は、上述のようにＨＭＭを用いたジェスチャ認識を行う他に、人差し指先端Ｆの変位測定を行う。これにより、後述するように、表示機器１０００に表示したポインタＰ（図５参照）を、人差し指先端Ｆの動作に連動させる構成を実現することができる。

（６．表示機器制御手段１２６）
表示機器制御手段１２６は、ジェスチャ認識装置１外部の表示機器において、ジェスチャ認識手段１２５によるジェスチャ認識結果に対応する処理が実行されるよう制御するものである。詳細には、表示機器制御手段１２６は、上記ジェスチャ−処理内容対応テーブルを参照し、認識されたジェスチャに対応する処理を実行するよう、上記表示機器を制御する。

次に、図１、図５を参照しつつ、表示機器制御手段１２６による表示機器１０００の制御を例に挙げて説明する。まず、表示機器制御手段１２６は、ジェスチャ認識結果に基づいて決定した処理内容を指示する制御信号を、表示機器１０００が備えた制御機能部（図示せず）に送信する。すると、上記制御機能部は、表示機器制御手段１２６の送信した制御信号を受信して、上記処理内容を実行する。上記処理内容とは、例えば、人差し指先端Ｆの変位を認識した結果に基づき、表示装置２に表示されたポインタＰを人差し指先端Ｆと連動させる処理である。あるいは、上記処理内容は、操作者が手で所定の形状を作るジェスチャを行った場合に、上記ポインタＰと重なる位置に表示されているアイコンが選択される処理である。このように、操作者は、表示装置２の画面に接触したりグローブなどの装具を使用したりすることなく、自身の手を用いた簡単なジェスチャによって、表示機器１０００の操作を行うことができる。

（ジェスチャ監視処理の流れ）
ここでは、制御手段１２によって実行されるジェスチャ監視処理の流れについて、図４に示すフローチャートを用いて説明する。ジェスチャ監視処理では、操作者が自身の手を用いてジェスチャを行っている間、その手による修正動作および設定動作が検出されるとともに、人差し指先端Ｆの動作範囲の監視が行われる。そして、上記修正動作、上記設定動作、および上記動作範囲の監視結果に基づき、認識領域ＯＥが修正または設定される。以下に、ジェスチャ監視処理について詳細に説明する。

まず、形状認識手段１２１は、操作者が手を用いてジェスチャを行っている間、その手の形状を認識する（Ｓ１０１）。

形状認識手段１２１によって形状１の手の形が認識された場合、動作検出手段１２３は、手振り動作の範囲に基づき、認識領域ＯＥを設定する（Ｓ１０２Ａ）。あるいは、すでに認識領域ＯＥが設定済であった場合、動作検出手段１２３は、手振り動作の範囲に基づき、認識領域ＯＥ´を再設定する。

または、形状認識手段１２１によって形状２の手の形が認識された場合、認識領域規定手段１２４は、上記修正動作に基づき、認識領域ＯＥの修正を行う（Ｓ１０２Ｂ）。

または、形状認識手段１２１によって形状３の手の形が認識された場合、動作範囲監視手段１２２は、認識領域ＯＥ内でジェスチャを行うために動作する手の人差し指先端Ｆが、認識領域ＯＥからはみ出ないか監視する（Ｓ１０２Ｃ）。言い換えれば、動作範囲監視手段１２２は、人差し指先端Ｆの動作範囲を監視する。なお、このとき、ジェスチャ認識手段１２５は、例えば人差し指先端Ｆの変位を計測するなどのジェスチャ認識を行っている。そして、認識領域規定手段１２４は、動作範囲監視手段１２２が人差し指先端Ｆの動作範囲を監視している間、認識領域ＯＥの修正を行う必要があるか否かを判定する（Ｓ１０３Ｃ）。このとき、認識領域規定手段１２４は、詳細には、人差し指先端Ｆが認識領域ＯＥからはみ出したことを、所定時間内に１度または所定回数以上、あるいは所定以上の頻度で動作範囲監視手段１２２が検出した場合に、認識領域ＯＥを修正することを決定する。認識領域規定手段１２４は、認識領域ＯＥの修正を行う必要があると判定した場合（Ｓ１０３Ｃでｙｅｓ）、上記修正動作に基づき、認識領域ＯＥの修正を行う（Ｓ１０４Ｃ）。一方、認識領域規定手段１２４は、認識領域ＯＥの修正を行う必要がないと判定した場合（Ｓ１０３Ｃでｎｏ）、認識領域ＯＥの修正は行わない。

または、形状認識手段１２１によって形状１〜３以外の手の形が認識された場合、ジェスチャ認識手段１２５によって、操作者の手によるジェスチャが認識される（Ｓ１０２Ｄ）。

上記ステップＳ１０２Ａ、Ｓ１０２Ｂ、Ｓ１０４Ｃ、またはＳ１０２Ｄが終了した後、形状認識手段１２１が操作者の手の形状を認識する処理（Ｓ１０１）に戻る。

（まとめ）
以上のように、本発明に係るジェスチャ認識装置１は、特定の手の形状１〜３を認識した場合に、認識領域ＯＥの規定（設定あるいは修正）を行う。しかしながら、本発明は、これに限られない。すなわち、操作者が手を用いて行うジェスチャの種類に基づいて、認識領域規定手段１２４が認識領域ＯＥを規定する構成ならば、本発明の範囲内に含まれる。なお、上記ジェスチャの種類は、操作者がジェスチャを行う手の形状、向き、および／または変位によって規定されるものであればよい。特に、上記手の変位は、手の変位量、変位方向、または変位速度であってもよい。

〔実施形態２〕
本実施形態に係る表示機器１０００について、図５に基づいて説明すれば、以下のとおりである。なお、説明の便宜上、実施形態１で説明した図面と同じ機能を有する部材については、同じ符号を付記して、その説明を省略することとする。

（表示機器１０００の構成）
図５として外観図を示す表示機器１０００は、前記実施形態１のジェスチャ認識装置１と、表示装置２とを備えたものである。なお、表示機器１０００は、具体的にはパーソナルコンピュータである。しかしながら、本発明はこれに限られず、表示機器１０００は、テレビジョン受像機、インターネットテレビ、またはタブレット端末など、制御機能および表示機能を有する各種表示機器であってよい。

また、図５では、ジェスチャ認識装置１が表示装置２の上側に設置されているが、ジェスチャ認識装置１が設置される位置について特に制限はなく、表示装置２の下側・左側・右側に設置されてもよいし、または表示装置２と一体となった構成であってもよい。ジェスチャ認識装置１と表示装置２とが一体となった構成としては、例えば、表示装置２の画面の周りを囲うフレーム部分に、動画撮影部１１が埋め込まれた構成としてもよい。さらに、表示装置２がウェブカメラを備えている場合には、このウェブカメラを動画撮影部１１の代用とすることができる。この場合、表示機器１が備えた制御機能部（図示せず）に、ジェスチャ認識装置１の制御手段１２を含むことにより、ジェスチャ認識装置１の全体がソフトウェア的に実現されることになる。

（表示機器１の制御について）
本実施形態における表示機器制御手段１２６は、ジェスチャ認識手段１２５から取得したジェスチャ認識結果に基づいて、表示装置２における表示を制御する。表示機器制御手段１２６は、例えば、上記表示機器１０００がさらに備えた制御機能部と協働することによって、表示装置２に表示されたポインタＰの動作を制御する。具体的には、ジェスチャ認識装置１が認識対象物（人差し指のみを延ばした手）のジェスチャを認識した結果に基づき、ポインタＰは、認識対象物のジェスチャに対応する動作をする。例えば、操作者が認識領域ＯＥ内において人差し指を動かすと、表示装置２の画面内において、ポインタＰが人差し指の動いた距離・方向で連動する。このように、操作者は、表示装置２の画面に接触したり、あるいはリモコンなどの道具を使用したりすることなく、画面に表示されたポインタＰを操作することができる。

次に、表示機器１０００の使用例を挙げて、表示機器制御手段１２６の詳細な処理について説明する。まず、操作者が、認識領域ＯＥ内で、認識対象物（手）を用いたジェスチャを行う。認識対象物のジェスチャは動画撮影部１１によって撮影されて、ジェスチャ認識手段１２５によって認識された後、表示機器制御手段１２６に入力される。すると、表示機器制御手段１２６は、ジェスチャの認識結果に基づいて決定したポインタＰの制御内容を、表示装置２が備えた上記制御機能部に送信する。そして、上記制御機能部は、表示機器制御手段１２６と協働することにより、表示装置２に表示されたポインタＰの動作を制御する。なお、表示機器制御手段１２６は、単にポインタＰの変位を制御するだけでなく、認識対象物の形状に対応する処理内容を上記制御機能部に実行させることができる構成であってもよい。これにより、例えば、操作者が手を握る動作を行った場合、表示機器制御手段１２６は、ポインタＰと重なる位置に表示されているアイコンが選択されるよう制御するといったことが可能となる。

なお、本発明は上述した各実施形態１、２に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、実施形態１、２および変形例にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても、本発明の技術的範囲に含まれる。

〔ソフトウェアによる実現例〕
最後に、ジェスチャ認識装置１の各ブロック、特に制御手段１２に含まれる各手段は、集積回路（ＩＣチップ）上に形成された論理回路によってハードウェア的に実現してもよいし、ＣＰＵ（Central Processing Unit）を用いてソフトウェア的に実現してもよい。

後者の場合、ジェスチャ認識装置１は、各機能を実現するプログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（Read Only Memory）、上記プログラムを展開するＲＡＭ（Random Access Memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアであるジェスチャ認識装置１の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記ジェスチャ認識装置１、２に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

上記記録媒体としては、一時的でない有形の媒体（non-transitory tangible medium）、例えば、磁気テープやカセットテープ等のテープ類、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク類、ＩＣカード（メモリカードを含む）／光カード等のカード類、マスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ（登録商標）／フラッシュＲＯＭ等の半導体メモリ類、あるいはＰＬＤ（Programmable logic device）やＦＰＧＡ（Field Programmable Gate Array）等の論理回路類などを用いることができる。

また、ジェスチャ認識装置１を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークは、プログラムコードを伝送可能であればよく、特に限定されない。例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（Virtual Private Network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、この通信ネットワークを構成する伝送媒体も、プログラムコードを伝送可能な媒体であればよく、特定の構成または種類のものに限定されない。例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ（Asymmetric Digital Subscriber Line）回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ（High Data Rate）、ＮＦＣ（Near Field Communication）、ＤＬＮＡ（Digital Living Network Alliance）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

本発明は、表示装置を備えた各種表示機器、特にテレビジョン受像機、パーソナルコンピュータ、およびタブレット端末などに利用することができる。

１ ジェスチャ認識装置
２ 表示装置
１０００ 表示機器
１３ 記憶部
１２１ 形状認識手段（判定手段）
１２２ 動作範囲監視手段
１２４ 認識領域規定手段

Claims (9)

1. ユーザが撮影された動画から、該ユーザによるジェスチャを認識するジェスチャ認識装置において、
   上記ジェスチャの種類を判定する判定手段と、
   上記判定手段によって判定されたジェスチャの種類に基づいて、動画像全体の領域のうちジェスチャが認識される領域である認識領域を規定する認識領域規定手段とを備え、
   上記ユーザの手によってジェスチャが行われ、
   上記ジェスチャを行う際の所定の手形状を含む手形状リストを記憶した記憶部をさらに備え、
   上記判定手段が、上記手形状リストを参照することによって、上記所定の手形状を検出し、
   上記判定手段が、上記所定の手形状を検出した場合に、上記ユーザが上記所定の手形状とした手を振る範囲を検出する動作検出手段をさらに備え、
   上記認識領域規定手段は、上記動作検出手段によって検出された上記手を振る範囲に基づいて、上記認識領域を規定することを特徴とするジェスチャ認識装置。
2. ユーザが撮影された動画から、該ユーザによるジェスチャを認識するジェスチャ認識装置において、
   上記ジェスチャの種類を判定する判定手段と、
   上記判定手段によって判定されたジェスチャの種類に基づいて、動画像全体の領域のうちジェスチャが認識される領域である認識領域を規定する認識領域規定手段とを備え、
   上記ユーザの手によってジェスチャが行われ、
   上記ジェスチャを行う際の所定の手形状を含む手形状リストを記憶した記憶部をさらに備え、
   上記判定手段が、上記手形状リストを参照することによって、上記所定の手形状を検出し、
   上記判定手段が、上記所定の手形状を検出した場合に、上記ユーザが上記所定の手形状とした手を用いてジェスチャを行っている間、上記手の特定部位の動きを監視することによって、上記特定部位が上記認識領域をはみ出さないか監視する動作範囲監視手段をさらに備え、
   上記手の上記特定部位が上記認識領域をはみ出したことを上記動作範囲監視手段が検出した場合に、上記認識領域規定手段は、上記認識領域を所定の割合で拡大する修正を行うことを特徴とするジェスチャ認識装置。
3. ユーザが撮影された動画から、該ユーザによるジェスチャを認識するジェスチャ認識装置において、
   上記ジェスチャの種類を判定する判定手段と、
   上記判定手段によって判定されたジェスチャの種類に基づいて、動画像全体の領域のうちジェスチャが認識される領域である認識領域を規定する認識領域規定手段とを備え、
   上記ユーザの手によってジェスチャが行われ、
   上記ジェスチャを行う際の所定の手形状を含む手形状リストを記憶した記憶部をさらに備え、
   上記判定手段が、上記手形状リストを参照することによって、上記所定の手形状を検出し、
   上記記憶部が、上記手の向きおよび変位の少なくともいずれか一方と上記認識領域の修正内容とを対応付ける認識領域修正テーブルをさらに記憶しているとともに、
   上記判定手段が、上記所定の手形状を検出した場合に、上記認識領域修正テーブルを参照することにより、上記手の向きおよび変位の少なくともいずれか一方と対応する上記認識領域の修正内容を検出する動作検出手段をさらに備え、
   上記認識領域規定手段は、上記修正内容で上記認識領域を修正することを特徴とするジェスチャ認識装置。
4. 外部の機器に対して、ジェスチャの認識結果に対応する処理を実行するように指示する機器制御手段をさらに備えたことを特徴とする請求項１〜３のいずれか一項に記載のジェスチャ認識装置。
5. 請求項４記載のジェスチャ認識装置と、上記ジェスチャ認識装置によって動作制御が行われる表示装置とを備えた表示機器。
6. ユーザが撮影された動画から、該ユーザによるジェスチャを認識するジェスチャ認識装置の制御方法であって、
   上記ユーザが手を用いてジェスチャを行っている間、その手の形状を検出し、
   所定の手形状を検出した場合に、上記所定の手形状とした手を振る範囲を検出し、
   検出された上記手を振る範囲に基づいて、動画像全体の領域のうちジェスチャが認識される領域である認識領域を規定する
   ことを特徴とするジェスチャ認識装置の制御方法。
7. ユーザが撮影された動画から、該ユーザによるジェスチャを認識するジェスチャ認識装置の制御方法であって、
   上記ユーザが手を用いてジェスチャを行っている間、その手の形状を検出し、
   所定の手形状を検出した場合に、上記ユーザが上記所定の手形状とした手を用いてジェスチャを行っている間、上記手の特定部位の動きを監視することによって、上記特定部位が、動画像全体の領域のうちジェスチャが認識される領域である認識領域をはみ出さないか監視し、
   上記手の上記特定部位が上記認識領域をはみ出したことを検出した場合に、上記認識領域を所定の割合で拡大する修正を行う
   ことを特徴とするジェスチャ認識装置の制御方法。
8. ユーザが撮影された動画から、該ユーザによるジェスチャを認識するジェスチャ認識装置の制御方法であって、
   上記ユーザが手を用いてジェスチャを行っている間、その手の形状を検出し、
   所定の手形状を検出した場合に、上記所定の手形状をしている手の向きおよび変位の少なくともいずれか一方に対応する修正内容で、動画像全体の領域のうちジェスチャが認識される領域である認識領域を修正する
   ことを特徴とするジェスチャ認識装置の制御方法。
9. 請求項６〜８のいずれか１項に記載のジェスチャ認識装置の制御方法の各処理をコンピュータに実行させるための制御プログラム。

Images