JP4153819B2 - ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム - Google Patents
ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム Download PDFInfo
- Publication number
- JP4153819B2 JP4153819B2 JP2003096520A JP2003096520A JP4153819B2 JP 4153819 B2 JP4153819 B2 JP 4153819B2 JP 2003096520 A JP2003096520 A JP 2003096520A JP 2003096520 A JP2003096520 A JP 2003096520A JP 4153819 B2 JP4153819 B2 JP 4153819B2
- Authority
- JP
- Japan
- Prior art keywords
- posture
- gesture
- hand
- face
- hand position
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Image Processing (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、カメラによって対象人物を撮像した画像から、対象人物のポスチャ（姿勢）又はジェスチャ（動作）を認識するための装置、方法及びプログラムに関する。
【０００２】
【従来の技術】
従来、カメラによって対象人物を撮像した画像から、対象人物の動きの特徴を示す点（特徴点）を検出し、その特徴点に基づいて対象人物のジェスチャを推定するジェスチャ認識手法が数多く提案されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２０００−１４９０２５号公報（第３−６頁、第１図）
【０００４】
【発明が解決しようとする課題】
しかし、従来のジェスチャ認識手法では、対象人物のジェスチャを認識する際に、前記特徴点を一々検出する必要があるため、計算量が多くなり演算処理の負担が増加するという問題があった。
【０００５】
本発明は、以上のような問題点に鑑みてなされたものであり、ポスチャ認識又はジェスチャ認識を行う際の演算処理を軽減することができるジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載のジェスチャ認識装置は、カメラによってポスチャ認識又はジェスチャ認識の対象人物を撮像した撮像画像から、前記対象人物のポスチャ又はジェスチャを認識するための装置であって、前記撮像画像から生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出手段と、前記顔位置と前記手先位置から、前記顔位置を基準とした際の前記手先位置の所定数フレームにおける平均及び分散を特徴ベクトルとして求め、前記特徴ベクトルに基づいて、統計的手法を用いて、全てのポスチャ及びジェスチャの確率変数の事後分布の確率密度を計算し、各フレームにおける前記事後分布の確率密度が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識するポスチャ・ジェスチャ認識手段と、を備え、前記顔・手先位置検出手段は、対象人物の頭頂部の位置を前記輪郭情報に基づいて検出する頭位置検出部と、この頭位置検出部により検出した頭頂部の位置と前記肌色領域情報から顔の位置を検出する顔位置検出部と、この顔位置検出部により検出した顔の位置の周辺を除いた領域に予め設定される手位置検索領域、前記肌色領域情報、前記輪郭情報に基づいて手位置を検出する手位置検出部と、検出した手位置と前記肌色領域情報に基づいて、肌色領域の上下左右の端点を検索すると共に、上下端点の垂直方向距離と左右端点の水平方向距離とを比較して距離が長いほうを手先の伸びている方向と判断し、かつ、検出した前記顔位置と前記手位置との位置関係に基づいて、前記上下端点あるいは前記左右端点のどの端点が手先位置であるかを判断する手先位置検出部と、を有することを特徴とする。
【０００７】
この装置は、まず、顔・手先位置検出手段によって、画像から生成した対象人物の輪郭情報と肌色領域情報に基づいて、対象人物の実空間上における顔位置と手先位置を検出する。次に、ポスチャ・ジェスチャ認識手段によって、顔位置と手先位置から、顔位置を基準とした際の手先位置の所定数フレーム（例えば５フレーム）における平均及び分散を「特徴ベクトル」として求める。そして、求めた「特徴ベクトル」に基づいて、統計的手法を用いて、全てのポスチャ及びジェスチャの確率変数の「事後分布の確率密度」を計算し、各フレームにおける「事後分布の確率密度」が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識する。
【０００８】
なお、ポスチャ・ジェスチャ認識手段は、所定数フレームにおいて、同一のポスチャ又はジェスチャを所定回数以上認識できた場合にのみ、前記同一のポスチャ又はジェスチャを認識できたと判断する（請求項２）。
【０００９】
請求項３に記載のジェスチャ認識方法は、カメラによってポスチャ認識又はジェスチャ認識の対象人物を撮像した撮像画像から、生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出し、前記顔位置および前記手先位置から前記対象人物のポスチャ又はジェスチャを認識するための方法であって、前記対象人物の頭頂部の位置を頭部位置検出部により前記輪郭情報に基づいて検出するステップと、前記頭位置検出部により検出した頭頂部の位置と前記肌色領域情報から顔位置検出部により顔の位置を検出するステップと、前記顔位置検出部により検出した顔の位置の周辺を除いた領域に予め設定される手位置検索領域、前記肌色領域情報、前記輪郭情報に基づいて、手位置検出部により手位置を検出するステップと、検出した手位置と前記肌色領域情報に基づいて、肌色領域の上下左右の端点を検索すると共に、上下端点の垂直方向距離と左右端点の水平方向距離とを比較して距離が長いほうを手先の伸びている方向と判断し、かつ、検出した前記顔位置と前記手位置との位置関係に基づいて、前記上下端点あるいは前記左右端点のどの端点が手先位置であるかを、手先位置検出部により判断するステップと、前記顔位置と前記手先位置から、ポスチャ・ジェスチャ認識手段により、前記顔位置を基準とした際の前記手先位置の所定数フレームにおける平均及び分散を特徴ベクトルとして求め、前記特徴ベクトルに基づいて、統計的手法を用いて、全てのポスチャ及びジェスチャの確率変数の事後分布の確率密度を計算し、各フレームにおける前記事後分布の確率密度が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識するポスチャ・ジェスチャ認識ステップと、を含むことを特徴とする。
【００１０】
この方法は、まず、顔・手先位置検出ステップにおいて、画像から生成した対象人物の輪郭情報と肌色領域情報に基づいて、対象人物の実空間上における顔位置と手先位置を検出する。次に、ポスチャ・ジェスチャ認識ステップにおいて、顔位置と手先位置から、顔位置を基準とした際の手先位置の所定数フレームにおける平均及び分散を「特徴ベクトル」として求める。そして、求めた「特徴ベクトル」に基づいて、統計的手法を用いて、全てのポスチャ及びジェスチャの確率変数の「事後分布の確率密度」を計算し、各フレームにおける「事後分布の確率密度」が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識する。
【００１１】
請求項４に記載のジェスチャ認識プログラムは、カメラによってポスチャ認識又はジェスチャ認識の対象人物を撮像した撮像画像から、前記対象人物のポスチャ又はジェスチャを認識するために、コンピュータを、前記撮像画像から生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出手段、前記顔位置と前記手先位置から、前記顔位置を基準とした際の前記手先位置の所定数フレームにおける平均及び分散を特徴ベクトルとして求め、前記特徴ベクトルに基づいて、統計的手法を用いて、全てのポスチャ及びジェスチャの確率変数の事後分布の確率密度を計算し、各フレームにおける前記事後分布の確率密度が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識するポスチャ・ジェスチャ認識手段、として機能させ、前記顔・手先位置検出手段は、対象人物の頭頂部の位置を前記輪郭情報に基づいて検出する頭位置検出部と、この頭位置検出部により検出した頭頂部の位置と前記肌色情報から顔の位置を検出する顔位置検出部と、この顔位置検出部により検出した顔の位置の周辺を除いた領域に予め設定される手位置検索領域、前記肌色領域情報、前記輪郭情報に基づいて手位置を検出する手位置検出部と、検出した手位置と前記肌色領域情報に基づいて、肌色領域の上下左右の端点を検索すると共に、上下端点の垂直方向距離と左右端点の水平方向距離とを比較して距離が長いほうを手先の伸びている方向と判断し、かつ、検出した前記顔位置と前記手位置との位置関係に基づいて、前記上下端点あるいは前記左右端点のどの端点が手先位置であるかを判断する手先位置検出部とすることを特徴とする。
【００１２】
このプログラムは、まず、顔・手先位置検出手段によって、画像から生成した対象人物の輪郭情報と肌色領域情報に基づいて、対象人物の実空間上における顔位置と手先位置を検出するする。次に、ポスチャ・ジェスチャ認識手段によって、顔位置と手先位置から、顔位置を基準とした際の手先位置の所定数フレーム（例えば５フレーム）における平均及び分散を「特徴ベクトル」として求める。そして、求めた「特徴ベクトル」に基づいて、統計的手法を用いて、全てのポスチャ及びジェスチャの確率変数の「事後分布の確率密度」を計算し、各フレームにおける「事後分布の確率密度」が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識する。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について、適宜図面を参照して詳細に説明する。ここでは、まず、本発明に係るジェスチャ認識装置を含むジェスチャ認識システムの構成について図１〜図１３を参照して説明し、その後、ジェスチャ認識システムの動作について図１４及び図１５を参照して説明する。
【００１４】
（ジェスチャ認識システムＡの構成）
まず、本発明に係るジェスチャ認識装置４を含むジェスチャ認識システムＡの全体構成について図１を参照して説明する。図１はジェスチャ認識システムＡの全体構成を示すブロック図である。
【００１５】
図１に示すように、ジェスチャ認識システムＡは、図示しない対象人物を撮像する２台のカメラ１（１ａ，１ｂ）と、カメラ１で撮像された画像（撮像画像）を解析して各種情報を生成する撮像画像解析装置２と、撮像画像解析装置２で生成された各種情報に基づいて対象人物の輪郭を抽出する輪郭抽出装置３と、撮像画像解析装置２で生成された各種情報及び輪郭抽出装置３で抽出された対象人物の輪郭（輪郭情報）に基づいて、対象人物のポスチャ（姿勢）又はジェスチャ（動作）を認識するジェスチャ認識装置４とから構成されている。以下、カメラ１、撮像画像解析装置２、輪郭抽出装置３、ジェスチャ認識装置４について、順に説明する。
【００１６】
（カメラ１）
カメラ１（１ａ，１ｂ）はカラーＣＣＤカメラであり、右カメラ１ａと左カメラ１ｂは、左右に距離Ｂだけ離れて並設されている。ここでは、右カメラ１ａを基準カメラとしている。カメラ１ａ，１ｂで撮像された画像（撮像画像）は、フレーム毎に図示しないフレームグラバに記憶された後、撮像画像解析装置２に同期して入力される。
【００１７】
なお、カメラ１ａ，１ｂで撮像した画像（撮像画像）は、図示しない補正機器によりキャリブレーション処理とレクティフィケーション処理を行い、画像補正した後に撮像画像解析装置２に入力される。
【００１８】
（撮像画像解析装置２）
撮像画像解析装置２は、カメラ１ａ，１ｂから入力された画像（撮像画像）を解析して、「距離情報」、「動き情報」、「エッジ情報」、「肌色領域情報」を生成する装置である（図１参照）。
【００１９】
図２は、図１に示したジェスチャ認識システムＡに含まれる撮像画像解析装置２と輪郭抽出装置３の構成を示すブロック図である。図２に示すように、撮像画像解析装置２は、「距離情報」を生成する距離情報生成部２１と、「動き情報」を生成する動き情報生成部２２と、「エッジ情報」を生成するエッジ情報生成部２３と、「肌色領域情報」を生成する肌色領域情報生成部２４とから構成されている。
【００２０】
（距離情報生成部２１）
距離情報生成部２１は、同時刻にカメラ１ａ，１ｂで撮像された２枚の撮像画像の視差に基づいて、各画素についてカメラ１ａ，１ｂからの距離を検出する。具体的には、基準カメラであるカメラ１ａで撮像された第１の撮像画像と、カメラ１ｂで撮像された第２の撮像画像とからブロック相関法を用いて視差を求め、その視差から三角法を用いて、カメラ１から「各画素に撮像された物」までの距離を求める。そして、求めた距離を第１の撮像画像の各画素に対応付けて、距離を画素値で表現した距離画像Ｄ１（図３（ａ）参照）を生成する。この距離画像Ｄ１が距離情報となる。図３（ａ）の例では、同一の距離に対象人物Ｃが存在している。
【００２１】
なお、ブロック相関法とは、第１の撮像画像と第２の撮像画像とで特定の大きさの同一ブロック（例えば８×３画素）を比較し、第１の撮像画像と第２の撮像画像とでブロック内の被写体が何画素分ずれているかを調べることにより視差を検出する方法である。
【００２２】
（動き情報生成部２２）
動き情報生成部２２は、基準カメラであるカメラ１ａで時系列に撮像した「時刻ｔ」における「撮像画像（ｔ）」と、「時刻ｔ＋Δｔ」における「撮像画像（ｔ＋Δｔ）」との差分に基づいて、対象人物の動きを検出する。具体的には、「撮像画像（ｔ）」と「撮像画像（ｔ＋Δｔ）」との差分をとり、各画素の変位を調べる。そして、調べた変位に基づいて変位ベクトルを求め、求めた変位ベクトルを画素値で表わした差分画像Ｄ２（図３（ｂ）参照）を生成する。この差分画像Ｄ２が動き情報となる。図３（ｂ）の例では、対象人物Ｃの左腕に動きが検出されている。
【００２３】
（エッジ情報生成部２３）
エッジ情報生成部２３は、基準カメラであるカメラ１ａで撮像された画像（撮像画像）における各画素の濃淡情報又は色情報に基づいて、その撮像画像内に存在するエッジを抽出したエッジ画像を生成する。具体的には、撮像画像における各画素の輝度に基づいて、輝度が大きく変化する部分をエッジとして検出し、そのエッジのみからなるエッジ画像Ｄ３（図３（ｃ）参照）を生成する。このエッジ画像Ｄ３がエッジ情報となる。
【００２４】
エッジの検出は、例えばＳｏｂｅｌオペレータを画素毎に乗算し、行又は列単位で、隣の線分と所定の差がある線分をエッジ（横エッジ又は縦エッジ）として検出する。なお、Ｓｏｂｅｌオペレータとは、ある画素の近傍領域の画素に対して重み係数を持つ係数行例のことである。
【００２５】
（肌色領域情報生成部２４）
肌色領域情報生成部２４は、基準カメラであるカメラ１ａで撮像された画像（撮像画像）から、その撮像画像内に存在する対象人物の肌色領域を抽出する。具体的には、撮像画像における全画素のＲＧＢ値を、色相、明度、彩度からなるＨＬＳ空間に変換し、色相、明度、彩度が予め設定された閾値の範囲内にある画素を肌色領域として抽出する（図３（ｄ）参照）。図３（ｄ）の例では、対象人物Ｃの顔が肌色領域Ｒ１として抽出され、手が肌色領域Ｒ２として抽出されている。この肌色領域Ｒ１，Ｒ２が肌色領域情報となる。
【００２６】
撮像画像解析装置２で生成された「距離情報（距離画像Ｄ１）」、「動き情報（差分画像Ｄ２）」、「エッジ情報（エッジ画像Ｄ３）」は、輪郭抽出装置３に入力される。また、撮像画像解析装置２で生成された「距離情報（距離画像Ｄ１）」と「肌色領域情報（肌色領域Ｒ１，Ｒ２）」は、ジェスチャ認識装置４に入力される。
【００２７】
（輪郭抽出装置３）
輪郭抽出装置３は、撮像画像解析装置２で生成された「距離情報（距離画像Ｄ１）」、「動き情報（差分画像Ｄ２）」、「エッジ情報（エッジ画像Ｄ３）」に基づいて、対象人物の輪郭を抽出する装置である（図１参照）。
【００２８】
図２に示すように、輪郭抽出装置３は、対象人物が存在する距離である「対象距離」を設定する対象距離設定部３１と、「対象距離」に基づいた「対象距離画像」を生成する対象距離画像生成部３２と、「対象距離画像内」における「対象領域」を設定する対象領域設定部３３と、「対象領域内」から「対象人物の輪郭」を抽出する輪郭抽出部３４とから構成されている。
【００２９】
（対象距離設定部３１）
対象距離設定部３１は、撮像画像解析装置２で生成された距離画像Ｄ１（図３（ａ）参照）と、差分画像Ｄ２（図３（ｂ）参照）とに基づいて、対象人物が存在する距離である「対象距離」を設定する。具体的には、距離画像Ｄ１における同一の画素値を有する画素を一群（画素群）として、差分画像Ｄ２における前記画素群の画素値を累計する。そして、画素値の累計値が所定値よりも大きい、かつ、カメラ１に最も近い距離にある領域に、最も動き量の多い移動物体、即ち対象人物が存在しているとみなし、その距離を対象距離とする（図４（ａ）参照）。図４（ａ）の例では、対象距離は２．２ｍに設定されている。対象距離設定部３１で設定された対象距離は、対象距離画像生成部３２に入力される。
【００３０】
（対象距離画像生成部３２）
対象距離画像生成部３２は、撮像画像解析装置２で生成された距離画像Ｄ１（図３（ａ）参照）を参照し、対象距離設定部３１で設定された対象距離±αｍに存在する画素に対応する画素をエッジ画像Ｄ３（図３（ｃ）参照）から抽出した「対象距離画像」を生成する。具体的には、距離画像Ｄ１における対象距離設定部３１から入力された対象距離±αｍに対応する画素を求める。そして、求められた画素のみをエッジ情報生成部２３で生成されたエッジ画像Ｄ３から抽出し、対象距離画像Ｄ４（図４（ｂ）参照）を生成する。したがって、対象距離画像Ｄ４は、対象距離に存在する対象人物をエッジで表現した画像になる。対象距離画像生成部３２で生成された対象距離画像Ｄ４は、対象領域設定部３３と輪郭抽出部３４に入力される。
【００３１】
（対象領域設定部３３）
対象領域設定部３３は、対象距離画像生成部３２で生成された対象距離画像Ｄ４（図３（ｂ）参照）内における「対象領域」を設定する。具体的には、対象距離画像Ｄ４の縦方向の画素値を累計したヒストグラムＨを生成し、ヒストグラムＨにおける度数が最大となる位置を、対象人物Ｃの水平方向における中心位置として特定する（図５（ａ）参照）。そして、特定された中心位置の左右に特定の大きさ（例えば０．５ｍ）の範囲を対象領域Ｔとして設定する（図５（ｂ）参照）。なお、対象領域Ｔの縦方向の範囲は、特定の大きさ（例えば２ｍ）に設定される。また、対象領域Ｔを設定する際は、カメラ１のチルト角や高さ等のカメラパラメータを参照して、対象領域Ｔの設定範囲を補正する。対象領域設定部３３で設定された対象領域Ｔは、輪郭抽出部３４に入力される。
【００３２】
（輪郭抽出部３４）
輪郭抽出部３４は、対象距離画像生成部３２で生成された対象距離画像Ｄ４（図４（ｂ）参照）において、対象領域設定部３３で設定された対象領域Ｔ内から対象人物Ｃの輪郭Ｏを抽出する（図５（ｃ）参照）。具体的には、対象人物Ｃの輪郭Ｏを抽出する際は、「Ｓｎａｋｅｓ」と呼ばれる閉曲線からなる動的輪郭モデルを用いた手法（以下、「スネーク手法」という）を用いる。なお、スネーク手法とは、動的輪郭モデルである「Ｓｎａｋｅｓ」を、予め定義されたエネルギ関数が最小となるように収縮変形させることにより、対象物の輪郭を抽出する手法である。輪郭抽出部３４で抽出された対象人物Ｃの輪郭Ｏは、「輪郭情報」としてジェスチャ認識装置４に入力される（図１参照）。
【００３３】
（ジェスチャ認識装置４）
ジェスチャ認識装置４は、撮像画像解析装置２で生成された「距離情報」及び「肌色領域情報」と、輪郭抽出装置３で生成された「輪郭情報」とに基づいて、対象人物のポスチャ又はジェスチャを認識し、その認識結果を出力する装置である（図１参照）。
【００３４】
図６は、図１に示したジェスチャ認識システムＡに含まれるジェスチャ認識装置４の構成を示すブロック図である。図６に示すように、ジェスチャ認識装置４は、対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出手段４１と、顔・手先位置検出手段４１によって検出された顔位置と手先位置に基づいて、対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識手段４２とを備えている。
【００３５】
（顔・手先位置検出手段４１）
顔・手先位置検出手段４１は、実空間上における対象人物の「頭頂部の位置（頭頂部位置）」を検出する頭位置検出部４１Ａと、対象人物の「顔の位置（顔位置）」を検出する顔位置検出部４１Ｂと、対象人物の「手の位置（手位置）」を検出する手位置検出部４１Ｃと、対象人物の「手先の位置（手先位置）」を検出する手先位置検出部４１Ｄとから構成されている。なお、ここでいう「手」とは、腕（ａｒｍ）と手（Ｈａｎｄ）とからなる部位のことであり、「手先」とは、手（Ｈａｎｄ）の指先のことである。
【００３６】
（頭位置検出部４１Ａ）
頭位置検出部４１Ａは、輪郭抽出装置３で生成された輪郭情報に基づいて、対象人物Ｃの「頭頂部位置」を検出する。頭頂部位置の検出方法について図７（ａ）を参照して説明すると、まず、輪郭Ｏで囲まれた領域における重心Ｇを求める（１）。次に、頭頂部位置を探索するための領域（頭頂部位置探索領域）Ｆ１を設定する（２）。頭頂部位置探索領域Ｆ１の横幅（Ｘ軸方向の幅）は、重心ＧのＸ座標を中心にして、予め設定されている人間の平均肩幅Ｗとなるようにする。なお、人間の平均肩幅Ｗは、撮像画像解析装置２で生成された距離情報を参照して設定される。また、頭頂部位置探索領域Ｆ１の縦幅（Ｙ軸方向の幅）は、輪郭Ｏを覆うことができるような幅に設定される。そして、頭頂部位置探索領域Ｆ１内における輪郭Ｏの上端点を、頭頂部位置ｍ１とする（３）。頭位置検出部４１Ａで検出された頭頂部位置ｍ１は、顔位置検出部４１Ｂに入力される。
【００３７】
（顔位置検出部４１Ｂ）
顔位置検出部４１Ｂは、頭位置検出部４１Ａで検出された頭頂部位置ｍ１と、撮像画像解析装置２で生成された肌色領域情報とに基づいて、対象人物Ｃの「顔位置」を検出する。顔位置の検出方法について図７（ｂ）を参照して説明すると、まず、顔位置を探索するための領域（顔位置探索領域）Ｆ２を設定する（４）。顔位置探索領域Ｆ２の範囲は、頭頂部位置ｍ１を基準にして、予め設定されている「おおよそ人間の頭部を覆う大きさ」となるようにする。なお、顔位置探索領域Ｆ２の範囲は、撮像画像解析装置２で生成された距離情報を参照して設定される。
【００３８】
次に、顔位置探索領域Ｆ２内における肌色領域Ｒ１の重心を、画像上における顔位置ｍ２とする（５）。肌色領域Ｒ１については、撮像画像解析装置２で生成された肌色領域情報を参照する。そして、画像上における顔位置ｍ２（Ｘｆ，Ｙｆ）から、撮像画像解析装置２で生成された距離情報を参照して、実空間上における顔位置ｍ２ｔ（Ｘｆｔ，Ｙｆｔ，Ｚｆｔ）を求める。
【００３９】
顔位置検出部４１Ｂで検出された「画像上における顔位置ｍ２」は、手位置検出部４１Ｃと手先位置検出部４１Ｄに入力される。また、顔位置検出部４１Ｂで検出された「実空間上における顔位置ｍ２ｔ」は、図示しない記憶手段に記憶され、ポスチャ・ジェスチャ認識手段４２のポスチャ・ジェスチャ認識部４２Ｂ（図６参照）において対象人物Ｃのポスチャ又はジェスチャを認識する際に使用される。
【００４０】
（手位置検出部４１Ｃ）
手位置検出部４１Ｃは、撮像画像解析装置２で生成された肌色領域情報と、輪郭抽出装置３で生成された輪郭情報とに基づいて、対象人物Ｃの「手位置」を検出する。なお、ここでは、肌色領域情報は、顔位置ｍ２周辺を除いた領域の情報を用いる。手位置の検出方法について図８（ａ）を参照して説明すると、まず、手位置を探索するための領域（手位置探索領域）Ｆ３（Ｆ３Ｒ，Ｆ３Ｌ）を設定する（６）。手位置探索領域Ｆ３は、顔位置検出部４１Ｂで検出された顔位置ｍ２を基準にして、予め設定されている「手が届く範囲（左右の手の届く範囲）」となるようにする。なお、手位置探索領域Ｆ３の大きさは、撮像画像解析装置２で生成された距離情報を参照して設定される。
【００４１】
次に、手位置探索領域Ｆ３内における肌色領域Ｒ２の重心を、画像上における手位置ｍ３とする（７）。肌色領域Ｒ２については、撮像画像解析装置２で生成された肌色領域情報を参照する。なお、ここでは、肌色領域情報は、顔位置ｍ２周辺を除いた領域の情報を用いる。図８（ａ）の例では、肌色領域は手位置探索領域Ｆ３（Ｌ）においてのみ存在しているので、手位置ｍ３は手位置探索領域Ｆ３（Ｌ）においてのみ検出される。また、図８（ａ）の例では、対象人物は長袖の服を着ており、手首より先しか露出していないので、手（ＨＡＮＤ）の位置が手位置ｍ３となる。手位置検出部４１Ｃで検出された「画像上における手位置ｍ３」は、手先位置検出部４１Ｄに入力される。
【００４２】
（手先位置検出部４１Ｄ）
手先位置検出部４１Ｄは、顔位置検出部４１Ｂで検出された顔位置ｍ２と、手位置検出部４１Ｃで検出された手位置ｍ３とに基づいて、対象人物Ｃの「手先位置」を検出する。手先位置の検出方法について図８（ｂ）を参照して説明すると、まず、手位置探索領域Ｆ３Ｌ内において、手先位置を探索するための領域（手先位置探索範囲）Ｆ４を設定する（８）。手先位置探索範囲Ｆ４は、手位置ｍ３を中心にして、予め設定されている「おおよそ手を覆う大きさ」となるようにする。なお、手先位置探索範囲Ｆ４の範囲は、撮像画像解析装置２で生成された距離情報を参照して設定される。
【００４３】
続いて、手先位置探索範囲Ｆ４における肌色領域Ｒ２の上下左右の端点ｍ４ａ〜ｍ４ｄを検出する（９）。肌色領域Ｒ２については、撮像画像解析装置２で生成された肌色領域情報を参照する。そして、上下端点間（ｍ４ａ、ｍ４ｂ間）の垂直方向距離ｄ１と、左右端点間（ｍ４ｃ、ｍ４ｄ間）の水平方向距離ｄ２とを比較し、距離が長い方を手が伸びている方向と判断する（１０）。図８（ｂ）の例では、垂直方向距離ｄ１の方が水平方向距離ｄ２よりも距離が長いので、手先は上下方向に伸びていると判断される。
【００４４】
次に、画像上における顔位置ｍ２と、画像上における手位置ｍ３との位置関係に基づいて、上下端点ｍ４ａ，ｍ４ｂのどちら（もしくは左右端点ｍ４ｃ，ｍ４ｄのどちらか）が手先位置であるかを判断する。具体的には、手位置ｍ３が顔位置ｍ２から遠い場合は、手は伸びているとみなし、顔位置ｍ２から遠い方の端点を手先位置（画像上における手先位置）ｍ４と判断する。逆に、手位置ｍ３が顔位置ｍ２に近い場合は、肘を曲げているとみなし、顔位置ｍ２に近い方の端点を手先位置ｍ４と判断する。図８（ｂ）の例では、手位置ｍ３が顔位置ｍ２から遠く、上端点ｍ４ａが下端点ｍ４ｂよりも顔位置ｍ２から遠いので、上端点ｍ４ａが手先位置ｍ４であると判断する（１１）。
【００４５】
そして、画像上における手先位置ｍ４（Ｘｈ，Ｙｈ）から、撮像画像解析装置２で生成された距離情報を参照して、実空間上における手先位置ｍ４ｔ（Ｘｈｔ，Ｙｈｔ，Ｚｈｔ）を求める。手先位置検出部４１Ｄで検出された「実空間上における手先位置ｍ４ｔ」は、図示しない記憶手段に記憶され、ポスチャ・ジェスチャ認識手段４２のポスチャ・ジェスチャ認識部４２Ｂ（図６参照）において対象人物Ｃのポスチャ又はジェスチャを認識する際に使用される。
【００４６】
（ポスチャ・ジェスチャ認識手段４２）
ポスチャ・ジェスチャ認識手段４２は、ポスチャデータとジェスチャデータを記憶するポスチャ・ジェスチャデータ記憶部４２Ａと、顔・手先位置検出手段４１によって検出された「実空間上における顔位置ｍ２ｔ」と「実空間上における手先位置ｍ４ｔ」に基づいて、対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識部４２Ｂとから構成されている（図６参照）。
【００４７】
（ポスチャ・ジェスチャデータ記憶部４２Ａ）
ポスチャ・ジェスチャデータ記憶部４２Ａは、ポスチャデータｐ１〜ｐ４（図９参照）とジェスチャデータｊ１〜ｊ４（図１０参照）を記憶している。ポスチャデータｐ１〜ｐ４とジェスチャデータｊ１〜ｊ４は、「顔位置を基準とした際の手先位置と、その手先位置の変動」に対応するポスチャ又はジェスチャを記したデータである。ポスチャデータｐ１〜ｐ４とジェスチャデータｊ１〜ｊ４は、ポスチャ・ジェスチャ認識部４２Ｂにおいて対象人物のポスチャ又はジェスチャを認識する際に使用される。
【００４８】
ポスチャデータｐ１〜ｐ４について図９を参照して説明すると、図９（ａ）に示す「ポスチャＰ１：ＦＡＣＥ ＳＩＤＥ」は「こんにちは」、図９（ｂ）に示す「ポスチャＰ２：ＨＩＧＨ ＨＡＮＤ」は「追従開始」、図９（ｃ）に示す「ポスチャＰ３：ＳＩＤＥ ＨＡＮＤ」は「手の方向を見よ」、図９（ｄ）に示す「ポスチャＰ４：ＬＯＷ ＨＡＮＤ」は「手の方向に曲がれ」を意味するポスチャである。
【００４９】
また、ジェスチャデータｊ１〜ｊ４について図１０を参照して説明すると、図１０（ａ）に示す「ジェスチャＪ１：ＨＡＮＤ ＳＷＩＮＧ」は「注意せよ」、図１０（ｂ）に示す「ジェスチャＪ２：ＢＹＥ ＢＹＥ」は「さようなら」、図１０（ｃ）に示す「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」は「接近せよ」、図１０（ｄ）に示す「ジェスチャＪ４：ＨＡＮＤ ＣＩＲＣＬＩＮＧ」は「旋回せよ」を意味するジェスチャである。
【００５０】
なお、本実施の形態では、ポスチャ・ジェスチャデータ記憶部４２Ａ（図６参照）は、ポスチャデータｐ１〜ｐ４（図９参照）とジェスチャデータｊ１〜ｊ４（図１０参照）を記憶しているが、ポスチャ・ジェスチャデータ記憶部４２Ａに記憶させるポスチャデータとジェスチャデータは任意に設定することができる。また、各ポスチャと各ジェスチャの意味も任意に設定することができる。
【００５１】
ポスチャ・ジェスチャ認識部４２Ｂは、統計的手法の一つである「ベイズの手法」を用いて、対象人物のポスチャ又はジェスチャを認識する。具体的には、まず、顔・手先位置検出手段４１によって検出された「実空間上における顔位置ｍ２ｔ」と「実空間上における手先位置ｍ４ｔ」から、「顔位置ｍ２ｔを基準とした際の手先位置の所定数フレーム（例えば５フレーム）における平均及び分散」を特徴ベクトルｘとして求める。そして、求めた特徴ベクトルｘに基づいて、ベイズの手法を用いて、全てのポスチャ及びジェスチャｉの確率変数ωｉの「事後分布の確率密度」を計算し、各フレームにおける「事後分布の確率密度」が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識する。
【００５２】
次に、図１１及び図１２に示すフローチャートを参照して、ポスチャ・ジェスチャ認識部４２Ｂにおけるポスチャ又はジェスチャの認識方法について詳しく説明する。ここでは、まず、図１１に示すフローチャートを参照してポスチャ・ジェスチャ認識部４２Ｂでの処理の概略について説明し、その後、図１２に示すフローチャートを参照して図１１に示したフローチャートにおける「ステップＳ１：ポスチャ・ジェスチャ認識処理」について説明する。
【００５３】
（ポスチャ・ジェスチャ認識部４２Ｂでの処理の概略）
図１１は、ポスチャ・ジェスチャ認識部４２Ｂでの処理の概略を説明するためのフローチャートである。図１１に示すフローチャートを参照して、まず、ステップＳ１では、ポスチャ又はジェスチャの認識を試みる。次に、ステップＳ２では、ステップＳ１においてポスチャ又はジェスチャを認識できたかどうかを判断する。ここで、ポスチャ又はジェスチャを認識できたと判断された場合はステップＳ３に進み、ポスチャ又はジェスチャを認識できなかったと判断された場合はステップＳ５に進む。
【００５４】
ステップＳ３では、過去の所定数のフレーム（例えば１０フレーム）において、同一のポスチャ又はジェスチャを所定回数（例えば５回）以上認識できたかどうかを判断する。ここで、同一のポスチャ又はジェスチャを所定回数以上認識できたと判断された場合はステップＳ４に進み、同一のポスチャ又はジェスチャを所定回数以上認識できなかったと判断された場合はステップＳ５に進む。
【００５５】
そして、ステップＳ４では、ステップＳ１において認識されたポスチャ又はジェスチャを認識結果として出力し、処理を終了する。また、ステップＳ５では、ポスチャ又はジェスチャを認識できなかった、即ち認識不能であると出力し、処理を終了する。
【００５６】
（ステップＳ１：ポスチャ・ジェスチャ認識処理）
図１２は、図１１に示したフローチャートにおける「ステップＳ１：ポスチャ・ジェスチャ認識処理」について説明するためのフローチャートである。図１２に示すフローチャートを参照して、まず、ステップＳ１１では、顔・手先位置検出手段４１によって検出された「実空間上における顔位置ｍ２ｔ（Ｘｆｔ，Ｙｆｔ，Ｚｆｔ）」と「実空間上における手先位置ｍ４ｔ（Ｘｈｔ，Ｙｈｔ，Ｚｈｔ）」から、「顔位置ｍ２ｔを基準とした際の手先位置の所定数フレーム（例えば５フレーム）における平均及び分散」を
として求める。
【００５７】
次のステップＳ１２では、ステップＳ１１で求めた特徴ベクトルｘに基づいて、ベイズの手法を用いて、全てのポスチャ及びジェスチャｉの確率変数ωｉの「事後分布の確率密度」を計算する。
【００５８】
ステップＳ１２における「事後分布の確率密度」の求め方について詳しく説明すると、まず、特徴ベクトルｘが与えられたときに、それがポスチャ又はジェスチャｉである確率密度ｐ（ω ｉ ｜ｘ）は、下記の「ベイズの定理」と呼ばれる式（１）により求められる。なお、確率変数ω ｉ は各ポスチャ及び各ジェスチャ毎に予め設定されている。
【００５９】
【数１】
【００６０】
式（１）におけるｐ（ｘ｜ω ｉ ）は、ポスチャ又はジェスチャｉが与えられたときに、画像が特徴ベクトルｘを含む「条件付き確率密度」であり、下記の式（２）で表わされる。なお、特徴ベクトルｘは、共分散行列Σを持ち、
の正規分布に従うものとする。
【００６１】
【数２】
【００６２】
また、式（１）におけるｐ（ω ｉ ）は、確率変数ω ｉ の「事前分布の確率密度」であり、下記の式（３）で表わされる。なお、ｐ（ω ｉ ）は、期待値ω ｉ０ 、分散Ｖ［ω ｉ０ ］の正規分布であるとする。
【００６３】
【数３】
【００６４】
式（１）の右項の分母はω ｉ に依存しないので、式（２），式（３）より、確率変数ω ｉ の「事後分布の確率密度」は、下記の式（４）で表わされる。
【００６５】
【数４】
【００６６】
図１２のフローチャートに戻り、次のステップＳ１３では、各フレームにおける「事後分布の確率密度」が最大であるポスチャ又はジェスチャを求め、続くテップＳ１４では、ステップＳ１３で求められたポスチャ又はジェスチャが各フレームにおけるポスチャ又はジェスチャであるという認識結果を出力し、処理を終了する。
【００６７】
図１３は、フレーム１〜１００における、ポスチャＰ１〜Ｐ４及びジェスチャＪ１〜Ｊ４についての確率変数ω ｉ の「事後分布の確率密度」を示すグラフである。なお、ここでは、ポスチャＰ１〜Ｐ４及びジェスチャＪ１〜Ｊ４を、「ｉ（ｉ＝１〜８）」としている。
【００６８】
図１３に示すように、フレーム１〜２６では「ジェスチャＪ２：ＢＹＥ ＢＹＥ」の確率密度が最大となるので、フレーム１〜２６では、対象人物のポスチャ又はジェスチャは「ジェスチャＪ２：ＢＹＥ ＢＹＥ」（図１０（ｂ）参照）であると認識される。また、フレーム２７〜４３では「ポスチャＰ１：ＦＡＣＥ ＳＩＤＥ」の確率密度が最大となるので、フレーム２７〜４３では対象人物のポスチャ又はジェスチャは「ポスチャＰ１：ＦＡＣＥ ＳＩＤＥ」（図９（ａ）参照）であると認識される。
【００６９】
また、フレーム４４〜７６では「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」の確率密度が最大となるので、フレーム４４〜７６では対象人物のポスチャ又はジェスチャは「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」（図１０（ｃ）参照）であると認識される。そして、フレーム８０〜１００では「ジェスチャＪ１：ＨＡＮＤＳＷＩＮＧ」の確率密度が最大となるので、フレーム８０〜１００では対象人物のポスチャ又はジェスチャは「ジェスチャＪ１：ＨＡＮＤ ＳＷＩＮＧ」図１０（ａ）参照）であると認識される。
【００７０】
なお、フレーム７７〜７９では「ジェスチャＪ４：ＨＡＮＤ ＣＩＲＣＬＩＮＧ」の確率密度が最大となるが、「ジェスチャＪ４：ＨＡＮＤ ＣＩＲＣＬＩＮＧ」は３回しか認識されていないため、対象人物のポスチャ又はジェスチャは「ジェスチャＪ４：ＨＡＮＤ ＣＩＲＣＬＩＮＧ」であるとは認識されない。これは、前記したように、ポスチャ・ジェスチャ認識部４２Ｂでは、過去の所定数のフレーム（例えば１０フレーム）において、同一のポスチャ又はジェスチャを所定回数（例えば５回）以上認識できた場合にのみ、前記同一のポスチャ又はジェスチャを認識できたと判断するためである（図１１に示すフローチャートのステップＳ３〜ステップＳ５参照）。
【００７１】
以上のようにして、ポスチャ・ジェスチャ認識部４２Ｂは、ベイズの手法を用いて、全てのポスチャ及びジェスチャｉ（ｉ＝１〜８）の確率変数ω ｉ の「事後分布の確率密度」を計算し、各フレームにおける「事後分布の確率密度」が最大であるポスチャ又はジェスチャを調べることにより、対象人物のポスチャ又はジェスチャを認識することができる。
【００７２】
（ジェスチャ認識システムＡの動作）
次に、ジェスチャ認識システムＡの動作について図１に示すジェスチャ認識システムＡの全体構成を示すブロック図と、図１４及び図１５に示すフローチャートを参照して説明する。図１４は、ジェスチャ認識システムＡの動作における「撮像画像解析ステップ」と「輪郭抽出ステップ」を説明するために示すフローチャートであり、図１５は、ジェスチャ認識システムＡの動作における「顔・手先位置検出ステップ」と「ポスチャ・ジェスチャ認識ステップ」を説明するために示すフローチャートである。
【００７３】
＜撮像画像解析ステップ＞
図１４に示すフローチャートを参照して、撮像画像解析装置２では、カメラ１ａ，１ｂから撮像画像が入力されると（ステップＳ１０１）、距離情報生成部２１において、撮像画像から距離情報である距離画像Ｄ１（図３（ａ）参照）を生成し（ステップＳ１０２）、動き情報生成部２２において、撮像画像から動き情報である差分画像Ｄ２（図３（ｂ）参照）を生成する（ステップＳ１０３）。また、エッジ情報生成部２３において、撮像画像からエッジ情報であるエッジ画像Ｄ３（図３（ｃ）参照）を生成し（ステップＳ１０４）、肌色領域情報生成部２４において、撮像画像から肌色領域情報である肌色領域Ｒ１，Ｒ２（図３（ｄ）参照）を抽出する（ステップＳ１０５）。
【００７４】
＜輪郭抽出ステップ＞
引き続き図１４に示すフローチャートを参照して、輪郭抽出装置３では、まず、対象距離設定部３１において、ステップＳ１０２とステップＳ１０３で生成された距離画像Ｄ１と差分画像Ｄ２から、対象人物が存在する距離である対象距離を設定する（ステップＳ１０６）。続いて、対象距離画像生成部３２において、ステップＳ１０４で生成されたエッジ画像Ｄ３からステップＳ１０６で設定された対象距離に存在する画素を抽出した対象距離画像Ｄ４（図４（ｂ）参照）を生成する（ステップＳ１０７）。
【００７５】
次に、対象領域設定部３３において、ステップＳ１０７で生成された対象距離画像Ｄ４内における対象領域Ｔ（図５（ｂ）参照）を設定する（ステップＳ１０８）。そして、輪郭抽出部３４において、ステップＳ１０８で設定された対象領域Ｔ内から、対象人物Ｃの輪郭Ｏ（図５（ｃ）参照）を抽出する（ステップＳ１０９）。
【００７６】
＜顔・手先位置検出ステップ＞
図１５に示すフローチャートを参照して、ジェスチャ認識装置４の顔・手先位置検出手段４１では、まず、頭位置検出部４１Ａにおいて、ステップＳ１０９で生成された輪郭情報に基づいて、対象人物Ｃの頭頂部位置ｍ１（図７（ａ）参照）を検出する（ステップＳ１１０）。
【００７７】
続いて、顔位置検出部４１Ｂにおいて、ステップＳ１１０で検出された頭頂部位置ｍ１と、ステップＳ１０５で生成された肌色領域情報とに基づいて、「画像上における顔位置ｍ２」（図７（ｂ）参照）を検出し、検出された「画像上における顔位置ｍ２（Ｘｆ，Ｙｆ）」から、ステップＳ１０２で生成された距離情報を参照して、「実空間上における顔位置ｍ２ｔ（Ｘｆｔ，Ｙｆｔ，Ｚｆｔ）」を求める（ステップＳ１１１）。
【００７８】
次に、手位置検出部４１Ｃにおいて、ステップＳ１１１で検出された「画像上における顔位置ｍ２」から、「画像上における手位置ｍ３」（図８（ａ）参照）を検出する（ステップＳ１１２）。
【００７９】
そして、手先位置検出部４１Ｄにおいて、顔位置検出部４１Ｂで検出された「画像上における顔位置ｍ２」と、手位置検出部４１Ｃで検出された手位置ｍ３とに基づいて、「画像上における手先位置ｍ４」（図８（ｂ）参照）を検出し、検出された「画像上における手先位置ｍ４（Ｘｈ，Ｙｈ）」から、ステップＳ１０２で生成された距離情報を参照して、「実空間上における手先位置ｍ４ｔ（Ｘｈｔ，Ｙｈｔ，Ｚｈｔ）」を求める（ステップＳ１１３）。
【００８０】
＜ポスチャ・ジェスチャ認識ステップ＞
引き続き図１５に示すフローチャートを参照して、ジェスチャ認識装置４のポスチャ・ジェスチャ認識部４２Ｂでは、統計的手法の一つである「ベイズの手法」を用いて、対象人物のポスチャ又はジェスチャを認識する。ポスチャ・ジェスチャ認識部４２Ｂにおけるポスチャ又はジェスチャの認識方法の詳細については、前記したのでここでは省略する。
【００８１】
以上、ジェスチャ認識システムＡについて説明したが、このジェスチャ認識システムＡに含まれるジェスチャ認識装置４は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合してジェスチャ認識プログラムとして動作させることも可能である。
【００８２】
また、このジェスチャ認識システムＡは、例えば自律ロボットに適用することができる。その場合、自律ロボットは、例えば人が手を上げるとそのポスチャ「ポスチャＰ２：ＨＩＧＨ ＨＡＮＤ」（図９（ｂ）参照）と認識することや、人が手を振るとそのジェスチャを「ジェスチャＪ１：ＨＡＮＤ ＳＷＩＮＧ」（図１０（ａ）参照）と認識することが可能となる。
【００８３】
なお、ポスチャやジェスチャによる指示は、音声による指示と比べて、周囲の騒音により左右されない、音声が届かないような状況でも指示が可能である、言葉では表現が難しい（又は冗長になる）指示を簡潔に行うことができる、という利点がある。
【００８４】
【発明の効果】
以上、詳細に説明したように、本発明によれば、対象人物のジェスチャを認識する際に、特徴点（対象人物の動きの特徴を示す点）を一々検出する必要が無いため、従来のジェスチャ認識手法と比べて、ポスチャ認識又はジェスチャ認識を行う際の演算処理を軽減することができる。
【図面の簡単な説明】
【図１】ジェスチャ認識システムＡの全体構成を示すブロック図である。
【図２】図１に示したジェスチャ認識システムＡに含まれる撮像画像解析装置２と輪郭抽出装置３の構成を示すブロック図である。
【図３】（ａ）は距離画像Ｄ１、（ｂ）は差分画像Ｄ２、（ｃ）はエッジ画像Ｄ３、（ｄ）は肌色領域Ｒ１，Ｒ２を示す図である。
【図４】対象距離を設定する方法を説明するための図である。
【図５】対象領域Ｔを設定する方法と、対象領域Ｔ内から対象人物Ｃの輪郭Ｏを抽出する方法を説明するための図である。
【図６】図１に示したジェスチャ認識システムＡに含まれるジェスチャ認識装置４の構成を示すブロック図である。
【図７】（ａ）は頭頂部位置ｍ１の検出方法を説明するための図であり、（ｂ）は顔位置ｍ２の検出方法を説明するための図である。
【図８】（ａ）は手位置ｍ３の検出方法を説明するための図であり、（ｂ）は手先位置ｍ４の検出方法を説明するための図である。
【図９】ポスチャデータｐ１〜ｐ４を示す図である。
【図１０】ジェスチャデータｊ１〜ｊ４を示す図である。
【図１１】ポスチャ・ジェスチャ認識部４２Ｂでの処理の概略を説明するためのフローチャートである。
【図１２】図１１に示したフローチャートにおける「ステップＳ１：ポスチャ・ジェスチャ認識処理」について説明するためのフローチャートである。
【図１３】フレーム１〜１００における、ポスチャＰ１〜Ｐ４及びジェスチャＪ１〜Ｊ４についての確率変数ωｉの「事後分布の確率密度」を示すグラフである。
【図１４】ジェスチャ認識システムＡの動作における「撮像画像解析ステップ」と「輪郭抽出ステップ」を説明するために示すフローチャートである。
【図１５】ジェスチャ認識システムＡの動作における「顔・手先位置検出ステップ」と「ポスチャ・ジェスチャ認識ステップ」を説明するために示すフローチャートである。
【符号の説明】
Ａ ジェスチャ認識システム
１ カメラ
２ 撮像画像解析装置
３ 輪郭抽出装置
４ ジェスチャ認識装置
４１ 顔・手先位置検出手段
４１Ａ 頭位置検出部
４１Ｂ 顔位置検出部
４１Ｃ 手位置検出部
４１Ｄ 手先位置検出部
４２ ポスチャ・ジェスチャ認識手段
４２Ａ ポスチャ・ジェスチャデータ記憶部
４２Ｂ ポスチャ・ジェスチャ認識部
【発明の属する技術分野】
本発明は、カメラによって対象人物を撮像した画像から、対象人物のポスチャ（姿勢）又はジェスチャ（動作）を認識するための装置、方法及びプログラムに関する。
【０００２】
【従来の技術】
従来、カメラによって対象人物を撮像した画像から、対象人物の動きの特徴を示す点（特徴点）を検出し、その特徴点に基づいて対象人物のジェスチャを推定するジェスチャ認識手法が数多く提案されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開２０００−１４９０２５号公報（第３−６頁、第１図）
【０００４】
【発明が解決しようとする課題】
しかし、従来のジェスチャ認識手法では、対象人物のジェスチャを認識する際に、前記特徴点を一々検出する必要があるため、計算量が多くなり演算処理の負担が増加するという問題があった。
【０００５】
本発明は、以上のような問題点に鑑みてなされたものであり、ポスチャ認識又はジェスチャ認識を行う際の演算処理を軽減することができるジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
請求項１に記載のジェスチャ認識装置は、カメラによってポスチャ認識又はジェスチャ認識の対象人物を撮像した撮像画像から、前記対象人物のポスチャ又はジェスチャを認識するための装置であって、前記撮像画像から生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出手段と、前記顔位置と前記手先位置から、前記顔位置を基準とした際の前記手先位置の所定数フレームにおける平均及び分散を特徴ベクトルとして求め、前記特徴ベクトルに基づいて、統計的手法を用いて、全てのポスチャ及びジェスチャの確率変数の事後分布の確率密度を計算し、各フレームにおける前記事後分布の確率密度が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識するポスチャ・ジェスチャ認識手段と、を備え、前記顔・手先位置検出手段は、対象人物の頭頂部の位置を前記輪郭情報に基づいて検出する頭位置検出部と、この頭位置検出部により検出した頭頂部の位置と前記肌色領域情報から顔の位置を検出する顔位置検出部と、この顔位置検出部により検出した顔の位置の周辺を除いた領域に予め設定される手位置検索領域、前記肌色領域情報、前記輪郭情報に基づいて手位置を検出する手位置検出部と、検出した手位置と前記肌色領域情報に基づいて、肌色領域の上下左右の端点を検索すると共に、上下端点の垂直方向距離と左右端点の水平方向距離とを比較して距離が長いほうを手先の伸びている方向と判断し、かつ、検出した前記顔位置と前記手位置との位置関係に基づいて、前記上下端点あるいは前記左右端点のどの端点が手先位置であるかを判断する手先位置検出部と、を有することを特徴とする。
【０００７】
この装置は、まず、顔・手先位置検出手段によって、画像から生成した対象人物の輪郭情報と肌色領域情報に基づいて、対象人物の実空間上における顔位置と手先位置を検出する。次に、ポスチャ・ジェスチャ認識手段によって、顔位置と手先位置から、顔位置を基準とした際の手先位置の所定数フレーム（例えば５フレーム）における平均及び分散を「特徴ベクトル」として求める。そして、求めた「特徴ベクトル」に基づいて、統計的手法を用いて、全てのポスチャ及びジェスチャの確率変数の「事後分布の確率密度」を計算し、各フレームにおける「事後分布の確率密度」が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識する。
【０００８】
なお、ポスチャ・ジェスチャ認識手段は、所定数フレームにおいて、同一のポスチャ又はジェスチャを所定回数以上認識できた場合にのみ、前記同一のポスチャ又はジェスチャを認識できたと判断する（請求項２）。
【０００９】
請求項３に記載のジェスチャ認識方法は、カメラによってポスチャ認識又はジェスチャ認識の対象人物を撮像した撮像画像から、生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出し、前記顔位置および前記手先位置から前記対象人物のポスチャ又はジェスチャを認識するための方法であって、前記対象人物の頭頂部の位置を頭部位置検出部により前記輪郭情報に基づいて検出するステップと、前記頭位置検出部により検出した頭頂部の位置と前記肌色領域情報から顔位置検出部により顔の位置を検出するステップと、前記顔位置検出部により検出した顔の位置の周辺を除いた領域に予め設定される手位置検索領域、前記肌色領域情報、前記輪郭情報に基づいて、手位置検出部により手位置を検出するステップと、検出した手位置と前記肌色領域情報に基づいて、肌色領域の上下左右の端点を検索すると共に、上下端点の垂直方向距離と左右端点の水平方向距離とを比較して距離が長いほうを手先の伸びている方向と判断し、かつ、検出した前記顔位置と前記手位置との位置関係に基づいて、前記上下端点あるいは前記左右端点のどの端点が手先位置であるかを、手先位置検出部により判断するステップと、前記顔位置と前記手先位置から、ポスチャ・ジェスチャ認識手段により、前記顔位置を基準とした際の前記手先位置の所定数フレームにおける平均及び分散を特徴ベクトルとして求め、前記特徴ベクトルに基づいて、統計的手法を用いて、全てのポスチャ及びジェスチャの確率変数の事後分布の確率密度を計算し、各フレームにおける前記事後分布の確率密度が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識するポスチャ・ジェスチャ認識ステップと、を含むことを特徴とする。
【００１０】
この方法は、まず、顔・手先位置検出ステップにおいて、画像から生成した対象人物の輪郭情報と肌色領域情報に基づいて、対象人物の実空間上における顔位置と手先位置を検出する。次に、ポスチャ・ジェスチャ認識ステップにおいて、顔位置と手先位置から、顔位置を基準とした際の手先位置の所定数フレームにおける平均及び分散を「特徴ベクトル」として求める。そして、求めた「特徴ベクトル」に基づいて、統計的手法を用いて、全てのポスチャ及びジェスチャの確率変数の「事後分布の確率密度」を計算し、各フレームにおける「事後分布の確率密度」が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識する。
【００１１】
請求項４に記載のジェスチャ認識プログラムは、カメラによってポスチャ認識又はジェスチャ認識の対象人物を撮像した撮像画像から、前記対象人物のポスチャ又はジェスチャを認識するために、コンピュータを、前記撮像画像から生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出手段、前記顔位置と前記手先位置から、前記顔位置を基準とした際の前記手先位置の所定数フレームにおける平均及び分散を特徴ベクトルとして求め、前記特徴ベクトルに基づいて、統計的手法を用いて、全てのポスチャ及びジェスチャの確率変数の事後分布の確率密度を計算し、各フレームにおける前記事後分布の確率密度が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識するポスチャ・ジェスチャ認識手段、として機能させ、前記顔・手先位置検出手段は、対象人物の頭頂部の位置を前記輪郭情報に基づいて検出する頭位置検出部と、この頭位置検出部により検出した頭頂部の位置と前記肌色情報から顔の位置を検出する顔位置検出部と、この顔位置検出部により検出した顔の位置の周辺を除いた領域に予め設定される手位置検索領域、前記肌色領域情報、前記輪郭情報に基づいて手位置を検出する手位置検出部と、検出した手位置と前記肌色領域情報に基づいて、肌色領域の上下左右の端点を検索すると共に、上下端点の垂直方向距離と左右端点の水平方向距離とを比較して距離が長いほうを手先の伸びている方向と判断し、かつ、検出した前記顔位置と前記手位置との位置関係に基づいて、前記上下端点あるいは前記左右端点のどの端点が手先位置であるかを判断する手先位置検出部とすることを特徴とする。
【００１２】
このプログラムは、まず、顔・手先位置検出手段によって、画像から生成した対象人物の輪郭情報と肌色領域情報に基づいて、対象人物の実空間上における顔位置と手先位置を検出するする。次に、ポスチャ・ジェスチャ認識手段によって、顔位置と手先位置から、顔位置を基準とした際の手先位置の所定数フレーム（例えば５フレーム）における平均及び分散を「特徴ベクトル」として求める。そして、求めた「特徴ベクトル」に基づいて、統計的手法を用いて、全てのポスチャ及びジェスチャの確率変数の「事後分布の確率密度」を計算し、各フレームにおける「事後分布の確率密度」が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識する。
【００１３】
【発明の実施の形態】
以下、本発明の実施の形態について、適宜図面を参照して詳細に説明する。ここでは、まず、本発明に係るジェスチャ認識装置を含むジェスチャ認識システムの構成について図１〜図１３を参照して説明し、その後、ジェスチャ認識システムの動作について図１４及び図１５を参照して説明する。
【００１４】
（ジェスチャ認識システムＡの構成）
まず、本発明に係るジェスチャ認識装置４を含むジェスチャ認識システムＡの全体構成について図１を参照して説明する。図１はジェスチャ認識システムＡの全体構成を示すブロック図である。
【００１５】
図１に示すように、ジェスチャ認識システムＡは、図示しない対象人物を撮像する２台のカメラ１（１ａ，１ｂ）と、カメラ１で撮像された画像（撮像画像）を解析して各種情報を生成する撮像画像解析装置２と、撮像画像解析装置２で生成された各種情報に基づいて対象人物の輪郭を抽出する輪郭抽出装置３と、撮像画像解析装置２で生成された各種情報及び輪郭抽出装置３で抽出された対象人物の輪郭（輪郭情報）に基づいて、対象人物のポスチャ（姿勢）又はジェスチャ（動作）を認識するジェスチャ認識装置４とから構成されている。以下、カメラ１、撮像画像解析装置２、輪郭抽出装置３、ジェスチャ認識装置４について、順に説明する。
【００１６】
（カメラ１）
カメラ１（１ａ，１ｂ）はカラーＣＣＤカメラであり、右カメラ１ａと左カメラ１ｂは、左右に距離Ｂだけ離れて並設されている。ここでは、右カメラ１ａを基準カメラとしている。カメラ１ａ，１ｂで撮像された画像（撮像画像）は、フレーム毎に図示しないフレームグラバに記憶された後、撮像画像解析装置２に同期して入力される。
【００１７】
なお、カメラ１ａ，１ｂで撮像した画像（撮像画像）は、図示しない補正機器によりキャリブレーション処理とレクティフィケーション処理を行い、画像補正した後に撮像画像解析装置２に入力される。
【００１８】
（撮像画像解析装置２）
撮像画像解析装置２は、カメラ１ａ，１ｂから入力された画像（撮像画像）を解析して、「距離情報」、「動き情報」、「エッジ情報」、「肌色領域情報」を生成する装置である（図１参照）。
【００１９】
図２は、図１に示したジェスチャ認識システムＡに含まれる撮像画像解析装置２と輪郭抽出装置３の構成を示すブロック図である。図２に示すように、撮像画像解析装置２は、「距離情報」を生成する距離情報生成部２１と、「動き情報」を生成する動き情報生成部２２と、「エッジ情報」を生成するエッジ情報生成部２３と、「肌色領域情報」を生成する肌色領域情報生成部２４とから構成されている。
【００２０】
（距離情報生成部２１）
距離情報生成部２１は、同時刻にカメラ１ａ，１ｂで撮像された２枚の撮像画像の視差に基づいて、各画素についてカメラ１ａ，１ｂからの距離を検出する。具体的には、基準カメラであるカメラ１ａで撮像された第１の撮像画像と、カメラ１ｂで撮像された第２の撮像画像とからブロック相関法を用いて視差を求め、その視差から三角法を用いて、カメラ１から「各画素に撮像された物」までの距離を求める。そして、求めた距離を第１の撮像画像の各画素に対応付けて、距離を画素値で表現した距離画像Ｄ１（図３（ａ）参照）を生成する。この距離画像Ｄ１が距離情報となる。図３（ａ）の例では、同一の距離に対象人物Ｃが存在している。
【００２１】
なお、ブロック相関法とは、第１の撮像画像と第２の撮像画像とで特定の大きさの同一ブロック（例えば８×３画素）を比較し、第１の撮像画像と第２の撮像画像とでブロック内の被写体が何画素分ずれているかを調べることにより視差を検出する方法である。
【００２２】
（動き情報生成部２２）
動き情報生成部２２は、基準カメラであるカメラ１ａで時系列に撮像した「時刻ｔ」における「撮像画像（ｔ）」と、「時刻ｔ＋Δｔ」における「撮像画像（ｔ＋Δｔ）」との差分に基づいて、対象人物の動きを検出する。具体的には、「撮像画像（ｔ）」と「撮像画像（ｔ＋Δｔ）」との差分をとり、各画素の変位を調べる。そして、調べた変位に基づいて変位ベクトルを求め、求めた変位ベクトルを画素値で表わした差分画像Ｄ２（図３（ｂ）参照）を生成する。この差分画像Ｄ２が動き情報となる。図３（ｂ）の例では、対象人物Ｃの左腕に動きが検出されている。
【００２３】
（エッジ情報生成部２３）
エッジ情報生成部２３は、基準カメラであるカメラ１ａで撮像された画像（撮像画像）における各画素の濃淡情報又は色情報に基づいて、その撮像画像内に存在するエッジを抽出したエッジ画像を生成する。具体的には、撮像画像における各画素の輝度に基づいて、輝度が大きく変化する部分をエッジとして検出し、そのエッジのみからなるエッジ画像Ｄ３（図３（ｃ）参照）を生成する。このエッジ画像Ｄ３がエッジ情報となる。
【００２４】
エッジの検出は、例えばＳｏｂｅｌオペレータを画素毎に乗算し、行又は列単位で、隣の線分と所定の差がある線分をエッジ（横エッジ又は縦エッジ）として検出する。なお、Ｓｏｂｅｌオペレータとは、ある画素の近傍領域の画素に対して重み係数を持つ係数行例のことである。
【００２５】
（肌色領域情報生成部２４）
肌色領域情報生成部２４は、基準カメラであるカメラ１ａで撮像された画像（撮像画像）から、その撮像画像内に存在する対象人物の肌色領域を抽出する。具体的には、撮像画像における全画素のＲＧＢ値を、色相、明度、彩度からなるＨＬＳ空間に変換し、色相、明度、彩度が予め設定された閾値の範囲内にある画素を肌色領域として抽出する（図３（ｄ）参照）。図３（ｄ）の例では、対象人物Ｃの顔が肌色領域Ｒ１として抽出され、手が肌色領域Ｒ２として抽出されている。この肌色領域Ｒ１，Ｒ２が肌色領域情報となる。
【００２６】
撮像画像解析装置２で生成された「距離情報（距離画像Ｄ１）」、「動き情報（差分画像Ｄ２）」、「エッジ情報（エッジ画像Ｄ３）」は、輪郭抽出装置３に入力される。また、撮像画像解析装置２で生成された「距離情報（距離画像Ｄ１）」と「肌色領域情報（肌色領域Ｒ１，Ｒ２）」は、ジェスチャ認識装置４に入力される。
【００２７】
（輪郭抽出装置３）
輪郭抽出装置３は、撮像画像解析装置２で生成された「距離情報（距離画像Ｄ１）」、「動き情報（差分画像Ｄ２）」、「エッジ情報（エッジ画像Ｄ３）」に基づいて、対象人物の輪郭を抽出する装置である（図１参照）。
【００２８】
図２に示すように、輪郭抽出装置３は、対象人物が存在する距離である「対象距離」を設定する対象距離設定部３１と、「対象距離」に基づいた「対象距離画像」を生成する対象距離画像生成部３２と、「対象距離画像内」における「対象領域」を設定する対象領域設定部３３と、「対象領域内」から「対象人物の輪郭」を抽出する輪郭抽出部３４とから構成されている。
【００２９】
（対象距離設定部３１）
対象距離設定部３１は、撮像画像解析装置２で生成された距離画像Ｄ１（図３（ａ）参照）と、差分画像Ｄ２（図３（ｂ）参照）とに基づいて、対象人物が存在する距離である「対象距離」を設定する。具体的には、距離画像Ｄ１における同一の画素値を有する画素を一群（画素群）として、差分画像Ｄ２における前記画素群の画素値を累計する。そして、画素値の累計値が所定値よりも大きい、かつ、カメラ１に最も近い距離にある領域に、最も動き量の多い移動物体、即ち対象人物が存在しているとみなし、その距離を対象距離とする（図４（ａ）参照）。図４（ａ）の例では、対象距離は２．２ｍに設定されている。対象距離設定部３１で設定された対象距離は、対象距離画像生成部３２に入力される。
【００３０】
（対象距離画像生成部３２）
対象距離画像生成部３２は、撮像画像解析装置２で生成された距離画像Ｄ１（図３（ａ）参照）を参照し、対象距離設定部３１で設定された対象距離±αｍに存在する画素に対応する画素をエッジ画像Ｄ３（図３（ｃ）参照）から抽出した「対象距離画像」を生成する。具体的には、距離画像Ｄ１における対象距離設定部３１から入力された対象距離±αｍに対応する画素を求める。そして、求められた画素のみをエッジ情報生成部２３で生成されたエッジ画像Ｄ３から抽出し、対象距離画像Ｄ４（図４（ｂ）参照）を生成する。したがって、対象距離画像Ｄ４は、対象距離に存在する対象人物をエッジで表現した画像になる。対象距離画像生成部３２で生成された対象距離画像Ｄ４は、対象領域設定部３３と輪郭抽出部３４に入力される。
【００３１】
（対象領域設定部３３）
対象領域設定部３３は、対象距離画像生成部３２で生成された対象距離画像Ｄ４（図３（ｂ）参照）内における「対象領域」を設定する。具体的には、対象距離画像Ｄ４の縦方向の画素値を累計したヒストグラムＨを生成し、ヒストグラムＨにおける度数が最大となる位置を、対象人物Ｃの水平方向における中心位置として特定する（図５（ａ）参照）。そして、特定された中心位置の左右に特定の大きさ（例えば０．５ｍ）の範囲を対象領域Ｔとして設定する（図５（ｂ）参照）。なお、対象領域Ｔの縦方向の範囲は、特定の大きさ（例えば２ｍ）に設定される。また、対象領域Ｔを設定する際は、カメラ１のチルト角や高さ等のカメラパラメータを参照して、対象領域Ｔの設定範囲を補正する。対象領域設定部３３で設定された対象領域Ｔは、輪郭抽出部３４に入力される。
【００３２】
（輪郭抽出部３４）
輪郭抽出部３４は、対象距離画像生成部３２で生成された対象距離画像Ｄ４（図４（ｂ）参照）において、対象領域設定部３３で設定された対象領域Ｔ内から対象人物Ｃの輪郭Ｏを抽出する（図５（ｃ）参照）。具体的には、対象人物Ｃの輪郭Ｏを抽出する際は、「Ｓｎａｋｅｓ」と呼ばれる閉曲線からなる動的輪郭モデルを用いた手法（以下、「スネーク手法」という）を用いる。なお、スネーク手法とは、動的輪郭モデルである「Ｓｎａｋｅｓ」を、予め定義されたエネルギ関数が最小となるように収縮変形させることにより、対象物の輪郭を抽出する手法である。輪郭抽出部３４で抽出された対象人物Ｃの輪郭Ｏは、「輪郭情報」としてジェスチャ認識装置４に入力される（図１参照）。
【００３３】
（ジェスチャ認識装置４）
ジェスチャ認識装置４は、撮像画像解析装置２で生成された「距離情報」及び「肌色領域情報」と、輪郭抽出装置３で生成された「輪郭情報」とに基づいて、対象人物のポスチャ又はジェスチャを認識し、その認識結果を出力する装置である（図１参照）。
【００３４】
図６は、図１に示したジェスチャ認識システムＡに含まれるジェスチャ認識装置４の構成を示すブロック図である。図６に示すように、ジェスチャ認識装置４は、対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出手段４１と、顔・手先位置検出手段４１によって検出された顔位置と手先位置に基づいて、対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識手段４２とを備えている。
【００３５】
（顔・手先位置検出手段４１）
顔・手先位置検出手段４１は、実空間上における対象人物の「頭頂部の位置（頭頂部位置）」を検出する頭位置検出部４１Ａと、対象人物の「顔の位置（顔位置）」を検出する顔位置検出部４１Ｂと、対象人物の「手の位置（手位置）」を検出する手位置検出部４１Ｃと、対象人物の「手先の位置（手先位置）」を検出する手先位置検出部４１Ｄとから構成されている。なお、ここでいう「手」とは、腕（ａｒｍ）と手（Ｈａｎｄ）とからなる部位のことであり、「手先」とは、手（Ｈａｎｄ）の指先のことである。
【００３６】
（頭位置検出部４１Ａ）
頭位置検出部４１Ａは、輪郭抽出装置３で生成された輪郭情報に基づいて、対象人物Ｃの「頭頂部位置」を検出する。頭頂部位置の検出方法について図７（ａ）を参照して説明すると、まず、輪郭Ｏで囲まれた領域における重心Ｇを求める（１）。次に、頭頂部位置を探索するための領域（頭頂部位置探索領域）Ｆ１を設定する（２）。頭頂部位置探索領域Ｆ１の横幅（Ｘ軸方向の幅）は、重心ＧのＸ座標を中心にして、予め設定されている人間の平均肩幅Ｗとなるようにする。なお、人間の平均肩幅Ｗは、撮像画像解析装置２で生成された距離情報を参照して設定される。また、頭頂部位置探索領域Ｆ１の縦幅（Ｙ軸方向の幅）は、輪郭Ｏを覆うことができるような幅に設定される。そして、頭頂部位置探索領域Ｆ１内における輪郭Ｏの上端点を、頭頂部位置ｍ１とする（３）。頭位置検出部４１Ａで検出された頭頂部位置ｍ１は、顔位置検出部４１Ｂに入力される。
【００３７】
（顔位置検出部４１Ｂ）
顔位置検出部４１Ｂは、頭位置検出部４１Ａで検出された頭頂部位置ｍ１と、撮像画像解析装置２で生成された肌色領域情報とに基づいて、対象人物Ｃの「顔位置」を検出する。顔位置の検出方法について図７（ｂ）を参照して説明すると、まず、顔位置を探索するための領域（顔位置探索領域）Ｆ２を設定する（４）。顔位置探索領域Ｆ２の範囲は、頭頂部位置ｍ１を基準にして、予め設定されている「おおよそ人間の頭部を覆う大きさ」となるようにする。なお、顔位置探索領域Ｆ２の範囲は、撮像画像解析装置２で生成された距離情報を参照して設定される。
【００３８】
次に、顔位置探索領域Ｆ２内における肌色領域Ｒ１の重心を、画像上における顔位置ｍ２とする（５）。肌色領域Ｒ１については、撮像画像解析装置２で生成された肌色領域情報を参照する。そして、画像上における顔位置ｍ２（Ｘｆ，Ｙｆ）から、撮像画像解析装置２で生成された距離情報を参照して、実空間上における顔位置ｍ２ｔ（Ｘｆｔ，Ｙｆｔ，Ｚｆｔ）を求める。
【００３９】
顔位置検出部４１Ｂで検出された「画像上における顔位置ｍ２」は、手位置検出部４１Ｃと手先位置検出部４１Ｄに入力される。また、顔位置検出部４１Ｂで検出された「実空間上における顔位置ｍ２ｔ」は、図示しない記憶手段に記憶され、ポスチャ・ジェスチャ認識手段４２のポスチャ・ジェスチャ認識部４２Ｂ（図６参照）において対象人物Ｃのポスチャ又はジェスチャを認識する際に使用される。
【００４０】
（手位置検出部４１Ｃ）
手位置検出部４１Ｃは、撮像画像解析装置２で生成された肌色領域情報と、輪郭抽出装置３で生成された輪郭情報とに基づいて、対象人物Ｃの「手位置」を検出する。なお、ここでは、肌色領域情報は、顔位置ｍ２周辺を除いた領域の情報を用いる。手位置の検出方法について図８（ａ）を参照して説明すると、まず、手位置を探索するための領域（手位置探索領域）Ｆ３（Ｆ３Ｒ，Ｆ３Ｌ）を設定する（６）。手位置探索領域Ｆ３は、顔位置検出部４１Ｂで検出された顔位置ｍ２を基準にして、予め設定されている「手が届く範囲（左右の手の届く範囲）」となるようにする。なお、手位置探索領域Ｆ３の大きさは、撮像画像解析装置２で生成された距離情報を参照して設定される。
【００４１】
次に、手位置探索領域Ｆ３内における肌色領域Ｒ２の重心を、画像上における手位置ｍ３とする（７）。肌色領域Ｒ２については、撮像画像解析装置２で生成された肌色領域情報を参照する。なお、ここでは、肌色領域情報は、顔位置ｍ２周辺を除いた領域の情報を用いる。図８（ａ）の例では、肌色領域は手位置探索領域Ｆ３（Ｌ）においてのみ存在しているので、手位置ｍ３は手位置探索領域Ｆ３（Ｌ）においてのみ検出される。また、図８（ａ）の例では、対象人物は長袖の服を着ており、手首より先しか露出していないので、手（ＨＡＮＤ）の位置が手位置ｍ３となる。手位置検出部４１Ｃで検出された「画像上における手位置ｍ３」は、手先位置検出部４１Ｄに入力される。
【００４２】
（手先位置検出部４１Ｄ）
手先位置検出部４１Ｄは、顔位置検出部４１Ｂで検出された顔位置ｍ２と、手位置検出部４１Ｃで検出された手位置ｍ３とに基づいて、対象人物Ｃの「手先位置」を検出する。手先位置の検出方法について図８（ｂ）を参照して説明すると、まず、手位置探索領域Ｆ３Ｌ内において、手先位置を探索するための領域（手先位置探索範囲）Ｆ４を設定する（８）。手先位置探索範囲Ｆ４は、手位置ｍ３を中心にして、予め設定されている「おおよそ手を覆う大きさ」となるようにする。なお、手先位置探索範囲Ｆ４の範囲は、撮像画像解析装置２で生成された距離情報を参照して設定される。
【００４３】
続いて、手先位置探索範囲Ｆ４における肌色領域Ｒ２の上下左右の端点ｍ４ａ〜ｍ４ｄを検出する（９）。肌色領域Ｒ２については、撮像画像解析装置２で生成された肌色領域情報を参照する。そして、上下端点間（ｍ４ａ、ｍ４ｂ間）の垂直方向距離ｄ１と、左右端点間（ｍ４ｃ、ｍ４ｄ間）の水平方向距離ｄ２とを比較し、距離が長い方を手が伸びている方向と判断する（１０）。図８（ｂ）の例では、垂直方向距離ｄ１の方が水平方向距離ｄ２よりも距離が長いので、手先は上下方向に伸びていると判断される。
【００４４】
次に、画像上における顔位置ｍ２と、画像上における手位置ｍ３との位置関係に基づいて、上下端点ｍ４ａ，ｍ４ｂのどちら（もしくは左右端点ｍ４ｃ，ｍ４ｄのどちらか）が手先位置であるかを判断する。具体的には、手位置ｍ３が顔位置ｍ２から遠い場合は、手は伸びているとみなし、顔位置ｍ２から遠い方の端点を手先位置（画像上における手先位置）ｍ４と判断する。逆に、手位置ｍ３が顔位置ｍ２に近い場合は、肘を曲げているとみなし、顔位置ｍ２に近い方の端点を手先位置ｍ４と判断する。図８（ｂ）の例では、手位置ｍ３が顔位置ｍ２から遠く、上端点ｍ４ａが下端点ｍ４ｂよりも顔位置ｍ２から遠いので、上端点ｍ４ａが手先位置ｍ４であると判断する（１１）。
【００４５】
そして、画像上における手先位置ｍ４（Ｘｈ，Ｙｈ）から、撮像画像解析装置２で生成された距離情報を参照して、実空間上における手先位置ｍ４ｔ（Ｘｈｔ，Ｙｈｔ，Ｚｈｔ）を求める。手先位置検出部４１Ｄで検出された「実空間上における手先位置ｍ４ｔ」は、図示しない記憶手段に記憶され、ポスチャ・ジェスチャ認識手段４２のポスチャ・ジェスチャ認識部４２Ｂ（図６参照）において対象人物Ｃのポスチャ又はジェスチャを認識する際に使用される。
【００４６】
（ポスチャ・ジェスチャ認識手段４２）
ポスチャ・ジェスチャ認識手段４２は、ポスチャデータとジェスチャデータを記憶するポスチャ・ジェスチャデータ記憶部４２Ａと、顔・手先位置検出手段４１によって検出された「実空間上における顔位置ｍ２ｔ」と「実空間上における手先位置ｍ４ｔ」に基づいて、対象人物のポスチャ又はジェスチャを認識するポスチャ・ジェスチャ認識部４２Ｂとから構成されている（図６参照）。
【００４７】
（ポスチャ・ジェスチャデータ記憶部４２Ａ）
ポスチャ・ジェスチャデータ記憶部４２Ａは、ポスチャデータｐ１〜ｐ４（図９参照）とジェスチャデータｊ１〜ｊ４（図１０参照）を記憶している。ポスチャデータｐ１〜ｐ４とジェスチャデータｊ１〜ｊ４は、「顔位置を基準とした際の手先位置と、その手先位置の変動」に対応するポスチャ又はジェスチャを記したデータである。ポスチャデータｐ１〜ｐ４とジェスチャデータｊ１〜ｊ４は、ポスチャ・ジェスチャ認識部４２Ｂにおいて対象人物のポスチャ又はジェスチャを認識する際に使用される。
【００４８】
ポスチャデータｐ１〜ｐ４について図９を参照して説明すると、図９（ａ）に示す「ポスチャＰ１：ＦＡＣＥ ＳＩＤＥ」は「こんにちは」、図９（ｂ）に示す「ポスチャＰ２：ＨＩＧＨ ＨＡＮＤ」は「追従開始」、図９（ｃ）に示す「ポスチャＰ３：ＳＩＤＥ ＨＡＮＤ」は「手の方向を見よ」、図９（ｄ）に示す「ポスチャＰ４：ＬＯＷ ＨＡＮＤ」は「手の方向に曲がれ」を意味するポスチャである。
【００４９】
また、ジェスチャデータｊ１〜ｊ４について図１０を参照して説明すると、図１０（ａ）に示す「ジェスチャＪ１：ＨＡＮＤ ＳＷＩＮＧ」は「注意せよ」、図１０（ｂ）に示す「ジェスチャＪ２：ＢＹＥ ＢＹＥ」は「さようなら」、図１０（ｃ）に示す「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」は「接近せよ」、図１０（ｄ）に示す「ジェスチャＪ４：ＨＡＮＤ ＣＩＲＣＬＩＮＧ」は「旋回せよ」を意味するジェスチャである。
【００５０】
なお、本実施の形態では、ポスチャ・ジェスチャデータ記憶部４２Ａ（図６参照）は、ポスチャデータｐ１〜ｐ４（図９参照）とジェスチャデータｊ１〜ｊ４（図１０参照）を記憶しているが、ポスチャ・ジェスチャデータ記憶部４２Ａに記憶させるポスチャデータとジェスチャデータは任意に設定することができる。また、各ポスチャと各ジェスチャの意味も任意に設定することができる。
【００５１】
ポスチャ・ジェスチャ認識部４２Ｂは、統計的手法の一つである「ベイズの手法」を用いて、対象人物のポスチャ又はジェスチャを認識する。具体的には、まず、顔・手先位置検出手段４１によって検出された「実空間上における顔位置ｍ２ｔ」と「実空間上における手先位置ｍ４ｔ」から、「顔位置ｍ２ｔを基準とした際の手先位置の所定数フレーム（例えば５フレーム）における平均及び分散」を特徴ベクトルｘとして求める。そして、求めた特徴ベクトルｘに基づいて、ベイズの手法を用いて、全てのポスチャ及びジェスチャｉの確率変数ωｉの「事後分布の確率密度」を計算し、各フレームにおける「事後分布の確率密度」が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識する。
【００５２】
次に、図１１及び図１２に示すフローチャートを参照して、ポスチャ・ジェスチャ認識部４２Ｂにおけるポスチャ又はジェスチャの認識方法について詳しく説明する。ここでは、まず、図１１に示すフローチャートを参照してポスチャ・ジェスチャ認識部４２Ｂでの処理の概略について説明し、その後、図１２に示すフローチャートを参照して図１１に示したフローチャートにおける「ステップＳ１：ポスチャ・ジェスチャ認識処理」について説明する。
【００５３】
（ポスチャ・ジェスチャ認識部４２Ｂでの処理の概略）
図１１は、ポスチャ・ジェスチャ認識部４２Ｂでの処理の概略を説明するためのフローチャートである。図１１に示すフローチャートを参照して、まず、ステップＳ１では、ポスチャ又はジェスチャの認識を試みる。次に、ステップＳ２では、ステップＳ１においてポスチャ又はジェスチャを認識できたかどうかを判断する。ここで、ポスチャ又はジェスチャを認識できたと判断された場合はステップＳ３に進み、ポスチャ又はジェスチャを認識できなかったと判断された場合はステップＳ５に進む。
【００５４】
ステップＳ３では、過去の所定数のフレーム（例えば１０フレーム）において、同一のポスチャ又はジェスチャを所定回数（例えば５回）以上認識できたかどうかを判断する。ここで、同一のポスチャ又はジェスチャを所定回数以上認識できたと判断された場合はステップＳ４に進み、同一のポスチャ又はジェスチャを所定回数以上認識できなかったと判断された場合はステップＳ５に進む。
【００５５】
そして、ステップＳ４では、ステップＳ１において認識されたポスチャ又はジェスチャを認識結果として出力し、処理を終了する。また、ステップＳ５では、ポスチャ又はジェスチャを認識できなかった、即ち認識不能であると出力し、処理を終了する。
【００５６】
（ステップＳ１：ポスチャ・ジェスチャ認識処理）
図１２は、図１１に示したフローチャートにおける「ステップＳ１：ポスチャ・ジェスチャ認識処理」について説明するためのフローチャートである。図１２に示すフローチャートを参照して、まず、ステップＳ１１では、顔・手先位置検出手段４１によって検出された「実空間上における顔位置ｍ２ｔ（Ｘｆｔ，Ｙｆｔ，Ｚｆｔ）」と「実空間上における手先位置ｍ４ｔ（Ｘｈｔ，Ｙｈｔ，Ｚｈｔ）」から、「顔位置ｍ２ｔを基準とした際の手先位置の所定数フレーム（例えば５フレーム）における平均及び分散」を
【００５７】
次のステップＳ１２では、ステップＳ１１で求めた特徴ベクトルｘに基づいて、ベイズの手法を用いて、全てのポスチャ及びジェスチャｉの確率変数ωｉの「事後分布の確率密度」を計算する。
【００５８】
ステップＳ１２における「事後分布の確率密度」の求め方について詳しく説明すると、まず、特徴ベクトルｘが与えられたときに、それがポスチャ又はジェスチャｉである確率密度ｐ（ω ｉ ｜ｘ）は、下記の「ベイズの定理」と呼ばれる式（１）により求められる。なお、確率変数ω ｉ は各ポスチャ及び各ジェスチャ毎に予め設定されている。
【００５９】
【数１】
式（１）におけるｐ（ｘ｜ω ｉ ）は、ポスチャ又はジェスチャｉが与えられたときに、画像が特徴ベクトルｘを含む「条件付き確率密度」であり、下記の式（２）で表わされる。なお、特徴ベクトルｘは、共分散行列Σを持ち、
【００６１】
【数２】
また、式（１）におけるｐ（ω ｉ ）は、確率変数ω ｉ の「事前分布の確率密度」であり、下記の式（３）で表わされる。なお、ｐ（ω ｉ ）は、期待値ω ｉ０ 、分散Ｖ［ω ｉ０ ］の正規分布であるとする。
【００６３】
【数３】
式（１）の右項の分母はω ｉ に依存しないので、式（２），式（３）より、確率変数ω ｉ の「事後分布の確率密度」は、下記の式（４）で表わされる。
【００６５】
【数４】
図１２のフローチャートに戻り、次のステップＳ１３では、各フレームにおける「事後分布の確率密度」が最大であるポスチャ又はジェスチャを求め、続くテップＳ１４では、ステップＳ１３で求められたポスチャ又はジェスチャが各フレームにおけるポスチャ又はジェスチャであるという認識結果を出力し、処理を終了する。
【００６７】
図１３は、フレーム１〜１００における、ポスチャＰ１〜Ｐ４及びジェスチャＪ１〜Ｊ４についての確率変数ω ｉ の「事後分布の確率密度」を示すグラフである。なお、ここでは、ポスチャＰ１〜Ｐ４及びジェスチャＪ１〜Ｊ４を、「ｉ（ｉ＝１〜８）」としている。
【００６８】
図１３に示すように、フレーム１〜２６では「ジェスチャＪ２：ＢＹＥ ＢＹＥ」の確率密度が最大となるので、フレーム１〜２６では、対象人物のポスチャ又はジェスチャは「ジェスチャＪ２：ＢＹＥ ＢＹＥ」（図１０（ｂ）参照）であると認識される。また、フレーム２７〜４３では「ポスチャＰ１：ＦＡＣＥ ＳＩＤＥ」の確率密度が最大となるので、フレーム２７〜４３では対象人物のポスチャ又はジェスチャは「ポスチャＰ１：ＦＡＣＥ ＳＩＤＥ」（図９（ａ）参照）であると認識される。
【００６９】
また、フレーム４４〜７６では「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」の確率密度が最大となるので、フレーム４４〜７６では対象人物のポスチャ又はジェスチャは「ジェスチャＪ３：ＣＯＭＥ ＨＥＲＥ」（図１０（ｃ）参照）であると認識される。そして、フレーム８０〜１００では「ジェスチャＪ１：ＨＡＮＤＳＷＩＮＧ」の確率密度が最大となるので、フレーム８０〜１００では対象人物のポスチャ又はジェスチャは「ジェスチャＪ１：ＨＡＮＤ ＳＷＩＮＧ」図１０（ａ）参照）であると認識される。
【００７０】
なお、フレーム７７〜７９では「ジェスチャＪ４：ＨＡＮＤ ＣＩＲＣＬＩＮＧ」の確率密度が最大となるが、「ジェスチャＪ４：ＨＡＮＤ ＣＩＲＣＬＩＮＧ」は３回しか認識されていないため、対象人物のポスチャ又はジェスチャは「ジェスチャＪ４：ＨＡＮＤ ＣＩＲＣＬＩＮＧ」であるとは認識されない。これは、前記したように、ポスチャ・ジェスチャ認識部４２Ｂでは、過去の所定数のフレーム（例えば１０フレーム）において、同一のポスチャ又はジェスチャを所定回数（例えば５回）以上認識できた場合にのみ、前記同一のポスチャ又はジェスチャを認識できたと判断するためである（図１１に示すフローチャートのステップＳ３〜ステップＳ５参照）。
【００７１】
以上のようにして、ポスチャ・ジェスチャ認識部４２Ｂは、ベイズの手法を用いて、全てのポスチャ及びジェスチャｉ（ｉ＝１〜８）の確率変数ω ｉ の「事後分布の確率密度」を計算し、各フレームにおける「事後分布の確率密度」が最大であるポスチャ又はジェスチャを調べることにより、対象人物のポスチャ又はジェスチャを認識することができる。
【００７２】
（ジェスチャ認識システムＡの動作）
次に、ジェスチャ認識システムＡの動作について図１に示すジェスチャ認識システムＡの全体構成を示すブロック図と、図１４及び図１５に示すフローチャートを参照して説明する。図１４は、ジェスチャ認識システムＡの動作における「撮像画像解析ステップ」と「輪郭抽出ステップ」を説明するために示すフローチャートであり、図１５は、ジェスチャ認識システムＡの動作における「顔・手先位置検出ステップ」と「ポスチャ・ジェスチャ認識ステップ」を説明するために示すフローチャートである。
【００７３】
＜撮像画像解析ステップ＞
図１４に示すフローチャートを参照して、撮像画像解析装置２では、カメラ１ａ，１ｂから撮像画像が入力されると（ステップＳ１０１）、距離情報生成部２１において、撮像画像から距離情報である距離画像Ｄ１（図３（ａ）参照）を生成し（ステップＳ１０２）、動き情報生成部２２において、撮像画像から動き情報である差分画像Ｄ２（図３（ｂ）参照）を生成する（ステップＳ１０３）。また、エッジ情報生成部２３において、撮像画像からエッジ情報であるエッジ画像Ｄ３（図３（ｃ）参照）を生成し（ステップＳ１０４）、肌色領域情報生成部２４において、撮像画像から肌色領域情報である肌色領域Ｒ１，Ｒ２（図３（ｄ）参照）を抽出する（ステップＳ１０５）。
【００７４】
＜輪郭抽出ステップ＞
引き続き図１４に示すフローチャートを参照して、輪郭抽出装置３では、まず、対象距離設定部３１において、ステップＳ１０２とステップＳ１０３で生成された距離画像Ｄ１と差分画像Ｄ２から、対象人物が存在する距離である対象距離を設定する（ステップＳ１０６）。続いて、対象距離画像生成部３２において、ステップＳ１０４で生成されたエッジ画像Ｄ３からステップＳ１０６で設定された対象距離に存在する画素を抽出した対象距離画像Ｄ４（図４（ｂ）参照）を生成する（ステップＳ１０７）。
【００７５】
次に、対象領域設定部３３において、ステップＳ１０７で生成された対象距離画像Ｄ４内における対象領域Ｔ（図５（ｂ）参照）を設定する（ステップＳ１０８）。そして、輪郭抽出部３４において、ステップＳ１０８で設定された対象領域Ｔ内から、対象人物Ｃの輪郭Ｏ（図５（ｃ）参照）を抽出する（ステップＳ１０９）。
【００７６】
＜顔・手先位置検出ステップ＞
図１５に示すフローチャートを参照して、ジェスチャ認識装置４の顔・手先位置検出手段４１では、まず、頭位置検出部４１Ａにおいて、ステップＳ１０９で生成された輪郭情報に基づいて、対象人物Ｃの頭頂部位置ｍ１（図７（ａ）参照）を検出する（ステップＳ１１０）。
【００７７】
続いて、顔位置検出部４１Ｂにおいて、ステップＳ１１０で検出された頭頂部位置ｍ１と、ステップＳ１０５で生成された肌色領域情報とに基づいて、「画像上における顔位置ｍ２」（図７（ｂ）参照）を検出し、検出された「画像上における顔位置ｍ２（Ｘｆ，Ｙｆ）」から、ステップＳ１０２で生成された距離情報を参照して、「実空間上における顔位置ｍ２ｔ（Ｘｆｔ，Ｙｆｔ，Ｚｆｔ）」を求める（ステップＳ１１１）。
【００７８】
次に、手位置検出部４１Ｃにおいて、ステップＳ１１１で検出された「画像上における顔位置ｍ２」から、「画像上における手位置ｍ３」（図８（ａ）参照）を検出する（ステップＳ１１２）。
【００７９】
そして、手先位置検出部４１Ｄにおいて、顔位置検出部４１Ｂで検出された「画像上における顔位置ｍ２」と、手位置検出部４１Ｃで検出された手位置ｍ３とに基づいて、「画像上における手先位置ｍ４」（図８（ｂ）参照）を検出し、検出された「画像上における手先位置ｍ４（Ｘｈ，Ｙｈ）」から、ステップＳ１０２で生成された距離情報を参照して、「実空間上における手先位置ｍ４ｔ（Ｘｈｔ，Ｙｈｔ，Ｚｈｔ）」を求める（ステップＳ１１３）。
【００８０】
＜ポスチャ・ジェスチャ認識ステップ＞
引き続き図１５に示すフローチャートを参照して、ジェスチャ認識装置４のポスチャ・ジェスチャ認識部４２Ｂでは、統計的手法の一つである「ベイズの手法」を用いて、対象人物のポスチャ又はジェスチャを認識する。ポスチャ・ジェスチャ認識部４２Ｂにおけるポスチャ又はジェスチャの認識方法の詳細については、前記したのでここでは省略する。
【００８１】
以上、ジェスチャ認識システムＡについて説明したが、このジェスチャ認識システムＡに含まれるジェスチャ認識装置４は、コンピュータにおいて各手段を各機能プログラムとして実現することも可能であり、各機能プログラムを結合してジェスチャ認識プログラムとして動作させることも可能である。
【００８２】
また、このジェスチャ認識システムＡは、例えば自律ロボットに適用することができる。その場合、自律ロボットは、例えば人が手を上げるとそのポスチャ「ポスチャＰ２：ＨＩＧＨ ＨＡＮＤ」（図９（ｂ）参照）と認識することや、人が手を振るとそのジェスチャを「ジェスチャＪ１：ＨＡＮＤ ＳＷＩＮＧ」（図１０（ａ）参照）と認識することが可能となる。
【００８３】
なお、ポスチャやジェスチャによる指示は、音声による指示と比べて、周囲の騒音により左右されない、音声が届かないような状況でも指示が可能である、言葉では表現が難しい（又は冗長になる）指示を簡潔に行うことができる、という利点がある。
【００８４】
【発明の効果】
以上、詳細に説明したように、本発明によれば、対象人物のジェスチャを認識する際に、特徴点（対象人物の動きの特徴を示す点）を一々検出する必要が無いため、従来のジェスチャ認識手法と比べて、ポスチャ認識又はジェスチャ認識を行う際の演算処理を軽減することができる。
【図面の簡単な説明】
【図１】ジェスチャ認識システムＡの全体構成を示すブロック図である。
【図２】図１に示したジェスチャ認識システムＡに含まれる撮像画像解析装置２と輪郭抽出装置３の構成を示すブロック図である。
【図３】（ａ）は距離画像Ｄ１、（ｂ）は差分画像Ｄ２、（ｃ）はエッジ画像Ｄ３、（ｄ）は肌色領域Ｒ１，Ｒ２を示す図である。
【図４】対象距離を設定する方法を説明するための図である。
【図５】対象領域Ｔを設定する方法と、対象領域Ｔ内から対象人物Ｃの輪郭Ｏを抽出する方法を説明するための図である。
【図６】図１に示したジェスチャ認識システムＡに含まれるジェスチャ認識装置４の構成を示すブロック図である。
【図７】（ａ）は頭頂部位置ｍ１の検出方法を説明するための図であり、（ｂ）は顔位置ｍ２の検出方法を説明するための図である。
【図８】（ａ）は手位置ｍ３の検出方法を説明するための図であり、（ｂ）は手先位置ｍ４の検出方法を説明するための図である。
【図９】ポスチャデータｐ１〜ｐ４を示す図である。
【図１０】ジェスチャデータｊ１〜ｊ４を示す図である。
【図１１】ポスチャ・ジェスチャ認識部４２Ｂでの処理の概略を説明するためのフローチャートである。
【図１２】図１１に示したフローチャートにおける「ステップＳ１：ポスチャ・ジェスチャ認識処理」について説明するためのフローチャートである。
【図１３】フレーム１〜１００における、ポスチャＰ１〜Ｐ４及びジェスチャＪ１〜Ｊ４についての確率変数ωｉの「事後分布の確率密度」を示すグラフである。
【図１４】ジェスチャ認識システムＡの動作における「撮像画像解析ステップ」と「輪郭抽出ステップ」を説明するために示すフローチャートである。
【図１５】ジェスチャ認識システムＡの動作における「顔・手先位置検出ステップ」と「ポスチャ・ジェスチャ認識ステップ」を説明するために示すフローチャートである。
【符号の説明】
Ａ ジェスチャ認識システム
１ カメラ
２ 撮像画像解析装置
３ 輪郭抽出装置
４ ジェスチャ認識装置
４１ 顔・手先位置検出手段
４１Ａ 頭位置検出部
４１Ｂ 顔位置検出部
４１Ｃ 手位置検出部
４１Ｄ 手先位置検出部
４２ ポスチャ・ジェスチャ認識手段
４２Ａ ポスチャ・ジェスチャデータ記憶部
４２Ｂ ポスチャ・ジェスチャ認識部
Claims (4)
- カメラによってポスチャ認識又はジェスチャ認識の対象人物を撮像した撮像画像から、前記対象人物のポスチャ又はジェスチャを認識するための装置であって、
前記撮像画像から生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出手段と、
前記顔位置と前記手先位置から、前記顔位置を基準とした際の前記手先位置の所定数フレームにおける平均及び分散を特徴ベクトルとして求め、前記特徴ベクトルに基づいて、統計的手法を用いて、全てのポスチャ及びジェスチャの確率変数の事後分布の確率密度を計算し、各フレームにおける前記事後分布の確率密度が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識するポスチャ・ジェスチャ認識手段と、を備え、
前記顔・手先位置検出手段は、前記対象人物の頭頂部の位置を前記輪郭情報に基づいて検出する頭位置検出部と、この頭位置検出部により検出した頭頂部の位置と前記肌色領域情報から顔の位置を検出する顔位置検出部と、この顔位置検出部により検出した顔の位置の周辺を除いた領域に予め設定される手位置検索領域、前記肌色領域情報、前記輪郭情報に基づいて手位置を検出する手位置検出部と、検出した手位置と前記肌色領域情報に基づいて、肌色領域の上下左右の端点を検索すると共に、上下端点の垂直方向距離と左右端点の水平方向距離とを比較して距離が長いほうを手先の伸びている方向と判断し、かつ、検出した前記顔位置と前記手位置との位置関係に基づいて、前記上下端点あるいは前記左右端点のどの端点が手先位置であるかを判断する手先位置検出部と、を有することを特徴とするジェスチャ認識装置。 - 前記ポスチャ・ジェスチャ認識手段は、所定数フレームにおいて、同一のポスチャ又はジェスチャを所定回数以上認識できた場合にのみ、前記同一のポスチャ又はジェスチャを認識できたと判断することを特徴とする請求項１に記載のジェスチャ認識装置。
- カメラによってポスチャ認識又はジェスチャ認識の対象人物を撮像した撮像画像から、生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出し、前記顔位置および前記手先位置から前記対象人物のポスチャ又はジェスチャを認識するための方法であって、
前記対象人物の頭頂部の位置を頭部位置検出部により前記輪郭情報に基づいて検出するステップと、
前記頭位置検出部により検出した頭頂部の位置と前記肌色領域情報から顔位置検出部により顔の位置を検出するステップと、
前記顔位置検出部により検出した顔の位置の周辺を除いた領域に予め設定される手位置検索領域、前記肌色領域情報、前記輪郭情報に基づいて、手位置検出部により手位置を検出するステップと、
検出した手位置と前記肌色領域情報に基づいて、肌色領域の上下左右の端点を検索すると共に、上下端点の垂直方向距離と左右端点の水平方向距離とを比較して距離が長いほうを手先の伸びている方向と判断し、かつ、検出した前記顔位置と前記手位置との位置関係に基づいて、前記上下端点あるいは前記左右端点のどの端点が手先位置であるかを、手先位置検出部により判断するステップと、
前記顔位置と前記手先位置から、ポスチャ・ジェスチャ認識手段により、前記顔位置を基準とした際の前記手先位置の所定数フレームにおける平均及び分散を特徴ベクトルとして求め、前記特徴ベクトルに基づいて、統計的手法を用いて、全てのポスチャ及びジェスチャの確率変数の事後分布の確率密度を計算し、各フレームにおける前記事後分布の確率密度が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識するポスチャ・ジェスチャ認識ステップと、
を含むことを特徴とするジェスチャ認識方法。 - カメラによってポスチャ認識又はジェスチャ認識の対象人物を撮像した撮像画像から、前記対象人物のポスチャ又はジェスチャを認識するために、コンピュータを、
前記撮像画像から生成した前記対象人物の輪郭情報と肌色領域情報に基づいて、前記対象人物の実空間上における顔位置と手先位置を検出する顔・手先位置検出手段、
前記顔位置と前記手先位置から、前記顔位置を基準とした際の前記手先位置の所定数フレームにおける平均及び分散を特徴ベクトルとして求め、前記特徴ベクトルに基づいて、統計的手法を用いて、全てのポスチャ及びジェスチャの確率変数の事後分布の確率密度を計算し、各フレームにおける前記事後分布の確率密度が最大であるポスチャ又はジェスチャを、そのフレームにおけるポスチャ又はジェスチャと認識するポスチャ・ジェスチャ認識手段、として機能させ、
前記顔・手先位置検出手段は、対象人物の頭頂部の位置を前記輪郭情報に基づいて検出する頭位置検出部と、この頭位置検出部により検出した頭頂部の位置と前記肌色領域情報から顔の位置を検出する顔位置検出部と、この顔位置検出部により検出した顔の位置の周辺を除いた領域に予め設定される手位置検索領域、前記肌色領域情報、前記輪郭情報に基づいて手位置を検出する手位置検出部と、検出した手位置と前記肌色領域情報に基づいて、肌色領域の上下左右の端点を検索すると共に、上下端点の垂直方向距離と左右端点の水平方向距離とを比較して距離が長いほうを手先の伸びている方向と判断し、かつ、検出した前記顔位置と前記手位置との位置関係に基づいて、前記上下端点あるいは前記左右端点のどの端点が手先位置であるかを判断する手先位置検出部とすることを特徴とするジェスチャ認識プログラム。
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003096520A JP4153819B2 (ja) | 2003-03-31 | 2003-03-31 | ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム |
| DE602004006190T DE602004006190T8 (de) | 2003-03-31 | 2004-03-19 | Vorrichtung, Verfahren und Programm zur Gestenerkennung |
| EP04006728A EP1477924B1 (en) | 2003-03-31 | 2004-03-19 | Gesture recognition apparatus, method and program |
| US10/805,392 US7593552B2 (en) | 2003-03-31 | 2004-03-22 | Gesture recognition apparatus, gesture recognition method, and gesture recognition program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003096520A JP4153819B2 (ja) | 2003-03-31 | 2003-03-31 | ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004303014A JP2004303014A (ja) | 2004-10-28 |
| JP4153819B2 true JP4153819B2 (ja) | 2008-09-24 |
Family
ID=33408575
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003096520A Expired - Fee Related JP4153819B2 (ja) | 2003-03-31 | 2003-03-31 | ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4153819B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004302905A (ja) * | 2003-03-31 | 2004-10-28 | Honda Motor Co Ltd | 移動体の検出装置 |
Families Citing this family (14)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4328286B2 (ja) | 2004-12-14 | 2009-09-09 | 本田技研工業株式会社 | 顔領域推定装置、顔領域推定方法及び顔領域推定プログラム |
| JP4654773B2 (ja) | 2005-05-31 | 2011-03-23 | 富士フイルム株式会社 | 情報処理装置、動画像符号化装置、情報処理方法及び情報処理プログラム |
| JP2007122218A (ja) * | 2005-10-26 | 2007-05-17 | Fuji Xerox Co Ltd | 画像分析装置 |
| JP2007257088A (ja) * | 2006-03-20 | 2007-10-04 | Univ Of Electro-Communications | ロボット装置及びそのコミュニケーション方法 |
| JP4970861B2 (ja) * | 2006-07-07 | 2012-07-11 | 本田技研工業株式会社 | 車両周辺監視システム、車両、車両周辺監視プログラム、および車両周辺監視システムの構築システム |
| JP2008263422A (ja) * | 2007-04-12 | 2008-10-30 | Yasumasa Muto | 画像撮像装置および画像撮像方法 |
| JP4929109B2 (ja) * | 2007-09-25 | 2012-05-09 | 株式会社東芝 | ジェスチャ認識装置及びその方法 |
| JP5174492B2 (ja) * | 2008-03-05 | 2013-04-03 | 公立大学法人首都大学東京 | 画像認識装置、画像認識方法、画像認識プログラム、ジェスチャ動作認識システム、ジェスチャ動作認識方法、及びジェスチャ動作認識プログラム |
| JP5448468B2 (ja) * | 2009-01-21 | 2014-03-19 | セコム株式会社 | 取引監視装置 |
| JP5360406B2 (ja) * | 2009-10-29 | 2013-12-04 | 株式会社ニコン | 画像表示装置 |
| JP5800175B2 (ja) * | 2010-02-05 | 2015-10-28 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び電子機器 |
| JP5051671B2 (ja) * | 2010-02-23 | 2012-10-17 | Ｎｅｃシステムテクノロジー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP5438601B2 (ja) * | 2010-06-15 | 2014-03-12 | 日本放送協会 | 人物動作判定装置およびそのプログラム |
| JP6030617B2 (ja) * | 2014-10-15 | 2016-11-24 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置および画像処理方法 |
-
2003
- 2003-03-31 JP JP2003096520A patent/JP4153819B2/ja not_active Expired - Fee Related
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004302905A (ja) * | 2003-03-31 | 2004-10-28 | Honda Motor Co Ltd | 移動体の検出装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004303014A (ja) | 2004-10-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4153818B2 (ja) | ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム | |
| US7593552B2 (en) | Gesture recognition apparatus, gesture recognition method, and gesture recognition program | |
| JP4153819B2 (ja) | ジェスチャ認識装置、ジェスチャ認識方法及びジェスチャ認識プログラム | |
| JP4317465B2 (ja) | 顔識別装置、顔識別方法及び顔識別プログラム | |
| US7756293B2 (en) | Movement capture and analysis apparatus and method | |
| JP4318465B2 (ja) | 人物検出装置および人物検出方法 | |
| JP4372051B2 (ja) | 手形状認識装置及びその方法 | |
| JP5159950B2 (ja) | 画像処理装置、方法、プログラム | |
| KR101612605B1 (ko) | 얼굴 특징점 추출 방법 및 이를 수행하는 장치 | |
| JP5001930B2 (ja) | 動作認識装置及び方法 | |
| JP6579950B2 (ja) | カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法 | |
| JP6728865B2 (ja) | 手上げ検出装置及び手上げ検出プログラム | |
| JP4235018B2 (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| JP3952460B2 (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| JP7106296B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
| JP2005351814A (ja) | 検出装置および検出方法 | |
| JP5791373B2 (ja) | 特徴点位置決定装置、特徴点位置決定方法及びプログラム | |
| JP4523915B2 (ja) | 輪郭抽出装置、輪郭抽出方法及び輪郭抽出プログラム | |
| KR102216124B1 (ko) | 영상 처리 방법 및 영상 처리 장치 | |
| JP2005196359A (ja) | 移動物体検出装置、移動物体検出方法及び移動物体検出プログラム | |
| JP7491380B2 (ja) | 画像選択装置、画像選択方法、及びプログラム | |
| JP6810442B2 (ja) | カメラアセンブリ、そのカメラアセンブリを用いる手指形状検出システム、そのカメラアセンブリを用いる手指形状検出方法、その検出方法を実施するプログラム、及び、そのプログラムの記憶媒体 | |
| JP7270304B2 (ja) | ユーザのバイオメトリック特性を有する画像中の物体を識別することにより当該ユーザのｉｄを検証するための方法、及び当該方法を実施するためのモバイル装置 | |
| JP4272539B2 (ja) | 移動物体検出装置、移動物体検出方法、および移動物体検出プログラム | |
| JP2021043914A (ja) | 画像処理装置、画像処理方法、及び画像処理プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20051130 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080408 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080609 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080701 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080704 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 4153819 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110711 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120711 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130711 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140711 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |