JPH08279044A - パターン認識装置およびジェスチャ認識装置 - Google Patents

Abstract

(57)【要約】 【構成】 テンプレートマッチング処理装置１２は、テ
ンプレート画像記憶装置１４に予め登録しておいた複数
のテンプレート画像と、入力画像（これはビデオカメラ
などからの人物動画像を処理したもの）とを比較して相
違度を求め、状態認識装置１６はその相違度に基づい
て、特定の部分、たとえば腕や脚の一致度を計算する。
そして、状態認識装置１６では、一致度が最大のテンプ
レート画像について、状態番号記憶装置１８に予め登録
しておいた状態番号を出力する。 【効果】 ジェスチャ認識装置１０において簡単かつ高
速に人物の特定の部位の状態を同定できる。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】この発明はパターン認識装置およ
びジェスチャ認識装置に関し、特にたとえばビデオカメ
ラなどで撮影した人物動画像を処理して人物の動作を認
識し、脚や腕などの状態を同定してコンピュータなどへ
情報を提供するジェスチャ認識装置に関する。

【０００２】

【従来の技術】従来、この種の技術は、文献１：“視覚
言語処理システムにおける手の認識法”（クンラポン
ユーニパン，木下宏揚，酒井善則、電子情報通信学会論
文誌，D-II, Vol.J75-D-II, No.9, pp.1489-1497, Sep.
1992）および文献２：“シルエット画像を用いた手先動
作のリアルタイム認識とヒューマンインタフェースへの
応用”（李亜兵，辺見一男，亀井且有，井上和夫、第１
０回ヒューマン・インタフェース・シンポジウム論文
誌，pp.217-224, Oct.1994）に開示されるものがある。

【０００３】文献１に記載された従来技術では、カメラ
でユーザの上半身をとらえた画像からそのカラー情報や
エッジ情報をもとに手を抽出し、腕の角度や手首の座標
を求めるようにしている。この手法は、色情報の閾値処
理によって領域分割を行い、その各領域をそれらを囲む
エッジのところまで拡張し、そして顔など手以外の部分
とを区別するために領域の面積や伸長度による判別を行
い、その結果得られた領域について、領域の重心から最
も長い軸の方向として腕の角度を求めるものである。

【０００４】また、文献２に記載された従来技術では、
暗い背景上にある指の領域を２値化処理によって抽出し
たシルエット画像を用い、この画像を解析することによ
って２指の先端位置およびそれぞれの方向をリアルタイ
ムに決定するようにしている。この手法では、まずシル
エット画像の各走査線上において、画面の左右縁から内
側へ指領域のエッジ画素を探索し、この画素の位置が水
平方向に急激に変化する点を親指あるいは人差指の指先
候補点として求める。次に各指先候補点から或る距離だ
け下にある２本の走査線上で、それらの走査線が横切る
各指領域の中心点を結ぶ線分の傾きとしてそれぞれの指
の傾きを求め、この延長線と指領域の境界との交点を各
指の指先座標とする。さらに、この線分に直交する直線
が指領域を横切る部分の長さとして指の太さを求め、こ
の値からカメラと指との間の距離を得る。

【０００５】

【発明が解決しようとする課題】文献１の手法では、被
験者の手の領域を抽出するために色画像処理が用いられ
ているため、領域が安定して抽出できるように照明条件
や閾値の設定を工夫する必要があった。また、得られた
領域の面積，伸長度，および長軸方向を求めるために多
くの計算量を必要とするため、実時間処理が困難である
などの問題点があった。

【０００６】また、文献２の手法は手の形状を求めるも
のであるが、指先が極端に曲がっている場合や横方向を
向いた場合など、指の先端以外のシルエット部分が指の
先端よりも上にあるときには指先候補点を求めることが
できず、また指の太さや方向を正しく求めるためには指
の領域が他の指の領域と分離されていなければならない
など、技術の利用に関する制約が多かった。特に指先候
補点の探索方法は指先が上にあることを前提として利用
しているため、この前提が成立しないような指以外の部
位の形状認識に応用することは困難であった。

【０００７】それゆえに、この発明の主たる目的は、簡
単かつ高速に特定のパターンを同定できる、パターン認
識方法を提供することである。この発明の他の目的は、
簡単かつ高速に人物の特定の部位の状態を同定できる、
ジェスチャ認識方法を提供することである。

【０００８】

【課題を解決するための手段】第１の発明は、複数のテ
ンプレートパターンを記憶するテンプレートパターン記
憶手段、複数のテンプレートパターンに個別的に対応す
る複数のパターン番号を記憶するパターン番号記憶手
段、入力パターンと複数のテンプレートパターンとによ
ってテンプレートマッチング処理を行うテンプレートマ
ッチング処理手段、テンプレートマッチング処理手段の
出力に基づいて入力パターン中の特定の部分におけるテ
ンプレート画像との一致度を求める一致度算出手段、一
致度算出手段によって算出された一致度のうち最大一致
度を示すテンプレートパターンに付与されたパターン番
号を出力するパターン番号出力手段を備える、パターン
認識装置である。

【０００９】第２の発明は、複数のテンプレート画像を
記憶するテンプレート画像記憶手段、複数のテンプレー
ト画像に個別的に対応する複数の状態番号を記憶する状
態番号記憶手段、人物動画像を処理して得られる入力画
像と複数のテンプレート画像とによってテンプレートマ
ッチング処理を行うテンプレートマッチング処理手段、
テンプレートマッチング処理手段の出力に基づいて入力
画像中の特定の部分におけるテンプレート画像との一致
度を求める一致度算出手段、一致度算出手段によって算
出された一致度のうち最大一致度を示すテンプレート画
像に付与された状態番号を出力する状態番号出力手段を
備える、ジェスチャ認識装置である。

【００１０】

【作用】ジェスチャ認識装置の場合、入力画像として
は、たとえばビデオカメラなどによって撮影された人物
動画像を用いる。テンプレート画像記憶手段に予め登録
された複数のテンプレート画像とその入力画像とのテン
プレートマッチング処理がテンプレートマッチング処理
手段によって行われる。そのため、テンプレートマッチ
ング処理手段は入力画像と各テンプレート画像との相違
度（Ｄ）を出力する。この相違度に基づいて入力画像の
特定の部分（たとえば腕や脚）の一致度Ｍが計算され、
状態番号出力手段は、たとえば状態番号記憶手段を参照
して、最大の一致度を示すテンプレート画像に付与され
た状態番号を出力する。

【００１１】このような状態番号またはパターン番号
が、たとえばコンピュータのような状態（パターン）同
定装置に与えられる。

【００１２】

【発明の効果】この発明によれば、特定の部分の一致度
によって入力パターンないし入力画像の状態を同定する
ようにしているので、従来技術に比べて、より簡単化か
つ高速化することができる。この発明の上述の目的，そ
の他の目的，特徴および利点は、図面を参照して行う以
下の実施例の詳細な説明から一層明らかとなろう。

【００１３】

【実施例】図１に示すこの発明の実施例のジェスチャ認
識装置１０は、一例として、図２に示すシルエット画像
のような入力画像を処理する。この種の画像は、たとえ
ば人体領域や衣服などに含まれないような輝度をもつ背
景の前に画像を撮影するカメラなどの画像入力装置（図
示せず）を固定し、人物がいない状況で撮影した背景画
像と、入力画像の各画素の輝度差分を求め、閾値処理を
行うことによって得ることができる。このようなシルエ
ット画像作成処理は、たとえばDatacube社のMax Video
システム(Datacube Inc:“Max Video 200 Hardware Ref
erence Manual"(1993)) ，あるいはEZEL社のHRU-TAICHI
-E2 (EZEL Inc:“HRU-TAICHI IV-80画像処理ライブラリ
リファレンスマニュアル”(1989)) などの汎用画像処理
装置を用いることにより生成することができる。

【００１４】このようにして得られた入力画像は図１の
テンプレートマッチング処理装置１２に与えられ、ここ
でテンプレート画像記憶装置１４に記憶したテンプレー
ト画像と入力画像との相違度演算を行う。この相違度は
入力画像とテンプレート画像との間の輝度の差分和であ
る。なお、以下では、時刻ｔに入力される画像をＩ、そ
の大きさを横Ｗ画素、縦Ｈ画素とし、その位置（ｘ，
ｙ）にある画素の輝度をＩ（ｘ，ｙ）と表す。また、テ
ンプレート画像をＴと表し、その大きさを横ｗ画素×縦
ｈ画素とする。入力画像Ｉ上の位置（ｘ，ｙ）における
相違度は数１で定義される。

【００１５】

【数１】

【００１６】テンプレートマッチング処理装置１２はこ
の相違度を入力画像Ｔ上の或る範囲内において求め、そ
の最小値およびそれを与えた位置を出力する。得られた
最小相違度をＤ（Ｔ）、その位置を（Ｘ_T ，Ｙ_T ）とす
ると、これらは数２で与えられる。

【００１７】

【数２】

【００１８】ここで、Ａは相違度を求める範囲を示すも
のであり、前入力フレームにおける最小相違度を与えた
位置（Ｘ_T ，Ｙ_T ）の近傍などとして適当に設定する。
このような演算は、“相関法を用いた実時間物体追跡シ
ステムの製作(2) ”（廣田，李，徐，辻、情処４８全
大，No.5M-4, pp.73-74(1994))に記載の装置などを用い
ることにより行うことができる。

【００１９】図３〜図６に、図１のテンプレート画像記
憶装置１４に予め登録するテンプレート画像の一例を示
す。これらのテンプレート画像は、それぞれ、腕および
脚の状態を認識するために用いられるものの例である。
これらのテンプレート画像はテンプレートマッチング処
理装置１２においてそれぞれ参照され、テンプレートマ
ッチング処理の結果として、各テンプレート画像による
最小相違度Ｄ（Ｔ）が図１の状態認識装置１６に送られ
る。

【００２０】なお、図３〜図６に示したテンプレート画
像は、それぞれ、図中に示した記号Ｕ，Ｌ_i ，Ｒ_i およ
びＦ_i などと表す。また、それぞれの状態番号を図中に
示すように各テンプレート画像に割り当てておき、テン
プレート画像Ｌ_i ，Ｒ_i およびＦ_i の状態番号を、以
下、 Num（Ｌ_i ）， Num（Ｒ_i ）および Num（Ｆ_i ）な
どと表す。この状態番号は図１の状態番号記憶装置１８
に記憶しておく。なお、記号Ｕは初期状態を示し、Ｌは
左腕、Ｒは右腕、Ｆは脚を示す。

【００２１】テンプレートマッチング処理装置１２で
は、各テンプレート画像とのマッチング処理の結果得ら
れる最小相違度Ｄ（Ｕ），Ｄ（Ｌ_i ），Ｄ（Ｒ_i ）およ
びＤ（Ｆ_i ）が得られ、これが状態認識装置１６に伝送
される。状態認識装置１６は、テンプレート間相違度記
憶装置２０に記憶されたテンプレート間相違度および状
態番号記憶装置１８に記憶された各テンプレート画像の
状態番号を参照して、入力画像Ｉにおける腕や脚の状態
番号を出力する。

【００２２】ここで、一例として、左腕（Ｌ）の状態の
認識について述べる。図７に、状態認識装置１６（図
１）の一部を詳細に示す機能ブロック図を示す。図７の
一致度算出装置２２は、テンプレートマッチング処理装
置１２から受け取ったテンプレートマッチング処理結果
に基づいて、各テンプレート画像の腕にあたる部分に実
際に存在する入力画像中の腕の画素数Ｍ（Ｌ_i ）を求め
るものである。この値を、以下、各テンプレート画像と
入力画像との「一致度」と呼ぶ。この一致度の算出は数
３によって行う。

【００２３】

【数３】

【００２４】ただし、Ｄ（Ｌ_i ，Ｕ）は、数４で与えら
れるテンプレート画像Ｌ_i と初期画像Ｕとの間の相違度
である。したがって、腕のあるテンプレート画像の画素
数Ｄ（Ｌｉ）をＤ（Ｌ_i ，Ｕ）から引き、腕のないテン
プレート画像の画素数Ｄ（Ｕ）を加えることによって、
腕に相当する部分の画素数Ｍ（Ｌｉ）のみが一致度とし
て得られる。

【００２５】

【数４】

【００２６】この数４で与えられる相違度の値は予め図
１のテンプレート間相違度記憶装置２０に記録してお
く。図７の最大一致度選択装置２４は、一致度算出装置
２２において算出された一致度に基づいて、その最大値
およびそれを与えたテンプレート画像の番号を求める。
得られた最大一致度Ｍ（Ｌ）およびテンプレート番号Ｉ
_L は、それぞれ数５および数６を満たすものである。

【００２７】

【数５】

【００２８】

【数６】

【００２９】図７の状態数決定装置２６は、最大一致度
選択装置２４において得られた、一致度が最大のテンプ
レート画像について、その状態番号を出力する装置であ
り、この装置２６は状態番号記憶装置１８に記憶された
各テンプレート画像の状態番号を参照する。ただし、最
大一致度選択装置２４からの出力である最大一致度に対
して閾値によるエラーの判定を行う。出力される状態番
号は数７で示されるものである。

【００３０】

【数７】

【００３１】ここで、「９９」は認識エラーを示す数値
である。また、Ｔｈ（Ｎ（Ｌ））は閾値であり、図４に
示したテンプレート画像を用いる場合は「５」程度が適
当である。なお、複数のテンプレート画像が同じ最大一
致度を与えたときは、それらの状態番号の平均値を出力
する。以下に、数３を導出する方法を説明する。図４よ
り、左腕に当たる部分はテンプレート画像ＵとＬ_i とで
異なった画素値をもつ領域である。このようなテンプレ
ート画像間で異なった画素値をもつ領域をＡｒｍと表す
と、任意の位置（ｘ，ｙ）について各テンプレート画像
との相違度を次のように変形することができる。

【００３２】

【数８】

【００３３】

【数９】

【００３４】ここで、Ａｒｍ以外の領域は画素値は同じ
であることから、

【００３５】

【数１０】

【００３６】である。また、Ａｒｍ領域における入力画
像と各テンプレート画像との相違度の和は、その領域の
総画素数となり、

【００３７】

【数１１】

【００３８】である。したがって、

【００３９】

【数１２】

【００４０】であり、結局、Ａｒｍ領域におけるシルエ
ット画素の数は

【００４１】

【数１３】

【００４２】となる。したがって、入力画像とテンプレ
ート画像Ｌ_i との一致度は、

【００４３】

【数１４】

【００４４】と求められる。ここで、図４に示したテン
プレート画像は、腕の部分が胴体の部分に比べて小さ
く、胴体の部分が図３に示したものと同じであるため、
両者のマッチング位置はほぼ同じであると近似すること
ができる。すなわち、数１５のようにテンプレート画像
Ｌ_i の位置（Ｘ_U ，Ｙ_U ）における相違度を最小相違度
で近似することができる。

【００４５】

【数１５】

【００４６】この結果、数３が導かれる。図１に示すジ
ェスチャ認識装置１０により、テンプレート画像の一部
の領域に対する入力画像とテンプレート画像との一致度
に基づいて、左腕の状態を認識することができる。な
お、右腕に対する処理も同様である。図８は実際の処理
結果例であり、処理の結果得られた各腕（実線が左腕、
破線が右腕）の状態番号を時間軸に沿って示したもので
ある。腕を回転させる動作がその結果に反映されている
ことがわかる。

【００４７】一方、一般に行われるテンプレートマッチ
ング処理では、複数のテンプレート画像で示されたもの
の間の状態を推定することができない。これを改善する
ために、求めた最小相違度と、それを与えたテンプレー
ト画像に隣接するテンプレート画像による相違度とを比
較し、その間の状態の推定を行う。たとえば図４のテン
プレート画像を用いてテンプレートマッチング処理を行
う場合、隣合うテンプレート画像どうしで共通のシルエ
ット領域をもつため、隣接するテンプレート画像との相
違度の関係は図９に示すようになっていると仮定でき
る。したがって、この隣接するテンプレート画像の相違
度を比較することにより、その中間の状態を推定するこ
とができる。

【００４８】図１０が、このようにテンプレート画像の
間の状態を認識することができる状態認識装置１６（図
１）の一部を詳細に示す機能ブロック図である。先の実
施例と同様に、状態認識装置１６へ入力されるデータは
テンプレートマッチング処理装置１２によって求められ
た入力画像と各テンプレート画像との最小相違度であ
る。以下、このデータに基づいて、一例として脚（Ｆ）
の状態を認識する処理について説明する。

【００４９】図１０の最小相違度選択装置２８は、入力
画像と各テンプレート画像との最小相違度Ｄ（Ｆ_i ）に
基づき、その最小値とそれを与えたテンプレート画像の
番号とを出力する。出力される相違度最小値Ｄ（Ｆ）お
よびテンプレート番号Ｉ_F は以下の式を満たすものであ
る。

【００５０】

【数１６】

【００５１】

【数１７】

【００５２】そして、隣接テンプレート相違度決定装置
３０は、最小相違度選択装置２８で指定されたテンプレ
ート画像に隣接するテンプレート画像の相違度を出力す
る装置である。この出力は、最小相違度Ｄ（Ｆ），およ
び次の式で与えられる隣接相違度Ｄ（Ｆ）⁺ ，Ｄ（Ｆ）
^- である。

【００５３】

【数１８】

【００５４】

【数１９】

【００５５】図１０の中間状態推定装置３２は、隣接相
違度決定装置３０が出力した３つの相違度を比較し、そ
の中間状態を推定する。中間状態推定装置３２の動作を
図１１に示す。図１１に示す処理によって隣接するテン
プレート間の状態が推定される。これは図９に示す各中
間状態の判定基準を基に手順化したものである。得られ
た結果をΔＦで表す。なお、図１１中Ｔｈ（Ｆ）は相違
度に対する閾値であり、図６に示したテンプレート画像
を用いる場合はその白画素数の半分程度に設定するのが
好ましい。

【００５６】すなわち、最小相違度Ｄ（Ｆ）と隣接相違
度Ｄ（Ｆ）⁺ およびＤ（Ｆ）^- とのそれぞれの一致を比
較し、Ｄ（Ｆ）＝Ｄ（Ｆ）⁺ でかつＤ（Ｆ）＝Ｄ（Ｆ）
^- のとき、およびＤ（Ｆ）≠Ｄ（Ｆ）⁺ ，Ｄ（Ｆ）≠Ｄ
（Ｆ）^- でかつＤ（Ｆ）⁺ またはＤ（Ｆ）^- がＴｈ
（Ｆ）より大きいとき、ΔＦ＝０として出力し、Ｄ
（Ｆ）＝Ｄ（Ｆ）⁺ でかつＤ（Ｆ）≠Ｄ（Ｆ）^- のとき
あるいはＤ（Ｆ）＝Ｄ（Ｆ）^-でかつＤ（Ｆ）≠Ｄ
（Ｆ）⁺ のとき、ΔＦ＝２あるいはΔＦ＝−２を出力
し、Ｄ（Ｆ）≠Ｄ（Ｆ）⁺ ，Ｄ（Ｆ）≠Ｄ（Ｆ）^- でか
つＤ（Ｆ）⁺ がＴｈ（Ｆ）より小さいときΔＦ＝１で、
あるいはＤ（Ｆ）^- がＴｈ（Ｆ）より小さいときΔＦ＝
−１で、出力される。

【００５７】図１０の状態数決定装置３４は、最小相違
度選択装置２８が出力した相違度最小値Ｄ（Ｆ）とテン
プレート番号Ｉ_F ，および中間状態推定装置３２が出力
した値ΔＦに基づき、状態番号記憶装置１８に記憶され
た各テンプレート画像の状態番号を参照して、数２０に
よって状態番号Ｆを算出する。

【００５８】

【数２０】

【００５９】図１２は実際の処理結果例であり、処理の
結果得られた状態番号を時間軸に沿って示したものであ
る。脚の状態が滑らかに認識されていることがわかる。
また、前述の腕の部分の一致度に基づく状態推定法，お
よびテンプレート画像の間の状態を推定する方法を組み
合わせることにより、図４（または図５）に示したテン
プレート画像の間の腕の状態を推定することができる。
このような処理を行う状態認識装置１６′のブロック図
を図１３に示す。以下、左腕の状態を推定する処理につ
いて述べる。

【００６０】図１３の一致度算出装置２２および最大一
致度選択装置２４は、それぞれ、図７の一致度算出装置
２２および最大一致度選択装置２４と同じであり、これ
らによって最大一致度Ｍ（Ｌ）と、それを与えたテンプ
レート画像の番号Ｉ_L とが出力される。図１３実施例の
隣接（テンプレート）一致度決定装置３６は、図１０の
隣接（テンプレート）相違度決定装置３０に代わり、最
大一致度選択装置２４が指定したテンプレート画像に隣
接するテンプレート画像の一致度を出力するものであ
る。この隣接一致度決定装置３６の出力は、最大一致度
Ｍ（Ｌ），および次の式で与えられる隣接一致度Ｍ
（Ｌ）⁺ ，Ｍ（Ｌ）^- である。

【００６１】

【数２１】

【００６２】

【数２２】

【００６３】そして、図１３の中間状態推定装置３８
は、隣接一致度決定装置３６が出力した３つの一致度を
比較し、その中間状態を推定する。中間状態推定装置３
６の動作を図１４に示す。図１４に示す処理によって隣
接するテンプレート間の状態が推定される。これは、図
１５に示す各中間状態の判定基準を基に手順化したもの
である。得られた結果をΔＬで表す。

【００６４】すなわち、最小相違度Ｍ（Ｌ）と隣接相違
度Ｍ（Ｌ）⁺ およびＭ（Ｌ）^- とのそれぞれの一致を比
較し、Ｍ（Ｌ）＝Ｍ（Ｌ）⁺ でかつＭ（Ｌ）＝Ｍ（Ｌ）
^- のとき、およびＭ（Ｌ）≠Ｍ（Ｌ）⁺ ，Ｍ（Ｌ）≠Ｍ
（Ｌ）^- でかつＭ（Ｌ）⁺ またはＭ（Ｌ）^- がＴｈ
（Ｌ）より大きいとき、ΔＦ＝０として出力し、Ｍ
（Ｌ）＝Ｍ（Ｌ）⁺ でかつＭ（Ｌ）≠Ｍ（Ｌ）^- のとき
あるいはＭ（Ｌ）＝Ｍ（Ｌ）^-でかつＭ（Ｌ）≠Ｍ
（Ｌ）⁺ のとき、ΔＦ＝２あるいはΔＦ＝−２を出力
し、Ｍ（Ｌ）≠Ｍ（Ｌ）⁺ ，Ｍ（Ｌ）≠Ｍ（Ｌ）^- でか
つＭ（Ｌ）⁺ がＴｈ（Ｌ）より小さいときΔＦ＝１で、
あるいはＭ（Ｌ）^- がＴｈ（Ｌ）より小さいときΔＦ＝
−１で、出力される。

【００６５】状態数決定装置２６は、図１３実施例の場
合、最大一致度選択装置２４が出力した最大一致度Ｍ
（Ｌ）とテンプレート番号Ｉ_L ，および中間状態推定装
置３８が出力した値ΔＬに基づき、状態番号記憶装置１
８に記憶された各テンプレート画像の状態番号を参照し
て、数２３によって状態番号Ｌを算出する。

【００６６】

【数２３】

【００６７】なお、右腕に対する処理もＭ（Ｌ）および
Ｔｈ（Ｌ）に代えてＭ（Ｒ）およびＴｈ（Ｒ）を用いれ
ば同様である。図１６は実際の処理結果例であり、処理
の結果得られた状態番号を時間軸に沿って示したもので
ある。実線が左腕を、破線が右腕をそれぞれ示す。図１
６から腕を回転させる動作が滑らかに認識されているこ
とがわかる。

【００６８】そして、上述の状態数決意装置２６（また
は３４）から処理される状態番号が、腕や脚の状態を同
定する情報として利用される。なお、前述の実施例はシ
ルエット画像を用いることを前提として述べたが、この
発明の実施にはシルエット画像は必ずしも必要でない。
たとえば、数１の相違度の定義を次のように変え、青色
など単一色のスクリーンを用意し、その背景色と同じ色
を図３〜図６の黒色部分に適用したテンプレート画像を
用いることにより、そのスクリーンの前に立った人物の
動作を認識することが可能となる。

【００６９】

【数２４】

【００７０】さらに、上で説明した実施例はジェスチャ
認識装置であるが、この発明は参照パターンと入力パタ
ーンとのテンプレートマッチング処理によって入力パタ
ーンを同定する全てのパターン認識装置に適用できる。
また、上述の実施例では２次元画像における特定部位の
状態を判断するようにした。しかしながら、たとえば前
（または後ろ）からの画像と横からの画像を用いれば、
３次元的な状態を同定することもできることは容易に理
解されよう。

【図面の簡単な説明】

【図１】この発明の一実施例を示す機能ブロック図であ
る。

【図２】図１実施例への入力画像の一例を示す図解図で
ある。

【図３】テンプレート画像の一例を示し、腕の状態を認
識するための初期状態を示す。

【図４】左腕の状態を認識するためのテンプレート画像
の一例を示す図解図である。

【図５】右腕の状態を認識するためのテンプレート画像
の一例を示す図解図である。

【図６】脚の状態を認識するためのテンプレート画像の
一例を示す図解図である。

【図７】図１実施例の状態認識装置を詳細に示す機能ブ
ロック図である。

【図８】左腕の状態認識の認識結果の一例を示すグラフ
である。

【図９】隣接テンプレート画像間での相違度を示す図解
図である。

【図１０】状態認識装置の他の例を詳細に示す機能ブロ
ック図である。

【図１１】図１０実施例において相違度を用いて中間状
態を推定する中間状態推定装置の動作を示すフロー図で
ある。

【図１２】図１０実施例によってテンプレート画像間の
状態を補間をした場合の脚の認識結果の一例を示すグラ
フである。

【図１３】状態認識装置の他の例を詳細に示す機能ブロ
ック図である。

【図１４】図１３実施例において一致度を用いて中間状
態を推定する中間状態推定装置の動作を示すフロー図で
ある。

【図１５】隣接テンプレート画像間での一致度を示す図
解図である。

【図１６】図１３実施例によってテンプレート画像間の
状態を補間をした場合の腕の認識結果の一例を示すグラ
フである。

【符号の説明】

１０ …ジェスチャ認識装置 １２ …テンプレートマッチング処理装置 １４ …テンプレート画像記憶装置 １６ …状態認識装置 １８ …状態番号記憶装置 ２０ …テンプレート間相違度記憶装置 ２６ …状態数決定装置 ３２，３８ …中間状態推定装置

Claims (6)

【特許請求の範囲】
1. 【請求項１】複数のテンプレートパターンを記憶するテ
   ンプレートパターン記憶手段、 前記複数のテンプレートパターンに個別的に対応する複
   数のパターン番号を記憶するパターン番号記憶手段、 入力パターンと前記複数のテンプレートパターンとによ
   ってテンプレートマッチング処理を行うテンプレートマ
   ッチング処理手段、 前記テンプレートマッチング処理手段の出力に基づいて
   前記入力パターン中の特定の部分におけるテンプレート
   画像との一致度を求める一致度算出手段、 前記一致度算出手段によって算出された一致度のうち最
   大一致度を示すテンプレートパターンに付与されたパタ
   ーン番号を出力するパターン番号出力手段を備える、パ
   ターン認識装置。
2. 【請求項２】前記テンプレートマッチング処理手段の出
   力に基づいて前記テンプレートパターンによって示され
   た前記特定の部分における中間状態を推定する中間状態
   推定手段、および推定した中間状態の状態番号を出力す
   る中間状態番号出力手段を備える、請求項１記載のパタ
   ーン認識装置。
3. 【請求項３】複数のテンプレート画像を記憶するテンプ
   レート画像記憶手段、 前記複数のテンプレート画像に個別的に対応する複数の
   状態番号を記憶する状態番号記憶手段、 人物動画像を処理して得られる入力画像を付与する入力
   手段、 前記入力画像と前記複数のテンプレート画像とによって
   テンプレートマッチング処理を行うテンプレートマッチ
   ング処理手段、 前記テンプレートマッチング処理手段の出力に基づいて
   前記入力画像中の特定の部分におけるテンプレート画像
   との一致度を求める一致度算出手段、 前記一致度算出手段によって算出された一致度のうち最
   大一致度を示すテンプレート画像に付与された状態番号
   を出力する状態番号出力手段を備える、ジェスチャ認識
   装置。
4. 【請求項４】前記テンプレートマッチング処理手段の出
   力に基づいて前記テンプレート画像によって示された前
   記特定の部分における中間状態を推定する中間状態推定
   手段、および推定した中間状態の状態番号を出力する中
   間状態番号出力手段を備える、請求項３記載のジェスチ
   ャ認識装置。
5. 【請求項５】前記中間状態推定手段は、前記入力画像の
   前記特定の部分の状態に隣接する状態を示す２つの隣接
   テンプレート画像と前記入力画像との一致度に基づいて
   前記中間状態を推定する、請求項４記載のジェスチャ認
   識装置。
6. 【請求項６】前記中間状態推定手段は、前記入力画像の
   前記特定の部分の状態に隣接する状態を示す２つの隣接
   テンプレート画像と前記入力画像との相違度に基づいて
   前記中間状態を推定する、請求項４記載のジェスチャ認
   識装置。