JP3122290B2

JP3122290B2 - ジェスチャ動画像認識方法

Info

Publication number: JP3122290B2
Application number: JP05217566A
Authority: JP
Inventors: 隆一岡; 進関; 勝彦高橋
Original assignee: NEC Corp; Sharp Corp
Current assignee: NEC Corp; Sharp Corp
Priority date: 1993-09-01
Filing date: 1993-09-01
Publication date: 2001-01-09
Anticipated expiration: 2016-01-09
Also published as: JPH0773289A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、撮像された動画像の中
で示される人間の身振り，手振りを認識するためのジェ
スチャ動画像認識方法に関する。

【０００２】

【従来の技術】人は多くの情報を視覚を通して獲得し行
動に役立っている。同じような視覚情報処理能力をコン
ピュータに持たせることができたならば、現在人間が行
っている仕事の一部を代行させたり、人にやさしいイン
タフェースを持たせることが可能になる。

【０００３】このような機能を実現するため、これまで
様々な種類のビジョン研究がされているが、特に近年で
は動画像を連続した動的プロセスとして捉えた研究が増
えつつある。ボレス（Ｂｏｌｌｅｓ）は、移動している
観測者が得る動画像を時空間パターンととらえ、そこか
ら対象の位置を抽出するＥｐｉｐｏｌａｒ−Ｐｌａｎｅ
ＩｍａｇｅＡｎａｌｙｓｉｓ法を提案している。ペ
ントランド（Ｐｅｎｔｌａｎｄ）は、人の顔などをＣＣ
Ｄカメラでとらえ、このとき得られる連続画像をカルマ
ンフィルタに入力し、その数ｍｓ後の位置や向きを推測
してリアルタイムにユーザにフィードバックするシステ
ムを提案している。また、入力は画像データではない
が、佐川らはデータグローブから１／３０秒毎に得られ
る３２次元のデータを連続ＤＰで予め作成してある手話
単語標準パターンと照合し、手話文認識を行った。しか
し、これまで動画像から得られる動き情報の意味を理解
しようとする提案は未だよく知られていない。なお、未
公開ではあるが、本願発明者の提案として特願平４−４
９７９０号がある。

【０００４】

【発明が解決しようとする課題】特願平４−４９７９０
号の提案は動画像の中から画像の特徴を示す１次特徴を
抽出し、次に１次特徴から２次特徴を抽出する。この２
次特徴を動画像中のジェスチャ（身振り，手振り）の認
識処理に用いるというものである。しかしながら特願平
４−３４９７９０号に示される方法は、ノイズや変動に
対し頑健な動作モデルを少ないデータから生成できるも
のの、その２次特徴が画像系列から抽出されるエッジ強
度を直接反映したものであるため、被検者の着衣や背景
のテクスチャによる影響を受けやすい。これが特願平４
−３４９７９０号の提案による人間の身振り・手振りの
認識率を低下させる一つの要因になっていた。

【０００５】加えて、認識対象となる動画像は時間の経
過に応じて画像が変化するため、ジェスチャが動画像の
中に含まれる時間および時刻は一定時間ではなく、不特
定の時間長さ，時刻となる。このような動画像からジェ
スチャのみが含まれる動画像を切り出すためには、動画
像を表示し、人間の眼でジェスチャのみが含まれる動画
像を確認する必要があった。

【０００６】そこで、これらの点に鑑みて、本発明の第
１目的は、被検者の着衣や背景が変化してもその影響を
緩和することの可能なジェスチャ動画像認識方法を提供
することにある。

【０００７】本発明の第２目的は、人間を介在すること
なく、動画像の中の不特定位置のジェスチャを検出し、
その意味を識別することの可能なジェスチャ動画像認識
方法を提供することにある。

【０００８】

【課題を解決するための手段】第１，第２の目的を達成
するために、請求項１の発明は、撮像装置により撮像さ
れた動画像の中の被写体の示すジェスチャ内容を画像処
理装置により識別するジェスチャ動画像認識方法におい
て、前記画像処理装置は、前記動画像の中から、エッジ
情報の形態の前記被写体の特徴系列を抽出し、ジェスチ
ャの内容が判明している前記特徴系列を標準パターンと
して予め用意しておき、前記画像処理装置は前記動画像
から抽出された特徴系列と前記標準パターンの示す特徴
系列とを連続ＤＰ法により整合することを特徴とする。

【０００９】さらに請求項２の発明は、請求項１の発明
に加えて、前記標準パターンは、前記撮像装置により撮
像された被写体の動画像から前記画像処理装置により生
成されることを特徴とする。

【００１０】第１の目的を達成するために、請求項３の
発明は、撮像装置により撮像された動画像の中の被写体
の示すジェスチャ内容を画像処理装置により識別するジ
ェスチャ動画像認識方法において、前記画像処理装置
は，前記動画像の中から、エッジ情報の形態の前記被写
体の特徴系列であって、その特徴系列が画像データの集
合で構成され、該画像データは画像の水平位置、垂直位
置および時刻をパラメータとして有する画像データであ
る特徴系列を抽出し、ジェスチャ内容が判明している前
記特徴系列を標準パターンとして予め用意しておき、前
記画像処理装置は前記動画像から抽出された特徴系列と
前記標準パターンの示す特徴系列とを整合することによ
り前記被写体の示すジェスチャ内容を識別し、前記画像
処理装置はジェスチャ内容の識別に先立って、前記動画
像の中から、エッジ情報の形態の前記被写体の特徴系列
を抽出し、当該抽出された特徴系列に対して、前記画像
データの平滑化処理を行なうことを特徴とする。

【００１１】

【作用】請求項１の発明は、動画像の中のエッジ情報、
すなわち輪郭線画像を示す情報を被写体の形状を表す特
徴として抽出するので、輪郭線の中に含まれる被写体の
衣服の色や輪郭線の外の背景の色の相違の影響を受ける
ことがない。また、エッジ情報の抽出により、標準パタ
ーンとの整合の対象となるデータ量が減少するので連続
ＤＰによる整合が可能となる。

【００１２】請求項２の発明は、撮像装置により撮像し
た動画像から標準パターンを生成するので、どのような
被写体のジェスチャをも識別することができる。

【００１３】請求項３の発明は、輪郭線画像中にエッジ
強度むらがあってもなまし処理によりエッジ情報が平滑
され、明確な輪郭線形状を得ることができる。

【００１４】

【実施例】以下、図面を参照して本発明の実施例を詳細
に説明する。

【００１５】動画像のスポッティング理解系の構成を図
１に示す。本理解系は２種類の処理系から構成される。
一方は標準パターンを作成する処理系である。入力画像
系列から特徴抽出を行い、それを用いて各ジェスチャの
モデルである標準パターンを生成する。この処理はジェ
スチャ認識を行う前に実行する。もう一方はジェスチャ
を認識する処理系である。入力画像系列から特徴抽出を
行い、予め作成してある標準パターンとの距離をスポッ
ティング認識という方法によって計算し認識結果をフレ
ームワイズに出力する。

【００１６】動画像から得られる特徴には様々なものが
考えられるが、本手法では水平・垂直・時間方向のエッ
ジ情報を用いる。これは、エッジ特徴をその要素別に分
解して独立な複数のスカラ場を作成し、これを空間的リ
ダクションや時間的平均化することにより、動画像理解
のための分解能とロバスト性のある特徴を得られるから
である。また、特徴抽出は比較的容易で実時間処理にも
適している。

【００１７】対象の人間による手振り・身振り等のジェ
スチャはＣＣＤカメラによって画像の時系列として観測
されるため、この画像系列を処理してエッジ特徴画像の
時系列パターン（時空間パターン）を生成することがで
きる。ここでは、（１）入力画像系列から時空間ベクトル場の抽出（２）時空間ベクトル場系列に対する空間リダクション
・時間平均化（３）平均化されたベクトル場のなまし処理という３つの処理によって特徴ベクトル場を定めること
にする。以下に特徴ベクトル場を得る具体的な手順を示
す。

【００１８】今、観測される入力画像系列を

【００１９】

【数１】｛f(x,y,t)｜０≦ｘ≦Ｌ，０≦ｙ≦Ｌ，０≦ｔ≦∞｝と記す。ここで、ｘ，ｙは各画像の水平・垂直位置、ｔ
は時刻を示し、ｆ（ｘ，ｙ，ｔ）は時空間点（ｘ，ｙ，
ｔ）での画像の強度を示す。そしてエッジ情報として、
時空間点（ｘ，ｙ，ｔ）での時空間ベクトルＶ（ｘ，
ｙ，ｔ）を、

【００２０】

【数２】

【００２１】によって定義する。実際の入力画像系列は
ｘ，ｙ，ｔが離散的であるので、数２の各ベクトル要素
は、重みの行列を

【００２２】

【数３】

【００２３】として

【００２４】

【数４】

【００２５】によって与えることにする。

【００２６】そして、数４で定められる時空間ベクトル
場を、特徴量として、よりロバストなものにするために
その要素ごとの空間的リダクションと時間的平均化操作
を行う。空間的リダクションとして、ｘ，ｙ平面の圧縮
によりｘおよびｙ軸上の格子点の数をＬからＮ（≦Ｌ）
にする操作を行い、時間的平均化として、時刻ｔ−Ｋ＋
１から時刻ｔまでの間のフレームの平均をｘ，ｙでの値
にする。さらに、エッジの有無の効果を強く出すため
に、平均化された時空間ベクトルの各成分の値を対数を
とることによってなます。以上の操作は、α，βを整
数、ｈ≡Ｌ／Ｎ、ω＝１，２，３、１≦ｌ≦Ｎ、１≦ｍ
≦Ｎとし、ガウス記号［］を用いて、

【００２７】

【数５】

【００２８】と記述できる。これらの操作によって作ら
れる特徴ベクトル場を

【００２９】

【数６】

【００３０】と定める。１はアルファベットの小文字を
示す。

【００３１】標準パターンは人間の手振り・身振りを表
現するモデルであり、始点および終点の定まった特徴ベ
クトル場によって表現される。以下に作成手順を示す。

【００３２】まずジェスチャを録画した映像から１つの
意図を表現しているフレームだけを切り出す。そして、
この画像系列を入力とし前に示した処理を施して始点お
よび終点の定まった特徴ベクトル場を得る。しかし、こ
の特徴ベクトル場の初めのＫ＋２の区間では時間軸方向
のエッジの抽出、および空間的平均化操作の性質上適正
な値を得ることができず標準パターンの一部として用い
るのは適当でない。そこで、Ｔ＋Ｋ＋２のフレーム数の
入力画像を用いてフレーム数Ｔのジェスチャの標準パタ
ーンを作成する。基本的に１つのジェスチャには１つの
標準パターンが対応する。

【００３３】認識対象となる入力画像系列とあらかじめ
作成されている標準パターンとのマッチング方法を示
す。ＣＣＤカメラ等によって得られる入力画像系列は画
像が得られると同時に数６で示される特徴ベクトル場に
変換される。この系列は始点（ｔ＝１）はあっても終端
はないものとする。各時刻ｔを標準パターンの終端と仮
定して、それらの最適対応を時間軸に沿ってとり、これ
を時刻ｔの識別結果とする。この整合の考え方は音声認
識で用いられているスポッティング整合というものであ
る。このスポッティング整合方式としては連続ＤＰが良
く知られているが、動画像に対してそのまま連続ＤＰを
用いることは問題があり、従来では行われていなかっ
た。そこで、本実施例では動画像の特徴系列を連続ＤＰ
の整合対象としたことにより動画像の連続ＤＰの整合を
可能とした。連続ＤＰを特徴画像系列のスポッティング
整合方式として用いると以下のように表現できる。

【００３４】入力画像系列から計算される時刻ｔにおけ
る特徴パターンを

【００３５】

【数７】

【００３６】とする。また、一つの標準パターンを

【００３７】

【数８】Ｚ≡｛z(τ) ｜１≦τ≦Ｔ｝で表す。ここで、

【００３８】

【数９】

【００３９】とする。そのとき、ｕ（ｔ）とｚ（τ）と
の距離ｄ（ｔ，τ）を

【００４０】

【数１０】

【００４１】によって定義する。ここで、ωは注目する
情報によってω∈｛１，２，３｝、ω∈｛１，２｝また
はω∈｛３｝とする。このとき、連続ＤＰは（ｔ，τ）
における累積距離Ｓ（ｔ，τ）を以下のように定義す
る。初期条件を、

【００４２】

【数１１】 S(-1，τ) ≡S(0,τ) ≡∞ （１≦τ≦Ｔ）として、ｔ≧１については漸化式、

【００４３】

【数１２】S(t,1)≡3・d(t,1)

【００４４】

【数１３】

【００４５】

【数１４】

【００４６】で与える（図２）。ここでτ＝Ｔとおく、
すなわち時刻ｔに動作が終了したと仮定するとＳ（ｔ，
Ｔ）は標準パターンの区間［１，Ｔ］について入力時系
列に最適に整合した時の累積距離を示すが、この値を重
みの和３・Ｔで正規化したもの

【００４７】

【数１５】

【００４８】を連続ＤＰの出力とする。今、Ｉ個の標準
パターンが存在すると、各時刻ｔにおいて、Ｉ個のＡ
（ｔ）が存在するが、これらをＡ _l （ｔ）、ｌ＝１，
２，…，Ｉとしたとき、各時刻における意図を表すカテ
ゴリ番号は

【００４９】

【数１６】

【００５０】として定められる。ここで、Ａｒｇは引数
を返す関数、ｈ₀ は閾値、ｎｕｌｌは空のカテゴリを表
す。連続ＤＰの出力は図３に示すようになり、動作の開
始時刻ではなく、動作終了前後において最小となる性質
がある。

【００５１】本手法に対する衣服・背景の影響や利用す
るエッジ特徴の有効性を調べるため認識実験を行った。
以下に具体的な手順を示す。

【００５２】本実験の機器構成を図４に示す。映像はＣ
ＣＤカメラを用いて取り込む。映像を記録しておく必要
のある場合は書き込み可能なレーザディスクまたはＶＴ
Ｒを用いる。計算はＩＲＩＳＣＲＩＭＳＯＮ（Ｒ４０
００，８０Ｍｉｐｓ−画像処理装置の商品名）で行い、
先に挙げた３つの映像ソースからフレームグラバを介し
て画像データを取り込むことができる。ただしＩＲＩＳ
のみでは、リアルタイムに処理ができず、データが送ら
れてくるスピードに追随できない。そこで、本実験時に
はリアルタイムディスクを介して一旦ＩＲＩＳのハード
ディスクにデータを蓄積し、そこからデータを読み込ん
で処理を行った。

【００５３】実験は室内で、１人の被験者に対して行っ
た。カメラは映像の背景が動かないようにしっかり固定
し、ジェスチャを行う人物が画面のほぼ同じ位置に同じ
大きさで映るようにセットした。ＣＣＤカメラの出力映
像をＡＤ変換して得られる画像はサイズ７２０×４８
４、１画素２５６階調のＲＧＢ画像であるが、そのなか
で比較的輝度に強い影響を与えるグリーンのプレーンの
みを用いた。このうちの２５６×２５６の領域を切り出
し、さらに４×４のピクセルを一まとめにして６４×６
４の画像を入力とした。

【００５４】実験に用いたジェスチャは（１）いいえ、
（２）拍手、（３）こっちこっち、（４）じゃんけん、
（５）まる、（６）ばいばい、（７）頭をかく、の７種
類である。標準パターンはこれらのジェスチャに対して
すべて同じ服、同じ背景の元、通常そのジェスチャが行
われるのと同様なスピードで動作して作成した。また、
各標準パターンは意図するジェスチャの特徴的な動作の
１周期または２周期分から作成し、その長さは１４〜３
６フレームである。入力画像は、上記７種類のジェスチ
ャを順番に行ったものを用いた（図５，図６）。

【００５５】実験条件として、衣服および背景の影響を
調べるために、標準パターン作成時とジェスチャ認識時
の衣服および背景を、（ｓ１）衣服および背景を全く同
じにした場合、（ｓ２）背景のみを同じにした場合、
（ｓ３）衣服のみを同じにした場合、（ｓ４）衣服およ
び背景を変えた場合、の４通り変化させ、認識率の変化
を調べた。また、３種類のエッジ特徴（ｕ₁ ，ｕ₂ ，ｕ
₃ ）の有効性を調べるために、（ｆ１）ｕ₁ ，ｕ₂ の
み、（ｆ２）ｕ₃ のみ、（ｆ３）ｕ₁ ，ｕ₂ ，ｕ₃すべ
て、を認識に用いた場合の認識率の変化を調べた。

【００５６】実験の評価基準として、以下に挙げる３つ
の認識率を定めた。

【００５７】ジェスチャを行っている時刻において、正
解を出力する場合をｃｏｒｒｅｃｔ、間違ったカテゴリ
番号（１〜７）を出力する場合をｃｏｎｆｕｓｉｏｎ、
ｎｕｌｌを出力する場合をｍｉｓｓｉｎｇ、またジェス
チャを行っていない時刻においてカテゴリ番号を出力す
る場合をｇｈｏｓｔ、とおいて以下のように定義した。

【００５８】認識率Ｉ：ｇｈｏｓｔ＝ｃｏｎｆｕｓｉｏ
ｎ＝０となるように数１６のｈ₀ を設定した場合の

【００５９】

【数１７】

【００６０】認識率II：ｍｉｓｓｉｎｇ＝０となるよう
に数１６のｈ₀ を設定した場合の

【００６１】

【数１８】

【００６２】認識率III ：数１６の代わりに

【００６３】

【数１９】

【００６４】ただし、ｈ ₁ は各ジェスチャ毎に設定され
た閾値を示す。

【００６５】と定め、ｇｈｏｓｔ＝０となるように各ｈ
₁ を設定した場合の

【００６６】

【数２０】

【００６７】利用するエッジ特徴と衣服・背景を上記に
示したようにそれぞれ変えて認識実験を行った。表１，
表２，表３に結果を示す。

【００６８】まず、利用する特徴の面から見るとほとん
ど全ての場合においてｕ₃ のみ、ｕ₁ ，ｕ₂ ，ｕ₃ すべ
て、ｕ₁ ，ｕ₂ のみの順に効果的であることがわかっ
た。また、衣服・背景の影響の面から見ると、認識率I
I，III では、ｕ₃ のみ、およびｕ₁ ，ｕ₂ ，ｕ₃ 全て
を用いた場合は衣服や背景の影響をあまり受けないが、
認識率Ｉでは、ｕ₃ のみを用いた場合以外は衣服や背景
の影響を強く受けて認識率が低下している。

【００６９】

【表１】

【００７０】

【表２】

【００７１】

【表３】

【００７２】今回提案した手法では、水平・垂直・時間
方向のエッジ特徴を抽出して時空間ベクトル場を生成
し、これを時空間的にリダクションして認識のための基
本特徴を得た。その理由は、この一連の操作により動画
像理解のための分解能とロバスト性のある特徴を得られ
ると考えたからである。そこで、これを確かめるため
に、連続ＤＰの入力を特徴ベクトル場ではなく、時空間
的リダクションおよびなまし処理を行った濃淡画像にし
て認識実験を行った。表４にその結果を示す。

【００７３】

【表４】

【００７４】この結果から、濃淡情報を用いた場合の認
識率は３種類のエッジ情報を用いた場合に比べかなり低
いことがわかる。特に、認識率と標準パターン作成時の
背景が異なる場合にはほとんど正しく認識できていな
い。このことから、提案した方式で用いたエッジ情報が
認識に有効であることがわかる。

【００７５】前述の実験結果に基づき本手法の有効性に
ついて考察する。

【００７６】まず、衣服・背景の影響はｕ₃ を特徴とし
て用いることによりある程度押えられることがわかった
が、これは特徴ｕ₃ が画素濃度の時間的変化のみに着目
しているため、動きがない背景や動きや少ない衣服部分
を無視できるからであろうと思われる。これに比べてｕ
₁ ，ｕ₂ のみを用いた場合では、たとえ人物の写蔽輪郭
が標準パターンと一致したとしても、服の柄や背景によ
るエッジ成分が全く整合しない分がすべてノイズとして
働いてしまい、性能が低下すると考えられる。

【００７７】また、利用すべき特徴という観点からみる
と全体的にｕ₃ を用いた場合がもっともよいが、衣服・
背景共に標準パターン作成時と同じ時だけはｕ₁ ，ｕ
₂ ，ｕ₃ を用いた場合がもっともよい。これは、エッジ
特徴ｕ₁ ，ｕ₂ が対象の形状や色などの情報を、ｕ₃ が
対象の動き情報をよく表現していて、これらがうまく組
み合わされることによって認識率が増したのではないか
と思われる。このことから、ｕ₁ ，ｕ₂ ，ｕ₃ を用いて
得られる結果を単純に足し合わせるのではなく、ｕ₃ を
用いて移動物体の切り出しと運動パターンの抽出を行
い、さらに切り出された領域に対してｕ₁ ，ｕ₂ を用い
て形状特徴等を識別することでより詳しい動物体の認識
が可能となるかもしれない。

【００７８】次に各認識率の違いについて考察する。ま
ず、認識率Ｉと認識率IIに着目する。一般的に、ある閾
値においてｍｉｓｓとなるものは閾値を上げることによ
って、ｃｏｎｆｕｓｉｏｎもしくはｃｏｒｒｅｃｔにな
る。これを

【００７９】

【数２１】

【００８０】と記す。すると、認識率Ｉにおいてｍｉｓ
ｓだったものは認識率IIでは、すべてｃｏｎｆｕｓｉｏ
ｎもしくはｃｏｒｒｅｃｔになったはずである。ゆえ
に、認識率IIのｃｏｒｒｅｃｔは（認識率Ｉのｃｏｒｒ
ｅｃｔ＋ｍｉｓｓ_correct ）に等しいといえる。また、
認識率IIのｃｏｒｒｅｃｔは閾値をどう変化させてもこ
れ以上は増えないこと、認識率Ｉの分母と認識率IIの分
母は共に全ジェスチャ数に等しいことから、単一の閾値
の元に、数１８の基準で認識率を定めた場合は、認識率
IIが最高認識率となり、認識率Ｉより高くなることがわ
かる。また、認識率Ｉと認識率III を比較すると、認識
率の求め方という面では、全カテゴリに対し１つの閾値
を定めるか、各カテゴリ毎に設定するか、という違いの
みだが、認識率はあらゆる状況において認識率III の方
が高い。しかも認識率III は認識率IIの値よりも良い。
このことから、今回は簡単のために単一閾値を用いた
が、各ジェスチャに対して異なる閾値を設定することが
効果的であると推測される。

【００８１】最後に、リアルタイムシステム構築の可能
性について検討する。認識プログラムのプロファイルを
とった結果、各処理の処理時間は表５のようであること
がわかった。

【００８２】

【表５】

【００８３】表５からわかるように、現在ＩＲＩＳのみ
を用いてリアルタイムの８倍弱の時間で処理を行ってい
る。しかし、それ以外という項目で示した処理時間の８
割はディスクからのデータ読み出しにかかっている時間
なので、フレームグラバからデータを取り込む場合を仮
定すると、２９．２ｍｓ程度と見積もることができる。
また、連続ＤＰの処理時間は認識対象のジェスチャ数が
増加するにしたがってリニアに増加してしまうが、各ジ
ェスチャとの距離計測を並列に行うのは容易である。そ
こで、マルチプロセッサ構成のワークステーションもし
くは画像処理ボード等を用いて圧縮からなまし処理まで
を現在の４倍程度まで高速化（２５ｍｓ／ｆｒａｍｅ程
度）し、特徴ベクトルデータをＦＤＤＩを経由して超並
列計算機に転送して連続ＤＰを実行することにより、十
分リアルタイムシステムを構築することが可能であると
考えられる。

【００８４】実世界で起きる事象の中から人間の身振り
・手振りなどのジェスチャを取り上げ、これらの動画像
から認識する手法を提案した。本手法の特徴は、画像系
列から抽出される水平・垂直・時間方向のエッジ情報を
用いて各ジェスチャの標準パターンを表現し、入力画像
系列と標準パターンとのマッチングに連続ＤＰを用いて
時間軸方向の変動を吸収し、フレームワイズに認識結果
を生成するところにある。衣服・背景の影響、利用する
エッジ特徴の有効性を検討するために認識実験を行い、
衣服や背景の影響に対してロバストであること、時間軸
方向のエッジ情報が認識に有効であること、を確認し
た。また、本手法の計算コストを見積り、比較的容易に
リアルタイムシステムの構築が可能であることを示し
た。

【００８５】以上、述べたジェスチャ動画像の認識方法
は学術論文を目的として作成され、発表されたので、当
業者にとっては理解しにくい。そこで、内容の理解を容
易にするために、簡単な補足説明を行う。

【００８６】本実施例では、動画像の中の被写体、たと
えば、人間が示すジェスチャの意味する動作を理解する
ために、予め、ジェスチャの動作の内容（意味）が判明
している標準パターンを用意する。この標準パターン
は、図４のＴＶカメラ１３により被写体のジェスチャを
撮像し、撮像結果として得られる動画像の中から図５に
示すような複数の静止画像を図４のフレームブラバ１１
により取得する。

【００８７】静止画像の中の被写体を画像処理装置１０
が識別できるように、各静止画像の中の被写体の輪郭線
画像が画像処理装置１０により抽出される。静止画像の
中の輪郭線画像は被写体画像と背景画像の境界線画像で
ある。この輪郭線のことを上述の記載ではエッジ情報と
表現している。すなわち、エッジ情報の示す輪郭線の画
像のある画素位置は、画面のｘ，ｙ座標と、時間軸のｔ
座標により表わされる。したがって、ｘ，ｙの２次元座
標と時間軸とで表わされる空間が上述の記載では時空間
ベクトル場と表現されている。

【００８８】ジェスチャ認識処理の時間短縮およびロバ
スト性向上を目的として、本実施例では、上述の輪郭線
画像の大きさを縮小する。このために、画面中のｘ，ｙ
座標空間上で、輪郭線画像上の連続するいくつかの画素
位置の画像データの平均を行う。また、時間軸上に沿っ
てｘ，ｙ座標空間上の同一位置の複数の画像データの平
均化を行う。この平均化処理により輪郭線画像の変化を
示す画像データ群の総数が減少する。以上の処理を上述
の記載ではリダクションと表わしている。

【００８９】次に、本実施例では、数５により表わされ
るなまし処理および平均化を、リダクション処理が施さ
れた画像データに対して実行する。なまし処理とは画像
データの平滑化を行うことを意味する。入力画像データ
の対数をとった画像データ（出力）は、図７に示すよう
に、入力画像データが大きい程、出力画像データの大き
さが低く抑えられる。このようななまし処理を行うこと
により、輪郭線画像全体の明るさが均一化され、雑音影
響が除去される。また、被写体の衣服の色等の影響を受
けることなく、輪郭線が強調される。

【００９０】次に連続ＤＰ手法について説明する。

【００９１】連続ＤＰ方法は主に音声認識処理において
広く用いられた手法である。本発明者等は、動画像の中
からの複数枚の静止画像から取り出した輪郭線画像群同
士であれば、連続ＤＰ法により整合することが可能なこ
とを発見した。

【００９２】そこで、上述の連続ＤＰ法により複数の静
止画像の整合する手順を図８を用いて説明する。

【００９３】図５に示すようなあるジェスチャを表す３
枚の静止画像Ａ，Ｂ，Ｃが標準パターンとして用意され
ているものとする。また、ＴＶカメラ１３から得られる
動画像から輪郭線情報（エッジ情報）が抽出される。輪
郭線情報に対して上述のリダクション処理、なまし処理
が施される（図１のＳ１０の処理に対応）。このとき順
次に得られる静止画像を図８において、ａ→Ａ→Ａ→Ｂ
→Ｂ→Ｃ→ｄと表している。ここでＡ→Ａは同一の画像
が続くことを示しており、被写体が一時的に静止してい
るときに得られた画像であることを示している。なお、
標準パターンとして用意された画像Ａ，Ｂ，Ｃについて
もリダクション処理、なまし処理が施されていることは
言うまでもない。画像処理装置１０は、最初に得られた
輪郭線画像１１０と標準パターンの中の輪郭線画像１０
０，１０１，１０２のそれぞれとの距離（類似度）を上
述の数１０により計算する。たとえば、τ＝１に相当す
る標準パターン側の輪郭線画像１００（“Ａ”）とｔ＝
ｔ１に相当する入力の輪郭線画像（以下画像と略す）と
の距離は数１０によればｄ（ｔ１，１）と表される。標
準パターン側の各画像１００〜１０２と入力画像との間
の距離を示す値（距離情報）は画像処理装置１０内のメ
モリに格納される。

【００９４】以下、同様にして、時刻ｔ２では、入力画
像１１１のと標準パターン側の各画像１００〜１０２に
対する距離情報が算出される。連続ＤＰでは、この距離
情報を用いて、標準パターン側の画像全体と入力画像側
のこれまでの任意の枚数の画像全体との間の距離を計算
する。連続ＤＰではない通常の整合方法を用いて、たと
えば、図８のｔ１〜ｔ３までの入力画像１１０〜１１２
と標準パターン側の画像１００〜１０２との間の距離を
計算しようとする場合、その距離計算に用いる距離情報
は多数の組み合わせがある。たとえば、符号１２１〜１
２４，１２０の距離情報が加算対象の１つの組を構成す
る。また符号１２１，１２５，１２０の距離情報が他の
組を構成する。各組み合わせの距離情報を加算し、その
加算結果の中で最小値を有するものが、最終的な距離計
算結果となる。このような組み合わせは標準パターンの
画像枚数が増加すると膨大となるので連続ＤＰでは、上
述の数１４により最適な組み合わせとなる距離情報を数
１２〜数１４により定まる複数の組み合わせの中から選
択しながら距離計算を行っていく。本実施例では、図９
のように３種の組み合わせを用意しており、３種の組み
合わせの中の最小値が最適の組み合わせとして選択す
る。選択された組み合わせを初期値から連結して行くこ
とによりτ＝１〜３と時刻ｔの値とで定まる座標位置の
総合距離Ｓ（ｔ，τ）を得る。

【００９５】より具体的には、画像処理装置１０は時刻
ｔ１では、各個別距離ｄ（ｔ１，１），ｄ（ｔ１，
２），ｄ（ｔ１，３）を計算すると共に総合距離Ｓ（ｔ
１，１），Ｓ（ｔ１，２），Ｓ（ｔ１，３）をも計算す
る。そして、τ＝３に対応する総合距離Ｓ（ｔ１，３）
と予め定めた閾値とが比較される。これは、入力画像
（“ａ”）と標準パターンの画像（“Ａ”＋“Ｂ”＋
“Ｃ”）１００〜１０２とを比較することを意味する。

【００９６】以下、入力画像を取得する毎に画像処理装
置１０は個別距離ｄ、総合距離Ｓを計算して、τ＝３に
相当する距離Ｓ（ｔ，３）と閾値を比較する。図８に示
すような入力画像が得られるとすると、時刻ｔ＝ｔ５に
おいて、総合距離Ｓ（ｔ５，３）が閾値以下となって、
標準パターンの複数の画像１００〜１０２と合致する画
像が入力画像中に現われたことがこの時点で判別され
る。以上までの連続ＤＰの詳細処理が図１のＳ３０で行
われる処理である。

【００９７】閾値の比較の対象となった総合距離（いわ
ゆる累積距離）の時刻変化を示す図が図３となる。ま
た、図８の例で、標準パターンに合致すると判定された
ときに用いられた個別距離の距離情報の組み合わせを図
８の太い矢印で示している。また、この組み合わせが選
択されていく様子を表わした図が図２である。

【００９８】以上、述べた例の他に次の例を実施でき
る。

【００９９】１）本実施例ではＴＶカメラ１３から入力
された画像をリアルタイムで認識する例を示したが、標
準パターンを複数用意し、複数の標準パターンの中から
入力画像（複数）に合致する標準パターンを選択するこ
ともできる。この場合は入力画像をレーザディスク１４
に保存しておき、画像処理装置１０側の整合処理に同期
して、レーザディスク１４から静止画像を読み出す。

【０１００】２）本実施例において標準パターンに入力
画像が合致するとの判定が得られた時点で、識別された
標準パターンの内容をユーザに報らせることもできる。
この場合は、標準パターンに帯同させて、標準パターン
の内容を表わすメッセージ文字列を画像処理装置１０内
に記憶させておき、上記判定が得られた時点でメッセー
ジ文字列を画像処理装置の表示器の表示画面に表示す
る。また、標準パターンを構成する複数の輪郭線画像も
しくは、標準パターンの作成に用いた原静止画像を表示
させることもできる。

【０１０１】

【発明の効果】以上、説明したように、本発明によれ
ば、動画像の示すジェスチャ画像を連続ＤＰにより整合
できるので、認識対象の動画像の中からジェスチャ画像
部分を切り出す必要がなくなる。また整合の対象がエッ
ジ情報の示す輪郭線形状なので、背景や被写体の衣服の
色が標準パターンと異なっていてもその影響を受けな
い。さらにはなまし処理の画像補正を加えることによ
り、より輪郭線形状が明確になる。

【図面の簡単な説明】

【図１】ジェスチャ動画像認識手順を示すフローチャー
トである。

【図２】連続ＤＰの処理内容を示す図である。

【図３】連続ＤＰの処理内容を示す図である。

【図４】本発明実施例のシステム構成を示すブロック図
である。

【図５】標準パターンの一例を示す図である。

【図６】標準パターンの他の例を示す図である。

【図７】なまし処理の効果を示す図である。

【図８】連続ＤＰの処理内容を示す図である。

【図９】連続ＤＰの処理内容を示す図である。

【符号の説明】

１０画像処理装置１３ＴＶカメラ１００〜１０３標準パターン側の特徴系列（画像系
列）１１０〜１１５認識対象側の特徴系列（画像系列）１２０〜１２５時間軸座標と標準パターンの画像位置
座標から定まる座標位置１３０〜１３２連続ＤＰの整合に用いられる個別距離
情報の組み合わせの種類を示すベクトル

───────────────────────────────────────────────────── フロントページの続き (72)発明者岡隆一茨城県つくば市竹園１−６−１つくば三井ビル16階技術研究組合新情報処理開発機構内 (72)発明者関進茨城県つくば市竹園１−６−１つくば三井ビル16階技術研究組合新情報処理開発機構内 (72)発明者高橋勝彦茨城県つくば市竹園１−６−１つくば三井ビル16階技術研究組合新情報処理開発機構内 (56)参考文献特開平５−46583（ＪＰ，Ａ) 特開平６−337629（ＪＰ，Ａ) 特開平６−176156（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G06T 1/00 G06T 7/20

Claims

(57)【特許請求の範囲】

【請求項１】撮像装置により撮像された動画像の中の
被写体の示すジェスチャ内容を画像処理装置により識別
するジェスチャ動画像認識方法において、前記画像処理装置は、前記動画像の中から、エッジ情報
の形態の前記被写体の特徴系列を抽出し、ジェスチャの内容が判明している前記特徴系列を標準パ
ターンとして予め用意しておき、前記画像処理装置は前記動画像から抽出された特徴系列
と前記標準パターンの示す特徴系列とを連続ＤＰ法によ
り整合することを特徴とするジェスチャ動画像認識方
法。
【請求項２】前記標準パターンは、前記撮像装置によ
り撮像された被写体の動画像から前記画像処理装置によ
り生成されることを特徴とする請求項１に記載のジェス
チャ動画像認識方法。
【請求項３】撮像装置により撮像された動画像の中の
被写体の示すジェスチャ内容を画像処理装置により識別
するジェスチャ動画像認識方法において、前記画像処理装置は、前記動画像の中から、エッジ情報
の形態の前記被写体の特徴系列であって、その特徴系列
が画像データの集合で構成され、該画像データは画像の
水平位置、垂直位置および時刻をパラメータとして有す
る画像データである特徴系列を抽出し、ジェスチャ内容が判明している前記特徴系列を標準パタ
ーンとして予め用意しておき、前記画像処理装置は前記動画像から抽出された特徴系列
と前記標準パターンの示す特徴系列とを整合することに
より前記被写体の示すジェスチャ内容を識別し、前記画像処理装置はジェスチャ内容の識別に先立って、
前記動画像の中から、エッジ情報の形態の前記被写体の特徴系列を抽出し、当該抽出された特徴系列に対して、前記画像データの平
滑化処理を行なうことを特徴とするジェスチャ認識方
法。