JPH11167455A - 手形状認識装置及び単色物体形状認識装置 - Google Patents

Abstract

(57)【要約】 【課題】手の肌色領域の抽出と照合処理を同じ相関演算
処理としてシステム規模を小さくして高速化する。 【解決手段】肌色抽出処理部１２は、ビデオカメラ１０
等で撮影された入力画像から手の肌色領域の画像を、所
定の肌色テンプレート１５の値との相関演算に基づいて
抽出する。画像調整処理部１４は、肌色抽出画像を二値
化すると共に規定のサイズに縮小又は拡大して正規化し
た正規化画像を生成する。形状テンプレート照合処理部
１６は、正規化画像を予め準備された形状テンプレート
画像との相関演算に基づく照合処理により物体形状を認
識する。肌色領域の抽出には、肌色テンプレート１５の
値とより一致する方向にブロックを移動させる相関追跡
処理を行うこともできる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオカメラで撮
影した画像から手の動作を認識する手形状認識装置に関
し、また特定の単色をもつ任意の物体形状を画像から認
識する単色物体形状認識装置に関する。

【０００２】

【従来の技術】従来、コンピュータ、電子手帳、ＡＴＭ
端末などの各種端末、ロボット等に対するユーザインタ
フェースとして、ビデオカメラから得られた画像の中の
手の動きを認識して操作する手形状認識装置が考えられ
ている。このような手形状の認識技術としては、例え
ば、特開平７−１０５３７１号の「手形状認識方法」の
方法がある。この手形状認識方法は、次の手順で手の動
ききを認識する。

【０００３】背景画像と手の画像との差分により肌色
の手領域として抽出する処理： 手領域に対しラベル付けするラベリング処理： 手首の位置を求め、手首を中心に等角度に手領域を分
割し、分割した各領域につき手首位置からの最大距離を
示すヒストグラムを作り、ヒストグラムの中の極大値の
個数を指の本数として検出する処理：

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の手形状の認識処理にあっては、画素単位のＲ
ＧＢデータの集合体である画像データに対し差分処理、
ラベル付け処理及びヒストグラム処理といった種類の異
なる処理を行っており、肌色の手領域の抽出と抽出した
手領域から動き（形状）を認識するためにソフトウェア
又はハードウェアによって実現されるシステム規模が大
きくなり、処理に時間がかかるという問題があった。

【０００５】本発明は、このような従来の問題点に鑑み
てなされたもので、手の肌色領域の抽出と照合処理を同
じ相関演算処理としてシステム規模を小さして高速化で
きるようにした手形状認識装置を提供することを目的と
する。また本発明は、任意の単一色の物体形状の認識に
つき、物体の単色領域の抽出と照合処理を同じ相関演算
処理としてシステム規模を小さして高速化できるように
した単色物体形状認識装置を提供することを目的とす
る。

【０００６】

【課題を解決するための手段】図１は本発明の原理説明
図である。本発明の手形状認識装置は、図１（Ａ）のよ
うに、ビデオカメラ１０等で撮影された入力画像から手
の肌色領域の画像を、所定の肌色テンプレート１５の値
との相関演算に基づいて抽出する肌色抽出処理部１２
と、肌色抽出画像を二値化すると共に規定のサイズに縮
小又は拡大して正規化した正規化画像を生成する画像調
整処理部１４と、正規化画像を予め準備された形状テン
プレート画像との相関演算に基づく照合処理により物体
形状を認識する形状テンプレート照合処理部１６とを備
える。

【０００７】このように肌色領域の抽出と手形状の認識
が同じ相関演算に基づいて処理されることから、相関演
算の処理部分が共通化され、相関演算をブロック毎の並
列演算とすることで高速化でき、システム規模を小さく
すると同時に処理時間を短縮できる。肌色抽出処理部１
２は、図１（Ｂ）のように、入力画像１８を複数の小領
域、即ち図１（Ｃ）の小ブロックに分割する領域分割部
３０と、小領域の各々と肌色テンプレート１５の値との
相関演算によりディストーション値（誤差）を算出する
相関演算部３２と、ディストーション値が所定の閾値以
下の場合に小領域を肌色小領域として検出して図１
（Ｄ）の肌色抽出画像を生成する比較処理部３４とで構
成される。

【０００８】本発明の別の形態にあっては、図１（Ｅ）
のように、領域分割部３０、相関演算部３２、比較状態
部３４に加え、相関追跡処理部３６を備える。相関追跡
処理部３６は、比較処理部３２で生成された肌色抽出画
像の肌色小領域の各々について、肌色小領域を中心に所
定の探索範囲を設定し、探索範囲内で画素単位に小領域
を移動しながら各移動位置毎に相関演算部３２によりデ
ストーション値を算出し、ディストーション値が最小と
なる小領域に肌色領域を移動させる。

【０００９】この相関追跡処理を図１（Ｄ）の肌色抽出
画像に対し順次行うことで、肌色領域の輪郭線部分での
凹凸が減少し、例えば数フレーム程度の処理で、正確な
輪郭線をもった手形状の肌色抽出画像を生成できる。図
１（Ｅ）の肌色抽出処理部１２は、更に、相関追跡処理
部３６の処理で移動した小領域が重複して多重登録され
ることを防止するため、重複回避処理部３７を設ける。
重複回避処理部３７は、相関追跡処理部３６により更新
された肌色抽出画像を構成する各肌色小領域について、
周囲に位置する隣接小領域との距離の関係から重複を判
断して削除することで、小領域の重なり具合を調整す
る。

【００１０】例えば重複回避処理部３７は、各肌色小領
域の周囲に８方向に位置する隣接小領域との距離ｒ1 〜
ｒ8 の二乗の逆数の総和をエネルギー値Ｅとして

【００１１】

【数１】

【００１２】により演算し、エネルギー値Ｅが所定の閾
値Ｅth以上の場合に重複と判断して小領域の移動を止め
る。追跡相関処理部３６は、１画面の相関追跡処理で肌
色抽出画像が得られる毎に、各小領域の色平均と肌色テ
ンプレート１５の値の平均をとって次画面の相関追跡処
理に使用する肌色テンプレート値とする。この肌色テン
プレート値の更新により、肌色の個人差を吸収し、照明
条件の変化に対しても安定して肌色領域を抽出すること
ができる。

【００１３】図１（Ａ）の画像調整処理部１４は、二値
化画像の肌色領域の重心位置を中心に最も遠くに位置す
る肌色画素の外側近傍を通る円を設定すると共に、この
円に外接する矩形領域を設定して切り出し、この矩形領
域を手形状テンプレート画像のサイズに一致するように
切出し画像を縮小又は拡大して正規化画像を生成する。

【００１４】この二値化された肌色画像のサイズの正規
化により、ビデオカメラと手の距離の変化によって生ず
る肌色領域の大きさの変化を吸収し、安定した手形状の
認識を可能とする。形状テンプレート照合処理部１６
は、正規化画像を所望の回転角度にアフィン変換したア
フィン変換画像を生成し、正規化画像及びアフィン変換
画像の各々と複数の手形状テンプレート画像と相関演算
し、相関演算で求めたディストーション値が最小となる
手形状テンプレート画像を入力手形状と判定する。この
アフィン変換による照合により、入力画像が回転してい
ても、確実に認識できる。

【００１５】更に、本発明は、手の肌色領域の抽出と手
形状の認識に限定されない汎用の単色物体形状認識装置
として次のように構成する。まず本発明の単色物体形状
認識装置は、ビデオカメラ等で撮影された入力画像から
特定の色をもつ物体の単色領域の画像を、所定の肌色テ
ンプレート値との相関演算に基づいて抽出する単色領域
抽出処理部と、単色抽出画像を二値化すると共に規定の
サイズに縮小又は拡大して正規化した正規化画像を生成
する画像調整処理部と、正規化画像を予め準備された形
状テンプレート画像との相関演算に基づく照合処理によ
り物体形状を認識する形状テンプレート照合処理部とを
有する。

【００１６】この内、単色領域抽出処理部は、入力画像
を格子状の複数の小領域に分割する領域分割部と、小領
域の各々と単色テンプレート値との相関演算によりディ
ストーション値を算出する相関演算部と、ディストーシ
ョン値が所定の閾値以下の場合に小領域を単色小領域と
して検出して単色抽出画像を生成する比較処理部とで構
成される。

【００１７】この場合の本発明の別の形態にあっては、
図１（Ｅ）のように、領域分割部３０、相関演算部３
２、比較状態部３４に加え、相関追跡処理部３６を備え
る。相関追跡処理部３６は、比較処理部３２で生成され
た単色抽出画像の単色小領域の各々について、単色小領
域を中心に所定の探索範囲を設定し、探索範囲内で画素
単位に小領域を移動しながら各移動位置毎に相関演算部
３２によりデストーション値を算出し、ディストーショ
ン値が最小となる小領域に単色領域を移動させる。この
単色物体形状認識装置の他の特徴は、手形状認識装置と
同じになる。

【００１８】

【発明の実施の形態】図２は本発明の手形状認識装置の
全体構成を示したブロック図である。本発明の手形状認
識装置は、ビデオカメラ１０、肌色抽出処理部１２、画
像調整処理部１４及び形状テンプレート照合処理部１６
で構成される。ビデオカメラ１０は、例えばコンピュー
タに対し手の動きで操作しようとするオペレータを撮像
するように配置されており、例えばＲＧＢの画像データ
を１画面単位に出力する。

【００１９】肌色抽出処理部１２は、ビデオカメラ１０
で撮影された手の画像を含む入力画像を所定のタイミン
グで取り込み、入力画像から手の肌色領域の画像を予め
定めた所定の肌色テンプレート値との相関演算に基づい
て抽出する。この肌色形状抽出処理には、１回の相関演
算で肌色画像抽出する処理と、複数回に亘る相関演算を
繰り返して肌色小領域を肌色テンプレートと一致する方
向に移動させることで手形状の輪郭部分を正確に抽出す
る相関追跡処理がある。

【００２０】画像調整処理部１４は、肌色抽出処理部１
２で抽出された肌色抽出画像を背景と肌色領域とに二値
化すると共に、形状テンプレート画像との照合の際のサ
イズを一致するように縮小または拡大して正規化された
正規化画像を生成する。更に形状テンプレート照合処理
部１６は、予め準備された複数種類の手形状に関する手
形状テンプレート画像と、画像調整処理部１４から出力
された肌色抽出に基づく正規化画像との相関演算に基づ
く照合処理により、手形状を認識する。

【００２１】図３は図２の手形状認識装置の処理手順の
フローチャートである。まずステップＳ１でビデオカメ
ラ１０からの画像を入力し、ステップＳ２で肌色抽出処
理部１２による肌色抽出処理を実行する。次にステップ
Ｓ３で肌色抽出画像の二値化を行った後に、ステップＳ
４で画像調整による縮小または拡大の正規化を行い、最
終的にステップＳ５で形状テンプレート照合処理による
相関マッチングを行う。

【００２２】図４は図２，図３に示した本発明の手形状
認識装置における処理手順を処理画像と共に表してい
る。まず処理手順は、右側に示すように、画像入力処理
２５Ａ、肌色抽出処理２５Ｂ、二値化処理２５Ｃ、サイ
ズ調整処理２５Ｄ及びテンプレートマッチング処理２５
Ｅとなる。画像入力処理２５Ａにあっては、入力画像１
８のように、オペレータの例えば開いた手を撮影した画
像が得られる。この入力画像１８について、肌色抽出処
理２５Ｂを行うことで手の輪郭内を全て肌色と判定した
肌色抽出画像２０が生成される。肌色抽出画像２０に対
し、二値化処理２５Ｃによって背景に黒（Ｒ，Ｂ，Ｇ値
全て０）を割り当て、肌色領域に白（Ｒ，Ｇ，Ｂ値が全
て２５５）を割り当てることで二値化画像２２を生成す
る。

【００２３】この二値化画像２２に対し、サイズ調整処
理２５Ｄによって、テンプレートマッチング処理２５Ｅ
で使用する形状テンプレート画像２６ａ〜２６ｆと同じ
サイズをもった正規化画像２４へのサイズ変換を行う。
最終的にテンプレートマッチング処理２５Ｅにおいて、
正規化画像２４に対し予め準備している形状テンプレー
ト画像２６ａ〜２６ｆのそれぞれとの間で相関演算によ
るディストーション値（誤差）を最小とするマッチング
を行い、ディストーション値が最小となった形状テンプ
レート画像を、手形状と認識して出力する。

【００２４】図５は、図２の肌色抽出処理部１２の第１
実施形態のブロック図であり、この第１実施形態では、
１回の相関演算で肌色画像領域を抽出するようにしたこ
とを特徴とする。この肌色抽出処理部１２は、画像メモ
リ２８、領域分割部３０、相関演算部３２及び比較処理
部３４で構成される。領域分割部３０は、画像メモリ２
８に格納された入力画像１８を対象に、例えば図７の入
力画像１８に対するブロック化領域４２のように、手の
画像全体を含むように複数の小ブロックに分割したブロ
ック化領域４２を設定する。この実施形態にあっては、
横方向のブロック番号を１，２，３，・・・ｍ、縦方向
のブロック番号を１，２，３，・・・ｎとすると、横方
向はｍ＝１６ブロックに分割され、また縦方向はｎ＝１
６ブロックに分割され、ｍ×ｎ＝１６×１６＝２５６ブ
ロックに分割されている。

【００２５】また各ブロックの画素数は、横方向の画素
番号をｘ＝１，２，３，・・・ｉ、縦方向の画素番号を
ｙ＝１，２，３，・・・ｊとすると、（ｉ×ｊ）画素で
構成される。例えば（ｉ×ｊ）＝８×８＝６４画素とな
る。再び図５を参照するに、相関演算部３２は領域分割
部３０で図７のように分割されたブロック化領域４２の
小ブロックの各々と、予め設定した肌色テンプレート値
との相関演算により、ディストーション値（誤差）Ｄを
算出する。

【００２６】具体的には、各参照ブロックに含まれる
（ｉ×ｊ）画素の各画素ごとに肌色テンプレート１５の
値との差の総和を求める。即ち、任意の参照ブロックＢ
ｍｎのディストーション値Ｄｍｎは

【００２７】

【数２】

【００２８】但し、Ｓ（ｘ，ｙ）は位置（ｘ，ｙ）の画
素ＲＧＢ値 Ｃは肌色テンプレート１５の画素ＲＧＢ値 で与えられる。この（１）式で示される相関演算を行う
相関演算部３２は、例えば図６のような構成をもつ。図
６において、相関演算部３２はブロック画素読出処理部
３８、図７のブロック化領域４２の総ブロック数（ｍ×
ｎ）に対応した数の相関演算器４０−１１〜４０−ｍ
ｎ、更に予め設定した肌色テンプレート値を設定するレ
ジスタ３９で構成される。

【００２９】相関演算器４０−１１〜４０−ｍｎのそれ
ぞれは、１ブロック内の（ｉ×ｊ）画素の各々について
（１）式の相関演算を実行してディストーション値Ｄ１
１〜Ｄｍｎを算出する。このためブロック画素読出処理
部３８は、画像メモリ２８より図７のように設定された
ブロック化領域４２の各ブロック単位に各ブロックを構
成する（ｉ×ｊ）画素を順番に読み出して、相関演算器
４０−１１〜４０−ｍｎに供給する。

【００３０】このように相関演算器４０−１１〜４０−
ｍｎを図７のブロック化領域４２を構成する２５６ブロ
ック分設けて並列的に相関演算を行うことで、短時間で
高速処理ができる。相関演算部３２で演算された２５６
ブロック分のディストーション値Ｄ１１〜Ｄｍｎは、そ
れぞれ比較処理部３４に与えられ、予め定めた閾値Ｄｔ
ｈと比較され、閾値Ｄｔｈ以下であれば、比較処理部３
４から出力されるブロック信号Ｂ１１〜Ｂｍｎは肌色ブ
ロックを示す信号とし、閾値Ｄｔｈより大きければ肌色
ブロックでないことを示す信号とする。

【００３１】このような図５，図６に示した領域分割部
３０、相関演算部３２及び比較処理部３４による肌色抽
出処理により、図８に示す実線のブロックの集合でなる
肌色抽出画像２０Ａが得られる。図９は図７の入力画像
１８から図８の肌色抽出画像２０Ａを生成するための肌
色抽出処理のフローチャートである。この肌色抽出処理
にあっては、ステップＳ１で入力した処理画像に対し手
の画像部分について例えば図７のようにブロック化領域
４２を設定して、複数小領域即ち小ブロックに分割す
る。この小ブロックの一つ一つを参照ブロックという。

【００３２】次にステップＳ２で図７のブロック化領域
４２について参照ブロックを１つ取り出し、ステップＳ
２で参照ブロック内の全画素と予め定めた肌色テンプレ
ート値との相関演算により、即ち（１）式により、ディ
ストーション値Ｄｍｎを算出する。続いてステップＳ３
で、算出したディストーション値Ｄｍｎが所定の閾値Ｔ
Ｈ以下か否かチェックする。閾値ＴＨ以下であれば、ス
テップＳ４で肌色ブロックとしてブロックの位置情報を
画像メモリ２８に登録する。以上の処理を、ステップＳ
５で全ブロックの処理が終了するまで繰り返す。

【００３３】この図９の肌色抽出処理は順次処理であ
り、これに対し図６の相関演算部３２にあっては、図９
のステップＳ２〜Ｓ６の１ブロック毎に行う処理を、全
ブロックについて並列的に行う処理となる。もちろん図
９の順次処理であっても、相関演算を行うプロセッサに
パイプライン方式等の高速処理のものを使用すれば、図
６の並列的な相関演算部並みの処理性能を実現すること
ができる。

【００３４】図１０は図２の肌色抽出処理部１２の第２
実施形態であり、相関演算の繰り返しにより肌色ブロッ
クを肌色テンプレートとより一致する方向へ移動させる
相関追跡処理を行って、手形状の輪郭部分を正確に抽出
する。図１０において、領域分割部３０、相関演算部３
２及び比較処理部３４は図５の第１実施例と同じであ
り、新たに相関追跡処理部３６を設けており、相関追跡
処理部３６には重複回避処理部３７を設けている。

【００３５】図８の１回の相関演算で抽出された肌色抽
出画像２０Ａにあっては、手形状の輪郭がブロック単位
の凹凸形状となり、輪郭部分の抽出が正確に行われな
い。そこで図１０の相関追跡処理部３６による相関演算
を繰り返して肌色ブロックを肌色テンプレートにより一
致する方向へ移動させる相関追跡処理を例えば数フレー
ムに亘って繰り返し行うことで、手形状の輪郭部分を正
確に表現した肌色抽出画像が生成できる。

【００３６】図１１は図１０の相関追跡処理の原理であ
る。図１１（Ａ）は相関演算追跡処理の対象となる直前
のビデオフレーム２０−１であり、例えば図８のような
１回の相関演算で抽出された肌色抽出画像２０Ａに相当
する。このビデオフレーム２０−１の中の任意の肌色の
参照ブロック４８Ａの相関追跡を例にとると、参照ブロ
ック４８Ａを中心位置Ｐ０（ｘ０，ｙ０）を中心に探索
領域４４Ａを設定する。

【００３７】探索領域４４Ａは、図８のような相関演算
による肌色抽出画像２０Ａについて、手形状の輪郭線に
対し小ブロックを肌色テンプレートに一致する方向に移
動させる最大範囲に基づいて設定すればよく、例えば１
ブロック幅もしくは２ブロック幅程度でよい。参照ブロ
ック４８Ａについて探索領域４４Ａを設定したならば、
探索領域４４Ａ内で画素単位に参照ブロック４８Ａを移
動し、各移動位置を候補ブロック、例えば候補ブロック
４８Ｂとし、候補ブロック４８Ｂについて図６の相関演
算部３２と同様に、肌色テンプレート値との間で前記
（１）式に基づく相関演算を行ってディストーション値
を算出する。

【００３８】このような候補ブロック４８Ｂの画素ごと
の移動位置に対する相関演算によるディストーション値
は、探索領域４４の全範囲について算出する。この相関
追跡の相関演算により求めたディストーション値が最小
となる候補ブロックが候補ブロック４８Ｂであったとす
ると、参照ブロック４８Ａの中心位置Ｐ０（ｘ０，ｙ
０）と相関演算により求めた移動先の肌色ブロック４８
Ｂの中心位置（ｘ１，ｙ１）から、移動ベクトル４６を
表す（Δｘ，Δｙ）を得る。ここでΔｘ＝ｘ１−ｘ０、
Δｙ＝ｙ１−ｙ０となる。

【００３９】即ち、相関追跡によって、そのときの中心
位置Ｐ０（ｘ０，ｙ０）をもつ現在の肌色ブロック４８
について、次の移動先を示す肌色ブロック４８Ｂのディ
ストーション値（最小値）と移動ベクトル（Δｘ，Δ
ｙ）が得られる。この相関追跡処理をビデオフレーム２
０−１内の全ての肌色ブロックを参照ブロックとして実
行することによって、全参照ブロックについて肌色テン
プレートにより一致する方向の肌色ブロックへの移動ベ
クトルとディストーション値の組が得られる。

【００４０】図１１（Ｂ）は、図１１（Ａ）の相関追跡
の結果として得られた現在のビデオフレーム２０−２で
あり、相関追跡で得た移動ベクトル４６で指定された移
動先の参照ブロック４８Ｂを、ビデオフレーム２０−２
における新たな肌色参照ブロックとし、参照ブロック４
８Ｂについて再度、探索領域４４Ｂを設定し、同様な相
関追跡を行う。

【００４１】図１２は図８の最初の相関演算で抽出した
肌色抽出画像２０Ａの手形状の一部、即ち親指の指先の
参照ブロック４８Ａをとって相関追跡を示している。図
１２（Ａ）は前フレームであり、親指５０の指先に参照
ブロック４８Ａが配置されている。参照ブロック４８Ａ
は、（ｘ×ｙ）＝（９×９）画素で構成されている。こ
の参照ブロック４８に対しては、例えば１ブロック幅を
もつ探索領域４４Ａが設定される。

【００４２】相関追跡は、参照ブロック４８Ａを探索領
域４８Ａ内で１画素ずつずらしながら、肌色テンプレー
ト値との間で（１）式に従った相関演算を行ってディス
トーション値を算出する。そして参照ブロック４８Ａの
各移動位置での候補ブロックについて求めたディストー
ション値の内、最小の候補ブロックが図１２（Ｂ）のよ
うに候補ブロック４８Ｂとなり、参照ブロック４８Ａか
ら候補ブロック４８Ｂへの移動ベクトルが得られる。

【００４３】このような相関追跡に基づく肌色抽出画像
の生成処理を数フレーム繰り返すと、図８のような初期
フレームに対する肌色抽出画像２０Ａは手形状の輪郭部
分の肌色ブロックが輪郭内の肌色領域側に移動し、例え
ば図１３のような手形状の輪郭線を正確に表した肌色抽
出画像を生成することができる。図１４は、図１０の相
関追跡による肌色抽出処理のフローチャートである。こ
の肌色抽出処理にあっては、ステップＳ１で入力した処
理画像に対し手の画像部分について、例えば図７のよう
にブロック化領域４２を設定して、複数小領域即ち小ブ
ロックに分割する。この小ブロックの一つ一つを参照ブ
ロックとする。

【００４４】次にステップＳ２で相関追跡により肌色抽
出処理を繰り返す画面数となる追跡フレーム数Ｎをセッ
トする。本発明の肌色抽出処理にあっては、追跡フレー
ム数Ｎは最大でも数フレーム程度で十分であり、実用的
には３フレーム程度で十分な肌色抽出画像を得ることが
できる。次にステップＳ３でフレームカウンタＦＣをＦ
Ｃ＝０に初期化する。続いてステップＳ４に進み、ＦＣ
＝１となる１フレーム目か否かチェックする。フレーム
カウンタＦＣがＦＣ＝０であれば１フレーム目であるこ
とから、ステップＳ５〜Ｓ８において相関演算による肌
色ブロックの抽出処理を行う。

【００４５】このステップＳ５〜Ｓ８は、図９のステッ
プＳ２〜Ｓ５と同じであり、ステップＳ５で図７のブロ
ック化領域４２について参照ブロックを１つ取り出し、
ステップＳ６で参照ブロック内の全画素と予め定めた肌
色テンプレート値との相関演算により、即ち（１）式に
より、ディストーション値Ｄｍｎを算出し、ステップＳ
７で、算出したディストーション値Ｄｍｎが所定の閾値
ＴＨ以下か否かチェックし、閾値ＴＨ以下であれば、ス
テップＳ８で肌色ブロックとして位置情報を画像メモリ
２８に登録する。

【００４６】以上の処理を、ステップＳ５で全ブロック
の処理が終了するまで繰り返す。尚、ステップＳ７でデ
ィストーション値Ｄｍｎが所定の閾値ＴＨ以下とならな
ければ、ステップＳ８はスキップする。続いてステップ
Ｓ９で全ブロックについて処理を終了するまで、ステッ
プＳ４からの処理を繰り返す。全ブロックの処理が終了
すると、ステップＳ１０でフレームカウンタＦＣを１つ
カウントアップした後、ステップＳ１１で予め設定した
追跡フレーム数Ｎに達したか否かチェックする。

【００４７】２フレーム目以降は、ステップＳ１２に進
んで相関追跡による肌色抽出処理を行い、肌色テンプレ
ート１５とより一致する方向へブロックを移動させるた
めの移動ベクトルを得る。更に、ステップＳ１３で肌色
テンプレート値の更新処理を行う。ステップＳ１３の肌
色テンプレート値の更新処理は、肌色抽出処理で得られ
た肌色ブロックの色平均にそのときの肌色テンプレート
値との平均をとった値を、次のフレームの肌色テンプレ
ート値とする。通常、肌色テンプレート値はＲＧＢデー
タで与えられており、例えば肌色テンプレート値は（Ｒ
ｔ，Ｇｔ，Ｂｔ）で与えられる。そこで、現フレームに
ついて生成された肌色抽出画像を構成している全肌色ブ
ロックについて肌色領域の平均ＲＧＢ値を求める。

【００４８】この平均ＲＧＢ値を（Ｒａ，Ｇａ，Ｂａ）
とすると、肌色テンプレートＲＧＢ値の更新は、 Ｒｔ＝αＲｔ＋βＲａ Ｇｔ＝αＧｔ＋βＧａ （２） Ｂｔ＝αＢｔ＋βＢａ 但し、α＋β＝１ に従って行われる。ここで肌色テンプレート値をどの程
度の割合で更新するかは、（２）式における係数α，β
の値を調整することで決めることができる。

【００４９】このような肌色テンプレートの更新によっ
て肌色の個人差を吸収し、また照明条件の変化に対して
も安定して肌色領域を抽出することができる。またステ
ップＳ１４で移動先の肌色ブロックについて隣接ブロッ
クとの重なりを防ぐ重複肌色ブロック回避処理を行い、
ステップＳ４に戻り、２フレーム目の処理に入る。この
重複肌色ブロック回避処理は、後の説明で明らかにされ
る。

【００５０】このような２フレーム目以降の相関追跡の
繰り返しにより、ステップＳ１２でフレームカウンタＦ
Ｃが設定した追跡フレーム数Ｎに達すると、一連の相関
追跡処理を終了し、図１３に示したような肌色抽出画像
を得る。図１５は図１４のステップＳ１２の相関追跡に
よる肌色画像抽出処理のフローチャートである。まずス
テップＳ１で、２フレーム目では１フレーム目の相関演
算で既に生成された肌色抽出画像の中から肌色ブロック
を候補ブロックとして取り出し、また３フレーム目以降
については前フレームの相関追跡で求めた移動ベクトル
情報で指定される移動先のブロックを候補ブロックとし
て取り出し、探索領域を設定する。

【００５１】次にステップＳ２で探索領域内で１画素ず
つ移動したブロックを候補ブロックとして取り出し、ス
テップＳ３で候補ブロックの全画素と肌色テンプレート
値との相関演算を（１）式により行ってディストーショ
ン値を算出する。このような処理をステップＳ４で探索
領域内の１画素単位に移動した全ブロックについて終了
するまで繰り返す。

【００５２】次にステップＳ５で、探索領域の１画素単
位の移動で得られた全ブロックの相関演算によるディス
トーション値Ｄが最小となる候補ブロックを検出し、こ
のディストーション値が最小となるブロック移動先を示
す移動ベクトル情報をステップＳ６でディストーション
値と共に登録する。以上のステップＳ１〜Ｓ６の処理
を、全肌色ブロックについてステップＳ７で終了まで繰
り返す。

【００５３】次に図１０の相関追跡処理部３６による相
関追跡に伴って行う重複回避処理部３７の処理を説明す
る。図１１の相関追跡による肌色画像の抽出処理にあっ
ては、追跡処理の結果として２つ以上のブロックが完全
に重なる場合が発生する。このような相関追跡による肌
色ブロックの重複を回避するため、図１６のように、現
在注目している参照ブロックＢ０に対する８方向の隣接
ブロックＢ１〜Ｂ８との間の距離ｒ１〜ｒ８を求め、距
離ｒ１〜ｒ８が小さくなるほど値が増大するようなエネ
ルギー関数を定義して、その総和となるエネルギーＥを
求め、このエネルギーＥが所定の閾値Ｅｔｈを超えた場
合は肌色ブロックが重複したものと判断して、相関追跡
の移動を停止する。

【００５４】図１６における注目ブロックＢ０に対する
追跡ブロックＢ１〜Ｂ８の距離の増大に対し減少する関
係にあるエネルギー関数の総和Ｅは、例えば距離の二乗
の逆数の総和を使用することで次式で与えられる。

【００５５】

【数３】

【００５６】図１７は、図１４のステップＳ１４におけ
る肌色ブロック回避処理のフローチャートである。まず
ステップＳ１で、あるフレームについて相関追跡処理が
終了したならば、移動ベクトル情報で指定される移動先
の肌色ブロックを１つ候補ブロックとして取り出し、図
１５のように、ステップＳ２で周囲８方向の隣接肌色ブ
ロックとの距離ｒ１〜ｒ８を検出する。

【００５７】次にステップＳ３で（３）式に従ってエネ
ルギーＥを計算する。このエネルギーＥは、隣接ブロッ
クに近付いているほど大きな値をとる。ステップＳ４で
エネルギーＥが閾値Ｅｔｈ以上であれば、隣接ブロック
に重なる重複ブロックであると判断して移動を停止す
る。この移動停止は、相関追跡で得られた移動ベクトル
情報（Δｘ，Δｙ）を強制的に（０，０）にリセットす
ればよい。

【００５８】図１８は図２の画像調整処理部１４の機能
ブロック図である。この画像調整処理部１４は、二値化
処理部５２と正規化処理部５４で構成される。二値化処
理部５２は、例えば図８又は図１３のように得られた肌
色抽出画像を対象に、手形状の輪郭線の内側となる肌色
領域に白（Ｒ，Ｇ，Ｂ値が全て２５５）、それ以外の領
域に黒（Ｒ，Ｇ，Ｂ値が全て０）を割り当てて二値化画
像を生成する。

【００５９】正規化処理部５４は、二値化処理部５２か
ら出力された二値化画像５６を対象に、次の形状テンプ
レート照合処理部１６で使用する複数種類の形状テンプ
レート画像と大きさを合わせるためのサイズ調整による
正規化を行う。図１８は正規化処理部５４による正規化
の具体例であり、二値化画像５６Ａまたは二値化画像５
６Ｂについて、形状テンプレート画像のサイズに調整さ
れた正規化画像２４への変換を行う。

【００６０】図１９は図７の正規化処理部５４による正
規化処理の処理手順である。まず二値化画像５６に含ま
れる肌色領域５８について重心６０の位置を算出する。
次に重心６０を基準点に肌色領域５８を構成する画素の
中の最も遠い位置にある最遠画素６２を検出する。最遠
画素６２が検出できたならば、重心６０を中心に最遠画
素６２の外側近傍を通る円６４を設定する。

【００６１】最終的に円６４に外接する矩形領域（正方
形領域）６６を切り出し、この矩形領域６６の縦横サイ
ズが予め決められた形状テンプレート画像と同サイズと
なるように画像の縮小または拡大を行う。通常、ビデオ
カメラで撮像された画像は形状テンプレート画像より大
きいことから、専ら二値化画像の縮小処理によって正規
化画像が生成できる。

【００６２】図２０は図２の形状テンプレート照合処理
部１６の詳細を示した機能ブロック図である。この形状
テンプレート照合処理部１６は、相関演算部６８、照合
判定部７０及びアフィン変換部７２で構成される。相関
演算部６８は、図１７の画像調整処理部１４で得られた
画像メモリ２８に格納されている正規化画像５８を対象
に、同じく画像メモリ２８に格納されている複数種類の
手形状テンプレート画像２６ａ，２６ｂ，２６ｃ，・・
・の各々との相関演算によりディストーション値を算出
し、ディストーション値が最小となる手形状テンプレー
ト画像の手形状であることを照合判定部７０で判定し、
判定した手形状を認識結果として出力する。

【００６３】この形状テンプレート照合処理部１６にお
ける相関演算部６８の相関演算も、図６に示したような
複数の相関演算器４０−１１〜４０−ｍｎを備えた相関
演算部３２を使用することで、相関演算を並列化して高
速で処理することができる。もちろん、形状テンプレー
ト照合処理のための相関演算にあっては、正規化画像５
８と各手形状テンプレート画像における同一位置の画素
ごとの差の総和を求める相関演算によるディストーショ
ン値の算出である。

【００６４】そこで、手形状テンプレート画像と正規化
画像を共に画像メモリ２８上に格納しておき、画像メモ
リ２８より画素読出処理部が正規化画像と手形状テンプ
レート画像の画素を読み出して並列相関演算を実行すれ
ばよい。一方、アフィン変換部７２は、アフィン変換部
７２で入力した正規化画像５８から例えば予め定めた±
ｎ°の範囲で回転変換したアフィン変換画像７４Ａ，７
４Ｂを求め、正規化画像５８と各アフィン変換画像７４
Ａ，７４Ｂのそれぞれについて、相関演算部６８で手形
状テンプレート画像２６ａ，２６ｂ，２６ｃ，・・・と
の間の相関演算によるディストーション値を求め、正規
化画像およびアフィン変換画像のテンプレート照合処理
により得られるディストーション値が最小となる手形状
を求めるという認識を行っている。このアフィン変換後
の相関演算による照合判定で、ビデオカメラで撮像した
入力画像が回転していても、確実に手形状を認識するこ
とができる。

【００６５】図２２は図２０の形状テンプレート照合処
理部１６による照合処理部具体的な画像を用いて表して
いる。まず画像メモリ２８側には入力された正規化画像
５８に加え、アフィン変換部７２により、例えば−ｎ°
（左回りにｎ°）回転したアフィン画像７４Ａと、＋ｎ
°（右回りにｎ°）回転したアフィン画像７４Ｂが生成
される。

【００６６】この正規化画像５８及びアフィン変換画像
７４Ａ，７４Ｂについて、形状テンプレートマッチング
処理２５Ｅによって６種類の手形状テンプレート画像２
６ａ〜２６ｆとの相関演算によるディストーション値を
求め、最小となるディストーション値に対応する手形状
を認識する。図２３は図２１の形状テンプレート照合処
理部１６による形状テンプレート照合処理のフローチャ
ートである。まずステップＳ１で正規化画像を入力し、
ステップＳ２で正規化画像を±ｎ°回転したアフィン変
換による画像を生成し、ステップＳ３で、正規化画像及
び±ｎ°回転したアフィン変換画像の各々と、全ての手
形状テンプレート画像との相関演算によるマッチング処
理を繰り返す。

【００６７】次にステップＳ４で、マッチング処理で得
られたディストーション値の中の最小値の相関演算に使
用した手形状テンプレート画像に入力手形状が一致した
ものと判断し、手形状の認識結果を出力する。尚、上記
の実施形態にあっては、手形状を手の入力画像の肌色抽
出により認識する場合を例にとっているが、本発明は背
景に対し単一の色をもった物体の動作をビデオカメラ等
で画像データとして捉えて認識する一般的な装置にその
まま適用することができる。

【００６８】

【発明の効果】以上説明してきたように本発明によれ
ば、ビデオカメラ等で撮影された入力画像の中からの手
形状認識のための肌色領域の抽出と、肌色抽出画像とテ
ンプレート画像のマッチングによる手形状の認識が、同
じ相関演算に基づいて処理でき、相関演算としての処理
部分が共通化され、システム規模を小さくして高速化に
より処理時間を短縮でき、特に相関演算機能を並列演算
で実現することで、より高速の手形状の認識が実現でき
る。

【００６９】また本発明の肌色領域抽出処理にあって
は、相関追跡による肌色ブロックの抽出により、肌色テ
ンプレートに一致する方向に肌色ブロックを移動させ、
輪郭線に沿った正確な肌色領域を抽出することができ、
肌色領域抽出による手形状の認識精度を高めることがで
きる。また相関追跡において、肌色ブロックの移動によ
るブロック重複を判断して移動を停止することで、ブロ
ック重複による不要な肌色ブロックの抽出を回避でき
る。

【００７０】また本発明の肌色画像抽出処理にあって
は、フレーム単位に肌色画像抽出するごとに、実際に抽
出された肌色領域と予め定めた肌色テンプレート値との
平均演算により肌色テンプレート値を更新することで、
肌色の個人差を吸収し、また照明条件の変化に対しても
安定して肌色領域を抽出することができる。更に、ビデ
オカメラで撮像した画像が相関演算により照合する手形
状テンプレート画像とサイズが異なっていても、サイズ
を合わせる正規化処理を行うことでビデオカメラと手の
間の距離の変化による肌色領域の大きさの変化を吸収し
て、常に安定した手形状の認識を行うことができる。

【００７１】更に、ビデオカメラで撮像した手形状が回
転しているような場合についても、照合対象とする正規
化画像にアフィン変換を施して回転した状態で、手形状
テンプレート画像との相関演算による照合を行うこと
で、入力画像に回転があっても、その影響を吸収して安
定した手形状の認識を行うことができる。

【図面の簡単な説明】

【図１】本発明の原理説明図

【図２】本発明の装置構成のブロック図

【図３】本発明の手形状認識処理のフローチャート

【図４】本発明の手形状認識処理の手順の処理画像の説
明図

【図５】図２の肌色抽出処理部の第１実施形態を示した
機能ブロック図

【図６】図５の相関演算部の一例を示した回路ブロック
図

【図７】入力画像のブロック分割の説明図

【図８】図５の肌色抽出処理部で抽出された肌色画像の
説明図

【図９】図５の肌色抽出を行う肌色抽出処理のフローチ
ャート

【図１０】図２の肌色抽出処理部の第２実施形態を示し
た機能ブロック図

【図１１】図１０の相関追跡処理の説明図

【図１２】図８の肌色抽出画像の１ブロックを例にとっ
た相関追跡処理の説明図

【図１３】相関追跡処理の繰り返しで得られた最終フレ
ームの肌色抽出画像の説明図

【図１４】図１０の第２実施形態による肌色抽出処理の
フローチャート

【図１５】図１４の相関追跡による肌色抽出処理のフロ
ーチャート

【図１６】相関追跡で生ずるブロック重複の判別原理の
説明図

【図１７】重複肌色ブロック回避処理のフローチャート

【図１８】図２の画像調整処理部の詳細を示した機能ブ
ロック図

【図１９】二値化画像の正規化処理の説明図

【図２０】二値化画像を正規化する際の矩形領域の切出
し方法の説明図

【図２１】図２の形状テンプレート照合処理部の詳細を
示した機能ブロック図

【図２２】アフィン変換による照合処理の説明図

【図２３】図２２の形状テンプレート照合処理のフロー
チャート

【符号の説明】

１０：ビデオカメラ １２：肌色抽出処理部 １４：画像調整処理部 １５：肌色テンプレート １６：形状テンプレート照合処理部 １８：入力画像 ２０：肌色抽出画像 ２２：二値化画像 ２４：正規化画像 ２５Ａ：画像入力処理 ２５Ｂ：肌色領域抽出処理 ２５Ｃ：二値化処理 ２５Ｄ：サイズ調整処理 ２５Ｅ：テンプレートマッチング処理 ２６ａ〜２６ｆ：形状テンプレート画像 ２８：画像メモリ ３０：領域分割部 ３２：相関演算部 ３４：比較処理部 ３６：相関追跡処理部 ３７：重複回避処理部 ３８：ブロック画素読出処理部 ４０−１１〜４０−ｍｎ：相関演算器 ４２：ブロック化領域 ４４Ａ，４４Ｂ：探索領域 ４６：移動ベクトル ４８Ａ，４８Ｂ：参照ブロック ５０：親指 ５２：二値化処理部 ５４：正規化処理部 ５６：二値化画像 ５８：肌色領域 ６０：重心 ６２：最遠画素 ６４：円 ６６：切出し矩形領域 ６８：相関演算部 ７０：照合処理部 ７２：アフィン変換部

Claims (4)

【特許請求の範囲】
1. 【請求項１】ビデオカメラ等で撮影された入力画像から
   手の肌色領域の画像を、所定の肌色テンプレート値との
   相関演算に基づいて抽出する肌色抽出処理部と、 前記肌色抽出画像を二値化すると共に規定のサイズに縮
   小又は拡大して正規化した正規化画像を生成する画像調
   整処理部と、 前記正規化画像を予め準備された形状テンプレート画像
   との相関演算に基づく照合処理により手形状を認識する
   形状テンプレート照合処理部と、を備えた手形状認識装
   置に於いて、 前記肌色抽出処理部は、 前記入力画像を格子状の複数の小領域に分割する領域分
   割部と、 前記小領域の各々と前記肌色テンプレート値との相関演
   算によりディストーション値を算出する相関演算部と、 前記ディストーション値が所定の閾値以下の場合に該小
   領域を肌色小領域として検出して肌色抽出画像を生成す
   る比較処理部と、を備えたことを特徴とする手形状認識
   装置。
2. 【請求項２】ビデオカメラ等で撮影された入力画像から
   手の肌色領域の画像を、所定の肌色テンプレート値との
   相関演算に基づいて抽出する肌色抽出処理部と、 前記肌色抽出画像を二値化すると共に規定のサイズに縮
   小又は拡大して正規化した正規化画像を生成する画像調
   整処理部と、 前記正規化画像を予め準備された形状テンプレート画像
   との相関演算に基づく照合処理により手形状を認識する
   形状テンプレート照合処理部と、を備えた手形状認識装
   置に於いて、 前記肌色抽出処理部は、 前記入力画像を格子状の複数の小領域に分割する領域分
   割部と、 前記小領域の各々と前記肌色テンプレート値との相関演
   算によりディストーション値を算出する相関演算部と、 前記ディストーション値が所定の閾値以下の場合に該小
   領域を肌色小領域として検出して肌色抽出画像を生成す
   る比較処理部と、 前記比較処理部で生成された肌色抽出画像の肌色小領域
   の各々について、該肌色小領域を中心に所定の探索範囲
   を設定し、該探索範囲内で画素単位に小領域を移動しな
   がら各移動位置毎に前記相関演算部によりデストーショ
   ン値を算出し、該ディストーション値が最小となる小領
   域に前記肌色領域を移動させる相関追跡処理部と、を設
   けたことを特徴とする手形状認識装置。
3. 【請求項３】ビデオカメラ等で撮影された入力画像から
   特定の色をもつ物体の単色領域の画像を、所定の単色テ
   ンプレート値との相関演算に基づいて抽出する単色抽出
   処理部と、 前記単色抽出画像を二値化すると共に規定のサイズに縮
   小又は拡大して正規化した正規化画像を生成する画像調
   整処理部と、 前記正規化画像を予め準備された形状テンプレート画像
   との相関演算に基づく照合処理により物体形状を認識す
   る形状テンプレート照合処理部と、を備えた単色物体形
   状認識装置に於いて、 前記単色抽出処理部は、 前記入力画像を格子状の複数の小領域に分割する領域分
   割部と、 前記小領域の各々と前記単色テンプレート値との相関演
   算によりディストーション値を算出する相関演算部と、 前記ディストーション値が所定の閾値以下の場合に該小
   領域を単色小領域として検出して単色抽出画像を生成す
   る比較処理部と、を備えたことを特徴とする単色物体形
   状認識装置。
4. 【請求項４】ビデオカメラ等で撮影された入力画像から
   特定の色をもつ物体の単色領域の画像を、所定の単色テ
   ンプレート値との相関演算に基づいて抽出する単色抽出
   処理部と、 前記単色抽出画像を二値化すると共に規定のサイズに縮
   小又は拡大して正規化した正規化画像を生成する画像調
   整処理部と、 前記正規化画像を予め準備された形状テンプレート画像
   との相関演算に基づく照合処理により物体形状を認識す
   る形状テンプレート照合処理部と、を備えた単色物体形
   状認識装置に於いて、 前記単色抽出処理部は、 前記入力画像を格子状の複数の小領域に分割する領域分
   割部と、 前記小領域の各々と前記単色テンプレート値との相関演
   算によりディストーション値を算出する相関演算部と、 前記ディストーション値が所定の閾値以下の場合に該小
   領域を単色小領域として検出して単色抽出画像を生成す
   る比較処理部と、 前記比較処理部で生成された単色抽出画像の単色小領域
   の各々について、該単色小領域を中心に所定の探索範囲
   を設定し、該探索範囲内で画素単位に小領域を移動しな
   がら各移動位置毎に前記相関演算部によりデストーショ
   ン値を算出し、該ディストーション値が最小となる小領
   域に前記単色領域を移動させる相関追跡処理部と、を設
   けたことを特徴とする単色物体形状認識装置。