JP2986455B1 - 手振り認識装置 - Google Patents

Abstract

【要約】 【課題】 手の姿勢によらず手の形状を安定して認識で
きる手振り認識装置を提供する。 【解決手段】 互いに異なる方向から複数のカメラで手
を撮影し、そのうち手のひらを正面から撮影したカメラ
を選択する。選択されたカメラで得た画像から輪郭線抽
出部８１により手の輪郭線を抽出し、抽出されかつ補正
された手の輪郭線をＰ型フーリエ記述部８３によりＰ型
フーリエ記述子で記述する。特徴ベクトル算出部８４で
は、Ｐ型フーリエ記述子に含まれるフーリエ係数をベク
トル成分とする特徴ベクトルＶが算出される。形状選択
部８６では、その特徴ベクトルが得られる確率が最も高
い既知形状が手の形状として認識される。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】この発明は手振り認識装置に
関し、さらに詳しくは、複数のカメラを用いて手の形状
を実時間で認識する手振り認識装置に関する。

【０００２】

【従来の技術および発明が解決しようとする課題】直観
的で使いやすいインターフェイスとして、手振りを利用
するシステムがこれまで数多く提案されている。これら
のシステムの大半は、データグローブ（登録商標）に代
表されるように、センサを付加した特殊な手袋の着用を
利用者に求めるものであり、着脱の煩雑さなど使用者の
負担が大きく、広く普及するには至っていない。同様の
システムを非接触の装置で実現するために、画像処理に
より手振りを検出する手法が提案されてきたが、速度や
安定性の面で問題があった。

【０００３】本発明者は、これらの問題点を解決するた
め、既に、多数のカメラを用いた手の位置・姿勢の推定
法を提案している（特開平１０−６３８６４号公報、内
海章，宮里勉，岸野文郎，大谷淳，中津良平：距離変換
処理を用いた多視点画像による手姿勢推定法，映像情報
メディア学会誌，Vol.51, No.12, pp.2116-2125 （199
7）. ）。この方法では、複数の視点から得られるロバ
ストな特徴量により、手の形状変化にかかわらず位置・
姿勢を安定に求めることができる。これにより、求めら
れた位置・姿勢に基づきその後の処理に適した画像を選
択することができる。しかしながら、この方法では、手
の形状を認識することはできない。

【０００４】一方、多数のカメラを用いて得た２次元特
徴により手形状を記述する場合、カメラの光軸に対する
手の姿勢変化による撮影像の変形（自己オクルージョ
ン；たとえば、人指し指を延ばした手の形状と、人指し
指と中指を延ばした手の形状とは、手を側方から観察す
る場合は識別しがたい。）が大きな問題となる。従来行
なわれてきた２次元特徴による手形状判別には、エッジ
マップによるもの（Uras, C. and Verri, A.: Hand Ges
ture Recognition from Edge Maps, Proc. of Internat
ional Workshop on Automatic Face- and Gesture-Reco
gnition, pp.116-121 （1995）. ）、延ばされた指の本
数によるもの（平川幹和子，松尾英明，高田雄二，手嶋
光隆：シルエット画像からの手形状認識，テレビジョン
学会技術報告VIS96-49, pp.15-20（1996）. 、長嶋他：
手の機能的な構造特徴量に基づく指文字認識，テレビ
誌，Vol.48, No.8, pp.1503-1507（1994）. ）などがあ
ったが、いずれもカメラの光軸方向と手の姿勢について
一定の関係を仮定しており、手が回転する場合の動作に
関しては対応できていなかった。

【０００５】これに対し、手指の３次元モデルを用いて
形状復元を目指す研究も行なわれてきたが（Rehg, J.M.
and Kanade, T.: Visual Tracking og High DOF Artic
ulated Structures: an Application to Human Hand Tr
acking, Computer Vision-ECCV '94, LNCS vol. 801, p
p.35-46 （1994）. 、中嶋正之，柴広有：仮想現実世界
構築のための指の動き検出法，グラフィックスとＣＡＤ
67-6, pp.41-46 （1994）. 、岩井儀雄，八木康史，谷
内田正彦：単眼動画像からの手の３次元運動と位置の推
定，信学論（D-II）, Vol.J80-D-II, No. 1, pp.44-55
（1997）. ）、これらの手法は精緻な姿勢情報が得られ
ることが期待できる一方で、手指の関節の自由度が大き
く計算コストが膨大になるという問題がある。また、オ
クルージョンを回避する検討もなされておらず、処理の
前提となる画像特徴がオクルージョンにより検出できな
い場合、やはり推定が困難になるという問題がある。

【０００６】それゆえに、この発明の目的は、手の姿勢
に関係なく手の形状を安定して認識することが可能な手
振り認識装置を提供することである。

【０００７】

【課題を解決するための手段】この発明による手振り認
識装置は、複数のカメラと、垂直方向算出手段と、カメ
ラ選択手段と、輪郭線抽出手段と、Ｐ型フーリエ記述手
段と、形状特定手段とを備える。複数のカメラは、互い
に異なる方向から手を撮影して手の画像を得る。垂直方
向算出手段は、複数のカメラからの手の画像に基づいて
手のひらの垂直方向を算出する。カメラ選択手段は、複
数のカメラのうち垂直方向算出手段により算出された垂
直方向に最も近い方向から手を撮影したカメラを選択す
る。輪郭線抽出手段は、カメラ選択手段により選択され
たカメラからの手の画像に基づいてその画像中の手の輪
郭線を抽出する。Ｐ型フーリエ記述手段は、輪郭線抽出
手段により抽出された手の輪郭線をＰ型フーリエ記述子
で記述する。形状特定手段は、Ｐ型フーリエ記述手段か
らのＰ型フーリエ記述子に基づいて手の形状を特定す
る。

【０００８】上記手振り認識装置においては、手のひら
を正面から撮影したカメラが選択され、そのカメラから
の画像に基づいて手の形状が特定されるので、オクルー
ジョンが回避され、手の姿勢によらず安定した形状認識
が可能となる。また、手の輪郭線が形状の画像内の平行
移動、拡大・縮小などに対して不変のＰ型フーリエ記述
子で記述されるので、より安定した形状認識が可能とな
る。

【０００９】好ましくは、上記手振り認識装置はさら
に、輪郭線補正手段を備える。輪郭線補正手段は、輪郭
線抽出手段により抽出された手の輪郭線を、垂直方向算
出手段により算出された垂直方向に一致する方向から手
を撮影したならば得られたであろう手の輪郭線に補正し
てＰ型フーリエ記述手段に与える。

【００１０】したがって、手のひらを真正面から撮影し
たカメラが存在しない場合でも、手の輪郭線をＰ型フー
リエ記述子で正確に記述することができる。

【００１１】好ましくは、形状特定手段は、特徴ベクト
ル算出手段を含む。特徴ベクトル算出手段は、Ｐ型フー
リエ記述子に含まれる複数のフーリエ係数のうち所定次
数よりも低い次数のフーリエ係数をそれぞれベクトル成
分とする特徴ベクトルを算出する。

【００１２】したがって、抽出された輪郭線に含まれる
高周波ノイズの影響を避け、より安定した形状認識が可
能となる。

【００１３】好ましくは、上記形状特定手段はさらに、
形状選択手段を含む。形状選択手段は、手の複数の既知
形状に対応して予め用意された複数の特徴ベクトルを基
準として、複数の既知形状のうち特徴ベクトル算出手段
により算出された特徴ベクトルが得られる確率が最も高
い既知形状を手の形状として選択する。

【００１４】

【発明の実施の形態】以下、この発明の実施の形態を図
面を参照して詳しく説明する。なお、図中同一または相
当部分には同一符号を付してその説明は繰返さない。

【００１５】まず、この発明の実施の形態による手振り
認識装置で用いられる手の形状モデルについて説明す
る。この装置では、手の位置および姿勢を重心と手のひ
らの方向によって、また各指の曲げを重心と各指先点の
位置関係によって表現する。詳細は「大西ほか，手振り
認識のための手形状記述について，テレビジョン学会技
術報告 Vol.15, No.25, pp.25-29, May 1991」を援用す
る。図１において、Ｏｈは手の重心を示し、Ｘｈは手の
方向を示す。これらは画像中の手のひら領域の重心点、
手のひら部分のエッジの手方向でそれぞれ近似する。複
数のカメラからの情報を組合せれば、手の位置と方向が
算出できる。また、手のひらの特徴点は同一平面内にあ
ると仮定し、指先点の移動は求めた表面上への投影点の
動きとして表現する。

【００１６】この実施の形態による手振り認識装置の構
成を図２に示す。この手振り認識装置は図２に示される
ように、互いに異なる方向から手を撮影して手の画像を
得る複数のカメラ１〜ｎと、カメラ１〜ｎによって得ら
れた入力画像中の肌色領域を色情報および輝度情報を用
いて分割する領域分割部１１〜１ｎと、ソーベル（Sobe
l ）フィルタの結果から平均エッジ方向を求め、それを
２次元上の手の方向（主軸）とする主軸検出部２１〜２
ｎと、主軸検出部２１〜２ｎで得られた手の方向に基づ
いて指先が上方を向くように画像を回転する回転変換部
３１〜３ｎと、手の画像を構成する画素の各々から手の
画像の輪郭までの最短距離を示す距離変換値（スケルト
ン値）を算出する距離変換部４１〜４ｎと、それらのス
ケルトン値に基づいて手の重心たり得る確信度を参照
し、手の３次元上の重心Ｏｈを決定するとともに、複数
のカメラ１〜ｎで得られた手の方向をステレオマッチン
グすることより３次元上の手の方向Ｘｈを決定する３次
元重心点・方向検出部５と、カメラ１〜ｎで得られた点
の重心における距離変換値（重心スケルトン値）に基づ
いて手の主軸（Ｘｈ）まわりの回転角ｒを決定する回転
角検出部６と、得られた重心位置、手方向および回転角
を持つ面（手平面）に対し最も垂直に近い光軸を持つカ
メラを選択するカメラ選択部７と、選択されたカメラか
ら得られた手の画像に基づいて手の形状を認識する手形
状認識部８とを備える。

【００１７】ここでは特に、回転角検出部６は、手方向
Ｘｈおよび回転角度ｒに基づいて手のひらの法線ベクト
ルを算出する。カメラ選択部７は、複数のカメラ１〜ｎ
のうちその法線ベクトルに最も近い方向から手を撮影し
たカメラを選択する。

【００１８】手形状認識部８の構成を図３に示す。手形
状認識部８は、図３に示されるように、カメラ選択部７
により選択されたカメラからの手の画像に基づいてその
画像中の手の輪郭線を抽出する輪郭線抽出部８１と、輪
郭線抽出部８１により抽出された手の輪郭線を、回転検
出部６により算出された法線ベクトルに一致する方向か
ら手を撮影したならば得られたであろう手の輪郭線に補
正する輪郭線補正部８２と、輪郭線抽出部８１により抽
出されかつ輪郭線補正部８２により補正された手の輪郭
線をＰ型フーリエ記述子で記述するＰ型フーリエ記述部
８３と、Ｐ型フーリエ記述部８３からのＰ型フーリエ記
述子に含まれる複数のフーリエ係数のうち所定次数より
も低い次数のフーリエ係数をそれぞれベクトル成分とす
る特徴ベクトルを算出する特徴ベクトル算出部８４と、
手の形状と特徴ベクトルとの関係を学習するために複数
の既知形状を有する手を撮影して得た多数のサンプル画
像に基づいてもし撮影された手の形状がある既知形状で
あったならば得られたであろう確率を定義する確率定義
部８５と、確率定義部８５により定義された確率に基づ
いて上記複数の既知形状のうち特徴ベクトル算出部８４
により算出された特徴ベクトルが得られる確率が最も高
い既知形状を手の形状として選択する形状選択部８６と
を含む。すなわち、特徴ベクトル算出部８４、確率定義
部８５、および形状選択部８６は、Ｐ型フーリエ記述部
８３からのＰ型フーリエ記述子に基づいて手の形状を特
定し、その形状を認識結果として出力する。

【００１９】次に、このように構成された手振り認識装
置の動作を説明する。カメラ１〜ｎで得られた画像は領
域分割部１１〜１ｎにそれぞれ与えられる。領域分割部
１１〜１ｎでは、入力画像の肌色領域が色と強度の情報
を用いて他の領域から分離され、図４の（ａ）に示され
るような入力２値画像（シルエット画像）が得られる。
主軸検出部２１〜２ｎでは、得られたシルエット画像に
ソーベルフィルタが適用され、手領域の平均エッジ方向
が求められ、この平均エッジ方向が図４の（ｂ）に示さ
れるように画像内の手の指先方向とみなされる（石淵耕
一，岩崎圭介，竹村治雄，岸野文郎：画像処理を用いた
実時間手振り推定とヒューマンインタフェースへの応
用，信学論（D-II）, Vol.J79-D-II, No.7, pp.1218-12
29（1996）. ）。以後の処理の安定化のため、回転変換
部３１〜３ｎでは、得られた指先方向に基づき指先が上
方を向くよう画像が回転変換される。たとえば、カメラ
ｉ（＝１〜ｎ）の画像は回転角γｉだけ回転される。回
転変換された後の画像は図４の（ｃ）に示される。距離
変換部４１〜４ｎでは、図４の（ｄ）に示されるような
距離変換画像が得られる。

【００２０】３次元重心点・方向検出部６では、重心の
候補として距離変換された画像の極大点が抽出される。
図４の（ｄ）では、スケルトン値が大きい画素ほど黒く
表わされ、スケルトン値が小さい画素ほど白く表わされ
ている。したがって、手の輪郭から遠ざかるにつれて画
素が徐々に濃くなっている。得られた重心候補のすべて
の画像間での対応付けから確信度処理により３次元上の
重心が決定される。３次元の重心が決定されると、各画
像上での重心スケルトン値が得られる。

【００２１】回転角検出部６では、手のひらをモデル化
した所定の手のひらモデルに基づき、手の主軸まわりの
回転角ｒが上述した各画像上での重心スケルトン値から
最尤法により推定される。詳細は、上掲の特開平１０−
６３８６４号公報を援用する。重心点の距離変換値は前
述のとおり指曲げなどの形状変化の影響を受けにくく、
手の主軸まわりの回転角ｒの推定も形状変化に対して安
定である。手の指先方向（主軸）と手の主軸まわりの回
転角ｒを定めることにより、図５に示されるように手の
ひらの法線ベクトルＮを定めることができる。回転角検
出部６は、このような法線ベクトルＮを算出してカメラ
選択部７に与える。

【００２２】カメラ選択部７では、カメラ１〜ｎの中か
ら手のひらの垂直方向に最も近い方向から手を撮影した
カメラが選択される。すなわち、図５に示されるように
カメラｉの光軸ベクトルをＣｉとしたとき、光軸ベクト
ルＣｉが法線ベクトルＮとなす角度θｉが最小になるカ
メラｉが選択される。手指間のオクルージョンは、手の
ひらを正面から撮影する場合に最も起こりにくいため、
このような視点の選択によりオクルージョンを回避する
ことができる。

【００２３】続いて図３に示されるように、輪郭線抽出
部８１では、選択されたカメラｉの画像から手の輪郭線
が抽出される。ここでは、特に手形状を特徴付ける手指
部分の輪郭線のみが抽出される。上述したように、入力
２値画像は重心点検出の前処理として指先が上方を向く
よう角度γｉの回転変換を受けているため、図６に示さ
れるように、手の領域内で重心点よりも上方部分のみの
輪郭線を抽出することで手指部分の形状が得られる。よ
り具体的には、図６に示されるようなシルエット画像上
で重心点よりも上方に位置する白色画素のうち黒色画素
に隣接する画素が輪郭線として抽出される。ここで、輪
郭線の抽出は右回りとして、抽出した各画素の座標を
（ａ（ｔ），ｂ（ｔ））とする（ｔ＝０，…，ｍ−１，
ｍは輪郭線を構成する全画素数）。

【００２４】このようにして抽出された輪郭線は、手の
ひらの法線ベクトルＮとカメラｉの光軸ベクトルＣｉの
なす角θｉの変化に応じて、投影による変形を受けてい
る。そこで、輪郭線補正部８２では、抽出された手の輪
郭線が、手のひらを正面から撮影したならば得られたは
ずの輪郭線に補正される。より具体的には、カメラ選択
の結果、θｉ＜＜９０°であると考え、弱透視変換を仮
定すると、観測される画像は、図５に示されるように手
の法線ベクトルＮをカメラｉの撮像面に投影したＮｉ′
の方向（画像内の水平軸ｘ_Ciとなす角をφｉとする。）
にｃｏｓθｉ倍の縮小を受けていることになる。そこ
で、抽出された輪郭線の各画素の座標（ａ（ｔ），ｂ
（ｔ））は、次の式（１）で補正され、（ａ′（ｔ），
ｂ′（ｔ））となる（ｔ＝０，…，ｍ−１）。

【００２５】

【数１】

【００２６】ここで、Ｒ（α）は角度αの回転変換行列
である。Ｐ型フーリエ記述部８３では、抽出された輪郭
線が折れ線で近似され、Ｐ型フーリエ記述子で記述され
る。Ｐ型フーリエ記述子は、上坂によって提案されたも
ので（上坂吉則：開曲線にも適用できる新しいフーリエ
記述子，信学論（Ａ），Vol.J67-A, No.3, PP.166-173
（1984）. ）、種々のパターンを少ないパラメータで記
述できる、平行移動・拡大縮小について不変である、開
曲線に適用できるといった形状認識に優れた特徴を持
ち、これまでにも部品形状の認識（伊藤豪俊，平田達
也，石井直宏：フーリエ記述子を用いた部品の形状認識
と処理，信学論（Ｄ），Vol.J71-D, No.6, pp.1065-107
3 （1988）. ）、文字認識（大友照彦，原健一：Ｐ型フ
ーリエ記述子を用いたオンライン手書き漢字認識，情処
学論，Vol.34, No.2, pp.281-288（1993）. ）、人間の
横顔認識（相原恒博，大上健二，松岡靖：人間の横顔認
識におけるＰ型フーリエ記述子の有効成分の個数につい
て，信学論（D-II）, Vol.J74-DII, No.10, pp.1486-14
87（1991）. ）などに広く利用されてきたものである。

【００２７】Ｐ型フーリエ記述子では、２次元の曲線を
複素平面上の点列と考え、長さの等しい線分からなる折
れ線で近似する。折れ線の各頂点をｚ（ｊ）＝ｘ（ｊ）
＋ｉｙ（ｊ）とするとき（｜ｚ（ｊ＋１）−ｚ（ｊ）｜
＝δ；ｊ＝０，…，ｎ−１）、各折れ線をその長さδで
正規化して、次の式（２）で表わされるような折れ線の
Ｐ表現ｗ（ｊ）を得る。

【００２８】

【数２】

【００２９】ｗ（ｊ）の離散フーリエ展開により、フー
リエ係数ｃ（ｋ）が次の式（３）により求まる。

【００３０】

【数３】

【００３１】ここで、係数の集合｛ｃ（ｋ）；ｋ＝−
Ｎ，…，０，…，Ｎ｝がＮ時のＰ型フーリエ記述子であ
る。この実施の形態では、ｃ（ｋ）の大きさ｜ｃ（ｋ）
｜を輪郭線の記述に利用する。

【００３２】特徴ベクトル算出部８４では、Ｐ型フーリ
エ記述子｛ｃ（ｋ）｝に含まれるフーリエ係数のうち所
定次数よりも低い次数の（２Ｎ＋１）個（たとえばＮ＝
４または５）のフーリエ係数を用いて次の式（４）で定
義される特徴ベクトルＶが算出される。

【００３３】

【数４】

【００３４】ここで、Ａ^t はベクトルＡの転置ベクトル
を表わす。確率定義部８５では、手形状の認識に先立
ち、手のいくつかの既知形状と特徴ベクトルの対応関係
が学習され、各形状ｓごとに特徴ベクトルＶが観測され
る確率Ｐ（Ｖ｜ｓ）が次の式（５）で表わされる正規分
布により定義される。

【００３５】

【数５】

【００３６】ここで、Ｖｍｓは、ある既知形状の手を撮
影して得られた多数のサンプル画像に基づいて算出され
たその既知形状ｓの特徴ベクトルＶの平均ベクトル（た
とえば多数の特徴ベクトルのベクトル成分の平均値をベ
クトル成分とするもの）である。また、Σｓは行分散行
列である。このような確率関数が各既知形状ごとに予め
用意される。

【００３７】形状選択部８６では、算出された特徴ベク
トルＶが得られる確率が最も高い既知形状が手の形状と
して選択される。すなわち、算出された特徴ベクトルＶ
が観測される確率Ｐ（Ｖ｜ｓ）がすべての既知形状ｓに
ついて求められ、その求められた確率Ｐ（Ｖ｜ｓ）が最
大になる既知形状ｓがこの場合の手の形状として認識さ
れる。

【００３８】以上のようにこの実施の形態によれば、従
前の手法により推定した手の姿勢に基づいて形状認識に
用いる最適なカメラを選択しているため、オクルージョ
ンを回避し、手の形状を安定して認識することができ
る。また、画像から抽出した手の輪郭を記述するため
に、形状の画像内の平行移動、拡大・縮小などに対して
不変なＰ型フーリエ記述子を用いているため、上記カメ
ラ選択と組合せることにより手の姿勢に関係なく手形状
を安定して認識することができる。

【００３９】また、抽出した手の輪郭線を手のひらの垂
直方向に一致する方向から手を撮影したならば得られた
であろう手の輪郭線に補正しているため、選択されたカ
メラが手のひらを真正面から撮影していない場合であっ
ても正確に手の形状を認識することができる。

【００４０】また、相対的に低い次数のフーリエ係数を
用いて特徴ベクトルＶを算出しているため、抽出された
手の輪郭線に含まれる高周波ノイズ（高次フーリエ係数
として現れる）を除去し、真の手の輪郭線（低次フーリ
エ係数として現れる）のみを正確に特定することができ
る。その結果、手形状をより安定して認識することがで
きる。

【００４１】なお、上記実施の形態ではカメラ選択にお
いて手のひらの表裏の違いが考慮されておらず、そのた
め、同じ手形状について表裏２種類の画像入力があり得
る。このような輪郭線の左右の判定に対し、得られるＰ
型フーリエ記述子の次の式（６）で表わされる。

【００４２】

【数６】

【００４３】ここで、ｃ′（ｋ）は反転後の係数を示
し、ｃ（−ｋ）の上線はその共役複素数を示す。

【００４４】そこで、手の表裏の判定を考慮し、次の式
（７）で表わされるように特徴ベクトルＶの成分を並べ
変えたＶ^* を定義する。

【００４５】

【数７】

【００４６】手形状の認識においては、Ｐ（Ｖ｜ｓ）お
よびＰ（Ｖ^* ｜ｓ）の両方を評価することで、入力画像
の表裏の違いに対応する。すなわち、選択画像から抽出
された輪郭線からＶ，Ｖ^* を計算し、すべての形状ｓに
対するＰ（Ｖ｜ｓ）、Ｐ（Ｖ ^* ｜ｓ）のうち最大値をと
る分布を選択し、対応する形状ｓを認識結果とする。

【００４７】

【実施例】以下の実験のために、次のように画像の撮影
を行なった。実験に用いた環境を図７に示す。ここで
は、同心円上に中央を向けて約６０°間隔で３台のカメ
ラcamera０〜２を配置し、図８に示す７種類の手形状sh
ape １〜７それぞれについて約６００フレーム分の画像
を撮影した。撮影画像は、手のひらの回転と移動を含
む。３台のカメラで得られた画像は３台の追記型ビデオ
ディスクに記録した後に、コマ送りにより１フレームご
とに処理した。全フレームのうち３００フレームを学習
用に、残りを認識実験用に用いた。

【００４８】パラメータ学習時には、各形状について処
理フレームの画像から上記実施の形態で述べた方法によ
り特徴ベクトルＶ₀ を抽出した。２フレーム以降につい
ては、特徴ベクトルＶ，Ｖ^* のうち、ユークリッド距離
が特徴ベクトルＶ₀ に近いものを選んで記録した。形状
ごとに得られた、３００サンプルの特徴ベクトルをもと
に上記実施の形態で述べた確率分布を決定した。

【００４９】

【表１】

【００５０】認識実験用の各形状約３００フレームの画
像に対する形状認識結果を表１に示す。ここに見られる
ように、いずれの形状についても８７％以上、特に形状
shape １，２，６，７について９９％以上という安定し
た認識結果が得られた。これにより、この発明による手
振り認識装置の有効性が示されたといえる。なお、形状
shape ３，４，５については自己オクルージョンによる
誤判別を起こしていると考えられるが、このようなオク
ルージョンによる誤判別は、視点数の増加により視点選
択の機会を増やすことにより回避することができる。

【００５１】また、この発明による手形状認識装置で用
いたカメラ選択の効果を確認するため、カメラ選択を行
なわず同じカメラの画像を用いて形状認識を試みた。図
９に７種類の手形状shape １〜７それぞれについての認
識結果を示す。ここで、横軸は手姿勢推定で得られた手
の法線軸とカメラの光軸のなす角度θを、縦軸はそれぞ
れのフレームについて得られた認識結果をそれぞれ表わ
している。なお、ここではθが９０°近くになり得るた
め、上記実施の形態で述べた輪郭線の補正（式（３））
は行なっていない。図９から明らかなように、観測方向
による形状の変化の少ない形状shape １，２を除き、角
度θの増加に伴って誤認識が増加している。上述した実
験結果と併せて考えることで、形状認識においてカメラ
選択が有効に作用していることがわかる。なお、形状sh
ape ３〜５は他と比べてより小さい角で誤認識を起こす
傾向がみられ、このことは上述した実験結果を裏付けて
いる。このように形状認識が困難になる角度は形状によ
って異なるため、安定した認識に必要なカメラの数は一
様には定めることができないが、今回用いた６０°間隔
の配置では、いずれの形状についても８７％以上の高い
認識率を得ており、次の述べる仮想空間操作システムの
操作も問題なく行なうことができた。

【００５２】上述した手振り認識装置を利用し、対話的
に仮想空間を操作できるシステムを構築した。利用者
は、手振りによってコマンドを発し、仮想物体の配置・
削除・拡大縮小などの操作を行なうことができる。コマ
ンドは図８に示す７種類の手形状に対応させた。具体的
には、各コマンドは次の表２に示すように２種類の手形
状間の「形状遷移」を基本としており、形状shape ７の
提示後、他の形状shape１〜６を提示することでコマン
ドが実行あるいは開始される。

【００５３】

【表２】

【００５４】コンピュータグラフィックスで表示される
仮想空間には、利用者の手の３次元位置を表わす指示ポ
インタが描画されており、利用者は自分の手を動かすこ
とにより操作対象となる仮想物体の内部にポインタを移
動させることで、操作対象を直接指定することができ
る。「削除」（仮想物体を消去する）、「結合」（近接
する複数の仮想物体を結合する）、「分割」（仮想物体
の結合を解除する）の３コマンドについては、それぞれ
操作対象内にポインタを移動させた後、各コマンドに対
応する形状遷移を提示することで、当該コマンドが実行
される。

【００５５】「把持・移動」（仮想物体を掴んで移動さ
せる）、「拡大・縮小」（仮想物体の大きさを変更す
る）、「色・テクスチャ変更」（仮想物体表面の色・テ
クスチャを変化させる）の３コマンドについては、ポイ
ンタによる指示、対応する形状遷移に続いて、さらに手
を移動させることで、変更対象となる物体パラメータ
（位置、大きさ、色など）が移動量に応じて変化する。
パラメータの変更は、手形状を形状shape ７に再び遷移
させることで終了する。

【００５６】コマンド実行時の形状認識の例（約１５０
フレーム）を図１０に示す。ここでは、被験者が仮想物
体の把持・移動、拡大・縮小、色・テクスチャ変更、削
除の各コマンドを順に実行したときの様子を示してい
る。本システムでは形状の遷移時などに生じる誤認識を
防ぐため、過去３フレームのうち２フレーム以上で同一
形状と認識されないと新しい手形状に遷移しないようフ
ィルタ処理を組入れている。また削除コマンドについて
は、特に１０フレーム連続の形状入力がないと遷移しな
いように実装した。図１０で、各点はそのフレームで認
識された形状の番号を、点線はフィルタ処理後の形状番
号を示す。図内には、コマンドが実行されたフレームを
記入している。一連の動作が安定して行なわれている様
子がわかる。本システムにより、形状認識によるインタ
ーフェイスの実現が可能であることが示された。

【００５７】以上の次第で、多数カメラを用いた手振り
認識装置とそれを利用した仮想シーン生成システムにつ
いて述べた。本システムでは多視点情報による手姿勢推
定結果に基づき、手形状認識に適した画像を選択し、手
の輪郭線より得られるＰ型フーリエ記述子の低域成分に
より形状を判別した。検証実験により、Ｐ型フーリエ記
述子による形状認識の安定性、視点選択の有効性を示し
た。この手振り認識装置を組入れた仮想空間操作システ
ムでは、手形状の遷移により定義された６種類のコマン
ドにより、仮想物体の配置、連結、分割、削除、拡大・
縮小、色・テクスチャ指定を行ない、この手振り認識装
置を用いた対話型システムの有効性を確認することがで
きた。

【００５８】今回開示された実施の形態はすべての点で
例示であって制限的なものではないと考えられるべきで
ある。本発明の範囲は上記した説明ではなくて特許請求
の範囲によって示され、特許請求の範囲と均等の意味お
よび範囲内でのすべての変更が含まれることが意図され
る。

【００５９】

【発明の効果】以上のようにこの発明によれば、複数の
カメラのうち手のひらの垂直方向に最も近い方向から手
を撮影したカメラを選択するようにしているため、オク
ルージョンを回避することができ、しかも形状の画像内
の平行移動、拡大・縮小などに対して不変なＰ型フーリ
エ記述子で手の輪郭線を記述するようにしているため、
低計算コストで安定して手の形状を認識することができ
る。

【００６０】また、抽出された手の輪郭線を手のひらの
垂直方向に一致する方向から手を撮影したならば得られ
たであろう手の輪郭線に補正するようにしているため、
手のひらを真正面から撮影したカメラが存在しない場合
でも正確に手の形状を認識することができる。

【００６１】また、低い次数のフーリエ係数を用いて特
徴ベクトルを算出しているため、より安定して手の形状
を認識することができる。

【図面の簡単な説明】

【図１】この発明の実施の形態による手振り認識装置で
用いられる手の形状モデルを示す図である。

【図２】この発明の実施の形態による手振り認識装置の
全体構成を示すブロック図である。

【図３】図２中の手形状認識部の構成を示すブロック図
である。

【図４】（ａ）は図２中の領域分割部により得られる２
値画像を示す図であり、（ｂ）は図２中の主軸検出部に
より検出された主軸の方向を示す図であり、（ｃ）は図
２中の回転変換部により回転された画像を示す図であ
り、（ｄ）は図２中の距離変換部により距離変換された
画像を示す図である。

【図５】手のひらの法線ベクトル、カメラの光軸ベクト
ル、およびカメラの撮像面の関係を示す図である。

【図６】図３中の輪郭線抽出部により抽出された輪郭線
を表わした画像を示す図である。

【図７】図２に示された手振り認識装置の実験環境を示
す図である。

【図８】図７の実験に用いた抽出輪郭線を各形状ごとに
示す図である。

【図９】手の回転角に対する手形状検出の安定性の実験
結果を示す図である。

【図１０】コマンド実行時の形状認識の実験結果を示す
図である。

【符号の説明】

１，２，…，ｎ カメラ ５ ３次元重心点・方向検出部 ６ 回転角検出部 ７ カメラ選択部 ８ 手形状認識部 ８１ 輪郭線抽出部 ８２ 輪郭線補正部 ８３ Ｐ型フーリエ記述部 ８４ 特徴ベクトル算出部 ８６ 形状選択部

フロントページの続き (56)参考文献 特開 平10−63864（ＪＰ，Ａ) 相原恒博、大上健二、松岡靖，”人間 の横顔認識におけるＰ形フーリエ記述子 の有効成分の個数について”，電子情報 通信学会論文誌，1991年10月，Ｖｏｌ. Ｊ74−Ｄ−▲ＩＩ▼，Ｎｏ．10，Ｐ. 1486−1487 (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06T 1/00 G06T 7/00 - 7/60 G06T 9/20 G01B 11/24

Claims (5)

(57)【特許請求の範囲】
1. 【請求項１】 互いに異なる方向から手を撮影して手の
   画像を得る複数のカメラと、 前記複数のカメラからの手の画像に基づいて前記手のひ
   らの垂直方向を算出する垂直方向算出手段と、 前記複数のカメラのうち前記垂直方向算出手段により算
   出された垂直方向に最も近い方向から手を撮影したカメ
   ラを選択するカメラ選択手段と、 前記カメラ選択手段により選択されたカメラからの手の
   画像に基づいてその画像中の手の輪郭線を抽出する輪郭
   線抽出手段と、 前記輪郭線抽出手段により抽出された手の輪郭線をＰ型
   フーリエ記述子で記述するＰ型フーリエ記述手段と、 前記Ｐ型フーリエ記述手段からのＰ型フーリエ記述子に
   基づいて前記手の形状を特定する形状特定手段と、前記輪郭線抽出手段により抽出された手の輪郭線を、前
   記垂直方向算出手段により算出された垂直方向に一致す
   る方向から手を撮影したならば得られたであろう手の輪
   郭線に補正して前記Ｐ型フーリエ記述手段に与える輪郭
   線補正手段とを備える 、手振り認識装置。
2. 【請求項２】 前記形状特定手段は、 前記Ｐ型フーリエ記述子に含まれる複数のフーリエ係数
   のうち所定次数よりも低い次数のフーリエ係数をそれぞ
   れベクトル成分とする特徴ベクトルを算出する特徴ベク
   トル算出手段を含む、請求項１に記載の手振り認識装
   置。
3. 【請求項３】 前記形状特定手段はさらに、 手の複数の既知形状に対応して予め用意された複数の特
   徴ベクトルを基準として、前記複数の既知形状のうち前
   記特徴ベクトル算出手段により算出された特徴ベクトル
   が得られる確率が最も高い既知形状を前記手の形状とし
   て選択する形状選択手段を含む、請求項２に記載の手振
   り認識装置。
4. 【請求項４】 互いに異なる方向から手を撮影して手の
   画像を得る複数のカメラと、 前記複数のカメラからの手の画像に基づいて前記手のひ
   らの垂直方向を算出する垂直方向算出手段と、 前記複数のカメラのうち前記垂直方向算出手段により算
   出された垂直方向に最も近い方向から手を撮影したカメ
   ラを選択するカメラ選択手段と、 前記カメラ選択手段により選択されたカメラからの手の
   画像に基づいてその画像中の手の輪郭線を抽出する輪郭
   線抽出手段と、 前記輪郭線抽出手段により抽出された手の輪郭線をＰ型
   フーリエ記述子で記述するＰ型フーリエ記述手段と、 前記Ｐ型フーリエ記述手段からのＰ型フーリエ記述子に
   基づいて前記手の形状を特定する形状特定手段とを備
   え、 前記形状特定手段は、 前記Ｐ型フーリエ記述子に含まれる複数のフーリエ係数
   のうち所定次数よりも低い次数のフーリエ係数をそれぞ
   れベクトル成分とする特徴ベクトルを算出する特徴ベク
   トル算出手段を含む 、手振り認識装置。
5. 【請求項５】 前記形状特定手段はさらに、 手の複数の既知形状に対応して予め用意された複数の特
   徴ベクトルを基準として、前記複数の既知形状のうち前
   記特徴ベクトル算出手段により算出された特徴ベクトル
   が得られる確率が最も高い既知形状を前記手の形状とし
   て選択する形状選択手段を含む、請求項４に記載の手振
   り認識装置。