JPH09102046A

JPH09102046A - 手形状認識方法および手形状認識装置

Info

Publication number: JPH09102046A
Application number: JP8002851A
Authority: JP
Inventors: Miwako Tezuka; 幹和子手塚; Hideaki Matsuo; 英明松尾
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-08-01
Filing date: 1996-01-11
Publication date: 1997-04-15

Abstract

(57)【要約】【課題】データグローブなどのケーブル等をつけた手
袋を用いることなく人間の手形状の認識を行ない、認識
結果に基づいて人間と機械の間のインターフェースを行
なう。【解決手段】シルエット画像から手の特徴を用いて手
首方向を推定し、形状の中心点から周囲の画素を走査す
ることによって指領域と掌領域の抽出を行ない、指の付
け根位置から掌に対する位置推定し、指の重心と指先位
置と掌領域境界線を用いて指の屈折を推定し、指の大き
さと掌の大きさを用いて指の接触を推定し、指の付け根
位置と掌重心とを結ぶ線分の作る角度と指間の距離と指
の大きさと掌との位置関係を用いることで指の推定を行
ない、手首方向と指の種類と指の位置と掌重心を用いる
ことによって掌向きの推定を行ない、得られた結果とモ
デルとの対比を行なうことで手形状認識を行なう。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、手形状認識方法お
よび手形状認識装置に関し、特に、データグローブなど
のケーブル等をつけた手袋を用いることなく人間の手形
状の認識を行ない、認識結果に基づいて人間と機械の間
のインターフェースを行ない、指示装置や認識などに利
用可能な手形状認識方法およびその装置に関する。

【０００２】

【従来の技術】人間の手の形を理解する方法として、手
にデータグローブ等のセンサを付けて各状態を測定する
方法（例えば、電気学会計測研究会資料（１９９４）第
４９項から第５６項）がある。また、カメラを使う手法
では、手の輪郭情報や２値画像を抽出し、あらかじめ用
意されているモデルと相関をとることで状態を推定する
方法（例えば、日本経営工学会誌（１９９４）第１６２
項から第１６８項、テレビジョン学会誌（１９９４）第
８号第１０５３項から第１０５７項）や、２色以上に彩
色した手袋を使い、色情報によって指の位置などをとら
える方法（例えば、電子情報通信学会技術報告（１９９
４−１０）第３９項から第４４項）がある。

【０００３】

【発明が解決しようとする課題】人の手形状を認識しよ
うとする時、手に光ファイバを装着して光量の変化で指
形状の変化を見ようとする装置が市販されている。しか
し、手にコードをつけるため動きが制約されたり、装着
感に課題が残る。

【０００４】また、カメラを使う手法においても、手の
輪郭情報から外形の曲率を求めてモデルとの対比を行な
う方法では対比開始位置のずれの問題などがあり、手の
２値画像から求めた細線化画像やシルエット画像から指
の数・長さ・太さ・位置を求めてモデルとの対比を行な
う方法では、細線化における無効な線の処理問題や掌領
域抽出を行なう為の縮退／拡大処理における特徴量の減
少問題などがある。

【０００５】２色以上に彩色された手袋を装着して色の
違いによって形状の認識を行なう方法では、手袋がない
時には手形状認識ができない上、装着時の違和感が問題
となっている。

【０００６】本発明はかかる点に臨み、シルエット画像
から、手の特徴を利用した手首方向の推定を行ない、手
の任意位置から任意方向に探索を行なうことによって手
の形や長袖の服を着用時における手首に続く上腕部の露
出の割合に関係なく指領域・掌領域の抽出を行い、指の
数・手首方向・指の大きさ・指の位置・掌の位置・指と
指とがなす角度を用いて指の推定を行ない、手の左右情
報と指の位置と手首の位置と掌の位置の関係を用いるこ
とで掌方向の推定を行ない、モデルとの対比を行なうこ
とにより、手形状の認識を行なうことを目的とする。

【０００７】

【課題を解決するための手段】第１の発明は、画像を入
力するための画像入力手段と、画像を記憶するための画
像記憶手段と、手首方向の推定を行なう手形状認識方法
を用いた手首方向推定手段と、指領域・掌領域の抽出を
行なう手形状認識方法を用いた指領域・掌領域抽出手段
と、指の屈折の推定を行なう手形状認識方法を用いた指
屈折推定手段と、指の接触の推定を行なう手形状認識方
法を用いた指接触推定手段と、指の属線と位置を推定す
る指掌対位置推定手段と、指の推定を行なう手形状認識
方法を用いた指推定手段と、掌の向きの推定を行なう手
形状認識方法を用いた掌方向推定手段と、手形状分類を
行なう手形状認識方法を用いた手形状分類手段と、手形
状の分類を行なうための知識を記憶しておく知識記憶手
段と、手形状分類手段から得られた結果を出力する出力
手段を備えた手形状認識装置。

【０００８】上記手首方向推定手段は、形状の画像上に
おける長さを求め、最も長いものを基準軸とし、形状の
所定位置、その所定位置から基準軸の任意方向へ任意距
離離れた任意数の点をそれぞれ通る基準軸に垂直な線を
任意数設定し、その線上の有効画素を比較することによ
り手首方向の推定を行なう手形状認識方法。

【０００９】上記指領域・掌領域抽出手段は、形状の所
定位置から任意方向へ任意距離の任意数の走査起点をと
り、それぞれ隣合う走査起点までの有効画素数を求め、
指領域と掌領域との境界条件を満たすまでこの一連の処
理を繰り返すことによって指領域・掌領域の抽出を行な
う手形状認識方法。

【００１０】上記指の掌対位置推定手段は、指の付け根
中心位置と掌領域との位置関係を求めることによって指
の掌対位置推定を行なう手形状認識方法。

【００１１】上記指屈折推定手段は、指の先の任意位置
と指の重心とを結ぶ指傾線を設定し、その指傾線の傾き
と掌領域とその指との境界線との傾きとを比較すること
によって指の屈折の推定を行なう手形状認識方法。

【００１２】上記指接触推定手段は、掌の領域の大きさ
と指の領域の大きさを比較することによって指の接触の
推定を行なう手形状認識方法。

【００１３】上記指推定手段は、指の付け根中心位置と
掌重心とを結ぶ線分を設定し、隣合う線分がつくる角度
を求め、手首方向と指の付け根中心位置と掌領域と角度
と指の大きさを用いて指の推定を行なう手形状認識方
法。

【００１４】上記掌方向推定手段は、手の左右情報と指
の種類と指の任意位置とと掌重心と手首方向の関係を用
いることによって掌の向きの推定を行なう手形状認識方
法。

【００１５】また、上記指推定手段は、隣合う指の付け
根中心位置間の距離と指の大きさを用いて指の推定を行
なう手形状認識方法。

【００１６】また、上記指推定手段において、任意の指
１本の位置情報を彩色されたマーカーをつけて求め、指
の推定を行なう手形状認識方法。

【００１７】また、上記掌方向推定手段は、基準線に垂
直な判定基準線を指先方向に任意の位置に設定し、判定
基準線に平行な判定線を判定基準線から任意距離の位置
に設定し、判定基準線上の有効画素と判定線上の有効画
素を比較し、掌の向きの推定を行なう手形状認識方法。

【００１８】上記構成により、シルエット画像から手首
方向の推定を行ない、手首方向を用いて指領域・掌領域
の抽出を行ない、求めた指領域と掌領域の関係から指の
屈折推定を行ない、指領域と掌領域の関係から指の接触
推定を行ない、指領域と掌領域の関係から指の掌対位置
推定を行ない、指領域と掌領域の関係と指の掌対位置か
ら指の推定を行ない、指領域と掌領域と手首方向の関係
を用いることで掌の向きの推定を行ない、得られた結果
を手形状の分類を行なうための知識をと比較することに
よって、手形状の認識を行なうことが出来る。

【００１９】手首方向の推定を行なう手形状認識方法で
は、形状の画像上における長さを求め、最も長いものを
基準軸とし、形状の所定位置、その所定位置から基準軸
の任意方向へ任意距離離れた任意数の点をそれぞれ通る
基準軸に垂直な線を任意数設定し、その線上の有効画素
を比較することにより、手首方向の推定を行なうことが
出来る。

【００２０】指領域・掌領域の抽出を行なう手形状認識
方法では、形状の所定位置から任意方向へ任意距離の走
査起点を任意数とり、それぞれ隣合う走査起点までの有
効画素数を求め、指領域と掌領域との境界条件を満たす
までこの一連の処理を繰り返すことにより、指領域と掌
領域との境界を求めることが出来る為、指領域・掌領域
の抽出を行なうことが出来る。

【００２１】指の掌対位置の推定を行なう手形状認識方
法では、指の付け根中心位置と掌領域との位置関係を求
めることによって指の掌対位置推定を行なうことが出来
る。

【００２２】指の屈折の推定を行なう手形状認識方法で
は、指の先の任意位置と指の重心とを結ぶ指傾線を設定
し、その指傾線の傾きと掌領域とその指との境界線との
傾きとを比較することによって指の屈折の推定を行なう
ことが出来る。

【００２３】指の接触の推定を行なう手形状認識方法で
は、掌の領域の大きさと指の領域の大きさを比較するこ
とによって指の接触の推定を行なうことが出来る。

【００２４】指の推定を行なう手形状認識方法では、指
の付け根中心位置と掌重心とを結ぶ線分を設定し、隣合
う線分がつくる角度を求め、手首方向と指の付け根中心
位置と掌領域と角度と指の大きさとの関係を用いること
により、指の推定を行なうことが出来る。

【００２５】掌の向きの推定を行なう手形状認識方法で
は、手の左右情報と指の種類と指の任意位置と掌重心と
手首方向の関係を用いることにより、掌の向きの推定を
行なうことが出来る。

【００２６】また、指の推定を行なう手形状認識方法に
おいて、隣合う指の付け根中心位置間の距離と指の大き
さを用いることにより、計算コストがかからずに指の推
定を行なうことが出来る。

【００２７】また、指の推定を行なう手形状認識方法に
おいて、任意の指１本の位置情報を彩色されたマーカー
をつけて求めて指の推定を行なうことにより、信頼性の
高い指の推定を行なうことが出来る。

【００２８】また、掌の向きの推定を行なう手形状認識
方法において、基準線に垂直な判定基準線を指先方向に
任意の位置に設定し、判定基準線に平行な判定線を判定
基準線から任意距離の位置に設定し、判定基準線上の有
効画素と判定線上の有効画素を比較することによって、
指の認められない形状の掌の向きの推定を行なうことが
出来る。

【００２９】

【発明の実施の形態】以下、本発明の実施の形態につい
て、図面を参照しながら説明する。

【００３０】（実施の形態１）図１は本発明にかかる第
１の実施の形態における構成図である。１は本発明の第
１の手形状認識装置である。２は画像入力部である。３
は画像記憶部である。４は手首方向推定部である。５は
指領域・掌領域抽出部である。６は指の掌対位置推定部
である。７は指屈折推定部である。８は指接触推定部で
ある。９は指推定部である。１０は掌方向推定部であ
る。１１は手形状分類部である。１２は知識記憶部であ
る。１３は出力部である。

【００３１】手首方向推定部４、指領域・掌領域抽出部
５、指の掌対位置推定部６、指屈折推定部７、指接触推
定部８、指推定部９、掌方向推定部１０、手形状分類部
１１は１台のコンピュータで実現可能である。画像記憶
部３、知識記憶部１２は、コンピュータに接続された大
容量磁気記憶装置もしくは光ディスク装置、もしくは、
コンピュータ内部のメモリによって実現される。画像入
力部２は、コンピュータに接続される既存の画像処理ボ
ード等によって実現される。出力部１３は、コンピュー
タに接続されたディスプレイやスピーカ等によって実現
される。

【００３２】画像入力部２は、取り込んだ画像を画像記
憶部３に記憶し、取り込んだ手の左右情報を掌方向推定
部１０と手形状分類部１１に送る。手首方向推定部４は
画像記憶部３に記録された画像から手首方向を推定し、
手首方向を指領域・掌領域抽出部５に送る。指領域・掌
領域抽出部５は、画像記憶部３に記録された画像と手首
方向を元に指領域と掌領域の抽出を行ない、手首方向と
指領域画像と掌領域画像と手の左右情報を指の掌対位置
推定部６と指屈折推定部７と指接触推定部８に送る。指
の掌対位置推定部６は、手首方向と指領域と掌領域と指
の掌対位置を指推定部９に送る。指屈折推定部７は、手
首方向と指領域と掌領域をもとに指の屈折推定を行な
い、手首方向と指の屈折情報を手形状分類部１１に送
る。指接触推定部８は、手首方向と指領域と掌領域をも
とに指の接触推定を行ない、手首方向と指領域と掌領域
と指の数と指の接触情報を指推定部９に送る。指推定部
９は、手首方向と指領域と掌領域と指の数と指の接触情
報と指の掌対位置をもとに指の推定を行ない、手首方向
と指領域と掌領域と指の数と指の接触情報と指の種類を
掌方向推定部１０に送る。掌方向推定部１０は、手首方
向と指領域と掌領域と指の種類と手の左右情報をもとに
掌方向推定を行ない、指の数と指の接触情報と指の種類
と掌方向を手形状分類部１１に送る。手形状分類部１１
は、知識記憶部１２と受けとったデータを比較し手形状
の分類を行ない、認識された手形状を出力信号に変換し
て出力部１３に出力する。

【００３３】なお、処理の道筋を１本にするために、指
領域・掌領域抽出部５を画像記憶部３にアクセスさせず
に、手首方向推定部４から指領域・掌領域抽出部５へ画
像と手の左右情報と手首方向を渡してもよい。また、全
てのデータをメモリに記憶させて、手首方向推定部４、
指領域・掌領域抽出部５、指の掌対位置推定部６、指の
屈折推定部７、指の接触推定部８、指推定部９、掌方向
推定部１０、手形状分類部１１のそれぞれアクセスさせ
ることで、データの管理を行なってもよい。

【００３４】（実施の形態２）図２は本発明にかかる第
２の実施の形態における構成図である。１４は本発明の
第２の手形状認識装置である。１５は画像入力部であ
る。１６は画像記憶部である。１７は手首方向推定部で
ある。１８は指領域・掌領域抽出部である。１９は指推
定部である。２０は掌方向推定部である。２１は手形状
分類部である。２２は知識記憶部である。２３は出力部
である。

【００３５】手首方向推定部１７、指領域・掌領域抽出
部１８、指推定部１９、掌方向推定部２０、手形状分類
部２１は１台のコンピュータで実現可能である。画像記
憶部１６、知識記憶部２２は、コンピュータに接続され
た大容量磁気記憶装置もしくは光ディスク装置、もしく
は、コンピュータ内部のメモリによって実現される。画
像入力部１５は、コンピュータに接続される既存の画像
処理ボード等によって実現される。出力部２３は、コン
ピュータに接続されたディスプレイやスピーカ等によっ
て実現される。

【００３６】画像入力部１５は、取り込んだ画像を画像
記憶部１６に記憶し、取り込んだ手の左右情報を手首方
向推定部１７に送る。手首方向推定部１７は画像記憶部
１６に記録された画像から手首方向を推定し、手首方向
と手の左右情報を指領域・掌領域抽出部１８に送る。指
領域・掌領域抽出部１８は、画像記憶部１６に記録され
た画像と手首方向を元に指領域と掌領域の抽出を行な
い、手首方向と指領域画像と掌領域画像と手の左右情報
を指推定部１９に送る。指推定部１９は、手首方向と指
領域と掌領域をもとに指の推定を行ない、手首方向と掌
重心と指の数と指の種類と手の左右情報を掌方向推定部
２０に送る。掌方向推定部２０は、手首の方向と掌重心
と指の種類と手の左右情報をもとに掌方向推定を行な
い、手首の方向と指の数と指の種類と手の左右情報と掌
方向を手形状分類部２１に送る。手形状分類部２１は、
知識記憶部２２と受けとったデータを比較し手形状の分
類を行ない、認識された手形状を出力信号に変換して出
力部２３に出力する。

【００３７】なお、処理の道筋を１本にするために、指
領域・掌領域抽出部１８を画像記憶部１６にアクセスさ
せずに、手首方向推定部１７から指領域・掌領域抽出部
１８へ画像と手の左右情報と手首方向を渡してもよい。
また、全てのデータをメモリに記憶させて、手首方向推
定部１７、指領域・掌領域抽出部１８、指推定部１９、
掌方向推定部２０、手形状分類部２１のそれぞれアクセ
スさせることで、データの管理を行なってもよい。

【００３８】（実施の形態３）図３は本発明にかかる第
３の実施の形態における構成図である。２４は本発明の
第３の手形状認識装置である。２５は画像入力部であ
る。２６は画像記憶部である。２７は手首方向推定部で
ある。２８は指領域・掌領域抽出部である。２９は指推
定部である。３０は手形状分類部である。３１は知識記
憶部である。３２は出力部である。

【００３９】手首方向推定部２７、指領域・掌領域抽出
部２８、指推定部２９、手形状分類部３０は１台のコン
ピュータで実現可能である。画像記憶部２６、知識記憶
部３１は、コンピュータに接続された大容量磁気記憶装
置もしくは光ディスク装置、もしくは、コンピュータ内
部のメモリによって実現される。画像入力部２５は、コ
ンピュータに接続される既存の画像処理ボード等によっ
て実現される。出力部３２は、コンピュータに接続され
たディスプレイやスピーカ等によって実現される。

【００４０】画像入力部２５は、取り込んだ画像を画像
記憶部２６に記憶し、取り込んだ手の左右情報を手首方
向推定部２７に送る。手首方向推定部２７は画像記憶部
２６に記録された画像から手首方向を推定し、手首方向
と手の左右情報を指領域・掌領域抽出部２８に送る。指
領域・掌領域抽出部２８は、画像記憶部２６に記録され
た画像と手首方向を元に指領域と掌領域の抽出を行な
い、手首方向と指領域画像と掌領域画像と手の左右情報
を指推定部２９に送る。指推定部２９は、手首方向と指
領域と掌領域をもとに指の推定を行ない、手首方向と指
の数と指の種類と手の左右情報を手形状分類部３０に送
る。手形状分類部３０は、知識記憶部３１と受けとった
データを比較し手形状の分類を行ない、認識された手形
状を出力信号に変換して出力部３２に出力する。

【００４１】なお、処理の道筋を１本にするために、指
領域・掌領域抽出部２８を画像記憶部２６にアクセスさ
せずに、手首方向推定部２７から指領域・掌領域抽出部
２８へ画像と手の左右情報と手首方向を渡してもよい。
また、全てのデータをメモリに記憶させて、手首方向推
定部２７、指領域・掌領域抽出部２８、指推定部２９、
手形状分類部３０のそれぞれアクセスさせることで、デ
ータの管理を行なってもよい。

【００４２】（実施の形態４）図４は本発明にかかる第
４の実施の形態における手首方向推定処理のフローチャ
ートである。

【００４３】（ステップ０）図４ステップ０において、
図５に示すように画像上における形状の長さを求め、最
も長いものを基準軸Ｉとする。

【００４４】（ステップ１）図４ステップ１において、
図６に示すような形状の重心ＫＧ（ｋｘ，ｋｙ）を通り
基準軸Ｉに垂直な重心線ＬＧと、重心線ＬＧと平行で距
離ｍだけ離れた判断線Ｌ１、重心線ＬＧと平行で距離ｎ
だけ離れた判断線Ｌ２を設定し、そのそれぞれの線上の
有効画素数ＳＧ、Ｓ１、Ｓ２を求める。距離ｍ、距離ｎ
は（数１）、（数２）を用いて求める。

【００４５】（ステップ２）図４ステップ２において、
線ＬＧ上の有効画素数ＳＧと判断線Ｌ１上の有効画素数
Ｓ１、有効画素数ＳＧと判断線Ｌ２上の有効画素数Ｓ２
を比較し、（数４）を用いて差Ｔ１、差Ｔ２を求め、そ
の差が閾値よりも大きい方の線のある方向を手首方向と
決定し、手首方向が決定されない場合はステップ３を行
なう。

【００４６】（ステップ３）図４ステップ３では、基準
軸Ｉの変更回数の閾値を１とし、基準軸Ｉの変更回数が
閾値より上の時、ステップ９を行ない、基準軸Ｉの変更
回数が閾値以下の時ステップ４を行なう。なお、本実施
の形態では変化回数の閾値を１としているが、これはス
テップ２において手首方向が決定されない場合、少なく
とも１度は基準軸の変更を行なう為であり、正の整数で
あればよい。

【００４７】（ステップ４）図４ステップ４では、基準
軸Ｉを現在の軸と垂直な方向に設定し、ステップ５を行
なう。

【００４８】（ステップ５）図４ステップ５において、
基準軸Ｉが手首推定処理を開始した最初の方向と同じ場
合、ステップ６を行ない、異なる場合、ステップ７を行
なう。

【００４９】（ステップ６）図４ステップ６において、
ステップ１での距離ｍ、距離ｎを（数１）、（数３）を
用いて求め、ステップ１、ステップ２、ステップ３を繰
り返し行なう。

【００５０】（ステップ７）図４ステップ７において、
差Ｔ１と差Ｔ２が共に閾値より大きい場合、ステップ
１、ステップ２、ステップ３を繰り返し行ない、差Ｔ１
と差Ｔ２のどちらかが閾値以下の場合、ステップ８を行
なう。

【００５１】（ステップ８）図４ステップ８において、
有効画素数Ｓ１と有効画素数Ｓ２の差が閾値よりも小さ
い場合、ステップ１、ステップ２、ステップ３を繰り返
し行ない、閾値以上の場合、ステップ９を行なう。

【００５２】（ステップ９）図４ステップ９において、
基準軸Ｉが手首推定処理を開始した最初の方向と同じで
尚且つ有効画素数Ｓ１もしくは有効画素数Ｓ２が所定の
数値よりも小さい場合、有効画素数の少ない方の線のあ
る方向を手首方向とし、手首方向が決定されなければ、
ステップ１０を行なう。

【００５３】（ステップ１０）図４ステップ１０では、
差Ｔ１、差Ｔ２のうち少ない方の線のある方向を手首方
向とすることで、手首方向の推定を行なう。

【００５４】

【数１】

【００５５】

【数２】

【００５６】

【数３】

【００５７】

【数４】

【００５８】なお、（数２）、（数３）におけるａ’、
ｂの値は（数５）を満たしていれば、任意数でもよい。

【００５９】

【数５】

【００６０】（実施の形態５）図７は本発明にかかる第
５の実施の形態における指領域・掌領域抽出処理のフロ
ーチャートである。

【００６１】（ステップ１１）図７ステップ０におい
て、図８に示すように画像上における形状の重心ＫＧ
（ｋｘ，ｋｙ）とする。

【００６２】（ステップ１２）図７ステップ１におい
て、（数６）によって走査起点Ｐ１（ｘ１，ｙ１）、Ｐ
２（ｘ２，ｙ２）、Ｐ３（ｘ３，ｙ３）、Ｐ４（ｘ４，
ｙ４）を定め、それぞれ隣合う点との間に走査線ＬＬ
１、ＬＬ２、ＬＬ３、ＬＬ４を設定し、線上の有効画素
数ＳＳ１、ＳＳ２、ＳＳ３、ＳＳ４を求め、有効画素数
ＳＳｎ（ｎ＝１．．４）が閾値以下になるまで処理を繰
り返し、閾値以下になればステップ２を行なう。

【００６３】（ステップ１３）図７ステップ２におい
て、走査線ＬＬｎ（ｎ＝１．．４）が手首方向に位置す
る場合は、ステップ５を行ない、手首方向でない場合
は、ステップ３を行なう。

【００６４】（ステップ１４）図７ステップ３におい
て、有効画素数ＳＳｎ（ｎ＝１．．４）が閾値以下の場
合、図９に示すように形状の最小最大有効画素位置と走
査線ＬＬｎ（ｎ＝１．．４）との距離Ｍを求める。

【００６５】（ステップ１５）図７のステップ４におい
て、距離Ｍが閾値以上の場合、この時の走査線ＬＬｎ
（ｎ＝１．．４）の位置を指領域と掌領域の境界線と
し、ステップ６を行ない、閾値より下の場合、ステップ
５を行なう。

【００６６】（ステップ１６）図７ステップ５におい
て、（数６）によって走査起点Ｐ１（ｘ１，ｙ１）、Ｐ
２（ｘ２，ｙ２）、Ｐ３（ｘ３，ｙ３）、Ｐ４（ｘ４，
ｙ４）を定め、それぞれ隣合う点との間に走査線ＬＬｎ
（ｎ＝１．．４）を設定し、線上の有効画素数ＳＳｎ
（ｎ＝１．．４）を求め、有効画素数ＳＳｎ（ｎ＝
１．．４）が０以下になるまで処理を繰り返し、０以下
になればこの時の線ＬＬｎ（ｎ＝１．．４）の位置を指
領域と掌領域の境界線とし、ステップ６を行なう。な
お、本実施の形態では有効画素数の閾値を０としたが、
指とみなされる大きさより充分小さいければ任意数でよ
い。

【００６７】（ステップ１７）図７ステップ５におい
て、走査線ＬＬ１、ＬＬ２、ＬＬ３、ＬＬ４の全てが指
領域と掌領域との境界線となるまでこの一連の処理を行
なうことよって掌・手首領域の抽出ができる。掌領域は
図１０に示すように最も短い走査線ＬＬｎ（ｎ＝１．．
４）でかこまれた領域とし、手形状領域から掌・手首領
域を除いた領域を指領域とする。

【００６８】なお、本実施の形態では中心点に求めやす
い形状の重心を用いているが、形状の中心付近であれば
任意位置でもよい。なお、本実施の形態では計算コスト
減のため走査起点を４点としたが、任意数でよい。

【００６９】

【数６】

【００７０】（実施の形態６）図１１は本発明にかかる
第６の実施の形態における掌対位置を示す図である。指
の付け根中心位置を求め、その付け根中心位置と掌領域
を構成している辺との距離を求め、最も近い辺を指の属
線とする。更に、その属線上の位置を図１１に示すよう
に、辺を１：２：１に３分割し、部分辺を設定する。部
分辺と指の付け根中心位置との距離を求め最も近い部分
辺を求める。指が真中の部分辺近い場合は、更に真中の
部分辺を１：２：１に３分割し、指の属線上での細かな
位置を求める。なお、本実施の形態では、辺の３分割を
１：２：１としているが、真中の辺が両端の辺より長め
の設定であれば、任意でよい。

【００７１】（実施の形態７）図１２は本発明にかかる
第７の実施の形態における指屈折推定図である。指の重
心点と指先の任意点を通る傾線ＬＫを設定し、この傾線
と指の属線を線分とする線とがつくる狭角ＲＫを求め
る。ＲＫ≦４５°であれば指が屈折しているとし、４５
°＜ＲＫであれば屈折していないとする。

【００７２】（実施の形態８）本発明にかかる第８の実
施の形態における指接触推定においては、指の幅を求め
掌領域の辺のうち、指の属線となっている辺の長さと指
の幅を比較し、属線に占める指の幅の割合を求める。そ
の割合が４割以上であれば２本以上の指が接触している
とする。更に、指の長さを求め、指の長さが指の幅より
短い場合は、指が４本以上接触しているとする。また、
割合が６．６割以上で指の接触が４本以上でない場合
は、指の接触は３本であるとする。指が４本以上の接触
かつ割合が５．５割以下の場合、指の接触は５本である
とする。なお、本実施の形態では、４割、５．５割、
６．６割を指の接触判定の閾値としたが、人間の掌の大
きさと指の太さの関係から妥当と思われる値ならば任意
でよい。

【００７３】（実施の形態９）図１３は本発明にかかる
第９の実施の形態における指推定処理のフローチャート
である。

【００７４】図１４（ａ）に示すように画像上における
の掌の重心ＨＧ（ｈｘ，ｈｙ）と指の付け根中心位置Ｐ
Ｐｎ（ｎ＝１．．５）とを結ぶ線分を設定し、隣合う線
分がつくる角度Ｒｍ（ｍ＝１．．４）を求める。また、
隣合う指との距離Ｍｍ（ｍ＝１．．４）を求める。

【００７５】指数が５の場合、図１４（ｂ）に示すよう
に、距離Ｍｍが一番大きく、手首よりにある指を親指と
し、手首方向と反対回りにそれぞれ、人さし指、中指、
薬指、子指とする。

【００７６】また、指数が１〜４の場合では、図１４
（ｃ）に示すように、手首のある掌領域境界線と垂直に
交わる掌領域境界線を属線とする指が存在する時、指数
が１の場合ではその指を親指とし、その他の場合では距
離Ｍｍ（ｍ＝１．．４）が所定の数値以上の時に親指と
し、所定の数値以下の時には子指とする。

【００７７】また、手首のある掌領域境界線と垂直に交
わる２つの掌領域境界線のそれぞれを属線とする指が存
在する時は、指の幅が広く長さが短い方を親指とする。
更に、手首のある掌領域境界線と垂直に交わる同じ掌領
域境界線を属線とする指が２本の場合は、手首に近い方
の指を親指とし、残りの指を人さし指とする。

【００７８】更に、手首のある掌領域境界線と対面の掌
領域境界線を属線とする指については、角度Ｒｍ（ｍ＝
１．．４）がＲｍ≦角度閾値１であれば２本の指は骨格
的に隣合うものであり、角度閾値１＜Ｒｍ≦角度閾値２
であれば２本の指は骨格的に又隣の関係であり、角度閾
値２＜Ｒｍであれば２本の指は人さし指と子指であり、
この場合、指の長さが短い方が子指である。

【００７９】更に細かい指の推定は、指の属線上の位置
が端にあった場合は、人さし指もしくは子指であり、指
の長さが所定の数値以下であるものが子指とし、その他
の指も指の骨格的関係と指の属線上の位置と指領域の長
さと幅を用いて行なう。

【００８０】なお、指数が１の場合は、図１４（ｄ）に
示すように、角度Ｒｍは掌領域境界線Ｌｗ２の中心点と
掌の重心Ｇとを結んだ線分との角度とする。

【００８１】なお、本実施の形態では角度閾値１を４５
度、角度閾値２を７０度として用いたが、指の区別のつ
く角度であれば任意値でよい。

【００８２】（実施の形態１０）図１５は本発明にかか
る第１０の実施の形態における指間距離図である。画像
上におけるの指の付け根中心位置ＰＰｎ（ｎ＝１．．
５）と隣合う指の付け根中心位置ＰＰＰｎ（ｎ＝１．．
５）とを結ぶ線分を設定し、隣合う指との距離Ｍｍ（ｍ
＝１．．４）を求める。

【００８３】指数が５の場合、距離Ｍｍが一番大きく、
手首よりにある指を親指とし、手首方向と反対回りにそ
れぞれ、人さし指、中指、薬指、子指とする。

【００８４】また、指数が１〜４の場合では、に示すよ
うに、指の属線が手首のある掌領域境界線と垂直に交わ
る掌領域境界線の場合、指数が１ではその指を親指と
し、その他の場合は距離Ｍｍ（ｍ＝１．．４）が所定の
数値以上の時に親指とし、所定の数値以下の時には子指
とする。

【００８５】また、手首のある掌領域境界線と垂直に交
わる２つの掌領域境界線をそれぞれ属線とする指が１本
づつある場合は、指領域の幅が広く長さが短い方を親指
とする。更に、手首のある掌領域境界線と垂直に交わる
同じ掌領域境界線を属線とする指が２本の場合は、手首
に近い方の指を親指とし、残りの指を人さし指とする。

【００８６】手首のある掌領域境界線の対面にある掌領
域境界線を属線とする指については、距離Ｍｍ（ｍ＝
１．．４）がＭｍ≦距離閾値１であれば２本の指は骨格
的に隣あうものであり、距離閾値１＜Ｍｍ≦距離閾値２
であれば２本の指は骨格的に又隣の関係であり、距離閾
値２＜Ｍｍであれば２本の指は人さし指と子指であり、
この場合、指の長さが短い方が子指である。

【００８７】更に細かい指の推定は、指の属線上の位置
が端にあった場合は人さし指もしくは子指であり、指領
域の長さが所定の数値以下であるものが子指とし、その
他の指も指の骨格的関係と指の属線・位置と指の長さと
幅を用いて行なう。

【００８８】なお、本実施の形態では距離閾値１を掌領
域幅の３分の１、距離閾値２を掌領域幅の４分の３とし
て用いたが、指の区別のつく大きさであれば任意値でよ
い。

【００８９】（実施の形態１１）図１６は本発明にかか
る第１１の実施の形態における指サック装着図である。
中指に指サックをつけて撮影された画像から画像上の中
指の付け根中心位置情報ＰＭ（ｍｘ，ｍｙ）を取り出
し、そのＰＭ（ｍｘ，ｍｙ）と形状のシルエット画像を
用いた処理に用いることによって、指数が１の時の指の
推定を行なう時に中指と薬指の推定を行なうことが出来
る。

【００９０】なお、本実施の形態では指サックを用いて
いたが、指の区別のつくものであれば任意のものでよ
い。また、本実施の形態では、区別のつき難い薬指と中
指を推定する為に中指に指サックを装着しているが、指
の推定を容易にする指であれば任意の指でよい。

【００９１】（実施の形態１２）図１７は本発明にかか
る第１２の実施の形態における掌方向推定処理のフロー
チャートである。

【００９２】図１８に示すように手首方向掌領域境界線
ＬＷの中心点ＰＷ（ｗｘ，ｗｙ）と掌重心ＨＧ（ｈｘ，
ｈｙ）を通る手中心線ＬＧを（数７）によって設定し、
親指もしくは人さし指もしくは子指の任意位置Ｐ（ｐ
ｘ，ｐｙ）とその手中心線ＨＬＧとの関係と手の左右情
報Ｗと中心点ＰＷと掌重心ＨＧとの関係を表した（表
１）より求める。ｈｘ＝ｗｘの場合は、（表２）より求
める。なお、本実施の形態での掌の向きは裏と表であ
り、任意位置Ｐが子指の場合は、（表１）、（表２）よ
り得られた結果が、表の時は裏に、裏の時は表に反転さ
せ結果を得ることで掌の向きの推定を行なう。

【００９３】

【数７】

【００９４】

【表１】

【００９５】

【表２】

【００９６】（実施の形態１３）図１９は本発明にかか
る第１３の実施の形態における子指方向推定図である。
基準軸Ｉに垂直な子指判定基準線ＬＳ１を指先方向の任
意位置に設定し、子指判定基準線ＬＳ１から任意距離離
れた位置に子指判定基準線ＬＳ１と平行な子指判定線Ｌ
Ｓ２を設定する。子指判定基準線ＬＳ１上の有効画素か
ら子指判定線ＬＳ２上の有効画素を引き残った有効画素
群のうち大きい有効画素群のある方向を子指方向し、そ
の有効画素群の任意の点を用いることによって掌方向推
定を行なうことが出来る。

【００９７】なお、子指判断基準線ＬＳ１と子指判断線
ＬＳ２は、どちらかが子指を含む線でありどちらかが子
指を含まない線であればよい。（実施の形態１４）図２
０は本発明にかかる第１３の実施の形態における親指方
向推定図である。基準軸Ｉに平行な親指判定基準線ＬＬ
Ｓ１を手形状領域端の任意位置に設定し、親指判定基準
線ＬＬＳ１と平行な親指判定線ＬＬＳ２を親指判断基準
線ＬＬＳ１と反対の手形状領域端の任意位置に設定す
る。親指判定基準線ＬＬＳ１上の有効画素群と親指判定
線ＬＬＳ２上の有効画素群のうち小さい有効画素群のあ
る方向を親指方向し、その有効画素群の任意の点を用い
ることによって掌方向推定を行なうことが出来る。

【００９８】

【発明の効果】以上説明したように、本発明によれば、
データグローブなどのセンサや彩色された手袋を用いず
に、手形状の認識が可能である。

【００９９】また、手の形や長袖の服を着用時における
手首に続く上腕部の露出の割合に関係なく手首方向の推
定を行なうことが出来る。

【０１００】また、指認識の為の細線化における無効な
線の処理問題や掌領域の抽出の為の縮退／拡大処理にお
ける特徴量の減少問題に関係なく指領域・掌領域の抽出
を行なうことが出来る。

【０１０１】また、信頼性の高い指の推定と掌方向の推
定を簡単に行なうことが出来る。

【図面の簡単な説明】

【図１】本発明の第１の実施の形態における手形状認識
装置の構成図

【図２】本発明の第２の実施の形態における手形状認識
装置の構成図

【図３】本発明の第３の実施の形態における手形状認識
装置の構成図

【図４】本発明の第４の実施の形態における手首方向推
定処理のフローチャート

【図５】本発明の第４の実施の形態における形状と基準
軸の関係を示す図

【図６】本発明の第４の実施の形態における重心線と判
断線の関係を示す図

【図７】本発明の第５の実施の形態における指領域・掌
領域抽出処理のフローチャート

【図８】本発明の第５の実施の形態における中心点と走
査起点と走査線を示す図

【図９】本発明の第５の実施の形態における中心点と距
離を示す図

【図１０】本発明の第５の実施の形態における掌領域を
示す図

【図１１】本発明の第６の実施の形態における属線上の
位置を示す図

【図１２】本発明の第７の実施の形態における指の屈折
を示す図

【図１３】本発明の第９の実施の形態における指推定処
理のフローチャート

【図１４】（ａ）は本発明の第９の実施の形態における
掌重心と指と角度を示す図（ｂ）は本発明の第９の実施の形態における掌重心と指
と角度と距離を示す図（ｃ）は本発明の第９の実施の形態における掌領域と指
の位置関係を示す図（ｄ）は本発明の第９の実施の形態における掌重心と指
と角度を示す図

【図１５】本発明の第１０の実施の形態における指間の
距離を示す図

【図１６】本発明の第１１の実施の形態における指サッ
ク装着図

【図１７】本発明の第１２の実施の形態における掌方向
推定処理のフローチャート

【図１８】本発明の第１２の実施の形態における掌重心
と手首と指の関係を示す図

【図１９】本発明の第１３の実施の形態における子指方
向を推定する図

【図２０】本発明の第１４の実施の形態における親指方
向を推定する図

【符号の説明】

１手形状認識装置２画像入力部３画像記憶部４手首方向推定部５指領域・掌領域抽出部６指の掌対位置推定部７指屈折推定部８指接触推定部９指推定部１０掌方向推定部１１手形状分類部１２知識記憶部１３出力部１４手形状認識装置１５画像入力部１６画像記憶部１７手首方向推定部１８指領域・掌領域抽出部１９指推定部２０掌方向推定部２１手形状分類部２２知識記憶部２３出力部２４手形状認識装置２５画像入力部２６画像記憶部２７手首方向推定部２８指領域・掌領域抽出部２９指推定部３０手形状分類部３１知識記憶部３２出力部

Claims

【特許請求の範囲】

【請求項１】手形状の認識を行う画像を入力する画像入
力手段と、手形状の認識を行う画像を記憶する画像記憶
手段と、手形状の分類を行なうための知識を記憶した知
識記憶手段と、手形状の認識結果を出力する出力手段と
を備えた手形状認識装置における手形状認識方法であっ
て、前記画像入力手段に入力された画像を前記画像記憶手段
に記憶するステップと、前記画像記憶手段に記憶された画像から手首方向を推定
する手首方向推定ステップと、前記画像記憶手段に記憶された画像と、前記手首方向と
に基づいて、指の領域と掌の領域を抽出する指領域・掌
領域抽出ステップと、前記指の領域と掌の領域とに基づいて、使用されている
指の前記掌の領域に対する位置を推定する指の掌対位置
推定ステップと、前記指の領域と掌の領域とに基づいて、使用されている
指の屈折を推定する指屈折推定ステップと、前記指の領
域と掌の領域とに基づいて、使用されている指の接触を
推定する指接触推定ステップと、前記手首方向と、前記指の領域と掌の領域と、前記指の
掌対位置とに基づいて、使用されている指の種類を推定
する指推定ステップと、前記手首方向と、前記指と掌の領域と、前記指の種類と
に基づいて、掌の向きを推定する掌方向推定ステップ
と、前記手首方向と、前記指の屈折と、前記指の接触と、前
記指の種類と、前記掌の向きと、前記知識記憶手段に記
憶された知識とに基づいて手形状の分類を行なう手形状
分類ステップと、前記手形状分類ステップで得られた結果を前記出力手段
に出力するステップとを有することを特徴とする手形状
認識方法。
【請求項２】手首方向推定ステップにおいて、画像上における形状の長さを求め、最も長いものを基準
軸とし、前記形状の所定位置、前記所定位置から前記基
準軸の任意方向へ任意距離離れた任意数の点をそれぞれ
通る前記基準軸に垂直な線を任意数設定し、前記線上の
有効画素を比較することを特徴とする請求項１記載の手
形状認識方法。
【請求項３】指領域・掌領域抽出ステップにおいて、画像上における形状の所定位置から任意方向へ任意距離
の走査起点を任意数とり、それぞれ隣合う走査起点との
間に走査線を設定し前記走査線上の有効画素数を求める
有効画素数演算を行ない、前記走査線が手首方向に位置
する場合、前記有効画素数が所定数以下になるまで前記
有効画素数演算を繰り返し、前記有効画素数が閾値以下
の場合、前記形状の最小最大有効画素位置と前記走査線
との距離を求め、前記距離が閾値以下の場合、前記有効
画素数が所定数以下になるまで前記有効画素数演算を繰
り返すことを特徴とする請求項１または２記載の手形状
認識方法。
【請求項４】指の掌対位置推定ステップにおいて、指の領域と掌の領域から、使用されている指の付け根中
心位置を求め、前記掌の領域と前記指の付け根中心位置
との位置関係を求めることを特徴とする請求項１〜３何
れかに記載の手形状認識方法。
【請求項５】指屈折推定ステップにおいて、指の領域と掌の領域から、使用されている指の先の任意
位置と前記使用されている指の重心位置を求め、前記任
意位置と前記重心位置とを結ぶ指傾線を設定し、前記掌
の領域と前記使用されている指との境界線との傾きと、
前記指傾線との傾きを比較することを特徴とする請求項
１〜４何れかに記載の手形状認識方法。
【請求項６】指接触推定ステップにおいて、指の領域と掌の領域から、掌の領域の大きさと使用され
ている指の領域の大きさとを求め、前記掌の領域の大き
さと前記使用している指領域の大きさを比較することを
特徴とする請求項１〜５何れかに記載の手形状認識方
法。
【請求項７】指推定ステップにおいて、指の領域と掌の領域から、使用されている指の付け根中
心位置と掌重心と指の大きさとを求め、前記指の付け根
中心位置と掌重心とを結ぶ線分を設定し、隣合う線分が
つくる角度を求め、手首方向と、前記指の付け根中心位
置と、前記掌の領域と、前記角度と、前記指の大きさと
を用いることを特徴とする請求項１〜６何れかに記載の
手形状認識方法。
【請求項８】指推定ステップにおいて、指の付け根中心位置と掌領域と手首方向との位置関係を
求め、前記位置関係と角度との組合せと指の大きさを、
予め設定した人間の手の持つ特徴と比較することを特徴
とする請求項７記載の手形状認識方法。
【請求項９】指推定ステップにおいて、指の領域と掌の領域から、使用されている指の付け根中
心位置と大きさとを求め、隣合う前記指の付け根中心位
置との距離を求め、前記大きさと前記距離とを用いるこ
とを特徴とする請求項１〜６何れかに記載の手形状認識
方法。
【請求項１０】指推定ステップにおいて、隣合う指の付け根中心位置との距離を求め、前記距離と
指の大きさを予め設定した人間の手の持つ特徴と比較す
ることを特徴とする請求項９記載の手形状認識方法。
【請求項１１】指推定ステップにおいて、使用されている指の掌対位置を用いることを特徴とする
請求項１〜１０何れかに記載の手形状認識方法。
【請求項１２】指推定ステップにおいて、任意の指１本の位置情報を彩色されたマーカーをつけて
求め、この位置情報と指の付け根中心位置との位置関係
を用いること特徴とする請求項１〜１１何れかに記載の
手形状認識方法。
【請求項１３】掌方向推定ステップにおいて、外部から入力される手の左右情報と、指の種類と、指の
任意位置と、掌重心と、手首方向との関係を用いること
を特徴とする請求項１〜１２何れかに記載の手形状認識
方法。
【請求項１４】掌方向推定ステップにおいて、掌重心と手首方向の所定の位置を通る直線を設定し、所
定の指の種類の指の任意位置と前記直線との位置関係を
求め、前記位置関係と手の左右情報との組合せを調べる
ことを特徴とする請求項１３記載の手形状認識方法。
【請求項１５】掌方向推定ステップにおいて、画像における形状の大きさと手首方向から、基準軸に垂
直な判定基準線を指先方向の任意位置に設定し、更に前
記判定基準線から任意距離離れた位置に前記判定基準線
と平行な判定線を設定し、前記判定基準線上の有効画素
と前記判定線上の有効画素とを比較することを特徴とす
る請求項１３または１４記載の手形状認識方法。
【請求項１６】掌方向推定ステップにおいて、画像における形状の大きさと手首方向から、基準軸に平
行な判定基準線を任意位置に設定し、更に前記判定基準
線から任意距離離れた位置に前記判定基準線と平行な判
定線を設定し、前記判定基準線上の有効画素と前記判定
線上の有効画素とを比較することを特徴とする請求項１
３または１４記載の手形状認識方法。
【請求項１７】画像を入力するための画像入力手段と、前記画像入力手段から送られる画像を記憶する画像記憶
手段と、手形状の分類を行なうための知識を記憶しておく知識記
憶手段と、前記画像記憶手段に記憶された画像から手首方向を推定
する手首方向推定手段と、前記画像記憶手段に記憶された画像と、前記手首方向と
に基づいて、指の領域と掌の領域を抽出する指領域・掌
領域抽出手段と、前記指の領域と、掌の領域に基づい
て、指の掌対位置を推定する指の掌対位置推定手段と、前記指の領域と、掌の領域に基づいて、指の屈折を推定
する指屈折推定手段と、前記指の領域と、掌の領域に基づいて、指の接触を推定
する指接触推定手段と、前記手首方向と、前記指の領域と掌の領域と、前記指の
掌対位置に基づいて、使用されている指の種類を推定す
る指推定手段と、前記手首方向と、前記指の屈折と、前記指の接触と、前
記指の領域と掌の領域と、前記指の種類とに基づいて、
掌の向きを推定する掌方向推定手段と、前記手首方向と、前記指の種類と、前記掌の向と、前記
知識記憶手段に記憶された知識とに基づいて手形状の分
類を行なう手形状分類手段と、前記手形状分類手段から得られた結果を出力する出力手
段とを有する手形状認識装置。