JPH1125260A

JPH1125260A - 手の状態検出装置

Info

Publication number: JPH1125260A
Application number: JP9182894A
Authority: JP
Inventors: Michiyo Moriya; みち代森家; Taro Imagawa; 太郎今川; Tsuyoshi Megata; 強司目片
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1997-07-08
Filing date: 1997-07-08
Publication date: 1999-01-29
Anticipated expiration: 2017-07-08
Also published as: JP3491189B2

Abstract

(57)【要約】【課題】従来の手形状認識方法では、利用者に服装の制
限が課されていたという課題と、手の状態を検出する速
度が遅かったという課題があった。【解決手段】カメラで撮影し、入力した画像から、検出
部が、手領域を抽出して、手領域を横切る平行線Ｌ１〜
Ｌ３を設定する。次に、検出部が、それら平行線Ｌ１〜
Ｌ３それぞれの画素列を探索し、手領域の輪郭とその画
素列との交点の画素を求め、それぞれの画素列につい
て、両端の交点の間の画素数、交点の数、および／また
は、両端の交点の間の画素数に対する、その画素列の手
領域部分の画素数の合計の割合に基づいて、手の指の状
態を判定し、手の状態を検出する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラで撮影して
得た画像から、人の手の状態、および画像内での手の位
置を検出し、それら検出結果に基づいて、コンピュータ
や機器を操作するマンマシンインターフェイスとしての
手の状態検出装置に関するものである。

【０００２】

【従来の技術】今日、人とコンピュータとの間で、情報
授受を行うマンマシンインターフェイスのために、様々
な方法や装置が考案されている。その一つとして、カメ
ラで撮影して得た画像から、人の手の状態、および画像
内での手の位置を検出し、それら検出結果を用いてコン
ピュータや機器の操作を行う方法や装置がある。

【０００３】このような従来の方法として、例えば、特
開平７−１０５３７１号公報に開示されている手形状認
識方法がある。その手形状認識方法は、図１２に示すよ
うに、カメラで撮影した、人の手を含む画像から、肌色
を他の色と区別して肌色領域を抽出し、最も大きい肌色
領域を手領域とし、手領域の重心と、手領域の範囲に対
応する慣性等価楕円と、手領域の傾きを示す慣性主軸と
を求め、求められた慣性等価楕円と慣性主軸の交点から
手首位置を特定し、その手首位置を中心として、等角度
に手領域を分割し、分割した各領域について、手首位置
からの最大距離を算出し、隣り合う領域の最大距離を順
に並べたヒストグラムを作成して、そのヒストグラムの
極大値の個数を指の本数として、人の手の状態を検出す
るものである。

【０００４】

【発明が解決しようとする課題】しかしながら、このよ
うな従来の手形状認識方法では、手の状態を検出するた
めに、先ず、手首位置を正確に抽出することが大前提と
なっており、そのために、従来の手形状認識方法を用い
たマンマシンインターフェイスの利用者は、手首まで袖
のある、白い長袖の服を着用することが条件付けられて
いる。公共の場や一般家庭で用いられるマンマシンイン
ターフェイスとしては、利用者に服装の制限を課すこと
は望ましくない。

【０００５】また、従来の手形状認識方法では、手領域
を抽出してから指の本数を求めるまでの間に、複数種の
複雑な計算を行うために時間が掛かっており、そのた
め、手の状態を検出する速度が遅かった。コンピュータ
や機器の操作を行うインターフェイスでは、高速な手の
状態検出が必要不可欠である。

【０００６】本発明は、このような従来の手形状認識方
法では、利用者に服装の制限が課されていたという課題
と、手の状態を検出する速度が遅かったという課題、以
上２つの課題を考慮し、利用者に服装の制限を課すこと
がなく、かつ、手の状態を検出する速度が速い手の状態
検出装置を提供することを目的とするものである。

【０００７】

【課題を解決するための手段】請求項１の本発明は、画
像を入力する画像入力手段と、前記画像入力手段が入力
した画像内の手の領域を抽出する抽出手段と、前記手領
域を横切る直線と前記手領域の輪郭線との交点に基づい
て前記手の状態を検出する状態検出手段とを備えたこと
を特徴とする手の状態検出装置である。

【０００８】

【発明の実施の形態】以下に、本発明の実施の形態を図
面を参照して説明する。

【０００９】（実施の形態１）先ず、本発明の実施の形
態１の手の状態検出装置の構造を述べる。

【００１０】図１に、本発明の実施の形態１の手の状態
検出装置の構成図を示す。

【００１１】本発明の実施の形態１の手の状態検出装置
は、画像を撮影し、その画像をアナログの画像信号を用
いて入力するカメラ１と、カメラ１が入力したアナログ
の画像信号をディジタルの画像信号に変換するＡＤ変換
器２と、カメラ１が手の存在しない画像を入力したと
き、その画像に基づくディジタルの画像信号を背景画像
として記憶する背景画像記憶部３と、カメラ１が逐次入
力する画像に基づくディジタルの画像信号を入力画像と
して記憶する入力画像記憶部６と、入力画像内の手領域
を抽出し、手の状態および位置を検出する検出部７と、
検出部７での検出結果に基づいてコンピュータなどの機
器を制御する機器制御部８と、検出部７の検出結果を、
実施の形態１の手の状態検出装置の利用者に表示する検
出結果表示部９とから構成される。

【００１２】次に、本発明の実施の形態１の手の状態検
出装置の動作を述べる。

【００１３】図２に、本発明の実施の形態１の手の状態
検出装置の動作のフローチャートを示す。なお、以下の
文章中の括弧内の数字は、図２に示したフローチャート
のステップである。

【００１４】先ず、手がカメラ１の撮影範囲に存在しな
い状態で動作を開始し（ステップ１００）、カメラ１が
手を含まない画像を撮影して、その画像をアナログの画
像信号を用いて入力する（ステップ１０１）。そして、
ＡＤ変換器２が、カメラ１が入力したアナログの画像信
号をディジタルの画像信号に変換し、背景画像記憶部３
が、そのディジタルの画像信号を、背景画像として記憶
する（ステップ１０２）。

【００１５】その後新たに、カメラ１が、手を含む画像
を撮影し、その画像をアナログの画像信号を用いて入力
して、ＡＤ変換器２が、手を含む画像のアナログの画像
信号をディジタルの画像信号に変換し、入力画像記憶部
６が、その変換されたディジタルの画像信号を入力画像
として記憶する（ステップ１０５）。

【００１６】次に、検出部７が、背景画像記憶部３が記
憶している背景画像と、入力画像記憶部６が記憶してい
る入力画像それぞれの対応する画素の色情報値もしくは
輝度情報値の差分値を求めて、差分画像を作成し（ステ
ップ１０６）、その差分画像について、あらかじめ設定
しておいた、色情報値もしくは輝度情報値の範囲内の値
である画素と、それ以外の画素とに２値化する（ステッ
プ１０７）。

【００１７】ただし、検出部７は、カメラ１が撮影した
画像中のノイズによって、２値化した一方の画素の集ま
りの一つを、背景画像に存在する手以外の物体の画素の
集まりとして誤抽出することや、差分画像を作成するこ
とだけでは、背景画像に存在する手以外の物体の画素を
取り除けないこともあるので、ここで２値化され、抽出
された画素の集まり、すなわち領域は、必ずしも手の領
域１つのみとは限らない。その場合、検出部７は、いく
つかの領域（以下候補領域）の中で、最も周囲長が長い
ものを手領域として抽出する。図３は、検出部７が、入
力画像を手領域の候補領域と背景領域とに２値化した結
果を示す図であり、同図では、白い部分が手領域の候補
領域、黒い部分が背景領域をあらわしている。図３の場
合、候補領域として、ＯＢＪ１〜ＯＢＪ３の３候補があ
るが、そのうち、周囲長が最も長いものは、ＯＢＪ２で
あるので、検出部７は、ＯＢＪ２を手領域と特定する
（ステップ１０８）。ただし、最長周囲長を有する候補
領域の周囲長が、あらかじめ検出部７に設定されている
値の範囲内になければ、つまり、その候補領域が、小さ
すぎたり、逆に画像全体に及ぶほど大きい場合は、検出
部７は、その候補領域が手領域ではないと判断する。な
お、ここでは各候補領域の周囲長に基づいて、手領域で
あるか否かの判断される最大候補領域を選出している
が、各候補領域の面積に基づいて最大候補領域を選出し
てもよい。

【００１８】検出部７が上述したような動作を行った結
果、手領域が入力画像中に存在しないことが判明されれ
ば、手の状態検出装置は、上述した画像入力の動作（ス
テップ１０５）に戻り、その動作以降の動作を繰り返
す。手領域が入力画像中に存在することが判明されれ
ば、手の状態検出装置は、次のステップに進む（ステッ
プ１０９）。

【００１９】手領域が入力画像中に存在することが判明
された場合、検出部７は、以下に詳述する特徴量を算出
して手の状態を検出する。図４に、検出部７が特徴量を
算出する方法を説明するための図を示す。なお、図４に
示すように、画像には、あらかじめＸ軸と、そのＸ軸と
直交する軸としてＹ軸が設定されており、手の状態検出
装置の利用者に、図４に示すように、あらかじめ手の方
向がＸ軸と実質上垂直となるように、手を含む画像をカ
メラ１に入力させる。このように、手領域の手の方向と
Ｘ軸とが実質上垂直な関係で、以下の動作を行う。

【００２０】次に、検出部７は、例えば、図４の手領域
の中指先端を基準点Ｓとするように、手領域の上部先端
を基準点Ｓとして設定し（ステップ１１０）、そして、
基準点Ｓを通り、Ｘ軸と平行な直線を基準線Ｌ０として
設定する（ステップ１１０）。その後、検出部７は、手
領域を横切り、基準線Ｌ０と平行な平行線Ｌ１を設定す
る（ステップ１１１）。そして、検出部７は、上述した
平行線Ｌ１と手領域の輪郭線との交点に基づく特徴量を
算出する（ステップ１１２）。さらに、検出部７は、平
行線Ｌ１を設定した場合と同様に、検出部７にあらかじ
め設定された数αの平行線を設定し（ステップ１１
１）、それら平行線それぞれと手領域の輪郭線との交点
に基づく特徴量を算出する（ステップ１１２）。例え
ば、α＝３であるとすると、図４に示すように、検出部
７は、基準線Ｌ０と平行な平行線Ｌ１、Ｌ２およびＬ３
を設定し（ステップ１１１）、それら平行線Ｌ１、Ｌ２
およびＬ３それぞれと手領域の輪郭線との交点に基づく
特徴量を算出する（ステップ１１２）。

【００２１】次に、上述した特徴量およびその算出方法
を図５〜８を参照して説明する。その特徴量算出方法
は、３方法あるので、順次それぞれの方法を説明する。

【００２２】はじめに、図５および６を参照して第１の
方法を説明する。

【００２３】図５に、検出部７が特徴量を算出する方法
を説明するための図を示す。また、図６に、その方法の
フローチャートを示す。なお、以下の文章中の括弧内の
数字は、図６に示したフローチャートのステップであ
る。

【００２４】上述したように、検出部７が、図２のステ
ップ１１１で、基準線Ｌ０と平行線Ｌ１〜Ｌ３を設定し
た場合、それら平行線Ｌ１〜Ｌ３の画素列に注目する。
図５に表示されている画素列は、同図の平行線Ｌ１の画
素列の一部を拡大したものである。

【００２５】先ず、検出部７が、図５に表示されている
平行線Ｌ１の画素列を、左から右の方向に探索してゆ
き、手領域の左端の画素ＰＬを求める（ステップ８０
２）。検出部７が、左端の画素ＰＬを見つけることがで
きない場合、平行線Ｌ１の画素列には、手領域が含まれ
ないということなので、ステップ８０９へ進み、検出部
７は、動作を終了する。検出部７は、左端の画素ＰＬを
見つけることができた場合（ステップ８０２）、同じ平
行線Ｌ１の画素列を、右から左の方向に探索してゆき、
手領域の右端の画素ＰＲを求める（ステップ８０３）。
左端の画素ＰＬの座標と、右端の画素ＰＲの座標とが同
じ座標である場合、平行線Ｌ１の画素列上の手領域は孤
立点となるため、この場合もステップ８０９へ進み、検
出部７は、動作を終了する。左端の画素ＰＬの座標と、
右端の画素ＰＲの座標とが異なる場合、検出部７は、図
５に示すように、左端の画素ＰＬと、右端の画素ＰＲと
の間にある画素の数を手領域幅Ｗとして求め（ステップ
８０５）、これを特徴量とする。

【００２６】上述した動作を、検出部７は、平行線Ｌ２
およびＬ３についても行う。

【００２７】そして、検出部７は、平行線Ｌ１〜Ｌ３そ
れぞれについて求めた手領域幅Ｗに基づいて、テンプレ
ートマッチングやニューラルネットワークなどを用い
て、基準点Ｓ、つまり指先から手首の方向の手領域幅Ｗ
の変化を知り、それによって手の状態を検出する。

【００２８】次に、図５および７を参照して第２の方法
を説明する。

【００２９】図７は、その第２の方法のフローチャート
である。なお、以下の文章中の括弧内の数字は、図７に
示したフローチャートのステップである。

【００３０】第１の方法と同様にして、検出部７が、平
行線Ｌ１〜Ｌ３それぞれの画素列について、左端の画素
ＰＬと右端の画素ＰＲとを求める（ステップ８０１〜８
０４）。

【００３１】そして、検出部７が、左端の画素ＰＬと右
端の画素ＰＲとの間にある画素の中で、図５のＣ１〜Ｃ
６に示されている、手領域の輪郭である画素の数を求め
（ステップ８０６）、これを特徴量とする。検出部７が
求める数は、平行線Ｌ１〜Ｌ３それぞれについて、各平
行線Ｌ１〜Ｌ３と手領域の輪郭線との交点の数であるの
で、検出部７は、その交点の数に基づいて、テンプレー
トマッチングやニューラルネットワークなどを用いて、
手の凹凸の度合い、つまり指の数を知り、それによって
手の状態を検出する。

【００３２】最後に、図５および８を参照して第３の方
法を説明する。

【００３３】図８は、その第３の方法のフローチャート
である。なお、以下の文章中の括弧内の数字は、図８に
示したフローチャートのステップである。

【００３４】第１の方法と同様にして、検出部７が、平
行線Ｌ１〜Ｌ３それぞれの画素列について、左端の画素
ＰＬと右端の画素ＰＲとを求め（ステップ８０１〜８０
４）、手領域幅Ｗを求める（ステップ８０５）。

【００３５】そして、検出部７が、左端の画素ＰＬと右
端の画素ＰＲとの間にある画素の中で、図５の白マスで
示されている、手領域の画素の数を数え（ステップ８０
７）、先に求めた手領域幅Ｗで除算することにより正規
化し（ステップ８０８）、その正規化された値を特徴量
とする。例えば、図５の平行線Ｌ１の画素列の場合、白
マスで示されている手領域の画素数が１１、手領域幅Ｗ
が２０であるので、検出部７が正規化した値は、１１÷
２０＝０．５５となる。検出部７が正規化した値は、手
領域幅Ｗの中にどれだけ手領域が含まれるかを示してお
り、検出部７は、正規化した値に基づいて、テンプレー
トマッチングやニューラルネットワークなどを用いて、
手の凹凸の度合い、つまり指の数を知り、それによって
手の状態を検出する。

【００３６】以上の説明では、平行線Ｌ１〜Ｌ３の画素
列を対象画素列としたが、例えば指を開いているときの
手の甲辺りを横切り、平行線Ｌ１に平行な平行線の画素
列を対象画素列とした場合、手領域幅Ｗと手領域の画素
数とはほぼ一致するため、正規化値は１に近付くが、平
行線Ｌ１〜Ｌ３の画素列のように、指の辺りを横切る平
行線の画素列では、指と指との間に隙間があるため、手
領域幅Ｗに対して、手領域の画素数は少なくなり、正規
化値の値も小さくなる。

【００３７】なお、以上の第１〜３の方法での説明で
は、あらかじめ手の状態検出装置の利用者に、図４に示
すように、手の方向がＸ軸と実質上垂直となるように、
手を含む画像をカメラ１に入力させるとしたが、本発明
の手の状態検出装置の利用者は、必ずしも、図４に示す
Ｘ軸と手の方向とを実質上垂直となるように、手を含む
画像をカメラ１に入力させなくてもよい。例えば、図４
に示すＸ軸と手の方向とが実質上９０度ではない所定の
角度をなすように、カメラ１が手を含む画像を入力した
場合、検出部７が、その手の方向と実質上垂直となる基
準線Ｌ０および平行線Ｌ１〜Ｌ３と手領域内の基準点Ｓ
を設定し、それら設定されたものを利用して特徴量を算
出すればよい。

【００３８】また、以上の第１〜３の方法の説明では、
検出部７は、平行線Ｌ１〜Ｌ３の画素列を対象画素列と
して、手領域幅Ｗ、交点の数、または、正規化値といっ
た特徴量の変化を知るとしたが、検出部７は、平行線Ｌ
１〜Ｌ３に加えて、複数の平行線それぞれの画素列につ
いても、上述した動作を行うことによって、特徴量の変
化を知り、手の状態を検出してもよい。

【００３９】また、検出部７は、上述した第１〜３の方
法のいずれの特徴量を用いてもよく、また複数の特徴量
を併用してもよい。

【００４０】以上の動作によって、検出部７は、手の状
態を検出する（図２のステップ１１４）。

【００４１】その後、検出部７は、基準点Ｓと平行線Ｌ
１〜Ｌ３上の画素列より、手領域の位置座標を検出する
（ステップ１１４）。その手領域の位置座標検出方法を
再び図４を参照して説明する。検出部７は、図４の平行
線Ｌ１〜Ｌ３それぞれにおいて、線上の画素列に含まれ
る手領域、つまり手領域幅Ｗの中点のＸ座標Ｘａ、Ｘ
ｂ、Ｘｃを求め、それらＸａ、Ｘｂ、Ｘｃの平均値をＸ
座標とし、Ｙ座標を基準点ＳのＹ座標であるＹ０を用い
て、手領域の位置座標を検出する。

【００４２】最後に、検出部７が、手の状態および位置
の検出結果を、図１に示した機器制御部８に出力し、機
器制御部８が、その検出結果に応じて対象機器の操作を
行う。また、検出部７は、手の状態および位置の検出結
果を、図１に示した検出結果表示部９に表示し、利用者
にその検出結果をフィードバックする。

【００４３】以上述べたように、キーボードなどの付帯
機器を必要としない、より使いやすいマンマシンインタ
ーフェイスとしての手の状態検出装置を実現することが
できる。

【００４４】また、検出部７が、指の辺りの情報のみを
用いて、手の状態を検出する特徴量を算出したので、本
発明の手の状態検出装置は、利用者に服装の制限を課す
ことがなく手の状態を検出することができる。さらに、
検出部７が、手の状態を検出するための特徴量を算出す
るさいに複雑な計算を必要としないので、本発明の手の
状態検出装置は、高速に手の状態を検出することができ
る。

【００４５】なお、手の状態検出装置が、連続して手の
状態および位置検出を行う場合、背景画像記憶部３が、
所定の時間毎に背景画像を記憶し直すと、検出部７は、
例えば、昼と夜との部屋の明るさの変化のような、手の
状態検出装置のおかれている環境の変化に対応すること
ができる。

【００４６】（実施の形態２）本発明の実施の形態２の
手の状態検出装置の構造をその動作とともに述べる。

【００４７】図９に、本発明の実施の形態２の手の状態
検出装置の構成図を示す。また、図１０に、その手の状
態検出装置の動作のフローチャートを示す。

【００４８】本発明の実施の形態２の手の状態検出装置
と本発明の実施の形態１の手の状態検出装置との違い
は、検出部７が行う、２値化処理までの動作であり、２
値化処理された後に行われる、本発明の実施の形態２の
手の状態検出装置の動作は、本発明の実施の形態１の手
の状態検出装置が手領域を抽出した後の動作と同等であ
るので、実施の形態２では、２値化処理までの動作につ
いてのみ説明する。

【００４９】本発明の実施の形態２の手の状態検出装置
は、画像を撮影し、その画像をアナログの画像信号を用
いて入力するカメラ１と、カメラ１が入力したアナログ
の画像信号をディジタルの画像信号に変換するＡＤ変換
器２と、カメラ１が手の存在しない画像を入力したと
き、その画像に基づくディジタルの画像信号を背景画像
として記憶する背景画像記憶部３と、背景画像記憶部３
が記憶している背景画像の全ての画素を対象とし、各画
素が有する色情報値、もしくは輝度情報値に基づいて、
それぞれの色情報値、もしくは、それぞれの輝度情報値
を有する画素の数を勘定し、ヒストグラムを作成するヒ
ストグラム算出部４と、ヒストグラム算出部４が作成し
たヒストグラムに基づいて、検出部７が手領域を抽出す
るための２値化しきい値を決定する２値化しきい値決定
部５と、カメラ１が逐次入力する画像に基づくディジタ
ルの画像信号を入力画像として記憶する入力画像記憶部
６と、入力画像内の手領域を抽出し、手の状態および位
置を検出する検出部７と、検出部７での検出結果に基づ
いてコンピュータなどの機器を制御する機器制御部８
と、検出部７の検出結果を、実施の形態２の手の状態検
出装置の利用者に表示する検出結果表示部９とから構成
される。

【００５０】なお、上述した、手の存在しない画像、つ
まり背景画像は、手の色もしくは輝度と大きく異なる色
もしくは輝度を有する画像である。

【００５１】本発明の実施の形態２の手の状態検出装置
の動作は、以下に示す通りである。なお、以下の文章中
の括弧内の数字は、図１０に示したフローチャートのス
テップである。

【００５２】先ず、手がカメラ１の撮影範囲に存在しな
い状態で動作を開始し（ステップ１００）、カメラ１が
手を含まない画像を撮影して、その画像をアナログの画
像信号を用いて入力する（ステップ１０１）。そして、
ＡＤ変換器２が、カメラ１が入力したアナログの画像信
号をディジタルの画像信号に変換し、背景画像記憶部３
が、そのディジタルの画像信号を、背景画像として記憶
する（ステップ１０２）。

【００５３】次に、ヒストグラム算出部４が、背景画像
記憶部３が記憶している背景画像の全ての画素を対象と
し、各画素が有する色情報値、もしくは輝度情報値に基
づいて、それぞれの色情報値、もしくは、それぞれの輝
度情報値を有する画素の数を勘定し、図１１（ａ）に示
すようなヒストグラムを作成する（ステップ１０３）。
図１１（ａ）は、背景画像の全ての画素の輝度情報値に
基づいたヒストグラムである。図１１（ａ）のヒストグ
ラムの対象となっている背景画像は、実質上一面が輝度
情報値が小さい画素からなる、ディジタルの画像信号で
ある。例えば、その背景画像は、実質上一面が黒い画像
に基づいた画像信号である。なお、図１１（ａ）では、
背景画像の全ての画素の輝度情報値に基づいたヒストグ
ラムを示したが、ヒストグラムは、背景画像の全ての画
素の色情報値に基づいたヒストグラムであってもよい。

【００５４】そして、２値化しきい値決定部５が、ヒス
トグラム算出部４が作成したヒストグラムに基づいて、
検出部７が手領域を抽出するための２値化しきい値を決
定する（ステップ１０４）。図１１（ａ）のヒストグラ
ムでは、所定の輝度情報値での画素数をピークとする山
型の分布が示されているので、２値化しきい値決定部５
は、その山型の分布の右端の輝度情報値を２値化しきい
値として決定する。なお、２値化しきい値は、図１１
（ａ）のヒストグラムの山型の分布の右端の輝度情報値
でなくてもよい。要するに、２値化しきい値は、ヒスト
グラム算出部４が作成したヒストグラムに基づいて、検
出部７が、入力画像の手領域と背景画像とを区別するこ
とができる所定の値でありさえすればよい。

【００５５】その後新たに、カメラ１が、手を含む画像
を撮影し、その画像をアナログの画像信号を用いて入力
して、ＡＤ変換器２が、手を含む画像のアナログの画像
信号をディジタルの画像信号に変換し、入力画像記憶部
６が、その変換されたディジタルの画像信号を入力画像
として記憶する（ステップ１０５）。

【００５６】さらに、検出部７が、入力画像記憶部６が
記憶している入力画像において、２値化しきい値決定部
５が決定した２値化しきい値に基づいて、所定の画素の
集まった領域を手領域の候補領域として背景画像と区別
して２値化する（ステップ１０７）。例えば、図１１
（ｂ）に示すように、入力画像の手領域の各画素が有す
る輝度情報値に基づいたヒストグラムが、２値化しきい
値を大きく超えた所定の値での画素数をピークとする山
型の分布を示している場合、その山型の分布内の画素の
集まった領域を手領域の候補領域とする。

【００５７】上述したように、２値化しきい値決定部５
が、手の状態検出装置の設置されている場所の明るさ
や、画像を入力するさいの背景の色などといった環境に
応じて、２値化しきい値を決定することができるので、
検出部７は、手領域を精度良く抽出することができる。

【００５８】なお、手の状態検出装置が、連続して手の
状態および位置検出を行う場合、２値化しきい値決定部
５が、所定の時間毎に２値化しきい値を決定し直すと、
検出部７は、例えば、昼と夜との部屋の明るさの変化の
ような、手の状態検出装置のおかれている環境の変化に
対応することができる。

【００５９】上述した動作より後の実施の形態２の手の
状態検出装置の動作は、実施の形態１の手の状態検出装
置の対応する動作と同様である。

【００６０】

【発明の効果】以上説明したところから明らかなよう
に、本発明は、利用者に服装の制限を課すことがなく、
かつ、手の状態を認識する速度が速い手の状態検出装置
を提供することができる。

【図面の簡単な説明】

【図１】本発明の実施の形態１の手の状態検出装置の構
成図

【図２】本発明の実施の形態１の手の状態検出装置の動
作のフローチャート

【図３】本発明の手の状態検出装置の検出部が、入力画
像を手領域の候補領域と背景領域とに２値化した結果を
示す図

【図４】本発明の手の状態検出装置の検出部が特徴量を
算出する方法を説明するための図

【図５】本発明の手の状態検出装置の検出部が特徴量を
算出する方法と、手領域の位置を検出する方法とを説明
するための図

【図６】本発明の手の状態検出装置の検出部が特徴量を
算出する場合の第１の方法のフローチャート

【図７】本発明の手の状態検出装置の検出部が特徴量を
算出する場合の第２の方法のフローチャート

【図８】本発明の手の状態検出装置の検出部が特徴量を
算出する場合の第３の方法のフローチャート

【図９】本発明の実施の形態２の手の状態検出装置の構
成図

【図１０】本発明の実施の形態２の手の状態検出装置の
動作のフローチャート

【図１１】本発明の実施の形態２の手の状態検出装置の
ヒストグラム算出部が作成する、背景画像の画素が有す
る輝度情報値とそれら画素数とについてのヒストグラム
の一例と、入力画像の画素が有する輝度情報値とそれら
画素数とについてのヒストグラムの一例

【図１２】従来の手形状認識方法のフローチャート

【符号の説明】

１カメラ２ＡＤ変換器３背景画像記憶部４ヒストグラム算出部５２値化しきい値決定部６入力画像記憶部７検出部８機器制御部９検出結果表示部ＯＢＪ１〜ＯＢＪ３候補領域Ｓ基準点Ｌ０基準線Ｌ１〜Ｌ３平行線Ｘａ平行線Ｌ１上の手領域の中点のＸ座標値Ｘｂ平行線Ｌ２上の手領域の中点のＸ座標値Ｘｃ平行線Ｌ３上の手領域の中点のＸ座標値ＰＬ平行線Ｌ１上の手領域の左端点ＰＲ平行線Ｌ１上の手領域の右端点Ｃ１〜Ｃ６平行線Ｌ１と手領域の輪郭線との交点

Claims

【特許請求の範囲】

【請求項１】画像を入力する画像入力手段と、前記画像
入力手段が入力した画像内の手の領域を抽出する抽出手
段と、前記手領域を横切る直線と前記手領域の輪郭線と
の交点に基づいて前記手の状態を検出する状態検出手段
とを備えたことを特徴とする手の状態検出装置。
【請求項２】前記状態検出手段は、前記交点の数に基づ
いて前記手の指の状態を判定し、前記手の状態を検出す
ることを特徴とする請求項１記載の手の状態検出装置。
【請求項３】前記直線は、実質上平行な複数の直線であ
って、前記状態検出手段は、前記交点のうちの両端の交
点間の長さに基づいて前記手の指の状態を判定し、前記
手の状態を検出することを特徴とする請求項１記載の手
の状態検出装置。
【請求項４】前記状態検出手段は、前記直線における、
前記交点のうちの両端の交点間の長さに対する、その直
線上の手領域部分の長さの合計の割合に基づいて前記手
の指の状態を判定し、前記手の状態を検出することを特
徴とする請求項１記載の手の状態検出装置。
【請求項５】前記抽出手段は、手の領域を含む画像と、
手の領域を含まない画像との対応する画素の色情報値も
しくは輝度情報値の差分値が所定の範囲の値である画素
が所定の数で集まった領域のうち、最大領域を前記手領
域として抽出することを特徴とする請求項１から４のい
ずれかに記載の手の状態検出装置。
【請求項６】手を含まない画像内の画素の色情報値もし
くは輝度情報値と、前記画素の数に関するヒストグラム
を作成するヒストグラム算出手段と、前記ヒストグラム
に基づいて所定のしきい値を決定するしきい値決定手段
とを備え、前記抽出手段は、前記しきい値に基づいて、
前記手を含む画像の画素を２値化し、２値化された一方
の画素が所定の数で集まった領域のうち、最大領域を前
記手領域として抽出することを特徴とする請求項１から
４のいずれかに記載の手の状態検出装置。
【請求項７】前記交点に基づいて前記手領域の位置を検
出する位置検出手段を備えたことを特徴とする請求項１
から６のいずれかに記載の手の状態検出装置。