JP4659722B2 - 人体特定領域抽出・判定装置、人体特定領域抽出・判定方法、人体特定領域抽出・判定プログラム - Google Patents

Description

一人以上の人が存在するリアルタイム画像の中から、それぞれの人に対応する体の特定の部位を検出する画像処理技術に関する。

現在、公共空間に置かれた大型ディスプレイや携帯端末など、様々な情報提示装置がある。その１つとして、人物の手の平を検出しその手の平へ画像を提示することのできる技術が提案されている（非特許文献１参照）。
この技術では、人物の手の平に画像を提示することのできる情報提示装置において、カメラで撮影した画像の、ある１フレームの情報のみを用いて、人物と手との対応を行っている。

この場合において、移動をしている複数の人が同時に存在した場合を考えると、あるフレームにおいて存在した人体がその次のフレームでどの人体と対応付けられるのか正しく検出し、その人体の領域から効率的に人体の特定領域（例えば、手領域や額領域）を抽出することが必要である。
また、複数存在する人体の領域から手領域を抽出した場合に、抽出された手の位置が移動し続けても、当該手領域が左右どちらの手なのか正確に判定することが好ましい。
更に、数人の人体の特定領域（例えば、手領域）が複雑に移動する中で、あるフレームとその次のフレームで同じ人体の特定領域同士を正しく対応付けることが必要である。

石井陽子、小林稔、中山彰、細田真道、「情報との出会いを演出する手の平表示インタフェース」信学技報、ＭＶＥ−２００５−４２、Ｓｅｐ．２００５

本発明は、複数人の人体領域の特定領域を効率良く正しく抽出することを提供することを目的とする。

本発明の局面に係る人体特定領域抽出・判定装置は、人体をその頭上から撮影した画像の中から人体領域を検出する人体領域検出手段と、前記人体領域検出手段により検出された現在のフレームにおける人体領域を表す情報と、現在より前のフレームで検出された人体領域を表す情報との対応付けを行う人体判定手段と、前記人体判定手段により対応付けられた人体領域を表す情報の中から手候補領域を抽出して、この抽出された手候補領域の重心点を求め、この求められた手候補領域の重心点と前記人体領域の重心点との距離を求めて、前記人体領域の重心点と最も離れた重心点を持つ最大２つの前記手候補領域を特定領域として抽出する人体特定領域抽出手段と、を具備することを特徴とする。本発明は、装置に限らず、装置で実現される方法やプログラムの発明としても成立する。

本発明によれば、複数人の人体領域の特定領域を効率良く正しく抽出することができる。

図面を参照して本発明の実施の形態を説明する。図１は、本発明の一実施形態に係る人体特定領域抽出・判定装置の概略構成を示すブロック図である。なお、図１には、各ブロックでやりとりされるデータの流れも併せて示している。なお、本実施形態において、検出する人体の特定領域として任意の領域を指定可能であるが、該特定領域を手領域であるものとして、本実施形態を説明する。

本実施形態に係る人体特定領域抽出・判定装置は、少なくとも、撮影部１と、人体領域検出部２と、人体判定部３と、人体特定領域抽出部４と、人体特定領域判定部５と、記憶部６と、記憶部７と、左右判定部８を具備する。

撮影部１は、人体を真上から撮影して、撮影によって得られた撮影画像を人体領域検出部２へ送信する。なお、撮影部１はカメラであって、該カメラのシャッター速度や露出などのパラメータは固定されているものとする。

人体領域検出部２は、撮影部１から送られた撮影画像の中から人物領域を検出する。この場合において、検出する人物領域は複数であっても良い。そして、人体領域検出部２は検出された人体領域情報（この人体領域情報を「現フレームの人体領域情報」と称する）を人体判定部３へ送る。

記憶部６は、前フレームの人体領域情報を記憶し、該前フレームの人体領域情報を人体判定部３へ送る。また、記憶部６は、人体領域検出部２から人体判定部３に出力された現フレームの人体領域情報を受け取って、前フレームの人体領域情報として、次のフレームの人体領域情報を受け取るまで記憶する。なお、前フレームは、直前のフレームでも、数フレーム前のフレームでも良く、これらを総称して、本明細書では、「前フレーム」と称する。

人体判定部３は、人体領域検出部２から送られた現フレームの人体領域情報と、記憶部６から送られた前フレームの人体領域情報を取得する。人体判定部３は、前フレームと現フレームの重心をそれぞれ求め、前フレームに人体が存在していた場合には、現フレームに存在する人体領域と、前フレームの人体領域の重心距離を比べる。なお、前フレームと現フレームの重心の求め方は、例えば、検出した人体領域の幾何中心を重心とすればよい。そして、人体判定部３は、現フレームの人体領域の重心と前フレームの人体領域の重心位置が所定の距離より近い場合（すなわち所定の闘値以下である場合）、現フレームの該当する人体領域と前フレームの該当する人体領域を同じ人体領域として判定する。また、人体判定部３は、現フレームの人体領域が、前フレームの人体領域と対応しない場合には、その人体領域は新たに出現した人体領域として判定する。人体判定部３は、現フレームに存在する人体領域の数について、上記と同様の処理を行う。人体判定部３は、対応付けられた人体領域情報を、人体特定領域抽出部４と人体特定領域判定部５に送る。

人体特定領域抽出部４は、前記人体判定部３より送られた人体領域情報から手の領域を抽出する。人体特定領域抽出部４は、人体判定部３より送られた人体領域が複数ある場合には、複数の人体領域情報のそれぞれの人体領域情報から手の領域（手領域）を抽出する。なお、手領域は、人体領域の末端にあることから、体の末端にある領域を最大２つずつ人体領域毎に抽出することが好ましい。そして、人体特定領域抽出部４は、抽出した手領域の情報を左右判定部８と人体特定領域判定部５へ送信する。

左右判定部８は、人体特定領域抽出部４から送られた情報を用いて、手領域が左右どちらの手なのかを判定する。左右判定部８は、判定した手領域の左右情報を人体特定領域判定部５へ送信する。

記憶部７は、前フレームの手領域の情報を記憶し、該前フレームの手領域の情報を人体特定領域判定部５へ送る。また、記憶部７は、人体特定領域抽出部４から人体特定領域判定部５に出力された現フレームの手領域の情報を受け取って、前フレームの手領域の情報として、次のフレームの手領域の情報を受け取るまで記憶する。

人体特定領域判定部５は、人体特定領域抽出部４から送られた現フレームの手領域情報と、左右判定部８から送られた現フレームの左右判定情報と、記憶部７より送られた前フレームの手領域情報を取得する。そして、人体特定領域判定部５は、現フレームに存在する人体領域情報毎に以下の処理を行い、その処理結果を出力する。
（１）前フレームに手領域が存在し、現フレームに手領域が存在する場合、それぞれの手領域の重心点と人体の重心点を結ぶ直線と、基準となる直線とでできる角度を比較する。そして、前フレームと現フレームそれぞれの角度の差が所定の闘値内にある場合、対応する前フレームの手領域と現フレームの手領域を同じ手領域として判定する。
（２）現フレームの手領域が、前フレームの手領域と対応しない場合には、その手領域は新たに出現した手領域として判定する。
上記のようにして、人体の特定領域としての手領域が判定される。

本実施形態によれば、過去フレーム（前フレーム）の人体領域情報を用いることで誤認識を減らし、移動を行う複数人の人体領域をそれぞれ時系列に正しく対応付けることが可能になる。さらに、人体領域情報からある特定領域（例えば、「手領域」）を検出する処理において、特定領域以外の領域を検出してしまう誤認識が減り、より効率的に特定領域を検出することが可能になる。

以下、具体的な例として、特定領域として手領域を検出する場合（第１の具体例）と、特定領域として額領域を検出する場合（第２の具体例）とを説明する。

（第１の具体例）
図２は、第１の具体例に係る人体特定領域抽出・判定装置の構成例を示す図である。本具体例では、人体領域情報から検出する特定領域は手領域であるものとして説明する。
本第１の具体例において、上記の実施形態における撮影部１はビデオカメラ１０として実装されている。また、計算機１１には、人体領域検出手段１２と、人体判定手段１３と、人体特定領域抽出手段１４と、左右判定手段１７と、人体特定領域判定手段１５と、記憶手段１６とが実装されている。ビデオカメラ１０は、ユーザの頭上に設置され、ユーザの真上からユーザの画像を取得する。また、ビデオカメラ１０は計算機１１に接続されており、撮影した画像を計算機１１に送信する。

計算機１１に送られた画像は、人体領域検出手段１２に入力される。人体領域検出手段１２は、ビデオカメラ１０が撮影した画像を受け取る。人体領域検出手段１２は、まず、人物がビデオカメラ１０の撮影領域内に存在しない場合の画像と、現在の画像（すなわち現フレームの画像）との差分を取る。そして、人体領域検出手段１２は、差分を取った画像内に所定の闘値以上の大きさの領域が存在する場合、この領域を人体領域であるとして検出する。人体領域検出手段１２は、人体領域が検出された場合、検出された領域のサイズや重心位置、バウンディングボックスのサイズや位置などを求めて、当該情報を人体領域情報として人体判定手段１３に送る。なお、バウンディングボックスは、検出された領域を取り囲むような多面体であれば、どのような形状であっても良く、公知の技術によって求めることが出来るので、説明を省略する。

人体判定手段１３は、抽出した人体領域が人体であるかどうかを判定する。人体判定手段１３の具体的な処理の流れを図３に示す。図３は、人体判定手段１３の具体的な処理の流れを示すフローチャートである。

人体判定手段１３は、人体領域検出手段１２より現フレームに存在している人体領域の情報を取得する。そして、人体判定手段１３は、現フレームで人体領域が検出されているかどうか判定する（ステップＡ１）。ステップＡ１において、現フレームで人体領域が検出されていなければ、ステップＡ１０の処理に進む。ステップＡ１において、現フレームで人体領域が検出されているのであれば、現フレームで検出された人体領域の個数分ステップＡ３からステップＡ８の処理を繰り返す。なお、ステップＡ２は、ループの開始を示し、ステップＡ９は、ループの終了を示す。

具体的には、まず、人体判定手段１３は、前フレームで人体が検出されていなかった場合には（ステップＡ３のＮｏ）、現フレームの人体は新たに現れた人体領域だと判定する。そして、次の人体領域について、ステップＡ３からステップＡ８の処理を行う。

まず、人体判定手段１３は、記憶手段１６より、前フレームに存在していた人体領域の重心位置情報を取得し、前フレームで人体領域が検出されていた場合には（ステップＡ３のＹｅｓ）、前フレームの人体領域の中で対応付け候補となる人体領域があるかどうかを判定する（ステップＡ４）。前フレームの人体領域の中で対応付け候補となる人体領域があれば（ステップＡ４のＹｅｓ）、対応付け可能な前フレームの全ての人体領域の重心位置と現フレームの１つの人体領域の重心位置の距離を測定する（ステップＡ５）。なお、ステップＡ３とステップＡ４において、判定結果がＮｏであれば、ステップＡ９の処理に進む。

人体判定手段１３は、測定した重心位置の距離の中で最も短い距離を持つ前フレームの１つの人体領域が、所定の闘値以下であるかどうかを判定し（ステップＡ６）、距離が所定の闘値以下であれば、該前フレームの１つの人体領域と現フレームの１つの人体領域を対応付ける（ステップＡ７）。現フレームの人体領域が複数個ある場合、対応付けが行われた前フレームの１つの人体領域は、処理対象から除外する（ステップＡ８）。そして、ステップＡ３からステップＡ８の処理を繰り返して、残った前フレームの領域の中で、残りの現フレームの人体領域との対応付けの判定を行う。これにより、対応付けられる人体領域は、前フレームの人体領域と現フレームの人体領域それぞれについて一対一の関係になる。なお、対応付けられる前フレームの人体領域が無くなった場合は、残りの現フレームの人体領域は新たに現れた人体領域だと判定する。

人体判定手段１３は対応付けの判定を行った人体領域のサイズや重心位置、バウンディングボックスのサイズや位置などの情報を人体特定領域抽出手段１４と人体特定領域判定手段１５へ送信する。人体判定手段１３は対応付けの判定を行った人体領域のサイズや重心位置、バウンディングボックスのサイズや位置、どの前フレームの領域と対応付けが行われたのか（もしくは行われなかったのか）などの情報を記憶手段１６へ送信する。記憶手段１６は、対応付けが行われた人体領域の場合データをアップデートし、対応付けが行われなかった人体領域を新たに出現した人体領域としてデータを保存し、現フレームと対応付けの行われなかった前フレームのデータは削除する（ステップＡ１０）。

その後の処理（ステップＡ１１）として、人体特定領域抽出手段１４は、人体判定手段１３より対応付けの判定を行った人体領域の情報を受け取る。そして、人体特定領域抽出手段１４は、受け取った人体領域の情報の中から肌色の領域を抽出する。肌色の領域を抽出する方法として、画像をある成分に分解できる一般的な処理の１つであるＨＳＶ変換を行い、Ｈ成分（色成分）とＳ成分（彩度成分）がそれぞれある闘値より大きくある闘値より小さい領域を抽出する手段を用いても良い。人体特定領域抽出手段１４は、抽出された肌色領域の中からある闘値より大きくある闘値より小さい領域を抽出し、これを手候補領域とする。人体特定領域抽出手段１４は、手候補領域の重心点を求める。人体特定領域抽出手段１４は、各手候補領域と人体の重心点の距離を求め、最も人体重心点と離れた重心点を持つ最大２つの手候補領域を手領域として抽出する。人体特定領域抽出手段１４は、検出された手領域の、サイズ、バウンディングボックスの位置・サイズ、重心位置情報などを左右判定手段１７に送る。

左右判定手段１７は人体特定領域抽出手段１４より送られた手領域の情報を受けとり、以下の処理行う。
前フレームで手が存在しておらず、現フレームで片手のみ存在する場合は、その手を右手として定める。前フレームで手が存在しておらず、現フレームで両手が存在する場合は、手と人体領域の重心点を結ぶ直線を求め、それら直線によりできる鋭角（図４内θ）の右辺側の手を右手とし、左辺側の手を左手として判定する（図４参照）。

前フレームで手が存在し、現フレームで片手のみ存在する場合は、その手を仮に右手として定める。前フレームで手が存在し、現フレームで両手が存在する場合は、手と人体領域の重心点を結ぶ直線を求め、それら直線によりできる鋭角（図４内θ）の右辺側の手を右手とし、左辺側の手を左手として判定する（図４参照）。

左右判定手段１７は、左右判定情報を人体特定領域判定手段１５へ送信する。人体特定領域判定手段１５は、図５に示すフローチャートに従って、人体特定領域と人体領域との対応付けを行う。図５は、人体特定領域判定手段１５の処理の流れを示すフローチャートである。図５を参照して、人体特定領域判定手段１５の処理の流れを説明する。

人体特定領域判定手段１５は、人体判定手段１３より、前フレームと現フレームで対応付けを行った人体領域の情報を受け取る。人体特定領域判定手段１５は、左右判定手段１７より左右判定情報を受け取る。人体特定領域判定手段１５は、記憶手段１６より、前フレームに存在していた手領域の重心位置情報と左右情報と、どの人体領域の手領域なのかの情報を取得する。そして、各人体領域についてステップＢ２からステップＢ１７の処理を繰り返す。なお、ステップＢ１は、ループの開始を示し、ステップＢ１８は、ループの終了を示す。
人体特定領域判定手段１５は、前フレームの手領域が検出された人体領域が対応づけられているかを判定し（ステップＢ２）、その結果に従って、人体領域毎に以下の条件に分け、それぞれに対して対応する処理を行う。

１）現フレームで手領域が存在しない場合（ステップＢ３のＮｏ、ステップＢ５のＮｏ）
前フレームでも手領域が存在しない場合には（ステップＢ３のＮｏ）、ステップＢ１８処理を進める。前フレームで手を検出していた場合には（ステップＢ５のＮｏ）、その手は無くなった手であると認識し、前記フレームの手領域を消去して（ステップＢ６）、現フレームでは左右どちらの手も存在しないとして処理を行う。

２）現フレームで手が存在し、前フレームで手を検出していなかった場合（ステップＢ３のＹｓｅ）
現フレームの手は新たに出現した手として認識し、手の左右情報はそのまま用いる（ステップＢ４）。

３）前フレームで両手を検出し現フレームでも両手を検出した場合（ステップＢ７）
現フレームの右手、左手の情報をそのまま用い、前フレームで存在した右手と現フレームの右手を対応付け、前フレームで存在した左手と現フレームの左手を対応付ける（ステップＢ８）。

４）前フレームでは片手を検出し現フレームでは両手を検出した場合（ステップＢ９）
図６をもとに、現フレームの右手・左手それぞれの角度ａと角度ｂを、前フレームの手の角度ａ（角度ｂ）と比べ、より近い角度を持つ現フレームの手を前フレームの手と対応付け、前フレームから存在していた手であると判定し、手領域の重心座標と角度及び左右情報をアップデートする（ステップＢ１０）。この時、現フレームの手の左右情報と前フレームの手の左右情報が違っていても、現フレームの左右情報を優先させる。
なお、対応付けが行われなかった現フレームの片手は新たに出現した手であると認識する（ステップＢ１１）。
図６において、人体領域の重心点を通る、カメラ画像の横軸方向と平行の線を基準線Ｃとする。図６内の基準線Ｃと「右手の重心点から人体領域の重心点を結ぶ線」によりできる角を角度ａとする。図６内の基準線Ｃと「左手の重心点から人体領域の重心点を結ぶ線」によりできる角を角度ｂとする。

５）前フレームでは両手を検出し現フレームでは片手を検出した場合（ステップＢ１２）
現フレームで片手のみが検出された場合は、その手は右手として判定される。現フレームの右手の角度ａと、前フレームの右手、左手それぞれの角度ａおよび角度ｂを比較し、より近い角度を持つ方の前フレームの手を対応付け、手領域の重心座標と角度及び左右情報をアップデートする（ステップＢ１３）。このとき、前フレームと現フレームで左右情報が違う場合は、前フレームの左右情報を優先させる。対応付けが行われなかった前フレームの片手は画面から無くなった手であると認識する（ステップＢ１４）。

６）前フレームで片手を検出し現フレームでも片手を検出した場合（ステップＢ１５）
図６をもとに、現フレームの手の角度と、前フレームの手の角度とを比べ、闘値以下であった場合、現フレームと前フレームの手を対応付け、手領域の重心座標と角度及び左右情報をアップデートする（ステップＢ１６）。左右情報は前フレームの手の情報を用いる。角度の差が闘値より大きい場合、前フレームの手は画面から無くなった手であると認識し、現フレームの手は新たに出現した手であると認識する（ステップＢ１７）。手の左右情報は前フレームの左右情報と逆の情報を現フレームの手に対応付ける。

人体特定領域判定手段１５は、判定後の特定領域のサイズや重心位置、バウンディングボックスのサイズや位置、左右情報、どの人体領域の手領域なのかの情報、どの前フレームの領域と対応付けが行われたのか（もしくは行われなかったのか）などの情報を記憶手段１６へ送信する。これにより、手判定処理が終了する（ステップＢ１９）。

記憶手段１６は、対応付けが行われた人体特定領域の場合データをアップデートし、対応付けが行われなかった人体特定領域の場合新たに出現した人体特定領域としてデータを保存し、現フレームの特定領域と対応付けの行われなかった前フレーム特定領域のデータは削除する。

（第２の具体例）
図７は、第２の具体例に係る人体特定領域抽出・判定装置の構成例を示す図である。本具体例では、人体領域情報から検出する特定領域は額領域であるものとして説明する。
本第２の具体例において、上記の実施形態における撮影部１はビデオカメラ２０として実装されている。また、計算機２１には、人体領域検出手段２２と、人体判定手段２３と、人体特定領域抽出手段２４と、記憶手段２６とが実装されている。ビデオカメラ２０は、ユーザの頭上に設置され、ユーザの真上からユーザの画像を取得する。また、ビデオカメラ２０は計算機２１に接続されており、撮影した画像を計算機２１に送信する。

計算機２１に送られた画像は、人体領域検出手段２２に入力される。人体領域検出手段２２は、ビデオカメラ２０が撮影した画像を受け取る。人体領域検出手段２２は、まず、人物がビデオカメラ２０の撮影領域内に存在しない場合の画像と、現在の画像（すなわち現フレームの画像）との差分を取る。そして、人体領域検出手段２２は、差分を取った画像内に所定の闘値以上の大きさの領域が存在する場合、この領域を人体領域であるとして検出する。人体領域検出手段２２は、人体領域が検出された場合、検出された領域のサイズや重心位置、バウンディングボックスのサイズや位置などを求めて、当該情報を人体領域情報として人体判定手段２３に送る。

人体判定手段２３は、抽出した人体領域が人体であるかどうかを判定する。人体判定手段２３の具体的な処理は、第１の具体例の人体判定手段１３と同様であるので、説明を省略する。
人体判定手段２３は対応付けの判定を行った人体領域の情報を人体特定領域抽出手段２４と、記憶手段２６へ送信する。

人体特定領域抽出手段２４は、人体判定手段２３より対応付けの判定を行った人体領域の情報を受け取る。人体特定領域抽出手段２４は、受け取った人体領域の情報の中から肌色の領域を抽出する。肌色の領域を抽出する方法として、第１の具体例と同様に、画像をある成分に分解できる一般的な処理の１つであるＨＳＶ変換を行い、Ｈ成分（色成分）とＳ成分（彩度成分）がそれぞれある闘値より大きくある闘値より小さい領域を抽出する手段を用いても良い。人体特定領域抽出手段２４は、抽出された肌色領域の中からある闘値より大きくある闘値より小さい領域を抽出し、これを額候補領域とする。

そして、人体特定領域抽出手段２４は、額候補領域の重心点を求める。人体特定領域抽出手段２４は、各額候補領域と人体の重心点の距離を求め、その距離がある闘値より近いものの中で「最も人体重心点に近い重心点を持つ額候補領域」１つを額領域として抽出する。人体特定領域抽出手段２４は、各額候補領域と人体の重心点の距離がある闘値を満たさない場合、その額候補領域は額ではないと判断する。額候補領域を額領域として抽出する際に人体の重心点からの距離を調べるのは、ユーザの頭上に設置されたカメラから人体を撮影すると人体の重心点の近くに額領域が存在するため、額候補領域と人体の重心点の距離を計測することで正しく額領域を抽出することができるからである。
人体特定領域抽出手段２４は、抽出された額領域の情報を記憶手段２６へ送信する。

上記のように、本実施形態では、過去のフレーム（すなわち、前フレーム）における人体領域の情報を記憶しておき、検出された人体領域毎に人体の特定領域の存在する数と、特定領域が人体に存在する時の位置情報を使い、それら条件に当てはまる領域を抽出する。例えば、特定領域が手領域の場合は、手のひらが人体で最大２つ存在することと体の末端にあることから、体の末端にある領域を最大２つずつ人体領域毎に抽出する。また、別の例として特定領域が額の場合は、人体で最大１つ存在することと、人体を真上から撮影したカメラで撮った場合に、体の重心付近に位置することから、体の重心近くにある領域を最大１つずつ人体領域毎に抽出する。
手領域の左右判定では、人体領域の重心点と、右手と左手それぞれの手領域重心点を結ぶ２本の直線が、ある基準線と成す角度を比較することで左右の判定を行う。この結果、複数人の手領域が複雑に移動しても、正しく右手と左手を判定することが可能になる。
また、あるフレームにおける人体の特定領域の重心点と人体領域の重心点とを結ぶ角度情報を記憶しておき、その情報を用いることで、移動を行う複数人の人体の特定手域を正しく対応付ける。この結果、複数人の人体の特定領域が複雑に移動しても、あるフレームとその次のフレームとで人体の特定領域の正しい対応付けが可能になる。

本発明は、上記各実施の形態に限ることなく、その他、実施段階ではその要旨を逸脱しない範囲で種々の変形を実施し得ることが可能である。さらに、上記各実施形態には、種々の段階の発明が含まれており、開示される複数の構成要件における適宜な組合せにより種々の発明が抽出され得る。
また、例えば各実施形態に示される全構成要件から幾つかの構成要件が削除されても、発明が解決しようとする課題の欄で述べた課題が解決でき、発明の効果で述べられている効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

本発明の一実施形態に係る人体特定領域抽出・判定装置の概略構成を示すブロック図である。 第１の具体例に係る人体特定領域抽出・判定装置の構成例を示す図である。 人体判定手段１３の具体的な処理の流れを示すフローチャートである。 手領域の左右を判定する原理の一例を説明するための図。 人体特定領域判定手段１５の処理の流れを示すフローチャートである。 手領域の左右の前フレームと現フレームとの対応付けを判定する原理の一例を説明するための図。 第２の具体例に係る人体特定領域抽出・判定装置の構成例を示す図である。

符号の説明

１…撮影部
２…人体領域検出部
３…人体判定部
４…人体特定領域抽出部
５…人体特定領域判定部
６…記憶部
７…記憶部
８…左右判定部
１０…ビデオカメラ
２０…ビデオカメラ
１１、２１…計算機
１２、２２…人体領域検出手段
１３、２３…人体判定手段
１４、２４…人体特定領域抽出手段
１５…人体特定領域判定手段
１６、２６…記憶手段
１７…左右判定手段

Claims (7)

1. 人体をその頭上から撮影した画像の中から人体領域を検出する人体領域検出手段と、
   前記人体領域検出手段により検出された現在のフレームにおける人体領域を表す情報と、現在より前のフレームで検出された人体領域を表す情報との対応付けを行う人体判定手段と、
   前記人体判定手段により対応付けられた人体領域を表す情報の中から手候補領域を抽出して、この抽出された手候補領域の重心点を求め、この求められた手候補領域の重心点と前記人体領域の重心点との距離を求めて、前記人体領域の重心点と最も離れた重心点を持つ最大２つの前記手候補領域を特定領域として抽出する人体特定領域抽出手段と
   を具備することを特微とする人体特定領域抽出・判定装置。
2. 請求項１に記載の人体特定領域抽出・判定装置において、前記人体特定領域抽出手段により特定領域として抽出された手領域が２個ある場合に、この２個の手領域の重心点と前記人体領域の重心点とを結ぶ線分をそれぞれ求め、この求められた２つの線分により形成される角の右辺側に位置する手領域を右手と判定し、左辺側に位置する手領域を左手と判定する左右判定手段を、更に具備することを特徴とする人体特定領域抽出・判定装置。
3. 請求項２に記載の人体特定領域抽出・判定装置において、
   前記人体判定手段により得られた、現在フレームにおける人体領域を表す情報とそれより前のフレームで検出された人体領域を表す情報とを対応付けた情報と、前記人体特定領域抽出手段により特定領域として抽出された現フレームの手領域の重心点を表す情報と、前記左右判定手段により得られた現フレームの手領域の左右判定情報を、次のフレームの処理まで記憶する記憶手段と、
   前記記憶手段に記憶された各情報に基づいて、現在のフレームの手領域と現在より前のフレームの手領域との重心距離で対応付け判定を行う人体特定領域判定手段と
   を、更に具備し、
   前記人体特定領域判定手段は、
   現フレームで手領域が検出されないが前フレームで手領域が検出されていた場合に、前記前フレームで検出されていた手領域を現フレームでは無くなった手領域と認識して、前記記憶手段に記憶された情報のうち当該前フレームで検出された手領域に関する情報を消去対象とする第１の手段と、
   現フレームで手領域が検出されたが前フレームでは手領域が検出されていなかった場合に、前記現フレームの手領域は新たに出現した手領域として認識して、当該手領域に関する情報を保存対象とする第２の手段と、
   前フレームで両手の手領域が検出されかつ現フレームでも両手の手領域が検出された場合に、前フレームで検出された右手及び左手を表す情報と現フレームで検出された右手及び左手を表す情報とをそれぞれ対応付ける第３の手段と、
   前フレームで片手の手領域が検出されかつ現フレームでは両手の手領域が検出された場合に、現フレームで検出された右手及び左手の各手領域の人体領域に対する角度と、前フレームで検出された片手の手領域の人体領域に対する角度とを比較し、前フレームの片手の手領域の角度と近い角度を持つ現フレームの右手又は左手の手領域を選択して、この選択した現フレームの右手又は左手の手領域を表す情報と前フレームの片手の手領域を表す情報とを対応付ける第４の手段と、
   前フレームで両手の手領域が検出されかつ現フレームでは片手の手領域が検出された場合に、前フレームで検出された右手及び左手の各手領域の人体領域に対する角度と、現フレームで検出された片手の手領域の人体領域に対する角度とを比較し、現フレームの片手の手領域の角度と近い角度を持つ前フレーム右手又は左手の手領域を選択して、この選択した前フレームの右手又は左手の手領域を表す情報と現フレームの片手の手領域を表す情報とを対応付ける第５の手段と、
   前フレームで片手に相当する手領域が検出されかつ現フレームでも片手に相当する手領域が検出された場合に、現フレームで検出された片手に相当する手領域の人体領域の基準線に対する角度と、前フレームで検出された片手に相当する手領域の人体領域の基準線に対する角度とを比較し、角度の差が閾値以下であった場合には前記現フレームの片手に相当する手領域を表す情報と前記前フレームの片手に相当する手領域を表す情報とを対応付ける第６の手段と、
   前記第１乃至第６の手段による対応付け処理の結果に基づいて、前記記憶手段に記憶された各情報を更新する手段と
   を備えることを特徴とする人体特定領域抽出・判定装置。
4. 人体をその頭上から撮影した画像の中から人体領域を検出する過程と、
   前記人体領域検出手段により検出された現在のフレームにおける人体領域を表す情報と、現在より前のフレームで検出された人体領域を表す情報との対応付けを行う人体判定過程と、
   前記人体判定手段により対応付けられた人体領域を表す情報の中から手候補領域を抽出して、この抽出された手候補領域の重心点を求め、この求められた手候補領域の重心点と前記人体領域の重心点との距離を求めて、前記人体領域の重心点と最も離れた重心点を持つ最大２つの前記手候補領域を特定領域として抽出する人体特定領域抽出過程と
   を具備することを特微とする人体特定領域抽出・判定方法。
5. 請求項４に記載の人体特定領域抽出・判定方法において、前記人体特定領域抽出過程により特定領域として抽出された手領域が２個ある場合に、この２個の手領域の重心点と前記人体領域の重心点とを結ぶ線分をそれぞれ求め、この求められた２つの線分により形成される角の右辺側に位置する手領域を右手と判定し、左辺側に位置する手領域を左手と判定する左右判定過程を、更に具備することを特徴とする人体特定領域抽出・判定方法。
6. 請求項５に記載の人体特定領域抽出・判定方法において、
   前記人体判定手段により得られた、現在フレームにおける人体領域を表す情報とそれより前のフレームで検出された人体領域を表す情報とを対応付けた情報と、前記人体特定領域抽出手段により特定領域として抽出された現フレームの手領域の重心点を表す情報と、前記左右判定手段により得られた現フレームの手領域の左右判定情報を次のフレームの処理まで記憶手段に記憶する過程と、
   前記記憶手段に記憶された各情報に基づいて、現在のフレームの手領域と現在より前のフレームの手領域との重心距離で対応付け判定を行う人体特定領域判定過程と
   を、更に具備し、
   前記人体特定領域判定過程は、
   現フレームで手領域が検出されないが前フレームで手領域が検出されていた場合に、前記前フレームで検出されていた手領域を現フレームでは無くなった手領域と認識して、前記記憶手段に記憶された情報のうち当該前フレームで検出された手領域に関する情報を消去対象とする第１の過程と、
   現フレームで手領域が検出されたが前フレームでは手領域が検出されていなかった場合に、前記現フレームの手領域は新たに出現した手領域として認識して、当該手領域に関する情報を保存対象とする第２の過程と、
   前フレームで両手の手領域が検出されかつ現フレームでも両手の手領域が検出された場合に、前フレームで検出された右手及び左手を表す情報と現フレームで検出された右手及び左手を表す情報とをそれぞれ対応付ける第３の過程と、
   前フレームで片手の手領域が検出されかつ現フレームでは両手の手領域が検出された場合に、現フレームで検出された右手及び左手の各手領域の人体領域に対する角度と、前フレームで検出された片手の手領域の人体領域に対する角度とを比較し、前フレームの片手の手領域の角度と近い角度を持つ現フレーム右手又は左手の手領域を選択して、この選択した現フレームの右手又は左手の手領域を表す情報と前フレームの片手の手領域を表す情報とを対応付ける第４の過程と、
   前フレームで両手の手領域が検出されかつ現フレームでは片手の手領域が検出された場合に、前フレームで検出された右手及び左手の各手領域の人体領域に対する角度と、現フレームで検出された片手の手領域の人体領域に対する角度とを比較し、現フレームの片手の手領域の角度と近い角度を持つ前フレーム右手又は左手の手領域を選択して、この選択した前フレームの右手又は左手の手領域を表す情報と現フレームの片手の手領域を表す情報とを対応付ける第５の過程と、
   前フレームで片手に相当する手領域が検出されかつ現フレームでも片手に相当する手領域が検出された場合に、現フレームで検出された片手に相当する手領域の人体領域の基準線に対する角度と、前フレームで検出された片手に相当する手領域の人体領域の基準線に対する角度とを比較し、角度の差が閾値以下であった場合には前記現フレームの片手に相当する手領域を表す情報と前記前フレームの片手に相当する手領域を表す情報とを対応付ける第６の過程と、
   前記第１乃至第６の過程による対応付け処理の結果に基づいて、前記記憶手段に記憶された各情報を更新する過程と
   を備えることを特徴とする人体特定領域抽出・判定方法。
7. 請求項４乃至請求項６のいずれかに記載の人体特定領域抽出・判定方法が備える各過程における処理を、計算機に実行させる人体特定領域抽出・判定プログラム。

Images