JP4479194B2

JP4479194B2 - 動作識別装置、及び対象物の姿勢識別装置

Info

Publication number: JP4479194B2
Application number: JP2003306206A
Authority: JP
Inventors: 典司加藤; 仁池田; 正浩前田
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2003-08-29
Filing date: 2003-08-29
Publication date: 2010-06-09
Anticipated expiration: 2023-08-29
Also published as: JP2005078257A; US20050084141A1; US7734062B2

Description

本発明は、人物等、対象物の動作や姿勢に関する情報を出力する動作識別装置及び姿勢識別装置に関する。

撮像した画像データから、被写体である人物の姿勢を識別する装置としては、従来から手や肩の相対的位置関係を利用するものなどが開発されている（例えば特許文献１）。ここで手のように変形自由度の大きい対象は、パターン認識による識別が極めて困難であることから、その色を利用して認識を行うことが行われている。
特開平８−３２０９２０号公報

しかしながら、色を利用して認識を行う場合、手の近傍に肌色に近い物体が存在する場合に、誤認識が発生しやすくなる。また、対象が人物でなくとも、例えば動物やロボット等、一般の対象物でも同様であって、色のような外観の性状を用いて対象部分を認識する際には、当該性状に類似した物体が撮像されているときには誤認識が発生しやすくなる。

本発明は上記実情に鑑みて為されたもので、外観の性状を利用して対象を認識する場合に、その認識精度を向上できる動作識別装置、及び対象物の姿勢識別装置を提供することを、その目的の一つとする。

上記従来例の問題点を解決するための本発明は、人物の顔を含む少なくとも一部を撮像して生成された画像データを取得し、当該画像データに撮像された人物の動作内容を表す情報を出力する動作識別装置であって、前記画像データから、人物の顔部分を含む第１画像領域を特定する顔部分特定手段と、前記第１画像領域内の画素値から、当該人物に固有の肌色情報を取得する手段と、前記取得された肌色情報に基づき、前記画像データのうち、前記第１画像領域外の部分から、前記人物の身体の一部所定部分を含む第２画像領域を、少なくとも一つ特定する手段と、前記特定された第１画像領域と、第２画像領域との位置関係に基づき、前記人物の動作内容を表す情報を出力する情報出力手段と、を含むことを特徴としている。

ここで人体の３次元モデルを仮想２次元平面に投影して得られるモデル画像を用い、モデル画像内の頭部相当位置及び前記一部所定部分相当位置を表す位置情報に対応づけて動作内容を表す情報を保持する保持手段をさらに含み、前記情報出力手段は、前記保持手段に保持されている位置情報と、前記特定された第１画像領域と、第２画像領域との位置関係を表す情報との比較により、前記位置情報のいずれかに対応付けられた動作内容を表す情報を取得して出力することとしてもよい。

また、前記顔部分特定手段は、前記画像データから人物の顔の表面の３次元的方向を特定する顔面方向情報を出力し、前記情報出力手段は、前記特定された第１画像領域と、第２画像領域との位置関係、並びに、前記顔面方向情報に基づき、前記人物の動作内容を表す情報を出力することとしてもよい。この場合、人体の３次元モデルを仮想２次元平面に投影して得られるモデル画像を用い、モデル画像内の頭部相当位置及び前記一部所定部分相当位置を表す位置情報、並びに前記頭部に関連づけられた所定方向の向きを表す顔面方向情報、に対応づけて動作内容を表す情報を保持する保持手段をさらに含み、前記情報出力手段は、前記保持手段に保持されている位置情報と、前記特定された第１画像領域と、第２画像領域との位置関係を表す情報との比較と、前記顔部分特定手段が出力する顔面方向情報と、前記保持手段に保持されている顔面方向情報との比較と、により、前記位置情報のいずれかに対応付けられた動作内容を表す情報を選択的に出力することとしてもよい。

また、上記従来例の問題点を解決するための本発明は、対象物の少なくとも一部を撮像して生成された画像データを取得する手段と、前記画像データから、対象物の所定特徴部分を含む第１画像領域を特定する第１部分特定手段と、前記第１画像領域内の画素値から、当該対象物の外観に関する性状情報を取得する手段と、前記取得された性状情報に基づき、前記画像データのうち、前記第１画像領域外の部分から、前記対象物の一部が撮像された画像部分、を含む第２画像領域を、少なくとも一つ特定する手段と、前記特定された第１画像領域と、第２画像領域との位置関係に基づき、前記対象物の姿勢に関する情報を出力する情報出力手段と、を含むことを特徴としている。

さらに、上記従来例の問題点を解決するための本発明は、コンピュータを用い、人物の顔を含む少なくとも一部を撮像して生成された画像データを取得し、当該画像データに撮像された人物の動作内容を表す情報を出力する動作識別方法であって、前記画像データから、人物の顔部分を含む第１画像領域を特定する工程と、前記第１画像領域内の画素値から、当該人物に固有の肌色情報を取得する工程と、前記取得された肌色情報に基づき、前記画像データのうち、前記第１画像領域外の部分から、前記人物の身体の一部所定部分を含む第２画像領域を、少なくとも一つ特定する工程と、前記特定された第１画像領域と、第２画像領域との位置関係に基づき、前記人物の動作内容を表す情報を出力する工程と、を含むことを特徴としている。

また、本発明の一態様に係るプログラムは、コンピュータに、人物の顔を含む少なくとも一部を撮像して生成された画像データを取得させ、当該画像データに撮像された人物の動作内容を表す情報を出力させる動作識別プログラムであって、前記画像データから、人物の顔部分を含む第１画像領域を特定する手順と、前記第１画像領域内の画素値から、当該人物に固有の肌色情報を取得する手順と、前記取得された肌色情報に基づき、前記画像データのうち、前記第１画像領域外の部分から、前記人物の身体の一部所定部分を含む第２画像領域を、少なくとも一つ特定する手順と、前記特定された第１画像領域と、第２画像領域との位置関係に基づき、前記人物の動作内容を表す情報を出力する手順と、を前記コンピュータに実行させることを特徴としている。

本発明の実施の形態について図面を参照しながら説明する。本発明の実施の形態に係る動作識別装置は、図１に示すように、制御部１１と、記憶部１２と、入出力インタフェース１３と、表示部１４と、を含んで構成されている。

制御部１１は、記憶部１２に格納されているプログラムに従って動作しており、外部から取得した画像データから顔の部分の画像を特定する処理（顔特定処理）と、手の部分の画像を特定する処理（手特定処理）と、これらの処理で特定された顔及び手の相対的位置の情報に基づいて被写体となっている人物の動作を識別する動作識別処理とを基本的に実行している。これらの処理の具体的内容については、後に述べる。

記憶部１２は、制御部１１によって実行されるプログラムを格納する、コンピュータ可読な記録媒体である。またこの記憶部１２は、制御部１１の処理の過程で必要となる種々のデータを記憶するワークメモリとしても動作する。入出力インタフェース１３は、図１に示すように、例えばカメラ装置などの外部装置に接続され、当該外部装置から画像データを取得して制御部１１に出力する。またこの入出力インタフェース１３は、制御部１１から入力される指示に従って、種々のデータを外部装置に出力する。表示部１４は、例えばディスプレイ等であり、制御部１１から入力される指示に従って情報の表示を行う。

制御部１１によって実行されるプログラムは、機能的には図２に示すように、画像変換部２１と、顔特定処理部２２と、肌色抽出部２３と、手候補領域特定部２４と、手特定処理部２５と、動作識別部２６とを含んで構成される。画像変換部２１は、入出力インタフェース１３を介して取得され、処理対象となる画像データを、グレイスケールの画像データ（グレイスケールデータ）に変換して、顔特定処理部２２に出力する。またこの画像変換部２１は、上記処理対象となる画像データを、色相画像の画像データ（色相データ）に変換して、肌色抽出部２３と手特定処理部２５とに出力する。

顔特定処理部２２は、画像変換部２１から入力されるグレイスケールデータから、顔の部分を特定する処理を行う。この顔特定処理部２２は後に説明するように、予め学習獲得されたデータに基づいて画像データ中の顔部分を認識することとすればよい。また、この顔特定処理部２２は、顔の位置だけでなく、顔の向き（３次元的向き）や大きさを特定可能なものであってもよい（このような顔特定処理についても後に述べる）。

肌色抽出部２３は、画像変換部２１から入力される色相データのうち、顔特定処理部２２が特定した顔の部分に対応する領域の部分画像を取り出し、当該部分画像の平均色相データを演算して出力する。具体的には、顔特定処理部２２が出力する領域情報によって画定される領域に含まれる色相データ中の画素値のヒストグラムを肌色情報として出力する。この肌色情報は、顔特定処理部２２によって特定された顔の色（すなわち顔の肌の色）のヒストグラムであり、いわば当該人物に固有の肌色の情報である。本実施の形態の装置は、この対象に固有の肌色を抽出し、それを利用して手の部分を特定する。なお、ここで色相によって比較しているのは、例えば日焼けや照明の状態等で、顔と手との肌色の明度が変化した場合に配慮したものである。

手候補領域特定部２４は、顔特定処理部２２から入力される顔部分の位置等の情報に基づき、当該人物の手が含まれると推定される領域の候補を少なくとも一つ出力する。具体的に、この手候補領域特定部２４は、動作モデルデータベース３１を備えており、この動作モデルデータベース３１内に格納された動作モデルデータを参照しながら手が含まれると推定される領域を画定する情報（例えば矩形で当該領域を画定する場合、その矩形の対角線上の頂点座標など）を、手候補領域として出力することになる。

ここで動作モデルデータベース３１は、人体の３次元モデルを仮想２次元平面に投影して得られるモデル画像を用いて作成できる。例えば図３（ａ）の下の図に示すように、操作対象物（例えばパーソナルコンピュータ、なお図中では破線で示した）に対して人物が手を伸ばしている場合、ここでの頭部の位置（Ｐ１）と、左手及び右手に対応する手候補領域（Ｐ２Ｌ，Ｐ２Ｒ）と「パーソナルコンピュータ等の操作」との動作内容を表す情報とを互いに関連づけたエントリが少なくとも一つ生成され、動作モデルデータベース３１に格納される。

なお、図３（ｂ）に示すように、人物が図３（ａ）の姿勢から、当該人物の右手方向に（頭部中心を回転中心として）角度θだけ体を回転すると（図３（ａ），（ｂ）の上側の図を参照）、図３（ｂ）下に示すように、頭部の位置（Ｐ１）に対する手候補領域（Ｐ２Ｌ，Ｐ２Ｒ）の相対的位置が変化する。この変化後の位置は、角度θと、頭部中心から手の部分中の所定位置への距離Ｌ及び角度α（この距離Ｌ及び角度αの絶対値は、右手，左手とも同じであってもよいし、異なってもよい）とを用いて、図３（ａ）下に示した基本位置からＬ×ｓｉｎ（α＋θ）だけ移動した位置として演算によって定め得る。

なお、ここでは頭部の回転角度に応じて、手の位置が移動するものと仮定している。ここで角度θが顔特定処理部２２から得られる場合、距離Ｌが定まればよいので、当該姿勢との関係における肘関節の伸長度合いから推定されるパラメータとして、この距離Ｌを上記頭部や手の位置あるいは動作内容を表す情報に関連づけて、各エントリに含めてもよい。

手候補領域特定部２４は、この動作モデルデータベース３１からエントリを一つ取り出し、顔特定処理部２２が出力する顔の向きの情報（角度θ）と、当該エントリに含まれる距離Ｌと、予め定められたαと、エントリに含まれる基本位置の情報とを用いて、頭部の位置に対する補正手候補領域を生成し、この生成した補正手候補領域を、エントリに含まれている動作内容を表す情報とともに出力する。

すなわち、この手候補領域特定部２４は、人体の３次元モデルを仮想２次元平面に投影して得られるモデル画像を用い、モデル画像内の頭部に相当する位置及び補正手候補領域を表す位置情報と、それに対応付けられた動作内容を表す情報とを出力するものである。

手特定処理部２５は、顔特定処理部２２が出力する顔の位置の情報と、手候補領域特定部２４が出力する位置情報とに基づき、画像変換部２１から入力される色相データ上で手の探索を開始する領域（探索開始領域）を、手の位置Ｐ２Ｌ，Ｐ２Ｒのそれぞれについて一つずつ定める。この探索開始領域は例えば、手の位置Ｐ２Ｌについては、Ｐ２Ｌを画定する矩形と重複する部分を有する矩形として定めることができる。そして手特定処理部２５は、当該探索開始領域内の各画素の画素値と肌色抽出部２３が出力する肌色情報によって示される値とを用いて、色相データのうち探索開始領域に含まれる部分から当該肌色抽出部２３が出力した肌色の部分の重心を求め、当該重心を中心として、新たな探索領域を画定する。この探索領域は、探索開始領域と同じサイズ、形状の領域とすればよい。

以下、同様にして新たに画定した探索領域内で、肌色の部分の重心を求める処理と探索領域を移動する処理とを、新たに求めた重心と前回求めた重心との距離が所定値以下になるまで（探索領域が収束するまで）繰り返し行う。なお、予め定めた繰り返し回数内に収束しない場合には、手が検出されなかったと判断して処理の繰り返しを終了してもよい。

探索領域が収束すると、手特定処理部２５は、収束した重心の位置が補正手候補領域内にあるか否かを調べ、補正手候補領域内にあれば、手が検出されたと判断する。ここで、重心の位置が、補正手候補領域内にない場合は手が検出されなかったと判断する。

このように、予め定めた繰り返し回数以内に収束しないか、収束の結果得られた重心位置が補正手候補領域内にないなど、手が検出されなかったと判断された場合、手特定処理部２５は、次の探索開始座標を提供するよう手候補領域特定部２４に求める。そして手候補領域特定部２４が、動作モデルデータベース３１の次のエントリから頭部に相当する位置及び手に相当する位置を表す位置情報と、それに対応付けられた動作内容を表す情報とを出力するようになる。

また、手特定処理部２５は、手が検出されたと判断された場合、その旨を動作識別部２６に出力する。なお、手特定処理部２５は、手候補領域特定部２４が出力する補正手候補領域が左手と右手とに対応して２つある場合は、それぞれの補正手候補領域内から手を検出する処理を行い、すべての補正手候補領域から手が検出されたと判断された場合に、手が検出されたことを表す情報を動作識別部２６に出力してもよい。また、いずれか一方の補正手候補領域内で手が検出されなかった場合は、手が検出できなかったと判断して、次の探索開始座標を提供するよう手候補領域特定部２４に求めるようにしてもよい。

動作識別部２６は、手候補領域特定部２４が前回（つまり最後に）出力した、動作内容を表す情報を保持し、手特定処理部２５から手が検出されたことを表す情報が入力されると、当該保持している動作内容を表す情報を出力する。

［顔を特定する処理］
ここで、顔を特定する処理について説明する。顔特定処理部２２は、例えば人物の顔を学習した第１学習データベースを用い、画像データ中から人物の顔に相当する部分を抽出するものであればよい。この際、顔部分を所定の方法で特定した後、予め正立かつ正面向きの顔の画像（正規画像）と、正規画像から、顔を右向き及び左向きにそれぞれ所定角度だけ回転させた複数の顔画像を用意して、これらを学習した第２学習データベースを用いて、顔部分の画像を正規画像に近接するよう変換し（正規化）、第１学習データベース内の情報とを用いて、当該正規化後の画像データが顔の画像か否かを判断するようにしてもよい。これによると、正規化の処理の過程で回転角が判別できることになるので、正規化の処理により迅速に顔であるか否かが判別できるようになるとともに、当該過程で得られた回転角を出力することで、上述のように顔の向きを利用した処理に供することができるようになる。

［動作］
本発明の実施の形態に係る動作識別装置は、そして、次のように動作する。なお、以下の説明では動作モデルデータベース１３内のエントリには、それぞれモデル識別番号が連番で付与されているとする。この動作識別装置は、図４に示すように、まず入力された画像から顔部分を検出する処理を行い（Ｓ１）、顔が検出できたか否かを判断する（Ｓ２）。ここで顔が検出できていなければ（Ｎｏならば）、処理Ｓ１に戻って処理を続ける。また、顔が検出できていれば（Ｙｅｓならば）、当該検出した顔部分から、当該人物に固有の肌色を取り出す（Ｓ３）。

この処理は、例えば顔部分の色相成分のヒストグラムを抽出することにより実現できる。そして変数Ｍを「１」に初期化し（Ｓ４）、モデル識別番号が変数Ｍであるエントリを動作モデルデータベース１３から取り出す（Ｓ５）。

そして当該エントリに含まれる情報から、手の位置を探索する候補領域と、探索の開始領域（修正手探索領域）とを特定して（Ｓ６）、当該領域から手の探索を行う（Ｓ７）。この手の探索処理は既に述べたように、処理Ｓ３で取り出した肌色の重心を探索領域から探し、当該重心位置に探索領域の中心を移動するという処理を、探索領域の移動が収束するか、所定の繰り返し回数を超えるかするまで繰り返すというものでよい。

そしてこの処理Ｓ７によって手が検出できたか否かを調べ（Ｓ８）、手が検出できた場合（Ｙｅｓの場合）、処理Ｓ５で取り出したエントリに含まれる動作内容を表す情報を出力して（Ｓ９）、処理を終了する。ここで、手が検出できたか否かは、探索領域の移動が収束し、かつ当該収束の結果得られた重心位置が処理Ｓ６で定められた候補領域内にあるとの条件によって判断できる。

また、処理Ｓ８において手が検出できなかった場合（Ｎｏの場合）、変数Ｍをインクリメントし（Ｓ１０）、変数Ｍがモデル識別番号の最大値を超えたか（すべてのモデルについて処理Ｓ６からＳ８の処理を行ったか）を調べ（Ｓ１１）、超えていれば（Ｙｅｓならば）、動作の識別に失敗した旨の情報を出力して（Ｓ１２）、処理を終了する。

一方、処理Ｓ１１において、変数Ｍがモデル識別番号の最大値を超えていなければ（Ｎｏならば）、処理Ｓ５に戻って処理を続ける。

［変形例］
ここまでの説明では、動作モデルデータベース１３は、人体の顔や手の位置に関連づけて動作内容を表す情報を格納していることとして説明したが、動作モデルデータベース１３の内容としてはこれに限られず、他の人体の露出箇所（例えば裸足になる環境であれば足など）の位置を用いてもよい。さらに、机やコンピュータのキーボードなどの什器や装置などの位置を併せて用いてもよい。これによれば、例えば人体の手がキーボードの近くにある場合にはコンピュータを操作していると判断することができるようになる。

また、ここまでの説明では、人物の姿勢を認識し、その認識の結果に関連づけられた動作の識別情報を出力する場合を例として述べてきたが、本発明の範囲はこれに限られるものではない。すなわち、互いに連関した動作をする同系色の部分が複数あり、そのうちの少なくとも一つが色を用いない方法で認識可能であればよい。さらに色だけでなく、外観に関する一般的な性状の情報（色、模様など）を用いてもよい。具体的には、動物の姿勢（当該個体に固有の斑や色を用いることができる）などを特定することも可能であるし、ロボットや車両など生物以外の姿勢、動きを特定することもできる。

本発明の実施の形態に係る動作識別装置の構成ブロック図である。本発明の実施の形態に係る動作識別装置の処理の例を表す機能ブロック図である。動作モデルに設定される情報の例を表す説明図である。本発明の実施の形態に係る動作識別装置の動作の流れを表すフローチャート図である。

符号の説明

１１制御部、１２記憶部、１３入出力インタフェース、１４表示部、２１画像変換部、２２顔特定処理部、２３肌色抽出部、２４手候補領域特定部、２５手特定処理部、２６動作識別部、３１動作モデルデータベース。

Claims

人物の顔を含む少なくとも一部を撮像して生成された画像データを取得し、当該画像データに撮像された人物の動作内容を表す情報を出力する動作識別装置であって、
前記画像データから、人物の顔部分を含む第１画像領域を特定する顔部分特定手段と、
前記第１画像領域内の画素値から、当該人物に固有の肌色情報を取得する手段と、
前記取得された肌色情報に基づき、前記画像データのうち、前記第１画像領域外の部分から、前記人物の身体の一部所定部分を含む第２画像領域を、少なくとも一つ特定する手段と、
前記特定された第１画像領域と、第２画像領域との位置関係に基づき、前記人物の動作内容を表す情報を出力する情報出力手段と、
を含むことを特徴とする動作識別装置。
請求項１に記載の動作識別装置において、
人体の３次元モデルを仮想２次元平面に投影して得られるモデル画像を用い、モデル画像内の頭部相当位置及び前記一部所定部分相当位置を表す位置情報に対応づけて動作内容を表す情報を保持する保持手段をさらに含み、
前記情報出力手段は、前記保持手段に保持されている位置情報と、前記特定された第１画像領域と、第２画像領域との位置を表す情報との比較により、前記位置情報のいずれかに対応付けられた動作内容を表す情報を取得して出力することを特徴とする動作識別装置。
請求項１に記載の動作識別装置において、
前記顔部分特定手段は、前記画像データから人物の顔の表面の３次元的方向を特定する顔面方向情報を出力し、
前記情報出力手段は、前記特定された第１画像領域と、第２画像領域との位置関係、並びに、前記顔面方向情報に基づき、前記人物の動作内容を表す情報を出力することを特徴とする動作識別装置。
請求項３に記載の動作識別装置において、
人体の３次元モデルを仮想２次元平面に投影して得られるモデル画像を用い、モデル画像内の頭部相当位置及び前記一部所定部分相当位置を表す位置関係情報、並びに前記頭部に関連づけられた所定方向の向きを表す顔面方向情報、に対応づけて動作内容を表す情報を保持する保持手段をさらに含み、
前記情報出力手段は、前記保持手段に保持されている位置情報と、前記特定された第１画像領域と、第２画像領域との位置関係を表す情報との比較と、前記顔部分特定手段が出力する顔面方向情報と、前記保持手段に保持されている顔面方向情報との比較と、により、前記位置情報のいずれかに対応付けられた動作内容を表す情報を選択的に出力することを特徴とする動作識別装置。
コンピュータを用い、人物の顔を含む少なくとも一部を撮像して生成された画像データを取得し、当該画像データに撮像された人物の動作内容を表す情報を出力する動作識別方法であって、
前記画像データから、人物の顔部分を含む第１画像領域を特定する工程と、
前記第１画像領域内の画素値から、当該人物に固有の肌色情報を取得する工程と、
前記取得された肌色情報に基づき、前記画像データのうち、前記第１画像領域外の部分から、前記人物の身体の一部所定部分を含む第２画像領域を、少なくとも一つ特定する工程と、
前記特定された第１画像領域と、第２画像領域との位置関係に基づき、前記人物の動作内容を表す情報を出力する工程と、
を含むことを特徴とする動作識別方法。
コンピュータに、人物の顔を含む少なくとも一部を撮像して生成された画像データを取得させ、当該画像データに撮像された人物の動作内容を表す情報を出力させる動作識別プログラムであって、
前記画像データから、人物の顔部分を含む第１画像領域を特定する手順と、
前記第１画像領域内の画素値から、当該人物に固有の肌色情報を取得する手順と、
前記取得された肌色情報に基づき、前記画像データのうち、前記第１画像領域外の部分から、前記人物の身体の一部所定部分を含む第２画像領域を、少なくとも一つ特定する手順と、
前記特定された第１画像領域と、第２画像領域との位置関係に基づき、前記人物の動作内容を表す情報を出力する手順と、
を前記コンピュータに実行させることを特徴とする動作識別プログラム。