JP6977337B2 - 部位認識方法、装置、プログラム、及び撮像制御システム - Google Patents

Description

開示の技術は、部位認識方法、部位認識装置、部位認識プログラム、及び撮像制御システムに関する。

カメラで撮像された画像から、対象物に含まれる部位を認識する技術が存在する。例えば、デジタル画像信号をフレーム単位での画像データとして記憶するバッファメモリ部と、その画像データから対象物（動画像領域）を抽出し、シルエット画像を生成する形状生成部とを備える時系列画像解析装置が提案されている。また、この装置は、シルエット画像を対象物の各部位の形状に対応する幾何学的なモデル形状や動作による形状変化の情報が記憶される対象物モデル部を備える。この装置は、さらに、形状生成部と対象物モデル部の出力から対象物の各部位の位置や傾斜角のパラメータを概念的に算出するパラメータ算出部と、算出されたパラメータ群全体をシルエット画像群に整合させる整合部と出力部とを備える。

また、物体を撮影した画像を取得する画像入力部と、姿勢ごとに複数の部位の配置を規定する姿勢情報を保持する姿勢情報データベースとを備える姿勢推定装置が提案されている。また、この装置は、画像における複数の部位の配置と、姿勢情報との間で、部位ごとの相関度を算出するフィッティング部を備える。また、この装置は、姿勢情報に含まれる部位のそれぞれの平行線成分に基づいて算出された、姿勢ごとに部位のそれぞれの位置の推定の難しさの度合いである推定難度を保持する難度情報テーブルを備える。さらに、この装置は、相関度に対して、推定難度に基づく重み付けを適用し、重み付けされた相関度に基づいて、物体の姿勢の推定を行う姿勢推定部を備える。

また、関節を有する物体の姿勢状態を高精度に推定することができる姿勢状態推定装置が提案されている。この装置は、関節により接続された複数の部位を有する物体を撮影した画像データに基づいて物体の姿勢状態の推定を行う装置である。また、この装置は、画像データから、少なくとも２つ以上の部位について、各部位が位置することの尤もらしさの分布を示す尤度マップを生成する尤度マップ生成部と、姿勢状態に予め対応付けられた尤度マップである学習尤度マップとを備える。さらに、この装置は、画像データに基づいて生成された尤度マップである推定尤度マップとの一致度が高いとき、その学習尤度マップと対応付けられた姿勢状態を、物体の姿勢状態として推定する姿勢状態推定部を備える。

特開平８−２１４２８９号公報 特開２０１３−１２５４０２号公報 国際公開第２０１２／０７７２８７号

例えば、カメラで撮像された画像から、人などの対象物について、頭、右手、左手等の各部位を認識する場合、画像から所定サイズの部分画像を切り出し、部位検出器などを利用して、その部分画像が対象の部位を示す画像である確率を算出することが考えられる。

しかし、画像内に対象物がどの程度の大きさで撮像されるかが不定の場合、切り出した部分画像に背景などの余分な物が写り込んでいたり、部位を認識するために必要な部分が含まれていなかったりする可能性がある。このような場合、部位の認識精度が低下する。

開示の技術は、一つの側面として、画像から精度良く部位を認識することを目的とする。

開示の技術は、一つの態様として、入力画像の各位置を基準に大きさが異なる複数の部分画像を切り出す。そして、各部分画像の大きさに対応し、かつ部分画像が予め定めた複数の部位の各々を示す画像である確率の各々を出力する部位検出器の各々を用いて、切り出した前記複数の部分画像の各々について出力される確率を統合したスコアを、前記各位置について算出する。さらに、第１の部位について算出された前記スコアを、該第１の部位に隣接する第２の部位との相対位置関係に基づいて修正し、修正された前記各位置についてのスコアに基づいて、前記入力画像中から前記複数の部位の各々を認識する。

開示の技術は、一つの側面として、画像から精度良く部位を認識することができる、という効果を有する。

第１実施形態に係る部位認識装置の機能ブロック図である。 部位認識装置の処理を説明するための図である。 複数のパッチ画像を切出す理由を説明するための図である。 部位検出器の一例を示す図である。 各部位のヒートマップの一例の概略図である。 部位間の相対位置関係に基づくスコアの修正を説明するための図である。 第１実施形態に係る部位認識装置として機能するコンピュータの概略構成を示すブロック図である。 部位認識処理の一例を示す図である。 比較手法１、比較手法２、及び本実施形態の手法の各々を用いて作成したヒートマップの一例を示す図である。 比較手法、本実施形態の手法１、及び本実施形態の手法２の各々により特定した部位毎の位置座標を、隣接部位間で接続して、人体画像に対応付けて画像化した一例を示す図である。 第２実施形態に係る撮像制御システムの適用場面を説明するための図である。 第２実施形態に係る撮像制御システムの概略構成を示すブロック図である。 第２実施形態に係る部位認識装置として機能するコンピュータの概略構成を示すブロック図である。 撮像制御処理の一例を示すフローチャートである。 誤認識される可能性がある入力画像の一例を示す図である。 全体画像内での対象物が小さい場合の一例を示す図である。

以下、図面を参照して開示の技術に係る実施形態の一例を詳細に説明する。

＜第１実施形態＞
図１に示すように、第１実施形態に係る部位認識装置１０は、例えばカメラなどで撮像された動画像をフレーム毎に入力画像４０として受け付け、入力画像４０における対象物の各部位の位置座標を特定した認識結果４２を出力する。本実施形態では、対象物が人であり、頭、右手、左手等の予め定めた人体の各パーツを認識対象の部位とする場合について説明する。

部位認識装置１０は、機能部として、切出部１２と、作成部１４と、修正部１６と、特定部１８とを含む。作成部１４は、開示の技術の算出部の一例である。また、部位認識装置１０の所定の記憶領域には、複数の部位検出器３０、及び部位間相対係数３２が記憶される。以下、各機能部について詳述する。

切出部１２は、入力画像４０の各位置を基準に大きさが異なる複数のパッチ画像を切り出す。なお、パッチ画像は開示の技術の部分画像の一例である。例えば、切出部１２は、入力画像４０の各画素（ｘ，ｙ）を中心として、サイズ番号ｋ（ｋ＝０，１，２，・・・，Ｋ（Ｋ−１はサイズの種類数））で識別される各サイズ（以下、「サイズｋ」という）の領域をパッチ画像として切り出す。

より具体的には、切出部１２は、図２中のＡに示すように、入力画像４０の各画素を中心に、例えば、３２×３２画素、６４×３２画素、３２×６４画素、６４×６４画素の各サイズの領域をパッチ画像４４の各々として切り出すことができる。なお、上記のサイズは一例であり、これらに限定されるものではなく、また、サイズの種類数も４種類に限定されず、２又は３種類でもよいし、５種類以上でもよい。

ここで、切出部１２が、大きさが異なる複数のパッチ画像を切り出す理由について説明する。入力画像４０内に対象物である人がどの程度の大きさで撮像されているかが不定の場合には、以下のような問題が生じる。例えば、図３に示すように、固定の１種類のサイズのパッチ画像として、入力画像４０に対するサイズが比較的小さいパッチ画像１４４Ａを切り出す場合と、比較的大きいパッチ画像１４４Ｂを切り出す場合とを考える。なお、図３の例は、認識対象部位が人の頭である場合を示している。

入力画像４０における対象物を示す領域の割合が少ない場合、すなわち入力画像４０内の対象物が小さい場合は、図３の上図に示すように、小さいサイズのパッチ画像１４４Ａでは、頭を包含する適切な領域を切り出すことができる。一方、大きいサイズのパッチ画像１４４Ｂでは、頭以外の身体の部位や背景なども多く含む領域を切り出すことになる。この場合、パッチ画像１４４Ｂに含まれる頭以外の部位や背景の影響により、パッチ画像１４４Ｂが示す部位が頭であると認識されない可能性が高まる。

一方、入力画像４０における対象物を示す領域の割合が多い場合、すなわち入力画像４０内の対象物が大きい場合は、図３の下図に示すように、大きいサイズのパッチ画像１４４Ｂでは、頭を包含する適切な領域を切り出すことができる。一方、小さいサイズのパッチ画像１４４Ａでは、頭の一部の領域しか切り出せない。この場合、パッチ画像１４４Ａが頭であると認識するための情報が不足することになり、パッチ画像１４４Ａが示す部位が頭であると認識されない可能性が高まる。

これを解決するために、例えば、入力画像４０内で人が存在する領域を認識して、人が存在する領域のサイズを正規化する処理を加えることで、人の大きさを一定に保つということが考えられる。しかし、例えば、人が正面を向いている場合には精度良く人が存在する領域を認識可能であるが、人が横向きの場合や、障害物に体の一部が隠れてしまっている場合などは、人が存在する領域を精度良く認識することは困難である。

そこで、本実施形態の切出部１２は、入力画像４０内における対象物の大きさに依存せず、その対象物に含まれる認識対象の部位を適切に包含する領域をパッチ画像として切り出し可能とするために、大きさが異なる複数のパッチ画像４４を切り出すものである。

作成部１４は、切出部１２により切り出された複数のパッチ画像４４の各々を、図２のＢに示すように、各パッチ画像４４のサイズに対応した部位検出器３０に入力する。すなわち、サイズｋのパッチ画像４４は、サイズｋの画像を入力及び処理可能な部位検出器３０に入力される。

部位検出器３０は、入力されたパッチ画像４４が予め定めた部位を示す画像である確率を出力する。本実施形態では、サイズｋに対応した部位検出器３０は、サイズｋのパッチ画像４４の各画素（ｘ，ｙ）について、各パッチ画像４４が部位ｐを示す画像である確率Ｐ（ｐ｜（ｘ，ｙ，ｋ））を出力する関数である。なお、ｘ＝０，１，２，・・・，ｘｍａｘ（ｘｍａｘはパッチ画像４４のｘ座標の最大値）、ｙ＝０，１，２，・・・，ｙｍａｘ（ｙｍａｘはパッチ画像４４のｙ座標の最大値）、ｋ＝０，１，２，・・・，Ｋ、ｐ＝右手、頭、・・・、左手である。例えば、部位検出器３０として、図４に示すような、Convolution Neural Networks（ＣＮＮ）を適用することができる。

作成部１４は、入力画像４０の画素（ｘ，ｙ）を中心に切り出された複数のパッチ画像４４の各々を入力として、各パッチ画像４４のサイズに対応した部位検出器３０の各々から出力された確率の各々を統合したスコアを部位毎に算出する。作成部１４は、例えば、ｋ＝０，１，２，・・・，Ｋの各Ｐ（ｐ｜（ｘ，ｙ，ｋ））の和、最大値、平均等をスコアＰ（ｐ｜（ｘ，ｙ））として算出することができる。そして、作成部１４は、図２のＣに示すように、入力画像４０の各画素位置に対応する画素に、入力画像４０の画素（ｘ，ｙ）について算出されたスコアＰ（ｐ｜（ｘ，ｙ））を格納したヒートマップＨ（ｐ）を部位ｐ毎に作成する。部位ｐのヒートマップＨ（ｐ）は、下記（１）式で定義される２次元ベクトルである。

例えば、作成部１４は、図５に示すように、各画素（ｘ，ｙ）にＰ（左手｜（ｘ，ｙ））が格納されたヒートマップＨ（左手）、Ｐ（頭｜（ｘ，ｙ））が格納されたＨ（頭）、・・・、Ｐ（右手｜（ｘ，ｙ））が格納されたＨ（右手）を作成する。なお、各図に概略的に示すヒートマップＨ（ｐ）では、各画素の濃度が濃いほど高いスコアが格納されていることを表す。

修正部１６は、作成部１４により作成された各部位ｐのヒートマップＨ（ｐ）の各画素のスコアＰ（ｐ｜（ｘ，ｙ））を、隣接する部位間の相対位置関係の整合性が取れるように修正する（図２中のＤ）。以下では、スコア修正後の部位ｐのヒートマップＨ（ｐ）をスコアマップＳ（ｐ）という。

具体的には、修正部１６は、部位ｐに隣接する部位ｑについての部位ｐに対する相対位置毎の存在確率を示す確率分布モデルを用いる。そして、修正部１６は、部位ｐの位置に対する部位ｑの存在確率が高い位置における部位ｑのヒートマップＨ（ｑ）のスコアが高いほど、部位ｐの位置に対応するスコアマップのスコアが高くなるように、ヒートマップの各スコアを修正する。

例えば、図６に示すように、右肘のヒートマップＨ（右肘）において、スコアが同等の画素Ａと画素Ｂとが離れた位置に存在し、右肘の位置座標の候補が複数存在しているとする。このとき、部位間の相対的な距離が離れ過ぎていたり、近過ぎたりする場合は不適切であるから、右肘と隣接する右肩のヒートマップＨ（右肩）において、スコアが高い画素Ｃとの相対位置関係を考慮することで、右肘の位置座標の候補を絞ることができる。例えば、画素Ｃの位置が右肩である確率が高く、画素Ｃとの位置関係に基づくと、右肘の位置は、画素Ｂの位置より画素Ａの位置である確率が高いとする。この場合には、修正部１６は、図６の下図に示すように、右肘のヒートマップＨ（ｐ）の画素Ａのスコアが高くなるように修正して、スコアマップＳ（ｐ）とする。

上記のような修正を実現するための一例について説明する。部位ｐのスコアマップＳ（ｐ）を、例えば、混合ガウス分布を用いて、下記（２）式及び（３）式のように定義する。

ここで、Ｓ_ｐ（ｘ，ｙ）は、スコアマップＳ（ｐ）の（ｘ，ｙ）成分、Ｈ_ｐ（ｘ，ｙ）は、（１）式に示すヒートマップＨ（ｐ）の（ｘ，ｙ）成分、Ａ（ｐ）は、部位ｐに隣接する部位ｑの集合（例えば、ｐ＝右肘の場合、ｑ＝｛右手、右肩｝）である。また、ａ_ｑ，ｇ及びｃ_ｑ，ｇ（ｑ∈Ａ（ｐ））は、部位間相対係数３２であり、混合ガウス分布の形状を定める係数である。混合ガウス分布の形状は、上述したように、部位ｐと部位ｑとの相対位置関係における部位ｑの存在確率に基づいて定める。なお、ｇは、混合ガウス分布に含まれるガウス分布の数である。また、（ｚ，ｗ）は、ヒートマップＨ（ｑ）の画素のうち、（３）式にスコアを反映させる画素、ヒートマップＨ（ｐ）の画素（ｘ，ｙ）に対応するヒートマップＨ（ｑ）の画素を基準とした所定範囲に含まれる画素である。

なお、（３）式では、第１項と第２項との和をとっているが、第１項と第２項との積や重み付和により、スコアマップＳ（ｐ）のスコアを算出してもよい。

特定部１８は、修正部１６で修正された各部位ｐのスコアマップＳ（ｐ）に基づいて、入力画像４０中から部位ｐを認識する。具体的には、特定部１８は、スコアマップＳ（ｐ）から、下記（４）式に示す、最大のスコアを持つ画素の位置座標（ｘ_ｐ，ｙ_ｐ）を、入力画像４０における部位ｐの位置座標として特定する。

特定部１８は、部位ｐ毎に特定した位置座標（ｘ_ｐ，ｙ_ｐ）の集合を認識結果４２として出力する（図２中のＥ）。

部位認識装置１０は、例えば図７に示すコンピュータ５０で実現することができる。コンピュータ５０は、Central Processing Unit（ＣＰＵ）５１と、一時記憶領域としてのメモリ５２と、不揮発性の記憶部５３とを備える。また、コンピュータ５０は、表示装置、出力装置等の入出力装置が接続される入出力インターフェース（Ｉ／Ｆ）５４と、記憶媒体５９に対するデータの読み込み及び書き込みを制御するRead/Write（Ｒ／Ｗ）部５５とを含む。また、コンピュータ５０は、インターネット等のネットワークに接続される通信Ｉ／Ｆ５６を備える。ＣＰＵ５１、メモリ５２、記憶部５３、入出力装置５４、Ｒ／Ｗ部５５、及び通信Ｉ／Ｆ５６は、バス５７を介して互いに接続される。

記憶部５３は、Hard Disk Drive（ＨＤＤ）、Solid State Drive（ＳＳＤ）、フラッシュメモリ等によって実現できる。記憶媒体としての記憶部５３には、コンピュータ５０を、部位認識装置１０として機能させるための部位認識プログラム６０が記憶される。部位認識プログラム６０は、切出プロセス６２と、作成プロセス６４と、修正プロセス６６と、特定プロセス６８とを有する。また、記憶部５３は、各サイズｋのパッチ画像４４に対応した複数の部位検出器３０、及び部位間相対係数３２が記憶される情報記憶領域８０を有する。

ＣＰＵ５１は、部位認識プログラム６０を記憶部５３から読み出してメモリ５２に展開し、部位認識プログラム６０が有するプロセスを順次実行する。ＣＰＵ５１は、切出プロセス６２を実行することで、図１に示す切出部１２として動作する。また、ＣＰＵ５１は、作成プロセス６４を実行することで、図１に示す作成部１４として動作する。また、ＣＰＵ５１は、修正プロセス６６を実行することで、図１に示す修正部１６として動作する。また、ＣＰＵ５１は、特定プロセス６８を実行することで、図１に示す特定部１８として動作する。また、ＣＰＵ５１は、情報記憶領域８０から複数の部位検出器３０、及び部位間相対係数３２を読み出して、メモリ５２に展開する。これにより、部位認識プログラム６０を実行したコンピュータ５０が、部位認識装置１０として機能することになる。なお、プログラムを実行するＣＰＵ５１はハードウェアである。

次に、第１実施形態に係る部位認識装置１０の作用について説明する。入力画像４０が部位認識装置１０に入力されると、部位認識装置１０が、図８に示す部位認識処理を実行する。なお、部位認識処理は、開示の技術の部位認識方法の一例である。

図８に示す部位認識処理のステップＳ１１で、切出部１２が、入力画像４０の各画素（ｘ，ｙ）を中心とするサイズｋ（ｋ＝０，１，２，・・・，Ｋ）の領域をパッチ画像４４として切り出す。

次に、ステップＳ１２で、作成部１４が、サイズｋのパッチ画像４４を、サイズｋに対応した部位検出器３０にそれぞれ入力する。そして、作成部１４は、サイズｋに対応した部位検出器３０の出力として、サイズｋのパッチ画像４４の各画素（ｘ，ｙ）について、パッチ画像４４が部位ｐを示す画像である確率Ｐ（ｐ｜（ｘ，ｙ，ｋ））を得る。

次に、ステップＳ１３で、作成部１４が、サイズｋに対応した部位検出器３０から出力された確率Ｐ（ｐ｜（ｘ，ｙ，ｋ））の各々を統合したスコアＰ（ｐ｜（ｘ，ｙ））を部位ｐ毎に算出する。そして、（１）式に示すように、作成部１４は、入力画像４０の各画素位置に対応する画素に、入力画像４０の画素（ｘ，ｙ）について算出されたスコアＰ（ｐ｜（ｘ，ｙ））を格納したヒートマップＨ（ｐ）を部位ｐ毎に作成する。

次に、ステップＳ１４で、修正部１６が、各部位ｐのヒートマップＨ（ｐ）の各画素のスコアＰ（ｐ｜（ｘ，ｙ））を、例えば（３）式に従って、隣接する部位間の相対位置関係の整合性が取れるように修正し、（２）式に示すようなスコアマップＳ（ｐ）を作成する。なお、作成したスコアマップＳ（ｐ）の成分Ｓ_ｐ（ｘ，ｙ）を、（３）式におけるＨ_ｐ（ｘ，ｙ）として、本ステップの処理を所定回数繰り返してもよい。これにより、スコアがより精度良く修正される。

次に、ステップＳ１５で、特定部１８が、各部位ｐのスコアマップＳ（ｐ）から、（４）式に示す、最大のスコアを持つ画素の位置座標（ｘ_ｐ，ｙ_ｐ）を、入力画像４０における部位ｐの位置座標として特定する。

次に、ステップＳ１６で、特定部１８が、部位ｐ毎に特定した位置座標（ｘ_ｐ，ｙ_ｐ）の集合を認識結果４２として出力する。そして、処理はステップＳ１１に戻る。

なお、第１実施形態では、スコアマップから各部位の位置座標を特定する場合について説明したが、スコアマップを作成することなく、ヒートマップから各部位の位置座標を特定してもよい。

以上説明したように、第１実施形態に係る部位認識装置１０は、入力画像から複数のサイズのパッチ画像を切り出す。これにより、部位認識装置１０は、入力画像における各部位の大きさに依存することなく、適切に部位を包含したパッチ画像を切り出せる可能性が高まる。そして、部位認識装置１０は、各サイズに対応した部位検出器に各パッチ画像を入力して、各パッチ画像が各部位を示す画像である確率を算出する。さらに、部位認識装置１０は、各部位検出器により算出された確率を統合した各画素のスコアを用いて、入力画像における部位を認識する。これにより、部位認識精度を向上させることができる。

また、部位認識装置１０は、部位間の相対位置関係に基づいて、各画素に対応するスコアを修正し、修正したスコアに基づいて、各部位の位置座標を特定する。これにより、部位認識精度をより向上させることができる。

ここで、図９に、対象部位を左手とするヒートマップについて、比較手法１、比較手法２、及び本実施形態の手法の各々を用いて作成したヒートマップの一例を示す。なお、比較手法１は、６４×６４画素の単一のパッチ画像でヒートマップを作成する手法、比較手法２は、６４×３２画素の単一のパッチ画像でヒートマップを作成する手法である。また、本実施形態の手法としては、６４×６４画素、３２×６４画素、６４×３２画素、３２×３２画素の４つのパッチ画像でヒートマップを作成する場合を適用している。図９に示すように、比較手法１及び比較手法２の場合に比べ、本実施形態の手法により作成したヒートマップの方が、スコアの高い画素の領域が集中しており、精度良く左手の位置座標を特定できることが分かる。

また、図１０に、比較手法、本実施形態の手法１、及び本実施形態の手法２の各々により特定した部位毎の位置座標を、隣接部位間で接続して、人体画像に対応付けて画像化した例を示す。なお、比較手法は、単一のパッチ画像から作成したヒートマップに基づいて各部位の位置座標を特定する手法である。また、本実施形態の手法１は、複数サイズのパッチ画像から作成したヒートマップに基づいて各部位の位置座標を特定する手法である。また、本実施形態の手法２は、複数サイズのパッチ画像から作成したヒートマップを、部位間の相対位置関係に基づいて修正したスコアマップに基づいて各部位の位置座標を特定する手法である。図１０に示すように、比較手法よりも本実施形態の手法１の方が精度良く、また、本実施形態の手法１よりも本実施形態の手法２の方が精度良く各部位の位置座標が特定できていることが分かる。

＜第２実施形態＞
次に、第２実施形態について説明する。第２実施形態では、例えば、図１１に示すように、駐車場や敷地内に侵入した不審者を撮像するカメラシステムなどに適用可能な撮像制御システムについて説明する。

図１２に示すように、撮像制御システム２００は、カメラ３５と、部位認識装置２１０とを含む。部位認識装置２１０は、機能部として、取得部２０と、制御部２２とを含み、特定部１８に替えて特定部２１８を含む点が、第１実施形態における部位認識装置１０と異なる。

取得部２０は、カメラ３５で撮像され、出力された動画像データの各フレーム画像を取得する。取得部２０は、カメラ３５の倍率が初期値に設定されている状態で撮像された動画像データのフレーム画像を取得した場合には、取得したフレーム画像を入力画像４０（全体画像）として切出部１２に受け渡す。また、取得部２０は、カメラ３５の倍率が拡大された倍率（詳細は後述）に設定されている状態で撮像された動画像データのフレーム画像を取得した場合には、全体画像と共に、特定部２１８から出力される認識結果と対応付けて出力する。

特定部２１８は、修正部１６によりスコアマップＳ（ｐ）が作成された複数の部位ｐのうち、特定の部位ｐ’についてのスコアマップＳ（ｐ’）の最大スコアが所定の閾値以上か否かを判定する。特定部２１８は、最大スコアが所定の閾値以上の場合には、最大スコアが格納された画素の位置座標（ｘ_ｐ’，ｙ_ｐ’）を、特定部位ｐ’の位置座標として特定する。特定部２１８は、特定した特定部位ｐ’の位置座標（ｘ_ｐ’，ｙ_ｐ’）を認識結果２４２として出力すると共に、制御部２２へ通知する。なお、認識結果２４２には、特定部位ｐ’ の位置座標（ｘ_ｐ，ｙ_ｐ）だけでなく、第１実施形態と同様に、他の部位ｐの位置座標（ｘ_ｐ，ｙ_ｐ）を含めてもよい。

制御部２２は、特定部２１８から通知された位置座標（ｘ_ｐ’，ｙ_ｐ’）と、予め保持している、カメラ３５の画素数や設置位置の情報とに基づいて、特定部位ｐ’がカメラ３５の画角にいっぱいに収まるように、カメラ３５の倍率及び角度を制御する。具体的には、制御部２２は、通知された位置座標（ｘ_ｐ’，ｙ_ｐ’）を中心として、特定部位ｐ’を示す範囲として予め定めた領域がカメラ３５の画角となるような倍率、及び撮像方向を実現するカメラ３５の角度（パン角及びチルト角）を算出する。制御部２２は、算出した倍率及び角度をカメラ３５に設定する。これにより、設定された倍率及び角度となるようにカメラ３５の駆動部が駆動し、カメラ３５により特定部位ｐ’の拡大画像が撮像される。

なお、特定部位ｐ’は、撮像制御システム２００の用途に応じて予め定めておく。例えば、防犯対策のためのカメラシステムに撮像制御システム２００を適用する場合、不審者の顔や、凶器等を持っている可能性がある手元の画像が重要であるため、特定部位ｐ’として、頭や手を定めておけばよい。

部位認識装置２１０は、第１実施形態と同様に、コンピュータ５０で実現することができる。例えば図１３に示すように、コンピュータ５０の入出力Ｉ／Ｆ５４にはカメラ３５が接続される。また、コンピュータ５０は、通信Ｉ／Ｆ５６を介して、例えば警備会社などに設置された外部装置と接続される。

記憶媒体としての記憶部５３には、コンピュータ５０を、部位認識装置２１０として機能させるための部位認識プログラム２６０が記憶される。部位認識プログラム２６０は、切出プロセス６２と、作成プロセス６４と、修正プロセス６６と、特定プロセス２６８と、取得プロセス７０と、制御プロセス７２とを有する。

ＣＰＵ５１は、部位認識プログラム２６０を記憶部５３から読み出してメモリ５２に展開し、部位認識プログラム２６０が有するプロセスを順次実行する。ＣＰＵ５１は、特定プロセス２６８を実行することで、図１２に示す特定部２１８として動作する。また、ＣＰＵ５１は、取得プロセス７０を実行することで、図１２に示す取得部２０として動作する。また、ＣＰＵ５１は、制御プロセス７２を実行することで、図１２に示す制御部２２として動作する。他のプロセスについては、第１実施形態における部位認識プログラム６０と同様である。これにより、部位認識プログラム２６０を実行したコンピュータ５０が、部位認識装置２１０として機能することになる。

次に、第２実施形態に係る撮像制御システム２００の作用について説明する。撮像制御システム２００の開始が指示されると、部位認識装置２１０が、図１４に示す撮像制御処理を実行する。なお、撮像制御処理は、開示の技術の部位認識処理の一例である。

ステップＳ２１で、制御部２２が、カメラ３５の倍率及び角度を初期値に設定し、カメラ３５に撮像の開始を指示する。これにより、カメラ３５が設定された倍率及び角度で撮像を開始し、動画像データを出力する。

次に、ステップＳ２２で、取得部２０が、カメラ３５から出力された動画像データのフレーム画像を１つ取得し、入力画像４０（全体画像）として切出部１２に受け渡す。

次に、ステップＳ２３で、部位認識処理が実行される。部位認識処理は、第１実施形態における部位認識処理（図８）のステップＳ１１〜Ｓ１４と同様である。

次に、ステップＳ２４で、特定部２１８が、修正部１６によりスコアマップＳ（ｐ）が作成された複数の部位ｐのうち、特定の部位ｐ’についてのスコアマップＳ（ｐ’）の最大スコアが所定の閾値以上か否かを判定する。最大スコアが閾値以上の場合には、処理はステップＳ２５へ移行し、閾値未満の場合には、処理はステップＳ２１に戻る。

ステップＳ２５では、特定部２１８が、スコアマップＳ（ｐ’）において最大スコアが格納された画素の位置座標（ｘ_ｐ’，ｙ_ｐ’）を、特定部位ｐ’の位置座標として特定する。特定部２１８は、特定した特定部位ｐ’の位置座標（ｘ_ｐ’，ｙ_ｐ’）を制御部２２へ通知する。

次に、ステップＳ２６で、制御部２２が、特定部２１８から通知された位置座標（ｘ_ｐ’，ｙ_ｐ’）を中心として、特定部位ｐ’に応じた領域がカメラ３５の画角となるような倍率及び角度を算出し、算出した倍率及び角度をカメラ３５に設定する。これにより、設定された倍率及び角度となるようにカメラ３５の駆動部が駆動し、カメラ３５により特定部位ｐ’の拡大画像が撮像され、出力される。

次に、ステップＳ２７で、取得部２０が、カメラ３５から出力された特定部位ｐ’の拡大画像を取得する。

次に、ステップＳ２８で、特定部２１８が、上記ステップＳ２５で特定した特定部位ｐ’の位置座標（ｘ_ｐ’，ｙ_ｐ’）を認識結果２４２として出力する。また、取得部２０が、上記ステップＳ２２で取得した全体画像と、上記ステップＳ２７で取得した特定部位ｐ’の拡大画像とを、特定部２１８から出力される認識結果２４２と対応付けて出力する。

次に、ステップＳ２９で、制御部２２が、カメラ３５の倍率を初期値に戻し、処理はステップＳ２２に戻る。ここで、カメラ３５の角度は上記ステップＳ２５で設定された角度のままとする。これにより、前のフレーム画像で認識された特定部位ｐ’を含む同一の対象物が、次のフレーム画像においても検出される可能性が高く、対象物の追跡が可能となる。なお、対象物の追跡処理としては、上記の例に限定されず、フレーム画像間で特徴点を対応付けるなど、従来既知の手法を適用することができる。

以上説明したように、第２実施形態に係る撮像制御システム２００によれば、第１実施形態と同様の部位認識処理により、精度良く対象物の各部位を認識することができる。例えば、図１５に示すような対象物とは異なる物体の一部が対象物の部位として誤認識されることを抑制できる。そして、撮像制御システム２００は、精度良く認識された部位のうち、特定部位が拡大して撮像されるようにカメラの倍率及び角度を制御する。そのため、例えば、図１６に示すように、全体画像内での対象物が小さい場合でも、特定部位の拡大画像として、解像度の高い画像を出力することができる。これにより、例えば、部位認識装置から出力される対象部位の拡大画像を目視して監視したり、画像解析して不審者等を特定したりする場合などに、解像度の高い画像を用いることができる。

なお、上記各実施形態では、認識対象の部位が人体の各パーツである場合について説明したが、これに限定されない。

また、上記各実施形態では、部位認識プログラム６０、２６０が記憶部５３に予め記憶（インストール）されている態様を説明したが、これに限定されない。開示の技術に係るプログラムは、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、ＵＳＢメモリ等の記憶媒体に記憶された形態で提供することも可能である。

以上の各実施形態に関し、更に以下の付記を開示する。

（付記１）
入力画像の各位置を基準に大きさが異なる複数の部分画像を切り出し、
各部分画像の大きさに対応し、かつ部分画像が予め定めた部位を示す画像である確率を出力する部位検出器の各々を用いて、切り出した前記複数の部分画像の各々について出力される確率を統合したスコアを、前記各位置について算出し、
算出された前記各位置についてのスコアに基づいて、前記入力画像中から前記部位を認識する
ことを含む処理をコンピュータが実行する部位認識方法。

（付記２）
前記入力画像の各位置に対応する画素に、前記各位置について算出されたスコアを格納したヒートマップを作成し、
前記入力画像中から前記部位を認識する処理として、前記ヒートマップにおいて、前記スコアが最大の画素の座標を、前記部位の位置座標として特定する
付記１に記載の部位認識方法。

（付記３）
前記部位検出器は、前記部分画像が予め定めた複数の部位の各々である確率の各々を出力し、
第１の部位について算出された前記スコアを、該第１の部位に隣接する第２の部位との相対位置関係に基づいて修正する
付記２に記載の部位認識方法。

（付記４）
前記第２の部位についての前記第１の部位に対する相対位置毎の存在確率を示す確率分布モデルを用いて、前記第１の部位の位置に対する前記第２の部位の存在確率が高い位置における該第２の部位の前記スコアが高いほど、前記第１の部位の位置に対応する前記ヒートマップのスコアが高くなるように修正する付記３に記載の部位認識方法。

（付記５）
入力画像の各位置を基準に大きさが異なる複数の部分画像を切り出す切出部と、
各部分画像の大きさに対応し、かつ部分画像が予め定めた部位を示す画像である確率を出力する部位検出器の各々を用いて、前記切出部により切り出された前記複数の部分画像の各々について出力される確率を統合したスコアを、前記各位置について算出する算出部と、
算出された前記各位置についてのスコアに基づいて、前記入力画像中から前記部位を認識する特定部と、
を含む部位認識装置。

（付記６）
前記算出部は、前記入力画像の各位置に対応する画素に、前記各位置について算出されたスコアを格納したヒートマップを作成し、
前記特定部は、前記ヒートマップにおいて、前記スコアが最大の画素の座標を、前記部位の位置座標として特定する
付記５に記載の部位認識装置。

（付記７）
前記部位検出器は、前記部分画像が予め定めた複数の部位の各々である確率の各々を出力し、
前記算出部により第１の部位について算出された前記スコアを、該第１の部位に隣接する第２の部位との相対位置関係に基づいて修正する修正部をさらに含む
付記６に記載の部位認識装置。

（付記８）
前記修正部は、前記第２の部位についての前記第１の部位に対する相対位置毎の存在確率を示す確率分布モデルを用いて、前記第１の部位の位置に対する前記第２の部位の存在確率が高い位置における該第２の部位の前記スコアが高いほど、前記第１の部位の位置に対応する前記ヒートマップのスコアが高くなるように修正する付記７に記載の部位認識装置。

（付記９）
入力画像の各位置を基準に大きさが異なる複数の部分画像を切り出し、
各部分画像の大きさに対応し、かつ部分画像が予め定めた部位を示す画像である確率を出力する部位検出器の各々を用いて、切り出した前記複数の部分画像の各々について出力される確率を統合したスコアを、前記各位置について算出し、
算出された前記各位置についてのスコアに基づいて、前記入力画像中から前記部位を認識する
ことを含む処理をコンピュータに実行させるための部位認識プログラム。

（付記１０）
前記入力画像の各位置に対応する画素に、前記各位置について算出されたスコアを格納したヒートマップを作成し、
前記入力画像中から前記部位を認識する処理として、前記ヒートマップにおいて、前記スコアが最大の画素の座標を、前記部位の位置座標として特定する
付記９に記載の部位認識プログラム。

（付記１１）
前記部位検出器は、前記部分画像が予め定めた複数の部位の各々である確率の各々を出力し、
第１の部位について算出された前記スコアを、該第１の部位に隣接する第２の部位との相対位置関係に基づいて修正する
付記１０に記載の部位認識プログラム。

（付記１２）
前記第２の部位についての前記第１の部位に対する相対位置毎の存在確率を示す確率分布モデルを用いて、前記第１の部位の位置に対する前記第２の部位の存在確率が高い位置における該第２の部位の前記スコアが高いほど、前記第１の部位の位置に対応する前記ヒートマップのスコアが高くなるように修正する付記１１に記載の部位認識プログラム。

（付記１３）
倍率及び撮像方向を変更可能な撮像装置と、
付記５〜付記８のいずれか１項に記載の部位認識装置と、
前記入力画像中から認識された部位のうち、特定の部位を含む所定範囲の入力画面に占める割合が予め定めた閾値以上となるように、前記撮像装置の倍率及び撮像方向の少なくとも一方を制御する制御部と、
を含む撮像制御システム。

１０、２１０ 部位認識装置
１２ 切出部
１４ 作成部
１６ 修正部
１８、２１８ 特定部
２０ 取得部
２２ 制御部
３０ 部位検出器
３２ 部位間相対係数
３５ カメラ
４０ 入力画像
４２、２４２ 認識結果
４４ パッチ画像
５０ コンピュータ
５１ ＣＰＵ
５２ メモリ
５３ 記憶部
５９ 記憶媒体
６０、２６０ 部位認識プログラム
２００ 撮像制御システム

Claims (6)

1. 入力画像の各位置を基準に大きさが異なる複数の部分画像を切り出し、
   各部分画像の大きさに対応し、かつ部分画像が予め定めた複数の部位の各々を示す画像である確率の各々を出力する部位検出器の各々を用いて、切り出した前記複数の部分画像の各々について出力される確率を統合したスコアを、前記各位置について算出し、
   第１の部位について算出された前記スコアを、該第１の部位に隣接する第２の部位との相対位置関係に基づいて修正し、
   修正された前記各位置についてのスコアに基づいて、前記入力画像中から前記複数の部位の各々を認識する
   ことを含む処理をコンピュータが実行する部位認識方法。
2. 前記入力画像の各位置に対応する画素に、前記各位置について算出されたスコアを格納したヒートマップを作成し、
   前記入力画像中から前記部位を認識する処理として、前記ヒートマップにおいて、前記スコアが最大の画素の座標を、前記部位の位置座標として特定する
   請求項１に記載の部位認識方法。
3. 前記第２の部位についての前記第１の部位に対する相対位置毎の存在確率を示す確率分布モデルを用いて、前記第１の部位の位置に対する前記第２の部位の存在確率が高い位置における該第２の部位の前記スコアが高いほど、前記第１の部位の位置に対応する前記ヒートマップのスコアが高くなるように修正する請求項２に記載の部位認識方法。
4. 入力画像の各位置を基準に大きさが異なる複数の部分画像を切り出す切出部と、
   各部分画像の大きさに対応し、かつ部分画像が予め定めた複数の部位の各々を示す画像である確率の各々を出力する部位検出器の各々を用いて、切り出した前記複数の部分画像の各々について出力される確率を統合したスコアを、前記各位置について算出する算出部と、
   第１の部位について算出された前記スコアを、該第１の部位に隣接する第２の部位との相対位置関係に基づいて修正し、修正された前記各位置についてのスコアに基づいて、前記入力画像中から前記複数の部位の各々を認識する特定部と、
   を含む部位認識装置。
5. 入力画像の各位置を基準に大きさが異なる複数の部分画像を切り出し、
   各部分画像の大きさに対応し、かつ部分画像が予め定めた複数の部位の各々を示す画像である確率の各々を出力する部位検出器の各々を用いて、切り出した前記複数の部分画像の各々について出力される確率を統合したスコアを、前記各位置について算出し、
   第１の部位について算出された前記スコアを、該第１の部位に隣接する第２の部位との相対位置関係に基づいて修正し、
   修正された前記各位置についてのスコアに基づいて、前記入力画像中から前記複数の部位の各々を認識する
   ことを含む処理をコンピュータに実行させるための部位認識プログラム。
6. 倍率及び撮像方向を変更可能な撮像装置と、
   請求項４に記載の部位認識装置と、
   前記入力画像中から認識された部位のうち、特定の部位を含む所定範囲の入力画面に占める割合が予め定めた閾値以上となるように、前記撮像装置の倍率及び撮像方向の少なくとも一方を制御する制御部と、
   を含む撮像制御システム。

Images