JP5961123B2 - 人物検出追跡装置、人物検出追跡方法、および人物検出追跡プログラム - Google Patents

Description

本発明は、画像データから人物を検出し、連続する複数のフレームにわたって人物の部位を追跡する人物検出追跡装置、人物検出追跡方法および人物検出追跡プログラムに関する。

画像データから人物を検出し、その人物の部位を複数のフレームにわたって追跡する技術は、例えば、特許文献１に開示されている。特許文献１の技術は、フレームごとに、画像データから抽出した特徴と、予め学習しておいた人物の部位の特徴（例えば、輝度エッジ情報、色情報、またはテクスチャ情報など）とを照合する。この照合により、特許文献１の技術は、フレームごとに、部位が存在する可能性の高い領域（以下、「部位枠」という）を複数特定し、特定した部位枠間の相対的な位置関係を把握する。そして、特許文献１の技術は、複数のフレームにわたって特定した部位枠間の相対的な位置関係に基づいて、各部位を追跡する。

特開２００４−２０６６５６号公報

しかしながら、特許文献１の技術は、部位枠間の相対的な位置関係のみに基づいて部位を追跡するため、以下の課題がある。

例えば、画像データ中の人物の服装が全身同色である場合には、色情報がどの部位も同一となり、部位枠間に特徴差がなくなる。この場合において、例えば、画像データ中の人物が歩行する場合には、各部位枠が胴体部へ収束する現象が発生する。その理由は、歩行の動作は胴体部に比べ脚部が大きく変化するので、輝度エッジ情報またはテクスチャ情報が、歩行の動きに影響を受けにくい胴体部へマッチングしやすいためである。

したがって、複数のフレームにわたって人物が歩行を継続した場合、特許文献１の技術は、各フレームにおいて各部位の位置を正確に特定することが難しくなる。その結果、特許文献１の技術は、実際の画像データと追跡結果との間で、人物の大きさおよび部位の位置にズレが生じてしまう、という課題がある。

本発明の目的は、実際の画像データと追跡結果との間において、人物の大きさおよび各部位の位置のズレを防止することである。

本発明の一態様に係る人物検出追跡装置は、人物全体の特徴を示す人物特徴データに基づいて、第１の画像データから、人物が存在する可能性の高い領域として人物枠を検出する人物枠検出部と、人物の部位の特徴を示す部位特徴データと、前記第１の画像データより過去の第２の画像データにおいて前記人物の部位が存在する可能性の高い領域として特定された部位枠とに基づいて、前記第１の画像データにおいて部位枠を特定する部位枠位置特定部と、前記第１の画像データにおいて特定された部位枠の位置を、前記人物枠に基づいて補正する部位枠位置補正部と、を備える。

本発明の一態様に係る人物検出追跡方法は、人物全体の特徴を示す人物特徴データに基づいて、第１の画像データから、人物が存在する可能性の高い領域として人物枠を検出するステップと、人物の部位の特徴を示す部位特徴データと、前記第１の画像データより過去の第２の画像データにおいて前記人物の部位が存在する可能性の高い領域として特定された部位枠とに基づいて、前記第１の画像データにおいて部位枠を特定するステップと、前記第１の画像データにおいて特定された部位枠の位置を、前記人物枠に基づいて補正するステップと、を有する。

本発明の一態様に係る人物検出追跡プログラムは、人物全体の特徴を示す人物特徴データに基づいて、第１の画像データから、人物が存在する可能性の高い領域として人物枠を検出する処理と、人物の部位の特徴を示す部位特徴データと、前記第１の画像データより過去の第２の画像データにおいて前記人物の部位が存在する可能性の高い領域として特定された部位枠とに基づいて、前記第１の画像データにおいて部位枠を特定する処理と、前記第１の画像データにおいて特定された部位枠の位置を、前記人物枠に基づいて補正する処理と、をコンピュータに実行させる。

本発明によれば、実際の画像データと追跡結果との間において、人物の大きさおよび各部位の位置のズレを防止することができる。

本発明の実施の形態１に係る人物検出追跡装置の構成例を示すブロック図 本発明の実施の形態１に係る人物検出追跡装置が行う各処理の例を説明する図 本発明の実施の形態１に係る人物検出追跡装置の動作例を示すフローチャート 本発明の実施の形態２に係る人物検出追跡装置の構成例を示すブロック図 本発明の実施の形態２に係る人物検出追跡装置が行う簡易姿勢推定処理の例を説明する図 本発明の実施の形態２に係る人物検出追跡装置の動作例を示すフローチャート

（実施の形態１）
本発明の実施の形態１について、図面を参照しながら説明する。

＜人物検出追跡装置１００の構成＞
まず、本発明の実施の形態１に係る人物検出追跡装置１００の構成例について、図１を参照して説明する。図１は、本実施の形態の人物検出追跡装置１００の構成例を示す図である。

図１において、本実施の形態の人物検出追跡装置１００は、人物枠検出部１１０と、部位追跡部１２０とを有する。部位追跡部１２０は、部位枠設定部１２１、部位枠位置特定部１２２、および部位枠位置補正部１２３を有する。

人物枠検出部１１０は、撮像部２００から画像データを受け取る。撮像部２００は、所定の監視対象領域を動画で撮影するカメラである。よって、人物枠検出部１１０は、撮像部２００から、連続する複数のフレームの画像データを受け取る。この画像データの一例は、図２Ａに示す。図２Ａに示す画像データは、撮像部２００が監視対象領域を撮影した画像データの１フレーム分である。図２Ａにおいて、画像データは、例えば、直立姿勢の人物３０が映っている。

そして、人物枠検出部１１０は、１フレーム分の画像データを受け取るごとに、その画像データと、予め学習済みの人物特徴データとを照合する。人物特徴データとは、人物全体の特徴を示すデータであり、例えば、輝度エッジ情報、色情報、またはテクスチャ情報などが挙げられる。また、人物特徴データは、人物の姿勢（例えば、直立姿勢）を示すデータである。なお、人物特徴データは、所定のデータベース等に予め格納されており、照合の際、人物枠検出部１１０により読み出される。また、人物特徴データを格納するデータベースは、人物検出部１１０の内部または外部のどちらに備えられてもよい。

上記照合の結果、画像データの中に人物特徴データに合致する領域がある場合、人物枠検出部１１０は、その領域を、人物が存在する可能性の高い領域（以下、「人物枠」という）として検出する。人物枠は、人物の絶対的な大きさおよび位置を示す。この人物枠の例は、図２Ｂに示す。図２Ｂにおいて、人物枠４０は、人物３０の全体を包含している。

ここで、人物枠検出部１１０は、部位枠設定部１２１からの部位枠設定終了通知（詳細は後述）の有無に基づいて、検出した人物枠に含まれる人物に対して、デフォルトの部位枠（詳細は後述）が設定済みであるか否かを判定する。換言すれば、人物枠検出部１１０は、検出した人物枠に含まれる人物の部位がすでに追跡を開始されているか否かを判定することになる。

上記判定の結果、デフォルトの部位枠が設定済みで、部位の追跡がすでに開始されている場合、人物枠検出部１１０は、１フレーム分の画像データと検出した人物枠を示す人物枠情報とを、部位追跡部１２０の部位枠位置特定部１２２へ送る。一方、上記判定の結果、デフォルトの部位枠が設定みでなく、部位の追跡がこれから開始される場合、人物枠検出部１１０は、１フレーム分の画像データと検出した人物枠を示す人物枠情報とを、部位追跡部１２０の部位枠設定部１２１へ送る。ここでいう人物枠情報は、例えば、人物枠を特定可能な座標を含む情報である。

なお、上述した通り、人物枠検出部１１０は、予め学習された人物特徴データを利用して人物枠を検出するため、いずれの人物特徴データとも合致しないこともある。よって、人物枠検出部１１０は、時間的に連続するフレームにおいて、間欠的にしか人物を検出できず、常に動いている人物を連続的に検出することが難しい。そこで、本実施の形態は、後述する部位枠位置特定部１２２を用いることで、人物枠検出部１１０が行う間欠的な人物検出を補間する。これにより、本実施の形態の人物検出追跡装置１００は、連続する複数のフレームの全てにおいて、人物の検出および部位の追跡を可能としている。

部位枠設定部１２１は、人物枠検出部１１０から、１フレーム分の画像データおよび人物枠情報を受け取る。そして、部位枠設定部１２１は、人物枠情報が示す人物枠の範囲内において、デフォルトの部位枠を設定する。部位枠とは、人体を構成する部位が存在する可能性の高い領域である。例えば、部位枠設定部１２１は、人物枠を垂直方向に５等分し、頭部位、胸部位、腹部位、太腿部位、脚部位のそれぞれに対して、デフォルトの部位枠を設定する。これらデフォルトの部位枠の例は、図２Ｃに示す。図２Ｃにおいて、人物枠４０（図示略）に含まれる人物３０は、デフォルトの部位枠として、頭部位枠５１、胸部位枠５２、腹部位枠５３、太腿部位枠５４、脚部位枠５５がそれぞれ設定されている。

部位枠設定部１２１は、デフォルトの部位枠の設定を終えると、その旨を示す部位枠設定終了通知を人物枠検出部１１０へ送る。また、部位枠設定部１２１は、設定したデフォルトの部位枠をそれぞれ示す部位枠情報を、部位枠位置特定部１２２へ送る。ここでいう部位枠情報は、例えば、各部位枠を特定可能な座標を含む情報である。

部位枠位置特定部１２２は、人物枠検出部１１０から、１フレーム分の画像データおよび人物枠情報を受け取る。この画像データの一例は、図２Ｄに示す。図２Ｄに示す画像データは、例えば、図２Ａの画像データに続く１フレーム分の画像データである。図２Ｄにおいて、人物３０は、図２Ａに示す位置から矢印ｘに示す方向へ移動した位置に存在している。この人物３０は、人物枠検出部１１０により人物枠４１が検出されている。よって、部位枠位置特定部１２２が人物枠検出部１１０から受け取った人物枠情報は、人物枠４１を示す情報である。

なお、部位枠位置特定部１２２が人物枠検出部１１０から受け取った１フレーム分の画像データは、以下、「現フレームの画像データ」（第１の画像データの一例）という。現フレームの画像データは、各部位の位置がまだ特定されていない画像データである。これに対し、現フレームの画像データより時間が前のフレームの画像データは、以下、「前フレームの画像データ」（第２の画像データの一例）という。前フレームの画像データは、各部位の位置がすでに特定された画像データである。したがって、本実施の形態において、図２Ｄの画像データは現フレームの画像データの一例として、図２Ａの画像データは前フレームの画像データの一例として、説明する。

そして、部位枠位置特定部１２２は、算出範囲の設定、部位尤度の算出、部位枠位置の特定を順に行う。以下、これらの動作について、それぞれ説明する。なお、これらの動作は、部位ごとに行われるが、以下では、頭部位の例を説明する。

まず、部位枠位置特定部１２２は、人物枠情報および部位枠情報に基づいて、現フレームの画像データに対して算出範囲を設定する。算出範囲とは、現フレームの画像データの中で、部位の尤度を算出する範囲である。また、ここで用いられる部位枠情報は、部位枠設定部１２１から受け取った部位枠情報、または、部位枠位置特定部１２２自身が記憶した部位枠情報のいずれかである。すなわち、部位枠位置特定部１２２は、前フレームの画像データにおいて部位枠位置を特定しておらず、自分自身が部位枠情報を記憶していない場合、部位枠設定部１２１から受け取った部位枠情報を用いる。一方、部位枠位置特定部１２２は、前フレームの画像データにおいて部位枠位置を特定しており、自分自身が部位枠情報を記憶している場合、その部位枠情報を用いる。

ここで、算出範囲の設定について、具体例を用いて説明する。ここでは、部位枠設定部１２１から受け取った部位枠情報を用いる場合とする。

まず、部位枠位置特定部１２２は、人物枠情報が示す人物枠４１と、部位枠情報が示す頭部位枠５１との位置関係に基づいて、人物３０の移動方向が右方向（矢印ｘの方向）であると判断する。

そして、部位枠位置特定部１２２は、頭部位枠５１から右方向への所定範囲を、算出範囲として設定する。この算出範囲の一例は、図２Ｅに示す。図２Ｅにおいて、算出範囲６０は、頭部位枠５１を含み、かつ、頭部位枠５１から上方向、下方向、右方向へそれぞれ拡大した範囲として設定されている。

このようにして、頭部位枠５１に対して算出範囲６０が設定される。

次に、部位枠位置特定部１２２は、算出範囲６０において、頭部位枠５１と同じ大きさの枠を所定距離ずつ移動させる度に、その枠で囲まれた領域の部位尤度を算出する。これにより、複数の部位尤度が算出される。部位尤度とは、前フレームの画像データにおける部位枠位置が、現フレームの画像データのどの位置に存在するのかの尤もらしさを表す指標である。部位尤度は、予め学習された部位特徴データに基づいて算出される。部位特徴データは、人物の部位の特徴を示すデータであり、例えば、色情報、輝度エッジ情報、またはテクスチャ情報が挙げられる。

次に、部位枠位置特定部１２２は、最大の部位尤度が算出された領域を、現フレームの画像データにおける部位枠として特定する。この部位枠の一例は、図２Ｅに示す。図２Ｅにおいて、領域７１は、最大の部位尤度が算出され、かつ、部位枠位置特定部１２２により、現フレームの画像データにおける頭部位枠として特定された領域である。以下、領域７１は、「頭部位枠７１」という。

このようにして、図２Ｅに示す現フレームの画像データにおいて、頭部位枠の位置の特定が終了する。なお、部位枠位置特定部１２２は、上記同様の動作を行うことで、胸部位枠、腹部位枠、太腿部位枠、脚部位枠のそれぞれについても、図２Ｅに示す現フレームの画像データにおいて位置を特定する。したがって、連続する複数のフレームの画像データごとに部位枠位置特定部１２２が各部位枠の位置特定を行うことで、複数のフレームにわたって各部位枠の追跡が可能となる。

そして、部位枠位置特定部１２２は、特定した各部位枠を示す部位枠情報を記憶する。ここでいう部位枠情報は、例えば、特定した部位枠ごとの位置（すなわち、部位枠間の相対的な位置関係）を示す情報である。ここで記憶された部位枠情報は、上述した通り、次のフレームの画像データにおいて算出範囲の設定を行う際に用いられる。

また、部位枠位置特定部１２２は、記憶した部位枠情報とともに、現フレームの画像データおよび人物枠情報を、部位枠位置補正部１２３へ送る。ここでいう現フレームの画像データは、例えば、図２Ｅに示す画像全体を示す画像データである。また、ここでいう人物枠情報は、図２Ｄに示す人物枠４１を示す人物枠情報である。

部位枠位置補正部１２３は、部位枠位置特定部１２２から、現フレームの画像データ、人物枠情報、および部位枠情報を受け取る。そして、部位枠位置補正部１２３は、現フレームの画像データにおいて、部位枠情報が示す各部位枠の位置が、人物枠情報が示す人物枠に合致するように補正する。この補正の一例は、図２Ｆに示す。図２Ｆにおいて、部位枠位置補正部１２３は、頭部位枠７１、胸部位枠７２、腹部位枠７３、太腿部位枠７４、脚部位枠７５のそれぞれの位置を、人物枠４１に合致するように補正する。

以上で、本実施の形態の人物検出追跡装置１００の構成例についての説明を終える。

＜人物検出追跡装置１００の動作＞
次に、本実施の形態の人物検出追跡装置１００の動作例について、図３を参照して説明する。図３は、本実施の形態の人物検出追跡装置１００の動作例を示すフロー図である。

ステップＳ１において、人物枠検出部１１０は、撮像部２００から１フレーム分の画像データを受け取る。この１フレーム分の画像データは、例えば、図２Ａに示す画像データまたは図２Ｄに示す画像データである。

ステップＳ２において、人物枠検出部１１０は、１フレーム分の画像データと、予め学習済みの人物特徴データとを照合し、画像データにおいて人物特徴データに合致する領域を、人物枠として検出する。この人物枠は、例えば、図２Ｂに示す人物枠４０または図２Ｄに示す人物枠４１である。

ステップＳ３において、人物枠検出部１１０は、部位枠設定部１２１からの部位枠設定終了通知の有無に基づいて、検出した人物枠に含まれる人物にデフォルトの部位枠が設定済みであるか否かを判定する。

ステップＳ３の判定の結果、デフォルトの部位枠が設定済みである場合（ステップＳ３：ＹＥＳ）、人物枠検出部１１０は、１フレーム分の画像データおよび人物枠情報を、部位枠位置特定部１２２へ送る。この１フレーム分の画像データおよび人物枠情報は、例えば、図２Ｄに示す画像データおよび人物枠４１を示す人物枠情報である。そして、フローは、ステップＳ５へ進む。

一方、ステップＳ３の判定の結果、デフォルトの部位枠が設定みではない場合（ステップＳ３：ＮＯ）、人物枠検出部１１０は、１フレーム分の画像データおよび人物枠情報を、部位枠設定部１２１へ送る。この１フレーム分の画像データおよび人物枠情報は、例えば、図２Ａに示す画像データおよび人物枠４０を示す人物枠情報である。そして、フローは、ステップＳ４へ進む。

ステップＳ４において、部位枠設定部１２１は、１フレーム分の画像データにおいて、人物枠情報が示す人物枠の範囲内でデフォルトの部位枠を設定する。このデフォルトの部位枠は、例えば、図２Ｃに示す、頭部位枠５１、胸部位枠５２、腹部位枠５３、太腿部位枠５４、脚部位枠５５である。その後、部位枠設定部１２１は、デフォルトの部位枠の設定を終えた旨を示す部位枠設定終了通知を人物枠検出部１１０へ送る。また、部位枠設定部１２１は、デフォルトの部位枠をそれぞれ示す部位枠情報を、部位枠位置特定部１２２へ送る。この部位枠情報は、例えば、図２Ｃに示す、頭部位枠５１、胸部位枠５２、腹部位枠５３、太腿部位枠５４、脚部位枠５５をそれぞれ示す部位枠情報である。そして、フローは、ステップＳ１へ戻る。

ステップＳ５において、部位枠位置特定部１２２は、人物枠情報および部位枠情報に基づいて、１フレーム分の画像データ（現フレームの画像データ）に算出範囲を設定する。算出範囲は、部位ごとに１つ設定される。この算出範囲は、例えば、図２Ｅに示す算出範囲６０である。

ステップＳ６において、部位枠位置特定部１２２は、算出範囲において、所定の部位枠と同じ大きさの枠を所定距離ずつ移動させる度に、その枠で囲まれた領域の部位尤度を算出する。これにより、複数の部位尤度が算出される。部位尤度は、部位ごとに複数算出される。

ステップＳ７において、部位枠位置特定部１２２は、算出範囲６０において最も大きい部位尤度が算出された領域を、現フレームの画像データにおける部位枠として特定する。部位枠の特定は、部位ごとに行われる。この特定された部位枠は、例えば、図２Ｅに示す頭部位枠７１である。この後、部位枠位置特定部１２２は、特定した各部位枠を示す部位枠情報を記憶する。この部位枠情報は、例えば、図２Ｆに示す、頭部位枠７１、胸部位枠７２、腹部位枠７３、太腿部位枠７４、脚部位枠７５をそれぞれ示す部位枠情報である。また、部位枠位置特定部１２２は、記憶した部位枠情報とともに、現フレームの画像データおよび人物枠情報を、部位枠位置補正部１２３へ送る。ここでいう現フレームの画像データは、例えば、図２Ｅに示す画像全体を示す画像データである。また、ここでいう人物枠情報は、図２Ｄに示す人物枠４１を示す人物枠情報である。

ステップＳ８において、部位枠位置補正部１２３は、現フレームの画像データにおいて、部位枠情報が示す各部位枠の位置が、人物枠情報が示す人物枠に合致するように補正する。この補正は、例えば、図２Ｆにおいて、頭部位枠７１、胸部位枠７２、腹部位枠７３、太腿部位枠７４、脚部位枠７５のそれぞれの位置が、人物枠４１に合致するように行われる。そして、フローは、ステップＳ１へ戻る。

以上で、本実施の形態の人物検出追跡装置１００の動作例についての説明を終える。

このように、本実施の形態の人物検出追跡装置１００は、１フレーム分の画像データごとに、人物の絶対的な大きさおよび位置を示す人物枠に基づいて、特定した部位枠間の相対的な位置関係を補正することを特徴とする。よって、人物検出追跡装置１００は、部位枠間で尤度に差分のない（部位枠間に特徴差がない）場合でも、特定した各部位枠の位置が真値と剥離（例えば、各部位枠が人物の上半身に偏る現象が発生）することがない。したがって、人物検出追跡装置１００は、実際の画像データと追跡結果との間において、人物の大きさおよび各部位の位置のズレを防止でき、精度良い追跡結果を得ることができる。さらに、人物検出追跡装置１００は、得られた追跡結果を用いて人物の姿勢を推定する場合、その姿勢推定の精度を向上させることができる。

（実施の形態２）
本発明の実施の形態２について、図面を参照しながら説明する。本実施の形態は、各部位枠の位置特定の後で、人物の姿勢について簡易的な推定を行い、その推定結果に応じて各部位枠の位置補正を実施するか否かを決定する点が、上記実施の形態１と異なる。

＜人物検出追跡装置１０１の構成＞
まず、本実施の形態の人物検出追跡装置１０１の構成例について説明する。図４は、本実施の形態の人物検出追跡装置１０１の構成例を示す図である。図４に示す構成は、図１に示す構成と比較して、簡易姿勢推定部１２４を備える点が異なる。よって、以下では、図１に示す構成と異なる部分を中心に説明する。

簡易姿勢推定部１２４は、部位枠位置特定部１２２から、現フレームの画像データ、人物枠情報、および部位枠情報を受け取る。そして、簡易姿勢推定部１２４は、受け取った部位枠情報が示す各部位枠の相対的な位置関係に基づいて、現フレームの画像データにおける人物の姿勢を推定する。例えば、図５Ａにおいて、頭部位枠、胸部位枠、腹部位枠、太腿部位枠、脚部位枠が画像データの縦軸方向に沿って一直線である位置関係に基づいて、簡易姿勢推定部１２４は、人物が直立姿勢であると推定する。一方で、例えば、図５Ｂにおいて、頭部位枠、腰部位枠、脚部位枠が「くの字」に折れ曲がっている位置関係に基づいて、簡易姿勢推定部１２４は、人物が前傾姿勢であると推定する。

簡易姿勢推定部１２４は、推定した姿勢（例えば、直立姿勢または前傾姿勢）を示す姿勢情報を、部位枠位置補正部１２３へ送る。このとき、簡易姿勢推定部１２４は、姿勢情報とともに、部位枠位置特定部１２２から受け取った、現フレームの画像データ、人物枠情報、および部位枠情報を、部位枠位置補正部１２３へ送る。

部位枠位置補正部１２３は、部位枠位置特定部１２２から、現フレームの画像データ、人物枠情報、部位枠情報、および姿勢情報を受け取る。そして、部位枠位置補正部１２３は、人物枠情報および姿勢情報に基づいて、推定された姿勢が人物枠に合っているか否かを判定する。換言すれば、部位枠位置補正部１２３は、人物枠情報が示す人物枠に該当する姿勢と、姿勢情報が示す姿勢とが相違しているか否かを判定する。例えば、部位枠位置補正部１２３は、人物枠情報が示す人物枠に該当する姿勢（以下、「人物枠の姿勢」という）が直立姿勢である場合、姿勢情報が示す姿勢（以下、「推定姿勢」という）が直立姿勢であるか否かを判定する。

上記判定の結果、推定姿勢が人物枠の姿勢に合っている場合、部位枠位置補正部１２３は、現フレームの画像データにおいて、部位枠情報が示す各部位枠の位置が、人物枠情報が示す人物枠に合致するように補正する。一方で、上記判定の結果、推定姿勢が人物枠の姿勢に合っていない場合、部位枠位置補正部１２３は、各部位枠の位置の補正を行わない。

以上で、本実施の形態の人物検出追跡装置１０１の構成例についての説明を終える。

＜人物検出追跡装置１０１の動作＞
次に、本実施の形態の人物検出追跡装置１０１の動作例について、図６を参照して説明する。図６は、本実施の形態の人物検出追跡装置１０１の動作例を示すフロー図である。図６に示すフローは、図３に示すフローと比較して、ステップＳ１１およびＳ１２を備える点が異なる。よって、以下では、図３に示すフローと異なる部分についてのみ説明する。

ステップＳ１１において、簡易姿勢推定部１２４は、部位枠情報が示す各部位枠の相対的な位置関係に基づいて、現フレームの画像データにおける人物の姿勢を推定する。換言すれば、簡易姿勢推定部１２４は、人物の姿勢が、図５Ａに示す直立姿勢であるか、または、図５Ｂに示す前傾姿勢であるかを推定する。そして、簡易姿勢推定部１２４は、推定結果を示す姿勢情報を、部位枠位置特定部１２２から受け取った、現フレームの画像データ、人物枠情報、および部位枠情報とともに、部位枠位置補正部１２３へ送る。

ステップＳ１２において、部位枠位置補正部１２３は、姿勢情報が示す姿勢（推定姿勢）が、受け取った人物枠情報が示す人物枠に該当する姿勢（人物枠の姿勢）に合っているか否かを判定する。例えば、人物枠の姿勢が直立姿勢である場合、部位枠位置補正部１２３は、推定姿勢が直立姿勢であるか否かを判定する。

ステップＳ１２の判定の結果、推定姿勢が人物枠の姿勢に合っている場合（ステップＳ１２：ＹＥＳ）、フローは、ステップＳ８に進む。

ステップＳ８において、部位枠位置補正部１２３は、現フレームの画像データにおいて、部位枠情報が示す各部位枠の位置が、人物枠情報が示す人物枠に合致するように補正する。そして、フローは、ステップＳ１へ戻る。

ステップＳ１２の判定の結果、推定姿勢が人物枠の姿勢に合っていない場合（ステップＳ１２：ＮＯ）、部位枠位置補正部１２３は、部位枠情報が示す各部位枠の位置の補正を行わない。そして、フローは、ステップＳ１へ戻る。

以上で、本実施の形態の人物検出追跡装置１０１の動作例についての説明を終える。

このように、本実施の形態の人物検出追跡装置１０１は、簡易姿勢推定部１２４を備えることで、上記実施の形態１の効果に加えて、以下の作用、効果を得ることができる。すなわち、人物検出追跡装置１０１は、人物枠を用いた部位枠の位置補正を行う場合を、推定姿勢が人物枠の姿勢に合致する場合のみに限定する。換言すれば、人物検出追跡装置１０１は、姿勢推定が人物枠の姿勢に合致しない場合、人物枠を用いた部位枠の位置補正を行わない。これにより、人物検出追跡装置１０１は、実施の形態１に比べて、精度良く部位枠の位置補正を行うことができる。

＜実施の形態の変形例＞
以上、本実施の形態１、２について説明したが、上記説明は一例であり、種々の変形が可能である。以下、変形例について説明する。

実施の形態１、２において、人物枠の検出に用いる特徴（人物特徴データ）および部位枠の特定に用いる特徴（部位特徴データ）は、例として、色情報、輝度エッジ情報、またはテクスチャ情報のいずれかとした。しかし、実施の形態１、２では、それらの情報を任意に組み合わせて用いてもよい。

また、実施の形態１、２において、現フレームの画像データにおける各部位枠の特定は、最大の部位尤度が算出された領域としたが、これに限定されない。例えば、部位枠位置特定部１２２は、以下のように動作してもよい。まず、部位枠位置特定部１２２は、算出範囲において、部位尤度を算出した複数の領域のうち、部位尤度が規定の閾値以上の領域を複数選定する。次に、部位枠位置特定部１２２は、選定した領域それぞれについて、規定の位置（以下、「基準点」という）の座標を抽出する。次に、部位枠位置特定部１２２は、抽出した複数の基準点の座標の平均値を算出し、その平均値を新たな基準点の座標に決定する。次に、部位枠位置特定部１２２は、新たな基準点の座標に基づいた領域（部位尤度を算出する際の領域と同じ大きさ）を、現フレームの画像データにおける部位枠として特定する。このように、部位尤度が閾値以上である複数の領域の基準点の平均値を求めることにより、現フレームの画像データにおける部位枠を特定してもよい。

また、実施の形態１、２およびその変形例は、本発明をハードウェアで構成する場合を例にとって説明したが、本発明はハードウェアとの連係においてソフトウェアでも実現することも可能である。

以上、本開示の人物検出追跡装置は、人物全体の特徴を示す人物特徴データに基づいて、第１の画像データから、人物が存在する可能性の高い領域として人物枠を検出する人物枠検出部と、人物の部位の特徴を示す部位特徴データと、前記第１の画像データより過去の第２の画像データにおいて前記人物の部位が存在する可能性の高い領域として特定された部位枠とに基づいて、前記第１の画像データにおいて部位枠を特定する部位枠位置特定部と、前記第１の画像データにおいて特定された部位枠の位置を、前記人物枠に基づいて補正する部位枠位置補正部と、を備える。

また、本開示の人物検出追跡装置において、前記部位枠位置特定部により特定された部位枠の位置に基づいて、前記第１の画像データにおいて人物の姿勢を推定する簡易姿勢推定部をさらに備え、前記部位枠位置補正部は、前記簡易姿勢推定部により推定された人物の姿勢が前記人物枠に合致する場合、前記第１の画像データにおいて特定された部位枠の位置を、前記人物枠に基づいて補正する。

また、本開示の人物検出追跡装置において、前記部位枠位置補正部は、前記簡易姿勢推定部により推定された人物の姿勢が前記人物枠に合致しない場合、前記第１の画像データにおいて特定された部位枠の位置を、前記人物枠に基づいて補正しない。

また、本開示の人物検出追跡装置において、前記部位枠位置特定部は、前記第２の画像データにおいて特定された部位枠と、前記第１の画像データにおいて検出された人物枠とに基づいて、算出範囲を設定し、前記算出範囲内において、前記第２の画像データにおいて特定された部位枠と同じ大きさの領域ごとに、前記部位特徴データに基づいて、部位尤度を算出し、前記部位尤度に基づいて選定した領域を、前記第１の画像データにおける部位枠として特定する。

また、本開示の人物検出追跡装置において、前記第２の画像データにおいて部位枠が特定されていない場合、前記人物枠に基づいて、前記第１の画像データにおいてデフォルトの部位枠を設定する部位枠設定部をさらに備える。

また、本開示の人物検出追跡装置において、前記部位枠設定部は、前記人物枠を垂直方向に分割し、分割した各領域を前記デフォルトの部位枠として設定する。

また、本開示の人物検出追跡方法は、人物全体の特徴を示す人物特徴データに基づいて、第１の画像データから、人物が存在する可能性の高い領域として人物枠を検出するステップと、人物の部位の特徴を示す部位特徴データと、前記第１の画像データより過去の第２の画像データにおいて前記人物の部位が存在する可能性の高い領域として特定された部位枠とに基づいて、前記第１の画像データにおいて部位枠を特定するステップと、前記第１の画像データにおいて特定された部位枠の位置を、前記人物枠に基づいて補正するステップと、を有する。

また、本開示の人物検出追跡プログラムは、人物全体の特徴を示す人物特徴データに基づいて、第１の画像データから、人物が存在する可能性の高い領域として人物枠を検出する処理と、人物の部位の特徴を示す部位特徴データと、前記第１の画像データより過去の第２の画像データにおいて前記人物の部位が存在する可能性の高い領域として特定された部位枠とに基づいて、前記第１の画像データにおいて部位枠を特定する処理と、前記第１の画像データにおいて特定された部位枠の位置を、前記人物枠に基づいて補正する処理と、をコンピュータに実行させる。

本発明は、画像データから人物を検出し、連続する複数のフレームにわたって人物の部位を追跡する装置、方法およびプログラム等に有用である。

１００、１０１ 人物検出追跡装置
１１０ 人物枠検出部
１２０ 部位追跡部
１２１ 部位枠設定部
１２２ 部位枠位置特定部
１２３ 部位枠位置補正部
１２４ 簡易姿勢推定部
２００ 撮像部

Claims (8)

1. 人物全体の特徴を示す人物特徴データに基づいて、第１の画像データから、人物が存在する可能性の高い領域として人物枠を検出する人物枠検出部と、
   人物の部位の特徴を示す部位特徴データと、前記第１の画像データより過去の第２の画像データにおいて前記人物の部位が存在する可能性の高い領域として特定された部位枠とに基づいて、前記第１の画像データにおいて部位枠を特定する部位枠位置特定部と、
   前記第１の画像データにおいて特定された部位枠の位置を、前記人物枠に基づいて補正する部位枠位置補正部と、
   を備える人物検出追跡装置。
2. 前記部位枠位置特定部により特定された部位枠の位置に基づいて、前記第１の画像データにおいて人物の姿勢を推定する簡易姿勢推定部をさらに備え、
   前記部位枠位置補正部は、
   前記簡易姿勢推定部により推定された人物の姿勢が前記人物枠に合致する場合、前記第１の画像データにおいて特定された部位枠の位置を、前記人物枠に基づいて補正する、
   請求項１記載の人物検出追跡装置。
3. 前記部位枠位置補正部は、
   前記簡易姿勢推定部により推定された人物の姿勢が前記人物枠に合致しない場合、前記第１の画像データにおいて特定された部位枠の位置を、前記人物枠に基づいて補正しない、
   請求項２記載の人物検出追跡装置。
4. 前記部位枠位置特定部は、
   前記第２の画像データにおいて特定された部位枠と、前記第１の画像データにおいて検出された人物枠とに基づいて、算出範囲を設定し、
   前記算出範囲内において、前記第２の画像データにおいて特定された部位枠と同じ大きさの領域ごとに、前記部位特徴データに基づいて、部位尤度を算出し、
   前記部位尤度に基づいて選定した領域を、前記第１の画像データにおける部位枠として特定する、
   請求項１から３のいずれか１項に記載の人物検出追跡装置。
5. 前記第２の画像データにおいて部位枠が特定されていない場合、前記人物枠に基づいて、前記第１の画像データにおいてデフォルトの部位枠を設定する部位枠設定部をさらに備える、
   請求項１から４のいずれか１項に記載の人物検出追跡装置。
6. 前記部位枠設定部は、
   前記人物枠を垂直方向に分割し、分割した各領域を前記デフォルトの部位枠として設定する、
   請求項５記載の人物検出追跡装置。
7. 人物全体の特徴を示す人物特徴データに基づいて、第１の画像データから、人物が存在する可能性の高い領域として人物枠を検出するステップと、
   人物の部位の特徴を示す部位特徴データと、前記第１の画像データより過去の第２の画像データにおいて前記人物の部位が存在する可能性の高い領域として特定された部位枠とに基づいて、前記第１の画像データにおいて部位枠を特定するステップと、
   前記第１の画像データにおいて特定された部位枠の位置を、前記人物枠に基づいて補正するステップと、
   を有する人物検出追跡方法。
8. 人物全体の特徴を示す人物特徴データに基づいて、第１の画像データから、人物が存在する可能性の高い領域として人物枠を検出する処理と、
   人物の部位の特徴を示す部位特徴データと、前記第１の画像データより過去の第２の画像データにおいて前記人物の部位が存在する可能性の高い領域として特定された部位枠とに基づいて、前記第１の画像データにおいて部位枠を特定する処理と、
   前記第１の画像データにおいて特定された部位枠の位置を、前記人物枠に基づいて補正する処理と、
   をコンピュータに実行させる人物検出追跡プログラム。

Images