JP7323079B2 - 姿勢特定装置、姿勢特定方法、及びプログラム - Google Patents

Description

本開示は、姿勢特定装置、姿勢特定方法、及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。

複数の人間（人物）にそれぞれ対応する複数の人画像を含む画像において、各人間の姿勢（pose）を特定する技術が提案されている（例えば、特許文献１）。特許文献１に開示されている技術では、画像において人間の複数の部位ポイント（a plurality of body region points）を検出し、検出された複数の部位ポイントの中から人間の頭を特定することによって、画像中の人を特定する。そして、特定された人間の頭に他の検出部位ポイントを対応付けることによって、人間の姿勢を特定している。

米国特許出願公開第２０１８／０２９３７５３号明細書

しかしながら、特許文献１に開示されている技術では、頭のみに基づいて画像中の人を特定するので、例えば画像の解像度が低い場合等には、特定精度が低下する可能性がある。

本発明者は、３つ以上の基本部位ポイントを含む基本パタンを、人間の「コア部分」として抽出することにより、人の姿勢の特定精度を向上させることができることを見出した。

さらに、本発明者は、基本部位ポイントと隣接関係に無い検出部位ポイントを直接的にグルーピング対象検出部位ポイントとすることで、人の姿勢の特定の高速化を実現できることを見出した。

本開示の目的は、人の姿勢の特定精度の向上及び特定速度の高速化を実現できる、姿勢特定装置、姿勢特定方法、及びプログラムを格納する非一時的なコンピュータ可読媒体を提供することにある。

第１の態様にかかる姿勢特定装置は、複数の人間にそれぞれ対応する複数の人画像を含む画像において人間についての所定の複数の検出対象ポイントであって前記人間の複数の部位ポイントと２つの部位ポイントからなる各部位ポイントペアについての中間ポイントとを含む前記所定の複数の検出対象ポイントに関して検出された、複数の検出部位ポイント及び複数の検出中間ポイントから、各人間についての基本パタンを抽出する手段であって、前記基本パタンは、互いに異なる複数の基本部位種別に対応する複数の検出基本部位ポイントを含む、基本パタン抽出手段と、
抽出された各基本パタンに含まれる複数の検出基本部位ポイントのうちの一部又は全部からなる複数のグルーピング判定基準部位ポイントのそれぞれとグルーピング対象検出部位ポイントとのリンクから求められる中間ポイント期待領域内に、対応する検出中間ポイントが存在するリンクの数を基本パタン毎にカウントし、カウント値に基づいて、前記グルーピング対象検出部位ポイントを、抽出された複数の基本パタンにそれぞれ対応する複数の人グループのいずれかにグルーピングするグルーピング手段と、
を具備する。

第２の態様にかかる姿勢特定方法は、複数の人間にそれぞれ対応する複数の人画像を含む画像において人間についての所定の複数の検出対象ポイントであって前記人間の複数の部位ポイントと２つの部位ポイントからなる各部位ポイントペアについての中間ポイントとを含む前記所定の複数の検出対象ポイントに関して検出された、複数の検出部位ポイント及び複数の検出中間ポイントから、各人間についての基本パタンを抽出することを含み、前記基本パタンは、互いに異なる複数の基本部位種別に対応する複数の検出基本部位ポイントを含み、
抽出された各基本パタンに含まれる複数の検出基本部位ポイントのうちの一部又は全部からなる複数のグルーピング判定基準部位ポイントのそれぞれとグルーピング対象検出部位ポイントとのリンクから求められる中間ポイント期待領域内に、対応する検出中間ポイントが存在するリンクの数を基本パタン毎にカウントすること、及び、カウント値に基づいて、前記グルーピング対象検出部位ポイントを、抽出された複数の基本パタンにそれぞれ対応する複数の人グループのいずれかにグルーピングすることをさらに含む。

第３の態様にかかる非一時的なコンピュータ可読媒体は、複数の人間にそれぞれ対応する複数の人画像を含む画像において人間についての所定の複数の検出対象ポイントであって前記人間の複数の部位ポイントと２つの部位ポイントからなる各部位ポイントペアについての中間ポイントとを含む前記所定の複数の検出対象ポイントに関して検出された、複数の検出部位ポイント及び複数の検出中間ポイントから、各人間についての基本パタンを抽出することを含み、前記基本パタンは、互いに異なる複数の基本部位種別に対応する複数の検出基本部位ポイントを含み、
抽出された各基本パタンに含まれる複数の検出基本部位ポイントのうちの一部又は全部からなる複数のグルーピング判定基準部位ポイントのそれぞれとグルーピング対象検出部位ポイントとのリンクから求められる中間ポイント期待領域内に、対応する検出中間ポイントが存在するリンクの数を基本パタン毎にカウントすること、及び、カウント値に基づいて、前記グルーピング対象検出部位ポイントを、抽出された複数の基本パタンにそれぞれ対応する複数の人グループのいずれかにグルーピングすることをさらに含む、
処理を、姿勢特定装置に実行させるプログラムを格納する。

本開示により、人の姿勢の特定精度の向上及び特定速度の高速化を実現できる、姿勢特定装置、姿勢特定方法、及びプログラムを格納する非一時的なコンピュータ可読媒体を提供することができる。

第１実施形態における姿勢特定装置の一例を示す図である。 第１実施形態における姿勢特定装置の処理動作の一例を示すフローチャートである。 第２実施形態における姿勢特定装置の一例を示すブロック図である。 人間についての所定の複数の検出対象ポイントの一例を示す図である。 基本パタンの抽出処理の説明に供する図である。 基本パタン候補のタイプを説明する図である。 基本長の算出の説明に供する図である。 グルーピング処理の説明に供する図である。 中間ポイント期待領域の説明に供する図である。 グルーピング処理の説明に供する他の図である。 姿勢特定装置のハードウェア構成例を示す図である。

以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。

＜第１実施形態＞
＜姿勢特定装置の構成例＞
図１は、第１実施形態における姿勢特定装置の一例を示す図である。図１において姿勢特定装置１０は、基本パタン抽出部１１と、グルーピング部１２とを有している。

基本パタン抽出部１１は、複数の「検出部位ポイント（detected body region points）」及び複数の「検出中間ポイント」のそれぞれの「画像における位置」及び「ポイント種別」に関する情報を取得する。基本パタン抽出部１１は、複数の「検出部位ポイント」及び複数の「検出中間ポイント」から、各人間についての「基本パタン（basic pattern）」を抽出する。これらの複数の「検出部位ポイント」及び複数の「検出中間ポイント」は、複数の人間にそれぞれ対応する複数の人画像を含む画像において人間についての所定の複数の「検出対象ポイント」であって、人間の複数の「部位ポイント」と２つの部位ポイントからなる各「部位ポイントペア」についての「中間ポイント」とを含む所定の複数の検出対象ポイントに関して、例えばニューラルネットワーク（不図示）によって検出されたものである。「基本パタン」は、互いに異なる複数の「基本部位種別」に対応する複数の「検出部位ポイント（つまり、検出基本部位ポイント（detected base body region points）」を含む。

ここで、上記の所定の複数の「検出対象ポイント」に含まれる各「部位ポイント」は、人間の首、目、鼻、耳、肩、肘などの人間の部位に関連する。一方、上記の所定の複数の「検出対象ポイント」に含まれる「中間ポイント」は、例えば右肩と右肘とのように腕によって直接的に繋がった部位ポイントペアの場合（つまり、隣接関係にある部位ポイントのペアの場合）には人間の部位に関連する一方で、右肩と左肘とのように直接的には繋がっていない部位ポイントペアの場合には、人の姿勢によっては人間周辺の空間ポイントであって人間の部位に関連しない可能性もある。上記の「検出部位ポイント」及び「検出中間ポイント」は、それぞれ、上記の所定の複数の「検出対象ポイント」に含まれる「部位ポイント」及び「中間ポイント」に関して例えばニューラルネットワーク（不図示）によって検出されたポイントである。

例えば、「基本パタン」は、次の２つの組み合わせのうちの少なくとも１つを含んでいる。１つ目の組み合わせは、基本部位種別としての首、左肩及び左耳にそれぞれ対応する３つの基本部位ポイントとの組み合わせである。２つ目の組み合わせは、基本部位種別としての首、右肩及び右耳にそれぞれ対応する３つの基本部位ポイントとの組み合わせである。すなわち、「基本パタン」は、画像において、人間の体の中で最も安定的に検出可能なコア部分に対応している。

グルーピング部１２は、「複数のグルーピング判定基準部位ポイント」のそれぞれと「グルーピング対象検出部位ポイント」とのリンクから求められる「中間ポイント期待領域」内に、対応する検出中間ポイントが存在するリンクの数を基本パタン毎にカウントする。「複数のグルーピング判定基準部位ポイント」は、抽出された基本パタンに含まれる複数の検出基本部位ポイントのうちの一部又は全部からなる。

例えば、「複数のグルーピング判定基準部位ポイント」は、基本部位種別としての首、左肩及び右肩のそれぞれに対応する検出部位ポイントであってもよい。このとき、左肩の検出部位ポイントが含まれない基本パタンの場合、首及び右肩に対応する２つの検出部位ポイントが上記の「複数のグルーピング判定基準部位ポイント」となる。「グルーピング対象検出部位ポイント」は、基本パタンに含まれない部位種別についての各検出部位ポイントである。例えば、基本パタンの部位種別が首、右肩、左肩、右耳及び左耳のそれぞれである場合、目、鼻、肘などについての各検出部位ポイントが、グルーピング対象検出部位ポイントである。「中間ポイント期待領域」は、上記のリンクの「中心点（中央点）」として定義される「定義中間ポイント」を含む領域（中間領域）である。

そして、グルーピング部１２は、抽出された基本パタン毎にカウントされたカウント値に基づいて、グルーピング対象検出部位ポイントを、抽出された複数の基本パタンにそれぞれ対応する複数の人グループのいずれかにグルーピングする。

＜姿勢特定装置の動作例＞
以上の構成を有する姿勢特定装置１０の処理動作の一例について説明する。図２は、第１実施形態における姿勢特定装置の処理動作の一例を示すフローチャートである。

基本パタン抽出部１１は、複数の検出部位ポイント及び複数の検出中間ポイントから、各人間についての基本パタンを抽出する（ステップＳ１０１）。

グルーピング部１２は、複数のグルーピング判定基準部位ポイントのそれぞれとグルーピング対象検出部位ポイントとのリンクから求められる中間ポイント期待領域内に、対応する検出中間ポイントが存在するリンクの数を基本パタン毎にカウントする（ステップＳ１０２）。

グルーピング部１２は、抽出された基本パタン毎にカウントされたカウント値に基づいて、グルーピング対象検出部位ポイントを、抽出された複数の基本パタンにそれぞれ対応する複数の人グループのいずれかにグルーピングする（ステップＳ１０３）。

なお、ステップＳ１０２及びステップＳ１０３の処理（つまり、グルーピング処理）は、各グルーピング対象検出部位ポイントについて行われる。複数のグルーピング対象検出部位ポイントについてのステップＳ１０２及びステップＳ１０３の処理は、順番に行われてもよいし、並列に行われてもよい。複数のグルーピング対象検出部位ポイントについてのステップＳ１０２及びステップＳ１０３の処理を並列に行うことにより、人の特定速度を高速化させることができる。

以上のように第１実施形態によれば、姿勢特定装置１０にて基本パタン抽出部１１は、複数の検出部位ポイント及び複数の「検出中間ポイント」から、各人間についての基本パタンを抽出する。「基本パタン」は、互いに異なる複数の基本部位種別に対応する複数の検出基本部位ポイントを含む。

この姿勢特定装置１０の構成により、複数の検出基本部位ポイントを含む上記の基本パタンを、人間の「コア部分」として抽出することができる。これにより、画像に含まれる人の姿勢を特定する精度を向上させることができる。

また、姿勢特定装置１０にてグルーピング部１２は、複数のグルーピング判定基準部位ポイントのそれぞれとグルーピング対象検出部位ポイントとのリンクから求められる中間ポイント期待領域内に、対応する検出中間ポイントが存在するリンクの数を基本パタン毎にカウントする。複数のグルーピング判定基準部位ポイントは、抽出された基本パタンに含まれる複数の検出基本部位ポイントのうちの一部又は全部からなる。そして、グルーピング部１２は、抽出された基本パタン毎にカウントされたカウント値に基づいて、グルーピング対象検出部位ポイントを、抽出された複数の基本パタンにそれぞれ対応する複数の人グループのいずれかにグルーピングする。

この姿勢特定装置１０の構成により、第１のグルーピング対象検出部位ポイントについてのグルーピング結果が第１のグルーピング対象検出部位ポイントと隣接関係にある第２のグルーピング対象検出部位ポイントのグルーピング結果に影響を与えない。このため、グルーピング判定基準部位ポイントとグルーピング対象検出部位ポイントとが隣接関係にあるか否かに関わらず、グルーピング対象検出部位ポイントのグルーピング処理を実行することができる。これにより、複数のグルーピング対象検出部位ポイントについてのグルーピング処理を並列に実行することができるので、人の姿勢の特定速度を高速化させることができる。

＜第２実施形態＞
第２実施形態は、より具体的な実施形態に関する。

＜姿勢特定装置の構成例＞
図３は、第２実施形態における姿勢特定装置の一例を示すブロック図である。図３において姿勢特定装置２０は、基本パタン抽出部２１と、グルーピング部２２とを有している。

基本パタン抽出部２１は、第１実施形態の基本パタン抽出部１１と同様に、複数の「検出部位ポイント（detected body region points）」及び複数の「検出中間ポイント」のそれぞれの「画像における位置」及び「ポイント種別」に関する情報を取得する。基本パタン抽出部２１は、複数の「検出部位ポイント」及び複数の「検出中間ポイント」から、各人間についての「基本パタン（basic pattern）」を抽出する。これらの複数の「検出部位ポイント」及び複数の「検出中間ポイント」は、複数の人間にそれぞれ対応する複数の人画像を含む画像において人間についての所定の複数の「検出対象ポイント」であって、人間の複数の「部位ポイント」と２つの部位ポイントからなる各「部位ポイントペア」についての「中間ポイント」とを含む所定の複数の検出対象ポイントに関して、例えばニューラルネットワーク（不図示）によって検出されたものである。「基本パタン」は、互いに異なる複数の「基本部位種別」に対応する複数の「検出基本部位ポイント（detected base body region points）」を含む。

図４は、人間についての所定の複数の検出対象ポイントの一例を示す図である。図４において、人間についての「所定の複数の検出対象ポイント」は、部位ポイントＮ_０～Ｎ_１７を含んでいる。図４に示すように、部位ポイントＮ_０は、首に対応する。部位ポイントＮ_１は、右肩に対応する。部位ポイントＮ_２は、左肩に対応する。部位ポイントＮ_３は、右耳に対応する。部位ポイントＮ_４は、左耳に対応する。部位ポイントＮ_５は、鼻に対応する。部位ポイントＮ_６は、右目に対応する。部位ポイントＮ_７は、左目に対応する。部位ポイントＮ_８は、右肘に対応する。部位ポイントＮ_９は、右手首に対応する。部位ポイントＮ_１０は、左肘に対応する。部位ポイントＮ_１１は、左手首に対応する。部位ポイントＮ_１２は、右腰に対応する。部位ポイントＮ_１３は、左腰に対応する。部位ポイントＮ_１４は、右膝に対応する。部位ポイントＮ_１５は、左膝に対応する。部位ポイントＮ_１６は、右足首に対応する。部位ポイントＮ_１７は、左足首に対応する。

また、第１実施形態で説明した「複数のグルーピング判定基準部位ポイント」が部位ポイントＮ_０，Ｎ_１，Ｎ_２である場合、人間についての「所定の複数の検出対象ポイント」は、部位ポイントＮ_０，Ｎ_１，Ｎ_２のそれぞれと部位ポイントＮ_５～Ｎ_１７のそれぞれとの各組み合わせに対応する３９個の中間ポイントも含まれる。部位ポイントＮ_ｉと部位ポイントＮ_ｊとの中間ポイントは、中間ポイントＭ_{ｉ_ｊ}として表すことにする。検出中間ポイントは、中間ポイントと同様に、検出中間ポイントＭ_{ｉ_ｊ}で表し、第１実施形態で説明した「定義中間ポイント」は、定義中間ポイントＭ’_{ｉ_ｊ}で表すことにする。

従って、画像中に全身が映り込んでいる５人の人画像が含まれていれば、基本パタン抽出部２１は、各セットが検出部位ポイントＮ_０～Ｎ_１７及び３９個の検出中間ポイントＭの位置及びポイント種別を含む５セット分の情報を取得する可能性がある。

図３の説明に戻り、基本パタン抽出部２１は、第１実施形態の基本パタン抽出部１１と同様に、複数の「検出部位ポイント」及び複数の「検出中間ポイント」から、各人間についての「基本パタン（basic pattern）」を抽出する。

例えば、基本パタン抽出部２１は、図３に示すように、基本パタン候補特定部２１Ａと、基本長算出部２１Ｂと、基本パタン形成部２１Ｃとを有している。

基本パタン候補特定部２１Ａは、「メイン種別」に対応する複数の検出基本部位ポイントと「サブ種別」に対応する複数の検出基本部位ポイントとの間の複数の組み合わせのうちで、画像において距離の近い検出部位ポイントの組み合わせを、同一の基本パタン候補に分類することにより、複数の「基本パタン候補」を特定する。ここで、例えば、「メイン種別」は、首であり、「サブ種別」は、右肩、左肩、右耳、左耳のそれぞれである。例えば、基本パタン候補特定部２１Ａは、首に対応する１つの検出部位ポイントについて、右肩に対応する複数の検出部位ポイントの中から、該首に対応する１つの検出部位ポイントからの距離が最も近い、右肩に対応する１つの検出部位ポイントを選択する。この選択は、首に対応する各検出部位ポイントについて行われる。そして、基本パタン候補特定部２１Ａは、首に対応する複数の検出部位ポイントに対して、右肩に対応する同じ検出部位ポイントが選択された場合、該首に対応する複数の検出部位ポイントの中から、該右肩に対応する同じ検出部位ポイントからの距離が最も近い、首に対応する１つの検出部位ポイントを選択する。すなわち、基本パタン候補特定部２１Ａは、ＭＬＭＤ（Mutual-Local-Minimum-Distance）アルゴリズムを用いて処理を行っている。これにより、首に対応する１つの検出部位ポイントと右肩に対応する１つの検出部位ポイントとが選択され、これらは同一の「基本パタン候補」に分類される。以上で説明した処理が、左肩、右耳、左耳のそれぞれについても行われる。

基本パタン形成部２１Ｃは、基本パタン候補特定部２１Ａにて特定された複数の基本パタン候補に対して「最適化処理」を施すことにより、複数の人間についての複数の基本パタンを形成する。

「最適化処理」は、次の処理を含む。第１の処理は、メイン種別に対応する複数の検出部位ポイントを含む１つの基本パタン候補を切断して、それぞれがメイン種別に対応する１つの検出ポイントを含む複数の基本パタン候補に変換する、処理である。すなわち、１つの基本パタン候補の中に、首に対応する複数の検出部位ポイントが含まれる場合、該１つの基本パタン候補を分断して、それぞれが首に対応する１つの検出部位ポイントを含む複数の基本パタン候補に変換する。

第２の処理は、各基本パタン候補において、各基本パタン候補に含まれ且つサブ種別に対応する検出部位ポイントであって、メイン種別に対応する検出部位ポイントからの距離が「各基本パタン候補についての基本長（base length）」よりも長い、検出部位ポイントを、各基本パタン候補から除く、処理である。

第３の処理は、「第１部位種別グループ」に対応する３つの検出部位ポイントの組み合わせ、及び、「第２部位種別グループ」に対応する３つの検出部位ポイントの組み合わせのいずれも含まない、基本パタン候補を除く、処理である。例えば、「第１部位種別グループ」は、首、左肩、及び左耳であり、「第２部位種別グループ」は、首、右肩、及び右耳である。

基本長算出部２１Ｂは、上記の第１の処理が完了した時点で、「各基本パタン候補についての基本長」を算出する。この「各基本パタン候補についての基本長」の算出については、後に詳しく説明する。

グルーピング部２２は、第１実施形態のグルーピング部１２と同様に、「複数のグルーピング判定基準部位ポイント」のそれぞれと「グルーピング対象検出部位ポイント」とのリンクから求められる「中間ポイント期待領域」内に、対応する検出中間ポイントが存在するリンクの数を基本パタン毎にカウントする。

そして、グルーピング部２２は、抽出された基本パタン毎にカウントされたカウント値に基づいて、グルーピング対象検出部位ポイントを、抽出された複数の基本パタンにそれぞれ対応する複数の人グループのいずれかにグルーピングする。例えば、グルーピング部２２は、抽出された複数の基本パタンのうちで、カウント値が最も大きい基本パタンに対応する人グループに、グルーピング対象検出部位ポイントをグルーピングしてもよい。又は、グルーピング部２２は、抽出された複数の基本パタンのうちで、所定値以上（例えば、２以上）で且つ最も大きいカウント値を有する基本パタンに対応する人グループに、グルーピング対象検出部位ポイントをグルーピングしてもよい。また、最も大きいカウント値を有する基本パタンが複数存在する場合、グルーピング部２２は、グルーピング対象検出部位ポイントとの距離が最も小さいメイン種別に対応する検出基本部位ポイントを含む基本パタンに、グルーピング対象検出部位ポイントをグルーピングしてもよい。このグルーピング処理については、後に詳しく説明する。

＜姿勢特定装置の動作例＞
以上の構成を有する姿勢特定装置２０の処理動作の一例について説明する。

〈基本パタンの抽出処理〉
基本パタン抽出部２１は、複数の「検出部位ポイント（detected body region points）」及び複数の「検出中間ポイント」のそれぞれの「画像における位置」及び「ポイント種別」に関する情報を取得する。基本パタン抽出部２１は、複数の「検出部位ポイント」及び複数の「検出中間ポイント」から、各人間についての「基本パタン（basic pattern）」を抽出する。

図５は、基本パタンの抽出処理の説明に供する図である。

まず、基本パタンの抽出処理は、図５に示すグラフＧからスタートする。グラフＧは、「基本部位種別ペア」のグループＳｃに対応する全ての検出基本部位ポイントペアを含んでいる。グループＳｃは、首と右肩とのペア、首と左肩とのペア、首と右耳とのペア、首と左耳とのペア、右肩と右耳とのペア、及び、左肩と左耳とのペアをグループ要素としている。

そして、基本パタン候補特定部２１Ａは、各基本部位種別ペアについてＭＬＭＤアルゴリズムを用いた処理を行ってグラフＧ－ｓｕｂを得て、グラフＧ－ｓｕｂにおいて首に対応する各検出部位ポイントを頂点とする三角形を含んでいる塊を「基本パタン候補」として特定する。

図６は、基本パタン候補のタイプを説明する図である。基本パタン候補のタイプとしては、図６に示すように、ＴＡ，ＴＢ，ＴＣ，ＴＤ，ＴＥの５つタイプが存在する可能性がある。図５では、これらの５つのタイプの基本パタン候補をまとめて「ＰＡＴＴＥＲＮ－α」と記載している。ここで、例えば、正面を向いている人に対応する基本パタン候補は、タイプＴＡとなる可能性が高い。オクルージョンのような複雑な環境（complex environment）に起因して、タイプＴＢ，ＴＣ，ＴＤの基本パタン候補が存在する。

そして、基本パタン形成部２１Ｃは、「ＰＡＴＴＥＲＮ－α」に対して、最適化処理を施すことにより、複数の基本パタンを形成する。

最適化処理にて、まず、基本パタン形成部２１Ｃは、図６に示すタイプＴＥの基本パタン候補が首に対応する２つの検出部位ポイントを含んでいるので、タイプＴＥの基本パタン候補を、それぞれが首に対応する１つの検出部位ポイントを含む２つの基本パタン候補に分断する（上記の第１の処理）。これにより、タイプＴＢの基本パタン候補及びタイプＴＣの基本パタン候補が得られる。この結果、タイプＴＡ，ＴＢ，ＴＣ，ＴＤのいずれかに対応する基本パタン候補が残る。

そして、基本長算出部２１Ｂは、タイプＴＡ，ＴＢ，ＴＣ，ＴＤのいずれかに対応する各基本パタン候補についての「基本長」を算出する。この「基本長」は、人体の大きさの基準となる長さである。

図７は、基本長の算出の説明に供する図である。まず、基本長算出部２１Ｂは、各基本パタン候補について、長さＬａ，Ｌｂ，Ｌｃを算出する。

図７に示すように、長さＬａは、基本パタン候補における、首に対応する検出部位ポイントＮ_０と右肩に対応する検出部位ポイントＮ_１との距離、又は、首に対応する検出部位ポイントＮ_０と左肩に対応する検出部位ポイントＮ_２との間の距離として算出される。具体的には、基本パタン候補に右肩に対応する検出部位ポイントＮ_１及び左肩に対応する検出部位ポイントＮ_２の両方が含まれる場合、長さＬａは、首に対応する検出部位ポイントＮ_０と右肩に対応する検出部位ポイントＮ_１との距離、及び、首に対応する検出部位ポイントＮ_０と左肩に対応する検出部位ポイントＮ_２との間の距離のうちの小さい方と等しくなる。基本パタン候補に右肩に対応する検出部位ポイントＮ_１が含まれる一方で左肩に対応する検出部位ポイントＮ_２が含まれない場合、長さＬａは、首に対応する検出部位ポイントＮ_０と右肩に対応する検出部位ポイントＮ_１との距離となる。また、基本パタン候補に左肩に対応する検出部位ポイントＮ_２が含まれる一方で右肩に対応する検出部位ポイントＮ_１が含まれない場合、長さＬａは、首に対応する検出部位ポイントＮ_０と左肩に対応する検出部位ポイントＮ_２との距離となる。

図７に示すように、長さＬｂは、基本パタン候補における、首に対応する検出部位ポイントＮ_０と右耳に対応する検出部位ポイントＮ_３との距離、又は、首に対応する検出部位ポイントＮ_０と左耳に対応する検出部位ポイントＮ_４との間の距離として算出される。

図７に示すように、長さＬｃは、胸に対応する検出中間ポイントＭ_１２＿１，Ｍ_１３＿２が存在する場合、基本パタン候補における首に対応する検出部位ポイントＮ_０とこの検出部位ポイントＮ_０から最も近い右胸に対応する検出中間ポイントＭ_１２＿１との距離、又は、基本パタン候補における首に対応する検出部位ポイントＮ_０とこの部位ポイントＮ_０から最も近い左胸に対応する検出中間ポイントＭ_１３＿２との距離として算出される。また、胸に対応する検出中間ポイントＭ_１２＿１，Ｍ_１３＿２が存在しない場合、長さＬｃは、Ｌｃ＝Ｌａ＋Ｌｂ＋１によって算出される。

そして、基本長算出部２１Ｂは、算出された長さＬａ，Ｌｂ，Ｌｃに基づいて、各基本パタン候補の基本長を算出する。基本長算出部２１Ｂは、「Ｌｃ」と「Ｌａ＋Ｌｂ」との大小関係、及び「Ｌｂ」と「Ｌａ×２」との大小関係に応じて、異なる算出方法によって基本長を算出する。図７に示すように、例えば、「Ｌｃ」が「Ｌａ＋Ｌｂ」以下であり且つ「Ｌｂ」が「Ｌａ×２」以下である場合、基本長は、「Ｌｃ」となる。また、「Ｌｃ」が「Ｌａ＋Ｌｂ」以下であり且つ「Ｌｂ」が「Ｌａ×２」より大きい場合、基本長は、「Ｌｃ×１．１７」となる。また、「Ｌｃ」が「Ｌａ＋Ｌｂ」より大きく且つ「Ｌｂ」が「Ｌａ×２」以下である場合、基本長は、「Ｌａ＋Ｌｂ」となる。また、「Ｌｃ」が「Ｌａ＋Ｌｂ」より大きく且つ「Ｌｂ」が「Ｌａ×２」より大きい場合、基本長は、「Ｌｂ×１．７」となる。ここで、横向きの人に対応する基本パタン候補については、「Ｌｂ」が「Ｌａ×２」より大きくなる傾向がある。また、前向き又は後ろ向きの人に対応する基本パタン候補については、「Ｌｂ」が「Ｌａ×２」以下となる傾向がある。また、画像の下の方に写っている人に対応する基本パタン候補については、その人の胸が写っていないケースがある。このケースでは、「Ｌｃ」が「Ｌａ＋Ｌｂ」よりも大きくなる傾向がある。

図５の説明に戻り、基本パタン形成部２１Ｃは、各基本パタン候補において、各基本パタン候補に含まれ且つサブ種別に対応する検出基本部位ポイントであって、メイン種別に対応する検出基本部位ポイントからの距離が「各基本パタン候補についての基本長」よりも長い、検出基本部位ポイントを、各基本パタン候補から除く（上記の第２の処理）。これにより、例えば、図６に示す三角形を２つ有するタイプＴＡの基本パタン候補において、一方の三角形に含まれる耳に対応する検出部位ポイントが首に対応する検出部位ポイントから遠い場合、この耳に対応する検出部位ポイントは、基本パタン候補から除外される。これにより、タイプＴＡの基本パタン候補は、タイプＴＣの基本パタン候補に変わる。また、例えば、三角形を２つ有するタイプＴＡの基本パタン候補において、一方の三角形に含まれる肩に対応する検出部位ポイントが首に対応する検出部位ポイントから遠い場合、この肩に対応する検出部位ポイントは、基本パタン候補から除外される。これにより、タイプＴＡの基本パタン候補は、タイプＴＢの基本パタン候補に変わる。ここで、この基本パタン形成部２１Ｃによる処理の結果として、三角形を１つも含まない基本パタン候補が現れる可能性がある。

基本パタン形成部２１Ｃは、「第１部位種別グループ」に対応する３つの検出基本部位ポイントの組み合わせ、及び、「第２部位種別グループ」に対応する３つの検出基本部位ポイントの組み合わせのいずれも含まない、基本パタン候補を除く（上記の第３の処理）。「第１部位種別グループ」は、首、左肩、及び左耳であり、「第２部位種別グループ」は、首、右肩、及び右耳である。すなわち、この基本パタン形成部２１Ｃの処理によって、上記の三角形を１つも含まない基本パタン候補が除外される。そして、この段階では、図５に示すように、ＴＡ，ＴＢ，ＴＣ，ＴＤの４つタイプの基本パタン候補が残っている可能性がある。これらの残った基本パタン候補が、「基本パタン」である。

〈グルーピング処理〉
グルーピング部２２は、「複数のグルーピング判定基準部位ポイント」のそれぞれと「グルーピング対象検出部位ポイント」とのリンクから求められる「中間ポイント期待領域」内に、対応する検出中間ポイントが存在するリンクの数を基本パタン毎にカウントする。

図８は、グルーピング処理の説明に供する図である。図８の例では、基本パタン１，２，３が抽出されている。例えば、グルーピング部２２は、図８に示すように、グルーピング対象検出部位ポイントＮ_ｉとグルーピング判定基準部位ポイントＮ_０，Ｎ_１，Ｎ_２のそれぞれとを「一時リンク」によって繋ぐ。ここでは、グルーピング判定基準部位ポイントは、首、右肩及び左肩にそれぞれ対応する検出基本部位ポイントとしている。

そして、グルーピング部２２は、各一時リンクについて「中間ポイント期待領域」を算出する。図９は、中間ポイント期待領域の説明に供する図である。図９に示すように、一時リンクに対応する中間ポイント期待領域は、該一時リンクの２つの検出部位ポイントＮ_ｉ，Ｎ_ｊの中心点Ｍ_ｉ＿ｊ’（つまり、定義中間ポイントＭ_ｉ＿ｊ’）を中心とする楕円形の領域である。図９に示す例では、中間ポイント期待領域の長軸の長さＲｍａｊｏｒは、「リンク距離×０．７５」であり、短軸の長さＲｍｉｎｏｒは、「リンク距離×０．３５」である。

そして、グルーピング部２２は、検出部位ポイントＮ_ｉ，Ｎ_ｊの一時リンクに対応する中間ポイント期待領域内に、検出中間ポイントＭ_ｉ＿ｊが存在するか否かを判定する。そして、グルーピング部２２は、検出中間ポイントＭ_ｉ＿ｊが存在する中間ポイント期待領域に対応する一時リンクを「候補リンク」にする。そして、グルーピング部２２は、基本パタン毎に候補リンクの数をカウントする。図８では、中間ポイント期待領域内に存在する検出中間ポイントを挙げている。すなわち、図８の例では、基本パタン１のカウント数は「１」であり、基本パタン２のカウント数は「３」であり、基本パタン３のカウント数は「２」であることを示している。

この場合、グルーピング部２２は、例えば、カウント数が最も大きい基本パタン２に対応する人グループに、グルーピング対象検出部位ポイントＮ_ｉをグルーピングしてもよい。

図１０は、グルーピング処理の説明に供する他の図である。図１０の例では、基本パタン２，３のカウント数がいずれも「２」であり、基本パタン２，３は最も大きいカウント数を有している。この場合、グルーピング部２２は、グルーピング対象検出部位ポイントＮ_ｉとの距離が最も小さいメイン種別に対応する検出基本部位ポイントＮ_{０－ｂｐ２}を含む基本パタン（つまり、基本パタン２）に対応する人グループに、グルーピング対象検出部位ポイントＮ_ｉをグルーピングしてもよい。

＜他の実施形態＞
図１１は、姿勢特定装置のハードウェア構成例を示す図である。図１１において姿勢特定装置は、プロセッサ１０１と、メモリ１０２とを有している。プロセッサ１０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０２は、プロセッサ１０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０１は、図示されていないI/Oインタフェースを介してメモリ１０２にアクセスしてもよい。

第１実施形態及び第２実施形態の姿勢特定装置１０，２０は、それぞれ、図１１に示したハードウェア構成を有することができる。第１実施形態及び第２実施形態の姿勢特定装置１０，２０の基本パタン抽出部１１，２１とグルーピング部１２，２２とは、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、姿勢特定装置１０，２０に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって姿勢特定装置１０，２０に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムを姿勢特定装置１０，２０に供給できる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
複数の人間にそれぞれ対応する複数の人画像を含む画像において人間についての所定の複数の検出対象ポイントであって前記人間の複数の部位ポイントと２つの部位ポイントからなる各部位ポイントペアについての中間ポイントとを含む前記所定の複数の検出対象ポイントに関して検出された、複数の検出部位ポイント及び複数の検出中間ポイントから、各人間についての基本パタンを抽出する手段であって、前記基本パタンは、互いに異なる複数の基本部位種別に対応する複数の検出基本部位ポイントを含む、基本パタン抽出手段と、
抽出された各基本パタンに含まれる複数の検出基本部位ポイントのうちの一部又は全部からなる複数のグルーピング判定基準部位ポイントのそれぞれとグルーピング対象検出部位ポイントとのリンクから求められる中間ポイント期待領域内に、対応する検出中間ポイントが存在するリンクの数を基本パタン毎にカウントし、カウント値に基づいて、前記グルーピング対象検出部位ポイントを、抽出された複数の基本パタンにそれぞれ対応する複数の人グループのいずれかにグルーピングするグルーピング手段と、
を具備する姿勢特定装置。

（付記２）
前記グルーピング手段は、前記抽出された複数の基本パタンのうちで、カウント値が最も大きい基本パタンに対応する人グループに、前記グルーピング対象検出部位ポイントをグルーピングする、
付記１記載の姿勢特定装置。

（付記３）
前記グルーピング手段は、前記抽出された複数の基本パタンのうちで、所定値以上で且つ最も大きいカウント値を有する基本パタンに対応する人グループに、前記グルーピング対象検出部位ポイントをグルーピングする、
付記１記載の姿勢特定装置。

（付記４）
前記グルーピング手段は、最も大きいカウント値を有する基本パタンが複数存在する場合、前記画像における前記グルーピング対象検出部位ポイントとの距離が最も近い基本パタンに対応する人グループに、前記グルーピング対象検出部位ポイントをグルーピングする、
付記２又は３に記載の姿勢特定装置。

（付記５）
前記中間ポイント期待領域は、前記リンクの中心点として定義される定義中間ポイントを含む所定の中間領域である、
付記１から４のいずれか１項に記載の姿勢特定装置。

（付記６）
前記複数の基本部位種別は、メイン種別と複数のサブ種別とを含み、
前記基本パタン抽出手段は、
前記メイン種別に対応する複数の検出部位ポイントと各サブ種別に対応する複数の検出部位ポイントとの間の複数の組み合わせのうちで、前記画像において距離の近い検出部位ポイントの組み合わせを、同一の基本パタン候補に分類することにより、複数の基本パタン候補を特定する基本パタン候補特定手段と、
前記特定された複数の基本パタン候補に対して最適化処理を施すことにより、前記複数の人間についての複数の基本パタンを形成する基本パタン形成手段と、
を具備する、
付記１から５のいずれか１項に記載の姿勢特定装置。

（付記７）
前記最適化処理は、
前記メイン種別に対応する複数の検出部位ポイントを含む１つの基本パタン候補を分断して、それぞれが前記メイン種別に対応する１つの検出部位ポイントを含む複数の基本パタン候補に変換すること、
各基本パタン候補において、各基本パタン候補に含まれ且つ前記サブ種別に対応する検出部位ポイントであって、前記メイン種別に対応する検出部位ポイントからの距離が各基本パタン候補についての基本長よりも長い、検出部位ポイントを、各基本パタン候補から除くこと、及び、
第１部位種別グループに対応する３つの検出部位ポイントの組み合わせ、及び、第２部位種別グループに対応する３つの検出部位ポイントの組み合わせのいずれも含まない、基本パタン候補を除くこと、
を含む、
付記６記載の姿勢特定装置。

（付記８）
前記メイン種別は、首であり、
前記サブ種別は、左肩、右肩、左耳、及び右耳のそれぞれであり、
前記第１部位種別グループは、首、左肩、及び左耳であり、
前記第２部位種別グループは、首、右肩、及び右耳である、
付記７記載の姿勢特定装置。

（付記９）
前記基本パタンは、首、左肩及び左耳にそれぞれ対応する３つの検出基本部位ポイントの組み合わせ、及び、首、右肩及び右耳にそれぞれ対応する３つの基本検出部位ポイントの組み合わせのうちの少なくとも一方を含む、
付記１記載の姿勢特定装置。

（付記１０）
複数の人間にそれぞれ対応する複数の人画像を含む画像において人間についての所定の複数の検出対象ポイントであって前記人間の複数の部位ポイントと２つの部位ポイントからなる各部位ポイントペアについての中間ポイントとを含む前記所定の複数の検出対象ポイントに関して検出された、複数の検出部位ポイント及び複数の検出中間ポイントから、各人間についての基本パタンを抽出することを含み、前記基本パタンは、互いに異なる複数の基本部位種別に対応する複数の検出基本部位ポイントを含み、
抽出された各基本パタンに含まれる複数の検出基本部位ポイントのうちの一部又は全部からなる複数のグルーピング判定基準部位ポイントのそれぞれとグルーピング対象検出部位ポイントとのリンクから求められる中間ポイント期待領域内に、対応する検出中間ポイントが存在するリンクの数を基本パタン毎にカウントすること、及び、カウント値に基づいて、前記グルーピング対象検出部位ポイントを、抽出された複数の基本パタンにそれぞれ対応する複数の人グループのいずれかにグルーピングすることをさらに含む、
姿勢特定方法。

（付記１１）
複数の人間にそれぞれ対応する複数の人画像を含む画像において人間についての所定の複数の検出対象ポイントであって前記人間の複数の部位ポイントと２つの部位ポイントからなる各部位ポイントペアについての中間ポイントとを含む前記所定の複数の検出対象ポイントに関して検出された、複数の検出部位ポイント及び複数の検出中間ポイントから、各人間についての基本パタンを抽出することを含み、前記基本パタンは、互いに異なる複数の基本部位種別に対応する複数の検出基本部位ポイントを含み、
抽出された各基本パタンに含まれる複数の検出基本部位ポイントのうちの一部又は全部からなる複数のグルーピング判定基準部位ポイントのそれぞれとグルーピング対象検出部位ポイントとのリンクから求められる中間ポイント期待領域内に、対応する検出中間ポイントが存在するリンクの数を基本パタン毎にカウントすること、及び、カウント値に基づいて、前記グルーピング対象検出部位ポイントを、抽出された複数の基本パタンにそれぞれ対応する複数の人グループのいずれかにグルーピングすることをさらに含む、
処理を、姿勢特定装置に実行させるプログラムを格納する非一時的なコンピュータ可読媒体。

１０ 姿勢特定装置
１１ 基本パタン抽出部
１２ グルーピング部
２０ 姿勢特定装置
２１ 基本パタン抽出部
２１Ａ 基本パタン候補特定部
２１Ｂ 基本長算出部
２１Ｃ 基本パタン形成部
２２ グルーピング部

Claims (10)

1. 複数の人間にそれぞれ対応する複数の人画像を含む画像において人間についての所定の複数の検出対象ポイントであって前記人間の複数の部位ポイントと２つの部位ポイントからなる各部位ポイントペアについての中間ポイントとを含む前記所定の複数の検出対象ポイントに関して検出された、複数の検出部位ポイント及び複数の検出中間ポイントから、各人間についての基本パタンを抽出する手段であって、前記基本パタンは、互いに異なる複数の基本部位種別に対応する複数の検出基本部位ポイントを含む、基本パタン抽出手段と、
   抽出された各基本パタンに含まれる複数の検出基本部位ポイントのうちの一部又は全部からなる複数のグルーピング判定基準部位ポイントのそれぞれとグルーピング対象検出部位ポイントとのリンクから求められる中間ポイント期待領域内に、対応する検出中間ポイントが存在するリンクの数を基本パタン毎にカウントし、カウント値に基づいて、前記グルーピング対象検出部位ポイントを、抽出された複数の基本パタンにそれぞれ対応する複数の人グループのいずれかにグルーピングするグルーピング手段と、
   を具備する姿勢特定装置。
2. 前記グルーピング手段は、前記抽出された複数の基本パタンのうちで、カウント値が最も大きい基本パタンに対応する人グループに、前記グルーピング対象検出部位ポイントをグルーピングする、
   請求項１記載の姿勢特定装置。
3. 前記グルーピング手段は、前記抽出された複数の基本パタンのうちで、所定値以上で且つ最も大きいカウント値を有する基本パタンに対応する人グループに、前記グルーピング対象検出部位ポイントをグルーピングする、
   請求項１記載の姿勢特定装置。
4. 前記グルーピング手段は、最も大きいカウント値を有する基本パタンが複数存在する場合、前記画像における前記グルーピング対象検出部位ポイントとの距離が最も近い基本パタンに対応する人グループに、前記グルーピング対象検出部位ポイントをグルーピングする、
   請求項２又は３に記載の姿勢特定装置。
5. 前記中間ポイント期待領域は、前記リンクの中心点として定義される定義中間ポイントを含む所定の中間領域である、
   請求項１から４のいずれか１項に記載の姿勢特定装置。
6. 前記複数の基本部位種別は、メイン種別と複数のサブ種別とを含み、
   前記基本パタン抽出手段は、
   前記メイン種別に対応する複数の検出部位ポイントと各サブ種別に対応する複数の検出部位ポイントとの間の複数の組み合わせのうちで、前記画像において距離の近い検出部位ポイントの組み合わせを、同一の基本パタン候補に分類することにより、複数の基本パタン候補を特定する基本パタン候補特定手段と、
   前記特定された複数の基本パタン候補に対して最適化処理を施すことにより、前記複数の人間についての複数の基本パタンを形成する基本パタン形成手段と、
   を具備する、
   請求項１から５のいずれか１項に記載の姿勢特定装置。
7. 前記最適化処理は、
   前記メイン種別に対応する複数の検出部位ポイントを含む１つの基本パタン候補を分断して、それぞれが前記メイン種別に対応する１つの検出部位ポイントを含む複数の基本パタン候補に変換すること、
   各基本パタン候補において、各基本パタン候補に含まれ且つ前記サブ種別に対応する検出部位ポイントであって、前記メイン種別に対応する検出部位ポイントからの距離が各基本パタン候補についての基本長よりも長い、検出部位ポイントを、各基本パタン候補から除くこと、及び、
   第１部位種別グループに対応する３つの検出部位ポイントの組み合わせ、及び、第２部位種別グループに対応する３つの検出部位ポイントの組み合わせのいずれも含まない、基本パタン候補を除くこと、
   を含む、
   請求項６記載の姿勢特定装置。
8. 前記基本パタンは、首、左肩及び左耳にそれぞれ対応する３つの検出基本部位ポイントの組み合わせ、及び、首、右肩及び右耳にそれぞれ対応する３つの基本検出部位ポイントの組み合わせのうちの少なくとも一方を含む、
   請求項１記載の姿勢特定装置。
9. 複数の人間にそれぞれ対応する複数の人画像を含む画像において人間についての所定の複数の検出対象ポイントであって前記人間の複数の部位ポイントと２つの部位ポイントからなる各部位ポイントペアについての中間ポイントとを含む前記所定の複数の検出対象ポイントに関して検出された、複数の検出部位ポイント及び複数の検出中間ポイントから、各人間についての基本パタンを抽出することを含み、前記基本パタンは、互いに異なる複数の基本部位種別に対応する複数の検出基本部位ポイントを含み、
   抽出された各基本パタンに含まれる複数の検出基本部位ポイントのうちの一部又は全部からなる複数のグルーピング判定基準部位ポイントのそれぞれとグルーピング対象検出部位ポイントとのリンクから求められる中間ポイント期待領域内に、対応する検出中間ポイントが存在するリンクの数を基本パタン毎にカウントすること、及び、カウント値に基づいて、前記グルーピング対象検出部位ポイントを、抽出された複数の基本パタンにそれぞれ対応する複数の人グループのいずれかにグルーピングすることをさらに含む、
   姿勢特定方法。
10. 複数の人間にそれぞれ対応する複数の人画像を含む画像において人間についての所定の複数の検出対象ポイントであって前記人間の複数の部位ポイントと２つの部位ポイントからなる各部位ポイントペアについての中間ポイントとを含む前記所定の複数の検出対象ポイントに関して検出された、複数の検出部位ポイント及び複数の検出中間ポイントから、各人間についての基本パタンを抽出することを含み、前記基本パタンは、互いに異なる複数の基本部位種別に対応する複数の検出基本部位ポイントを含み、
    抽出された各基本パタンに含まれる複数の検出基本部位ポイントのうちの一部又は全部からなる複数のグルーピング判定基準部位ポイントのそれぞれとグルーピング対象検出部位ポイントとのリンクから求められる中間ポイント期待領域内に、対応する検出中間ポイントが存在するリンクの数を基本パタン毎にカウントすること、及び、カウント値に基づいて、前記グルーピング対象検出部位ポイントを、抽出された複数の基本パタンにそれぞれ対応する複数の人グループのいずれかにグルーピングすることをさらに含む、
    処理を、姿勢特定装置に実行させるプログラム。

Images