JP7255742B2 - 姿勢特定装置、姿勢特定方法、及びプログラム - Google Patents

Description

本開示は、姿勢特定装置、姿勢特定方法、及びプログラムが格納された非一時的なコンピュータ可読媒体に関する。

複数の人間にそれぞれ対応する複数の人画像を含む画像において、各人間の姿勢（pose）を特定する技術が提案されている（例えば、特許文献１）。特許文献１に開示されている技術では、画像において人間の複数の部位ポイント（a plurality of body region points）を検出し、検出された複数の部位ポイントの中から人間の頭を特定することによって、画像中の人を特定する。そして、特定された人間の頭に他の検出部位ポイントを対応付けることによって、人間の姿勢を特定している。

米国特許出願公開第２０１８／０２９３７５３号明細書

しかしながら、特許文献１に開示されている技術では、頭のみに基づいて画像中の人を特定するので、例えば画像の解像度が低い場合等には、特定精度が低下する可能性がある。

本開示の目的は、複数の人画像を含む画像における人の特定精度を向上させることができる、姿勢特定装置、姿勢特定方法、及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することにある。

第１の態様にかかる姿勢特定装置は、複数の人間にそれぞれ対応する複数の人画像を含む画像において、人間についての所定の複数の部位ポイントに関して検出された複数の検出ポイントのそれぞれの前記画像における位置及び部位種別に関する情報を取得する取得手段と、
各検出ポイントを前記複数の人間のいずれかに分類することによって、各人間の姿勢を特定する制御手段と、
を具備し、
前記制御手段は、前記複数の検出ポイントから、各人間についての基本パタンを抽出する基本パタン抽出手段を含み、
前記基本パタンは、基準部位種別に対応する基準部位ポイント、及び、複数の基本部位ポイントを含み、
前記複数の基本部位ポイントは、前記基準部位種別と異なり且つ互いに異なる、複数の基本部位種別に対応する。

第２の態様にかかる姿勢特定方法は、複数の人間にそれぞれ対応する複数の人画像を含む画像において、人間についての所定の複数の部位ポイントに関して検出された複数の検出ポイントのそれぞれの前記画像における位置及び部位種別に関する情報を取得すること、及び
各検出ポイントを前記複数の人間のいずれかに分類することによって、各人間の姿勢を特定すること、
を含み、
前記各人間の姿勢を特定することは、前記複数の検出ポイントから、各人間についての基本パタンを抽出することを含み、
前記基本パタンは、基準部位種別に対応する基準部位ポイント、及び、複数の基本部位ポイントを含み、
前記複数の基本部位ポイントは、前記基準部位種別と異なり且つ互いに異なる、複数の基本部位種別に対応する。

第３の態様にかかる非一時的なコンピュータ可読媒体は、複数の人間にそれぞれ対応する複数の人画像を含む画像において、人間についての所定の複数の部位ポイントに関して検出された複数の検出ポイントのそれぞれの前記画像における位置及び部位種別に関する情報を取得すること、及び
各検出ポイントを前記複数の人間のいずれかに分類することによって、各人間の姿勢を特定すること、
を含む、処理を姿勢特定装置に実行させ、
前記各人間の姿勢を特定することは、前記複数の検出ポイントから、各人間についての基本パタンを抽出することを含み、
前記基本パタンは、基準部位種別に対応する基準部位ポイント、及び、複数の基本部位ポイントを含み、
前記複数の基本部位ポイントは、前記基準部位種別と異なり且つ互いに異なる、複数の基本部位種別に対応する、
プログラムを格納している。

本開示により、複数の人画像を含む画像における人の特定精度を向上させることができる、姿勢特定装置、姿勢特定方法、及びプログラムが格納された非一時的なコンピュータ可読媒体を提供することができる。

第１実施形態における姿勢特定装置の一例を示すブロック図である。 第２実施形態における姿勢特定装置の一例を示すブロック図である。 人間についての所定の複数の部位ポイントの一例を示す図である。 第２実施形態における姿勢特定装置の処理動作の一例を示すフローチャートである。 基本パタンの抽出処理の説明に供する図である。 基本パタン候補のタイプを説明する図である。 基本長の算出の説明に供する図である。 グルーピングルールテーブルの一例を示す図である。 中間領域の説明に供する図である。 姿勢特定装置のハードウェア構成例を示す図である。

以下、図面を参照しつつ、実施形態について説明する。なお、実施形態において、同一又は同等の要素には、同一の符号を付し、重複する説明は省略される。

＜第１実施形態＞
図１は、第１実施形態における姿勢特定装置の一例を示すブロック図である。図１において姿勢特定装置１０は、取得部１１と、制御部１２とを有している。

取得部１１は、「複数の検出ポイント」のそれぞれの画像における位置及び部位種別に関する情報を取得する。「複数の検出ポイント」は、例えば、ニューラルネットワーク（不図示）によって、複数の人間にそれぞれ対応する複数の人画像を含む画像において、人間についての所定の複数の部位ポイント（body region points）に関して検出された、部位ポイントである。部位ポイントは、キーポイント（key point）と呼ばれることがある。

制御部１２は、各検出ポイントを複数の人間のいずれかに分類することによって、各人間の姿勢を特定する。ここで、制御部１２は、取得部１１にて取得された複数の検出ポイントから、各人間についての「基本パタン（basic pattern）」を抽出する、基本パタン抽出部１５を含む。「基本パタン」は、「基準部位種別」に対応する「基準部位ポイント（reference body region point）」、及び、基準部位種別と異なり且つ互いに異なる複数の基本部位種別に対応する、複数の基本部位ポイント（base body region points）を含んでいる。

例えば、「基本パタン」は、次の２つの組み合わせのうちの少なくとも１つを含んでいる。１つ目の組み合わせは、基準部位種別としての首に対応する基準部位ポイントと基本部位種別としての左肩及び左耳にそれぞれ対応する２つの基本部位ポイントとの組み合わせである。２つ目の組み合わせは、基準部位種別としての首に対応する基準部位ポイントと基本部位種別としての右肩及び右耳にそれぞれ対応する２つの基本部位ポイントとの組み合わせである。すなわち、「基本パタン」は、画像において、人間の体の中で最も安定的に検出可能なコア部分に対応している。なお、以下では、「基本パタン」をコア（core）と呼ぶことがある。

以上のように第１実施形態によれば、姿勢特定装置１０にて基本パタン抽出部１５は、取得部１１にて取得された複数の検出ポイントから、各人間についての「基本パタン」を抽出する。「基本パタン」は、「基準部位種別」に対応する「基準部位ポイント」、及び、基準部位種別と異なり且つ互いに異なる複数の基本部位種別に対応する、複数の基本部位ポイントを含んでいる。

この姿勢特定装置１０の構成により、３つ以上の部位ポイントを含む上記の基本パタンを、人間の「コア部分」として抽出することができる。これにより、画像に含まれる人を特定する精度を向上させることができる。

＜第２実施形態＞
第２実施形態は、上記の基本パタンの抽出の詳細に関する。

＜姿勢特定装置の構成例＞
図２は、第２実施形態における姿勢特定装置の一例を示すブロック図である。図２において姿勢特定装置２０は、取得部１１と、制御部２１とを有している。

取得部１１は、上記の通り、「複数の検出ポイント」のそれぞれの画像における位置及び部位種別に関する情報を取得する。「複数の検出ポイント」は、例えば、ニューラルネットワーク（不図示）によって、複数の人間にそれぞれ対応する複数の人画像を含む画像において、「人間についての所定の複数の部位ポイント（body region points）」に関して検出された、部位ポイントである。

図３は、人間についての所定の複数の部位ポイントの一例を示す図である。図３において、人間についての「所定の複数の部位ポイント」は、部位ポイントＮ０～Ｎ１７，Ｍ０～Ｍ９を含んでいる。図３に示すように、部位ポイントＮ０は、首に対応する。部位ポイントＮ１は、右肩に対応する。部位ポイントＮ２は、左肩に対応する。部位ポイントＮ３は、右耳に対応する。部位ポイントＮ４は、左耳に対応する。部位ポイントＮ５は、鼻に対応する。部位ポイントＮ６は、右目に対応する。部位ポイントＮ７は、左目に対応する。部位ポイントＮ８は、右肘に対応する。部位ポイントＮ９は、右手首に対応する。部位ポイントＮ１０は、左肘に対応する。部位ポイントＮ１１は、左手首に対応する。部位ポイントＮ１２は、右腰に対応する。部位ポイントＮ１３は、左腰に対応する。部位ポイントＮ１４は、右膝に対応する。部位ポイントＮ１５は、左膝に対応する。部位ポイントＮ１６は、右足首に対応する。部位ポイントＮ１７は、左足首に対応する。また、部位ポイントＭ０は、部位ポイントＮ１と部位ポイントＮ１２との中間ポイント（mid-point）、つまり右胸に対応する。部位ポイントＭ１は、部位ポイントＮ２と部位ポイントＮ１３との中間ポイント、つまり左胸に対応する。部位ポイントＭ２は、部位ポイントＮ１と部位ポイントＮ８との中間ポイント、つまり右上腕に対応する。部位ポイントＭ３は、部位ポイントＮ８と部位ポイントＮ９との中間ポイント、つまり右前腕に対応する。部位ポイントＭ４は、部位ポイントＮ２と部位ポイントＮ１０との中間ポイント、つまり左上腕に対応する。部位ポイントＭ５は、部位ポイントＮ１０と部位ポイントＮ１１との中間ポイント、つまり左前腕に対応する。部位ポイントＭ６は、部位ポイントＮ１２と部位ポイントＮ１４との中間ポイント、つまり右大腿に対応する。部位ポイントＭ７は、部位ポイントＮ１４と部位ポイントＮ１６との中間ポイント、つまり右下腿に対応する。部位ポイントＭ８は、部位ポイントＮ１３と部位ポイントＮ１５との中間ポイント、つまり左大腿に対応する。部位ポイントＭ９は、部位ポイントＮ１５と部位ポイントＮ１７との中間ポイント、つまり左下腿に対応する。

すなわち、「所定の複数の部位ポイント」は、中間ポイントを含まない、部位ポイントＮ０～Ｎ１７から成る「第１のグループ」と、中間ポイントである、部位ポイントＭ０～Ｍ９から成る「第２のグループ」とを含んでいる。

従って、画像中に全身が映り込んでいる５人の人画像が含まれていれば、取得部１１は、各セットが部位ポイントＮ０～Ｎ１７，Ｍ０～Ｍ９に対応する検出ポイントの位置及び部位種別を含む５セット分の情報を取得する可能性がある。

図２の説明に戻り、制御部２１は、各検出ポイントを複数の人間のいずれかに分類することによって、各人間の姿勢を特定する。

例えば、制御部２１は、基本パタン抽出部２５と、グルーピング部２６とを有する。

基本パタン抽出部２５は、取得部１１にて取得された複数の検出ポイントから、各人間についての「基本パタン（basic pattern）」を抽出する。

例えば、基本パタン抽出部２５は、図２に示すように、基本パタン候補特定部２５Ａと、基本長算出部２５Ｂと、基本パタン形成部２５Ｃとを有している。

基本パタン候補特定部２５Ａは、基準部位種別に対応する複数の検出ポイントと各基本部位種別に対応する複数の検出ポイントとの間の複数の組み合わせのうちで、画像において距離の近い検出ポイントの組み合わせを、同一の基本パタン候補に分類することにより、複数の「基本パタン候補」を特定する。ここで、例えば、「基準部位種別」は、首であり、「基本部位種別」は、右肩、左肩、右耳、左耳のそれぞれである。例えば、基本パタン候補特定部２５Ａは、首に対応する１つの検出ポイントについて、右肩に対応する複数の検出ポイントの中から、該首に対応する１つの検出ポイントからの距離が最も近い、右肩に対応する１つの検出ポイントを選択する。この選択は、首に対応する各検出ポイントについて行われる。そして、基本パタン候補特定部２５Ａは、首に対応する複数の検出ポイントに対して、右肩に対応する同じ検出ポイントが選択された場合、該首に対応する複数の検出ポイントの中から、該右肩に対応する同じ検出ポイントからの距離が最も近い、首に対応する１つの検出ポイントを選択する。すなわち、基本パタン候補特定部２５Ａは、ＭＬＭＤ（Mutual-Local-Minimum-Distance）アルゴリズムを用いて処理を行っている。これにより、首に対応する１つの検出ポイントと右肩に対応する１つの検出ポイントとが選択され、これらは同一の「基本パタン候補」に分類される。以上で説明した処理が、左肩、右耳、左耳のそれぞれについても行われる。

基本パタン形成部２５Ｃは、基本パタン候補特定部２５Ａにて特定された複数の基本パタン候補に対して「最適化処理」を施すことにより、複数の人間についての複数の基本パタンを形成する。

「最適化処理」は、次の処理を含む。第１の処理は、基準部位種別に対応する複数の検出ポイントを含む１つの基本パタン候補を切断して、それぞれが基準部位種別に対応する１つの検出ポイントを含む複数の基本パタン候補に変換する、処理である。すなわち、１つの基本パタン候補の中に、首に対応する複数の検出ポイントが含まれる場合、該１つの基本パタン候補を分断して、それぞれが首に対応する１つの検出ポイントを含む複数の基本パタン候補に変換する。

第２の処理は、各基本パタン候補において、各基本パタン候補に含まれ且つ基本部位種別に対応する検出ポイントであって、基準部位種別に対応する検出ポイントからの距離が「各基本パタン候補についての基本長（base length）」よりも長い、検出ポイントを、各基本パタン候補から除く、処理である。

第３の処理は、「第１部位種別グループ」に対応する３つの検出ポイントの組み合わせ、及び、「第２部位種別グループ」に対応する３つの検出ポイントの組み合わせのいずれも含まない、基本パタン候補を除く、処理である。例えば、「第１部位種別グループ」は、首、左肩、及び左耳であり、「第２部位種別グループ」は、首、右肩、及び右耳である。

基本長算出部２５Ｂは、上記の第１の処理が完了した時点で、「各基本パタン候補についての基本長」を算出する。この「各基本パタン候補についての基本長」の算出については、後に詳しく説明する。

グルーピング部２６は、基本パタン抽出部２５にて抽出された複数の人間についての複数の基本パタンに含まれない検出ポイント（つまり、「グルーピング対象ポイント」）を、複数の基本パタンをそれぞれ含む複数の「人グループ」のいずれかに対応付ける。このグルーピング処理は、例えば、次の「グルーピング基準」が用いられる。該基準は、グルーピング対象ポイントと各人グループに含まれる「所定の部位ポイント」との間の距離と各人グループの基本パタンに対応する「基本長に基づく許容最大長」との大小関係、及び、グルーピング対象ポイントと各人グループに含まれる上記の所定の部位ポイントとの間の中点を含む「所定の中間領域」に中間ポイントに対応する検出ポイントが存在するか否か、である。このグルーピング処理は、基本パタンからの距離が近い部位種別の検出ポイントから段階的に行われる。すなわち、例えば、最初に、腰に対応する検出ポイントが、グルーピング対象ポイントとして設定されて、複数の人グループのいずれかに対応づけられる。このときに用いられる上記の「所定の部位ポイント」及び「中間ポイント」は、例えば、それぞれ、各人グループに含まれる肩に対応する部位ポイント、及び胸に対応する部位ポイントである。そして、次に、膝に対応する検出ポイントが、グルーピング対象ポイントとして設定されて、複数の人グループのいずれかに対応づけられる。このときに用いられる上記の「所定の部位ポイント」及び「中間ポイント」は、例えば、それぞれ、各人グループに含まれる腰に対応する部位ポイント、及び大腿に対応する部位ポイントである。このグルーピング処理については、後に詳しく説明する。

＜姿勢特定装置の動作例＞
以上の構成を有する姿勢特定装置２０の処理動作の一例について説明する。図４は、第２実施形態における姿勢特定装置の処理動作の一例を示すフローチャートである。

〈情報の取得処理〉
取得部１１は、「複数の検出ポイント」のそれぞれの画像における位置及び部位種別に関する情報を取得する（ステップＳ１１）。

〈基本パタンの抽出処理〉
基本パタン抽出部２５は、取得部１１にて取得された複数の検出ポイントから、各人間についての「基本パタン（basic pattern）」を抽出する（ステップＳ１２）。

図５は、基本パタンの抽出処理の説明に供する図である。

まず、基本パタンの抽出処理は、図５に示すグラフＧからスタートする。グラフＧは、「部位種別ペア」のグループＳｃに対応する全ての検出ポイントペアを含んでいる。グループＳｃは、首と右肩とのペア、首と左肩とのペア、首と右耳とのペア、首と左耳とのペア、右肩と右耳とのペア、及び、左肩と左耳とのペアをグループ要素としている。

そして、基本パタン候補特定部２５Ａは、各部位種別ペアについてＭＬＭＤアルゴリズムを用いた処理を行ってグラフＧ－ｓｕｂを得て、グラフＧ－ｓｕｂにおいて首に対応する各検出ポイントを頂点とする三角形を含んでいる塊を「基本パタン候補」として特定する。

図６は、基本パタン候補のタイプを説明する図である。基本パタン候補のタイプとしては、図６に示すように、ＴＡ，ＴＢ，ＴＣ，ＴＤ，ＴＥの５つタイプが存在する可能性がある。図５では、これらの５つのタイプの基本パタン候補をまとめて「Ｃｏｒｅｓ－α」と記載している。ここで、例えば、正面を向いている人に対応する基本パタン候補は、タイプＴＡとなる可能性が高い。オクルージョン等に起因して、タイプＴＢ，ＴＣ，ＴＤの基本パタン候補が存在する。

そして、基本パタン形成部２５Ｃは、「Ｃｏｒｅｓ－α」に対して、最適化処理を施すことにより、複数の基本パタンを形成する。

最適化処理にて、まず、基本パタン形成部２５Ｃは、図５に示すタイプＴＥの基本パタン候補が首に対応する２つの検出ポイントを含んでいるので、タイプＴＥの基本パタン候補を、それぞれが首に対応する１つの検出ポイントを含む２つの基本パタン候補に分断する（上記の第１の処理）。これにより、タイプＴＢの基本パタン候補及びタイプＴＣの基本パタン候補が得られる。この結果、タイプＴＡ，ＴＢ，ＴＣ，ＴＤのいずれかに対応する基本パタン候補が残る。

そして、基本長算出部２５Ｂは、タイプＴＡ，ＴＢ，ＴＣ，ＴＤのいずれかに対応する各基本パタン候補についての「基本長」を算出する。この「基本長」は、人体の大きさの基準となる長さである。

図７は、基本長の算出の説明に供する図である。まず、基本長算出部２５Ｂは、各基本パタン候補について、長さＬａ，Ｌｂ，Ｌｃを算出する。

図７に示すように、長さＬａは、基本パタン候補における、首に対応する部位ポイントＮ０と右肩に対応する部位ポイントＮ１との距離、又は、首に対応する部位ポイントＮ０と左肩に対応する部位ポイントＮ２との間の距離として算出される。具体的には、基本パタン候補に右肩に対応する部位ポイントＮ１及び左肩に対応する部位ポイントＮ２の両方が含まれる場合、長さＬａは、首に対応する部位ポイントＮ０と右肩に対応する部位ポイントＮ１との距離、及び、首に対応する部位ポイントＮ０と左肩に対応する部位ポイントＮ２との間の距離のうちの小さい方と等しくなる。基本パタン候補に右肩に対応する部位ポイントＮ１が含まれる一方で左肩に対応する部位ポイントＮ２が含まれない場合、長さＬａは、首に対応する部位ポイントＮ０と右肩に対応する部位ポイントＮ１との距離となる。また、基本パタン候補に左肩に対応する部位ポイントＮ２が含まれる一方で右肩に対応する部位ポイントＮ１が含まれない場合、長さＬａは、首に対応する部位ポイントＮ０と左肩に対応する部位ポイントＮ２との距離となる。

図７に示すように、長さＬｂは、基本パタン候補における、首に対応する部位ポイントＮ０と右耳に対応する部位ポイントＮ３との距離、又は、首に対応する部位ポイントＮ０と左耳に対応する部位ポイントＮ４との間の距離として算出される。

図７に示すように、長さＬｃは、胸に対応する検出ポイントが存在する場合、基本パタン候補における首に対応する部位ポイントＮ０とこの部位ポイントＮ０から最も近い右胸に対応する部位ポイントＭ０との距離、又は、基本パタン候補における首に対応する部位ポイントＮ０とこの部位ポイントＮ０から最も近い左胸に対応する部位ポイントＭ１との距離として算出される。また、胸に対応する検出ポイントが存在しない場合、長さＬｃは、Ｌｃ＝Ｌａ＋Ｌｂ＋１によって算出される。

そして、基本長算出部２５Ｂは、算出された長さＬａ，Ｌｂ，Ｌｃに基づいて、各基本パタン候補の基本長を算出する。基本長算出部２５Ｂは、「Ｌｃ」と「Ｌａ＋Ｌｂ」との大小関係、及び「Ｌｂ」と「Ｌａ×２」との大小関係に応じて、異なる算出方法によって基本長を算出する。図７に示すように、例えば、「Ｌｃ」が「Ｌａ＋Ｌｂ」以下であり且つ「Ｌｂ」が「Ｌａ×２」以下である場合、基本長は、「Ｌｃ」となる。また、「Ｌｃ」が「Ｌａ＋Ｌｂ」以下であり且つ「Ｌｂ」が「Ｌａ×２」より大きい場合、基本長は、「Ｌｃ×１．１７」となる。また、「Ｌｃ」が「Ｌａ＋Ｌｂ」より大きく且つ「Ｌｂ」が「Ｌａ×２」以下である場合、基本長は、「Ｌａ＋Ｌｂ」となる。また、「Ｌｃ」が「Ｌａ＋Ｌｂ」より大きく且つ「Ｌｂ」が「Ｌａ×２」より大きい場合、基本長は、「Ｌｂ×１．７」となる。ここで、横向きの人に対応する基本パタン候補については、「Ｌｂ」が「Ｌａ×２」より大きくなる傾向がある。また、前向き又は後ろ向きの人に対応する基本パタン候補については、「Ｌｂ」が「Ｌａ×２」以下となる傾向がある。また、画像の下の方に写っている人に対応する基本パタン候補については、その人の胸が写っていないケースがある。このケースでは、「Ｌｃ」が「Ｌａ＋Ｌｂ」よりも大きくなる傾向がある。

図５の説明に戻り、基本パタン形成部２５Ｃは、各基本パタン候補において、各基本パタン候補に含まれ且つ基本部位種別に対応する検出ポイントであって、基準部位種別に対応する検出ポイントからの距離が「各基本パタン候補についての基本長」よりも長い、検出ポイントを、各基本パタン候補から除く（上記の第２の処理）。これにより、例えば、図６に示す三角形を２つ有するタイプＴＡの基本パタン候補において、一方の三角形に含まれる耳に対応する検出ポイントが首に対応する検出ポイントから遠い場合、この耳に対応する検出ポイントは、基本パタン候補から除外される。これにより、タイプＴＡの基本パタン候補は、タイプＴＣの基本パタン候補に変わる。また、例えば、三角形を２つ有するタイプＴＡの基本パタン候補において、一方の三角形に含まれる肩に対応する検出ポイントが首に対応する検出ポイントから遠い場合、この肩に対応する検出ポイントは、基本パタン候補から除外される。これにより、タイプＴＡの基本パタン候補は、タイプＴＢの基本パタン候補に変わる。ここで、この基本パタン形成部２５Ｃの結果として、三角形を１つも含まない基本パタン候補が現れる可能性がある。

基本パタン形成部２５Ｃは、「第１部位種別グループ」に対応する３つの検出ポイントの組み合わせ、及び、「第２部位種別グループ」に対応する３つの検出ポイントの組み合わせのいずれも含まない、基本パタン候補を除く（上記の第３の処理）。「第１部位種別グループ」は、首、左肩、及び左耳であり、「第２部位種別グループ」は、首、右肩、及び右耳である。すなわち、この基本パタン形成部２５Ｃによって、上記の三角形を１つも含まない基本パタン候補が除外される。そして、この段階では、図５に示すように、ＴＡ，ＴＢ，ＴＣ，ＴＤの４つタイプの基本パタン候補が残っている可能性がある。これらの残った基本パタン候補が、「基本パタン」である。図５では、これらの４つのタイプの基本パタンをまとめて「Ｃｏｒｅｓ」と記載している。

〈グルーピング処理〉
グルーピング部２６は、基本パタン抽出部２５にて抽出された複数の人間についての複数の基本パタンに含まれない検出ポイント（つまり、「グルーピング対象ポイント」）を、複数の基本パタンをそれぞれ含む複数の「人グループ」のいずれかに対応付ける（ステップＳ１３）。

具体的には、グルーピング部２６は、グルーピング対象の部位種別を、所定の「対応付け順序（order of association）」に従って、順次選択する。図８は、グルーピングルールテーブルの一例を示す図である。図８に示すように、対応付け順序の１番目は、「肩－肘」のリンクなので、グルーピング対象の部位種別として、「肘」が最初に選択される。

そして、グルーピング対象の部位種別が選択されると、ステージ１の処理及びステージ２の処理が実行される。すなわち、グルーピング対象部位種別毎に、ステージ１の処理及びステージ２の処理が実行される。

まず、ステージ１の処理について説明する。

まず、グルーピング部２６は、複数の人グループの右肩に対応する複数の検出ポイントと右肘に対応する複数の検出ポイント（つまり、グルーピング対象ポイント）との間の全ての組み合わせについて、距離（以下では、「リンク距離」と呼ぶことがある）を算出する。また、グルーピング部２６は、各組み合わせについて、「肩－肘」リンクの「許容最大長」を算出する。この「許容最大長」は、各組み合わせに含まれる右肩に対応する検出ポイントが含まれる基本パタンの基本長に基づいて算出される。例えば、図８に示すように、「肩－肘」リンクの「許容最大長」は、「１．５×基本長」によって算出される。

そして、グルーピング部２６は、リンク距離が許容最大長より大きい組み合わせを除外して、残った組み合わせを「候補リンク」とする。

そして、各候補リンクについて、「中間領域」を算出する。図９は、中間領域の説明に供する図である。図９に示すように、候補リンクに対応する中間領域は、該候補リンクの２つの検出ポイントＮｉ，Ｎｊの中点Ｍ’を中心とする楕円形の領域である。図９に示す例では、中間領域の長軸の長さＲｍａｊｏｒは、「リンク距離×０．７５」であり、短軸の長さＲｍｉｎｏｒは、「リンク距離×０．３５」である。

そして、グルーピング部２６は、候補リンクの中間領域に「中間ポイントＭ」が存在するか否かを判定する。候補リンクが「右肩－右肘」リンクである場合、「中間ポイント」は、右上腕に対応する検出ポイントである。なお、図８に示されるように、「肩－肘」リンクは、項目「Requiring mid-point」が「yes」となっているため、この「中間ポイント」を用いた判定が行われている。

そして、グルーピング部２６は、中間領域に中間ポイントが存在しない候補リンクを除外する。そして、残った候補リンクの中に同じグルーピング対象ポイントを含む候補リンクが複数存在する場合、その複数の候補リンクのうちでリンク距離が最も小さいもの以外を除外する。そして、グルーピング部２６は、残った候補リンクを「最終候補リンク」とする。最終候補リンクに含まれるグルーピング対象ポイントは、該最終候補リンクのもう１つの検出ポイントが既に含まれている人グループに対応付けられる（に含められる）。

次に、ステージ２の処理について説明する。ステージ１の処理において、いずれの人グループに対しても対応付けられなかった、右肘に対応する検出ポイントが存在する可能性がある。また、ステージ１の処理において、いずれの右肘に対応する検出ポイントに対しても対応付けられなかった人グループが存在する可能性がある。ステージ２の処理では、これらの右肘に対応する検出ポイント及び人グループの右肩に対応する検出ポイントを用いて、ステージ１の処理と同様の処理を繰り返す。ただし、ステージ２の処理では、上記の「中間ポイント」を用いた判定処理は行われない。

以上のように「右肩－右肘」リンクについてステージ１の処理及びステージ２の処理が完了すると、次に、「左肩－左肘」リンクについてステージ１の処理及びステージ２の処理が行われる。そして、次に、「対応付け順序（order of association）」に従って、「肘－手首」リンク等についてステージ１の処理及びステージ２の処理が順次行われる。ここで、図８に示されるように、「首－鼻」リンク及び「鼻－目」リンクは、項目「Requiring mid-point」が「no」となっているため、この「中間ポイント」を用いた判定はステージ１の処理において行われない。このため、ステージ２の処理は省略されてもよい。

なお、以上の説明では、「中間ポイント」を用いた判定を行うものとして説明を行ったが、これに限定されるものではなく、「中間ポイント」を用いた判定は、行われなくてもよい。すなわち、上記の「グルーピング基準」は、グルーピング対象ポイントと各人グループに含まれる「所定の部位ポイント」との間の距離と各人グループの基本パタンに対応する「基本長に基づく許容最大長」との大小関係であってもよい。

＜姿勢特定装置の有用性＞
ＣＯＣＯ検証セット２０１４（COCO validation set 2014）における低解像度の複数の人画像を含む画像を用いて、姿勢特定装置２０によって人の姿勢の特定を行った。ここでの「低解像度の人画像」は、ニューラルネットワーク（不図示）に入力された、人の「境界ボックス（bounding box）」が４０００ピクセル未満である、画像である。そして、正しくグルーピングされた人グループの数、及び、間違ってグルーピングされた人グループの数を、手作業でカウントした。ここで、「正しくグルーピングされること」は、一の人について目に見える全ての部位ポイントが検出され、且つ、該検出された部位ポイントの全てが、同じ人グループにグルーピングされることである。「間違ってグルーピングされること」は、一の人についての複数の検出ポイントが複数の人グループにグルーピングされることである。カーネギーメロン大学（ＣＭＵ）で開発された「オープン姿勢（OpenPose）」を用いた場合と比較すると、正しくグルーピングされた人グループの数は７７％増加し、間違ってグルーピングされた人グループの数は、４０％減少した。

＜他の実施形態＞
図１０は、姿勢特定装置のハードウェア構成例を示す図である。図１０において姿勢特定装置１００は、プロセッサ１０１と、メモリ１０２とを有している。プロセッサ１０１は、例えば、マイクロプロセッサ、MPU（Micro Processing Unit）、又はCPU（Central Processing Unit）であってもよい。プロセッサ１０１は、複数のプロセッサを含んでもよい。メモリ１０２は、揮発性メモリ及び不揮発性メモリの組み合わせによって構成される。メモリ１０２は、プロセッサ１０１から離れて配置されたストレージを含んでもよい。この場合、プロセッサ１０１は、図示されていないI/Oインタフェースを介してメモリ１０２にアクセスしてもよい。

第１実施形態及び第２実施形態の姿勢特定装置１０，２０は、それぞれ、図１０に示したハードウェア構成を有することができる。第１実施形態及び第２実施形態の姿勢特定装置１０，２０の取得部１１と、制御部１２，２１とは、プロセッサ１０１がメモリ１０２に記憶されたプログラムを読み込んで実行することにより実現されてもよい。プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、姿勢特定装置１０，２０に供給することができる。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）を含む。さらに、非一時的なコンピュータ可読媒体の例は、ＣＤ－ＲＯＭ（Read Only Memory）、ＣＤ－Ｒ、ＣＤ－Ｒ／Ｗを含む。さらに、非一時的なコンピュータ可読媒体の例は、半導体メモリを含む。半導体メモリは、例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（Random Access Memory）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によって姿勢特定装置１０，２０に供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムを姿勢特定装置１０，２０に供給できる。

以上、実施の形態を参照して本願発明を説明したが、本願発明は上記によって限定されるものではない。本願発明の構成や詳細には、発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。

（付記１）
複数の人間にそれぞれ対応する複数の人画像を含む画像において、人間についての所定の複数の部位ポイントに関して検出された複数の検出ポイントのそれぞれの前記画像における位置及び部位種別に関する情報を取得する取得手段と、
各検出ポイントを前記複数の人間のいずれかに分類することによって、各人間の姿勢を特定する制御手段と、
を具備し、
前記制御手段は、前記複数の検出ポイントから、各人間についての基本パタンを抽出する基本パタン抽出手段を含み、
前記基本パタンは、基準部位種別に対応する基準部位ポイント、及び、複数の基本部位ポイントを含み、
前記複数の基本部位ポイントは、前記基準部位種別と異なり且つ互いに異なる、複数の基本部位種別に対応する、
姿勢特定装置。

（付記２）
前記基本パタン抽出手段は、
前記基準部位種別に対応する複数の検出ポイントと各基本部位種別に対応する複数の検出ポイントとの間の複数の組み合わせのうちで、前記画像において距離の近い検出ポイントの組み合わせを、同一の基本パタン候補に分類することにより、複数の基本パタン候補を特定する基本パタン候補特定手段と、
前記特定された複数の基本パタン候補に対して最適化処理を施すことにより、前記複数の人間についての複数の基本パタンを形成する基本パタン形成手段と、
を具備する、
付記１記載の姿勢特定装置。

（付記３）
前記最適化処理は、
前記基準部位種別に対応する複数の検出ポイントを含む１つの基本パタン候補を分断して、それぞれが前記基準部位種別に対応する１つの検出ポイントを含む複数の基本パタン候補に変換すること、
各基本パタン候補において、各基本パタン候補に含まれ且つ前記基本部位種別に対応する検出ポイントであって、前記基準部位種別に対応する検出ポイントからの距離が各基本パタン候補についての基本長よりも長い、検出ポイントを、各基本パタン候補から除くこと、及び、
第１部位種別グループに対応する３つの検出ポイントの組み合わせ、及び、第２部位種別グループに対応する３つの検出ポイントの組み合わせのいずれも含まない、基本パタン候補を除くこと、
を含む、
付記２記載の姿勢特定装置。

（付記４）
前記基準部位種別は、首であり、
前記基本部位種別は、左肩、右肩、左耳、及び右耳のそれぞれであり、
前記第１部位種別グループは、首、左肩、及び左耳であり、
前記第２部位種別グループは、首、右肩、及び右耳である、
付記３記載の姿勢特定装置。

（付記５）
前記制御手段は、抽出された前記複数の人間についての複数の基本パタンに含まれない検出ポイントであるグルーピング対象ポイントを、前記複数の基本パタンをそれぞれ含む複数の人グループのいずれかに対応付ける、グルーピング手段を具備し、
前記グルーピング手段は、前記グルーピング対象ポイントと各人グループに含まれる所定の部位ポイントとの間の距離と、各人グループの基本パタンに対応する基本長に基づく許容最大長とに基づいて、前記グルーピング対象ポイントを前記複数の人グループのいずれかに対応付ける、
付記１から４のいずれか１項に記載の姿勢特定装置。

（付記６）
前記所定の複数の部位ポイントは、所定の複数の部位種別に対応する第１グループの複数の部位ポイントと、特定の２つの部位種別に対応する２つの部位ポイントの中間ポイントに対応する第２グループの部位ポイントを含み、
前記制御手段は、
抽出された前記複数の人間についての複数の基本パタンに含まれない検出ポイントであるグルーピング対象ポイントを、グルーピング基準に基づいて、前記複数の基本パタンをそれぞれ含む複数の人グループのいずれかに対応付ける、グルーピング手段を具備し、
前記グルーピング基準は、前記グルーピング対象ポイントと各人グループに含まれる所定の部位ポイントとの間の距離と各人グループの基本パタンに対応する基本長に基づく許容最大長との大小関係、及び、前記グルーピング対象ポイントと各人グループに含まれる前記所定の部位ポイントとの間の中点を含む所定の中間領域に前記中間ポイントに対応する検出ポイントが存在するか否か、である、
付記１から４のいずれか１項に記載の姿勢特定装置。

（付記７）
前記グルーピング手段によるグルーピング処理の初期段階において、前記複数の基本パタンに含まれない検出ポイントである前記グルーピング対象ポイントは、部位種別としての腰に対応する部位ポイントであり、前記中間ポイントは、部位種別としての胸に対応する部位ポイントである、
付記６に記載の姿勢特定装置。

（付記８）
前記制御手段は、前記基準部位種別としての首に対応する基準部位ポイントと、前記基本部位種別としての肩に対応する基本部位ポイントと、前記部位種別としての胸に対応する部位ポイントとに基づいて、前記各基本パタンに対応する基本長を算出する基本長算出手段を具備する
付記５又は６に記載の姿勢特定装置。

（付記９）
前記基本パタンは、前記基準部位種別としての首に対応する基準部位ポイントと前記基本部位種別としての左肩及び左耳にそれぞれ対応する２つの基本部位ポイントとの組み合わせ、及び、前記基準部位種別としての首に対応する基準部位ポイントと前記基本部位種別としての右肩及び右耳にそれぞれ対応する２つの基本部位ポイントとの組み合わせのうちの少なくとも一方を含む、
付記１記載の姿勢特定装置。

（付記１０）
複数の人間にそれぞれ対応する複数の人画像を含む画像において、人間についての所定の複数の部位ポイントに関して検出された複数の検出ポイントのそれぞれの前記画像における位置及び部位種別に関する情報を取得すること、及び
各検出ポイントを前記複数の人間のいずれかに分類することによって、各人間の姿勢を特定すること、
を含み、
前記各人間の姿勢を特定することは、前記複数の検出ポイントから、各人間についての基本パタンを抽出することを含み、
前記基本パタンは、基準部位種別に対応する基準部位ポイント、及び、複数の基本部位ポイントを含み、
前記複数の基本部位ポイントは、前記基準部位種別と異なり且つ互いに異なる、複数の基本部位種別に対応する、
姿勢特定方法。

（付記１１）
複数の人間にそれぞれ対応する複数の人画像を含む画像において、人間についての所定の複数の部位ポイントに関して検出された複数の検出ポイントのそれぞれの前記画像における位置及び部位種別に関する情報を取得すること、及び
各検出ポイントを前記複数の人間のいずれかに分類することによって、各人間の姿勢を特定すること、
を含む、処理を姿勢特定装置に実行させ、
前記各人間の姿勢を特定することは、前記複数の検出ポイントから、各人間についての基本パタンを抽出することを含み、
前記基本パタンは、基準部位種別に対応する基準部位ポイント、及び、複数の基本部位ポイントを含み、
前記複数の基本部位ポイントは、前記基準部位種別と異なり且つ互いに異なる、複数の基本部位種別に対応する、
プログラムが格納された非一時的なコンピュータ可読媒体。

１０ 姿勢特定装置
１１ 取得部
１２ 制御部
１５ 基本パタン抽出部
２０ 姿勢特定装置
２１ 制御部
２５ 基本パタン抽出部
２５Ａ 基本パタン候補特定部
２５Ｂ 基本長算出部
２５Ｃ 基本パタン形成部
２６ グルーピング部

Claims (10)

1. 複数の人物を含む画像において、前記人物の所定の部位を示す複数の部位ポイントのうち、複数の検出された部位ポイントである検出ポイントそれぞれの前記画像における位置及び部位種別に関する情報を取得する取得手段と、
   前記検出ポイントそれぞれを前記複数の人物のいずれかに分類することによって、前記複数の人物の姿勢を特定する制御手段と、
   を具備し、
   前記制御手段は、複数の前記検出ポイントから、前記人物毎に基本パタンを抽出する基本パタン抽出手段を含み、
   前記基本パタンは、基準部位種別に対応する基準部位ポイント、及び、複数の基本部位ポイントを含み、
   前記複数の基本部位ポイントは、前記基準部位種別と異なり且つ互いに異なる、複数の基本部位種別に対応する、
   姿勢特定装置。
2. 前記基本パタン抽出手段は、
   前記基準部位種別に対応する複数の検出ポイントと前記基本部位種別それぞれに対応する複数の検出ポイントとの間の複数の組み合わせのうち、前記画像において距離の近い検出ポイントの組み合わせを、同一の基本パタン候補に分類することにより、複数の基本パタン候補を特定する基本パタン候補特定手段と、
   前記特定された基本パタン候補それぞれに対して最適化処理を施すことにより、前記人物毎の基本パタンを形成する基本パタン形成手段と、
   を具備する、
   請求項１記載の姿勢特定装置。
3. 前記最適化処理は、
   前記基準部位種別に対応する複数の検出ポイントを含む１つの基本パタン候補を分断して、それぞれが前記基準部位種別に対応する１つの検出ポイントを含む複数の基本パタン候補に変換すること、
   前記基本パタン候補それぞれを処理対象としたとき、前記処理対象の基本パタン候補において、前記処理対象の基本パタン候補に含まれ且つ前記基本部位種別に対応する検出ポイントであって、前記基準部位種別に対応する検出ポイントからの距離が前記処理対象の基本パタン候補についての基本長よりも長い、検出ポイントを、前記処理対象の基本パタン候補から除くこと、及び、
   第１部位種別グループに対応する３つの検出ポイントの組み合わせ、及び、第２部位種別グループに対応する３つの検出ポイントの組み合わせのいずれも含まない、基本パタン候補を除くこと、
   を含む、
   請求項２記載の姿勢特定装置。
4. 前記基準部位種別は、首であり、
   前記基本部位種別は、左肩、右肩、左耳、及び右耳のそれぞれであり、
   前記第１部位種別グループは、首、左肩、及び左耳であり、
   前記第２部位種別グループは、首、右肩、及び右耳である、
   請求項３記載の姿勢特定装置。
5. 前記制御手段は、抽出された前記複数の人物の複数の基本パタンに含まれない検出ポイントであり且つグルーピング対象の検出ポイントであるグルーピング対象ポイントを、前記複数の基本パタンをそれぞれ含む複数の人グループのいずれかに対応付ける、グルーピング手段を具備し、
   前記グルーピング手段は、前記グルーピング対象ポイントと前記人グループそれぞれに含まれる所定の部位ポイントとの間の距離と、前記人グループそれぞれの基本パタンに対応する基本長に基づく許容最大長とに基づいて、前記グルーピング対象ポイントを前記複数の人グループのいずれかに対応付ける、
   請求項１から４のいずれか１項に記載の姿勢特定装置。
6. 前記所定の部位を示す複数の部位ポイントは、所定の複数の部位種別に対応する第１グループの複数の部位ポイントと、特定の２つの部位種別に対応する２つの部位ポイントの中間ポイントに対応する第２グループの部位ポイントを含み、
   前記制御手段は、
   抽出された前記複数の人物の複数の基本パタンに含まれない検出ポイントであり且つグルーピング対象の検出ポイントであるグルーピング対象ポイントを、グルーピング基準に基づいて、前記複数の基本パタンをそれぞれ含む複数の人グループのいずれかに対応付ける、グルーピング手段を具備し、
   前記グルーピング基準は、前記グルーピング対象ポイントと前記人グループそれぞれに含まれる所定の部位ポイントとの間の距離と前記人グループそれぞれの基本パタンに対応する基本長に基づく許容最大長との大小関係、及び、前記グルーピング対象ポイントと前記人グループそれぞれに含まれる前記所定の部位ポイントとの間の中点を含む所定の中間領域に前記中間ポイントに対応する検出ポイントが存在するか否か、である、
   請求項１から４のいずれか１項に記載の姿勢特定装置。
7. 前記グルーピング手段によるグルーピング処理の初期段階において、前記複数の基本パタンに含まれない検出ポイントである前記グルーピング対象ポイントは、部位種別としての腰に対応する部位ポイントであり、前記中間ポイントは、部位種別としての胸に対応する部位ポイントである、
   請求項６に記載の姿勢特定装置。
8. 前記制御手段は、前記基準部位種別としての首に対応する基準部位ポイントと、前記基本部位種別としての肩に対応する基本部位ポイントと、前記部位種別としての胸に対応する部位ポイントとに基づいて、前記各基本パタンに対応する基本長を算出する基本長算出手段を具備する
   請求項５又は６に記載の姿勢特定装置。
9. 複数の人物を含む画像において、前記人物の所定の部位を示す複数の部位ポイントのうち、複数の検出された部位ポイントである検出ポイントそれぞれの前記画像における位置及び部位種別に関する情報を取得すること、及び
   前記検出ポイントそれぞれを前記複数の人物のいずれかに分類することによって、前記複数の人物の姿勢を特定すること、
   を含み、
   前記複数の人物の姿勢を特定することは、複数の前記検出ポイントから、前記人物毎に基本パタンを抽出することを含み、
   前記基本パタンは、基準部位種別に対応する基準部位ポイント、及び、複数の基本部位ポイントを含み、
   前記複数の基本部位ポイントは、前記基準部位種別と異なり且つ互いに異なる、複数の基本部位種別に対応する、
   姿勢特定方法。
10. 複数の人物を含む画像において、前記人物の所定の部位ポイントを示す複数の部位ポイントのうち、複数の検出された部位ポイントである検出ポイントそれぞれの前記画像における位置及び部位種別に関する情報を取得すること、及び
    前記検出ポイントそれぞれを前記複数の人物のいずれかに分類することによって、前記複数の人物の姿勢を特定すること、
    を含む、処理を姿勢特定装置に実行させ、
    前記複数の人物の姿勢を特定することは、複数の前記検出ポイントから、前記人物毎に基本パタンを抽出することを含み、
    前記基本パタンは、基準部位種別に対応する基準部位ポイント、及び、複数の基本部位ポイントを含み、
    前記複数の基本部位ポイントは、前記基準部位種別と異なり且つ互いに異なる、複数の基本部位種別に対応する、
    プログラム。

Images