JP7697602B2 - 姿勢推定装置、姿勢推定方法、及びプログラム - Google Patents

Description

本開示は、全体として、画像を分析して、画像に撮像された人物の姿勢を推定する技術に関する。

一人以上の人物が撮像された画像に対して実行される分析には様々な種類がある。これらの分析のうちの１つは、画像に撮像された各人物の姿勢を推定する姿勢推定である。人物の姿勢は、画像から検出された身体の関節など、キーポイントに基づいて推定されうる。

画像内に複数の人物が撮像されている場合、姿勢推定は、各グループが互いに同一人物に属するキーポイントを含むように、キーポイントをグループに分割する「キーポイント関連付け（key-point association）」と呼ぶ処理を含む。特許文献１は、キーポイント関連付けのためのアルゴリズムのうちの１つを開示している。

国際公開第２０２１／０１４５３０号

キーポイント関連付けには複数のアルゴリズムがあり、あらゆる状況に対して最適なアルゴリズムはない。本開示の目的は、画像に撮像された人物の姿勢を正確に推定する新規な技術を提供することである。

本開示によって提供される姿勢推定装置は、命令を記憶するように構成される少なくとも１つのメモリと、少なくとも１つのプロセッサを有する。前記プロセッサは、一人以上の人物が撮像された対象画像を取得することと、前記対象画像からキーポイントを検出することと、前記キーポイントに基づいて１つ以上の選択ファクタを算出することであって、前記１つ以上の選択ファクタは、前記対象画像内の人物の密集度、解像度、又はその両方を含む、ことと、前記１つ以上の選択ファクタに基づいて、キーポイント関連付けのための事前定義されたアルゴリズムから、キーポイント関連付けのためのアルゴリズムを選択することと、前記キーポイントを、各々が互いに同一人物の前記キーポイントを含む１つ以上のキーポイントグループに分割するために、前記選択されたアルゴリズムを使用して前記キーポイントに対してキーポイント関連付けを実行することと、前記キーポイントグループごとに、前記キーポイントグループに含まれる前記キーポイントに基づいて、前記キーポイントグループに対応する前記人物の姿勢を推定することと、を実行する前記命令を実行するように構成される。

本開示のよって提供される姿勢推定方法は、１つ以上のコンピュータによって実行される。前記方法は、一人以上の人物が撮像された対象画像を取得するステップと、前記対象画像からキーポイントを検出するステップと、前記キーポイントに基づいて１つ以上の選択ファクタを算出するステップであって、前記１つ以上の選択ファクタは、前記対象画像内の人物の密集度、解像度、又はその両方を含む、ステップと、前記１つ以上の選択ファクタに基づいて、キーポイント関連付けのための事前定義されたアルゴリズムから、キーポイント関連付けのためのアルゴリズムを選択するステップと、前記キーポイントを、各々が互いに同一人物の前記キーポイントを含む１つ以上のキーポイントグループに分割するために、前記選択されたアルゴリズムを使用して前記キーポイントに対してキーポイント関連付けを実行するステップと、前記キーポイントグループごとに、前記キーポイントグループに含まれる前記キーポイントに基づいて、前記キーポイントグループに対応する前記人物の姿勢を推定するステップと、を含む。

本開示によって提供される非一時的コンピュータ可読記憶媒体は、プログラムを格納する。前記プログラムは、１つ以上のコンピュータに、一人以上の人物が撮像された対象画像を取得するステップと、前記対象画像からキーポイントを検出するステップと、前記キーポイントに基づいて１つ以上の選択ファクタを算出するステップであって、前記１つ以上の選択ファクタは、前記対象画像内の人物の密集度、解像度、又はその両方を含む、ステップと、前記１つ以上の選択ファクタに基づいて、キーポイント関連付けのための事前定義されたアルゴリズムから、キーポイント関連付けのためのアルゴリズムを選択するステップと、前記キーポイントを、各々が互いに同一人物の前記キーポイントを含む１つ以上のキーポイントグループに分割するために、前記選択されたアルゴリズムを使用して前記キーポイントに対してキーポイント関連付けを実行するステップと、前記キーポイントグループごとに、前記キーポイントグループに含まれる前記キーポイントに基づいて、前記キーポイントグループに対応する前記人物の姿勢を推定するステップと、を実行させる。

本開示によれば、画像内の人物の姿勢を正確に推定する新規の技術が提供される。

実施形態１の姿勢推定装置の概要を示す図である。 実施形態１の姿勢推定装置の機能構成の一例を示すブロック図である。 実施形態１の姿勢推定装置のハードウェア構成の一例を示すブロック図である。 実施形態１の姿勢推定装置によって実行される処理の例示的な流れを示すフローチャートである。 対象画像における人物の密集度を算出する方法の一例を示すフローチャートである。 ステップ２０２から２０６の場合の例を示す図である。 ミッドポイントモデルと方向マップモデルの訓練を示す図である。 方向マップモデルと位置マップモデルの訓練を示す図である。 ミッドポイントモデル、方向マップモデル、及び位置マップモデルの訓練を示す図である。 キーポイント関連付けアルゴリズムを選択する処理の第１の例示的な流れを示すフローチャートである。 キーポイント関連付けアルゴリズムを選択する処理の第２の例示的な流れを示すフローチャートである。 キーポイント関連付けアルゴリズムを選択する処理の第３の例示的な流れを示すフローチャートである。

本開示による実施の形態について、図面を参照しつつ以下に説明する。各図面において同一の要素には同一の符号を付し、必要に応じて重複する説明を省略する。また、所定の情報（例えば、所定の値又は所定の閾値）は、特に断らない限り、その情報を使用するコンピュータがアクセス可能な記憶装置に予め記憶されている。

実施形態１
＜概要＞
図１は、実施形態１の姿勢推定装置２０００の概要を示す。なお、図１に示す概要は、姿勢推定装置２０００を理解しやすくするために、姿勢推定装置２０００の動作の一例を示したものであり、姿勢推定装置２０００が取りうる動作の範囲を限定したり、狭めたりするものではない。

姿勢推定装置２０００は、一人以上の人物が撮像された対象画像１０を取得し、それぞれの人物の姿勢を推定する。そのために、姿勢推定装置２０００は、対象画像１０からキーポイントを検出し、検出したキーポイントに対してキーポイント関連付けを実行する。キーポイントは、関節などの人物の身体の特徴点を示しうる。キーポイント関連付けは、各グループが互いに同一人物に属するキーポイントを含むように、キーポイントをグループに分割する処理である。キーポイント関連付けによってその人物に属すると特定されたキーポイントに基づいて、各人物の姿勢を推定することができる。

キーポイント関連付けには複数のアルゴリズムがあり、どのアルゴリズムがその画像に撮像された人物の姿勢を推定するために適しているかは、分析される画像に依存する。以下、キーポイント関連付けのためのアルゴリズムを「キーポイント関連付けアルゴリズム」と呼ぶ。したがって、姿勢推定装置２０００は、対象画像１０に関連するファクタを算出して、事前定義された複数のキーポイント関連付けアルゴリズムから、対象画像１０のためのキーポイント関連付けアルゴリズムを選択する。以下、このファクタを「選択ファクタ」と呼ぶ。選択ファクタは、対象画像１０内の人物の密集度、解像度、又はその両方を含んでもよい。

姿勢推定装置２０００は、対象画像１０から検出されたキーポイントに対して、選択したキーポイント関連付けアルゴリズムを実行することにより、キーポイントのグループ（以下、キーポイントグループ）を取得し、各キーポイントグループは、互いに同一人物に属すると推定されるキーポイントを含む。そして、キーポイントごとに、姿勢推定装置２０００は、キーポイントグループに含まれるキーポイントに基づいて、キーポイントグループに対応する人物の姿勢を特定する。

＜作用効果の例＞
様々なキーポイント関連付けアルゴリズムが存在し、あらゆる状況に対して最適なアルゴリズムは存在しない。姿勢推定装置２０００によれば、対象画像１０に適用するキーポイント関連付けアルゴリズムは固定ではなく、選択ファクタに基づいて、事前定義された複数のキーポイント関連付けアルゴリズムから選択される。選択ファクタは、対象画像１０に撮像された人物の密集度、解像度、又はその両方を含みうる。このように、対象画像１０に適用するキーポイント関連付けアルゴリズムは、対象画像１０に撮像された人物の密集度、解像度、又はその両方に基づいて適宜選択される。したがって、対象画像１０内の人物の姿勢を正確に推定することができる。

以下、姿勢推定装置２０００の詳細な説明を述べる。

＜機能構成の例＞
図２は、実施形態１の姿勢推定装置２０００の機能構成の一例を示すブロック図である。姿勢推定装置２０００は、取得部２０２０と、キーポイント検出部２０４０と、アルゴリズム選択部２０６０と、キーポイント関連付け部２０８０と、推定部２１００と、を備える。取得部２０２０は、対象画像１０を取得する。キーポイント検出部２０４０は、対象画像１０からキーポイントを検出する。アルゴリズム選択部２０６０は、１つ以上の選択ファクタを算出し、算出した選択ファクタに基づいて、事前定義されたもの中からキーポイント関連付けアルゴリズムを選択する。キーポイント関連付け部２０８０は、検出したキーポイントに対して、選択したキーポイント関連付けアルゴリズムを実行し、それによってキーポイントグループを生成する。キーポイントグループごとに、推定部２１００は、キーポイントグループにおけるキーポイントに基づいて、キーポイントグループに対応する人物の姿勢を推定する。

＜ハードウェア構成の例＞
姿勢推定装置２０００は、１つ以上のコンピュータによって実現されてもよい。１つ以上のコンピュータの各々は、姿勢推定装置２０００を実現するために製造された専用のコンピュータであってもよいし、パーソナルコンピュータ(PC: personal computer)、サーバマシン、モバイルデバイスといった汎用のコンピュータであってもよい。

姿勢推定装置２０００は、コンピュータにアプリケーションをインストールすることで実現されてもよい。アプリケーションは、コンピュータを姿勢推定装置２０００として機能させるためのプログラムによって実現される。すなわち、プログラムは、姿勢推定装置２０００の機能部を実装するものである。

図３は、実施形態１の姿勢推定装置２０００を実現するコンピュータ１０００のハードウェア構成の一例を示すブロック図である。図３において、コンピュータ１０００は、バス１０２０と、プロセッサ１０４０と、メモリ１０６０と、記憶装置１０８０と、入出力（Input/Output）インターフェース１１００と、ネットワークインターフェース１１２０と、を有する。

バス１０２０は、プロセッサ１０４０、メモリ１０６０、記憶装置１０８０、入出力インターフェース１１００及びネットワークインターフェース１１２０が相互にデータを送受信するためのデータ伝送路である。プロセッサ１０４０は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、FPGA（Field-Programmable Gate Array）などのプロセッサである。メモリ１０６０は、RAM（Random Access Memory）又はROM（Read Only Memory）などの主記憶要素である。記憶装置１０８０は、ハードディスク、SSD（Solid State Drive）、メモリカードなどの補助記憶要素である。入出力インターフェース１１００は、コンピュータ１０００と、キーボード、マウス、ディスプレイデバイスなどの周辺機器と、の間のインターフェースである。ネットワークインターフェース１１２０は、コンピュータ１０００とネットワークとの間のインターフェースである。ネットワークは、LAN（Local Area Network）であってもよく、又はWAN（Wide Area Network）であってもよい。

コンピュータ１０００のハードウェア構成は、図３に示すものに限定しない。例えば、上述したように、姿勢推定装置２０００は、複数のコンピュータによって実現されてもよい。この場合、それらのコンピュータは、ネットワークを介して互いに接続されてもよい。

＜処理の流れ＞
図４は、実施形態１の姿勢推定装置２０００によって実行される処理の例示的な流れを示すフローチャートである。取得部２０２０は、対象画像１０を取得する（Ｓ１０２）。キーポイント検出部２０４０は、対象画像１０からキーポイントを検出する（Ｓ１０４）。アルゴリズム選択部２０６０は、１つ以上の選択ファクタを算出する（Ｓ１０６）。アルゴリズム選択部２０６０は、算出した選択ファクタに基づいて、事前定義されたものからキーポイント関連付けアルゴリズムを選択する（Ｓ１０８）。キーポイント関連付け部２０８０は、キーポイントグループを生成するために、検出したキーポイントに対して、選択したアルゴリズムを実行する（Ｓ１１０）。推定部２１００は、キーポイントグループごとに、人物の姿勢を推定する（Ｓ１１２）。

＜対象画像１０の取得：Ｓ１０２＞
取得部２０２０は、対象画像１０を取得する。対象画像１０の取得方法は様々である。いくつかの態様では、対象画像１０は、姿勢推定装置２０００が取得することができるように、記憶装置に予め記憶される。この場合、取得部２０２０は、対象画像を取得するために、記憶装置にアクセスしてもよい。他の実施形態では、対象画像１０は、対象画像１０を生成するカメラなど、別のコンピュータによって送信されてもよい。この場合、取得部２０２０は、対象画像１０を受信することにより取得してもよい。

いくつかの実施形態では、対象画像１０は、ビデオを形成するビデオフレームなど、連続する画像のうちの１つであってもよい。この場合、姿勢推定装置２０００は、連続する画像の全部又は一部を対象画像１０として取得し、対象画像１０ごとにそれぞれの人物の姿勢を推定しうる。

＜キーポイントの検出：Ｓ１０４＞
キーポイント検出部２０４０は、対象画像１０からキーポイントを検出する（Ｓ１０４）。画像から人物のキーポイントを検出する様々な方法があり、キーポイント検出部２０４０は、対象画像１０からキーポイントを検出するために、これらの方法のうちの１つを使用しうる。人物のキーポイントは、首、肩、肘、手首、腰、膝、足首などにおける関節など、人物の身体の１つ以上の特徴であってもよい。

いくつかの態様において、キーポイント検出部２０４０は、入力として画像を取得するように構成され、更に画像の入力に応じて入力画像からキーポイントを検出するように予め訓練された、機械学習ベースのモデル（例えば、ニューラルネットワーク）を有する。以下、このモデルを「キーポイント検出モデル」と呼ぶ。

キーポイント検出モデルは、入力として対象画像１０を取得し、対象画像１０から特徴を抽出し、抽出した特徴に基づいて対象画像１０から１つ以上のキーポイントを検出し、抽出した特徴に基づいて各キーポイント（例えば、首、右肩など）のクラスを特定しうる。この場合、キーポイント検出モデルは、対象画像１０から特徴を抽出するように予め訓練された第１のモデルと、対象画像１０から抽出した特徴に基づいてキーポイントを検出して分類するように事前に訓練された第２のモデルと、を含みうる。第１のモデル及び第２のモデルの各々は、ニューラルネットワークなどの機械学習ベースのモデルとして構成されうる。なお、入力画像からキーポイントを検出でき、更にそれらを分類できる機械学習モデルには様々な種類があり、キーポイント検出モデルを、そのようなモデルのうちの１つとして構成することができる。

＜選択ファクタの算出：Ｓ１０６＞
対象画像１０に適したキーポイント関連付けアルゴリズムを選択するために、アルゴリズム選択部２０６０は、検出したキーポイントに基づいて選択ファクタを算出する（Ｓ１０６）。上述したように、選択ファクタは、対象画像１０内の人物の密集度、対象画像１０内の人物の解像度、又はその両方を含んでもよい。以下、これらのファクタの算出方法の一例について説明する。

《人物の密集度》
人物の密集度を選択ファクタとして使用する場合、アルゴリズム選択部２０６０は、対象画像１０から検出したキーポイントに基づいて、対象画像１０内の人物の密集度を算出する。人物の密集度は、右肩及び左肩のキーポイントを使用して測ることができる。

図５は、対象画像１０における人物の密集度の算出方法の一例を示すフローチャートである。アルゴリズム選択部２０６０は、検出したすべてのキーポイントから、左肩又は右肩を表すキーポイントを抽出する（Ｓ２０２）。そして、左肩のキーポイントごとに、アルゴリズム選択部２０６０は、最も近い右肩のキーポイントを探索し、それらをリンクする（Ｓ２０４）。このステップにより、右肩のいくつかのキーポイントを、左肩の複数のキーポイントにリンクしうる。

MP ポイントごとに、アルゴリズム選択部２０６０は、その MP ポイントを一端とする最長リンク及び最短リンクを抽出し、最長リンクの長さが最短リンクの長さの所定倍（例えば、２倍）を超えるとき、その最長リンクを除去する（Ｓ２０６）。このステップにより、一部の MP ポイントは、最長リンクを除去した結果として、非 MP ポイント（すなわち、単一の左肩のキーポイントのみにリンクされた右肩のキーポイント）になりうる。

図６は、ステップ２０２からステップ２０６の場合の一例を示している。この例では、ステップＳ２０２において、３つの右肩２２－１から２２－３及び５つの左肩２４－１から２４－５が検出されている。次に、ステップＳ２０４において、左肩２４－１から２４－５を、右肩２２－１、２２－２、２２－２、２２－３、及び２２－３に、それぞれリンクする。この場合、右肩２２－２及び２２－３は、MP ポイントである。

ステップＳ２０６では、右肩２２－３について、右肩２２－３と左肩２４－５との間の最長リンクの長さが、右肩２２－３と左肩２４－４との間の最短リンクの長さの所定倍を超えると判定する。これにより、右肩２２－３と左肩２４－５との間のリンクが除去される。この除去の結果、右肩２２－３は、非 MP ポイントとなる。

ステップＳ２０６は、MP ポイントの数が収束する（例えば、一定になる）まで繰り返される。以下、この MP ポイントの数を「NMP」と呼ぶ。具体的には、アルゴリズム選択部２０６０は、NMP が収束したか否かを判定する（Ｓ２０８）。NMP が収束していない場合（Ｓ２０８：ＮＯ）、再度ステップＳ２０６が実行される。一方、NMP が収束した場合（Ｓ２０８：ＹＥＳ）、アルゴリズム選択部２０６０は、対象画像１０内の人物の密集度として NMP を設定する。概念的には、NMP が大きいほど、対象画像１０内に人物が密集している。

他の態様において、アルゴリズム選択部２０６０は、NMP に基づいて、対象画像１０内の人物の密集度を算出してもよい。例えば、密集度の算出のために、入力値に比例した値を出力する関数が予め定義されている。この場合、アルゴリズム選択部２０６０は、この関数に NMP を入力し、NMP に比例した出力値を取得し、この出力値を対象画像１０内の人物の密集度として使用しうる。

《人物の解像度》
人物の解像度を選択ファクタとして使用する場合、アルゴリズム選択部２０６０は、上述した NMP に基づいて人物の解像度を算出してもよい。具体的には、アルゴリズム選択部２０６０は、図５のステップＳ２０８の後に残った MP ポイントから、対象画像の寸法のうちの１つに基づいて定義されうる閾値（例えば、対象画像１０の幅の 1/25）未満の長さのリンクを抽出する。ここで抽出されたリンクを、「SL リンク」と呼ぶ。

アルゴリズム選択部２０６０は、以下のように RSL と呼ぶ値を算出しうる。

式（１）において、NSL は、SL リンクの数を表し、NAL は、MP ポイントを一端とする、すべてのリンクの数を表す。

概念的には、RSL が大きいほど、対象画像１０内の人物の解像度は低くなる。したがって、いくつかの態様において、アルゴリズム選択部２０６０は、RSL が小さくなるにつれて大きくなる値として、対象画像１０内の人物の解像度を算出しうる。例えば、解像度の算出のために、予め、入力値の逆数に比例した値を出力する関数が予め定義されている。この場合、アルゴリズム選択部２０６０は、この関数に RSL を入力して、1/RSL に比例した出力値を取得し、この出力値を対象画像１０内の人物の解像度として使用してもよい。なお、この関数は、入力として０が与えられたとき、最大値を出力するように定義されうる。

他の態様において、アルゴリズム選択部２０６０は、対象画像１０内の人物の解像度を表す選択ファクタとして RSL を使用しうる。この場合、後述するように、対象画像１０内の人物の解像度が閾値未満であるか否かを判定するとき、アルゴリズム選択部２０６０は、RSL が閾値よりも大きい場合に、対象画像１０内の人物の解像度が閾値未満であると判定しうる。

＜キーポイント関連付けアルゴリズム＞
事前定義されたキーポイント関連付けアルゴリズムは、１）ミッドポイントアルゴリズム、２）方向マップアルゴリズム、及び３）位置マップアルゴリズムのうちの２つ以上を含んでもよい。以下、各アルゴリズムについて説明する。

＜＜ミッドポイントアルゴリズム＞＞
ミッドポイントアルゴリズムは、キーポイント関連付けを実行するために、対象画像１０からミッドポイント（mid-point）を検出する。ミッドポイントは、２つのキーポイントの中間に位置するポイントである。ミッドポイントアルゴリズムの詳細は、特許文献１に開示されている。

ミッドポイントアルゴリズムは、ニューラルネットワークなどの機械学習モデルを使用して実現されうる。以下、この機械学習モデルを「ミッドポイントモデル」と呼ぶ。ミッドポイントモデルは、対象画像１０を入力として取得するように構成され、入力データの入力に応じて、対象画像１０内のミッドポイントを出力するように予め訓練されうる。

ミッドポイントアルゴリズムは、対象画像１０内のミッドポイントを取得するために、対象画像１０をミッドポイントモデルに入力しうる。次いで、ミッドポイントアルゴリズムは、ミッドポイントに基づいて、キーポイントをキーポイントグループに分割する。

＜＜方向マップアルゴリズム＞＞
方向マップアルゴリズムは、対象画像１０の方向マップを生成し、キーポイント関連付けのための方向マップを使用して、キーポイントをキーポイントグループに分割する。方向マップは、対象画像１０から抽出した特徴マップであり、対象画像１０と同じサイズである。方向マップは、対象画像１０における人物の領域（以下、人物領域）の画素ごとの単位ベクトルを示す。人物領域内の画素に対応する単位ベクトルは、その画素から、その人物領域の事前定義された基準ポイント（reference point）までを指す。人物領域の基準ポイントは、人物領域に対応する人物の特定のキーポイント（例えば、首のキーポイント）であってもよい。

より具体的には、方向マップは、H 方向マップ及び V 方向マップと呼ぶ２つの特徴マップのセットを含んでもよい。H 方向マップにおいて、人物領域の画素は、それに対応する単位ベクトルの水平成分（すなわち、x 成分）を示す。一方、V 方向マップにおいて、人物領域の画素は、それに対応する単位ベクトルの垂直成分（y 成分）を示す。

方向マップアルゴリズムは、ニューラルネットワークなどの機械学習モデルを使用して実現されうる。以下、この機械学習モデルを「方向マップモデル」と呼ぶ。方向マップモデルは、対象画像１０を入力として取得するように構成され、入力データの入力に応じて、対象画像１０の方向マップを出力するように予め訓練されうる。方向マップアルゴリズムは、方向マップを取得するために、対象画像１０を方向マップモデルに入力しうる。次いで、方向マップアルゴリズムは、方向マップを使用してキーポイントをキーポイントグループに分割する。

方向マップアルゴリズムは、方向マップを使用して、対象画像１０から検出したキーポイントと人物のペアごとにスコアを算出し、算出したスコアに基づいて、どのキーポイントがどの人物に属するかを特定する。次いで、キーポイントごとに、方向マップアルゴリズムは、そのキーポイントが、そのキーポイントに関するスコアのうちの最大スコアに対応する人物に属すると特定する。

キーポイント K1 と人物 P1 のペアがスコア S1、キーポイント K1 と人物 P2 のペアがスコア S2 、キーポイント K1 と人物 P3 のペアがスコア S3 であるとする。また、S1、S2、S3 の最大スコアは S2 である。この場合、キーポイント K1 と人物 P2 とのペアのスコアが最大であるため、方向マップアルゴリズムは、キーポイント K1 が人物 P2 に属すると特定する。

キーポイントと人物とのペアのスコアは、３つのファクタ OB、RoD、及び D の積として算出することができる（すなわち、S=OB*RoD*D）。これら３つのファクタを、以下のように算出する。方向マップアルゴリズムは、キーポイントと、人物の基準ポイントとの間の線上に１つ以上の中間ポイント（intermediate point）を生成する。方向マップアルゴリズムは、中間ポイントごとに、中間ポイントが人物領域に位置するか否かを判定する。方向マップアルゴリズムは、ファクタ OB として、中間ポイントの何パーセントが人物領域内に位置するかを算出する。例えば、３つの中間ポイントのうち２つが人物領域に位置する場合、ファクタ OB は、2/3 となる。

そして、人物領域に位置する中間ポイントごとに、方向マップアルゴリズムは、方向マップからその中間ポイントに対応する単位ベクトルを取得する。対象画像１０上の中間ポイントの座標を (x1, y1) とする。この場合、中間ポイントに対応する単位ベクトルは、方向マップの (x1, y1) に位置するものとなる。方向マップアルゴリズムはまた、キーポイントに対応する単位ベクトルを取得する。

方向マップアルゴリズムは、ファクタ RoD として、取得された単位ベクトルの方向の変動（variation）を算出する。単位ベクトルの方向の変動は、それらの単位ベクトルのうちの２つの間の最大差を表す。

ファクタ D として、方向マップアルゴリズムは、人物のキーポイントと基準ポイントとの間の距離を算出する。

＜＜位置マップアルゴリズム＞＞
位置マップアルゴリズムは、対象画像１０の位置マップを算出し、キーポイント関連付けのために位置マップを使用して、キーポイントをキーポイントグループに分割する。位置マップは、対象画像１０から抽出した特徴マップであり、対象画像１０と同じサイズである。位置マップにおいて、人物領域の画素は、人物領域の相対位置を示す。人物領域の相対位置は、対象画像１０のベース位置（base position）に対する基準ポイント（例えば、首のキーポイント）の位置である。対象画像１０のベース位置は、その原点（例えば、左上隅）でありうる。

より具体的には、位置マップは、H 位置マップ及び V 位置マップと呼ぶ２つの特徴マップを含んでもよい。H 位置マップにおいて、人物領域内の画素は、ベース位置（例えば、対象画像１０の左端）に対する、その人物領域の基準ポイントの水平位置を示す。一方、V 位置マップにおいて、人物領域の画素は、ベース位置（例えば、対象画像１０の上端）に対する、その人物領域の基準ポイントの垂直位置を示す。

対象画像１０の幅を W、高さを H とし、対象画像１０における人物領域の基準ポイントの絶対座標を (x1, y1) とする。この場合、人物領域の相対位置は、(x1/W, y1/W) となる。したがって、この人物領域の画素は、H 位置マップでは x1/W を示し、V 位置マップでは y1/H を示す。

位置マップアルゴリズムは、ニューラルネットワークなどの機械学習モデルを使用して実現されうる。以下、この機械学習モデルを「位置マップモデル」と呼ぶ。位置マップモデルは、対象画像１０を入力として取得するように構成され、入力データの入力に応じて、対象画像１０の位置マップを出力するように予め訓練されうる。位置マップアルゴリズムは、位置マップを取得するために、対象画像１０を、位置マップモデルに入力しうる。次いで、位置マップアルゴリズムは、位置マップを使用して、キーポイントをキーポイントグループに分割する。

対象画像１０から検出されたキーポイントごとに、位置マップアルゴリズムは、対象画像１０から検出された各人物からの距離を算出する。距離は、位置マップから取得したキーポイントと人物との相対位置を使用して算出される。

具体的には、位置マップアルゴリズムは、位置マップ上の座標が対象画像１０上のキーポイントの座標と同じである位置マップの画素から画素値を取得し、取得した値をキーポイントの相対位置として使用する。対象画像１０において、キーポイント K1 の座標を (x1, y1) とする。また、H 位置マップの (x1, y1) の画素は x2 を示し、V 位置マップの (x1, y1) の画素は y2 を示す。この場合、位置マップアルゴリズムは、H 位置マップにおける (x1, y1) の画素から、画素値 x2 を、キーポイント K1 の相対位置の x 座標として取得する。また、位置マップアルゴリズムは、V 位置マップにおける (x1, y1) の画素の画素値 y2 を、キーポイント K1 の相対位置の y 座標として取得する。これにより、キーポイント K1 の相対位置は、(x2, y2) に特定される。

人物の相対位置に関して、位置マップアルゴリズムは、その人物に対応する人物領域内の画素から画素値を取得し、取得した値を人物の相対位置として使用する。人物 P1 の人物領域の画素が、H 位置マップで値 x3 を示し、人物 P1 の人物領域の画素が、V 位置マップで値 y3 を示すものとする。この場合、人物 P1 の相対位置は、(x3, y3) に特定される。上述のように、キーポイントの相対位置が (x2, y2) で示されるとき、位置マップアルゴリズムは、(x2, y2) と (x3, y3) との間の距離を、キーポイントと人物 P1 との間の距離として算出する。

キーポイントに対する各人物までの距離を算出した後、位置マップアルゴリズムは、キーポイントからの距離が最も短い人物を特定する。次いで、位置マップは、キーポイントが特定された人物に属すると特定する。

＜モデルの構成＞
＜＜方向マップモデルについて＞＞
方向マップは、基準ポイント（首のキーポイントなど）と、人物の全身体領域内の任意の他の画素との間の幾何学的関係を記述する特徴マップである。方向マップの品質を良好にするために、方向マップモデルは、人物の身体状況（すなわち、異なる身体部分間の接続方法）を十分に理解していることが好ましい。２つのペアにしたキーポイントの中間に定義されるミッドポイントは、方向マップモデルによる異なる身体部分間の接続の好適な理解を助け、したがって、方向マップの品質の向上を助けることができる。

上記の洞察に基づいて、方向マップは、対象画像１０から検出されたキーポイント及びミッドポイントを使用して、方向マップを生成するように構成されることが好ましい。したがって、ミッドポイントアルゴリズム及び方向マップモデルアルゴリズムが、事前定義されたキーポイント関連付けアルゴリズムとして採用されるとき、方向マップモデルは、対象画像１０だけでなく、ミッドポイントモデルの出力も入力として取得するように構成することができる。この場合、ミッドポイントモデル及び方向マップモデルを、互いに同じ訓練データを使用して、一括して訓練することができる。なお、ミッドポイントモデルは、対象画像１０からキーポイントを検出するために、キーポイント検出モデルとしての機能を有してもよい。

図７は、ミッドポイントモデル及び方向マップモデルの訓練を示している。この例では、ミッドポイントモデルは、対象画像１０を入力として取得し、対象画像１０からキーポイント及びミッドポイントを検出する。方向マップモデルが、ミッドポイントの出力（すなわち、キーポイント及びミッドポイント）を入力として取得しうるように、方向マップモデルは、ミッドポイントモデルに接続される。

図７に示すモデルの訓練のための訓練データは、一人以上の人物が撮像された入力画像と、正解データとのセットを含む。正解データは、対応する入力画像から検出されるキーポイント及びミッドポイント、並びに対応する入力画像から生成される方向マップを示す。モデルは、それらの出力（すなわち、ミッドポイントによって検出されたキーポイント及びミッドポイント、並びに方向マップモデルによって生成された方向マップ）と、正解データとの間の相違度を表す損失を算出し、更に、算出した損失に基づいてモデルの訓練可能なパラメータを更新することによって、訓練される。

＜＜位置マップモデルについて＞＞
基準ポイントを除く人物の身体領域内における任意の画素について、人物の２方向マップ（それぞれ vx 及び vy で示される）におけるその値は、画素から基準ポイントまでの単位ベクトルの X 成分及び Y 成分である。したがって、vx 及び vy は、「vx^2 + vy^2 = 1」の条件を満たし、これは、基準ポイントを除く人物の身体領域内のすべての画素について、vx と vy との二乗和が一定値であることを意味する。一方、位置マップは、画像内の人物の位置に対応する一定の値を用いて、人物の身体領域を埋めるものとして定義される。したがって、方向マップの二乗は、人物の身体領域のすべての画素の値を一定値に収束させることによって、位置マップの品質の向上を助けることができる。なお、方向マップの二乗とは、H 方向マップにおいて、各画素が、対応する画素によって示される値の二乗を示す、H 方向マップの二乗と、V 方向マップにおいて、各画素が、対応する画素によって示される値の二乗を示す、V 方向マップの二乗と、を含む。

上記の洞察に基づいて、方向マップの二乗を使用して位置マップを生成するように位置マップモデルを構成することが好ましい。したがって、方向マップモデルアルゴリズム及び位置マップアルゴリズムが、事前定義されたキーポイント関連付けアルゴリズムとして採用されるとき、位置マップモデルは、対象画像１０だけでなく、方向マップモデルの出力の二乗も入力として取得するように構成することができる。この場合、方向マップモデル及び位置マップを、互いに同じ訓練データを使用して、一括して訓練することができる。

図８は、方向マップモデル及び位置マップモデルの訓練を示している。この例では、方向マップモデルと位置マップモデルとの間に、方向マップモデルの出力の二乗を算出する構成部が存在する。この構成部は、方向マップモデルの出力を取得し、この出力の二乗を算出し、算出の結果を位置マップモデルに供給するように構成される。

図８に示すモデルの訓練のための訓練データは、一人以上の人物が撮像された入力画像と、正解データと、のセットを含む。正解データは、対応する入力画像から生成される方向マップ及び位置マップを示す。モデルは、それらの出力（すなわち、方向マップモデルによって生成された方向マップ、及び位置マップモデルによって生成された位置マップ）と、正解データとの間の相違度を表す損失を算出し、更に、算出した損失に基づいてモデルの訓練可能なパラメータを更新することによって、訓練される。

図７及び図８に示す構成を組み合わせることによって、ミッドポイントモデル、方向マップモデル、及び位置マップモデルは、それらのモデルが事前定義されたキーポイント関連付けアルゴリズムとして採用されるときに、一括して訓練することができる。図９は、ミッドポイントモデル、方向マップモデル、位置マップモデルの訓練を示している。

図９に示すモデルの訓練のための訓練データは、一人以上の人物が撮像された入力画像と、正解データと、のセットを含む。正解データは、対応する入力画像から検出されるキーポイント及びミッドポイント、並びに対応する入力画像から生成される方向マップ及び位置マップを示す。モデルは、それらの出力（すなわち、ミッドポイントによって検出されたキーポイント及びミッドポイント、方向マップモデルによって生成された方向マップ、及び位置マップモデルによって生成された位置マップ）と、正解データとの間の相違度を表す損失を算出し、更に、算出された損失に基づいてモデルの訓練可能なパラメータを更新することによって、訓練される。

＜キーポイント関連付けアルゴリズムの選択：Ｓ１０８＞
アルゴリズム選択部２０６０は、選択ファクタに基づいて、対象画像１０に適したキーポイント関連付けアルゴリズムを選択する（Ｓ１０８）。いくつかの態様において、アルゴリズム選択部２０６０は、選択ファクタが事前定義された閾値よりも大きいか否かに基づいて、キーポイント関連付けアルゴリズムを決定してもよい。

図１０は、キーポイント関連付けアルゴリズムを選択する処理の第１の例示的な流れを示すフローチャートである。この例では、事前定義されたキーポイントアルゴリズムは、ミッドポイントアルゴリズムと、方向マップアルゴリズムと、位置マップアルゴリズムと、を含む。また、この例では、選択ファクタは、対象画像１０内の人物の密集度と、対象画像１０内の人物の解像度と、を含む。

具体的には、アルゴリズム選択部２０６０は、対象画像１０内の人物の解像度が閾値 ThR よりも小さいか否かを判定する（Ｓ３０２）。解像度が閾値 ThR よりも小さいとき（Ｓ３０２：ＹＥＳ）、アルゴリズム選択部２０６０は、対象画像１０に適用するキーポイント関連付けアルゴリズムとして、ミッドポイントアルゴリズムを選択する（Ｓ３０４）。一方、解像度が閾値 ThR 以上であるとき（Ｓ３０２：ＮＯ）、アルゴリズム選択部２０６０は、対象画像１０内の人物の密集度が閾値 ThD よりも小さいか否かを判定する（Ｓ３０６）。

密集度が閾値 ThD よりも小さいとき（Ｓ３０６：ＹＥＳ）、アルゴリズム選択部２０６０は、対象画像１０に適用するキーポイント関連付けアルゴリズムとして、方向マップアルゴリズムを選択する（Ｓ３０８）。一方、密集度が閾値 ThD 以上であるとき（Ｓ３０６：ＮＯ）、アルゴリズム選択部２０６０は、対象画像１０に適用するキーポイント関連付けアルゴリズムとして、位置マップアルゴリズムを選択する（Ｓ３１０）。

図１１は、キーポイント関連付けアルゴリズムを選択する処理の第２の例示的な流れを示すフローチャートである。この例では、事前定義されたキーポイントアルゴリズムは、ミッドポイントアルゴリズムと、方向マップアルゴリズムと、を含む。また、この例では、対象画像１０内の人物の解像度が、選択ファクタとして使用される。

具体的には、アルゴリズム選択部２０６０は、対象画像１０内の人物の解像度が閾値 ThR よりも小さいか否かを判定する（Ｓ４０２）。解像度が閾値 ThR よりも小さいとき（Ｓ４０２：ＹＥＳ）、アルゴリズム選択部２０６０は、対象画像１０に適用するキーポイント関連付けアルゴリズムとして、ミッドポイントアルゴリズムを選択する（Ｓ４０４）。一方、解像度が閾値 ThR 以上であるとき（Ｓ４０２：ＮＯ）、アルゴリズム選択部２０６０は、対象画像１０に適用するキーポイント関連付けアルゴリズムとして、方向マップアルゴリズムを選択する（Ｓ４０６）。

なお、図１１に示す例では、方向マップアルゴリズムに代えて、位置マップアルゴリズムを、事前定義されたキーポイント関連付けアルゴリズムのうちの１つとして採用してもよい。この場合、解像度が閾値 ThR 以上であるとき、アルゴリズム選択部２０６０は、対象画像１０に適用するキーポイント関連付けアルゴリズムとして、位置マップアルゴリズムを選択する。

図１２は、キーポイント関連付けアルゴリズムを選択する処理の第３の例示的な流れを示すフローチャートである。この例では、事前定義されたキーポイントアルゴリズムは、方向マップアルゴリズムと、位置アルゴリズムと、を含む。また、この例では、対象画像１０内の人物の密集度が、選択ファクタとして使用される。

具体的には、アルゴリズム選択部２０６０は、対象画像１０内の人物の密集度が閾値 ThD よりも小さいか否かを判定する（Ｓ５０２）。密集度が閾値 ThD よりも小さいとき（Ｓ５０２：ＹＥＳ）、アルゴリズム選択部２０６０は、対象画像１０に適用するキーポイント関連付けアルゴリズムとして、方向マップアルゴリズムを選択する（Ｓ５０４）。一方、密集度が閾値 ThD 以上であるとき（Ｓ５０２：ＮＯ）、アルゴリズム選択部２０６０は、対象画像１０に適用するキーポイント関連付けアルゴリズムとして、位置マップアルゴリズムを選択する（Ｓ５０６）。

なお、図１２に示す例では、方向マップアルゴリズムに代えて、ミッドポイントアルゴリズムを、事前定義されたキーポイント関連付けアルゴリズムのうちの１つとして採用してもよい。この場合、密集度が閾値 ThD 以上であるとき、アルゴリズム選択部２０６０は、対象画像１０に適用するキーポイント関連付けアルゴリズムとして、ミッドポイントアルゴリズムを選択する。

＜姿勢推定装置２０００からの出力＞
姿勢推定装置２０００は、姿勢推定の結果を示す情報（出力情報と呼ぶ）を出力するように構成されうる。例えば、出力情報は、対象画像１０の識別子（例えば、フレーム番号）と、キーポイントグループごとに、キーポイントグループの推定姿勢の識別子、及びキーポイントグループ内の各キーポイントのキーポイント情報のセットと、を含んでもよい。推定姿勢の識別子は、キーポイントグループに対応する人物がどのような種類の姿勢を取っているかを示す。キーポイント情報は、キーポイントの種類（例えば、首、右肩など）及び位置（例えば、座標）を示す。

出力情報を出力するには、様々な方法がある。いくつかの態様において、出力情報は、記憶装置に格納され、ディスプレイデバイスに表示され、又は姿勢推定装置２０００のユーザの PC 若しくはスマートフォンなど、別のコンピュータに送信されてもよい。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、CD-ROM、CD-R、CD-R/W、半導体メモリ（例えば、マスク ROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

実施の形態を参照して、上記に本開示を説明したが、本開示は、上述の実施の形態に限定されるものではない。本発明の範囲内で、当業者が理解しうる様々な変更を本開示の構成及び詳細について行うことができる。

上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
＜付記＞
（付記１）
姿勢推定装置であって、
命令を記憶するように構成される少なくとも１つのメモリと、
一人以上の人物が撮像された対象画像を取得することと、
前記対象画像からキーポイントを検出することと、
前記キーポイントに基づいて１つ以上の選択ファクタを算出することであって、前記１つ以上の選択ファクタは、前記対象画像内の人物の密集度、解像度、又はその両方を含む、ことと、
前記１つ以上の選択ファクタに基づいて、キーポイント関連付けのための事前定義されたアルゴリズムから、キーポイント関連付けのためのアルゴリズムを選択することと、
前記キーポイントを、各々が互いに同一人物の前記キーポイントを含む１つ以上のキーポイントグループに分割するために、前記選択されたアルゴリズムを使用して前記キーポイントに対してキーポイント関連付けを実行することと、
前記キーポイントグループごとに、前記キーポイントグループに含まれる前記キーポイントに基づいて、前記キーポイントグループに対応する前記人物の姿勢を推定することと、
を実行する前記命令を実行するように構成される少なくとも１つのプロセッサと、を有する、姿勢推定装置。
（付記２）
前記キーポイントの種類は、右肩と左肩とを含み、
前記対象画像内の人物の前記密集度の前記算出は、
左肩の前記キーポイントごとに、左肩の前記キーポイントを、それに最も近い右肩の前記キーポイントにリンクすることと、
左肩の複数のキーポイントにリンクされた右肩の前記キーポイントごとに、右肩の前記キーポイントを有する最短のリンクの長さの所定倍を最長のリンクの長さが超えるとき、右肩の前記キーポイントを有する前記最長のリンクを削除することと、
左肩の複数のキーポイントとリンクされた右肩の前記キーポイントの数に基づいて、前記対象画像内の人物の前記密集度を算出することと、を含む、付記１に記載の姿勢推定装置。
（付記３）
前記キーポイントの種類は、右肩と左肩とを含み、
前記対象画像内の人物の前記解像度の前記算出は、
左肩の前記キーポイントごとに、左肩の前記キーポイントを、それに最も近い右肩の前記キーポイントにリンクすることと、
左肩の複数のキーポイントにリンクされた右肩の前記キーポイントごとに、右肩の前記キーポイントを有する最短のリンクの長さの所定倍を最長のリンクの長さが超えるとき、右肩の前記キーポイントを有する前記最長のリンクを削除することと、
前記削除後に残っている前記リンクの数と、前記対象画像の寸法のうちの１つに基づいて定義された閾値未満の長さである前記リンクの数と、に基づいて、前記対象画像内の人物の前記解像度を算出することと、を含む、付記１又は２に記載の姿勢推定装置。
（付記４）
前記事前定義されたアルゴリズムは、ミッドポイントアルゴリズム、方向マップアルゴリズム、位置マップアルゴリズム、又はそれらのうちの２つ若しくは３つを含む、付記１から３のいずれか一項に記載の姿勢推定装置。
（付記５）
キーポイント関連付けのための選択アルゴリズムは、
前記選択ファクタが、前記選択ファクタの閾値未満であるか否かを判定することと、
前記選択ファクタが、前記選択ファクタの前記閾値未満であるとき、キーポイント関連付けのための第１のアルゴリズムを選択することと、
前記選択ファクタが、前記選択ファクタの前記閾値以上であるとき、キーポイント関連付けのための第２のアルゴリズムを選択することと、を含む、付記１から４のいずれか一項に記載の姿勢推定装置。
（付記６）
キーポイント関連付けのための選択アルゴリズムは、
前記対象画像内の人物の前記解像度が、前記解像度の閾値未満であるか否かを判定することと、
前記対象画像内の人物の前記解像度が、前記解像度の前記閾値未満であるとき、ミッドポイントアルゴリズムを選択することと、
前記対象画像内の人物の前記解像度が、前記解像度の前記閾値以上であるとき、方向マップアルゴリズム又は位置マップアルゴリズムを選択することと、を含む、付記５に記載の姿勢推定装置。
（付記７）
キーポイント関連付けのための選択アルゴリズムは、
前記対象画像内の人物の前記密集度が、前記密集度の閾値未満であるか否かを判定することと、
前記対象画像内の人物の前記密集度が、前記密集度の前記閾値未満であるとき、ミッドポイントアルゴリズム又は方向マップアルゴリズムを選択することと、
前記対象画像内の人物の前記密集度が、前記密集度の前記閾値以上であるとき、位置マップアルゴリズムを選択することと、を含む、付記５又は６に記載の姿勢推定装置。
（付記８）
１つ以上のコンピュータによって実行される姿勢推定方法であって、
一人以上の人物が撮像された対象画像を取得するステップと、
前記対象画像からキーポイントを検出するステップと、
前記キーポイントに基づいて１つ以上の選択ファクタを算出するステップであって、前記１つ以上の選択ファクタは、前記対象画像内の人物の密集度、解像度、又はその両方を含む、ステップと、
前記１つ以上の選択ファクタに基づいて、キーポイント関連付けのための事前定義されたアルゴリズムから、キーポイント関連付けのためのアルゴリズムを選択するステップと、
前記キーポイントを、各々が互いに同一人物の前記キーポイントを含む１つ以上のキーポイントグループに分割するために、前記選択されたアルゴリズムを使用して前記キーポイントに対してキーポイント関連付けを実行するステップと、
前記キーポイントグループごとに、前記キーポイントグループに含まれる前記キーポイントに基づいて、前記キーポイントグループに対応する前記人物の姿勢を推定するステップと、を含む、姿勢推定方法。
（付記９）
前記キーポイントの種類は、右肩と左肩とを含み、
前記対象画像内の人物の前記密集度の前記算出は、
左肩の前記キーポイントごとに、左肩の前記キーポイントを、それに最も近い右肩の前記キーポイントにリンクするステップと、
左肩の複数のキーポイントにリンクされた右肩の前記キーポイントごとに、右肩の前記キーポイントを有する最短のリンクの長さの所定倍を最長のリンクの長さが超えるとき、右肩の前記キーポイントを有する前記最長のリンクを削除するステップと、
左肩の複数のキーポイントとリンクされた右肩の前記キーポイントの数に基づいて、前記対象画像内の人物の前記密集度を算出するステップと、を含む、付記８に記載の姿勢推定方法。
（付記１０）
前記キーポイントの種類は、右肩と左肩とを含み、
前記対象画像内の人物の前記解像度の前記算出は、
左肩の前記キーポイントごとに、左肩の前記キーポイントを、それに最も近い右肩の前記キーポイントにリンクするステップと、
左肩の複数のキーポイントにリンクされた右肩の前記キーポイントごとに、右肩の前記キーポイントを有する最短のリンクの長さの所定倍を最長のリンクの長さが超えるとき、右肩の前記キーポイントを有する前記最長のリンクを削除するステップと、
前記削除後に残っている前記リンクの数と、前記対象画像の寸法のうちの１つに基づいて定義された閾値未満の長さである前記リンクの数と、に基づいて、前記対象画像内の人物の前記解像度を算出するステップと、を含む、付記８又は９に記載の姿勢推定方法。
（付記１１）
前記事前定義されたアルゴリズムは、ミッドポイントアルゴリズム、方向マップアルゴリズム、位置マップアルゴリズム、又はそれらのうちの２つ若しくは３つを含む、付記８から１０のいずれか一項に記載の姿勢推定方法。
（付記１２）
キーポイント関連付けのための選択アルゴリズムは、
前記選択ファクタが、前記選択ファクタの閾値未満であるか否かを判定するステップと、
前記選択ファクタが、前記選択ファクタの前記閾値未満であるとき、キーポイント関連付けのための第１のアルゴリズムを選択するステップと、
前記選択ファクタが、前記選択ファクタの前記閾値以上であるとき、キーポイント関連付けのための第２のアルゴリズムを選択するステップと、を含む、付記８から１１のいずれか一項に記載の姿勢推定方法。
（付記１３）
キーポイント関連付けのための選択アルゴリズムは、
前記対象画像内の人物の前記解像度が、前記解像度の閾値未満であるか否かを判定するステップと、
前記対象画像内の人物の前記解像度が、前記解像度の前記閾値未満であるとき、ミッドポイントアルゴリズムを選択するステップと、
前記対象画像内の人物の前記解像度が、前記解像度の前記閾値以上であるとき、方向マップアルゴリズム又は位置マップアルゴリズムを選択するステップと、を含む、付記１２に記載の姿勢推定方法。
（付記１４）
キーポイント関連付けのための選択アルゴリズムは、
前記対象画像内の人物の前記密集度が、前記密集度の閾値未満であるか否かを判定するステップと、
前記対象画像内の人物の前記密集度が、前記密集度の前記閾値未満であるとき、ミッドポイントアルゴリズム又は方向マップアルゴリズムを選択するステップと、
前記対象画像内の人物の前記密集度が、前記密集度の前記閾値以上であるとき、位置マップアルゴリズムを選択するステップと、を含む、付記１２又は１３に記載の姿勢推定方法。
（付記１５）
プログラムを記憶する非一時的コンピュータ可読記憶媒体であって、前記プログラムが、１つ以上のコンピュータに、
一人以上の人物が撮像された対象画像を取得するステップと、
前記対象画像からキーポイントを検出するステップと、
前記キーポイントに基づいて１つ以上の選択ファクタを算出するステップであって、前記１つ以上の選択ファクタは、前記対象画像内の人物の密集度、解像度、又はその両方を含む、ステップと、
前記１つ以上の選択ファクタに基づいて、キーポイント関連付けのための事前定義されたアルゴリズムから、キーポイント関連付けのためのアルゴリズムを選択するステップと、
前記キーポイントを、各々が互いに同一人物の前記キーポイントを含む１つ以上のキーポイントグループに分割するために、前記選択されたアルゴリズムを使用して前記キーポイントに対してキーポイント関連付けを実行するステップと、
前記キーポイントグループごとに、前記キーポイントグループに含まれる前記キーポイントに基づいて、前記キーポイントグループに対応する前記人物の姿勢を推定するステップと、を実行させる、非一時的コンピュータ可読記憶媒体。
（付記１６）
前記キーポイントの種類は、右肩と左肩とを含み、
前記対象画像内の人物の前記密集度の前記算出は、
左肩の前記キーポイントごとに、左肩の前記キーポイントを、それに最も近い右肩の前記キーポイントにリンクすることと、
左肩の複数のキーポイントにリンクされた右肩の前記キーポイントごとに、右肩の前記キーポイントを有する最短のリンクの長さの所定倍を最長のリンクの長さが超えるとき、右肩の前記キーポイントを有する前記最長のリンクを削除することと、
左肩の複数のキーポイントとリンクされた右肩の前記キーポイントの数に基づいて、前記対象画像内の人物の前記密集度を算出することと、を含む、付記１５に記載の記憶媒体。
（付記１７）
前記キーポイントの種類は、右肩と左肩とを含み、
前記対象画像内の人物の前記解像度の前記算出は、
左肩の前記キーポイントごとに、左肩の前記キーポイントを、それに最も近い右肩の前記キーポイントにリンクすることと、
左肩の複数のキーポイントにリンクされた右肩の前記キーポイントごとに、右肩の前記キーポイントを有する最短のリンクの長さの所定倍を最長のリンクの長さが超えるとき、右肩の前記キーポイントを有する前記最長のリンクを削除することと、
前記削除後に残っている前記リンクの数と、前記対象画像の寸法のうちの１つに基づいて定義された閾値未満の長さである前記リンクの数と、に基づいて、前記対象画像内の人物の前記解像度を算出することと、を含む、付記１５又は１６に記載の記憶媒体。
（付記１８）
前記事前定義されたアルゴリズムは、ミッドポイントアルゴリズム、方向マップアルゴリズム、位置マップアルゴリズム、又はそれらのうちの２つ若しくは３つを含む、付記１５から１７のいずれか一項に記載の記憶媒体。
（付記１９）
キーポイント関連付けのための選択アルゴリズムは、
前記選択ファクタが、前記選択ファクタの閾値未満であるか否かを判定するステップと、
前記選択ファクタが、前記選択ファクタの前記閾値未満であるとき、キーポイント関連付けのための第１のアルゴリズムを選択するステップと、
前記選択ファクタが、前記選択ファクタの前記閾値以上であるとき、キーポイント関連付けのための第２のアルゴリズムを選択するステップと、を含む、付記１５から１８のいずれか一項に記載の記憶媒体。
（付記２０）
キーポイント関連付けのための選択アルゴリズムは、
前記対象画像内の人物の前記解像度が、前記解像度の閾値未満であるか否かを判定するステップと、
前記対象画像内の人物の前記解像度が、前記解像度の前記閾値未満であるとき、ミッドポイントアルゴリズムを選択するステップと、
前記対象画像内の人物の前記解像度が、前記解像度の前記閾値以上であるとき、方向マップアルゴリズム又は位置マップアルゴリズムを選択するステップと、を含む、付記１９に記載の記憶媒体。
（付記２１）
キーポイント関連付けのための選択アルゴリズムは、
前記対象画像内の人物の前記密集度が、前記密集度の閾値未満であるか否かを判定するステップと、
前記対象画像内の人物の前記密集度が、前記密集度の前記閾値未満であるとき、ミッドポイントアルゴリズム又は方向マップアルゴリズムを選択するステップと、
前記対象画像内の人物の前記密集度が、前記密集度の前記閾値以上であるとき、位置マップアルゴリズムを選択するステップと、を含む、付記１９又は２０に記載の記憶媒体。

１０ 対象画像
２２ 右肩のキーポイント
２４ 左肩のキーポイント
１０００ コンピュータ
１０２０ バス
１０４０ プロセッサ
１０６０ メモリ
１０８０ 記憶装置
１１００ 入出力インターフェース
１１２０ ネットワークインターフェース
２０００ 姿勢推定装置
２０２０ 取得部
２０４０ キーポイント検出部
２０６０ アルゴリズム選択部
２０８０ キーポイント関連付け部
２１００ 推定部

Claims (9)

1. 一人以上の人物が撮像された対象画像を取得する取得手段と、
   前記対象画像からキーポイントを検出するキーポイント検出手段と、
   前記キーポイントに基づいて１つ以上の選択ファクタを算出し、前記１つ以上の選択ファクタに基づいて、キーポイント関連付けのための事前定義されたアルゴリズムから、前記キーポイントに対して適用するアルゴリズムを選択するアルゴリズム選択手段と、
   前記キーポイントを、各々が互いに同一人物の前記キーポイントを含む１つ以上のキーポイントグループに分割するために、前記選択されたアルゴリズムを使用して前記キーポイントに対してキーポイント関連付けを実行するキーポイント関連付け手段と、
   前記キーポイントグループごとに、前記キーポイントグループに含まれる前記キーポイントに基づいて、前記キーポイントグループに対応する前記人物の姿勢を推定する推定手段と、を有し、
   前記１つ以上の選択ファクタは、前記対象画像内の人物の密集度、解像度、又はその両方を含む、姿勢推定装置。
2. 前記キーポイントの種類は、右肩と左肩とを含み、
   前記アルゴリズム選択手段は、前記選択ファクタとして、前記対象画像内の人物の密集度を算出し、
   前記密集度の前記算出は、
   各前記左肩の前記キーポイントを、最も近い右肩の前記キーポイントとリンクすることと、
   複数の前記左肩の前記キーポイントにリンクされた右肩の前記キーポイントごとに、前記右肩の前記キーポイントを有する最長のリンクの長さが、前記右肩の前記キーポイントを有する最短のリンクの長さの所定倍を超えるとき、前記最長のリンクを削除することと、
   複数の前記左肩の前記キーポイントとリンクされた前記右肩の前記キーポイントの数に基づいて、前記対象画像内の人物の前記密集度を算出することと、を含む、請求項１に記載の姿勢推定装置。
3. 前記キーポイントの種類は、右肩と左肩とを含み、
   前記アルゴリズム選択手段は、前記選択ファクタとして、前記対象画像内の人物の解像度を算出し、
   前記解像度の前記算出は、
   各前記左肩の前記キーポイントを、最も近い右肩の前記キーポイントとリンクすることと、
   複数の前記左肩の前記キーポイントにリンクされた右肩の前記キーポイントごとに、前記右肩の前記キーポイントを有する最長のリンクの長さが、前記右肩の前記キーポイントを有する最短のリンクの長さの所定倍を超えるとき、前記最長のリンクを削除することと、
   前記削除後に残っている前記リンクの数と、前記対象画像の寸法のうちの１つに基づいて定義された閾値未満の長さである前記リンクの数と、に基づいて、前記対象画像内の人物の前記解像度を算出することと、を含む、請求項１又は２に記載の姿勢推定装置。
4. 前記事前定義されたアルゴリズムは、ミッドポイントアルゴリズム、方向マップアルゴリズム、位置マップアルゴリズム、又はそれらのうちの２つ若しくは３つを含む、請求項１から３のいずれか一項に記載の姿勢推定装置。
5. 前記アルゴリズムの選択は、
   前記選択ファクタが、前記選択ファクタの閾値未満であるか否かを判定することと、
   前記選択ファクタが、前記選択ファクタの前記閾値未満であるとき、第１の前記アルゴリズムを選択することと、
   前記選択ファクタが、前記選択ファクタの前記閾値以上であるとき、第２の前記アルゴリズムを選択することと、を含む、請求項１から４のいずれか一項に記載の姿勢推定装置。
6. 前記アルゴリズムの選択は、
   前記対象画像内の人物の前記解像度が、前記解像度の閾値未満であるか否かを判定することと、
   前記対象画像内の人物の前記解像度が、前記解像度の前記閾値未満であるとき、ミッドポイントアルゴリズムを選択することと、
   前記対象画像内の人物の前記解像度が、前記解像度の前記閾値以上であるとき、方向マップアルゴリズム又は位置マップアルゴリズムを選択することと、を含む、請求項５に記載の姿勢推定装置。
7. 前記アルゴリズムの選択は、
   前記対象画像内の人物の前記密集度が、前記密集度の閾値未満であるか否かを判定することと、
   前記対象画像内の人物の前記密集度が、前記密集度の前記閾値未満であるとき、ミッドポイントアルゴリズム又は方向マップアルゴリズムを選択することと、
   前記対象画像内の人物の前記密集度が、前記密集度の前記閾値以上であるとき、位置マップアルゴリズムを選択することと、を含む、請求項５又は６に記載の姿勢推定装置。
8. １つ以上のコンピュータによって実行される姿勢推定方法であって、
   一人以上の人物が撮像された対象画像を取得するステップと、
   前記対象画像からキーポイントを検出するステップと、
   前記キーポイントに基づいて１つ以上の選択ファクタを算出するステップと、
   前記１つ以上の選択ファクタに基づいて、キーポイント関連付けのための事前定義されたアルゴリズムから、前記キーポイントに対して適用するアルゴリズムを選択するステップと、
   前記キーポイントを、各々が互いに同一人物の前記キーポイントを含む１つ以上のキーポイントグループに分割するために、前記選択されたアルゴリズムを使用して前記キーポイントに対してキーポイント関連付けを実行するステップと、
   前記キーポイントグループごとに、前記キーポイントグループに含まれる前記キーポイントに基づいて、前記キーポイントグループに対応する前記人物の姿勢を推定するステップと、を含み、
   前記１つ以上の選択ファクタは、前記対象画像内の人物の密集度、解像度、又はその両方を含む、姿勢推定方法。
9. 一人以上の人物が撮像された対象画像を取得するステップと、
   前記対象画像からキーポイントを検出するステップと、
   前記キーポイントに基づいて１つ以上の選択ファクタを算出するステップと、
   前記１つ以上の選択ファクタに基づいて、キーポイント関連付けのための事前定義されたアルゴリズムから、前記キーポイントに対して適用するアルゴリズムを選択するステップと、
   前記キーポイントを、各々が互いに同一人物の前記キーポイントを含む１つ以上のキーポイントグループに分割するために、前記選択されたアルゴリズムを使用して前記キーポイントに対してキーポイント関連付けを実行するステップと、
   前記キーポイントグループごとに、前記キーポイントグループに含まれる前記キーポイントに基づいて、前記キーポイントグループに対応する前記人物の姿勢を推定するステップと、を１つ以上のコンピュータに実行させ、
   前記１つ以上の選択ファクタは、前記対象画像内の人物の密集度、解像度、又はその両方を含む、プログラム。

Images