JP7272470B2 - 運動認識方法、運動認識プログラムおよび情報処理装置 - Google Patents

Description

本発明は、運動認識方法、運動認識プログラムおよび情報処理装置に関する。

体操や医療などの幅広い分野において、選手や患者などの人物の骨格情報を用いて、人物の動作を自動で認識することが行われている。例えば、体操競技における現状の採点方法は複数の審判による目視で行っているが、器具の進化やトレーニング方法の改善により、動きの複雑化をともなう技の高度化が進み、審判による技の認識が困難となる場合が現れている。この結果、審判ごとに選手の採点結果が異なるなど採点の公平性や正確性の維持に懸念が生じている。

このため、近年では、選手の３次元骨格座標（以降では、「骨格情報」と記載する場合がある）を用いた自動採点技術が利用されている。例えば、３Ｄ（Three－Dimensional）レーザセンサにより選手の３次元点群データを取得し、３次元点群データを用いて選手の骨格情報を算出する。そして、骨格情報の時系列情報から実施された「技」を自動的に認識し、審判に自動採点結果を提供することで、採点の公平性や正確性の担保を行う。

このような技の自動認識を体操競技のあん馬を例にして説明すると、予め、あん馬の器具の１つであるポメルが設置される周辺を領域ごとに分類する。例えば、ポメル１の左側を領域１、ポメル１の上を領域２、ポメル１とポメル２の間を領域３、ポメル２の上を領域４、ポメル２の右側を領域５に分類する。

そして、骨格情報から演技者の骨格を認識し、骨格認識結果から得られる左右の手首の位置がどの領域に位置するかにより、手首の支持位置を推定する。そして、時系列の骨格情報から生成される時系列の骨格認識結果と、推定された手首の支持位置とを用いて、技のルールにしたがって、技の認識や技の精度などを評価し、自動採点を実行する。

国際公開第２０１８／０７０４１４号

しかしながら、上記技術では、３Ｄレーザセンサのセンシングにノイズが含まれる場合や複数のセンシング結果を統合する際のずれなどにより、センシング結果を用いた骨格認識処理の精度が低下し、各関節の位置の推定精度を保証することが難しい。

一方で、運動を認識するうえで、現実世界に存在する物体と被写体の部位の位置関係を正確に認識することが要求されることがある。例えば、あん馬の領域Ａに演技者の手首が存在するのか、あん馬の領域Ｂに演技者の手首が存在するのかで、最終的な運動認識結果が変わる場合などがある。つまり、動き自体は同じでも、手が領域Ａを支持していると技Ｔと認識され、手が領域Ｂを支持していると技Ｓと認識される場合などがある。

上記技術では、骨格認識結果から得られる部位の位置をそのまま使って、物体上のどの領域に位置するかを分類していた。しかし、骨格認識結果に誤差がある場合、割り当てた領域が正しくない場合がある。例えば、あん馬において、骨格認識結果が示す手首では領域１に割り当てられたが、本来は領域２に手をついていたなどがある。このような事態が発生すると、結果として、技Ｓを技Ｔと認識するなど、運動の認識結果が誤ってしまうことがある。

そこで、本発明は、一つの側面において、被写体の特定の部位と、現実世界に存在する物体における複数領域との位置関係に対する推定精度を向上させることで、当該位置関係を用いた運動の認識精度を向上させる運動認識方法、運動認識プログラムおよび情報処理装置を提供することを目的とする。

第１の案では、運動認識方法は、コンピュータが、運動を行う被写体の特定の関節を含む複数の関節それぞれの位置情報に基づく骨格情報を、時系列で取得する処理を実行する。運動認識方法は、コンピュータが、前記時系列の骨格情報それぞれに含まれる前記複数の関節のうち第１の関節群の位置情報を用いて、前記運動で使用される物体の領域を分割した複数の領域のうち、前記特定の関節が位置する領域を推定する処理を実行する。運動認識方法は、コンピュータが、前記時系列の骨格情報それぞれに含まれる前記複数の関節のうち、前記特定の関節を含み、前記第１の関節群の一部にあたる第２の関節群の位置情報を用いて、前記特定の関節が位置する領域を推定する処理を実行する。運動認識方法は、コンピュータが、推定された前記特定の関節が位置する各推定結果に基づき、前記特定の関節が位置する領域を決定する処理を実行する。運動認識方法は、コンピュータが、前記時系列の骨格情報と、決定された前記特定の関節が位置する領域とを用いて、前記被写体の運動を認識し、認識結果を出力する処理を実行する。

一つの側面では、被写体の特定の部位と、現実世界に存在する物体における複数領域との位置関係を用いた運動の認識精度を向上させることができる。

図１は、実施例１にかかるシステムの全体構成例を示す図である。 図２は、実施例１にかかる学習装置の機能構成を示す機能ブロック図である。 図３は、距離画像を説明する図である。 図４は、骨格定義を説明する図である。 図５は、骨格データを説明する図である。 図６は、あん馬に関連する骨格情報を説明する図である。 図７は、クラス分類を説明する図である。 図８は、横向き旋回時の支持位置による関節動作の差を説明する図である。 図９は、ロシアンを演技時の支持位置による関節動作の差を説明する図である。 図１０は、支持位置による足首のｚ値の変化を説明する図である。 図１１は、全身版モデル用の学習データの生成を説明する図である。 図１２は、学習データの整形を説明する図である。 図１３は、全身版モデルの学習を説明する図である。 図１４は、部分版モデル用の学習データの生成を説明する図である。 図１５は、部分版モデルの学習を説明する図である。 図１６は、実施例１にかかる認識装置の機能構成を示す機能ブロック図である。 図１７は、選択情報の例を示す図である。 図１８は、全身版モデルにより支持位置の推定を説明する図である。 図１９は、全身版モデルによる支持位置の推定結果の一覧を示す図である。 図２０は、全身版モデルを用いた認識結果の一覧を示す図である。 図２１は、部分版モデルにより支持位置の推定を説明する図である。 図２２は、部分版モデルによる支持位置の推定結果の一覧を示す図である。 図２３は、部分版モデルを用いた認識結果の一覧を示す図である。 図２４は、推定結果の選択を説明する図である。 図２５は、全身版モデルによる支持位置の推定結果のうち、統合される対象の推定結果を説明する図である。 図２６は、部分版モデルによる支持位置の推定結果のうち、統合対象となる推定結果を説明する図である。 図２７は、支持位置の統合を説明する図である。 図２８は、統合後の技の再認識結果を説明する図である。 図２９は、実施例１にかかる採点装置の機能構成を示す機能ブロック図である。 図３０は、実施例１にかかる学習処理の流れを示すフローチャートである。 図３１は、実施例１にかかる自動採点処理の流れを示すフローチャートである。 図３２は、クラス分類処理の流れを示すフローチャートである。 図３３は、統合処理の流れを示すフローチャートである。 図３４は、実施例２にかかる統合処理を説明する図である。 図３５は、ハードウェア構成例を説明する図である。

以下に、本発明にかかる運動認識方法、運動認識プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

［全体構成］
図１は、実施例１にかかるシステムの全体構成例を示す図である。図１に示すように、このシステムは、３Ｄ（Three－Dimensional）レーザセンサ５、学習装置１０、認識装置５０、採点装置９０を有し、被写体である演技者１の３次元データを撮像し、骨格等を認識して正確な技の採点を行うシステムである。なお、本実施例では、一例として、体操競技であるあん馬を例にして、あん馬の演技を行う演技者の骨格情報を認識する例で説明する。

一般的に、体操競技における現在の採点方法は、複数の採点者によって目視で行われているが、技の高度化に伴い、採点者の目視では採点が困難な場合が増加している。近年では、３Ｄレーザセンサ５を使った、採点競技の自動採点システムや採点支援システムが知られている。例えば、これらのシステムにおいては、３Ｄレーザセンサ５により選手の３次元データである距離画像を取得し、距離画像から選手の各関節の向きや各関節の角度などである骨格を認識する。そして、採点支援システムにおいては、骨格認識の結果を３Ｄモデルにより表示することで、採点者が演技者の細部の状況を確認するなどにより、より正しい採点を実施することを支援する。また、自動採点システムにおいては、骨格認識の結果から、演技した技などを認識し、採点ルールに照らして採点を行う。

ここで、３Ｄレーザセンサ５のセンシングにノイズが含まれる場合などにより、センシング結果を用いた骨格認識処理の精度が低下し、関節位置の推定精度を保証することが難しいことがある。しかし、自動採点システムにおいて、関節位置の推定精度が低下することは、システムの信頼性の低下に繋がるので、ノイズの影響を小さくし、推定精度の低下を抑制させる取り組みが重要である。

そこで、演技者１の関節位置の推定に、ＡＩ（Artificial Intelligence）技術を導入することにより、ノイズの影響を小さくし、演技者１の関節位置と、現実世界に存在するあん馬上の各領域との位置関係に対する推定精度を向上させる。

例えば、演技者の骨格情報の時系列の変化を特徴として学習することで、演技者１の身体全体の関節位置から特定関節の位置を推定する分類モデルを用いることで、演技者１の特定関節の位置推定の推定精度や技の認識精度を向上することができる。

ところが、このような全身の関節位置から特定の関節位置を推定する分類モデルを用いた場合、学習に用いた動作や姿勢の骨格情報であれば、推定精度を高くすることができるが、未知の姿勢や動作については推定精度が低くなる可能性がある。

そこで、実施例１では、全身の関節位置を用いて学習された全身版モデルと、部分的な関節位置を用いて学習された部分版モデルとの両方を用いて、演技者１の特定の関節位置を推定することで、種々の動作についての推定精度を向上させる。

なお、全身版モデルは、全身の関節のうち、概ね全身に相当する第一の関節群に関するモデルである。以下の実施例においては、第一の関節群は、全身の骨格を構成する関節として定義された１８個の関節を含む。

また、部分版モデルは、複数の関節のうち、少なくとも特定の関節を含む一部の関節群に関するモデルである。また、部分版モデルは、さらに、第一の関節群の一部に当たる第二の関節群に関するモデルである。以下の実施例においては、第二の関節群は、少なくとも両手首の関節を含む、６個の関節を含む。

認識装置５０は、このような２つのモデルを用いることで、３Ｄレーザセンサのセンシングにノイズ混入が疑われる場合や、学習に用いられなかった動作や技などが演技された場合であっても、関節位置を正確に推定し、演技者１の演技における技の認識精度の向上させることができる。この結果、自動採点システムの信頼性の低下を抑制することができる。

［機能構成］
次に、図１に示したシステムが有する各装置の機能構成につて説明する。なお、ここでは、学習装置１０、認識装置５０、採点装置９０のそれぞれについて説明する。

（学習装置１０の構成）
図２は、実施例１にかかる学習装置１０の機能構成を示す機能ブロック図である。図２に示すように、学習装置１０は、通信部１１、記憶部１２、制御部２０を有する。

通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部１１は、３Ｄレーザセンサ５により撮影された演技者１の距離画像を受信し、管理者端末などから各種データや指示を受信し、認識装置５０に学習済みの各モデルを送信する。

記憶部１２は、データや制御部２０が実行するプログラムなどを記憶する。この記憶部１２は、距離画像１３、骨格定義１４、骨格データ１５、全身版モデル１６、部分版モデル１７を記憶する。なお、記憶部１２は、例えばメモリやハードディスクなどにより実現される。

距離画像１３は、３Ｄレーザセンサ５により撮像される演技者１の距離画像である。図３は、距離画像１３を説明する図である。図３に示すように、距離画像１３は、３Ｄレーザセンサ５から画素までの距離が含まれるデータであり、３Ｄレーザセンサ５からの距離が近いほど、濃い色で表示される。なお、距離画像１３は、演技者１の演技中に随時撮像される。

骨格定義１４は、骨格モデル上の各関節を特定するための定義情報である。ここで記憶される定義情報は、３Ｄレーザセンサによる３Ｄセンシングによって演技者ごとに測定してもよく、一般的な体系の骨格モデルを用いて定義してもよい。

図４は、骨格定義１４を説明する図である。図４に示すように、骨格定義１４は、公知の骨格モデルで特定される各関節をナンバリングした、１８個（０番から１７番）の定義情報を記憶する。例えば、図４に示すように、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。ここで、実施例では、７番の右肩関節のＸ座標をＸ７、Ｙ座標をＹ７、Ｚ座標をＺ７と記載する場合がある。なお、例えば、Ｚ軸は、３Ｄレーザセンサ５から対象に向けた距離方向、Ｙ軸は、Ｚ軸に垂直な高さ方向、Ｘ軸は、水平方向をと定義することができる。

骨格データ１５は、各距離画像を用いて生成される骨格に関する情報を含むデータである。具体的には、骨格データ１５は、距離画像を用いて取得された、骨格定義１４に定義される各関節の位置を含む。図５は、骨格データ１５を説明する図である。図５に示すように、骨格データ１５は、「フレーム、画像情報、骨格情報」が対応付けられる情報である。

ここで、「フレーム」は、３Ｄレーザセンサ５による撮像される各フレームを識別する識別子であり、「画像情報」は、関節などの位置が既知である距離画像のデータである。「骨格情報」は、骨格の３次元の位置情報であり、図４に示した１８個の各関節に対応する関節位置（３次元座標）である。図５の例では、距離画像である「画像データＡ１」には、ＨＥＡＤの座標「Ｘ３，Ｙ３，Ｚ３」などを含む１８個の関節の位置が既知であることを示す。なお、関節位置は、例えば、予め学習された学習モデルであって、距離画像から各関節位置を抽出する学習モデルなどを用いて抽出することもできる。

ここで、本実施例で対象とするあん馬の演技においては、１８個の関節を用いることもできるが、あん馬の演技に特に関連する関節のみを用いることもできる。図６は、あん馬に関連する骨格情報を説明する図である。図６に示すように、あん馬の演技に大きく関連する骨格情報（関節）としては、頭、右肩、左肩、背骨、右肘、左肘、右手首、左手首、腰、右膝、左膝、右足首、左足首が挙げられる。

頭は、頭を上げるまたは下げるという動きを示す。肩は、体幹と腕の位置関係を示す。背骨は、体の曲りを示し、体操における屈伸や伸身を示す。肘は、腕の曲りや力の入り方を示す。手首は、物をつかんだ位置など示す。腰は、体のほぼ重心を示す。膝は、体幹と脚の関係を示し、開脚と閉脚の違いが特定できる。足首は、歩行状態、走行状態やあん馬回転運動の軌跡を示す。

あん馬の競技は、手でポメルを掴んだ状態で行う演技や馬背に手をついた状態で行う演技が混在し、同じような動きをしたとしても、手の位置により技や難易度が変わる。一方、ポメルは馬背上に存在することから、一連の演技の中で、手の位置だけでポメルなのか馬背なのかを自動で判定することが難しい。そこで、実施例１では、図６に示す関節の動きから、特に足首の上がり幅などを考慮して、手の位置を推定することで、関節位置の推定精度を向上させる。

全身版モデル１６は、時系列の全身の骨格情報に基づき、演技者１の手首の位置を推定する学習モデルであり、後述する第１学習処理部２２によって学習されるニューラルネットワークなどを用いたモデルである。つまり、全身版モデル１６は、あん馬上の位置を複数のクラスに分類しておき、演技者１の全身の骨格情報の時系列の変化を特徴量として学習することで、演技者１の手首の支持位置を推定する。

また、部分版モデル１７は、時系列の一部分の骨格情報に基づき、演技者１の手首の位置を推定する学習モデルであり、後述する第２学習処理部２３によって学習されるニューラルネットワークなどを用いたモデルである。つまり、部分版モデル１７は、あん馬上の位置を複数のクラスに分類しておき、演技者１の一部分の骨格情報の時系列の変化を特徴量として学習することで、演技者１の手首の支持位置を推定する。

図７は、クラス分類を説明する図である。図７に示すように、実施例１では、一例としてクラス０からクラス５の６クラスに領域を分割する例を説明する。具体的には、クラス１（ａ１）は、馬端Ａとポメル１の間の馬背の領域であり、クラス２（ａ２）は、ポメル１上の領域である。クラス３（ａ３）は、ポメル１とポメル２の間の馬背の領域であり、クラス４（ａ４）は、ポメル２上の領域である。クラス５は、ポメル２と馬端Ｂの間の馬背の領域であり、クラス０（ａ０）は、クラス１からクラス５以外の領域である。

制御部２０は、学習装置１０全体を司る処理部であり、例えばプロセッサなどにより実現することができる。制御部２０は、取得部２１、第１学習処理部２２、第２学習処理部２３を有し、各モデルの学習を実行する。なお、取得部２１、第１学習処理部２２、第２学習処理部２３は、プロセッサなどの電子回路やプロセッサなどが有するプロセスにより実現することもできる。

取得部２１は、各種データを取得する処理部である。例えば、取得部２１は、３Ｄレーザセンサ５から距離画像を取得して記憶部１２に格納する。また、取得部２１は、管理者端末などから、骨格データを取得して記憶部１２に格納する。

第１学習処理部２２および第２学習処理部２３は、時系列の骨格情報を特徴量に用いて、全身版モデル１６または部分版モデル１７の学習を実行する。

ここで、時系列の骨格情報を特徴量として学習する理由として、支持位置による関節動作の差を説明する。図８は、横向き旋回時の支持位置による関節動作の差を説明する図であり、図９は、ロシアンを演技時の支持位置による関節動作の差を説明する図である。

図８に示すように、縦向き旋回は、正面支持、背面支持、正面支持の順で旋回する動きである。技番１３に示すように、手首の支持位置が馬背位置での縦向き旋回は、背面支持でポメルを避けるために足を高く上げ、その後の正面支持では背面支持で足を上げた反動で足が下がりやすい。一方、技番１４に示すように、手首の支持位置がポメルでの縦向き旋回は、背面支持でポメルの分だけ上体が高くなっているので足を高く上げる必要はなく、その後の正面支持でも背面支持とだいたい同じ高さで旋回できる。すなわち、手首の支持位置により、足首のｚ値の変化量が変わる。

また、図９に示すように、ロシアンは、下向き支持で旋回にあわせて向きが変わる動きである。技番１０４から１０６に示すように、手首の支持位置が馬背位置でのロシアンは、馬背に置いた手を軸にして旋回することから、足の位置が馬背よりも低い位置となる。技番１１０から１１２に示すように、手首の支持位置がポメルでのロシアンは、ポメルに置いた手を軸にして旋回することから、手首の支持位置が馬背位置でのロシアンよりも足の位置が高い位置となる。すなわち、手首の支持位置により、足首のｚ値の変化量が変わる。

次に、足首のｚ値の変化を具体的に説明する。図１０は、支持位置による足首のｚ値の変化を説明する図である。図１０には、ポメルの縦向き旋回（技番１４）、ポメルのロシアン（技番１１０）、馬背の縦向き旋回（技番１３）、馬背のロシアン（技番１０４）を順に演技したときの足首のｚ値を示している。図１０に示すように、ポメルを支持位置とする場合の足首のｚ値の変化（振り幅）は小さく、馬背を支持位置とする場合の足首のｚ値の変化は大きい。つまり、ｚ値の変化を学習することにより、支持位置の推定精度が向上すると考えることができる。

図２に戻り、第１学習処理部２２は、第１生成部２２ａと第１学習部２２ｂとを有し、機械学習により全身版モデル１６を生成する処理部である。

第１生成部２２ａは、全身版モデル１６の学習に利用する学習データを生成する処理部である。具体的には、第１生成部２２ａは、時系列の全身（１８関節）の骨格情報を説明変数、手首の支持位置（クラス）を目的変数とする学習データを生成して、記憶部１２に格納し、第１学習部２２ｂに出力する。

図１１は、全身版モデル１６用の学習データの生成を説明する図である。図１１に示すように、第１生成部２２ａは、骨格データ１５の骨格情報を参照し、各フレームの骨格情報に両手の支持位置情報として、右手の支持位置の座標を示す「ＷＲ」と左手の支持位置の座標を示す「ＷＬ」を付与する。

例えば、第１生成部２２ａは、ｔｉｍｅ＝０のフレームの骨格情報（Ｊ０）に対して、骨格情報から右手首（関節位置＝９番）の座標値（Ｒ０）と左手首（関節位置＝６番）の座標値（Ｌ０）を取得する。その後、第１生成部２２ａは、右手首の座標値（Ｒ０）と左手首の座標値（Ｌ０）と、予め設定しておいたあん馬の各クラスに属する座標値とを比較して、右手クラス（クラス２）と左手クラス（クラス４）を設定する。

同様に、第１生成部２２ａは、ｔｉｍｅ＝１のフレームの骨格情報（Ｊ１）に対して、骨格情報から右手首の座標値（Ｒ１）と左手首の座標値（Ｌ１）を取得する。その後、第１生成部２２ａは、右手首の座標値（Ｒ１）と左手首の座標値（Ｌ１）と、各クラスに属する座標値とを比較して、右手クラス（クラス２）と左手クラス（クラス４）を設定する。

このようにして、第１生成部２２ａは、時系列で取得された各フレームの骨格情報に正解情報である右手クラスと左手クラスを付与する。なお、図１１では、説明を簡略化するために、骨格情報をＪ０などと記載したが、実際は、１８関節それぞれにｘ、ｙ、ｚ値の座標（合計：１８×３＝５４個）が設定されている。

第１学習部２２ｂは、第１生成部２２ａにより生成された学習データを用いて、全身版モデル１６の学習を実行する処理部である。具体的には、第１学習部２２ｂは、学習データを用いた教師有学習によって全身版モデル１６のパラメータを最適化する。そして、第１学習部２２ｂは、学習済みの全身版モデル１６を記憶部１２に格納し、認識装置５０に送信する。なお、学習を終了するタイミングは、所定数以上の学習データを用いた学習が完了した時点や復元誤差が閾値未満となった時点など、任意に設定することができる。

このような第１学習部２２ｂは、時系列の１８関節の骨格情報として例えば３０フレームを１つの入力データとして全身版モデル１６に入力することから、パディングなどにより学習データの整形を実行する。図１２は、学習データの整形を説明する図である。図１２に示すように、ｔｉｍｅ＝０のフレーム０からｔｉｍｅ＝ｔのフレームｔまでのｔ個の骨格情報が存在するオリジナルデータから、１つずつずらして所定数ずつを学習データとして取得する場合、各学習データの数を合わせるために、先頭フレームのデータのデータをコピーするとともに、最終フレームのデータをコピーして学習データの数を増やす。

例えば、第１学習部２２ｂは、フレーム０のデータ「骨格情報（Ｊ０），支持位置情報「ＷＲ（Ｒ０），ＷＬ（Ｌ０）」をフレーム０より前にコピーして、フレーム（－１）やフレーム（－２）などを生成する。同様に、第１学習部２２ｂは、フレームｔのデータ「骨格情報（Ｊｔ），支持位置情報「ＷＲ（Ｒｔ），ＷＬ（Ｌｔ）」をフレームｔより後ろにコピーして、フレーム（ｔ＋１）やフレーム（ｔ＋２）などを生成する。なお、パディング数は、学習に利用するフレーム数（length）の半分などとする。

このようして、第１学習部２２ｂは、学習データの整形を実行した上で、全身版モデル１６の学習を実行する。図１３は、全身版モデル１６の学習を説明する図である。図１３に示すように、第１学習部２２ｂは、Ｌ個（例えば３０個）の時系列の全身（１８関節分）の骨格情報の学習データを説明変数として取得し、中間に位置する学習データの「右手クラス、左手クラス」を目的変数として取得する。そして、第１学習部２２ｂは、Ｌ個の学習データを全身版モデル１６に入力し、全身版モデル１６の出力結果と目的変数「右手クラス、左手クラス」との誤差に基づく誤差逆伝搬法などにより、出力結果と目的変数とが一致するように全身版モデル１６の学習を実行する。

例えば、第１学習部２２ｂは、フレームＮを中間とするフレーム（Ｎ－１５）からフレーム（Ｎ－１４）までの３０個のフレームの骨格情報を説明変数として取得するとともに、フレームＮの「右手クラス（クラス２）、左手クラス（クラス４）」を目的変数として取得する。そして、第１学習部２２ｂは、取得した３０個のフレームを１つの入力データとして全身版モデル１６に入力し、全身版モデル１６の出力結果として、右手クラスが各クラスに該当する確率（尤度）と左手クラスが各クラスに該当する確率（尤度）とを取得する。

その後、第１学習部２２ｂは、右手クラスの確率のうち目的変数であるクラス２の確率が最も高くなるとともに、左手クラスの確率のうち目的変数であるクラス４の確率が最も高くなるように、全身版モデル１６の学習を実行する。なお、全身版モデル１６の学習とは、例えば、誤差逆伝搬法などを用いてニューラルネットワークの各種パラメータを更新することなどである。

このように、第１学習部２２ｂは、学習データを１フレームずつずらした学習データを用いて学習することにより、１８関節分の全骨格情報の変化を１つの特徴量として学習させる。例えば、第１学習部２２ｂは、範囲を±１０フレームとし、１２８０フレーム目のクラス分類を認識する場合、１２７０から１２９０フレーム間の「２０×（１８関節×３軸（ｘ，ｙ，ｚ）＝５４）＝１０８０」の骨格情報を入力して、全身版モデル１６の学習を実行する。また、第１学習部２２ｂは、１３１０フレーム目のクラス分類を認識する場合、１３００から１３２０フレーム間の「２０×（１８関節×３軸（ｘ，ｙ，ｚ）＝５４）＝１０８０」の骨格情報を入力して、全身版モデル１６の学習を実行する。

図２に戻り、第２学習処理部２３は、第２生成部２３ａと第２学習部２３ｂとを有し、機械学習により部分版モデル１７を生成する処理部である。

第２生成部２３ａは、部分版モデル１７の学習に利用する学習データを生成する処理部である。具体的には、第２生成部２３ａは、時系列の一部分の関節の骨格情報を説明変数、手首の支持位置（クラス）を目的変数とする学習データを生成して、記憶部１２に格納し、第２学習部２３ｂに出力する。

図１４は、部分版モデル１７用の学習データの生成を説明する図である。図１４に示すように、部分版モデル１７の学習には、関節番号４（SHOULDER＿LEFT）、関節番号５（ELBOW＿LEFT）、関節番号６（WRIST＿LEFT）、関節番号７（SHOULDER＿RIGHR）、関節番号８（ELBOW＿RIGHR）、関節番号９（WRIST＿RIGHR）の６関節の骨格情報を採用する。具体的には、図１４に示すように、第２生成部２３ａは、骨格データ１５の骨格情報から上記６関節の骨格情報を取得し、各フレームの６関節分の骨格情報に。両手の支持位置情報として右手の支持位置の座標を示す「ＷＲ」と左手の支持位置の座標を示す「ＷＬ」を付与する。

例えば、第２生成部２３ａは、ｔｉｍｅ＝０のフレームの６関節分の骨格情報（Ｚ０）に対して、骨格情報から右手首（関節位置＝９番）の座標値（Ｒ０）と左手首（関節位置＝６番）の座標値（Ｌ０）を取得する。その後、第２生成部２３ａは、右手首の座標値（Ｒ０）と左手首の座標値（Ｌ０）と、予め設定しておいたあん馬の各クラスに属する座標値とを比較して、右手クラス（クラス２）と左手クラス（クラス４）を設定する。

このようにして、第２生成部２３ａは、時系列で取得された各フレームの上記６関節分の骨格情報に、正解情報である右手クラスと左手クラスを付与する。なお、図１４では、説明を簡略化するために、骨格情報をＺ０などと記載したが、実際は、６関節それぞれにｘ、ｙ、ｚ値の座標（合計：６×３＝１８個）が設定されている。

第２学習部２３ｂは、第２生成部２３ａにより生成された学習データを用いて、部分版モデル１７の学習を実行する処理部である。具体的には、第２学習部２３ｂは、学習データを用いた教師有学習によって部分版モデル１７のパラメータを最適化する。そして、第２学習部２３ｂは、学習済みの部分版モデル１７を記憶部１２に格納し、認識装置５０に送信する。なお、学習を終了するタイミングは、全身版モデル１６と同様のタイミングを設定することができる。

このような第２学習部２３ｂは、時系列の６関節の骨格情報として例えば３０フレームを１つの入力データとして部分版モデル１７に入力することから、第１学習部２２ｂと同様の手法により、オリジナルデータからパディングデータを生成して、学習データの数を増やす。

そして、第２学習部２３ｂは、学習データの整形を実行した上で、部分版モデル１７の学習を実行する。図１５は、部分版モデル１７の学習を説明する図である。図１５に示すように、第２学習部２３ｂは、全身版モデル１６の学習時と同様の数であるＬ個（例えば３０個）の時系列の６関節分の骨格情報の学習データを説明変数として取得し、中間に位置する学習データの「右手クラス、左手クラス」を目的変数として取得する。そして、第２学習部２３ｂは、Ｌ個の学習データを部分版モデル１７に入力し、部分版モデル１７の出力結果と目的変数「右手クラス、左手クラス」との誤差に基づく誤差逆伝搬法などにより、出力結果と目的変数とが一致するように部分版モデル１７の学習を実行する。

例えば、第２学習部２３ｂは、フレームＮを中間とするフレーム（Ｎ－１５）からフレーム（Ｎ－１４）までの３０個のフレームにおける６関節分の骨格情報を説明変数として取得するとともに、フレームＮの「右手クラス（クラス４）、左手クラス（クラス５）」を目的変数として取得する。そして、第２学習部２３ｂは、取得した３０個のフレーム（６関節の骨格情報）を１つの入力データとして部分版モデル１７に入力し、部分版モデル１７の出力結果として、右手クラスが各クラスに該当する確率（尤度）と左手クラスが各クラスに該当する確率（尤度）とを取得する。

その後、第２学習部２３ｂは、右手クラスの確率のうち目的変数であるクラス４の確率が最も高くなるとともに、左手クラスの確率のうち目的変数であるクラス５の確率が最も高くなるように、部分版モデル１７の学習を実行する。このように、第２学習部２３ｂは、全身版モデル１６と同様、学習データを１フレームずつずらした学習データを用いて学習することにより、６関節分に該当する一部の骨格情報の変化を１つの特徴量として学習させる。

（認識装置５０の構成）
図１６は、実施例１にかかる認識装置５０の機能構成を示す機能ブロック図である。図１６に示すように、認識装置５０は、通信部５１、記憶部５２、制御部６０を有する。

通信部５１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどにより実現される。例えば、通信部５１は、３Ｄレーザセンサ５により撮影された演技者１の距離画像を受信し、学習装置１０から各学習済みのモデルを受信し、各種認識結果を採点装置９０に送信する。

記憶部５２は、データや制御部６０が実行するプログラムなどを記憶する。この記憶部５２は、距離画像５３、骨格定義５４、骨格データ５５、選択情報５６、学習済みである全身版モデル５７、学習済みである部分版モデル５８を記憶する。なお、記憶部５２は、例えばメモリやハードディスクなどにより実現される。

距離画像５３は、３Ｄレーザセンサ５により撮像される演技者１の距離画像であり、例えば採点対象の演技者の演技を撮像した距離画像である。骨格定義５４は、骨格モデル上の各関節を特定するための定義情報である。なお、骨格定義５４は、図４と同様なので、詳細な説明は省略する。

骨格データ５５は、後述するデータ生成部６２によりフレームごとに生成される骨格に関する情報を含むデータである。具体的には、骨格データ５５は、図５と同様、「フレーム、画像情報、骨格情報」が対応付けられる情報である。

選択情報５６は、技の優先度などが定義される情報である。図１７は、選択情報の例を示す図である。図１７に示すように、選択情報５６は、「選択レベル」、「Difficulty」、「Element」が対応付けられた情報である。ここで、「選択レベル」は、優先度を示し、「Difficulty」は、技の難易度を示し、「Element」は、技を特定する情報である。図１７の例では、難易度が「D」である技「III－82」の選択レベルが「0」で、難易度が「E」である技「III－89」の選択レベルが「1」であり、技「III－82」よりも技「III－89」が優先的に選択されることを示す。

なお、選択情報５６は、例えば、未学習の技や選択時の優先度を記載したリストであってよく、未学習の骨格かを判断する閾値として、学習データとの関節座標の差分値を設定してもよい。なお、関節座標の差分は、例えば腰を基準とした各関節の相対位置の差分であってもよい。

全身版モデル５７は、学習装置１０による機械学習により生成された、全身の骨格情報を用いて予測を実行する学習モデルである。この全身版モデル５７は、時系列の全身（１８関節分）の骨格情報に基づき、演技者１の手首の位置を推定する学習モデルである。

部分版モデル５８は、学習装置１０による機械学習により生成された、一部の骨格情報を用いて予測を実行する学習モデルである。この部分版モデル５８は、時系列の６関節分の骨格情報に基づき、演技者１の手首の位置を推定する学習モデルである。

制御部６０は、認識装置５０全体を司る処理部であり、例えばプロセッサなどにより実現することができる。この制御部６０は、取得部６１、データ生成部６２、第１認識部６３、第２認識部６４、結果統合部６５を有し、手首の位置の推定や演技者１が演技した技の認識を実行する。なお、取得部６１、データ生成部６２、第１認識部６３、第２認識部６４、結果統合部６５は、プロセッサなどの電子回路やプロセッサなどが有するプロセスにより実現することもできる。

取得部６１は、各種データや各種指示を取得する処理部である。例えば、取得部６１は、３Ｄレーザセンサ５による計測結果（３次元点群データ）に基づく距離画像を取得して記憶部５２に格納する。また、取得部６１は、学習装置１０などから、各学習済みのモデルを取得して記憶部５２に格納する。

データ生成部６２は、各距離画像から、１８個の関節の位置を含む骨格情報を生成する処理部である。例えば、データ生成部６２は、距離画像から骨格情報を認識する学習済みのモデルを用いて、１８個の関節位置を特定した骨格情報を生成する。そして、データ生成部６２は、距離画像に対応するフレームの番号と、距離画像と、骨格情報とを対応付けた骨格データ５５を記憶部５２に格納する。また、学習装置１０における骨格データ１５における骨格情報も同様の手法により生成することができる。

第１認識部６３は、第１推定部６３ａと第１技認識部６３ｂを有し、全身の骨格情報から、特定の骨格情報である手首の支持位置を推定し、その結果に基づき演技者１が演技した技を認識する処理部である。

第１推定部６３ａは、演技者１の時系列の全身の骨格情報と、学習済みである全身版モデル５７とを用いて、演技者１の手首の支持位置を推定する処理部である。具体的には、第１推定部６３ａは、学習時と同じフレーム数を１つの入力データとして学習済みの全身版モデル５７に入力し、学習済みの全身版モデル５７の出力結果に基づいて、演技者１の手首の支持位置を推定する。また、第１推定部６３ａは、推定結果を第１技認識部６３ｂに出力したり、記憶部５２に格納したりする。

図１８は、全身版モデル５７により支持位置の推定を説明する図である。図１８に示すように、第１推定部６３ａは、データ生成部６２により生成された１８関節分の骨格情報をオリジナルデータとして、図１２と同様の手法によりデータパディングを行って、パディングデータを生成する。そして、第１推定部６３ａは、先頭から３０フレームを取得して、３０フレームそれぞれの１８関節分の関節情報を、学習済みである全身版モデル５７に入力する。

その後、第１推定部６３ａは、全身版モデル５７の出力結果から、右手クラスの確率のうち最も確率が高い「クラス２」と、左手クラスの確率のうち最も確率が高い「クラス３」とを取得する。そして、第１推定部６３ａは、「右手＝クラス２、左手＝クラス３」を演技者１の手首の支持位置と推定する。このように、第１推定部６３ａは、フレームを１つずつずらして入力することで、演技中の各状態の手首の支持位置を推定する。

そして、第１推定部６３ａは、推定結果を記憶部５２に格納する。例えば、第１推定部６３ａは、入力した３０フレームの先頭フレームまたは真ん中のフレームと、推定結果である左右の手首の支持位置とを対応付けた推定結果の一覧を記憶部５２に格納する。

図１９は、全身版モデル５７による支持位置の推定結果の一覧を示す図である。図１９に示すように、第１推定部６３ａは、「フレーム番号」、「右手位置」、「左手位置」を対応付けた支持位置の推定結果を生成する。ここで、「フレーム番号」は、推定に利用されたフレームを示し、「右手位置」は、推定された右手の手首が位置するクラスであり、「左手位置」は、推定された左手の手首が位置するクラスである。図１９の例では、フレーム番号「７６７」に対して、右手位置「ａ５」、左手位置「ａ１」が推定されたことを示す。

第１技認識部６３ｂは、第１推定部６３ａによる手首の推定位置などを用いて、演技者１が演技した技の仮認識を実行する処理部である。具体的には、第１技認識部６３ｂは、国際公開第２０１８／０７０４１４号に公開される手法を用いて、演技者１の体躯の位置や技と技の区切りの姿勢の検出、正面支持や着地位置の特定、分節点の判断、分節点間の情報を用いた基本運動の判定などを実行し、演技者１が演技した各技を自動で仮認識して、結果統合部６５に送信する。

例えば、第１技認識部６３ｂは、各フレームの骨格情報を用いて、各関節間の向きを示すベクトルデータを算出し、身体の向きや動きを特定する特徴量を算出する。そして、第１技認識部６３ｂは、算出した特徴量と予め定めておいた技認識のルールとを比較して技を認識する。例えば、第１技認識部６３ｂは、各分節間の骨格情報に基づき、特徴量Ａ、特徴量Ｂを算出し、特徴量Ａと特徴量Ｂの組み合わせにより技Ａと認識する。

また、第１技認識部６３ｂは、第１推定部６３ａによる手首の支持位置の推定結果を用いて、支持位置が変わった場所を分節点として特定し、技の区切りを特定する。なお、第１技認識部６３ｂは、第１推定部６３ａにより推定された時系列の手首の位置情報を入力として技名を出力する学習モデルなどを用いて、技認識を実行することもできる。なお、第１技認識部６３ｂは、認識された技と、当該技の認識に使用された情報に該当するフレームの情報とを対応付けた技認識結果を、記憶部５２に格納することもできる。

図２０は、全身版モデル５７を用いた認識結果の一覧を示す図である。図２０に示すように、第１技認識部６３ｂは、「先頭フレーム」、「最終フレーム」、「認識結果」を対応付けた認識結果の一覧を生成する。ここで、「先頭フレーム」は、技と認識されたフレーム間の先頭を示し、「最終フレーム」は、技と認識されたフレーム間の最後を示し、「認識結果」は、認識された技の情報を示す。図２０の例では、「フレーム６８７」から「フレーム７１４」までの動作が技「II－1」と認識されたことを示す。なお、図２０における「ローマ数字－数字」が技に該当し、それ以外は技と技の間のつなぎ動作などである。

第２認識部６４は、第２推定部６４ａと第２技認識部６４ｂを有し、６関節分の骨格情報から、特定の骨格情報である手首の支持位置を推定し、その結果に基づき演技者１が演技した技を認識する処理部である。

第２推定部６４ａは、演技者１の時系列の６関節分の骨格情報と、学習済みである部分版モデル５８とを用いて、演技者１の手首の支持位置を推定する処理部である。具体的には、第２推定部６４ａは、学習時と同じフレーム数を１つの入力データとして学習済みの部分版モデル５８に入力し、学習済みの部分版モデル５８の出力結果に基づいて、演技者１の手首の支持位置を推定する。また、第２推定部６４ａは、推定結果を第２技認識部６４ｂに出力したり、記憶部５２に格納したりする。

図２１は、部分版モデル５８により支持位置の推定を説明する図である。図２１に示すように、第２推定部６４ａは、データ生成部６２により生成された１８関節分の骨格情報のうち上述した６関節分の骨格情報をオリジナルデータとして取得し、図１２と同様の手法によりデータパディングを行って、パディングデータを生成する。そして、第２推定部６４ａは、先頭から３０フレームを取得して、３０フレームそれぞれの６関節分の関節情報を、学習済みである部分版モデル５８に入力する。

その後、第２推定部６４ａは、部分版モデル５８の出力結果から、右手クラスの確率のうち最も確率が高い「クラス２」と、左手クラスの確率のうち最も確率が高い「クラス４」とを取得する。そして、第２推定部６４ａは、「右手＝クラス２、左手＝クラス４」を演技者１の手首の支持位置と推定する。このように、第２推定部６４ａは、フレームを１つずつずらして入力することで、演技中の各状態の手首の支持位置を推定する。

そして、第２推定部６４ａは、推定結果を記憶部５２に格納する。例えば、第２推定部６４ａは、入力した３０フレームの先頭フレームまたは真ん中のフレームと、推定結果である左右の手首の支持位置とを対応付けた推定結果の一覧を記憶部５２に格納する。

図２２は、部分版モデル５８による支持位置の推定結果の一覧を示す図である。図２２に示すように、第２推定部６４ａは、図１９と同様、「フレーム番号」、「右手位置」、「左手位置」を対応付けた支持位置の推定結果を生成する。図２２の例では、フレーム番号「７６７」に対して、右手位置としてクラス「ａ４」、左手位置としてクラス「ａ５」が推定されたことを示す。

第２技認識部６４ｂは、第２推定部６４ａによる手首の推定位置などを用いて、演技者１が演技した技の仮認識を実行する処理部である。具体的には、第２技認識部６４ｂは、第１技認識部６３ｂと同様の手法を用いて、演技者１が演技した各技を自動で仮認識して、結果統合部６５に送信する。

また、第２技認識部６４ｂは、認識された技と、当該技の認識に使用された情報に該当するフレームの情報とを対応付けた技認識結果を、記憶部５２に格納することもできる。図２３は、部分版モデル５８を用いた認識結果の一覧を示す図である。図２３に示すように、第２技認識部６４ｂは、図２０と同様、「先頭フレーム」、「最終フレーム」、「認識結果」を対応付けた認識結果の一覧を生成する。図２３の例では、「フレーム７４４」から「フレーム７７９」までの動作が技「III－95」と認識されたことを示す。

結果統合部６５は、判定部６５ａ、統合部６５ｂ、再認識部６５ｃを有し、第１認識部６３や第２認識部６４による認識結果（仮技認識）の正当性を判定する処理部である。具体的には、結果統合部６５は、各モデルの仮技認識の結果から、各動作や骨格の学習状況に応じて適切なモデルの結果を選択する。

判定部６５ａは、全身版モデル５７の推定結果か部分版モデル５８の推定結果のうち、適切な推定結果を判定する処理部である。具体的には、判定部６５ａは、第１認識部６３により仮技認識された技の選択レベルと、第２認識部６４により仮技認識された技の選択レベルとを比較し、選択レベルが高い方のモデルの推定結果を、適切な推定結果と判定して、統合部６５ｂ等に出力する。

図２４は、推定結果の選択を説明する図である。図２４に示すように、判定部６５ａは、技と認識された部分版モデル５８の対象フレームに含まれる全身版モデル５７のフレームを抽出する。その際に、判定部６５ａは、前後ｎフレームを広げて抽出してもよい。なお、ｎは任意の数である。

例えば、判定部６５ａは、第２認識部６４による部分版モデル５８の技認識結果を参照し、技と認識された「先頭フレーム（７４４）、最終フレーム（７７９）、認識結果（III－95）」を特定する。続いて、判定部６５ａは、第１認識部６３による全身版モデル５７の技認識結果を参照し、部分版モデル５８で技と認識された「先頭フレーム（７４４）、最終フレーム（７７９）」に対応する認識結果として、「先頭フレーム（７４３）、最終フレーム（７６１）、認識結果（III－82）」と「先頭フレーム（７６１）、最終フレーム（７６８）、認識結果（運動Ｂ）」を特定する。

そして、判定部６５ａは、選択情報５６を参照し、部分版モデル５８により認識された技（III－95）に対応する選択レベル「２」と、全身版モデル５７により認識された技（III－82）に対応する選択レベル「０」とを特定する。ここで、判定部６５ａは、選択レベルが高い部分版モデル５８の認識結果を優先使用すると判定し、その結果を統合部６５ｂに出力する。なお、判定部６５ａは、全身版モデル５７の認識結果の選択レベルが高い場合は、第２認識部６４の技認識結果を採用し、採点装置９０に送信する。

統合部６５ｂは、全身版モデル５７による支持位置の推定結果と、部分版モデル５８による支持位置の推定結果とを統合する処理部である。具体的には、統合部６５ｂは、判定部６５ａにより、部分版モデル５８を用いる第２認識部６４の技認識結果を優先使用すると判定された場合に、支持位置の統合を実行する。すなわち、統合部６５ｂは、全身版モデル５７を用いた支持位置の推定結果のうち、優先使用される技の認識に使用されたフレーム間の支持位置の推定結果を、部分版モデル５８の推定結果に置き換える。

まず、統合部６５ｂは、全身版モデル５７の推定結果から置き換え対象（統合先）となる該当部分を特定する。図２５は、全身版モデル５７による支持位置の推定結果のうち、統合される対象の推定結果を説明する図である。図２５に示すように、統合部６５ｂは、全身版モデル５７を用いて推定された支持位置の推定結果のうち、図２４で優先使用と特定された技の認識結果「III－95」に対応するフレーム７４４からフレーム７７９を特定する。

次に、統合部６５ｂは、部分版モデル５８の推定結果のうち、全身版モデル５７の推定結果を更新する該当部分（置き換え対象）を特定する。図２６は、部分版モデル５８による支持位置の推定結果のうち、統合対象となる推定結果を説明する図である。図２６に示すように、統合部６５ｂは、第２推定部６４ａにより部分版モデル５８を用いて推定された支持位置の推定結果のうち、図２４で優先使用と特定された技の認識結果「III－95」に対応するフレーム７４４からフレーム７７９を特定する。

このとき、統合部６５ｂは、対象のフレームとして、先頭フレームまでの連続した着手のうち最も早いフレームから、最終フレーム以降の連続した着手のうち最も遅いフレームまでを選択する。つまり、図２５の例では、統合部６５ｂは、右手について、先頭フレーム７４４のより前のフレーム７４２までが同じ推定結果「右手位置＝ａ５」であり、最終フレーム７７９より後は前のフレーム７４２までが推定結果が異なることから、置き換え対象として「フレーム７４２からフレーム７７９」を特定する。

同様に、統合部６５ｂは、左手について、先頭フレーム７４４のより前のフレーム７２８までが同じ推定結果「右手位置＝ａ５」であり、最終フレーム７７９より後のフレーム７９８まで同じ推定結果「右手位置＝ａ５」であることから、置き換え対象として「フレーム７２８からフレーム７８９」を特定する。

その後、統合部６５ｂは、図２５で特定された全身版モデル５７の推定結果を、図２６で特定された部分版モデル５８の推定結果に置き換えて、支持位置の推定結果を統合する。図２７は、支持位置の統合を説明する図である。図２７に示すように、統合部６５ｂは、全身版モデル５７の推定結果のうち両手の支持位置「フレーム７４４からフレーム７７９」を、部分版モデル５８の推定結果の右手の支持位置「フレーム７４２からフレーム７７９」と左手の支持位置「フレーム７２８からフレーム７８９」で置き換える。

このとき、統合部６５ｂは、置き換える全身版モデル５７の推定結果の範囲よりも、置き換え対象である部分版モデル５８の推定結果の範囲の方が広いが、この範囲については部分版モデル５８を優先すると判定されていることから、全身版モデル５７の置き換え対象の範囲を拡張する。

つまり、図２７に示すように、統合部６５ｂは、右手の支持位置について、全身版モデル５７の推定結果の「フレーム７４２からフレーム７７９」を、部分版モデル５８の推定結果の「フレーム７４２からフレーム７７９」に置き換える。また、統合部６５ｂは、左の支持位置について、全身版モデル５７の推定結果の「フレーム７２８からフレーム７８９」を、部分版モデル５８の推定結果の「フレーム７２８からフレーム７８９」に置き換える。

図１６に戻り、再認識部６５ｃは、統合部６５ｂにより生成された統合結果を用いて、技の再認識を実行する処理部である。上記例で説明すると、再認識部６５ｃは、第１推定部６３ａにより全身版モデル５７を用いて推定された支持位置における該当フレームが図２７に示すように更新された支持位置を用いて、第１技認識部６３ｂと同様の手法により、技の認識を実行する。

つまり、再認識部６５ｃは、新たに生成されたフレームごとの両手の支持位置の推定結果を用いて、演技全体の技認識を再度実行する。図２８は、統合後の技の再認識結果を説明する図である。図２８に示すように、統合前後の技認識結果を比較すると、先頭フレーム「７４３」から最終フレーム「７６１」の認識結果が「III－82」から「III－95」に変更されたことがわかる。このように、再認識部６５ｃは、基本的には全身版モデル５７の推定結果を用いて技認識を行うが、全身版モデル５７の推定結果のうち信頼性が低いフレームを部分版モデル５８の推定結果に置き換えて、演技者１の一連の演技に関する技認識を実行することができる。

（採点装置９０の構成）
図２９は、実施例１にかかる採点装置９０の機能構成を示す機能ブロック図である。図２９に示すように、採点装置９０は、通信部９１、記憶部９２、制御部９４を有する。通信部９１は、認識装置５０から技の認識結果や手首の支持位置の推定結果、演技者の骨格情報（３次元の骨格位置情報）などを受信する。

記憶部９２は、データや制御部９４が実行するプログラムなどを記憶する。例えば、記憶部９２は、メモリやハードディスクなどにより実現される。この記憶部９２は、技情報９３を記憶する。技情報９３は、技の名前、難易度、得点、各関節の位置、関節の角度、採点ルールなどを対応付けた情報である。また、技情報９３には、採点に利用される他の様々な情報が含まれる。

制御部９４は、採点装置９０全体を司る処理部であり、例えばプロセッサなどにより実現することができる。この制御部９４は、採点部９５と出力制御部９６とを有し、認識装置５０から入力された情報にしたがって、演技者の採点などを行う。なお、採点部９５と出力制御部９６は、プロセッサなどの電子回路やプロセッサなどが有するプロセスにより実現することもできる。

採点部９５は、演技者の技の採点や演技者の演技の採点を実行する処理部である。具体的には、採点部９５は、認識装置５０から随時送信される技の認識結果や手首の支持位置の推定結果、演技者の骨格情報などと、技情報９３とを比較して、演技者１が演技した技や演技の採点を実行する。例えば、採点部９５は、ＤスコアやＥスコアを算出する。そして、採点部９５は、採点結果を出力制御部９６に出力する。なお、採点部９５は、広く利用されている採点ルールを用いた採点を実行することもできる。

出力制御部９６は、採点部９５の採点結果などをディスプレイ等に表示する処理部である。例えば、出力制御部９６は、認識装置５０から、各３Ｄレーザセンサによる撮像された距離画像、３次元の骨格情報、演技者１が演技中の各画像データ、採点結果などの各種情報を取得して、所定の画面に表示する。

［学習処理の流れ］
図３０は、実施例１にかかる学習処理の流れを示すフローチャートである。なお、各モデルの学習は、並行して実行することもでき、順番に実行することもできる。

図３０に示すように、学習装置１０の取得部２１が、各骨格データ１５に含まれる各骨格情報を取得し（Ｓ１０１）、第１学習処理部２２または第２学習処理部２３は、両手首の支持位置の正解情報を生成するアノテーションを実行する（Ｓ１０２）。

続いて、第１学習処理部２２または第２学習処理部２３は、一定区間のフレームに分割したり、パディングを実行したりして、各モデル用の各学習データの整形を実行する（Ｓ１０３）。そして、第１学習処理部２２または第２学習処理部２３は、学習データを訓練に使用する各モデル用の各学習用データ（訓練データ）と、評価に利用する各モデル用の評価用データとに分割する（Ｓ１０４）。

その後、第１学習処理部２２または第２学習処理部２３は、あん馬の器具座標軸毎に回転や反転、ランダムノイズの追加、支持位置の正解値の分布調整などを含む各学習データの拡張を実行する（Ｓ１０５）。続いて、第１学習処理部２２または第２学習処理部２３は、正規化や標準化などを含むスケール調整を実行する（Ｓ１０６）。

そして、第１学習処理部２２または第２学習処理部２３は、学習対象である各モデルのアルゴリズム、ネットワーク、ハイパーパラメータ等を決定し、各学習データを用いて各モデルの学習を実行する（Ｓ１０７）。このとき、第１学習処理部２２または第２学習処理部２３は、１エポックごとに、評価用データを用いて、学習中の各モデルの学習精度（評価誤差）を評価する。

その後、第１学習処理部２２または第２学習処理部２３は、学習回数が閾値を越えたり、評価誤差が一定値以下になるなどの所定条件を満たすと、学習を終了する（Ｓ１０８）。そして、第１学習処理部２２または第２学習処理部２３は、評価誤差が最小になったときの各モデルを選択する（Ｓ１０９）。

［自動採点処理］
図３１は、実施例１にかかる自動採点処理の流れを示すフローチャートである。なお、ここでは、一例として、演技終了後に自動採点処理を実行する例を説明するが、演技中に実行することもできる。

図３１に示すように、認識装置５０は、演技が開始されると（Ｓ２０１：Ｙｅｓ）、３Ｄレーザセンサ５が撮像した画像を含むフレームを取得する（Ｓ２０２）。

続いて、認識装置５０は、フレームが取得されると（Ｓ２０２：Ｙｅｓ）、フレーム数を加算し（Ｓ２０３）、骨格情報などを取得して、フレーム番号を対応付けて管理する（Ｓ２０４）。ここで、認識装置５０は、演技が終了するまで（Ｓ２０５：Ｎｏ）、Ｓ２０１以降を繰り返す。

そして、認識装置５０は、演技が終了すると（Ｓ２０５：Ｙｅｓ）、クラス分類処理を実行して、撮像された各フレームにおける両手の支持位置の推定および各モデルの推定結果を用いて仮技認識を実行する（Ｓ２０６）。さらに、認識装置５０は、仮技認識の結果を用いて、統合処理を実行する（Ｓ２０７）。

その後、認識装置５０は、統合結果や骨格データ５５内の骨格情報などを用いて、演技者の体躯の位置や姿勢を検出し、正面支持フラグや着地フラグの設定、分節点の判断、基本運動の判定などを実行し、演技者１が演技した技の再認識を実行する（Ｓ２０８）。

そして、採点装置９０は、再認識された技等を用いて難易度を判定し（Ｓ２０９）、演技実施点を評価してＥスコアを算出する（Ｓ２１０）。その後、採点装置９０は、評価結果を表示し（Ｓ２１１）、採点に利用した各種フラグやカウントのリセットなどを含む終了処理を実行する（Ｓ２１２）。

（クラス分類処理）
図３２は、クラス分類処理の流れを示すフローチャートである。この処理は、図３１のＳ２０６で実行される。

図３２に示すように、第１認識部６３および第２認識部６４は、取得された骨格データ３５等から、時系列の骨格情報を抽出し（Ｓ３０１）、学習時と同様に、パティングなどのデータ整形を実行し（Ｓ３０２）、スケール調整を実行する（Ｓ３０３）。なお、第１認識部６３は、全身（１８関節）の骨格情報を抽出し、第２認識部６４は、上述した６関節の骨格情報を抽出する。

その後、第１認識部６３は、抽出した骨格情報を学習済みの全身版モデル５７に入力してクラス分類を実行する（Ｓ３０４）。続いて、第１認識部６３は、クラス分類により、演技者１の両手の支持位置を推定し（Ｓ３０５）、骨格情報（フレーム）と推定した両手の支持位置とを対応付けて保存する（Ｓ３０６）。

一方で、第２認識部６４は、抽出した骨格情報を学習済みの部分版モデル５８に入力してクラス分類を実行する（Ｓ３０７）。続いて、第２認識部６４は、クラス分類により、演技者１の両手の支持位置を推定し（Ｓ３０８）、骨格情報（フレーム）と推定した両手の支持位置とを対応付けて保存する（Ｓ３０９）。

そして、全フレームについてクラス分類が実行されるまで（Ｓ３１０：Ｎｏ）、Ｓ３０１以降を繰り返し、全フレームについてクラス分類が実行されると（Ｓ３１０：Ｙｅｓ）、クラス分類処理が終了する。

（統合処理）
図３３は、統合処理の流れを示すフローチャートである。この処理は、図３１のＳ２０７で実行される。

図３３に示すように、第１認識部６３は、全身版モデル５７の推定結果等を用いて、技認識（仮技認識１）を実行し（Ｓ４０１）、第２認識部６４は、部分版モデル５８の推定結果等を用いて、技認識（仮技認識２）を実行する（Ｓ４０２）。

続いて、結果統合部６５は、仮技認識１の各技の選択レベルを特定し（Ｓ４０３）、仮技認識２の各技の選択レベルを特定する（Ｓ４０４）。そして、結果統合部６５は、仮技認識２の認識結果から技と当該技に対応するフレームとを特定する（Ｓ４０５）。続いて、結果統合部６５は、仮技認識１の認識結果から、仮技認識２から特定されたフレームに対応するフレームと認識された技とを特定する（Ｓ４０６）。

その後、結果統合部６５は、仮技認識２から特定された技の選択レベルと、仮技認識１から特定された技の選択レベルとを比較する（Ｓ４０７）。ここで、結果統合部６５は、仮技認識１の技の選択レベルが仮技認識２の技の選択レベル以上である場合（Ｓ４０８：Ｙｅｓ）、仮技認識１の結果を選択する（Ｓ４０９）。

一方、結果統合部６５は、仮技認識１の技の選択レベルが仮技認識２の技の選択レベルよりも小さい場合（Ｓ４０８：Ｎｏ）、部分版モデル５８の推定結果（支持位置）を用いて、推定された支持位置の統合を実行する（Ｓ４１０）。

その後、結果統合部６５は、統合後の支持位置を用いて、技の再認識を実行する（Ｓ４１１）。そして、結果統合部６５は、仮技認識２で認識された各技について比較が終了するまで（Ｓ４１２：Ｎｏ）、Ｓ４０５以降を繰り返す。一方、結果統合部６５は、仮技認識２で認識されたすべての技について比較が終了すると（Ｓ４１２：Ｙｅｓ）、終了した技認識の結果を採点装置９０に出力する（Ｓ４１３）。

［効果］
上述したように、認識装置５０は、あん馬を演技時の手首のように識別対象となる関節の位置情報だけでなく、頭、肩、背骨、肘、腰、膝、足首といった人の動きに関わる関節位置の時系列情報を入力としたクラス分類器を使って支持位置決定することができる。また、認識装置５０は、全身版モデル５７と部分版モデル５８とを用いることで、全身の骨格情報から技を認識するだけでなく、技に関連する一部の骨格情報から技を認識することができるので、学習データに含まれない未知の姿勢や動作が発生した場合でも、一つのモデルを用いた技認識と比較して、高精度の技認識を実行することができる。

例えば、認識装置５０は、全身の関節座標を使った全身版モデル５７と支持部位付近の関節座標を使った部分版モデル５８を使い、学習済の技は全身版モデル５７の結果を使い、未学習の技は部分版モデル５８の結果を使って技認識を実行する。この結果、未学習の技の一部が、もともと正解している技の認識を悪化させることなく、正しく認識することができる。

すなわち、自動採点システムは、使用する関節が異なる複数の学習結果のモデルを併用し、動きや姿勢の学習状況に応じて使い分けて統合することで、よりロバストな支持位置認識および技認識を実現することができる。したがって、自動採点システムでは、演技者１の骨格情報や正確な支持位置を用いて演技を認識することができ、認識精度を向上させることができる。また、認識精度の向上により、審判に正確な自動採点結果を提供することができ、採点の公平性や正確性の担保を提供することができる。

［統合処理の別例］
例えば、上述した支持位置の統合は、複数のモデルの支持位置の認識結果を混在させると、学習状況に応じて判断する対象の技の前後の技（意図しない技）まで変わる状況が発生することも考えられる。その場合、正しく認識していた前後の技が誤った技に書き換えられるリスクがあるので、その場合は変わらない方を選択する。

図３４は、実施例２にかかる統合処理を説明する図である。図３４に示すように、認識装置５０の結果統合部６５が、全身版モデル５７による支持位置の推定結果を用いた技認識（仮技認識）の結果のうち、フレーム７４３からフレーム７６８の範囲が統合対象と判定したとする。このフレーム７４３からフレーム７６８では、技「III－82」が認識されており、このフレーム間よりも前では技「II－1」が認識されており、このフレーム間よりも後では技「II－13」が認識されている。

そして、図３４の（ａ）に示すように、結果統合部６５は、統合後の支持位置を用いた技認識の結果、統合対象のフレームの前後の技認識結果が、統合前後で変化がない場合は、統合後の支持位置を用いた技認識の結果を採用する。具体的には、統合対象のフレームを含むフレーム７４４からフレーム７７９までは技「III－95」と認識されたので、統合前後で技認識の結果が変更されている。また、技「III－95」よりも前は、統合前と同様に技「II－1」であり、技「III－95」よりも後は、統合前と同様に技「II－13」である。

この結果、結果統合部６５は、正しく認識していた前後の技はそのままで、精度の低い統合対象部分の技が変更されたと判定し、統合後の支持位置を用いた技認識の結果を採点装置９０に送信する。

一方、図３４の（ｂ）に示すように、結果統合部６５は、統合後の支持位置を用いた技認識の結果、統合対象のフレームの前後の技認識結果が、統合前後で変化した場合は、統合前の全身版モデル５７の支持位置を用いた技認識の結果を採用する。具体的には、統合対象のフレームを含むフレーム７４４からフレーム７７９までは技「III－95」と認識されたので、統合前後で技認識の結果が変更されている。また、技「III－95」よりも前は、統合前と同様に技「II－1」であり、技「III－95」よりも後は、統合前と異なり技「II－1」である。

この結果、結果統合部６５は、正しく認識していた前後の技まで変更され、誤った技認識が実行された可能性が高いと判定し、統合前の全身版モデル５７の支持位置を用いた技認識の結果を採点装置９０に送信する。

このように、認識装置５０は、使用する関節が異なる複数のモデルがそれぞれ得意とするところを利用することで認識精度を向上させる一方で、統合による信頼性の低下を判定した上で、最終的な技の認識を実行することができる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

［適用例］
上記実施例では、体操競技を例にして説明したが、これに限定されるものではなく、選手が一連の技を行って審判が採点する他の競技にも適用することができる。他の競技の一例としては、フィギュアスケート、新体操、チアリーディング、水泳の飛び込み、空手の型、モーグルのエアーなどがある。また、上記実施例では、両手の手首の支持位置を推定する例を説明したが、これに限定されるものではなく、１８関節のいずれかの関節位置や関節間の位置などの推定にも適用することができる。

［３Ｄレーザセンサ］
３Ｄレーザセンサ５は撮影装置の一例であり、ビデオカメラ等を用いてもよい。ビデオカメラを用いる場合、距離画像１３および距離画像５３はＲＧＢ画像となる。ＲＧＢ画像から骨格情報を得る手段としてOpenPose等の公知の技術を用いることもできる。

［骨格情報］
また、上記実施例では、骨格情報の一例として各関節の位置を例示して説明したが、これに限定されるものではなく、各関節間の向き（ベクトル）、各関節の角度、手足の向き、顔の向きなどを採用することができる。また、部分版モデル１７の学習に、６関節の骨格情報を用いる例を説明したが、関節の数や使用する関節は任意に設定変更することができ、技の難易度や出来栄え等に影響する関節を選択することが好ましい。

また、全身版モデルの学習に利用する関節の数も１８関節に限らず、任意に変更することができる。同様に、部分版モデルの学習に利用する関節の数も６関節に限らず、任意に変更することができるが、全身版モデルの学習に利用された関節数よりも少ない数が好ましい。

［数値等］
上記実施例で用いた数値などがあくまで一例であり、実施例を限定するものではなく、任意に設定変更することができる。また、技名、フレームの数やクラスの数等も一例であり、任意に設定変更することができる。また、モデルには、ニューラルネットワークに限らず、様々な機械学習や深層学習を用いることができる。また、処理の流れを説明した各フローチャートも矛盾のない範囲内で順番を変更することができる。

［クラス分類］
上記実施例では、ニューラルネットワークなどの機械学習を適用した各モデルを用いて、特定関節の支持位置を推定する例を説明したが、これに限定されるものではない。例えば、推定対象である両手首の位置と残りの１６個の関節位置とを対応付けた、１８関節を用いたルールを定義し、その定義を用いることで、上記モデルを使用せずに、１８関節の骨格情報から両手首の位置を推定することもできる。同様に、推定対象である両手首の位置と上述した６個の関節位置とを対応付けた、部分的な関節を用いた定義を用いて、両手首の位置を推定することもできる。

［支持位置の統合］
上記実施例では、各モデルの支持位置の推定結果を用いた技認識（仮技認識）の後に、統合処理を実行する例を説明したが、これに限定されるものではない。例えば、各モデルが推定した支持位置を比較して統合することもできる。一例を挙げると、全身版モデル５７の支持位置を参照し、時系列の順番として、ありえない支持位置の推定がされている場合、その部分のみを部分版モデル５８の推定結果に置き換えることもできる。

例えば、右手の支持位置がクラス１（ａ１）と連続している状態で、突然、クラス５（ａ５）が所定回数連続するなど、物理的な連続性として成立しない状況が発生した場合に、部分版モデル５８の推定結果に置き換えることもできる。なお、成立しない状況は、予めルール化して定義することもできる。

［フレーム数］
上記実施例では、時系列のフレーム数として、３０などの予め設定したフレーム数を用いて、各モデルの学習や各モデルによる推定を実行したが、これに限定されるものではない。例えば、演技や技など所定の動作単位のフレーム数を用いて、各モデルの学習や各モデルによる推定を実行することができる。

［選択レベル］
例えば、連続した長い運動の途中で支持位置のクラスを間違えると、間違いの前後で部分的に技が成立することがある。その場合、一般的に連続した長い運動より難度が低い技となる。そのため、複数の学習結果を使って支持位置のクラスを認識した際に、同一区間で長い運動と短い運動が認識された場合、長い運動の方が正しい可能性が高い。このことや技の系統（例えば、回転数が１回転多いだけの同系統の技である等）を考慮して選択レベルを設定してもよい。

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、各３Ｄレーザセンサは、各装置に内蔵されていてもよく、各装置の外部装置として通信等で接続されていてもよい。

例えば、技認識と組み合わせ評価は、別々の装置で実装することもできる。また、学習装置１０、認識装置５０、採点装置９０は、任意に組み合わせた装置で実現することもできる。なお、取得部６１は、取得部の一例であり、第１推定部６３ａは、第１推定部の一例であり、第２推定部６４ａは、第２推定部の一例である。判定部６５ａは、決定部の一例であり、再認識部６５ｃは、認識部と出力部の一例である。

［ハードウェア］
次に、学習装置１０、認識装置５０、採点装置９０などのコンピュータのハードウェア構成について説明する。なお、各装置は同様の構成を有するので、ここでは、コンピュータ１００として説明し、具体例は認識装置５０を例示する。

図３５は、ハードウェア構成例を説明する図である。図３５に示すように、コンピュータ１００は、通信装置１００ａ、ＨＤＤ（Hard Disk Drive）１００ｂ、メモリ１００ｃ、プロセッサ１００ｄを有する。また、図３２に示した各部は、バス等で相互に接続される。なお、ＨＤＤはＳＳＤ（Solid State Drive）等の記憶装置を用いてもよい。

通信装置１００ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１００ｂは、図１６等に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ１００ｄは、図１６に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１００ｂ等から読み出してメモリ１００ｃに展開することで、図１６等で説明した各機能を実行するプロセスを動作させる。すなわち、このプロセスは、認識装置５０が有する各処理部と同様の機能を実行する。具体的には、認識装置５０を例にすると、プロセッサ１００ｄは、取得部６１、データ生成部６２、第１認識部６３、第２認識部６４、結合統合部６５等と同様の機能を有するプログラムをＨＤＤ１００ｂ等から読み出す。そして、プロセッサ１００ｄは、取得部６１、データ生成部６２、第１認識部６３、第２認識部６４、結合統合部６５等と同様の処理を実行するプロセスを実行する。

このようにコンピュータ１００は、プログラムを読み出して実行することで認識方法を実行する情報処理装置として動作する。また、コンピュータ１００は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、コンピュータ１００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

１０ 学習装置
１１ 通信部
１２ 記憶部
１３ 距離画像
１４ 骨格定義
１５ 骨格データ
１６ 全身版モデル
１７ 部分版モデル
２０ 制御部
２１ 取得部
２２ 第１学習処理部
２２ａ 第１生成部
２２ｂ 第１学習部
２３ 第２学習処理部
２３ａ 第２生成部
２３ｂ 第２学習部
５０ 認識装置
５１ 通信部
５２ 記憶部
５３ 距離画像
５４ 骨格定義
５５ 骨格データ
５６ 選択情報
５７ 全身版モデル
５８ 部分版モデル
６０ 制御部
６１ 取得部
６２ データ生成部
６３ 第１認識部
６３ａ 第１推定部
６３ｂ 第１技認識部
６４ 第２認識部
６４ａ 第２推定部
６４ｂ 第２技認識部
６５ 結果統合部
６５ａ 判定部
６５ｂ 統合部
６５ｃ 再認識部

Claims (10)

1. コンピュータが、
   運動を行う被写体の特定の関節を含む複数の関節それぞれの位置情報に基づく骨格情報を、時系列で取得し、
   前記時系列の骨格情報それぞれに含まれる前記複数の関節のうち第１の関節群の位置情報を用いて、前記運動で使用される物体の領域を分割した複数の領域のうち、前記特定の関節が位置する領域を推定し、
   前記時系列の骨格情報それぞれに含まれる前記複数の関節のうち、前記特定の関節を含み、前記第１の関節群の一部にあたる第２の関節群の位置情報を用いて、前記特定の関節が位置する領域を推定し、
   推定された前記特定の関節が位置する各推定結果に基づき、前記特定の関節が位置する領域を決定し、
   前記時系列の骨格情報と、決定された前記特定の関節が位置する領域とを用いて、前記被写体の運動を認識し、
   認識結果を出力する
   処理を実行することを特徴とする運動認識方法。
2. 前記推定する処理は、前記第１の関節群の位置情報の入力に対して前記複数の領域を示す各クラスに該当する尤度を出力する第１モデルを用いて、前記特定の関節が位置する領域を推定し、
   前記推定する処理は、前記第２の関節群の位置情報の入力に対して前記各クラスに該当する尤度を出力する第２モデルを用いて、前記特定の関節が位置する領域を推定することを特徴とする請求項１に記載の運動認識方法。
3. 前記決定する処理は、前記第１モデルの推定結果を用いて前記被写体の第１の運動を認識し、前記第２モデルの推定結果を用いて前記被写体の第２の運動を認識し、前記第１の運動と前記第２の運動とが一致しない場合に、前記第２モデルの推定結果を、前記特定の関節が位置する領域に決定することを特徴とする請求項２に記載の運動認識方法。
4. 前記推定する処理は、前記運動が行われている間に取得された前記時系列の骨格情報を所定数ずつ前記第１モデルに入力して得られる各出力結果から、前記特定の関節が位置する領域を時系列に推定した第１の推定結果を生成し、
   前記推定する処理は、前記時系列の骨格情報を前記所定数ずつ前記第２モデルに入力して得られる各出力結果から、前記特定の関節が位置する領域を時系列に推定した第２の推定結果を生成し、
   前記決定する処理は、前記第１の推定結果を用いて、時系列の前記第１の運動を認識し、前記第２の推定結果を用いて、時系列の前記第２の運動を認識し、前記第１の推定結果のうち、前記第２の運動と一致しない前記第１の運動の認識に利用された推定結果を、当該第２の運動の認識に利用された推定結果に置き換えて前記第１の推定結果を更新し、
   前記認識する処理は、更新後の前記第１の推定結果と、前記時系列の骨格情報とを用いて、前記被写体が行った一連の運動を認識することを特徴とする請求項３に記載の運動認識方法。
5. 前記認識する処理は、更新前の前記第１の推定結果を用いて認識された前記一連の運動と、前記更新後の前記第１の推定結果を用いて認識された前記一連の運動とを比較し、更新された推定結果の前後で認識された前記運動が一致しない場合に、前記更新前の第１の推定結果を用いて認識された前記一連の運動を採用し、
   前記出力する処理は、採用された前記一連の動きを出力することを特徴とする請求項４に記載の運動認識方法。
6. 前記推定する処理は、時系列の前記第１の関節群の骨格情報を説明変数、前記特定の関節が位置するクラスを目的変数とする学習データを用いて学習された前記第１モデルを用いて、前記特定の関節が位置する領域を推定し、
   前記推定する処理は、時系列の前記第２の関節群の骨格情報を説明変数、前記特定の関節が位置するクラスを目的変数とする学習データを用いて学習された前記第２モデルを用いて、前記特定の関節が位置する領域を推定することを特徴とする請求項２に記載の運動認識方法。
7. 前記運動は、体操の演技であって、
   前記被写体は、前記体操の演技者であって、
   前記物体は、前記体操に用いられる器具であって、
   前記認識する処理は、前記時系列の骨格情報と、決定された前記特定の関節の位置とを用いて、前記演技者が演技する技を認識することを特徴とする請求項１に記載の運動認識方法。
8. 前記第１の関節群は、前記複数の関節のすべての関節を含み、
   前記第２の関節群は、前記特定の関節として左右の手首を少なくとも含む
   ことを特徴とする請求項１乃至請求項７のいずれか一項に記載の運動認識方法。
9. コンピュータに、
   運動を行う被写体の特定の関節を含む複数の関節それぞれの位置情報に基づく骨格情報を、時系列で取得し、
   前記時系列の骨格情報それぞれに含まれる前記複数の関節のうち第１の関節群の位置情報を用いて、前記運動で使用される物体の領域を分割した複数の領域のうち、前記特定の関節が位置する領域を推定し、
   前記時系列の骨格情報それぞれに含まれる前記複数の関節のうち、前記特定の関節を含み、前記第１の関節群の一部にあたる第２の関節群の位置情報を用いて、前記特定の関節が位置する領域を推定し、
   推定された前記特定の関節が位置する各推定結果に基づき、前記特定の関節が位置する領域を決定し、
   前記時系列の骨格情報と、決定された前記特定の関節が位置する領域とを用いて、前記被写体の運動を認識し、
   認識結果を出力する
   処理を実行させることを特徴とする運動認識プログラム。
10. 運動を行う被写体の特定の関節を含む複数の関節それぞれの位置情報に基づく骨格情報を、時系列で取得する取得部と、
    前記時系列の骨格情報それぞれに含まれる前記複数の関節のうち第１の関節群の位置情報を用いて、前記運動で使用される物体の領域を分割した複数の領域のうち、前記特定の関節が位置する領域を推定する第１推定部と、
    前記時系列の骨格情報それぞれに含まれる前記複数の関節のうち、前記特定の関節を含み、前記第１の関節群の一部にあたる第２の関節群の位置情報を用いて、前記特定の関節が位置する領域を推定する第２推定部と、
    推定された前記特定の関節が位置する各推定結果に基づき、前記特定の関節が位置する領域を決定する決定部と、
    前記時系列の骨格情報と、決定された前記特定の関節が位置する領域とを用いて、前記被写体の運動を認識する認識部と、
    認識結果を出力する出力部と
    を有することを特徴とする情報処理装置。

Images