JP7248137B2 - 評価方法、評価プログラムおよび情報処理装置 - Google Patents

Description

本発明は、評価方法、評価プログラムおよび情報処理装置に関する。

体操や医療などの幅広い分野において、選手や患者などの人物の骨格情報を用いて、人物の動作を自動で認識することが行われている。具体的には、体操を例にすると、動作の一例として演技者の技を自動で認識して自動採点を行い、対象者の演技を評価する技術が利用されている。

例えば、演技者の所定部位または関節部に対応する特徴点の位置情報を含む複数のフレームを、部位の位置に基づいて時系列に分節することで、複数のフレームを時系列に複数のグループに分類する。そして、グループ毎に、連続するフレームに含まれる特徴点の動きを基にして、グループに対応する基本運動の種別を識別する。その後、時系列に連続するグループに対応する基本運動の種別の順序を基にして、演技者が行った運動の技および難度を評価する。

国際公開第２０１８／０７０４１４号

しかしながら、上記技術では、動作と動作の間である移行部分を評価することができない。例えば、体操などの採点競技においては、動作（技）単体の採点に加え、技ではない移行部分を評価する必要がある。これは、移行部分の評価に応じて、移行部分を挟む技と技に対して、移行が所定の条件を満たす場合に、技の基礎点に加えてＣＶ（Connection Value）などの加点が得られる場合があるためである。

また、リハビリなどにおいては、所定の動作（歩行）単体の評価に加え、歩行ではない移行部分を評価することで、対象者の回復度合いをより正確に評価できることが期待できる。このように、動作以外に、動作と動作の移行部分を評価することが求められる。しかし、上記技術では、基本運動の種別に該当する演技者の技などを特定するので、基本運動以外を抽出しても、その抽出した部分が移行部分なのか他の動作なのかを特定することができず、正しく評価することもできない。

一つの側面では、動作と動作の間である移行部分を評価することができる評価方法、評価プログラムおよび情報処理装置を提供することを目的とする。

第１の案では、評価方法は、コンピュータが、複数の動作を実行する被写体の関節の位置情報に基づく骨格情報を、時系列に取得する処理を実行する。評価方法は、コンピュータが、前記時系列の骨格情報に基づき、前記複数の動作に含まれる第一の動作と、第一の動作に続く第二の動作との間の移行期間を特定する処理を実行する。評価方法は、コンピュータが、前記骨格情報に基づき動作間の移行期間を評価するように学習された評価モデルに、特定した前記移行期間に対応する骨格情報を入力して、前記移行期間を評価し、前記移行期間の評価結果を出力する処理を実行する。

一実施形態によれば、動作と動作の間である移行部分を評価することができる。

図１は、実施例１にかかるシステムの全体構成例を示す図である。 図２は、実施例１にかかる学習装置の機能構成を示す機能ブロック図である。 図３は、距離画像を説明する図である。 図４は、骨格定義を説明する図である。 図５は、骨格データを説明する図である。 図６は、フレーム情報を説明する図である。 図７は、学習データの生成を説明する図である。 図８は、学習データを説明する図である。 図９は、移行部分評価用モデルの学習を説明する図である。 図１０は、実施例１にかかる認識装置の機能構成を示す機能ブロック図である。 図１１は、実施例１にかかる採点装置の機能構成を示す機能ブロック図である。 図１２は、採点画像の一例を示す図である。 図１３は、移行部分評価用モデルの学習の流れを示すフローチャートである。 図１４は、認識処理の流れを示すフローチャートである。 図１５は、組み合わせ有と判定された検証例を示す図である。 図１６は、組み合わせ無と判定された検証例を示す図である。 図１７は、組み合わせ判定の検証例を説明する図である。 図１８は、切り出し箇所の乱数の決定例を説明する図である。 図１９は、移行部分の認識処理の別例を説明する図である。 図２０は、既知である移行部分の特定を説明する図である。 図２１は、ハードウェア構成例を説明する図である。

以下に、本発明にかかる評価方法、評価プログラムおよび情報処理装置の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。また、各実施例は、矛盾のない範囲内で適宜組み合わせることができる。

［全体構成］
図１は、実施例１にかかるシステムの全体構成例を示す図である。図１に示すように、このシステムは、３Ｄ（Three－Dimensional）レーザセンサ５、学習装置１０、認識装置５０、採点装置９０を有し、被写体である演技者１の３次元データを撮像し、骨格等を認識して正確な技の採点を行うシステムである。なお、本実施例では、一例として、体操競技における演技者の骨格情報を認識する例で説明する。

一般的に、体操競技における現在の採点方法は、複数の採点者によって目視で行われているが、技の高度化に伴い、採点者の目視では採点が困難な場合が増加している。近年では、３Ｄレーザセンサを使った、採点競技の自動採点システムや採点支援システムが知られている。例えば、これらのシステムにおいては、３Ｄレーザセンサにより選手の３次元データである距離画像を取得し、距離画像から選手の各関節の向きや各関節の角度などである骨格を認識する。そして、採点支援システムにおいては、骨格認識の結果を３Ｄモデルにより表示することで、採点者が演技者の細部の状況を確認するなどにより、より正しい採点を実施することを支援する。また、自動採点システムにおいては、骨格認識の結果から、演技した技などを認識し、採点ルールに照らして採点を行う。

このような体操競技では、演技中に繰り出された技の点の合計を示すＤスコアと、演技の出来栄えを示すＥスコアの２種類があり、それぞれの採点に審判員が配置される。Ｄスコア算出の構成要素として技があり、各々の技にはＡやＢなどの難易度が与えられており、難易度に応じて加算する点数が異なる。さらに、女子の平均台、ゆか、段違い平行棒や、男子のゆか、鉄棒などのように、競技によっては技の組み合わせに応じた採点が行われている。例えば、平均台の場合は、構成要求（ＣＲ）の一部に、ある種類の技の組み合わせが要求されている他、一定の難易度以上の技の組み合わせが承認された場合、組み合わせ点（ＣＶ）やシリーズボーナス（ＳＢ）が加点される仕組みがある。

したがって、自動採点を行うためには、選手が繰り出した技や組み合わせを、動作から自動的に判別する仕組みが求められている。つまり、自動採点システムの精度向上、信頼性の向上を図るためには、技の自動認識だけではなく、技と技の間の移行部分を正確に評価し、移行部分が技と技の組み合わせに該当するか否かを精度よく判別することが要求されている。

ここで、体操競技の技を自動で認識する手法として、選手の３次元データである距離画像を入力して技を自動で認識するモデルが利用されている。このようなモデルとしては、技の特徴量を定義する手法が一般的であり、例えば、ルールベースにより自動認識する手法や、距離画像や距離画像の遷移を学習データとして機械学習させた学習モデルを利用する手法が知られている。

一方、採点規則によると、技と技の間の組み合わせとは、移行部分において「技と技の間に止まり、技と技の間に余分なステップ、技と技の間で足が台に触れる、技と技の間でバランスを失う、２つめの技の踏切の前に１つめの技で明らかに脚または腰が伸張する、余分な腕の振り」などの実施がないことをいう。このような動作の特徴量をすべて人手により定義することは難しく、ルールベースで移行部分を評価して組み合わせを検出することは難しい。さらに、平均台を例に挙げると、組み合わせには、アクロバット系（アクロ）同士の組み合わせや、ダンス系同士（ジャンプ、ホップ、ターン）の組み合わせ、アクロとダンスの混合など様々なパターンがあるので、人手により場合分けをしてすべてをルール化するのは困難である。

そこで、実施例１では、人手により特徴量の定義を伴わない方法として、深層学習（Deep Learning）を採用する。例えば、認識装置５０は、技認識を行う技認識用モデルと、移行部分を評価する移行部分評価用モデルとを用いて、技の認識と移行部分の評価とを実行する。

具体的には、技認識用モデルは、時系列に取得される骨格情報に前処理を行い、前処理によって得られる相対座標データやエッジデータを入力として、技認識結果を出力する。移行部分評価用モデルは、技と技の間に該当する移行部分の骨格情報に前処理を行い、前処理で得られる相対座標データやエッジデータを入力として、技と技の間の組み合わせに該当するか否かを示す尤度を出力する。

このようにして、実施例１にかかる認識装置５０は、時系列の骨格情報を元に、動作（技）を認識するとともに、動作の移行部分（技の組み合わせ）を自動で評価する。

［機能構成］
次に、図１に示したシステムが有する各装置の機能構成につて説明する。なお、ここでは、学習装置１０、認識装置５０、採点装置９０のそれぞれについて説明する。

（学習装置１０の構成）
図２は、実施例１にかかる学習装置１０の機能構成を示す機能ブロック図である。図２に示すように、学習装置１０は、通信部１１、記憶部１２、制御部２０を有する。

通信部１１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部１１は、３Ｄレーザセンサ５により撮影された演技者１の距離画像を受信し、管理者端末などから各種データや指示を受信し、認識装置５０に学習済みの各モデルを送信する。

記憶部１２は、データや制御部２０が実行するプログラムなどを記憶する記憶装置であり、例えばメモリやプロセッサなどである。この記憶部１２は、距離画像１３、骨格定義１４、骨格データ１５、フレーム情報１６、技認識用モデル１７、移行部分評価用モデル１８を記憶する。

距離画像１３は、３Ｄレーザセンサ５により撮像される演技者１の距離画像である。図３は、距離画像を説明する図である。図３に示すように、距離画像１３は、３Ｄレーザセンサ５から画素までの距離が含まれるデータであり、３Ｄレーザセンサ５からの距離が近いほど、濃い色で表示される。

骨格定義１４は、骨格モデル上の各関節を特定するための定義情報である。ここで記憶される定義情報は、３Ｄレーザセンサによる３Ｄセンシングによって演技者ごとに測定してもよく、一般的な体系の骨格モデルを用いて定義してもよい。

図４は、骨格定義１４を説明する図である。図４に示すように、骨格定義１４は、公知の骨格モデルで特定される各関節をナンバリングした、１８個（０番から１７番）の定義情報を記憶する。例えば、図４に示すように、右肩関節（SHOULDER＿RIGHT）には７番が付与され、左肘関節（ELBOW＿LEFT）には５番が付与され、左膝関節（KNEE＿LEFT）には１１番が付与され、右股関節（HIP＿RIGHT）には１４番が付与される。ここで、実施例では、７番の右肩関節のＸ座標をＸ７、Ｙ座標をＹ７、Ｚ座標をＺ７と記載する場合がある。なお、例えば、Ｚ軸は、３Ｄレーザセンサ５から対象に向けた距離方向、Ｙ軸は、Ｚ軸に垂直な高さ方向、Ｘ軸は、水平方向と定義することができる。

骨格データ１５は、各距離画像を用いて生成される骨格に関する情報を含むデータである。具体的には、骨格データ１５は、距離画像を用いて取得された、骨格定義１４に定義される各関節の位置を含む。図５は、骨格データ１５を説明する図である。図５に示すように、骨格データ１５は、「フレーム、画像情報、骨格情報」が対応付けられる情報である。

ここで、「フレーム」は、３Ｄレーザセンサ５による撮像される各フレームを識別する識別子であり、「画像情報」は、関節などの位置が既知である距離画像のデータである。「骨格情報」は、骨格の３次元の位置情報であり、図４に示した１８個の各関節に対応する関節位置（３次元座標）である。図５の例では、距離画像である「画像データＡ１」には、ＨＥＡＤの座標「Ｘ３，Ｙ３，Ｚ３」などを含む１８個の関節の位置が既知であることを示す。なお、関節位置は、例えば、予め学習された学習モデルであって、距離画像から各関節位置を抽出する学習モデルなどを用いて抽出することもできる。

フレーム情報１６は、後述する移行部分評価用モデルの学習などに利用される情報であって、ある演技者の演技時に撮像された距離画像に関するフレーム情報である。図６は、フレーム情報１６を説明する図である。図６に示すように、フレーム情報１６は、「element、motion、start、end」が対応付けられた情報である。

「element」は、実施した技の種類を示す情報である。「motion」は、動作か否かを示す情報であり、技に該当する場合には「element」が設定され、組み合わせに該当する移行部分の場合には「combination」が設定され、組み合わせに該当しない移行部分の場合には「none」が設定される。「start、end」は、motionの開始フレームと終了フレームとを示す。図６の例では、「combination」に該当するフレーム７２７からフレーム７４１が組み合わせ有（ラベル「１」）の教師データとして利用されることを示し、「none」に該当するフレーム５７からフレーム１８６が組み合わせ無（ラベル「０」）の教師データとして利用されることを示す。

技認識用モデル１７は、時系列の骨格情報から生成されるエッジデータに基づき、技が否かを認識する学習モデルであり、後述する技認識学習部３０によって学習されるニューラルネットワークなどを用いたモデルである。

移行部分評価用モデル１８は、時系列の骨格情報から生成されるエッジデータに基づき、移行部分を評価する学習モデルであり、後述する評価用学習部４０によって学習されるニューラルネットワークなどを用いたモデルである。この移行部分評価用モデル１８は、「技と技の間に止まり、技と技の間に余分なステップ、技と技の間で足が台に触れる、技と技の間でバランスを失う、２つめの技の踏切の前に１つめの技で明らかに脚または腰が伸張する、余分な腕の振り」に該当しない移行期間を組み合わせと評価するように学習される。

制御部２０は、学習装置１０全体を司る処理部であり、例えばプロセッサなどである。制御部２０は、技認識学習部３０と評価用学習部４０を有し、技認識用モデル１７や移行部分評価用モデル１８の学習を実行する。なお、技認識学習部３０と評価用学習部４０は、プロセッサなどの電子回路の一例やプロセッサなどが有するプロセスの一例である。

技認識学習部３０は、前処理部３１、学習データ生成部３２、学習部３３を有し、技認識用モデル１７の学習を実行して、技認識用モデル１７を生成する処理部である。

前処理部３１は、技認識用モデル１７の学習を実行するために、１８関節の骨格情報からエッジデータを算出する処理部である。例えば、前処理部３１は、フレーム情報１６を参照し、技に該当する「motion＝element」の開始フレームと終了フレームを特定する。このとき、前処理部３１は、当該「element」に対して管理者等により予め設定されている技名を取得する。続いて、前処理部３１は、特定したフレーム間を含むように、所定数（例えば６０）の切り出し箇所を乱数で決定し、決定した各フレームに対応する骨格データ１５を取得する。なお、前処理部３１は、フレーム間が６０以上のフレームを有する場合は、当該フレーム間から６０個のフレームを取得する。その後、前処理部３１は、取得した各フレームに対応する骨格データ１５からエッジデータを算出する。

具体的には、前処理部３１は、６０フレームそれぞれの各骨格データ１５から骨格情報を読み出す。そして、前処理部３１は、各骨格情報と式（１）を用いて、１８個の関節それぞれについて、接続された骨格（関節間）の向きを表すデータであるエッジデータを算出する。その後、前処理部３１は、各関節に対応するエッジデータを学習データ生成部３２に出力する。

このように、式（１）により、前処理部３１は、１８個の関節それぞれについて、６０フレームの骨格情報から算出された各エッジデータを組み合わせた１つのエッジデータを生成する。なお、式（１）におけるｘ、ｙ、ｚは座標を示し、ｉは関節の数を示し、ｅ_ｉ，ｘはｉ番目の関節のｘ軸方向の大きさを示し、ｅ_ｉ，ｙはｉ番目の関節のｙ軸方向の大きさを示し、ｅ_ｉ，ｚはｉ番目の関節のｚ軸方向の大きさを示す。

学習データ生成部３２は、時系列の骨格情報を用いて生成されたエッジデータを用いて、技認識用モデル１７の学習に用いる学習データを生成する処理部である。例えば、学習データ生成部３２は、技に該当する区間（動作部分）に該当する各関節のエッジデータと当該技の名称を前処理部３１から取得する。そして、学習データ生成部３２は、各関節のエッジデータと技名とを対応付けた学習データを生成する。その後、学習データ生成部３２は、学習データを記憶部１２に格納し、学習部３３に出力する。

学習部３３は、技認識用モデル１７の学習を実行する処理部である。具体的には、学習部３３は、学習データの各エッジデータを説明変数、学習データの技名を目的変数（ラベル）として、技認識用モデル１７に用いられるニューラルネットワークを学習する。つまり、学習部３３は、時系列の各関節のエッジデータの変化を特徴量として、技を認識する技認識用モデル１７を学習する。

例えば、学習部３３は、所定の動作区間から取得された各関節のエッジデータを１つの入力データとして技認識用モデル１７に入力し、予め想定される各技の一致度（尤度）を技認識用モデル１７から取得する。そして、学習部３３は、出力結果に含まれる各技の尤度のうち、正解情報であるラベルの技名の尤度が最も大きくなるように、出力結果とラベルとの誤差に基づく誤差逆伝搬法によってニューラルネットワークの各パラメータを学習する。

このようにして、学習部３３は、各学習データを用いて技認識用モデル１７の学習を実行し、学習が完了すると、学習済みの技認識用モデル１７を記憶部１２に格納する。なお、学習を終了するタイミングは、所定数以上の学習データを用いた学習が完了した時点や復元誤差が閾値未満となった時点など、任意に設定することができる。

図２に戻り、評価用学習部４０は、区間決定部４１、前処理部４２、学習データ生成部４３、学習部４４を有し、移行部分評価用モデル１８の学習を実行する処理部である。

区間決定部４１は、フレーム情報１６から、移行部分評価用モデル１８の学習データとして利用する区間を決定する処理部である。具体的には、区間決定部４１は、組み合わせ有の学習データを生成する場合は、「motion＝combination」に該当する区間を切り出し区間に決定し、組み合わせ無の学習データを生成する場合は、「motion＝none」または「motion＝element」に該当する区間を切り出し区間に決定する。そして、区間決定部４１は、決定した各切り出し区間を前処理部４２等に出力する。

前処理部４２は、移行部分評価用モデル１８の学習を実行するために、１８関節の骨格情報からエッジデータを算出する処理部である。具体的には、前処理部４２は、区間決定部４１により決定された区間のフレームから、所定数（例えば６０）の切り出す箇所を乱数で決定し、決定したフレームに対応する骨格データ１５を取得する。その後、前処理部４２は、式（１）を用いて、各骨格データ１５から１８関節それぞれに対応するエッジデータを算出し、算出結果を学習データ生成部４３に出力する。

例えば、前処理部４２は、フレーム情報１６を参照し、切り出し区間に決定された「motion＝combination」の開始フレーム７２７と終了フレーム７４１を含むフレーム間を特定する。続いて、前処理部４２は、フレーム間が６０フレーム未満であることから、切り出し区間として、開始フレーム７２７から終了フレーム７４１を含むようにフレーム７０４からフレーム７６３までを切り出し区間に決定する。そして、前処理部４２は、フレーム７０４からフレーム７６３に該当する各骨格データ１５を用いて、１８関節ごとのエッジデータを算出する。

学習データ生成部４３は、時系列の骨格情報を用いて生成されたエッジデータを用いて、移行部分評価用モデル１８の学習に用いる学習データを生成する処理部である。具体的には、学習データ生成部４３は、１８関節それぞれについて、前処理部４２から入力された所定区間に該当するエッジデータ（切り出し前エッジデータ）と、エッジデータから技部分に該当するエッジデータを除外したデータ（切り出し後エッジデータ）とを生成する。そして、学習データ生成部４３は、１８関節ごとの切り出し前エッジデータと、１８関節ごとの切り出し後エッジデータと、ラベル（正解情報）とを対応付けた学習データを生成する。

図７は、学習データの生成を説明する図である。図７では、説明を簡略化するために、１関節を用いて説明する。図７に示すように、前処理部４２によって、組み合わせ部分に該当する「motion＝combination」の開始フレーム７２７から終了フレーム７４１を含むフレーム７０４からフレーム７６３までのエッジデータが算出される。すると、学習データ生成部４３は、フレーム７０４からフレーム７６３までに対応するエッジデータを切り出し前エッジデータとする。また、学習データ生成部４３は、フレーム７０４からフレーム７６３のうち技部分を除外し、移行部分のフレーム７２７からフレーム７４１を切り出した切り出し後エッジデータを生成する。そして、学習データ生成部４３は、切り出し前エッジデータ、切り出し後エッジデータ、ラベル（１）を対応付けた学習データを生成する。

ここで、学習データ生成部４３は、「motion＝combination」に該当する移行部分のフレームのエッジデータを用いて、組み合わせ有（ラベル＝１）の学習データを生成し、「motion＝none」または「motion＝element」に該当する移行部分のフレームのエッジデータを用いて、組み合わせ無（ラベル＝０）の学習データを生成する。

図８は、学習データを説明する図である。図８に示すように、学習データ生成部４３は、技部分（ａ）、技間の組み合わせ有（ｂ）、技間の組み合わせ無（ｃ）のそれぞれの区間について、説明変数となる入力データと目的変数となる出力データとを含む学習データを生成する。なお、図８では、説明を簡略化するために、１関節のみを図示するが、実際は１８関節のエッジデータが対応付けられる。

例えば、技部分（ａ）については、入力データとして技部分を含む切り出し前エッジデータ、出力データＡとして入力データの技部分が除去された切り出し後エッジデータ、出力データＢとして組み合わせ無（ラベル＝０）を含む学習データが生成される。

また、技間の組み合わせ有の部分（ｂ）については、入力データとして技部分および組み合わせを含む切り出し前エッジデータ、出力データＡとして入力データの技部分が除去された切り出し後エッジデータ、出力データＢとして組み合わせ有（ラベル＝１）を含む学習データが生成される。

また、技間の組み合わせ無の部分（ｃ）については、入力データとして技部分および組み合わせではない移行部分を含む切り出し前エッジデータ、出力データＡとして入力データの技部分が除去された切り出し後エッジデータ、出力データＢとして組み合わせ無（ラベル＝０）を含む学習データが生成される。

学習部４４は、移行部分評価用モデル１８の学習を実行する処理部である。具体的には、学習部４４は、学習データの切り出し前エッジデータ（１８関節分）を説明変数、学習データの切り出し後エッジデータ（１８関節分）または組み合わせの有無の判定結果を目的変数として、移行部分評価用モデル１８に用いられるニューラルネットワークを学習する。

ここで、移行部分評価用モデル１８には、移行部分を切り出すモデルＡと、移行部分を評価するモデルＢとが含まれ、各モデルはオートエンコーダを用いて構成される。つまり、学習部４４は、時系列の各関節のエッジデータの変化を特徴量として、移行部分を抽出するモデルＡと、移行部分の時系列の変化を特徴量として、移行部分を評価するモデルＢとを含む、移行部分評価用モデル１８を学習する。

図９は、移行部分評価用モデル１８の学習を説明する図である。図９に示すように、学習部４４が、「技Ａ、技間、技Ｂ」で構成される入力データ（エッジデータ）をモデルＡに入力すると、モデルＡは、技部分を除外した技間のエッジデータを出力する。そして、学習部４４は、モデルＡの出力と学習データに含まれる切り出し後エッジデータとの差分に基づいて、モデルＡを学習する。

また、学習部４４が、モデルＡの出力をモデルＢに入力すると、モデルＢは、モデルＡへ入力された技間のエッジデータを復元する。このとき、学習部４４は、モデルＢ（例えばエンコーダの出力）から組み合わせ有無の判定結果を取得し、取得した組み合わせ有無の判定結果と学習データに含まれる正解情報（ラベル）との差分に基づいて、モデルＢの学習を実行する。

上述した図９の流れを、図８の（ｂ）に示す組み合わせ有の学習データを用いて具体的に説明する。学習部４４は、技と技間と技を含む入力データ（切り出し前エッジデータ）をモデルＡに入力し、モデルＡにより移行部分が切り出された出力結果を取得する。そして、学習部４４は、モデルＡの出力結果と、学習データにおける出力データＡとの誤差が最小化するように、誤差逆伝搬法などを用いてモデルＡを学習する。

その後、学習部４４は、モデルＡの出力結果をモデルＢに入力し、組み合わせ有無の判定結果をモデルＢから取得する。そして、学習部４４は、モデルＢから取得した組み合わせ有無の判定結果と、学習データにおける出力データＢとの誤差が最小化するように、誤差逆伝搬法などを用いてモデルＢを学習する。

このようにして、学習部４４は、各学習データを用いて、モデルＡとモデルＢを含む移行部分評価用モデル１８の学習を実行し、学習が完了すると、学習済みの移行部分評価用モデル１８を記憶部１２に格納する。なお、学習を終了するタイミングは、所定数以上の学習データを用いた学習が完了した時点や復元誤差が閾値未満となった時点など、任意に設定することができる。

（認識装置５０の構成）
図１０は、実施例１にかかる認識装置５０の機能構成を示す機能ブロック図である。図１０に示すように、認識装置５０は、通信部５１、記憶部５２、制御部６０を有する。

通信部５１は、他の装置との間の通信を制御する処理部であり、例えば通信インタフェースなどである。例えば、通信部５１は、３Ｄレーザセンサ５により撮影された演技者１の距離画像を受信し、学習装置１０から学習済みの各種モデルを取得し、認識結果を採点装置に送信する。

記憶部５２は、データや制御部６０が実行するプログラムなどを記憶する記憶装置であり、例えばメモリやプロセッサなどである。この記憶部５２は、距離画像５３、技認識用モデル５４、移行部分評価用モデル５５、骨格データ５６、エッジデータ５７を記憶する。距離画像５３は、３Ｄレーザセンサ５により撮像される演技者１の距離画像であり、例えば採点対象の演技者の演技を撮像した距離画像である。なお、距離画像５３は、演技者１の演技中に随時撮像される。

技認識用モデル５４は、学習装置１０から取得した学習済みの技認識用モデルである。この技認識用モデル５４は、入力データとしてある区間に該当する１８関節のエッジデータが入力されると、予め指定した各技に該当する確率（尤度）を出力する。

移行部分評価用モデル５５は、学習装置１０から取得した学習済みの移行部分評価用モデルである。この移行部分評価用モデル５５は、入力データとしてある区間に該当する１８関節のエッジデータが入力されると、技間の組み合わせに該当する確率（尤度）を出力する。

骨格データ５６は、各距離画像を用いて生成される骨格に関する情報を含むデータである。具体的には、骨格データ５６は、距離画像を用いて取得された、骨格定義１４に定義される各関節の位置である。なお、骨格データ５６は、図５に示した骨格データ１５と同様の情報なので、詳細な説明は省略する。

エッジデータ５７は、骨格データ５６の骨格情報を用いて算出された１８関節の各エッジデータである。例えば、エッジデータ５７は、接続された骨格（関節間）の向きを表すデータである。

制御部６０は、認識装置５０全体を司る処理部であり、例えばプロセッサなどである。制御部６０は、骨格情報生成部６１、前処理部６２、技認識部６３、組み合わせ評価部６４、出力部６５を有し、技の認識や技間の組み合わせ判定を実行する。なお、骨格情報生成部６１、前処理部６２、技認識部６３、組み合わせ評価部６４、出力部６５は、プロセッサなどの電子回路の一例やプロセッサなどが有するプロセスの一例である。

骨格情報生成部６１は、３Ｄレーザセンサ５により撮像される各距離画像から、１８個の関節の位置を含む骨格情報を生成する処理部である。例えば、骨格情報生成部６１は、距離画像に対して、背景差分やノイズ補正などを実行して３Ｄ点群データを生成する。また、骨格情報生成部６１は、３Ｄ点群データから１６個の関節位置を特定した低精度の骨格情報を生成する。そして、骨格情報生成部６１は、低精度の骨格情報と、３Ｄ点群データとを用いて、骨格および点群のフィティングを実行し、高精度の骨格情報を生成する。その後、骨格情報生成部６１は、距離画像に対応するフレームの番号と、距離画像と、骨格情報とを対応付けた骨格データ５６を記憶部５２に格納する。

なお、低精度の骨格情報の生成には、距離画像や３Ｄ点群データから骨格情報を認識する学習済みのモデルを用いることもできる。また、学習装置１０における骨格データ１５における骨格情報も同様の手法により生成することができる。

前処理部６２は、各骨格情報からエッジデータを生成する処理部である。具体的には、前処理部６２は、各モデルを用いた技認識処理または組み合わせ判定処理の前処理として、１８関節の各エッジデータの生成を実行する。例えば、前処理部６２は、学習装置１０と同様、式（１）と各骨格データ５６の骨格情報とを用いて、各関節のエッジデータ５７を算出する。そして、前処理部６２は、フレームと各関節のエッジデータ５７とを対応付けて記憶部５２に格納する。

技認識部６３は、時系列に取得した演技者１のエッジデータと技認識用モデル５４とを用いて技認識を実行する処理部である。具体的には、技認識部６３は、ある区間のフレームに対応する１８関節のエッジデータ５７を１つの入力データとして技認識用モデル５４に入力し、技認識用モデル５４の出力結果として各技の尤度を取得する。そして、技認識部６３は、出力結果に含まれる尤度のうち、最も高い尤度に対応する技を技認識結果とする。このとき、各技に対応する尤度のいずれもが閾値未満の場合、該当する技無しと判定することもできる。

例えば、技認識部６３は、フレーム１からフレーム６０を用いて生成された各エッジデータを技認識用モデル５４に入力し、技認識用モデル５４の出力結果に基づき、技か否かを判定する。続いて、技認識部６３は、フレーム２からフレーム６１を用いて生成された各エッジデータを技認識用モデル５４に入力し、技認識用モデル５４の出力結果に基づき、技か否かを判定する。さらに続いて、技認識部６３は、フレーム３からフレーム６３を用いて生成された各エッジデータを技認識用モデル５４に入力し、技認識用モデル５４の出力結果に基づき、技か否かを判定する。

このようにして、技認識部６３は、演技者１の各演技を撮像した距離画像に基づくエッジデータを用いて、演技者１の技認識を繰り返し実行し、認識結果を組み合わせ評価部６４や出力部６５に出力したり、記憶部５２に格納したりする。

組み合わせ評価部６４は、時系列に取得した演技者１のエッジデータと移行部分評価用モデル５５とを用いて、移行部分の評価を実行する処理部である。例えば、組み合わせ評価部６４は、１８関節の各エッジデータを１つの入力データとして移行部分評価用モデル５５のモデルＡに入力して、技の部分が除去された移行部分に該当するエッジデータを生成する。続いて、組み合わせ評価部６４は、モデルＡの出力結果である移行部分に該当するエッジデータをモデルＢに入力し、組み合わせに該当する確率（尤度）を取得する。そして、組み合わせ評価部６４は、尤度を組み合わせ判定結果（評価結果）として、出力部６５に出力したり、記憶部５２に格納したりする。

なお、組み合わせ評価部６４も、技認識部６３と同様、フレームを１つずつずらして入力データを変更し、組み合わせの評価を繰り返す。また、組み合わせの有無の判定結果は、およそ０（組み合わせ無）から１（組み合わせ有）の尤度で出力される。このため、０．５を閾値として、組み合わせの有無を出力してもよく、０．５に近い値の場合（例えば０．４から０．６）は、評価不能とみなすこともできる。

図１０に戻り、出力部６５は、技の認識結果や組み合わせの判定結果を出力する処理部である。例えば、出力部６５は、技認識部６３から取得した技の認識結果や組み合わせ評価部６４から取得した組み合わせの評価結果を採点装置９０に出力したり、ディスプレイなどの表示部に出力したりする。なお、出力部６５は、技の認識結果とともに技の判定に利用されたフレーム番号や、組み合わせの評価結果とともに組み合わせの評価に利用されたフレーム番号をあわせて出力することもできる。

（採点装置９０の構成）
図１１は、実施例１にかかる採点装置９０の機能構成を示す機能ブロック図である。図１１に示すように、採点装置９０は、通信部９１、記憶部９２、制御部９４を有する。通信部９１は、認識装置５０から技の認識結果、技間の組み合わせの評価結果、演技者の骨格情報（３次元の骨格位置情報）などを受信する。

記憶部９２は、データや制御部９４が実行するプログラムなどを記憶する記憶装置の一例であり、例えばメモリやハードディスクなどである。この記憶部９２は、技情報９３を記憶する。技情報９３は、技の名前、難易度、得点、各関節の位置、関節の角度、採点ルールなどを対応付けた情報である。また、技情報９３には、技間の組み合わせと得点とを対応付けた組み合わせ採点情報なども含まれる。

制御部９４は、採点装置９０全体を司る処理部であり、例えばプロセッサなどである。この制御部９４は、採点部９５と出力制御部９６とを有し、認識装置５０に入力された情報にしたがって、演技者の採点などを行う。

採点部９５は、演技者の技の採点や演技者の演技の採点を実行する処理部である。具体的には、採点部９５は、認識装置５０から随時送信される技の認識結果や組み合わせの評価結果と、技情報９３とを比較して、演技者１が演技した技や演技の採点を実行する。そして、採点部９５は、採点結果を出力制御部９６に出力する。

出力制御部９６は、採点部９５の採点結果などをディスプレイ等に表示する処理部である。例えば、出力制御部９６は、認識装置５０から、演技画像、各３Ｄレーザセンサによる撮像された距離画像、認識装置５０により生成された３次元の骨格情報、演技者１が演技中の各画像データ、採点結果などの各種情報を取得して、所定の画面に表示する。

図１２は、採点画像の一例を示す図である。図１２に示すように、採点画像には、演技者１の映像、演技者１の演技中の３Ｄ画像データ、Ｄスコア、実際された技を示すＳＭ（Symbol Mark）、実際された技の難易度を示すＤＶ（Difficulty Value）、実施された技のグループを示すＥＧ（Element Group）などが表示される。また、ＳＭの各技の下に、組み合わせに該当する技間が表示される。

［処理の流れ］
次に、上述した各装置による処理の流れを説明する。なお、技認識処理については、公知の学習モデルやルールベースにより処理を採用することもできるので、詳細な説明は省略する。

（移行部分評価用モデルの学習）
図１３は、移行部分評価用モデルの学習の流れを示すフローチャートである。図１３に示すように、学習装置１０の評価用学習部４０は、フレーム情報１６のうちどの区間を学習データとして切り出すかを決定する（Ｓ１０１）。

続いて、評価用学習部４０は、決定した区間から切り出し箇所を乱数で決定し（Ｓ１０２）、決定した箇所から骨格データを切り出す（Ｓ１０３）。そして、評価用学習部４０は、各骨格データに対して前処理を実行して１８関節分のエッジデータを算出する（Ｓ１０４）。

その後、評価用学習部４０は、前処理で得られた各エッジデータから、技部分（動作部分）を除外した移行部分（技間）の各エッジデータを生成し（Ｓ１０５）、学習データを生成する（Ｓ１０６）。そして、評価用学習部４０は、学習データを用いて、移行部分評価用モデル１８の学習を実行する（Ｓ１０７）。

（認識処理の流れ）
図１４は、認識処理の流れを示すフローチャートである。図１４に示すように、認識装置５０は、処理開始が指示されると（Ｓ２０１：Ｙｅｓ）、距離画像を取得し（Ｓ２０２）、骨格情報を生成する（Ｓ２０３）。

続いて、認識装置５０は、骨格情報から１８関節分のエッジデータを生成し（Ｓ２０４）、各エッジデータを技認識用モデル５４に入力して、技認識の結果を取得する（Ｓ２０５）。

続いて、認識装置５０は、取得済みのフレームから評価箇所を切り出し（Ｓ２０６）、切り出した箇所に対応する１８関節分のエッジデータを移行部分評価用モデル１８に入力して、移行部分を評価する（Ｓ２０７）。

ここで、認識装置５０は、出力結果に閾値以上の尤度が存在する場合（Ｓ２０８：Ｙｅｓ）、当該移行部分を組み合わせと判定し（Ｓ２０９）、出力結果に閾値以上の尤度が存在しない場合（Ｓ２０８：Ｎｏ）、当該移行部分を組み合わせではないと判定する（Ｓ２１０）。

なお、ここでは、技認識の後に組み合わせ評価を実行する例を示したが、これに限定されるものではなく、逆の順番でもよく、別々のフローで実行することもできる。

［効果］
上述したように、学習装置１０は、時系列の骨格データからエッジデータを算出し、エッジデータから移行部分のデータを出力するモデルＡを用意する。学習装置１０モデルＡから出力されたデータから、移行部分の評価結果を出力するモデルＢを用意する。そして、学習装置１０は、モデルＡとモデルＢを繋ぎ合わせた移行部分評価用モデル５５に対して、エッジデータを入力して、移行部分のデータと評価結果を出力として学習する。その後、認識装置５０は、移行部分評価用モデル５５を用いて、エッジデータを入力として、組み合わせの有無を判定する。

詳細には、認識装置５０は、複数の動作を実行する被写体の関節の位置情報に基づく骨格情報を、時系列に取得する。認識装置５０は、時系列の骨格情報に基づき、複数の動作に含まれる第一の動作と、第一の動作に続く第二の動作との間の移行期間を特定する。そして、認識装置５０は、特定した移行期間に対応する骨格情報を入力として、移行期間を評価することができる。この結果、認識装置５０は、動作と動作の間である移行部分を評価することができる。

また、移行部分を評価するためのルールベースを生成することなく、深層学習を用いた自動認識を実現することができるので、人手により採点する場合に比べて、採点者などの負荷を軽減することもできる。

また、移行部分を正確に評価することができるので、体操競技などにおける組み合わせ点（ＣＶ）やシリーズボーナス（ＳＢ）を正確に付与することができる。また、技の進化や採点ルールの変更等が発生した場合でも、技認識用モデル１７や移行部分評価用モデル１８の再学習を行うことで、これらに追従することができるので、自動採点システムの信頼性や汎用性を向上させることができる。

ここで、組み合わせ判定の検証データを説明する。図１５は、組み合わせ有と判定された検証例を示す図であり、図１６は、組み合わせ無と判定された検証例を示す図である。図１５と図１６では、ある関節について、移行部分評価用モデルのモデルＡへ入力した入力データと、移行部分評価用モデルのモデルＡが出力する出力データとを表示した。また、各グラフの横軸はフレーム数であり、縦軸は座標を正規化した値である。なお、実際は、１８関節について入力データと出力データとが存在するが、説明を分かりやすくするために、１関節を例示した。

図１５に示すように、ｘ軸の変化が小さく、ｙ軸とｚ軸が周期的に変化する入力データを移行部分評価用モデル５５へ入力すると、フレーム３０辺り、尤度が１．０近くになった。つまり、フレーム３０辺りで組み合わせ有となる移行部分が存在することが分かる。一方、図１６に示すように、ｘ軸、ｙ軸、ｚ軸が非周期的に変化する入力データを移行部分評価用モデル５５へ入力すると、フレーム２０からフレーム４０において尤度が１．０近くになった箇所が頻発した。つまり、フレーム２０からフレーム４０辺りで移行部分が存在するが組み合わせ無と判定される移行部分であることが分かる。この場合、例えば余分な腕の振りに該当する動作がされていると考えられる。

次に、図１７を用いて、一連の演技における組み合わせの判定結果を説明する。図１７は、組み合わせ判定の検証例を説明する図である。図１７の上図は、認識装置５０による組み合わせの判定結果を示し、図１７の下図は、審判による採点結果を示す。ここでは、両者を対比して説明する。図１７の下図において、審判は、フレーム１２５からフレーム１４０、フレーム１１６８からフレーム１１７３、フレーム２３６７からフレーム２３６９の各間を組み合わせと認定している。これに対して、図１７の上図に示した認識装置５０による組み合わせの判定結果でも同様の区間で尤度が１．０付近になっている。したがって、認識装置５０を用いて、技間の組み合わせを正確に判定できていることがわかる。

さて、これまで本発明の実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。

［切り出し箇所の特定］
実施例１では、学習を行う際に、フレームの開始位置を乱数により決定し切り出しを行う例を説明したが、乱数の確率分布を設定することで、特に動作部分と移行部分の境目を重点的に学習し、精度を上げることもできる。

図１８は、切り出し箇所の乱数の決定例を説明する図である。図１８の（ａ）に示すように、動作部分を切り出す場合、切り出す際の確率分布を正規分布（例えば標準偏差σ＝３）とする。同様の、図１８の（ｂ）に示すように、フレーム数が閾値未満である短い移行部分を切り出す場合、切り出す際の確率分布を正規分布とする。このようにすることで、一様分布で学習した場合に発生する「動作部分と移行部分の境目の学習も同じ重みで学習し、境界が混在する」ことを抑制でき、技間の中間部を重点的に学習することができる。

また、図１８の（ｃ）に示すように、フレーム数が閾値以上である長い移行部分を切り出す場合、切り出す際の確率分布をベータ分布（例えばａ＝０．５、ｂ＝０．５）とする。このようにすることで、一様分布で学習した場合に発生する「動作に無関係な部分も同じ重みで学習してしまう」ことを抑制でき、動作部分と移行部分の境目付近をやや重めに学習することができる。

［認識処理の別例］
例えば、実施例１では、移行部分評価用モデル５５のモデルＡを用いて、移行部分を抽出した後、移行部分評価用モデル５５のモデルＢを用いて、移行部分を評価する例を説明したが、これに限定されるものではない。例えば、移行部分が予め既知である場合には、移行部分評価用モデル５５のモデルＢのみを用いて、移行部分の評価を実行することもできる。

図１９は、移行部分の認識処理の別例を説明する図である。図１９に示すように、認識装置５０は、評価対象である移行部分が技Ａと技Ｂの技間であることが既知である場合、当該移行部分のエッジデータを、移行部分評価用モデル５５のモデルＡではなくモデルＢに入力する。そして、認識装置５０は、移行部分評価用モデル５５のモデルＢから、組み合わせ有無の判定結果を取得して、入力した移行部分が組み合わせに該当するか単なる移行部分であるかを評価する。

図２０は、既知である移行部分の特定を説明する図である。図２０に示すように、技認識用モデル５４により、フレーム１からフレーム６０が技Ａと認識され、フレーム６１からフレーム１２０まで技と認識されず、フレーム１２１からフレーム１８１が技Ｂと認識されたとする。この場合、組み合わせ評価部６４は、フレーム６１からフレーム１２０までを移行部分と特定することができ、移行部分のエッジデータを移行部分評価用モデル５５のモデルＢに直接入力して、移行部分が組み合わせに該当するか否かを評価する。この結果、移行部分の評価にかかる時間を短縮することができ、リアルタイム性の向上を図ることができる。

［適用例］
上記実施例では、体操競技を例にして説明したが、これに限定されるものではなく、選手が一連の技を行って審判が採点する他の競技にも適用することができる。他の競技の一例としては、フィギュアスケート、新体操、チアリーディング、水泳の飛び込み、空手の型、モーグルのエアーなどがある。例えば、フィギュアスケートに適用した場合、１回目のジャンプ着地と２回目のジャンプ開始の移行時に余分な動作が入っていないかを評価することができる。また、スポーツに限らず、トラック、タクシー、電車などの運転手の姿勢検出やパイロットの姿勢検出などにも適用することができる。例えば、ヘルスケアに適用した場合、足が地面から離れてから、同じ足が再度地面に着地するまでに、余分な動作が入っていないかを評価することができる。

［骨格情報］
また、上記実施例では、１８個の各関節の位置を用いる学習や認識を行う例を説明したが、これに限定されるものではなく、１個以上の関節を指定して学習等を実行することもできる。また、上記実施例では、骨格情報の一例として各関節の位置を例示して説明したが、これに限定されるものではなく、各関節の角度、手足の向き、顔の向きなど、予め定義できる情報であれば、様々な情報を採用することができる。

［数値等］
上記実施例で用いた数値などがあくまで一例であり、実施例を限定するものではなく、任意に設定変更することができる。また、フレームの数等も一例であり、任意に設定変更することができる。また、実施例１では、エッジデータを用いた例を説明したが、これに限定されるものではなく、例えば各関節の相対位置を示す相対座標データを用いることもできる。また、演技開始の先頭フレームや演技終了のフレームを含む区間の場合、他のフレーム数（例えば６０）に合わせるためのデータパティングなども任意に実行することができる。また、モデルには、ニューラルネットワークに限らず、様々な機械学習や深層学習を用いることができる。

［システム］
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。また、各３Ｄレーザセンサは、各装置に内蔵されていてもよく、各装置の外部装置として通信等で接続されていてもよい。

例えば、技認識と組み合わせ評価は、別々の装置で実装することもできる。また、学習装置１０、認識装置５０、採点装置９０は、任意に組み合わせた装置で実現することもできる。なお、骨格情報生成部６１は、取得部の一例であり、組み合わせ評価部６４は、特定部および評価部の一例であり、出力部６５は、出力部の一例である。

さらに、各装置にて行なわれる各処理機能は、その全部または任意の一部が、ＣＰＵおよび当該ＣＰＵにて解析実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。

［ハードウェア］
次に、学習装置１０、認識装置５０、採点装置９０などのコンピュータのハードウェア構成について説明する。なお、各装置は同様の構成を有するので、ここでは、コンピュータ１００として説明し、具体例は認識装置５０を例示する。

図２１は、ハードウェア構成例を説明する図である。図２１に示すように、コンピュータ１００は、通信装置１００ａ、ＨＤＤ（Hard Disk Drive）１００ｂ、メモリ１００ｃ、プロセッサ１００ｄを有する。また、図２１に示した各部は、バス等で相互に接続される。

通信装置１００ａは、ネットワークインタフェースカードなどであり、他のサーバとの通信を行う。ＨＤＤ１００ｂは、図１０等に示した機能を動作させるプログラムやＤＢを記憶する。

プロセッサ１００ｄは、図１０に示した各処理部と同様の処理を実行するプログラムをＨＤＤ１００ｂ等から読み出してメモリ１００ｃに展開することで、図１０等で説明した各機能を実行するプロセスを動作させる。すなわち、このプロセスは、認識装置５０が有する各処理部と同様の機能を実行する。具体的には、認識装置５０を例にすると、プロセッサ１００ｄは、骨格情報生成部６１、前処理部６２、技認識部６３、組み合わせ評価部６４、出力部６５等と同様の機能を有するプログラムをＨＤＤ１００ｂ等から読み出す。そして、プロセッサ１００ｄは、骨格情報生成部６１、前処理部６２、技認識部６３、組み合わせ評価部６４、出力部６５等と同様の処理を実行するプロセスを実行する。

このようにコンピュータ１００は、プログラムを読み出して実行することで認識方法を実行する情報処理装置として動作する。また、コンピュータ１００は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施例と同様の機能を実現することもできる。なお、この他の実施例でいうプログラムは、コンピュータ１００によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本発明を同様に適用することができる。

１０ 学習装置
１１ 通信部
１２ 記憶部
１３ 距離画像
１４ 骨格定義
１５ 骨格データ
１６ フレーム情報
１７ 技認識用モデル
１８ 移行部分評価用モデル
２０ 制御部
３０ 技認識学習部
３１ 前処理部
３２ 学習データ生成部
３３ 学習部
４０ 評価用学習部
４１ 区間決定部
４２ 前処理部
４３ 学習データ生成部
４４ 学習部
５０ 認識装置
５１ 通信部
５２ 記憶部
５３ 距離画像
５４ 技認識用モデル
５５ 移行部分評価用モデル
５６ 骨格データ
５７ エッジデータ
６０ 制御部
６１ 骨格情報生成部
６２ 前処理部
６３ 技認識部
６４ 組み合わせ評価部
６５ 出力部

Claims (8)

1. コンピュータが、
   複数の動作を実行する被写体の関節の位置情報に基づく骨格情報を、時系列に取得し、
   所定区間の各関節の骨格情報に基づく第１の時系列データの入力に応じて前記第１の時系列データから動作を除外した第２の時系列データを出力するように機械学習された抽出モデルと、前記第２の時系列データの入力に応じて動作の移行期間に該当する尤度を出力するように機械学習された評価モデルとを含む学習モデルに、取得された前記骨格情報に基づく評価対象の時系列データを入力し、
   前記学習モデルから前記評価対象の時系列データに対する前記尤度を含む出力結果を取得し、
   前記出力結果に基づき、前記評価対象の時系列データが前記移行期間に該当するか否かを評価し、
   前記移行期間の評価結果を出力する、
   処理を実行することを特徴とする評価方法。
2. 前記評価対象の時系列データを用いて、接続された骨格の向きを表すエッジデータを算出する処理を、前記コンピュータが実行し、
   前記入力する処理は、前記エッジデータを前記抽出モデルに入力して、前記抽出モデルの出力結果に基づき前記移行期間に該当する時系列データを取得し、前記移行期間に該当する時系列データを前記評価モデルに入力し、
   前記取得する処理は、前記学習モデルから前記尤度を含む出力結果を取得し、
   前記評価する処理は、前記評価モデルの出力結果に基づき、前記移行期間を評価する、ことを特徴とする請求項１に記載の評価方法。
3. 前記評価対象の時系列データを用いて、接続された骨格の向きを表すエッジデータを算出し、
   前記エッジデータに基づき各動作に該当する尤度を出力するように学習された特定モデルを用いて、複数の動作を検出する処理を、前記コンピュータが実行し、
   前記評価する処理は、前記評価対象の時系列データを前記特定モデルに入力して前記各動作の尤度を取得し、前記各動作の尤度に基づき前記評価対象の時系列データで行われた動作を評価する、ことを特徴とする請求項１に記載の評価方法。
4. 前記評価モデルは、
   前記移行期間が閾値未満の期間である場合、正規分布に従う乱数を用いて、前記移行期間に該当する骨格情報から所定数の骨格情報を取得し、
   前記移行期間が閾値以上の期間である場合、ベータ分布に従う乱数を用いて、前記移行期間に該当する骨格情報から所定数の骨格情報を取得し、
   取得された前記所定数の骨格情報を用いて、前記移行期間に該当する前記尤度を出力するように生成されることを特徴とする請求項１に記載の評価方法。
5. 前記入力する処理は、前記評価対象の時系列データにおける前記動作の移行期間が既知であり、かつ、前記移行期間が閾値未満の期間である場合、正規分布に従う乱数を用いて、前記移行期間に該当する骨格情報から所定数の骨格情報を取得し、前記評価対象の時系列データにおける前記動作の移行期間が既知であり、かつ、前記移行期間が閾値以上の期間である場合、ベータ分布に従う乱数を用いて、前記移行期間に該当する骨格情報から所定数の骨格情報を取得し、取得された所定数の骨格情報に基づく評価対象の時系列データを前記評価モデルに入力し、
   前記評価する処理は、前記評価モデルの出力結果に基づき、前記移行期間を評価することを特徴とする請求項１に記載の評価方法。
6. 前記取得する処理は、体操競技の演技を行う演技者の関節の位置情報に基づく骨格情報を時系列に取得し、
   前記入力する処理は、前記体操競技の演技中の骨格情報の時系列データのうち前記評価対象の骨格情報の時系列データを前記学習モデルに入力し、
   前記評価する処理は、前記学習モデルの出力結果から特定される前記体操競技の演技と演技の間の移行期間および前記移行期間の尤度に基づき、前記移行期間が、技と技の間の止まり、技と技の間に余分なステップ、技と技の間で足が台に触れる、技と技の間でバランスを失う、２つめの技の踏切の前に１つめの技で明らかに脚または腰が伸張する、余分な腕の振りのいずれの実施にも該当しない場合に、前記移行期間を技間の組み合わせであると評価する、ことを特徴とする請求項１に記載の評価方法。
7. コンピュータに、
   複数の動作を実行する被写体の関節の位置情報に基づく骨格情報を、時系列に取得し、
   所定区間の各関節の骨格情報に基づく第１の時系列データの入力に応じて前記第１の時系列データから動作を除外した第２の時系列データを出力するように機械学習された抽出モデルと、前記第２の時系列データの入力に応じて動作の移行期間に該当する尤度を出力するように機械学習された評価モデルとを含む学習モデルに、取得された前記骨格情報に基づく評価対象の時系列データを入力し、
   前記学習モデルから前記評価対象の時系列データに対する前記尤度を含む出力結果を取得し、
   前記出力結果に基づき、前記評価対象の時系列データが前記移行期間に該当するか否かを評価し、
   前記移行期間の評価結果を出力する、
   処理を実行させることを特徴とする評価プログラム。
8. 複数の動作を実行する被写体の関節の位置情報に基づく骨格情報を、時系列に取得し、
   所定区間の各関節の骨格情報に基づく第１の時系列データの入力に応じて前記第１の時系列データから動作を除外した第２の時系列データを出力するように機械学習された抽出モデルと、前記第２の時系列データの入力に応じて動作の移行期間に該当する尤度を出力するように機械学習された評価モデルとを含む学習モデルに、取得された前記骨格情報に基づく評価対象の時系列データを入力し、
   前記学習モデルから前記評価対象の時系列データに対する前記尤度を含む出力結果を取得し、
   前記出力結果に基づき、前記評価対象の時系列データが前記移行期間に該当するか否かを評価し、
   前記移行期間の評価結果を出力する、
   制御部を有することを特徴とする情報処理装置。

Images