JP7334337B2 - モーション決定装置、学習装置、モーション決定方法、学習方法及びプログラム - Google Patents

モーション決定装置、学習装置、モーション決定方法、学習方法及びプログラム Download PDF

Info

Publication number
JP7334337B2
JP7334337B2 JP2022512917A JP2022512917A JP7334337B2 JP 7334337 B2 JP7334337 B2 JP 7334337B2 JP 2022512917 A JP2022512917 A JP 2022512917A JP 2022512917 A JP2022512917 A JP 2022512917A JP 7334337 B2 JP7334337 B2 JP 7334337B2
Authority
JP
Japan
Prior art keywords
data
foot
user
head
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022512917A
Other languages
English (en)
Other versions
JPWO2021199177A1 (ja
Inventor
良徳 大橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Interactive Entertainment Inc
Original Assignee
Sony Interactive Entertainment Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Interactive Entertainment Inc filed Critical Sony Interactive Entertainment Inc
Publication of JPWO2021199177A1 publication Critical patent/JPWO2021199177A1/ja
Application granted granted Critical
Publication of JP7334337B2 publication Critical patent/JP7334337B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
    • G01P13/00—Indicating or recording presence, absence, or direction, of movement
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • User Interface Of Digital Computer (AREA)

Description

本発明は、モーション決定装置、学習装置、モーション決定方法、学習方法及びプログラムに関する。
ユーザが装着する複数のトラッカーの位置や向きを示すデータに基づいて、逆運動学（ＩＫ）によって、当該ユーザの体に含まれる、トラッカーが装着されていない部位を含む複数の部位の位置や向きを推定するボディトラッキングの技術が知られている。このようなボディトラッキングの技術を用いることで、例えば、実空間におけるユーザの全身のモーションが表現されたコンピュータグラフィックスを表示させることなどが可能となる。
現状では、ユーザの全身のモーションが的確に表現されるようにするには、ユーザは足にトラッカーを装着して、足の動きをトラッカーによってトラッキングする必要がある。しかし足へのトラッカーの装着はユーザにとって煩わしい。
本発明は上記課題に鑑みてなされたものであって、その目的の１つは、ユーザが足にトラッカーを装着することなくユーザの全身のモーションを的確に表現できるモーション決定装置、学習装置、モーション決定方法、学習方法及びプログラムを提供することにある。
上記課題を解決するために、本発明に係るモーション決定装置は、ユーザの上半身の部位に装着されたトラッカーから出力されるセンシングデータに基づいて、当該部位の速度の方向を特定する速度特定部と、特定される前記速度の方向に基づいて、前記ユーザの左足又は右足のうちの一方を動作足と特定し、他方を非動作足と特定する動作足特定部と、前記左足及び前記右足のそれぞれについて、当該足が前記動作足であるか前記非動作足であるかに基づいて、当該足のモーションを決定するモーション決定部と、を含む。
本発明の一態様では、前記モーション決定部は、前記非動作足の動きよりも前記動作足の動きの方が大きくなるよう前記左足及び前記右足のモーションを決定する。
また、本発明の一態様では、特定される前記速度の方向が前記ユーザの左足方向である場合に、前記ユーザの左足を動作足と特定し、特定される前記速度の方向が前記ユーザの右足方向である場合に、前記ユーザの右足を動作足と特定する。
また、本発明の一態様では、前記ユーザの頭部の高さ、前記ユーザの頭部の向き、前記ユーザの左手の位置を基準とした前記ユーザの頭部の位置、及び、前記ユーザの右手の位置を基準とした前記ユーザの頭部の位置を示す部位データと、前記部位データの時系列推移の特徴を示す特徴データと、を含む入力データを生成する入力データ生成部と、前記入力データの入力に応じて、新たな前記特徴データを出力する特徴抽出部と、前記特徴データに基づいて、前記ユーザの頭部の位置を基準とした前記ユーザの左足の位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の位置を推定する推定部と、をさらに含み、前記特徴抽出部は、最新のタイミングにおける前記部位データと、当該部位データの時系列推移の特徴を示す特徴データと、を含む前記入力データの入力に応じて、当該最新のタイミングまでの前記部位データの前記時系列推移の特徴を示す前記特徴データを出力し、前記推定部は、前記最新のタイミングまでの前記部位データの前記時系列推移の特徴を示す前記特徴データに基づいて、当該最新のタイミングにおける、前記ユーザの頭部の位置を基準とした前記ユーザの左足の位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の位置を推定し、前記動作足及び前記非動作足のそれぞれは、互いに異なる係数に対応付けられており、前記モーション決定部は、前記左足及び前記右足のそれぞれについて、前記最新のタイミングにおいて前記推定部により推定された当該足の位置と、当該足に対応付けられている前記係数と、に基づいて、当該最新のタイミングにおける当該足の位置を決定する。
この態様では、前記モーション決定部は、前記最新のタイミングにおいて前記推定部により推定された前記足の位置と、当該最新のタイミングの直前のタイミングにおいて前記モーション決定部により決定された当該足の位置と、を補間した位置を、前記最新のタイミングにおける当該足の位置に決定してもよい。
さらに、前記モーション決定部は、前記最新のタイミングにおいて推定された前記動作足の位置と前記直前のタイミングにおいて決定された前記動作足の位置との間の距離に第１の係数を乗じた距離だけ、前記直前のタイミングにおいて決定された前記動作足の位置から離れた位置を、前記動作足の位置に決定し、前記モーション決定部は、前記最新のタイミングにおいて推定された前記非動作足の位置と前記直前のタイミングにおいて決定された前記非動作足の位置との間の距離に第２の係数を乗じた距離だけ、前記直前のタイミングにおいて決定された前記非動作足の位置から離れた位置を、前記非動作足の位置に決定し、前記第１の係数は前記第２の係数よりも大きくてもよい。
また、前記推定部は、前記最新のタイミングまでの前記時系列推移の特徴を示す前記特徴データに基づいて、当該最新のタイミングにおける、前記ユーザの頭部の位置を基準とした前記ユーザの左足の水平面上における位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の水平面上における位置を推定し、前記推定部は、前記最新のタイミングの直前のタイミングにおける前記足の速度の大きさに基づいて、当該足の高さ方向における位置を推定してもよい。
また、特定される前記速度の大きさが所定の閾値を超えており、特定される前記速度の方向が前記ユーザの左足方向である場合に、前記ユーザの左足を前記動作足と特定し、特定される前記速度の大きさが前記閾値を超えており、特定される前記速度の方向が前記ユーザの右足方向である場合に、前記ユーザの右足を前記動作足と特定し、特定される前記速度の大きさが前記閾値以下であり、前記推定部により直前に推定された前記足の位置と、当該位置に基づいて前記モーション決定部により直前に決定された前記足の位置との間の距離が所定距離以下である場合は、前記動作足又は前記非動作足の一方を他方に変更するとともに、前記他方を前記一方に変更してもよい。
また、特定される前記速度の大きさに応じて、前記特徴抽出部に前記入力データが入力されるか否かを制御する入力制御部、をさらに含み、前記特徴抽出部に前記入力データが入力されないよう制御される際には、前記モーション決定部は、前記足の位置の決定に既に用いられた前記推定部による直前の推定結果に基づいて、前記最新のタイミングにおける当該足の位置を決定してもよい。
また、本発明の一態様では、前記モーション決定部は、鉛直方向に延伸する基準となる線から前記足の位置までの距離に基づいて、基準となる水平方向の軸を中心とする当該足の回転を決定する。
また、本発明に係る学習装置は、ユーザの頭部の高さ、前記ユーザの頭部の向き、前記ユーザの左手の位置を基準とした前記ユーザの頭部の位置、及び、前記ユーザの右手の位置を基準とした前記ユーザの頭部の位置を示す部位データと、前記部位データの時系列推移の特徴を示す特徴データと、を含む入力データを生成する入力データ生成部と、前記入力データの入力に応じて、新たな前記特徴データを出力する特徴抽出部と、前記特徴データに基づいて、前記ユーザの頭部の位置を基準とした前記ユーザの左足の位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の位置を推定する推定部と、前記推定の結果に基づいて、前記特徴抽出部又は前記推定部のうちの少なくとも一方を学習する学習部と、を含み、前記特徴抽出部は、最新のタイミングにおける前記部位データと、当該部位データの時系列推移の特徴を示す特徴データと、を含む前記入力データの入力に応じて、当該最新のタイミングまでの前記部位データの前記時系列推移の特徴を示す前記特徴データを出力し、前記学習部は、前記推定部による、前記最新のタイミングまでの前記部位データの前記時系列推移の特徴を示す前記特徴データに基づく、当該最新のタイミングにおける、前記ユーザの頭部の位置を基準とした前記ユーザの左足の位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の位置の推定の結果に基づいて、前記学習を実行する。
また、本発明に係るモーション決定方法は、ユーザの上半身の部位に装着されたトラッカーから出力されるセンシングデータに基づいて、当該部位の速度の方向を特定するステップと、特定される前記速度の方向に基づいて、前記ユーザの左足又は右足のうちの一方を動作足と特定し、他方を非動作足と特定するステップと、前記左足及び前記右足のそれぞれについて、当該足が前記動作足であるか前記非動作足であるかに基づいて、当該足のモーションを決定するステップと、を含む。
また、本発明に係る学習方法は、ユーザの頭部の高さ、前記ユーザの頭部の向き、前記ユーザの左手の位置を基準とした前記ユーザの頭部の位置、及び、前記ユーザの右手の位置を基準とした前記ユーザの頭部の位置を示す部位データと、前記部位データの時系列推移の特徴を示す特徴データと、を含む入力データを生成する入力データ生成ステップと、特徴抽出部が、前記入力データの入力に応じて、新たな前記特徴データを出力する特徴抽出ステップと、推定部が、前記特徴データに基づいて、前記ユーザの頭部の位置を基準とした前記ユーザの左足の位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の位置を推定する推定ステップと、前記推定の結果に基づいて、前記特徴抽出部又は前記推定部のうちの少なくとも一方を学習する学習ステップと、を含み、前記特徴抽出ステップでは、前記特徴抽出部が、最新のタイミングにおける前記部位データと、当該部位データの時系列推移の特徴を示す特徴データと、を含む前記入力データの入力に応じて、当該最新のタイミングまでの前記部位データの前記時系列推移の特徴を示す前記特徴データを出力し、前記学習ステップでは、前記推定部による、前記最新のタイミングまでの前記部位データの前記時系列推移の特徴を示す前記特徴データに基づく、当該最新のタイミングにおける、前記ユーザの頭部の位置を基準とした前記ユーザの左足の位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の位置の推定の結果に基づいて、前記学習を実行する。
また、本発明に係るプログラムは、ユーザの上半身の部位に装着されたトラッカーから出力されるセンシングデータに基づいて、当該部位の速度の方向を特定する手順、特定される前記速度の方向に基づいて、前記ユーザの左足又は右足のうちの一方を動作足と特定し、他方を非動作足と特定する手順、前記左足及び前記右足のそれぞれについて、当該足が前記動作足であるか前記非動作足であるかに基づいて、当該足のモーションを決定する手順、をコンピュータに実行させる。
また、本発明に係る別のプログラムは、ユーザの頭部の高さ、前記ユーザの頭部の向き、前記ユーザの左手の位置を基準とした前記ユーザの頭部の位置、及び、前記ユーザの右手の位置を基準とした前記ユーザの頭部の位置を示す部位データと、前記部位データの時系列推移の特徴を示す特徴データと、を含む入力データを生成する入力データ生成手順、特徴抽出部が、前記入力データの入力に応じて、新たな前記特徴データを出力する特徴抽出手順、推定部が、前記特徴データに基づいて、前記ユーザの頭部の位置を基準とした前記ユーザの左足の位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の位置を推定する推定手順、前記推定の結果に基づいて、前記特徴抽出部又は前記推定部のうちの少なくとも一方を学習する学習手順、をコンピュータに実行させ、前記特徴抽出手順では、前記特徴抽出部が、最新のタイミングにおける前記部位データと、当該部位データの時系列推移の特徴を示す特徴データと、を含む前記入力データの入力に応じて、当該最新のタイミングまでの前記部位データの前記時系列推移の特徴を示す前記特徴データを出力し、前記学習手順では、前記推定部による、前記最新のタイミングまでの前記部位データの前記時系列推移の特徴を示す前記特徴データに基づく、当該最新のタイミングにおける、前記ユーザの頭部の位置を基準とした前記ユーザの左足の位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の位置の推定の結果に基づいて、前記学習を実行する。
本発明の一実施形態に係るエンタテインメントシステムの一例を示す構成図である。 本発明の一実施形態に係るエンタテインメント装置の一例を示す構成図である。 スケルトンモデルの一例を示す図である。 胸部ノードの向きの推定に用いられる機械学習モデルの学習の一例を示す図である。 図４に示す機械学習モデルを用いた胸部ノードの向きの推定の一例を示す図である。 左手首ノード又は右手首ノードの向きの推定に用いられる機械学習モデルの学習の一例を示す図である。 図６に示す機械学習モデルを用いた左手首ノード又は右手首ノードの向きの推定の一例を示す図である。 本発明の一実施形態に係るエンタテインメント装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るエンタテインメント装置で実装される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るエンタテインメント装置で行われる処理の流れの一例を示すフロー図である。 本発明の一実施形態に係るエンタテインメント装置で行われる処理の流れの一例を示すフロー図である。 胸部ノードの回転の推定に用いられる機械学習モデルの学習の一例を示す図である。 図１２に示す機械学習モデルを用いた胸部ノードの回転の推定の一例を示す図である。 左手首ノードの向きの推定に用いられる機械学習モデルの学習の一例を示す図である。 図１４に示す機械学習モデルを用いた左手首ノードの向きの推定の一例を示す図である。 頭部ノードの高さの推定に用いられる機械学習モデルの学習の一例を示す図である。 図１６に示す機械学習モデルを用いた頭部ノードの高さの推定の一例を示す図である。 逐次的な推定の一例を示す模式図である。 腰部ノードの回転の推定に用いられる機械学習モデルの学習の一例を示す図である。 図１９に示す機械学習モデルを用いた腰部ノードの向きの推定の一例を示す図である。 腰部ノードの位置を基準とした頭部ノードの位置の推定に用いられる機械学習モデルの学習の一例を示す図である。 図２１に示す機械学習モデルを用いた腰部ノードの位置を基準とした頭部ノードの位置の推定の一例を示す図である。 胸部ノードの位置を基準とした頭部ノードの位置の推定に用いられる機械学習モデルの学習の一例を示す図である。 図２３に示す機械学習モデルを用いた胸部ノードの位置を基準とした頭部ノードの位置の推定の一例を示す図である。 胸部ノードの回転の推定に用いられる機械学習モデルの学習の一例を示す図である。 図２５に示す機械学習モデルを用いた胸部ノードの回転の推定の一例を示す図である。 左手首ノードの向きの推定に用いられる機械学習モデルの学習の一例を示す図である。 図２７に示す機械学習モデルを用いた左手首ノードの向きの推定の一例を示す図である。 ユーザが着座姿勢にあるか立ち姿勢にあるかの推定に用いられる機械学習モデルの学習の一例を示す図である。 図２９に示す学習済の機械学習モデルを用いた、ユーザが着座姿勢にあるか立ち姿勢にあるかの推定の一例を示す図である。 本発明の一実施形態に係るエンタテインメント装置で行われる処理の流れの一例を示すフロー図である。 ユーザがゲームをプレイしている様子の一例を示す模式図である。 頭部の速度の方向に基づく動作足の決定の一例を模式的に示す図である。 頭部の位置を基準とした足の仮水平方向位置の推定に用いられる機械学習モデルの学習の一例を示す図である。 図３４に示す機械学習モデルを用いた、頭部の位置を基準とした足の仮水平方向位置の推定の一例を示す図である。 動作足の位置の決定方法の一例を説明する図である。 非動作足の位置の決定方法の一例を説明する図である。 図９に示す機能に追加される機能の一例を示す機能ブロック図である。 本発明の一実施形態に係るエンタテインメント装置で行われる処理の流れの一例を示すフロー図である。
［システム構成］
図１は、本発明の一実施形態に係るエンタテインメントシステム１０の構成の一例を示す図である。図２は、本実施形態に係るエンタテインメント装置１４の構成の一例を示す図である。
図１に示すように、本実施形態に係るエンタテインメントシステム１０は、複数のトラッカー１２（図１の例ではトラッカー１２ａ～１２ｅ）とエンタテインメント装置１４と中継装置１６とディスプレイ１８とカメラマイクユニット２０とを含んでいる。
本実施形態に係るトラッカー１２は、例えば、当該トラッカー１２の位置や向きを追跡するためのデバイスである。ここでトラッカー１２が、例えばカメラ、慣性センサ（ＩＭＵ）、地磁気センサ（方位センサ）、加速度センサ、モーションセンサ、ＧＰＳ（Global Positioning System）モジュールなどといった各種センサを備えていてもよい。そしてトラッカー１２は、当該トラッカー１２が備えるセンサによる計測結果であるセンシングデータに基づいて、当該トラッカー１２の位置及び向きを特定してもよい。
また例えば、後述するカメラマイクユニット２０に含まれるカメラ２０ａが撮影する、トラッカー１２の像が含まれる画像に基づいて、当該トラッカー１２の位置及び向きが特定されてもよい。
本実施形態ではトラッカー１２ａ、トラッカー１２ｂ、トラッカー１２ｃ、トラッカー１２ｄ、トラッカー１２ｅは、それぞれ、ユーザの頭部、左手、右手、左足、右足に装着される。ここで図１に示すようにトラッカー１２ｂやトラッカー１２ｃはユーザによって手で把持されるものであってもよい。本実施形態ではトラッカー１２ａ、トラッカー１２ｂ、トラッカー１２ｃ、トラッカー１２ｄ、トラッカー１２ｅによって特定される位置及び向きは、それぞれ、ユーザの頭部、左手、右手、左足、右足の位置及び向きに相当する。このように本実施形態では複数のトラッカー１２によって、ユーザの体に含まれる複数の部位の位置及び向きが特定されることとなる。
本実施形態に係るエンタテインメント装置１４は、例えばゲームコンソール、ＤＶＤプレイヤ、Ｂｌｕ－ｒａｙ（登録商標）プレイヤなどといったコンピュータである。本実施形態に係るエンタテインメント装置１４は、例えば記憶されている、あるいは、光ディスクに記録された、ゲームプログラムの実行やコンテンツの再生などによって映像や音声を生成する。そして本実施形態に係るエンタテインメント装置１４は、生成される映像を表す映像信号や生成される音声を表す音声信号を、中継装置１６を経由してディスプレイ１８に出力する。
本実施形態に係るエンタテインメント装置１４には、例えば図２に示すように、プロセッサ３０、記憶部３２、通信部３４、入出力部３６が含まれる。
プロセッサ３０は、例えばエンタテインメント装置１４にインストールされるプログラムに従って動作するＣＰＵ等のプログラム制御デバイスである。本実施形態に係るプロセッサ３０には、ＣＰＵから供給されるグラフィックスコマンドやデータに基づいてフレームバッファに画像を描画するＧＰＵ（Graphics Processing Unit）も含まれている。
記憶部３２は、例えばＲＯＭやＲＡＭ等の記憶素子やハードディスクドライブなどである。記憶部３２には、プロセッサ３０によって実行されるプログラムなどが記憶される。また、本実施形態に係る記憶部３２には、ＧＰＵにより画像が描画されるフレームバッファの領域が確保されている。
通信部３４は、例えば無線ＬＡＮモジュールなどの通信インタフェースなどである。
入出力部３６は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）ポート、ＵＳＢポートなどの入出力ポートである。
本実施形態に係る中継装置１６は、エンタテインメント装置１４から出力される映像信号や音声信号を中継してディスプレイ１８に出力するコンピュータである。
本実施形態に係るディスプレイ１８は、例えば液晶ディスプレイ等であり、エンタテインメント装置１４から出力される映像信号が表す映像などを表示させる。
本実施形態に係るカメラマイクユニット２０は、例えば被写体を撮像した画像をエンタテインメント装置１４に出力するカメラ２０ａ及び周囲の音声を取得して当該音声を音声データに変換してエンタテインメント装置１４に出力するマイク２０ｂを含んでいる。また本実施形態に係るカメラ２０ａはステレオカメラである。
トラッカー１２と中継装置１６とは、例えば、無線によるデータの送受信が互いに可能になっている。エンタテインメント装置１４と中継装置１６とは、例えば、ＨＤＭＩケーブルやＵＳＢケーブルなどを介して接続されており、データの送受信が互いに可能になっている。中継装置１６とディスプレイ１８とは、例えば、ＨＤＭＩケーブルなどを介して接続されている。エンタテインメント装置１４とカメラマイクユニット２０とは、例えば、ＡＵＸケーブルなどを介して接続されている。
本実施形態では例えば、エンタテインメント装置１４によってゲームプログラムが実行されている際に、図３に示すスケルトンモデル４０における、ユーザの体に含まれる複数の部位の位置又は向きに応じたゲーム処理等の各種の処理が実行される。そして当該処理の結果に応じた映像が例えばディスプレイ１８に表示される。
［胸部ノード又は腰部ノードの向きの推定の一例、並びに、左手首ノード及び右手首ノードの向きの推定の一例］
図３に示すように、本実施形態に係るスケルトンモデル４０には、頭部ノード４２ａ、左手ノード４２ｂ、右手ノード４２ｃ、左足ノード４２ｄ、右足ノード４２ｅが含まれている。頭部ノード４２ａは、トラッカー１２ａが装着されるユーザの頭部に相当する。左手ノード４２ｂは、トラッカー１２ｂが装着されるユーザの左手に相当する。右手ノード４２ｃは、トラッカー１２ｃが装着されるユーザの右手に相当する。左足ノード４２ｄは、トラッカー１２ｄが装着されるユーザの左足に相当する。右足ノード４２ｅは、トラッカー１２ｅが装着されるユーザの右足に相当する。
またスケルトンモデル４０には、上記のノード４２の他に、胸部ノード４２ｆ、腰部ノード４２ｇ、左肩ノード４２ｈ、左肘ノード４２ｉ、左手首ノード４２ｊが含まれている。またスケルトンモデル４０には、さらに、右肩ノード４２ｋ、右肘ノード４２ｌ、右手首ノード４２ｍ、左膝ノード４２ｎ、左足首ノード４２ｏ、右膝ノード４２ｐ、右足首ノード４２ｑが含まれている。
ここで図３に示すように、頭部ノード４２ａと胸部ノード４２ｆとはリンクで接続されている。また胸部ノード４２ｆと腰部ノード４２ｇとはリンクで接続されている。
また胸部ノード４２ｆと左肩ノード４２ｈとはリンクで接続されている。また左肩ノード４２ｈと左肘ノード４２ｉとはリンクで接続されている。また左肘ノード４２ｉと左手首ノード４２ｊとはリンクで接続されている。また左手首ノード４２ｊと左手ノード４２ｂとはリンクで接続されている。
また胸部ノード４２ｆと右肩ノード４２ｋとはリンクで接続されている。また右肩ノード４２ｋと右肘ノード４２ｌとはリンクで接続されている。また右肘ノード４２ｌと右手首ノード４２ｍとはリンクで接続されている。また右手首ノード４２ｍと右手ノード４２ｃとはリンクで接続されている。
また腰部ノード４２ｇと左膝ノード４２ｎとはリンクで接続されている。また左膝ノード４２ｎと左足首ノード４２ｏとはリンクで接続されている。また左足首ノード４２ｏと左足ノード４２ｄとはリンクで接続されている。
また腰部ノード４２ｇと右膝ノード４２ｐとはリンクで接続されている。また右膝ノード４２ｐと右足首ノード４２ｑとはリンクで接続されている。また右足首ノード４２ｑと右足ノード４２ｅとはリンクで接続されている。
これらのノード４２は、それぞれユーザの体に含まれる部位に対応している。そして本実施形態では例えば、複数のトラッカー１２について特定される位置及び向きに基づくボディトラッキングが行える。ここでは例えば、スケルトンモデル４０に含まれる複数のノード４２のそれぞれについての、初期状態における基準の位置に対する位置及び初期状態における基準の向きに対する向きの推定が実行される。
ここで例えば、トラッカー１２ａについて特定される位置及び向きを示すデータに基づいて、頭部ノード４２ａの位置及び向きは決定できる。同様に、トラッカー１２ｂについて特定される位置及び向きを示すデータに基づいて、左手ノード４２ｂの位置及び向きは決定できる。また、トラッカー１２ｃについて特定される位置及び向きを示すデータに基づいて、右手ノード４２ｃの位置及び向きは決定できる。また、トラッカー１２ｄについて特定される位置及び向きを示すデータに基づいて、左足ノード４２ｄの位置及び向きは決定できる。また、トラッカー１２ｅについて特定される位置及び向きを示すデータに基づいて、右足ノード４２ｅの位置及び向きは決定できる。
ここで、決定される頭部ノード４２ａ、左手ノード４２ｂ、右手ノード４２ｃ、左足ノード４２ｄ、右足ノード４２ｅの位置及び向きを示すデータに基づいて、逆運動学（ＩＫ）によって、他のノード４２の位置及び向きを推定することが考えられる。
しかしこの場合、胸部ノード４２ｆ又は腰部ノード４２ｇの向きの情報がないと、逆運動学によって、他のノード４２についての位置及び向きを推定することができない。特に他のノード４２の向きの推定が困難である。
また左手ノード４２ｂの位置及び向きを示すデータがあっても左手首ノード４２ｊの向きの情報がないと、逆運動学によって、左肘ノード４２ｉの位置及び向きを推定することが困難なことがある。例えば、手を振る動作などといった手だけを動かす動作を行った際に、実際には肘が大きく動いていないにも関わらず肘の位置が大きく動く推定結果が得られてしまうことがある。
同様に、右手ノード４２ｃの位置及び向きを示すデータがあっても右手首ノード４２ｍの向きの情報がないと、逆運動学によって、右肘ノード４２ｌの位置及び向きを推定することが困難なことがある。
そこで本実施形態では以下のようにして、頭部ノード４２ａ、左手ノード４２ｂ、右手ノード４２ｃ、左足ノード４２ｄ、右足ノード４２ｅの位置及び向きを示すデータに基づいて、胸部ノード４２ｆ又は腰部ノード４２ｇの向きを的確に推定できるようにした。また本実施形態では以下のようにして、頭部ノード４２ａ、左手ノード４２ｂ、右手ノード４２ｃ、左足ノード４２ｄ、右足ノード４２ｅの位置及び向きを示すデータに基づいて、左手首ノード４２ｊ及び右手首ノード４２ｍの向きを的確に推定できるようにした。
なお本実施形態では例えば、所定のサンプリングレートでトラッカー１２ａ～１２ｅのそれぞれについて、当該トラッカー１２の位置及び向きの特定が行われることとする。そしてトラッカー１２の位置及び向きの特定に応じて、当該トラッカー１２の位置及び向きを示すデータが、エンタテインメント装置１４に送信されることとする。そしてエンタテインメント装置１４において、当該データに基づく上述の向きの推定が実行されることとする。
以下、胸部ノード４２ｆの向きの推定に用いられる機械学習モデルの学習、及び、学習済の機械学習モデルを用いた胸部ノード４２ｆの向きの推定について説明する。なお以下に示す方法により、腰部ノード４２ｇの向きの推定に用いられる機械学習モデルの学習、及び、学習済の機械学習モデルを用いた腰部ノード４２ｇの向きの推定も同様に可能である。
図４は、胸部ノード４２ｆの向きの推定に用いられる機械学習モデルの学習の一例を示す図である。図４に示すように、胸部ノード４２ｆの向きの推定に用いられる機械学習モデルには、入力層４４と、中間ブロック４６と、第１中間層４８と、第２中間層５０と、出力層５２と、が含まれている。
本実施形態では例えば、図４に示す機械学習モデルの学習において、それぞれ互いに異なるタイミングに対応付けられる、当該タイミングにおける体の部位についての位置、姿勢、又は動きを示す部位データを複数含む学習データが取得される。例えば、それぞれ互いに異なるタイミングに対応付けられる、当該タイミングにおける、頭部の向き、左手の角速度、及び、右手の角速度を示す部位データを複数含む学習データが取得される。ここでは例えばｔ個の部位データを含む学習データが取得されることとする。
ここで例えば、頭部、左手、右手、胸部のそれぞれにトラッカー１２を装着したユーザが様々な動きをした際の、これらのトラッカー１２から出力される一連のｔ個のセンシングデータに基づいて、ｔ個のセンシングデータにそれぞれ対応付けられる一連のｔ個の部位データが生成されてもよい。また、ｔ番目のセンシングデータに基づいて、ｔ番目のセンシングデータに対応付けられる胸部の向きを示す教師データが生成されてもよい。そして当該一連のｔ個の部位データと、当該教師データと、を含む学習データが生成されてもよい。
また例えば、胸部の向きが特定の向きである状態で、頭部、左手、右手のそれぞれにトラッカー１２を装着したユーザが様々な動きをした際の、これらのトラッカー１２から出力される一連のｔ個のセンシングデータに基づいて、ｔ個のセンシングデータにそれぞれ対応付けられる一連のｔ個の部位データが生成されてもよい。そして、当該一連のｔ個の部位データと、上述の胸部の特定の向きを示す教師データと、を含む学習データが生成されてもよい。
また例えば、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像に基づいて、それぞれフレームに対応付けられる一連のｔ個の部位データ、及び、ｔ番目のフレームに対応付けられる胸部の向きを示す教師データと、を含む学習データが生成されてもよい。また、このような動画像を見ているオペレータによる操作に基づいて、一連のｔ個の部位データ、及び、上述の教師データを含む学習データが生成されてもよい。
そして、入力層４４に、対応付けられるタイミングが古いものから順次、当該学習データに含まれる部位データが入力される。ここでは例えば、部位データには、頭部の向きを示す頭部向きデータＤ１、左手の角速度を示す左手角速度データＤ２、及び、右手の角速度を示す右手角速度データＤ３が含まれていることとする。
ここでは例えば、対応付けられるタイミングがｓ番目に古い、トラッカー１２ａの向きを示すデータが頭部向きデータＤ１（ｓ）として表現されている。また、対応付けられるタイミングがｓ番目に古い、トラッカー１２ｂの角速度を示すデータが左手角速度データＤ２（ｓ）として表現されている。また、対応付けられるタイミングがｓ番目に古い、トラッカー１２ｃの角速度を示すデータが右手角速度データＤ３（ｓ）として表現されている。ここで値ｓは、１以上ｔ以下の整数である。
また本実施形態では図４に示すように、頭部向きデータＤ１（ｓ）には、それぞれ、ピッチ角（Ｐｉｔｃｈ）、ヨー角（Ｙａｗ）、ロール角（Ｒｏｌｌ）といった、３個の要素が含まれている。当該ピッチ角、当該ヨー角、当該ロール角のそれぞれは例えば、上述の基準の向きに対するピッチ角、ヨー角、ロール角に相当する。
また本実施形態では図４に示すように、左手角速度データＤ２（ｓ）には、それぞれ、ピッチ角速度（ΔＰｉｔｃｈ）、ヨー角速度（ΔＹａｗ）、ロール角速度（ΔＲｏｌｌ）といった、３個の要素が含まれている。ここで当該ピッチ角速度、当該ヨー角速度、当該ロール角速度は、それぞれ、連続する２つのタイミング間における上述の基準の向きに対するピッチ角の差分、ヨー角の差分、ロール角の差分に相当する。
また本実施形態では図４に示すように、右手角速度データＤ３（ｓ）には、それぞれ、ピッチ角速度（ΔＰｉｔｃｈ）、ヨー角速度（ΔＹａｗ）、ロール角速度（ΔＲｏｌｌ）といった、３個の要素が含まれている。上述のように当該ピッチ角速度、当該ヨー角速度、当該ロール角速度は、それぞれ、連続する２つのタイミング間における上述の基準の向きに対するピッチ角の差分、ヨー角の差分、ロール角の差分に相当する。
ここで例えば直前のタイミングにおける向きを示すデータの値と当該タイミングにおける向きを示すデータの値との差分が、角速度を示す値として用いられてもよい。
本実施形態では、入力層４４に、９個（３×３）の要素を含む部位データが入力されることとなる。
そして入力層４４に入力された部位データが直前の入力に応じた中間ブロック４６の出力と結合された入力データが、中間ブロック４６に入力される。中間ブロック４６は、本実施形態では例えば、ＬＳＴＭ（Long short-term memory）が実装されたＲＮＮ（Recurrent Neural Network）（ＬＳＴＭブロック）である。
ここで中間ブロック４６の出力は、部位データが位置、姿勢、又は動きを示す体の部位についての位置、姿勢、又は動きの時系列推移の特徴を示すデータである。以下、中間ブロック４６が出力するデータを特徴データと呼ぶこととする。例えばＬＳＴＭの状態変数が当該特徴データに相当する。
ここで例えば、中間ブロック４６に、あるタイミングに対応付けられる部位データと、当該タイミングよりも前における上述の時系列推移の特徴を示す特徴データと、を含む入力データが入力されるとする。この場合、中間ブロック４６は、当該タイミングまでの上述の時系列推移の特徴を示す特徴データを出力する。例えば中間ブロック４６に、ｓ番目の部位データと、（ｓ－１）番目の部位データに対応するタイミングまでの上述の時系列推移の特徴を示す特徴データと、を含む入力データが入力されるとする。この場合、中間ブロック４６は、ｓ番目の部位データに対応するタイミングまでの上述の時系列推移の特徴を示す特徴データを出力する。以下、ｓ番目の部位データに対応するタイミングまでの上述の時系列推移の特徴を示す特徴データをｓ番目の特徴データと呼ぶこととする。
そして最後の部位データ（ｔ番目の部位データ）を含む入力データの入力に対する中間ブロック４６の出力であるｔ番目の特徴データが、第１中間層４８に入力される。そして第１中間層４８からの出力が第２中間層５０に入力される。第１中間層４８及び第２中間層５０は、例えば正規化線形関数（ＲｅＬＵ）を活性化関数とする全結合層である。
そして第２中間層５０からの出力が出力層５２に入力される。出力層５２は、例えば線形関数を活性化関数とする層である。そして出力層５２からは、最新のタイミング（ｔ番目のタイミング）における胸部の向きの推定結果に相当する胸部向きデータＤ４（ｔ）が出力５４として出力される。図４に示すように、胸部向きデータＤ４（ｔ）には、ピッチ角（Ｐｉｔｃｈ）、ヨー角（Ｙａｗ）、ロール角（Ｒｏｌｌ）といった、３個の要素が含まれている。当該ピッチ角、当該ヨー角、当該ロール角のそれぞれは例えば、上述の基準の向きに対するピッチ角、ヨー角、ロール角に相当する。
なお、上述の教師データにも、例えば、胸部向きデータＤ４（ｔ）と同様に、ピッチ角（Ｐｉｔｃｈ）、ヨー角（Ｙａｗ）、ロール角（Ｒｏｌｌ）といった、３個の要素が含まれている。
そして本実施形態では例えば、推定結果を示す胸部向きデータＤ４（ｔ）に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、出力層５２の学習が実行される。ここで例えば、上述の一連の部位データを含む学習データに含まれる教師データと推定結果を示す胸部向きデータＤ４（ｔ）との差が特定されてもよい。そして特定される差に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、及び、出力層５２のパラメータの値が更新される教師あり学習が実行されてもよい。
本実施形態では例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データを含む学習データによる学習が行われる。ここで例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データ、及び、ｔ番目の部位データに対応付けられる上述の教師データ、を含む学習データによる学習が行われてもよい。そして例えば互いに異なる複数の学習データによる学習が行われた学習済の機械学習モデルを用いて、胸部ノード４２ｆの向きの推定が実行される。
図５は、学習済の機械学習モデルを用いた胸部ノード４２ｆの向きの推定の一例を示す図である。
上述のように本実施形態では例えば、所定のサンプリングレートでトラッカー１２ａ～１２ｅのそれぞれについて、当該トラッカー１２の位置及び向きの特定が行われることとする。そしてトラッカー１２の位置及び向きの特定に応じて、当該トラッカー１２の位置及び向きを示すデータが、エンタテインメント装置１４に送信されることとする。
そしてこのようにして送信されるトラッカー１２の位置及び向きを示すデータに基づいて、体の部位についての位置、姿勢、又は動きを示す部位データが生成されることとする。このようにして本実施形態では例えば、部位データが繰り返し生成されることとなる。
ここでは上述のように、部位データには、頭部の向きを示す頭部向きデータＤ１、左手の角速度を示す左手角速度データＤ２、及び、右手の角速度を示す右手角速度データＤ３が含まれていることとする。ここで例えば、直前の特定タイミングにおける向きを示すデータの値と当該特定タイミングにおける向きを示すデータの値との差分が、当該特定タイミングにおける角速度を示す値として用いられてもよい。
そして本実施形態では例えば、入力層４４に、最新の部位データ（最後に生成された部位データ）が入力される。図５には、最新の部位データに含まれる頭部向きデータＤ１が頭部向きデータＤ１（ｕ）として表現されている。また、最新の部位データに含まれる左手角速度データＤ２が左手角速度データＤ２（ｕ）として表現されている。また、最新の部位データに含まれる右手角速度データＤ３が右手角速度データＤ３（ｕ）として表現されている。
上述のように、頭部向きデータＤ１（ｕ）には、それぞれ、ピッチ角（Ｐｉｔｃｈ）、ヨー角（Ｙａｗ）、ロール角（Ｒｏｌｌ）といった、３個の要素が含まれている。また、左手角速度データＤ２（ｕ）には、それぞれ、ピッチ角速度（ΔＰｉｔｃｈ）、ヨー角速度（ΔＹａｗ）、ロール角速度（ΔＲｏｌｌ）といった、３個の要素が含まれている。また、右手角速度データＤ３（ｕ）には、それぞれ、ピッチ角速度（ΔＰｉｔｃｈ）、ヨー角速度（ΔＹａｗ）、ロール角速度（ΔＲｏｌｌ）といった、３個の要素が含まれている。
そして入力層４４に入力された９個（３×３）の要素を含む部位データが直前の入力に応じた中間ブロック４６の出力である特徴データと結合された入力データが、中間ブロック４６に入力される。
そして中間ブロック４６の出力である特徴データが、第１中間層４８に入力される。そして第１中間層４８からの出力が第２中間層５０に入力される。
そして第２中間層５０からの出力が出力層５２に入力される。そして出力層５２からは、当該タイミングにおける胸部の向きの推定結果に相当する胸部向きデータＤ４（ｕ）が出力５４として出力される。
ここで予め頭部の向き、左手の角速度、及び、右手の角速度の組合せに対応付けられた腰部の向きを示すデータによる学習が実行されていてもよい。この場合は、例えば、上述の学習データに含まれる教師データは、腰部の向きを示すデータであってもよい。そして当該教師データは、例えば、様々な動きをするユーザの頭部、左手、右手、腰部のそれぞれに装着されたトラッカー１２から出力されるセンシングデータや、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像、などに基づいて、上述と同様にして生成されてもよい。
そして腰部ノード４２ｇの角速度の推定が行われてもよい。この場合は、図４及び図５に示すデータＤ４は、腰部ノード４２ｇの向きの推定結果に相当することとなる。
また予め頭部の向き、左手の角速度、及び、右手の角速度の組合せに対応付けられた胸部の角速度を示すデータによる学習が実行されていてもよい。この場合、例えば、上述の学習データに含まれる教師データは、胸部の向きを示すデータであってもよい。そして当該教師データは、例えば、様々な動きをするユーザの頭部、左手、右手、胸部のそれぞれに装着されたトラッカー１２から出力されるセンシングデータや、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像、などに基づいて、上述と同様にして生成されてもよい。そして胸部ノード４２ｆの角速度の推定が行われてもよい。この場合は、図４及び図５に示すデータＤ４は、胸部ノード４２ｆの角速度の推定結果に相当することとなる。
また予め頭部の向き、左手の角速度、及び、右手の角速度の組合せに対応付けられた腰部の角速度を示すデータによる学習が実行されていてもよい。この場合、例えば、上述の学習データに含まれる教師データは、腰部の向きを示すデータであってもよい。そして当該教師データは、例えば、様々な動きをするユーザの頭部、左手、右手、腰部のそれぞれに装着されたトラッカー１２から出力されるセンシングデータや、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像、などに基づいて、上述と同様にして生成されてもよい。そして腰部ノード４２ｇの角速度の推定が行われてもよい。この場合は、図４及び図５に示すデータＤ４は、腰部ノード４２ｇの角速度の推定結果に相当することとなる。
以上のようにして本実施形態では、胸部ノード４２ｆ若しくは腰部ノード４２ｇの向き、又は、胸部ノード４２ｆ若しくは腰部ノード４２ｇの角速度の推定が実行される。
以下、左手首ノード４２ｊの向きの推定について説明する。なお以下に示す方法により、右手首ノード４２ｍの向きの推定も同様に可能である。
図６は、左手首ノード４２ｊの向きの推定に用いられる機械学習モデルの学習の一例を示す図である。図６に示すように、左手首ノード４２ｊの向きの推定に用いられる機械学習モデルには、入力層４４と、中間ブロック４６と、第１中間層４８と、第２中間層５０と、出力層５２と、が含まれている。
本実施形態では例えば、図６に示す機械学習モデルの学習において、それぞれ互いに異なるタイミングに対応付けられる、当該タイミングにおける体の部位についての位置、姿勢、又は動きを示す部位データを複数含む学習データが取得される。例えば、それぞれ互いに異なるタイミングに対応付けられる、当該タイミングにおける、左手の向き、左手の角速度、及び、左手の速度を示す部位データを複数含む学習データが取得される。ここでは例えばｔ個の部位データを含む学習データが取得されることとする。
そして、入力層４４に、対応付けられるタイミングが古いものから順次、当該学習データに含まれる部位データが入力される。ここでは例えば、部位データには、左手の向きを示す左手向きデータＤ５、左手の角速度を示す左手角速度データＤ６、及び、左手の速度を示す左手速度データＤ７が含まれていることとする。
ここで例えば、左手、左手首のそれぞれにトラッカー１２を装着したユーザが様々な動きをした際の、これらのトラッカー１２から出力される一連のｔ個のセンシングデータに基づいて、ｔ個のセンシングデータにそれぞれ対応付けられる一連のｔ個の部位データが生成されてもよい。また、ｔ番目のセンシングデータに基づいて、ｔ番目のセンシングデータに対応付けられる左手首の向きを示す教師データが生成されてもよい。そして当該一連のｔ個の部位データと、当該教師データと、を含む学習データが生成されてもよい。
また例えば、左手首の向きが特定の向きである状態で、左手にトラッカー１２を装着したユーザが様々な動きをした際の、当該トラッカー１２から出力される一連のｔ個のセンシングデータに基づいて、ｔ個のセンシングデータにそれぞれ対応付けられる一連のｔ個の部位データが生成されてもよい。そして、当該一連のｔ個の部位データと、上述の左手首の特定の向きを示す教師データと、を含む学習データが生成されてもよい。
また例えば、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像に基づいて、それぞれフレームに対応付けられる一連のｔ個の部位データ、及び、ｔ番目のフレームに対応付けられる左手首の向きを示す教師データと、を含む学習データが生成されてもよい。また、このような動画像を見ているオペレータによる操作に基づいて、一連のｔ個の部位データ、及び、上述の教師データを含む学習データが生成されてもよい。
ここでは例えば、対応付けられるタイミングがｓ番目に古い、トラッカー１２ｂの向きを示すデータが左手向きデータＤ５（ｓ）として表現されている。また、対応付けられるタイミングがｓ番目に古い、トラッカー１２ｂの角速度を示すデータが左手角速度データＤ６（ｓ）として表現されている。また、対応付けられるタイミングがｓ番目に古い、トラッカー１２ｂの速度を示すデータが左手速度データＤ７（ｓ）として表現されている。ここで値ｓは、１以上ｔ以下の整数である。
また本実施形態では図６に示すように、左手向きデータＤ５（ｓ）には、それぞれ、ピッチ角（Ｐｉｔｃｈ）、ヨー角（Ｙａｗ）、ロール角（Ｒｏｌｌ）といった、３個の要素が含まれている。当該ピッチ角、当該ヨー角、当該ロール角のそれぞれは例えば、上述の基準の向きに対するピッチ角、ヨー角、ロール角に相当する。
また本実施形態では図６に示すように、左手角速度データＤ６（ｓ）には、それぞれ、ピッチ角速度（ΔＰｉｔｃｈ）、ヨー角速度（ΔＹａｗ）、ロール角速度（ΔＲｏｌｌ）といった、３個の要素が含まれている。ここで当該ピッチ角速度、当該ヨー角速度、当該ロール角速度は、それぞれ、連続する２つのタイミング間における上述の基準の向きに対するピッチ角の差分、ヨー角の差分、ロール角の差分に相当する。
ここで例えば直前のタイミングにおける向きを示すデータの値と当該タイミングにおける向きを示すデータの値との差分が、角速度を示す値として用いられてもよい。
また本実施形態では図６に示すように、左手速度データＤ７（ｓ）には、それぞれ、３軸方向の速度にそれぞれ対応するΔｘ、Δｙ、Δｚといった、３個の要素が含まれている。当該３軸方向の速度は、それぞれ、連続する２つの特定タイミング間における上述の基準の位置に対するｘ座標値の差分、ｙ座標値の差分、ｚ座標値の差分に相当する。
ここで例えば直前のタイミングにおける位置を示すデータの値と当該タイミングにおける位置を示すデータの値との差分が、速度を示す値として用いられてもよい。
本実施形態では、入力層４４に、９個（３×３）の要素を含む部位データが入力されることとなる。
そして入力層４４に入力された部位データが直前の入力に応じた中間ブロック４６の出力である特徴データと結合された入力データが、中間ブロック４６に入力される。例えばｓ番目の部位データと（ｓ－１）番目の特徴データとが結合された入力データが、中間ブロック４６に入力される。
そして図４での説明と同様にして、最終的には、出力層５２から、最新のタイミング（ｔ番目のタイミング）における左手首の向きの推定結果に相当する左手首向きデータＤ８（ｔ）が出力５４として出力される。図６に示すように、左手首向きデータＤ８（ｔ）には、ピッチ角（Ｐｉｔｃｈ）、ヨー角（Ｙａｗ）、ロール角（Ｒｏｌｌ）といった、３個の要素が含まれている。当該ピッチ角、当該ヨー角、当該ロール角のそれぞれは例えば、上述の基準の向きに対するピッチ角、ヨー角、ロール角に相当する。
なお、上述の教師データにも、例えば、左手首向きデータＤ８（ｔ）と同様に、ピッチ角（Ｐｉｔｃｈ）、ヨー角（Ｙａｗ）、ロール角（Ｒｏｌｌ）といった、３個の要素が含まれている。
そして本実施形態では例えば、推定結果を示す左手首向きデータＤ８（ｔ）に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、出力層５２の学習が実行される。ここで例えば、上述の一連の部位データを含む学習データに含まれる教師データと推定結果を示す左手首向きデータＤ８（ｔ）との差が特定されてもよい。そして特定される差に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、及び、出力層５２のパラメータの値が更新される教師あり学習が実行されてもよい。
本実施形態では例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データを含む学習データによる学習が行われる。ここで例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データ、及び、ｔ番目の部位データに対応付けられる上述の教師データ、を含む学習データによる学習が行われてもよい。そして例えば互いに異なる複数の学習データによる学習が行われた学習済の機械学習モデルを用いて、左手首ノード４２ｊの向きの推定が実行される。
図７は、学習済の機械学習モデルを用いた左手首ノード４２ｊの向きの推定の一例を示す図である。
上述のように本実施形態では例えば、部位データが繰り返し生成されることとなる。ここでは上述のように、部位データには、左手の向きを示す左手向きデータＤ５、左手の角速度を示す左手角速度データＤ６、及び、左手の速度を示す左手速度データＤ７が含まれていることとする。ここで例えば、直前の特定タイミングにおける向きを示すデータの値と当該特定タイミングにおける向きを示すデータの値との差分が、当該特定タイミングにおける角速度を示す値として用いられてもよい。また例えば、直前の特定タイミングにおける位置を示すデータの値と当該特定タイミングにおける位置を示すデータの値との差分が、当該特定タイミングにおける速度を示す値として用いられてもよい。
そして本実施形態では例えば、入力層４４に、最新の部位データ（最後に生成された部位データ）が入力される。図７には、最新の部位データに含まれる左手向きデータＤ５が左手向きデータＤ５（ｕ）として表現されている。また、最新の部位データに含まれる左手角速度データＤ６が左手角速度データＤ６（ｕ）として表現されている。また、最新の部位データに含まれる左手速度データＤ７が左手速度データＤ７（ｕ）として表現されている。
上述のように、左手向きデータＤ５（ｓ）には、それぞれ、ピッチ角（Ｐｉｔｃｈ）、ヨー角（Ｙａｗ）、ロール角（Ｒｏｌｌ）といった、３個の要素が含まれている。また、左手角速度データＤ６（ｓ）には、それぞれ、ピッチ角速度（ΔＰｉｔｃｈ）、ヨー角速度（ΔＹａｗ）、ロール角速度（ΔＲｏｌｌ）といった、３個の要素が含まれている。また、左手速度データＤ７（ｓ）には、それぞれ、３軸方向の速度にそれぞれ対応するΔｘ、Δｙ、Δｚといった、３個の要素が含まれている。
そして入力層４４に入力された９個（３×３）の要素を含む部位データが直前の入力に応じた中間ブロック４６の出力である特徴データと結合された入力データが、中間ブロック４６に入力される。
そして中間ブロック４６の出力である特徴データが、第１中間層４８に入力される。そして第１中間層４８からの出力が第２中間層５０に入力される。
そして第２中間層５０からの出力が出力層５２に入力される。そして出力層５２からは、当該タイミングにおける左手首の向きの推定結果に相当する左手首向きデータＤ８（ｕ）が出力５４として出力される。
ここで予め左手の向き、左手の角速度、及び、左手の位置又は速度の組合せに対応付けられた左手首の角速度を示すデータによる学習が実行されていてもよい。この場合は、例えば、上述の学習データに含まれる教師データは、左手首の角速度を示すデータであってもよい。そして当該教師データは、例えば、様々な動きをするユーザの頭部、左手、左手首のそれぞれに装着されたトラッカー１２から出力されるセンシングデータや、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像、などに基づいて、上述と同様にして生成されてもよい。
そして左手首ノード４２ｊの角速度の推定が行われてもよい。この場合は、図６及び図７に示すデータＤ８は、左手首ノード４２ｊの角速度の推定結果に相当することとなる。
また本実施形態では、図６及び図７に示す機械学習モデルと同様の機械学習モデルについて、右手の向き、右手の角速度、及び、右手の速度の組合せに対応付けられた右手首の向きを示すデータによる学習が実行される。この場合は、例えば、上述の学習データに含まれる教師データは、右手首の向きを示すデータであってもよい。そして当該教師データは、例えば、様々な動きをするユーザの右手、右手首のそれぞれに装着されたトラッカー１２から出力されるセンシングデータや、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像、などに基づいて、上述と同様にして生成されてもよい。
そして、学習済の機械学習モデルを用いた右手首ノード４２ｍの向きの推定が行われる。この場合は、図６及び図７に示すデータＤ８は、右手首ノード４２ｍの向きの推定結果に相当することとなる。
ここで予め右手の向き、右手の角速度、及び、右手の位置又は速度の組合せに対応付けられた右手首の角速度を示すデータによる学習が実行されていてもよい。この場合は、例えば、上述の学習データに含まれる教師データは、右手首の角速度を示すデータであってもよい。そして当該教師データは、例えば、様々な動きをするユーザの右手、右手首のそれぞれに装着されたトラッカー１２から出力されるセンシングデータや、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像、などに基づいて、上述と同様にして生成されてもよい。
そして右手首ノード４２ｍの角速度の推定が行われてもよい。この場合は、図６及び図７に示すデータＤ８は、右手首ノード４２ｍの角速度の推定結果に相当することとなる。
以上のようにして本実施形態では、左手首ノード４２ｊ、及び、右手首ノード４２ｍの向き又は角速度の推定が実行される。
そして本実施形態では例えば、逆運動学によって、以上で説明した推定結果に基づく、他のノード４２の位置及び向きの推定が実行される。
本実施形態では、ユーザが胸部又は腰部にトラッカー１２を装着することなく、スケルトンモデル４０に含まれる各ノード４２の位置及び向きが推定される。また本実施形態では、限られた数のトラッカー１２の位置や向きを示すデータから、左手首ノード４２ｊの向き及び右手首ノード４２ｍの向きが推定される。そして当該推定の結果に基づいて、逆運動学によって、例えば左肘ノード４２ｉ及び右肘ノード４２ｌの位置などといった他のノード４２の位置を的確に推定できる。以上のようにして本実施形態によれば、ユーザは多くのトラッカー１２を装着することなく的確なボディトラッキングを行えることとなる。具体的には例えば、ユーザは胸部や腰部や手首にトラッカー１２を装着することなく的確なボディトラッキングを行えることとなる。
以下、本実施形態に係るエンタテインメント装置１４の機能、及び、エンタテインメント装置１４で実行される処理についてさらに説明する。
図８は、本実施形態に係るエンタテインメント装置１４で実装される、機械学習モデルの学習を実行する学習装置としての機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置１４で、図８に示す機能のすべてが実装される必要はなく、また、図８に示す機能以外の機能が実装されていても構わない。
図８に示すように、学習装置としてのエンタテインメント装置１４には、機能的には例えば、学習データ記憶部６０、学習データ取得部６２、入力データ生成部６４、入力部６６、特徴抽出部６８、特徴データ保持部７０、推定部７２、出力取得部７４、学習部７６が含まれる。
図９は、本実施形態に係るエンタテインメント装置１４で実装される、学習済の機械学習モデルを用いた推定を実行する推定装置としての機能の一例を示す機能ブロック図である。なお、本実施形態に係るエンタテインメント装置１４で、図９に示す機能のすべてが実装される必要はなく、また、図９に示す機能以外の機能が実装されていても構わない。
図９に示すように、推定装置としてのエンタテインメント装置１４には、機能的には例えば、姿勢データ取得部８０、姿勢データ記憶部８２、部位データ生成部８４、入力データ生成部６４、入力部６６、特徴抽出部６８、特徴データ保持部７０、推定部７２、出力取得部７４、ボディトラッキング実行部８６が含まれる。
図９に示す部位データ生成部８４には、第１部位データ生成部８４ａ、第２部位データ生成部８４ｂ、及び、第３部位データ生成部８４ｃが含まれる。また入力データ生成部６４には、第１入力データ生成部６４ａ、第２入力データ生成部６４ｂ、及び、第３入力データ生成部６４ｃが含まれる。また入力部６６には、第１入力部６６ａ、第２入力部６６ｂ、及び、第３入力部６６ｃが含まれる。特徴抽出部６８には、第１特徴抽出部６８ａ、第２特徴抽出部６８ｂ、及び、第３特徴抽出部６８ｃが含まれる。また特徴データ保持部７０には、第１特徴データ保持部７０ａ、第２特徴データ保持部７０ｂ、及び、第３特徴データ保持部７０ｃが含まれる。また推定部７２には、第１推定部７２ａ、第２推定部７２ｂ、及び、第３推定部７２ｃが含まれる。また出力取得部７４には、第１出力取得部７４ａ、第２出力取得部７４ｂ、及び、第３出力取得部７４ｃが含まれる。
学習データ記憶部６０、特徴データ保持部７０、姿勢データ記憶部８２は、記憶部３２を主として実装される。学習データ取得部６２、入力データ生成部６４、入力部６６、出力取得部７４、学習部７６、部位データ生成部８４、ボディトラッキング実行部８６は、プロセッサ３０を主として実装される。姿勢データ取得部８０は、プロセッサ３０及び入出力部３６を主として実装される。特徴抽出部６８、及び、推定部７２は、プロセッサ３０及び記憶部３２を主として実装される。
以上の機能は、コンピュータであるエンタテインメント装置１４にインストールされた、以上の機能に対応する指令を含むプログラムをプロセッサ３０で実行することにより実装されてもよい。このプログラムは、例えば、光ディスク、磁気ディスク、磁気テープ、光磁気ディスク、フラッシュメモリ等のコンピュータ読み取り可能な情報記憶媒体を介して、あるいは、インターネットなどを介してエンタテインメント装置１４に供給されてもよい。
以下、機械学習モデルの学習に関するエンタテインメント装置１４の機能について、図８を参照しながら説明する。
学習データ記憶部６０は、本実施形態では例えば、複数の学習データを記憶する。ここで上述のように学習データには、例えば互いに異なるタイミングに対応付けられる、当該タイミングにおける体の部位についての位置、姿勢、又は動きを示す部位データが複数含まれる。また学習データに、最後のタイミングに対応付けられる部位データに対応付けられる教師データが含まれていてもよい。
学習データ取得部６２は、本実施形態では例えば、学習データ記憶部６０に記憶されている、複数の部位データが含まれる学習データを取得する。
入力データ生成部６４は、本実施形態では例えば、特徴抽出部６８に入力される入力データを生成する。ここで上述のように、入力データには、上述の部位データと、体の部位についての位置、姿勢、又は動きの時系列推移の特徴を示す特徴データとが含まれる。
入力部６６は、本実施形態では例えば、入力データ生成部６４が生成する入力データを特徴抽出部６８に入力する。ここでは例えば、対応付けられるタイミングが古いものから順次、部位データと、直前に行われた入力に応じて特徴抽出部６８が出力した特徴データと、を含む入力データが、特徴抽出部６８に入力される。
特徴抽出部６８は、本実施形態では例えば、入力データの入力に応じて、新たな特徴データを出力する。例えば図４～図７に示す中間ブロック４６が、特徴抽出部６８に相当する。上述のように、特徴抽出部６８には、古いタイミングにおける部位データから順次、当該部位データと、特徴抽出部６８が過去に出力した、当該タイミングよりも前における上述の時系列推移の特徴を示す特徴データと、を含む入力データが入力される。そして特徴抽出部６８は、当該入力に応じて、当該タイミングまでの上述の時系列推移の特徴を示す特徴データを出力する。
特徴データ保持部７０は、本実施形態では例えば、特徴抽出部６８が出力する特徴データを保持する。ここで本実施形態では、特徴データ保持部７０に保持される特徴データが、特徴抽出部６８に次に入力される入力データに含まれる特徴データとして用いられることとなる。
推定部７２は、本実施形態では例えば、特徴データに基づいて、当該特徴データが位置、姿勢、又は動きの時系列推移の特徴を示す部位よりも体の中心に近い当該体の別の部位の位置、姿勢、又は動きを推定する。ここでは例えば、推定部７２には、最新のタイミングまでの上述の時系列推移の特徴を示す特徴データが入力される。そして推定部７２は、当該特徴データの入力に応じて、当該部位データが位置、姿勢、又は動きを示す部位よりも体の中心に近い当該体の別の部位の位置、姿勢、又は動きの推定結果を出力する。例えば図４～図７に示す第１中間層４８、第２中間層５０、及び出力層５２が、推定部７２に相当する。
ここで向きの推定値（ピッチ角、ヨー角、ロール角の組合せ）や角速度の推定値などといった位置、姿勢、又は動きの推定値が推定結果として出力されてもよい。また位置、姿勢、又は動きの推定値の算出の基礎となるスコア値が推定結果として出力されてもよい。
出力取得部７４は、本実施形態では例えば、推定部７２が出力する推定結果を取得する。
学習部７６は、本実施形態では例えば、出力取得部７４が取得する推定結果に基づいて、特徴抽出部６８又は推定部７２のうちの少なくとも一方の学習を実行する。ここで例えば、特徴抽出部６８については学習が実行されず、推定部７２の学習だけが実行されてもよい。この場合は、特徴抽出部６８のパラメータの値は更新されない。また例えば、推定部７２については学習が実行されず、特徴抽出部６８の学習だけが実行されてもよい。この場合は、推定部７２のパラメータの値は更新されない。また、特徴抽出部６８及び推定部７２の両方の学習が実行されてもよい。
ここで例えば１個の学習データに含まれる複数の部位データに基づいて、１回の学習（例えばパラメータの値の更新）が実行されてもよい。そして複数の学習データのそれぞれについての学習が実行されることにより、複数回の学習が実行されてもよい。
本実施形態では例えば、頭部の向きを示す頭部向きデータＤ１、左手の角速度を示す左手角速度データＤ２、及び、右手の角速度を示す右手角速度データＤ３を含む部位データにより、胸部の向きを推定する機械学習モデルの学習が実行される。このようにして生成される学習済の機械学習モデルである特徴抽出部６８が、図９に示す第１特徴抽出部６８ａとして用いられる。またこのようにして生成される学習済の機械学習モデルである推定部７２が、図９に示す第１推定部７２ａとして用いられる。
また、左手の向きを示す左手向きデータＤ５、左手の角速度を示す左手角速度データＤ６、及び、左手の速度を示す左手速度データＤ７を含む部位データにより、左手首の向きを推定する機械学習モデルの学習が実行される。このようにして生成される学習済の機械学習モデルである特徴抽出部６８が、図９に示す第２特徴抽出部６８ｂとして用いられる。またこのようにして生成される学習済の機械学習モデルである推定部７２が、図９に示す第２推定部７２ｂとして用いられる。
また、右手の向きを示すデータ、右手の角速度を示すデータ、及び、右手の速度を示すデータを含む部位データにより、右手首の向きを推定する機械学習モデルの学習が実行される。このようにして生成される学習済の機械学習モデルである特徴抽出部６８が、図９に示す第３特徴抽出部６８ｃとして用いられる。またこのようにして生成される学習済の機械学習モデルである推定部７２が、図９に示す第３推定部７２ｃとして用いられる。
以下、体の部位の位置、姿勢、又は動きの推定に関するエンタテインメント装置１４の機能について、図９を参照しながら説明する。
姿勢データ取得部８０は、本実施形態では例えば、所定のサンプリングレートで特定されるトラッカー１２ａ～１２ｅの位置及び向きを示す姿勢データを取得する。ここで例えば、所定のサンプリングレートでトラッカー１２が、当該トラッカー１２の位置及び向きを示す姿勢データを生成してもよい。そして生成に応じてトラッカー１２が、当該トラッカー１２が生成した姿勢データを、中継装置１６経由でエンタテインメント装置１４に送信してもよい。また例えば、カメラマイクユニット２０が、所定のサンプリングレートでトラッカー１２ａ～１２ｅの位置及び向きを示す姿勢データを生成してもよい。そして生成に応じてカメラマイクユニット２０が、当該カメラマイクユニット２０が生成した姿勢データを、エンタテインメント装置１４に送信してもよい。
姿勢データ記憶部８２は、本実施形態では例えば、姿勢データ取得部８０が取得する姿勢データを記憶する。
第１部位データ生成部８４ａは、本実施形態では例えば、姿勢データ記憶部８２に記憶されている姿勢データに基づいて、第１特徴抽出部６８ａに入力される入力データに含まれる部位データを生成する。ここでは例えば、頭部の向きを示す頭部向きデータＤ１、左手の角速度を示す左手角速度データＤ２、及び、右手の角速度を示す右手角速度データＤ３を含む部位データが生成される。このように第１部位データ生成部８４ａが生成する部位データは、体に含まれる互いに異なる複数の部位（ここでは例えば頭部、左手、及び、右手）についての位置、姿勢、又は動きを示すデータであってもよい。
第２部位データ生成部８４ｂは、本実施形態では例えば、姿勢データ記憶部８２に記憶されている姿勢データに基づいて、第２特徴抽出部６８ｂに入力される入力データに含まれる部位データを生成する。ここでは例えば、左手の向きを示す左手向きデータＤ５、左手の角速度を示す左手角速度データＤ６、及び、左手の速度を示す左手速度データＤ７を含む部位データが生成される。このように第２部位データ生成部８４ｂが生成する部位データに、体に含まれる部位（ここでは例えば左手）の向きを示すデータと当該部位（ここでは例えば左手）の角速度を示すデータとが含まれていてもよい。
第３部位データ生成部８４ｃは、本実施形態では例えば、姿勢データ記憶部８２に記憶されている姿勢データに基づいて、第３特徴抽出部６８ｃに入力される入力データに含まれる部位データを生成する。ここでは例えば、右手の向きを示すデータ、右手の角速度を示すデータ、及び、右手の速度を示すデータを含む部位データが生成される。
入力データ生成部６４は、本実施形態では例えば、上述のように特徴抽出部６８に入力される入力データを生成する。ここで入力データ生成部６４が、最新のタイミングにおける部位データと、特徴抽出部６８が過去に出力した、当該タイミングよりも前における上述の時系列推移の特徴を示す特徴データと、を含む入力データを生成してもよい。ここで例えば、部位データと、直前に行われた入力に応じて特徴抽出部６８が出力した特徴データと、を含む入力データが生成されてもよい。第１入力データ生成部６４ａは、例えば、第１特徴抽出部６８ａに入力される入力データを生成する。また、第２入力データ生成部６４ｂは、例えば、第２特徴抽出部６８ｂに入力される入力データを生成する。また、第３入力データ生成部６４ｃは、例えば、第３特徴抽出部６８ｃに入力される入力データを生成する。
入力部６６は、本実施形態では例えば、上述のように、入力データ生成部６４が生成する入力データを特徴抽出部６８に入力する。ここで第１入力部６６ａは、例えば、第１入力データ生成部６４ａが生成する入力データを第１特徴抽出部６８ａに入力する。また、第２入力部６６ｂは、例えば、第２入力データ生成部６４ｂが生成する入力データを第２特徴抽出部６８ｂに入力する。また、第３入力部６６ｃは、例えば、第３入力データ生成部６４ｃが生成する入力データを第３特徴抽出部６８ｃに入力する。
そして特徴抽出部６８には、最新のタイミングにおける部位データと、特徴抽出部６８が過去に出力した、当該タイミングよりも前における上述の時系列推移の特徴を示す特徴データと、を含む入力データが入力される。そして特徴抽出部６８は、当該入力に応じて、当該タイミングまでの上述の時系列推移の特徴を示す特徴データを出力する。例えば第１特徴抽出部６８ａは、第１入力部６６ａによる入力データの入力に応じた特徴データを出力する。また例えば、第２特徴抽出部６８ｂは、第２入力部６６ｂによる入力データの入力に応じた特徴データを出力する。また例えば、第３特徴抽出部６８ｃは、第３入力部６６ｃによる入力データの入力に応じた特徴データを出力する。
そして第１特徴データ保持部７０ａは、第１特徴抽出部６８ａが出力する特徴データを保持する。また、第２特徴データ保持部７０ｂは、第２特徴抽出部６８ｂが出力する特徴データを保持する。また、第３特徴データ保持部７０ｃは、第３特徴抽出部６８ｃが出力する特徴データを保持する。ここで本実施形態では、特徴データ保持部７０に保持される特徴データが、次の推定における入力データに含まれる特徴データとして用いられることとなる。
推定部７２は、本実施形態では例えば、最新のタイミングまでの時系列推移の特徴を示す特徴データに基づいて、当該タイミングにおける体の別の部位の位置、姿勢、又は動きを推定する。ここでは例えば、特徴データが位置、姿勢、又は動きの時系列推移の特徴を示す体の部位よりも体の中心に近い当該体の別の部位の位置、姿勢、又は動きが推定される。例えば、第１推定部７２ａは、第１特徴抽出部６８ａが出力する特徴データの入力に応じて、胸部の向きの推定結果を出力する。また例えば、第２推定部７２ｂは、第２特徴抽出部６８ｂが出力する特徴データの入力に応じて、左手首の向きの推定結果を出力する。また例えば、第３推定部７２ｃは、第３特徴抽出部６８ｃが出力する特徴データの入力に応じて、右手首の向きの推定結果を出力する。
出力取得部７４は、本実施形態では例えば、推定部７２が出力する推定結果を取得する。ここで例えば、第１出力取得部７４ａは、第１推定部７２ａが出力する推定結果を取得する。また例えば、第２出力取得部７４ｂは、第２推定部７２ｂが出力する推定結果を取得する。また例えば、第３出力取得部７４ｃは、第３推定部７２ｃが出力する推定結果を取得する。
スケルトンモデル４０において、頭部ノード４２ａと胸部ノード４２ｆとは１個のリンクを介して接続されている。またスケルトンモデル４０において、左手ノード４２ｂと胸部ノード４２ｆとは４個のリンクを介して接続されている。またスケルトンモデル４０において、右手ノード４２ｃと胸部ノード４２ｆとは４個のリンクを介して接続されている。そして胸部ノード４２ｆは、頭部ノード４２ａ、左手ノード４２ｂ、右手ノード４２ｃのいずれに対しても体の中心に近いノード４２である。そして第１出力取得部７４ａは例えば、第１部位データ生成部８４ａが生成する部位データが位置、姿勢、又は動きを示す体の部位よりも、当該体の中心に近い部位である胸部に相当する胸部ノード４２ｆの位置、姿勢、又は動きの推定結果を取得する。
またスケルトンモデル４０において、左手ノード４２ｂと左手首ノード４２ｊとは１個のリンクを介して接続されている。そして左手首ノード４２ｊは、左手ノード４２ｂに対して体の中心に近いノード４２である。そして第２出力取得部７４ｂは例えば、第２部位データ生成部８４ｂが生成する部位データが位置、姿勢、又は動きを示す体の部位よりも、当該体の中心に近い部位である左手首に相当する左手首ノード４２ｊの位置、姿勢、又は動きの推定結果を取得する。
また第３出力取得部７４ｃは例えば、第３部位データ生成部８４ｃが生成する部位データが位置、姿勢、又は動きを示す体の部位よりも、当該体の中心に近い部位である右手首に相当する右手首ノード４２ｍの位置、姿勢、又は動きの推定結果を取得する。
なお推定部７２が出力して出力取得部７４が取得するデータは、上述のような向き又は角速度（向きの差分）を示すデータには限定されない。例えば推定部７２が、速度（位置の差分）を示すデータ、位置を示すデータ、加速度（速度の差分）を示すデータ、角加速度（角速度の差分）を示すデータを出力してもよい。また推定部７２は、ある部位の別の部位に対する相対的な位置、姿勢、又は動きを示すデータを出力してもよい。より具体的には例えば、推定部７２が、手の向きと腕の向きとの差分（手の向きを基準とする腕の相対的な向き）を示すデータを出力してもよい。
ボディトラッキング実行部８６は、本実施形態では例えば、出力取得部７４が取得する向きの推定結果、及び、姿勢データ取得部８０が取得する姿勢データに基づいて、ボディトラッキングの処理を実行する。ここでは例えば、スケルトンモデル４０に含まれる複数のノード４２のそれぞれについての位置及び向きが推定される。なおボディトラッキング実行部８６は、姿勢データ記憶部８２に記憶されている姿勢データに基づいてボディトラッキングの処理を実行してもよい。
ここで例えば、トラッカー１２ａの位置及び向きを示す姿勢データに基づいて、頭部ノード４２ａの位置及び向きが決定されてもよい。また例えば、トラッカー１２ｂの位置及び向きを示す姿勢データに基づいて、左手ノード４２ｂの位置及び向きが決定されてもよい。また例えば、トラッカー１２ｃの位置及び向きを示す姿勢データに基づいて、右手ノード４２ｃの位置及び向きが決定されてもよい。また例えば、トラッカー１２ｄの位置及び向きを示す姿勢データに基づいて、左足ノード４２ｄの位置及び向きが決定されてもよい。また例えば、トラッカー１２ｅの位置及び向きを示す姿勢データに基づいて、右足ノード４２ｅの位置及び向きが決定されてもよい。
またボディトラッキング実行部８６は、上述のように、決定又は推定されたノード４２の位置又は向きに基づいて、逆運動学によって、推定されていないノード４２の位置及び推定されていないノード４２の向きを推定してもよい。
体に含まれる部位に相当するノード４２の向きは、当該ノード４２と１又は複数のリンクで接続されている、当該部位よりも体の中心から離れた他のノード４２の回転の時間的な動きのパターンを用いれば的確に推定できると考えられる。そこで本実施形態では、入力データに、体の部位についての最新のタイミングにおける位置、姿勢、又は動きを示す部位データと、当該タイミングよりも前における当該部位についての位置、姿勢、又は動きの時系列推移を示す特徴データと、が含まれるようにした。そして当該入力データに基づいて、当該部位よりも体の中心に近い当該体の別の部位の向きが推定されるようにした。
ここで、本実施形態に係るエンタテインメント装置１４で行われる学習処理の流れの一例を、図１０に例示するフロー図を参照しながら説明する。本処理例では、学習データ記憶部６０に複数の学習データが記憶されていることとする。
まず、学習データ取得部６２が、学習データ記憶部６０に記憶されている学習データのうちから、Ｓ１０２～Ｓ１１０に示す処理が未実行であるものを１つ取得する（Ｓ１０１）。
そして、入力データ生成部６４が、Ｓ１０１に示す処理で取得された学習データに含まれる、Ｓ１０３～Ｓ１０６に示す処理が未実行である部位データのうち、対応付けられるタイミングが最も古い部位データを特定する（Ｓ１０２）。
そして、入力データ生成部６４が、特徴データ保持部７０に保持されている、最後に特徴抽出部６８から出力された特徴データを取得する（Ｓ１０３）。当該特徴データは、直前に行われた入力に応じて特徴抽出部６８が出力した特徴データである。
そして、入力データ生成部６４が、Ｓ１０２に示す処理で特定された部位データと、Ｓ１０３に示す処理で取得された特徴データと、を結合することにより、入力データを生成する（Ｓ１０４）。なお特徴データ保持部７０に特徴データが記憶されていない際には、所定の初期値が設定された特徴データを含む入力データが生成される。
そして、入力部６６が、Ｓ１０４に示す処理で生成された入力データを特徴抽出部６８に入力する（Ｓ１０５）。
そして、特徴抽出部６８が、Ｓ１０５に示す処理における入力に応じた特徴データを特徴データ保持部７０に出力する（Ｓ１０６）。
そして、推定部７２が、Ｓ１０１に示す処理で取得された学習データに含まれるすべての部位データについて、Ｓ１０３～Ｓ１０６に示す処理が実行されたか否かを確認する（Ｓ１０７）。
Ｓ１０１に示す処理で取得された学習データに含まれるすべての部位データについてＳ１０３～Ｓ１０６に示す処理が実行されていない場合は（Ｓ１０７：Ｎ）、Ｓ１０２に示す処理に戻る。
一方、Ｓ１０１に示す処理で取得された学習データに含まれるすべての部位データについてＳ１０３～Ｓ１０６に示す処理が実行されたとする（Ｓ１０７：Ｙ）。この場合は、推定部７２が、特徴データ保持部７０に保持されている、最後に特徴抽出部６８から出力された特徴データに応じた推定結果を生成して、出力する（Ｓ１０８）。ここで例えば入力部６６が、最後に特徴抽出部６８から出力された特徴データを推定部７２に入力してもよい。そして推定部７２が、当該入力に応じた推定結果を出力してもよい。
そして出力取得部７４が、Ｓ１０８に示す処理で出力された推定結果を取得する（Ｓ１０９）。
そして学習部７６が、Ｓ１０９に示す処理で取得された推定結果に基づいて、特徴抽出部６８及び推定部７２の学習を実行する（Ｓ１１０）。ここで例えば、特徴抽出部６８及び推定部７２に設定されているパラメータの値が更新されてもよい。
そして学習部７６が、学習データ記憶部６０に記憶されているすべての学習データについて、Ｓ１０２～Ｓ１１０に示す処理が実行されたか否かを確認する（Ｓ１１１）。
学習データ記憶部６０に記憶されているすべての学習データについて、Ｓ１０２～Ｓ１１０に示す処理が実行されていない場合は（Ｓ１１１：Ｎ）、Ｓ１０１に示す処理に戻る。
学習データ記憶部６０に記憶されているすべての学習データについて、Ｓ１０２～Ｓ１１０に示す処理が実行された場合は（Ｓ１１１：Ｙ）、本処理例に示す処理は終了される。
本実施形態では、頭部向きデータＤ１、左手角速度データＤ２、及び、右手角速度データＤ３を含む部位データによる上述の処理が実行されることにより、学習済の機械学習モデルである第１特徴抽出部６８ａ及び第１推定部７２ａが生成される。また、左手向きデータＤ５、左手角速度データＤ６、及び、左手速度データＤ７を含む部位データによる上述の処理が実行されることにより、学習済の機械学習モデルである第２特徴抽出部６８ｂ及び第２推定部７２ｂが生成される。また、右手向きデータ、右手角速度データ、及び、右手速度データを含む部位データによる上述の処理が実行されることにより、学習済の機械学習モデルである第３特徴抽出部６８ｃ及び第３推定部７２ｃが生成される。
次に、本実施形態に係るエンタテインメント装置１４で行われるスケルトンモデル４０に含まれるすべてのノード４２についての位置及び向きの推定処理の流れの一例を、図１１に例示するフロー図を参照しながら説明する。
まず、姿勢データ取得部８０が、トラッカー１２によって生成される最新の特定タイミングにおける当該トラッカー１２の位置及び向きを示す姿勢データを取得して、姿勢データ記憶部８２に記憶させる（Ｓ２０１）。ここでは例えば、姿勢データ取得部８０は、トラッカー１２ａ～１２ｅのそれぞれについての、当該トラッカー１２の位置及び向きを示す姿勢データを取得する。
そして部位データ生成部８４が、姿勢データ記憶部８２に記憶されている姿勢データに基づいて、部位データを生成する（Ｓ２０２）。Ｓ２０２に示す処理では例えば、第１部位データ生成部８４ａが、第１特徴抽出部６８ａに入力される入力データに含まれる部位データを生成する。また、第２部位データ生成部８４ｂが、第２特徴抽出部６８ｂに入力される入力データに含まれる部位データを生成する。また、第３部位データ生成部８４ｃが、第３特徴抽出部６８ｃに入力される入力データに含まれる部位データを生成する。
そして、入力データ生成部６４が、特徴データ保持部７０に保持されている、最後に特徴抽出部６８から出力された特徴データを取得する（Ｓ２０３）。当該特徴データは、直前に行われた入力に応じて特徴抽出部６８が出力した特徴データである。Ｓ２０３に示す処理では例えば、第１入力データ生成部６４ａが、第１特徴データ保持部７０ａに保持されている、最後に第１特徴抽出部６８ａから出力された特徴データを取得する。また、第２入力データ生成部６４ｂが、第２特徴データ保持部７０ｂに保持されている、最後に第２特徴抽出部６８ｂから出力された特徴データを取得する。また、第３入力データ生成部６４ｃが、第３特徴データ保持部７０ｃに保持されている、最後に第３特徴抽出部６８ｃから出力された特徴データを取得する。
そして、入力データ生成部６４が、Ｓ２０２に示す処理で生成された部位データと、Ｓ２０３に示す処理で取得された特徴データと、を結合することにより、入力データを生成する（Ｓ２０４）。なお特徴データ保持部７０に特徴データが記憶されていない際には、所定の初期値が設定された特徴データを含む入力データが生成される。Ｓ２０４に示す処理では例えば、第１入力データ生成部６４ａが、第１特徴抽出部６８ａに入力される入力データを生成する。また、第２入力データ生成部６４ｂが、第２特徴抽出部６８ｂに入力される入力データを生成する。また、第３入力データ生成部６４ｃが、第３特徴抽出部６８ｃに入力される入力データを生成する。
そして、入力部６６が、Ｓ２０４に示す処理で生成された入力データを特徴抽出部６８に入力する（Ｓ２０５）。Ｓ２０５に示す処理では例えば、第１入力部６６ａが、第１入力データ生成部６４ａが生成した入力データを第１特徴抽出部６８ａに入力する。また、第２入力部６６ｂが、第２入力データ生成部６４ｂが生成した入力データを第２特徴抽出部６８ｂに入力する。また、第３入力部６６ｃが、第３入力データ生成部６４ｃが生成した入力データを第３特徴抽出部６８ｃに入力する。
そして、特徴抽出部６８が、Ｓ２０５に示す処理における入力に応じた特徴データを特徴データ保持部７０に出力する（Ｓ２０６）。Ｓ２０６に示す処理では例えば、第１特徴抽出部６８ａが、第１部位データ生成部８４ａが生成した部位データに応じた特徴データを第１特徴データ保持部７０ａに出力する。また、第２特徴抽出部６８ｂが、第２部位データ生成部８４ｂが生成した部位データに応じた特徴データを第２特徴データ保持部７０ｂに出力する。また、第３特徴抽出部６８ｃが、第３部位データ生成部８４ｃが生成した部位データに応じた特徴データを第３特徴データ保持部７０ｃに出力する。
そして、推定部７２が、Ｓ２０６に示す処理で特徴データ保持部７０に出力された特徴データである、特徴データ保持部７０に保持されている、最後に特徴抽出部６８から出力された特徴データに応じた推定結果を生成して、出力する（Ｓ２０７）。ここで例えば入力部６６が、最後に特徴抽出部６８から出力された特徴データを推定部７２に入力してもよい。そして推定部７２が、当該入力に応じた推定結果を出力してもよい。Ｓ２０７に示す処理では例えば、第１推定部７２ａは、Ｓ２０６に示す処理で第１特徴データ保持部７０ａに出力された特徴データに応じた、胸部ノード４２ｆの向きの推定結果を生成して、出力する。また、第２推定部７２ｂは、Ｓ２０６に示す処理で第２特徴データ保持部７０ｂに出力された特徴データに応じた、左手首ノード４２ｊの向きの推定結果を生成して、出力する。また、第３推定部７２ｃは、Ｓ２０６に示す処理で第３特徴データ保持部７０ｃに出力された特徴データに応じた、右手首ノード４２ｍの向きの推定結果を生成して、出力する。
そして出力取得部７４が、Ｓ２０７に示す処理で出力された推定結果を取得する（Ｓ２０８）。Ｓ２０８に示す処理では例えば、第１出力取得部７４ａは、Ｓ２０７に示す処理で第１推定部７２ａから出力された胸部ノード４２ｆの向きの推定結果を取得する。また、第２出力取得部７４ｂは、Ｓ２０７に示す処理で第２推定部７２ｂから出力された左手首ノード４２ｊの向きの推定結果を取得する。また、第３出力取得部７４ｃは、Ｓ２０７に示す処理で第３推定部７２ｃから出力された右手首ノード４２ｍの向きの推定結果を取得する。
そしてボディトラッキング実行部８６が、本サイクルにおける頭部ノード４２ａ、左手ノード４２ｂ、右手ノード４２ｃ、左足ノード４２ｄ、及び、右足ノード４２ｅのそれぞれについて、位置及び向きを決定する（Ｓ２０９）。ここで例えば、Ｓ２０１に示す処理で取得された姿勢データに基づいて、頭部ノード４２ａ、左手ノード４２ｂ、右手ノード４２ｃ、左足ノード４２ｄ、及び、右足ノード４２ｅのそれぞれについての位置及び向きが決定されてもよい。
そしてボディトラッキング実行部８６が、逆運動学によって、スケルトンモデル４０に含まれるノード４２の位置及び向きのうちの、Ｓ２０８、及び、Ｓ２０９に示す処理で決定又は推定結果の取得が行われていない残りを、逆運動学によって推定する（Ｓ２１０）。
以上のようにして１サイクルにおけるスケルトンモデル４０に含まれるすべてのノード４２についての位置及び向きの推定が実行される。そしてＳ２０１に示す処理に戻る。
以上で説明した処理例に示す処理において、各ステップの実行順序は上述のものに限定されない。
なお上述のように、第１特徴抽出部６８ａ及び第１推定部７２ａが胸部ノード４２ｆではなく腰部ノード４２ｇの向きの推定に用いられる機械学習モデルであってもよい。この場合、第１出力取得部７４ａが、腰部ノード４２ｇの向きの推定結果を取得してもよい。
［胸部ノードの回転の推定の一例］
また、本実施形態において、機械学習モデルを用いて、上述したもの以外の推定が実行されるようにしてもよい。
例えば、胸部の向きとして、基準の向き（例えば鉛直方向）に対する胸部の回転（Ｒｏｌｌ）のみの推定が行われるようにしてもよい。
図１２は、胸部ノード４２ｆの回転（Ｒｏｌｌ）の推定に用いられる機械学習モデルの学習の一例を示す図である。図１２に示すように、胸部ノード４２ｆの回転の推定に用いられる機械学習モデルには、入力層４４と、中間ブロック４６と、第１中間層４８と、第２中間層５０と、出力層５２と、が含まれている。
本実施形態では例えば、図１２に示す機械学習モデルの学習において、それぞれ互いに異なるタイミングに対応付けられる、当該タイミングにおける、頭部の回転、右手の回転成分の角速度、左手の回転成分の角速度、右足の回転、左足の回転、右手の位置を基準とした頭部の位置、及び、左手の位置を基準とした頭部の位置を示すｔ個の部位データ、及び、教師データを含む学習データが取得される。
ここでは例えば、当該教師データは、例えば、胸部の回転を示すデータであってもよい。そして当該教師データは、例えば、様々な動きをするユーザの頭部、右手、左手、右足、左足、胸部のそれぞれに装着されたトラッカー１２から出力されるセンシングデータや、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像、などに基づいて、上述と同様にして生成されてもよい。
そして、上述したように、入力層４４に、対応付けられるタイミングが古いものから順次、当該学習データに含まれる部位データが入力される。ここでは例えば、部位データには、頭部の回転を示す頭部回転データＤ９、右手の回転成分の角速度を示す右手回転角速度データＤ１０、左手の回転成分の角速度を示す右手回転角速度データＤ１１、右足の回転を示す右足回転データＤ１２、左足の回転を示す左足回転データＤ１３、右手の位置を基準とした頭部の位置を示す右手基準頭部位置データＤ１４、左手の位置を基準とした頭部の位置を示す左手基準頭部位置データＤ１５が含まれていることとする。
ここでは例えば、上述したものと同様に、対応付けられるタイミングがｓ番目に古い、データＤ９～Ｄ１５がそれぞれＤ９（ｓ）～Ｄ１５（ｓ）と表現されている。ここで値ｓは、１以上ｔ以下の整数である。
また本実施形態では図１２に示すように、頭部回転データＤ９（ｓ）、右足回転データＤ１２（ｓ）、左足回転データＤ１３（ｓ）には、１つの要素（ロール角（Ｒｏｌｌ））が含まれている。また、右手回転角速度データＤ１０（ｓ）、右手回転角速度データＤ１１（ｓ）には、１つの要素（ロール角速度（ΔＲｏｌｌ））が含まれている。当該ロール角速度は、連続する２つのタイミング間における上述の基準の向きに対するロール角の差分に相当する。なお、ＲｏｌｌやΔＲｏｌｌの値は、－２π～２πの範囲をとるよう調整された実数であってもよい。
また本実施形態では図１２に示すように、右手基準頭部位置データＤ１４（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、右手の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。また、左手基準頭部位置データＤ１５（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、左手の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
本実施形態では、入力層４４に、以上の１１個の要素を含む部位データが入力されることとなる。
そして上述したように、最終的には、出力層５２からは、最新のタイミング（ｔ番目のタイミング）における胸部の回転の推定結果に相当する胸部回転データＤ１６（ｔ）が出力５４として出力される。図１２に示すように、胸部回転データＤ１６（ｔ）には、１個の要素（ロール角（Ｒｏｌｌ））が含まれている。当該ロール角は例えば、上述の基準の向きに対するロール角に相当する。
なお、上述の教師データにも、例えば、胸部回転データＤ１６（ｔ）と同様に、１個の要素（ロール角（Ｒｏｌｌ））が含まれている。
そして本実施形態では例えば、推定結果を示す胸部回転データＤ１６（ｔ）に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、出力層５２の学習が実行される。ここで例えば、上述の一連の部位データを含む学習データに含まれる教師データと推定結果を示す胸部回転データＤ１６（ｔ）との差が特定されてもよい。そして特定される差に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、及び、出力層５２のパラメータの値が更新される教師あり学習が実行されてもよい。
本実施形態では例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データを含む学習データによる学習が行われる。ここで例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データ、及び、ｔ番目の部位データに対応付けられる上述の教師データ、を含む学習データによる学習が行われてもよい。そして例えば互いに異なる複数の学習データによる学習が行われた学習済の機械学習モデルを用いて、胸部ノード４２ｆの回転の推定が実行される。
図１３は、学習済の機械学習モデルを用いた胸部ノード４２ｆの回転の推定の一例を示す図である。
ここでは例えば、送信されるトラッカー１２の位置及び向きを示すデータに基づいて、部位データが生成されることとする。当該部位データには、頭部の回転を示す頭部回転データＤ９、右手の回転成分の角速度を示す右手回転角速度データＤ１０、左手の回転成分の角速度を示す右手回転角速度データＤ１１、右足の回転を示す右足回転データＤ１２、左足の回転を示す左足回転データＤ１３、右手の位置を基準とした頭部の位置を示す右手基準頭部位置データＤ１４、左手の位置を基準とした頭部の位置を示す左手基準頭部位置データＤ１５が含まれていることとする。ここで例えば、直前の特定タイミングにおける向きを示すデータの値と当該特定タイミングにおける向きを示すデータの値との差分が、当該特定タイミングにおける角速度を示す値として用いられてもよい。また、上述のように、本実施形態では例えば、部位データが繰り返し生成される。
そして本実施形態では例えば、入力層４４に、最新の部位データ（最後に生成された部位データ）が入力される。図１３には、最新の部位データに含まれるデータＤ９～Ｄ１５がそれぞれＤ９（ｕ）～Ｄ１５（ｕ）と表現されている。
上述のように、頭部回転データＤ９（ｕ）、右足回転データＤ１２（ｕ）、左足回転データＤ１３（ｕ）には、１つの要素（ロール角（Ｒｏｌｌ））が含まれている。また、右手回転角速度データＤ１０（ｕ）、右手回転角速度データＤ１１（ｕ）には、１つの要素（ロール角速度（ΔＲｏｌｌ））が含まれている。当該ロール角速度は、連続する２つのタイミング間における上述の基準の向きに対するロール角の差分に相当する。なお、ＲｏｌｌやΔＲｏｌｌの値は、－２π～２πの範囲をとるよう調整された実数であってもよい。
また本実施形態では図１３に示すように、右手基準頭部位置データＤ１４（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、右手の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。また、左手基準頭部位置データＤ１５（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、左手の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
そして上述したように、最終的には、出力層５２からは、当該タイミングにおける胸部の回転の推定結果に相当する胸部回転データＤ１６（ｕ）が出力５４として出力される。
［手首の向きの推定の別の一例］
また本実施形態において例えば、上述した方法とは異なる方法で手首の向きの推定が行われるようにしてもよい。
図１４は、左手首ノード４２ｊの向きの推定に用いられる機械学習モデルの学習の一例を示す図である。図１４に示すように、左手首ノード４２ｊの向きの推定に用いられる機械学習モデルには、入力層４４と、中間ブロック４６と、第１中間層４８と、第２中間層５０と、出力層５２と、が含まれている。
本実施形態では例えば、図１４に示す機械学習モデルの学習において、それぞれ互いに異なるタイミングに対応付けられる、当該タイミングにおける、胸部（胸部ノード４２ｆ）の回転によりオフセットされた（胸部の回転を基準とした）、左手の位置を基準とした胸部の位置、及び、左手の向きを示すｔ個の部位データ、及び、教師データを含む学習データが取得される。
ここでは例えば、当該教師データは、例えば、手首の向きを示すデータであってもよい。そして当該教師データは、例えば、様々な動きをするユーザの左手、左手首、胸部のそれぞれに装着されたトラッカー１２から出力されるセンシングデータや、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像、などに基づいて、上述と同様にして生成されてもよい。
そして、上述したように、入力層４４に、対応付けられるタイミングが古いものから順次、当該学習データに含まれる部位データが入力される。ここでは例えば、部位データには、胸部（胸部ノード４２ｆ）の回転によりオフセットされた、左手の位置を基準とした胸部の位置を示す左手基準胸部位置データＤ１７、及び、胸部（胸部ノード４２ｆ）の回転によりオフセットされた、左手の向きを示す左手向きデータＤ１８が含まれていることとする。
ここでは例えば、上述したものと同様に、対応付けられるタイミングがｓ番目に古い、データＤ１７、Ｄ１８がそれぞれＤ１７（ｓ）、Ｄ１８（ｓ）と表現されている。ここで値ｓは、１以上ｔ以下の整数である。
また本実施形態では図１４に示すように、左手基準胸部位置データＤ１７（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、胸部（胸部ノード４２ｆ）の回転によりオフセットされた、左手の位置を基準とした胸部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。また、左手向きデータＤ１８（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、胸部（胸部ノード４２ｆ）の回転によりオフセットされた、左手の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。
本実施形態では、入力層４４に、以上の６個の要素を含む部位データが入力されることとなる。
そして上述したように、最終的には、出力層５２からは、最新のタイミング（ｔ番目のタイミング）における左手首の向きの推定結果に相当する左手首向きデータＤ１９（ｔ）が出力５４として出力される。図１４に示すように、左手首向きデータＤ１９（ｔ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、左手首の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。
なお、上述の教師データにも、例えば、左手首向きデータＤ１９（ｔ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。
そして本実施形態では例えば、推定結果を示す左手首向きデータＤ１９（ｔ）に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、出力層５２の学習が実行される。ここで例えば、上述の一連の部位データを含む学習データに含まれる教師データと推定結果を示す左手首向きデータＤ１９（ｔ）との差が特定されてもよい。そして特定される差に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、及び、出力層５２のパラメータの値が更新される教師あり学習が実行されてもよい。
本実施形態では例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データを含む学習データによる学習が行われる。ここで例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データ、及び、ｔ番目の部位データに対応付けられる上述の教師データ、を含む学習データによる学習が行われてもよい。そして例えば互いに異なる複数の学習データによる学習が行われた学習済の機械学習モデルを用いて、左手首ノード４２ｊの向きの推定が実行される。
図１５は、学習済の機械学習モデルを用いた左手首ノード４２ｊの向きの推定の一例を示す図である。
ここでは例えば、送信されるトラッカー１２の位置及び向きを示すデータに基づいて、部位データが生成されることとする。当該部位データには、胸部（胸部ノード４２ｆ）の回転によりオフセットされた、左手の位置を基準とした胸部の位置を示す左手基準胸部位置データＤ１７、及び、胸部（胸部ノード４２ｆ）の回転によりオフセットされた、左手の向きを示す左手向きデータＤ１８が含まれていることとする。また、上述のように、本実施形態では例えば、部位データが繰り返し生成される。
そして本実施形態では例えば、入力層４４に、最新の部位データ（最後に生成された部位データ）が入力される。図１５には、最新の部位データに含まれるデータＤ１７、Ｄ１８がそれぞれＤ１７（ｕ）、Ｄ１８（ｕ）と表現されている。
上述のように、左手基準胸部位置データＤ１７（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、胸部（胸部ノード４２ｆ）の回転によりオフセットされた、左手の位置を基準とした胸部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。また、左手向きデータＤ１８（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、胸部（胸部ノード４２ｆ）の回転によりオフセットされた、左手の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。
そして上述したように、最終的には、出力層５２からは、当該タイミングにおける左手首の向きの推定結果に相当する左手首向きデータＤ１９（ｕ）が出力５４として出力される。
同様にして、右手首の向きが推定されてもよい。
［頭部ノードの高さの推定の一例］
また本実施形態において例えば、ユーザが頭部にトラッカー１２ａを装着していなくてもよい。そして、機械学習モデルを用いて頭部ノード４２ａの高さが推定されるようにしてもよい。
図１６は、頭部ノード４２ａの高さの推定に用いられる機械学習モデルの学習の一例を示す図である。図１６に示すように、頭部ノード４２ａの高さの推定に用いられる機械学習モデルには、入力層４４と、中間ブロック４６と、第１中間層４８と、第２中間層５０と、出力層５２と、が含まれている。
本実施形態では例えば、図１６に示す機械学習モデルの学習において、それぞれ互いに異なるタイミングに対応付けられる、当該タイミングにおける、右手の高さ、左手の高さ、右手の向きの高さ成分、及び、左手の向きの高さ成分を示すｔ個の部位データ、及び、教師データを含む学習データが取得される。
ここでは例えば、当該教師データは、例えば、頭部の高さを示すデータであってもよい。そして当該教師データは、例えば、様々な動きをするユーザの頭部、右手、左手のそれぞれに装着されたトラッカー１２から出力されるセンシングデータや、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像、などに基づいて、上述と同様にして生成されてもよい。
そして、上述したように、入力層４４に、対応付けられるタイミングが古いものから順次、当該学習データに含まれる部位データが入力される。ここでは例えば、部位データには、右手の高さを示す右手高さデータＤ２０、左手の高さを示す左手高さデータＤ２１、右手の向きの高さ成分を示す右手向き高さ成分データＤ２２、及び、左手の向きの高さ成分を示す左手向き高さ成分データＤ２３が含まれていることとする。
ここでは例えば、上述したものと同様に、対応付けられるタイミングがｓ番目に古い、データＤ２０～Ｄ２３がそれぞれＤ２０（ｓ）～Ｄ２３（ｓ）と表現されている。ここで値ｓは、１以上ｔ以下の整数である。
また本実施形態では図１６に示すように、右手高さデータＤ２０（ｓ）、左手高さデータＤ２１（ｓ）、右手向き高さ成分データＤ２２（ｓ）、及び、左手向き高さ成分データＤ２３（ｓ）には、１個の要素（高さｚ）が含まれている。右手高さデータＤ２０（ｓ）、及び、左手高さデータＤ２１（ｓ）については、高さｚは位置のｚ座標値を表している。右手向き高さ成分データＤ２２（ｓ）、及び、左手向き高さ成分データＤ２３（ｓ）については、高さｚは、手の向きを表す単位ベクトルの高さ方向成分を表している。
本実施形態では、入力層４４に、以上の４個の要素を含む部位データが入力されることとなる。
そして上述したように、最終的には、出力層５２からは、最新のタイミング（ｔ番目のタイミング）における頭部の高さの推定結果に相当する頭部高さデータＤ２４（ｔ）が出力５４として出力される。図１６に示すように、頭部高さデータＤ２４（ｔ）には、１個の要素（高さｚ）が含まれている。
なお、上述の教師データにも、例えば、頭部高さデータＤ２４（ｔ）と同様に、１個の要素（高さｚ）が含まれている。
そして本実施形態では例えば、推定結果を示す頭部高さデータＤ２４（ｔ）に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、出力層５２の学習が実行される。ここで例えば、上述の一連の部位データを含む学習データに含まれる教師データと推定結果を示す頭部高さデータＤ２４（ｔ）との差が特定されてもよい。そして特定される差に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、及び、出力層５２のパラメータの値が更新される教師あり学習が実行されてもよい。
本実施形態では例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データを含む学習データによる学習が行われる。ここで例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データ、及び、ｔ番目の部位データに対応付けられる上述の教師データ、を含む学習データによる学習が行われてもよい。そして例えば互いに異なる複数の学習データによる学習が行われた学習済の機械学習モデルを用いて、頭部ノード４２ａの高さの推定が実行される。
図１７は、学習済の機械学習モデルを用いた頭部ノード４２ａの高さの推定の一例を示す図である。
ここでは例えば、送信されるトラッカー１２の位置及び向きを示すデータに基づいて、部位データが生成されることとする。当該部位データには、右手の高さを示す右手高さデータＤ２０、左手の高さを示す左手高さデータＤ２１、右手の向きの高さ成分を示す右手向き高さ成分データＤ２２、及び、左手の向きの高さ成分を示す左手向き高さ成分データＤ２３が含まれていることとする。また、上述のように、本実施形態では例えば、部位データが繰り返し生成される。
そして本実施形態では例えば、入力層４４に、最新の部位データ（最後に生成された部位データ）が入力される。図１７には、最新の部位データに含まれるデータＤ２０～Ｄ２３がそれぞれＤ２０（ｕ）～Ｄ２３（ｕ）と表現されている。
上述のように、右手高さデータＤ２０（ｕ）、左手高さデータＤ２１（ｕ）、右手向き高さ成分データＤ２２（ｕ）、左手向き高さ成分データＤ２３（ｕ）には、１個の要素（高さｚ）が含まれている。右手高さデータＤ２０（ｕ）、及び、左手高さデータＤ２１（ｕ）については、高さｚは位置のｚ座標値を表している。右手向き高さ成分データＤ２２（ｕ）、及び、左手向き高さ成分データＤ２３（ｕ）については、高さｚは、手の向きを表す単位ベクトルの高さ方向成分を表している。
そして上述したように、最終的には、出力層５２からは、当該タイミングにおける頭部の高さの推定結果に相当する頭部高さデータＤ２４（ｕ）が出力５４として出力される。
なお、頭部の水平面上における位置（ｘｙ座標値）については、例えば、他の手法による推定（例えば、スケルトンモデル４０の重心の位置を用いた推定）が行われるようにしてもよい。
［逐次的推定の一例］
また、本実施形態において、ルートノードである腰部ノード４２ｇに近いノードから順に逐次的に各部位の推定が行われるようにしてもよい。例えば、図１８に示すように、（１）腰部ノード４２ｇの回転の推定、（２）腰部ノード４２ｇの位置を基準とした頭部ノード４２ａの位置の推定、（３）胸部ノード４２ｆの位置を基準とした頭部ノード４２ａの位置の推定、（４）胸部ノード４２ｆの回転の推定、（５）左手首ノード４２ｊ及び右手首ノード４２ｍの向きの推定、の順に実行されるようにしてもよい。
以下、まずは、（１）腰部ノード４２ｇの回転の推定について説明する。
図１９は、腰部ノード４２ｇの回転（Ｒｏｌｌ）の推定に用いられる機械学習モデルの学習の一例を示す図である。図２０は、学習済の機械学習モデルを用いた腰部ノード４２ｇの回転の推定の一例を示す図である。
図１９に示す機械学習モデルの学習は、図１２を参照して説明した機械学習モデルの学習における教師データとして、胸部の回転を示すデータの代わりに腰部の回転を示すデータを用いることにより可能であるため、その説明を省略する。当該教師データは、例えば、様々な動きをするユーザの頭部、右手、左手、右足、左足、腰部のそれぞれに装着されたトラッカー１２から出力されるセンシングデータや、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像、などに基づいて、上述と同様にして生成されてもよい。
なお、図１９に示すデータＤ２５（ｓ）～Ｄ３１（ｓ）は、図１２に示すデータＤ９（ｓ）～Ｄ１５（ｓ）と同様のデータである。また、図１９に示すデータＤ３２（ｔ）は、最新のタイミング（ｔ番目のタイミング）における腰部の回転の推定結果に相当する腰部回転データである。
また、図２０に示す機械学習モデルによる推定は、図１３を参照して説明した、胸部ノード４２ｆの回転（Ｒｏｌｌ）の推定と同様の入力を行うことにより可能であるため、その説明を省略する。
なお、図２０に示すデータＤ２５（ｕ）～Ｄ３１（ｕ）は、図１２に示すデータＤ９（ｕ）～Ｄ１５（ｕ）と同様のデータである。また、図２０に示すデータＤ３２（ｕ）は、出力層５２から出力５４として出力される、腰部の回転の推定結果に相当する腰部回転データである。
次に、（２）腰部ノード４２ｇの位置を基準とした頭部ノード４２ａの位置の推定について説明する。なお、頭部ノード４２ａの位置は、例えば、トラッカー１２ａの位置に基づいて推定可能である。そのため、腰部ノード４２ｇの位置を基準とした頭部ノード４２ａの位置が推定されれば、結果的に、腰部ノード４２ｇの位置が推定可能である。
図２１は、腰部ノード４２ｇの位置を基準とした頭部ノード４２ａの位置の推定に用いられる機械学習モデルの学習の一例を示す図である。図２１に示すように、腰部ノード４２ｇの位置を基準とした頭部ノード４２ａの位置の推定に用いられる機械学習モデルには、入力層４４と、中間ブロック４６と、第１中間層４８と、第２中間層５０と、出力層５２と、が含まれている。
本実施形態では例えば、図２１に示す機械学習モデルの学習において、それぞれ互いに異なるタイミングに対応付けられる、当該タイミングにおける、腰部ノード４２ｇの回転によりオフセットされた、（腰部ノード４２ｇの回転を基準とした）、右手の向き、左手の向き、右手の位置を基準とした頭部の位置、左手の位置を基準とした頭部の位置、右足の位置を基準とした頭部の位置、及び、左足の位置を基準とした頭部の位置を示すｔ個の部位データ、及び、教師データを含む学習データが取得される。
ここでは例えば、当該教師データは、例えば、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、腰部の位置を基準とした頭部の位置を示すデータであってもよい。そして当該教師データは、例えば、様々な動きをするユーザの頭部、右手、左手、右足、左足、腰部のそれぞれに装着されたトラッカー１２から出力されるセンシングデータや、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像、などに基づいて、上述と同様にして生成されてもよい。
そして、上述したように、入力層４４に、対応付けられるタイミングが古いものから順次、当該学習データに含まれる部位データが入力される。ここでは例えば、部位データには、腰部ノード４２ｇの回転によりオフセットされた右手の向きを示す右手向きデータＤ３３、腰部ノード４２ｇの回転によりオフセットされた左手の向きを示す左手向きデータＤ３４、腰部ノード４２ｇの回転によりオフセットされた、右手の位置を基準とした頭部の位置を示す右手基準頭部位置データＤ３５、腰部ノード４２ｇの回転によりオフセットされた、左手の位置を基準とした頭部の位置を示す左手基準頭部位置データＤ３６、腰部ノード４２ｇの回転によりオフセットされた、右足の位置を基準とした頭部の位置を示す右足基準頭部位置データＤ３７、腰部ノード４２ｇの回転によりオフセットされた、及び、左足の位置を基準とした頭部の位置を示す左足基準頭部位置データＤ３８が含まれていることとする。
ここでは例えば、上述したものと同様に、対応付けられるタイミングがｓ番目に古い、データＤ３３～Ｄ３８がそれぞれＤ３３（ｓ）～Ｄ３８（ｓ）と表現されている。ここで値ｓは、１以上ｔ以下の整数である。
また本実施形態では図２１に示すように、右手向きデータＤ３３（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、右手の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。左手向きデータＤ３４（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、左手の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。
また、右手基準頭部位置データＤ３５（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、右手の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。左手基準頭部位置データＤ３６（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、左手の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
また、右足基準頭部位置データＤ３７（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、右足の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。左足基準頭部位置データＤ３８（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、左足の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
本実施形態では、入力層４４に、以上の１８個の要素を含む部位データが入力されることとなる。
そして上述したように、最終的には、出力層５２からは、最新のタイミング（ｔ番目のタイミング）における、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、腰部の位置を基準とした頭部の位置の推定結果に相当する腰部基準頭部位置データＤ３９（ｔ）が出力５４として出力される。図２１に示すように、腰部基準頭部位置データＤ３９（ｔ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、腰部の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
なお、上述の教師データにも、例えば、腰部基準頭部位置データＤ３９（ｔ）と同様に、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、腰部の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する３個の要素が含まれている。
そして本実施形態では例えば、推定結果を示す腰部基準頭部位置データＤ３９（ｔ）に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、出力層５２の学習が実行される。ここで例えば、上述の一連の部位データを含む学習データに含まれる教師データと推定結果を示す腰部基準頭部位置データＤ３９（ｔ）との差が特定されてもよい。そして特定される差に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、及び、出力層５２のパラメータの値が更新される教師あり学習が実行されてもよい。
本実施形態では例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データを含む学習データによる学習が行われる。ここで例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データ、及び、ｔ番目の部位データに対応付けられる上述の教師データ、を含む学習データによる学習が行われてもよい。そして例えば互いに異なる複数の学習データによる学習が行われた学習済の機械学習モデルを用いて、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、腰部の位置を基準とした頭部の位置の推定が実行される。
図２２は、学習済の機械学習モデルを用いた、腰部ノード４２ｇの位置を基準とした頭部ノード４２ａの位置の推定の一例を示す図である。
ここでは例えば、送信されるトラッカー１２の位置及び向きを示すデータに基づいて、部位データが生成されることとする。当該部位データには、腰部ノード４２ｇの回転によりオフセットされた右手の向きを示す右手向きデータＤ３３、腰部ノード４２ｇの回転によりオフセットされた左手の向きを示す左手向きデータＤ３４、腰部ノード４２ｇの回転によりオフセットされた、右手の位置を基準とした頭部の位置を示す右手基準頭部位置データＤ３５、腰部ノード４２ｇの回転によりオフセットされた、左手の位置を基準とした頭部の位置を示す左手基準頭部位置データＤ３６、腰部ノード４２ｇの回転によりオフセットされた、右足の位置を基準とした頭部の位置を示す右足基準頭部位置データＤ３７、及び、腰部ノード４２ｇの回転によりオフセットされた、左足の位置を基準とした頭部の位置を示す左足基準頭部位置データＤ３８が含まれていることとする。また、上述のように、本実施形態では例えば、部位データが繰り返し生成される。
そして本実施形態では例えば、入力層４４に、最新の部位データ（最後に生成された部位データ）が入力される。図２２には、最新の部位データに含まれるデータＤ３３～Ｄ３８がそれぞれＤ３３（ｕ）～Ｄ３８（ｕ）と表現されている。
上述のように、右手向きデータＤ３３（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、上記（１）の処理で推定された腰部（腰部ノード４２ｇ）の回転によりオフセットされた、右手の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。左手向きデータＤ３４（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、上記（１）の処理で推定された腰部（腰部ノード４２ｇ）の回転によりオフセットされた、左手の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。
また、右手基準頭部位置データＤ３５（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、上記（１）の処理で推定された腰部（腰部ノード４２ｇ）の回転によりオフセットされた、右手の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。左手基準頭部位置データＤ３６（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、上記（１）の処理で推定された腰部（腰部ノード４２ｇ）の回転によりオフセットされた、左手の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
また、右足基準頭部位置データＤ３７（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、上記（１）の処理で推定された腰部（腰部ノード４２ｇ）の回転によりオフセットされた、右足の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。左足基準頭部位置データＤ３８（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、上記（１）の処理で推定された腰部（腰部ノード４２ｇ）の回転によりオフセットされた、左足の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
そして上述したように、最終的には、出力層５２からは、当該タイミングにおける、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、腰部の位置を基準とした頭部の位置の推定結果に相当する腰部基準頭部位置データＤ３９（ｕ）が出力５４として出力される。
次に、（３）胸部ノード４２ｆの位置を基準とした頭部ノード４２ａの位置の推定について説明する。なお、頭部ノード４２ａの位置は、例えば、トラッカー１２ａの位置に基づいて推定可能である。そのため、胸部ノード４２ｆの位置を基準とした頭部ノード４２ａの位置が推定されれば、結果的に、胸部ノード４２ｆの位置が推定可能である。
図２３は、胸部ノード４２ｆの位置を基準とした頭部ノード４２ａの位置の推定に用いられる機械学習モデルの学習の一例を示す図である。図２４は、学習済の機械学習モデルを用いた胸部ノード４２ｆの位置を基準とした頭部ノード４２ａの位置の推定の一例を示す図である。
図２３に示す機械学習モデルの学習は、図２１を参照して説明した機械学習モデルの学習における教師データとして、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、腰部の位置を基準とした頭部の位置を示すデータの代わりに、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、胸部の位置を基準とした頭部の位置を示すデータを用いることにより可能であるため、その説明を省略する。当該教師データは、例えば、様々な動きをするユーザの頭部、右手、左手、右足、左足、腰部、胸部のそれぞれに装着されたトラッカー１２から出力されるセンシングデータや、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像、などに基づいて、上述と同様にして生成されてもよい。
なお、図２３に示すデータＤ４０（ｓ）～Ｄ４５（ｓ）は、図２１に示すデータＤ３３（ｓ）～Ｄ３８（ｓ）と同様のデータである。また、図２３に示すデータＤ４６（ｔ）は、最新のタイミング（ｔ番目のタイミング）における、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、胸部の位置を基準とした頭部の位置の推定結果に相当する胸部基準頭部位置データである。
また、図２４に示す機械学習モデルによる推定は、図２２を参照して説明した、腰部ノード４２ｇの位置を基準とした頭部ノード４２ａの推定と同様の入力を行うことにより可能であるため、その説明を省略する。
なお、図２４に示すデータＤ４０（ｕ）～Ｄ４５（ｕ）は、図２２に示すデータＤ３３（ｕ）～Ｄ３８（ｕ）と同様のデータである。データＤ４０（ｕ）～Ｄ４５（ｕ）は、上記（１）の処理で推定された腰部（腰部ノード４２ｇ）の回転によりオフセットされたデータである。また、図２４に示すデータＤ４６（ｕ）は、出力層５２から出力５４として出力される、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、胸部の位置を基準とした頭部の位置の推定結果に相当する胸部基準頭部位置データである。
次に、（４）胸部ノード４２ｆの回転の推定について説明する。
図２５は、胸部ノード４２ｆの回転の推定に用いられる機械学習モデルの学習の一例を示す図である。図２５に示すように、胸部ノード４２ｆの回転の推定に用いられる機械学習モデルには、入力層４４と、中間ブロック４６と、第１中間層４８と、第２中間層５０と、出力層５２と、が含まれている。
本実施形態では例えば、図２５に示す機械学習モデルの学習において、それぞれ互いに異なるタイミングに対応付けられる、当該タイミングにおける、腰部ノード４２ｇの回転によりオフセットされた（腰部ノード４２ｇの回転を基準とした）、右手の向き、左手の向き、右手の位置を基準とした胸部の位置、及び、左手の位置を基準とした胸部の位置を示すｔ個の部位データ、及び、教師データを含む学習データが取得される。
ここでは例えば、当該教師データは、例えば、胸部の回転を示すデータであってもよい。そして当該教師データは、例えば、様々な動きをするユーザの頭部、右手、左手、腰部、胸部のそれぞれに装着されたトラッカー１２から出力されるセンシングデータや、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像、などに基づいて、上述と同様にして生成されてもよい。
そして、上述したように、入力層４４に、対応付けられるタイミングが古いものから順次、当該学習データに含まれる部位データが入力される。ここでは例えば、部位データには、腰部ノード４２ｇの回転によりオフセットされた右手の向きを示す右手向きデータＤ４７、腰部ノード４２ｇの回転によりオフセットされた左手の向きを示す左手向きデータＤ４８、腰部ノード４２ｇの回転によりオフセットされた、右手の位置を基準とした胸部の位置を示す右手基準胸部位置データＤ４９、及び、腰部ノード４２ｇの回転によりオフセットされた、左手の位置を基準とした胸部の位置を示す左手基準胸部位置データＤ５０が含まれていることとする。
ここでは例えば、上述したものと同様に、対応付けられるタイミングがｓ番目に古い、データＤ４７～Ｄ５０がそれぞれＤ４７（ｓ）～Ｄ５０（ｓ）と表現されている。ここで値ｓは、１以上ｔ以下の整数である。
また本実施形態では図２５に示すように、右手向きデータＤ４７（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、右手の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。左手向きデータＤ４８（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、左手の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。
また、右手基準胸部位置データＤ４９（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、右手の位置を基準とした胸部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。また、左手基準胸部位置データＤ５０（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部（腰部ノード４２ｇ）の回転によりオフセットされた、左手の位置を基準とした胸部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
本実施形態では、入力層４４に、以上の１２個の要素を含む部位データが入力されることとなる。
そして上述したように、最終的には、出力層５２からは、最新のタイミング（ｔ番目のタイミング）における胸部の回転の推定結果に相当する胸部回転データＤ５１（ｔ）が出力５４として出力される。図２５に示すように、胸部回転データＤ５１（ｔ）には、１個の要素（ロール角（Ｒｏｌｌ））が含まれている。当該ロール角は例えば、上述の基準の向きに対するロール角に相当する。
なお、上述の教師データにも、例えば、胸部回転データＤ５１（ｔ）と同様に、１個の要素（ロール角（Ｒｏｌｌ））が含まれている。なお、Ｒｏｌｌの値は、－２π～２πの範囲をとるよう調整された実数であってもよい。
そして本実施形態では例えば、推定結果を示す胸部回転データＤ５１（ｔ）に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、出力層５２の学習が実行される。ここで例えば、上述の一連の部位データを含む学習データに含まれる教師データと推定結果を示す胸部回転データＤ５１（ｔ）との差が特定されてもよい。そして特定される差に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、及び、出力層５２のパラメータの値が更新される教師あり学習が実行されてもよい。
本実施形態では例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データを含む学習データによる学習が行われる。ここで例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データ、及び、ｔ番目の部位データに対応付けられる上述の教師データ、を含む学習データによる学習が行われてもよい。そして例えば互いに異なる複数の学習データによる学習が行われた学習済の機械学習モデルを用いて、胸部の回転の推定が実行される。
図２６は、学習済の機械学習モデルを用いた、胸部ノード４２ｆの回転の推定の一例を示す図である。
ここでは例えば、送信されるトラッカー１２の位置及び向きを示すデータに基づいて、部位データが生成されることとする。当該部位データには、腰部ノード４２ｇの回転によりオフセットされた右手の向きを示す右手向きデータＤ４７、腰部ノード４２ｇの回転によりオフセットされた左手の向きを示す左手向きデータＤ４８、腰部ノード４２ｇの回転によりオフセットされた、右手の位置を基準とした胸部の位置を示す右手基準胸部位置データＤ４９、及び、腰部ノード４２ｇの回転によりオフセットされた、左手の位置を基準とした胸部の位置を示す左手基準胸部位置データＤ５０が含まれていることとする。また、上述のように、本実施形態では例えば、部位データが繰り返し生成される。
そして本実施形態では例えば、入力層４４に、最新の部位データ（最後に生成された部位データ）が入力される。図２６には、最新の部位データに含まれるデータＤ４７～Ｄ５０がそれぞれＤ４７（ｕ）～Ｄ５０（ｕ）と表現されている。
上述のように、右手向きデータＤ４７（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、上記（１）の処理で推定された腰部（腰部ノード４２ｇ）の回転によりオフセットされた、右手の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。左手向きデータＤ４８（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、上記（１）の処理で推定された腰部（腰部ノード４２ｇ）の回転によりオフセットされた、左手の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。
また、右手基準胸部位置データＤ４９（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、上記（１）の処理で推定された腰部（腰部ノード４２ｇ）の回転によりオフセットされた、右手の位置を基準とした胸部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。また、左手基準胸部位置データＤ５０（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、上記（１）の処理で推定された腰部（腰部ノード４２ｇ）の回転によりオフセットされた、左手の位置を基準とした胸部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
そして上述したように、最終的には、出力層５２からは、当該タイミングにおける、胸部の回転の推定結果に相当する胸部回転データＤ５１（ｕ）が出力５４として出力される。
次に、（５）左手首ノード４２ｊ及び右手首ノード４２ｍの向きの推定について説明する。
図２７は、左手首ノード４２ｊの向きの推定に用いられる機械学習モデルの学習の一例を示す図である。図２７に示すように、左手首ノード４２ｊの向きの推定に用いられる機械学習モデルには、入力層４４と、中間ブロック４６と、第１中間層４８と、第２中間層５０と、出力層５２と、が含まれている。
本実施形態では例えば、図２７に示す機械学習モデルの学習において、それぞれ互いに異なるタイミングに対応付けられる、当該タイミングにおける、胸部ノード４２ｆの回転によりオフセットされた（胸部ノード４２ｆの回転を基準とした）、左手の位置を基準とした胸部の位置、及び、左手の向きを示すｔ個の部位データ、及び、教師データを含む学習データが取得される。
ここでは例えば、当該教師データは、例えば、左手首の向きを示すデータであってもよい。そして当該教師データは、例えば、様々な動きをするユーザの左手、左手首、胸部のそれぞれに装着されたトラッカー１２から出力されるセンシングデータや、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像、などに基づいて、上述と同様にして生成されてもよい。
そして、上述したように、入力層４４に、対応付けられるタイミングが古いものから順次、当該学習データに含まれる部位データが入力される。ここでは例えば、部位データには、胸部ノード４２ｆの回転によりオフセットされた、左手の位置を基準とした胸部の位置を示す左手基準胸部位置データＤ５２、及び、胸部ノード４２ｆの回転によりオフセットされた左手の向きを示す左手向きデータＤ５３が含まれていることとする。
ここでは例えば、上述したものと同様に、対応付けられるタイミングがｓ番目に古い、データＤ５２、Ｄ５３がそれぞれＤ５２（ｓ）、Ｄ５３（ｓ）と表現されている。ここで値ｓは、１以上ｔ以下の整数である。
また本実施形態では図２７に示すように、左手基準胸部位置データＤ５２（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、胸部（胸部ノード４２ｆ）の回転によりオフセットされた、左手の位置を基準とした胸部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。また、左手向きデータＤ５３（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、胸部（胸部ノード４２ｆ）の回転によりオフセットされた、左手の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。
本実施形態では、入力層４４に、以上の６個の要素を含む部位データが入力されることとなる。
そして上述したように、最終的には、出力層５２からは、最新のタイミング（ｔ番目のタイミング）における左手首の向きの推定結果に相当する左手首向きデータＤ５４（ｔ）が出力５４として出力される。図２７に示すように、左手首向きデータＤ５４（ｔ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、胸部（胸部ノード４２ｆ）の回転によりオフセットされた、左手首の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。
なお、上述の教師データにも、例えば、左手首向きデータＤ５４（ｔ）と同様に、胸部（胸部ノード４２ｆ）の回転によりオフセットされた、左手首の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する３個の要素が含まれている。
そして本実施形態では例えば、推定結果を示す左手首向きデータＤ５４（ｔ）に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、出力層５２の学習が実行される。ここで例えば、上述の一連の部位データを含む学習データに含まれる教師データと推定結果を示す左手首向きデータＤ５４（ｔ）との差が特定されてもよい。そして特定される差に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、及び、出力層５２のパラメータの値が更新される教師あり学習が実行されてもよい。
本実施形態では例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データを含む学習データによる学習が行われる。ここで例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データ、及び、ｔ番目の部位データに対応付けられる上述の教師データ、を含む学習データによる学習が行われてもよい。そして例えば互いに異なる複数の学習データによる学習が行われた学習済の機械学習モデルを用いて、左手首の向きの推定が実行される。
図２８は、学習済の機械学習モデルを用いた左手首の向きの推定の一例を示す図である。
ここでは例えば、送信されるトラッカー１２の位置及び向きを示すデータに基づいて、部位データが生成されることとする。当該部位データには、胸部ノード４２ｆの回転によりオフセットされた左手の位置を基準とした胸部の位置を示す左手基準胸部位置データＤ５２、及び、胸部ノード４２ｆの回転によりオフセットされた左手の向きを示す左手向きデータＤ５３が含まれていることとする。また、上述のように、本実施形態では例えば、部位データが繰り返し生成される。
そして本実施形態では例えば、入力層４４に、最新の部位データ（最後に生成された部位データ）が入力される。図２８には、最新の部位データに含まれるデータＤ５２、Ｄ５３がそれぞれＤ５２（ｕ）、Ｄ５３（ｕ）と表現されている。
上述のように、左手基準胸部位置データＤ５２（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、上記（４）の処理で推定された胸部（胸部ノード４２ｆ）の回転によりオフセットされた、左手の位置を基準とした胸部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。また、左手向きデータＤ５３（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、上記（４）の処理で推定された胸部（胸部ノード４２ｆ）の回転によりオフセットされた、左手の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。
そして上述したように、最終的には、出力層５２からは、当該タイミングにおける、左手首の向きの推定結果に相当する左手首向きデータＤ５４（ｕ）が出力５４として出力される。
なお同様の方法により、右手首ノード４２ｍの向きの推定も可能である。
［着座姿勢にあるか立ち姿勢にあるかの推定の一例］
また、本実施形態では、ユーザが着座姿勢にあるか立ち姿勢にあるかによって別々の学習済の機械学習モデルが用意されていてもよい。
ここで学習済の機械学習モデルを用いてユーザが着座姿勢にあるか立ち姿勢にあるかが推定されてもよい。そして当該推定の結果に基づいて選択される機械学習モデルを用いて上述した部位の位置や向きなどの推定が実行されるようにしてもよい。
図２９は、ユーザが着座姿勢にあるか立ち姿勢にあるかの推定に用いられる機械学習モデルの学習の一例を示す図である。図２９に示すように、ユーザが着座姿勢にあるか立ち姿勢にあるかの推定に用いられる機械学習モデルには、入力層４４と、中間ブロック４６と、第１中間層４８と、第２中間層５０と、出力層５２と、が含まれている。
本実施形態では例えば、図２９に示す機械学習モデルの学習において、それぞれ互いに異なるタイミングに対応付けられる、当該タイミングにおける、腰部（腰部ノード４２ｇ）の回転によりオフセットされた（腰部の向きを基準とした）、頭部の向き、右足の位置を基準とした頭の位置、左足の位置を基準とした頭の位置を示す部位データを複数含む学習データが取得される。
ここで例えば、例えば、頭部、右足、左足、腰部のそれぞれにトラッカー１２を装着したユーザが着座姿勢で様々な動きをした際の、これらのトラッカー１２から出力されるセンシングデータに基づいて、着座姿勢に対応する一連の部位データが生成されてもよい。また例えば、着座姿勢で様々な動きをするユーザを外部のカメラから撮影した動画像に基づいて、着座姿勢に対応する一連の部位データが生成されてもよい。また、このような動画像を見ているオペレータによる操作に基づいて、着座姿勢に対応する一連の部位データが生成されてもよい。
そして例えば、上述の着座姿勢に対応する一連の部位データと、値に１が設定された教師データと、を含む学習データが生成されてもよい。
また例えば、頭部、右足、左足、腰部のそれぞれにトラッカー１２を装着したユーザが立ち姿勢で様々な動きをした際の、これらのトラッカー１２から出力されるセンシングデータに基づいて、立ち姿勢に対応する一連の部位データが生成されてもよい。また例えば、立ち姿勢で様々な動きをするユーザを外部のカメラから撮影した、ｔ個のフレームを含む動画像に基づいて、立ち姿勢に対応する一連の部位データが生成されてもよい。また、このような動画像を見ているオペレータによる操作に基づいて、立ち姿勢に対応する一連の部位データが生成されてもよい。
そして例えば、上述の立ち姿勢に対応する一連の部位データと、値に０が設定された教師データと、を含む学習データが生成されてもよい。
そして、入力層４４に、対応付けられるタイミングが古いものから順次、当該学習データに含まれる部位データが入力される。ここでは例えば、部位データには、腰部の回転によりオフセットされた、頭部の向きを示す頭部向きデータＤ５５、腰部の回転によりオフセットされた、右足の位置を基準とした頭部の位置を示す右足基準頭部位置データＤ５６、及び、腰部の回転によりオフセットされた、左足の位置を基準とした頭部の位置を示す左足基準頭部位置データＤ５７が含まれていることとする。
ここでは例えば、対応付けられるタイミングがｓ番目に古い頭部向きデータがＤ５５（ｓ）と表現されている。また、対応付けられるタイミングがｓ番目に古い右足基準頭部位置データがＤ５６（ｓ）と表現されている。また、対応付けられるタイミングがｓ番目に古い左足基準頭部位置データがＤ５７（ｓ）と表現されている。ここで値ｓは、１以上ｔ以下の整数である。
また本実施形態では図２９に示すように、頭部向きデータＤ５５（ｓ）には、それぞれ、ｘ、ｙ、ｚといった、３個の要素が含まれている。当該３個の要素は、それぞれ、腰部の回転によりオフセットされた、頭部の向きを表すベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。ここで胸部の回転によりオフセットされた、頭部の向きを表すベクトルは、例えば、胸部の回転によりオフセットされた、頭部（頭部ノード４２ａ）の向き（例えば頭部における視線方向）を表す単位ベクトルであってもよい。なお、スケルトンモデル４０に、さらに、首に相当する首ノードが含まれる場合に、胸部の回転によりオフセットされた、頭部の向きを表すベクトルが、首（首ノード）の位置を基準とした頭部（頭部ノード４２ａ）の位置を表すベクトルであってもよい。ここで、首ノードは、例えば、頭部ノード４２ａと胸部ノード４２ｆの間にあり、頭部ノード４２ａ及び胸部ノード４２ｆとリンクを介して接続されたノードであってもよい。この場合、学習データに含まれる部位データは、頭部、右足、左足、腰部、首のそれぞれにトラッカー１２を装着したユーザが様々な動きをした際の、これらのトラッカー１２から出力されるセンシングデータに基づいて、生成されてもよい。
また、右足基準頭部位置データＤ５６（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部の回転によりオフセットされた、右足の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
また、左足基準頭部位置データＤ５７（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部の回転によりオフセットされた、左足の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
本実施形態では、入力層４４に、９個（３×３）の要素を含む部位データが入力されることとなる。
そして上述したように、最終的には、出力層５２からは、最新のタイミング（ｔ番目のタイミング）における、ユーザが着座姿勢にあるか立ち姿勢にあるかの推定結果に相当する着座確率データＤ５８（ｔ）が出力５４として出力される。着座確率データは、例えば０以上１以下の実数で表現されるデータである。着座確率データの値が大きいほど、ユーザが着座姿勢にある可能性が高く、着座確率データの値が小さいほど、ユーザが着座姿勢にある可能性が低い。
そして本実施形態では例えば、推定結果を示す着座確率データＤ５８（ｔ）に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、出力層５２の学習が実行される。ここで例えば、上述の一連の部位データを含む学習データに含まれる教師データと推定結果を示す着座確率データＤ５８（ｔ）との差が特定されてもよい。そして特定される差に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、及び、出力層５２のパラメータの値が更新される教師あり学習が実行されてもよい。
本実施形態では例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データを含む学習データによる学習が行われる。ここで例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データ、及び、当該ｔ個の部位データに対応付けられる上述の教師データ、を含む学習データによる学習が行われてもよい。そして例えば着座姿勢に対応する互いに異なる複数の学習データ、及び、立ち姿勢に対応する互いに異なる複数の学習データによる学習が行われた学習済の機械学習モデルを用いて、ユーザが着座姿勢にあるか立ち姿勢にあるかの推定が実行される。
図３０は、学習済の機械学習モデルを用いた、ユーザが着座姿勢にあるか立ち姿勢にあるかの推定の一例を示す図である。
ここでは例えば、送信されるトラッカー１２の位置及び向きを示すデータに基づいて、部位データが生成されることとする。
上述のように、部位データには、腰部の回転によりオフセットされた、頭部の向きを示す頭部向きデータＤ５５、腰部の回転によりオフセットされた、右足の位置を基準とした頭部の位置を示す右足基準頭部位置データＤ５６、及び、腰部の回転によりオフセットされた、左足の位置を基準とした頭部の位置を示す左足基準頭部位置データＤ５７が含まれていることとする。また、上述のように、本実施形態では例えば、部位データが繰り返し生成される。なお、頭部向きデータＤ５５が、首（首ノード）の位置を基準とした頭部（頭部ノード４２ａ）の位置を表すベクトルである場合は、首ノード及び頭部ノード４２ａの最新の位置に基づいて、頭部向きデータＤ５５が生成されてもよい。
そして本実施形態では例えば、入力層４４に、最新の部位データ（最後に生成された部位データ）が入力される。図３０には、最新の部位データに含まれる頭部向きデータがＤ５５（ｕ）と表現されている。また、最新の部位データに含まれる右足基準頭部位置データがＤ５６（ｕ）と表現されている。また、最新の部位データに含まれる左足基準頭部位置データがＤ５７（ｕ）と表現されている。
上述のように、頭部向きデータＤ５５（ｕ）には、それぞれ、ｘ、ｙ、ｚといった、３個の要素が含まれている。当該３個の要素は、それぞれ、腰部の回転によりオフセットされた、頭部の向きを表すベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。
また、右足基準頭部位置データＤ５６（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部の回転によりオフセットされた、右足の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
また、左足基準頭部位置データＤ５７（ｕ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、腰部の回転によりオフセットされた、左足の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
そして上述したように、最終的には、出力層５２からは、当該タイミングにおける、ユーザが着座姿勢にあるか立ち姿勢にあるかの推定結果に相当する着座確率データＤ５８（ｕ）が出力５４として出力される。
ここで例えば、着座確率データＤ５８（ｕ）の値が０．５以上である場合に、ユーザが着座姿勢であると推定し、そうでない場合に、ユーザが立ち姿勢であると推定されてもよい。
そして、当該推定の結果に基づいて選択される学習済の機械学習モデルを用いて、上述した部位の位置や向きの推定が実行されるようにしてもよい。
なお、機械学習モデルを用いて、ユーザが着座姿勢であるか立ち姿勢であるかが推定される必要はない。例えば、作成された所与のロジックを用いてユーザが着座姿勢であるか立ち姿勢であるかが推定されてもよい。
また、右手基準頭部位置データＤ１４の値、左手基準頭部位置データＤ１５の値、左手基準胸部位置データＤ１７の値、右手高さデータＤ２０の値、左手高さデータＤ２１の値、右手基準頭部位置データＤ３０の値、左手基準頭部位置データＤ３１の値、右手基準頭部位置データＤ３５の値、左手基準頭部位置データＤ３６の値、右足基準頭部位置データＤ３７の値、左足基準頭部位置データＤ３８の値、右手基準頭部位置データＤ４２の値、左手基準頭部位置データＤ４３の値、左足基準頭部位置データＤ４４の値、右足基準頭部位置データＤ４５の値、右手基準胸部位置データＤ４９の値、左手基準胸部位置データＤ５０の値、左手基準胸部位置データＤ５２の値、右足基準頭部位置データＤ５６の値、及び、左足基準頭部位置データＤ５７の値として、身体サイズを基準とした相対値、すなわち、トラッカー１２が備えるセンサによる計測結果に基づいて算出される値を身体サイズで割った値が用いられてもよい。
［身体サイズの推定の一例］
ここで身体サイズは、ユーザにより予め入力されたものであってもよいし、例えば、以下のようにして、上述の推定が行われる度に、トラッカー１２の位置に基づいて逐次推定されるものであってもよい。
ここで、本実施形態に係るエンタテインメント装置１４で行われる身体サイズ推定処理の流れの一例を、図３１に例示するフロー図、及び、図３２に示す模式図を参照しながら説明する。図３２は、ユーザがゲームをプレイしている様子の一例を示す模式図である。本処理例では、以下のＳ３０１～Ｓ３１３に示す処理が所定のサンプリングレートで繰り返し実行される。本処理例に示す処理は、例えば、上述の各種の推定処理が実行される直前に実行されるようにしてもよい。また以下の説明では、ユーザの前後方向がＸ軸方向であり、左右方向がＹ軸方向であり、高さ方向がＺ軸方向であることとする。
また、以下の説明では、図３２に示すように、Ｓ２０１に示す処理で取得された姿勢データが示すトラッカー１２ａ、トラッカー１２ｂ、トラッカー１２ｃ、トラッカー１２ｄ、トラッカー１２ｅの位置をそれぞれＴ１、Ｔ２、Ｔ３、Ｔ４、Ｔ５と表現する。
また、以下の説明では、姿勢データ記憶部８２に、ユーザの身体サイズを示す身体サイズデータが記憶されていることとする。ここで例えば身体サイズデータの初期値として所定値が設定されるようにしてもよい。あるいは、身体サイズデータの初期値としてユーザの年齢に応じた値が設定されるようにしてもよい。後述のように身体サイズデータが示す身体サイズは次第に大きくなるよう当該身体サイズデータは更新されていくので、身体サイズデータの初期値としては、ユーザの一般的な身体サイズを示す値よりも少し小さな値が設定されるようにすることが望ましい。
なお、姿勢データ記憶部８２は、ユーザの身長を示す身長データを記憶してもよい。また、姿勢データ記憶部８２は、ユーザの腕の長さを示す腕長さデータを記憶してもよい。また、姿勢データ記憶部８２は、ユーザの左右方向の身体サイズを示す左右身体サイズデータを記憶してもよい。
まず、エンタテインメント装置１４は、位置Ｔ１のｚ座標値ｈ１に所定のオフセット値ｌｏを加えた値を頭頂部のｚ座標値ｈｔとして算出する（Ｓ３０１）。
そしてエンタテインメント装置１４は、位置Ｔ４のｚ座標値と位置Ｔ５のｚ座標値との差が所定の閾値ｔ１以下であるか否かを確認する（Ｓ３０２）。
位置Ｔ４のｚ座標値と位置Ｔ５のｚ座標値との差が閾値ｔ１以下であることが確認された場合は（Ｓ３０２：Ｙ）、エンタテインメント装置１４は、位置Ｔ４のｚ座標値と位置Ｔ５のｚ座標値の平均値であるｚ座標値ｈ４を算出する（Ｓ３０３）。
そしてエンタテインメント装置１４は、Ｓ３０１に示す処理で算出された頭頂部のｚ座標値ｈｔとＳ３０３に示す処理で算出されたｚ座標値ｈ４との差を、身長の推定値ｌｔとして算出する（Ｓ３０４）。
そしてエンタテインメント装置１４は、Ｓ３０４に示す処理で算出された身体サイズの推定値ｌｔが、姿勢データ記憶部８２に記憶されている身長データが示す身長の値よりも大きいか否かを確認する（Ｓ３０５）。
値ｌｔが姿勢データ記憶部８２に記憶されている身長データが示す身長の値よりも大きいことが確認されたとする（Ｓ３０５：Ｙ）。この場合は、エンタテインメント装置１４は、Ｓ３０４に示す処理で算出された身体サイズの推定値ｌｔを示すよう姿勢データ記憶部８２に記憶されている身長データを更新する（Ｓ３０６）。
そしてエンタテインメント装置１４は、ユーザの肩の位置を推定する（Ｓ３０７）。ここでは例えば、位置Ｔ１を示す値に所定のオフセット値ｐｓｒｏを加えることで右肩の位置ｐｓｒを示す値が推定されるようにしてもよい。また例えば、位置Ｔ１を示す値に別の所定のオフセット値ｐｓｌｏを加えることで左肩の位置ｐｓｌを示す値が推定されるようにしてもよい。なお、Ｓ３０３に示す処理で位置Ｔ４のｚ座標値と位置Ｔ５のｚ座標値との差が閾値ｔ１以下でないことが確認された場合も（Ｓ３０２：Ｎ）、Ｓ３０７に示す処理が実行される。この場合は、位置Ｔ４を示す値や位置Ｔ５を示す値がエラーに基づく異常値である可能性が高いため、Ｓ３０３～Ｓ３０６に示す処理がスキップされる。また、Ｓ３０５に示す処理で値ｌｔが姿勢データ記憶部８２に記憶されている身長データが示す身長の値よりも大きくないことが確認された場合も（Ｓ３０５：Ｎ）、Ｓ３０７に示す処理が実行される。
そしてエンタテインメント装置１４は、Ｓ３０７に示す処理で推定された右肩の位置ｐｓｒと左肩の位置ｐｓｌとの間の長さを肩幅ｌｓとして算出する（Ｓ３０８）。
そしてエンタテインメント装置１４は、位置Ｔ２と位置ｐｓｌとの間の長さと、位置Ｔ３と位置ｐｓｒとの間の長さと、の差が所定の閾値ｔ２以下であるか否かを確認する（Ｓ３０９）。
位置Ｔ２と位置ｐｓｌとの間の長さｌａ１と、位置Ｔ３と位置ｐｓｒとの間の長さｌａ２と、の差が所定の閾値ｔ２以下であることが確認されたとする（Ｓ３０９：Ｙ）。この場合は、エンタテインメント装置１４が、位置Ｔ２と位置ｐｓｒとの間の長さｌａ１を示す値と位置Ｔ３と位置ｐｓｌとの間の長さｌａ２を示す値との平均値を腕の長さの推定値ｌａとして算出する（Ｓ３１０）。
そしてエンタテインメント装置１４が、Ｓ３１０に示す処理で算出された推定値ｌａが、姿勢データ記憶部８２に記憶されている腕長さデータが示す腕の長さの値よりも大きいか否かを確認する（Ｓ３１１）。
値ｌａが姿勢データ記憶部８２に記憶されている腕長さデータの値よりも大きいことが確認されたとする（Ｓ３１１：Ｙ）。この場合は、エンタテインメント装置１４は、Ｓ３１０に示す処理で算出された腕の長さの推定値ｌａを示すよう姿勢データ記憶部８２に記憶されている腕長さデータを更新する（Ｓ３１２）。
そしてエンタテインメント装置１４が、腕長さデータの値の２倍と上述の肩幅ｌｓの値との和を示すよう姿勢データ記憶部８２に記憶されている左右身体サイズデータを更新する（Ｓ３１３）。そして、Ｓ３０１に示す処理に戻る。
例えば、上述の各種のデータの値として、トラッカー１２が備えるセンサによる計測結果に基づいて算出される値を、姿勢データ記憶部８２に記憶されている、身長サイズデータの値、腕長さデータの値、又は、左右身体サイズデータの値のいずれかで割った値が用いられてもよい。
［足の位置の決定の一例］
また本実施形態において、ユーザが、左足と右足のそれぞれにトラッカー１２ｄ及びトラッカー１２ｅを装着しなくてもよい。そして、機械学習モデルを用いて、左足ノード４２ｄの位置及び向き、並びに、右足ノード４２ｅの位置及び向きが決定されるようにしてもよい。
この場合、例えば、図１１に示すＳ２０１に示す処理において、姿勢データ取得部８０が、トラッカー１２ａ～１２ｃのそれぞれについての、当該トラッカー１２の位置及び向きを示す姿勢データを取得する。
そして、これらの姿勢データに基づいて、最新のタイミングにおける左足ノード４２ｄの位置及び向き、及び、右足ノード４２ｅの位置及び向きが決定される。
そして、Ｓ２０２に示す処理で、取得された姿勢データ及び、決定された左足ノード４２ｄの位置及び向き、及び、決定された右足ノード４２ｅの位置及び向きに基づいて、部位データが生成される。
以後、このようにして生成される部位データに基づいて、Ｓ２０３～Ｓ２０９に示す処理が実行される。なお、Ｓ２０９に示す処理では、左足ノード４２ｄと右足ノード４２ｅの位置及び向きは決定されない。
そして、Ｓ２１０における逆運動学によるノード４２の位置及び向きの推定では、左足ノード４２ｄと右足ノード４２ｅの位置及び向きとして、トラッカー１２ａ～１２ｃのそれぞれについての姿勢データに基づいて上述のようにして決定されたものが用いられる。
本実施形態において以上のようにすれば、ユーザは足にトラッカーを装着することなく全身のボディトラッキングを行えることとなる。そのため、全身のボディトラッキングを行う際に、ユーザは、煩わしい足へのトラッカーの装着を行う必要がなくなる。また、ユーザが足にトラッカーを装着することなくユーザの全身のモーションを的確に表現できることとなる。
以下、機械学習モデルを用いた、左足ノード４２ｄの位置及び向き、並びに、右足ノード４２ｅの位置及び向きの決定について、さらに説明する。
本実施形態では上述のように、所定のサンプリングレートでトラッカーの位置及び向きの特定が行われる。以下の説明では、所定のサンプリングレートでトラッカー１２ａ～１２ｃのそれぞれについて、当該トラッカー１２の位置及び向きの特定が行われることとする。そして、トラッカー１２ａ～１２ｃの位置及び向きの特定に応じて、上述のＳ２０１～Ｓ２１０に示すような、１サイクルにおけるスケルトンモデル４０に含まれるすべてのノード４２についての位置及び向きの推定が実行される。
ここで本実施形態では、上述のＳ２０１の処理において、トラッカー１２ａ～１２ｃによって生成される最新の特定タイミングにおける当該トラッカー１２の位置及び向きを示す姿勢データが姿勢データ記憶部８２に記憶された後に、左足ノード４２ｄと右足ノード４２ｅについての位置及び向きの決定処理が実行される。
当該決定処理には、例えば、（１）動作足特定処理、（２）足姿勢決定処理、（３）仮水平方向位置推定処理、（４）仮高さ推定処理、及び、（５）足位置更新処理が含まれる。以下、それぞれの処理について説明する。
（１）動作足特定処理
人間は、通常、左足と右足とを同時に動作させることはない。このことを踏まえ、本実施形態では例えば、予め、左足、又は、右足のいずれか一方が動作足に設定され、他方が非動作足に設定される。ここでは例えば、初期状態では、左足が動作足に設定されることとする。
そして、本実施形態では例えば、ユーザの頭部に装着されたトラッカー１２ａの速度の方向及び大きさが特定される。ここでは例えば、直前のタイミングにおけるトラッカー１２ａの位置を示すデータの値と当該タイミングにおける位置を示すデータの値との差分を、直前のタイミングから当該タイミングまでの経過時間で割った値が、速度を示す値として用いられる。
そして、特定される速度の大きさが所定の閾値を超えているか否かが判定される。特定される速度の大きさが所定の閾値を超えている場合は、当該速度の方向がユーザの左足方向であるか右足方向であるかが特定される。
例えば、図３３に示すように、胸部ノード４２ｆの向きや頭部ノード４２ａの向きを基準として、矢印ｖ１に示すように頭部の速度の方向が左足側の方向であれば、当該速度の方向が左足方向であると特定される。一方、矢印ｖ２に示すように頭部の速度の方向が右足側の方向であれば、当該速度の方向が右足方向であると特定される。
そして、速度の方向が左足方向であると特定される場合は、左足が動作足に決定される。速度の方向が右足方向であると特定される場合は、右足が動作足に決定される。
一般的に、人間は動作させる足の方向に頭部が動く。このことを踏まえて上述のようにして動作足を特定することで、本実施形態では、動作足を的確に特定できることとなる。
一方、特定される速度の大きさが所定の閾値以下である場合は、直前のタイミング（例えば直前のサイクル）の（５）足位置更新処理において決定された動作足の位置と、（３）仮水平方向位置推定処理、及び、（４）仮高さ推定処理において推定された動作足の仮位置と、の間の距離が特定される。動作足の位置の決定や仮位置の推定については後述する。そして、特定された距離が所定距離（例えば、１センチメートル）以下である場合は、動作足又は非動作足の一方が他方に変更されるとともに、他方が一方に変更される。例えば、動作足が右足である場合は、右足が非動作足に変更され、左足が動作足に変更される。逆に、動作足が左足である場合は、左足が非動作足に変更され、右足が動作足に変更される。
一般的に、人間は例えば歩行している際には左右の足を交互に動かす。このとき、交互に動かす左右の足は加速と減速とを繰り返す。このことを踏まえて上述のようにして動作足を特定することで、本実施形態では、動作足を的確に特定できることとなる。
以上のようにして、トラッカー１２ａの速度に基づく動作足の特定が行われる。
（２）足姿勢決定処理
本実施形態では例えば、直前のタイミング（例えば直前のサイクル）において推定された胸部ノード４２ｆ又は腰部ノード４２ｇの向きの鉛直方向（Ｚ方向）を軸とした回転成分が、左足、及び、右足の向きの鉛直方向（Ｚ方向）を軸とした回転成分として決定される。
そして、直前のタイミングにおいて決定された、胸部ノード４２ｆ又は腰部ノード４２ｇを通る鉛直方向（Ｚ方向）に延伸する線から左足の位置までの距離に基づいて、左足の向きの、胸部ノード４２ｆ又は腰部ノード４２ｇの向きを正面とした際の左右水平方向（ＸＹ平面上の線）を軸とした回転成分が決定される。ここで例えば、当該距離が長いほど大きくなるよう当該回転成分の大きさが決定されてもよい。
また、同様にして、胸部ノード４２ｆ又は腰部ノード４２ｇを通る鉛直方向（Ｚ方向）に延伸する線から右足の位置までの距離に基づいて、右足の向きの、胸部ノード４２ｆ又は腰部ノード４２ｇの向きを正面とした際の左右水平方向（ＸＹ平面上の線）を軸とした回転成分が決定される。ここで例えば、当該距離が長いほど大きくなるよう当該回転成分の大きさが決定されてもよい。
以上のようにして、左足、及び、右足の向きが決定される。
（３）仮水平方向位置推定処理
本実施形態では、機械学習モデルを用いて、左足及び右足の水平面上における仮の位置（ｘｙ座標値）（以下、仮水平方向位置と呼ぶ。）を推定する仮水平方向位置推定処理が実行される。
図３４は、左足及び右足の仮水平方向位置の推定に用いられる機械学習モデルの学習の一例を示す図である。図３４に示すように、左足及び右足の仮水平方向位置の推定に用いられる機械学習モデルには、入力層４４と、中間ブロック４６と、第１中間層４８と、第２中間層５０と、出力層５２と、が含まれている。
本実施形態では例えば、図３４に示す機械学習モデルの学習において、それぞれ互いに異なるタイミングに対応付けられる、当該タイミングにおける、頭部の高さ、胸部ノード４２ｆの回転によりオフセットされた頭部の向き、胸部（胸部ノード４２ｆ）の回転によりオフセットされた、左手の位置を基準とした頭部の位置、及び、胸部の回転によりオフセットされた、右手の位置を基準とした頭部の位置を示すｔ個の部位データ、及び、教師データを含む学習データが取得される。
ここでは例えば、当該教師データは、例えば、胸部の回転によりオフセットされた、頭部の位置を基準とした左足の仮水平方向位置、及び、胸部の回転によりオフセットされた、頭部の位置を基準とした右足の仮水平方向位置を示すデータであってもよい。そして当該教師データは、例えば、様々な動きをするユーザの頭部、左手、右手、左足、右足、胸部のそれぞれに装着されたトラッカー１２から出力されるセンシングデータや、様々な動きをするユーザを外部のカメラから撮影したｔ個のフレームを含む動画像、などに基づいて、上述と同様にして生成されてもよい。
そして、上述したように、入力層４４に、対応付けられるタイミングが古いものから順次、当該学習データに含まれる部位データが入力される。ここでは例えば、部位データには、頭部の高さを示す頭部高さデータＤ５９、胸部の回転によりオフセットされた頭部の向きを示す頭部向きデータＤ６０、胸部の回転によりオフセットされた、左手の位置を基準とした頭部の位置を示す左手基準頭部位置データＤ６１、及び、胸部の回転によりオフセットされた、右手の位置を基準とした頭部の位置を示す右手基準頭部位置データＤ６２が含まれていることとする。
ここでは例えば、上述したものと同様に、対応付けられるタイミングがｓ番目に古い、データＤ５９～Ｄ６２がそれぞれＤ５９（ｓ）～Ｄ６２（ｓ）と表現されている。ここで値ｓは、１以上ｔ以下の整数である。
また本実施形態では図３４に示すように、頭部高さデータＤ５９（ｓ）には、それぞれ、１つの要素ｚが含まれている。当該要素ｚは、頭部の位置のｚ座標値から基準位置のｚ座標値を引いた値に相当する。ここで、基準位置が、例えば、床の位置に相当する所定の位置であってもよい。また、基準位置が、左足の位置、右足の位置、又は、左足の位置と右足の位置との中点の位置、などであってもよい。
また本実施形態では図３４に示すように、頭部向きデータＤ６０（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、胸部の回転によりオフセットされた、頭部の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。
また本実施形態では図３４に示すように、左手基準頭部位置データＤ６１（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、胸部の回転によりオフセットされた、左手の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。また、右手基準頭部位置データＤ６２（ｓ）には、それぞれ、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、胸部の回転によりオフセットされた、右手の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
本実施形態では、入力層４４に、以上の１０個の要素を含む部位データが入力されることとなる。
そして上述したように、最終的には、出力層５２からは、最新のタイミング（ｔ番目のタイミング）における、頭部の位置を基準とした左足の仮水平方向位置の推定結果に相当する左足仮水平方向位置データＤ６３（ｔ）、及び、最新のタイミング（ｔ番目のタイミング）における、頭部の位置を基準とした右足の仮水平方向位置の推定結果に相当する右足仮水平方向位置データＤ６４（ｔ）が出力５４として出力される。図３４に示すように、左足仮水平方向位置データＤ６３（ｔ）には、ｘ、ｙといった２個の要素が含まれている。当該２個の要素は、それぞれ、胸部の回転によりオフセットされた、頭部の位置を基準とした左足の位置のｘ座標値、ｙ座標値に相当する。図３４に示すように、右足仮水平方向位置データＤ６４（ｔ）には、ｘ、ｙといった２個の要素が含まれている。当該２個の要素は、それぞれ、胸部の回転によりオフセットされた、頭部の位置を基準とした右足の位置のｘ座標値、ｙ座標値に相当する。
そして本実施形態では例えば、推定結果を示す左足仮水平方向位置データＤ６３（ｔ）、及び、右足仮水平方向位置データＤ６４（ｔ）に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、出力層５２の学習が実行される。ここで例えば、上述の一連の部位データを含む学習データに含まれる教師データと推定結果を示す左足仮水平方向位置データＤ６３（ｔ）、及び、右足仮水平方向位置データＤ６４（ｔ）との差が特定されてもよい。そして特定される差に基づいて、中間ブロック４６、第１中間層４８、第２中間層５０、及び、出力層５２のパラメータの値が更新される教師あり学習が実行されてもよい。
本実施形態では例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データを含む学習データによる学習が行われる。ここで例えば、１番目の部位データからｔ番目の部位データまでのｔ個の部位データ、及び、ｔ番目の部位データに対応付けられる上述の教師データ、を含む学習データによる学習が行われてもよい。そして例えば互いに異なる複数の学習データによる学習が行われた学習済の機械学習モデルを用いて、左足及び右足の仮水平方向位置の推定が実行される。
図３５は、学習済の機械学習モデルを用いた左足及び右足の仮水平方向位置の推定の一例を示す図である。
ここでは例えば、送信されるトラッカー１２ａ～１２ｃの位置及び向きを示すデータに基づいて、部位データが生成されることとする。当該部位データには、頭部の高さを示す頭部高さデータＤ５９、胸部の回転によりオフセットされた頭部の向きを示す頭部向きデータＤ６０、胸部の回転によりオフセットされた、左手の位置を基準とした頭部の位置を示す左手基準頭部位置データＤ６１、及び、胸部の回転によりオフセットされた、右手の位置を基準とした頭部の位置を示す右手基準頭部位置データＤ６２が含まれていることとする。上述のように、本実施形態では例えば、部位データが繰り返し生成される。
そして本実施形態では例えば、入力層４４に、最新の部位データ（最後に生成された部位データ）が入力される。図３５には、最新の部位データに含まれるデータＤ５９～Ｄ６２がそれぞれＤ５９（ｕ）～Ｄ６２（ｕ）と表現されている。
上述のように、頭部高さデータＤ５９（ｕ）には、１つの要素ｚが含まれている。当該要素ｚは、頭部の位置のｚ座標値から基準位置のｚ座標値を引いた値に相当する。ここで、基準位置とは、上述のように、例えば、床の位置に相当する所定の位置であってもよい。また、基準位置が、後述のようにして最新のタイミングの直前のタイミングにおいて（５）足位置更新処理で決定された左足の位置、当該直前のタイミングにおいて（５）足位置更新処理で決定された右足の位置、又は、当該直前のタイミングにおいて（５）足位置更新処理で決定された左足の位置と（５）足位置更新処理で決定された右足の位置との中点の位置、などであってもよい。
また、頭部向きデータＤ６０（ｕ）には、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、胸部の回転によりオフセットされた、頭部の向きを表す単位ベクトルのｘ座標値、ｙ座標値、ｚ座標値に相当する。
また、左手基準頭部位置データＤ６１（ｕ）には、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、胸部の回転によりオフセットされた、左手の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。また、右手基準頭部位置データＤ６２（ｕ）には、ｘ、ｙ、ｚといった３個の要素が含まれている。当該３個の要素は、それぞれ、胸部の回転によりオフセットされた、右手の位置を基準とした頭部の位置のｘ座標値、ｙ座標値、ｚ座標値に相当する。
そして上述したように、最終的には、出力層５２からは、当該タイミングにおける、頭部の位置を基準とした左足の仮水平方向位置の推定結果に相当する左足仮水平方向位置データＤ６３（ｕ）、及び、当該タイミングにおける、頭部の位置を基準とした右足の仮水平方向位置の推定結果に相当する右足仮水平方向位置データＤ６４（ｕ）が出力５４として出力される。
なお、左足仮水平方向位置データＤ６３（ｕ）と、トラッカー１２ａの位置と、に基づいて、グローバル座標系における左足の仮水平方向位置は特定可能である。また、右足仮水平方向位置データＤ６４（ｕ）と、トラッカー１２ａの位置と、に基づいて、グローバル座標系における右足の仮水平方向位置は特定可能である。
以上のようにして、左足、及び、右足の仮水平方向位置が推定される。
（４）仮高さ推定処理
本実施形態では例えば、左足及び右足のそれぞれについて、当該足の速度の大きさ及び方向が特定される。ここで例えば、直前の２サイクルにおいて（５）足位置更新処理で決定された足の位置に基づいて、当該足の速度の大きさ及び方向が特定されてもよい。そして、それぞれの足について、当該足の仮の高さ（ｚ座標値）（以下、仮高さと呼ぶ。）が推定される。例えば、特定される左足の速度の大きさに基づいて、左足の仮高さが推定される。また、特定される右足の速度の大きさに基づいて、右足の仮高さが推定される。足の速度の大きさが大きいほど足は高く上がっている可能性が高い。このことを踏まえ、例えば、特定される足の速度の大きさが大きいほど高くなる（例えば床や地面から離れる）よう当該足の仮高さが推定されるようにしてもよい。
（５）足位置更新処理
本実施形態では例えば、推定された仮水平方向位置と、推定された仮高さと、に基づいて、足の仮の位置（以下、仮位置と呼ぶこととする。）が推定される。例えば、（３）仮水平方向位置推定処理で推定された左足の仮水平方向位置と、（４）仮高さ推定処理で推定された左足の仮高さに基づいて、左足の仮位置が推定される。また、（３）仮水平方向位置推定処理で推定された右足の仮水平方向位置と、（４）仮高さ推定処理で推定された右足の仮高さに基づいて、右足の仮位置が推定される。
本実施形態では、予め、動作足及び非動作足のそれぞれについて互いに異なる係数が対応付けられている。以下、動作足に対応付けられている係数を第１の係数ｍ１と呼び、非動作足に対応付けられている係数を第２の係数ｍ２と呼ぶこととする。また、第１の係数ｍ１及び第２の係数ｍ２は０以上１以下の実数であり、第１の係数ｍ１の方が第２の係数ｍ２より大きい。
そして、本実施形態では例えば、最新のタイミングにおいて推定された足の仮位置と、当該最新のタイミングの直前のタイミングにおいて足位置更新処理で決定された足の位置と、を補間した位置が、当該最新のタイミングにおける足の位置に決定される。
図３６には、最新のタイミングにおける動作足の仮位置である位置Ｐ１と、当該最新のタイミングの直前のタイミングにおいて足位置更新処理で決定された動作足の位置である位置Ｐ２とが示されている。
ここで、動作足については、位置Ｐ１と位置Ｐ２を結んだ線分Ｌ１上の位置であって、位置Ｐ１と位置Ｐ２との間の距離ｄ１に第１の係数ｍ１を乗じた距離だけ、位置Ｐ２から離れた位置Ｐ３が、当該最新のタイミングにおける動作足の位置に決定される。
図３７には、最新のタイミングにおける非動作足の仮位置である位置Ｐ４と、当該最新のタイミングの直前のタイミングにおいて足位置更新処理で決定された非動作足の位置である位置Ｐ５とが示されている。
ここで、非動作足については、位置Ｐ４と位置Ｐ５を結んだ線分Ｌ２上の位置であって、位置Ｐ４と位置Ｐ５との間の距離ｄ２に第２の係数ｍ２を乗じた距離だけ、位置Ｐ５から離れた位置Ｐ６が、当該最新のタイミングにおける非動作足の位置に決定される。
本実施形態では、以上のようにして決定される位置に、左足及び右足の位置が更新される。
なお、動作足特定処理の説明において示されている、動作足の位置は、上述の位置Ｐ３に相当し、動作足の仮位置は位置Ｐ１に相当する。すなわち、特定される速度が所定の閾値以下であって、直前のタイミングにおける位置Ｐ１と位置Ｐ３との間の距離が所定距離（例えば、１センチメートル）以下である場合は、動作足又は非動作足の一方が他方に変更されるとともに、他方が一方に変更される。
以上で説明した（１）～（５）に示す処理によって、左足及び右足についての位置及び向きが決定されることとなる。
上述したように、このようにして決定される左足の位置及び向きが、トラッカー１２ｄの位置及び向きの代わりに用いられてもよい。例えば、このようにして決定される左足の位置及び向きが、左足ノード４２ｄの位置及び向きとして用いられてもよい。また、このようにして決定される右足の位置及び向きが、トラッカー１２ｅの位置及び向きの代わりに用いられてもよい。例えば、このようにして決定される左足の位置及び向きが、右足ノード４２ｅの位置及び向きとして用いられてもよい。
また、本実施形態において、頭部の位置の変化の大きさ（例えば、動作足特定処理で特定される速度の大きさ）に応じて、入力層４４に部位データが入力されるか否かが制御されるようにしてもよい。例えば、特定される速度の大きさが所定の大きさよりも小さい場合には、入力層４４に部位データが入力されないようにしてもよい。そして、この場合は、足の位置の決定に既に用いられた直前の推定結果に基づいて、当該足の新たな位置が決定されてもよい。
例えば最新のタイミングにおける位置Ｐ３の決定において、直前のタイミングで用いられた位置Ｐ１が流用されてもよい。また例えば、最新のタイミングにおける位置Ｐ６の決定において、直前のタイミングで用いられた位置Ｐ４が流用されてもよい。
仮水平方向位置推定処理で用いられる機械学習モデルの学習処理は、例えば、図８に示す、学習データ記憶部６０、学習データ取得部６２、入力データ生成部６４、入力部６６、特徴抽出部６８、特徴データ保持部７０、推定部７２、出力取得部７４、及び、学習部７６と同様の機能を含む学習装置によって実行される。
ここで例えば、学習データ記憶部６０が、上述した、頭部の高さ、胸部ノード４２ｆの回転によりオフセットされた頭部の向き、胸部（胸部ノード４２ｆ）の回転によりオフセットされた、左手の位置を基準とした頭部の位置、及び、胸部の回転によりオフセットされた、右手の位置を基準とした頭部の位置を示すｔ個の部位データ、及び、教師データを含む学習データを複数記憶してもよい。当該教師データは、例えば、胸部の回転によりオフセットされた、頭部の位置を基準とした左足の仮水平方向位置、及び、胸部の回転によりオフセットされた、頭部の位置を基準とした右足の仮水平方向位置を示すデータであってもよい。
そして、上述の学習データに基づいて、学習データ取得部６２、入力データ生成部６４、入力部６６、特徴抽出部６８、特徴データ保持部７０、推定部７２、出力取得部７４、学習部７６が、以上で説明した処理と同様の処理を実行することで、特徴抽出部６８又は推定部７２のうちの少なくとも一方の学習が実行されるようにしてもよい。
ここで例えば、入力データ生成部６４は、ユーザの頭部の高さ、ユーザの頭部の向き、ユーザの右手の位置を基準としたユーザの頭部の位置、及び、ユーザの右手の位置を基準としたユーザの頭部の位置を示す部位データと、当該部位データの時系列推移の特徴を示す特徴データと、を含む入力データを生成する。
また、例えば、特徴抽出部６８は、最新のタイミングにおける部位データと、当該部位データの時系列推移の特徴を示す特徴データと、を含む入力データの入力に応じて、当該最新のタイミングまでの部位データの時系列推移の特徴を示す特徴データを出力する。
また、例えば、推定部７２は、最新のタイミングまでの部位データの時系列推移の特徴を示す特徴データに基づく、当該最新のタイミングにおける、ユーザの頭部の位置を基準としたユーザの左足の位置、及び、ユーザの頭部の位置を基準としたユーザの右足の位置を推定する。
また、例えば、学習部７６は、推定部７２による、最新のタイミングまでの部位データの時系列推移の特徴を示す特徴データに基づいて、当該最新のタイミングにおける、ユーザの頭部の位置を基準としたユーザの右足の位置、及び、ユーザの頭部の位置を基準としたユーザの左足の位置の推定の結果に基づいて、特徴抽出部６８又は推定部７２のうちの少なくとも一方を学習する。
また、上述の（１）～（５）に示す処理は、例えば、図３８に示されている追加機能群によって実行されるようにしてもよい。図３８に示す追加機能群は、例えば、図９に示されている機能群を含むエンタテインメント装置１４に追加される。なお、本実施形態に係るエンタテインメント装置１４で、図３８に示す機能のすべてが実装される必要はなく、また、図３８に示す機能以外の機能が実装されていても構わない。
図３８に示すように、上述の（１）～（５）に示す処理を実行する機能群には、例えば、速度特定部９０、動作足特定部９２、足位置部位データ生成部９４、足位置入力データ生成部９６、足位置入力部９８、足位置特徴抽出部１００、足位置特徴データ保持部１０２、足位置推定部１０４、入力制御部１０６、モーション決定部１０８、が含まれる。
速度特定部９０、動作足特定部９２、足位置部位データ生成部９４、足位置入力データ生成部９６、足位置入力部９８、入力制御部１０６、モーション決定部１０８は、プロセッサ３０を主として実装される。足位置特徴抽出部１００、足位置推定部１０４は、プロセッサ３０及び記憶部３２を主として実装される。足位置特徴データ保持部１０２は、記憶部３２を主として実装される。
速度特定部９０は、本実施形態では例えば、ユーザの上半身の部位に装着されたトラッカー１２から出力されるセンシングデータに基づいて、当該部位の速度の方向及び大きさを特定する。ここで例えば、姿勢データ取得部８０により取得される、頭部に装着されたトラッカー１２ａの位置及び向きを示す姿勢データに基づいて、ユーザの頭部の速度の大きさ及び方向が特定されてもよい。
動作足特定部９２は、本実施形態では例えば、速度特定部９０によって特定される速度の方向に基づいて、ユーザの左足又は右足のうちの一方を動作足と特定し、他方を非動作足と特定する。
動作足特定部９２は、例えば、動作足が左足であるか否かを示す動作足フラグを保持してもよい。そして、左足が動作足である場合には動作足フラグの値に１が設定され、右足が動作足である場合には動作足フラグの値に０が設定されてもよい。
ここで、動作足特定部９２は、上述したように、特定される速度の方向がユーザの左足方向である場合に、ユーザの左足を動作足と特定してもよい。この場合は、動作足フラグの値は１に設定される。また、動作足特定部９２は、上述したように、特定される速度の方向がユーザの右足方向である場合に、ユーザの右足を動作足と特定してもよい。この場合は、動作足フラグの値は０に設定される。
また、上述のように、特定される速度が所定の閾値を超えている場合であって、特定される速度の方向がユーザの左足方向である場合に、ユーザの左足が動作足と特定されてもよい。また、特定される速度が所定の閾値を超えている場合であって、特定される速度の方向がユーザの右足方向である場合に、ユーザの右足が動作足と特定されてもよい。
そして、特定される速度が当該所定の閾値以下であって、直前に推定された足の位置と、当該位置に基づいて直前に決定された足の位置との間の距離が所定距離以下である場合は、動作足又は非動作足の一方を他方に変更するとともに、他方を一方に変更してもよい。この場合、例えば、動作足フラグの値が１である場合は０に変更され、０である場合は１に変更される。
足位置部位データ生成部９４は、本実施形態では例えば、ユーザの頭部の高さ、ユーザの頭部の向き、ユーザの左手の位置を基準としたユーザの頭部の位置、及び、ユーザの右手の位置を基準としたユーザの頭部の位置を示す部位データを生成する。例えば、姿勢データ取得部８０により取得される姿勢データに基づいて、当該部位データは生成される。
足位置入力データ生成部９６は、本実施形態では例えば、最新のタイミングにおける部位データと、当該部位データの時系列推移の特徴を示す特徴データと、を含む入力データを生成する。
足位置入力部９８は、本実施形態では例えば、足位置入力データ生成部９６が生成する入力データを足位置特徴抽出部１００に入力する。
足位置特徴抽出部１００は、本実施形態では例えば、最新のタイミングにおける部位データと、当該部位データの時系列推移の特徴を示す特徴データと、を含む入力データの入力に応じて、当該最新のタイミングまでの部位データの時系列推移の特徴を示す特徴データを出力する。
足位置特徴データ保持部１０２は、本実施形態では例えば、足位置特徴抽出部１００が出力する特徴データを保持する。本実施形態では、足位置特徴データ保持部１０２に保持される特徴データが、次の推定における入力データに含まれる特徴データとして用いられることとなる。
足位置推定部１０４は、本実施形態では例えば、ユーザの左足の仮位置、及び、ユーザの右足の仮位置を推定する。
ここで上述のように、足位置推定部１０４が、最新のタイミングまでの時系列推移の特徴を示す特徴データに基づいて、当該タイミングにおける、ユーザの頭部の位置を基準としたユーザの左足の仮水平方向位置、及び、ユーザの頭部の位置を基準としたユーザの右足の仮水平方向位置を推定してもよい。
また、足位置推定部１０４が、直前のタイミングにおける足の速度の大きさに基づいて当該足の仮高さを推定してもよい。ここで直前のタイミングにおける足の速度の大きさが大きいほど高くなるよう当該足の仮高さが推定されてもよい。
入力制御部１０６は、本実施形態では例えば、速度特定部９０によって特定される速度の大きさに応じて、足位置特徴抽出部１００に入力データが入力されるか否かを制御する。例えば、速度特定部９０によって特定される速度の大きさが所定の大きさよりも小さい場合に、足位置特徴抽出部１００に入力データが入力されないよう制御する。ここで、速度特定部９０によって特定される速度の大きさが所定の大きさよりも小さい場合に、足位置入力データ生成部９６による入力データの生成が行われないようにしてもよい。
モーション決定部１０８は、本実施形態では例えば、左足及び右足のそれぞれについて、当該足が動作足であるか非動作足であるかに基づいて、当該足のモーションを決定する。ここで、モーション決定部１０８は、非動作足の動きよりも動作足の動きの方が大きくなるよう左足及び右足のモーションを決定してもよい。
また、例えば、左足及び右足のそれぞれについて、最新のタイミングにおいて足位置推定部１０４により推定された当該足の仮位置と、当該足に対応付けられている係数と、に基づいて、当該最新のタイミングにおける当該足の位置が決定されることで、当該足の位置が更新されてもよい。なお、上述のように、動作足及び非動作足のそれぞれは、互いに異なる係数に対応付けられている。
また、上述のように、モーション決定部１０８は、最新のタイミングにおいて足位置推定部１０４により推定された足の仮位置と、当該最新のタイミングの直前のタイミングにおいてモーション決定部１０８により決定された当該足の位置と、を補間した位置を、最新のタイミングにおける当該足の位置に決定してもよい。
例えば、図３６に示すように、最新のタイミングにおいて推定された動作足の仮位置である位置Ｐ１と直前のタイミングにおいて決定された動作足の位置である位置Ｐ２との間の距離ｄ１に第１の係数ｍ１を乗じた距離だけ、直前のタイミングにおいて決定された動作足の位置Ｐ２から離れた位置Ｐ３が、最新のタイミングにおける動作足の位置に決定されてもよい。
また、図３７に示すように、最新のタイミングにおいて推定された非動作足の仮位置である位置Ｐ４と直前のタイミングにおいて決定された非動作足の位置である位置Ｐ５との間の距離ｄ２に第２の係数ｍ２を乗じた距離だけ、直前のタイミングにおいて決定された非動作足の位置Ｐ５から離れた位置Ｐ６が、最新のタイミングにおける非動作足の位置に決定されてもよい。
ここで上述のように、第１の係数ｍ１は第２の係数ｍ２よりも大きい。
ここで、入力制御部１０６によって、足位置特徴抽出部１００に入力データが入力されないよう制御される際には、モーション決定部１０８は、足の位置の決定に既に用いられた足位置推定部１０４による直前の推定結果に基づいて、最新のタイミングにおける当該足の位置を決定してもよい。
例えば、直前のタイミングにおいて推定された動作足の位置Ｐ１と直前のタイミングにおいて決定された動作足の位置Ｐ２との間の距離ｄ１に第１の係数ｍ１を乗じた距離だけ、直前のタイミングにおいて決定された動作足の位置Ｐ２から離れた位置Ｐ３が、最新のタイミングにおける動作足の位置に決定されてもよい。
また、直前のタイミングにおいて推定された非動作足の位置Ｐ４と直前のタイミングにおいて決定された非動作足の位置Ｐ５との間の距離ｄ２に第２の係数ｍ２を乗じた距離だけ、直前のタイミングにおいて決定された動作足の位置Ｐ５から離れた位置Ｐ６が、最新のタイミングにおける非動作足の位置に決定されてもよい。
また、モーション決定部１０８は、本実施形態では例えば、ユーザの足の向きを決定する。このとき、モーション決定部１０８は、上述したように、鉛直方向に延伸する基準となる線から足の位置までの距離に基づいて、基準となる水平方向の軸を中心とする当該足の回転を決定してもよい。
上述した（１）動作足特定処理は、速度特定部９０、及び、動作足特定部９２によって実行される処理に相当する。
また、（２）足姿勢決定処理は、モーション決定部１０８によって実行される処理に相当する。
また、（３）仮水平方向位置推定処理は、足位置部位データ生成部９４、足位置入力データ生成部９６、足位置入力部９８、足位置特徴抽出部１００、足位置特徴データ保持部１０２、足位置推定部１０４、及び、入力制御部１０６によって実行される処理に相当する。
また、（４）仮高さ推定処理は、足位置推定部１０４によって実行される処理に相当する。
また、（５）足位置更新処理は、足位置推定部１０４、及び、モーション決定部１０８によって実行される処理に相当する。
ここで、本実施形態に係るエンタテインメント装置１４で行われる左足及び右足の位置の更新処理の流れの一例を、図３９に例示するフロー図を参照しながら説明する。
まず、速度特定部９０が、本サイクルにおける姿勢データに基づいて、ユーザの頭部の速度の方向及び大きさを特定する（Ｓ４０１）。
そして、動作足特定部９２が、Ｓ４０１に示す処理で特定された速度の方向及び大きさに基づいて、動作足及び非動作足を特定する（Ｓ４０２）。Ｓ４０２に示す処理でによって動作足が変更される場合は、動作足特定部９２が保持する動作足フラグの値が変更される。
そして、モーション決定部１０８が、左足の向き、及び、右足の向きを決定する（Ｓ４０３）。
そして、入力制御部１０６が、そして、Ｓ４０１に示す処理で特定された速度の大きさに基づいて、足位置特徴抽出部１００に入力データを入力するか否かを決定する（Ｓ４０４）。
Ｓ４０４に示す処理で入力データを入力することが決定された場合は（Ｓ４０５：Ｙ）、足位置部位データ生成部９４が、本サイクルにおける姿勢データに基づいて、部位データを生成する（Ｓ４０６）。
そして、足位置入力データ生成部９６が、Ｓ４０６に示す処理で生成された部位データと、足位置特徴データ保持部１０２に保持されている特徴データと、に基づいて、入力データを生成する（Ｓ４０７）。
そして、足位置入力部９８が、Ｓ４０７に示す処理で生成された入力データを足位置特徴抽出部１００に入力する（Ｓ４０８）。
そして、足位置特徴抽出部１００が、Ｓ４０８に示す処理における入力に応じた特徴データを足位置特徴データ保持部１０２に出力する（Ｓ４０９）。
そして、足位置推定部１０４が、Ｓ４０９に示す処理で足位置特徴データ保持部１０２に出力された特徴データである、足位置特徴データ保持部１０２に保持されている、最後に足位置特徴抽出部１００から出力された特徴データに応じた推定結果を生成して、出力する（Ｓ４１０）。ここでは例えば、左足仮水平方向位置データＤ６３、及び、右足仮水平方向位置データＤ６４が出力される。
そして、足位置推定部１０４が、右足と左足のそれぞれについて、直前の２サイクルにおいて決定された足の位置に基づいて、当該足の速度の大きさを特定する（Ｓ４１１）。
そして、足位置推定部１０４が、Ｓ４１１に示す処理で特定された足の速度の大きさに基づいて、左足の仮高さ、及び、右足の仮高さを推定する（Ｓ４１２）。
そして、足位置推定部１０４が、Ｓ４１０に示す処理で出力された推定結果と、Ｓ４１２に示す処理で推定された左足の仮高さ及び右足の仮高さに基づいて、左足の仮位置、及び、右足の仮位置を推定する（Ｓ４１３）。
そして、モーション決定部１０８が、直前のサイクルにおいて決定された足の位置と、本サイクルのＳ４１２に示す処理で推定された当該足の仮位置と、に基づいて決定される位置に、当該足の位置を更新して（Ｓ４１４）、Ｓ４０１に示す処理に戻る。
Ｓ４０４に示す処理で入力データを入力しないことが決定された場合も（Ｓ４０５：Ｎ）、Ｓ４１４に示す処理が実行される。この場合は、直前のサイクルにおいて決定された足の位置と、直前のサイクルにおいて推定された当該足の仮位置と、に基づいて決定される位置に、当該足の位置が更新されることとなる。そして、Ｓ４０１に示す処理に戻る。
以上で説明した処理例に示す処理において、各ステップの実行順序は上述のものに限定されない。
また、Ｓ４０４に示す処理で入力データを入力しないことが決定された場合でも（Ｓ４０５：Ｎ）、Ｓ４１１～Ｓ４１３に示す処理が実行されるようにしてもよい。この場合、Ｓ４１３に示す処理において、直前のサイクルにおいて推定された足の仮推定方向位置と、当該サイクルにおいて推定された当該足の仮高さと、に基づいて、当該足の仮位置が推定されてもよい。
上述のように、本実施形態では例えば、トラッカー１２ａ～１２ｃによって生成される最新の特定タイミングにおける当該トラッカー１２の位置及び向きを示す姿勢データの取得（Ｓ２０１）をトリガとして、Ｓ４０１～Ｓ４１４に示す処理が実行される。そして、Ｓ４１３に示す処理で更新された最新の足の位置に基づいて、Ｓ２０２に示す部位データの生成処理が実行され、その後、Ｓ２０３～Ｓ２１０に示す処理によるボディトラッキングが実行されるようにしてもよい。
なお、モーション決定部１０８は、以上で説明した方法以外の方法によって、動作足及び非動作足のモーションを決定してもよい。例えば、動作足に対応するモーションデータ、及び、非動作足に対応するモーションデータが予め記憶されていてもよい。そして、例えば、モーション決定部１０８は、動作足については、動作足に対応するモーションデータを再生し、非動作足については、非動作足に対応するモーションデータを再生するようにしてもよい。
また、以上の例では、頭部に装着されたトラッカー１２ａの速度に基づいて左足及び右足のモーションが決定されたが、上半身の別の部位に装着されたトラッカーの速度に基づいて左足及び右足のモーションが決定されてもよい。
本実施形態では、ユーザの上半身の部位の速度の方向に基づいて、ユーザの左足又は右足のうちの一方が動作足と特定され、他方が非動作足と特定される。そして、左足及び右足のそれぞれについて、当該足が動作足であるか非動作足であるかに基づいて、当該足のモーションが決定される。このようにして、本実施形態によれば、ユーザが足にトラッカーを装着することなくユーザの全身のモーションを的確に表現できることとなる。
［変形例］
なお、本発明は上述の実施形態に限定されるものではない。
例えば、特徴抽出部６８、推定部７２、足位置特徴抽出部１００、足位置推定部１０４が機械学習モデルによって実装されている必要はなく、例えば、一般的なソフトウェア、あるいは、回路などのハードウェアによって実装されてもよい。
また例えばトラッカー１２ａは、ヘッドマウントディスプレイ（ＨＭＤ）であってもよい。この場合に、ユーザに含まれる複数の部位の位置又は向きに応じたゲーム処理等の各種の処理の結果に応じた映像が例えばＨＭＤの表示部に表示されるようにしてもよい。
また例えば、図９や図３８に示す機能の一部又は全部がトラッカー１２によって実装されてもよい。
また、上記の具体的な文字列や数値及び図面中の具体的な文字列や数値は例示であり、これらの文字列や数値には限定されない。

Claims (15)

  1. ユーザの上半身の部位に装着されたトラッカーから出力されるセンシングデータに基づいて、当該部位の速度の方向を特定する速度特定部と、
    特定される前記速度の方向に基づいて、前記ユーザの左足又は右足のうちの一方を動作足と特定し、他方を非動作足と特定する動作足特定部と、
    前記左足及び前記右足のそれぞれについて、当該足が前記動作足であるか前記非動作足であるかに基づいて、当該足のモーションを決定するモーション決定部と、
    を含むことを特徴とするモーション決定装置。
  2. 前記モーション決定部は、前記非動作足の動きよりも前記動作足の動きの方が大きくなるよう前記左足及び前記右足のモーションを決定する、
    ことを特徴とする請求項１に記載のモーション決定装置。
  3. 特定される前記速度の方向が前記ユーザの左足方向である場合に、前記ユーザの左足を動作足と特定し、
    特定される前記速度の方向が前記ユーザの右足方向である場合に、前記ユーザの右足を動作足と特定する、
    ことを特徴とする請求項１又は２に記載のモーション決定装置。
  4. 前記ユーザの頭部の高さ、前記ユーザの頭部の向き、前記ユーザの左手の位置を基準とした前記ユーザの頭部の位置、及び、前記ユーザの右手の位置を基準とした前記ユーザの頭部の位置を示す部位データと、前記部位データの時系列推移の特徴を示す特徴データと、を含む入力データを生成する入力データ生成部と、
    前記入力データの入力に応じて、新たな前記特徴データを出力する特徴抽出部と、
    前記特徴データに基づいて、前記ユーザの頭部の位置を基準とした前記ユーザの左足の位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の位置を推定する推定部と、をさらに含み、
    前記特徴抽出部は、最新のタイミングにおける前記部位データと、当該部位データの時系列推移の特徴を示す特徴データと、を含む前記入力データの入力に応じて、当該最新のタイミングまでの前記部位データの前記時系列推移の特徴を示す前記特徴データを出力し、
    前記推定部は、前記最新のタイミングまでの前記部位データの前記時系列推移の特徴を示す前記特徴データに基づいて、当該最新のタイミングにおける、前記ユーザの頭部の位置を基準とした前記ユーザの左足の位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の位置を推定し、
    前記動作足及び前記非動作足のそれぞれは、互いに異なる係数に対応付けられており、
    前記モーション決定部は、前記左足及び前記右足のそれぞれについて、前記最新のタイミングにおいて前記推定部により推定された当該足の位置と、当該足に対応付けられている前記係数と、に基づいて、当該最新のタイミングにおける当該足の位置を決定する、
    ことを特徴とする請求項１又は２に記載のモーション決定装置。
  5. 前記モーション決定部は、前記最新のタイミングにおいて前記推定部により推定された前記足の位置と、当該最新のタイミングの直前のタイミングにおいて前記モーション決定部により決定された当該足の位置と、を補間した位置を、前記最新のタイミングにおける当該足の位置に決定する、
    ことを特徴とする請求項４に記載のモーション決定装置。
  6. 前記モーション決定部は、前記最新のタイミングにおいて推定された前記動作足の位置と前記直前のタイミングにおいて決定された前記動作足の位置との間の距離に第１の係数を乗じた距離だけ、前記直前のタイミングにおいて決定された前記動作足の位置から離れた位置を、前記動作足の位置に決定し、
    前記モーション決定部は、前記最新のタイミングにおいて推定された前記非動作足の位置と前記直前のタイミングにおいて決定された前記非動作足の位置との間の距離に第２の係数を乗じた距離だけ、前記直前のタイミングにおいて決定された前記非動作足の位置から離れた位置を、前記非動作足の位置に決定し、
    前記第１の係数は前記第２の係数よりも大きい、
    ことを特徴とする請求項５に記載のモーション決定装置。
  7. 前記推定部は、前記最新のタイミングまでの前記時系列推移の特徴を示す前記特徴データに基づいて、当該最新のタイミングにおける、前記ユーザの頭部の位置を基準とした前記ユーザの左足の水平面上における位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の水平面上における位置を推定し、
    前記推定部は、前記最新のタイミングの直前のタイミングにおける前記足の速度の大きさに基づいて、当該足の高さ方向における位置を推定する、
    ことを特徴とする請求項４から６のいずれか一項に記載のモーション決定装置。
  8. 特定される前記速度の大きさが所定の閾値を超えており、特定される前記速度の方向が前記ユーザの左足方向である場合に、前記ユーザの左足を前記動作足と特定し、
    特定される前記速度の大きさが前記閾値を超えており、特定される前記速度の方向が前記ユーザの右足方向である場合に、前記ユーザの右足を前記動作足と特定し、
    特定される前記速度の大きさが前記閾値以下であり、前記推定部により直前に推定された前記足の位置と、当該位置に基づいて前記モーション決定部により直前に決定された前記足の位置との間の距離が所定距離以下である場合は、前記動作足又は前記非動作足の一方を他方に変更するとともに、前記他方を前記一方に変更する、
    ことを特徴とする請求項４から７のいずれか一項に記載のモーション決定装置。
  9. 特定される前記速度の大きさに応じて、前記特徴抽出部に前記入力データが入力されるか否かを制御する入力制御部、をさらに含み、
    前記特徴抽出部に前記入力データが入力されないよう制御される際には、前記モーション決定部は、前記足の位置の決定に既に用いられた前記推定部による直前の推定結果に基づいて、前記最新のタイミングにおける当該足の位置を決定する、
    ことを特徴とする請求項４から８のいずれか一項に記載のモーション決定装置。
  10. 前記モーション決定部は、鉛直方向に延伸する基準となる線から前記足の位置までの距離に基づいて、基準となる水平方向の軸を中心とする当該足の回転を決定する、
    ことを特徴とする請求項１から９のいずれか一項に記載のモーション決定装置。
  11. ユーザの頭部の高さ、前記ユーザの頭部の向き、前記ユーザの左手の位置を基準とした前記ユーザの頭部の位置、及び、前記ユーザの右手の位置を基準とした前記ユーザの頭部の位置を示す部位データと、前記部位データの時系列推移の特徴を示す特徴データと、を含む入力データを生成する入力データ生成部と、
    前記入力データの入力に応じて、新たな前記特徴データを出力する特徴抽出部と、
    前記特徴データに基づいて、前記ユーザの頭部の位置を基準とした前記ユーザの左足の位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の位置を推定する推定部と、
    前記推定の結果に基づいて、前記特徴抽出部又は前記推定部のうちの少なくとも一方を学習する学習部と、を含み、
    前記特徴抽出部は、最新のタイミングにおける前記部位データと、当該部位データの時系列推移の特徴を示す特徴データと、を含む前記入力データの入力に応じて、当該最新のタイミングまでの前記部位データの前記時系列推移の特徴を示す前記特徴データを出力し、
    前記学習部は、前記推定部による、前記最新のタイミングまでの前記部位データの前記時系列推移の特徴を示す前記特徴データに基づく、当該最新のタイミングにおける、前記ユーザの頭部の位置を基準とした前記ユーザの左足の位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の位置の推定の結果に基づいて、前記学習を実行する、
    ことを特徴とする学習装置。
  12. ユーザの上半身の部位に装着されたトラッカーから出力されるセンシングデータに基づいて、当該部位の速度の方向を特定するステップと、
    特定される前記速度の方向に基づいて、前記ユーザの左足又は右足のうちの一方を動作足と特定し、他方を非動作足と特定するステップと、
    前記左足及び前記右足のそれぞれについて、当該足が前記動作足であるか前記非動作足であるかに基づいて、当該足のモーションを決定するステップと、
    を含むことを特徴とするモーション決定方法。
  13. ユーザの頭部の高さ、前記ユーザの頭部の向き、前記ユーザの左手の位置を基準とした前記ユーザの頭部の位置、及び、前記ユーザの右手の位置を基準とした前記ユーザの頭部の位置を示す部位データと、前記部位データの時系列推移の特徴を示す特徴データと、を含む入力データを生成する入力データ生成ステップと、
    特徴抽出部が、前記入力データの入力に応じて、新たな前記特徴データを出力する特徴抽出ステップと、
    推定部が、前記特徴データに基づいて、前記ユーザの頭部の位置を基準とした前記ユーザの左足の位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の位置を推定する推定ステップと、
    前記推定の結果に基づいて、前記特徴抽出部又は前記推定部のうちの少なくとも一方を学習する学習ステップと、を含み、
    前記特徴抽出ステップでは、前記特徴抽出部が、最新のタイミングにおける前記部位データと、当該部位データの時系列推移の特徴を示す特徴データと、を含む前記入力データの入力に応じて、当該最新のタイミングまでの前記部位データの前記時系列推移の特徴を示す前記特徴データを出力し、
    前記学習ステップでは、前記推定部による、前記最新のタイミングまでの前記部位データの前記時系列推移の特徴を示す前記特徴データに基づく、当該最新のタイミングにおける、前記ユーザの頭部の位置を基準とした前記ユーザの左足の位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の位置の推定の結果に基づいて、前記学習を実行する、
    ことを特徴とする学習方法。
  14. ユーザの上半身の部位に装着されたトラッカーから出力されるセンシングデータに基づいて、当該部位の速度の方向を特定する手順、
    特定される前記速度の方向に基づいて、前記ユーザの左足又は右足のうちの一方を動作足と特定し、他方を非動作足と特定する手順、
    前記左足及び前記右足のそれぞれについて、当該足が前記動作足であるか前記非動作足であるかに基づいて、当該足のモーションを決定する手順、
    をコンピュータに実行させることを特徴とするプログラム。
  15. ユーザの頭部の高さ、前記ユーザの頭部の向き、前記ユーザの左手の位置を基準とした前記ユーザの頭部の位置、及び、前記ユーザの右手の位置を基準とした前記ユーザの頭部の位置を示す部位データと、前記部位データの時系列推移の特徴を示す特徴データと、を含む入力データを生成する入力データ生成手順、
    特徴抽出部が、前記入力データの入力に応じて、新たな前記特徴データを出力する特徴抽出手順、
    推定部が、前記特徴データに基づいて、前記ユーザの頭部の位置を基準とした前記ユーザの左足の位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の位置を推定する推定手順、
    前記推定の結果に基づいて、前記特徴抽出部又は前記推定部のうちの少なくとも一方を学習する学習手順、をコンピュータに実行させ、
    前記特徴抽出手順では、前記特徴抽出部が、最新のタイミングにおける前記部位データと、当該部位データの時系列推移の特徴を示す特徴データと、を含む前記入力データの入力に応じて、当該最新のタイミングまでの前記部位データの前記時系列推移の特徴を示す前記特徴データを出力し、
    前記学習手順では、前記推定部による、前記最新のタイミングまでの前記部位データの前記時系列推移の特徴を示す前記特徴データに基づく、当該最新のタイミングにおける、前記ユーザの頭部の位置を基準とした前記ユーザの左足の位置、及び、前記ユーザの頭部の位置を基準とした前記ユーザの右足の位置の推定の結果に基づいて、前記学習を実行する、
    ことを特徴とするプログラム。
JP2022512917A 2020-03-30 2020-03-30 モーション決定装置、学習装置、モーション決定方法、学習方法及びプログラム Active JP7334337B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/014609 WO2021199177A1 (ja) 2020-03-30 2020-03-30 モーション決定装置、学習装置、モーション決定方法、学習方法及びプログラム

Publications (2)

Publication Number Publication Date
JPWO2021199177A1 JPWO2021199177A1 (ja) 2021-10-07
JP7334337B2 true JP7334337B2 (ja) 2023-08-28

Family

ID=77928163

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022512917A Active JP7334337B2 (ja) 2020-03-30 2020-03-30 モーション決定装置、学習装置、モーション決定方法、学習方法及びプログラム

Country Status (4)

Country Link
US (1) US20230112409A1 (ja)
JP (1) JP7334337B2 (ja)
CN (1) CN115087873A (ja)
WO (1) WO2021199177A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259984A (ja) 2001-03-01 2002-09-13 Matsushita Electric Ind Co Ltd 動作解析装置及び動作解析方法
US20040119716A1 (en) 2002-12-20 2004-06-24 Chang Joon Park Apparatus and method for high-speed marker-free motion capture
JP2007319347A (ja) 2006-05-31 2007-12-13 Anima Kk 動作解析システム、動作解析装置及びプログラム
JP2014211404A (ja) 2013-04-22 2014-11-13 株式会社ノビテック モーションキャプチャー方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019025134A (ja) * 2017-08-01 2019-02-21 株式会社大武ルート工業 動作推定装置及び動作推定プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002259984A (ja) 2001-03-01 2002-09-13 Matsushita Electric Ind Co Ltd 動作解析装置及び動作解析方法
US20040119716A1 (en) 2002-12-20 2004-06-24 Chang Joon Park Apparatus and method for high-speed marker-free motion capture
JP2007319347A (ja) 2006-05-31 2007-12-13 Anima Kk 動作解析システム、動作解析装置及びプログラム
JP2014211404A (ja) 2013-04-22 2014-11-13 株式会社ノビテック モーションキャプチャー方法

Also Published As

Publication number Publication date
CN115087873A (zh) 2022-09-20
JPWO2021199177A1 (ja) 2021-10-07
WO2021199177A1 (ja) 2021-10-07
US20230112409A1 (en) 2023-04-13

Similar Documents

Publication Publication Date Title
JP7038847B2 (ja) スケルトンモデル更新装置、スケルトンモデル更新方法及びプログラム
JP7102618B2 (ja) スケルトンモデル更新装置、スケルトンモデル更新方法及びプログラム
CN103608844A (zh) 全自动动态关节连接的模型校准
CN110555869A (zh) 提取增强现实系统中主要和次级运动的方法和系统
JP7171745B2 (ja) 推定装置、学習装置、推定方法、学習方法及びプログラム
WO2020145224A1 (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
EP3617850A1 (en) Information processing device, information processing method, and program
JP2021152724A (ja) 情報処理装置、情報処理方法、およびプログラム
JP7334337B2 (ja) モーション決定装置、学習装置、モーション決定方法、学習方法及びプログラム
WO2017170761A1 (ja) ３次元動画データ生成装置、３次元動画データ生成プログラム、及びその方法
JP6840890B2 (ja) 身体サイズ推定装置、身体サイズ推定方法及びプログラム
JP6874207B2 (ja) 推定装置、推定方法及びプログラム
JP7005788B2 (ja) スケルトンモデル更新装置、スケルトンモデル更新方法及びプログラム
CN114296539B (zh) 方向预测方法、虚拟实境装置及非暂态计算机可读取媒体
CN118071971A (en) Method, processing control device and system for providing action improvement information
CN116631052A (zh) 一种基于人体姿态估计的跌到检测方法及装置
CN115639904A (zh) 一种基于人体姿态识别的对象控制方法和电子设备
CN118072392A (en) Dynamic capture information determining method and device, terminal equipment and readable storage medium

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20220905

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20230801

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20230816

R150 Certificate of patent or registration of utility model

Ref document number: 7334337

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150