JP6757010B1 - 動作評価装置、動作評価方法、動作評価システム - Google Patents
動作評価装置、動作評価方法、動作評価システム Download PDFInfo
- Publication number
- JP6757010B1 JP6757010B1 JP2019196328A JP2019196328A JP6757010B1 JP 6757010 B1 JP6757010 B1 JP 6757010B1 JP 2019196328 A JP2019196328 A JP 2019196328A JP 2019196328 A JP2019196328 A JP 2019196328A JP 6757010 B1 JP6757010 B1 JP 6757010B1
- Authority
- JP
- Japan
- Prior art keywords
- partial
- motion
- evaluation
- moving image
- whole
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Image Analysis (AREA)
Abstract
【課題】トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現する。【解決手段】トレーニの動作を評価する動作評価方法は、機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出するステップを備え、検出された複数の部分動画を参照して、全体動作及び部分動作の少なくとも１つを評価するステップを備える。【選択図】図３
Description
本発明は、動作評価装置、動作評価方法、動作評価システムに関する。
様々な分野（例えば、介護、医療、スポーツ等の分野）で、トレーニングの様子の動画を撮影し、且つ、当該動画を利用して専門知識を有する指導者が指導することにより、学習を効率化する取り組みが行われている。
トレーニングを実施するトレーニは、指導者の指導を受けられないときに、自ら撮影したトレーニングの様子を含む動画を自ら学習する場合がある。トレーニングの様子が撮影された動画を用いた学習は、トレーニの学習効率の向上の観点で有用である。
例えば、特許文献１には、スポーツの分野において、画像から推定される被検者の関節間の距離と基準長さとの比に基づいて、被検者の動作状態を示す値を計算し、且つ、当該動作状態を示す値に基づいて被検者の動作を評価する技術が開示されている。
実際のトレーニングでは、指導者は、個別の動作だけではなく、一連の動作を全体的に評価する。
しかし、特許文献１では、動作を個別に評価するものであるが、一連の動作を全体的に評価するものではない。
したがって、特許文献１によって得られる評価は、指導者の評価とは大きく異なる。
したがって、特許文献１によって得られる評価は、指導者の評価とは大きく異なる。
本発明の目的は、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することである。
本発明の一態様は、
トレーニの動作を評価する動作評価方法であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出するステップを備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価するステップを備える、
動作評価方法である。
トレーニの動作を評価する動作評価方法であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出するステップを備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価するステップを備える、
動作評価方法である。
本発明によれば、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
以下、本発明の一実施形態について、図面に基づいて詳細に説明する。なお、実施形態を説明するための図面において、同一の構成要素には原則として同一の符号を付し、その繰り返しの説明は省略する。
（１）第１実施形態
第１実施形態を説明する。
第１実施形態を説明する。
（１−１）動作評価システムの構成
第１実施形態の動作評価システムの構成を説明する。図１は、第１実施形態の動作評価システムの構成を示すブロック図である。図２は、図１の動作評価システムの機能ブロック図である。
第１実施形態の動作評価システムの構成を説明する。図１は、第１実施形態の動作評価システムの構成を示すブロック図である。図２は、図１の動作評価システムの機能ブロック図である。
図１に示すように、動作評価システム１は、クライアント装置１０と、サーバ３０とを備える。
クライアント装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。
クライアント装置１０及びサーバ３０は、ネットワーク（例えば、インターネット又はイントラネット）ＮＷを介して接続される。
クライアント装置１０は、サーバ３０にリクエストを送信するコンピュータ（「情報処理装置」の一例）である。クライアント装置１０は、例えば、スマートフォン、タブレット端末、又は、パーソナルコンピュータである。
サーバ３０は、クライアント装置１０から送信されたリクエストに応じたレスポンスをクライアント装置１０に提供するコンピュータ（「動作評価装置」の一例）である。サーバ３０は、例えば、ウェブサーバである。
（１−１−１）クライアント装置の構成
クライアント装置１０の構成を説明する。
クライアント装置１０の構成を説明する。
図２に示すように、クライアント装置１０は、記憶装置１１と、プロセッサ１２と、入出力インタフェース１３と、通信インタフェース１４と、カメラ１５と、を備える。
記憶装置１１は、プログラム及びデータを記憶するように構成される。記憶装置１１は、例えば、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
プログラムは、例えば、以下のプログラムを含む。
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、撮影アプリケーション）のプログラム
・ＯＳ（Operating System）のプログラム
・情報処理を実行するアプリケーション（例えば、撮影アプリケーション）のプログラム
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）
・情報処理において参照されるデータベース
・情報処理を実行することによって得られるデータ（つまり、情報処理の実行結果）
プロセッサ１２は、記憶装置１１に記憶されたプログラムを起動することによって、クライアント装置１０の機能を実現するように構成される。プロセッサ１２は、例えば、ＣＰＵ（Central Processing Unit）、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、又は、これらの組み合わせである。
入出力インタフェース１３は、クライアント装置１０に接続される入力デバイスからユーザの指示を取得し、かつ、クライアント装置１０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
通信インタフェース１４は、クライアント装置１０とサーバ３０との間の通信を制御するように構成される。
カメラ１５は、画像（例えば、動画）を撮影するように構成される。
（１−１−２）サーバの構成
サーバ３０の構成を説明する。
サーバ３０の構成を説明する。
図２に示すように、サーバ３０は、記憶装置３１と、プロセッサ３２と、入出力インタフェース３３と、通信インタフェース３４とを備える。
記憶装置３１は、プログラム及びデータを記憶するように構成される。記憶装置３１は、例えば、ＲＯＭ、ＲＡＭ、及び、ストレージ（例えば、フラッシュメモリ又はハードディスク）の組合せである。
プログラムは、例えば、以下のプログラムを含む。
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム
・ＯＳのプログラム
・情報処理を実行するアプリケーションのプログラム
データは、例えば、以下のデータを含む。
・情報処理において参照されるデータベース
・情報処理の実行結果
・情報処理において参照されるデータベース
・情報処理の実行結果
プロセッサ３２は、記憶装置３１に記憶されたプログラムを起動することによって、サーバ３０の機能を実現するように構成される。プロセッサ３２は、例えば、ＣＰＵ、ＡＳＩＣ、ＦＰＧＡ、又は、これらの組み合わせである。
入出力インタフェース３３は、サーバ３０に接続される入力デバイスからユーザの指示を取得し、かつ、サーバ３０に接続される出力デバイスに情報を出力するように構成される。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
入力デバイスは、例えば、キーボード、ポインティングデバイス、タッチパネル、又は、それらの組合せである。
出力デバイスは、例えば、ディスプレイである。
通信インタフェース３４は、サーバ３０とクライアント装置１０との間の通信を制御するように構成される。
（１−２）第１実施形態の概要
第１実施形態の概要を説明する。図３は、第１実施形態の概要の説明図である。
第１実施形態の概要を説明する。図３は、第１実施形態の概要の説明図である。
図３に示すように、クライアント装置１０は、サーバ３０に全体動画を送信する。全体動画は、トレーニの全体動作が撮影された動画である。全体動作は、一連の複数の部分動作を含む。
サーバ３０は、機械学習によって生成された検出モデルを用いて、全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する。
サーバ３０は、検出された複数の部分動画を参照して、トレーニの全体動作及び部分動作の少なくとも１つを評価する。
サーバ３０は、検出された複数の部分動画を参照して、トレーニの全体動作及び部分動作の少なくとも１つを評価する。
（１−３）データ構造
第１実施形態のデータ構造を説明する。以下のデータは、記憶装置３１に記憶される。
第１実施形態のデータ構造を説明する。以下のデータは、記憶装置３１に記憶される。
（１−３−１）ユーザ情報データベース
本実施形態のユーザ情報データベースを説明する。図４は、本実施形態のユーザ情報データベースのデータ構造を示す図である。
本実施形態のユーザ情報データベースを説明する。図４は、本実施形態のユーザ情報データベースのデータ構造を示す図である。
図４のユーザ情報データベースには、ユーザ情報が格納されている。ユーザ情報は、ユーザに関する情報である。
ユーザ情報データベースは、「ユーザＩＤ」フィールドと、「ユーザ名」フィールドと、「ユーザ属性」フィールドと、「クライアントＩＤ」フィールドと、を含む。各フィールドは、互いに関連付けられている。
ユーザ情報データベースは、「ユーザＩＤ」フィールドと、「ユーザ名」フィールドと、「ユーザ属性」フィールドと、「クライアントＩＤ」フィールドと、を含む。各フィールドは、互いに関連付けられている。
「ユーザＩＤ」フィールドには、ユーザ識別情報が格納される。ユーザ識別情報は、ユーザを識別する情報である。
「ユーザ名」フィールドには、ユーザ名に関する情報（例えば、テキスト）が格納される。
「ユーザ属性」フィールドには、ユーザ属性情報が格納される。ユーザ属性情報は、ユーザの属性に関する情報である。ユーザの属性は、例えば、以下の少なくとも１つを含む。
・性別
・年齢
・職業（介護士、医師、スポーツ選手等）
・性別
・年齢
・職業（介護士、医師、スポーツ選手等）
「クライアントＩＤ」フィールドには、クライアント識別情報が格納される。クライアント識別情報は、ユーザのクライアント装置１０を識別する情報である。
（１−３−２）動作種別情報データベース
本実施形態の動作種別情報データベースを説明する。図５は、本実施形態の動作識別情報データベースのデータ構造を示す図である。
本実施形態の動作種別情報データベースを説明する。図５は、本実施形態の動作識別情報データベースのデータ構造を示す図である。
図５の動作種別情報データベースには、動作種別情報が格納されている。動作種別情報は、動作の種別に関する情報である。
動作種別情報データベースは、「全体動作ＩＤ」フィールドと、「全体動作名」フィールドと、「部分動作ＩＤ」フィールドと、を含む。各フィールドは、互いに関連付けられている。
動作種別情報データベースは、「全体動作ＩＤ」フィールドと、「全体動作名」フィールドと、「部分動作ＩＤ」フィールドと、を含む。各フィールドは、互いに関連付けられている。
「全体動作ＩＤ」フィールドには、全体動作識別情報が格納される。全体動作識別情報は、全体動作を識別する情報である。
「全体動作名」フィールドには、全体動作名に関する情報（例えば、テキスト）が格納される。全体動作は、例えば、以下の少なくとも１つを含む。
・介護関連動作（一例として、手洗い、立ち上がり介助、歩行介助等）
・医療関連動作（一例として、縫合、切開等）
・スポーツ関連動作（一例として、投球、走行、歩行等）
・介護関連動作（一例として、手洗い、立ち上がり介助、歩行介助等）
・医療関連動作（一例として、縫合、切開等）
・スポーツ関連動作（一例として、投球、走行、歩行等）
「部分動作ＩＤ」フィールドには、全体動作を構成する部分動作を識別する部分動作識別情報が格納される。
（１−３−３）部分動作情報データベース
本実施形態の部分動作情報データベースを説明する。図６は、本実施形態の部分動作情報データベースのデータ構造を示す図である。
本実施形態の部分動作情報データベースを説明する。図６は、本実施形態の部分動作情報データベースのデータ構造を示す図である。
図６の部分動作情報データベースには、部分動作情報が格納されている。部分動作情報は、部分動作に関する情報である。
部分動作情報データベースは、「部分動作ＩＤ」フィールドと、「部分動作名」フィールドと、「モデルＩＤ」フィールドと、を含む。各フィールドは、互いに関連付けられている。
部分動作情報データベースは、全体動作識別情報に関連付けられている。
部分動作情報データベースは、「部分動作ＩＤ」フィールドと、「部分動作名」フィールドと、「モデルＩＤ」フィールドと、を含む。各フィールドは、互いに関連付けられている。
部分動作情報データベースは、全体動作識別情報に関連付けられている。
「部分動作ＩＤ」フィールドには、部分動作識別情報が格納される。部分動作識別情報は、全体動作を構成する部分動作を識別する情報である。
「部分動作名」フィールドには、部分動作名に関する情報（例えば、テキスト）が格納される。例えば、全体動作「手洗い」の部分動作は、「手のひらを洗う」、「手の甲を洗う」、「指先を洗う」、「すすぐ」等を含む。
「モデルＩＤ」フィールドには、モデル識別情報が格納される。モデル識別情報は、全体動画から部分動作に該当するフレーム（以下「部分動画」という）を検出する検出モデルを識別する情報である。
（１−３−４）全体動画情報データベース
本実施形態の全体動画情報データベースを説明する。図７は、本実施形態の全体動画情報データベースのデータ構造を示す図である。
本実施形態の全体動画情報データベースを説明する。図７は、本実施形態の全体動画情報データベースのデータ構造を示す図である。
図７の全体動画情報データベースには、全体動画情報が格納される。全体動画情報は、全体動画に関する情報である。
全体動画情報データベースは、「全体動画ＩＤ」フィールドと、「全体動画」フィールドと、「評価結果」フィールドと、を含む。各フィールドは、互いに関連付けられている。
全体動画情報データベースは、ユーザ識別情報に関連付けられている。
全体動画情報データベースは、「全体動画ＩＤ」フィールドと、「全体動画」フィールドと、「評価結果」フィールドと、を含む。各フィールドは、互いに関連付けられている。
全体動画情報データベースは、ユーザ識別情報に関連付けられている。
「全体動画ＩＤ」フィールドには、全体動画識別情報が格納される。全体動画識別情報は、全体動画を識別する情報である。
「全体動画」フィールドには、全体動画が格納される。
「評価結果」フィールドには、評価結果情報が格納される。評価結果情報は、全体動画に含まれる全体動作及び部分動作に対する評価の結果に関する情報である。「評価結果」フィールドは、「評価日時」フィールドと、「部分評価」フィールドと、「全体評価」フィールドと、を含む。
「評価日時」フィールドには、評価の日時に関する情報が格納される。
「部分評価」フィールドには、部分評価情報が格納される。部分評価情報は、部分動作の評価結果に関する情報である。
「全体評価」フィールドには、全体評価情報が格納される。全体評価情報は、全体動作の評価結果に関する情報である。
（１−３−５）評価条件データテーブル
本実施形態の評価条件データテーブルを説明する。図８は、本実施形態の評価条件データテーブルのデータ構造を示す図である。
本実施形態の評価条件データテーブルを説明する。図８は、本実施形態の評価条件データテーブルのデータ構造を示す図である。
図８の評価条件データテーブルには、評価条件情報が格納されている。評価条件情報は、全体動作及び部分動作の評価の際に参照される評価条件に関する情報である。
評価条件データテーブルは、「評価指標」フィールドと、「評価スコア」フィールドと、を含む。各フィールドは、互いに関連付けられている。
評価条件データテーブルは、部分動作識別情報に関連付けられている。つまり、評価条件は、部分動作毎に用意される。
評価条件データテーブルは、「評価指標」フィールドと、「評価スコア」フィールドと、を含む。各フィールドは、互いに関連付けられている。
評価条件データテーブルは、部分動作識別情報に関連付けられている。つまり、評価条件は、部分動作毎に用意される。
「評価指標」フィールドには、評価指標情報が格納される。評価指標情報は、評価指標に関する情報である。評価指標は、例えば、以下を含む。
・「有無」…部分動画の有無
・「順番」…全体動画における部分動画の順番
・「期間」…部分動画の長さ
・「開始時間」…全体動画の開始時点から部分動画の開始時点までの経過時間
・「有無」…部分動画の有無
・「順番」…全体動画における部分動画の順番
・「期間」…部分動画の長さ
・「開始時間」…全体動画の開始時点から部分動画の開始時点までの経過時間
「評価スコア」フィールドには、評価指標毎の評価スコアに関する条件が格納されている。
例えば、部分動画が無い（つまり、部分動作が実行されなかった）場合には、部分動作の評価スコアは「０」である。部分動画が有る（つまり、部分動作が実行された）場合には、部分動作の評価スコアは「１」である。
部分動画の順番が誤りである（つまり、所定の順番に従って部分動作が実行されなかった）場合には、部分動作の評価スコアは「０」である。部分動画の順番が正しい（つまり、所定の順番に従って部分動作が実行された）場合には、部分動作の評価スコアは「１」である。
部分動画の長さが所定の期間閾値Ｐｔｈ未満である（つまり、所定の期間だけ部分動作が実行されなかった）場合には、部分動作の評価スコアは「０」である。部分動画の長さが期間閾値Ｐｔｈ以上である（つまり、所定の期間だけ部分動作が実行された）場合には、部分動作の評価スコアは「１」である。
部分動画の開始時間ＳＴが所定の第１開始時間閾値Ｓｔｈ１未満である（つまり、所定タイミング迄に部分動作が実行された）場合には、部分動作の評価スコアは「０」である。部分動画の開始時間ＳＴが第１開始時間閾値Ｓｔｈ１以上であり、且つ、第２開始時間閾値Ｓｔｈ２（＞Ｓｔｈ１）未満である（つまり、所定期間内に部分動作が実行された）場合には、部分動作の評価スコアは「１」である。
例えば、部分動画が無い（つまり、部分動作が実行されなかった）場合には、部分動作の評価スコアは「０」である。部分動画が有る（つまり、部分動作が実行された）場合には、部分動作の評価スコアは「１」である。
部分動画の順番が誤りである（つまり、所定の順番に従って部分動作が実行されなかった）場合には、部分動作の評価スコアは「０」である。部分動画の順番が正しい（つまり、所定の順番に従って部分動作が実行された）場合には、部分動作の評価スコアは「１」である。
部分動画の長さが所定の期間閾値Ｐｔｈ未満である（つまり、所定の期間だけ部分動作が実行されなかった）場合には、部分動作の評価スコアは「０」である。部分動画の長さが期間閾値Ｐｔｈ以上である（つまり、所定の期間だけ部分動作が実行された）場合には、部分動作の評価スコアは「１」である。
部分動画の開始時間ＳＴが所定の第１開始時間閾値Ｓｔｈ１未満である（つまり、所定タイミング迄に部分動作が実行された）場合には、部分動作の評価スコアは「０」である。部分動画の開始時間ＳＴが第１開始時間閾値Ｓｔｈ１以上であり、且つ、第２開始時間閾値Ｓｔｈ２（＞Ｓｔｈ１）未満である（つまり、所定期間内に部分動作が実行された）場合には、部分動作の評価スコアは「１」である。
（１−４）情報処理
第１実施形態の情報処理を説明する。
第１実施形態の情報処理を説明する。
（１−４−１）検出モデルの生成処理
第１実施形態の検出モデルの生成処理を説明する。図９は、第１実施形態の検出モデルの教師データの説明図である。
第１実施形態の検出モデルの生成処理を説明する。図９は、第１実施形態の検出モデルの教師データの説明図である。
本実施形態の検出モデルの生成処理を実行するために、教師データ、機械学習モデル、及び、サンプル部分動画を用意する。
図９に示すように、教師データは、複数の学習用動画、及び、複数の正解データの組合せである。
学習用動画は、対象動画Ｙ、及び、対象動画とは異なる非対象動画Ｘｎのランダムな組合せである。
正解データは、各学習用動画における対象動画Ｙの位置を示す時系列データである。
学習用動画は、対象動画Ｙ、及び、対象動画とは異なる非対象動画Ｘｎのランダムな組合せである。
正解データは、各学習用動画における対象動画Ｙの位置を示す時系列データである。
検出モデルは、機械学習モデルに教師データを機械学習させることにより生成される。機械学習は、学習用動画を入力すると、正解データを出力するように機械学習モデルのパラメータを調整することにより実行される。これにより、学習用動画が入力されると、対象動画Ｙの尤度を時系列で出力するように構成された汎用モデルが生成される。
対象動画Ｙが部分動画となるように、汎用モデルを転移学習させる。これにより、全体動画から部分動画を検出するための検出モデルが生成される。
（１−４−２）動作の評価処理
第１実施形態の動作の評価処理を説明する。図１０は、第１実施形態の動作の評価処理のシーケンス図である。図１１は、図１０の評価の詳細なフローチャートである。図１２は、図１０の情報処理において表示される画面例を示す図である。図１３は、図１１の部分動画の検出の説明図である。図１４は、第１実施形態の部分評価情報のデータ構造を示す図である。
第１実施形態の動作の評価処理を説明する。図１０は、第１実施形態の動作の評価処理のシーケンス図である。図１１は、図１０の評価の詳細なフローチャートである。図１２は、図１０の情報処理において表示される画面例を示す図である。図１３は、図１１の部分動画の検出の説明図である。図１４は、第１実施形態の部分評価情報のデータ構造を示す図である。
以下の例では、クライアント装置１０のユーザは、動作のトレーニングを実行するトレーニ（例えば、介護者、医師、スポーツ選手等）である。
図１０の処理は、ユーザを識別するユーザ識別情報を用いて撮影アプリケーションを起動することによって開始する。
図１０の処理は、ユーザを識別するユーザ識別情報を用いて撮影アプリケーションを起動することによって開始する。
図１０に示すように、クライアント装置１０は、動作種別の指定の受付（Ｓ１１１）を実行する。
具体的には、プロセッサ１２は、画面Ｇ１０（図１２）をディスプレイに表示する。
具体的には、プロセッサ１２は、画面Ｇ１０（図１２）をディスプレイに表示する。
画面Ｇ１０は、操作オブジェクトＢ１０ａ〜Ｂ１０ｄを含む。
操作オブジェクトＢ１０ａ〜Ｂ１０ｃは、それぞれ、全体動作名「手洗い」、「立ち上がり介助」、又は、「歩行介助」を指定するためのユーザ指示を受け付けるためのオブジェクトである。操作オブジェクトＢ１１ａ〜Ｂ１１ｃには、それぞれ、全体動作名「手洗い」、「立ち上がり介助」、及び、「歩行介助」の全体動作識別情報が割り当てられている。ユーザが操作オブジェクトＢ１０ａ〜Ｂ１０ｃの何れかを操作すると、プロセッサ１２は、操作された操作オブジェクトＢ１０ａ〜Ｂ１０ｃの何れかに割り当てられた全体動作識別情報を、評価の対象となる全体動作識別情報（以下「対象全体動作識別情報」という）として受け付ける。
操作オブジェクトＢ１０ｄは、動画の撮影を開始するためのユーザ指示を受け付けるためのオブジェクトである。操作オブジェクトＢ１０ｄが操作されると、プロセッサ１２は、カメラ１５に動画の撮影を開始させる。
操作オブジェクトＢ１０ａ〜Ｂ１０ｃは、それぞれ、全体動作名「手洗い」、「立ち上がり介助」、又は、「歩行介助」を指定するためのユーザ指示を受け付けるためのオブジェクトである。操作オブジェクトＢ１１ａ〜Ｂ１１ｃには、それぞれ、全体動作名「手洗い」、「立ち上がり介助」、及び、「歩行介助」の全体動作識別情報が割り当てられている。ユーザが操作オブジェクトＢ１０ａ〜Ｂ１０ｃの何れかを操作すると、プロセッサ１２は、操作された操作オブジェクトＢ１０ａ〜Ｂ１０ｃの何れかに割り当てられた全体動作識別情報を、評価の対象となる全体動作識別情報（以下「対象全体動作識別情報」という）として受け付ける。
操作オブジェクトＢ１０ｄは、動画の撮影を開始するためのユーザ指示を受け付けるためのオブジェクトである。操作オブジェクトＢ１０ｄが操作されると、プロセッサ１２は、カメラ１５に動画の撮影を開始させる。
ステップＳ１１１の後、クライアント装置１０は、全体動作の撮影（Ｓ１１２）を実行する。
具体的には、ユーザが操作オブジェクトＢ１０ａ及びＢ１０ｄを操作すると、プロセッサ１２は、カメラ１５に動画の撮影を開始させる。
ユーザが動画の撮影を終了するためのユーザ指示をクライアント装置１０に与えると（例えば、動画の撮影を終了するためのユーザ指示を受け付ける操作オブジェクト（不図示）を操作すると）、プロセッサ１２は、全体動画を記憶装置１１に記憶し、且つ、画面Ｇ１１（図１２）をディスプレイに表示する。
具体的には、ユーザが操作オブジェクトＢ１０ａ及びＢ１０ｄを操作すると、プロセッサ１２は、カメラ１５に動画の撮影を開始させる。
ユーザが動画の撮影を終了するためのユーザ指示をクライアント装置１０に与えると（例えば、動画の撮影を終了するためのユーザ指示を受け付ける操作オブジェクト（不図示）を操作すると）、プロセッサ１２は、全体動画を記憶装置１１に記憶し、且つ、画面Ｇ１１（図１２）をディスプレイに表示する。
画面Ｇ１１は、動画オブジェクトＭＯＶ１１と、操作オブジェクトＢ１１と、を含む。
動画オブジェクトＭＯＶ１１は、記憶装置１１に記憶された全体動画のサムネイル画像のオブジェクトである。
操作オブジェクトＢ１１は、全体動画をサーバ３０にアップロードするためのユーザ指示を受け付けるオブジェクトである。ユーザが操作オブジェクトＢ１１を操作すると、プロセッサ１２は、記憶装置１１に記憶された全体動画をサーバ３０にアップロードする。
動画オブジェクトＭＯＶ１１は、記憶装置１１に記憶された全体動画のサムネイル画像のオブジェクトである。
操作オブジェクトＢ１１は、全体動画をサーバ３０にアップロードするためのユーザ指示を受け付けるオブジェクトである。ユーザが操作オブジェクトＢ１１を操作すると、プロセッサ１２は、記憶装置１１に記憶された全体動画をサーバ３０にアップロードする。
ステップＳ１１２の後、クライアント装置１０は、評価リクエスト（Ｓ１１３）を実行する。
具体的には、ユーザが操作オブジェクトＢ１１を操作すると、プロセッサ１２は、評価リクエストデータをサーバ３０に送信する。評価リクエストデータは、以下の情報を含む。
・撮影アプリケーションを起動するときに指定されたユーザ識別情報
・ステップＳ１１１で受け付けられた対象全体動作識別情報
・ステップＳ１１２で記憶装置１１に記憶された全体動画
具体的には、ユーザが操作オブジェクトＢ１１を操作すると、プロセッサ１２は、評価リクエストデータをサーバ３０に送信する。評価リクエストデータは、以下の情報を含む。
・撮影アプリケーションを起動するときに指定されたユーザ識別情報
・ステップＳ１１１で受け付けられた対象全体動作識別情報
・ステップＳ１１２で記憶装置１１に記憶された全体動画
ステップＳ１１３の後、サーバ３０は、図１１のフローに従って評価（Ｓ１３１）を実行する。
図１１に示すように、サーバ３０は、検出モデルの決定（Ｓ１３１１）を実行する。
具体的には、プロセッサ３２は、動作種別情報データベース（図５）を参照して、評価リクエストデータに含まれる対象全体動作識別情報に関連付けられた「部分動作ＩＤ」フィールドの情報（つまり、ユーザが指定した動作種別の全体動作を構成する部分動作の部分動作識別情報（以下「対象部分動作識別情報」という））を特定する。
プロセッサ３２は、部分動作情報データベース（図６）を参照して、各対象部分動作識別情報に関連付けられた「モデルＩＤ」フィールドの情報（つまり、対象部分動作識別情報に対応する部分動作（以下「対象部分動作」という）を検出するための検出モデルのモデル識別情報）を特定する。
具体的には、プロセッサ３２は、動作種別情報データベース（図５）を参照して、評価リクエストデータに含まれる対象全体動作識別情報に関連付けられた「部分動作ＩＤ」フィールドの情報（つまり、ユーザが指定した動作種別の全体動作を構成する部分動作の部分動作識別情報（以下「対象部分動作識別情報」という））を特定する。
プロセッサ３２は、部分動作情報データベース（図６）を参照して、各対象部分動作識別情報に関連付けられた「モデルＩＤ」フィールドの情報（つまり、対象部分動作識別情報に対応する部分動作（以下「対象部分動作」という）を検出するための検出モデルのモデル識別情報）を特定する。
例えば、対象全体動作識別情報「Ｔ０１」（全体動作名「手洗い」）の場合、対象部分動作識別情報「Ｐ１１」〜「Ｐ１４」（部分動作名「手のひらを洗う」、「手の甲を洗う」、「指先を洗う」、及び、「すすぐ」）、並びに、モデル識別情報「Ｍ１１」〜「Ｍ１４」が特定される（図６）。
ステップＳ１３１１の後、サーバ３０は、部分動画の検出（Ｓ１３１２）を実行する。
具体的には、プロセッサ３２は、ステップＳ１３１１で特定された各検出モデルに対して、評価リクエストデータに含まれる全体動画を入力する。プロセッサ３２は、各検出モデルの出力に基づいて、各部分動画を検出する。
具体的には、プロセッサ３２は、ステップＳ１３１１で特定された各検出モデルに対して、評価リクエストデータに含まれる全体動画を入力する。プロセッサ３２は、各検出モデルの出力に基づいて、各部分動画を検出する。
より具体的には、対象全体動作識別情報「Ｔ０１」（全体動作名「手洗い」）の場合、プロセッサ３２は、モデル識別情報「Ｍ１１」〜「Ｍ１４」に対応する各検出モデルに対して、全体動画を入力する。
図１３に示すように、各検出モデル（モデル識別情報「Ｍ１１」〜「Ｍ１４」）は、対象全体動作識別情報「Ｔ０１」（全体動作名「手洗い」）に対応する全体動作を構成する部分動作（「手のひらを洗う」、「手の甲を洗う」、「指先を洗う」、及び、「すすぐ」）に対応する部分動画Ｐ１１〜Ｐ１４の尤度をそれぞれ時系列で出力する。
プロセッサ３２は、出力された尤度に基づいて、各部分動画Ｐ１１〜Ｐ１４の開始時間ＳＴ１〜ＳＴ４、及び、終了時間ＥＴ１〜ＥＴ４を特定する。一例として、プロセッサ３２は、尤度と所定の尤度閾値を比較することにより、開始時間ＳＴ１〜ＳＴ４、及び、終了時間ＥＴ１〜ＥＴ４を特定する。
プロセッサ３２は、部分動画Ｐ１１〜Ｐ１４の対象部分動作識別情報、部分動画Ｐ１１〜Ｐ１４の開始時間ＳＴ１〜ＳＴ４、及び、終了時間ＥＴ１〜ＥＴ４の組合せを記憶装置３１に記憶する。
図１３に示すように、各検出モデル（モデル識別情報「Ｍ１１」〜「Ｍ１４」）は、対象全体動作識別情報「Ｔ０１」（全体動作名「手洗い」）に対応する全体動作を構成する部分動作（「手のひらを洗う」、「手の甲を洗う」、「指先を洗う」、及び、「すすぐ」）に対応する部分動画Ｐ１１〜Ｐ１４の尤度をそれぞれ時系列で出力する。
プロセッサ３２は、出力された尤度に基づいて、各部分動画Ｐ１１〜Ｐ１４の開始時間ＳＴ１〜ＳＴ４、及び、終了時間ＥＴ１〜ＥＴ４を特定する。一例として、プロセッサ３２は、尤度と所定の尤度閾値を比較することにより、開始時間ＳＴ１〜ＳＴ４、及び、終了時間ＥＴ１〜ＥＴ４を特定する。
プロセッサ３２は、部分動画Ｐ１１〜Ｐ１４の対象部分動作識別情報、部分動画Ｐ１１〜Ｐ１４の開始時間ＳＴ１〜ＳＴ４、及び、終了時間ＥＴ１〜ＥＴ４の組合せを記憶装置３１に記憶する。
ステップＳ１３１２の後、サーバ３０は、部分動作の評価（Ｓ１３１３）を実行する。
具体的には、プロセッサ３２は、ステップＳ１３１２で記憶装置３１に記憶された各対象部分動作識別情報に関連付けられた評価条件データテーブル（図８）を特定する。
プロセッサ３２は、特定した評価条件データテーブルを参照して、「評価指標」フィールドの情報（例えば、各部分動作を含む部分動画の有無、各部分動画の順番、各部分動画の期間、及び、各部分動画における部分動作の開始時間）に対応する「評価スコア」フィールドの情報（つまり、評価スコア）を特定する。これにより、部分評価情報（図１４）が得られる。
具体的には、プロセッサ３２は、ステップＳ１３１２で記憶装置３１に記憶された各対象部分動作識別情報に関連付けられた評価条件データテーブル（図８）を特定する。
プロセッサ３２は、特定した評価条件データテーブルを参照して、「評価指標」フィールドの情報（例えば、各部分動作を含む部分動画の有無、各部分動画の順番、各部分動画の期間、及び、各部分動画における部分動作の開始時間）に対応する「評価スコア」フィールドの情報（つまり、評価スコア）を特定する。これにより、部分評価情報（図１４）が得られる。
ステップＳ１３１３の後、サーバ３０は、全体動作の評価（Ｓ１３１４）を実行する。
ステップＳ１３１４の第１例では、プロセッサ３２は、ステップＳ１３１３で得られた部分評価情報を参照して、全体動作の評価スコア（つまり、全体評価情報）を決定する。
より具体的には、プロセッサ３２は、以下の少なくとも１つを全体動作の評価スコアとして決定する。
・部分動作の評価スコアの合計値
・部分動作の評価スコアの平均値
・当該合計値又は当該平均値に対応する指標（例えば、ランク）
より具体的には、プロセッサ３２は、以下の少なくとも１つを全体動作の評価スコアとして決定する。
・部分動作の評価スコアの合計値
・部分動作の評価スコアの平均値
・当該合計値又は当該平均値に対応する指標（例えば、ランク）
一例として、動作種別が「手のひらを洗う」である場合、図８の評価条件データテーブルが参照される。
この場合、プロセッサ３２は、部分動画Ｐ１１が検出され、部分動画Ｐ１１の順番が評価条件に示される順番と同一であり、部分動画Ｐ１１の期間がＰｔｈ以上であり、開始時間ＳＴが第１開始時間閾値Ｓｔｈ１〜第２開始時間閾値Ｓｔｈ２の間に含まれる場合、部分動画Ｐ１１の評価スコアを「４」に決定する。
この場合、プロセッサ３２は、部分動画Ｐ１１が検出され、部分動画Ｐ１１の順番が評価条件に示される順番と同一であり、部分動画Ｐ１１の期間がＰｔｈ以上であり、開始時間ＳＴが第１開始時間閾値Ｓｔｈ１〜第２開始時間閾値Ｓｔｈ２の間に含まれる場合、部分動画Ｐ１１の評価スコアを「４」に決定する。
ステップＳ１３１４の第２例では、プロセッサ３２は、ステップＳ１３１２で検出された部分動画の数に応じて、全体動作の評価スコアを決定する。
この場合、ステップＳ１３１３は省略可能である。
この場合、ステップＳ１３１３は省略可能である。
ステップＳ１３１の後、サーバ３０は、データベースの更新（Ｓ１３２）を実行する。
具体的には、プロセッサ３２は、評価リクエストデータに含まれるユーザ識別情報に関連付けられた全体動画情報データベース（図７）に新規レコードを追加する。新規レコードの各フィールドには、以下の情報が格納される。
・「全体動画ＩＤ」フィールド…新規の全体動画識別情報
・「全体動画」フィールド…評価リクエストデータに含まれる全体動画
・「評価日時」フィールド…ステップＳ１３１の実行日時に関する情報
・「部分評価」フィールド…ステップＳ１３１３で得られた部分評価情報
・「全体評価」フィールド…ステップＳ１３１４で得られた全体評価情報
具体的には、プロセッサ３２は、評価リクエストデータに含まれるユーザ識別情報に関連付けられた全体動画情報データベース（図７）に新規レコードを追加する。新規レコードの各フィールドには、以下の情報が格納される。
・「全体動画ＩＤ」フィールド…新規の全体動画識別情報
・「全体動画」フィールド…評価リクエストデータに含まれる全体動画
・「評価日時」フィールド…ステップＳ１３１の実行日時に関する情報
・「部分評価」フィールド…ステップＳ１３１３で得られた部分評価情報
・「全体評価」フィールド…ステップＳ１３１４で得られた全体評価情報
ステップＳ１３２の後、サーバ３０は、評価レスポンス（Ｓ１３３）を実行する。
具体的には、プロセッサ３２は、評価レスポンスデータをクライアント装置１０に送信する。評価レスポンスデータは、以下の情報を含む。
・ステップＳ１３１２の実行結果（つまり、部分動画の検出結果）に関する情報
・ステップＳ１３１３の実行結果（つまり、部分評価情報）
・ステップＳ１３１４の実行結果（つまり、全体評価情報）
具体的には、プロセッサ３２は、評価レスポンスデータをクライアント装置１０に送信する。評価レスポンスデータは、以下の情報を含む。
・ステップＳ１３１２の実行結果（つまり、部分動画の検出結果）に関する情報
・ステップＳ１３１３の実行結果（つまり、部分評価情報）
・ステップＳ１３１４の実行結果（つまり、全体評価情報）
ステップＳ１３３の後、クライアント装置１０は、評価結果の表示（Ｓ１１４）を実行する。
具体的には、プロセッサ１２は、画面Ｇ１２（図１２）をディスプレイに表示する。
具体的には、プロセッサ１２は、画面Ｇ１２（図１２）をディスプレイに表示する。
画面Ｇ１２には、評価レスポンスデータに含まれる情報が表示される。画面Ｇ１２は、表示オブジェクトＡ１２ａ〜Ａ１２ｂと、画像オブジェクトＩＭＧ１２と、動画オブジェクトＭＯＶ１１と、を含む。
表示オブジェクトＡ１２ａには、部分評価情報が表示される。
表示オブジェクトＡ１２ｂには、全体評価情報が表示される。
画像オブジェクトＩＭＧ１２は、部分動画の検出結果を時系列で示すオブジェクトである。
表示オブジェクトＡ１２ａには、部分評価情報が表示される。
表示オブジェクトＡ１２ｂには、全体評価情報が表示される。
画像オブジェクトＩＭＧ１２は、部分動画の検出結果を時系列で示すオブジェクトである。
なお、ステップＳ１３３では、評価レスポンスデータは、部分評価情報を含まなくても良い。この場合、ステップＳ１１４では、部分評価情報の表示は省略される。
また、ステップＳ１３３では、評価レスポンスデータは、全体評価情報を含まなくても良い。この場合、ステップＳ１１４では、全体評価情報の表示は省略される。
また、ステップＳ１３３では、評価レスポンスデータは、全体評価情報を含まなくても良い。この場合、ステップＳ１１４では、全体評価情報の表示は省略される。
第１実施形態によれば、全体動画から部分動画を検出し、且つ、部分動画に関する評価条件を用いて、全体動作を評価する。これにより、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
また、第１実施形態によれば、部分動作毎の検出モデルを用いて部分動画を検出する。これにより、適切に部分動作を検出することができる。
また、第１実施形態によれば、検出された部分動画の数に応じて、全体動作及び部分動作の少なくとも１つを評価する。これにより、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
また、第１実施形態によれば、検出された部分動画の順番、各部分動画の期間、及び、各部分動作の開始時間の少なくとも１つを参照して、全体動作及び部分動作の少なくとも１つを評価する。これにより、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
また、第１実施形態によれば、予め指定されたトレーニの動作の種別に応じて、全体動作及び部分動作の少なくとも１つを評価する。これにより、より正確な評価を実現することができる。
また、第１実施形態によれば、検出された部分動作の種別に応じた検出モデルを用いて部分動画を検出する。これにより、適切に部分動画を検出することができる。
また、第１実施形態によれば、動作の種別に応じた評価条件を用いて部分動画を評価する。これにより、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
（２）第２実施形態
第２実施形態を説明する。第２実施形態は、複数の部分動作のそれぞれに対応する部分動作評価モデルを用いて部分動作を評価する例である。なお、上記の実施形態と同様の説明は省略する。
第２実施形態を説明する。第２実施形態は、複数の部分動作のそれぞれに対応する部分動作評価モデルを用いて部分動作を評価する例である。なお、上記の実施形態と同様の説明は省略する。
（２−１）動作の評価処理
第２実施形態の動作の評価処理を説明する。
第２実施形態の動作の評価処理を説明する。
サーバ３０は、第１実施形態（図１１）と同様に、検出モデルの決定（Ｓ１３１１）〜部分動画の検出（Ｓ１３１２）を実行する。
ステップＳ１３１２の後、サーバ３０は、部分動作の評価（Ｓ１３１３）を実行する。
具体的には、記憶装置３１には、部分動作毎の部分動作評価モデルが記憶されている。各部分動作評価モデルは、部分動作識別情報に関連付けられている。
部分動作評価モデルには、各部分動作に含まれる要素動作（例えば、姿勢、表情、及び、発話の少なくとも１つ）毎の評価条件が記述されている。部分動作評価モデルは、例えば、予め定められたルール、又は、機械学習により生成された学習済モデルである。
具体的には、記憶装置３１には、部分動作毎の部分動作評価モデルが記憶されている。各部分動作評価モデルは、部分動作識別情報に関連付けられている。
部分動作評価モデルには、各部分動作に含まれる要素動作（例えば、姿勢、表情、及び、発話の少なくとも１つ）毎の評価条件が記述されている。部分動作評価モデルは、例えば、予め定められたルール、又は、機械学習により生成された学習済モデルである。
プロセッサ３２は、対象部分動作識別情報に関連付けられた部分動作評価モデルを参照して、ステップＳ１３１２で検出された各部分動画に対応する部分動作に含まれる要素動作の評価スコアを決定する。
プロセッサ３２は、各要素動作の評価スコアを参照して、部分動作の部分動作評価情報を決定する。
より具体的には、プロセッサ３２は、以下の少なくとも１つを部分動作の評価スコアとして決定する。
・要素動作の評価スコアの合計値
・要素動作の評価スコアの平均値
・当該合計値又は当該平均値に対応する指標（例えば、ランク）
・部分動画の有無
・部分動画の順番
・部分動画の期間
・各部分動画における部分動作の開始時間
プロセッサ３２は、各要素動作の評価スコアを参照して、部分動作の部分動作評価情報を決定する。
より具体的には、プロセッサ３２は、以下の少なくとも１つを部分動作の評価スコアとして決定する。
・要素動作の評価スコアの合計値
・要素動作の評価スコアの平均値
・当該合計値又は当該平均値に対応する指標（例えば、ランク）
・部分動画の有無
・部分動画の順番
・部分動画の期間
・各部分動画における部分動作の開始時間
一例として、動作種別が「歩行介助」であり、且つ、部分動作が「被介助者の手を取る」であり、評価対象となる要素動作が「表情」であり、且つ、要素動作の評価条件が「笑顔で被介助者の目を見る」である場合、プロセッサ３２は、部分動画を解析することによって、トレーニの表情（例えば、笑顔のレベル）を特定する。
プロセッサ３２は、特定結果（例えば、笑顔のレベル）に基づいて、要素動作「表情」の評価スコアを計算する。
プロセッサ３２は、特定結果（例えば、笑顔のレベル）に基づいて、要素動作「表情」の評価スコアを計算する。
ステップＳ１３１３の後、サーバ３０は、第１実施形態（図１０）と同様に、全体動作の評価（Ｓ１３１４）を実行する。
ステップＳ１３１４の後、サーバ３０は、図１０のデータベースの更新（Ｓ１３２）を実行する。
具体的には、プロセッサ３２は、評価リクエストデータに含まれるユーザ識別情報に関連付けられた全体動画情報データベース（図７）に新規レコードを追加する。新規レコードの各フィールドには、以下の情報が格納される。
・「全体動画ＩＤ」フィールド…新規の全体動画識別情報
・「全体動画」フィールド…評価リクエストデータに含まれる全体動画
・「評価日時」フィールド…ステップＳ１３１の実行日時に関する情報
・「部分評価」フィールド…ステップＳ１３１３で得られた部分評価情報
・「全体評価」フィールド…ステップＳ１３１４で得られた全体評価情報
具体的には、プロセッサ３２は、評価リクエストデータに含まれるユーザ識別情報に関連付けられた全体動画情報データベース（図７）に新規レコードを追加する。新規レコードの各フィールドには、以下の情報が格納される。
・「全体動画ＩＤ」フィールド…新規の全体動画識別情報
・「全体動画」フィールド…評価リクエストデータに含まれる全体動画
・「評価日時」フィールド…ステップＳ１３１の実行日時に関する情報
・「部分評価」フィールド…ステップＳ１３１３で得られた部分評価情報
・「全体評価」フィールド…ステップＳ１３１４で得られた全体評価情報
ステップＳ２３１１の後、サーバ３０は、第１実施形態（図１０）と同様に、評価レスポンス（Ｓ１３３）を実行する。
ステップＳ１３３の後、クライアント装置１０は、第１実施形態と同様に、評価結果の表示（Ｓ１１４）を実行する。
ステップＳ１３３の後、クライアント装置１０は、第１実施形態と同様に、評価結果の表示（Ｓ１１４）を実行する。
第２実施形態によれば、複数の部分動作のそれぞれに対応する部分動作評価モデルを用いて、部分動作を構成する複数の要素動作のそれぞれを評価し、且つ、各要素動作の評価結果を参照して、全体動作及び部分動作の少なくとも１つを評価する。これにより、全体動作及び部分動作の少なくとも１つをより詳細に評価することができる。
（３）変形例
本実施形態の変形例を説明する。
本実施形態の変形例を説明する。
（３−１）変形例１
本実施形態の変形例１を説明する。変形例１は、サーバ３０が動作種別を判定する例である。
図１５は、変形例１の情報処理のシーケンス図である。図１６は、図１５の情報処理において表示される画面例を示す図である。
本実施形態の変形例１を説明する。変形例１は、サーバ３０が動作種別を判定する例である。
図１５は、変形例１の情報処理のシーケンス図である。図１６は、図１５の情報処理において表示される画面例を示す図である。
図１５に示すように、クライアント装置１０は、全体動作の撮影（Ｓ１１１）を実行する。
具体的には、プロセッサ１２は、画面Ｇ２０（図１６）をディスプレイに表示する。画面Ｇ２０は、操作オブジェクトＢ１０ｄを含む。
具体的には、プロセッサ１２は、画面Ｇ２０（図１６）をディスプレイに表示する。画面Ｇ２０は、操作オブジェクトＢ１０ｄを含む。
ステップＳ１１１の後、クライアント装置１０は、評価リクエスト（Ｓ１１２）を実行する。
具体的には、プロセッサ１２は、評価リクエストデータをサーバ３０に送信する。評価リクエストデータは、以下の情報を含む。
・撮影アプリケーションを起動するときに指定されたユーザ識別情報
・ステップＳ１１２で記憶装置１１に記憶された全体動画
具体的には、プロセッサ１２は、評価リクエストデータをサーバ３０に送信する。評価リクエストデータは、以下の情報を含む。
・撮影アプリケーションを起動するときに指定されたユーザ識別情報
・ステップＳ１１２で記憶装置１１に記憶された全体動画
ステップＳ１１２の後、サーバ３０は、動作種別の特定（Ｓ３３１）を実行する。
具体的には、記憶装置３１には、動作種別特定モデルが記憶されている。動作種別特定モデルには、動画の特徴量と動作種別との相関関係が記述されている。
プロセッサ３２は、評価リクエストデータに含まれる全体動画を動作種別特定モデルに入力することにより、全体動画の動作種別（つまり、全体動作の種別）を特定する。
具体的には、記憶装置３１には、動作種別特定モデルが記憶されている。動作種別特定モデルには、動画の特徴量と動作種別との相関関係が記述されている。
プロセッサ３２は、評価リクエストデータに含まれる全体動画を動作種別特定モデルに入力することにより、全体動画の動作種別（つまり、全体動作の種別）を特定する。
ステップＳ３３１の後、サーバ３０は、第１実施形態（図１０）又は第２実施形態と同様に、評価（Ｓ１３１）〜評価レスポンス（Ｓ１３３）を実行する。
ステップＳ１３３の後、クライアント装置１０は、本実施形態（図１０）と同様に、評価結果の表示（Ｓ１１４）を実行する。
なお、動作種別の特定（Ｓ３３１）は、部分動画の検出（Ｓ１３１２）の後に実行されても良い。
この場合、プロセッサ３２は、ステップＳ１３１２で検出された複数の部分動画の少なくとも１つを動作種別特定モデルに入力することにより、全体動画の動作種別を特定する。
この場合、プロセッサ３２は、ステップＳ１３１２で検出された複数の部分動画の少なくとも１つを動作種別特定モデルに入力することにより、全体動画の動作種別を特定する。
変形例１によれば、ユーザが指定することなく、動作の種別が特定される。これにより、動作の評価におけるユーザの負担を軽減することができる。
（３−２）変形例２
本実施形態の変形例２を説明する。変形例２は、全体動画に含まれるトレーニ以外の人物（以下「非トレーニ」という）の動作を考慮して、トレーニの動作を評価する例である。
本実施形態の変形例２を説明する。変形例２は、全体動画に含まれるトレーニ以外の人物（以下「非トレーニ」という）の動作を考慮して、トレーニの動作を評価する例である。
（３−２−１）変形例２の概要
本実施形態の変形例２の概要を説明する。図１７は、変形例２の概要の説明図である。
本実施形態の変形例２の概要を説明する。図１７は、変形例２の概要の説明図である。
図１７に示すように、変形例２では、全体動画に含まれる非トレーニの動作（全体動作及び部分動作の少なくとも１つ）、並びに、トレーニの動作（全体動作及び部分動作の少なくとも１つ）を参照して、トレーニの動作を評価する。
非トレーニは、例えば、以下の少なくとも１つを含む。
・トレーニが介護者である場合の被介護者
・トレーニが医師である場合の患者
・トレーニがスポーツ選手である場合の相手選手
非トレーニは、例えば、以下の少なくとも１つを含む。
・トレーニが介護者である場合の被介護者
・トレーニが医師である場合の患者
・トレーニがスポーツ選手である場合の相手選手
図１７に示すように、変形例２では、クライアント装置１０がサーバ３０に全体動画を送信する。全体動画は、トレーニの動作（例えば、一連の部分動作を含む全体動作）、及び、非トレーニの動作（例えば、一連の部分動作を含む全体動作）の組合せに対応する。
サーバ３０は、機械学習によって生成された検出モデルを用いて、全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する。
サーバ３０は、検出された複数の部分動画（つまり、非トレーニの動作、並びに、トレーニの全体動作及び部分動作の少なくとも１つの組合せ）を参照して、全体動作及び部分動作の少なくとも１つを評価する。
サーバ３０は、検出された複数の部分動画（つまり、非トレーニの動作、並びに、トレーニの全体動作及び部分動作の少なくとも１つの組合せ）を参照して、全体動作及び部分動作の少なくとも１つを評価する。
（３−２−２）情報処理
本実施形態の変形例２の情報処理を説明する。
本実施形態の変形例２の情報処理を説明する。
変形例２の検出モデルは、動画の種別に応じて、トレーニの部分動作及び非トレーニの部分動作の組合せを検出するように構成される。
記憶装置３１には、トレーニの姿勢及び非トレーニの姿勢の相関関係に関する評価条件テーブル、トレーニの表情及び非トレーニの表情の相関関係に関する評価条件テーブル、並びに、トレーニの発話及び非トレーニの発話の相関関係に関する評価条件テーブルの少なくとも１つが記憶されている。
プロセッサ３２は、ステップＳ１３１２（図１１）において、記憶装置１１に記憶されたルール又は機械学習モデルを用いて、部分動画から、トレーニの姿勢の画像、トレーニの表情の画像、及び、トレーニの発話の画像又は音声の少なくとも１つを抽出する。
プロセッサ３２は、トレーニの姿勢及び非トレーニの姿勢の相関関係に関する評価条件テーブルと、抽出されたトレーニの姿勢及び非トレーニの姿勢の画像と、を参照して、部分動作及び全体動作の少なくとも１つの評価スコア（つまり、姿勢に関する評価スコア）を計算する。
プロセッサ３２は、トレーニの表情及び非トレーニの表情の相関関係に関する評価条件テーブルと、抽出されたトレーニの表情及び非トレーニの表情の画像と、を参照して、部分動作及び全体動作の少なくとも１つの評価スコア（つまり、表情に関する評価スコア）を計算する。
プロセッサ３２は、トレーニの発話及び非トレーニの発話の相関関係に関する評価条件テーブルと、抽出されたトレーニの発話及び非トレーニの発話の音声と、を参照して、部分動作及び全体動作の少なくとも１つの評価スコア（つまり、発話に関する評価スコア）を計算する。
プロセッサ３２は、トレーニの表情及び非トレーニの表情の相関関係に関する評価条件テーブルと、抽出されたトレーニの表情及び非トレーニの表情の画像と、を参照して、部分動作及び全体動作の少なくとも１つの評価スコア（つまり、表情に関する評価スコア）を計算する。
プロセッサ３２は、トレーニの発話及び非トレーニの発話の相関関係に関する評価条件テーブルと、抽出されたトレーニの発話及び非トレーニの発話の音声と、を参照して、部分動作及び全体動作の少なくとも１つの評価スコア（つまり、発話に関する評価スコア）を計算する。
変形例２によれば、動作の評価において、非トレーニの動作及びトレーニの動作の相関関係を考慮する。これにより、実際の動作環境に近い条件でトレーニの動作を評価することができる。
（３−３）変形例３
本実施形態の変形例３を説明する。変形例３は、全体動画に含まれる物体の動作を考慮して、トレーニの動作を評価する例である。
本実施形態の変形例３を説明する。変形例３は、全体動画に含まれる物体の動作を考慮して、トレーニの動作を評価する例である。
（３−３−１）変形例３の概要
本実施形態の変形例３の概要を説明する。図１８は、変形例３の概要の説明図である。
本実施形態の変形例３の概要を説明する。図１８は、変形例３の概要の説明図である。
図１８に示すように、変形例３では、全体動画に含まれる物体の動作（全体動作及び部分動作の少なくとも１つ）、並びに、トレーニの動作（全体動作及び部分動作の少なくとも１つ）を参照して、トレーニの動作を評価する。
物体は、例えば、以下の少なくとも１つを含む。
・トレーニが介護者である場合の介護用品（一例として、可動式介護用ベッド）
・トレーニが医師である場合の医療機器（一例として、手術器具）
・トレーニがスポーツ選手である場合のスポーツ器具（一例として、ボール、バット、ラケット、ゴルフクラブ等）
物体は、例えば、以下の少なくとも１つを含む。
・トレーニが介護者である場合の介護用品（一例として、可動式介護用ベッド）
・トレーニが医師である場合の医療機器（一例として、手術器具）
・トレーニがスポーツ選手である場合のスポーツ器具（一例として、ボール、バット、ラケット、ゴルフクラブ等）
サーバ３０は、機械学習によって生成された検出モデルを用いて、全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する。
サーバ３０は、検出された複数の部分動画（つまり、物体の動作、並びに、トレーニの全体動作及び部分動作の少なくとも１つの組合せ）を参照して、全体動作及び部分動作の少なくとも１つを評価する。
サーバ３０は、検出された複数の部分動画（つまり、物体の動作、並びに、トレーニの全体動作及び部分動作の少なくとも１つの組合せ）を参照して、全体動作及び部分動作の少なくとも１つを評価する。
（３−３−２）情報処理
本実施形態の変形例３の情報処理を説明する。
本実施形態の変形例３の情報処理を説明する。
変形例３の検出モデルは、動画の種別に応じて、トレーニの部分動作及び物体の部分動作の組合せを検出するように構成される。
記憶装置３１には、トレーニの姿勢及び物体の姿勢の相関関係に関する評価条件テーブル、並びに、トレーニの発話及び物体の発話の相関関係に関する評価条件テーブルの少なくとも１つが記憶されている。
プロセッサ３２は、ステップＳ１３１２（図１１又は図１６）において、記憶装置１１に記憶されたルール又は機械学習モデルを用いて、部分動画から、トレーニの姿勢の画像、及び、トレーニの発話の画像又は音声の少なくとも１つを抽出する。
プロセッサ３２は、トレーニの姿勢及び物体の姿勢の相関関係に関する評価条件テーブルと、抽出されたトレーニの姿勢及び物体の姿勢の画像と、を参照して、部分動作及び全体動作の少なくとも１つの評価スコア（つまり、姿勢に関する評価スコア）を計算する。
プロセッサ３２は、トレーニの発話及び物体の動作音の相関関係に関する評価条件テーブルと、抽出されたトレーニの発話及び物体の動作音の音声と、を参照して、部分動作及び全体動作の少なくとも１つの評価スコア（つまり、発話に関する評価スコア）を計算する。
プロセッサ３２は、トレーニの発話及び物体の動作音の相関関係に関する評価条件テーブルと、抽出されたトレーニの発話及び物体の動作音の音声と、を参照して、部分動作及び全体動作の少なくとも１つの評価スコア（つまり、発話に関する評価スコア）を計算する。
ステップＳ１３１２の後、サーバ３０は、第１実施形態（図１０）又は第２実施形態と同様に、データベースの更新（Ｓ１３２）〜評価レスポンス（Ｓ１３３）を実行する。
ステップＳ１３３の後、クライアント装置１０は、第１実施形態又は第２実施形態と同様に、評価結果の表示（Ｓ１１４）を実行する。
ステップＳ１３３の後、クライアント装置１０は、第１実施形態又は第２実施形態と同様に、評価結果の表示（Ｓ１１４）を実行する。
変形例３によれば、動作の評価において、物体の動作及びトレーニの動作の相関関係を考慮する。これにより、実際の動作環境に近い条件でトレーニの動作を評価することができる。
（４）本実施形態の小括
本実施形態について小括する。
本実施形態について小括する。
本実施形態の第１態様は、
トレーニの動作を評価する動作評価方法であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出するステップ（例えば、ステップＳ１３１２）を備え、
検出された複数の部分動画を参照して、全体動作及び部分動作の少なくとも１つを評価するステップ（例えば、ステップＳ１３１３〜Ｓ１３１４）を備える、
動作評価方法である。
トレーニの動作を評価する動作評価方法であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出するステップ（例えば、ステップＳ１３１２）を備え、
検出された複数の部分動画を参照して、全体動作及び部分動作の少なくとも１つを評価するステップ（例えば、ステップＳ１３１３〜Ｓ１３１４）を備える、
動作評価方法である。
第１態様によれば、全体動画から部分動画を検出し、且つ、部分動画に関する評価条件を用いて、全体動作及び部分動作の少なくとも１つを評価する。これにより、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
本実施形態の第２態様は、
検出するステップは、
複数の部分動作のそれぞれに対応する検出モデルを用いて、各部分動作の尤度を計算し、
各部分動作の尤度に基づいて、各部分動画を検出する、
動作評価方法である。
検出するステップは、
複数の部分動作のそれぞれに対応する検出モデルを用いて、各部分動作の尤度を計算し、
各部分動作の尤度に基づいて、各部分動画を検出する、
動作評価方法である。
第２態様によれば、部分動作毎の検出モデルを用いて部分動画を検出する。これにより、適切に部分動画を検出することができる。
本実施形態の第３態様は、
評価するステップは、検出された部分動画の数を参照して、全体動作を評価する、
動作評価方法である。
評価するステップは、検出された部分動画の数を参照して、全体動作を評価する、
動作評価方法である。
第３態様によれば、部分動画の数に応じて評価を実行する。これにより、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
本実施形態の第４態様は、
評価するステップは、各部分動作に対応する部分動画の有無、各部分動画の順番、各部分動画の期間、及び、各部分動画における部分動作の開始時間の少なくとも１つを参照して、全体動作及び部分動作の少なくとも１つを評価する、
動作評価方法である。
評価するステップは、各部分動作に対応する部分動画の有無、各部分動画の順番、各部分動画の期間、及び、各部分動画における部分動作の開始時間の少なくとも１つを参照して、全体動作及び部分動作の少なくとも１つを評価する、
動作評価方法である。
第４態様によれば、部分動画の順番及び期間、並びに、部分動作の開始時間の少なくとも１つに応じて評価を実行する。これにより、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
本実施形態の第５態様は、
トレーニの動作の種別に関する種別情報を取得するステップ（例えば、ステップＳ１３１１）を備え、
取得された種別情報を参照して、全体動画の種別を特定するステップ（Ｓ１３１１）を備える、
動作評価方法である。
トレーニの動作の種別に関する種別情報を取得するステップ（例えば、ステップＳ１３１１）を備え、
取得された種別情報を参照して、全体動画の種別を特定するステップ（Ｓ１３１１）を備える、
動作評価方法である。
第５態様によれば、予め指定されたトレーニの動作の種別に応じて評価を実行する。これにより、より正確な評価を実現することができる。
本実施形態の第６態様は、
全体動画及び部分動画の少なくとも１つを参照して、トレーニの動作の種別を特定するステップ（例えば、ステップＳ３３１）を備える、
動作評価方法である。
全体動画及び部分動画の少なくとも１つを参照して、トレーニの動作の種別を特定するステップ（例えば、ステップＳ３３１）を備える、
動作評価方法である。
第６態様によれば、ユーザが指定することなく、動作の種別が特定される。これにより、動作の評価におけるユーザの負担を軽減することができる。
本実施形態の第７態様は、
検出するステップは、特定された種別に応じた検出モデルを用いる、
動作評価方法である。
検出するステップは、特定された種別に応じた検出モデルを用いる、
動作評価方法である。
第７態様によれば、第６態様と同様の効果が得られる。
本実施形態の第８態様は、
評価するステップは、特定された種別に応じた評価条件を参照して、各部分動画を評価する、
動作評価方法である。
評価するステップは、特定された種別に応じた評価条件を参照して、各部分動画を評価する、
動作評価方法である。
第８態様によれば、動作の種別に応じた評価条件を用いて部分動画を評価する。これにより、トレーニングの様子が撮影された動画を用いて、指導者の評価と同等の評価を実現することができる。
本実施形態の第９態様は、
評価するステップは、全体動画に含まれるトレーニ以外の人物の動作、並びに、トレーニの全体動作及び部分動作の少なくとも１つの組合せを参照して、全体動作及び部分動作の少なくとも１つを評価する、
動作評価方法である。
評価するステップは、全体動画に含まれるトレーニ以外の人物の動作、並びに、トレーニの全体動作及び部分動作の少なくとも１つの組合せを参照して、全体動作及び部分動作の少なくとも１つを評価する、
動作評価方法である。
第９態様によれば、動作の評価において、非トレーニの動作及びトレーニの動作の相関関係を考慮する。これにより、実際の動作環境に近い条件でトレーニの動作を評価することができる。
本実施形態の第１０態様は、
評価するステップは、全体動画に含まれるトレーニ以外の物体の様子、並びに、トレーニの全体動作及び部分動作の少なくとも１つの組合せを参照して、全体動作及び部分動作の少なくとも１つを評価する、
動作評価方法である。
評価するステップは、全体動画に含まれるトレーニ以外の物体の様子、並びに、トレーニの全体動作及び部分動作の少なくとも１つの組合せを参照して、全体動作及び部分動作の少なくとも１つを評価する、
動作評価方法である。
第１０態様によれば、動作の評価において、物体の動作及びトレーニの動作の相関関係を考慮する。これにより、実際の動作環境に近い条件でトレーニの動作を評価することができる。
本実施形態の第１１態様は、
評価するステップは、
部分動作を構成する複数の要素動作のそれぞれを評価し、
各要素動作の評価結果を参照して、全体動作及び部分動作の少なくとも１つを評価する、
動作評価方法である。
評価するステップは、
部分動作を構成する複数の要素動作のそれぞれを評価し、
各要素動作の評価結果を参照して、全体動作及び部分動作の少なくとも１つを評価する、
動作評価方法である。
第１１態様によれば、複数の部分動作のそれぞれに対応する部分動作評価モデルを用いて、部分動作を構成する複数の要素動作のそれぞれを評価し、且つ、各要素動作の評価結果を参照して、全体動作及び部分動作の少なくとも１つを評価する。これにより、全体動作及び部分動作の少なくとも１つをより詳細に評価することができる。
本実施形態の第１２態様は、
トレーニの動作を評価する動作評価装置（例えば、サーバ３０）であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、各部分動作に対応する部分動画を検出する手段（例えば、ステップＳ１３１２を実行するプロセッサ３２）を備え、
検出された複数の部分動画を参照して、全体動作及び部分動作の少なくとも１つを評価する手段（例えば、ステップＳ１３１３〜Ｓ１３１４を実行するプロセッサ３２）を備える、
動作評価装置（例えば、サーバ３０）である。
トレーニの動作を評価する動作評価装置（例えば、サーバ３０）であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、各部分動作に対応する部分動画を検出する手段（例えば、ステップＳ１３１２を実行するプロセッサ３２）を備え、
検出された複数の部分動画を参照して、全体動作及び部分動作の少なくとも１つを評価する手段（例えば、ステップＳ１３１３〜Ｓ１３１４を実行するプロセッサ３２）を備える、
動作評価装置（例えば、サーバ３０）である。
第１２態様によれば、第１態様と同様の効果が得られる。
本実施形態の第１３態様は、
トレーニの動作を評価する動作評価システム１であって、
クライアント装置１０と、サーバ３０と、を備え、
クライアント装置１０は、
一連の部分動作を含む全体動作が撮影された全体動画をサーバ３０に送信する手段（例えば、ステップＳ１１３を実行するプロセッサ１２）を備え、
サーバ３０は、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、各部分動作に対応する部分動画を検出する手段（例えば、ステップＳ１３１２を実行するプロセッサ３２）を備え、
検出された複数の部分動画を参照して、全体動作及び部分動作の少なくとも１つを評価する手段（例えば、ステップＳ１３１３〜Ｓ１３１４を実行するプロセッサ３２）を備える、
動作評価システム１である。
トレーニの動作を評価する動作評価システム１であって、
クライアント装置１０と、サーバ３０と、を備え、
クライアント装置１０は、
一連の部分動作を含む全体動作が撮影された全体動画をサーバ３０に送信する手段（例えば、ステップＳ１１３を実行するプロセッサ１２）を備え、
サーバ３０は、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、各部分動作に対応する部分動画を検出する手段（例えば、ステップＳ１３１２を実行するプロセッサ３２）を備え、
検出された複数の部分動画を参照して、全体動作及び部分動作の少なくとも１つを評価する手段（例えば、ステップＳ１３１３〜Ｓ１３１４を実行するプロセッサ３２）を備える、
動作評価システム１である。
第１３態様によれば、第１態様と同様の効果が得られる。
（５）その他の変形例
その他の変形例を説明する。
その他の変形例を説明する。
記憶装置１１は、ネットワークＮＷを介して、クライアント装置１０と接続されてもよい。記憶装置３１は、ネットワークＮＷを介して、サーバ３０と接続されてもよい。
上記の情報処理の各ステップは、クライアント装置１０及びサーバ３０の何れでも実行可能である。
例えば、クライアント装置１０が上記の情報処理の全てのステップを実行可能である場合、クライアント装置１０は、サーバ３０にリクエストを送信することなく、スタンドアロンで動作する情報処理装置として機能する。
例えば、クライアント装置１０が上記の情報処理の全てのステップを実行可能である場合、クライアント装置１０は、サーバ３０にリクエストを送信することなく、スタンドアロンで動作する情報処理装置として機能する。
本実施形態では、クライアント装置１０が全体動画を撮影する例を示したが、本実施形態の範囲はこれに限られない。本実施形態は、以下の何れかの場合にも適用可能である。
・ステップＳ１１１の実行前に記憶装置１１に記憶されていた全体動画（つまり、図１０の処理の実行前に撮影された全体動画）
・クライアント装置１０のカメラ１５以外のカメラ（例えば、ステップＳ１１１を実行するクライアント装置１０と通信可能な外部カメラ）で撮影された全体動画
・ステップＳ１１１の実行前に記憶装置１１に記憶されていた全体動画（つまり、図１０の処理の実行前に撮影された全体動画）
・クライアント装置１０のカメラ１５以外のカメラ（例えば、ステップＳ１１１を実行するクライアント装置１０と通信可能な外部カメラ）で撮影された全体動画
以上、本発明の実施形態について詳細に説明したが、本発明の範囲は上記の実施形態に限定されない。また、上記の実施形態は、本発明の主旨を逸脱しない範囲において、種々の改良や変更が可能である。また、上記の実施形態及び変形例は、組合せ可能である。
１ ：動作評価システム
１０ ：クライアント装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
１５ ：カメラ
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース
１０ ：クライアント装置
１１ ：記憶装置
１２ ：プロセッサ
１３ ：入出力インタフェース
１４ ：通信インタフェース
１５ ：カメラ
３０ ：サーバ
３１ ：記憶装置
３２ ：プロセッサ
３３ ：入出力インタフェース
３４ ：通信インタフェース
Claims (26)
- トレーニの動作を評価する動作評価方法であって、
機械学習によって生成された検出モデルのうち前記トレーニの動作の種別に応じた検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出するステップを備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価するステップを備える、
動作評価方法。 - 前記評価するステップは、各部分動作に対応する部分動画の有無、各部分動画の順番、各部分動画の期間、及び、各部分動画における部分動作の開始時間の少なくとも１つを参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
請求項１に記載の動作評価方法。 - 前記トレーニの動作の種別に関する種別情報を取得するステップを備える、
請求項１又は２に記載の動作評価方法。 - 前記全体動画を参照して、前記トレーニの動作の種別を特定するステップを備える、請求項１又は２に記載の動作評価方法。
- 前記評価するステップは、前記トレーニの動作の種別に応じた評価条件を参照して、各部分動画を評価する、
請求項１〜４の何れかに記載の動作評価方法。 - トレーニの動作を評価する動作評価方法であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出するステップを備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価するステップを備え、
前記評価するステップは、各部分動作に対応する部分動画の有無、各部分動画の順番、各部分動画の期間、及び、各部分動画における部分動作の開始時間の少なくとも１つを参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
動作評価方法。 - 前記トレーニの動作の種別に関する種別情報を取得するステップを備える、
請求項６に記載の動作評価方法。 - 前記全体動画を参照して、前記トレーニの動作の種別を特定するステップを備える、請求項６に記載の動作評価方法。
- 前記評価するステップは、前記トレーニの動作の種別に応じた評価条件を参照して、各部分動画を評価する、
請求項７又は８に記載の動作評価方法。 - トレーニの動作を評価する動作評価方法であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出するステップを備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価するステップを備え、
前記評価するステップは、前記検出された部分動画の数を参照して、前記全体動作を評価する、
動作評価方法。 - トレーニの動作を評価する動作評価方法であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出するステップを備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価するステップを備え、
前記評価するステップは、
前記部分動作を構成する複数の要素動作のそれぞれを評価し、
各要素動作の評価結果を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
動作評価方法。 - 前記トレーニの動作の種別に関する種別情報を取得するステップを備え、
前記取得された種別情報を参照して、前記全体動画の種別を特定するステップを備える、
請求項１０又は１１に記載の動作評価方法。 - 前記全体動画を参照して、前記トレーニの動作の種別を特定するステップを備える、請求項１０又は１１に記載の動作評価方法。
- 前記検出するステップは、前記特定された種別に応じた検出モデルを用いる、
請求項１２又は１３に記載の動作評価方法。 - 前記評価するステップは、前記特定された種別に応じた評価条件を参照して、各部分動画を評価する、
請求項１２〜１４の何れかに記載の動作評価方法。 - 前記検出するステップは、
前記複数の部分動作のそれぞれに対応する検出モデルを用いて、各部分動作の尤度を計算し、
各部分動作の尤度に基づいて、各部分動画を検出する、
請求項１〜１５の何れかに記載の動作評価方法。 - 前記評価するステップは、前記全体動画に含まれる前記トレーニ以外の人物の動作、並びに、前記トレーニの全体動作及び部分動作の少なくとも１つの組合せを参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
請求項１〜１６の何れかに記載の動作評価方法。 - 前記評価するステップは、前記全体動画に含まれる前記トレーニ以外の物体の様子、並びに、前記トレーニの全体動作及び部分動作の少なくとも１つの組合せを参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
請求項１〜１７の何れかに記載の動作評価方法。 - トレーニの動作を評価する動作評価装置であって、
機械学習によって生成された検出モデルのうち前記トレーニの動作の種別に応じた検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、各部分動作に対応する部分動画を検出する手段を備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する手段を備える、
動作評価装置。 - トレーニの動作を評価する動作評価装置であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する手段を備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する手段を備え、
前記評価する手段は、各部分動作に対応する部分動画の有無、各部分動画の順番、各部分動画の期間、及び、各部分動画における部分動作の開始時間の少なくとも１つを参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
動作評価装置。 - トレーニの動作を評価する動作評価装置であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する手段を備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する手段を備え、
前記評価する手段は、前記検出された部分動画の数を参照して、前記全体動作を評価する、
動作評価装置。 - トレーニの動作を評価する動作評価装置であって、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する手段を備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する手段を備え、
前記評価する手段は、
前記部分動作を構成する複数の要素動作のそれぞれを評価し、
各要素動作の評価結果を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
動作評価装置。 - トレーニの動作を評価する動作評価システムであって、
クライアント装置と、サーバと、を備え、
前記クライアント装置は、
一連の部分動作を含む全体動作が撮影された全体動画を前記サーバに送信する手段を備え、
前記サーバは、
機械学習によって生成された検出モデルのうち前記トレーニの動作の種別に応じた検出モデルを用いて、前記全体動画から、各部分動作に対応する部分動画を検出する手段を備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する手段を備える、
動作評価システム。 - トレーニの動作を評価する動作評価システムであって、
クライアント装置と、サーバと、を備え、
前記クライアント装置は、
一連の部分動作を含む全体動作が撮影された全体動画を前記サーバに送信する手段を備え、
前記サーバは、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する手段を備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する手段を備え、
前記評価する手段は、各部分動作に対応する部分動画の有無、各部分動画の順番、各部分動画の期間、及び、各部分動画における部分動作の開始時間の少なくとも１つを参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
動作評価システム。 - トレーニの動作を評価する動作評価システムであって、
クライアント装置と、サーバと、を備え、
前記クライアント装置は、
一連の部分動作を含む全体動作が撮影された全体動画を前記サーバに送信する手段を備え、
前記サーバは、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する手段を備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する手段を備え、
前記評価する手段は、前記検出された部分動画の数を参照して、前記全体動作を評価する、
動作評価システム。 - トレーニの動作を評価する動作評価システムであって、
クライアント装置と、サーバと、を備え、
前記クライアント装置は、
一連の部分動作を含む全体動作が撮影された全体動画を前記サーバに送信する手段を備え、
前記サーバは、
機械学習によって生成された検出モデルを用いて、一連の部分動作を含む全体動作が撮影された全体動画から、複数の部分動作のそれぞれに対応する部分動画を検出する手段を備え、
前記検出された複数の部分動画を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する手段を備え、
前記評価する手段は、
前記部分動作を構成する複数の要素動作のそれぞれを評価し、
各要素動作の評価結果を参照して、前記全体動作及び前記部分動作の少なくとも１つを評価する、
動作評価システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019196328A JP6757010B1 (ja) | 2019-10-29 | 2019-10-29 | 動作評価装置、動作評価方法、動作評価システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2019196328A JP6757010B1 (ja) | 2019-10-29 | 2019-10-29 | 動作評価装置、動作評価方法、動作評価システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP6757010B1 true JP6757010B1 (ja) | 2020-09-16 |
| JP2021071773A JP2021071773A (ja) | 2021-05-06 |
Family
ID=72432436
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2019196328A Active JP6757010B1 (ja) | 2019-10-29 | 2019-10-29 | 動作評価装置、動作評価方法、動作評価システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6757010B1 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11093886B2 (en) * | 2018-11-27 | 2021-08-17 | Fujifilm Business Innovation Corp. | Methods for real-time skill assessment of multi-step tasks performed by hand movements using a video camera |
| WO2023243044A1 (ja) * | 2022-06-16 | 2023-12-21 | 日本電信電話株式会社 | 修正箇所優先順位生成方法、修正箇所優先順位生成装置およびプログラム |
| JP7359349B1 (ja) | 2022-07-07 | 2023-10-11 | Ｃｏ－Ｇｒｏｗｔｈ株式会社 | 評価支援システム、情報処理装置の制御方法、及び情報処理装置の制御プログラム |
| WO2024062882A1 (ja) * | 2022-09-20 | 2024-03-28 | 株式会社Ollo | プログラム、情報処理方法、及び情報処理装置 |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2014104360A1 (ja) * | 2012-12-28 | 2014-07-03 | 株式会社東芝 | 動作情報処理装置及び方法 |
| WO2017150211A1 (ja) * | 2016-03-03 | 2017-09-08 | コニカミノルタ株式会社 | 行動認識装置及び行動学習装置並びに行動認識プログラム及び行動学習プログラム |
-
2019
- 2019-10-29 JP JP2019196328A patent/JP6757010B1/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2021071773A (ja) | 2021-05-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6757010B1 (ja) | 動作評価装置、動作評価方法、動作評価システム | |
| Thar et al. | A proposal of yoga pose assessment method using pose detection for self-learning | |
| KR100772497B1 (ko) | 골프 클리닉 시스템 및 그것의 운용방법 | |
| US11113988B2 (en) | Apparatus for writing motion script, apparatus for self-teaching of motion and method for using the same | |
| CN109191588A (zh) | 运动教学方法、装置、存储介质及电子设备 | |
| KR102320960B1 (ko) | 사용자 신체 맞춤형 홈 트레이닝 동작 안내 및 교정 시스템 | |
| CN114022512A (zh) | 运动辅助方法、装置及介质 | |
| CN114140722A (zh) | 引体向上运动的评估方法、装置、服务器及存储介质 | |
| CN113409651B (zh) | 直播健身方法、系统、电子设备、存储介质 | |
| Kinger et al. | Deep learning based yoga pose classification | |
| JP6868673B1 (ja) | 情報処理装置、情報処理方法、および情報処理プログラム | |
| KR20170140756A (ko) | 동작 교본 저작 장치, 동작 자가 학습 장치 및 방법 | |
| Sharma et al. | Digital Yoga Game with Enhanced Pose Grading Model | |
| Lobo et al. | Yoga Correction Using Machine Learning | |
| WO2022196059A1 (ja) | 情報処理装置、情報処理方法およびプログラム | |
| JP2024057773A (ja) | 行動分析システム及び行動分析方法 | |
| US20240058685A1 (en) | Information processing device, information processing method, and non-transitory computer-readable storage medium storing program | |
| US20240046510A1 (en) | Approaches to independently detecting presence and estimating pose of body parts in digital images and systems for implementing the same | |
| WO2023162159A1 (ja) | 動作生成装置、動作生成システム、動作生成方法、及び非一時的なコンピュータ可読媒体 | |
| JP7310929B2 (ja) | 運動メニュー評価装置、方法、及びプログラム | |
| KR20090058803A (ko) | 비디오운동 강습방법 | |
| Jian et al. | DL-Shuttle: Badminton Coaching Training Assistance System Using Deep Learning Approach | |
| JP2024032585A (ja) | 運動指導システム、運動指導方法、およびプログラム | |
| Mazlan | FitAI: Home Workout Posture Analysis using Computer Vision | |
| KR20210086766A (ko) | 품새 연습 장치 및 품새 연습 방법 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20191029 |
|
| A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20191029 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200323 |
|
| A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20200324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200331 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200417 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200707 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200714 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200818 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200820 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6757010 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |