JPWO2023157500A5

JPWO2023157500A5 -

Info

Publication number: JPWO2023157500A5
Application number: JP2024501009A
Authority: JP
Publication date: 2024-05-31

Claims

コンピュータが実行する動画編集方法であって、
第１期間に特定の動作を実行した対象者を被写体として含む第１動画像と、前記第１期間とは異なる第２期間に前記特定の動作を実行した前記対象者を被写体として含む第２動画像とを取得する取得ステップと、
前記第１動画像及び前記第２動画像のそれぞれにおける前記対象者の骨格モデルを推定する推定ステップと、
前記第１動画像における前記対象者の骨格モデルに基づいて、前記第１動画像において前記対象者が前記特定の動作におけるキー動作を実行しているキー画像である第１画像を特定し、且つ、前記第２動画像における前記対象者の骨格モデルに基づいて、前記第２動画像において前記対象者が前記キー動作を実行している前記キー画像である第２画像を特定する特定ステップと、
前記第１画像及び前記第２画像に基づいて、前記第１動画像及び前記第２動画像の少なくとも一方を編集することで、前記第１動画像に基づく第３動画像と、前記第２動画像に基づく第４動画像とを、それぞれの動画再生時間が揃うように生成する編集ステップと、
前記第３動画像と、前記第４動画像とを出力する出力ステップと、を含み、
前記編集ステップでは、（ｉ）前記第３動画像に前記第１画像が含まれるように、且つ、前記第４動画像に前記第２画像が含まれるように、且つ、（ｉｉ）前記少なくとも一方に含まれる画像を減らすように、又は、前記少なくとも一方に含まれる画像を増やすように、前記少なくとも一方を編集し、
前記特定ステップでは、さらに、前記対象者の骨格モデルに基づいて、前記少なくとも一方における、前記対象者が前記特定の動作を開始する開始動作を実行している開始画像と、前記特定の動作を終了する終了動作を実行している終了画像とを特定し、
前記編集ステップでは、
（ｉ）前記第１動画像及び前記第２動画像のそれぞれの、前記開始画像より前の画像と、前記終了画像より後の画像とを削除して、前記開始画像、前記キー画像、及び、前記終了画像を残すように編集し、且つ、（ｉｉ）前記開始画像より前の画像と、前記終了画像より後の画像とを削除した後に、前記開始画像と前記終了画像との間の１以上の画像を所定の枚数毎に削除することで、前記開始画像、前記キー画像、及び、前記終了画像が再生されるタイミングが揃うように、前記少なくとも一方を編集する
動画編集方法。
前記編集ステップでは、前記第１動画像における前記第１画像より後の動画像、及び、前記第２動画像における前記第２画像より後の動画像の少なくともいずれかを削除することで、前記少なくとも一方を編集する
請求項１に記載の動画編集方法。
前記編集ステップでは、前記少なくとも一方に含まれる複数の画像を所定の枚数毎に削除することで、前記少なくとも一方を編集する
請求項１又は２に記載の動画編集方法。
前記特定ステップでは、前記キー動作に対応する、前記対象者の骨格モデルにおける複数の骨格点のうちのいずれかの位置、及び、当該位置の変化量の少なくともいずれかに基づいて、前記第１画像と前記第２画像とを特定する
請求項１又は２に記載の動画編集方法。
さらに、前記キー動作に対応する、（ｉｉｉ）前記対象者の骨格モデルにおける複数の骨格点のうちのいずれかの位置、（ｉｖ）前記複数の骨格点のうちの２以上の骨格点の位置関係、及び、（ｖ）前記複数の骨格点のうちのいずれかの骨格点の移動速度の少なくともいずれかである評価点について、前記第１動画像における前記評価点と前記第２動画像における前記評価点との差分を示す差分情報を生成する評価ステップを含み、
前記出力ステップでは、さらに、前記差分情報を出力する
請求項１又は２に記載の動画編集方法。
前記評価ステップでは、さらに、前記差分に基づいて、前記特定の動作についての前記対象者に対する評価を示す評価情報を生成し、
前記出力ステップでは、さらに、前記評価情報を出力する
請求項５に記載の動画編集方法。
第１期間に特定の動作を実行した対象者を被写体として含む第１動画像と、前記第１期間とは異なる第２期間に前記特定の動作を実行した前記対象者を被写体として含む第２動画像とを取得する取得部と、
前記第１動画像及び前記第２動画像のそれぞれにおける前記対象者の骨格モデルを推定する推定部と、
前記第１動画像における前記対象者の骨格モデルに基づいて、前記第１動画像において前記対象者が前記特定の動作におけるキー動作を実行しているキー画像である第１画像を特定し、且つ、前記第２動画像における前記対象者の骨格モデルに基づいて、前記第２動画像において前記対象者が前記キー動作を実行している前記キー画像である第２画像を特定する特定部と、
前記第１画像及び前記第２画像に基づいて、前記第１動画像及び前記第２動画像の少なくとも一方を編集することで、前記第１動画像に基づく第３動画像と、前記第２動画像に基づく第４動画像とを、それぞれの動画再生時間が揃うように生成する編集部と、
前記第３動画像と、前記第４動画像とを出力する出力部と、を備え、
前記編集部は、（ｉ）前記第３動画像に前記第１画像が含まれるように、且つ、前記第４動画像に前記第２画像が含まれるように、且つ、（ｉｉ）前記少なくとも一方に含まれる画像を減らすように、又は、前記少なくとも一方に含まれる画像を増やすように、前記少なくとも一方を編集し、
前記特定部は、さらに、前記対象者の骨格モデルに基づいて、前記少なくとも一方における、前記対象者が前記特定の動作を開始する開始動作を実行している開始画像と、前記特定の動作を終了する終了動作を実行している終了画像とを特定し、
前記編集部は、
（ｉ）前記第１動画像及び前記第２動画像のそれぞれの、前記開始画像より前の画像と、前記終了画像より後の画像とを削除して、前記開始画像、前記キー画像、及び、前記終了画像を残すように編集し、且つ、（ｉｉ）前記開始画像より前の画像と、前記終了画像より後の画像とを削除した後に、前記開始画像と前記終了画像との間の１以上の画像を所定の枚数毎に削除することで、前記開始画像、前記キー画像、及び、前記終了画像が再生されるタイミングが揃うように、前記少なくとも一方を編集する
動画編集装置。
請求項７に記載の動画編集装置と、
情報端末と、を備え、
前記動画編集装置は、さらに、前記情報端末と通信を行う第１通信部を備え、
前記情報端末は、
前記動画編集装置と通信を行う第２通信部と、
前記対象者に前記特定の動作を行うように指示する指示部と、
前記特定の動作を実行している前記対象者を撮影することで前記第１動画像及び前記第２動画像を生成するカメラと、
前記第２通信部を介して前記動画編集装置に前記第１動画像及び前記第２動画像を出力し、且つ、前記第２通信部を介して前記動画編集装置から前記第３動画像及び前記第４動画像を取得する制御部と、
前記第３動画像及び前記第４動画像を表示する表示部と、を備える
表示システム。