JP7546151B2

JP7546151B2 - 動画移行方法及び装置、機器、記憶媒体並びにコンピュータプログラム

Info

Publication number: JP7546151B2
Application number: JP2023515277A
Authority: JP
Inventors: 朱袁▲しゅあん▼; 黄展▲鵬▼; 黄健文; ▲韓▼蕊; 尹浩; ▲鄭▼佳宇; 黄▲偉▼杰; 秦梓▲鵬▼
Original assignee: シェンチェンテトラス．エーアイテクノロジーカンパニーリミテッド
Priority date: 2021-05-19
Filing date: 2021-10-28
Publication date: 2024-09-05
Anticipated expiration: 2041-10-28
Also published as: KR20230035385A; CN113313794A; TWI795116B; TW202247104A; WO2022242038A1; CN113313794B; JP2023540577A

Description

（関連出願の相互参照）
本願は、２０２１年０５月１９日に提出された、出願番号が２０２１１０５４７６９３．６である中国特許出願に基づく優先権を主張し、該中国特許出願の全内容が参照として本願に組み込まれる。

本願の実施例は、コンピュータグラフィックス分野に関するが、これに限定されず、特に動画移行方法及び装置、機器、記憶媒体並びにコンピュータプログラム製品に関する。

１つの既存の骨格モデルから新たな骨格モデルに動画を移行することによって、既存の骨格モデルの有する動画を新たな骨格モデルで自然且つ合理的な方式で表示することは、コンピュータグラフィックスにおける実用価値の大きい技術である。しかしながら、関連技術の動画移行方案において、動画データを有する既存の骨格モデルから新たな骨格モデルに動画を移行する時に、適用性が低い。

本願の実施例は少なくとも、動画移行方法及び装置、機器、記憶媒体並びにコンピュータプログラム製品を提供する。

本願の実施例は、動画移行方法を提供する。前記方法は、初期ソース骨格、初期ターゲット骨格及び初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得することと、ノードマッピング関係に基づいて、初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることであって、最終的なターゲット骨格におけるターゲットノードはいずれも、最終的なソース骨格におけるソースノードにマッピング可能である、ことと、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得ることと、を含む。

従って、初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係に基づいて、初期ソース骨格及び／又は初期ターゲット骨格のトポロジ構造を更新することによって、最終的なターゲット骨格のターゲットノードをいずれも、最終的なソース骨格におけるソースノードにマッピングすることができる。初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、それにより最終的なターゲット骨格の動きを駆動するため、異なる骨格間の動画移行を実現する。また、移行待ちソース骨格とターゲット骨格の間の初期トポロジ構造が完全に一致する必要がないため、骨格間の動画移行の適用性を向上させる。

いくつかの実施例において、最終的なターゲット骨格と最終的なソース骨格のノードトポロジ構造が一致し、及び／又は、最終的なターゲット骨格と最終的なソース骨格とのノードが一対一にマッピングされる。

従って、最終的なターゲット骨格におけるノードについて、最終的なソース骨格においてこれとマッピングしたノードがあり、且つマッピング関係が一対一マッピングであり、１つのターゲットノードが複数のソースノードに対応するというケースが存在しないことを確保することで、後続の最終的なターゲット骨格におけるノードに、いずれも対応する動画駆動データがあり、且つ各ノード上での動画駆動データの数が１である。１つのノードが複数の動画駆動データを有するケースが存在しないことにより、最終的なターゲット骨格の動画駆動をより自然にする。

いくつかの実施例において、ノードマッピング関係は、初期ソース骨格と初期ターゲット骨格におけるノード間のマッピング関係を含み、ノード対応関係に基づいて、初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることは、２つの骨格の間に、同一のノードにマッピングされる複数のノードがある場合、そのうちの１つの骨格のノードトポロジ構造を更新することと、骨格にマッピング関係のないノードがある場合、マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新することと、のうちの少なくとも１つを含み、ここで、２つの骨格は、初期ソース骨格と、初期ターゲット骨格とを含み、更新された２つの骨格間のノードが一対一にマッピングされる。

従って、骨格のノードトポロジ構造を更新することで、２つの骨格間の複数のノードが同一のノードにマッピングされることを２つの骨格間のノードの一対一のマッピングに調整し、更に、後続の最終的なターゲット骨格の動画駆動プロセスにおいて合理的ではない状況の出現を減少させる。

いくつかの実施例において、マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新することは、マッピング関係のないノードを、マッピング関係のある隣接ノードにマージすることであって、隣接ノードは、マッピング関係のないノードが位置する骨格における、マッピング関係のないノードの親ノード又は子ノードである、ことを含み、及び／又は、そのうちの１つの骨格のノードトポロジ構造を更新することは、複数のノードが同一の骨格分岐に位置する場合、複数のノードが位置する第１骨格を更新することと、複数のノードが異なる骨格分岐に位置する場合、複数のノードを含まない第２骨格を更新することと、を含み、ここで、第１骨格と第２骨格とのうちの１つは、初期ソース骨格であり、もう１つは、初期ターゲット骨格である。

従って、複数のノードが位置する第１骨格を更新することで、２つの骨格間の複数のノードが同一のノードにマッピングされることを２つの骨格間のノードが一対一にマッピングされることに調整し、更に、後続の最終的なターゲット骨格の動画駆動プロセスにおいて合理的ではない状況の出現を減少させる。

いくつかの実施例において、複数のノードが位置する第１骨格を更新することは、第１骨格における複数のノードを１つの第１ノードとしてマージすることであって、ここで、第１ノードは、マージ前の複数のノードのマッピング関係を維持する、ことを含み、及び／又は、複数のノードを含まない第２骨格を更新することは、第１骨格から、複数のノードが位置する骨格分岐が合流する第２ノードを探し出し、第２骨格から、第２ノードにマッピングされる第３ノードを探し出すことと、複数のノードに対応するノードトポロジ構造に応じて、第３ノードに少なくとも１つの骨格分岐を新規追加することと、を含み、複数のノードは、第３ノードに新規追加される骨格分岐及びオリジナル骨格分岐におけるノードと一対一にマッピングされる。

従って、このような方式で、ノードの一対一のマッピングを実現する場合、第１骨格のノードトポロジ構造も最大限に維持できる。

いくつかの実施例において、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得る前に、方法は、ルートソースノードからリーフソースノードへの順番に応じて、最終的なソース骨格における各ソースノードと最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることを更に含み、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得ることは、第１動画駆動データと第１位置姿勢変換関係を利用して、最終的なターゲット骨格の第２動画駆動データを得ることを含む。

従って、ソースノードとターゲットノードとの位置合わせを行うことで、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることができ、それにより第１動画駆動データと第１位置姿勢変換関係を利用して、最終的なターゲット骨格の第２動画駆動データを得ることを実現する。

いくつかの実施例において、最終的なソース骨格における各ソースノードと最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることは、最終的なソース骨格における各ソースノードに対して、ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得することであって、オフセットは、並進成分と回転成分とのうちの少なくとも１つを含む、ことと、ソースノードに対応するオフセットに基づいて、ソースノードの第１位置姿勢変換関係を得ることと、を含む。

従って、オフセットが並進成分と回転成分を含むことによって、取得された第１位置姿勢変換関係をより正確にする。

いくつかの実施例において、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードはいずれも第１座標系の原点に並進し、第１位置姿勢変換関係は、ソースノードとマッピングされるターゲットノードとの、第１座標系における変換関係であり、ソースノードに対応するオフセットは、ソースノードの第１親ノードが位置合わせされ、かつ第１親ノードが第２座標系の原点である場合、ソースノードとマッピングされるターゲットノードの、第２座標系におけるオフセットである。

従って、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードがいずれも第１座標系の原点に並進することで、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードとのオフセットを取得することができる。

いくつかの実施例において、ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得することは、位置合わせされた第１親ノードとルートソースノードとの第２位置姿勢変換関係、及びソースノードのマッピングされるターゲットノードの第２親ノードとルートターゲットノードとの第３位置姿勢変換関係を取得し、ソースノード及びマッピングされるターゲットノードの、第１座標系における位置姿勢と、第２位置姿勢変換関係と、第３位置姿勢変換関係とに基づいて、ソースノードに対応するオフセットを得ることを含み、及び／又は、ソースノードに対応するオフセットに基づいて、ソースノードの第１位置姿勢変換関係を得ることは、ソースノード及びソースノードの上位ノードのそれぞれに対応するオフセットに基づいて、ソースノードの第１位置姿勢変換関係を得ることであって、ソースノードの上位ノードは、最終的なソース骨格におけるソースノードの第１親ノード、ルートソースノード及び第１親ノードとルートソースノードとの間のノードである、ことを含む。

従って、ソースノード及びソースノードの上位ノードに対応するオフセットを結合することで、ソースノードの、第１座標系におけるマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることができる。

いくつかの実施例において、第１動画駆動データは、最終的なソース骨格と初期ソース骨格とのトポロジ構造差異に基づいて、初期ソース骨格のオリジナル動画データに対して調整を行うことで得られたものであり、及び／又は、最終的なターゲット骨格の第２動画駆動データは、第１動画駆動データ及び第１位置姿勢変換関係に基づいて得られたものであり、第１位置姿勢変換関係は、最終的なソース骨格のソースノードと最終的なターゲット骨格におけるマッピングされるターゲットノードとの間の変換関係であり、最終的なターゲット骨格は、ターゲット対象の骨格であり、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得ることは、ターゲット対象における幾何学的メッシュ頂点の第１位置情報、第１動画駆動データ及び第１位置姿勢変換関係に基づいて、第２動画駆動データにおける、幾何学的メッシュ頂点に関する第２位置情報を得ることを含む。

従って、ターゲット対象における幾何学的メッシュ頂点の第１位置情報、第１動画駆動データ及び第１位置姿勢変換関係を結合することで、第２動画駆動データにおける、幾何学的メッシュ頂点に関する第２位置情報を得ることができ、プロセスが便利である。

いくつかの実施例において、ターゲット対象における幾何学的メッシュ頂点の第１位置情報、第１動画駆動データ及び第１位置姿勢変換関係に基づいて、第２動画駆動データにおける、幾何学的メッシュ頂点に関する第２位置情報を得ることは、幾何学的メッシュ頂点との距離が所定の条件を満たす少なくとも１つのターゲットノードをリファレンスノードとして取得し、リファレンスノードの影響重みを得ることと、第１動画駆動データにおける、リファレンスノードに関する第４位置姿勢変換関係とリファレンスノードに対応する第１位置姿勢変換関係に基づいて、リファレンスノードに対応する第５位置姿勢変換関係を得ることと、第１位置情報、各リファレンスノードに対応する第５位置姿勢変換関係及び影響重みを利用して、幾何学的メッシュ頂点の第２位置情報を得ることと、を含む。

従って、頂点に対するリファレンスノードの影響重みを考慮することで、取得された幾何学的メッシュ頂点の第２位置情報をより正確にする。

いくつかの実施例において、初期ソース骨格を取得することは、ターゲット対象を含む画像に対して分類を行い、ターゲット対象のクラスを得、クラスに合致した骨格モデルを初期ソース骨格として選択することであって、最終的なターゲット骨格は、ターゲット対象の骨格である、ことを含み、及び／又は、初期ターゲット骨格を取得することは、ターゲット対象を含む画像に対して輪郭抽出を行い、ターゲット対象の輪郭を得ることと、輪郭を利用して、ターゲット対象に対して、三次元メッシュモデルを生成することと、三次元メッシュモデルから、初期ターゲット骨格を抽出することと、を含む。

従って、ターゲット対象のクラスを取得し、クラスに合致した骨格モデルから、初期ソース骨格を選択することで、便利で迅速である。骨格分岐の数の多い順に応じて、初期骨格と初期ターゲット骨格におけるノードに対して順にマッピングを行うことで、マッピングの正確度を向上させることができる。

本願の実施例は、動画移行装置を提供する。前記装置は、初期ソース骨格、初期ターゲット骨格及び初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得するように構成される取得モジュールと、ノードマッピング関係に基づいて、初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得るように構成されるモデル更新モジュールであって、最終的なターゲット骨格におけるターゲットノードはいずれも、最終的なソース骨格におけるソースノードにマッピング可能である、モデル更新モジュールと、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得るように構成される動画移行モジュールと、を備える。

本願の実施例は、電子機器を提供する。前記電子機器は、メモリと、プロセッサと、を備え、プロセッサは、メモリに記憶されているプログラム命令を実行し、上記動画移行方法を実施する。

本願の実施例は、コンピュータ可読記憶媒体を提供する。該コンピュータ可読記憶媒体にはプログラム命令が記憶されており、プログラム命令がプロセッサにより実行される時、プロセッサに上記動画移行方法を実現させる。

本願の実施例は、コンピュータプログラム製品を更に提供する。前記コンピュータプログラム製品は、プログラムコードを記憶したコンピュータ可読記憶媒体を含み、前記プログラムコードに含まれる命令がコンピュータ機器のプロセッサにより実行される時、プロセッサに上記動画移行方法のステップを実現させる。
例えば、本願は以下の項目を提供する。
（項目１）
動画移行方法であって、
初期ソース骨格、初期ターゲット骨格及び初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得することと、
前記ノードマッピング関係に基づいて、前記初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることであって、前記最終的なターゲット骨格におけるターゲットノードはいずれも、前記最終的なソース骨格におけるソースノードにマッピング可能である、ことと、
前記初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得ることと、を含む、方法。
（項目２）
前記最終的なターゲット骨格と前記最終的なソース骨格のノードトポロジ構造が一致し、及び／又は、前記最終的なターゲット骨格と前記最終的なソース骨格とのノードが一対一にマッピングされることを特徴とする
項目１に記載の方法。
（項目３）
前記ノードマッピング関係は、前記初期ソース骨格と初期ターゲット骨格におけるノード間のマッピング関係を含み、前記ノード対応関係に基づいて、前記初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることは、
２つの骨格の間に、同一のノードにマッピングされる複数のノードがある場合、前記骨格のうちの１つのノードトポロジ構造を更新することと、
前記骨格にマッピング関係のないノードがある場合、前記マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新することと、のうちの少なくとも１つを含み、
前記２つの骨格は、初期ソース骨格と、初期ターゲット骨格とを含み、更新された前記２つの骨格間のノードが一対一にマッピングされることを特徴とする
項目１又は２に記載の方法。
（項目４）
前記マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新することは、
前記マッピング関係のないノードを、マッピング関係のある隣接ノードにマージすることであって、前記隣接ノードは、前記マッピング関係のないノードが位置する骨格における、前記マッピング関係のないノードの親ノード又は子ノードである、ことを含み、
及び／又は、
前記骨格のうちの１つのノードトポロジ構造を更新することは、
前記複数のノードが同一の骨格分岐に位置する場合、前記複数のノードが位置する第１骨格を更新することと、
前記複数のノードが異なる骨格分岐に位置する場合、前記複数のノードを含まない第２骨格を更新することと、を含み、
前記第１骨格と前記第２骨格とのうちの１つは、初期ソース骨格であり、もう１つは、初期ターゲット骨格であることを特徴とする
項目３に記載の方法。
（項目５）
前記複数のノードが位置する第１骨格を更新することは、
前記第１骨格における複数のノードを１つの第１ノードとしてマージすることであって、前記第１ノードは、マージ前の前記複数のノードのマッピング関係を維持する、ことを含み、
及び／又は、前記複数のノードを含まない第２骨格を更新することは、
前記第１骨格から、前記複数のノードが位置する骨格分岐が合流する第２ノードを探し出し、前記第２骨格から、前記第２ノードにマッピングされる第３ノードを探し出すことと、
前記複数のノードに対応するノードトポロジ構造に応じて、前記第３ノードに少なくとも１つの骨格分岐を新規追加することと、を含み、前記複数のノードは、前記第３ノードに新規追加される骨格分岐及びオリジナル骨格分岐におけるノードと一対一にマッピングされることを特徴とする
項目４に記載の方法。
（項目６）
前記初期ソース骨格に関連する第１動画駆動データを前記最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得る前に、前記方法は、
ルートソースノードからリーフソースノードへの順番に応じて、前記最終的なソース骨格における各ソースノードと前記最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることを更に含み、
前記初期ソース骨格に関連する第１動画駆動データを前記最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得ることは、
前記第１動画駆動データと前記第１位置姿勢変換関係を利用して、前記最終的なターゲット骨格の第２動画駆動データを得ることを含むことを特徴とする
項目１から５のうちいずれか一項に記載の方法。
（項目７）
前記最終的なソース骨格における各ソースノードと前記最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることは、
前記最終的なソース骨格における各ソースノードに対して、前記ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得することであって、前記オフセットは、並進成分と回転成分とのうちの少なくとも１つを含む、ことと、
前記ソースノードに対応するオフセットに基づいて、前記ソースノードの第１位置姿勢変換関係を得ることと、を含むことを特徴とする
項目６に記載の方法。
（項目８）
前記最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードはいずれも第１座標系の原点に並進し、前記第１位置姿勢変換関係は、前記ソースノードとマッピングされるターゲットノードとの、前記第１座標系における変換関係であり、前記ソースノードに対応するオフセットは、前記ソースノードの第１親ノードが位置合わせされ、かつ前記第１親ノードが第２座標系の原点である場合、前記ソースノードとマッピングされるターゲットノードの、前記第２座標系におけるオフセットであることを特徴とする
項目７に記載の方法。
（項目９）
前記ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得することは、
位置合わせされた前記第１親ノードとルートソースノードとの第２位置姿勢変換関係、及び前記ソースノードのマッピングされるターゲットノードの第２親ノードとルートターゲットノードとの第３位置姿勢変換関係を取得し、前記ソースノード及びマッピングされるターゲットノードの、第１座標系における位置姿勢と、前記第２位置姿勢変換関係と、第３位置姿勢変換関係とに基づいて、前記ソースノードに対応するオフセットを得ることを含み、
及び／又は、
前記ソースノードに対応するオフセットに基づいて、前記ソースノードの第１位置姿勢変換関係を得ることは、
前記ソースノード及び前記ソースノードの上位ノードのそれぞれに対応する前記オフセットに基づいて、前記ソースノードの第１位置姿勢変換関係を得ることであって、前記ソースノードの上位ノードは、前記最終的なソース骨格における前記ソースノードの第１親ノード、ルートソースノード及び前記第１親ノードとルートソースノードとの間のノードである、ことを含むことを特徴とする
項目８に記載の方法。
（項目１０）
前記第１動画駆動データは、前記最終的なソース骨格と前記初期ソース骨格とのトポロジ構造差異に基づいて、前記初期ソース骨格のオリジナル動画データに対して調整を行うことで得られたものであり、
及び／又は、
前記最終的なターゲット骨格の第２動画駆動データは、前記第１動画駆動データ及び第１位置姿勢変換関係に基づいて得られたものであり、前記第１位置姿勢変換関係は、最終的なソース骨格のソースノードと最終的なターゲット骨格におけるマッピングされるターゲットノードとの間の変換関係であり、前記最終的なターゲット骨格は、ターゲット対象の骨格であり、前記初期ソース骨格に関連する第１動画駆動データを前記最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得ることは、
前記ターゲット対象における幾何学的メッシュ頂点の第１位置情報、前記第１動画駆動データ及び第１位置姿勢変換関係に基づいて、前記第２動画駆動データにおける、前記幾何学的メッシュ頂点に関する第２位置情報を得ることを含むことを特徴とする
項目１から９のうちいずれか一項に記載の方法。
（項目１１）
前記ターゲット対象における幾何学的メッシュ頂点の第１位置情報、前記第１動画駆動データ及び第１位置姿勢変換関係に基づいて、前記第２動画駆動データにおける、前記幾何学的メッシュ頂点に関する第２位置情報を得ることは、
前記幾何学的メッシュ頂点との距離が所定の条件を満たす少なくとも１つのターゲットノードをリファレンスノードとして取得し、前記リファレンスノードの影響重みを得ることと、
前記第１動画駆動データにおける、前記リファレンスノードに関する第４位置姿勢変換関係と前記リファレンスノードに対応する第１位置姿勢変換関係に基づいて、前記リファレンスノードに対応する第５位置姿勢変換関係を得ることと、
前記第１位置情報、各前記リファレンスノードに対応する第５位置姿勢変換関係及び前記影響重みを利用して、前記幾何学的メッシュ頂点の第２位置情報を得ることと、を含むことを特徴とする
項目１０に記載の方法。
（項目１２）
前記初期ソース骨格を取得することは、
ターゲット対象を含む画像に対して分類を行い、前記ターゲット対象のクラスを得、前記クラスに合致した骨格モデルを前記初期ソース骨格として選択することであって、前記最終的なターゲット骨格は、ターゲット対象の骨格である、ことを含み、
及び／又は、
初期ターゲット骨格を取得することは、
ターゲット対象を含む画像に対して輪郭抽出を行い、前記ターゲット対象の輪郭を得ることと、
前記輪郭を利用して、前記ターゲット対象に対して、三次元メッシュモデルを生成することと、
前記三次元メッシュモデルから、前記初期ターゲット骨格を抽出することと、を含むことを特徴とする
項目１から１１のうちいずれか一項に記載の方法。
（項目１３）
動画移行装置であって、
初期ソース骨格、初期ターゲット骨格及び前記初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得するように構成される取得モジュールと、
前記ノードマッピング関係に基づいて、前記初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得るように構成されるモデル更新モジュールであって、前記最終的なターゲット骨格におけるターゲットノードはいずれも、前記最終的なソース骨格におけるソースノードにマッピング可能である、モデル更新モジュールと、
前記初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得るように構成される動画移行モジュールと、を備える、動画移行装置。
（項目１４）
前記ノードマッピング関係は、前記初期ソース骨格と初期ターゲット骨格におけるノード間のマッピング関係を含み、前記モデル更新モジュールは更に、２つの骨格の間に、同一のノードにマッピングされる複数のノードがある場合、前記骨格のうちの１つのノードトポロジ構造を更新し、前記骨格にマッピング関係のないノードがある場合、前記マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新するように構成され、前記２つの骨格は、初期ソース骨格と、初期ターゲット骨格とを含み、更新された前記２つの骨格間のノードが一対一にマッピングされることを特徴とする
項目１３に記載の装置。
（項目１５）
前記モデル更新モジュールは更に、
前記マッピング関係のないノードを、マッピング関係のある隣接ノードにマージし、前記隣接ノードは、前記マッピング関係のないノードが位置する骨格における、前記マッピング関係のないノードの親ノード又は子ノードであり、
及び／又は、前記複数のノードが同一の骨格分岐に位置する場合、前記複数のノードが位置する第１骨格を更新し、前記複数のノードが異なる骨格分岐に位置する場合、前記複数のノードを含まない第２骨格を更新するように構成され、前記第１骨格と前記第２骨格とのうちの１つは、初期ソース骨格であり、もう１つは、初期ターゲット骨格であることを特徴とする
項目１４に記載の装置。
（項目１６）
前記モデル更新モジュールは更に、
前記第１骨格における複数のノードを１つの第１ノードとしてマージし、前記第１ノードは、マージ前の前記複数のノードのマッピング関係を維持し、
及び／又は、前記第１骨格から、前記複数のノードが位置する骨格分岐が合流する第２ノードを探し出し、前記第２骨格から、前記第２ノードにマッピングされる第３ノードを探し出し、前記複数のノードに対応するノードトポロジ構造に応じて、前記第３ノードに少なくとも１つの骨格分岐を新規追加するように構成され、前記複数のノードは、前記第３ノードに新規追加される骨格分岐及びオリジナル骨格分岐におけるノードと一対一にマッピングされることを特徴とする
項目１５に記載の装置。
（項目１７）
前記動画移行モジュールは更に、ルートソースノードからリーフソースノードへの順番に応じて、前記最終的なソース骨格における各ソースノードと前記最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得、前記第１動画駆動データと前記第１位置姿勢変換関係を利用して、前記最終的なターゲット骨格の第２動画駆動データを得るように構成されることを特徴とする
項目１３から１６のうちいずれか一項に記載の装置。
（項目１８）
前記動画移行モジュールは更に、前記最終的なソース骨格における各ソースノードに対して、前記ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得し、前記オフセットは、並進成分と回転成分とのうちの少なくとも１つを含み、前記ソースノードに対応するオフセットに基づいて、前記ソースノードの第１位置姿勢変換関係を得るように構成されることを特徴とする
項目１７に記載の装置。
（項目１９）
前記最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードはいずれも第１座標系の原点に並進し、前記第１位置姿勢変換関係は、前記ソースノードとマッピングされるターゲットノードとの、前記第１座標系における変換関係であり、前記ソースノードに対応するオフセットは、前記ソースノードの第１親ノードが位置合わせされ、かつ前記第１親ノードが第２座標系の原点である場合、前記ソースノードとマッピングされるターゲットノードの、前記第２座標系におけるオフセットであることを特徴とする
項目１８に記載の装置。
（項目２０）
メモリ及びプロセッサを備える電子機器であって、前記プロセッサは、前記メモリに記憶されているプログラム命令を実行して、項目１から１２のうちいずれか一項に記載の方法を実施する、電子機器。
（項目２１）
プロセッサにより実行されるときに、前記プロセッサに項目１から１２のうちいずれか一項に記載の方法を実施させるためのプログラム命令を記憶した、コンピュータ可読記憶媒体。
（項目２２）
プログラムコードを記憶したコンピュータ可読記憶媒体を含むコンピュータプログラム製品であって、前記プログラムコードに含まれる命令がコンピュータ機器のプロセッサにより実行されるときに、前記プロセッサに項目１から１２のうちいずれか一項に記載の方法を実施させる、コンピュータプログラム製品。

上記方案において、初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係に基づいて、初期ソース骨格及び／又は初期ターゲット骨格のトポロジ構造を更新することによって、最終的なターゲット骨格のターゲットノードをいずれも、最終的なソース骨格におけるソースノードにマッピングすることができる。初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、それにより最終的なターゲット骨格の動きを駆動するため、異なる骨格間の動画移行を実現する。また、移行待ちソース骨格とターゲット骨格の間の初期トポロジ構造が完全に一致する必要がないため、骨格間の動画移行の適用性を向上させる。

上記の一般的な説明及び後述する細部に関する説明は、例示及び説明のためのものに過ぎず、本願を限定するものではないことが理解されるべきである。

本願の実施例による動画移行方法のフローチャートである。本願の実施例による動画移行方法におけるマッピング関係の概略図である。本願の実施例による動画移行方法におけるマッピング関係の概略図である。本願の実施例による動画移行方法におけるマッピング関係の概略図である。本願の実施例による動画移行方法のフローチャートである。本願の実施例による動画移行装置の構造概略図である。本願の実施例による電子機器の構造概略図である。本願の実施例によるコンピュータ可読記憶媒体の構造概略図である。

ここでの図面は、明細書に引き入れて本明細書の一部を構成し、これらの図面は、本願に適合する実施例を示し、かつ、明細書とともに本願の技術的解決手段を解釈することに用いられる。

以下、明細書の図面を参照しながら、本願の実施例の方案を詳しく説明する。

下記説明において、本願の実施例を深く理解するために、特定システム構造、インタフェース、技術等の具体的な細部を提出し、これは、本願を解釈するためのものに過ぎず、本願を限定するためのものではない。

本明細書において、用語「及び／又は」は、関連対象の関連関係を説明するためのものであり、３通りの関係が存在することを表す。例えば、Ａ及び／又はＢは、Ａのみが存在すること、ＡとＢが同時に存在すること、Ｂのみが存在するという３つのケースを表す。なお、本明細書において、文字「／」は一般的には、前後関連対象が「又は」という関係であることを示す。また、本明細書における「複数」は、２つ又は２つより多いことを表す。また、本明細書において、用語「少なくとも１つ」は、複数のうちのいずれか１つ又は複数のうちの少なくとも２つの任意の組み合わせを表す。例えば、Ａ、Ｂ、Ｃのうちの少なくとも１つを含むことは、Ａ、Ｂ及びＣからなる集合から選ばれるいずれか１つ又は複数の要素を含むことを表す。

関連技術における動画移行技術は、既存の骨格モデルと新たな骨格モデルのトポロジ構造が完全に一致することが求められ、即ち、２つの骨格モデルのトポロジ構造が完全に一致した場合のみ、動画移行が実現可能である。しかしながら、新たな骨格モデルの形式が多様であり、各種の骨格モデルに対して、いずれも、トポロジ構造が全く同じである、動画データを有する骨格モデルを構築することができないことにより、関連技術における動画データを有する既存の骨格モデルの適用性が低い。

上記方案に存在する欠陥はいずれも、発明者らが実践及び鋭意検討した後に得られた結果である。従って、上記問題点の発見過程及び下記記述における本願が上記問題点に対して提出する解決手段は、いずれも発明者らが開示中に本願に与える寄与であるはずである。

図１を参照すると、図１は、本願の実施例による動画移行方法のフローチャートである。動画移行方法は、以下のステップを含んでもよい。

ステップＳ１１において、初期ソース骨格、初期ターゲット骨格及び初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得する。

ここで、初期ソース骨格は、動画駆動データを付帯する骨格であり、初期ターゲット骨格は、動画駆動データを付帯していない骨格である。ここで、本願の実施例による動画移行方法は、実際に、初期ソース骨格により付帯される動画駆動データを初期ターゲット骨格に移行し、初期ターゲット骨格を動画駆動データに応じて動きするように駆動することを目的とする。

初期ソース骨格と初期ターゲット骨格は、いずれも、複数のノードで構築されたものと見なされてもよい。初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係は、２つの骨格のノード間の対応関係である。

ステップＳ１２において、ノードマッピング関係に基づいて、初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得、ここで、最終的なターゲット骨格におけるターゲットノードはいずれも、最終的なソース骨格におけるソースノードにマッピング可能である。

初期ソース骨格のトポロジ構造と初期ターゲット骨格のトポロジ構造は、異なる可能性がある。例えば、初期ソース骨格に、初期ターゲット骨格とマッピング関係が構築されていない冗長ノードが存在し、初期ターゲット骨格にも同様に、初期ソース骨とマッピング関係が構築されていない冗長ノードが存在する可能性がある。この場合、初期ソース骨格と初期ターゲット骨格に対して更新を行わず、初期ソース骨格により付帯される動画駆動データを初期ターゲット骨格に直接的に移行すれば、初期ターゲット骨格の動画駆動効果と初期ソース骨格の動画駆動効果との差異が大きいことを引き起こし、元の動画移行の目的を実現できない可能性がある。

従って、本願の実施例は、両者間のノードマッピング関係に基づいて、初期ソース骨格及び／又は初期ターゲット骨格のトポロジ構造を更新することによって、最終的なターゲット骨格のターゲットノードをいずれも、最終的なソース骨格におけるソースノードにマッピングすることができる。

ステップＳ１３において、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得る。

ここで、最終的なソース骨格のトポロジ構造と初期ソース骨格のトポロジ構造が一致すれば、初期ソース骨格に関連する第１動画駆動データは、初期ソース骨格の動画駆動データと同じである。最終的なソース骨格のトポロジ構造が更新されていれば、最終的なソース骨格の第１動画駆動データは、初期ソース骨格の動画駆動データと異なる。無論、最終的なソース骨格の第１動画駆動データは、そのトポロジ構造の変化に応じて、変わってもよい。例えば、初期ソース骨格のソースノードＡとその子ノードＢが１つのノードＣに融合され、最終的なソース骨格のトポロジ構造を得る場合、最終的なソース骨格におけるノードＣの動画データは、ソースノードＡとその子ノードＢの動画データの融合であってもよい。無論、他の実施例において、２つのソースノードがマージされる場合、２つのソースノードにおける子ノードの動画駆動データを削除してもよい。

本願のいくつかの実施例において、初期ソース骨格を取得する方式は、ターゲット対象を含む画像に対して分類を行い、ターゲット対象のクラスを得、クラスに合致した骨格モデルを初期ソース骨格として選択することであってもよい。ここで、最終的なターゲット骨格は、ターゲット対象の骨格である。本願の実施例は、予測タグマッピングを用いてもよく、データセットタグマッピングを用いてもよい。両者の相違点は以下のとおりである。予測タグマッピングによるターゲット対象の分類結果がターゲット対象の予測骨格トポロジ構造タイプを含み、例えば、予測骨格トポロジ構造タイプは、２足、４足などを含む。つまり、予測タグマッピングのプロセスにおいて、主に、ターゲット対象の骨格トポロジ構造特徴を予測する。データセットタグマッピングによる分類結果は、入力画像におけるターゲット対象の具体的な種類を提供する必要がある。例えば、ターゲット対象は、猫、犬、パンダ、クマなどである。本願の実施例は、予測タグマッピングを用いる。応用プロセスにおいて、ターゲット対象がパンダであり、予測タグマッピングにより提供されるターゲット対象のクラスが４足であり、クラスに合致した骨格モデルを初期ソース骨格として選択する。選択された初期ソース骨格が４足のクマであれば、クマがパンダと異なるが、実際にほぼ同じの骨格トポロジ構造を有する。従って、クマの動画駆動データをパンダに移行しても、っ自然かつ合理的な形式で出現することもできる。つまり、予測タグマッピングによれば、完全に正確なターゲット対象のクラスを得ることができないが、最終的なターゲット骨格に対する駆動にも影響を及ぼさない。それと同時に、予測タグマッピングにおいて、ターゲット対象の具体的なクラスを更に取得しないため、計算コストを低減させる。

初期ターゲット骨格を取得する方式は、ターゲット対象を含む画像に対して輪郭抽出を行い、ターゲット対象の輪郭を得ることであってもよい。ここで、輪郭抽出の方式は、ターゲット分割を行い、明瞭なターゲット対象の輪郭をえることであってもよい。輪郭を利用して、ターゲット対象に対して、三次元メッシュモデルを生成する。一般的には、ターゲット対象の輪郭を多辺形に簡略化し、三角形分割を用いて、対応する二次元の三角形メッシュをえる。続いて、三角形法線方向に沿って二次元の三角形から、三次元メッシュモデルを押し出す。三次元メッシュモデルから、初期ターゲット骨格を抽出する。本願のいくつかの実施例において、平均曲率法を用いて、三次元メッシュから、初期ターゲット骨格を抽出してもよい。ここで、初期ターゲット骨格を抽出した後、抽出された初期ターゲット骨格が解剖構造を満たすかどうか、差が大きすぎるかどうかを判断する。例えば、骨格トポロジ構造において、連続した、長さの差が大きすぎる骨格に対して再サンプリングを行い、長さが均一である骨格トポロジ構造を得る。例えば、連続した３つの骨格ノードがＡ、Ｂ、Ｃであり、ここで、ノードＡとノードＢとの間の骨格長さが２メートルであり、ノードＢとノードとの間の骨格長さが０．１メートルであるため、ノードＡからＣの間の骨格に対して再サンプリングを行うことで、ノードＡとノードＢとの間の骨格長さを１．０５メートルにし、ノードＡとノードＢとの間の骨格長さを１．０５メートルにすることができる。無論、ノードＡからＣの間に新たなノードを追加することによって、隣接するノード間の骨格長さを短縮することもできる。同様に、隣接するノード間の骨格長さが短すぎて、一般的な解剖構造に合致しないと、そのうちの一部のノードをマージし、ノード数を減少させることによって、隣接するノード間の骨格構造を増加する。

本願のいくつかの実施例において、初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得する方式は、複数である。

例えば、初期ソース骨格と初期ターゲット骨格における各ノードが位置する骨格分岐の数を決定する。骨格分岐の数の多い順に応じて、初期ソース骨格と初期ターゲット骨格におけるノードに対して順にマッピングを行う。位置する骨格分岐の数が最も多いノードは、一般的には、ルートノードと呼ばれる。ここで、ノードが位置する骨格分岐の数を度数と呼ぶ。つまり、まず、２つの骨格における度数が大きいノード間のマッピング関係を構築し、更に、度数が小さいノード間のマッピング関係を構築する。又は、骨格分岐マッピング誤差値が最も小さいという原則を用いてマッピングを行ってもよい。ここで、初期ソース骨格と初期ターゲット骨格とのノード数が異なると、コストが最も低い最小の多対一のマッピングを用いる。例えば、多対一又はスキップマップングが発生したシーケンスにおいて、一対一の結合マッチングを実行するという方式で、マッピングを行ってもよい。

本願のいくつかの実施例において、以下の方式を用いて、マッピング関係が構築されていないノードに対して、マッピング関係を構築してもよい。

例えば、現在ソースノードに１つのみの子ノードがある場合、つまり、現在ソースノードが骨格分岐の合流点ではない場合、その子ノードのマッピング関係を参照してもよい。例えば、その子ノードとのマップング関係を有するターゲットノード間のマッピング関係を構築する。又は、現在ソースノードが骨格分岐の合流点である場合、複数の骨格分岐のノードに基づいてマージを行い、上限ノードを除去する。また例えば、上記如何なる条件も満たさない場合、初期ターゲット骨格のルートノードをマッピングすると黙認される。無論、本願のいくつかの実施例において、骨格分岐の数の多い順に応じて、両者間のマッピング関係を得た後、マップングのための対応するターゲットノードが存在しないソースノードについて、マップング関係を更に構築しなくてもよい。

ターゲット対象のクラスを取得し、クラスに合致した骨格モデルから、初期ソース骨格を選択することで、便利で迅速である。骨格分岐の数の多い順に応じて、初期骨格と初期ターゲット骨格におけるノードに対して順にマッピングを行うことで、マッピングの正確度を向上させることができる。

本願のいくつかの実施例において、最終的なターゲット骨格と最終的なソース骨格のノードトポロジ構造が一致し、及び／又は、最終的なターゲット骨格と最終的なソース骨格とのノードが一対一にマッピングされる。つまり、最終的なターゲット骨格と最終的なソース骨格のノードトポロジ構造は、２種の形式がある可能性がある。１つは、最終的なターゲット骨格と最終的なソース骨格のノードトポロジ構造が完全に一致すうことである。もう１つは、最終的なターゲット骨格におけるノードについて、これに対応する最終的なソース骨格におけるノードがいずれも存在するが、最終的なソース骨格において、マッピング関係が構築されていないいくつかのノードが存在することである。即ち、動画が移行された後に、最終的なターゲット骨格におけるノードに、いずれも対応する動画駆動データがあることを確保する必要がある。

本願のいくつかの実施例において、ノードマッピング関係は、初期ソース骨格と初期ターゲット骨格におけるノード間のマッピング関係を含む。

ノード対応関係に基づいて、初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることは、以下の少なくとも１つを含む。

１つ目は、２つの骨格の間に、同一のノードにマッピングされる複数のノードがある場合、そのうちの１つの骨格のノードトポロジ構造を更新することである。ここで、２つの骨格は、初期ソース骨格と初期ターゲット骨格を含み、更新された２つの骨格間のノードは、一対一にマッピングされる。骨格のノードトポロジ構造を更新することで、２つの骨格間の複数のノードが同一のノードにマッピングされることを２つの骨格間のノードの一対一のマッピングに調整し、更に、後続の最終的なターゲット骨格の動画駆動プロセスにおいて合理的ではない状況の出現を減少させる。

本願のいくつかの実施例において、そのうちの１つの骨格のノードトポロジ構造を更新することは、更に、複数のケースに分けられる。第１ケースにおいて、複数のノードが同一の骨格分岐に位置する場合、複数のノードが位置する第１骨格を更新する。ここで、第１骨格と第２骨格のうちの１つは、初期ソース骨格であり、もう１つは、ターゲット骨格である。複数のノードが位置する第１骨格を更新することで、２つの骨格間の複数のノードが同一のノードにマッチングされることを２つの骨格間のノードが一対一にマッピングされることに調整し、更に、後続の最終的なターゲット骨格の動画駆動プロセスにおいて合理的ではない状況の出現を減少させる。

本願のいくつかの実施例において、複数のノードが位置する第１骨格を更新する方式は、１つの骨格における複数のノードを１つの第１ノードとしてマージすることであってもよい。ここで、第１ノードは、マージ前の複数のノードのマッピング関係を維持する。そして、第１ノードの位置は、全てのマージされるノードの位置の平均値である。それと同時に、図２を参照すると、図２は、本願の実施例による動画移行方法におけるマッピング関係の概略図である。図２に示すように、初期ターゲット骨格における２番目のノード２０１と３番目のノード２０２が同時に初期ソース骨格における２番目のノード２１１にマッピングされる場合、初期ターゲット骨格における２番目のノード２０１と３番目のノード２０２を１つの第１ノードにマージする。ここで、第１ノードの位置は、初期ターゲット骨格における２番目のノード２０１と３番目のノード２０２の位置の平均値である。ここで、第１骨格が初期ソース骨格である場合、初期ソース骨格におけるノードが動画駆動データを付帯しているため、ノードがマージされた後、第１ノードの動画駆動データを取得する必要がある。この場合、マージされる全てのノードの動画駆動データをマージしてもよい。本願のいくつかの実施例において、動画駆動データは、一般的には、行列で表される。行列のマージは、行列乗算によって表されてもよい。即ち、動画駆動データを乗算することで、第１ノードの動画駆動データを得ることができる。第２ケースにおいて、複数のノードが異なる骨格分岐に位置する場合、複数のノードを含まない第２骨格を更新する。ここで、第１骨格と第２骨格のうちの１つは、初期ソース骨格であり、もう１つのターゲット骨格である。本願のいくつかの実施例において、第１骨格から、複数のノードが位置する骨格分岐が合流する第２ノードを探し出す。具体的には、親ノードを順にトラバースし、第２ノードを得る。第２骨格から、第２ノードにマッピングされる第３ノードを探し出す。続いて、複数のノードに対応するノードトポロジ構造を探し、第３ノードに少なくとも１つの骨格分岐を新規追加する。本願の実施例において、１つのノードの親ノードは、１つの骨格分岐において、該ノードに隣接し、かつ該ノードよりもルートノードに近いノードである。ここで、複数のノードは、第３ノードで新規追加される骨格分岐及びオリジナル骨格分岐におけるノードと一対一にマッピングされる。ここで、新規追加された骨格分岐は、オリジナル骨格分岐をコピーしたものであってもよい。コピーしたコンテンツは、動画データ、及び該ノードとその親ノードとの間の変換関係を含む。例えば、オリジナル骨格分岐に３つのノードが含まれば、新規追加された骨格分岐にも３つのノードが含まれ、かつ新規追加された骨格分岐における３つのノードの動画駆動データは、オリジナル骨格分岐における対応するノードの動画データをコピーすることで得られたものである。それと同時に、図３を参照すると、図３は、本願の実施例による動画移行方法におけるマッピング関係の概略図である。図３に示すように、左側のノードトポロジ構造は、初期ソース骨格のノードトポロジ構造であり、右側のノードトポロジ構造は、初期ターゲット骨格のノードトポロジ構造である。図３において、初期ターゲット骨格の１番目のノード３０１は、初期ソース骨格の１番目のノード３１１にマッピングされ、初期ターゲット骨格の２番目のノード３０２は、初期ソース骨格の２番目のノード３１２にマッピングされ、初期ターゲット骨格の２番目のノード３０２では、２つの分岐、即ち左分岐と右分岐を含み、左分岐における１番目のノード３０２１と右分岐における１番目のノード３０２２は、初期ソース骨格の３番目のノード３１３にマッピングされ、左分岐における２番目のノード３０２３と右分岐における２番目のノード３０２４は、初期ソース骨格の４番目のノード３１４にマッピングされる。従って、初期ターゲット骨格における２つのノードが初期ソース骨格の３番目のノード３１３にマッピングされ、且つこれら２つのノードが異なる分岐に属し、そして、初期ターゲット骨格における２つのノードが初期ソース骨格の４番目のノード３１４にマッピングされ、且つこれ２つのノードが異なる分岐に属することが発生した。ここで、これら２つの分岐は、初期ターゲット骨格の２番目のノード３０２で合流する。初期ソース骨格から、初期ターゲット骨格にマッピングされる２番目のノード３０２を２番目のノードとして探し出す。初期ターゲット骨格のこれら２つのノードに対応するノードトポロジ構造に応じて、初期ソース骨格の２番目のノードで、１つの骨格分岐を新規追加する。ここで、新規追加された１つの骨格分岐におけるノードは、２つである。この場合、初期ターゲット骨格における全てのノードは、いずれも、初期ソース骨格におけるノードに一対一に対応する。従って、このような方式で、ノードの一対一のマッピングを実現する場合、第１骨格のノードトポロジ構造も最大限に維持できる。

２つ目は、骨格にマッピング関係のないノードがある場合、マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新することである。ここで、２つの骨格は、初期ソース骨格と、初期ターゲット骨格とを含み、更新された２つの骨格間のノードが一対一にマッピングされる。マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新することで、マッピング関係のないノードを減少させ、更新された２つの骨格間のノードを一対一にマッピングさせることによって、後続で最終的なターゲット骨格の動画駆動プロセスにおいて合理的ではない状況の出現を減少させる。本願のいくつかの実施例において、マッピング関係のないノードを、マッピング関係のある隣接ノードにマージする。ここで、隣接ノードは、マッピング関係のないノードが位置する骨格における、マッピング関係のないノードの親ノード又は子ノードである。本願の実施例において、マッピング関係のないノードをその親ノードにマージする。図４を参照すると、図４は、本願の実施例による動画移行方法におけるマッピング関係の概略図である。図４に示すように、初期ターゲット骨格の１番目のノード４０１は、初期ソース骨格の１番目のノード４１１にマッピングされ、初期ターゲット骨格の２番目のノード４０２は、初期ソース骨格の３番目のノード４１３にマッピングされ、初期ターゲット骨格の３番目のノード４０３は、初期ソース骨格の４番目のノード４１４にマッピングされる。ここで、初期ソース骨格の２番目のノード４１２は、マッピング関係を有しない。初期ソース骨格の２番目のノード４１２をその親ノードにマージし、つまり、初期ソース骨格の１番目のノード４０１にマージしてもよい。無論、初期ソース骨格におけるノードマージは、いずれも、動画駆動データ間のマージを伴う。

本願のいくつかの実施例において、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得る前に、最終的なソース骨格と最終的なターゲット骨格との第１位置姿勢変換関係を決定する必要がある。実施時、ルートソースノードからリーフソースノードへの順番に応じて、最終的なソース骨格における各ソースノードと最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得る。上記実施例に記載したように、ルートノードは、位置する骨格分岐の数が最も多いノードであるため、ルートソースノードは、最終的なソース骨格におけるルートノードである。同様に、ルートターゲットノードは、最終的なターゲット骨格のルートノードである。ここで、リーフノードは、親ノードを有するが、子ノードを有しないノードである。リーフソースノードは、最終的なソース骨格におけるリーフノードであり、リーフターゲットノードは、最終的なターゲット骨格におけるリーフノードである。即ち、まず、ルートソースノード及びルートソースノードとマッピング関係のあるルートターゲットノードを位置合わせする。続いて、ルートソースノードに接続されるリーフソースノード及び該リーフソースノードとはマッピング関係のあるリーフターゲットノードを位置合わせする。このように類推して、最終的なターゲット骨格における全てのノードと最終的なソース骨格のノードがいずれも一対一に位置合わせされるまで継続する。ここで、該ソースノードについて、ターゲット骨格において対応するターゲットノードが存在しない場合、該ソースノードをスキップし、直接的に次のソースノードの位置合わせを行ってもよい。無論、他の実施例において、該ソースノードについて、ターゲット骨格において対応するターゲットノードが存在しない場合、該ソースノードをその隣接する親ノード又は子ノードにマージし、該親ノード又は子ノードのマッピング関係を維持し、マージされたソースノードと対応するターゲットノードを位置合わせする。ソースノードとターゲットノードとの位置合わせを行うことで、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることができ、それにより第１動画駆動データと第１位置姿勢変換関係を利用して、最終的なターゲット骨格の第２動画駆動データを得ることを実現する。

本願のいくつかの実施例において、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードはいずれも第１座標系の原点に並進する。続いて、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードを位置合わせする。本願のいくつかの実施例において、最終的なターゲット骨格のルートターゲットノードを直接的に第１座標系の原点としてもよい。第１位置姿勢変換関係は、ソースノードとマッピングされるターゲットノードの、第１座標系における変換関係である。最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードがいずれも第１座標系の原点に並進することで、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードとのオフセットを取得することができる。

本願のいくつかの実施例において、最終的なソース骨格における各ソースノードについて、ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得する。ここで、オフセットは、並進成分と回転成分を含む。並進成分にスケーリング成分が含まれる。続いて、ソースノードに対応するオフセットに基づいて、ソースノードの第１位置姿勢変換関係を得る。オフセットが並進成分と回転成分を含むことによって、取得された第１位置姿勢変換関係をより正確にする。ここで、ソースノードに対応するオフセットは、ソースノードの第１親ノードが位置合わせされ、かつ第１親ノードが第２座標系の原点である場合、ソースノードとマッピングされるターゲットノードの、第２座標系におけるオフセットである。ここで、第１座標系及び第２座標系が出現した。ルートソースノードとルートターゲットノードが既に第１座標系の原点に移動しており、即ち、第１座標系がルートターゲットノードを原点とした座標系である。ノードトポロジ構造において、ルートソースノードとルートターゲットノード以外、全てのリーフソースノードとリーフターゲットノードは、いずれも対応する親ノードを有する。且つ各リーフノードは多くとも１つの親ノードを有する。１つのリーフノードが複数の親ノードに対応するというケースが存在しない。第２座標系は、リーフノードの親ノードを座標系の原点とした座標系である。ここで、第１座標系は、ワールドスペースと見なされてもよく、第２座標系は、ローカルスペースと見なされてもよい。最終的なソース骨格におけるあるノードにとって、ワールドスペースは、ルートソースノードを原点とした座標系であり、ローカルスペースは、該ノードの親ノードを原点とした座標系である。

本願のいくつかの実施例において、位置合わせされた第１親ノードとルートソースノードとの第２位置姿勢変換関係、及びソースノードがマッピングされるターゲットノードの第２親ノードとルートターゲットノードとの第３位置姿勢変換関係を取得する。ソースノード及びマッピングされるターゲットノードの、第１座標系における位置姿勢と、第２位置姿勢変換関係と、第３位置姿勢変換関係とに基づいて、ソースノードに対応するオフセットを得る。ここで、ここの位置姿勢は、位置と回転を含む。

実施時、式（１）と（２）を用いて、最終的なソース骨格と最終的なターゲット骨格とのノードを位置合わせしてもよい。

ここで、

は、ソースノードｉの親ノードインデックスであり、

は、位置合わせされた第１親ノードとルートソースノードとの第２位置姿勢変換関係を表し、

は、ソースノードがマッピングされるターゲットノードの第２親ノードとルートターゲットノードとの第３位置姿勢変換関係を表し、

は、ソースノードｉの、第１座標系における位置姿勢であり、

は、ソースノードがマッピングされるターゲットノードの、第１座標系における位置姿勢であり、

は、括弧内のコンテンツを反転することであり、

は、第２座標系において、ソースノードとターゲットノードとの位置合わせのオフセットである。

は、ルートソースノードとルートターゲットノードとの位置合わせのオフセットである。上記式（１）と式（２）を交互に解く。ここで、公式（１）により求められれる

は、その子ノードの第２位置姿勢変換関係とする。即ち、上記式（２）により求められる

を式（１）に代入して

を求め、続いて、式（１）により求められる

を式（２）に代入して次のノードの

を求めることによって、式（１）と式（２）を交互に解くことを実現させる。

ソースノードに対応するオフセットに基づいて、ソースノードの第１位置姿勢変換関係を得る。本願のいくつかの実施例において、ソースノード及びソースノードの上位ノードのそれぞれに対応するオフセットに基づいて、ソースノードの第１位置姿勢変換関係を得る。ここで、ソースノードの上位ノードは、最終的なソース骨格におけるソースノードの第１親ノード、ルートソースノード及び第１親ノードとルートソースノードとの間のノードである。ここで、オフセットはいずれも行列で表されてもよい。本願のいくつかの実施例において、ソースノード及びソースノードの上位ノードのそれぞれに対応するオフセットに対して行列乗算を行うことで、ソースノードの第１位置姿勢変換関係を得ることができる。

本願のいくつかの実施例において、最終的なターゲット骨格の第２動画駆動データは、第１動画駆動データ及び第１位置姿勢変換関係に基づいて得られたものである。上記実施例に記載したように、第１位置姿勢変換関係は、最終的なソース骨格のソースノードと最終的なターゲット骨格におけるマッピングされるターゲットノードとの間の変換関係である。ここで、最終的なターゲット骨格は、ターゲット対象の骨格である。ここで、第１動画駆動データは、最終的なソース骨格と初期ソース骨格とのトポロジ構造差異に基づいて、初期ソース骨格のオリジナル動画データに対して調整を行うことで得られたものである。最終的なソース骨格のトポロジ構造と初期ソース骨格のトポロジ構造が一致する場合、初期ソース骨格に関連する第１動画駆動データは、初期ソース骨格の動画駆動データと同じである。最終的なソース骨格のトポロジ構造と初期ソース骨格が異なる場合、ソース骨格が更新されていても、最終的なソース骨格の第１動画駆動データは、初期ソース骨格の動画駆動データと異なる。ここで、最終的なソース骨格の第１動画駆動データは、最終的なソース骨格と初期ソース骨格とのトポロジ構造差異に基づいて決定されてもよい。つまり、最終的なソース骨格の第１動画駆動データは、そのトポロジ構造の変化に応じて、変わってもよい。例えば、初期ソース骨格のソースノードＡとその子ノードＢが１つのノードＣに融合され、最終的なソース骨格のトポロジ構造を得る場合、最終的なソース骨格におけるノードＣの動画データは、ソースノードＡとその子ノードＢの動画データの融合であってもよい。無論、他の実施例において、２つのソースノードがマージされる場合、２つのソースノードにおける子ノードの動画駆動データを削除してもよい。初期ソース骨格に関連する第１動画駆動データを得る方式について、ここで限定しない。

ここで、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得る方式は、
ターゲット対象における幾何学的メッシュ頂点の第１位置情報、第１動画駆動データ及び第１位置姿勢変換関係に基づいて、第２動画駆動データにおける、幾何学的メッシュ頂点に関する第２位置情報を得ることを含む。ここで、第１位置情報、第１動画駆動データ及び第１位置姿勢変換関係は、行列で表されてもよい。行列乗算により、幾何学的メッシュ頂点の第２位置情報を得ることができる。ターゲット対象における幾何学的メッシュ頂点の第１位置情報、第１動画駆動データ及び第１位置姿勢変換関係を結合することで、第２動画駆動データにおける、幾何学的メッシュ頂点に関する第２位置情報を得ることができ、プロセスが便利である。

ここで、初期ソース骨格に関連する第１動画駆動データを利用して、最終的なターゲット骨格の動きを駆動する前に、骨格スキニングを行う必要がある。ここで、骨格スキニングの一般的な方法が多く、ここで一々列挙しない。本願のいくつかの実施例において、１つの幾何学的メッシュ頂点が複数のターゲットノードによる影響を受ける場合、幾何学的メッシュ頂点に対する各ターゲットノードの影響重みを計算する必要がある。ここで、線形ハイブリッドスキニング方法を用いてもよい。標準的な線形ハイブリッドスキニングにおいて、作成ツールを用いて、各頂点に対して、頂点に影響を及ぼすことができる１組のターゲットノードに対応する重みを割り当てる。無論、他の実施例において、ヒートバランス方法で重みを決定してもよい。例えば、頂点に影響を及ぼすノード温度を１とし、頂点に影響を及ぼさないノード温度を０とし、続いて、メッシュ表面のヒートバランスの問題を解決する。

本願のいくつかの実施例において、幾何学的メッシュ頂点との距離が所定の条件を満たす少なくとも１つのターゲットノードをリファレンスノードとして取得し、リファレンスノードの影響重みを得る。実施時、１つの頂点が複数のノードによる影響を受ける可能性があるが、現在のグラフィックスプロセッサ（ＧｒａｐｈｉｃｓＰｒｏｃｅｓｓｉｎｇＵｎｉｔ：ＧＰＵ）により最終的にサポートされる、単一の頂点に影響を及ぼすノード数が４であり、即ち、１つの頂点は多くとも４つのノードによる影響を受ける。ここで、これら４つのノードの影響重みの和は、１である。頂点に影響を及ぼすリファレンスノードの数が４よりも大きいことが算出された場合、各影響重みを順序付け、最も高い４つの重みに対応するノードをリファレンスノードとして選択し、これら４つのリファレンスノードの影響重みを再計算し、これら４つのリファレンスノードの影響重みの和を１にする。

ここで、式（３）を用いて、メッシュ表面のヒートバランスの問題を解決することができる。

ここで、ノードｉが所定の条件を満たす場合、ｐｉは１に等しく、そうでなければ、０である。

は、離散表面におけるラプラス演算子である。Ｈは、対角行列である。ここで、Ｈは、一般的にはｃ／ｄに等しく、ｃの値は、０．２２又は１などであってもよく、ｄは、ノードｉと頂点との距離であり、Ｈの目的は、重み係数と、骨格と頂点との距離と、を反比例にすることである。このような方式で、リファレンスノードの重みを得ることができる。

第１動画駆動データにおける、リファレンスノードに関する第４位置姿勢変換関係とリファレンスノードに対応する第１位置姿勢変換関係に基づいて、リファレンスノードに対応する第５位置姿勢変換関係を得る。続いて、第１位置姿勢変換関係及びソースノードの第４位置姿勢変換関係に基づいて、リファレンスノードの第５位置姿勢変換関係を得る。ここで、ここのリファレンスノードに関する第４位置姿勢変換関係は、動画キーフレームに付帯されているソース骨格の各ノードの変換関係であってもよく、例えば、ソースノードと其親ノードとの間の変換関係であってもよい。ソースノードとルートソースノードとの全ての隣接ノード間の変換関係を乗算し、ソースノードとターゲットノードとの第１位置姿勢変換関係を結び付けることで、ターゲットノードの第５位置姿勢変換関係を得ることができる。第４位置姿勢変換関係は、並進及び／又は回転を含む。

第１位置情報、各リファレンスノードに対応する第５位置姿勢変換関係及び影響重みを利用して、幾何学的メッシュ頂点の第２位置情報を得る。頂点に対するリファレンスノードの影響重みを考慮することで、取得された幾何学的メッシュ頂点の第２位置情報をより正確にする。

式（４）で幾何学的メッシュ頂点の第２位置情報Ｖ_２を決定してもよい。

は、リファレンスノードｊの影響重みであり、

は、リファレンスノードｊの第５位置姿勢変換関係であり、Ｖ_１は、幾何学的メッシュ頂点の、静止姿勢時の第１位置情報である。

本願の実施例による動画移行方法をより良く理解するために、以下の例を参照する。図５を参照すると、図５は、本願の実施例による動画移行方法のフローチャートである。

図５に示すように、本願の実施例による動画移行方法は、以下のステップを含む。

ステップＳ２１において、ターゲット対象を含む画像を取得する。

ここで、取得方式は、製図ツール、３Ｄモデリングツール又はカメラによる撮影、他の機器による通信伝送により得られることなどであってもよい。ターゲット対象を含む画像は、２Ｄ画像であってもよく、３Ｄ画像であってもよい。ここで限定しない。

ステップＳ２２において、ターゲット対象輪郭を抽出する。

ここで、ターゲット対象輪郭を抽出する方式は多く、例えば、ターゲット分割、又は、まずターゲット検出を行い、次にターゲット抽出を行うなどの方式であってもよい。画像から必要なターゲット対象を抽出できる如何なる方式であってもよく、ここで限定しない。

ステップＳ２３において、三角形分割を行う。

ターゲット対象に対して三角形分割を行うことで、二次元の三角形メッシュを得ることができる。それにより、二次元の三角形メッシュを利用して三次元メッシュモデルを得ることができる。実現方式は、上記実施例における三次元メッシュの取得方式を参照する。

ステップＳ２４において、初期ターゲット骨格を抽出する。

ここで、三次元メッシュモデルから初期ターゲット骨格を抽出する方式は、上記実施例における記述を参照する。

ステップＳ２５において、ターゲット対象を含む画像に対して分類を行う。

ここで、ターゲット対象を含む画像に対して分類を行う方式は、上記実施例における記述を参照する。ここで、動画移行にかかる時間を節約するために、ステップＳ２５とステップＳ２２は同期して実行してもよい。

ステップＳ２６において、初期ソース骨格を選択する。

ここで、ターゲット対象を含む画像に対して分類を行うことで、ターゲット対象のクラスを得、該クラスから、初期ソース骨格を選択することができる。

ステップＳ２７において、骨格マッピング及び骨格位置合わせを行う。

ここで、骨格マッピングは、主に、初期ソース骨格と初期ターゲット骨格とのマッピング関係を取得するためのものであり、骨格位置合わせは、両者間のマッピング関係に基づいて、初期ソース骨格及び／又は初期ターゲット骨格を更新することである。

ステップＳ２８において、骨格スキニングを行う。

ここで、骨格スキニングは、主に、幾何学的メッシュ頂点とターゲットノードとの関係を取得するためのものである。幾何学的メッシュ頂点とターゲットノードとの影響重みを決定する。影響重みの取得の実現プロセスは、上記実施例における記述を参照する。

ステップＳ２９において、第１動画駆動データを取得する。

キーフレームに第１動画駆動データが記憶されている。キーフレームにおけるデータを読み取ることで、第１動画駆動データを得ることができる。ここで、ソース骨格のトポロジ構造が変更した場合、動画駆動データを変更する必要もある。動画駆動データの方式は、上記実施例に記載したとおりである。

ステップＳ３０において、動画移行後の各幾何学的メッシュ頂点の位置情報を決定する。

ここで、ここの位置情報は、上記第２位置情報である。ここで、動画移行後の各幾何学的メッシュ頂点の第２位置情報の取得プロセスは、上記実施例における記述を参照する。

具体的な実施形態の上記方法において、各ステップの記述順番は、厳しい実行順番を意味して実施プロセスを何ら限定するものではなく、各ステップの具体的な実行順番はその機能及び可能な内在的論理により決まることは、当業者であれば理解すべきである。

動画移行方法の実行主体は、動画移行装置であってもよい。例えば、動画移行方法は、端末機器、サーバ又は他の処理機器により実行されてもよい。ここで、端末機器は、ユーザ機器（ＵｓｅｒＥｑｕｉｐｍｅｎｔ：ＵＥ）、携帯機器、ユーザ端末、端末、セルラ電話、コードレス電話、パーソナルデジタルアシスタント（ＰｅｒｓｏｎａｌＤｉｇｉｔａｌＡｓｓｉｓｔａｎｔ：ＰＤＡ）、ハンドヘルドデバイス、コンピューティングデバイス、車載機器、ウェアブル機器及び自動運転自動車、測位及びマッピング需要を有するロボット、レジストレーション需要を有する医療イメージングシステム、拡張実現又は仮想現実用のメガネ、ヘルメットなどの製品などであってもよい。いくつかの可能な実現形態において、該動画移行方法は、プロセッサによりメモリに記憶されているコンピュータ可読命令を呼び出すことで実現してもよい。

図６を参照すると、図６は、本願の実施例による動画移行装置の構造概略図である。動画移行装置３０は、取得モジュール３１と、モデル更新モジュール３２と、動画移行モジュール３３とを備える。取得モジュール３１は、初期ソース骨格、初期ターゲット骨格及び初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得するように構成され、モデル更新モジュール３２は、ノードマッピング関係に基づいて、初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得るように構成され、ここで、最終的なターゲット骨格におけるターゲットノードはいずれも、最終的なソース骨格におけるソースノードにマッピング可能であり、動画移行モジュール３３は、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得るように構成される。

本願のいくつかの実施例において、最終的なターゲット骨格と最終的なソース骨格のノードトポロジ構造が一致し、及び／又は、最終的なターゲット骨格と最終的なソース骨格とのノードが一対一にマッピングされる。

上記方案において、最終的なターゲット骨格におけるノードについて、最終的なソース骨格においてこれとマッピングしたノードがあり、且つマッピング関係が一対一マッピングであり、１つのターゲットノードが複数のソースノードに対応するというケースが存在しないことを確保することで、後続の最終的なターゲット骨格におけるノードに、いずれも対応する動画駆動データがあり、且つ各ノード上での動画駆動データの数が１である。１つのノードが複数の動画駆動データを有するケースが存在しないことにより、最終的なターゲット骨格の動画駆動をより自然にする。

本願のいくつかの実施例において、ノードマッピング関係は、初期ソース骨格と初期ターゲット骨格におけるノード間のマッピング関係を含み、モデル更新モジュール３２は更に、２つの骨格の間に、同一のノードにマッピングされる複数のノードがある場合、そのうちの１つの骨格のノードトポロジ構造を更新し、モデル更新モジュール３２は更に、骨格にマッピング関係のないノードがある場合、マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新するように構成され、ここで、２つの骨格は、初期ソース骨格と、初期ターゲット骨格とを含み、更新された２つの骨格間のノードが一対一にマッピングされる。

上記方案において、骨格のノードトポロジ構造を更新することで、２つの骨格間の複数のノードが同一のノードにマッピングされることを２つの骨格間のノードの一対一のマッピングに調整し、更に、後続の最終的なターゲット骨格の動画駆動プロセスにおいて合理的ではない状況の出現を減少させる。

本願のいくつかの実施例において、モデル更新モジュール３２は、マッピング関係のないノードを、マッピング関係のある隣接ノードにマージするように構成され、ここで、隣接ノードは、マッピング関係のないノードが位置する骨格における、マッピング関係のないノードの親ノード又は子ノードであり、及び／又は、モデル更新モジュール３２は、複数のノードが同一の骨格分岐に位置する場合、複数のノードが位置する第１骨格を更新し、複数のノードが異なる骨格分岐に位置する場合、複数のノードを含まない第２骨格を更新するように構成され、ここで、第１骨格と第２骨格とのうちの１つは、初期ソース骨格であり、もう１つは、初期ターゲット骨格である。

上記方案において、複数のノードが位置する第１骨格を更新することで、２つの骨格間の複数のノードが同一のノードにマッピングされることを２つの骨格間のノードが一対一にマッピングされることに調整し、更に、後続の最終的なターゲット骨格の動画駆動プロセスにおいて合理的ではない状況の出現を減少させる。

本願のいくつかの実施例において、モデル更新モジュール３２は更に、第１骨格における複数のノードを１つの第１ノードとしてマージするように構成され、ここで、第１ノードは、マージ前の複数のノードのマッピング関係を維持し、及び／又は、モデル更新モジュール３２は更に、第１骨格から、複数のノードが位置する骨格分岐が合流する第２ノードを探し出し、第２骨格から、第２ノードにマッピングされる第３ノードを探し出し、複数のノードに対応するノードトポロジ構造に応じて、第３ノードに少なくとも１つの骨格分岐を新規追加するように構成され、ここで、複数のノードは、第３ノードに新規追加される骨格分岐及びオリジナル骨格分岐におけるノードと一対一にマッピングされる。

上記方案において、このような方式で、ノードの一対一のマッピングを実現する場合、第１骨格のノードトポロジ構造も最大限に維持できる。

本願のいくつかの実施例において、動画移行モジュール３３は更に、ルートソースノードからリーフソースノードへの順番に応じて、最終的なソース骨格における各ソースノードと最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得、第１動画駆動データと第１位置姿勢変換関係を利用して、最終的なターゲット骨格の第２動画駆動データを得るように構成される。

上記方案において、ソースノードとターゲットノードとの位置合わせを行うことで、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることができ、それにより第１動画駆動データと第１位置姿勢変換関係を利用して、最終的なターゲット骨格の第２動画駆動データを得ることを実現する。

本願のいくつかの実施例において、動画移行モジュール３３は更に、最終的なソース骨格における各ソースノードに対して、ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得し、ここで、オフセットは、並進成分と回転成分とのうちの少なくとも１つを含み、ソースノードに対応するオフセットに基づいて、ソースノードの第１位置姿勢変換関係を得るように構成される。

上記方案において、オフセットが並進成分と回転成分を含むことによって、取得された第１位置姿勢変換関係をより正確にする。

本願のいくつかの実施例において、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードはいずれも第１座標系の原点に並進し、第１位置姿勢変換関係は、ソースノードとマッピングされるターゲットノードとの、第１座標系における変換関係であり、ソースノードに対応するオフセットは、ソースノードの第１親ノードが位置合わせされ、かつ第１親ノードが第２座標系の原点である場合、ソースノードとマッピングされるターゲットノードの、第２座標系におけるオフセットである。

上記方案において、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードがいずれも第１座標系の原点に並進することで、最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードとのオフセットを取得することができる。

本願のいくつかの実施例において、動画移行モジュール３３は更に、位置合わせされた第１親ノードとルートソースノードとの第２位置姿勢変換関係、及びソースノードのマッピングされるターゲットノードの第２親ノードとルートターゲットノードとの第３位置姿勢変換関係を取得し、ソースノード及びマッピングされるターゲットノードの、第１座標系における位置姿勢と、第２位置姿勢変換関係と、第３位置姿勢変換関係とに基づいて、ソースノードに対応するオフセットを得、及び／又は、ソースノード及びソースノードの上位ノードのそれぞれに対応するオフセットに基づいて、ソースノードの第１位置姿勢変換関係を得るように構成され、ここで、ソースノードの上位ノードは、最終的なソース骨格におけるソースノードの第１親ノード、ルートソースノード及び第１親ノードとルートソースノードとの間のノードである。

上記方案において、ソースノード及びソースノードの上位ノードに対応するオフセットを結合することで、ソースノードの、第１座標系におけるマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることができる。

本願のいくつかの実施例において、第１動画駆動データは、最終的なソース骨格と初期ソース骨格とのトポロジ構造差異に基づいて、初期ソース骨格のオリジナル動画データに対して調整を行うことで得られたものであり、及び／又は、最終的なターゲット骨格の第２動画駆動データは、第１動画駆動データ及び第１位置姿勢変換関係に基づいて得られたものであり、ここで、第１位置姿勢変換関係は、最終的なソース骨格のソースノードと最終的なターゲット骨格におけるマッピングされるターゲットノードとの間の変換関係であり、最終的なターゲット骨格は、ターゲット対象の骨格であり、動画移行モジュール３３は、ターゲット対象における幾何学的メッシュ頂点の第１位置情報、第１動画駆動データ及び第１位置姿勢変換関係に基づいて、第２動画駆動データにおける、幾何学的メッシュ頂点に関する第２位置情報を得るように構成される。

上記方案において、ターゲット対象における幾何学的メッシュ頂点の第１位置情報、第１動画駆動データ及び第１位置姿勢変換関係を結合することで、第２動画駆動データにおける、幾何学的メッシュ頂点に関する第２位置情報を得ることができ、プロセスが便利である。

本願のいくつかの実施例において、動画移行モジュール３３は更に、幾何学的メッシュ頂点との距離が所定の条件を満たす少なくとも１つのターゲットノードをリファレンスノードとして取得し、リファレンスノードの影響重みを得、第１動画駆動データにおける、リファレンスノードに関する第４位置姿勢変換関係とリファレンスノードに対応する第１位置姿勢変換関係に基づいて、リファレンスノードに対応する第５位置姿勢変換関係を得、第１位置情報、各リファレンスノードに対応する第５位置姿勢変換関係及び影響重みを利用して、幾何学的メッシュ頂点の第２位置情報を得るように構成される。

上記方案において、頂点に対するリファレンスノードの影響重みを考慮することで、取得された幾何学的メッシュ頂点の第２位置情報をより正確にする。

本願のいくつかの実施例において、取得モジュール３１は更に、ターゲット対象を含む画像に対して分類を行い、ターゲット対象のクラスを得、クラスに合致した骨格モデルを初期ソース骨格として選択するように構成され、ここで、最終的なターゲット骨格は、ターゲット対象の骨格であり、及び／又は、取得モジュール３１は更に、ターゲット対象を含む画像に対して輪郭抽出を行い、ターゲット対象の輪郭を得、輪郭を利用して、ターゲット対象に対して、三次元メッシュモデルを生成し、三次元メッシュモデルから、初期ターゲット骨格を抽出するように構成され、及び／又は、取得モジュール３１は更に、初期ソース骨格と初期ターゲット骨格における各ノードが位置する骨格分岐の数を決定し、骨格分岐の数の多い順に応じて、初期ソース骨格と初期ターゲット骨格におけるノードに対して順にマッピングを行い、ノードマッピング関係を得るように構成される。

上記方案において、ターゲット対象のクラスを取得し、クラスに合致した骨格モデルから、初期ソース骨格を選択することで、便利で迅速である。骨格分岐の数の多い順に応じて、初期骨格と初期ターゲット骨格におけるノードに対して順にマッピングを行うことで、マッピングの正確度を向上させることができる。

図７を参照すると、図７は、本願の実施例による電子機器の構造概略図である。電子機器４０は、メモリ４１と、プロセッサ４２と、を備え、プロセッサ４２は、メモリ４１に記憶されているプログラム命令を実行し、上記動画移行方法の実施例におけるステップを実施する。１つの具体的な実施シーンにおいて、電子機器４０は、マイクロコンピュータ、サーバを含んでもよいが、それらに限らない。なお、電子機器４０は、ノートパソコン、タブレットなどの携帯機器を更に含んでもよい。ここで限定しない。

プロセッサ４２は、その自体及びメモリ４１を制御して、上記動画移行方法の実施例におけるステップを実施する。プロセッサ４２は、中央演算装置（ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ：ＣＰＵ）と呼ばれてもよい。プロセッサ４２は、信号処理能力を持つ集積回路チップであってもよい。プロセッサ４２は、汎用プロセッサ、デジタル信号プロセッサ（ＤｉｇｉｔａｌＳｉｇｎａｌＰｒｏｃｅｓｓｏｒ：ＤＳＰ）、特定用途向け集積回路（ＡｐｐｌｉｃａｔｉｏｎＳｐｅｃｉｆｉｃＩｎｔｅｇｒａｔｅｄＣｉｒｃｕｉｔ：ＡＳＩＣ）、フィールドプログラマブルゲートアレイ（Ｆｉｅｌｄ－ＰｒｏｇｒａｍｍａｂｌｅＧａｔｅＡｒｒａｙ：ＦＰＧＡ）又は他のプログラマブルゲートアレイ、ディスクリートゲート又はトランジスタ論理デバイス、ディスクリートハードウェアコンポーネントであってもよい。汎用プロセッサは、マイクロプロセッサであってもよく、該プロセッサは、如何なる従来のプロセッサなどであってもよい。なお、プロセッサ４２は、集積回路チップにより共同で実現してもよい。

図８を参照すると、図８は、本願の実施例によるコンピュータ可読記憶媒体の構造概略図である。コンピュータ可読記憶媒体５０に、プロセッサにより実行可能なプログラム命令５０１が記憶されており、プログラム命令５０１は、プロセッサに上記動画移行方法の実施例におけるステップを実現させる。

本願の実施例は、コンピュータプログラムを更に提供する。前記コンピュータプログラムは、コンピュータ可読コードを含み、前記コンピュータ可読コードが電子機器において実行される時、プロセッサに上記動画移行方法のステップを実行させる。具体的には、上記方法の実施例を参照してもよい。

該コンピュータプログラム製品は、具体的には、ハードウェア、ソフトウェア又はその組み合わせにより実現してもよい。１つの選択可能な実施例において、前記コンピュータプログラム製品は、具体的には、コンピュータ記憶媒体として具現化され、もう１つの選択可能な実施例において、コンピュータプログラム製品は、例えば、ソフトウェア開発キット（ＳｏｆｔｗａｒｅＤｅｖｅｌｏｐｍｅｎｔＫｉｔ：ＳＤＫ）等のようなソフトウェア製品として具現化される。

幾つかの実施例において、本願の実施例が提供する装置が有する機能又は含むモジュールは、上記方法の実施例に記載の方法を実行するように構成されてもよく、その具体的な実現は、上記方法の実施例の記述を参照することができる。

上記各実施例に対する説明は、各実施例間の相違を強調し、その同じまたは類似な所は相互に参照されることができる。

本願で提供する幾つかの実施例で開示したシステム、装置及び方法は、他の方式によって実現できることを理解すべきである。以上に記載した装置の実施例はただ例示的なものであり、例えば、前記ユニットの分割はただロジック機能の分割で、実際に実現する時は他の分割方式によってもよい。また例えば、複数のユニット又はコンポーネントを組み合わせてもよいし、別のシステムに組み込んでもよい。又は若干の特徴を無視してもよいし、実行しなくてもよい。また、示したか或いは検討した相互間の結合又は直接的な結合又は通信接続は、幾つかの通信インタフェース、装置又はユニットによる間接的な結合又は通信接続であってもよく、電気的、機械的または他の形態であってもよい。

また、本願の各実施例における各機能ユニットは１つの処理ユニットに集積されてもよいし、各ユニットが物理的に別個のものとして存在してもよいし、２つ又は２つ以上のユニットが１つのユニットに集積されてもよい。上記集積したユニットは、ハードウェアの形式で実現してもよく、ソフトウェア機能ユニットの形式で実現してもよい。

集積したユニットは、ソフトウェア機能ユニットの形で実現され、かつ独立した製品として販売または使用されるとき、コンピュータにより読み取り可能な記憶媒体内に記憶されてもよいことに留意されたい。このような理解のもと、本願の実施例の技術的解決手段は、本質的に、又は、従来技術に対して貢献をもたらした部分又は該技術的解決手段の一部は、ソフトウェア製品の形式で具現することができ、このようなコンピュータソフトウェア製品は、記憶媒体に記憶しても良く、また、１台のコンピュータ機器（パソコン、サーバ、又はネットワーク装置など）又はプロセッサ（ｐｒｏｃｅｓｓｏｒ）に、本願の各実施例に記載の方法の全部又は一部のステップを実行させるための若干の命令を含む。前記の記憶媒体は、ＵＳＢメモリ、リムーバブルハードディスク、読み出し専用メモリ（ＲＯＭ：Ｒｅａｄ－ＯｎｌｙＭｅｍｏｒｙ）、ランダムアクセスメモリ（ＲＡＭ：ＲａｎｄｏｍＡｃｃｅｓｓＭｅｍｏｒｙ）、磁気ディスク又は光ディスクなどの、プログラムコードを記憶できる種々の媒体を含む。

本願の実施例は、動画移行方法及び装置、機器、記憶媒体並びにコンピュータプログラム製品を提供する。動画移行方法は、初期ソース骨格、初期ターゲット骨格及び初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得することと、ノードマッピング関係に基づいて、初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることであって、最終的なターゲット骨格におけるターゲットノードはいずれも、最終的なソース骨格におけるソースノードにマッピング可能である、ことと、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、最終的なターゲット骨格の第２動画駆動データを得ることと、を含む。本願の実施例によれば、初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、それにより最終的なターゲット骨格の動きを駆動することができ、異なる骨格間の動画移行を実現する。また、移行待ちソース骨格とターゲット骨格の間の初期トポロジ構造が完全に一致する必要がないため、骨格間の動画移行の適用性を向上させる。

Claims

動画移行の方法であって、前記方法は、
初期ソース骨格、初期ターゲット骨格及び初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得することであって、前記ノードマッピング関係は、前記初期ソース骨格と初期ターゲット骨格におけるノード間のマッピング関係を含む、ことと、
前記ノードマッピング関係に基づいて、前記初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることであって、前記最終的なターゲット骨格におけるターゲットノードはいずれも、前記最終的なソース骨格におけるソースノードにマッピング可能である、ことと、
前記初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得ることと
を含み、
前記ノードマッピング関係に基づいて、前記初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることは、２つの骨格の間に、同一のノードにマッピングされる複数のノードがある場合、前記骨格のうちの１つのノードトポロジ構造を更新することを含み、
前記骨格のうちの１つのノードトポロジ構造を更新することは、
前記複数のノードが異なる骨格分岐に位置する場合、前記複数のノードが位置する第１骨格から、前記複数のノードが位置する骨格分岐が合流する第２ノードを探し出し、前記複数のノードを含まない第２骨格から、前記第２ノードにマッピングされる第３ノードを探し出すことであって、前記第１骨格と前記第２骨格とのうちの１つは、初期ソース骨格であり、もう１つは、初期ターゲット骨格である、ことと、
前記複数のノードに対応するノードトポロジ構造に応じて、前記第３ノードに少なくとも１つの骨格分岐を新規追加することであって、前記複数のノードは、前記第３ノードに新規追加される骨格分岐及びオリジナル骨格分岐におけるノードと一対一にマッピングされる、ことと
を含む、方法。
前記最終的なターゲット骨格と前記最終的なソース骨格のノードトポロジ構造が一致し、及び／又は、前記最終的なターゲット骨格と前記最終的なソース骨格とのノードが一対一にマッピングされ、前記ノードマッピング関係に基づいて、前記初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得ることは、
前記骨格にマッピング関係のないノードがある場合、前記マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新することをさらに含み、
前記２つの骨格は、初期ソース骨格と、初期ターゲット骨格とを含み、更新された前記２つの骨格間のノードは、一対一にマッピングされる、請求項１に記載の方法。
前記マッピング関係のないノードが位置する骨格のノードトポロジ構造を更新することは、
前記マッピング関係のないノードを、マッピング関係のある隣接ノードにマージすることであって、前記隣接ノードは、前記マッピング関係のないノードが位置する骨格における、前記マッピング関係のないノードの親ノード又は子ノードである、ことを含み、
及び／又は、
前記骨格のうちの１つのノードトポロジ構造を更新することは、
前記複数のノードが同一の骨格分岐に位置する場合、前記第１骨格を更新することをさらに含む、請求項２に記載の方法。
前記複数のノードが位置する第１骨格を更新することは、
前記第１骨格における複数のノードを１つの第１ノードとしてマージすることであって、前記第１ノードは、マージ前の前記複数のノードのマッピング関係を維持する、ことを含む、請求項３に記載の方法。
前記初期ソース骨格に関連する第１動画駆動データを前記最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得る前に、前記方法は、
ルートソースノードからリーフソースノードへの順番に応じて、前記最終的なソース骨格における各ソースノードと前記最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることをさらに含み、
前記初期ソース骨格に関連する第１動画駆動データを前記最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得ることは、
前記第１動画駆動データと前記第１位置姿勢変換関係を利用して、前記最終的なターゲット骨格の第２動画駆動データを得ることを含む、請求項１～４のうちいずれか一項に記載の方法。
前記最終的なソース骨格における各ソースノードと前記最終的なターゲット骨格における対応してマッピングされるターゲットノードをそれぞれ位置合わせし、各ソースノードとマッピングされるターゲットノードとの第１位置姿勢変換関係を得ることは、
前記最終的なソース骨格における各ソースノードに対して、前記ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得することであって、前記オフセットは、並進成分と回転成分とのうちの少なくとも１つを含む、ことと、
前記ソースノードに対応するオフセットに基づいて、前記ソースノードの第１位置姿勢変換関係を得ることと
を含む、請求項５に記載の方法。
前記最終的なソース骨格のルートソースノードと最終的なターゲット骨格のルートターゲットノードはいずれも第１座標系の原点に並進し、前記第１位置姿勢変換関係は、前記ソースノードとマッピングされるターゲットノードとの、前記第１座標系における変換関係であり、前記ソースノードに対応するオフセットは、前記ソースノードの第１親ノードが位置合わせされ、かつ、前記第１親ノードが第２座標系の原点である場合、前記ソースノードとマッピングされるターゲットノードの、前記第２座標系におけるオフセットである、請求項６に記載の方法。
前記ソースノードをマッピングされるターゲットノードに位置合わせするために必要なオフセットを取得することは、
位置合わせされた前記第１親ノードとルートソースノードとの第２位置姿勢変換関係、及び前記ソースノードのマッピングされるターゲットノードの第２親ノードとルートターゲットノードとの第３位置姿勢変換関係を取得し、前記ソースノード及びマッピングされるターゲットノードの、第１座標系における位置姿勢と、前記第２位置姿勢変換関係と、第３位置姿勢変換関係とに基づいて、前記ソースノードに対応するオフセットを得ることを含み、
及び／又は、
前記ソースノードに対応するオフセットに基づいて、前記ソースノードの第１位置姿勢変換関係を得ることは、
前記ソースノード及び前記ソースノードの上位ノードのそれぞれに対応する前記オフセットに基づいて、前記ソースノードの第１位置姿勢変換関係を得ることであって、前記ソースノードの上位ノードは、前記最終的なソース骨格における前記ソースノードの第１親ノード、ルートソースノード及び前記第１親ノードとルートソースノードとの間のノードである、ことを含む、請求項７に記載の方法。
前記第１動画駆動データは、前記最終的なソース骨格と前記初期ソース骨格とのトポロジ構造差異に基づいて、前記初期ソース骨格のオリジナル動画データに対して調整を行うことで得られたものであり、
及び／又は、
前記最終的なターゲット骨格の第２動画駆動データは、前記第１動画駆動データ及び第１位置姿勢変換関係に基づいて得られたものであり、前記第１位置姿勢変換関係は、最終的なソース骨格のソースノードと最終的なターゲット骨格におけるマッピングされるターゲットノードとの間の変換関係であり、前記最終的なターゲット骨格は、ターゲット対象の骨格であり、前記初期ソース骨格に関連する第１動画駆動データを前記最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得ることは、
前記ターゲット対象における幾何学的メッシュ頂点の第１位置情報、前記第１動画駆動データ及び第１位置姿勢変換関係に基づいて、前記第２動画駆動データにおける、前記幾何学的メッシュ頂点に関する第２位置情報を得ることを含む、請求項１～８のうちいずれか一項に記載の方法。
前記ターゲット対象における幾何学的メッシュ頂点の第１位置情報、前記第１動画駆動データ及び第１位置姿勢変換関係に基づいて、前記第２動画駆動データにおける、前記幾何学的メッシュ頂点に関する第２位置情報を得ることは、
前記幾何学的メッシュ頂点との距離が所定の条件を満たす少なくとも１つのターゲットノードをリファレンスノードとして取得し、前記リファレンスノードの影響重みを得ることと、
前記第１動画駆動データにおける、前記リファレンスノードに関する第４位置姿勢変換関係と前記リファレンスノードに対応する第１位置姿勢変換関係に基づいて、前記リファレンスノードに対応する第５位置姿勢変換関係を得ることと、
前記第１位置情報、各前記リファレンスノードに対応する第５位置姿勢変換関係及び前記影響重みを利用して、前記幾何学的メッシュ頂点の第２位置情報を得ることと
を含む、請求項９に記載の方法。
前記初期ソース骨格を取得することは、
ターゲット対象を含む画像に対して分類を行い、前記ターゲット対象のクラスを得、前記クラスに合致した骨格モデルを前記初期ソース骨格として選択することであって、前記最終的なターゲット骨格は、ターゲット対象の骨格である、ことを含み、
及び／又は、
初期ターゲット骨格を取得することは、
ターゲット対象を含む画像に対して輪郭抽出を行い、前記ターゲット対象の輪郭を得ることと、
前記輪郭を利用して、前記ターゲット対象に対して、三次元メッシュモデルを生成することと、
前記三次元メッシュモデルから、前記初期ターゲット骨格を抽出することと
を含む、請求項１～１０のうちいずれか一項に記載の方法。
動画移行の装置であって、前記装置は、
初期ソース骨格、初期ターゲット骨格及び前記初期ソース骨格と初期ターゲット骨格との間のノードマッピング関係を取得するように構成されている取得モジュールであって、前記ノードマッピング関係は、前記初期ソース骨格と初期ターゲット骨格におけるノード間のマッピング関係を含む、取得モジュールと、
前記ノードマッピング関係に基づいて、前記初期ソース骨格と初期ターゲット骨格とのうちの少なくとも１つのノードトポロジ構造を更新し、最終的なソース骨格と最終的なターゲット骨格を得るように構成されているモデル更新モジュールであって、前記最終的なターゲット骨格におけるターゲットノードはいずれも、前記最終的なソース骨格におけるソースノードにマッピング可能である、モデル更新モジュールと、
前記初期ソース骨格に関連する第１動画駆動データを最終的なターゲット骨格に移行し、前記最終的なターゲット骨格の第２動画駆動データを得るように構成されている動画移行モジュールと
を備え、
前記モデル更新モジュールはさらに、２つの骨格の間に、同一のノードにマッピングされる複数のノードがある場合、前記骨格のうちの１つのノードトポロジ構造を更新するように構成され、
前記モデル更新モジュールは、前記複数のノードが異なる骨格分岐に位置する場合、前記複数のノードが位置する第１骨格から、前記複数のノードが位置する骨格分岐が合流する第２ノードを探し出し、前記複数のノードを含まない第２骨格から、前記第２ノードにマッピングされる第３ノードを探し出し、前記複数のノードに対応するノードトポロジ構造に応じて、前記第３ノードに少なくとも１つの骨格分岐を新規追加するようにさらに構成されており、前記第１骨格と前記第２骨格とのうちの１つは、初期ソース骨格であり、もう１つは、初期ターゲット骨格であり、前記複数のノードは、前記第３ノードに新規追加される骨格分岐及びオリジナル骨格分岐におけるノードと一対一にマッピングされる、装置。
電子機器であって、前記電子機器は、メモリとプロセッサとを備え、前記プロセッサは、前記メモリに記憶されているプログラム命令を実行することにより、請求項１～１１のうちいずれか一項に記載の方法を実行するように構成されている、電子機器。
請求項１～１１のうちいずれか一項に記載の方法を実行することをコンピュータに行わせるためのプログラムを記憶したコンピュータ読み取り可能な記憶媒体。
請求項１～１１のうちいずれか一項に記載の方法を実行することをコンピュータに行わせるコンピュータプログラム。