JP7407919B2 - 動画処理方法、動画処理装置、コンピュータプログラム及び電子機器 - Google Patents
動画処理方法、動画処理装置、コンピュータプログラム及び電子機器 Download PDFInfo
- Publication number
- JP7407919B2 JP7407919B2 JP2022521969A JP2022521969A JP7407919B2 JP 7407919 B2 JP7407919 B2 JP 7407919B2 JP 2022521969 A JP2022521969 A JP 2022521969A JP 2022521969 A JP2022521969 A JP 2022521969A JP 7407919 B2 JP7407919 B2 JP 7407919B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- target
- virtual character
- joint
- control network
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 title claims description 101
- 238000003672 processing method Methods 0.000 title claims description 37
- 238000004590 computer program Methods 0.000 title claims description 11
- 230000033001 locomotion Effects 0.000 claims description 161
- 238000012549 training Methods 0.000 claims description 79
- 238000000034 method Methods 0.000 claims description 48
- 238000011156 evaluation Methods 0.000 claims description 20
- 238000003860 storage Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 17
- 238000009877 rendering Methods 0.000 claims description 8
- 230000001133 acceleration Effects 0.000 claims description 7
- 238000000605 extraction Methods 0.000 claims description 6
- 230000036544 posture Effects 0.000 description 67
- 238000010586 diagram Methods 0.000 description 29
- 238000005516 engineering process Methods 0.000 description 25
- 238000013473 artificial intelligence Methods 0.000 description 19
- 210000002683 foot Anatomy 0.000 description 19
- 230000006399 behavior Effects 0.000 description 17
- 230000008569 process Effects 0.000 description 17
- 230000009471 action Effects 0.000 description 16
- 230000000694 effects Effects 0.000 description 16
- 230000006870 function Effects 0.000 description 14
- 210000003141 lower extremity Anatomy 0.000 description 13
- 230000003542 behavioural effect Effects 0.000 description 9
- 238000013461 design Methods 0.000 description 9
- 238000004891 communication Methods 0.000 description 8
- 230000003993 interaction Effects 0.000 description 8
- 210000000689 upper leg Anatomy 0.000 description 8
- 230000003190 augmentative effect Effects 0.000 description 7
- 239000003795 chemical substances by application Substances 0.000 description 7
- 230000005484 gravity Effects 0.000 description 7
- 238000010801 machine learning Methods 0.000 description 7
- 238000004422 calculation algorithm Methods 0.000 description 6
- 230000008859 change Effects 0.000 description 6
- 239000011159 matrix material Substances 0.000 description 6
- 238000004088 simulation Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 4
- 210000003127 knee Anatomy 0.000 description 4
- 230000003287 optical effect Effects 0.000 description 4
- 238000013135 deep learning Methods 0.000 description 3
- 210000004247 hand Anatomy 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 210000002569 neuron Anatomy 0.000 description 3
- 230000007704 transition Effects 0.000 description 3
- 230000006978 adaptation Effects 0.000 description 2
- 210000003423 ankle Anatomy 0.000 description 2
- 210000003414 extremity Anatomy 0.000 description 2
- 238000003384 imaging method Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- 239000004065 semiconductor Substances 0.000 description 2
- 230000006641 stabilisation Effects 0.000 description 2
- 238000011105 stabilization Methods 0.000 description 2
- 230000000087 stabilizing effect Effects 0.000 description 2
- 210000000707 wrist Anatomy 0.000 description 2
- 238000000342 Monte Carlo simulation Methods 0.000 description 1
- 238000012614 Monte-Carlo sampling Methods 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 239000002131 composite material Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000009826 distribution Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 210000001699 lower leg Anatomy 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003058 natural language processing Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 210000004197 pelvis Anatomy 0.000 description 1
- 230000000704 physical effect Effects 0.000 description 1
- 230000002250 progressing effect Effects 0.000 description 1
- 230000002787 reinforcement Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000010845 search algorithm Methods 0.000 description 1
- 230000035945 sensitivity Effects 0.000 description 1
- 210000000323 shoulder joint Anatomy 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 239000000126 substance Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 210000000115 thoracic cavity Anatomy 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
- 210000003857 wrist joint Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/55—Controlling game characters or game objects based on the game progress
- A63F13/57—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game
- A63F13/573—Simulating properties, behaviour or motion of objects in the game world, e.g. computing tyre load in a car race game using trajectories of game objects, e.g. of a golf ball according to the point of impact
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/67—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor adaptively or by learning from player actions, e.g. skill level adjustment or by storing successful combat sequences for re-use
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/004—Artificial life, i.e. computing arrangements simulating life
- G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/50—Controlling the output signals based on the game progress
- A63F13/52—Controlling the output signals based on the game progress involving aspects of the displayed game scene
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
- A63F13/60—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor
- A63F13/65—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition
- A63F13/655—Generating or modifying game content before or while executing the game program, e.g. authoring tools specially adapted for game development or game-integrated level editor automatically by game devices or servers from real world data, e.g. measurement in live racing competition by importing photos, e.g. of the player
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
- A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
-
- A—HUMAN NECESSITIES
- A63—SPORTS; GAMES; AMUSEMENTS
- A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
- A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
- A63F2300/60—Methods for processing data by generating or executing the game program
- A63F2300/69—Involving elements of the real world in the game world, e.g. measurement in live races, real video
- A63F2300/695—Imported photos, e.g. of the player
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/24—Indexing scheme for image data processing or generation, in general involving graphical user interfaces [GUIs]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Multimedia (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Processing Or Creating Images (AREA)
Description
本開示は、出願番号が202010043321.5で、出願日が2020年1月15日の中国特許出願に基づいて中国国家知識産権局に提出され、当該中国特許出願の優先権を主張し、当該出願の全ての内容は本願に組み込まれる。
本開示は、人工知能技術の分野に関し、特に、動画処理方法、動画処理装置、コンピュータ記憶媒体及び電子機器に関する。
は、模倣動作の比例を表し、重み
は、タスクを達成する比例を表し、プロセス中に設定することができ、
、速度ボーナス
の5つの部分を含む。ここで、姿勢及び速度は、各関節の姿勢及び速度であり、2つのキャラクタの動作が一致すると、姿勢と速度とが必然的に一致するため、姿勢ボーナス及び速度ボーナスを設定してもよく、エンド関節とは手と足を指し、物理キャラクタのエンド関節は運動学キャラクタのエンド関節と整列されるため、エンド関節にエンド関節ボーナスを設定し、ルート関節は、全ての関節の最上位関節であり、2つのキャラクタの動作を一致させたい場合、ルート関節を一致させるべきであり、したがって、ルート関節姿勢ボーナスを設定でき、また、物理キャラクタが、震えずに安定して歩行することを確保するために、物理キャラクタの重心が運動学キャラクタの重心と一致するように保証する必要があり、したがって、重心姿勢ボーナスを設定でき、上記のボーナスを設定することにより、物理キャラクタと運動学キャラクタとの動作が最大程度に一致するように保証することができる。各ボーナスに対応する重みは、
である。ここで、運動学キャラクタの項目の右上隅にマーク*がある。姿勢成分を例とし、ここで、
は、運動学キャラクタのj個目の関節の姿勢であり、
はシミュレーションキャラクタのj個目の関節の姿勢である。式(1)は、以下に示すように、式(2)に変換されてもよく、
であり、
は速度の類似度を示し、各関節の線速度と目標値との間の差異で表され、
であり、
であり、
である。
はキャラクタが目標を達成する良否を示し、一般的にキャラクタが運動する実際の状況と目標との間の距離を測定する。例えば、目標が移動方向gtであると、
は、地面の前進方向vtと目標gtとの間の角度差θの大きさを計算することができ、式(3)に示すとおりであり、
仮想キャラクタが倒れる動作を習得していない場合、現在のトレーニング経路を終了し、ボーナス値は0であることに留意されたい。
人型仮想キャラクタが路面障害物を避けることを例とすると、トレーニング対象の第2制御ネットワークをトレーニングする際に、動画セグメントセットを使用して平地でトレーニングすることができる。当該動画セグメントセットには、動画セグメントサンプルが複数含まれ、仮想キャラクタの高さが異なる障害物の前での下肢の持ち上げ姿勢や踏み出し姿勢を含み、開始動作が類似するとともに、一歩のみであり、例えば、動画セグメントセットには、合計15個の動画セグメントサンプルがあり、各動画セグメントサンプルの長さは0.5sである。トレーニング時に、複数の動画セグメントサンプルから最適な動画を選択してトレーニングすることができる。
と
、及びルート関節の平面上での速度方向
であり、
は、着地する足に対応する大腿関節の回転を示し、
は、地面から離れる/着地する直前の足である非着地足に対応する大腿関節の回転を示し、2つの大腿の回転
と
、及びルート関節の平面上での速度方向
に基づいて、現在目標タスク情報
を決定して、それをトレーニング対象の第2制御ネットワークに入力してトレーニングすることができる。
既存の姿勢制御方法の欠陥を解決するために、本開示の実施例は、逆動力学に基づくPD制御の安定化を提案した。従来のPDコントローラを採用してモーメントを決定する計算式は、式(4)に示すとおりであり、
ここで、τnはモーメント出力であり、qは現時点の仮想キャラクタの関節の現在位置であり、
は仮想キャラクタの関節の目標位置であり、
は現時点の関節の速度であり、kpは比例係数であり、kdは微分ゲイン係数であり、nはPD制御の制御周期回数である。
であり、
ここで、τnはモーメント出力であり、kpは比例係数であり、kdは微分ゲイン係数であり、qnは現在位置であり、
は現在速度で1つの時間周期を経過した後の関節の第1位置であり、
は、関節の目標位置であり、
は関節の現在速度であり、
は関節が現在加速度で1つの時間周期を経過した後の第1速度であり、
は関節の目標速度であり、nはコントローラの制御周期の回数である。
地形特徴サンプル、キャラクタ状態サンプル及びタスク情報サンプルを取得し、前記地形特徴サンプル、前記キャラクタ状態サンプル及び前記タスク情報サンプルに基づいて、前記トレーニング対象の第1制御ネットワークをトレーニングして、前記第1制御ネットワークを取得するように構成される第1トレーニングユニットと、
動画セグメントサンプルにおける、前記仮想キャラクタの前記重要な関節に対応する状態情報サンプル及び全ての関節に対応する関節動作情報サンプルに基づいて、前記第2制御ネットワークをトレーニングして、前記第2制御ネットワークを取得するように構成される第2トレーニングユニットと、
を含み、前記トレーニング対象の第1制御ネットワーク及び前記トレーニング対象の第2制御ネットワークを別々にトレーニングし、前記トレーニング対象の第1制御ネットワークをトレーニングするとき、前記トレーニング対象の第1制御ネットワークには、固定パラメータを持つ第2制御ネットワークが接続されている。
Claims (16)
- 電子機器によって実行される動画処理方法であって、
現時点のグラフィカルユーザインターフェースにおける地形特徴を取得するとともに、前記現時点の動画セグメントにおける仮想キャラクタに対応する状態情報及びタスク情報を取得するステップと、
前記地形特徴、前記状態情報及び前記タスク情報を動画処理モデルに入力し、前記動画処理モデルで前記地形特徴、前記状態情報及び前記タスク情報から特徴を抽出して、次の時点の前記仮想キャラクタに対応する関節動作情報を取得するステップと、
前記関節動作情報に応じて関節モーメントを決定するステップと、
前記関節モーメントに基づいて、前記現時点の前記仮想キャラクタに対応する姿勢調整情報を取得し、前記姿勢調整情報に応じて前記動画セグメントを処理するステップと、を含み、
前記状態情報は、前記仮想キャラクタの各関節の姿勢、速度及び位相を含み、
前記タスク情報は、前記仮想キャラクタに対応する目標速度方向又は目標点座標を含む、
動画処理方法。 - 前記現時点が前記動画セグメントの開始時点である場合、前記動画セグメントの開始時点の前記仮想キャラクタの姿勢情報に応じて前記状態情報を決定するステップと、
前記現時点が前記動画セグメントの開始時点でない場合、直前の時点の前記仮想キャラクタに対応する関節動作情報に応じて前記状態情報を決定するステップと、をさらに含む、
請求項1に記載の動画処理方法。 - 前記動画セグメントを基づいて、前記仮想キャラクタに対応する複数の時点の姿勢調整情報を取得するステップと、
前記複数の時点の姿勢調整情報に応じて目標動作シーケンスを決定するステップと、をさらに含む、
請求項2に記載の動画処理方法。 - 前記地形特徴は、カスタマイズ地形の特徴又は現実地形の特徴である、
請求項1に記載の動画処理方法。 - 前記動画処理モデルは、第1制御ネットワーク及び第2制御ネットワークを含み、
前記地形特徴、前記状態情報及び前記タスク情報を動画処理モデルに入力し、前記動画処理モデルで前記地形特徴、前記状態情報及び前記タスク情報から特徴を抽出して、次の時点の前記仮想キャラクタに対応する関節動作情報を取得する前記ステップは、
前記地形特徴、前記状態情報及び前記タスク情報を前記第1制御ネットワークに入力し、前記第1制御ネットワークにより前記地形特徴、前記状態情報及び前記タスク情報から特徴を抽出して、重要な関節に対応する目標状態情報を取得するステップであって、前記重要な関節は、地形特徴、仮想キャラクタの状態情報及びタスク情報に対応する関節である、ステップと、
前記目標状態情報を目標タスク情報として決定するステップと、
前記状態情報及び前記目標タスク情報を前記第2制御ネットワークに入力し、前記第2制御ネットワークで前記状態情報及び前記目標タスク情報から特徴を抽出して、前記関節動作情報を取得するステップと、を含む、
請求項1に記載の動画処理方法。 - 前記第1制御ネットワークは、畳み込みユニット、第1完全接続層、第2完全接続層及び第3完全接続層を含み、
前記第1制御ネットワークにより前記地形特徴、前記状態情報及び前記タスク情報から特徴を抽出して、重要な関節に対応する目標状態情報を取得する前記ステップは、
前記畳み込みユニットで前記地形特徴に対して特徴抽出を行って、地形に対応する第1特徴情報を取得するステップと、
前記第1完全接続層で前記第1特徴情報に対して特徴の組合せを行って、第2特徴情報を取得するステップと、
前記第2完全接続層で前記第2特徴情報、前記状態情報及び前記タスク情報に対して特徴の組合せを行って、第3特徴情報を取得するステップと、
前記第3完全接続層により前記第3特徴情報に対して特徴の組合せを行って、前記目標状態情報を取得するステップと、を含む、
請求項5に記載の動画処理方法。 - 前記第2制御ネットワークは第4完全接続層及び第5完全接続層を含み、
前記第2制御ネットワークで前記状態情報及び前記目標タスク情報から特徴を抽出して、前記関節動作情報を取得する前記ステップは、
前記第4完全接続層で前記状態情報及び前記目標タスク情報に対して特徴の組合せを行って、第4特徴情報を取得するステップと、
前記第5完全接続層で前記第4特徴情報に対して特徴の組合せを行って、前記関節動作情報を取得するステップと、を含む、
請求項5に記載の動画処理方法。 - 前記関節動作情報に応じて関節モーメントを決定する前記ステップは、
前記関節動作情報に応じて関節の現在位置及び目標位置を決定するステップと、
前記現在位置に応じて前記関節の現在速度及び現在加速度を決定し、前記目標位置に応じて前記関節の目標速度を決定するステップと、
前記現在速度及び前記現在加速度に応じて、次の制御周期の後に前記関節に対応する第1位置及び第1速度を決定するステップと、
比例係数、微分ゲイン係数、前記現在位置、前記目標位置、前記目標速度、前記第1位置及び前記第1速度に基づいて、前記関節モーメントを計算するステップと、を含む、
請求項1に記載の動画処理方法。 - 前記関節モーメントに基づいて、前記現時点の前記仮想キャラクタに対応する姿勢調整情報を取得する前記ステップは、
前記関節モーメントを物理エンジンに入力し、前記物理エンジンにより前記関節モーメントを対応する関節に施しながら、レンダリングして、前記姿勢調整情報を生成するステップを含む、
請求項1に記載の動画処理方法。 - 前記動画処理モデルで前記地形特徴、前記状態情報及び前記タスク情報から特徴を抽出する前に、
トレーニング対象の動画処理モデルをトレーニングして、前記動画処理モデルを取得するステップをさらに含む、
請求項5に記載の動画処理方法。 - 前記トレーニング対象の動画処理モデルは、トレーニング対象の第1制御ネットワーク及びトレーニング対象の第2制御ネットワークを含み、
トレーニング対象の動画処理モデルをトレーニングして、前記動画処理モデルを取得する前記ステップは、
地形特徴サンプル、キャラクタ状態サンプル及びタスク情報サンプルを取得するステップと、
前記地形特徴サンプル、前記キャラクタ状態サンプル及び前記タスク情報サンプルに基づいて、前記トレーニング対象の第1制御ネットワークをトレーニングして、前記第1制御ネットワークを取得するステップと、
動画セグメントサンプルにおける、前記仮想キャラクタの前記重要な関節に対応する状態情報サンプル及び全ての関節に対応する関節動作情報サンプルに基づいて、前記第2制御ネットワークをトレーニングして、前記第2制御ネットワークを取得するステップと、を含み、
前記トレーニング対象の第1制御ネットワーク及び前記トレーニング対象の第2制御ネットワークを別々にトレーニングされ、前記トレーニング対象の第1制御ネットワークをトレーニングするとき、前記トレーニング対象の第1制御ネットワークには、固定パラメータを持つ第2制御ネットワークが接続されている、
請求項10に記載の動画処理方法。 - 動画セグメントサンプルにおける、前記仮想キャラクタの前記重要な関節に対応する状態情報サンプル及び全ての関節に対応する関節動作情報サンプルに基づいて、前記第2制御ネットワークをトレーニングして、前記第2制御ネットワークを取得する前記ステップは、
複数の動画セグメントサンプルを取得するステップと、
前記仮想キャラクタの開始姿勢に基づいて、前記複数の動画セグメントサンプルから目標動画セグメントサンプルを決定するステップと、
前記目標動画セグメントサンプルから前記重要な関節に対応する状態情報サンプルを取得して、前記状態情報サンプルを目標タスク情報とするステップと、
前記仮想キャラクタの全ての関節に対応する関節動作情報サンプルを取得するステップと、
前記目標タスク情報及び前記関節動作情報サンプルに基づいて、前記トレーニング対象の第2制御ネットワークをトレーニングするステップと、を含む、
請求項11に記載の動画処理方法。 - 前記トレーニング対象の第1制御ネットワークは、第1トレーニング対象の実行サブネットワーク及び第1トレーニング対象の評価サブネットワークを含み、
前記トレーニング対象の第2制御ネットワークは、第2トレーニング対象の実行サブネットワーク及び第2トレーニング対象の評価サブネットワークを含み、
前記第1トレーニング対象の実行サブネットワークと前記第1トレーニング対象の評価サブネットワークとは構造が同じであり、前記第2トレーニング対象の実行サブネットワークと前記第2トレーニング対象の評価サブネットワークとは構造が同じである、
請求項11に記載の動画処理方法。 - 現時点のグラフィカルユーザインターフェースにおける地形特徴を取得するとともに、前記現時点の動画セグメントにおける仮想キャラクタに対応する状態情報及びタスク情報を取得するように構成される情報取得モジュールと、
前記地形特徴、前記状態情報及び前記タスク情報を動画処理モデルに入力し、前記動画処理モデルで前記地形特徴、前記状態情報及び前記タスク情報から特徴を抽出して、次の時点の前記仮想キャラクタに対応する関節動作情報を取得するように構成されるモデル処理モジュールと、
前記関節動作情報に応じて関節モーメントを決定し、前記関節モーメントに基づいて、前記現時点の前記仮想キャラクタに対応する姿勢調整情報を取得し、前記姿勢調整情報に応じて前記動画セグメントを処理するように構成される姿勢調整モジュールと、を含み、
前記状態情報は、前記仮想キャラクタの各関節の姿勢、速度及び位相を含み、
前記タスク情報は、前記仮想キャラクタに対応する目標速度方向又は目標点座標を含む、
動画処理装置。 - 1つ又は複数のプロセッサと、
1つ又は複数のプログラムを記憶するための記憶装置と、を含み、
前記1つ又は複数のプログラムが前記1つ又は複数のプロセッサによって実行されると、前記1つ又は複数のプロセッサに請求項1~13のいずれか1項に記載の動画処理方法を実行させる、
電子機器。 - コンピュータに、請求項1~13のいずれか1項に記載の動画処理方法を実施させる、コンピュータプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202010043321.5A CN111292401B (zh) | 2020-01-15 | 2020-01-15 | 动画处理方法、装置、计算机存储介质及电子设备 |
CN202010043321.5 | 2020-01-15 | ||
PCT/CN2020/125938 WO2021143289A1 (zh) | 2020-01-15 | 2020-11-02 | 动画处理方法、装置、计算机存储介质及电子设备 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022553167A JP2022553167A (ja) | 2022-12-22 |
JP7407919B2 true JP7407919B2 (ja) | 2024-01-04 |
Family
ID=71024230
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022521969A Active JP7407919B2 (ja) | 2020-01-15 | 2020-11-02 | 動画処理方法、動画処理装置、コンピュータプログラム及び電子機器 |
Country Status (6)
Country | Link |
---|---|
US (2) | US11790587B2 (ja) |
EP (1) | EP4009282A4 (ja) |
JP (1) | JP7407919B2 (ja) |
KR (1) | KR102645536B1 (ja) |
CN (1) | CN111292401B (ja) |
WO (1) | WO2021143289A1 (ja) |
Families Citing this family (14)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111292401B (zh) | 2020-01-15 | 2022-05-03 | 腾讯科技(深圳)有限公司 | 动画处理方法、装置、计算机存储介质及电子设备 |
CN112348931B (zh) * | 2020-11-06 | 2024-01-30 | 网易(杭州)网络有限公司 | 脚部反向运动控制方法、装置、设备及存储介质 |
CN112560962B (zh) * | 2020-12-17 | 2024-03-22 | 咪咕文化科技有限公司 | 骨骼动画的姿态匹配方法、装置、电子设备及存储介质 |
CN112905006B (zh) * | 2021-01-21 | 2022-12-02 | 清华大学 | 基于物理仿真的虚拟现实人手交互方法和装置 |
CN113050859B (zh) * | 2021-04-19 | 2023-10-24 | 北京市商汤科技开发有限公司 | 交互对象的驱动方法、装置、设备以及存储介质 |
CN113771081B (zh) * | 2021-07-06 | 2024-04-30 | 清华大学 | 一种基于物理的虚拟人手自动抓取方法及装置 |
CN115617429A (zh) * | 2021-07-14 | 2023-01-17 | 华为技术有限公司 | 一种数据处理方法及相关设备 |
CN114489408B (zh) * | 2022-02-11 | 2023-11-24 | 百果园技术(新加坡)有限公司 | 动画处理系统、方法、设备及存储介质 |
CN114998491B (zh) * | 2022-08-01 | 2022-11-18 | 阿里巴巴(中国)有限公司 | 数字人驱动方法、装置、设备及存储介质 |
CN117808936A (zh) * | 2022-09-23 | 2024-04-02 | 华为技术有限公司 | 一种图像处理方法 |
CN115731375B (zh) * | 2022-12-09 | 2024-05-10 | 支付宝(杭州)信息技术有限公司 | 虚拟形象的更新方法及装置 |
CN115601485B (zh) * | 2022-12-15 | 2023-04-07 | 阿里巴巴(中国)有限公司 | 任务处理模型的数据处理方法及虚拟人物动画生成方法 |
CN116228942B (zh) * | 2023-03-17 | 2024-02-06 | 北京优酷科技有限公司 | 角色动作提取方法、设备和存储介质 |
CN116824010B (zh) * | 2023-07-04 | 2024-03-26 | 安徽建筑大学 | 一种反馈式多端动画设计在线交互方法及系统 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000508804A (ja) | 1996-04-04 | 2000-07-11 | カトリックス,インク. | 混合運動データを含む関節を持つキャラクターの会話型コンピュータ・アニメーションのための四肢調整システム |
JP2004030502A (ja) | 2002-06-28 | 2004-01-29 | Sangaku Renkei Kiko Kyushu:Kk | シミュレーション方法、シミュレーション装置およびシミュレーションプログラム |
CN108182719A (zh) | 2017-12-28 | 2018-06-19 | 北京聚力维度科技有限公司 | 人工智能自适应障碍地形的行进动画生成方法和装置 |
JP2019175266A (ja) | 2018-03-29 | 2019-10-10 | 株式会社Preferred Networks | 動作生成装置、モデル生成装置、動作生成方法及びプログラム |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0416445D0 (en) * | 2004-07-23 | 2004-08-25 | Univ Abertay | Computer generated images |
US8860732B2 (en) * | 2010-09-27 | 2014-10-14 | Adobe Systems Incorporated | System and method for robust physically-plausible character animation |
CN102426709B (zh) * | 2011-08-19 | 2013-12-25 | 北京航空航天大学 | 一种基于快速逆向运动学的实时运动合成方法 |
TWI473036B (zh) * | 2012-06-29 | 2015-02-11 | Reallusion Inc | The system and method of automatic adaptation of terrain to virtual terrain |
US10929743B2 (en) * | 2016-09-27 | 2021-02-23 | Disney Enterprises, Inc. | Learning to schedule control fragments for physics-based character simulation and robots using deep Q-learning |
CN106600668A (zh) * | 2016-12-12 | 2017-04-26 | 中国科学院自动化研究所 | 一种与虚拟角色进行互动的动画生成方法、装置及电子设备 |
US10096125B1 (en) * | 2017-04-07 | 2018-10-09 | Adobe Systems Incorporated | Forecasting multiple poses based on a graphical image |
US10717004B2 (en) * | 2018-06-18 | 2020-07-21 | Unity IPR ApS | Method and system for real-time animation generation using machine learning |
CN108803615B (zh) * | 2018-07-03 | 2021-03-23 | 东南大学 | 一种基于深度强化学习的虚拟人未知环境导航算法 |
WO2020236596A1 (en) * | 2019-05-17 | 2020-11-26 | Nvidia Corporation | Motion prediction using one or more neural networks |
CN110516389B (zh) * | 2019-08-29 | 2021-04-13 | 腾讯科技(深圳)有限公司 | 行为控制策略的学习方法、装置、设备及存储介质 |
CN111292401B (zh) * | 2020-01-15 | 2022-05-03 | 腾讯科技(深圳)有限公司 | 动画处理方法、装置、计算机存储介质及电子设备 |
US11321895B2 (en) * | 2020-05-29 | 2022-05-03 | Adobe Inc. | Neural state machine digital character animation |
-
2020
- 2020-01-15 CN CN202010043321.5A patent/CN111292401B/zh active Active
- 2020-11-02 EP EP20913359.4A patent/EP4009282A4/en active Pending
- 2020-11-02 JP JP2022521969A patent/JP7407919B2/ja active Active
- 2020-11-02 KR KR1020227002917A patent/KR102645536B1/ko active IP Right Grant
- 2020-11-02 WO PCT/CN2020/125938 patent/WO2021143289A1/zh unknown
-
2022
- 2022-01-18 US US17/578,345 patent/US11790587B2/en active Active
-
2023
- 2023-09-13 US US18/367,913 patent/US20240005582A1/en active Pending
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000508804A (ja) | 1996-04-04 | 2000-07-11 | カトリックス,インク. | 混合運動データを含む関節を持つキャラクターの会話型コンピュータ・アニメーションのための四肢調整システム |
JP2004030502A (ja) | 2002-06-28 | 2004-01-29 | Sangaku Renkei Kiko Kyushu:Kk | シミュレーション方法、シミュレーション装置およびシミュレーションプログラム |
CN108182719A (zh) | 2017-12-28 | 2018-06-19 | 北京聚力维度科技有限公司 | 人工智能自适应障碍地形的行进动画生成方法和装置 |
JP2019175266A (ja) | 2018-03-29 | 2019-10-10 | 株式会社Preferred Networks | 動作生成装置、モデル生成装置、動作生成方法及びプログラム |
Non-Patent Citations (2)
Title |
---|
筒口 拳 ,3次元シーン内の人物像歩行動作生成システム,情報処理学会論文誌 第38巻 第4号,日本,社団法人情報処理学会,1997年04月,第38巻,787-796 |
筒口 拳 ,地形適応型歩行動作生成手法を用いた人物の歩行アニメーション,電子情報通信学会論文誌 (J77-D-II) 第8号,日本,社団法人電子情報通信学会,1994年08月,第J77-D-II巻,p.1663-1670 |
Also Published As
Publication number | Publication date |
---|---|
WO2021143289A1 (zh) | 2021-07-22 |
CN111292401B (zh) | 2022-05-03 |
KR20220025023A (ko) | 2022-03-03 |
EP4009282A4 (en) | 2022-12-21 |
KR102645536B1 (ko) | 2024-03-07 |
US11790587B2 (en) | 2023-10-17 |
US20220139020A1 (en) | 2022-05-05 |
CN111292401A (zh) | 2020-06-16 |
US20240005582A1 (en) | 2024-01-04 |
JP2022553167A (ja) | 2022-12-22 |
EP4009282A1 (en) | 2022-06-08 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7407919B2 (ja) | 動画処理方法、動画処理装置、コンピュータプログラム及び電子機器 | |
WO2021143261A1 (zh) | 一种动画实现方法、装置、电子设备和存储介质 | |
Hämäläinen et al. | Online motion synthesis using sequential monte carlo | |
Ishigaki et al. | Performance-based control interface for character animation | |
CN111028317B (zh) | 虚拟对象的动画生成方法、装置、设备及存储介质 | |
Narang et al. | Simulating movement interactions between avatars & agents in virtual worlds using human motion constraints | |
Navarro-Newball et al. | Gesture based human motion and game principles to aid understanding of science and cultural practices | |
Grzeskowiak et al. | Toward virtual reality-based evaluation of robot navigation among people | |
Mousas et al. | Performance-driven hybrid full-body character control for navigation and interaction in virtual environments | |
Huang et al. | Door and doorway etiquette for virtual humans | |
Shiro et al. | InterPoser: Visualizing interpolated movements for bouldering training | |
Guo et al. | Locomotion skills for insects with sample‐based controller | |
Cai et al. | Immersive interactive virtual fish swarm simulation based on infrared sensors | |
Lee et al. | Performance‐Based Biped Control using a Consumer Depth Camera | |
CN110046457A (zh) | 人体模型的控制方法、装置、电子设备以及存储介质 | |
CN116570921B (zh) | 虚拟对象的姿态控制方法、装置、计算机设备、存储介质 | |
Luo | Reinforcement learning for generative art | |
Yao et al. | Crowd Simulation with Detailed Body Motion and Interaction | |
Lew | Bipedal locomotion in humans, robots and avatars: a survey | |
Pitts | The Use Automated Centre of Mass Nodes for Dynamic Grounded and Airborne Key Frame Animation | |
Jessel et al. | Computer animation and virtual reality for live art performance | |
Gutiérrez A et al. | Computer Animation | |
Oore | DIGITAL MARIONETTE: augmenting kinematics with physics for multi-track desktop performance animation | |
이경호 | Interactive Control of Unorganized Human Motion using Deep Neural Networks | |
Thalmann | Motion Modeling: Can We Get Rid of Motion Capture? |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220421 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230424 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230606 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230901 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20231205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231219 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7407919 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |