JP7490142B2 - 姿勢の脱曖昧化 - Google Patents
姿勢の脱曖昧化 Download PDFInfo
- Publication number
- JP7490142B2 JP7490142B2 JP2023528243A JP2023528243A JP7490142B2 JP 7490142 B2 JP7490142 B2 JP 7490142B2 JP 2023528243 A JP2023528243 A JP 2023528243A JP 2023528243 A JP2023528243 A JP 2023528243A JP 7490142 B2 JP7490142 B2 JP 7490142B2
- Authority
- JP
- Japan
- Prior art keywords
- character
- pose
- masks
- generating
- segmentation masks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000011218 segmentation Effects 0.000 claims description 118
- 238000000034 method Methods 0.000 claims description 54
- 238000004088 simulation Methods 0.000 claims description 16
- 230000003993 interaction Effects 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 description 32
- 230000008569 process Effects 0.000 description 21
- 210000001503 joint Anatomy 0.000 description 15
- 238000005457 optimization Methods 0.000 description 15
- 241001465754 Metazoa Species 0.000 description 14
- 238000004422 calculation algorithm Methods 0.000 description 11
- 230000036544 posture Effects 0.000 description 11
- 230000009471 action Effects 0.000 description 10
- 238000010586 diagram Methods 0.000 description 7
- 210000003414 extremity Anatomy 0.000 description 7
- 238000004891 communication Methods 0.000 description 6
- 210000002569 neuron Anatomy 0.000 description 6
- 238000012549 training Methods 0.000 description 6
- 230000006870 function Effects 0.000 description 4
- 238000010801 machine learning Methods 0.000 description 4
- 230000004913 activation Effects 0.000 description 3
- 238000013527 convolutional neural network Methods 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000002787 reinforcement Effects 0.000 description 3
- 239000000523 sample Substances 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 241000282461 Canis lupus Species 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 210000004027 cell Anatomy 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000007704 transition Effects 0.000 description 2
- 230000001133 acceleration Effects 0.000 description 1
- 210000003484 anatomy Anatomy 0.000 description 1
- 238000010171 animal model Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 210000000988 bone and bone Anatomy 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 210000002310 elbow joint Anatomy 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012854 evaluation process Methods 0.000 description 1
- 230000002068 genetic effect Effects 0.000 description 1
- 230000005484 gravity Effects 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 229920000136 polysorbate Polymers 0.000 description 1
- 238000007670 refining Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 210000001364 upper extremity Anatomy 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/13—Edge detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/174—Segmentation; Edge detection involving the use of two or more images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
Description
モーションキャプチャは、人間のパフォーマに対しては非常にうまく機能するが、動物、特に野生動物に対してはやや難しい。具体的には、動物にモーションキャプチャマーカを取り付けるには課題があり、モーションキャプチャマーカを付けた動物は自然に行動する可能性が低くなる。動物、特に野生動物のビデオから直接アニメーション化する方がはるかに有利である。このようなビデオのフレームは、例えば画像解析ソフトウェアを用いて解析され、各フレームでの動物の姿勢を決定することができる。
IoU=領域の共通部分/領域の和集合。
この値が1に近いほど、予測が優れている。
本開示の態様によれば、コンピュータアニメーション方法は、姿勢の曖昧さを解決するために、キャラクタの複数のカメラビューにターゲットセグメンテーションマスクを使用してもよい。これは、現在のセグメンテーションマスクと様々な姿勢の様々なターゲットセグメンテーションマスクとの間の差異を最小にして、正しい姿勢を取得すること、例えば、Intersection over Unionによって、行うことができる。
図3は、例えば図2A及び図2Bに関して、説明された姿勢脱曖昧化を伴うコンピュータアニメーションのための装置を示す。装置は、ユーザ入力デバイス302に結合されたコンピューティングデバイス300を含んでもよい。ユーザ入力デバイス302は、コントローラ、タッチスクリーン、マイクロフォン、キーボード、マウス、ジョイスティック、またはユーザが音響データを含む情報をシステムに入力することを可能にする他のデバイスであり得る。ユーザ入力デバイスは、ハプティックフィードバックデバイス、例えば、振動モータ、フォースフィードバックシステム、超音波フィードバックシステム、または空気圧フィードバックシステムに結合されてもよく、またはそれを含んでもよい。さらに、システムは、例えば、限定ではないが、可動関節用のコントローラ301を含み得、コントローラは、物理ロボットの制御のための物理ベースのアニメーションを含む実施態様では、ロボット上の関節用のモータまたはアクチュエータを制御し得る。
本開示の代替の態様によれば、個々のビデオフレームのそれぞれを独立して解析する代わりに、連続するアニメーションフレームを単一の問題として解析することができる。これらのような実施態様では、最初のアニメーションフレームの姿勢候補を構築する。各姿勢候補は、同じセグメンテーションマスクを有する。ただし、3D空間では、モデルTCの候補姿勢は、互いに可能な限り離れて分散される。続いて、現実のactor-criticトレーニング済みニューラルネットワーク(NN)が候補の姿勢を解析する。候補の姿勢を評価するには、様々な方法がある。これらの方法は、以下で説明される、様々な実施態様で組み合わせることができる。
図5は、例えば図4A及び図4Bに関して、説明された単眼姿勢予測を伴うコンピュータアニメーションのための装置を示す。装置は、ユーザ入力デバイス502に結合されたコンピューティングデバイス500を含んでもよい。ユーザ入力デバイス502は、コントローラ、タッチスクリーン、マイクロフォン、キーボード、マウス、ジョイスティック、またはユーザが音響データを含む情報をシステムに入力することを可能にする他のデバイスであり得る。ユーザ入力デバイスは、ハプティックフィードバックデバイス、例えば、振動モータ、フォースフィードバックシステム、超音波フィードバックシステム、または空気圧フィードバックシステムに結合されてもよく、またはそれを含んでもよい。さらに、システムは、例えば、限定ではないが、可動関節用のコントローラ501を含み得、コントローラは、物理ロボットの制御のための物理ベースのアニメーションを含む実施態様では、ロボット上の関節用のモータまたはアクチュエータを制御し得る。
Claims (27)
- コンピュータアニメーションのための方法であって、
a)2つ以上の対応する視点から特定の瞬間に観測されたキャラクタの2つ以上の対応する同時性ビデオ画像から2つ以上のソースセグメンテーションマスクを生成することと、
b)前記2つ以上の同時性ビデオ画像内の前記キャラクタに対応するアニメーションキャラクタの3次元モデルを生成することであって、前記アニメーションキャラクタの前記3次元モデルを生成することは、前記アニメーションキャラクタと周囲環境との間の関節または接触点に関連するセンサ値を使用して前記アニメーションキャラクタと前記周囲環境との間のインタラクションの物理ベースのシミュレーションの少なくとも2つの時間ステップを実行することによって、前記アニメーションキャラクタの姿勢の実行可能性を評価することを含み、前記アニメーションキャラクタの姿勢の実行可能性を評価することは、前記アニメーションキャラクタがシミュレーションで転倒するかどうかを評価することを含む、前記生成することと、
c)前記2つ以上のビデオ画像内の前記キャラクタに対応する前記アニメーションキャラクタの2つ以上の異なるビューに対応する2つ以上の異なるターゲットセグメンテーションマスクを生成することと、
d)前記2つ以上のターゲットセグメンテーションマスクのそれぞれを前記2つ以上のソースセグメンテーションマスクの対応する1つと比較し、前記比較から、前記アニメーションキャラクタの前記3次元モデルの姿勢が前記2つ以上の同時性ビデオ画像内の前記キャラクタの姿勢に対応するかどうかを決定することと、
e)前記アニメーションキャラクタの前記3次元モデルの前記姿勢が前記2つ以上の同時性ビデオ画像内の前記キャラクタの前記姿勢に対応する場合、前記3次元モデルを使用して、前記アニメーションキャラクタのアニメーションフレームを生成することと、
を含む、方法。 - 前記d)後に、前記アニメーションキャラクタの前記姿勢が前記2つ以上の同時性ビデオ画像内の前記キャラクタの前記姿勢に対応しない場合、前記アニメーションキャラクタの前記3次元モデルを調整して、調整されたモデルを生成することと、
f)必要に応じて、前記アニメーションキャラクタの前記姿勢が前記2つ以上の同時性ビデオ画像内の前記キャラクタの前記姿勢に対応するまで、前記b)、前記c)、前記d)、及び前記e)を繰り返すことであって、前記e)は前記調整されたモデルを使用して、前記アニメーションフレームを生成することを含む、前記繰り返すことと、
をさらに含む、請求項1に記載の方法。 - 前記2つ以上の同時性ビデオ画像内の前記キャラクタの前記2つ以上の異なるビューは、基準面に対して+45°及び-45°に配向されたビューを含む、請求項1に記載の方法。
- 前記2つ以上のターゲットセグメンテーションマスクのそれぞれを前記2つ以上のソースセグメンテーションマスクの前記対応する1つと比較することは、その対応するソースセグメンテーションマスクの前記2つ以上のターゲットセグメンテーションマスクのそれぞれの間のIoU(Intersection over Union:共通部分を和集合で除算したもの)を計算することを含む、請求項1に記載の方法。
- 前記2つ以上の異なるターゲットセグメンテーションマスクを生成することは、3次元アニメーションデータを使用して2つ以上の対応する異なる角度からアニメーション化されたキャラクタの2つ以上の異なるアニメーションフレームを生成することと、前記2つ以上の異なる基準セグメンテーションマスクを前記2つ以上の異なるアニメーションフレームから生成することとを含む、請求項1に記載の方法。
- 前記2つ以上のソースセグメンテーションマスクを生成することは、2つ以上の異なるカメラを用いて2つ以上の対応する異なる角度から2つ以上の同時性ビデオフレームを生成することを含む、請求項1に記載の方法。
- 前記2つ以上のソースセグメンテーションマスクは、1つ以上のエッジマスクを含む、請求項1に記載の方法。
- 前記2つ以上のターゲットセグメンテーションマスクは、1つ以上のエッジマスクを含む、請求項1に記載の方法。
- 前記2つ以上のソースセグメンテーションマスクは1つ以上のエッジマスクを含み、前記2つ以上のターゲットセグメンテーションマスクは1つ以上の異なるエッジマスクを含む、請求項1に記載の方法。
- コンピュータアニメーションのための装置であって、
プロセッサと、
メモリと、
前記メモリ内で具現化される実行可能な命令であって、前記命令は前記プロセッサによって実行されると、コンピュータアニメーションのための方法を前記プロセッサに実装させる、前記命令と、
を含み、
前記方法は、
a)2つ以上の対応する視点から特定の瞬間に観測されたキャラクタの2つ以上の対応する同時性ビデオ画像から2つ以上のソースセグメンテーションマスクを生成することと、
b)前記2つ以上の同時性ビデオ画像内の前記キャラクタに対応するアニメーションキャラクタの3次元モデルを生成することであって、前記アニメーションキャラクタの前記3次元モデルを生成することは、前記アニメーションキャラクタと周囲環境との間の関節または接触点に関連するセンサ値を使用して前記アニメーションキャラクタと前記周囲環境との間のインタラクションの物理ベースのシミュレーションの少なくとも2つの時間ステップを実行することによって、前記アニメーションキャラクタの姿勢の実行可能性を評価することを含み、前記アニメーションキャラクタの姿勢の実行可能性を評価することは、前記アニメーションキャラクタがシミュレーションで転倒するかどうかを評価することを含む、前記生成することと、
c)前記2つ以上のビデオ画像内の前記キャラクタに対応する前記アニメーションキャラクタの2つ以上の異なるビューに対応する2つ以上の異なるターゲットセグメンテーションマスクを生成することと、
d)前記2つ以上のターゲットセグメンテーションマスクのそれぞれを前記2つ以上のソースセグメンテーションマスクの対応する1つと比較し、前記比較から、前記アニメーションキャラクタの前記3次元モデルの前記姿勢が前記2つ以上の同時性ビデオ画像内の前記キャラクタの姿勢に対応するかどうかを決定することと、
e)前記アニメーションキャラクタの前記3次元モデルの前記姿勢が前記2つ以上の同時性ビデオ画像内の前記キャラクタの前記姿勢に対応する場合、前記3次元モデルを使用して、前記アニメーションキャラクタのアニメーションフレームを生成することと、
を含む、装置。 - 前記方法は、
前記d)後に、前記アニメーションキャラクタの前記姿勢が前記2つ以上の同時性ビデオ画像内の前記キャラクタの前記姿勢に対応しない場合、前記アニメーションキャラクタの前記3次元モデルを調整して、調整されたモデルを生成することと、
f)必要に応じて、前記アニメーションキャラクタの前記姿勢が前記2つ以上の同時性ビデオ画像内の前記キャラクタの前記姿勢に対応するまで、前記b)、前記c)、前記d)、及び前記e)を繰り返すことであって、前記e)は前記調整されたモデルを使用して、前記アニメーションフレームを生成することを含む、前記繰り返すことと、
をさらに含む、請求項10に記載の装置。 - 前記2つ以上の同時性ビデオ画像内の前記キャラクタの前記2つ以上の異なるビューは、基準面に対して+45°及び-45°に配向されたビューを含む、請求項10に記載の装置。
- 前記2つ以上のターゲットセグメンテーションマスクのそれぞれを前記2つ以上のソースセグメンテーションマスクの前記対応する1つと前記比較することは、その対応するソースセグメンテーションマスクの前記2つ以上のターゲットセグメンテーションマスクのそれぞれの間のIoU(Intersection over Union:共通部分を和集合で除算したもの)を計算することを含む、請求項10に記載の装置。
- 前記2つ以上の異なるターゲットセグメンテーションマスクを生成することは、3次元アニメーションデータを使用して2つ以上の対応する異なる角度からアニメーション化されたキャラクタの2つ以上の異なるアニメーションフレームを生成することと、前記2つ以上の異なる基準セグメンテーションマスクを前記2つ以上の異なるアニメーションフレームから生成することとを含む、請求項10に記載の装置。
- 前記2つ以上のソースセグメンテーションマスクを生成することは、2つ以上の異なるカメラを用いて2つ以上の対応する異なる角度から2つ以上の同時性ビデオフレームを生成することを含む、請求項10に記載の装置。
- 前記2つ以上のソースセグメンテーションマスクは、1つ以上のエッジマスクを含む、請求項10に記載の装置。
- 前記2つ以上のターゲットセグメンテーションマスクは、1つ以上のエッジマスクを含む、請求項10に記載の装置。
- 前記2つ以上のソースセグメンテーションマスクは1つ以上のエッジマスクを含み、前記2つ以上のターゲットセグメンテーションマスクは1つ以上の異なるエッジマスクを含む、請求項10に記載の装置。
- 実行可能な命令が具体化された非一時的なコンピュータ可読媒体であって、前記命令はコンピュータによって実行されると、コンピュータアニメーションのための方法を前記コンピュータに実装させ、
前記方法は、
a)2つ以上の対応する視点から特定の瞬間に観測されたキャラクタの2つ以上の対応する同時性ビデオ画像から2つ以上のソースセグメンテーションマスクを生成することと、
b)前記2つ以上の同時性ビデオ画像内の前記キャラクタに対応するアニメーションキャラクタの3次元モデルを生成することであって、前記アニメーションキャラクタの前記3次元モデルを生成することは、前記アニメーションキャラクタと周囲環境との間の関節または接触点に関連するセンサ値を使用して前記アニメーションキャラクタと前記周囲環境との間のインタラクションの物理ベースのシミュレーションの少なくとも2つの時間ステップを実行することによって、前記アニメーションキャラクタの姿勢の実行可能性を評価することを含み、前記アニメーションキャラクタの姿勢の実行可能性を評価することは、前記アニメーションキャラクタがシミュレーションで転倒するかどうかを評価することを含む、前記生成することと、
c)前記2つ以上のビデオ画像内の前記キャラクタに対応する前記アニメーションキャラクタの2つ以上の異なるビューに対応する2つ以上の異なるターゲットセグメンテーションマスクを生成することと、
d)前記2つ以上のターゲットセグメンテーションマスクのそれぞれを前記2つ以上のソースセグメンテーションマスクの対応する1つと比較し、前記比較から、前記アニメーションキャラクタの前記3次元モデルの前記姿勢が前記2つ以上の同時性ビデオ画像内の前記キャラクタの姿勢に対応するかどうかを決定することと、
e)前記アニメーションキャラクタの前記3次元モデルの前記姿勢が前記2つ以上の同時性ビデオ画像内の前記キャラクタの前記姿勢に対応する場合、前記3次元モデルを使用して、前記アニメーションキャラクタのアニメーションフレームを生成することと、
を含む、非一時的なコンピュータ可読媒体。 - 前記方法は、
前記d)後に、前記アニメーションキャラクタの前記姿勢が前記2つ以上の同時性ビデオ画像内の前記キャラクタの前記姿勢に対応しない場合、前記アニメーションキャラクタの前記3次元モデルを調整して、調整されたモデルを生成することと、
f)必要に応じて、前記アニメーションキャラクタの前記姿勢が前記2つ以上の同時性ビデオ画像内の前記キャラクタの前記姿勢に対応するまで、前記b)、前記c)、前記d)、及び前記e)を繰り返すことであって、前記e)は前記調整されたモデルを使用して、前記アニメーションフレームを生成することを含む、前記繰り返すことと、
をさらに含む、請求項19に記載の非一時的なコンピュータ可読媒体。 - 前記2つ以上の同時性ビデオ画像内の前記キャラクタの前記2つ以上の異なるビューは、基準面に対して+45°及び-45°に配向されたビューを含む、請求項19に記載の非一時的なコンピュータ可読媒体。
- 前記2つ以上のターゲットセグメンテーションマスクのそれぞれを前記2つ以上のソースセグメンテーションマスクの前記対応する1つと前記比較することは、その対応するソースセグメンテーションマスクの前記2つ以上のターゲットセグメンテーションマスクのそれぞれの間のIoU(Intersection over Union:共通部分を和集合で除算したもの)を計算することを含む、請求項19に記載の非一時的なコンピュータ可読媒体。
- 前記2つ以上の異なるターゲットセグメンテーションマスクを生成することは、3次元アニメーションデータを使用して2つ以上の対応する異なる角度からアニメーション化されたキャラクタの2つ以上の異なるアニメーションフレームを生成することと、前記2つ以上の異なる基準セグメンテーションマスクを前記2つ以上の異なるアニメーションフレームから生成することとを含む、請求項19に記載の非一時的なコンピュータ可読媒体。
- 前記2つ以上のソースセグメンテーションマスクを生成することは、2つ以上の異なるカメラを用いて2つ以上の対応する異なる角度から2つ以上の同時性ビデオフレームを生成することを含む、請求項19に記載の非一時的なコンピュータ可読媒体。
- 前記2つ以上のソースセグメンテーションマスクは、1つ以上のエッジマスクを含む、請求項19に記載の非一時的なコンピュータ可読媒体。
- 前記2つ以上のターゲットセグメンテーションマスクは、1つ以上のエッジマスクを含む、請求項19に記載の非一時的なコンピュータ可読媒体。
- 前記2つ以上のソースセグメンテーションマスクは1つ以上のエッジマスクを含み、前記2つ以上のターゲットセグメンテーションマスクは1つ以上の異なるエッジマスクを含む、請求項19に記載の非一時的なコンピュータ可読媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US17/095,481 US11763508B2 (en) | 2020-11-11 | 2020-11-11 | Disambiguation of poses |
US17/095,481 | 2020-11-11 | ||
PCT/US2021/058394 WO2022103678A1 (en) | 2020-11-11 | 2021-11-08 | Disambiguation of poses |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2023544215A JP2023544215A (ja) | 2023-10-20 |
JP7490142B2 true JP7490142B2 (ja) | 2024-05-24 |
Family
ID=81454853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023528243A Active JP7490142B2 (ja) | 2020-11-11 | 2021-11-08 | 姿勢の脱曖昧化 |
Country Status (5)
Country | Link |
---|---|
US (1) | US11763508B2 (ja) |
EP (1) | EP4244818A4 (ja) |
JP (1) | JP7490142B2 (ja) |
CN (1) | CN116420170B (ja) |
WO (1) | WO2022103678A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11263796B1 (en) | 2020-11-11 | 2022-03-01 | Sony Interactive Entertainment Inc. | Binocular pose prediction |
US11763508B2 (en) | 2020-11-11 | 2023-09-19 | Sony Interactive Entertainment Inc. | Disambiguation of poses |
US20240062431A1 (en) * | 2022-08-18 | 2024-02-22 | Adobe Inc. | Generating and Propagating Personal Masking Edits |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011238222A (ja) | 2010-04-30 | 2011-11-24 | Liberovision Ag | 多関節オブジェクトモデルのポーズを推定するためのコンピュータ実行方法、仮想画像をレンダリングするためのコンピュータ実行方法、およびソース画像セグメントのセグメント化を決定するためのコンピュータ実行方法 |
Family Cites Families (19)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
BRPI0917864A2 (pt) * | 2008-08-15 | 2015-11-24 | Univ Brown | aparelho e método para estimativa da forma corporal |
US9245177B2 (en) * | 2010-06-02 | 2016-01-26 | Microsoft Technology Licensing, Llc | Limiting avatar gesture display |
US8860732B2 (en) * | 2010-09-27 | 2014-10-14 | Adobe Systems Incorporated | System and method for robust physically-plausible character animation |
US10033979B2 (en) * | 2012-03-23 | 2018-07-24 | Avigilon Fortress Corporation | Video surveillance systems, devices and methods with improved 3D human pose and shape modeling |
JP5791082B2 (ja) | 2012-07-30 | 2015-10-07 | 国立大学法人横浜国立大学 | 画像合成装置、画像合成システム、画像合成方法およびプログラム |
US9818217B2 (en) | 2015-11-10 | 2017-11-14 | Disney Enterprises, Inc. | Data driven design and animation of animatronics |
US11715009B2 (en) | 2016-05-20 | 2023-08-01 | Deepmind Technologies Limited | Training neural networks using synthetic gradients |
US10169903B2 (en) | 2016-06-12 | 2019-01-01 | Apple Inc. | Animation techniques for mobile devices |
US10789754B2 (en) | 2018-07-27 | 2020-09-29 | Adobe Inc. | Generating target-character-animation sequences based on style-aware puppets patterned after source-character-animation sequences |
US11164319B2 (en) | 2018-12-20 | 2021-11-02 | Smith & Nephew, Inc. | Machine learning feature vector generator using depth image foreground attributes |
US10867447B2 (en) * | 2019-01-21 | 2020-12-15 | Capital One Services, Llc | Overlaying 3D augmented reality content on real-world objects using image segmentation |
WO2021092687A1 (en) | 2019-11-15 | 2021-05-20 | Modiface Inc. | End-to-end merge for video object segmentation (vos) |
US11282257B2 (en) | 2019-11-22 | 2022-03-22 | Adobe Inc. | Pose selection and animation of characters using video data and training techniques |
CN111223170B (zh) * | 2020-01-07 | 2022-06-10 | 腾讯科技(深圳)有限公司 | 动画生成方法、装置、电子设备和存储介质 |
CN111383309B (zh) * | 2020-03-06 | 2023-03-17 | 腾讯科技(深圳)有限公司 | 一种骨骼动画驱动方法、装置及存储介质 |
US11238650B2 (en) * | 2020-03-13 | 2022-02-01 | Nvidia Corporation | Self-supervised single-view 3D reconstruction via semantic consistency |
US11263796B1 (en) | 2020-11-11 | 2022-03-01 | Sony Interactive Entertainment Inc. | Binocular pose prediction |
US11763508B2 (en) | 2020-11-11 | 2023-09-19 | Sony Interactive Entertainment Inc. | Disambiguation of poses |
US20220143820A1 (en) | 2020-11-11 | 2022-05-12 | Sony Interactive Entertainment Inc. | Domain adaptation for simulated motor backlash |
-
2020
- 2020-11-11 US US17/095,481 patent/US11763508B2/en active Active
-
2021
- 2021-11-08 CN CN202180075826.2A patent/CN116420170B/zh active Active
- 2021-11-08 EP EP21892626.9A patent/EP4244818A4/en active Pending
- 2021-11-08 JP JP2023528243A patent/JP7490142B2/ja active Active
- 2021-11-08 WO PCT/US2021/058394 patent/WO2022103678A1/en active Application Filing
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011238222A (ja) | 2010-04-30 | 2011-11-24 | Liberovision Ag | 多関節オブジェクトモデルのポーズを推定するためのコンピュータ実行方法、仮想画像をレンダリングするためのコンピュータ実行方法、およびソース画像セグメントのセグメント化を決定するためのコンピュータ実行方法 |
Non-Patent Citations (1)
Title |
---|
Joel Carranza,Christian Theobalt,Marcus A. Magnor,Hans-Peter Seidel,Free-viewpoint video of human actors,ACM Transactions on Graphics,Volume 22,Issue 3,2003年07月01日,pp 569-577,https://doi.org/10.1145/882262.882309 |
Also Published As
Publication number | Publication date |
---|---|
CN116420170A (zh) | 2023-07-11 |
JP2023544215A (ja) | 2023-10-20 |
EP4244818A4 (en) | 2024-03-20 |
US20220148247A1 (en) | 2022-05-12 |
CN116420170B (zh) | 2024-03-12 |
EP4244818A1 (en) | 2023-09-20 |
WO2022103678A1 (en) | 2022-05-19 |
US11763508B2 (en) | 2023-09-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7490142B2 (ja) | 姿勢の脱曖昧化 | |
JP7061238B2 (ja) | 異種のターゲットアニメーションデータを使用してキャラクタをトレーニングする強化学習 | |
Zhao et al. | Robust realtime physics-based motion control for human grasping | |
JP5931215B2 (ja) | 姿勢を推定する方法及び装置 | |
US11861777B2 (en) | Using a determined optimum pose sequence to generate a corresponding sequence of frames of animation of an animation character | |
US9947124B2 (en) | Motion control of active deformable objects | |
JP6915605B2 (ja) | 画像生成装置、ロボット訓練システム、画像生成方法、及び画像生成プログラム | |
WO2020065001A1 (en) | Learning motor primitives and training a machine learning system using a linear-feedback-stabilized policy | |
US20210158141A1 (en) | Control input scheme for machine learning in motion control and physics based animation | |
CN112580582B (zh) | 动作学习方法、装置、介质及电子设备 | |
WO2020185357A1 (en) | Motion transfer of highly dimensional movements to lower dimensional robot movements | |
JP2021065955A (ja) | ロボット制御システム及びその制御方法及びプログラム | |
US20230037339A1 (en) | Contact-aware retargeting of motion | |
Holden et al. | Learning inverse rig mappings by nonlinear regression | |
KR20130067856A (ko) | 손가락 동작을 기반으로 하는 가상 악기 연주 장치 및 방법 | |
Huang et al. | Inverse kinematics using dynamic joint parameters: inverse kinematics animation synthesis learnt from sub-divided motion micro-segments | |
KR101527792B1 (ko) | 상호작용하는 캐릭터를 모델링 하는 방법 및 장치 | |
Kotthäuser et al. | Validating vision and robotic algorithms for dynamic real world environments | |
JP2022189901A (ja) | 学習方法、学習装置、プログラムおよび記録媒体 | |
Wu et al. | Video driven adaptive grasp planning of virtual hand using deep reinforcement learning | |
JP2021135770A (ja) | 情報処理装置及び情報処理方法、コンピュータプログラム、並びに観測装置 | |
JP2009075713A (ja) | 感情判定方法 | |
Borges et al. | Framework for armature-based 3d shape reconstruction of sensorized soft robots in extended reality | |
Akinjala et al. | Animating human movement & gestures on an agent using Microsoft kinect | |
US20240153188A1 (en) | Physics-based simulation of dynamic character motion using generative artificial intelligence |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230627 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230627 |
|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20230627 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231205 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240125 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240514 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7490142 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |