JP7198332B2 - 画像正則化及びリターゲティングシステム - Google Patents
画像正則化及びリターゲティングシステム Download PDFInfo
- Publication number
- JP7198332B2 JP7198332B2 JP2021184773A JP2021184773A JP7198332B2 JP 7198332 B2 JP7198332 B2 JP 7198332B2 JP 2021184773 A JP2021184773 A JP 2021184773A JP 2021184773 A JP2021184773 A JP 2021184773A JP 7198332 B2 JP7198332 B2 JP 7198332B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- body surface
- shape primitives
- retargeting
- representation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
- G06T7/251—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
- G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
- G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30204—Marker
- G06T2207/30208—Marker matrix
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Multimedia (AREA)
- Computer Graphics (AREA)
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
Description
本特許出願は、2015年9月7日出願のニュージーランド特許出願第711,968号「IMAGE REGULARISATION OR INTERPRETATION SYSTEM」の優先利益を主張し、その開示を参照により本明細書に組み込む。
本発明は、一般的に、コンピュータグラフィックスに関し、より詳細には、アニメーションで使用する3Dキャラクタの生成に関する。
Claims (15)
- 画像または画像シーケンスからのリターゲティングの方法であって、
画像の物理的対象の体表上の各マーカポイントにしたがって体表を取得するステップと、
1以上の筋肉に関連付けられた既知の体表位置のグループを参照することによって前記体表の表現を生成するステップであって、前記表現は、前記複数の既知の体表位置の少なくとも1つに重みを適用することによって取得され、前記表現は、生理学ベースのエネルギー方程式から生成され、前記生理学ベースのエネルギー方程式は、L1ノルム正則化を用いる、前記生成するステップと、
誤差関数にしたがって複数の形状プリミティブを評価した結果が誤差閾値以下に収まるかどうかに基づいて、少なくとも1つの仮想対象によって描かれた望ましい物理的状態に前記体表の前記表現をリターゲティングするための前記複数の形状プリミティブの選択を決定するステップとを含み、
前記誤差関数は、前記複数の形状プリミティブの重み付き組み合わせを含み、
前記複数の形状プリミティブの少なくとも1つは、前記1以上の筋肉のサブセットの活性化からシミュレートされたエネルギーよりも、前記生理学ベースのエネルギー方程式によって計算された、より低いシミュレートされたエネルギーの活性化された筋肉制御特徴を有する前記画像の前記対象の生理学的特性に基づいている、方法。 - 前記誤差関数の値をターゲット値の方に調整するステップをさらに含む請求項1の方法。
- 前記画像からアニメーションにリターゲティングするステップをさらに含む請求項1の方法。
- 画像または画像シーケンスからのリターゲティングの方法であって、
画像の物理的対象の体表上の各マーカポイントにしたがって体表を取得するステップと、
1以上の筋肉に関連付けられた既知の体表位置のグループを参照することによって前記体表の表現を生成するステップであって、前記表現は、前記複数の既知の体表位置の少なくとも1つに重みを適用することによって取得され、前記表現は、生理学ベースのエネルギー方程式から生成され、前記生理学ベースのエネルギー方程式は、L1ノルム正則化を用いる、前記生成するステップと、
誤差関数にしたがって複数の形状プリミティブを評価した結果が誤差閾値以下に収まるかどうかに基づいて、少なくとも1つの仮想対象によって描かれた望ましい物理的状態に前記体表の前記表現をリターゲティングするための前記複数の形状プリミティブの選択を決定するステップとを含み、
前記誤差関数は、前記複数の形状プリミティブの重み付き組み合わせを含み、
前記重み付き組み合わせの少なくとも1つは前記複数の形状プリミティブの非線形組み合わせを含み、
前記複数の形状プリミティブの少なくとも1つは、前記1以上の筋肉のサブセットの活性化からシミュレートされたエネルギーよりも、前記生理学ベースのエネルギー方程式によって計算された、より低いシミュレートされたエネルギーの活性化された筋肉制御特徴を有する前記画像の前記対象の生理学的特性に基づいている、方法。 - 前記エネルギー方程式の各値を実質的に最適化するステップをさらに含む請求項4の方法。
- 前記誤差関数の値を実質的に最適化するステップをさらに含む請求項4の方法。
- 前記誤差関数の値をターゲット値の方に調整するステップをさらに含む請求項4の方法。
- 前記非線形組み合わせは、前記重み付き組み合わせ関数の代数展開を使用する請求項4の方法。
- 前記展開は、テイラー展開である請求項8の方法。
- 前記非線形組み合わせは、高次元モデル表現(HDMR)形状プリミティブを使用する請求項4の方法。
- 形状プリミティブ間の共分散が記憶されるかモデルで計算され、相反する動作単位の少なくとも1対またはセットが実質的にゼロの共分散を有するとして規定される請求項4の方法。
- 前記形状プリミティブは、ブレンドシェイプである請求項4の方法。
- 画像または画像シーケンスからのリターゲティングのシステムであって、
画像または画像シーケンスをキャプチャする少なくとも1つの画像キャプチャ装置と、
プロセッサとを含み、前記プロセッサは、
前記キャプチャされた画像または画像シーケンスの複数のマーカを追跡するステップと、
画像の物理的対象の体表上の各マーカポイントにしたがって体表を取得するステップと、
1以上の筋肉に関連付けられた既知の体表位置のグループを参照することによって前記体表の表現を生成するステップであって、前記表現は、前記複数の既知の体表位置の少なくとも1つに重みを適用することによって取得され、前記表現は、生理学ベースのエネルギー方程式から生成され、前記生理学ベースのエネルギー方程式は、L1ノルム正則化を用いる、前記生成するステップと、
誤差関数にしたがって複数の形状プリミティブを評価した結果が誤差閾値以下に収まるかどうかに基づいて、少なくとも1つの仮想対象によって描かれた望ましい物理的状態に前記体表の前記表現をリターゲティングするための前記複数の形状プリミティブの選択を決定するステップと、
前記形状プリミティブをアニメーション生成装置に送信するステップとを実行するようにプログラミングされ、
前記誤差関数は、前記複数の形状プリミティブの重み付き組み合わせを含み、
前記複数の形状プリミティブの少なくとも1つは、前記1以上の筋肉のサブセットの活性化からシミュレートされたエネルギーよりも、前記生理学ベースのエネルギー方程式によって計算された、より低いシミュレートされたエネルギーの活性化された筋肉制御特徴を有する前記画像の前記対象の生理学的特性に基づいている、システム。 - 前記プロセッサは、前記エネルギー方程式の値を実質的に最適化するようにプログラムされる請求項13のシステム。
- 前記形状プリミティブは、ブレンドシェイプである請求項13のシステム。
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
NZ711968 | 2015-09-07 | ||
NZ71196815 | 2015-09-07 | ||
PCT/US2016/050575 WO2017044499A1 (en) | 2015-09-07 | 2016-09-07 | Image regularization and retargeting system |
JP2018531312A JP2018532216A (ja) | 2015-09-07 | 2016-09-07 | 画像正則化及びリターゲティングシステム |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018531312A Division JP2018532216A (ja) | 2015-09-07 | 2016-09-07 | 画像正則化及びリターゲティングシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022028791A JP2022028791A (ja) | 2022-02-16 |
JP7198332B2 true JP7198332B2 (ja) | 2022-12-28 |
Family
ID=58239939
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018531312A Pending JP2018532216A (ja) | 2015-09-07 | 2016-09-07 | 画像正則化及びリターゲティングシステム |
JP2021184773A Active JP7198332B2 (ja) | 2015-09-07 | 2021-11-12 | 画像正則化及びリターゲティングシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018531312A Pending JP2018532216A (ja) | 2015-09-07 | 2016-09-07 | 画像正則化及びリターゲティングシステム |
Country Status (4)
Country | Link |
---|---|
US (3) | US10783690B2 (ja) |
EP (1) | EP3341919A4 (ja) |
JP (2) | JP2018532216A (ja) |
WO (1) | WO2017044499A1 (ja) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3341919A4 (en) | 2015-09-07 | 2019-04-03 | Sony Interactive Entertainment America LLC | PICTURE REGULATORY AND RETARGETING SYSTEM |
US11893671B2 (en) | 2015-09-07 | 2024-02-06 | Sony Interactive Entertainment LLC | Image regularization and retargeting system |
US10573065B2 (en) * | 2016-07-29 | 2020-02-25 | Activision Publishing, Inc. | Systems and methods for automating the personalization of blendshape rigs based on performance capture data |
US10055880B2 (en) | 2016-12-06 | 2018-08-21 | Activision Publishing, Inc. | Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional |
JP7207584B2 (ja) * | 2017-09-01 | 2023-01-18 | 株式会社三洋物産 | 遊技機 |
KR102437456B1 (ko) * | 2017-11-14 | 2022-08-26 | 애플 인크. | 이벤트 카메라-기반 변형가능 물체 추적 |
US11132478B2 (en) | 2018-02-01 | 2021-09-28 | Toyota Motor Engineering & Manufacturing North America, Inc. | Methods for combinatorial constraint in topology optimization using shape transformation |
WO2019177870A1 (en) * | 2018-03-15 | 2019-09-19 | Magic Leap, Inc. | Animating virtual avatar facial movements |
WO2019204164A1 (en) * | 2018-04-16 | 2019-10-24 | Magic Leap, Inc. | Systems and methods for cross-application authoring, transfer, and evaluation of rigging control systems for virtual characters |
WO2019226554A1 (en) | 2018-05-22 | 2019-11-28 | Magic Leap, Inc. | Skeletal systems for animating virtual avatars |
US10783704B2 (en) * | 2018-09-27 | 2020-09-22 | Disney Enterprises, Inc. | Dense reconstruction for narrow baseline motion observations |
JP2022509916A (ja) * | 2018-10-31 | 2022-01-25 | ソウル マシーンズ リミティド | モーフターゲットアニメーション |
US11204743B2 (en) | 2019-04-03 | 2021-12-21 | Hia Technologies, Inc. | Computer system and method for content authoring of a digital conversational character |
US10902618B2 (en) * | 2019-06-14 | 2021-01-26 | Electronic Arts Inc. | Universal body movement translation and character rendering system |
US10848647B1 (en) * | 2019-07-17 | 2020-11-24 | Brendan Bellomo | Composite environment filmmaking devices, systems, products and methods |
WO2021033478A1 (ja) * | 2019-08-16 | 2021-02-25 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
US10949715B1 (en) * | 2019-08-19 | 2021-03-16 | Neon Evolution Inc. | Methods and systems for image and voice processing |
TWI812874B (zh) | 2019-10-01 | 2023-08-21 | 美商杜拜研究特許公司 | 張量乘積之b平滑曲線預測子 |
US11648480B2 (en) | 2020-04-06 | 2023-05-16 | Electronic Arts Inc. | Enhanced pose generation based on generative modeling |
JP2021079146A (ja) * | 2021-02-22 | 2021-05-27 | 株式会社三洋物産 | 遊技機 |
JP7315071B2 (ja) * | 2021-03-03 | 2023-07-26 | 株式会社三洋物産 | 遊技機 |
US11494964B2 (en) * | 2021-04-02 | 2022-11-08 | Sony Interactive Entertainment LLC | 2D/3D tracking and camera/animation plug-ins |
CN113223125B (zh) * | 2021-05-17 | 2023-09-26 | 百度在线网络技术(北京)有限公司 | 一种虚拟形象的面部驱动方法、装置、设备和介质 |
US11887232B2 (en) | 2021-06-10 | 2024-01-30 | Electronic Arts Inc. | Enhanced system for generation of facial models and animation |
US11587278B1 (en) * | 2021-08-16 | 2023-02-21 | Unity Technologies Sf | Systems and methods for computer animation of an artificial character using facial poses from a live actor |
WO2023075771A1 (en) * | 2021-10-28 | 2023-05-04 | Hewlett-Packard Development Company, L.P. | Avatar training images for training machine learning model |
US20230143019A1 (en) * | 2021-11-10 | 2023-05-11 | Evr Studio Co., Ltd. | Method of generating facial expression and three-dimensional (3d) graphic interface device using the same |
JP7204984B1 (ja) | 2022-06-29 | 2023-01-16 | カバー株式会社 | プログラム、方法、情報処理装置 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009070380A (ja) | 2007-09-11 | 2009-04-02 | Sony Computer Entertainment America Inc | モーションキャプチャデータを使用する顔面アニメーション |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6856958B2 (en) * | 2000-09-05 | 2005-02-15 | Lucent Technologies Inc. | Methods and apparatus for text to speech processing using language independent prosody markup |
JP2003044873A (ja) * | 2001-08-01 | 2003-02-14 | Univ Waseda | 顔の3次元モデルの作成方法及びその変形方法 |
US20050240311A1 (en) * | 2002-03-04 | 2005-10-27 | Herschel Rabitz | Closed-loop apparatuses for non linear system identification via optimal control |
US8013852B2 (en) * | 2002-08-02 | 2011-09-06 | Honda Giken Kogyo Kabushiki Kaisha | Anthropometry-based skeleton fitting |
US7068277B2 (en) * | 2003-03-13 | 2006-06-27 | Sony Corporation | System and method for animating a digital facial model |
US20070282480A1 (en) * | 2003-11-10 | 2007-12-06 | Pannese Patrick D | Methods and systems for controlling a semiconductor fabrication process |
US7437392B2 (en) * | 2004-01-07 | 2008-10-14 | International Business Machines Corporation | Transitioning a filter function of a two-port lattice-form planar waveguide optical delay line circuit filter from a start filter function to a target filter function |
US20060009978A1 (en) * | 2004-07-02 | 2006-01-12 | The Regents Of The University Of Colorado | Methods and systems for synthesis of accurate visible speech via transformation of motion capture data |
US7676081B2 (en) * | 2005-06-17 | 2010-03-09 | Microsoft Corporation | Image segmentation of foreground from background layers |
JP5028041B2 (ja) * | 2006-07-14 | 2012-09-19 | 親良 炭 | ビームフォーミング装置及び方法 |
US7733346B2 (en) * | 2006-07-28 | 2010-06-08 | Sony Corporation | FACS solving in motion capture |
US8842933B2 (en) | 2009-11-10 | 2014-09-23 | Sony Corporation | Facial motion capture using marker patterns that accommodate facial surface |
EP2674913B1 (en) * | 2012-06-14 | 2014-07-23 | Softkinetic Software | Three-dimensional object modelling fitting & tracking. |
US9245176B2 (en) * | 2012-08-01 | 2016-01-26 | Disney Enterprises, Inc. | Content retargeting using facial layers |
US20140050392A1 (en) * | 2012-08-15 | 2014-02-20 | Samsung Electronics Co., Ltd. | Method and apparatus for detecting and tracking lips |
US9892539B2 (en) * | 2013-01-11 | 2018-02-13 | Disney Enterprises, Inc. | Fast rig-based physics simulation |
US9378576B2 (en) * | 2013-06-07 | 2016-06-28 | Faceshift Ag | Online modeling for real-time facial animation |
US9325936B2 (en) * | 2013-08-09 | 2016-04-26 | Samsung Electronics Co., Ltd. | Hybrid visual communication |
GB2521171B (en) * | 2013-12-11 | 2020-02-05 | Advanced Risc Mach Ltd | Clipping of graphics primitives |
US9361510B2 (en) * | 2013-12-13 | 2016-06-07 | Intel Corporation | Efficient facial landmark tracking using online shape regression method |
US9477878B2 (en) * | 2014-01-28 | 2016-10-25 | Disney Enterprises, Inc. | Rigid stabilization of facial expressions |
WO2016092563A2 (en) * | 2014-12-11 | 2016-06-16 | Indian Institute Of Technology Gandhinagar | Smart eye system for visuomotor dysfuntion diagnosis and its operant conditioning |
US9830728B2 (en) * | 2014-12-23 | 2017-11-28 | Intel Corporation | Augmented facial animation |
US10130261B2 (en) * | 2015-06-14 | 2018-11-20 | Facense Ltd. | Detecting physiological responses while taking into account consumption of confounding substances |
EP3341919A4 (en) | 2015-09-07 | 2019-04-03 | Sony Interactive Entertainment America LLC | PICTURE REGULATORY AND RETARGETING SYSTEM |
US9639737B2 (en) * | 2015-09-29 | 2017-05-02 | Eth Zürich (Eidgenöessische Technische Hochschule Zürich) | Methods and systems of performing performance capture using an anatomically-constrained local model |
-
2016
- 2016-09-07 EP EP16844985.8A patent/EP3341919A4/en active Pending
- 2016-09-07 JP JP2018531312A patent/JP2018532216A/ja active Pending
- 2016-09-07 WO PCT/US2016/050575 patent/WO2017044499A1/en active Application Filing
-
2018
- 2018-03-06 US US15/913,825 patent/US10783690B2/en active Active
-
2020
- 2020-07-09 US US16/925,320 patent/US11176725B2/en active Active
-
2021
- 2021-11-03 US US17/518,521 patent/US11908057B2/en active Active
- 2021-11-12 JP JP2021184773A patent/JP7198332B2/ja active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009070380A (ja) | 2007-09-11 | 2009-04-02 | Sony Computer Entertainment America Inc | モーションキャプチャデータを使用する顔面アニメーション |
Also Published As
Publication number | Publication date |
---|---|
US20200342649A1 (en) | 2020-10-29 |
EP3341919A4 (en) | 2019-04-03 |
US11176725B2 (en) | 2021-11-16 |
US20180197322A1 (en) | 2018-07-12 |
WO2017044499A1 (en) | 2017-03-16 |
US20220058849A1 (en) | 2022-02-24 |
US11908057B2 (en) | 2024-02-20 |
EP3341919A1 (en) | 2018-07-04 |
US10783690B2 (en) | 2020-09-22 |
JP2018532216A (ja) | 2018-11-01 |
JP2022028791A (ja) | 2022-02-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7198332B2 (ja) | 画像正則化及びリターゲティングシステム | |
US10810780B2 (en) | Systems and methods for real-time complex character animations and interactivity | |
KR102616010B1 (ko) | 포토리얼리스틱 실시간 인물 애니메이션을 위한 시스템 및 방법 | |
Ichim et al. | Dynamic 3D avatar creation from hand-held video input | |
Bailey et al. | Fast and deep deformation approximations | |
US11875458B2 (en) | Fast and deep facial deformations | |
US10565792B2 (en) | Approximating mesh deformations for character rigs | |
AU2014277220B2 (en) | Online modeling for real-time facial animation | |
JP5344358B2 (ja) | 演技から作り出される顔アニメーション | |
Santesteban et al. | SoftSMPL: Data‐driven Modeling of Nonlinear Soft‐tissue Dynamics for Parametric Humans | |
JP2022503647A (ja) | クロスドメイン画像変換 | |
US10783716B2 (en) | Three dimensional facial expression generation | |
WO2020247174A1 (en) | Single image-based real-time body animation | |
US20230169727A1 (en) | Generative Nonlinear Human Shape Models | |
US11893671B2 (en) | Image regularization and retargeting system | |
US20230079478A1 (en) | Face mesh deformation with detailed wrinkles | |
Li et al. | Efficient Deformation Learning of Varied Garments with a Structure-Preserving Multilevel Framework | |
CN117671090A (zh) | 一种表情处理方法、装置、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211208 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221110 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20221129 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20221216 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7198332 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |