JP4865093B2 - 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム - Google Patents
顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム Download PDFInfo
- Publication number
- JP4865093B2 JP4865093B2 JP2011029319A JP2011029319A JP4865093B2 JP 4865093 B2 JP4865093 B2 JP 4865093B2 JP 2011029319 A JP2011029319 A JP 2011029319A JP 2011029319 A JP2011029319 A JP 2011029319A JP 4865093 B2 JP4865093 B2 JP 4865093B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- facial
- expression
- different
- subdivision
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
- 238000000034 method Methods 0.000 title claims description 103
- 230000008921 facial expression Effects 0.000 title claims description 99
- 230000001815 facial effect Effects 0.000 title claims description 45
- 230000009466 transformation Effects 0.000 title claims description 29
- 230000014509 gene expression Effects 0.000 claims description 54
- 210000000887 face Anatomy 0.000 claims description 31
- 238000012549 training Methods 0.000 claims description 31
- 210000001508 eye Anatomy 0.000 claims description 23
- 238000006243 chemical reaction Methods 0.000 claims description 18
- 238000005457 optimization Methods 0.000 claims description 11
- 230000008859 change Effects 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 230000006978 adaptation Effects 0.000 claims description 3
- 238000013507 mapping Methods 0.000 claims description 3
- 230000033001 locomotion Effects 0.000 description 59
- 230000006870 function Effects 0.000 description 30
- 230000008569 process Effects 0.000 description 27
- 238000009877 rendering Methods 0.000 description 25
- 238000005259 measurement Methods 0.000 description 18
- 238000005286 illumination Methods 0.000 description 14
- 239000000523 sample Substances 0.000 description 14
- 238000006073 displacement reaction Methods 0.000 description 10
- 238000004422 calculation algorithm Methods 0.000 description 9
- 238000004364 calculation method Methods 0.000 description 9
- 210000003128 head Anatomy 0.000 description 9
- 238000012545 processing Methods 0.000 description 9
- 238000002310 reflectometry Methods 0.000 description 9
- 239000002131 composite material Substances 0.000 description 8
- 230000000694 effects Effects 0.000 description 6
- 230000003287 optical effect Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 210000000744 eyelid Anatomy 0.000 description 5
- 230000006855 networking Effects 0.000 description 5
- 239000013598 vector Substances 0.000 description 5
- 238000013459 approach Methods 0.000 description 4
- 210000005252 bulbus oculi Anatomy 0.000 description 4
- 238000004891 communication Methods 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 3
- 230000001143 conditioned effect Effects 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000004886 head movement Effects 0.000 description 2
- 238000012886 linear function Methods 0.000 description 2
- 230000005055 memory storage Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 241000255969 Pieris brassicae Species 0.000 description 1
- 238000012952 Resampling Methods 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 238000013528 artificial neural network Methods 0.000 description 1
- 230000003190 augmentative effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 238000000354 decomposition reaction Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000009795 derivation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000009792 diffusion process Methods 0.000 description 1
- 238000005315 distribution function Methods 0.000 description 1
- 230000008451 emotion Effects 0.000 description 1
- 239000013604 expression vector Substances 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 210000000720 eyelash Anatomy 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000001788 irregular Effects 0.000 description 1
- 238000009304 pastoral farming Methods 0.000 description 1
- 210000001747 pupil Anatomy 0.000 description 1
- 239000000700 radioactive tracer Substances 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 239000013074 reference sample Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000036548 skin texture Effects 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001131 transforming effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/10—Constructive solid geometry [CSG] using solid primitives, e.g. cylinders, cubes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
- G06T17/205—Re-meshing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2200/00—Indexing scheme for image data processing or generation, in general
- G06T2200/08—Indexing scheme for image data processing or generation, in general involving all processing steps from image acquisition to 3D model generation
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S345/00—Computer graphics processing and selective visual display systems
- Y10S345/949—Animation processing method
- Y10S345/956—Language driven animation
Landscapes
- Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Image Analysis (AREA)
Description
上述してきた実施形態によれば、顔をリアル感のある顔にモデリングし、レンダリングするという高い基準を満たしてから、人間の顔と同じように親しみのある画像が信頼できる形で表示できるようにするという難題を解決するシステムと方法が提供されている。このアプローチの考え方は、顔モデルが実際に現実の顔に似るように、可能な限り測定を利用することにある。顔のジオメトリは、異なる顔に共通して統一した接続性と対応性をもつ、変位でマッピングされた細分面で表されている。反射率は、従来による人間の皮膚のBRDF測定から得られ、その測定が新規な測定と併用されて、複数の視点(ビュー)が拡散反射率を表す、単一の照明補正テクスチャマップになるように結合されている。動きは、上述した動き取り込み手法によって得られ、その動きが、改良された変形方法を使用して顔モデルに適用されることによって、シェーディング面に適した動きが得られるようにしている。レンダリングのリアル感は、現実の顔のジオメトリ、動きおよび反射率を物理ベースのレンダラ (physically-based renderer) で使用することによって大幅に向上されている。
202 カメラ
202a カメラのレンズ
204、206 光源
400 コードブック
402 トレーニング表情集合
406 変換プロセッサ
408 変換関数
410 合成表情集合
602 トランスミッタ(送信側)
604 レシーバ(受信側)
606 再構築モジュール
Claims (12)
- 顔の特徴をアニメーション化するシステムであって、
(1)複数の異なる顔の幾何学的形状(geometry)を近似する細分面(a single subdivision surface)を定義する手段であって、前記細分面は変換関数からの変換された表情(facial expressions)を表す粗メッシュ構造によって定義され、前記変換関数は(a)前記複数の異なる顔とは別の顔の表情を元とするトレーニング表情集合(a training set of facial expressions)と(b)前記複数の異なる顔の中のそれぞれの顔の表情を元とする集合(a set of facial expressions)を含むコードブックとを含むデータから導かれ、前記トレーニング表情集合に属するそれぞれの表情は前記コードブックの中のどれか1つの表情に対応し、前記変換関数は更に前記訓練用集合と関連する変形を特徴付けるように構成されている、定義手段と、
(2)前記細分面を前記コードブックの中の複数の顔のそれぞれに適合させる手段であって、(c)前記細分面の頂点位置に関して最適化動作を実行する手段と(d)前記細分面を定義する粗メッシュ構造の接続関係(connectivity)を変更せずに前記細分面を前記複数の異なる顔に適合させる手段とを含む、適合手段と、
を含むことを特徴とするシステム。 - 請求項1に記載のシステムにおいて、前記粗メッシュ構造は三角メッシュによって構成されることを特徴とするシステム。
- 請求項1記載のシステムにおいて、前記適合手段は、前記細分面を定義する粗メッシュ構造と関連する平滑化汎関数(smoothing functional)を最小化する手段を含むことを特徴とするシステム。
- 請求項1記載のシステムにおいて、前記適合手段は、前記細分面を定義する粗メッシュ構造と関連する1又は複数の制約(constraints)を選択する手段と、前記1又は複数の制約を前記複数の異なる顔の上の対応する点に直接的に適合させる手段と、を含むことを特徴とするシステム。
- 請求項4記載のシステムにおいて、前記1又は複数の制約は目、鼻又は口の中の1つと関連することを特徴とするシステム。
- 請求項1記載のシステムにおいて、前記適合手段は、距離と平滑性と制約とのための項を含む汎関数を最小化する手段を含むことを特徴とするシステム。
- 請求項1記載のシステムにおいて、前記適合手段は、一連の線形最小自乗問題を解く手段を含むことを特徴とするシステム。
- 顔の特徴を表示してアニメーション化する方法であって、
(1)複数の異なる顔の幾何学的形状を近似する細分面を定義するステップであって、前記細分面は変換関数からの変換された表情を表す粗メッシュ構造によって定義され、前記変換関数は(a)前記複数の異なる顔とは別の顔の表情を元とするトレーニング表情集合と(b)前記複数の異なる顔の中のそれぞれの顔の表情を元とする集合を含むコードブックとを含むデータから導かれ、前記トレーニング表情集合に属するそれぞれの表情は前記コードブックの中のどれか1つの表情に対応し、前記変換関数は更に前記トレーニング表情集合と関連する変形を特徴付けるように構成されている、ステップと、
(2)前記細分面を前記コードブックの中の複数の顔のそれぞれに適合させて前記複数の異なる顔の間の対応関係を確立するステップであって、前記適合は(c)前記細分面の頂点位置に関する最適化動作の実行と(d)細分面を定義するベース・メッシュの前記ベース・メッシュの接続関係を変更しない操作とを含む、ステップと、
(3)前記複数の異なる顔の間の対応関係を用いて或る顔の表情を別の顔の表情に変換するステップと、
(4)前記顔の特徴を表示するステップと、
を含むことを特徴とする方法。 - 顔の特徴を表示してアニメーション化する方法であって、
(1)複数の異なる顔に対する3次元データを測定して対応する顔モデルを提供するステップと、
(2)それぞれの対応する顔モデルにマップするのに用いられる汎用顔モデル(generic face model)をただ1つ定義するステップであって、前記汎用顔モデルは変換関数からの変換された表情を表す粗メッシュ構造によって定義され、前記変換関数は(a)前記複数の異なる顔とは別の顔の表情を元とするトレーニング表情集合と(b)前記複数の異なる顔の中のそれぞれの顔の表情を元とする集合を含むコードブックとを含むデータから導かれ、前記トレーニング表情集合に属するそれぞれの表情は前記コードブックの中のどれか1つの表情に対応し、前記変換関数は更に前記トレーニング表情集合と関連する変形を特徴付けるように構成されている、ステップと、
(3)前記対応する顔モデルのそれぞれにおける対応する点に直接にマップされる前記汎用顔モデルの上の複数の点を選択するステップと、
(4)前記汎用顔モデルを前記コードブックの中の前記対応する顔モデルのそれぞれに適合させるステップであって、(c)前記選択されたそれぞれの点を前記対応する顔モデルのそれぞれにおける前記対応する点に直接にマップするステップと、(d)細分面の頂点位置に関する最適化動作を実行するステップと、(e)細分面を定義するベース・メッシュを前記ベース・メッシュの接続関係を変更しないで操作するステップとを含む、ステップと、
(5)前記顔の特徴を表示するステップと、
を含むことを特徴とする方法。 - 請求項9記載の方法において、
前記定義するステップは、複数の頂点を含み前記顔モデルの幾何学的形状を近似する細分面をベース・メッシュ構造から定義するステップを含み、
前記適合させるステップは、前記細分面の頂点の位置だけを操作するステップを含むことを特徴とする方法。 - 請求項9記載の方法において、前記適合させるステップは、細分面を定義するベース・メッシュを操作するステップを含むことを特徴とする方法。
- 請求項9記載の方法において、前記測定するステップは、レーザ・レンジ・スキャンを用いて前記3次元データを測定するステップを含むことを特徴とする方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US09/651880 | 2000-08-30 | ||
US09/651,880 US6950104B1 (en) | 2000-08-30 | 2000-08-30 | Methods and systems for animating facial features, and methods and systems for expression transformation |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001261558A Division JP4733318B2 (ja) | 2000-08-30 | 2001-08-30 | 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011100497A JP2011100497A (ja) | 2011-05-19 |
JP4865093B2 true JP4865093B2 (ja) | 2012-02-01 |
Family
ID=24614598
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001261558A Expired - Lifetime JP4733318B2 (ja) | 2000-08-30 | 2001-08-30 | 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム |
JP2011029319A Expired - Lifetime JP4865093B2 (ja) | 2000-08-30 | 2011-02-15 | 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム |
Family Applications Before (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2001261558A Expired - Lifetime JP4733318B2 (ja) | 2000-08-30 | 2001-08-30 | 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム |
Country Status (2)
Country | Link |
---|---|
US (4) | US6950104B1 (ja) |
JP (2) | JP4733318B2 (ja) |
Families Citing this family (137)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8725493B2 (en) * | 2004-01-06 | 2014-05-13 | Neuric Llc | Natural language parsing method to provide conceptual flow |
US7925492B2 (en) | 2004-01-06 | 2011-04-12 | Neuric Technologies, L.L.C. | Method for determining relationships through use of an ordered list between processing nodes in an emulated human brain |
US20070156625A1 (en) * | 2004-01-06 | 2007-07-05 | Neuric Technologies, Llc | Method for movie animation |
US7089218B1 (en) * | 2004-01-06 | 2006-08-08 | Neuric Technologies, Llc | Method for inclusion of psychological temperament in an electronic emulation of the human brain |
FR2810770B1 (fr) * | 2000-06-23 | 2003-01-03 | France Telecom | Raffinement d'un maillage triangulaire representatif d'un objet en trois dimensions |
EP1358633A2 (en) * | 2001-02-01 | 2003-11-05 | Mental Images GmbH & Co. KG. | Generating smooth feature lines for subdivision surfaces |
US9400921B2 (en) * | 2001-05-09 | 2016-07-26 | Intel Corporation | Method and system using a data-driven model for monocular face tracking |
US20030067538A1 (en) * | 2001-10-04 | 2003-04-10 | Myers Kenneth J. | System and method for three-dimensional data acquisition |
JP3911527B2 (ja) * | 2002-01-17 | 2007-05-09 | 富士通株式会社 | 携帯端末、携帯端末処理用プログラム及び携帯端末システム |
US8013852B2 (en) | 2002-08-02 | 2011-09-06 | Honda Giken Kogyo Kabushiki Kaisha | Anthropometry-based skeleton fitting |
US7218320B2 (en) * | 2003-03-13 | 2007-05-15 | Sony Corporation | System and method for capturing facial and body motion |
US8106911B2 (en) * | 2003-03-13 | 2012-01-31 | Sony Corporation | Mobile motion capture cameras |
US7333113B2 (en) | 2003-03-13 | 2008-02-19 | Sony Corporation | Mobile motion capture cameras |
US7573480B2 (en) * | 2003-05-01 | 2009-08-11 | Sony Corporation | System and method for capturing facial and body motion |
US7358972B2 (en) * | 2003-05-01 | 2008-04-15 | Sony Corporation | System and method for capturing facial and body motion |
US7218774B2 (en) * | 2003-08-08 | 2007-05-15 | Microsoft Corp. | System and method for modeling three dimensional objects from a single image |
US7285047B2 (en) * | 2003-10-17 | 2007-10-23 | Hewlett-Packard Development Company, L.P. | Method and system for real-time rendering within a gaming environment |
JP4721052B2 (ja) * | 2004-01-13 | 2011-07-13 | 日本電気株式会社 | 特徴変化画像作成方法、特徴変化画像作成装置および特徴変化画像作成プログラム |
JP2005225025A (ja) * | 2004-02-12 | 2005-08-25 | Konica Minolta Holdings Inc | 顔画像処理システム |
US9826537B2 (en) | 2004-04-02 | 2017-11-21 | Rearden, Llc | System and method for managing inter-cluster handoff of clients which traverse multiple DIDO clusters |
US8654815B1 (en) | 2004-04-02 | 2014-02-18 | Rearden, Llc | System and method for distributed antenna wireless communications |
US10277290B2 (en) | 2004-04-02 | 2019-04-30 | Rearden, Llc | Systems and methods to exploit areas of coherence in wireless systems |
US9819403B2 (en) | 2004-04-02 | 2017-11-14 | Rearden, Llc | System and method for managing handoff of a client between different distributed-input-distributed-output (DIDO) networks based on detected velocity of the client |
US10425134B2 (en) | 2004-04-02 | 2019-09-24 | Rearden, Llc | System and methods for planned evolution and obsolescence of multiuser spectrum |
US20060055706A1 (en) * | 2004-09-15 | 2006-03-16 | Perlman Stephen G | Apparatus and method for capturing the motion of a performer |
US7561312B1 (en) * | 2004-10-04 | 2009-07-14 | Google Inc. | Systems and methods for glare removal using polarized filtering in document scanning |
US8473449B2 (en) * | 2005-01-06 | 2013-06-25 | Neuric Technologies, Llc | Process of dialogue and discussion |
US7633521B2 (en) * | 2005-02-25 | 2009-12-15 | Onlive, Inc. | Apparatus and method improving marker identification within a motion capture system |
US7605861B2 (en) * | 2005-03-10 | 2009-10-20 | Onlive, Inc. | Apparatus and method for performing motion capture using shutter synchronization |
NZ561570A (en) | 2005-03-16 | 2010-02-26 | Lucasfilm Entertainment Compan | Three-dimensional motion capture |
US8963926B2 (en) * | 2006-07-11 | 2015-02-24 | Pandoodle Corporation | User customized animated video and method for making the same |
US8077179B2 (en) * | 2005-07-11 | 2011-12-13 | Pandoodle Corp. | System and method for creating animated video with personalized elements |
US20070065000A1 (en) * | 2005-09-21 | 2007-03-22 | Joonpyo Hong | Apparatus and method for producing character sculpture |
US8659668B2 (en) | 2005-10-07 | 2014-02-25 | Rearden, Llc | Apparatus and method for performing motion capture using a random pattern on capture surfaces |
EP1964069A2 (en) * | 2005-12-16 | 2008-09-03 | Philips Intellectual Property & Standards GmbH | Surface tesselation of shape models |
US7764283B2 (en) * | 2005-12-23 | 2010-07-27 | Sony Corporation | Eye movement data replacement in motion capture |
US7567251B2 (en) * | 2006-01-10 | 2009-07-28 | Sony Corporation | Techniques for creating facial animation using a face mesh |
US7936927B2 (en) * | 2006-01-27 | 2011-05-03 | Auryn Inc. | Constraint-based ordering for temporal coherence of stroke-based animation |
WO2007092795A2 (en) * | 2006-02-02 | 2007-08-16 | Neuric Technologies, Llc | Method for movie animation |
US7548272B2 (en) * | 2006-06-07 | 2009-06-16 | Onlive, Inc. | System and method for performing motion capture using phosphor application techniques |
US7567293B2 (en) * | 2006-06-07 | 2009-07-28 | Onlive, Inc. | System and method for performing motion capture by strobing a fluorescent lamp |
US7667767B2 (en) * | 2006-06-07 | 2010-02-23 | Onlive, Inc. | System and method for three dimensional capture of stop-motion animated characters |
US8330823B2 (en) * | 2006-11-01 | 2012-12-11 | Sony Corporation | Capturing surface in motion picture |
KR100900823B1 (ko) | 2006-12-02 | 2009-06-04 | 한국전자통신연구원 | 캐릭터 애니메이션 시 피부의 주름 실시간 표현 방법 및장치 |
US8542236B2 (en) * | 2007-01-16 | 2013-09-24 | Lucasfilm Entertainment Company Ltd. | Generating animation libraries |
US8130225B2 (en) | 2007-01-16 | 2012-03-06 | Lucasfilm Entertainment Company Ltd. | Using animation libraries for object identification |
US8199152B2 (en) * | 2007-01-16 | 2012-06-12 | Lucasfilm Entertainment Company Ltd. | Combining multiple session content for animation libraries |
US8035643B2 (en) * | 2007-03-19 | 2011-10-11 | Lucasfilm Entertainment Company Ltd. | Animation retargeting |
US7952590B2 (en) * | 2007-04-13 | 2011-05-31 | Lucasfilm Entertainment Company Ltd. | Texturing a translucent surface |
US9342912B1 (en) * | 2007-06-06 | 2016-05-17 | Lucasfilm Entertainment Company Ltd. | Animation control retargeting |
KR100856824B1 (ko) * | 2007-07-23 | 2008-09-05 | 재단법인서울대학교산학협력재단 | 캐릭터 시뮬레이션 방법 및 시스템 |
JP4572220B2 (ja) * | 2007-07-31 | 2010-11-04 | 株式会社コナミデジタルエンタテインメント | 画像表示装置、画像表示方法、ならびに、プログラム |
CN101883520B (zh) * | 2007-08-22 | 2013-02-06 | 皇家飞利浦电子股份有限公司 | 用于表面的光学表征的方法和设备 |
EP2191445B1 (en) * | 2007-09-04 | 2017-05-31 | Sony Corporation | Integrated motion capture |
US20090103783A1 (en) * | 2007-10-19 | 2009-04-23 | Artec Ventures | System and Method for Biometric Behavior Context-Based Human Recognition |
US8144153B1 (en) | 2007-11-20 | 2012-03-27 | Lucasfilm Entertainment Company Ltd. | Model production for animation libraries |
KR100914847B1 (ko) * | 2007-12-15 | 2009-09-02 | 한국전자통신연구원 | 다시점 영상정보를 이용한 삼차원 얼굴 모델 생성방법 및장치 |
KR100896065B1 (ko) * | 2007-12-17 | 2009-05-07 | 한국전자통신연구원 | 3차원 얼굴 표정 애니메이션 생성 방법 |
EP2257864A1 (en) * | 2008-01-28 | 2010-12-08 | Anoto AB | Digital pens and a method for digital recording of information |
WO2010004466A1 (en) * | 2008-07-10 | 2010-01-14 | C-True Ltd. | Three dimensional mesh modeling |
CA2745094A1 (en) * | 2008-12-04 | 2010-07-01 | Total Immersion Software, Inc. | Systems and methods for dynamically injecting expression information into an animated facial mesh |
US9142024B2 (en) * | 2008-12-31 | 2015-09-22 | Lucasfilm Entertainment Company Ltd. | Visual and physical motion sensing for three-dimensional motion capture |
US8493286B1 (en) | 2009-04-21 | 2013-07-23 | Mark T. Agrama | Facial movement measurement and stimulation apparatus and method |
CN101872488B (zh) * | 2009-04-27 | 2012-05-16 | 鸿富锦精密工业(深圳)有限公司 | 曲面渲染系统及方法 |
KR20100138648A (ko) * | 2009-06-25 | 2010-12-31 | 삼성전자주식회사 | 영상 처리 장치 및 방법 |
US8194149B2 (en) * | 2009-06-30 | 2012-06-05 | Cisco Technology, Inc. | Infrared-aided depth estimation |
US20110025685A1 (en) * | 2009-07-29 | 2011-02-03 | Doug Epps | Combined geometric and shape from shading capture |
US9595108B2 (en) | 2009-08-04 | 2017-03-14 | Eyecue Vision Technologies Ltd. | System and method for object extraction |
CN102713931A (zh) * | 2009-08-04 | 2012-10-03 | 艾修视力科技有限公司 | 用于对象提取的系统和方法 |
US20110102449A1 (en) * | 2009-11-02 | 2011-05-05 | Konami Digital Entertainment Co., Ltd. | Image Display Device, Image Display Method and Computer-Readable Information Recording Medium |
US8614714B1 (en) | 2009-12-21 | 2013-12-24 | Lucasfilm Entertainment Company Ltd. | Combining shapes for animation |
CN101833791B (zh) * | 2010-05-11 | 2012-04-18 | 成都索贝数码科技股份有限公司 | 一种单摄像机下的场景建模方法及系统 |
KR20120005587A (ko) * | 2010-07-09 | 2012-01-17 | 삼성전자주식회사 | 컴퓨터 시스템에서 얼굴 애니메이션 생성 방법 및 장치 |
EP2630635B1 (en) * | 2010-10-21 | 2021-04-21 | Samsung Electronics Co., Ltd. | Method and apparatus for recognizing an emotion of an individual based on facial action units |
US8629875B2 (en) * | 2010-11-09 | 2014-01-14 | Qualcomm Incorporated | Constraint systems and methods for manipulating non-hierarchical objects |
US9082222B2 (en) * | 2011-01-18 | 2015-07-14 | Disney Enterprises, Inc. | Physical face cloning |
KR101261737B1 (ko) | 2011-06-13 | 2013-05-09 | 한국과학기술원 | 얼굴 애니메이션 리타게팅 방법 및 이를 위한 기록 매체 |
US8948447B2 (en) | 2011-07-12 | 2015-02-03 | Lucasfilm Entertainment Companyy, Ltd. | Scale independent tracking pattern |
KR20130028370A (ko) * | 2011-09-09 | 2013-03-19 | 삼성전자주식회사 | 영상 모델링 시스템에서 형상 정보, 재질 정보 및 조명 정보를 획득하는 장치 및 방법 |
WO2013074926A1 (en) | 2011-11-18 | 2013-05-23 | Lucasfilm Entertainment Company Ltd. | Path and speed based character control |
US20130218525A1 (en) * | 2012-02-16 | 2013-08-22 | IntegrityWare, Inc. | Methods and Systems for Generating and Editing Surfaces |
KR102094723B1 (ko) * | 2012-07-17 | 2020-04-14 | 삼성전자주식회사 | 견고한 얼굴 표정 인식을 위한 특징 기술자 |
US9531961B2 (en) | 2015-05-01 | 2016-12-27 | Duelight Llc | Systems and methods for generating a digital image using separate color and intensity data |
US9918017B2 (en) | 2012-09-04 | 2018-03-13 | Duelight Llc | Image sensor apparatus and method for obtaining multiple exposures with zero interframe time |
US9898848B2 (en) * | 2012-10-05 | 2018-02-20 | Max-Planck-Gesellschaft Zur Foerderung Der Wissenschaften E. V. | Co-registration—simultaneous alignment and modeling of articulated 3D shapes |
US11189917B2 (en) | 2014-04-16 | 2021-11-30 | Rearden, Llc | Systems and methods for distributing radioheads |
US10558848B2 (en) | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
US9807322B2 (en) | 2013-03-15 | 2017-10-31 | Duelight Llc | Systems and methods for a digital image sensor |
US9819849B1 (en) | 2016-07-01 | 2017-11-14 | Duelight Llc | Systems and methods for capturing digital images |
US9973246B2 (en) | 2013-03-12 | 2018-05-15 | Rearden, Llc | Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology |
US10488535B2 (en) | 2013-03-12 | 2019-11-26 | Rearden, Llc | Apparatus and method for capturing still images and video using diffraction coded imaging techniques |
US9923657B2 (en) | 2013-03-12 | 2018-03-20 | Rearden, Llc | Systems and methods for exploiting inter-cell multiplexing gain in wireless cellular systems via distributed input distributed output technology |
RU2767777C2 (ru) | 2013-03-15 | 2022-03-21 | Риарден, Ллк | Системы и способы радиочастотной калибровки с использованием принципа взаимности каналов в беспроводной связи с распределенным входом - распределенным выходом |
US10134167B2 (en) | 2013-03-15 | 2018-11-20 | Dreamworks Animation Llc | Using curves to emulate soft body deformation |
US9514381B1 (en) | 2013-03-15 | 2016-12-06 | Pandoodle Corporation | Method of identifying and replacing an object or area in a digital image with another object or area |
US9418434B2 (en) * | 2013-04-03 | 2016-08-16 | Mitsubishi Electric Research Laboratories, Inc. | Method for detecting 3D geometric boundaries in images of scenes subject to varying lighting |
CN103198508A (zh) * | 2013-04-07 | 2013-07-10 | 河北工业大学 | 人脸表情动画生成方法 |
EP3004924B1 (en) * | 2013-06-06 | 2021-10-06 | Heptagon Micro Optics Pte. Ltd. | Sensor system with active illumination |
CN106133796B (zh) | 2014-03-25 | 2019-07-16 | 苹果公司 | 用于在真实环境的视图中表示虚拟对象的方法和系统 |
JP6346525B2 (ja) * | 2014-08-29 | 2018-06-20 | アルプス電気株式会社 | 視線検出装置 |
US10924688B2 (en) | 2014-11-06 | 2021-02-16 | Duelight Llc | Image sensor apparatus and method for obtaining low-noise, high-speed captures of a photographic scene |
US11463630B2 (en) | 2014-11-07 | 2022-10-04 | Duelight Llc | Systems and methods for generating a high-dynamic range (HDR) pixel stream |
EP3032241B1 (en) * | 2014-12-11 | 2023-03-01 | X-Rite Europe GmbH | Method and apparatus for digitizing the appearance of a real material |
US9958383B2 (en) * | 2014-12-18 | 2018-05-01 | Microsoft Technology Licensing, Llc. | Range camera |
WO2016132113A1 (en) * | 2015-02-16 | 2016-08-25 | University Of Surrey | Three dimensional modelling |
US9576190B2 (en) * | 2015-03-18 | 2017-02-21 | Snap Inc. | Emotion recognition in video conferencing |
US9864922B2 (en) * | 2015-09-10 | 2018-01-09 | Adobe Systems Inc. | Content aware pattern stamp tool |
CN106097373B (zh) * | 2016-06-24 | 2018-11-02 | 聊城大学 | 一种基于分部式稀疏成分分析模型的笑脸合成方法 |
US9947099B2 (en) * | 2016-07-27 | 2018-04-17 | Microsoft Technology Licensing, Llc | Reflectivity map estimate from dot based structured light systems |
US10573065B2 (en) | 2016-07-29 | 2020-02-25 | Activision Publishing, Inc. | Systems and methods for automating the personalization of blendshape rigs based on performance capture data |
US10270958B2 (en) | 2016-09-01 | 2019-04-23 | Duelight Llc | Systems and methods for adjusting focus based on focus target information |
WO2018102700A1 (en) * | 2016-12-01 | 2018-06-07 | Pinscreen, Inc. | Photorealistic facial texture inference using deep neural networks |
US10055880B2 (en) * | 2016-12-06 | 2018-08-21 | Activision Publishing, Inc. | Methods and systems to modify a two dimensional facial image to increase dimensional depth and generate a facial image that appears three dimensional |
US10504273B2 (en) * | 2016-12-09 | 2019-12-10 | Nvidia Corporation | Automatic level-of-detail for physically-based materials |
KR102387570B1 (ko) | 2016-12-16 | 2022-04-18 | 삼성전자주식회사 | 표정 생성 방법, 표정 생성 장치 및 표정 생성을 위한 학습 방법 |
US10636175B2 (en) * | 2016-12-22 | 2020-04-28 | Facebook, Inc. | Dynamic mask application |
TWI621832B (zh) * | 2017-02-10 | 2018-04-21 | 緯創資通股份有限公司 | 物體偵測系統以及方法 |
WO2019023397A1 (en) * | 2017-07-28 | 2019-01-31 | Baobab Studios Inc. | SYSTEMS AND METHODS FOR ANIMATIONS AND INTERACTIVITY OF REAL-TIME COMPLEX CHARACTERS |
US10785422B2 (en) | 2018-05-29 | 2020-09-22 | Microsoft Technology Licensing, Llc | Face recognition using depth and multi-spectral camera |
RU2697627C1 (ru) | 2018-08-01 | 2019-08-15 | Самсунг Электроникс Ко., Лтд. | Способ корректировки освещенности объекта на изображении в последовательности изображений и вычислительное устройство пользователя, реализующее упомянутый способ |
US11245875B2 (en) | 2019-01-15 | 2022-02-08 | Microsoft Technology Licensing, Llc | Monitoring activity with depth and multi-spectral camera |
RU2720361C1 (ru) * | 2019-08-16 | 2020-04-29 | Самсунг Электроникс Ко., Лтд. | Обучение по нескольким кадрам реалистичных нейронных моделей голов говорящих персон |
US11568645B2 (en) | 2019-03-21 | 2023-01-31 | Samsung Electronics Co., Ltd. | Electronic device and controlling method thereof |
US11182595B2 (en) * | 2019-08-08 | 2021-11-23 | Avaya Inc. | Optimizing interaction results using AI-guided manipulated video |
US20210407527A1 (en) * | 2019-08-08 | 2021-12-30 | Avaya Inc. | Optimizing interaction results using ai-guided manipulated video |
CN110517339B (zh) | 2019-08-30 | 2021-05-25 | 腾讯科技(深圳)有限公司 | 一种基于人工智能的动画形象驱动方法和装置 |
KR102111499B1 (ko) * | 2019-09-19 | 2020-05-18 | (주)자이언트스텝 | 얼굴 애니메이션을 위한 얼굴 형태 변화 전사 방법 및 컴퓨터 판독 가능한 저장매체 |
WO2021096192A1 (en) * | 2019-11-12 | 2021-05-20 | Samsung Electronics Co., Ltd. | Neural facial expressions and head poses reenactment with latent pose descriptors |
US11010951B1 (en) * | 2020-01-09 | 2021-05-18 | Facebook Technologies, Llc | Explicit eye model for avatar |
US11585654B2 (en) * | 2020-06-02 | 2023-02-21 | Micron Technology, Inc. | Texture detection apparatuses, systems, and methods for analysis |
US11450077B2 (en) * | 2020-11-20 | 2022-09-20 | Nvidia Corporation | Appearance-driven automatic three-dimensional modeling |
US20230107571A1 (en) * | 2021-10-01 | 2023-04-06 | Liberty Reach Inc. | Machine Vision-Based Method and System for Locating Objects within a Scene Containing the Objects |
CN112862968B (zh) * | 2021-03-15 | 2024-01-19 | 网易(杭州)网络有限公司 | 目标植被模型的渲染显示方法、装置、设备及存储介质 |
US11694385B2 (en) * | 2021-06-08 | 2023-07-04 | Sony Group Corporation | 3D microgeometry and reflectance modeling |
CN113470182B (zh) * | 2021-09-03 | 2022-02-18 | 中科计算技术创新研究院 | 人脸几何特征编辑方法及深度人脸重塑编辑方法 |
WO2024010484A1 (en) * | 2022-07-07 | 2024-01-11 | Nvidia Corporation | Audio-driven facial animation with emotion support using machine learning |
CN116310659B (zh) * | 2023-05-17 | 2023-08-08 | 中数元宇数字科技(上海)有限公司 | 训练数据集的生成方法及设备 |
Family Cites Families (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2802725B2 (ja) * | 1994-09-21 | 1998-09-24 | 株式会社エイ・ティ・アール通信システム研究所 | 表情再現装置および表情再現に用いられるマトリックスの算出方法 |
EP0972285A4 (en) * | 1995-10-08 | 2002-04-03 | Face Imaging Ltd | METHOD FOR AUTOMATIC COMPUTER ASSISTED AUDIOVISUAL COPYING FILMS |
JPH09135447A (ja) * | 1995-11-07 | 1997-05-20 | Tsushin Hoso Kiko | 知的符号化/復号方法、特徴点表示方法およびインタラクティブ知的符号化支援装置 |
JP2918499B2 (ja) * | 1996-09-17 | 1999-07-12 | 株式会社エイ・ティ・アール人間情報通信研究所 | 顔画像情報変換方法および顔画像情報変換装置 |
JP3017110B2 (ja) * | 1996-10-16 | 2000-03-06 | 株式会社エイ・ティ・アール人間情報通信研究所 | イメージ生成装置およびイメージ生成方法 |
US6044168A (en) * | 1996-11-25 | 2000-03-28 | Texas Instruments Incorporated | Model based faced coding and decoding using feature detection and eigenface coding |
JPH10240908A (ja) * | 1997-02-27 | 1998-09-11 | Hitachi Ltd | 映像合成方法 |
CA2227361A1 (en) * | 1998-01-19 | 1999-07-19 | Taarna Studios Inc. | Method and apparatus for providing real-time animation utilizing a database of expressions |
JP2986441B2 (ja) * | 1998-01-27 | 1999-12-06 | 株式会社エイ・ティ・アール人間情報通信研究所 | 任意表情を持つ3次元顔モデルの生成方法 |
JPH11219422A (ja) * | 1998-02-02 | 1999-08-10 | Hitachi Ltd | 顔による個人同定通信方法 |
JP2974655B1 (ja) * | 1998-03-16 | 1999-11-10 | 株式会社エイ・ティ・アール人間情報通信研究所 | アニメーションシステム |
US6351269B1 (en) * | 1998-04-17 | 2002-02-26 | Adobe Systems Incorporated | Multiple image morphing |
JPH11326057A (ja) * | 1998-05-20 | 1999-11-26 | Kao Corp | 三次元物体の計測方法及び装置 |
JP2000090233A (ja) * | 1998-09-08 | 2000-03-31 | Olympus Optical Co Ltd | 画像処理装置 |
GB2342026B (en) * | 1998-09-22 | 2003-06-11 | Luvvy Ltd | Graphics and image processing system |
US6807290B2 (en) * | 2000-03-09 | 2004-10-19 | Microsoft Corporation | Rapid computer modeling of faces for animation |
US6664956B1 (en) * | 2000-10-12 | 2003-12-16 | Momentum Bilgisayar, Yazilim, Danismanlik, Ticaret A. S. | Method for generating a personalized 3-D face model |
-
2000
- 2000-08-30 US US09/651,880 patent/US6950104B1/en not_active Expired - Lifetime
-
2001
- 2001-08-30 JP JP2001261558A patent/JP4733318B2/ja not_active Expired - Lifetime
-
2004
- 2004-07-27 US US10/900,252 patent/US7098920B2/en not_active Expired - Lifetime
- 2004-11-02 US US10/980,760 patent/US7129949B2/en not_active Expired - Lifetime
-
2006
- 2006-04-24 US US11/409,813 patent/US7450126B2/en not_active Expired - Lifetime
-
2011
- 2011-02-15 JP JP2011029319A patent/JP4865093B2/ja not_active Expired - Lifetime
Also Published As
Publication number | Publication date |
---|---|
JP2002123837A (ja) | 2002-04-26 |
US20060192785A1 (en) | 2006-08-31 |
JP4733318B2 (ja) | 2011-07-27 |
US20050062743A1 (en) | 2005-03-24 |
JP2011100497A (ja) | 2011-05-19 |
US7098920B2 (en) | 2006-08-29 |
US20040263510A1 (en) | 2004-12-30 |
US7450126B2 (en) | 2008-11-11 |
US7129949B2 (en) | 2006-10-31 |
US6950104B1 (en) | 2005-09-27 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4865093B2 (ja) | 顔の特徴をアニメーション化する方法およびシステムならびに表情変換のための方法およびシステム | |
JP4932951B2 (ja) | 顔画像処理方法およびシステム | |
Marschner et al. | Modeling and rendering for realistic facial animation | |
US11694392B2 (en) | Environment synthesis for lighting an object | |
US7200281B2 (en) | System and method for image-based surface detail transfer | |
JP6246757B2 (ja) | 現実環境の視野におけるバーチャルオブジェクトを表現方法及びシステム | |
Seitz et al. | Plenoptic image editing | |
Pighin et al. | Modeling and animating realistic faces from images | |
CN108447017A (zh) | 人脸虚拟整容方法和装置 | |
Wu et al. | Interactive normal reconstruction from a single image | |
JP2018195996A (ja) | 画像投影装置、画像投影方法、及び、画像投影プログラム | |
Tarini et al. | Texturing faces | |
Hülsken et al. | Modeling and animating virtual humans for real-time applications | |
Neumann et al. | Constructing a realistic head animation mesh for a specific person | |
Zhang | An efficient texture generation technique for human head cloning and morphing | |
Karunaratne et al. | A new efficient expression generation and automatic cloning method for multimedia actors | |
Ahmed | High quality dynamic reflectance and surface reconstruction from video | |
JP2021068271A (ja) | 画像処理システム、画像処理方法及びプログラム | |
Sousa et al. | An Advanced Color Representation for Lossy | |
Duce et al. | A Formal Specification of a Graphics System in the | |
ed eric Pighin | Modeling and Animating Realistic Faces from Images |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20110303 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110303 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111011 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111109 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141118 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4865093 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |