JP7244810B2 - 単色画像及び深度情報を使用した顔テクスチャマップ生成 - Google Patents
単色画像及び深度情報を使用した顔テクスチャマップ生成 Download PDFInfo
- Publication number
- JP7244810B2 JP7244810B2 JP2022503565A JP2022503565A JP7244810B2 JP 7244810 B2 JP7244810 B2 JP 7244810B2 JP 2022503565 A JP2022503565 A JP 2022503565A JP 2022503565 A JP2022503565 A JP 2022503565A JP 7244810 B2 JP7244810 B2 JP 7244810B2
- Authority
- JP
- Japan
- Prior art keywords
- face
- texture
- texture map
- user
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000001815 facial effect Effects 0.000 claims description 98
- 238000005286 illumination Methods 0.000 claims description 46
- 238000000513 principal component analysis Methods 0.000 claims description 45
- 230000006870 function Effects 0.000 claims description 38
- 230000000694 effects Effects 0.000 claims description 25
- PXFBZOLANLWPMH-UHFFFAOYSA-N 16-Epiaffinine Natural products C1C(C2=CC=CC=C2N2)=C2C(=O)CC2C(=CC)CN(C)C1C2CO PXFBZOLANLWPMH-UHFFFAOYSA-N 0.000 claims description 17
- 230000009466 transformation Effects 0.000 claims description 14
- 238000013507 mapping Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 12
- 238000009499 grossing Methods 0.000 claims description 8
- 238000009877 rendering Methods 0.000 claims description 5
- 238000007670 refining Methods 0.000 claims description 3
- 230000000875 corresponding effect Effects 0.000 description 65
- 210000000887 face Anatomy 0.000 description 58
- 238000004891 communication Methods 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 9
- 210000005069 ears Anatomy 0.000 description 7
- 238000002156 mixing Methods 0.000 description 6
- 238000012545 processing Methods 0.000 description 6
- 238000010586 diagram Methods 0.000 description 5
- 238000013459 approach Methods 0.000 description 3
- 238000004590 computer program Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000001360 synchronised effect Effects 0.000 description 3
- 230000003190 augmentative effect Effects 0.000 description 2
- 230000002596 correlated effect Effects 0.000 description 2
- 230000033001 locomotion Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012546 transfer Methods 0.000 description 2
- 238000000844 transformation Methods 0.000 description 2
- 241000699670 Mus sp. Species 0.000 description 1
- 241000227425 Pieris rapae crucivora Species 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000010267 cellular communication Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000001061 forehead Anatomy 0.000 description 1
- 238000010348 incorporation Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007935 neutral effect Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000004984 smart glass Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000012109 statistical procedure Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/04—Texture mapping
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/50—Lighting effects
- G06T15/506—Illumination models
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
- G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/02—Affine transformations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/40—Analysis of texture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10024—Color image
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10028—Range image; Depth image; 3D point clouds
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Geometry (AREA)
- Software Systems (AREA)
- Image Generation (AREA)
- Image Processing (AREA)
- Processing Or Creating Images (AREA)
Description
なし。
ここでT’は平均顔テクスチャを表し、
tnは、複数の顔テクスチャマップ316の第nの顔テクスチャマップを表す。
ここで、
Utは固有ベクトルを表し、tはテクスチャを表す(すなわち、固有ベクトル及び固有値はテクスチャのためのものである)。これは、各列が1つの固有ベクトルを表す行列であり、
Σは、対角線における各値が1つの固有値を表す対角行列である。
ここでR及びTはアフィン変換を表し、
(ai,bi)は、U-V座標マップ506上の頂点の座標を表し、
(xi,yi)は、第1のカラー画像502上の頂点の座標を表す。
ここで、
Iaは、複数の点の赤色-緑色-青色(RGB)チャネルでの周囲光の照明強度を表し、
Idは、複数の点のRGBチャネルでの拡散光の照明強度を表し、
I(w)は、ユーザ116の顔のレンダリングされたテクスチャを表し、
nは、テクスチャI(w)の点の数を表し、
ρは、複数の点の各々のアルベド値(albedo value)を表し、
dは、照明方向を表し、
Nは、複数の点の各点の法線を表し、
eは、複数の点の各点の正反射率を表し、
*は、要素による積を表す。
ここでIrefは、第1のカラー画像110の基準色情報(例えば、RGB情報)を表し、
A=[Ld *ρ,Ld *ρ,Ld *ρ]∈R3n×3であり、行列の連結を表す。「A」は、他の反復にも使用することができる。各列では、「A」が、拡散光の3つのチャネルの強度を全ての頂点についてアルベドの3つチャネル(3n)に増殖させた結果を記憶する。そして、「A」は、このような列を3回だけ複製する。
ここではLd=[1,1,1]の時にB=[ρ,ρ,ρ]であり、
Nは、複数の第1の有効点の各有効点の法線を表し、
N3は、Nの各行を3回複製し、
d=((B*N3)T(B*N3))-1(B*N3)TIrefであり、複数の第1の有効点の照明方向を表す。
その後の反復におけるla、ld、ρ、d及びeの値は、以前の反復から考察される。例えば以下のような方程式(12)によって、第2の目的関数の閉形式解(closed form solution)を与えることができ、
ここでdは、特定の反復についての第1のカラー画像からの複数の第1の有効点の照明方向を表す。
ここでeiは、有効点「i」における正反射率を表し、
ksは、正反射率の定数であり、
viは、有効点「i」の観察方向を表し、
yは、第1のカラー画像110内の顔表面の輝かしさ(shininess)の定数を表し、
(,)は、内積を表し、
ri=2〈ni,d〉ni-dであり、有効点「i」の反射方向を表し、
dは、有効点「i」の推定される照明方向を表し、
niは、有効点「i」の法線を表す。ks及びγは、顔の皮膚反射特性によって決定され、異なる人々について同様である。これらは、顔領域全体にわたって一定であると仮定される。発明者らは、単純化のために3つの色チャネルについてks及びyが同じものであると仮定する。
ここでIref,rは、第1のカラー画像110の赤色チャネルの基準色情報を表し、
C=[ρr,ρr*(Nd)+er]∈Rn×2であり、特定の意味を含まない式を単純化するための行列の連結を表し、
prは、複数の第1の有効点の各々のアルベド(ρ)の赤色チャネルを表し、
erは、複数の第1の有効点の各々の正反射率(e)の赤色チャネルを表し、
は、周囲光及び拡散光の各々の赤色チャネルの照明強度である。例えば以下のような方程式(15)によって、第1の目的関数の閉形式解を与えることができる。
ここでIref,gは、第1のカラー画像110の緑色チャネルの基準色情報を表し、
C=[ρg,ρg*(Nd)+eg]∈Rn×2であり、行列の連結を表し、
ρgは、複数の第1の有効点の各々のアルベド(p)の緑色チャネルを表し、
egは、複数の第1の有効点の各々の正反射率(e)の緑色チャネルを表し、
は、周囲光及び拡散光の各々の緑色チャネルの照明強度である。例えば以下のような方程式(17)によって、第2の目的関数の閉形式解を与えることができる。
ここでIref,bは、第1のカラー画像110の青色チャネルの基準色情報を表し、
C=[ρb,ρb*(Nd)+eb]∈Rn×2であり、行列の連結を表し、
ρbは、複数の第1の有効点の各々のアルベド(p)の青色チャネルを表し、
ebは、複数の第1の有効点の各々の正反射率(e)の青色チャネルを表し、
は、周囲光及び拡散光の各々の青色チャネルの照明強度である。例えば以下のような方程式(19)によって、第3の目的関数の閉形式解を与えることができる。
ここでρは、有効点のアルベド値を表し、
は、複数の顔の複数の顔テクスチャマップの平均顔テクスチャを表し、
UTは、正規直交基底を表し、
ΣTは、複数の顔の複数の顔テクスチャマップの固有値を表し、
βは、基準顔テクスチャモデル406Aを生成するために利用される複数の顔の複数の顔テクスチャマップ上でのPCAの適用によって抽出された固有ベクトルの係数を表す。
ここでTは、目標テクスチャを表し、
λは、固有ベクトルに関連する重みのパラメータを表し、
σtは、(複数の顔テクスチャマップ上のPCAからの)ΣTの対角線の値であるPCAモデルの固有値を表す。例えば以下のような方程式(22)によって、目的関数の閉形式解を与えることができ、
ここでa’=(Iref-Id *e)/(la+ld *(N3d))であり、
である。
ここでa’は、照明影響を除去した後の第1のテクスチャマップ508上の複数の第1の有効点のテクスチャを表す。
ここでΔtiは、第2のテクスチャマップ606A上の点「i」と、精細化された第2のテクスチャマップ上の対応する点との客観的なアルベドの差分(objective difference of an albedo)を表し、
a’iは、照明影響を除去した後の第1のテクスチャマップ508上の点「i」のテクスチャを表し、
ρiは、第2のテクスチャマップ606A上の点「i」のアルベドを表し、
nは、点の数を表す。
ここで、
Δti は、第2のテクスチャマップ606A上の点「i」と、精細化された第2のテクスチャマップ上の対応する点との客観的なアルベドの差分を表し、
Δtj は、第2のテクスチャマップ606A上の有効点「j」と、精細化された第2のテクスチャマップ上の対応する有効点との客観的なアルベドの差分を表し、
wは、重みのためのパラメータを表し、
i,j∈Nは、有効点「i」と有効点「j」とが隣接していることを表す。
ここでNは、第2のテクスチャマップ606A上の点の数を表す。
精細化された第2のテクスチャマップ610は、テクスチャが第1のテクスチャマップ508内に存在しなかった又は不正確に表されていたユーザ116の顔の複数の隠れた領域の精細化されたテクスチャを含むことができる。プロセッサ204は、精細化された第2のテクスチャマップ610に第1のテクスチャマップ508の照明影響を追加するようにさらに構成することができる。第1のテクスチャマップ508の照明影響を含む精細化された第2のテクスチャマップ610は、第1のカラー画像110に取り込むことができるユーザ116の顔の実際のテクスチャを表すことができる。
ここでM(i)は、最終テクスチャマップ708上のピクセル「i」のテクスチャの値を表し、
T1は、第1のテクスチャマップ704Aのテクスチャを表し、
T2は、精細化された第2のテクスチャマップ706Aのテクスチャを表し、
wiは、割り当てられた重みを表す。一例として、第1のテクスチャマップ704Aの第1の部分を抽出すべき時には、wiの値を「1」に設定することができる。同様に、精細化された第2のテクスチャマップ706Aの第2の部分を抽出すべき時には、wiの値を「0」に設定することができる。wiの値は、正面顔部分と残りの顔部分との境界とすることができる顔の領域について徐々に変化することができる。生成された最終テクスチャマップ708は、ユーザ116の顔の実際のテクスチャを表すことができ、或いはユーザ116の顔の実際のテクスチャをほぼ表すことができる。
Claims (23)
- 回路を備えた電子装置であって、前記回路は、
ユーザの顔のテクスチャリングされていない3D顔モデル、第1のカラー画像及び対応する深度情報に基づいて、前記ユーザの前記顔の第1のテクスチャマップを生成し、
前記生成された第1のテクスチャマップ上の、前記第1のカラー画像において観察される前記ユーザの前記顔に属する点に対応する複数の第1の有効点上で、前記ユーザの前記顔とは異なる複数の顔の複数の顔テクスチャマップの主成分分析(PCA)モデルである基準顔テクスチャモデルをテクスチャモデルフィッティングすることによって、前記ユーザの前記顔の第2のテクスチャマップを生成し、
前記生成された第2のテクスチャマップの目的関数の最小化に基づいて、前記生成された第2のテクスチャマップを精細化し、
前記生成された第1のテクスチャマップ及び前記精細化された第2のテクスチャマップに基づいて、前記ユーザの前記顔の最終テクスチャマップを生成する、
ように構成される、
ことを特徴とする電子装置。 - 前記テクスチャリングされていない3D顔モデルは、前記ユーザの前記顔の形状改善された3D顔モデルである、
請求項1に記載の電子装置。 - 前記PCAモデルは、前記ユーザの前記顔とは異なる前記複数の顔の前記複数の顔テクスチャマップ上におけるPCAの適用によって抽出される固有ベクトルと固有値との組み合わせに対応する、
請求項1に記載の電子装置。 - 前記ユーザの前記顔の第1の複数のカラー画像と、前記第1の複数のカラー画像に対応する第1の深度情報とを取り込むように構成されたスキャニング装置をさらに備え、
前記第1の複数のカラー画像及び前記対応する第1の深度情報は、前記第1のカラー画像及び前記対応する深度情報を含む、
請求項1に記載の電子装置。 - 前記回路は、前記取り込まれた第1の複数のカラー画像及び対応する第1の深度情報に基づいて、前記ユーザの前記顔の前記テクスチャリングされていない3D顔モデルを生成するようにさらに構成される、
請求項4に記載の電子装置。 - 前記ユーザの前記顔とは異なる前記複数の顔の第2の複数のカラー画像と、対応する第2の深度情報とを取り込むように構成されたスキャニング装置をさらに備え、
前記複数の顔の前記取り込まれる第2の複数のカラー画像は、一般的周囲照明条件下で取り込まれる、
請求項1に記載の電子装置。 - 前記回路は、
前記取り込まれた第2の複数のカラー画像に基づいて、互いに位置合わせされた前記複数の顔の各々の顔メッシュを生成し、
前記複数の顔のうちの対応する顔の前記生成された顔メッシュをU-V座標マップ上でアンラップ処理することに基づいて、前記複数の顔のうちの前記対応する顔の前記複数の顔テクスチャマップの各顔テクスチャマップを生成する、
ようにさらに構成される、請求項6に記載の電子装置。 - 前記回路は、前記ユーザの前記顔とは異なる前記複数の顔の前記複数の顔テクスチャマップ上における主成分分析(PCA)の適用によって、前記基準顔テクスチャモデルを生成するようにさらに構成される、
請求項7に記載の電子装置。 - 前記回路は、
前記第1のカラー画像上の第1の複数の三角形を決定し、
3D空間内で前記テクスチャリングされていない3D顔モデル上に前記第1のカラー画像を透視投影することに基づいて、前記第1のカラー画像上の前記第1の複数の三角形の各三角形を、前記テクスチャリングされていない3D顔モデル上の第2の複数の三角形のうちの対応する三角形にマッピングする、
ようにさらに構成される、請求項1に記載の電子装置。 - 前記回路は、U-V座標マップ上における前記第2の複数の三角形のU-V座標マッピングによって、前記U-V座標マップ上の第3の複数の三角形を決定するようにさらに構成される、
請求項9に記載の電子装置。 - 前記回路は、
前記U-V座標マップ上の前記第3の複数の三角形と、前記第1のカラー画像上の前記第1の複数の三角形との間のアフィン変換を計算し、
前記第3の複数の三角形の各三角形に対するテクスチャの適用によって、テクスチャリングされたU-V座標マップを決定する、
ようにさらに構成され、
各三角形に対するテクスチャの前記適用は、前記計算されたアフィン変換に基づき、
前記テクスチャリングされたU-V座標マップは、前記第1のテクスチャマップである、
請求項10に記載の電子装置。 - 前記U-V座標マップ上の前記第3の複数の三角形の各三角形に対する前記テクスチャの前記適用は、前記第1のカラー画像上の前記第1の複数の三角形のうちの対応する三角形からの色情報の補間にさらに基づく、
請求項11に記載の電子装置。 - 前記回路は、
反射率モデル、前記第1のテクスチャマップ及び前記テクスチャリングされていない3D顔モデルに基づいて、前記第1のテクスチャマップの周囲光及び拡散光の各々の照明強度、照明方向及び正反射率を繰り返し推定するようにさらに構成され、
前記反射率モデルは、前記周囲光及び前記拡散光の各々の前記照明強度と、前記照明方向と、前記正反射率との間の関係を含む、
請求項1に記載の電子装置。 - 前記回路は、前記テクスチャモデルフィッティングにおいて、前記基準顔テクスチャモデル、前記推定される前記周囲光及び前記拡散光の各々の照明強度、前記照明方向及び前記正反射率に基づいて、前記第1のテクスチャマップ上の複数の点のアルベド値の組を推定するように構成される、
請求項13に記載の電子装置。 - 前記生成された第1のテクスチャマップ上の前記複数の第1の有効点の各有効点は、前記第1のカラー画像から対応する点が観察される点である、
請求項1に記載の電子装置。 - 前記回路は、
前記第1のテクスチャマップ上の前記複数の点と、前記第2のテクスチャマップ上の前記複数の点との間の第1の複数の対応についての第1の関係に基づいて、前記第2のテクスチャマップ上の複数の点のオフセット項を計算し、
前記第2のテクスチャマップ上の前記複数の点のうちの隣接する点間の第2の複数の対応についての第2の関係に基づいて、前記第2のテクスチャマップ上の複数の点の平滑化項を計算する、
ようにさらに構成される、請求項1に記載の電子装置。 - 前記回路は、前記計算されたオフセット項及び前記計算された平滑化項に基づいて、前記目的関数を最小化するようにさらに構成される、
請求項16に記載の電子装置。 - 前記回路は、前記生成された第1のテクスチャマップからの照明影響の除去にさらに基づいて、前記第2のテクスチャマップを精細化するようにさらに構成される、
請求項17に記載の電子装置。 - 前記回路は、前記精細化された第2のテクスチャマップに前記第1のテクスチャマップの照明影響を追加するようにさらに構成される、
請求項18に記載の電子装置。 - 前記回路は、
前記ユーザの前記顔の第1のマスクに基づいて、前記第1のテクスチャマップの第1の部分を抽出し、
前記ユーザの前記顔の第2のマスクに基づいて、前記精細化された第2のテクスチャマップの第2の部分を抽出し、
前記抽出された第1の部分と前記抽出された第2の部分との組み合わせに基づいて、前記最終テクスチャマップを生成する、
ようにさらに構成される、請求項1に記載の電子装置。 - 前記第1の部分は、前記ユーザの前記顔の正面顔部分に対応し、前記第2の部分は、前記ユーザの前記顔の残りの顔部分に対応する、
請求項20に記載の電子装置。 - 前記回路は、前記テクスチャリングされていない3D顔モデル上に前記生成された最終テクスチャマップをレンダリングすることによって、前記ユーザの前記顔のテクスチャリングされた3D顔モデルを生成するようにさらに構成される、
請求項1に記載の電子装置。 - メモリ及び回路を備えた電子装置において、
ユーザの顔のテクスチャリングされていない3次元(3D)顔モデル、第1のカラー画像及び対応する深度情報に基づいて、前記ユーザの前記顔の第1のテクスチャマップを生成することと、
前記生成された第1のテクスチャマップ上の、前記第1のカラー画像において観察される前記ユーザの前記顔に属する点に対応する複数の第1の有効点上で、前記ユーザの前記顔とは異なる複数の顔の複数の顔テクスチャマップの主成分分析(PCA)モデルである基準顔テクスチャモデルをテクスチャモデルフィッティングすることによって、前記ユーザの前記顔の第2のテクスチャマップを生成することと、
前記生成された第2のテクスチャマップの目的関数の最小化に基づいて、前記生成された第2のテクスチャマップを精細化することと、
前記生成された第1のテクスチャマップ及び前記精細化された第2のテクスチャマップに基づいて、前記ユーザの前記顔の最終テクスチャマップを生成することと、
を含むことを特徴とする方法。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/515,263 | 2019-07-18 | ||
US16/515,263 US10872457B1 (en) | 2019-07-18 | 2019-07-18 | Facial texture map generation using single color image and depth information |
PCT/IB2020/056482 WO2021009630A1 (en) | 2019-07-18 | 2020-07-09 | Facial texture map generation using single color image and depth information |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022541569A JP2022541569A (ja) | 2022-09-26 |
JP7244810B2 true JP7244810B2 (ja) | 2023-03-23 |
Family
ID=71662145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022503565A Active JP7244810B2 (ja) | 2019-07-18 | 2020-07-09 | 単色画像及び深度情報を使用した顔テクスチャマップ生成 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10872457B1 (ja) |
EP (1) | EP3984002A1 (ja) |
JP (1) | JP7244810B2 (ja) |
KR (1) | KR20220017470A (ja) |
CN (1) | CN113826144B (ja) |
WO (1) | WO2021009630A1 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US11024096B2 (en) * | 2019-04-29 | 2021-06-01 | The Board Of Trustees Of The Leland Stanford Junior University | 3D-perceptually accurate manual alignment of virtual content with the real world with an augmented reality device |
US11704839B2 (en) * | 2019-12-17 | 2023-07-18 | Electronics And Telecommunications Research Institute | Multiview video encoding and decoding method |
JP7316693B2 (ja) * | 2021-07-22 | 2023-07-28 | エフエックスギア インコーポレイティッド | 多重視点テクスチャを利用した3dポリゴンメッシュレンダリング方法及びその装置 |
KR102529177B1 (ko) * | 2022-05-02 | 2023-05-04 | (주)이브이알스튜디오 | 객체의 다중 프로젝션 매핑을 수행하는 전자 장치의 제어 방법 |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011186816A (ja) | 2010-03-09 | 2011-09-22 | Secom Co Ltd | 顔画像合成装置 |
JP2015191537A (ja) | 2014-03-28 | 2015-11-02 | Kddi株式会社 | 視線一致画像生成方法、装置およびプログラム |
WO2018184140A1 (en) | 2017-04-04 | 2018-10-11 | Intel Corporation | Facial image replacement using 3-dimensional modelling techniques |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100459892B1 (ko) * | 2001-12-13 | 2004-12-03 | 삼성전자주식회사 | 3차원 얼굴 모델을 위한 텍스쳐 생성 방법 및 장치 |
US8090160B2 (en) | 2007-10-12 | 2012-01-03 | The University Of Houston System | Automated method for human face modeling and relighting with application to face recognition |
CN101770649B (zh) * | 2008-12-30 | 2012-05-02 | 中国科学院自动化研究所 | 一种人脸图像自动合成方法 |
US9552668B2 (en) * | 2012-12-12 | 2017-01-24 | Microsoft Technology Licensing, Llc | Generation of a three-dimensional representation of a user |
US10558848B2 (en) * | 2017-10-05 | 2020-02-11 | Duelight Llc | System, method, and computer program for capturing an image with correct skin tone exposure |
KR20150069989A (ko) * | 2013-12-16 | 2015-06-24 | 한국과학기술원 | 국부 블록 질감 특징 벡터를 이용한 얼굴 검출 및 인식 장치 |
US10521649B2 (en) | 2015-02-16 | 2019-12-31 | University Of Surrey | Three dimensional modelling |
US10796480B2 (en) * | 2015-08-14 | 2020-10-06 | Metail Limited | Methods of generating personalized 3D head models or 3D body models |
US10460503B2 (en) * | 2017-03-01 | 2019-10-29 | Sony Corporation | Texturing of a three-dimensional (3D) model by UV map in-painting |
WO2019050808A1 (en) * | 2017-09-08 | 2019-03-14 | Pinscreen, Inc. | SCANNING AVATAR FROM A SINGLE IMAGE FOR REAL TIME REALIZATION |
CN108765550B (zh) * | 2018-05-09 | 2021-03-30 | 华南理工大学 | 一种基于单张图片的三维人脸重建方法 |
-
2019
- 2019-07-18 US US16/515,263 patent/US10872457B1/en active Active
-
2020
- 2020-07-09 KR KR1020227000144A patent/KR20220017470A/ko unknown
- 2020-07-09 JP JP2022503565A patent/JP7244810B2/ja active Active
- 2020-07-09 EP EP20742495.3A patent/EP3984002A1/en active Pending
- 2020-07-09 CN CN202080035914.5A patent/CN113826144B/zh active Active
- 2020-07-09 WO PCT/IB2020/056482 patent/WO2021009630A1/en unknown
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011186816A (ja) | 2010-03-09 | 2011-09-22 | Secom Co Ltd | 顔画像合成装置 |
JP2015191537A (ja) | 2014-03-28 | 2015-11-02 | Kddi株式会社 | 視線一致画像生成方法、装置およびプログラム |
WO2018184140A1 (en) | 2017-04-04 | 2018-10-11 | Intel Corporation | Facial image replacement using 3-dimensional modelling techniques |
Also Published As
Publication number | Publication date |
---|---|
CN113826144A (zh) | 2021-12-21 |
JP2022541569A (ja) | 2022-09-26 |
EP3984002A1 (en) | 2022-04-20 |
KR20220017470A (ko) | 2022-02-11 |
WO2021009630A1 (en) | 2021-01-21 |
US10872457B1 (en) | 2020-12-22 |
CN113826144B (zh) | 2023-11-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7362044B2 (ja) | 修正されたシェイプフロムシェーディング(sfs)スキームを使用した三角形3次元メッシュの形状改善 | |
JP7244810B2 (ja) | 単色画像及び深度情報を使用した顔テクスチャマップ生成 | |
CN108537110B (zh) | 生成三维人脸模型的基于虚拟现实的装置和方法 | |
CN107993216B (zh) | 一种图像融合方法及其设备、存储介质、终端 | |
US11839820B2 (en) | Method and apparatus for generating game character model, processor, and terminal | |
US9911220B2 (en) | Automatically determining correspondences between three-dimensional models | |
CN108537881B (zh) | 一种人脸模型处理方法及其设备、存储介质 | |
US20190362539A1 (en) | Environment Synthesis for Lighting An Object | |
JP7142162B2 (ja) | 姿勢変動3d顔面属性生成 | |
EP4165606A1 (en) | Object reconstruction with texture parsing | |
US11557086B2 (en) | Three-dimensional (3D) shape modeling based on two-dimensional (2D) warping | |
US9019268B1 (en) | Modification of a three-dimensional (3D) object data model based on a comparison of images and statistical information | |
EP3343516A1 (en) | Method and device for applying an effect of an augmented or mixed reality application | |
US10460503B2 (en) | Texturing of a three-dimensional (3D) model by UV map in-painting | |
US11682234B2 (en) | Texture map generation using multi-viewpoint color images | |
US10748351B1 (en) | Shape refinement of three dimensional shape model | |
US20220270337A1 (en) | Three-dimensional (3d) human modeling under specific body-fitting of clothes | |
WO2018151612A1 (en) | Texture mapping system and method | |
KR100900076B1 (ko) | 경계선이 자연스러운 3차원 텍스쳐 장치 및 방법 | |
JP2023153534A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
JP2021149679A (ja) | 画像処理システム、画像処理方法、及びプログラム | |
US20180225857A1 (en) | Apparatus and method to generate realistic three-dimensional (3d) model animation |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220118 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230116 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230208 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230221 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7244810 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |