TW202217749A - 三維紋理化三維模型的方法以及用於紋理化三維模型的電子裝置 - Google Patents

三維紋理化三維模型的方法以及用於紋理化三維模型的電子裝置 Download PDF

Info

Publication number
TW202217749A
TW202217749A TW110138782A TW110138782A TW202217749A TW 202217749 A TW202217749 A TW 202217749A TW 110138782 A TW110138782 A TW 110138782A TW 110138782 A TW110138782 A TW 110138782A TW 202217749 A TW202217749 A TW 202217749A
Authority
TW
Taiwan
Prior art keywords
images
dimensional
model
neural network
convolutional neural
Prior art date
Application number
TW110138782A
Other languages
English (en)
Inventor
裵東運
正元 李
羅希特 Ｒ 拉納德
雙全 王
梁揚文
Original Assignee
南韓商三星電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 南韓商三星電子股份有限公司 filed Critical 南韓商三星電子股份有限公司
Publication of TW202217749A publication Critical patent/TW202217749A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computer Graphics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種用於紋理化三維（3D）模型的電子裝置及方法。方法包含：渲染紋理圖集以獲得3D模型的第一二維（2D）影像集合；渲染地面真值紋理圖集以獲得3D模型的第二2D影像集合；將第一影像集合與第二影像集合進行比較以判定渲染損失；將紋理取樣特性應用於卷積神經網路（CNN）以將渲染損失併入至深度學習框架中；以及將2D紋理圖集輸入至CNN中以產生3D模組的紋理。

Description

三維紋理化三維模型的方法以及用於紋理化三維模型的電子裝置
本揭露大體上是關於影像的三維（three dimensional；3D）重構紋理映射。 優先權
本申請案基於且主張2020年10月21日在美國專利及商標局申請的美國臨時專利申請案序列號63/094,661的優先權，所述申請案的全部內容以引用的方式併入本文中。
在3D重構紋理映射中，自輸入影像導出3D模型的紋理。在此程序中，自輸入影像提取表示3D模型的二維（two dimensional；2D）片段的分塊，且將其封裝至稱為紋理圖集的較大影像中。紋理圖集的優點為其可用於許多不同解析度。
在3D模型的渲染期間，渲染器將來自紋理圖集的紋理投影至特定攝影機位置處的影像平面上。由於直接自輸入影像導出紋理，因而輸入影像的品質或解析度對3D模型的最終渲染品質具有影響。輸入影像的解析度亦影響在3D重構程序期間涉及的記憶體或計算。因此，最新的行動電話3D重構應用程式利用處於視訊圖形陣列（video graphics array；VGA）解析度（640像素乘480像素）的影像。在此情境下，應用超解析度處理可增強所渲染3D模型的品質。
超解析度處理是指自低解析度影像恢復高解析度影像的程序。超解析度處理技術可應用於3D物件的二維（2D）紋理圖以擷取物件的詳細外觀（諸如其表面的特徵），因此所述技術可應用於重構的3D物件以增加其真實性。
令人遺憾地，2D影像的超解析度處理技術可能並不適用於3D影像的超解析度處理。此可歸因於3D重構的程序，其中僅未對準影像捕捉序列可用於重構。
因此，為改良3D模型的超解析度紋理映射，可能需要新的3D紋理化技術以避免由依賴2D超解析度處理技術而導致的低效率。
根據一個實施例，提供一種用於紋理化3D模型的方法。方法包含：渲染紋理圖集以獲得3D模型的第一2D影像集合；渲染地面真值紋理圖集以獲得3D模型的第二2D影像集合；將第一影像集合與第二影像集合進行比較以判定渲染損失；將紋理取樣特性應用於卷積神經網路（convolutional neural network；CNN）以將渲染損失併入至深度學習框架中；以及將2D紋理圖集輸入至CNN中以產生3D模型的紋理。
根據一個實施例，提供一種用於紋理化3D模型的電子裝置。電子裝置包含非暫時性電腦可讀記憶體及處理器，其中在執行儲存於非暫時性電腦可讀記憶體中的指令時，處理器經組態以：渲染紋理圖集以獲得3D模型的第一2D影像集合；渲染地面真值紋理圖集以獲得3D模型的第二2D影像集合；將第一影像集合與第二影像集合進行比較以判定渲染損失；將紋理取樣特性應用於CNN以將渲染損失併入至深度學習框架中；以及將2D紋理圖集輸入至CNN中以產生3D模型的紋理。
根據一個實施例，提供一種用於紋理化3D模型的方法。方法包含：渲染地面真值紋理圖集以獲得3D模型的第一2D影像集合；對3D模型的2D影像集合進行下取樣以獲得3D模型的第二低解析度2D影像集合；以及紋理化3D模型的幾何網格以獲得低解析度紋理圖集。
在下文中，參考隨附圖式詳細地描述本揭露的實施例。應注意，儘管相同部件繪示於不同圖式中，但所述相同部件將由相同附圖標記來指明。在以下描述中，僅提供諸如詳細組態及組件的特定細節以輔助對本揭露的實施例的整體理解。因此，應對於所屬技術領域中具有通常知識者顯而易見的是，可在不脫離本揭露的範疇的情況下對本文中所描述的實施例作出各種改變及修改。另外，出於清楚及簡潔起見，省略對熟知功能及構造的描述。下文所描述的術語為考慮到本揭露中的功能而定義的術語，且可根據使用者、使用者的意圖或習慣而不同。因此，應基於貫穿本說明書的內容來判定術語的定義。
本揭露可具有各種修改及各種實施例，下文參考隨附圖式詳細地描述所述各種實施例當中的實施例。然而，應理解，本揭露並不限於所述實施例，而是包含本揭露的範疇內的所有修改、等效物以及替代方案。
儘管包含諸如第一、第二等的序數的術語可用於描述各種部件，但結構部件並不受術語限制。術語僅用於將一個部件與另一部件區分開。舉例而言，在不脫離本揭露的範疇的情況下，可將第一結構部件稱為第二結構部件。類似地，亦可將第二結構部件稱為第一結構部件。如本文中所使用，術語「及/或」包含一或多個相關項目的任何組合及所有組合。
如本文中所使用的術語僅用於描述本揭露的各種實施例，但不意欲限制本揭露。除非上下文另外清楚地指示，否則單數形式意欲包含複數形式。在本揭露中，應理解，術語「包含」或「具有」指示特徵、數目、步驟、操作、結構部件、部分或其組合的存在，且並不排除一或多個其他特徵、數目、步驟、操作、結構部件、部分或其組合的存在或添加的可能性。
除非不同地定義，否則本文中所使用的所有術語具有與本揭露所屬的領域的技術人員所理解的含義相同的含義。除非在本揭露中清楚地定義，否則術語（諸如一般使用的辭典中定義的術語）應解釋為具有與相關技術領域中的內容相關含義相同的含義，且不應解釋為具有理想或過度形式化含義。
根據一個實施例的電子裝置可為各種類型的電子裝置中的一者。電子裝置可包含例如攜帶型通信裝置（例如智慧型電話）、電腦、攜帶型多媒體裝置、攜帶型醫療裝置、攝影機、可穿戴式裝置或家用電器。根據本發明的一個實施例，電子裝置不限於上文所描述的電子裝置。
本揭露中所使用的術語並不意欲限制本揭露，而是意欲包含對應實施例的各種改變、等效物或替代。關於對隨附圖式的描述，類似附圖標記可用於指代類似部件或相關部件。除非相關上下文另外清楚地指示，否則對應於項目的名詞的單數形式可包含事物中的一或多者。如本文中所使用，如「A或B」、「A及B中的至少一者」、「A或B中的至少一者」、「A、B或C」、「A、B以及C中的至少一者」以及「A、B或C中的至少一者」的此類片語中的每一者可包含在所述片語中的對應一者中共同列舉的項目的所有可能組合。如本文中所使用，諸如「第1」、「第2」、「第一」以及「第二」的術語可用於將對應組件與另一組件區分開，但並不意欲限制其他態樣（例如重要性或次序）中的組件。意欲在具有或不具有術語「以操作方式」或「以通信方式」的情況下，若將部件（例如第一部件）稱為「與」另一部件（例如第二部件）「耦接」、「耦接至」另一部件、「與」另一部件「連接」或「連接至」另一部件，則其指示所述部件可與另一部件直接（例如有線）、無線或經由第三部件耦接。
如本文中所使用，術語「模組」可包含實施於硬體、軟體或韌體中的單元，且可互換地與其他術語一起使用，所述其他術語例如「邏輯」、「邏輯區塊」、「部分」以及「電路系統」。模組可為適用於執行一或多個功能的單個一體式組件，或其最小單元或部分。舉例而言，根據一個實施例，模組可以特殊應用積體電路（application-specific integrated circuit；ASIC）的形式實施。
「渲染損失」可定義為藉由將3D模型的渲染影像與用於3D紋理（亦即紋理圖集）操縱的地面真值3D模型的渲染影像進行比較來獲得2D影像特徵損失資訊的程序。「3D地面真值模型」可定義為具有比3D模型的解析度更高的解析度的3D物件的模型。
可基於先前結果（亦即訓練管線）來調整參數集合，以考慮2D成像監督深度學習框架中的渲染損失，且更具體言之，以用於超解析度處理。可藉由使用卷積神經網路（CNN）來實施深度學習框架。可替代地，可使用具有變化架構及/或不同損失函數的生成對抗網路（generative adversarial network；GAN）。
渲染損失程序可將3D模型的渲染影像與來自地面真值3D模型的影像進行比較以用於監督深度學習情形。此允許CNN應用在3D模型的渲染期間使用的紋理取樣。
訓練管線可使用可微分渲染來將渲染損失併入至深度學習框架中，且基於渲染損失來操縱3D模型的紋理以將超解析度處理應用於3D紋理。在推理期間，不需要渲染3D模型，且訓練後的模型可充當常規2D影像CNN模型。此亦允許CNN應用在3D模型的渲染期間使用的紋理取樣。
除超解析度處理之外，考慮渲染損失可擴展至其他3D紋理相關的任務，諸如用於遺失面及其他CNN架構的填充紋理、交叉實境（cross reality；XR）處理、擴增實境處理、虛擬實境處理、視訊遊戲處理、電影製作處理以及數位文化遺產保護處理。
舉例而言，包含低解析度紋理及網格的3D模型可經由網際網路發送至使用者的個人電腦（personal computer；PC）以用於線上遊戲。使用者的個人電腦可對低解析度紋理執行超解析度以獲得高解析度紋理，所述高解析度紋理可應用於網格以產生用於遊戲的高解析度3D模型。因此，由於在本端裝置上產生而非傳輸高解析度3D模型，因而可保持用於經由網際網路傳送的頻寬，且可減少時延。
圖1示出根據一個實施例的用於執行3D超解析度處理的方法。
參考圖1，將紅綠藍（red green blue；RGB）影像及深度圖輸入至同步定位與映射（simultaneous localization and mapping；SLAM）系統單元101以產生用於產生3D模型的3D網格的視圖集合（亦即點雲）。亦將RGB影像輸入至紋理映射單元103。
SLAM系統單元101產生輸入至網格產生單元102的點雲。另外，點雲包含輸入至紋理映射單元103的視圖集合（亦即攝影機姿勢）。
網格產生單元102將網格輸出至紋理映射單元103。網格為3D模型的結構構建，且可包含參考點以限定具有高度、寬度以及深度的形狀。
紋理映射單元103基於網格、視圖集合以及RGB影像來產生紋理圖集。另外，為利用紋理圖集的解析度的靈活性，在紋理映射期間，可基於影像大小比率(0 ＜ x ＜ 1, 0 ＜ y ＜ 1)而在座標系統中指派網格中的每一頂點的紋理座標(x, y)（亦即紋理圖集2D影像內的每一頂點的座標)。此允許在渲染期間紋理展開程序獨立於紋理圖集的實際大小，以使得在稍後時間，可再使用更高解析度或操縱的影像而無需再次執行紋理化步驟。
將紋理圖集輸入至紋理圖集超解析度單元104以產生3D模型。另外，紋理圖集的物件檔案亦可與3D模型一起輸出。
由於渲染期間的紋理展開可獨立於紋理圖集的大小而執行，因而習知2D影像處理任務（諸如超解析度）可併入至3D紋理化程序中，且程序中的所有先前步驟（亦即點雲配準、表面重構及/或紋理映射）仍然可使用輸入的低解析度影像執行，同時所產生物件檔案（含有重構3D模型的所有幾何資訊）可與超解析紋理圖集一起再使用以創建最終3D模型。因此，習知2D影像處理演算法可有效適用於紋理化3D模型。
超解析度技術可包含但不限於統計方法、基於分塊的方法、稀疏性表示方法以及基於預測的方法。
圖2示出根據一個實施例的正向3D紋理形成模型。
正向3D紋理形成模型輸出低解析度紋理圖集
Figure 02_image001
，所述低解析度紋理圖集使得能夠在各種視圖（亦即攝影機姿勢或攝影機位置)下渲染3D紋理化模型。
參考圖2，提供地面真值紋理圖集
Figure 02_image003
及幾何網格
Figure 02_image005
作為輸入。在201中，將來自地面真值紋理圖集T的紋理圖應用於具有已知攝影機內部特性及外部特性的各種攝影機位置
Figure 02_image007
，以形成由地面真值影像集合
Figure 02_image009
構成的3D地面真值模型。幾何網格
Figure 02_image005
及紋理
Figure 02_image003
可投影至影像平面上以獲得地面真值影像
Figure 02_image009
。
在202中，使用例如鏡頭模糊或下取樣的簡單退化程序自地面真值影像
Figure 02_image009
獲得退化的低解析度影像
Figure 02_image011
。可根據下述等式（1）來限定低解析度影像
Figure 02_image011
：
Figure 02_image013
… (1) 其中
Figure 02_image015
為高斯核，
Figure 02_image017
為卷積運算子，且
Figure 02_image019
為下取樣運算子。
在203中，提供低解析度影像
Figure 02_image021
作為紋理映射單元的輸入。在204中，低解析度影像
Figure 02_image021
用於製定幾何網格
Figure 02_image005
的紋理（亦即紋理映射）以組合低解析度紋理圖集
Figure 02_image001
。
目前可在任何攝影機位置 i處使用低解析度紋理圖集
Figure 02_image001
來渲染幾何網格
Figure 02_image005
以獲得低解析度影像
Figure 02_image021
。
圖3為示出根據一個實施例的用於獲得低解析度紋理圖集的方法的流程圖。
參考圖3，在301處，渲染地面真值紋理圖集
Figure 02_image003
以獲得地面真值影像
Figure 02_image023
。在302處，對地面真值影像
Figure 02_image025
進行下取樣以獲得低解析度影像
Figure 02_image027
。在303處，將低解析度影像
Figure 02_image029
應用於3D模型的網格
Figure 02_image005
以獲得低解析度紋理圖集
Figure 02_image001
。
如下文所解釋，所獲得低解析度紋理圖集
Figure 02_image001
可用於考慮深度學習框架中的渲染損失。
幾何網格
Figure 02_image005
及低解析度紋理圖集
Figure 02_image031
可用於在攝影機位置
Figure 02_image007
處渲染低解析度影像
Figure 02_image011
。因此，低解析度影像
Figure 02_image021
亦可表述為如下述等式（2）所示：
Figure 02_image033
… (2)
可在球形螺旋軌跡中選擇低解析度影像
Figure 02_image021
的攝影機位置
Figure 02_image007
。地面真值影像
Figure 02_image009
及低解析度影像
Figure 02_image011
的客觀度量（亦即峰值訊號雜訊比（peak signal to noise ratio；PSNR）及/或結構相似性指數量測值（structural similarity index measurement；SSIM））可用於基於下述等式（3）來計算渲染損失
Figure 02_image035
：
Figure 02_image037
… (3) 其中
Figure 02_image039
可為比較地面真值影像
Figure 02_image041
與低解析度影像
Figure 02_image043
的任何可微分客觀度量。另外，可經由RGB影像的紅色通道、綠色通道以及藍色通道分別計算客觀度量。
類似地，對於
Figure 02_image045
個渲染影像，可根據下述等式（4）來限定渲染損失
Figure 02_image035
：
Figure 02_image047
 … (4) 		 
可在使用深度學習設定的2D或3D超解析度任務中考慮渲染損失
Figure 02_image035
。舉例而言，由參數
Figure 02_image049
表徵的CNN
Figure 02_image051
考慮深度學習設定。CNN
Figure 02_image051
可呈現有低解析度紋理圖集
Figure 02_image001
以基於參數
Figure 02_image049
來輸出網路輸出
Figure 02_image053
。網路輸出
Figure 02_image053
可由下述等式（5）表述：
Figure 02_image055
… (5)
網路輸出
Figure 02_image057
可為紋理圖集，所述紋理圖集藉由將具有參數
Figure 02_image049
的CNN應用於低解析度紋理圖集
Figure 02_image001
而考慮渲染損失
Figure 02_image035
。可將網路輸出
Figure 02_image053
與對應高解析度地面真值紋理圖集
Figure 02_image003
進行比較，且損失
Figure 02_image059
可經由網路反向傳播，且可根據最佳化方案更新參數
Figure 02_image049
。損失
Figure 02_image061
可根據下述等式（6）來表述：
Figure 02_image063
… (6)
圖4A示出根據一個實施例的用於將渲染損失併入至2D監督深度學習框架中的模型。
所提出框架利用可微分渲染器將梯度自所渲染影像向後傳播至模型資訊的不同態樣的能力，從而允許將渲染併入至深度學習程序中。
標準渲染器可採用例如幾何結構、紋理、攝影機以及光的3D模型資訊作為攝影機位置的影像平面上的輸入及輸出投影影像。
在所提出框架中，可微分渲染器可使來自渲染影像的像素的2D損失與3D形狀的特性（諸如網格頂點的位置）聯繫起來。
參考圖4A，低解析度紋理圖集
Figure 02_image001
可輸入至CNN 401以獲得網路輸出
Figure 02_image053
。網路輸出
Figure 02_image053
可包含低解析度紋理圖集，且可輸入至可微分渲染器402以渲染在
Figure 02_image045
個不同攝影機位置處的低解析度影像
Figure 02_image065
、低解析度影像
Figure 02_image067
、低解析度影像
Figure 02_image069
以及低解析度影像
Figure 02_image071
。類似地，地面真值紋理圖集
Figure 02_image003
可輸入至可微分渲染器403以渲染在
Figure 02_image045
個不同攝影機位置處的地面真值影像
Figure 02_image073
、地面真值影像
Figure 02_image075
、地面真值影像
Figure 02_image077
以及地面真值影像
Figure 02_image079
。隨後可基於上述等式（4）在渲染影像對之間計算
Figure 02_image035
，且經由可微分渲染器402及可微分渲染器403經由網路進行反向傳播。
可基於下述等式（7）來計算總損失
Figure 02_image081
：
Figure 02_image083
… (7) 其中
Figure 02_image085
為用於控制
Figure 02_image087
及
Figure 02_image089
中任一者的貢獻值的參數。
圖4B示出根據一個實施例的用於將渲染損失併入至2D監督深度學習框架中的模型。
圖4B的模型與圖4A共用一些相似性。因此，為簡潔起見，可不重複在兩幅圖中一致的組件的描述。
參考圖4B，低解析度紋理圖集
Figure 02_image001
可首先穿過CNN
Figure 02_image091
以獲得網路輸出
Figure 02_image093
。隨後可使用可微分渲染器402及可微分渲染器403來渲染地面真值圖集T及
Figure 02_image093
以渲染在N個不同攝影機位置處的影像
Figure 02_image095
及影像
Figure 02_image097
。網路輸出
Figure 02_image093
可包含高解析度紋理圖集，且可輸入至可微分渲染器402以渲染在
Figure 02_image045
個不同攝影機位置處的低解析度影像
Figure 02_image099
、低解析度影像
Figure 02_image101
、低解析度影像
Figure 02_image103
以及低解析度影像
Figure 02_image105
。類似地，地面真值紋理圖集
Figure 02_image003
可輸入至可微分渲染器403以渲染在
Figure 02_image045
個不同攝影機位置處的地面真值影像
Figure 02_image073
、地面真值影像
Figure 02_image075
、地面真值影像
Figure 02_image077
以及地面真值影像
Figure 02_image079
。隨後可經由可微分渲染器402及可微分渲染器403經由網路反向傳播
Figure 02_image035
。在此情況下，可基於下述等式（8）來計算損失函數：
Figure 02_image107
. . . (8) 其中
Figure 02_image109
(. . .)亦可為|| . . . || p 比較兩個影像的任何可微分客觀度量。
圖5為示出根據一個實施例的考慮3D模型中的渲染損失的方法的流程圖。
參考圖5，在501中，渲染低解析度紋理圖集
Figure 02_image001
以獲得第一低解析度影像集合
Figure 02_image111
。在502中，渲染地面真值紋理圖集
Figure 02_image004
以獲得第二地面真值影像集合
Figure 02_image113
。在503中，將第一低解析度影像集合
Figure 02_image111
與第二地面真值影像集合
Figure 02_image113
進行比較以判定渲染損失。在504中，將紋理取樣特性應用於CNN以將渲染損失併入深度學習框架中，且CNN可在紋理圖集輸入至CNN中時用以產生紋理化3D模型。舉例而言，在將紋理化取樣特性應用於CNN之後，可提供低解析度紋理圖集
Figure 02_image001
作為CNN中的輸入，且CNN可執行超解析度處理以產生高解析度紋理圖集
Figure 02_image115
，可將所述高解析度紋理圖集
Figure 02_image115
應用於幾何網格
Figure 02_image005
，以產生3D模型的紋理。因此，2D渲染損失可用於考慮3D形狀的特性，諸如網格頂點的位置。
可藉由深度學習框架，諸如增強型深度超解析度（enhanced deep super-resolution；EDSR）網路來實施CNN。在執行深度學習框架時，可微分渲染器可用於考慮框架中的渲染損失
Figure 02_image035
。
受訓練模型或未受訓練模型可用於考慮渲染損失
Figure 02_image035
。在受訓練模型（亦即預訓練模型）的情況下，因總損失
Figure 02_image081
可能已由CNN考慮，故可能無需渲染紋理圖集
Figure 02_image004
及紋理圖集
Figure 02_image031
以獲得影像
Figure 02_image065
、影像
Figure 02_image067
、影像
Figure 02_image069
以及影像
Figure 02_image117
及影像
Figure 02_image073
、影像
Figure 02_image075
、影像
Figure 02_image077
以及影像
Figure 02_image119
。在此情況下，網路可使用CNN執行超解析度處理，此提供2D影像（亦即紋理圖集）作為輸入以輸出超解析影像。
圖6為根據一個實施例的網路環境600中的電子裝置601的方塊圖。
參考圖6，網路環境600中的電子裝置601可經由第一網路698（例如短程無線通信網路）與電子裝置602通信，或經由第二網路699（例如長程無線通信網路）與電子裝置604或伺服器608通信。電子裝置601可經由伺服器608與電子裝置604通信。電子裝置601可包含處理器620、記憶體630、輸入裝置650、聲音輸出裝置655、顯示裝置660、音訊模組670、感測器模組676、介面677、觸感模組679、攝影機模組680、功率管理模組688、電池689、通信模組690、用戶識別模組（subscriber identification module；SIM）696或天線模組697。在一個實施例中，可自電子裝置601中省略組件中的至少一者（例如顯示裝置660或攝影機模組680），或可將一或多個其他組件添加至電子裝置601。在一個實施例中，組件中的一些可實施為單個積體電路（integrated circuit；IC）。舉例而言，可將感測器模組676（例如指紋感測器、虹膜感測器或照度感測器）嵌入於顯示裝置660（例如顯示器）中。
處理器620可執行例如軟體（例如程式640）以控制與處理器620耦接的電子裝置601的至少一個其他組件（例如硬體或軟體組件），且可執行各種資料處理或計算。作為資料處理或計算的至少部分，處理器620可在揮發性記憶體632中加載自另一組件（例如感測器模組676或通信模組690）接收到的命令或資料，處理儲存於揮發性記憶體632中的命令或資料，且將所得資料儲存於非揮發性記憶體634中。處理器620可包含主處理器621（例如中央處理單元（central processing unit；CPU）或應用程式處理器（application processor；AP））及輔助處理器623（例如圖形處理單元（graphics processing unit；GPU）、影像信號處理器（image signal processor；ISP）、感測器集線器處理器或通信處理器（communication processor；CP）），所述輔助處理器623可獨立於主處理器621操作或與主處理器621結合操作。另外或可替代地，輔助處理器623可適用於消耗比主處理器621更少的功率，或執行特定功能。輔助處理器623可實施為與主處理器621分離，或實施為主處理器621的一部分。
輔助處理器623可在主處理器621處於非作用（例如休眠）狀態下時替代主處理器621或在主處理器621處於作用狀態（例如執行應用程式）下時與主處理器621一起控制與電子裝置601的組件當中的至少一個組件（例如顯示裝置660、感測器模組676或通信模組690）相關的功能或狀態中的至少一些。根據一個實施例，輔助處理器623（例如影像信號處理器或通信處理器）可實施為與輔助處理器623在功能上相關的另一組件（例如攝影機模組680或通信模組690）的部分。
記憶體630可儲存由電子裝置601的至少一個組件（例如處理器620或感測器模組676）使用的各種資料。各種資料可包含例如軟體（例如程式640）及用於與其相關的命令的輸入資料或輸出資料。記憶體630可包含揮發性記憶體632或非揮發性記憶體634。
程式640可作為軟體儲存於記憶體630中，且可包含例如操作系統（operating system；OS）642、中間軟體644或應用程式646。
輸入裝置650可自電子裝置601的外部（例如使用者）接收待由電子裝置601的其他組件（例如處理器620）使用的命令或資料。輸入裝置650可包含例如麥克風、滑鼠或鍵盤。
聲音輸出裝置655可將聲音信號輸出至電子裝置601的外部。聲音輸出裝置655可包含例如揚聲器或接收器。揚聲器可用於通用目的，諸如播放多媒體或記錄，且接收器可用於接收來電通話。根據一個實施例，接收器可實施為與揚聲器分離，或實施為揚聲器的一部分。
顯示裝置660可將資訊視覺上提供至電子裝置601的外部（例如使用者）。顯示裝置660可包含例如顯示器、全息圖裝置或投影儀以及控制電路系統，所述控制電路用以控制顯示器、全息圖裝置以及投影儀中的對應一者。根據一個實施例，顯示裝置660可包含適用於偵測觸摸的觸摸電路，或適用於量測由觸摸引發的力的強度的感測器電路系統（例如壓力感測器）。
音訊模組670可將聲音轉換為電信號，且反之亦然。根據一個實施例，音訊模組670可經由輸入裝置650獲得聲音，或經由聲音輸出裝置655或外部電子裝置602的頭戴式耳機輸出聲音，所述外部電子裝置602與電子裝置601直接（例如有線）或無線耦接。
感測器模組676可偵測電子裝置601的操作狀態（例如功率或溫度）或電子裝置601外部的環境狀態（例如使用者的狀態），且隨後產生對應於所偵測狀態的電信號或資料值。感測器模組676可包含例如手勢感測器、陀螺儀感測器、大氣壓力感測器、磁感測器、加速度感測器、握持感測器、近接感測器、色彩感測器、紅外（infrared；IR）感測器、生物測定感測器、溫度感測器、濕度感測器或照度感測器。
介面677可支援待用於與外部電子裝置602直接（例如有線）或無線耦接的電子裝置601的一或多個指定協定。根據一個實施例，介面677可包含例如高清晰度多媒體介面（high definition multimedia interface；HDMI）、通用串列匯流排（universal serial bus；USB）介面、安全數位（secure digital；SD）卡介面或音訊介面。
連接端子678可包含連接器，電子裝置601可經由所述連接器與外部電子裝置602實體連接。根據一個實施例，接線端子678可包含例如HDMI連接器、USB連接器、SD卡連接器或音訊連接器（例如頭戴式耳機連接器）。
觸感模組679可將電信號轉換為使用者可經由觸覺或運動感覺識別的機械刺激（例如振動或移動）或電刺激。根據一個實施例，觸感模組679可包含例如馬達、壓電部件或電刺激器。
攝影機模組680可捕捉靜態影像或移動影像。根據一個實施例，攝影機模組680可包含一或多個透鏡、影像感測器、影像信號處理器或閃光燈。
功率管理模組688可管理供應至電子裝置601的功率。功率管理模組688可實施為例如功率管理積體電路（power management integrated circuit；PMIC）的至少部分。
電池689可將功率供應至電子裝置601的至少一個組件。根據一個實施例，電池689可包含例如不可再充電的一次電池、可再充電的二次電池或燃料電池。
通信模組690可支援在電子裝置601與外部電子裝置（例如電子裝置602、電子裝置604或伺服器608）之間建立直接（例如有線）通信通道或無線通信通道，且經由所建立的通信通道執行通信。通信模組690可包含可獨立於處理器620（例如AP）操作的一或多個通信處理器，且支援直接（例如有線）通信或無線通信。根據一個實施例，通信模組690可包含無線通信模組692（例如蜂巢式通信模組、短程無線通信模組或全球導航衛星系統（global navigation satellite system；GNSS）通信模組）或有線通信模組694（例如區域網路（local area network；LAN）通信模組或電力線通信（power line communication；PLC）模組）。此等通信模組中的對應一者可經由第一網路698（例如短程通信網路，諸如Bluetooth TM、無線保真（wireless-fidelity；Wi-Fi）直接或紅外資料協會（Infrared Data Association；IrDA）標準）或第二網路699（例如長程通信網路，諸如蜂巢式網路、網際網路或電腦網路（例如LAN或廣域網路（wide area network；WAN））與外部電子裝置通信。此等各種類型的通信模組可實施為單個組件（例如單個IC），或可實施為彼此分離的多個組件（例如多個IC）。無線通信模組692可使用儲存於用戶識別模組696中的用戶資訊（例如國際行動用戶識別碼（international mobile subscriber identity；IMSI））在通信網路（諸如第一網路698或第二網路699）中識別及驗證電子裝置601。
天線模組697可將信號或功率傳輸至電子裝置601的外部（例如外部電子裝置），或自電子裝置601的外部接收信號或功率。根據一個實施例，天線模組697可包含一或多個天線，且可例如由通信模組690（例如無線通信模組692）自所述一或多個天線選擇適合於在通信網路（諸如第一網路698或第二網路699）中使用的通信方案的至少一個天線。隨後可經由所選擇的至少一個天線在通信模組690與外部電子裝置之間傳輸或接收信號或功率。
上文所描述的組件中的至少一些可相互耦接，且經由周邊間通信方案（例如匯流排、通用輸入及輸出（general purpose input and output；GPIO）、串列周邊介面（serial peripheral interface；SPI）或行動產業處理器介面（mobile industry processor interface；MIPI））在其間傳送信號（例如命令或資料）。
根據一個實施例，可經由與第二網路699耦接的伺服器608在電子裝置601與外部電子裝置604之間傳輸或接收命令或資料。電子裝置602及電子裝置604中的每一者可為與電子裝置601相同類型或不同類型的裝置。可在外部電子裝置602、外部電子裝置604或外部電子裝置608中的一或多者處執行待在電子裝置601處執行的操作中的所有或一些。舉例而言，若電子裝置601應自動地或回應於來自使用者或另一裝置的請求而執行功能或服務，則替代或補充執行功能或服務的電子裝置601可請求一或多個外部電子裝置執行功能或服務的至少部分。接收請求的一或多個外部電子裝置可執行所請求的功能或服務的至少部分或與所述請求相關的額外功能或額外服務，且將執行的結果傳送至電子裝置601。電子裝置601可在進一步處理結果或不進一步處理結果的情況下提供結果作為對請求的回覆的至少部分。為此，可使用例如雲端計算、分散式計算或主從式計算技術。
一個實施例可實施為包含一或多個指令的軟體（例如程式640），所述一或多個指令儲存於可由機器（例如電子裝置601）讀取的儲存媒體（例如內部記憶體636或外部記憶體638）中。舉例而言，電子裝置601的處理器可調用儲存於儲存媒體中的一或多個指令中的至少一者，且在處理器的控制下在使用或不使用一或多個其他組件的情況下執行所述一或多個指令中的至少一者。因此，機器可操作以根據所調用的至少一個指令來執行至少一個功能。一或多個指令可包含由編譯器產生的程式碼或可由解譯器執行的程式碼。機器可讀儲存媒體可以非暫時性儲存媒體的形式提供。術語「非暫時性」指示儲存媒體為有形裝置，且不包含信號（例如電磁波），但此術語不在資料半永久地儲存於儲存媒體中的情況與資料暫時地儲存於儲存媒體中的情況之間進行區分。
根據一個實施例，本揭露的方法可包含於且提供於電腦程式產品中。電腦程式產品可作為產品在賣方與買方之間交易。電腦程式產品可以機器可讀儲存媒體（例如緊密光碟唯讀記憶體（compact disc read only memory；CD-ROM））的形式分銷，或經由應用程式商店（例如Play Store TM）線上分銷（例如下載或上載），或在兩個使用者裝置（例如智慧型電話）之間直接分銷。若線上分銷，則電腦程式產品的至少部分可暫時產生於或至少暫時儲存於機器可讀儲存媒體中，所述機器可讀儲存媒體諸如製造商伺服器的記憶體、應用程式商店的伺服器或轉送伺服器。
根據一個實施例，上文所描述的組件中的每一組件（例如模組或程式）可包含單個實體或多個實體。可省略上文所描述的組件中的一或多者，或可添加一或多個其他組件。可替代地或另外，可將多個組件（例如模組或程式）整合至單個組件中。在此情況下，積體組件仍可以與在整合之前藉由多個組件中的對應一者執行多個組件中的每一者的一或多個功能相同或類似的方式來執行所述一或多個功能。藉由模組、程式或另一組件執行的操作可依序、並行、重複或探索式地進行，或操作中的一或多者可以不同次序執行或經省略，或可添加一或多個其他操作。
儘管已在本揭露的詳細描述中描述本揭露的某些實施例，但可在不脫離本揭露的範疇的情況下以各種形式修改本揭露。因此，不應僅基於所描述的實施例來判定本揭露的範疇，而是基於隨附申請專利範圍及其等效物來判定本揭露的範疇。
101:同步定位與映射系統單元 102:網格產生單元 103:紋理映射單元 104:紋理圖集超解析度單元 201、202、203、204、301、302、303、501、502、503、504:操作 401:卷積神經網路 402、403:可微分渲染器 600:網路環境 601、602、604:電子裝置 608:伺服器 620:處理器 621:主處理器 623:輔助處理器 630:記憶體 632:揮發性記憶體 634:非揮發性記憶體 636:內部記憶體 638:外部記憶體 640:程式 642:操作系統 644:中間軟體 646:應用程式 650:輸入裝置 655:聲音輸出裝置 660:顯示裝置 670:音訊模組 676:感測器模組 677:介面 678:連接端子 679:觸感模組 680:攝影機模組 688:功率管理模組 689:電池 690:通信模組 692:無線通信模組 694:有線通信模組 696:用戶識別模組 697:天線模組 698:第一網路 699:第二網路
本揭露的某些實施例的以上及其他態樣、特徵以及優點將自結合隨附圖式進行的以下詳細描述更顯而易見，在所述隨附圖式中： 圖1示出根據一個實施例的用於執行3D超解析度處理的方法。 圖2示出根據一個實施例的正向3D紋理形成模型。 圖3為示出根據一個實施例的用於獲得低解析度紋理圖集的方法的流程圖。 圖4A示出根據一個實施例的用於將渲染損失併入至2D監督深度學習框架中的模型。 圖4B示出根據一個實施例的用於將渲染損失併入至2D監督深度學習框架中的模型。 圖5為示出根據一個實施例的考慮3D模型中的渲染損失的方法的流程圖。 圖6為根據一個實施例的網路環境中的電子裝置的方塊圖。
501、502、503、504:操作

Claims (20)

  1. 一種三維（3D）紋理化三維模型的方法，所述方法包括： 渲染紋理圖集以獲得所述三維模型的第一二維（2D）影像集合； 渲染地面真值紋理圖集以獲得所述三維模型的第二二維影像集合； 將所述第一二維影像集合與所述第二二維影像集合進行比較以判定渲染損失； 將紋理取樣特性應用於卷積神經網路（CNN）以將所述渲染損失併入至深度學習框架中；以及 將二維紋理圖集輸入至所述卷積神經網路中以產生所述三維模型的紋理。
  2. 如請求項1所述的方法，其中所述第一二維影像集合及所述第二二維影像集合分別對應於所述三維模型在不同攝影機角度處的視圖。
  3. 如請求項2所述的方法，其中針對所述三維模型在不同攝影機角度處的所述視圖中的每一者，將所述第一二維影像集合與所述第二二維影像集合進行比較。
  4. 如請求項2所述的方法，其中基於包含於第一視圖處的所述第一二維影像集合中的至少一個影像及包含於所述第一視圖處的所述第二二維影像集合中的至少一個影像來判定所述渲染損失。
  5. 如請求項1所述的方法，其中所述卷積神經網路包含基於最佳化方案而選擇的參數，且 其中基於所述渲染損失來更新所述卷積神經網路的所述參數。
  6. 如請求項1所述的方法，其中在對所述三維模型的紋理執行超解析度處理的同時，將所述紋理取樣特性應用於所述卷積神經網路以考慮所述渲染損失。
  7. 如請求項1所述的方法，其中所述卷積神經網路包含基於最佳化方案而選擇的參數，且 其中所述卷積神經網路回應於所述卷積神經網路的所述參數經預定而操作為二維影像卷積神經網路模型。
  8. 如請求項1所述的方法，其中產生所述三維模型的所述紋理包括對所述二維紋理圖集執行超解析度處理。
  9. 一種用於紋理化三維（3D）模型的電子裝置，所述電子裝置包括： 非暫時性電腦可讀記憶體及處理器，其中在執行儲存於所述非暫時性電腦可讀記憶體中的指令時，所述處理器經組態以： 渲染紋理圖集以獲得所述三維模型的第一二維（2D）影像集合； 渲染地面真值紋理圖集以獲得所述三維模型的第二二維影像集合； 將所述第一二維影像集合與所述第二二維影像集合進行比較以判定渲染損失； 將紋理取樣特性應用於卷積神經網路（CNN）以將所述渲染損失併入至深度學習框架中；以及 將二維紋理圖集輸入至所述卷積神經網路中以產生所述三維模型的紋理。
  10. 如請求項9所述的電子裝置，其中所述第一二維影像集合及所述第二二維影像集合分別對應於所述三維模型在不同攝影機角度處的視圖。
  11. 如請求項10所述的電子裝置，其中針對所述三維模型在不同攝影機角度處的所述視圖中的每一者，將所述第一二維影像集合與所述第二二維影像集合進行比較。
  12. 如請求項10所述的電子裝置，其中基於包含於第一視圖處的所述第一二維影像集合中的至少一個影像及包含於所述第一視圖處的所述第二二維影像集合中的至少一個影像來判定所述渲染損失。
  13. 如請求項9所述的電子裝置，其中所述卷積神經網路包含基於最佳化方案而選擇的參數，且 其中基於所述渲染損失來更新所述卷積神經網路的所述參數。
  14. 如請求項9所述的電子裝置，其中在對所述三維模型的所述紋理執行超解析度處理的同時，將所述紋理取樣特性應用於所述卷積神經網路以考慮所述渲染損失。
  15. 如請求項9所述的電子裝置，其中所述卷積神經網路包含基於最佳化方案而選擇的參數，且 其中所述卷積神經網路回應於所述卷積神經網路的所述參數經預定而操作為二維影像卷積神經網路模型。
  16. 如請求項9所述的電子裝置，其中產生所述三維模型包括對所述二維紋理圖集執行超解析度處理。
  17. 一種三維（3D）紋理化三維模型的方法，所述方法包括： 渲染地面真值紋理圖集以獲得所述三維模型的第一二維（2D）影像集合； 對所述三維模型的所述第一二維影像集合進行下取樣以獲得所述三維模型的第二低解析度二維影像集合；以及 紋理化所述三維模型的幾何網格以獲得低解析度紋理圖集。
  18. 如請求項17所述的方法，更包括： 將所述第一二維影像集合與所述第二低解析度二維影像集合進行比較以判定渲染損失； 將紋理取樣特性應用於卷積神經網路（CNN）以將所述渲染損失併入至深度學習框架中；以及 將二維紋理圖集輸入至所述卷積神經網路中以產生所述三維模型的紋理。
  19. 如請求項18所述的方法，其中所述卷積神經網路包含基於最佳化方案而選擇的參數，且 其中基於所述渲染損失來更新所述卷積神經網路的所述參數。
  20. 如請求項18所述的方法，其中產生所述三維模型的所述紋理包括對所述二維紋理圖集執行超解析度處理。
TW110138782A 2020-10-21 2021-10-20 三維紋理化三維模型的方法以及用於紋理化三維模型的電子裝置 TW202217749A (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202063094661P 2020-10-21 2020-10-21
US63/094,661 2020-10-21
US17/166,586 US20220122311A1 (en) 2020-10-21 2021-02-03 3d texturing via a rendering loss
US17/166,586 2021-02-03

Publications (1)

Publication Number Publication Date
TW202217749A true TW202217749A (zh) 2022-05-01

Family

ID=80929532

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110138782A TW202217749A (zh) 2020-10-21 2021-10-20 三維紋理化三維模型的方法以及用於紋理化三維模型的電子裝置

Country Status (5)

Country Link
US (1) US20220122311A1 (zh)
KR (1) KR20220052832A (zh)
CN (1) CN114387377A (zh)
DE (1) DE102021117294A1 (zh)
TW (1) TW202217749A (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115205707B (zh) * 2022-09-13 2022-12-23 阿里巴巴（中国）有限公司 样本图像生成方法、存储介质以及电子设备
US20240303789A1 (en) * 2023-03-08 2024-09-12 Samsung Electronics Co., Ltd. Reference-based nerf inpainting

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20170278293A1 (en) * 2013-07-18 2017-09-28 Google Inc. Processing a Texture Atlas Using Manifold Neighbors
US10403031B2 (en) * 2017-11-15 2019-09-03 Google Llc Learning to reconstruct 3D shapes by rendering many 3D views
US10885608B2 (en) * 2018-06-06 2021-01-05 Adobe Inc. Super-resolution with reference images
GB2576548B (en) * 2018-08-23 2021-11-03 Sony Interactive Entertainment Inc Method and system for reconstructing colour and depth information of a scene
CN112602119A (zh) * 2018-09-03 2021-04-02 爱克发有限公司 一种生成对象的增强断层图像的方法
US10783669B2 (en) * 2018-09-26 2020-09-22 Google Llc Texture coordinate compression using texture atlas
EP3827414A4 (en) * 2018-11-09 2021-11-24 Samsung Electronics Co., Ltd. TEXTURED NEURONAL AVATARS
EP3799433A1 (en) * 2019-09-24 2021-03-31 Koninklijke Philips N.V. Coding scheme for immersive video with asymmetric down-sampling and machine learning
US11688079B2 (en) * 2020-03-31 2023-06-27 Nant Holdings Ip, Llc Digital representation of multi-sensor data stream
CN111598762B (zh) * 2020-04-21 2023-09-19 中山大学 一种生成式鲁棒图像隐写方法

Also Published As

Publication number Publication date
US20220122311A1 (en) 2022-04-21
KR20220052832A (ko) 2022-04-28
CN114387377A (zh) 2022-04-22
DE102021117294A1 (de) 2022-04-21

Similar Documents

Publication Publication Date Title
CN109978989B (zh) 三维人脸模型生成方法、装置、计算机设备及存储介质
US12073502B2 (en) Electronic device for displaying avatar corresponding to external object according to change in position of external object
US11138434B2 (en) Electronic device for providing shooting mode based on virtual character and operation method thereof
US9135678B2 (en) Methods and apparatus for interfacing panoramic image stitching with post-processors
TW202030697A (zh) 電子裝置及恢復深度圖的方法
TWI822987B (zh) 用於確定影像的深度資訊的系統及方法
TW202217749A (zh) 三維紋理化三維模型的方法以及用於紋理化三維模型的電子裝置
KR20200097046A (ko) 아바타 애니메이션을 제공하기 위한 전자 장치 및 그에 관한 방법
CN116091676B (zh) 虚拟对象的面部渲染方法及点云特征提取模型的训练方法
US20200310637A1 (en) Electronic device performing function according to gesture input and operation method thereof
US20230334622A1 (en) Electronic device for upscaling image and method for controlling same
KR20220021853A (ko) 비용-볼륨에 주의에 기반한 불일치 추정을 위한 시스템 및 방법
US11189067B2 (en) Electronic device and content generation method
US11531701B2 (en) Electronic device and control method thereof
US20240212181A1 (en) Electronic device for obtaining depth data of image and method for controlling same
US12026831B2 (en) Electronic device and method for spatial mapping using the same
US11915384B2 (en) Estimation of optimal rasterization distortion function from image distortion property
CN117132701A (zh) 人脸模型的面部驱动方法、装置、电子设备及存储介质
KR20210012562A (ko) 아바타를 제공하는 전자 장치 및 그의 동작 방법