TWI821710B - 資訊處理裝置及資訊處理方法 - Google Patents
資訊處理裝置及資訊處理方法 Download PDFInfo
- Publication number
- TWI821710B TWI821710B TW110126278A TW110126278A TWI821710B TW I821710 B TWI821710 B TW I821710B TW 110126278 A TW110126278 A TW 110126278A TW 110126278 A TW110126278 A TW 110126278A TW I821710 B TWI821710 B TW I821710B
- Authority
- TW
- Taiwan
- Prior art keywords
- data
- modeling data
- modeling
- unit
- corrected
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 17
- 238000003672 processing method Methods 0.000 title claims description 4
- 238000012937 correction Methods 0.000 claims description 51
- 238000010801 machine learning Methods 0.000 claims description 27
- 238000004088 simulation Methods 0.000 claims description 12
- 210000000988 bone and bone Anatomy 0.000 claims description 7
- 230000032683 aging Effects 0.000 claims description 6
- 230000037237 body shape Effects 0.000 claims description 6
- 230000008859 change Effects 0.000 claims description 5
- 210000003205 muscle Anatomy 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 230000009471 action Effects 0.000 description 6
- 239000000463 material Substances 0.000 description 5
- 238000000034 method Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000035622 drinking Effects 0.000 description 4
- 230000004048 modification Effects 0.000 description 4
- 238000012986 modification Methods 0.000 description 4
- LFQSCWFLJHTTHZ-UHFFFAOYSA-N Ethanol Chemical compound CCO LFQSCWFLJHTTHZ-UHFFFAOYSA-N 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 3
- 210000003128 head Anatomy 0.000 description 3
- 210000002414 leg Anatomy 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000037213 diet Effects 0.000 description 2
- 235000005911 diet Nutrition 0.000 description 2
- 210000001508 eye Anatomy 0.000 description 2
- 230000008921 facial expression Effects 0.000 description 2
- 210000000214 mouth Anatomy 0.000 description 2
- 230000000391 smoking effect Effects 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 210000000617 arm Anatomy 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 210000005252 bulbus oculi Anatomy 0.000 description 1
- 210000001217 buttock Anatomy 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 235000019577 caloric intake Nutrition 0.000 description 1
- 210000000038 chest Anatomy 0.000 description 1
- 235000019504 cigarettes Nutrition 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000002650 habitual effect Effects 0.000 description 1
- 210000004209 hair Anatomy 0.000 description 1
- 210000004247 hand Anatomy 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000009191 jumping Effects 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 235000016709 nutrition Nutrition 0.000 description 1
- 239000011295 pitch Substances 0.000 description 1
- 238000007665 sagging Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000009182 swimming Effects 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
- 230000037303 wrinkles Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T15/00—3D [Three Dimensional] image rendering
- G06T15/02—Non-photorealistic rendering
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N5/00—Computing arrangements using knowledge-based models
- G06N5/01—Dynamic search techniques; Heuristics; Dynamic trees; Branch-and-bound
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2012—Colour editing, changing, or manipulating; Use of colour codes
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2021—Shape modification
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Architecture (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Processing Or Creating Images (AREA)
- Hardware Redundancy (AREA)
Abstract
本發明提出一種資訊處理裝置包括一獲取單元，用以獲取表示一對象物件的3D模型的3D建模數據；一指定單元，用以根據與該3D建模數據對應的附屬數據，在構成該3D建模數據的元素中自動指定待修正元素；一修正單元，用以自動修正該待修正元素。
Description
本發明是關於一種修正或編輯3D建模數據的技術。
已知有用於處理表示對象物件3D模型的3D建模數據的系統。例如在專利文獻1中揭露了一種用於推測3D建模數據的動態特性並把推測的數據附加於3D建模數據的技術。
[專利文獻1]日本專利第6489726號公報。
在專利文獻1記載的技術中，若要修正已經生成的3D建模數據必須花費大量的時間與勞力。而本發明提供一種能更簡單地對於已經生成的3D建模數據進行修正的技術。
本發明之一實施例提供一種資訊處理裝置，包括：一獲取單元，用以獲取表示一對象物件的3D模型的3D建模數據；一指定單元，用以根據與該3D建模數據對應的附屬數據，在構成該3D建模數據的元素中自動指定待修正元素；一修正單元，用以自動修正該待修正元素。
該附屬數據包括使該3D模型運動的運動數據，該指定單元將表示該對象物件運動的運動數據指定為該待修正元素，該修正單元對被指定有一過大運動的特徵的該運動數據進行修正。
該過大運動為該對象物體的骨骼和肌肉於結構上不可能的運動。
該3D建模數據包括定義該對象物件形狀的數據及紋理，該附屬數據包括一時間戳，用以表示生成該3D建模數據的圖像的拍攝時間，當該時間戳與當前時間的差值滿足一預設條件時，該指定單元將該數據及該紋理指定為該待修正元素。
該修正單元根據該時間戳與該當前時間的差值對該3D模型進行一老化修正。
該附屬數據包括與該對象物件的生活習慣有關的生活習慣資訊，還包括一模擬單元，用以根據該生活習慣資訊對該對象物件的體型變化進行模擬，該指定單元根據該模擬的結果以指定該待修正元素。
該資訊處理裝置還包括一儲存單元，用以儲存複數個不同時期對該對象物件掃描所生成的3D建模數據，該模擬單元以該複數個3D建模數據進行模擬。
該修正單元將自複數個對象物件萃取出的特徵組合，以對該對象物件的3D建模數據進行修正。
本發明之一實施例提供一種資訊處理方法，包括：獲取代表一對象物件的3D模型的3D建模數據的步驟，其中該3D建模數據包括該對象物件的附屬數據；根據該附屬數據在構成該3D建模數據的元素中自動指定待修正元素的步驟；自動修正該待修正元素的步驟。
據此，本發明能夠更簡單地對於已經生成的3D建模數據進行修正。
1. 結構
圖1為例示一實施例的3D數據系統1的結構的圖。3D數據系統1用以提供3D建模數據。此處的3D建模數據可以表示人類、動物、物品等對象物件的3D模型的數據。3D模型為表示對象物件三次元外觀的模型。例如，3D建模數據的外表面是由拍攝對象物件的照片所生成的圖像貼附而成。舉例來說，3D模型可以是在虛擬空間的使用者本身或使用者所使用的其他人物的化身。或者，3D模型可以用於，例如，電玩遊戲、視訊通話、視訊會議、購物、健身等各種應用程式或用途。
3D數據系統1包括伺服器10、伺服器20、終端裝置30和3D掃描器40。伺服器10為管理3D建模數據的伺服器。伺服器10由3D數據系統1的管理業者所管理。伺服器20為提供使用3D模型的應用程式的伺服器。此應用程式可以由管理業者自行提供，也可以由其他業者提供。終端裝置30可以是智慧型手機、平板終端，也可以是個人電腦等資訊處理裝置。另外，為了簡化圖式，此處僅示出一伺服器20、一終端裝置30和一3D掃描器40，但是3D數據系統1可以具有多個伺服器20和/或多個終端裝置30。
3D掃描器40為掃描對象物件並生成3D建模數據的裝置。3D掃描器40用以拍攝對象物件外觀的圖像（即照片），測量從參考位置（例如感測器的位置）到對象物件表面的距離，並獲得圖像數據和距離數據。此外，3D掃描器40使用預設的演算法將圖像數據和距離數據生成對象物件的3D建模數據。3D掃描器40再將生成的3D建模數據上傳到伺服器10。
伺服器20提供應用程式至終端裝置30。該應用程式包括用於向伺服器10發送API（Application Programming Interface，應用程式介面）請求的軟體模組。例如，當終端裝置30執行該應用程式時，終端裝置30根據該應用程式向伺服器10發送API請求。該API請求為請求輸出3D模型的數據（例如3D建模數據本身）。伺服器10對應該API請求發送API響應。此API響應包含請求的數據。輸出3D模型的數據可以是3D建模數據本身，也可以是表示3D建模數據的處理結果的數據（例如使3D模型運動的動畫數據）。終端裝置30提供使用3D數據的應用程式給使用者。
圖2為例示3D數據系統1的功能結構的圖。3D數據系統1包括存儲單元11、獲取單元12、指定單元13、修正單元14和控制單元15。存儲單元11用以存儲各種數據。在本實施例中，存儲單元11用以存儲資料庫111。資料庫111用以存儲表示對象物件3D模型的3D建模數據和對應的附屬數據。指定單元13根據與3D建模數據相對應的附屬數據，在構成3D建模數據的元素中自動指定待修正元素。此處的「自動指定待修正元素」指在沒有使用者明確指示的情況下最終決定待修正元素。修正單元14自動修正由指定單元13指定出的元素。此處的「自動修正」指在沒有使用者明確指示的情況下也執行修正處理。
圖3為例示伺服器10的硬體結構的圖。伺服器10為具有CPU（Central Processing Unit，中央處理器）101、記憶體102、存儲器103和通信IF 104的計算機裝置或資訊處理裝置。CPU 101為根據程式執行各種演算的控制器。記憶體102是在CPU 101執行處理時作為工作區的主存儲裝置。記憶體102可以為，例如RAM（Random Access Memory，隨機儲存記憶體）和ROM（Read Only Memory，唯讀記憶體）。存儲器103為存儲各種數據和程式的輔助存儲裝置。存儲器103可以是，例如SSD（Solid State Drive，固態硬碟）和/或HDD（Hard Disc Drive，硬碟）。通信IF 104是根據預設通信標準（例如乙太網路，Ethernet）與另一裝置進行通信的裝置，並可包括，例如NIC（Network Interface Card，網路介面卡）。
在本實施例中，存儲在存儲器103中的程式包括用於使計算機裝置作為3D數據系統1的伺服器10的程式（以下稱為「管理伺服器程式」）。在CPU 101執行管理伺服器程式的狀態下，存儲單元11的一示例為記憶體102和存儲器103中的其中至少一者。CPU 101是獲取單元12、指定單元13、修正單元14和控制單元15的一示例。
2. 動作
2-1. 動作的概要
圖4為例示伺服器10的動作的流程圖。在步驟S101中，獲取單元12用以獲取對象物件的3D建模數據。在本實施例中，伺服器10由3D掃描器40獲取3D建模數據。除了3D建模數據之外，伺服器10還獲取附屬數據。該附屬數據可以，例如，在掃描對象物件（即使用者）時輸入。在步驟S102中，存儲單元11將獲取單元12獲取的3D建模數據和附屬數據儲存在資料庫111中。
圖5為例示資料庫111中的3D建模數據的結構的圖。資料庫111包括複數個3D數據集9。3D數據集是至少包含3D建模數據的數據群。每個3D數據集9包括使用者ID 91、3D建模數據（或3D建模數據主體）92和附屬數據93。附屬數據93包括，例如，使用者屬性和更新日期。使用者屬性表示使用者ID、使用者名稱、出生日期、性別、身高、體重等使用者的屬性。更新日期表示更新3D數據集的日期和時間。
在本實施例中，3D建模數據92包括表示同一對象物件的複數個（圖中為三個）3D建模數據921、3D建模數據922和3D建模數據923。3D建模數據921包括定義對象物件形狀的數據。對象物件的形狀可以由多邊形或自由曲面定義。3D建模數據921還包括關於對象物件材質的資訊。關於材質的資訊包括顏色、透明度、反射、折射率、自發光、凹凸和位移中的至少一種。3D建模數據921還包括紋理。紋理為貼附於3D模型的圖像。相同地，3D建模數據922和3D建模數據923也包括定義模型形狀的數據、關於材質的資訊和紋理。定義模型形狀的數據、關於材質的資訊和紋理是3D建模數據92的複數個元素的一示例。
在一實施例中，這些複數個數據各別的品質不同。在本實施例中，3D建模數據921為高品質的（即大數據量），3D建模數據922為中品質的（即中數據量），3D建模數據923為低品質的（即低數據量）。此處，這些高品質、中品質和低品質的3D建模數據是構成3D建模數據92的複數個元素的一示例。
在本實施例中，3D建模數據921被區分成多個部分。即形狀、材質和紋理各別區分為複數個部分。該複數的部分是根據對象物件的身體結構的區分，例如頭部、胸部、腹部、臀部、手臂、手和腿。這些複數個部分中的至少一部分可以進一步細分為複數個子部分。例如頭部可以區分為頭髮、眼睛、鼻子、嘴巴和耳朵。這些複數個部分是構成3D建模數據92的複數個元素的另一示例。
附屬數據93包括骨骼數據。骨骼表示為使3D模型移動的運動單位的元素。例如當3D模型由多邊形表示時，多邊形的頂點和骨骼之間的對應關係（即所謂的表皮權重，skin weight）會被設定（即所謂的蒙皮，skinning）。當骨骼移動時，相應的多邊形也隨著骨骼的移動而移動，造成3D模型整體移動。類似於3D建模，骨骼數據也可以包括具有不同品質的複數組數據。又，骨骼數據可以被包括在3D建模數據中，在這種情況下，骨骼數據是構成3D建模數據92的複數個元素的一示例。
在本實施例中，附屬數據93包括定義3D模型的運動的運動數據。在一實施例中，運動數據可以定義為例如步行、跑步、跳躍、停止、投擲、游泳和跳舞等每個動作的骨骼運動。例如，跑步的運動數據可以定義為步幅、如何抬腿、如何擺動手臂等。在另一實施例中，運動數據可以是3D建模數據的特定部分的運動，例如可以是面部表情。例如，面部表情的運動數據可以定義為如何張嘴、如何睜眼、如何移動眉毛等。
舉例來說，運動數據可以從拍攝對象物件的動畫中提取。例如，可以使用運動捕捉技術生成運動數據。或者，運動數據可作為3D數據系統1中的模板，根據使用者的選擇或由系統自動對應3D建模數據。
3D建模數據由3D模型生成引擎所以生成。3D模型生成引擎的其中一示例為根據對象物件的圖像數據和距離數據來生成對象物件的3D模型的生成單元，例如是軟體模組。在本實施例中，3D模型生成引擎安裝在3D掃描器40上。除了3D掃描器40之外，或是取代3D掃描器40，3D模型生成引擎也可以安裝在伺服器10或其他裝置上。
再次參見圖4。在步驟S103中，指定單元13從儲存在資料庫111中的複數個3D建模數據92中指定待修正的3D建模數據92（以下稱為「目標數據」)。在一實施例中，指定單元13從複數個使用者中指定目標使用者，並將該使用者的3D建模數據92指定為目標數據。例如，可以通過使用者自己或其他使用者的明確指令來指定目標使用者。或者，指定單元13可以在預設的時間點（例如週期性地）將資料庫111中包括的3D建模數據92中屬於特定群組的3D建模數據92指定為目標數據。在此情況下，可以根據一些標準將複數個3D建模數據預先分組。
在步驟S104中，指定單元13在構成目標數據的複數個元素中自動指定待修正元素（以下稱為「目標元素」）。指定單元根據與目標數據相對應的附屬數據來指定目標元素。在步驟S105中，修正單元14自動修正目標元素。修正的方法可以，例如根據目標元素預先決定。控制單元15將修正後的3D建模數據通知存儲單元11。存儲單元11將包括待修正元素的3D建模數據寫入資料庫111(步驟S106)。如此，待修正的3D建模數據可以自動寫入資料庫111中。
以下將說明步驟S104和步驟S105的一些具體實施例。以下的處理方式至少可以以兩個或多個組合來應用。
2-2. 過大運動的修正
本實施例中，目標元素是定義3D模型運動的運動數據，因修正的關係，該運動被誇大。
舉例來說，響應使用者的指令，指定單元13從包括在目標數據中的各種數據中將運動數據指定為候補目標元素。此外，指定單元13在候補目標元素中將代表使用者的運動數據指定為為目標元素（步驟S104）。代表使用者的運動數據可以是，例如複數個運動數據中使用頻率最高的運動數據。在此情況下，在資料庫111會儲存運動數據每次的使用紀錄。或者，代表使用者的運動數據是複數個運動數據中與參考運動數據偏差最大的數據。在此情況下，運動數據可以藉由捕捉對象物件的動作得到的運動數據、根據對象物件的屬性（例如年齡、性別、體格）估計的運動數據、或者使用者編輯的數據等，模板以外的運動數據。在資料庫111中，決定作為每個動作的參考的數據。參考的數據可以是，例如營運業者設定的模板的運動數據，或者是對複數個對象物件的運動數據進行統計處理所得到能反應統計代表值的運動數據。
在步驟S105中，修正單元14修正目標元素的運動數據以給出由目標元素的運動數據指示的過大的運動。在此，過大的運動為對象物件的骨骼和肌肉於結構上不可能的運動。例如，過大的動作包括跑步時腿垂直旋轉360°、手臂水平旋轉360°、步幅超過身高、或者（驚訝時）眼球從臉上彈出、（生氣時）頭上冒出蒸汽等漫畫式的表現。過大的動作可以，例如被預先定義為每個動作的模板。
據此示例，例如，使用者可以讓化身有卡通般的表情。
2-3. 使年齡變化的修正
在實施例中，目標元素是定義3D模型形狀的數據和紋理，且需以拍攝對像物件以來經過的時間所對應的年紀增長做修正。
指定單元13根據目標數據的圖像數據的生成日期和時間（即時間戳）與當前日期和時間之間的差值來指定目標元素。具體來說，當兩者之間的差值超過閾值時，指定單元13將包括各種數據的目標數據中定義形狀的數據和紋理指定為目標元素（步驟S104）。附屬數據93表示圖像數據的生成日期和時間。閾值可以，例如由營運業者預先決定，或者也可以由使用者指定。
在步驟S105中，修正單元14根據時間戳與當前日期和時間之間的差值對3D模型進行老化修正。具體地來說，修正單元14以該差值對應的時間來修正3D模型的形狀和紋理（即模擬3D模型的老化）。例如，老化面部的3D模型會有更多的皺紋、下垂的臉頰和較暗沈的膚色。
在一實施例中，以機器學習的技術來模擬伴隨時間經過的老化。在本實施例中，修正單元14具有機器學習模型。該機器學習模型是一個經過訓練的模型，對於複數個使用者各別定義第一時間點3D模型形狀的數據和紋理、以及在第一時間點到第二時間點之間的時間提供給輸入層，定義第二個時間點3D模型形狀的數據和紋理提供給輸出層，作為教師數據，使其進行機器學習。例如，以資料庫111中儲存的數據作為教師數據使用。修正單元14將步驟S104中指定的目標元素、定義形狀的數據和紋理、以及時間戳及當前日期和時間之間的差值提供給機器學習模型的輸入層。機器學習模型輸出與這些數據對應，定義形狀的數據和紋理。定義形狀的數據和紋理所表示的3D模型代表在當前日期和時間的預測3D模型。修正單元14通過使用機器學習模型輸出的定義形狀的數據和紋理來修正3D建模數據。
據此示例，例如，從使用者生成化身開始，即使時間經過也可以使化身的年紀變大。
2-4. 根據生活習慣模擬
在一實施例中，目標元素是定義3D模型形狀的數據。修正單元14是以假設對象物件的生活習慣持續的情況下所反應的模擬結果來修正3D建模數據。在本實施例中，附屬數據93包括使用者的生活習慣相關的資訊（以下稱為「生活習慣資訊」）。
生活習慣是指對象物件的習慣性行為，如飲食、運動、睡眠、工作、飲酒和吸煙等等。飲食相關的資訊包括，例如用餐的次數、時間、卡路里攝入量和營養價值的資訊。運動相關的資訊包括，例如運動的次數、時間、運動強度和運動類型的資訊。睡眠相關的資訊包括，例如就寢時間、起床時間和睡眠深度的資訊。工作相關的資訊包括，例如工作的開始時間和結束時間的資訊。飲酒相關的資訊包括，例如飲酒次數和量的資訊。吸煙相關的資訊包括，例如吸煙次數和量的資訊。生活習慣資訊，例如可以在生成3D建模數據時或把3D建模數據登錄至資料庫111時由使用者輸入。或者由終端裝置30中的應用程式將於預設時間（例如週期性地）所收集到的資訊作為生活習慣資訊上傳到資料庫111。
關於某使用者，在附屬數據93表示的生活習慣滿足預設的條件的情況時，指定單元13將定義該使用者3D模型形狀的數據指定為目標元素。更具體而言，當生活習慣滿足預先決定的條件時，指定單元13將與該條件對應的預先決定的元素指定為目標元素（步驟S104）。舉例來說，定義一條件為飲酒量達到警示等級（例如每週飲酒量超過閾值），此外，考慮該條件是對應於3D模型的全身的例子。在本實施例中，當使用者每週的飲酒量超過閾值時，指定單元13於步驟S104將全身的形狀指定為目標元素。在本實施例中，當使用者的每日運動量超過閾值的情況時，指定單元13於步驟S104將全身的形狀指定為目標元素。此外，這種條件也可以細分為特定的運動項目，例如慢跑、臥推和深蹲等等。
在步驟S105中，修正單元14根據使用者的生活習慣模擬3D模型的變化。具體來說，修正單元14模擬當使用者將該生活習慣持續一定時間後體型會發生什麼樣的變化。例如，飲酒超過警示等級持續一個月，腰圍就會變粗。
在一實施例中，對應生活習慣的體型變化的模擬是利用機器學習技術而來的。在本實施例中，修正單元14具有機器學習模型（模擬單元的一示例）。該機器學習模型是就複數個使用者的各個使用者，定義第一時間點之中的3D模型形狀的數據、以及在第一時間點到第二時間點之間的生活習慣提供輸入層、將定義第二時間點之中的3D模型形狀的數據提供給輸出層，作為教師數據，使其進行機器學習的學習完成模型。例如，以資料庫111中儲存的數據作為教師數據使用。修正單元14將步驟S104中指定的目標元素的定義形狀的數據、該使用者的生活習慣、以及該生活習慣的持續時間提供給機器學習模型的輸入層。生活習慣持續的時間可以，例如由修正單元14預先決定。機器學習模型將對應這些數據，而定義形狀的數據加以輸出。由此定義形狀的數據所表示的3D模型是表示在該生活習慣持續一段時間後的預測體型。修正單元14使用定義機器學習模型輸出的形狀的數據來修正3D建模數據。
據此示例，例如，可以模擬當某種生活習慣持續一定時間後使用者的體型會受到什麼影響。
2-5. 根據過去的變化表現預測未來
在本實施例中，目標元素是定義3D模型形狀的數據和紋理，以反映出基於過去的變化的實際績效的模擬結果來進行修正。在本實施例中，附屬數據93包括在過去多個不同時期或時間（例如每個月）掃描對象物件獲得的數據（即包括拍攝對象物件的圖像的數據）所生成的3D建模數據。例如，使用者每個月以3D掃描器40掃描對象物件（例如使用者自己）一次。3D掃描器40生成3D建模數據並上傳到資料庫111。當新的3D建模數據加入時，儲存單元11將過去的3D建模數據儲存為附屬數據93。
關於某使用者，在包含於附屬數據93的過去3D建模數據滿足預設條件的情況時，指定單元13將定義該使用者3D模型形狀的數據和紋理指定為目標元素（步驟S104）。在步驟S105中，修正單元14根據使用者過去的3D模型模擬未來的3D模型的變化。
在一實施例中，透過使用機器學習技術根據過去的變化表現模擬未來的變化。在本實施例中，修正單元14具有機器學習模型。該機器學習模型是一個經過訓練的模型，對於複數個使用者各別，在一系列時間序列數據中將相對較舊的複數個時間點的3D建模數據及時間戳提供給輸入層，在該系列時間序列數據中將相對較新的複數個時間點的3D建模數據及時間戳提供給輸出層，作為教師數據，使其進行機器學習。例如，以資料庫111中儲存的數據作為教師數據使用。修正單元14將步驟S104所指定的目標元素、過去3D建模數據和時間戳、以及預想的日期和時間（一個月或一年之後）提供給機器學習模型的輸入層。機器學習模型輸出對應該些數據的3D建模數據。該3D模型表示根據過去變化趨勢所預測的3D模型。修正單元14使用機器學習模型輸出的3D建模數據來修正3D建模數據。
據此示例，例如，可以根據過去一年的外觀變化來模擬下個月的外觀會如何變化。
2-6. 納入他人的運動
在一實施例中，目標元素為運動數據，並納入他人的運動進行修正。在本實施例中的附屬數據包括指定他人的資訊（例如喜歡的演員或喜歡的運動員的資訊）。
對於某個使用者，當包含於附屬數據93中的指定他人的資訊滿足預設的條件時，指定單元13將該使用者的運動數據指定為目標元素（步驟S104）。舉例來說，預設的條件可以為當指定該他人的資訊與應用程式31指定的人物一致。在這些演員或運動選手中定義提供給他人的特徵的運動。例如，定義要提供給其他人的運動可以是演員X的笑容方式、足球選手Y的踢球方式和棒球選手Z的投球方式。當某使用者的附屬數據顯示該使用者喜歡演員X時，指定單元13將該使用者的運動數據中笑容的運動數據指定為目標元素。此外，指定單元13以附屬數據93所指定的他人的運動數據作為用於修正的數據。
在步驟S105中，修正單元14將附屬數據93所指定的他人的運動數據納入到該使用者的運動數據中。此時，修正單元14可以將該他人原始的運動數據（即100％）採用為該使用者的運動數據，也可以將該他人的運動數據與該使用者的運動數據以影像變形方式進行合成。
另外，指定單元13可以使用多個他人的運動數據來修正使用者的運動數據。舉例來說，根據附屬數據93，例如以該使用者喜歡演員A和演員B（將兩者的笑容運動數據定義為將會提供給他人的運動）為例。在此情況下，指定單元13將演員A的笑容運動數據、以及演員B的笑容運動數據指定為用於修正的數據。修正單元14以影像變形方式將演員A和演員B的運動數據合成，並用以修正該使用者的運動數據。
據此示例，例如，使用者可以使自己的化身模仿他人的動作或表情。
3. 變化示例
本發明不限於上述實施例，還有各種變化實施的可能。以下，將描述一些變化的實施方式。以下的變化實施方式也可以兩個或多個組合使用。
在一實施例中，說明了以修正單元14本身對3D建模數據進行修正的示例，修正單元14可以對3D模型生成引擎進行修正的請求，也可以從3D模型生成引擎取得修正後的3D建模數據。本文所述的「修正」，在此，包括對修正3D建模數的軟體模組進行修正的請求和接收修正後的數據。
修正單元14可以將自動修正後的3D建模數據提示給應用程式31（即使用者），也可以進一步接受對該3D建模數據的修正指令。例如，在模擬未來變化的情況下，修正單元14可以根據使用者的指令來預測在特定時間點的變化。在另一實施例中，當將他人的運動數據和該使用者的運動數據進行影像變形時，可以根據使用者的指示變更影像變形的比例。
模擬3D建模數據變化的方法不限於使用機器學習。除了機器學習之外還可以加入啟發式方法，或以啟發式方法代替機器學習。
在一實施例中，已經說明了從終端裝置30即使用者終端發送API請求的示例（即所謂B to C服務的示例），但是向伺服器10發送API的請求的資訊處理裝置不限於終端裝置30。也可以從伺服器20等其他營運業者的伺服器向伺服器10發送請求輸出終端裝置30的使用者3D模型數據的API請求，即本發明也適用於B to B的服務。
伺服器10、伺服器20和終端裝置30的硬體結構不限於實施例中的示例。例如，伺服器10可以是實體的伺服器，也可以是雲端上的虛擬伺服器。
在一實施例中所說明的伺服器10具有的功能中的至少一部分也可以安裝在終端裝置30等其他裝置上。此外，伺服器10可以是實體的伺服器，也可以是虛擬的伺服器。
執行CPU 101等的程式可以經由網路以可能的狀態從伺服器下載提供，也可以存儲在CD-ROM等儲存介質中的狀態提供。
1:3D數據系統
9:3D數據集
10:伺服器
11:儲存單元
12:獲取單元
13:指定單元
14:修正單元
15:控制單元
20:伺服器
30:終端裝置
31:應用程式
40:3D掃瞄器
91:使用者ID
92:3D建模數據
93:附屬數據
101:CPU
102:記憶體
103:儲存器
104:通信IF
111:資料庫
921:3D建模數據
922:3D建模數據
923:3D建模數據
圖1為例示一實施例的3D數據系統1的結構的圖。
圖2為例示3D數據系統1的功能結構的圖。
圖3為例示伺服器10的硬體結構的圖。
圖4為例示伺服器10的動作流程的圖。
圖5為例示資料庫111中的3D建模數據的結構的圖。
12:獲取單元
13:指定單元
14:修正單元
15:控制單元
20:伺服器
111:資料庫
Claims (8)
- 一種資訊處理裝置，包括：一獲取單元，用以獲取表示一對象物件的3D模型的3D建模數據；一指定單元，用以根據與該3D建模數據對應的附屬數據，在預設的時間點，在構成該3D建模數據的元素中指定待修正元素；一修正單元，具有一機器學習模型，用以通過該機器學習模型修正該待修正元素；其中該3D建模數據包括定義該對象物件形狀的數據及紋理；該附屬數據包括一時間戳，用以表示生成該3D建模數據的圖像的拍攝時間；當該時間戳與當前時間的差值滿足一預設條件時，該指定單元將該數據及該紋理指定為該待修正元素。
- 如請求項1所述之資訊處理裝置，其中該附屬數據包括使該3D模型運動的運動數據；該指定單元將表示該對象物件運動的運動數據指定為該待修正元素；該修正單元對被指定有一過大運動的特徵的該運動數據進行修正。
- 如請求項2所述之資訊處理裝置，其中該過大運動為該對象物件的骨骼和肌肉於結構上不可能的運動。
- 如請求項1所述之資訊處理裝置，其中該修正單元根據該時間戳與該當前時間的差值對該3D模型進行一老化修正。
- 如請求項1至4中任一請求項中所述之資訊處理裝置，其中該附屬數據包括與該對象物件的生活習慣有關的生活習慣資訊；還包括一模擬單元，用以根據該生活習慣資訊對該對象物件的體型變化進行模擬；該指定單元根據該模擬的結果以指定該待修正元素。
- 如請求項5所述之資訊處理裝置，還包括一儲存單元，用以儲存複數個不同時期對該對象物件掃描所生成的3D建模數據；該模擬單元以該複數個3D建模數據進行模擬。
- 如請求項1至4中任一請求項中所述之資訊處理裝置，其中該修正單元將自複數個對象物件萃取出的特徵組合，以對該對象物件的3D建模數據進行修正。
- 一種資訊處理方法，包括：一獲取單元獲取代表一對象物件的3D模型的3D建模數據的步驟，其中該3D建模數據包括該對象物件的附屬數據、定義該對象物件形狀的數據及紋理；一指定單元根據該附屬數據，在預設的時間點，在構成該3D建模數據的元素中指定待修正元素的步驟；一修正單元通過一機器學習模型修正該待修正元素的步驟；該附屬數據包括一時間戳，用以表示生成該3D建模數據的圖像的拍攝時間；當該時間戳與當前時間的差值滿足一預設條件時，該指定單元將該數據及該紋理指定為該待修正元素。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| WOPCT/JP2020/028732 | 2020-07-27 | ||
| PCT/JP2020/028732 WO2022024191A1 (ja) | 2020-07-27 | 2020-07-27 | 情報処理装置及び情報処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202209265A TW202209265A (zh) | 2022-03-01 |
| TWI821710B true TWI821710B (zh) | 2023-11-11 |
Family
ID=74529562
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110126278A TWI821710B (zh) | 2020-07-27 | 2021-07-16 | 資訊處理裝置及資訊處理方法 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20230298293A1 (zh) |
| EP (1) | EP4191541A1 (zh) |
| JP (2) | JP6826747B1 (zh) |
| CN (2) | CN115578543A (zh) |
| TW (1) | TWI821710B (zh) |
| WO (1) | WO2022024191A1 (zh) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2024069944A1 (ja) * | 2022-09-30 | 2024-04-04 | 株式会社Vrc | 情報処理装置、情報処理方法、及びプログラム |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006110340A (ja) * | 2004-10-12 | 2006-04-27 | Samsung Electronics Co Ltd | 健康状態によるアバター映像の生成方法及び装置 |
| CN104951526A (zh) * | 2015-06-12 | 2015-09-30 | 福建省基础地理信息中心 | 一种三维模型管理系统 |
| CN105095809A (zh) * | 2014-05-23 | 2015-11-25 | 岳造宇 | 资讯记录方法、资讯提供方法、资讯纪录系统及其服务器 |
| JP2016040649A (ja) * | 2014-08-12 | 2016-03-24 | ソフトバンク株式会社 | 商品等提供システム、商品等提供方法、及び商品等提供プログラム |
| WO2017175423A1 (ja) * | 2016-04-08 | 2017-10-12 | ソフトバンク株式会社 | モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム |
Family Cites Families (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2019049298A1 (ja) * | 2017-09-08 | 2019-03-14 | 株式会社Ｖｒｃ | ３ｄデータシステム及び３ｄデータ処理方法 |
| CN110460874B (zh) * | 2019-08-09 | 2020-07-03 | 腾讯科技（深圳）有限公司 | 视频播放参数生成方法、装置、存储介质及电子设备 |
-
2020
- 2020-07-27 JP JP2020545604A patent/JP6826747B1/ja active Active
- 2020-07-27 CN CN202211338910.1A patent/CN115578543A/zh active Pending
- 2020-07-27 CN CN202080069515.0A patent/CN114514564B/zh active Active
- 2020-07-27 US US18/017,748 patent/US20230298293A1/en active Pending
- 2020-07-27 WO PCT/JP2020/028732 patent/WO2022024191A1/ja active Application Filing
- 2020-07-27 EP EP20946721.6A patent/EP4191541A1/en active Pending
- 2020-12-28 JP JP2020218324A patent/JP2022023764A/ja active Pending
-
2021
- 2021-07-16 TW TW110126278A patent/TWI821710B/zh active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006110340A (ja) * | 2004-10-12 | 2006-04-27 | Samsung Electronics Co Ltd | 健康状態によるアバター映像の生成方法及び装置 |
| CN105095809A (zh) * | 2014-05-23 | 2015-11-25 | 岳造宇 | 资讯记录方法、资讯提供方法、资讯纪录系统及其服务器 |
| JP2016040649A (ja) * | 2014-08-12 | 2016-03-24 | ソフトバンク株式会社 | 商品等提供システム、商品等提供方法、及び商品等提供プログラム |
| CN104951526A (zh) * | 2015-06-12 | 2015-09-30 | 福建省基础地理信息中心 | 一种三维模型管理系统 |
| WO2017175423A1 (ja) * | 2016-04-08 | 2017-10-12 | ソフトバンク株式会社 | モデリング制御システム、モデリング制御方法、及びモデリング制御プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202209265A (zh) | 2022-03-01 |
| JPWO2022024191A1 (zh) | 2022-02-03 |
| JP2022023764A (ja) | 2022-02-08 |
| EP4191541A1 (en) | 2023-06-07 |
| CN114514564A (zh) | 2022-05-17 |
| CN114514564B (zh) | 2022-11-25 |
| JP6826747B1 (ja) | 2021-02-10 |
| US20230298293A1 (en) | 2023-09-21 |
| WO2022024191A1 (ja) | 2022-02-03 |
| CN115578543A (zh) | 2023-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11908057B2 (en) | Image regularization and retargeting system | |
| US10953334B2 (en) | Virtual character generation from image or video data | |
| US11276216B2 (en) | Virtual animal character generation from image or video data | |
| TWI795845B (zh) | 伺服器及資訊處理方法 | |
| JP6489726B1 (ja) | ３ｄデータシステム及び３ｄデータ処理方法 | |
| US20220327755A1 (en) | Artificial intelligence for capturing facial expressions and generating mesh data | |
| TWI821710B (zh) | 資訊處理裝置及資訊處理方法 | |
| JP2022505746A (ja) | デジタルキャラクタブレンディング及び生成のシステム及び方法 | |
| US11893671B2 (en) | Image regularization and retargeting system | |
| US11527032B1 (en) | Systems and methods to generate and utilize content styles for animation | |
| WO2024069944A1 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
| Lin | Three dimensional modeling and animation of facial expressions |