TWI771106B - 3d資料系統及3d資料生成方法 - Google Patents

3d資料系統及3d資料生成方法 Download PDF

Info

Publication number
TWI771106B
TWI771106B TW110126281A TW110126281A TWI771106B TW I771106 B TWI771106 B TW I771106B TW 110126281 A TW110126281 A TW 110126281A TW 110126281 A TW110126281 A TW 110126281A TW I771106 B TWI771106 B TW I771106B
Authority
TW
Taiwan
Prior art keywords
data
clothes
machine learning
learning model
target
Prior art date
Application number
TW110126281A
Other languages
English (en)
Other versions
TW202209266A (zh
Inventor
謝英弟
張彦鵬
Original Assignee
日商威亞視股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日商威亞視股份有限公司 filed Critical 日商威亞視股份有限公司
Publication of TW202209266A publication Critical patent/TW202209266A/zh
Application granted granted Critical
Publication of TWI771106B publication Critical patent/TWI771106B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/521—Depth or shape recovery from laser ranging, e.g. using interferometry; from the projection of structured light
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Evolutionary Computation (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • Architecture (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Biophysics (AREA)
  • Optics & Photonics (AREA)
  • Medical Informatics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Remote Sensing (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Image Analysis (AREA)
  • Processing Or Creating Images (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

3D資料系統具有針對複數的各個衣服，將掃描該衣服得到的圖像資料及距離資料作為教師資料給予至輸入層，將該衣服的3D建模資料、骨骼資料、及蒙皮權重作為教師資料給予至輸出層，並存取使之學習的機械學習模型的存取單元，將掃描目標衣服得到的圖像資料及距離資料輸入至前述機械學習模型，取得該目標衣服的3D建模資料、骨骼資料、及蒙皮權重的取得單元，和儲存前述目標衣服的3D建模資料、骨骼資料、及蒙皮權重的儲存單元。

Description

3D資料系統及3D資料生成方法
本發明是有關一種生成衣服的3D建模資料的技術。
使用衣服的3D建模資料為習知的技術。例如專利文獻1揭露了將3D衣服模型應用於3D入物模型的應用。
[專利文獻1]日本特開第2017-37637號公報
要讓衣服的3D建模資料動起來，單單只是量測外觀與3D形狀是不行的，必須要有賦予3D建模資料動作的資料。對此本發明提供更容易取得賦予3D建模資料動作的資料的技術。
本發明的一實施例提供一種3D資料系統，具有：存取單元，存取機械學習模型，機械學習模型是針對複數的各個衣服，將該衣服掃描得到的圖像資料及距離資料作為教師資料給予至輸入層，將該衣服3D建模資料、骨骼資料、及蒙皮權重作為教師資料給予至輸出層，並使之學習的機械學習模型；以及，取得單元，將目標衣服掃描得到的圖像資料及距離資料輸入至前述機械學習模型，取得該目標衣服的3D建模資料、骨骼資料、 及蒙皮權重；以及，儲存單元，儲存前述目標衣服的3D建模資料、骨骼資料、及蒙皮權重。
本發明的另一實施例提供一種3D資料系統，具有：存取單元，存取機械學習模型，機械學習模型是針對複數的各個衣服，將該衣服掃描得到的圖像資料及距離資料作為教師資料給予至輸入層，將製造該衣服時用的紙型資料作為教師資料給予至輸出層，並使之學習的機械學習模型；以及，第一取得單元，將目標衣服掃描得到的圖像資料及距離資料輸入至前述機械學習模型，取得該目標衣服紙型資料；以及，輸出單元，對使用衣服的紙型資料輸出該衣服的3D建模資料、骨骼資料、及蒙皮權重的3D模型生成系統，輸出包含前述目標衣服的紙型資料的3D模型的生成的要求；以及，第二取得單元，從前述3D模型生成系統取得前述目標衣服的3D建模資料、骨骼資料、及蒙皮權重；以及，儲存單元，儲存前述目標衣服的3D建模資料、骨骼資料、及蒙皮權重。
此3D資料系統也可以具有：第三取得單元，取得使用者的3D建模資料；以及，合成單元，合成使前述使用者的3D模型穿上前述目標衣服。
本發明的又另一實施例提供一種3D資料生成方法，具有：存取機械學習模型的步驟，機械學習模型是針對複數的各個衣服，將該衣服掃描得到的圖像資料及距離資料作為教師資料給予至輸入層，將該衣服建模資料、骨骼資料、及蒙皮權重作為教師資料給予至輸出層，並使之學習的機械學習模型；以及，取得步驟，將目標衣服掃描取得的圖像資料及距離資料輸入至前述機械學習模型，取得該目標衣服的3D建模資料、骨骼資料、及蒙皮權重的步驟；以及，儲存步驟，儲存前述目標衣服的3D建模資料、 骨骼資料、及蒙皮權重的步驟。
本發明的又另一實施例提供一種的3D資料生成方法，具有：存取機械學習模型的步驟，機械模型是針對複數的各個衣服，將該衣服掃描得到的圖像資料及距離資料作為教師資料給予至輸入層，將製造該衣服時用的紙型資料作為教師資料給予至輸出層，並使之學習的機械學習模型；以及，第一取得步驟，將目標衣服掃描得到的圖像資料及距離資料輸入至前述機械學習模型，取得該目標衣服的紙型資料；以及，輸出步驟，對使用衣服的紙型資料輸出該衣服的3D建模資料、骨骼資料、及蒙皮權重的3D模型生成系統，輸出包含前述目標衣服的紙型資料的3D模型的生成的要求的步驟；以及，第二取得步驟，從前述3D模型生成系統取得前述目標衣服的3D建模資料、骨骼資料、及蒙皮權重的步驟；以及，儲存步驟，儲存前述目標衣服的3D建模資料、骨骼資料、及蒙皮權重的步驟。
若是依據本發明，將更容易取得賦予3D建模資料動作的資料。
1:3D資料系統
10:伺服器
11:儲存單元
12:學習單元
20:伺服器
30:終端裝置
31:輸出單元
32:控制單元
33:取得單元
40:3D掃描器
41:掃描單元
42:處理單元
43:存取單元
44:儲存單元
45:通訊單元
46:取得單元
47:生成單元
48:輸出單元
101:CPU
102:記憶體
103:儲存裝置
104:通訊IF
111:資料庫
112:機器學習模型
113:教師資料
211:資料庫
212:機器學習模型
213:教師資料
410:箱體
420:相機
430:距離感測器
440:電腦
441:CPU
442:記憶體
443:儲存裝置
444:通訊IF
445:顯示裝置
446:輸入裝置
S101~S103:步驟
S201~S208:步驟
S301~S311:步驟
圖1例示有關一實施例的3D資料系統1的概要的圖。
圖2例示3D資料系統1的功能組成的圖。
圖3例示3D掃描器40的硬體組成的圖。
圖4例示伺服器10的硬體組成的圖。
圖5例示有關學習的處理的流程圖。
圖6例示有關資料生成的處理的時序圖。
圖7例示有關第2實施形態的3D資料系統2的功能組成的圖。
圖8例示有關資料生成的別的處理的時序圖。
1.概要
圖1是有關一實施例的3D資料系統1的概要的例示圖。3D資料系統1掃描衣服生成3D建模資料。特別是於本實施形態，使用機械學習模型生成衣服的骨骼資料及蒙皮權重。
3D資料系統1具有伺服器10、伺服器20、終端裝置30、及30掃描器40。3D掃描器40是掃描目標物，生成呈現那個目標物的3D模型的3D建模資料的裝置。於本實施例中目標物為衣服。掃描目標物指的是，從複數個方向拍攝目標物的外觀，然後，從基準位置(例如深度感測器的位置)到目標物的表面的距離置於複數的點並測量，對應連結拍攝到外觀的圖像上的點與距離資料(又稱深度資訊)。也就是說，掃描目標物指的是，拍攝帶有距離資料的圖像。3D模型指的是於虛擬空間中呈現目標物的虛擬物件。3D建模資料指的是呈現3D模型的資料。
伺服器10是管理3D建模資料的伺服器。伺服器10由3D資料系統1的管理業者管理。伺服器20是提供使用了3D模型的應用程式的伺服器。此應用程式可以是由3D資料系統1的管理業者自身所提供的，也可以是由別的業者所提供的。終端裝置30是使用應用程式(也就是說使用3D模型)的使用者終端。終端裝置30是，智慧型手機、平板終端、又或是個人電腦等的 資訊處理裝置。又雖然這裡為了將圖面簡單化，將伺服器20、終端裝置30、及3D掃描器40各自只放一台呈現於圖中，3D資料系統1也可以具有複數個伺服器20及/又或是複數個終端裝置30。3D掃描器40是掃描目標物生成3D建模資料的裝置。3D掃描器40會將所生成的3D建模資料上傳至伺服器10。
2.第1實施例
2-1.組成
圖2是3D資料系統1的功能組成例示圖。3D資料系統1具有儲存單元11、學習單元12、掃描單元41、處理單元42、存取單元43、儲存單元44、通訊單元45、輸出單元31、控制單元32、及取得單元33。儲存單元11儲存各種資料。儲存單元11儲存的資料內包含資料庫111、機械學習模型112、及教師資料113。資料庫111是儲存了有關複數的目標物(此例為衣服)的3D資料組的資料庫。3D資料組，針對複數的各個目標物，包含那個目標物的3D建模資料及隨附資料。附屬資料包含例如目標物屬性及更新日。目標物屬性，顯示衣服ID、衣服名、品牌、發售日、目標性別、及大小等衣服的屬性。更新日，顯示3D資料組被更新的日期時間。
機械學習模型112是被用於機器學習的模型。機器學習模型112具有輸入層、中間層、及輸出層。於最初的時間點，機械學習模型112是還沒學習的(也就是說尚未完成學習的)模型。教師資料113，針對複數的各個衣服，包含拍攝到的衣服圖像、那個衣服的3D建模資料、骨骼資料、及蒙皮權重。此圖像是於3D掃描器40中所拍攝的，3D建模資料是由3D掃描器40所生成的。骨骼顯示為了讓3D模型動起來，作為動作的單位的要素。例如 3D模型由多邊形呈現的情況，多邊形的頂點與骨骼的對應關係(也就是蒙皮權重)會被設定(也就是蒙皮)。只要骨骼一動，對應的多邊形會隨著骨骼的動作做動作，整體來看3D模型會動。骨骼資料及蒙皮權重，於其中一個實施例是工作人員(不是一般使用者、是受過訓練的專家)以手冊製作而成的。
學習單元12使用教師資料113使機械學習模型112學習。教師資料113以預設的時間點追加又或者是更新，機械學習模型112也可以使用追加又或者是更新後的教師資料113追加又或者是再度學習。
掃描單元41掃描目標物。處理單元42處理藉由掃描目標物所得到的帶有距離資料的圖像。存取單元43存取機械學習模型112。取得單元46輸入拍攝到的作為處理目標的衣服(下面以「目標衣服」稱呼)的圖像至機械學習模型112，取得目標衣服的3D建模資料、骨骼資料、蒙皮權重。儲存單元44儲存各種程式及資料。通訊單元45與伺服器10又或者是終端裝置30等的其他的裝置通訊。輸出單元31輸出對應於目標衣服的3D建模資料、骨骼資料、及蒙皮權重的圖像。
圖3是3D掃描器40的硬體組成例示圖。3D掃描器40具有箱體410、相機420、距離感測器(又或者是深度感測器)43、及電腦440。相機420拍攝目標物的外觀，輸出圖像資料。距離感測器430量測從基準位置(感測器的位置)到目標物的表面上的複數的點的距離。距離感測器430量測的部分和相機420拍攝的部分的位置關係會先被定義。3D掃描器40也可以具有複數的相機420及複數的距離感測器430。箱體410支撐相機420及距離感測器430。箱體410配合相機420及距離感測器430的數量及配置，也可以具有使目標物和相機420及距離感測器430相對迴轉的機構。
電腦440處理從相機420輸出的圖像資料及從距離感測器430輸出的距離資料。此處理也可以包含在圖像上對應連結距離資料的處理。更進一步地此處理也可以包含將圖像資料及距離資料應用於預設的演算法生成3D建模資料的處理。
電腦440具有CPU441、記憶體442、儲存裝置443、通訊IF444、顯示裝置445、及輸入裝置446。CPU441是遵從程式進行各種演算的控制裝置。記憶體442是作為CPU441運行處理時的工作區域工作的主記憶裝置。記憶體442包含例如RAM(Random Access Memory)及ROM(Read Only Memory)。儲存裝置443是儲存各種資料及程式的輔助儲存裝置。儲存裝置443包含例如SSD及/又或者是HDD。通訊IF444是遵從預設的通訊規格(例如乙太網路)與其他的裝置通訊的裝置，包含例如NIC(Network Interface Card)。顯示裝置445是輸出視覺資訊的裝置，包含例如LCD(Liquid Crystal Display)。輸入裝置446是配合使用者的操作輸入指示又或者是資訊至電腦440的裝置，包含例如，觸控螢幕、鍵盤、數字鍵盤、滑鼠、及麥克風的至少一種。
於此例中，儲存在儲存裝置443的程式裡，包含為了使電腦裝置作為在3D資料系統1裡的電腦440運作的程式(下面以「3D模型生成程式」稱呼)。CPU441藉由運行3D模型生成程式安裝圖2的功能至電腦裝置。於CPU441運行3D模型生成程式的狀態中，相機420、距離感測器430、及CPU401是掃描單元41的其中一個實施例。CPU441是處理單元42、存取單元43、及取得單元46的其中一個實施例。儲存裝置443及記憶體442的其中 至少一方是儲存單元44的其中一個實施例。通訊IF444是通訊單元45的其中一個實施例。
圖4是伺服器的硬體組成例示圖。伺服器10是具有CPU101、記憶體102、儲存裝置103、及通訊IF104的電腦裝置。CPU101是遵從程式進行各種演算的控制裝置。記憶體102是作為CPU101運行處理時的工作區域工作的主記憶裝置。記憶體102包含例如RAM及ROM。儲存裝置103是儲存各種資料及程式的輔助儲存裝置。儲存裝置103包含例如SSD及/又或者是HDD。通訊IF104是遵從預設的通訊規格(例如乙太網路)與其他的裝置通訊的裝置，包含例如NIC。
於此例中，儲存在儲存裝置103的程式裡，包含為了使電腦裝置作為在3D資料系統1的伺服器10運作的程式(下面以「伺服器程式」稱呼)。CPU101藉由運行伺服器程式安裝圖2的功能至電腦裝置。於CPU101運行伺服器程式的狀態中，儲存裝置103及記憶體102的其中至少一方是儲存單元11的其中一個實施例。CPU101是學習單元12的其中一個實施例。
雖然省略詳細的說明，伺服器20及終端裝置30各自具有作為電腦裝置的硬體組成。終端裝置30所具有的顯示裝置是輸出單元31的其中一個實施例。終端裝置30具有的CPU是取得單元33的其中一個實施例。
2-2.動作
以下說明3D資料系統1的動作。3D資料系統1的動作可以大致區分為學習及資料生成。學習是使機械學習模型112學習的處理。資料生成是使用機械學習模型112生成3D建模資料的處理。
2-2-1.學習
圖5是例示有關學習的處理的流程圖。圖5的流程，例如，以滿足預設的啟動條件為契機啟動。此啟動條件是，例如，追加新的資料至教師資料113的條件。
於步驟S101中，儲存單元11儲存機械學習模型112。於最初的狀態，機械學習模型112是尚未完成學習的模型。於步驟S102中，儲存單元11儲存教師資料113。
於步驟S103中，學習單元12給予教師資料113至機械學習模型112，使機械學習模型112學習。具體來說，學習單元12將拍攝到的衣服的圖像作為教師資料給予至機械學習模型112的輸入層，那個衣服的3D建模資料、骨骼資料、及蒙皮權重作為教師資料給予至輸出層。
只要滿足預設的結束條件的話，學習單元12就會結束學習。只要學習結束的話，機械學習模型112就會成為學習完成的模型。雖然這裡使用教師資料113使機械學習模型學習的例子來說明，使用教師資料213使機械學習模型212學習的情況也相同。
2-2-2.資料生成
圖6是例示有關資料生成的處理的時序圖。圖6的處理，例如，以滿足預設的啟動條件為契機啟動。此啟動條件是，例如，於3D掃描器40中由使用者指示3D建模資料的生成的條件。
於步驟S201中，掃描單元41將目標物也就是衣服做掃描。儲存單元44，儲存藉由掃描單元41得到的圖像資料及距離資料(步驟S202)。於步驟S203中，存取單元43存取機械學習模型112。具體來說，存取單元43，輸入藉由掃描單元41得到的圖像資料及距離資料至機械學習模型112。機械學習模型112，輸出對應所輸入的圖像資料及距離資料的3D建模資料、骨骼資料、及蒙皮權重(步驟S204)。存取單元43，要求將從機械學習模型112輸出的3D建模資料、骨骼資料、蒙皮權重寫入至資料庫111(步驟S205)。此要求包含跟此衣服有關的附屬資料，例如衣服ID。衣服ID，例如，由操作3D掃描器40的使用者所輸入。於伺服器10中，儲存單元11儲存從機械學習模型112輸出的3D建模資料、骨骼資料、蒙皮資料、及附屬資料至資料庫111(步驟S206)。
於終端裝置30中，取得單元33配合從使用者來的指示，又或者是由程式自動地對伺服器10要求輸出資料的提供(步驟S206)。終端裝置30的使用者可以是與操作3D掃描器40掃描目標衣服的使用者不同的使用者，也可以是同個使用者。此要求包含可以特定出衣服的資訊，例如衣服ID。輸出資料指的是，將3D建模資料自己本身又或者是將3D建模資料處理過後的結果(例如，預設於3D模型又或者是使之做指示的動作的動畫)呈現的資料。伺服器10輸出要求的輸出資料。例如，伺服器10輸出從資料庫111讀取到的3D建模資料至終端裝置30。取得單元33取得從伺服器10輸出的資料(步驟S207)。輸出單元31使用輸出資料輸出圖像(步驟S208)輸出單元31可以輸出讓使用者的3D模型穿上目標衣服的圖像，也可以輸出(沒有使用者的)目標衣服單獨的圖像。對使用者輸出穿上目標衣服的圖像的情況，控制單元 32取得使用者的3D建模資料(第3取得單元的其中一個實施例)，進行合成使用者的3D模型與衣服的3D模型的處理(合成單元的其中一個實施例)。由於目標衣服的3D建模資料裡設定有骨骼資料及蒙皮權重，所以可以讓衣服配合使用者的3D模型的動作動起來。使用者的3D建模資料儲存於資料庫111等的資料庫。
3.第2實施例
接下來，說明第2實施例。對於與第1實施例功能的概要共通的要素會使用相同的符號、並省略詳細的說明。
3-1.組成
圖7是有關第2實施例的3D資料系統2的功能組成例示圖。3D資料系統2具有伺服器10、終端裝置30、及3D掃描器40。3D資料系統2具有儲存單元11、學習單元12、掃描單元41、處理單元42、存取單元43、儲存單元44、通訊單元45、生成單元47、輸出單元48、輸出單元31、控制單元32、及取得單元33。儲存單元11儲存各種資料。儲存單元11儲存的資料裡，包含資料庫111、機械學習模型212及教師資料213。
機械學習模型212是被用於機械學習的模型。機械學習模型212具有輸入層、中間層、及輸出層。於最初的時間點，機械學習模型212是還沒學習的(也就是說尚未完成學習)模型。教師資料213，針對複數的各個衣服，包含拍攝到的衣服圖像、那個衣服的3D建模資料、及紙型資料。紙型資料是顯示製作那個衣服時用的紙型的形狀及大小的資料。紙型資料由製作那 個衣服的業者所提供。又或者是，紙型資料也可以是由3D資料系統2的工作人員將衣服分解等，並以手冊製作而成。
學習單元12使用教師資料213使機械學習模型212學習。教師資料213以預設的時間點追加又或者是更新，機械學習模型212也可以使用追加又或者是更新後的教師資料213追加又或者是再度學習。
存取單元43存取機械學習模型212。存取單元43，將拍攝到的目標衣服的圖像輸入至機械學習模型212，取得目標衣服的紙型資料(第1取得單元的其中一個實施例)。輸出單元48，對生成單元47，輸出3D模型生成的要求。此要求包含目標衣服的紙型資料。生成單元47只要被輸入衣服的紙型資料的話，就會生成那個衣服的3D建模資料、骨骼資料、及蒙皮權重。生成單元47，藉由預設的演算法，生成衣服的紙型資料3D建模資料、骨骼資料、及蒙皮權重。又或者是，生成單元47也可以使用機械學習生成3D建模資料、骨骼資料、及蒙皮權重。這個情況，針對複數的衣服，紙型資料、3D建模資料、骨骼資料、及蒙皮權重被作為教師資料使用。於此機械學習模型，將紙型資料輸入至輸入層，將3D建模資料、骨骼資料、及蒙皮權重輸入至輸出層。存取單元43從生成單元47取得3D建模資料、骨骼資料、及蒙皮權重(第2取得單元的其中一個實施例)。
3-2.動作
圖8是例示有關第2實施例的資料生成處理的時序圖。圖8的處理，例如，以滿足預設的啟動條件為契機啟動。此啟動條件是，例如，於3D掃描器40中由使用者指示3D建模資料的生成的條件。
於步驟S301中，掃描單元41將目標物也就是衣服做掃描。儲存單元44儲存藉由掃描單元41得到的圖像資料及距離資料(步驟S302)。於步驟S303中，存取單元43存取機械學習模型212。具體來說，存取單元43將藉由掃描單元41得到的圖像資料及距離資料輸入至機械學習模型212。機械學習模型112，輸出對應輸入的圖像資料及距離資料的紙型資料(步驟S304)。
存取單元43，對生成單元47，要求3D模型的生成(步驟S305)此要求包含目標衣服的紙型資料。生成單元47，配合此要求，生成目標衣服的3D建模資料、骨骼資料、及蒙皮權重(步驟S306)。存取單元43，取得於生成單元47中生成的，目標衣服的3D建模資料、骨骼資料、及蒙皮權重(步驟307)。存取單元43要求將由生成單元47生成的目標衣服的3D建模資料、骨骼資料、蒙皮權重寫入至資料庫111(步驟S308)。此要求包含與此衣服有關的附屬資料，例如衣服ID。衣服ID，例如，由操作3D掃描器40的使用者所輸入。於伺服器10中，儲存單元11儲存從機械學習模型212輸出的紙型資料及附屬資料至資料庫111(步驟S309)。
於終端裝置30中，取得單元33，配合從使用者來的指示，又或者是由程式自動地對伺服器10要求輸出資料的提供(步驟S310)。伺服器10提供輸出資料至終端裝置30(步驟S310)。輸出單元31使用輸出資料輸出圖像(步驟S311)。這些處理與於第1實施例的步驟S206~S208相同。
4.變形例
本發明不受限於上述的實施例，可以有各種的變形實施。以下，說 明數個變形例。也可以將於以下的變形例記載的事項中2個以上的事項做組合應用。
組成3D資料系統1的裝置，及對各裝置的功能的分工，不受限於於實施例中說明過的例子。例如，於第1實施例中，機械學習模型112也可以安裝於與伺服器10不同的裝置。於第2實施例中，機械學習模型212與生成單元47也可以分別各自安裝到不同的裝置。於第1實施例及第2實施例的至少其中一方，也可以安裝相當於處理單元42及存取單元43的功能於不是3D掃描器40的伺服器10又或者是別的伺服器。這個情況3D掃描器40只進行目標衣服的掃描及附屬資料的輸入接收，之後的處理由這個伺服器進行。又或者是，也可以作為於實施例中具有伺服器10的說明過的功能的至少其中一部份安裝於3D掃描器40。
3D資料系統1也可以配合教師資料113的資料量改變自動化的程度。例如，在教師資料113的資料量比第1門檻值少，機械學習模型112還沒學習的情況，3D掃描器40的存取單元43，存取資料庫111，檢索與掃描到的衣服類似的圖像。類似的衣服，例如將圖像資料作為關鍵做檢索。於此加上，又或者是替代，類似的衣服也可以將包含於附屬資料的品牌名或型號等的資訊作為關鍵做檢索。發現到類似的3D建模資料的情況，3D掃描器40會輸出為了編輯發現到的3D模型資料及相對應的骨骼資料及蒙皮權重的畫面。使用者可以於此畫面編輯與目標衣服類似的衣服的3D建模資料，生成目標衣服的3D建模資料、骨骼資料、蒙皮權重。對於3D資料系統2也相同。教師資料113的資料量超過第1門檻值的情況，3D掃描器40，會輸出為了讓使用者編輯針對目標衣服所生成的3D建模資料、骨骼資料、蒙皮權 重的的畫面。使用者可以於此畫面編輯目標衣服的3D建模資料、骨骼資料、及蒙皮權重。又此處理，也可以進行於於先前的變形例中教師資料113的資料量比第1門檻值大且比第2門檻值小的情況。
伺服器10可以是物理的伺服器，也可以是所謂的雲端上的虛擬伺服器。
由CPU441等運行的程式可以透過網際網路等的網路下載，也可以提供在CD-ROM等儲存於儲存媒體的狀態下。
10         伺服器 11         儲存單元 12         學習單元 111       資料庫 112       機械學習模型 113       教師資料 30         終端裝置 31         輸出單元 32         控制單元 33         取得單元 40         3D掃描器 41         掃描單元 42         處理單元 43         存取單元 44         儲存單元 45         通訊單元

Claims (5)

  1. 一種3D資料系統，具有： 存取單元，存取機械學習模型，該機械學習模型係針對複數的各個衣服，將該衣服掃描得到的圖像資料及距離資料作為教師資料給予至輸入層，並將該衣服的3D建模資料、骨骼資料、以及蒙皮權重作為教師資料給予至輸出層，並使之學習的機械學習模型；以及 取得單元，將目標衣服掃描得到的圖像資料及距離資料輸入至前述機械學習模型，並取得該目標衣服的3D建模資料、骨骼資料、及蒙皮權重；以及 儲存單元，儲存前述目標衣服的3D建模資料、骨骼資料、及蒙皮權重。
  2. 一種3D資料系統，具有： 存取單元，存取機械學習模型，該機械學習模型係針對複數的各個衣服，將該衣服掃描得到的圖像資料及距離資料作為教師資料給予至輸入層，將製造該衣服時用的紙型資料作為教師資料給予至輸出層，並使之學習的機械學習模型；以及 第一取得單元，將目標衣服掃描得到的圖像資料及距離資料輸入至前述機械學習模型，取得該目標衣服的紙型資料；以及 輸出單元，輸出要求，該要求為對應使用衣服的紙型資料輸出該衣服的3D建模資料、骨骼資料、及蒙皮權重的3D模型生成系統的3D模型的生成的要求，並包含前述目標衣服的紙型資料；以及 第二取得單元，從前述3D模型生成系統取得前述目標衣服的3D建模資料、骨骼資料、及蒙皮權重；以及 儲存單元，儲存前述目標衣服的該3D建模資料、該骨骼資料、及該蒙皮權重。
  3. 如請求項1或2記載之3D資料系統，具有： 第三取得單元，取得使用者的3D建模資料；以及 合成單元，合成使前述使用者的3D模型穿上前述目標衣服的3D模型。
  4. 一種3D資料生成方法，具有： 存取機械學習模型的步驟，該機械學習模型係針對複數的各個衣服，將該衣服掃描得到的圖像資料及距離資料作為教師資料給予至輸出層，將該衣服的3D建模資料、骨骼資料、及蒙皮權重作為教師資料給予至輸出層，並使之學習的機械學習模型；以及 取得步驟，將目標衣服掃描得到的圖像資料及距離資料輸入至前述機械學習模型，取得該目標衣服的3D建模資料、骨骼資料、及蒙皮權重；以及 儲存步驟，儲存前述目標衣服的3D建模資料、骨骼資料、及蒙皮權重。
  5. 一種3D資料生成方法，具有： 存取機械學習模型的步驟，該機械學習模型係針對複數的各個衣服，將該衣服掃描得到的圖像資料及距離資料作為教師資料給予至輸入層，將製造該衣服時用的紙型資料作為教師資料給予至輸出層，並使之學習的機械學習模型；以及 第一取得步驟，將目標衣服掃描得到的圖像資料及距離資料輸入至前述機械學習模型，取得該目標衣服的紙型資料；以及 輸出步驟，輸出要求，該要求為對使用衣服的紙型資料輸出該衣服的3D建模資料、骨骼資料、及蒙皮權重的3D模型生成系統，並包含前述目標衣服的紙型資料的3D模型的生成；以及 第二取得步驟，從前述3D模型生成系統取得前述目標衣服的3D建模資料、骨骼資料、及蒙皮權重；以及 儲存步驟，儲存前述目標衣服的3D建模資料、骨骼資料、及蒙皮權重。
TW110126281A 2020-07-27 2021-07-16 3d資料系統及3d資料生成方法 TWI771106B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
PCT/JP2020/028760 WO2022024200A1 (ja) 2020-07-27 2020-07-27 ３ｄデータシステム及び３ｄデータ生成方法
WOPCT/JP2020/028760 2020-07-27

Publications (2)

Publication Number Publication Date
TW202209266A TW202209266A (zh) 2022-03-01
TWI771106B true TWI771106B (zh) 2022-07-11

Family

ID=73836106

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110126281A TWI771106B (zh) 2020-07-27 2021-07-16 3d資料系統及3d資料生成方法

Country Status (6)

Country Link
US (1) US20230196667A1 (zh)
EP (1) EP4191540A4 (zh)
JP (1) JP6804125B1 (zh)
CN (1) CN115004240A (zh)
TW (1) TWI771106B (zh)
WO (1) WO2022024200A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022269741A1 (ja) * 2021-06-22 2022-12-29 株式会社Vrc 情報処理装置、３ｄシステム、及び情報処理方法
JP7220324B1 (ja) * 2022-09-30 2023-02-09 株式会社Zozo グレーディングのためのシステム、方法、およびプログラム
JP7418677B1 (ja) 2023-07-10 2024-01-22 株式会社Laila 情報処理システム、情報処理方法、及び情報処理プログラム

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130108121A1 (en) * 2010-05-10 2013-05-02 Suit Supply B.V. Method for Remotely Determining Clothes Dimensions
US20180101719A1 (en) * 2015-06-08 2018-04-12 Bitmanagement Software GmbH Method and device for generating data for two- or three-dimensional depiction of at least part of an object and for generating the two- or three-dimensional depiction of the at least one part of the object
CN109871589A (zh) * 2019-01-23 2019-06-11 广东康云科技有限公司 基于三维人体建模的智能制衣系统及方法
CN109949208A (zh) * 2019-02-21 2019-06-28 深圳市广德教育科技股份有限公司 基于互联网3d服装样板自动生成系统
WO2019134560A1 (zh) * 2018-01-08 2019-07-11 Oppo广东移动通信有限公司 搭配模型构建方法、服饰推荐方法、装置、介质及终端
CN110189413A (zh) * 2019-05-31 2019-08-30 广东元一科技实业有限公司 一种生成衣服变形模型的方法及系统
JP2019204476A (ja) * 2018-05-17 2019-11-28 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 画像生成装置、画像生成方法及びプログラム
CN111311751A (zh) * 2020-02-12 2020-06-19 叠境数字科技（上海）有限公司 一种基于深度神经网络的三维衣服模型的重建方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5232129B2 (ja) * 2009-11-24 2013-07-10 日本放送協会 仮想キャラクタ生成装置及び仮想キャラクタ生成プログラム
CN103366402B (zh) * 2013-08-05 2015-12-09 上海趣搭网络科技有限公司 三维虚拟服饰的快速姿态同步方法
DE102015213832B4 (de) 2015-07-22 2023-07-13 Adidas Ag Verfahren und Vorrichtung zum Erzeugen eines künstlichen Bildes
JP2017037424A (ja) * 2015-08-07 2017-02-16 日本放送協会 学習装置、認識装置、学習プログラム、及び認識プログラム
CN105139446A (zh) * 2015-08-07 2015-12-09 河海大学常州校区 一种基于kinect的全息虚拟试衣系统
CN107067460A (zh) * 2016-01-07 2017-08-18 广东京腾科技有限公司 一种虚拟试衣方法、装置及系统
CN105528808B (zh) * 2016-02-29 2018-07-24 华中师范大学 荆楚民间故事泥塑人物数字化三维模型合成方法及系统
CN106228592A (zh) * 2016-09-12 2016-12-14 武汉布偶猫科技有限公司 一种服装三维模型自动绑定蒙皮信息的方法
CN108537888B (zh) * 2018-04-09 2020-05-12 浙江大学 一种基于骨架的快速试衣方法
CN111640175A (zh) * 2018-06-21 2020-09-08 华为技术有限公司 一种物体建模运动方法、装置与设备
JP7262937B2 (ja) * 2018-06-29 2023-04-24 キヤノン株式会社 情報処理装置、情報処理方法、及びプログラム
CN109615683A (zh) * 2018-08-30 2019-04-12 广州多维魔镜高新科技有限公司 一种基于3d服装模型的3d游戏动画模型制作方法
CN109427007B (zh) * 2018-09-17 2022-03-18 叠境数字科技（上海）有限公司 基于多视角的虚拟试衣方法
CN111369649B (zh) * 2018-12-26 2023-09-01 苏州笛卡测试技术有限公司 一种基于高精度三维扫描模型的制作计算机蒙皮动画的方法
CN110838182B (zh) * 2019-11-13 2024-04-09 恒信东方文化股份有限公司 一种图像贴合人台的方法及其系统
CN111028321A (zh) * 2019-12-16 2020-04-17 网易（杭州）网络有限公司 蒙皮检测方法、装置以及电子终端

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130108121A1 (en) * 2010-05-10 2013-05-02 Suit Supply B.V. Method for Remotely Determining Clothes Dimensions
US20180101719A1 (en) * 2015-06-08 2018-04-12 Bitmanagement Software GmbH Method and device for generating data for two- or three-dimensional depiction of at least part of an object and for generating the two- or three-dimensional depiction of the at least one part of the object
WO2019134560A1 (zh) * 2018-01-08 2019-07-11 Oppo广东移动通信有限公司 搭配模型构建方法、服饰推荐方法、装置、介质及终端
JP2019204476A (ja) * 2018-05-17 2019-11-28 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 画像生成装置、画像生成方法及びプログラム
CN109871589A (zh) * 2019-01-23 2019-06-11 广东康云科技有限公司 基于三维人体建模的智能制衣系统及方法
CN109949208A (zh) * 2019-02-21 2019-06-28 深圳市广德教育科技股份有限公司 基于互联网3d服装样板自动生成系统
CN110189413A (zh) * 2019-05-31 2019-08-30 广东元一科技实业有限公司 一种生成衣服变形模型的方法及系统
CN111311751A (zh) * 2020-02-12 2020-06-19 叠境数字科技（上海）有限公司 一种基于深度神经网络的三维衣服模型的重建方法

Also Published As

Publication number Publication date
CN115004240A (zh) 2022-09-02
WO2022024200A1 (ja) 2022-02-03
JP6804125B1 (ja) 2020-12-23
US20230196667A1 (en) 2023-06-22
TW202209266A (zh) 2022-03-01
EP4191540A4 (en) 2024-08-07
EP4191540A1 (en) 2023-06-07
JPWO2022024200A1 (zh) 2022-02-03

Similar Documents

Publication Publication Date Title
TWI771106B (zh) 3d資料系統及3d資料生成方法
JP5829371B2 (ja) モーションキャプチャデータを使用する顔面アニメーション
JP2018532216A (ja) 画像正則化及びリターゲティングシステム
US20200098177A1 (en) System for reconstructing three-dimensional (3d) human body model using depth data from single viewpoint
JP2019204476A (ja) 画像生成装置、画像生成方法及びプログラム
KR20230004837A (ko) 생성형 비선형 인간 형상 모형
US10706509B2 (en) Interactive system for automatically synthesizing a content-aware fill
Le et al. Marker optimization for facial motion acquisition and deformation
US10269165B1 (en) Facial animation models
JP2019175321A (ja) 画像評価装置、画像評価方法及びコンピュータプログラム
US20220005266A1 (en) Method for processing two-dimensional image and device for executing method
CN111696180A (zh) 一种虚拟仿真人的生成方法、系统、装置和存储介质
KR102668161B1 (ko) 미세한 주름을 갖는 얼굴 메시 변형
JP2023167320A (ja) 学習モデル生成装置、関節点検出装置、学習モデル生成方法、関節点検出方法、及びプログラム
WO2021006189A1 (ja) 画像生成装置、画像生成方法及び画像生成プログラム
US11429662B2 (en) Material search system for visual, structural, and semantic search using machine learning
EP3872768A1 (en) Method for processing two-dimensional image and device for executing method
US10586311B2 (en) Patch validity test
JP2024079350A (ja) 情報処理装置、方法、およびプログラム
US11948248B2 (en) Three-dimensional (3D) model generation from two-dimensional (2D) images
Nicolas et al. SparseSoftDECA—Efficient high-resolution physics-based facial animation from sparse landmarks
US11957976B2 (en) Predicting the appearance of deformable objects in video games
WO2023105784A1 (ja) 生成装置、生成方法及び生成プログラム
Chen et al. SACANet: end-to-end self-attention-based network for 3D clothing animation
CN115457209A (zh) 基模型的构建方法及其装置