TW202333115A - 資訊處理裝置、3d模型生成方法、及程式 - Google Patents
資訊處理裝置、3d模型生成方法、及程式 Download PDFInfo
- Publication number
- TW202333115A TW202333115A TW112113948A TW112113948A TW202333115A TW 202333115 A TW202333115 A TW 202333115A TW 112113948 A TW112113948 A TW 112113948A TW 112113948 A TW112113948 A TW 112113948A TW 202333115 A TW202333115 A TW 202333115A
- Authority
- TW
- Taiwan
- Prior art keywords
- model
- subject
- unit
- head
- image
- Prior art date
Links
- 230000010365 information processing Effects 0.000 title claims abstract description 11
- 238000000034 method Methods 0.000 title claims description 13
- 230000002194 synthesizing effect Effects 0.000 claims abstract 2
- 238000010801 machine learning Methods 0.000 claims description 40
- 230000001815 facial effect Effects 0.000 claims description 14
- 230000015572 biosynthetic process Effects 0.000 claims description 11
- 238000003786 synthesis reaction Methods 0.000 claims description 11
- 238000003860 storage Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 13
- 238000004891 communication Methods 0.000 description 8
- 230000008569 process Effects 0.000 description 8
- 230000006870 function Effects 0.000 description 7
- 238000000513 principal component analysis Methods 0.000 description 3
- 238000011065 in-situ storage Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 241001465754 Metazoa Species 0.000 description 1
- 230000009471 action Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000010295 mobile communication Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000000149 penetrating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N20/00—Machine learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/0002—Inspection of images, e.g. flaw detection
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/70—Determining position or orientation of objects or cameras
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30196—Human being; Person
- G06T2207/30201—Face
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2004—Aligning objects, relative positioning of parts
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
- G06T2219/20—Indexing scheme for editing of 3D models
- G06T2219/2016—Rotation, translation, scaling
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computer Graphics (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Geometry (AREA)
- Architecture (AREA)
- Artificial Intelligence (AREA)
- Data Mining & Analysis (AREA)
- Evolutionary Computation (AREA)
- Medical Informatics (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Quality & Reliability (AREA)
- Image Analysis (AREA)
- Processing Or Creating Images (AREA)
- Stored Programmes (AREA)
Abstract
本發明提出一種訊息處理裝置，包括：一第一拍攝單元用以拍攝採取預定姿勢的被攝體的全身，一第二拍攝單元用以拍攝該被攝體的臉部，一第一獲取單元用以獲取利用該第一拍攝單元拍攝的圖像所生成的該被攝體的全身3D模型，一第二獲取單元用以獲取利用該第二拍攝單元拍攝的圖像所生成的該被攝體的頭部3D模型，及一合成單元用以將該頭部3D模型合成於該全身3D模型的頭部。
Description
本發明是關於生成3D模型或3D建模數據的技術。
已知有生成用以表示被攝體3D模型的3D建模數據的裝置。例如專利文獻1公開了以設置複數台相機的框架繞著被攝體的周圍旋轉並同時拍攝被攝體，以生成3D建模數據的3D掃描器。
[專利文獻]
（專利文獻 1）日本專利第2018-044812號公報。
由於專利文獻1中的3D掃描器裝置又大又重，因此有了更小巧的裝備的需求。對此本發明提供一種利用小巧的計算機裝置生成3D建模數據的技術。
本公開的一實施方式提供一種訊息處理裝置，包括：一第一拍攝單元用以拍攝採取預定姿勢的被攝體的全身，一第二拍攝單元用以拍攝該被攝體的臉部，一第一獲取單元用以獲取利用該第一拍攝單元拍攝的圖像所生成的該被攝體的全身3D模型，一第二獲取單元用以獲取利用該第二拍攝單元拍攝的圖像所生成的該被攝體的頭部3D模型，及一合成單元用以將該頭部3D模型合成於該全身3D模型的頭部。
其中該第一拍攝單元一邊將該採取預定姿勢的被攝體的全身沿一方向旋轉一邊拍攝複數個圖像，該第一獲取單元也可以用以獲取利用該第一拍攝單元拍攝的該複數個圖像所生成的該被攝體的全身3D模型。
其中該第一拍攝單元用以檢測該被攝體的姿勢，當檢測到該被攝體的姿勢和該預定姿勢不一致時，也可以對該被攝體發出警告。
其中該第二獲取單元已可以用以獲取利用該第一拍攝單元拍攝的一張圖像所生成的該被攝體的頭部3D模型。
其中對於採取該預定姿勢的複數人，該第一獲取單元也可以將無深度訊息的全身二維圖像提供至輸入層，將全身3D模型提供至輸出層作為教師資料，並獲取利用該教師數據使該機器學習模型進行機器學習後所生成的該被攝體的全身3D模型。
其中該第一獲取單元也可以獲取利用教師數據使機器學習模型進行機器學習後所生成的該全身3D模型，其中該教師數據包括在虛擬空間中以虛擬相機拍攝3D模型所得的近似圖像，作為提供給該輸入層的資料。
其中對於複數人，該第二獲取單元也可以將無深度訊息的臉部二維圖像提供至輸入層，將頭部3D模型提供至輸出層作為教師資料，並獲取利用該教師數據使機器學習模型進行機器學習後所生成的該被攝體的頭部3D模型。
本公開的另一實施方式提供一種3D模型生成方法，包括：攜帶終端拍攝採取預定姿勢的被攝體的全身的步驟，該攜帶終端拍攝該被攝體的臉部的步驟，該攜帶終端以該被攝體被拍攝的全身圖像獲取該被攝體的全身3D模型的步驟，該攜帶終端獲取利用該被攝體被拍攝的臉部圖像所生成的該被攝體的頭部3D模型的步驟，該攜帶終端將該頭部3D模型合成於該全身3D模型的頭部的步驟。
本公開的又另一實施方式提供一種使計算機執行以下步驟的程式，包括：拍攝採取預定姿勢的被攝體的全身的步驟，拍攝該被攝體的臉部的步驟，以該被攝體被拍攝的全身圖像獲取該被攝體的全身3D模型的步驟，獲取利用該被攝體被拍攝的臉部圖像所生成的該被攝體的頭部3D模型的步驟，將該頭部3D模型合成於該全身3D模型的頭部的步驟。
依據本發明，可以利用小巧的計算機裝置以生成3D建模數據。
1. 構成
圖1為表示關於一實施方式的3D數據系統1的概要的圖。3D數據系統1具有生成被攝體即對象物件的3D模型的功能。本示例中，被攝體為人類或動物等生物。3D模型為在計算機上的虛擬空間中以三維方式表現對象物件的資訊。
於本實施例中，是使用通用的計算機裝置，具體而言例如是以智慧型手機來生成3D模型，而不是使用專用3D掃描器。與專用的3D掃描器相比，通用計算機裝置的相機性能通常比較差。因此在本實施例中，臉部單獨拍攝，與被攝體全身分開拍攝。使用此臉部圖像作成與全身3D模型不同的臉部3D模型，並將兩者合成。此外，雖然表示3D模型的數據稱為3D建模數據，但是基本上「生成3D模型」和「生成3D建模數據」是指同一件事情。
3D數據系統1具有伺服器10、伺服器20和終端裝置30。終端裝置30用以拍攝被攝體。伺服器10以終端裝置30拍攝的圖像生成3D建模數據。伺服器20用以提供使用3D建模數據的應用程式。伺服器10、伺服器20和終端裝置30藉由網際網絡等網路來連接。
圖2為例示3D數據系統1的功能結構的圖。在3D數據系統1中，終端裝置30包括儲存單元31、拍攝單元32、拍攝單元33、獲取單元34、獲取單元35、合成單元36及控制單元37。伺服器10具有儲存單元11、學習單元12、接收單元13、控制單元17和發送單元15。
儲存單元31用以儲存各種數據。拍攝單元32用以拍攝採取預定姿勢的被攝體的全身。拍攝單元33用以拍攝被攝體的臉部。獲取單元34用以獲取以使用拍攝單元32拍攝的圖像所生成的被攝體全身的3D模型。獲取單元35用以獲取以使用由拍攝單元33拍攝的圖像所生成的被攝體頭部的3D模型。合成單元36用以將頭部3D模型合成於全身3D模型的頭部。控制單元37用以執行各種控制。
儲存單元11用以儲存各種數據。在本示例中，儲存單元11儲存的數據包括機器學習模型111、教師數據112、機器學習模型113和教師數據114。機器學習模型111是以教師數據112執行機器學習後的學習完成模型。教師數據112包括被攝體的全身圖像和該被攝體全身的3D建模數據。全身圖像包括從複數個不同的角度拍攝採取預定姿勢的被攝體的複數圖像。這些圖像不具有深度訊息（於後詳述）。機器學習模型113是以教師數據114執行機器學習後的學習完成模型。教師數據114包括被攝體臉部的圖像（沒有深度訊息）及該被攝體頭部的3D建模數據。
教師數據112及教師數據114中所包括的3D建模數據是將預定的演算法各別適用於不同的複數個被攝體所被拍攝的圖像所生成的。教師數據112和教師數據114的至少一部分也可以包括拍攝被攝體的圖像時所獲取的深度訊息。在這種情況下，以被攝體的圖像和深度訊息生成對應的3D建模數據。教師數據112和教師數據114中所包括的3D建模數據是例如由專用3D掃描器所生成的。
學習單元12用以使機器學習模型111和機器學習模型113進行機器學習。在機器學習模型111中，學習單元12將全身的二維圖像提供至輸入層，將全身的3D建模數據提供至輸出層，作為教師數據。此外，學習單元12將臉部的二維圖像提供至輸入層，將頭部的3D建模數據提供至輸出層，作為教師數據。
接收單元13自終端裝置30接收3D模型的生成請求。生成單元14使用終端裝置30提供的圖像生成全身的3D建模數據和頭部的3D建模數據。發送單元15將生成的3D建模數據發送到終端裝置30。控制單元16用以執行各種控制。
圖3為例示終端裝置30的硬體結構的圖。終端裝置30為具有CPU 301、記憶體302、儲存器303、通信IF 304、顯示器305、輸入裝置306和相機307的計算機裝置或訊息處理裝置，例如智慧型手機、平板終端或個人電腦。終端裝置30優選為攜帶終端。此外，當使用個人電腦時，優選為筆記本電腦，在桌上型電腦的情況下，相機307優選為可移動的外接相機。
CPU 301是根據程式執行各種處理的處理裝置。記憶體302是在CPU 301執行程式時作為工作區功能的主要儲存裝置，例如包括ROM和RAM。儲存器303為儲存各種數據和程式的輔助儲存裝置，例如包括SSD（Solid State Drive，固態硬碟）或HDD（Hard Disk Drive，硬碟）。通信IF 304是依據預定的規格與其他裝置進行通信的裝置，例如包括行動通信（LTE，Long Term Evolution等）及近距離無線通信（WiFi（註冊商標）和Bluetooth（註冊商標）等）的數據晶片。顯示器305是用於顯示訊息的顯示裝置，例如包括LCD或有機EL顯示器。輸入裝置306是用於向終端裝置30輸入訊息的裝置，例如包括
觸控螢幕、鍵板、鍵盤、滑鼠和麥克風中的至少一者。相機307為輸出被攝體被拍攝的圖像數據的裝置，例如包括光學鏡頭和CCD感測器。當終端裝置30為智慧型手機或平板終端時，相機307包括內置相機和外置相機兩種相機。內置相機設置於框體正面即與顯示器305同一面，也就是所謂的自拍用的相機。外置相機為設置在框體背面的相機。此處兩者統稱為相機307。
在本示例中，儲存在儲存器303中的程式包括用於使計算機裝置作為3D數據系統1中的終端裝置30功能的程式（以下稱為「客戶端應用程式」）。於 CPU 301在執行客戶端應用程式的狀態下，儲存器303和記憶體302中的至少一者為儲存單元11的一示例。相機307為拍攝單元32和拍攝單元33的一示例。CPU 301是獲取單元34、獲取單元35、合成單元36和控制單元37的一示例。
圖4為例示伺服器10的硬體結構的圖。伺服器10為具有CPU 101、記憶體102、儲存器103和通信IF 104的計算機裝置。CPU 101為依照程式執行各種處理的處理裝置。記憶體102是在CPU 101執行程式時作為工作區功能的主要儲存裝置，例如包括ROM和RAM。儲存器103為儲存各種數據和程式的輔助儲存裝置，例如包括SSD或HDD。通信IF 104是依照預定規格與另一裝置進行通信的裝置，例如包括NIC（Network Interface Card，網絡介面卡）。
在本示例中，儲存在儲存器303中的程式包括用於使計算機裝置具有作為3D數據系統1中的伺服器10功能的程式（以下稱為「伺服器端應用程式」）。於CPU 101在執行伺服器端應用程式的狀態下，儲存器103和記憶體102中的至少一者為儲存單元11的一示例。通信IF 104為接收單元13和發送單元15的一示例。CPU 101為學習單元12、生成單元14和控制單元16的一示例。
2. 動作
圖5為例示3D數據系統1的動作的流程圖。以下將以儲存單元31等功能結構組件要素作為處理的主體進行說明，此為執行客戶端應用程式等軟體的CPU 301等硬體組件與其他硬體組件協作執行處理的意思。在圖5的流程開始之前的時點，客戶端應用程式已被安裝在終端裝置30中，且客戶端應用程式已被啟動。
在步驟S101中，拍攝單元32拍攝使用者的全身。此時，拍攝單元32在顯示器305上顯示用於引導使用者在拍攝過程中要採取的姿勢的畫面。3D數據系統1將引導所有的使用者在拍攝過程中採取相同的姿勢。具體如下。
使用者在客戶端應用程式中指示執行3D掃描。收到此指示後，首先，客戶端應用程式拍攝被攝體的全身圖像。具體如下。拍攝單元32啟動相機307。此時，可以啟動內置相機，也可以啟動外置相機。拍攝單元32也可以對應使用者的指示切換要啟動的相機。拍攝單元32引導使用者遠離至全身可以顯示在畫面上的位置。使用者可以把終端裝置30放在架子上、立著靠在牆上或讓他人拿著等方式使之呈固定狀態，再遠離至可以顯示全身的位置。拍攝單元32用以檢測從相機307輸出的圖像中的被攝體。當檢測到使用者遠離至全身顯示在畫面中的位置時，拍攝單元32將發出聲音等通知使用者。
當檢測到使用者遠離至全身顯示在畫面中的位置時，拍攝單元32引導使用者採取預定的姿勢，例如A姿勢或T姿勢。A姿勢為雙臂和雙腿微微張開的姿勢。T姿勢為雙臂從A姿勢抬起至與地面平行的位置的姿勢。如此使被攝體採取特定的姿勢，以使機器學習過程中可以使用PCA（Principal Component Analysis．主成分分析）進行維度消減，以減輕機器學習的負荷。
拍攝單元32將引導使用者的身體朝向預定的方向，例如將臉部朝向相機307即終端裝置30的方向。拍攝單元32從相機307輸出的圖像中檢測被攝體的特徵部分，例如檢測臉部、手和腳。當檢測到圖像中的該特徵部分的相對位置關係處於預定的狀態時，在本示例中為檢測到臉部面朝向正面、雙臂和雙腿呈現張開的狀態時，拍攝單元32將發出聲音等通知使用者。
當檢測到使用者以預定姿勢且相對於終端裝置30採取預定的方向時，拍攝單元32隨後以預定時間間隔記錄從相機307輸出的圖像。拍攝單元32引導使用者（在終端裝置30的位置固定的情況下）在原地沿一方向旋轉一圈，即以垂直於地面且貫穿使用者自身頭部的旋轉軸為中心旋轉一圈。此時，拍攝單元32從相機307輸出的圖像中檢測使用者的方向，當旋轉速度比標準快時引導使用者旋轉慢一點，當旋轉速度比標準慢時引導使用者旋轉快一點。此外，在使用者旋轉過程中拍攝單元32也可以檢測使用者的姿勢，當使用者的姿勢和預定的姿勢不一致時也可以發出警告以引導使用者採取預定姿勢。
圖6為表示全身拍攝的模式圖。圖6（A）表示被攝體U正面面向相機307的狀態，而圖6（B）示意性地表示被攝體U從圖6（A）的狀態向右旋轉90度的狀態。被攝體U依照拍攝單元32的引導保持在Ａ姿勢，並例如以僅移動腿的方式在原地旋轉。圖6（C）表示在圖6（A）的狀態下所拍攝的圖像，圖6（D）示意性表示在圖6（B）的狀態下拍攝的圖像。在圖6（C）中，被攝體U面向正面，而在圖6（D）中，被攝體U面向左側。
當從相機307輸出的圖像中檢測到使用者旋轉了一圈時，拍攝單元32停止圖像的記錄。如此，就可以得到使用者以預定姿勢相對於相機改變角度（即旋轉角度）同時一邊被拍攝的圖像組。此圖像組不包含深度訊息。深度訊息是表示從終端裝置30到被攝體表面上的複數個點的距離（或深度）的訊息與被攝體被拍攝的圖像上的點之間的對應關係的訊息集合。拍攝單元32將該圖像組記錄在儲存單元31中。
再次參見圖5。當完成全身圖像的拍攝時，獲取單元34向伺服器10發送全身3D模型的生成請求（步驟S102）。該生成請求包括由拍攝單元32拍攝的全身圖像組和使用者ID。使用者ID例如依客戶端應用程式的登錄處理來指定。
當從終端裝置30接收到全身3D模型的生成請求時，伺服器10的生成單元14生成全身的3D模型（步驟S103）。在本示例中，生成單元14使用機器學習模型111來生成全身的3D模型。具體而言，生成單元14將包含在該生成請求中的圖像組輸入至機器學習模型111中。當輸入圖像組時，機器學習模型111輸出全身的3D建模數據。發送單元15將生成單元14所生成的全身的3D建模數據發送到生成請求的請求源的終端裝置30（步驟S104）。
當全身圖像的拍攝完成時，客戶端應用程式拍攝被攝體的臉部圖像（步驟S105）。具體如下。拍攝單元33啟動相機307。在此情況下，啟動的是內置相機。拍攝單元33引導使用者至可以在畫面的預定範圍內顯示臉部的位置。使用者以自己的手握持終端裝置30並調整位置。此時，因為顯示器305顯示相機307輸出的圖像，因此使用者可以看著畫面的調整終端裝置30的位置。拍攝單元33在顯示器305上顯示快門按鈕。當使用者觸摸快門按鈕時，拍攝單元33將此時從相機307輸出的圖像記錄在儲存單元31中。與全身圖像不同，臉部圖像只要一張即可。與全身圖像一樣，臉部圖像是不包含深度訊息的。
圖7為表示臉部圖像拍攝的模式圖。圖7（A）示意性表示被攝體依照拍攝單元33的引導，以所謂的自拍的要領來拍攝自己的臉部的樣子。圖7（B）是示例圖7（A）中所拍攝的圖像的圖。在此圖像中，主體U的臉部正面顯示在整個螢幕上。
再次參見圖5。當臉部圖像的拍攝完成時，獲取單元35向伺服器10發送頭部的3D模型的生成請求（步驟S106）。此生成請求包括由拍攝單元33拍攝的臉部圖像和使用者ID。
當從終端裝置30接收到頭部3D模型的生成請求時，伺服器10的生成單元14生成全身3D模型（步驟S107)）。在本示例中，生成單元14使用機器學習模型113來生成頭部3D模型。具體而言，生成單元14將包含在該生成請求中的臉部圖像輸入至機器學習模型113中。當輸入臉部圖像時，機器學習模型113輸出全身的3D建模數據。發送單元15將由生成單元14生成的頭部3D建模數據發送到生成請求的請求源的終端裝置30（步驟S108）。
在步驟 S109中，合成單元36將頭部的3D模型合成於全身的3D模型上。具體如下。合成單元36在全身的3D模型中識別頭部。合成單元36用頭部的3D模型置換至全身的3D模型中被識別出的頭部。此時，合成單元36檢測出包含在全身3D模型中的特徵部位或標的（例如眼睛、鼻子、嘴巴），並調整頭部3D模型的尺寸和位置將它們匹配，以將其合成為全身的3D模型。合成單元36將以此生成的3D建模數據記錄在儲存單元31中。
與專用3D掃描器相比，通用計算機裝置中的相機性能較差，但在許多情況下，臉部是3D模型中最重要的部分。在本實施例中，由於臉部使用的照片比全身的相片更高級，因此與單純地從全身圖像生成的3D模型相比，可以獲得更精細的3D模型。
3. 變化示例
本發明不限於上述實施方式，有各種變化實施的可能。以下，將說明一些變化示例。以下的變化示例記載的事項中也可以兩個以上組合使用。
教師數據112和教師數據114不限於實施例中例示的。例如，學習單元12使用由專用3D掃描器針對不同的複數個被攝體所生成的3D建模數據，生成在虛擬空間中使用虛擬相機拍攝3D模型而得的近似二維圖像（以下稱為「近似圖像」）。近似圖像包括，例如，將3D模型以平行於地面且貫穿3D模型頭部的旋轉軸為中心旋轉同時由虛擬相機以各種旋轉角度所拍攝的圖像。通過使用近似圖像可以減少準備教師數據的勞力和時間。
拍攝全身圖像和臉部圖像的順序以及從圖像生成3D模型的順序不限於實施例中所例示的。例如，拍攝單元33可以先拍攝臉部圖像，然後拍攝單元32再拍攝全身圖像，獲取單元34和獲取單元35在兩者的圖像拍攝完之後再對伺服器10請求生成3D模型也可以。
生成3D模型的主體不限於伺服器10。例如，不只伺服器10，終端裝置30也可以具有對應於生成單元14的功能。在此情況下，終端裝置30預先下載學習完成的模型，即機器學習模型111和機器學習模型113。終端裝置30使用機器學習模型111和機器學習模型113來生成3D建模數據。
在本實施例中，以生成單元14從不同角度拍攝的複數個全身圖像組中生成全身3D建模數據為例，但與臉部圖像相同地，生成單元14也可以以一張全身圖像生成全身3D建模數據。在此情況下，教師數據112僅包括一張全身圖像和對應的3D建模數據，且機器學習模型111使用教師數據112進行學習。
在本實施例中已經說明了生成單元14僅以一張臉部圖像生成頭部的3D建模數據的示例，但是與全身圖像相同地，在生成單元14也可以用被攝體原地旋轉時一邊從不同角度拍攝的複數個頭部的圖像組來生成頭部的3D建模數據。在此情況下，教師數據114包括以不同角度拍攝的複數個頭部的圖像組，且機器學習模型113使用該圖像組進行學習。
伺服器10和終端裝置30的硬體結構不限於實施例中所例示的。只要能夠實現要求的功能，伺服器10和終端裝置30各別均可以具有任何硬體結構。
由CPU 101等執行的程式可以經由網際網路等網路下載，也可以以記錄在CD-ROM等的儲存介質的狀態提供。
1:3D數據系統
10:伺服器
11:儲存單元
12:學習單元
13:接收單元
14:生成單元
15:發送單元
16:控制單元
17:控制單元
20:伺服器
30:終端裝置
31:儲存單元
32:拍攝單元
33:拍攝單元
34:獲取單元
35:獲取單元
36:合成單元
37:控制單元
101:CPU
102:記憶體
103:儲存器
104:通信IF
111:機器學習模型
112:教師數據
113:機器學習模型
114:教師數據
301:CPU
302:記憶體
303:儲存器
304:通信IF
305:顯示器
306:輸入裝置
307:相機
圖1為表示關於一實施方式中的3D數據系統1的概要的圖。
圖2為例示3D數據系統1的功能結構的圖。
圖3為例示終端裝置30的硬體結構的圖。
圖4為例示伺服器10的硬體結構的圖。
圖5為例示3D數據系統1的動作的流程圖。
圖6為表示全身拍攝的模式圖。
圖7為表示臉部圖像拍攝的模式圖。
10:伺服器
11:儲存單元
12:學習單元
13:接收單元
14:生成單元
15:發送單元
16:控制單元
30:終端裝置
31:儲存單元
32:拍攝單元
33:拍攝單元
34:獲取單元
35:獲取單元
36:合成單元
37:控制單元
111:機器學習模型
112:教師數據
113:機器學習模型
114:教師數據
Claims (9)
- 一種訊息處理裝置，包括： 一第一拍攝單元，用以拍攝採取預定姿勢的被攝體的全身； 一第二拍攝單元，用以拍攝該被攝體的臉部； 一第一獲取單元，用以獲取利用該第一拍攝單元拍攝的圖像所生成的該被攝體的全身3D模型； 一第二獲取單元，用以獲取利用該第二拍攝單元拍攝的圖像所生成的該被攝體的頭部3D模型；及 一合成單元，用以將該頭部3D模型合成於該全身3D模型的頭部。
- 如請求項1所述之訊息處理裝置，其中該第一拍攝單元一邊將該採取預定姿勢的被攝體的全身沿一方向旋轉一邊拍攝複數個圖像； 該第一獲取單元用以獲取利用該第一拍攝單元拍攝的該複數個圖像所生成的該被攝體的全身3D模型。
- 如請求項2所述之訊息處理裝置，其中該第一拍攝單元用以檢測該被攝體的姿勢； 當檢測到該被攝體的姿勢和該預定姿勢不一致時，對該被攝體發出警告。
- 如請求項1至3中任一請求項中所述之訊息處理裝置，其中該第二獲取單元用以獲取利用該第一拍攝單元拍攝的一張圖像所生成的該被攝體的頭部3D模型。
- 如請求項1至4中任一請求項中所述之訊息處理裝置，其中對於採取該預定姿勢的複數人，該第一獲取單元將無深度訊息的全身二維圖像提供至輸入層，將全身3D模型提供至輸出層作為教師資料，並獲取利用該教師數據使機器學習模型進行機器學習後所生成的該被攝體的全身3D模型。
- 如請求項5中所述之訊息處理裝置，其中該第一獲取單元獲取利用該教師數據使機器學習模型進行機器學習後所生成的該全身3D模型，其中該教師數據包括在虛擬空間中以虛擬相機拍攝3D模型所得的近似圖像，作為提供給該輸入層的資料。
- 如請求項1至6中任一請求項中所述之訊息處理裝置，其中對於複數人，該第二獲取單元將無深度訊息的臉部二維圖像提供至輸入層，將頭部3D模型提供至輸出層作為教師資料，並獲取利用該教師數據使機器學習模型進行機器學習後所生成的該被攝體的頭部3D模型。
- 一種3D模型生成方法，包括： 攜帶終端拍攝採取預定姿勢的被攝體的全身的步驟； 該攜帶終端拍攝該被攝體的臉部的步驟； 該攜帶終端以該被攝體被拍攝的全身圖像獲取該被攝體的全身3D模型的步驟； 該攜帶終端獲取利用該被攝體被拍攝的臉部圖像所生成的該被攝體的頭部3D模型的步驟； 該攜帶終端將該頭部3D模型合成於該全身3D模型的頭部的步驟。
- 一種使計算機執行以下步驟的程式，包括： 拍攝採取預定姿勢的被攝體的全身的步驟； 拍攝該被攝體的臉部的步驟； 從利用第一拍攝單元拍攝的圖像獲取該被攝體的全身3D模型的步驟； 獲取利用第二拍攝單元所拍攝的圖像所生成的該被攝體的頭部3D模型的步驟； 將該頭部3D模型合成於該全身3D模型的頭部的步驟。
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| WOPCT/JP2020/028759 | 2020-07-27 | ||
| PCT/JP2020/028759 WO2022024199A1 (ja) | 2020-07-27 | 2020-07-27 | 情報処理装置、３ｄモデル生成方法、及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TW202333115A true TW202333115A (zh) | 2023-08-16 |
Family
ID=74562325
Family Applications (2)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110126282A TWI801936B (zh) | 2020-07-27 | 2021-07-16 | 資訊處理裝置、3d模型生成方法、及程式 |
| TW112113948A TW202333115A (zh) | 2020-07-27 | 2021-07-16 | 資訊處理裝置、3d模型生成方法、及程式 |
Family Applications Before (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW110126282A TWI801936B (zh) | 2020-07-27 | 2021-07-16 | 資訊處理裝置、3d模型生成方法、及程式 |
Country Status (6)
| Country | Link |
|---|---|
| US (1) | US20230290050A1 (zh) |
| EP (1) | EP4191542A4 (zh) |
| JP (2) | JP6829922B1 (zh) |
| CN (1) | CN114503161A (zh) |
| TW (2) | TWI801936B (zh) |
| WO (1) | WO2022024199A1 (zh) |
Family Cites Families (12)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4505616B2 (ja) * | 2004-12-08 | 2010-07-21 | 株式会社国際電気通信基礎技術研究所 | 固有空間学習装置、固有空間学習方法及び固有空間プログラム |
| JP2010003251A (ja) * | 2008-06-23 | 2010-01-07 | Panasonic Corp | 画像リサイズ処理装置及び画像リサイズ処理方法 |
| JP2010087599A (ja) * | 2008-09-29 | 2010-04-15 | Fujifilm Corp | 撮像装置、方法およびプログラム |
| US10796480B2 (en) * | 2015-08-14 | 2020-10-06 | Metail Limited | Methods of generating personalized 3D head models or 3D body models |
| JP6737503B2 (ja) | 2016-09-13 | 2020-08-12 | 株式会社Ｖｒｃ | ３ｄスキャナ |
| WO2019026598A1 (ja) * | 2017-07-31 | 2019-02-07 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、および遠隔コミュニケーションシステム |
| CN110637324B (zh) * | 2017-09-08 | 2021-04-16 | 株式会社威亚视 | 三维数据系统以及三维数据处理方法 |
| US10380788B2 (en) * | 2017-10-12 | 2019-08-13 | Ohio State Innovation Foundation | Fast and precise object alignment and 3D shape reconstruction from a single 2D image |
| WO2020056532A1 (en) * | 2018-09-19 | 2020-03-26 | Arbrea Labs Ag | Marker-less augmented reality system for mammoplasty pre-visualization |
| CN111435550A (zh) * | 2019-01-11 | 2020-07-21 | 北京市商汤科技开发有限公司 | 图像处理方法及装置、图像设备及存储介质 |
| EP4017340A4 (en) * | 2019-08-21 | 2023-12-13 | Activ Surgical, Inc. | MEDICAL IMAGING SYSTEMS AND METHODS |
| US11276166B2 (en) * | 2019-12-30 | 2022-03-15 | GE Precision Healthcare LLC | Systems and methods for patient structure estimation during medical imaging |
-
2020
- 2020-07-27 JP JP2020545605A patent/JP6829922B1/ja active Active
- 2020-07-27 US US18/017,736 patent/US20230290050A1/en active Pending
- 2020-07-27 CN CN202080069570.XA patent/CN114503161A/zh active Pending
- 2020-07-27 WO PCT/JP2020/028759 patent/WO2022024199A1/ja active Application Filing
- 2020-07-27 EP EP20947129.1A patent/EP4191542A4/en not_active Withdrawn
- 2020-11-25 JP JP2020195413A patent/JP2022023755A/ja active Pending
-
2021
- 2021-07-16 TW TW110126282A patent/TWI801936B/zh active
- 2021-07-16 TW TW112113948A patent/TW202333115A/zh unknown
Also Published As
| Publication number | Publication date |
|---|---|
| EP4191542A4 (en) | 2024-05-22 |
| US20230290050A1 (en) | 2023-09-14 |
| TW202209263A (zh) | 2022-03-01 |
| WO2022024199A1 (ja) | 2022-02-03 |
| JP6829922B1 (ja) | 2021-02-17 |
| EP4191542A1 (en) | 2023-06-07 |
| JP2022023755A (ja) | 2022-02-08 |
| JPWO2022024199A1 (zh) | 2022-02-03 |
| TWI801936B (zh) | 2023-05-11 |
| CN114503161A (zh) | 2022-05-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102365721B1 (ko) | 모바일 기기를 이용한 3차원 얼굴 모델 생성 장치 및 방법 | |
| KR102114377B1 (ko) | 전자 장치에 의해 촬영된 이미지들을 프리뷰하는 방법 및 이를 위한 전자 장치 | |
| KR102018887B1 (ko) | 신체 부위 검출을 이용한 이미지 프리뷰 | |
| CN108495032B (zh) | 图像处理方法、装置、存储介质及电子设备 | |
| TWI255141B (en) | Method and system for real-time interactive video | |
| JP2019012534A (ja) | 反応型映像生成方法及び生成プログラム | |
| JP2017531950A (ja) | 撮影テンプレートデータベースを構築し、且つ撮影推薦情報を提供するための方法及び装置 | |
| CN112348933B (zh) | 动画生成方法、装置、电子设备及存储介质 | |
| WO2016187985A1 (zh) | 拍摄设备、跟踪拍摄方法和系统、以及计算机存储介质 | |
| WO2018121401A1 (zh) | 一种全景视频图像的拼接方法及全景相机 | |
| WO2019015249A1 (zh) | 基于虚拟现实的图像显示方法和装置、虚拟现实头盔设备 | |
| CN111654624B (zh) | 拍摄提示方法、装置及电子设备 | |
| KR20150091064A (ko) | 단일의 카메라를 이용하여 3d 이미지를 캡쳐하는 방법 및 시스템 | |
| WO2016184285A1 (zh) | 物品图像处理方法、装置和系统 | |
| JP2022131778A5 (zh) | ||
| CN106502401B (zh) | 一种图像控制方法及装置 | |
| CN115702443A (zh) | 将存储的数字化妆增强应用于数字图像中的已辨识面部 | |
| TWI801936B (zh) | 資訊處理裝置、3d模型生成方法、及程式 | |
| WO2017096859A1 (zh) | 照片的处理方法及装置 | |
| KR102557592B1 (ko) | 이미지 표시 방법 및 장치, 전자 기기, 컴퓨터 판독 가능 저장 매체 | |
| CN114078279B (zh) | 动作捕捉方法、装置、电子设备及存储介质 | |
| CN111314627B (zh) | 用于处理视频帧的方法和装置 | |
| JP2019133276A (ja) | 画像処理システム、端末 | |
| CN116828131A (zh) | 基于虚拟现实的拍摄处理方法、装置及电子设备 | |
| KR102619302B1 (ko) | 휴대 단말기와 연동하여 트래킹 기능을 제공하는 단말기 거치대 |