TWM451605U - 多重模型的虛擬試衣平台 - Google Patents

Description

多重模型的虛擬試衣平台

本創新係關於一種建立多重模組並強調其試穿效果極為擬真的虛擬試衣平台，該平台透過利用RGB-D攝影機對物體進行影像擷取、點雲技術、臉部辨識、物理運算處理器(PPU)等，提高虛擬模型的擬真度，並能模擬實際試穿的效果，包括3D 衣物模型在3D人物模型上，因不同身型、材質所產生不同的皺摺、延展、紋理的表現等，以增強虛擬試衣間其模擬效果的可信度。

目前歐美已有部分服飾業者提供應用擴增實境(Augmented Reality,AR)的虛擬試衣間，卻僅解決使用者試穿衣物之麻煩，且此應用以目前技術而言，尚無法真正將服飾完整套入使用者身上，表現出真實感，看起來就像是一張照片貼在身上，無法達到試穿的主要目的。

因此本創新乃基於解決消費者在購買服飾時需耗費的大量時間與地域性的問題，使消費者能就地、迅速的瀏覽大量的服飾目錄，選擇滿意的衣服做虛擬的穿搭以節省消費者不必要的試穿時間及多餘的體力耗費。

以應用虛擬實境(Virtual Reality,VR)的虛擬試衣間為例，現行業者所提供之試衣模特兒，為預先套設好的通用模組，使用者僅可搭配與自身五官相貌相仿、身型體態接近之模組，作為試衣模特兒，其擬真程度不言可喻。本創新除可提供使用者根據自己的身型數據建立自定義模型102<A>、個人化模型102<B>外，亦可提供使用者將自己的個人照片上傳至系統，透過臉部辨識單元(103)，將人體模型的頭部建置成個人化的立體頭像，使其更具有立體感與真實感。更進一步，可為使用者量身訂作專屬的個人化試衣模特兒，也就是本文中所提及的專 屬模型102<C>，藉由至少兩台的RGB-D攝影機(如Kinect)掃描人體全身後，透過深度攝影機記錄點雲資訊(Point Cloud)，並透過演算建立近似全真的人體模型，除了身材比例與使用者完全相符外，相貌也幾近與本人一致。

再以衣物建模為例，目前所見的虛擬試衣間的衣物模組皆為利用人工的方式以3D繪圖軟體逐一建置，因此資料的建立困難且耗費時間，難以建立具海量(Big Data)的資料庫以便進行後續的資量庫數據分析與數據挖掘(Data Mining)。本創新係運用服飾3D掃描單元(201)，使用至少兩台的RGB-D攝影機掃描衣物，以更有效率的方式建立3D服飾模型(202)及服飾資訊資料庫(203)，進而與試衣模特兒做試穿結合並將最終3D人體模型與服飾套穿的結果顯示於模型顯示平台(300)，系統並將運算及呈現出在不同身形上的延展效果與皺摺紋理，以提供最接近實際試穿的效果，讓使用者更有把握判斷是否買到正確的衣物。

鑒於上述習知現有應用的問題與缺點，本系統藉由提高擬真程度，讓使用者可以在平台上觀察3D人物與衣物模型之間的物理模擬效果，且隨著模特兒身型及衣物材質與尺寸的差異，透過數位影像處理(Digital Image Process)的技術處理不同的呈現感覺，提高虛擬試衣間使用時的趣味性與實用性， 讓使用者在生活上透過電腦、NB與手機等有線或無線通信裝置，皆能隨時隨地的有效應用多重模型虛擬試衣平台的功能。

本多重模型虛擬試衣平台係包含一人體模型辨識模組(100)，提供一人物3D掃描單元(101)、一體型辨識單元(102)[自定義模型102<A>、個人化模型102<B>、專屬模型102<C>]、一臉部辨識單元(103)、一人體資訊資料庫(104)；一服飾3D掃描模組(200)，含一服飾3D掃描單元(201)、一服飾模型(202)、一服飾資訊資料庫(203)；一模型顯示平台(300)。

其中關於三種模特兒模型的製作方式分別為：

1.自定義模型102<A>：係為讓使用者不必花費太多時間即可快速建置一個模型，而該模型是從系統事先建置的人體體型資料庫中，讀取數個與開放使用者自行填入數值所得到的最近似的人體模型，然後再由使用者從中決定選擇一個與自身身型最為接近的模型，做為自己的體型的模特兒代表，並可同時將使用者的選擇及相關填入的資訊記錄儲存在人體資訊資料庫(104)中，最後可在模型顯示平台(300)看到自行更換服飾模型(202)的套圖結果，藉此模擬人物與衣服的相對關係。

2.個人化模型102<B>：係提供使用者可自行製作一個與自己身型一致的模型，系統將設定數個細部體型參數選項供使用者填入，如身高、體重、手長、身長、腿長、肩寬、胸圍、腰圍及臀圍等，最後經由上述參數的輸入設定產生自己的替身(模特 兒)，系統並同時將使用者的相關數據儲存在人體資訊資料庫(104)中，最後可在模型顯示平台(300)看到自行更換服飾模型(202)的套圖結果，而達到較佳的物理模擬及檢視模擬的效果。

3.專屬模型102<C>：係透過至少兩台RGB-D攝影機掃描人體(如Kinect)透過深度投光器，紀錄人體的各個點雲資訊而製作成3D人體模型，再透過彩色攝影機擷取人體的顏色資訊進而製作成人體貼圖>。於專屬模型102<C>中，因使用者已經過全身掃描，故可直接製作與使用者頭型幾近一致的模型，如此更可提升模型的真實感，最後可在模型顯示平台(300)看到自行更換服飾模型(202)的套圖結果，達到最佳的物理模擬及檢視模擬的效果。

一臉部辨識單元(103)，係指使用者可自行決定是否上傳自己的頭相以改變自定義模型102<A>以及個人化模型102<B>臉部模型，本系統會透過偵測臉部特徵的方式自動製作成模型臉部貼圖至模型臉上，使模型的臉可以看起來像是使用者上傳之頭相照片模樣，進而增加親切感。

一服裝3D掃描模組單元(200)係包含一服飾3D掃描單元(201)、一服飾模型(202)及一服飾資訊資料庫(203)，其中服飾3D掃描單元為透過至少兩台RGB-D攝影機掃瞄服飾，並由深度攝影機負責記錄服飾的各個點雲資訊並製成3D模型，並再使用彩色攝影機擷取服飾的顏色資訊並製成貼圖，使服飾模 型(202)得以產生，並將該筆模型資料儲存於服飾資訊資料庫(203)中。

一服飾顯示平台(300)，係顯示經由系統計算處理模特兒與服飾模型，藉由物理運算處理器計算兩者之間所產生的物理模擬效果，並可藉由360度任意旋轉視角已達到完整檢視模型所呈現的效果，更可讓使用者控制模型擺動(如揮手、彎身、抬腿等)各種預設姿勢，來達到使用者與模型之間的互動性與模擬的真實性。

為詳細說明本新型之方法與可提供之功效與效果，茲舉以下可行實施例配合各附圖做詳細說明，俾利方便深入了解。

有關本新型之系統架構(如圖1與圖2所示)係整合人體模型辨識模組(100)、服飾3D掃描模組(200)以及模型展示平台(300)而成，其中人體模型辨識模組(100)之體型辨識單元(102)的模特兒模型可以分為三種製作方式，其說明如下：

1.自定義模型(102<A>)(如圖4體型辨識之文字流程圖所示)：本系統會提供幾個預先設定好的通用體型模組，使用者於填入數個簡單的相關數值後(如身高、體重等)，系統會依據填入的數值中，自動建議出內建相近之人體模型供使用者挑選，然後使用者可以選擇變換該模特兒的髮型、膚色，亦可決定是否使用個人樣貌呈現模特兒面孔。若使用者同意貼上自己的臉圖時，則系統將會進入臉部辨識單元(103)，或者使用者可直接使用系 統預設的模特兒面貌，並可將相關人體特徵與體型的資料儲存至人體資訊資料庫(104)。此外，使用者可將此模型與來自服飾資訊資料庫(203)內所選擇的服飾模型(202)進行套圖顯示於模型顯示平台(300)，並可藉由平台做360度的觀察試穿服飾的整體效果。

2.個人化模型(102<B>)(如圖4體型辨識之文字流程圖所示)：使用者需輸入身高、體重、三圍等詳細的人體特徵數據資料，然後系統會計算使用者所填入之各項參數並建置個人化模型(102<B>)，系統並允許使用者可選擇是否變換模特兒的髮型、膚色，亦可決定是否使用個人樣貌呈現模特兒面孔，若使用者同意貼上自己的臉圖時，則系統將會進入臉部辨識單元(103)，或者使用者可直接使用系統預設的模特兒面貌，並可將相關人體特徵與體型的資料儲存至人體資訊資料庫(104)。此外，使用者可將此模型與來自服飾資訊資料庫(203)內所選擇的服飾模型(202)進行套圖顯示於模型顯示平台(300)，並可藉由平台做360度的觀察試穿服飾的整體效果。

3.專屬模型(102<C>)(如圖4體型辨識之文字流程圖所示)：使用者站在架設至少兩台RGB-D攝影機之間(如圖3人體3D掃描單元示意圖)，該掃描裝置包含至少兩台RGB-D攝影機，透過RGB-D攝影機的深度攝影機記錄掃描後的人體點雲記錄，並利用運算法將各個點雲資訊製成使用者的人體模型，再透過彩色攝影機記錄人體顏色製成貼圖，結合成一個完整的人體模型為專屬模 型(102<C>)，並存入人體資訊資料庫(104)。使用者在此模型上套量從服飾資訊資料庫(203)內所選擇的服飾模型(202)，並顯示於模型顯示平台(300)，，並可藉由平台做360度的觀察試穿服飾的整體效果。

服飾3D掃描模組(200)係包含服飾3D掃描單元(201)、服飾模型(202)及服飾資訊資料庫(203)，其中服飾3D掃描單元(如圖5服飾3D掃描單元示意圖)為製作服飾模型(202)之裝置。製作服飾模型(202)(如圖6服飾模型製作文字流程圖)係將服飾放置在架設至少兩台RGB-D攝影機之間，被掃描的服飾物件透過RGB-D攝影機的深度攝影機記錄掃描後，擷取服飾物件的點雲資訊，應用運算法製作服飾模型，再透過彩色攝影機記錄服飾顏色製成貼圖，建立成一個完整的服飾模型(202)，並存入服飾資訊資料庫(203)。

當完成將資料存入人體資訊資料庫(104)以及服裝資訊資料庫(203)後，可將資料庫整合使用(如圖7模型平台顯示文字流程)，使用者可以透過模型顯示平台(300)操作使用，將使用者的人體模特兒(102<A>)(102<B>)(102<C>)輸出至該模型顯示平台(300)，點選所想要更換之服飾模型(202)，將二者透過物理引擎運算擬真結合，並於模型顯示平台(300)展現予使用者即時檢視。

以上所述之實施例僅係為說明本新型之技術思想及特點，其目的在使熟習此項技藝之人是能夠瞭解本新型之內容並據以實施，當不能以之限定本創新之專利範圍，即大凡依本新型所揭示之精 神所作之均等變化或修飾，仍應涵蓋在本新型之專利範圍內。

100‧‧‧人體模型辨識模組

101‧‧‧人物3D掃描單元

102‧‧‧體型辨識單元

102<A>‧‧‧自定義模型

102<B>‧‧‧個人化模型

102<C>‧‧‧專屬模型

103‧‧‧臉部辨識單元

104‧‧‧人體資訊資料庫

200‧‧‧服飾3D資訊資料庫

201‧‧‧服飾3D掃描單元

202‧‧‧服飾模型

203‧‧‧服飾資訊資料庫

300‧‧‧模型顯示平台

圖1 為系統架構圖。

圖2 為系統文字流程圖。

圖3 為人物3D掃描單元示意圖。

圖4 為體型辨識之示意圖。

圖5 為服飾3D掃描流程圖。

圖6 為服飾模型製作文字流程圖。

圖7 模型顯示平台文字流程圖。

100‧‧‧人體模型辨識模組

101‧‧‧人物3D掃描單元

102‧‧‧體型辨識單元

102<A>‧‧‧自定義模型

102<B>‧‧‧個人化模型

102<C>‧‧‧專屬模型

103‧‧‧臉部辨識功能單元

104‧‧‧人體資訊資料庫

200‧‧‧服飾3D資訊資料庫

201‧‧‧服飾3D掃描單元

202‧‧‧服飾模型

203‧‧‧服飾資訊資料庫

300‧‧‧模型顯示平台

Claims (5)

1. 一種多重模組的虛擬試衣平台裝置，該系統包括：一人體模型辨識模組(100)，含一人物3D掃描單元(101)、一為體型辨識單元(1 02)，自定義模型(102<A>)、個人化模型(102<B>)、專屬模型(102<C>)、一為臉部辨識單元(103)、一為人體資訊資料庫(104)，該模組係負責存放人體模型、人體資訊以及掃描人體3D模型之使用；一服飾3D掃描模組(200)，含一服飾3D掃描單元(201)、一服飾模型(202)與一服飾資訊資料庫(203)，該模組負責存放服飾資訊以及掃描衣服模型使用；一模型顯示平台(300)，負責將模特兒模型顯示於該平台中，並供使用者可以利用該平台讓模特兒模型穿著不同衣服以達到檢視之效果，其中模特兒模型可為自定義模型(102<A>)、個人化模型(102<B>)、專屬模型(102<C>)。
2. 根據申請專利範圍第1項所述之一種多重模型的虛擬試衣平台，其中，臉部辨識單元(103)，主要是讓自定義模型(102<A>)以及個人化模型(102<B>)可以利用該功能讓系統自動偵測使用者上傳之頭相的臉部特徵，進而製成臉部貼圖貼至自定義模 型(102<A>)及個人化模型(102<B>)的臉部，使該模型的臉部看起來與上傳的頭照相似。
3. 根據申請專利範圍第1項所述之一種多重模型的虛擬試衣平台，其中，專屬模型(102<C>)係指應用至少兩台RGB-D攝影機，掃描使用者全身，透過深度攝影機記錄使用者全身的點雲(Point Cloud)資訊，並以該資訊製作使用者模型，再藉由彩色攝影機記錄使用者的色彩資訊，以該色彩資訊製成貼圖貼至使用者的專屬模型(102<C>)。我們在環境中拍攝人體原型，辨識相機擷取到的影像中特殊的標示物，然後計算偵測到的標示物之相對位置來進行定位，同時結合深度影像以及彩色影像，擷取彩色影像的特徵對應到深度影像上的資訊，並且經由點雲套合演算法，計算出最適化的模型。
4. 根據申請專利範圍第1項所述之一種多重模型的虛擬試衣平台，其中，服飾模型(202)係透過至少兩台RGB-D攝影機，運用深度攝影機，記錄服飾的點雲資訊，並以該資訊製作服飾的3D模型，再應用彩色攝影機，記錄服飾的色彩資訊，以該色彩資訊製成貼圖以建置服飾模型(202)。
5. 根據申請專利範圍第1項所述之一種多重模型的虛擬試衣平台，其中，人體資訊資料庫(104)以及服飾資訊資料庫(203)分別係記錄使用者的體形資訊(如身高、體重、三圍等訊息)的資料庫，以及記錄廠商所提供的服裝相關資訊和透過RGB-D攝影機所製作之服飾模型(203)的檔案資料庫。