TW202314646A - 數位服裝產生 - Google Patents

數位服裝產生 Download PDF

Info

Publication number
TW202314646A
TW202314646A TW111120234A TW111120234A TW202314646A TW 202314646 A TW202314646 A TW 202314646A TW 111120234 A TW111120234 A TW 111120234A TW 111120234 A TW111120234 A TW 111120234A TW 202314646 A TW202314646 A TW 202314646A
Authority
TW
Taiwan
Prior art keywords
garment
panel
digital
dimensional
user
Prior art date
Application number
TW111120234A
Other languages
English (en)
Inventor
托尼 東
土爾 詹 M 史托伊克
Original Assignee
美商元平台技術有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商元平台技術有限公司 filed Critical 美商元平台技術有限公司
Publication of TW202314646A publication Critical patent/TW202314646A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20Finite element generation, e.g. wire-frame surface description, tesselation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00Manipulating 3D models or images for computer graphics
    • G06T19/20Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/536Depth or shape recovery from perspective effects, e.g. by using vanishing points
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/107Static hand or arm
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/16Cloth
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2004Aligning objects, relative positioning of parts
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20Indexing scheme for editing of 3D models
    • G06T2219/2008Assembling, disassembling

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Human Computer Interaction (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

在一個具體實例中,本發明提供一種方法,其包含:基於包含一服裝之一或多個影像而產生該服裝之一前衣片;產生該服裝之一背衣片;使該前衣片與該背衣片在一三維空間中對準,使得該前衣片處於一三維身體的前部且該背衣片處於該三維身體後方;識別該前衣片及該背衣片之一或多對邊界區段,其中該前衣片及該背衣片的每一對邊界區段將附接在一起;及藉由使用一物理模擬模型經由複數個迭代模擬,附接該前衣片及該背衣片之該經識別一或多對邊界區段中之每一者,來產生一數位服裝。

Description

數位服裝產生
本發明大體上係關於人工實境系統,且詳言之,係關於產生數位服裝。
人工實境為在向使用者展示之前已按一些方式調整的實境之形式,其可包含例如虛擬實境(virtual reality;VR)、擴增實境(augmented reality;AR)、混合實境(mixed reality;MR)、混雜實境或其某一組合及/或衍生。人工實境內容可包含完全所產生的內容,或與所擷取內容(例如,真實世界相片)組合之所產生的內容。人工實境內容可包含視訊、音訊、觸覺反饋或其某一組合,且其中之任一者可在單一通道中或在多個通道中呈現(諸如,對觀看者產生三維效應之立體聲視訊)。人工實境可與例如用於在人工實境中創建內容及/或用於人工實境中(例如,在人工實境中執行活動)之應用程式、產品、配件、服務或其某一組合相關聯。提供人工實境內容之人工實境系統可於各種平台上實施,該些平台包含連接至主電腦系統之頭戴式顯示器(head-mounted display;HMD)、獨立式HMD、行動裝置或計算系統或能夠向一或多個檢視者提供人工實境內容的任何其他硬體平台。
本文所描述之特定具體實例係關於一種系統及方法,其用於以自動化及無模板方式基於服裝之一或多個影像而產生數位服裝。隨著在諸如虛擬試穿之各種應用程式中對服裝模型之需要增長,數位服裝之產生已變得愈來愈流行。產生數位服裝之傳統的方法為極勞力密集的。此外,以那些傳統方法產生數位服裝可需要藉由經訓練專業人士之藝術技能及頻繁人工干預。當對於一或多個應用程式需要具有各種類型及大小的大量數位服裝時,產生數位服裝可係瓶頸。本申請案中所揭露之本發明可利用服裝分段(segmentation)模型、即時模擬引擎及即時身體追蹤解決方案,以按自動化方式產生數位服裝。
一旦產生數位服裝,數位服裝則可用於應用程式,諸如虛擬試穿。在虛擬試穿應用程式下,使用者可能夠在所估計身體形狀及姿勢上試穿虛擬服裝,以獲得式樣之感測及對使用者之身體性質定製的大小推薦。儘管虛擬試穿應用程式可向使用者提供令人信服及接合體驗,虛擬地模擬服裝可不與真實世界緊耦接。用於即時模擬數位服裝之系統及方法使得數位服裝可與使用者之自然手部動作互動。
計算裝置可基於包括服裝之一或多個影像而產生服裝前衣片;為了產生服裝之該前衣片,計算裝置可存取包括服裝之前部的一或多個影像。計算裝置可產生識別一或多個經存取影像中之服裝之前部的前部分段遮罩。前部分段遮罩可為二維的。計算裝置可產生對應於所產生的前部分段遮罩之前衣片。前衣片可包括三維平面網格。計算裝置可產生服裝之背衣片。在特定具體實例中,背衣片可為前衣片的重複。在特定具體實例中,計算裝置可存取包括服裝之背部的一或多個第二影像以產生服裝之背衣片。計算裝置可產生識別一或多個第二影像中之服裝之背部的背部分段遮罩。計算裝置可產生對應於所產生的背部分段遮罩之背衣片。背衣片可包括三維平面網格。計算裝置可使前衣片與背衣片在三維空間中對準,使得前衣片處於三維身體之前部且背衣片處於三維身體後方;在特定具體實例中,三維身體可為人體的三維模板。在特定具體實例中,三維身體可基於穿著服裝之使用者的三維掃描或深度圖而產生。計算裝置可識別前衣片及背衣片之一或多對邊界區段。前衣片及背衣片之每一對邊界區段可附接在一起。為了識別前衣片及背衣片之一或多對邊界區段,計算裝置可繪製與前衣片及背衣片之邊界垂直相交的虛擬線。計算裝置可識別該些邊界的每一連續部分,其所對應的虛擬線不與三維身體相交。計算裝置可藉由使用物理模擬模型經由複數個迭代模擬,附接前衣片及背衣片之經識別一或多對邊界區段中之每一者,來產生數位服裝。在複數個迭代模擬中之每一迭代中,計算裝置可減小前衣片與背衣片之每一對邊界區段之間的距離。計算裝置可基於前衣片與背衣片之每一對邊界區段之間的距離及三維身體之形狀而使服裝變形。計算裝置可判定三維身體自第一姿勢移動至第二姿勢。計算裝置可根據三維身體之第二姿勢而使數位服裝變形。
所產生的數位服裝可用於虛擬試穿,其中使用者可將數位服裝覆蓋至表示使用者之化身。計算裝置可使用即時手部追蹤技術來偵測使用者對一件數位服裝的動作。使用者之動作可包括觸摸、捏、抓握或任何適合的使用者動作。計算裝置可藉由將與偵測相關聯之資訊提供至物理模擬模型來使數位服裝變形,以滿足由使用者之動作引起的額外約束。在特定具體實例中,計算裝置可藉由觀測對應於化身之網格與對應於數位服裝之網格之間的碰撞來偵測使用者對該件數位服裝的動作。在特定具體實例中,為了偵測使用者對該件數位服裝的動作,計算裝置可偵測化身之手指與數位服裝之間的距離小於臨限值。計算裝置可在手指周圍產生三維體積力場。力場內之點處之力的量可取決於距手指的距離。力場內之數位服裝之任何部分可受該力影響。在特定具體實例中,為了偵測使用者對該件數位服裝的動作,計算裝置可使用深度感測技術產生使用者穿著之服裝的點雲。計算裝置可將點雲提供至使數位服裝與點雲保持一致之物理模擬模型。
本文中所揭露之具體實例僅為實例,且本發明之範圍不限於該些實例。特定具體實例可包含上文所揭露之具體實例的組件、元件、特徵、功能、操作或步驟中之全部、一些或無一者。根據本發明之具體實例尤其在針對一種方法、儲存媒體、系統及電腦程式產品之所附申請專利範圍中揭示,其中在一個請求項類別中提及之任何特徵(例如方法)同樣可在另一請求項類別(例如系統)中主張。出於僅形式原因而選擇所附申請專利範圍中之依賴性或反向參考。然而,同樣可主張由對任何前述請求項之反向故意參考(特定言之在多個依賴性方面)產生的任何主題,以使得請求項及其特徵之任何組合被揭露且可無關於在所附申請專利範圍中選擇的依賴性而主張。可主張的主題不僅包括如所附申請專利範圍中闡述的特徵之組合而且包含請求項中特徵之任何其他組合,其中請求項中所提及之每一特徵可與任何其他特徵或請求項中之其他特徵之組合組合。此外,本文中描述或描繪之具體實例及特徵中之任一者可在獨立技術方案中及/或在與本文中描述或描繪之任何具體實例或特徵或與所附申請專利範圍之特徵中之任一者的任何組合中主張。
1示出用於產生數位服裝之實例架構。計算裝置101可存取服裝之一或多個影像110。計算裝置101可處理一或多個經存取影像110以產生三維數位服裝120。計算裝置101可利用產生數位服裝120之物理模擬模型105。儘管本揭露描述一種用於基於服裝之一或多個影像而產生三維數位服裝的特定架構,但本揭露涵蓋用於基於服裝之一或多個影像而產生三維數位服裝的任何適合的架構。
在特定具體實例中,計算裝置101可基於包括服裝之一或多個影像110而產生服裝的前衣片。為了產生服裝之前衣片,計算裝置101可存取包括服裝之前部的一或多個影像110。計算裝置101可產生前部分段遮罩,其識別一或多個經存取影像中之服裝之前部。前部分段遮罩可為二維的。計算裝置101可產生對應於所產生的前部分段遮罩之前衣片。前衣片可包括三維平面網格。 2示出用於基於一或多個影像而產生數位服裝之實例處理。作為實例而非作為限制,在圖2中示出,計算裝置101可存取服裝之一或多個影像110。計算裝置101可產生識別一或多個RGB影像110中之服裝之前部的前部分段遮罩203。隨後,計算裝置101可產生對應於前部分段遮罩203之服裝的前衣片205。前衣片205可包括三維平面網格。儘管本揭露描述以特定方式基於一或多個影像而產生服裝之前衣片,但本揭露涵蓋以任何適合的方式基於一或多個影像而產生服裝之前衣片。
在特定具體實例中,計算裝置101可產生服裝之背衣片。在特定具體實例中,背衣片可為前衣片的重複。在特定具體實例中,計算裝置101可存取包括服裝之背部的一或多個第二影像以產生服裝之背衣片。計算裝置101可產生背部分段遮罩,其識別一或多個第二影像中之服裝之背部。計算裝置101可產生對應於所產生的背部分段遮罩之背衣片。背衣片可包括三維平面網格。作為實例而非作為限制,在圖2中示出,一或多個影像110可僅包括服裝之前部。在此類情況下,計算裝置101可藉由重複前衣片205來產生背衣片207。作為另一實例而非作為限制,計算裝置101可存取包括服裝之背部的一或多個第二影像。計算裝置101可產生識別一或多個第二影像中之服裝之背部的背部分段遮罩。計算裝置101可產生對應於背部分段遮罩之背衣片207。儘管本揭露描述以特定方式產生服裝之背衣片,但本揭露涵蓋以任何適合的方式產生服裝之背衣片。
在特定具體實例中,計算裝置101可使前衣片205及背衣片207在三維空間中對準,使得前衣片處於三維身體209之前部,且背衣片207處於三維身體209後方。在特定具體實例中,三維身體209可為人體之三維模板。在特定具體實例中,一或多個影像110可包括穿著服裝之使用者。隨後,三維身體209可基於穿著服裝之使用者的三維掃描或深度圖而產生。儘管本發明描述以特定方式使前衣片及背衣片在三維空間中對準,但本揭露涵蓋以任何適合的方式使前衣片及背衣片在三維空間中對準。
在特定實施例中,計算裝置101可識別前衣片205及背衣片207之一或多對邊界區段。為了識別前衣片及背衣片之一或多對邊界區段,計算裝置101可繪製與前衣片205及背衣片207之邊界垂直相交的虛擬線。計算裝置101可識別該些邊界的每一連續部分,其所對應的虛擬線不與三維身體209相交。 3示出識別前衣片及背衣片之一或多對邊界區段之實例情境。作為實例而非作為限制,在圖3中示出,計算裝置101可繪製與前衣片205及背衣片207之邊界垂直相交的虛擬線301。若虛擬線301對應於並不與三維身體209相交的部分,則計算裝置101可將邊界之連續部分判定為邊界區段310。邊界區段310在圖3中用實心橢圓形描繪。若大於對應於與三維身體209相交之部分的虛擬線301之預定百分比,則計算裝置101可將邊界之連續部分判定為非邊界區段320。那些區段320可包括臂袖套、頸或服裝之底部,其在圖3中用虛線橢圓形描繪。儘管本揭露描述以特定方式識別前衣片及背衣片之一或多對邊界區段,但本揭露涵蓋以任何適合的方式識別前衣片及背衣片的一或多對邊界區段。
在特定實施例中,計算裝置101可藉由使用物理模擬模型105經由複數個迭代模擬,附接前衣片205及背衣片207之經識別一或多對邊界區段310中之每一者,來產生數位服裝120。在複數個迭代模擬中之每一迭代中,計算裝置101可減小前衣片205與背衣片207之每一對邊界區段310之間的距離。計算裝置101可基於前衣片與背衣片之每一對邊界區段310之間的距離及三維身體209之形狀而使服裝變形。 4A示出用於產生數位服裝之複數個模擬迭代當中的實例中間迭代。作為實例而非作為限制,在圖4A中示出,在每一迭代處計算裝置101減小前衣片205與背衣片207之每一對邊界區段310之間的距離。計算裝置101亦使用物理模擬模型105基於邊界區段310與三維身體209之形狀之間的距離,而使服裝之前衣片205及背衣片207變形。 4B示出用於產生數位服裝之複數個模擬迭代之最終迭代的實例結果。作為實例而非作為限制,在圖4B中示出,每一對邊界區段310已附接在一起。服裝已經變形以適合三維身體209。所產生的數位服裝120可由三維網格表示。在特定具體實例中,所產生的數位服裝120可由三維點雲表示。儘管本揭露描述以特定方式使用物理模擬模型經由複數個迭代模擬產生數位服裝,但本揭露涵蓋以任何適合的方式使用物理模擬模型經由複數個迭代模擬產生數位服裝。
在特定具體實例中,計算裝置101可判定三維身體209自第一姿勢移動至第二姿勢。計算裝置101可根據三維身體209之第二姿勢而使數位服裝120變形。儘管本揭露描述以特定方式基於三維身體之偵測到的姿勢改變而使數位服裝變形,但本揭露涵蓋以任何適合的方式基於三維身體之偵測到的姿勢改變而使數位服裝變形。
在特定具體實例中,所產生的數位服裝120可用於諸如虛擬試穿之應用程式,其中使用者可將數位服裝120覆蓋至表示使用者之化身。計算裝置101可使用即時手部追蹤技術來偵測使用者對一件數位服裝120的動作。使用者之動作可包括觸摸、捏、抓握或任何適合的使用者動作。計算裝置101可藉由將與偵測相關聯之資訊提供至物理模擬模型來使數位服裝120變形,以滿足由使用者之動作引起的額外約束。 5示出實例虛擬試穿系統。作為實例而非作為限制,在圖5中示出,表示使用者之化身501穿著數位服裝503。化身501可具有使用者選擇之身體性質。追蹤系統507可使用一或多個攝影機、一或多個深度感測器或用於追蹤系統之任何適合的組件追蹤使用者505之移動,特定言之使用者505之手的移動。化身501模仿使用者505之由追蹤系統507偵測到的動作。計算裝置101可使用物理模擬模型來使數位服裝503變形,以滿足由化身之移動引起的額外約束。儘管本揭露描述一種特定應用程式,其中使數位服裝變形以滿足由使用者之動作引起的約束,但本揭露涵蓋任何適合的應用程式,其中使數位服裝變形以滿足由使用者之動作引起的約束。
在特定具體實例中,計算裝置101可藉由觀測對應於化身501之網格與對應於數位服裝503之網格之間的碰撞,來偵測使用者對該件數位服裝的動作。計算裝置101可將與觀測到之碰撞相關聯之資訊提供至物理模擬模型以因此使數位服裝503變形。儘管本揭露描述以特定方式藉由觀測對應於化身之網格與對應於數位服裝之網格之間的碰撞偵測使用者對該件數位服裝的動作,但本揭露涵蓋以任何適合的方式藉由觀測對應於化身之網格與對應於數位服裝之網格之間的碰撞偵測使用者對該件數位服裝的動作。
在特定具體實例中,為了偵測使用者對該件數位服裝503的動作,計算裝置101可偵測化身501之手指與數位服裝503之間的距離小於臨限值。計算裝置101可在手指周圍產生三維體積力場。力場內之點處之力的量可取決於距手指的距離。力場內之數位服裝503之任何部分可受該力影響。 6示出基於手指周圍之三維體積力場之數位服裝的實例變形。作為實例而非作為限制,在圖6中示出,數位服裝503覆蓋於表示使用者505之化身501上。化身501模仿使用者505之由追蹤系統507追蹤之移動。計算裝置101可偵測化身501之指形件與數位服裝503之間的距離在臨限值內。計算裝置101可在指形件周圍產生三維力場,其中力之方向可基於指形件關於數位服裝503的位置而判定。計算裝置101可將與所產生的三維力場相關聯的資訊提供至物理模擬模型,使得物理模擬模型可基於所產生的三維力場而使數位服裝503變形。儘管本揭露描述以特定方式基於手指周圍所產生的三維力場而使數位服裝變形,但本揭露涵蓋以任何適合的方式基於手指周圍所產生的三維力場而使數位服裝變形。
在特定具體實例中,為了偵測使用者對該件數位服裝503的動作,計算裝置101可使用深度感測技術產生使用者505穿著之服裝的點雲。計算裝置101可將點雲提供至使數位服裝503與點雲保持一致之物理模擬模型。 7示出基於使用者穿著之服裝之點雲之數位服裝的實例變形。作為實例而非作為限制,在圖7中示出,計算裝置101可基於由追蹤系統507獲取之與服裝703相關聯的深度資料,而產生使用者505穿著之服裝703的點雲。在特定具體實例中,深度資料可基於複數個攝影機而獲取。在特定具體實例中,深度資料可使用一或多個深度感測器來獲取。計算裝置101可將服裝703之點雲提供至物理模擬模型,使得物理模擬模型可使覆蓋於表示使用者505之化身601上的數位服裝503變形。物理模擬模型可以一種方法使數位服裝503變形,使得數位服裝503之點雲與服裝703的點雲一致。儘管本揭露描述以特定方式基於使用者穿著之服裝之點雲而使數位服裝變形,但本揭露涵蓋以任何適合的方式基於使用者穿著之服裝之點雲而使數位服裝變形。
8示出用於基於包括服裝之一或多個影像而產生數位服裝的實例方法800。方法可在步驟810處開始,其中計算裝置101可基於包括服裝之一或多個影像而產生服裝的前衣片。在步驟820處,計算裝置101可產生服裝之背衣片。在步驟830處,計算裝置101可使前衣片與背衣片在三維空間中對準,使得前衣片處於三維身體之前部且背衣片處於三維身體後方。在步驟840處,計算裝置101可識別前衣片及背衣片之一或多對邊界區段。前衣片及背衣片之每一對邊界區段可附接在一起。在步驟850處,計算裝置101可藉由使用物理模擬模型經由複數個迭代模擬,附接前衣片及背衣片之經識別一或多對邊界區段中之每一者,來產生數位服裝。在適當的情況下,特定具體實例可重複圖8之一或多個方法步驟。儘管本發明將圖8之特定方法步驟描述及示出為按特定次序發生,但本揭露涵蓋圖8之任何適合的方法步驟按任何適合的次序發生。此外,儘管本揭露描述且示出用於基於包括服裝之一或多個影像而產生數位服裝的實例方法包含圖8之特定方法步驟,但本揭露涵蓋用於基於包括服裝之一或多個影像而產生數位服裝之任何適合的方法包含任何適合的步驟,在適當的情況下,該些步驟可包含圖8之方法的步驟中之所有、一些或無一者。此外,儘管本揭露描述及示出實施圖8之特定方法步驟的特定組件、裝置或系統,但本揭露涵蓋實施圖8之任何適合的方法步驟之任何適合的組件、裝置或系統之任何適合的組合。 系統及方法
9示出實例電腦系統900。在特定具體實例中,一或多個電腦系統900執行本文所描述或示出之一或多個方法之一或多個步驟。在特定具體實例中,一或多個電腦系統900提供本文中描述或示出之功能。在特定具體實例中,在一或多個電腦系統900上運行之軟體執行本文中描述或示出的一或多種方法之一或多個步驟或提供本文中描述或示出的功能。特定具體實例包含一或多個電腦系統900之一或多個部分。在本文中,在適當的情況下,對電腦系統之參考可涵蓋計算裝置,且反之亦然。此外,在適當的情況下,對電腦系統之參考可涵蓋一或多個電腦系統。
本發明涵蓋任何適合數目個電腦系統900。本揭露涵蓋採取任何適合的實體形式之電腦系統900。作為實例而非限制,電腦系統900可為嵌入式電腦系統、系統單晶片(system-on-chip;SOC)、單板電腦系統(single-board computer system;SBC)(諸如模組電腦(computer-on-module;COM)或模組系統(system-on-module;SOM))、桌上型電腦系統、膝上型電腦或筆記本電腦系統、互動式公共資訊查詢站、大型電腦、電腦系統之網格、行動電話、個人數位助理(personal digital assistant;PDA)、伺服器、平板電腦系統,或以上各者中之兩者或更多者之組合。在適當的情況下,電腦系統900可包含一或多個電腦系統900;為單式或分佈式;橫跨多個位置;橫跨多個機器;橫跨多個資料中心;或駐留於雲中,該雲可包含一或多個網路中之一或多個雲組件。在適當的情況下,一或多個電腦系統900可在無實質空間或時間限制情況下,執行本文中描述或示出的一或多個方法之一或多個步驟。作為實例而非限制,一或多個電腦系統900可即時或以批量模式,執行本文中描述或示出之一或多個方法之一或多個步驟。在適當的情況下,一或多個電腦系統900可在不同時間或在不同位置,執行本文中描述或示出的一或多個方法之一或多個步驟。
在特定具體實例中,電腦系統900包含處理器902、記憶體904、儲存裝置906、輸入/輸出(input/output;I/O)介面908、通信介面910及匯流排912。儘管本發明描述及示出具有在特定配置中之特定數目個特定組件的特定電腦系統,但本揭露涵蓋在任何適合配置中之任何適合數目個任何適合的組件之任何適合的電腦系統。
在特定具體實例中,處理器902包含用於執行指令(諸如組成電腦程式之指令)之硬體。作為實例而非作為限制,為執行指令,處理器902可自內部暫存器、內部快取、記憶體904或儲存裝置906取回(或提取)指令;解碼及執行指令;以及接著將一或多個結果寫入至內部暫存器、內部快取、記憶體904或儲存裝置906。在特定具體實例中,處理器902可包含用於資料、指令或位址之一或多個內部快取。在適當的情況下,本發明涵蓋包含任何適合數目個任何適合的內部快取之處理器902。作為實例而非限制,處理器902可包含一或多個指令快取、一或多個資料快取及一或多個轉譯後備緩衝器(translation lookaside buffer;TLB)。指令快取中之指令可為記憶體904或儲存裝置906中之指令的複本,且指令快取可加速藉由處理器902進行的對於那些指令的取回。資料快取中之資料,可為記憶體904或儲存裝置906中供在處理器902處執行的指令之資料的複本;供在處理器902處執行之後續指令存取或供寫入至記憶體904或儲存裝置906的在處理器902處執行的先前指令之結果;或其他適合的資料。資料快取可加速藉由處理器902進行的讀取或寫入操作。TLB可加速用於處理器902之虛擬位址轉譯。在特定具體實例中,處理器902可包含用於資料、指令或位址之一或多個內部暫存器。在適當的情況下,本揭露涵蓋包含任何適合數目個任何適合的內部暫存器之處理器902。在適當的情況下,處理器902可包含一或多個算術邏輯單元(arithmetic logic unit;ALU);為多核處理器;或包含一或多個處理器902。儘管本揭露描述且示出特定處理器,但本揭露涵蓋任何適合的處理器。
在特定具體實例中,記憶體904包含用於儲存供處理器902執行之指令或供處理器902操作所針對之資料的主記憶體。作為實例而非作為限制,電腦系統900可自儲存裝置906或另一來源(諸如另一電腦系統900)將指令載入至記憶體904。處理器902接著可自記憶體904將指令載入至內部暫存器或內部快取。為執行指令,處理器902可自內部暫存器或內部快取取回指令並對其進行解碼。在指令執行期間或之後,處理器902可將一或多個結果(其可為中間或最終結果)寫入至內部暫存器或內部快取。處理器902接著可將那些結果中之一或多者寫入至記憶體904。在特定具體實例中,處理器902僅執行一或多個內部暫存器或內部快取中或記憶體904(與儲存裝置906相對或在別處)中的指令,且僅對一或多個內部暫存器或內部快取中或記憶體904(與儲存裝置906相對或在別處)中之資料進行操作。一或多個記憶體匯流排(其可各自包含位址匯流排及資料匯流排)可將處理器902耦接至記憶體904。如下文所描述,匯流排912可包含一或多個記憶體匯流排。在特定具體實例中,一或多個記憶體管理單元(memory management unit;MMU)駐存在處理器902與記憶體904之間,且促進對由處理器902請求之記憶體904的存取。在特定具體實例中,記憶體904包含隨機存取記憶體(random access memory;RAM)。在適當的情況下,此RAM可為揮發性記憶體。在適當的情況下時,此RAM可為動態RAM(dynamic RAM;DRAM)或靜態RAM(static RAM;SRAM)。此外,在適當的情況下,此RAM可為單埠或多埠RAM。本揭示涵蓋任何適合的RAM。在適當的情況下,記憶體904可包含一或多個記憶體904。儘管本揭露描述且示出特定記憶體,但本揭露涵蓋任何適合的記憶體。
在特定具體實例中,儲存裝置906包含用於資料或指令之大容量儲存裝置。作為實例而非限制,儲存裝置906可包含硬碟機(hard disk drive;HDD)、軟碟機、快閃記憶體、光學光碟、磁性光學光碟、磁帶或通用串列匯流排(Universal Serial Bus;USB)驅動機或以上各者中之兩者或更多者的組合。在適當的情況下,儲存裝置906可包含可移除或不可移除(或固定)媒體。在適當的情況下,儲存裝置906可在電腦系統900內部或外部。在特定具體實例中,儲存裝置906為非揮發性固態記憶體。在特定具體實例中,儲存裝置906包含唯讀記憶體(read-only memory;ROM)。在適當的情況時,此ROM可為遮罩經程式化ROM、可程式化ROM(programmable ROM;PROM)、可抹除PROM(erasable PROM;EPROM)、電可抹除PROM(electrically erasable PROM;EEPROM)、電可改ROM(electrically alterable ROM;EAROM),或快閃記憶體或此等中之兩者或更多者的組合。本揭露涵蓋採取任何適合的實體形式的大容量儲存裝置906。在適當的情況下,儲存裝置906可包含促進處理器902與儲存裝置906之間的通信之一或多個儲存裝置控制單元。在適當的情況下,儲存裝置906可包含一或多個儲存裝置906。儘管本揭露描述且示出特定儲存裝置,但本揭露涵蓋任何適合的儲存裝置。
在特定具體實例中,I/O介面908包含硬體、軟體或兩者,提供一或多個介面用於電腦系統900與一或多個I/O裝置之間的通信。在適當的情況下,電腦系統900可包含此等I/O裝置中之一或多者。此等I/O裝置中之一或多者可實現個人與電腦系統900之間的通信。作為實例而非作為限制,I/O裝置可包含鍵盤、小鍵盤、麥克風、監視器、滑鼠、印表機、掃描器、揚聲器、靜態攝影機、手寫筆、平板電腦、觸控螢幕、軌跡球、視訊攝影機,另一適合之I/O裝置或此等中之兩者或更多者的組合。I/O裝置可包含一或多個感測器。本揭露涵蓋任何適合的I/O裝置及用於其之任何適合的I/O介面908。在適當的情況下,I/O介面908可包含一或多個裝置或軟體驅動器,使得處理器902能夠驅動此等I/O裝置中之一或多者。在適當的情況下,I/O介面908可包含一或多個I/O介面908。儘管本揭露描述且示出特定I/O介面,但本揭露涵蓋任何適合的I/O介面。
在特定具體實例中,通信介面910包含硬體、軟體或兩者,提供一或多個介面用於電腦系統900與一或多個其他電腦系統900或一或多個網路之間的通信(諸如基於封包之通信)。作為實例而非限制,通信介面910可包含用於與乙太網路或其他基於有線之網路通信的網路介面控制器(network interface controller;NIC)或網路配接器,或用於與無線網路(諸如WI-FI網路)通信的無線NIC(wireless NIC;WNIC)或無線配接器。本揭露涵蓋任何適合的網路及用於其之任何適合的通信介面910。作為實例而非限制,電腦系統900可與特用網路、個人區域網路(personal area network ;PAN)、區域網路(local area network;LAN)、廣域網路(wide area network;WAN)、都會區域網路(metropolitan area network;MAN)或網際網路之一或多個部分或以上各者中之兩者或更多者的組合通信。此等網路中之一或多者的一或多個部分可為有線或無線。作為實例,電腦系統900可與無線PAN(wireless PAN;WPAN)(諸如藍芽WPAN)、WI-FI網路、WI-MAX網路、蜂巢式電話網路(諸如全球行動通信系統(Global System for Mobile Communication;GSM)網路),或其他適合的無線網路或以上各者中之兩者或更多者的組合通信。在適當的情況下,電腦系統900可包含用於此等網路中之任一者的任何適合的通信介面910。在適當的情況下,通信介面910可包含一或多個通信介面910。儘管本揭露描述且示出特定通信介面,但本揭露涵蓋任何適合的通信介面。
在特定具體實例中,匯流排912包含將電腦系統900之組件彼此耦接的硬體、軟體,或兩者。作為實例而非限制,匯流排912可包含加速圖形埠(Accelerated Graphics Port;AGP)或其他圖形匯流排、增強工業標準架構(Enhanced Industry Standard Architecture;EISA)匯流排、前側匯流排(front-side bus;FSB)、超傳輸(HYPERTRANSPORT;HT)互連、工業標準架構(Industry Standard Architecture;ISA)匯流排、INFINIBAND互連、低針腳數(low-pin-count;LPC)匯流排、記憶體匯流排、微型頻道架構(Micro Channel Architecture;MCA)匯流排、周邊組件互連(Peripheral Component Interconnect;PCI)匯流排、PCI高速(PCI-Express;PCIe)匯流排、串列進階附接技術(serial advanced technology attachment;SATA)匯流排、視訊電子標準協會局部(Video Electronics Standards Association local;VLB)匯流排,或另一適合的匯流排或此等匯流排中之兩者或更多者的組合。在適當的情況下,匯流排912可包含一或多個匯流排912。儘管本揭露描述且示出特定匯流排,但本揭露涵蓋任何適合的匯流排或互連件。
本文中,電腦可讀取非暫時性儲存媒體或媒體可包含一或多個基於半導體或其他積體電路(integrated circuit;IC)(諸如場可程式化極陣列(field-programmable gate array;FPGA)或特殊應用IC(application-specific IC;ASIC))、硬碟機(HDD)、混合式硬碟機(hybrid hard drive;HHD)、光學光碟、光學光碟機(optical disc drives;ODD)、磁性光學光碟、磁性光學驅動機、軟碟、軟碟機(floppy disk drive;FDD)、磁帶、固態磁碟機(solid-state drive;SSD)RAM驅動機、安全數位卡或驅動機、任何其他適合之電腦可讀取非暫時性儲存媒體,或此等中之兩者或更多者的任何適合組合。在適當的情況下,電腦可讀取非暫時性儲存媒體可為揮發性、非揮發性或揮發性與非揮發性之組合。 雜項
在本文中,除非另外明確指示或上下文另外指示,否則「或」為包含性且並非排他性的。因此,除非另外明確指示或上下文另外指示,否則本文中「A或B」意謂「A、B或兩者」。此外,除非另外明確指示或上下文另外指示,否則「及」為聯合及各自兩者。因此,除非另外明確指示或上下文另外指示,否則本文中「A及B」意謂「A及B,聯合地或各自地」。
本揭露之範圍涵蓋所屬技術領域中具有通常知識者將瞭解的本文中描述或示出之實例具體實例的全部改變、取代、變化、更改及修改。本揭示之範疇不限於本文中所描述或示出的實例具體實例。此外,儘管本揭露將本文各別具體實例描述及示出為包含特定組件、元件、特徵、功能、操作或步驟,但此等具體實例中之任一者可包含所屬技術領域中具有通常知識者將瞭解的本文中任何位置描述或示出的組件、元件、特徵、功能、操作或步驟中之任一者的任何組合或排列。此外,所附申請專利範圍中對經調適以、經配置以、能夠、經組態以、經啟用以、經操作以或可操作以執行特定功能的設備或系統或設備或系統之組件的參考涵蓋只要彼設備、系統或組件因此經調適、經配置、能夠、經組態、經啟用、經操作或可操作,彼設備、系統、組件(不管其或彼特定功能)便經激活、接通或解鎖。另外,儘管本揭露將特定具體實例描述或示出為提供特定優點,但特定具體實例可提供此等優點中之無一者、一些或全部。
101:計算裝置 105:模擬模型 110:影像 120:三維數位服裝 203:前部分段遮罩 205:前衣片 207:背衣片 209:三維身體 301:虛擬線 310:邊界區段 320:非邊界區段 501:化身 503:數位服裝 505:使用者 507:追蹤系統 703:服裝 800:方法 810:步驟 820:步驟 830:步驟 840:步驟 850:步驟 900:電腦系統 902:處理器 904:記憶體 906:儲存裝置 908:輸入/輸出介面 910:通信介面 912:匯流排
[圖1]示出用於產生數位服裝之實例架構。
[圖2]示出用於基於一或多個影像而產生數位服裝之實例處理。
[圖3]示出識別前衣片及背衣片之一或多對邊界區段之實例情境。
[圖4A]示出用於產生數位服裝之複數個模擬迭代當中的實例中間迭代。
[圖4B]示出用於產生數位服裝之複數個模擬迭代之最終迭代的實例結果。
[圖5]示出實例虛擬試穿系統。
[圖6]示出基於手指周圍之三維體積力場之數位服裝的實例變形。
[圖7]示出基於使用者穿著之服裝之點雲之數位服裝的實例變形。
[圖8]示出用於基於包括服裝之一或多個影像而產生數位服裝的實例方法。
[圖9]示出實例電腦系統。
800:方法
810:步驟
820:步驟
830:步驟
840:步驟
850:步驟

Claims (20)

  1. 一種方法,其包括藉由一計算裝置進行以下操作: 基於包括一服裝之一或多個影像而產生該服裝的一前衣片; 產生該服裝之一背衣片; 使該前衣片與該背衣片在一三維空間中對準,使得該前衣片處於一三維身體之前部且該背衣片處於該三維身體後方; 識別該前衣片及該背衣片之一或多對邊界區段,其中該前衣片及該背衣片之每一對邊界區段將附接在一起;及 藉由使用一物理模擬模型經由複數個迭代模擬,附接該前衣片及該背衣片之該經識別一或多對邊界區段中之每一者,來產生一數位服裝。
  2. 如請求項1之方法,其中產生該前衣片包括: 存取包括該服裝之一前部的該一或多個影像; 產生一前部分段遮罩,其識別該一或多個經存取影像中之該服裝之該前部;及 產生對應於該所產生的前部分段遮罩之該前衣片。
  3. 如請求項2之方法,其中該前部分段遮罩為二維的。
  4. 如請求項1之方法,其中該背衣片為該前衣片之一重複。
  5. 如請求項1之方法,其中該背衣片藉由以下操作產生: 存取包括該服裝之一背部的一或多個第二影像; 產生一背部分段遮罩,其識別該一或多個第二影像中之該服裝之該背部;及 產生對應於該所產生的背部分段遮罩之該背衣片。
  6. 如請求項1之方法,其中該前衣片及該背衣片包括三維平面網格。
  7. 如請求項1之方法,其中該三維身體為一人體之一三維模板。
  8. 如請求項1之方法,其中基於穿著該服裝之一使用者之一三維掃描或一深度圖而產生該三維身體。
  9. 如請求項1之方法,其中識別該前衣片及該背衣片之該一或多對邊界區段包括: 繪製與該前衣片及該背衣片的邊界垂直相交之虛擬線;及 識別該些邊界之每一連續部分,其對應虛擬線不與該三維身體相交。
  10. 如請求項1之方法,其中該複數個迭代模擬中之每一迭代包括: 減小該前衣片與該背衣片之每一對邊界區段之間的一距離;及 基於該前衣片與該背衣片之每一對邊界區段之間的該距離及該三維身體之一形狀而使該服裝變形。
  11. 如請求項1之方法,其進一步包括: 判定該三維身體自第一姿勢移動至一第二姿勢;及 根據該三維身體之該第二姿勢而使該數位服裝變形。
  12. 如請求項1之方法,其中該所產生的數位服裝用於虛擬試穿,其中一使用者將該數位服裝覆蓋至表示該使用者之一化身。
  13. 如請求項12之方法,其進一步包括: 使用即時手部追蹤技術偵測該使用者對一件數位服裝的動作;及 藉由將與該偵測相關聯之資訊提供至一物理模擬模型來使該數位服裝變形,以滿足由該使用者之動作引起的額外約束。
  14. 如請求項13之方法,其中偵測該使用者對該件數位服裝的動作包括觀測對應於該化身之網格與對應於該數位服裝之網格之間的碰撞。
  15. 如請求項13之方法,其中偵測該使用者對該件數位服裝的動作包括: 偵測該化身之手指與該數位服裝之間的一距離小於一臨限值;及 圍繞該些手指產生一三維體積力場,其中在該力場內之一點處之一力的一量取決於距該些手指之一距離,其中該力場內之該數位服裝之任何部分受該力影響。
  16. 如請求項13之方法,其中偵測該使用者對該件數位服裝的動作包括: 使用深度感測技術產生該使用者穿著之一服裝的一點雲;及 將該點雲提供至使該數位服裝與該點雲保持一致之一物理模擬模型。
  17. 如請求項13之方法,其中該使用者之動作包括觸摸、捏或抓握。
  18. 一或多種體現軟體之電腦可讀取非暫時性儲存媒體,該軟體在執行時可操作以進行以下操作: 基於包括一服裝之一或多個影像而產生該服裝的一前衣片; 產生該服裝之一背衣片; 使該前衣片與該背衣片在一三維空間中對準,使得該前衣片處於一三維身體之前部且該背衣片處於該三維身體後方; 識別該前衣片及該背衣片之一或多對邊界區段,其中該前衣片及該背衣片之每一對邊界區段將附接在一起;及 藉由使用一物理模擬模型經由複數個迭代模擬,附接該前衣片及該背衣片之該經識別一或多對邊界區段中之每一者,來產生一數位服裝。
  19. 如請求項18之媒體,其中產生該前衣片包括: 存取包括該服裝之一前部的該一或多個影像; 產生一前部分段遮罩,其識別該一或多個經存取影像中之該服裝之該前部;及 產生對應於該所產生的前部分段遮罩之該前衣片。
  20. 一種系統,其包括:一或多個處理器;及一非暫時性記憶體,其耦接至該些處理器,該非暫時性記憶體包括可由該些處理器執行之指令,該些處理器在執行該些指令時可操作以進行以下操作: 基於包括一服裝之一或多個影像而產生該服裝的一前衣片; 產生該服裝之一背衣片; 使該前衣片與該背衣片在一三維空間中對準,使得該前衣片處於一三維身體之前部且該背衣片處於該三維身體後方; 識別該前衣片及該背衣片之一或多對邊界區段,其中該前衣片及該背衣片之每一對邊界區段將附接在一起;及 藉由使用一物理模擬模型經由複數個迭代模擬,附接該前衣片及該背衣片之該經識別一或多對邊界區段中之每一者,來產生一數位服裝。
TW111120234A 2021-09-20 2022-05-31 數位服裝產生 TW202314646A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US17/479,399 2021-09-20
US17/479,399 US11640695B2 (en) 2021-09-20 2021-09-20 Digital garment generation

Publications (1)

Publication Number Publication Date
TW202314646A true TW202314646A (zh) 2023-04-01

Family

ID=83689892

Family Applications (1)

Application Number Title Priority Date Filing Date
TW111120234A TW202314646A (zh) 2021-09-20 2022-05-31 數位服裝產生

Country Status (4)

Country Link
US (2) US11640695B2 (zh)
CN (1) CN117999583A (zh)
TW (1) TW202314646A (zh)
WO (1) WO2023043959A1 (zh)

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8165711B2 (en) * 2010-01-05 2012-04-24 Microsoft Corporation Automated generation of garment construction specification
CN103473806B (zh) * 2013-09-23 2016-03-16 北京航空航天大学 一种基于单幅图像的服装三维模型构建方法
US9613424B2 (en) * 2013-09-23 2017-04-04 Beihang University Method of constructing 3D clothing model based on a single image
KR101778833B1 (ko) * 2014-04-03 2017-09-26 한국전자통신연구원 3d 의류 모델 복원 방법 및 장치
WO2018052367A1 (en) 2016-09-14 2018-03-22 Ayne Pte. Ltd. Garment digitization and try-on system and method
US10366470B2 (en) * 2017-12-11 2019-07-30 Youspace, Inc. Object separation for scanned assets
US11321769B2 (en) * 2018-11-14 2022-05-03 Beijing Jingdong Shangke Information Technology Co., Ltd. System and method for automatically generating three-dimensional virtual garment model using product description
EP3887593A4 (en) 2018-11-30 2022-10-05 Levi Strauss & Co. NEUTRAL THREE-DIMENSIONAL CLOTHING DARKENING RENDER
US11250639B2 (en) * 2018-12-19 2022-02-15 Seddi, Inc. Learning-based animation of clothing for virtual try-on

Also Published As

Publication number Publication date
CN117999583A (zh) 2024-05-07
US11640695B2 (en) 2023-05-02
WO2023043959A1 (en) 2023-03-23
US20230088866A1 (en) 2023-03-23
US20230290065A1 (en) 2023-09-14

Similar Documents

Publication Publication Date Title
US11719933B2 (en) Hand-locked rendering of virtual objects in artificial reality
US10489959B2 (en) Generating a layered animatable puppet using a content stream
US20210312685A1 (en) Method for synthesizing figure of virtual object, electronic device, and storage medium
US11954805B2 (en) Occlusion of virtual objects in augmented reality by physical objects
WO2016011654A1 (en) Avatar facial expression animations with head rotation
KR20210087075A (ko) 패스 스루 시각화
CN116261706A (zh) 用于使用融合数据进行对象跟踪的系统和方法
CN117529700A (zh) 使用自追踪控制器的人体姿势估计
US20220319041A1 (en) Egocentric pose estimation from human vision span
TW202314646A (zh) 數位服裝產生
CN110460833A (zh) 一种ar眼镜与智能手机互联方法及系统
US20220230397A1 (en) Systems and Methods for Reconstruction of Dense Depth Maps
GB2536060A (en) Virtual trying-on experience
TW202240538A (zh) 基於人類視覺跨度之自我中心姿勢估計
US20230245322A1 (en) Reconstructing A Three-Dimensional Scene
US11783533B2 (en) Frame extrapolation with application generated motion vector and depth
CN117121057A (zh) 基于人类视觉范围的以自我为中心的姿态估计
US20220122285A1 (en) Visual inertial odometry localization using sparse sensors
TW202316239A (zh) 具有應用程式產生的移動向量和深度之圖框外插
JP2024502273A (ja) 時間的中心窩レンダリング
WO2022115380A1 (en) Methods and apparatus to provide remote telepresence communication
KR20240006814A (ko) 신분증 인식 딥러닝을 위한 트레이닝 데이터 생성 방법 및 시스템