TWI554951B - 實現虛擬試戴的方法和裝置 - Google Patents

實現虛擬試戴的方法和裝置 Download PDF

Info

Publication number
TWI554951B
TWI554951B TW104118242A TW104118242A TWI554951B TW I554951 B TWI554951 B TW I554951B TW 104118242 A TW104118242 A TW 104118242A TW 104118242 A TW104118242 A TW 104118242A TW I554951 B TWI554951 B TW I554951B
Authority
TW
Taiwan
Prior art keywords
face
current frame
feature points
frame
initial
Prior art date
Application number
TW104118242A
Other languages
English (en)
Other versions
TW201601066A (zh
Inventor
張斯聰
Original Assignee
北京京東尚科信息技術有限公司
北京京東世紀貿易有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 北京京東尚科信息技術有限公司, 北京京東世紀貿易有限公司 filed Critical 北京京東尚科信息技術有限公司
Publication of TW201601066A publication Critical patent/TW201601066A/zh
Application granted granted Critical
Publication of TWI554951B publication Critical patent/TWI554951B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Image Analysis (AREA)

Description

實現虛擬試戴的方法和裝置
本發明係有關一種電腦技術領域，特別是指一種實現虛擬試戴的方法和裝置。
隨著電子商務的發展，網上購物成為越來越多的用戶的選擇。服飾作為主要的消費品之一，也成為很多使用者網購的目標。購買服飾時通常需要試穿試戴，於是虛擬試衣以及虛擬試戴技術應運而生。
目前的虛擬試戴技術主要有兩類實現途徑：
1、人工合成模型試戴
這種方法採用將虛擬商品佩戴在預先生成的人體或人體局部的模型上，給使用者虛擬試戴的效果。這種方式沒有使用者的實際身體資訊，試戴效果不佳。
2、特殊裝置採集真實人體資訊試戴
該方法利用特殊裝置例如景深感測器採集使用者實際身體資訊，形成人體或人體局部的模型，供使用者試戴。這種方式雖然獲得了使用者實際的身體資訊，但是需要特殊裝置，目前通常在商家提供的專門場所才具備。一般使用者僅具有普通的圖像採集裝置例如設置在手機上的或電腦上的攝像頭。
有鑑於此，本發明提供一種實現虛擬試戴的方法和裝置，能夠使使用者利用普通的圖像採集裝置例如手機上的或者電腦上的攝像頭即可實現虛擬試戴。
為實現上述目的，就其中一觀點言，本發明提供了一種實現虛擬試戴的方法，包括：對採集的一初始幀進行人臉檢測，在檢測到人臉的情況下，在一初始位置生成物品圖像然後與所述初始幀疊加後輸出，該初始位置與所述初始幀中的人臉的指定位置重疊；對一當前幀中的人臉進行人臉姿勢檢測得到當前幀的人臉姿勢；以及根據所述物品圖像的當前位置和所述人臉姿勢再次生成物品圖像，並使該物品圖像中的物品姿勢與所述人臉姿勢一致，然後將該物品圖像與所述當前幀疊加後輸出。
在一種較佳的實施型態中，所述對當前幀中的人臉進行人臉姿勢檢測得到當前幀的人臉姿勢的步驟包括：在所述初始幀中確定人臉圖像上的多個特徵點；針對每個特徵點進行如下處理：對特徵點進行追蹤以確定該特徵點在當前幀的位置，根據前一幀的人臉姿勢，將所述初始幀中的該特徵點的鄰域進行仿射變換以得到該鄰域在當前幀中的投影區域，計算所述初始幀中的所述鄰域與當前幀中的所述投影區域之間的顏色偏移量並作為該特徵點的追蹤偏差，以及對於確定的所述多個特徵點，選擇追蹤偏差較小的多個特徵點；以及 根據所述追蹤偏差較小的多個特徵點在所述初始幀的位置以及在當前幀的位置確定當前幀的人臉姿勢。
在一種較佳的實施型態中，所述對於所述多個特徵點，選擇追蹤偏差較小的多個特徵點的步驟包括：對於確定的所述多個特徵點的追蹤偏差，以其中的最大值和最小值作為初始中心，按追蹤偏差的大小進行聚類得到兩類；以及選擇所述兩類中追蹤偏差較小的一類所對應的特徵點。
在一種較佳的實施型態中，所述確定當前幀的人臉姿勢的步驟之後，尚包括：將所述兩類中追蹤偏差較大的一類所對應的特徵點按照所述當前幀的人臉姿勢投影到當前幀圖像平面，以投影位置代替這些特徵點在當前幀的位置。
在一種較佳的實施型態中，所述對採集的初始幀進行人臉檢測的步驟之前，尚包括：在接收到重設指令的情況下，將採集的當前幀作為所述初始幀；以及所述按追蹤偏差的大小進行聚類得到兩類的步驟之後，尚包括：在所述追蹤偏差較小的一類特徵點的數目占特徵點總數目的比例小於第一預設值的情況下，或者，在當前幀中採集到的特徵點的數目占在前一幀採集到的特徵點總數目的比例小於第二預設值的情況下，輸出提示資訊，然後接收一重設指令。
在一種較佳的實施型態中，所述物品圖像為眼鏡圖像、頭部飾品圖像、或者頸部飾品圖像。
就另一觀點言，本發明提供了一種實現虛擬試戴的裝置，包括：一人臉檢測模組，用於對採集的一初始幀進行人臉檢測；一第一輸出模組，用於在所述人臉檢測模組採集到人臉的情況下，在一初始位置生成物品圖像然後與所述初始幀疊加後輸出，該初始位置與所述初始幀中的人臉的指定位置重疊；一人臉姿勢檢測模組，用於對一當前幀中的人臉進行人臉姿勢檢測得到當前幀的人臉姿勢；以及一第二輸出模組，用於根據所述物品圖像的當前位置和所述人臉姿勢再次生成物品圖像，並使該物品圖像中的物品姿勢與所述人臉姿勢一致，然後將該物品圖像與所述當前幀疊加後輸出。
在一種較佳的實施型態中，所述人臉姿勢檢測模組還用於：在所述初始幀中確定人臉圖像上的多個特徵點；針對每個特徵點進行如下處理：對特徵點進行追蹤以確定該特徵點在當前幀的位置，根據前一幀的人臉姿勢，將所述初始幀中的該特徵點的鄰域進行仿射變換以得到該鄰域在當前幀中的投影區域，計算所述初始幀中的所述鄰域與當前幀中的所述投影區域之間的顏色偏移量並作為該特徵點的追蹤偏差，以及對於確定的所述多個特徵點，選擇追蹤偏差較小的多個特徵點；以及根據所述追蹤偏差較小的多個特徵點在所述初始幀的位置以及在當前幀的位置確定當前幀的人臉姿勢。
在一種較佳的實施型態中，所述人臉姿勢檢測模組還用於：對於確定的所述多個特徵點的追蹤偏差，以其中的最大值和最小值作為初始中心，按追蹤偏差的大小進行聚類得到兩類；以及選擇所述兩類中追蹤偏差較小的一類所對應的特徵點。
在一種較佳的實施型態中，所述之實現虛擬試戴的裝置尚包括: 一修改模組，用於在所述人臉姿勢檢測模組確定當前幀的人臉姿勢之後，將所述兩類中追蹤偏差較大的一類所對應的特徵點按照所述當前幀的人臉姿勢投影到當前幀圖像平面，以投影位置代替這些特徵點在當前幀的位置。
在一種較佳的實施型態中，所述之實現虛擬試戴的裝置，尚包括: 一重設模組和一提示模組，其中：所述重設模組用於接收一重設指令，以及在接收到該重設指令的情況下，將採集的當前幀作為所述初始幀；所述提示模組用於在所述人臉姿勢檢測模組按追蹤偏差的大小進行聚類得到兩類之後，在所述追蹤偏差較小的一類特徵點的數目占特徵點總數目的比例小於第一預設值的情況下，或者，在當前幀中採集到的特徵點的數目占在前一幀採集到的特徵點總數目的比例小於第二預設值的情況下，輸出提示資訊。
在一種較佳的實施型態中，所述物品圖像為眼鏡圖像、頭部飾品圖像、或者頸部飾品圖像。
有關本發明之前述及其他技術內容、特點與功效，在以下配合參考圖式之一較佳實施例的詳細說明中，將可清楚的呈現。本發明中的圖式均屬示意，主要意在表示各裝置以及各元件之間之功能作用關係，至於形狀、厚度與寬度則並未依照比例繪製。
以下結合圖式對本發明的示範性實施例做出說明，其中包括本發明實施例的各種細節以助於理解，應當將它們認為僅僅是示範性的。因此，熟悉本技術者應當認識到，可以對這裡描述的實施例做出各種改變和修改，而不會背離本發明的範圍和精神。同樣，為了清楚和簡明，以下的描述中省略了對習知功能和結構的描述。
本發明實施例的虛擬試戴技術可應用於具有攝像頭的手機，或者應用於連接或內置攝像頭的電腦，包括平板電腦。可實現眼鏡、飾品等物品的試戴。本實施例中，以試戴眼鏡為例加以說明。使用時，用戶選擇試戴的眼鏡，並將攝像頭對準自己的面部，按一下螢幕或指定的鍵，此時攝像頭採集用戶頭像並將眼鏡呈現在用戶頭像的眼睛處。使用者可以點擊螢幕中的眼鏡並將其平移以進一步調整其與眼睛的位置關係。用戶可以上下或左右轉動頸部以觀看各個角度的眼鏡佩戴效果。在該過程中，應用本實施例的技術，使螢幕上的眼鏡圖像中的眼鏡的姿勢與人臉的姿勢保持一致，從而使眼鏡能夠追蹤人臉移動，以實現眼鏡固定地佩戴在臉部。以下對本發明實施例的技術內容做出說明。
第1圖是根據本發明一實施例的實現虛擬試戴的方法的基本步驟的示意圖。如第1圖所示，該方法主要包括如下的步驟S11至步驟S17。
步驟S11：採集初始幀。可以是在攝像頭啟動的情況下自動開始採集或者根據使用者的操作指令開始採集。例如使用者點擊觸控式螢幕，或者按下鍵盤上的任意或指定按鈕。
步驟S12：對初始幀進行人臉檢測。可採用現有的各種人臉檢測方式，確認初始幀中包含人臉並確定人臉的大致範圍。該大致範圍可用人臉的外接矩形來表示。
步驟S13：生成眼鏡圖像並與初始幀疊加。具體生成哪個眼鏡的圖像，由使用者進行選擇。例如使用者點擊螢幕中出現的多個眼鏡圖示中的一個。本實施例中，預先設定從人臉範圍的上端起占人臉範圍上下總長的0.3~0.35:1處的分點為眼睛位置。在本步驟中，將眼鏡圖像與初始幀疊加時，要使眼鏡圖像的初始位置與設定的眼睛位置重疊。使用者可以通過拖動眼鏡圖像對呈現在人臉上的眼鏡進行微調。
步驟S14：採集當前幀。
步驟S15：對當前幀中的人臉進行人臉姿勢檢測。人臉姿勢可採用現有的各種人臉姿勢（或稱人臉姿態）檢測技術來實現。人臉姿勢可以用旋轉參數R(r0,r1,r2)與平移參數T(t0,t1,t2)共同確定。旋轉參數與平移參數分別表示在空間直角坐標系中，相對於初始位置，一個平面在三個座標平面上的旋轉角度以及在三個坐標軸上的平移長度。在本實施例中，人臉圖像的初始位置是初始幀中人臉圖像的位置，這樣，對於每個當前幀，是將其與初始幀進行比較而得出當前幀中的人臉姿勢，即上述旋轉參數和平移參數。即初始幀之後每一幀的人臉姿勢是相對於初始幀中的人臉姿勢而言形成的姿勢。
步驟S16：根據眼鏡圖像的當前位置和步驟S15中檢測到的人臉姿勢再次生成眼鏡圖像。在本步驟中，需使眼鏡圖像中的眼鏡姿勢與人臉姿勢一致。因此要以眼鏡圖像的當前位置為起始位置，按照人臉姿勢的旋轉參數和平移參數來確定眼鏡圖像中的眼鏡的旋轉末值和平移末值然後據此生成眼鏡圖像。
步驟S17：將步驟S16中生成的眼鏡圖像與當前幀疊加然後輸出。此時輸出的眼鏡圖像因為經過步驟S16的處理，已經位於當前幀中的人臉上的眼睛附近。至本步驟，當前幀上已經疊加了眼鏡圖像。對於此後採集的每一幀，同樣按上述流程處理，即返回步驟S14
在當前幀上疊加了眼鏡圖像的情況下，使用者即可看到如第3圖所示的狀態。為示意清晰，圖中以黑白單線的人像30代替實際攝像頭採集的人像。該人像佩戴有眼鏡32。本方案不僅可實現眼鏡試戴，還可實現耳環、項鍊等飾品的試戴。對於試戴項鍊來說，採集的人臉需包括其頸部。
以下結合第2圖，對本實施例中採用的人臉姿勢檢測的方式加以說明。第2圖是根據本發明一實施例的人臉姿勢檢測的主要步驟的示意圖。如第2圖所示，該方法主要包括如下的步驟S20至步驟S29。
步驟S20：在初始幀中確定人臉圖像上的多個特徵點。因為在後續的步驟中要進行特徵點追蹤，因此本步驟中對於特徵點的選擇要考慮其便於追蹤。可以選擇周圍紋理豐富的點或者顏色梯度較大的點，這樣的點在人臉位置發生變化時仍比較便於被識別。可參考如下文獻：
Jean-Yves Bouguet, “Pyramidal Implementation of the Lucas Kanade Feature Tracker Description of the algorithm”, Technical report, Microprocessor Research Labs, Intel Corporation (1999)；
Jianbo Shi Carlo Tomasi, “Good features to track”, Proc. IEEE Comput. Soc. Conf. Comput. Vision and Pattern Recogn., pages 593-600,1994。
採集到的特徵點如第3圖所示。第3圖是根據本發明實施例的採集到的特徵點的示意圖。第3圖中的多個小圓圈例如圓圈31表示採集到的特徵點。接下來對每個特徵點確定其紋理區域的偏差，該偏差實際上即為該特徵點的追蹤誤差。
步驟S21：取1個特徵點作為當前特徵點。可以對特徵點進行編號，每次按編號順序來取。從步驟S22至步驟S24，是對一個特徵點的處理。
步驟S22：對當前特徵點進行追蹤以確定該特徵點在當前幀的位置。可採用現有的各種特徵點追蹤方法，例如光流追蹤法、範本匹配法、粒子濾波法、特徵點檢測法等方式。其中光流追蹤法可採用Lucas & Kanade方法。對於特徵點追蹤的各類演算法，在應用中都存在一定誤差，難以保證所有特徵點都能被準確地在新的一幀中被定位，所以本實施例中，對特徵點的追蹤作出改進，對於每個特徵點，比較其在初始幀時其一定範圍的鄰域（在後續步驟的描述中稱作紋理區域）與其在當前幀時相應範圍的鄰域的差異來確定該特徵點是否被追蹤得準確。即接下來的步驟中的處理方式。
步驟S23：根據前一幀的人臉姿勢，將初始幀中的該特徵點的鄰域進行仿射變換以得到該鄰域在當前幀中的投影區域。因為兩幀之間的人臉不可避免地存在或多或少的旋轉，所以最好是進行仿射變換以使兩幀的局部區域具有可比性。參考第4A圖和第4B圖，第4A圖和第4B圖分別是根據本發明實施例的在初始幀中和在當前幀中取紋理區域的示意圖。一般是以特徵點為中心的矩形區域作為該特徵點的紋理區域。如第4A圖和第4B圖所示，特徵點45（圖中白色點）在初始幀41（圖中示出幀的局部）中的紋理區域為矩形42，在當前幀43中的紋理區域為梯形44。這是因為到當前幀時，人臉向左轉過了一定角度，如果仍按矩形42的大小在第4B圖中的特徵點45周圍取紋理區域，就會採集到過大的範圍的像素甚至在另外一些情況下會採集到背景圖像。所以最好是作仿射變換，將特徵點在初始幀中的紋理區域投影到當前幀平面，使特徵點在不同幀中的紋理區域具有可比性。這樣，特徵點在當前幀的紋理區域實際上是上述投影區域。
步驟S24：計算當前特徵點在初始幀中的紋理區域與該紋理區域在當前幀中的投影區域之間的顏色偏移量。該顏色偏移量即為對該特徵點的追蹤偏差。在計算時，將當前特徵點在初始幀中的紋理區域中的各個像素點的灰度值按像素的行或列連接成一個向量，該向量長度即為該紋理區域的像素點總數量；另將上述投影區域的像素按行或列連接，再按該總數量進行等分，在等分得到的每一格的灰度值取占比較大的像素的灰度值，所有格的灰度值連接成另一個向量，其長度等於上述的總數量。計算這兩個向量的距離得到一個數值，該數值的大小即體現特徵點的追蹤偏差。因為僅需得到追蹤偏差，所以採用灰度值比採用RGB值得到的向量更短，有助於減少計算量。這裡的向量距離可採用歐氏距離、馬氏距離、餘弦距離、相關系統等來表示。本步驟之後進入步驟S25。
步驟S25：判斷所有特徵點是否都已處理。若是，則進入步驟S26，否則返回步驟S21。
步驟S26：對所有特徵點的追蹤偏差按大小聚為兩類。可採用任意一種自聚類方法來實現，例如K均值自聚類方法。計算時以所有特徵點的追蹤偏差的最大值和最小值作為初始中心從而聚類為追蹤偏差較大和較小兩類。
步驟S27：根據步驟S26的聚類結果，取追蹤偏差較小的一類特徵點作為有效特徵點。相應地，其他特徵點作為無效特徵點。
步驟S28：計算有效特徵點從初始幀到當前幀的座標變換關係。該座標變換關係由一個矩陣P表示。可採用現有的各種演算法，例如Levenberg-Marquardt演算法，可參考：Z. Zhang. "A flexible new technique for camera calibration". IEEE Transactions on Pattern Analysis and Machine Intelligence, 22(11):1330-1334, 2000. 還可以參考如下文獻中的演算法：
F.Moreno-Noguer, V.Lepetit and P.Fua "EPnP: Efficient Perspective-n-Point Camera Pose Estimation"
X.S. Gao, X.-R. Hou, J. Tang, H.-F. Chang; "Complete Solution Classification for the Perspective-Three-Point Problem"
步驟S29：根據步驟S28中的座標變換關係和初始幀中的人臉姿勢得出當前幀的人臉姿勢。即按上述的矩陣P和上述的旋轉參數R、平移參數T計算得出當前幀（第n幀）的旋轉參數Rn和平移參數Tn。
以上說明了當前幀中的人臉姿勢的一種計算方式。在實現中還可以採用其他的人臉姿勢檢測演算法來得到當前幀中的人臉姿勢。可以利用當前幀中的人臉姿勢對上述的無效特徵點進行修正。即按上述的旋轉參數Rn和平移參數Tn以及無效特徵點在初始幀中的座標計算這些無效特徵點的新座標，將該新座標替換它們在當前幀中的座標。替換後的當前幀中的所有特徵點的座標將用來進行下一幀的資料處理。這有助於提高下一幀處理的精度。也可僅將當前幀中的有效特徵值用來進行下一幀的處理，但這會減少可用的資料量。
按上述方式，每一幀上都會疊加眼鏡圖像，使使用者在轉動頭部的情況下仍可看到眼鏡是“佩戴”在臉上。如果用戶頭部動作比較劇烈，導致姿勢變化過大，特別是在光線不足的情況下這樣動作，則難以準確追蹤特徵點，螢幕中的眼鏡也將脫離眼部的位置。在這種情況下，可以提示使用者進行復位操作。例如再次按一下螢幕或指定的鍵，此時攝像頭採集用戶頭像並將眼鏡呈現在用戶頭像的眼睛處。在這種情況下，使用者的操作發出了重設指令，手機或電腦接收重設指令後，將攝像頭採集的當前幀作為上述的初始幀並按上面的方法進行處理。在處理過程中，於步驟S27得到聚類的處理結果，可以對其進行判斷，如果有效特徵點的比例小於一個設定值，例如60%，或者在本幀採集到的特徵點占上一幀採集到的特徵點的比例小於一個設定值，例如30%，則輸出提示資訊，例如文字“按一下螢幕以重設”，提示使用者重新“試戴”眼鏡。
第5圖是根據本發明實施例的實現虛擬試戴的裝置的基本結構的示意圖。該裝置作為軟體可設置在手機或電腦中。如第5圖所示，實現虛擬試戴的裝置50主要包括人臉檢測模組51、第一輸出模組52、人臉姿勢檢測模組53、以及第二輸出模組54。
人臉檢測模組51用於對採集的初始幀進行人臉檢測；第一輸出模組52用於在人臉檢測模組51採集到人臉的情況下，在初始位置生成物品圖像然後與所述初始幀疊加後輸出，該初始位置與初始幀中的人臉的指定位置重疊；人臉姿勢檢測模組53用於對當前幀中的人臉進行人臉姿勢檢測得到當前幀的人臉姿勢；第二輸出模組54用於根據物品圖像的當前位置和人臉姿勢再次生成物品圖像，並使該物品圖像中的物品姿勢與人臉姿勢一致，然後將該物品圖像與當前幀疊加後輸出。
人臉姿勢檢測模組53還可用於：在初始幀中確定人臉圖像上的多個特徵點；針對每個特徵點進行如下處理：對特徵點進行追蹤以確定該特徵點在當前幀的位置，根據前一幀的人臉姿勢，將初始幀中的該特徵點的鄰域進行仿射變換以得到該鄰域在當前幀中的投影區域，計算初始幀中的鄰域與當前幀中的投影區域之間的顏色偏移量並作為該特徵點的追蹤偏差；對於確定的多個特徵點，選擇追蹤偏差較小的多個特徵點；根據追蹤偏差較小的多個特徵點在初始幀的位置以及在當前幀的位置確定當前幀的人臉姿勢。
人臉姿勢檢測模組53還可用於：對於確定的多個特徵點的追蹤偏差，以其中的最大值和最小值作為初始中心，按追蹤偏差的大小進行聚類得到兩類；選擇上述兩類中追蹤偏差較小的一類所對應的特徵點。
實現虛擬試戴的裝置50還可包括修改模組（圖中未示出），用於在所述人臉姿勢檢測模組確定當前幀的人臉姿勢之後，將所述兩類中追蹤偏差較大的一類所對應的特徵點按照所述當前幀的人臉姿勢投影到當前幀圖像平面，以投影位置代替這些特徵點在當前幀的位置。
實現虛擬試戴的裝置50還可包括重設模組和提示模組（圖中未示出），其中：重設模組用於接收重設指令，以及在接收到重設指令的情況下，將採集的當前幀作為初始幀；提示模組用於在人臉姿勢檢測模組按追蹤偏差的大小進行聚類得到兩類之後，在追蹤偏差較小的一類特徵點的數目占特徵點總數目的比例大於第一預設值的情況下，或者，在當前幀中採集到的特徵點的數目占特徵點總數目的比例小於第二預設值的情況下，輸出提示資訊。
根據本發明實施例的技術內容，通過檢測各幀的人臉姿勢，再按人臉姿勢調整眼鏡姿勢，能夠使使用者利用普通的圖像採集裝置就可完成虛擬試戴，並且用戶可能轉動頭部以觀察多個角度的佩戴效果，具有比較高的真實性。
以上結合具體實施例描述了本發明的基本原理，但是，需要指出的是，對熟悉本技術者而言，能夠理解本發明的方法和設備的全部或者任何步驟或者部件，可以在任何計算裝置（包括處理器、儲存介質等）或者計算裝置的網路中，以硬體、固件、軟體或者它們的組合加以實現，這是熟悉本技術者在閱讀了本發明的說明的情況下運用他們的基本程式設計技能就能實現的。
因此，本發明的目的還可以通過在任何計算裝置上運行一個程式或者一組程式來實現。所述計算裝置可以是習知的通用裝置。因此，本發明的目的也可以僅僅通過提供包含實現所述方法或者裝置的程式碼的程式產品來實現。也就是說，這樣的程式產品也構成本發明，並且儲存有這樣的程式產品的儲存介質也構成本發明。顯然，所述儲存介質可以是任何習知的儲存介質或者將來開發出的任何儲存介質。
還需要指出的是，在本發明的裝置和方法中，顯然，各部件或各步驟是可以分解和/或重新組合的。這些分解和/或重新組合應視為本發明的等效方案。並且，執行上述系列處理的步驟可以自然地按照說明的順序按時間循序執行，但是並不需要一定按照時間循序執行。某些步驟可以並行或彼此獨立地執行。
上述具體實施方式，並不構成對本發明保護範圍的限制。熟悉本技術者應該明白的是，取決於設計要求和其他因素，可以發生各種各樣的修改、組合、子組合和替代。任何在本發明的精神和原則之內所作的修改、等同替換和改進等，均應包含在本發明保護範圍之內。
S11~S17‧‧‧步驟
S20~S29‧‧‧步驟
30‧‧‧人像
31‧‧‧特徵點
32‧‧‧眼鏡
41‧‧‧初始幀
42‧‧‧矩形
43‧‧‧當前幀
44‧‧‧梯形
45‧‧‧特徵點
50‧‧‧實現虛擬試戴的裝置
51‧‧‧人臉檢測模組
52‧‧‧第一輸出模組
53‧‧‧人臉姿勢檢測模組
54‧‧‧第二輸出模組
圖式用於更好地理解本發明，不構成對本發明的不當限定。其中： 第1圖是根據本發明一實施例的實現虛擬試戴的方法的基本步驟的示意圖； 第2圖是根據本發明一實施例的人臉姿勢檢測的主要步驟的示意圖； 第3圖是根據本發明一實施例的採集到的特徵點的示意圖； 第4A圖及第4B圖分別是根據本發明實施例的在初始幀中和在當前幀中取紋理區域的示意圖； 第5圖是根據本發明一實施例的實現虛擬試戴的裝置的基本結構的示意圖。
S11~S17‧‧‧步驟

Claims (10)

  1. 一種實現虛擬試戴的方法，包括：對採集的一初始幀進行人臉檢測，在檢測到人臉的情況下，在一初始位置生成物品圖像然後與所述初始幀疊加後輸出，該初始位置與所述初始幀中的人臉的指定位置重疊；對一當前幀中的人臉進行人臉姿勢檢測得到當前幀的人臉姿勢；以及根據所述物品圖像的當前位置和所述人臉姿勢再次生成物品圖像，並使該物品圖像中的物品姿勢與所述人臉姿勢一致，然後將該物品圖像與所述當前幀疊加後輸出；其中所述對當前幀中的人臉進行人臉姿勢檢測得到當前幀的人臉姿勢的步驟包括：在所述初始幀中確定人臉圖像上的多個特徵點；針對每個特徵點進行如下處理：對特徵點進行追蹤以確定該特徵點在當前幀的位置，根據前一幀的人臉姿勢，將所述初始幀中的該特徵點的鄰域進行仿射變換以得到該鄰域在當前幀中的投影區域，計算所述初始幀中的所述鄰域與當前幀中的所述投影區域之間的顏色偏移量並作為該特徵點的追蹤偏差，以及對於確定的所述多個特徵點，選擇追蹤偏差較小的多個特徵點；以及根據所述追蹤偏差較小的多個特徵點在所述初始幀的位置以及在當前幀的位置確定當前幀的人臉姿勢。
  2. 如申請專利範圍第1項所述之實現虛擬試戴的方法，其中所述對於所述多個特徵點，選擇追蹤偏差較小的多個特徵點的步驟包括：對於確定的所述多個特徵點的追蹤偏差，以其中的最大值和最小值作為初始中心，按追蹤偏差的大小進行聚類得到兩類；以及 選擇所述兩類中追蹤偏差較小的一類所對應的特徵點。
  3. 如申請專利範圍第2項所述之實現虛擬試戴的方法，其中所述確定當前幀的人臉姿勢的步驟之後，尚包括：將所述兩類中追蹤偏差較大的一類所對應的特徵點按照所述當前幀的人臉姿勢投影到當前幀圖像平面，以投影位置代替這些特徵點在當前幀的位置。
  4. 如申請專利範圍第2項所述之實現虛擬試戴的方法，其中：所述對採集的初始幀進行人臉檢測的步驟之前，尚包括：在接收到重設指令的情況下，將採集的當前幀作為所述初始幀；以及所述按追蹤偏差的大小進行聚類得到兩類的步驟之後，尚包括：在所述追蹤偏差較小的一類特徵點的數目占特徵點總數目的比例小於第一預設值的情況下，或者，在當前幀中採集到的特徵點的數目占在前一幀採集到的特徵點總數目的比例小於第二預設值的情況下，輸出提示資訊，然後接收一重設指令。
  5. 如申請專利範圍第1至4中任一項所述之實現虛擬試戴的方法，其中所述物品圖像為眼鏡圖像、頭部飾品圖像、或者頸部飾品圖像。
  6. 一種實現虛擬試戴的裝置，包括：一人臉檢測模組，用於對採集的一初始幀進行人臉檢測；一第一輸出模組，用於在所述人臉檢測模組採集到人臉的情況下，在一初始位置生成物品圖像然後與所述初始幀疊加後輸出，該初始位置與所述初始幀中的人臉的指定位置重疊；一人臉姿勢檢測模組，用於對一當前幀中的人臉進行人臉姿勢檢測得到當前幀的人臉姿勢；以及 一第二輸出模組，用於根據所述物品圖像的當前位置和所述人臉姿勢再次生成物品圖像，並使該物品圖像中的物品姿勢與所述人臉姿勢一致，然後將該物品圖像與所述當前幀疊加後輸出；其中所述人臉姿勢檢測模組還用於：在所述初始幀中確定人臉圖像上的多個特徵點；針對每個特徵點進行如下處理：對特徵點進行追蹤以確定該特徵點在當前幀的位置，根據前一幀的人臉姿勢，將所述初始幀中的該特徵點的鄰域進行仿射變換以得到該鄰域在當前幀中的投影區域，計算所述初始幀中的所述鄰域與當前幀中的所述投影區域之間的顏色偏移量並作為該特徵點的追蹤偏差，以及對於確定的所述多個特徵點，選擇追蹤偏差較小的多個特徵點；以及根據所述追蹤偏差較小的多個特徵點在所述初始幀的位置以及在當前幀的位置確定當前幀的人臉姿勢。
  7. 如申請專利範圍第6項所述之實現虛擬試戴的裝置，其中所述人臉姿勢檢測模組還用於：對於確定的所述多個特徵點的追蹤偏差，以其中的最大值和最小值作為初始中心，按追蹤偏差的大小進行聚類得到兩類；以及選擇所述兩類中追蹤偏差較小的一類所對應的特徵點。
  8. 如申請專利範圍第7項所述之實現虛擬試戴的裝置，尚包括：一修改模組，用於在所述人臉姿勢檢測模組確定當前幀的人臉姿勢之後，將所述兩類中追蹤偏差較大的一類所對應的特徵點按照所述當前幀的人臉姿勢投影到當前幀圖像平面，以投影位置代替這些特徵點在當前幀的位置。
  9. 如申請專利範圍第7項所述之實現虛擬試戴的裝置，尚包括： 一重設模組和一提示模組，其中：所述重設模組用於接收一重設指令，以及在接收到該重設指令的情況下，將採集的當前幀作為所述初始幀；所述提示模組用於在所述人臉姿勢檢測模組按追蹤偏差的大小進行聚類得到兩類之後，在所述追蹤偏差較小的一類特徵點的數目占特徵點總數目的比例小於第一預設值的情況下，或者，在當前幀中採集到的特徵點的數目占在前一幀採集到的特徵點總數目的比例小於第二預設值的情況下，輸出提示資訊。
  10. 如申請專利範圍第6至9中任一項所述之實現虛擬試戴的裝置，其中所述物品圖像為眼鏡圖像、頭部飾品圖像、或者頸部飾品圖像。
TW104118242A 2014-06-17 2015-06-05 實現虛擬試戴的方法和裝置 TWI554951B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201410270449.XA CN104217350B (zh) 2014-06-17 2014-06-17 实现虚拟试戴的方法和装置

Publications (2)

Publication Number Publication Date
TW201601066A TW201601066A (zh) 2016-01-01
TWI554951B true TWI554951B (zh) 2016-10-21

Family

ID=52098806

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104118242A TWI554951B (zh) 2014-06-17 2015-06-05 實現虛擬試戴的方法和裝置

Country Status (5)

Country Link
US (1) US10360731B2 (zh)
CN (1) CN104217350B (zh)
HK (1) HK1202690A1 (zh)
TW (1) TWI554951B (zh)
WO (1) WO2015192733A1 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104217350B (zh) 2014-06-17 2017-03-22 北京京东尚科信息技术有限公司 实现虚拟试戴的方法和装置
CN104851004A (zh) * 2015-05-12 2015-08-19 杨淑琪 一种饰品试戴的展示装置和展示方法
KR101697286B1 (ko) * 2015-11-09 2017-01-18 경북대학교 산학협력단 사용자 스타일링을 위한 증강현실 제공 장치 및 방법
TWI596379B (zh) * 2016-01-21 2017-08-21 友達光電股份有限公司 顯示模組與應用其之頭戴式顯示裝置
CN106203300A (zh) * 2016-06-30 2016-12-07 北京小米移动软件有限公司 内容项显示方法及装置
CN106203364B (zh) * 2016-07-14 2019-05-24 广州帕克西软件开发有限公司 一种3d眼镜互动试戴系统及方法
US10846838B2 (en) 2016-11-25 2020-11-24 Nec Corporation Image generation device, image generation method, and storage medium storing program
CN106846493A (zh) * 2017-01-12 2017-06-13 段元文 3d虚拟试戴方法及装置
LU100348B1 (en) * 2017-07-25 2019-01-28 Iee Sa Method and system for head pose estimation
CN107832741A (zh) * 2017-11-28 2018-03-23 北京小米移动软件有限公司 人脸特征点定位的方法、装置及计算机可读存储介质
JP7290930B2 (ja) * 2018-09-27 2023-06-14 株式会社アイシン 乗員モデリング装置、乗員モデリング方法および乗員モデリングプログラム
US10685457B2 (en) 2018-11-15 2020-06-16 Vision Service Plan Systems and methods for visualizing eyewear on a user
CN109492608B (zh) * 2018-11-27 2019-11-05 腾讯科技（深圳）有限公司 图像分割方法、装置、计算机设备及存储介质
CN109615593A (zh) * 2018-11-29 2019-04-12 北京市商汤科技开发有限公司 图像处理方法及装置、电子设备和存储介质
US10825260B2 (en) * 2019-01-04 2020-11-03 Jand, Inc. Virtual try-on systems and methods for spectacles
CN110070481B (zh) * 2019-03-13 2020-11-06 北京达佳互联信息技术有限公司 用于面部的虚拟物品的图像生成方法、装置、终端及存储介质
CN111949112A (zh) * 2019-05-14 2020-11-17 Oppo广东移动通信有限公司 对象交互方法及装置、系统、计算机可读介质和电子设备
CN110288715B (zh) * 2019-07-04 2022-10-28 厦门美图之家科技有限公司 虚拟项链试戴方法、装置、电子设备及存储介质
CN110868554B (zh) * 2019-11-18 2022-03-08 广州方硅信息技术有限公司 直播中实时换脸的方法、装置、设备及存储介质
US11676347B2 (en) 2020-04-15 2023-06-13 Warby Parker Inc. Virtual try-on systems for spectacles using reference frames
CN111510769B (zh) * 2020-05-21 2022-07-26 广州方硅信息技术有限公司 视频图像处理方法、装置及电子设备
CN111627106B (zh) * 2020-05-29 2023-04-28 北京字节跳动网络技术有限公司 人脸模型重构方法、装置、介质和设备
TWI770874B (zh) * 2021-03-15 2022-07-11 楷思諾科技服務有限公司 使用點擊及捲動以顯示模擬影像之方法
CN113986015B (zh) * 2021-11-08 2024-04-30 北京字节跳动网络技术有限公司 虚拟道具的处理方法、装置、设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200805175A (en) * 2006-01-17 2008-01-16 Shiseido Co Ltd Makeup simulation system, makeup simulation device, makeup simulation method and makeup simulation program
TW201337815A (zh) * 2012-03-15 2013-09-16 O2Micro Inc 電子試衣方法和電子試衣裝置
US20130314410A1 (en) * 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for rendering virtual try-on products

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1866292A (zh) * 2005-05-19 2006-11-22 上海凌锐信息技术有限公司 一种动态眼镜试戴方法
JP5648299B2 (ja) * 2010-03-16 2015-01-07 株式会社ニコン 眼鏡販売システム、レンズ企業端末、フレーム企業端末、眼鏡販売方法、および眼鏡販売プログラム
US20130088490A1 (en) * 2011-04-04 2013-04-11 Aaron Rasmussen Method for eyewear fitting, recommendation, and customization using collision detection
CN102867321A (zh) * 2011-07-05 2013-01-09 艾迪讯科技股份有限公司 眼镜虚拟试戴互动服务系统与方法
WO2013086137A1 (en) * 2011-12-06 2013-06-13 1-800 Contacts, Inc. Systems and methods for obtaining a pupillary distance measurement using a mobile computing device
US9652654B2 (en) * 2012-06-04 2017-05-16 Ebay Inc. System and method for providing an interactive shopping experience via webcam
CN103400119B (zh) * 2013-07-31 2017-02-15 徐坚 基于人脸识别技术的混合显示眼镜交互展示方法
US20150382123A1 (en) * 2014-01-16 2015-12-31 Itamar Jobani System and method for producing a personalized earphone
CN104217350B (zh) * 2014-06-17 2017-03-22 北京京东尚科信息技术有限公司 实现虚拟试戴的方法和装置
US10564628B2 (en) * 2016-01-06 2020-02-18 Wiivv Wearables Inc. Generating of 3D-printed custom wearables

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200805175A (en) * 2006-01-17 2008-01-16 Shiseido Co Ltd Makeup simulation system, makeup simulation device, makeup simulation method and makeup simulation program
TW201337815A (zh) * 2012-03-15 2013-09-16 O2Micro Inc 電子試衣方法和電子試衣裝置
US20130314410A1 (en) * 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for rendering virtual try-on products
US20130315487A1 (en) * 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for feature tracking

Also Published As

Publication number Publication date
CN104217350B (zh) 2017-03-22
WO2015192733A1 (zh) 2015-12-23
HK1202690A1 (zh) 2015-10-02
CN104217350A (zh) 2014-12-17
TW201601066A (zh) 2016-01-01
US20170154470A1 (en) 2017-06-01
US10360731B2 (en) 2019-07-23

Similar Documents

Publication Publication Date Title
TWI554951B (zh) 實現虛擬試戴的方法和裝置
US9369638B2 (en) Methods for extracting objects from digital images and for performing color change on the object
US8976160B2 (en) User interface and authentication for a virtual mirror
JP6268303B2 (ja) ２ｄ画像分析装置
US8982110B2 (en) Method for image transformation, augmented reality, and teleperence
US8970569B2 (en) Devices, systems and methods of virtualizing a mirror
US9864430B2 (en) Gaze tracking via eye gaze model
US20090116766A1 (en) Method and apparatus for augmenting a mirror with information related to the mirrored contents and motion
CN108022124B (zh) 互动式服饰试穿方法及其显示系统
WO2012077286A1 (ja) 物体検出装置および物体検出方法
WO2015020703A1 (en) Devices, systems and methods of virtualizing a mirror
CN104899910A (zh) 图像处理设备、图像处理系统和图像处理方法
US20160232708A1 (en) Intuitive interaction apparatus and method
US10146306B2 (en) Gaze position detection apparatus and gaze position detection method
Yang et al. A virtual try-on system in augmented reality using RGB-D cameras for footwear personalization
JP4938748B2 (ja) 画像認識装置及びプログラム
US10976829B1 (en) Systems and methods for displaying augmented-reality objects
AU2014284129B2 (en) System and method of estimating 3D facial geometry
WO2018059258A1 (zh) 采用增强现实技术提供手掌装饰虚拟图像的实现方法及其装置
Huang et al. 3d virtual-reality interaction system
CN116452745A (zh) 手部建模、手部模型处理方法、设备和介质
Zeng et al. Finger tracking for breast palpation quantification using color image features
Xu et al. Human body reshaping and its application using multiple RGB-D sensors
Brito et al. Recycling a landmark dataset for real-time facial capture and animation with low cost HMD integrated cameras
Sun et al. A deep learning approach to appearance-based gaze estimation under head pose variations