TWI768852B - 人體方向之偵測裝置及人體方向之偵測方法 - Google Patents

人體方向之偵測裝置及人體方向之偵測方法 Download PDF

Info

Publication number
TWI768852B
TWI768852B TW110115222A TW110115222A TWI768852B TW I768852 B TWI768852 B TW I768852B TW 110115222 A TW110115222 A TW 110115222A TW 110115222 A TW110115222 A TW 110115222A TW I768852 B TWI768852 B TW I768852B
Authority
TW
Taiwan
Prior art keywords
human body
orientation
human
image
determined
Prior art date
Application number
TW110115222A
Other languages
English (en)
Other versions
TW202242797A (zh
Inventor
陳彥宇
Original Assignee
緯創資通股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 緯創資通股份有限公司 filed Critical 緯創資通股份有限公司
Priority to TW110115222A priority Critical patent/TWI768852B/zh
Priority to CN202110613296.4A priority patent/CN115249365A/zh
Priority to US17/373,681 priority patent/US11816860B2/en
Priority to JP2021170311A priority patent/JP7235826B2/ja
Application granted granted Critical
Publication of TWI768852B publication Critical patent/TWI768852B/zh
Publication of TW202242797A publication Critical patent/TW202242797A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/267—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion by performing operations on regions, e.g. growing, shrinking or watersheds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Burglar Alarm Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Indicating Or Recording The Presence, Absence, Or Direction Of Movement (AREA)

Abstract

一種人體方向之偵測裝置，透過分類器所輸出的多個人體方向機率輔以多個人體骨架特徵，以精準的判斷人體方向。本案所述的人體方向例如為人體正面、左側身、右側身或人體背面，藉此可以將判斷出的人體方向應用在不同的使用情境中，以提高良好的使用者經驗的效果。

Description

人體方向之偵測裝置及人體方向之偵測方法
本發明是關於一種人體方向之偵測裝置及人體方向之偵測方法，特別是關於一種適用於一智慧穿衣鏡的人體方向之偵測裝置及人體方向之偵測方法。
智慧穿衣鏡利用即時的虛擬互動方式，讓使用者先在鏡前選擇欲試穿的虛擬衣服，當智慧穿衣鏡上的攝像機拍攝到使用者後，可以由穿衣鏡的顯示器及時將拍攝到的畫面顯示出來，智慧穿衣鏡再將使用者選擇的虛擬衣服套用到顯示畫面中的使用者身上。
家用型的智慧穿衣鏡能將線上購物的便利性與在實體店面的選購體驗，合而為一。另一方面，在一些商場中也可以放置智慧穿衣鏡、廣告看板或互動式裝置，讓使用者體驗產品效果或是使用相關服務。例如，透過智慧穿衣鏡即可看到商品穿在身上的呈現的樣貌。
然而，使用者在使用智慧穿衣鏡或其他相似的互動式裝置時，常常會發生身體是側面，但臉朝向鏡子正面，以觀看衣服穿在身上的呈現的樣貌。此時若智慧穿衣鏡沒有判斷人體方向的功能，可能會形成不合理的視覺效果。另外，若智慧穿衣鏡利用偵測人臉作為人體方向的判斷時，智慧穿衣鏡可能被人臉誤導，以為人體也是正面，造成虛擬衣服還是在顯示正面的樣貌，在此情況下會形成不合理的視覺效果。
因此，如何判斷人體的方向，已成為本領域待解決的問題之一。
為了解決上述的問題，本揭露內容之一實施例提供了一種人體方向之偵測裝置。人體方向之偵測裝置包含一攝像機以及一處理裝置。攝像機用以拍攝一人體影像。處理裝置用以將人體影像中的一人頭輪廓影像裁去後，得到一輸入影像，並將輸入影像輸入到一分類器，分類器輸出輸入影像的複數個人體方向機率。其中，處理裝置找出此些人體方向機率中的最大者，並判斷此些人體方向機率中的最大者是否大於一準確度門檻值。響應於此些人體方向機率中的最大者大於該準確度門檻值時，該處理裝置將該些人體方向機率中的最大者所對應的人體方向，視為一確定人體方向。
為了解決上述的問題，本揭露內容之一態樣提供了一種人體方向之偵測方法。人體方向之偵測方法包含以下步驟：透過一攝像機以一人體影像；將人體影像中的一人頭輪廓影像裁去後，得到一輸入影像，並將輸入影像輸入到一分類器，分類器輸出輸入影像的複數個人體方向機率；以及找出些人體方向機率中的最大者，並判斷此些人體方向機率中的最大者是否大於一準確度門檻值；其中，響應於此些人體方向機率中的最大者大於準確度門檻值時，將此些人體方向機率中的最大者所對應的人體方向，視為一確定人體方向。
本發明實施例所示之人體方向之偵測裝置及人體方向之偵測裝置方法，可以透過分類器所輸出的多個人體方向機率輔以多個人體骨架特徵，以精準的判斷站在智慧穿衣鏡前的人體方向。本案所述的確定人體方向例如為人體正面、左側身、右側身或人體背面，藉此可以更精準的將虛擬衣服套用於人體影像上。使用者即使側身，頭轉正(朝向智慧穿衣鏡)，亦可觀看到合理的試穿結果，藉此提高良好的使用者經驗。此外，本發明實施例所示之人體方向之偵測裝置及人體方向之偵測裝置方法亦可將輸出的資料傳送到另一伺服器，以計算智慧穿衣鏡的使用率或將資料作為分析其他目的用途。
以下說明係為完成發明的實現方式，其目的在於描述本發明的基本精神，但並不用以限定本發明。實際的發明內容必須參考之後的權利要求範圍。
必須了解的是，使用於本說明書中的”包含”、”包括”等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。
於權利要求中使用如”第一”、"第二"、"第三"等詞係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。
請參照第1、3A~3B圖，第1圖係依照本發明一實施例繪示一種人體方向之偵測裝置100之方塊圖。第2圖係依照本發明一實施例繪示一種人體方向之偵測裝置100應用在智慧型穿搭鏡200之示意圖。第3A圖係依照本發明一實施例繪示一種人體方向之偵測方法300之流程圖。第3B圖係依照本發明一實施例繪示一種人體方向之偵測方法350之流程圖。
於一實施例中，人體方向之偵測裝置100適用於智慧穿衣鏡200，人體方向之偵測裝置100包含一攝像機10及一處理裝置20。
於一實施例中，攝像機10可以是由至少一電荷耦合元件(Charge Coupled Device；CCD)或一互補式金氧半導體(Complementary Metal-Oxide Semiconductor；CMOS)感測器所組成。
於一實施例中，攝像機10設置於智慧穿衣鏡200上，用以拍攝智慧穿衣鏡200前方的影像。於一實施例中，攝像機10設置於智慧穿衣鏡200的顯示器40的週邊，例如攝像機10設置在顯示器40的右上角、中間的正上方或左上角。
於一實施例中，處理裝置20包含處理器及/或圖形處理器(Graphics Processing Unit，GPU)。
於一實施例中，處理裝置20可以由微控制單元(micro controller)、微處理器(microprocessor)、數位訊號處理器(digital signal processor)、特殊應用積體電路(application specific integrated circuit，ASIC)或一邏輯電路來實施。
於一實施例中，處理裝置20可以由樹莓派(Raspberry Pi)來實施。樹莓派可以視為一台小型電腦。樹梅派具有價格低廉、容易取得、方便攜帶、安裝簡單、運作穩定，而且又可以連接其他週邊設備的特性，因此樹梅派可以設置於智慧穿衣鏡200。於一實施例中，樹莓派中包含一儲存空間。
於一實施例中，樹莓派可以實現偵測人體方向之偵測方法300及人體方向之偵測方法350中的所有的運算，使得所有運算可以在智慧穿衣鏡200的本地端運算完成。
於一實施例中，當運算量較大時，樹莓派無法快速處理所有的運算時，樹莓派可以將資料傳送到一伺服器，此伺服器可以是遠端伺服器，具有較佳的運算效能，透過此伺服器運算，並將運算結果回傳到樹梅派。
於一實施例中，人體方向之偵測裝置100更包含一儲存裝置30。儲存裝置30可被實作為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之儲存媒體。
於一實施例中，處理裝置20可以在智慧型穿搭鏡200的本地端執行完人體方向之偵測方法300或人體方向之偵測方法350，將得到的結果(即確定人體方向，確定人體方向例如為人體正面、左側身、右側身、人體背面)回傳到伺服器，伺服器可以將收到的結果進行其它應用，例如資料分析。
於一實施例中，如第2圖所示，使用者USR走到智慧型穿搭鏡200前方時，攝像機10可以拍攝到使用者USR，智慧型穿搭鏡200的顯示器40可以是一觸控螢幕。使用者USR透過觸控螢幕選擇欲穿搭的衣服，處理裝置20可以透過已知的方式，例如擴增實境(Augmented Reality，AR)，擴增實境是透過攝像機10拍攝到的影像的位置及角度精算並加上圖像分析技術，讓顯示器40上的虛擬衣服能夠與真實場景(例如為使用者USR)進行結合的技術，使顯示器40中顯示虛擬衣服套用在使用者USR上的虛擬實境圖像USR’。例如，使用者USR在真實生活中是穿褲裝，使用者USR透過顯示器40介面選擇欲穿搭的裙裝，透過擴增實境技術可以讓顯示器40顯示穿著虛擬裙裝的使用者影像USR’。然而，此處僅為一例，本案並不限於採用擴增實境的方法實現之。
於一實施例中，使用者USR可以透過多種方式選擇欲穿搭的衣服，例如掃描衣服標籤的QR碼、由觸控螢幕選擇或其他實體或虛擬的輸入介面。
請參閱第3A圖，於步驟305中，攝像機10拍攝一人體影像。於步驟315中，處理裝置20將人體影像IMG1中的一人頭輪廓影像裁去後，得到一輸入影像IMG2，並將輸入影像IMG2輸入到一分類器，分類器輸出此輸入影像IMG2的多個人體方向機率。於步驟325中，處理裝置20找出此些人體方向機率中的最大者，並判斷此些人體方向機率中的最大者是否大於一準確度門檻值，響應於此些人體方向機率中的最大者大於準確度門檻值時，處理裝置20將此些人體方向機率中的最大者所對應的人體方向，視為一確定人體方向。
以下更進一步以第3B圖說明本案的人體方向之偵測方法350。
於步驟310中，攝像機10拍攝智慧穿衣鏡200前方的一初始影像IMG0。例如第2圖所示，攝像機10拍攝智慧穿衣鏡200前方的使用者USR，拍攝到的使用者影像視為初始影像。然，此處僅為一例，本發明不限於將攝像機10放置於智慧穿衣鏡200上，也不限於拍攝智慧穿衣鏡200前方的一初始影像IMG0，攝像機10只需拍到一人體影像即可應用本發明的人體方向之偵測方法350。
於步驟320中，處理裝置20將初始影像IMG0中的一人體影像IMG1擷取(crop)出來，將人體影像IMG1中的一人頭輪廓影像裁去後，得到一輸入影像IMG2，並將輸入影像IMG2輸入到一分類器，分類器輸出此輸入影像IMG2的多個人體方向機率及多個骨架特徵點。
請參照第4~5圖，第4圖係依照本發明一實施例繪示一種取得輸入影像IMG2之示意圖。第5圖係依照本發明一實施例繪示一種人體影像IMG3~IMG4之示意圖。
於一實施例中，在攝像機10架設後，處理裝置20會以人臉、頭型(頭的輪廓)以偵測是否攝像機10拍到的初始影像IMG0中有使用者影像USR’。若有，則使用行人偵測擷取出人體影像IMG1(人體影像IMG1即為使用者影像USR’)。
於一實施例中，處理裝置20可以透過其他已訓練好的卷積神經網路(Convolutional Neural Network，CNN)、特徵點演算法或其他已知的人臉辨識方法，找出人臉及/或頭型(頭的輪廓)。
一般而言，使用者USR在照智慧穿衣鏡200時，就算是站側身，也會把頭看向鏡子的方向，如第5圖的人體影像IMG3及人體影像IMG4所示，人體影像IMG3及人體影像IMG4的人臉都是朝正面，但人體影像IMG3人體方向是朝向影像的右側，人體影像IMG4人體方向是朝向影像的左側。若依據人臉的影像以決定人體方向，在這些情況下會使決定的人體方向不精準。
因此，於第4圖中，處理裝置20將人體影像IMG1中的人頭輪廓影像(或人臉影像)裁去後，得到輸入影像IMG2。藉由輸入影像IMG2，可以達到針對人體進行判斷人體方向的效果，避免處理裝置20在判斷人體方向時，被人頭輪廓影像(或人臉影像)影響。
於一些例子中，處理裝置20可以先將人頭輪廓影像(或人臉影像)先作框選，再進行裁切。
於一些例子中，處理裝置20在人頭輪廓影像裁去之前，先依據人臉的影像全部或一部分以決定人體方向是否為背面，處理裝置20判斷人體影像中的人頭輪廓影像中沒有人臉，則確定人體方向為人體背面。
接著，處理裝置20將輸入影像IMG2輸入到一分類器，分類器輸出輸入影像的多個人體方向機率及多個骨架特徵點。
請參照第6圖，第6圖係依照本發明一實施例繪示一種取得分類器運作方式之示意圖。
於一實施例中，如第6圖所示，分類器是以一卷積神經網路實現，卷積神經網路在訓練階段接收到輸入影像IMG2後，會一層層的擷取特徵值。
於一實施例中，卷積神經網路在訓練階段時，會分別針對多張輸入影像訓練人體方向機率及多個骨架特徵點的辨識準度。處理裝置20在一開始先輸入手動標記的影像與對應影像的真實方向資料與真實特徵點位置資料到卷積神經網路中進行訓練。
接著，卷積神經網路在全連接層FCL(Fully Connected layer)輸出多個人體方向機率及多個骨架特徵點(此些參數以空心圓圈表示之)。將此些人體方向機率值與一真實方向資料計算一回歸損失(loss)，並將此些骨架特徵點與複數個真實特徵點位置資料計算一歐式距離損失。再將回歸損失與歐式距離損失加總為一總損失，利用反向傳播法調整卷積神經網路的參數或權重並回傳到卷積神經網路後繼續訓練，使總損失逐漸降低並趨近於一定值。其中，歐式距離的算法為:
Figure 02_image001
，歐式距離用於計算兩點之間的距離，因為CNN架構最後輸出為人體方向的各方向機率值和各骨架特徵點的座標，其中各骨架特徵點的座標藉由距離的算法可以知道與真實特徵點位置誤差多少，而人體方向的各方向機率值與真實方向藉由邏輯回歸的算法計算誤差，邏輯回歸的算法為:
Figure 02_image003
，邏輯回歸的算法裡面兩個y，一個是CNN架構判斷的機率，一個是真實機率，符號m代表方向(第幾個方向)，此邏輯回歸的算法中的m是4(四個方向)，例如模型判斷的各方向機率可能為(0.64,0.03,0.32,0.1)但真實的方向機率值(真實的方向只有一個方向)為(1,0,0,0)，代入公式計算，第一個方向(m=1時)將兩個y代入0.64跟1計算，其它方向的計算以此類推。
於一實施例中，此些人體方向機率對應到卷積神經網路輸出的複數個特徵向量。例如為人體正面的特徵向量、左側身的特徵向量、右側身的特徵向量及人體背面的特徵向量。舉例而言，卷積層輸出多個特徵向量，然後對每個特徵向量進行池化運算，再進行特徵向量拼接，最後透過全連接層中激活函數(softmax)的運算，得到多個對應特徵向量的人體方向機率。
於一實施例中，人體方向機率分別為一人體正面機率(例如為97%)、一左側身機率(例如為1%)、一右側身機率(例如為0%)及一人體背面機率(例如為2%)。處理裝置20先判斷將此些人體方向機率值最大者(即人體正面機率97%)，再將所對應的人體方向(即人體正面機率)與一真實方向資料計算一回歸損失。
請參照第7圖，第7圖係依照本發明一實施例繪示一種骨架特徵點之示意圖。
於一實施例中，骨架的真實特徵點位置是三組座標為一集合，真實特徵點位置可以手動在輸入影像IMG2上標記，有順序性地將標記的座標輸入卷積神經網路，例如第7圖所示，真實特徵點位置由左至右依序輸入左肩真實特徵點A座標、衣領(胸口)真實特徵點B座標、右肩真實特徵點C座標，其表示方式可以是：{[105，142]，[131，195]，[270、144]}，將此真實特徵點位置與輸入影像IMG2輸入卷積神經網路進行訓練。除了輸入真實方向資料訓練卷積神經網路訓練外，將真實特徵點座標資料一起輸入卷積神經網路訓練，將使卷積神經網路更能正確判斷人體方向。
於一實施例中，當處理裝置20將輸入影像IMG2輸入卷積神經網路後，卷積神經網路輸出的此些骨架特徵點也會有相同的順序性(例如由左至右)，輸出左肩特徵點A’座標、一胸口特徵點B’座標及一右肩特徵點C’座標。於一實施例中，此些骨架特徵點包含一左肩特徵點座標、一領口特徵點座標及一右肩特徵點座標。
於一實施例中，由於卷積神經網路在全連接層FCL輸出的此些骨架特徵點已包含座標，因此處理裝置20可以依據此些骨架特徵點與真實特徵點位置資料計算歐式距離損失。
接著，處理裝置20再將回歸損失與歐式距離損失加總的總損失利用反向傳播法調整神經元、權重、層數等參數，接續訓練卷積神經網路，直到總損失低於一總損失門檻值，代表卷積神經網路已訓練完畢。總損失低於總損失門檻值時，代表卷積神經網路輸出的多個人體方向機率與多個骨架特徵點與手動標記的真實方向資料與真實特徵點位置資料差異很小。此時，卷積神經網路可以判斷各種輸入影像的確定人體方向。
於一實施例中，分類器可以是卷積神經網路的程式儲存於儲存裝置30中，處理裝置20可讀取出分類器並執行之。
於一實施例中，當處理裝置20以樹梅派實現時，分類器可以是卷積神經網路的程式儲存於樹梅派的儲存空間中。樹梅派中的處理器可以讀取儲存空間中的分類器並執行之。
於一實施例中，分類器可以由硬體電路實現之。
於步驟330中，處理裝置20找出此些人體方向機率中的最大者，並判斷此些人體方向機率中的最大者是否大於一準確度門檻值。
響應於該些人體方向機率中的最大者大於準確度門檻值時，處理裝置20將此些人體方向機率中的最大者所對應的人體方向，視為一確定人體方向，並進入步驟340。
於一實施例中，人體方向機率分別為一人體正面機率(例如為97%)、一左側身機率(例如為1%)、一右側身機率(例如為0%)及一人體背面機率(例如為2%)，則處理裝置20判斷此些人體方向機率值中的最大者(即人體正面機率97%)是否大於準確度門檻值。若準確度門檻值為70%，則人體正面機率97%大於準確度門檻值，處理裝置30將人體正面視為一確定人體方向，處理裝置20執行步驟340。
於一實施例中，在確定人體方向被決定後，智慧穿衣鏡能夠更精準的將虛擬衣服套用於人體影像上，能讓使用者USR看到他/她在不同身體角度所對應的穿上虛擬衣服的影像。
於步驟340中，處理裝置輸出一確定人體方向。於另一實施例中，處理裝置20將統計確定人體方向而獲得使用者的使用習慣資訊。於一實施例中，處理裝置20將確定人體方向傳輸至儲存於樹梅派或伺服器的其它模組，例如為擴增實境模組、虛擬衣服呈現模組等，讓使用者看到在不同身體角度所對應穿著的虛擬衣服或是配戴虛擬商品的影像。於一實施例中，顯示器40包含顯示模組、擴增實境模組，處理裝置20將確定人體方向傳輸至擴增實境模組後，擴增實境模組依據確定人體方向，將攝像機10拍攝到的人體影像與虛擬商品結合，並將結合後的畫面透過顯示模組呈現在顯示器40上。
另一方面，於步驟330中，響應於此些人體方向機率中的最大者不大於準確度門檻值時，處理裝置20執行步驟335。
於一實施例中，人體方向機率分別為一人體正面機率(例如為64%)、一左側身機率(例如為3%)、一右側身機率(例如為32%)及一人體背面機率(例如為1%)，則處理裝置20判斷此些人體方向機率值中的最大者(即人體正面機率64%)是否大於準確度門檻值。若準確度門檻值為70%，則人體正面機率64%不大於準確度門檻值，此種情況代表分類器輸出的人體方向沒有很明確的偏向，需要透過骨架特徵點進行更精細的判斷。因此，處理裝置20執行步驟335。
換言之，響應於此些人體方向機率中的最大者不大於準確度門檻值時，處理裝置20將透過此些骨架特徵點所判斷出的人體方向視為確定人體方向(步驟335)。
於步驟335中，處理裝置20透過此些骨架特徵點所判斷出的人體方向視為確定人體方向。
請參照第8A~8B圖，第8A~8B圖係依照本發明一實施例繪示一種透過骨架特徵點判斷人體方向的方法之示意圖。
第8A~8B圖中的骨架特徵點是由分類器輸出，依序為一左肩特徵點A’座標、一胸口特徵點B’座標及一右肩特徵點C’座標。
於一實施例中，處理裝置20將左肩特徵點A’座標與右肩特徵點C’座標之間連結出一第一直線L1，將第一直線L1的一中間點視為一圓心O。接著，透過圓心O及第一直線L1的一半長度為半徑(即圓心O到左肩特徵點A’的長度為半徑)，畫出一圓形。此外，將胸口特徵點B’座標與圓心O連結出一第二直線L2，計算第二直線L2與圓心O相連的夾角，在兩個夾角中，選擇小於90度的夾角α來判斷確定人體方向。於另一實施例中，處理裝置20進一步判斷兩個夾角是否小於一角度閥值，其中，角度閥值為小於90度並大於0度的角度，於一實施例中，角度閥值設定為45度，若兩個夾角中其中一夾角小於45度，且該夾角位於第一直線L1的左側，則確定人體方向為左側身；若兩個夾角中其中一夾角小於45度，且該夾角位於第一直線L1的右側，則確定人體方向為右側身，若兩個夾角皆大於45度，則確定人體方向為正面。其中，角度閥值例如為80度、45度、60度或30度，視需求設計。
於一實施例中，處理裝置20可以將第一直線L1旋轉至水平位置，並將三個座標一起旋轉，以利於計算及確認夾角α在第一直線L1的左側或右側，例如計算夾角α是否小於90度。
於一實施例中，處理裝置20判斷夾角α等於90度時，代表確定人體方向為人體正面。
於一實施例中，如第8A圖所示，處理裝置20判斷小於90度的夾角α位於第一直線L1的左側，則確定人體方向為左側身。於另一實施例中，處理裝置20進一步判斷小於90度的夾角α是否小於45度，若夾角α小於45度，且該夾角位於第一直線L1的左側，則確定人體方向為左側身；若夾角α小於45度，且該夾角位於第一直線L1的右側，則確定人體方向為右側身，若夾角α大於45度，則確定人體方向為正面。
於一實施例中，如第8A圖所示，處理裝置20判斷小於90度的夾角α位於第一直線L1的左側，且夾角α小於45度，則確定人體方向為左側身。於一實施例中，將左肩特徵點A’與胸口特徵點B’相連即為小於90度的夾角α對應的邊，此對應的邊相對位於圓心O的左邊，則處理裝置20確定人體方向為左側身。
於一實施例中，如第8B圖所示，處理裝置20判斷小於90度的夾角位於第一直線L1的右側，且夾角α小於45度，則確定人體方向為右側身。於一實施例中，將右肩特徵點C’與胸口特徵點B’相連即為小於90度的夾角α對應的邊，此對應的邊相對位於圓心O的右邊，則處理裝置20確定人體方向為右側身。
於一實施例中，處理裝置20從初始影像IMG0中將人體影像IMG1擷取出來，判斷人體影像IMG1中的人頭輪廓影像中是否有一人臉；響應於處理裝置20判斷人體影像IMG1中的人頭輪廓影像中沒有人臉，則確定人體方向為人體背面。
由上述可知，分類器是多任務輸出(multi task)型架構，可以將兩件事情用同一個架構完成，例如一個卷積神經網路的架構，這樣可以大量減低處理裝置20(例如以樹梅派實現之)所使用的資源。在人體位於明確的側身位置時，卷積神經網路可以輸出明確的(高於準確度門檻值的)人體方向機率，對應此人體機率的人體方向可視為確定人體方向。然而，在人體位於不明顯的側身位置時，卷積神經網路輸出的所有人體方向機率皆不高於準確度門檻值。此情況下，人體方向之偵測裝置100採用骨架特徵點以較精準的透過雙肩與胸口的位置計算夾角α，透過夾角α的位置以產生確定人體方向。
本發明實施例所示之人體方向之偵測裝置及人體方向之偵測裝置方法，可以精準的判斷人體方向。本案所述的確定人體方向例如為人體正面、左側身、右側身或人體背面，藉此可以使智慧穿衣鏡能夠更精準的將虛擬衣服套用於人體影像上。使用者即使側身，頭轉正，即朝向智慧穿衣鏡，亦可觀看到智慧穿衣鏡中合理的試穿結果，藉此提高良好的使用者經驗。此外，本發明實施例所示之人體方向之偵測裝置及人體方向之偵測裝置方法亦可將智慧穿衣鏡輸出的資料傳送到另一伺服器，以計算智慧穿衣鏡的使用率或將資料作為分析其他目的用途。
100:人體方向之偵測裝置 10:攝像機 20:處理裝置 30:儲存裝置 40:顯示器 USR:使用者 300:人體方向之偵測方法 305~325、310~340:步驟 IMG0:初始影像 USR’:使用者影像 IMG1,IMG3,IMG4:人體影像 IMG2:輸入影像 FCL:全連接層 A:左肩真實特徵點 B:衣領真實特徵點 C:右肩真實特徵點 A’:左肩特徵點 B’:胸口特徵點 C’:右肩特徵點 L1:第一直線 L2:第二直線 α:夾角 O:圓心
第1圖係依照本發明一實施例繪示一種人體方向之偵測裝置之方塊圖。 第2圖係依照本發明一實施例繪示一種人體方向之偵測裝置應用在智慧型穿搭鏡之示意圖。 第3A~3B圖係依照本發明一實施例繪示一種人體方向之偵測方法之流程圖。 第4圖係依照本發明一實施例繪示一種取得輸入影像之示意圖。 第5圖係依照本發明一實施例繪示一種人體影像之示意圖。 第6圖係依照本發明一實施例繪示一種取得分類器運作方式之示意圖。 第7圖係依照本發明一實施例繪示一種骨架特徵點之示意圖。 第8A~8B圖係依照本發明一實施例繪示一種透過骨架特徵點判斷人體方向的方法之示意圖。
300:人體方向之偵測方法
305~325:步驟

Claims (20)

  1. 一種人體方向之偵測裝置，該人體方向之偵測裝置包含： 一攝像機，該攝像機用以拍攝一人體影像；以及 一處理裝置，用以將該人體影像中的一人頭輪廓影像裁去後，得到一輸入影像，並將該輸入影像輸入到一分類器，該分類器輸出該輸入影像的複數個人體方向機率； 其中，該處理裝置找出該些人體方向機率中的最大者，並判斷該些人體方向機率中的最大者是否大於一準確度門檻值； 響應於該些人體方向機率中的最大者大於該準確度門檻值時，該處理裝置將該些人體方向機率中的最大者所對應的人體方向，視為一確定人體方向。
  2. 如請求項1之人體方向之偵測裝置，其中該分類器是以一卷積神經網路(Convolutional Neural Network，CNN)實現，該卷積神經網路在訓練階段接收到該輸入影像後，在全連接層(Fully Connected layer)輸出該些人體方向機率及多個骨架特徵點，將該些人體方向機率值最大者所對應的人體方向與一真實方向資料計算一回歸損失(loss)，並將該些骨架特徵點與複數個真實特徵點位置資料計算一歐式距離損失，再將該回歸損失與該歐式距離損失加總為一總損失，以反向傳播法調整該卷積神經網路的參數，以重新訓練該卷積神經網路，使每次訓練後，計算出來的該總損失變小； 其中該些人體方向機率對應到該卷積神經網路輸出的複數個特徵向量。
  3. 如請求項1之人體方向之偵測裝置，其中該分類器輸出該輸入影像的複數個骨架特徵點；其中響應於該些人體方向機率中的最大者不大於該準確度門檻值時，該處理裝置將透過該些骨架特徵點所判斷出的人體方向視為該確定人體方向。
  4. 如請求項1之人體方向之偵測裝置，其中該些人體方向機率分別為一人體正面機率、一左側身機率、一右側身機率及一人體背面機率。
  5. 如請求項3之人體方向之偵測裝置，其中該些骨架特徵點更包含一左肩特徵點座標、一右肩特徵點座標及一胸口特徵點座標。
  6. 如請求項5之人體方向之偵測裝置，其中該處理裝置將該左肩特徵點座標與該右肩特徵點座標之間連結出一第一直線，將該第一直線的一中間點視為一圓心，將該胸口特徵點座標與該圓心連結出一第二直線，計算該第二直線與該圓心相連的一夾角的角度，選擇小於一角度閥值的夾角判斷該確定人體方向，其中該角度閥值為小於90度並大於0度的角度。
  7. 如請求項6之人體方向之偵測裝置，其中該處理裝置判斷該夾角等於90度時，代表該確定人體方向為人體正面； 其中該處理裝置進一步判斷： 該夾角是否小於等於該角度閥值，響應於該夾角小於等於該角度閥值，且該夾角位於該第一直線的左側，則該確定人體方向為左側身； 該夾角是否小於等於該角度閥值，響應於該夾角小於等於該角度閥值，且該夾角位於該第一直線的右側，則該確定人體方向為右側身；以及 判斷複數個夾角皆大於該角度閥值，則該確定人體方向為正面。
  8. 如請求項1之人體方向之偵測裝置，其中該處理裝置判斷該人體影像中的該人頭輪廓影像中是否有一人臉；響應於該處理裝置判斷該人體影像中的該人頭輪廓影像中沒有該人臉，則該確定人體方向為人體背面。
  9. 如請求項1之人體方向之偵測裝置，其中該處理裝置統計該確定人體方向，而獲得一使用習慣資訊。
  10. 如請求項1之人體方向之偵測裝置，更包括： 一顯示器； 其中，該顯示器包含一顯示模組及一擴增實境模組； 其中，該處理裝置將該確定人體方向傳輸至該擴增實境模組後，該擴增實境模組依據該確定人體方向，將該人體影像與一虛擬商品結合，並將結合後的畫面透過該顯示模組呈現在該顯示器上。
  11. 一種人體方向之偵測方法，該人體方向之偵測方法包含： 透過一攝像機以拍攝一人體影像； 將該人體影像中的一人頭輪廓影像裁去後，得到一輸入影像，並將該輸入影像輸入到一分類器，該分類器輸出該輸入影像的複數個人體方向機率；以及 找出該些人體方向機率中的最大者，並判斷該些人體方向機率中的最大者是否大於一準確度門檻值； 其中，響應於該些人體方向機率中的最大者大於該準確度門檻值時，將該些人體方向機率中的最大者所對應的人體方向，視為一確定人體方向。
  12. 如請求項11之人體方向之偵測方法，其中該分類器是以一卷積神經網路(Convolutional Neural Network，CNN)實現，該卷積神經網路在訓練階段接收到該輸入影像後，在全連接層(Fully Connected layer)輸出該些人體方向機率及多個骨架特徵點，將該些人體方向機率值最大者所對應的人體方向與一真實方向資料計算一回歸損失(loss)，並將該些骨架特徵點與複數個真實特徵點位置資料計算一歐式距離損失，再將該回歸損失與該歐式距離損失加總為一總損失，以反向傳播法調整該卷積神經網路的參數，以重新訓練該卷積神經網路，使每次訓練後，計算出來的該總損失變小； 其中該些人體方向機率對應到該卷積神經網路輸出的複數個特徵向量。
  13. 如請求項11之人體方向之偵測方法，其中該分類器輸出該輸入影像的複數個骨架特徵點；其中響應於該些人體方向機率中的最大者不大於該準確度門檻值時，將透過該些骨架特徵點所判斷出的人體方向視為該確定人體方向。
  14. 如請求項11之人體方向之偵測方法，其中該些人體方向機率分別為一人體正面機率、一左側身機率、一右側身機率及一人體背面機率。
  15. 如請求項13之人體方向之偵測方法，其中該些骨架特徵點更包含一左肩特徵點座標、一右肩特徵點座標及一胸口特徵點座標。
  16. 如請求項15之人體方向之偵測方法，更包含： 將該左肩特徵點座標與該右肩特徵點座標之間連結出一第一直線，將該第一直線的一中間點視為一圓心； 將該胸口特徵點座標與該圓心連結出一第二直線； 計算該第二直線與該圓心相連的一夾角的角度；以及 選擇小於一角度閥值的夾角判斷該確定人體方向，其中該角度閥值為小於90度並大於0度的角度。
  17. 如請求項16之人體方向之偵測方法，其中響應於該夾角等於90度時，代表該確定人體方向為人體正面；其中響應於該夾角小於等於該角度閥值，且該夾角位於該第一直線的左側，則該確定人體方向為左側身；其中響應於該夾角小於等於該角度閥值，且該夾角位於該第一直線的右側，則該確定人體方向為右側身；以及響應於複數個夾角大於該角度閥值，則該確定人體方向為正面。
  18. 如請求項11之人體方向之偵測方法，更包含： 判斷該人體影像中的該人頭輪廓影像中是否有一人臉； 響應於該處理裝置判斷該人體影像中的該人頭輪廓影像中沒有該人臉，則該確定人體方向為人體背面。
  19. 如請求項11之人體方向之偵測方法，更包含： 統計該確定人體方向，而獲得一使用習慣資訊。
  20. 如請求項11之人體方向之偵測方法，更包含： 將該確定人體方向傳輸至一擴增實境模組後，該擴增實境模組依據該確定人體方向，將該人體影像與一虛擬商品結合，並將結合後的畫面透過一顯示模組呈現在一顯示器上。
TW110115222A 2021-04-28 2021-04-28 人體方向之偵測裝置及人體方向之偵測方法 TWI768852B (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
TW110115222A TWI768852B (zh) 2021-04-28 2021-04-28 人體方向之偵測裝置及人體方向之偵測方法
CN202110613296.4A CN115249365A (zh) 2021-04-28 2021-06-02 人体方向的检测装置及人体方向的检测方法
US17/373,681 US11816860B2 (en) 2021-04-28 2021-07-12 Detection device for detecting human-body orientation and detection method for detecting human-body orientation
JP2021170311A JP7235826B2 (ja) 2021-04-28 2021-10-18 人体の方向を検出する検出装置、および、人体の方向を検出する検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110115222A TWI768852B (zh) 2021-04-28 2021-04-28 人體方向之偵測裝置及人體方向之偵測方法

Publications (2)

Publication Number Publication Date
TWI768852B true TWI768852B (zh) 2022-06-21
TW202242797A TW202242797A (zh) 2022-11-01

Family

ID=83103988

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110115222A TWI768852B (zh) 2021-04-28 2021-04-28 人體方向之偵測裝置及人體方向之偵測方法

Country Status (4)

Country Link
US (1) US11816860B2 (zh)
JP (1) JP7235826B2 (zh)
CN (1) CN115249365A (zh)
TW (1) TWI768852B (zh)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115862074B (zh) * 2023-02-28 2023-05-30 科大讯飞股份有限公司 人体指向确定、屏幕控制方法、装置及相关设备
CN117115862A (zh) * 2023-10-23 2023-11-24 四川泓宝润业工程技术有限公司 一种基于深度学习的多个人体的跌倒检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM537277U (zh) * 2016-09-26 2017-02-21 Hungkuang Univ 嬰兒照護資訊系統
US20200118333A1 (en) * 2018-10-16 2020-04-16 Disney Enterprises, Inc. Automated costume augmentation using shape estimation
CN112164091A (zh) * 2020-08-25 2021-01-01 南京邮电大学 基于三维骨架提取的移动设备人体位姿估计方法
CN112258275A (zh) * 2020-10-22 2021-01-22 郝凌宇 远程可视化服装设计定制方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4481663B2 (ja) 2004-01-15 2010-06-16 キヤノン株式会社 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
JP4114696B2 (ja) 2006-05-25 2008-07-09 ソニー株式会社 試着画像生成装置及び試着画像生成方法、試着画像利用端末及び試着画像利用方法、並びにコンピュータ・プログラム
DE102009025077A1 (de) * 2009-06-10 2010-12-16 Karl Storz Gmbh & Co. Kg System zur Orientierungsunterstützung und Darstellung eines Instruments im Inneren eines Untersuchungsobjektes insbesondere im menschlichen Körper
JP6448223B2 (ja) 2014-06-12 2019-01-09 キヤノン株式会社 画像認識システム、画像認識装置、画像認識方法、およびコンピュータプログラム
JP6573193B2 (ja) * 2015-07-03 2019-09-11 パナソニックＩｐマネジメント株式会社 判定装置、判定方法、および判定プログラム
US20220036581A1 (en) 2018-09-26 2022-02-03 Nec Corporation Estimation device, estimation method, and storage medium
JP2022034571A (ja) * 2018-11-26 2022-03-04 住友電気工業株式会社 交通情報処理サーバ、交通情報の処理方法、及びコンピュータプログラム
US11847730B2 (en) * 2020-01-24 2023-12-19 Covidien Lp Orientation detection in fluoroscopic images
US11482041B2 (en) * 2020-10-21 2022-10-25 Adobe Inc. Identity obfuscation in images utilizing synthesized faces

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWM537277U (zh) * 2016-09-26 2017-02-21 Hungkuang Univ 嬰兒照護資訊系統
US20200118333A1 (en) * 2018-10-16 2020-04-16 Disney Enterprises, Inc. Automated costume augmentation using shape estimation
CN112164091A (zh) * 2020-08-25 2021-01-01 南京邮电大学 基于三维骨架提取的移动设备人体位姿估计方法
CN112258275A (zh) * 2020-10-22 2021-01-22 郝凌宇 远程可视化服装设计定制方法

Also Published As

Publication number Publication date
US11816860B2 (en) 2023-11-14
CN115249365A (zh) 2022-10-28
JP7235826B2 (ja) 2023-03-08
TW202242797A (zh) 2022-11-01
US20220351408A1 (en) 2022-11-03
JP2022170649A (ja) 2022-11-10

Similar Documents

Publication Publication Date Title
Cheng et al. Gaze estimation by exploring two-eye asymmetry
WO2019128508A1 (zh) 图像处理方法、装置、存储介质及电子设备
CN102332095B (zh) 一种人脸运动跟踪方法和系统以及一种增强现实方法
CN109952594B (zh) 图像处理方法、装置、终端及存储介质
Reale et al. A multi-gesture interaction system using a 3-D iris disk model for gaze estimation and an active appearance model for 3-D hand pointing
TWI768852B (zh) 人體方向之偵測裝置及人體方向之偵測方法
CN109359514B (zh) 一种面向deskVR的手势跟踪识别联合策略方法
CN107958479A (zh) 一种移动端3d人脸增强现实实现方法
Papadopoulos et al. Human action recognition using 3d reconstruction data
WO2022174594A1 (zh) 基于多相机的裸手追踪显示方法、装置及系统
WO2023097967A1 (zh) 一种动作检测方法、装置、设备、存储介质及计算机程序产品
Liu et al. 3D action recognition using multiscale energy-based global ternary image
WO2023071882A1 (zh) 人眼注视检测方法、控制方法及相关设备
Perra et al. Adaptive eye-camera calibration for head-worn devices
CN106570747A (zh) 结合手势识别的眼镜在线适配方法及系统
Hammer et al. Robust hand tracking in realtime using a single head-mounted rgb camera
CN117372657A (zh) 关键点旋转模型的训练方法及装置、电子设备和存储介质
Liu et al. A robust hand tracking for gesture-based interaction of wearable computers
Varchmin et al. Image based recognition of gaze direction using adaptive methods
Tsai et al. Intelligent attendance monitoring system with spatio-temporal human action recognition
Teng et al. Facial expressions recognition based on convolutional neural networks for mobile virtual reality
KR101844367B1 (ko) 부분 포즈 추정에 의하여 개략적인 전체 초기설정을 사용하는 머리 포즈 추정 방법 및 장치
Pham et al. Hand detection and segmentation using multimodal information from Kinect
Jain et al. [POSTER] AirGestAR: Leveraging Deep Learning for Complex Hand Gestural Interaction with Frugal AR Devices
Hori et al. Silhouette-Based 3D Human Pose Estimation Using a Single Wrist-Mounted 360° Camera