TWI704530B - 注視度判斷裝置及方法 - Google Patents

注視度判斷裝置及方法 Download PDF

Info

Publication number
TWI704530B
TWI704530B TW108103319A TW108103319A TWI704530B TW I704530 B TWI704530 B TW I704530B TW 108103319 A TW108103319 A TW 108103319A TW 108103319 A TW108103319 A TW 108103319A TW I704530 B TWI704530 B TW I704530B
Authority
TW
Taiwan
Prior art keywords
image
gaze
face
generate
pupil
Prior art date
Application number
TW108103319A
Other languages
English (en)
Other versions
TW202029130A (zh
Inventor
陳弘恩
卓韋佑
邱璟明
許聿靈
張曉珍
Original Assignee
財團法人資訊工業策進會
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人資訊工業策進會 filed Critical 財團法人資訊工業策進會
Priority to TW108103319A priority Critical patent/TWI704530B/zh
Priority to CN201910095688.9A priority patent/CN111488775B/zh
Priority to US16/721,354 priority patent/US10991124B2/en
Publication of TW202029130A publication Critical patent/TW202029130A/zh
Application granted granted Critical
Publication of TWI704530B publication Critical patent/TWI704530B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Ophthalmology & Optometry (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

一種注視度判斷裝置及方法。該裝置包含儲存器，儲存注視度判斷模型；影像擷取器，用以擷取一影像；處理器，電性連接至該儲存器及該影像擷取器，且執行下列運作：分析該影像，以產生複數個臉部三軸定位值及複數個臉部標記識別點；從該等臉部標記識別點取得複數個特定標記識別點以產生熱區圖，將該熱區圖與一標準熱區圖比對以產生影像補償值；基於該影像及該影像補償值來執行臉部校正處理，以產生虛擬校正影像；分析該虛擬校正影像，以取得瞳孔位移值；以及根據該注視度判斷模型、該等臉部三軸定位值及該瞳孔位移值，判斷一使用者之注視度。

Description

注視度判斷裝置及方法
本發明係關於一種注視度判斷裝置及方法。具體而言，本發明係關於一種經由辨識影像以判斷影像中一人員注視度的裝置及方法。
隨著科技的快速發展，影像處理技術已逐漸地應用於各種攝像裝置(例如：監控工廠操作員使用操作面板之攝影裝置、賣場貨架周圍的一般攝影裝置)，並因此達到依據目標使用者目光所在的位置，而提供各式相關的資訊、服務、推銷或是輔助(例如：工廠操作員所注視之操作按鈕資訊、客戶注視貨架上產品之相關資訊)。
習知的注視度追蹤技術主要有兩種，第一種是由使用者配戴特殊的眼鏡，眼鏡上具有可偵測追蹤使用者瞳孔移動的感測器，再結合商場的其他感測器或定位器，以判斷使用者的注視目標。然而，由於需要使用者配戴額外的硬體且設置額外的感測器，在使用上並不便利且造成佈建成本提升，因而無法有效地應用在一般工廠或是賣場中。
習知的第二種注視度追蹤技術主要是拍攝使用者的臉部影像，解析影像取得眼睛位置再進一步取得瞳孔位置，然後在不同時間點影像中來追蹤瞳孔位移及方向，來判斷使用者的注視方向。此類技術需要事先精準地對瞳孔定位，後續才能正確地追蹤瞳孔的位移和方向以判斷使用者的 注視度，通常影像必須具有一定清晰度，才能提高判斷的精準度，所以拍攝影像的距離不能太遠，通常是在電腦螢幕上安裝攝影機進行拍攝。使用者在使用時需要經由使用介面進行繁雜之定位流程，將臉部及五官於使用介面的預設區域進行定位和校正偵測(例如：需在特定焦距內方符合預設之五官大小)，相當費時且使用不便。此外，由於習知的技術在做影像解析取得臉部影像時僅考慮正臉的情形(即，預設人臉的角度是固定的)，而未考慮人臉偏移、轉向、側臉時的角度，因而可能造成明顯的誤差，且由於需要清晰的臉部影像，使得此類的技術限制在近距離(例如：使用者與攝影機距離在30至45公分之間)的偵測，因此仍然無法有效的運用在商場、工廠或其他環境中。
有鑑於此，如何有效率且精準的判斷人員的注視度，而不需要增加額外的硬體建置成本以及繁雜的瞳孔定位，乃業界亟需努力之目標。
本發明之一目的在於提供一種注視度判斷裝置。該裝置包含一儲存器、一影像擷取器及一處理器，該處理器電性連接至該儲存器及該影像擷取器。該儲存器儲存一注視度判斷模型。該影像擷取器，用以擷取一影像。該處理器分析該影像，以產生複數個臉部三軸定位值及複數個臉部標記(landmark)識別點。該處理器從該等臉部標記識別點取得複數個特定標記識別點，以產生一熱區圖(heatmap)，將該熱區圖與一標準熱區圖比對以產生一影像補償值，其中該影像補償值指示一臉部位移量。該處理器基於該影像及該影像補償值來執行一臉部校正處理，以產生一虛擬校正影像。該處理器分析該虛擬校正影像，以取得一瞳孔位移值。該處理器根據該注視度判斷 模型、該等臉部三軸定位值及該瞳孔位移值，計算一注視度。
本發明之另一目的在於提供一種注視度判斷方法，適用於一注視度判斷裝置。該注視度判斷裝置包含一儲存器、一影像擷取器及一處理器。該儲存器儲存一注視度判斷模型，該影像擷取器用以擷取一影像。該注視度判斷方法由該處理器所執行，且包含下列步驟：(a)分析該影像，以產生複數個臉部三軸定位值及複數個臉部標記識別點，(b)從該等臉部標記識別點取得複數個特定標記識別點以產生一熱區圖，將該熱區圖與一標準熱區圖比對，以產生一影像補償值，其中該影像補償值指示一臉部位移量，(c)基於該影像及該影像補償值來執行一臉部校正處理，以產生一虛擬校正影像，(d)分析該虛擬校正影像，以取得一瞳孔位移值，以及(e)根據該注視度判斷模型、該等臉部三軸定位值及該瞳孔位移值，計算一注視度。
由上述說明可知，本發明所提供之注視度判斷技術(至少包含裝置及方法)，先分析影像的臉部特徵及臉部的角度後，分別產生複數個臉部三軸定位值及複數個臉部標記識別點。透過比對由臉部特徵點所產生的熱區圖與標準熱區圖，產生影像補償值。藉由影像及影像補償值，產生經校正的虛擬臉部影像。分析已校正的虛擬臉部影像，產生瞳孔位移值。將該等臉部三軸定位值及瞳孔位移值輸入至注視度判斷模型，判斷影像中使用者之注視度。透過前述運作，本發明可透過影像判斷影像中使用者之注視度，免除了繁雜的瞳孔定位，且有效率的節省了額外的硬體建置成本，解決習知技術可能產生的問題。此外，本發明更在判斷注視度前先將影像之人臉校正，因此可適用於使用者的各種臉部角度影像，在商場、工廠等場域皆能應用，更精確的判斷使用者之注視度。
以下結合圖式闡述本發明之詳細技術及實施方式，俾使本發明所屬技術領域中具有通常知識者能理解所請求保護之發明之技術特徵。
1‧‧‧注視度判斷裝置
11‧‧‧儲存器
13‧‧‧影像擷取器
15‧‧‧處理器
101‧‧‧影像
203、205‧‧‧影像
203h、205h‧‧‧熱區圖
S‧‧‧標準熱區圖
203v‧‧‧虛擬校正影像
A、B、C、D‧‧‧人員
401、403、405‧‧‧示意圖
S501~S509‧‧‧步驟
第1A圖係描繪第一實施方式之注視度判斷裝置1之架構示意圖；第1B圖係描繪臉部三軸定位值及臉部標記識別點之示意圖；第2A圖係描繪影像203及影像205及其分別產生之熱區圖203h及熱區圖205h；第2B圖係描繪標準熱區圖S；第3圖係描繪產生虛擬校正影像203v之一具體範例；第4圖係描繪分析該虛擬校正影像以取得瞳孔位移值之一示意圖；以及第5圖係描繪第二實施方式所執行方法之部分流程圖。
以下將透過實施方式來解釋本發明所提供之一種注視度判斷裝置及方法。然而，該等實施方式並非用以限制本發明需在如該等實施方式所述之任何環境、應用或方式方能實施。因此，關於實施方式之說明僅為闡釋本發明之目的，而非用以限制本發明之範圍。應理解，在以下實施方式及圖式中，與本發明非直接相關之元件已省略而未繪示，且各元件之尺寸以及元件間之尺寸比例僅為例示而已，而非用以限制本發明之範圍。
本發明之第一實施方式為一種注視度判斷裝置1，其架構示 意圖係描繪於第1A圖。注視度判斷裝置1包含一儲存器11、一影像擷取器13及一處理器15，處理器15電性連接至儲存器11及影像擷取器13。於本實施方式中，儲存器11儲存一注視度判斷模型，該注視度判斷模型可由注視度判斷裝置1本身建置，亦可自外部裝置接收，關於該注視度判斷模型的建置方式及其內容將在後面段落另詳細說明。儲存器11可為一記憶體、一通用串列匯流排(Universal Serial Bus；USB)碟、一硬碟、一光碟、一隨身碟或本發明所屬技術領域中具有通常知識者所知且具有相同功能之任何其他儲存媒體或電路。
影像擷取器13用以擷取一影像。於某些實施方式中，影像擷取器13亦可從一監視裝置或攝影裝置(未繪示)所拍攝之影片中擷取影像或由外部直接接收影像。影像擷取器13可為各種感光耦合元件(Charge-Coupled Device；CCD)、互補式金屬氧化物半導體(Complementary Metal-Oxide-Semiconductor；CMOS)感光元件或本發明所屬技術領域中具有通常知識者所知悉之其他可取得影像之影像擷取裝置。處理器15可為各種處理器、中央處理單元、微處理器、數位訊號處理器或本發明所屬技術領域中具有通常知識者所知之其他計算裝置。於一些實施方式中，注視度判斷裝置1可以但不限於和監控裝置、錄影機或辨識系統的資訊蒐集裝置等整合成一複合裝置，亦可為一獨立裝置再和其他裝置進行鏈結。
於本實施方式中，處理器15自影像擷取器13接收影像101。影像101中可包含一使用者(例如，待偵測注視度人員)的臉部影像，舉例而言，影像101可以是關於工廠操作員正在使用操作面板之畫面、或是客戶於賣場貨架前注視貨架上的商品之畫面等等。
隨後，處理器15分析影像101以產生複數個臉部三軸定位值及複數個臉部標記識別點。臉部三軸定位值用以表示影像中人的臉部角度，於某些實施方式中，臉部三軸定位值可以包含一航偏角(yaw)、一俯仰角(pitch)及一滾轉角(roll)，且其各自對應至一數值，複數個臉部標記識別點用以標記影像中人的臉部特徵位置。於某些實施方式中，該等臉部三軸定位值及該等臉部標記識別點可不限於同時產生。
舉例而言，如第1B圖所例示，分析該影像後產生的臉部三軸定位值，其分別為滾轉角11.45、航偏角-10.87、俯仰角2.58，臉部標記識別點可以標記出影像中的一臉部形狀、一眼部(包含瞳孔、眼角位置、眼睛輪廓、眉毛等)、一鼻部及一嘴部(包含嘴巴之輪廓、兩側嘴角位置等)等等的臉部特徵位置。應理解，第1B圖僅為了方便例示，本發明未限制臉部標記識別點的特徵位置數量，臉部標記識別點亦可包含其他可幫助臉部辨識的臉部特徵位置。處理器15可透過任何習知之人臉辨識技術(例如Google Facenet或其他)分析影像101，以產生臉部三軸定位值及臉部標記識別點，所屬領域具有通常知識者應可根據以上內容理解產生臉部標記識別點的細節，茲不贅言。
須說明者，由於一般賣場/工廠之攝影機或監控裝置，不可能密集且毫無成本考量的架設，而是由適量的攝影機或監控裝置來拍攝特定的貨架或操作面板為主。因此，影像101在拍攝/擷取時，目標人員是在自由移動或是隨意移轉臉部的狀態，極有可能是在目標人員處於非正臉之狀態拍攝，例如：由賣場攝影機所拍攝，客戶在賣場貨架前注視右邊貨架上商品的畫面。因此，為了使得對於注視度的判斷更為準確，於本實施方式中， 處理器15將進一步先將影像101先進行校正，以模擬成正臉狀態，再進行後續注視度之判斷，以下將說明產生虛擬校正影像之運作方式。
具體而言，在產生該等臉部標記識別點後，處理器15從該等臉部標記識別點取得複數個特定標記識別點，以產生一熱區圖，該熱區圖係根據該等臉部特徵位置產生。接著，處理器15將影像101所產生之熱區圖與一標準熱區圖比對，以產生一影像補償值，該影像補償值用以指示將影像中的側臉轉向至正臉時之位移量(即，臉部位移量)。
舉例而言，如第2A圖及第2B圖所示，影像203及影像205為不同的二個人於不同角度拍攝的影像，處理器15從二張影像各自之複數個臉部標記識別點中取得五個臉部特徵位置作為特定標記識別點，分別為一左眼角、一右眼角(即，二個眼睛的眼角位置)、一鼻頭、嘴巴左端及嘴巴右端(即，嘴巴兩側之嘴角位置)的五個特徵位置，處理器15再根據二張影像各自該等特定標記識別點，分別產生第2A圖右方之熱區圖203h(對應至圖像203)及熱區圖205h(對應至圖像205)。接著，處理器15將熱區圖203h及與第2B之標準熱區圖S比對，以產生影像203之一影像補償值。同樣地，處理器15將熱區圖205h與第2B之標準熱區圖S比對，以產生影像205之一影像補償值。
具體而言，處理器15可透過熱區圖上每個特定標記識別點移動至標準熱區圖S的各個相對位置的距離，計算將臉部轉移至正向時的位移量(例如：偏移距離值)，作為該影像的影像補償值。應理解，處理器15可事先根據一正臉影像或多張正臉影像透過統計(例如：平均特定標記識別點座標)，產生作為比對標準的標準熱區圖S。
隨後，處理器15即可基於影像101及影像補償值來執行一臉部校正處理，以產生一虛擬校正影像。具體而言，臉部校正處理是執行一臉部正向化(frontalization)處理。例如：前述處理器15將熱區圖203h及與第2B之標準熱區圖S比對，產生影像203的影像補償值之後，透過熱區圖上每個特定標記識別點移動至標準熱區圖S的各個相對位置的距離，將臉部轉移至正向。
以一實際例子舉例而言，如第3圖所示，其顯示出人員A、B、C及D在面對攝影機時的6種不同偏移角度(為便於說明，本例採用由左至右分別為偏移90度、75度、60度、45度、30度及15度，但實際使用狀況可以是各種角度)的影像及其所分別產生之熱區圖。舉例而言，當處理器15接收到人員A的之影像203，同前述例子，處理器15根據影像203之該等特定標記識別點，產生熱區圖203h。接著，處理器15將熱區圖203h與標準熱區圖S(即，影像補償值為0)比對以產生對應影像203之影像補償值(例如：偏移距離值為1.1)。隨後，處理器15即可根據影像203及影像203之影像補償值，模擬影像203正向化後之影像，產生虛擬校正影像203v。應理解，此處僅為方便例示，而非用以限制本發明之範圍。
於某些實施方式中，在執行該臉部正向化處理之後，處理器15可更執行一雙鑑別(couple-agent discriminator)處理，用以提升該虛擬校正影像之擬真度。舉例而言，處理器15判斷正向化後產生的虛擬校正影像，若虛擬校正影像的部分數值到達某一程度(例如：嘴巴寬度小於一設定值、各臉部器官間距離過近、產生不對稱之歪斜等等)，就可使用雙鑑別處理來校正，使得虛擬校正影像變得更自然且真實。須說明者，處理器15可利 用對抗生成網路(Generative Adversarial Network；GAN)來完成雙鑑別處理，所屬領域具有通常知識者應可根據上述內容理解其細節，茲不贅言。
接著，處理器15分析該虛擬校正影像，以取得一瞳孔位移值。具體而言，在分析該虛擬校正影像時包含下列運作，首先處理器15先分析虛擬校正影像，以產生複數個臉部標記識別點。臉部標記識別點至少標記出虛擬校正影像中的一眼部(包含瞳孔、眼角位置、眼睛輪廓等資訊)的特徵位置。隨後，根據該等臉部標記識別點，擷取複數個眼部輪廓特徵點，從該等眼部輪廓特徵點擷取一瞳孔特徵點。最後，處理器15基於該瞳孔特徵點，取得一瞳孔位移值。
舉例而言，如第4圖所示，複數個臉部標記識別點標記出虛擬校正影像中的眼部的特徵位置(圖401)，處理器15根據該等臉部標記識別點，擷取複數個眼部輪廓特徵點(圖403)。接著，進行瞳孔解析訓練，以該等眼部輪廓特徵點擷取一瞳孔特徵點。最後，處理器15基於該瞳孔特徵點，計算一瞳孔位移值。具體而言，處理器15可將瞳孔影像(即，眼部輪廓特徵點)作二值化處理，結合卷積神經網路(Convolutional neural network；CNN)，辨識複數個眼部輪廓特徵點，將該等眼部輪廓特徵點分為至少三類型(如圖405，其中數字1為上眼瞼部分、數字2為瞳孔部分、數字3為下眼瞼部分)，從該等眼部輪廓特徵點擷取一瞳孔特徵點。本領域具有通常知識者應可理解從特徵點擷取瞳孔特徵點以及基於瞳孔特徵點計算瞳孔位移值之內容，茲不贅言。
接著，處理器15根據儲存於儲存器11之注視度判斷模型、該等臉部三軸定位值及該瞳孔位移值，判斷使用者之一注視度。具體而言，處 理器15將由前述方法取得之臉部三軸定位值及瞳孔位移值，輸入至注視度判斷模型以判斷注視度。
接著說明該注視度判斷模型的建置方式，注視度判斷模型可由注視度判斷裝置1本身建置。於某些實施方式中，注視度判斷裝置1亦可由外部直接接收已訓練完成之該注視度判斷模型。於本實施方式中，注視度判斷模型由注視度判斷裝置1透過以下步驟自行建置。首先，由處理器15接收複數張樣本影像及對應各該樣本影像之一瞳孔位移值。接著，由處理器15分析各該樣本影像，以產生對應各該樣本影像之複數個臉部三軸定位值，產生臉部三軸定向的技術如前實施例中所述，不重複贅述。最後，由處理器15根據對應各該樣本影像之該等第二臉部三軸定位值及該等第二瞳孔位移值，透過機器學習建立該注視度判斷模型。
具體而言，在建置注視度判斷模型時，為取得每一樣本影像所對應的瞳孔位移值，可經由一瞳孔位移量測裝置(例如：眼動儀)來量測瞳孔位移值。具體而言，可由一個或多個使用者戴上眼動儀進行操作，並透過監視裝置或攝影裝置拍攝使用者操作時的影像，以便同時產生複數張樣本影像並取得對應的瞳孔位移值。由於眼動儀可直接輸出使用者實際的瞳孔位移值，因此可直接產生對應於各該樣本影像之瞳孔位移值。接著，由處理器15分析各該樣本影像，以產生對應各該樣本影像之複數個臉部三軸定位值。舉例而言，可經由分析角度量測套件(例如：CV2 Solve PnP)取得影像中人臉的航偏角、俯仰角及滾轉角的數值。最後，處理器15即可透過前述方法所產生之多個樣本數據，然後透過機器學習等技術建置注視度判斷模型。由本實施方式可以使用二維樣本影像及搭配眼動儀來建立該注視度 判斷模型，經由機器學習模型來提升注視度判斷模型的準確度。須說明者，本技術領域具有通常知識者應可根據上述內容理解關於模型訓練的方法，故不贅言。
於某些特定應用的實施方式中，處理器15更可根據該注視度及一注視目標物座標，判斷一相對注視座標。具體而言，處理器15可根據不同應用之環境產生相對應之注視目標座標。舉例而言，不同之賣場具有不同之貨架尺寸與貨架座標，每一個貨架可以設定一獨立的注視目標物座標，同時具有對應的影像擷取器13來拍攝特定距離內的使用者影像，處理器15可經由影像分析來估算影像中使用者的一深度值，根據該深度值、所計算出來的注視度及注視目標物座標，進而可判斷使用者是在注視於賣場貨架上的哪一個商品。又舉例而言，操作面板亦可具有面板座標、不同的面板尺寸及多個按鈕，處理器15同樣可根據影像分析出使用者的深度值、注視度及注視目標物座標，判斷使用者是在注視操作面板上的哪一個按鈕。
於某些實施方式中，處理器15更可依據使用者所注視的商品或按鈕，提供對應該商品或按鈕之一資料給該使用者。具體而言，處理器15可根據相對注視座標，提供各式相關的資訊、服務、推銷或是輔助(例如：工廠操作員所注視之操作按鈕資訊、客戶注視貨架上產品之相關資訊)。
於某些實施方式中，本發明可不僅只參考單一影像，而可同時根據同一時間區間中，多張影像判斷注視度之結果來綜合判斷(例如：注視度之平均值)，以更精確的判斷使用者之注視度。所屬領域具有通常知識者應可根據以上內容理解多張影像的判斷方式，茲不贅言。
由上述說明可知，注視度判斷裝置1藉由分析影像的臉部特 徵及臉部的角度後，分別產生複數個臉部三軸定位值及複數個臉部標記識別點，透過比對由臉部特徵所產生的熱區圖與標準熱區圖，產生影像補償值。藉由影像及影像補償值，產生經校正的虛擬臉部影像。分析已校正的虛擬臉部影像，產生瞳孔位移值。將該等臉部三軸定位值及瞳孔位移值輸入至注視度判斷模型，判斷影像中使用者之注視度。透過前述運作，本發明可透過影像判斷影像中使用者之注視度，免除了繁雜的瞳孔定位，且有效率的節省了額外的硬體建置成本，解決習知技術可能產生的問題。此外，本發明更在判斷注視度前先將影像之人臉校正，因此可適用於使用者的各種臉部角度影像，在商場、工廠等場域皆能應用，更精確的判斷使用者之注視度。
第5圖繪示了本發明之第二實施方式的方法流程圖。此方法適用於一電子裝置，例如：第一實施方式所述之注視度判斷裝置1。該電子裝置包含一儲存器、一影像擷取器及一處理器，該儲存器儲存一注視度判斷模型(例如：第一實施方式之注視度判斷模型)，該影像擷取器用以擷取一影像，該注視度判斷方法由該處理器所執行。該注視度判斷方法透過步驟S501至步驟S509判斷一使用者之一注視度。
於步驟S501，由該電子裝置分析該影像，以產生複數個臉部三軸定位值及複數個臉部標記識別點。接著，於步驟S503，由該電子裝置從該等臉部標記識別點取得複數個特定標記識別點，以產生一熱區圖，將該熱區圖與一標準熱區圖比對，以產生一影像補償值，其中該影像補償值指示一臉部位移量。隨後，於步驟S505，由該電子裝置基於該影像及該影像補償值來執行一臉部校正處理，以產生一虛擬校正影像。
接著，於步驟S507，由該電子裝置分析該虛擬校正影像，以 取得一瞳孔位移值。最後，於步驟S509，由該電子裝置根據該注視度判斷模型、該等臉部三軸定位值及該瞳孔位移值，判斷一使用者之一注視度。
於某些實施方式中，其中該等臉部三軸定位值係包含一航偏角(yaw)、一俯仰角(pitch)及一滾轉角(roll)，且其各自對應至一數值。
於某些實施方式中，其中該等第一臉部標記識別點用以標記複數個臉部特徵位置，該等臉部特徵位置至少包含一左眼角、一右眼角、一鼻頭、一嘴巴左端及一嘴巴右端的特徵位置，該熱區圖係根據該等臉部特徵位置產生，且該臉部校正處理是執行一臉部正向化(frontalization)處理。
於某些實施方式中，其中執行該臉部校正處理更包含以下步驟：在執行該臉部正向化處理之後，更執行一雙鑑別(couple-agent discriminator)處理，其中該雙鑑別處理用以提升該虛擬校正影像之擬真度。
於某些實施方式中，其中分析該虛擬校正影像包含下列步驟：分析該虛擬校正影像，以產生複數個臉部標記識別點；根據該等臉部標記識別點，擷取複數個眼部輪廓特徵點，從該等眼部輪廓特徵點擷取一瞳孔特徵點；以及基於該瞳孔特徵點，取得一瞳孔位移值。
於某些實施方式中，其中該注視度判斷模型係由下列步驟建立：接收複數張樣本影像及對應各該樣本影像之一瞳孔位移值；分析各該樣本影像，以產生對應各該樣本影像之複數個臉部三軸定位值；以及根據對應各該樣本影像之該等臉部三軸定位值及該等瞳孔位移值，透過機器學習建立該注視度判斷模型。
於某些實施方式中，在建置注視度判斷模型時，為取得每一樣本影像所對應的瞳孔位移值，可經由一瞳孔位移量測裝置(例如：眼動儀) 來量測瞳孔位移值。
於某些實施方式中，其中該注視度判斷方法更包含下列步驟：根據該注視度及一注視目標物座標，判斷一相對注視座標。
於某些實施方式中，其中該注視度判斷方法更包含下列步驟：判斷該相對注視座標所對應之一物件，提供對應該物件之一資料給該使用者。
除了上述步驟，第二實施方式亦能執行第一實施方式所描述之注視度判斷裝置1之所有運作及步驟，具有同樣之功能，且達到同樣之技術效果。本發明所屬技術領域中具有通常知識者可直接瞭解第二實施方式如何基於上述第一實施方式以執行此等運作及步驟，具有同樣之功能，並達到同樣之技術效果，故不贅述。
需說明者，於本發明專利說明書及申請專利範圍中，某些用語(例如：臉部三軸定位值、臉部標記識別點及瞳孔位移值)前被冠以「第一」或「第二」，該等「第一」及「第二」僅用來區分不同之用語。
綜上所述，本發明所提供之注視度判斷技術(至少包含裝置及方法)，先分析影像的臉部特徵及臉部的角度後，分別產生複數個臉部三軸定位值及複數個臉部標記識別點。透過比對由臉部特徵所產生的熱區圖與標準熱區圖，產生影像補償值。藉由影像及影像補償值，產生經校正的虛擬臉部影像。分析已校正的虛擬臉部影像，產生瞳孔位移值。將該等臉部三軸定位值及瞳孔位移值輸入至注視度判斷模型，判斷影像中使用者之注視度。透過前述運作，本發明可透過影像判斷影像中使用者之注視度，免除了繁雜的瞳孔定位，且有效率的節省了額外的硬體建置成本，解決習知技術可 能產生的問題。此外，本發明更在判斷注視度前先將影像之人臉校正，因此可適用於使用者的各種臉部角度影像，在商場、工廠等場域皆能應用，更精確的判斷使用者之注視度。
上述實施方式僅用來例舉本發明之部分實施態樣，以及闡釋本發明之技術特徵，而非用來限制本發明之保護範疇及範圍。任何本發明所屬技術領域中具有通常知識者可輕易完成之改變或均等性之安排均屬於本發明所主張之範圍，而本發明之權利保護範圍以申請專利範圍為準。

Claims (18)

  1. 一種注視度判斷裝置，包含：一儲存器，儲存一注視度判斷模型；一影像擷取器，用以擷取一影像；一處理器，電性連接至該儲存器及該影像擷取器，且執行下列運作：分析該影像，以產生複數個第一臉部三軸定位值及複數個第一臉部標記識別點；從該等第一臉部標記識別點取得複數個特定標記識別點以產生一熱區圖，將該熱區圖與一標準熱區圖比對以產生一影像補償值，其中該影像補償值指示一臉部位移量；基於該影像及該影像補償值來執行一臉部校正處理，以產生一虛擬校正影像，其中該臉部校正處理是執行一臉部正向化處理；分析該虛擬校正影像，以取得一第一瞳孔位移值；以及根據該注視度判斷模型、該等第一臉部三軸定位值及該第一瞳孔位移值，判斷一使用者之一注視度。
  2. 如請求項1所述之注視度判斷裝置，其中該等第一臉部三軸定位值係包含一航偏角、一俯仰角及一滾轉角，且其各自對應至一數值。
  3. 如請求項1所述之注視度判斷裝置，其中該等第一臉部標記識別點用以標記複數個臉部特徵位置，該等臉部特徵位置至少包含一左眼角、一右眼角、一鼻頭、一嘴巴左端及一嘴巴右端的特徵位置，該熱區圖係根據該等臉部特徵位置產生。
  4. 如請求項3所述之注視度判斷裝置，其中執行該臉部校正處理更包含以 下運作：在執行該臉部正向化處理之後，更執行一雙鑑別處理，其中該雙鑑別處理用以提升該虛擬校正影像之擬真度。
  5. 如請求項1所述之注視度判斷裝置，其中分析該虛擬校正影像更包含下列運作：分析該虛擬校正影像，以產生複數個第二臉部標記識別點；根據該等第二臉部標記識別點，擷取複數個眼部輪廓特徵點，從該等眼部輪廓特徵點擷取一瞳孔特徵點；以及基於該瞳孔特徵點，取得該第一瞳孔位移值。
  6. 如請求項1所述之注視度判斷裝置，其中該注視度判斷模型係由下列步驟建立：接收複數張樣本影像及對應各該樣本影像之一第二瞳孔位移值；分析各該樣本影像，以產生對應各該樣本影像之複數個第二臉部三軸定位值；以及根據對應各該樣本影像之該等第二臉部三軸定位值及該等第二瞳孔位移值，透過機器學習建立該注視度判斷模型。
  7. 如請求項6所述之注視度判斷裝置，其中對應各該樣本影像之該第二瞳孔位移值，係經由一瞳孔位移量測裝置於拍攝各該樣本影像時所對應量測得到之數值。
  8. 如請求項1所述之注視度判斷裝置，其中該處理器更根據該注視度及一注視目標物座標，判斷一相對注視座標。
  9. 如請求項8所述之注視度判斷裝置，其中該處理器更判斷該相對注視座 標所對應之一物件，提供對應該物件之一資料給該使用者。
  10. 一種注視度判斷方法，適用於一注視度判斷裝置，該注視度判斷裝置包含一儲存器、一影像擷取器及一處理器，該儲存器儲存一注視度判斷模型，該影像擷取器用以擷取一影像，該注視度判斷方法由該處理器所執行，且包含下列步驟：分析該影像，以產生複數個第一臉部三軸定位值及複數個第一臉部標記識別點；從該等第一臉部標記識別點取得複數個特定標記識別點以產生一熱區圖，將該熱區圖與一標準熱區圖比對以產生一影像補償值，其中該影像補償值指示一臉部位移量；基於該影像及該影像補償值來執行一臉部校正處理，以產生一虛擬校正影像，其中該臉部校正處理是執行一臉部正向化處理；分析該虛擬校正影像，以取得一第一瞳孔位移值；以及根據該注視度判斷模型、該等第一臉部三軸定位值及該第一瞳孔位移值，判斷一使用者之一注視度。
  11. 如請求項10所述之注視度判斷方法，其中該等第一臉部三軸定位值係包含一航偏角、一俯仰角及一滾轉角，且其各自對應至一數值。
  12. 如請求項10所述之注視度判斷方法，其中該等第一臉部標記識別點用以標記複數個臉部特徵位置，該等臉部特徵位置至少包含一左眼角、一右眼角、一鼻頭、一嘴巴左端及一嘴巴右端的特徵位置，該熱區圖係根據該等臉部特徵位置產生。
  13. 如請求項12所述之注視度判斷方法，其中執行該臉部校正處理更包含 以下步驟：在執行該臉部正向化處理之後，更執行一雙鑑別處理，其中該雙鑑別處理用以提升該虛擬校正影像之擬真度。
  14. 如請求項10所述之注視度判斷方法，其中分析該虛擬校正影像包含下列步驟：分析該虛擬校正影像，以產生複數個第二臉部標記識別點；根據該等第二臉部標記識別點，擷取複數個眼部輪廓特徵點，從該等眼部輪廓特徵點擷取一瞳孔特徵點；以及基於該瞳孔特徵點，取得一瞳孔位移值。
  15. 如請求項10所述之注視度判斷方法，其中該注視度判斷模型係由下列步驟建立：接收複數張樣本影像及對應各該樣本影像之一第二瞳孔位移值；分析各該樣本影像，以產生對應各該樣本影像之複數個第二臉部三軸定位值；以及根據對應各該樣本影像之該等第二臉部三軸定位值及該等第二瞳孔位移值，透過機器學習建立該注視度判斷模型。
  16. 如請求項15所述之注視度判斷方法，其中對應各該樣本影像之該第二瞳孔位移值，係經由一瞳孔位移量測裝置於拍攝各該樣本影像時所對應量測得到之數值。
  17. 如請求項10所述之注視度判斷方法，其中該注視度判斷方法更包含下列步驟：根據該注視度及一注視目標物座標，判斷一相對注視座標。
  18. 如請求項17所述之注視度判斷方法，其中該注視度判斷方法更包含下列步驟：判斷該相對注視座標所對應之一物件，提供對應該物件之一資料給該使用者。
TW108103319A 2019-01-29 2019-01-29 注視度判斷裝置及方法 TWI704530B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108103319A TWI704530B (zh) 2019-01-29 2019-01-29 注視度判斷裝置及方法
CN201910095688.9A CN111488775B (zh) 2019-01-29 2019-01-31 注视度判断装置及方法
US16/721,354 US10991124B2 (en) 2019-01-29 2019-12-19 Determination apparatus and method for gaze angle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108103319A TWI704530B (zh) 2019-01-29 2019-01-29 注視度判斷裝置及方法

Publications (2)

Publication Number Publication Date
TW202029130A TW202029130A (zh) 2020-08-01
TWI704530B true TWI704530B (zh) 2020-09-11

Family

ID=71732718

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108103319A TWI704530B (zh) 2019-01-29 2019-01-29 注視度判斷裝置及方法

Country Status (3)

Country Link
US (1) US10991124B2 (zh)
CN (1) CN111488775B (zh)
TW (1) TWI704530B (zh)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11580673B1 (en) * 2019-06-04 2023-02-14 Duke University Methods, systems, and computer readable media for mask embedding for realistic high-resolution image synthesis
US10842430B1 (en) * 2019-09-12 2020-11-24 Logitech Europe S.A. Eye fatigue detection using visual imaging
US11157773B2 (en) * 2020-02-26 2021-10-26 Adobe Inc. Image editing by a generative adversarial network using keypoints or segmentation masks constraints
KR20230026421A (ko) * 2020-06-17 2023-02-24 와비 파커 인코포레이티드 동공 거리 측정 시스템 및 방법과 그 용도
CN112001859B (zh) * 2020-08-10 2024-04-16 深思考人工智能科技(上海)有限公司 一种人脸图像的修复方法及系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104216118A (zh) * 2013-06-03 2014-12-17 约翰·T·默里 具有远程控制件的头部安装式显示器
TWI625568B (zh) * 2013-02-28 2018-06-01 壯生和壯生視覺關懷公司 具眼睛注視感測器之電子眼用鏡片
TWM569008U (zh) * 2018-07-20 2018-10-21 威盛電子股份有限公司 眼球定位校正系統

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI432172B (zh) * 2008-10-27 2014-04-01 Utechzone Co Ltd Pupil location method, pupil positioning system and storage media
TWI447659B (zh) * 2010-01-15 2014-08-01 Utechzone Co Ltd 瞳孔或臉部特徵對位方法與裝置
US20150135309A1 (en) * 2011-08-20 2015-05-14 Amit Vishram Karmarkar Method and system of user authentication with eye-tracking data
CN105425967B (zh) 2015-12-16 2018-08-28 中国科学院西安光学精密机械研究所 视线追踪及人眼感兴趣区域定位系统
TWI758231B (zh) 2016-07-15 2022-03-11 光程研創股份有限公司 眼動追蹤系統
CN106265006B (zh) * 2016-07-29 2019-05-17 维沃移动通信有限公司 一种主视眼的矫正装置的控制方法及移动终端
JP6784773B2 (ja) * 2016-11-17 2020-11-11 オリンパス株式会社 標本観察装置
KR101908851B1 (ko) * 2017-04-14 2018-10-17 한국 한의학 연구원 얼굴 자세 보정 장치 및 방법
TWI637288B (zh) 2017-10-11 2018-10-01 緯創資通股份有限公司 用於眼球視線校正的影像處理方法及其系統
CN108171218A (zh) * 2018-01-29 2018-06-15 深圳市唯特视科技有限公司 一种基于深度外观注视网络的视线估计方法
CN108446943A (zh) 2018-01-30 2018-08-24 深圳市阿西莫夫科技有限公司 售货柜商品推荐方法、装置、计算机设备和存储介质
US20190246036A1 (en) * 2018-02-02 2019-08-08 Futurewei Technologies, Inc. Gesture- and gaze-based visual data acquisition system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI625568B (zh) * 2013-02-28 2018-06-01 壯生和壯生視覺關懷公司 具眼睛注視感測器之電子眼用鏡片
CN104216118A (zh) * 2013-06-03 2014-12-17 约翰·T·默里 具有远程控制件的头部安装式显示器
TWM569008U (zh) * 2018-07-20 2018-10-21 威盛電子股份有限公司 眼球定位校正系統

Also Published As

Publication number Publication date
TW202029130A (zh) 2020-08-01
US20200242800A1 (en) 2020-07-30
CN111488775B (zh) 2023-04-28
US10991124B2 (en) 2021-04-27
CN111488775A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
TWI704530B (zh) 注視度判斷裝置及方法
US10796179B2 (en) Living face verification method and device
US20200192464A1 (en) Gesture recognition using multi-sensory data
US8755569B2 (en) Methods for recognizing pose and action of articulated objects with collection of planes in motion
JP6273685B2 (ja) 追尾処理装置及びこれを備えた追尾処理システム並びに追尾処理方法
USRE45768E1 (en) Method and system for enhancing three dimensional face modeling using demographic classification
US20170154424A1 (en) Position detection device, position detection method, and storage medium
TWI405143B (zh) 用於辨識的物件影像校正裝置與其方法
WO2016059786A1 (ja) なりすまし検知装置、なりすまし検知方法、および、記憶媒体
WO2018086461A1 (zh) 一种基于单目手势识别的视觉跟随方法及机器人
US20150146169A1 (en) Automatic pupillary distance measurement system and measuring method
US10496874B2 (en) Facial detection device, facial detection system provided with same, and facial detection method
TW201727537A (zh) 人臉識別系統及人臉識別方法
JP4288428B2 (ja) 映像解析システムおよび映像解析方法
TWI557601B (zh) 瞳孔追蹤系統及其方法、電腦程式產品、及電腦可讀取紀錄媒體
KR101636171B1 (ko) 스켈레톤 트래킹 방법 및 이를 이용한 스켈레톤 트래킹 시스템
US9230156B2 (en) Data processor, data processing system, and computer-readable recording medium
KR101961266B1 (ko) 시선 추적 장치 및 이의 시선 추적 방법
CN106406507B (zh) 图像处理方法以及电子设备
Heng et al. Analysis of performance between Kinect v1 and Kinect v2 for various facial part movements
CN109377519A (zh) 目标追踪方法、装置、目标追踪设备及存储介质
Hansen et al. Eye typing off the shelf
CN110781712B (zh) 一种基于人脸检测与识别的人头空间定位方法
KR102624716B1 (ko) 스마트 모바일 기기를 이용한 퍼팅 연습 시스템
US20230386049A1 (en) Tracking apparatus, tracking system, tracking method, and recording medium