TWI768704B - 計算關注焦點的方法及電腦程式產品 - Google Patents

計算關注焦點的方法及電腦程式產品 Download PDF

Info

Publication number
TWI768704B
TWI768704B TW110104446A TW110104446A TWI768704B TW I768704 B TWI768704 B TW I768704B TW 110104446 A TW110104446 A TW 110104446A TW 110104446 A TW110104446 A TW 110104446A TW I768704 B TWI768704 B TW I768704B
Authority
TW
Taiwan
Prior art keywords
face
attention
focus
effective
key point
Prior art date
Application number
TW110104446A
Other languages
English (en)
Other versions
TW202232438A (zh
Inventor
侯貫中
吳伯廷
李建穎
杜明軒
林建宏
林建錡
武輔恆
張凱倫
陳宗堯
Original Assignee
宏碁股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 宏碁股份有限公司 filed Critical 宏碁股份有限公司
Priority to TW110104446A priority Critical patent/TWI768704B/zh
Priority to EP21162697.3A priority patent/EP4040334A1/en
Priority to US17/204,129 priority patent/US11793435B2/en
Application granted granted Critical
Publication of TWI768704B publication Critical patent/TWI768704B/zh
Publication of TW202232438A publication Critical patent/TW202232438A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/117—Identification of persons
    • A61B5/1171—Identification of persons based on the shapes or appearances of their bodies or parts thereof
    • A61B5/1176—Recognition of faces
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7246—Details of waveform analysis using correlation, e.g. template matching or determination of similarity
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/169—Holistic features and representations, i.e. based on the facial image taken as a whole
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Psychiatry (AREA)
  • Artificial Intelligence (AREA)
  • Physiology (AREA)
  • Signal Processing (AREA)
  • Developmental Disabilities (AREA)
  • Geometry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Evolutionary Computation (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Fuzzy Systems (AREA)
  • Mathematical Physics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)
  • Exposure Of Semiconductors, Excluding Electron Or Ion Beam Exposure (AREA)
  • Optical Recording Or Reproduction (AREA)

Abstract

本發明揭露一種計算關注焦點的方法，包含：取得第一影像中的人物之人臉，以及人臉辨識結果；判斷人物與標的物之間的距離是否在有效關注距離之內；判斷人臉是否為正臉；判斷有效關注時長是否不小於時長門檻；計算人物對於標的物之關注焦點。

Description

計算關注焦點的方法及電腦程式產品
本發明涉及一種人物行為分析(person behavior analysis)方法及電腦程式產品，特別涉及一種計算關注焦點(focus of attention)的方法及電腦程式產品。
滑鼠追蹤及眼球追蹤技術，經常被應用於人物行為分析的領域。舉例來說，在電子商務網站的應用情境中，可在網頁後端埋入追蹤程式碼，以對訪客所操作的滑鼠游標(例如移動的軌跡、停留的位置及點擊的對象等)進行追蹤，藉此分析訪客的瀏覽行為。透過這種滑鼠追蹤技術，電子商務網站的管理者可得知訪客於瀏覽網頁時的關注對象，藉此對銷售策略或網頁介面進行優化，例如決定優惠促銷的商品、調整商品的擺放位置與順序，及調整各種功能按鈕(例如購買鍵或搜尋列)的大小與位置等。
再舉一例，在虛擬實境(virtual reality；VR)或擴增實境(augmented reality；AR)相關的遊戲領域中，可透過投射紅外線等光線，提取眼球或虹膜的特徵，以對玩家視線的變化進行追蹤，乃至於後續的行為分析。藉此，遊戲設計者便可設計出更引人入勝的遊戲體驗。
對於線下的實體場域，例如數位看板廣告、實體商店的商品展示櫃、商務或藝術展覽的展覽品等，也希望能參考前述滑鼠追蹤及眼球追蹤技術應用在線上或虛擬場域的案例，對人物(也就是顧客或訪客)的關注焦點進行追蹤。因此，需要有一種方法及電腦程式產品，能夠計算人物的關注焦點。
本發明之實施例提供一種計算關注焦點的方法，包含：取得第一影像中的人物之人臉，以及該人臉之人臉辨識結果，其中人臉辨識結果包含人臉候選框及複數個人臉屬性；基於人臉候選框，判斷人物與標的物之間的距離是否在有效關注距離之內；響應於人物與標的物之間的距離在有效關注距離之內，基於人臉候選框，計算人臉之複數個關鍵點，並藉以進行正臉判斷程序 ，以判斷人臉是否為正臉(frontal)；響應於人臉為正臉，基於過去多個時間點所取得的一系列第一影像，進行有效關注時長計算程序 ，以取得人物對於標的物之有效關注時長，並藉以判斷有效關注時長是否不小於時長門檻；於判斷有效關注時長不小於時長門檻之後，基於標的物之尺寸、關鍵點及人臉候選框，進行關注焦點計算程序 ，以取得人物對於標的物之關注焦點。
在某些實施例中，基於人臉候選框，判斷人物與標的物之間的距離是否在有效關注距離之內，包含：判斷人臉候選框之高度是否不小於有效人臉尺寸；其中若人臉候選框之高度不小於有效人臉尺寸，則表示人物與標的物之間的距離在有效關注距離之內。
在某些實施例中，上述有效人臉尺寸係藉由將有效關注距離及拍攝視野(field of view；FOV)代入第二方程式所計算得出；其中有效關注距離，係藉由將標的物之尺寸代入第一方程式所計算得出；其中第一方程式與第二方程式，分別係基於第一歷史資料集與第二歷史資料集，使用一多項式回歸(polynomial regression)方法所計算得出；其中第一歷史資料集包含一系列有效關注距離與標的物之尺寸之間的對應關係；其中第二歷史資料集包含一系列有效人臉尺寸與有效關注距離及FOV之間的對應關係。
在某些實施例中，上述關鍵點包含左眼關鍵點、右眼關鍵點、鼻頭關鍵點、嘴唇左端關鍵點及嘴唇右端關鍵點。
在某些實施例中，上述正臉判斷程序包含：連接左眼關鍵點及嘴唇右端關鍵點以取得一第一直線，以及連接右眼關鍵點及嘴唇左端關鍵點以取得第二直線；判斷鼻頭關鍵點是否在一圓內，該圓之圓心為第一直線與第二直線的相交點，該圓之半徑等於人臉候選框之高度加上人臉候選框之寬度後再乘以既定比值；若鼻頭關鍵點在圓內，則判斷人臉為正臉。
在某些實施例中，上述關注焦點計算程序包含：對該圓進行正規化(normalization)操作，使該圓之直徑轉換為以1單位長度表示；將鼻頭關鍵點在正規化後的該圓內的第一位置，映射到對應標的物的第二影像中的第二位置，而第二位置即為關注焦點。
在某些實施例中，上述第一位置及第二位置，係以直角座標系(cartesian coordinate system)的形式作表示；其中將鼻頭關鍵點在該圓內的第一位置，映射到對應標的物的第二影像中的該第二位置，包含使用以下公式：
Figure 02_image001
Figure 02_image003
其中(x,y)為第二位置之座標，(u,v)為第一位置之座標，w為標的物之寬度，h為標的物之高度。
在某些實施例中，上述有效關注時長計算程序包含：基於人臉候選框裁切第一影像，以取得人臉圖片；將人臉圖片輸入AI人臉識別模型，以取得人臉圖片之特徵向量；計算特徵向量與前一時間點所取得的前一第一影像中的前一人臉圖片之前一特徵向量之內積(Inner Product)值；基於內積值，判斷人臉圖片與前一人臉圖片是否屬於相同人物；基於屬於相同人物的一系列人臉圖片所對應的一系列時間點，計算人物對於標的物之有效關注時長。
在某些實施例中，本發明所提供的計算關注焦點的方法，更包含：響應於有效關注時長不小於時長門檻，基於人臉屬性及標的物之複數個標的物屬性，使用機器學習分類模型，以確認人臉是否為有效關注；其中於判斷有效關注時長不小於時長門檻之後，基於標的物之尺寸、關鍵點及人臉候選框，進行關注焦點計算程序，包含：響應於人臉為有效關注，基於標的物之尺寸、關鍵點及人臉候選框，進行關注焦點計算程序。
本發明之實施例亦提供一種電腦程式產品，用於計算關注焦點，經由電腦載入程式執行：第一程式指令，使處理器取得第一影像中的人物之人臉，以及該人臉之人臉辨識結果，其中人臉辨識結果包含人臉候選框及複數個人臉屬性；第二程式指令，使處理器基於人臉候選框，判斷人物與標的物之間的距離是否在有效關注距離之內；第三程式指令，使處理器響應於人物與標的物之間的距離在有效關注距離之內，基於人臉候選框，計算人臉之複數個關鍵點，並藉以進行正臉判斷程序 ，以判斷人臉是否為正臉；第四程式指令，使處理器響應於人臉為正臉，基於過去多個時間點所取得的一系列第一影像，進行有效關注時長計算程序 ，以取得人物對於標的物之有效關注時長，並藉以判斷有效關注時長是否不小於時長門檻；第五程式指令，使處理器於判斷有效關注時長不小於時長門檻之後，基於標的物之尺寸、關鍵點及人臉候選框，進行關注焦點計算程序 ，以取得人物對於標的物之關注焦點。
在某些實施例中，本發明所提供的電腦程式產品，更經由電腦載入程式執行：第六程式指令，使處理器響應於有效關注時長不小於時長門檻，基於人臉屬性及標的物之複數個標的物屬性，使用機器學習分類模型，以確認人臉是否為有效關注；其中於判斷有效關注時長不小於時長門檻之後，基於標的物之尺寸、關鍵點及人臉候選框，進行關注焦點計算程序，包含：響應於人臉為有效關注，基於標的物之尺寸、關鍵點及人臉候選框，進行關注焦點計算程序。
本發明提供一種方法及電腦程式產品，用於計算人物對於標的物之關注焦點。取決於不同的應用情境，可以有各種不同類型的人物與標的物。舉例來說，在數位看板廣告的應用情境中，人物為經過數位看板前方的路人，標的物為數位看板，而本發明可用於計算路人的關注焦點係位於數位看板上的哪些區塊(例如左上區塊或右下區塊)；在實體商店的應用情境中，人物為商店的顧客，標的物為商品展示櫃，而本發明可用於計算顧客的關注焦點係位於商品展示櫃上的哪些商品；在商務或藝術展覽的情境中，人物為參觀展覽的訪客，標的物為多種展覽品，而本發明可用於計算訪客的關注焦點係位於上述多種展覽品中的哪些展覽品。然而，本揭露所敘述的人物與標的物並不限於上述範例。
第1圖係根據本發明之實施例所繪示的一種計算關注焦點的方法M100之流程圖。如第1圖所示，方法M100包含S101-S105等步驟。
方法M100起始於步驟S101。於步驟S101，取得第一影像中的一人物之人臉，以及該人臉之人臉辨識結果。然後，方法M100進入步驟S102。
在本發明之實施例中，上述第一影像係使用攝影裝置，從標的物面對人物的視角所拍攝。舉例來說，在數位看板廣告的應用情境中，可將攝影裝置設置於數位看板的中心點上方，以拍攝經過數位看板前方的路人作為第一影像；在實體商店的應用情境中，可將攝影裝置設置於商品展示櫃的中心點上方，以拍攝商品展示櫃前的顧客作為第一影像；在商務或藝術展覽的情境中，可將攝影裝置設置於多種展覽品的中心點上方，以拍攝參觀展覽的訪客作為第一影像。然而，在本發明之實施例中，攝影裝置的設置並不限於上述範例。在上述範例以及其他的範例中，攝影裝置可包含用於拍攝影像的攝影鏡頭，攝影鏡頭包含一般光學鏡頭或紅外線鏡頭，本發明不限制攝影鏡頭的類型與數目。
在本發明之實施例中，上述人臉辨識結果包含人臉候選框及複數個人臉屬性。人臉候選框使用一包圍住人臉的矩形區域，以標示人臉在第一影像中的位置與大小。人臉屬性可包含例如性別、年齡與情緒等用以表示人物輪廓的屬性。
第2圖係根據本發明之實施例所繪示的第一影像200之範例的示意圖。如第2圖所示，第一影像200包含人物201與人物204、屬於人物201的人臉202與屬於人物204的人臉205，以及包圍住人臉202的人臉候選框203與包圍住人臉205的人臉候選框206。在第2圖所繪示的範例中，係假設人物201距離標的物(未在第2圖中示出)較近，因此人臉202之尺寸會大於人臉205之尺寸。相應地，人臉候選框203之尺寸也會大於人臉候選框206之尺寸。此外，應注意的是，雖然第2圖中所繪示的人臉202與人臉205看似為完全的正面，但實際上第一影像中的人臉可能會有轉動的角度。關於判斷正臉(frontal)與否的議題，會在之後的敘述中討論。
回到第1圖，方法M100目前進行到步驟S102。於步驟S102，基於人臉候選框，判斷人物與標的物之間的距離是否在有效關注距離之內。若人物與標的物之間的距離在有效關注距離之內，則進入步驟S103。若人物與標的物之間的距離超過有效關注距離，則回到步驟S101，繼續計算其他人物的關注焦點。步驟S102之目的，在於排除掉第一影像中距離標的物太遠的人物。由於這些人物距離標的物太遠，不太可能對標的物投以關注，故不必被列入後續關注焦點的計算。
在某些實施例中，步驟S102係藉由判斷人臉候選框之高度是否不小於有效人臉尺寸，以判斷人物與標的物之間的距離是否在有效關注距離之內。若人臉候選框之高度不小於有效人臉尺寸，則表示人物與標的物之間的距離在有效關注距離之內。反之，若人臉候選框之高度小於有效人臉尺寸，則表示人物與標的物之間的距離超過有效關注距離。
在某些實施例中，上述有效人臉尺寸係藉由將有效關注距離及攝影裝置之拍攝視野(field of view；FOV)代入第二方程式所計算得出，而有效關注距離係藉由將標的物之尺寸代入第一方程式所計算得出。換句話說，先將標的物之尺寸代入第一方程式以求得有效關注距離，然後再將有效關注距離及攝影裝置之FOV代入第二方程式，即可求得有效人臉尺寸。
第3圖係根據本發明之實施例所繪示的一個呈現第一方程式302的座標系300。如第3圖所示，座標系300之橫軸與縱軸分別代表標的物之尺寸與有效關注距離。第一方程式302可以直線或曲線的形式，被呈現在座標系300中，以代表標的物之尺寸與有效關注距離之間的對應關係。
在某些實施例中，第一方程式302係基於第一歷史資料集，使用多項式回歸(polynomial regression)方法所計算得出。第一歷史資料集包含一系列歷史數據301(如第3圖所示)，用以代表一系列標的物之尺寸與有效關注距離之間的對應關係。以數位看板廣告的應用情境為例，若根據過去的知識、經驗或實驗結果，當數位看板之尺寸為30吋、50吋與70吋…等時，有效關注距離分別為1公尺、1.8公尺與2.4公尺…等。於是可將該範例的(30吋, 1公尺)、(50吋, 1.8公尺)及(70吋, 2.4公尺)…等，納入一系列歷史數據301，藉以計算出第一方程式302。
第4圖係根據本發明之實施例所繪示的一個呈現第二方程式402的座標系400。如第4圖所示，座標系400之x軸、y軸與z軸分別代表攝影裝置之FOV、有效關注距離與有效人臉尺寸。第二方程式402可以平面或曲面的形式，被呈現在座標系400中，以代表攝影裝置之FOV、有效關注距離與有效人臉尺寸之間的對應關係。
在某些實施例中，第二方程式402係基於第二歷史資料集，使用多項式回歸方法所計算得出。第二歷史資料集包含一系列歷史數據401(如第4圖所示)，用以代表一系列攝影裝置之FOV、有效關注距離與有效人臉尺寸之間的對應關係。以數位看板廣告的應用情境為例，若根據過去的知識、經驗或實驗結果，當攝影裝置之FOV為90度、有效關注距離為1.5公尺時，有效人臉尺寸為130像素(pixel)；當攝影裝置之FOV為78度、有效關注距離為2公尺時，有效人臉尺寸為100像素。於是可將該範例的(90度, 1.5公尺, 130像素)及(78度, 2公尺, 100像素)以及諸如此類的對應關係，納入一系列歷史數據401，藉以計算出第二方程式402。
回到第1圖，方法M100目前進行到步驟S103。於步驟S103，基於人臉候選框，取得人臉之複數個關鍵點，並藉以進行正臉判斷程序，以判斷人臉是否為正臉。若人臉為正臉，則進入步驟S104。若人臉並非正臉，則回到步驟S101，繼續計算其他人物的關注焦點。步驟S103之目的，在於排除掉第一影像中相對於標的物而言，臉部轉動幅度太大的人物。由於臉部轉動幅度太大，這些人物不太可能對標的物投以關注，故不必被列入後續關注焦點的計算。
在某些實施例中，上述的複數個關鍵點，可包含左眼關鍵點、右眼關鍵點、鼻頭關鍵點、嘴唇左端關鍵點及嘴唇右端關鍵點。取得上述關鍵點的方法，可以使用習知的任何一種人臉關鍵點檢測(facial landmark detection)的演算法，本發明並非限定於此。
第5圖係根據本發明之實施例所繪示出於步驟S103所進行的正臉判斷程序P500之流程圖。如第5圖所示，正臉判斷程序P500包含步驟S501及步驟S502。第6圖係根據本發明之實施例所繪示出正臉判斷程序P500之示意圖。請搭配參閱第5圖、第6圖及以下的敘述，以更佳地理解本發明之實施例。
正臉判斷程序P500起始於步驟S501。於步驟S501，如第6圖所示，連接人臉600之左眼關鍵點601及嘴唇右端關鍵點605以取得第一直線606，以及連接人臉600之右眼關鍵點602及嘴唇左端關鍵點604以取得第二直線607。然後，正臉判斷程序P500進入步驟S502。
於步驟S502，如第6圖所示，判斷人臉600之鼻頭關鍵點603是否在圓608之內。若鼻頭關鍵點603在圓608之內，則表示人臉600為正臉。圓608之圓心為第一直線606與第二直線607的相交點，圓608之半徑則為以下公式所計算： 圓608之半徑=(人臉候選框之高度609+人臉候選框之寬度610)*既定比值 在一較佳實施例中，既定比值為0.0045。
回到第1圖，方法M100目前進行到步驟S104。於步驟S104，基於過去多個時間點所取得的一系列第一影像，進行有效關注時長計算程序，以取得人物對於標的物之有效關注時長，並藉以判斷有效關注時長是否不小於第一時長門檻(例如10秒，惟本發明並非限定於此)。若有效關注時長不小於第一時長門檻，則進入S105；若有效關注時長小於第一時長門檻，則回到步驟S101，繼續計算其他人物的關注焦點。步驟S104之目的，在於排除掉第一影像中對於標的物關注時間還不夠長的人物。雖然這些人物距離標的物足夠近，且相對於標的物為正臉，但這可能僅是短暫的一瞥，憑此尚不能斷定這些人物對標的物投以關注，故暫時不必被列入後續關注焦點的計算。
第7圖係根據本發明之實施例所繪示出於步驟S104所進行的有效關注時長計算程序P700之流程圖。如第7圖所示，有效關注時長計算程序P700包含S701-S705等步驟。
有效關注時長計算程序P700起始於步驟S701。於步驟S701，基於人臉候選框裁切第一影像，以取得人臉圖片。然後，有效關注時長計算程序P700進入步驟S702。
於步驟S702，將人臉圖片輸入AI人臉識別模型，以取得人臉圖片之特徵向量。然後，有效關注時長計算程序P700進入步驟S703。上述AI人臉識別模型，可為習知的任何一種以卷積神經網路(Convolutional Neural Network；CNN)為基礎的特徵提取(feature extraction)技術，惟本發明並非限定於此。上述特徵向量係一個具有多維度的單位向量(unit vector)，用以表示人臉之特徵。在一較佳實施例中，上述特徵向量具有128個維度。
於步驟S703，計算特徵向量與前一時間點所取得的前一第一影像中的前一人臉圖片之前一特徵向量之內積(inner product)值。然後，有效關注時長計算程序P700進入步驟S704。上述內積值，係用以表示特徵向量與前一特徵向量之間的相似度。內積值越接近一，表示特徵向量與前一特徵向量之間越相似。
於步驟S704，基於上一步驟所計算得出的內積值，判斷人臉圖片與前一人臉圖片是否屬於相同人物。具體地說，若內積值達到一既定的內積門檻值，則判斷人臉圖片與前一人臉圖片屬於相同人物。然後，有效關注時長計算程序P700進入步驟S705。
在一較佳實施例中，於步驟S704，針對其內積值未達內積門檻值的人臉圖片與前一人臉圖片，更進行圖片重疊率之計算。若人臉圖片與前一人臉圖片之間的重疊率達到一既定的重疊率門檻值，縱使其內積值未達內積門檻值，仍判斷人臉圖片與前一人臉圖片屬於相同人物。
於步驟S705，基於屬於相同人物的一系列人臉圖片所對應的一系列時間點，計算人物對於標的物之有效關注時長。舉例來說，假設在過去最多到30秒內的一系列時間點(例如以秒為單位，第一秒、第二秒、第三秒…等30個時間點，惟本發明並非限定於此)所對應的一系列人臉候選框，皆被判斷為屬於相同人物，則有效關注時長為30秒。藉此，於第1圖中的步驟S104，便可判斷有效關注時長(例如在本範例中為30秒)是否不小於第一時長門檻(例如10秒，惟本發明並非限定於此)。
在某些實施例中，可視實際需求設定一容許關注焦點暫時離開標的物的第二時長門檻，例如為5秒，惟本發明並非限定於此。承上一段所敘述的範例，假設在過去30秒內，曾經在第20秒至第23秒這持續3秒時間內的人臉候選框未被判斷為屬於相同人物，這有可能是因為該人物暫時地脫離其與標的物之間的有效關注距離，也可能是因為該人物暫時地轉動頭部而使其人臉在這3秒內並未被判斷為正臉。若設定第二時長門檻為5秒，由於關注焦點暫時離開標的物的時間為3秒，小於第二時長門檻的5秒，因此仍判斷有效關注時長為30秒。若設定第二時長門檻為2秒，由於關注焦點暫時離開標的物的時間為3秒，大於第二時長門檻的2秒，因此判斷有效關注時長為20秒。
回到第1圖，方法M100目前進行到步驟S105。於步驟S105，基於標的物之尺寸、人臉之關鍵點(例如，第6圖中的左眼關鍵點601、右眼關鍵點602、鼻頭關鍵點603、嘴唇左端關鍵點604及嘴唇右端關鍵點605)及人臉候選框，進行關注焦點計算程序，以取得人物對於標的物之關注焦點。
第8圖係根據本發明之實施例所繪示出於步驟S105所進行的關注焦點計算程序P800之流程圖。如第8圖所示，關注焦點計算程序P800包含步驟S801及步驟S802。
關注焦點計算程序P800起始於步驟S801。於步驟S801，對第6圖中的圓608進行正規化(normalization)操作，使圓608之直徑轉換為以1單位長度表示。然後，關注焦點計算程序P800進入步驟S802。
於步驟S802，將第6圖中的鼻頭關鍵點603在圓608內的第一位置，映射到對應標的物的第二影像中的第二位置。該第二位置，即為關注焦點。
在本發明之實施例中，上述第二影像係模擬人物面對標的物時所見的景象。舉例來說，在數位看板廣告的應用情境中，第二影像可為經過數位看板前方的路人所見到數位看板上的景象，也就是數位看板正在播出的內容；在實體商店的應用情境中，第二影像可為以商品展示櫃前的顧客的視角，對商品展示櫃所拍攝到的影像；在商務或藝術展覽的情境中，第二影像可為以參觀展覽的訪客的視角，對多種展覽品所拍攝到的影像。
第9A圖係根據本發明之實施例所繪示出鼻頭關鍵點603在圓608內所在範例的第一位置901A。相應地，第9B圖則繪示出第一位置901A在經過關注焦點計算程序P800之後，所映射到第二影像900中的第二位置901B(即關注焦點)。
在某些實施例中，第一位置901A可以直角座標系(cartesian coordinate system)的形式作表示。舉例來說，在第9A圖中，以圓608之圓心作為直角坐標系的原點，以1單位長度作為圓608之直徑(由於圓608已被正規化)，可得出第一位置901A之座標(x, y)。然後，可使用以下公式，將第一位置901A之座標(x, y)映射到第二影像900中的第二位置901B之座標(u, v)。
Figure 02_image001
Figure 02_image003
其中，w為標的物之寬度，h為標的物之高度。
第10圖係根據本發明之較佳實施例所繪示的一種計算關注焦點的方法M1000之流程圖。如第10圖所示，相較於第1圖所繪示的方法M100，方法M1000更於步驟S104與步驟S105之間增添一步驟S106。
在該較佳實施例中，若於步驟S104判斷出有效關注時長大於時長門檻，則進入步驟S106。於步驟S106，基於如前所述的人臉屬性(例如性別、年齡與情緒等)以及標的物之複數個標的物屬性(例如數位看板廣告之內容與時長、商品展示櫃所陳列商品之品項與價格等)，使用機器學習分類模型，以更進一步確認人臉是否為有效關注。若判斷人臉為有效關注，則進入步驟S105；若判斷人臉並非有效關注，則回到步驟S101，繼續計算其他人物的關注焦點。步驟S106之目的，在於更進一步根據人臉屬性及標的物屬性，來篩選後續需要被列入關注焦點計算的人臉，以使關注焦點之計算更為有效且精準。
在該較佳實施例中，於步驟S105所使用的機器學習分類模型，可為任何一種以卷積神經網路(Convolutional Neural Network；CNN)為基礎的分類器(classifier)，本發明並非限定於此。訓練該分類模型所需的資料，可為記載人臉屬性與標的物屬性之間的相對關係的一系列歷史數據。
本發明所提供的電腦程式產品，經由電腦載入程式以執行第一程式指令、第二程式指令、第三程式指令、第四程式指令及第五程式指令。第一程式指令使處理器執行如第1圖或第10圖中的步驟S101；第二程式指令使處理器執行如第1圖或第10圖中的步驟S102；第三程式指令使處理器執行如第1圖或第10圖中的步驟S103；第四程式指令使處理器執行如第1圖或第10圖中的步驟S104；第五程式指令使處理器執行如第1圖或第10圖中的步驟S105。在較佳實施例中，電腦程式產品更執行第六程式指令，使處理器執行如第10圖中的步驟S106。
在本發明之實施例中，上述處理器可為任何一種用於執行指令的裝置，例如中央處理器(CPU)、微處理器(microprocessor)、控制器、微控制器(microcontroller)或狀態機(state machine)。
本發明所提供的方法及電腦程式產品，可應用於線下的實體場域，找出人物對標的物的關注焦點。以第9B圖為例，第二位置901B(即關注焦點)位於第二影像900的左下區域。在數位看板廣告的應用情境中，如第9B圖所示的結果可表示某位路人的關注焦點係位於數位看板上的左下區塊；在實體商店的應用情境中，如第9B圖所示的結果可表示某位顧客的關注焦點係位於商品展示櫃的左下位置的商品；在商務或藝術展覽的情境中，如第9B圖所示的結果可表示某位訪客的關注焦點係位於放置在左下角的展覽品。藉由累積大量人物之關注焦點，則可進一步地使用熱度圖(heat map)繪示出這些人物的關注焦點之分佈，以利決策者改善其行銷或展示策略。
在本說明書中以及申請專利範圍中的序號，例如「第一」、「第二」等等，僅係為了方便說明，彼此之間並沒有順序上的先後關係。
「某些實施例」、「一實施例」、「實施例」、「多個實施例」、「該實施例」、「該些實施例」、「一或更多個實施例」、「有些實施例」以及「一個實施例」都是指一或更多個實施例(但並非全部)，除非另有特別的限定。
以上段落使用多種層面描述。顯然的，本文的教示可以多種方式實現，而在範例中揭露之任何特定架構或功能僅為一代表性之狀況。根據本文之教示，任何熟知此技藝之人士應理解在本文揭露之各層面可獨立實作或兩種以上之層面可以合併實作。
雖然本揭露已以實施例揭露如上，然其並非用以限定本揭露，任何熟習此技藝者，在不脫離本揭露之精神和範圍內，當可作些許之更動與潤飾，因此發明之保護範圍當視後附之申請專利範圍所界定者為準。
M100:方法 S101-S105:步驟 200:第一影像 201,204:人物 202,205:人臉 203,206:人臉候選框 300:座標系 301:歷史數據 302:第一方程式 400:座標系 401:歷史數據 402:第二方程式 500:正臉判斷程序 S501,S502:步驟 600:人臉 601:左眼關鍵點 602:右眼關鍵點 603:鼻頭關鍵點 604:嘴唇左端關鍵點 605:嘴唇右端關鍵點 606:第一直線 607:第二直線 608:圓 609:人臉候選框之高度 610:人臉候選框之寬度 P700:有效關注時長計算程序 S701-S705:步驟 P800:關注焦點計算程序 S801,S802:步驟 901A:第一位置 900:第二影像 901B:第二位置 M1000:方法 S106:步驟
本揭露將可從以下示範的實施例之敘述搭配附帶的圖式而更佳地理解。此外，應被理解的係，在本揭露之流程圖中，各區塊的執行順序可被改變，且/或某些區塊可被改變、刪減或合併。 第1圖係根據本發明之實施例所繪示的一種計算關注焦點的方法M100之流程圖。 第2圖係根據本發明之實施例所繪示的第一影像200之範例的示意圖。 第3圖係根據本發明之實施例所繪示的一個呈現第一方程式302的座標系300。 第4圖係根據本發明之實施例所繪示的一個呈現第二方程式402的座標系400。 第5圖係根據本發明之實施例所繪示出於步驟S103所進行的正臉判斷程序P500之流程圖。 第6圖係根據本發明之實施例所繪示出正臉判斷程序P500之示意圖。 第7圖係根據本發明之實施例所繪示出於步驟S104所進行的有效關注時長計算程序P700之流程圖。 第8圖係根據本發明之實施例所繪示出於步驟S105所進行的關注焦點計算程序P800之流程圖。 第9A圖係根據本發明之實施例所繪示出鼻頭關鍵點603在圓608內可能所在的第一位置901A。 第9B圖係根據本發明之實施例所繪示出第一位置901A在經過關注焦點計算程序P800之後，所映射到第二影像900中的第二位置901B(即關注焦點)。 第10圖係根據本發明之較佳實施例所繪示的一種計算關注焦點的方法M1000之流程圖。
M100:方法
S101-S105:步驟

Claims (18)

  1. 一種計算關注焦點(focus of attention)的方法，包括： 取得一第一影像中的一人物之一人臉，以及該人臉之一人臉辨識結果，其中該人臉辨識結果包括一人臉候選框及複數個人臉屬性； 基於該人臉候選框，判斷該人物與一標的物之間的距離是否在一有效關注距離之內； 響應於該人物與該標的物之間的距離在該有效關注距離之內，基於該人臉候選框，取得該人臉之複數個關鍵點，並藉以進行一正臉判斷程序，以判斷該人臉是否為正臉(frontal)； 響應於該人臉為正臉，基於過去多個時間點所取得的一系列第一影像，進行一有效關注時長計算程序，以取得該人物對於該標的物之一有效關注時長，並藉以判斷該有效關注時長是否不小於一時長門檻； 於判斷該有效關注時長不小於該時長門檻之後，基於該標的物之尺寸、該等關鍵點及該人臉候選框，進行一關注焦點計算程序，以取得該人物對於該標的物之一關注焦點。
  2. 如請求項1之計算關注焦點的方法，其中基於該人臉候選框，判斷該人物與該標的物之間的距離是否在該有效關注距離之內，包括： 判斷該人臉候選框之高度是否不小於一有效人臉尺寸； 其中若該人臉候選框之高度不小於該有效人臉尺寸，則表示該人物與該標的物之間的距離在該有效關注距離之內。
  3. 如請求項2之計算關注焦點的方法，其中該有效人臉尺寸，係藉由將該有效關注距離及一拍攝視野(field of view；FOV)代入一第二方程式所計算得出； 其中該有效關注距離，係藉由將該標的物之尺寸代入一第一方程式所計算得出； 其中該第一方程式與該第二方程式，分別係基於一第一歷史資料集與一第二歷史資料集，使用多項式回歸(polynomial regression)方法所計算得出； 其中該第一歷史資料集包括一系列有效關注距離與標的物之尺寸之間的對應關係； 其中該第二歷史資料集包括一系列有效人臉尺寸與有效關注距離及FOV之間的對應關係。
  4. 如請求項1之計算關注焦點的方法，其中該等關鍵點，包括一左眼關鍵點、一右眼關鍵點、一鼻頭關鍵點、一嘴唇左端關鍵點及一嘴唇右端關鍵點。
  5. 如請求項4之計算關注焦點的方法，其中該正臉判斷程序，包括： 連接該左眼關鍵點及該嘴唇右端關鍵點以取得一第一直線，以及連接該右眼關鍵點及該嘴唇左端關鍵點以取得一第二直線； 判斷該鼻頭關鍵點是否在一圓內； 其中若該鼻頭關鍵點在該圓內，則判斷該人臉為正臉； 其中該圓之圓心為該第一直線與該第二直線的一相交點，該圓之半徑等於該人臉候選框之高度加上該人臉候選框之寬度後再乘以一既定比值。
  6. 如請求項5之計算關注焦點的方法，其中該關注焦點計算程序，包括： 對該圓進行一正規化(normalization)操作，使該圓之直徑轉換為以1單位長度表示； 將該鼻頭關鍵點在正規化後的該圓內的一第一位置，映射到對應該標的物的一第二影像中的一第二位置； 其中該第二位置即為該關注焦點。
  7. 如請求項6之計算關注焦點的方法，其中該第一位置及該第二位置，係以直角座標系(cartesian coordinate system)的形式作表示；及 其中將該鼻頭關鍵點在該圓內的該第一位置，映射到對應該標的物的該第二影像中的該第二位置，包括使用以下公式：
    Figure 03_image001
    Figure 03_image003
    其中(x,y)為該第二位置之座標，(u,v)為該第一位置之座標，w為該標的物之寬度，h為該標的物之高度。
  8. 如請求項1之計算關注焦點的方法，其中該有效關注時長計算程序，包括： 基於該人臉候選框裁切該第一影像，以取得一人臉圖片； 將該人臉圖片輸入一AI人臉識別模型，以取得該人臉圖片之一特徵向量； 計算該特徵向量與前一時間點所取得的前一第一影像中的前一人臉圖片之前一特徵向量之一內積(Inner Product)值； 基於該內積值，判斷該人臉圖片與該前一人臉圖片是否屬於相同人物； 基於屬於相同人物的一系列人臉圖片所對應的一系列時間點，計算該人物對於該標的物之該有效關注時長。
  9. 如請求項1之計算關注焦點的方法，更包括： 響應於該有效關注時長不小於該時長門檻，基於該等人臉屬性及該標的物之複數個標的物屬性，使用一機器學習分類模型，以確認該人臉是否為有效關注； 其中於判斷該有效關注時長不小於該時長門檻之後，基於該標的物之尺寸、該等關鍵點及該人臉候選框，進行該關注焦點計算程序，包括： 響應於該人臉為有效關注，基於該標的物之尺寸、該等關鍵點及該人臉候選框，進行該關注焦點計算程序。
  10. 一種電腦程式產品，用於計算一關注焦點(focus of attention)，經由電腦載入該程式執行： 第一程式指令，使一處理器取得一第一影像中的一人物之一人臉，以及該人臉之一人臉辨識結果，其中該人臉辨識結果包括一人臉候選框及複數個人臉屬性； 第二程式指令，使該處理器基於該人臉候選框，判斷該人物與一標的物之間的距離是否在一有效關注距離之內； 第三程式指令，使該處理器響應於該人物與該標的物之間的距離在該有效關注距離之內，基於該人臉候選框，取得該人臉之複數個關鍵點，並藉以進行一正臉判斷程序，以判斷該人臉是否為正臉(frontal)； 第四程式指令，使該處理器響應於該人臉為正臉，基於過去多個時間點所取得的一系列第一影像，進行一有效關注時長計算程序，以取得該人物對於該標的物之一有效關注時長，並藉以判斷該有效關注時長是否不小於一時長門檻； 第五程式指令，使該處理器於判斷該有效關注時長不小於該時長門檻之後，基於該標的物之尺寸、該等關鍵點及該人臉候選框，進行一關注焦點計算程序，以取得該人物對於該標的物之該關注焦點。
  11. 如請求項10之電腦程式產品，其中基於該人臉候選框，判斷該人物與該標的物之間的距離是否在該有效關注距離之內，包括： 判斷該人臉候選框之高度是否不小於一有效人臉尺寸； 其中若該人臉候選框之高度不小於該有效人臉尺寸，則表示該人物與該標的物之間的距離在該有效關注距離之內。
  12. 如請求項11之電腦程式產品，其中該有效人臉尺寸，係藉由將該有效關注距離及一拍攝視野(field of view；FOV)代入一第一方程式所計算得出； 其中該有效關注距離，係藉由將該標的物之尺寸代入一第二方程式所計算得出； 其中該第一方程式與該第二方程式，分別係基於一第一歷史資料集與一第二歷史資料集，使用多項式回歸(polynomial regression)方法所計算得出； 其中該第一歷史資料集包括一系列有效關注距離與標的物之尺寸之間的對應關係； 其中該第二歷史資料集包括一系列有效人臉尺寸與有效關注距離及FOV之間的對應關係。
  13. 如請求項10之電腦程式產品，其中該等關鍵點，包括一左眼關鍵點、一右眼關鍵點、一鼻頭關鍵點、一嘴唇左端關鍵點及一嘴唇右端關鍵點。
  14. 如請求項13之電腦程式產品，其中該正臉判斷程序，包括： 連接該左眼關鍵點及該嘴唇右端關鍵點以取得一第一直線，以及連接該右眼關鍵點及該嘴唇左端關鍵點以取得一第二直線； 判斷該鼻頭關鍵點是否在一圓內； 其中若該鼻頭關鍵點在該圓內，則判斷該人臉為正臉； 其中該圓之圓心為該第一直線與該第二直線的一相交點，該圓之半徑等於該人臉候選框之高度加上該人臉候選框之寬度後再乘以一既定比值。
  15. 如請求項14之電腦程式產品，其中該關注焦點計算程序，包括： 對該圓進行一正規化(normalization)操作，使該圓之直徑轉換為以1單位長度表示； 將該鼻頭關鍵點在正規化後的該圓內的一第一位置，映射到對應該標的物的一第二影像中的一第二位置； 其中該第二位置即為該關注焦點。
  16. 如請求項15之電腦程式產品，其中該第一位置及該第二位置，係以直角座標系(cartesian coordinate system)的形式作表示；及 其中將該鼻頭關鍵點在該圓內的該第一位置，映射到對應該標的物的該第二影像中的該第二位置，包括使用以下公式：
    Figure 03_image001
    Figure 03_image003
    其中(x,y)為該第二位置之座標，(u,v)為該第一位置之座標，w為該標的物之寬度，h為該標的物之高度。
  17. 如請求項10之電腦程式產品，其中該有效關注時長計算程序，包括： 基於該人臉候選框裁切該第一影像，以取得一人臉圖片； 將該人臉圖片輸入一AI人臉識別模型，以取得該人臉圖片之一特徵向量； 計算該特徵向量與前一時間點所取得的前一第一影像中的前一人臉圖片之前一特徵向量之一內積(Inner Product)值； 基於該內積值，判斷該人臉圖片與該前一人臉圖片是否屬於相同人物； 基於屬於相同人物的一系列人臉圖片所對應的一系列時間點，計算該人物對於該標的物之該有效關注時長。
  18. 如請求項10之電腦程式產品，更經由電腦載入該程式執行： 第六程式指令，使該處理器響應於該有效關注時長不小於該時長門檻，基於該等人臉屬性及該標的物之複數個標的物屬性，使用一機器學習分類模型，以確認該人臉是否為有效關注； 其中於判斷該有效關注時長不小於該時長門檻之後，基於該標的物之尺寸、該等關鍵點及該人臉候選框，進行該關注焦點計算程序，包括： 響應於該人臉為有效關注，基於該標的物之尺寸、該等關鍵點及該人臉候選框，進行該關注焦點計算程序。
TW110104446A 2021-02-05 2021-02-05 計算關注焦點的方法及電腦程式產品 TWI768704B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW110104446A TWI768704B (zh) 2021-02-05 2021-02-05 計算關注焦點的方法及電腦程式產品
EP21162697.3A EP4040334A1 (en) 2021-02-05 2021-03-15 Method and non-transitory computer-readable storage medium for detecting focus of attention
US17/204,129 US11793435B2 (en) 2021-02-05 2021-03-17 Method and non-transitory computer-readable storage medium for detecting focus of attention

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110104446A TWI768704B (zh) 2021-02-05 2021-02-05 計算關注焦點的方法及電腦程式產品

Publications (2)

Publication Number Publication Date
TWI768704B true TWI768704B (zh) 2022-06-21
TW202232438A TW202232438A (zh) 2022-08-16

Family

ID=74874781

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110104446A TWI768704B (zh) 2021-02-05 2021-02-05 計算關注焦點的方法及電腦程式產品

Country Status (3)

Country Link
US (1) US11793435B2 (zh)
EP (1) EP4040334A1 (zh)
TW (1) TWI768704B (zh)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473033A (zh) * 2009-09-29 2012-05-23 阿尔卡特朗讯 一种注视点检测方法及其装置
TW201812521A (zh) * 2016-07-21 2018-04-01 忠穩 羅 根據使用者的興趣顯示內容之具有眼動追蹤之互動式顯示系統
CN109829281A (zh) * 2017-09-09 2019-05-31 苹果公司 生物识别认证的实现
US20210026445A1 (en) * 2019-07-26 2021-01-28 Cajal Corporation Systems and methods for gaze tracking

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981309A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 入力装置
JP4876687B2 (ja) * 2006-04-19 2012-02-15 株式会社日立製作所 注目度計測装置及び注目度計測システム
US20090123031A1 (en) * 2007-11-13 2009-05-14 Smith Matthew R Awareness detection system and method
WO2018222812A1 (en) * 2017-05-31 2018-12-06 The Procter & Gamble Company System and method for guiding a user to take a selfie
WO2019118089A1 (en) * 2017-12-11 2019-06-20 Analog Devices, Inc. Multi-modal far field user interfaces and vision-assisted audio processing
CN110633664A (zh) * 2019-09-05 2019-12-31 北京大蛋科技有限公司 基于人脸识别技术追踪用户的注意力方法和装置
US11645867B2 (en) * 2020-05-12 2023-05-09 Motorola Solutions, Inc. Device, method and system for controlling an access point based on movement trends of a mover
CN112287844B (zh) * 2020-10-30 2023-04-18 北京市商汤科技开发有限公司 学情分析方法及装置、电子设备和存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102473033A (zh) * 2009-09-29 2012-05-23 阿尔卡特朗讯 一种注视点检测方法及其装置
TW201812521A (zh) * 2016-07-21 2018-04-01 忠穩 羅 根據使用者的興趣顯示內容之具有眼動追蹤之互動式顯示系統
CN109829281A (zh) * 2017-09-09 2019-05-31 苹果公司 生物识别认证的实现
US20210026445A1 (en) * 2019-07-26 2021-01-28 Cajal Corporation Systems and methods for gaze tracking

Also Published As

Publication number Publication date
TW202232438A (zh) 2022-08-16
US11793435B2 (en) 2023-10-24
EP4040334A1 (en) 2022-08-10
US20220248997A1 (en) 2022-08-11

Similar Documents

Publication Publication Date Title
US10915167B2 (en) Rendering rich media content based on head position information
KR102054443B1 (ko) 인터랙티브 광고를 위한 사용 측정 기술 및 시스템
US20190222776A1 (en) Augmenting detected regions in image or video data
Sugano et al. Aggregaze: Collective estimation of audience attention on public displays
Yamada et al. Attention prediction in egocentric video using motion and visual saliency
US20210049349A1 (en) System And Method For Scalable Cloud-Robotics Based Face Recognition And Face Analysis
US10254831B2 (en) System and method for detecting a gaze of a viewer
US20160232399A1 (en) System and method of detecting a gaze of a viewer
Pereira et al. Virtual fitting room augmented reality techniques for e-commerce
TWI745653B (zh) 顧客行為分析方法與顧客行為分析系統
US11854238B2 (en) Information insertion method, apparatus, and device, and computer storage medium
JP6583996B2 (ja) 映像評価装置、及びプログラム
US20120038602A1 (en) Advertisement display system and method
TW201337867A (zh) 數位告示系統及其方法
US9965697B2 (en) Head pose determination using a camera and a distance determination
TWI768704B (zh) 計算關注焦點的方法及電腦程式產品
KR102178396B1 (ko) 증강현실 기반의 이미지출력물 제작 방법 및 장치
JP7015430B2 (ja) 見込み客情報収集システム及びその収集法
Lee et al. An intelligent image-based customer analysis service
CN115035555A (zh) 计算关注焦点的方法及存储介质
US20130138505A1 (en) Analytics-to-content interface for interactive advertising
US10991342B2 (en) Terminal apparatus, system, and method of displaying image
JP6573259B2 (ja) カメラによる属性収集システム
Li et al. A low-cost head and eye tracking system for realistic eye movements in virtual avatars
US20240046699A1 (en) Method, apparatus and system for customer group analysis, and storage medium