TWI719409B - 追蹤系統及其方法 - Google Patents

追蹤系統及其方法 Download PDF

Info

Publication number
TWI719409B
TWI719409B TW108106190A TW108106190A TWI719409B TW I719409 B TWI719409 B TW I719409B TW 108106190 A TW108106190 A TW 108106190A TW 108106190 A TW108106190 A TW 108106190A TW I719409 B TWI719409 B TW I719409B
Authority
TW
Taiwan
Prior art keywords
face
processor
human
target area
distance
Prior art date
Application number
TW108106190A
Other languages
English (en)
Other versions
TW202032420A (zh
Inventor
李易寰
Original Assignee
和碩聯合科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 和碩聯合科技股份有限公司 filed Critical 和碩聯合科技股份有限公司
Priority to TW108106190A priority Critical patent/TWI719409B/zh
Priority to CN202010047531.1A priority patent/CN111611837A/zh
Priority to US16/790,813 priority patent/US11218629B2/en
Publication of TW202032420A publication Critical patent/TW202032420A/zh
Application granted granted Critical
Publication of TWI719409B publication Critical patent/TWI719409B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/579—Depth or shape recovery from multiple images from motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/167—Detection; Localisation; Normalisation using comparisons between temporally consecutive images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Studio Devices (AREA)

Abstract

一種追蹤系統，包含影像擷取裝置、記憶體以及處理器。影像擷取裝置用以於目標區中擷取影像串流。記憶體儲存人臉資訊。處理器自記憶體讀取人臉資訊以及讀取來自影像擷取裝置的影像串流。處理器用以於影像串流中辨識匹配於人臉資訊的人臉，藉以追蹤人臉於目標區中的移動。處理器用以判斷人臉與影像擷取裝置間的距離是否大於預定距離。當處理器判斷距離大於預定距離時，該處理器用以追蹤對應於人臉的人形於目標區中的移動。

Description

追蹤系統及其方法
本案涉及一種追蹤系統以及追蹤方法，尤為一種基於影像辨識的人物追蹤系統及其人物追蹤方法。
先前技術中的系統通常係分別以獨立的人臉辨識程序以及人臉追蹤程序來實施人物追蹤。在先前技術的人臉辨識程序中，對於距離較遠的人臉，其辨識率將大幅降低。在先前技術的人臉追蹤程序中，對於畫面中交錯的人臉、背景中的人臉、離開畫面再回到畫面中的人臉等狀況，將容易產生誤判，使追蹤正確率大幅降低。
另外，若直接使系統並行地執行此兩種程序，將令系統計算量倍增，造成實作困難。
為了解決上述問題，本案提出下列的實施態樣，使人臉辨識程序以及人臉追蹤程序能較佳的協同運作。
本案的一實施態樣係關於一種追蹤系統。該人物追蹤系統至少包含一影像擷取裝置、一記憶體以及一處理器， 處理器相互耦接至該影像擷取裝置及該記憶體。該影像擷取裝置用以於一目標區中擷取一影像串流。該記憶體用以儲存至少一人臉資訊。該處理器用以讀取該記憶體中之該至少一人臉資訊以及來自該影像擷取裝置的該影像串流。該處理器用以於該影像串流中辨識匹配於該至少一人臉資訊的一人臉，藉以追蹤該人臉於該目標區中的移動。該處理器更用以判斷該人臉與該影像擷取裝置間的一距離是否大於一預定距離。當該處理器判斷該距離大於該預定距離時，該處理器用以追蹤對應於該人臉的一人形於該目標區中的移動。
本案的另一實施態樣係關於一種人物追蹤方法。該人物追蹤方法至少包含以下步驟：於一目標區中擷取一影像串流；讀取至少一人臉資訊以及該影像串流；於該影像串流中辨識匹配於該至少一人臉資訊的一人臉，藉以追蹤該人臉於該目標區中的移動；判斷該人臉與該影像擷取裝置間的一距離是否大於一預定距離；以及當判斷該距離大於該預定距離時，追蹤對應於該人臉的一人形於該目標區中的移動。
因此，根據本案的上述實施態樣，本案至少提供一種追蹤系統以及追蹤方法，可有效地切換人臉與人形的辨識與追蹤程序，提升整體系統效率且降低能耗。
100:追蹤系統
110:記憶體
120:處理器
130:影像擷取裝置
200:追蹤方法
S201~S214:步驟流程
TAR:目標區
FIN:區域
FOU:區域
HF:人臉
參照後續段落中的實施方式以及下列圖式，當可更佳地理解本發明的內容： 第1圖為基於本案一些實施例所繪示的追蹤系統的示意圖；第2A圖係為根據本案一些實施例所繪示的追蹤方法的部分流程圖；第2B圖係為根據本案一些實施例所繪示的追蹤方法的部分流程圖；以及第3圖係為基於本案一些實施例所繪示的追蹤系統的情境示意圖。
以下將以圖式及詳細敘述清楚說明本案之精神，任何所屬技術領域中具有通常知識者在瞭解本案之實施例後，當可由本案所教示之技術，加以改變及修飾，其並不脫離本案之精神與範圍。
關於本文中所使用之用詞(terms)，除有特別註明外，通常具有每個用詞使用在此領域中、在本案之內容中與特殊內容中的平常意義。某些用以描述本案之用詞將於下或在此說明書的別處討論，以提供本領域技術人員在有關本案之描述上額外的引導。
請參照第1圖，其係為基於本案一些實施例所繪示的追蹤系統的示意圖。如第1圖所示，在一些實施例中，追蹤系統100包含記憶體110、處理器120以及影像擷取裝置130，處理器120電性/通訊耦接於記憶體110及影像擷取裝置130。
在一些實施例中，追蹤系統100當中的記憶體110以及處理器120可共同設置於一處以構成單一伺服器，或可分別設置於不同處以構成雲端運算系統。上述兩者可電性/通訊耦接以進行雙向的資訊交換。此外，在一些實施例中，無論是單一伺服器或雲端運算系統，處理器120電性/通訊耦接於影像擷取裝置130，使處理器120可讀取影像擷取裝置130所擷取之影像串流，以實現追蹤系統100之功能。
應理解，本案所稱的「電性耦接」或「通訊耦接」可為實體或非實體之耦接。例如，在一些實施例中，處理器120可以藉由無線通訊技術耦接至記憶體110，藉此兩者可進行雙向的訊息交換。在一些實施例中，記憶體110以及處理器120可以藉由實體線路耦接，藉此兩者亦可進行雙向的訊息交換。上述實施例皆可稱作「電性耦接」或「通訊耦接」。
在一些實施例中，記憶體110可為包含但不限於快閃(flash)記憶體、硬碟(hard disk drive，HDD)、固態硬碟(solid state drive，SSD)、動態隨機存取記憶體(dynamic random access memory，DRAM)或靜態隨機存取記憶體(static random access memory，SRAM)當中的一者或其組合。在一些實施例中，作為一種非暫態電腦可讀取媒體，記憶體110更可儲存至少一電腦可讀取指令，該至少一電腦可讀取指令可供處理器120存取，處理器120可執行該至少一電腦可讀取指令以運行一應用程序，藉以實現追蹤系統100之功能。
在一些實施例中，處理器120可包含但不限於單一處理器或多個微處理器之集成，例如，中央處理器(central processing unit，CPU)、繪圖處理器(graphics processing unit，GPU)或特殊應用電路(application specific integrated circuit，ASIC)等。承前所述，在一些實施例中，處理器120可用以自記憶體110存取並執行該至少一電腦可讀取指令，藉以運行該應用程序，進而實現追蹤系統100之功能。
在一些實施例中，影像擷取裝置130可包含但不限於一般用途光學攝影機、紅外線攝影機、深度攝影機或可調式攝影機等。在一些實施例中，影像擷取裝置130係為可單獨運作之裝置，其可獨自擷取並儲存影像串流。在一些實施例中，影像擷取裝置130可擷取影像串流，並將影像串流儲存至記憶體110。在一些實施例中，影像擷取裝置130可擷取影像串流，由處理器120處理後儲存至記憶體110。
為了更佳地理解本案，由處理器120運行的該應用程序之內容將於下面段落中詳細解釋。
請參照第2A圖以及第2B圖，其各自為基於本案一些實施例所繪示的追蹤方法的部分流程圖，兩者合併可為本案一些實施例的追蹤方法的完整流程圖。如第2A圖以及第2B圖所示，在一些實施例中，追蹤方法200可由第1圖之實施例中的處理器120所實施。為了更加地理解下面實施例，請一併參照第1圖之實施例，以理解追蹤系統100當中各單元的運作。
詳細而言，第2A圖以及第2B圖所示的追蹤方法200即為第1圖之實施例所述的該應用程序，其係由處理器120自記憶體110讀取並執行該至少一電腦可讀取指令以運作。在一些實施例中，追蹤方法200的詳細步驟如下所示。
請先參照第2A圖。
S201：讀取至少一人臉資訊。
在一些實施例中，追蹤系統100的記憶體110中可儲存至少一人臉資訊。在一些實施例中，該至少一人臉資訊係預先儲存於記憶體110中。在一些實施例中，該至少一人臉資訊係由處理器120運行一人臉辨識程序以逐步獲取之，再儲存於記憶體110中。
在一些實施例中，由於處理器120電性/通訊耦接於記憶體110，處理器120可自記憶體110讀取該至少一人臉資訊。在一些實施例中，該至少一人臉資訊紀錄複數個相異人臉的靜態特徵或動態特徵，例如：臉形、脣形、眼形、瞳孔顏色、眉形、鼻形、兩眼間寬度、口鼻間寬度等等，但並不以此為限。
S202：讀取一影像擷取裝置於一目標區中擷取的一影像串流。
在一些實施例中，追蹤系統100的影像擷取裝置130係朝向一目標區設置，藉以持續地擷取目標區當中的影像串流，該影像串流當中可包含複數影像幀(Frames)。該些影像幀可理解為影像擷取裝置130根據特定時間間隔自目標區擷取的多個畫面。
在一些實施例中，影像擷取裝置130可將該影像串流儲存於記憶體110中，由於處理器120電性/通訊耦接於記憶體110，處理器120可自記憶體110讀取該影像串流。在一些實施例中，影像擷取裝置130可將該影像串流儲存於其他記憶體(例如，影像擷取裝置130的內存)中，處理器120可電性/通 訊耦接於自該些記憶體，以自該些記憶體讀取該影像串流。
S203：於該影像串流中，嘗試辨識匹配於該至少一人臉資訊的一人臉。
在一些實施例中，處理器120可根據該至少一人臉資訊運行一人臉辨識程序，藉此，處理器120可於該影像串流中嘗試尋找對應於該至少一人臉資訊的人臉。
承前所述，該至少一人臉資訊當中的各個人臉可藉由上述的一或多個靜態特徵或動態特徵界定，藉由於該影像串流中辨識該些靜態特徵或動態特徵，處理器120可嘗試辨識該目標區中出現的人臉是否匹配於該至少一人臉資訊，其即係一種基於模板的辨識演算法(template-based recognition algorithms)。然而，應當理解，本案的辨識演算法並不以此為限。
S204：於該影像串流中成功辨識該人臉時，註冊關於一人形的資訊，該人形係由該人臉以及對應於該人臉的至少一外型特徵共同界定。
在一些實施例中，當處理器120判斷該影像串流中出現的人臉與該至少一人臉資訊當中某一人臉的相似度超過一相似度閾值(例如：80%)時，處理器120即判斷該影像串流中出現的人臉匹配於該至少一人臉資訊當中的該人臉。藉此，處理器120可判斷該至少一人臉資訊當中的該人臉出現於該目標區中。然而，應當理解，本案的處理器120判斷人臉匹配與否的方式並不以此為限。
在一些實施例中，當處理器120成功於該影像串 流中辨識出該至少一人臉資訊當中的某一人臉後，處理器120可註冊對應於該人臉的一人形。在一些實施例中，處理器120可將關於該人形的資訊儲存於記憶體110中。
在一些實施例中，該人形係由該人臉以及對應於該人臉的至少一外型特徵所共同界定。該外型特徵可包含衣著、化妝、髮型以及體態中的至少一者或兩者以上之組合，但並不以此為限。換言之，由於該人臉應屬於一人物，故當處理器120成功辨識該人臉後，處理器120可進一步將該人物的其他特徵(尤為身體特徵)用以註冊該人形，使該人形包含除了人臉以外的其他特徵(如上述的衣著、體態或衣物材質等)。亦即，該人形以及該人臉共同界定了該人物。
以下請參照第2B圖。步驟S205接續於第2A圖的步驟S204。
S205：於該目標區中追蹤該人臉的移動。
在一些實施例中，由於處理器120已成功於該影像串流中辨識出匹配於該至少一人臉資訊的該人臉，處理器120可執行一人臉追蹤程序，以持續追蹤該人臉的移動。亦即，自處理器120於該影像串流中的某一影像幀成功偵測該人臉起，處理器120可執行該人臉追蹤程序處理器120，以於接續的各影像幀中持續判斷該人臉的位置，藉此，可持續追蹤該人臉於該目標區中的移動。
在一些實施例中，處理器120可於該影像串流中的至少兩連續影像幀中尋找對應於該人臉的複數像素。於該至少兩連續影像幀當中，對應於該人臉的該些像素可能產生一位 移，處理器120可根據該位移判斷該人臉移動的一方向變量以及一距離變量。
在一些實施例中，該方向變量所指的是，於該至少兩連續影像幀之間，對應於該人臉的該些像素相對於整個影像幀的上方、下方、左方、右方等方位的移動，但本案並不以此為限。在一些實施例中，該距離變量所指的是，於該至少兩連續影像幀之間，對應於該人臉的該些像素相對於整個影像幀移動的像素數量，但本案並不以此為限。
S206：判斷該人臉於該目標區中的一移動速度是否超出一第一速度閾值；當判斷該移動速度超出該第一速度閾值，進入步驟S207；當判斷該移動速度低於或等於該第一速度閾值，進入步驟S208。
在一些實施例中，處理器120可追蹤該人臉的移動對應的該方向變量以及該距離變量，並根據該方向變量以及該距離變量計算該人臉的移動速度。在一些實施例中，處理器120更可判斷該移動速度是否超出一第一速度閾值，該第一速度閾值可由追蹤系統100的使用者因應需求而預先設定。應理解，在一些實施例中，該第一速度閾值的數值設定係為了判斷該人臉於各個影像幀中的移動速度是否適當，不適當的移動速度可能導致在接續的影像幀中的追蹤失敗。因此，該第一速度閾值的數值取決處理器120判斷該人臉於該目標區的追蹤精度而定。
在一些實施例中，當處理器120判斷該人臉的移動速度超出該第一速度閾值，代表該人臉的移動速度相對快 速，可能令該人臉的追蹤成功率降低。在一些實施例中，當處理器120判斷該人臉的移動速度未超出(即小於或等於)該第一速度閾值，代表該人臉的移動速度相對慢速，令該人臉的追蹤精度得以維持。
應注意的是，在一些實施例中，因應該人臉於該目標區當中所處的相對位置，處理器120用以判斷該移動速度的該第一速度閾值對應的數值可以不同。在一些實施例中，若該人臉位於該目標區當中相對中央的位置時，處理器120可根據數值較高的該第一速度閾值對該移動速度進行判斷。在一些實施例中，若該人臉位於該目標區當中相對邊緣的位置時，處理器120可根據數值較低的該第一速度閾值對該移動速度進行判斷。
為了更佳地理解，請一併參照本案的第3圖，其係為基於本案一些實施例所繪示的追蹤系統的情境示意圖。如第3圖所繪示，在一些實施例中，影像擷取裝置130擷取的該影像串流中至少包含一個影像幀，該影像幀對應於影像擷取裝置130所指向的一目標區TAR。在一些實施例中，該影像幀的寬度對應於目標區TAR當中的7.5公尺(m)，該影像幀的高度對應於目標區TAR當中的4.2公尺(m)。
如第3圖的該影像幀所示，在一些實施例中，在目標區TAR當中，具有一相對內側的區域FIN，以及一相對外側的區域FOU，其中區域FOU環繞區域FIN。應理解，當處理器120在對該影像串流的每一幀進行處理時，處理器120可大致根據第3圖的該影像幀所示地將目標區TAR區分為中央的區 域FIN以及邊緣的區域FOU。然而，應理解，本案對目標區的區分方式並不以此為限。
在一些實施例中，若處理器120偵測到一人臉HF位於區域FIN中時，該第一速度閾值可為每秒十公尺(10m/s)。在一些實施例中，若處理器120偵測到該人臉HF位於區域FOU中時，該第一速度閾值可為每秒一公尺(1m/s)。亦即，當該人臉HF位於目標區TAR當中相對邊緣的區域(即區域FOU)時，由於該第一速度閾值較低，處理器120判斷該人臉HF的移動速度超出該第一速度閾值的機率較高。反之，當該人臉位於目標區TAR當中相對中央的區域中(即區域FIN)時，處理器120判斷該人臉HF的移動速度超出該第一速度閾值的機率較低。
應理解，在前述實施例中，處理器120對應人臉HF在目標區TAR中的不同位置而設定不同的第一速度閾值，其係因為，當人臉HF在目標區TAR當中相對中央的位置時，其具有較低的機率在短時間內超出目標區TAR外。相對地，當人臉HF在目標區TAR當中相對邊緣的位置時，其具有較高的機率在短時間內超出目標區TAR外。在此範圍內，應以更靈敏的標準重新進行人臉偵測。然而，應當理解，前述實施例僅為示例，本案的第一速度閾值的設定方式亦並不以此為限。
S207：重新辨識該人臉。當成功辨識該人臉，進入步驟S205；反之，當未成功辨識該人臉，進入步驟S209。
在一些實施例中，當處理器120判斷該人臉的移動速度超出該第一速度閾值，代表該人臉的移動速度相對快 速，將使追蹤成功率降低。在此狀況下，處理器120將在接續的影像幀中重新執行該人臉辨識程序(亦即進入步驟S207)，以再次嘗試辨識該人臉。
在一些實施例中，當處理器120在接續的影像幀中再次成功辨識該人臉，處理器120將重新執行該人臉追蹤程序，以繼續追蹤該人臉的移動(即步驟S205)。
S208：判斷該人臉與該影像擷取裝置間的一第一距離是否大於一預定距離；當判斷該第一距離大於該預定距離，進入步驟S209；當判斷該第一距離小於或等於該預定距離，進入步驟S205。
在一些實施例中，當處理器120判斷該人臉的移動速度小於或等於該第一速度閾值，代表該人臉的移動速度適於追蹤。在此狀況下，處理器120將進一步判斷該人臉與影像擷取裝置130間的距離是否大於一預定距離。在一些實施例中，影像擷取裝置130可為一深度攝影機，故其擷取的影像幀皆包含有該目標區當中景物的深度資訊，處理器120可根據該人臉對應的深度資訊判斷該人臉與影像擷取裝置130之間的距離。
在一些實施例中，該預定距離可由追蹤系統100的使用者因應需求而設定。應理解，在一些實施例中，該預定距離的數值設定係因應判斷該人臉的辨識精度而定。例如，若人臉與影像擷取裝置130之間的距離超過15公尺時，人臉上的特徵可能產生模糊，進而導致人臉的辨識精度降低。在此考量下，該預定距離可設定為15公尺。然而，應理解，上述數值僅 係用以說明，本案並不以此為限。
S209：嘗試於目標區中辨識該人形。當成功辨識該人形，進入步驟S210；反之，當未成功辨識該人形，進入步驟S211。
在一些實施例中，接續於步驟S207，當處理器120在接續的影像幀中未成功辨識該人臉，處理器120將執行一人形辨識程序(即步驟S209)，以嘗試在接續的影像幀中辨識對應於該人臉的該人形。
在一些實施例中，接續於步驟S208，當處理器120判斷該人臉與影像擷取裝置130間的距離大於該預定距離，處理器120亦將執行該人形辨識程序(即步驟S209)，以嘗試在接續的影像幀中辨識對應於該人臉的該人形。
亦可理解為，在該些實施例中，處理器120將改於目標區中辨識人形，而非辨識人臉。
承前所述，在一些實施例中，若處理器120先前已根據該人臉註冊該人形，處理器120可根據該人形註冊時的該外型特徵嘗試辨識該人形。例如，處理器120可根據人物的衣著、化妝、髮型以及體態等外型特徵，嘗試在接續的影像幀中辨識該人形。
S210：判斷該人形與該影像擷取裝置間的一第二距離是否大於預定距離。當判斷該第二距離大於該預定距離，進入步驟S212；反之，當判斷該第二距離小於或等於該預定距離，進入步驟S205。
在一些實施例中，接續於步驟S209，若處理器120 先前已根據該人臉註冊該人形，且處理器120在接續的影像幀中成功辨識該人形，處理器120將進一步判斷該人形與影像擷取裝置130間的距離是否大於一預定距離。應理解，在一些實施例中，該預定距離可由追蹤系統100的使用者因應需求而設定，其可等於前述實施例中的該預定距離。然而，本案並不以此為限。
在一些實施例中，接續於步驟S210，當處理器120判斷該人形與影像擷取裝置130間的距離小於或等於該預定距離，處理器120可再次執行該人臉追蹤程序，以於接續的影像幀中繼續追蹤該人臉，亦即，同於步驟S205的操作。
S211：更新/註冊該人形。
在一些實施例中，接續於步驟S209，當處理器120在接續的影像幀中未成功辨識該人形，可能代表該人形未註冊。在此狀況下，處理器120可根據當前的外型特徵註冊該人形。在一些實施例中，處理器120可儲存該人形於該記憶體110當中。
在一些實施例中，接續於步驟S209，當處理器120在接續的影像幀中未成功辨識該人形，可能代表該人形的外型特徵已改變。是故，在一些實施例中，若處理器120判斷該人形已註冊，但註冊時間距當下已超過一預定時間，處理器120可根據當下的外型特徵修改該人形所對應的外型特徵，藉以更新該記憶體110中相關於該人形的資訊。在一些實施例中，考量到進入該目標區的人物可能每日替換不同的服裝或裝扮，該預定時間可為一日。
S212：追蹤該人形於該目標區中的移動，並持續判斷該人形於該目標區中的一移動速度。
在一些實施例中，接續於步驟S210，當處理器120判斷該人形與影像擷取裝置130間的距離大於該預定距離，處理器120可執行一人形追蹤程序，以於接續的影像幀中追蹤該人形，亦即，處理器120可改為追蹤該人形於該目標區中的移動。
S213：判斷該人形於該目標區中的移動速度是否超出一第二速度閾值。當判斷移動速度超出該第二速度閾值，進入步驟S209；反之，當判斷移動速度小於或等於該第二速度閾值，進入步驟S214。
在一些實施例中，即便處理器120改為追蹤該人形於該目標區中的移動，處理器120亦將持續判斷該人形於該目標區中的移動速度，並判斷該移動速度是否超過一第二速度閾值。應理解，該第二速度閾值的設定類似於該第一速度閾值，其係為了判斷該人形於各個影像幀中的移動速度是否適當，以免追蹤失敗。
在一些實施例中，該第二速度閾值的數值可同於該第一速度閾值的數值。在一些實施例中，該第二速度閾值的數值不同於該第一速度閾值的數值。該第二速度閾值的數值取決處理器120判斷該人形於該目標區的追蹤精度而定。在一些實施例中，由於人形可能位於該目標區中的相對遠處，該第二速度閾值的數值小於該第一速度閾值的數值。
在一些實施例中，當處理器120判斷該人形於該 目標區中的移動速度超出該第二速度閾值，處理器120可執行步驟S209，以重新執行該人形辨識程序。
S214：繼續追蹤該人形。
在一些實施例中，當處理器120判斷該人形於該目標區中的移動速度小於或等於該第二速度閾值，處理器120繼續執行該人形追蹤程序，以追蹤該人形。
在上述實施例中，本案的追蹤系統100(如第1圖所示)具有多個功能方塊或模組。領域中人應當理解，在一些實施例中，優選地，該些功能方塊或模組可藉由電路(包含在一或多個處理器以及編碼指令下操作的專用電路或通用電路)以實現。一般而言，該電路可包含電晶體或其他電路元件，以上述實施例中的方式配置，使該電路可根據本案所述的功能以及操作運行。進一步地，該電路當中的功能方塊或模組間的協作程序可由特定編譯器(compiler)所實現，例如，暫存器傳送語言(Register Transfer Language,RTL)編譯器。然而，本案並不以此為限。
應注意的是，上述的各實施例僅係舉例以方便說明本案之技術特徵，而非用於限定本案之實施方式。領域中人應當理解，透過本案上下文之敘述，可將本案的技術實施至各種可行的情境當中。例如，在上述實施例中，僅以單目標辨識情境為例。但領域中人應可理解，本案的追蹤系統以及追蹤方法可類似地實施於多目標辨識情境，用以同時辨識與追蹤該至少一人臉資訊中的多個人臉。
由上述本案實施方式可知，本案實施例藉由提供 一種追蹤系統、方法以及非暫態電腦可讀取媒體，可有效地註冊對應於人臉的人形，並於特定狀況下切換人臉與人形的辨識與追蹤程序，其可降低系統的運算量，使整體系統的效率提升，並降低整體系統的能耗。
雖然本案以實施例揭露如上，然其並非用以限定本案，任何熟習此技藝者，在不脫離本案之精神和範圍內，當可作各種之更動與潤飾，因此本案之保護範圍當視後附之申請專利範圍所界定者為準。
100‧‧‧追蹤系統
110‧‧‧記憶體
120‧‧‧處理器
130‧‧‧影像擷取裝置

Claims (10)

  1. 一種追蹤系統，包含：一影像擷取裝置，用以於一目標區中擷取一影像串流；一記憶體，用以儲存至少一人臉資訊；以及一處理器，耦接至該影像擷取裝置及該記憶體，該處理器用以：讀取該記憶體中之該至少一人臉資訊；讀取來自該影像擷取裝置於的該影像串流，於該影像串流中辨識匹配於該至少一人臉資訊的一人臉，藉以追蹤該人臉於該目標區中的移動，判斷該人臉與該影像擷取裝置間的一距離是否大於一預定距離，當判斷該距離大於該預定距離時，追蹤對應於該人臉的一人形於該目標區中的移動。
  2. 如請求項1所述之追蹤系統，其中響應於該人臉被成功辨識，該處理器用以於該記憶體中儲存關於該人形的資訊，該人形係由該人臉以及對應於該人臉的一外型特徵共同界定。
  3. 如請求項2所述之追蹤系統，其中經過一預定時間後，當該處理器再次於該影像串流中成功辨識該人臉，該處理器用以於該記憶體中更新關於該人形的資訊。
  4. 如請求項3所述之追蹤系統，其中該預定時間係為一日。
  5. 如請求項2所述之追蹤系統，其中該外型特徵包含衣著、化妝、髮型以及體態中的至少一者或兩者以上之組合。
  6. 如請求項1所述之追蹤系統，其中該處理器係根據該影像串流中該人臉對應的一深度資訊判斷該人臉與該影像擷取裝置間的該距離。
  7. 如請求項1所述之追蹤系統，該人臉的移動係由該人臉於該影像串流中的至少兩連續幀中對應的複數像素的一方向變量以及一距離變量所決定，該處理器更根據該些像素的該方向變量以及該距離變量計算該人臉的一移動速度。
  8. 如請求項7所述之追蹤系統，其中該處理器更用以判斷該人臉的該移動速度是否超出一速度閾值，當該處理器判斷該移動速度超出該速度閾值，該處理器重新辨識該人臉，當該處理器成功辨識該人臉，該處理器追蹤該人臉的移動，當該處理器未成功辨識該人臉，該處理器追蹤該人形的 移動，當該處理器判斷該移動速度低於或等於該速度閾值，該處理器判斷該距離是否大於該預定距離。
  9. 如請求項8所述之追蹤系統，其中當該人臉位於該目標區當中的一中央區域時，該速度閾值為一第一閾值，當該人臉位於該目標區當中的一邊緣區域時，該速度閾值為一第二閾值，該第一閾值大於該第二閾值。
  10. 一種追蹤方法，包含：於一目標區中擷取一影像串流；讀取至少一人臉資訊以及該影像串流；於該影像串流中辨識匹配於該至少一人臉資訊的一人臉，藉以追蹤該人臉於該目標區中的移動；判斷該人臉與該影像擷取裝置間的一距離是否大於一預定距離；以及當判斷該距離大於該預定距離時，追蹤對應於該人臉的一人形於該目標區中的移動。
TW108106190A 2019-02-23 2019-02-23 追蹤系統及其方法 TWI719409B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW108106190A TWI719409B (zh) 2019-02-23 2019-02-23 追蹤系統及其方法
CN202010047531.1A CN111611837A (zh) 2019-02-23 2020-01-16 追踪系统及其方法
US16/790,813 US11218629B2 (en) 2019-02-23 2020-02-14 Tracking system and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108106190A TWI719409B (zh) 2019-02-23 2019-02-23 追蹤系統及其方法

Publications (2)

Publication Number Publication Date
TW202032420A TW202032420A (zh) 2020-09-01
TWI719409B true TWI719409B (zh) 2021-02-21

Family

ID=72140368

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108106190A TWI719409B (zh) 2019-02-23 2019-02-23 追蹤系統及其方法

Country Status (3)

Country Link
US (1) US11218629B2 (zh)
CN (1) CN111611837A (zh)
TW (1) TWI719409B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11069036B1 (en) * 2020-01-03 2021-07-20 GE Precision Healthcare LLC Method and system for real-time and offline de-identification of facial regions from regular and occluded color video streams obtained during diagnostic medical procedures
TWI776305B (zh) * 2020-12-04 2022-09-01 威聯通科技股份有限公司 人臉辨識裝置與分散式人臉辨識系統及方法
CN112989938A (zh) * 2021-02-07 2021-06-18 平安科技（深圳）有限公司 一种行人实时跟踪识别方法、装置、介质及设备
TWI827028B (zh) * 2022-04-29 2023-12-21 新加坡商鴻運科股份有限公司 一種目標追蹤方法與裝置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040017938A1 (en) * 2002-04-08 2004-01-29 James Cooper Method and apparatus for detecting and/or tracking one or more colour regions in an image or sequence of images
US8384791B2 (en) * 2002-11-29 2013-02-26 Sony United Kingdom Limited Video camera for face detection
TWM485321U (zh) * 2014-02-12 2014-09-01 Tw Racing Parts Inc 自動導正位移偏心的油管螺絲
TWI462029B (zh) * 2009-06-25 2014-11-21 Pixart Imaging Inc Face detection and tracking device
TWI466034B (zh) * 2009-12-23 2014-12-21 Altek Corp Methods to Improve Face Recognition
WO2017084204A1 (zh) * 2015-11-19 2017-05-26 广州新节奏智能科技有限公司 一种二维视频流中的人体骨骼点追踪方法及系统
WO2018133666A1 (zh) * 2017-01-17 2018-07-26 腾讯科技（深圳）有限公司 视频目标跟踪方法和装置
CN109146913A (zh) * 2018-08-02 2019-01-04 苏州浪潮智能软件有限公司 一种人脸跟踪方法及装置
JP2019009529A (ja) * 2017-06-21 2019-01-17 日本電気株式会社 顔認証装置、人物追跡システム、人物追跡方法、および、人物追跡プログラム

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7242306B2 (en) * 2001-05-08 2007-07-10 Hill-Rom Services, Inc. Article locating and tracking apparatus and method
DE60236461D1 (de) * 2002-07-26 2010-07-01 Mitsubishi Electric Corp Bildverarbeitungsvorrichtung
EP1742169B1 (en) * 2005-07-05 2012-02-22 Omron Corporation Tracking apparatus
US7899211B2 (en) * 2005-12-07 2011-03-01 Nissan Motor Co., Ltd. Object detecting system and object detecting method
US7848548B1 (en) 2007-06-11 2010-12-07 Videomining Corporation Method and system for robust demographic classification using pose independent model from sequence of face images
EP2619724A2 (en) * 2010-09-23 2013-07-31 Stryker Corporation Video monitoring system
US9934427B2 (en) * 2010-09-23 2018-04-03 Stryker Corporation Video monitoring system
CN102737384A (zh) * 2011-04-08 2012-10-17 慧友电子股份有限公司 球型摄影机自动追踪的方法
US9547795B2 (en) * 2011-04-25 2017-01-17 Magna Electronics Inc. Image processing method for detecting objects using relative motion
CA2804468C (en) * 2012-01-30 2016-03-29 Accenture Global Services Limited System and method for face capture and matching
TWI524277B (zh) 2013-12-19 2016-03-01 Univ Kun Shan Dynamic Image Identity Identification System and Method with Shape Characteristic Matching
CN106709932B (zh) * 2015-11-12 2020-12-04 创新先进技术有限公司 一种人脸位置跟踪方法、装置和电子设备
CN106991688A (zh) * 2017-03-09 2017-07-28 广东欧珀移动通信有限公司 人体跟踪方法、人体跟踪装置和电子装置
CN107292240B (zh) * 2017-05-24 2020-09-18 深圳市深网视界科技有限公司 一种基于人脸与人体识别的找人方法及系统
JP6963437B2 (ja) * 2017-08-03 2021-11-10 キヤノン株式会社 情報処理装置及びその制御方法とプログラム
US10868955B2 (en) * 2017-09-05 2020-12-15 Facebook, Inc. Modifying capture of video data by an image capture device based on video data previously captured by the image capture device
CN107644204B (zh) * 2017-09-12 2020-11-10 南京凌深信息科技有限公司 一种用于安防系统的人体识别与跟踪方法
CN108846853A (zh) * 2018-04-26 2018-11-20 武汉幻视智能科技有限公司 一种基于目标跟踪和姿态检测的教学行为分析方法及装置
US10896321B2 (en) * 2018-10-19 2021-01-19 Codex Corporation Monitoring inmate movement with facial recognition
CN109544590B (zh) * 2018-11-27 2020-05-15 上海芯仑光电科技有限公司 一种目标跟踪方法及计算设备
US10855926B2 (en) * 2018-12-06 2020-12-01 Heimavista Inc. Automatic object tracking system and automatic object tracking method

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20040017938A1 (en) * 2002-04-08 2004-01-29 James Cooper Method and apparatus for detecting and/or tracking one or more colour regions in an image or sequence of images
US8384791B2 (en) * 2002-11-29 2013-02-26 Sony United Kingdom Limited Video camera for face detection
TWI462029B (zh) * 2009-06-25 2014-11-21 Pixart Imaging Inc Face detection and tracking device
TWI466034B (zh) * 2009-12-23 2014-12-21 Altek Corp Methods to Improve Face Recognition
TWM485321U (zh) * 2014-02-12 2014-09-01 Tw Racing Parts Inc 自動導正位移偏心的油管螺絲
WO2017084204A1 (zh) * 2015-11-19 2017-05-26 广州新节奏智能科技有限公司 一种二维视频流中的人体骨骼点追踪方法及系统
WO2018133666A1 (zh) * 2017-01-17 2018-07-26 腾讯科技（深圳）有限公司 视频目标跟踪方法和装置
JP2019009529A (ja) * 2017-06-21 2019-01-17 日本電気株式会社 顔認証装置、人物追跡システム、人物追跡方法、および、人物追跡プログラム
CN109146913A (zh) * 2018-08-02 2019-01-04 苏州浪潮智能软件有限公司 一种人脸跟踪方法及装置

Also Published As

Publication number Publication date
US11218629B2 (en) 2022-01-04
TW202032420A (zh) 2020-09-01
US20200275017A1 (en) 2020-08-27
CN111611837A (zh) 2020-09-01

Similar Documents

Publication Publication Date Title
TWI719409B (zh) 追蹤系統及其方法
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
US10083343B2 (en) Method and apparatus for facial recognition
US10268875B2 (en) Method and apparatus for registering face, and method and apparatus for recognizing face
US10540540B2 (en) Method and device to determine landmark from region of interest of image
JP6007682B2 (ja) 画像処理装置、画像処理方法及びプログラム
US10817704B2 (en) Method and apparatus for extracting feature from input image
Yonetani et al. Ego-surfing first-person videos
WO2020184207A1 (ja) 物体追跡装置および物体追跡方法
WO2021036373A1 (zh) 目标跟踪方法、装置和计算机可读存储介质
WO2019033575A1 (zh) 电子装置、人脸追踪的方法、系统及存储介质
Chen et al. Using FTOC to track shuttlecock for the badminton robot
CN111754391A (zh) 人脸转正方法、设备及计算机可读存储介质
JP2020109644A (ja) 転倒検出方法、転倒検出装置及び電子機器
EP2998928B1 (en) Apparatus and method for extracting high watermark image from continuously photographed images
WO2020019353A1 (zh) 跟踪控制方法、设备、计算机可读存储介质
Wang et al. Online adaptive multiple pedestrian tracking in monocular surveillance video
Yu et al. Perspective-aware Convolution for Monocular 3D Object Detection
JP6380523B2 (ja) 画像認識システムおよび半導体集積回路
Gao et al. Explicitly exploiting hierarchical features in visual object tracking
KR20130067465A (ko) 특징점을 이용한 얼굴방향 추적 장치 및 그 방법
Zhao et al. Eye Tracking Based on the Template Matching and the Pyramidal Lucas-Kanade Algorithm
Nigam et al. EgoTracker: Pedestrian tracking with re-identification in egocentric videos
Wen et al. CD-SLAM: A Real-Time Stereo Visual-Inertial SLAM for Complex Dynamic Environments With Semantic and Geometric Information
Wang et al. Adaptive visual tracking based on discriminative feature selection for mobile robot