TWI697868B

TWI697868B - 影像物件追蹤系統及方法

Info

Publication number: TWI697868B
Application number: TW107124085A
Authority: TW
Inventors: 李振忠; 林家弘; 陳明仁; 林慶文; 蔡維倫; 段睿森; 林佑典
Original assignee: 廣達電腦股份有限公司
Priority date: 2018-07-12
Filing date: 2018-07-12
Publication date: 2020-07-01
Also published as: US20200020110A1; CN110717941B; US10679357B2; CN110717941A; TW202006664A

Abstract

一種影像物件追蹤系統，具有攝影裝置以及計算裝置。攝影裝置於第一時間點以及接續於第一時間點之第二時間點分別擷取第一影像以及第二影像。計算裝置決定第一影像與第二影像中包括中線之判斷區域，當第一影像中有第一物件位於判斷區域內、且第二影像中有第二物件位於判斷區域外時，決定第一物件與第二物件之間的距離是否小於預定門檻，以及當第一物件與第二物件之間的距離小於預定門檻時，更新進入物件計數值或離開物件計數值。

Description

影像物件追蹤系統及方法

本申請主要關於影像處理技術，特別係有關於一種影像物件追蹤系統及方法。

針對特定空間進行物件(如：人員、車輛)追蹤始終是營運管理及安全管理上的重要需求之一，舉例來說，針對賣場的情境，追蹤來客人數不僅有助於行銷及員工調配，確實追蹤員工進出也有助於內部人事管理；此外，針對建築物、道路、共眾運輸中心等空間進行物件追蹤，則有助於設施管理、或交通管控。

一般來說，常見的物件追蹤方法包括：運用閘口計數器或紅外線感測器偵測物件之進出、或運用影像分析偵測物件之進出，其中運用影像分析的物件追蹤方法通常是在監測空間的出入口上方架設攝影裝置以擷取出入口的俯視影像，並以影像的上下邊界為基準判斷出進出的物件數目，然而，在有多重物件同時進與出的情況下，傳統的影像物件追蹤方法的誤判率會大幅提高，導致物件計數值嚴重失真。

第1圖係顯示傳統的影像物件追蹤方法的誤判情形。如第1圖所示，傳統系統所擷取影像的上邊界為判斷進入的基準邊界，影像的下邊界為判斷離開的基準邊界(假設影像上方為監測空間)，物件O1在時間點t1到t2從影像中跨越上邊界而移出影像外，然此時攝影裝置無法擷取到物件O1在時間點t2的影像。同時，若物件O2在時間點t1到t2從影像外跨越上邊界而移入影像內，特別是，若物件O1在時間點t1的位置與物件O2在時間點t2的位置距離為d，而此距離d小於或等於系統判定是否為同一物件的預定門檻D，如此系統將導致把在時間點t2的物件O2以及在時間點t1的物件O1誤判為同一物件，也就是視物件O1的移動路徑從往上轉為往左，由於此一誤判，進入物件計數值就不會被加1，而造成計數結果失真。

本申請提供了一種影像物件追蹤系統及方法，透過在鄰近中線的上下或左右各拉一條進出判斷之邊界，並以此接近中線的邊界來追蹤物件的進出數量，從而有效降低誤判率。

本申請之一實施例提供了一種影像物件追蹤系統，包括一攝影裝置以及一計算裝置。上述攝影裝置係用以於一第一時間點以及接續於上述第一時間點之一第二時間點分別擷取一第一影像以及一第二影像。上述計算裝置係用以決定上述第一影像與上述第二影像中包括一中線之一區域，當上述第一影像中有第一物件位於上述區域內、且上述第二影像中有一第二物件位於上述區域外時，決定上述第一物件與上述第二物件之間的距離是否小於一預定門檻，以及當上述第一物件與上述第二物件之間的距離小於上述預定門檻時，更新一進入物件計數值或一離開物件計數值。

本申請之另一實施例提供了一種影像物件追蹤方法，適用於包括一攝影裝置之一影像物件追蹤系統。上述影像物件追蹤方法包括以下步驟：透過上述攝影裝置於一第一時間點以及接續於上述第一時間點之一第二時間點分別擷取一第一影像以及一第二影像；決定上述第一影像與上述第二影像中包括一中線之一區域；當上述第一影像中有第一物件位於上述區域內、且上述第二影像中有一第二物件位於上述區域外時，決定上述第一物件與上述第二物件之間的距離是否小於一預定門檻；以及當上述第一物件與上述第二物件之間的距離小於上述預定門檻時，更新一進入物件計數值或一離開物件計數值。

關於本申請其他附加的特徵與優點，此領域之熟習技術人士，在不脫離本申請之精神和範圍內，當可根據本案實施方法中所揭露之影像物件追蹤系統及方法做些許的更動與潤飾而得到。

100‧‧‧影像物件追蹤系統

110‧‧‧服務網路

120‧‧‧計算裝置

130‧‧‧攝影裝置

10、50‧‧‧通訊裝置

20、60‧‧‧控制器

30、70‧‧‧儲存裝置

40‧‧‧輸入輸出裝置

80‧‧‧攝影鏡頭

510‧‧‧設定模組

520‧‧‧物件偵測模組

530‧‧‧物件分析模組

540‧‧‧物件進出判斷模組

550‧‧‧結果計算模組

S710~S740‧‧‧步驟編號

O1(t1)~O1(t5)、O2(t1)~O2(t5)‧‧‧物件位置

t1~t5‧‧‧時間點

W‧‧‧判斷區域的高度

D‧‧‧預定門檻

d、d1~d4‧‧‧物件間的距離

第1圖係顯示傳統的影像物件追蹤方法的誤判情形。

第2圖係根據本申請一實施例所述之影像物件追蹤系統之示意圖。

第3圖係根據本申請一實施例所述之計算裝置120之硬體架構示意圖。

第4圖係根據本申請一實施例所述之攝影裝置130之硬體架構示意圖。

第5圖係根據本申請一實施例所述之影像物件追蹤方法之軟體架構示意圖。

第6A圖係根據本申請一實施例所述之判斷區域之示意圖。

第6B圖係根據本申請另一實施例所述之判斷區域之示意圖。

第7圖係根據本申請一實施例所述之影像物件追蹤方法之流程圖。

第8圖係根據本申請一實施例所述之影像物件追蹤之示意圖。

本章節所敘述的是實施本申請之較佳方式，目的在於說明本申請之精神而非用以限定本申請之保護範圍，當可理解的是，使用於本說明書中的「包含」、「包括」等詞，係用以表示存在特定的技術特徵、數值、方法步驟、作業處理、元件以及/或組件，但並不排除可加上更多的技術特徵、數值、方法步驟、作業處理、元件、組件，或以上的任意組合。

第2圖係根據本申請一實施例所述之影像物件追蹤系統之示意圖。影像物件追蹤系統100包括服務網路110、計算裝置120、以及攝影裝置130。

服務網路110可以是有線網路、以及/或無線網路所構成，用以提供計算裝置120與攝影裝置130之間的網路連線。有線網路包括：乙太網(Ethernet)、非對稱數位用戶線路(Asymmetric Digital Subscriber Line，ADSL)網路、光纖(Optical)網路、雙絞線(Twisted Pair)網路、或同軸電纜 (Coaxial cable)網路。無線網路包括：電信網路、無線區域網路(Wireless Local Area Network，WLAN)，其中電信網路通常跨接較大的物理範圍，所覆蓋的範圍從幾十公里到幾千公里，可透過網際網路連線多個地區、城市、或國家，形成國際性的遠端網路；而無線區域網路通常覆蓋較為局部的區域，例如：辦公室、或建築物內的某樓層。

舉例來說，電信網路可包括：全球行動通訊系統(Global System for Mobile communications，GSM)網路、通用封包無線服務(General Packet Radio Service，GPRS)網路、全球增強型數據傳輸(Enhanced Data rates for Global Evolution，EDGE)網路、寬頻分碼多工存取(Wideband Code Division Multiple Access，WCDMA)網路、分碼多工存取-2000(Code Division Multiple Access 2000，CDMA-2000)網路、分時同步分碼多工存取(Time Division-Synchronous Code Division Multiple Access，TD-SCDMA)網路、全球互通微波存取(Worldwide Interoperability for Microwave Access，WiMAX)網路、長期演進(Long Term Evolution，LTE)網路、長期演進強化(LTE Advanced，LTE-A)網路、以及分時長期演進(Time-Division LTE，TD-LTE)網路等。

無線區域網路可使用無線保真(Wireless Fidelity，Wi-Fi)技術、藍牙技術、或群蜂技術所建立。

計算裝置120可為平板電腦、筆記型電腦、桌上型電腦、伺服器、或任何電子裝置，只要其可支援網路連線功能以及影像處理功能。明確來說，計算裝置120係透過服務網路110連接到攝影裝置130以接收影像資料，並針對影像資料進行影像物件追蹤。

攝影裝置130為一具備網路連線功能以及影像擷取功能之電子裝置，主要負責擷取影像，並透過服務網路110將影像資料傳送到計算裝置120。在一實施例，攝影裝置130可設置於監測空間的出入口上方，以擷取出入口區域的俯視影像。

當可理解的是，雖然第2圖所示影像物件追蹤系統100為分散式系統架構，但本申請所述影像物件追蹤系統及方法亦可適用於集中式系統架構，也就是說，計算裝置120與攝影裝置130可進一步整合為同一裝置而無須透過服務網路110才能通訊。

第3圖係根據本申請一實施例所述之計算裝置120之硬體架構示意圖。計算裝置120包括通訊裝置10、控制器20、儲存裝置30、以及輸入輸出裝置40。

通訊裝置10係用以提供連線至服務網路110，並透過服務網路110連接到攝影裝置130。通訊裝置10可透過有線的方式提供網路連線，例如：乙太網、光纖網路、非對稱數位式用戶線路、雙絞線網路、或同軸電纜網路等；或者，通訊裝置10亦可透過無線的方式提供網路連線，例如使用無線保真技術、藍牙技術、群蜂技術、或其他電信網路技術。

控制器20可為通用處理器、微處理器(Micro Control Unit，MCU)、應用處理器(Application Processor， AP)、數位訊號處理器(Digital Signal Processor，DSP)、或圖形處理器(Graphics Processing Unit，GPU)等，其可包括各式電路邏輯，用以提供數據(如：影像資料)處理及運算之功能、透過通訊裝置10接收影像資料、從儲存裝置30讀取或儲存數據、以及從輸入輸出裝置40接收或輸出訊號。特別是，控制器20係用以協調控制通訊裝置10、儲存裝置30、以及輸入輸出裝置40之運作，以執行本申請的影像物件追蹤方法。

儲存裝置30為非暫態(non-transitory)之電腦可讀取儲存媒體，例如：隨機存取記憶體(Random Access Memory，RAM)、快閃記憶體，或硬碟、光碟，或上述媒體之任意組合，用以儲存影像資料、指令集、應用及/或通訊協定之程式碼、以及本申請的影像物件追蹤方法之程式碼等。

輸入輸出裝置40可包括一或多個按鈕、鍵盤、滑鼠、觸碰板、麥克風、顯示螢幕(例如：液晶顯示器、發光二極體顯示器、或電子紙顯示器等)、以及/或喇叭等，用以作為人機介面與管理者互動，例如：顯示攝影裝置130所擷取之影像、顯示或輸出當前的物件計數值(包括：進入物件計數值、離開物件計數值、以及/或留存物件數)等。

當可理解的是，第3圖所示之元件僅用以提供一說明之範例，並非用以限制本申請之保護範圍。舉例來說，計算裝置120還可包括其他元件，例如：電源供應器等。

第4圖係根據本申請一實施例所述之攝影裝置130之硬體架構示意圖。攝影裝置130包括通訊裝置50、控制器60、儲存裝置70、以及攝影鏡頭80。

通訊裝置50的功能類似於通訊裝置10，其主要負責提供連線至服務網路110，並透過服務網路110連接到計算裝置120。

控制器60可為通用處理器、微處理器、應用處理器、或數位訊號處理器等，其可包括各式電路邏輯，用以控制攝影鏡頭80擷取影像、從攝影鏡頭80接收影像、從儲存裝置70讀取或儲存影像資料、以及透過通訊裝置50傳送影像資料。

儲存裝置70的功能類似於儲存裝置30，其主要負責儲存影像資料、指令集、以及應用及/或通訊協定之程式碼等。

攝影鏡頭80主要負責以一固定視域擷取影像。舉例來說，攝影鏡頭80可設置於監測空間的出入口上方，以擷取出入口的俯視影像。攝影鏡頭80可包括一或多個光學元件，例如：透鏡以及影像感測器等。

當可理解的是，第4圖所示之元件僅用以提供一說明之範例，並非用以限制本申請之保護範圍。舉例來說，攝影裝置130還可包括其他元件，例如：電源供應器。

第5圖係根據本申請一實施例所述之影像物件追蹤方法之軟體架構示意圖。在此實施例，用以實現影像物件追蹤方法之軟體架構包括有：設定模組510、物件偵測模組520、物件分析模組530、物件進出判斷模組540、以及結果計算模組550。上述軟體模組可由程式碼所組成並由影像物件追蹤系統100中的計算裝置120載入執行，從而實現影像物件追蹤方法。

首先，關於設定模組510，其主要負責提供對外之接口。透過此接口，可讓影像物件追蹤系統100從管理者或使用者接收物件追蹤設定之相關參數，包括：判斷區域的高度/寬度W、以及判定是否為同一物件的預定門檻D。判斷區域係指影像中包括中線之區域，而該區域的上/下邊界或左/右邊界即為判斷進入/離開的基準邊界。在一實施例，假設影像上方或下方為監測空間(人流係從上下兩側出入)，則判斷區域可以是包括影像水平中線的長條形區域，如第6A圖所示。在另一實施例，假設影像右方或左方為監測空間(人流係從左右兩側出入)，則判斷區域可以是包括影像垂直中線的長條形區域，如第6B圖所示。

關於物件偵測模組520，其主要負責針對攝影裝置130所擷取之影像進行物件偵測。明確來說，物件偵測可包括先將影像進行灰階化處理，然後進行特徵萃取以取得物件的特徵，例如：位置、輪廓、以及/或幾何形狀等，之後再根據物件特徵進行特徵比對以找出目標物件。在一實施例，當目標物件為人、且影像為俯視影像時，目標物件的輪廓可包含俯視的人頭、以及/或肩膀的輪廓。

關於物件分析模組530，其主要負責根據偵測到的物件進一步決定物件參數。在一實施例，當目標物件為人時，物件參數可包括人頭的中心點位置、以及半徑等。

關於物件進出判斷模組540，其主要負責根據設定模組510之物件追蹤設定，以及物件分析模組530之物件參數而決定是否更新進入物件計數值或離開物件計數值。關於更新進入/離開物件計數值的詳細說明將於後續第7圖進一步說明。

關於結果計算模組550，其主要負責根據進入物件計數值、以及離開物件計數值計算出控管空間內的總物件數，也就是留存物件數。明確來說，留存物件數可以是將進入物件計數值減去離開物件計數值而得到。

第7圖係根據本申請一實施例所述之影像物件追蹤方法之流程圖。在此實施例，影像物件追蹤方法係適用於包括一攝影裝置之一影像物件追蹤系統，如：影像物件追蹤系統100。

首先，影像物件追蹤系統透過攝影裝置於第一時間點以及接續於第一時間點之第二時間點分別擷取第一影像以及第二影像(步驟S710)。

在一實施例，攝影裝置的畫面更新率(frame rate)可以是每秒擷取30張影像，也就是說，第二時間點係接續於第一時間點之後的1/30秒。

接續步驟S710，影像物件追蹤系統決定第一影像與第二影像中包括中線之判斷區域(步驟S720)，舉例說明，判斷區域可以是包括影像中水平中線的長條形區域，如第6A圖所示，或者，判斷區域可以是包括影像中垂直中線的長條形區域，如第6B圖所示。

接續步驟S720，影像物件追蹤系統決定第一影像中是否有第一物件位於判斷區域內(步驟S730)，若是，則接著決定第二影像中是否有第二物件位於判斷區域外(步驟S740)，若是，則決定第一物件與第二物件之間的距離d是否小於預定門檻D(步驟S750)，其中預定門檻D係用於判定第一物件與第二物件是否為同一物件。

在一實施例，預定門檻D的設定可以依照攝影裝置的畫面更新率以及目標物件而決定，舉例來說，當攝影裝置的畫面更新率為每秒擷取30張影像、且目標物件為人時，預定門檻D可設定為150~200像素，也就是說，可預期人在影像中的移動距離在兩張連續影像的時間間隔內會低於150~200像素。

接續步驟S750，當第一物件與第二物件之間的距離d小於預定門檻D時，影像物件追蹤系統更新進入物件計數值或離開物件計數值(步驟S760)，流程結束。

在一實施例，假設影像上方為監測空間，那麼當第二影像中第二物件位於判斷區域上方時，上述步驟S760的更新進入/離開物件計數值可以是將進入物件計數值加1；此外，當第二影像中第二物件位於判斷區域下方時，上述更新進入/離開物件計數值可以是將離開物件計數值加1。

在另一實施例，假設影像下方為監測空間，那麼當第二影像中第二物件位於判斷區域上方時，上述步驟S760的更新進入/離開物件計數值可以是將離開物件計數值加1；此外，當第二影像中第二物件位於判斷區域下方時，上述更新進入/離開物件計數值可以是將進入物件計數值加1。

在另一實施例，假設影像右方為監測空間，那麼當第二影像中第二物件位於判斷區域右方時，上述更新進入/離開物件計數值可以是將進入物件計數值加1；此外，當第二影像中第二物件位於判斷區域左方時，上述步驟S760的更新進入/離開物件計數值可以是將離開物件計數值加1。

在另一實施例，假設影像左方為監測空間，那麼當第二影像中第二物件位於判斷區域右方時，上述更新進入/離開物件計數值可以是將離開物件計數值加1；此外，當第二影像中第二物件位於判斷區域左方時，上述步驟S760的更新進入/離開物件計數值可以是將進入物件計數值加1。

第8圖係根據本申請一實施例所述之影像物件追蹤之示意圖。

如第8圖所示，包括影像中線的判斷區域的高度為W，判斷區域的上邊界為判斷進入的基準邊界，判斷區域的下邊界為判斷離開的基準邊界。

當可理解的是，第8圖所示影像實際上為時間點t1到t5所擷取的多張影像的疊加，以方便表示物件O1、O2的移動軌跡。明確來說，物件O1在時間點t1到t5從判斷區域下方往上穿越判斷區域(物件O1在不同時間點的位置以O1(t1)~O1(t5)標示)，於此同時，物件O2在時間點t1到t5從判斷區域上方往下穿越判斷區域(物件O2在不同時間點的位置以O2(t1)~O2(t5)標示)。

根據本申請的影像物件追蹤方法，在時間點t4偵測到有物件存在判斷區域內，且在時間點t5偵測到有物件存在判斷區域外，因此會進一步判斷在時間點t4存在於判斷區域內的物件以及在時間點t5存在於判斷區域外的物件是否係屬同一物件。

明確來說，以物件O1而言，其於時間點t4的位置O1(t4)以及其於時間點t5的位置O1(t5)之間的距離d1小於預定門檻D，所以會將位置O1(t5)及O1(t4)的物件視為同一物件；而物件O1於時間點t4的位置O1(t4)以及物件O2於時間點t5的位置O2(t5)之間的距離d2大於預定門檻D，所以不會將位置O2(t5)及O1(t4)的物件視為同一物件。此外，因為物件O1在時間點t4到t5跨越的是判斷區域的上邊界，所以會將進入物件計數值加1。

以物件O2而言，其於時間點t4的位置O2(t4)以及其於時間點t5的位置O2(t5)之間的距離d3小於預定門檻D，所以會將位置O2(t5)及O2(t4)的物件視為同一物件；而物件O2於時間點t4的位置O2(t4)以及物件O1於時間點t5的位置O1(t5)之間的距離d4大於預定門檻D，所以不會將位置O1(t5)及O2(t4)的物件視為同一物件。此外，因為物件O2在時間點t4到t5跨越的是判斷區域的下邊界，所以會將離開物件計數值加1。

根據上述實施例，當可理解的是，有別於傳統的影像物件追蹤方法是以影像的上下邊界為進出判斷之邊界，本申請的影像物件追蹤系統及方法是在鄰近中線的上下或左右各拉一條進出判斷之邊界，並以此鄰近中線之邊界追蹤物件的進出數量，從而有效降低誤判率。

本申請雖以各種實施例揭露如上，然而其僅為範例參考而非用以限定本申請的範圍，任何熟習此項技藝者，在不脫離本申請之精神和範圍內，當可做些許的更動與潤飾。因此上述實施例並非用以限定本申請之範圍，本申請之保護範圍當視後附之申請專利範圍所界定者為準。

於申請專利範圍中所使用的「第一」、「第二」等詞係用來修飾權利要求中的元件，並非用來表示之間具有優先權順序，先行關係，或者是一個元件先於另一個元件，或者是執行方法步驟時的時間先後順序，僅用來區別具有相同名字的元件。

100‧‧‧影像物件追蹤系統

110‧‧‧服務網路

120‧‧‧計算裝置

130‧‧‧攝影裝置

Claims

一種影像物件追蹤系統，包括：一攝影裝置，用以於一第一時間點以及接續於上述第一時間點之一第二時間點分別擷取一第一影像以及一第二影像；以及一計算裝置，用以決定上述第一影像與上述第二影像中包括完整一中線之一部分區域，當上述第一影像中有一第一物件位於上述部分區域內、且上述第二影像中有一第二物件位於上述部分區域外時，決定上述第一物件與上述第二物件之間的距離是否小於一預定門檻，以及當上述第一物件與上述第二物件之間的距離小於上述預定門檻時，更新一進入物件計數值或一離開物件計數值。
如申請專利範圍第1項所述之影像物件追蹤系統，其中上述計算裝置還當上述第一物件與上述第二物件之間的距離小於上述預定門檻、且上述第二影像中上述第二物件位於上述部分區域上方或右方時，將上述進入物件計數值加一，以及當上述第一物件與上述第二物件之間的距離小於上述預定門檻、且上述第二影像中上述第二物件位於上述部分區域下方或左方時，將上述離開物件計數值加一。
如申請專利範圍第1項所述之影像物件追蹤系統，其中上述計算裝置還當上述第一物件與上述第二物件之間的距離小於上述預定門檻、且上述第二影像中上述第二物件位於上述部分區域上方或右方時，將上述離開物件計數值加一，以及當上述第一物件與上述第二物件之間的距離小於上述預定門檻、且上述第二影像中上述第二物件位於上述部分區域下方或左方時，將上述進入物件計數值加一。
如申請專利範圍第1項所述之影像物件追蹤系統，其中上述部分區域之一高度或寬度小於或等於上述預定門檻。
如申請專利範圍第1項所述之影像物件追蹤系統，其中上述計算裝置還根據上述進入物件計數值以及上述離開物件計數值決定一留存物件數。
一種影像物件追蹤方法，適用於包括一攝影裝置之一影像物件追蹤系統，上述影像物件追蹤方法包括：透過上述攝影裝置於一第一時間點以及接續於上述第一時間點之一第二時間點分別擷取一第一影像以及一第二影像；決定上述第一影像與上述第二影像中包括完整一中線之一部分區域；當上述第一影像中有一第一物件位於上述部分區域內、且上述第二影像中有一第二物件位於上述部分區域外時，決定上述第一物件與上述第二物件之間的距離是否小於一預定門檻；以及當上述第一物件與上述第二物件之間的距離小於上述預定門檻時，更新一進入物件計數值或一離開物件計數值。
如申請專利範圍第6項所述之影像物件追蹤方法，更包括：當上述第一物件與上述第二物件之間的距離小於上述預定門檻、且上述第二影像中上述第二物件位於上述部分區域上方或右方時，將上述進入物件計數值加一；以及當上述第一物件與上述第二物件之間的距離小於上述預定門檻、且上述第二影像中上述第二物件位於上述部分區域下方或左方時，將上述離開物件計數值加一。
如申請專利範圍第6項所述之影像物件追蹤方法，更包括：當上述第一物件與上述第二物件之間的距離小於上述預定門檻、且上述第二影像中上述第二物件位於上述部分區域上方或右方時，將上述離開物件計數值加一；以及當上述第一物件與上述第二物件之間的距離小於上述預定門檻、且上述第二影像中上述第二物件位於上述部分區域下方或左方時，將上述進入物件計數值加一。
如申請專利範圍第6項所述之影像物件追蹤方法，其中上述部分區域之一高度或寬度小於或等於上述預定門檻。
如申請專利範圍第6項所述之影像物件追蹤方法，更包括：根據上述進入物件計數值以及上述離開物件計數值決定一留存物件數。