TWI503756B - 人型影像追蹤系統及其人型影像偵測方法與追蹤方法 - Google Patents

人型影像追蹤系統及其人型影像偵測方法與追蹤方法 Download PDF

Info

Publication number
TWI503756B
TWI503756B TW102129366A TW102129366A TWI503756B TW I503756 B TWI503756 B TW I503756B TW 102129366 A TW102129366 A TW 102129366A TW 102129366 A TW102129366 A TW 102129366A TW I503756 B TWI503756 B TW I503756B
Authority
TW
Taiwan
Prior art keywords
image
human
tracking
candidate
depth
Prior art date
Application number
TW102129366A
Other languages
English (en)
Other versions
TW201506808A (zh
Inventor
Li Chen Fu
Ting En Tseng
An Sheng Liu
Po Hao Hsiao
Original Assignee
Univ Nat Taiwan
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Univ Nat Taiwan filed Critical Univ Nat Taiwan
Priority to TW102129366A priority Critical patent/TWI503756B/zh
Priority to US14/146,432 priority patent/US9317765B2/en
Publication of TW201506808A publication Critical patent/TW201506808A/zh
Application granted granted Critical
Publication of TWI503756B publication Critical patent/TWI503756B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/255Detecting or recognising potential candidate objects based on visual cues, e.g. shapes

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Description

人型影像追蹤系統及其人型影像偵測方法與追蹤方法
本發明系關於一種影像追蹤系統以及影像偵測、追蹤方法,特別關於一種追蹤人型影像的系統及其偵測、追蹤方法。
監視系統用途十分廣泛,舉凡安裝在工廠廠房、宿舍、商店、大樓或社區住宅出入口、通道等需監視的場合或人跡罕至之隱密處,均可藉由監視系統即時錄下當時狀況,以供日後追查、存證等用途。藉此可嚇阻不肖份子,使不肖份子不敢進行不法行為,進而避免危害治安的事情發生。然而,若要即時辨識或追蹤監視範圍內的可疑份子,僅靠保全人員監視其效率是不彰的,因此目前發展出一種具有人型影像偵測功能的監視系統。
一般具有人型影像偵測功能的室內影像監控系統包括側視及俯視型態,其中側視型監控系統因視角的關係而有人體遮蔽的情況發生,當人體嚴重被遮蔽時,側視型監控系很難成功分辨目標物,且側視型監控系統大多採用彩色攝影機,在黑暗環境或燈光不足時無法運作。而俯視型監控系統利用擷取深度資料來辨識人型影像,通常是尋找局部區域的深度最大值,容易將其他物體誤判為人型影像,例如圓形立燈。
由上述可知,大多數習知的室內影像監控系統在人型監測方面仍未能達到兼具精確性及即時性的需求。
有鑑於先前技術之缺點,因此,需要發展一種兼具精確性及即時性需求的人型影像追蹤方法,可應用於一般深度感測器,作為室內人型影像監測應用。
根據本發明人型影像偵測方法之一實施例,用以偵測一偵測範圍內的一人型影像位置,人型影像偵測包括:由一影像處理單元接收來自一深度影像感測器的一深度影像資料;由該影像處理單元去除該深度影像資料的背景影像以輸出一前景影像;由一人型影像偵測單元接收該前景影像並對該前景影像執行圖形化分割以得到複數個圖形區塊;該人型影像偵測單元根據該些圖形區塊的面積大小判斷是否存在一候選人型區域;若存在該候選人型區域,則該人型影像偵測單元根據該候選人型區域與一半球形模型的相似度判斷該候選人型區域是否為一候選人頭區域;若該候選人型區域為該候選人頭區域,則該人型影像偵測單元根據相鄰於該候選人頭區域的周圍區域的面積大小判斷該候選人頭區域是否為一真正人頭區域;以及若該候選人頭區域為該真正人頭區域,則該人型影像偵測單元將該真正人頭區域位置視為偵測到的該人型影像位置。
根據本發明人型影像追蹤方法之一實施例,用以追蹤一偵測範圍內的人型影像,由一人型影像追蹤單元執行,該人型影像追蹤單元連接於一影像處理單元及一人型偵測單元,該人型影像追蹤方法包括:接收該人型偵測單元偵測的一目前人型影像位置與該人型影像追蹤單元預測的一先前追蹤位置;判斷該目前人型影像位置與該先前追蹤位置之間的距離是否小於一第六預設臨界值;若該目前人型影像位置與該先前追蹤位置之間的該距離小於該第六預設臨界值,則於該先前追蹤位置的鄰近區域產生複數個目前假設位置;計算 該些目前假設位置的每一個與該先前追蹤位置的深度分布相似性;根據多個深度分布相似性計算該些目前假設位置的準確機率;以及選擇最大準確機率對應的該目前假設位置作為一目前追蹤位置。
根據本發明人型影像追蹤系統之一實施例,用以 偵測並追蹤一偵測範圍內的一人型影像位置,該人型影像追蹤系統包括:一深度影像感測器以及一人型影像追蹤器,其中人型影像追蹤器包括:一影像處理單元、一人型影像偵測單元,以及一人型影像追蹤單元,其中該影像處理單元連接於該深度影像感測器,該人型影像偵測單元連接於該影像處理單元,該人型影像追蹤單元連接於該人型影像偵測單元。 該影像處理單元接收該深度影像資料,並去除該深度影像資料的背景影像以輸出一前景影像。該人型影像偵測單元接收該前景影像並對該前景影像執行圖形化分割以得到複數個圖形區塊,根據該些圖形區塊的面積大小判斷是否存在一候選人型區域,根據該候選人型區域與一半球形模型的相似度判斷該候選人型區域是否為一候選人頭區域,根據相鄰於該候選人頭區域的周圍區域的面積大小判斷該候選人頭區域是否為一真正人頭區域,當該候選人頭區域為該真正人頭區域,則將該真正人頭區域位置視為偵測到的該人型影像位置。該人型影像追蹤單元接收該人型偵測單元偵測的一目前人型影像位置與該人型影像追蹤單元預測的一先前追蹤位置,根據該目前人型影像位置與該先前追蹤位置之間的距離來決定是否於該先前追蹤位置的鄰近區域產生複數個目前假設位置,計算該些目前假設位置的每一個與該先前追蹤位置的深度分布相似性,根據多個深度分布相似性計算該些目前假設位置的準確機率,以及選擇最大準確機率對應的該目前假設位置作為一目前追蹤位置。
本發明之人型影像偵測方法藉由圖形化分割可 加速影像的識別,且同時考慮到人頭區域附近的區塊面積大 小,以提升偵測的準確性,人型影像追蹤方法藉由假設下一刻的追蹤位置,可彌補人型影像偵測方法的不足及減少人型影像偵測方法的負荷。
1‧‧‧人型影像追蹤系統
10‧‧‧深度影像感測器
12‧‧‧人型影像追蹤器
121‧‧‧影像處理單元
123‧‧‧人型影像偵測單元
125‧‧‧人型影像追蹤單元
127‧‧‧儲存單元
20、21‧‧‧深度影像資料
211‧‧‧子畫面
201、203‧‧‧靜止物體影像
205‧‧‧移動物體影像
2051、2053、2055、2057‧‧‧人型影像部位
Pa~Pe‧‧‧像素
S201~S215‧‧‧人型影像偵測方法步驟
S301~S321‧‧‧人型影像追蹤方法步驟
第1圖係根據本發明之人型影像追蹤系統的一實施例的示意圖。
第2A圖係根據本發明之人型影像偵測方法的一實施例的流程圖。
第2B(a)-2B(c)圖係根據本發明之人型影像偵測方法的深度影像資料的示意圖。
第3圖係根據本發明之人型影像追蹤方法的一實施例的流程圖。
第4圖係根據本發明知人型影像追蹤方法的一實施例的深度分布直方圖。
為進一步說明各實施例,本發明乃提供有圖式。此些圖式乃為本發明揭露內容之一部分,其主要係用以說明實施例,並可配合說明書之相關描述來解釋實施例的運作原理。配合參考這些內容,本領域具有通常知識者應能理解其他可能的實施方式以及本發明之優點。圖中的元件並未按比例繪製,而類似的元件符號通常用來表示類似的元件。
請參考第1圖,第1圖係根據本發明之人型影像追蹤系統的一實施例的示意圖。如第1圖所示,人型影像追蹤系統1包括一深度影像感測器(depth sensor)10及一人型影像追蹤器12,其中人型影像追蹤器12連接於深度影像感測器10。實際實施時,深度感測器10可包括一距離感測元件,其係安裝於一偵測範圍的上方,以俯視角度感測偵測範圍中的 物體,其中感測出的三維深度影像資料(x,y,z)包括物體在偵測範圍中的位置(x,y)及物體與深度感測器10之間的距離z。
人型影像追蹤器12包括一影像處理單元121、一人型影像偵測單元123、一人型影像追蹤單元125、及一儲存單元127,其中影像處理單元121連接於深度影像感測器10、人型影像偵測單元123、及人型影像追蹤單元125之間,人型影像偵測單元123及儲存單元127分別連接於人型影像追蹤單元125。
接著,請參考第2A圖及第2B圖,其中第2A圖係根據本發明之人型影像偵測方法的一實施例的流程圖,第2B(a)-(c)圖係根據本發明之人型影像偵測方法的深度影像資料的示意圖,配合參考第1圖的單元說明人型影像偵測方法。首先,由影像處理單元121週期性地持續接收來自深度影像感測器10的複數筆深度影像資料20(S201),並將前次的複數筆深度影像資料(xj ,yj ,zj )與目前的複數筆深度影像資料(xi ,yi ,zi )做比較後,去除深度影像資料中的背景影像以得到前景影像21(S203),舉例來說,影像處理單元121將深度影像資料中的靜止物體影像201、203視為背景影像,而移動物體影像205以及一些不必要的雜訊則保留為前景影像。
接著,為了去除可能不是人型影像的移動物體影像以及雜訊,由人型影像偵測單元123接收前景影像21,並根據深度影像資料的深度分布對前景影像執行圖形化分割(graph-based segmentation),以取得複數個圖形區塊(S205),更具體地來說,人型影像偵測單元123計算深度影像資料的所有相鄰兩點像素之間的深度差,並將複數個深度差中小於一第一預設臨界值對應的部份像素劃分為同一圖形區塊。舉例來說,人型影像偵測單元123計算前景影像21中的一子畫面211中的任兩相鄰像素之間的深度差,例如像素Pa與像素Pa之間的深度差量化為3,像素Pc與像素Pd之間的深度差量化為2,當第一預設臨界值假設為8,則人型影像偵測單元123 將深度差小於等於8的相鄰兩像素互相連接起來形成同一圖形區塊的邊界。一般來說,人型影像的各部位屬於連續區域,其深度差通常不會相差太多,而各部位之間的深度差較明顯,因此,以一個第一預設臨界值來限制像素之間的深度差可區分出人型影像的各部位,例如頭部2051、肩膀2053、手臂2055、2057等。藉此,人型影像偵測單元123利用圖形化分割篩選可能是人型的區塊,省去分析雜訊等的處理時間。
接著,人型影像偵測單元123進一步計算每一個圖形區塊的面積大小,並判斷多個圖形區塊的面積大小是否超過一第二預設臨界值,以判斷多個圖形區塊中是否有候選人型區域(S207),當多個圖形區塊中至少有一個的面積大於第二預設臨界值時,則判斷為此圖形區塊為候選人型區域;當多個圖形區塊的面積皆小於第二預設臨界值時,表示偵測範圍中無人型影像,因此重新接另一收深度影像資料(S201)。
接著,人型影像偵測單元123比對候選人型區域與一半球形模型(Hemisphere model)的相似度,以判斷候選人型區域是否為候選人頭區域(S209),更具體地來說,人型影像偵測單元123窮舉不同大小的半球形模型的座標參數(a,b,c)來與候選人型區域的三維像素座標(x,y,z)做比較,取得差異dh 如式子(1),其中差異dh 越小表示相似度越大,差異dh 越大表示相似度越小。取得相似度後,人型影像偵測單元123判斷相似度是否大於一第三預設臨界值,若大於第三預設臨界值,則候選人型區域可能為候選人頭區域,並找尋與候選人型區域最相近的半球形模型的座標參數(a,b,c),也就是滿足式子(2)。反之,相似度若小於第三預設臨界值,則視為不可能為候選人頭區域,並重新接另一收深度影像資料(S201)。
人型影像偵測單元123將最相近的半球形模型的中心位置視為候選人頭區域的中心位置,為了確認此候選人頭區域是否為真正人頭區域或者是移動的氣球等類似物體,人型影像偵測單元123根據相鄰於此候選人頭區域的周圍區域的面積大小判斷該候選人頭區域是否為一真正人頭區域(S211)。更具體地來說,人型影像偵測單元123將步驟S209取得的半球形模型的中心視為候選人頭區域的位置,並計算候選人頭區域的位置與鄰近像素之間的複數個深度差,接著,加總多個深度差中小於一第四預設臨界值的深度差的和,以深度差的和作為面積大小的依據,以判斷此候選人頭區域的周圍區域的面積是否超過一第五預設臨界值。
當周圍區域的面積超過第五預設臨界值,則判斷候選人頭區域為真正人頭區域,並將此真正人頭區域的中心位置視為偵測到的人型影像位置(S215)。當周圍區域的面積小於第五預設臨界值,則判斷候選人頭區域並非真正人頭區域,並重新接收來的另一深度影像資料(S201)。
值得注意的是,由於人型影像偵測單元123接收前景影像的週期關係,不可能每一個畫面皆偵測到,因此可能會有誤判的情形,因此根據一較佳實施例,人型影像偵測單元123在判斷出候選人頭區域為真正人頭區域時(S211),還會再判斷真正人頭區域是否可靠(S213)。更具體地來說,人型影像偵測單元123會統計同一個候選人頭區域在不同的畫面中連續被判斷為真正人頭區域的次數,例如五個畫面中累計兩次以上等則判斷為可靠的真正人頭區域,但不限於此。藉此,使得人型影像追蹤器12的偵測結果更值得信賴。
接著,參考第3圖係根據本發明之人型影像追蹤方法的一實施例的流程圖,配合參考第1圖的單元說明人型 影像偵測方法。首先,人型影像追蹤單元125接收來自人型影像偵測單元123這一刻T所偵測的目前人型影像位置(xi ,yi )以及前一刻T-1人型影像追蹤單元125所預測的先前追蹤位置(xj ,yj )(S301),其中目前人型影像位置(xi ,yi )不限於由第2A圖的人型影像偵測方法所取得,先前追蹤位置(xj ,yj )可暫時儲存於儲存單元127中。
接著,人型影像追蹤單元125判斷目前人型影像位置(xi ,yi )與先前追蹤位置(xj ,yj )之間的距離是否小於一第六預設臨界值(S303),也就是判斷先前追蹤位置(xj ,yj )是否鄰近於目前人型影像位置(xi ,yi ),若目前人型影像位置(xi ,yi )與先前追蹤位置(xj ,yj )之間的距離小於第六預設臨界值,則於先前追蹤位置(xj ,yj )的鄰近區域產生複數個目前假設位置(S305)。若目前人型影像位置(xi ,yi )與先前追蹤位置(xj ,yj )之間的距離大於第六預設臨界值,則將目前人型影像位置(xi ,yi )視為最新追蹤位置(S304)。
產生複數個目前假設位置之後,人型影像追蹤單元125計算多個目前假設位置的每一個與先前追蹤位置(xj ,yj )的深度分布相似性(S307)。更具體地來說,計算深度分布相似性的方法為擴散距離法(3D Diffusion distance),將每一個目前假設位置與先前追蹤位置(xj ,yj )比較相似程度。舉例來說,一個目前位置的深度分布與先前追蹤位置的深度分布為兩個直方圖(histogram),分別以h 1 (x )及h 2 (x )表示,兩個直方圖h 1 (x )、h 2 (x )的差異可表示成d (x )=h 1 (x )-h 2 (x ),其中d (x )、h 1 (x )和h 2 (x )的二進位(bin)數量是相同的。
利用熱擴散原理,溫度場(temperature field)表示為T(x,t),其中x為一向量,t為時間,熱可以隨著時間t的增加而向四面八方擴散。根據熱擴散方程式(heat diffusion equation),隨著時間t的變化,溫度場T(x,t)可表示成,其中T 0 (x )表示初始的溫度場,表示一個高斯擴散的核心函數,可表示為
將熱擴散原理運用於h 1 (x )及h 2 (x ),如第4圖的(a1)~(a3)及(b1)~(b3),將差異d(x)以溫度場表示,即d (x )=T 0 (x )=T (x ,0),隨著時間的擴散,統計每一個時間點擴散後的相加,直方圖h 1 (x )與h 2 (x )差異的總和可表示為,其中K (|T (x ,t )|)為T (x ,t )中每一個元素和,也就是說K (|T (x ,t )|)代表差異d(x)經過時間t的擴散後,每一個二進位當中的元素總和,其中總和可能為正值或負值。
由第4圖可知,隨著時間的增加,直方圖h 1 (x )與h 2 (x )差異d(x)會隨著熱傳遞而變得平緩,將不同時間(t=0,t=6,t=12)的K (|T (x ,t )|)的值加起來即可得到兩直方圖h 1 (x )與h 2 (x )的擴散距離d d (x )。其中擴散距離d d (x )越大,表示相似度越小,擴散距離d d (x )越小表示相似度越大。
接著,人型影像追蹤單元125根據多個深度分布相似性及來自影像處理單元121的深度影像資料計算多個假設位置對應的準確機率(S309)。其中準確機率的計算方法為將擴散距離法得到的兩直方圖h 1 (x )與h 2 (x )的擴散距離d d (x )對應到機率的關係式,即準確機率可表示為,其中λ 為使用者預定的值,是指數分布中的比例參數(rate parameter),z是指影像處理單元121的深度影像資料,此準確機率表示在深度影像資料的條件下,每一個目前假設位置在擴散距離直方圖上與前一刻先前追蹤位置的相似機率,以得到每一個目前假設位置的準確機率。
接著,人型影像追蹤單元125選擇最大準確機率對應的目前假設位置作為一目前追蹤位置(S311),將此目前追蹤位置作為最新追蹤位置並儲存於儲存單元127,以作為下一刻T+1的先前追蹤位置。
根據一較佳的實施例,人型影像追蹤單元125進一步判斷目前追蹤位置是否可靠(S313)。更具體地來說,人型影像追蹤單元125根據最大準確機率是否超過一第七預設臨界值以判斷目前追蹤位置是否可靠。
若最大準確機率大於第七預設臨界值,則人型影像追蹤單元125判斷目前追蹤位置為可靠,並將目前追蹤位置視為一最新追蹤位置(S315)。若最大準確機率小於第七預設臨界值,則人型影像追蹤單元125判斷目前追蹤位置不可靠,並繼續判斷是否存在另一個目前人型影像位置鄰近於目前追蹤位置(S317)。
若人型影像追蹤單元125判斷存在另一個目前人型影像位置鄰近於目前追蹤位置,則以最鄰近的目前人型影像位置作為一最新追蹤位置(S319),也就是下一刻T+1的先前追蹤位置。若人型影像追蹤單元125判斷沒有任何一個目前人型影像位置鄰近於目前追蹤位置且靠近深度影像感測器10的偵測範圍的邊界,則判斷人型影像離開偵測範圍(S321)。
綜合上述,以上人型影像追蹤方法實施例可彌補人型影像偵測的不足,換句話說,人型影像追蹤器不必時時刻刻處理人型影像偵測單元所得到的人型影像位置資料,即可追蹤偵測範圍內的目標物,提升了追蹤的效率。
以上敍述依據本發明多個不同實施例,其中各項特徵可以單一或不同結合方式實施。因此,本發明實施方式之揭露為闡明本發明原則之具體實施例,應不拘限本發明於所揭示的實施例。進一步言之,先前敍述及其附圖僅為本發明示範之用,並不受其限囿。其他元件之變化或組合皆可能,且不悖于本發明之精神與範圍。
1‧‧‧人型影像追蹤系統
10‧‧‧深度影像感測器
12‧‧‧人型影像追蹤器
121‧‧‧影像處理單元
123‧‧‧人型影像偵測單元
125‧‧‧人型影像追蹤單元
127‧‧‧儲存單元

Claims (25)

  1. 一種人型影像偵測方法,用以偵測一偵測範圍內的一人型影像位置,該人型影像偵測方法包括:由一影像處理單元接收來自一深度影像感測器的一深度影像資料;由該影像處理單元去除該深度影像資料的背景影像以輸出一前景影像;由一人型影像偵測單元接收該前景影像並對該前景影像執行圖形化分割以得到複數個圖形區塊;該人型影像偵測單元根據該些圖形區塊的面積大小判斷是否存在一候選人型區域;若存在該候選人型區域,則該人型影像偵測單元根據該候選人型區域與一半球形模型的相似度判斷該候選人型區域是否為一候選人頭區域;若該候選人型區域為該候選人頭區域,則該人型影像偵測單元根據相鄰於該候選人頭區域的周圍區域的面積大小判斷該候選人頭區域是否為一真正人頭區域;以及若該候選人頭區域為該真正人頭區域,則該人型影像偵測單元將該真正人頭區域位置視為偵測到的該人型影像位置。
  2. 根據申請專利範圍第1項之人型影像偵測方法,其中去除該深度影像資料的背景影像的步驟包括:去除該深度影像資料中的靜止物。
  3. 根據申請專利範圍第1項之人型影像偵測方法,其中對該前景影像執行圖形化分割的步驟包括:計算該深度影像資料的所有相鄰兩點像素之間的深度差;以及 將該些深度差中小於一第一預設臨界值對應的該些像素劃分為同一圖形區塊。
  4. 根據申請專利範圍第1項之人型影像偵測方法,其中判斷是否存在該候選人型區域的步驟包括:計算該些圖形區塊的面積大小;以及判斷該些圖形區塊的面積大小是否超過一第二預設臨界值。
  5. 根據申請專利範圍第4項之人型影像偵測方法,其中當該些圖形區塊中至少有一個的面積大小超過該第二預設臨界值,則判斷為存在該候選人型區域。
  6. 根據申請專利範圍第4項之人型影像偵測方法,其中當該些圖形區塊中皆無一個的面積大小超過該第二預設臨界值,則判斷為不存在該候選人型區域,並重新接收來自該深度影像感測器的另一深度影資料。
  7. 根據申請專利範圍第1項之人型影像偵測方法,其中判斷該候選人型區域是否為該候選人頭區域的步驟包括:計算該候選人頭區域中的複數個三維像素座標與該半球形模型的一差異,其中該差異越小表示該相似度越大,該差異越大表示該相似度越小;以及判斷該相似度是否大於一第三預設臨界值。
  8. 根據申請專利範圍第7項之人型影像偵測方法,其中當該相似度大於該第三預設臨界值,則判斷該候選人型區域為該候選人頭區域。
  9. 根據申請專利範圍第7項之人型影像偵測方法,其中當該相似度小於該第三預設臨界值,則判斷該候選人型區域並非該候選人頭區域,並重新接收來自該深度影像感測器的另一深度影像資料。
  10. 根據申請專利範圍第1項之人型影像偵測方法,其中判斷該候選人頭區域是否為該真正人頭區域的步驟包括:將該半球形模型的中心視為該候選人頭區域的位置;計算該候選人頭區域的位置與鄰近像素之間的複數個深度差;加總該些深度差中小於一第四預設臨界值的深度差的和;以及根據該深度差的和判斷該候選人頭區域的該周圍區域的面積是否超過一第五預設臨界值。
  11. 根據申請專利範圍第10項之人型影像偵測方法,其中當該周圍區域的面積超過該第五預設臨界值,則判斷該候選人頭區域為可靠的該真正人頭區域。
  12. 根據申請專利範圍第10項之人型影像偵測方法,其中當該周圍區域的面積小於該第五預設臨界值,則判斷該候選人頭區域並非該真正人頭區域,並重新接收來自該深度影像感測器的另一深度影像資料。
  13. 一種人型影像追蹤方法,用以追蹤一偵測範圍內的人型影像,由一人型影像追蹤單元執行,該人型影像追蹤單元 連接於一影像處理單元及一人型偵測單元,該人型影像追蹤方法包括:接收該人型偵測單元偵測的一目前人型影像位置與該人型影像追蹤單元預測的一先前追蹤位置;判斷該目前人型影像位置與該先前追蹤位置之間的距離是否小於一第六預設臨界值;若該目前人型影像位置與該先前追蹤位置之間的該距離小於該第六預設臨界值,則於該先前追蹤位置的鄰近區域產生複數個目前假設位置;計算該些目前假設位置的每一個與該先前追蹤位置的深度分布相似性;根據多個深度分布相似性計算該些目前假設位置的準確機率;以及選擇最大準確機率對應的該目前假設位置作為一目前追蹤位置。
  14. 根據申請專利範圍第13項之人型影像追蹤方法,其中若該目前人型影像位置與該先前追蹤位置之間的該距離大於該第六預設臨界值,則將該目前人型影像位置視為一最新追蹤位置。
  15. 根據申請專利範圍第13項之人型影像追蹤方法,更包括根據該最大準確機率是否超過一第七預設臨界值以判斷該目前追蹤位置是否可靠。
  16. 根據申請專利範圍第15項之人型影像追蹤方法,其中當該最大準確機率大於該第七預設臨界值,則判斷該目前追 蹤位置為可靠,並將該目前追蹤位置視為一最新追蹤位置。
  17. 根據申請專利範圍第15項之人型影像追蹤方法,其中當該最大準確機率小於該第七預設臨界值,則判斷該目前追蹤位置不可靠,並繼續判斷是否存在另一個目前人型影像位置鄰近於該目前追蹤位置。
  18. 根據申請專利範圍第17項之人型影像追蹤方法,其中當存在另一個目前人型影像位置鄰近於該目前追蹤位置,則以最鄰近的該目前人型影像位置作為一最新追蹤位置。
  19. 根據申請專利範圍第17項之人型影像追蹤方法,其中當不存在另一目前人型影像位置鄰近於該目前追蹤位置,則判斷該人型影像離開該偵測範圍。
  20. 一種人型影像追蹤系統,用以偵測並追蹤一偵測範圍內的一人型影像位置,該人型影像追蹤系統包括:一深度影像感測器,偵測該偵測範圍內的一深度影像資料;以及一人型影像追蹤器,包括:一影像處理單元,連接於該深度影像感測器,該影像處理單元接收該深度影像資料,並去除該深度影像資料的背景影像以輸出一前景影像;一人型影像偵測單元,連接於該影像處理單元,該人型影像偵測單元接收該前景影像並對該前景影像執行圖形化分割以得到複數個圖形區塊,根據該些圖形區塊的面積大小判斷是否存在一候選人型區域, 根據該候選人型區域與一半球形模型的相似度判斷該候選人型區域是否為一候選人頭區域,根據相鄰於該候選人頭區域的周圍區域的面積大小判斷該候選人頭區域是否為一真正人頭區域,當該候選人頭區域為該真正人頭區域,則將該真正人頭區域位置視為偵測到的該人型影像位置;以及一人型影像追蹤單元,連接於該人型影像偵測單元,該人型影像追蹤單元接收該人型偵測單元偵測的一目前人型影像位置與該人型影像追蹤單元預測的一先前追蹤位置,根據該目前人型影像位置與該先前追蹤位置之間的距離來決定是否於該先前追蹤位置的鄰近區域產生複數個目前假設位置,計算該些目前假設位置的每一個與該先前追蹤位置的深度分布相似性,根據多個深度分布相似性計算該些目前假設位置的準確機率,以及選擇最大準確機率對應的該目前假設位置作為一目前追蹤位置。
  21. 根據申請專利範圍第20項之人型影像追蹤系統,其中該人型影像偵測單元藉由計算該深度影像資料的所有相鄰兩點像素之間的深度差,以及將該些深度差中小於一第一預設臨界值對應的該些像素劃分為同一圖形區塊來實現對該前景影像執行圖形化分割。
  22. 根據申請專利範圍第20項之人型影像追蹤系統,其中該人型影像偵測單元藉由計算該些圖形區塊的面積大小,以及判斷該些圖形區塊的面積大小是否超過一第二預設臨界值來實現判斷是否存在該候選人型區域。
  23. 根據申請專利範圍第20項之人型影像追蹤系統,其中該人型影像偵測單元藉由計算該候選人頭區域中的複數個三維像素座標與該半球形模型的一差異,其中該差異越小表示該相似度越大,該差異越大表示該相似度越小,以及判斷該相似度是否大於一第三預設臨界值來實現判斷該候選人型區域是否為該候選人頭區域。
  24. 根據申請專利範圍第20項之人型影像追蹤系統,其中該人型影像偵測單元藉由將該半球形模型的中心視為該候選人頭區域的位置,計算該候選人頭區域的位置與鄰近像素之間的複數個深度差,加總該些深度差中小於一第四預設臨界值的深度差的和,以及根據該深度差的和判斷該候選人頭區域的該周圍區域的面積是否超過一第五預設臨界值來實現判斷該候選人頭區域是否為該真正人頭區域。
  25. 根據申請專利範圍第20項之人型影像追蹤系統,其中該人型影像追蹤單元根據該最大準確機率是否超過一第七預設臨界值以判斷該目前追蹤位置是否可靠。
TW102129366A 2013-08-15 2013-08-15 人型影像追蹤系統及其人型影像偵測方法與追蹤方法 TWI503756B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW102129366A TWI503756B (zh) 2013-08-15 2013-08-15 人型影像追蹤系統及其人型影像偵測方法與追蹤方法
US14/146,432 US9317765B2 (en) 2013-08-15 2014-01-02 Human image tracking system, and human image detection and human image tracking methods thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW102129366A TWI503756B (zh) 2013-08-15 2013-08-15 人型影像追蹤系統及其人型影像偵測方法與追蹤方法

Publications (2)

Publication Number Publication Date
TW201506808A TW201506808A (zh) 2015-02-16
TWI503756B true TWI503756B (zh) 2015-10-11

Family

ID=52466880

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102129366A TWI503756B (zh) 2013-08-15 2013-08-15 人型影像追蹤系統及其人型影像偵測方法與追蹤方法

Country Status (2)

Country Link
US (1) US9317765B2 (zh)
TW (1) TWI503756B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6000602B2 (ja) * 2012-03-30 2016-09-28 キヤノン株式会社 体検出方法及び物体検出装置
US10009579B2 (en) * 2012-11-21 2018-06-26 Pelco, Inc. Method and system for counting people using depth sensor
US9367733B2 (en) 2012-11-21 2016-06-14 Pelco, Inc. Method and apparatus for detecting people by a surveillance system
US9639747B2 (en) * 2013-03-15 2017-05-02 Pelco, Inc. Online learning method for people detection and counting for retail stores
US9396400B1 (en) * 2015-07-30 2016-07-19 Snitch, Inc. Computer-vision based security system using a depth camera
WO2017114846A1 (en) * 2015-12-28 2017-07-06 Robert Bosch Gmbh Depth sensing based system for detecting, tracking, estimating, and identifying occupancy in real-time
CN106203361A (zh) * 2016-07-15 2016-12-07 苏州宾果智能科技有限公司 一种机器人跟踪方法和装置
US10650249B2 (en) * 2016-10-25 2020-05-12 Shenzhen University Method and device for counting pedestrians based on identification of head top of human body
CN107609475B (zh) * 2017-08-08 2020-04-10 天津理工大学 基于光场相机的行人检测误检提出方法
US10657746B1 (en) 2019-01-18 2020-05-19 Robert Bosch Gmbh Access control system including occupancy estimation

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131011B2 (en) * 2006-09-25 2012-03-06 University Of Southern California Human detection and tracking system
TW201216712A (en) * 2010-10-12 2012-04-16 Hon Hai Prec Ind Co Ltd Image capturing device and image monitoring method using the image capturing device
TW201324446A (zh) * 2011-12-13 2013-06-16 Hon Hai Prec Ind Co Ltd 居家安全監控系統及方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7372977B2 (en) * 2003-05-29 2008-05-13 Honda Motor Co., Ltd. Visual tracking using depth data
US7965866B2 (en) * 2007-07-03 2011-06-21 Shoppertrak Rct Corporation System and process for detecting, tracking and counting human objects of interest
JP5635736B2 (ja) * 2009-02-19 2014-12-03 株式会社ソニー・コンピュータエンタテインメント 情報処理装置および情報処理方法
US8448056B2 (en) * 2010-12-17 2013-05-21 Microsoft Corporation Validation analysis of human target
FR2981771B1 (fr) * 2011-10-21 2013-11-08 Commissariat Energie Atomique Procede de localisation d'objets par resolution dans l'espace tridimensionnel de la scene
US8929592B2 (en) * 2012-03-13 2015-01-06 Mitsubishi Electric Research Laboratories, Inc. Camera-based 3D climate control

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8131011B2 (en) * 2006-09-25 2012-03-06 University Of Southern California Human detection and tracking system
TW201216712A (en) * 2010-10-12 2012-04-16 Hon Hai Prec Ind Co Ltd Image capturing device and image monitoring method using the image capturing device
TW201324446A (zh) * 2011-12-13 2013-06-16 Hon Hai Prec Ind Co Ltd 居家安全監控系統及方法

Also Published As

Publication number Publication date
TW201506808A (zh) 2015-02-16
US20150049906A1 (en) 2015-02-19
US9317765B2 (en) 2016-04-19

Similar Documents

Publication Publication Date Title
TWI503756B (zh) 人型影像追蹤系統及其人型影像偵測方法與追蹤方法
US20190294890A1 (en) Method and apparatus for surveillance
CN107404628B (zh) 图像处理装置及方法以及监视系统
JP7272024B2 (ja) 物体追跡装置、監視システムおよび物体追跡方法
JP2008542922A (ja) 保安用途向けの人間の検出及び追跡
Fujisawa et al. Pedestrian counting in video sequences based on optical flow clustering
Al-Najdawi et al. An automated real-time people tracking system based on KLT features detection.
CN110222616B (zh) 行人异常行为检测方法、图像处理装置及存储装置
Ahmad et al. A deep neural network approach for top view people detection and counting
JPWO2014010203A1 (ja) 転倒検知装置および転倒検知方法、転倒検知カメラ、並びにコンピュータ・プログラム
Wang et al. Early smoke detection in video using swaying and diffusion feature
JP2011198244A (ja) 対象物認識システム及び該システムを利用する監視システム、見守りシステム
Zaman et al. Efficient human motion detection with adaptive background for vision-based security system
KR101290517B1 (ko) 촬영장치 및 이의 대상 추적방법
JP7243372B2 (ja) 物体追跡装置および物体追跡方法
JP6977667B2 (ja) 物体らしさ推定装置、方法、およびプログラム
JP6163732B2 (ja) 画像処理装置、プログラム、及び方法
Padmashini et al. Vision based algorithm for people counting using deep learning
Chen et al. An indoor video surveillance system with intelligent fall detection capability
Ardö et al. Bayesian formulation of image patch matching using cross-correlation
Hung et al. Real-time counting people in crowded areas by using local empirical templates and density ratios
Lee et al. Fire detection using color and motion models
Chiu et al. Moving/motionless foreground object detection using fast statistical background updating
WO2020139071A1 (en) System and method for detecting aggressive behaviour activity
CN112308011B (zh) 多特征联合目标检测方法及装置