TWI670684B - 運動目標即時檢測與跟蹤方法及目標檢測裝置 - Google Patents

運動目標即時檢測與跟蹤方法及目標檢測裝置 Download PDF

Info

Publication number
TWI670684B
TWI670684B TW104120849A TW104120849A TWI670684B TW I670684 B TWI670684 B TW I670684B TW 104120849 A TW104120849 A TW 104120849A TW 104120849 A TW104120849 A TW 104120849A TW I670684 B TWI670684 B TW I670684B
Authority
TW
Taiwan
Prior art keywords
moving target
template
image
best matching
point
Prior art date
Application number
TW104120849A
Other languages
English (en)
Other versions
TW201702989A (zh
Inventor
劉承祥
Original Assignee
鴻海精密工業股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鴻海精密工業股份有限公司 filed Critical 鴻海精密工業股份有限公司
Publication of TW201702989A publication Critical patent/TW201702989A/zh
Application granted granted Critical
Publication of TWI670684B publication Critical patent/TWI670684B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20036—Morphological image processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明涉及高清視頻影像處理領域，尤其涉及一種基於DSP的高清視頻運動目標即時檢測與跟蹤方法及目標檢測裝置。該方法首先運用改進的三幀差分和線段編碼填充演算法建立即時的背景模型；然後運用背景差分和形態學處理演算法檢測出完整的運動目標，在運動目標中提取其一形心為中心的圖元作為初始運動目標範本；最後運用十字鑽石模型搜索與空間長條圖相結合的目標跟蹤演算法對運動目標進行即時跟蹤，並且在目標跟蹤的過程中不斷的更新運動目標範本。本發明可以滿足對運動目標進行檢測時的即時性及準確性的要求。

Description

運動目標即時檢測與跟蹤方法及目標檢測裝置
本發明涉及高清視頻影像處理領域，尤其涉及一種基於DSP(數位訊號處理器)的高清視頻運動目標即時檢測與跟蹤方法及目標檢測裝置。
運動目標檢測與跟蹤技術是智慧影像處理和視頻處理的熱點問題，在場景監控、社會生活、醫療、軍事、交通道路監控、氣象分析、自主導航領域都有著廣闊的應用前景和長久的經濟價值。其中運動目標檢測為藉由視頻圖像序列之間的關聯資訊找出運動目標，目前的運動目標檢測方法主要有背景差分法、幀間差分法和光流法。然而，由於背景差分法在一直有運動目標的場景中很難獲得完整的背景，幀間差分法會存在空洞，光流法的計算量太大等原因，現有的運動目標檢測方法都無法滿足現實的需求。目標跟蹤為藉由運動目標的特徵資訊來跟蹤運動目標的運動軌跡，目前比較流行的目標跟蹤方法主要有範本匹配法、卡爾曼濾波法、粒子濾波法和自我調整均值濾波演算法，但是它們的運算量都特別的大，在高清視頻的圖像的處理中的即時性和準確性無法得到有力的保證。
有鑑於此，有必要提供一種運動目標即時檢測與跟蹤方法及目標檢測裝置以保證對運動目標進行檢測時的即時性及準確性的要求。
一種目標檢測裝置，包括視頻採集單元、處理單元、顯示單元及編碼器，該視頻採集單元用於採集一待檢測運動目標的視頻圖像訊號，該編碼器用於將視頻採集單元採集的視頻圖像訊號轉換成數位圖像幀序列，該處理單元包括：模型建立模組，用於接收編碼器對採集的視頻圖像訊號進行轉換後得到的數位圖像幀序列，根據改進的三幀差分演算法和線段編碼填充演算法建立並即時更新背景模型直至得到完整穩定的背景模型；範本確定模組，用於根據模型建立模組建立的背景模型及模型建立模組接收到的幀圖像運用背景差分演算法和形態學處理方法檢測出運動目標並獲取運動目標範本，確定接收到的下一幀圖像中運動目標跟蹤的搜索區域，並把該運動目標範本和搜索區域的圖元轉化成灰度圖元；跟蹤模組，用於根據範本確定模組確定的運動目標範本及搜索區域運用改進的十字鑽石搜索與空間長條圖相結合的目標跟蹤演算法對運動目標進行即時的跟蹤；及 顯示控制模組，用於將經過模型建立模組、範本確定模組及跟蹤模組處理後的數位圖像幀序列控制顯示在顯示單元上。
一種運動目標即時檢測與跟蹤方法，該方法包括步驟：接收編碼器對採集的視頻圖像訊號進行轉換後得到的數位圖像幀序列，根據改進的三幀差分演算法和線段編碼填充演算法建立並即時更新背景模型直至得到完整穩定的背景模型；根據建立的背景模型及接收到的幀圖像運用背景差分演算法和形態學處理方法檢測出運動目標並獲取運動目標範本，確定接收到的下一幀圖像中運動目標跟蹤的搜索區域，並把該運動目標範本和搜索區域的圖元轉化成灰度圖元；根據確定的運動目標範本及搜索區域運用改進的十字鑽石搜索與空間長條圖相結合的目標跟蹤演算法對運動目標進行即時的跟蹤；及將處理後的數位圖像幀序列控制顯示在顯示單元上。
本發明提供的運動目標即時檢測與跟蹤方法及目標檢測裝置可以滿足對運動目標進行檢測時的即時性及準確性的要求。
10‧‧‧目標檢測裝置
11‧‧‧視頻採集單元
12‧‧‧存儲單元
13‧‧‧處理單元
14‧‧‧顯示單元
15‧‧‧編碼器
16‧‧‧通信單元
100‧‧‧運動目標即時檢測與跟蹤系統
101‧‧‧模型建立模組
102‧‧‧範本確定模組
103‧‧‧跟蹤模組
104‧‧‧顯示控制模組
A1、A11、A2、A22‧‧‧圖像區域
M1‧‧‧小十字形範本
M2‧‧‧大十字形範本
S10~S80‧‧‧步驟
S101~S111‧‧‧步驟
S201~S204‧‧‧步驟
S301~308‧‧‧步驟
圖1為本發明一實施方式中目標檢測裝置的功能模組圖。
圖2為本發明一實施方式中運動目標即時檢測與跟蹤系統的功能模組圖。
圖3為本發明一實施方式中接收的連續三幀圖像的示意圖。
圖4為圖3中連續兩幀圖像幀間差分並二值化後的示意圖。
圖5為圖4中的圖像經過線段編碼擴充後的示意圖。
圖6為本發明一實施方式中線段編碼演算法的示意圖。
圖7為本發明一實施方式中小十字形範本的示意圖。
圖8為本發明一實施方式中大十字形範本的示意圖。
圖9為本發明一實施方式中運動目標即時檢測與跟蹤方法的流程圖。
圖10所示為本發明一實施方式中建立並即時更新背景模型的方法的流程圖。
圖11為本發明一實施方式中獲取運動目標範本及確定搜索區域的方法流程圖。
圖12為本發明一實施方式中對運動目標進行跟蹤方法的流程圖。
下面結合附圖及實施方式對本發明提供的運動目標即時檢測與跟蹤方法及目標檢測裝置作進一步詳細說明。
請參考圖1，所示為本發明一實施方式中目標檢測裝置10的功能模組圖。該目標檢測裝置10用於對接收到的高清視頻圖像中的運動目標進行即時檢測與跟蹤。該目標檢測裝置10包括視頻採集單元11、存儲單元12、處理單 元13、顯示單元14及編碼器15。該視頻採集單元11用於採集一待檢測運動目標的視頻圖像訊號。本實施方式中，該視頻採集單元11為一CCD(Charge-coupled Device，電荷耦合器件)攝像頭。該編碼器15用於將視頻採集單元11採集的類比視頻圖像訊號轉換成數位視訊圖像訊號，即轉換成數位圖像幀序列。其中，該經過編碼器15轉換後的數位圖像幀序列可以方便地對後續的視頻圖像中的運動目標進行即時檢測與跟蹤。該處理單元13用於接收編碼器15轉換後得到的數位視訊訊號，並對該接收到的數位視訊訊號中的運動目標進行即時檢測與跟蹤處理，並將經過即時檢測與跟蹤處理的圖像顯示在顯示單元14上。本實施方式中，該處理單元13為一DSP(digital signal processor，數位訊號處理器)晶片，特別為一型號為TMS320DM6467的DSP晶片。該顯示單元14為一LCD顯示幕或一LED顯示幕，該編碼器15為一型號為TVP5158的編碼器。該存儲單元12可為記憶體、快閃記憶體、硬碟等。
請參考圖2，所示為本發明一實施方式中運動目標即時檢測與跟蹤系統100的功能模組圖。本實施方式中，該系統100包括模型建立模組101、範本確定模組102、跟蹤模組103及顯示控制模組104。本實施方式中，該系統100所稱的模組是指能夠被目標檢測裝置10的處理單元13執行且能夠完成特定功能的一系列程式指令段，其存儲在目標檢測裝置10的存儲單元12中。具體的，請參考圖1所示，該目標檢測裝置10還包括一通信單元16，該目標檢測裝置10藉由該通信單元16與一電腦20進行通信連接。該目標檢測裝置10接收該電腦20發送的包括有該系統100的程式指令段，並將接收的該系統100的程式指令段存儲在存儲單元12中。在另一實施方式中，該系統100的程式指令段可預先藉由磁片拷貝等方式存儲於該存儲單元12中。在其他實施方式中，該系統100為內嵌在目標檢測裝置10的處理單元13中的程式段/固件(firmware)。
該模型建立模組101用於接收編碼器15對採集的視頻圖像訊號進行轉換後得到的數位圖像幀序列，根據改進的三幀差分演算法和線段編碼填充演算法建立並即時更新背景模型直至得到完整穩定的背景模型。具體的，該模型建立模組101每間隔預定時間接收一幀圖像，判斷接收到的圖像的總幀數是否不小於3幀，並在確定接收的圖像的總幀數不小於3幀時將接收到的第二幀圖像作為初始背景模型，該初始背景模型即為該第二幀圖像的背景模型。該模型建立模組101從第三幀圖像開始根據改進的三幀差分演算法和線段編碼填充演算法及基於前一幀圖像的背景模型計算得出當前幀圖像的背景模型，計算當前接收到的一幀圖像的背景模型和前一接收到的一幀圖像的背景模型之間的差值而得到一幀間差分結果，並對該幀間差分結果進行二值化而得到一二值化圖像。其中，對幀間差分結果進行二值化指將背景模型之間的幀間差分結果中不為0的值限定為1，為0的值限定為0。其中，背景模型之間的幀間差分結果是基於兩幀圖像間的彩色圖元點的圖元值進行運算得到的。該模型建立模組101並對該二值化圖像進行形態學處理以消除二值化圖像中的雜訊並根據該消噪後的二值化圖像判斷當前更新的背景是否為完整穩定的背景模型。該模型建立模組101並在判斷背景模型之間的幀間差分中的值為0的個數大於99%時確定當前更新 的背景為完整穩定的背景模型並將當前更新的背景作為該完整穩定的背景模型，從而生成完整穩定的背景模型。其中，對二值化的圖像進行形態學處理以消除圖像中的雜訊的方法為本領域常用的技術方法，這裡不再詳述。
請參考圖3，所示為本發明一實施方式中接收的連續三幀圖像I k-1、I k 、I k+1的示意圖。其中，圖3(a)為圖像I k-1的示意圖，圖3(b)為圖像I k 的示意圖，圖3(c)為圖像I k+1的示意圖，其中，圖3中每個方格中的數位表示對應圖像的圖元值。該模型建立模組101中根據改進的三幀差分演算法和線段編碼填充演算法即時更新背景模型的具體過程包括：計算連續接收的三幀圖像I k-1、I k 、I k+1中相鄰兩幀圖像之間的幀間差分；將幀間差分結果二值化為圖像D k 及D k+1，即，將圖像I k-1、I k 之間的幀間差分結果二值化為圖像D k ，將圖像I k 、I k+1之間的幀間差分結果二值化為圖像D k+1。請參考圖4，圖4(a)為圖像D k 的示意圖，圖4(b)為圖像D k+1的示意圖。其中，每兩幀圖像進行幀間差分運算都是基於彩色圖元點的圖元值進行計算得到的。
該模型建立模組101中根據改進的三幀差分和線段編碼填充演算法即時更新背景模型的具體過程還包括：如圖5所示，對二值化圖像D k 和D k+1分別進行線段編碼和連通性分析，並對二值化圖像D k 和D k+1中屬於同一連通區域且位於同一行的線段之間的空白部分進行填充並消除空洞之後得到兩個處理後的圖像d k 和d k+1，請參考圖5，圖5(a)為經過線段編碼擴充後的圖像d k 的示意圖，圖5(b)為經過線段編碼擴充後的圖像d k+1的示意圖。其中，線段指的是圖元值為1的同一行中的相鄰點的連線。例如，圖4(a)的圖像區域A1的對應圖元點的圖元值經過線段編碼擴充後由0變為1，參見圖5(a)的圖像區域A11，圖4(b)的圖像區域A2的對應圖元點的圖元值經過線段編碼後由0變為1，參見圖5(b)的圖像區域A22；計算d k -d k+1的值並將值為-1的二值化為1，其它的值二值化為0，並記為，其中，二值化後的對應圖元為1的點即為背景中應該更 新的圖元點；根據公式，更新背景 模型，其中，B 1(i,j)為初始化背景模型，即為初始輸入的第二幀圖像的圖元點，B k+1(i,j)為第K+1幀圖像對應的背景模型，K為任意自然數。
其中，該模型建立模組101分別對二值化圖像D k 和D k+1進行線段編碼具體過程為：分別從上到下及從左到右對圖像D k 和D k+1進行掃描，獲取圖像D k 和D k+1中每一行的線段，並判斷當前行中的線段與上一行的任何線段都不相鄰時，將該線段初始化為新的連通區域；若判斷當前行的線段僅和上一行的一條線段相鄰時，將該線段加入到上一行線段所在的連通區域；若判斷當前行的線段和上一行的多條線段相鄰時，填充上一行多條線段之間的空洞部分，並將當前行的線段加入到這個連通區域，分析被填充線段與上一行線段的連通性，若與多條線段相鄰時要繼續填充線段；若當前有多條線段與上一行的同一條線段相鄰時，直接填充中間的空洞部分，並將該填充線段加入到上一行線段所在的連通區域。例如，如圖6中(a)所示，該模型建模模組101對整幅圖像進行從上到下及從左到右的逐行掃描，當掃描第1行的時候，發現只有線段1，此時將線段1 記為連通區域1；掃描第二行的時候，發現線段2和線段3為兩條分離的線段，然後分析線段2和線段3與上一行連通區域的關係，藉由分析線段2和線段1相鄰，此時把線段2加入到線段1所在的連通區域1，線段3放入初始化的連通區域2；掃描第3行的時候，線段4與上一行的線段2和線段3都相鄰，此時將線段2所在的連通區域1和線段3所在的連通區域2合併為連通區域1，然後對線段2和線段3中間的區域進行填充；掃描第4行的時候，線段5與線段6都與線段4相鄰，此時將線段5及線段6都加入到連通區域1，然後對線段5和線段6中間的連通區域進行填充；掃描第5行的時候，線段7與線段5和線段6相鄰，此時將線段7加入到線段5和線段6所在的連通區域1，填充之後得到如圖6中(b)所示的連通區域。
該模型建立模組101所採用的背景建模方法能夠在獲取的視頻圖像中一直有運動物體的情況下得到即時完整的背景模型，而且演算法中是基於彩色圖元點的運算，所以背景模型的準確性比基於灰度圖像所得的背景模型要高，並且由於是對背景模型的即時更新，所以能夠有效的降低雜訊和外來小物體對目標檢測的干擾，當獲取的視頻圖像中的運動物體突然停止變為背景時，能夠迅速的識別並對背景模型進行更新；當獲取的視頻圖像中的背景突然運動變為運動前景時，即時的背景更新能夠防止其對運動目標檢測的干擾。
該範本確定模組102用於根據模型建立模組101建立的背景模型及模型建立模組101接收到的幀圖像運用背景差分演算法和形態學處理方法檢測出運動目標並獲取運動目標範本，確定模型建立模組101接收到的下一幀圖像中運動目標跟蹤的搜索區域，並把該運動目標範本和搜索區域的圖元轉化成灰度圖元。具體的，該範本確定模組102首先根據背景差分演算法計算當前接收到的幀圖像與背景模型的幀間差分，並對幀間差分結果進行二值化和形態學處理，檢測出完整的運動目標前景。其中，藉由背景差分演算法和形態學處理方法檢測出運動目標前景是本領域內技術人員常採用的方法，在此不再詳述。該範本確定模組102並以運動目標前景的形心為中心，從運動目標前景中選取(2m+1)*(2m+1)的區域，即選取運動目標前景中的2m+1行乘2m+1列的圖元區域作為運動目標範本，其中，m為任意自然數。該範本確定模組102並在下一幀圖像中以當前幀(即下一幀圖像的前一幀)圖像中運動目標前景的形心為中心，從下一幀圖像中選取(2n+1)*(2n+1)的區域作為搜索區域，其中，n為大於m的任意自然數，該搜索區域表示運動目標範本形心的運動區域。該範本確定模組102並把該運動目標範本和以搜索區域形心為中心的(2n+m+1)*(2n+m+1)區域的各個圖元點的彩色圖元值藉由一轉換公式轉化為灰度圖元值，該轉換公式為：Gray=r*0.299+g*0.587+b*0.114，其中r,g,b分別表示某一圖元點的彩色圖元向量對應R,G,B三原色值，Gray代表該圖元點的灰度圖元值。
從而，本實施方式中，範本確定模組102運用背景差分演算法和形態學處理方法得到完整的運動目標前景，以運動目標前景的形心為中心，選取(2m+1)*(2m+1)的區域作為運動目標範本，在下一幀圖像中以當前幀中運動目標前景的形心為中心，選取(2n+1)*(2n+1)的區域作為搜索區域，其中n大於m， 該搜索區域表示運動目標範本形心的運動區域。目標範本和搜索區域的邊長選用奇數個圖元是為了後續的計算以及搜索點的尋找。再將運動目標範本和下一幀圖像中以搜索區域形心為中心的(2n+m+1)*(2n+m+1)區域的彩色圖元轉化為灰色圖元，可以降低目標匹配演算法的複雜度。
該跟蹤模組103用於根據範本確定模組102確定的運動目標範本及搜索區域運用改進的十字鑽石搜索與空間長條圖相結合的目標跟蹤演算法對運動目標進行即時的跟蹤。
具體的，請參考圖7，所示為本發明一實施方式中小十字形範本M1的示意圖。該小十字形範本M1為一中心點及位於該中心點四周的四個端點構成的一“十字形”範本。該跟蹤模組103首先對以該範本確定模組102確定的搜索區域中心為中心點的小十字形範本M1中待搜索的五個點進行目標匹配，找到最佳匹配點。其中，該待搜索的五個點為“十字形”的中心點及位於該中心點四周的四個端點。具體的，該跟蹤模組103確定待搜索的各個點對應的空間長條圖及運動目標範本對應的空間長條圖，然後藉由公式，分別計算待搜索的各點的空間長條圖與運動目標範本對應的空間長條圖之間的相似度值，將其中與運動目標範本的空間長條圖的相似度值最大的空間長條圖對應的點確定為最佳匹配點。其中，h及h '為兩個空間長條圖，h={n b ,μ b ,Σ b }，，其中，b=1,..,B，B是空間長條圖中總區間數，n b 和是第b個區間的概率，μ b 、為屬於第b個區間的所有圖元座標的均值，Σ b 、為屬於第b個區間的所有圖元座標的協方差，f b 和分別是運用高斯模型對第b個區間的圖元位置進行建模後所得的空間特徵，兩者之間的JSD是兩個空間特徵分別到其估計得到的高斯分佈的KL散度之和。
該跟蹤模組103並判斷該最佳匹配點是否位於小十字形範本M1的中心，如果該最佳匹配點位於小十字形範本M1的中心，則停止搜索並記當前的最佳匹配點為最終的最佳匹配點，如果該最佳匹配點不是位於小十字形範本M1的中心，則繼續搜索以當前最佳匹配點為中心的小十字形範本M1中未搜索的其他三個點。請參考圖8，所示為本發明一實施方式中大十字形範本M2的示意圖。該大十字範本M2為一包括中心點及位於中心點四周的八個點構成的一“十字形範本”。該跟蹤模組103判斷最佳匹配點是否位於當前小十字形範本M1的中心，如果最佳匹配點位於當前小十字形範本M1的中心，則停止搜索並標記當前最佳匹配點為最終的最佳匹配點，如果最佳匹配點不是位於當前小十字形範本M1的中心，則判斷最佳匹配點是否位於以搜索區域中心為中心點的大十字形範本M2的最週邊。如果最佳匹配點位於該大十字形範本M2的最週邊，則搜索以搜索區域中心為中心點的大十字形範本M2最週邊的其他三個點，找到最佳匹配點，並以當前最佳匹配點為中心點運用鑽石搜索演算法找到最終匹配點。如果該跟蹤模組103判斷最佳匹配點不是位於大十字形範本M2的最週邊，則直接以當前最佳匹配點為中心點運用鑽石搜索演算法找到最終最佳匹配點。其中，該 最終的最佳匹配點即為運動目標的位置。其中，該鑽石搜索演算法為本領域的技術人員對運動目標進行跟蹤的常用演算法，在此不再詳述。
該跟蹤模組103還用於在對運動目標的跟蹤沒有結束時，接收下一幀圖像並更新運動目標範本，並根據更新後的運動目標範本及下一幀圖像對運動目標繼續進行跟蹤，從而實現運動目標的連續跟蹤。具體的，該跟蹤模組103首先判斷對運動目標的跟蹤是否結束，如果沒有結束，則以當前幀圖像中確定的最佳匹配點為中心，選取(2m+1)*(2m+1)的區域作為運動目標範本，完成對運動目標範本的即時更新；接收下一幀圖像並在下一幀圖像中以當前幀圖像中的最佳匹配點為中心，選取(2n+1)*(2n+1)的區域作為搜索區域，其中n大於m，該搜索區域表示更新後的運動目標範本形心的運動區域；把更新後的運動目標範本及下一幀圖像中以該下一幀圖像的最佳匹配點為中心的(2n+m+1)*(2n+m+1)的區域的彩色圖元轉化為灰色圖元；繼續以改進的十字鑽石搜索與空間長條圖相結合的目標更新演算法對運動目標進行連續跟蹤。
該顯示控制模組104用於控制將經過模型建立模組101、範本確定模組102、跟蹤模組103處理後的數位圖像幀序列顯示在顯示單元14上。
請參考圖9，所示為本發明一實施方式中運動目標即時檢測與跟蹤方法的流程圖。該方法應用在上述的目標檢測裝置10中。該方法包括步驟：
S10：接收編碼器15對採集的視頻圖像訊號進行轉換後得到的數位圖像幀序列，根據改進的三幀差分演算法和線段編碼填充演算法建立並即時更新背景模型直至得到完整穩定的背景模型。
S20：根據建立的背景模型及接收到的幀圖像運用背景差分演算法和形態學處理方法檢測出運動目標並獲取運動目標範本，確定接收到的下一幀圖像中運動目標跟蹤的搜索區域，並把該目標範本和搜索區域的圖元轉化成灰度圖元。
S30：根據確定的目標範本及搜索區域運用改進的十字鑽石搜索與空間長條圖相結合的目標跟蹤演算法對運動目標進行即時的跟蹤。
S40：判斷對運動目標的跟蹤是否結束，如果沒有結束，則執行步驟S50，如果結束，則執行步驟S80。
S50：以當前幀圖像中確定的最佳匹配點為中心，選取(2m+1)*(2m+1)的區域作為運動目標範本，完成對目標範本的即時更新。
S60：接收下一幀圖像並在下一幀圖像中以該下一幀圖像的當前幀圖像中的最佳匹配點為中心，選取(2n+1)*(2n+1)的區域作為搜索區域，其中n大於m，該搜索區域表示更新後的目標範本形心的運動區域。
S70：把更新後的運動目標範本及下一幀圖像中以最佳匹配點為中心的(2n+m+1)*(2n+m+1)的區域的彩色圖元轉化為灰色圖元後執行步驟S30。
S80：將處理後的數位圖像序列顯示在顯示單元14上。
請參考圖10，所示為本發明一實施方式中建立並即時更新背景模型的方法的流程圖，即步驟S10的具體方法流程圖。該方法包括步驟：S101：每間隔預定時間接收一幀圖像；S102：判斷接收的圖像的總幀數是否不小於3 幀，並在確定接收的圖像的總幀數不小於3幀時執行步驟S103，否則，返回步驟S101；S103將接收的第二幀圖像作為初始背景模型；S104：計算連續接收的三幀圖像I k-1、I k 、I k+1中相鄰兩幀圖像之間的幀間差分，並將幀間差分結果二值化為圖像D k 及D k+1，即，將圖像I k-1、I k 之間的幀間差分結果二值化為圖像D k ，將圖像I k 、I k+1之間的幀間差分結果二值化為圖像D k+1；S105：對二值化圖像D k 和D k+1分別進行線段編碼和連通性分析，並對二值化圖像D k 和D k+1中屬於同一連通區域且位於同一行的線段之間的空白部分進行填充並消除空洞之後得到兩個處理後的圖像d k 和d k+1；S106：計算d k -d k+1的值並將值為-1的二值化為1，其它的值二值化為0，並記為，其中二值化後的對應圖元為1的點即為背景中應該 更新的圖元點；S107：根據公式， 更新背景模型，其中B 1(i,j)為初始化背景模型，即為初始輸入的第二幀圖像的圖元點；S108：計算得出當前接收到的一幀圖像的背景模型和前一接收到的一幀圖像的背景模型之間的差值而得到一幀間差分結果，並對該幀間差分結果進行二值化而得到一二值化圖像；S109：對二值化的圖像進行形態學處理以消除二值化圖像中的雜訊；S110：判斷當前更新的背景是否為完整穩定的背景模型，其中，若背景模型之間的幀間差分結果中的值為0的個數大於99%時即可認為當前更新的背景為完整穩定的背景模型，若當前更新的背景模型為完整穩定的背景模型，則執行步驟S111，否則，返回步驟S101；S111：生成完整穩定的背景模型。
其中，在步驟S105中對二值化圖像D k 和D k+1分別進行線段編碼和連通性分析具體包括：分別從上到下及從左到右對圖像D k 和D k+1進行掃描，獲取圖像D k 和D k+1中每一行的線段，並判斷當前行中的線段與上一行的任何線段都不相鄰時，將該線段初始化為新的連通區域；若判斷當前行的線段僅和上一行的一條線段相鄰時，將該線段加入到上一行線段所在的連通區域；若判斷當前行的線段和上一行的多條線段相鄰時，填充上一行多條線段之間的空洞部分，並將當前行的線段加入到這個連通區域，分析被填充線段與上一行線段的連通性，若與多條線段相鄰時要繼續填充線段；若當前有多條線段與上一行的同一條線段相鄰時，直接填充中間的空洞部分，並將該填充線段加入到上一行線段所在的連通區域。
請參考圖11，所示為本發明一實施方式中獲取運動目標範本及確定搜索區域的方法流程圖，即步驟S20的具體方法流程圖。該方法包括步驟：S201：根據背景差分演算法計算當前接收到的幀圖像與背景模型的幀間差分，並對幀間差分結果進行二值化和形態學處理，檢測出完整的運動目標前景；S202：以運動目標前景的形心為中心，從運動目標前景中選取(2m+1)*(2m+1)的區域，即選取運動目標前景圖像中的2m+1行乘2m+1列的區域作為運動目標範本，其中，m為任意自然數；S203：在下一幀圖像中以當前幀圖像中運動目標的形心為中心，選取(2n+1)*(2n+1)的區域作為搜索區域，其中，n為大於m的任意自然數，該搜索區域表示運動目標範本形心的運動區域；S204：把該運動目標範本 和以搜索區域形心為中心的(2n+m+1)*(2n+m+1)區域的各個圖元點的彩色圖元值藉由一轉換公式轉化為灰度圖元值，該轉換公式為：Gray=r*0.299+g*0.587+b*0.114，其中r,g,b分別表示某一圖元點的彩色圖元向量對應R,G,B三原色值，Gray代表該圖元點的灰度圖元值。
請參考圖12，所示為本發明一實施方式中對運動目標進行跟蹤方法的流程圖，即步驟S30的具體方法流程圖。該方法包括步驟：S301：首先搜索以搜索區域中心為中心點的小十字形範本M1中待搜索的五個點進行目標匹配，找到最佳匹配點，本實施方式中，藉由公式，分別計算待搜索的各點的空間長條圖與運動目標範本的空間長條圖之間的相似度值，將其中與運動目標範本的空間長條圖的相似度值最大的點確定為最佳匹配點；S302：判斷該最佳匹配點是否位於小十字形範本M1的中心，如果該最佳匹配點位於小十字形範本M1的中心，則執行步驟S308，否則，執行步驟S303；S303：繼續搜索以當前最佳匹配點為中心的小十字形範本M1中未搜索的其他三個點；S304：判斷最佳匹配點是否位於當前小十字形範本M1的中心，如果最佳匹配點位於當前小十字形範本M1的中心，則執行步驟S308，否則執行步驟S305；S305：判斷最佳匹配點是否位於以搜索區域中心為中心點的大十字形範本M2的最週邊，其中，若最佳匹配點位於該大十字形範本M2的最週邊，則執行步驟S306，否則執行步驟S307；S306：搜索以搜索區域中心為中心點的大十字形範本M2最週邊的其他三個點，找到最佳匹配點；S307：以當前最佳匹配點為中心點運用鑽石搜索演算法找到最終匹配點；S308：停止搜索並記當前的最佳匹配點為最終的最佳匹配點，其中，該最終的最佳匹配點即為運動目標的位置。
以上實施例僅用以說明本發明的技術方案而非限制，儘管參照較佳實施例對本發明進行了詳細說明，本領域的普通技術人員應當理解，可以對本發明的技術方案進行修改或等同替換，而不脫離本發明技術方案的精神和實質。

Claims (12)

  1. 一種目標檢測裝置，包括視頻採集單元、處理單元、顯示單元及編碼器，該視頻採集單元用於採集一待檢測運動目標的視頻圖像訊號，該編碼器用於將視頻採集單元採集的視頻圖像訊號轉換成數位圖像幀序列，其改良在於，該處理單元包括：模型建立模組，用於接收編碼器對採集的視頻圖像訊號進行轉換後得到的數位圖像幀序列，根據三幀差分演算法和線段編碼填充演算法建立並即時更新背景模型直至得到完整穩定的背景模型，其中，該模型建立模組中根據三幀差分演算法和線段編碼填充演算法對當前幀圖像的背景模型進行即時更新的具體過程包括：計算連續接收的三幀圖像I k-1、I k 、I k+1中相鄰兩幀圖像之間的幀間差分，並將幀間差分結果二值化為圖像D k 及D k+1；對二值化圖像D k 和D k+1分別進行線段編碼和連通性分析，並對二值化圖像D k 和D k+1中屬於同一連通區域且位於同一行的線段之間的空白部分進行填充並消除空洞之後得到兩個處理後的圖像d k 和d k+1；計算d k -d k+1的值並將值為-1的二值化為1，其它的值二值化為0，並記 為；根據公式更新背景模型，其 中，B 1(i,j)為初始化背景模型，B 1(i,j)設定為I k ；範本確定模組，用於根據模型建立模組建立的背景模型及模型建立模組接收到的幀圖像運用背景差分演算法和形態學處理方法檢測出運動目標並獲取運動目標範本，確定接收到的下一幀圖像中運動目標跟蹤的搜索區域，並把該運動目標範本和搜索區域的圖元轉化成灰度圖元；跟蹤模組，用於根據範本確定模組確定的運動目標範本及搜索區域運用十字鑽石搜索與空間長條圖相結合的目標跟蹤演算法對運動目標進行即時的跟蹤及顯示控制模組，用於將經過模型建立模組、範本確定模組及跟蹤模組處理後的數位圖像幀序列控制顯示在顯示單元上。
  2. 如申請專利範圍第1項所述的目標檢測裝置，其中，該模型建立模組用於每間隔預定時間接收一幀圖像；判斷接收到的圖像的總幀數是否不小於3幀，並在確定接收到的圖像的總幀數不小於3幀時將接收的第二幀圖像作為初始背景模型；從第三幀圖像開始根據三幀差分演算法和線段編碼填充演算法及基於前一幀圖像的背景模型計算得出當前幀圖像的背景模型；計算當前接收到的一幀圖像的背景模型和前一接收到的一幀圖像的背景模型之間的差值而得到一幀間差分結果，並對該幀間差分結果進行二值化而得到一二值化圖像；對二值化圖像進行形態學處理；判斷當前更新的背景是否為完整穩定的背景模型，並在確定背景模型之間的幀間差分結果中的值為0的個數大於99%時確定當前更新的背景為完整穩定的背景模型。
  3. 如申請專利範圍第2項所述的目標檢測裝置，其中，該模型建立模組基於彩色圖元點的圖元值計算連續接收的三幀圖像I k-1、I k 、I k+1中相鄰兩幀圖像之間的幀間差分。
  4. 如申請專利範圍第3項所述的目標檢測裝置，其中，該範本確定模組確定獲取運動目標範本及確定下一幀運動目標跟蹤的搜索區域的具體過程為：根據背景差分演算法計算當前接收到的幀圖像與背景模型的幀間差分，並對幀間差分結果進行二值化和形態學處理，檢測出完整的運動目標前景；以運動目標前景的形心為中心，從運動目標前景中選取(2m+1)*(2m+1)的區域作為運動目標範本，其中，m為任意自然數；在下一幀圖像中以當前幀圖像中運動目標前景的形心為中心，選取(2n+1)*(2n+1)的區域作為搜索區域，其中，n為大於m的任意自然數，該搜索區域表示運動目標範本形心的運動區域；把該運動目標範本和以搜索區域形心為中心的(2n+m+1)*(2n+m+1)區域的各個圖元點的彩色圖元值藉由轉換公式Gray=r*0.299+g*0.587+b*0.114轉化為灰度圖元值，其中r,g,b分別表示某一圖元點的彩色圖元向量對應R,G,B值，Gray代表該圖元點的灰度圖元值。
  5. 如申請專利範圍第4項所述的目標檢測裝置，其中，該跟蹤模組根據範本確定模組確定的運動目標範本及搜索區域運用十字鑽石搜索與空間長條圖相結合的目標跟蹤演算法對運動目標進行即時的跟蹤的具體過程包括：對以該範本確定模組確定的搜索區域中心為中心點的小十字形範本中待搜索的五個點進行目標匹配，找到最佳匹配點，其中，該跟蹤模組首先確定待搜索的各個點對應的空間長條圖及運動目標範本對應的空間長條圖，然後藉由公式，分別計算待搜索的各點的空間長條圖與運動目標範本對應的空間長條圖之間的相似度值，將其中與運動目標範本的空間長條圖的相似度值最大的空間長條圖對應的點確定為最佳匹配點，其中，h及h '為兩個空間長條圖，h={n b ,μ b ,Σ b }，，其中，b=1,..,B，B是空間長條圖中總區間數，n b 和是第b個區間的概率，μ b 、為屬於第b個區間的所有圖元座標的均值，Σ b 、為屬於第b個區間的所有圖元座標的協方差，f b 和分別是運用高斯模型對第b個區間的圖元位置進行建模後所得的空間特徵，兩者之間的JSD是兩個空間特徵分別到其估計得到的高斯分佈的KL散度之和；判斷該最佳匹配點是否位於小十字形範本的中心，如果該最佳匹配點位於小十字形範本的中心，則停止搜索並將當前的最佳匹配點為最終的最佳匹配點，如果該最佳匹配點不是位於小十字形範本的中心，則繼續搜索以當前最佳匹配點為中心的小十字形範本中未搜索的其他三個點；判斷最佳匹配點是否位於當前小十字形範本的中心，如果最佳匹配點位於當前小十字形範本的中心，則停止搜索並標記當前最佳匹配點為最終的最佳匹配點，如果最佳匹配點不是位於當前小十字形範本的中心，則判斷最佳匹配點是否位於以搜索區域中心為中心點的大十字形範本的最週邊；如果最佳匹配點位於該大十字形範本的最週邊，則搜索以搜索區域中心為中心點的大十字形範本最週邊的其他三個點，找到最佳匹配點，並以當前最佳匹配點為中心點運用鑽石搜索演算法找到最終匹配點，如 果最佳匹配點不是位於大十字形範本的最週邊，則直接以當前最佳匹配點為中心點運用鑽石搜索演算法找到最終最佳匹配點。
  6. 如申請專利範圍第5項所述的目標檢測裝置，其中，該跟蹤模組還用於判斷對運動目標的跟蹤是否結束，並在確定對運動目標的跟蹤沒有結束時，以當前幀圖像中確定的最佳匹配點為中心，選取(2m+1)*(2m+1)的區域作為運動目標範本，完成對運動目標範本的即時更新；接收下一幀圖像並在下一幀圖像中以當前幀圖像中的最佳匹配點為中心，選取(2n+1)*(2n+1)的區域作為搜索區域，其中n大於m，該搜索區域表示目標範本形心的運動區域；把更新後的運動目標範本及下一幀圖像中以最佳匹配點為中心的(2n+m+1)*(2n+m+1)的區域的彩色圖元轉化為灰色圖元；繼續以十字鑽石搜索與空間長條圖相結合的目標更新演算法對運動目標進行連續跟蹤。
  7. 一種運動目標即時檢測與跟蹤方法，其改良在於，該方法包括步驟：接收編碼器對採集的視頻圖像訊號進行轉換後得到的數位圖像幀序列，根據三幀差分演算法和線段編碼填充演算法建立並即時更新背景模型直至得到完整穩定的背景模型，其中步驟“根據三幀差分演算法和線段編碼填充演算法建立並即時更新背景模型直至得到完整穩定的背景模型”包括：計算連續接收的三幀圖像I k-1、I k 、I k+1中相鄰兩幀圖像之間的幀間差分，並將幀間差分結果二值化為圖像D k 及D k+1；對二值化圖像D k 和D k+1分別進行線段編碼和連通性分析，並對二值化圖像D k 和D k+1中屬於同一連通區域且位於同一行的線段之間的空白部分進行填充並消除空洞之後得到兩個處理後的圖像d k 和d k+1；計算d k -d k+1的值並將值為-1的二值化為1，其它的值二值化為0，並記為；及根據公式 更新背景模型，其中，B 1(i,j)為初始 化背景模型，B 1(i,j)設定為I k ；根據建立的背景模型及接收到的幀圖像運用背景差分演算法和形態學處理方法檢測出運動目標並獲取運動目標範本，確定接收到的下一幀圖像中運動目標跟蹤的搜索區域，並把該運動目標範本和搜索區域的圖元轉化成灰度圖元；根據確定的運動目標範本及搜索區域運用十字鑽石搜索與空間長條圖相結合的目標跟蹤演算法對運動目標進行即時的跟蹤；及將處理後的數位圖像幀序列控制顯示在顯示單元上。
  8. 如申請專利範圍第7項所述的運動目標即時檢測與跟蹤方法，其中，步驟“接收編碼器對採集的視頻圖像訊號進行轉換後得到的數位圖像幀序列，根據三幀差分演算法和線段編碼填充演算法建立並即時更新背景模型直至得到完整穩定的背景模型”中包括：每間隔預定時間接收一幀圖像；判斷接收到的圖像的總幀數是否不小於3幀，並在確定接收到的圖像的總幀數不小於3幀時將接收的第二幀圖像作為初始背景模型；從第三幀圖像開始根據三幀差分演算法和線段編碼填充演算法及基於前一幀圖像的背景模型計算得出當前幀圖像的背景模型； 計算當前接收到的一幀圖像的背景模型和前一接收到的一幀圖像的背景模型之間的差值而得到一幀間差分結果，並對該幀間差分結果進行二值化而得到一二值化圖像；及對二值化圖像進行形態學處理；及判斷當前更新的背景是否為完整穩定的背景模型，並在確定背景模型之間的幀間差分結果中的值為0的個數大於99%時確定當前更新的背景為完整穩定的背景模型。
  9. 如權利要求8所述的運動目標即時檢測與跟蹤方法，其特徵在於，步驟“從第三幀圖像開始根據三幀差分演算法和線段編碼填充演算法及基於前一幀圖像的背景模型計算得出當前幀圖像的背景模型”包括：基於彩色圖元點的圖元值計算連續接收的三幀圖像I k-1、I k 、I k+1中相鄰兩幀圖像之間的幀間差分。
  10. 如申請專利範圍第9項所述的運動目標即時檢測與跟蹤方法，其中，步驟“根據建立的背景模型及接收到的幀圖像運用背景差分演算法和形態學處理方法檢測出運動目標並獲取運動目標範本，確定接收到的下一幀圖像中運動目標跟蹤的搜索區域，並把該運動目標範本和搜索區域的圖元轉化成灰度圖元”包括：根據背景差分演算法計算當前接收到的幀圖像與背景模型的幀間差分，並對幀間差分結果進行二值化和形態學處理，檢測出完整的運動目標前景；以運動目標前景的形心為中心，從運動目標前景中選取(2m+1)*(2m+1)的區域作為運動目標範本，其中，m為任意自然數；在下一幀圖像中以當前幀圖像中運動目標前景的形心為中心，選取(2n+1)*(2n+1)的區域作為搜索區域，其中，n為大於m的任意自然數，該搜索區域表示運動目標範本形心的運動區域；及把該運動目標範本和以搜索區域形心為中心的(2n+m+1)*(2n+m+1)區域的各個圖元點的彩色圖元值藉由轉換公式Gray=r*0.299+g*0.587+b*0.114轉化為灰度圖元值，其中r,g,b分別表示某一圖元點的彩色圖元向量對應R,G,B值，Gray代表該圖元點的灰度圖元值。
  11. 如申請專利範圍第10項所述的運動目標即時檢測與跟蹤方法，其中，步驟“根據確定的運動目標範本及搜索區域運用十字鑽石搜索與空間長條圖相結合的目標跟蹤演算法對運動目標進行即時的跟蹤”包括：對確定的搜索區域中心為中心點的小十字形範本中待搜索的五個點進行目標匹配，找到最佳匹配點，其中，首先確定待搜索的各個點對應的空間長條圖及運動目標範本對應的空間長條圖，然後藉由公式，分別計算待搜索的各點的空間長條圖與運動目標範本對應的空間長條圖之間的相似度值，將其中與運動目標範本的空間長條圖的相似度值最大的空間長條圖對應的點確定為最佳匹配點，其中，h及h '為兩個空間長條圖，h={n b ,μ b ,Σ b }，，其中，b=1,..,B，B是空間長 條圖中總區間數，n b 和是第b個區間的概率，μ b 、為屬於第b個區間的所有圖元座標的均值，Σ b 、為屬於第b個區間的所有圖元座標的協方差，f b 和分別是運用高斯模型對第b個區間的圖元位置進行建模後所得的空間特徵，兩者之間的JSD是兩個空間特徵分別到其估計得到的高斯分佈的KL散度之和；判斷該最佳匹配點是否位於小十字形範本的中心，如果該最佳匹配點位於小十字形範本的中心，則停止搜索並將當前的最佳匹配點為最終的最佳匹配點，如果該最佳匹配點不是位於小十字形範本的中心，則繼續搜索以當前最佳匹配點為中心的小十字形範本中未搜索的其他三個點；判斷最佳匹配點是否位於當前小十字形範本的中心，如果最佳匹配點位於當前小十字形範本的中心，則停止搜索並標記當前最佳匹配點為最終的最佳匹配點，如果最佳匹配點不是位於當前小十字形範本的中心，則判斷最佳匹配點是否位於以搜索區域中心為中心點的大十字形範本的最週邊；及如果最佳匹配點位於該大十字形範本的最週邊，則搜索以搜索區域中心為中心點的大十字形範本最週邊的其他三個點，找到最佳匹配點，並以當前最佳匹配點為中心點運用鑽石搜索演算法找到最終匹配點，如果最佳匹配點不是位於大十字形範本的最週邊，則直接以當前最佳匹配點為中心點運用鑽石搜索演算法找到最終最佳匹配點。
  12. 如申請專利範圍第11項所述的運動目標即時檢測與跟蹤方法，其中，該方法還包括步驟：判斷對運動目標的跟蹤是否結束，並在確定對運動目標的跟蹤沒有結束時，以當前幀圖像中確定的最佳匹配點為中心，選取(2m+1)*(2m+1)的區域作為運動目標範本，完成對運動目標範本的即時更新；接收下一幀圖像並在下一幀圖像中以當前幀圖像中的最佳匹配點為中心，選取(2n+1)*(2n+1)的區域作為搜索區域，其中n大於m，該搜索區域表示目標範本形心的運動區域；把更新後的運動目標範本及下一幀圖像中以最佳匹配點為中心的(2n+m+1)*(2n+m+1)的區域的彩色圖元轉化為灰色圖元；及繼續以十字鑽石搜索與空間長條圖相結合的目標更新演算法對運動目標進行連續跟蹤。
TW104120849A 2015-06-12 2015-06-26 運動目標即時檢測與跟蹤方法及目標檢測裝置 TWI670684B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510322075.6A CN106296725B (zh) 2015-06-12 2015-06-12 运动目标实时检测与跟踪方法及目标检测装置
??201510322075.6 2015-06-12

Publications (2)

Publication Number Publication Date
TW201702989A TW201702989A (zh) 2017-01-16
TWI670684B true TWI670684B (zh) 2019-09-01

Family

ID=57517533

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104120849A TWI670684B (zh) 2015-06-12 2015-06-26 運動目標即時檢測與跟蹤方法及目標檢測裝置

Country Status (3)

Country Link
US (1) US10015371B2 (zh)
CN (1) CN106296725B (zh)
TW (1) TWI670684B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107133969B (zh) * 2017-05-02 2018-03-06 中国人民解放军火箭军工程大学 一种基于背景反投影的移动平台运动目标检测方法
CN107730539B (zh) * 2017-11-09 2020-07-14 江苏科技大学 自主水下机器人控制系统及声纳目标跟踪方法
CN109887007A (zh) * 2017-12-06 2019-06-14 中国科学院宁波材料技术与工程研究所 空基对地运动目标的检测方法及装置
CN108198208B (zh) * 2017-12-27 2021-08-24 浩云科技股份有限公司 一种基于目标跟踪的移动侦测方法
CN109993767B (zh) * 2017-12-28 2021-10-12 北京京东尚科信息技术有限公司 图像处理方法和系统
CN108166414B (zh) * 2018-01-30 2021-02-09 浙江高速信息工程技术有限公司 一种安全程度高的行人路口通行系统
CN110443824A (zh) * 2018-05-02 2019-11-12 北京京东尚科信息技术有限公司 用于生成信息的方法和装置
CN108898057B (zh) * 2018-05-25 2021-08-10 广州杰赛科技股份有限公司 跟踪目标检测的方法、装置、计算机设备和存储介质
CN108761391B (zh) * 2018-05-29 2022-04-01 南京信息工程大学 一种模型类无设备目标定位方法
CN109325967B (zh) * 2018-09-14 2023-04-07 腾讯科技（深圳）有限公司 目标跟踪方法、装置、介质以及设备
CN109685827B (zh) * 2018-11-30 2022-09-06 南京理工大学 一种基于dsp的目标检测与跟踪方法
CN109886132B (zh) * 2019-01-25 2020-12-15 北京市遥感信息研究所 一种云海背景飞机目标检测方法、装置及系统
CN110634152B (zh) * 2019-08-08 2023-07-04 西安电子科技大学 一种基于背景建模和多帧确认的目标检测方法
CN110472555B (zh) * 2019-08-12 2022-10-04 北京算能科技有限公司 目标检测方法和装置
CN112051216B (zh) * 2020-05-20 2023-04-28 广东轻工职业技术学院 用于实现水果分级分拣的水果动态跟踪方法
CN112817001B (zh) * 2021-01-28 2023-12-01 深圳奥锐达科技有限公司 一种飞行时间测距方法、系统和设备
CN114972436B (zh) * 2022-06-13 2024-02-23 西安交通大学 一种基于时空域联合信息的运动磨粒检测跟踪方法及系统
CN115937263B (zh) * 2023-02-27 2023-06-09 南昌理工学院 基于视觉的目标跟踪方法、系统、电子设备及存储介质
CN117197507B (zh) * 2023-11-07 2024-02-09 北京闪马智建科技有限公司 图像块的确定方法及装置、存储介质及电子装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200635378A (en) * 2005-03-21 2006-10-01 Pixart Imaging Inc Improved diamond search and dynamic estimation method
CN101290682A (zh) * 2008-06-25 2008-10-22 北京中星微电子有限公司 一种运动目标检测方法及装置
US20110096149A1 (en) * 2007-12-07 2011-04-28 Multi Base Limited Video surveillance system with object tracking and retrieval
CN102831617A (zh) * 2012-07-17 2012-12-19 聊城大学 一种运动目标检测与跟踪的方法和系统
CN103903278A (zh) * 2012-12-28 2014-07-02 重庆凯泽科技有限公司 运动目标检测与跟踪系统

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6335985B1 (en) * 1998-01-07 2002-01-01 Kabushiki Kaisha Toshiba Object extraction apparatus
US6394557B2 (en) * 1998-05-15 2002-05-28 Intel Corporation Method and apparatus for tracking an object using a continuously adapting mean shift
US7088773B2 (en) * 2002-01-17 2006-08-08 Sony Corporation Motion segmentation system with multi-frame hypothesis tracking
JP4217876B2 (ja) * 2002-12-20 2009-02-04 財団法人生産技術研究奨励会 画像における移動物体の追跡方法及び装置
US7760956B2 (en) * 2005-05-12 2010-07-20 Hewlett-Packard Development Company, L.P. System and method for producing a page using frames of a video stream
US20070250898A1 (en) * 2006-03-28 2007-10-25 Object Video, Inc. Automatic extraction of secondary video streams
JP5044321B2 (ja) * 2006-09-13 2012-10-10 株式会社リコー 撮像装置および被写体検出方法
US8325227B2 (en) * 2008-07-15 2012-12-04 Aptina Imaging Corporation Method and apparatus for low cost motion detection
TWI405457B (zh) * 2008-12-18 2013-08-11 Ind Tech Res Inst 應用攝影機換手技術之多目標追蹤系統及其方法，與其智慧節點
CN101576952B (zh) * 2009-03-06 2013-10-16 北京中星微电子有限公司 一种检测静止目标的方法和装置
US8525900B2 (en) * 2009-04-23 2013-09-03 Csr Technology Inc. Multiple exposure high dynamic range image capture
US8488010B2 (en) * 2010-09-21 2013-07-16 Hewlett-Packard Development Company, L.P. Generating a stabilized video sequence based on motion sensor data
JP2012151796A (ja) * 2011-01-21 2012-08-09 Sony Corp 画像処理装置と画像処理方法およびプログラム
JP5687553B2 (ja) * 2011-04-25 2015-03-18 オリンパス株式会社 画像合成装置、画像合成方法及び画像合成プログラム
US8989256B2 (en) * 2011-05-25 2015-03-24 Google Inc. Method and apparatus for using segmentation-based coding of prediction information
CN103037226A (zh) * 2011-09-30 2013-04-10 联咏科技股份有限公司 深度融合方法及其装置
GB2497507B (en) * 2011-10-14 2014-10-22 Skype Received video stabilisation
JP5831193B2 (ja) * 2011-12-13 2015-12-09 富士通株式会社 利用者検知装置、方法及びプログラム
JP5978639B2 (ja) * 2012-02-06 2016-08-24 ソニー株式会社 画像処理装置、画像処理方法、プログラム、及び記録媒体
JP5921329B2 (ja) * 2012-05-17 2016-05-24 キヤノン株式会社 映像処理装置、追尾物体の管理方法、および、プログラム
KR101939628B1 (ko) * 2012-05-30 2019-01-17 삼성전자주식회사 모션 검출 방법 및 모션 검출기
CN202720689U (zh) * 2012-07-17 2013-02-06 聊城大学 基于dsp的运动目标检测与跟踪系统
KR101908388B1 (ko) * 2012-07-19 2018-10-17 삼성전자 주식회사 폐색 영역 복원 장치, 폐색 영역을 복원하는 비디오 디코딩 장치 및 폐색 영역 복원 방법
US9465997B2 (en) * 2012-09-26 2016-10-11 General Electric Company System and method for detection and tracking of moving objects
US9311338B2 (en) * 2013-08-26 2016-04-12 Adobe Systems Incorporated Method and apparatus for analyzing and associating behaviors to image content
US9934453B2 (en) * 2014-06-19 2018-04-03 Bae Systems Information And Electronic Systems Integration Inc. Multi-source multi-modal activity recognition in aerial video surveillance
EP3347789B1 (en) * 2015-09-11 2021-08-04 SZ DJI Technology Co., Ltd. Systems and methods for detecting and tracking movable objects

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200635378A (en) * 2005-03-21 2006-10-01 Pixart Imaging Inc Improved diamond search and dynamic estimation method
US20110096149A1 (en) * 2007-12-07 2011-04-28 Multi Base Limited Video surveillance system with object tracking and retrieval
CN101290682A (zh) * 2008-06-25 2008-10-22 北京中星微电子有限公司 一种运动目标检测方法及装置
CN102831617A (zh) * 2012-07-17 2012-12-19 聊城大学 一种运动目标检测与跟踪的方法和系统
CN103903278A (zh) * 2012-12-28 2014-07-02 重庆凯泽科技有限公司 运动目标检测与跟踪系统

Also Published As

Publication number Publication date
CN106296725B (zh) 2021-10-19
US10015371B2 (en) 2018-07-03
CN106296725A (zh) 2017-01-04
US20160366308A1 (en) 2016-12-15
TW201702989A (zh) 2017-01-16

Similar Documents

Publication Publication Date Title
TWI670684B (zh) 運動目標即時檢測與跟蹤方法及目標檢測裝置
JP6858650B2 (ja) 画像レジストレーションの方法及びシステム
JP6204659B2 (ja) 映像処理装置及び映像処理方法
WO2016034059A1 (zh) 基于颜色-结构特征的目标对象跟踪方法
CN104598883B (zh) 一种多摄像机监控网络中目标再识别的方法
US20150317797A1 (en) Pedestrian tracking and counting method and device for near-front top-view monitoring video
CN106991370B (zh) 基于颜色和深度的行人检索方法
CN102982537B (zh) 一种检测场景变换的方法和系统
CN102982334B (zh) 基于目标边缘特征与灰度相似性的稀疏视差获取方法
JP4373840B2 (ja) 動物体追跡方法、動物体追跡プログラムおよびその記録媒体、ならびに、動物体追跡装置
JP6835215B2 (ja) 画像処理方法及び装置
CN106204633B (zh) 一种基于计算机视觉的学生跟踪方法和装置
CN107564035B (zh) 基于重要区域识别和匹配的视频跟踪方法
US10740907B2 (en) Moving body tracking method, moving body tracking device, and program
CN105043395B (zh) 一种飞行器月表软着陆的实时动态选址方法
Liu et al. Robust autocalibration for a surveillance camera network
JP2008250746A (ja) 移動物体追跡装置
JP2021108193A (ja) 画像処理装置、画像処理方法、及びプログラム
CN102609945A (zh) 可见光和热红外图像序列自动配准方法
Yang et al. Multiple marker tracking in a single-camera system for gait analysis
JP2008250772A (ja) 移動物体追跡装置
CN104866853A (zh) 一种足球比赛视频中的多运动员的行为特征提取方法
JP5132509B2 (ja) 移動物体追跡装置
CN106023252A (zh) 一种基于oab算法的多摄像机人体跟踪方法
CN108076365B (zh) 人体姿势识别装置