TW202020723A - 移動物體偵測系統及方法 - Google Patents

移動物體偵測系統及方法 Download PDF

Info

Publication number
TW202020723A
TW202020723A TW107140761A TW107140761A TW202020723A TW 202020723 A TW202020723 A TW 202020723A TW 107140761 A TW107140761 A TW 107140761A TW 107140761 A TW107140761 A TW 107140761A TW 202020723 A TW202020723 A TW 202020723A
Authority
TW
Taiwan
Prior art keywords
image
module
feature
frame
feature point
Prior art date
Application number
TW107140761A
Other languages
English (en)
Other versions
TWI673653B (zh
Inventor
李佩君
邱政愷
劉光喆
陳嘉瑞
林信嘉
Original Assignee
財團法人國家實驗研究院
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 財團法人國家實驗研究院 filed Critical 財團法人國家實驗研究院
Priority to TW107140761A priority Critical patent/TWI673653B/zh
Priority to EP18210504.9A priority patent/EP3654234B1/en
Priority to US16/215,531 priority patent/US10803603B2/en
Application granted granted Critical
Publication of TWI673653B publication Critical patent/TWI673653B/zh
Publication of TW202020723A publication Critical patent/TW202020723A/zh

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/13Satellite images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/44Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/10Terrestrial scenes
    • G06V20/17Terrestrial scenes taken from planes or by drones
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/52Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30232Surveillance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種移動物體偵測系統及方法,用以對包括至少一物體的一監控區域進行影像擷取。根據本發明之設計,一前處理模組、一特徵點取出模組、一影像光流估算模組、一特徵點群集模組、與一移動判斷模組係透過函式庫、變數或運算元的形式被編輯為至少一應用程式,並建立於一控制與處理裝置之中。同時,本發明又特別設計該特徵點取出模組具有特徵差異運算單元、結構張量建立單元與角特徵點獲取單元,其目的在於有效地提升控制與處理裝置於辨識、篩選角特徵點的運算速度。此外,本發明特別設計所述特徵點群集模組用以對完成一光流運算的該複數個角特徵點進行群集標記處理,進而讓移動判斷模組只需要判斷該複數組角特徵點群集是否移動便能夠快速、有效率地方式完成該至少一物體之移動偵測。

Description

移動物體偵測系統及方法
本發明係關於影像處理的技術領域,特別是指可應用於空拍機、無人飛行載具(Unmanned aerial vehicle, UAV)、衛星(Satellite)、空間探測機器人(Robotics system for space exploration)、與攝影監控系統的一種移動物體偵測系統及方法。
移動物體偵測在自動化監控(surveillance)系統中扮演相當重要的角色。傳統的影像監控系統係藉由分析監控畫面內移動物體軌跡(trajectory)與行為(behavior),達到偵測異常保全事件的發生的效果。不同地,美國專利號US6,867,799揭露了一種備有移動式攝影機的物件監控裝置(Apparatus for object surveillance with a movable camera)。所述物件監控裝置包括:移動物件偵測單元、監控區域指定單元、物件與攝影機相對移動估算單元、物件移動預測單元、與訊號傳收單元。根據美國專利號US6,867,799的揭示內容,操作者可透過監控區域指定單元指定欲進行物件移動監視的一塊移動物件區域。之後,除了以其移動物件偵測單元偵測出區域內的移動物件之外,所述物件監控裝置更同時以其物件與攝影機相對移動估算單元對所述移動物件進行未來移動預估,使得物件監控裝置可持續地移動攝影機,使移動物件保持在攝影機的可視畫面之內。
影像對齊法與光流法是習知技術中最常使用的移動物體偵測方法。圖1即顯示影像對齊法的流程圖。如圖1所示,影像對齊法之影像處理流程係首先執行步驟S1’與步驟S2’以各別取得一幀前一時間影像與一幀現時時間影像,即,在時間點t-1與時間點t所取得的兩幀影像或是在時間點t與時間點t+1所取得的兩幀影像。繼續地,以步驟S3’將兩幀影像相互對齊(alignment)之後,方法流程系接著執行步驟S4’以將兩幀影像相減,進而求出兩幀影像之間的差異特徵。最終,於步驟S5’之中,處理器便可以基於所獲得的差異特徵進行所謂的移動物體判斷。熟悉影像對齊法與移動物體偵測裝置的電腦工程師應該都知道,影像對齊方法的優點在於僅以單隻攝影機執行影像擷取與影像處理的運算速度快。然而,利用實施影像對齊方法所獲得的兩幀影像之間的差異特徵僅僅是輪廓上的差異,導致處理器於移動物體判斷的誤差率無法有效降低。
圖2顯示光流法的流程圖。如圖2所示,光流法之影像處理流程係首先執行步驟S1a以取得一幀前一時間影像與一幀現時時間影像,即,在時間點t-1與時間點t所取得的兩幀影像或是在時間點t與時間點t+1所取得的兩幀影像。繼續地,利用步驟S2a進行影像深度之計算並同時以步驟S3a計算影像的光流。由於以靜止的攝影機拍攝物體之時,影像的背景是固定的,因此光流法之影像處理流程係先以步驟S4a來估算背景光流。接著,藉由步驟S5a將影像光流與背景光流相減之後;最終,於步驟S6a之中,處理器便可以基於所獲得的光流值的差異推算出光流向量,完成移動物體之判斷。熟悉光流法與移動物體偵測裝置的電腦工程師應該都知道,光流法最主要的優點在於可明確地追蹤移動物體;同時,基於背景光流與影像光流的運算,處理器於移動物體判斷的誤差係非常的小。可惜的是,為了準確地計算背景光流與影像光流,除了必須使用至少兩隻攝影機來進行影像擷取而提高了設備成本以外,同時也導致處理器運算速度變慢。
由上述說明可知,影像對齊技術與影像光流技術雖然最經常應用於移動物體偵測裝置之中,但是包含影像對齊技術與/或影像光流技術的移動物體偵測裝置卻是都具有各自的實務缺陷。有鑑於此,本案之發明人係極力加以研究發明,而終於研發完成本發明之一種移動物體偵測系統及方法。
本發明之主要目的在於提供一種移動物體偵測系統及方法,用以對包括至少一物體的一監控區域進行影像擷取。於本發明之中,一前處理模組、一特徵點取出模組、一影像光流估算模組、一特徵點群集模組、與一移動判斷模組係透過函式庫、變數或運算元的形式被編輯為至少一應用程式,並建立於一控制與處理裝置之中。同時,本發明又特別設計該特徵點取出模組具有特徵差異運算單元、結構張量建立單元與角特徵點獲取單元,其目的在於有效地提升控制與處理裝置於辨識、篩選角特徵點的運算速度。再者,本發明特別設計所述特徵點群集模組用以對完成一光流運算的該複數個角特徵點進行群集標記處理,進而讓移動判斷模組只需要判斷該複數組角特徵點群集是否移動便能夠以快速、有效率地方式完成該至少一物體之移動偵測。
為了達成上述本發明之主要目的,本案發明人係提供所述移動物體偵測系統的一實施例,係包括:   一影像擷取裝置,係設置於一攜載物之上,用以對包括至少一物體的一監控區域進行影像擷取;以及   一控制與處理裝置,係包括:      一前處理模組,用以接收該影像擷取裝置所傳送的具時間連續性的複數幀影像,進而對該複數幀影像進行一背景去除處理;其中,該複數幀影像包括複數組影像幀對,且每一組影像幀對係包括一幀前一時間點影像與一幀現時時間點影像;      一特徵點取出模組,係耦接至該前處理模組,用以對完成所述背景去除處理的該複數幀影像進行一特徵點取出處理,進而獲得每一幀影像的複數個角特徵點;      一影像光流估算模組,係耦接至該特徵點取出模組,其中,基於完成所述特徵點取出處理的該複數幀影像之中的一組影像幀對,該影像光流估算模組係對應地建構出一組影像金字塔對,並接著對該影像金字塔對所具有的該複數個角特徵點進行一光流運算; 一特徵點群集模組,係耦接至該影像光流估算模組,用以對完成所述光流運算的該複數個角特徵點進行一群集標記處理,以獲得複數組角特徵點群集;以及 一移動判斷模組,係耦接至該特徵點群集模組,用以判斷該複數組角特徵點群集是否移動,藉此方式完成該至少一物體之移動偵測。
並且,為了達成上述本發明之主要目的,本案發明人係提供所述移動物體偵測方法的一實施例,係包括以下步驟:   (1)提供一影像擷取裝置以對包括至少一物體的一監控區域進行影像擷取;   (2)提供包括一前處理模組、一特徵點取出模組、一影像光流估算模組、一特徵點群集模組、與一移動判斷模組的一控制與處理裝置,並以該前處理模組接收該影像擷取裝置所傳送的具時間連續性的複數幀影像,進而對該複數幀影像進行一背景去除處理;其中,該複數幀影像包括複數組影像幀對,且每一組影像幀對係包括一幀前一時間點影像與一幀現時時間點影像;    (3)以該特徵點取出模組對完成所述背景去除處理的該複數幀影像進行一特徵點取出處理,進而獲得每一幀影像的複數個角特徵點;    (4)該影像光流估算模組基於完成所述特徵點取出處理的該複數幀影像之中的一組影像幀對而對應地建構出一組影像金字塔對;其中,該影像金字塔對包括一前一時間點影像之影像金字塔與一現時時間點影像之影像金字塔;    (5)該影像光流估算模組對該影像金字塔對所具有的該複數個角特徵點進行一光流運算; (6)以該特徵點群集模組對完成所述光流運算的該複數個角特徵點進行一群集標記處理,進而獲得複數組角特徵點群集;以及 (7)該移動判斷模組基於所述光流運算的結果而判斷每一組影像幀對之中的該複數組角特徵點群集是否移動,藉此方式完成該至少一物體之移動偵測。
為了能夠更清楚地描述本發明所提出之一種移動物體偵測系統及方法,以下將配合圖式,詳盡說明本發明之較佳實施例。
請參閱圖3,係顯示本發明所提出之一種移動物體偵測系統的架構圖。由圖3可知,本發明之移動物體偵測系統1係主要包括:一影像擷取裝置11與一控制與處理裝置12,其中該影像擷取裝置11係設置於一攜載物2之上,用以對包括至少一物體3的一監控區域進行影像擷取。另一方面,該控制與處理裝置12則用以接收該影像擷取裝置11所傳送的具時間連續性的複數幀影像。請同時參閱圖4所顯示的控制與處理裝置的電路功能方塊圖。根據本發明之設計,該控制與處理裝置12係具有一前處理模組121、一特徵點取出模組122、一影像光流估算模組123、一特徵點群集模組124、與一移動判斷模組125。熟悉影像辨識處理與移動物體偵測技術的電腦工程師應該都知道,前處理模組121、特徵點取出模組122、影像光流估算模組123、特徵點群集模組124、與移動判斷模組125通常係透過函式庫、變數或運算元的形式被編輯為至少一應用程式,並建立於該控制與處理裝置12之中。
在處理影像擷取裝置11所傳送的具時間連續性的複數幀影像的流程上,控制與處理裝置12係先以前處理模組121接收所述具時間連續性的複數幀影像,進而對該複數幀影像進行一背景去除處理(Background subtraction process)。必須特別說明的是,該複數幀影像包括複數組影像幀對(Image frame pair),且每一組影像幀對係包括一幀前一時間點影像與一幀現時時間點影像。例如,在時間點t-1與時間點t所取得的兩幀影像或是在時間點t與時間點t+1所取得的兩幀影像。接著,控制與處理裝置12又以特徵點取出模組122對完成所述背景去除處理的該複數幀影像進行一特徵點取出處理(Feature extraction process),進而獲得每一幀影像的複數個角特徵點(Corner feature points)。
繼續地參閱圖3與圖4,並請同時參閱圖5所顯示特徵點取出模組的電路功能方塊圖。圖5顯示特徵點取出模組122進一步包括一特徵差異運算單元1221、一結構張量建立單元1222與角特徵點獲取單元1223。執行特徵點取出處理之時,特徵點取出模組122係先以配置於其內的特徵差異運算單元1221對該複數幀影像進行一區塊(patch)特徵差異運算;其中,所述區塊特徵差異運算係利用以下任一種運算法完成:平均絕對差運算法(Mean absolute differences, MAD)、絕對誤差和運算法(Sum of absolute differences, SAD)、誤差平方和運算法(Sum of squared differences, SSD)、或尺度不變特徵轉換運算法(Scale-invariant feature transform, SIFT)。以誤差平方和運算法為例,所述區塊特徵差異運算係利用以下運算式(1)完成。
Figure 02_image001
……….(1)
繼續地,特徵點取出模組122又以配置於其內部的結構張量建立單元1222根據所述區塊特徵差異運算之結果而建立出對應不同區塊特徵的複數個結構張量矩陣(Structure tensor matrix)。如下運算式(2)與(3)所示,A即表示所述結構張量矩陣。
Figure 02_image003
……………………………………….(2)
Figure 02_image005
…..….(3)
最終,該特徵點取出模組122係以一角特徵點獲取單元1223藉由對每一個結構張量矩陣進行一特徵值轉換。計算出每個結構張量矩陣的特徵值之後,為了快速且有效地透過結構張量矩陣的特徵值篩選出角特徵點,角特徵點獲取單元1223會先利用如下運算式(4)計算出R值。接著,再依據下表(1)的判斷方式選出角特徵點。另一方面,為了令本領域的技術人員能夠更加容易地理解運算式(1)至運算式(4)的意義,吾人係將運算式之中的變數或代號整理於下表(2)之中。
Figure 02_image007
………………………….(4)   表(1)
Figure 107140761-A0304-0001
表(2)
Figure 107140761-A0304-0002
獲得複數個角特徵點之後,控制與處理裝置12接著令其影像光流估算模組123基於完成所述特徵點取出處理的該複數幀影像之中的一組影像幀對而對應地建構出一組影像金字塔對(Image pyramid pair),並接著對該影像金字塔對所具有的該複數個角特徵點進行一光流運算(Calculation of optical flow)。圖6係顯示影像金字塔對的示意圖。根據本發明之設計,影像光流估算模組123的一影像金字塔建立單元1231,係藉由對該複數幀影像之中的一組影像幀對進行至少兩次的高斯影像卷積處理(Gaussian convolution process)的方式,完成該影像金字塔對的建立。
如圖6所示,每一組影像幀對之中的前一時間點影像會被向上(upsample)進行兩次的高斯影像卷積處理,接著利用三幀影像組成三層結構的前一時間點影像之影像金字塔。同時,每一組影像幀對之中的現時時間點影像也會被向下(downsample)進行兩次的高斯影像卷積處理,接著利用三幀影像組成三層結構的現時時間點影像之影像金字塔。繼續地,影像光流估算模組123的一影像特徵追蹤單元1232便會接著利用盧卡斯-卡納德光流法(Lucas–Kanade optical flow method)對所述前一時間點影像之影像金字塔與所述現時時間點影像之影像金字塔進行迭代型光流運算。於此,盧卡斯-卡納德光流法可以被簡稱為LK光流法。值得注意的是,由於每一層影像的複數個角特徵點的光流值可能不是線性,因此在完成LK光流法之後,可以再利用內插法將每一層影像的複數個角特徵點的光流值修正為線性。
完成該複數個角特徵點的光流值之運算後,控制與處理裝置12接著以其特徵點群集模組124對完成所述光流運算的該複數個角特徵點進行一群集標記處理(Cluster labeling process),以獲得複數組角特徵點群集。舉例而言,當R值大於所述預設門檻值且為區塊中的最大值之時,該像素即被辨識為角特徵點P。此時,若在距離所述角特徵點P之一預設固定半徑內的特徵點的數目大於一個最小門檻值,則將固定半徑內的所有特徵點都標記為同一個群集。最終,透過該移動判斷模組125,控制與處理裝置12便能夠基於光流運算的結果來判斷每一組影像幀對之中的該複數組角特徵點群集是否移動,藉此方式完成該至少一物體3之移動偵測。
必須補充說明的是,所述移動判斷模組125係利用以下任一種運算法完成該至少一物體3之移動偵測:最小二乘法估算法(Least squares estimation)、阻尼最小二乘法(Damped least square method)、或最小化最小二乘法(minimum least squares estimation)。以最小化最小二乘法為例,其係由下列二運算式所表示。同時,為了令本領域的技術人員能夠更加容易地理解下列二運算式的意義,吾人係將運算式之中的變數或代號整理於下表(3)之中。
Figure 02_image021
+
Figure 02_image023
Figure 02_image025
表(3)
Figure 107140761-A0304-0003
承上述說明,只要透過運算式之計算所獲得的向量速度之值不為零,則辨識該角特徵點群集移動中。簡單地說,移動判斷模組125只需要判斷該複數組角特徵點群集是否移動便能夠以快速、有效率地方式完成該至少一物體3之移動偵測。另一方面,本發明特別於控制與處理裝置12之中增設一資料儲存模組126,用以儲存或暫存該複數幀影像、完成所述背景去除處理的該複數幀影像、完成所述特徵點取出處理的該複數幀影像、完成所述光流運算的該複數個角特徵點、以及該複數組角特徵點群集。值得說明的是,本發明特別設計該特徵點取出模組122具有特徵差異運算單元1221、結構張量建立單元1222與角特徵點獲取單元1223之目的也是為了提升該控制與處理裝置12於角特徵點篩選方面的運算速度。
必須加以強調的是,雖然圖3繪示本發明之移動物體偵測系統1係應用於一空拍機(Aerial photography drone)之上,但不能以圖3限制本發明之可能性應用。圖7A、圖7B、圖7C、與圖7D係顯示本發明之移動物體偵測系統的應用例。其中,圖7A、圖7B與圖7C指出移動物體偵測系統1的影像擷取裝置11可以被搭載至一無人飛行載具(Unmanned aerial vehicle, UAV)、一衛星(Satellite)與一空間探測機器人(Robotics system for space exploration)。當然,本發明也可以應用至現在流行的機器人或掃地機器人。另一方面,圖7D指出移動物體偵測系統1的影像擷取裝置11可以是一監控攝影機。
雖然上述係說明本發明所提出的新式移動物體偵測技術可以透過硬體方式呈現,但不應以此限制本發明之實施態樣。如長期涉及影像辨識處理與移動物體偵測技術的電腦工程師所熟知的,影像辨識模組與物體追蹤模組通常係透過函式庫、變數或運算元的形式被編輯為至少一應用程式,然後嵌入例如處理器、工業電腦、伺服器電腦、桌上型電腦、筆記型電腦、平板電腦、智慧型手機、或智慧型手錶等應用程式執行裝置之中。基於這樣的理由,本發明同時提供可應用於一執行裝置(例如:圖3所示的控制與處理裝置12)之中的一種移動物體偵測方法。
請參閱圖8A與圖8B,係顯示本發明之一種移動物體偵測方法的流程圖。本發明之移動物體偵測方法係於運行流程上首先執行進行步驟S1:提供一影像擷取裝置11(如圖3所示)以對包括至少一物體3的一監控區域進行影像擷取。接著,於步驟S2之中,係提供包括一前處理模組121、一特徵點取出模組122、一影像光流估算模組123、一特徵點群集模組124、與一移動判斷模組125的一控制與處理裝置12(如圖4所示);接著,以該前處理模組121接收該影像擷取裝置11所傳送的具時間連續性的複數幀影像,進而對該複數幀影像進行一背景去除處理。其中,該複數幀影像包括複數組影像幀對,且每一組影像幀對係包括一幀前一時間點影像與一幀現時時間點影像。例如,在時間點t-1與時間點t所取得的兩幀影像或是在時間點t與時間點t+1所取得的兩幀影像。
繼續地,方法流程係執行步驟S3:以該特徵點取出模組122對完成所述背景去除處理的該複數幀影像進行一特徵點取出處理,進而獲得每一幀影像的複數個角特徵點。請同時參考圖5以及圖9所示的步驟S3的詳細步驟流程圖。根據本發明之設計,步驟S3至少包括三個詳細執行步驟。首先,係執行步驟S31:以該特徵點取出模組122的一特徵差異運算單元1221對該複數幀影像進行一區塊特徵差異運算。其中,所述區塊特徵差異運算係利用前述說明所介紹的運算式(1)予以完成。接著,係執行步驟S32:以該特徵點取出模組122的一結構張量建立單元1222根據所述區塊特徵差異運算之結果而建立出對應不同區塊特徵的複數個結構張量矩陣。最後,執行步驟S33:以該特徵點取出模組122的一角特徵點獲取單元1223對每一個結構張量矩陣進行一特徵值轉換,以獲得每一幀影像的該複數個角特徵點。必須補充說明的是,為了快速且有效地透過結構張量矩陣的特徵值篩選出角特徵點,角特徵點獲取單元1223會先利用前述說明所介紹的運算式(4)計算出R值。接著,再依據前述說明所介紹的表(1)的判斷方式選出角特徵點。
請重複參閱圖3、圖4、圖8A、與圖8B。在完成步驟S3之後,方法流程係接著執行步驟S4:該影像光流估算模組123基於完成所述特徵點取出處理的該複數幀影像之中的一組影像幀對而對應地建構出一組影像金字塔對;其中,該影像金字塔對包括一前一時間點影像之影像金字塔與一現時時間點影像之影像金字塔。接著,於步驟S5中,該影像光流估算模組123對該影像金字塔對所具有的該複數個角特徵點進行一光流運算。如圖6所示,每一組影像幀對之中的前一時間點影像會被向上進行兩次的高斯影像卷積處理,接著利用三幀影像組成三層結構的前一時間點影像之影像金字塔。同時,每一組影像幀對之中的現時時間點影像也會被向下進行兩次的高斯影像卷積處理,接著利用三幀影像組成三層結構的現時時間點影像之影像金字塔。繼續地,影像特徵追蹤單元1232便會接著利用LK光流法對所述前一時間點影像之影像金字塔與所述現時時間點影像之影像金字塔進行迭代型光流運算。
完成步驟S4與步驟S5之後,方法流程係接著執行步驟S6:以該特徵點群集模組124對完成所述光流運算的該複數個角特徵點進行一群集標記處理,進而獲得複數組角特徵點群集。當R值大於所述預設門檻值且為區塊中的最大值之時,該像素即被辨識為角特徵點P。此時,若在距離所述角特徵點P之一預設固定半徑內的特徵點的數目大於一個最小門檻值,則將固定半徑內的所有特徵點都標記為同一個群集。最終,方法流程係執行步驟S7:該移動判斷模組125基於所述光流運算的結果而判斷每一組影像幀對之中的該複數組角特徵點群集是否移動,藉此方式完成該至少一物體3之移動偵測。
如此,上述係已完整且清楚地說明本發明之一種移動物體偵測系統及方法;並且,經由上述可知本發明係具有下列之優點:
(1)本發明主要提供一種移動物體偵測系統及方法。根據本發明之設計,一前處理模組121、一特徵點取出模組122、一影像光流估算模組123、一特徵點群集模組124、與一移動判斷模組125透過函式庫、變數或運算元的形式被編輯為至少一應用程式,並建立於一控制與處理裝置12之中。同時,本發明又特別設計該特徵點取出模組122具有特徵差異運算單元1221、結構張量建立單元1222與角特徵點獲取單元1223,其目的在於有效地提升控制與處理裝置12於辨識、篩選角特徵點的運算速度。另一方面,本發明又特別設計所述特徵點群集模組124以對完成所述光流運算的該複數個角特徵點進行群集標記處理,目的也是為了讓移動判斷模組125只需要判斷該複數組角特徵點群集是否移動便能夠以快速、有效率地方式完成該至少一物體3之移動偵測。
必須加以強調的是,上述之詳細說明係針對本發明可行實施例之具體說明,惟該實施例並非用以限制本發明之專利範圍,凡未脫離本發明技藝精神所為之等效實施或變更,均應包含於本案之專利範圍中。
<本發明>1:移動物體偵測系統11:影像擷取裝置12:控制與處理裝置2:攜載物3:物體121:前處理模組122:特徵點取出模組123:影像光流估算模組124:特徵點群集模組125:移動判斷模組1221:特徵差異運算單元1222:結構張量建立單元1223:角特徵點獲取單元1231:影像金字塔建立單元1232:影像特徵追蹤單元126:資料儲存模組S1-S4:步驟S5-S7:步驟S31-S33:步驟
<習知>S1’-S5’:步驟S1a-S6a:步驟
圖1係顯示影像對齊法的流程圖; 圖2係顯示光流法的流程圖; 圖3係顯示本發明所提出之一種移動物體偵測系統的架構圖; 圖4係顯示控制與處理裝置的電路功能方塊圖; 圖5係顯示特徵點取出模組的電路功能方塊圖; 圖6係顯示影像金字塔對的示意圖; 圖7A係顯示本發明之移動物體偵測系統的應用例; 圖7B係顯示本發明之移動物體偵測系統的應用例; 圖7C係顯示本發明之移動物體偵測系統的應用例; 圖7D係顯示本發明之移動物體偵測系統的應用例; 圖8A與圖8B係顯示本發明之一種移動物體偵測方法的流程圖;以及 圖9係顯示步驟S3的詳細步驟流程圖。
1:移動物體偵測系統
11:影像擷取裝置
12:控制與處理裝置
2:攜載物
3:物體

Claims (15)

  1. 一種移動物體偵測系統,係包括:     一影像擷取裝置,係設置於一攜載物之上,用以對包括至少一物體的一監控區域進行影像擷取;以及     一控制與處理裝置,係包括:        一前處理模組,用以接收該影像擷取裝置所傳送的具時間連續性的複數幀影像,進而對該複數幀影像進行一背景去除處理;其中,該複數幀影像包括複數組影像幀對,且每一組影像幀對係包括一幀前一時間點影像與一幀現時時間點影像; 一特徵點取出模組,係耦接至該前處理模組,用以對完成所述背景去除處理的該複數幀影像進行一特徵點取出處理,進而獲得每一幀影像的複數個角特徵點; 一影像光流估算模組,係耦接至該特徵點取出模組,其中,基於完成所述特徵點取出處理的該複數幀影像之中的一組影像幀對,該影像光流估算模組係對應地建構出一組影像金字塔對,並接著對該影像金字塔對所具有的該複數個角特徵點進行一光流運算; 一特徵點群集模組,係耦接至該影像光流估算模組,用以對完成所述光流運算的該複數個角特徵點進行一群集標記處理,以獲得複數組角特徵點群集;以及 一移動判斷模組,係耦接至該特徵點群集模組,用以判斷該複數組角特徵點群集是否移動,藉此方式完成該至少一物體之移動偵測。
  2. 如申請專利範圍第1項所述之移動物體偵測系統,該控制與處理裝置可為下列任一者:處理器、工業電腦、伺服器電腦、桌上型電腦、筆記型電腦、平板電腦、智慧型手機、或智慧型手錶。
  3. 如申請專利範圍第1項所述之移動物體偵測系統,其中,控制與處理裝置係更包括:              一資料儲存模組,用以儲存或暫存該複數幀影像、完成所述背景去除處理的該複數幀影像、完成所述特徵點取出處理的該複數幀影像、完成所述光流運算的該複數個角特徵點、以及該複數組角特徵點群集。
  4. 如申請專利範圍第1項所述之移動物體偵測系統,其中,該攜載物可為下列任一者:空拍機、無人飛行載具、衛星、空間探測機器人、機器人、或掃地機器人。
  5. 如申請專利範圍第1項所述之移動物體偵測系統,其中,該特徵點取出模組係包括: 一特徵差異運算單元,用以對該複數幀影像進行一區塊特徵差異運算; 一結構張量建立單元,係耦接至該特徵差異運算單元,用以根據所述區塊特徵差異運算之結果而建立出對應不同區塊特徵的複數個結構張量矩陣;以及 一角特徵點獲取單元,係耦接至該結構張量建立單元,用以藉由對每一個結構張量矩陣進行一特徵值轉換的方式,獲得該複數個角特徵點。
  6. 如申請專利範圍第1項所述之移動物體偵測系統,其中,該影像光流估算模組係包括:     一影像金字塔建立單元,係藉由對該複數幀影像之中的一組影像幀對進行至少兩次的高斯影像卷積處理的方式,完成該影像金字塔對的建立;其中,該影像金字塔對包括一前一時間點影像之影像金字塔與一現時時間點影像之影像金字塔;以及 一影像特徵追蹤單元,係利用盧卡斯-卡納德光流法(Lucas–Kanade optical flow method)對該前一時間點影像之影像金字塔與該現時時間點影像之影像金字塔進行所述光流運算。
  7. 如申請專利範圍第1項所述之移動物體偵測系統,其中,所述區塊特徵差異運算係利用以下任一種運算法完成:平均絕對差運算法(Mean absolute differences, MAD)、絕對誤差和運算法(Sum of absolute differences, SAD)、誤差平方和運算法(Sum of squared differences, SSD)、或尺度不變特徵轉換運算法(Scale-invariant feature transform, SIFT)。
  8. 如申請專利範圍第1項所述之移動物體偵測系統,其中,所述移動判斷模組係利用以下任一種運算法完成該至少一物體之移動偵測:最小二乘法估算法(Least squares estimation)、阻尼最小二乘法(Damped least square method)、或最小化最小二乘法(minimum least squares estimation)。
  9. 如申請專利範圍第1項所述之移動物體偵測系統,其中,該前處理模組、該特徵點取出模組、該影像光流估算模組、該特徵點群集模組、與該移動判斷模組係透過函式庫、變數或運算元的形式被編輯為至少一應用程式,並建立於該控制與處理裝置之中。
  10. 一種移動物體偵測方法,係包括以下步驟:     (1)提供一影像擷取裝置以對包括至少一物體的一監控區域進行影像擷取;        (2)提供包括一前處理模組、一特徵點取出模組、一影像光流估算模組、一特徵點群集模組、與一移動判斷模組的一控制與處理裝置,並以該前處理模組接收該影像擷取裝置所傳送的具時間連續性的複數幀影像,進而對該複數幀影像進行一背景去除處理;其中,該複數幀影像包括複數組影像幀對,且每一組影像幀對係包括一幀前一時間點影像與一幀現時時間點影像;    (3)以該特徵點取出模組對完成所述背景去除處理的該複數幀影像進行一特徵點取出處理,進而獲得每一幀影像的複數個角特徵點;    (4)該影像光流估算模組基於完成所述特徵點取出處理的該複數幀影像之中的一組影像幀對而對應地建構出一組影像金字塔對;其中,該影像金字塔對包括一前一時間點影像之影像金字塔與一現時時間點影像之影像金字塔;    (5)該影像光流估算模組對該影像金字塔對所具有的該複數個角特徵點進行一光流運算; (6)以該特徵點群集模組對完成所述光流運算的該複數個角特徵點進行一群集標記處理,進而獲得複數組角特徵點群集;以及 (7)該移動判斷模組基於所述光流運算的結果而判斷每一組影像幀對之中的該複數組角特徵點群集是否移動,藉此方式完成該至少一物體之移動偵測。
  11. 如申請專利範圍第10項所述之移動物體偵測方法,其中,該影像擷取裝置係設置於一攜載物之上,且該攜載物可為下列任一者:空拍機、無人飛行載具、衛星、空間探測機器人、機器人、或掃地機器人。
  12. 如申請專利範圍第10項所述之移動物體偵測系統,該控制與處理裝置可為下列任一者:處理器、工業電腦、伺服器電腦、桌上型電腦、筆記型電腦、平板電腦、智慧型手機、或智慧型手錶。
  13. 如申請專利範圍第10項所述之移動物體偵測方法,其中,所述移動判斷模組係利用以下任一種運算法完成該至少一物體之移動偵測:最小二乘法估算法(Least squares estimation)、阻尼最小二乘法(Damped least square method)、或最小化最小二乘法(minimum least squares estimation)。
  14. 如申請專利範圍第10項所述之移動物體偵測方法,其中,該步驟(3)係包括以下細部步驟: (31)以該特徵點取出模組的一特徵差異運算單元對該複數幀影像進行一區塊特徵差異運算; (32)以該特徵點取出模組的一結構張量建立單元根據所述區塊特徵差異運算之結果而建立出對應不同區塊特徵的複數個結構張量矩陣;以及 (33)以該特徵點取出模組的一角特徵點獲取單元對每一個結構張量矩陣進行一特徵值轉換,以獲得每一幀影像的該複數個角特徵點。
  15. 如申請專利範圍第14項所述之移動物體偵測方法,其中,所述區塊特徵差異運算係利用以下任一種運算法完成:平均絕對差運算法(Mean absolute differences, MAD)、絕對誤差和運算法(Sum of absolute differences, SAD)、誤差平方和運算法(Sum of squared differences, SSD)、或尺度不變特徵轉換運算法(Scale-invariant feature transform, SIFT)。
TW107140761A 2018-11-16 2018-11-16 移動物體偵測系統及方法 TWI673653B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW107140761A TWI673653B (zh) 2018-11-16 2018-11-16 移動物體偵測系統及方法
EP18210504.9A EP3654234B1 (en) 2018-11-16 2018-12-05 Moving object detection system and method
US16/215,531 US10803603B2 (en) 2018-11-16 2018-12-10 Moving object detection system and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW107140761A TWI673653B (zh) 2018-11-16 2018-11-16 移動物體偵測系統及方法

Publications (2)

Publication Number Publication Date
TWI673653B TWI673653B (zh) 2019-10-01
TW202020723A true TW202020723A (zh) 2020-06-01

Family

ID=69023594

Family Applications (1)

Application Number Title Priority Date Filing Date
TW107140761A TWI673653B (zh) 2018-11-16 2018-11-16 移動物體偵測系統及方法

Country Status (3)

Country Link
US (1) US10803603B2 (zh)
EP (1) EP3654234B1 (zh)
TW (1) TWI673653B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI727906B (zh) * 2020-10-27 2021-05-11 台灣物聯網股份有限公司 統計區域訪客資訊之方法
TWI783572B (zh) * 2021-07-14 2022-11-11 信驊科技股份有限公司 物件追蹤方法及物件追蹤裝置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112884817B (zh) * 2019-11-29 2022-08-02 中移物联网有限公司 稠密光流计算方法、装置、电子设备以及存储介质
CN111382784B (zh) * 2020-03-04 2021-11-26 厦门星纵智能科技有限公司 一种运动目标跟踪方法
CN112307872A (zh) * 2020-06-12 2021-02-02 北京京东尚科信息技术有限公司 用于检测目标对象的方法的和装置
CN112017215B (zh) * 2020-08-06 2023-08-25 影石创新科技股份有限公司 图像处理方法、装置、计算机可读存储介质及计算机设备
CN112257505B (zh) * 2020-09-17 2023-07-04 昆明物理研究所 一种应用于红外全景系统的虚假目标识别方法及存储介质
CN113657164A (zh) * 2021-07-15 2021-11-16 美智纵横科技有限责任公司 标定目标对象的方法、装置、清扫设备和存储介质

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001069930A1 (en) 2000-03-10 2001-09-20 Sensormatic Electronics Corporation Method and apparatus for object surveillance with a movable camera
JP4456181B1 (ja) * 2008-10-27 2010-04-28 パナソニック株式会社 移動体検出方法及び移動体検出装置
TWI413024B (zh) * 2009-11-19 2013-10-21 Ind Tech Res Inst 物件偵測方法及系統
TWI393074B (zh) * 2009-12-10 2013-04-11 Ind Tech Res Inst 移動物體偵測裝置與方法
US9349193B2 (en) * 2014-03-31 2016-05-24 National Taipei University Of Technology Method and apparatus for moving object detection using principal component analysis based radial basis function network
US9576204B2 (en) * 2015-03-24 2017-02-21 Qognify Ltd. System and method for automatic calculation of scene geometry in crowded video scenes
US10108864B2 (en) * 2015-12-29 2018-10-23 Texas Instruments Incorporated Stationary-vehicle structure from motion
CN105825524B (zh) * 2016-03-10 2018-07-24 浙江生辉照明有限公司 目标跟踪方法和装置
US10378857B2 (en) * 2017-11-29 2019-08-13 Huntercraft Limited Automatic deviation correction method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI727906B (zh) * 2020-10-27 2021-05-11 台灣物聯網股份有限公司 統計區域訪客資訊之方法
TWI783572B (zh) * 2021-07-14 2022-11-11 信驊科技股份有限公司 物件追蹤方法及物件追蹤裝置

Also Published As

Publication number Publication date
TWI673653B (zh) 2019-10-01
US20200160539A1 (en) 2020-05-21
US10803603B2 (en) 2020-10-13
EP3654234B1 (en) 2024-02-21
EP3654234A1 (en) 2020-05-20

Similar Documents

Publication Publication Date Title
TWI673653B (zh) 移動物體偵測系統及方法
US11205274B2 (en) High-performance visual object tracking for embedded vision systems
KR102462799B1 (ko) 자세 추정 방법 및 자세 추정 장치
AU2016352215B2 (en) Method and device for tracking location of human face, and electronic equipment
CN109242913B (zh) 采集器相对参数的标定方法、装置、设备和介质
US10572736B2 (en) Image processing apparatus, image processing system, method for image processing, and computer program
Walha et al. Video stabilization with moving object detecting and tracking for aerial video surveillance
US9940724B2 (en) Method and system for detecting multiple moving objects from real-time aerial images
KR102472767B1 (ko) 신뢰도에 기초하여 깊이 맵을 산출하는 방법 및 장치
US9536321B2 (en) Apparatus and method for foreground object segmentation
Klippenstein et al. Quantitative evaluation of feature extractors for visual slam
JP6616521B2 (ja) 画像処理装置
US10063843B2 (en) Image processing apparatus and image processing method for estimating three-dimensional position of object in image
JP6551226B2 (ja) 情報処理システム、情報処理方法及びプログラム
JP7365055B2 (ja) ビデオオブジェクト検出
JP5936561B2 (ja) 画像における外観及びコンテキストに基づく物体分類
CN107749069B (zh) 图像处理方法、电子设备和图像处理系统
Kurnianggoro et al. Dense optical flow in stabilized scenes for moving object detection from a moving camera
ElTantawy et al. Moving object detection from moving platforms using Lagrange multiplier
KR101214858B1 (ko) 클러스터링 기법을 이용한 이동물체 검출장치 및 방법
KR102295857B1 (ko) 실시간 360 깊이 영상 측정을 위한 카메라 캘리브레이션 방법 및 그 장치
Lezki et al. Joint exploitation of features and optical flow for real-time moving object detection on drones
Martínez et al. HMPMR strategy for real-time tracking in aerial images, using direct methods
Pinto et al. An architecture for visual motion perception of a surveillance-based autonomous robot
CN113869163B (zh) 目标跟踪方法、装置、电子设备及存储介质