TWI749364B - 移動偵測方法及移動偵測系統 - Google Patents

移動偵測方法及移動偵測系統 Download PDF

Info

Publication number
TWI749364B
TWI749364B TW108132236A TW108132236A TWI749364B TW I749364 B TWI749364 B TW I749364B TW 108132236 A TW108132236 A TW 108132236A TW 108132236 A TW108132236 A TW 108132236A TW I749364 B TWI749364 B TW I749364B
Authority
TW
Taiwan
Prior art keywords
image
moving object
object image
sub
processor
Prior art date
Application number
TW108132236A
Other languages
English (en)
Other versions
TW202111662A (zh
Inventor
詹尚倫
楊朝勛
吳俊樟
陳世澤
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW108132236A priority Critical patent/TWI749364B/zh
Priority to US16/744,208 priority patent/US11200681B2/en
Publication of TW202111662A publication Critical patent/TW202111662A/zh
Application granted granted Critical
Publication of TWI749364B publication Critical patent/TWI749364B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • G06T5/30—Erosion or dilatation, e.g. thinning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/215—Motion-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/20—Movements or behaviour, e.g. gesture recognition
    • G06V40/23—Recognition of whole body movements, e.g. for sport training
    • G06V40/25—Recognition of walking or running movements, e.g. gait recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20112—Image segmentation details
    • G06T2207/20132—Image cropping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30236—Traffic on road, railway or crossing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Human Computer Interaction (AREA)
  • Social Psychology (AREA)
  • Psychiatry (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Image Analysis (AREA)

Abstract

移動偵測方法包含擷取原始影像；依據原始影像，利用移動偵測器偵測移動物件影像；依據移動物件影像，由原始影像裁切出對應移動物件影像的子影像；及將子影像輸入至處理器，以判斷子影像中之移動物件是否對應偵測類別。處理器包含類神經網路。子影像係為多邊形影像。

Description

移動偵測方法及移動偵測系統
本案描述一種移動偵測方法及移動偵測系統，尤指一種低運算複雜度及高精確度的移動偵測方法及移動偵測系統。
隨著科技日新月異，現今的影像消費性產品除了提供影像串流(Image Stream)功能外，也配置智慧視頻分析(Intelligent Video Analytics)的功能。智慧視頻分析的功能可以應用於安全控管。當智慧視頻分析的功能應用於安全控管時，人形偵測(People Detection)是一項重要且不可或缺的技術。影像串流可以輸入至處理器中，以判斷某些幀的影像內是否有人存在。
然而，隨著影像的解析度變高且影像串流的高頻寬需求，要達到即時(Real-Time)且準確的人形偵測效能並不容易。通常，人形偵測的處理時間越短或是越準確，需要龐大的計算量或是將浮點數運算的演算法改良(如定點化)。然而，將硬體複雜度的提升或是將演算法改良需要額外的設計成本以及測試成本。因此，設計一種可應用於低運算能力的系統(或是嵌入式系統)下，且具有高準確度的人形偵測方法，是智慧視頻分析領域設計的重要議題。
本案一實施例提出一種移動偵測方法。移動偵測方法包含擷取原始 影像，依據原始影像，利用移動偵測器偵測移動物件影像，依據移動物件影像，由原始影像裁切出對應移動物件影像的子影像，及將子影像輸入至處理器，以判斷子影像中之移動物件是否對應偵測類別。處理器包含類神經網路，且子影像係為多邊形影像。
本案另一實施例提出一種移動偵測系統。移動偵測系統包含影像擷取裝置、移動偵測器、記憶體及處理器。影像擷取裝置用以擷取原始影像。移動偵測器耦接於影像擷取裝置。記憶體用以緩存影像資料。處理器耦接於影像擷取裝置、移動偵測器及記憶體。在影像擷取裝置擷取原始影像後，移動偵測器依據原始影像，偵測移動物件影像。處理器依據移動物件影像，由原始影像裁切出對應移動物件影像的子影像，並緩存於記憶體中。處理器判斷子影像中之移動物件是否對應偵測類別。處理器包含類神經網路，且子影像係為多邊形影像。
100:移動偵測系統
10:影像擷取裝置
11:移動偵測器
12:記憶體
13:處理器
IMG1:原始影像
ObjA及ObjA’:移動物件
ObjB及ObjB’:非移動物件
IMG2:移動偵測影像
A(x,y):頂點座標
W:寬度
H:高度
ObjIMG:移動物件影像
SIMG:子影像
S601至S607:步驟
第1圖係為本案之移動偵測系統之實施例的方塊圖。
第2圖係為第1圖之移動偵測系統中，影像擷取裝置所擷取之原始影像的示意圖。
第3圖係為第1圖之移動偵測系統中，移動偵測器偵測原始影像中的移動物件，以產生移動偵測影像的示意圖。
第4圖係為第1圖之移動偵測系統中，產生移動物件影像的示意圖。
第5圖係為第1圖之移動偵測系統中，由原始影像裁切出對應移動物件影像的子影像的示意圖。
第6圖係為第1圖之移動偵測系統執行移動偵測方法的流程圖。
第1圖係為移動偵測系統100之實施例的方塊圖。移動偵測系統100包含影像擷取裝置10、移動偵測器(Motion Detector)11、記憶體12及處理器13。影像擷取裝置10用以擷取原始影像。影像擷取裝置10可為任何具有感光功能的裝置，如相機、錄影機等等。移動偵測器11耦接於影像擷取裝置10。移動偵測器11可用影像幀差(Frame Difference)程序偵測原始影像中的移動物件影像。影像幀差程序可將兩幀或多幀的影像進行比對，以取得每一個物件影像的座標偏移，進而偵測移動物件的存在性。移動偵測器11也可用背景模型(Background Modeling)建立程序，以偵測原始影像中的移動物件影像。背景模型建立程序可利用數個影像幀，先產生固定物件所組成的背景模型，再利用畫素的色調差距偵測移動物件的存在性以及範圍。然而，本案非侷限移動偵測器11偵測移動物件的方法。記憶體12用以緩存影像資料。記憶體12可為硬碟、隨機存取記憶體或是快閃記憶體等任何資料緩存裝置。處理器13耦接於移動偵測器11及記憶體12。在移動偵測系統100中，當影像擷取裝置10擷取原始影像後，移動偵測器11可依據原始影像偵測移動物件影像。隨後，處理器13可依據移動物件影像，由原始影像裁切出對應移動物件影像的子影像，並將其緩存於記憶體12中。處理器13可判斷子影像中之移動物件是否對應偵測類別。在移動偵測系統100中，處理器13可包含類神經網路。例如，處理器13可包含卷積神經網路(Convolutional Neural Networks，CNN)的人形偵測器，但非限定於此。由原始影像裁切出的子影像可為多邊形影像。因此，移動偵測系統100可以視為一個輸入輸出系統，具有輸入原始影像以分析並輸出移動物件影像是否存在的信息。移動偵測系統100之移動偵測方法的細節將於後文描述。
第2圖係為移動偵測系統100中，影像擷取裝置10所擷取之原始影像IMG1的示意圖。影像擷取裝置10(例如相機)可以擷取街景的原始影像IMG1。原 始影像IMG1可包含移動物件ObjA以及非移動物件ObjB。在第2圖中，原始影像IMG1的移動物件ObjA為自行車(包含騎士)，非移動物件ObjB可為停泊車輛或是樹木等等。
第3圖係為移動偵測系統100中，移動偵測器11偵測原始影像IMG1中的移動物件，以產生移動偵測影像IMG2的示意圖。如前述提及，移動偵測器11可依據原始影像IMG1，利用影像幀差程序或是背景模型建立程序偵測移動物件影像，細節如下。首先，使用者可以透過處理器13設定移動偵測系統100的偵測類別，例如設定移動偵測系統100執行人形偵測。接著，影像擷取裝置10可將原始影像IMG1輸入至移動偵測器11。移動偵測器11的資訊記錄方式可為，將原始影像IMG1分為移動物件影像及背景影像，且移動物件影像屬於前景影像(Foreground Image)。舉例而言，移動物件影像IMG2可包含自行車(包含騎士)之移動物件ObjA’(為了避免混淆，在第3圖中之代號使用ObjA’)，具有第一灰階度，如白色。背景影像可包含第2圖中停泊車輛之非移動物件ObjB(為了避免混淆，在第3圖中之代號使用ObjB’)，具有第二灰階度，如黑色。背景影像對應非移動物件且為單一色調，故背景影像的細節將會被屏蔽。然而，移動偵測器11的資訊記錄方式也非限定於第3圖中使用黑白兩色的畫素資訊記錄方式。移動偵測器11使用任何合理的電磁記錄方式以區隔移動物件ObjA’與非移動物件ObjB’均屬於本案所揭露的範疇。
第4圖係為移動偵測系統100中，產生移動偵測影像ObjIMG的示意圖。如前述提及，移動偵測器11的資訊記錄方式可使用黑白兩色的畫素資訊記錄方式。因此第4圖將承接黑白兩色的移動偵測影像IMG2續行說明。在移動偵測器11偵測如第3圖中之移動物件ObjA’後，可以依據移動物件ObjA’的輪廓，產生多邊形(例如矩形)的移動偵測影像ObjIMG。換句話說，移動偵測影像ObjIMG的邊界可依據移動物件ObjA’的輪廓而決定。移動物件ObjA’的範圍越大(例如近 距離的人或是車)，框選出的移動偵測影像ObjIMG的範圍也越大。相反的，移動物件ObjA’的範圍越小(例如遠處的人或是車)，框選出的移動偵測影像ObjIMG的範圍也越小。並且，移動偵測器11產生移動物件影像ObjIMG後，處理器13可以調整移動物件影像ObjIMG的尺寸比例(Resize)。調整移動物件影像ObjIMG的尺寸比例可平衡移動偵測系統100執行影像處理的計算複雜度。並且，處理器13可將移動物件影像ObjIMG中的複數個畫素進行至少一種影像處理，以產生完整且連續的影像資訊。舉例而言，移動物件影像ObjIMG中的複數個對應移動物件ObjA’的畫素可以進行侵蝕處理(Erosion Process)、膨脹處理(Dilation Process)、連通處理(Connected Component Process)中至少一種的影像處理。並且，為了增加偵測效率，移動偵測系統100還可以引入篩選機制來輔助偵測。舉例而言，處理器13可利用篩選機制，將原始影像IMG1中對應非偵測類別的至少一個移動物件影像過濾，且篩選機制可依據長寬比及/或移動物件影像的預設尺寸範圍而設計。以實際例子而言，使用者透過處理器13設定移動偵測系統100執行人形偵測。人類的身高常態標準為1~2公尺，且臂展範圍也約為1~2公尺。因此，小型的動物(例如小狗，身長小於1公尺)雖然也為移動物件，然而小型的動物之移動物件影像會被過濾。利用篩選機制，移動偵測系統100可以降低後續影像處理的運算複雜度，以提高偵測效率。
如前述提及，移動偵測系統100之記憶體12可用以緩存影像資料。影像資料為數位化的影像資料。舉例而言，移動偵測器11所產生的移動偵測影像ObjIMG的範圍以及位置可用數位資料的形式存入記憶體12中，說明如下。在第4圖中，處理器13可以取得移動物件影像ObjIMG之矩形範圍任一個頂點的二維座標，如左上頂點A的座標A(x,y)。並且，處理器13還可取得移動物件影像ObjIMG之矩形範圍的寬度W及高度H。換句話說，移動物件影像ObjIMG之矩形範圍以及位置可被數位化為頂點A的座標A(x,y)、寬度W及高度H。這些數位資 料將會緩存於記憶體12中。
第5圖係為移動偵測系統100中，由原始影像IMG1裁切出對應移動物件影像ObjIMG的子影像SIMG的示意圖。如前述提及，移動物件影像ObjIMG之矩形範圍可被數位化為頂點A的座標A(x,y)、寬度W及高度H。因此，處理器13由記憶體12取得移動物件影像ObjIMG之矩形範圍之頂點A的座標A(x,y)、寬度W及高度H後，可依此對原始影像IMG1裁切，以產生子影像SIMG。子影像SIMG符合移動物件影像ObjIMG的尺寸比例。舉例而言，若移動物件影像ObjIMG為在某個位置之寬高比為W/H的矩形，則原始影像IMG1裁切出的子影像SIMG也為該位置之寬高比為W/H的矩形。並且，處理器13也可以調整子影像SIMG的大小，以平衡移動偵測系統100執行影像處理的計算複雜度。
於前述提及，使用者可預先設定移動偵測系統100偵測類別。處理器13內的類神經網路可依據偵測類別進行訓練(Training)。並且，類神經網路被訓練後，處理器13即可具有判斷子影像SIMG是否包含對應偵測類別之移動物件的能力。因此，在處理器13獲取子影像SIMG的資訊後，可利用已訓練的類神經網路對子影像SIMG進行分析，以判斷子影像SIMG是否包含對應偵測類別之移動物件。舉例而言，如第5圖所示，使用者設定移動偵測系統100執行人形偵測。子影像SIMG包含移動物件ObjA。移動物件ObjA包含自行車以及騎士。因此，在子影像SIMG利用處理器13之類神經網路進行分析後，處理器13即可輸出「人形影像存在」的偵測結果。換句話說，在使用者設定移動偵測系統100執行人形偵測後，移動偵測系統100可以視為一個具有人形偵測能力的輸入輸出系統。移動偵測系統100的輸入為原始影像。移動偵測系統100的輸出為人形影像是否存在的偵測結果。
第6圖係為移動偵測系統100執行移動偵測方法的流程圖。移動偵測方法的流程包含步驟S601至步驟S607。任何合理的技術內容變更都屬於本案所 揭露的範疇。步驟S601至步驟S607描述於下：步驟S601：擷取原始影像IMG1；步驟S602：依據原始影像IMG1，利用移動偵測器11偵測移動物件影像ObjIMG；步驟S603：調整移動物件影像ObjIMG的尺寸比例，及將移動物件影像ObjIMG中的複數個畫素進行至少一種影像處理，以產生完整且連續的影像資訊；步驟S604：利用篩選機制，將原始影像IMG1中對應非偵測類別的至少一個移動物件影像過濾；步驟S605：由原始影像IMG1裁切出對應移動物件影像ObjIMG的子影像SIMG；步驟S606：將子影像SIMG輸入至處理器13，以判斷子影像SIMG中之移動物件ObjA是否對應偵測類別；步驟S607：處理器13輸出偵測結果。
步驟S601至步驟S607的細節已於前文詳述，故於此將不再贅述。並且，移動偵測系統100執行移動偵測方法的流程非侷限於步驟S601至步驟S607。舉例而言，步驟S603以及步驟S604可以省略。或者，步驟S603以及步驟S604的執行順序也可以互換。移動偵測系統100也可以同時對多個移動物件影像進行偵測。任何合理的技術內容變更都屬於本案所揭露的範疇。移動偵測系統100利用步驟S601至步驟S607的流程，可降低移動偵測系統100的運算複雜度，以達到即時(Real-Time)且準確的人形偵測效能。
移動偵測系統100利用低運算複雜度的方式執行移動偵測方法的原理於下說明。在移動偵測系統100，於基於類神經網路的人形檢測器的前端，串接移動偵測器11。因此，移動偵測系統100不需要對全幅的原始影像進行分析， 以偵測移動物件。移動偵測系統100僅需要針對移動偵測器11所偵測出包含移動物件的子影像進行分析即可。由於包含移動物件的子影像之畫素量相較於全幅的原始影像的畫素量少很多，故對於後續的影像處理機制而言，具有大幅度降低運算複雜度的功效。
綜上所述，本案描述一種移動偵測方法及移動偵測系統。移動偵測方法及移動偵測系統具有低運算複雜度，故可用低運算能力的硬體實現。在移動偵測系統中，由於引入移動偵測器來偵測原始影像中具有移動物件的子影像(熱區，有興趣的區域)，故移動偵測系統僅需要針對移動偵測器所偵測出包含移動物件的子影像進行分析即可。因此，取代傳統的移動偵測系統需要對全幅的原始影像進行分析，本案的移動偵測系統可降低運算複雜度，以達到即時且準確的偵測效能。
以上所述僅為本案之較佳實施例，凡依本案申請專利範圍所做之均等變化與修飾，皆應屬本案之涵蓋範圍。
100:移動偵測系統
10:影像擷取裝置
11:移動偵測器
12:記憶體
13:處理器

Claims (9)

  1. 一種移動偵測方法，包含：擷取一原始影像；依據該原始影像，利用一篩選機制，將該原始影像中對應一非偵測類別的至少一個移動物件影像過濾；利用一移動偵測器偵測一移動物件影像，並屏蔽至少一非移動物件影像的細節；取得該移動偵測器偵測該移動物件影像時所需的一計算複雜度；於該移動物件影像被偵測後，依據該計算複雜度，調整該移動物件影像的一尺寸比例，以更新該移動物件影像；依據該移動物件影像，偵測該移動物件影像的一輪廓；根據該移動物件影像的該輪廓，決定該移動物件影像的一矩形邊緣；根據該移動物件影像的該矩形邊緣，由該原始影像裁切出對應該移動物件影像的一子影像；及將該子影像輸入至一處理器，以判斷該子影像中之一移動物件是否對應一偵測類別；其中該處理器包含一類神經網路，該篩選機制係依據一長寬比及/或該移動物件影像的一預設尺寸範圍而設計，且該子影像係為一多邊形影像。
  2. 如請求項1所述之方法，另包含：將該移動物件影像中的複數個畫素進行至少一種影像處理，以產生完整且連續的影像資訊；其中該子影像符合移動物件影像的該尺寸比例，且該至少一種影像處理包含一侵蝕處理、一膨脹處理、一連通處理中至少之一者。
  3. 如請求項1所述之方法，另包含：將該原始影像輸入至該移動偵測器；及該移動偵測器將該影像分為該移動物件影像及一背景影像；其中該移動物件影像屬於一前景影像(Foreground Image)。
  4. 如請求項3所述之方法，其中該前景影像具有一第一灰階度，該背景影像具有一第二灰階度，且該第一灰階度與該第二灰階度不同。
  5. 如請求項1所述之方法，其中該原始影像裁切出包含該移動物件影像的該子影像係為一矩形。
  6. 如請求項1所述之方法，另包含：取得該移動物件影像之一矩形範圍中，一頂點的一二維座標；取得該移動物件影像之該矩形範圍的一寬度及一高度；及依據該頂點的該二維座標、該矩形範圍的該寬度及該高度，對該原始影像裁切，以產生該子影像。
  7. 如請求項1所述之方法，另包含：設定該處理器的該偵測類別；及訓練該處理器內的該類神經網路；其中該類神經網路被訓練後，該處理器具有判斷該子影像中是否包含對應該偵測類別之移動物件的能力。
  8. 如請求項1所述之方法，其中該移動偵測器偵測該移動物件影像，係 為該移動偵測器利用一影像幀差(Frame Difference)程序或一背景模型(Background Modeling)建立程序，以偵測該移動物件影像。
  9. 一種移動偵測系統，包含：一影像擷取裝置，用以擷取一原始影像；一移動偵測器，耦接於該影像擷取裝置；一記憶體，用以緩存影像資料；及一處理器，耦接於該移動偵測器及該記憶體；其中在該影像擷取裝置擷取該原始影像後，該處理器依據該原始影像，利用一篩選機制，將該原始影像中對應一非偵測類別的至少一個移動物件影像過濾，該移動偵測器依據該原始影像，偵測一移動物件影像，並屏蔽至少一非移動物件影像的細節，該處理器取得該移動偵測器偵測該移動物件影像時所需的一計算複雜度，並於該移動物件影像被偵測後，依據該計算複雜度，調整該移動物件影像的一尺寸比例，以更新該移動物件影像，該處理器依據該移動物件影像，偵測該移動物件影像的一輪廓，根據該移動物件影像的該輪廓，決定該移動物件影像的一矩形邊緣，根據該移動物件影像的該矩形邊緣，由該原始影像裁切出對應該移動物件影像的一子影像，並緩存於該記憶體中，該處理器判斷該子影像中之一移動物件是否對應一偵測類別，該處理器包含一類神經網路，該篩選機制係依據一長寬比及/或該移動物件影像的一預設尺寸範圍而設計，且該子影像係為一多邊形影像。
TW108132236A 2019-09-06 2019-09-06 移動偵測方法及移動偵測系統 TWI749364B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108132236A TWI749364B (zh) 2019-09-06 2019-09-06 移動偵測方法及移動偵測系統
US16/744,208 US11200681B2 (en) 2019-09-06 2020-01-16 Motion detection method and motion detection system with low computational complexity and high detection accuracy

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108132236A TWI749364B (zh) 2019-09-06 2019-09-06 移動偵測方法及移動偵測系統

Publications (2)

Publication Number Publication Date
TW202111662A TW202111662A (zh) 2021-03-16
TWI749364B true TWI749364B (zh) 2021-12-11

Family

ID=74849476

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108132236A TWI749364B (zh) 2019-09-06 2019-09-06 移動偵測方法及移動偵測系統

Country Status (2)

Country Link
US (1) US11200681B2 (zh)
TW (1) TWI749364B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6891913B2 (ja) * 2019-03-25 2021-06-18 カシオ計算機株式会社 電子表示装置及び表示制御方法
TWI749365B (zh) * 2019-09-06 2021-12-11 瑞昱半導體股份有限公司 移動影像整合方法及移動影像整合系統
TWI813297B (zh) * 2022-05-20 2023-08-21 瑞昱半導體股份有限公司 移動物體偵測方法與電路系統
CN116704268B (zh) * 2023-08-04 2023-11-10 合肥综合性国家科学中心人工智能研究院(安徽省人工智能实验室) 面向动态变化复杂场景的强鲁棒目标检测方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20050162515A1 (en) 2000-10-24 2005-07-28 Objectvideo, Inc. Video surveillance system
US7127083B2 (en) * 2003-11-17 2006-10-24 Vidient Systems, Inc. Video surveillance system with object detection and probability scoring based on object class
US7705884B2 (en) * 2004-07-21 2010-04-27 Zoran Corporation Processing of video data to compensate for unintended camera motion between acquired image frames
US8103134B2 (en) * 2008-02-20 2012-01-24 Samsung Electronics Co., Ltd. Method and a handheld device for capturing motion
US20100208063A1 (en) * 2009-02-19 2010-08-19 Panasonic Corporation System and methods for improving accuracy and robustness of abnormal behavior detection
US8891009B2 (en) * 2011-08-29 2014-11-18 Futurewei Technologies, Inc. System and method for retargeting video sequences
US9710716B2 (en) * 2014-12-16 2017-07-18 Sighthound, Inc. Computer vision pipeline and methods for detection of specified moving objects
US20190034734A1 (en) * 2017-07-28 2019-01-31 Qualcomm Incorporated Object classification using machine learning and object tracking
US10657783B2 (en) * 2018-06-29 2020-05-19 Hangzhou Eyecloud Technologies Co., Ltd. Video surveillance method based on object detection and system thereof
US10867390B2 (en) * 2018-09-10 2020-12-15 Arm Limited Computer vision processing
US11269522B2 (en) * 2019-07-16 2022-03-08 Microsoft Technology Licensing, Llc Private data analytics
US11113822B2 (en) * 2019-08-14 2021-09-07 International Business Machines Corporation Moving object identification from a video stream

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
A hybrid framework combining background subtraction and deep neural networks for rapid person detection *

Also Published As

Publication number Publication date
TW202111662A (zh) 2021-03-16
US11200681B2 (en) 2021-12-14
US20210074001A1 (en) 2021-03-11

Similar Documents

Publication Publication Date Title
TWI749364B (zh) 移動偵測方法及移動偵測系統
US11457138B2 (en) Method and device for image processing, method for training object detection model
CN110334635B (zh) 主体追踪方法、装置、电子设备和计算机可读存储介质
CN107844779B (zh) 一种视频关键帧提取方法
WO2021208275A1 (zh) 一种交通视频背景建模方法及系统
WO2021022983A1 (zh) 图像处理方法和装置、电子设备、计算机可读存储介质
US7756296B2 (en) Method for tracking objects in videos using forward and backward tracking
CN106128121B (zh) 基于局部特征分析的车辆排队长度快速检测算法
CN113011329B (zh) 一种基于多尺度特征金字塔网络及密集人群计数方法
CN108154526A (zh) 突发模式图像的图像对准
TWI506593B (zh) 顏色取樣方法及觸控控制裝置
CN110276831B (zh) 三维模型的建构方法和装置、设备、计算机可读存储介质
KR20070016849A (ko) 얼굴 검출과 피부 영역 검출을 적용하여 피부의 선호색변환을 수행하는 방법 및 장치
CN109461186A (zh) 图像处理方法、装置、计算机可读存储介质和电子设备
CN111160291A (zh) 基于深度信息与cnn的人眼检测方法
WO2022206680A1 (zh) 图像处理方法、装置、计算机设备和存储介质
WO2022194079A1 (zh) 天空区域分割方法、装置、计算机设备和存储介质
CN111353496A (zh) 一种红外弱小目标实时检测方法
Allaert et al. Optical flow techniques for facial expression analysis: Performance evaluation and improvements
CN109509213A (zh) 一种应用于异步时域视觉传感器的Harris角点检测方法
Patro Design and implementation of novel image segmentation and BLOB detection algorithm for real-time video surveillance using DaVinci processor
CN111127355A (zh) 一种对缺损光流图进行精细补全的方法及其应用
Chen et al. An adaptive noise removal tool for iot image processing under influence of weather conditions
TWI749365B (zh) 移動影像整合方法及移動影像整合系統
CN110858392A (zh) 一种基于融合背景模型的监控目标定位方法