TWI804083B

TWI804083B - 物體偵測系統

Info

Publication number: TWI804083B
Application number: TW110145202A
Authority: TW
Inventors: 陳奕瑋; 郭達人; 陳品融
Original assignee: 奇景光電股份有限公司
Priority date: 2021-09-17
Filing date: 2021-12-03
Publication date: 2023-06-01
Also published as: CN115830304A; US11900643B2; TW202314587A; US20230091892A1

Abstract

一種物體偵測系統，用以偵測一物體，包含：一局部影像擷取裝置，用以從一輸入影像擷取至少二偵測部份，其中該些偵測部份具有一第一長寬比，該輸入影像具有一第二長寬比；以及一物體偵測器，用以接收具有該第一長寬比的該些偵測部份，並用以確認該些偵測部份中的每一個是否偵測到任何物體，並用以取得被偵測到的該物體的多個對應的邊界框；其中該第一長寬比與該第二長寬比不同。

Description

物體偵測系統

本發明有關於物體偵測系統，特別有關於可較精確偵測目標物體如人體、動物或是交通工具的物體偵測系統。

近年來，人體偵測技術變得越來越流行。例如，安防相機可以使用人體偵測來偵測是否有人靠近，從而相對應的產生通知訊息。再例如，相機可以使用人體偵測來幫助對焦，以增加圖片的清晰度。

然而，當人體影像在相機擷取的整個影像中相對較小時，很難偵測到人的存在。習知技術可以放大可能為人體影像的影像以確認它是否真的是人體影像。然而，這種技術可能需要一個相當大的緩衝器來進行影像計算。

此外，在習知的人體偵測方法中，輸入影像和用於人體偵測的影像可能具有不同的尺寸和不同的長寬比。因此，習知的人體偵測方法可以縮放整個輸入影像以滿足用於人體偵測的影像的尺寸和長寬比之需求。然而，由於輸入影像和用於人體偵測的影像的長寬比之間的差異，縮放後的輸入影像可能會有一些空白區域。

例如，如圖1所示，輸入影像100為640×480影像，縮放後輸入影像103(即用以進行人體偵測的影像)的長度為224。因此，縮放後輸入影像103的寬度為

。如此，縮放後輸入影像103具有總寬度為224-168=56個像素的空白區域BR。在這種情況下，縮放後輸入影像103中的人體影像101的尺寸變小，因而更難被偵測到。因此，人體偵測的準確度會降低。

本發明一目的為提供一種物體偵測系統，其可以不增加緩衝器的可使用空間而增加人體偵測的準確度。

本發明一實施例揭露了一種物體偵測系統，用以偵測一物體，包含：一局部影像擷取裝置，用以從一輸入影像擷取至少二偵測部份，其中該些偵測部份具有一第一長寬比，該輸入影像具有一第二長寬比；以及一物體偵測器，用以接收具有該第一長寬比的該些偵測部份，並用以確認該些偵測部份中的每一個是否偵測到任何物體，並用以取得被偵測到的該物體的多個對應的邊界框；其中該第一長寬比與該第二長寬比不同。

根據前述實施例，可在不增加緩衝器的可用空間的情況下，可讓人體偵測更加精確。

100:輸入影像

101:人體影像

103:縮放後輸入影像

200:輸入影像

201:目標物體影像

301-315 701-705 901-907:步驟

800:輸入影像

801:目標物體影像

1000:物體偵測系統

1001:圖框緩衝器

1003:局部影像擷取裝置

1005:尺寸調整器

1007:緩衝器

1009:物體偵測器

1011:篩選器

BR:空白區域

DP1:第一偵測部份

DP2:第二偵測部份

FR1、FR2:篩選區

NT:物體

OR:物體範圍

RDP1:第一調整後偵測部份

RDP2:第二調整後偵測部份

ROI、ROI’:重點區域

OR1:第一物體範圍

OR2:第二物體範圍

ORa、Orb:物體範圍

R1、R2、R3:區域

X1,X2,X3,X4:水平座標

T:目標物體

圖1繪示了習知人體偵測方法的示意圖。

圖2繪示了根據本發明一實施例的物體偵測方法的示意圖。

圖3繪示了對應圖2所示的物體偵測方法的流程圖。

圖4繪示了以物體範圍來協助定義ROI之例子的示意圖。

圖5和圖6繪示了根據本發明另一實施例的物體偵測方法的示意圖。

圖7繪示了對應圖5和圖6所示的物體偵測方法的流程圖。

圖8繪示了根據本發明另一實施例的物體偵測方法的示意圖。

圖9繪示了對應圖8所示的物體偵測方法的流程圖。

圖10繪示了根據本發明一實施例的物體偵測系統的方塊圖。

以下將以多個實施例來描述本發明的內容，還請留意，各實施例中的元件可透過硬體(例如裝置或電路)或是韌體(例如微處理器中寫入至少一程式)來實施。此外，以下描述中的”第一”、”第二”以及類似描述僅用來定義不同的元件、參數、資料、訊號或步驟。並非用以限定其次序。舉例來說，第一裝置和第二裝置可為具有相同結構但為不同的裝置。

此外，在以下實施例中，待偵測的目標物體為人(或稱人體)，但目標物體可以是任何其他物體，例如特定的動物或交通工具。此外，以下實施例可以使用在例如相機的影像擷取裝置，但也可以是任何其他裝置。

圖2繪示了根據本發明一實施例的物體偵測方法的示意圖。這種方法也可以稱為2次裁切(2 crop)方法。如圖2所示，接收具有第一長寬比的輸入影像200，其包含對應一目標物體的目標物體影像201。輸入影像200可以是相機拍攝的影像，也可以來自任何其他來源。之後，輸入影像200的第一偵測部份DP1被調整尺寸以產生一第一調整後偵測部份RDP1。第一偵測部份DP1包含目標物體影像201的至少第一部份。之後，第一調整後偵測部份RDP1會被暫存到緩衝器。此外，目標物體影像201的第一部份的第一座標是根據緩衝器中的第一調整後偵測部份RDP1和目標物體偵測來計算的。許多方法可用以計算目標物體影像201的第一部份的第一座標。例如，可將包含特定邊緣或特定特徵的影像視為目標物體影像201，從而可以記錄其座標。

此外，在計算並記錄第一座標之後，會從緩衝器中移除第一調整後偵測部份DP1。輸入影像200的第二偵測部份DP2被調整尺寸以產生第二調整後偵測部份RDP2。第二偵測部份DP2至少包含目標物體影像201的第二部份。請注意，第二調整後偵測部份RDP2的產生不限於在計算第一座標之後執行。第一部份的至少一部份與第二部份相同，如圖2所示。

在第一調整後偵測部份RDP1從緩衝器中移除之後，第二調整後偵測部份RDP2會被暫存到緩衝器中。然後，根據緩衝器中的第二調整後偵測部份RDP2計算目標物體影像201的第二部份的第二座標。在得到第一座標和第二座標後，會根據第一座標和第二座標計算目標物體影像201的物體範圍。第一/第二偵測部份DP1/DP2和第一/第二調整後偵測部份RDP1/RDP2具有第二長寬比，與目標物體偵測所須的影像相匹配。藉由這樣的方法，可以防止過度縮小目標物體。在另一類輸入影像的實施例中，偵測部份DP1和DP2不限於均包含目標物體影像201的至少一部份。

在一實施例中，第一偵測部份DP1和第二偵測部份DP2是第一正方形。此外，第一調整後偵測部份RDP1和第二調整後偵測部份RDP2是小於第一正方形的第二正方形。此外，在一實施例中，第一調整後偵測部份RDP1和第二調整後偵測部份RDP2的寬度和長度分別小於第一偵測部份DP1和第二偵測部份DP2的寬度和長度一半。

例如，在一實施例中，輸入影像200是640×480影像。此外，第一偵測部份DP1和第二偵測部份DP2是480×480影像。此外，第一調整後偵測部份份RDP1和第二調整後偵測部份RDP2是224×224影像。然而，第一偵測部份DP1、第二偵測部份DP2、第一調整後偵測部份RDP1和第二調整後偵測部份RDP2的尺寸不限於這些例子。

在上述例子中，輸入影像200的長寬比(640/480)與偵測部份DP1和DP2中的長寬比(480/480)不同。此外，偵測部份DP1和DP2的長寬比(480/480)與調整後偵測部份RDP1和RDP2(224/224)的長寬比相同。

此外，上述基於第一座標和第二座標計算的物體範圍可以是圖2所示的邊界框，但不限於此。物體範圍可以是任何形狀。這類邊界框包含目標物體影像201的一部份，但也可以包含輸入影像200的其他部份。可用以記錄物體範圍的座標。或者，在一實施例中，可顯示由物體範圍標記的影像。

還請留意，在圖2的實施例中，偵測部份DP1和DP2被調整尺寸以產生調整後偵測部份RDP1和RDP2，用以匹配物體偵測的輸入要求。然而，在一實施例中，如果偵測部份DP1和DP2的尺寸與物體偵測的輸入要求已相匹配，則偵測部份DP1和DP2則不會被調整尺寸且直接用於物體偵測。

前述物體偵測可以簡示如圖3，其繪示了與圖2所示的物體偵測方法對應的流程圖。圖3包含以下步驟：

步驟301

調整輸入影像200的第一偵測部份DP1的尺寸以產生第一調整後偵測部份RDP1。第一偵測部份DP1包含了目標物體的目標物體影像201的至少第一部份。

目標物體可以是人、動物、車輛或任何其他希望被偵測的物體。

步驟303

將第一調整後偵測部份RDP1暫存到緩衝器。

步驟305

根據緩衝器中的第一調整後偵測部份RDP1計算目標物體影像201的第一部份的第一座標。

步驟307

從緩衝器中移除第一調整後偵測部份RDP1。

步驟309

調整輸入影像200的第二偵測部份DP2的尺寸以產生第二調整後偵測部份RDP2。第二偵測部份RDP2包含目標物體影像201的至少第二部份。

步驟311

在第一調整後偵測部份RDP1從緩衝器中移除之後，將第二調整後偵測部份RDP2暫存到緩衝器。

步驟313

根據緩衝器中的第二調整後偵測部份RDP2和物體偵測算法計算目標物體影像201的第二部份的第二座標。

步驟315

根據第一座標和第二座標計算目標物體影像201的物體範圍。

還請留意，圖2實施例對應的物體偵測方法的順序不限於圖3所示的順序。

與習知技術相比，由於是根據較小的影像處理輸入影像200，因此可以減少緩衝器的所須容量。此外，調整後偵測部份像RDP1和RDP2沒有如圖1所示的空白區域，因此目標物體影像201的尺寸沒有變小。此外，圖2所示的物體偵測方法可以放大目標物體影像201，從而更容易偵測到目標物體。

在一實施例中，會在輸入影像中提供ROI(重點區域，region of interest)以計算ROI中目標物體的移動(motion)。但是，如果某些物體被錯誤地認定為目標物體，則ROI可能會過大。在這種情況下，功耗較高且移動計算可能不准確。可應用圖2所示的物體偵測方法來改善這樣的問題。

如圖4的上圖所示，ROI包含目標物體T和不是目標物體的另一物體NT。在這種情況下，可以應用圖2所示的物體偵測方法來定義目標物體T的物體範圍。因此，圖2所示的物體偵測方法將不會得到物體NT的物體範圍，可將其從ROI中移除。如此，ROI會被調整為較小的ROI’，其中僅包含目標物體T。在某些情況下，如有需要，可以將ROI調整為較大的ROI。還請留意，在圖4所示的實施例中，是首先提供一個ROI，然後透過圖2所示的物體偵測方法將其調整為ROI’。然而，在另一實施例中，可以在不提供任何ROI的情況下執行圖2所示的物體偵測方法，然後可以根據圖2所示的物體偵測方法計算出的物體範圍來設置ROI。

透過圖4所示的實施例，可以將ROI調整或設置為更合適的尺寸。在一實施例中，因為小的ROI會包含較少的不需要的物體，圖2所示的物體偵測方法在ROI在大於ROI臨界面積時執行，而在ROI小於ROI臨界面積時不執行。ROI的設定和移動偵測可以透過各種方法執行。例如，申請號為17/079,255的美國專利申請公開了這樣的方法。

根據圖2所示的實施例，可以得到多個物體範圍。然而，一些物體範圍可能會與其他物體範圍重疊，因而降低物體偵測的準確性。因此，在以下實施例中，提供了一些去除不需要的物體範圍的方法。在以下實施例中，物體範圍為上述邊界框，但不限於此。

圖5繪示了對應於目標物體影像201的第一物體範圍OR1和第二物體範圍OR2。第一物體範圍OR1和第二物體範圍OR2分別對應目標物體影像201的至少一部份。請注意，第一物體範圍OR1和第二物體範圍OR2可以透過圖1所示的物體偵測方法獲得，但也可以透過其他方法獲得。

此外，會計算第一物體範圍OR1和第二物體範圍OR2的交集區。此外，還會計算第一物體範圍OR1和第二物體範圍OR2的聯集區。交集區和聯集區的定義如圖6所示。在圖6中，物體範圍ORa包含區域R1和R2，物體範圍ORb包含區域R1和R3。物體範圍ORa和Orb的交集區為R1，物體範圍ORa和Orb的聯集區為R1+R2+R3。換言之，交集區是指重疊區域，聯集區是指物體範圍ORa和Orb所覆蓋的所有範圍。

在得到交集區和聯集區後，會根據交集區的面積與聯集區的面積的關係，移除第一物體範圍OR1或第二物體範圍OR2。在一實施例中，如果

大於第一臨界值，則去除第一物體範圍OR1和第二物體範圍OR2中較小的一個。AI是交集區的面積，AU是聯集區的面積。

圖5和圖6所示的步驟可不斷重覆，直到處理完所有物體範圍。還請注意，雖然圖5和圖6所示的實施例以兩個物體範圍為例，但圖5和圖6中所揭露的概念可以使用於兩個以上的物體。因此，圖5和圖6所示的物體偵測方法可以簡示為圖7所示的步驟：

步驟701

計算與目標物體的目標物體影像對應的多個物體範圍。每一物體範圍分別對應目標物體影像的至少一部份。

物體範圍可以透過圖2所示的物體偵測方法取得，也可以透過任何其他方法取得。

步驟703

計算物體範圍中的至少兩個的交集區並計算物體範圍中的至少兩個的聯集區。

步驟705

根據交集區的面積與聯集區的面積的關係，移除對應物體範圍中的至少一個。

在一實施例中，如果

大於第一臨界值，步驟705移除對應的至少一個物體範圍。AI為步驟703中取得的交集區的面積，AU為步驟703中取得的聯集區的面積。

以下圖8提供了另一種去除不需要的物體範圍的方法。還請留意，圖8中的物體範圍可以透過圖2所示的物體偵測方法取得，也可以透過任何其他方法取得。此外，圖8的實施例可以在影像經過圖5和圖6所示的方法處理後使用。然而，圖8的實施例也可以不使用圖5和圖6所示的方法。

如圖8所示，在輸入影像800中定義了至少一個篩選區FR1、FR2(在本例中為兩個篩選區)。此外，會計算出與目標物體影像801對應的多個物體範圍。之後，將具有在篩選區FR1、FR2中的邊緣的物體範圍定義為候選物體範圍，並將不具有在篩選區FR1、FR2中的邊緣的物體範圍定義為維持物體範圍。因此，在圖8的實施例中，物體範圍OR1是維持物體範圍，物體範圍OR2是候選物體範圍。之後，會根據候選物體範圍與維持物體範圍的交集區的面積與候選物體範圍的面積的關係，或根據交集區的面積與維持物體範圍的面積的關係，來從物體範圍中移除候選物體範圍。

在一實施例中，如果

大於第二臨界值，則從物體範圍中移除候選物體範圍。第二臨界值可以與上述第一臨界值相同或不同。AI為候選物體範圍與維持物體範圍的交集區的面積，MA為候選物體範圍與維持物體範圍的面積中最小的一個。

篩選區可以根據不同的需求進行設置。在一實施例中，篩選區包含第一篩選區(例如篩選區FR1)和第二篩選區(例如篩選區FR2)。如圖8所示，第一篩選區涵蓋輸入影像800的所有垂直座標和X1至X2水平座標。此外，第二篩選區涵蓋輸入影像800的所有垂直座標和X3至X4水平座標。

在圖8的實施例中，X4>X3>X2>X1。此外，Xm是輸入影像的中間水平座標，X2小於Xm且具有第一值的差異，X3大於Xm且具有第二值的差異。第一值和第二值相同。換句話說，X2和Xm之間的差異和X3和Xm之間的差異是相同的。

圖8所示的實施例可以簡示為圖9所示的步驟：

步驟901

在輸入影像中定義至少一個篩選區。輸入影像可以是尚未處理的影像，也可以是已經按照圖2的方法且/或圖5所示的方法處理過的影像。

步驟903

計算與目標物體的目標物體影像對應的多個物體範圍。物體範圍可以透過圖2所示的物體偵測方法產生，但也可以透過任何其他方法產生。

步驟905

將具有在篩選區中的邊緣的物體範圍定義為候選物體範圍，將不具有在篩選區中的邊緣的物體範圍定義為維持物體範圍。

例如，在圖8的實施例中，物體範圍OR1是維持物體範圍，物體範圍OR2是候選物體範圍。

步驟907

根據候選物體範圍與維持物體範圍的交集區的面積與候選物體範圍的面積之間的關係，或者交集區面積和維持物體範圍面積之間的關係，來從物體範圍中去除候選物體範圍。

其他詳細步驟已在圖8的實施例中進行了說明，為簡潔起見，在此不再贅述。

圖10繪示了根據本發明一實施例的物體偵測系統的方塊圖。請注意，圖10所示的元件僅為舉例說明，並不意味著限制本發明的範圍。可用於執行上述實施例的物體偵測系統1000包含圖框緩衝器1001、局部影像擷取裝置1003、尺寸調整器1005、緩衝器1007、物體偵測器1009和篩選器1011。

圖框緩衝器1001用以暫存輸入影像，例如圖2所示的輸入影像200。此外，局部影像擷取裝置1003用以從具有第二長寬比的輸入影像中擷取至少兩個具有第一長寬比的偵測部份。舉例來說，局部影像擷取裝置1003用以從具長寬比(640/480)的輸入影像200擷取圖2所示的具有不同長寬比(480/480)的第一偵測部份DP1/第二偵測部份DP2。因此，根據圖2所示的實施例，偵測部份的聯集區的尺寸可以等於輸入影像。

物體偵測器1009用以確認在每個偵測部份中是否偵測到任何目標物體，例如人，並取得偵測物體的對應邊界框。在一實施例中，物體偵測器執行CNN(Convolutional Neural Network，卷積神經網絡)模型來確認並取得相應的邊界框。CNN模型是已知CNN訓練方法的結果，此方法透過大量影像訓練 CNN模型，可用於偵測至少一種特定物體，例如交通工具、人、狗等。

在圖10的實施例中，物體偵測系統1000包含尺寸調整器1005，其調整偵測部份的尺寸以產生調整後偵測部份(例如，圖2中的第一調整後偵測部份RDP1和第二調整後偵測部份RDP2)。在這種情況下，物體偵測器1009會根據調整後偵測部份確認在每個偵測部份中是否偵測到任何物體。然而，在另一實施例中，由於偵測部份的長寬比和尺寸均與物體偵測器1009的輸入匹配，因此可從物體偵測系統1000移除尺寸調整器1005。在這種情況下，會根據偵測部份確認在每個物體中是否偵測到任何物體。篩選器1011用以去除或合併邊界框，舉例來說，可透過圖5或圖8所述的方法。

除了圖10所示的元件之外，在一實施例中，物體偵測系統1000還包含用以執行圖4所示的方法的移動計算裝置(未示出)。另外，可以根據圖10的描述得到相對應的物體偵測方法，但在此不再重覆贅述。

以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。