TWI736063B - 物件偵測方法以及電子裝置 - Google Patents

物件偵測方法以及電子裝置 Download PDF

Info

Publication number
TWI736063B
TWI736063B TW108145639A TW108145639A TWI736063B TW I736063 B TWI736063 B TW I736063B TW 108145639 A TW108145639 A TW 108145639A TW 108145639 A TW108145639 A TW 108145639A TW I736063 B TWI736063 B TW I736063B
Authority
TW
Taiwan
Prior art keywords
frame
image
target object
specific frame
candidate
Prior art date
Application number
TW108145639A
Other languages
English (en)
Other versions
TW202123077A (zh
Inventor
楊朝勛
詹尚倫
陳世澤
陳建豪
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW108145639A priority Critical patent/TWI736063B/zh
Priority to US16/865,409 priority patent/US11495006B2/en
Publication of TW202123077A publication Critical patent/TW202123077A/zh
Application granted granted Critical
Publication of TWI736063B publication Critical patent/TWI736063B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/255—Detecting or recognising potential candidate objects based on visual cues, e.g. shapes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

本發明提供一種物件偵測方法以及電子裝置，其中該物件偵測方法包含：利用一影像處理電路判斷在一影像中是否有動作發生以產生一判斷結果；依據該判斷結果，選擇性地利用一特定邊框來辨識一目標物件以產生一辨識結果，其中該特定邊框代表該目標物件於一先前影像中的位置；以及依據該辨識結果，選擇性地更新該特定邊框的資訊。

Description

物件偵測方法以及電子裝置
本發明係關於物件偵測，尤指一種物件偵測方法以及電子裝置。
近年來物件偵測(object detection)已經成為一個普遍被討論的議題，而其目的在於偵測一特定物件在一輸入影像中的位置。目前有許多物件偵測的方法都需要對整張輸入影像進行掃描(例如採用滑動窗口(sliding window)搭配圖像金字塔(image pyramid)等方法來進行掃描)，相當耗費運算成本。然而，當欲偵測的物件具有移動的特性(例如人或車)，則可僅針對該輸入影像中有動作(motion)的位置進行物件辨識以大幅減少整體運算時間及成本。
然而當欲偵測的物件停止移動時，會因為動作消失，導致畫面中即使出現欲偵測之物件，卻沒有被偵測到。另外，在偵測物件停止移動的過程中，可能會發生動作區域逐漸縮小的情況，造成截取到的資訊不夠完整而容易導致誤判。因此，需要一種新穎的方法以及電子裝置，以在沒有副作用或較不會帶來副作用的情況下提升物件偵測的效能。
本發明之一目的在於提供一種物件偵測(object detection)方法(尤指一種可應用於(applicable to)在一靜態場景中的物件偵測方法)以及電子裝置，以基於動作(motion)資訊的偵測提升物件偵測的效能。
本發明至少一實施例提供一種物件偵測方法。該物件偵測方法包 含：利用一影像處理電路判斷在一影像中是否有動作發生以產生一判斷結果；依據該判斷結果，選擇性地利用一特定邊框(bounding box)來辨識一目標物件以產生一辨識結果，其中該特定邊框代表該目標物件於一先前影像中的位置；以及依據該辨識結果，選擇性地更新該特定邊框的資訊。
本發明至少一實施例提供一種電子裝置。該電子裝置包含一攝影機模組、一儲存裝置、以及耦接至該攝影機模組以及該儲存裝置的一影像處理電路。該攝影機模組可用來擷取一影像，而該儲存裝置可用來儲存一特定邊框的資訊以及背景模型，其中該特定邊框代表一目標物件於一先前影像中的位置。另外，該影像處理電路可用來執行一程式碼以對該影像進行物件偵測，例如：該影像處理電路判斷在該影像中是否有動作發生以產生一判斷結果；依據該判斷結果，該影像處理電路選擇性地利用該特定邊框來辨識該目標物件以產生一辨識結果；以及依據該辨識結果，該影像處理電路選擇性地更新該特定邊框的資訊。
本發明提供的物件偵測方法以及電子裝置，分別針對有動作以及沒有動作的情況提供對應的邊框調整機制，以確保在各種情況(例如物件移動中、物件逐漸靜止、物件完全靜止等情況)均能準確地判斷一目標物件是否出現於一影像中。相較於相關技術，本發明的實施例不會大幅地增加額外成本，因此本發明能在沒有副作用或較不會帶來副作用的情況下提升物件偵測的效能。
10:電子裝置
120:攝影機模組
140:儲存裝置
160:影像處理電路
160C:程式碼
IMG、300、400、600:影像
210、220、231、232、233、234、235、241、242、243、250:步驟
BB0、BB1、BB2、BB3、BBx2、BBx4、BBx8:邊框
第1圖為依據本發明一實施例之一電子裝置的示意圖。
第2圖為依據本發明一實施例之一種物件偵測方法的工作流程。
第3圖為依據本發明一實施例之一影像中的候選邊框的示意圖。
第4圖為依據本發明一實施例之一影像中的候選邊框的示意圖。
第5圖為依據本發明一實施例之一影像中的候選邊框的示意圖。
第6圖為依據本發明一實施例之一影像中的候選邊框的示意圖。
第1圖為依據本發明一實施例之一電子裝置10的示意圖，其中電子裝置10可包含一攝影機模組120、一儲存裝置140、以及耦接至攝影機模組120以及儲存裝置140的一影像處理電路160。在本實施例中，攝影機模組120可用來擷取一影像IMG，而儲存裝置140可用來儲存一特定邊框的資訊以及背景模型，其中該特定邊框代表一目標物件(例如人或車)於一先前影像中的位置。另外，影像處理電路160可用來執行一程式碼160C以對影像IMG進行物件偵測(例如偵測該目標物件是否出現於影像IMG中)。具體來說，影像處理電路160可判斷在影像IMG中是否有動作發生以產生一判斷結果，例如影像處理電路160可透過前後訊框的影像差異(frame difference)或者建立背景模型的方式判斷出影像IMG中有物件移動的區域。依據該判斷結果，影像處理電路160可選擇性地利用該特定邊框來辨識該目標物件以產生一辨識結果，例如，影像處理電路160可透過建立在程式碼160C中的一類神經網路模型對該區域進行該目標物件的辨識，並且輸出對應的信心值，其中該信心值以及該區域內的物件為該目標物件的機率具有正相關(例如，該信心值越大，表示該區域內的物件為該目標物件的機率越高)，而當該信心值大於一信心臨界值，影像處理電路160即判斷該目標物件出現於影像IMG(尤指該區域)中。依據該辨識結果，影像處理電路160可選擇性地更新該特定邊框的資訊(例如該特定邊框的尺寸及/或位置)，以確保能利用該特定邊框的最新資訊針對下一個影像進行該目標物件的辨識。
第2圖為依據本發明一實施例之一種物件偵測方法的工作流程，其中 該物件偵測方法可應用於(applicable to)第1圖所示之電子裝置10。若整體工作流程能得到相同或類似的結果，第4圖所示之工作流程中的一或多個步驟的執行順序可予以變化，或者，該工作流程中的一或多個步驟可被新增、刪除、或修改。
在步驟210中，影像處理電路160可透過攝影機模組120取得影像IMG。
在步驟220中，影像處理電路160可判斷在影像300中是否有動作發生以產生一判斷結果。若是，流程進入步驟231；否則，流程進入步驟241。
在步驟231中，影像處理電路160可依據該動作於影像IMG中的位置擷取至少一候選邊框。例如，當該目標物件的整體都在移動中，影像處理電路160可依據影像中發生動作的區域擷取相對應的候選邊框(例如第3圖所示之影像300中的邊框BB0)。又例如，該目標物件(例如人或車)在停止移動的過程中，該目標物件可能只有部分(partial)區域有動作發生，因此影像處理電路160可據以產生相對應的一或多個候選邊框(例如第4圖所示之影像400中的邊框BB1、BB2及BB3)。為便於理解，以下說明均以第3圖所示之邊框BB0作為該特定邊框的例子，尤其，作為信心值足夠高(例如高於該信心臨界值)的該特定邊框的例子。
在步驟232中，影像處理電路160可利用所述至少一候選邊框來辨識該目標物件，例如判斷所述至少一候選邊框(例如邊框BB1、BB2及BB3)中的物件是否為該目標物件。若是，流程進入步驟233；否則，流程進入步驟234。
在步驟233中，影像處理電路160可判斷是否所述至少一候選邊框的尺寸(例如邊框BB1、BB2及BB3的尺寸總和)大於該特定邊框(例如邊框BB0)的尺寸或所述至少一候選邊框(例如邊框BB1、BB2及BB3)相對於該特定邊框(例如邊框BB0)的重疊率(Intersection over Union,IoU)低於一重疊率臨界值。 若是，流程進入步驟235；否則(例如，所述至少一候選邊框的尺寸小於該特定邊框的尺寸且所述至少一候選邊框相對於該特定邊框的重疊率大於該重疊率臨界值時)，流程進入步驟234。重疊率(IoU)的計算方式如下：IoU=(A(BBOXcurrent ∩ BBOXprevious))/A(BBOXprevious)；其中符號A( )代表面積，BBOXcurrent與A(BBOXcurrent)分別代表當前動作偵測擷取到的所述至少一候選邊框(例如邊框BB1、BB2及BB3)所包圍的區域與這個區域的面積(例如邊框BB1、BB2及BB3所包圍的區域的面積/尺寸)，BBOXprevious與A(BBOXprevious)分別代表先前的候選邊框諸如該特定邊框(例如邊框BB0)所包圍的區域與這個區域的面積(例如邊框BB0所包圍的區域的面積/尺寸)，而BBOXcurrent ∩ BBOXprevious與A(BBOXcurrent ∩ BBOXprevious)分別代表當前動作偵測擷取到的所述至少一候選邊框BBOXcurrent所包圍的區域與先前的候選邊框BBOXprevious所包圍的區域(例如該特定邊框諸如邊框BB0所包圍的區域)的交集區域與該交集區域的面積，但本發明不限於此。
在步驟234中，影像處理電路160可避免更新該特定邊框的資訊。例如，當影像處理電路160在步驟232中判斷邊框BB1、BB2及BB3中的物件不是該目標物件，或者當影像處理電路160在步驟233中判斷邊框BB1、BB2及BB3的尺寸小於邊框BB0的尺寸且邊框BB1、BB2及BB3相對於邊框BB0的重疊率大於該重疊率臨界值時，影像處理電路160可維持邊框BB0的資訊，以完整的擷取該目標物件的資訊，如第5圖所示。
在步驟235中，影像處理電路160可依據所述至少一候選邊框更新該特定邊框的資訊。
在步驟241中，影像處理電路160可利用該特定邊框(例如邊框BB0)來辨識該目標物件。
在步驟242中，影像處理電路160可調整該特定邊框(例如邊框BB0) 的尺寸以產生至少一候選邊框，以及利用所述至少一候選邊框來辨識該目標物件以產生該辨識結果。例如，影像處理電路160可基於邊框BB0的尺寸與位置將邊框BB0放大兩倍、四倍及八倍以產生分別具有多個尺寸的多個候選邊框(諸如如第6圖所示之影像600中的邊框BBx2、BBx4及BBx8)，並且分別計算該多個候選邊框的多個信心值，其中該多個信心值中之任一信心值以及對應於所述任一信心值的候選邊框內的一物件為該目標物件的機率具有正相關，例如，一信心值越大，對應於這個信心值的候選邊框內的物件為該目標物件的機率越高。需注意的是，以上多個不同的放大倍率的數量以及數值並非對本發明的限制，該多個不同的放大倍率的數量以及數值可因應硬體資源的限制(例如運算能力)來設計。
在步驟243中，影像處理電路160可依據在該多個候選邊框中信心值最大的候選邊框來更新該特定邊框的資訊。在實作上，一候選邊框的尺寸與該目標物件的尺寸越接近，這個候選邊框的信心值越高，因此，在第6圖所示之實施例中，影像處理電路160可依據邊框BBx8來更新該特定邊框的資訊。
在步驟250中，影像處理電路160可將以上流程所得到的結果(例如是否偵測到該目標物件及/或最新的特定邊框的資訊)輸出並儲存至儲存裝置140中，例如將此結果回傳至運行於影像處理電路160上的相關程式模組，但本發明不限於此。
另外，在步驟242以及243中，影像處理電路160將該多個尺寸的多個候選邊框一併產生再找出其中具有最大信心值的候選邊框，但本發明不限於此。在某些實施例中，影像處理電路160可依序將邊框BB0放大兩倍、四倍及八倍，而當邊框BB0被放大至一特定倍率的尺寸即找到一局部最大(local maximum)信心值時(例如，當放大兩倍所得到的信心值大於放大前得到的信心值且放大四倍所得到的信心值小於放大兩倍所得到的信心值時，放大兩倍所得到的信心 值即為一局部最大信心值)，影像處理電路160可為了節省運算量而直接將該局部最大信心值當作全域最大(global maximum)信心值。
雖然動作偵測大幅減少了傳統物件偵測方法所需的運算量，但是當被偵測的物件逐漸停止移動或是靜止不動時，相關技術所使用的動作偵測方法可能會把該物件誤認為是背景而造成誤判。本發明所提供的物件偵測方法以及電子裝置10可分別針對有偵測到動作以及沒有偵測到動作的情況下觸發相對應的機制來尋找信心值最大的候選邊框。
例如，在被偵測的一目標物件停止移動的過程中，這個目標物件可能僅在一部份的區域有動作發生，此時影像處理電路160可能會擷取到尺寸較小的一或多個候選邊框，如第4圖所示。然而，由於該一或多個候選邊框的尺寸小於在處理先前影像時保留的候選邊框(例如該特定邊框)的尺寸，且兩者重疊率超過一重疊率臨界值，因此影像處理電路160可直接保留該特定邊框以確保能取得最多的資訊，如第5圖所示。
又例如，在被偵測的一目標物件逐漸靠近電子裝置10而造成該特定邊框僅能擷取到這個目標物件的部分區域，如第6圖所示之邊框BB0擷取到的區域，影像處理電路160可對邊框BB0進行尺寸調整，以找到信心值最高的候選邊框。
總結來說，本發明提供的物件偵測方法以及電子裝置，分別針對有動作以及沒有動作的情況提供對應的邊框調整機制，以確保在各種情況(例如物件移動中、物件逐漸靜止、物件完全靜止等情況)均能準確地判斷一目標物件是否出現於一影像中，並且儲存有至少一可靠的候選邊框以在對後續輸入的影像進行物件偵測時使用。相較於相關技術，本發明的實施例不會大幅地增加額外成本，因此本發明能在沒有副作用或較不會帶來副作用的情況下提升物件偵測的效能。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
10:電子裝置
120:攝影機模組
140:儲存裝置
160:影像處理電路
160C:程式碼
IMG:影像

Claims (8)

  1. 一種物件偵測方法，包含：利用一影像處理電路判斷在一影像中是否有動作發生以產生一判斷結果；依據該判斷結果，選擇性地利用一特定邊框來辨識一目標物件以產生一辨識結果，其中該特定邊框代表該目標物件於一先前影像中的位置；當該判斷結果指出在該影像中沒有動作發生，利用該特定邊框來辨識該目標物件，其中利用該特定邊框來辨識該目標物件的步驟包含：調整該特定邊框的尺寸以產生至少一候選邊框；以及利用所述至少一候選邊框來辨識該目標物件以產生該辨識結果；以及依據該辨識結果，選擇性地更新該特定邊框的資訊。
  2. 如申請專利範圍第1項所述之物件偵測方法，其中調整該特定邊框的尺寸以產生所述至少一候選邊框的步驟包含產生分別具有多個尺寸的多個候選邊框；以及利用所述至少一候選邊框來辨識該目標物件以產生該辨識結果包含利用該影像處理電路分別計算該多個候選邊框的多個信心值，其中該多個信心值中之任一信心值以及對應於所述任一信心值的候選邊框內的一物件為該目標物件的機率具有正相關。
  3. 如申請專利範圍第2項所述之物件偵測方法，其中依據該辨識結果選擇性地更新該特定邊框的資訊的步驟包含依據在該多個候選邊框中信心值最大的候選邊框來更新該特定邊框的資訊。
  4. 一種物件偵測方法，包含：利用一影像處理電路判斷在一影像中是否有動作發生以產生一判斷結果； 依據該判斷結果，選擇性地利用一特定邊框來辨識一目標物件以產生一辨識結果，其中該特定邊框代表該目標物件於一先前影像中的位置，以及依據該判斷結果選擇性地利用該特定邊框來辨識該目標物件以產生該辨識結果包含：當該判斷結果指出在該影像中有動作發生，依據該動作於該影像中的位置擷取至少一候選邊框，以及利用所述至少一候選邊框來辨識該目標物件以產生該辨識結果；以及依據該辨識結果，選擇性地更新該特定邊框的資訊。
  5. 如申請專利範圍第4項所述之物件偵測方法，其中依據該辨識結果選擇性地更新該特定邊框的資訊包含：當該辨識結果指出所述至少一候選邊框內的一物件不是該目標物件，避免更新該特定邊框的資訊。
  6. 如申請專利範圍第4項所述之物件偵測方法，其中依據該辨識結果選擇性地更新該特定邊框的資訊包含：當該辨識結果指出所述至少一候選邊框內的一物件是該目標物件，依據所述至少一候選邊框的尺寸或所述候選邊框相對於該特定邊框的重疊率選擇性地更新該特定邊框的資訊。
  7. 如申請專利範圍第6項所述之物件偵測方法，其中依據該辨識結果選擇性地更新該特定邊框的資訊包含：當所述至少一候選邊框的尺寸大於該特定邊框的尺寸或所述至少一候選邊框相對於該特定邊框的重疊率小於一臨界值時，依據所述至少一候選邊 框更新該特定邊框的資訊。
  8. 一種電子裝置，包含：一攝影機模組，用來擷取一影像；一儲存裝置，用來儲存一特定邊框的資訊，其中該特定邊框代表一目標物件於一先前影像中的位置；以及一影像處理電路，耦接至該攝影機模組以及該儲存裝置，用來執行一程式碼以對該影像進行物件偵測，其中：該影像處理電路判斷在該影像中是否有動作發生以產生一判斷結果；依據該判斷結果，該影像處理電路選擇性地利用該特定邊框來辨識該目標物件以產生一辨識結果；當該判斷結果指出在該影像中沒有動作發生，該影像處理電路利用該特定邊框來辨識該目標物件，其中該影像處理電路調整該特定邊框的尺寸以產生至少一候選邊框，並且利用所述至少一候選邊框來辨識該目標物件以產生該辨識結果；以及依據該辨識結果，該影像處理電路選擇性地更新該特定邊框的資訊。
TW108145639A 2019-12-13 2019-12-13 物件偵測方法以及電子裝置 TWI736063B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108145639A TWI736063B (zh) 2019-12-13 2019-12-13 物件偵測方法以及電子裝置
US16/865,409 US11495006B2 (en) 2019-12-13 2020-05-03 Object detection method for static scene and associated electronic device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108145639A TWI736063B (zh) 2019-12-13 2019-12-13 物件偵測方法以及電子裝置

Publications (2)

Publication Number Publication Date
TW202123077A TW202123077A (zh) 2021-06-16
TWI736063B true TWI736063B (zh) 2021-08-11

Family

ID=76318152

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108145639A TWI736063B (zh) 2019-12-13 2019-12-13 物件偵測方法以及電子裝置

Country Status (2)

Country Link
US (1) US11495006B2 (zh)
TW (1) TWI736063B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20230121539A1 (en) * 2021-10-19 2023-04-20 Adobe Inc. Images for the visually impaired

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201937407A (zh) * 2018-03-01 2019-09-16 國立交通大學 物件偵測方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190130586A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Robust sleeping object detection in video analytics
US20190130583A1 (en) * 2017-10-30 2019-05-02 Qualcomm Incorporated Still and slow object tracking in a hybrid video analytics system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201937407A (zh) * 2018-03-01 2019-09-16 國立交通大學 物件偵測方法

Also Published As

Publication number Publication date
TW202123077A (zh) 2021-06-16
US20210182588A1 (en) 2021-06-17
US11495006B2 (en) 2022-11-08

Similar Documents

Publication Publication Date Title
US11164323B2 (en) Method for obtaining image tracking points and device and storage medium thereof
CN108009543B (zh) 一种车牌识别方法及装置
WO2019218824A1 (zh) 一种移动轨迹获取方法及其设备、存储介质、终端
CN108038452B (zh) 一种基于局部图像增强的家电手势快速检测识别方法
CN108960211B (zh) 一种多目标人体姿态检测方法以及系统
CN108960163B (zh) 手势识别方法、装置、设备和存储介质
US11790553B2 (en) Method and apparatus for detecting target object, electronic device and storage medium
WO2020134528A1 (zh) 目标检测方法及相关产品
US11107246B2 (en) Method and device for capturing target object and video monitoring device
CN113286194A (zh) 视频处理方法、装置、电子设备及可读存储介质
CN110084299B (zh) 基于多头融合注意力的目标检测方法和装置
CN112184759A (zh) 一种基于视频的运动目标检测与跟踪方法及系统
EP2591460A1 (en) Method, apparatus and computer program product for providing object tracking using template switching and feature adaptation
US11004212B1 (en) Object tracking method and system using iterative template matching
CN111191535B (zh) 基于深度学习的行人检测模型构建方法及行人检测方法
US10474935B2 (en) Method and device for target detection
JP2016015045A (ja) 画像認識装置、画像認識方法及びプログラム
JP2020149642A (ja) 物体追跡装置および物体追跡方法
JP2020149111A (ja) 物体追跡装置および物体追跡方法
US11170252B2 (en) Face recognition method and computer system thereof
TWI736063B (zh) 物件偵測方法以及電子裝置
CN114638808A (zh) 一种基于视频监控的多场景视频抖动检测方法
CN110135224B (zh) 一种监控视频的前景目标提取方法及系统、存储介质及终端
CN111242980B (zh) 一种面向点目标的红外焦平面盲元动态检测方法
WO2016136214A1 (ja) 識別器学習装置、滞留物体検出システム、識別器学習方法、滞留物体検出方法およびプログラム記録媒体