TWI624793B

TWI624793B - 物件偵測的適應系統與方法

Info

Publication number: TWI624793B
Application number: TW106132087A
Authority: TW
Inventors: 謝明得; 陳俊維; 蕭翔之; 楊得煒
Original assignee: 財團法人成大研究發展基金會; 奇景光電股份有限公司
Priority date: 2017-09-19
Filing date: 2017-09-19
Publication date: 2018-05-21
Also published as: TW201915824A

Abstract

一種物件偵測的適應方法，如果目前可能值小於預設背景臨界值，則略過目前視窗影像之後的複數個視窗影像。如果目前視窗影像之前的前一個視窗影像含有所要偵測物件，且目前可能值大於或等於預設前景臨界值，則提早結束物件偵測。

Description

物件偵測的適應系統與方法

本發明係有關一種物件偵測，特別是關於一種物件偵測的適應系統與方法。

物件偵測(例如臉部偵測)為一種電腦技術，可使用於各種應用，用以從數位影像當中識別物件的位置與大小。保羅•維爾拉(Paul Viola)與邁克爾•瓊斯(Michael Jones)於2001年提出一種物件偵測架構，可提供具競爭性的即時(real time)物件偵測率。維爾拉-瓊斯方法具高偵測率，且可適用於即時應用(例如每秒處理至少二圖框)。維爾拉-瓊斯方法採用串接(cascade)訓練機制以達成好的偵測率。

低功耗應用(例如智慧型手機)為一種趨勢，其具有限的電力與處理能力。快速應用為另一種趨勢，其要求快速(但通常為粗略)的物件偵測。目前的方法無法(或極為困難)達到準確或即時的物件偵測。因此，亟需提出一種新穎方法，以有效加速物件偵測。

鑑於上述，本發明實施例的目的之一在於提出一種物件偵測的適應系統與方法，可根據背景或/且前景局部區域(locality)而適應地(adaptively)略過視窗影像或提早結束，因而達到快速偵測物件。

根據本發明實施例，對目前視窗影像執行物件偵測，以產生目前可能值，其代表物件被偵測的可能性。如果目前可能值小於預設背景臨界值，則略過目前視窗影像之後的複數個視窗影像。

根據本發明另一實施例，對目前視窗影像執行物件偵測，以產生目前可能值，其代表物件被偵測的可能性。如果目前視窗影像之前的前一個視窗影像含有所要偵測物件，且目前可能值大於或等於預設前景臨界值，則提早結束物件偵測。

第一圖的方塊圖顯示本發明實施例的物件偵測的適應系統100。本實施例的適應系統100可適用於臉部偵測，但不限定於此。在一實施例中，適應系統100為維爾拉-瓊斯臉部偵測器，細節可參閱保羅•維爾拉(Paul Viola)等人提出的“使用增強串接的簡易特徵的快速物件偵測(Rapid Object Detection Using a Boosted Cascade of Simple Features)”，公開於2001年，刊登於電腦視覺與圖型辨識會議(Conference on Computer Vision and Pattern Recognition)；及保羅•維爾拉等人提出的“強健即時物件偵測(Robust Real-time Object Detection)”，公開於2001年七月，刊登於視覺統計與計算理論-模型、學習、計算與取樣的第二次國際研討會(Second International Workshop on Statistical and Computational Theories of Vision – Modeling, Learning, Computing, and Sampling)，其內容視為本說明書的一部份。

在本實施例中，適應系統100可包含複數個分類器(classifier)11(例如第一圖例示的第一階層分類器至第n階層分類器)，其互相串接，因而形成多階層系統或串接分類器11。本實施例的適應系統100可包含視窗控制器12，其根據串接分類器11對目前掃描視窗的輸出，以決定串接分類器11的下一個掃描視窗。當進行輸入影像的整個圖框(frame)的物件搜尋時，掃描視窗會移動於輸入影像當中(例如從左至右水平掃描並往下移動，或稱為光柵掃描(raster scan))，且掃描視窗內的影像(簡稱為視窗影像)受到串接分類器11的偵測。根據本實施例的特徵之一，視窗控制器12可快速偵測物件，細節將描述於以下段落。

第二圖顯示第一圖的其中一階層分類器11的方塊圖。在本實施例中，分類器11可包含複數個次分類器(sub-classifier)，例如弱分類器(weak classifier)111(例如WC _i-2至WC _i+2)，每一個弱分類器111包含一個特徵(feature)，例如哈爾(Haar)特徵。第二圖還例示了弱分類器111(例如WC _i)的細部方塊圖。一般來說，特徵是為了解答某個應用的計算工作時的相關訊息。特徵可為影像中的特定結構，例如點、邊或物件。每一個物件分類有其各自的特殊特徵，用以幫助分類的進行。例如，於進行臉部偵測時，可藉以找出眼睛、鼻子與嘴唇，且找出膚色特徵及眼睛之間的距離。

如第二圖所示，使用弱分類器111對(目前)掃描視窗110內的影像進行偵測。所謂“弱”分類器(或學習器)是機器學習或物件偵測領域常用的術語，用以表示該分類器的計算簡單，且以簡單方式來執行。多個弱分類器可組合起來形成一個“強”分類器。

本實施例的分類器11可包含加法器112，其收集弱分類器111所產生的結果並予以加總，因而產生總和。在本說明書中，弱分類器111的結果可為一個數值，用以表示所屬階層可產生臉部或非臉部的階層決定的信心(confidence)值(例如某個掃描視窗內出現或不出現臉部的可能值)。接著，比較器113比較加法器112的總和與預設階層臨界值θ。根據比較器113的比較結果，分類器11可決定掃描視窗110內是否含有物件的至少一部分(例如臉部)。如果分類器11的決定是肯定的，則該階層為通過；否則該階層為失敗。如果一個階層通過，同一個掃描視窗110的影像繼續由下一個階層，使用更多特徵與更多時間來進行偵測。根據串接分類器11的通過/失敗狀態，適應系統100(第一圖)產生可能值，用以表示物件被串接分類器11偵測到的可能性。在本實施例中，如果m個階層通過，則可能值即為m。

第三圖的流程圖顯示本發明實施例的物件(例如臉部)偵測的適應方法300。於步驟31，準備輸入影像的一列視窗影像。例如，準備相隔一個像素的一列視窗影像。於步驟32，使用串接分類器11以偵測目前視窗影像。

第四圖例示一列視窗影像的可能值分布曲線。一般來說，含有所要偵測物件(例如臉部)的視窗影像的可能值是相當大的，例如大於預設前景臨界值θ _fg；不含有所要偵測物件的視窗影像的可能值是相當小的，例如小於預設背景臨界值θ _bg，其中θ _bg＜θ _fg。如第四圖所例示，視窗影像W _j含有物件(例如臉部)，因此其可能值大於預設前景臨界值θ _fg；視窗影像W _j+2不含有物件，因此其可能值小於預設背景臨界值θ _bg。

於步驟33，比較目前可能值L與預設背景臨界值θ _bg。如果目前可能值L小於預設背景臨界值θ _bg(亦即L＜θ _bg)，表示目前視窗影像與相鄰視窗影像皆為背景影像，不含有所要偵測物件。換句話說，目前視窗影像位於背景局部區域(locality)。因此，於步驟34，略過目前視窗影像後面的δ個視窗影像，其中δ為預設值，表示區域性的程度。換句話說，所略過視窗影像不進行偵測，因而加速物件的偵測。再者，於本實施例的步驟34，所略過的視窗影像的可能值設為最小可能值L _min(例如L=0)，其表示未出現所要偵測物件。於另一實施例中，所略過的視窗影像的可能值設為小於預設背景臨界值θ _bg的一個預設值。

如果步驟33的結果為否定的(亦即L≧θ _bg)，表示目前視窗影像與相鄰視窗影像不屬於背景影像，則進入步驟 35，比較(前一個視窗影像相應的)前一個可能值L與最大可能值L _max(例如25)，其表示出現所要偵測物件。於另一實施例中，步驟35決定前一個可能值L是否大於一個預設值，其大於預設前景臨界值θ _fg。

如果前一個可能值L等於最大可能值L _max(步驟35)，表示目前視窗影像的前一個視窗影像含有所要偵測物件，則進入步驟36，進一步比較目前可能值L與預設前景臨界值θ _fg。如果目前可能值L大於或等於預設前景臨界值θ _fg(亦即L≧θ _fg)，表示目前視窗影像屬於前景影像且含有所要偵測物件。換句話說，目前視窗影像位於前景局部區域(locality)。因此，接下來進入步驟37，略過尚未偵測的剩餘視窗影像。換句話說，所略過視窗影像不進行偵測，或者適應方法300的流程提早結束，因而加速物件的偵測。再者，於本實施例的步驟37，所略過視窗影像的可能值設為最大可能值L _max，其表示出現所要偵測物件。於另一實施例中，所略過的視窗影像的可能值設為大於預設前景臨界值θ _fg的一個預設值。

如果步驟35或步驟36的結果為否定，則適應方法300的流程進入步驟38，決定是否還有視窗影像尚未偵測。如果步驟38的結果為肯定，適應方法300的流程進入步驟 32以偵測下一個視窗影像；否則，流程進入步驟39，輸出整列視窗影像的可能值L。

根據上述實施例，當視窗影像位於背景局部區域時，可略過複數個視窗影像；或者當視窗影像位於前景局部區域時，可提早結束適應方法300。藉此，可節省相當多的處理時間及功耗。因此，本發明實施例可適用於低功耗(或功率限制)的相機以快速偵測物件。

以上所述僅為本發明之較佳實施例而已，並非用以限定本發明之申請專利範圍；凡其它未脫離發明所揭示之精神下所完成之等效改變或修飾，均應包含在下述之申請專利範圍內。

100‧‧‧適應系統

11‧‧‧分類器

110‧‧‧掃描視窗

111‧‧‧弱分類器

112‧‧‧加法器

113‧‧‧比較器

12‧‧‧視窗控制器

300‧‧‧適應方法

31‧‧‧準備視窗影像

32‧‧‧偵測視窗影像

33‧‧‧比較目前可能值與預設背景臨界值

34‧‧‧略過接下來數個視窗影像並設可能值為零

35‧‧‧比較前一個可能值與最大可能值

36‧‧‧比較目前可能值與預設前景臨界值

37‧‧‧提早結束並設可能值為最大可能值

38‧‧‧決定是否還有視窗影像尚未偵測

39‧‧‧輸出每一視窗影像的可能值

WC_i-2~WC_i+2‧‧‧弱分類器

θ‧‧‧階層臨界值

W_j-2~W_j+2‧‧‧視窗影像

j-2~j+2‧‧‧視窗指標

L‧‧‧可能值

L_max‧‧‧最大可能值

θ_fg‧‧‧預設前景臨界值

θ_bg‧‧‧預設背景臨界值

L_min‧‧‧最小可能值

δ‧‧‧預設值

第一圖的方塊圖顯示本發明實施例的物件偵測的適應系統。第二圖顯示第一圖的其中一階層分類器的方塊圖。第三圖的流程圖顯示本發明實施例的物件偵測的適應方法。第四圖例示一列視窗影像的可能值分布曲線。

Claims

一種物件偵測的適應方法，包含：準備輸入影像當中的一列視窗影像；對目前視窗影像執行物件偵測，以產生目前可能值，其代表物件被偵測的可能性；如果目前可能值小於預設背景臨界值，則略過目前視窗影像之後的複數個視窗影像；及如果目前可能值不小於預設背景臨界值，且如果目前視窗影像之前的前一個視窗影像含有所要偵測物件，且目前可能值大於或等於預設前景臨界值，則提早結束物件偵測。
根據申請專利範圍第1項所述物件偵測的適應方法，更包含：將所略過的複數個視窗影像的可能值設為最小可能值，其表示未出現所要偵測物件。
根據申請專利範圍第1項所述物件偵測的適應方法，當前一個視窗影像所對應的前一個可能值等於最大可能值，即表示前一個視窗影像含有所要偵測物件，其中該最大可能值表示出現所要偵測物件。
根據申請專利範圍第1項所述物件偵測的適應方法，更包含：於提早物件偵測之後，將目前視窗影像的可能值設為最大可能值，其表示出現所要偵測物件。
根據申請專利範圍第1項所述物件偵測的適應方法，其中該物件偵測是由串接分類器來執行的。
一種物件偵測的適應系統，包含：複數個分類器，串接以形成串接分類器；視窗控制器，根據該串接分類器對目前掃描視窗的輸出，以決定該串接分類器的下一個掃描視窗；其中該串接分類器對目前視窗影像執行物件偵測，以產生目前可能值，其代表物件被偵測的可能性；如果目前可能值小於預設背景臨界值，則該視窗控制器略過目前視窗影像之後的複數個視窗影像；及如果目前視窗影像之前的前一個視窗影像含有所要偵測物件，且目前可能值大於或等於預設前景臨界值，則提早結束物件偵測。
根據申請專利範圍第6項所述物件偵測的適應系統，其中該視窗控制器更將所略過的複數個視窗影像的可能值設為最小可能值，其表示未出現所要偵測物件。
根據申請專利範圍第6項所述物件偵測的適應系統，當前一個視窗影像所對應的前一個可能值等於最大可能值，即表示前一個視窗影像含有所要偵測物件，其中該最大可能值表示出現所要偵測物件。
根據申請專利範圍第6項所述物件偵測的適應系統，其中該視窗控制器更於提早物件偵測之後，將目前視窗影像的可能值設為最大可能值，其表示出現所要偵測物件。
根據申請專利範圍第6項所述物件偵測的適應系統，其中每一個分類器包含複數個次分類器，每一個次分類器包含一個特徵。
根據申請專利範圍第10項所述物件偵測的適應系統，其中該分類器更包含：加法器，收集次分類器所產生的結果並予以加總，因而產生總和；及比較器，比較加法器的總和與預設階層臨界值，以產生比較結果，據以決定目前視窗影像是否含有所要偵測物件的至少一部分。