TWI670610B - 可客製化用於偵測特定樣式物件之方法 - Google Patents

Abstract

基本上是以計算機程式來合成製作特定樣式物件影像樣本或以錄影擷圖產生特定樣式物件影像樣本或以過去製備之各式特定樣式物件影像資料庫內之特定樣式物件影像樣本，供一精簡專用的CNN圖像分類器學習，使能分類辨識出特定樣式之物件，再以一般既有完成訓練之CNN影像物件偵測器，偵測出影像中含物件之影像區域，擷圖後交由先前訓練好之專用CNN圖像分類器來判定是否為特定樣式物件，以達成對特定樣式物件的偵測。尤有甚者，資料庫中之各物件特定樣式訓練樣本，可持續累加收集，與時俱進的提供更多樣更適切的各式訓練樣本，供未來需要時即時選用，而可更佳更快速的完成專有CNN圖像分類器的訓練，尤其適合客製化特定樣式物件的偵測辨識。

Description

可客製化用於偵測特定樣式物件之方法

本發明係關於一種可客製化用於偵測特定樣式物件之方法，特別是指訓練卷積神經網路圖像分類器，配合既有完成訓練之卷積神經網路影像物件偵測器，以偵測特定樣式物件之方法。

一般既有單一大型的CNN(Convolutional Neural Networks，卷積神經網路)影像物件偵測器如Faster RCNN(Region-Convolutional Neural Network)、Single Shot MultiBox Detector及Yolo(You only look once)等等，都可對影像內訓練過的一般物件做不錯的偵測辨識，但若想在訓練過的一般物件外，再新增額外特定樣式物件種類做訓練時，除了需要更多的訓練時間，重做訓練及可能會劣化對先前一般物件偵測的能力外，另要以人工方式取得大量特定樣式物件影像做標示訓練，將尤其困難。

鑑於過去既有單一大型的CNN(卷積神經網路)影像物件偵測方法，若因應客製化需求，對物件的特定樣式做偵測，將需要重新選用各種物件大量的訓練樣本做全尺寸監 控影像的物件偵測訓練，除了會影響先前對一般物件之偵測辨識準度，另外，在短時間內取得大量物件特定樣式樣本做偵測辨識訓練，將難以達成。

由此可見，既有的方法無法因應客製化需求，對偵測物件的特定樣式，在短時間內做進一步偵測辨識訓練的問題，實非良善之設計，而亟待加以改良。

為達上述之目的，本發明提供一種可客製化用於偵測特定樣式物件之方法，其包括：訓練步驟，其包括：建置訓練用樣本資料庫，其中，該訓練用樣本資料庫包括含有特定樣式物件的影像訓練樣本及不含特定樣式物件的影像訓練樣本；提供該訓練用樣本資料庫至CNN圖像分類器訓練學習，以產生經訓練之分類模型參數；以及提供該經訓練之分類模型參數至特定樣式物件CNN圖樣分類器；偵測步驟，其包括：提供待偵測之監控影像；透過既有CNN影像物件偵測器擷取該待偵測之監控影像中含有物件的區域影像；以及提供該含有物件的區域影像至該特定樣式物件CNN圖樣分類器以辨識出特定樣式物件，進而輸出該特定樣式物件的偵測結果；以及優化步驟，其包括：判讀該特定樣式物件CNN圖樣分類器所辨識該特定樣式物件，以將該特定樣式物件CNN圖樣分類器所辨識不正確的該含有物件的區域影像重新製成正確標示訓練樣本；以及輸入該重新製成正確標示訓練樣本至該訓練用樣本資料庫，提供該重新製成正確標示訓練樣本至該CNN圖像分類器訓練 學習以產生經優化之分類模型參數。

在前述之方法中，該建置訓練用樣本資料庫之步驟更包括：透過物件影像資料庫或網路圖像搜尋引擎以搜尋物件影像及特徵影像；以及以不同大小、位置、角度、及變形方式，配合背景影像將該物件影像及該特徵影像透過計算機合成為該含有特定樣式物件的影像訓練樣本，以將該含有特定樣式物件的影像訓練樣本輸入至該訓練用樣本資料庫。

在前述之方法中，更包括：將不含有該特徵影像的其他影像與該背景影像合成為該不含特定樣式物件的影像訓練樣本，以將該不含特定樣式物件的影像訓練樣本輸入至該訓練用樣本資料庫。

在前述之方法中，該建置訓練用樣本資料庫之步驟更包括：輸入監控錄影影像至該既有CNN影像物件偵測器以擷取該待監控錄影影像中含有物件的區域影像；以及判讀該待監控錄影影像的該含有物件的區域影像，以辨識是否該物件為該特定樣式物件。若該物件是該特定樣式物件，歸類該含有物件的區域影像為該含有特定樣式物件的影像訓練樣本，而若該物件不是該特定樣式物件，歸類該含有物件的區域影像為該不含特定樣式物件的影像訓練樣本。

在前述之方法中，該建置訓練用樣本資料庫之步驟更包括：提供多個角度的該特定樣式物件的錄影影像，若該特定樣式物件佔據該錄影影像整體，歸類該錄影影像為該含有特定樣式物件的影像訓練樣本，而若該特定樣式物件 未佔據該錄影影像整體，輸入該錄影影像至該既有CNN影像物件偵測器擷取該錄影影像中含有物件的區域影像並歸類為該含有特定樣式物件的影像訓練樣本。

在前述之方法中，該建置訓練用樣本資料庫之步驟更包括：輸入含有物件但非特定樣式物件的監控錄影影像至該既有CNN影像物件偵測器以擷取該監控錄影影像中含有物件的區域影像並歸類為該不含特定樣式物件的影像訓練樣本。

在前述之方法中，該特定樣式物件CNN圖樣分類器係具有二個卷積層、二個池化層、二個全連接層、及三十六個分類輸的CNN圖像分類器。

在前述之方法中，該既有CNN影像物件偵測器是Yolo(You only look once)CNN影像物件偵測器。

本發明之可客製化用於偵測特定樣式物件的方法，係利用精簡專用的CNN圖像分類器，就既有單一大型CNN影像物件偵測器所偵測出之物件區域影像，是否為物件的特定樣式做進一步分類辨識，以達成對新增特定樣式物件的偵測辨識；藉由計算機程式依設計大量合成製作或以錄影擷圖或在過去製備之各式特定樣式物件影像資料庫內選取，來產生物件特定樣式的訓練影像樣本，迅速完成精簡專用CNN圖像分類器的訓練，提供所需物件特定樣式之分類辨識能力；尤有甚者，訓練樣本資料庫中之各物件特定樣式訓練樣本，可持續依需求加以收集製造，與時俱進的使日後CNN圖像分類器的模型參數的訓練學習能更多樣 及更精確，而可適合用於客製化特定樣式物件的偵測辨識。

101‧‧‧物件影像資料庫

102‧‧‧網路圖像搜尋引擎

103‧‧‧物件影像

104‧‧‧特徵影像

105‧‧‧背景影像

106‧‧‧計算機程式影像合成

107‧‧‧特定樣式物件影像訓練樣本

108‧‧‧合成特徵抹除影像訓練樣本

109‧‧‧訓練用樣本資料庫

110‧‧‧CNN圖像分類器

111‧‧‧監控錄影影像

112‧‧‧特定樣式物件的錄影影像

114‧‧‧既有CNN影像物件偵測器

117‧‧‧判定是否為特定樣式物件

118‧‧‧一般物件影像訓練樣本

201‧‧‧監控影像

210‧‧‧特定樣式物件CNN圖樣分類器

214‧‧‧既有完成物件偵測訓練之CNN影像物件偵測器

215‧‧‧正確標示訓練樣本

217‧‧‧判讀挑選錯誤分類

219‧‧‧特定樣式物件偵測結果

請參閱有關本發明之詳細說明及其附圖，將可進一步瞭解本發明之技術內容及其目的功效。

第1圖為本發明之第一具體實施例之方法流程示意圖。

第2圖為本發明之第二具體實施例之方法流程示意圖。

第3圖為本發明之第三具體實施例之方法流程示意圖。

第4圖為本發明之第四具體實施例之方法流程示意圖。

本發明之可客製化用於偵測特定樣式物件之方法，其係透過計算機程式合成製作特定樣式物件影像樣本、或使用錄影擷圖產生特定樣式物件影像樣本、或以經製備完成之各式特定樣式物件影像訓練用樣本資料庫109內之特定樣式物件影像樣本，提供至精簡專用的CNN(Convolutional Neural Networks，卷積神經網路)圖像分類器110學習，以產生可分類辨識出特定樣式物件之模型參數，再以既有完成物件偵測訓練之CNN影像物件偵測器214(例如：Yolo CNN影像物件偵測器)，偵測影像中含物件之影像區域，輸入先前訓練好之特定樣式物件CNN圖樣分類器210判定是 否為特定樣式物件，以達成對特定樣式物件的偵測。

該特定樣式物件CNN圖樣分類器210，可選用一精簡的卷積神經網路(CNN)圖樣分類器，例如網路層僅含有二個卷積層(Convolutional layers)；二個池化層(Pool layers)、二個全連接層(Fully connected layers)及三十六個分類輸出及輸入像素40x40的CNN圖像分類器，除可提供36種分類，對一般與物件大小比例相近的特定樣式物件，具有充分的分類辨識能力，而既有完成物件偵測訓練之CNN影像物件偵測器214則可選用目前效能較佳的Yolo(You only look once)CNN影像物件偵測器。

本發明之可客製化用於偵測特定樣式物件之方法的具體實施方式，其主要可分為訓練步驟、偵測步驟及優化步驟，以下列四個實施例提供說明。

本發明之第一實施例：

如第1圖所示，在訓練步驟中，當特定樣式物件影像為某種物件影像中包含某種特定特徵時，在物件影像資料庫101或網路圖像搜尋引擎102上找出該種物件影像103的各種形態影像及該特定特徵影像104的各種形態影像，並預先取得各種合適的背景影像105，將各形態的物件影像103及其特定特徵影像104以不同大小、位置、角度、及變形的方式，以計算機程式影像合成106並配合各種背景影像105，自動大量合成各種可能的特定樣式物件影像訓練樣本107，再將該特定樣式物件影像訓練樣本107輸入訓練用樣本資料庫109中，以成為含有特定樣式物件的 影像訓練樣本而供CNN圖像分類器110訓練學習使用；另，為避免計算機程式影像合成106所產生不自然合成的特定特徵，在日後經CNN圖像分類器110訓練學習後，會被一同歸類成特定樣式物件影像訓練樣本107中特定樣式物件的特徵，因此將特徵影像104以不含有該特定特微的其他任意背景影像取代，並以相同於先前計算機程式影像合成106之方式製作合成特徵抹除影像訓練樣本108，放入特定樣式物件訓練用樣本資料庫109中，作為不含特定樣式物件的訓練樣本，以一併提供CNN圖像分類器110訓練學習使用，俾排除合成特徵對分類辨識的影響；在偵測步驟中，經CNN圖像分類器110訓練學習求得最佳的分類模型參數後，傳送分類模型參數供特定樣式物件CNN圖樣分類器210使用。並且，利用既有完成物件偵測訓練之CNN影像物件偵測器214，從監控影像201中偵測擷取出含有該種類物件之區域影像，交由特定樣式物件CNN圖樣分類器210執行辨識分類，當特定樣式物件被分類辨識出時，則輸出特定樣式物件偵測結果219，以顯示特定樣式物件被偵測到的影像時間及影像偵測圖框；在優化步驟中，為了能與時俱進的提升分類辨識正確率，可在特定樣式物件CNN圖樣分類器210之下，加入判讀挑選錯誤分類217，當特定樣式物件CNN圖樣分類器210判定分類辨識不正確時，以人工方式將先前既有完成物件偵測訓練之CNN影像物件偵測器214所偵測擷取之區域影像，予以重新製成正確標示訓練樣本215後，輸入訓練用樣本資料庫109中， 再一同提供給CNN圖像分類器110訓練學習使用，以訓練計算得更佳的分類模型參數，讓往後的特定樣式物件CNN圖樣分類器210更加精確。

本發明之第二實施例：

如第2圖所示，在訓練步驟中，當有特定物件(如某人或某車)會經常出現在監控錄影影像中且背景過多而不適合直接輸入CNN圖像分類器110學習時，利用既有CNN影像物件偵測器114從監控錄影影像111中，偵測擷取含該種(人或車)物件之區域影像，藉由步驟117，判定是否為特定樣式物件，俾將該偵測擷取物件之區域影像分類標示為含有特定樣式物件影像訓練樣本107或不含特定樣式物件之一般物件影像訓練樣本118，然後，將之輸入訓練用樣本資料庫109中，一同供CNN圖像分類器110訓練學習。在訓練步驟中，經訓練取得的模型參數便可讓特定樣式物件CNN圖樣分類器210具有該特定物件(如某人或某車)的分類辨識能力，如此便可如同第1實施例，利用既有完成物件偵測訓練之CNN影像物件偵測器214從監控影像201中，偵測擷取出含有該種物件之區域影像，交由特定樣式物件CNN圖樣分類器210做辨識分類，當特定樣式物件被分類辨識出時，輸出特定樣式物件偵測結果219，以顯示特定樣式物件被偵測到的影像時間及影像偵測圖框；在優化步驟中，為了能與時俱進的提升分類辨識正確率，可在特定樣式物件CNN圖樣分類器210之下，加入判讀挑選錯誤分類217，當特定樣式物件CNN圖樣分類器210判定分 類辨識不正確時，以人工方式將先前既有完成物件偵測訓練之CNN影像物件偵測器214所偵測擷取之區域影像，予以重新製成正確標示訓練樣本215後，輸入訓練用樣本資料庫109中，再一同提供給CNN圖像分類器110訓練學習使用，以訓練計算得更佳的分類模型參數，讓往後的特定樣式物件CNN圖樣分類器210更加精確。

本發明之第三實施例：

如第3圖所示，在訓練步驟中，當有實體的特定樣式物件時，可直接以多個角度對該實體特定樣式物件錄影，取得各角度的特定樣式物件的錄影影像112，若該特定樣式物件剛好充滿整個錄影影像，則可直接標示存為特定樣式物件影像訓練樣本107(含有特定樣式物件的影像訓練樣本)，再將之輸入訓練用樣本資料庫109中。若該特定樣式物件未充滿錄影影像，則利用既有CNN影像物件偵測器114，擷取含有該實體特定樣式物件之區域影像，並分類標示為特定樣式物件影像訓練樣本107，以輸入訓練用樣本資料庫109中；為了不讓類似於實體特定樣式物件的一般物件影像不被誤判為該特定樣式物件，以提高對該實體特定樣式物件的辨識正確率，利用既有CNN影像物件偵測器114從有類似於(但不是)該實體特定樣式物件影像(意即，含有物件但非特定樣式物件)的監控錄影影像111中，偵測擷取含該物件之區域影像，將之標示分類為不含特定樣式物件之一般物件影像訓練樣本118，再放入特定樣式物件訓練用樣本資料庫109中，以CNN圖像分類器110訓練學 習，訓練取得的模型參數便可讓特定樣式物件CNN圖樣分類器210具有減少類似誤辨的能力。有了先前製作的特定樣式物件訓練用樣本資料庫109，挑選需要分類樣本來供CNN圖像分類器110訓練學習使用，在偵測步驟中，訓練取得的分類模型參數便可讓特定樣式物件CNN圖樣分類器210具有對該實體特定物件的分類辨識能力，如第一實施例中，利用既有完成物件偵測訓練之CNN影像物件偵測器214從監控影像201中，偵測擷取出含該種物件之區域影像，交由特定樣式物件CNN圖樣分類器210執行辨識分類，當特定樣式物件被分類辨識出時，則輸出特定樣式物件偵測結果219，以顯示特定樣式物件被偵測到的影像時間及影像偵測圖框；在優化步驟中，為了能與時俱進的提升分類辨識正確率，可在特定樣式物件CNN圖樣分類器210之下，加入判讀挑選錯誤分類217，當特定樣式物件CNN圖樣分類器210判定分類辨識不正確時，以人工方式將先前既有完成物件偵測訓練之CNN影像物件偵測器214所偵測擷取之區域影像，予以重新製成正確標示訓練樣本215後，輸入訓練用樣本資料庫109中，再一同提供給CNN圖像分類器110訓練學習使用，以訓練計算得更佳的分類模型參數，讓往後的特定樣式物件CNN圖樣分類器210更加精確

本發明之第四實施例：

如第4圖所示，在訓練步驟中，當特定樣式物件影像樣本已存在過去建立的訓練用樣本資料庫109中時，從訓 練用樣本資料庫109中挑選需要的訓練樣本(包括特定樣式物件影像訓練樣本及一般物件影像訓練樣本)供CNN圖像分類器110訓練學習後，訓練所取得的分類模型參數可輸入至特定樣式物件CNN圖樣分類器210分類辨識所需要的特定樣式物件，並且可在新增分類樣本時，繼續多次對各特定樣式物件做持續累積的分類辨識訓練，持續增進該CNN圖像分類器110的辨識種類及正確率；在訓練步驟中，如同第一實施例中，利用既有完成物件偵測訓練之CNN影像物件偵測器214從監控影像201中，偵測擷取出含該種物件之區域影像，交由特定樣式物件CNN圖樣分類器210執行辨識分類，當特定樣式物件被分類辨識出時，輸出特定樣式物件偵測結果219，以顯示特定樣式物件被偵測到的影像時間及影像偵測圖框；在優化步驟中，為了能與時俱進的提升分類辨識正確率，可在特定樣式物件CNN圖樣分類器210之下，加入判讀挑選錯誤分類217，當特定樣式物件CNN圖樣分類器210判定分類辨識不正確時，以人工方式將先前既有完成物件偵測訓練之CNN影像物件偵測器214所偵測擷取之區域影像，予以重新製成正確標示訓練樣本215後，輸入訓練用樣本資料庫109中，再一同提供給CNN圖像分類器110訓練學習使用，以訓練計算得更佳的分類模型參數，讓往後的特定樣式物件CNN圖樣分類器210更加精確。

本發明所提供之客製化偵測特定樣式物件之方法，與其他習用技術相互比較時，更具備下列優點：

1.本發明僅就所偵測出之物件區域影像，是否具有特定樣式物件進一步分類辨識，可僅選用一精簡專用CNN影像分類器提供所需物件特定樣式之分類辨識能力，分類訓練學習將更為迅速單純。

2.若新增額外特定樣式物件種類進行訓練，不會劣化既有完成訓練之CNN影像物件偵測器的物件偵測能力。

3.訓練用樣本資料庫中之各特定樣式物件的訓練樣本，可持續依需求加以收集製造，與時俱進的提供更多樣更適切的各式訓練樣本，供未來需要時即時選用，而更佳更快速的完成專有CNN影像分類器的訓練，適合應用於客製化特定樣式物件偵測。

上列詳細說明係針對本發明之可行實施例之具體說明，惟該實施例並非用以限制本發明之專利範圍，凡未脫離本發明技藝精神所為之等效實施或變更，均應包含於本案之專利範圍中。

綜上所述，本案不但在技術思想上確屬創新，並能較習用物品增進上述多項功效，應以充分符合新穎性及進步性之法定發明專利要件，爰依法提出申請，懇請 貴局核准本件發明專利申請案，以勵發明，至感德便。

Claims (8)

1. 一種可客製化用於偵測特定樣式物件之方法，其包括：訓練步驟，其包括：建置訓練用樣本資料庫，其中，該訓練用樣本資料庫包括含有特定樣式物件的影像訓練樣本及不含特定樣式物件的影像訓練樣本；提供該訓練用樣本資料庫至CNN圖像分類器訓練學習，以產生經訓練之分類模型參數；以及提供該經訓練之分類模型參數至特定樣式物件CNN圖樣分類器；偵測步驟，其包括：提供待偵測之監控影像；透過既有CNN影像物件偵測器擷取該待偵測之監控影像中含有物件的區域影像；以及提供該含有物件的區域影像至該特定樣式物件CNN圖樣分類器以辨識出特定樣式物件，進而輸出該特定樣式物件的偵測結果；以及優化步驟，其包括：判讀該特定樣式物件CNN圖樣分類器所辨識該特定樣式物件，以將該特定樣式物件CNN圖樣分類器所辨識不正確的該含有物件的區域影像重新製成正確標示訓練樣本；以及輸入該重新製成正確標示訓練樣本至該訓練用樣本資料庫，提供該重新製成正確標示訓練樣本至該CNN 圖像分類器訓練學習以產生經優化之分類模型參數。
2. 如申請專利範圍第1項所述之方法，其中，該建置訓練用樣本資料庫之步驟更包括：透過物件影像資料庫或網路圖像搜尋引擎以搜尋物件影像及特徵影像；以及以不同大小、位置、角度、及變形方式，配合背景影像將該物件影像及該特徵影像透過計算機合成為該含有特定樣式物件的影像訓練樣本，以將該含有特定樣式物件的影像訓練樣本輸入至該訓練用樣本資料庫。
3. 如申請專利範圍第2項所述之方法，更包括：將不含有該特徵影像的其他影像與該背景影像合成為該不含特定樣式物件的影像訓練樣本，以將該不含特定樣式物件的影像訓練樣本輸入至該訓練用樣本資料庫。
4. 如申請專利範圍第1項所述之方法，其中，該建置訓練用樣本資料庫之步驟更包括：輸入監控錄影影像至該既有CNN影像物件偵測器以擷取該待監控錄影影像中含有物件的區域影像；以及判讀該待監控錄影影像的該含有物件的區域影像，以辨識是否該物件為該特定樣式物件；其中，若該物件是該特定樣式物件，歸類該含有物件的區域影像為該含有特定樣式物件的影像訓練樣本，而若該物件不是該特定樣式物件，歸類該含有物件 的區域影像為該不含特定樣式物件的影像訓練樣本。
5. 如申請專利範圍第1項所述之方法，其中，該建置訓練用樣本資料庫之步驟更包括：提供多個角度的該特定樣式物件的錄影影像，若該特定樣式物件佔據該錄影影像整體，歸類該錄影影像為該含有特定樣式物件的影像訓練樣本，而若該特定樣式物件未佔據該錄影影像整體，輸入該錄影影像至該既有CNN影像物件偵測器擷取該錄影影像中含有物件的區域影像並歸類為該含有特定樣式物件的影像訓練樣本。
6. 如申請專利範圍第1項所述之方法，其中，該建置訓練用樣本資料庫之步驟更包括：輸入含有物件但非特定樣式物件的監控錄影影像至該既有CNN影像物件偵測器以擷取該監控錄影影像中含有物件的區域影像並歸類為該不含特定樣式物件的影像訓練樣本。
7. 如申請專利範圍第1項所述之方法，其中，該特定樣式物件CNN圖樣分類器係具有二個卷積層、二個池化層、二個全連接層、及三十六個分類輸的CNN圖像分類器。
8. 如申請專利範圍第1項所述之方法，其中，該既有CNN影像物件偵測器是Yolo(You only look once)CNN影像物件偵測器。