TWI682332B - 用於識別絕育狀態影像的深度學習方法及其識別裝置 - Google Patents

Abstract

一種用於識別絕育狀態影像的深度學習方法，用於建立一辨識應用程式，該辨識應用程式供一識別裝置用於辨識至少一動物影像，而識別出已結紮的動物影像，該深度學習方法通過一深度學習系統執行以下步驟：輸入一張以上的訓練影像，然後，於該訓練影像標示出至少包含生殖器官的一感興趣區域，再通過一深度神經網路單元由該等訓練影像學習已結紮之生殖器官的特徵，而設計並修正該辨識應用程式，接著，輸入一張以上的測試影像，並通過該辨識應用程式辨識該測試影像，最後，在該辨識應用程式無法識別出呈現已結紮後之生殖器官的測試影像時，使呈現動物已結紮後之生殖器官的測試影像成為訓練影像，一直到該辨識應用程式的正確率介於90%~100%。藉此，有效提升判斷動物是否結紮的效率與正確率。

Description

用於識別絕育狀態影像的深度學習方法及其識別裝置

本發明是有關於一種深度學習方法，特別是指一種用於識別絕育狀態影像的深度學習方法及其識別裝置。

為了解決流浪動物繁衍的問題，最有效且最直接的解決辦法就是對流浪動物進行結紮手術。而目前決定是否對流浪動物進行結紮手術的判斷方式，主要是通過愛護動物人士攜帶流浪動物到動物醫院進行結紮手段後，上傳呈現出已結紮後之生殖器官的動物照片，經人工判讀前述動物照片，確認確實已完成結紮後，給予相關經費，以便控制流浪動物數量。

惟，前述判讀需要耗費人力觀看，作重複機械化的動作，不動耗時、浪費人力，且判斷是否結紮仰賴人工的經驗值，容易因為外在因素有判斷錯誤的缺失。

因此，本發明的目的，即在提供一種能夠有效提升判斷效率與判斷正確率的用於識別絕育狀態影像的深度學習方法及其識別裝置。

於是，本發明用於識別絕育狀態影像的深度學習方法，用於建立一辨識應用程式，該深度學習方法通過一深度學習系統執行以下步驟：

a：輸入數張訓練影像，每一訓練影像呈現動物已結紮後的生殖器官，並具有一數位資訊。

b：於每一訓練影像標示出一感興趣區域(Region of Interest,ROI)，該感興趣區域的範圍至少包含前述生殖器官。

c：通過預先建立的一深度神經網路單元(Deep Neural Networks,DNN)，通過該等訓練影像學習已結紮之生殖器官的特徵，而設計並修正該辨識應用程式。

d：輸入一張以上的測試影像，該測試影像呈現動物已結紮後的生殖器官、呈現動物未結紮的生殖器官二者其中之一。

e：通過該辨識應用程式辨識該測試影像。

f：在該辨識應用程式無法識別出呈現已結紮後之生殖器官的測試影像時，使呈現動物已結紮後之生殖器官的測試影像成為訓練影像，並回到步驟a。

一種識別裝置，用於辨識至少一動物影像，該至少一動 物影像呈現動物的生殖器官，該識別裝置包含一通訊模組，及一處理模組。

該通訊模組用於載入一辨識應用程式。

該處理模組根據該辨識應用程式辨識該至少一動物影像，用於識別出呈現已結紮後之生殖器官的動物影像。

本發明之功效在於：通過該深度神經網路單元由該等訓練影像學習已結紮之生殖器官的特徵，及藉由測試影像修正修正辨識結果，使更新的辨識應用程式，有效判斷動物是否結紮，並提升判斷的效率與正確率。

2‧‧‧深度學習系統

3‧‧‧大數據資料庫

31‧‧‧訓練資料集

311‧‧‧訓練影像

312‧‧‧感興趣區域

32‧‧‧測試資料集

321‧‧‧測試影像

322‧‧‧測試影像

4‧‧‧深度神經網路單元

41‧‧‧第一深度神經網路

42‧‧‧第二深度神經網路

43‧‧‧第三深度神經網路

5‧‧‧識別裝置

51‧‧‧通訊模組

52‧‧‧影像擷取模組

53‧‧‧處理模組

S‧‧‧尺寸比例值

P‧‧‧區域比例值

E‧‧‧效率要求值

101~112‧‧‧步驟流程

本發明的其他的特徵及功效，將於參照圖式的實施方式中清楚地呈現，其中：圖1是一張方塊圖，說明本發明用於識別絕育狀態影像的深度學習方法及其識別裝置的一實施例；圖2是一張示意圖，說明該實施例中的一深度神經網路單元；圖3是該實施例的一張流程圖；圖4是一張示意圖，說明該實施例選擇一第一深度神經網路或一第二深度神經網路或一第三深度神經網路的方式；圖5是一張示意圖，說明一訓練影像呈現動物已結紮後的生殖 器官，並標出一感興趣區域；圖6是一張示意圖，說明另一測試影像呈現動物已結紮的生殖器官；及圖7是一張示意圖，說明一測試影像呈現動物未結紮的生殖器官。

參閱圖1、圖2與圖3，本發明用於識別絕育狀態影像的深度學習方法的一實施例，用於建立一辨識應用程式。該深度學習方法以一深度學習系統2為工具。該深度學習系統2為伺服器，包含具有連接網路功能及運算處理功能的主機、輸入設備(如鍵盤、滑鼠)、輸出設備(如螢幕)等。該深度學習方法通過該深度學習系統2執行以下步驟：

步驟101：建立一大數據資料庫3。該大數據資料庫3包括有一訓練資料集31，及一測試資料集32。該訓練資料集31包括預建立且呈現動物已結紮後之生殖器官的數張訓練影像311。每一訓練影像311具有一數位資訊。該數位資訊包括像素尺寸。該測試資料集32包括預建立且呈現動物已結紮後之生殖器官的數張測試影像321，及呈現動物未結紮之生殖器官的數張測試影像322。

步驟102：建立一深度神經網路單元4。該深度神經網路 單元4包括一第一深度神經網路41(MobileNet)、一第二深度神經網路42(ResNet-101)，及一第三深度神經網路43(Inception Resnet V2)。

前述深度神經網路(Deep Neural Networks,DNN)是讓該深度學習系統2可以自行分析資料找出「特徵值」，而不是由人類來決定特徵值，就好像該深度學習系統2可以有「深度」的「學習」一樣。深度神經網路是一種函數集，函數集裡加入各種變數，並使用多層神經網路，同時使用「自動編碼器(Autoencoder)」來進行「非監督式學習(Un-supervised learning)」。在本實施例中，是採用如下列網址所公開之Convolutional Neural Network技術(原文網址：https：//read01.com/mE54gaj.html；https：//read01.com/mE54gaj.html#.Wz6wL8ig9PY)，舉例來說，本發明想要的「特徵值」是動物已結紮後的「生殖器官」，當輸入大量已結紮後之生殖器官的資料時，該深度學習系統2就能夠自己分析資料理解「已結紮之生殖器官」這個特徵，進而設計出一種可以「識別已結紮後之生殖器官」的方法。前述深度神經網路的技術，已揭示於先前技術中，且非本案申請的技術特徵，由於本領域中具有通常知識者根據以上說明可以推知擴充細節，因此不多加說明。值得說明的是，在本實施例中，該第一深度神經網路41的網路層層數<該第二深度神經網路42的網路層層數<第三深度神經網 路43的網路層層數。

步驟103：輸入該等訓練影像311。

步驟104：如圖5所示，根據預定義的圖像內容演算法於每一訓練影像311標示出包含生殖器官的感興趣區域312(Region of Interest,ROI)。

在本實施例中，前述圖像內容演算法，是先通過邊緣偵測技術，將影像切割成物件和背景，再通過灰階度比對特徵，而以物件中沿一長度方向延伸的疤痕為中心，標示出呈矩形的感興趣區域312。前述邊緣偵測技術為目前影像辨識常用的技術，由於本領域中具有通常知識者根據以上說明可以推知擴充細節，因此不多加說明。

步驟105：參閱圖1、圖2、圖3與圖4，選擇該第一深度神經網路41或該第二深度神經網路42或該第三深度神經網路43，通過該等訓練影像311學習「已結紮之生殖器官」的特徵，而設計該辨識應用程式。

步驟105可以通過下列三種方式I、Ⅱ、Ⅲ的綜合考量，及預設之參數的比重，選擇該第一深度神經網路41或該第二深度神經網路42或該第三深度神經網路43，以提升正確率V。

方式I

根據一尺寸比例值S，選擇該第一深度神經網路41、或 該第二深度神經網路42、或該第三深度神經網路43，該尺寸比例值S=(每一訓練影像311的像素尺寸/預設的一基礎像素尺寸)*100%(請確認)。當步驟103所輸入之訓練影像311的影像解析度S1介於1%~30%時，歸屬該第一深度神經網路41，當步驟103所輸入之訓練影像311的影像解析度S1介於31%~60%時，歸屬該第二深度神經網路42，當步驟103所輸入之訓練影像311的影像解析度S1介於61%~100%時，歸屬該第三深度神經網路43。

舉例來說，以預設的基礎像素尺寸為800*600像素、訓練影像311的像素尺寸為1500*900像素為例，當尺寸比例值S=(1500*900/640*480)*100%=4.39%，會將該第一深度神經網路41列入選項之一，選擇第一深度神經網路41機率較高。

方式Ⅱ

根據每一訓練影像311的一區域比例值P，選擇該第一深度神經網路41、或該第二深度神經網路42、或該第三深度神經網路43，該區域比例值P=(每一訓練影像311之該感興趣區域312的像素尺寸/每一訓練影像311的像素尺寸)*100%。當該比例值P介於10%~30%時，歸屬該第一深度神經網路41，當該比例值介於31~60時，歸屬該第二深度神經網路42，當該比例值介於61~100時，歸屬該第三深度神經網路43。

舉例來說，以感興趣區域312的像素尺寸為300*250像 素、訓練影像311的像素尺寸為1500*900像素為例，當區域比例值P=(300*250/1500*900)*100%=5.56%，會將該第一深度神經網路41列入選項之一，選擇第一深度神經網路41機率較高。

方式Ⅲ

根據一效率要求值E，選擇該第一深度神經網路41、或該第二深度神經網路42、或該第三深度神經網路43，該效率要求值E=(預期學習訓練影像311之張數的秒數/1秒)*100%，當該效率要求值E介於61%~100%時，歸屬該第一深度神經網路41，當該效率要求值E介於31%~60%時，歸屬該第二深度神經網路42，當該效率要求值E介於1%~30%時，歸屬該第三深度神經網路43。

此為系統的參數，可以配合效能不同的深度學習系統2預先設定。舉例來說，預設每0.5秒要學習1張訓練影像，則效率要求值E=(0.5/1)*100%=50%，會將該第二深度神經網路42列入選項之一，選擇第二深度神經網路42機率較高。

步驟106：參閱圖1、圖3、圖6與圖7，輸入該等測試影像321、322。

步驟107：通過該辨識應用程式辨識該等測試影像321、322。

步驟108：判斷該辨識應用程式是否無法識別出已結紮後之生殖器官的測試影像321，如果是，進行步驟109，如果否， 進行步驟110。

由於已知輸入的測試影像321為呈現已結紮後之生殖器官，已知輸入的測試影像322是呈現未結紮之生殖器官，因此，在輸入時即已註記，而能對辨識結果進行判斷。

步驟109：使呈現動物已結紮後之生殖器官的測試影像321成為訓練影像311，並回到步驟103。

步驟110：計算該辨識應用程式的一正確率V，該正確率V=(所有測試影像321、322的數目-無法被識別成已結紮後之生殖器官的測試影像321數目)/所有測試影像321、322的數目*100%。

舉例來說，所有測試影像321的數目+所有測試影像322的數目=200，無法被識別成已結紮後之生殖器官的測試影像321數目為50，則正確率V=(200-50)/200*100%=75%。

步驟111：判斷該辨識應用程式的正確率V是否介於90%~100%，如果否，回到步驟106，如果是，進行步驟112。

步驟112：發佈該辨識應用程式。

以前述正確率=75%為例，則會回到步驟106，繼續輸入該等測試影像321、322。相反的，若正確率V高於90%，表示該辨識應用程式的正確率V已高於門檻，而能夠提供給一識別裝置5，用於辨識至少一動物影像6(如圖6、圖7)。

參閱圖1與圖6、圖7，該識別裝置5包含一通訊模組51、 一影像擷取模組52，及一處理模組52。

該通訊模組51與該深度學習系統2相互通訊，而通過網路載入由前述深度學習系統2發佈的辨識應用程式。

該影像擷取模組52用於擷取該動物影像6。

該處理模組53與該通訊模組51、該影像擷取模組52連接，且根據該辨識應用程式辨識該動物影像6，用於識別出呈現已結紮後之生殖器官的動物影像6。

值得說明的是，當該動物影像6被辨識出呈現動物已結紮後之生殖器官時，該處理模組53會通過通訊模組51將該動物影像6傳送給該深度學習系統2，而成為如圖5所示的訓練影像311。藉此，擴增該訓練資料集31，進而能夠定期更新前述辨識應用程式，以提升學習效果，及辨識率。

經由以上的說明，可將前述實施例的優點歸納如下：本發明不但能夠通過該深度神經網路單元4通過該等訓練影像311學習已結紮之生殖器官的特徵，且能夠藉由該等測試影像321、322修正辨識結果，使更新的辨識應用程式，以更智能的方式有效判斷動物是否結紮，而提升判斷的效率與正確率。

惟以上所述者，僅為本發明的實施例而已，當不能以此限定本發明實施的範圍，凡是依本發明申請專利範圍及專利說明書內容所作的簡單的等效變化與修飾，皆仍屬本發明專利涵蓋的範圍 內。

2‧‧‧深度學習系統

3‧‧‧大數據資料庫

31‧‧‧訓練資料集

311‧‧‧訓練影像

312‧‧‧感興趣區域

32‧‧‧測試資料集

322‧‧‧測試影像

5‧‧‧識別裝置

51‧‧‧通訊模組

52‧‧‧影像擷取模組

53‧‧‧處理模組

6‧‧‧動物影像

321‧‧‧測試影像

Claims (11)

1. 一種用於識別絕育狀態影像的深度學習方法，用於建立一辨識應用程式，該深度學習方法通過一深度學習系統執行以下步驟：a：輸入數張訓練影像，每一訓練影像呈現動物已結紮後的生殖器官，並具有一數位資訊，每一訓練影像的數位資訊至少包括像素尺寸；b：於每一訓練影像標示出一感興趣區域(Region of Interest,ROI)，該感興趣區域的範圍至少包含前述生殖器官；h：建立一深度神經網路單元(Deep Neural Networks,DNN)，該深度神經網路單元至少包括一第一深度神經網路、一第二深度神經網路，及一第三深度神經網路；c：根據每一訓練影像的一尺寸比例值，選擇該第一深度神經網路、該第二深度神經網路、該第三深度神經網路其中之一，通過該等訓練影像學習已結紮之生殖器官的特徵，而設計該辨識應用程式，該尺寸比例值=(每一訓練影像的像素尺寸/一預設的基礎像素尺寸)*100%，當該影像解析度介於1%~30%時，將該第一深度神經網路列入選項之一，當該影像解析度介於31%~60%時，將該第二深度神經網路列入選項之一，當該影像解析度介於61%~100時，將該第三深度神經網路列入選項之一；d：輸入一張以上的測試影像，該測試影像呈現動物 已結紮後的生殖器官、呈現動物未結紮的生殖器官二者其中之一；e：通過該辨識應用程式辨識該測試影像；及f：在該辨識應用程式無法識別出呈現已結紮後之生殖器官的測試影像時，使呈現動物已結紮後之生殖器官的測試影像成為訓練影像，並回到步驟a。
2. 一種用於識別絕育狀態影像的深度學習方法，用於建立一辨識應用程式，該深度學習方法通過一深度學習系統執行以下步驟：a：輸入數張訓練影像，每一訓練影像呈現動物已結紮後的生殖器官，並具有一數位資訊，每一訓練影像的數位資訊至少包括像素尺寸；b：於每一訓練影像標示出一感興趣區域(Region of Interest,ROI)，該感興趣區域的範圍至少包含前述生殖器官；h：建立一深度神經網路單元(Deep Neural Networks,DNN)，該深度神經網路單元至少包括一第一深度神經網路、一第二深度神經網路，及一第三深度神經網路；c：根據每一訓練影像的一區域比例值，選擇該第一深度神經網路、該第二深度神經網路、該第三深度神經網路其中之一，通過該等訓練影像學習已結紮之生殖器官的特徵，而設計該辨識應用程式，該區域比例值=每一訓練影像之該感興趣區域的像素尺寸/每一訓練影像311的像 素尺寸)*100%，當該影像解析度介於1%~30%時，將該第一深度神經網路列入選項之一，當該影像解析度介於31%~60%時，將該第二深度神經網路列入選項之一，當該影像解析度介於61%~100時，將該第三深度神經網路列入選項之一；d：輸入一張以上的測試影像，該測試影像呈現動物已結紮後的生殖器官、呈現動物未結紮的生殖器官二者其中之一；e：通過該辨識應用程式辨識該測試影像；及f：在該辨識應用程式無法識別出呈現已結紮後之生殖器官的測試影像時，使呈現動物已結紮後之生殖器官的測試影像成為訓練影像，並回到步驟a。
3. 一種用於識別絕育狀態影像的深度學習方法，用於建立一辨識應用程式，該深度學習方法通過一深度學習系統執行以下步驟：a：輸入數張訓練影像，每一訓練影像呈現動物已結紮後的生殖器官，並具有一數位資訊；b：於每一訓練影像標示出一感興趣區域(Region of Interest,ROI)，該感興趣區域的範圍至少包含前述生殖器官；h：建立一深度神經網路單元(Deep Neural Networks,DNN)，該深度神經網路單元至少包括一第一深度神經網路、一第二深度神經網路，及一第三深度神經網路； c：根據每一訓練影像的一效率要求值，選擇該第一深度神經網路、該第二深度神經網路、該第三深度神經網路其中之一，通過該等訓練影像學習已結紮之生殖器官的特徵，而設計該辨識應用程式，該效率要求值=(預期學習訓練影像之張數的秒數/1秒)*100%，當該效率要求值介於61%~100%時，將該第一深度神經網路列入選項之一，當該效率要求值介於31%~60%時，將該第二深度神經網路列入選項之一，當該效率要求值介於1%~30%時，將該第三深度神經網路列入選項之一；d：輸入一張以上的測試影像，該測試影像呈現動物已結紮後的生殖器官、呈現動物未結紮的生殖器官二者其中之一；e：通過該辨識應用程式辨識該測試影像；及f：在該辨識應用程式無法識別出呈現已結紮後之生殖器官的測試影像時，使呈現動物已結紮後之生殖器官的測試影像成為訓練影像，並回到步驟a。
4. 如請求項1或2或3所述的用於識別絕育狀態影像的深度學習方法，還包含在步驟a前的步驟g：建立一大數據資料庫，該大數據資料庫包括有一訓練資料集，及一測試資料集，該訓練資料集包括預建立且呈現動物已結紮後之生殖器官的數訓練影像，該測試資料集包括預建立且呈現動物已結紮後之生殖器官、未結紮之生殖器官的數測試影像。
5. 如請求項4所述的用於識別絕育狀態影像的深度學習方法，其中，步驟a的訓練影像還進一步來自通過網路與該 深度學習系統相互通訊的一識別裝置，該識別裝置通過該辨識應用程式識別出已結紮的至少一動物影像，使呈現動物已結紮後之生殖器官的至少一動物影像成為訓練影像，並傳送給該深度學習系統。
6. 如請求項1或2或3所述的用於識別絕育狀態影像的深度學習方法，其中，步驟b是根據預定義的圖像內容演算法於每一訓練影像標示出該感興趣區域。
7. 如請求項1或2或3所述的用於識別絕育狀態影像的深度學習方法，其中，步驟f包括步驟f-1：判斷該辨識應用程式是否無法識別出已結紮後之生殖器官的測試影像，如果是，進行步驟f-2，如果否，進行步驟f-3；步驟f-2：使呈現動物已結紮後之生殖器官的測試影像成為訓練影像，並回到步驟a；步驟f-3：計算該辨識應用程式的一正確率，該正確率=(所有測試影像的數目-無法被識別成已結紮後之生殖器官的測試影像數目)/所有測試影像的數目*100%；步驟f-4：判斷該辨識應用程式的正確率是否介於90%~100%，如果否，回到步驟d，如果是，進行步驟f-5；及步驟f-5：發佈該辨識應用程式。
8. 一種識別裝置，用於辨識至少一動物影像，該至少一動物影像呈現動物的生殖器官，該識別裝置包含：一通訊模組，用於載入如請求項1或2或3所建立的 辨識應用程式；及一處理模組，根據該辨識應用程式辨識該至少一動物影像，用於識別出呈現已結紮後之生殖器官的動物影像。
9. 如請求項8所述的識別裝置，其中，該通訊模組用於載入如請求項1用於識別絕育狀態影像的深度學習方法中更新的辨識應用程式。
10. 如請求項9所述的識別裝置，其中，該通訊模組通過網路與該深度學習系統相互通訊，使呈現動物已結紮後之生殖器官的動物影像成為訓練影像，並傳送給該深度學習系統。
11. 如請求項9所述的識別裝置，還包含用於擷取該至少一動物影像且與該處理模組連接的一影像擷取模組。

Images