TWI707293B

TWI707293B - 家禽畜行為自動偵測系統及其自動偵測方法

Info

Publication number: TWI707293B
Application number: TW108105204A
Authority: TW
Inventors: 郭彥甫; 林宸儀; 粘書耀; 何冠穎; 黃懋翔
Original assignee: 茂生農經股份有限公司
Priority date: 2019-02-15
Filing date: 2019-02-15
Publication date: 2020-10-11
Also published as: TW202032489A

Abstract

本發明係一種家禽畜行為自動偵測系統，應用於一禽畜舍中，包括：產生一初始影像資訊的一影像擷取裝置、以及接收初始影像資料的一運算裝置；其中，運算裝置中的運算單元以及影像分析模組進行一影像物件行為辨識程序以辨識初始影像資訊中的複數物件，影像分析模組對辨識出的每一物件標記所對應的物件標籤或行為標籤，運算裝置對受標記的每一物件標籤及每一行為標籤進行統計。本發明更包括一種家禽畜行為自動偵測方法。

Description

家禽畜行為自動偵測系統及其自動偵測方法

本發明係有關一種自動偵測系統及其自動偵測方法，尤指一種使用影像分析且針對家禽畜行為進行追蹤標記的自動偵測系統及其自動偵測方法。

家禽中的雞隻與家畜中的豬隻一直是我們生活飲食中蛋白質的主要攝取來源，不僅營養價值高，也是許多加工食品的主要原料。近年來，臺灣的雞肉商品經濟產值達391億新台幣，佔臺灣畜牧業總產值23.92%，是國內重要的農產品。雞隻健康狀態與雞隻的飲食行為常有緊密關聯，目前禽畜舍的飲食行為偵測則多以人工方式為主；然而禽畜舍雞隻數量龐大，以傳統管理方式相當耗時、勞力密集且仰賴飼主經驗，容易在成本控制以及品質控管上出現問題。

尤其是在熱帶和亞熱帶地區，由於夏季氣候炎熱，熱緊迫(heat stress)成為家禽養殖業者最具挑戰性的問題之一。熱緊迫降低了家禽的生長速度且對雞蛋質量產生不利影響，甚至與家禽的突然大量死亡有關。早期的養殖經驗發現，熱緊迫是穩定家禽成長和雞蛋品質的關鍵，通常評估熱緊迫是使用溫濕度指數(temperature humidity index,THI)估計，也就是同時量測溫度以及濕度來進行評估。然而，溫溼度指數是間接指標，而熱緊迫的標準也可能因雞隻品種和雞隻的膳食及飲水供應而有差異，容易造成熱緊迫評估錯誤，而致使家禽養殖上的損失。

為此，如何設計出一種家禽畜行為自動偵測系統及其自動偵測方法，來解決前述的技術問題，乃為本案發明人所研究的重要課題。

本發明之一目的在於提供一種家禽畜行為自動偵測系統，通過影像處理技術手段，能夠讓家禽養殖業者以低成本、高效率的方式獲得家禽活動量與環境條件的關係，能夠更準確的評估當前家禽養殖的熱緊迫狀況，而達到低成本提高家禽養殖效率之目的。

為了達到前述目的，本發明所提出的家禽畜行為自動偵測系統應用應用於一禽畜舍中，包括：一影像擷取裝置，配置於該禽畜舍中，且產生一初始影像資訊；以及一運算裝置，用以接收該影像擷取裝置傳輸的該初始影像資料，該運算裝置包括一運算單元以及一影像分析模組，該影像分析模組包含有複數物件標籤以及複數行為標籤；其中，該運算裝置接收該初始影像資訊，並利用該運算單元以及該影像分析模組進行一影像物件行為辨識程序以辨識該初始影像資訊中的複數物件，其中該影像分析模組對辨識出的每一該物件以標記所對應的該物件標籤或該行為標籤，該運算裝置對受標記的每一該物件標籤及每一該行為標籤進行統計。

在使用本發明所述之家禽畜行為自動偵測系統時，使用者可以通過該初始影像資訊進行該影像物件行為辨識程序，並依據受標記的每一該物件標籤及每一該行為標籤進行統計；最後，家禽養殖業者得以低成本、高效率的方式獲得家禽活動量與環境條件的關係，能夠更準確的評估當前家禽養殖的熱緊迫狀況，而達到低成本提高家禽養殖效率之目的。

本發明之另一目的在於提供一種家禽畜行為自動偵測方法，通過影像處理技術手段，能夠讓家禽養殖業者以低成本、高效率的方式獲得家禽活動量與環境條件的關係，能夠更準確的評估當前家禽養殖的熱緊迫狀況，而達到低成本提高家禽養殖效率之目的。

為了達到前述另一目的，本發明所提出的一種家禽畜行為自動偵測方法應用一禽畜舍中，包括：將一初始影像資訊輸入至一影像分析模組進行一影像物件行為辨識程序以辨識該初始影像資訊中的複數物件，其中該影像分析模組對辨識出的每一該物件以標記所對應的一物件標籤或一行為標籤，並利用一運算裝置對受標記的每一該物件標籤及每一該行為標籤進行統計。

10:環境偵測模組

20:攝影單元

30:控制單元

40:運算裝置

41:運算單元

42:影像分析模組

50:雲端儲存裝置

100:環境資訊

200:初始影像資訊

S1~S3:步驟

圖1為本發明之家禽畜行為自動偵測系統之一實施例的系統架構圖；圖2為本發明之家禽畜行為自動偵測系統之所述實施例的方法流程圖；以及圖3為本發明之家禽畜行為自動偵測系統之所述實施例的活動量與溫溼度指數(THI)在時間軸上的關係示意圖。

以下係藉由特定的具體實施例說明本發明之實施方式，熟悉此技術之人士可由本說明書所揭示之內容輕易地瞭解本發明之其他優點及功效。本發明亦可藉由其他不同的具體實例加以施行或應用，本發明說明書中的各項細節亦可基於不同觀點與應用在不悖離本發明之精神下進行各種修飾與變更。

須知，本說明書所附圖式繪示之結構、比例、大小、元件數量等，均僅用以配合說明書所揭示之內容，以供熟悉此技術之人士瞭解與閱讀，並非用以限定本發明可實施之限定條件，故不具技術上之實質意義，任何結構之修飾、比例關係之改變或大小之調整，在不影響本發明所能產生之功效及所能達成之目的下，均應落在本發明所揭示之技術內容得能涵蓋之範圍內。

茲有關本發明之技術內容及詳細說明，配合圖式說明如下。

請參閱圖1所示，為本發明之家禽畜行為自動偵測系統之一實施例的系統架構圖。本發明所述的家禽畜行為自動偵測系統，應用於一禽畜舍中，包括：影像擷取裝置、環境偵測裝置10以及運算裝置40。禽畜舍在屋頂上配備了LED燈。燈從6：00到8：00之間和16：00到20：00之間開啟，為影像採集提供足夠的照明。

其中影像擷取裝置，配置於禽畜舍朝內的正上方，是在6：00到20：00之間以每秒數幀的頻率擷取圖像，且產生一初始影像資訊200。進一步而言，影像擷取裝置包含一攝影單元20以及控制單元30，控制單元30耦接攝影單元20並用以控制攝影單元20且傳輸初始影像資訊200至運算裝置40。本發明之實施例中，控制單元30是採用樹莓派3(Raspberry Pi 3 Model B)嵌入式系統；攝影單元20則為HD Pro C920(Logitech)搭配廣角鏡頭(LIEQI-045)。

環境偵測裝置10電連接控制裝置30，配置於禽畜舍的側壁，並將偵測到的一環境參數傳輸給控制裝置30，控制裝置30將環境參數後傳輸給運算裝置40進行統計。所述環境參數可以為是溫溼度指數(THI)。本實施例使用的是DHT11或SHT31溫濕度感測器，其紀錄場域的溫溼度相關資訊(即前述的環境資訊100)。實際應用中，不僅以此為限制，舉凡可作為量測溫溼度相關資訊的感測器皆可作為本發明之使用。

運算裝置40接收影像擷取裝置傳輸的初始影像資料200，運算裝置40經由互聯網(Internet)電連接控制單元30。運算裝置40包括一運算單元41以及一影像分析模組42，影像分析模組42包含有複數物件標籤以及複數行為標籤。在本實施例中，所述物件標籤或行為標籤可以為一般雞隻、吃飼料雞隻、喝水雞隻、一般豬隻、發情豬隻、哺乳豬隻、飼料桶或水壺的其中一者。

其中，運算裝置40接收初始影像資訊200，並利用運算單元41以及影像分析模組42進行一影像物件行為辨識程序以辨識初始影像資訊200中的複數物件，其中影像分析模組42對辨識出的每一物件以標記所對應的物件標籤或行為標籤，運算裝置40對受標記的每一物件標籤及每一行為標籤進行統計。在此使用LabelImg(Tzutalin，2015)進行標記。進一步而言，影像分析模組42為一卷積神經網路，包含至少一卷積層(convolution layer)以及至少一池化層(pooling layer)，影像物件行為辨識程序藉由至少一卷積層與至少一池化層擷取初始影像資訊200中每一物件的一特徵值，根據特徵值將物件分類並標記對應於物件的物件標籤或行為標籤；其中需要特別說明，在池化層進行池化(pooling)處理時，如果採用的為全區域平均池化處理(global average pooling)時，可將運算後得出的每一個單一特徵值直接進行物件分類與標記標籤程序而不需要進行2D圖面的卷積展平(flatten)處理以及額外設置全連接層(fully connected layer)，但如果採用的是其他池化處理如最大池化處理(max pooling)或平均池化處理(average-pooling)時，因為經由卷積展平(flatten)處理後的輸出資料還是屬於具有多層的特徵值，因為需要增設一層全連接層(fully connected layer)藉此將多個特徵值進行處理後進行物件分類與標記標籤程序。在本發明的所述實施例中，所述卷積神經網路可以是一更快速區域生成卷積神經網路(Faster R-CNN)，且運行於GPU核心(例如，在此使用GeForce GTX 1080顯示晶片)。此外，除了前述的Faster R-CNN，更可以包括區域生成卷積神經網路(R-CNN)、快速區域生成卷積神經網路(Fast R-CNN)、YOLO、ResNet、SSD、Mask R-CNN或全卷積神經網路(fully convolutional network,FCN)的其中一者。

在此，Faster R-CNN模型可以分為區域生成網路(Region Proposal Network,RPN)與Fast R-CNN兩個部分。RPN為全卷積神經網路，用於產生適當的候選框，並讓後續的Fast R-CNN將RPN所產生的候選框進行檢測與識別其中的目標。在此可以採用ResNet50做為預訓練模型，藉此得到特徵成為特徵圖層(feature maps)，並將此特徵圖層輸入至RPN，進而訓練產生候選框，以供Fast R-CNN利用此候選框偵測與判斷目標。在訓練樣本中，使用了五種標籤進行標記，分別為飼料桶(feed bucket)、水壺(drinking kettle)、一般雞隻(chicken)、吃飼料雞隻(eating chicken)及喝水雞隻(drinking chicken)。

其中，初始影像資訊200包含複數幀圖像，影像分析模組42利用每一幀圖像進行影像物件行為辨識程序，其中影像分析模組42對連續至少二幀圖像中各物件的位置進行辨識得到一位移距離，並利用位移距離與一預設距離比較，如位移距離小於預設距離，則判斷為各物件為同一物件，對排序後一幀圖像的物件標記相同於排序前一幀圖像的物件標籤。影像分析模組42對連續至少二幀圖像中複數個同一物件各生成一輔助特徵值，當位移距離大於預設距離時，若每一幀圖像中的各輔助特徵值相同，影像分析模組42判斷為同一物件，對排序後一幀圖像的物件標記相同於排序前一幀圖像的物件標籤。在本實施例中，輔助特徵值為物件的一顏色特徵值。當物件標籤屬性為一家禽畜時，運算裝置40統計位移距離並獲得一活動量數據。

在最小距離匹配中，首先通過從Faster R-CNN模型獲得邊界框的質心來確定相鄰兩幀中的雞隻的位置。計算第1幀中的雞隻與第2幀中的所有雞隻之間的歐基里德距離(Euclidean distances)。此外，計算了第2幀中的雞隻與第1幀中的所有雞隻之間的歐基里德距離，且對第1幀與第2幀中的所有雞進行上述計算。如果兩隻雞隻的最小歐基里德距離相等，並且最小歐基里德距離小於閾值，則第1幀與第2幀中的所述雞隻被認為是相同的雞。在這項研究中，閾值設置為175像素(相當於28.12厘米)。在顏色特徵匹配中，首先在從Faster R-CNN模型獲得的雞隻的邊界框上進行圖形切割，以自動地將雞隻從背景中分割出來。然後將背景去除的圖片轉換成每個通道具有2位元長度的RGB圖像。隨後將2位元長度圖像的顏色直方圖標準化並用於識別兩個相鄰幀中的相同雞隻。

影像分析模組42利用相鄰的二個物件的每一物件標籤所屬類別而得到一行為結果，並依據行為結果將所對應的行為標籤標記所辨識出的物件。其中，初始影像資訊200包含複數幀數圖像，影像分析模組42利用每一幀圖像進行影像物件行為辨識程序，其中影像分析模組42對連續至少兩幀圖像中同一物件的位置進行辨識得到一位移距離，並利用位移距離與每一物件標籤所屬類別得到行為結果。例如第一物件(雞)靠近第二物件(飼料桶或水桶)，如果連續幾幀畫面中的距離都沒有移動，可以定義行為是吃(eating)或喝(drinking)的行為標籤，又或者是第一物件(小豬)靠近第二物件(母豬)連續幾幀畫面都沒有距離都沒有移動，可以定義行為是喝奶而給予小豬喝奶的行為標籤。

經過Faster R-CNN模型訓練後，訓練時所得到的辨識準確率可以達到99%，而測試結果中的飼料桶偵測率(偵測正確數量/實際數量)、水壺偵測率、一般雞隻偵測率、吃飼料雞隻偵測率及喝水雞隻偵測率分別為100%、100%、71.11%、59.39%及54.55%，平均精準度(mAP)則可以達到77.01%，每張影像的測試時間為0.287秒。

在所述實施例的其中另一使用態樣中，是針對圈養雞隻的禽畜舍，通過樹莓派3架構的嵌入式系統控制影像擷取裝置在一分鐘拍攝一張影像，並選擇120張影像做為神經網路的訓練樣本，且取24張影像做為測試樣本。在此，Faster R-CNN主要分成區域提取網路(RPN)和分類器兩部分，具有共享前方卷積神經網路與直接產生區域提取網路的優點。其中，RPN是全卷積神經網路，用於提取候選框；分類器則是基於RPN提取的候選框做檢測並識別候選框中的目標。在雞隻偵測模型訓練的方面，預先訓練好的ZF-net(Zeiler&Fergus)模型做為預訓練模型，藉此提取特徵產生特徵圖層，並獨立訓練一個RPN綱路在特徵圖層上提取候選框，以供分類器利用此候選框做為下一步偵測與分類的模型建立。在24張的測試影像中，其中每一張影像中有13隻雞隻。透過Faster R-CNN演算法訓練後，雞隻偵測率(偵測正確數量/實際數量)為94.5%，且每張影像的測試時間僅0.085秒。

本發明所述之家禽畜行為自動偵測系統更包括一雲端儲存裝置50，運算裝置40可以將家禽畜活動量與環境溫溼度資訊傳輸並儲存至雲端儲存裝置50。

請參閱圖2所示，為本發明之家禽畜行為自動偵測系統之所述實施例的方法流程圖。在實際使用中，一開始先將一初始影像資訊輸入至一影像分析模組進行一影像物件行為辨識程序(步驟S1)；繼而，影像分析模組對辨識出的每一物件以標記所對應的一物件標籤或一行為標籤(步驟S2)；最後，運算裝置對受標記的每一物件標籤及每一行為標籤進行統計(步驟S3)。為此可獲得家禽畜隨環境因素變化之活動量等數據。

請參閱圖3所示，為本發明之家禽畜行為自動偵測系統之所述實施例的活動量與溫溼度指數(THI)在時間軸上的關係示意圖。通過實驗觀察到雞隻活動量與環境相關資訊(通過偵測THI)之間的相關性，結果表明雞隻的總體活動量與THI值成反比，尤其是在10：00至17：00之間。一般來說，雞隻的活動量在早晨和晚上相對較高，而在中午相對較低。為此，家禽養殖業者得以低成本、高效率的方式獲得家禽活動量與環境條件的關係，能夠更準確的評估當前家禽養殖的熱緊迫狀況，而達到低成本提高家禽養殖效率之目的。

同樣地，依據使用者的需求，本發明亦可應用於冷緊迫(cold stress)的狀況評估，亦可達到提高家禽養殖效率。

以上僅為本發明較佳具體實施例之詳細說明與圖式，惟本發明之特徵並不侷限於此，並非用以限制本發明，本發明之所有範圍應以下述之申請專利範圍為準，凡合於本發明申請專利範圍之精神與其類似變化之實施例，皆應包含於本發明之範疇中，任何熟悉該項技藝者在本發明之領域內，可輕易思及之變化或修飾皆可涵蓋在以下本案之專利範圍。