TW202309823A - 人工智慧養殖魚群食慾判斷方法與系統 - Google Patents

人工智慧養殖魚群食慾判斷方法與系統 Download PDF

Info

Publication number
TW202309823A
TW202309823A TW110131192A TW110131192A TW202309823A TW 202309823 A TW202309823 A TW 202309823A TW 110131192 A TW110131192 A TW 110131192A TW 110131192 A TW110131192 A TW 110131192A TW 202309823 A TW202309823 A TW 202309823A
Authority
TW
Taiwan
Prior art keywords
fish
neural network
density map
pixel
appetite
Prior art date
Application number
TW110131192A
Other languages
English (en)
Other versions
TWI799962B (zh
Inventor
余仁翔
林志勳
張欽圳
駱揚
陳昱恩
陳冠竹
鄭錫齊
冉繁華
盧晃瑩
鄭智湧
謝易錚
林士勛
藍珣毓
Original Assignee
國立臺灣海洋大學
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 國立臺灣海洋大學 filed Critical 國立臺灣海洋大學
Priority to TW110131192A priority Critical patent/TWI799962B/zh
Publication of TW202309823A publication Critical patent/TW202309823A/zh
Application granted granted Critical
Publication of TWI799962B publication Critical patent/TWI799962B/zh

Links

Images

Landscapes

  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

揭示人工智慧養殖魚群食慾判斷的學習方法、人工智慧養殖魚群 食慾判斷方法及系統。以強標示、弱標示及無標示方式來標示學習樣本，設定訓練準則以訓練神經網路成為目標函數神經網路，以將魚群影像轉換成密度圖，使用分群演算法，將眾多對應於魚群影像的代表密度圖，以預定組數分群，藉以取得預定組數的群集代表向量，用以作為判斷魚群食慾的基準。

Description

人工智慧養殖魚群食慾判斷
本發明係關於人工智慧水產養殖食慾判斷，特別關於人工智慧養殖魚群食慾判斷學習方法、能夠自動地判斷養殖魚群食慾的方法及系統。
隨著全球人口數增加及野生水產的數量急遽減少，水產供給面臨嚴峻挑戰。因此，發展水產養殖是滿足對水產增長需求的必要手段之一，也是保護野生水產免於滅絕的重要手段。不過，水產養殖所帶來的環境汙染衝擊，也令人擔憂。因此，應用智慧科技來監控水質與養殖標的行為，對於水產養殖而言不僅可以監控水產的養殖環境、監控魚的成長與健康狀態、也可以降低養殖人力與飼料浪費。如此，除了可節省飼料、降低水產死亡率等等養殖成本外，也可因沒有投餵多餘的飼料而減少水質汙染，降低魚病風險、保護水環境等等。
因此，有效地應用例如人工智慧等智慧科技，來解決水產養殖業面臨的各種問題是現代水產養殖非常重要的課題。在眾多應用中，魚群監控技術為建構智慧養殖系統的關鍵技術，其中，結合電腦與各式各樣的監測器或攝影設備之非接觸式監控方式，可以很低度地干擾或傷害養 殖標的，是非常適合水產養殖業。因此，需要結合監控系統、人工智慧來準確地分析與計數養殖水產的總數、分析養殖水產的行為、食慾等等，以顯著地提升養殖效率及降低養本。
已知一些使用人工智慧技術監測魚群的技術，但是，它們具有成本高、準確度較低等等問題，舉例而言，在標示用於訓練的影像時，須標示每尾魚所佔的中心像素、不容許有魚隻被遺漏或被誤標、且魚隻重疊的情形難以處理，或者，將每張魚群影像以區塊為單位作切割後再標記每區塊有幾尾魚，但會有很多魚被裁切而不利準確度或是標記工作增加等等，這些都會造成高成本的問題。
因此，需要更準確、成本更低的人工智慧技術以用於魚群監控或魚群養殖等應用。
鑑於上述，本發明提供成本低、高度準確的人工智慧魚群食慾判斷學習方法，以及使用學習方法完成的訓練結果之人工智慧魚群食慾判斷方法及設備。
根據本發明的一態樣，提供一種人工智慧養殖魚群食慾判斷學習方法，使用至少二個成像設備拍攝取得之眾多幀魚群影像作為眾多學習樣本，包含下述步驟：標示步驟，以強標示、弱標示、及未標示之方式，將各學習樣本進行標示，以區分為明確具有一尾魚或完全無魚的強像素標示區、至少有二尾魚的弱像素標示區、及未標示像素區；訓練步驟，根據強像素標示區相對於所屬的學習樣本之機率關係產生目標機率函數，以及依據弱像素標示區及未標示像素區對所屬的學習樣本之各別機率關係 與目標機率函數分別對應的計算結果達成一致性，作為訓練準則，來教導神經網路成為目標機率函數神經網路；代表密度圖產生步驟，依樣本取得時刻相同而分成同一組之方式，將眾多學習樣本由目標機率函數神經網路產生的對應密度圖分組，依據至少二個成像設備的場域配置關係，將同組中各密度圖處理成如同從同一視角取得，再以各組密度圖中相同位址的像素的最大機率值代表要產生的代表密度圖之相同位址像素的機率值，而產生眾多代表密度圖；以及，分群步驟，使用分群演算法，將眾多代表密度圖中連續取得的多個代表密度圖，以預定組數分群，藉以取得預定組數的群集代表向量，用以作為判斷魚群食慾的基準。
根據本發明的另一態樣，提供一種使用人工智慧之養殖魚群食慾判斷方法，包含下述：使用至少二成像設備取得預定進食期間連續多幀魚群影像；使用向量與向量之間的距離演算法，計算各代表密度圖的與根據本發明的學習方法取得的預定組數群集代表向量的最小距離，以作為各代表密度圖的差異值；以及，根據拍攝時序，選取差異值最早大於第一預定值的代表密度圖之拍攝時刻作為進食開始時刻，以及，選取差異值最早大於第二預定值的代表密度圖之拍攝時刻作為進食最激烈時刻，根據最激烈時刻與該拍攝時刻之時間差，決定魚群的食慾強度。
根據本發明的另一態樣，提供一種使用人工智慧之養殖魚群食慾判斷系統，包含下述：至少二成像模組，用於拍攝養殖魚群；神經網路模組，包含使用根據本發明的學習方法完成訓練的目標機率函數神經網路；處理單元；以及通訊單元，其中，神經網路模組與處理單元彼此協力運作，以將拍攝的養殖魚群影像轉換成魚群密度圖，以及，使用根據本 發明的判斷方法，判斷養殖魚群的食慾強弱。
較佳地，成像設備是聲納成像設備。此外，神經網路模組及處理單元中至少之一與至少一成像模組設置成一體。神經網路模組及處理單元中至少之一可以設置於雲端、物聯網、或養殖設備中。
根據本發明的人工智慧魚群養殖，可以低成本、準確地標示學習樣本，顯著地降低人工智慧應用的成本，且在使用人工智慧來養殖水產時，能顯著地提高養殖效率及降低養殖成本。
100:箱網養殖場域
101a:聲納成像設備
101b:聲納成像設備
200:魚群分佈學習處理
201:標示步驟
202:訓練步驟
203:代表密度圖產生步驟
302:個別魚體
304:背景輪廓
306:固定設施輪廓
308:弱標示區
310:弱標示區
312:弱標示區
600:魚群食慾判斷學習處理
602:密度圖分割步驟
604:歸一化步驟
606:分群計算步驟
700:魚群食慾判斷方法
800:人工智慧魚群食慾判斷系統
801:成像模組
802:神經網路模組
803:處理單元
804:通訊單元
參考附圖，閱讀述詳細說明，將可以更佳地瞭解本發明的特點、態樣、及優點，在這些圖中，圖式不一定依比例繪製，而是通常強調顯示本揭示的各種態樣之原理，其中：
圖1係視圖，顯示根據本發明的實施例之水產養殖場域聲納成像設備配置；
圖2係方塊圖，顯示根據本發明的實施例之魚群分佈學習處理200；
圖3A為聲納成像設備取得之魚群影像，圖3B係對應圖3A之完成標記的魚群影像；
圖4係魚群密度圖；
圖5A、5B及圖5C為示意圖，用以說明代表密度圖的產生過程；
圖6係方塊圖，用以說明根據本發明的實施例之食慾判斷學習處理；
圖7係方塊圖，顯示根據本發明的實施例之人工智慧之魚群食慾判斷方法；
圖8係方塊圖，用以說明根本發明的人工智慧魚群食慾判斷系統；及
圖9密度圖，用於說明密度圖分割。
水產養殖在例如池塘、箱網等特定場域中進行，養殖標的可為各式各樣的魚類、蝦類、貝類等等。在本說明書中，將以箱網養殖的魚類為例說明。對養殖魚類進行有效精準監控是達成有效率養殖的關鍵因素，一般而言，魚群監控，至少包含：(1)成長監控，例如體長、體寬測量；(2)數量測量，自動地計數養殖場域內隨意游動的魚群數量或分佈情形；(3)行為監測，自動地監測、分析及辨識魚群的攝食行為、食慾、驚擾、健康狀態等等。在這些監控應用中，數量測量與食慾等行為的監測是難以達成精確量測與準確分析的，也是水產養殖能否有效率及降低成本的關鍵因素。根據本發明人長期的研究而完成的本發明，可以顯著地提升魚群數量的測量準確度以及準確地分析辨識魚群的攝食、食慾等等行為，因而大幅地提升養殖效率及降低養殖本。在下述說明中，將參考圖式，具體說明本發明的實施例，但須瞭解，下述僅是以舉例方式說明本發明，以助於瞭解本發明的精神及原理，而非要侷限本發明。
一般而言，在應用人工智慧時，須先以預定數目的樣本來進行人工智慧的訓練，在訓練達成預定的目標後，應用訓練結果所取得之參數等等數據或技術而產生特定應用的人工智慧技術。樣本通常是要處理之目標的影像或圖形，而常用以進行訓練的技術是神經網路等等。根據本發明，由於是將人工智慧應用至水產養殖，所以，進行魚群數量或分佈估算、魚群食慾等行為監控等等時，須在混濁或是光線昏暗的水域中，取得清晰的影像以供學習訓練而達成自動精準的估算或判斷。一般的光學相機 或攝影機通常無法在此應用中獲取清晰的影像以供分析，所以須使用可清晰地攝取水中影像的設備。
根據本發明的實施例，較佳地使用聲納成像設備來拍攝養殖場域的魚群動態，但是，可以使用任何可清晰地拍攝水中影像的設備，而不侷限於聲納成像設備。在使用聲納成像設備來監控魚群時，會考慮扇形音束水平角度範圍、垂直方向角度範圍、有效距離解析力等等以取得所需的魚群影像。由於魚群動態地活動於養殖場域中，即使相同的聲納成像設備佈置於不同的位置，其拍攝結果也會因上述固有的限制或魚群的動態活動而不同。根據本發明的實施例，較佳地佈署至少二個聲納成像設備，舉例而言，如圖1所示，在箱網養殖場域100中每隔180度佈置一個聲納成像設備，共佈署二個聲納成像設備101a及101b。當然，可以每隔120度或其它預定角度各佈署一個聲納成像設備。
由於養殖場域裡數量很多的魚隻的活動、聲納成像設備和箱網設施等固有設施的影響，所以，經常會有魚隻重疊、遮蔽、瞬間游進游出聲納探測範圍、來自設施與氣泡的回波的干擾、不同聲納成像設備的扇形視角或固有限制、雜訊等等，結果，在取得的聲納影像中會造成遺漏、誤判等等錯誤。因此，使用這些影像作為學習訓練的樣本時，影像首先必須經過前置處裡以有效地排除或顯著地降低這些不良地影嚮判別或訓練的因素，如此，才能取得有效的、達成預定目的之學習訓練結果，進而能夠自動精準地分析魚體長度、魚群數量與行為等等。值得一提的是，根據本發明的實施例，使用多成像聲納視角取得魚群影像。
如上所述，以多幀魚群影像作為人工智慧學習樣本時，上 述魚隻重疊、遮蔽、瞬間游進游出等等問題，會造成人工智慧學習的困難，因此，根據本發明，將各幀魚群影像進行標示分類以將整幀影像分成多個標示區之方式，可以克服這些困難並增進學習準確性及效率。根據本發明，以分類標示的樣本來教導神經網路，設定評估準則，舉例而言，設計損失函數，以教導神經網路對各不同的標示區之學習反應能達成一致性。關於神經網路的學習方式，一般而言，可分為對完全未經標示處理的區域來進行學習的非監督式學式、可對未經標示或經過標示的區域來進行學習的半監督式學習、及對經過標示的區域來進行學習之監督式學習。在人工智慧學習訓練時，通常是以學習樣本在統計或機率上原本應有的表現、以及神經網路對作為輸入之同一樣本的輸出表現，兩者是否符合預期的相似性或一致性作為訓練完成與否的評估。於下，將具體說明根據本發明的實施例，以助於更佳地瞭解本發明的精神及原理。
在作魚群食慾判斷時，首先必須能夠精準地估算魚群數量或分佈。圖2係方塊圖，顯示根據本發明的實施例之入工智慧訓練階段之魚群分佈學習處理200。如圖2所示，學習處理200主要包含標示步驟201、訓練步驟202、及代表密度圖產生步驟203。於下，將詳細說明各步驟。
在標示步驟201中，將作為學習樣本的多幀魚群影像中的各影像，進行分類標示以使各像素分屬於不同的標示類別。根據本發明的實施例，用以將各幀影像標示分式分別為無標示、弱標示、及強標示等三種標示，其中，強標示係確定一尾魚存在則以單一點標示該尾魚，以及確定無魚的區域則用包圍該區域的多邊形輪廍來標示；弱標示係確定至少有n(n≧2)與至多cn(c>1)尾魚出現但無法確定某些魚位置之區域，則以框住該 區域的矩形作標示；以及，未標示被視為不確定或是之前已有相當多類似標示之像素或區域則不標示。在下述中，經由強標示方式標示的區域稱為強像素標示區，經由弱標示方式標示的區域稱為弱像素標示區，未標示的區域稱為未標示像素區。如此，根據本發明的實施例，一幀經過標示的影像可分為強像素標示區、弱像素標示區、及未標示像素區。
將參考圖3A及3B，具體說明根據本實施例之標示步驟201。圖3A為聲納成像設備101取得之魚群影像，圖3B係對應圖3A之完成標記的影像。首先，說明強標示，在圖3A中的魚群影像中可以明確辨識為個別魚體之影像，以單一個點記號標示，並將其歸類於標籤類別f1。舉例而言，圖3A中經辨識後的所有個別魚體302以圓點記號標示並歸類於類別f1。如此，被標示的每一條魚會以一個圓點代表並被給予標籤類別f1，以此方式而產生如圖3B所示之標示。為區別魚群影像與背景影像，將圖3A中可明確判斷為背景或固定設施之處，以多點包圍輪廓描繪之方式標示而取得如圖3B中所示的背景輪廓304及固定設施輪廓306，並分別將其歸類於標籤類別B、F，標籤類別B代表背景，F代表固定設施，這亦屬強標示。如此，整體強像素標示區雖然同樣經過強標示但由於被給予不同的標籤類別，仍可區分有魚及無魚的區域，也可明確容易地計算出整體強像素標示區的總魚數。關於弱標示，係指至少有n(n≧2)與至多cn(c>1)尾魚出現而由矩形框標示之區域，而此區域中明確可知至少某些數量的魚存在，存在的魚體數量可能為例如，至少2、5或10時，將它們分別歸類於類別f2、f5或f10，若c設定為2時標籤類別f2代表2條至4條魚，f5代表5條至10條魚，以此類推。以此方式取得如圖3B中的弱標示區308、310及312。此外，對 那些無法確定其標籤類別的像素或區域、或之前已標示過多次的類似像素或區域，不需免強給予標示以免造成標示錯誤。根據本發明的實施例，除了強標示及未標示方式可以節省標示成本外，弱標示方式無須對個別魚隻標示，而是以包含預定數量範圍內的魚隻之區域輪廓作標示，更顯著地節省標示成本。
如上所述般，聲納設備101a及101b取得的影像幀中的各個像素分別歸屬於強像素標示區、弱像素標示區、及未標示像素區。上述說明中雖然指明標籤類別的數目，以及標籤類別含義，但僅為便於說明，而非要限定標籤類別代表之意義，標籤類別可視條件更改。依上述方式，產生標記檔案，記錄各像素點的位址、標示及相關連的標籤類別。舉例而言，在480×640解析度的影像的標記檔案中記錄第m×n像素為強像素及標籤類別f1、第k×m像素為弱像素及標籤類別f2、第(k+2)×(m+2)像素為無標示、等等。此外，在下述中，為簡明起見，述及強標示、弱標示及未標示等詞時，除了指明其標示方式也同時指給予對應的標籤類別。
在說明訓練步驟202之前。先參考如圖4所示的魚群密度圖，簡明地解釋魚群密度圖的含意。魚群密度圖(於下簡稱密度圖)係依據一幀魚群影像的各像素有魚隻出現的機率分佈而產生的相當於該幀影像的魚群分佈圖。以機率觀點而言，密度圖相當於由總格數等於魚群影像的總像素數(解析度)而格中數字代表魚隻出現的機率之機率分佈圖。
在訓練步驟202中，設定訓練準則來訓練神經網路以達到最逼近真實應用的結果。將作為學習樣本的各幀魚群影像，以下述公式(1)產生對應的魚群密度圖作為學習參考，公式(1)係由藍匹斯基(Lempitsky)提出 以表示某區域F中特定標示物的密度圖：
Figure 110131192-A0101-12-0010-1
 其中，D(p)是區域F中的密度圖，p表示位置，pκ表示第k個位置。
根據本發明實施例，設計下述公式(2)來產生對應於各幀魚群影像圖的密度圖：
P g (y i =1|X,Θ)=P(Y=1|X,Θ)＊g(p；0,Σ) (2)其中，Y=代表整幀影像的所有像素yi，＊表示卷積運算，g(p；0,Σ)代表期望值與共變異數矩陣分別為0與Σ的高斯密度函數，此處，P(Y=1|X,Θ)係表整幀影像有魚的機率。
使用公式(1)產生的魚群密度圖會作為訓練過程中的比較參考，以與公式(2)產生的密度圖相比較，用於評估訓練。如上所述，一幀影像中強像素標示區中的魚隻最明確可數，因而其機率分佈最為可靠，可用以作為評估其它像素區的魚群機率分佈。因此，在設定練準則時，會考慮各學習樣本的強像素標示區相對於訓練產生的密度圖之機率關係與相對於比較參考之密度圖的機率關係是否達到預定的相符程度或一致性(於下，或簡稱機率比較一致性)，並以此一致性作為評估對其它標示區的學習是否達成訓練目的，換言之，以機率比較一致性的觀點而言，其它標示像素區必須與強像素標示區相符或在預定範圍內。此外，會視強像素標示區相對於比較參考之密度圖之機率關係，設計能最佳地反應魚群影像幀的魚隻機率分佈之機率函數，用以訓練神經網路，以根據公式(2)產生魚群密度圖。於下，將進一步具體說明。
根據本發明的實施例，用於訓練的神經網路可為例如U-Net 架構、P-Net架構或其它架構的神經網路。較佳地，以機率函數P(y i |X,Θ)作為神經網路的學習目標，將其訓練成為機率函數P(y i |X,Θ)神經網路，其中，P(y i |X,Θ)≧0，X代表單幀魚群影像，yi代表整幀影像中的第i個像素，Θ代表神經網路參數，P(y i =1|X,Θ)係表示像素i被標示有一尾魚存在的機率，P(y i =0|X,Θ)表示像素i被標示一尾魚不存在的機率，亦即，P(y i =1|X,Θ)+P(y i =0|X,Θ)=1。
接著，根據訓練準則的精神，定義損失函數，並以損失函數最小化代表示訓練完成並符合預期目標。根據本發明的實施例，損失函數L(Θ|Θ')設定如下：
Figure 110131192-A0101-12-0011-2
 其中，S代表所有強標示的像素集合，W代表弱標示的像素集合，Ω代表一張影像裡所有像素的集合，Θ'為前一次疊代神經網路參數，Θ為目前的神經網路參數，α>0與β>0為調整這三項權重的參數。
為簡化說明，將上述損失函數(3)主要分為3-1、3-2及3-3三項，依序為
Figure 110131192-A0101-12-0011-19
、α×
Figure 110131192-A0101-12-0011-20
、及β×
Figure 110131192-A0101-12-0011-21
，其中，3-1項會計算強像素標示區之參考密度圖D(P)與魚群密度圖P(y i |X,Θ)的一致性，3-2項係對非強標示的像素集合進行半監督式學習以達到與強標示像素一致的學習反應，3-3項係對弱標示像素區的訓練結果要滿足該弱標示範圍裡至少有n(n≧2)與至多cn(c>1)尾魚的限制，其中，α及β係權重參數。
在訓練步驟202中，在進行訓練時，教導神經網路以疊代式 及最小化之計算方式，進行損失函數的演算。疊代式計算會根據目前學習到的魚事後機率函數(亦即目前受訓練的神經網路)，計算每個非強標示像素是魚的機率與不是魚的機率，結果，前次疊代認為是魚，下次疊代結果會更傾向是魚，前次疊代認為不是魚，下次疊代結果會更傾向不是魚。值得注意的是，剛開始疊代時神經網路連強標示像素都不吻合。在訓練時，使用原始影像及其經過標示處理後產生的檔案作為輸入，由神經網路如所述般，根據損失函數進行學習演算直到損失函數(3)最小化為止，並將此時取得的權重參數α、β及學習參數Θ分別作為目標權重參數及目標神經參數儲存，如此完成訓練之神經網路可為函數P(y i |X,Θ)神經網路。換言之，任何未經訓練之相同的神經網路具有目標神經參數Θ及目標權重參數α、β，就能成為函數P(y i |X,Θ)神經網路。
在上述中，已明確說明，如何根據訓練準則，設計及使用損失函數及目標函數來訓練神經網路，對各標示像素區的學習能達成預期的機率比較一致性，而達成訓練目標，產生符合應用而求的神經網路。
接著，說明代表密度圖產生步驟203，在此步驟中，將欲估測魚隻數量或分佈之影像輸入至函數P(y i |X,Θ)神經網路，即可產生對應於該幀輸入影像的各像素有魚的機率，再依據上述公式(2)，可產生對應的二維魚群密度圖，此時產生的密度圖於此稱為魚群初始密度圖。由於根據本發明的實施例，使用二個以180度佈置於場域之聲納成像設備101來攝取場域內的影像，所以，同一時刻會有左聲納成像設備101a取得的影像，及右聲納成像設備101b取得的影像，而有分別對應這二幀影像的二張初始魚度密度圖產生。為了使這二張初始密度圖如同由同一視角產生般，會將其中之一， 依據聲納成像設備101的部署方式旋轉，而另一張不作任何旋轉，舉例而言，在本實施例中，將其中一張密度圖旋轉180度。然後，將經過旋轉處理的密度圖與未經旋轉處理的密度圖二者中各個同一位址像素的機率值進行比較，取較大的機率值作為該位址像素的機率值，如此，取得新的密度圖作為該二張初始密度的代表密度圖。如此取得的代表密度圖足以呈現聲納視角場域的完整密度圖。圖5A、圖5B及圖5C分別為示意圖，用以說明代表密度圖的產生過程，為了使圖示簡潔及簡化說明，圖5A至5C的各格係代表各別像素但未顯示真正影像的所有像素，各格中的值係未經歸一化前的數值，歸一化後的數值係代表該位址像素有魚隻出現的機率。舉例而言，圖5A代表左聲納成像設備101a取得的影像之初始密度圖，圖5B代表右聲納成像設備101b同時間取得的影像之經過180度旋轉的初始密度圖，比較圖5A及5B中各同位址像素的值並取其中較大的值作為圖5C中同位址像素的值，如此，取得的圖5C即代表二張初如密度圖。注意，此處所指之某位址像素的機率值係代表該像素是魚的機率。
參考圖6，說明根據本發明的實施例之食慾判斷學習處理600，處理600會依據如上所述產生的魚群代表密度圖來進行處理。魚群食慾判斷學習處理600包含密度圖分割步驟602、歸一化步驟604、分群計算步驟606。
關於密度圖分割步驟602，係以a×b個像素為一塊基本次單元，將解析度為K×L像素之代表密度圖分割成(K/a)×(L/b)塊基本次單元。舉例來說，將如圖9所示的一張640像素寬，480像素高的影像，依128×96個像素為一塊基本次單元進行分割，則取得寬度方向5(=640/128)×高度方向 5(=480/96)=25塊基本次單元，如此可得到，0~127像素寬x0~95像素高的方塊1，128~255像素寬x0~95像素高的方塊2…跟512~639像素寬x384~479像素高的方塊25，這樣分割就可以得到25塊128像素寬x96像素高的密度次單元。將如此分割而得的各區塊，依由左至右、由上至下依序分割的次序編號。
在步驟604中，分別將25塊次單元中各單元的每個像素點(96x128)的機率值進行加總後，可得到各個次單元的機率總值，在將各個次單元的機率總值除以該幀影像密度圖的機率總值S，即可完成各次單元歸一的化。然後由左至右，由上至下將各個次單元的機率值依序以MxN矩陣形式表示，舉例而言，在本實施例共有25個次單元，可以1x25或5x5矩陣形式表示各次單元機率值，以下為了簡化說明，將以1x25矩陣形式說明。
接著進行分群步驟606，使用分群演算法以將進食事件中選定的連續A(例如100)張代表密度圖分群，這些A張圖都已完成上述歸一化處理。關於分群演算法，可以使用但不侷限於分割式集群分析法(Partitional clustering analysis)、階層式集群分析法(Hierarchical cluster analysis)、密度為基礎的分群(Density Based Clustering)等等分群演算法。根據本實施例，使用如下公式(4)所示之K-平均演算法，將這些A張圖分成B(例如8)個群組S 1,...,S B ，每個群組會找到一個群中心u1,...,u B ：
Figure 110131192-A0101-12-0014-3
 其中，A為選定的連續A(例如100)張密度圖且已完成上述歸一化處理，B為給定的一個常數值(例如8)當作若干個群集中心，xi則代表已完成歸一化處理後的第i張密度圖，值得一提的是，在運算時，xi和uc是均以1x25矩陣形式表示。
根據本實施例使用K-平均演算法時，會依照下述步驟(1)~(4)來進行：(1)給定一個B(例如8)常數值，如此演算法初始會隨機設定B個群集中心，舉例而言，uc代表群集中心，所以總共有8個有u1，u2...u8等8個群集中心；(2)將歸一化後的連續A張密度圖歸類到離自己最近的群集中心，歸類準則係依∥xi-uc∥2計算後而得的歐基里德距離平方值而定。如上所述，由於設定8個群集中心，所以每幀密度圖可得到8組距離平方值，取8組值中的最小值，將每幀密度圖歸類到其本身最小值的群集中心。舉例而言，根據上述公式的計算，針對A1密度圖對u1群集中心可得距離平方值為0.5，對u2為0.7，對u3為0.9，對u4為1.7，對u5為0.1，對u6為0.7，對u7為2.5，對u8為1.7，則將A1歸類至最小值u5的第五群。如此，計算完A張後會將各張分別歸類至所屬之群，舉例來說，在如上所述A=100及uc=8的條件下，可得第1群有A1，A3，A10，A98共4張，第2群有A2，A4，A5，A99，A100共5張，...，第8群有A32，A36...A97有15張，第1群到第8群總共會有100張；(3)將分別屬於各群的所有影像的次單元機率值分別相加後除以該群總影像張數而得新的群集中心，舉例來說，第1群有A1，A3，A10，A98共4張，將這4張的各別u1相加再除以總張數即可得到新u1，如此得到新u1當作第1群的群集中心；以及，(4)重複2-3步驟，直到群集中心不變動，即代表分群完畢。如次得到的新的群集中心，u1，u2...uc作為各群集的代表中心(於下亦稱為基準群集中心)以用於後續處理。由於各群集代表中心係以矩陣或向量方式呈現，所以，也可稱為群集代表向量或矩陣。
在上述中，已說明魚群分佈學習處理以及分群學習處理，前者，完成訓練後會取得具有執行應用所須的工作參數Θ之目標函數(在本實 施例中為函數P(y i |X,Θ))神經網路，當要判別食慾的魚群影像幀輸入至此神經網路時，依據上述2D魚群密度圖產生公式(2)，該幀影像會被自動地轉換成魚群代表密度圖，而後者之訓練結果會取得群集代表向量uc，以作為判斷食慾的基準。
接著，將說明根據本發明的使用人工智慧之魚群食慾判斷方法。如圖7所示，根據本實施例，人工智慧之魚群食慾判斷方法700，會使用如上所述完成訓練之具有參數Θ值的函數神經網路，依據2D密度圖公式(2)，將輸入之要判別食慾的魚群影像自動地轉換成魚群代表密度圖，其次，將代表密度圖如上所述地分割及歸一化，然後，根據下述相對熵公式來計算要判別的代表密度圖與訓練結果取得的基準群集中心uc之差異：
Figure 110131192-A0101-12-0016-4
 其中，B為群中心個數，Y h→B 為進食事件中第h幀圖之基準群集中心u i 對p ij 進行B次相對熵公式運算並取最小值所得之大於0的差異值，h為進食事件期間第一幀到最後一幀且h是整數，N代表密度圖分割成密度次單元的塊數，j=1...N，代表將N塊密度次單元由左至右，由上至下進行排序的序號，p ij 代表相對熵公式來計算要判別的代表密度圖，u i 為第i個基準群集中心，i=1...B。
接著，將以舉例方式具體說明如何使用上述公式來找出差異性，舉例而言，當h=3，B=8，N=25，此時Y 3→8代表進食期間第3幀的影像密度圖對8個基準群集中心所得之大於0的最小差異值，其中p 3j 代表第3群集中心各個次單元機率值，j=1...25，u i 為第i個基準群集中心，i=1...8。依照上述相對熵公式，對8個基準群集中心進行運算，共取得8個值，然後，取其中 大於0之最小值當作該幀影像的差異值。上述雖使用公式(5)來計算差異值，但此僅為舉例說明，本發明不侷限於此，而是可以使用任何能計算向量與向量之間的距離差的演算法，例如餘弦距離(Cosine Distance)、曼哈頓距離(Manhattan Distance)等等。
最後，根據上述所取得的差異值Y h→B 與預定閥值比較，來決定魚群進食的狀況。舉例而言，當連續多個影像中差異值(Y h→B )大於第一預定閥值(例如Y h→B >0.2)的影像可被視為魚群開始進食，當大於第二閥值(例如Y h→B >0.5)時的影像可被視為進食最激烈。然後根據開始進食的時刻到進食中最激烈的時刻之間的時間差△T，來判定食慾的強弱，舉例來說，在110幀時Y 110→B >0.2且被判定為開始進食及在140幀時Y 140→B >0.5且被判定為進食最激烈，則△T=(140幀-110幀)/30=1個時間單位。如此連續蒐集x筆連續天數的△Tx後，將這些△Tx進行大小排序，△Tx越大的進食事件則判斷這些進食事件中魚群食慾較不好，△Tx越小的進食事件則判斷這些進食事件中魚群食慾較好。
另外，當多個△TX中有至少一個發生異常(例如過大)情況時，可能表示：魚長大了需要增加飼料量、水溫升高或降低、水質不良或溶氧不足等等養殖環境變化而導致魚群食慾變壞、魚群生病導致食慾不佳、投餵的飼料發生變質等等原因。當此情況發生時，提供警示，以即時改善養殖環境或條件等等。
圖8係方塊圖，用以說明根本發明的人工智慧魚群食慾判斷系統800。如圖8所示，系統800包含成像模組801、神經網路模組802、處理單元803、通訊單元804。舉例而言成像模組801可為聲納成像設備，用以拍 攝魚群影像並傳送給模組802。模組802設有經過人工智慧訓練取得的具有訓練完成的神經網路參數Θ值之函數神經網路，且可以內建2維魚群密度圖產生函數，舉例而言，2維魚群密度圖產生函數可為如上所示之公式(2)：P(Y=1|X,Θ)＊g(p；0,Σ)，模組802會將成像設備801傳送來的影像自動地轉換成代表密度圖並傳送給處理單元803。處理單元803可以根據內建或輸入的人工智慧訓練階段取得的基準群集中心(基準群集向量)，使用根據本發明的食慾判斷方法判斷養殖的魚群的食慾。通訊單元804可以依Lora、Wifi、GMS等各種通訊協定與外部單元通訊，外部單元可為雲端網路、物聯網、養殖設備等等。
較佳地，根據本發明的系統800中的各單元或模組可以一起形成於同一設備中，或個別地或彼此以任何組合分設於不同處。舉例而言，成像模組801、神經模組802、及通訊單元804可以形成為一體而成為具有人工智慧之魚群成像設備，而處理單元804設於雲端、物聯網、水上載具或其它具有通訊功能的電腦設備中。或者，成像模組801及通訊單元804一體地設於養殖場域中，神經模組802、處理單元804設於雲端、物聯網、水上載具或其它具有通訊功能的電腦設備中。
在上述中，以舉例方式說明根據本發明的人工智慧魚群食慾判斷訓練方法、人工智慧魚群食慾判斷方法、及人工智慧魚群食慾判斷訓練。從上述說明中，習於此技藝者應能瞭解本發明相較於先前技術具有顯著優點及功效。舉例而言，根據本發明，可以在不驚擾魚群的狀況下，根據自動食慾判斷的結果，即可有效地決定是否要改變養殖環境、改變餵食量或配方、採取促進魚群健康狀態的措施等等。
雖然已於上述中說明本發明的較佳實施例，但是，這些僅為說明之用且不應被解譯為限定本發明之範圍，在不悖離本發明的精神之下，習於此技藝者可以執行很多修改，後附之申請專利範圍涵蓋所有這些落在發明的範圍及精神之內的修改。
200:魚群分佈學習處理
201:標示步驟
202:訓練步驟
203:代表密度圖產生步驟

Claims (12)

  1. 一種人工智慧養殖魚群食慾判斷學習方法，使用至少二個成像設備拍攝取得之眾多幀魚群影像作為眾多學習樣本，該方法包含下述步驟：
    標示步驟，以強標示、弱標示、及未標示之方式，將各該學習樣本進行標示，以區分為明確具有一尾魚或完全無魚的強像素標示區、至少有二尾魚的弱像素標示區、及未標示像素區；
    訓練步驟，根據該強像素標示區相對於所屬的學習樣本之機率關係產生目標機率函數，以及依據該弱像素標示區及該未標示像素區對該所屬的學習樣本之各別機率關係與該目標機率函數分別對應的計算結果達成一致性，作為訓練準則，來教導神經網路成為該目標機率函數神經網路；
    代表密度圖產生步驟，依樣本取得時刻相同而分成同一組之方式，將該眾多學習樣本由該目標機率函數神經網路產生的對應密度圖分組，依據該至少二個成像設備的場域配置關係，將同組中各密度圖處理成如同從同一視角取得，再以各組密度圖中相同位址的像素的最大機率值代表要產生的代表密度圖之相同位址像素的機率值，而產生眾多代表密度圖；以及，
    分群步驟，使用分群演算法，將該眾多代表密度圖中連續取得的多個代表密度圖，以預定組數分群，藉以取得該預定組數的群集代表向量，用以作為判斷魚群食慾的基準。
  2. 如請求項1之學習方法，其中，該目標機率函數是P(y i |X,Θ)，X代表單幀影像，yi代表整幀影像中的第i個像素，Θ代表神經網路參數，P(y i =1|X,Θ)係表示像素i被標示有一尾魚存在的機率，以及，依據該訓練準則設計損失函數為L(Θ|Θ')：
    Figure 110131192-A0101-13-0002-5
     其中，S代表所有強像素標示區，W代表弱像素標示區所形成的集合，Ω代表一張影像裡所有像素的集合，Θ為目前神經網路參數，Θ'為前一次疊代神經網路參數，D(p i )為參考密度圖函數，P g (y i =1|X,Θ)為目標密度圖函數，α>0與β>0為權重參數；
    其中，對該損失函數進行疊代計算，直至該損失函數最小化，以及將該最小化時取得的神經參數Θ、及權重參數α和β作為目標神經參數及權重參數，藉以使神經網路成為該目標機率函數神經網路。
  3. 如請求項1之學習方法，其中，該至少一成像設備是二個180度間隔配置的聲納成像設備。
  4. 如請求項1項之學習方法，其中，該分群演算法係選自分割式集群分析法、階層式集群分析法、及密度為基礎的分群法組成的族群中之一。
  5. 如請求項1項之學習方法，其中，在該分群步驟之前又包含分割步驟，將該代表密度圖依a×b個像素為單位，將解析度為K×L像素之該代表密度圖分割成(K/a)×(L/b)塊基本次單元。
  6. 一種使用人工智慧之養殖魚群食慾判斷方法，包含下述：
    使用至少二成像設備取得預定進食期間連續多幀魚群影像；
    使用如請求項1之學習方法完成訓練的目標機率函數神經網路，將該連續多幀魚群影像轉換成多張對應的代表密度圖；
    使用向量與向量之間的距離演算法，計算各代表密度圖的與如請求項1之學習方法取得的預定組數群集代表向量的最小距離，以作為各該代表密度圖的差異值；以及，
    根據拍攝時序，選取差異值最早大於第一預定值的代表密度圖之拍攝時刻作為進食開始時刻，以及，選取差異值最早大於第二預定值的代表密度圖之拍攝時刻作為進食最激烈時刻，根據該最激烈時刻與該拍攝時刻之時間差，決定該魚群的食慾強度。
  7. 如請求項6之判斷方法，其中，又將各該代表密度圖依a×b個像素為單位，將該代表密度圖分割成N塊次單元，以及，根據下述相對熵公式來計算該各代表密度圖與該預定組數群集代表向量的最小距離：
    Figure 110131192-A0101-13-0003-6
     其中，B為該預定組數，Y h→B 為進食期件第h幀圖之群集代表向量u i 對p ij 進行B次相對熵公式運算並取最小值所得之大於0的差異值，h為進食期間第一幀到最後一幀且h是整數，N代表密度圖分割成次單元的塊數，j=1...N，代表將N塊次單元由左至右，由上至下進行排序的序號，p ij 代表第B個群集中心第j次單元機率值，j=1...25，u i 為第i個基準群集中心，i=1...B。
  8. 如請求項6之判斷方法，其中，該至少一成像設備是二個180度間隔配置的聲納成像設備。
  9. 一種人工智慧養殖魚群食慾判斷系統，包括：
    至少二成像模組，用於拍攝該養殖魚群；
    神經網路模組，包含使用如請求項1之學習方法完成訓練的目標機率函數神經網路；
    處理單元；以及
    通訊單元，
    其中，該神經網路模組與該處理單元彼此協力運作，以將拍攝的該養殖魚群影像轉換成魚群密度圖，以及，使用如請求項6或7中任一項之判斷方法，判斷該養殖魚群的食慾強弱。
  10. 如請求項9之系統，其中，該至少二成像模組包含聲納成像設備。
  11. 如請求項9之系統，其中，該神經網路模組及該處理單元中至少之一設置於雲端、物聯網或養殖設備中。
  12. 如請求項9之系統，其中，該神經網路模組及該處理單元中至少之一與該至少一成像模組設置成一體。
TW110131192A 2021-08-24 2021-08-24 人工智慧養殖魚群食慾判斷方法與系統 TWI799962B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
TW110131192A TWI799962B (zh) 2021-08-24 2021-08-24 人工智慧養殖魚群食慾判斷方法與系統

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW110131192A TWI799962B (zh) 2021-08-24 2021-08-24 人工智慧養殖魚群食慾判斷方法與系統

Publications (2)

Publication Number Publication Date
TW202309823A true TW202309823A (zh) 2023-03-01
TWI799962B TWI799962B (zh) 2023-04-21

Family

ID=86690801

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110131192A TWI799962B (zh) 2021-08-24 2021-08-24 人工智慧養殖魚群食慾判斷方法與系統

Country Status (1)

Country Link
TW (1) TWI799962B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757491A (zh) * 2023-05-18 2023-09-15 济南大学 基于人工鱼群算法的储能系统优化配置方法及储能系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6624629B2 (ja) * 2014-10-10 2019-12-25 Ｎｅｃソリューションイノベータ株式会社 魚計数装置、魚計数方法、魚数の予測装置、魚数の予測方法、魚計数システムおよび魚数予測システム
US10028452B2 (en) * 2016-04-04 2018-07-24 Beesprout, Llc Horticultural monitoring system
GB201717821D0 (en) * 2017-10-30 2017-12-13 Institute Of Science And Tech Austria (Ist Austria) System and method
TWI661770B (zh) * 2018-05-31 2019-06-11 National Chin-Yi University Of Technology 智慧深度學習農漁培養系統

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116757491A (zh) * 2023-05-18 2023-09-15 济南大学 基于人工鱼群算法的储能系统优化配置方法及储能系统

Also Published As

Publication number Publication date
TWI799962B (zh) 2023-04-21

Similar Documents

Publication Publication Date Title
Yang et al. Computer vision models in intelligent aquaculture with emphasis on fish detection and behavior analysis: a review
Álvarez-Ellacuría et al. Image-based, unsupervised estimation of fish size from commercial landings using deep learning
Mohamed et al. Msr-yolo: Method to enhance fish detection and tracking in fish farms
Kellenberger et al. 21 000 birds in 4.5 h: efficient large‐scale seabird detection with machine learning
Cisar et al. Computer vision based individual fish identification using skin dot pattern
Hayes et al. Drones and deep learning produce accurate and efficient monitoring of large-scale seabird colonies
CN114863263B (zh) 基于跨尺度分层特征融合对类内遮挡的乌鳢检测的方法
Abe et al. Development of fish spatio-temporal identifying technology using SegNet in aquaculture net cages
CN115578423A (zh) 基于深度学习的鱼类关键点检测、个体追踪和生物量估算方法及系统
Wang et al. Vision-based in situ monitoring of plankton size spectra via a convolutional neural network
CN116778309A (zh) 残饵监测方法、装置、系统和存储介质
Isa et al. CNN transfer learning of shrimp detection for underwater vision system
Liao et al. 3DPhenoFish: Application for two-and three-dimensional fish morphological phenotype extraction from point cloud analysis
Shah et al. An enhanced YOLOv5 model for fish species recognition from underwater environments
Liu et al. Research progress of computer vision technology in abnormal fish detection
TWI778762B (zh) 智慧養殖魚隻數量估算方法及系統
Newlands et al. Measurement of the size, shape and structure of Atlantic bluefin tuna schools in the open ocean
Jovanović et al. Splash detection in fish Plants surveillance videos using deep learning
CN114037737B (zh) 一种基于神经网络的近岸海底鱼类检测及跟踪统计方法
TW202309823A (zh) 人工智慧養殖魚群食慾判斷方法與系統
CN112464742B (zh) 赤潮图像自动识别的方法及装置
Yue et al. A multi-scale features-based method to detect Oplegnathus
Zhang et al. Msgnet: multi-source guidance network for fish segmentation in underwater videos
CN114821658A (zh) 牛脸识别方法、运行控制装置、电子设备及存储介质
Han et al. A deep learning model for automatic plastic waste monitoring using unmanned aerial vehicle (UAV) data