TWI843285B - 基於深度學習之密度估計網路架構的蝦苗計數系統與方法 - Google Patents
基於深度學習之密度估計網路架構的蝦苗計數系統與方法 Download PDFInfo
- Publication number
- TWI843285B TWI843285B TW111143204A TW111143204A TWI843285B TW I843285 B TWI843285 B TW I843285B TW 111143204 A TW111143204 A TW 111143204A TW 111143204 A TW111143204 A TW 111143204A TW I843285 B TWI843285 B TW I843285B
- Authority
- TW
- Taiwan
- Prior art keywords
- shrimp
- image
- network architecture
- seedlings
- deep learning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 238000013135 deep learning Methods 0.000 title claims abstract description 23
- 241000143060 Americamysis bahia Species 0.000 title claims 2
- 241000238557 Decapoda Species 0.000 claims abstract description 154
- 238000013527 convolutional neural network Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 28
- 210000004185 liver Anatomy 0.000 claims description 20
- 238000012360 testing method Methods 0.000 claims description 16
- 238000012549 training Methods 0.000 claims description 16
- 230000008569 process Effects 0.000 claims description 10
- 238000004364 calculation method Methods 0.000 claims description 7
- 230000000694 effects Effects 0.000 claims description 5
- 238000010606 normalization Methods 0.000 claims description 4
- 238000013079 data visualisation Methods 0.000 claims description 2
- 230000008034 disappearance Effects 0.000 claims description 2
- 230000005284 excitation Effects 0.000 claims description 2
- 238000004880 explosion Methods 0.000 claims description 2
- 238000005259 measurement Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 7
- 238000009360 aquaculture Methods 0.000 description 5
- 244000144974 aquaculture Species 0.000 description 5
- 235000014102 seafood Nutrition 0.000 description 4
- 235000013305 food Nutrition 0.000 description 3
- 230000001965 increasing effect Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 241000530454 Litopenaeus schmitti Species 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000007812 deficiency Effects 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000037213 diet Effects 0.000 description 1
- 235000005911 diet Nutrition 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 238000003912 environmental pollution Methods 0.000 description 1
- 230000003631 expected effect Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000009313 farming Methods 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 235000012054 meals Nutrition 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 235000015097 nutrients Nutrition 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012552 review Methods 0.000 description 1
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 1
Landscapes
- Image Analysis (AREA)
Abstract
本發明係有關於一種基於深度學習之密度估計網路架構的蝦苗計數系統與方法，其主要係令電腦設備安裝有蝦苗計數程式，且於電腦設備分別連接有顯示螢幕及輸入單元，顯示螢幕供顯示該蝦苗計數程式執行畫面，而輸入單元則供操作人員進行各項操作輸入，令影像擷取裝置與電腦設備連接，以供拍攝蝦苗影像，令蝦苗盛裝容器供盛裝蝦苗，以讓影像擷取裝置進行拍攝；藉此，即可利用深度學習達到快速、準確點算大量蝦隻，取代傳統蝦苗點算的費時、費力、高誤差的點算方法，而在其整體施行使用上更增實用功效特性者。
Description
本發明係有關於一種基於深度學習之密度估計網路架構的蝦苗計數系統與方法，尤其是指一種利用深度學習達到快速、準確點算大量蝦隻，取代傳統蝦苗點算的費時、費力、高誤差的點算方法，而在其整體施行使用上更增實用功效特性者。
按，世界人口數量近年來快速增長，人們對於食物的需求量同時也逐漸提高，而海鮮類在充滿豐沛的生態中，本身即是一種高營養的食物來源之一，在面對人口快速成長的情況下，同時也產生出許多不同類型的行業來面對快速成長下人們對食物的需求。
在全球飲食當中，海鮮佔了其中一大比例，海鮮擁有人們所需的營養，而海鮮的來源除了從海洋捕撈以外，也能透過水產養殖穩定生產，近年來因遠洋漁業成為全球漁業發展最快速的產業之一，但由於過度的捕撈及航運的頻繁運輸，將會導致生態破壞、環境污
染以及全球漁業資源的枯竭，因此進而產生了水產養殖業的出現。
臺灣因位於亞熱帶地區且四面環海，使得天氣及環境條件都十分適合水產養殖業的發展，在水產養殖業中具有非常大之優勢，目前臺灣的沿海地區也成為了許多水產生物的產卵場，人們在日常生活中也從海洋中獲得了許多資源，豐富了人們的生活，使餐點有更多種選擇，同時也能作為經濟作物販售。
在臺灣水產養殖業中，蝦苗養殖一直是很重要的議題，而蝦苗計數是一個費時且費力的必經過程，在傳統的蝦苗計數通常分為碗計數、比例法、人工點算等方法；其中，碗計數為先把蝦苗裝入三角形的撈網中，撈網底部不離水面，使蝦苗達到一定密集程度，用統一規定大小的碗量取；比例法為買家與賣家各取一袋蝦苗，人工計數出一碗有幾隻並取平均值，取出值後決定要買幾碗；而人工點算為最為耗時且費力之方式，通常僅用於不大量的買賣，點算方法為單隻點算，要幾隻點幾隻。
上述各類方法不僅耗時費力，在面對大量幼苗的情況下也不準確，以具有經驗的蝦苗養殖業者來做點算，雖準確度較高，但不同的養殖業者點算的結果誤差也依舊不穩定，對於消費者而言，沒有較為公正的蝦苗計算方式，沒有任何依據能判斷蝦苗業者所說的數字是否正確。
另，雖有業者研發出蝦苗點算機，但此類蝦苗點算機之體積非常龐大，且學習成本及機器成本也高，對於養殖數量不大的蝦農
來說CP值極低，若購入此種蝦苗點算機，蝦農可能需要好幾年才會回本。
緣是，發明人有鑑於此，秉持多年該相關行業之豐富設計開發及實際製作經驗，針對現有之缺失予以研究改良，提供一種基於深度學習之密度估計網路架構的蝦苗計數系統與方法，以期達到更佳實用價值性之目的者。
本發明之主要目的在於提供一種基於深度學習之密度估計網路架構的蝦苗計數系統與方法，其主要係利用深度學習達到快速、準確點算大量蝦隻，取代傳統蝦苗點算的費時、費力、高誤差的點算方法，而在其整體施行使用上更增實用功效特性者。
1:電腦設備
11:顯示螢幕
12:輸入單元
2:影像擷取裝置
3:蝦苗盛裝容器
第一圖：本發明之整體架構示意圖
第二圖：本發明之網路架構圖
第三圖：本發明之多列卷積神經網路架構示意圖
第四圖：本發明之特徵圖編碼器編碼模組示意圖
為令本發明所運用之技術內容、發明目的及其達成之功效有更完整且清楚的揭露，茲於下詳細說明之，並請一併參閱所揭之圖
式及圖號：
首先，請參閱第一圖本發明之整體架構示意圖所示，本發明主要係包括有電腦設備(1)、影像擷取裝置(2)及蝦苗盛裝容器(3)；其中：
該電腦設備(1)，其安裝有蝦苗計數程式，且於該電腦設備(1)分別連接有顯示螢幕(11)及輸入單元(12)，該顯示螢幕(11)供顯示該蝦苗計數程式執行畫面，而該輸入單元(12)則供操作人員進行各項操作輸入。
該影像擷取裝置(2)，其與該電腦設備(1)連接，以利用該影像擷取裝置(2)拍攝蝦苗影像。
該蝦苗盛裝容器(3)，其供盛裝蝦苗，以讓該影像擷取裝置(2)進行拍攝。
而該電腦設備(1)所安裝之該蝦苗計數程式，其於程式開發方面，主要係採用Python程式語言開發，而在深度學習框架則係採用了Tensorflow搭配Keras API，其為多列網路架構，非常適合用於密集物件計數，使得能於蝦苗計數中得出更好的預測結果。
請再一併參閱第二圖本發明之網路架構圖所示，該電腦設備(1)所安裝之該蝦苗計數程式係採用多列卷積神經網路〔Convolutional Neural Network，CNN〕概念，由於蝦苗在每張影像中為極小且會重疊，使得於每次卷積前先加入一層1×1大小的卷積
層，取出該影像更細部特徵，利用了這種方法可以在取得特徵時精確至1像素的特徵，而非常適合用於蝦苗此種極小物件的特徵提取。
在取得樣本方面，係以白蝦蝦苗做為樣本，單隻蝦苗大小約為5毫米以下，且蝦種大小分類為紅筋大小之蝦苗，該樣本有著大量重疊及極小等問題，同時也取得較少數量之樣本用於標註資料集及訓練、測試，並以4K 60fps格式拍攝以取得較清晰之樣本，並使用FFMPEG團隊規範之開源軟體FFMPEG將影片分幀轉換為圖片，再將取得之圖片壓縮為1280×720像素大小用以標註及測試，並降低訓練模型時之硬體負擔，標記時採用MATLAB撰寫程式來紀錄標記點的圖片座標，每張樣本皆經過人工標註後再放入模型進行訓練並取得測試結果。
在一張在密集的蝦苗影像中，通常是由各種重疊的極小蝦苗所組成，使得本發明藉由多列卷積神經網路〔Convolutional Neural Network，CNN〕架構提取不同大小的蝦苗特徵圖來達到克服特徵學習時所遇到的遮擋、重疊等問題〔請再一併參閱第三圖本發明之多列卷積神經網路架構示意圖所示〕；該多列卷積神經網路架構最大特點，會先經過一系列不同大小的卷積層，使其學習不同大小的特徵，卷積後再將其合併回單列架構，最後預測出需要預測的物件並取得相對應預測結果。
該多列卷積神經網路架構並搭配特徵圖編碼器〔Feature
Map Encoder，FME〕編碼模組進行編碼，其可打破不同列之間的獨立架構，透過該特徵圖編碼器編碼模組可以更好的截取不同大小的特徵，且該特徵圖編碼器架構非常彈性並為模組化，能令該多列卷積神經網路架構隨意拓展到任意大小的分支〔請再一併參閱第四圖本發明之特徵圖編碼器編碼模組示意圖所示〕，該特徵圖編碼器編碼模組使用的是1×1，3×3，5×5，7×7四個分支，其中1×1是為了保留上一層的特徵解析度，且於每組的特徵圖編碼器編碼模組中之開頭增加了1×1卷積層，利用這樣可以更好的學習小物件的特徵，其餘的卷積大小是為了學習其他大小特徵來避免只有極小特徵被學習到，利用了這種方法，有利於用在密集物件的計數，可以成為提升密集蝦苗計數能力的方法之一，且尺度多樣性，使其更有彈性的調整該多列卷積神經網路架構的任何解析度分支。
而由於在密集物件計數中，於預測結果輸出時的熱點圖解析度都會有所壓縮，使得即可透過密度圖估算器〔Density Map Estimator，DME〕解碼模組進行解碼來解決此問題，該多列卷積神經網路架構透過了該特徵圖編碼器編碼模組卷積過圖片後，已經將該張需要處理的圖片特徵進行編碼，編碼過後必須要將其透過解碼後才可以得出結果，即可採用該密度圖估算器解碼模組解碼圖片來實現解碼，以得出原始解析度的輸出，該密度圖估算器解碼模組是由一系列的反卷積層組成，反卷積層又稱為轉置卷積層，在深度學習領域中反卷積就是卷積的一個逆向過程，雖然說是逆向過程，但其反卷積出來的資料僅為恢復原始輸入的圖片解析度，並不包含
原始圖片的完整資料，而該密度圖估算器解碼模組採用了四個卷積層來逐步回復出原始輸入圖片可能擁有的細節，其中包含了大小9×9、7×7、5×5、3×3等共四個卷積層來細化圖片特徵，同時也利用了三個反卷積層，利用這三個反卷積層來修復圖片解析度把每個卷積尺寸增加兩倍，接著再透過一個1×1大小的卷積層來估計每個位置可能擁有的蝦苗數量，透過這樣一系列的反卷積，以及最終的卷積預測，即可得出各像素可能存在的蝦苗數量，此時再將得出的數字透過資料視覺化的方式經過處理，即可得出原始解析度的熱點圖，也因為這種方法可以使模型在訓練過程中取得到更精確的特徵訊息，同時也提供了更多更好的空間訊息，而在這一系列的密度圖估算器解碼模組及特徵圖編碼器編碼模組中，在每一組特徵圖編碼器編碼模組及密度圖估算器解碼模組皆會使用激勵函數ReLU來解決非線性問題，來避免梯度消失及梯度爆炸問題，透過這一系列的解編碼，即可使該多列卷積神經網路架構學習時更加準確及有效率。
而該多列卷積神經網路架構為了解決梯度消失的問題，令該特徵圖編碼器編碼模組及該密度圖估算器解碼模組在做兩者結合時能穩定收斂，使得即於該多列卷積神經網路架構中加入IN〔Instance Normalization〕層，該IN層是針對每張圖片採正規化，使得不僅在該多列卷積神經網路架構訓練過程中可以簡化訓練流程、簡化訓練參數量，且同時也可以大幅提高性能，並可以有效解決梯度消失的問題。
另，該多列卷積神經網路架構在深度學習領域中，選用結合歐式距離損失函數及結構相似性〔Structural Similarity，SSIM〕指標的損失函數方法，在該結構相似性指標中，其會衡量預測出來的密度圖與原始輸入之基準真相〔Ground_Truth〕真實值之間的相似性，該結構相似性指標中得出的值會由-1至1，當預測值及原始值兩者完全相同時即會輸出1，反之若預測值與實際值相差愈大則其輸出會愈接近-1，該結構相似性指標可更好的計算出局部一致性〔Local Pattern Consistency〕，其不僅只有評估單一像素的一致性，而是採計算周圍的一致性，該結構相似性指標可以得出更接近真實情況的模型損失值，更好的評估出該模型的強健性，接著將歐式距離損失函數與結構相似性指標相加，最終其計算公式如下列公式(1)所示，其L〔Loss〕代表損失函數，L E 代表歐式損失函數，a c 為設定局部損失的權重值，予以設定為0.001，N係為該次測試之像素數，x則代表輸入的圖片，透過結合歐式距離損失函數及結構相似性〔Structural Similarity〕指標的損失函數方法，即更適合評估出回歸類型模型的強健性。
使得整合上述方法，即可建構出擁有與輸入相同解析度的該多列卷積神經網路架構，予以將其用於密集物件計數。
又，該多列卷積神經網路架構係採用監督式學習，其需要在訓練過程中提供原始蝦苗影像的基準真相〔Ground-Truth〕真實標
記，而在訓練影像中的真實標記對於該多列卷積神經網路架構能否用於準確計算出影像中蝦苗的數目有著極重要的影響性，由於一般蝦苗有著半透明的特徵，而蝦的肝臟一隻僅會有一個，令於標記蝦苗圖片時將會以蝦的肝臟為標記目標以作為一隻蝦苗。
假設原始蝦苗影像的特徵圖中肝臟部位在像素x i 處〔以肝臟x i 表示〕，為了將其轉換為蝦苗密度圖，將欲生成蝦苗位置於蝦苗密度圖中設為x與標記的肝臟x i 相減，表示為增量函數δ(x-x i )，上述所提及標記的蝦苗位置，則生成原始蝦苗影像的蝦苗密度圖則為真實標記；對於原始蝦苗影像特徵圖中的N個標記總肝臟數，可將其表示成公式(2)所示。
為了從蝦苗密度圖中算出蝦苗數量，使用高斯函數與公式(2)中的增量函數相乘，如公式(3)所示。
其中，N代表總標記蝦苗數，σ為高斯函數的變異數，該參數須根據每個蝦苗的蝦苗大小做調整，但是在密集的蝦苗圖像中幾乎不可能針對每隻蝦苗肝臟不同的大小做調整，因此很難準確定義每隻蝦苗的肝臟大小，使得即將該高斯函數的變異數σ調整為每個肝臟之間的平均距離。
假設蝦苗均勻分布於每隻蝦苗的肝臟周圍，每隻蝦苗與其k個鄰居之間的平均距離可以提供可行的失真〔geometric distortion〕估計方法。對於影像中每隻蝦苗的肝臟x i 與其k個鄰居的距離分別為{
,
,...,
}，因此將平均距離設為
，且設定β為初始的變異數，則密度函數如公式(4)所示。
對於參數β，採用的β=0.1做為參數來設定。經由上述的方式即可產生出真實標記點外擴後代表每像素點可能有的蝦苗數量，取得該每像素點可能有的蝦苗數量後再將其加總即可取得總蝦苗數量，再將產生出各像素點透過Python程式語言之matplotlib套件之cm.jet方法即可將所得出各像素點將其做資料視覺化的動作，即可將個像素點轉為相對應顏色熱點圖。
如此一來，使得即可將蝦苗盛裝於該蝦苗盛裝容器(3)中，且於該電腦設備(1)執行該蝦苗計數程式，利用該影像擷取裝置(2)拍攝該蝦苗盛裝容器(3)中所盛裝的蝦苗影像，並輸入該電腦設備(1)中進行蝦苗計數，而由於該蝦苗計數程式之網路架構為回歸類型網路架構，於深度學習領域中較常用的回歸類型架構評估指標為觀察預測值與實際值的差距，採用平均絕對誤差〔MAE〕及平均平方誤差〔MSE〕兩種指標，並計算出平均絕對百分比誤差〔MAPE〕誤差值。採用223隻至989隻不等的蝦苗圖片作為測試集，指標評
估測試張數及蝦苗詳細數量如下表一所示。
該指標平均絕對誤差〔Mean Absolute Error，MAE〕代表值為絕對誤差的平均值，其計算公式如下列公式(6)所示，其中N代表測試影像的數量，y i 代表原始影像的真實蝦苗數量，而
則代表估計的蝦苗數量，利用此指標可以更好地反映預測值誤差的實際情況，其數值愈低代表該模型預測效果愈佳。
而該指標平均平方誤差〔Mean Square Error，MSE〕是各測量值誤差的平方和取平均值的平方根，其計算方式如下列公式(7)所示，其中N代表測試影像的數量，y i 代表原始影像的真實蝦苗數量，而
則代表估計出的蝦苗數量，利用這種方式得出數值可以評價數據的變化程度，其數值愈低代表該模型預測效果愈佳。
而該指標平均絕對百分比誤差〔Mean Absolute Percentage Error，MAPE〕範圍從0至無窮大，越接近0代表該模型誤差率愈低也就是愈好的模型，若其大於100則代表該模型為非常劣質的模型，其計算公式如下列公式(8)所示，其中N代表測試影像的數量，y i 代表原始影像的真實蝦苗數量，而
則代表估計出的蝦苗數量，利用這樣可以計算出該模型誤差百分比。
另外，平均準確率〔mAP〕可由100%-平均絕對百分比誤差得到。請參閱下表二所示。
進一步計算可得下表三所示，從下表三中可得知本發明在蝦苗數989隻的平均準確率高達98.721%，故本發明非常適合約1000隻蝦苗計數的使用。
藉由以上所述，本發明結構之組成與使用實施說明可知，本發明與現有結構相較之下，本發明主要係利用深度學習達到快速、準確點算大量蝦隻，取代傳統蝦苗點算的費時、費力、高誤差的點算方法，而在其整體施行使用上更增實用功效特性者。
然而前述之實施例或圖式並非限定本發明之產品結構或使用方式，任何所屬技術領域中具有通常知識者之適當變化或修飾，皆應視為不脫離本發明之專利範疇。
綜上所述，本發明實施例確能達到所預期之使用功效，又其所揭露之具體構造，不僅未曾見諸於同類產品中，亦未曾公開於申請前，誠已完全符合專利法之規定與要求，爰依法提出發明專利之申請，懇請惠予審查，並賜准專利，則實感德便。
1:電腦設備
11:顯示螢幕
12:輸入單元
2:影像擷取裝置
3:蝦苗盛裝容器
Claims (9)
- 一種基於深度學習之密度估計網路架構的蝦苗計數方法，其主要係採用多列卷積神經網路〔Convolutional Neural Network，CNN〕概念，於每次卷積前先加入一層1×1大小的卷積層，取出影像更細部特徵；以蝦苗做為樣本，同時也取得較少數量之樣本用於標註資料集及訓練、測試，每張樣本皆經過人工標註後再放入模型進行訓練並取得測試結果；該多列卷積神經網路架構並搭配特徵圖編碼器〔Feature Map Encoder，FME〕編碼模組進行編碼，其可打破不同列之間的獨立架構，透過該特徵圖編碼器編碼模組可以更好的截取不同大小的特徵，且該特徵圖編碼器編碼模組能令該多列卷積神經網路架構隨意拓展到任意大小的分支，該特徵圖編碼器編碼模組使用的是1×1，3×3，5×5，7×7四個分支，其中1×1是為了保留上一層的特徵解析度，且於每組的該特徵圖編碼器編碼模組中之開頭增加了1×1卷積層；該多列卷積神經網路架構採用密度圖估算器〔Density Map Estimator〕解碼模組解碼圖片來實現解碼，以得出原始解析度的輸出，該密度圖估算器解碼模組是由一系列的反卷積層組成，反卷積層又稱為轉置卷積層，而該密度圖估算器解碼模組採用了四個卷積層來逐步回復出原始輸入圖片可 能擁有的細節，其中包含了大小9×9、7×7、5×5、3×3等共四個卷積層來細化圖片特徵，同時也利用了三個反卷積層，利用這三個反卷積層來修復圖片解析度把每個卷積尺寸增加兩倍，接著再透過一個1×1大小的卷積層來估計每個位置可能擁有的蝦苗數量，透過這樣一系列的反卷積，以及最終的卷積預測，即可得出各像素可能存在的蝦苗數量，此時再將得出的數字透過資料視覺化的方式經過處理，即可得出原始解析度的熱點圖，而在這一系列的該密度圖估算器解碼模組及該特徵圖編碼器編碼模組中，在每一組該特徵圖編碼器編碼模組及該密度圖估算器解碼模組皆會使用激勵函數ReLU來解決非線性問題，來避免梯度消失及梯度爆炸問題。
- 如請求項1所述基於深度學習之密度估計網路架構的蝦苗計數方法，其中，該樣本係以4K 60fps格式拍攝取得，且將影片分幀轉換為圖片，再將取得之圖片壓縮為1280×720像素大小用以標註及測試。
- 如請求項1所述基於深度學習之密度估計網路架構的蝦苗計數方法，其中，使用FFMPEG團隊規範之開源軟體FFMPEG將影片分幀轉換為圖片。
- 如請求項1所述基於深度學習之密度估計網路架構的蝦苗計數方法，其中，標記時採用MATLAB撰寫程式來紀錄標 記點的圖片座標。
- 如請求項1所述基於深度學習之密度估計網路架構的蝦苗計數方法，其中，該多列卷積神經網路架構為了解決梯度消失的問題，令該特徵圖編碼器編碼模組及該密度圖估算器解碼模組在做兩者結合時能穩定收斂，使得即於該多列卷積神經網路架構中加入IN〔Instance Normalization〕層，該IN層是針對每張圖片採正規化，使得不僅在該多列卷積神經網路架構訓練過程中可以簡化訓練流程、簡化訓練參數量，且同時也可以大幅提高性能，並可以有效解決梯度消失的問題。
- 如請求項1所述基於深度學習之密度估計網路架構的蝦苗計數方法，其中，該多列卷積神經網路架構在深度學習領域中，選用結合歐式距離損失函數及結構相似性〔Structural Similarity〕指標的損失函數方法，在該結構相似性指標中，其會衡量預測出來的密度圖與原始輸入之基準真相〔Ground_Truth〕真實值之間的相似性，該結構相似性指標中得出的值會由-1至1，當預測值及原始值兩者完全相同時即會輸出1，反之若預測值與實際值相差愈大則其輸出會愈接近-1，該結構相似性指標可更好的計算出局部一致性〔Local Pattern Consistency〕，該結構相似性指標可以得出更接近真實情況的模型損失值，更好的評估出該模型的強健性，接 著將該歐式距離損失函數與該結構相似性指標相加，最終其計算公式如下列公式(1)所示，其L〔Loss〕代表損失函數，L E 代表歐式損失函數，a c 為設定局部損失的權重值，予以設定為0.001，N係為該次測試之像素數，x則代表輸入的圖片，透過結合該歐式距離損失函數及該結構相似性〔Structural Similarity〕指標的損失函數方法，即更適合評估出回歸類型模型的強健性。
- 如請求項1所述基於深度學習之密度估計網路架構的蝦苗計數方法，其中，該多列卷積神經網路架構係採用監督式學習，其需要在訓練過程中提供原始蝦苗影像的真實標記〔Ground-Truth〕，而在訓練影像中的真實標記對於該多列卷積神經網路架構能否用於準確計算出影像中蝦苗的數目有著極重要的影響性，由於一般蝦苗有著半透明的特徵，而蝦的肝臟一隻僅會有一個，令於標記蝦苗圖片時將會以蝦的肝臟為標記目標以作為一隻蝦苗；假設原始蝦苗影像的特徵圖中肝臟部位在像素x i 處〔以肝臟x i 表示〕，為了將其轉換為蝦苗密度圖，將欲生成蝦苗位置於蝦苗密度圖中設為x與標記的該肝臟x i 相減，表示為增量函數δ(x-x i )，上述所提及標記的蝦苗位置，則生成原始蝦苗影像的蝦苗密度圖則為真實標記；對於原始蝦苗影像特 徵圖中的N個標記總肝臟數，可將其表示成公式(2)所示：
,
,...,
}，因此將平均距離設為
，且設定β為初始的變異數，則密度函數如公式(4)所示：
- 如請求項1所述基於深度學習之密度估計網路架構的蝦苗計數方法，其中，進一步採用平均絕對誤差〔Mean Absolute Error，MAE〕及平均平方誤差〔Mean Square Error，MSE〕兩種指標，並計算出平均絕對百分比誤差誤差值；該指標平均絕對誤差代表值為絕對誤差的平均值，其計算公式如下列公式(6)所示，其中N代表測試影像的數量，y i 代表原始影像的真實蝦苗數量，而則代表估計的蝦苗數量，利用此指標可以更好地反映預測值誤差的實際情況，其數值愈低代表該模型預測效果愈佳；
則代表估計出的蝦苗數量，利用這種方式得出數值可以評價數據的變化程度，其數值愈低代表該模型預測效果愈佳；
則代表估計出的蝦苗數量，利用這樣可以計算出該模型誤差百分比；
- 一種基於深度學習之密度估計網路架構的蝦苗計數系統，其主要係包括有電腦設備、影像擷取裝置及蝦苗盛裝容器；其中：該電腦設備，其安裝有依請求項1至8中任一項之方法所設計之蝦苗計數程式，且於該電腦設備分別連接有顯示螢幕及輸入單元，該顯示螢幕供顯示該蝦苗計數程式執行畫面，而該輸入單元則供操作人員進行各項操作輸入；該影像擷取裝置，其與該電腦設備連接，以利用該影像擷取裝置拍攝蝦苗影像；該蝦苗盛裝容器，其供盛裝蝦苗，以讓該影像擷取裝置進行拍攝。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111143204A TWI843285B (zh) | 2022-11-11 | 2022-11-11 | 基於深度學習之密度估計網路架構的蝦苗計數系統與方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| TW111143204A TWI843285B (zh) | 2022-11-11 | 2022-11-11 | 基於深度學習之密度估計網路架構的蝦苗計數系統與方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| TW202418987A TW202418987A (zh) | 2024-05-16 |
| TWI843285B true TWI843285B (zh) | 2024-05-21 |
Family
ID=92073910
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| TW111143204A TWI843285B (zh) | 2022-11-11 | 2022-11-11 | 基於深度學習之密度估計網路架構的蝦苗計數系統與方法 |
Country Status (1)
| Country | Link |
|---|---|
| TW (1) | TWI843285B (zh) |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016405A (zh) * | 2017-02-24 | 2017-08-04 | 中国科学院合肥物质科学研究院 | 一种基于分级预测卷积神经网络的害虫图像分类方法 |
| CN108921822A (zh) * | 2018-06-04 | 2018-11-30 | 中国科学技术大学 | 基于卷积神经网络的图像目标计数方法 |
| CN111353433A (zh) * | 2020-02-28 | 2020-06-30 | 江南大学 | 一种基于对抗尺度一致性追求特征自学习的人群计数方法 |
| CN113284164A (zh) * | 2021-05-19 | 2021-08-20 | 中国农业大学 | 虾群自动计数方法、装置、电子设备及存储介质 |
| WO2021238019A1 (zh) * | 2020-05-29 | 2021-12-02 | 苏州大学 | 基于Ghost卷积特征融合神经网络实时车流量检测系统及方法 |
| CN115272957A (zh) * | 2022-07-08 | 2022-11-01 | 燕山大学 | 一种基于特征交互的人群计数方法 |
-
2022
- 2022-11-11 TW TW111143204A patent/TWI843285B/zh active
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107016405A (zh) * | 2017-02-24 | 2017-08-04 | 中国科学院合肥物质科学研究院 | 一种基于分级预测卷积神经网络的害虫图像分类方法 |
| CN108921822A (zh) * | 2018-06-04 | 2018-11-30 | 中国科学技术大学 | 基于卷积神经网络的图像目标计数方法 |
| CN111353433A (zh) * | 2020-02-28 | 2020-06-30 | 江南大学 | 一种基于对抗尺度一致性追求特征自学习的人群计数方法 |
| WO2021238019A1 (zh) * | 2020-05-29 | 2021-12-02 | 苏州大学 | 基于Ghost卷积特征融合神经网络实时车流量检测系统及方法 |
| CN113284164A (zh) * | 2021-05-19 | 2021-08-20 | 中国农业大学 | 虾群自动计数方法、装置、电子设备及存储介质 |
| CN115272957A (zh) * | 2022-07-08 | 2022-11-01 | 燕山大学 | 一种基于特征交互的人群计数方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| TW202418987A (zh) | 2024-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109829907A (zh) | 一种基于深度学习的金属轴表面缺陷识别方法 | |
| Yu et al. | Counting method for cultured fishes based on multi-modules and attention mechanism | |
| Yu et al. | Non-contact weight estimation system for fish based on instance segmentation | |
| CN109903303A (zh) | 一种基于卷积神经网络的船舶吃水线提取方法 | |
| CN113191222A (zh) | 水下鱼类目标检测方法及装置 | |
| CN106570485A (zh) | 一种基于深度学习的筏式养殖遥感图像场景标注方法 | |
| Sun et al. | Utilization of machine vision to monitor the dynamic responses of rice leaf morphology and colour to nitrogen, phosphorus, and potassium deficiencies | |
| CN110188657A (zh) | 基于卷曲叶片检测的玉米干旱识别方法 | |
| Ma et al. | Recognition and statistical analysis of coastal marine aquacultural cages based on R3Det single-stage detector: A case study of Fujian Province, China | |
| Honawad et al. | Soil classification and suitable crop prediction | |
| TWI843285B (zh) | 基於深度學習之密度估計網路架構的蝦苗計數系統與方法 | |
| Šaškov et al. | Comparison of manual and semi-automatic underwater imagery analyses for monitoring of benthic hard-bottom organisms at offshore renewable energy installations | |
| Zhou et al. | Counting, locating, and sizing of shrimp larvae based on density map regression | |
| Hu et al. | Concurrent channel and spatial attention in Fully Convolutional Network for individual pig image segmentation | |
| CN111553382A (zh) | 一种基于knn的鳙鱼分类方法 | |
| Chirdchoo et al. | A deep learning model for estimating body weight of live pacific white shrimp in a clay pond shrimp aquaculture | |
| Charendoff et al. | Comparing Coral Demographic Surveys From In Situ Observations and Structure-From-Motion Photogrammetry on High Diversity Reefs Shows Low Methodological Bias but Highlights Persistent Areas of Concern | |
| Rhyne et al. | When one code= 2,300 species: Expanding our understanding of the trade in aquatic marine wildlife | |
| CN114626952A (zh) | 一种新颖的鱼体形态学特征精准测量方法 | |
| Johansyah et al. | Improving the value of lobster selling with grading method using machine vision technology | |
| Hu et al. | A Deep Learning-Based White Shrimp Body Length and Bait Detection Methodology for Turbid Underwater Aquaculture Environment | |
| CN114842326A (zh) | 一种免定标檀香树植株缺苗定位方法 | |
| CN114240894A (zh) | 一种新的沼虾表型数据测量和分类方法 | |
| CN115690585B (zh) | 一种基于数字相片提取小麦分蘖数的方法和系统 | |
| Qu et al. | SLCOBNet: Shrimp larvae counting network with overlapping splitting and Bayesian-DM-count loss |