TWI718572B

TWI718572B - 基於立體視覺的生物自動量測系統及其量測方法

Info

Publication number: TWI718572B
Application number: TW108122137A
Authority: TW
Inventors: 連唯証; 邱禹韶; 邱蒼民
Original assignee: 海盛科技有限公司
Priority date: 2019-06-25
Filing date: 2019-06-25
Publication date: 2021-02-11
Also published as: CN112131921B; CN112131921A; TW202100944A

Abstract

本發明係一種基於立體視覺的生物自動量測系統及其量測方法，其中，該生物自動量測系統包括至少二水下取像單元及一資訊處理裝置，該二水下取像單元各自拍攝的範圍會有部分區域重疊，以能模擬雙目立體視覺，該資訊處理裝置能根據該二水下取像單元所拍攝的影像，辨識出待測生物及建構三維景深影像，以根據該待測生物處於三維景深影像中的位置，計算出該待測生物的體長及/或體寬，並能根據該待測生物的體長及/或體寬，計算出該待測生物的重量。

Description

基於立體視覺的生物自動量測系統及其量測方法

本發明係關於生物自動量測系統，尤指一種能夠基於立體視覺，以辨識出對應生物的自動量測系統及量測方法。

按，根據聯合國糧食及農業組織(Food and Agriculture Organization of the United Nations，簡稱FAO)的統計資料指出，目前全球食用漁產品中超過四成由養殖漁業所供應，使得水產養殖漁業被公認為海洋資源枯竭後，可取代捕撈漁業的重要趨勢產業，因此，未來水產生物科技的開發與應用，將成為解決人類動物性蛋白需求的重要方法，永續的水產養殖產業將為全球糧食安全和經濟增長做出持久貢獻。

承上，台灣水產養殖的歷史久遠，具有豐富的知識與經驗，尤其隨著海洋資源受到氣候變遷、過度捕撈和海域污染等因素，漁獲量逐年減少並可能已經降至極限值，亟需陸地水產養殖業來彌補捕撈量之不足，基於該等因素，高經濟效益魚類的水產養殖業如今成為具高經濟價值的產業，以石斑魚為例，由於其肉質鮮美且生長速度快等因素，極符合經濟效益，已成為台灣陸地水產養殖的重要魚類之一，是現階段台灣及東南亞最主要的養殖魚類，尤以點帶石斑(Epinephelus coioides)及龍膽石斑(Epinephelus lanceolatus)為主。但是，由於養殖漁業屬於高勞力與高技術密集的產業，卻受限於漁村高齡化、人力成本逐年提高等問題，雖然能透過輸入外籍人口的方式，暫時緩解人力需求的壓力，但卻會提高養殖漁業的營業秘密與技術參數(如：飼料換肉比率...等)被外流之風險。

此外，為提高水產養殖的生產力，養殖戶必需定期量測所養殖生物之大小重量等資訊，以了解所投放之飼料的換肉率、養殖生物是否生病、投藥是否有效果...等，其相關資訊亦提供做為生物分池分養與收成出貨之依據，因此，為了獲得魚類的大小重量等資訊，養殖戶需要以人工的方式進行生物取樣捕撈，但是，人工取樣方式卻有下列缺點：(A1)人工取樣的過程需要耗費大量人工成本，若是僅少量取樣的話，則容易造成結果判斷錯誤；(A2)在人工取樣的過程中，養殖生物易受驚嚇而造成死亡損失；(A3)對於外海箱網...等養殖環境來說，難以採用人工取樣方式進行所需的量測作業。

有鑑於此，以物聯網為核心的智慧養殖漁業便逐漸顯示其重要性，如台灣第I495429、I508656號等專利案均涉及了水生物檢測裝置，其主要是將單一攝影模組裝設於一浮力裝置上，並於水中架設一底座，以能在接近水面的攝影模組與水中底座間形成一取樣空間，嗣，當養殖生物通過該取樣空間，並被紅外線裝置偵測到後，攝影模組便會拍攝該養殖生物，以自動量測養殖生物之大小。然而，申請人發現，前述習知方式仍存有下列問題： (B1)習知方式的取樣空間較為靠近水面，但是，對於食用沉水飼料的養殖生物來說，其浮出水面或接近水面的機率不大，造成前述養殖生物難以通過取樣空間，導致工作人員需人工地驅趕養殖生物通過取樣空間，降低了自動量測的便利性；(B2)習知方式通常採用傳統影像處理方式進行生物辨識，因此其取樣率與生物的辨識精準度可能不高；(B3)習知方式在進行傳統影像處理方式，以計算養殖生物的大小時，由於僅有單一鏡頭，因此，習慣上往往不會考慮養殖生物距離攝影模組的遠近所造成之計算誤差，如，同一生物若距離攝影模組較遠時，其整體長度會偏小，而是採用限制取樣空間的範圍，以減少誤差發生，畢竟在有限範圍內，養殖生物距離攝影模組的距離即不會差距大太，但如此一來，將會降低養殖生物通過取樣空間的機率，此外，習知方式更無法對養殖生物的重量進行計算。

綜上所述可知，現有的量測方式雖然邁向了自動化，但是，由於養殖生物在水下活動時，是處於活動狀態，因此，當養殖生物於游動轉身的過程中，或是複數條養殖生物重疊在一起時，均可能造成攝影模組所拍攝的影像無法真實地呈現出養殖生物的體長，尤其是，單一鏡頭所拍攝出的影像是不會存在縱深度，導致業者僅能盡量壓縮取樣空間與攝影模組兩者間的距離，反倒降低了當初自動化與智慧化的美意，因此，如何有效改善前述問題，即為本發明在此探討的一大課題。

有鑑於習知量測方式與對應系統仍有改善之處，且其誤差率頗高，因此，發明人憑藉著多年來專業從事設計、加工及製造之豐富實務經驗，且秉持著精益求精的研究精神，在經過長久的努力研究與實驗後，終於研發出本發明之一種基於立體視覺的生物自動量測系統，期藉由本發明之問世，有效解決前述問題，令使用者擁有更佳的使用經驗。

本發明之一目的，係提供一種基於立體視覺的生物自動量測系統，包括一第一水下取像單元、一第二水下取像單元及一資訊處理裝置，其中，該第一水下取像單元能拍攝一第一範圍中的景像，並形成一第一影像，該第二水下取像單元能拍攝一第二範圍中的景像，並形成一第二影像，且該第二範圍與該第一範圍兩者有部分區域重疊，以能模擬雙目立體視覺，係能接收該第一影像與該第二影像，且能辨識出該第一影像與該第二影像中所具有的至少一待測生物，並能建構出對應的三維景深影像；該資訊處理裝置內至少設有一影像資料庫與一處理單元，其中，該影像資料庫儲存有複數個生物模型與參數，該處理單元能辨識出生物種類，且能根據該待測生物處於該三維景深影像中的位置，計算出該待測生物的體長及/或體寬，並能根據該待測生物的體長及/或體寬，計算出該待測生物的重量。

本發明之另一目的，係提供一種基於立體視覺的量測方法，其能應用至前述生物自動量測系統，其中，該方法能使資訊處理裝置接收到第一影像與第二影像後，建構出對應的三維景深影像，及辨識出該第一影像與第二影像中所具有的至少一待測生物，嗣，該資訊處理裝置會將待測生物映射至該三維景深影像中的對應位置，並計算出該待測生物的體長及/或體寬，進而能根據該待測生物的體長及/或體寬，計算出該待測生物的重量。

本發明之再一目的，係提供一種基於立體視覺的量測方法，其能應用至前述生物自動量測系統，其中，該方法能使資訊處理裝置接收到第一影像與第二影像後，辨識出該第一影像與第二影像中所具有的至少一待測生物，嗣，該資訊處理裝置會根據各該待測生物，建構出對應該待測生物的三維景深影像及其所處位置，以能計算出該待測生物的體長及/或體寬，進而能根據該待測生物的體長及/或體寬，計算出該待測生物的重量。

為便貴審查委員能對本發明目的、技術特徵及其功效，做更進一步之認識與瞭解，茲舉實施例配合圖式，詳細說明如下：

〔習知〕

無

〔本發明〕

1‧‧‧生物自動量測系統

11‧‧‧第一水下取像單元

110‧‧‧第一範圍

12‧‧‧第二水下取像單元

120‧‧‧第二範圍

13‧‧‧錄像單元

15‧‧‧資訊處理裝置

151‧‧‧影像資料庫

153‧‧‧處理單元

1531‧‧‧學習辨識演算模組

1533‧‧‧學習回歸演算模組

17‧‧‧雲端資料庫

第1圖係本發明之生物自動量測系統的示意圖；第2圖係本發明之處理單元執行辨識模型的訓練階段之流程圖；第3圖係本發明之處理單元執行辨識模型的運行預測階段之流程圖；第4圖係本發明之處理單元執行回歸模型的訓練階段之流程圖；第5圖係本發明之處理單元執行回歸模型的運行預測階段之流程圖；第6圖係本發明之一實施例的量測方法之流程圖；及第7圖係本發明之另一實施例的量測方法之流程圖。

近年來，隨著人工智慧機器學習領域的發展突飛猛進，透過機器學習(Machine Learning)與深度學習(Deep Learning)的模型訓練過程中，能夠將不同目標影像或同一目標影像的各種影像特徵同時納入考量，以有效提升影像處理的精準度，並且能夠使用同一模型同時辨識出各種不同目標；除此之外，諸多立體視覺方法亦被提出並且已被廣泛應用，如，應用立體視覺方法於人臉辨識或三維建模...等，因此，發明人特別將前述人工智慧技術與立體視覺方法結合至本發明內，以能有效解決習知問題，合先陳明。

本發明係一種基於立體視覺的生物自動量測系統及其量測方法，在一實施例中，請參閱第1圖所示，該生物自動量測系統1至少包括一第一水下取像單元11、一第二水下取像單元12及一資訊處理裝置15，其中，該第一水下取像單元11能位於水面下，且能拍攝一第一範圍110中的景像，並將拍攝到的景像形成對應的一第一影像；該第二水下取像單元12同樣能位於水面下，且能拍攝一第二範圍120中的景像，並將拍攝到的景像形成對應的一第二影像，如第1圖所示，該第二範圍120與第一範圍110兩者會有部分區域重疊，以能模擬出雙目立體視覺(Stereo Vision)，在此特別一提者，雖然前述實施例中，僅記載兩個水下取像單元，但不以此為限，業者亦能夠增加水下取像單元的數量，以模擬出更為真實與準確的雙目立體視覺，又，所謂的雙目立體視覺是機器視覺的一種重要形式，其是基於人體雙眼的視差原理，將同一空間物理點在不同圖像中的映射點對應起來(即，視差(Disparity)圖像)，並通過計算圖像對應點間的位置偏差，來獲取物體三維幾何資訊的方法，目前來說，雙目立體視覺大多應用於工廠的生產線、非接觸產品檢測和品質控制上，尚未實際見於本發明之水下生物的應用環境中，合先陳明。

復請參閱第1圖所示，該資訊處理裝置15能分別與第一水下取像單元11、第二水下取像單元12相連接，以能接收該第一影像與第二影像，在該實施例中，該等水下取像單元11、12能夠先連接至一錄像單元13後，再由該錄像單元13將第一影像與第二影像傳輸至該資訊處理裝置15，其中，該錄像單元13能夠先簡單地對第一影像、第二影像進行處理(如：合成、調整明暗度、調整白平衡...等)，或者錄像單元13能夠僅是儲存該等影像資訊，再轉傳至該資訊處理裝置15，又，該錄像單元13傳輸至資訊處理裝置15的方式，除了能夠透過實體線路外，亦可採用無線傳輸(如：WiFi、藍牙、ZigBee、4G...等)方式，此外，在本發明之其它實施例中，該錄像單元13的相關功能亦能直接整合至該資訊處理裝置15中，使得該等水下取像單元11、12直接連接至資訊處理裝置15，或者，該資訊處理裝置15亦可位於雲端，其能透過網際網路接收該第一水下取像單元11、第二水下取像單元12所分別傳來的第一影像與第二影像，以能滿足各個使用者的實際需求。

復請參閱第1圖所示，該資訊處理裝置15內至少設有一影像資料庫151與一處理單元153，其中，該影像資料庫151儲存有複數個生物模型與參數，前述生物模型與參數至少能夠包括辨識模型與回歸模型所需的資訊，其中，辨識模型所需的資訊能夠為水下生物的種類(如：點帶石斑、龍膽石斑、大閘蟹...等)、輪廓、班點、大小、色彩...等，回歸模型所需的資訊能夠為各個種類之水下生物的體長、體寬與體重間的對照數據...等。另外，該處理單元153內建有至少一學習演算模組，該學習演算模組能執行機器學習(Machine Learning)訓練功能或深度學習(Deep Learning)訓練功能，以能執行辨識模型與回歸模型所需的訓練，並能根據訓練後的模型進行結果推論(Inference)，其推論出的結果包含辨識出生物種類，以及計算或推論出前述生物所對應的重量(體重)，惟，在前述實施例中，該資訊處理裝置15同時具有「訓練」與「推論」兩種能力，但是，在本發明之其它實施例中，業者亦能夠將「訓練」與「推論」分別由不同的機器所完成，意即，前述的機器學習(Machine Learning)訓練功能或深度學習(Deep Learning)訓練功能能夠在其它機器(非本發明之該資訊處理裝置15)上進行，之後，再將訓練完成的生物影像資料與生物辨識參數複製到該資訊處理裝置15，令該資訊處理裝置15(處理單元153)足以辨識出生物種類即可。

請參閱第1及2圖所示，在該實施例中，針對用以辨識模型的學習演算模組(後稱學習辨識演算模組1531)來說，該處理單元153能執行訓練階段，其會先建立至少一人工智慧學習模型(如：監督與半監督式學習(Supervised and Semi-supervised Learning)演算法、強化學習(Reinforcement Learning)演算法、卷積類神經網路(Convolutional Neural Network)演算法、隨機森林(Random Forest)演算法...等)，並在該學習辨識演算模組1531中輸入巨量資料，前述巨量資料能夠為生物影像資料與生物辨識參數，其中，生物影像資料能夠為整張圖片，或是圖片經由影像處理方法所產生的影像資訊(如：輪廓、斑點、大小...等)。又，該處理單元153會由學習辨識演算模組1531測試影像辨識的正確率，以判斷影像辨識正確率是否足夠，當判斷結果為是，則將訓練完成的相關資訊(生物模型與參數)輸出並儲存至影像資料庫151中；當判斷結果為否，則使學習辨識演算模組1531藉由調整影像辨識參數或其他方式而實現自我修正學習；如此，藉由重複上述步驟以完成訓練。請參閱第1及3圖所示，在該實施例中，該處理單元153會執行運行預測階段，其能基於前述的學習辨識演算模組1531輸入第一影像及/或第二影像與生物模型與參數，並比對第一影像及/或第二影像與生物模型與參數，以進行預測性影像辨識，進而得到該等影像中所包含的至少一個待測生物的識別資訊，以能辨識出待測生物，如此，當養殖池中存有各種不同種類的水下生物時，本發明之生物自動量測系統1仍足以從中辨識出所需測量的生物。

請參閱第1及4圖所示，在該實施例中，針對用以回歸模型的學習演算模組(後稱學習回歸演算模組1533)來說，該處理單元153能執行訓練階段，其會先建立至少一人工智慧學習模型，並在該學習回歸演算模組1533中輸入巨量資料，前述巨量資料能夠為生物體長及/或體寬與體重資料，又，該處理單元153會由學習回歸演算模組1533測試正確率，以判斷生物的體長及/或體寬與體重間之關聯性的正確率是否足夠，當判斷結果為是，則將訓練完成的相關資訊(生物模型與參數)輸出並儲存至影像資料庫151中；當判斷結果為否，則使學習回歸演算模組1533藉由調整參數或其他方式而實現自我修正學習；如此，藉由重複上述步驟以完成訓練。請參閱第1及5圖所示，在該實施例中，該處理單元153會執行運行預測階段，其能基於前述的學習回歸演算模組1533輸入待測生物的體長及/或體寬與生物模型與參數，以能計算出待測生物的重量，如此，該處理單元153在辨識出待測生物，且取得待測生物的體長及/或體寬後，便能計算出該待測生物的重量；惟，除了前述以計算方式來取得待測生物的重量外，該處理單元153亦可透過人工智慧學習模型及其相關訓練階段，根據待測生物的體長及/或體寬來推論出待測生物的重量，合先敘明。

承上，復請參閱第1圖所示，該處理單元153在辨識出該第一影像與第二影像中所具有的至少一待測生物後，並且在計算出該待測生物的重量之前，尚會先根據該第一影像與第二影像建構出對應的三維景深影像，所謂建構三維景深影像的原理，簡單來說，其是基於雙目立體視覺的三維重建，主要利用處於不同位置的相機經過平移或旋轉拍攝同一場景，之後，通過計算物理點在兩幅圖像中的視差，得出該點的三維坐標值，從而重建該場景，以形成對應的三維景深影像。又，該處理單元153會根據該待測生物處於三維景深影像中的位置，辨識出該待測生物的體長及/或體寬，其中，該處理單元153能以雙目視覺的三角測量法計算該待測生物的體長及/或體寬，但不以此為限。

為能明確揭露本發明之方法，以下茲僅就本發明之資訊處理裝置15的處理流程，進行說明，請參閱第1及6圖所示，該資訊處理裝置15係會執行下列步驟：

(201)該資訊處理裝置15接收該第一影像與第二影像，並建構出對應的三維景深影像，進入步驟(202)；在該實施例中，該資訊處理裝置15會根據該等水下取像單元11、12的參數計算出每個像素景深，以能建構出整個第一影像與第二影像所拍攝範圍內的三維景深影像。

(202)該資訊處理裝置15辨識出該第一影像與第二影像中所具有的至少一待測生物，進入步驟(203)；在該實施例中，由於該第一影像與第二影像中可能拍攝了各種不同種類的魚(如第1圖之「虛點的魚」及「無虛點的魚」)，但該資訊處理裝置15能夠依業者設定，而辨識出特定種類的魚(如第1圖之「虛點的魚」)作為待測生物。

(203)該資訊處理裝置15將各該待測生物映射至三維景深影像中的對應位置，進入步驟(204)；(204)該資訊處理裝置15計算出該待測生物的體長及/或體寬，進入步驟(205)；(205)該資訊處理裝置15計算或推論出該待測生物的重量。

前述實施例中，該資訊處理裝置15是建構出整個第一影像與第二影像所拍攝範圍內的三維景深影像，但是，在本發明之另一實施例中，請參閱第1及7圖所示，該資訊處理裝置15能夠調整前(201)~(203)項的步驟如下：(301)該資訊處理裝置15接收該第一影像與第二影像，進入步驟(302)；(302)該資訊處理裝置15辨識出該第一影像與第二影像中所具有的至少一待測生物，進入步驟(303)；(303)該資訊處理裝置15根據各該待測生物，建構出對應該待測生物的三維景深影像及其所處位置，進入步驟(204)；在該實施例中，該資訊處理裝置15在辨識出待測生物後，只會根據待測生物所處範圍，建構出三維景深影像，而不會建構出整個第一影像與第二影像所拍攝範圍內的三維景深影像，如此，能有效降低該資訊處理裝置15的運作負擔及提高運作速率。

綜上所述可知，藉由本發明之生物自動量測系統1與量測方法，業者只要調整第一水下取像單元11與第二水下取像單元12的位置，便能夠輕易地取得水下生物的影像，而不需如習知方式一般，建立固定位置的取樣空間，又，由於本發明之基於立體視覺，將辨識出的待測生物對應到三度空間的位置，因此，能夠清楚地辨識出每一個待測生物，進而能取得該待測生物的體長及/或體寬，及計算出對應的重量，故，本發明不需限制水下生物的活動性，亦不會因水下生物的活動性(如：轉身迴游、多條魚相鄰近重疊游動...等)而造成辨識錯誤，更何況，該生物自動量測系統1是以機器學習(Machine Learning)或深度學習(Deep Learning)來訓練資訊處理裝置15，以能辨識出待測生物的相關特徵，其中，機器學習最基礎的用法，是使用大量的數據和演算法來分析數據，以「訓練」機器從中學習，而深度學習則更進一步地透過大量多層數的類神經網路，使機器可由類神經網路自己學習找出重要的特徵資訊，但無論是機器學習或深度學習，在後續辨識待測生物的成果上，均有效提高人工或單一鏡頭於辨識上的不足與效率，故能取得使用者的青睞，亦有效提高業者掌握養殖池中之水下生物的生長情況。

此外，復請參閱第1圖所示，在該實施例中，由於待測生物是處於活動狀態，因此，同一隻待測生物在不同幀的第一影像與第二影像中，亦會處於不同位置，此舉，會造成資訊處理裝置15對同一隻待測生物執行後續步驟，浪費了無謂的作業，因此，當該資訊處理裝置15依時間順序接收複數幀第一影像與第二影像，嗣，其會根據其中一幀第一影像與第二影像取得同一隻待測生物與三維景深影像中的對應位置(如第6~7圖之步驟(203)、(303))後，便不再對其餘幀第一影像與第二影像中的同一隻待測生物進行處理。再者，該生物自動量測系統1還包括一雲端資料庫17，當該資訊處理裝置15計算出之該待測生物的資訊(如：體長及/或體寬、體重)後，會將前述資訊儲存至該雲端資料庫17中，以便業者能夠迅速且便利地取得相關資料，但不以此為限。

按，以上所述，僅係本發明之較佳實施例，惟，本發明所主張之權利範圍，並不侷限於此，按凡熟悉該項技藝人士，依據本發明所揭露之技術內容，可輕易思及之等效變化，均應屬不脫離本發明之保護範疇。