TWI818619B - 留母莖法蘆筍生長監測裝置及其方法 - Google Patents

Abstract

本發明提供一種用於留母莖蘆筍生長監測裝置，其包括一移動裝置、至少一影像擷取裝置、一影像處理單元、至少一距離判斷裝置及一融合單元。利用融合單元融合複數影像、複數距離訊息及區塊分割訊息產生一蘆筍生長分類訊息。在減少人力巡田的同時也監測了整個溫室所有區域的生長狀態

Description

留母莖法蘆筍生長監測裝置及其方法

本發明係關於一種留母莖蘆筍生長監測裝置及其方法，特別是一種用於監測蘆筍生長狀態的裝置及其方法，用於減輕現有人力成本的方法。

蘆筍是一種營養價值高的作物，其豐富的維生素、礦物質、抗氧化與利尿等功能，使其受消費者青睞。為了使蘆筍適應台灣炎熱的天氣並增加產量，除了新品種的培育，研究發現以溫室留母莖栽培法可以增加光合作用效率並延長採收期，故台灣的蘆筍多以此法栽植。由文獻研究中，亦證實於溫室中採用留母莖栽培法進行蘆筍生產，在單位面積產量約為不留母莖栽培法的2倍，故被廣泛應用在農地面積零碎的亞熱帶國家。然而，此法缺點是母莖亦會與嫩莖競爭養分，需控制適當所留母莖數以維持最佳效益；且生長茂盛的母莖及其擬葉，使田間生長狀態識別的複雜度增加。由上述情況可知，採取留母莖法之農人需更密集巡田，始可適時除去多餘母莖，並即時掌握植株生長狀態，也因而增加許多勞力負擔。

然而，對於農業缺工日益嚴重的現況，蘆筍栽培亟需 設想其他解方以紓解缺工困境。因此導入人工智能技術至農業場域，為留母莖栽培法量身打造一套新系統，在提升產量的同時，亦盡可能地降低勞力需求與整體生產成本，實現智慧農業的概念。

且參考現有技術(CN 110662417 A)，其公開一種田間用機器人及作業管理系統，然而其僅說明完全依靠機器人及作業管理系統，完全摒除人工，雖然可以完全自動化，但是卻也會造成成本過高以及無法由人工進行輔助達到更佳化的運作。單純採收可食用的蘆筍，卻無法針對現況進行紀錄、分析。

因此，習知技術存在技術問題：1.採用留母莖栽培法需要更多的巡田次數以便適時去除母莖；2.無法準確監測整個溫室不同區域的生長狀態；3.操作者無法掌握溫室的所有蘆筍的生長狀態。

故，有必要提出一種留母莖蘆筍生長監測方法及其裝置以解決上述技術問題。

為解決上述習知技術的問題，本發明提供一種留母莖蘆筍生長監測裝置，其利用行走機器人搭配人工視覺、影像處理、定位系統將溫室內包含母莖(Stalk)、嫩莖(Spear)的一切相關資訊進行記錄，在減少人力巡田的同時也監測了整個溫室所有區域的生長狀態，以便操作者可以根據生長狀態對各區域進行無論是採收嫩莖或調整母莖數量，進而使溫室內的蘆筍依照計畫生產。

為達上述目的，本發明提供一種用於留母莖蘆筍生長 監測裝置，其包括一移動裝置、至少一影像擷取裝置、一影像處理單元、至少一距離判斷裝置及一融合單元。該移動裝置用於在一特定範圍內移動。該至少一影像擷取裝置設置於該移動裝置上用於擷取複數影像。該影像處理單元與該至少一影像擷取裝置電氣連接且用於處理該複數影像並得到一區塊分割訊息。該至少一距離判斷裝置設置於該移動裝置上以取得每一該複數影像中的複數蘆筍以及該影像擷取裝置之間的複數距離訊息。該融合單元用於融合該複數影像、該複數距離訊息及該區塊分割訊息產生一蘆筍生長分類訊息。

在一較佳實施例中，還包括一分割單元，該特定範圍包括複數子範圍，且該分割單元利用該蘆筍生長分類訊息及該複數子範圍對應的複數子範圍訊息以產生對應該複數子範圍的複數子蘆筍生長分類訊息。

在一較佳實施例中，該影像處理單元以及該融合單元係以函式庫、變數或運算元之形式而被編輯為至少一應用程式，進而被建立在該留母莖蘆筍生長監測裝置的一微處理器之中。

在一較佳實施例中，該蘆筍生長分類訊息係包含由該特定範圍內的母莖數量、嫩莖數量、母莖長度、嫩莖長度、母莖直徑、嫩莖直徑、母叢數量所構成之群組。

在一較佳實施例中，還包至少一室內定位裝置，其配合該移動裝置的移動定義該複數子範圍。

為達上述目的，本發明另提供一種用於留母莖蘆筍生長監測方法，其包括：首先，一留母莖蘆筍生長監測裝置的一移動 裝置於一特定範圍內移動，該特定範圍包含複數子範圍；接著，利用至少一影像擷取裝置擷取複數影像；接著，利用一影像處理單元對該複數影像進行區塊分割作業得到複數區塊分割訊息；接著，利用至少一距離判斷裝置取得該複數影像中的複數蘆筍以及該影像擷取裝置之間的複數距離訊息；接著，利用一融合單元融合該複數影像、該複數距離訊息及該複數區塊分割訊息產生一蘆筍生長分類訊息。

在一較佳實施例中，該方法還包括：首先，擷取至少一訓練用影像；接著，以該至少一訓練用影像進行深度學習演算以便對進行該區塊分割作業。

在一較佳實施例中，該深度學習演算係採用卷積神經網路(Convolutional Neural Networks，CNN)。

在一較佳實施例中，還包括：利用一分割單元利用該蘆筍生長分類訊息及對應該複數子範圍的複數子範圍訊息以產生對應該複數子範圍的複數子蘆筍生長分類訊息。

在一較佳實施例中，該蘆筍生長分類訊息係包含由該特定範圍內的母莖數量、嫩莖數量、母莖長度、嫩莖長度、母莖直徑、嫩莖直徑、母叢數量所構成之群組。

在一較佳實施例中，還包括：設置至少一室內定位裝置，配合該移動裝置的移動定義該複數子範圍。

相較習知技術，本發明藉由供一種留母莖蘆筍生長監測裝置，其利用行走機器人搭配人工視覺、影像處理、定位系統將 溫室內包含母莖(Stalk)、嫩莖(Spear)的一切相關資訊進行記錄，在減少人力巡田的同時也監測了整個溫室所有區域的生長狀態，以便操作者可以根據生長狀態對各區域進行無論是採收嫩莖或調整母莖數量，進而使溫室內的蘆筍依照計畫生產。

100:留母莖蘆筍生長監測裝置

110:移動裝置

120:影像擷取裝置

130:影像處理單元

140:距離判斷裝置

150:融合單元

160:分割單元

170:室內定位裝置

180:網路單元

S01-S08:步驟

圖1，繪示根據本發明的留母莖蘆筍生長監測裝置的示意圖；圖2，繪示根據本發明的留母莖蘆筍生長監測裝置的方塊圖；圖3，繪示根據本發明的留母莖蘆筍生長監測系統的實際運作圖；圖4，繪示根據本發明的留母莖蘆筍生長監測裝置的監測畫面圖；圖5，繪示根據本發明的留母莖蘆筍生長監測方法的第一流程圖；及圖6，繪示根據本發明的留母莖蘆筍生長監測方法的第二流程圖；圖7，繪示根據本發明的留母莖蘆筍生長監測方法的第三流程圖。

以下各實施例的說明是參考圖式，用以說明本發明可用以實施的特定實施例。本發明所提到的方向用語，例如「上」、「下」、「前」、「後」、「左」、「右」、「內」、「外」、「側面」等，僅是參考圖式的方向。因此，使用的方向用語是用以說明及理解本發明，而非用以限制本發明。

深度學習是機器學習中一種基於對資料進行表徵學習的演算法。觀測值(例如一幅圖像)可以使用多種方式來表示，如 每個像素強度值的向量，或者更抽象地表示成一系列邊、特定形狀的區域等。而使用某些特定的表示方法更容易從實例中學習任務(例如，臉部辨識或面部表情辨識)。深度學習的好處是用非監督式或半監督式的特徵學習和分層特徵提取高效演算法來替代手工取得特徵。

表徵學習的目標是尋求更好的表示方法並建立更好的模型來從大規模未標記資料中學習這些表示方法。表示方法來自神經科學，並鬆散地建立在類似神經系統中的資訊處理和對通信模式的理解上，如神經編碼，試圖定義拉動神經元的反應之間的關係以及大腦中的神經元的電活動之間的關係。

至今已有數種深度學習框架，如深度神經網路、卷積神經網路和深度置信網路和迴圈神經網路已被應用在電腦視覺、語音辨識、自然語言處理、音訊辨識與生物資訊學等領域並取得了極好的效果。

請參考圖1-4，圖1，繪示根據本發明的留母莖蘆筍生長監測裝置100的示意圖；2，繪示根據本發明的留母莖蘆筍生長監測裝置100的方塊圖；圖3，繪示根據本發明的留母莖蘆筍生長監測系統10的實際運作圖；圖4，繪示根據本發明的留母莖蘆筍生長監測系統10的監測畫面圖。該留母莖蘆筍生長監測裝置包括一移動裝置110、至少一影像擷取裝置120、一影像處理單元130、至少一距離判斷裝置140、一融合單元150、一分割單元160、至少一室內定 位裝置170及一網路單元180。

該移動裝置110用於在一特定範圍內移動。該特定範圍包括複數子範圍。圖示中雖然僅指向輪胎，然而，實際上該移動裝置可以泛指一移動用車輛，包含電池、驅動件、馬達等相關部件。

該至少一影像擷取裝置120設置於該移動裝置110上用於擷取複數影像。此處影像就如同圖4中央，該影像就是如圖2該移動裝置110在中間的車道移動時，該至少一影像擷取裝置120往兩側的蘆筍種植區域拍照。較佳地，因為一般溫室均是一排一排規劃植物的種植區，本較佳實施例中設置兩個影像擷取裝置120(如PiCamera V2)，且其鏡頭方向與該移動裝置的行進方向垂直以便同時擷取兩側的畫面。

該影像處理單元130與該至少一影像擷取裝置120電氣連接且用於處理該複數影像並得到一區塊分割(segmentation訊息。該區塊分割訊息係將影像中的元件進行分析得到蘆筍的狀態(數量、長度、母莖或嫩莖、直徑、母叢數量等)。較佳地，此處的區塊分割是利用深度學習演算，採用卷積神經網路(Convolutional Neural Networks，CNN)。

該至少一距離判斷裝置140設置於該移動裝置110上以取得每一該複數影像中的複數蘆筍以及該影像擷取裝置120之間的複數距離訊息。較佳地，本較佳實施例中是採用LiDAR，然而並 不限制利用其他距離量測裝置的使用。

該融合單元150用於融合該複數影像、該複數距離訊息及該區塊分割訊息產生一蘆筍生長分類訊息。詳細地，該蘆筍生長分類訊息係包含由該特定範圍內的母莖數量、嫩莖數量、母莖長度、嫩莖長度、母莖直徑、嫩莖直徑、母叢數量所構成之群組。這些資訊組合可以讓操作者清楚的了解該進行採收嫩莖、調整母叢數量、調整母莖數量，讓操作者可以節省大量時間。

該分割單元160利用該蘆筍生長分類訊息及該複數子範圍對應的複數子範圍訊息以產生對應該複數子範圍的複數子蘆筍生長分類訊息。

該至少一室內定位裝置170配合該移動裝置110的移動定義該複數子範圍。當該移動裝置110在該特定範圍內時，根據預設的條件，比如說多少距離為一個子範圍，便可以將該特定範圍劃分出複數個子範圍。這樣的用處在於：該蘆筍生長分類訊息對應的是該特定範圍，亦即是整個蘆筍培育溫室的資訊。操作者可以知道目前整個蘆筍培育溫室的母莖數量、嫩莖數量、母莖長度、嫩莖長度、母莖直徑、嫩莖直徑、母叢數量，但是可能需要採收的嫩莖在距離很遠的兩個子範圍中，可能造成操作者仍舊需要一個一個去找，無法有效增加工作效率。

然而，本創作的該留母莖蘆筍生長監測裝置在將該特定範圍分割成複數個子範圍後，操作者可以根據子蘆筍生長分類訊 息去得知每個子範圍的狀況，進而能夠更有效率地進行相關作業(採收嫩莖、調整母莖數量、調整母叢)。較佳地，該至少一定位元件170可以是幾個wifi裝置，設置在該特定範圍的場域內，經由發出無線訊號對該移動裝置進行定位作業，進而區分出複數子範圍。

該網路單元180可以選擇性設置，當然通過網路將訊息傳送出來會是比較方便即時操作。較佳地，如本較佳實施例，該網路單元180可以是網路攝影機，且可以根據操作者的指令進行轉動以便觀察周遭狀態。

詳細地，該影像處理單元130、該融合單元150及該分割單元160係以函式庫、變數或運算元之形式而被編輯為至少一應用程式，進而被建立在該留母莖蘆筍生長監測裝置100的一微處理器之中。較佳地，本創作中是利用Raspberry Pi4 Model B進行上述元件的運作。

較佳地，該特定範圍基本上就是一個室內的蘆筍培育溫室，如圖4，左側區域是該特定範圍內的該複複數子範圍(A1-F1、A2-F2...)；中間的影像表示單一子範圍(本圖以A3為例)的影像；右上角為該子範圍的該子蘆筍生長分類訊息；右下角為單一蘆筍的訊息，如分類(嫩莖或母莖)、長度(length)及直徑(width)等。操作者可以在左側選擇不同的子範圍便會自動切換成相對應的子範圍影像及該子蘆筍生長分類訊息。

詳細地，該至少一影像擷取裝置120、該至少一距離 判斷裝置140及該網路單元180必須設置在該移動裝置110上。該影像處理單元130、該融合單元150、該分割單元160是設置於該留母莖蘆筍生長監測裝置100的一微處理器之中，該為處理器不一定必須要設置在該移動裝置110上，也可以採用將該複數影像、該複數距離訊息及該區塊分割訊息傳送到遠端(另外一個電腦裝置)進行處理。然而該至少一室內定位裝置170則是必然不會與該移動裝置一併設置否則無法進行定位作業。較佳地，在本較佳實施例中，該至少一影像擷取裝置120該影像處理單元130、該至少一距離判斷裝置140、該融合單元150、該分割單元160及該網路單元180均設置在該移動裝置110上。

圖5，繪示根據本發明的蘆筍生長監測方法的第一流程圖。本方法中用到的元件請參考圖1-4，不再贅述。該方法包括：首先，執行步驟S01，一留母莖蘆筍生長監測裝置100的一移動裝置110於一特定範圍內移動，該特定範圍包含複數子範圍；接著，執行步驟S02，利用至少一影像擷取裝置120擷取複數影像；接著，執行步驟S03，利用一影像處理單元130對該複數影像進行區塊分割作業得到複數區塊分割訊息；接著，執行步驟S04，利用至少一距離判斷裝置140取得該複數影像中的複數蘆筍以及該影像擷取裝置120之間的複數距離訊息；接著，執行步驟S05，利用一融合單元150融合該複數影像、該複數距離訊息及該複數區塊分割訊息產生一蘆筍生長分類訊息。

圖6，繪示根據本發明的蘆筍生長監測方法的第二流程圖。本方法中用到的元件請參考圖1-4，不再贅述。本方法與第一流程圖的差異在於：還包括步驟S06，利用一分割單元160利用該蘆筍生長分類訊息及對應該複數子範圍的複數子範圍訊息以產生對應該複數子範圍的複數子蘆筍生長分類訊息。

圖7，繪示根據本發明的留母莖蘆筍生長監測方法的第三流程圖。本方法中用到的元件請參考圖1-4，不再贅述。本方法與第一流程圖的差異在於：還包括：執行步驟S07，擷取至少一訓練用影像；接著，執行步驟S08，以該至少一訓練用影像進行深度學習演算以便對進行該區塊分割作業。通過預先使用訓練用影像去建立自動判斷的準確程度。

相較習知技術，本發明藉由供一種留母莖蘆筍生長監測裝置，其利用行走機器人搭配人工視覺、影像處理、定位系統將溫室內包含母莖(Stalk)、嫩莖(Spear)的一切相關資訊進行記錄，在減少人力巡田的同時也監測了整個溫室所有區域的生長狀態，以便操作者可以根據生長狀態對各區域進行無論是採收嫩莖或調整母莖數量，進而使溫室內的蘆筍依照計畫生產。

此部分由本系統可協助減少之人力需求成本，推估商品化之可能及誘因。於蘆筍採收期時之人工所需，包含上下午各一次的場域巡查與嫩莖採收，耗時依據場域面積與種植密度而略有差異。本研究之試驗溫室所種植面積約0.12公頃，一次單人的巡查及 採收約耗時2小時。較具規模之農民溫室生產面積約為1公頃，故以單人計算一日即需耗費約16小時。若使用本系統預估能先行完成巡視，取得可採收之嫩莖位置，由於已有明確之收穫位置，粗估約可節省50%的作業時間，故一日約可為其節約8小時人力，若以最低工資160元/小時計算，每日每公頃地約可省約1280元的人力費用。若以台灣一般3月下旬至11月中旬之蘆筍採收期，彈性以24週估算，該農園可省約1280(日)*5(日/每週)*24(週)=153,600元之支出。

以上僅是本發明的較佳實施方式，應當指出，對於熟悉本技術領域的技術人員，在不脫離本發明原理的前提下，還可以做出若干改進和潤飾，這些改進和潤飾也應視為本發明的保護範圍。

100:留母莖蘆筍生長監測裝置

110:移動裝置

120:影像擷取裝置

130:影像處理單元

140:距離判斷裝置

150:融合單元

160:分割單元

170:室內定位裝置

180:網路單元

Claims (10)

1. 一用於留母莖法的蘆筍生長監測裝置，其包含：一移動裝置，用於在一特定範圍內移動；至少一影像擷取裝置，設置於該移動裝置上用於擷取複數影像；一影像處理單元，與該至少一影像擷取裝置電氣連接且用於處理該複數影像並得到一區塊分割訊息；至少一距離判斷裝置，設置於該移動裝置上以取得每一該複數影像中的複數蘆筍以及該影像擷取裝置之間的複數距離訊息；一融合單元，用於融合該複數影像、該複數距離訊息及該區塊分割訊息產生一蘆筍生長分類訊息。
2. 如請求項1所述的用於留母莖法的蘆筍生長監測裝置，其中還包括一分割單元，該特定範圍包括複數子範圍，且該分割單元利用該蘆筍生長分類訊息及該複數子範圍對應的複數子範圍訊息以產生對應該複數子範圍的複數子蘆筍生長分類訊息。
3. 如請求項1所述的用於留母莖法的蘆筍生長監測裝置，其中該影像處理單元以及該融合單元係以函式庫、變數或運算元之形式而被編輯為至少一應用程式，進而被建立在該蘆筍生長監測裝置的一微處理器之中。
4. 如請求項1所述的用於留母莖法的蘆筍生長監測裝置，其中該蘆筍生長分類訊息係包含由該特定範圍內的母莖數量、嫩莖數量、母莖長度、嫩莖長度、母莖直徑、嫩莖直徑、母叢數量所構成之群組。
5. 如請求項1所述的用於留母莖法的蘆筍生長監測裝置，還包至少一室內定位裝置，其配合該移動裝置的移動定義該複數子範圍。
6. 一用於留母莖法的蘆筍生長監測方法，包括： 一留母莖蘆筍生長監測裝置的一移動裝置於一特定範圍內移動，該特定範圍包含複數子範圍；利用至少一影像擷取裝置擷取複數影像；利用一影像處理單元對該複數影像進行區塊分割作業得到複數區塊分割訊息；利用至少一距離判斷裝置取得該複數影像中的複數蘆筍以及該影像擷取裝置之間的複數距離訊息；利用一融合單元融合該複數影像、該複數距離訊息及該複數區塊分割訊息產生一蘆筍生長分類訊息。
7. 如請求項6所述的用於留母莖法的蘆筍生長監測方法，其中還包含：擷取至少一訓練用影像；以該至少一訓練用影像進行深度學習演算以便對進行該區塊分割作業。
8. 如請求項6所述的用於留母莖法的蘆筍生長監測方法，其中還包括：利用一分割單元利用該蘆筍生長分類訊息及對應該複數子範圍的複數子範圍訊息以產生對應該複數子範圍的複數子蘆筍生長分類訊息。
9. 如請求項6所述的用於留母莖法的蘆筍生長監測方法，其中該蘆筍生長分類訊息係包含由該特定範圍內的母莖數量、嫩莖數量、母莖長度、嫩莖長度、母莖直徑、嫩莖直徑、母叢數量所構成之群組。
10. 如請求項6所述的用於留母莖法的蘆筍生長監測方法，其中還包括：設置至少一室內定位裝置，配合該移動裝置的移動定義該複數子範圍。