TWI744020B - 智慧型果實套袋系統 - Google Patents

Abstract

一種智慧型果實套袋系統包括影像擷取模組、深度學習模組、資料庫及套袋裝置，其中套袋裝置包括套袋機總成及強化學習模組。在深度學習模組完成模型訓練後，根據影像擷取模組提供之果樹影像來偵測、辨識與追蹤果實的位置，以生成果實位置座標，並根據果實影像以深度學習技術來辨識果實的成熟度及果實各部位的位置，以生成果實成熟度的預測資料及果實姿態資料。強化學習模組根據深度學習模組所生成的資料產生套袋機總成控制指令，來控制套袋機總成進行移動並對果實進行套袋動作，直到完成套袋動作為止。藉此取代人工套袋方式。

Description

智慧型果實套袋系統

本發明是有關於一種智慧型果實套袋系統，且特別是一種具有神經網路的智慧型果實套袋系統。

在水果生長的中後期，隨著果實的逐漸成熟，容易受到鳥類、病蟲害、風雨、陽光照射等的侵害，造成水果產量大幅減少以及品質下降。傳統上，處理保護水果防止病蟲害的方式為噴灑農藥，但農藥殘留不但造成食安問題，更嚴重威脅人類健康，也對農田與水源環境造成汙染與破壞。因此，許多果樹的栽培，在幼果生長的適當時間，必須以套袋的方式來保護水果。目前是以人工方式逐一對適當的幼果進行套袋作業。然而，以人工進行套袋作業是十分消耗大量人力的作業，不僅耗時費力、人力成本高並且品質不穩定。

因此，如何提供一種果實套袋系統來取代傳統人工套袋方式，以提升套袋的工作效率、降低人工的成本，同時維持套袋的品質，將是本案所要著重的問題與解決的重點。

有鑑於此，本發明實施例提供一種智慧型果實套袋系統，包括影像擷取模組、深度學習模組、資料庫及套袋裝置。影像擷取模組用以擷取果樹影像及果實影像。深度學習模組耦接於影像擷取模組，其中深度學習模組完成模型訓練後，根據影像擷取模組提供之果樹影像來偵測、辨識與追蹤果實的位置，以生成果實位置座標，並根據果實影像以深度學習技術來辨識果實的成熟度及果實各部位的位置，以及根據果實影像來辨識果實的果梗位置、果蒂位置及果尖位置，以生成果實姿態資料，其中果實姿態資料包括果實的果實中軸向量及果實的果梗延伸線與果實中軸向量之間的果實姿態夾角。資料庫耦接於深度學習模組，用以儲存果實位置座標及果實成熟度的預測資料。套袋裝置耦接於資料庫及深度學習模組，包括套袋機總成及配置於套袋機總成的強化學習模組，其中強化學習模組根據環境資料產生套袋機總成控制指令，來控制套袋機總成進行移動並對果實進行套袋動作，且通過傳送環境更新指令至影像擷取模組及深度學習模組來更新環境資料，以及根據更新的環境資料產生更新的套袋機總成控制指令，來控制套袋機總成進行下一步的移動並對果實進行下一步的套袋動作，其中環境資料包括果樹影像、果實影像、果實姿態資料及果實位置座標。

在本發明的一實施例中，深度學習模組包括第一神經網路模型，深度學習模組在訓練階段時，第一神經網路模型根據輸入具有人工標記的幼果出現位置影像來輸出預測的幼果出現位置，並根據具有人工標記的幼果出現位置影像及模型預測的幼果出現位置來計算損失函數，其中損失函數包括幼果外框的權重參數、幼果外框中心點的權重參數及幼果成熟度的權重參數，其中具有人工標記的幼果出現位置影像包括幼果的外框長寬、幼果的外框中 心點座標及幼果的成熟度，而預測的幼果出現位置包括幼果的預測外框長寬、幼果的預測外框中心點座標及幼果的預測成熟度。

在本發明的一實施例中，深度學習模組在運作階段時，通過輸入果實影像至第一神經網路模型，並通過第一神經網路模型的運算，以產生出果實的幼果位置成熟度的預測資料，其中幼果位置成熟度的預測資料包括幼果的外框座標預測值、幼果的外框中心點座標預測值及幼果的成熟度預測值。

在本發明的一實施例中，深度學習模組在訓練階段時，根據輸入多個具有人工標記的果實成熟度影像來學習各類型具有人工標記的果實成熟度影像的特徵，並將各類型具有人工標記的果實成熟度影像的特徵儲存至深度學習模組的第二神經網路模型的權重參數中，其中多個具有人工標記的果實成熟度影像包括具有人工標記的幼果果實成熟度影像、具有人工標記的套袋果果實成熟度影像、具有人工標記的準成熟果果實成熟度影像及具有人工標記的成熟果果實成熟度影像。

在本發明的一實施例中，深度學習模組包括第二神經網路模型，深度學習模組在運作階段時，通過輸入果實影像至第二神經網路模型，並通過第二神經網路模型的運算，對果實影像進行特徵擷取，並輸出果實辨識的預測結果，以及根據果實辨識的預測結果生成果實成熟度的預測資料，其中果實辨識的預測結果包括幼果的機率值、套袋果的機率值、準成熟果的機率值及成熟果的機率值。

在本發明的一實施例中，深度學習模組在運作階段時更包括門檻值，果實成熟度的預測資料為從果實辨識的預測結果中選取最大機率值且大於門檻值的果實。

在本發明的一實施例中，套袋裝置更包括距離感測模組及位置感測模組，其中距離感測模組及位置感測模組耦接於套袋機總成，距離感測模組用以偵測果實與套袋機之間的間隔距離，位置感測模組用以偵測套袋機總成的位置並生成套袋機總成座標。

在本發明的一實施例中，套袋機總成包括套袋機、套袋機械手臂及無人車，其中套袋機械手臂耦接於套袋機，無人車耦接於套袋機械手臂，套袋機總成座標包括套袋機座標、套袋機械手臂座標及無人車座標。

在本發明的一實施例中，深度學習模組包括第三神經網路模型，深度學習模組在訓練階段時，輸入果實影像至深度學習模組，並通過第三神經網路模型的運算，以辨識果實影像中果實的果梗位置、果蒂位置及果尖位置，且根據果蒂位置及果尖位置而計算出果實的果實中軸向量，以及根據果實的果梗延伸線與果實中軸向量而計算出果實姿態夾角，並據此計算出套袋機主軸移動向量，而生成果實姿態資料。

在本發明的一實施例中，強化學習模組更包括套袋報酬函數，根據更新的間隔距離及當前的套袋機主軸移動向量產生套袋報酬分數，強化學習模組根據套袋報酬分數及更新的環境資料產生更新的套袋機總成控制指令來控制套袋機總成對果實進行下一步的套袋動作，直到完成套袋動作為止。

本發明實施例所提供的智慧型果實套袋系統，藉由完成訓練後的深度學習模組，根據影像擷取模組所擷取的果樹影像來偵測、辨識與追蹤果實的位置，以生成果實位置座標，並根據影像擷取模組所擷取的果實影像以深度學習技術來辨識果實的成熟度及果實各部位的位置，以生成果實成熟度的預測資料及果實姿態資料。接著，套袋裝置根據深度學習模組之果實辨識的 預測結果，來對幼果果實進行套袋的作業。然後，套袋裝置的強化學習模組根據影像擷取模組及深度學習模組所提供的環境資料產生套袋機總成控制指令，來控制套袋機總成進行移動，並對幼果果實進行套袋動作，同時通過環境更新指令來更新環境資料，並根據更新的環境資料產生更新的套袋機總成控制指令，來控制套袋機總成進行下一步的移動，且對幼果果實進行下一步的套袋動作，直到完成套袋動作為止。藉此取代人工套袋方式，同時提升套袋的工作效率、降低人工的成本以及維持套袋的品質。

上述說明僅是本發明技術方案的概述，為了能夠更清楚瞭解本發明的技術手段，而可依照說明書的內容予以實施，並且為了讓本發明的上述和其他目的、特徵和優點能夠更明顯易懂，以下特舉較佳實施例，並配合附圖，詳細說明如下。為讓本發明之上述和其他目的、特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式，作詳細說明如下。

10:影像擷取模組

20:深度學習模組

210:第一神經網路模型

220:第二神經網路模型

230:第三神經網路模型

30:資料庫

40:套袋裝置

410:強化學習模組

420:距離感測模組

430:位置感測模組

440:套袋機總成

A:果蒂位置

B:果梗位置的一端

C:果尖位置

D:套袋機開口的中心點

E:果梗延伸線的一端

Vb:套袋機主軸移動向量

Vf:果實中軸向量

θ:果實姿態夾角

△d:果實與套袋機之間的間隔距離

圖1是依照本發明實施例所繪示之智慧型果實套袋系統的系統架構示意圖。

圖2是依照本發明實施例所繪示之第二神經網路模型的示意圖。

圖3是依照本發明實施例所繪示之果實姿態資料的示意圖。

圖4是依照本發明實施例所繪示之套袋機根據果實姿態資料進行套袋的示意圖。

圖5是依照本發明實施例所繪示之套袋機總成強化學習控制方法的方塊示意圖。

請參閱圖1，圖1是依照本發明實施例所繪示之智慧型果實套袋系統的系統架構示意圖。一種智慧型果實套袋系統，包括影像擷取模組10、深度學習模組20、資料庫30及套袋裝置40。智慧型果實套袋系統具備深度學習(Deep Learning)及強化學習(Reinforcement Learning)的功能，可使套袋裝置40能夠在果園中自動規劃路徑，並自動辨識出幼果(幼果果實)的位置，以對幼果進行自動套袋的動作。影像擷取模組10可具有兩種鏡頭，第一個鏡頭用以擷取果樹影像或果園影像，而第二個鏡頭用以擷取果實影像。附加說明的是，第一個鏡頭較佳為魚眼鏡頭或廣角鏡頭，第二個鏡頭較佳為一般鏡頭。此外，果樹影像、果園影像及果實影像皆為未經過人工標記(labeling)的影像。

深度學習模組20耦接於影像擷取模組10。需說明的是，智慧型果實套袋系統需先經過深度學習及強化學習的訓練後才能執行預期的功能。深度學習模組20完成訓練後可執行三種功能。第一個功能是偵測與追蹤果實的位置，第二個功能是辨識果實成熟度的功能，而第三個功能是辨識果實的姿態。

首先來看第一個功能，即偵測與追蹤果實的位置。深度學習模組20包括具有輸入層、多個隱藏層及輸出層的第一神經網路模型210。第一神經網路模型210的架構可為M層卷積網路(Convolutional Neural Network，CNN)與N層全連接網路(Fully-Connect Neural Network，FNN)或全局池化層(Global Average Pooling，GAP)所組成，其中M及N皆為正整數。訓練的樣本包括幼果在多個果樹上的影像，其中每一張影像皆以人工標記的方式來 標記幼果的相關資訊。在本發明的一實施例中，幼果可以是單一種類的水果。此外，幼果的相關資訊可包括幼果的出現位置及幼果的成熟度，其中幼果的出現位置包括外框的中心點座標及外框的長寬，其中外框是指可以圍繞整個幼果的多邊型外框。在本發明的另一實施例中，幼果可以是不同種類的水果，亦即訓練的樣本包括不同種類的幼果分別在多個果樹上的影像，其中每一張影像皆以人工標記的方式來標記幼果的相關資訊，包括幼果的種類、幼果的出現位置、幼果的成熟度。

在本發明的一實施例中，深度學習模組20的第一神經網路模型210在訓練階段時，第一神經網路模型210根據輸入具有人工標記的幼果出現位置影像，來輸出預測的幼果出現位置，並根據具有人工標記的幼果出現位置影像及預測的幼果出現位置來計算損失函數，其中具有人工標記的幼果出現位置影像包括幼果的外框長寬、幼果的外框中心點座標及幼果的成熟度，而預測的幼果出現位置包括幼果的預測外框長寬、幼果的預測外框中心點座標及幼果的預測成熟度。另外，損失函數包括幼果外框的權重參數、幼果外框中心點的權重參數及幼果成熟度的權重參數。損失函數較佳的計算方式如以下數學式(1)，其中J為損失函數，W1為幼果外框長寬的權重參數，W2為幼果外框中心點的權重參數，W3為幼果成熟度的權重參數，X及Y為幼果的外框中心點座標，X’及Y’為幼果的預測外框中心點座標，S為幼果的外框寬，S’為幼果的外框寬，H為幼果的外框長，H’為幼果的預測外框長，R為幼果的成熟度，R’為幼果的預測成熟度，且J、W1、W2、W3、H、H’、S、S’、X、X’、Y、Y’、R、R’皆為實數。

深度學習模組20的第一神經網路模型210在訓練完成後，即進入運作的階段。此時只要輸入一張果園或果樹影像至第一神經網路模型210，通過第一神經網路模型210的運算即可計算出影像中每一個果實的幼果位置與成熟度的預測資料，其中幼果位置與成熟度的預測資料包括幼果的外框座標預測值、幼果的外框中心點座標預測值及幼果的成熟度預測值。

接著來看第二個功能，即辨識果實成熟度的功能。深度學習模組20還包括具有輸入層、多個隱藏層及輸出層的第二神經網路模型220。第二神經網路模型220的架構可為M層卷積網路與N層全連接網路或全局池化層所組成，其中M及N皆為正整數。深度學習模組20可根據果實影像來辨識果實的成熟度，並生成果實成熟度的預測資料。請參閱圖2，圖2是依照本發明實施例所繪示之第二神經網路模型的示意圖。深度學習模組20的第二神經網路模型220在訓練階段時，輸入具有人工標記的幼果果實成熟度影像、具有人工標記的套袋果果實成熟度影像、具有人工標記的準成熟果果實成熟度影像及具有人工標記的成熟果果實成熟度影像等多個具有人工標記之不同成熟度的果實影像至第二神經網路模型220，以學習這些具有人工標記之不同成熟度的果實影像的特徵，並將這些具有人工標記之不同成熟度的果實影像的特徵儲存至深度學習模組20的第二神經網路模型220的權重參數中。

深度學習模組200的第二神經網路模型220在訓練完成後，即進入運作的階段。此時便可至果園中通過影像擷取模組10來擷取果實影像，並對此果實影像中的果實進行果識成熟度的預測。更進一步來說，將擷取到的果實 影像輸入至深度學習模組20的第二神經網路模型220，接著通過第二神經網路模型220的運算對果實影像進行特徵擷取，並輸出果實辨識的預測結果。然後，根據果實辨識的預測結果生成果實成熟度的預測資料，其中果實辨識的預測結果包括幼果的機率值、套袋果的機率值、準成熟果的機率值及成熟果的機率值等不同成熟度果實的機率值。此時，即可在果實辨識的預測結果中選取最高機率值的果實，作為果實成熟度的預測資料。更進一步來說，倘若果實辨識的預測結果為幼果時，套袋裝置40即可對此幼果進行套袋的動作。

在本發明的一實施例中，深度學習模組20更包括門檻值。果實成熟度的預測資料可以從果實辨識的預測結果中選取最大機率值且大於門檻值的果實，藉此提高辨識的準確性與品質。舉例來說，假設門檻值的預設值為80%，而輸入的果實影像為幼果。第二神經網路模型220經過運算後輸出果實辨識的預測結果：幼果的機率值是85%、套袋果的機率值是60%、準成熟果的機率值是30%及成熟果的機率值是10%。由於只有幼果符合預設條件，因此將果實成熟度的預測資料輸入為幼果，亦即果識成熟度的預測結果為幼果。

然後來看第三個功能，即辨識果實的姿態。深度學習模組20還包括具有輸入層、隱藏層及輸出層的第三神經網路模型230。第三神經網路模型230的架構可為M層卷積網路與N層全連接網路或全局池化層所組成，其中M及N皆為正整數。請參閱圖3及圖4，圖3是依照本發明實施例所繪示之果實姿態資料的示意圖，圖4是依照本發明實施例所繪示之套袋機根據果實姿態資料進行套袋的示意圖。深度學習模組20根據果實影像來辨識果實的果梗位 置、果蒂位置及果尖位置，並生成果實姿態資料，其中果實姿態資料包括果實的果實中軸向量及果實的果梗延伸線與果實中軸向量之間的果實姿態夾角。

深度學習模組20在訓練階段時，輸入果實影像至深度學習模組20，並通過深度學習模組20的第三神經網路模型230的運算，以辨識果實影像中果實的果梗位置(A點至B點的線段，其中B點為果梗位置的一端)、果蒂位置(A點)及果尖位置(C點)，並根據果蒂位置及果尖位置而計算出果實的果實中軸向量Vf，以及根據果實的果梗延伸線(A點至E點的線段，其中E點為果梗延伸線的一端)與果實中軸向量Vf而計算出果實姿態夾角θ，並據此計算出套袋機主軸移動向量Vb，而生成果實姿態資料，其中A點的座標為(x1,y1,z1)，B點的座標為(x2,y2,z2)，C點的座標為(x3,y3,z3)。附加說明的是，套袋機主軸移動向量Vb較佳是與果實中軸向量Vf平行，而套袋機開口的中心點(D點)較佳是對齊C點的果尖位置。外框的座標包括(x4,y4,z1)及(x5,y5,z3)。

在本發明的另一實施例中，智慧型果實套袋系統還包括處理器及儲存媒體，處理器可存取或執行儲存在儲存媒體中的軟體、程式碼及資料，以實現深度學習模組20所提供的各種功能。處理器可例如是中央處理單元(Central Processing Unit，CPU)，或是其他可程式化之一般用途或特殊用途的微處理器(Microprocessor)、圖形處理器(Graphics Processing Unit，GPU)、單晶片電腦、數位信號處理器(Digital Signal Processor，DSP)、可程式化控制器、特殊應用積體電路(Application Specific Integrated Circuit，ASIC)或其他類似元件或上述元件的組合，本揭露不限於此。儲存媒體可例 如是任何型態的固定式或可移動式的隨機存取記憶體(Random Access Memory，RAM)、唯讀記憶體(Read-Only Memory，ROM)、快閃記憶體(Flash Memory)、硬碟(Hard Disk Drive，HDD)、固態硬碟(Solid State Drive，SSD)或類似元件或上述元件的組合，本揭露不限於此。

資料庫30耦接於深度學習模組20，用以儲存果實位置座標及果實成熟度的預測資料。資料庫30較佳為具有長時間資料保存的儲存裝置來實現，例如是硬碟、固態硬碟、快閃記憶體或類似元件或上述元件的組合，本揭露不限於此。

套袋裝置40耦接於資料庫30及深度學習模組20。套袋裝置40乃是根據深度學習模組20之果實辨識的預測結果，來對幼果果實進行套袋的作業。套袋裝置40包括套袋機總成440及強化學習模組410，其中強化學習模組410可配置於套袋機總成440中，並用以控制套袋機總成440。此外，強化學習模組410可根據環境資料產生套袋機總成控制指令，來控制套袋機總成440進行移動並對幼果果實進行套袋動作，並且通過環境更新指令來更新環境資料，以及根據更新的環境資料產生更新的套袋機總成控制指令，來控制套袋機總成440進行下一步的移動並對幼果果實進行下一步的套袋動作。更進一步來說，強化學習模組410可通過傳送環境更新指令至深度學習模組20及影像擷取模組10，以取得更新的環境資料包括果實姿態資料、果實位置座標、果樹影像及果實影像。

另外，套袋裝置40還包括距離感測模組420及位置感測模組430，其中距離感測模組420及位置感測模組430耦接於套袋機總成440。距離感測模組420用以偵測果實與套袋機之間的間隔距離(△d)，位置感測模組430用 以偵測套袋機總成440的位置並生成套袋機總成座標。距離感測模組420較佳為雷射距離感測器、超音波距離感測器、紅外線距離感測器或類似元件或上述元件的組合，本揭露不限於此。位置感測模組43較佳為全球定位系統(Global Positioning System，GPS)位置感測器、陀螺儀、加速度儀、無線網路或藍芽網路Beacon定位、或類似元件或上述元件的組合，本揭露不限於此。

在本發明的一實施例中，套袋機總成440包括套袋機、套袋機械手臂及無人車(圖未繪)，其中無人車耦接於套袋機械手臂，而套袋機械手臂耦接於套袋機。強化學習模組410根據環境資料產生套袋機總成控制指令，來控制無人車進行移動，並控制套袋機械手臂朝幼果果實方向進行移動以及控制套袋機對幼果果實進行套袋動作。更進一步來說，強化學習模組410可通過套袋機總成控制指令，來控制套袋機械手臂作出個各種動作，例如各種角度的機械手臂旋轉及各種方向的機械手臂移動。強化學習模組410也可通過套袋機總成控制指令，來控制套袋機進行套袋的動作及夾合的動作。

此外，強化學習模組410也可通過環境更新指令來更新環境資料，並根據更新的環境資料產生更新的套袋機總成控制指令，來控制無人車進行下一步的移動，並控制套袋機械手臂朝幼果果實方向進行下一步的移動以及控制套袋機對幼果果實進行下一步的套袋動作。更進一步來說，強化學習模組410還可通過傳送環境更新指令至距離感測模組420及位置感測模組430，以取得更新的環境資料還包括果實與套袋機之間的間隔距離及套袋機總成座標，其中套袋機總成座標包括套袋機的座標、套袋機械手臂的座標及無人 車的座標。此外，套袋機械手臂較佳為多軸的套袋機械手臂，無人車較佳為履帶式的無人車。

請參閱圖5，圖5是依照本發明實施例所繪示之套袋機總成強化學習控制方法的方塊示意圖。強化學習模組410包括套袋機總成強化學習控制演算法(或簡稱強化學習控制演算法)及套袋報酬(reward)函數，根據更新的間隔距離及當前的套袋機主軸移動向量產生套袋報酬分數。強化學習模組410根據套袋報酬分數及更新的環境資料產生更新的套袋機總成控制指令來控制套袋機總成440對幼果果實進行下一步的套袋動作，直到完成套袋動作為止。套袋報酬函數較佳的計算方式如以下數學式(2)，其中RD為套袋報酬函數，Vf為果實中軸向量，Vb為套袋機主軸移動向量，△d為果實與套袋機之間的間隔距離，「‧」為向量內積運算。換言之，當幼果果實與套袋機之間的間隔距離越小時，也就是越接近幼果果實時，套袋報酬分數就越高，代表強化學習模組410獲得正向或獎勵的經驗。反之，當幼果果實與套袋機之間的間隔距離越大時，也就是越遠離幼果果實時，套袋報酬分數就越低，代表強化學習模組410獲得負向或懲罰的經驗。籍此強化學習模組410可找出最佳的套袋策略。此外，套袋報酬函數可使用深度Q學習網路(Deep Q-learning Network，DQN)學習輸入與輸出間的對應關係。

在本發明的一實施例中，套袋機總成強化學習控制方法如下列步驟：首先，在步驟1中，深度學習模組20的第三神經網路模型230根據輸入的果實影像，對果實影像中幼果果實的果蒂位置及果尖位置進行辨識，並計算出此幼果果實的果實中軸向量Vf，以及根據此幼果果實的果梗延伸線與果實 中軸向量Vf，而計算出果實姿態夾角θ，並據此計算出套袋機主軸移動向量Vb。接著，在步驟2中，套袋報酬函數根據更新的間隔距離及當前的套袋機主軸移動向量產生套袋報酬分數。緊接著，在步驟3中，強化學習控制演算法根據套袋報酬分數及更新的環境資料包括更新的果實姿態資料、更新的果實位置座標、更新的間隔距離及更新的套袋機械手臂座標，並據此產生更新的套袋機械手臂的控制指令。然後，在步驟4中，套袋機械手臂根據更新的套袋機械手臂的控制指令進行下一步的套袋動作。之後，重覆步驟1至步驟4，直到完成套袋的動作為止。

在本發明的另一實施例中，智慧型果實套袋系統還包括處理器及電腦儲存媒體，處理器可存取或執行儲存在儲存媒體中的軟體、程式碼及資料，以實現強化學習模組410所提供的各種功能。處理器可例如是中央處理單元，或是其他可程式化之一般用途或特殊用途的微處理器、圖形處理器、單晶片電腦、數位信號處理器、可程式化控制器、特殊應用積體電路或其他類似元件或上述元件的組合，本揭露不限於此。儲存媒體可例如是任何型態的固定式或可移動式的隨機存取記憶體、唯讀記憶體、快閃記憶體、硬碟、固態硬碟或類似元件或上述元件的組合，本揭露不限於此。

綜上所述，本發明實施例所提供的智慧型果實套袋系統，藉由完成訓練後的深度學習模組，根據影像擷取模組所擷取的果樹影像來偵測、辨識與追蹤果實的位置，以生成果實位置座標，並根據影像擷取模組所擷取的果實影像以深度學習技術來辨識果實的成熟度及果實各部位的位置，以生成果實成熟度的預測資料及果實姿態資料。接著，套袋裝置根據深度學習模組之果實辨識的預測結果，來對幼果果實進行套袋的作業。然後，套袋裝置的強 化學習模組根據影像擷取模組及深度學習模組所提供的環境資料產生套袋機總成控制指令，來控制套袋機總成進行移動，並對幼果果實進行套袋動作，同時通過環境更新指令來更新環境資料，並根據更新的環境資料產生更新的套袋機總成控制指令，來控制套袋機總成進行下一步的移動，且對幼果果實進行下一步的套袋動作，直到完成套袋動作為止。藉此取代人工套袋方式，同時提升套袋的工作效率、降低人工的成本以及維持套袋的品質。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，本發明所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，因此本發明之保護範圍當視後附之申請專利範圍所界定者為準。

10:影像擷取模組

20:深度學習模組

210:第一神經網路模型

220:第二神經網路模型

230:第三神經網路模型

30:資料庫

40:套袋裝置

410:強化學習模組

420:距離感測模組

430:位置感測模組

440:套袋機總成

Claims (10)

1. 一種智慧型果實套袋系統，包括： 一影像擷取模組，用以擷取一果樹影像及一果實影像； 一深度學習模組，耦接於該影像擷取模組，其中該深度學習模組完成訓練後，根據該果樹影像來偵測、辨識與追蹤該果實的位置，以生成一果實位置座標，並根據該果實影像來辨識該果實的成熟度，以生成一果實成熟度的預測資料，以及根據該果實影像來辨識該果實的一果梗位置、一果蒂位置及一果尖位置，以生成一果實姿態資料，其中該果實姿態資料包括該果實的一果實中軸向量及該果實的一果梗延伸線與該果實中軸向量之間的一果實姿態夾角； 一資料庫，耦接於該深度學習模組，用以儲存該果實位置座標及該果實成熟度的預測資料；以及 一套袋裝置，耦接於該資料庫及該深度學習模組，包括一套袋機總成及一配置於該套袋機總成的強化學習模組，其中該強化學習模組根據一環境資料產生一套袋機總成控制指令，來控制該套袋機總成進行移動並對該果實進行套袋動作，且通過傳送一環境更新指令至該影像擷取模組及該深度學習模組來更新該環境資料，以及根據更新的該環境資料產生更新的該套袋機總成控制指令，來控制該套袋機總成進行下一步的移動並對該果實進行下一步的套袋動作，其中該環境資料包括該果樹影像、該果實影像、該果實姿態資料及該果實位置座標。
2. 如請求項1所述之智慧型果實套袋系統，其中該深度學習模組包括一第一神經網路模型，該深度學習模組在訓練階段時，該第一神經網路模型根據輸入一具有人工標記的幼果出現位置影像來輸出一預測的幼果出現位置，並根據該具有人工標記的幼果出現位置影像及該預測的幼果出現位置來計算一損失函數，其中該損失函數包括幼果外框的權重參數、幼果外框中心點的權重參數及幼果成熟度的權重參數，其中該具有人工標記的幼果出現位置影像包括幼果的外框長寬、幼果的外框中心點座標及幼果的成熟度，而該預測的幼果出現位置包括幼果的預測外框長寬、幼果的預測外框中心點座標及幼果的預測成熟度。
3. 如請求項2所述之智慧型果實套袋系統，其中該深度學習模組在運作階段時，通過輸入該果實影像至該第一神經網路模型，並通過該第一神經網路模型的運算，以產生出該果實的一幼果位置成熟度的預測資料，其中該幼果位置成熟度的預測資料包括幼果的外框座標預測值、幼果的外框中心點座標預測值及幼果的成熟度預測值。
4. 如請求項1所述之智慧型果實套袋系統，其中該深度學習模組包括一第二神經網路模型，該深度學習模組在訓練階段時，根據輸入多個具有人工標記的果實成熟度影像來學習各該具有人工標記的果實成熟度影像的特徵，並將各該具有人工標記的果實成熟度影像的特徵儲存至該第二神經網路模型的權重參數中，其中該些具有人工標記的果實成熟度影像包括具有人工標記的幼果果實成熟度影像、具有人工標記的套袋果果實成熟度影像、具有人工標記的準成熟果果實成熟度影像及具有人工標記的成熟果果實成熟度影像。
5. 如請求項4所述之智慧型果實套袋系統，其中該深度學習模組在運作階段時，通過輸入該果實影像至該深度學習模組的該第二神經網路模型，並通過該第二神經網路模型的運算，對該果實影像進行特徵擷取，並輸出一果實辨識的預測結果，以及根據該果實辨識的預測結果生成該果實成熟度的預測資料，其中該果實辨識的預測結果包括幼果的機率值、套袋果的機率值、準成熟果的機率值及成熟果的機率值。
6. 如請求項5所述之智慧型果實套袋系統，其中該深度學習模組在運作階段時更包括一門檻值，該果實成熟度的預測資料為從該果實辨識的預測結果中選取最大機率值且大於該門檻值的該果實。
7. 如請求項1所述之智慧型果實套袋系統，其中該套袋裝置更包括一距離感測模組及一位置感測模組，其中該距離感測模組及該位置感測模組耦接於該套袋機總成，該距離感測模組用以偵測該果實與該套袋機之間的一間隔距離，該位置感測模組用以偵測該套袋機總成的位置並生成一套袋機總成座標。
8. 如請求項7所述之智慧型果實套袋系統，其中該套袋機總成包括一套袋機、一套袋機械手臂及一無人車，其中該套袋機械手臂耦接於該套袋機，該無人車耦接於該套袋機械手臂，而該套袋機總成座標包括一套袋機座標、一套袋機械手臂座標及一無人車座標。
9. 如請求項8所述之智慧型果實套袋系統，其中該深度學習模組包括一第三神經網路模型，該深度學習模組在訓練階段時，輸入該果實影像至該深度學習模組，並通過該第三神經網路模型的運算，以辨識該果實影像中該果實的該果梗位置、該果蒂位置及該果尖位置，且根據該果蒂位置及該果尖位置而計算出該果實的該果實中軸向量，以及根據該果實的該果梗延伸線與該果實中軸向量而計算出該果實姿態夾角，並據此計算出一套袋機主軸移動向量，而生成該果實姿態資料。
10. 如請求項9所述之智慧型果實套袋系統，其中該強化學習模組包括一套袋報酬函數，根據更新的該間隔距離及當前的該套袋機主軸移動向量產生一套袋報酬分數，該強化學習模組根據該套袋報酬分數及更新的該環境資料產生更新的該套袋機總成控制指令來控制該套袋機總成對果實進行下一步的套袋動作，直到完成套袋動作為止。

Images