TWI760245B

TWI760245B - 農業設備及其疏花操作平台和疏花方法

Info

Publication number: TWI760245B
Application number: TW110120883A
Authority: TW
Inventors: 陳顯禎; 許家偉; 明旭蘇; 李仁祐; 蘇靖傑; 張嘉熒; 邱祝櫻
Original assignee: 國立陽明交通大學
Priority date: 2021-06-09
Filing date: 2021-06-09
Publication date: 2022-04-01
Also published as: TW202247758A

Abstract

一種疏花操作平台，其包含攝像模組、處理模組和雷射模組。攝像模組經配置為擷取對應前方場景的攝像畫面。處理模組經配置為判別在攝像畫面中是否有花蕊影像，且在判別出有花蕊影像後，對花蕊影像進行影像處理，以定位出花蕊的生殖構造在攝像畫面中的位置。雷射模組經配置為朝向前方場景中對應定位出的生殖構造位置激發雷射光束。

Description

農業設備及其疏花操作平台和疏花方法

本發明是有關於農業之疏花作業，且特別是一種可進行疏花作業的農業設備及其疏花操作平台和疏花方法。

農業技術已有各種提升果實品質的方法。舉例而言，為了進一步提升農作物收成的品質，可在果實收成前，先對農作物進行修剪作業，例如疏花作業，其為保留適當數量的花蕊並剪除多餘花蕊，以將養分集中在最佳數量和位置的果實上，且可減少花蜜所引發的蟲害。然而，現今疏花方式大多以全人工方式進行，故需耗費相當人力。對於目前農業環境而言，農家人口數持續減少，缺工情況日益嚴重，其不利於農業的發展。

本發明提出利用影像辨識及雷射方式進行疏花作業，其可取代全人工疏花作業方式，有效節省疏花人力，避免缺工導致的農業產能及品質下降。

本發明之一方面為提供一種疏花操作平台，其包含攝像模組、處理模組和雷射模組。攝像模組經配置為擷取對應前方場景的攝像畫面。處理模組經配置為判別在攝像畫面中是否有花蕊影像，且在判別出有花蕊影像後，對花蕊影像進行影像處理，以定位出花蕊的生殖構造在攝像畫面中的位置。雷射模組經配置為朝向前方場景中對應定位出的生殖構造位置激發雷射光束。

依據本發明之一實施例，上述處理模組對花蕊影像進行影像處理包含判別花蕊影像中是否有花藥影像或柱頭影像以及在判別出有花藥影像或柱頭影像後定位出該花蕊的花藥或柱頭在該攝像畫面中的位置。

依據本發明之又一實施例，上述處理模組經配置為依據花蕊的開花特性控制雷射模組朝向花蕊的花藥或柱頭在攝像畫面中的位置激發雷射光束。

依據本發明之又一實施例，上述花蕊的開花特性包含花蕊的發育時間序列。

依據本發明之又一實施例，上述處理模組經配置為更依據花蕊所在的氣候環境控制雷射模組朝向花蕊的花藥或柱頭在攝像畫面中的位置激發雷射光束。

依據本發明之又一實施例，上述雷射模組激發之雷射光束的持續時間小於0.3秒。

依據本發明之又一實施例，上述雷射模組激發之雷射光束的能量小於10焦耳。

本發明之另一方面為提供疏花方法，其包含下列步驟：擷取對應前方場景的攝像畫面；判別在攝像畫面中是否有花蕊影像；於判別出有花蕊影像後，對花蕊影像進行影像處理，以定位出花蕊的生殖構造在攝像畫面中的位置；以及朝向前方場景中對應定位出的生殖構造位置激發雷射光束。

本發明之又一方面為提供農業設備，其包含疏花操作平台和移動載體。疏花操作平台包含攝像模組、處理模組和雷射模組。攝像模組經配置為擷取對應前方場景的攝像畫面。處理模組經配置為判別在攝像畫面中是否有花蕊影像，且在判別出有花蕊影像後，對花蕊影像進行影像處理，以定位出花蕊的生殖構造在攝像畫面中的位置。雷射模組經配置為朝向前方場景中對應定位出的生殖構造位置激發雷射光束。移動載體位於疏花操作平台下方且支承疏花操作平台。

以下將以圖式及詳細敘述清楚說明本揭示內容之精神，任何所屬技術領域中具有通常知識者在瞭解本揭示內容之較佳實施例後，當可由本揭示內容所教示之技術，加以改變及修飾，其並不脫離本揭示內容之精神與範圍。

在本文中所使用的用語僅是為了描述特定實施例，非用以限制申請專利範圍。除非另有限制，否則單數形式的「一」或「該」用語也可用來表示複數形式。此外，空間相對性用語的使用是為了說明元件在使用或操作時的不同方位，而不只限於圖式所繪示的方向。

另外，在本文中可能會使用空間相對用語，例如「上方（over）」、「上（on）」、「下方（under）」、「下（below）」等等，以方便說明如圖式所繪示之一元件或一特徵與另一元件或特徵之關係。除了在圖式中所繪示之方向外，這些空間相對用詞意欲含括元件在使用或操作中的不同方位。結構可能以不同方式定位（旋轉90度或在其他方位上），因此可利用同樣的方式來解釋在此所使用之空間相對描述符號。

關於本文中所使用之「耦接」一詞，可指二或多個元件相互直接實體或電性接觸，或是相互間接實體或電性接觸。「耦接」還可指二或多個元件相互操作或動作。

圖1為依據本發明實施例之農業設備1的示意圖。如圖1所示，行動機器1包含疏花操作平台10和移動載體20。移動載體20位於疏花操作平台10下方且支承疏花操作平台10，其包含本體21和分別位於本體21左右兩側的行走組件22、23。行走組件22、23可以是履帶式組件、輪胎組件或其他適於在地面上行走的組件。本體21包含傳動裝置，其用以驅動行走組件22、23，使行動機器1可進行前後方向移動以及向左或向右轉彎移動。

圖2為圖1之疏花操作平台10的示意圖。如圖2所示，疏花平台10包含攝像模組110、處理模組120、控制模組130和雷射模組140。攝像模組110經配置為拍攝對應前方場景的攝像畫面。攝像模組110可包含光感測晶片，例如電荷耦合元件（charge coupled device；CCD）晶片、互補式金氧半導體（complementary metal oxide semiconductor；CMOS）晶片、或是其他適於感測入射光的晶片。此外，攝像模組110還可包含透鏡，其用以折射來自前方場景的入射光，使得影像感測器感測入射光，並將入射光轉換為攝像畫面。處理模組120用以對攝像畫面進行處理，以從攝像畫面辨識出花蕊影像，並定位出花蕊影像及其特徵結構影像（例如雌蕊之柱頭、雄蕊之花藥等）的位置。對攝像畫面進行影像處理的方式包含但不限於色度空間轉換、閾值比較和/或雜訊消除等。在完成物件特徵的定位後，控制模組130再依據處理模組120提供的訊號，控制雷射模組140朝向前方場景的花蕊特徵結構激發雷射光束，藉以達成疏花效果。

進一步地，處理模組120可經配置為依據花蕊的開花特性控制雷射模組140朝向花蕊的花藥或柱頭在攝像畫面中的位置激發雷射光束。由於花蕊的開花特性會決定攝像模組110在特定時間點所拍攝到的花蕊影像，且會影響處理模組120對花蕊影像的辨識處理，故依據花蕊的開花特性決定雷射模組140對準花蕊的何種生殖構造，可進一步提升疏花效果。花蕊的開花特性包含花蕊的各階段發育時間、植株年齡、植株規格等，但不限於此。以印度棗為例，其花蕊具有花蕾開裂、雄蕊成熟、柱頭伸長和雌蕊成熟等四個發育階段。對於上午開花型的印度棗花蕊而言，前兩個發育階段是在上午，而後兩個發育階段是在下午，且對於下午開花型的印度棗花蕊而言，前兩個發育階段是在下午，而後兩個發育階段是在翌日下午。

在一些實施例中，處理模組120可經配置為依據花蕊所在的氣候環境控制雷射模組140朝向花蕊的花藥或柱頭在攝像畫面中的位置激發雷射光束。舉例而言，對於部分品種的花蕊而言，在晴天環境下的開花時間早於在陰天環境下的開花時間，故可更依據氣候環境決定雷射模組140對準花蕊的何種生殖構造，以進一步提升疏花效果。疏花操作平台10可包含環境光感測器、溫度感測器、濕度感測器和/或其他感測元件，其用以感測花蕊所在的氣候環境。

圖3為圖2之攝像模組110和雷射模組140的詳細示意圖。如圖3所示，攝像模組110包含影像感測器112和透鏡114，而雷射模組140包含雷射光源142、反射鏡144A、144B、雙軸掃描振鏡146和分色鏡148。影像感測器112包含光感測晶片，例如電荷耦合元件晶片、互補式金氧半導體晶片、或是其他適於感測入射光的晶片。透鏡114用以折射入射光，使得影像感測器112感測入射光，並將入射光轉換為圖像資料。在一些實施例中，攝像模組110還包含濾光片116，其用以阻擋可見光波段以外的光成分通過，從而提升攝像畫面的對比度。雷射光源142可使用雷射二極體作為泵浦光源，並激發雷射晶體，以產生特定波段（例如近紫外線或近紅外線波段）的雷射光束。反射鏡144A、144B用以改變雷射光源142發射之雷射光束的行進方向，而雙軸掃描振鏡146用以快速改變雷射光束在X方向及Y方向（即互相垂直的兩平面維度方向）經過分色鏡148反射後的準直方向。雙軸掃描振鏡146設置於雷射光束的光路上，依據接收到的電壓訊號調整位置，從而改變雷射光束的行進方向。分色鏡148對可見光具有高穿透率，以使外部可見光通過而入射至攝像模組110，進而由影像感測器112吸收。另一方面，分色鏡148對雷射光源142產生的雷射光束具有高反射率，使得雷射光源142產生的雷射光束絕大部分經由分色鏡148反射出。

在雷射模組140發射雷射光束的操作上，首先由處理模組120根據花蕊影像的特徵結構影像在攝像畫面中的位置，計算雙軸掃描振鏡146的調整角度。雙軸掃描振鏡146的調整角度可分為水平分量調整角度和垂直分量調整角度。水平分量調整角度可以下列方式得到。首先，由處理模組120依據式(1)計算出影像感測器112的像素對應前方場景的水平方向單位長度PX _FH：

其中X為攝像畫面的水平方向畫素個數，D為透鏡114與前方場景的距離，而FOV _H為水平方向的視角（field of view）。接著，由處理模組120依據式(2)計算出雙軸掃描振鏡146的水平分量調整角度θ _H：

其中L _H為分色鏡148與特徵部位定位點之間的距離，而P _H為特徵部位定位點在攝像畫面中的水平像素位置。雙軸掃描振鏡146的垂直分量調整角度可依據相似方式得到，故不再重複說明。

得到雙軸掃描振鏡146的調整角度後，接著處理模組120再依據調整角度產生電壓訊號，且送出電壓訊號至控制模組130。依據雙軸掃描振鏡146的類型，電壓訊號與調整角度可以是線性關係或非線性關係。若是電壓訊號與調整角度為線性關係，則電壓訊號的值可由調整角度除以最大可調整角度接著再乘上最大可調整角度對應的電壓值而得。此外，在一些實施例中，處理模組120可由儲存電壓訊號與調整角度之對應關係的查找表得到電壓訊號的值。

控制模組130根據電壓訊號的值調整雙軸掃描振鏡146的水平角度和垂直角度，且在雙軸掃描振鏡146調整完成後，控制雷射光源142激發雷射光束。在雙軸掃描振鏡146調整完成下，由分色鏡148出光的雷射光束，可對準前方場景的花蕊中的特徵結構。

請參照圖4，圖4為依據本發明實施例之疏花方法200的流程圖。疏花方法200可用於疏花平台10或是其他具有物件影像辨識及雷射激發功能的平台。以下有關疏花方法200之說明係以用於疏花平台10為例。首先，進行步驟S210，利用攝像模組110拍攝對應前方場景的攝像畫面。接著，進行步驟S220，由處理模組120判別在攝像畫面中是否有花蕊影像，且在判別出在攝像畫面中有花蕊影像下，定位出花蕊影像在攝像畫面中的位置，並決定在攝像畫面中包含花蕊影像的擷取範圍。本文所指之花蕊影像，可以是特定物種的花蕊影像，或是具有相同或相似花蕊外觀特徵之品種集合的花蕊影像。

判別在攝像畫面中是否有花蕊影像可依據訓練模型和攝像畫面的比對來進行。攝像物件可以是對應特定的物件，且訓練模型可由離線訓練方式得到，例如預先蒐集足夠數量的訓練圖片，接著再對這些取得的訓練圖片進行迭代運算而建立。訓練圖片可以包含相同物種的花蕊影像，或是具有相同或相似花蕊外觀特徵之品種集合的花蕊影像。此外，訓練模型可以是多個，其分別對應多個不同物種的花蕊影像，或是分別對應不同花蕊外觀特徵的花蕊影像，且此些訓練模型的建立可以是各自獨立。

判別出花蕊影像後，接著進行步驟S230，對花蕊影像進行影像處理，以定位出花蕊的生殖構造在攝像畫面中的位置。以完全花為例，花蕊的生殖構造包含一或多個雄蕊和一或多個雌蕊，其中雄蕊的頂端通常為花藥，而雌蕊的頂端通常為柱頭。花藥中的花粉粒（不限於與雌蕊源自同一花蕊的花粉粒）經由授粉（例如藉由風力散播或動物攜帶）到達雌蕊的柱頭頂端後，經由萌發生長的花粉管到達雌蕊的子房，且接著雌蕊胚珠中的卵細胞與花粉粒中的精細胞結合後發育為種子，而包覆胚珠的子房壁則發育成為果實。因此，只要阻斷胚珠中的卵細胞與花粉粒中的精細胞結合，花蕊便無法發育成果實和種子。

定位出花蕊的生殖構造在攝像畫面中的位置後，接著進行步驟S240，由控制模組130控制雷射模組140朝向前方場景中對應定位出的生殖構造位置激發雷射光束，以燒除花蕊的生殖構造。若定位的對象為花藥，則可在定位出花藥在攝像畫面中的位置後，接著再朝向前方場景中對應定位出的花藥位置激發雷射光束，以燒除花藥中的花粉粒。若定位的對象為雌蕊的柱頭，則可在定位出雌蕊柱頭在攝像畫面中的位置後，接著再朝向前方場景中對應定位出的雌蕊柱頭位置激發雷射光束，以破壞雌蕊柱頭，且如此一來，即使花粉粒到達雌蕊的柱頭，仍無法萌發生長出花粉管。經過實測發現，雷射光束的激發持續時間和能量分別小於0.3秒和小於10焦耳下，可燒除花藥和/或柱頭，以抑制花蕊發育為果實。

以下說明以印度棗花蕊為例。圖5A至圖5F為上午開花型印度棗花蕊於6時0分、8時0分、10時0分、12時0分、14時0分和16時0分的攝像，其中圖5A的攝像呈現花萼剛開裂的狀態，圖5B的攝像呈現花萼展開約30度的狀態，圖5C的攝像呈現花瓣展開約60度的狀態，圖5D的攝像呈現花瓣展開約90度的狀態，圖5E的攝像呈現花瓣及花藥展開約90度且柱頭微突的狀態，而圖5F的攝像呈現柱頭突起開岔的狀態。另一方面，圖6A至圖6F為下午開花型印度棗花蕊於12時0分、14時0分、16時0分、18時0分、翌日8時0分和翌日10時0分的攝像，其中圖6A的攝像呈現花萼剛開裂的狀態，圖6B的攝像呈現花萼展開約30度的狀態，圖6C的攝像呈現花瓣展開約60度的狀態，圖6D的攝像呈現花瓣展開約90度的狀態，圖6E的攝像呈現花瓣及花藥展開約90度且柱頭微突的狀態，而圖6F的攝像呈現柱頭突起開岔的狀態。若是花蕊在圖5A至圖5D中的任何一種狀態，或是在圖6A至圖6D中的任何一種狀態，則可決定對花藥進行雷射燒解。相對地，若是花蕊在圖5E至圖5F中的任何一種狀態，或是在圖6E至圖6F中的任何一種狀態，則因花藥已展開而無法由雷射光束正面燒解，故決定對柱頭進行雷射燒解。

圖7和圖8為印度棗於不同發育階段的攝像示例。依據本發明實施例，處理模組120可由圖7所示之攝像示例判別出花蕊在雌蕊成熟的發育階段（如紅框處所示），並控制雷射模組140朝向花蕊的柱頭發射雷射光束，且可由圖8所示之攝像示例判別出花蕊在雄蕊成熟的發育階段（如紅框處所示），並控制雷射模組140朝向花蕊的花藥發射雷射光束。

相較於全人工疏花作業，本發明實施例可有效節省疏花人力，且由於僅需發射短暫秒數和少許能量的雷射光束就可燒除花蕊的生殖構造，故僅需耗費少許電能，即可達到疏花效果。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。

1:農業設備 10:疏花操作平台 20:移動載體 21:本體 22,23:行走組件 110:攝像模組 112:影像感測器 114:透鏡 116:濾光片 120:處理模組 130:控制模組 140:雷射模組 142:雷射光源 144A,144B:反射鏡 146:雙軸掃描振鏡 148:分色鏡 200:疏花方法 S210,S220,S230,S240:步驟

為了更完整了解實施例及其優點，現參照結合所附圖式所做之下列描述，其中： [圖1]為依據本發明實施例之農業設備的示意圖； [圖2]為[圖1]之疏花操作平台的示意圖； [圖3]為[圖2]之攝像模組和雷射模組的詳細示意圖； [圖4]為依據本發明實施例之疏花方法的流程圖； [圖5A]至[圖5F]為上午開花型印度棗花蕊於不同時間點的攝像； [圖6A]至[圖6F]為下午開花型印度棗花蕊於不同時間點的攝像；以及 [圖7]和[圖8]為印度棗於不同發育階段的攝像示例。

國內寄存資訊(請依寄存機構、日期、號碼順序註記) 無國外寄存資訊(請依寄存國家、機構、日期、號碼順序註記) 無

200:疏花方法

S210,S220,S230,S240:步驟

Claims

一種疏花操作平台，包含：一攝像模組，經配置為擷取對應一前方場景之一攝像畫面；一處理模組，經配置為判別在該攝像畫面中是否有花蕊影像，且在判別出有花蕊影像後，對該花蕊影像進行影像處理，進一步判別該花蕊影像中是否有花藥影像或柱頭影像，並在判別出有花藥影像或柱頭影像後，定位出花藥或柱頭在該攝像畫面中的位置；以及一雷射模組，經配置為朝向該前方場景中定位出的花藥或柱頭激發雷射光束。
如請求項1所述之疏花操作平台，其中該處理模組經配置為依據對應該花蕊影像之花蕊的開花特性控制該雷射模組朝向該前方場景中定位出的花藥或柱頭激發雷射光束。
如請求項2所述之疏花操作平台，其中該花蕊的開花特性包含該花蕊之發育時間序列。
如請求項2所述之疏花操作平台，其中該處理模組經配置為更依據該花蕊所在的氣候環境控制該雷射模組朝向該前方場景中定位出的花藥或柱頭激發雷射光束。
如請求項1所述之疏花操作平台，其中該雷射模組激發之雷射光束的持續時間小於0.3秒。
如請求項1所述之疏花操作平台，其中該雷射模組激發之雷射光束的能量小於10焦耳。
一種疏花方法，包含：拍攝對應一前方場景之一攝像畫面；判別在該攝像畫面中是否有花蕊影像；於判別出有花蕊影像後，對該花蕊影像進行影像處理，進一步判別該花蕊影像中是否有花藥影像或柱頭影像，並在判別出有花藥影像或柱頭影像後，定位出花藥或柱頭在該攝像畫面中的位置；以及朝向該前方場景中定位出的花藥或柱頭激發雷射光束。
一種農業設備，包含：一疏花操作平台，包含：一攝像模組，經配置為擷取對應一前方場景之一攝像畫面；一處理模組，經配置為判別在該攝像畫面中是否有花蕊影像，且在判別出有花蕊影像後，對該花蕊影像進行影像處理，進一步判別該花蕊影像中是否有花藥影像或柱頭影像，並在判別出有花藥影像或柱頭影像後，定位出花藥或柱頭在該攝像畫面中的位置；以及一雷射模組，經配置為朝向該前方場景中定位出的花藥或柱頭激發雷射光束；以及一移動載體，位於該疏花操作平台下方且支承該疏花操作平台。