TWI760782B

TWI760782B - 用於地理區域上果園辨識之系統及方法

Info

Publication number: TWI760782B
Application number: TW109122891A
Authority: TW
Inventors: 周呈霙; 謝鈺芳; 陳彥碩; 劉柏廷
Original assignee: 國立臺灣大學
Priority date: 2019-07-08
Filing date: 2020-07-07
Publication date: 2022-04-11
Also published as: TW202109434A; US11455794B2; US20210012109A1

Abstract

本揭露係提供一種用於地理區域上果園辨識之系統及方法。所述系統係包括：預處理模組，係用於派生包含果園坵塊的航照圖目標區段；影像優化模組，係用於執行航照圖目標區段之客製化影像處理；以及辨識模組，係用於以深度學習機制判定航照圖目標區段上所呈現果園的種類及邊界。因此，農民及農業實體可有效率地監控不同地理區域內之果園，以獲得更好的水果生產及執行更佳的水果品質控制及土地利用。

Description

用於地理區域上果園辨識之系統及方法

【相關發明的交叉引用】

本揭露係請求於2019年7月8日提出申請的美國序列編號第62/871,252號的權益，其公開內容於此通過引用整體結合於本文中。

本揭露係關於人工智慧農業領域，且更特別是在地理區域上分割果園之邊界及辨識其種類。

在農業產業中，特定種類水果的種植過量或種植不足常會造成市場中供需的嚴重不平衡。為了在競爭的農業產業中適當地獲利，農民或農業實體通常最好能監控不同地理區域內的果園，以更好地調節水果生產，並執行更好的水果品質控制和土地利用。

航照圖係監控果園用之常見資源。然而，由於航照圖常包含例如陰影、雲、如建築物之非果樹元素等不良干擾，因此在航照圖上執行分析通常是困難的。更進一步地，就算航照圖沒有干擾仍是難以進行分析的，因為果園的不規則形狀(例如，果樹可能沿著山丘的地勢種植，且自耕農可能擁有不規則形狀之果園)及不同果樹間的相似特徵，僅靠人類能力是不可能進行區分的。

現存在有本技術領域中的專業人員為了易於調查而於航照圖中所製作的果園形狀檔案(shapefile)。然而，製作這些形狀檔案需消耗大量時間，且需要航照圖分析的特定專業能力。舉例來說，一張具有五千比一之空間比例尺度且僅包含單一種類果樹的航照圖，一般需要專業人員十二小時來完全分析。

因此，本技術領域亟需電腦實施技術來解決前述的問題。

本揭露係提供一種用於辨識地理區域上之果園的電腦實施系統，包括：預處理模組，係經配置以自航照圖及形狀檔案派生該航照圖之目標區段，該目標區段包含該果園之坵塊及對應該果園之形狀之遮罩；影像優化模組，係經配置以藉由優化器調節該航照圖之目標區段；以及辨識模組，係經配置以基於對應該果園的形狀之遮罩及包含該果園之該坵塊的該經調節之航照圖之目標區段，藉由深度學習機制判定該航照圖之目標區段中該果園的種類及該果園的邊界。

本揭露另提供一種用於辨識地理區域上之果園的電腦實施方法，包含：自航照圖及形狀檔案派生包含該果園之坵塊的該航照圖之目標區段；自該形狀檔案派生對應於該果園的形狀之遮罩；藉由優化器調節該航照圖之目標區段；藉由深度學習機制判定該航照圖之目標區段中的該果園之種類；以及基於對應於該果園之該形狀之該遮罩及包含該果園之該坵塊之該經調節之航照圖之目標區段，藉由該深度學習機制判定該航照圖之目標區段中該果園的邊界。

100:系統

110:輸入模組

120:預處理模組

130:影像優化模組

140:辨識模組

150:後處理模組

1001:左側視窗

1002:右側視窗

1003:目標

1004:柑橘選項

1005:柑橘區域

1010、1020、1030、1040、1050:步驟

本揭露可藉由閱讀以下實施例的描述，並藉由參考伴隨的圖式而更具體了解，其中：

圖1係本揭露中用於判定地理區域上果園種類之系統的例示示意圖；

圖2至圖10係本揭露之實施態樣的例示示意圖；

圖11係繪示操作本揭露中用於判定地理區域上果園種類之系統的步驟流程圖。

本揭露係藉由以下實施例描述。本技術領域中具有通常知識者可在閱讀本說明書揭露的內容後充分了解本揭露的其他優點及功能。本揭露亦可以其他不同實施方式實行或施加。

參考圖1，係提供用於辨識地理區域上之果園的種類的系統100。具體而言，系統100包括輸入模組110、預處理模組120、影像優化模組130、辨識模組140及後處理模組150。上述各模組可在分開或整合之電腦設備、處理單元、或其結合者上運作。更進一步地，所述模組可通過有線或無線方式彼此電性通訊。

輸入模組110係經配置以接收用於訓練及/或分析之原始影像。舉例而言，系統100可以網頁或應用視窗之形式提供使用者介面，以允許原始影像之上傳及/或匯入。儘管未特別註記，本技術領域中具有通常知識者當知道，輸入模組110所接收之原始影像可同時作為用於處理之後續階段中果園辨識的訓練資料及欲辨認之資料。

如圖2所示，本文描述的原始影像一般係指航照圖及果園之形狀檔案，但並不限於此。

在本文中描述的實施態樣中，航照圖係由衛星、飛機上之相機、無人機、或類似者所拍攝之影像，且可以多光譜影像或高光譜影像格式拍攝，而形狀檔案係本技術領域中之專業人員所辨認的描繪果園邊界的圖像。所述多光譜影像或高光譜影像可具有7、12或28的頻帶，但不限於此。更進一步地，航照圖可包含存在於RGB(red,green & blue；紅、綠及藍)可見光波、近紅外線(near-infrared，NIR)光波、長波長近紅外光波、全色波段光波及熱紅外光波之數據，且可包含CAVIS(clouds,aerosols,vapors,ice & snow；雲、氣霧、煙霧、冰及雪)資訊。

在另一實施態樣中，航照圖及形狀檔案皆可帶有地理資訊，例如，其相對於地理資訊系統(geographic information system，GIS)之座標及空間尺度，或航照圖及形狀檔案所產生的時間。航照圖及形狀檔案亦可帶有其設定資訊，例如，其解析度值、檔案大小、或類似者。所述關於航照圖及形狀檔案之地理資訊及設定資訊在果園辨識之後續階段中也是有助益的。

在另一實施態樣中，航照圖及形狀檔案可在使用者需求下被上傳、或從可靠來源自動匯入，例如，從台灣農業試驗所及農林航空測量所之資料庫自動匯入。然而，原始影像的檔案格式及來源並不限於上述，且可以不同檔案格式或其他來源取得。

回到圖1，預處理模組120係用於從輸入模組110所接收之航照圖及果園之形狀檔案中派生航照圖之目標區段及遮罩。舉例而言，所述遮罩可來自形狀檔案，但不以此為限。預處理模組120之處理流程及其結果係如圖3至圖4所描繪，並將詳細描述於下文中。

如圖3所示，果園之坵塊可藉由將航照圖及果園之形狀檔案彼此比較所派生。以圖3由左至右(如箭頭所示)描繪來看，預處理模組120係選擇具有相似地理資訊(即，座標及時間相近)之航照圖及形狀檔案來做比較。由此，果園之坵塊(即，無背景之坵塊)可使用形狀檔案所描述之果園的邊界資訊從航照圖中切割出來。應當理解的是，所取得的果園坵塊可用做果園辨識之後續階段中的訓練資訊(例如，果園坵塊之基本事實(ground truth)資訊)。

在另外的實施態樣中，在預處理模組120派生出果園坵塊後，可進行額外的步驟，以確保坵塊是可用的。舉例而言，休耕季節之果園或用做建地之果園在航照圖中不會呈現任何果樹。另舉一例而言，帶有嚴重干擾或不完整區域之航照圖亦不會呈現足夠的果樹資訊。在此情況下，預處理模組120可將具有高非植栽比例、高色差及/或過小果園區域之果園坵塊過濾。所述非植栽比例可藉由坵塊中呈現的歸一化植被指數(normalized difference vegetation index，NDVI)值計算之。

圖4係相對於圖3的接續流程，其中，果園之坵塊係用於取得航照圖中的目標區段。如圖4中由左至右所描述的(如箭頭所示)，預處理模組120係基於果園之坵塊(即，箭頭旁之中間影像所示具有背景的果園坵塊)從航照圖中分割出包含坵塊的目標區段，使得果園辨識之後續階段更易管理(即，具有較小檔案大小且具有統一形狀)。更進一步地，預處理模組120另使用形狀檔案產製對應於坵塊形狀之遮罩(即，右側所示之影像)。舉例而言，對應於果園坵塊的遮罩係遮蓋航照圖目標區段上除了果園所在之區域處。藉此方式，對應於果園坵塊的遮罩可在航照圖之目標區段中詳細描繪出坵塊的邊界(即，坵塊的形狀)。應當理解的是，所獲取的航照圖目標區段及對應於果園坵塊的遮罩可用作果園辨識之後續階段中的訓練(即，基本事實)資訊。

在一實施態樣中，對應於果園坵塊的遮罩可由以下格式生成：PNG/BMP檔案之影像遮罩、json或geo-json檔案中的Polygon、藉由未壓縮/壓縮長度變動編碼壓縮法(run-length encoding，RLE)或經修改的霍夫曼編碼加密的json或geo-json檔案中的加密影像、或類似者，但並不限於上述。

回到圖1，預處理模組120派生之航照圖之目標區段(即，具有背景之果園坵塊)係送至影像優化模組130，以進行客製化影像處理。

舉例而言，航照圖可能被不同設定之相機拍攝。因而，從航照圖分割之航照圖目標區段通常包含不理想之缺陷及噪音，例如，雲、霾、陰影、來自地球表面之光反射等，皆係不利於辨識航照圖中果園之種類(例如，種植於果園中之果樹)。因此，最好將航照圖之目標區段調節成易於掌握之狀態，以使後續處理階段中的果園辨識能有效率。

在本文中描述的實施態樣中，影像優化模組130係經配置有分類器及優化器，其中，分類器係經配置以判定航照圖之目標區段中的瑕疵種類，而優化器係經配置以基於分類器所判定的瑕疵種類達成所述航照圖目標區段的調節。舉例而言，分類器係用於影像中之瑕疵分類的卷積神經網路(convolutional neural network，CNN)模型，例如，AlexNet CNN模型、VGG CNN模型、或類似者，但不限於上述。再者，優化器執行之所述航照圖目標區段的調節係包括果園坵塊之雲/霾移除、色彩校正及/或陰影去除等項目，但不限於此。

在一實施態樣中，航照圖目標區段之雲/霾移除的項目可使用以下文件揭露的方法達成：Kaiming He、Jian Sun及Xiaoou Tang所著之「使用暗通道先驗去除單張圖像霾」；Bharath Raj N.及Venkateswaran N所著之「使用生成對抗網絡去除單個圖像霾」；Chao-Hung Lin、Po-Hung Tsai、Kang-Hua Lai及Jyun-Yuan Chen所著之「利用資訊複製從多時相衛星圖像中去除雲」；或類似者。然而，其他具有相等或改進效率之用於航照圖目標區段之雲/霾去除技術亦可被影像優化模組130使用。

在另一實施態樣中，用於航照圖目標區段之色彩校正的項目可使用以下方法達成：GDAL Cookbook的直方圖拉伸方法、直方圖均衡、Ke-Sheng Cheng所著之基於PCA的色彩校正方法、通過全局/局部對比度優化和色彩校正的影像增強、中途均衡、對比受限的自適應直方圖均衡化(contrast limited adaptive histogram equalization，CLAHE)、影像之直方圖裁剪解相關拉伸邊緣感知局部對比度處理、影像之快速局部拉普拉斯濾波、伽瑪校正、或類似者。然而，其他具有相等或改進效率之用於航照圖目標區段之色彩校正技術亦可被影像優化模組130使用。

在又一實施態樣中，用於航照圖目標區段之陰影移除的項目可使用以下文件揭露之方法達成：Jifeng Wang、Xiang Li及Jian Yang所著之「用於聯合學習陰影檢測和陰影去除之堆疊式條件生成對抗網絡」；Oleksii Sidorov所著之「用於多光源顏色恆定的條件GAN：革命還是另一種方法？」；Graham D.Finlayson、Steven D.Hordley及Mark S.Drew所著之「從影像移除陰影」；Saritha Murali、Govindan V.K.及Saidalavi Kalady所著之「通過使用非陰影錨點值進行優化之單一圖像陰影去除」；或類似者。然而，其他具有相等或改進效率之用於航照圖目標區段之陰影移除技術亦可被影像優化模組130使用。

在本文中描述的一些替代實施態樣中，影像優化模組130係配置有卷積神經網路(CNN)模型的優化器，例如，條件生成對抗網絡(generative adversarial network，GAN)CNN模型、或類似者，係可同時執行上述的航照圖之瑕疵分類及航照圖目標區段之調節。

圖5係描述影像優化模組130之運作的例示性圖樣，其中，航照圖之目標區段係經過複數個卷積、池化及/或完全連接層，以致能特徵提取及分類而執行所述航照圖目標區段之雲/霾移除、色彩校正及/或陰影去除等項目。應當理解的是，所述航照圖目標區段之雲/霾移除、色彩校正及/或陰影去除等項目係可被影像優化模組130逐步或同時執行，只要上述各項目被有效率地達成即可。

回到圖1，辨識模組140係經配置以判定航照圖之目標區段中果園的種類(即，種植於果園中之果樹的種類)。

在本文中描述的實施態樣中，辨識模組140係使用深度學習機制，例如神經網路，如卷積神經網路(CNN)模型，來辨識果園。舉例而言，辨識模組140所使用之深度學習機制係Mask R-CNN模型，但不限於上述。

在一實施態樣中，辨識模組140的深度學習機制可於實時或訓練期間使用影像優化模組130調節之航照圖目標區段及/或預處理模組120所輸出對應於果園坵塊的遮罩進行訓練。因此，辨識模組140係於接收到未辨識之航照圖時，自動從其中辨識果園的種類，並接續辨識果園之邊界(即，果園的形狀)。

圖6係繪示如箭頭所示由左至右之方向所呈現使用辨識模組140之深度學習機制判定果園種類之流程。首先，候選區域網路(region proposal network)係用於辨認航照圖之目標區段上的興趣區域(region of interest，ROI)，其中，ROI一般係包含欲辨認之坵塊的四角形邊框。接著，ROI係經過一系列完全連接網路(例如，圖6所示二個完全連接網路)以判定並辨認坵塊中所種植之果樹種類(即，坵塊種類)，並產製切割出航照圖目標區段上坵塊之邊界形狀的遮罩，以標示坵塊的邊界。

有數種辨認航照圖上果樹之標準。舉例而言，對於生長特性方面，香蕉樹一般具有帶複數大型葉的星型樹冠；棗樹一般具有半透明層的纖毛狀樹冠；而蓮霧樹一般具有亮綠色之圓型樹冠。另舉一例而言，對於農業操作方面，棗樹常在收穫季節前以白網覆蓋；荔枝樹的樹冠常被修剪(例如，在荔枝樹的樹冠中央具有中空部分)以控制其高度；而蓮霧樹常以黑網覆蓋以控制其水果培育時間。這些果樹的特性因而形成自航照圖之果園中辨認果樹的標準。

因此，辨識模組140係經訓練，以藉由提取航照圖之目標區段內符合上述標準的特徵，自動辨認ROI內果園所種植果樹的種類。然而，應當理解的是，辨識模組140並不限於僅辨認上述的果樹種類。事實上，在辨認其他果園的標準持續被更新至辨識模組140之深度學習機制下，辨識模組140可被訓練以辨認更多種類之果樹。

圖7及圖8係顯示藉由辨識模組140所辨識的果園態樣。在圖7中，經辨認的ROI係輸出為標註有果樹種類(依次為：蓮霧、棗子、及荔枝)且標示有果園邊界(以圍繞果園之粗線呈現)的影像。圖8圖示基於農業操作特徵辨認ROI內之果園的另一態樣，例如覆蓋有白網之棗樹及覆蓋有黑網之蓮霧樹的果園。應注意的是，果樹的種類可包括梨子、柿子、竹子、龍眼、楊桃、葡萄、檳榔、香蕉、蘋果、芒果、枇杷、椰子、桃/李子、火龍果、番荔枝、番石榴、番木瓜、百香果、銀蓮花、甘蔗。

回到圖1，後處理模組150係經配置以輸出辨識模組140的辨識結果。舉例而言，具有經辨識之果園的影像可投射到包含果園之航照圖以做演示。

圖9至圖10係圖示後處理模組150的工作流程。在圖9中，後處理模組150係搜尋使用者所上傳之航照圖上對應於經辨認之果園的位置(例如，使用航照圖的地理資訊)。接續看到圖10，後處理模組150係將航照圖，連同對應之經辨認果園的影像呈現於使用者介面，以用於觀看選項。類似地，使用者介面可為網頁或應用視窗的形式，且可為與系統100所提供用於輸入原始影像至輸入模組110的使用者介面為相同的使用者介面。

圖10係繪示根據本文所描述之實施態樣中呈現後處理模組150輸出的辨識結果之使用者介面的態樣。在此實施態樣中，在欲從航照圖中修出種植有柑橘之果園之辨識結果的要求下，目標1003選項及柑橘選項1004可被使用者選定，以標示出左側視窗1001所呈現航照圖中種植有柑橘的所有果園。接著，當使用者選定視察航照圖上特定的果園時(例如，將滑鼠指標移動至航照圖上特定的果園上)，被選定之果園的影像可被呈現於右側視窗1002(即，具有經辨識果園的影像)上，並以圖像層(其對應於遮罩所標示之果園的邊界/形狀)標示所選定果園的影像中果園的區域。可選擇地，若果園中柑橘區域1005(以像素為單位)的額外資訊亦可呈現，則使用者可獲得所辨認果園的實際地理資訊(例如，果園的實際種植區域)。

圖11係圖示用於辨識航照圖中果園之方法的步驟流程圖。

在步驟1010處，係接收果園的航照圖及形狀檔案。舉例而言，果園的航照圖及形狀檔案可經由系統100所提供之使用者介面(例如，網頁、應用視窗等)上傳至輸入模組110。在此情況下，航照圖可包含一或多個欲辨識之果園。

在步驟1020處，航照圖係藉由預處理模組120預處理，以自航照圖產製包含果園之坵塊的航照圖目標區段，並使用果園之形狀檔案產製對應於果園坵塊的遮罩。

在步驟1030處，航照圖之目標區段可藉由影像優化模組130調節，其中，影像優化模組130係經配置，以判定航照圖目標區段中瑕疵種類及基於瑕疵種類替航照圖目標區段執行例如雲/霾移除、色彩校正及陰影去除的優化器。

在步驟1040處，航照圖目標區段中之果園係藉由深度學習機制被辨識。舉例而言，航照圖目標區段中果園的種類及邊界係藉由辨識模組140之深度學習機制，基於預處理模組120產製之對應於果園坵塊的遮罩及多種辨認果樹之標準來判定。

在步驟1050處，後處理辨識的結果。舉例而言，標示有果園種類及邊界之影像(如圖7及圖8所示)，及其對應之航照圖，可藉由後處理模組150而被用於在系統100所提供之使用介面上呈現辨識結果。

在本揭露中用於在地理區域上辨識果園之系統及方法中，預處理模組係用於自航照圖派生包含果園之坵塊的航照圖的目標區段；影像優化模組係用於在航照圖的目標區段上執行客製化影像處理；以及辨識模組係用於以深度學習機制判定航照圖上所呈現果園的種類及邊界。因此，農民及農業實體可應用本揭露以有效率地監控不同地理區域內之果園，以獲得更好的水果生產及執行更佳的水果品質控制及土地利用。

以上實施態樣的描述係用於顯示本揭露的特徵及功能，並非用於限定本揭露的範圍。本技術領域中具有通常知識者應當理解所有根據本揭露之精神及原理的修改及變型均應落入所附申請專利範圍的範圍內。