TWI785436B - 自航拍影像偵測物體之系統、偵測航拍影像內物體之方法及其非暫態電腦可讀取媒體 - Google Patents

自航拍影像偵測物體之系統、偵測航拍影像內物體之方法及其非暫態電腦可讀取媒體 Download PDF

Info

Publication number
TWI785436B
TWI785436B TW109144124A TW109144124A TWI785436B TW I785436 B TWI785436 B TW I785436B TW 109144124 A TW109144124 A TW 109144124A TW 109144124 A TW109144124 A TW 109144124A TW I785436 B TWI785436 B TW I785436B
Authority
TW
Taiwan
Prior art keywords
image
images
training
target object
area
Prior art date
Application number
TW109144124A
Other languages
English (en)
Other versions
TW202125324A (zh
Inventor
羅正方
陳姿秀
柯長榮
吳俊毅
鄭雅文
陳光宇
林德哲
溫修賢
張庭榮
Original Assignee
經緯航太科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US16/724,041 external-priority patent/US10699119B2/en
Application filed by 經緯航太科技股份有限公司 filed Critical 經緯航太科技股份有限公司
Publication of TW202125324A publication Critical patent/TW202125324A/zh
Application granted granted Critical
Publication of TWI785436B publication Critical patent/TWI785436B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/07—Target detection

Abstract

在此揭露了一種自航拍影像偵測物體之方法與系統，該方法包含獲得一區域的一影像，自該區域的該影像獲得複數個局部航拍影像，由一分類器將該複數個局部航拍影像分類為一第一類或一第二類，其中：該第一類表示一局部航拍影像包含一目標物體，該第二類表示一局部航拍影像不包含一目標物體，且該分類器係透過第一與第二訓練資料所訓練，其中該第一訓練資料包含第一訓練影像，該第一訓練影像包含目標物體，且該第二訓練資料包含第二訓練影像，該第二訓練影像包含藉由調整該第一訓練影像的亮度、對比、色彩飽和度、解析度或旋轉角度其中至少一者所獲得的目標物體，以及在該第一類中的一局部航拍影像中辨識一目標物體。

Description

自航拍影像偵測物體之系統、偵測航拍影像內物體之方法及 其非暫態電腦可讀取媒體 (相關申請案相互參照)
本發明在此將2016年12月2日提出的美國第15/367,975號專利以引用方式將其全文明確地併入本文中。
本發明一般係關於偵測航拍影像內物體之方法及系統，且具體而言，係關於通過人工智慧技術進行模板匹配(template matching)以偵測及辨識感興趣區域之航拍影像(an aerial image of an area of interest)內物體之方法及系統。
自動物體偵測對於在影像內找出並識別目標物體非常有用。人類稍微努力就可識別影像中的一或幾個目標物體，不過對於人類而言，在影像內找出並識別大量目標物體就具有挑戰性。當影像內的目標物體以不同大小與比例顯示時，或甚至在不同旋轉視角內，從不同視點看起來就不相同。某些電腦實施方法可根據外觀或特徵來偵測目標物體，然而，對於某些應用來說，例如經濟作物或某些農業應用，這些物體偵測方法的精確度可能不夠好。
因此當感興趣區域內潛在目標物體的數量增加並且航拍影像的解析度受限時，來自航拍影像的物體偵測就變得更具挑戰性。當在大比例面積內有可觀數量的潛在目標物體時，依靠人類尋找並識別目標物體就變得不切實際。 增加航拍影像的解析度對於提高物體偵測的精確度可能有所幫助，然而在同一時間上，在高解析度影像上執行物體辨識與偵測會增加計算複雜度，而限制了特定應用的可行性與效率。
因此，需要快速並精準從感興趣區域航拍影像中偵測目標物體之方法及系統。該等揭示方法及系統旨在克服或改善上面揭露的一或多個問題及/或先前技術內其他問題。
本發明的一個態樣涉及一種自航拍影像偵測物體之系統。該系統包含用於儲存指令的記憶體以及至少一處理器其設置成執行該指令以：獲得一區域的一影像，自該區域的該影像獲得複數個局部航拍影像，由一分類器將該複數個局部航拍影像分類為一第一類或一第二類，其中：該第一類表示一局部航拍影像包含一目標物體，該第二類表示一局部航拍影像不包含一目標物體，且該分類器係透過第一與第二訓練資料所訓練，其中該第一訓練資料包含第一訓練影像，該第一訓練影像包含目標物體，且該第二訓練資料包含第二訓練影像，該第二訓練影像包含藉由調整該第一訓練影像的亮度、對比、色彩飽和度、解析度或旋轉角度其中至少一者所獲得的目標物體，以及在該第一類中的一局部航拍影像中辨識一目標物體。
本發明的另一個態樣係涉及一種偵測航拍影像內物體之方法，該方法包含：獲得一區域的一影像，自該區域的該影像獲得複數個局部航拍影像，由一分類器將該複數個局部航拍影像分類為一第一類或一第二類，其中：該第一類表示一局部航拍影像包含一目標物體，該第二類表示一局部航拍影像不包含一目標物體，且該分類器係透過第一與第二訓練資料所訓練，其中該第一訓練資料包含第一訓練影像，該第一訓練影像包含目標物體，且該第二訓練資料包含第二訓練影像，該第二訓練影像包含藉由調整該第一訓練影像的亮度、對比、色彩 飽和度、解析度或旋轉角度其中至少一者所獲得的目標物體，以及在該第一類中的一局部航拍影像中辨識一目標物體。
仍舊是本發明的另一個態樣，其涉及一種儲存指令之非暫態電腦可讀取媒體，當執行時會導致一或多個處理器執行自航拍影像偵測物體之操作，該操作包含：獲得一區域的一影像，自該區域的該影像獲得複數個局部航拍影像，由一分類器將該複數個局部航拍影像分類為一第一類或一第二類，其中：該第一類表示一局部航拍影像包含一目標物體，該第二類表示一局部航拍影像不包含一目標物體，且該分類器係透過第一與第二訓練資料所訓練，其中該第一訓練資料包含第一訓練影像，該第一訓練影像包含目標物體，且該第二訓練資料包含第二訓練影像，該第二訓練影像包含藉由調整該第一訓練影像的亮度、對比、色彩飽和度、解析度或旋轉角度其中至少一者所獲得的目標物體，以及在該第一類中的一局部航拍影像中辨識一目標物體。
前述內容概括地僅描述了本發明的一些示例態樣。應了解的是，前述的蓋括描述與以下的詳細描述兩者均係示例性質及說明性質的，且其並不用於限制本發明的專利範圍。
100:淹水預測系統
120:影像輸入
140:使用者介面
160:顯示器
180:輸出
200:方法
220、240、260、290:步驟
400:自動物體偵測系統
410:航拍影像單元
420:目標影像單元
430:偵測單元
440:定位單元
450:局部航拍影像單元
460:擷取單元
470:分類與辨識單元
700:方法
710~790:步驟
801、802、803:油棕櫚樹
1001、1002、1003:粉色圓圈/油棕櫚樹/位置
1016、1017、1018:藍色圓圈/油棕櫚樹/位置
1101、1102、1103:白色圓圈
1400:方法
1410~1450:步驟
2401、2402:油棕櫚樹
第一圖係根據所揭示具體實施例，在一區域內用於自動物體偵測的一例示航拍影像之圖式。
第二圖係根據所揭示具體實施例，說明用於航拍影像中自動物體偵測的例示方法之流程圖。
第三圖係根據所揭示具體實施例，說明與第一圖中該區域的該例示航拍影像對應之用於自動物體偵測的該區域一例示DSM影像之圖式。
第四圖係根據所揭示具體實施例，用於自動物體偵測的一例示目標物體種類之兩例示DSM影像圖式。
第五圖係根據所揭示具體實施例，來自用於自動物體偵測的第三圖內該區域例示DSM影像與第四圖內該例示範本影像之間配對率例示計算的配對率例示影像之圖式。
第六圖係根據所揭示具體實施例，依照用於第二圖內自動物體偵測的該例示方法，標記該等已偵測例示目標物體的位置之該區域例示空拍影像圖式。
第七圖係根據所揭示具體實施例，說明用於航拍影像中自動物體偵測的另一個例示方法之流程圖。
第八圖係根據所揭示具體實施例，依照用於第二圖內自動物體偵測的該例示方法，標記該等已偵測例示目標物體的位置之該區域例示空拍影像之部分放大圖式。
第九圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測的複數個例示訓練資料之圖式。
第十圖係根據所揭示具體實施例，依照用於第七圖內自動物體偵測的該例示方法，在該等已偵測目標物體的位置上標示該分類結果之該區域例示空拍影像之部分放大圖式。
第十一圖係根據所揭示具體實施例，依照用於第七圖內自動物體偵測的該例示方法，標記該等已正確偵測和辨識的例示目標物體位置之該區域例示空拍影像之部分放大圖式。
第十二圖係根據所揭示具體實施例，依照用於第七圖內自動物體偵測的該例示方法，在該等已偵測和已分類例示目標物體位置上標記該分類結果之該區域例示空拍影像圖式。
第十三圖係根據所揭示具體實施例，說明用於航拍影像中自動物體偵測的例示系統之方塊圖。
第十四圖係根據所揭示具體實施例，說明用於航拍影像中自動物體偵測的例示方法之流程圖。
第十五圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了不同亮度的目標物體的複數個例示訓練資料之圖式。
第十六圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了不同對比的目標物體的複數個例示訓練資料之圖式。
第十七圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了不同色彩飽和度的目標物體的複數個例示訓練資料之圖式。
第十八圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了不同解析度的目標物體的複數個例示訓練資料之圖式。
第十九圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了不同旋轉角度的目標物體的複數個例示訓練資料之圖式。
第二十圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了不同尺寸的目標物體的複數個例示訓練資料之圖式。
第二十一圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了兩個以上的目標物體的複數個例示訓練資料之圖式。
第二十二圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了在該區域的該影像中的非目標物體的複數個例示訓練資料之圖式。
第二十三圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了不在該區域的該影像中的非的目標物體的複數個例示訓練資料之圖式。
第二十四圖係根據所揭示具體實施例，該區域中的具有植物疾病的目標物體之圖式。
本發明一般涉及用來偵測航拍影像內物體之方法及系統。預期目標物體可以是植物、樹、油棕櫚樹、物體、建築物、設施、陸地、地貌特徵或其任意組合。一般而言，待偵測的目標物體可包括任何東西，像是物體、建築物、設施、植物、樹、動物，甚至人類。目標物體在顏色、形狀及/或外觀上可具有許多特徵，目標物體的這些特徵可用來偵測感興趣區域中影像內的目標物體。
第一圖係根據所揭示具體實施例，用於自動物體偵測之一區域的一例示航拍影像之圖式。例如油棕櫚樹為該區域航拍影像待要偵測的例示目標物體，這些油棕櫚樹具有特定的離地高度。在某些具體實施例內，所揭示的方法及系統可包括根據該區域航拍影像內目標物體的高度資訊，來偵測目標物體。例如，一區域的DSM可包括地表以及所有物體，以及該地表與所有物體的相關高度資訊。預期所揭示方法及系統可包括通過感興趣區域DSM內含的高度資訊來偵測目標物體。在某些具體實施例內，所揭示的方法及系統可包括偵測內含高度資訊的許多區域模型及/或影像內之目標物體，像是區域的數值高程模型(DEM，Digital Elevation Model)。
在某些具體實施例內，所揭示的方法及系統可包括使用一或多個光偵測與測距(Light Detection And Ranging，LiDAR)感測器、即時DSM感測器、後生產DSM感測器、複數個該區域航拍影像的計算或這些的任意組合，來獲得一區域的DSM、DEM及/或航拍影像。在某些具體實施例內，所揭示的方法及系統可包括使用前述感測器之一者及/或無人航拍機(Unmanned Aerial Vehicle，UAV)100(如第十三圖所示)、無人靶機、飛行器、直升機、氣球或衛星的相機，來收集一區域的DSM、DEM及/或航拍影像。在某些具體實施例內，所揭示 的方法及系統可進一步包括透過無線連接，像是藍牙、Wi-Fi、蜂巢式(例如GPRS(General Packet Radio Service，通用封包無線服務)、WCDMA(Wideband Code Division Multiple Access，寬頻分碼多重存取)、HSPA(High Speed Packet Access，高速封包存取)、LTE(Long Term Evolution，長期演進技術)、或更新世代的蜂巢式通訊系統)，以及衛星連線或有線連接，像是USB線或光纜線(Lighting line)，接收來自UAV 100、無人靶機、飛行器、直升機、氣球或衛星的一區域之DSM、DEM及/或航拍影像的相關資料。
在某些具體實施例內，所揭示的方法及系統可包括從該區域各部分中複數個DSM、DEM及/或航拍影像內獲得用於目標偵測的區域之DSM、DEM及/或航拍影像。例如，所揭示的方法及系統可包括組合或拼接(stitching)該區域各部分的複數個航拍影像，以獲得第一圖內該區域的航拍影像，用於物體偵測。所揭示的方法及系統包括決定將一個影像內像素座標關聯於另一個影像內像素座標來進行影像對準的適當算術模型(appropriate mathematical model)。所揭示的方法及系統可進一步包括通過直接像素對像素比較(direct pixel-to-pixel comparisons)與梯度下降(gradient descent)的組合，來估計與許多航拍影像配對(pairs of aerial images)相關的正確對準。所揭示的方法及系統可進一步包括識別與配對部分區域航拍影像內的不同特徵，來建立航拍影像配對之間的對應關係。所揭示的方法及系統可進一步包括決定最終合成表面，在其上扭曲或投影變換和放置所有對準的航拍影像。所揭示的方法及系統可進一步包括無縫混合重疊的航拍影像，即使存在視差、透鏡失真、場景運動和曝光差異的情況下也是如此。
第二圖係根據所揭示具體實施例，說明用於航拍影像中自動物體偵測的例示方法200之流程圖。本發明的一個態樣涉及儲存指令的一種非暫態電腦可讀取媒體，其中當執行該等指令時會導致一或多個處理器執行第二圖內的例示方法200，來偵測航拍影像中的物體。該電腦可讀取媒體可包括揮發性或非 揮發性、磁性、半導體、磁帶、光學、可移除、不可移除或其他種電腦可讀取媒體或電腦可讀取儲存裝置。例如，該電腦可讀取媒體可為其內儲存該等電腦指令的儲存單元或記憶體模組，如所揭示。在某些具體實施例內，該電腦可讀取媒體可為其內儲存該等電腦指令的光碟或隨身碟。在某些具體實施例內，該電腦可讀取媒體可為其內儲存該等電腦指令的雲端或遠端儲存裝置，這些指令可下載到另一個裝置來執行。
方法200可包括以下步驟：獲得一區域的DSM影像(步驟220)、獲得一目標物體的DSM影像(步驟240)、以及根據步驟220和240內該區域與該目標物體的DSM影像來偵測該區域內的該目標物體(步驟260)。請注意，一區域的DSM內含該區域的高度資訊。通過使用該區域的高度資訊當成該區域灰階影像的灰階值，可獲得該區域的DSM影像，反之亦然。因此，若合適，在整個本發明內可交替使用「DSM」和「DSM影像」。
步驟220可包括獲得感興趣區域的DSM影像。例如，獲得一區域的DSM影像之步驟220可包括存取來自電腦可讀取媒體或電腦可讀取儲存裝置的感興趣區域DSM影像。針對另一個範例，獲得一區域的DSM影像之步驟220可包括從外部輸入，像是影像輸入120(將在所揭示系統內說明)，接收感興趣區域的DSM影像。影像輸入120可通訊連線至例如UAV 100、無人靶機、飛行器、直升機、氣球或衛星。換言之，獲得一區域的DSM影像之步驟220可包括從UAV 100、無人靶機、飛行器、直升機、氣球或衛星接收感興趣區域的DSM影像。在某些具體實施例內，獲得一區域的DSM影像之步驟220可包括獲得該區域各部分的複數個DSM影像，並且組合或拼接(stitching)該區域各部分的複數個DSM影像，來獲得感興趣區域的DSM影像。例如，獲得一區域的DSM影像之步驟220可包括獲得該區域各部分的複數個DSM影像，並且識別與匹配該區域各部分的複數個DSM影像之不同特徵，來建立DSM影像配對之間的對應關係。獲得一區域 的DSM影像之步驟220可進一步包括根據該已建立的該等DSM影像配對之間對應關係，來混合該區域各部分的複數個DSM影像，以獲得感興趣區域的DSM影像。
在某些具體實施例內，獲得一區域的DSM影像之步驟220可包括獲得一區域的複數個航拍影像、組合或拼接(stitching)該區域各部分的這些航拍影像來獲得該區域的航拍影像，以及將該區域的已拼接(stitching)航拍影像轉換成該區域的DSM影像。例如，獲得一區域的DSM影像之步驟220可包括接收一區域各部分的複數個航拍影像，並且拼接(stitching)該區域各部分的複數個航拍影像，來獲得第一圖內所示該區域的航拍影像。該區域各部分的這些航拍影像可關聯於該區域各部分的複數個DSM。換言之，該區域各部分的複數個航拍影像可對應於該區域各部分的複數個DSM。步驟220可包括根據該等航拍影像與該區域各部分的DSM間之對應關係，獲得對應至第一圖內該區域已拼接(stitching)航拍影像的第三圖內該區域之DSM影像。第三圖係根據所揭示具體實施例，說明對應至第一圖內該區域的該例示航拍影像，用於自動物體偵測的該區域一例示DSM影像之圖式。
在某些具體實施例內，獲得該區域的DSM影像之步驟220可包括使用一或多個LiDAR感測器、即時DSM感測器、後生產DSM感測器、複數個該區域航拍影像的計算或這些的任意組合，來收集該區域或該區域各部分的DSM及/或航拍影像。在某些具體實施例內，獲得該區域的DSM影像之步驟220可包括通過使用上述感測器之一者及/或透過UAV 100、無人靶機、飛行器、直升機、氣球或衛星的相機，收集一區域或該區域各部分的DSM及/或航拍影像。在某些具體實施例內，獲得該區域的DSM影像之步驟220可進一步包括透過無線連接，像是藍牙、Wi-Fi、蜂巢式(例如GPRS、WCDMA、HSPA、LTE或更新世代的蜂巢式通訊系統)以及衛星連線或有線連接，像是USB線或光纖纜線，接收來自UAV 100、無人靶機、飛行器、直升機、氣球或衛星的該區域中DSM及/或航拍影像之已收集資料。
在某些具體實施例內，獲得該區域的DSM影像之步驟220可進一步包括獲得對應至該區域DSM影像的該區域一彩色航拍影像、獲得一目標物體的彩色航拍影像、根據該區域的彩色航拍影像以及該目標物體的色彩來識別該區域的一或多個子區域作為一或多個目標子區域。
例如，獲得一區域的DSM影像之步驟220可進一步包括獲得第一圖內該區域對應至第三圖內感興趣區域DSM影像的該RGB航拍影像。此外，獲得一區域的DSM影像之步驟220可進一步包括獲得一油棕櫚樹(該目標物體)的RGB航拍影像。再者，獲得一區域的DSM影像之步驟220可進一步包括將綠色識別為該油棕櫚樹的特定原色。更進一步，獲得一區域的DSM影像之步驟220可進一步包括當該區域航拍影像的像素中個別G值大於個別R和B值，則將這些像素識別為油棕櫚樹的可能像素。例如，以下條件運算可用來檢查一像素是否識別為油棕櫚樹的可能像素：「If(Pixel.G>Pixel.R && Pixel.G>Pixel.B)Get Pixel」，其中的Pixel.R、Pixel.G和Pixel.B代表該像素的個別R、G和B位準。更進一步，獲得一區域的DSM影像之步驟220可進一步包括將特定數量的該油棕櫚樹相鄰可能像素識別為一目標子區域。
在某些具體實施例內，獲得一區域的DSM影像之步驟220可進一步包括識別該目標物體的一特定原色。例如，識別該目標物體的一特定原色之步驟220可包括比較該目標物體航拍影像像素之內個別R、G和B位準，並決定這些像素的代表性原色。此外，識別該目標物體的一特定原色之步驟220可進一步包括計算這些像素的代表性原色數量，並將像素的最大數量代表性原色識別為該目標物體的特定原色。例如，識別該目標物體的一特定原色之步驟220係可包括： 當綠色為該油棕櫚樹航拍影像中具有最大數量像素的該代表性原色時，將該綠色識別為該油棕櫚樹的特定原色。
在某些具體實施例內，獲得一區域的DSM影像之步驟220可進一步包括增強該區域的DSM影像上一或多個目標子區域的影像對比。例如，增強該目標子區域對比之步驟220可包括利用直方圖等化，增強對應至該區域航拍影像中該已識別目標子區域的該區域DSM影像的該目標子區域之對比。例如通過使用直方圖等化增強對比之步驟220可包括計算該等目標子區域像素的機率質量函數、根據灰階計算累積分佈函數(CDF，cumulative distributive function)值、用(灰階-1)乘上CDF值，並且將新灰階值映射至該等目標子區域的像素。增強對比之步驟220可包括：通過其他演算法增強對比，像是全域拉伸、非等向性擴散、非直線錐體技術、多尺度型態學技術、多解析度樣條(multi-resolution splines)、山叢集(mountain clustering)、視網膜皮層理論(retinex theory)、小波變換(wavelet transformations)、曲線變換(curvelet transformations)、k-sigma剪輯(k-sigma clipping)、模糊邏輯、遺傳演算法或貪心演算法。
步驟240可包括獲得目標物體的一DSM影像。第四圖係根據所揭示具體實施例，用於自動物體偵測的一例示目標物體種類之兩例示DSM影像圖式。例如，獲得一目標物體的DSM影像之步驟240可包括存取第四圖內來自電腦可讀取媒體或電腦可讀取儲存裝置的油棕櫚樹之DSM影像。針對另一個範例，獲得一目標物體的DSM影像之步驟240可包括從外部輸入，像是影像輸入120(將在所揭示系統內說明)，接收第四(a)圖內油棕櫚樹的DSM影像。針對另一個範例，獲得一目標物體的DSM影像之步驟240可包括從內部輸入，像是影像輸入120，接收一選擇信號。該選擇信號可包括將步驟220內該區域的DSM影像一部分識別為目標物體的DSM影像。例如，該選擇信號可包括將該區域的DSM影像 上圍繞油棕櫚樹DSM影像的一區域識別為該目標物體，當使用者使用滑鼠游標、其手指或筆來選擇顯示畫面上該區域時。
在某些具體實施例內，獲得一目標物體的DSM影像之步驟240可包括存取或接收目標物體的複數個DSM影像，並且選擇其一當成目標物體的DSM影像。選擇該目標物體的DSM影像之步驟240可包括根據該目標物體的形狀，選擇該目標物體的DSM影像。例如，選擇該目標物體的DSM影像之步驟240可包括選擇形狀類似於大多數同一種目標物體的該目標物體之DSM影像。在某些具體實施例內，選擇該目標物體的DSM影像之步驟240可包括根據一目標物體的DSM影像之對比，選擇該目標物體的DSM影像。例如，選擇該目標物體的DSM影像之步驟240可包括選擇對比比其他物體都要好的該目標物體之DSM影像。在某些具體實施例內，獲得該目標物體的DSM影像之步驟240可包括獲得該目標物體一個以上的DSM影像。例如，獲得該目標物體的DSM影像之步驟240可包括分別根據該目標物體的形狀以及該目標物體的DSM影像之對比，獲得該目標物體的兩個DSM影像。
在某些具體實施例內，獲得該目標物體的DSM影像之步驟240可包括使用一或多個LiDAR感測器、即時DSM感測器、後生產DSM感測器、該區域複數個航拍影像的計算或這些的任意組合，來收集該目標物體的一或多個DSM及/或航拍影像。在某些具體實施例內，獲得該目標物體的DSM影像之步驟240可進一步包括使用上述感測器之一者及/或透過UAV 100、無人靶機、飛行器、直升機、氣球或衛星的相機，收集該目標物體的一或多個DSM及/或航拍影像。在某些具體實施例內，獲得該目標物體的DSM影像之步驟240可進一步包括透過無線連接，像是藍牙、Wi-Fi、蜂巢式(例如GPRS、WCDMA、HSPA、LTE或更新世代的蜂巢式通訊系統)以及衛星連線或有線連接，像是USB線或光纖纜線， 接收來自UAV 100、無人靶機、飛行器、直升機、氣球或衛星的該目標物體DSM及/或航拍影像。
在某些具體實施例內，獲得該目標物體的DSM影像之步驟240可包括獲得對應至目標物體中一或多個DSM影像的目標物體之一或多個航拍影像，並且根據該目標物體的形狀及/或該目標物體航拍影像的對比，選擇目標物體的一或多個DSM影像。
步驟260可包括根據步驟220和240內該區域與該目標物體的該DSM影像，偵測該區域內該目標物體。在某些具體實施例內，偵測該目標物體之步驟260可包括計算該目標物體的DSM影像與該區域的複數個DSM子影像間之配對率，並且根據該配對率決定該區域的一或多個DSM子影像當成該目標物體。例如，偵測該目標物體之步驟260可包括計算第四(a)圖內一油棕櫚樹的該DSM影像與來自第三圖內該區域DSM影像的該區域之複數個DSM子影像間之配對率。該區域的該等複數個DSM子影像可具有與該油棕櫚樹的該DSM影像相同或類似尺寸。例如，該區域的該等複數個DSM子影像之尺寸可為300x300像素，而第四(a)圖內該油棕櫚樹之該DSM影像可為300x300像素或類似尺寸。例如，該區域的該等複數個DSM子影像可包括該區域中該DSM影像的每1、2、5或10像素上300x300像素之子影像。換言之，偵測該目標物體之步驟260可包括利用每滑動1、2、5或10個像素時，比較該油棕櫚樹(T)的該範本DSM影像與該區域(I)的該DSM影像，例如，針對該區域的該DSM影像上該滑動之每一位置(x,y)，該配對率R可計算如下：
Figure 109144124-A0305-02-0015-1
其中x’和y’代表該油棕櫚樹(T’)的該範本DSM影像以及該區域(I’)的該DSM子影像之內之像素位置。
第五圖係根據所揭示具體實施例，來自用於自動物體偵測的第三圖內該區域例示DSM影像與第四圖內該例示範本影像之間配對率例示計算的配對率例示影像之圖式。在第五圖內，一位置越亮，該位置是目標物體的可能性就越高。例如，第五圖內配對率的影像上之亮點可為感興趣區域內油棕櫚樹之位置。
在某些具體實施例內，計算配對率之步驟260可包括根據常規範本配對方法，像是平方差方法、歸一化平方差方法、互相關方法、歸一化互相關方法、相關係數法、歸一化相關係數法或其任何組合，來計算配對率。
在某些具體實施例內，決定該區域的DSM子影像作為目標物體之步驟260可包括當與該目標物體的該範本影像之配對率Rs高於一配對臨界值，像是該油棕櫚樹(T)的該範本DSM影像自配對率之80%、70%或60%時，將該區域的一或多個DSM子影像決定為該等油棕櫚樹。
在某些具體實施例內，偵測該目標物體之步驟260可包括降低步驟220與240內該區域和該目標物體的DSM影像之解析度，並根據該區域與該目標物體的該解析度降低之DSM影像，來偵測該區域內該目標物體。例如，偵測該目標物體之步驟260可包括將第三圖內該區域以及第四(a)圖內該油棕櫚樹的DSM影像之解析度降低為原始解析度之0.1倍。偵測該目標物體之步驟260可進一步包括計算該油棕櫚樹的解析度降低之DSM影像與該區域的複數個解析度降低之DSM子影像間之配對率，並且根據該配對率決定該區域的一或多個DSM子影像當成該目標物體。
在某些具體實施例內，偵測該目標物體之步驟260可包括根據步驟220內該區域的DSM之影像以及步驟240內目標物體的一個以上影像，偵測該 區域內該目標物體。例如，偵測該目標物體之步驟260可包括分別計算第四(a)圖和第四(b)圖內該等油棕櫚樹之兩DSM影像與該區域的複數個DSM子影像間之配對率，並且根據來自該等油棕櫚樹的兩DSM影像之該等配對率，將該區域的一或多個DSM子影像決定為該等油棕櫚樹。例如，偵測該目標物體之步驟260可包括計算根據步驟240內該目標物體的形狀所選取的一油棕櫚樹之DSM影像與該區域的複數個DSM子影像間之配對率。偵測該目標物體之步驟260也可包括計算根據步驟240內該影像對比所選取的一油棕櫚樹之另一個DSM影像與該區域的複數個DSM子影像間之配對率。偵測該目標物體之步驟260可進一步包括當來自根據該目標物體形狀或該影像對比所選擇一油棕櫚樹的該範本DSM影像之其配對率高於一配對臨界值時，將該區域的一或多個DSM子影像決定為該油棕櫚樹。針對另一個範例，決定該等油棕櫚樹之步驟260可包括當來自根據該油棕櫚樹形狀與該油棕櫚樹影像對比所選擇一油棕櫚樹的該範本DSM影像之其配對率高於一配對臨界值時，將該區域的一或多個DSM子影像決定為該油棕櫚樹。
在某些具體實施例內，將該區域的DSM子影像決定為該目標物體之步驟260包括根據以下兩標準之一或二者來決定該目標物體。在該區域的航拍影像上一距離(D1)之內，該區域的一或多個DSM子影像之配對率為最大。該區域的該等一或多個DSM子影像之高度比另一個距離(D2)之內最低位置之高度高出一高度臨界值(H1)。例如，決定該等油棕櫚樹之步驟260可包括當其配對率高於其他配對率2米之內(即D1=2米)，一油棕櫚樹航拍影像的例示半徑，則將該區域的一或多個DSM子影像決定為該油棕櫚樹。針對另一個範例，決定該等油棕櫚樹之步驟260可包括利用2.5米的例示高度臨界值(即H1=2.5米)，當其高度高於最低位置高度3米之內(即D 2 =3米)，就是一油棕櫚樹和該陸地同時存在的一單獨區域之例示半徑，則將該區域的一或多個DSM子影像決定為該油棕櫚 樹。根據前述D 1 、D 2 和H 1 參數，可偵測高出地面2.5米的油棕櫚樹。根據其高度與分佈，可針對許多目標物體來調整這些因數。
在某些具體實施例內，步驟260可包括：根據步驟220內該區域的該已增強DSM影像以及該目標物體的該DSM影像，來偵測該區域內的該目標物體。例如，偵測該目標物體之步驟260可包括根據第四圖內該油棕櫚樹的一或二DSM影像，以及目標子區域已經在步驟220內識別並增強對比之該區域的該對比增強DSM影像，來偵測該區域內的該油棕櫚樹。
在某些具體實施例內，方法200可進一步包括獲取步驟260內所偵測的該等目標物體之一或多個位置。例如，獲取該等目標物體的位置可包括獲取第三圖內該區域的該DSM影像上所偵測到的該油棕櫚樹之該等位置。針對另一個範例，獲取該等目標物體的位置之步驟290可包括根據該區域的DSM影像與該區域的航拍影像之間對應關係，獲取在該區域航拍影像上所偵測到的該等油棕櫚樹之該等位置。第六圖係根據所揭示具體實施例，標記依照用於第二圖內自動物體偵測的該例示方法所偵測到該等例示目標物體的位置之該區域例示空拍影像圖式。在第六圖內，在該區域的航拍影像內將該等已偵測油棕櫚樹畫上紅圈。
在某些具體實施例內，步驟290可進一步包括在該區域航拍影像或地圖上顯示該已偵測目標物體之位置。例如，顯示該等已偵測物體之步驟290可包括將該等一或多個已偵測油棕櫚樹的位置顯示在該區域的航拍影像內，如第六圖內紅色圓圈所顯示。針對另一個範例，顯示該等已偵測目標物體之步驟290可包括根據該區域的DSM影像上與該區域的該地圖上(未顯示)之該等位置間之關聯性或對應關係，在該區域的地圖上顯示該等一或多個已偵測油棕櫚樹之位置。例如，該區域的DSM影像上一位置可關聯於一組經度、緯度以及海拔高度。步驟290可包括獲得該已偵測油棕櫚樹的經度、緯度與海拔高度之組合，並根據經度、緯度及/或海拔高度之該組合，在地圖上顯示該等已偵測油棕櫚樹。 例如，顯示該等已偵測油棕櫚樹之步驟290可包括根據經度與緯度組合，在一地理資訊系統(Geographic Information System，GIS)地圖上顯示該等已偵測油棕櫚樹。針對另一個範例，顯示該等已偵測油棕櫚樹之步驟290可包括根據經度、緯度與海拔高度的該組合，例如一3D GIS地圖，在一地圖上顯示該等已偵測之油棕櫚樹。
在某些具體實施例內，步驟290可進一步包括計算該等已偵測目標物體的數量。例如，計算該等已偵測目標物體之步驟290可包括計算第六圖內所示該等已偵測之油棕櫚樹。
第七圖係根據所揭示具體實施例，說明用於航拍影像中自動物體偵測的另一個例示方法700之流程圖。方法700可包括步驟220、240和260，並且可進一步包括：獲取對應至該區域的該DSM影像之該區域航拍影像(步驟710)；獲取該區域航拍影像上該等已偵測目標物體的一或多個位置(步驟720)；獲取該等已偵測目標物體的一或多個位置上或周圍之一或多個局部航拍影像(步驟730)；從該等一或多個局部航拍影像擷取一或多個紋理特徵，當成一或多個特徵向量(步驟740)；獲取複數個訓練資料(步驟750)；根據該等複數個訓練資料來訓練一分類器(步驟760)；根據該等一或多個特徵向量，由該受過訓練的分類器分類該等一或多個局部航拍影像(步驟770)；以及基於該等分類結果，辨識該等一或多個局部航拍影像之間的該等目標物體(步驟780)。該訓練資料可包括當成該等目標物體的同一種物體之複數個航拍影像。
步驟710可包括獲取該區域之航拍影像，其對應至步驟220內該區域DSM影像。例如，步驟710可包括獲取第一圖中感興趣區域之該航拍影像，其對應至第三圖內該感興趣區域的DSM影像。例如，獲取該區域的航拍影像之步驟710可包括存取來自電腦可讀取媒體或電腦可讀取儲存裝置的感興趣區域之航拍影像。針對另一個範例，獲取該區域的航拍影像之步驟710可包括從外部輸 入，像是影像輸入120(將在所揭示系統內說明)，接收該區域的該DSM影像。在某些具體實施例內，獲取該區域的航拍影像之步驟710可包括獲取該區域各部分的複數個航拍影像，並且組合或拼接(stitching)該區域各部分的該等複數個航拍影像，來獲得該區域的航拍影像。例如，獲取該區域的航拍影像之步驟710可包括獲取第一圖內該區域各部分的複數個航拍影像，並拼接(stitching)該區域各部分的該等複數個航拍影像，來獲得該感興趣區域的航拍影像。
在某些具體實施例內，獲得該區域的該航拍影像之步驟710可包括在許多色彩空間內獲取該區域的該航拍影像。例如，獲得該區域的該航拍影像之步驟710可包括獲得包含至少RGB(Red-Green-Blue，紅-綠-藍三原色)、灰階、HIS(Hue-Saturation-Intensity，色向-飽和度-強度)、L*a*b、多光譜空間或這些的任意組合之一者的色彩空間內該區域之該航拍影像。
在某些具體實施例內，獲得該區域的航拍影像之步驟710可包括使用一或多個LiDAR感測器、即時DSM感測器、後生產DSM感測器、該區域複數個航拍影像的計算或這些的任意組合，來收集該區域或該區域各部分的航拍影像。在某些具體實施例內，獲得該區域的航拍影像之步驟710可包括使用上述感測器之一者及/或透過UAV 100、無人靶機、飛行器、直升機、氣球或衛星的相機，收集該區域或該區域各部分的航拍影像。在某些具體實施例內，獲得該區域的航拍影像之步驟710可進一步包括透過無線連接，像是藍牙、Wi-Fi、蜂巢式(例如GPRS、WCDMA、HSPA、LTE或更新世代的蜂巢式通訊系統)，以及衛星連線或有線連接，像是USB線或光纖纜線，接收來自UAV 100、無人靶機、飛行器、直升機、氣球或衛星的該區域中航拍影像之已收集資料。
步驟720可包括獲得該區域航拍影像上步驟260內該等已偵測之目標物體的一或多個位置。例如，獲取該等已偵測目標物體的位置之步驟720可包括根據該區域的DSM影像與該區域的航拍影像間之對應關係，獲取在第三圖 內該區域DSM影像上該等已偵測油棕櫚樹之該等位置，並且獲取在第一圖內該區域航拍影像上該等已偵測油棕櫚樹之該等位置。換言之，獲取該已偵測目標物體的位置之步驟720可包括獲取第六圖內紅色圓圈，也就是該等已偵測油棕櫚樹，的位置。
步驟730可包括獲取該等已偵測目標物體的一或多個位置上或周圍之一或多個局部航拍影像。第八圖係根據所揭示具體實施例，依照用於第二圖內自動物體偵測的該例示方法，標記該等已偵測例示目標物體的位置之該區域例示空拍影像之部分放大圖式。例如，獲取該等局部航拍影像之步驟730可包括根據步驟720內獲取的該位置，從步驟710內該區域的航拍影像獲取第八圖內已偵測油棕櫚樹801、802、803上之300x300局部航拍影像。例如，獲取該等局部航拍影像之步驟730可包括將步驟720內已偵測位置當成該等300x300局部航拍影像的中心，獲取已偵測油棕櫚樹的300x300局部航拍影像。針對另一個範例，獲取該等局部航拍影像之步驟730可包括將步驟720內已偵測位置當成該等圓心，獲取已偵測油棕櫚樹上圓形局部航拍影像。該已偵測油棕櫚樹的該圓形航拍影像之半徑可包括例如150個像素。該等已偵測目標物體的該等局部航拍影像之形狀可包括其他形狀，像是矩形、三角形或類似於該等目標物體形狀的其他形狀。
在某些具體實施例內，獲取該等局部航拍影像之步驟730可包括使用該等已偵測目標物體的該等位置當成原點，來建立一或多個座標，並且獲取這些原點周圍之一或多個300x300局部航拍影像。這些座標可用來代表或指稱該等已獲取的局部航拍影像。
在某些具體實施例內，獲取該等局部航拍影像之步驟730可包括獲取許多色彩空間內該等已偵測目標物體之一或多個位置上之一或多個局部航拍影像。例如，獲取該等局部航拍影像之步驟730可包括在像是RGB、灰階、HSI、L*a*b、多光譜空間或這些的任意組合之色彩空間內獲取該等已偵測油棕櫚樹的 一或多個300x300局部航拍影像。例如，獲取該等局部航拍影像之步驟730可包括從步驟710中該等上述色彩空間內該區域的該航拍影像，獲取該等上述色彩空間內該已偵測油棕櫚樹的這些局部航拍影像。在某些具體實施例內，獲取該等局部航拍影像之步驟730可包括：獲取一色彩空間內之該等已偵測目標物體的一或多個局部航拍影像，並且將該色彩空間內該等已偵測目標物體的一或多個局部航拍影像轉換成另一個色彩空間內的相對部分。例如，獲取該等局部航拍影像之步驟730可包括獲取該等已偵測油棕櫚樹的一或多個RGB局部航拍影像，並將這些影像轉換成灰階相對部分。就另一個範例而言，獲取該等局部航拍影像之步驟730可包括獲取該等已偵測油棕櫚樹的一或多個RGB局部航拍影像，並將這些影像轉換成HSI相對部分。
步驟740可包括從該等一或多個局部航拍影像中擷取一或多個紋理特徵，將其當成步驟260內該等已偵測目標物體的一或多個特徵向量。例如，擷取該等紋理特徵之步驟740可包括根據Gabor濾波器、灰度共生矩陣(Gray-Level Co-occurrence Matrix，GLCM)、局部二進位模式(Local Binary Pattern，LBP)、定向梯度直方圖(Histograms of Oriented Gradients，HOG)、第一階特徵描述、第二階特徵描述或其任意組合，擷取該等一或多個紋理特徵。擷取特徵之步驟740可包括利用上述方法擷取該等局部航拍影像的資訊與非冗餘特徵，以幫助步驟770內的後續分類。
在某些具體實施例內，擷取一或多個紋理特徵之步驟740可包括從一個色彩空間內至少該等一或多個局部航拍影像之一者，及/或另一個色彩空間內該等一或多個局部航拍影像，擷取該等一或多個紋理特徵。例如，擷取一或多個紋理特徵之步驟740可包括根據多區塊局部二進位模式(Multi-block Local Binary Pattern，MB-LBP)，從以灰階呈現的該已偵測油棕櫚樹的一或多個局部航拍影像中擷取該等一或多個紋理特徵。針對另一個範例，擷取一或多個紋理特 徵之步驟740可包括根據Gabor濾波器，從以RGB呈現的該已偵測油棕櫚樹的一或多個局部航拍影像中擷取該等一或多個紋理特徵。針對另一個範例，擷取一或多個紋理特徵之步驟740可包括根據多區塊局部二進位模式(MB-LBP)，從以灰階和RGB兩者呈現的該已偵測油棕櫚樹的一或多個局部航拍影像中擷取該等一或多個紋理特徵。針對另一個範例，擷取一或多個紋理特徵之步驟740可包括根據GLCM，從以灰階呈現的該已偵測油棕櫚樹的一或多個局部航拍影像擷取該等一或多個紋理特徵，並且根據HOG，從以L*a*b呈現的該已偵測油棕櫚樹的一或多個局部航拍影像擷取該等一或多個紋理特徵。
步驟750可包括獲得複數個訓練資料。該訓練資料可包括與該等目標物體相當的同類物體的複數個航拍影像。第九圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測的複數個例示訓練資料之圖式。例如，步驟750可包括獲得油棕櫚樹的複數個航拍影像，如第九(a)圖內所示，當成該訓練資料。在某些具體實施例內，步驟750可進一步包括獲得非目標物體的複數個航拍影像，如第九(b)圖內所示，當成該訓練資料的一部分。例如，獲得該訓練資料之步驟750可包括存取來自電腦可讀取媒體或電腦可讀取儲存裝置的該訓練資料。針對另一個範例，獲得該訓練資料之步驟750可包括從外部輸入，像是影像輸入120(將在所揭示系統內說明)，接收該訓練資料。
步驟760可包括根據步驟750內該等複數個訓練資料來訓練一分類器。分類器為使用模式配對來決定最接近配對之函數，可依照訓練資料來調整。訓練資料可包括觀察結果或模式，例如在監督學習(supervised learning)當中，每個模式都屬於特定預定等級。等級可視為要做的決策。所有與觀察結果之等級標籤結合之觀察結果都被稱為資料集。當已接收新的觀察結果時，則根據先前的經驗來分類該觀察結果。例如，訓練該分類器之步驟760可包括利用第九圖內油棕櫚樹以及非目標物體的訓練資料，訓練至少一支援向量機(Support Vector Machine，SVM)分類器、人造神經網路(Artificial Neural Network，ANN)分類器、決策樹分類器、貝式分類器(Bayes classifier)、或其任意組合之一者。針對另一個範例，訓練該分類器之步驟760可包括利用含有第九(a)圖內油棕櫚樹以及隨機產生的非目標物體的訓練資料，訓練至少一支援向量機(SVM)分類器、人造神經網路(ANN)分類器、決策樹分類器、Bayes分類器、或其任意組合之一者。
步驟770可包括根據步驟740內該等一或多個特徵向量，利用步驟760內的該已訓練之分類器來分類步驟730內的該等一或多個局部航拍影像。例如，分類該等局部航拍影像之步驟770可包括根據由步驟740內Gabor濾波器與GLCM所擷取的該等一或多個特徵向量，利用步驟760內該已訓練之SVM分類器，來分類步驟730內該已偵測油棕櫚樹的該等一或多個局部航拍影像。針對另一個範例，分類該等局部航拍影像之步驟770可包括根據由步驟740內LBP與HOG所擷取的該等一或多個特徵向量，利用步驟760內該已訓練ANN分類器，來分類步驟730內該已偵測油棕櫚樹的該等一或多個局部航拍影像。針對另一個範例，分類該等局部航拍影像之步驟770可包括根據由步驟740內Gabor濾波器、GLCM、LBP與HOG所擷取的該等一或多個特徵向量，利用步驟760內該已訓練之ANN分類器，來分類步驟730內該已偵測油棕櫚樹的該等一或多個局部航拍影像。方法700可包括上述紋理擷取演算法與該等分類器的任意組合。
分類器的分類結果可包括兩種結果或多種結果。例如，當根據該已偵測油棕櫚樹的一局部航拍影像之特徵向量，將其分類為第九(a)圖內相同種類物體時，則一SVM分類器可輸出「0」。當根據該已偵測油棕櫚樹的一局部航拍影像之特徵向量，將其分類為第九(b)圖內相同種類物體時，則一SVM分類器可輸出「1」。第十圖係根據所揭示具體實施例，依照用於第七圖內自動物體偵測的該例示方法，在該等已偵測目標物體的位置上標示該分類結果之該區域例 示空拍影像之部分放大圖式。將在位置1001、1002、1003上用粉色圓圈標記的局部航拍影像分類為該等目標油棕櫚樹。將在位置1016、1017、1018上用藍色圓圈標記的局部航拍影像分類為該等非目標物體。
步驟780可包括基於該等分類結果，辨識該等一或多個局部航拍影像之間的該等目標物體。例如，辨識該等目標物體之步驟780可包括根據步驟770內的分類結果，在步驟730內該等已偵測油棕櫚樹的該等一或多個局部航拍影像之間辨識出該等油棕櫚樹。例如，第十圖內已偵測油棕櫚樹1001、1002、1003的該等局部航拍影像可分類為與第九(a)圖內相同物體，並且從該SVM分類器對這些的輸出全都為「0」。因此，辨識該等目標物體之步驟780可包括根據其分類結果「0」，將已偵測油棕櫚樹1001、1002、1003的該等局部航拍影像辨識為該等目標油棕櫚樹。例如，第十圖內已偵測油棕櫚樹1016、1017、1018的該等局部航拍影像可分類為與第九(b)圖內相同物體，並且從該SVM分類器對這些的輸出全都為「1」。因此，辨識該等目標物體之步驟780可包括根據其分類結果「1」，將已偵測油棕櫚樹1016、1017、1018的該等局部航拍影像辨識為該等非目標物體。
在某些具體實施例內，方法700可進一步包括一步驟790，其獲取步驟780內該等已辨識目標物體之一或多個位置。例如，獲取該等已辨識目標物體的位置之步驟790可包括獲取該區域航拍影像上已辨識油棕櫚樹1001、1002、1003之位置。在第十圖內，在該區域航拍影像以粉色圓圈標記該等已辨識油棕櫚樹，而圖中在該區域航拍影像以藍色圓圈標記該等已辨識非目標物體。獲取該等已辨識目標物體的位置之步驟790可包括獲取該區域航拍影像內以粉色圓圈標記的該等已辨識油棕櫚樹之位置。
在某些具體實施例內，步驟790可進一步包括在該區域航拍影像或地圖上顯示該已辨識目標物體之一或多個位置。例如，顯示該等已辨識目標物 體之步驟790可包括在該區域航拍影像上顯示一或多個已辨識油棕櫚樹1001、1002、1003之位置。就另一個範例而言，顯示該等已辨識目標物體之步驟790可包括根據該區域的航拍影像上與該區域的該地圖上(未顯示)之該等位置間之關聯性或對應關係，在該區域的地圖上顯示該等一或多個已辨識油棕櫚樹之位置。例如，該區域的航拍影像上一位置可關聯於一組經度、緯度以及海拔高度。在某些具體實施例內，顯示該等已辨識目標物體之步驟790可包括獲得該已辨識之油棕櫚樹的經度、緯度與海拔高度之組合，並根據經度、緯度及/或海拔高度之該組合，在地圖上顯示該等已辨識之油棕櫚樹。例如，顯示該等已辨識油棕櫚樹之步驟790可包括根據經度與緯度組合，在一地理資訊系統(GIS)地圖上顯示該等已辨識油棕櫚樹。針對另一個範例，顯示該等已辨識油棕櫚樹之步驟790可包括根據經度、緯度與海拔高度的該組合，在地圖上，例如在3D GIS地圖上，顯示該等已辨識油棕櫚樹。
在某些具體實施例內，步驟790可包括計算該等已辨識目標物體的數量。例如，步驟790可包括計算該等已辨識油棕櫚樹。
第十一圖係根據所揭示具體實施例，依照用於第七圖內自動物體偵測的該例示方法，標記該等已正確偵測和辨識的例示目標物體位置之該區域例示空拍影像之部分放大圖式。當該等目標物體的地面真像(Ground Truth)資訊可用時，則可評估上述物體偵測方法的準確率(accuracy)。第十一圖內的白色圓圈1101、1102、1103為例示正確偵測並辨識的油棕櫚樹。
第十二圖係根據所揭示具體實施例，依照用於第七圖內自動物體偵測的該例示方法，在該等已偵測和已分類例示目標物體位置上標記該分類結果之該區域例示空拍影像圖式。在圖式中，將用粉色圓圈標記的局部航拍影像辨識為該等目標油棕櫚樹，而用藍色圓圈標記的局部航拍影像分類為該等非目標物體。在一個具體實施例內，當採用MB-LBP進行特徵擷取且影像的地面取樣距 離為3公分時，來自航拍影像的物體偵測的精確率與召回率(precision and recall)分別可達90.6%和83.4%。
本發明的另一個態樣涉及利用一或多個積體電路、一或多個場可程式閘陣列、執行指令實現該方法的一或多個處理器或控制器或上述任意組合，執行航拍影像中物體偵測之方法。該方法可包括但不受限於所有上述方法及具體實施例。在某些具體實施例內，前述方法或具體實施例內的部分步驟可遠端或分開執行。在某些具體實施例內，該方法可由一或多個分散式系統來執行。
仍舊是本發明的另一個態樣涉及一種用於偵測航拍影像中物體之系統。第十三圖係根據所揭示具體實施例，說明用於航拍影像中自動物體偵測的例示系統400之方塊圖。自動物體偵測系統400可包括設置成獲得一區域DSM影像的一航拍影像單元410、設置成獲得一目標物體DSM影像的一目標影像單元420，以及設置成根據該區域與該目標物體的DSM影像來偵測該區域內該目標物體之一偵測單元430。
航拍影像單元410可包括適當種類的硬體，像是積體電路與場可程式閘陣列，或軟體，像是可在一處理器或控制器上執行的指令集、子程式或函數(即一函數程式)，來執行上述步驟220內的操作。航拍影像單元410可設置成獲得一區域的一DSM影像。在某些具體實施例內，航拍影像單元410可通訊連結至一影像輸入120。影像輸入120可將上述許多影像輸入提供給航拍影像單元410。例如，影像輸入120可從UAV 100、無人靶機、飛行器、直升機、氣球或衛星接收該區域的航拍影像、該區域的DSM及/或該區域的DEM，並且將該區域的這些影像、DSM及/或DEM傳輸至航拍影像單元410。在某些具體實施例內，航拍影像單元410也可通訊連結至一偵測單元430。航拍影像單元410可設置成將該區域的DSM影像以及該區域或該區域各部分的航拍影像提供給偵測單元430。在某些具體實施例內，航拍影像單元410也可通訊連結至一目標影像單元420。航拍影像單 元410可設置成將來自影像輸入120的該等已接收之目標影像傳送至目標影像單元420。
目標影像單元420可包括適當種類的硬體，像是積體電路與場可程式閘陣列，或軟體，像是可在一處理器或控制器上執行的指令集、子程式或函數(即一函數程式)，來執行上述步驟240內的操作。目標影像單元420可設置成獲得一目標物體的一DSM影像。在某些具體實施例內，目標影像單元420也可通訊連結至一使用者介面140。目標影像單元420可設置成接收來自使用者介面140的目標影像。在某些具體實施例內，目標影像單元420可設置成接收來自使用者介面140的該等目標影像之選擇。在某些具體實施例內，目標影像單元420也可通訊連結至偵測單元430。目標影像單元420可設置成將目標影像傳送至偵測單元430，用於物體偵測。
偵測單元430可包括適當種類的硬體，像是積體電路與場可程式閘陣列，或軟體，像是可在一處理器或控制器上執行的指令集、子程式或函數(即一函數程式)，來執行步驟260內的上述操作。偵測單元430可設置成根據來自航拍影像單元410和目標影像單元420的該區域與該目標物體之DSM影像，偵測該區域內該目標物體。在某些具體實施例內，偵測單元430可設置成獲取該等已偵測目標物體的一或多個位置，如上述步驟290內的操作。在某些具體實施例內，偵測單元430也可通訊連結至一顯示器160。偵測單元430可設置成在顯示器160上之該區域航拍影像或地圖上顯示該等已偵測目標物體之一或多個位置，如上述步驟290內的操作。在某些具體實施例內，偵測單元430可設置成計算該等已偵測目標物體的數量，如上述步驟290內的操作。在某些具體實施例內，偵測單元430也可通訊連結至一輸出180。偵測單元430可設置成將計算出來的該等已偵測目標物體數量傳送至輸出180。
在某些具體實施例內，自動物體偵測系統400可包括航拍影像單元410、目標影像單元420、偵測單元430、定位單元440、局部航拍影像單元450、擷取單元460以及分類與辨識單元470。
航拍影像單元410可進一步設置成獲得對應至該區域中該DSM影像的該區域之該航拍影像，如上述步驟710內的操作。
定位單元440可包括適當種類的硬體，像是積體電路與場可程式閘陣列，或軟體，像是可在一處理器或控制器上執行的指令集、子程式或函數(即一函數程式)，來執行上述步驟720內的操作。定位單元440可進一步設置成獲取該區域航拍影像上該等已偵測目標物體的一或多個位置。在某些具體實施例內，定位單元440可通訊連結至偵測單元430。定位單元440可設置成接收來自偵測單元430的該等已偵測目標物體，並獲取該區域航拍影像上該等已偵測目標物體的一或多個位置。在某些具體實施例內，定位單元440也可通訊連結至局部航拍影像單元450。定位單元440可設置成將該等已偵測目標物體的位置傳送至局部航拍影像單元450。在某些具體實施例內，定位單元440也可通訊連結至分類與辨識單元470。定位單元440可設置成將該等已偵測目標物體之已獲取位置傳送至分類與辨識單元470。
局部航拍影像單元450可包括適當種類的硬體，像是積體電路與場可程式閘陣列，或軟體，像是可在一處理器或控制器上執行的指令集、子程式或函數(即一函數程式)，來執行步驟730內的上述操作。局部航拍影像獲取單元可設置成獲取該等已偵測目標物體的一或多個位置上一或多個局部航拍影像。在某些具體實施例內，局部航拍影像單元450也可通訊連結至偵測單元430。局部航拍影像單元450可設置成接收來自偵測單元430的該區域之該等已偵測目標物體及/或航拍影像。在某些具體實施例內，局部航拍影像單元450也可通訊連結至擷取單元460。局部航拍影像單元450可設置成將該等已偵測目標物體的一 或多個位置上之已獲取之局部航拍影像傳送至擷取單元460。在某些具體實施例內，局部航拍影像單元450也可通訊連結至分類與辨識單元470。局部航拍影像單元450可設置成將該等已偵測目標物體的一或多個位置上之已獲取之局部航拍影像傳送至分類與辨識單元470。
擷取單元460可包括適當種類的硬體，像是積體電路與場可程式閘陣列，或軟體，像是可在一處理器或控制器上執行的指令集、子程式或函數(即一函數程式)，來執行步驟740內的上述操作。擷取單元460可設置成從該等一或多個局部航拍影像擷取一或多個紋理特徵，當成一或多個特徵向量。在某些具體實施例內，擷取單元460也可通訊連結至局部航拍影像單元450。擷取單元460可設置成接收來自局部航拍影像單元450的該等已偵測目標物體中一或多個位置上之已獲取之局部航拍影像。在某些具體實施例內，擷取單元460也可通訊連結至使用者介面140。擷取單元460可設置成接受來自使用者介面140的擷取演算法之使用者輸入或選擇。在某些具體實施例內，擷取單元460也可通訊連結至分類與辨識單元470。擷取單元460可設置成將該等已擷取一或多個特徵向量傳送至分類與辨識單元470。
分類與辨識單元470可包括適當種類的硬體，像是積體電路與場可程式閘陣列，或軟體，像是可在一處理器或控制器上執行的指令集、子程式或函數(即一函數程式)，來執行步驟750、760、770與780內的上述操作。在某些具體實施例內，分類與辨識單元470也可通訊連結至使用者介面140。分類與辨識單元470可設置成從使用者介面140獲得複數個訓練資料。在某些具體實施例內，分類與辨識單元470也可通訊連結至定位單元440。分類與辨識單元470可設置成接收來自定位單元440的該等已偵測目標物體之已獲取位置。在某些具體實施例內，分類與辨識單元470也可通訊連結至局部航拍影像單元450。分類與辨識單元470可設置成接收來自局部航拍影像單元450的該等已偵測目標物體中一或多個 位置上之已獲取之局部航拍影像。在某些具體實施例內，分類與辨識單元470也可通訊連結至擷取單元460。分類與辨識單元470可設置成接收來自擷取單元460的該等已擷取一或多個特徵向量。
分類與辨識單元470可設置成獲得複數個訓練資料，該訓練資料包括當成該目標物體的相同種類物體之複數個航拍影像。分類與辨識單元470可進一步設置成根據該等複數個訓練資料來訓練一分類器。分類與辨識單元470可進一步設置成根據該等一或多個特徵向量，由該受過訓練的分類器分類該等一或多個局部航拍影像。分類與辨識單元470可進一步設置成基於該等分類結果，辨識該等一或多個局部航拍影像之間的該等目標物體。
在某些具體實施例內，分類與辨識單元470可進一步設置成獲取該等已辨識之目標物體的一或多個位置，如上述步驟790內的操作。在某些具體實施例內，分類與辨識單元470也可通訊連結至顯示器160。分類與辨識單元470可設置成在顯示器160上該區域航拍影像或地圖上顯示該等已辨識目標物體之一或多個位置，如上述步驟790內的操作。在某些具體實施例內，分類與辨識單元470可設置成計算該等已偵測目標物體的數量，如上述步驟790內的操作。在某些具體實施例內，分類與辨識單元470也可通訊連結至一輸出180。分類與辨識單元470可設置成將計算出來的該等已辨識目標物體數量傳送至輸出180。
第十四圖係根據所揭示具體實施例，說明用於航拍影像中自動物體偵測的例示方法1400之流程圖。方法1400可包含以下步驟：獲得一區域的一影像(步驟1410)、自該區域的該影像獲得複數個局部航拍影像(步驟1420)、由一分類器將該複數個局部航拍影像分類為一第一類或一第二類，其中：該第一類表示一局部航拍影像包含一目標物體，該第二類表示一局部航拍影像不包含一目標物體，且該分類器係透過第一與第二訓練資料所訓練，其中該第一訓練資料包含第一訓練影像，該第一訓練影像包含目標物體，且該第 二訓練資料包含第二訓練影像，該第二訓練影像包含藉由調整該第一訓練影像的亮度、對比、色彩飽和度、解析度或旋轉角度其中至少一者所獲得的目標物體(步驟1430)、在該第一類中的一局部航拍影像中辨識一目標物體(步驟1440)以及當該已辨識目標物體上的一優化土壤調整植生指數低於一植物疾病臨界值時，決定該已辨識目標物體具有植物疾病(步驟1450)
步驟1410可包含獲得一區域的一影像。例如，獲得一區域的一影像之步驟1410可包含存取來自電腦可讀取媒體或電腦可讀取儲存裝置的顯示於第一圖中的感興趣區域的影像。針對另一個範例，獲得一區域的一影像之步驟1410可包含從外部輸入，像是第十三圖中的影像輸入120，接收感興趣區域的影像。影像輸入120可通訊連線至例如UAV 100、無人靶機、飛行器、直升機、氣球或衛星。換言之，獲得一區域的一影像之步驟1410可包含從UAV 100、無人靶機、飛行器、直升機、氣球或衛星接收感興趣區域的影像。
在某些具體實施例中，獲得一區域的一影像之步驟1410可包含獲得該區域各部分的複數個影像，並且組合或拼接(stitching)該區域各部分的複數個影像，以獲得感興趣區域的影像。例如，獲得一區域的一影像之步驟1410可包含獲得該區域各部分的複數個RGB影像，並且識別與匹配該區域各部分的複數個RGB影像之不同特徵，以建立RGB影像配對之間的對應關係。獲得一區域的一影像之步驟1410可進一步包含根據該已建立的該等RGB影像配對之間對應關係，來混合該區域各部分的複數個RGB影像，以獲得感興趣區域的RGB影像。
步驟1420可包含自該區域的該影像獲得複數個局部航拍影像。例如，自該區域的該影像獲得複數個局部航拍影像之步驟1420可包含自第一圖中的該區域的航拍影像獲得複數個300x300局部航拍影像。在某些 具體實施例中，自該區域的該影像獲得複數個局部航拍影像之步驟1420可包含在方法700中所描述的獲取局部航拍影像之步驟730。
在某些具體實施例中，獲得複數個局部航拍影像之步驟1420可包含根據基於該區域的一數值地表模型(DSM)影像與一目標物體的一DSM影像而在該區域的該影像上偵測到的複數個位置，以獲得複數個局部航拍影像，如方法200與方法700中所描述的。可選地，獲得複數個局部航拍影像之步驟1420可包含根據該區域的該影像上的複數個候選位置以獲得該複數個局部航拍影像。該複數個候選位置可例如為該區域的該影像上每一像素、每十像素或每五十像素的候選位置。
在某些具體實施例中，當該區域的該影像的一地面取樣距離(GSD)小於或等於一GSD臨界值時，獲得複數個局部航拍影像之步驟1420可包含根據基於該區域與該目標物體的DSM影像而在該區域的該影像上偵測到的該複數個位置，以獲得該複數個局部航拍影像，如方法200與方法700中所描述的。可選地，當該區域的該影像的該GSD大於該GSD臨界值時，獲得複數個局部航拍影像之步驟1420可包含根據該區域的該影像的該複數個候選位置，以獲得該複數個局部影像。
步驟1430可包含由一分類器將該複數個局部航拍影像分類為一第一類或一第二類。該第一類表示一局部航拍影像包含一目標物體。該第二類表示一局部航拍影像不包含一目標物體。該分類器係透過第一與第二訓練資料所訓練，其中該第一訓練資料包含第一訓練影像，該第一訓練影像包含目標物體，且該第二訓練資料包含第二訓練影像，該第二訓練影像包含藉由調整該第一訓練影像的亮度、對比、色彩飽和度、解析度或旋轉角度其中至少一者所獲得的目標物體。
例如，將該複數個局部航拍影像分類為一第一類或一第二類之步驟1430可包含將在步驟1420中所獲得的該複數個局部航拍影像分類為表示一局部航拍影像包含一目標物體的第一類或表示一局部航拍影像不包含一目標物體的第二類。當目標物體為第一圖中的油棕櫚樹時，分類該複數個局部航拍影像之步驟1430可包含將該複數個局部航拍影像中的一或多者分類為第一類，其中局部航拍影像包含油棕櫚樹。可選地，分類該複數個局部航拍影像之步驟1430可包含將該複數個局部航拍影像中的一或多者分類為第二類，其中局部航拍影像不包含油棕櫚樹。
在步驟1430中，分類該複數個局部航拍影像可包含藉由一分類器以分類該複數個局部航拍影像。該分類器係透過第一與第二訓練資料所訓練。該第一訓練資料可包含第一訓練影像其包含目標物體，例如在第九(a)圖中的油棕櫚樹。在某些具體實施例中，步驟1430的該分類器可如方法700中的步驟760所訓練。
該第二訓練資料可包含第二訓練影像，其包含藉由調整該第一訓練影像的亮度、對比、色彩飽和度、解析度或旋轉角度其中至少一者所獲得的目標物體。例如，第二訓練影像可包含一或多個影像其包含了顯示於第十五圖中的具有不同亮度的油棕櫚樹、第十六圖中的具有不同對比的油棕櫚樹、第十七圖中的具有不同色彩飽和度的油棕櫚樹、第十八圖中的具有不同解析度的油棕櫚樹、第十九圖中的具有不同旋轉角度的油棕櫚樹，其係藉由調整第九(a)圖中的油棕櫚樹的亮度、對比、色彩飽和度、解析度及/或旋轉角度所獲得的。
在某些具體實施例中，當第二訓練資料包含藉由調整第一訓練影像的亮度、對比、色彩飽和度、解析度以及一旋轉角度之每一者所獲得 的第二訓練影像時，該分類器可提高對於油棕櫚樹的識別率，例如自70%提高至90%。
在某些具體實施例中，分類該複數個局部航拍影像之步驟1430包含決定一訓練影像中的一目標物體的外觀是否旋轉對稱，以及響應於決定該目標物體的該外觀並非旋轉對稱，藉由調整該第一訓練影像的該旋轉角度以獲得該第二訓練影像。例如，油棕櫚樹的航拍影像可能並非旋轉對稱。換言之，旋轉角度後，油棕櫚樹在航拍影像中看起來不同。分類該複數個局部航拍影像之步驟1430可包含決定油棕櫚樹的外觀並非旋轉對稱。響應於此決定，步驟1430亦可包含藉由調整油棕櫚樹的旋轉角度以獲得第二訓練影像。因此，該訓練器將由具有不同旋轉角度的油棕櫚樹影像所訓練。
可選地，當目標物體為籃球時，其航拍影像可為旋轉對稱的，步驟1430可包含決定籃球的外觀為旋轉對稱。響應於此決定，步驟1430亦可不包含藉由調整油棕櫚樹的旋轉角度以獲得第二訓練影像。該訓練器並非由具有不同旋轉角度的油棕櫚樹影像所訓練。
在某些具體實施例中，該旋轉角度包含一角度其大於0度且小於360度。例如，在旋轉大於0度且小於360度的一角度後，人或動物的航拍影像可看起來不同。
步驟1440可包含在該第一類中的一局部航拍影像中辨識一目標物體。例如，在該第一類中辨識一目標物體之步驟1440可包含在步驟1430中被分類為第一類的一或多個影像中辨識一油棕櫚樹。在某些具體實施例中，在該第一類中辨識一目標物體之步驟1440可包含方法700中的辨識該目標物體之步驟780。
步驟1450可包含當該已辨識目標物體上的一優化土壤調整植生指數低於一植物疾病臨界值時，決定該已辨識目標物體具有植物疾病。 例如，決定該已辨識目標物體具有植物疾病之步驟1450可包含在第一類中的已辨識油棕櫚樹上獲得複數個優化土壤調整植生指數(Optimized Soil-Adjusted Vegetation Indices，OSAVIs)，將該複數個優化土壤調整植生指數與一植物疾病臨界值進行比較，以及當一或多個油棕櫚樹的OSAVIs低於該植物疾病臨界值時，決定該一或多個油棕櫚樹具有植物疾病。用於油棕櫚樹的該植物疾病臨界值可例如為0.85，即OSAVI=0.85。當一或多個已辨識油棕櫚樹上的複數個OSAVIs小於0.85時，決定該一或多個已辨識目標物體具有植物疾病。
OSAVI為一植生指數，其解釋了通過植生冠層的紅色與近紅外的不同程度的消光。OSAVI將來自涉及了紅色與近紅外(Near-Infrared，NIR)波長的光譜植生指數的土壤亮度影響最小化。OSAVI可藉由以下方式獲得：OSAVI=(1+L)*(NIR-RED)/(NIR+RED+L)，其中L=0.16，NIR為已辨識目標物體上的近紅外波段指數，而RED為已辨識目標物體上的紅色波段指數。可從藉由多光譜相機所拍攝的感興趣區域的多光譜影像中獲得NIR與RED。
第十五圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了不同亮度的目標物體的複數個例示訓練資料之圖式。第十五(a)、十五(b)、十五(c)、十五(d)、十五(e)、十五(f)、十五(g)、十五(h)以及十五(i)圖為包含了油棕櫚樹的影像，其分別具有-60%、-45%、-30%、-15%、0%、+15%、+30%、+45%以及+60%的不同亮度級。此些具有不同亮度的影像中的一或多者可被用於訓練步驟1430的分類器。由於一區域的航拍影像可於亮度上變化，藉由此些訓練影像所訓練的分類器可提高油棕櫚樹的識別率，例如自70%提高至80%。
第十六圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了不同對比的目標物體的複數個例示訓練資料之圖式。第十六(a)、十六(b)、十六(c)、十六(d)、十六(e)、十六(f)、十六(g)、十六(h)以及十六(i)圖為包含了油棕櫚樹的影像，其分別具有-60%、-45%、-30%、-15%、0%、+15%、+30%、+45%以及+60%的不同對比級。此些具有不同對比的影像中的一或多者可被用於訓練步驟1430的分類器。由於一區域的航拍影像可於對比上變化，藉由此些訓練影像所訓練的分類器可提高油棕櫚樹的識別率，例如自75%提高至85%。
第十七圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了不同色彩飽和度的目標物體的複數個例示訓練資料之圖式。第十七(a)、十七(b)、十七(c)、十七(d)、十七(e)、十七(f)、十七(g)、十七(h)以及十七(i)圖為包含了油棕櫚樹的影像，其分別具有0%、25%、50%、75%、100%、175%、250%、325%以及400%的不同色彩飽和度級。此些具有不同色彩飽和度的影像中的一或多者可被用於訓練步驟1430的分類器。由於一區域的航拍影像可於色彩飽和度上變化，藉由此些訓練影像所訓練的分類器可提高油棕櫚樹的識別率，例如自72%提高至80%。
第十八圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了不同解析度的目標物體的複數個例示訓練資料之圖式。第十八(a)、十八(b)、十八(c)以及十八(d)圖為包含了油棕櫚樹的影像，其分別具有0、15、30以及45的不同模糊度級。此些具有不同色彩飽和度的影像中的一或多者可被用於訓練步驟1430的分類器。由於一區域的航拍影像可於解析度上變化，藉由此些訓練影像所訓練的分類器可提高油棕櫚樹的識別率，例如自72%提高至86%。
第十九圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了不同旋轉角度的目標物體的複數個例示訓練資料之圖式。第十九(a)、十九(b)、十九(c)、十九(d)、十九(e)以及十九(f)圖為包含了油棕櫚樹的影像，其分別具有0度、30度、45度、60度、90度以及180度的不同旋轉角度級。此些具有不同旋轉角度的影像中的一或多者可被用於訓練步驟1430的分類器。由於一區域的航拍影像可於角度上變化，藉由此些訓練影像所訓練的分類器可提高油棕櫚樹的識別率，例如自75%提高至86%。
第二十圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了不同尺寸的目標物體的複數個例示訓練資料之圖式。如第二十(a)圖所示，一訓練影像包含小的年輕棕櫚樹以做為目標物體。如第二十(b)圖所示，一訓練影像包含大的成熟棕櫚樹以做為另一目標物體。步驟1430的第一訓練影像中的目標物體可包含此兩個不同尺寸的棕櫚樹。藉由此些訓練影像所訓練的分類器可提高油棕櫚樹的識別率，例如自82%提高至86%，此係因為其可辨識感興趣區域中的那些年輕油棕櫚樹以及成熟油棕櫚樹。
第二十一圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了兩個以上的目標物體的複數個例示訓練資料之圖式。如第二十一(a)圖所示，一訓練影像包含兩個棕櫚樹以做為目標物體。如第二十一(b)圖所示，一訓練影像包含三個棕櫚樹以做為目標物體。步驟1430的第一訓練影像中的目標物體可包含此二或多個棕櫚樹。藉由此些訓練影像所訓練的分類器可提高油棕櫚樹的識別率，例如自81%提高至85%，此係因為其可辨識局部航拍影像中的二或多個油棕櫚樹。在步驟1420中獲得的局部航拍影像中可能無可避免地會具有二或多個油棕櫚樹，其係因為一固定的影像尺寸，例如300x300，可被用於所有的局部航拍影像，而油棕櫚樹可隨機分散於區域中。
第二十二圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了在該區域的該影像中的非目標物體的複數個例示訓練資料之圖式。第二十二(a)、二十二(b)、二十二(c)以及二十二(d)圖分別包含房子、另一房子、一車子以及兩個車子。步驟1430的分類器可訓練自包含了第九(a)圖與第十五至二十一圖中該第一與第二複數個訓練影像的一第一數量的訓練影像，以及包含了第九(b)圖及/或第二十二圖中非目標影像的一第二數量的訓練影像。訓練影像的該第一數量可實質上相等於訓練影像的該第二數量。例如第一與第二數量可皆為一萬。藉由此些訓練影像所訓練的分類器可提高油棕櫚樹的識別率至例如為90%，此係因為此些訓練影像為分類器提供了不同的特徵。
第二十三圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測，且包含了不在該區域的該影像中的非的目標物體的複數個例示訓練資料之圖式。第二十三(a)、二十三(b)、二十三(c)、二十三(d)、二十三(e)以及二十三(f)圖包含了海灘的場景，其並不在第一圖中的該區域的該影像中。步驟1430的分類器可訓練自包含了第九(a)圖與第十五至二十一圖中該第一與第二訓練影像的一第一數量的訓練影像、包含了第九(b)圖及/或第二十二圖中的影像中的非目標影像的一第二數量的訓練影像，以及包含了第二十三圖中的不在該區域的該影像中的非目標物體的一第三數量的訓練影像。在某些具體實施例中，訓練影像的該第一數量、該第二數量與該第三數量實質上相等。例如，該第一數量、該第二數量與該第三數量可皆為八千。
第二十四圖係根據所揭示具體實施例，該區域中的具有植物疾病的目標物體之圖式。如第二十四圖所示，油棕櫚樹2401、2402具有枯葉。這些枯葉可能在不同的波段(例如藍色，綠色，紅色與近紅外波段)引起不同的反射。UAV 100亦可被設置為藉由多光譜相機拍攝該區域的多光譜影像。油棕櫚樹2401、2402的OSAVIs分別為0.79與0.81。
在藉由步驟1440辨識油棕櫚樹2401、2402後，決定該已辨識目標物體具有植物疾病之步驟1450可包含將油棕櫚樹2401、2402的OSAVIs與一植物疾病臨界值(例如，0.85)進行比較，並決定油棕櫚樹2401、2402兩者皆具有植物疾病。農夫可藉由本文之方法獲得此些具有植物疾病的油棕櫚樹的位置，並採取措施營救這些油棕櫚樹。
本發明的另一個態樣係涉及一種自航拍影像偵測物體之系統。第十三圖係根據所揭示具體實施例，說明用於航拍影像中自動物體偵測的例示系統之方塊圖。自動物體偵測系統400可被設置以執行如上所述且顯示於第十四至二十四圖的方法1400。
仍舊是本發明的另一個態樣，其涉及一種儲存指令之非暫態電腦可讀取媒體，當執行時會導致一或多個處理器執行自航拍影像偵測物體之操作。該操作可包含，但不限於所有前述方法與實施例。在某些具體實施例中，前述操作或實施例中的一部分步驟的可遠程地或分開地執行。在某些具體實施例中，該操作可由一或多個分佈式系統所執行。
精通技術人士將了解，可對用於偵測航拍影像內物體之所揭示方法及系統進行許多修改以及變化。從用於偵測航拍影像內物體之所揭示方法及系統之規格與實踐考量中，精通技術人士也可了解其他具體實施例。在此所考量的說明書與範例都僅為範例，本發明確切的範圍都列示於下列專利申請範圍及其相等項內。
200:方法
220、240、260、290:步驟

Claims (20)

  1. 一種自航拍影像偵測物體之系統，該系統包含：用於儲存指令的記憶體；至少一處理器，設置成執行該指令以：獲得一區域的一影像；自該區域的該影像獲得複數個局部航拍影像；由一分類器將該複數個局部航拍影像分類為一第一類或一第二類，其中：該第一類表示一局部航拍影像包含一目標物體，該第二類表示一局部航拍影像不包含一目標物體，且該分類器係透過第一與第二訓練資料所訓練，其中該第一訓練資料包含第一訓練影像，該第一訓練影像包含目標物體，且該第二訓練資料包含第二訓練影像，該第二訓練影像包含藉由調整該第一訓練影像的亮度、對比、色彩飽和度、解析度或旋轉角度其中至少一者所獲得的目標物體；以及在該第一類中的一局部航拍影像中辨識一目標物體；其中所述分類該複數個局部航拍影像包含： 決定一訓練影像中的一目標物體的外觀是否旋轉對稱；以及響應於決定該目標物體的該外觀並非旋轉對稱，藉由調整該第一訓練影像的該旋轉角度以獲得該第二訓練影像。
  2. 如請求項1所述之系統，其中該旋轉角度包含一角度其大於0度且小於360度。
  3. 如請求項1所述之系統，其中所述獲得該複數個局部航拍影像包含：根據基於該區域的一數值地表模型(DSM)影像與一目標物體的一DSM影像而在該區域的該影像上偵測到的複數個位置，以獲得該複數個局部航拍影像；或根據該區域的該影像上的複數個候選位置以獲得該複數個局部航拍影像。
  4. 如請求項3所述之系統，其中：當該區域的該影像的一地面取樣距離(GSD)小於或等於一GSD臨界值時，所述獲得該複數個局部航拍影像包含根據基於該區域與該目標物體的該DSM影像而在該區域的該影像上偵測到的該複數個位置，以獲得該複數個局部航拍影像；以及當該區域的該影像的該GSD大於該GSD臨界值時，所述獲得該複數個局部航拍影像包含根據該區域的該影像的該複數個候選位置，以獲得該複數個局部影像。
  5. 如請求項1所述之系統，其中該第一訓練影像的該目標物體包含兩個不同的尺寸。
  6. 如請求項1所述之系統，其中該第一訓練影像其中一者包含兩個目標物體。
  7. 如請求項1所述之系統，其中該分類器係訓練自：一第一數量的訓練影像，其包含該第一與第二複數個訓練影像；以及一第二數量的訓練影像，其包含非目標物體，其中該第一數量的訓練影像大致上相等於該第二數量的訓練影像。
  8. 如請求項1所述之系統，其中該分類器係訓練自：一第一數量的訓練影像，其包含該第一與第二訓練影像；一第二數量的訓練影像，其包含該區域的該影像中的非目標物體；以及一第三數量的訓練影像，其包含不在該區域的該影像中的非目標物體。
  9. 如請求項8所述之系統，其中訓練影像的該第一、第二與第三數量係大致相等的。
  10. 如請求項1所述之系統，其中該至少一處理器係設置成執行該指令以： 當該已辨識目標物體上的一優化土壤調整植生指數低於一植物疾病臨界值時，決定該已辨識目標物體具有植物疾病。
  11. 一種偵測航拍影像內物體之方法，該方法包含：獲得一區域的一影像；自該區域的該影像獲得複數個局部航拍影像；由一分類器將該複數個局部航拍影像分類為一第一類或一第二類，其中：該第一類表示一局部航拍影像包含一目標物體，該第二類表示一局部航拍影像不包含一目標物體，且該分類器係透過第一與第二訓練資料所訓練，其中該第一訓練資料包含第一訓練影像，該第一訓練影像包含目標物體，且該第二訓練資料包含第二訓練影像，該第二訓練影像包含藉由調整該第一訓練影像的亮度、對比、色彩飽和度、解析度或旋轉角度其中至少一者所獲得的目標物體；以及在該第一類中的一局部航拍影像中辨識一目標物體；其中所述分類該複數個局部航拍影像包含：決定一訓練影像中的一目標物體的外觀是否旋轉對稱；以及響應於決定該目標物體的該外觀並非旋轉對稱，藉由調整該第一訓練影像的該旋轉角度以獲得該第二訓練影像。
  12. 如請求項11所述之方法，其中所述獲得該複數個局部航拍影像包含：根據基於該區域的一數值地表模型(DSM)影像與一目標物體的一DSM影像而在該區域的該影像上偵測到的複數個位置，以獲得該複數個局部航拍影像；或根據該區域的該影像上的複數個候選位置以獲得該複數個局部航拍影像。
  13. 如請求項12所述之方法，其中：當該區域的該影像的一地面取樣距離(GSD)小於或等於一GSD臨界值時，所述獲得該複數個局部航拍影像包含根據基於該區域與該目標物體的該DSM影像而在該區域的該影像上偵測到的該複數個位置，以獲得該複數個局部航拍影像；以及當該區域的該影像的該GSD大於該GSD臨界值時，所述獲得該複數個局部航拍影像包含根據該區域的該影像的該複數個候選位置，以獲得該複數個局部影像。
  14. 如請求項11所述之方法，其中該第一訓練影像的該目標物體包含兩個不同的尺寸。
  15. 如請求項11所述之方法，其中該分類器係訓練自：一第一數量的訓練影像，其包含該第一與第二複數個訓練影像；以及一第二數量的訓練影像，其包含非目標物體， 其中該第一數量的訓練影像大致上相等於該第二數量的訓練影像。
  16. 如請求項11所述之方法，其中該分類器係訓練自：一第一數量的訓練影像，其包含該第一與第二訓練影像；一第二數量的訓練影像，其包含該區域的該影像中的非目標物體；以及一第三數量的訓練影像，其包含不在該區域的該影像中的非目標物體。
  17. 如請求項16所述之方法，其中訓練影像的該第一、第二與第三數量係大致相等的。
  18. 如請求項11所述之方法，包含：當該已辨識目標物體上的一優化土壤調整植生指數低於一植物疾病臨界值時，決定該已辨識目標物體具有植物疾病。
  19. 一種儲存指令之非暫態電腦可讀取媒體，當執行時會導致一或多個處理器執行自航拍影像偵測物體之操作，該操作包含：獲得一區域的一影像；自該區域的該影像獲得複數個局部航拍影像；由一分類器將該複數個局部航拍影像分類為一第一類或一第二類，其中：該第一類表示一局部航拍影像包含一目標物體， 該第二類表示一局部航拍影像不包含一目標物體，且該分類器係透過第一與第二訓練資料所訓練，其中該第一訓練資料包含第一訓練影像，該第一訓練影像包含目標物體，且該第二訓練資料包含第二訓練影像，該第二訓練影像包含藉由調整該第一訓練影像的亮度、對比、色彩飽和度、解析度或旋轉角度其中至少一者所獲得的目標物體；以及在該第一類中的一局部航拍影像中辨識一目標物體；其中所述分類該複數個局部航拍影像包含：決定一訓練影像中的一目標物體的外觀是否旋轉對稱；以及響應於決定該目標物體的該外觀並非旋轉對稱，藉由調整該第一訓練影像的該旋轉角度以獲得該第二訓練影像。
  20. 如請求項19所述之非暫態電腦可讀取媒體，其中該操作包含：當該已辨識目標物體上的一優化土壤調整植生指數低於一植物疾病臨界值時，決定該已辨識目標物體具有植物疾病。
TW109144124A 2019-12-20 2020-12-14 自航拍影像偵測物體之系統、偵測航拍影像內物體之方法及其非暫態電腦可讀取媒體 TWI785436B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/724,041 US10699119B2 (en) 2016-12-02 2019-12-20 Methods and systems for automatic object detection from aerial imagery
US16/724,041 2019-12-20

Publications (2)

Publication Number Publication Date
TW202125324A TW202125324A (zh) 2021-07-01
TWI785436B true TWI785436B (zh) 2022-12-01

Family

ID=76383528

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109144124A TWI785436B (zh) 2019-12-20 2020-12-14 自航拍影像偵測物體之系統、偵測航拍影像內物體之方法及其非暫態電腦可讀取媒體

Country Status (2)

Country Link
CN (1) CN113011416A (zh)
TW (1) TWI785436B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI819438B (zh) * 2021-12-21 2023-10-21 緯創資通股份有限公司 影像辨識裝置及影像辨識方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201828253A (zh) * 2016-12-02 2018-08-01 經緯航太科技股份有限公司 航拍影像自動物體偵測之方法及系統
US20190213412A1 (en) * 2015-08-31 2019-07-11 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
CN110298227A (zh) * 2019-04-17 2019-10-01 南京航空航天大学 一种基于深度学习的无人机航拍图像中的车辆检测方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190213412A1 (en) * 2015-08-31 2019-07-11 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
TW201828253A (zh) * 2016-12-02 2018-08-01 經緯航太科技股份有限公司 航拍影像自動物體偵測之方法及系統
TW201921316A (zh) * 2016-12-02 2019-06-01 經緯航太科技股份有限公司 偵測航拍影像內物體之非暫態電腦可讀取媒體及系統，以及航拍影像中物體偵測之方法
CN110298227A (zh) * 2019-04-17 2019-10-01 南京航空航天大学 一种基于深度学习的无人机航拍图像中的车辆检测方法

Also Published As

Publication number Publication date
CN113011416A (zh) 2021-06-22
TW202125324A (zh) 2021-07-01

Similar Documents

Publication Publication Date Title
US10699119B2 (en) Methods and systems for automatic object detection from aerial imagery
TWI709109B (zh) 偵測航拍影像內物體之非暫態電腦可讀取媒體及系統，以及航拍影像中物體偵測之方法
Aquino et al. Automated early yield prediction in vineyards from on-the-go image acquisition
US9805293B2 (en) Method and apparatus for object recognition in image processing
CN107918776B (zh) 一种基于机器视觉的用地规划方法、系统及电子设备
CN109063754B (zh) 一种基于OpenStreetMap的遥感影像多特征联合分类方法
Bao et al. UAV remote sensing detection of tea leaf blight based on DDMA-YOLO
Polewski et al. Detection of single standing dead trees from aerial color infrared imagery by segmentation with shape and intensity priors
Lee et al. Automatic recognition of flower species in the natural environment
KR20210143634A (ko) 골프 코스의 디봇 탐지 시스템 및 이를 이용한 탐지 방법
Lyu et al. Development of phenotyping system using low altitude UAV imagery and deep learning
Tian et al. Machine learning-based crop recognition from aerial remote sensing imagery
TWI785436B (zh) 自航拍影像偵測物體之系統、偵測航拍影像內物體之方法及其非暫態電腦可讀取媒體
Xiang et al. Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system
CN111339953B (zh) 一种基于聚类分析的薇甘菊监测方法
KR20220168875A (ko) 인공지능을 이용하여 벼 도복 피해면적을 산정하는 장치 및 방법
Hamzah et al. Drone Aerial Image Identification of Tropical Forest Tree Species Using the Mask R-CNN
Bonaria Grapevine yield estimation using image analysis for the variety Arinto
James et al. From prototype to inference: A pipeline to apply deep learning in sorghum panicle detection
Bhaskaran et al. Mapping shadows in very high-resolution satellite data using HSV and edge detection techniques
López et al. Multi-Spectral Imaging for Weed Identification in Herbicides Testing
Lawrence Early detection of Heacleum Mantegazzianum (Giant Hogweed) based on leaf spectral characteristics from UAV images SVM and OBIA Techniques
Wijesingha et al. Mapping invasive Lupinus polyphyllus Lindl. in semi-natural grasslands using object-based analysis of UAV-borne images
Li et al. Application of High-Resolution Remote Sensing Image for Individual Tree Identification of Pinus sylvestris and Pinus tabulaeformis
Sharma et al. Object-Based Image Analysis of Hyper Spectral Imagery Using Semantic Segmentation Techniques