TWI684164B - 偵測航拍影像內物體之非暫態電腦可讀取媒體及系統，以及航拍影像中物體偵測之方法 - Google Patents

偵測航拍影像內物體之非暫態電腦可讀取媒體及系統，以及航拍影像中物體偵測之方法 Download PDF

Info

Publication number
TWI684164B
TWI684164B TW106139705A TW106139705A TWI684164B TW I684164 B TWI684164 B TW I684164B TW 106139705 A TW106139705 A TW 106139705A TW 106139705 A TW106139705 A TW 106139705A TW I684164 B TWI684164 B TW I684164B
Authority
TW
Taiwan
Prior art keywords
area
image
dsm
aerial
images
Prior art date
Application number
TW106139705A
Other languages
English (en)
Other versions
TW201828253A (zh
Inventor
羅正方
陳姿秀
柯長榮
吳俊毅
Original Assignee
經緯航太科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 經緯航太科技股份有限公司 filed Critical 經緯航太科技股份有限公司
Publication of TW201828253A publication Critical patent/TW201828253A/zh
Application granted granted Critical
Publication of TWI684164B publication Critical patent/TWI684164B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/188—Vegetation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G06T2207/30188—Vegetation; Agriculture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]

Abstract

本發明揭示一種用於偵測航拍影像中物體之方法及系統。根據特定具體實施例，該方法可包括獲得一區域的數值地表模型(DSM，Digital Surface Model)影像。該方法也可包括獲得一或多個目標物體的一DSM影像。該方法可進一步包括根據該區域以及一或多個目標物體的該等DSM影像，來偵測該區域內的該目標物體。該方法可進一步包括利用人工智慧辨識該等已偵測之目標物體。該方法可進一步包括獲取該等已辨識目標物體的位置。該方法可進一步包括計算該等已辨識目標物體的數量。

Description

偵測航拍影像內物體之非暫態電腦可讀取媒體及系統，以及航拍影像中物體偵測之方法
本發明一般係關於偵測航拍影像內物體之方法及系統，且具體而言，係關於通過人工智慧技術進行模板匹配(template matching)以偵測及辨識感興趣區域之航拍影像(an aerial image of an area of interest)內物體之方法及系統。
自動物體偵測對於在影像內找出並識別目標物體非常有用。人類稍微努力就可識別影像中的一或幾個目標物體，不過對於人類而言，在影像內找出並識別大量目標物體就具有挑戰性。當影像內的目標物體以不同大小與比例顯示時，或甚至在不同旋轉視角內，從不同視點看起來就不相同。某些電腦實施方法可根據外觀或特徵來偵測目標物體，然而，對於某些應用來說，例如經濟作物或某些農業應用，這些物體偵測方法的精確度可能不夠好。
因此當感興趣區域內潛在目標物體的數量增加並且航拍影 像的解析度受限時，來自航拍影像的物體偵測就變得更具挑戰性。當在大比例面積內有可觀數量的潛在目標物體時，依靠人類尋找並識別目標物體就變得不切實際。增加航拍影像的解析度對於提高物體偵測的精確度可能有所幫助，然而在同一時間上，在高解析度影像上執行物體辨識與偵測會增加計算複雜度，而限制了特定應用的可行性與效率。
因此，需要快速並精準從感興趣區域航拍影像中偵測目標物體之方法及系統。該等揭示方法及系統旨在克服或改善上面揭露的一或多個問題及/或先前技術內其他問題。
本發明的一個態樣涉及儲存指令的一種非暫態電腦可讀取媒體，其中當執行該等指令時會導致一或多個處理器執行偵測航拍影像中物體的操作。該等操作可包括獲得一區域的數值地表模型(Digital Surface Model，DSM)影像。該等操作可進一步包括獲得一或多個目標物體的一DSM影像。該等操作可進一步包括根據該區域以及一或多個目標物體的該等DSM影像，來偵測該區域內的該目標物體。該等操作可進一步包括取得對應至該區域中該DSM影像的該區域之航拍影像。該等操作可進一步包括獲取該區域航拍影像上該等已偵測目標物體的一或多個位置。該等操作可進一步包括獲取該等已偵測目標物體的一或多個位置上一或多個局部航拍影像。該等操作可進一步包括從該等一或多個局部航拍影像擷取一或多個紋理特徵，當成一或多個特徵向量。該等操作可進一步包括獲得複數個訓練資料，該訓練資料包括當成該目標物體的相同種類物體之複數個航拍影像。該等操作可進一步包括根據該等複數個訓練資料訓練一分類器。該操 作可進一步包括根據該等一或多個特徵向量，由該受過訓練的分類器分類該等一或多個局部航拍影像。該等操作可進一步包括基於該等分類結果，辨識該等一或多個局部航拍影像之間的該等目標物體。該等操作可進一步包括獲取該等已辨識目標物體的一或多個位置。該等操作可進一步包括計算該等已辨識目標物體的數量。
本發明的另一個態樣係涉及利用一或多個積體電路、一或多個場可程式閘陣列、執行指令實現該方法的一或多個處理器或控制器或上述任意組合，執行航拍影像中偵測物體之方法。該方法可包括獲得一區域的DSM影像。該方法可進一步包括獲得一或多個目標物體的一DSM影像。該方法可進一步包括根據該區域以及一或多個目標物體的該等DSM影像，來偵測該區域內的該目標物體。該方法可進一步包括取得對應至該區域中該DSM影像的該區域之航拍影像。該方法可進一步包括獲取該區域的該航拍影像上已偵測目標物體的一或多個位置。該方法可進一步包括獲取該等已偵測目標物體的一或多個位置上一或多個局部航拍影像。該方法可進一步包括從該等一或多個局部航拍影像擷取一或多個紋理特徵，當成一或多個特徵向量。該方法可進一步包括獲得複數個訓練資料，該訓練資料包括當成該目標物體的相同種類物體之複數個航拍影像。該方法可進一步包括根據該等複數個訓練資料訓練一分類器。該方法進一步包括根據該等一或多個特徵向量，由該受過訓練的分類器分類該等一或多個局部航拍影像。該方法可進一步包括基於該等分類結果，辨識該等一或多個局部航拍影像之間的該等目標物體。該方法可進一步包括獲取該等已辨識目標物體的一或多個位置。該方法可進一步包括計算該等已辨識目標物體的數 量。
仍舊是本發明的另一個態樣，其涉及一種用於偵測航拍影像中物體之系統。用於偵測航拍影像中物體的系統可包括一航拍影像單元、一目標影像單元以及一偵測單元。該航拍影像單元可設置成獲得一區域的一DSM影像。該目標影像單元可設置成獲得一或多個目標物體的一DSM影像。該偵測單元可設置成根據該區域以及該等一或多個目標物體的該等DSM影像，來偵測該區域內的該目標物體。
用於偵測航拍影像中物體的系統還可進一步包括一定位單元、一局部航拍影像單元、一擷取單元以及一分類與辨識單元。該航拍影像單元可進一步設置成獲得對應至該區域中該DSM影像的該區域之航拍影像。該定位單元可設置成獲取該區域航拍影像上該等已偵測目標物體的一或多個位置。該局部航拍影像獲取單元可設置成獲取該等已偵測目標物體的一或多個位置上一或多個局部航拍影像。該擷取單元可設置成從該等一或多個局部航拍影像擷取一或多個紋理特徵，當成一或多個特徵向量。該分類與辨識單元可設置成獲得複數個訓練資料，該訓練資料包括當成該目標物體的相同種類物體之複數個航拍影像。該分類與辨識單元可進一步設置成根據該等複數個訓練資料來訓練一分類器。該分類與辨識單元可進一步設置成根據該等一或多個特徵向量，由該受過訓練的分類器分類該等一或多個局部航拍影像。該分類與辨識單元可進一步設置成基於該等分類結果，辨識該等一或多個局部航拍影像上的該等目標物體。該分類與辨識單元可進一步設置成獲取該等已辨識目標物體的一或多個位置。該分類與 辨識單元可進一步設置成計算該等已辨識目標物體的數量。
100‧‧‧無人航拍機
120‧‧‧影像輸入
140‧‧‧使用者介面
160‧‧‧顯示器
180‧‧‧輸出
200‧‧‧方法
220、240、260、290‧‧‧步驟
400‧‧‧自動物體偵測系統
410‧‧‧航拍影像單元
420‧‧‧目標影像單元
430‧‧‧偵測單元
440‧‧‧定位單元
450‧‧‧局部航拍影像單元
460‧‧‧擷取單元
470‧‧‧分類與辨識單元
700‧‧‧方法
710~790‧‧‧步驟
801、802、803‧‧‧油棕櫚樹
1001、1002、1003‧‧‧粉色圓圈
1016、1017、1018‧‧‧藍色圓圈
第一圖係根據所揭示具體實施例，在一區域內用於自動物體偵測的一例示航拍影像之圖式。
第二圖係根據所揭示具體實施例，說明用於航拍影像中自動物體偵測的例示方法之流程圖。
第三圖係根據所揭示具體實施例，說明與第一圖中該區域的該例示航拍影像對應之用於自動物體偵測的該區域一例示DSM影像之圖式。
第四圖係根據所揭示具體實施例，用於自動物體偵測的一例示目標物體種類之兩例示DSM影像圖式。
第五圖係根據所揭示具體實施例，來自用於自動物體偵測的第三圖內該區域例示DSM影像與第四圖內該例示範本影像之間配對率例示計算的配對率例示影像之圖式。
第六圖係根據所揭示具體實施例，依照用於第二圖內自動物體偵測的該例示方法，標記該等已偵測例示目標物體的位置之該區域例示空拍影像圖式。
第七圖係根據所揭示具體實施例，說明用於航拍影像中自動物體偵測的另一個例示方法之流程圖。
第八圖係根據所揭示具體實施例，依照用於第二圖內自動物體偵測的該例示方法，標記該等已偵測例示目標物體的位置之該區域例 示空拍影像之部分放大圖式。
第九圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測的複數個例示訓練資料之圖式。
第十圖係根據所揭示具體實施例，依照用於第七圖內自動物體偵測的該例示方法，在該等已偵測目標物體的位置上標示該分類結果之該區域例示空拍影像之部分放大圖式。
第十一圖係根據所揭示具體實施例，依照用於第七圖內自動物體偵測的該例示方法，標記該等已正確偵測和辨識的例示目標物體位置之該區域例示空拍影像之部分放大圖式。
第十二圖係根據所揭示具體實施例，依照用於第七圖內自動物體偵測的該例示方法，在該等已偵測和已分類例示目標物體位置上標記該分類結果之該區域例示空拍影像圖式。
第十三圖係根據所揭示具體實施例，說明用於航拍影像中自動物體偵測的例示系統之方塊圖。
本發明一般涉及用來偵測航拍影像內物體之方法及系統。預期目標物體可以是植物、樹、油棕櫚樹、物體、建築物、設施、陸地、地貌特徵或其任意組合。一般而言，待偵測的目標物體可包括任何東西，像是物體、建築物、設施、植物、樹、動物，甚至人類。目標物體在顏色、形狀及/或外觀上可具有許多特徵，目標物體的這些特徵可用來偵測感興趣區域中影像內的目標物體。
第一圖係根據所揭示具體實施例，用於自動物體偵測之一區域的一例示航拍影像之圖式。例如油棕櫚樹為該區域航拍影像待要偵測的例示目標物體，這些油棕櫚樹具有特定的離地高度。在某些具體實施例內，所揭示的方法及系統可包括根據該區域航拍影像內目標物體的高度資訊，來偵測目標物體。例如，一區域的DSM可包括地表以及所有物體，以及該地表與所有物體的相關高度資訊。預期所揭示方法及系統可包括通過感興趣區域DSM內含的高度資訊來偵測目標物體。在某些具體實施例內，所揭示的方法及系統可包括偵測內含高度資訊的許多區域模型及/或影像內之目標物體，像是區域的數值高程模型(DEM，Digital Elevation Model)。
在某些具體實施例內，所揭示的方法及系統可包括使用一或多個光偵測與測距(Light Detection And Ranging，LiDAR)感測器、即時DSM感測器、後生產DSM感測器、複數個該區域航拍影像的計算或這些的任意組合，來獲得一區域的DSM、DEM及/或航拍影像。在某些具體實施例內，所揭示的方法及系統可包括使用前述感測器之一者及/或無人航拍機(Unmanned Aerial Vehicle，UAV)100(如第十三圖所示)、無人靶機、飛行器、直升機、氣球或衛星的相機，來收集一區域的DSM、DEM及/或航拍影像。在某些具體實施例內，所揭示的方法及系統可進一步包括透過無線連接，像是藍牙、Wi-Fi、蜂巢式(例如GPRS(General Packet Radio Service，通用封包無線服務)、WCDMA(Wideband Code Division Multiple Access，寬頻分碼多重存取)、HSPA(High Speed Packet Access，高速封包存取)、LTE(Long Term Evolution，長期演進技術)、或更新 世代的蜂巢式通訊系統)，以及衛星連線或有線連接，像是USB線或光纜線(Lighting line)，接收來自UAV 100、無人靶機、飛行器、直升機、氣球或衛星的一區域之DSM、DEM及/或航拍影像的相關資料。
在某些具體實施例內，所揭示的方法及系統可包括從該區域各部分中複數個DSM、DEM及/或航拍影像內獲得用於目標偵測的區域之DSM、DEM及/或航拍影像。例如，所揭示的方法及系統可包括組合或拼接(stitching)該區域各部分的複數個航拍影像，以獲得第一圖內該區域的航拍影像，用於物體偵測。所揭示的方法及系統包括決定將一個影像內像素座標關聯於另一個影像內像素座標來進行影像對準的適當算術模型(appropriate mathematical model)。所揭示的方法及系統可進一步包括通過直接像素對像素比較(direct pixel-to-pixel comparisons)與梯度下降(gradient descent)的組合，來估計與許多航拍影像配對(pairs of aerial images)相關的正確對準。所揭示的方法及系統可進一步包括識別與配對部分區域航拍影像內的不同特徵，來建立航拍影像配對之間的對應關係。所揭示的方法及系統可進一步包括決定最終合成表面，在其上扭曲或投影變換和放置所有對準的航拍影像。所揭示的方法及系統可進一步包括無縫混合重疊的航拍影像，即使存在視差、透鏡失真、場景運動和曝光差異的情況下也是如此。
第二圖係根據所揭示具體實施例，說明用於航拍影像中自動物體偵測的例示方法200之流程圖。本發明的一個態樣涉及儲存指令的一種非暫態電腦可讀取媒體，其中當執行該等指令時會導致一或多個處理 器執行第二圖內的例示方法200，來偵測航拍影像中的物體。該電腦可讀取媒體可包括揮發性或非揮發性、磁性、半導體、磁帶、光學、可移除、不可移除或其他種電腦可讀取媒體或電腦可讀取儲存裝置。例如，該電腦可讀取媒體可為其內儲存該等電腦指令的儲存單元或記憶體模組，如所揭示。在某些具體實施例內，該電腦可讀取媒體可為其內儲存該等電腦指令的光碟或隨身碟。在某些具體實施例內，該電腦可讀取媒體可為其內儲存該等電腦指令的雲端或遠端儲存裝置，這些指令可下載到另一個裝置來執行。
方法200可包括以下步驟：獲得一區域的DSM影像(步驟220)、獲得一目標物體的DSM影像(步驟240)、以及根據步驟220和240內該區域與該目標物體的DSM影像來偵測該區域內的該目標物體(步驟260)。請注意，一區域的DSM內含該區域的高度資訊。通過使用該區域的高度資訊當成該區域灰階影像的灰階值，可獲得該區域的DSM影像，反之亦然。因此，若合適，在整個本發明內可交替使用「DSM」和「DSM影像」。
步驟220可包括獲得感興趣區域的DSM影像。例如，獲得一區域的DSM影像之步驟220可包括存取來自電腦可讀取媒體或電腦可讀取儲存裝置的感興趣區域DSM影像。針對另一個範例，獲得一區域的DSM影像之步驟220可包括從外部輸入，像是影像輸入120(將在所揭示系統內說明)，接收感興趣區域的DSM影像。影像輸入120可通訊連線至例如UAV 100、無人靶機、飛行器、直升機、氣球或衛星。換言之，獲得 一區域的DSM影像之步驟220可包括從UAV 100、無人靶機、飛行器、直升機、氣球或衛星接收感興趣區域的DSM影像。在某些具體實施例內，獲得一區域的DSM影像之步驟220可包括獲得該區域各部分的複數個DSM影像，並且組合或拼接(stitching)該區域各部分的複數個DSM影像，來獲得感興趣區域的DSM影像。例如，獲得一區域的DSM影像之步驟220可包括獲得該區域各部分的複數個DSM影像，並且識別與匹配該區域各部分的複數個DSM影像之不同特徵，來建立DSM影像配對之間的對應關係。獲得一區域的DSM影像之步驟220可進一步包括根據該已建立的該等DSM影像配對之間對應關係，來混合該區域各部分的複數個DSM影像，以獲得感興趣區域的DSM影像。
在某些具體實施例內，獲得一區域的DSM影像之步驟220可包括獲得一區域的複數個航拍影像、組合或拼接(stitching)該區域各部分的這些航拍影像來獲得該區域的航拍影像，以及將該區域的已拼接(stitching)航拍影像轉換成該區域的DSM影像。例如，獲得一區域的DSM影像之步驟220可包括接收一區域各部分的複數個航拍影像，並且拼接(stitching)該區域各部分的複數個航拍影像，來獲得第一圖內所示該區域的航拍影像。該區域各部分的這些航拍影像可關聯於該區域各部分的複數個DSM。換言之，該區域各部分的複數個航拍影像可對應於該區域各部分的複數個DSM。步驟220可包括根據該等航拍影像與該區域各部分的DSM間之對應關係，獲得對應至第一圖內該區域已拼接(stitching)航拍影像的第三圖內該區域之DSM影像。第三圖係根據所揭示具體實施例，說明對應至第一圖內該區域的該例示航拍影像，用於自動物體偵測的該區域一例示 DSM影像之圖式。
在某些具體實施例內，獲得該區域的DSM影像之步驟220可包括使用一或多個LiDAR感測器、即時DSM感測器、後生產DSM感測器、複數個該區域航拍影像的計算或這些的任意組合，來收集該區域或該區域各部分的DSM及/或航拍影像。在某些具體實施例內，獲得該區域的DSM影像之步驟220可包括通過使用上述感測器之一者及/或透過UAV 100、無人靶機、飛行器、直升機、氣球或衛星的相機，收集一區域或該區域各部分的DSM及/或航拍影像。在某些具體實施例內，獲得該區域的DSM影像之步驟220可進一步包括透過無線連接，像是藍牙、Wi-Fi、蜂巢式(例如GPRS、WCDMA、HSPA、LTE或更新世代的蜂巢式通訊系統)以及衛星連線或有線連接，像是USB線或光纖纜線，接收來自UAV 100、無人靶機、飛行器、直升機、氣球或衛星的該區域中DSM及/或航拍影像之已收集資料。
在某些具體實施例內，獲得該區域的DSM影像之步驟220可進一步包括獲得對應至該區域DSM影像的該區域一彩色航拍影像、獲得一目標物體的彩色航拍影像、根據該區域的彩色航拍影像以及該目標物體的色彩來識別該區域的一或多個子區域作為一或多個目標子區域。
例如，獲得一區域的DSM影像之步驟220可進一步包括獲得第一圖內該區域對應至第三圖內感興趣區域DSM影像的該RGB航拍影像。此外，獲得一區域的DSM影像之步驟220可進一步包括獲得一油棕櫚樹(該目標物體)的RGB航拍影像。再者，獲得一區域的DSM影像之步驟220 可進一步包括將綠色識別為該油棕櫚樹的特定原色。更進一步，獲得一區域的DSM影像之步驟220可進一步包括當該區域航拍影像的像素中個別G值大於個別R和B值，則將這些像素識別為油棕櫚樹的可能像素。例如，以下條件運算可用來檢查一像素是否識別為油棕櫚樹的可能像素：「If(Pixel.G>Pixel.R && Pixel.G>Pixel.B)Get Pixel」，其中的Pixel.R、Pixel.G和Pixel.B代表該像素的個別R、G和B位準。更進一步，獲得一區域的DSM影像之步驟220可進一步包括將特定數量的該油棕櫚樹相鄰可能像素識別為一目標子區域。
在某些具體實施例內，獲得一區域的DSM影像之步驟220可進一步包括識別該目標物體的一特定原色。例如，識別該目標物體的一特定原色之步驟220可包括比較該目標物體航拍影像像素之內個別R、G和B位準，並決定這些像素的代表性原色。此外，識別該目標物體的一特定原色之步驟220可進一步包括計算這些像素的代表性原色數量，並將像素的最大數量代表性原色識別為該目標物體的特定原色。例如，識別該目標物體的一特定原色之步驟220係可包括：當綠色為該油棕櫚樹航拍影像中具有最大數量像素的該代表性原色時，將該綠色識別為該油棕櫚樹的特定原色。
在某些具體實施例內，獲得一區域的DSM影像之步驟220可進一步包括增強該區域的DSM影像上一或多個目標子區域的影像對比。例如，增強該目標子區域對比之步驟220可包括利用直方圖等化，增強對應至該區域航拍影像中該已識別目標子區域的該區域DSM影像的該目 標子區域之對比。例如通過使用直方圖等化增強對比之步驟220可包括計算該等目標子區域像素的機率質量函數、根據灰階計算累積分佈函數(CDF，cumulative distributive function)值、用(灰階-1)乘上CDF值，並且將新灰階值映射至該等目標子區域的像素。增強對比之步驟220可包括：通過其他演算法增強對比，像是全域拉伸、非等向性擴散、非直線錐體技術、多尺度型態學技術、多解析度樣條(multi-resolution splines)、山叢集(mountain clustering)、視網膜皮層理論(retinex theory)、小波變換(wavelet transformations)、曲線變換(curvelet transformations)、k-sigma剪輯(k-sigma clipping)、模糊邏輯、遺傳演算法或貪心演算法。
步驟240可包括獲得目標物體的一DSM影像。第四圖係根據所揭示具體實施例，用於自動物體偵測的一例示目標物體種類之兩例示DSM影像圖式。例如，獲得一目標物體的DSM影像之步驟240可包括存取第四圖內來自電腦可讀取媒體或電腦可讀取儲存裝置的油棕櫚樹之DSM影像。針對另一個範例，獲得一目標物體的DSM影像之步驟240可包括從外部輸入，像是影像輸入120(將在所揭示系統內說明)，接收第四(a)圖內油棕櫚樹的DSM影像。針對另一個範例，獲得一目標物體的DSM影像之步驟240可包括從內部輸入，像是影像輸入120，接收一選擇信號。該選擇信號可包括將步驟220內該區域的DSM影像一部分識別為目標物體的DSM影像。例如，該選擇信號可包括將該區域的DSM影像上圍繞油棕櫚樹DSM影像的一區域識別為該目標物體，當使用者使用滑鼠游標、其手指或筆來選擇顯示畫面上該區域時。
在某些具體實施例內，獲得一目標物體的DSM影像之步驟240可包括存取或接收目標物體的複數個DSM影像，並且選擇其一當成目標物體的DSM影像。選擇該目標物體的DSM影像之步驟240可包括根據該目標物體的形狀，選擇該目標物體的DSM影像。例如，選擇該目標物體的DSM影像之步驟240可包括選擇形狀類似於大多數同一種目標物體的該目標物體之DSM影像。在某些具體實施例內，選擇該目標物體的DSM影像之步驟240可包括根據一目標物體的DSM影像之對比，選擇該目標物體的DSM影像。例如，選擇該目標物體的DSM影像之步驟240可包括選擇對比比其他物體都要好的該目標物體之DSM影像。在某些具體實施例內，獲得該目標物體的DSM影像之步驟240可包括獲得該目標物體一個以上的DSM影像。例如，獲得該目標物體的DSM影像之步驟240可包括分別根據該目標物體的形狀以及該目標物體的DSM影像之對比，獲得該目標物體的兩個DSM影像。
在某些具體實施例內，獲得該目標物體的DSM影像之步驟240可包括使用一或多個LiDAR感測器、即時DSM感測器、後生產DSM感測器、該區域複數個航拍影像的計算或這些的任意組合，來收集該目標物體的一或多個DSM及/或航拍影像。在某些具體實施例內，獲得該目標物體的DSM影像之步驟240可進一步包括使用上述感測器之一者及/或透過UAV 100、無人靶機、飛行器、直升機、氣球或衛星的相機，收集該目標物體的一或多個DSM及/或航拍影像。在某些具體實施例內，獲得該目標物體的DSM影像之步驟240可進一步包括透過無線連接，像是藍牙、Wi-Fi、蜂巢式(例如GPRS、WCDMA、HSPA、LTE或更新世代的蜂巢式通訊 系統)以及衛星連線或有線連接，像是USB線或光纖纜線，接收來自UAV 100、無人靶機、飛行器、直升機、氣球或衛星的該目標物體DSM及/或航拍影像。
在某些具體實施例內，獲得該目標物體的DSM影像之步驟240可包括獲得對應至目標物體中一或多個DSM影像的目標物體之一或多個航拍影像，並且根據該目標物體的形狀及/或該目標物體航拍影像的對比，選擇目標物體的一或多個DSM影像。
步驟260可包括根據步驟220和240內該區域與該目標物體的該DSM影像，偵測該區域內該目標物體。在某些具體實施例內，偵測該目標物體之步驟260可包括計算該目標物體的DSM影像與該區域的複數個DSM子影像間之配對率，並且根據該配對率決定該區域的一或多個DSM子影像當成該目標物體。例如，偵測該目標物體之步驟260可包括計算第四(a)圖內一油棕櫚樹的該DSM影像與來自第三圖內該區域DSM影像的該區域之複數個DSM子影像間之配對率。該區域的該等複數個DSM子影像可具有與該油棕櫚樹的該DSM影像相同或類似尺寸。例如，該區域的該等複數個DSM子影像之尺寸可為300x300像素，而第四(a)圖內該油棕櫚樹之該DSM影像可為300x300像素或類似尺寸。例如，該區域的該等複數個DSM子影像可包括該區域中該DSM影像的每1、2、5或10像素上300x300像素之子影像。換言之，偵測該目標物體之步驟260可包括利用每滑動1、2、5或10個像素時，比較該油棕櫚樹(T)的該範本DSM影像與該區域(I)的該DSM影像，例如，針對該區域的該DSM影像上該滑動之每一位 置(x,y)，該配對率R可計算如下：
Figure 106139705-A0305-02-0019-1
其中x’和y’代表該油棕櫚樹(T’)的該範本DSM影像以及該區域(I’)的該DSM子影像之內之像素位置。
第五圖係根據所揭示具體實施例，來自用於自動物體偵測的第三圖內該區域例示DSM影像與第四圖內該例示範本影像之間配對率例示計算的配對率例示影像之圖式。在第五圖內，一位置越亮，該位置是目標物體的可能性就越高。例如，第五圖內配對率的影像上之亮點可為感興趣區域內油棕櫚樹之位置。
在某些具體實施例內，計算配對率之步驟260可包括根據常規範本配對方法，像是平方差方法、歸一化平方差方法、互相關方法、歸一化互相關方法、相關係數法、歸一化相關係數法或其任何組合，來計算配對率。
在某些具體實施例內，決定該區域的DSM子影像作為目標物體之步驟260可包括當與該目標物體的該範本影像之配對率Rs高於一配對臨界值，像是該油棕櫚樹(T)的該範本DSM影像自配對率之80%、70%或60%時，將該區域的一或多個DSM子影像決定為該等油棕櫚樹。
在某些具體實施例內，偵測該目標物體之步驟260可包括降低步驟220與240內該區域和該目標物體的DSM影像之解析度，並根據該 區域與該目標物體的該解析度降低之DSM影像，來偵測該區域內該目標物體。例如，偵測該目標物體之步驟260可包括將第三圖內該區域以及第四(a)圖內該油棕櫚樹的DSM影像之解析度降低為原始解析度之0.1倍。偵測該目標物體之步驟260可進一步包括計算該油棕櫚樹的解析度降低之DSM影像與該區域的複數個解析度降低之DSM子影像間之配對率，並且根據該配對率決定該區域的一或多個DSM子影像當成該目標物體。
在某些具體實施例內，偵測該目標物體之步驟260可包括根據步驟220內該區域的DSM之影像以及步驟240內目標物體的一個以上影像，偵測該區域內該目標物體。例如，偵測該目標物體之步驟260可包括分別計算第四(a)圖和第四(b)圖內該等油棕櫚樹之兩DSM影像與該區域的複數個DSM子影像間之配對率，並且根據來自該等油棕櫚樹的兩DSM影像之該等配對率，將該區域的一或多個DSM子影像決定為該等油棕櫚樹。例如，偵測該目標物體之步驟260可包括計算根據步驟240內該目標物體的形狀所選取的一油棕櫚樹之DSM影像與該區域的複數個DSM子影像間之配對率。偵測該目標物體之步驟260也可包括計算根據步驟240內該影像對比所選取的一油棕櫚樹之另一個DSM影像與該區域的複數個DSM子影像間之配對率。偵測該目標物體之步驟260可進一步包括：當該區域的一或多個DSM子影像，與來自根據該目標物體形狀或影像對比所選擇一油棕櫚樹的範本DSM影像配對，其配對率高於一配對臨界值時，將該區域的該一或多個DSM子影像決定為該油棕櫚樹。針對另一個範例，決定該等油棕櫚樹之步驟260可包括：當該區域的一或多個DSM子影像，與來自根據該油棕櫚樹形狀與該油棕櫚樹影像對比所選擇一油棕櫚樹的該範本 DSM影像配對，其配對率高於一配對臨界值時，將該區域的該等一或多個DSM子影像決定為該油棕櫚樹。
在某些具體實施例內，將該區域的DSM子影像決定為該目標物體之步驟260包括根據以下兩標準之一或二者來決定該目標物體。在該區域的航拍影像上一距離(D1)之內，該區域的一或多個DSM子影像之配對率為最大。該區域的該等一或多個DSM子影像之高度比另一個距離(D2)之內最低位置之高度高出一高度臨界值(H1)。例如，決定該等油棕櫚樹之步驟260可包括當其配對率高於其他配對率2米之內(即D1=2米)，一油棕櫚樹航拍影像的例示半徑，則將該區域的一或多個DSM子影像決定為該油棕櫚樹。針對另一個範例，決定該等油棕櫚樹之步驟260可包括利用2.5米的例示高度臨界值(即H1=2.5米)，當其高度高於最低位置高度3米之內(即D 2 =3米)，就是一油棕櫚樹和該陸地同時存在的一單獨區域之例示半徑，則將該區域的一或多個DSM子影像決定為該油棕櫚樹。根據前述D 1 、D 2 和H 1 參數，可偵測高出地面2.5米的油棕櫚樹。根據其高度與分佈，可針對許多目標物體來調整這些因數。
在某些具體實施例內，步驟260可包括：根據步驟220內該區域的該已增強DSM影像以及該目標物體的該DSM影像，來偵測該區域內的該目標物體。例如，偵測該目標物體之步驟260可包括根據第四圖內該油棕櫚樹的一或二DSM影像，以及目標子區域已經在步驟220內識別並增強對比之該區域的該對比增強DSM影像，來偵測該區域內的該油棕櫚樹。
在某些具體實施例內，方法200可進一步包括獲取步驟260內所偵測的該等目標物體之一或多個位置。例如，獲取該等目標物體的位置可包括獲取第三圖內該區域的該DSM影像上所偵測到的該油棕櫚樹之該等位置。針對另一個範例，獲取該等目標物體的位置之步驟290可包括根據該區域的DSM影像與該區域的航拍影像之間對應關係，獲取在該區域航拍影像上所偵測到的該等油棕櫚樹之該等位置。第六圖係根據所揭示具體實施例，標記依照用於第二圖內自動物體偵測的該例示方法所偵測到該等例示目標物體的位置之該區域例示空拍影像圖式。在第六圖內，在該區域的航拍影像內將該等已偵測油棕櫚樹畫上紅圈。
在某些具體實施例內，步驟290可進一步包括在該區域航拍影像或地圖上顯示該已偵測目標物體之位置。例如，顯示該等已偵測物體之步驟290可包括將該等一或多個已偵測油棕櫚樹的位置顯示在該區域的航拍影像內，如第六圖內紅色圓圈所顯示。針對另一個範例，顯示該等已偵測目標物體之步驟290可包括根據該區域的DSM影像上與該區域的該地圖上(未顯示)之該等位置間之關聯性或對應關係，在該區域的地圖上顯示該等一或多個已偵測油棕櫚樹之位置。例如，該區域的DSM影像上一位置可關聯於一組經度、緯度以及海拔高度。步驟290可包括獲得該已偵測油棕櫚樹的經度、緯度與海拔高度之組合，並根據經度、緯度及/或海拔高度之該組合，在地圖上顯示該等已偵測油棕櫚樹。例如，顯示該等已偵測油棕櫚樹之步驟290可包括根據經度與緯度組合，在一地理資訊系統(Geographic Information System，GIS)地圖上顯示該等已偵測油棕櫚樹。針對另一個範例，顯示該等已偵測油棕櫚樹之步驟290可包括根據經 度、緯度與海拔高度的該組合，例如一3D GIS地圖，在一地圖上顯示該等已偵測之油棕櫚樹。
在某些具體實施例內，步驟290可進一步包括計算該等已偵測目標物體的數量。例如，計算該等已偵測目標物體之步驟290可包括計算第六圖內所示該等已偵測之油棕櫚樹。
第七圖係根據所揭示具體實施例，說明用於航拍影像中自動物體偵測的另一個例示方法700之流程圖。方法700可包括步驟220、240和260，並且可進一步包括：獲取對應至該區域的該DSM影像之該區域航拍影像(步驟710)；獲取該區域航拍影像上該等已偵測目標物體的一或多個位置(步驟720)；獲取該等已偵測目標物體的一或多個位置上或周圍之一或多個局部航拍影像(步驟730)；從該等一或多個局部航拍影像擷取一或多個紋理特徵，當成一或多個特徵向量(步驟740)；獲取複數個訓練資料(步驟750)；根據該等複數個訓練資料來訓練一分類器(步驟760)；根據該等一或多個特徵向量，由該受過訓練的分類器分類該等一或多個局部航拍影像(步驟770)；以及基於該等分類結果，辨識該等一或多個局部航拍影像之間的該等目標物體(步驟780)。該訓練資料可包括當成該等目標物體的同一種物體之複數個航拍影像。
步驟710可包括獲取該區域之航拍影像，其對應至步驟220內該區域DSM影像。例如，步驟710可包括獲取第一圖中感興趣區域之該航拍影像，其對應至第三圖內該感興趣區域的DSM影像。例如，獲取該區域的航拍影像之步驟710可包括存取來自電腦可讀取媒體或電腦可讀取 儲存裝置的感興趣區域之航拍影像。針對另一個範例，獲取該區域的航拍影像之步驟710可包括從外部輸入，像是影像輸入120(將在所揭示系統內說明)，接收該區域的該DSM影像。在某些具體實施例內，獲取該區域的航拍影像之步驟710可包括獲取該區域各部分的複數個航拍影像，並且組合或拼接(stitching)該區域各部分的該等複數個航拍影像，來獲得該區域的航拍影像。例如，獲取該區域的航拍影像之步驟710可包括獲取第一圖內該區域各部分的複數個航拍影像，並拼接(stitching)該區域各部分的該等複數個航拍影像，來獲得該感興趣區域的航拍影像。
在某些具體實施例內，獲得該區域的該航拍影像之步驟710可包括在許多色彩空間內獲取該區域的該航拍影像。例如，獲得該區域的該航拍影像之步驟710可包括獲得包含至少RGB(Red-Green-Blue，紅-綠-藍三原色)、灰階、HIS(Hue-Saturation-Intensity，色向-飽和度-強度)、L*a*b、多光譜空間或這些的任意組合之一者的色彩空間內該區域之該航拍影像。
在某些具體實施例內，獲得該區域的航拍影像之步驟710可包括使用一或多個LiDAR感測器、即時DSM感測器、後生產DSM感測器、該區域複數個航拍影像的計算或這些的任意組合，來收集該區域或該區域各部分的航拍影像。在某些具體實施例內，獲得該區域的航拍影像之步驟710可包括使用上述感測器之一者及/或透過UAV 100、無人靶機、飛行器、直升機、氣球或衛星的相機，收集該區域或該區域各部分的航拍影像。在某些具體實施例內，獲得該區域的航拍影像之步驟710可進一步包 括透過無線連接，像是藍牙、Wi-Fi、蜂巢式(例如GPRS、WCDMA、HSPA、LTE或更新世代的蜂巢式通訊系統)，以及衛星連線或有線連接，像是USB線或光纖纜線，接收來自UAV 100、無人靶機、飛行器、直升機、氣球或衛星的該區域中航拍影像之已收集資料。
步驟720可包括獲得該區域航拍影像上步驟260內該等已偵測之目標物體的一或多個位置。例如，獲取該等已偵測目標物體的位置之步驟720可包括根據該區域的DSM影像與該區域的航拍影像間之對應關係，獲取在第三圖內該區域DSM影像上該等已偵測油棕櫚樹之該等位置，並且獲取在第一圖內該區域航拍影像上該等已偵測油棕櫚樹之該等位置。換言之，獲取該已偵測目標物體的位置之步驟720可包括獲取第六圖內紅色圓圈，也就是該等已偵測油棕櫚樹，的位置。
步驟730可包括獲取該等已偵測目標物體的一或多個位置上或周圍之一或多個局部航拍影像。第八圖係根據所揭示具體實施例，依照用於第二圖內自動物體偵測的該例示方法，標記該等已偵測例示目標物體的位置之該區域例示空拍影像之部分放大圖式。例如，獲取該等局部航拍影像之步驟730可包括根據步驟720內獲取的該位置，從步驟710內該區域的航拍影像獲取第八圖內已偵測油棕櫚樹801、802、803上之300x300局部航拍影像。例如，獲取該等局部航拍影像之步驟730可包括將步驟720內已偵測位置當成該等300x300局部航拍影像的中心，獲取已偵測油棕櫚樹的300x300局部航拍影像。針對另一個範例，獲取該等局部航拍影像之步驟730可包括將步驟720內已偵測位置當成該等圓心，獲取已偵測油棕櫚 樹上圓形局部航拍影像。該已偵測油棕櫚樹的該圓形航拍影像之半徑可包括例如150個像素。該等已偵測目標物體的該等局部航拍影像之形狀可包括其他形狀，像是矩形、三角形或類似於該等目標物體形狀的其他形狀。
在某些具體實施例內，獲取該等局部航拍影像之步驟730可包括使用該等已偵測目標物體的該等位置當成原點，來建立一或多個座標，並且獲取這些原點周圍之一或多個300x300局部航拍影像。這些座標可用來代表或指稱該等已獲取的局部航拍影像。
在某些具體實施例內，獲取該等局部航拍影像之步驟730可包括獲取許多色彩空間內該等已偵測目標物體之一或多個位置上之一或多個局部航拍影像。例如，獲取該等局部航拍影像之步驟730可包括在像是RGB、灰階、HSI、L*a*b、多光譜空間或這些的任意組合之色彩空間內獲取該等已偵測油棕櫚樹的一或多個300x300局部航拍影像。例如，獲取該等局部航拍影像之步驟730可包括從步驟710中該等上述色彩空間內該區域的該航拍影像，獲取該等上述色彩空間內該已偵測油棕櫚樹的這些局部航拍影像。在某些具體實施例內，獲取該等局部航拍影像之步驟730可包括：獲取一色彩空間內之該等已偵測目標物體的一或多個局部航拍影像，並且將該色彩空間內該等已偵測目標物體的一或多個局部航拍影像轉換成另一個色彩空間內的相對部分。例如，獲取該等局部航拍影像之步驟730可包括獲取該等已偵測油棕櫚樹的一或多個RGB局部航拍影像，並將這些影像轉換成灰階相對部分。就另一個範例而言，獲取該等局部航拍影像之步驟730可包括獲取該等已偵測油棕櫚樹的一或多個RGB局部航拍影 像，並將這些影像轉換成HSI相對部分。
步驟740可包括從該等一或多個局部航拍影像中擷取一或多個紋理特徵，將其當成步驟260內該等已偵測目標物體的一或多個特徵向量。例如，擷取該等紋理特徵之步驟740可包括根據Gabor濾波器、灰度共生矩陣(Gray-Level Co-occurrence Matrix，GLCM)、局部二進位模式(Local Binary Pattern，LBP)、定向梯度直方圖(Histograms of Oriented Gradients，HOG)、第一階特徵描述、第二階特徵描述或其任意組合，擷取該等一或多個紋理特徵。擷取特徵之步驟740可包括利用上述方法擷取該等局部航拍影像的資訊與非冗餘特徵，以幫助步驟770內的後續分類。
在某些具體實施例內，擷取一或多個紋理特徵之步驟740可包括從一個色彩空間內至少該等一或多個局部航拍影像之一者，及/或另一個色彩空間內該等一或多個局部航拍影像，擷取該等一或多個紋理特徵。例如，擷取一或多個紋理特徵之步驟740可包括根據多區塊局部二進位模式(Multi-block Local Binary Pattern，MB-LBP)，從以灰階呈現的該已偵測油棕櫚樹的一或多個局部航拍影像中擷取該等一或多個紋理特徵。針對另一個範例，擷取一或多個紋理特徵之步驟740可包括根據Gabor濾波器，從以RGB呈現的該已偵測油棕櫚樹的一或多個局部航拍影像中擷取該等一或多個紋理特徵。針對另一個範例，擷取一或多個紋理特徵之步驟740可包括根據多區塊局部二進位模式(MB-LBP)，從以灰階和RGB兩者呈現的該已偵測油棕櫚樹的一或多個局部航拍影像中擷取該等一或多個紋理特徵。針對另一個範例，擷取一或多個紋理特徵之步驟740可包括 根據GLCM，從以灰階呈現的該已偵測油棕櫚樹的一或多個局部航拍影像擷取該等一或多個紋理特徵，並且根據HOG，從以L*a*b呈現的該已偵測油棕櫚樹的一或多個局部航拍影像擷取該等一或多個紋理特徵。
步驟750可包括獲得複數個訓練資料。該訓練資料可包括與該等目標物體相當的同類物體的複數個航拍影像。第九圖係根據所揭示具體實施例，可用來訓練例示分類器進行自動物體偵測的複數個例示訓練資料之圖式。例如，步驟750可包括獲得油棕櫚樹的複數個航拍影像，如第九(a)圖內所示，當成該訓練資料。在某些具體實施例內，步驟750可進一步包括獲得非目標物體的複數個航拍影像，如第九(b)圖內所示，當成該訓練資料的一部分。例如，獲得該訓練資料之步驟750可包括存取來自電腦可讀取媒體或電腦可讀取儲存裝置的該訓練資料。針對另一個範例，獲得該訓練資料之步驟750可包括從外部輸入，像是影像輸入120(將在所揭示系統內說明)，接收該訓練資料。
步驟760可包括根據步驟750內該等複數個訓練資料來訓練一分類器。分類器為使用模式配對來決定最接近配對之函數，可依照訓練資料來調整。訓練資料可包括觀察結果或模式，例如在監督學習(supervised learning)當中，每個模式都屬於特定預定等級。等級可視為要做的決策。所有與觀察結果之等級標籤結合之觀察結果都被稱為資料集。當已接收新的觀察結果時，則根據先前的經驗來分類該觀察結果。例如，訓練該分類器之步驟760可包括利用第九圖內油棕櫚樹以及非目標物體的訓練資料，訓練至少一支援向量機(Support Vector Machine，SVM)分類器、人造神 經網路(Artificial Neural Network，ANN)分類器、決策樹分類器、貝式分類器(Bayes classifier)、或其任意組合之一者。針對另一個範例，訓練該分類器之步驟760可包括利用含有第九(a)圖內油棕櫚樹以及隨機產生的非目標物體的訓練資料，訓練至少一支援向量機(SVM)分類器、人造神經網路(ANN)分類器、決策樹分類器、Bayes分類器、或其任意組合之一者。
步驟770可包括根據步驟740內該等一或多個特徵向量，利用步驟760內的該已訓練之分類器來分類步驟730內的該等一或多個局部航拍影像。例如，分類該等局部航拍影像之步驟770可包括根據由步驟740內Gabor濾波器與GLCM所擷取的該等一或多個特徵向量，利用步驟760內該已訓練之SVM分類器，來分類步驟730內該已偵測油棕櫚樹的該等一或多個局部航拍影像。針對另一個範例，分類該等局部航拍影像之步驟770可包括根據由步驟740內LBP與HOG所擷取的該等一或多個特徵向量，利用步驟760內該已訓練ANN分類器，來分類步驟730內該已偵測油棕櫚樹的該等一或多個局部航拍影像。針對另一個範例，分類該等局部航拍影像之步驟770可包括根據由步驟740內Gabor濾波器、GLCM、LBP與HOG所擷取的該等一或多個特徵向量，利用步驟760內該已訓練之ANN分類器，來分類步驟730內該已偵測油棕櫚樹的該等一或多個局部航拍影像。方法700可包括上述紋理擷取演算法與該等分類器的任意組合。
分類器的分類結果可包括兩種結果或多種結果。例如，當根據該已偵測油棕櫚樹的一局部航拍影像之特徵向量，將其分類為第九(a) 圖內相同種類物體時，則一SVM分類器可輸出「0」。當根據該已偵測油棕櫚樹的一局部航拍影像之特徵向量，將其分類為第九(b)圖內相同種類物體時，則一SVM分類器可輸出「1」。第十圖係根據所揭示具體實施例，依照用於第七圖內自動物體偵測的該例示方法，在該等已偵測目標物體的位置上標示該分類結果之該區域例示空拍影像之部分放大圖式。將在位置1001、1002、1003上用粉色圓圈標記的局部航拍影像分類為該等目標油棕櫚樹。將在位置1016、1017、1018上用藍色圓圈標記的局部航拍影像分類為該等非目標物體。
步驟780可包括基於該等分類結果，辨識該等一或多個局部航拍影像之間的該等目標物體。例如，辨識該等目標物體之步驟780可包括根據步驟770內的分類結果，在步驟730內該等已偵測油棕櫚樹的該等一或多個局部航拍影像之間辨識出該等油棕櫚樹。例如，第十圖內已偵測油棕櫚樹1001、1002、1003的該等局部航拍影像可分類為與第九(a)圖內相同物體，並且從該SVM分類器對這些的輸出全都為「0」。因此，辨識該等目標物體之步驟780可包括根據其分類結果「0」，將已偵測油棕櫚樹1001、1002、1003的該等局部航拍影像辨識為該等目標油棕櫚樹。例如，第十圖內已偵測油棕櫚樹1016、1017、1018的該等局部航拍影像可分類為與第九(b)圖內相同物體，並且從該SVM分類器對這些的輸出全都為「1」。因此，辨識該等目標物體之步驟780可包括根據其分類結果「1」，將已偵測油棕櫚樹1016、1017、1018的該等局部航拍影像辨識為該等非目標物體。
在某些具體實施例內，方法700可進一步包括一步驟790， 其獲取步驟780內該等已辨識目標物體之一或多個位置。例如，獲取該等已辨識目標物體的位置之步驟790可包括獲取該區域航拍影像上已辨識油棕櫚樹1001、1002、1003之位置。在第十圖內，在該區域航拍影像以粉色圓圈標記該等已辨識油棕櫚樹，而圖中在該區域航拍影像以藍色圓圈標記該等已辨識非目標物體。獲取該等已辨識目標物體的位置之步驟790可包括獲取該區域航拍影像內以粉色圓圈標記的該等已辨識油棕櫚樹之位置。
在某些具體實施例內，步驟790可進一步包括在該區域航拍影像或地圖上顯示該已辨識目標物體之一或多個位置。例如，顯示該等已辨識目標物體之步驟790可包括在該區域航拍影像上顯示一或多個已辨識油棕櫚樹1001、1002、1003之位置。就另一個範例而言，顯示該等已辨識目標物體之步驟790可包括根據該區域的航拍影像上與該區域的該地圖上(未顯示)之該等位置間之關聯性或對應關係，在該區域的地圖上顯示該等一或多個已辨識油棕櫚樹之位置。例如，該區域的航拍影像上一位置可關聯於一組經度、緯度以及海拔高度。在某些具體實施例內，顯示該等已辨識目標物體之步驟790可包括獲得該已辨識之油棕櫚樹的經度、緯度與海拔高度之組合，並根據經度、緯度及/或海拔高度之該組合，在地圖上顯示該等已辨識之油棕櫚樹。例如，顯示該等已辨識油棕櫚樹之步驟790可包括根據經度與緯度組合，在一地理資訊系統(GIS)地圖上顯示該等已辨識油棕櫚樹。針對另一個範例，顯示該等已辨識油棕櫚樹之步驟790可包括根據經度、緯度與海拔高度的該組合，在地圖上，例如在3D GIS地圖上，顯示該等已辨識油棕櫚樹。
在某些具體實施例內，步驟790可包括計算該等已辨識目標物體的數量。例如，步驟790可包括計算該等已辨識油棕櫚樹。
第十一圖係根據所揭示具體實施例，依照用於第七圖內自動物體偵測的該例示方法，標記該等已正確偵測和辨識的例示目標物體位置之該區域例示空拍影像之部分放大圖式。當該等目標物體的地面真像(Ground Truth)資訊可用時，則可評估上述物體偵測方法的準確率(accuracy)。第十一圖內的白色圓圈1101、1102、1103為例示正確偵測並辨識的油棕櫚樹。
第十二圖係根據所揭示具體實施例，依照用於第七圖內自動物體偵測的該例示方法，在該等已偵測和已分類例示目標物體位置上標記該分類結果之該區域例示空拍影像圖式。在圖式中，將用粉色圓圈標記的局部航拍影像辨識為該等目標油棕櫚樹，而用藍色圓圈標記的局部航拍影像分類為該等非目標物體。在一個具體實施例內，當採用MB-LBP進行特徵擷取且影像的地面取樣距離為3公分時，來自航拍影像的物體偵測的精確率與召回率(precision and recall)分別可達90.6%和83.4%。
本發明的另一個態樣涉及利用一或多個積體電路、一或多個場可程式閘陣列、執行指令實現該方法的一或多個處理器或控制器或上述任意組合，執行航拍影像中物體偵測之方法。該方法可包括但不受限於所有上述方法及具體實施例。在某些具體實施例內，前述方法或具體實施例內的部分步驟可遠端或分開執行。在某些具體實施例內，該方法可由一或多個分散式系統來執行。
仍舊是本發明的另一個態樣涉及一種用於偵測航拍影像中物體之系統。第十三圖係根據所揭示具體實施例，說明用於航拍影像中自動物體偵測的例示系統400之方塊圖。自動物體偵測系統400可包括設置成獲得一區域DSM影像的一航拍影像單元410、設置成獲得一目標物體DSM影像的一目標影像單元420，以及設置成根據該區域與該目標物體的DSM影像來偵測該區域內該目標物體之一偵測單元430。
航拍影像單元410可包括適當種類的硬體，像是積體電路與場可程式閘陣列，或軟體，像是可在一處理器或控制器上執行的指令集、子程式或函數(即一函數程式)，來執行上述步驟220內的操作。航拍影像單元410可設置成獲得一區域的一DSM影像。在某些具體實施例內，航拍影像單元410可通訊連結至一影像輸入120。影像輸入120可將上述許多影像輸入提供給航拍影像單元410。例如，影像輸入120可從UAV 100、無人靶機、飛行器、直升機、氣球或衛星接收該區域的航拍影像、該區域的DSM及/或該區域的DEM，並且將該區域的這些影像、DSM及/或DEM傳輸至航拍影像單元410。在某些具體實施例內，航拍影像單元410也可通訊連結至一偵測單元430。航拍影像單元410可設置成將該區域的DSM影像以及該區域或該區域各部分的航拍影像提供給偵測單元430。在某些具體實施例內，航拍影像單元410也可通訊連結至一目標影像單元420。航拍影像單元410可設置成將來自影像輸入120的該等已接收之目標影像傳送至目標影像單元420。
目標影像單元420可包括適當種類的硬體，像是積體電路與 場可程式閘陣列，或軟體，像是可在一處理器或控制器上執行的指令集、子程式或函數(即一函數程式)，來執行上述步驟240內的操作。目標影像單元420可設置成獲得一目標物體的一DSM影像。在某些具體實施例內，目標影像單元420也可通訊連結至一使用者介面140。目標影像單元420可設置成接收來自使用者介面140的目標影像。在某些具體實施例內，目標影像單元420可設置成接收來自使用者介面140的該等目標影像之選擇。在某些具體實施例內，目標影像單元420也可通訊連結至偵測單元430。目標影像單元420可設置成將目標影像傳送至偵測單元430，用於物體偵測。
偵測單元430可包括適當種類的硬體，像是積體電路與場可程式閘陣列，或軟體，像是可在一處理器或控制器上執行的指令集、子程式或函數(即一函數程式)，來執行步驟260內的上述操作。偵測單元430可設置成根據來自航拍影像單元410和目標影像單元420的該區域與該目標物體之DSM影像，偵測該區域內該目標物體。在某些具體實施例內，偵測單元430可設置成獲取該等已偵測目標物體的一或多個位置，如上述步驟290內的操作。在某些具體實施例內，偵測單元430也可通訊連結至一顯示器160。偵測單元430可設置成在顯示器160上之該區域航拍影像或地圖上顯示該等已偵測目標物體之一或多個位置，如上述步驟290內的操作。在某些具體實施例內，偵測單元430可設置成計算該等已偵測目標物體的數量，如上述步驟290內的操作。在某些具體實施例內，偵測單元430也可通訊連結至一輸出180。偵測單元430可設置成將計算出來的該等已偵測目標物體數量傳送至輸出180。
在某些具體實施例內，自動物體偵測系統400可包括航拍影像單元410、目標影像單元420、偵測單元430、定位單元440、局部航拍影像單元450、擷取單元460以及分類與辨識單元470。
航拍影像單元410可進一步設置成獲得對應至該區域中該DSM影像的該區域之該航拍影像，如上述步驟710內的操作。
定位單元440可包括適當種類的硬體，像是積體電路與場可程式閘陣列，或軟體，像是可在一處理器或控制器上執行的指令集、子程式或函數(即一函數程式)，來執行上述步驟720內的操作。定位單元440可進一步設置成獲取該區域航拍影像上該等已偵測目標物體的一或多個位置。在某些具體實施例內，定位單元440可通訊連結至偵測單元430。定位單元440可設置成接收來自偵測單元430的該等已偵測目標物體，並獲取該區域航拍影像上該等已偵測目標物體的一或多個位置。在某些具體實施例內，定位單元440也可通訊連結至局部航拍影像單元450。定位單元440可設置成將該等已偵測目標物體的位置傳送至局部航拍影像單元450。在某些具體實施例內，定位單元440也可通訊連結至分類與辨識單元470。定位單元440可設置成將該等已偵測目標物體之已獲取位置傳送至分類與辨識單元470。
局部航拍影像單元450可包括適當種類的硬體，像是積體電路與場可程式閘陣列，或軟體，像是可在一處理器或控制器上執行的指令集、子程式或函數(即一函數程式)，來執行步驟730內的上述操作。局部航拍影像獲取單元可設置成獲取該等已偵測目標物體的一或多個位置上 一或多個局部航拍影像。在某些具體實施例內，局部航拍影像單元450也可通訊連結至偵測單元430。局部航拍影像單元450可設置成接收來自偵測單元430的該區域之該等已偵測目標物體及/或航拍影像。在某些具體實施例內，局部航拍影像單元450也可通訊連結至擷取單元460。局部航拍影像單元450可設置成將該等已偵測目標物體的一或多個位置上之已獲取之局部航拍影像傳送至擷取單元460。在某些具體實施例內，局部航拍影像單元450也可通訊連結至分類與辨識單元470。局部航拍影像單元450可設置成將該等已偵測目標物體的一或多個位置上之已獲取之局部航拍影像傳送至分類與辨識單元470。
擷取單元460可包括適當種類的硬體，像是積體電路與場可程式閘陣列，或軟體，像是可在一處理器或控制器上執行的指令集、子程式或函數(即一函數程式)，來執行步驟740內的上述操作。擷取單元460可設置成從該等一或多個局部航拍影像擷取一或多個紋理特徵，當成一或多個特徵向量。在某些具體實施例內，擷取單元460也可通訊連結至局部航拍影像單元450。擷取單元460可設置成接收來自局部航拍影像單元450的該等已偵測目標物體中一或多個位置上之已獲取之局部航拍影像。在某些具體實施例內，擷取單元460也可通訊連結至使用者介面140。擷取單元460可設置成接受來自使用者介面140的擷取演算法之使用者輸入或選擇。在某些具體實施例內，擷取單元460也可通訊連結至分類與辨識單元470。擷取單元460可設置成將該等已擷取一或多個特徵向量傳送至分類與辨識單元470。
分類與辨識單元470可包括適當種類的硬體，像是積體電路與場可程式閘陣列，或軟體，像是可在一處理器或控制器上執行的指令集、子程式或函數(即一函數程式)，來執行步驟750、760、770與780內的上述操作。在某些具體實施例內，分類與辨識單元470也可通訊連結至使用者介面140。分類與辨識單元470可設置成從使用者介面140獲得複數個訓練資料。在某些具體實施例內，分類與辨識單元470也可通訊連結至定位單元440。分類與辨識單元470可設置成接收來自定位單元440的該等已偵測目標物體之已獲取位置。在某些具體實施例內，分類與辨識單元470也可通訊連結至局部航拍影像單元450。分類與辨識單元470可設置成接收來自局部航拍影像單元450的該等已偵測目標物體中一或多個位置上之已獲取之局部航拍影像。在某些具體實施例內，分類與辨識單元470也可通訊連結至擷取單元460。分類與辨識單元470可設置成接收來自擷取單元460的該等已擷取一或多個特徵向量。
分類與辨識單元470可設置成獲得複數個訓練資料，該訓練資料包括當成該目標物體的相同種類物體之複數個航拍影像。分類與辨識單元470可進一步設置成根據該等複數個訓練資料來訓練一分類器。分類與辨識單元470可進一步設置成根據該等一或多個特徵向量，由該受過訓練的分類器分類該等一或多個局部航拍影像。分類與辨識單元470可進一步設置成基於該等分類結果，辨識該等一或多個局部航拍影像之間的該等目標物體。
在某些具體實施例內，分類與辨識單元470可進一步設置成 獲取該等已辨識之目標物體的一或多個位置，如上述步驟790內的操作。在某些具體實施例內，分類與辨識單元470也可通訊連結至顯示器160。分類與辨識單元470可設置成在顯示器160上該區域航拍影像或地圖上顯示該等已辨識目標物體之一或多個位置，如上述步驟790內的操作。在某些具體實施例內，分類與辨識單元470可設置成計算該等已偵測目標物體的數量，如上述步驟790內的操作。在某些具體實施例內，分類與辨識單元470也可通訊連結至一輸出180。分類與辨識單元470可設置成將計算出來的該等已辨識目標物體數量傳送至輸出180。
精通技術人士將了解，可對用於偵測航拍影像內物體之所揭示方法及系統進行許多修改以及變化。從用於偵測航拍影像內物體之所揭示方法及系統之規格與實踐考量中，精通技術人士也可了解其他具體實施例。在此所考量的說明書與範例都僅為範例，本發明確切的範圍都列示於下列專利申請範圍及其相等項內。

Claims (42)

  1. 一種儲存指令之非暫態電腦可讀取媒體，當執行時會導致一或多個處理器執行偵測航拍影像內物體之操作，該操作包括：獲得一區域的數值地表模型(DSM)影像；獲得一或多個目標物體的一DSM影像；以及根據該區域以及該一或多個目標物體的所述DSM影像，來偵測一該區域內之目標物體。
  2. 如申請專利範圍第1項之非暫態電腦可讀取媒體，其中根據該一或多個目標物體的形狀或對比，或根據其形狀與對比的組合，來獲得該一或多個目標物體的該DSM影像。
  3. 如申請專利範圍第1項之非暫態電腦可讀取媒體，其中該操作進一步包括：在偵測該區域內之目標物體之前，降低該區域以及該一或多個目標物體的該DSM影像之解析度。
  4. 如申請專利範圍第1項之非暫態電腦可讀取媒體，其中獲得該區域的該DSM影像進一步包括：在該區域的該DSM影像上識別一或多個目標子區域；增強該一或多個目標子區域的對比；以及其中偵測該區域內之目標物體包括：根據該區域的該已增強DSM影像以及該一或多個目標物體的該DSM影像，偵測該區域內之目標物體。
  5. 如申請專利範圍第4項之非暫態電腦可讀取媒體， 其中識別該一或多個目標子區域包括：獲得對應至該區域中該DSM影像的該區域之一彩色航拍影像，以及該一或多個目標物體的一彩色航拍影像；根據該區域的該彩色航拍影像以及該一或多個目標物體的該彩色航拍影像，識別該一或多個目標子區域。
  6. 如申請專利範圍第1項之非暫態電腦可讀取媒體，其中偵測該區域內之目標物體進一步包括：計算該一或多個目標物體的該DSM影像與該區域的一或多個DSM子影像間之配對率；以及根據該配對率，決定該區域的該一或多個DSM子影像作為該區域內之目標物體。
  7. 如申請專利範圍第6項之非暫態電腦可讀取媒體，其中決定該區域的該一或多個DSM子影像為該區域內之目標物體，包括根據以下至少之一來決定：在一第一距離之內，該區域的該一或多個DSM子影像之該配對率為最大；或該區域的該一或多個DSM子影像之高度比一第二距離之內該最低位置之高度高出一高度臨界值。
  8. 如申請專利範圍第1項之非暫態電腦可讀取媒體，其中獲得該區域的該DSM影像包括：利用一無人航拍機、無人靶機、飛行器、直升機、氣球或衛星來收集該區域的該DSM；以及 接收來自該無人航拍機、無人靶機、飛行器、直升機、氣球或衛星的該區域之該DSM。
  9. 如申請專利範圍第1項之非暫態電腦可讀取媒體，其中該操作進一步包括：獲取所述已偵測目標物體的一或多個位置。
  10. 如申請專利範圍第1項之非暫態電腦可讀取媒體，其中該操作進一步包括：計算所述已偵測目標物體的數量。
  11. 如申請專利範圍第1項之非暫態電腦可讀取媒體，其中該操作進一步包括：獲取該一或多個已偵測目標物體上的一或多個局部航拍影像；獲得一分類器；利用該分類器分類該一或多個局部航拍影像；以及根據所述分類結果，在該一或多個局部航拍影像之間辨識所述目標物體。
  12. 如申請專利範圍第11項之非暫態電腦可讀取媒體，其中獲得一分類器進一步包括：獲取複數個訓練資料；以及根據所述訓練資料訓練該分類器。
  13. 如申請專利範圍第12項之非暫態電腦可讀取媒體，其中該複數個訓練資料包括：所述目標物體的同種類物體之一或多個航拍影像；以及 非目標物體的一或多個航拍影像。
  14. 如申請專利範圍第13項之非暫態電腦可讀取媒體，其中分類該一或多個局部航拍影像進一步包括：擷取來自該一或多個局部航拍影像的一或多個特徵向量；以及根據該一或多個特徵向量，分類該一或多個局部航拍影像。
  15. 如申請專利範圍第14項之非暫態電腦可讀取媒體，其中擷取該一或多個特徵向量包括：根據Gabor濾波器、灰度共生矩陣(GLCM)、局部二進位模式(LBP)、定向梯度直方圖(HOG)、第一階特徵描述、第二階特徵描述或其任意組合來擷取。
  16. 如申請專利範圍第11項之非暫態電腦可讀取媒體，其中在一第一色彩空間內獲取該一或多個局部航拍影像，並轉換進入一第二色彩空間。
  17. 如申請專利範圍第14項之非暫態電腦可讀取媒體，其中獲取該一或多個局部航拍影像包括：獲取一第一色彩空間內該一或多個局部航拍影像；以及將該第一色彩空間內的該一或多個局部航拍影像轉換成一第二色彩空間內一或多個局部航拍影像，以及其中擷取該一或多個特徵向量包括從至少以下之一者擷取：該第一色彩空間內該一或多個局部航拍影像；或 該第二色彩空間內該一或多個局部航拍影像。
  18. 如申請專利範圍第17項之非暫態電腦可讀取媒體，其中該第一和第二色彩空間包括RGB、灰階、HSI、L*a*b、多光譜空間或其任意組合。
  19. 如申請專利範圍第11項之非暫態電腦可讀取媒體，其中獲取該一或多個局部航拍影像包括：獲得該區域各部分的複數個航拍影像；拼接(stitching)該區域各部分的該複數個航拍影像，以獲得該區域的該航拍影像；以及從該區域的該航拍影像獲取該一或多個局部航拍影像。
  20. 如申請專利範圍第11項之非暫態電腦可讀取媒體，其中該分類器包括一支援向量機(SVM)分類器、一人造神經網路(ANN)分類器、一決策樹分類器、一貝式分類器或其任意組合。
  21. 一種利用一或多個積體電路、一或多個場可程式閘陣列、執行指令實現該方法的一或多個處理器或控制器或上述任意組合，執行航拍影像中物體偵測之方法，該方法包括：獲得一區域的數值地表模型(DSM)影像；獲得一或多個目標物體的一DSM影像；以及根據該區域以及該一或多個目標物體的所述DSM影像，來偵測一該區域內之目標物體。
  22. 如申請專利範圍第21項之方法，其中根據該一或多個目標物體的形狀或對比，或根據其形狀與對比 的組合，來獲得該一或多個目標物體的該DSM影像。
  23. 如申請專利範圍第21項之方法，進一步包括：在偵測該區域內之目標物體之前，降低該區域以及該一或多個目標物體的該DSM影像之解析度。
  24. 如申請專利範圍第21項之方法，其中獲得該區域的該DSM影像進一步包括：在該區域的該DSM影像上識別一或多個目標子區域；增強該一或多個目標子區域的該對比；以及其中偵測該區域內之目標物體包括：根據該區域的該已增強DSM影像以及該一或多個目標物體的該DSM影像，偵測該區域內之目標物體。
  25. 如申請專利範圍第24項之方法，其中識別該一或多個目標子區域包括：獲得對應至該區域中該DSM影像的該區域之一彩色航拍影像，以及該一或多個目標物體的一彩色航拍影像；根據該區域的該彩色航拍影像以及該一或多個目標物體的該彩色航拍影像，識別該一或多個目標子區域。
  26. 如申請專利範圍第21項之方法，其中偵測該區域內之目標物體進一步包括：計算該一或多個目標物體的該DSM影像與該區域的一或多個DSM子影像間之配對率；以及根據該配對率，決定該區域的該一或多個DSM子影像作為 該區域內之目標物體。
  27. 如申請專利範圍第26項之方法，其中決定該區域的該一或多個DSM子影像作為該區域內之目標物體包括根據以下之至少一來決定：在一第一距離之內，該區域的該一或多個DSM子影像之該配對率為最大；或該區域的該一或多個DSM子影像之高度比一第二距離之內該最低位置之高度高出一高度臨界值。
  28. 如申請專利範圍第21項之方法，其中獲得該區域的該DSM影像包括：利用一無人航拍機、無人靶機、飛行器、直升機、氣球或衛星來收集該區域的該DSM；以及接收來自該無人航拍機、無人靶機、飛行器、直升機、氣球或衛星的該區域之該DSM。
  29. 如申請專利範圍第21項之方法，進一步包括：獲取所述已偵測目標物體的一或多個位置。
  30. 如申請專利範圍第21項之方法，進一步包括：計算所述已偵測目標物體的數量。
  31. 如申請專利範圍第21項之方法，進一步包括：獲取該一或多個已偵測目標物體上的一或多個局部航拍影像；獲得一分類器；利用該分類器分類該一或多個局部航拍影像；以及 基於所述分類結果，辨識該一或多個局部航拍影像之間的所述目標物體。
  32. 如申請專利範圍第31項之方法，其中獲得一分類器進一步包括：獲取複數個訓練資料；以及根據所述訓練資料訓練該分類器。
  33. 如申請專利範圍第32項之方法，其中該複數個訓練資料包括：所述目標物體的同種類物體之一或多個航拍影像；以及非目標物體的一或多個航拍影像。
  34. 如申請專利範圍第33項之方法，其中分類該一或多個局部航拍影像進一步包括：擷取來自該一或多個局部航拍影像的一或多個特徵向量；以及根據該一或多個特徵向量，分類該一或多個局部航拍影像。
  35. 如申請專利範圍第34項之方法，其中擷取該一或多個特徵向量包括：根據Gabor濾波器、灰度共生矩陣(GLCM)、局部二進位模式(LBP)、定向梯度直方圖(HOG)、第一階特徵描述、第二階特徵描述或其任意組合來擷取。
  36. 如申請專利範圍第31項之方法， 其中在一第一色彩空間內獲取該一或多個局部航拍影像，並轉換進入一第二色彩空間。
  37. 如申請專利範圍第34項之方法，其中獲取該一或多個局部航拍影像包括：獲取一第一色彩空間內該一或多個局部航拍影像；以及將該第一色彩空間內的該一或多個局部航拍影像轉換成一第二色彩空間內一或多個局部航拍影像，以及其中擷取該一或多個特徵向量包括從至少以下之一者擷取：該第一色彩空間內該一或多個局部航拍影像；或該第二色彩空間內該一或多個局部航拍影像。
  38. 如申請專利範圍第37項之方法，其中該第一和第二色彩空間包括RGB、灰階、HSI、L*a*b、多光譜空間或其任意組合。
  39. 如申請專利範圍第31項之方法，其中獲取該一或多個局部航拍影像包括：獲得該區域各部分的複數個航拍影像；拼接(stitching)該區域各部分的該複數個航拍影像，以獲得該區域的該航拍影像；以及從該區域的該航拍影像獲取該一或多個局部航拍影像。
  40. 如申請專利範圍第31項之方法，其中該分類器包括一支援向量機(SVM)分類器、一人造神經網路(ANN)分類器、一決策樹分類器、一貝式分類器或其任意組合。
  41. 一種偵測航拍影像中物體之系統，該系統包括：一航拍影像單元，其獲得一區域的一DSM影像；一目標影像單元，其獲得一或多個目標物體的一DSM影像；以及一偵測單元，其根據該區域以及該一或多個目標物體的所述DSM影像，來偵測一該區域內之目標物體；其中該航拍影像單元通訊連結至該目標影像單元；其中該航拍影像單元通訊連結至該偵測單元。
  42. 如申請專利範圍第41項之系統，進一步包括：一局部航拍影像單元，其獲取該一或多個已偵測目標物體上之一或多個局部航拍影像；一分類與辨識單元，其：獲得一分類器；利用該分類器分類該一或多個局部航拍影像；以及基於所述分類結果，辨識該一或多個局部航拍影像之間的所述目標物體；其中該局部航拍影像單元通訊連結至該偵測單元；其中該局部航拍影像單元通訊連結至該分類與辨識單元。
TW106139705A 2016-12-02 2017-11-16 偵測航拍影像內物體之非暫態電腦可讀取媒體及系統，以及航拍影像中物體偵測之方法 TWI684164B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/367,975 2016-12-02
US15/367,975 US10546195B2 (en) 2016-12-02 2016-12-02 Methods and systems for automatic object detection from aerial imagery

Publications (2)

Publication Number Publication Date
TW201828253A TW201828253A (zh) 2018-08-01
TWI684164B true TWI684164B (zh) 2020-02-01

Family

ID=62243227

Family Applications (2)

Application Number Title Priority Date Filing Date
TW106139705A TWI684164B (zh) 2016-12-02 2017-11-16 偵測航拍影像內物體之非暫態電腦可讀取媒體及系統，以及航拍影像中物體偵測之方法
TW107144190A TWI709109B (zh) 2016-12-02 2017-11-16 偵測航拍影像內物體之非暫態電腦可讀取媒體及系統，以及航拍影像中物體偵測之方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
TW107144190A TWI709109B (zh) 2016-12-02 2017-11-16 偵測航拍影像內物體之非暫態電腦可讀取媒體及系統，以及航拍影像中物體偵測之方法

Country Status (7)

Country Link
US (1) US10546195B2 (zh)
JP (2) JP6771449B2 (zh)
CN (1) CN108154082B (zh)
HK (1) HK1255087A1 (zh)
MY (1) MY198109A (zh)
PH (1) PH12017000344A1 (zh)
TW (2) TWI684164B (zh)

Families Citing this family (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101751020B1 (ko) * 2015-12-08 2017-07-11 한국해양과학기술원 다중 위성 기반 위험유해물질 연속 탐지 방법 및 장치
EP3440428B1 (en) * 2016-04-08 2022-06-01 Orbital Insight, Inc. Remote determination of quantity stored in containers in geographical region
NL2016718B1 (en) * 2016-05-02 2017-11-10 Cyclomedia Tech B V A method for improving position information associated with a collection of images.
CN110402456B (zh) * 2017-02-28 2023-06-23 株式会社OPTiM 异常检测系统、异常检测方法以及存储介质
US10460431B2 (en) * 2018-01-15 2019-10-29 Otis Elevator Company Part recognition and damage characterization using deep learning
US10691944B2 (en) * 2018-05-21 2020-06-23 The Boeing Company Geo-registering an aerial image by an object detection model using machine learning
US10775174B2 (en) * 2018-08-30 2020-09-15 Mapbox, Inc. Map feature extraction system for computer map visualizations
US11428817B2 (en) * 2018-10-11 2022-08-30 Baidu Usa Llc Automatic LIDAR calibration based on cross validation for autonomous driving
TWI684925B (zh) * 2018-10-17 2020-02-11 新漢智能系統股份有限公司 自動建立物件辨識模型的方法
US11144758B2 (en) 2018-11-15 2021-10-12 Geox Gis Innovations Ltd. System and method for object detection and classification in aerial imagery
KR102275572B1 (ko) * 2018-12-21 2021-07-09 한국전자통신연구원 이종 고도 항공영상을 이용한 3차원 지형정보 정합 방법 및 장치
KR102318522B1 (ko) * 2018-12-31 2021-10-29 한국전자통신연구원 수치표고모델을 이용한 3차원 가상 환경 저작 시스템 및 그것의 동작 방법
US11049404B2 (en) * 2019-02-06 2021-06-29 Motorola Mobility Llc Methods and systems for unmanned aircraft monitoring in response to Internet-of-things initiated investigation requests
KR102038141B1 (ko) * 2019-02-18 2019-11-26 아주대학교산학협력단 부동산 정보를 제공하는 방법, 이를 이용하는 서버 및 시스템
JP7114082B2 (ja) * 2019-03-20 2022-08-08 株式会社アクセルスペース 情報処理装置、情報処理方法及びプログラム
CN109975780B (zh) * 2019-04-17 2022-12-06 西安电子工程研究所 基于脉冲多普勒雷达时域回波的直升机型号识别算法
CN110120056B (zh) * 2019-05-21 2021-08-10 闽江学院 基于自适应直方图阈值和轮廓检测的血液白细胞分割方法
US11228501B2 (en) * 2019-06-11 2022-01-18 At&T Intellectual Property I, L.P. Apparatus and method for object classification based on imagery
TWI760782B (zh) * 2019-07-08 2022-04-11 國立臺灣大學 用於地理區域上果園辨識之系統及方法
US11323890B2 (en) 2019-07-10 2022-05-03 At&T Intellectual Property I, L.P. Integrated mobility network planning
TWI709921B (zh) * 2019-08-27 2020-11-11 騰擎科研創設股份有限公司 物體辨識系統及方法
CN110598619B (zh) * 2019-09-06 2023-04-07 中国农业科学院农业资源与农业区划研究所 一种利用无人机影像进行果树识别和计数的方法和系统
CN112189202A (zh) * 2019-09-17 2021-01-05 深圳市大疆创新科技有限公司 基于机器视觉的树木识别方法及装置
CN110910403A (zh) * 2019-11-16 2020-03-24 厦门梓蔓生物科技有限公司 一种基于图像处理的工业大麻种子计数方法
KR102314038B1 (ko) * 2019-12-18 2021-10-19 한국항공우주연구원 인공 신경망 기반으로 광학적 항법을 위하여 특이 영역을 결정하는 방법, 온보드 맵 생성 장치, 및 착륙선의 방향을 결정하는 방법
TWI785436B (zh) * 2019-12-20 2022-12-01 經緯航太科技股份有限公司 自航拍影像偵測物體之系統、偵測航拍影像內物體之方法及其非暫態電腦可讀取媒體
EP3839804A1 (en) * 2019-12-20 2021-06-23 KWS SAAT SE & Co. KGaA Method and system for automated plant image labeling
JP7271413B2 (ja) * 2019-12-26 2023-05-11 エヌ・ティ・ティ・コムウェア株式会社 物体検出装置および物体検出方法
JP7236377B2 (ja) * 2019-12-26 2023-03-09 エヌ・ティ・ティ・コムウェア株式会社 物体検出装置および物体検出方法
US11222245B2 (en) * 2020-05-29 2022-01-11 Raytheon Company Systems and methods for feature extraction and artificial decision explainability
US11587249B2 (en) 2020-09-24 2023-02-21 Eagle Technology, Llc Artificial intelligence (AI) system and methods for generating estimated height maps from electro-optic imagery
US11302071B1 (en) * 2020-09-24 2022-04-12 Eagle Technology, Llc Artificial intelligence (AI) system using height seed initialization for extraction of digital elevation models (DEMs) and related methods
US11747468B2 (en) 2020-09-24 2023-09-05 Eagle Technology, Llc System using a priori terrain height data for interferometric synthetic aperture radar (IFSAR) phase disambiguation and related methods
US11238307B1 (en) 2020-09-24 2022-02-01 Eagle Technology, Llc System for performing change detection within a 3D geospatial model based upon semantic change detection using deep learning and related methods
CN112541876B (zh) * 2020-12-15 2023-08-04 北京百度网讯科技有限公司 卫星图像处理方法、网络训练方法、相关装置及电子设备
WO2022169679A1 (en) * 2021-02-03 2022-08-11 Spark Insights, Inc. Damage detection and image alignment based on polygonal representation of objects
WO2022200948A1 (en) * 2021-03-21 2022-09-29 B.G. Negev Technologies & Applications Ltd. Palm tree mapping
TWI764635B (zh) * 2021-03-22 2022-05-11 江俊昇 具被遮蔽區域地面模型建立之方法
JP2023042205A (ja) 2021-09-14 2023-03-27 株式会社島津製作所 対象物検出装置
CN114926753B (zh) * 2022-06-16 2023-10-13 无锡慧眼人工智能科技有限公司 一种海量图像条件下的快速目标场景信息提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120218409A1 (en) * 2011-02-24 2012-08-30 Lockheed Martin Corporation Methods and apparatus for automated assignment of geodetic coordinates to pixels of images of aerial video
TW201243764A (en) * 2011-04-28 2012-11-01 Univ Nat Central Orthoimage color correction method using multiple aerial images
US8655070B1 (en) * 2009-11-04 2014-02-18 Google Inc. Tree detection form aerial imagery
US20150125092A1 (en) * 2013-04-12 2015-05-07 Qualcomm Incorporated Near infrared guided image denoising
CN104820830A (zh) * 2015-05-08 2015-08-05 南京林业大学 一种基于全波形LiDAR冠层剖面模型的树种识别方法

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7212670B1 (en) 2002-05-03 2007-05-01 Imagetree Corp. Method of feature identification and analysis
JP4004332B2 (ja) * 2002-05-22 2007-11-07 株式会社パスコ 森林情報処理システム
US8737720B2 (en) 2003-04-30 2014-05-27 Deere & Company System and method for detecting and analyzing features in an agricultural field
JP2005308553A (ja) * 2004-04-21 2005-11-04 Topcon Corp 三次元画像計測装置及び方法
US20050276443A1 (en) 2004-05-28 2005-12-15 Slamani Mohamed A Method and apparatus for recognizing an object within an image
JP4339289B2 (ja) * 2005-07-28 2009-10-07 Ｎｅｃシステムテクノロジー株式会社 変化判定装置、変化判定方法および変化判定プログラム
US7310606B2 (en) 2006-05-12 2007-12-18 Harris Corporation Method and system for generating an image-textured digital surface model (DSM) for a geographical area of interest
JP4378571B2 (ja) 2007-05-31 2009-12-09 Ｎｅｃシステムテクノロジー株式会社 地図変化検出装置、地図変化検出方法およびプログラム
US8229163B2 (en) * 2007-08-22 2012-07-24 American Gnc Corporation 4D GIS based virtual reality for moving target prediction
US8427505B2 (en) * 2008-11-11 2013-04-23 Harris Corporation Geospatial modeling system for images and related methods
CN102246159A (zh) * 2008-12-09 2011-11-16 通腾北美有限公司 产生测地参考数据库产品的方法
JP5464915B2 (ja) * 2009-06-09 2014-04-09 三菱電機株式会社 対象物検出装置及び対象物検出方法
JP5384316B2 (ja) * 2009-12-24 2014-01-08 株式会社パスコ 変位計測装置、変位計測方法、及び変位計測プログラム
CN102222235A (zh) * 2010-04-14 2011-10-19 同济大学 基于对象集成高度信息的面向对象的高光谱分类处理方法
JP5642561B2 (ja) * 2011-01-11 2014-12-17 株式会社パスコ 家屋異動判読支援装置、家屋異動判読支援方法及び家屋異動判読支援プログラム
US20140362082A1 (en) * 2011-05-03 2014-12-11 Google Inc. Automated Overpass Extraction from Aerial Imagery
WO2013071981A1 (en) * 2011-11-18 2013-05-23 Metaio Gmbh Method of matching image features with reference features and integrated circuit therefor
WO2013126784A2 (en) * 2012-02-23 2013-08-29 Huston Charles D System and method for creating an environment and for sharing a location based experience in an environment
US9041711B1 (en) * 2012-05-08 2015-05-26 Google Inc. Generating reduced resolution textured model from higher resolution model
US20140300736A1 (en) * 2013-04-09 2014-10-09 Microsoft Corporation Multi-sensor camera recalibration
JP6347061B2 (ja) 2013-12-27 2018-06-27 国際航業株式会社 計測結果の整合性判定方法、及び計測結果の整合性判定装置
JP6200826B2 (ja) 2014-02-12 2017-09-20 株式会社パスコ 林相解析装置、林相解析方法及びプログラム
US10089766B2 (en) * 2014-03-28 2018-10-02 Konica Minolta Laboratory U.S.A., Inc Method and system of stitching aerial data using information from previous aerial images
US9177214B1 (en) * 2014-04-10 2015-11-03 Xerox Corporation Method and apparatus for an adaptive threshold based object detection
US20160063516A1 (en) * 2014-08-29 2016-03-03 The Nielsen Company (Us), Llc Methods and apparatus to estimate commercial characteristics based on geospatial data
CN104237887B (zh) * 2014-09-29 2016-10-05 中国测绘科学研究院 一种sar遥感影像匹配方法
SE542194C2 (en) * 2014-10-30 2020-03-10 Icomera Ab Wireless communication system for trains using voice over wifi (vowifi)
US9367743B1 (en) * 2014-12-16 2016-06-14 Vricon Systems Aktiebolag Method and system for classifying a terrain type in an area
JP6904249B2 (ja) * 2015-03-19 2021-07-14 日本電気株式会社 オブジェクト検出装置、オブジェクト検出方法およびプログラム
AU2016315938B2 (en) * 2015-08-31 2022-02-24 Cape Analytics, Inc. Systems and methods for analyzing remote sensing imagery
JP6577347B2 (ja) * 2015-11-20 2019-09-18 株式会社東芝 情報伝達装置、情報伝達方法およびプログラム
SE540352C2 (en) * 2016-01-29 2018-07-24 Icomera Ab Wireless communication system and method for trains and other vehicles using trackside base stations
SE539532C2 (en) * 2016-01-29 2017-10-10 Icomera Ab Wireless communication system and method for trains and other vehicles using trackside base stations
KR102630227B1 (ko) * 2016-07-21 2024-01-29 한화비전 주식회사 감시 데이터 제공 시스템 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8655070B1 (en) * 2009-11-04 2014-02-18 Google Inc. Tree detection form aerial imagery
US20120218409A1 (en) * 2011-02-24 2012-08-30 Lockheed Martin Corporation Methods and apparatus for automated assignment of geodetic coordinates to pixels of images of aerial video
TW201243764A (en) * 2011-04-28 2012-11-01 Univ Nat Central Orthoimage color correction method using multiple aerial images
US20150125092A1 (en) * 2013-04-12 2015-05-07 Qualcomm Incorporated Near infrared guided image denoising
CN104820830A (zh) * 2015-05-08 2015-08-05 南京林业大学 一种基于全波形LiDAR冠层剖面模型的树种识别方法

Also Published As

Publication number Publication date
US10546195B2 (en) 2020-01-28
US20180157911A1 (en) 2018-06-07
TW201921316A (zh) 2019-06-01
JP2018092628A (ja) 2018-06-14
CN108154082A (zh) 2018-06-12
CN108154082B (zh) 2021-10-29
TW201828253A (zh) 2018-08-01
HK1255087A1 (zh) 2019-08-02
JP6771449B2 (ja) 2020-10-21
JP7113044B2 (ja) 2022-08-04
MY198109A (en) 2023-08-03
JP2020144922A (ja) 2020-09-10
TWI709109B (zh) 2020-11-01
PH12017000344A1 (en) 2018-07-30

Similar Documents

Publication Publication Date Title
TWI684164B (zh) 偵測航拍影像內物體之非暫態電腦可讀取媒體及系統，以及航拍影像中物體偵測之方法
US10699119B2 (en) Methods and systems for automatic object detection from aerial imagery
Aquino et al. Automated early yield prediction in vineyards from on-the-go image acquisition
US10614562B2 (en) Inventory, growth, and risk prediction using image processing
Kitpo et al. Early rice disease detection and position mapping system using drone and IoT architecture
Vakalopoulou et al. Building detection in very high resolution multispectral data with deep learning features
US9805293B2 (en) Method and apparatus for object recognition in image processing
US20220245792A1 (en) Systems and methods for image quality detection
JP6866095B2 (ja) 学習装置、画像識別装置、学習方法、画像識別方法及びプログラム
JP7142420B2 (ja) 画像処理装置、学習方法、学習済モデル、画像処理方法
US11804025B2 (en) Methods and systems for identifying topographic features
Polewski et al. Detection of single standing dead trees from aerial color infrared imagery by segmentation with shape and intensity priors
Lee et al. Automatic recognition of flower species in the natural environment
EP3857449A1 (en) Apparatus and method for three-dimensional object recognition
Xiang et al. Measuring stem diameter of sorghum plants in the field using a high-throughput stereo vision system
TWI785436B (zh) 自航拍影像偵測物體之系統、偵測航拍影像內物體之方法及其非暫態電腦可讀取媒體
CN111339953B (zh) 一种基于聚类分析的薇甘菊监测方法
WO2019212501A1 (en) Trained recognition models
KR20220168875A (ko) 인공지능을 이용하여 벼 도복 피해면적을 산정하는 장치 및 방법
Hamzah et al. Drone Aerial Image Identification of Tropical Forest Tree Species Using the Mask R-CNN
De Ocampo et al. Radial greed algorithm with rectified chromaticity for anchorless region proposal applied in aerial surveillance
Sharma et al. Object-Based Image Analysis of Hyper Spectral Imagery Using Semantic Segmentation Techniques
Dhiravidachelvi et al. A DEEP LEARNING ALGORITHM FOR AUTOMATIC DETECTION OF LEAF DEFICIENCY AND DISEASE OCCURRENCE
CN114155281A (zh) 一种无人机目标跟踪自动初始化方法
CA3062657A1 (en) Apparatus and method for three-dimensional object recognition