TWI820395B - 用於產生物件之三維（３ｄ）點雲的方法、用於３ｄ點集產生及對準之系統及相關機器可讀媒體 - Google Patents

Abstract

主題係關於產生一3D點雲及將該3D點雲對準至地球表面(有時被稱作「地理定位」)。一種方法可包括：藉由無人駕駛載具(UV)捕獲表示物件之各別重疊子區段的影像資料；將該等重疊子區段彼此對準；以及對對準之重疊子區段進行地理定位。

Description

用於產生物件之三維(3D)點雲的方法、用於3D點集產生及對準之系統及相關機器可讀媒體

優先權主張

本申請案主張2020年2月11日申請之美國臨時申請案第62/975,016號的權益，該申請案以全文引用之方式併入本文中。

發明領域

本文中所描述之一些實施例大體上係關於產生三維(3D)測繪及將所產生之3D測繪對準至表面。

發明背景

產生3D點雲可為資源密集的。點雲之產生可包括搜集二維(2D)影像(例如，衛星影像、地面影像(自地面上之攝影機拍攝的影像)或其間的高程)及執行攝影測量(photogrammetry)，執行光偵測及測距(LIDAR)掃描，人類產生電腦輔助設計(CAD)圖或其類似者。此等技術中之各者具有相關聯的困難、容限及資源要求，此可為成本或資源過高的。

依據本發明之一實施例，係特地提出一種用於產生一物件之一三維(3D)點雲的方法，該方法包含：藉由無人駕駛載具(UV)捕獲表示該物件之各別重疊子區段的影像資料；將該等重疊子區段彼此對準；以及對對準之重疊子區段進行地理定位。

102:輸入/3D點集

102A:第一3D點集

102B:第二3D點集

104:影像或視訊

106:光偵測及測距(LIDAR)掃描

108:三維(3D)電腦輔助繪圖(CAD)模型

110:衛星影像

112:其他資料/其他源

114:處理電路系統

116,118,120,702,704,706,1002,1004,1006,1008,1010,1012,1014,1102,1104,1106:操作

122:比例

124:旋轉

126:平移

128:對準之3D點雲/合併之3D點雲

212,214,216,218,220,808:連結點

224:x值

226:y值

228:z值

230:後設資料

232:源指標

234:源參考向量

236:源資料/敏感源資料元素

300:用於3D點雲產生之系統

330,332,334,336:無人駕駛飛行載具(UAV)

338:分岔線

340:物件

400:用於產生對準之3D點雲的系統

440:3D測繪排程器

442:協同3D物件測繪操作

444:3D點雲

446:3D點雲資料庫(DB)

502:體積之部分

504:測繪之實例指派

600:用於3D點雲產生及地理對準之系統

602:操作者

604:待測繪之地理區

700:方法/用於3D點雲之對準的技術

800:用於3D點集對準及合併之系統

810:連結點誤差

812:第一或第二點集誤差

814:條件點集誤差操作

816:誤差矩陣/共變異數矩陣

818:捆集調整操作

822:合併之3D點集誤差

902,904,906:3D資料集

908,910,912:第一影像觀測點

914:第一相關聯地面點

916,918,920:第二影像觀測點

922:第二相關聯地面點

924:參考座標系

1100:用於3D點集產生及對準之方法

1200:電腦系統

1202:處理器

1204:主記憶體

1206:靜態記憶體

1208:匯流排

1210:顯示裝置

1212:文數字輸入裝置

1214:使用者介面(UI)導航裝置

1216:磁碟機單元

1218:信號產生裝置

1220:網路介面裝置

1222:機器可讀媒體

1224:指令及資料結構

1226:通訊網路

1230:無線電

在未必按比例繪製之圖式中，相似數字在不同視圖中可描述類似組件。具有不同字母後綴之相似數字可表示類似組件之不同例項。一些實施例作為實例而非作為限制而說明於隨附圖式之諸圖中。

圖1作為實例說明用於諸如具有誤差傳播之3D點雲對準的技術之實施例的概念性方塊圖。

圖2作為實例說明執行處理電路系統之操作的技術之實施例的圖。

圖3作為實例說明用於3D點雲產生之協同系統的實施例之概念性方塊圖。

圖4作為實例說明用於產生對準之3D點雲的系統之實施例的圖。

圖5作為實例說明正由UAV測繪之體積的實施例之圖。

圖6作為實例說明用於3D點雲產生及地理對準之系統的實施例之圖。

圖7作為實例說明可輔助對3D點雲進行地理定位之操作的實施例之圖。

圖8作為實例說明用於3D點集對準及合併之系統800的實施例。

圖9說明地面點座標估計

與對應3D資料集觀測點

之間的關係之實施例的實例圖。

圖10說明捆集調整(bundle adjustment)操作之實施例的實例。

圖11作為實例說明用於3D點集產生及對準之方法的實施例之圖。

圖12作為實例說明呈電腦系統之實例形式的機器之實施例的方塊圖，在該電腦系統內可執行用於使機器執行本文中所論述之方法中之任何一或多者的指令。

較佳實施例之詳細說明

實施例之態樣係關於改善點雲產生或點雲至地球或其他表面之地理定位的對準。

圖1作為實例說明用於諸如具有誤差傳播之3D點雲對準的技術之實施例的概念性方塊圖。圖1之系統包括提供至處理電路系統114之輸入102。處理電路系統114產生呈3D點雲128之形式的輸出。輸入102可包括以下各者中之一或多者：影像或視訊104、光偵測及測距(LIDAR)掃描106、三維(3D)電腦輔助繪圖(CAD)模型108、衛星影像110或其他資料112。在被提供至處理電路系統114之前，可將輸入102處理成二個或多於二個3D點雲。

影像、視訊104可包括紅色、綠色、藍色(RGB)、紅外線(IR)、黑色及白色、灰度或其他強度影像。影像、視訊104可包括視訊，該視訊包含圖框。可對影像、視訊104之資料執行攝影測量以便產生3D點雲中之一者。

攝影測量可包括對二維(2D)影像執行幾何捆集調整，以將2D影像之幾何形狀彼此對準。捆集調整可將該等影像中之一影像的幾何形狀調整為與該等影像中之其他影像的幾何形狀一致。幾何形狀可定義於後設資料中，諸如藉由使用有理多項式係數(RPC)。其他影像對準技術為可能的。舉例而言，可將先前不與3D點雲相關聯之2D影像對準至3D點雲。可識別各2D影像與3D點雲之間的連結點(tie point)。可藉由使用仿射變換來調整各2D影像之幾何形狀以匹 配3D點雲。

可藉由運用雷射光照明目標及運用感測器量測反射光來產生LIDAR掃描104。雷射返回時間及波長之差異可接著用以製作3D點雲中之一或多者。此係因為此等差異可用以判定至物件之距離，光係自該物件反射且返回至感測器。LIDAR 3D點雲常常不具有強度資訊。對於LIDAR狀況及其他狀況，用來自覆蓋同一感興趣區域之影像的強度或色彩資料對3D點雲進行屬性化可為有用的。在本文中別處提供關於此點之進一步論述。

CAD模型108為人類設計(例如，在具有或不具有電腦輔助之情況下)的2D或3D模型，諸如建築物之藍圖。CAD模型108由幾何參數定義且可易於由人類使用電腦進行調整。

衛星影像110包括由一或多個衛星之一或多個攝影機在高空產生的影像。衛星影像提供地理定位之天底或近天底視圖。天底視圖屬於天球上處於觀測者正下方之點(例如，球體上最接近觀測者之點)。

其他源112可包括其他人為量測結果(例如，熱成像)、電腦輔助量測結果或可用以產生地理區之3D點雲的其他資料。

處理電路系統114可包括經組配以實施將3D點雲彼此對準之操作的硬體、軟體、韌體或其組合。硬體可包括經組配以電氣信號以指示操作之結果的一或多個電氣或電子組件。電氣或電子組件可包括經電氣耦接以執行操作之一或多個電晶體、電阻器、電容器、二極體、電感器、開關、邏輯閘(例如，「及」(AND)、「或」(OR)、「互斥或」(XOR)、取反、緩衝或其類似者)、多工器、電源供應器、調節器、類比至數位或數位至類比轉換器、放大器、處理器(例如，特殊應用積體電路(ASIC)、場可規劃閘陣列(FPGA)、圖形處理單元(GPU)、中央處理單元(CPU)或其類似者)，或其類似者。

用於3D點雲對準之操作可包括在操作116處之2D/3D點雲轉換 及正規化、在操作118處之3D點雲地理對準及在操作120處之3D點雲融合及自適應性濾波。下文更詳細地論述此等操作。

一般而言，操作118可包括判定待對準之3D點雲之間的比例122因數調整、旋轉124調整及平移126調整。操作118可包括使用迭代的、正規化之交叉共變異數技術，該技術最小化連結點、地面控制點(GCP)或其類似者之間的最小平方差。下文更詳細地論述此情形。對準之結果為繼承3D點雲輸入中之最佳誤差(最小誤差)的對準之3D點雲128。同樣，下文提供更多細節。

圖2作為實例說明執行處理電路系統114之操作118的技術之實施例的圖。如先前所提及，更多細節可見於下文中。一般而言，可識別各種3D點雲輸入之間的連結點212、214、216、218。在圖2之實例中，3D點雲包括LIDAR掃描106；CAD模型108；影像、視訊104；及衛星影像110。可使用更多或更少3D點雲。連結點212、214、216、218為對應於同一地理定位之資料點。舉例而言，結構之拐角、高高程點或其類似者可成為良好的連結點。連結點212、214、216、218可用以判定如何調整待對準以產生3D點雲128之對應3D點雲。連結點220對應於連結點212、214、216、218之對準定位。

在執行操作118時，可執行對準點222及用以產生對準點222之對應資料的計量(accounting)。對準點222可包括x值224、y值226、z值228、後設資料230及源指標232。後設資料230可包括指示供判定對準點222之資料源(例如，影像、視訊104；LIDAR掃描106；CAD模型108或衛星影像110等)之源參考向量234以及彼等源之源資料236。

實施圖1或圖2之技術的系統、裝置或方法可經由多源、多模態3D點雲內嵌及融合來提供混合、多源、多解析度3D點雲建立及富集。圖1或圖2之技術可提供藉由組合稀疏3D點雲與密集3D點雲，組合低解析度3D點雲與高解析度3D點雲或其類似者來建立更全面(相較於先前技術)、多解析度3D 混合點雲的能力。圖1或圖2之技術可提供諸如藉由使用另一3D點雲來填充3D點雲之缺失區段的能力。

圖1及圖2之技術可提供運用來自其他定位相關2D及3D資料源之高保真度資料替換或擴增雜訊/低品質3D點雲區段的能力。圖1及圖2之技術可提供經由多3D點雲交叉相關及驗證來偵測誤差及校正3D點雲的能力。所得混合3D點雲可經由後設資料保留資料源譜系，該資料源譜系允許使用者利用來自融合源之後設資料(例如，像素色彩及強度、物件分類及尺寸)。

圖1及圖2之技術提供可輔助避障及規劃複雜測繪操作之混合3D點雲導出定位智慧(例如，場景或環境條件(例如，電力線或電話線、可能無法由無人駕駛飛行載具(UAV)或無人駕駛地面載具(UGV)之機上感測器偵測到的輻射區域)中之永久或靜止物件的偵測、定位及分類)。圖1及圖2之技術可提供合併諸如資料源之可信度或分類等級之融合準則的能力。

圖1及圖2之技術提供使用者可控制濾波及準則，諸如資料源之分類等級或資料源之可信度、品質或存留期。圖1及圖2之技術提供控制在所得混合3D點雲中包括或排除哪些區域(例如，建築物內之房間)及/或物件的能力。諸圖之技術提供將其他量測結果(例如，溫度、輻射、雜訊位準、濕度)鏈接至所得混合3D點雲中之各資料點(例如，經由圖形、多維陣列、散列表、辭典或鏈接清單表示)。

可擴展的混合雲源向量222允許所得混合3D點雲亦將非敏感(例如，未分類)及敏感(例如，分類)點雲資料儲存於同一雲中。舉例而言，可藉由控制源資料向量222之可見性或對混合點雲之敏感源資料元素236進行加密來實行混合點雲存取控制。

圖3作為實例說明用於3D點雲產生之系統300的實施例之概念性方塊圖。舉例而言，使用系統300產生之3D點雲可用作處理電路系統114之 輸入102。如所說明之系統300包括具有成像裝置(由分岔線338指示)之無人駕駛飛行載具(UAV)330、332、334、336。成像裝置可包括強度或非強度成像裝置。強度成像裝置之實例包括RGB、灰度、黑色及白色、紅外線或另一攝影機。非強度成像裝置之實例包括LIDAR或其類似者。UAV 330、332、334、336可經規劃以捕獲物件340或感興趣地理區之影像資料。UAV 330、332、334、336可協作地捕獲物件340之足夠影像資料以產生物件340之3D點雲。

本文中關於UAV所呈現之概念不限於無人機/UAV收集資料。概念亦可應用於UGV、無人駕駛船舶及手動/人類驅動的資料及收集方法。

圖4作為實例說明用於產生對準之3D點雲128的系統400之實施例的圖。如所說明之系統400包括：3D測繪排程器440、協同3D物件測繪操作442、來自UAV 330、332、334、336之3D點雲444、3D點雲資料庫(DB)446、處理電路系統114及對準之3D點雲128(後二者均來自圖1)。

3D測繪排程器440可命令UAV 330、332、334、336執行何些任何及何時執行該等任務。3D測繪排程器440可在使命已開始之後改變任務或執行任務之時間。UAV 330、332、334、336可獨立地通訊及更改任務或時序。UAV 330、332、334、336可為自主或半自主的。

3D測繪排程器440可向UAV 330、332、334、336提供任務，該任務包括待模型化之地理區、待產生之模型的解析度、待用於產生模型之技術(例如，彩色影像、衛星影像、輻射或溫度掃描、LIDAR等)或執行任務時之一或多個時間約束。UAV 330、332、334、336可操作以滿足由排程器440提供之排程及約束。雖然說明為集中式單元，但排程器440無需為集中式單元。排程器可跨越多個資源(例如，UAV)而分散且在本端/機載(例如，作為代理程式)運行以提供分散式動態排程器。此實施可包括UAV 330、332、334、336在其自身之間通訊及規劃任務。

UAV 330、332、334、336之此等操作為協同3D物件測繪操作442之部分。3D測繪操作442之結果可為來自UAV之3D點雲444。如先前所論述，論述係關於UAV，但亦適用於其他有人駕駛或無人駕駛載具，諸如地面、水上、空中載具或其組合。

3D點雲444可儲存於點雲資料庫446中。點雲資料庫446可包括記憶體裝置，該記憶體裝置用於儲存一或多個點雲，諸如3D點雲444或對準之點雲128。可將來自UAV 330、332、334、336之3D點雲444提供至處理電路系統114。處理電路系統114可將點雲444對準以產生對準之點雲128。

圖5作為實例說明正由UAV(諸如，UAV 330、332、334、336中之三者)測繪的體積之實施例的圖。當前，部分地測繪如在502處所指示之體積的部分。體積之體素或子區段上的不同圖案指示哪一UAV已測繪子區段(若UAV已測繪該子區段)。排程器440或UAV 330、332、334、336可基於多種準則(例如，物件優先級、速度、成本、距離、可用感測器、所需掃描解析度、剩餘飛行時間/電池壽命、UAV健康狀態等)而判定哪一UAV將測繪當前未成像之子區段。在504處提供測繪之實例指派。

圖1至圖5之一或多個實施例的優點可包括以下各者中之一或多者：使用二個或多於二個自主、半自主或人為控制無人機之群集來使得能夠對感興趣物件(例如，建築物、隧道或其他物件)進行協同、並行、由內而外及由外而內的3D測繪；提供利用預先存在之3D點雲及經由其他手段(例如，CAD模型、攝影測量)產生之3D點雲以加速測繪程序的能力，從而防止複製工作，提高容錯能力及/或降低成本；產生可包括多解析度3D點雲之融合3D點雲；提供協同測繪及混合3D點雲建立程序，其支援基於使用者可定義準則(例如，自測繪排除地下室、指定解析度、指定時間範圍、指定技術或其類似者)之動態濾波；使用預先指派或藉由動態排程器在執行階段指派之使命規劃器高效地委派測繪目 標/感興趣區域；提供動態排程器，其使得能夠回應於改變之測繪目標、環境條件、或無人機健康狀態(例如，電池組狀態、感測器或馬達故障、資料儲存約束、天氣條件改變或其類似者)而對測繪目標進行特別的重新任務分派；提供利用自主測繪無人機之群集解決方案，此係因為無人機可基於多種準則或條件(例如，故障無人機之任務自動地重新指派給另一合格的無人機)而協商/自組織且潛在地交易其3D測繪指派/目標；測繪優先級/次序之改變；自動選擇最接近目標區域之無人機；自動選擇具有最快或最合格感測器酬載之無人機；基於無人機之健康狀態(例如，剩餘電池壽命或儲存量、最強下行鏈路信號或其類似者)進行選擇；提供將3D禁飛區及禁區定義合併於使命規劃及排程中之能力；提供明確地將任務分派給無人機或允許自主機上決策制訂(例如，基於使命目標及/或當前條件及定位)在感測器(例如，Lidar、IR或高清晰度(HD)攝影機)之間自適應性地切換，接通及斷開感測器且在飛行中調整取樣速率以加速測繪，最佳化儲存量利用率，加速機上分析，延長飛行時間/電池壽命或減少電子簽章的能力；提供在3D測繪規劃器、動態排程器及平台即時飛行控制系統中之無人駕駛交通管理(UTM)系統(例如，聯邦航空管理局(FAA)、Airmap)中進行鏈接的能力，以避免侵犯領空及與其他飛機及無人駕駛系統碰撞；提供在多個階段中對大面積或複雜物件進行3D測繪的能力(例如，首先使用測量無人機來快速產生感興趣區域之粗略低解析度3D點雲，接著使用地理空間分份技術來細分所得3D模型(例如，細分成樓層、體積、開口(窗、門)、體素或區段)，且接著向測量無人機分派任務以探索粗略/快速掃描產生之3D模型內的某些區域/子區段(依序或並行地))；或提供3D分治法，從而使得能夠進行並列的多無人機及優先級驅動式3D探索及測繪。

圖6作為實例說明用於3D點雲產生及地理對準之系統600的實施例之圖。如所說明之系統600包括操作者602、UAV 330及待測繪之地理區604。操作者602可操作UAV 330，或UAV 330可自主地或半自主地操作以產生 地理區604之影像資料。在一些情況下，UAV 330可具有向UAV 330告知其相對於地球表面之定位的全球定位系統(GPS)或其類似者。在此等情況下，GPS座標可用以將3D資料對準至地球表面。然而，在其他情況下，UAV 330不具有此系統。應注意，不必在整個飛行中皆具有GPS資料。飛行之一部分的GPS資料可用以對準來自整個飛行之資料。當UAV不具有定位系統時，一些其他技術可用以將使用來自UAV 330之影像資料產生的3D點雲對準至地球表面。關於圖7中所提供之方法700來提供其他技術之操作。應注意，並非圖7之所有操作皆為需要的，或甚至在所有情形中皆為有用的。

圖7作為實例說明用於3D點雲之對準的技術700之實施例的圖。用於由UAV 330產生之3D點雲之對準的技術700可包括在操作702處，操作者602提供UAV 330之開始定位及駕駛方向。操作702為有幫助的，諸如在區域之俯瞰影像或區域之3D點雲不可用時。可使用羅盤、計算裝置或其類似者判定駕駛方向及開始定位。駕駛方向及開始定位可包括相關聯之估計誤差。此資料可用以將影像資料對準至地球表面。使用此技術，初始駕駛方向及開始定位可用以使剩餘3D點與地球表面上之點相關聯。

用於由UAV 330產生之3D點雲之對準的技術700可包括在操作704處，飛行至指定高度及拍攝開始定位之天底或近天底影像。操作704為有幫助的，諸如在區域之俯瞰影像或3D點雲可用時。俯瞰影像常常包括有時被稱作有理多項式係數(RPC)之後設資料，其詳述俯瞰影像之像素在地球上的定位。可接著將由UAV 330捕獲之影像對準(使用例如影像片之正規化交叉相關)至可用俯瞰影像。在一些實施例中，UAV 330可執行LIDAR掃描且在高程處拍攝影像。在操作706處，可使此資料與俯瞰影像相關聯以判定開始定位。

可利用誤差(例如，線性誤差或圓誤差或其組合)傳播來執行地理定位對準。線性誤差及圓誤差在與3D點雲相關時最佳，在與俯瞰影像相關時較 不準確，且在僅開始駕駛方向及開始定位可用時甚至更不準確。GPS資料約與俯瞰影像相關性一樣準確。

操作704可為有幫助的，此係因為俯瞰影像及3D點雲通常在物件頂部之天底或近天底視圖中，而來自UAV 330之LIDAR看到影像中之物件的側面。為了幫助使LIDAR資料與俯瞰影像或3D點雲相關，可產生開始定位之天底或近天底影像。

圖8至圖10係關於用於將第一3D點雲(或其一部分)對準至第二3D點雲(或其一部分)以產生合併之3D點雲的方法、系統及裝置。一或多個第一及第二3D點雲可包括相關聯誤差。相關聯誤差可傳播至合併之3D點雲。3D點雲之誤差可用於下游應用中。實例應用包括目標設定及測量。目標者(執行目標設定者)可受益於誤差以更佳地告知其目標定位選擇。物件之測量亦可受益於誤差。

合併之3D點雲可包括比3D點雲中之任何個別者更佳的誤差。舉例而言，若第一3D點雲包括在x及y方向上之較低誤差(相對於第二3D點雲)且第二3D點雲包括在z方向上之較低誤差(相對於第一3D點雲)，則合併之3D點雲可包括在x及y方向上由第一3D點雲且在z方向上由第二3D點雲限定的誤差。對於指定參數，合併之點雲可因此繼承第一點雲與第二點雲之間的誤差中之較佳者。

圖8作為實例說明用於3D點集對準及合併之系統800的實施例。系統800可包括處理電路系統114，該處理電路系統接收連結點808、連結點誤差810、第一3D點集102A、第二3D點集102B及第一或第二點集誤差812。第一或第二點集誤差812包括第一3D點集102A及第二3D點集102B中之至少一者的誤差。第一或第二點集誤差812可因此包括第一3D點集102A、第二3D點集102B或第一3D點集102A及第二3D點集102B之誤差。

第一3D點集102A或第二3D點集102B可包括點雲、3D表面或其類似者。第一3D點集102A及第二3D點集102B可包括各別地理區之(x,y,z)資料。第一3D點集102A及第二3D點集102B之地理區至少部分地重疊。第一點集102A及第二點集102B中之一或多者可包括強度資料。強度資料可包括一或多個強度值，諸如紅色、綠色、藍色、黃色、黑色、白色、灰色、紅外線、熱或其類似者。第一點集102A及第二點集102B中之一或多者可包括誤差資料。誤差資料在圖1中說明為分開的輸入，亦即，第一或第二點集誤差812。誤差資料可指示點集之對應點的準確度。

連結點808可使第一3D點集102A與第二3D點集102B之間的各別點相關聯。連結點808可指示第一3D點集102A中之第一點(x₁,y₁,z₁)、第二3D點集102B中之第二點(x₂,y₂,z₂)或與連結點808相關聯之誤差(展示為分開的輸入連結點誤差810)。連結點誤差810可指示吾人對第一及第二點對應於同一地理定位之可信度。連結點誤差810可包括指示三個變數之間的共變異數(變異數或交叉共變異數)之九個條目。三個變數可為在各別方向(x,y,z)上之誤差。將連結點誤差810之矩陣表示提供為

，其中對角項為在給定方向上之各別變異數，且非對角項為該等方向之間的共變異數。

有時可改善第一或第二點集誤差812，諸如變得更嚴格。有時，第一或第二點集誤差812可呈不可由捆集調整操作818消除之形式。點集誤差812可由條件點集誤差操作814調節以產生誤差矩陣816。條件點集誤差操作814可包括產生第一3D點集102A或第二3D點集102B之誤差參數的共變異數矩陣816。誤差參數可包括七個參數。該等參數中之三者可分別包括在x、y及z上之平移。該等參數中之三者可分別用於在x、y及z(翻滾、俯仰及橫偏)上之旋轉。該等參數中之一者可用於第一3D點集102A與第二3D點集102B之間的比例因 數。將由條件點集誤差操作814產生之矩陣816的實例提供為

，其中

為在x上之平移，

為在y上之平移，其中

為在z上之平移，ω為翻滾，φ為俯仰，κ為橫偏且s為比例。

捆集調整操作818可在輸入端處接收連結點808、連結點誤差810、第一3D點集102A、第二3D點集102B及誤差矩陣816。捆集調整操作818可產生合併之3D點集128及合併之3D點集誤差822作為輸出。捆集調整操作818可將最小平方估計器(LSE)用於第一3D點集102A與第二3D點集102B之對準。即使描述有時僅係關於二個3D資料集，操作818仍可易於擴展以合併多於二個3D資料集。捆集調整操作818可使用一或多種攝影測量技術。捆集調整操作818可包括離群點拒絕。捆集調整操作818可判定用於3D資料集之誤差模型參數。將誤差模型參數應用於第一3D點集102A及第二3D點集102B導致第一3D點集102A與第二3D點集102B之相對對齊(對準)。

具有字母後綴之參考數字為無字母後綴之一般項目的特定例項。舉例而言，3D點集102A為一般3D點集102之特定例項。

圖9說明地面點座標估計

與對應3D資料集觀測點

之間的關係之實施例的實例圖。在圖9中，說明三個對準不良之3D資料集902、904及906以及參考座標系924。說明第一影像觀測點908、910、912及第一相關聯地面點914，以及第二影像觀測點916、918、920及第二相關聯地面點922。可使用最小平方估計器來判定地面點914。最小平方估計器可減小(例如，最小化)所有影像上之差異(所有觀測點及地面點上)。最小平方估計器可將3D資料集中之一或多者中的誤差投影至對準之3D資料集中的誤差。

此章節建立用於開發用於捆集調整操作818之公式的一些初步記法慣例及符號定義。捆集調整操作818可包括識別減小地面點與各別影像中之對應點之間的差異之地面點，及接著以減小差異之方式調整3D資料集中之點。「3D資料集」一詞有時被稱作「影像」。為方便起見，下文以紅色符號指示向量及矩陣之實例大小。因此，符號

指示具有N列及M行之矩陣A。來自R ³之行向量因此具有附註3×1。向量V之分量寫成

。若向量包括區別性標記或區分性修飾，則將此等區別標記或區分修飾轉移至分量，如在

及V'=[x' y' z'] ^T 中。

現描述一個3D空間中之點與另一3D空間中之對應點之間的關係之方程式模型化。跨越所有影像建立共同參考空間。參考空間可建構為容納多於二個影像之同時調整。可在參考空間中之點與各影像中之所量測共軛點定位之間形成對應性。觀測方程式可表示為方程式1：

其中

為參考空間3D座標，

為影像中之

的觀測點，且使用方程式2自定向矩陣T及偏移向量

獲得參考空間與影像空間之間的定向及偏移關係：

其中符號「c」及「s」分別指示三角餘弦及正弦函數。量

係指分別繞影像之x、y及z軸的旋轉角(翻滾、俯仰及橫偏)。純量s表示等距比例校正因數(標稱地為零)。以上形式有助於模型化所有影像之偏移及定向的同時最小平方調整，其限制條件為所有共軛影像觀測向量之參考空間座標的估計可用。出於以下若干原因中之至少一者，此形式比明確地保存單個影像作為參考更合適且更靈活：(1)存在准許潛在使用地面控制點之參考空間地面座 標，該等地面控制點之先驗共變異數相對較小(例如，其在解決方案中具有高權重)；(2)以上公式適合於同時調整包括小或最小重疊(嵌合)之資料以及在同一區域(凝視區)上收集之許多影像或其間的任何組合；以及(3)可藉由對單個影像之誤差模型參數進行適當先驗加權來有效地(例如，隱含地)保存單個影像作為參考。

符號

將被稱作地面點(類似於經典攝影測量影像調整中之連結點地面定位及地面控制點定位)。符號

將被稱作地面點觀測(類似於經典攝影測量影像調整中之影像連結點觀測定位)。

不同於經典攝影測量處理，

及

二者在其均表示3D中之地面座標的意義上為「在地面上」(在經典影像狀況下，觀測點在影像空間中且因此為2D座標)。另外，該點很可能不「在地面上」，而可在建築物屋頂、樹冠等上。然而，將使用「地面點」及「地面點觀測」二個詞。

若取j為任意地面點之索引且取i為任意影像之索引，則觀測方程式(方程式1)可寫成方程式3

其中

為第j地面點，

為影像i與參考空間原點之間的偏移向量，且其中

為影像i與參考空間座標系之間的定向矩陣，且其中s _i 為影像i比例校正因數。因此，

為地面點j之第i影像的觀測點之座標。

若在二個或多於二個影像中找到特定地面點，則其可充當將影像連結在一起之點(連結點808中之一者)。此等點通常被稱作連結點(或連結點)。單個連結點常常被稱作地面上之同一點之影像觀測點(具有座標)連同對應地面 點(具有座標)的集合。

由於許多影像i上之觀測點為含有誤差之量測點，因此真實地面點座標通常為未知的。為了促進此情形，可計算地面點定位之初始估計。初始估計提供為方程式5

地面點自身被視為導出(但不受約束)之觀測點且被允許在執行操作818時進行調整。可存在真實地面座標已熟知之感興趣觀測點。此等點通常被稱作地面控制點(或GCP)。由於此開發可容納GCP及連結點二者，但有時使用「地面點」及「地面點觀測」之更一般詞(與「連結點地面座標」及「連結點觀測」形成對比)。

捆集調整操作818可對以下各者操作：在同一區域上拍攝之二個或多於二個影像(具有對連結點之觀測，有時被稱作凝視情境)；以條帶拍攝之二個或多於二個影像(形成資料嵌合，其中在條帶重疊區中進行雙向、三向或m向觀測)；連結點，其中對應地面點可出現在二個或多於二個影像中，將用於特徵之GCP併入影像中，從而提供絕對對準；連結點觀測之完整共變異數的容納。此有助於高度不對稱之連結點相關技術(例如，只要不對稱性可特徵界定為量測共變異數)。

地面點座標估計

與對應影像觀測點

之間的關係可理解為三個對準不良影像之間的凝視情境。

為了開發可由捆集調整操作118執行之LSE公式(及相關聯預處理)，在表1中提供更多定義。

地面點觀測可藉由地面點j及影像i(如在

中)或藉由線性索引b(如在

中)進行編索引。下標之使用取決於上下文。在前者中，感興趣的為特徵界定以下事實：特定地面點j出現在特定影像i上。在後者中，感興趣的為列舉所有觀測點，而與其參考哪一影像或哪一地面點無關。

由於一些3D點集資料呈現於「世界」空間座標系統(例如，通用橫向墨卡托(UTM)地圖投影)且由於觀測方程式3為影像相依的，因此一些座標系定義及變換可輔助理解。

若假設以世界座標指定地面點觀測定位，則感興趣的為將地面點觀測定位變換為「影像」相對定位。另外，可能感興趣的為獲得地面定位及相對於「局部」參考座標系之影像偏移自身。

局部參考座標系之動機可為自座標移除大的值。舉例而言，UTM座標通常可在數十萬公尺內。此使得座標解譯更困難，例如在查驗經更新座標定位之報告時。影像相對座標系之動機可為使得包含T _i 矩陣之定向角的解譯可相對於資料集之中心進行。此與旋轉原點遠離資料集形成對比(例如，與嵌合情境中之局部參考座標系原點一致)。

在二種狀況下，座標系之間的變換僅涉及3D平移。助記符W、R及I分別用以指示「世界」、「參考」及「影像」座標系。為了促進變換，建立以下慣例。向量上之上標指示其參考之座標系。因此，

對應於特定連結點觀測之世界空間座標，而

及

表示同一連結點觀測，但分別參考參考座標系及 影像座標系。

遵循上述慣例，符號

可表示「在座標系B中座標化之座標系A的原點之定位」。因此，

可表示參考座標系在世界座標系統中之定位(例如，參考座標系之原點的UTM座標)。在參考座標系中座標化之任意向量V ^R 與在世界座標系中座標化之同一向量V ^W 之間的關係可由方程式6表示

參考座標系可建立為連結點之所有世界空間座標的平均值。可使用方程式7判定此偏移(指示為

)

為簡單起見，可假設由世界座標系參考之參考座標系原點可藉由在捆集調整操作818外部之程序(例如，藉由聚集連結點808以供用於捆集調整操作818中之程序)計算。

影像座標系(例如，在每影像基礎上定義之座標系)可為影像之中心的世界座標。假設影像資料中存在邊界座標(在世界座標系X、Y及Z中指定資料之最小及最大範圍)，資料之中心可因此被取為最小及最大範圍之各別平均值。由於此影像座標系參考世界空間，因此所計算偏移指示為

。若邊界座標不可用，則將

之值取為特定影像i上之連結點定位的平均值，如方程式8中所描述

在每影像基礎上，將參考空間座標中之影像座標系偏移取為

之初始值。因此，對於各影像i，外部程序可根據方程式9計算參考座標系座標

由於可用世界座標輸入連結點觀測值且由於觀測方程式域採用參考座標系座標，因此對輸入資料進行一些預處理可有助於使其與觀測方程式(方 程式1或3)所採用的資料一致。可將連結點觀測座標自世界空間轉換至參考空間。可針對各觀測根據方程式10執行此轉換。

接下來，由於方程式3中所使用之真實地面點座標可為未知的，因此可估計該等座標。可假設地面點座標在參考座標系中座標化。各連結點之地面座標的初始估計值可計算為其出現之所有影像上的地面點觀測之平均值，如方程式11所描述

由於連結點地面座標之真實定位可被視為未知的，因此先驗共變異數可藉由將地面座標之誤差視為在數值上不受約束(以公尺平方為單位)來反映此情形，如方程式12所描述

可使用方程式13將供用於觀測方程式中之連結點觀測座標轉換為影像相對座標。

接下來，論述最小平方公式及解。由於觀測方程式(方程式1或3)在形成T _i 之定向角上為非線性的，因此最小平方問題變成非線性最小平方問題。方程式3可經線性化。解算線性化方程式可為多維尋根問題(其中根為解參數之向量)。

為了簡化線性化之記法，考慮固定影像及固定地面點。由方程式14表示未知的誤差模型參數(偏移、定向及比例校正)：

可將用於地面點觀測

之觀測方程式寫成方程式15

其中T為真實影像定向矩陣，

為真實影像平移向量，

為真實地面點座標，且

為對應地面點觀測座標。

若吾人希望包括地面點座標

作為額外觀測，則X及

之解可基於方程式16轉化為根解算問題

其中

在向量形式中，函數F可由方程式18表示

函數F可使用F關於初始估計X ⁽⁰⁾及

之一級泰勒級數展開式來近似，如方程式19中

其中X ⁽⁰⁾為X之初始近似，

為

之初始近似，雅可比矩陣 (Jacobian)

及

分別為在X ⁽⁰⁾及

處估計之F的偏導數，

為X之校正向量，

為

之校正向量。

雅可比矩陣可寫成方程式20及21

應注意，點符號僅為記法，遵循經典的攝影測量等效項，且並不固有地指示「速率」，如有時在其他經典物理學內容背景中所指示的。

在矩陣記法中，方程式19可寫成

或

由於問題為非線性的，因此可對參數向量之估計進行迭代(經由用於牛頓拉普森尋根法之多維擴展，或其他技術)。解決方案可包括在每次迭代時重新線性化。可關於參數向量之最近估計執行重新線性化。在迭代(p)時方程式22之線性化形式可如在方程式24中表示。

其中X ^(p)為參數向量X之第p次迭代估計，

為

之第p次迭代估計，

為F關於以X ^(p)估計之X的雅可比矩陣，

為F關於以

估計之

的雅可比矩陣，

為用於第p次迭代之X的校正向量，且

為用於第p次迭代之

的校正向量。

在各次迭代時，可利用最近校正更新參數及地面點向量，如在方程式25及26中。

對於初始迭代，可如先前所論述估計X ⁽⁰⁾及

之初始值。由方程式24表示之系統在

及

中現為線性的。線性解算器可用以解算參數。

對於特定影像i及特定地面點j，方程式23可寫成方程式27

第p次迭代之差異向量因此如在方程式28中所表示

且因此

為了同時解算所有影像及地面點，方程式27可擴展為

方程式30可重寫成方程式31 B△=E 方程式31

接著，正規方程式矩陣可表示為方程式32或方程式33(B ^T B)△=B ^T E 方程式32

Z△=H 方程式33

出於以下原因中之一或多者，如方程式30中形成B可為低效的：(1)B為極稀疏的；(2)當且僅當在影像i上觀測到地面點j時，量

及

才為非零。出於此原因，正規矩陣B ^T B及右側向量B ^T E之經典開發使用對適當索引之加總。此等加總提供於下文的正規矩陣分割中。

前述方程式形成本問題之基礎，其對於正規方程式之開發、正規矩陣結構之查驗及正規方程式解之公式化為足夠的。

正規方程式可如方程式34中所寫 Z△=H 方程式34

矩陣可如在方程式35至37中分割

在本文中別處更詳細地描述量

、

、

及

。

組合方程式35、36及37得到方程式38

矩陣Z可因此表示為方程式39

矩陣

可寫成方程式40

且類似地，

可寫成方程式41

之區塊條目可如在方程式42中定義

矩陣上之下標ij指示其為影像i及地面點j之函數。

矩陣

可如在方程式43中展開

可如在方程式44中展開：

方程式43之區塊條目可如在方程式45中定義

來自方程式39之矩陣

可如在方程式46中展開

來自方程式45之

的區塊條目可如方程式47中定義

在類似開發中，來自方程式34之右側矩陣H可如在方程式48中展開

H之子區塊可如方程式49及50中定義

其中差異向量ε _ij 如方程式29中定義。

及

之值為初始參數值。

之平移參數部分的初始值可取為如在方程式9中所計算的

。

之旋轉參數部分的初始值可取為零。

之初始值可取為如根據方程式11所計算之地面點座標

的值。

可如在方程式53中判定迭代(p)之正規方程式矩陣的解△ ^(p)=Z ^-1 H 方程式53

在各次迭代時，可經由方程式51及方程式52更新參數且可形成並再次解算正規矩陣。程序可繼續直至解收斂。收斂準則之實例可論述於以下章節中。

由於解經迭代，因此可建立收斂準則。收斂準則之實例為計算殘差之均方根(RMS)，如在方程式54中

方程式54之分母中的值表示自由度之數目(例如，觀測方程式之數目減去所估計參數之數目)。

由於通常q>>7m，因此方程式54可如在方程式55中估計

相較於影像數目，地面點觀測具有足夠冗餘，由此可保證條件q>>7m(例如，在影像之間量測足夠連結點使得滿足前述條件)。

當殘差在連續迭代中穩定至相同值時會發生收斂。收斂準則可為|R ^(p)-R ^(p-1)|<δ 方程式56

其中為規定容限。

單位權重(待用於別處所論述之誤差傳播中)之標準誤差的嚴格公式提供於方程式57中

其中ndof為自由度之數目-觀測方程式之數目減去誤差模型解參數之數目：ndof=q-7m 方程式58

由於可經由去加權自解有效地移除錯誤點，因此有效地保留之觀測的數目不包括錯誤。為嚴格正確起見，方程式58中之q的值可為非錯誤觀測之數目。

假設地面點定位中之誤差不相關，可約化矩陣方程式34之完整形式。在此假設下，地面點定位

之誤差共變異數矩陣變成3×3矩陣區塊之區塊對角矩陣。由於其為稀疏矩陣，因此其逆易於藉由對3×3對角區塊求逆來計算。此章節中之開發利用此來重新公式化正規方程式。結果為約化的正規方程式矩陣，其中正規矩陣之大小為6m×6m而非(6m+3n)×(6m+3n)。此產生顯而易見的優點：正規矩陣之大小要小得多且地面點之數目保持不變。

約化的系統形成有時被稱作「地面點疊合」，此係因為約化正規矩陣之地面點部分被併入至影像部分中。約化正規方程式之開發以來自方程式34之原始正規方程式開始且作為方程式59重複Z△=H 方程式59

為促進將地面點疊合成約化的正規方程式矩陣，方程式59可重寫成方程式60

其中

假定將矩陣系統Z△=H分割成具有適當大小之區塊，如

其中矩陣A及D二者均為正方形的。

另外，假設矩陣D為非奇異的且可表示為稀疏區塊對角矩陣。則 [A-BD ^-1 C][a]=[c-BD ^-1 d] 方程式67

將方程式67應用於方程式59會提供約化的正規矩陣方程式

約化的正規方程式矩陣可如在方程式69中所寫

其中

且

。

接下來，感興趣的為查驗簡化系統之分量的形式以用於高效實施。令

。則

由此可推論

方程式71中之

的區塊可為如在方程式47中定義之等效者

。

先驗地面點中之誤差不相關的假設得出方程式72

其中

為用於地面點j之先驗共變異數矩陣的逆。因此，

之通用列及行項可接著由以下方程式給出：

且根據

之定義，當且僅當影像r及c不具有共同的地面點時，

為零。亦應注意，

為區塊對稱的。因此，在其形成中，僅需要形成上部區塊三角形，其後接著將右上三角形反射至左下三角形以完成矩陣形成。

矩陣M可因此如在方程式75中所寫

可藉由首先儲存

之對角條目及接著減去方程式75中之減數的加總條目(亦即，定義於方程式74中之

)來形成約化矩陣M。

由於減數之子區塊僅為對地面點索引j之加總，因此可藉由對地面點進行迭代(假設預先形成對角線上之方程式75的被減數)及在M內之適當位置中減去特定地面點之貢獻來建置矩陣M。

可類似地藉由相同矩陣中之一些形成常數行向量：

在建置矩陣M及C之後，可將簡化系統之可調整參數的解向量計算為

對於各影像i，解向量可分解成每影像可調整向量

，如在方程式78中：

在獲得影像可調整參數之解向量

之後，可自簡化系統提取(或「展開」)地面點位置之校正的解向量

。為了公式化提取，方程式67可用以獲得方程式79

若

表示地面點之校正向量，則

其中

為影像i之可調整參數校正向量。因此，

其中I _j 被定義為地面點j為觀測點的影像之索引集。

此章節提供用於提取地面點之後驗誤差共變異數的公式。若先驗感測器模型誤差估計可用(且可靠)，則誤差可傳播至對準誤差模型之空間。在此狀況下，對於後驗地面點定位之準確度，誤差傳播為嚴格預測誤差。

影像參數之後驗誤差共變異數為來自方程式69之約化正規矩陣的逆M ^-1之適當子區塊(在應用單位權重之變異數之後，如在此章節末尾所描述)。對於完整的正規矩陣解，後驗誤差共變異數可為正規矩陣之逆Z ^-1乘以單位權重之變異數。然而，對於簡化系統，可藉由展開自M ^-1提取地面點之後驗誤差共變異數。為促進此情形，完整正規矩陣可寫成

將逆矩陣區塊指示為

應注意，如所定義之

及

明顯不同於先前章節中所定義之彼等者。(本章節中之符號為後驗共變異數且先前章節中之彼等符號為先驗共變異數)。然而，若遵循適當的上下文，則此細微區別不成問題。

地面點r與c之間的後驗共變異數可表示為

之區塊元素

。其中n為地面點之數目且m為影像之數目，

之第r列僅涉及方程式86之第二項中的第一

矩陣之

。類似地，

之第c行僅涉及第二項中之第二矩陣

的

。因此，

其中δ函數可為

現導出

之(r,c)區塊的形式。令

G之第r列僅涉及

之第r列，且G之第c行僅涉及

之第c行。因此，

現在，若地面點j並非影像i上之觀測點，則

。

因此，

其中I _j 為影像之索引集，在該等影像上，地面點為觀測點。將方程式91代入方程式87中會得到

後驗共變異數通常藉由根據單位權重之變異數的估計按比例調整正規矩陣之逆來定義。將單位權重之變異數的估計指示為[σ ^(p)]²且提供於方程式57中。因此，可使用以上公式，但替代地定義

對於完整的正規矩陣解，可易於得到Z ^-1，因此誤差模型參數及地面點之後驗共變異數可為方程式93之右側。

方程式92之右側被加數包括因數[σ ^(p)]²，此係因為其包括

。然而，左側被加數不包括該因數。此可藉由方程式92之修改形式來補償

若認為單位權重之標準誤差σ ^(p)不可靠(例如，遠大於單位)，則此可為程序中之先驗誤差共變異數不當(或不正確)的指示。然而，吾人仍可能夠藉由簡單地強制標準誤差為一(例如，藉由在方程式93及94中設定σ ^(p)←1.0)而自最小平方程序提供可靠誤差估計。

圖10說明操作818之實施例的實例。操作818可包括具有誤差傳播之3D資料集對準。如所說明，操作818包括：在操作1002處，初始化解及 校正；在操作1004處，判定差異；在操作1006處，判定正規方程式；在操作1008處，基於所判定之正規方程式而更新參數；在操作1010處，判定差異；在操作1012處，判定誤差；以及在操作1014處，補償第一3D點集102A與第二3D點集102B之對準不良。

操作1002可包括將解向量X及校正向量△X設定為零向量¹：

可將解向量X設定為固定點定位以供線性化。若先驗估計可用，則其可在此處代替零向量使用。

操作1004可包括針對各觀測而計算差異向量，如提供於方程式29中。操作1006可包括建置正規方程式矩陣及解算校正向量，如提供於方程式53中。操作1008可包括更新用於當前迭代之參數向量，如提供於方程式51及52中。經由以下偽碼提供用於展開疊合之正規方程式解之地面點的操作1008之細節。

操作1010可包括計算差異，如提供於方程式29中。操作1012可包括經由方程式57計算單位權重之標準誤差。應注意，標準誤差可為方程式57之左側的平方根(例如，

)。

若單位權重之當前標準誤差與先前標準誤差之間的差量之絕對值小於收斂準則，則解標稱地收斂。為適應錯誤拒絕，可藉由查看錯誤權重是否應用於繼續求解中的檢查來擴增收斂準則檢查(useBW，指示使用「錯誤檢查加權」)。若發生收斂且useBW為真，則此為執行錯誤檢查之指示，且此次使用經正規化之殘餘計算以便檢查下一次迭代中之錯誤。

若useBW為真，則可計算錯誤。若剩餘有錯誤，則錯誤「循環」 數目遞增且藉由將校正向量重設為先驗值來重複程序(例如，轉至操作1002)。若無剩餘的錯誤，則可執行檢查以查看收斂後錯誤循環之數目是否可設定為零。可執行此檢查以在已消除所有錯誤之後有效地強制實行另一個解。

若useBW為假且其當前為錯誤解之第一次迭代，則useBW可設定為真。此具有強制經正規化之殘餘錯誤迭代用於判定後續迭代中之錯誤的效應。在此狀況下，解已收斂，但尚未計算經正規化之錯誤殘差。將useBW設定為真可強制此情形在下一次解迭代中發生。該解可藉由轉至操作1006來迭代。若無更多的錯誤且錯誤之數目並非零，則此指示「非錯誤迭代」解已收斂。

操作818可包括提供報告，該報告包括迭代次數、當前校正向量△X、參數及地面點之當前迭代估計(例如，如在方程式51及52中所計算)、單位權重之標準誤差(例如，如在方程式55中所提供)。操作818可包括藉由利用最大迭代次數M查驗當前迭代次數來檢查不收斂。若迭代次數超過最大值，則停止迭代程序。解未收斂。可引發例外狀況且操作818可完成。

以下為用於計算完整正規方程式解之操作818的偽碼概述。此第一偽碼不包括地面點疊合。

{大括弧}中之名稱暗示軟體實施中之方法(例如，函數)名稱。又，在以下開發內，假設地面點索引、地面點觀測索引及影像索引為零相對的。為了提高實施效率，以下元素可快取於在各次迭代中更新之每影像工作區物件中：

1.如方程式4中給出的三角函數sω、cω、

、

、sκ、cκ之值。

2.如在以下方程式95至97中給出T關於三個角度之三個3×3偏導數矩陣：

3.如在方程式4中給出之旋轉矩陣T _i

4.3×1向量

偽碼藉由將非線性最小平方迭代索引(p)設定為零開始。

1.{initializeData}對於各影像i

{0,…,m-1}，儲存經解算參數之標稱初始值。

及

之初始值。

2.{initializeData}

a.經由方程式11針對各地面點j

{0,…,n-1}計算初始地面點座標。此等座標形成

。

b.計算如先前所描述之初始影像快取資料。

3.{outputIterationReport}輸出初始迭代報告(輸入參數、初始地面點及地面點觀測座標。)

4.{initializeMatrices}將Z之

部分區塊分割成個m子區塊，各者之大小為6×6。

5.{initializeMatrices}將Z之

部分區塊分割成個n子區塊，各者之大小為3×3。

6.{initializeMatrices}類似地，區塊分割H

7.{computeAndStoreDiscrepancies}對於各地面點索引j

{0,…,n-1}及彼地面點之各觀測點i

O _j ，如下計算在方程式29中給出之差異向量。

對於j

{0,…,n-1}

{

提取最近地面點位置

。

對於i

I _j 及觀測索引b

O _j

{

a)擷取T _i 及

之影像快取值

b)擷取地面點觀測

c)應用觀測方程式以獲得

之投影值。

d)計算及儲存觀測b之差異向量，如在方程式29中

}//結束i

}//結束j

8.計算單位權重之標準誤差，如在方程式57中。

9.{buildNormalMatrices+initialize Weights}將Z及H歸零且用對角線上之區塊權重矩陣初始化Z(及同樣地，H)。此涉及將Z之區塊設定為

及

之子區塊，且將H之子區塊(子列)設定為

及

。

10.{sumInPartials}對地面點及含有地面點之影像進行循環且將

及

矩陣之貢獻加總至Z及H中。

對於j

{0,…,n-1}

{

對於i

I _j

{

擷取ε _b ≡ε _ij ，如在方程式100中所計算

計算

及

，如在方程式101及102中。

擷取觀測權重矩陣

：將

加總至Z.block(i,i)中

：將

加總至Z.block(m+j,m+j)中

：將

加總至Z.block(i,m+j)中

：將

加總至H.block(i,0)中

：將

加總至H.block(m+j,0)中

}//結束i

}//結束j

11.{solveNormalEquation}形成Z矩陣之較低轉置且解算系統△=Z ^-1 H。應注意，正規方程式系統為對稱系統(例如，正規矩陣Z為對稱的)。因此，可使用對稱系統解算器。在對稱系統解算器之狀況下，可能不必要形成下三角形。

12.{updateParameters}藉由自△矩陣提取校正來更新所有參數，如在方程式51及52中。

13.若(p)≠0，則與殘差之先前均方根(RMS)進行比較且檢查收斂。收斂條件可為|R ^(p)-R ^(p-1)|<δ 方程式103

14.{computePostConvergenceResiduals+checkForBlunders}若已達到收斂，則執行自動錯誤編輯。若尚未達到收斂，則遞增迭代索引 (p)←(p+1) 方程式104

且轉至步驟7。

以下為操作818之偽碼，該操作用於建置約化正規方程式系統，計算地面點位置之校正及經由自約化正規矩陣提取資料來執行誤差傳播。偽碼之此部分包括地面點座標疊合。

如在提供於先前偽碼中之完整正規解中，相同每影像元素快取於工作區物件中且在各次迭代中進行更新。用於約化解之演算法可分解成二個主要部分：啟動及疊合。啟動涉及儲存權重及沿著完整正規方程式矩陣之對角線的貢獻(及用於右側行向量H之對應資料)。此對應於Z之

部分。因此，啟動涉及形成方程式75及方程式76之被減數。疊合可包括合併前述方程式之減數。

為了提供高效實施，可建立地面點工作區。工作區可包括以下元素：

、

、

。此等事物由地面點工作區之地面點索引。技術可藉由將非線性最小平方迭代索引(p)設定為零來開始。

1.{initializeData}對於各影像i

{0,…,m-1}，儲存經解算參數之標稱初始值。亦可連同

設定

及

之初始值，如在方程式98中。

2.{initializeData}

a.經由方程式11針對各地面點j

{0,…,n-1}計算初始地面點座標。此等座標形成

。

b.計算如上文所描述之初始影像快取資料。

3.{outputIterationReport}輸出初始迭代報告(輸入參數、初始地面點及地面點觀測座標)。

4.{initializeMatrices}將約化正規矩陣M區塊分割成個m子區塊，各者具有大小6×6。類似地，將約化行向量C進行區塊分割

5.{computeAndStoreDiscrepancies}對於各地面點索引j

{0,…,n-1}及彼 地面點之各觀測i

O _j ，將在方程式29中給出之差異向量ε _ij 計算為：

對於j

{0,…,n-1}

{

提取最近地面點位置

。

對於i

I _j 及觀測索引b

O _j

{

a)擷取T _i 及

之影像快取值

b)擷取地面點觀測

c)應用觀測方程式以自方程式99獲得

之投影值。

d)計算及儲存觀測b之差異向量，如在方程式100中

}//結束i

}//結束j

6.計算單位權重之標準誤差，如在方程式57中。

7.{buildNormalMatrices}

a.將約化矩陣M及C歸零

b.{initialize Weights}用對角線上之區塊權重矩陣初始化M(及同樣地，C)。此涉及將M之區塊設定為

之子區塊及將C之子區塊(子列)設定為

。

c.{sumInPartialsAndFoldGPs}藉由對地面點進行迭代來形成主對角線及地面點矩陣

。對地面點j執行疊合

對於j

{0,…,n-1}

{

啟動：

將

儲存至GPWS之

中

將

儲存至GPWS之

中

對於i

I _j (其中I _j 為影像索引集，在該等影像索引上，GP j為觀測點)

{

形成偏導數：

建置

，如在方程式101中

建置

，如在方程式102中

擷取如在方程式100中計算之差異向量ε _ij 。

擷取觀測權重矩陣

將M內之影像i中的GP j觀測點之貢獻進行加總：

將

加總至M.block(i,i)中

將

加總至C.block(i,0)中

將i對

及

之貢獻進行加總：

將

加總至

中

將

加總至

中

}//結束i

對

求逆且作為

儲存至GPWS中

疊合成M (應注意：對j之迭代循環仍有效)

對於r

I _j

{

形成

，如在方程式69及47中

對於

{

形成

將

加總至M.block(r,c)中。

}//結束c

將

加總至C.block(r,0)中。

}//結束r

}//結束j

8.完成M之下部對角線條目且解算

。如在完整正規方程式解中，應注意，M為對稱的且因此對稱系統解算器為有序的。

9.首先使用下文所提供之偽碼來計算對地面點之校正。接著更新來自

向量之所有參數。

10.若(p)≠0，則與殘差之先前RMS進行比較且檢查收斂。收斂條件為|R ^(p)-R ^(p-1)|<ε 方程式105

11.{computePostConvergenceResiduals+checkForBlunders}若已達到收斂，則執行自動錯誤編輯，如別處所詳述的。在不再存在錯誤之後，繼續進行誤差傳播{propagateErrors}。若尚未達到收斂，則遞增迭代索引，如在方程式104中且轉至步驟5。

在獲得解向量

之後，展開地面點校正為使用此處複製以供參考之方程式80的事項：

{unfoldGroundPoints}

對於j

{0,…,n-1}

{

自GPWS擷取

及

將

儲存至新減數矩陣S中(亦即，將S初始化為

)

對於r

I _j

{

形成

將

加總至S中。

}//結束r

計算

}//結束j

可藉由評估方程式94來獲得地面點索引r與c之間的一般交叉誤差共變異數。

{relativeGroundPointCov}

自地面點工作區擷取

及

。

獲得索引集I _r 及I _c (地面點r及c之影像索引)

分配矩陣

且初始化為零。此為此函數之輸出。

分配矩陣

且初始化為零

對於t

I _c

{

分配矩陣

且初始化為零

對於s

I _r

{

根據方程式47形成

及

。(應注意，對於簡化系統，

)

提取

，其中

如方程式93中所定義

設定

}//結束s

設定

}//結束t

計算

若(r=c)

{

設定

}

返回

//結束{relativeGroundPointCov}

對於r

{1,2,…,n}且對於c

{r,r+1,…,n}，可藉由調用方法來獲得完整的3n×3n地面共變異數矩陣

。應注意，c之索引開始於r，此係因 為完整的地面共變異數矩陣為對稱的(亦即，建置

之上三角形且「關於對角線反射」以獲得下部對稱部分)。

下文係關於如何執行操作1014。給定所論述之MLSE技術的輸出，操作1014繼續進行。補償應用觀測方程式之逆，從而適應各種相對座標系偏移以自對準不良的世界空間座標得到經補償世界空間座標

用於以世界空間座標提供輸入及輸出之動機可為用於各影像之點雲之各元素的原生輸入空間及所要輸出空間。

對於影像i上之任意的對準不良向量

，可執行補償公式，如在方程式107中

其中自解向量

建構T _i 且在別處定義方程式107中之其他符號。應注意，當將方程式107應用於時間高效實施時，可在每影像基礎上預先計算

及

以及

之值。

圖11作為實例說明用於3D點集產生及對準之方法1100的實施 例之圖。如所說明之方法1100包括：在操作1102處，藉由無人駕駛載具(UV)捕獲表示物件之各別重疊子區段的影像資料；在操作1104處將重疊子區段彼此對準；以及在操作1106處，對對準之重疊子區段進行地理定位。

方法1100可包括藉由該等UV中之一UV捕獲開始地理定位之第一俯瞰影像，影像資料係在該開始地理定位處捕獲，且其中對重疊子區段進行地理定位包括使第一俯瞰影像與地理定位已知之第二俯瞰影像相關。方法1100可包括：其中該第二俯瞰影像為衛星影像。方法1100可包括：其中對對準之重疊子區段進行地理定位包括判定第一俯瞰影像之影像片與第二俯瞰影像之影像片的經正規化之交叉相關。

方法1100可包括：自該等UV中之一UV的操作者接收UV之開始地理定位及駕駛方向。方法1100可包括：其中基於開始地理定位及駕駛方向而執行對對準之重疊子區段進行地理定位。方法1100可包括：藉由該等UV中之一UV執行光偵測及測距(LIDAR)掃描以產生LIDAR掃描資料。方法1100可包括：其中對對準之重疊子區段進行地理定位包括使第一俯瞰影像與LIDAR掃描資料相關。

方法1100可包括：藉由UV使UV之地理定位資料與由UV產生之影像資料相關聯。方法1100可包括：其中基於地理定位資料而對對準之重疊子區段進行地理定位。方法1100可包括：基於經地理定位的對準之重疊子區段而產生第一三維(3D)點集。方法1100可包括：將第一3D點集對準至第二3D點集以產生合併之3D點集。方法1100可包括：其中將第一3D點集對準至第二3D點集包括基於第一3D點集與第二3D點集之間的連結點而使用最小平方估計捆集調整來按比例調整、旋轉及平移第一3D點集及第二3D點集中之一或多者。

圖12作為實例說明呈電腦系統1200之實例形式的機器之實施例 的方塊圖，在該電腦系統內可執行用於使機器執行本文中所論述之方法中之任何一或多者的指令。在替代實施例中，該機器作為獨立裝置而操作或可連接(例如，網路連接)至其他機器。在網路連接部署中，機器可以伺服器-用戶端網路環境中之伺服器機器或用戶端機器的身分而操作，或作為對等(或分散式)網路環境中之對等機器而操作。機器可為個人電腦(PC)、平板PC、機上盒(STB)、個人數位助理(PDA)、蜂巢式電話、網路器具、網路路由器、交換器或橋接器，或能夠執行(依序或以其他方式)指定待由彼機器採取之動作的指令之任何機器。另外，雖然僅說明單個機器，但「機器」一詞亦應被採用以包括個別地或聯合地執行一指令集(多個指令集)以執行本文中所論述之方法中之任何一或多者的機器之任何集合。

實例電腦系統1200包括經由匯流排1208彼此通訊的處理器1202(例如，處理電路系統118，諸如可包括中央處理單元(CPU)、圖形處理單元(GPU)、場可規劃閘陣列(FPGA)、其他電路系統，諸如一或多個電晶體、電阻器、電容器、電感器、二極體、調節器、開關、多工器、功率裝置、邏輯閘(例如，AND、OR、XOR、取反等)、緩衝器、記憶體裝置，或其類似者，或其組合)、主記憶體1204及靜態記憶體1206。電腦系統1200可進一步包括顯示裝置1210(例如，液晶顯示器(LCD)或陰極射線管(CRT))。電腦系統1200亦包括文數字輸入裝置1212(例如，鍵盤)、使用者介面(UI)導航裝置1214(例如，滑鼠)、磁碟機單元1216、信號產生裝置1218(例如，揚聲器)、網路介面裝置1220以及諸如藍牙、WWAN、WLAN及NFC之無線電1230，從而准許對此類協定應用安全控制。

磁碟機單元1216包括機器可讀媒體1222，其上儲存有體現本文中所描述之方法或功能中之任何一或多者或供其利用的指令及資料結構(例如，軟體)1224之一或多個集合。指令1224在其藉由電腦系統1200執行期間亦可完全或至少部分地駐存於主記憶體1204內及/或處理器1202內，主記憶體1204及 處理器1202亦構成機器可讀儲存媒體。

雖然機器可讀媒體1222在實例實施例中經展示為單個媒體，但「機器可讀媒體」一詞可包括儲存一或多個指令或資料結構之單個媒體或多個媒體(例如，集中式或分散式資料庫，及/或相關聯之快取記憶體及伺服器)。「機器可讀媒體」一詞亦應被視為包括能夠儲存、編碼或攜載由機器執行且使機器執行本發明之方法中之任何一或多者的指令或能夠儲存、編碼或攜載由此等指令利用或與此等指令相關聯之資料結構的任何有形媒體。「機器可讀媒體」一詞應相應地被視為包括但不限於固態記憶體以及光學及磁性媒體。機器可讀媒體之特定實例包括非依電性記憶體，作為實例包括半導體記憶體裝置，例如可抹除可規劃唯讀記憶體(EPROM)、電可抹除可規劃唯讀記憶體(EEPROM)及快閃記憶體裝置；磁碟，諸如內部硬碟及抽取式磁碟；磁光碟；以及CD-ROM及DVD-ROM磁碟。

指令1224可進一步使用傳輸媒體經由通訊網路1226傳輸或接收。指令1224可使用網路介面裝置1220及數個熟知傳送協定中之任一者(例如，HTTP)來傳輸。通訊網路之實例包括區域網路(「LAN」)、廣域網路(「WAN」)、網際網路、行動電話網路、簡易老式電話(Plain Old Telephone；POTS)網路及無線資料網路(例如，WiFi網路及WiMax網路)。「傳輸媒體」一詞應被視為包括能夠儲存、編碼或攜載由機器執行之指令且包括數位或類比通訊信號或其他無形媒體以促進此軟體之通訊的任何無形媒體。

額外註釋及實例

實例1包括一種產生物件之三維(3D)點雲的方法，該方法包含：藉由無人駕駛載具(UV)捕獲表示物件之各別重疊子區段的影像資料；將重疊子區段彼此對準；以及對對準之重疊子區段進行地理定位。

在實例2中，實例1可進一步包括藉由該等UV中之一UV捕獲 開始地理定位之第一俯瞰影像，影像資料係在該開始地理定位處捕獲，且其中對重疊子區段進行地理定位包括使第一俯瞰影像與地理定位已知之第二俯瞰影像相關。

在實例3中，實例2可進一步包括：其中該第二俯瞰影像為衛星影像。

在實例4中，實例3可進一步包括：其中對對準之重疊子區段進行地理定位包括判定第一俯瞰影像之影像片及第二俯瞰影像之影像片的經正規化之交叉相關。

在實例5中，實例1至4中之至少一者可進一步包括：自該等UV中之一UV的操作者接收UV之開始地理定位及駕駛方向，且其中基於開始地理定位及駕駛方向而執行對對準之重疊子區段進行地理定位。

在實例6中，實例2至5中之至少一者可進一步包括：藉由該等UV中之一UV執行光偵測及測距(LIDAR)掃描以產生LIDAR掃描資料，且其中對對準之重疊子區段進行地理定位包括使第一俯瞰影像與LIDAR掃描資料相關。

在實例7中，實例1至6中之至少一者可進一步包括：藉由UV使UV之地理定位資料與由UV產生之影像資料相關聯，且其中基於地理定位資料而對對準之重疊子區段進行地理定位。

在實例8中，實例1至7中之至少一者可進一步包括：基於經地理定位的對準之重疊子區段而產生第一三維(3D)點集；以及將第一3D點集對準至第二3D點集以產生合併之3D點集。

在實例9中，實例8可進一步包括：其中將第一3D點集對準至第二3D點集包括基於第一3D點集與第二3D點集之間的連結點而使用最小平方估計捆集調整來按比例調整、旋轉及平移第一3D點集及第二3D點集中之一或 多者。

實例10包括一種系統，其包含：無人駕駛載具，其經組配以捕獲表示物件之各別重疊子區段的影像資料；以及處理電路系統，其經組配以將重疊子區段彼此對準且對對準之重疊子區段進行地理定位。

在實例11中，實例10可進一步包括：其中該等UV中之一UV經進一步組配以捕獲開始地理定位之第一俯瞰影像，影像資料係在該開始地理定位處捕獲，且其中對重疊子區段進行地理定位包括使第一俯瞰影像與地理定位已知之第二俯瞰影像相關。

在實例12中，實例11可進一步包括：其中該第二俯瞰影像為衛星影像。

在實例13中，實例12可進一步包括：其中對對準之重疊子區段進行地理定位包括判定第一俯瞰影像之影像片與第二俯瞰影像之影像片的經正規化之交叉相關。

在實例14中，實例10至13中之至少一者可進一步包括：其中該處理電路系統經進一步組配以自該等UV中之一UV的操作者接收UAV之開始地理定位及駕駛方向，且其中基於開始地理定位及駕駛方向而執行對對準之重疊子區段進行地理定位。

在實例15中，實例11至14中之至少一者可進一步包括：其中該等UV中之一UV經進一步組配以執行光偵測及測距(LIDAR)掃描以產生LIDAR掃描資料；且其中對對準之重疊子區段進行地理定位包括使第一俯瞰影像與LIDAR掃描資料相關。

實例16包括一種(例如，非暫時性)機器可讀媒體，其包括在由機器執行時使機器執行包含以下各者之操作的指令：藉由無人駕駛載具(UV)接收表示物件之各別重疊子區段的影像資料；將重疊子區段彼此對準；以及對對準之 重疊子區段進行地理定位。

在實例17中，實例16可進一步包括：其中該等操作進一步包含藉由UV接收與由UV產生之影像資料相關聯的UV之地理定位資料，且其中基於地理定位資料而對對準之重疊子區段進行地理定位。

在實例18中，實例16至17中之至少一者可進一步包括：其中該等操作進一步包含基於經地理定位的對準之重疊子區段而產生第一三維(3D)點集；以及將第一3D點集對準至第二3D點集以產生合併之3D點集。

在實例19中，實例18可進一步包括：其中將第一3D點集對準至第二3D點集包括基於第一3D點集與第二3D點集之間的連結點而使用最小平方估計捆集調整來按比例調整、旋轉及平移第一3D點集及第二3D點集中之一或多者。

在實例20中，實例16至19中之至少一者可進一步包括：其中該等操作進一步包含自該等UV中之一UV接收物件之光偵測及測距(LIDAR)掃描資料；且其中對對準之重疊子區段進行地理定位包括使第一俯瞰影像與LIDAR掃描資料相關。

儘管已參考特定實例實施例描述了實施例，但將顯而易見，可對此等實施例進行各種修改及改變而不脫離本發明之更廣泛精神及範圍。因此，應在說明性意義上而非限制性意義上看待本說明書及圖式。形成本文之一部分的隨附圖式作為說明而非限制來展示可實踐主題之特定實施例。足夠詳細地描述所說明之實施例以使熟習此項技術者能夠實踐本文中所揭示之教示內容。可利用其他實施例且自所說明之實施例導出其他實施例，使得可作出結構及邏輯的替代及改變而不脫離本公開之範圍。因此，此詳細描述並不在限制性意義上進行，且各種實施例之範圍僅藉由隨附申請專利範圍連同此等申請專利範圍授權的等效物之完整範圍界定。

1100:用於3D點集產生及對準之方法

1102,1104,1106:操作

Claims (18)

1. 一種用於產生一物件之一三維(3D)點雲的方法，該方法包含：藉由數個無人駕駛載具(UV)捕獲表示該物件之各別重疊子區段的影像資料；將該等重疊子區段彼此對準；對該等對準之重疊子區段進行地理定位；基於經地理定位的該等對準之重疊子區段而產生一第一三維點集；以及將該第一三維點集對準至一第二三維點集，以便產生一合併之三維點集。
2. 如請求項1之方法，其進一步包含：藉由該等無人駕駛載具中之一無人駕駛載具捕獲一開始地理定位之一第一俯瞰影像，該影像資料係在該開始地理定位處被捕獲；且其中對該等重疊子區段進行地理定位包括使該第一俯瞰影像與地理定位已知之一第二俯瞰影像相關。
3. 如請求項2之方法，其中該第二俯瞰影像為由一衛星產生之一衛星影像。
4. 如請求項3之方法，其中對該等對準之重疊子區段進行地理定位包括判定該第一俯瞰影像之影像片與該第二俯瞰影像之影像片之間的一經正規化之交叉相關。
5. 如請求項1之方法，其進一步包含：自該等無人駕駛載具中之一無人駕駛載具的一操作者接收該無人駕駛載具之一開始地理定位及一駕駛方向；且其中基於該開始地理定位及該駕駛方向而對該等對準之重疊子區段進行地理定位。
6. 如請求項2之方法，其進一步包含：藉由該等無人駕駛載具中之一無人駕駛載具執行一光偵測及測距(LIDAR)掃描以產生光偵測及測距掃描資料；且其中對該等對準之重疊子區段進行地理定位包括使該第一俯瞰影像與該光偵測及測距掃描資料相關。
7. 如請求項1之方法，其進一步包含：藉由該無人駕駛載具使該無人駕駛載具之地理定位資料與由該無人駕駛載具產生之影像資料相關聯；且其中基於該地理定位資料而對該等對準之重疊子區段進行地理定位。
8. 如請求項1之方法，其中將該第一三維點集對準至該第二三維點集包括基於該第一三維點集與該第二三維點集之間的連結點而使用一最小平方估計捆集調整來按比例調整、旋轉及平移該第一三維點集及該第二三維點集中之一或多者。
9. 一種用於三維(3D)點集產生及對準之系統，該系統包含：數個無人駕駛載具(UV)，其經組配以捕獲表示一物件之各別重疊子區段的影像資料；以及處理電路系統，其經組配以：將該等重疊子區段彼此對準；對該等對準之重疊子區段進行地理定位；基於經地理定位的該等對準之重疊子區段而產生一第一三維點集；以及將該第一三維點集對準至一第二三維點集，以便產生一合併之三維點集。
10. 如請求項9之系統，其中該等無人駕駛載具中之一無人駕駛 載具經進一步組配以捕獲一開始地理定位之一第一俯瞰影像，該影像資料係在該開始地理定位處捕獲，且其中對該等重疊子區段進行地理定位包括使該第一俯瞰影像與地理定位已知之一第二俯瞰影像相關。
11. 如請求項10之系統，其中該第二俯瞰影像為一衛星影像。
12. 如請求項11之系統，其中對該等對準之重疊子區段進行地理定位包括判定該第一俯瞰影像之影像片與該第二俯瞰影像之影像片的一經正規化之交叉相關。
13. 如請求項9之系統，其中該處理電路系統經進一步組配以：自該等無人駕駛載具中之一無人駕駛載具的一操作者接收該無人駕駛載具之一開始地理定位及一駕駛方向；且其中基於該開始地理定位及該駕駛方向而對該等對準之重疊子區段進行地理定位。
14. 如請求項10之系統，其中該等無人駕駛載具中之一無人駕駛載具經進一步組配以執行一光偵測及測距(LIDAR)掃描，以產生光偵測及測距掃描資料；且其中對該等對準之重疊子區段進行地理定位包括使該第一俯瞰影像與該光偵測及測距掃描資料相關。
15. 一種機器可讀媒體，其包括在由一機器執行時使該機器執行包含以下各者之操作的指令：藉由數個無人駕駛載具(UV)接收表示一物件之各別重疊子區段的影像資料；將該等重疊子區段彼此對準；對該等對準之重疊子區段進行地理定位；基於經地理定位的該等對準之重疊子區段而產生一第一三維(3D)點集；以及 將該第一三維點集對準至一第二三維點集，以便產生一合併之三維點集。
16. 如請求項15之機器可讀媒體，其中該等操作進一步包含：藉由該無人駕駛載具接收與由該無人駕駛載具產生之該影像資料相關聯的該無人駕駛載具之地理定位資料；且其中基於該地理定位資料而對該等對準之重疊子區段進行地理定位。
17. 如請求項15之機器可讀媒體，其中將該第一三維點集對準至該第二三維點集包括基於該第一三維點集與該第二三維點集之間的連結點而使用一最小平方估計捆集調整來按比例調整、旋轉及平移該第一三維點集及該第二三維點集中之一或多者。
18. 如請求項15之機器可讀媒體，其中該等操作進一步包含自該等無人駕駛載具中之一無人駕駛載具接收該物件之光偵測及測距(LIDAR)掃描資料；且其中對該等對準之重疊子區段進行地理定位包括使第一俯瞰影像與該光偵測及測距掃描資料相關。