TWI767575B - 用於多影像地面控制點判定之方法、非暫時性機器可讀媒體及系統 - Google Patents

用於多影像地面控制點判定之方法、非暫時性機器可讀媒體及系統 Download PDF

Info

Publication number
TWI767575B
TWI767575B TW110105973A TW110105973A TWI767575B TW I767575 B TWI767575 B TW I767575B TW 110105973 A TW110105973 A TW 110105973A TW 110105973 A TW110105973 A TW 110105973A TW I767575 B TWI767575 B TW I767575B
Authority
TW
Taiwan
Prior art keywords
image
pixel
template
pixels
gcp
Prior art date
Application number
TW110105973A
Other languages
English (en)
Other versions
TW202203158A (zh
Inventor
理查 Ｗ 伊利
喬迪 Ｄ 弗雷特
Original Assignee
美商雷神公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商雷神公司 filed Critical 美商雷神公司
Publication of TW202203158A publication Critical patent/TW202203158A/zh
Application granted granted Critical
Publication of TWI767575B publication Critical patent/TWI767575B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/14—Transformations for image registration, e.g. adjusting or mapping for alignment of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C11/00—Photogrammetry or videogrammetry, e.g. stereogrammetry; Photographic surveying
    • G01C11/02—Picture taking arrangements specially adapted for photogrammetry or photographic surveying, e.g. controlling overlapping of pictures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/337—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30181—Earth observation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Train Traffic Observation, Control, And Security (AREA)
  • Investigation Of Foundation Soil And Reinforcement Of Foundation Soil By Compacting Or Drainage (AREA)

Abstract

本文中論述用於多影像地面控制點(GCP)判定之裝置、系統及方法。一種方法可包括自包括一第一地理區域之影像資料的一第一影像擷取一第一影像模板，該第一影像模板包括來自該第一影像之像素之一連續子集及由該GCP指示之該第一影像之一第一像素；預測一第二影像中之該GCP之一第一像素位置，該第二影像包括與該第一地理區域重疊之一第二地理之影像資料；自該第二影像擷取一第二影像模板，該第二影像模板包括來自該第二影像之像素之一連續子集及對應於該像素位置之一第二像素；識別對應於一最高相關得分之該第二影像之一第二像素；以及將經識別像素之一第二像素位置添加至該GCP。

Description

用於多影像地面控制點判定之方法、非暫時性機器可讀媒體及系統
發明領域
本文中所論述之實施例考慮用於多影像3D地面控制點(GCP)之自動擷取的裝置、系統及方法。
依據本發明之一實施例，係特地提出一種用於多影像地面控制點(GCP)判定之電腦實施方法，該方法包含：自包括一第一地理區域之影像資料的一第一影像擷取一第一影像模板，該第一影像模板包括來自該第一影像之像素之一連續子集及由該GCP指示之該第一影像之一第一像素；預測一第二影像中之該GCP之一第一像素位置，該第二影像包括與該第一地理區域重疊之一第二地理之影像資料；自該第二影像擷取一第二影像模板，該第二影像模板包括來自該第二影像之像素之一連續子集及對應於該像素位置之一第二像素；識別對應於一最高相關得分之該第二影像之一第二像素；以及將經識別像素之一第二像素位置添加至該GCP。
100:方法
102:影像/第一影像
102B:影像
104:3D點集合/3D資料集合
106:點雲資料庫/3D點雲
108,112,116,120,220,224,228,232,234,236,238,240,244,558,560,562,564,566,568,570:操作
110:合成影像/合成影像資料
110B:合成影像資料
114:連結點/TPS/TP
118:CPS/CP
122:經配準影像資料
200:方法/配準方法
222:影像塊/下一影像塊/較小影像塊
222A:合成影像塊
226:高對比度邊緣
230,230A:影像模板
242:正確偏移/總體偏移
332:影像塊
334,338:影像晶片
340:相關得分
440:第一影像塊
442:第二影像塊
550:第二影像/影像
552:GCP
554:處理電路系統
556:多影像GCP資料/多影像GCP
660,662,664,774:像素
666:第一影像模板/模板
770:地面
772:經地面投影之位置/經地面投影之點
880:第二影像模板/模板
990:經翹曲之第二影像模板
1100:電腦系統/實例電腦系統
1102:處理器
1104:主記憶體
1106:靜態記憶體
1108:匯流排
1110:視訊顯示單元
1112:文數字輸入裝置
1114:使用者介面(UI)導航裝置
1116:大容量儲存單元
1118:信號產生裝置
1120:網路介面裝置
1122:機器可讀媒體
1124:指令及資料結構/指令
1126:通訊網路
1130:無線電裝置
圖1藉助於實例說明用於將2D影像配準至3D點集合之方法之實 施例的流程圖。
圖2藉助於實例說明用於將合成影像資料配準至影像之方法之實施例的圖。
圖3藉助於實例說明影像塊之基於邊緣之配準的灰度影像晶片。
圖4藉助於實例說明影像與合成影像資料之間的TPS。
圖5藉助於實例說明用於產生多影像GCP之系統及方法之實施例的邏輯流程圖。
圖6藉助於實例說明自第一影像擷取影像模板之實施例的圖。
圖7藉助於實例說明將經擷取影像模板之一或多個點投影至第二影像之實施例的圖。
圖8藉助於實例說明自第二影像擷取影像模板之實施例的圖。
圖9藉助於實例說明使第二影像模板翹曲以匹配第一影像模板之幾何形狀之實施例的圖。
圖10藉助於實例說明將連結點座標變換至第二影像空間之實施例的圖。
圖11藉助於實例說明呈電腦系統之實例形式之機器之實施例的方塊圖，於該電腦系統內可執行用於使機器執行本文中所論述之方法中的任何一或多種的指令。
較佳實施例之詳細說明
實施例考慮自三維(3D)點集合判定與地面控制點(GCP)相關聯之(二個或多於二個二維(2D)影像之)影像座標。實施例之優點可包括提供在精確3D位置處將多個2D影像準確地連結在一起的能力。若2D影像(有時被稱為立體影像)中之二者或多於二者來自高度準確源，諸如數位點定位資料庫(DPPD)， 則經判定影像座標可用於評估3D點集合之地理定位準確度。經判定影像座標可用於將3D點集合調整至高度準確源，諸如用於目標定位。與先前技術相比，經判定影像座標可用於更快地將一或多個其他影像配準至3D點集合。
本文中所描述之實施例可將2D影像配準至3D點集合以獲得GCP。2D影像中之每一GCP可配準至一或多個其他影像以形成「多晶片GCP」。影像至影像配準可以經投影GCP位置為中心。2D影像至2D影像配準可包括交叉相關以在第二影像中發現共軛。2D影像至2D影像配準可獨立於3D點集合。一或多個品質度量可用於減少或消除錯誤。
2D影像可來自影像感測器。影像感測器可包括合成孔徑雷達(SAR)、電光(EO)、多光譜成像(MSI)、全色、紅外(IR)、夜間EO、可見光、夜間可見光或另一影像感測器。準確配準至3D源之應用包括交叉感測器融合、變化偵測、3D上下文產生、地理定位改良、目標定位、目標識別或其類似者。在一實例中，配準包括藉由將3D點集合投影至正配準之影像的影像空間且用點集合中所含有之每一點的影像強度屬性填充像素強度而形成「合成影像」。基於邊緣之二步驟配準技術，亦即粗略配準繼之以精細配準，可用於擷取一組影像塊之一組連結點(TP)(其可轉換為控制點(CP))。在一些實施例中，來源於3D點集合中之CP可用於幾何束調整中以使2D影像與3D源對準。
本揭露內容接下來首先提供對提供GCP之實例2D影像至3D點雲配準過程的描述。接著，本說明書藉由描述擷取多影像GCP之過程繼續進行。
圖1至圖4說明多影像GCP之應用。圖5至圖10說明用於判定多影像GCP之技術。
圖1藉助於實例說明用於2D影像配準至3D點集合之方法100之實施例的流程圖。方法100包括接收影像102及3D點集合104。影像102可來自SAR、EO、全色、IR、MSI、夜間EO、可見光、夜間可見光或另一影像感測 器。影像感測器可為基於衛星的，位於有人或無人駕駛飛行器上，安裝於可移動或固定平台上，或另外以合適方式定位以捕獲感興趣區域之影像102。3D點集合104可來自點雲資料庫(DB)106。3D點集合104可具有與影像102中所描繪之地理區域重疊的地理區域。在一些實施例中，3D點集合104可具有包括影像102中所描繪之整個地理區域的地理區域。在一些實施例中，3D點集合104可覆蓋比影像102中所描繪之地理區域更大的地理區域。
影像配準可在3D點集合104與影像102之間的重疊中發生。重疊中之3D點集合資料(加上不確定性區域)可作為輸入提供至操作108。重疊可藉由識別與影像102之最小值(min)X及最大值(max)Y相交的3D點集合之範圍的min X及max Y來判定，其中X及Y為影像102之幾何座標系統之軸線上的值。
操作108可包括建立合成影像資料110及其地理範圍之標度。標度可計算為3D點集合104之點間距，或計算為3D點集合104之點間距及影像102之X及Y標度的差值。合成影像資料110之地理範圍可藉由產生3D點集合104之X、Y凸包且使其與由影像102之極值之X、Y座標界定的多邊形相交來判定。此重疊區域之最小邊界矩形可界定合成影像資料110之輸出空間。
在操作108處，可將3D點集合104投影至影像102之影像空間以產生合成影像資料110。可在與影像102之影像資料相關聯之元資料中指定影像102之影像空間。影像空間可為影像之幾何形狀，諸如視角、焦距、定向、透視變換之參數、有理數多項式投影之參數及係數(例如，XYZ至影像及/或影像至XYZ)或其類似者。操作108可包括更改來源於3D點集合104之合成影像110之幾何形狀以匹配影像102之幾何形狀。由於在影像102之幾何形狀中以及在改變來源於3D點集合104之合成影像110之幾何形狀時存在誤差，因此對於一些應用，合成影像資料110可能不足以配準至影像102。
若來自3D點集合104之多於一個點投影至合成影像資料110之同 一像素，則可使用來自最接近感測器位置之3D點集合的點。此保證僅在影像102之集合幾何形狀中可見的點用於合成影像資料110中。可捨棄在經計算地理重疊區(加上某一不確定性區域)外部投影之點。
3D點集合104中之每一點可包括X、Y、Z座標、高程及色彩值(例如，灰度強度，紅色、綠色、藍色強度或其類似者)。在一些實施例中，點表示之用於產生3D點集合104之所有影像中的像素之強度的中值可用作色彩值。
影像之幾何形狀可基於與影像102中之成像操作相關聯的位置、定向、攝影機之焦距、透視變換之參數、有理數多項式投影之參數及係數(例如，影像至XYZ或XYZ至影像投影或其類似者)及/或其他元資料而判定。
初始合成影像資料110可具有未經填充之許多像素(被稱作空像素)。在3D點集合104中沒有點投影至合成影像資料110之彼像素時，產生空像素。為了填充空像素，可使用內插方法，首先在像素之鄰域中尋找相對相鄰者(與像素相鄰或遠離像素小於指定數量之像素的像素)。所有此類像素之平均值(例如，均值、中值、模式或其他平均值)可用於未初始化像素之強度值。若無相對相鄰者存在，則強度可設定成所有相鄰者之平均強度。若鄰域不含初始化像素，則外環或較大鄰域之其他像素的平均強度可用作像素之強度值。若較大鄰域(例如，中心處之像素為5×5)為空，則可將像素強度設定為0以指示其為空像素。內插過程可迭代地運行以填充額外空像素。空像素可在內插過程之後保留，但配準過程及其他應用經設計以處置此類空隙。
在操作112處，可在合成影像資料110中識別連結點(TPS)114。TP為四元組(來自合成影像資料110之列、來自合成影像資料110之行、影像102之列、影像102之行)，其指示映射至合成影像資料110之對應列及行(列，行)的影像102之列及行(列，行)。
操作112可包括對影像塊操作基於邊緣之技術以產生用於合成影 像資料110之與影像102之梯度相關的邊緣像素模板。邊緣像素模板可包括影像塊中之每一邊緣像素之梯度量值及相位方向。邊緣像素模板可僅包括高對比度邊緣(不在合成影像資料110中之空隙中或不鄰近於該空隙)。基於邊緣之相關技術之替代方案尤其包括快速傅立葉變換(FFT)或標準化交叉相關(NCC)。
在一些實施例中，操作112可包括二步驟過程，亦即粗略配準繼之以精細配準。粗略配準可對影像塊(合成影像資料110之連續像素之子集)進行操作。在合成影像資料110形成時，其可歸因於與影像102相關聯之幾何元資料的不準確性而與影像102完全未對準。配準搜尋不確定性可經設定得足夠大以確保合成影像資料110可與影像102配準。術語粗略配準偏移意謂將合成影像資料110與影像102大體上對準之配準偏移。為了使配準高效且穩固，初始配準可判定粗略配準偏移且移除該粗略配準偏移。精細配準可接著在較小不確定性區域內操作。粗略配準可採用較大不確定性搜尋區域以移除合成影像資料110與影像102之間的未對準誤差或未配準。精細配準可使用較小影像塊大小(及影像模板大小)及較小搜尋區域以識別一組TPS 114。在操作116處，TPS 114可轉換為CP。精細配準可在使用粗略配準來校正對準或配準之後執行。
在二個配準步驟中，相同技術可用於獨立地配準每一影像塊。精細配準可使用較小塊大小及較小搜尋區域。操作112可包括識別合成影像資料110之對應於高對比度邊緣像素的像素。識別合成影像資料110之對應於高對比度邊緣像素的像素可包括使用Sobel算子、Roberts算子、Prewitt算子、Laplacian算子或其他算子。Sobel算子(有時稱為Sobel-Feldman算子)為計算強度影像之梯度之近似的離散微分算子。Sobel算子返回梯度向量(或其範數)，該梯度向量可轉換為量值及相位。Roberts算子為計算對角鄰近像素之間的差之平方總和的離散微分算子。Prewitt算子類似於Sobel算子。操作112可包括使作為剛性群組之經識別高對比度邊緣像素之相位及量值與影像102之像素之相位及量值相關。
為了確保並非塊中之所有邊緣像素均在相同方向上運行(具有具有相同相位之梯度)，操作112可包括計算關於梯度量值之二個臨限值，一個針對梯度相位接近主相位方向之像素，並且另一個針對不在主相位方向上之像素。不在主相位方向上之邊緣的臨限值可低於主相位方向上之邊緣的臨限值。操作112之邊緣相關可包括對影像之梯度量值乘以合成影像資料110與影像102之間的梯度相位匹配的所有高對比度邊緣像素求和。
與合成影像資料110中之空隙相關聯的邊緣像素可經抑制且不用於與影像102之相關中。影像102不具有空隙，因此可使用影像102之所有像素的梯度。
方法100之一個態樣為如何使用來自粗略或精細配準之TPS 114來判定合成影像資料110與影像102之間的每一塊之偏移。合成影像邊緣像素模板可作為剛性群組(在無旋轉或縮放、僅平移之情況下)與影像102之梯度量值及相位相關。每一可能平移偏移處之配準得分可為影像梯度乘以相位匹配之所有模板像素的總和。雖然方法100容忍個別塊之相關中之錯誤，但必須正確地計算來自粗略配準之偏移或存在不能夠執行精細配準之風險。因為精細配準可使用較小搜尋半徑，所以偏移之誤差可使正確相關位置在精細配準之搜尋半徑之外，因此使精細配準無法正確地相關。在本文中其他處論述操作112、116之錯誤度量、偏移檢查及其他細節。
在操作116處，使用產生合成影像資料110之3D點集合104將TPS 114轉換為CPS 118。若影像102經配準至3D點集合104(經由合成影像資料110)，則CPS 118為五元組(影像102之列、影像102之行、X、Y及Z)。CPS 118可包括對應於建築物之頂部的高程。CP 118對應於場景中之點。配準藉由識別對應於合成影像110之像素所配準至的位置的點而提供3D點集合104中之恰當點的知識。
TPS 114可與3D點集合104中之對應最接近點相關聯以變成CPS 118。TPS 114可與估計經配準TP 114之準確性的誤差協方差矩陣相關聯。在於操作108處產生合成影像資料110時，可保留來自3D點集合104之每一經投影3D點的索引。至與TP 114相關聯之塊之中心的最靠近3D點可用作CP 118之座標。誤差協方差可來源於峰值處之配準得分表面之形狀、一或多個錯誤度量或其組合。
在一些實施例中，在操作120處，影像102之幾何形狀可經調整(例如，經由最小平方束平差或其類似者)以使影像102與合成影像資料110幾何對準。幾何束調整可包括非線性最小平方平差以減小(例如，最小化)影像102之CP 118與合成影像資料110之間的未對準。
此經調整幾何形狀亦可用於合成影像資料110，只是合成影像資料110相比於影像102可能具有較差解析度且可能與影像102不處於同一絕對開始列及行處。影像102之經調整幾何形狀可用於產生與合成影像資料110之絕對偏移及標度一致的合成影像資料110之投影。
在一些實施例中，在操作120收斂之後，影像102之幾何形狀可經更新以匹配經配準控制。只要TPS 114之誤差不相關，經調整幾何形狀就比TPS 114自身更準確。使用CPS之配準技術(例如，已知XYZ位置及彼位置之已知影像位置)可用於執行操作120。自CPS 118，影像102之成像幾何形狀可經更新以匹配CPS 118之幾何形狀。
現在概括調整影像102之幾何形狀(操作120)。影像元資料可包括在收集影像時感測器位置及定向之估計以及攝影機參數(諸如焦距)。若元資料與3D點集合104完全一致，則每一3D點將準確地投影至影像102中之正確光點。舉例而言，3D點集合104中之旗桿的底部將準確地投影至影像102中看見旗桿的底部之位置。但實際上，在影像102之元資料中存在不準確性。若攝影機位 置之估計有點偏差，或若經估計攝影機定向並不完全正確，則表示旗桿之底部的3D點將並不準確地投影至影像102中之底部的像素。但在經調整幾何形狀之情況下，旗桿之底部將非常接近於影像102中之底部位置投影。配準之結果為影像102之經調整幾何形狀。可使用使得影像102之經調整幾何形狀與3D點集合104一致的任何配準過程。
圖2藉助於實例說明用於將合成影像資料110配準至影像102之方法200之實施例的圖。在操作220處，自合成影像資料110擷取影像塊222。影像塊222為合成影像資料110之恰當連續子集(小於整個)，其為指定數目個像素列乘指定數目個像素行。列及行之數目可為相同或不同數目。
在操作224處，識別影像塊222之高對比度邊緣226。操作224可包括使用梯度量值直方圖及相位直方圖。針對小於指定大小之模板大小(例如，16,384個像素(例如，128×128個像素或其他數目個像素)及更小)將所要百分比設定成第一臨限值(例如，9%、10%、11%、12%、15%、更大或更小百分比，或其間之某一其他百分比)，且針對較大模板大小將所要百分比設定成第二較小臨限值(例如，4%、5%、6%、更大或更小百分比，或其間之某一其他百分比)。使用邊緣方向(相位)並非皆彼此類似之高對比度邊緣像素可為有益的。若高對比度邊緣像素具有相同相位，則將存在在垂直於邊緣方向之方向上但不沿著邊緣之可靠可配準性。因此，判定在模板中使用哪些邊緣像素的第一步驟可包括對模板影像中之所有像素的梯度相位進行直方圖化(例如，在將每一像素添加至直方圖區間時使用梯度量值作為每一像素的權重)。使用各自寬度為指定度數(例如，5度、10度、15度或其他度數)且相隔180度之二邊框窗，可執行對直方圖進行求和以找出最高窗總和。具有最高總和之邊框的中心可設定為主相位方向。像素可分成二個集合，其相位在主相位方向之+/-45度(模數180)內的彼等集合及未在這之內之彼等集合。可使用大於或小於+/-45度之間隔。可針對每一集 合設定不同梯度量值臨限值。
可能需要自二個集合中之每一者提供全部高對比度邊緣像素之約一半。為了針對特定集合進行此操作，可直方圖化彼集合中之所有像素的梯度量值。可識別實現高對比度邊緣像素總體之百分比的梯度量值臨限值。在建立二個臨限值之後，自模板移除來自每一集合之低於臨限值之所有像素。存在基於邊緣之配準提供比FFT或NCC更佳的結果的至少二個原因。首先，合成影像資料110通常歸因於3D點集合104中之空隙而具有大量空隙。即使在執行孔填充演算法時，此等空隙仍未有效地藉由FFT及NCC相關處置。第二原因為能夠使用基於邊緣之TP識別來配準至多個感測器類型。感測器類型可包括日間全色及MSI、IR、SAR、夜間EO或其類似者。在合成影像強度來自與正配準之影像的感測器模態不同的感測器模態時，FFT及NCC相關方法並不有效。相比之下，基於邊緣之相關方法跨越感測器模態有效。
在操作228處，可產生影像模板230。影像模板230與影像塊大小相同，並且在操作224處僅包括對應於經識別高對比度邊緣之彼等像素。
在操作232處，可判定影像102中之影像模板230的初始位置估計與藉由影像102中之邊緣的相位及量值指示之位置之間的偏移。初始位置估計可在產生合成影像資料110時基於3D點集合104至影像102之投影而判定。可基於影像102之幾何形狀調整3D點集合104之X及Y以產生位置估計。
對於影像模板230中之每一像素，存在至少三個值：1)其在模板中之列值；2)其在模板中之行值；以及3)其梯度相位。如先前所論述，存在對此模板與影像102所配準至之影像102有關之位置的初始估計。搜尋範圍具有使影像模板230在影像102之梯度量值及相位上及相比於該影像之梯度量值及相位剛性地移動的增量列偏移及增量行偏移。在每一偏移處，模板像素將落在配準影像102中之特定像素集合上。
為了計算用於量測相關性在彼當前偏移下有多好之度量，針對模板中之每一像素計算對應於當前偏移之影像102中之像素處的梯度量值乘以模板像素之梯度相位與影像像素之梯度相位之間的相位匹配。相位匹配可為90減去在二個相位方向上之絕對差。舉例而言，若像素處之模板相位為37且影像中之對應像素處的相位為30，則絕對相位差將為7且相位匹配值將為90-7=83。對於交叉感測器應用，梯度可指向與合成影像資料110中之邊緣正好180度相對的方向。可考量此情形。舉例而言，若影像102具有為217之相位，則絕對差將為187。因為差大於90，所以減去180以仍得到7之差。配準中之相位差因數可為90減去差或該差之另一函數。此過程允許在同一方向上延行但具有相反相位之邊緣具有較大相位匹配值。相位匹配可用於降低邊緣方向極不同於模板像素之像素的貢獻之權重(總和)。每一偏移處之得分可為在梯度量值乘以相位匹配之彼偏移下模板之所有像素的總和。具有最高得分之偏移可被視為正確配準偏移。
在操作234處，可判定影像塊222之TP是否通過錯誤測試。若干度量(錯誤度量)可用於評估TPS 114之品質以及識別錯誤(誤差來源)。錯誤度量(其臨限值可為感測器相依性的)可包括：a)配準得分；b)峰值銳度，如第二高峰值處之得分與最高得分之比率；c)配準位置處之所有邊緣像素上的平均梯度量值；d)配準位置處之所有模板邊緣像素上的平均梯度相位匹配；e)塊之配準偏移與基於所有TPS 114計算之中值偏移之間的差；或f)平均(例如，加權平均)梯度相位匹配。加權平均值、梯度量值可用作權重。可使用之另一度量為影像塊222之配準偏移與自所有TPS 114計算之中值偏移之間的差。
若經識別候選TP在操作234處通過錯誤測試，則TP可添加至受信任TPS之集合。若TP未通過錯誤測試，則可在操作236處捨棄偏移。此意謂影像塊222/影像模板230並未用於將合成影像資料110配準至影像102。在操作238處，可判定是否存在更多塊以供處理。若存在更多塊以供處理，則操作220 可接著經執行以獲得下一影像塊222。否則，可執行操作240。
操作240可在正確偏移之估計之間進行裁定。應注意，對於每一受信任影像塊，估計偏移，因此操作240嘗試判定哪一偏移為最正確的。可自所有受信任TPS計算最小平方仿射變換。受信任TP為在操作234處通過錯誤度量之TP。應注意，最小平方計算對錯誤敏感。若未發現錯誤，則可能不利地影響CP 118之間的仿射變換。偏移之估計可使用來自受信任塊之個別偏移的中值(例如，加權中值)來計算。每一TP 114之權重可為上述一或多個錯誤度量之函數。最後，可藉由在每一偏移處將所有受信任塊之配準得分組合為一個統一總得分來計算總體偏移之第三估計。具有最大統一得分之偏移可為另一總體偏移估計。哪一偏移正確之判定可僅在粗略配準中而非精細配準中予以執行。對於精細配準，每一塊經獨立地配準且獲得其自身偏移。通過錯誤臨限值之所有塊可轉換為CPS且用於幾何束調整中。
在操作240處判定正確偏移之裁定可包括判定中值TP偏移、基於受信任TP計算之仿射變換以及與來自所有TP之組合得分表面之頂部峰值相關聯的偏移。為了判定偏移之可信度，可計算來自其得分至少為最大相關得分之指定百分比(例如，70%、75%、80%、85%、90%、95%、99%、更大或更小百分比，或其間之某一百分比)的峰值之最大偏移。若最大偏移大於搜尋半徑之指定臨限值(例如，25%、50%、75%、80%、85%、90%、95%，或更大或更小百分比)，則最大組合得分偏移可被視為不可信的且被捨棄。若距離小於或等於指定臨限值，則偏移可被視為通過測試且用於判定最終偏移值。若經判定偏移通過測試，則可判定中值TP偏移。若中值TP偏移值至少為最大得分之指定百分比(例如，70%、75%、80%、85%、90%、95%、99%、更大或更小百分比，或其間之某一百分比)，則中值偏移可替換組合得分偏移。可將自影像之中心處的仿射變換計算之偏移與所選擇偏移進行比較。若仿射變換產生較小移位，則仿 射變換偏移可選擇為正確偏移242。在操作244處，合成影像資料110可在執行精細配準之前藉由總體偏移242相對於影像102移動。
在一些實施例中，操作240可包括判定偏移是否可信。操作240可包括判定偏移是否小於臨限值偏移。若否，則可捨棄偏移。若是，則可進一步裁定偏移。總體偏移之估計可使用來自受信任塊之個別偏移的中值(例如，加權中值)來計算。
為了判定組合配準得分表面之總體偏移的可信度，可計算與其得分為最大相關得分之至少90%的峰值之最大偏移距離。若距離大於搜尋半徑之指定臨限值(例如，25%、50%、75%、80%、85%、90%、95%，或更大或更小百分比)，則最大組合得分偏移可被視為不可信的。若距離小於或等於指定臨限值，則偏移可被視為通過測試。若距離通過測試，則可使用中值TP偏移。若此值為最大得分之至少95%，則中值偏移替換組合得分偏移。可將自影像之中心處的仿射變換計算之偏移與所選擇偏移進行比較。若仿射變換產生較小偏移，則可選擇仿射變換偏移。
可諸如基於TPS 114識別或判定影像102與合成影像資料110之間的仿射變換。可使用對影像102與合成影像資料110之間的TPS 114之最小平方擬合來判定仿射變換。仿射變換之結果指示對應於源影像中之給定像素的另一影像中之像素。
仿射變換為保持點、直線、平面之線性映射。亦即，源影像中之平行線在至目的地影像之仿射變換之後保持平行。不同仿射變換包括平移、縮放、剪切及旋轉。
方法200可執行一次、二次或更多次。在一些實施例中，方法200之每一連續執行可使用小於方法200之緊接在前執行中的較小影像塊222(及對應搜尋半徑)。
如先前所提及，在應用粗略配準結果(方法200之第一遍次)之後，可使用較小搜尋區域執行精細配準。可應用同一配準方法200(包括錯誤度量)。通過錯誤度量之TPS 114可使用最接近塊之中心之經投影3D點轉換為CPS 118。3D點集合104中之每一點具有與該點相關聯之強度。在3D點集合104之點(經由正配準至之影像102之幾何形狀)投影至合成影像資料110中之像素時，彼點將極有可能並不準確地投影至像素之中心。該點投影至的合成影像資料110之任何像素皆與與該點相關聯之強度相關聯。合成影像資料110可保持其強度用於填充像素之點的點識別。因為3D點集合104可不規則地間隔開且具有並非每一像素皆可被填充的空隙。合成影像資料110之每一空像素可提供有來源於被填充之相鄰者之強度。若像素不具有被填充之鄰近相鄰者(其可針對點集中之較大空隙而發生)，則彼像素可保持為空且不用於配準。在將邊緣模板配準至影像102時，模板之中心為自其獲得CP之方便位置，但中心像素可為並不具有投影至其之3D點的像素。在此類情況下，最接近中心之像素(該像素確實具有投影至其之點)可用於CP。彼點之X、Y及Z可用作CP之位置。CP之影像位置可經移位以與CP中所使用之像素相稱。影像位置可進一步移動(以子像素方式)以解釋點在像素內部的實際投影位置。舉例而言，3D點可已投影至位於像素之中心上方之像素列之七分之一且位於像素之中心右方的像素行之四分之一的點。影像位置可隨此等子像素列及行調整而移位以對應於實際投影點。
誤差協方差可來源於在峰值處之配準得分表面的形狀及品質度量。以最高得分偏移位置為中心之鄰域中的配準得分可用於計算誤差協方差。可使用以下方法。使用為三(3)之半徑描述此方法，但可使用其他半徑值。為三(3)之半徑產生以最高得分偏移之位置為中心的7×7區域。對於以最高得分偏移為中心之7×7區域，可判定最小得分。自7×7中之每一得分中減去此得分。可使用7×7判定三個總和。第一總和(sum1)可為在彼偏移乘以彼偏移與7×7之中心 之行差的平方下7×7之得分中的所有偏移的總和。因為第二總和(sum2)可為在彼偏移乘以彼偏移與7×7之中心之列差的平方下的得分。第三總和(sum3)可為在彼偏移乘以彼偏移與7×7之中心的行差乘以彼偏移與7×7之中心的列差下的得分。三個總和可除以7×7區域上之得分之總和。假設scoreSum指代7×7區域上之得分之總和。在配準影像之空間中計算此等值，該配準影像可能尚未在影像之全解析度下執行且可能需要按比例調整至全解析度。假設ratioCol為行方向上之配準影像的X標度與行方向上之影像的標度的比率。假設ratioRow為Y方向上之類似比率。CP影像位置之協方差儲存為上部三角形2×2矩陣(亦即三個值)，其中covar[0]=ratioCol×Sum1/scoreSum之平方，covar[1]=ratioCol×ratioRow×Sum3/scoreSum，covar[2]=rowRatio * Sum2/scoreSum之平方。
若錯誤臨限值之應用保持過少CP，則可迭代地放寬錯誤臨限值直至保持足夠數目之CP為止。用於減少錯誤之臨限值可為感測器相依性的。在一實例中，若通過錯誤丟棄的TPS 114之數目低於TPS 114之最小數目，則可放寬度量，以便達成TPS 114之指定最小數目。
圖3藉助於實例說明影像塊之基於邊緣之配準的灰度影像晶片。影像晶片包括德克薩斯州理查森(Richardson)之部分的點雲及影像之視圖。影像晶片之上部列展示來自合成影像塊222A之塊、來自影像晶片334中之Sobel算子的梯度量值以及經選擇以用於影像模板230A中之配準中的高對比度邊緣像素。Sobel梯度算子可用於產生合成影像塊222A及影像塊332二者之梯度量值及相位。影像塊332包括影像102之像素的真子集。圖式中之影像的下部列展示將向其配準之影像塊332、其在影像晶片338中之Sobel梯度量值，以及由使高對比度合成影像邊緣與來自在表示相關得分340之影像晶片處配準之影像的梯度相關而得到的配準得分。影像塊332大於合成影像塊222A，此係因為其必須適應合成影像塊222A之模板大小加上配準搜尋半徑(以解釋誤差)。相關得分340 (在每一偏移處)指示高對比度邊緣之最高相關出現在合成影像塊222A之中心點投影至影像塊332之中心下方及中心右側的像素的情況下。可使用較小大小及較小搜尋區域之塊重複圖2之過程以得到高對比度邊緣之甚至更好的相關。
圖4藉助於實例說明影像102與合成影像資料110之間的TPS 114。在圖4中，展示針對德克薩斯州理查森之部分之影像在合成影像資料110B與影像102B之間識別的TPS 114。圖4自合成影像資料110B說明第一影像塊440，自影像102B說明第二影像塊442。
圖5藉助於實例說明用於產生多影像GCP之系統及方法之實施例的邏輯流程圖。如所說明之系統包括處理電路系統554，其接收第一影像102、第二影像550及GCP 552作為輸入。處理電路系統554可產生多影像GCP資料556作為輸出。第一影像102已配準至3D點雲106。GCP 552經提供為將第一影像配準至3D點雲106之部分。關於圖1至圖4，提供此類配準過程之實例。GCP 552包括使3D點集合104中之點與第一影像102之像素相關聯的五元組。五元組之實例為(線、樣本、x、y、z)。多影像GCP 556包括五個條目(五元組)加上用於超出具有與GCP 552相關聯之像素的第一影像102之每一影像的二個額外條目。可產生指示哪些影像包括於多影像GCP中的影像之清單。影像之清單可為依序的，使得清單中之第一影像指示條目中之(線、樣本)之第一例項與之相關聯的影像，清單中之第二影像指示條目中之(線、樣本)之第二例項與之相關聯的影像，以此類推。在圖5之實例中，其中僅二個影像與GCP 552相關聯，多影像GCP 556包括七元組(線1、樣本1、線2、樣本2、x、y、z)，其中線1、樣本1為對應於第一影像102中與GCP 552相關聯之像素的列及行，且線2、樣本2為對應於第二影像550中與GCP 552相關聯之像素的列及行。
第一影像102及第二影像550具有重疊視野。亦即，第一影像102及第二影像550包括同一地理位置之視圖。可自不同視角獲得第一影像102及第 二影像550。不同視角可包括不同觀察角度、不同觀察位置、不同高程、其組合或其類似者。
處理電路系統554可經組配以實施用於產生多影像GCP 556之方法。處理電路系統554可包括硬體、軟體、韌體或其組合。硬體可包括電氣或電子組件。電氣或電子組件可包括一或多個電阻器、電晶體、電容器、二極體、電感器、邏輯閘(例如，AND、OR、XOR、奈閘或其類似者)、記憶體裝置(例如，隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可規劃ROM(PROM)、可抹除PROM(EPROM)、快閃記憶體或其類似者)、處理器(例如，中央處理單元(CPU)、場可規劃閘陣列(FPGA)、特殊應用積體電路(ASIC)、圖形處理單元(GPU)或其類似者)、調節器(例如，電壓、電流、功率或其類似者)、多工器、交換器、調變器、解調器、類比至數位或數位至類比轉換器，或其類似者。
由處理電路系統554實施之方法可包括操作558、560、562、564、566、568及570中之一或多者。操作558可包括自第一影像102擷取包括(GCP 552中之)GCP的影像晶片。影像晶片為包括包括GCP之像素之第一影像102的部分。
圖6藉助於實例說明操作558之實施例的圖。第一影像102包括像素660、662、664及對應強度資料。強度資料可包括黑色、白色、紅色、綠色、藍色、黃色、紅外或其他強度值中之一或多者。影像102之像素660、662、664中之每一者包括相關聯線(列)及樣本(行)。GCP 552指示與3D資料集合104之對應於GCP 552之x、y、z之點相關聯的第一影像102之線及樣本。第一影像模板666可包括其中所含之GCP 552。第一影像模板666可包括來自第一影像102之像素。在模板666中，中心像素可與GCP 552相關聯。在實施例中，第一影像模板666可包括來自第一影像102之像素的3×3、5×5、7×7、3×5、5×7或類似柵格。
圖7藉助於實例說明操作560之實施例的圖。操作560可包括將GCP 552之地面位置投影至第二影像550。操作560可包括將其他點自模板666投影至地面770。地面770可為在GCP 552之z值下的接地平面。操作560可包括將GCP 552投影至地面770，並且接著將彼點投影至第二影像550。投影可包括將像素投影至GCP 552之對應z位置(地面770)以投影至經地面投影之位置772。經地面投影之位置772可投影至第二影像550。至地面770或第二影像550之投影可經由影像幾何形狀。影像幾何形狀通常提供於影像102、550之元資料中。影像幾何形狀可由有理數多項式係數、替換系統模型(RSM)或其類似者指定。第一影像102之影像幾何形狀可用於將GCP 552投影至地面770以判定經地面投影之位置772。第二影像550之影像幾何形狀可用於將經地面投影之點772投影至第二影像550之像素774。
投影至地面770且接著投影至第二影像550之點在第一影像102與第二影像550之間提供對應性。可用僅3個非共線點來判定仿射變換，但使用至覆蓋相關區域之等間隔點之集合的最小平方擬合可更佳地執行。對應性可用於擬合(例如，經由最小平方)將第一影像102映射至第二影像550之仿射變換。應注意，知曉由GCP 552提供之位置之高程允許比一般情況下將有可能之情形更小的配準搜尋半徑。
圖8藉助於實例說明操作562之實施例的圖。操作562可包括自第二影像550擷取影像晶片(第二影像模板880)。第二影像模板880可包括像素774。像素774可在第二影像模板880之中心處。模板880之大小(像素之數目)可大於第一影像模板666。模板880之大小可幫助解釋執行操作560時之誤差。誤差可包括影像中之每一者的幾何形狀及來自GCP位置之z位置。GCP位置中可能存在誤差，因為該GCP位置來源於3D點雲。模板880之大小可幫助確保第一影像模板666與第二影像模板880內之準確位置相關。如先前所論述，知曉 GCP 552之高程(z值)將搜尋區域減小為小於在高程未知之情況下將需要的搜尋區域。
圖9藉助於實例說明操作564之實施例的圖。操作564可包括使第二影像模板880翹曲以匹配第一影像102之幾何形狀。翹曲可解釋二個影像之每一軸線中的標度差異，諸如影像軸線之地面採樣距離(GSD)差，以及第一影像102與第二影像550之間的定向差異或其類似者。使第二影像550翹曲可包括應用基於如關於操作558所論述的第一影像模板666與第二影像550之點之間的對應性而判定的仿射變換。
可諸如基於幾何連結點而識別或判定仿射變換。可使用對第一影像102與第二影像550之間的幾何連結點之最小平方擬合來判定仿射變換。接著可諸如藉由將經識別或經判定之仿射變換應用於每一像素而將影像102、550中之一者變換成另一影像之影像空間。仿射變換之結果指示對應於源影像中之給定像素的另一影像中之像素。由於仿射變換不將目的地像素準確地投影至源影像中之像素的中心，因此雙線性或另一內插法可應用於像素集合之強度以判定強度資料之更準確值。
仿射變換為保持點、直線、平面之線性映射。亦即，源影像中之平行線在至目的地影像之仿射變換之後保持平行。不同仿射變換包括平移、縮放、剪切及旋轉。操作564之仿射變換可將第二影像550中之位置平移至第一影像102中之位置。
操作566(參見圖5)可包括使第一影像模板666與經翹曲之第二影像模板990相關。操作566可包括執行經翹曲之第二影像模板990與第一影像模板666之間的標準化交叉相關(或其他相關，諸如快速傅立葉變換(FFT)、最小平方相關函數器、邊緣相關或其類似者)。第二影像模板990可填充有經內插強度值。此係至少部分因為經翹曲之第二影像模板990之像素可能不與第一影像模 板666之像素完美對準。來自第二影像550之像素強度可(經由仿射變換)投影至經翹曲之第二影像模板990。線性或另一內插法可用於判定用於填充經翹曲之第二影像模板990之像素強度值。
強度值可在執行交叉相關之前經標準化。交叉相關可包括減去平均強度值且除以強度值之標準偏差。數學術語中之交叉相關可包括1/
Figure 110105973-A0305-02-0022-1
，其中t(x,y)為影像模板，f(x,y)為子影 像，n為t(x,y)及f(x,y)中之像素之數目，μ f 為f之平均強度，μ t 為t之平均強度值，σ f 為f之強度值的標準偏差，以及σ t 為t之強度值的標準偏差。
在判定像素強度值之後，可執行操作566。最高得分偏移處之相關得分表面之形狀可用於判定真實偏移之子像素估計。子像素估計可(經由仿射變換)變換回至第二影像550之空間。
操作568包括應用一或多個錯誤度量以幫助確保GCP 552與第二影像550中之最佳像素相關聯。理想地，在對應於最佳匹配之像素的最高得分處將存在高相關得分及清晰明確之峰值二者。操作568可幫助確保品質觀測。操作568可包括最高相關得分與第一臨限值之第一比較。若最高相關得分(來自操作566)小於第一臨限值，則像素位置可經捨棄且不與GCP 552相關聯。操作568可包括第二高相關得分(在距最高相關得分之所界定距離外部)與最高相關得分之比率與第二臨限值的第二比較。若比率小於第二臨限值，則像素位置可經捨棄且不與GCP 552相關聯。若相關得分通過測試中之一或多者，則多影像GCP通過此等錯誤檢查，其將被保留，並且與通過錯誤臨限值之所有其他多影像GCP一起輸出。
圖10藉助於實例說明操作570之實施例的圖。操作570可包括將對應於最高相關得分之點座標變換至第二影像550之空間。操作570可包括使用影像幾何形狀。操作570判定第二影像550中對應於最高相關得分之線、樣本座 標。
下文為如何使用對峰值相關位置周圍之相關得分陣列之2D二次擬合以獲得最佳相關位置之子像素估計的描述。描述使用以最高得分位置為中心之相關得分之3×3集合來進行描述。實務上，相關得分之5×5集合可提供優於相關得分之3×3集合的更佳效能。用於5×5或更大二次擬合之公式類似於3×3之情況。
相關之移位之子像素估計可包括經由二次式係數之最小平方估計將二次曲面擬合至圍繞峰值之九個資料點(例如，在中心處具有峰值之3×3柵格)。在此上下文中，「子像素」係指估計空間移位之最佳實值估計，其限制條件為已判定了最佳整值移位。二次曲面可如方程式1中所界定：f(x,y)=a 1+a 2 x+a 3 y+a 4 x 2+a 5 y 2+a 6 xy 方程式1
此二次曲面之係數可經由對圍繞相關表面之峰值之3×3表面的最小平方擬合來求解，約為(k max ,l max )。為了使最小平方擬合形式化，假設約為(k max ,l max )之相關係數值枚舉為9個v x,y 強度值，因為x,y各自之範圍為-1、0至+1。索引可經平移以使得峰值以零為中心且x,y之值採用以下9種排列：x
Figure 110105973-A0305-02-0023-12
{-1,0,+1}
y
Figure 110105973-A0305-02-0023-13
{-1,0,+1}
在經平移x,y座標處之相關係數之值可因此給出為
Figure 110105973-A0305-02-0023-14
峰值自身之值可標示為v 0,0。
a i 係數之最小平方解之方程式可為
Figure 110105973-A0305-02-0024-3
最小平方觀測方程式可因此書寫為
Figure 110105973-A0305-02-0024-4
其中H之列將方程式3中之x,y的估值冪表示為其值在先前指定之9種排列範圍內。V之對應列可為方程式3中之相關聯之相關係數v x,y ，並且X為6個a i 係數之解向量。
最小平方解可給出為方程式5：X=(H T H)-1 H T V 方程式5
最後一點係關於邊界條件。情況可為：峰值位置(k max ,l max )恰好落在相關表面之邊緣上。在此情況下，不能正式地將排列之(x,y)值轉換為真正以「峰值」為中心之值。若出現此類邊界條件，則對應平移可經調節以消除邊界條件，諸如藉由選擇最接近邊界之3個點(如與以峰值為中心相比)，或其類似者。
由於整值峰值已經判定為處於周圍所有點之上，因此二次曲面必須在圍繞峰值之3×3區域內具有全域最大值。此最大值之x,y位置可為模板與搜尋窗之間的位移之(k max ,l max )之子像素細化。
方程式1之梯度可由方程式6給出
Figure 110105973-A0305-02-0024-5
將每一方程式設定為零提供
Figure 110105973-A0305-02-0025-6
峰值之位置可藉由經由克拉莫規則(Cramer's rule)將上述方程組求解為以下方程式來獲得
Figure 110105973-A0305-02-0025-7
Figure 110105973-A0305-02-0025-8
其中E=-2a 2 a 5+a 3 a 6 方程式10
F=-2a 3 a 4+a 2 a 6 方程式11
Figure 110105973-A0305-02-0025-10
應注意，為了結合圍繞峰值之3×3區域內之解，檢查關於解向量[x s y s ]的以下條件：
Figure 110105973-A0305-02-0025-11
若未滿足方程式13中之任一條件，則此指示並非「強峰值」之最大位置。在此情況下，來自方程式7之梯度方程式條件可表示局域最大值或鞍點，並且可經由任意低優值(例如，零、負數或其類似者)之分配而將相關結果捨棄為「弱」。
否則，若方程式13中之條件得到滿足，則可如在方程式14中計算子像素峰值實值位置。
(k max ,l max ) subpixel =(k max ,l max )+(x s ,y s ) 方程式14
方法之輸出可包括多影像GCP 556。多影像GCP 556包括來自多個影像之線、樣本座標及3D資料集合104中之點之對應x、y、z。多影像GCP 556具有許多實務應用。舉例而言，多影像GCP 556可用於在精確3D位置處將 多個2D影像準確地連結在一起。若2D影像中之一或多者來自高度準確源，則多影像GCP 556可用於評估3D點集合之地理位置準確度。經判定影像座標可用於將3D點集合調整為高度準確源，諸如用於目標定位。與先前技術相比，經判定影像座標可用於更快地將一或多個其他影像配準至3D點集合。
圖11藉助於實例說明呈電腦系統1100之實例形式之機器之實施例的方塊圖，於該電腦系統內可執行用於使機器執行本文中所論述之方法中的任何一或多種的指令。在網路連接式部署中，機器可以伺服器用戶端網路環境中之伺服器機器或用戶端機器的身分而操作，或操作為同級間(或分散式)網路環境中之同級機器。機器可為個人電腦(PC)、平板PC、機上盒(STB)、個人數位助理(PDA)、蜂巢式電話、網路器具、網路路由器、交換器或橋接器，或能夠執行(依序或以其他方式)指定待由彼機器採取之動作的指令之任何機器。另外，儘管僅說明單個機器，但術語「機器」亦應被視為包括個別地或聯合地執行指令集(或多個指令集)以執行本文中所論述之方法中的任何一或多種之機器的任何集合。
實例電腦系統1100包括經由匯流排1108彼此通訊之處理器1102(例如，中央處理單元(CPU)、圖形處理單元(GPU)或這二者)、主記憶體1104以及靜態記憶體1106。電腦系統1100可進一步包括視訊顯示單元1110(例如，液晶顯示器(LCD)或陰極射線管(CRT))。電腦系統1100亦包括文數字輸入裝置1112(例如，鍵盤)、使用者介面(UI)導航裝置1114(例如，滑鼠)、大容量儲存單元1116、信號產生裝置1118(例如，揚聲器)、網路介面裝置1120以及諸如藍牙、WWAN、WLAN及NFC之無線電裝置1130，從而准許對此類協定應用安全性控制。
大容量儲存單元1116包括機器可讀媒體1122，其上儲存有體現本文中所描述之方法或功能中之任何一或多者或供其利用的指令及資料結構(例如，軟體)1124之一或多個集合。指令1124亦可在其由電腦系統1100執行期間完全或至少部分地駐存於主記憶體1104內及/或處理器1102內，主記憶體1104 及處理器1102亦構成機器可讀媒體。
儘管機器可讀媒體1122在一實例實施例中經展示為單個媒體，但術語「機器可讀媒體」可包括儲存一或多個指令或資料結構之單個媒體或多個媒體(例如，集中式或分散式資料庫，及/或相關聯快取記憶體及伺服器)。術語「機器可讀媒體」亦可被視為包括能夠儲存、編碼或攜載由機器執行且使機器執行本發明之方法中的任何一或多者的指令或能夠儲存、編碼或攜載由此等指令利用或與此等指令相關聯之資料結構的任何有形媒體。術語「機器可讀媒體」應相應地被視為包括但不限於固態記憶體及光學與磁性媒體。機器可讀媒體之具體實例包括非依電性記憶體，包括(藉助於實例)半導體記憶體裝置，例如可抹除可規劃唯讀記憶體(EPROM)、電可抹除可規劃唯讀記憶體(EEPROM)及快閃記憶體裝置；磁碟，諸如內部硬碟及抽取式磁碟；磁光碟；以及CD-ROM及DVD-ROM磁碟。
指令1124可進一步使用發射媒體經由通訊網路1126發射或接收。指令1124可使用網路介面裝置1120及許多眾所周知的傳送協定(例如，HTTP)中之任一者來發射。通訊網路之實例包括區域網路(「LAN」)、廣域網路(「WAN」)、網際網路、行動電話網路、簡易老式電話(POTS)網路及無線資料網路(例如，WiFi網路及WiMax網路)。術語「發射媒體」應被視為包括能夠儲存、編碼或攜載供機器執行之指令且包括數位或類比通訊信號或其他無形媒體以促進此軟體之通訊的任何無形媒體。
額外註釋及實例
實例1可包括用於多影像地面控制點(GCP)判定之電腦實施方法，該方法包含：自包括一第一地理區域之影像資料的一第一影像擷取一第一影像模板，該第一影像模板包括來自該第一影像之像素之一連續子集及由該GCP指示之該第一影像之一第一像素；預測一第二影像中之該GCP之一第一像 素位置，該第二影像包括與該第一地理區域重疊之一第二地理之影像資料；自該第二影像擷取一第二影像模板，該第二影像模板包括來自該第二影像之像素之一連續子集及對應於該像素位置之一第二像素；識別對應於一最高相關得分之該第二影像之一第二像素；以及將經識別像素之一第二像素位置添加至該GCP。
在實例2中，實例1可進一步包括使用一標準化交叉相關針對以該第二影像模板之多種像素為中心的該第一影像模板判定各別相關得分。
在實例3中，實例2可進一步包括將該等相關得分中之一最高得分與一第一臨限值進行比較，並且在比率小於第二臨限值之情況下捨棄該第二像素位置。
在實例4中，實例3可進一步包括將該最高相關得分與一第二高相關得分之一比率與一第二臨限值進行比較，並且在該比率小於該第二臨限值之情況下捨棄該第二像素位置。
在實例5中，實例1至4中之至少一者可進一步包括，其中該第一像素為該第一影像模板之中心。
在實例6中，實例1至5中之至少一者可進一步包括，其中該第二像素為該第二影像模板之中心。
在實例7中，實例1至6中之至少一者可進一步包括在識別該第二像素之前使用一仿射變換使該第二影像模板翹曲。
在實例8中，實例7可進一步包括將該經識別第二像素投影至該第二像素之一影像空間以判定該第二像素位置。
實例9可包括一種非暫時性機器可讀媒體，其包括在由一機器執行時使得一機器執行用於判定一多影像地面控制點(GCP)之操作的指令，該等操作包含：自包括一第一地理區域之影像資料的一第一影像擷取一第一影像模 板，該第一影像模板包括來自該第一影像之像素之一連續子集及由該GCP指示之該第一影像之一第一像素；預測一第二影像中之該GCP之一第一像素位置，該第二影像包括與該第一地理區域重疊之一第二地理之影像資料；自該第二影像擷取一第二影像模板，該第二影像模板包括來自該第二影像之像素之一連續子集及對應於該像素位置之一第二像素；識別對應於一最高相關得分之該第二影像之一第二像素；以及將經識別像素之一第二像素位置添加至該GCP。
在實例10中，實例9可進一步包括，其中該等操作進一步包含使用一標準化交叉相關針對以該第二影像模板之多種像素為中心的該第一影像模板判定各別相關得分。
在實例11中，實例10可進一步包括，其中該等操作進一步包含將該等相關得分中之一最高得分與一第一臨限值進行比較且在比率小於第二臨限值之情況下捨棄該第二像素位置。
在實例12中，實例11可進一步包括，其中該等操作進一步包含將該最高相關得分與一第二高相關得分之一比率與一第二臨限值進行比較，並且在該比率小於該第二臨限值之情況下捨棄該第二像素位置。
在實例13中，實例9至12中之至少一者可進一步包括，其中該第一像素為該第一影像模板之中心。
在實例14中，實例9至13中之至少一者可進一步包括，其中該第二像素為該第二影像模板之中心。
在實例15中，實例9至14中之至少一者可進一步包括，其中該等操作進一步包含在識別該第二像素之前使用一仿射變換使該第二影像模板翹曲。
在實例16中，實例15可進一步包括，其中該等操作進一步包含將該經識別第二像素投影至該第二像素之一影像空間以判定該第二像素位置。
實例17可包括一種系統，其包含：一記憶體，其包括儲存於其上之一地理區域之第一及第二影像的影像資料；以及處理電路系統，其耦接至該記憶體，該處理電路系統經組配以執行實例1至8中之至少一者之方法的操作。
儘管已參考具體實例實施例描述了實施例，但將顯而易見，可在不脫離本發明之更廣泛精神及範疇之情況下對此等實施例進行各種修改及改變。因此，本說明書及圖式應在說明性意義上而非限制性意義上看待。形成本文之部分的隨附圖式藉助於說明而非限制來展示可實踐主題之具體實施例。足夠詳細地描述所說明之實施例以使熟習此項技術者能夠實踐本文中所揭示之教示。可利用其他實施例並且自本文中導出其他實施例，使得可在不脫離本揭露內容之範疇的情況下作出結構及邏輯的取代及改變。因此，此詳細描述並非以限制性意義獲得，並且各種實施例之範疇僅藉由所附申請專利範圍以及此等申請專利範圍授權的等效物之完整範圍界定。
100:方法
102:影像/第一影像
104:3D點集合/3D資料集合
106:點雲資料庫/3D點雲
108,112,116,120:操作
110:合成影像/合成影像資料
114:連結點/TPS/TP
118:CPS/CP
122:經配準影像資料

Claims (14)

  1. 一種用於多影像地面控制點(GCP)判定之電腦實施方法，該方法包含：自包括一第一地理區域之影像資料的一第一影像擷取一第一影像模板，該第一影像模板包括來自該第一影像之像素之一連續子集及由該GCP指示之該第一影像之一第一像素；預測一第二影像中之該GCP之一第一像素位置，該第二影像包括與該第一地理區域重疊之一第二地理之影像資料；自該第二影像擷取一第二影像模板，該第二影像模板包括來自該第二影像之像素之一連續子集及對應於該像素位置之一第二像素；使用一標準化交叉相關針對以該第二影像模板之多個像素為中心的該第一影像模板判定個別相關得分；將該等相關得分中之一最高得分與一第一臨界值進行比較，並且在比率小於第一臨界值之情況下捨棄第二像素位置；識別對應於該最高相關得分之該第二影像之一第二像素；以及將經識別像素之一第二像素位置添加至該GCP。
  2. 如請求項1之方法，其進一步包含將該最高相關得分與一第二高相關得分之一比率與一第二臨界值進行比較，並且在該比率小於該第二臨界值之情況下捨棄該第二像素位置。
  3. 如請求項1之方法，其中該第一像素為該第一影像模板之中心。
  4. 如請求項1之方法，其中該第二像素為該第二影像模板之中心。
  5. 如請求項1之方法，其進一步包含在識別該第二像素之前使 用一仿射變換使該第二影像模板翹曲。
  6. 如請求項5之方法，其進一步包含將該經識別第二像素投影至該第二像素之一影像空間以判定該第二像素位置。
  7. 一種非暫時性機器可讀媒體，其包括在由一機器執行時使得一機器執行用以判定一多影像地面控制點(GCP)之操作的指令，該等操作包含：自包括一第一地理區域之影像資料的一第一影像擷取一第一影像模板，該第一影像模板包括來自該第一影像之像素之一連續子集及由該GCP指示之該第一影像之一第一像素；預測一第二影像中之該GCP之一第一像素位置，該第二影像包括與該第一地理區域重疊之一第二地理之影像資料；自該第二影像擷取一第二影像模板，該第二影像模板包括來自該第二影像之像素之一連續子集及對應於該像素位置之一第二像素；使用一標準化交叉相關針對以該第二影像模板之多個像素為中心的該第一影像模板判定個別相關得分；將該等相關得分中之一最高得分與一第一臨界值進行比較，並且在比率小於第一臨界值之情況下捨棄第二像素位置；識別對應於該最高相關得分之該第二影像之一第二像素；以及將經識別像素之一第二像素位置添加至該GCP。
  8. 如請求項7之非暫時性機器可讀媒體，其中該等操作進一步包含將該最高相關得分與一第二高相關得分之一比率與一第二臨界值進行比較，並且在該比率小於該第二臨界值之情況下捨棄該第二像素位置。
  9. 如請求項7之非暫時性機器可讀媒體，其中該第一像素為該第一影像模板之中心。
  10. 如請求項7之非暫時性機器可讀媒體，其中該第二像素為該 第二影像模板之中心。
  11. 如請求項7之非暫時性機器可讀媒體，其中該等操作進一步包含在識別該第二像素之前使用一仿射變換使該第二影像模板翹曲。
  12. 如請求項11之非暫時性機器可讀媒體，其中該等操作進一步包含將該經識別第二像素投影至該第二像素之一影像空間以判定該第二像素位置。
  13. 一種用於多影像地面控制點判定之系統，其包含：一記憶體，其包括有儲存於其上之一地理區域之第一及第二影像的影像資料；處理電路系統，其耦接至該記憶體，該處理電路系統組配來：自該第一影像擷取一第一影像模板，該第一影像模板包括來自該第一影像之像素之一連續子集及由GCP指示之該第一影像之一第一像素；預測該第二影像中之該GCP之一第一像素位置；自該第二影像擷取一第二影像模板，該第二影像模板包括來自該第二影像之像素之一連續子集及對應於該像素位置之一第二像素；使用一標準化交叉相關針對以該第二影像模板之多個像素為中心的該第一影像模板判定個別相關得分；將該等相關得分中之一最高得分與一第一臨界值進行比較，並且在比率小於第一臨界值之情況下捨棄第二像素位置；識別對應於該最高相關得分之該第二影像之一第二像素；以及將經識別像素之一第二像素位置添加至該GCP。
  14. 如請求項13之系統，其中該處理電路系統進一步組配來將該最高相關得分與一第二高相關得分之一比率與一第二臨界值進行比較，並且在該比率小於該第二臨界值之情況下捨棄該第二像素位置。
TW110105973A 2020-02-25 2021-02-20 用於多影像地面控制點判定之方法、非暫時性機器可讀媒體及系統 TWI767575B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/800,846 2020-02-25
US16/800,846 US11538135B2 (en) 2020-02-25 2020-02-25 Automatic multi-image 3D ground control point extraction

Publications (2)

Publication Number Publication Date
TW202203158A TW202203158A (zh) 2022-01-16
TWI767575B true TWI767575B (zh) 2022-06-11

Family

ID=74885078

Family Applications (1)

Application Number Title Priority Date Filing Date
TW110105973A TWI767575B (zh) 2020-02-25 2021-02-20 用於多影像地面控制點判定之方法、非暫時性機器可讀媒體及系統

Country Status (6)

Country Link
US (1) US11538135B2 (zh)
EP (1) EP4111415A1 (zh)
AU (1) AU2021200882A1 (zh)
CA (1) CA3109679A1 (zh)
TW (1) TWI767575B (zh)
WO (1) WO2021173659A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116862985B (zh) * 2023-09-01 2023-11-10 江苏中安建设集团有限公司 一种土地高精度定位电子信息化监测方法
CN117392166B (zh) * 2023-12-13 2024-02-02 江西东锐机械有限公司 一种基于地平面拟合的三阶段点云地面分割方法
CN117765272B (zh) * 2024-02-22 2024-05-28 国科大杭州高等研究院 一种辐射-几何不变的异源影像控制点提取方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104574347A (zh) * 2013-10-24 2015-04-29 南京理工大学 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
US9275267B2 (en) * 2012-10-23 2016-03-01 Raytheon Company System and method for automatic registration of 3D data with electro-optical imagery via photogrammetric bundle adjustment
US20180372493A1 (en) * 2017-06-27 2018-12-27 Infatics, Inc. (DBA DroneDeploy) Method and system for aerial image processing
US20200020116A1 (en) * 2018-07-10 2020-01-16 Raytheon Company Synthetic image generation from 3d-point cloud
US20200020072A1 (en) * 2018-07-10 2020-01-16 Raytheon Company Multi-source image fusion

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9542755B2 (en) * 2012-10-22 2017-01-10 Sony Corporation Image processor and image processing method
US9171365B2 (en) * 2013-11-29 2015-10-27 Kabushiki Kaisha Toshiba Distance driven computation balancing
EP3312762B1 (en) * 2016-10-18 2023-03-01 Axis AB Method and system for tracking an object in a defined area
WO2019054045A1 (ja) * 2017-09-15 2019-03-21 富士フイルム株式会社 医療画像処理装置、医療画像処理方法及び医療画像処理プログラム
US11682232B2 (en) * 2018-02-12 2023-06-20 Samsung Electronics Co., Ltd. Device and method with image matching

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9275267B2 (en) * 2012-10-23 2016-03-01 Raytheon Company System and method for automatic registration of 3D data with electro-optical imagery via photogrammetric bundle adjustment
CN104574347A (zh) * 2013-10-24 2015-04-29 南京理工大学 基于多源遥感数据的在轨卫星图像几何定位精度评价方法
US20180372493A1 (en) * 2017-06-27 2018-12-27 Infatics, Inc. (DBA DroneDeploy) Method and system for aerial image processing
US20200020116A1 (en) * 2018-07-10 2020-01-16 Raytheon Company Synthetic image generation from 3d-point cloud
US20200020072A1 (en) * 2018-07-10 2020-01-16 Raytheon Company Multi-source image fusion

Also Published As

Publication number Publication date
US20210264561A1 (en) 2021-08-26
US11538135B2 (en) 2022-12-27
TW202203158A (zh) 2022-01-16
WO2021173659A1 (en) 2021-09-02
CA3109679A1 (en) 2021-08-25
EP4111415A1 (en) 2023-01-04
AU2021200882A1 (en) 2021-09-09

Similar Documents

Publication Publication Date Title
AU2019301133B2 (en) Image registration to a 3D point set
TWI767575B (zh) 用於多影像地面控制點判定之方法、非暫時性機器可讀媒體及系統
US20080247602A1 (en) System and Method for Providing Mobile Range Sensing
US11568638B2 (en) Image targeting via targetable 3D data
Tjahjadi et al. Precise wide baseline stereo image matching for compact digital cameras
Cournet et al. Ground truth generation and disparity estimation for optical satellite imagery
US10937180B2 (en) Method and apparatus for depth-map estimation
Nguyen et al. Coarse-to-fine registration of airborne LiDAR data and optical imagery on urban scenes
Boukerch et al. Multispectral and panchromatic registration Of alsat-2 images using dense vector matching for pan-sharpening process
KR101775124B1 (ko) 위성영상의 위치 정확도 개선을 위한 자동영상처리시스템 및 방법
Mkhitaryan et al. RGB-D sensor data correction and enhancement by introduction of an additional RGB view
Arteaga Meléndez et al. A method for mosaicking aerial images based on flight trajectory and the calculation of symmetric transfer error per inlier
CN109029365B (zh) 电力走廊异侧影像连接点提取方法、系统、介质及设备
CN116258759B (zh) 一种立体匹配方法、装置和设备
Rajamohan et al. Using Edge Position Difference and Pixel Correlation for Aligning Stereo-Camera Generated 3D Scans
Boukerch et al. A Dense Vector Matching Approach for Band to Band Registration of Alsat-2 Images
Jende et al. A Guided Registration Strategy Employing Virtual Planes To Overcome Non-Standard Geometries–Using The Example Of Mobile Mapping And Aerial Oblique Imagery
Eslami et al. a Novel Tie Point Based Strategy for Point Cloud and Imagery Data Fine Registration
Liu et al. Seamless stitching with shape deformation for historical document images
Strakhov et al. a New Control Points Based Geometric Correction Algorithm for Airborne Push Broom Scanner Images Without On-Board Data
CN116337015A (zh) 一种无外业控制点的航空摄影测量生产方法及系统
WO2024095557A1 (en) Systems and methods for processing multi-modal images
Audi et al. Implementation of a Real-Time Stacking Algorithm in a Photogrammetric Digital Camera for Uavs