TW201824182A - 用於透過地理登記的多個原始感測器影像加強之方法和設備 - Google Patents

用於透過地理登記的多個原始感測器影像加強之方法和設備 Download PDF

Info

Publication number
TW201824182A
TW201824182A TW106144411A TW106144411A TW201824182A TW 201824182 A TW201824182 A TW 201824182A TW 106144411 A TW106144411 A TW 106144411A TW 106144411 A TW106144411 A TW 106144411A TW 201824182 A TW201824182 A TW 201824182A
Authority
TW
Taiwan
Prior art keywords
sensor
image
inertial
generated
state
Prior art date
Application number
TW106144411A
Other languages
English (en)
Other versions
TWI771350B (zh
Inventor
丹尼爾Ｔ 菲利普斯
Original Assignee
美商波音公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 美商波音公司 filed Critical 美商波音公司
Publication of TW201824182A publication Critical patent/TW201824182A/zh
Application granted granted Critical
Publication of TWI771350B publication Critical patent/TWI771350B/zh

Links

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/89—Radar or analogous systems specially adapted for specific applications for mapping or imaging
    • G01S13/90—Radar or analogous systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques, e.g. synthetic aperture radar [SAR] techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1652—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with ranging devices, e.g. LIDAR or RADAR
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G01C21/12—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning
    • G01C21/16—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation
    • G01C21/165—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments
    • G01C21/1656—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration executed aboard the object being navigated; Dead reckoning by integrating acceleration or speed, i.e. inertial navigation combined with non-inertial navigation instruments with passive imaging devices, e.g. cameras
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/20—Instruments for performing navigational calculations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Electromagnetism (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

一種用於從原始感測器資料產生影像的方法和設備。在一個實施例中，該方法包括從在複數個感測器慣性狀態下的一或多個感測器讀取複數個原始感測器資料集，產生複數個感測器慣性狀態中每一個感測器慣性狀態的估計，以及在保留每一個原始感測器資料集的同時產生影像，所述影像至少部分從複數個所估計的感測器慣性狀態和複數個原始感測器資料集來產生，以及產生感測器慣性狀態中至少其中一個的經更新的估計，感測器慣性狀態中至少其中一個的經更新的估計至少部分從所產生的影像和複數個所估計的感測器慣性狀態來產生。最後，從所保留的原始感測器資料集和感測器慣性狀態中至少其中一個的經更新的估計來產生增強影像。

Description

用於透過地理登記的多個原始感測器影像加強之方法和設備
本揭示關於用以從原始感測器資料產生影像的系統和方法，特別是關於用以透過地理登記來增強這種影像產生的系統和方法。
相關申請案
本申請案關於以下共同待審中且共同轉讓的專利申請案，該申請案通過引用併入於本文：申請序號為--/---,---，名稱為「METHOD AND APPARATUS FOR RAW SENSOR IMAGE ENHANCEMENT THROUGH GEOREGISTRATION」，由Daniel T.Phillips在同一天提交的申請案。
影像登記是將不同組的影像資料轉換成單一座標系統的過程。在登記過程中所使用的影像資料通常包括具有基本上相同場景的多個影像，並且這樣的影像可以在相同的時間或者在不同的時間或觀察點被拍攝。資料登記技術被用於電腦視覺、醫學成像、軍事自動目標識別、及編譯和分析來自衛星的影像和資料。為了能夠比較或整合從這些不同測量獲得的資料，必須進行登記。
在一些情況下，影像可以與影像中所描繪的相同場景的參考視圖的合成模型一起登記。例如，通過引用結合於此的美國專利申請案公 開號第2005/0220363號描述了一種用於以參考影像資料庫及/或數位高程模型(digital elevation model,DEM)來自動登記影像的處理架構。
感測器資料和後續的影像處理的收集由於進行原始感測器測量的感測器的位置之不確定性而失真。這是由於安裝感測器的平台的導航系統的不確定性、影像登記過程中的錯誤、以及通常只有有限的參考高程資料集可用於處理影像。
所需要的是減少這種失真的系統和方法。以下揭露了這種系統和方法。
為了解決以上所述的需求，本文件揭露了一種用於從原始感測器資料產生影像的系統和方法。在一個實施例中，該方法包括讀取複數個原始感測器資料集，每一個原始感測器資料集是從在複數個感測器慣性狀態下的一或多個感測器讀取，產生複數個感測器慣性狀態中每一個感測器慣性狀態的估計，以及保留每一個原始感測器資料集。每一個原始感測器資料集是在至少部分從複數個所估計的感測器慣性狀態和複數個原始感測器資料集來產生影像以及產生感測器慣性狀態中至少其中一個的經更新的估計的同時被保留，其中，感測器慣性狀態中至少其中一個的經更新的估計至少部分從所產生的影像和複數個所估計的感測器慣性狀態來產生。最後，從所保留的原始感測器資料集和感測器慣性狀態中至少其中一個的經更新的估計來產生增強影像。另一個實施例則是由用以執行上述操作的裝置來實現。
還有另一個實施例是由一種用於從原始感測器資料產生影 像的設備來實現，所述設備包括：用於產生原始資料的感測器；通信地耦合到感測器的影像處理器，用於從感測器讀取複數個原始感測器資料集，每一個原始感測器資料集是從在複數個感測器慣性狀態下的感測器讀取；慣性導航系統，通信地耦合到感測器，用於產生複數個感測器慣性狀態中每一個感測器慣性狀態的估計；通信地耦合到感測器和慣性導航系統的影像處理器，用於產生影像，所述影像至少部分從複數個所估計的感測器慣性狀態和複數個原始感測器資料集來產生；以及通信地耦合到慣性導航系統和影像處理器的地理登記系統，用於產生感測器慣性狀態中至少其中一個的經更新的估計，感測器慣性狀態中至少其中一個的經更新的估計至少部分從所產生的影像和複數個所估計的感測器慣性狀態來產生。在此實施例中，影像處理器從所保留的原始感測器資料集和感測器慣性狀態中至少其中一個的經更新的估計來產生增強影像，並且感測器在影像從原始感測器資料和感測器慣性狀態中至少其中一個的經更新的估計而產生的同時保留每一個原始感測器資料集。還有另一個實施例是由具有處理器和儲存用於執行前述操作的處理器指令而通信耦合的記憶體之設備來實現。
已經討論的特徵、功能、及優點可以在本發明的各種實施例中獨立實現，或者可以在其它實施例中組合，其進一步的細節可以參考以下描述和附圖來了解。
102A~102N‧‧‧衛星
104‧‧‧平台
105‧‧‧轉台
106‧‧‧感測器
108‧‧‧視野
109‧‧‧場景
110‧‧‧目標
112‧‧‧處理器
114‧‧‧慣性導航系統(INS)
116‧‧‧記憶體
117‧‧‧接收器
118‧‧‧地面站
120‧‧‧使用者
200‧‧‧地理登記系統
202‧‧‧原始感測器資料
204‧‧‧影像處理器
206‧‧‧影像
208‧‧‧感測器慣性狀態
210‧‧‧地理登記模組
212‧‧‧經地理登記的感測器影像
214‧‧‧參考影像資料庫
300‧‧‧地理登記系統
312‧‧‧感測器影像
320‧‧‧感測器參數
322‧‧‧平台參數
324‧‧‧感測器覆蓋區分析模組
326‧‧‧關注區(AOI)提取模組
330‧‧‧參考片
340‧‧‧數位高程模型(DEM)資料庫
342‧‧‧DEM片
344‧‧‧正射影像建構模組
346‧‧‧參考DEM片
348‧‧‧參考正射影像片
350‧‧‧感測器視角分析模組
352‧‧‧視角參數
354‧‧‧感測器轉換模型
356‧‧‧感測器視角模組
358‧‧‧視角參考影像
360‧‧‧影像匹配模組
362‧‧‧匹配函數
402~412‧‧‧方塊
422~432‧‧‧方塊
432~442‧‧‧方塊
452~462‧‧‧方塊
500‧‧‧地理登記系統
502‧‧‧記憶體
504‧‧‧硬體、軟體、或韌體模組
506‧‧‧硬體、軟體、或韌體模組
600‧‧‧電腦或系統
602‧‧‧電腦
604A‧‧‧處理器
604B‧‧‧處理器
606‧‧‧記憶體
608‧‧‧操作系統
610‧‧‧電腦程式
612‧‧‧編譯器
614‧‧‧鍵盤
616‧‧‧滑鼠裝置
618A‧‧‧圖形使用者介面模組
618B‧‧‧圖形使用者介面
620‧‧‧資料儲存裝置
622‧‧‧顯示器
624‧‧‧軟碟機
628‧‧‧印表機
630‧‧‧資料通信裝置
現在參照附圖，其中相同的元件符號始終表示相應的部分：圖1是表示感測器平台的操作之圖式；圖2是呈現示例性地理登記系統的圖式； 圖3是表示地理登記系統的更詳細實施例的圖式；圖4A~圖4D是呈現可用以從原始感測器資料產生影像的示例性處理步驟的圖式；圖5是改良的地理登記系統的實施例之圖式；以及圖6表示可用以施行處理元件的示例性電腦或系統600。
在以下的描述中，參考形成其一部分的附圖，並且通過示例的方式顯示幾個實施例。應該理解的是，可以利用其它實施例並且可以進行結構改變而不偏離本揭示的範圍。
概論
與用於從原始感測器資料產生影像的現有系統和方法不同，本文描述的系統和方法保留原始感測器影像資料(例如，合成孔徑雷達(SAR)IQ收集資料(Synthetic Aperture Radar(SAR)IQ Collection Data))。在對高解析度參考影像成功地地理登記時，原始感測器資料利用經計算的增強的感測器位置和參考影像資料而被重新處理，導致具有更高準確度和降低的失真之增強的輸出感測器影像，舉例而言，使用與反向投影類似的演算法來重新處理原始感測器SAR資料，其主要優點會在具有顯著的平面外加速度的高解析度集合中看到。其它可被改良的失真包括投影縮減和頂底位移失真，其在SAR應用中是有問題的。
平台
圖1是表示感測器平台104(以下也稱為平台)的操作之圖式。感測器平台104可在地球的大氣或空間中操作，並且可以是無人或有 人的。在一個實施例中，感測器平台是無人飛行器(unmanned air vehicle,UAV)。平台104通常包括具有視野(field of view,FOV)108的感測器106(其可以安裝在可旋轉的轉台105上)，其監視地面上或地面附近的目標110。
平台104通常還包括通信地耦合到儲存處理器指令的記憶體116之處理器112，用於執行本文所描述的操作，以及用於對平台104的移動進行慣性測量且將這些測量結果轉換成平台104的慣性狀態的估計或經由合適的座標轉換而轉換成感測器106的慣性狀態的估計之裝置，例如慣性導航系統(INS)114。通常，INS 114包括慣性參考單元(IRU)，IRU包括提供在三個正交方向中的加速度測量的三個加速度計、以及感測在三個正交方向中旋轉的三個速率感測器，例如陀螺儀。通常，INS 114還可以包括用於接收全球導航訊息的另一個接收器，舉例而言，適用於諸如全球定位系統(GPS)的系統。GPS包括複數個衛星102A~102N，它們傳輸INS 114用以幫助確定其在慣性空間中的位置的信號。在一些應用中，INS 114還可以包括星體追蹤儀或用於估計位置的其它裝置。
在一個實施例中，平台104還包括通信地耦合到處理器112的接收器117，用於與地面站118收發命令和其它訊息。使用地面站118中的電腦和其它設備，使用者120對平台提供命令並接收資料，包括由感測器106所獲得的資料。
感測器實施例
在一個實施例中，感測器106包括掃描包含目標110的場景109的SAR，並且利用從這樣的掃描所產生的原始感測器資料來建構目標 110及/或場景109的影像。
SAR是一個連貫而大部分為(航空)機載或者(太空)星載的側視雷達系統，其利用平台104的飛行路徑來電子化地模擬極大的天線或孔徑，並且產生高解析度的遠端感測影像。隨著時間的推移，單獨的發送/接收週期結束，每個週期的資料被電子化地儲存。信號處理使用來自合成孔徑的元件的連續脈衝的接收信號之振幅和相位。經過給定數量的周期後，所儲存的資料被重新組合(考慮到不同發射器內固有的多普勒效應，以在每個後續週期中訂定幾何形狀)，以建立飛越地形的高解析度影像。
SAR的工作原理與相位陣列很像，但是SAR不是使用相位陣列的大量平行天線元件，而是使用一個天線(其產生可機械式或電子式轉向的波束)且將測量加以時間多工來模擬大的孔徑感測器。天線元件的不同幾何位置是移動平台104的結果。
影像處理器將所有雷達返回信號作為振幅和相位在一段時間內加以儲存，每個信號表示從慣性空間中的關聯位置所獲取的資料。現在可以重建長度為v˙T的天線所獲得的信號，其中v是平台速度，T是時間週期。當視線方向沿著雷達平台軌跡變化時，藉由具有延長天線的效果的信號處理來產生合成孔徑。T大則“合成孔徑”大，因此可以實現更高的解析度。
當目標110首先進入雷達波束時，來自每個發射脈衝的反向散射回波開始被記錄。隨著平台繼續前進，來自目標的每個脈衝的所有回波在目標位於波束內的整個時間內會被記錄。一段時間後，目標離開雷達波束的視野的那個點，決定了模擬天線或合成天線的長度。合成的擴展波 束寬度與目標在波束範圍內隨著地面距離的增加而增加的時間相結合，彼此平衡，使得整個行跡的解析度保持恆定。SAR可達到的方位解析度大約等於實際(真實)天線長度的一半，並且與平台高度(距離)無關。產生影像的過程可以被認為是以下所述的過程，其中，隨著每個新的原始感測器資料的到達，將所輸入的原始感測器資料提供給移位暫存器，使得先前測量的原始資料被移位到相鄰的移位暫存器元件，並將新資料放入空出的元件中。然後，使用演算法操作或處理功能將來自每個移位暫存器的資料組合，隨著每個新的原始影像資料集被處理，影像的解析度得到改善(預期的結果，因為每個新的測量增加了與影像資料總量相關聯的“孔徑”)。通常，一旦產生了影像，移位暫存器中的資料被刪除或改寫，從而消除了感測器的慣性狀態的估計(通過地理登記而從影像產生)的改良可以被用來改善影像的品質的可能性。
因此，SAR使用連續的原始影像資料實例來產生影像，其使用SAR影像處理技術進行組合，將每個資料實例組合在慣性空間中的不同點處以建立完整的影像。所得到的影像的準確度取決於幾個因素，包括在拍攝每個連續影像時任何對於平台104位置的確定之準確性。對這種系統的要求是穩定的、完全一致的發射器，高效和強大的SAR影像處理器，以及感測器的飛行路徑及/或速度的知識。
SAR易受到傾斜範圍失真，包括投影縮減、頂底位移、以及陰影效應。發生這種傾斜範圍失真是因為雷達測量的是地物特徵傾斜範圍下的距離，而不是沿著地表的真實水平距離。這會導致不同的影像尺度，從近距離移動到遠距離。在雷達波束到達頂部之前，雷達波束到達朝向雷 達傾斜的高地物(例如，山脈)的基部時，發生投影縮減。由於雷達測量的是傾斜範圍下而非水平範圍下的距離，因此斜率會呈現壓縮狀態，並且斜率的長度在影像平面上會被錯誤地呈現。當雷達波束到達基部之前，雷達波束到達高地物的頂部時，發生頂底位移。來自地物頂部的返回信號會在來自底部的信號之前被接收。因此，該地物的頂部從其在地面上的真實位置朝向雷達移位，並對該地物的基部產生“頂底位移”。陰影效應隨著入射角θ的增大而增加，就像我們的陰影隨著太陽的落下而變長一樣。對所有這種傾斜範圍失真加以補償是可能的，但是這種補償至少部分依賴於對感測器的慣性狀態(例如，其位置及/或速度)的精確知識。在http：//www.radartutorial.eu/20.airborne/ab07.en.html上介紹了SAR的基本原理。
在另一個實施例中，感測器106包括也掃描包含目標110的場景109的平面成像感測器，並且利用從這樣的掃描所產生的原始感測器資料來建構目標110及/或場景109的影像。通常，平面成像感測器包括允許拍攝影像序列的相機，例如電影攝影機，並且可以感測可見光、紅外(IR)光、或紫外光波長的能量。在一些應用中，平面感測器收集整個電磁頻譜的其它波長的資料。通常，成像感測器106可以藉由操縱平台104俯仰、偏航、及轉動來定向，並且也可以在傾斜和平移方向上獨立於平台104本體而定向。這種傾斜和搖擺可以使用轉台105或類似結構以電子方式或機械方式完成。
地理登記系統
圖2是呈現示例性地理登記系統200的圖式。地理登記系統 包括通信地耦合到影像處理器204的感測器106。影像處理器204處理原始感測器資料202以產生影像206。通常，影像處理器204是專用於以產生影像206為目的之專用處理器，並且與平台處理器112不同。然而，平台處理器112也可用於執行影像處理器204的功能。
地理登記系統200還包括通信地耦合到影像處理器204的INS 114。如上所述，INS 114產生平台104的慣性狀態的估計，並且藉由合適的座標變換，隨著時間產生感測器106的慣性狀態的估計。感測器慣性狀態208可包括(舉例而言)感測器106的位置、速度、加速度、姿態、或姿態變化率。這些狀態可以相對於慣性座標空間來表示，所述慣性座標空間可以是笛卡兒座標、極座標、或其它座標方案(NED、ECEF、系統/感測器本體)。為了簡單起見，對應於一個或多個原始感測器資料收集事件的感測器的位置、速度、加速度、姿態、或姿態變化率的一個或多個估計分別被定義為原始感測器資料和感測器慣性狀態。
影像處理器204接收原始感測器資料202並處理該資料以產生影像。在感測器106是SAR的實施例中，影像處理器204接收來自在複數個實體感測器106位置處所取得的感測器106的原始IQ感測器資料202，並且當取得每個這樣的原始感測器資料時，使用感測器106的實體位置的估計來產生影像206。
影像206和感測器慣性狀態208被提供給地理登記模組210。地理登記模組210從感測器慣性狀態208、影像206、以及參考影像及/或來自參考影像資料庫的其它參考地理空間資料(例如，標高)產生經地理登記的感測器影像212。
圖3是表示地理登記系統300的更詳細實施例的圖式。將平台參數322(其可以被轉換成感測器慣性狀態208)和感測器參數332(例如，視野或FOV)提供給感測器覆蓋區分析模組324以產生由影像和感測器覆蓋區所描繪的場景的位置的估計。該訊息被提供給關注區(area of interest,AOI)提取模組326，其使用參考影像資料庫214和參考數位高程模型(DEM)資料庫340來產生參考片330和DEM片342。
平台參數322和感測器參數320也被提供給感測器視角分析模組350，感測器視角分析模組350產生視角參數352，其與描述平台和感測器之間的關係的感測器轉換模型354一起被使用，以產生用於將參考影像轉換為感測器視角的轉換。參考片330和DEM片342被提供給正射影像建構模組344以產生參考正射影像片348和參考DEM片346，其被感測器視角模組356轉換成感測器視角以產生視角參考影像358。視角參考影像358與由影像匹配模組360從原始感測器資料所產生的感測器影像匹配，以產生匹配參數。這些匹配參數定義匹配函數362，其反映將感測器影像與視角參考影像加以匹配的轉換(例如，平移、旋轉、逆視角等)。在美國專利申請案公開號第2005/0220363號中進一步描述了前述系統的示例性實施例，其通過引用併入於本文。
該經地理登記的影像212可用以增加在收集時間處發生的感測器106的慣性狀態之確定的準確性，並由此增加平台104本身的準確性。重要的是，如以下所討論的，如果原始感測器資料202被保留，則關於感測器106的慣性狀態的這個更準確的資料也可以被用來產生增強的(例如，更好的品質)影像206。為了實現於此，原始感測器資料202必須被保 留或以其它方式儲存，以便使用更準確的感測器106慣性狀態資料來重複(例如，再次執行)用以產生影像206的影像處理。因此，一旦成功地對高解析度參考影像進行地理登記，原始感測器資料202就用所計算的增強的感測器位置和參考影像資料重新處理，從而導致具有更高的準確度和降低的失真(例如，平面外加速度、投影縮減、以及頂底位移)之增強輸出感測器影像。
增強影像的產生
圖4A~圖4D是呈現可用以從原始感測器資料202產生影像206的示例性處理步驟的圖式。首先參考圖4A，在方塊402中，從感測器106讀取原始感測器資料202。在方塊404中，由INS 114產生感測器慣性狀態208的估計。通常，讀取原始感測器資料202的過程和產生感測器106的慣性狀態的估計的過程藉由獨立處理而同時執行，其中來自每個過程的數位資料被加時間標記，以便當原始感測器資料202被讀取時，允許原始感測器資料202與所估計的感測器慣性狀態208產生相關。因此，慣性估計感測器慣性狀態208可以在從感測器106讀取原始感測器資料期間或與其同時產生。
如方塊406所示，原始感測器資料202被保留或以其它方式儲存，以供稍後用於產生影像206的經更新(或增強)版本。在一個實施例中，這會藉由將原始感測器資料202儲存在與感測器106分開的記憶體(例如圖5中所示的記憶體502)中來完成。在其它實施例中，這會藉由將原始感測器資料202儲存在感測器106本身的記憶體中、儲存在作為影像處理器204或平台處理器112的一部分的記憶體中、或儲存在影像處理器 204或平台處理器112可存取的記憶體中來完成。
如方塊408所示，至少部分地從原始感測器資料202來產生影像206。這可以(舉例而言)使用圖5中所示的影像處理器204來實現。在一個實施例中，原始感測器資料包括從平面成像感測器(例如，具有對紅外光或可見光敏感的元件陣列的紅外光或可見光感測器)所獲得的資料。在該實施例中，可以從原始感測器資料產生影像，而不需要經估計的慣性感測器狀態，因為在讀取原始資料的時候的感測器位置不需要產生影像。儘管不需要產生影像，但是該資料可以被用作第二感測器資料輸入以增強如圖4C中的平台的慣性狀態的估計。
在另一個實施例中，影像處理器204會需要經估計的感測器慣性狀態208以產生影像。舉例而言，在藉由組合來自複數個感測器106位置(例如，諸如SAR的合成孔徑系統)的原始感測器資料202來產生影像206的應用中，不僅使用原始感測器資料202來產生影像206，而且還在取得原始感測器資料202時使用感測器106的慣性狀態來產生影像206。
如方塊410所示，至少部分地從所產生的影像206和所估計的感測器慣性狀態來產生感測器慣性狀態的經更新的估計。在一個實施例中，藉由對在方塊408中產生的影像進行地理登記來產生感測器慣性狀態的經更新的估計，並且使用經地理登記的影像來獲得感測器慣性狀態的更新估計。這會在下面參考圖5進一步描述。最後，在方塊412中，從所保留的原始感測器資料和感測器慣性狀態的經更新的估計來產生增強影像。
在一個實施例中，在方塊412中產生的增強影像被提供給方塊410，並用於進一步改進感測器慣性狀態的經更新的估計。由於原始感測 器資料仍然可用，所以當重複方塊412的操作時，這允許產生進一步增強的影像。這個過程可以疊代地重複，改進所產生的影像和感測器慣性狀態的估計，直到這樣的疊代不再足夠改進感測器慣性狀態的估計。
對於額外的原始感測器資料以及額外的感測器慣性狀態的估計，可以重複上述過程。例如，這可應用於使用諸如SAR的合成孔徑技術的實施例中(其中多個原始感測器資料取自不同時間點的不同位置)或多個感測器的實施例中(其中多個原始感測器資料取自在相同或幾乎相同的時間點的不同位置)。
圖4B是表示使用額外的原始感測器資料和感測器慣性狀態的估計的圖式。舉例而言，該實施例在選定的SAR應用中是有用的。在方塊422中，從感測器讀取第二原始資料。在該實施例中，感測器是讀取上述第一原始資料的相同感測器(但在不同時間的不同位置)。在方塊424中，產生第二感測器慣性狀態的估計。第二感測器慣性狀態是相同感測器的狀態，但處於與上述感測器慣性狀態不同的位置(和時間)。在方塊426中，保留第二原始感測器資料(第一原始感測器資料也被保留以供使用)。
在方塊428中，產生影像。該影像至少部分地從感測器慣性狀態的經更新的估計、第二感測器慣性狀態的估計、原始感測器資料、以及第二原始感測器資料來產生。舉例而言，在SAR實施例中，從在第一感測器位置處獲取的第一原始資料和在第二位置處獲取的第二原始資料以及在獲取原始資料的位置處的感測器狀態來產生進一步產生的影像。
在方塊430中，產生第二慣性感測器狀態的經更新的估計。第二慣性感測器狀態的這個經更新的估計至少部分地從在方塊428中所產 生的進一步產生的影像和所估計的第二感測器慣性狀態來產生。
最後，在方塊432中，使用保留的原始感測器資料、保留的第二原始感測器資料、感測器慣性狀態的經更新的估計、以及第二感測器慣性狀態的經更新的估計來產生進一步的增強影像。
類似於圖4A所示的過程，上述過程可以重複，用於額外的原始感測器資料和額外的感測器慣性狀態的估計。舉例而言，這可應用於使用諸如SAR的合成孔徑技術的實施例中(其中多個原始感測器資料取自不同時間點的不同位置)或多個感測器的實施例中(其中多個原始感測器資料取自在相同或幾乎相同的時間點的不同位置)。
圖4C是表示在使用兩個感測器的實施例中使用額外的原始感測器資料和慣性狀態的估計的圖式。在本實施例中，第一原始感測器資料和第二原始感測器取自兩個不同的感測器，並且可以在相同或不同的時間獲取。方塊432從第二感測器讀取第二原始感測器資料，而方塊434產生第二感測器慣性狀態的估計。方塊436保持第二原始感測器資料，至少只要在方塊438和440的操作被執行時(第一原始感測器資料也被保留以供使用)。在方塊438中，至少部分地從(第一感測器的)感測器慣性狀態的經更新的估計、(第二感測器的)第二估計的慣性狀態、以及來自第一感測器和第二感測器的原始資料來進一步產生影像。在方塊440中，(第二感測器的)第二慣性感測器狀態的經更新的估計至少部分地從進一步產生的影像和(第二感測器的)第二感測器慣性狀態來產生。最後，在方塊442中，從第一保留的原始感測器資料、第二保留的原始感測器資料來產生進一步的增強影像。
再次，類似於結合圖4A和圖4B所討論的實施例，可以將方塊442中所產生的增強影像提供給方塊440並且用於進一步改進第二感測器慣性狀態的經更新的估計。由於第二原始感測器資料仍然可用，所以當重複方塊442的操作時，這允許產生進一步增強的影像。
圖4D是可以用來從原始感測器資料202產生影像206的示例性處理步驟的另一個實施例的圖式。在該實施例中，期望以特定解析度覆蓋特定區域109的目標110的影像。產生關於在收集期間收集影像(時間)以及驗證影像被預測為保留在感測器106的視野108內將花費多長時間的預測。當收集不同感測器位置處的更多資料點時會獲得更高的解析度，這通常反映在用更長的時間來收集資料。當感測器平台104移動時，感測器106在複數個感測器位置或慣性狀態下開始收集原始資料(在SAR的情況下，每組原始資料從射頻脈衝獲得)的收集。INS 114為與脈衝對應的每組原始資料產生感測器位置或慣性狀態的估計。然後將每組原始感測器資料202與感測器106的慣性位置的估計相關聯。舉例而言，這可以藉由將從每個脈衝所收集的原始感測器資料202的記錄時間與感測器106的慣性狀態的估計的時間互相關聯來達成。
在方塊458中，至少部分地從原始感測器資料202(其包括來自多個脈衝中的每一個脈衝的資料集)以及感測器208對應於每個原始感測器資料202集的慣性狀態的估計來產生影像206。在方塊460中，至少部分地從所產生的影像和所估計的感測器慣性狀態來產生感測器慣性狀態的經更新的估計。在一個實施例中，這是藉由從所產生的影像206和參考影像資料庫214產生經地理登記的影像212，然後使用經地理登記的影像 212來產生感測器位置的經更新的估計來加以實現的。在方塊462中，增強影像是從保留的原始感測器資料集456和感測器慣性狀態的經更新的估計來加以產生。
再次，類似於結合圖4A~圖4C所討論的實施例，方塊462中所產生的增強影像可提供給方塊460，並且用於進一步改進感測器慣性狀態的經更新的估計。由於原始感測器資料仍然可用，所以當重複方塊462的操作時，這允許產生進一步增強的影像。
此外，可以使用感測器慣性狀態的改進估計來改善未來原始感測器資料202集合的估計的慣性狀態，從而進一步改善所產生的影像206。
在參照圖4A~圖4D所討論的實施例中，取決於所使用的感測器106，所估計的感測器慣性狀態可以包括不同的資料。例如，在由相同的感測器(例如，SAR)在不同的感測器位置獲取原始感測器資料的實施例中，所估計的感測器慣性狀態包括慣性空間中的感測器位置，並且還可以包括慣性空間中的感測器速度。在實施例中(例如，使用具有對IR，uV或可見光帶寬中的能量敏感的像素陣列的平面感測器)，當原始感測器資料被讀取時，感測器慣性狀態可以包括感測器位置和感測器姿態。
圖5是改良的地理登記系統500的實施例之圖式。圖4A、圖4B、圖4C、和圖4D的方塊410、430、440和460分別描述了其中感測器慣性狀態(或第二慣性感測器狀態)的經更新的估計至少部分地從相關影像來產生的操作。這可以藉由地理登記模組210來完成，其從所產生的影像和參考影像資料庫214以及上述的參考DEM資料庫來產生經地理登記的影像。然後至少部分地從經地理登記的影像來產生經更新的感測器慣性 狀態。這可以藉由將經地理登記的影像與DEM資料庫340中的已知特徵進行比較以及如美國專利申請案公開號第2005/0220363號中所述的經地理登記的影像來加以實現，以提供當用以產生影像的原始感測器資料被讀取時關於感測器位置的額外訊息。這種比較可以由INS 114的硬體、軟體、或韌體模組506、影像處理器204的硬體、軟體、或韌體模組504、及/或平台處理器112的硬體、軟體、或韌體模組來施行。
最後，由於可以從上述過程獲得增強影像，所以可以從增強影像和更新的感測器位置產生增強的地理登記影像。這是藉由將增強影像206(使用更新的感測器慣性狀態208所建立的)和更新的感測器慣性狀態208本身提供給地理登記模組210來完成的。由於地理登記模組210現在具有增強影像和更新的(並且更精確的)感測器慣性狀態208，可以產生增強的經地理登記的感測器影像212。當然，這種增強的經地理登記的感測器影像212可以用於進一步提高感測器慣性狀態208的準確性，該準確度又可以用於改善影像206，然後允許產生進一步增強的經地理登記的感測器影像212。因此，藉由保留原始感測器資料202，使得可以使用感測器慣性狀態208的資料來重新處理原始感測器資料202，從而可以藉由地理登記過程實現改進的準確性，定義了封閉的處理迴路，其連續地改進了影像和感測器狀態的估計。
處理環境
圖6表示可用以施行上述揭露的處理元件的示例性電腦或系統600，其包括平台處理器112、影像處理器204、地理登記模組210、部分的INS 114、接收器117、以及地面站118。電腦602包括處理器604 和記憶體，例如隨機存取記憶體(RAM)606。在需要人機介面的實施例中，電腦602可操作地耦合到顯示器622，顯示器622在圖形使用者介面618B上向使用者呈現諸如視窗的影像。電腦602可以耦合到其它裝置，例如鍵盤614、滑鼠裝置616、印表機等。當然，本領域的技術人員將認識到，上述部件、或者任何數量的不同部件、周邊裝置、以及其它裝置可以與電腦602一起使用。
通常，電腦602在儲存於記憶體606中的操作系統608的控制下操作，並與使用者介接以接受輸入和命令，並通過圖形使用者介面(GUI)模組618A呈現結果。雖然GUI模組618B被描繪為單獨的模組，但是執行GUI功能的指令可以駐留或分佈在操作系統608中、電腦程式610中，或者用專用記憶體和處理器來施行。電腦602還施行編譯器612，編譯器612允許以諸如Java、C++、C #或其它語言的程式語言所編寫的應用程式610被翻譯成處理器604的可讀碼。完成之後，應用程式610使用編譯器612產生的關係和邏輯來存取和操作儲存在電腦602的記憶體606中的資料。類似的結果可以用現場可程式化邏輯閘陣列(FPGA)來完成。電腦602還可選地包括外部通信裝置，例如數據機、衛星鏈路、以太網卡、或用於與其它電腦進行通信的其它裝置。
在一個實施例中，施行操作系統608、電腦程式610、以及編譯器612的指令有形地體現在電腦可讀取媒體中，例如資料儲存裝置620，其可以包括一個或多個固定的或可移動的資料儲存裝置，例如壓縮(zip)磁碟機、軟碟機624、硬碟機、光碟機、磁帶機等。此外，操作系統608和電腦程式610由指令構成，當由電腦602讀取和執行時，指令使電腦602 執行本文所描述的操作。電腦程式610及/或操作指令也可以有形地體現在記憶體606及/或資料通信裝置630中，由此產生電腦程式產品或製造物品。因此，本文使用的術語“製造物品”、“程式儲存裝置”和“電腦程式產品”旨在涵蓋可從任何電腦可讀取裝置或媒體存取的電腦程式。
可以理解的是，電腦系統的前述實施例包括在地面站118和類似的應用中可能有用的周邊裝置(例如，顯示器622、GUI模組618A、GUI 618、滑鼠裝置616、鍵盤614、印表機628、或編譯器612)，但是不一定要不包括在其它處理元件中。
本領域的技術人員將認識到，在不脫離本揭示的範圍的情況下可以對此組態進行許多修改。例如，本領域技術人員將認識到，可以利用上述部件的任何組合、或者任何數量的不同部件、周邊裝置、以及其它裝置。
總結
此處結束了本揭示的較佳實施例的描述。已經出於說明和描述的目的給出了對較佳實施例的上述描述。這並非意圖要耗盡或將本揭示限制為所揭露的確切形式。鑑於上述教導，許多修改和變化是可能的。所要的權利的範圍不是由以上所述的詳細描述來限制，而是由所附的申請專利範圍來限制。

Claims (13)

  1. 一種產生影像的方法，包括：讀取複數個原始感測器資料集，每一個原始感測器資料集是從一或多個感測器在複數個感測器慣性狀態下讀取；產生所述複數個感測器慣性狀態中每一個感測器慣性狀態的估計；在執行以下步驟的同時保留每一個原始感測器資料集，所述步驟包括：產生影像，所述影像至少部分從所估計的所述複數個感測器慣性狀態和所述複數個原始感測器資料集來產生；以及產生所述複數個感測器慣性狀態中至少其中一個的經更新估計，所述複數個感測器慣性狀態中至少其中一個的所述經更新估計至少部分從所產生的所述影像和所述所估計的所述複數個感測器慣性狀態來產生；以及從所保留的所述原始感測器資料集和所述複數個感測器慣性狀態中至少其中一個的所述經更新估計來產生增強影像。
  2. 如申請專利範圍第1項所述之方法，其中：產生所述複數個感測器慣性狀態中至少其中一個的經更新估計，所述複數個感測器慣性狀態中至少其中一個的所述經更新估計至少部分從所產生的所述影像和所估計的所述複數個感測器慣性狀態來產生，此步驟包括：產生所述複數個感測器慣性狀態中每一個感測器慣性狀態的 經更新估計，所述複數個感測器慣性狀態中每一個感測器慣性狀態的所述經更新估計至少部分從所產生的所述影像和所估計的所述複數個感測器慣性狀態來產生。
  3. 如申請專利範圍第2項所述之方法，其中：讀取複數個原始感測器資料集，每一個原始感測器資料集是從一或多個感測器在複數個感測器慣性狀態下讀取，此步驟包括：讀取複數個原始感測器資料集，每一個原始感測器資料集是從單一感測器在所述複數個感測器慣性狀態下讀取。
  4. 如申請專利範圍第3項所述之方法，其中：所述複數個感測器慣性狀態中每一個感測器慣性狀態的所述估計包括與所述複數個原始感測器資料集相關聯的複數個感測器位置中每一個感測器位置的估計；以及產生所述複數個感測器慣性狀態中每一個感測器慣性狀態的經更新估計，所述複數個感測器慣性狀態中每一個感測器慣性狀態的所述經更新估計至少部分從所產生的所述影像和所述所估計的所述複數個感測器慣性狀態來產生，此步驟包括：產生所述複數個感測器位置中每一個感測器位置的經更新估計，所述複數個感測器位置中每一個感測器位置的所述經更新估計至少部分從所產生的所述影像和所述所估計的所述複數個感測器位置來產生。
  5. 如申請專利範圍第4項所述之方法，其中，產生所述複數個感測器位置中每一個感測器位置的經更新估計，所述複數個感測器位置中每一個感 測器位置的所述經更新估計至少部分從所產生的所述影像和所述所估計的所述複數個感測器位置來產生，此步驟包括：從所產生的所述影像以及參考影像資料庫來產生經地理登記影像；以及至少部分從所述經地理登記影像來產生所述複數個感測器位置中每一個感測器位置的所述經更新估計。
  6. 如申請專利範圍第5項所述之方法，進一步包括：從所述增強影像和所述複數個感測器位置中每一個感測器位置的所述經更新估計來產生增強的經地理登記影像。
  7. 一種產生影像的設備，包括：感測器，用於產生原始資料；通信地耦合到所述感測器的影像處理器，用於從所述感測器讀取複數個原始感測器資料集，每一個原始感測器資料集是從所述感測器在複數個感測器慣性狀態下讀取；慣性導航系統，通信地耦合到所述感測器，用於產生所述複數個感測器慣性狀態中每一個感測器慣性狀態的估計；通信地耦合到所述感測器和所述慣性導航系統的影像處理器，用於產生影像，所述影像至少部分從所估計的所述複數個感測器慣性狀態和所述複數個原始感測器資料集來產生；以及地理登記系統，通信地耦合到所述慣性導航系統和所述影像處理器，用於產生所述複數個感測器慣性狀態中至少其中一個的經更新估計，所述複數個感測器慣性狀態中至少其中一個的所述經更新估計至 少部分從所產生的所述影像和所述所估計的所述複數個感測器慣性狀態來產生；其中，所述影像處理器從所保留的所述原始感測器資料集和所述複數個感測器慣性狀態中至少其中一個的所述經更新估計來產生增強影像，並且所述感測器在從原始感測器資料和所述複數個感測器慣性狀態中至少其中一個的所述經更新估計產生所述影像的同時保留每一個原始感測器資料集。
  8. 如申請專利範圍第7項所述之設備，其中：所述地理登記系統至少部分從所產生的所述影像和所述所估計的所述複數個感測器慣性狀態來產生所述複數個感測器慣性狀態中每一個感測器慣性狀態的經更新估計。
  9. 如申請專利範圍第8項所述之設備，其中：所述複數個感測器慣性狀態中每一個感測器慣性狀態的所述估計包括與所述複數個原始感測器資料集相關聯的複數個感測器位置的估計；以及所述地理登記系統產生所述複數個感測器位置中每一個感測器位置的經更新估計，所述複數個感測器位置中每一個感測器位置的所述經更新估計至少部分從所產生的所述影像和所述所估計的所述複數個感測器位置來產生。
  10. 如申請專利範圍第9項所述之設備，其中，所述地理登記系統：藉由從所產生的所述影像以及參考影像資料庫來產生經地理登記影像而至少部分從所產生的所述影像和所述所估計的所述複數個感測 器位置來產生所述複數個感測器位置中每一個感測器位置的所述經更新估計；以及至少部分從所述經地理登記影像來產生所述複數個感測器位置中每一個感測器位置的所述經更新估計。
  11. 如申請專利範圍第10項所述之設備，其中：所述地理登記系統進一步從所述增強影像和所述複數個感測器位置中每一個感測器位置的所述經更新估計來產生增強的經地理登記影像。
  12. 如申請專利範圍第11項所述之設備，其中，所述感測器包括合成孔徑雷達(SAR)。
  13. 一種用於產生影像的設備，包括：用以讀取複數個原始感測器資料集的裝置，每一個原始感測器資料集是從一或多個感測器在複數個感測器慣性狀態下讀取；產生所述複數個感測器慣性狀態中每一個感測器慣性狀態的估計；在執行以下步驟的同時保留每一個原始感測器資料集，所述步驟包括：產生影像，所述影像至少部分從所估計的所述複數個感測器慣性狀態和所述複數個原始感測器資料集來產生；以及產生所述複數個感測器慣性狀態中至少其中一個的經更新估計，所述複數個感測器慣性狀態中至少其中一個的所述經更新估計至少部分從所產生的所述影像和所述所估計的所述複數個感測 器慣性狀態來產生；以及從所保留的所述原始感測器資料集和所述複數個感測器慣性狀態中至少其中一個的所述經更新估計來產生增強影像。
TW106144411A 2016-12-21 2017-12-18 用於透過地理登記的多個原始感測器影像加強之方法和設備 TWI771350B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/387,493 2016-12-21
US15/387,493 US11175398B2 (en) 2016-12-21 2016-12-21 Method and apparatus for multiple raw sensor image enhancement through georegistration

Publications (2)

Publication Number Publication Date
TW201824182A true TW201824182A (zh) 2018-07-01
TWI771350B TWI771350B (zh) 2022-07-21

Family

ID=60935660

Family Applications (1)

Application Number Title Priority Date Filing Date
TW106144411A TWI771350B (zh) 2016-12-21 2017-12-18 用於透過地理登記的多個原始感測器影像加強之方法和設備

Country Status (5)

Country Link
US (1) US11175398B2 (zh)
EP (1) EP3340174B1 (zh)
JP (1) JP7403210B2 (zh)
CN (1) CN108225309B (zh)
TW (1) TWI771350B (zh)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10395017B2 (en) * 2017-02-01 2019-08-27 International Business Machines Corporation Selectively redacting digital footprint information in order to improve computer data security
US10591300B2 (en) * 2017-05-01 2020-03-17 RideOn Ltd. Fixing magnetometer based azimuth according to sun positioning
CN111750850B (zh) * 2019-03-27 2021-12-14 杭州海康威视数字技术股份有限公司 角度信息获取方法、装置和系统
CN110617802A (zh) * 2019-07-26 2019-12-27 北京控制工程研究所 一种星载动目标检测及速度估计方法

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6597818B2 (en) 1997-05-09 2003-07-22 Sarnoff Corporation Method and apparatus for performing geo-spatial registration of imagery
US6738532B1 (en) 2000-08-30 2004-05-18 The Boeing Company Image registration using reduced resolution transform space
US7197160B2 (en) * 2001-03-05 2007-03-27 Digimarc Corporation Geographic information systems using digital watermarks
US20030225513A1 (en) * 2002-04-12 2003-12-04 Nikhil Gagvani Method and apparatus for providing multi-level blended display of arbitrary shaped textures in a geo-spatial context
US20030218674A1 (en) 2002-05-24 2003-11-27 Sarnoff Corporation Method and apparatus for video georegistration
US7751651B2 (en) 2004-04-02 2010-07-06 The Boeing Company Processing architecture for automatic image registration
US7773799B2 (en) 2004-04-02 2010-08-10 The Boeing Company Method for automatic stereo measurement of a point of interest in a scene
JP4536524B2 (ja) * 2005-01-11 2010-09-01 株式会社エヌ・ティ・ティ・データ モザイク画像合成装置、モザイク画像合成方法及びモザイク画像合成プログラム
US7395156B2 (en) 2005-06-23 2008-07-01 Raytheon Company System and method for geo-registration with global positioning and inertial navigation
US7580591B2 (en) 2005-07-01 2009-08-25 The Boeing Company Method for generating a synthetic perspective image
US7873240B2 (en) 2005-07-01 2011-01-18 The Boeing Company Method for analyzing geographic location and elevation data and geocoding an image with the data
JP2008164545A (ja) 2006-12-29 2008-07-17 Mitsubishi Electric Corp 移動目標検出装置、移動目標検出方法および移動目標検出プログラム
CN100552716C (zh) * 2007-04-12 2009-10-21 上海交通大学 全局异常信号环境下基于联合显著图的鲁棒图像配准方法
JP2008304260A (ja) * 2007-06-06 2008-12-18 Mitsubishi Electric Corp 画像処理装置
EP2423873B1 (en) * 2010-08-25 2013-12-11 Lakeside Labs GmbH Apparatus and Method for Generating an Overview Image of a Plurality of Images Using a Reference Plane
US20140168264A1 (en) 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
FR3005187B1 (fr) * 2013-04-24 2015-05-29 Commissariat Energie Atomique Recalage d'images sar par information mutuelle.
CN103438904B (zh) * 2013-08-29 2016-12-28 深圳市宇恒互动科技开发有限公司 一种使用视觉辅助校正的惯性定位方法及系统
CN103745474B (zh) * 2014-01-21 2017-01-18 南京理工大学 基于惯性传感器和摄像机的图像配准方法
IL232853A (en) * 2014-05-28 2015-11-30 Elbit Systems Land & C4I Ltd Imaging Georegistration System and Method
US10274958B2 (en) 2015-01-22 2019-04-30 Bae Systems Information And Electronic Systems Integration Inc. Method for vision-aided navigation for unmanned vehicles
CN111792034B (zh) 2015-05-23 2022-06-24 深圳市大疆创新科技有限公司 使用传感器融合估计可移动物体的状态信息的方法及系统
ITUA20164568A1 (it) * 2016-06-21 2017-12-21 Thales Alenia Space Italia Spa Con Unico Socio Metodo di formazione di immagini sar per analisi interferometriche

Also Published As

Publication number Publication date
US20180172822A1 (en) 2018-06-21
JP7403210B2 (ja) 2023-12-22
JP2018139105A (ja) 2018-09-06
US11175398B2 (en) 2021-11-16
TWI771350B (zh) 2022-07-21
CN108225309A (zh) 2018-06-29
EP3340174A1 (en) 2018-06-27
CN108225309B (zh) 2023-09-26
EP3340174B1 (en) 2021-10-27

Similar Documents

Publication Publication Date Title
US10885328B2 (en) Determination of position from images and associated camera positions
US8494687B2 (en) Method for enhancing a three dimensional image from a plurality of frames of flash LIDAR data
TWI758362B (zh) 用於透過地理登記的原始感測器影像加強之方法和設備
CN104380133B (zh) 三维扫描束和成像系统
CN102741706B (zh) 地理参照图像区域的方法
TWI771350B (zh) 用於透過地理登記的多個原始感測器影像加強之方法和設備
US9709673B2 (en) Method and system for rendering a synthetic aperture radar image
Johnson et al. Real-time terrain relative navigation test results from a relevant environment for Mars landing
CN108603790A (zh) 基于无人机系统的热成像系统和方法
Yuan et al. GNSS-IMU-assisted colored ICP for UAV-LiDAR point cloud registration of peach trees
JP2017524932A (ja) ビデオ支援着艦誘導システム及び方法
EP3203266A1 (en) Stereo range with lidar correction
Leines Terrain referenced navigation using sift features in lidar range-based data
US10535144B1 (en) Projective particle filter for multi-sensor fusion
Elshorbagy A Crosscutting Three-Modes-Of-Operation Unique LiDAR-Based 3D Mapping System Generic Framework Architecture, Uncertainty Predictive Model And SfM Augmentation
US20230184950A1 (en) Non-Contiguous 3D LIDAR Imaging Of Targets With Complex Motion
Fang et al. 3D sensing techniques for multimodal data analysis and integration in smart and autonomous systems
Skaloud et al. Data Acquisition in Geographic Information Systems
Coury Development of a Real-Time Electro-Optical Reconnaissance System
Gambrych et al. SAR and Orthophoto Image Registration With Simultaneous SAR-Based Altitude Measurement for Airborne Navigation Systems