TW200836129A - Panchromatic modulation of multispectral imagery - Google Patents

Description

200836129 九、發明說明： 【發明所屬之技術領域】 本發明係關於影像處理，且更转索士 + 旯特疋5之係關於一用於融 合包含一全色影像與一多譜影偾夕 ^ 夕曰〜像之一影像對的影像處理方 【先前技術】 在遠端影像感測的領域中，兩個f見的影像類型包括全 色影像與多譜影像。全色影像係藉由具有—設計成用以僅 在：很寬頻帶中摘測電磁能量的感測器之—遠端感測裝置 :料的影像。此-很寬頻帶通t包括大部分可見光波 長。王色影像具有提供很高空間解析度的優點。相反，多 常係由可見光區域與近紅外線區域内的數個窄頻 組成，各係藉由回應光譜二像二r U曰 < 不冋部分（例如藍色、綠色、 :二：:卜線二感測器產生。多譜影像較為有利，因為 二二傻7從一類似全色影像獲得的頻譜資訊。然而，與 „比’多譜影像通常具有一較低的空間解析产。 像要使用"'全色影像之高解析度來料-多譜影 】等=現此:果，此項技術中已知的係可組合或"融合" 二=:::係關於兩個影像之登錄的需要。登錄 争—王〜像巾之各像素映射至多譜影像中之位置的 程二—般必須以較大精確度來完成此 王中之各像素需要係以少於0’丨全色 127181.doc 200836129 像素半徑之—精確度映射至多譜影像。存在若干傳统方法 映射。當執行融合程序時必須克服的第二問題 原入、=合影像之輻射值保持與⑴原始多譜

原始全色影像一致。 ％ J . 影像融合程序的傳統演算法受到數個限制。例 〃 I過分簡單化地假設該全色影像中之高空間解析 度像素應與該多级旦彡後+ —Μ , 门工間解析 °θ〜像之㈣料析度像素組合或融合的 •解1斤声此等假設包括：⑴假設該全色影像之高空間 解析度像素作為一方璜孚 7料均降低取樣至該多譜影像之低空 曰-’以及(2)假設該全色影像之 藍色頻譜頻帶之均句加權平均。 、、米色及 關於從該全色影像 门鮮析度至該多瑨影像之相對較低 又+低取樣像素之程序，、Β 複雜的方法。例如，在二f::-法―用-略微更 在某二凟异法中，該全色影像之高空 又像素不僅係作為-方塊平均而降低取樣。而一點 瞻f函數（PSF)係用於決定將該全色影像之高空間解析度 像素降低取樣至與該多譜影像一致的像素之方式。該 PSF(有時稱為儀5|狳 # σ線形）係猎由一感測器及其相關聯光學 =糊或漫射-光點之方式的特徵描述。因此，關於一 感測裔之P S F的知辦沉m 識了用於從該全色影像至該多譜影像降 =取樣該高空間解析度像素。特定言之，可將該pa用來 疋義用於組合硬數個高解析度像素之個別像素以形成處 於更低解析度之一星一 » 更大像素的加權系統。然而，傳統 〉貝鼻法中的P S F僅孫^ /汗、 係以感測器幾何形狀資料（例如孔徑、聚 127181.doc 200836129 ==等)為基礎來近似。如此，—係 琢成ί态系統之直眚 PSF將不包含一仏定、、:月確表*。此夕卜’一預計算的 特定資訊，例如f彡像預處理 之且錄與假影中的殘餘偏移誤差。 【發明内容】 銓於則述說明’需要一用於融合包含 色影像之—影像對的改良方法。 ⑽像與王 本發明係關於一種用於由一 ^miJr , L 3冋解析度全色影像與較 :解析度…像之影像對產生一融合影像的方法及系 該第一 像貝枓開始，其定義一全色影像類 型之一第一影像與-多譜影像類型之“像類 影像具有-第一空間解析声… 弟-“象。錄弟 二间解析度與一第一頻譜解 影像具有低於該第一空間解柄声夕— Μ弟一 ]解析度之一弟二空間解析产盥古 於該第一頻譜解析度之一第_ 又一回 傻讲… “之弟-頻谱解析度。然後，在該影 ί執订-登錄程序以提供該第_影像中之點至第二影 像中之對應位置之一幾何映射。 各亥方法還包括同時計算用於蔣 第- τ，心㈣¥ —㈣降低取樣至該 弟-工間解析度之-點散佈函數I與心將該第二影像 降低取樣至該第-頻譜解析度之一權重集I的步驟。㈣ 放佈函數與該權重集係明確最佳化至該影像對之 t該方法之計算步驟包括構建一矩陣等式用於同時求解 Ur 一最小平方誤差方法係有利地用於求解該矩陣 等式使用此技術’该點散佈函數與該頻譜權重集可以係 計算以在將構成該影像對的影像之各影像映射至一共同低 127181.doc 200836129 解析度全色影像時最小化輻射 ^ ^ ^ > 耵的十方钕差。例如，該共同 低解析度可以係該第-办ρ弓站 一…-“間解析度與該第-頻譜解析度。 卜 果不形成具有該第一空間解析度 與該第二頻譜解析度之融合影像。 上面提及的計算舟 yHw+p。中的Ψ有鱼w系立包括同時求解等式 1 λ Wx’其中ρ係降低取樣至該 弟一空間解析度之一像夸 像之針對^該多譜影 像之頻諳頻帶λ的頻譜權重，Μ # 卜 ^ , Μλ^、針對包含該第二影像 之各頻^頻^的一像素之韓 係包含料奋旦1 W值Ρ0係一恆定偏移值，Pi，j

你ώ 3孩全色影像的一俊 γ，J 乐數。#A /、輻射值；及'係該點散佈 Μ數該5十异步驟還可句枯播邊 ψ與貨1，及便用^ 陣等式用於同時求解 ^使用—最小平方擬合方法求解該矩陣等式。 该方法還包括融合嗲繁一旦 Μ弟一衫像與該第二影 有該第-空間解析度鱼“象以初始化具 又/、必弟一頻譜解析度一 然後，該點散佈函數鱼gI m ^ ^ 用於依據开集係用於決定縮放因數，其 縮放定義該融合影像之德去豕京之季.射值來 抑幻士 像素之#射值°此步驟涉及使料 .，沾放佈函數與該權重华來 以 頻譜解析合影像降低取樣至該第一 進-步_放:融—:= 影像之像素輻射信Γ 輻射值以使其與該第二 影像之像素輻射值以… 及縮放該融合 致。 1更-與該弟-影像之像素輻射值一 種用於由一包含高解析度 依據另一態樣，本發明包括一 127181.doc 200836129 全色影像與較低解析度多儀 的系絲w —狀㈣料± -融合影像 的糸、洗。该糸統包括—用於儲存定旦 ， 料與定義-第二影像之_ 衫像之影像資 〜像貝科的貧料儲存器。續篦一与 像類型係一全色影像類型 " ^ 類型。該第-影像且有Γ: 係一多譜影像 有一弟一空間解析度與一第一頻譜解 =析Γ二影像具有低於該第一空間解析度之-第二空 :=第二影像還具有高於該第-頻譜解析度之- 第一頻讀·解析度。 :系統還包括一電腦處理系統，其係使用一適 程式化用於實施上述程序。 集 w 序口此，該電腦處理系統係經組 悲用於同時計算用於將該第一 、 銥f 〜彳冢k低取樣至該第二空間 解析度之一點散佈函數與用 第-頻譜解析度之一權重华=月:广像降低取樣至該 用於使用該權重集來形成:有：第電=系統亦係經組態 頻譜解析度之-融合該第二 法，藉由該電腦處理系统叶瞀 ，、使用上迷方 確最佳化至該影像對之㈣特性。^重集係明 【實施方式】 現將在下文中參考其中顯示本發明之解說性具體實施例 之附圖更全面地說明本& w 然而，此發明可用許多不同 形式加以執行且不應視為受 ^ 又奉文所楗出的具體實施例限 制。例如，可將本發明執行為一方法、一 = 一電腦程式產品。因此，本發明如一系、'先或 體實施例、-完全軟體且體km如一完全硬體具 八體只施例或一硬體/軟體具體實 127181.doc 200836129 施例的形式。 了在電細糸統中實現本發明。或者，可在數個互連電 腦系統中實現本發明。調適成用於實施本文說明之方法的 任一種電腦系統或其他設備皆適用。硬體與軟體之一典型 組合可以係一通用電腦系統。該通用電腦系統可具有一電 月b程式，其可控制該電腦系統以使其實施本文說明的方 法。 本發明可採取一電腦可使用儲存媒體（例如一硬碟或一 CD-ROM)上之一電腦程式產品的形式。該電腦可使用儲存 媒體可具有在該媒體中執行的電腦可使用程式碼。如本文 所使用的術語電腦程式產品表示由致能本文說明之方法之 實施方案的所有特徵組成的裝置。本背景中的電腦程式、 軟體應用程式、電腦軟體常式及/或此等術語之其他變化 表示用任何語言、程式碼或記號寫成的任何指令集表達 式，其目的係使一系統具有資訊處理能力，以直接或在以 下動作之任一者或兩者之後執行一特定功能：幻轉換成另 浯δ、程式碼或記號；或b)以一不同的材料形式再生。 現將參考圖丨至圖6說明本發明之具體實施例。本發明的 某些具體實施例提供關於影像融合功能的方法、系統及設 備，該等影像融合功能包括獲得影像資料、登錄該影像資 料、決疋权準係數及將該專校準係數施加至特定影像資 料。因此，下面進一步說明包括所列功能的具體實施例。 現參考圖1，提供一電腦處理裝置100的方塊圖。電腦處 理裝置100包含一系統介面112、一使用者介面1〇2、一中 127181.doc -11 - 200836129 央處理單元H)4、-系統匯流排⑽、—透過系統匯流排 106連接至電腦處理裝置1〇〇之其他部分並可藉由該電腦處 理裝置100之該等其他部分存取的記憶體1〇8，以及連接至 系統匯流排106的硬體實體11〇。該等硬體實體之至少 某些硬體實體執行涉及存取與使用記憶體1〇8的動作，該 記憶體可以係一 RAM、一磁碟機及/或一 cd_r〇m。— 使用者介面102利於使用者產生存取與啟動一校準應用

程式及/或-融合應用程式之請求的動作。使用者介面二2 可包含-顯示螢幕、揚聲器及一輸入構件，例如小鍵盤、 方向鍵、方向鈕及/或麥克風。 系統介面112允許該電腦處理裝置1〇〇透過網際網路、 LAN(local area network;區域網路）或WAN與外部電腦處 理裝置通信。系統介面112還允許該電腦處理裝置1〇〇傳送 資料並從一或多個外部資料庫擷取資料。 記憶體108可包括I/〇(input/output ;輸入/輸出）裝置驅動 器程式碼與操作系統程式碼。記憶體1〇8還可包括影像資 料、校準應用程式碼及融合應用程式碼。依據本發明之一 態樣，該影像資料可包括高頻譜資料，例如一多譜影像。 該影像資料還可包括高空間解析度，例如一全色影像。 硬體實體11〇可包括微處理器、ASIC(a=icati· specific integrated circuit;應用特定積體電路）及其他硬 體。硬體實體110可包括使用一 1/0裝置驅動器與一:業系 統程式化的微處理器。硬體實體110還可包括使 用於 執行-影像融合程序之電腦軟體常式程式化之—微處理 127181.doc -12- 200836129 下面將就圖2更洋細地說明該影像融合程序。硬體實 體m可進—步包括使用-融合應用程式程式化之一微處 理器’該融合制程式侧独合兩個或更多影像以提供 增加的影像内容。 熟習此項技術者將明白圖1解說的電腦處理裝置架構係 -《處理裝置之一可能範例 '然而，本發明並不在此方 面文限並還可使隸-其他適合的電腦處理裝置架構而不 受限制。

現將就圖2中之流程圖更詳細地說明本發明。本文揭示 的影像融合料係㈣融合—全色與多譜影像對。然而， 應明白圖2揭示的程序僅係出於解說目的提供且本發明並 不限於此方面。應明白，用於實施本發明之程序與常式的 電腦程式碼可以一物定向程式語言（例如⑧、

Smalltalk、C++或visual Basic)來寫成。然而，用於實施

本發明的電腦程式碼還可以傳統程序程式語言（例如程 式語言）來寫成。 I 如本文所使用，術語"融合"或"融合影像"分別表示一程 序或由此-程序獲得之—影像，纟中_高解析度全色影^ 係用於銳化相對低解析❹譜影像之解析度。術語"影像 對"表示相同表面或標的之一高解析度全色影像與一：對 低解析度乡譜影像。目而’該全色影像與該乡譜影像各由 緊密相關的影像資料組成。 〜 參考圖2A，一程序200可在步驟2〇2開始並繼續至步驟 204。在步驟2G4中，針對由—多譜影像與—全色影像組成 127181.doc •13- 200836129 之一影像對獲得影像資料。熟習此項技術者將明白，若藉 由一全色影像成像的表面不與藉由該多譜影像成像之表面 月…員重$ ’則一融合影像將沒有什麼價值。因此，應明白 有利的係本文提及的影像對係選擇以屬於一般標的或一般 表面區域。例如，該等影像可以係地球的一般地理區域。 本文說明的影像對係進一步假設具有特定其他特性。在 收集全色與多譜影像之間的時間期間，移動物件（例如車 輛/、海/良）不大可能在該等兩個影像之間正確登錄，從而 導致登錄與校準的誤差。若獲得該些影像之間的時間超過 數分鐘，則太陽位置的改變將導致陰影的明顯改變與表面 照明的變化，其係以表面法線與太陽對準的程度為基礎。 =可導致明顯的校準與登錄誤差。若全色與多譜影像的收 集之間經過數天，則可存在大氣條件的明顯改變。若經過 數月’則由於冰、雪、雨、從樹木落下的樹葉、新的生長 物所致可存在表面性質的明顯改變。因此，一般較佳的係 構成每-影像對之全色與多譜影像係由幾乎相同的位置獲 得以便減低此類誤差。此將該登錄程序顯著簡化成僅偏 移、縮放及旋轉。關於步驟206來更詳細地說明該登錄程 序。 應明白，該全色與多譜影像對較佳的係在彼此之-很短 時間框内獲得。例如，每-影像有利地在另_影像的一分 鐘内獲得。儘管如此，熟習此項技術者將明白可結合不滿 足此等準則㈣像對來制本發明，其具有劣化的結果。 例如’可將該程序用於在大致相同的時間使用不同感測器 127181.doc •14· 200836129 平台獲得的影像對。 在步驟⑽中，該影像資料可藉由控制處理單元ι〇4來處 理亚係儲存於，己憶體1G8中。該影像資料包括像素資料。 控可以係經組態以用於使用此像素資料以 一表心格式來填人記憶體1G8。針對該多譜影 素資料可包括各像素的電磁波長特性、在-栅格上的位置 及幸曰射值。與一全色影像相關聯^ ^ ^ ^ ^ ^ ^ ^ ^ S - 1Λ, + ^ 豕I貝枓亦可精由控制

處理早TC1G4來處理並係館存於記憶體1G8卜針對該入色 影像之像素資料可包括針對與該全色料相關聯之=辛 的輕射資料。控制處理單元1〇4可以係經組態以用於依據 一表格來填人記㈣1㈣使該全色影像資㈣像素在- 柵格上的位置相關聯。 一旦獲得該等料，㈣序便可以步驟2咖續。步驟 2〇6係關於針對至少兩個影像之資料的登錄。熟習此項技 術者熟知用於登錄不同影像資料集的技術。因@，本文將 不詳細說明此類技術。然而’應明白此項技術中已知的任 一此技術皆可與本發明一起使用。 一般而言，登錄步驟206涉及全色影像中之各點映射至 多譜影像中之位置的決定。為獲得最佳結果，一般必須以 較大精確度來完成登錄程序。存在若干傳統方法用於實現 此映射。通常，其涉及在—影像中選擇若干點，找到其映 射至另一影像中的位置，及接著最佳化一變換之係數。此 通常係一最小平方誤差解式，其允許獲得一最小化從一影 像至另一影像之映射點的平方誤差的係數集。為獲得該融 I27181.doc -15- 200836129 “壬序中的最佳結果，較佳的係使用藉由小於由〇 ι全色 像素疋義之尺寸的誤差距離定義之一精確度來將該全色影 像映射至該多譜影像。 ，步驟206之登錄程序蚊點從該全色影像之座標至該多 冑影像之座標的映射。此映射可如以下形式之-線性變換 一樣簡單： 、 X1 r=ax2+by2+x0 φ 或模型化感測器與成像表面兩者之幾何形狀之-複雜變 換。如上所述，此類技術在此項技術中為人熟知。 在步驟206中登錄該影像資料之後，該程序繼續至步驟 210，其用於決定特定校準值。此等校準值包括：（1)一權 重集，其應係施加至針對構成該多譜影像之頻帶的輻射值 以便其精確對應該全色影像之像素中的輻射值；以及（2)一 點散佈函數（PSF)，其精確定義針對形成該全色影像之複 數個像素的輻射值應係組合以形成該多譜像素之一單一 _ (更低空間解析度）像素之一單一輻射值的方式。 在說明獲得上述校準值所必需的步驟之前，有益的係首 先考里此等杈準值為必需的原因。如本文所使用，術語t，輕 _ 射值’’ 一般表示指派給一像素之一數位值，其旨在表示在 藉由該像素定義之位置藉由一感測器接收的光能之強度。 在此方面，應明白可在兩個不同感測器中不同地縮放此等 輻射值。因此，將明白在可按一有意義方式將來自兩個不 同感測器之輻射值組合在一起之前，必須在某種程度上藉 由使用適合的加權因數來調整或縮放來自兩個不同感測器 127181.doc -16- 200836129 之輻射值。

在校準值情況下’必須明白—特定場景的完整多譜影像 實:上係由數個影像頻帶組成。在該等數個影像頻帶之各 頻帶中’感測器回應一很有限的光學波長範圍。圖3解說 此概念’其顯示表示—感測器對四個不同光學波長頻帶之 回應的曲線3〇1、302、303、304。該感測器本質上針對藉 由該等回應曲線3()1、3〇2、3〇3、綱表示之各光學頻帶產 ^-影像。在此範例中，-單—多譜影像會由藉由該感測 器使用此等四個頻譜頻帶獲得之影像組成。熟習此項技術 者將明白不同的感測器系統可具有或多或少的光學頻帶。 相反’該全色影像係—單—影像，其係藉由回應—更寬的 光學波長範圍之-感測器獲得。在圖3中，藉由曲線3〇〇來 解說該全色感測器之回應。 在圖3中，可看出針對各種多譜頻帶的感測器之回應曲 線3〇1、302、303、304與針對相同波長的全色感測器之回 應曲線300相比可極為不同。感測器對各種光學頻帶之回 應的此等差異將導致與該全色影像相比與針對該多譜影像 之各像素相關聯的輻射值之間的縮放差異。 該等校準值係用於縮放藉由該多譜感測器測量的各像素 之輻射值以對應由該全色感測器得出的輻射值之縮放。例 如，考量0·5 μηι處藉由曲線300與3〇1表示的頻譜回應。該 曲線301具有一大致1·0之頻譜回應，而該全色感測器之頻 譜回應顯示在大約0.35之範圍内之一平均頻譜回應。暫時 忽略藉由曲線301定義之波長範圍内曲線3〇2之回應，使用 127181.doc •17- 200836129 具有回應曲線301之特性之一感測器的多譜影像中之像素 的輻射值可能會需要藉由一大約0.35之加權值來縮放以便 此類輻射值係適當校準至藉由具有曲線3〇〇所示之回應之 一感測器測量的該些值。實際上，適當的頻譜校準會要求 與圖3中之各頻譜頻帶相關聯的像素輻射值需要係加在一 起以獲得一總輻射值，其係適當地縮放至使用具有曲線 3〇〇定義之回應之一感測器獲得的輻射值。圖4解說此程 序。 數學上，可如以下等式（1)來表達前述程序： Ρ^^Σ^Μ..λ+Ρ〇 其中：

Pi，j係各降低取樣的像素之全色輻射·， 1以系針對該等頻譜頻帶之各頻帶的頻譜權重； 1^#係針對構成該多譜影像之各頻譜頻帶之各像素的輕射 值；以及 P〇係一恆定偏移值。 現參考圖5,可觀察到上面提及的校準值集涉及空 放而非頻譜縮放。空間降低取樣涉及降低取樣來自該全色 影像的複數個高解析度像素㈣值以 決疋針對—單—更低解析度像素之-單-輻射值。該等高 解析度像素之輻射值之一簡單平均程序不會提供一精確結 果：因為：未將與可能已執行以產生該全色影像的光學裝 置感測盗及其他處理相關聯的點散佈函數㈣適當考 127181.doc -18- 200836129 慮在内。 可將該PSF看作一基於數學函數或表格的模糊之特性描 述，該模糊係在-光點藉由與產生該全色影像相關聯的光 學裝置、感測器及其他影像處理功能進行處理時發生於該 $點。圖6係用於理解此概念之-範例性點散佈函數的圖 示。該PSF之一精確特性描述或表示可允許一組像素内之 不同高解析度像素的輻射值係更精確地降低取樣至一單一 φ t大像素。此係在圖5中概念上解說，其顯示-四個高解 析度料之集係降低取樣至_單〜更大的更低解析度像 素。藉由Ψχ表不之PSF運作為該等高解析度像素_、_、

Pio Pl 1之各像素上之一選擇性加權因數以更精確地將此 等像素之輻射值降低取樣至與一更大像素p相關聯之一單 值。更特定言之，使用該PSF來捲積該全色影像之像素 的輻射值以決定針對一單一更大、更低解析度像素之一降 低取樣值。 Φ 别述程序可在等式（2)中數學上表達為：

1>J 其中： P係該空間降低取樣之像素的輻射值。

Pw係構成，亥全色影像之一高解析度像素的輻射值；以及 平心係該點散佈函數或PSF。 等式⑴與（2)表示產生一降低取樣（更低解析度）的全色影像 的兩個方式。—方法以多譜影像開始而另-方法以全色影 127I81.doc -19- 200836129 如像開始。然而，兩 _ ,. u万去皆產生一全色影像。因此，可 一起使用前述等式（1)鱼 帶的相厂、（2)來計算wj該等頻譜頻帶之各頻 τ的頻瑨權重）與屮 政佈函數或PSF)的實際值。針對各 降低取樣的像素，存在等式(3): Σ ^λΜλ + i> Λ 其中：

Pj係各降低取樣的像素之全色輻射； ^係針對該等頻譜頻帶之各頻帶的頻譜權重； Μλ係針對構成該多譜影像之各頻譜頻帶之各像素的輻射 值； Ρ〇係一恆定偏移值

Pi’j係構成該全色影像之一高解析度像素的輻射值；以及 T j係該點散佈函數或p s F。 使用前述等式（3)，可組裝—矩陣等式用於計算κ該等 頻譜頻帶之各頻帶的頻譜權重）與^(點散佈函數）的值二、 可按矩陣形式將等式已知強度與位置權重之—線性 組合）重寫為針對與該多譜影像相關聯的所有像素的等式 之一線性系統，如下：

Ax=b 等式（4) 其中A係藉由來自該等全色與多譜影像之指定輻射值所填 入的矩陣，X係未知數（PSF與頻譜權重）之一而旦 、 7 问里，而b係 數值常數（例如0、1)之向量。因而，可將該矩陣等式（句如 下寫為· 127181.doc -20- 200836129 yo,o

Pnj M0 0 M, 0 -1 Ψ 1 氺 W =： 0 p〇 • 等式（5) 熟習此項技術者將明白該矩陣之第一ηχη行與藉由該psF 調變的高解析度全色像素之部分相關。此等值係乘以該矩 陣之向量中的第-ηχη個未知數。該矩陣的下一組行係題 (multiple spectral image;多譜影像）輻射值的負數。此等 值係藉由該等頻譜權重W調變並表示乘以該矩陣之向量中 的下一組未知數。該矩陣的最後行係針對除第一列之外的 所有值之-常數-1。此-i值係用於說明該怪定偏移&並表 示乘以該矩陣之向量中的最後未知數。 該矩陣等式之第-列施加該PSF之η χ η個元素之和為】的 =束，其係-點散佈函數之—定義特性。在此方面，可注 意在等式（5)最右側上的常數向量之第一列係顯示為具有一 值1。而且，在等式（5)最左側上的矩陣之第一列中，第一 組行中的值錢定為i，而其餘行之第—列中之值係設定為^此等值係以此方式來選擇以便選擇屬於該咖之元素 的第一 η X η個未知數。 該矩陣等式的第二列實施藉由該PSF(p〇〇...pn，·譜降低 取樣的兩解析度全色輻射值等於該等頻譜降低取樣的刪 輻射值（鳥"為）的要求。等式⑺最右側上的常數向量之 第二列中的零值反映此平衡。該第二狀結構係針對該 題影像中之各像素作為該矩陣等式中之—分離列而重 複。熟習此項技術者將容易地明白此矩陣之一給定列針對 該多譜影像之—特定像素簡化成等式3。 127181.doc • 21 * 200836129 P〇>o'i/o)o+...+pn)nTn)n-M〇W〇-...-MbWb-p〇=0 k再次參考圖2所示之流程圖，該程序藉由求解該矩陣等 式（4)以決定該等PSF加權因數\與該等頻譜校準加權因數 (包括一恆定偏移P〇)在步驟212中繼續。由於該多譜赞 像中的大量像素與尋求的相對較少的未知權重所致，藉由 矩陣等式（4)定義之等式系統通常係超定。等式之解式Z藉 由使用傳統技術得到，例如為人熟知的最小平方方法 [AtA]x=Atb 其中，左側藉由矩陣之轉置的相乘導致一對稱矩陣等式。 存在許多為人熟知的方法用於有效率地求解此形式之矩陣 等式。因為此等技術在此項技術中為人熟知，故此處將不 詳細說明。 在已計算針對頻譜校準之PSF與加權因數之後，該程序 繼續至步驟216。在步驟216中，產生一融合影像。步驟 216中產生的融合影像並非藉由圖2之程序產生的最終融合 影像。而可將步驟216中產生的融合影像視為用於下述進 -步處理之-初步估計m肖融合影像係在步驟 216中藉由將該多譜影像升高取樣至該全色影像之空間解 析度來產纟。步驟216中之此升高取樣程序實際上由圖π 中表示的數個中間步驟232至239組成。 現參考圖2B，可觀察到步驟216中說明的程序可以步驟 232開始。在步驟232中，使用來自步驟2〇6之登錄資料來 執行一映射功能。此映射功能涉及將與該多譜影像相關聯 之各像素之一中心點映射至該全色影像上之一對應位置。 127181.doc -22- 200836129 f在許多傳統映射技術可用於此程序。來自該多講影像的 許夕像素中〜不會與該全色影像之像素位置精確對準。因 七y驟234係-内插步驟，其用於決定位於與該多譜多 像相關聯的像素之中心之間的全色像素處之輕射值。對於 纟與所映射乡譜f彡像像素之巾^精確對準的此類全色像素 • :置'^内插的輕射值°結果係產生對應該多譜影像頻 帶” N"之-融合影像頻帶"N"。在步驟⑽中，決定是否已 φ ^該等多譜影像頻帶之各頻帶產生-融合影像頻帶。若 否，則在步驟239中遞增"N"值並#對下一多譜影像頻帶重 複該程序。當已針對各多譜影像產生融合影像頻帶時，該 合影像之初始化完成且該程序返回至圖2A中的步驟 在步驟218中’該程序藉由約束形成該融合影像之像素 的輻射值以便其與該多譜影像的輻射值一致來繼續。在此 背景下，若來自該融合影像頻帶之像素的輻射值在降低取 • #至該多譜影像之空間解析度時等於對應多譜影像頻帶中 相同幾何位置處之像素的輻射冑，則可以說該等值"一致 ” °步驟218中提及的獲得—致性之程序實際上由如圖心斤 . 示的數個步驟（MO至244)組成。在步驟24〇中，使用步驟 2丨2中計算的PSF來將各融合影像頻帶降低取樣至該多譜影 像之空間解析度。特定言之，可使用等式2來執行此= 取樣程序。該降低取樣程序產生針對處於該多譜影像之空 間解析度的降低取樣之像素的輻射值。然而，最初，針^ 該等降低取樣之像素的輻射值一般不會匹配針對該多譜影 127181.doc -23- 200836129 像之對應像素的輻射值。 錢因此，在步驟244中，調整針對 该4融合衫像頻帶之像素的 兮1入少後此 田射值。特疋5之，調整來自 該融合影像頻帶之像素的輻 多雄值^便畜其係降低取樣至該 =心像之空_析料料降低取樣 像頻帶的像辛=:象:相同幾何位置的對應多譜影 各種步驟。1 。圖扣更詳細地說明此程序中涉及的 ::考圖2D，可觀察到步驟244由步驟_ :步=中’選擇-第-融合影像頻帶，，。在步驟262 :二程=由針對各融合影像頻帶像素計算一縮放因數 =、戈。較佳的係以針對頻帶"M"中的多譜影像之各像素 的^值與由該融合影像頻帶"m "降低取樣之一對應像素 、值之比為基礎來決㈣縮放因數。在步驟264中， 放^數施;m驟Μ中降低取樣的融合影像頻 傻哺〜 驟6中，決定是否已針對所有融合影 1元成該縮放。若否，則在步驟加中遞增該融合影 頻且該程序返回至步驟262以針對下一頻帶計算縮 值。若已針對所有融合影像頻帶計算縮放值，則該程序 返回至圖2A中之步驟22〇。 在v驟22G中’空間上模糊構成該融合影像之各頻帶。 模糊係用於影像處理的一般技術且存在許多可藉其執行空 間模糊的傳統方法。因此’此處不詳細說明模糊'然而， 热習此項技術者將明白本文說明的空間模糊可包括使用_ 捲積程序。捲積係基於相鄰像素之值的像素值之修改。在 127181.doc -24- 200836129 基本方塊模糊程岸Φ，旦:W多A Μ 辛乘以心像係猎由將各像素及其相鄰像 素采以一數值矩陣（稱為一核心）來捲積。例如，可將—3x3 矩陣用於此目的。此矩陣本質上俜施加[令 素的局部群組。使該群植中之像 、、、中之各像素乘以適當矩陣值，加 總並正規化該编I W ^ ^ 〜、數，並猎由結果取代該群組中的中心像 “如此’應明白存在若干不同技術係常用於模糊。 =等技術之任-者可與本發明—起制，若其產生一所· 杈f月效應。則述模糊之目的係平滑該影像。 為更充分明白前述模糊之目的’應明白僅施加將該融合 料頻譜上降低取樣至原始全色影像的約束一般不足以獲 :針對該嘁合影像之輻射值的唯一解式。而本發明致力於 提供經受此等約束的最平滑融合影像。明確地說，較佳的 二在四個方向（即水平、垂直及兩個對角線）上最小化於各 融合像素之各頻帶的第二導數。此模糊顯著減低橫跨MSI 像素邊界的與不連續相關聯的假影，即使在該等全色像素 幸田射值橫跨該邊界平滑地改變時。有利的係，針對每一迭 代來％加上述3χ3運算子之使用及本文說明的其他約束。 因此，過度平滑會被防止且不會發生。該最終融合影像具 有該王色影像的所有高空間頻率分量。因而，應明白本文 說明的平滑操作避免過度銳化該融合影像，其可導致高頻 假影，例如MSI區塊或斑點。 在步驟220中將該模糊功能應用於該影像之後，圖2A中 的程序繼續至步驟222。在步驟222中，調整融合影像之輻 射值以使其與該全色影像之像素值一致。換言之，調整該 127181.doc •25· 200836129 融合影像像素值以便當頻譜上降低取樣至該全色影像時所 得降低取樣之像素具有與該全色影像之像素值的輕射 值。此程序實際上由關於圖找㈣進一步詳細揭示的^個 步驟組成。 現參考㈣，該程序可以步驟246繼續。在步驟⑽中， 使用先前步驟212中計算的頻譜權重來將該等融合影像頻 帶降低取樣至該全色影像之頻譜解析度。使用等式！來執 行此程序。 該降低取樣程序產生針對於該全色影像之頻譜解析度的 降低取樣之像素的輻射值。然而，最初，針對該等降低取 樣之像素的輻射值一般不會盥 針對4全色影像之對應像素 的輻射值一致。在此背景下， 右不自該4融合影像頻帶之 像素的幸§射值在降低取才笔$ ㈣取樣至該多It影像之頻譜解析度 於對應全色影像中相同幾何 、 a j伹置處之像素的輻射值，則可 以說該等值，，一致”。因此， 在步驟250中，調整針對該等 5衫像頻，之像素的輻射值以獲得此-致性。特定言 之’調整來自該融合影俊瓶册 、 〇 ^ ^ 丨 Ύ之像素的輻射值以便當其係 降低取樣至該全色影像之 貝°曰解析度時该專降低取樣之像 素的像素輻射值將更加 法^ 配針對該全色影像的像素輻射 值。圖2F更詳細地說明卜 况月此私序中涉及的各種步驟。 現參考圖2F，將在步驟270至278中f ^ 25〇。在步驟270中，選擇…巾更砰細地說明步驟 擇弟一融合影像頻帶，，M”。在步 驟272中，該程序藉由針對各融合影像頻帶像辛計曾一缩 車4的係以針對全色影像之各像素的輻射 127181.doc -26- 200836129 值與由該融合影像頻帶降低取樣之一對應像素的輻射值之 比為基礎來決定該縮放因數。在步驟274中，將該縮放因 數施加至在步驟246中降低取樣的融合影像頻帶"M"之像 素。在步驟276中，決定是否已針對所有融合影像頻帶完 成該縮放。若否，則在步驟278中遞增該融合影像頻帶"吣, 且該程序返回至步驟272以針對下一頻帶計算縮放值。若 已針對所有融合影像頻帶計算縮放值’則該程序返回至圖 2A中之步驟224。 •在步驟224中’決定該融合影像之輻射值是否已係收 斂。此決定可涉及關於步驟218中該融合影像之調整的輻 射值疋否在數值上足夠接近步驟222中獲得的融合影像之 調整的輻射值之一決定。若步驟224中未找到足夠高的收 斂程度，則該程序可返回至步驟218至222從而進一步調整 該等融合影像像素輻射值。 【圖式簡單說明】 ⑩ &乡考以下附圖就明具體實施例，纟中在所有圖式中相 似數字表示相似項，且其中： 圖1係可用於理解本發明之一電腦處理裝置的方塊圖。 圖係用於融合一全色影像與一多冑影像之一程序的流 圖〇 θ係，.、、員示用以產生一全色景多像與一多譜影像的感測器 之頻譜回應之一範例的曲線圖。 圖4係顯示頻譜權重係如何用於_多譜影像之—降低取 樣處理以減小該多譜影像之頻譜解析度的概念解說。 127l8l.d〇e -27- 200836129 圖5係顯示一點散佈函數係如何用於一全色影像之一降 低取樣處理以減小該全色影像之空間解析度的概念解說。 圖6係顯示一點散佈函數之一範例的二維曲線圖。 【主要元件符號說明】 100 電腦處理裝置 102 使用者介面 104 中央處理單元 106 系統匯流排 ^ 108 記憶體 110 硬體實體 112 系統介面 ❿ 127181.doc -28-

Claims (1)

1. 200836129 十、申請專利範圍： 1· 一種用於由包含一全色影像與一 生一融合影像的方法，其包含：“之—影像對產 獲得定義-全色影像類型之一第一影 該第一影傻且古梦 & 1豕貝科’ 度像具有一弟-空間解析度與-第-頻譜解析 ί _ #夕°日~像類型之—第二影像的影像資料， 以弟一影像具有低於該第一空間解析度之一第 析度與高於該第一頻譜解析度之一第二頻譜解析产工s 同時計算用於將該第-影像降低取樣至該第二又空 ，度之-點散佈函數與用於將該第二影像降低取樣至該 弟頻4解析度之一權重集，該點散佈函數與該權重集 係明確最佳化至該影像對之獨特特性； 〃 融合該第-影像與該第二影像以初始化具有該第一空 間解析度與該第二頻譜解析度之—融合影像； 使用該點散佈函數與該權重集來決定縮放因數，其用 於縮放^義該融合影像之像素之輻射值以提供與形心 第一影像與該第二影像之像素之輻射值的_致性。 2.如請求項1之方法’其中該縮放步驟包含以下步驟： 縮放該融合影像之該等像素輻射值以使其與該第二影 像之該等像素輻射值一致； 模糊該融合影像；以及 縮放該融合影像之該等像素輻射值以使其與該第一影 像之該等像素輻射值一致。 127181.doc 200836129 3.如=項，之方法’其中縮放該融合影像之該等輻射值 以使其與遠第二影像 '、冢以等像素輻射值一致之該步驟包 ^一 點散佈函數來將該融合影像空間降低取樣至該 弟工間解析度，並接著實施該融合影像之各光學頻帶 ^射值與該第二影像之各頻帶之該等輻射值的一致、。 4· 如請求項3夕古、、也 、 ' ，/、中該實施步驟包含自動修改包含 ，融^像之像素之該等輻射值以便從該融合影像至該

   度降低取樣的像素之輻射值等於該第二影 像中的對應像素之輻射值。 二，項4之方法，其中該實施步驟進—步包含針對包 ό如心融合影像頻帶之各像素計算該縮放因數。 二：：項5之方法，其中該計算步驟包含計算包括該第 之頻V的各像素之該輻射值與由一對應融合影 ^朮二間降低取樣的一像素之該輻射值之一比率。 ^項6之方法’其進—步包含針對每―融合影 V重複該實施步驟。 射信’、、項2之方法，其中縮放該融合影像之該等像素轄 進一:使其與該第一影像之該冑素輻射值一致之該步驟 至誃二G 3使用該權重集來將該融合影像頻譜降低取樣 之^ »頻解析度，並接著實施該融合影像之各像素 9如&射值與該第一影像之各像素之該等輻射值的一致。 誃$ 2項8之方法，其中該實施步驟包含自動修改包括 ^至▲如像之像素之該等輻射值以便從該等融合影像頻 4第—頻譜解析度降低取樣的像素之該等輻射值與 “第一影像中的對應像素之該等輻射值一致。 127181.doc