TWI430202B - 使用全色像素之銳化方法 - Google Patents

使用全色像素之銳化方法 Download PDF

Info

Publication number
TWI430202B
TWI430202B TW097100726A TW97100726A TWI430202B TW I430202 B TWI430202 B TW I430202B TW 097100726 A TW097100726 A TW 097100726A TW 97100726 A TW97100726 A TW 97100726A TW I430202 B TWI430202 B TW I430202B
Authority
TW
Taiwan
Prior art keywords
image
full
panchromatic image
high frequency
block
Prior art date
Application number
TW097100726A
Other languages
English (en)
Other versions
TW200837658A (en
Inventor
James E Adams Jr
Michele O'brien
John Franklin Hamilton Jr
Bruce Harold Pillman
Amy Dawn Enge
Original Assignee
Omnivision Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Tech Inc filed Critical Omnivision Tech Inc
Publication of TW200837658A publication Critical patent/TW200837658A/zh
Application granted granted Critical
Publication of TWI430202B publication Critical patent/TWI430202B/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)

Description

使用全色像素之銳化方法
本發明係關於自一全色影像及一具有小於所需銳度之彩色影像形成一具有所需銳度之彩色影像。
視頻攝影機及數位靜物攝影機通常採用一具有一濾色器陣列之單個影像感測器來記錄一景像。此方法開始於一其中藉由濾色器陣列圖案編碼色彩資訊之經稀疏填充之單通道影像。後續插入之鄰近圖元值允許重新構造一完全三通道、全彩色影像。繼而可銳化全彩色影像以改良利邊及細節之外觀。一普遍方法係直接偵測或合成一亮度色彩通道(例如,綠色),並接著產生一高頻率亮度影像作為一初始步驟。然後以多種方式修飾該高頻率亮度通道,且然後將其加入該全彩色影像以形成一經銳化全彩色影像。在美國專利第5,237,402號(Deshon等)中教示一典型實例,其中將全彩色影像轉換成一亮度-色度空間,且自該色度通道產生一高頻率亮度影像,且然後在色彩校正及轉換回至該原始色彩空間後將其添加回至全彩色影像。在美國專利第5,038,388(Song)號中揭示一基於高頻率亮度值之自適應式放大之高頻率亮度影像修飾的方法。
在遠端感測(衛星圖)之實例中,較佳地使用掃描光學系統自一訊雜比透視圖直接感測一全色通道。然後在銳化過程中可使用全色通道替代一亮度通道。美國專利第5,949,914號(Yuen)說明直接感測一較高解析度之全色影像 及若干較低解析度之窄頻彩色影像,且因應於該全色影像銳化實施一迭代去卷積過程以銳化該等窄頻彩色影像。美國專利第6,097,835(Lindgren等)教示一如下方法:將直接感測之較高解析度之全色影像投射至若干較低窄頻彩色影像上以抽取合適之銳化影像成分,隨後使用該等影像成分來銳化該等窄頻彩色影像。由於無法將類似之掃描光學系統納含於視頻攝影機及數位靜物攝影機中而妨礙該等方法直接實施於視頻攝影機及數位靜物攝影機中。
在低光度成像情形下,有利情形係使該濾色器陣列中之一個或多個圖元不經過濾,亦即,在光譜感度上為白色或全色。該等全色圖元具有俘獲系統之最高感性能力。採用全色圖元表示俘獲系統中感光性與色彩空間解析度之間的折衷。為此目的,已說明諸多四色濾色器陣列系統。美國專利第6,529,239(Dyck等)教示一佈置為一鑲嵌於感測器表面上之2x2區塊之綠-青-黃-白型樣。美國專利第6,757,012(Hubina等)號揭示一紅-綠-藍-白型樣及一黃-青-絳紅-白型樣。在兩種情形中,該等色彩皆佈置成一在成像器表面上方讓嵌之2x2區塊。該等系統之困難係該濾色器陣列中僅有四分之一的圖元具有最高感光性,從而限制了俘獲裝置之總體低光度效能。
為解決在濾色器陣列中具有更多具有最高感光性之圖元的需要之問題,美國專利申請公開案第2003/0210332號(Frame)描述一其中大部分圖元未被過濾之圖元陣列。相對少數的圖元專用於自該景像俘獲色彩資訊,從而產生一 具有低色彩空間解析度能力之系統。此外,Frame教示使用簡單線性內插技術,該技術對影像中之高頻色彩空間細節不敏感或對其不具有保護性。
本發明之一目標係自一具有全色及彩色圖元之數位影像產生一具有所需銳度之數位彩色影像。藉由一銳化一場景之一全彩色影像之方法達成該目標,該方法包括:(a)使用一具有彩色及全色圖元兩者之二維感測器陣列擷取該場景之一影像;(b)因應該等所擷取之彩色圖元形成該全彩色影像且因應該等所擷取之全色圖元形成一參考全色影像;(c)自該參考全色影像形成一高頻全色影像;(d)因應該高頻全色影像及該全彩色影像提供一經銳化全彩色影像。
本發明之一特徵係可在低光度條件下使用一具有全色及彩色圖元之感測器俘獲影像且在一自該等全色及彩色圖元所產生之數位彩色影像中處理產生所需銳度。
本發明使用一具有適宜全色及彩色圖元成份之濾色器陣列以允許以上方法提供經改良之低感光性及經改良之色彩空間解析度保真度兩者。以上方法保持並加強全色及彩色空間細節且產生一經銳化全彩色影像。
在以下闡述中,將藉由通常構建為軟體程式闡述本發明之較佳實施例。熟悉此項技術者將易於了解該軟體之等效 物亦可構造於硬體中。由於影像處理演算法及系統為習知,因此此闡述將特別針對形成根據本發明之系統及方法之一部分或與根據本發明之系統及方法更直接合作之演算法及系統。可自此項技術中所習知之系統、演算法、組件及元件選擇本文未明確顯示或說明之演算法及系統及其所涉及之用於形成及以其他方式處理該等影像信號之硬體或軟體之其他態樣。假定系統如下材料中根據本發明所述,本文中未明確顯示、提出或說明的可用於實施本發明之軟體係慣用的且屬於該等技術之常用技巧。
更進一步,如本文中所使用,電腦程式可儲存於一電腦可讀取儲存媒體中,電腦可讀取儲存媒體可包含(例如):磁性儲存媒體,諸如一磁碟(諸如硬碟驅動器或軟碟)或磁帶;光學儲存媒體,諸如光碟、光學磁帶或機器可讀取條碼機;固態電子儲存裝置,諸如隨機存取記憶體(RAM)或唯讀記憶體(ROM);或任一其他用於儲存電腦程式之實體裝置或媒體。
在闡述本發明前,有助於了解的是本發明較好在任一熟知電腦系統(諸如個人電腦)上應用。因此,本文將不詳細討論電腦系統。應了解將影像攝影機直接輸入至電腦系統中(例如藉由數位攝影機)或在輸入至電腦系統中之前進行數位化(例如藉由掃描原物、諸如鹵化銀膠片)亦有益。
參照圖1,該圖解說明用於實施本發明之電腦系統110。雖然針對圖解說明較佳實施例之目的而顯示電腦系統110,但本發明並不限於所示之電腦系統110,而可用於諸 如家庭電腦、資訊亭、零售或批發照相洗印加工中存在之任一電子處理系統或任一其他用於處理數位影像之系統上。電腦系統110包含一用於接收且處理軟體程式並用於實施其他處理功能之以微處理器為主之單元112。顯示器114電連接至以微處理器為主之單元112以(例如)藉由一圖形使用者介面顯示與軟體相關聯之使用者相關資訊。鍵盤116亦連接至以微處理器為主之單元112以允許使用者將資訊輸入至軟體。如此技術中所熟知,作為使用鍵盤116輸入之另一替代選擇,可使用滑鼠118移動顯示器114上之選擇器120且選擇選擇器120上所覆蓋之項目。
將一通常包含軟體程式之唯讀光碟記憶體(CD-ROM)124插入該以微處理器為主之單元中以提供一種將該等軟體程式及其他資訊輸入至以微處理器為主之單元112之方式。另外,軟碟126亦可包含軟體程式且將其插入至以微處理器為主之單元112中以輸入該軟體程式。或者可將唯讀光碟記憶體(CD-ROM)124或軟碟126插入至連接至以微處理器為主之單元112之外設磁碟驅動單元122中。又更進一步而言,如此技術中所熟知,可將以微處理器為主之單元112程式化以在內部儲存該軟體程式。以微處理器為主之單元112亦可具有一與外部網路(諸如,區域網路或網際網路)之網路連接127,諸如電話線。印表機128亦可與以微處理器為主之單元112連接以列印自電腦系統110輸出之硬拷貝。
影像亦可經由一個人電腦卡(PC卡)130顯示於顯示器114 上,諸如先前已知之含有電體現於PC卡130中之經數位化影像之PCMCIA卡(以個人電腦記憶體卡國際協會之規範為準)。PC卡130最終插入至以微處理器為主之單元112中使影像在顯示器114上之視訊顯示。或者,PC卡130可插入至與以微處理器為主之單元112連接之外設PC讀卡機132中。影像亦可經由唯讀光碟記憶體(CD-ROM)124、軟碟126或網路連接127輸入。任何儲存於PC卡130、軟碟126或唯讀光碟記憶體(CD-ROM)124中或經由網路連接127輸入之影像均可自諸如數位攝影機(未顯示)或掃描器(未顯示)等各種訊源獲得。亦可直接自數位照相機134經由一連接至以微處理器為主之單元112之照相機船塢埠136或直接自數位照相機134經由一與以微處理器為主之單元112之電纜連接138或經由一連接至以微處理器為主之單元112之無線連接140輸入影像。
根據本發明,可將該演算法儲存於之前提及之任一儲存裝置中且可加諸於影像中以銳化該影像。
圖2係本發明一較佳實施例之第一部分之高階圖。數位攝影機134負責形成一原始數位紅色-綠色-藍色-全色(RGBP)濾色器陣列(CFA)影像200,該影像亦可稱為數位RGBP CFA影像或RGBP CFA影像。此處請注意,在以下闡述中可使用諸如氰色-絳紅色-黃色-全色等其他色彩通道組合代替紅色-綠色-藍色-全色。關鍵物項係包含一全色通道。該影像被認為是一經稀疏取樣之影像,此乃因該影像中之每個圖元僅含有紅色、綠色、藍色、全色資料中之一 個圖元值。一全色影像插入區塊202自RGBP CFA影像200形成一參考全色影像204。在影像處理鏈中之此處,每個彩色圖元位置均具有一關聯全色值及任一紅色、綠色或藍色值。自RGBP CFA影像200及參考全色影像204,一RGB CFA影像插入區塊206隨後形成一全彩色影像208。在圖2中,全色影像內插區塊202及RGB CFA影像內插區塊206可以熟悉此項技術者所習知之任何合適之方式實施。
圖3係本發明較佳實施例之第二部分之一高階圖。一高頻全色影像產生區塊210自參考全色影像204(圖2)形成一高頻全色影像212。經銳化全色影像產生區塊214自高頻全色影像212及全彩色影像208(圖2)形成一經銳化全彩色影像216。
在圖3中,高頻全色影像產生區塊210可以熟悉此項技術者習知之任何合適方式實施。現給出兩個實例。第一實例係以如下高通卷積核對參考全色影像204(圖2)實施一卷積以形成高頻全色影像212:
第二實例係以如下低通卷積核對參考全色影像204(圖2)實施一卷積以形成一低頻全色影像212: 現在自參考全色影像204(圖2)減去該低頻全色影像以形成高頻全色影像212。
在圖3中,可以熟悉此項技術者所習知之任何合適方式實施該經銳化之全彩色影像產生區塊214。作為一實例,將高頻全色影像212添加至全彩色影像208(圖2)以形成一經銳化全彩色影像216。
圖4係本發明一替代實施例之一高階圖。一高頻全色影像產生區塊218自參考全色影像204(圖2)形成一高頻全色影像220。一高頻全色影像修飾區塊222自一高頻全色影像220形成一經修飾之高頻全色影像224。一經銳化全彩色影像產生區塊226自經修飾之高頻全色影像224及全彩色影像208(圖2)形成一經銳化全彩色影像228。
在圖4中,該高頻全色影像產生區塊218可以與高頻全色影像產生區塊210(圖3)相同之方式實施。高頻全色影像修飾區塊222可以熟悉此項技術者所習知之任一合適方式實施。作為一實例,美國專利第6,173,085號(Hamilton等)教示用以修飾一高頻影像之核心功能之使用。經銳化全彩色影像產生區塊226可以與經銳化全彩色影像產生區塊214(圖3)相同之方式實施。
圖5係本發明一替代實施例之一高階圖。一高頻全色影像產生區塊230自參考全色影像204(圖2)形成一高頻全色影像232。一高頻全色影像修飾區塊234自高頻全色影像232及參考全色影像204(圖2)形成一經修飾之高頻全色影像236。一經銳化全彩色影像產生區塊238自經修飾之高頻全 色影像236及全彩色影像208(圖2)形成一經銳化全彩色影像240。
在圖5中,高頻全色影像產生區塊230可以與高頻全色影像產生區塊210(圖3)相同之方式實施。高頻全色影像修飾區塊234可以熟悉此項技術者所習知之任何合適方式實施。在隨後段落中給出實例。經銳化全彩色影像產生區塊238可以與經銳化全彩色影像產生區塊214(圖3)相同之方式實施。
圖6係高頻全色影像修飾區塊234之一詳細圖(圖5)。一邊沿緣遮罩產生區塊242自參考全色影像204(圖2)形成一邊沿遮罩244。一高頻全色影像縮放區塊246自邊沿遮罩244及高頻全色影像212(圖5)形成經修飾之高頻全色影像236(圖5)。
在圖6中,邊沿遮罩產生區塊242可以熟悉此項技術者所習知之任何合適方式實施。作為一實例,參考全色影像204(圖2)可以一個或多個邊偵測卷積核卷積,且將該等結果組合為一向量範數。最後,可自所形成之向量範數減去一小偏置值以提供一雜訊清潔能力。作為一清楚實例: 在該等式中,M係邊沿遮罩244、P係參考全色影像204(圖2)、k係一縮放常數,且b係一預定偏置常數。通常將k設定至1-8之一值,但可自該點進行調節以增加或減小該邊 沿遮罩之效果。為確定b之一合適值,通常將b設定至0來計算該邊沿遮罩且然後在已知無場景細節之P區域(例如一晴朗之天空或一平坦之牆壁)中計算該等邊沿遮罩值之標準偏差。將b設定至該標準偏差之一或兩倍。高頻全色影像縮放區塊246可以熟悉此項技術者所習知之任何合適方式實施。作為一實例,邊沿遮罩244可乘高頻全色影像212(圖5)以形成經修飾之高頻全色影像236(圖5)。
圖7係高頻全色影像修飾區塊234(圖5)之一替代實施例之一詳細圖。一邊沿遮罩產生區塊248自參考全色影像204(圖2)形成一邊沿遮罩250。一高頻全色影像縮放區塊252自邊沿遮罩250及高頻全色影像212(圖5)形成一經縮放高頻全色影像254。一對中心部分取樣區塊256自經縮放高頻全色影像254形成經修飾之高頻全色影像236(圖5)。
在圖7中,邊沿遮罩產生區塊248可以與邊沿遮罩產生區塊242(圖6)相同之方式實施。高頻全色影像縮放區塊252可以與高頻全色影像縮放區塊246(圖6)相同之方式實施。可將對中心部分取樣區塊256實施為在上述參考文獻美國專利第6,173,085號(Hamilton, Jr等)。
圖8係高頻全色影像修飾區塊234(圖5)之一替代實施例之一詳細圖。一邊沿遮罩產生區塊258自參考全色影像204(圖2)形成一邊沿遮罩260。一對中心部分取樣區塊262自邊沿遮罩260形成一經對中心部分取樣之邊沿遮罩264。一高頻全色影像縮放區塊266自經對中心部分取樣之邊沿遮罩264及高頻全色影像212(圖5)形成經修飾之高頻全色影 像236(圖5)。
在圖8中,邊沿遮罩產生區塊258可以與邊沿遮罩產生區塊242(圖6)相同之方式實施。對中心部分取樣區塊262可以與對中心部分取樣區塊256(圖7)相同之方式實施。高頻全色影像縮放區塊266可以與高頻全色影像縮放區塊246(圖6)相同之方式實施。
圖9係高頻全色影像修飾區塊234(圖5)之一替代實施例之一詳細圖。一邊沿遮罩產生區塊268自參考全色影像204(圖2)形成一邊沿遮罩270。一對中心部分取樣區塊274自高頻全色影像212(圖5)形成一經對中心部分取樣之高頻全色影像276。一高頻全色影像縮放區塊272自邊沿遮罩270及經對中心部分取樣之高頻全色影像276形成經修飾之高頻全色影像236(圖5)。
在圖9中,邊沿遮罩產生區塊268可以與邊沿遮罩產生區塊243(圖6)相同之方式實施。對中心部分取樣區塊274可以與對中心部分取樣區塊256(圖7)相同之方式實施。高頻全色影像縮放區塊272可以與高頻全色影像縮放區塊246(圖6)相同之方式實施。
圖10A係本發明一替代實施例之一高階圖。一修飾參考全色影像區塊278自參考全色影像204(圖2)形成一經修飾參考全色影像280。熟悉此項技術者將清楚在本發明之先前所述及隨後所述之實施例之任一者中可使用經修飾參考全色影像280替代參考全色影像204(圖2)。
圖10B係修飾參考全色影像區塊278(圖10A)之一詳細 圖。一計算高頻全色影像區塊282自參考全色影像204(圖2)形成一高頻全色影像284。一對中心部分取樣區塊286自高頻全色影像284形成一經對中心部分取樣之高頻全色影像292。一計算低頻全色影像區塊288自參考全色影像204(圖2)形成一低頻全色影像290。產生經修飾參考全色影像區塊294自經對中心部分取樣之高頻全色影像292及低頻全色影像290形成經修飾參考全色影像280(圖10A)。
在圖10B中,計算高頻全色影像區塊282可以與高頻全色影像產生區塊210(圖3)相同之方式實施。對中心部分取樣區塊286可以與對中心部分取樣區塊256(圖7)相同之方式實施。計算低頻全色影像區塊288可以熟悉此項技術者所習知之任何合適方式實施。作為一實例,可自參考全色影像204(圖2)中減去高頻全色影像284以形成低頻全色影像290。一產生經修飾參考全色影像區塊294可以熟悉此項技術者所習知之任何合適方式實施。作為一實例,經對中心部分取樣之高頻全色影像292可添加至低頻全色影像290以形成經修飾參考全色影像280(圖10A)。
圖11A係本發明一替代實施例之一高階圖。一修飾參考全色影像區塊296自參考全色影像204(圖2)形成一經修飾參考全色影像298。熟悉此項技術者將清楚在本發明之先前所述及隨後所述之實施例之任一者中可使用經修飾參考全色影像298代替參考全色影像204(圖2)。
圖11B係修飾參考全色影像區塊296(圖11A)之一詳細圖。一計算低頻全色影像區塊300自參考全色影像204(圖2) 及一高頻全色影像308形成一低頻全色影像302。一計算高頻全色影像區塊306自參考全色影像204(圖2)形成一高頻全色影像308。一產生邊沿遮罩區塊312自參考全色影像204(圖2)形成一邊沿遮罩314。一遮蓋高頻全色影像區塊310自高頻全色影像308及邊沿遮罩314形成一經遮蓋高頻全色影像316。一產生經修飾參考全色影像區塊304自經遮蓋高頻全色影像316及低頻全色影像302形成經修飾參考全色影像298(圖11A)。
在圖11B中,計算低頻全色影像區塊300可以與計算低頻全色影像區塊288(圖10B)相同之方式實施。計算高頻全色影像區塊306可以與高頻全色影像產生區塊210(圖3)相同之方式實施。產生邊沿遮罩區塊312可以與邊沿遮罩產生區塊242(圖6)相同之方式實施。遮蓋高頻全色影像區塊310可以與高頻全色影像縮放區塊246(圖6)相同之方式實施。該產生經修飾參考全色影像區塊304可以與產生經修飾參考全色影像區塊294(圖10B)相同之方式實施。
圖12A係本發明一替代實施例之一高階圖。一修飾參考全色影像區塊318自參考全色影像204(圖2)形成一經修飾參考全色影像320。熟悉此項技術者將清楚在本發明之先前所述及隨後所述之實施例之任一者中可使用經修飾參考全色影像320替代參考全色影像204(圖2)。
圖12B係修飾參考全色影像區塊318(圖12A)之詳細圖。一光度學空間轉換區塊322自參考全色影像204(圖2)形成一經修飾參考全色影像320(圖12A)。光度學空間轉換區塊 322可以熟悉此項技術者所習知之任何合適方式實施。作為一實例,美國專利第5,708,729號(Adams等)教示使用一演算法及多項式函數以光度學方式轉換一影像。
圖13係本發明一替代實施例之一高皆圖.修飾參考全色影像區塊278(圖10A)自參考全色影像204(圖2)形成一經修飾參考全色影像324。修飾參考全色影像296(圖11A)自經修飾參考全色影像324形成一經修飾參考全色影像326。修飾參考全色影像318(圖12A)自經修飾參考全色影像326形成一經修飾參考全色影像328。熟悉此項技術者將清楚圖13所示之作業鏈可延長、縮短及以任何方式重新佈置且保持在本發明之精神及範疇內。
本發明較佳實施例中所揭示之銳化演算法可用於各種使用者背景及環境中。實例性背景及環境包含(但不限於):批發數位照相洗印加工(其涉及實例性處理步驟或階段,諸如膠片入內、數位處理、列印出)、零售數位照相洗印加工(膠片入內、數位處理、列印出)、家用列印(家用掃描膠片或數位影像、數位處理、列印出)、桌上型軟體(將演算法應用至數位列印品以使其更好或甚至改變之軟體)、數位實現(自媒體或經由網路輸入數位影像、數位處理、使影像在媒體上以數位形式輸出、經由網路以數位形式輸出或列印於硬拷貝列印品上輸出)、資訊亭(數位或掃描輸入、數位處理、數位或掃描輸出)、行動裝置(例如,可用作一處理單元、一顯示單元或一給予處理指令之單元之PDA或蜂巢式電話)且作為經由全球資訊網所提供的一服 務。
在每個情形中,該等插入演算法可獨立或可為一較大系統解決方案之一組分。此外,該演算法(例如,掃描或輸入、數位處理、顯示至一使用者(若需要)、使用者請求或處理指令之輸入(若需要)、輸出)之介面可各自在相同或不同裝置及實體位置上,且該等裝置及位置之間的通信可經由公用或專用網路連接或可係基於媒體之通信。若與本發明之先前揭示內容相一致,則該等演算法本身可係完全自動,可具有使用者輸入(完全或部分手動),可具有使用者或操作員檢查來接收/拒絕該結果或可由元資料(可由使用者供應、由一量測裝置(例如,在一攝影機中)供應或由一演算法確定之元資料)輔助。此外,該等演算法可與各種工作流程使用者介面方案介接。
本文所揭示之根據本發明之銳化演算法可具有利用各種資料偵測及減小技術(例如,面部偵測、眼部偵測、皮膚偵測、閃光偵測)之內部分量。
110‧‧‧電腦系統
112‧‧‧以微處理器為主之單元
114‧‧‧顯示器
116‧‧‧鍵盤
118‧‧‧滑鼠
120‧‧‧選擇器
122‧‧‧外設磁碟驅動單元
124‧‧‧讀光碟記憶體
126‧‧‧軟碟
127‧‧‧網路連接
128‧‧‧印表機
130‧‧‧PC卡
132‧‧‧PC讀卡機
134‧‧‧數位照相機
136‧‧‧照相機船塢埠
138‧‧‧電纜連接
140‧‧‧無線連接
200‧‧‧原始數位紅色-綠色-藍色-全色(RGBP)濾色器陣列(CFA)影像
202‧‧‧全色影像插入區塊
204‧‧‧參考全色影像
206‧‧‧RGB CFA影像插入區塊
208‧‧‧全彩色影像
210‧‧‧高頻全色影像產生區塊
212‧‧‧高頻全色影像
214‧‧‧經銳化全色影像產生區塊
216‧‧‧經銳化全彩色影像
218‧‧‧高頻全色影像產生區塊
220‧‧‧高頻全色影像
222‧‧‧高頻全色影像修飾區塊
224‧‧‧經修飾之高頻全色影像
226‧‧‧經銳化全彩色影像產生區塊
228‧‧‧經銳化全彩色影像
230‧‧‧高頻全色影像產生區塊
232‧‧‧高頻全色影像
234‧‧‧高頻全色影像修飾區塊
236‧‧‧經修飾之高頻全色影像
238‧‧‧全彩色影像
240‧‧‧經銳化全彩色影像
242‧‧‧邊沿遮罩產生區塊
244‧‧‧邊沿遮罩
246‧‧‧高頻全色影像縮放區塊
248‧‧‧邊沿遮罩產生區塊
250‧‧‧邊沿遮罩
252‧‧‧高頻全色影像縮放區塊
254‧‧‧經縮放高頻全色影像
256‧‧‧對中心部分取樣區塊
258‧‧‧邊沿遮罩產生區塊
260‧‧‧邊沿遮罩
262‧‧‧對中心部分取樣區塊
264‧‧‧經對中心部分取樣之邊沿遮罩
266‧‧‧高頻全色影像縮放區塊
268‧‧‧邊沿遮罩產生區塊
270‧‧‧邊沿遮罩
272‧‧‧高頻全色影像縮放區塊
274‧‧‧對中心部分取樣區塊
276‧‧‧經對中心部分取樣之高頻全色影像
278‧‧‧修飾參考全色影像區塊
280‧‧‧經修飾參考全色影像
282‧‧‧計算高頻全色影像區塊
284‧‧‧高頻全色影像
286‧‧‧對中心部分取樣區塊
288‧‧‧計算低頻全色影像區塊
290‧‧‧低頻全色影像
292‧‧‧經對中心部分取樣之高頻全色影像
294‧‧‧產生經修飾參考全色影像區塊
296‧‧‧修飾參考全色影像區塊
298‧‧‧經修飾參考全色影像
300‧‧‧計算低頻全色影像區塊
302‧‧‧低頻全色影像
304‧‧‧產生經修飾參考全色影像區塊
306‧‧‧計算高頻全色影像區塊
308‧‧‧高頻全色影像
310‧‧‧遮蓋高頻全色影像區塊
312‧‧‧產生邊沿遮罩區塊
314‧‧‧邊沿遮罩
316‧‧‧經遮蓋高頻全色影像
318‧‧‧修飾參考全色影像區塊
320‧‧‧經修飾參考全色影像
322‧‧‧光度學空間轉換區塊
324‧‧‧經修飾參考全色影像
326‧‧‧經修飾參考全色影像
328‧‧‧經修飾參考全色影像
圖1係一用於實施本發明包括一數位攝影機之電腦系統之透視圖;圖2係本發明之一較佳實施例之方區塊圖;圖3係一顯示本發明該較佳實施例之另一部分之方區塊圖;圖4係本發明一替代實施例之方區塊圖;圖5係本發明一替代實施例之方區塊圖; 圖6係一更詳細顯示本發明一替代實施例之圖5中之區塊234之方區塊圖;圖7係一更詳細顯示本發明一替代實施例之圖5中之區塊234之方區塊圖;圖8係一更詳細顯示本發明一替代實施例之圖5中之區塊234之方區塊圖;圖9係一更詳細顯示本發明一替代實施例之圖5中之區塊234之方區塊圖;圖10A係本發明一替代實施例之方區塊圖;圖10B係一更詳細顯示本發明一替代實施例之圖10A中之區塊278之方區塊圖;圖11A係本發明一替代實施例之方區塊圖;圖11B係一更詳細顯示本發明一替代實施例之圖11A中之區塊296之方區塊圖;圖12係本發明一替代實施例之方區塊圖;圖12B係一更詳細顯示本發明一替代實施例之圖12A中之區塊318之方區塊圖;圖13係一顯示本發明一替代實施例之方區塊圖。
134‧‧‧數位照相機
200‧‧‧原始數位紅色-綠色-藍色-全色(RGBP)濾色器陣列(CFA)影像
202‧‧‧全色影像插入區塊
204‧‧‧參考全色影像
206‧‧‧RGB CFA影像插入區塊
208‧‧‧全彩色影像

Claims (11)

  1. 一種使場景之全彩色影像銳化之方法,包括:(a)使用具有彩色及全色圖元兩者之二維感測器陣列擷取該場景之影像;(b)因應該等所擷取之彩色圖元形成該全彩色影像且因應該等所擷取之全色圖元形成參考全色影像;(c)自該參考全色影像形成高頻全色影像;及(d)因應該高頻全色影像及該全彩色影像提供經銳化全彩色影像。
  2. 如請求項1之方法,其進一步包括在步驟(d)中使用該全色影像之前修飾該高頻全色影像。
  3. 如請求項2之方法,其中該修飾進一步包括對該高頻全色影像之中心部分取樣。
  4. 如請求項2之方法,其中該修飾進一步對該參考全色影像回應。
  5. 如請求項4之方法,其中該修飾進一步包括形成一邊沿遮罩及因應該邊沿遮罩形成該經修飾之高頻全色影像。
  6. 如請求項4之方法,其中該修飾進一步包括形成一邊沿遮罩和對中心部分取樣,及因應該邊沿遮罩及對中心部分取樣形成該經修飾之高頻全色影像。
  7. 如請求項1之方法,其進一步包括修飾該參考全色影像以形成一經修飾之參考全色影像。
  8. 如請求項7之方法,其中對該參考全色影像之修飾包括對中心部分取樣。
  9. 如請求項7之方法,其中對該參考全色影像之修飾包括形成一邊沿遮罩及因應該邊沿遮罩形成該經修飾參考全色影像。
  10. 如請求項7之方法,其中對該參考全色影像之修飾包括光度轉換。
  11. 如請求項7之方法,其中對該參考全色影像之修飾包括形成一邊沿遮罩、對中心部分取樣和光度轉換,及因應該邊沿遮罩、對中心部分取樣及光度轉換形成該經修飾之參考全色影像。
TW097100726A 2007-01-09 2008-01-08 使用全色像素之銳化方法 TWI430202B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/621,139 US7769241B2 (en) 2007-01-09 2007-01-09 Method of sharpening using panchromatic pixels

Publications (2)

Publication Number Publication Date
TW200837658A TW200837658A (en) 2008-09-16
TWI430202B true TWI430202B (zh) 2014-03-11

Family

ID=39585115

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097100726A TWI430202B (zh) 2007-01-09 2008-01-08 使用全色像素之銳化方法

Country Status (5)

Country Link
US (1) US7769241B2 (zh)
EP (1) EP2102815B1 (zh)
JP (1) JP5260552B2 (zh)
TW (1) TWI430202B (zh)
WO (1) WO2008085248A2 (zh)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
US8896712B2 (en) * 2007-07-20 2014-11-25 Omnivision Technologies, Inc. Determining and correcting for imaging device motion during an exposure
US8350952B2 (en) * 2008-06-04 2013-01-08 Omnivision Technologies, Inc. Image sensors with improved angle response
US8130278B2 (en) * 2008-08-01 2012-03-06 Omnivision Technologies, Inc. Method for forming an improved image using images with different resolutions
KR101574733B1 (ko) * 2008-11-19 2015-12-04 삼성전자 주식회사 고화질 컬러 영상을 획득하기 위한 영상 처리 장치 및 방법
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
US9020256B2 (en) * 2011-04-22 2015-04-28 Exelis Inc. System and method for combining color information with spatial information in multispectral images
US8761506B1 (en) 2011-04-22 2014-06-24 DigitalGlobe, Incorporated Pan sharpening digital imagery
EP2778635B1 (en) 2011-04-25 2023-11-29 Planet Labs PBC Systems and methods for overhead imaging and video
JP5900273B2 (ja) * 2012-10-03 2016-04-06 株式会社ソシオネクスト 合焦評価値生成装置、合焦評価値生成方法、及び、合焦評価値生成プログラム
CN103198463B (zh) * 2013-04-07 2014-08-27 北京航空航天大学 基于整体结构和空间细节信息融合的光谱图像全色锐化方法
WO2015192056A1 (en) 2014-06-13 2015-12-17 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
KR101580585B1 (ko) * 2014-12-02 2015-12-28 서울시립대학교 산학협력단 전정색영상과 적외선영상의 융합 방법 및 장치
US10871561B2 (en) 2015-03-25 2020-12-22 Urthecast Corp. Apparatus and methods for synthetic aperture radar with digital beamforming
WO2017044168A2 (en) 2015-06-16 2017-03-16 King Abdulaziz City Of Science And Technology Efficient planar phased array antenna assembly
CA3044806A1 (en) 2015-11-25 2017-06-01 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
EP3631504B8 (en) 2017-05-23 2023-08-16 Spacealpha Insights Corp. Synthetic aperture radar imaging apparatus and methods
EP3646054A4 (en) 2017-05-23 2020-10-28 King Abdulaziz City for Science and Technology APERTURE SYNTHESIS RADAR IMAGING APPARATUS FOR MOBILE TARGETS
US10572976B2 (en) 2017-10-18 2020-02-25 International Business Machines Corporation Enhancing observation resolution using continuous learning
US11525910B2 (en) 2017-11-22 2022-12-13 Spacealpha Insights Corp. Synthetic aperture radar apparatus and methods
CN116703769B (zh) * 2023-06-08 2024-03-12 福建鼎旸信息科技股份有限公司 一种卫星遥感图像全色锐化系统

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) * 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
JPS6339293A (ja) * 1986-08-05 1988-02-19 Fuji Photo Film Co Ltd 映像信号形成装置
JP2543567B2 (ja) * 1988-04-07 1996-10-16 株式会社日立製作所 ダイナミックノイズリダクション回路及びこれを用いたテレビジョン受信機
US5038388A (en) 1989-05-15 1991-08-06 Polaroid Corporation Method for adaptively sharpening electronic images
US5237402A (en) 1991-07-30 1993-08-17 Polaroid Corporation Digital image processing circuitry
JP3112531B2 (ja) * 1991-11-19 2000-11-27 株式会社日立製作所 撮像装置
US5708729A (en) 1995-04-12 1998-01-13 Eastman Kodak Company Method and system for the reduction of memory capacity required for digital representation of an image
US5949914A (en) * 1997-03-17 1999-09-07 Space Imaging Lp Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening
US6097835A (en) * 1997-07-23 2000-08-01 Lockheed Martin Corporation Projective pan sharpening methods and apparatus
JP3540567B2 (ja) * 1997-10-01 2004-07-07 オリンパス株式会社 電子的撮像装置
US6011875A (en) * 1998-04-29 2000-01-04 Eastman Kodak Company Process for enhancing the spatial resolution of multispectral imagery using pan-sharpening
US6529239B1 (en) 1998-06-01 2003-03-04 Fairchild Imaging, Inc. Image sensor with stripes of cyan filter material perpendicular to stripes of yellow filter material
US6173085B1 (en) 1998-09-18 2001-01-09 Eastman Kodak Company Edge enhancement using modified edge boost function
AUPQ289099A0 (en) 1999-09-16 1999-10-07 Silverbrook Research Pty Ltd Method and apparatus for manipulating a bayer image
US6757012B1 (en) 2000-01-13 2004-06-29 Biomorphic Vlsi, Inc. Color selection for sparse color image reconstruction
US6937774B1 (en) * 2000-10-24 2005-08-30 Lockheed Martin Corporation Apparatus and method for efficiently increasing the spatial resolution of images
US6813046B1 (en) * 2000-11-07 2004-11-02 Eastman Kodak Company Method and apparatus for exposure control for a sparsely sampled extended dynamic range image sensing device
US20030222998A1 (en) 2000-12-20 2003-12-04 Satoru Yamauchi Digital still camera system and method
US7012643B2 (en) 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
US7340099B2 (en) * 2003-01-17 2008-03-04 University Of New Brunswick System and method for image fusion
US7379590B2 (en) * 2003-01-17 2008-05-27 University Of New Brunswick Method for generating natural colour satellite images
JP4665422B2 (ja) * 2004-04-02 2011-04-06 ソニー株式会社 撮像装置
EP1594321A3 (en) 2004-05-07 2006-01-25 Dialog Semiconductor GmbH Extended dynamic range in color imagers
US7298922B1 (en) * 2004-07-07 2007-11-20 Lockheed Martin Corporation Synthetic panchromatic imagery method and system
US7667762B2 (en) * 2006-08-01 2010-02-23 Lifesize Communications, Inc. Dual sensor video camera

Also Published As

Publication number Publication date
WO2008085248A2 (en) 2008-07-17
EP2102815A2 (en) 2009-09-23
US20080166062A1 (en) 2008-07-10
JP2010516176A (ja) 2010-05-13
TW200837658A (en) 2008-09-16
EP2102815B1 (en) 2018-10-24
WO2008085248A3 (en) 2008-11-13
US7769241B2 (en) 2010-08-03
JP5260552B2 (ja) 2013-08-14

Similar Documents

Publication Publication Date Title
TWI430202B (zh) 使用全色像素之銳化方法
JP5395053B2 (ja) パンクロマティック画素を使用するエッジマッピング
JP5291084B2 (ja) パンクロマティック画素を組み込むエッジマッピング
JP5260635B2 (ja) パンクロマチック画像を用いたノイズ低減されたカラーの画像
JP5156022B2 (ja) パンクロマチックおよびカラーの画像のノイズ低減
US20080123997A1 (en) Providing a desired resolution color image
JP2008527861A (ja) 散在カラー・ディジタル画像のノイズ除去