TWI459324B - 修改色彩及全色通道彩色濾光片陣列影像 - Google Patents

修改色彩及全色通道彩色濾光片陣列影像 Download PDF

Info

Publication number
TWI459324B
TWI459324B TW098137786A TW98137786A TWI459324B TW I459324 B TWI459324 B TW I459324B TW 098137786 A TW098137786 A TW 098137786A TW 98137786 A TW98137786 A TW 98137786A TW I459324 B TWI459324 B TW I459324B
Authority
TW
Taiwan
Prior art keywords
map
image
edge
color
generating
Prior art date
Application number
TW098137786A
Other languages
English (en)
Other versions
TW201030674A (en
Inventor
James E Adams Jr
Aaron T Deever
Russell J Palum
Original Assignee
Omnivision Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Tech Inc filed Critical Omnivision Tech Inc
Publication of TW201030674A publication Critical patent/TW201030674A/zh
Application granted granted Critical
Publication of TWI459324B publication Critical patent/TWI459324B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70—Circuitry for compensating brightness variation in the scene
    • H04N23/741—Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/50—Control of the SSIS exposure
    • H04N25/57—Control of the dynamic range
    • H04N25/58—Control of the dynamic range involving two or more exposures
    • H04N25/581—Control of the dynamic range involving two or more exposures acquired simultaneously
    • H04N25/583—Control of the dynamic range involving two or more exposures acquired simultaneously with different integration times

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Processing Of Color Television Signals (AREA)

Description

修改色彩及全色通道彩色濾光片陣列影像
本發明係關於具有色彩通道及一全色通道之彩色濾光片陣列影像，且更特定言之，係關於提供一種經修改的CFA影像或全色影像。
一電子成像系統依靠一透鏡系統在一電子影像感測器上形成一影像以產生一可視影像之一電子表示。此等電子影像感測器實例包含電荷耦合裝置(CCD)影像感測器及主動像素感測器(APS)裝置(APS裝置由於能夠在一互補金氧半導體製程中製造，其等通常被稱為CMOS感測器)。一感測器包含單獨圖像元素感測器或像素之一二維陣列。各像素通常具有一紅色、綠色或藍色濾光片，如由Bayer描述於共同讓與美國專利第3,971,065號中，使得可產生一全色影像。無論所採用的電子技術(例如CCD或CMOS)為何，像素作用如同桶子，其中在該電子成像系統擷取影像期間累積與撞擊像素之光量成正比的光電子。
並非所有進入一電子成像系統之前光學元件的光都會撞擊一像素。許多光在通過該電子成像系統之光學路徑時損失。通常，由於透鏡反射及薄霧會損失約5%的光且由於該彩色濾光片陣列會損失約60%的光。此外，一些光撞擊非光敏感的像素區域。為了聚集進行一正確曝光所需要的光量，該電子成像系統聚集光持續稱為曝光時間的一時間間隔。基於對待成像場景的亮度量測，該電子成像系統(通常為一自動曝光控制裝置)用於判定將產生具有有效亮度之一影像的一適合曝光時間。場景越暗，該電子成像系統聚集光以進行一正確曝光所需要的時間量越大。然而，眾所周知，較長的曝光可導致模糊影像。此模糊可為物體在一場景內移動之結果。當該影像擷取裝置在擷取期間相對於場景移動時，亦可產生模糊。
一種減少模糊的方法為縮短曝光時間。此方法使該電子影像感測器在影像擷取期間曝光不足，所以產生暗影像。可對該影像信號應用一類比或數位增益以使該等暗影像變亮，但是熟習此項技術者將瞭解此將導致雜訊影像。
另一種減少模糊的方法為縮短曝光時間且保留通過該光學路徑之更多光並將其引導至該電子影像感測器之該等像素。此方法可產生具有減少的模糊及可接受的雜訊等級之影像。然而，當前電子成像系統的產業趨勢在於：製造更小且更便宜的成像系統。因此，可聚集更多光且保留通過光學元件之更多光之具有大型孔徑的高級光學元件係不可行。
另一種減少模糊的方法為縮短曝光時間且使用一攝影閃光燈補充可用光。一攝影閃光燈產生持續一瞬間之一強光通量且設定該曝光時間包含該閃光時間。因為該攝影閃光很強烈，故可將曝光時間設定為比沒有閃光時明顯更小的時間間隔。因此，減少在曝光期間之模糊。然而，物體在明亮的白天可仍然具有動作模糊，若閃光燈與物體之間的距離短，則閃光攝影係極其有用，而一閃光燈給一影像擷取裝置增加額外成本及重量。
Tull之美國專利第6,441,848號描述具有一電子影像感測器而藉由監視電子為各像素所收集之速率移除物體動作模糊之一數位相機。若光撞擊一像素的速率發生變化，則假設該像素正在檢視之影像的亮度正在改變。當內建於該感測器陣列中的一電路偵測影像亮度正在改變時，保留所收集的電荷量且記錄偵測亮度改變的時間。在曝光停止處之各像素值藉由線性外推該像素值而將其調整至合適值，使得該像素值對應於整個影像之動態範圍。此方法之一缺點為當曝光開始時已處於動作中之一物體之外推像素值係高度不確定。影像亮度(如由感測器所感測)從不具有一恆定值，且因此該等外推像素值之不確定性導致具有動作假影之一影像。另一缺點為其使用特殊化的硬體，故其不可與用於當前相機商品中的習知電子影像感測器一起使用。
另一種減少模糊的方法為擷取兩個影像，一個使用一短曝光時間且一個使用一長曝光時間。該短曝光時間經選擇以便於產生具有雜訊但相對沒有動作模糊之一影像。該長曝光時間經選擇以便於產生具有微量雜訊但可具有明顯動作模糊之一影像。使用影像處理演算法將該兩個所擷取影像組合為一最終輸出影像。此等方法係描述於美國專利第7,239,342號、美國專利申請公開案第2006/0017837號、美國專利申請公開案第2006/0187308號及美國專利申請公開案第2007/0223831號。此等方法之短處包含對儲存多重影像之額外緩衝記憶體、處理多重影像之額外複雜性的需要及解決物體動作模糊之困難。
另一種減少模糊的方法為縮短曝光時間且保留通過該彩色濾光片陣列之更多光。對於基於矽的影像感測器，像素組件自身係大體上對可見光敏感而使未經濾光像素適合於擷取一單色影像。為擷取彩色影像，通常在該像素圖案上製造一二維濾光片圖案，其使用不同濾光材料使各像素僅對可見光譜之一部分敏感。此種濾光片圖案之一實例為眾所周知的Bayer彩色濾光片陣列圖案，如描述於美國專利第3,971,065號中。Bayer彩色濾光片陣列具有在典型條件下獲得全色影像之優點，但已發現此解決方案具有其短處。雖然需要濾光片來提供窄頻光譜響應，但是對入射光之任何過濾往往減少到達各像素之光量，藉此減少各像素之有效光敏感且降低像素響應速度。
作為用於改良在變化光條件下之影像擷取且用於改良成像感測器之整體敏感性之解決方案，已經揭示對熟悉之Bayer圖案的修改。舉例而言，Hamilton等人之共同讓與美國專利申請公開案第2007/0046807號與Compton等人之美國專利申請公開案第2007/0024931號兩者描述組合彩色濾光片與全色濾光元件之以某種方式在空間上交錯的替代感測器配置。在此類型解決方案之情況下，影像感測器之一些部分偵測色彩，其他全色部分為改良之動態範圍及敏感性經最佳化以偵測橫跨可見頻帶之光。因此，此等解決方案提供一像素圖案，一些像素具有彩色濾光片(提供一窄頻光譜響應)且一些像素沒有彩色濾光片(未經濾光的「全色」像素或經濾光以提供一寬頻光譜響應的像素)。但是此解決方案並不足以允許在低光條件下擷取無動作模糊的高品質影像。
在天體照相術及遠端感測領域中已知，另一種減少模糊且在低光場景中擷取影像之方法為擷取兩個影像：具有高空間解析度之一全色影像與具有低空間解析度之一多譜影像。該等影像經稠和產生具有高空間解析度之一多譜影像。此等方法係描述於美國專利第7,340,099號、美國專利第6,937,774號及美國專利申請公開案第2008/0129752號。此等方法之短處包含對儲存多重影像之額外緩衝記憶體的需要及解決物體動作模糊之困難。
因此，存在一需要：在不增加影像雜訊且沒有明顯之額外成本或複雜性或記憶體需求的情況下，藉由使用習知的電子影像感測器，不使用一攝影閃光燈而產生具有彩色及全色像素、減少動作模糊的一改良的彩色濾光片陣列影像或全色影像。
本發明之一目的為提供一種具有彩色及全色像素之經修改的CFA影像或全色影像。
此目的藉由一種修改具有複數個色彩通道及一個全色通道之一CFA影像或全色影像之方法而達到，該方法包括：
(a)利用CFA感測器在與該等色彩影像通道之至少一者不同的一曝光時間擷取一影像內之該全色通道；
(b)自該CFA影像產生一全色邊緣圖及一彩色邊緣圖；
(c)使用該全色邊緣圖及該彩色邊緣圖以提供動作估計；及
(d)使用該等動作估計以修改該CFA影像或全色影像之該等通道之至少一者。
本發明之一優點為：在不必使用合適地曝光一單一影像之攝影閃光燈或長曝光時間的情況下，藉由對影像處理軟體做基本變化可產生具有減少模糊之改良的彩色濾光片陣列影像或全色影像。
本發明之一進一步優點為：在不需要具有橫向可移動透鏡元件之昂貴的特殊透鏡情況下，可產生具有減少之影像擷取裝置引發模糊的彩色濾光片陣列影像或全色影像。
本發明之一進一步優點為：在不需要用於儲存多重影像之增加的緩衝記憶體情況下，可產生具有減少模糊之彩色濾光片陣列影像或全色影像。
在下列描述中，將就通常實施為一軟體程式而言，描述本發明之一較佳實施例。熟習此項技術者將容易地瞭解此種軟體之等效物亦可建構在硬體中。因為影像處理演算法及系統係為人熟知，所以本描述將尤其針對形成根據本發明之系統及方法之部分或更直接地與根據本發明之系統及方法合作之演算法及系統。此等演算法及系統及用於產生且或者處理其所涉及之影像信號(未特定在本文中顯示或描述)之硬體或軟體之其他態樣可自在該技術領域已知之此等系統、演算法、組件及元件中選擇。給出如根據在下列材料中之本發明所描述之系統，本文未特定顯示、建議或描述對本發明之實施方案有用之軟體係習知且在此技術領域之一般技術內。
此外，如本文所使用，該電腦程式可儲存在一電腦可讀儲存媒體中，該媒體可包含(例如)諸如一磁碟(諸如一硬碟或一軟碟)或磁帶之磁性儲存媒體；諸如一光碟、光帶或機器可讀條碼之光學儲存媒體；諸如隨機存取記憶體(RAM)或唯讀記憶體(ROM)之固態電子儲存裝置或用於儲存一電腦程式之任何其他實體裝置或媒體。
在描述本發明之前，有助於理解的是，注意，本發明係較佳地在任何熟知的電腦系統(例如個人電腦)上使用。因此，本文將不詳細討論電腦系統。亦富有教益的是，注意，影像係直接輸入至電腦系統中(例如藉由一數位相機)或在輸入至電腦系統之前經數位化(例如藉由掃描一原件，諸如一鹵化銀軟片)。
參考圖1，其繪示用於實施本發明之一電腦系統110。雖然出於繪示一較佳實施例之目的顯示該電腦系統110，但是本發明不限於所顯示之該電腦系統110，而是可用在諸如發現於家用電腦、資訊站、零售或批發照片沖印中之任何電子處理系統或用於處理數位影像之任何其他系統上。該電腦系統110包含用於接收及處理軟體程式且用於執行其他處理功能之一基於微處理器的單元112。一顯示器114係電連接至該基於微處理器的單元112，用於顯示與該軟體相關之使用者相關資訊(例如藉由一圖形用戶介面)。一鍵盤116亦係連接至該基於微處理器的單元112，用於允許一使用者輸入資訊至該軟體。作為對使用該鍵盤116用於輸入之一替代，可使用一滑鼠118來移動在該顯示器114上的一選擇器120且用於選擇該選擇器120上伏於其上之一項目，如在該技術領域所熟知。
一光碟唯讀記憶體(CD-ROM)124(其通常包含軟體程式)插入該基於微處理器的單元用於提供輸入該等軟體程式及其他資訊至該基於微處理器的單元112之一方式。另外，一軟碟126亦可包含一軟體程式，且經插入該基於微處理器的單元112用於輸入該軟體程式。該光碟唯讀記憶體(CD-ROM)124或該軟碟126可替代地插入外置光碟機單元122，該光碟機單元122係連接至該基於微處理器的單元112。此外，該基於微處理器的單元112可經程式化(如在該技術領域所熟知)而於內部儲存該軟體程式。該基於微處理器的單元112亦可具有至一外部網路(諸如一區域網路或網際網路)之一網路連接件127(諸如一電話線)。一印表機128亦可連接至該基於微處理器的單元112，用於列印來自該電腦系統110輸出之一硬拷貝。
影像亦可經由一個人電腦卡(PC卡)130顯示在該顯示器114上，諸如(如先前所知)一PCMCIA卡(基於個人電腦記憶卡國際協會之規範)，其含有電子地體現在該PC卡130中之數位化的影像。該PC卡130最終插入該基於微處理器的單元112而允許在該顯示器114上可視地顯示該影像。或者，該PC卡130可插入連接至該基於微處理器的單元112之一外置的PC卡讀取器132。影像亦可經由該光碟124、該軟碟126、或該網路連接件127輸入。儲存在該PC卡130、該軟碟126或該光碟124中或透過該網路連接件127輸入之任何影像可已自各種源(諸如一數位相機(未顯示)或一掃描器(未顯示))獲得。影像亦可經由連接至該基於微處理器的單元112的一相機銜接埠136自一數位相機134直接輸入，或經由連接至該基於微處理器的單元112的一電纜連接件138或經由連接至該基於微處理器的單元112的一無線連接件140自該數位相機134直接輸入
根據本發明，該演算法可儲存在至此所提及之該等儲存裝置之任一者中且為了內插稀疏分佈的影像而應用至影像。
圖2為一較佳實施例之一高階圖。該數位相機134負責產生一原始數位紅色-綠色-藍色-全色(RGBP)彩色濾光片陣列(CFA)影像200，其亦稱為數位RGBP CFA影像或RGBP CFA影像。在此點處要注意，其他色彩通道組合(諸如青色-赤色-黃色-全色)可用於在下列描述中取代紅色-綠色-藍色-全色。關鍵項目為包含一全色通道。將此影像視為一稀疏採樣影像，因為在該影像內之各像素僅含有一個紅色、綠色、藍色像素值或全色資料。一全色邊緣圖產生區塊202自該RGBP CFA影像200產生一全色邊緣圖204。一彩色邊緣圖產生區塊206產生一彩色邊緣圖208。一動作估計區塊210自該全色邊緣圖204及該彩色邊緣圖208產生動作估計212。一動作補償區塊214自該RGBP CFA影像200及動作估計212產生一經修改的RGBP CFA影像216。
圖3為該較佳實施例之區塊202(圖2)的一更詳細視圖。一全色像素模糊區塊218接收該RGBP CFA影像200(圖2)且產生一模糊的全色CFA影像220。一邊緣梯度產生區塊222接收該模糊的全色CFA影像220且產生一邊緣梯度圖224。一邊緣幅度產生區塊226自該邊緣梯度圖224產生一邊緣梯度及幅度圖228。一邊緣薄化區塊230自該邊緣梯度及幅度圖228產生一薄化邊緣圖232。最後，一邊緣幅度臨限區塊234自該薄化邊緣圖232產生該全色邊緣圖204(圖2)。
在圖3中，該全色像素模糊區塊218可以熟習此項技術者所知之任意合適的方式執行。參考圖4，為像素P13 產生一模糊全色值P13B 之一方式為在所顯示之四鄰內計算該等全色像素值之一加權平均數，諸如：
P 13 B =(P 1 +2P 3 +P 5 +2P 11 +4P 13 +2P 15 +P 21 +2P 23 +P 25 )/16
熟習此項技術者將明白，可使用其他組權重。
參考圖3，該邊緣梯度產生區塊222可以熟習此項技術者所知之任意合適的方式執行。參考圖4，為像素B14 產生全色邊緣梯度E14H 及E14V 之一方式為計算自該等鄰近模糊全色像素之絕對差值，諸如：
E 14 H =|| 13 B -P 15 B |
E 14 V =|P 9 B -P 19 B |
此方法將對圖4中之每個非全色像素均有用。在一全色像素情況下，為像素P13 產生全色邊緣梯度E13H 及E13V 之一方式為計算自該等鄰近模糊全色像素之絕對差值之平均值，諸如：
E 13 H =(|P 7 B -P 9 B |+|P 17 B -P 19 B |)/2
E 13 V =(|P 7 B -P 17 B |+|P 9 B -P 19 B |)/2
此方法將對圖4中之每個全色像素均有用。熟習此項技術者將明白，可使用產生邊緣梯度之其他方法。
返回圖3，該邊緣幅度產生區塊226可以熟習此項技術者所知之任意合適的方式執行。參考圖4，產生全色邊緣幅度E13M 之一方式為求和該等全色邊緣梯度E13H 及E13V 。此(方式)將對圖4中之所有像素均有用。熟習此項技術者將明白，可使用產生邊緣幅度之其他方法。
返回圖3，該邊緣薄化區塊230可以熟習此項技術者所知之任意合適的方式執行。參考圖4，產生薄化全色邊緣幅度E13T 之一方式係藉由熟習此項技術者通常稱為非最大值刪除之方法。下列虛擬程式碼描述用於產生E13T 之此方法之一實例：
用文字表達，若E13M 不大於其之水平或垂直相鄰值，則將E13T 設定為零。否則，將E13T 設定為E13M 。基於全色邊緣梯度E13H 及E13V 之相對大小進行水平處理對垂直處理之方向決定。
返回圖3，該邊緣幅度臨限區塊234可以熟習此項技術者所知之任意合適的方式執行。參考圖4，產生全色邊緣圖值E13 之一方式係藉由熟習此項技術者通常稱為硬臨限(hard thresholding)之方法。簡單地說，若E13T 大於一供應臨限值，則將E13 設定為E13T 。否則，將E13 設定為零。該供應臨限值為使所得到之全色邊緣圖204(圖2)沒有虛假且無弱邊緣特徵及雜訊並僅保留強的、可視良好界定之邊緣特徵之值。
圖5為該較佳實施例之區塊206(圖2)的一更詳細視圖。一RGB CFA影像產生區塊236接收該RGBP CFA影像200(圖2)且產生一RGB CFA影像238。一RGB像素模糊區塊240接收該RGB CFA影像238且產生一模糊的RGB CFA影像242。一邊緣梯度產生區塊244接收該模糊的RGB CFA影像242且產生一邊緣梯度圖246。一邊緣幅度產生區塊248自該邊緣梯度圖246產生一邊緣梯度及幅度圖250。一邊緣圖重定大小區塊252自該邊緣梯度及幅度圖250產生一經重定大小之邊緣梯度及幅度圖254。一邊緣薄化區塊256自該經重定大小之邊緣梯度及幅度圖254產生一薄化邊緣圖258。最後，一邊緣幅度臨限區塊260自該薄化邊緣圖258產生該彩色邊緣圖208(圖2)。
在圖5中，該RGB CFA影像產生區塊236可以熟習此項技術者所知之任意合適的方式執行。圖4為該RGBP CFA影像200(圖2)之一部分的一實例。圖6為該RGB CFA影像238之一部分的一實例。產生一RGB CFA影像值R26 (圖6)之一方式為計算自顯示於圖4中之該RGBP CFA影像200(圖2)之該部分之紅色像素值的一平均值，諸如：
R 26 =(R 2 +R 6 )/2
以一類似的方式，可計算顯示於圖6中之其他RGB CFA影像值：
G 27 =(G 4 +G 8 )/2
G 28 =(G 12 +G 16 )/2
B 29 =(B 14 +B 18 )/2
在預期在下文討論該邊緣圖重定大小區塊252時，應注意，該RGB CFA影像238具有如該RGBP CFA影像200(圖2)具有的像素數目之四分之一。
返回圖5，該RGB像素模糊區塊240可以熟習此項技術者所知之任意合適的方式執行。參考圖7，為像素G42 產生一模糊的綠色值G42B 之一方式為計算在所顯示之四鄰內之該等綠色像素值之一加權平均數，諸如：
G 42 B =(G 30 +2G 32 +G 34 +2G 40 +4G 42 +2G 44 +G 50 +2G 52 +G 54 )/16
可同樣對該等紅色及藍色像素應用一類似處理。熟習此項技術者將明白，可使用其他組權重。
返回圖5，該邊緣梯度產生區塊244可以熟習此項技術者所知之任意合適的方式執行。參考圖7，為像素B43 產生彩色邊緣梯度F43H 及F43V 之一方式為計算自該等鄰近模糊的綠色像素之絕對差值，諸如：
F 43 H =|G 42 B -G 44 B |
F 43 V =|G 38 B -G 48 B |
此方法將對圖7中之每個紅色及藍色像素均有用。在一綠色像素情況下，為像素G42 產生彩色邊緣梯度F42H 及F42V 之一方式為計算自該等鄰近模糊的綠色像素之絕對差值之平均值，諸如：
F 42 H =(|G 36 B -G 38 B |+|G 46 B -G 48 B |)/2
F 42 V =(|G 36 B -G 46 B |+|G 38 B -G 48 B |)/2
此方法將對圖7中之每個綠色像素均有用。熟習此項技術者將明白，可使用產生邊緣梯度之其他方法。
返回圖5，該邊緣幅度產生區塊248可以熟習此項技術者所知之任意合適的方式執行。參考圖7，產生彩色邊緣幅度F42M 之一方式為求和該等彩色邊緣梯度F42H 及F42V 。此方法將對圖7中之所有像素均有用。熟習此項技術者將明白，可使用產生邊緣幅度之其他方法。
返回圖5，該邊緣圖重定大小區塊252可以熟習此項技術者所知之任意合適方式執行。如上文所涉及，當描述該RGB CFA影像產生區塊236時，因為該RGB CFA影像238具有如該RGBP CFA影像200(圖2)具有之像素數目之四分之一，所以該邊緣梯度及幅度圖250亦具有如該RGBP CFA影像200(圖2)具有之像素數目之四分之一。該邊緣梯度及幅度圖250包含彩色邊緣梯度FH 與FV ，以及彩色邊緣幅度FM 。為了產生與該RGBP CFA影像200(圖2)具有相同像素數目之一重定大小的邊緣梯度及幅度圖254，該邊緣梯度及幅度圖250之尺寸(列數及行數)需要加倍。此可使用任意標準內插技術完成，如雙線性內插或雙三次內插。該較佳實施例之方法將使用雙線性內插。參考圖8，彩色邊緣幅度值F1M 、F3M 、F7M 及F9M 係來自該邊緣梯度及幅度圖250。該邊緣圖重定大小區塊252以下列方式計算其他彩色邊緣幅度值：
F 2 M =(F 1 M +F 3 M )/2
F 4 M =(F 1 M +F 7 M )/2
F 5 M =(F 1 M +F 3 M +F 7 M +F 9 M )/4
F 6 M =(F 3 M +F 9 M )/2
F 8 M =(F 7 M +F 9 M )/2
返回圖5，該邊緣薄化區塊256可以熟習此項技術者所知之任意合適方式執行。參考圖8，產生薄化彩色邊緣幅度F5T 之一方式係藉由熟習此項技術者通常稱為非最大值刪除之方法。下列虛擬程式碼描述用於產生F5T 之此方法之一實例：
用文字表達，若F5M 不大於其之水平或垂直鄰近值，則將F5T 設定為零。否則，將F5T 設定為F5M 。基於全色邊緣梯度F5H 與F5V 之相對大小，進行水平處理對垂直處理之方向決定。
返回圖5，該邊緣幅值臨限區塊260可以熟習此項技術者所知之任意合適方式執行。參考圖8，產生彩色邊緣圖值F5 之一方式係藉由熟習此項技術者通常稱為硬臨限之方法。簡單地說，若F5T 大於一供應臨限值，則將F5 設定為F5T 。否則，將F5 設定為零。該供應臨限值為使所得到之彩色邊緣圖208(圖2)沒有虛假且無弱邊緣特徵及雜訊並僅保留強的、可視良好界定之邊緣特徵之值。
圖9為該較佳實施例之區塊210(圖2)之一更詳細視圖。一互相關產生區塊262接收該全色邊緣圖204(圖2)及該彩色邊緣圖208(圖2)且產生一互相關圖264。一最大值搜尋區塊266接收該互相關圖264且產生區塊動作估計268。一動作估計內插區塊270接收區塊動作估計268且產生動作估計212(圖2)。
在圖9中，該互相關產生區塊262可以熟習此項技術者所知之任意合適方式執行。參考圖10，在該較佳實施例中，該全色邊緣圖204(圖2)分割為區域區塊272之一8×8陣列。各區域區塊272包含該原始邊緣圖之1/64。為了給各區域區塊272產生一互相關圖264(圖9)，該區域區塊272移位一些列數及行數之位置且將得到之經移位區域區塊274與(未移位)彩色邊緣圖208(圖2)進行比較。對於在該經移位區域區塊274中之各像素位置(亦即)，計算下列求和：
在此等式中，E 係來自該經移位區域區塊274之值且F 係來自該彩色邊緣圖208(圖2)之值。移位量為is 列及js 行。C為該互相關圖264(圖9)之值。函數min()返回兩個值之較小值。在該較佳實施例中，is 與js 之值範圍為-7至7，從而得到該互相關圖264(圖9)包含一15×15陣列值。
返回圖9，該最大值搜尋區塊266為(得到)在該互相關圖264內之具有最大值之位置(is ,js )而搜尋該互相關圖264。此特定(is ,js )值成為對該給定區域區塊272(圖10)之區塊動作估計。所有此等區塊動作估計一起成為該全色邊緣圖204(圖2)之區塊動作估計268。結果，區塊動作估計268包含一8×8陣列值。
返回圖9，動作估計內插區塊270藉由內插區塊動作估計268為在該全色邊緣圖204(圖2)中之各像素位置產生動作估計212(圖2)。此內插可以熟習此項技術者所知之任意方式執行。該較佳實施例使用雙線性內插。將該等區塊動作估計268之各者視為對應於各區域區塊272(圖10)之中央。此等值其後內插至在該全色邊緣圖204(圖2)中之每一其他位置。
返回圖2，該動作補償區塊214藉由動作估計212所指示之內插全色值取代在該RGBP CFA影像200中之該等全色值。圖11繪示一典型情形。像素P56 之動作估計212(圖2)指示P56 處之值將由P' 處之值取代。不存在以P' 為中心之像素，故必須內插該值。此操作在該較佳實施例中透過雙線性內插完成。假設圖11中之四個全色像素之座標位置如下：P56 (-1,0)、P55 (0,1)、P57 (1,0)及P58 (0,-1)。所要位置之座標為P' (x,y)。藉由下列仿射變換將圖11中之設置變換為圖12中之設置。
圖12中之該等全色像素之座標現在為P56 (0,0)、P55 (0,1)、P57 (1,1)及P58 (1,0)。所要位置之座標為P' (x" ,y" )。圖12現在為一標準的雙線性內插問題且答案係由下列表達式給出：
P' =(P 58 -P 56 )x" +(P 55 -P 56 )y" +(P 57 +P 56 -P 55 -P 58 )x"y" +P 56
圖13為一替代實施例之一高階圖。該數位相機134(圖1)產生一RGBP CFA影像200。一全色邊緣圖產生區塊202自該RGBP CFA影像200產生一全色邊緣圖204。一彩色邊緣圖產生區塊206產生一彩色邊緣圖208。一動作估計區塊210自該全色邊緣圖204及該彩色邊緣圖208產生動作估計212。一CFA內插區塊276自該RGBP CFA影像200產生一全色影像278。一動作補償區塊280自該全色影像278及動作估計212產生一經修改的全色影像282。
在圖13中，區塊200至區塊212已在該較佳實施例下討論過。可如描述於美國專利申請公開案第2007/0248753號，執行該CFA內插區塊276。該得到的全色影像278包含全解析度紅色、綠色、藍色及全色通道。該動作補償區塊280操作在該全色影像278之該全解析度全色通道上。因為在該全色影像278中之該等全色像素值係已如在圖12中配置，所以可藉由簡單地省略該初始仿射變換步驟而使用先前討論之動作補償區塊214(圖2)之方法。該經修改的全色影像282將包含全解析度紅色、綠色、藍色及經動作補償之全色通道。
揭示於本發明之該等較佳實施例內之該等動作補償演算法可用於各種使用者背景及環境中。例示性背景及環境包含(但不限於)批發數位照片沖印(其涉及諸如軟片輸入、數位處理、列印輸出之例示性處理步驟或階段)、零售數位照片沖印(軟片輸入、數位處理、列印輸出)、家用列印(家用掃描之軟片或數位影像、數位處理、列印輸出)、桌面軟體(應用演算法於數位列印以使列印更佳或甚至改變列印之軟體)、數位實現(來自媒體或網頁上之數位影像輸入、數位處理、以媒體上之數位形式、網頁上之數位形式或列印在硬拷貝列印上之影像輸出)、資訊站(數位輸入或經掃描之輸入、數位處理、數位輸出或掃描輸出)、行動裝置(例如可用作為一處理單元、一顯示單元或給出處理指令之一單元之PDA或蜂巢式電話)及作為經由全球資訊網提供之一服務。
在各情況下，該等動作補償演算法可為獨立的或可為一大型系統解決方案之一組件。此外，與該演算法之介面(例如掃描或輸入、數位處理、對一使用者之顯示器(若需要)、使用者請求或處理指令之輸入(若需要)、輸出)可各自處在相同或不同的裝置或實體位置上，且該等裝置與位置之間的通信可經由公用或私用網路連接或基於媒體之通信。在與本發明之以上揭示內容一致之情況下，該等演算法自身可為全自動，可具有使用者輸入(其為全手動或部分手動)，可具有使用者或操作者檢視以接收/拒絕該結果，或可由中繼資料(中繼資料可為使用者供應，可由一量測裝置(例如在一相機中)供應，或由一演算法判定)輔助。此外，該等演算法可與各種工作流程使用者介面方案接合。
根據本發明之本文揭示之該等動作補償演算法可具有使用各種資料偵測及減少技術(例如臉部偵測、眼部偵測、皮膚偵測、閃光燈偵測)之內部組件。
110．．．電腦系統
112．．．基於微處理器的單元
114．．．顯示器
116．．．鍵盤
118．．．滑鼠
120．．．顯示器上選擇器
122．．．光碟機單元
124．．．光碟唯讀記憶體(CD-ROM)
126．．．軟碟
127．．．網路連接件
128．．．印表機
130．．．個人電腦卡(PC卡)
132．．．PC卡讀取器
134．．．數位相機
136．．．相機銜接埠
138．．．電纜連接件
140．．．無線連接件
200．．．RGBP CFA影像
202．．．全色邊緣圖產生
204．．．全色邊緣圖
206．．．彩色邊緣圖產生
208．．．彩色邊緣圖
210．．．動作估計
212．．．動作估計
214．．．動作補償
216．．．經修改的RGBP CFA影像
218．．．全色像素模糊
220．．．模糊的全色CFA影像
222．．．邊緣梯度產生
224．．．邊緣梯度圖
226．．．邊緣幅度產生
228．．．邊緣梯度及幅度圖
230．．．邊緣薄化
232．．．薄化邊緣圖
234．．．邊緣幅值臨限
236．．．RGB CFA影像產生
238．．．RGB CFA影像
240．．．RGB像素模糊
242．．．模糊的RGB CFA影像
244．．．邊緣梯度產生
246．．．邊緣梯度圖
248．．．邊緣幅度產生
250．．．邊緣梯度及幅度圖
252．．．邊緣圖重定大小
254．．．重定大小的邊緣梯度及幅度圖
256．．．邊緣薄化
258．．．薄化邊緣圖
260．．．邊緣幅度臨限
262．．．互相關產生
264．．．互相關圖
266．．．最大值搜尋
268．．．區塊動作估計
270．．．動作估計內插
272．．．區域區塊
274．．．移位的區域區塊
276．．．CFA內插
278．．．全色影像
280．．．動作補償
282．．．經修改的全色影像
圖1為包含用於實施本發明之一數位相機之一電腦系統之一透視圖；
圖2為本發明之一較佳實施例之一區塊圖；
圖3為更詳細地顯示圖2中之區塊202之一區塊圖；
圖4為用於圖3內之區塊218中之一像素區域；
圖5為更詳細地顯示圖2中之區塊206之一區塊圖；
圖6為在圖5內之區塊238中之一像素區域；
圖7為在圖5內之區塊238中之一像素區域；
圖8為在圖5內之區塊250中之一像素區域；
圖9為更詳細地顯示圖2中之區塊210之一區塊圖；
圖10為在圖2內之區塊204之一更詳細圖式；
圖11為在圖2內之區塊200中之一像素區域；
圖12為產生於圖2內之區塊214中之一像素區域；及
圖13為本發明之一替代實施例之一區塊圖。
134．．．數位相機
200．．．RGBP CFA影像
202．．．全色邊緣圖產生
204．．．全色邊緣圖
206．．．彩色邊緣圖產生
208．．．彩色邊緣圖
210．．．動作估計
212．．．動作估計
214．．．動作補償
216．．．經修改的RGBP CFA影像

Claims (4)

  1. 一種修改具有複數個色彩通道及一個全色通道之一CFA影像(200)或全色影像之方法，該方法包括：(a)利用CFA感測器在與該等色彩影像通道之至少一者不同的一曝光時間擷取一影像內之該全色通道；(b)自該CFA影像產生一全色邊緣圖(204)及一彩色邊緣圖(208)；(c)使用該全色邊緣圖(204)及該彩色邊緣圖(208)以提供動作估計(212)；及(d)使用該等動作估計(212)以修改該CFA影像(200)或全色影像之該等通道之至少一者；其中步驟(c)包括：(i)將該全色邊緣圖(204)分割為區域區塊(272)之一陣列；(ii)自該全色邊緣圖(204)及該彩色邊緣圖(208)產生每一區域區塊(272)之一互相關圖(264)；(iii)藉由搜尋每一區域區塊(272)之該互相關圖(264)而產生區塊動作估計(268)，其中每一區域區塊(272)之該互相關圖(264)內之最大值成為該區域區塊(272)之該區塊動作估計(268)。
  2. 如請求項1之方法，其中步驟(b)進一步包含：(a)自該CFA影像(200)產生一模糊的全色CFA影像(220)；(b)自該模糊的全色CFA影像(220)產生一邊緣梯度圖 (224)；(c)自該邊緣梯度圖(224)產生一邊緣梯度及幅度圖(228)；(d)自該邊緣梯度及幅度圖(228)產生一薄化邊緣圖(232)；及(e)自該薄化邊緣圖(232)產生該全色邊緣圖(204)。
  3. 如請求項1之方法，其中步驟(b)進一步包含：(a)自該CFA影像(200)產生一RGB CFA影像(238)；(b)自該RGB CFA影像(238)產生一模糊的RGB CFA影像(242)；(c)自該模糊的RGB CFA影像(242)產生一邊緣梯度圖(246)；(d)自該邊緣梯度圖(246)產生一邊緣梯度及幅度圖(250)；(e)自該邊緣梯度及幅度圖(250)產生一重定大小之邊緣梯度及幅度圖(254)；(f)自該重定大小之邊緣梯度及幅度圖(254)產生一薄化邊緣圖(258)；及(g)自該薄化邊緣圖(258)產生該彩色邊緣圖(208)。
  4. 如請求項1之方法，其中步驟(d)進一步包含使用該等動作估計(212)以修改該CFA影像(200)或全色影像之該全色通道。
TW098137786A 2008-11-07 2009-11-06 修改色彩及全色通道彩色濾光片陣列影像 TWI459324B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/266,824 US8073246B2 (en) 2008-11-07 2008-11-07 Modifying color and panchromatic channel CFA image

Publications (2)

Publication Number Publication Date
TW201030674A TW201030674A (en) 2010-08-16
TWI459324B true TWI459324B (zh) 2014-11-01

Family

ID=42144789

Family Applications (1)

Application Number Title Priority Date Filing Date
TW098137786A TWI459324B (zh) 2008-11-07 2009-11-06 修改色彩及全色通道彩色濾光片陣列影像

Country Status (6)

Country Link
US (1) US8073246B2 (zh)
EP (1) EP2359604B1 (zh)
JP (1) JP5461568B2 (zh)
CN (1) CN102362501B (zh)
TW (1) TWI459324B (zh)
WO (1) WO2010053507A2 (zh)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101685000B (zh) * 2008-09-25 2012-05-30 鸿富锦精密工业（深圳）有限公司 影像边界扫描的计算机系统及方法
US8224082B2 (en) * 2009-03-10 2012-07-17 Omnivision Technologies, Inc. CFA image with synthetic panchromatic image
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
US8045024B2 (en) * 2009-04-15 2011-10-25 Omnivision Technologies, Inc. Producing full-color image with reduced motion blur
US8203633B2 (en) * 2009-05-27 2012-06-19 Omnivision Technologies, Inc. Four-channel color filter array pattern
US8237831B2 (en) * 2009-05-28 2012-08-07 Omnivision Technologies, Inc. Four-channel color filter array interpolation
US8125546B2 (en) * 2009-06-05 2012-02-28 Omnivision Technologies, Inc. Color filter array pattern having four-channels
US8253832B2 (en) * 2009-06-09 2012-08-28 Omnivision Technologies, Inc. Interpolation for four-channel color filter array
US20110018993A1 (en) * 2009-07-24 2011-01-27 Sen Wang Ranging apparatus using split complementary color filters
JP5724185B2 (ja) * 2010-03-04 2015-05-27 ソニー株式会社 画像処理装置、および画像処理方法、並びにプログラム
JP5868046B2 (ja) * 2010-07-13 2016-02-24 キヤノン株式会社 輝度信号作成装置、撮像装置、輝度信号作成方法、及びプログラム、並びに記録媒体
DE202012013411U1 (de) 2011-04-25 2016-11-15 Terra Bella Technologies Inc. Systeme für Overhead-Bild- und Videoanzeige
DE102012217093A1 (de) * 2012-09-21 2014-04-17 Robert Bosch Gmbh Kamerasystem, insbesondere für ein Fahrzeug, und Verfahren zum Ermitteln von Bildinformationen eines Erfassungsbereichs
US10230925B2 (en) 2014-06-13 2019-03-12 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
CA2980920C (en) 2015-03-25 2023-09-26 King Abdulaziz City Of Science And Technology Apparatus and methods for synthetic aperture radar with digital beamforming
EP3311449B1 (en) 2015-06-16 2019-12-11 King Abdulaziz City for Science and Technology Efficient planar phased array antenna assembly
EP3380864A4 (en) 2015-11-25 2019-07-03 Urthecast Corp. APPARATUS AND METHODS FOR OPEN SYNTHESIS RADAR IMAGING
CA3064586A1 (en) 2017-05-23 2018-11-29 King Abdullah City Of Science And Technology Synthetic aperture radar imaging apparatus and methods for moving targets
EP3631504B8 (en) 2017-05-23 2023-08-16 Spacealpha Insights Corp. Synthetic aperture radar imaging apparatus and methods
CA3083033A1 (en) 2017-11-22 2019-11-28 Urthecast Corp. Synthetic aperture radar apparatus and methods
CN109842837B (zh) * 2017-11-28 2020-10-09 台州立克科技有限公司 一种收音机自适应音量调节方法
WO2019236626A2 (en) 2018-06-07 2019-12-12 Dolby Laboratories Licensing Corporation Hdr image generation from single-shot hdr color image sensors
CN110740272B (zh) * 2019-10-31 2021-05-14 Oppo广东移动通信有限公司 图像采集方法、摄像头组件及移动终端
EP3820133A1 (en) * 2019-11-06 2021-05-12 Koninklijke Philips N.V. A system for performing image motion compensation
CN110996077A (zh) * 2019-11-25 2020-04-10 Oppo广东移动通信有限公司 图像传感器、摄像头组件和移动终端

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002051342A (ja) * 2000-08-04 2002-02-15 Canon Inc 符号化装置及び符号化方法並びに記憶媒体
TW200735652A (en) * 2005-12-29 2007-09-16 Micron Technology Inc Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms
JP2008507908A (ja) * 2004-07-21 2008-03-13 マイクロン テクノロジー インコーポレイテッド 杆体および錐体応答センサ
TW200834227A (en) * 2006-12-01 2008-08-16 Eastman Kodak Co Improved light sensitivity in image sensors

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
IE61778B1 (en) * 1989-01-04 1994-11-30 Emyville Enterprises Image processing
US5194351A (en) * 1990-12-21 1993-03-16 Xerox Corporation Single pass digital xerographic process color reproduction
US5641596A (en) * 1995-12-05 1997-06-24 Eastman Kodak Company Adjusting film grain properties in digital images
US5949914A (en) * 1997-03-17 1999-09-07 Space Imaging Lp Enhancing the resolution of multi-spectral image data with panchromatic image data using super resolution pan-sharpening
JP4282113B2 (ja) * 1998-07-24 2009-06-17 オリンパス株式会社 撮像装置および撮像方法、並びに、撮像プログラムを記録した記録媒体
US6441848B1 (en) 2000-05-19 2002-08-27 Damon L. Tull Preventing blur caused by motion of the subject in a digital image
US6937774B1 (en) 2000-10-24 2005-08-30 Lockheed Martin Corporation Apparatus and method for efficiently increasing the spatial resolution of images
US7340099B2 (en) 2003-01-17 2008-03-04 University Of New Brunswick System and method for image fusion
JP3804617B2 (ja) 2003-02-14 2006-08-02 コニカミノルタフォトイメージング株式会社 画像処理装置及び方法
US8570389B2 (en) 2004-07-22 2013-10-29 Broadcom Corporation Enhancing digital photography
US8654201B2 (en) 2005-02-23 2014-02-18 Hewlett-Packard Development Company, L.P. Method for deblurring an image
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
US20070046807A1 (en) 2005-08-23 2007-03-01 Eastman Kodak Company Capturing images under varying lighting conditions
US7680354B2 (en) 2006-03-22 2010-03-16 Arcsoft, Inc. Image deblur based on two images
JP5011814B2 (ja) 2006-05-15 2012-08-29 ソニー株式会社 撮像装置、および画像処理方法、並びにコンピュータ・プログラム
US7826685B2 (en) 2006-12-01 2010-11-02 Harris Corporation Spatial and spectral calibration of a panchromatic, multispectral image pair
US8111307B2 (en) * 2008-10-25 2012-02-07 Omnivision Technologies, Inc. Defective color and panchromatic CFA image

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002051342A (ja) * 2000-08-04 2002-02-15 Canon Inc 符号化装置及び符号化方法並びに記憶媒体
JP2008507908A (ja) * 2004-07-21 2008-03-13 マイクロン テクノロジー インコーポレイテッド 杆体および錐体応答センサ
TW200735652A (en) * 2005-12-29 2007-09-16 Micron Technology Inc Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms
TW200834227A (en) * 2006-12-01 2008-08-16 Eastman Kodak Co Improved light sensitivity in image sensors

Also Published As

Publication number Publication date
US20100119148A1 (en) 2010-05-13
WO2010053507A3 (en) 2010-07-15
CN102362501A (zh) 2012-02-22
JP2012508479A (ja) 2012-04-05
CN102362501B (zh) 2014-04-09
JP5461568B2 (ja) 2014-04-02
EP2359604B1 (en) 2013-12-11
EP2359604A2 (en) 2011-08-24
WO2010053507A2 (en) 2010-05-14
US8073246B2 (en) 2011-12-06
TW201030674A (en) 2010-08-16

Similar Documents

Publication Publication Date Title
TWI459324B (zh) 修改色彩及全色通道彩色濾光片陣列影像
US8224085B2 (en) Noise reduced color image using panchromatic image
US7876956B2 (en) Noise reduction of panchromatic and color image
KR101267661B1 (ko) 불량 색 및 전정색 ｃｆａ 이미지의 개선
JP5395053B2 (ja) パンクロマティック画素を使用するエッジマッピング
TWI430202B (zh) 使用全色像素之銳化方法
TWI430184B (zh) 結合全色像素之邊緣映射
US8509481B2 (en) Image processing apparatus, image processing method, imaging apparatus
CN102726037B (zh) 图像处理装置、摄像装置和图像处理方法
US20080123997A1 (en) Providing a desired resolution color image
JP2002232903A (ja) 画像補間装置