TWI467495B - 利用全彩像素映射邊緣 - Google Patents

利用全彩像素映射邊緣 Download PDF

Info

Publication number
TWI467495B
TWI467495B TW97111571A TW97111571A TWI467495B TW I467495 B TWI467495 B TW I467495B TW 97111571 A TW97111571 A TW 97111571A TW 97111571 A TW97111571 A TW 97111571A TW I467495 B TWI467495 B TW I467495B
Authority
TW
Taiwan
Prior art keywords
full color
edge
image
color image
value
Prior art date
Application number
TW97111571A
Other languages
English (en)
Other versions
TW200903347A (en
Inventor
James E Adams Jr
John F Hamilton Jr
Michele O'brien
Original Assignee
Omnivision Tech Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omnivision Tech Inc filed Critical Omnivision Tech Inc
Publication of TW200903347A publication Critical patent/TW200903347A/zh
Application granted granted Critical
Publication of TWI467495B publication Critical patent/TWI467495B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/73—Deblurring; Sharpening
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/133—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing panchromatic light, e.g. filters passing white light
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Image Processing (AREA)
  • Color Television Image Signal Generators (AREA)
  • Picture Signal Circuits (AREA)
  • Processing Of Color Television Signals (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)

Description

利用全彩像素映射邊緣
本發明係關於藉由利用一邊緣映射來由一全彩影像與一彩色影像形成一增強的彩色影像。
視訊相機與數位靜態相機一般採用具有一彩色濾光片之一單一的影像感測器來記錄一場景。此方法係從一稀疏分佈的單一通道影像開始，在該影像中藉由彩色濾光片陣列圖案來對彩色資訊進行編碼。隨後相鄰像素值之內插允許重新構造一完整的三通道完全色彩影像。此完全色彩影像進而可以係已清除雜訊、清晰化或經色彩校正來改良或增強該影像之外觀。可以藉由計算該影像之一邊緣映射以便將該影像分類成邊緣區域與平坦區域，來大大促進此影像增強。此允許利用針對邊緣區域與針對平坦區域實行不同計算之演算法。一普通的方法係直接偵測或合成一亮度色彩通道，例如"綠色"，而接著由亮度影像產生一邊緣映射。美國專利案第6,614,474號(Malkin等人)說明計算一亮度通道及接著根據一定向邊緣偵測核心集合產生邊緣資訊。此方法之問題在於僅有色度變化而無亮度變化之邊緣存在偵測不到之風險。為解決此問題，美國專利案第5,420,971號(Westerink等人)教導計算一YUV亮度與色度影像，根據所有三個通道(Y、U及V)來計算邊緣資訊以及接著將其組合為一L2 範數來偵測亮度與色度邊緣兩者。此方法之問題係計算所得之亮度與色度影像之雜訊係由原始彩 色資料(例如RGB)之雜訊來定義。該原始彩色資料中之此雜訊位準係由個別色彩通道的光譜頻率回應之相對狹窄及其他因素來決定。當所捕獲的場景之光照良好(例如，一晴朗景像)時，則該光譜頻率回應之狹窄一般並非一問題。當該場景之光照不佳(例如，室內)或曝光時間為減少運動模糊而必定較短(例如，在一體育比賽中)時，則該等個別色彩通道之光譜頻率回應之相對狹窄可能產生雜訊影像。
在低光照成像情況下，有利的係，在該彩色濾光片陣列中有一或多個像素未經濾光，即，其光譜敏感度為白色或全彩。此等全彩像素具有捕獲系統之最高光敏感度能力。採用全彩像素表示該捕獲系統中在光敏感度與色空間解析度之間的一折衷。為此目的，已說明許多四色彩色濾光片陣列系統。美國專利案第6,529,239號(Dyck等人)教導一配置為在該感測器的表面上棋盤化之一2×2組塊的綠色－青色－黃色－白色圖案兩者。美國專利案第6,757,012號(Hubina等人)揭示一紅色－綠色－藍色－白色圖案與一黃色－青色－深紅色－白色圖案。在兩個情況下，該等色彩皆係配置於在該成像器的表面上棋盤化之一2x2組塊中。此類系統之一難點在於該彩色濾光片陣列中僅四分之一的像素具有最高的光敏感度，從而限制捕獲裝置之總體低光照效能。
為適應在該彩色濾光片陣列中有更多具有最高光敏感度的像素之需要，美國專利申請公告案第2003/0210332號(Frame)說明其中大多數像素未經濾光之一像素陣列。將 相對較少的像素專用於捕獲來自該場景之彩色資訊，從而產生具有較低彩色空間解析能力之一系統。此外，Frame教導藉由利用對該影像中的高頻率彩色空間細節不作回應或不予保護之簡單的線性內插技術。
本發明之一目的係根據具有全彩與彩色像素之一數位影像來產生一增強的數位彩色影像。
此目的係藉由提供一場景之一增強的完全色彩影像之一方法來實現，該方法包含：(a)利用藉由一兼具彩色與全彩像素的二維感測器陣列捕獲之場景之一所捕獲影像；(b)回應於所捕獲之彩色像素而形成該完全色彩影像；(c)回應於所捕獲之全彩像素而形成一參考全彩影像；(d)回應於該參考全彩影像而形成一邊緣映射；以及(e)利用該邊緣映射來增強該完全色彩影像。
本發明之一特徵係可以在低光照條件下藉由具有全彩與彩色像素之一感測器來捕獲影像，而藉由處理來產生由該等全彩及彩色像素產生之一增強的數位彩色影像。
本發明利用一具有全彩與彩色像素之一適當組合物的彩色濾光片陣列，以便允許上述方法提供改良的低光照敏感度與改良的彩色空間解析度保真性兩者。上述方法保留與增強全彩及彩色空間細節而產生一增強的完全色彩影像。
在以下說明中，將就一般係實施為一軟體程式之方面來 說明本發明之一較佳具體實施例。熟習此項技術者會很容易明白，亦可以在硬體中構造此軟體之等效物。由於影像操控演算法及系統已為人熟知，因此本說明內容特定言之係關於形成依據本發明之系統及方法的部分或與其更直接配合之演算法及系統。此類演算法及系統之其他態樣以及用以產生與其相關的影像信號及對此等信號作其他處理之硬體或軟體，儘管本文無明確顯示或說明，但可以係從此項技術中習知的此類系統、演算法、組件及元件中選擇。在將該系統給定為如以下材料中依據本發明所述之條件下，本文未明確顯示、建議或說明可用於實施本發明之軟體係傳統軟體而屬於此項技術之常用技術。
進一步，如本文中之用法，電腦程式可以係儲存於一電腦可讀取的儲存媒體中，該媒體可包括(例如)：磁性儲存媒體，例如一磁碟(例如一硬碟機或一軟碟)或磁帶；光學儲存媒體，例如一光碟、光學帶或機器可讀取的條碼；固態電子儲存裝置，例如隨機存取記憶體(RAM)；或唯讀記憶體；或用於儲存一電腦程式之任何其他實體裝置或媒體。
在說明本發明之前，為促進理解，應注意本發明較佳的係用於任何熟知的電腦系統，例如一個人電腦。因此，本文將不對該電腦系統作詳細說明。有益的係，還應注意，該等影像係直接輸入進該電腦系統(例如，藉由一數位相機)或在輸入該電腦系統之前數位化(例如，藉由掃描一原版，例如一鹵化銀膠片)。
參考圖1，解說一用以實施本發明之電腦系統110。儘管該電腦系統110係基於解說一較佳具體實施例之目的而顯示，但本發明不限於所顯示之電腦系統110，而可用於任何電子處理系統上(例如家用電腦、資訊站、零售或批發相片沖洗店的電子處理系統)或用於處理數位影像之任何其他系統。該電腦系統110包括一基於微處理器的單元112，此單元係用以接收與處理軟體程式及用以實行其他處理功能。一顯示器114係電連接至基於微處理器的單元112以(例如，藉由一圖形利用者介面)顯示與該軟體相關聯之關於利用者的資訊。一鍵盤116亦係連接至基於微處理器的單元112以允許一利用者向該軟體輸入資訊。如此項技術中已熟知，作為利用該鍵盤116進行輸入之一替代方案，可以利用一滑鼠118用以在該顯示器114上移動一選擇器120並用以選擇該選擇器120所覆蓋之一項目。
將一般包括軟體程式的光碟唯讀記憶體(CD－ROM)124插入至基於微處理器的單元中，以提供向基於微處理器的單元112輸入該等軟體程式及其他資訊之一方法。此外，一軟碟126還可包括一軟體程式，且係插入至基於微處理器的單元112中以輸入該軟體程式。或者可以將該光碟唯讀記憶體(CD－ROM)124或該軟碟126插入至位於外部而連接至基於微處理器的單元112之磁碟機單元122。進一步，基於微處理器的單元112可經程式化(如此項技術中所熟知)用以將該軟體程式儲存於內部。基於微處理器的單元112還可具有與一外部網路(例如區域網路或網際網路)之一網路 連接127(例如一電話線)。還可將一印表機128連接至基於微處理器的單元112以列印出來自該電腦系統110的輸出之一書面複本。
還可經由一個人電腦卡(PC卡)130將影像顯示於顯示器114上，例如，如先前所知之一PCMCIA卡(基於個人電腦記憶卡國際協會之規格)，其包含以電子方式具體化於PC卡130中的數位化影像。該PC卡130最終係插入至基於微處理器的單元112中，以允許在該顯示器114上對該影像作視覺顯示。或者，可以將該PC卡130插入至位於外部而連接至基於微處理器的單元112之一PC讀卡器132。還可經由光碟124、軟碟126或網路連接127來輸入影像。儲存於該PC卡130、該軟碟126或該光碟124中或透過該網路連接127輸入的任何影像可以係從諸如一數位相機(未顯示)或一掃描器(未顯示)之類的各種來源獲得。還可經由連接至該基於微處理器的單元112之一相機銜接埠(docking port)136來直接從一數位相機134或經由與該基於微處理器的單元112之一電纜連接138或經由與該基於微處理器的單元112之一無線連接140來直接從該數位相機134輸入影像。
依據本發明，可以將該演算法儲存於上文所提到的任何儲存裝置中並應用於影像以便將該等影像清晰化。
圖2係本發明之較佳具體實施例之一高階圖。該數位相機134(圖1)負責產生一原始的數位紅色－綠色－藍色－全彩(RGBP)彩色濾光片陣列(CFA)影像200，此亦係稱為數位RGBP CFA影像或RGBP CFA影像。應注意，此刻可以利用 其他色彩通道組合(例如青色－深紅色－黃色－全彩)來替代以下說明中的紅色－綠色－藍色－全彩。關鍵項目係包括一全彩通道。此影像係視為一稀疏取樣的影像，因為該影像中的每一像素僅包含紅色、綠色、藍色或全彩資料之一像素值。一全彩影像內插區塊202從該RGBP CFA影像200產生一參考全彩影像204。一邊緣映射產生區塊210從該參考全彩影像204產生一邊緣映射216。一RGB CFA影像內插區塊206隨後從該RGBP CFA影像200產生一完全色彩影像208。一完全色彩影像增強區塊214從該完全色彩影像208及該邊緣映射216產生一增強的完全色彩影像212。
圖2中，可以採取熟習此項技術者所習知的任何適當方式來實行該全彩影像內插區塊202及該RGB CFA影像內插區塊206。關於範例，可參見美國專利公告案第2007/0024934號。此參考文獻中包括僅利用所捕獲的全彩像素來產生該參考全彩影像、利用所捕獲的全彩像素與所捕獲的彩色像素來產生該參考影像、僅利用所捕獲的彩色像素來產生該完全色彩影像以及利用所捕獲的彩色像素及所捕獲的全彩像素來產生該完全色彩影像之範例。
圖3係針對較佳具體實施例之邊緣映射產生區塊210(圖2)之一詳細方塊圖。一高通濾光區塊218從該參考全彩影像204(圖2)產生一高頻率影像220。一般藉由兩個方法之一方法來實行高通濾光：直接捲積或作為反清晰化掩模之一部分。對於直接捲積，藉由一高通核心來捲積該參考全彩影像204(圖2)而結果之絕對值係該高頻率影像220。一適當 的高通核心之一範例係
熟習此項技術者已熟知如何產生其他適當的高通核心。在反清晰化掩模之情況下，藉由一低通核心來捲積該參考全彩影像204(圖2)，並從該參考全彩影像204(圖2)減去所得低頻率影像。此減法之絕對值係該高頻率影像220。一適當的低通核心之一範例係
熟習此項技術者已熟知如何產生其他適當的低通核心。接續圖3之說明，一定限區塊222從該高頻率影像220產生該邊緣映射216(圖2)。區塊222中的定限一般係藉由對照一給定的臨限值來測試該高頻率影像220中的每一像素值來實行。若該高頻率影像220中的像素值等於或大該給定臨限值，則該邊緣映射中的對應像素值係標記為一邊緣像素並設定為指示一邊緣之存在的一值(例如，一)。若該高頻率影像220中的像素值小於該給定臨限值，則該邊緣映射中的對應像素值係標記為一平坦像素並設定為指示一邊緣之不存在的一值(例如，零)。還可利用多個臨限值。對於一範例，在藉由利用一相對較大的第一臨限值來產生一第一邊緣映射後，藉由利用一較小的第二臨限值從該第一邊緣映 射及該高頻率影像220產生一第二邊緣映射。在此情況下，在該第一邊緣映射中標記為一邊緣像素的每一像素位置係自動標記為在該第二邊緣映射中處於對應位置之一邊緣像素。在該第一邊緣映射中之一像素位置係標記為一平坦像素而相鄰像素位置之至少一位置係標記為一邊緣像素之情況下，將對應的高頻率影像220像素值與第二臨限值相比較。若該高頻率影像220中的像素值等於或大於該第二臨限值，則該第二邊緣映射中的對應像素值係標記為一邊緣像素。若該高頻率影像220中的像素值小於該第二臨限值，則該第二邊緣映射中的對應像素值係標記為一平坦像素。熟習此項技術者會明白，可藉由利用額外臨限值來繼續此程序。
圖4係針對一替代具體實施例之邊緣映射產生區塊210(圖2)之一詳細方塊圖。一高通濾光區塊224從該參考全彩影像204(圖2)產生一高頻率影像226。該高頻率影像226具有三個通道。第一通道包含邊緣大小值，其係藉由與高通濾光區塊218(圖3)所實行的計算相同之計算而產生之結果。第二通道包含水平梯度值，其係藉由取一採用一水平梯度核心的捲積之絕對值而產生。此一核心之一範例係(－101)。
第三通道包含垂直梯度值，其係藉由取一採用一垂直梯度核心的捲積之絕對值而產生。此一核心之一範例係
接下來，該非最大值抑制區塊228從該高頻率影像226產生一邊緣細化的高頻率影像230。一般藉由針對每一邊緣大小像素位置而將該水平梯度值與該垂直梯度值相比較，來實行區塊228中的非最大值抑制。若該水平梯度值大於或等於該垂直梯度值，則非最大值抑制之方向係水平。若該垂直梯度值大於該水平值，則非最大值抑制之方向係垂直。圖5係在對邊緣大小值E3 進行操作時邊緣大小值之一範例性像素近鄰。若非最大值抑制之方向係水平，則若E3 大於或等於E2 及E4 兩者，則令其保持不變。否則，將E3 設定為零。若非最大值抑制之方向係垂直，則若E3 大於或等於E1 及E5 兩者，則令其保持不變。否則，將E3 設定為零。圖4中，該定限區塊222係與先前根據圖3所說明的操作相同之操作。
熟習此項技術者會明白，可以採取任何數目的方式來增強該邊緣映射216(圖2)，例如，透過利用形態處理來減少雜訊效應或依據該邊緣映射216(圖2)之隨後利用來改變該邊緣映射216內的特徵之厚度。
參考圖2，現在提出針對該完全色彩影像增強區塊214之若干範例。一此類完全色彩影像增強係雜訊減少。對於該完全色彩影像208中的每一像素(隨後稱為中心像素)，檢查該邊緣映射216中的對應值來弄清其係標記為一邊緣像素 還係一平坦像素。若該中心像素係一邊緣像素，則可跳過該像素值之雜訊減少以便保留邊緣細節。若該中心像素係一平坦像素，則將在該中心像素之一給定距離內的所有其他平坦像素一起平均以產生一雜訊減少的中心像素值。
完全色彩影像增強之另一範例係清晰化(邊緣增強)。可以從該完全色彩影像208或從該參考全彩影像204(如2007年1月9日申請的美國專利申請案第11/621,139號所教導)產生一清晰化通道。接下來，針對該完全色彩影像208中的每一像素(隨後稱為中心像素)，檢查該邊緣映射216中的對應值來弄清其係標記為一邊緣像素還係一平坦像素。若該中心像素係一邊緣像素，則將整個對應的清晰化通道值與中心像素值相加以使得該邊緣細節清晰化。若該中心像素係一平坦像素，則將該對應的清晰化通道值之一部分或不將任何該值與該中心像素值相加，以減少對該完全色彩影像中的雜訊之不合需要的放大。
完全色彩影像增強之另一範例係色彩校正。色彩校正一般係藉由將該完全色彩影像208之色彩通道值乘以一3x3矩陣來實行以便產生增強的完全色彩影像212。此計算採取以下形式： 其中(R,G,B)表示該等完全色彩影像208色彩通道值，而(R',G',B')表示增強的完全色彩影像212。針對該完全色彩 影像208中的每一像素，檢查該邊緣映射216中的對應值來弄清其係標記為一邊緣像素還係一平坦像素。若該像素係一邊緣像素，則將完全的對應色彩校正施加於該完全色彩影像208像素值。若該像素係一平坦像素，則將一部分色彩校正或不將任何色彩校正施加於該完全色彩影像208像素值以減小雜訊及影像處理人工因素之可見度。
圖6係本發明之一替代具體實施例之一高階圖。該數位相機134(如圖1所示)負責產生一原始的數位紅色－綠色－藍色－全彩(RGBP)彩色濾光片陣列(CFA)影像200，此亦係稱為數位RGBP CFA影像或RGBP CFA影像。應注意，此刻可以利用其他色彩通道組合(例如青色－品紅色－黃色－全彩)來替代以下說明中的紅色－綠色－藍色－全彩。關鍵項目係包括一全彩通道。此影像係視為一稀疏取樣的影像，因為該影像中的每一像素僅包含紅色、綠色、藍色或全彩資料之一像素值。一全彩影像內插區塊202從該RGBP CFA影像200產生一參考全彩影像204。一邊緣映射產生區塊210從該參考全彩影像204產生一邊緣映射216。一RGB CFA影像內插區塊232隨後從該RGBP CFA影像200及該參考全彩影像204產生一完全色彩影像234。一完全色彩影像增強區塊214從該完全色彩影像234及該邊緣映射216產生一增強的完全色彩影像236。
圖6中，可以採取熟習此項技術者所習知的任何適當方式來實行該全彩影像內插區塊202及該RGB CFA影像內插區塊232。關於範例，可參見美國專利申請案第 2007/0024934號。此參考文獻中包括僅利用所捕獲的全彩像素來產生該參考全彩影像、利用所捕獲的全彩像素與所捕獲的彩色像素來產生該參考影像、僅利用所捕獲的彩色像素來產生該完全色彩影像以及利用所捕獲的彩色像素及所捕獲的全彩像素來產生該完全色彩影像之範例。圖6中的其他區塊之細節與圖中所示之較佳具體實施例相同。
可以在各種利用者背景及環境中採用本發明之較佳具體實施例中所揭示之基於邊緣映射的演算法。範例性的背景及環境包括但不限於：批發數位相片沖洗店(其包括諸如膠片輸入、數位處理、印刷輸出之類範例性的程序步驟或階段)、零售數位相片沖洗店(膠片輸入、數位處理、印刷輸出)、家庭印刷(在家裏掃描的膠片或數位影像、數位處理、印刷輸出)、桌面軟體(將演算法應用於數位印刷品以使其更佳甚或僅對其加以改變的軟體)、數位實現(數位影像輸入：來自媒體或透過網路；數位處理；及影像輸出：採用媒體上的數位形式、透過網路的數位形式或者印刷於書面複本印刷品上)、資訊站(數位或經掃描的輸入、數位處理、數位或經掃描的輸出)、行動裝置(例如，PDA或行動電話，其可用作一處理單元、一顯示單元或一用於發出處理指令之單元)以及作為經由全球資訊網提供之一服務。
在各個情況下，該等基於邊緣映射的演算法可以係獨立的或可以係一較大系統解決方式之一組件。此外，與該演算法之介面，例如，掃描或輸入、數位處理、向一利用者 的顯示(若需要)、利用者請求或處理指令之輸入(若需要)、輸出，皆可以係處於同一或不同的裝置上及實體位置，而該等裝置與位置之間的通信可以係經由公共或私有網路連接或者係基於媒體的通信。與本發明之前述揭示內容一致，該等演算法本身可以係完全自動的。但是，可以利用利用者輸入或者一操作者可以檢視以接受/拒絕該結果。還可以利用由一測量裝置供應(例如在一相機中)之元資料。此外，該等演算法可與各種工作流程利用者介面方案介接。
本文所揭示的依據本發明之基於邊緣映射的演算法可具有利用各種資料偵測及約簡技術(例如，臉部偵測、眼睛偵測、皮膚偵測、閃光偵測)之內部組件。
110‧‧‧電腦系統
112‧‧‧基於微處理器的單元
114‧‧‧顯示器
116‧‧‧鍵盤
118‧‧‧滑鼠
120‧‧‧顯示器上的選擇器
122‧‧‧磁碟機單元
124‧‧‧光碟唯讀記憶體(CD－ROM)
126‧‧‧軟碟
127‧‧‧網路連接
128‧‧‧印表機
130‧‧‧個人電腦卡(PC卡)
132‧‧‧PC讀卡器
134‧‧‧數位相機
136‧‧‧相機銜接埠
138‧‧‧電纜連接
140‧‧‧無線連接
200‧‧‧RGBP CFA影像
202‧‧‧全彩影像內插
204‧‧‧參考全彩影像
206‧‧‧RGB CFA影像內插
208‧‧‧完全色彩影像
210‧‧‧邊緣映射產生
212‧‧‧增強的完全色彩影像
214‧‧‧完全色彩影像增強
216‧‧‧邊緣映射
218‧‧‧高通濾光
220‧‧‧高頻率影像
222‧‧‧定限
224‧‧‧高通濾光
226‧‧‧高頻率影像
228‧‧‧非最大值抑制
230‧‧‧邊緣細化的高頻率影像
232‧‧‧RGB CFA影像內插
234‧‧‧完全色彩影像
236‧‧‧增強的完全色彩影像
圖1係一包括用以實施本發明之一數位相機的電腦系統之一透視圖；圖2係本發明之一較佳具體實施例之一方塊圖；圖3係更詳細顯示圖2中的區塊210之一方塊圖；圖4係更詳細顯示圖2中的區塊210之一替代具體實施例之一方塊圖；圖5係在圖4中的區塊228中執行非最大值抑制期間所利用之一像素近鄰；以及圖6係本發明之一替代具體實施例之一方塊圖。
134‧‧‧數位相機
200‧‧‧RGBP CFA影像
202‧‧‧全彩影像內插
204‧‧‧參考全彩影像
206‧‧‧RGB CFA影像內插
208‧‧‧完全色彩影像
210‧‧‧邊緣映射產生
212‧‧‧增強的完全色彩影像
214‧‧‧完全色彩影像增強
216‧‧‧邊緣映射

Claims (8)

  1. 一種提供一場景之一增強的完全色彩影像之方法，其包含：利用藉由一兼具彩色與全彩像素的二維感測器陣列而捕獲的該場景之一所捕獲影像；回應於該等所捕獲之彩色像素而形成該完全色彩影像；回應於該等所捕獲之全彩像素而形成一參考全彩影像；在該參考全彩影像上執行一高通濾光操作以產生一高頻率影像；回應於該參考全彩影像而形成一邊緣映射；將一對應像素之一像素值與一預定臨限值相比較；若該像素值係大於或等於該預定臨限值，將該像素值設定為一第一預定邏輯值以指示一邊緣之一存在；若該像素值係小於該預定臨限值，將該像素值設定為一第二預定邏輯值以指示一邊緣之一不存在，其中在該邊緣映射中的該對應像素值係標記為一邊緣像素且被設定為指示一邊緣之存在的一值，或者在該邊緣映射中的該對應像素值係標記為一平坦像素且被設定為指示一邊緣之不存在的一值；以及利用該邊緣映射來增強該完全色彩影像。
  2. 如請求項1之方法，其中形成該完全色彩影像包括兼用該等所捕獲的彩色像素與該等所捕獲的全彩像素來形成 該完全色彩影像。
  3. 如請求項1之方法，其中形成一參考全彩影像包括兼用該等所捕獲的彩色像素與該等所捕獲的全彩像素來形成該參考全彩影像。
  4. 如請求項1之方法，其中使用該邊緣映射以增強該完全色彩影像進一步包含在該高頻率影像上執行一非最大值抑制以產生一邊緣細化高頻率影像，其中該邊緣映射係基於該邊緣細化高頻率影像而形成。
  5. 如請求項1之方法，其中該邊緣映射係用於提供雜訊清除。
  6. 如請求項1之方法，其中該邊緣映射係用於提供清晰化。
  7. 如請求項1之方法，其中該邊緣映射係用於提供色彩校正。
  8. 如請求項4之方法，其中執行一非最大值抑制包含：針對每一邊緣大小像素位置而將一水平梯度值與一垂直梯度值相比較；若該水平梯度值係大於或等於該垂直梯度值，判定該非最大值抑制之一方向為水平；若該垂直梯度值係小於或等於該水平梯度值，判定該非最大值抑制之該方向為垂直。
TW97111571A 2007-03-30 2008-03-28 利用全彩像素映射邊緣 TWI467495B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/694,034 US7844127B2 (en) 2007-03-30 2007-03-30 Edge mapping using panchromatic pixels

Publications (2)

Publication Number Publication Date
TW200903347A TW200903347A (en) 2009-01-16
TWI467495B true TWI467495B (zh) 2015-01-01

Family

ID=39794492

Family Applications (1)

Application Number Title Priority Date Filing Date
TW97111571A TWI467495B (zh) 2007-03-30 2008-03-28 利用全彩像素映射邊緣

Country Status (6)

Country Link
US (1) US7844127B2 (zh)
EP (1) EP2130176B1 (zh)
JP (1) JP5395053B2 (zh)
CN (1) CN101652798B (zh)
TW (1) TWI467495B (zh)
WO (1) WO2008121280A2 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
US8837849B2 (en) 2007-06-26 2014-09-16 Google Inc. Method for noise-robust color changes in digital images
US20110227923A1 (en) * 2008-04-14 2011-09-22 Xid Technologies Pte Ltd Image synthesis method
JP5259449B2 (ja) * 2009-02-17 2013-08-07 オリンパス株式会社 画像処理装置及び方法並びにプログラム
US8724928B2 (en) * 2009-08-31 2014-05-13 Intellectual Ventures Fund 83 Llc Using captured high and low resolution images
DE102010041569B4 (de) * 2010-09-28 2017-04-06 Leica Geosystems Ag Digitales Kamerasystem, Farbfilterelement für digitales Kamerasystem, Verfahren zur Bestimmung von Abweichungen zwischen den Kameras eines digitalen Kamerasystems sowie Bildverarbeitungseinheit für digitales Kamerasystem
CN102034225B (zh) * 2010-12-20 2012-05-23 天津大学 一种基于边缘模式的插入图像颜色分量的方法
DE202012013411U1 (de) 2011-04-25 2016-11-15 Terra Bella Technologies Inc. Systeme für Overhead-Bild- und Videoanzeige
US9237257B1 (en) * 2013-06-14 2016-01-12 Xilinx, Inc. Circuits for and methods of generating a digital image
US10230925B2 (en) 2014-06-13 2019-03-12 Urthecast Corp. Systems and methods for processing and providing terrestrial and/or space-based earth observation video
US9697434B2 (en) * 2014-12-10 2017-07-04 Omnivision Technologies, Inc. Edge detection system and methods
WO2016153914A1 (en) 2015-03-25 2016-09-29 King Abdulaziz City Of Science And Technology Apparatus and methods for synthetic aperture radar with digital beamforming
CA2990063A1 (en) 2015-06-16 2017-03-16 King Abdulaziz City Of Science And Technology Efficient planar phased array antenna assembly
US10955546B2 (en) 2015-11-25 2021-03-23 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
CA3064735C (en) 2017-05-23 2022-06-21 Urthecast Corp. Synthetic aperture radar imaging apparatus and methods
US11378682B2 (en) 2017-05-23 2022-07-05 Spacealpha Insights Corp. Synthetic aperture radar imaging apparatus and methods for moving targets
CA3083033A1 (en) 2017-11-22 2019-11-28 Urthecast Corp. Synthetic aperture radar apparatus and methods
US10552708B2 (en) 2018-03-07 2020-02-04 Xerox Corporation Method and system for extracting impression marks using a mobile application
CN110493583B (zh) * 2018-08-03 2021-12-17 杭州海康威视数字技术股份有限公司 图像处理方法、装置、电子设备及计算机可读存储介质
US11164039B2 (en) 2019-10-23 2021-11-02 International Business Machines Corporation Framework for few-shot temporal action localization
CN111586375B (zh) * 2020-05-08 2021-06-11 Oppo广东移动通信有限公司 高动态范围图像处理系统及方法、电子设备和可读存储介质
CN111711766B (zh) * 2020-06-17 2022-01-04 Oppo广东移动通信有限公司 图像处理方法及装置、终端和计算机可读存储介质
CN111711755B (zh) * 2020-06-28 2022-01-04 Oppo广东移动通信有限公司 图像处理方法及装置、终端和计算机可读存储介质
CN111757006B (zh) * 2020-07-08 2021-10-29 Oppo广东移动通信有限公司 图像获取方法、摄像头组件及移动终端
CN114466170B (zh) * 2021-08-27 2023-10-31 锐芯微电子股份有限公司 图像处理方法及系统
CN115802183B (zh) * 2021-09-10 2023-10-20 荣耀终端有限公司 图像处理方法及其相关设备
US20230196621A1 (en) * 2021-12-17 2023-06-22 Meta Platforms Technologies, Llc Sparse rgb filter hardware accelerator

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030081854A1 (en) * 2001-06-12 2003-05-01 Deshpande Sachin G. Filter for combined de-ringing and edge sharpening
US6801672B1 (en) * 2001-06-01 2004-10-05 Bruce A. Thomas Removing noise from a color image using wavelets
TWI255134B (en) * 2004-10-29 2006-05-11 Sunplus Technology Co Ltd System to suppress color noise
US7099518B2 (en) * 2002-07-18 2006-08-29 Tektronix, Inc. Measurement of blurring in video sequences
US20060251322A1 (en) * 2005-05-03 2006-11-09 Eastman Kodak Company Color fringe desaturation for electronic imagers
US20070024931A1 (en) * 2005-07-28 2007-02-01 Eastman Kodak Company Image sensor with improved light sensitivity

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4618990A (en) * 1984-11-15 1986-10-21 General Electric Company Edge enhancement filtering for digital fluorography images
DE69312257T2 (de) * 1993-02-11 1998-01-29 Agfa Gevaert Nv Strahlungsfelderkennungsverfahren
US5420971A (en) 1994-01-07 1995-05-30 Panasonic Technologies, Inc. Image edge finder which operates over multiple picture element ranges
GB9605527D0 (en) * 1996-03-15 1996-05-15 Vlsi Vision Ltd Image restoration
US6529239B1 (en) 1998-06-01 2003-03-04 Fairchild Imaging, Inc. Image sensor with stripes of cyan filter material perpendicular to stripes of yellow filter material
US6614474B1 (en) 1998-08-27 2003-09-02 Polycom, Inc. Electronic pan tilt zoom video camera with adaptive edge sharpening filter
US6621937B1 (en) * 1999-10-08 2003-09-16 Eastman Kodak Company Removing chroma noise from digital images by using variable shape pixel neighborhood regions
US6757012B1 (en) 2000-01-13 2004-06-29 Biomorphic Vlsi, Inc. Color selection for sparse color image reconstruction
KR100403601B1 (ko) * 2001-12-21 2003-10-30 삼성전자주식회사 영상의 윤곽선 보정 장치 및 방법
JP3988457B2 (ja) * 2001-12-25 2007-10-10 ソニー株式会社 撮像装置及び固体撮像素子の信号処理方法
JP2003263643A (ja) * 2002-03-07 2003-09-19 Univ Osaka 撮影方向判定装置およびその方法
US7012643B2 (en) 2002-05-08 2006-03-14 Ball Aerospace & Technologies Corp. One chip, low light level color camera
JP2004304706A (ja) * 2003-04-01 2004-10-28 Fuji Photo Film Co Ltd 固体撮像装置およびその補間処理方法
US7305103B2 (en) * 2003-06-30 2007-12-04 The Boeing Company System and method for generating pan sharpened multispectral imagery
KR100548611B1 (ko) * 2003-08-07 2006-01-31 삼성전기주식회사 영상 처리에 있어서의 에지 강조를 위한 장치 및 방법
US7298922B1 (en) * 2004-07-07 2007-11-20 Lockheed Martin Corporation Synthetic panchromatic imagery method and system
JP4781670B2 (ja) * 2004-12-17 2011-09-28 三星電子株式会社 撮像装置
US20060152596A1 (en) * 2005-01-11 2006-07-13 Eastman Kodak Company Noise cleaning sparsely populated color digital images
JP4702088B2 (ja) * 2005-03-31 2011-06-15 カシオ計算機株式会社 画像信号のノイズ低減方法、ノイズ低減装置及び撮像装置
US8274715B2 (en) * 2005-07-28 2012-09-25 Omnivision Technologies, Inc. Processing color and panchromatic pixels
US7830430B2 (en) * 2005-07-28 2010-11-09 Eastman Kodak Company Interpolation of panchromatic and color pixels
JP2007043285A (ja) * 2005-08-01 2007-02-15 Olympus Corp 振れベクトル検出装置、カメラシステム、振れベクトル検出方法、及び振れベクトル検出プログラム
JP4325599B2 (ja) * 2005-08-25 2009-09-02 ソニー株式会社 撮像装置および表示制御方法
US7688368B2 (en) * 2006-01-27 2010-03-30 Eastman Kodak Company Image sensor with improved light sensitivity
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US7876956B2 (en) * 2006-11-10 2011-01-25 Eastman Kodak Company Noise reduction of panchromatic and color image
US20080123997A1 (en) * 2006-11-29 2008-05-29 Adams James E Providing a desired resolution color image
US7769230B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7769229B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Processing images having color and panchromatic pixels
US7893976B2 (en) * 2006-12-01 2011-02-22 Eastman Kodak Company Light sensitivity in image sensors
US7769241B2 (en) * 2007-01-09 2010-08-03 Eastman Kodak Company Method of sharpening using panchromatic pixels
US7844127B2 (en) * 2007-03-30 2010-11-30 Eastman Kodak Company Edge mapping using panchromatic pixels
US8594451B2 (en) * 2007-03-30 2013-11-26 Omnivision Technologies, Inc. Edge mapping incorporating panchromatic pixels
US7889921B2 (en) * 2007-05-23 2011-02-15 Eastman Kodak Company Noise reduced color image using panchromatic image
US20090051984A1 (en) * 2007-08-23 2009-02-26 O'brien Michele Image sensor having checkerboard pattern
US8164651B2 (en) * 2008-04-29 2012-04-24 Omnivision Technologies, Inc. Concentric exposure sequence for image sensor

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6801672B1 (en) * 2001-06-01 2004-10-05 Bruce A. Thomas Removing noise from a color image using wavelets
US20030081854A1 (en) * 2001-06-12 2003-05-01 Deshpande Sachin G. Filter for combined de-ringing and edge sharpening
US7099518B2 (en) * 2002-07-18 2006-08-29 Tektronix, Inc. Measurement of blurring in video sequences
TWI255134B (en) * 2004-10-29 2006-05-11 Sunplus Technology Co Ltd System to suppress color noise
US20060251322A1 (en) * 2005-05-03 2006-11-09 Eastman Kodak Company Color fringe desaturation for electronic imagers
US20070024931A1 (en) * 2005-07-28 2007-02-01 Eastman Kodak Company Image sensor with improved light sensitivity

Also Published As

Publication number Publication date
JP5395053B2 (ja) 2014-01-22
EP2130176A2 (en) 2009-12-09
CN101652798A (zh) 2010-02-17
TW200903347A (en) 2009-01-16
WO2008121280A3 (en) 2009-05-28
US20080240601A1 (en) 2008-10-02
US7844127B2 (en) 2010-11-30
JP2010525427A (ja) 2010-07-22
WO2008121280A2 (en) 2008-10-09
CN101652798B (zh) 2017-05-17
EP2130176B1 (en) 2017-06-07

Similar Documents

Publication Publication Date Title
TWI467495B (zh) 利用全彩像素映射邊緣
TWI430184B (zh) 結合全色像素之邊緣映射
TWI430202B (zh) 使用全色像素之銳化方法
TWI542223B (zh) 利用全彩影像之雜訊減低彩色影像
JP5123212B2 (ja) パンクロマチック画素及びカラー画素の補間
TWI459324B (zh) 修改色彩及全色通道彩色濾光片陣列影像
JP5156022B2 (ja) パンクロマチックおよびカラーの画像のノイズ低減
US20080123997A1 (en) Providing a desired resolution color image
US20060152603A1 (en) White balance correction in digital camera images
TW200808035A (en) Filtered noise reduction in digital images
JP2007074578A (ja) 画像処理装置、撮影装置、及びプログラム
Yang et al. Quality evaluation of color demosaicing according to image resolution
JP2004328137A (ja) 画像撮像装置、画像処理装置及び画像処理プログラム