TWI458333B - 用於使用雜訊模型減少影像雜訊之方法及裝置 - Google Patents

用於使用雜訊模型減少影像雜訊之方法及裝置 Download PDF

Info

Publication number
TWI458333B
TWI458333B TW096132109A TW96132109A TWI458333B TW I458333 B TWI458333 B TW I458333B TW 096132109 A TW096132109 A TW 096132109A TW 96132109 A TW96132109 A TW 96132109A TW I458333 B TWI458333 B TW I458333B
Authority
TW
Taiwan
Prior art keywords
pixel
noise
signal
edge
target pixel
Prior art date
Application number
TW096132109A
Other languages
English (en)
Other versions
TW200818862A (en
Inventor
Ilia Ovsiannikov
Original Assignee
Micron Technology Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Micron Technology Inc filed Critical Micron Technology Inc
Publication of TW200818862A publication Critical patent/TW200818862A/zh
Application granted granted Critical
Publication of TWI458333B publication Critical patent/TWI458333B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G06T5/70—

Description

用於使用雜訊模型減少影像雜訊之方法及裝置
所揭示具體實施例係關於減少影像雜訊之影像處理。
數位影像捕獲已受到影像捕獲設備使用者的廣泛接受。使用固態成像器或影像感測器來捕獲影像的靜態與視訊數位相機目前受到廣泛的使用。具有一像素陣列用於影像捕獲的常見固態成像器係基於CCD與CMOS技術，以及其他技術。
固態成像器面臨之一問題係捕獲的影像中雜訊的存在，尤其係在低光條件下，及/或在一相機之一ISO設定係設定較高之處，其導致較短影像整合時間。影像雜訊在一顯示的或一印刷的影像中顯示為該影像中之一粒度。
過去的影像捕獲處理方法一直係用於嘗試減少影像雜訊。此類方法通常依賴於整體影像的軟化或模糊。然而，此類技術可軟化整個影像，甚至係不存在雜訊或至少視覺上不可察覺的影像之區域。此外，整體影像之軟化(類似於一成像透鏡之一較小散焦)減少影像清晰度，其通常係不合需要的。
彩色成像器通常從一像素陣列輸出紅色/綠色/藍色(RGB)彩色信號，因為每一成像器像素通常係藉由一紅色、綠色或藍色濾光片加以覆蓋；並(例如)以一貝爾(Bayer)圖案加以配置，如圖1所解說。為針對一影像之每一像素獲得紅色、綠色及藍色資訊，需要彩色內插。此程序(稱為"解馬賽克")分析適當相鄰像素的色值以在效果上估計每一像素的未知色彩資料。若在讀出該貝爾圖案之一RGRG序列線(例如圖1之陣列82的第三線)上的綠色像素之一者，則彩色內插之程序估計藉由觀看其上與其下的藍色像素之值並組合該些藍色值來估計該像素的藍色值。對於紅色估計，該程序觀看該綠色像素之左邊與右邊的紅色像素之值並組合該些值。
捕獲的影像經受由於各種原因所致的模糊，包括相機透鏡之一有限解析度、感測器陣列中的像素間串擾及添加有意或無意模糊的各種影像處理。孔徑校正使影像清晰或"解模糊"。該清晰化係藉由增加影像之高頻分量的增益加以執行。儘管此使得整體影像更清晰，但其亦突顯該影像中的任何雜訊，因為隨機像素對像素變更亦係放大。
可將解馬賽克期間決定的RGB值轉換成YUV值用於額外像素處理，其中Y係一光度值而UV係色度值。傳統孔徑校正涉及比較目標像素及其周圍像素之一光度值的差與在製造期間設定之一預設臨界值。若超過該臨界值，則使該目標像素經受於一預設位準的孔徑校正(例如該差之增加)。此類傳統系統選擇該臨界值來最小化所有亮度位準之區域中的可見雜訊。此可導致黑暗區域的過度模糊，而在明亮區域中僅實現中等的雜訊抑制。
因此，需要並需求依據偵測的影像雜訊參數更具選擇性地減少一捕獲的影像中之雜訊。
在以下詳細說明中，將參考形成其一部份的附圖，其中藉由解說顯示可實施本發明的特定具體實施例。此等具體實施例係充分詳細地說明以使熟習此項技術者能夠實施該等具體實施例，且應明白可利用其他具體實施例並可進行結構、邏輯、處理及電方面的變化。所說明的處理步驟之進程係一範例；然而，步驟序列並不限於本文所提出之步驟序列並可如此項技術中已知進行改變，除必須以一特定順序發生的步驟之外。
本文所使用的術語"像素"表示一光元件單位單元，其包含一光感測器及用於將光子轉換成一電信號之相關電晶體。
本文說明的具體實施例係在一CMOS成像器之背景下呈現，其係用於一數位靜態或視訊相機以減少一捕獲的影像中的雜訊。然而，此僅係可使用的成像器之一範例。可使用其他影像捕獲技術(例如CCD)來實施具體實施例。實際上，使用本文中說明的影像捕獲後數位處理技術，可實施具體實施例來減少藉由任一影像捕獲技術捕獲之任一影像上的雜訊。
現參考圖式，其中相同數字表示相同元件，圖2顯示一影像捕獲裝置100之具體實施例。儘管不要求，可將該圖2之影像捕獲裝置100實施為一單晶片系統設計，其中所解說的所有組件係在一單一積體電路上進行製造。該影像捕獲裝置100可使用任一類型之影像感測技術，即CCD、CMOS等。
該影像捕獲裝置100包含一感測器核心200，其與連接至一輸出介面130之一影像流處理器110進行通信。將一鎖相迴路(PLL)244用作該感測器核心200之一時脈。負責影像與色彩處理之影像流處理器110包括內插線緩衝器112、抽樣器線緩衝器114及一色彩處理管線120。該色彩處理器管線120的功能之一者係執行解馬賽克及其他像素處理操作，包括依據如以下更充分說明的具體實施例的雜訊減少。
該輸出介面130包括一輸出先進先出(FIFO)平行緩衝器132與一串列行動產業處理介面(MIPI)輸出134，尤其係在該影像捕獲裝置100係用於一行動電話環境中之一相機之處。使用者可藉由設定該影像捕獲裝置100晶片內之一組態暫存器中的暫存器來選擇一串列輸出或一平行輸出。一內部匯流排140將唯讀記憶體(ROM)142、一微控制器144及一靜態隨機存取記憶體(SRAM)146連接至該感測器核心200、影像流處理器110及輸出介面130。
圖3解說用於該圖2之影像捕獲裝置100的範例性感測器核心200。在一具體實施例中，該感測器核心200包括一CMOS成像器像素陣列202，不過任一類型之固態陣列核心皆可與本發明一起使用。藉由一綠色1/綠色2通道204(其輸出對應於該像素陣列之兩個綠色通道的像素信號)並透過一紅色/藍色通道206(其包含對應於該陣列之紅色與藍色通道的像素信號)將像素陣列202連接至類比處理電路208。
儘管僅解說兩個通道204與206，有效地存在四個通道，因為該等綠色1與綠色2信號係使用通道204於不同的時間讀出，而該等紅色與藍色信號同樣係使用通道206於不同的時間讀出。
該類比處理電路208輸出RGB資訊，如同處理的綠色1/綠色2信號G1/G2輸出至一第一類比至數位轉換器(ADC)214並將處理的紅色/藍色信號R/B輸出至一第二類比至數位轉換器216。該等兩個類比至數位轉換器214與216之輸出係傳送至一數位處理器230，其形成一捕獲的影像之一數位表示。
連接至該陣列202或作為其之部分的係列與行解碼器211與209及列與行驅動器電路212與210，其係藉由一時序與控制電路240進行控制來使用該陣列202捕獲影像。該時序與控制電路240使用控制暫存器242來決定如何控制該陣列202及其他組件。如上所述，該PLL 244用作該核心200中之組件的時脈。
像素陣列202包含配置成一預定數目之列與行的複數個像素。在操作中，對於一CMOS成像器，藉由一列選擇線同時全部開啟每一列及陣列的像素並藉由一行選擇電路將該列內之每一行的像素選擇性地輸出至行輸出線上。針對整個陣列202提供複數個列與行線。藉由列驅動器電路212回應列位址解碼器211來選擇性地啟動該等列線並藉由一行驅動器210回應行位址解碼器209來選擇性地啟動行選擇線。因而，針對每一像素提供一列與行位址。該時序與控制電路240控制該等位址解碼器211與209用於為像素讀出選擇適當的列與行線並控制該列與行驅動器電路212與210，其將驅動電壓施加至該等選定列與行線之驅動電晶體。
每一行皆在該類比處理電路208中包含取樣電容器與開關，其為選定像素讀取一像素重置信號Vrst 與一像素影像信號Vsig 。因為該核心200使用綠色1/綠色2通道204與一分離紅色/藍色通道206，故電路208將具有容量來為綠色1/綠色2與紅色/藍色像素信號儲存Vrst 與Vsig 。一差動信號(Vrst －Vsig )係藉由包含於該類比處理電路208中的差動放大器而產生。針對每一像素輸出信號藉由包含於該電路208中的差動放大器來產生一差動信號(Vrst －Vsig )。因而，該等信號G1/G2與R/B係差動信號，其表示藉由一個別類比至數位轉換器214與216數位化的個別像素亮度值。該類比至數位轉換器214與216將該等數位化G1/G2與R/B像素信號供應至該數位處理器230，其形成該數位影像輸出(例如一10位元數位輸出)。該輸出係傳送至該影像流處理器110(圖2)用於進一步處理。其中，該影像流處理器110將在施加至其的捕獲的影像數位像素值上執行色彩校正及其他調整。
儘管已參考一CMOS成像器像素陣列之使用來說明該感測器核心200，此僅係可使用的感測器核心之一類型。還可使用具有一不同讀出架構的其他感測器核心。例如，可使用一CCD核心，其將用於處理之像素信號供應至一影像流信號處理器110。該影像流處理器110之色彩管線120在於其接收的像素信號上執行若干操作，其一者係選擇性雜訊減少。
出於簡化本說明之目的，下面結合減少一捕獲的影像中之雜訊來說明以下具體實施例。雜訊減少係藉由從不重要特徵統計上區分重要影像特徵來選擇性地執行。具體實施例包括動態改變孔徑校正度，藉由解馬賽克程序動態改變模糊度，或兩者。
本文說明的具體實施例包括比較目標像素及至少一周圍像素與一動態雜訊臨界值，以及基於該比較結果來控制一雜訊減少操作。
一般而言，統計上不重要特徵無法從該影像中的雜訊區分出來。若該特徵已藉由雜訊高度地遮罩，則可減少施加至此類特徵的孔徑校正數量而不會不利地影響該特徵之可見度。相反，確實高於雜訊位準的統計上重要特徵可經受一完全的孔徑校正數量。
邊緣察覺解馬賽克與雜訊減少程序可受益於關於邊緣存在的一可信度之統計測量。某些邊緣察覺程序藉由比較來自彼此接近之像素的值之一差與一臨界值來偵測一邊緣之存在。該臨界值係固定的或基於當前感測器類比增益與整合時間針對該影像而設定。然而，因為該像素回應中的雜訊數量可以係該像素回應本身之一函數，故一固定雜訊臨界值可錯誤地偵測一邊緣之存在。使用一雜訊模型導致邊緣之一更可靠偵測。在一邊緣察覺解馬賽克或雜訊減少之情況下，可將該臨界值計算為該像素對之值的一函數。
本文說明的具體實施例基於具有影像像素雜訊特性與系統雜訊特性之先驗知識來識別統計上重要影像特徵。對於進行處理的每一像素，基於包括像素上資訊與像素處理系統雜訊之一雜訊模型來計算存在於該像素之信號值中的雜訊之一估計，包括雜訊估計值與一底部臨界底部值。若該雜訊估計係高，則主動地將雜訊減少施加至該像素，因為該雜訊在遮罩現有的影像特徵。
接收一恆定曝光之一像素通常可藉由一隨機變數X使用期望值E(X)與標準偏差來模型化如下： 其中常數a 、b及c表示由各種來源對像素雜訊之貢獻。例如，a 可對應於像素回應非均勻性貢獻；b可對應於光子散粒雜訊貢獻；以及c可對應讀取雜訊、固定圖案雜訊及數位量化誤差。像素回應非均勻性係關於一個別像素的轉換增益。光子散粒雜訊係關於在藉由一個別像素的光感測器之光子捕獲中之一時間變化。
為估計影像中的雜訊數量，以下技術使用相較於以上公式的簡化關係。該等關係係簡化至此一程度使其適合於簡單且有效率的硬體與軟體實施方案。
參考圖4，解說圖2之色彩管線120之一部分400。圖5A係藉由圖4之管線部分400實施的處理500之流程圖。部分400包括一解馬賽克單元410、一色彩校正模組430、一雜訊模型單元450、一孔徑校正單元460及一組合電路445。
解馬賽克單元410從感測器核心200接收數位像素信號作為RGB信號(步驟510)並在輸出415上產生解馬賽克的像素信號作為原始解馬賽克的資料(原始RGB)而在輸出420上作為針對解馬賽克的目標像素之光度資訊YPixel (步驟520)。此外，還在輸出425上提供針對進行處理之目標像素周圍的像素之解馬賽克的光度資訊YSurround 。色彩校正模組430執行該解馬賽克的資料(原始RGB)之色彩校正處理。該色彩校正模組430產生已知YUV格式的輸出色彩資訊用於進一步處理，其中Y表示在路徑435上輸出的光度，而U與V表示在路徑440上輸出的色度分量。該光度分量Y係傳送至一組合電路445，其可以係(例如)一加法器單元。在另一具體實施例中，可將該孔徑校正信號YAP 添加至解馬賽克的資料(原始RGB)，而該組合接著藉由色彩校正模組430接收。在此情況下，應將該解馬賽克的資料(原始RGB)轉換成YUV格式以致能YAP 至該解馬賽克的資料之光度分量的添加。
雜訊模型單元450接收該YPixel 信號與該YSurround 信號並決定一雜訊減少臨界值TAP (步驟530)。孔徑校正單元460接收來自雜訊模型單元450之輸出455的雜訊減少臨界值TAP 及來自解馬賽克單元410的光度信號YPixel 與YSurround ，並基於接收的信號TAP 、YPixel 及YSurround 來決定是否要求孔徑校正(步驟540)。以下說明是否要求孔徑校正之決定。
若要求孔徑校正(步驟540)，則孔徑校正單元460在輸出465上產生一雜訊減少的孔徑校正信號YAP (步驟550)(以下說明)，其在組合電路445中與來自色彩校正模組430之光度信號Y組合，從而產生一校正的光度信號Y＋YAP (步驟560)。該校正的光度信號Y＋YAP 係傳送至該色彩校正管線120之其他處理單元中(步驟570)。若針對該目標像素不要求孔徑校正(步驟540)，則從部分400僅輸出該光度值Y(步驟580)。
圖5B係與一目標像素的光度YPixel 成函數關係的雜訊減少臨界值TAP 的曲線圖。線(恆定)顯示一傳統恆定值雜訊減少臨界值TAP ，其引起該孔徑校正程序過多地模糊黑暗區域(低YPixel )與不充分地抑制明亮區域中的雜訊(高YPixel )。線(動態)顯示本文揭示之具體實施例中實施的一動態設定雜訊減少臨界值TAP ，其允許明亮與黑暗區域中之不同模糊數量。TN0 係一雜訊底部偏移，一最小雜訊減少臨界值。使用一簡單線性雜訊模型，在步驟550中添加至影像中的孔徑校正(YAP )可以係計算如下：Yd ＝YPixel －YSurround (2) YAP ＝(|Yd |－TAP )* kAP * sgn(Yd ) (3)其中YPixel 係目標像素的光度，YSurround 係該目標像素周圍之像素光度的平均，Yd 係表示YPixel 與YSurround 之間的差的一中間值，TAP 係一雜訊減少臨界值，kAP 係一孔徑校正增益，而sgn(Yd )係基於Yd 之符號的1或－1值。因而，若YPixel 與YSurround 之間的差大於TAP (即，超過該雜訊減少臨界值)，則孔徑校正單元460將針對該雜訊減少的孔徑校正信號YAP 產生一正值，從而指示針對該目標像素要求孔徑校正(步驟570)。否則，孔徑校正單元460將不產生該雜訊減少的孔徑校正信號YAP ，使得針對該目標像素不執行孔徑校正(步驟580)。
在一具體實施例中，該雜訊減少臨界值TAP 可動態地改變如下：TAP ＝YPixel * kN ＋TN0 (4)其中kN 係一像素模型雜訊斜率，而TN0 係一雜訊底部偏移。此等式係與該像素回應成函數關係的像素雜訊之一次估計。若需要，可使用一更複雜的公式來提供一更精確的估計。
依據另一具體實施例，依據以下等式來決定該雜訊減少臨界值TAP (步驟530)：TAP ＝YPixel * kNPixel ＋YSurround * kNSurround ＋TN0 (5)其中kNPixel 係該目標像素之一雜訊估計，kNSurround 係周圍像素之一雜訊估計，而TN0 係一雜訊底部偏移。在一替代性具體實施例中，YPixel 可藉由該像素值本身加以取代。
該雜訊模型單元450與孔徑校正單元460配合以實質上減少一捕獲的影像中之雜訊。一般而言，藉由單元460之孔徑校正係設計成用以移除該透鏡、該感測器陣列及藉由解馬賽克單元410執行之解馬賽克程序的某些模糊效應。基於該雜訊模型，每一像素係指派一雜訊減少臨界值TAP 用於比較。例如，可基於如圖5B所解說的個別目標像素之亮度來決定該雜訊減少臨界值TAP 。因此，可採用選擇性清晰化來使僅必需清晰化的影像之部分清晰化，從而避免雜訊之放大。
在另一具體實施例中，在該解馬賽克程序期間執行雜訊減少。圖6係圖2所解說的色彩管線120之一部分600的另一具體實施例之方塊圖。圖7A係藉由圖6之管線部分600實施的處理700之流程圖。部分600包括一解馬賽克與雜訊減少單元610及一雜訊模型單元630。
解馬賽克與雜訊減少單元610從感測器核心200(圖2)接收數位像素信號作為貝爾RGB信號(步驟710)。此外，解馬賽克與雜訊減少單元610在輸出620上產生針對一目標像素PPixelA 之像素值並在輸出625上產生針對一附近像素PPixelB 之像素值，其係藉由雜訊模型單元630接收(步驟720)。雜訊模型單元630依據一雜訊模型動態地產生該解馬賽克臨界值Tedge (步驟730)。接著，將該解馬賽克臨界值Tedge 輸出至解馬賽克與雜訊減少單元610，其使用Tedge 來尋找邊緣(步驟740)，或色彩或亮度中的清晰轉變。使用一雜訊模型動態決定之一Tedge 減少該邊緣偵測程序中的雜訊之效應，其增加該邊緣偵測之精確度。
若一邊緣存在，該解馬賽克與雜訊減少單元610僅使用在該邊緣之相同側上的周圍像素來在輸出615上產生解馬賽克的像素信號作為原始資料(原始RGB)(步驟750)，其較少模糊該影像，即，僅在與該目標像素相同之側上的周圍像素。若無邊緣存在，則該解馬賽克與雜訊減少單元610使用所有周圍像素來在輸出615上產生解馬賽克的像素信號作為原始資料(原始RGB)(步驟760)，其較多模糊該影像。
圖7B係包括一邊緣之一濾色器陣列770的圖式。濾色器陣列770包括一目標像素A與一附近像素B，其中目標像素A與一邊緣或亮度轉變點相鄰。可依據以下測試來測試一邊緣之存在：Tedge <|PPixelA －PPixe1B |(即，邊緣存在) (6) Tedge |PPixelA －PPixelB |(即，邊緣不存在) (7)其中Tedge 係該解馬賽克臨界值，PPixelA 係該目標像素之像素值，而PPixelB 係該附近像素之像素值。
可藉由以下公式之任一者來動態地計算該解馬賽克臨界值Tedge ：TEdge ＝PPixelA * kN ＋TN0 ，或 (8) TEdge ＝PPixelA * kN A ＋PPixelB * kN B ＋TN0 (9)其中kN 、kN A 、kN B 及TN0 係組成一線性雜訊模型之係數。
在另一具體實施例中，可依據一二次模型來偵測一邊緣，其包括：Tedge 2 <(PPixelA －PPixelB )2 (即，邊緣存在) (10) Tedge 2 (PPixelA －PPixelB )2 (即，邊緣不存在)，其中 (11) Tedge 2 ＝PPixelA 2 * kN A2 ＋PPixelA * kN A1 ＋TN0 ，或者 (12) Tedge 2 ＝PPixelA 2 * kN A2 ＋PPixelA * kN A1 ＋PPixelB 2 * kN B2 ＋PPixelB * PPixelB 2 * kN B2 ＋PPixelB * kN B1 ＋TN0 (13)其中Tedge 係該解馬賽克臨界值，PPixelA 係該目標像素之像素值，PPixelB 係該附近像素之像素值，且其中kN A1 、kN B1 、kN A2 、kN B2 及TN0 係組成一二次雜訊模型之係數。執行此等計算之硬體實施方案可相對較便宜，因為可藉由將該不等式之兩側升至二的次方來避免平方根計算。
其他具體實施例可藉由比較一影像之兩個區域而非僅該影像之兩個像素來執行邊緣偵測。使用公式(10)至(13)來偵測邊緣、PPixelA 及PPixelB 可使用針對該邊緣之一側與另一側上的區域亮度之一估計來代替，其依據以下公式：PPixelA (x,y)＝PAreaA (x,y)＝avg(Pi,j |相鄰於像素(x,y)之Pi,j 與A側上之Pi,j ) (14) PPixelB (x,y)＝PAreaB (x,y)＝avg(Pi,j |相鄰於像素(x,y)之Pi,j 與B側上之Pi,j ) (15)其中PAreaA 係針對藉由處於位置(x,y)的目標像素A與該目標像素A周圍的選定像素定義之區域的區域亮度之一估計，PAreaB 係針對藉由進行測試之邊緣的另一側上的相鄰像素B定義之區域的區域亮度之一估計，i與j係該中央目標像素A之係數，而avg係一平均函數。
圖7C係包括一邊緣之另一濾色器陣列780的圖式。如另一範例，濾色器陣列780包括複數個目標像素E與複數個附近像素F，其中藉由該等目標像素E定義之區域與一邊緣相鄰。在濾色器陣列780中，該等目標像素E與附近像素F係均勻地分佈於其個別區域內，具有八個目標像素E與五個附近像素F。因此，使用以上等式(14)與(15)，區域亮度之估計變為：PAreaE (x,y)＝avg(Pi,j ,Pi－2,j ,Pi＋2,j ,Pi,j－2 ,Pi－2,j－2 ,Pi＋2,j－2 ) (16) PAreaF (x,y)＝avg(Pi,j＋2 ,Pi－2,j＋2 ,Pi＋2,j＋2 ) (17)其中PAreaE 係針對藉由該等目標像素E定義之一區域的區域亮度之一估計，PAreaF 係針對藉由該等附近像素F定義之一區域的區域亮度之一估計，i與j係一中央目標像素E之係數，及avg係一平均函數。
還可將所揭示技術應用於雜訊減少濾波器，其操作解馬賽克之前的原始資料並依賴於邊緣偵測。此類技術通常評估一邊緣是否存在於一鄰近區域中。若無邊緣存在，則一濾波器可平均或另外模糊像素回應。然而，若一邊緣存在，則可不施加模糊；或可施加模糊以沿該邊緣平均或模糊且不橫跨該邊緣。
此類濾波器之性能可藉由使用一像素雜訊模型來偵測邊緣加以改良，例如使用諸如圖7B與7C中解說之該些技術之類的技術。還可類似於圖4中解說的技術來動態地調整所施加的模糊之數量。
存在許多現有技術用於邊緣偵測。應明白，可將所揭示技術應用於其他邊緣偵測方法。例如，解馬賽克可在藉由比較一綠色像素估計與四個周圍綠色像素之值而檢查該等綠色平面時來偵測一邊緣。例如，可將該綠色像素估計計算為該等四個周圍綠色像素之一平均或一中位數數值。等式(6)至(13)亦可應用於此類情況。
在一相機中，像素雜訊模型參數可以係分離地選擇並用於每一可用ISO設定。若一相機不明確支援ISO設定，則像素雜訊模型參數可與類比增益設定及/或數位增益設定成函數關係而改變。若適當，則應將個別參數用於每一色彩通道。例如，當在如圖7C所示之一貝爾圖案陣列上使用一像素雜訊模型來執行邊緣偵測時，若不同色彩的像素具有一不同類比及/或數位增益，則當比較紅色、綠色及藍色平面中之像素時可使用一分離的參數集。若該數位增益與像素位置成函數關係而改變(例如)以補償透鏡漸暈效應，則像素雜訊模型參數亦可與像素位置成函數關係而相應地改變。
應注意，參考圖4至7C說明的具體實施例可以係獨立以及一起用於相同系統，例如成像系統100。
圖8係一相機系統之一具體實施例，其可與實施本發明之一具體實施例的具有一色彩管線120之圖2的成像裝置100一起使用。相機系統800(例如一靜態或視訊相機系統)一般包含：一透鏡830，其用於在該像素陣列202(圖2)上聚焦一影像；一中央處理單元(CPU)805(例如一微處理器)，其用於控制相機操作，其透過一匯流排815與一或多個輸入/輸出(I/O)裝置810進行通信。成像裝置100亦透過匯流排815與該CPU 805進行通信。該系統800還包括隨機存取記憶體(RAM)820，且可包括可移除記憶體825(例如快閃記憶體)，其亦透過匯流排815與CPU 805進行通信。成像裝置100可與一處理器(例如CPU、數位信號處理器或微處理器)組合，在一單一積體電路上或不同於該處理器之一晶片上具有或不具有記憶體儲存器。
該相機系統800係具有數位電路之一系統的一範例，其可包括影像感測器裝置。不具任何限制性，此一系統可包括一電腦系統、相機系統、掃描器、機器視覺、車輛導航、視訊電話、監視系統、自動聚焦系統、星體追蹤儀系統、運動偵測系統、影像穩定系統及資料壓縮系統。
以上說明中的程序與裝置及圖式解說可使用與生產以實現本文說明的具體實施例之目的、特徵及優點的許多方法及裝置的範例。因而，其不應係視為受該等具體實施例之前述說明限制，而僅受隨附申請專利範圍限制。
82．．．陣列
100．．．影像捕獲裝置/成像裝置
110．．．影像流處理器
112．．．內插線緩衝器
114．．．抽樣器線緩衝器
120．．．色彩處理管線
130．．．輸出介面
132．．．輸出先進先出(FIFO)平行緩衝器
134．．．串列行動產業處理介面(MIPI)輸出
140．．．內部匯流排
142．．．唯讀記憶體(ROM)
144．．．微控制器
146．．．靜態隨機存取記憶體(SRAM)
200．．．感測器核心
202．．．CMOS成像器像素陣列
204．．．綠色1/綠色2通道
206．．．紅色/藍色通道
208．．．類比處理電路
209．．．行解碼器/位址解碼器
210．．．行驅動器電路
211．．．列解碼器/列位址解碼器
212．．．列驅動器電路
214．．．第一類比至數位轉換器(ADC)
216．．．第二類比至數位轉換器
230．．．數位處理器
240．．．時序與控制電路
242．．．控制暫存器
244．．．鎖相迴路(PLL)
400．．．管線部分
410．．．解馬賽克單元
415．．．輸出
420．．．輸出
425．．．輸出
430．．．色彩校正模組
435．．．路徑
440．．．路徑
445．．．組合電路
450．．．雜訊模型單元
455．．．輸出
460．．．孔徑校正單元
465．．．輸出
600．．．管線部分
610．．．解馬賽克與雜訊減少單元
615．．．輸出
620．．．輸出
625．．．輸出
630．．．雜訊模型單元
770．．．濾色器陣列
780．．．濾色器陣列
800．．．相機系統
805．．．中央處理單元(CPU)
810．．．輸入/輸出(I/O)裝置
815．．．匯流排
820．．．隨機存取記憶體(RAM)
825．．．可移除記憶體
830．．．透鏡
圖1係結合一成像器像素陣列使用之一傳統濾色器陣列的俯視圖。
圖2係可實施本文說明之一具體實施例的一成像裝置之方塊圖。
圖3係圖2中描述之一感測器核心的方塊圖。
圖4係圖3中解說的色彩管線之一部分的一具體實施例之方塊圖。
圖5A係藉由圖4之管線部分實施的處理之流程圖。
圖5B係與一目標像素的光度成函數關係的雜訊減少臨界值之曲線圖。
圖6係圖3中解說的色彩管線之一部分的另一具體實施例之方塊圖。
圖7A係藉由圖6之管線部分實施的處理之流程圖。
圖7B係包括一邊緣之一濾色器陣列的圖式。
圖7C係包括一邊緣之另一濾色器陣列的圖式。
圖8係可於圖2之成像裝置一起使用的一相機系統之一具體實施例。
400．．．管線部分
410．．．解馬賽克單元
415．．．輸出
420．．．輸出
425．．．輸出
430．．．色彩校正模組
435．．．路徑
440．．．路徑
445．．．組合電路
450．．．雜訊模型單元
455．．．輸出
460．．．孔徑校正單元
465．．．輸出

Claims (66)

  1. 一種處理成像器像素信號以減少一捕獲影像中雜訊的方法，該方法包含：接收代表該捕獲影像中各別像素信號之一目標像素信號及至少一相鄰像素信號；至少部分基於該目標像素信號之一值來構成一動態雜訊信號；減法組合該目標像素信號與該至少一相鄰像素信號以形成一中間值；減法組合該中間值及該動態雜訊信號以形成一雜訊調整信號；以及僅在若該中間值大於該動態雜訊信號時，將該雜訊調整信號加入該目標像素信號。
  2. 如請求項1之方法，其中該動態雜訊信號係由目標像素雜訊與像素處理系統雜訊上之資訊而部分地決定。
  3. 如請求項1之方法，其中：該雜訊調整信號(YAP )係依據以下等式來產生：Yd =YPixel -YSurround ，以及YAP =(| Yd |-TAP )* kAP * sgn(Yd )，其中：YPixel 係該目標像素信號之一光度分量，YSurround 係該至少一相鄰像素之一光度分量，Yd 係表示YPixel 與YSurround 之間的差之一中間值，TAP 係該動態雜訊信號， kAP 係一孔徑校正增益，以及sgn(Yd )係基於該Yd 之符號的1或-1之一值。
  4. 如請求項3之方法，其中該動態雜訊信號係依據以下等式決定之一臨界值(TAP )：TAP =YPixel * kN +TN0 ，其中YPixel 係該目標像素信號之一光度分量，kN 係一像素模型雜訊斜率，而TN0 係一雜訊底部偏移。
  5. 如請求項1之方法，其中該動態雜訊信號係依據以下等式決定之一臨界值(TAP )：TAP =YPixel * kNPixel +YSurround * kNSurround +TN0 ，其中YPixel 係該目標像素信號之一光度分量，YSurround 係該至少一相鄰像素之一光度分量，kNPixel 係針對該目標像素之一雜訊估計，kNSurround 係針對該至少一相鄰像素之一雜訊估計，而TN0 係一雜訊底部偏移。
  6. 如請求項1之方法，其中該雜訊減少操作包含當代表該目標像素信號與該至少一相鄰像素信號之該減法組合之該中間值超過該動態雜訊信號時控制一孔徑校正操作。
  7. 如請求項6之方法，其中該孔徑校正依據該目標像素信號之一光度值與該至少一相鄰像素信號之一光度值來形成一孔徑校正信號，該孔徑校正信號之一量值係藉由該中間值超過該動態雜訊信號之一數量加以決定。
  8. 如請求項7之方法，其中該孔徑校正信號係一光度信號，其係與該目標像素之一光度信號相組合。
  9. 如請求項1之方法，其中該雜訊減少操作包含控制藉由 依據該動態雜訊信號之一色彩解馬賽克操作而引入的模糊之一數量。
  10. 如請求項9之方法，其中：該解馬賽克操作包括偵測是否存在一邊緣轉變與該目標像素相鄰；以及該偵測係基於該動態雜訊信號。
  11. 如請求項10之方法，其中：若偵測到一邊緣轉變，則該解馬賽克操作係基於該目標像素及在與該目標像素相同的該邊緣轉變之一側上的該目標像素周圍的像素；以及若未偵測到一邊緣轉變，則該解馬賽克操作係基於該目標像素與該目標像素周圍的像素。
  12. 如請求項10之方法，其中偵測該邊緣轉變包含：針對該目標像素周圍之一區域來決定一第一估計的區域像素值；針對至少一相鄰像素周圍之一區域來決定一第二估計的區域像素值；以及比較該等第一與第二估計的區域像素值。
  13. 如請求項10之方法，其中該動態雜訊信號係依據以下等式決定之一臨界值(TEdge )：TEdge =PPixelA * kN +TN0 ，其中：PPixelA 係針對該目標像素信號之一像素值，kN 係組成一線性雜訊模型之一係數，以及 TN0 係一雜訊底部偏移。
  14. 如請求項13之方法，其中偵測該邊緣轉變係由以下關係決定：若Tedge <| PPixelA -PPixelB |，則決定一邊緣轉變存在；以及若Tedge | PPixelA -PPixelB |，則決定一邊緣轉變不存在，其中PPixelB 係針對一相鄰像素信號之一像素值。
  15. 如請求項10之方法，其中該動態雜訊信號係依據以下等式決定之一臨界值(TEdge )：TEdge =PPixelA * kN A +PPixelB * kN B +TN0 ，其中：PPixelA 係針對該目標像素信號之一像素值，PPixelB 係針對一相鄰像素信號之一像素值，kN A 與kN B 係組成一線性雜訊模型之係數，以及TN0 係一雜訊底部偏移。
  16. 如請求項15之方法，其中偵測該邊緣轉變係由以下關係決定：若Tedge <| PPixelA -PPixelB |，則決定一邊緣轉變存在；以及若Tedge | PPixelA -PPixelB |，則決定一邊緣轉變不存在。
  17. 如請求項10之方法，其中該動態雜訊信號係依據以下等式決定之一臨界值(TEdge )： Tedge 2 =PPixelA 2 * kN A2 +PPixelA * kN A1 +TN0 ，其中：PPixelA 係針對該目標像素信號之一像素值，kN A1 與kN A2 係組成一二次雜訊模型之係數，以及TN0 係一雜訊底部偏移。
  18. 如請求項17之方法，其中偵測該邊緣轉變係由以下關係決定：若Tedge 2 <(PPixelA -PPixelB )2 ，則決定一邊緣轉變存在；以及若Tedge 2 (PPixelA -PPixelB )2 ，則決定一邊緣轉變不存在，其中PPixelB 係針對一相鄰像素信號之一像素值。
  19. 如請求項10之方法，其中該動態雜訊信號係依據以下等式決定之一臨界值(TEdge )：Tedge 2 =PPixelA 2 * kN A2 +PPixelA * kN A1 +PPixelB 2 * kN B2 +PPixelB * PPixelB 2 * kN B2 +PPixelB * kN B1 +TN0 ，其中：PPixelA 係針對該目標像素信號之一像素值，PPixelB 係針對一相鄰像素信號之一像素值，kN A1 、kN A2 、kN B1 及kN B2 係組成一二次雜訊模型之係數，以及TN0 係一雜訊底部偏移。
  20. 如請求項19之方法，其中偵測該邊緣轉變係由以下關係決定： 若Tedge 2 <(PPixelA -PPixelB )2 ，則決定一邊緣轉變存在；以及若Tedge 2 (PPixelA -PPixelB )2 ，則決定一邊緣轉變不存在。
  21. 如請求項10之方法，其中該動態雜訊信號係依據以下等式決定之一臨界值(TEdge )：Tedge 2 =PAreaA 2 * kN A2 +PAreaA * kN A1 +PAreaB 2 * kN B2 +PAreaB * PAreaB 2 * kN B2 +PAreaB * kN B1 +TN0 ；PAreaA (x,y)=avg(Pi,j |相鄰於像素(x,y)之Pi,j 與A側上之Pi,j )；以及PAreaB (x,y)=avg(Pi,j |相鄰於像素(x,y)之Pi,j 與B側上之Pi,j )，其中：PAreaA 係針對藉由處於一位置(x,y)之一目標像素A與該目標像素A周圍的選定像素定義之一區域的區域亮度之一估計，PAreaB 係針對藉由該進行偵測之邊緣轉變之另一側上的一相鄰像素B定義之一區域的區域亮度之一估計，i與j係針對一中央目標像素A之係數，avg係一平均函數，kN A1 、kN A2 、kN B1 及kN B2 係組成一二次雜訊模型之係數，以及TN0 係一雜訊底部偏移。
  22. 如請求項21之方法，其中偵測該邊緣轉變係由以下關係決定：若Tedge 2 <(PAreaA -PAreaB )2 ，則決定一邊緣轉變存在；以及若Tedge 2 (PAreaA -PAreaB )2 ，則決定一邊緣轉變不存在。
  23. 一種處理像素影像信號以減少一捕獲影像中雜訊的方法，該方法包含：接收一目標像素信號；接收至少一相鄰像素信號，其每一者與該捕獲影像中之一像素信號相關聯；基於至少該目標像素信號與一雜訊模型來決定一動態雜訊臨界值；若該目標像素信號與該相鄰像素信號之一減法組合超過該動態雜訊臨界值，則執行一孔徑校正操作；以及若決定該組合超過該動態雜訊臨界值，則將雜訊減少處理施加至該目標像素信號，其包含將該目標像素信號加入一調整信號作為該孔徑校正操作之部分，該調整信號係藉由將一動態雜訊信號與該目標像素信號及該相鄰像素信號之該減法組合進行減法組合而形成。
  24. 如請求項23之方法，其進一步包含依據該該目標像素信號及該相鄰像素信號之減法組合超過該動態雜訊臨界值之一數量來控制該調整信號之一位準。
  25. 如請求項24之方法，其中該孔徑校正操作形成該目標像素信號之一雜訊校正的光度分量。
  26. 一種處理像素影像信號以減少雜訊的方法，該方法包 含：接收一目標像素信號；接收至少一相鄰像素信號；基於至少該目標像素信號與一雜訊模型來決定一動態邊緣臨界值；以及基於使用該動態邊緣臨界值偵測與一目標像素相鄰之一邊緣轉變來解馬賽克。
  27. 如請求項26之方法，其中該解馬賽克包含依據一動態雜訊臨界值來形成針對該目標像素之紅色/綠色/藍色(RGB)像素值。
  28. 如請求項27之方法，其中：若偵測到一邊緣，則該解馬賽克包含基於該目標像素及在與該目標像素相同的該邊緣轉變之一側上的該目標像素周圍的像素來產生該等RGB值；以及若未偵測到一邊緣，則該解馬賽克包含基於該目標像素與該目標像素周圍的像素產生該等RGB值。
  29. 如請求項27之方法，其中該解馬賽克包含：針對該目標像素周圍之一區域來決定一第一估計的區域像素值；針對該至少一相鄰像素周圍之一區域來決定一第二估計的區域像素值；比較該等第一與第二估計的區域像素值；以及基於該比較來偵測一邊緣轉變。
  30. 一種在一影像管線中處理成像器像素信號以減少一捕獲 影像中雜訊的方法，該方法包含：在一影像管線中接收代表該捕獲影像中各別像素信號之一目標像素信號及至少一相鄰像素信號；至少部分基於該目標像素信號之一值來構成一動態雜訊信號；減法組合該目標像素信號與該至少一相鄰像素信號以形成一中間值；減法組合該中間值及該動態雜訊信號以形成一雜訊調整信號；以及僅在若該中間值大於該動態雜訊信號時，將該雜訊調整信號加入該目標像素信號。
  31. 如請求項30之方法，其中該動態雜訊信號係由目標像素雜訊與像素處理系統雜訊上之資訊而部分地決定。
  32. 如請求項30之方法，其中該雜訊減少操作包含控制藉由依據該動態雜訊信號之一色彩解馬賽克操作而引入的模糊之一數量。
  33. 一種成像裝置，其用於處理像素信號以減少一捕獲影像中之雜訊，該裝置包含：一像素處理單元，其用於處理代表該捕獲影像中各別像素信號之經接收的一目標像素信號及至少一相鄰像素信號，該像素處理單元減法組合該接收之目標像素信號及該至少一相鄰像素信號以形成一中間值；一雜訊單元，其用於提供一動態雜訊信號；以及一像素處理控制單元，其用於依據一雜訊調整信號藉 由僅在若該中間值大於該動態雜訊信號時將該雜訊調整信號加入該目標像素信號來控制該像素處理單元，該雜訊調整信號係藉由減法組合該中間值及該動態雜訊信號而形成。
  34. 如請求項33之成像裝置，其中該動態雜訊信號係由目標像素雜訊與像素處理系統雜訊上之資訊而部分地決定。
  35. 如請求項34之成像裝置，其中：該雜訊單元包含一雜訊模型單元，其用於基於至少該目標像素信號與一雜訊模型來決定一動態雜訊臨界值；以及其中該像素處理單元包含：一孔徑校正單元，其用於：比較代表該目標像素信號與該至少一相鄰像素信號之該減法組合之該中間值與該動態雜訊臨界值，以及當該中間值超過該動態雜訊臨界值之一位準時，控制一雜訊減少操作。
  36. 如請求項35之成像裝置，其中該孔徑校正單元將一調整的數量添加至該目標像素信號之一位準，其取決於該減法組合之該位準超過該動態雜訊臨界值之該位準的該數量。
  37. 如請求項36之成像裝置，其中該雜訊模型單元係經組態用以依據以下等式決定該動態雜訊臨界值(TAP )：TAP =YPixel * kN +TN0 ， 其中YPixel 係該目標像素信號之一光度分量，kN 係一像素模型雜訊斜率，而TN0 係一雜訊底部偏移。
  38. 如請求項37之成像裝置，其中該孔徑校正單元係進一步經組態用以依據以下等式產生一雜訊調整信號(YAP )：Yd =YPixel -YSurround ，以及YAP =(| Yd |-TAP )* kAP * sgn(Yd )，其中：YPixel 係該目標像素信號之一光度分量，YSurround 係該至少一相鄰像素之一光度分量，Yd 係表示YPixel 與YSurround 之間的差之一中間值，TAP 係該動態雜訊信號，kAP 係一孔徑校正增益，以及sgn(Yd )係基於該Yd 之符號的1或-1之一值。
  39. 如請求項36之成像裝置，其中該雜訊模型單元係經組態用以依據以下等式決定該動態雜訊臨界值(TAP )：TAP =YPixel * kNPixel +YSurround * kNSurround +TN0 ，其中YPixel 係該目標像素信號之一光度分量，YSurround 係該至少一相鄰像素之一光度分量，kNPixel 係針對該目標像素之一雜訊估計，kNSurround 係針對該至少一相鄰像素之一雜訊估計，而TN0 係一雜訊底部偏移。
  40. 如請求項39之成像裝置，其中該孔徑校正單元係進一步經組態用以依據以下等式產生一雜訊調整信號(YAP )：Yd =YPixel -YSurround ，以及YAP =(| Yd |-TAP )* kAP * sgn(Yd )， 其中：YPixel 係該目標像素信號之一光度分量，YSurround 係該至少一相鄰像素之一光度分量，Yd 係表示YPixel 與YSurround 之間的差之一中間值，TAP 係該動態雜訊信號，kAP 係一孔徑校正增益，以及sgn(Yd )係基於該Yd 之符號的1或-1之一值，以及其中該雜訊調整信號係施加至YPixel 。
  41. 如請求項35之成像裝置，其中該孔徑校正單元係經組態用以依據該目標像素信號之一光度值與該至少一相鄰像素之一光度值形成一雜訊校正的孔徑校正信號，該孔徑校正信號之一量值係藉由該目標像素信號光度值與該相鄰像素信號光度值之一減法組合超過該動態雜訊臨界值之一數量加以決定。
  42. 如請求項41之成像裝置，其中該孔徑校正信號係一光度信號，其係與該目標像素之一光度信號相組合。
  43. 如請求項36之成像裝置，其進一步包含：一色彩校正單元，其用於針對該目標像素產生校正的色值，該等校正的色值包括一光度值；以及一組合電路，其用於組合該調整數量與該色彩校正的目標像素之該光度值。
  44. 如請求項33之成像裝置，其中：該雜訊單元包含一雜訊模型單元，其用於基於至少該目標像素信號與一雜訊模型來決定一動態邊緣臨界值； 以及該成像裝置進一步包含：一解馬賽克單元，其用於接收該目標像素值與至少一相鄰像素信號，該解馬賽克單元係經組態用以基於使用該動態邊緣臨界值偵測與一目標像素相鄰之一邊緣轉變來控制一解馬賽克操作。
  45. 如請求項44之成像裝置，其中該解馬賽克單元係經組態用以：若偵測到一邊緣轉變，則該解馬賽克單元係經組態用以基於該目標像素及在與該目標像素相同的該邊緣轉變之一側上的該目標像素周圍的像素來產生紅色/綠色/藍色(RGB)值；以及若未偵測到一邊緣轉變，則該解馬賽克單元係經組態用以基於該目標像素與該目標像素周圍的像素產生該等RGB值。
  46. 如請求項44之成像裝置，其中該解馬賽克單元係經組態用以：針對該目標像素周圍之一區域來決定一第一估計的區域像素值；針對至少一相鄰像素周圍之一區域來決定一第二估計的區域像素值；比較該等第一與第二估計的區域像素值；以及基於該比較來偵測一邊緣轉變。
  47. 如請求項46之成像裝置，其中該動態邊緣臨界值(TEdge ) 係依據以下等式加以決定：TEdge =PPixelA * kN +TN0 ，其中：PPixelA 係針對該目標像素信號之一像素值，kN 係組成一線性雜訊模型之一係數，以及TN0 係一雜訊底部偏移。
  48. 如請求項47之成像裝置，其中該解馬賽克單元係經組態用以依據以下條件來偵測一邊緣轉變：若Tedge <| PPixelA -PPixelB |，則決定一邊緣轉變存在；以及若Tedge | PPixelA -PPixelB |，則決定一邊緣轉變不存在，其中PPixelB 係針對該相鄰像素信號之一像素值。
  49. 如請求項46之成像裝置，其中該動態邊緣臨界值(TEdge )係依據以下等式加以決定：TEdge =PPixelA * kN A +PPixelB * kN B +TN0 ，其中：PPixelA 係針對該目標像素信號之一像素值，PPixelB 係針對該相鄰像素信號之一像素值，kN A 與kN B 係組成一線性雜訊模型之係數，以及TN0 係一雜訊底部偏移。
  50. 如請求項49之成像裝置，其中該解馬賽克單元係經組態用以依據以下條件來偵測一邊緣轉變：若Tedge <| PPixelA -PPixelB |，則決定一邊緣轉變存在； 以及若Tedge | PPixelA -PPixelB |，則決定一邊緣轉變不存在。
  51. 如請求項46之成像裝置，其中該動態邊緣臨界值(TEdge )係依據以下等式加以決定：Tedge 2 =PPixelA 2 * kN A2 +PPixelA * kN A1 +TN0 ，其中：PPixelA 係針對該目標像素信號之一像素值，kN A1 與kN A2 係組成一二次雜訊模型之係數，以及TN0 係一雜訊底部偏移。
  52. 如請求項51之成像裝置，其中該解馬賽克單元係經組態用以依據以下條件來偵測一邊緣轉變：若Tedge 2 <(PPixelA -PPixelB )2 ，則決定一邊緣轉變存在；以及若Tedge 2 (PPixelA -PPixelB )2 ，則決定一邊緣轉變不存在，其中PPixelB 係針對該相鄰像素信號之一像素值。
  53. 如請求項46之成像裝置，其中該動態邊緣臨界值(TEdge )係依據以下等式加以決定：Tedge 2 =PPixelA 2 * kN A2 +PPixelA * kN A1 +PPixelB 2 * kN B2 +PPixelB * PPixelB 2 * kN B2 +PPixelB * kN B1 +TN0 ，其中：PPixelA 係針對該目標像素信號之一像素值，PPixelB 係針對該相鄰像素信號之一像素值， kN A1 、kN A2 、kN B1 及kN B2 係組成一二次雜訊模型之係數，以及TN0 係一雜訊底部偏移。
  54. 如請求項53之成像裝置，其中該解馬賽克單元係經組態用以依據以下條件來偵測一邊緣轉變：若Tedge 2 <(PPixelA -PPixelB )2 ，則決定一邊緣轉變存在；以及若Tedge 2 (PPixelA -PPixelB )2 ，則決定一邊緣轉變不存在。
  55. 如請求項46之成像裝置，其中該動態邊緣臨界值(TEdge )係依據以下等式加以決定：Tedge 2 =PAreaA 2 * kN A2 +PAreaA * kN A1 +PAreaB 2 * kN B2 +PAreaB * PAreaB 2 * kN B2 +PAreaB * kN B1 +TN0 ；PAreaA (x,y)=avg(Pi,j |相鄰於像素(x,y)之Pi,j 與A側上之Pi,j )；以及PAreaB (x,y)=avg(Pi,j |相鄰於像素(x,y)之Pi,j 與B側上之Pi,j )，其中：PAreaA 係針對藉由處於一位置(x,y)之一目標像素A與該目標像素A周圍的選定像素定義之一區域的區域亮度之一估計，PAreaB 係針對藉由該進行偵測之邊緣轉變之另一側上的一相鄰像素B定義之一區域的區域亮度之一估計， i與j係針對一中央目標像素A之係數，avg係一平均函數，kN A1 、kN A2 、kN B1 及kN B2 係組成一二次雜訊模型之係數，以及TN0 係一雜訊底部偏移。
  56. 如請求項55之成像裝置，其中該解馬賽克單元係經組態用以依據以下條件來偵測一邊緣轉變：若Tedge 2 <(PAreaA -PAreaB )2 ，則決定一邊緣轉變存在；以及若Tedge 2 (PAreaA -PAreaB )2 ，則決定一邊緣轉變不存在。
  57. 一種用於處理像素信號的裝置，該裝置包含：一雜訊模型單元，其用於基於至少一目標像素信號與一雜訊模型來決定一動態雜訊信號；以及一解馬賽克單元，其係經組態用以從該雜訊模型單元接收一動態邊緣，基於至少該目標像素信號與一相鄰像素對一動態邊緣臨界值之一關係來使用該目標像素信號與相鄰像素產生紅色/綠色/藍色像素值。
  58. 如請求項57之裝置，其中該動態邊緣臨界值係由像素雜訊與像素處理系統雜訊上之資訊而至少部分地決定。
  59. 一種用於處理像素信號以減少一捕獲影像中之雜訊的裝置，該裝置包含：一雜訊模型單元，其用於基於至少一第一目標像素信號與一雜訊模型來決定一動態雜訊臨界值； 一孔徑校正單元，其用於：比較代表該捕獲影像中各別像素信號之該第一目標像素信號與一相鄰像素信號之一組合減法值與該動態雜訊臨界值，以及基於該比較之結果來控制一孔徑校正操作，其中若決定該組合減法值超過該動態雜訊臨界值，則該孔徑校正單元將雜訊減少處理施加至該第一目標像素信號，其包含將該第一目標像素信號加入一調整信號作為該孔徑校正操作之部分，該調整信號係藉由將一動態雜訊信號與該第一目標像素信號及該相鄰像素信號之該組合減法值進行減法組合而形成。
  60. 如請求項59之裝置，其中該孔徑校正操作進一步包含藉由根據該減法組合超過該動態雜訊臨界值之數量的一數量來增加該第一目標像素信號位準。
  61. 一種相機系統，其包含：一透鏡；以及一成像裝置，其具有一像素陣列用於透過該透鏡來捕獲一影像，並用於產生與處理像素信號以見少經捕獲之該影像中之雜訊，該成像裝置進一步包含：一像素處理單元，其用於處理代表經捕獲之該影像中之各別像素信號之一第一目標像素信號及至少一相鄰像素信號；一臨界值單元，其用於提供一動態雜訊臨界值；及一控制單元，其用於依據至少該第一目標信號對該 動態雜訊信號之一關係以控制該像素處理單元，該控制單元藉由將該第一目標信號加入一雜訊調整信號來控制該像素處理單元，該雜訊調整信號係藉由減法組合該動態雜訊臨界值與代表經捕獲之該影像中之各別像素信號之該第一目標像素信號及該至少一相鄰像素信號之一減法組合而形成。
  62. 如請求項61之相機系統，該動態雜訊臨界值係部分決定自目標信號雜訊及像素處理系統雜訊上之資訊。
  63. 如請求項62之相機系統，其進一步包含：一雜訊模型單元，其用於基於至少該第一目標像素信號與一雜訊模型來決定一動態雜訊臨界值；以及一孔徑校正單元，其係經組態用以：比較至少該第一目標像素信號與該至少一相鄰像素信號之該減法組合與該動態雜訊臨界值，以及當該減法組合之一位準超過該動態雜訊臨界值之一位準時，控制一雜訊減少操作。
  64. 如請求項62之相機系統，其進一步包含：一色彩校正單元，其用於產生校正的色值，該等校正的色值包含一第二目標像素信號；以及一組合電路，其用於組合經處理的該第一目標像素信號與該第二目標像素信號。
  65. 如請求項62之相機系統，其進一步包含：一雜訊模型單元，其用於基於至少該第一目標像素分量與一雜訊模型來決定一動態邊緣臨界值；以及 一解馬賽克單元，其用於接收該第一目標像素值與該至少一相鄰像素信號，該解馬賽克單元係經組態用以基於至少該第一目標像素信號與該動態邊緣臨界值之一關係來針對該第一目標像素產生紅色/綠色/藍色(RGB)值。
  66. 一種相機系統，其包含：一透鏡；以及一成像裝置，其具有一像素陣列用於透過該透鏡捕獲一影像，並用於產生與處理像素信號以減少經捕獲之該影像中之雜訊，該成像裝置進一步包含：一影像管線，其用於接收包括與經捕獲之該影像相關聯之一目標像素信號及至少一相鄰像素信號之像素信號，該影像管線包含：一臨界值單元，其用於至少部分基於該目標像素信號之一值提供一動態雜訊臨界值；以及一像素處理單元，其用於依據該動態雜訊臨界值藉由將該目標信號加入一雜訊調整信號來處理經接收的該目標像素信號，該雜訊調整信號係藉由減法組合該動態雜訊信號及與經捕獲之該影像相關聯之經接收之該目標像素信號及該至少一相鄰像素信號之一減法組合而形成。
TW096132109A 2006-08-30 2007-08-29 用於使用雜訊模型減少影像雜訊之方法及裝置 TWI458333B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/512,299 US8160381B2 (en) 2006-08-30 2006-08-30 Method and apparatus for image noise reduction using noise models

Publications (2)

Publication Number Publication Date
TW200818862A TW200818862A (en) 2008-04-16
TWI458333B true TWI458333B (zh) 2014-10-21

Family

ID=38983437

Family Applications (1)

Application Number Title Priority Date Filing Date
TW096132109A TWI458333B (zh) 2006-08-30 2007-08-29 用於使用雜訊模型減少影像雜訊之方法及裝置

Country Status (3)

Country Link
US (4) US8160381B2 (zh)
TW (1) TWI458333B (zh)
WO (1) WO2008027211A2 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI822820B (zh) * 2018-08-16 2023-11-21 日商索尼半導體解決方案公司 攝像元件

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI343220B (en) * 2005-05-19 2011-06-01 Mstar Semiconductor Inc Noise reduction method
US9536322B1 (en) 2007-05-15 2017-01-03 Peter Harmon Smith Implementation of multi-camera tracking applications using rich color transition curve target sequences
US9070192B1 (en) * 2007-05-15 2015-06-30 Vision Interface Technologies, LLC Implementing rich color transition curve tracking for applications
JP5052319B2 (ja) * 2007-12-17 2012-10-17 オリンパス株式会社 動画ノイズ低減処理装置、動画ノイズ低減処理プログラム、動画ノイズ低減処理方法
US8035704B2 (en) * 2008-01-03 2011-10-11 Aptina Imaging Corporation Method and apparatus for processing a digital image having defective pixels
US7953288B2 (en) * 2008-03-18 2011-05-31 Xerox Corporation Edge transition detection in a high-addressable error diffusion environment
US8164651B2 (en) * 2008-04-29 2012-04-24 Omnivision Technologies, Inc. Concentric exposure sequence for image sensor
JP4879938B2 (ja) * 2008-06-27 2012-02-22 富士フイルム株式会社 画像処理装置および方法ならびにプログラム
JP5272581B2 (ja) * 2008-08-25 2013-08-28 ソニー株式会社 画像処理装置、撮像装置、画像処理方法およびプログラム
US8331688B2 (en) * 2009-01-07 2012-12-11 International Business Machines Corporation Focus-based edge detection
US8655058B2 (en) 2009-02-26 2014-02-18 Marvell World Trade Ltd. Method and apparatus for spatial noise adaptive filtering for digital image and video capture systems
KR101294735B1 (ko) * 2010-03-31 2013-08-08 삼성전자주식회사 이미지 처리 방법 및 이를 이용한 촬영 장치
WO2013016409A1 (en) * 2011-07-26 2013-01-31 Magna Electronics Inc. Vision system for vehicle
US9569695B2 (en) 2012-04-24 2017-02-14 Stmicroelectronics S.R.L. Adaptive search window control for visual search
US9639915B2 (en) * 2012-08-08 2017-05-02 Samsung Electronics Co., Ltd. Image processing method and apparatus
CN103578081B (zh) * 2012-08-08 2018-12-28 北京三星通信技术研究有限公司 用于提高图像质量的图像处理方法和系统
KR101981573B1 (ko) 2012-11-22 2019-05-23 삼성전자주식회사 이미지 신호 프로세서 및 이미지 신호 프로세서를 포함하는 모바일 촬영 장치
WO2014144950A1 (en) 2013-03-15 2014-09-18 Olive Medical Corporation Noise aware edge enhancement
CN105144675B (zh) 2013-03-15 2018-09-14 耶鲁大学 用于处理具有传感器相关噪声的成像数据的技术
WO2015043639A1 (en) * 2013-09-26 2015-04-02 Hewlett-Packard Indigo B.V. Generating raised print data
US9667842B2 (en) 2014-08-30 2017-05-30 Apple Inc. Multi-band YCbCr locally-adaptive noise modeling and noise reduction based on scene metadata
US9525804B2 (en) 2014-08-30 2016-12-20 Apple Inc. Multi-band YCbCr noise modeling and noise reduction based on scene metadata
JP6334358B2 (ja) * 2014-10-08 2018-05-30 エルジー ディスプレイ カンパニー リミテッド 画像信号処理装置およびビット拡張演算処理方法
JP6584131B2 (ja) * 2015-05-08 2019-10-02 キヤノン株式会社 撮像装置、撮像システム、および信号処理方法
US9641820B2 (en) 2015-09-04 2017-05-02 Apple Inc. Advanced multi-band noise reduction
JP7182907B2 (ja) 2017-06-15 2022-12-05 ブラックマジック デザイン ピーティーワイ リミテッド カメラの画像データ処理方法およびカメラ
KR102459221B1 (ko) 2018-02-20 2022-10-27 삼성전자주식회사 전자 장치, 이의 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
US11756285B2 (en) 2021-06-10 2023-09-12 Bank Of America Corporation Image processing system and method for image noise removal
US11736640B1 (en) * 2022-08-22 2023-08-22 Kyocera Document Solutions, Inc. Method and apparatus for detecting sheet-fed scanner double-feeds using neural network classifier

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5229864A (en) * 1990-04-16 1993-07-20 Fuji Photo Film Co., Ltd. Device for regenerating a picture signal by decoding
US5848181A (en) * 1995-07-26 1998-12-08 Sony Corporation Image processing method, image processing apparatus, noise removing method, and noise removing apparatus
US6038374A (en) * 1997-06-04 2000-03-14 Hewlett-Packard Company System and method for constructing calibrated color tables in color image reproduction systems using stochastic supersampling
US6108455A (en) * 1998-05-29 2000-08-22 Stmicroelectronics, Inc. Non-linear image filter for filtering noise
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US20020126892A1 (en) * 1998-12-16 2002-09-12 Eastman Kodak Company Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning Kernel
US20040086177A1 (en) * 2002-10-30 2004-05-06 Xuemei Zhang Color interpolation for image sensors using a local linear regression method
US20050201616A1 (en) * 2004-03-15 2005-09-15 Microsoft Corporation High-quality gradient-corrected linear interpolation for demosaicing of color images

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4761819A (en) * 1987-02-27 1988-08-02 Picker International, Inc. Adaptive noise reduction filter for reconstructed images
US5828467A (en) * 1996-10-02 1998-10-27 Fuji Xerox Co., Ltd. Block noise prevention by selective interpolation of decoded image data
KR100433625B1 (ko) * 2001-11-17 2004-06-02 학교법인 포항공과대학교 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5229864A (en) * 1990-04-16 1993-07-20 Fuji Photo Film Co., Ltd. Device for regenerating a picture signal by decoding
US5848181A (en) * 1995-07-26 1998-12-08 Sony Corporation Image processing method, image processing apparatus, noise removing method, and noise removing apparatus
US6038374A (en) * 1997-06-04 2000-03-14 Hewlett-Packard Company System and method for constructing calibrated color tables in color image reproduction systems using stochastic supersampling
US6178205B1 (en) * 1997-12-12 2001-01-23 Vtel Corporation Video postfiltering with motion-compensated temporal filtering and/or spatial-adaptive filtering
US6108455A (en) * 1998-05-29 2000-08-22 Stmicroelectronics, Inc. Non-linear image filter for filtering noise
US20020126892A1 (en) * 1998-12-16 2002-09-12 Eastman Kodak Company Noise cleaning and interpolating sparsely populated color digital image using a variable noise cleaning Kernel
US20040086177A1 (en) * 2002-10-30 2004-05-06 Xuemei Zhang Color interpolation for image sensors using a local linear regression method
US20050201616A1 (en) * 2004-03-15 2005-09-15 Microsoft Corporation High-quality gradient-corrected linear interpolation for demosaicing of color images

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI822820B (zh) * 2018-08-16 2023-11-21 日商索尼半導體解決方案公司 攝像元件

Also Published As

Publication number Publication date
US20120092526A1 (en) 2012-04-19
TW200818862A (en) 2008-04-16
US8391629B2 (en) 2013-03-05
US8743208B2 (en) 2014-06-03
US20080056607A1 (en) 2008-03-06
US20130242144A1 (en) 2013-09-19
WO2008027211A2 (en) 2008-03-06
WO2008027211A3 (en) 2009-10-01
US8160381B2 (en) 2012-04-17
US20120086838A1 (en) 2012-04-12
US8442345B2 (en) 2013-05-14

Similar Documents

Publication Publication Date Title
TWI458333B (zh) 用於使用雜訊模型減少影像雜訊之方法及裝置
US8035704B2 (en) Method and apparatus for processing a digital image having defective pixels
US8175378B2 (en) Method and system for noise management for spatial processing in digital image/video capture systems
US8248481B2 (en) Method and apparatus for motion artifact removal in multiple-exposure high-dynamic range imaging
US7609302B2 (en) Correction of non-uniform sensitivity in an image array
US8462220B2 (en) Method and apparatus for improving low-light performance for small pixel image sensors
US20070127836A1 (en) Method and apparatus providing noise reduction while preserving edges for imagers
US7830428B2 (en) Method, apparatus and system providing green-green imbalance compensation
US7876363B2 (en) Methods, systems and apparatuses for high-quality green imbalance compensation in images
US20070133893A1 (en) Method and apparatus for image noise reduction
US7756355B2 (en) Method and apparatus providing adaptive noise suppression
US20080298716A1 (en) Solid-State Imaging Device and Pixel Correction Method
JP2008244947A (ja) 固定パターンノイズ除去回路、固定パターンノイズ除去方法、プログラムおよび撮像装置
TWI524781B (zh) 信號處理裝置及信號處理方法、固態攝像裝置、電子資訊機器、信號處理程式以及電腦可讀取儲存媒體
JP2009303139A (ja) 固体撮像装置
JP5541205B2 (ja) 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法
JP2008141658A (ja) 電子カメラおよび画像処理装置
US8400534B2 (en) Noise reduction methods and systems for imaging devices
JP2008177724A (ja) 画像入力装置、信号処理装置および信号処理方法
JP2009105966A (ja) 固定パターンノイズ除去回路、固定パターンノイズ除去方法、プログラムおよび撮像装置
JP2007295260A (ja) 画像処理方法およびデジタルカメラ
US20090237530A1 (en) Methods and apparatuses for sharpening images
JP2000050290A (ja) カラー固体撮像装置

Legal Events

Date Code Title Description
GD4A Issue of patent certificate for granted invention patent