TWI707583B - 應用於影像感測電路的像素通道不平衡補償方法與系統 - Google Patents

應用於影像感測電路的像素通道不平衡補償方法與系統 Download PDF

Info

Publication number
TWI707583B
TWI707583B TW108125266A TW108125266A TWI707583B TW I707583 B TWI707583 B TW I707583B TW 108125266 A TW108125266 A TW 108125266A TW 108125266 A TW108125266 A TW 108125266A TW I707583 B TWI707583 B TW I707583B
Authority
TW
Taiwan
Prior art keywords
image
frame
pixel
channel
compensation
Prior art date
Application number
TW108125266A
Other languages
English (en)
Other versions
TW202105984A (zh
Inventor
唐婉儒
李宗軒
陳世澤
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW108125266A priority Critical patent/TWI707583B/zh
Priority to US16/929,189 priority patent/US11200422B2/en
Application granted granted Critical
Publication of TWI707583B publication Critical patent/TWI707583B/zh
Publication of TW202105984A publication Critical patent/TW202105984A/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/544—Buffers; Shared memory; Pipes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/30—Noise filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20182—Noise reduction or smoothing in the temporal domain; Spatio-temporal filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Studio Devices (AREA)

Abstract

一種應用於影像感測電路的像素通道不平衡補償方法與系統，所述系統包括有鏡頭、濾色片與影像感測器所組成的影像接收電路，系統包括一處理電路，其中運行像素通道不平衡補償方法，在方法中，從動態影像中取得第二幀影像，以及自記憶體中取得影像的第一幀影像，這是已經雜訊抑制的幀，之後，通過比對第一幀影像與第二幀影像偵測前後幀各像素的移動資訊，於是可以根據這個移動資訊作為三維雜訊抑制時決定如何抑制雜訊的依據，同時利用相同緩衝器內已經雜訊抑制的影像估計相鄰相同通道不平衡的補償值，並予以補償，最後以一內插法還原影像。

Description

應用於影像感測電路的像素通道不平衡補償方法與系統
說明書公開一種應用在影像感測電路中像素通道不平衡補償方法，特別是一種能夠在影像感測電路中有效使用三維雜訊抑制與補償像素通道中不平衡問題的方法與相關電路系統。
對於使用單晶片馬賽克彩色濾色陣列(Bayer Color Filter Array)等濾色片的互補式金氧半場效電晶體(Complementary Metal Oxide Semiconductor，CMOS)影像感測器，每個像素(pixel)位置都只有紅(R)、綠(G)或藍(B)單通道(channel)資訊，還原影像時，需通過內插(Interpolation/Demosaicing)方式重現彩色影像。
當如上述配備有濾色片的影像感測器在接受訊號時，由於像素間交互影響，如串音干擾(Pixel Cross-Talk)，會影響還原影像時使用的內插法呈現彩色影像的結果。舉例來說，原本應為接收相同訊號的兩個綠色通道(G channel)像素，可能因左右相鄰為紅色通道(R channel)或藍色通道(B channel)而有不同的交互影響，致使呈現出不同的綠色通道訊號現象。
當以內插法還原彩色影像時，所述馬賽克彩色濾色陣列中每一行列均有綠色(G)通道資訊，可參考圖1顯示的濾色片範例示意圖，綠色通道可以表現的資訊量較紅色(R)或藍色(B)通道 更多，而每個綠色通道都鄰接紅色或藍色通道，可根據相鄰通道以Gr(鄰接紅色通道的綠色通道，green pixel adjacent to red)或Gb(鄰接藍色通道的綠色通道，green pixel adjacent to blue)表示，如此會特別著重參考綠色通道的資訊，致使綠色通道間的交互影響造成像素Gb與Gr不平衡(Gb-Gr Imbalance)的處理對於數位影像處理是重要且需要的。
造成像素間交互影響原因一般常見的可分為三類：第一，影像感測器每一像素上均為搭載微鏡片(Microlens)，因為光線入射時可能有折射現象，進而影響鄰近像素接收的訊號而產生串音干擾等的光學干擾現象(Optical Crosstalk)；第二，紅色、綠色與藍色光具有不同光線波長大小，對於半導體材料可達滲透深度不同，致使電子漂移(electron drift)現象不同，造成不同交互影響，稱為電氣串音(Electrical Crosstalk)；第三，電路設計時(Layout)可能會造成的像素間影響，可稱結構串音(Architectural Crosstalk)。
常見解決所述鄰近藍色與紅色的綠色像素之間不平衡(Gb-Gr Imbalance)問題大致也可分為三類：第一為採取低通濾波(Low-Pass Filtering)概念，藉由平均每個綠色像素附近的綠色通道像素以弭平綠色通道間的不一致，但缺點為細節因而損失；第二，參考類似內插(Interpolation)的方法，利用鄰近綠色通道值進行內插，雖比較不易損失細節，但無法通用於所有彩色濾色陣列(Color Filter Array,CFA)；第三，這是一種減少水平線假影(horizontal line artifact)的預先校正方法，其中為根據像素間線性關係施以一比例調整，降低鄰近藍色與紅色的綠色像素之間不平衡。
揭露書公開一種應用於影像感測電路的像素通道不平衡補償 系統與方法，其中處理影像雜訊的方式如不破壞細節一種三維雜訊抑制(3D Noise Reduction)方法，三維雜訊抑制可包含二維去噪(Spatial Noise Reduction)和時間軸上去噪(Temporal Noise Reduction)處理。方法並繼續處理Gb-Gr像素通道不平衡的問題，當與所述三維雜訊抑制方法，就可參考經由雜訊抑制處理後的影像資料，再予以估計其中像素通道(如綠色通道)不平衡的補償量，能避免雜訊影響錯估補償量，以得到較好的影像結果。
根據一實施例，像素通道不平衡補償系統以一電路系統實現，如積體電路(IC)，適用於影像接收電路，影像接收電路包括鏡頭、濾色片與影像感測器，用以接收動態影像；系統設有一記憶體，用以逐幀儲存動態影像，並包括已經雜訊抑制的第一幀影像；系統設有一處理電路，其中運行像素通道不平衡補償方法。
在方法中，優選地，從動態影像中取得第二幀影像，以及自記憶體中取得第一幀影像，取出的第一幀影像與第二幀影像先暫存於一緩衝器中。接著，通過比對第一幀影像與第二幀影像得出影像感測器感測到相同位置的像素通道中的影像資訊是否有變動，以偵測前後幀各像素的移動資訊。
接著，以相同位置的像素通道影像的移動資訊為依據作為三維雜訊抑制時決定系統能執行一雜訊抑制程序以抑制雜訊；使用相同緩衝器中已經雜訊抑制的影像，能估計已經經過雜訊抑制的第二幀影像中相鄰相同通道不平衡的補償值，並予以補償，最後以內插法還原第二幀影像。
進一步地，當偵測動態影像中前後幀相同位置的像素值並未變動，於前後幀相同位置的像素設一雜訊抑制的權重，以一特定比例的像素值組合；反之，當偵測動態影像中前後幀相同位置的像素值有變動，即從第一幀影像與第二幀影像中相同位置的像素值選擇其一為像素值。其中，在一方式中，可以第二幀影像(當前幀)附近資訊做為抑制雜訊的參考，更參考相同位置的像素的 變動在第一幀影像的資訊，再結合兩者的資訊決定像素值，但需要增加一搜尋步驟。
進一步地，在一實施例中，在估計已經經過雜訊抑制的第二幀影像中相鄰相同通道不平衡的補償值的步驟時，從第一幀影像估計出相鄰相同通道不平衡的第一補償量，從第二幀影像估計出相鄰相同通道不平衡的第二補償量，之後根據第一幀影像與第二幀影像的差異決定第一補償量與第二補償量之間的一參考比例，據此以一比例組合決定補償值。
為了能更進一步瞭解本發明為達成既定目的所採取之技術、方法及功效，請參閱以下有關本發明之詳細說明、圖式，相信本發明之目的、特徵與特點，當可由此得以深入且具體之瞭解，然而所附圖式僅提供參考與說明用，並非用來對本發明加以限制者。
21:輸入影像
201:鏡頭
202:濾色片
203:影像感測器
205:記憶體
207:處理電路
27:雜訊抑制單元
26:移動偵測單元
28:像素通道不平衡補償單元
29:內插單元
22:還原影像
步驟S301~S309:像素通道不平衡補償方法流程
步驟S401~S409:雜訊抑制的流程
步驟S501~S509:像素通道不平衡補償方法流程
圖1顯示一種習知感測器濾色片的範例示意圖；圖2顯示應用於影像感測電路的像素通道不平衡補償系統的電路實施例圖；圖3顯示像素通道不平衡補償方法流程實施例之一流程圖；圖4顯示雜訊抑制的實施例之一流程圖。
圖5顯示像素通道不平衡補償方法流程實施例之二流程圖。
在一般使用馬賽克彩色濾色陣列等濾色片的影像感測電路中，相關彩色濾色片實施方式可參考圖1，其中綠色通道可以表現的資訊量較紅色(R)或藍色(B)通道更多，而每個綠色通道都鄰接紅色或藍色通道，其中鄰接紅色通道的綠色通道表示為Gr，鄰接藍色通道的綠色通道表示為Gb，然而，原本Gr與Gb像素通道的影像值應該是一致的，但因為影像感測電路的設計產生系統 性問題，可能造成Gr與Gb像素通道不平衡問題，或是綠色通道間的交互影響將造成像素通道Gb與Gr不平衡(Gb-Gr Imbalance)，造成Gb與Gr不平衡的種種因素對於接受到馬賽克彩色濾色陣列的影像感測電路資訊在重現彩色影像時會有很大影響，揭露書即提出一種應用於影像感測電路的像素通道不平衡補償方法與相關電路。
然而，在補償Gb與Gr像素通道不平衡的問題時，若面對較暗的環境，需要調高感光度ISO值，如此雜訊也較高，使得處理Gb與Gr像素通道不平衡問題更為複雜，此時，可以引入一種三維雜訊抑制(3D Noise Reduction)的處理方法，三維雜訊抑制的處理方法可包含二維降噪(Spatial Noise Reduction)和時間軸上降噪(Temporal Noise Reduction)處理。如此，揭露書提出應用在影像感測電路的像素通道不平衡補償方法可以與三維雜訊抑制處理結合，概念上是參考經由雜訊抑制處理後的影像數據後，再予以估計綠色通道補償量，可避免雜訊影響錯估補償量，以得到較好的影像結果。
圖2顯示應用於影像感測電路的像素通道不平衡補償系統的相關電路實施例圖，其中運行的流程可同時參考圖3所描述根據影像感測電路的像素通道不平衡補償方法流程實施例。
所述像素通道不平衡補償系統應用在影像感測電路中，影像感測電路如一影像感測處理器(Image Sensor Processor,ISP)，主要電路包括由鏡頭201、濾色片202與影像感測器203組成的影像接收電路，用以接收動態影像21(步驟S301)，動態影像21為將連續影像中逐幀(frame)，儲存在記憶體205中(步驟S303)，記憶體205也用來儲存在影像處理過程中經過雜訊抑制的影像，這些影像(如實施例所稱第一幀影像)用來作為後續影像執行雜訊抑制與像素通道不平衡處理的參考。
然而，通過這類影像裝置在生成影像時會產生雜訊、影像不 平衡的問題。例如，在低光源的環境中以高感光度拍攝的影像，雜訊會隨著感光度愈高而愈明顯，若以安全考量的保全攝影機為例，這樣充滿雜訊的影像並不適合判讀；在另一範例中，因為影像通過濾色片會在每個畫素上形成紅、綠、藍等通道的影像值，涵蓋光線的長波段、中坡段與短波段的訊息，可能因為影像裝置中光學元件(如鏡頭201)產生影像干擾，使得在轉換成數位訊號時造成各像素之間有串音干擾(cross-talk)現象。
以影片為例，所述影像雜訊可以通過參考前後兩幀影像而調整當中像素，包括可以混合兩幀影像而達到雜訊抑制的目的，也可通過比對前後兩幀影像中的以影像感測器感測到相同位置的像素通道中影像資訊是否有變動，以偵測前後幀各像素的移動資訊，作為三維雜訊抑制時決定如何抑制雜訊的依據，並予以抑制或消除雜訊，這就是三維雜訊抑制處理方法中考量了像素影像在時間上的變化而進行雜訊抑制的方式(temporal noise reduction)。
所述影像感測電路包括處理電路207，處理電路207即執行影像雜訊抑制與像素通道不平衡補償的處理，其中包括以軟體或搭配硬體電路的移動偵測單元26、雜訊抑制單元27、像素通道不平衡補償單元28以及內插單元29。在三維雜訊抑制處理方法中，記憶體30中已經先儲存了經過雜訊抑制處理過的第一幀影像，第一幀影像為連續影像中的前一幀影像，或可為多幀經過雜訊抑制處理的影像。
在步驟S303中，由處理電路207中的雜訊抑制單元27執行雜訊抑制處理，可以軟體或搭配硬體電路實現此雜訊抑制單元27。在此一提的是，若對第一幀執行雜訊抑制的步驟時沒有可以參考的前一幀影像，仍可以實施基本的降噪程序，如一般僅考量靜態影像中鄰近像素而執行降噪的二維降噪程序。
根據雜訊抑制的實施例之一，從步驟S301所輸入動態影像中取得第二幀影像，並可自記憶體20中取得已經過雜訊抑制的第一 幀影像。其中，處理第二幀影像雜訊抑制的步驟時，會考量第一幀影像，而此第一幀影像可以是之前已經完成雜訊抑制的影像。若以執行三維雜訊抑制為例，可以根據前後幀，或多幀，在相同位置的像素差異設一雜訊抑制的權重(weighting)，以一特定比例的像素值組合，包括可以這些前後幀像素影像值的平均值作為輸出影像(還原第二幀影像)，達到雜訊抑制的目的。經過雜訊抑制處理的第二幀影像同樣儲存在記憶體205中，成為下一幀執行雜訊抑制的參考影像。
其中，根據一實施例，在雜訊抑制的步驟中可以搭配移動偵測的步驟，舉例來說，通過比對第一幀影像與第二幀影像，或加上多張前後幀的影像，可以偵測相同位置的像素的變動值，用以偵測各像素中是否有移動的資訊。其中，通過處理電路207中的移動偵測單元26執行移動偵測，其目的是針對當前的影像(第二幀影像)與前一幀影像(第一幀影像)或多幀影像進行的移動偵測(motion detection)，使得能夠得出較佳的像素值，達到雜訊抑制的目的，相關實施流程可參考圖4的描述。
接著，較佳可以同時，利用相同緩衝區的各幀影像，在步驟S305中執行像素通道不平衡補償估計，系統中處理電路207中的像素通道不平衡補償單元28可以軟體手段，或配合硬體電路，針對已經雜訊抑制處理的影像處理像素通道之間不平衡的問題，如先估計當前幀影像(如第二幀影像)中相鄰相同像素通道不平衡的補償值，例如，主要是要補償Gb與Gr像素通道之間的不平衡。
在此步驟中，對第二幀影像執行Gb與Gr像素通道不平衡的補償估計之前，除了經過上述雜訊抑制的第二幀影像外，亦自記憶體205中取得之前經過雜訊抑制的第一幀影像。同樣是綠色(G)通道，在相同光線下相鄰的綠色通道應該有相同或近似的像素值，但是當中仍因為鄰近通道(紅色影響綠色通道、藍色影響路色通道)等各種因素產生不平衡的問題，在所述方法中，可以從 經過雜訊抑制的第二幀影像中判斷相鄰綠色通道的不平衡問題，給予補償。根據實施例之一，可以從第一幀影像估計出像素中Gr通道與Gb通道之間不平衡的補償量，可稱第一補償量；同時，對已經三維雜訊抑制的第二幀估計另一個補償量，可稱第二補償量。
其中，參考上述步驟S303中以三維雜訊抑制處理步驟中得出的第一幀影像與第二幀影像之間各像素的差異後，可以決定第一補償量與第二補償量之間的一參考比例，以此參考比例決定Gb與Gr像素通道的補償值。其結果可以根據第一幀與第二幀影像的狀況選擇其中之一像素值，或是兩者平均，或是依照一個比例組合第一補償量與第二補償量。
值得一提的是，從輸入系統的動態影像中前後幀的移動偵測結果可以得出所述第一幀影像與第二幀影像中像素的差異，因此動態影像的移動程度將決定以上兩個補償量之間的參考比例。
之後，當根據所得到的參考比例進行Gb與Gr像素通道不平衡的補償值進行補償後，接著進行內插法(步驟S307)，其中以系統中處理電路207的內插單元29執行內插，以還原影像22(步驟S309)。
其中，影像內插法的應用主要是因應影像感測器經過濾色片接收的影像通道不連續的狀況，當要還原影像時，會以各列間隔排列的像素通道的影像值通過特定內插法得出中間像素通道的值，以得出各像素的紅、藍、綠色像素值。
根據以上實施例可知，應用於影像感測電路的像素通道不平衡補償系統在執行像素通道不平衡處理之前，已經通過雜訊抑制的程序，將使得還原影像有更好的雜訊抑制與平衡的表現。
上述步驟S303中雜訊抑制的方法之一可以參考圖4所示流程，由處理電路207中的移動偵測單元26以軟體或搭配硬體執行移動偵測。當接收到連續影像中的各幀影像時，可對每一幀的像素或特定範圍的像素執行一移動偵測步驟(步驟S401)，用以得出 整張影像各像素的移動資訊，例如可以根據移動的程度訂出權重(0~1)，這個權重就是調整利用前後幀影像的比例。在判斷是否有移動的步驟(步驟S403)中，若判斷沒有移動(否)，或是移動資訊小於一特定門檻，即不視為移動，即可參考第一幀影像與第二幀(或多幀)影像相同位置的像素值，依照一特地比例組合前後兩幀或多幀影像的像素值，包括執行像素值平均(步驟S405)，達到雜訊抑制的效果。
若在步驟S403中判斷有移動(是)，表示不適合結合第一幀影像與第二幀影像的方式來抑制雜訊，即從第一幀影像與第二幀影像中相同位置的像素值選擇其一為所執行雜訊抑制像素位置的像素值，然而，較佳的是，因此對所處理的像素(如第一幀影像的像素)而言，可以採用已經經過雜訊抑制的第一幀影像中相同位置的像素值，作為目前執行雜訊抑制的像素的像素值；或是從第一幀影像與第二幀影像中選擇其一(步驟S407)，其中，仍可以第二幀影像(當前幀)附近資訊做為抑制雜訊的參考，更可參考了相同位置的像素的變動在第一幀影像的資訊，再結合兩者的資訊決定像素值，但此方式需要增加一搜尋步驟。在另一實施例中，若判斷有移動時，系統中的處理電路(如圖2顯示的處理電路207的雜訊抑制單元27)可以從前後多幀影像中判斷影像中移動的物件，從中判斷出較佳的像素值。
如此，當整幀影像經過雜訊抑制後，輸出經過雜訊抑制的影像(步驟S409)，並儲存在記憶體中，成為下一幀影像處理雜訊時的參考影像，使得每次雜訊抑制效果可累計到後續的影像處理程序中。
根據再一實施例，參考如圖5所描述影像感測電路中像素通道不平衡補償方法的實施例流程，不同於圖3描述的實施例流程，此實施例顯示在三維雜訊抑制處理時，同時也執行了像素通道不平衡的估計補償，也就是其中執行雜訊抑制與像素通道不平衡的 步驟為自相同的緩衝器取得影像資訊，如第一幀影像與第二幀影像，使得整個處理程序可以採用較小的影像緩衝器，如一種行緩衝器(line buffer)，而可以節省需要暫存整張影像的緩衝器的使用。其中，當系統先執行雜訊抑制，再執行不平衡補償後，緩衝器中的第二幀影像應產生雜訊抑制前後的差異。
在圖5描述的流程中，系統接收到一動態影像，其中包括連續多幀影像，第一幀影像表示之前已經經過雜訊抑制的影像，可以有一或多幀影像，並已經儲存在系統的記憶體中(步驟S503)，接著輸入第二幀影像(步驟S501)。
此時，如步驟S505，對第二幀影像執行雜訊抑制，在此雜訊抑制的步驟中，不僅可以應用在一般針對單張影像分析而進行雜訊抑制(如二維雜訊抑制)的方法外，更可應用考量隨著時間的影像變化的三維雜訊抑制方法。
如三維雜訊抑制的方法，即至記憶體取得步驟S503儲存在記憶體中的第一幀影像，暫存在處理電路的影像緩衝器內，通過移動偵測方法得出過去經過雜訊抑制的第一幀影像以及第二幀影像之間相同位置的像素變化量，之後，系統將可根據前後幀相同位置的像素影像差異判斷兩者之間差異的程度(degree of difference between the pixels)，使得系統中運行的程序可以根據前後幀像素影像差異的程度執行不同程度的三維雜訊抑制步驟。
在一實施例中，根據前後幀相同位置的像素影像差異可以得出前後幀影像是否有變動，這實際是執行一個移動偵測，移動的程度將影響後續Gb與Gr像素通道不平衡的補償。實施例如圖4所述，若從前後幀判斷影像沒有變動，可以使用已經經過雜訊抑制的第一幀影像中的像素值；反之，若判斷前後幀影像有變動，可以偵測出差異，作為執行雜訊抑制的參考，包括可以在雜訊抑制的步驟中選擇前後幀其中之一像素影像值，或在判斷出有變動的情況下對前後幀(包括多幀)的影像執行平均或在一比例下的 組合，產生雜訊抑制的目的。
更者，根據另一實施例，選擇像素影像值時，可以第二幀影像(當前幀)附近資訊做為抑制雜訊的參考，或是再參考相同位置的像素的變動在第一幀影像的資訊，以結合第一幀影像與第二幀影像的資訊決定像素值。
在此流程中，在步驟S507中，針對暫存在相同緩衝器內的第二幀影像得出Gb與Gr像素通道不平衡之補償估計的補償值，相關實施例可參考圖3步驟S305的描述，目標是平衡Gr與Gb像素值。其中以經過雜訊抑制的第二幀影像來進行Gr與Gb像素通道不平衡補償估計，可以加強補償估計的正確性。
最後，到步驟S509，通過內插法還原各像素的紅、藍與綠色影像值。
在此一提的是，根據圖5描述的實施例，為三維雜訊抑制與不平衡補償同時進行，因此，只有第一幀影像為經過抑制雜訊後的影像資料，第二幀影像對於不平衡補償估算時，因第二幀影像同時也在做雜訊抑制，所以兩者所取得輸入的第二幀影像均為尚未降噪的原始影像。因此，當判斷相同位置的像素沒有變動時，執行不平衡之補償估計會參考已經降噪的第一幀影像，以計算出的第一補償量，而得到較不易受雜訊影響的好處；若相同位置的像素偵測為有變動時，以尚未降噪的第二幀影像估測出的第二補償量作為補償量，此時雖並未得到雜訊抑制後不平衡補償估測不易受雜訊影響的好處，但因此時的雜訊抑制也是以第二幀影像附近資訊做為降噪處理的參考，因此結果仍可適用。更者，在一般監控的影像應用中，畫面中靜態場景可能多過於動態場景，因此，對整體結果仍是好處。
綜上所述，以上所述的應用於影像感測電路的像素通道不平衡補償方法與相關電路系統主要目的是處理通過彩色濾色片的影像資訊不平衡的問題，如Gr與Gb像素通道的不平衡，並在流程 中採用三維雜訊抑制的技術，特別是在監控類型的攝影機常常需要用在晚上低光源環境中，因此，當Gb-Gr不平衡處理可與三維去雜訊處理處理結合，就可參考經由去雜訊處理後的資料內容再予以估計綠色通道補償量，避免雜訊影響錯估補償量，以得到較好的影像結果。
惟以上所述僅為本發明之較佳可行實施例，非因此即侷限本發明之專利範圍，故舉凡運用本發明說明書及圖示內容所為之等效結構變化，均同理包含於本發明之範圍內，合予陳明。
S301:輸入影像
S303:雜訊抑制
205:記憶體
S305:像素通道不平衡補償估計
S307:內插法
S309:還原影像

Claims (10)

  1. 一種應用於一影像感測電路的像素通道不平衡補償系統，包括：一記憶體，用以逐幀儲存一動態影像，並包括已經雜訊抑制的一第一幀影像；以及一處理電路，其中運行一像素通道不平衡補償方法，包括：從該動態影像中取得一第二幀影像，以及自該記憶體中取得該動態影像的該第一幀影像，取出的該第一幀影像與該第二幀影像先暫存於一緩衝器中；通過比對該第一幀影像與該第二幀影像，得出由一影像感測器感測到相同位置的像素通道中的影像資訊是否有變動，以偵測前後幀各像素的移動資訊；以相同位置的像素通道影像的移動資訊為依據作為三維雜訊抑制時決定執行一雜訊抑制程序以抑制雜訊；估計已經經過雜訊抑制的該第二幀影像中相鄰相同通道不平衡的一補償值，並予以補償；以及以一內插法還原該第二幀影像。
  2. 如請求項1所述的像素通道不平衡補償系統，其中該第一幀影像與該第二幀影像為該動態影像中前後幀影像，該記憶體更儲存該第二幀影像之前已執行雜訊抑制的一或多幀影像。
  3. 如請求項2所述的像素通道不平衡補償系統，其中以該第二幀影像附近資訊做為抑制雜訊的參考，更參考相同位置的像素的變動在該第一幀影像的資訊，以結合該第一幀影像與該第二幀影像的資訊決定該像素值。
  4. 如請求項2所述的像素通道不平衡補償系統，其中，當偵測該動態影像中前後幀相同位置的像素值並未變動，於前後幀相同 位置的像素設一雜訊抑制的權重，以一特定比例的像素值組合；當偵測該動態影像中前後幀相同位置的像素值有變動，即從該第一幀影像與該第二幀影像中相同位置的像素值選擇其一為該像素值。
  5. 如請求項4所述的像素通道不平衡補償系統，其中，當偵測該動態影像中前後幀相同位置的像素值有變動，於選擇該像素值時，設該第一幀影像相同位置的像素值為該像素值。
  6. 如請求項5所述的像素通道不平衡補償系統，其中，在估計已經經過雜訊抑制的該第二幀影像中相鄰相同通道不平衡的補償值的步驟包括：從該第一幀影像估計出相鄰相同通道不平衡的一第一補償量；從該第二幀影像估計出相鄰相同通道不平衡的一第二補償量；根據該第一幀影像與該第二幀影像的差異決定該第一補償量與該第二補償量之間的一參考比例；以及該第一補償量與該第二補償量以一比例組合，決定該補償值。
  7. 如請求項1至6中任一項所述的像素通道不平衡補償系統，其中，於估計像素通道不平衡的補償值時，係同樣自該緩衝器取得各幀影像。
  8. 如請求項7所述的像素通道不平衡補償系統，其中執行雜訊抑制與像素通道不平衡補償的步驟自相同的該緩衝器取得該第一幀影像與該第二幀影像。
  9. 一種應用於一影像感測電路的像素通道不平衡補償方法，包括：從一動態影像中取得一第二幀影像，以及自一記憶體中取得該動態影像中已經雜訊抑制的一第一幀影像，取 出的該第一幀影像與該第二幀影像先暫存於一緩衝器中；通過比對該第一幀影像與該第二幀影像，得出一影像感測器感測到相同位置的像素通道中的影像資訊是否有變動，以偵測前後幀各像素的移動資訊；以相同位置的像素通道影像的移動資訊為依據作為三維雜訊抑制時決定執行一雜訊抑制程序以抑制雜訊；估計已經經過雜訊抑制的該第二幀影像中相鄰相同通道不平衡的一補償值，並予以補償；以及以一內插法還原該第二幀影像。
  10. 如請求項9所述的像素通道不平衡補償方法，其中以該第二幀影像附近資訊做為抑制雜訊的參考，更參考相同位置的像素的變動在該第一幀影像的資訊，以結合該第一幀影像與該第二幀影像的資訊決定該像素值。
TW108125266A 2019-07-17 2019-07-17 應用於影像感測電路的像素通道不平衡補償方法與系統 TWI707583B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW108125266A TWI707583B (zh) 2019-07-17 2019-07-17 應用於影像感測電路的像素通道不平衡補償方法與系統
US16/929,189 US11200422B2 (en) 2019-07-17 2020-07-15 Method and system for pixel channel imbalance compensation for image sensing circuit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW108125266A TWI707583B (zh) 2019-07-17 2019-07-17 應用於影像感測電路的像素通道不平衡補償方法與系統

Publications (2)

Publication Number Publication Date
TWI707583B true TWI707583B (zh) 2020-10-11
TW202105984A TW202105984A (zh) 2021-02-01

Family

ID=74091767

Family Applications (1)

Application Number Title Priority Date Filing Date
TW108125266A TWI707583B (zh) 2019-07-17 2019-07-17 應用於影像感測電路的像素通道不平衡補償方法與系統

Country Status (2)

Country Link
US (1) US11200422B2 (zh)
TW (1) TWI707583B (zh)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201026036A (en) * 2008-12-31 2010-07-01 Altek Corp Image sequence noise reduction method
CN102769722A (zh) * 2012-07-20 2012-11-07 上海富瀚微电子有限公司 时域与空域结合的视频降噪装置及方法

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100477647B1 (ko) * 2002-06-01 2005-03-23 삼성전자주식회사 영상의 움직임 보정 장치 및 방법
US7596280B2 (en) * 2005-09-29 2009-09-29 Apple Inc. Video acquisition with integrated GPU processing
US8098256B2 (en) * 2005-09-29 2012-01-17 Apple Inc. Video acquisition with integrated GPU processing
US8063948B2 (en) 2007-02-26 2011-11-22 Texas Instruments Incorporated Proximity-based system and method for reducing gain imbalance in a bayer pattern and digital camera employing the same
US8233548B2 (en) * 2007-05-09 2012-07-31 Panasonic Corporation Noise reduction device and noise reduction method of compression coded image
US8605787B2 (en) * 2008-03-28 2013-12-10 Nec Corporation Image processing system, image processing method, and recording medium storing image processing program
JP5178898B1 (ja) * 2011-10-21 2013-04-10 株式会社東芝 画像信号補正装置、撮像装置、内視鏡装置
KR101899851B1 (ko) * 2012-05-03 2018-09-18 삼성전자 주식회사 이미지 처리 장치 및 방법
JP5668105B2 (ja) * 2013-06-25 2015-02-12 アキュートロジック株式会社 画像処理装置、画像処理方法及び画像処理プログラム
TWI542217B (zh) 2014-03-12 2016-07-11 瑞昱半導體股份有限公司 像素值校正裝置與方法
JP2017139691A (ja) * 2016-02-05 2017-08-10 ソニー株式会社 画像処理装置および画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201026036A (en) * 2008-12-31 2010-07-01 Altek Corp Image sequence noise reduction method
CN102769722A (zh) * 2012-07-20 2012-11-07 上海富瀚微电子有限公司 时域与空域结合的视频降噪装置及方法

Also Published As

Publication number Publication date
TW202105984A (zh) 2021-02-01
US20210019530A1 (en) 2021-01-21
US11200422B2 (en) 2021-12-14

Similar Documents

Publication Publication Date Title
TWI424377B (zh) 多畫面中物體的移動分析方法
US7577315B2 (en) Method and apparatus for processing image data of a color filter array
EP2359604B1 (en) Modifying color and panchromatic channel cfa image
US9544505B2 (en) Image processing apparatus for synthesizing images based on a plurality of exposure time periods and image processing method thereof
US10762655B1 (en) Disparity estimation using sparsely-distributed phase detection pixels
TWI542224B (zh) 影像訊號處理方法以及影像訊號處理裝置
US8018500B2 (en) Image picking-up processing device, image picking-up device, image processing method and computer program
US9030579B2 (en) Image processing apparatus and control method that corrects a signal level of a defective pixel
EP2347572A1 (en) Improving defective color and panchromatic cfa image
WO2016031597A1 (ja) 画像処理装置、画像処理方法、及び、画像処理システム
JP6622481B2 (ja) 撮像装置、撮像システム、撮像装置の信号処理方法、信号処理方法
JP5052189B2 (ja) 映像処理装置及び映像処理プログラム
JP5414691B2 (ja) 画像処理装置及び画像処理方法
KR101923957B1 (ko) 감도 개선을 위한 영상 처리 장치 및 방법
TWI707583B (zh) 應用於影像感測電路的像素通道不平衡補償方法與系統
US10462432B2 (en) Method for driving image pickup apparatus, and signal processing method
US11412164B1 (en) Method, apparatus, and system for residual row noise removal
JP4166974B2 (ja) 画素キズ検出・補正装置
CN112312046B (zh) 应用于图像感测电路的像素通道不平衡补偿方法与系统
JP6640555B2 (ja) カメラシステム
JP2000165892A (ja) 画素補間方法および画像処理装置
JP2002271806A (ja) Ｃｃｄ撮像素子の画素欠陥信号補正回路
KR20090020918A (ko) 영상 보간 방법 및 장치
JP4122082B2 (ja) 信号処理装置およびその処理方法
JP7445508B2 (ja) 撮像装置