TWI774039B - 固定圖像雜訊的影像補償系統 - Google Patents

固定圖像雜訊的影像補償系統 Download PDF

Info

Publication number
TWI774039B
TWI774039B TW109127426A TW109127426A TWI774039B TW I774039 B TWI774039 B TW I774039B TW 109127426 A TW109127426 A TW 109127426A TW 109127426 A TW109127426 A TW 109127426A TW I774039 B TWI774039 B TW I774039B
Authority
TW
Taiwan
Prior art keywords
pixel
gain
image
image noise
compensation
Prior art date
Application number
TW109127426A
Other languages
English (en)
Other versions
TW202207701A (zh
Inventor
陳彥鋒
黃文聰
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW109127426A priority Critical patent/TWI774039B/zh
Priority to US17/399,361 priority patent/US11875481B2/en
Publication of TW202207701A publication Critical patent/TW202207701A/zh
Application granted granted Critical
Publication of TWI774039B publication Critical patent/TWI774039B/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20216—Image averaging

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Picture Signal Circuits (AREA)
  • Endoscopes (AREA)
  • Holo Graphy (AREA)

Abstract

一種固定圖像雜訊的影像補償系統，適用於一種4像素元感測器，能根據感測器以及鏡頭不對稱性自動計算合適的固定圖像雜訊補償參數。針對感測器或鏡頭的瑕疵可能造成不對稱的固定圖像雜訊，在系統運行的方法中，先將影像分割為多個網格，計算網格中各通道的像素平均值，根據以4像素元感測器形成的影像的特性，計算各像素的固定圖像雜訊補償係數，當中可以外插與內插得到當前像素的補償係數，即可以此校正影像中固定圖像雜訊。

Description

固定圖像雜訊的影像補償系統
說明書提出一種影像補償技術，特別是指針對產生固定圖像雜訊的影像感測器的一種影像補償系統。
影像中會發生一種固定圖像雜訊（fixed pattern noise，FPN），原因之一是數位影像感測器（digital imaging sensor）在長時間曝光下在特定像素的位置容易產生相對於背景為較高亮度的雜訊。以拍攝照片為例，即便是拍攝不同場景的影像，會在照片中固定位置發現到相對於背景亮度不同的雜訊，這類雜訊可分為兩類：一為暗信號非均勻性（Dark Signal Non-Uniformity，DSNU），另一為光響應非均勻性（Photo Response Non-Uniformity，PRNU）。所述暗信號非均勻性（DSNU）為是鏡頭遮黑後偵測到的固定圖像雜訊（FPN），而光響應非均勻性（PRNU）則是像素對光照的反應不一致所產生的固定圖像雜訊。
雜訊的表示可以如：Pread =gain×Preal +offset，”Pread ”表示影像感測器偵測到的像素值，”gain”表示為光響應非均勻性產生的雜訊，”offset”表示暗信號非均勻性造成的雜訊，整個方程式顯示暗光環境下出現的固定圖像雜訊是計算偏差（offset）補回，而正常光源環境下出現的固定圖像雜訊是計算其中增益（gain）來校正。
然而，固定圖像雜訊可能有不對稱（non-uniformity）的問題，例如，當影像擷取裝置中的鏡頭及影像感測器較差時，會使固定圖像雜訊發生不對稱的情況，固定圖像雜訊不對稱並不限定於左右或是上下不對稱時，嚴重時會使上下及左右都會產生固定圖像雜訊不對稱的情況。
習知技術提出一種影像補償技術，可稱固定圖像雜訊校正（fixed pattern noise correction，FPNC），此基於網格之固定圖像雜訊校正技術是根據影像區域做補償，然而，當發生下上不對稱的情況時，仍會使整張影像留有殘留固定圖像雜訊。
說明書公開一種固定圖像雜訊的影像補償系統，其中運行的方法可以軟體或設於特定系統中的硬體所執行，以具有影像感測器的系統為例，光線經鏡頭接收與影像感測器處理後形成影像，系統中的處理電路即針對影像中固定圖像雜訊執行固定圖像雜訊的影像補償方法。
所述固定圖像雜訊的影像補償方法應用在一種4像素元感測器（4-cell sensor），這是一種採用4像素元組形成各像素通道的影像感測器，所述方法可以根據影像感測器及鏡頭不對稱性自動計算合適的固定圖像雜訊的補償參數。
根據實施例，在所述影像補償方法的主要流程中，分割所接收的影像為一陣列形式的多個網格，其中每個網格包括多個4像素元組，每個4像素元組包括4個像素元，而每個像素元具有4個像素。之後計算每個網格中各通道的平均值，並得出每個4像素元組中各像素的像素平均值，使得可依據各網格的各通道的像素平均值與其中各像素的像素平均值的比例，計算影像中各像素的固定圖像雜訊補償係數，能以各像素的固定圖像雜訊補償係數乘上各像素的像素值，即完成固定圖像雜訊補償。
優選地，所述影像中每個4像素元組的4個像素元記載一4像素元感測器通過一四倍拜耳陣列濾光片產生的綠（Gr）、紅（R）、藍（B）與綠（Gb）通道值。
更者，在一實施例中，在每個4像素元組的4個像素元中包括有16個像素，其中每個像素的位置分別以位置索引值表示，而所述每個網格中通道的像素平均值為各網格內同一位置索引值的像素值加總後計算的平均值，形成各通道平均值。
優選地，執行影像的固定圖像雜訊補償係以當前像素的像素值乘上當前像素的固定圖像雜訊補償係數，還於應對不同光源強度時，引入調整參數以調整固定圖像雜訊補償係數強度之用，得出調整後經固定圖像雜訊補償的像素值。
進一步地，當完成固定圖像雜訊補償後，繼續偵測影像中由綠色像素與上下或左右方向的綠色像素值差異產生的帶狀條紋，並進行一自適應補償的流程。
進一步地，還可以一外插方式優化影像中位於邊界的像素的固定圖像雜訊補償係數，其中，於具有陣列形式的多個網格的影像的邊界新增一行與一列，再利用外插方式得出位於邊界的像素的固定圖像雜訊補償係數。
進一步地，於一實施例中，還以一內插法得出當前像素的固定圖像雜訊補償係數，其中先判斷出該當前像素的多個鄰近網格，再計算當前像素與各鄰近網格中心點的距離，即根據當前像素與各鄰近網格中心點的距離進行內插，得出當前像素的固定圖像雜訊補償係數。
為使能更進一步瞭解本發明的特徵及技術內容，請參閱以下有關本發明的詳細說明與圖式，然而所提供的圖式僅用於提供參考與說明，並非用來對本發明加以限制。
以下是通過特定的具體實施例來說明本發明的實施方式，本領域技術人員可由本說明書所公開的內容瞭解本發明的優點與效果。本發明可通過其他不同的具體實施例加以施行或應用，本說明書中的各項細節也可基於不同觀點與應用，在不悖離本發明的構思下進行各種修改與變更。另外，本發明的附圖僅為簡單示意說明，並非依實際尺寸的描繪，事先聲明。以下的實施方式將進一步詳細說明本發明的相關技術內容，但所公開的內容並非用以限制本發明的保護範圍。
應當可以理解的是，雖然本文中可能會使用到“第一”、“第二”、“第三”等術語來描述各種元件或者信號，但這些元件或者信號不應受這些術語的限制。這些術語主要是用以區分一元件與另一元件，或者一信號與另一信號。另外，本文中所使用的術語“或”，應視實際情況可能包括相關聯的列出項目中的任一個或者多個的組合。
由影像感測器形成的影像常見會發生一種固定圖像雜訊（fixed pattern noise，FPN），原因之一是數位影像感測器（digital imaging sensor）形成的影像在特定像素的位置產生相對於背景為較高亮度的雜訊，形成固定圖像雜訊的原因常見為照相機中的鏡頭或影像感測器有瑕疵時在影像上形成的固定圖像雜訊。
揭露書提出一種固定圖像雜訊的影像補償系統，適用於發生於固定圖像雜訊（fixed pattern noise，FPN）的影像感測器上，實現固定圖像雜訊校正（fixed pattern noise correction，FPNC）的補償辦法，其中主要的機制是事先校正得出一組適合的固定圖像雜訊補償係數，再以此校正好的補償係數去做固定圖像雜訊補償。
所述固定圖像雜訊的影像補償系統中運行的影像補償方法適用於補償影像感測器所形成的影像，是一種基於網格（grid）的固定圖像雜訊校正的補償方法，可對影像進行區域性補償，可以解決雜訊不對稱的情況。
在固定圖像雜訊的影像補償方法中，先取得一均勻的影像，影像可先分割為”
Figure 02_image001
”區塊，可參考圖1顯示由分割影像得出的影像網格示意圖，此例顯示為高分為’m’個區段、寬分為’n’個區段所形成的”
Figure 02_image001
”個區塊的影像10，每個區塊以網格30代表，每個網格20的大小為”
Figure 02_image003
”。
每個網格30由多個4像素元組（4-cell group）所組成，這是根據揭露書提出的固定圖像雜訊的影像補償方法所適用的一種4像素元感測器（4-cell sensor）所定義的像素格式。在一實施例中，4像素元感測器通過一種四倍拜耳陣列（quad Bayer array）濾光片形成如圖2顯示以多個4像素元表示紅綠藍像素的示意圖，此例顯示一個4像素元組（4-cell group）20中包括有第一4像素元201、第二4像素元202、第三4像素元203以及第四4像素元204，每個像素為描述整個影像的最小單元，圖中數字0至15代表像素位置的位置索引值（position index）。此例中，每個4像素元組20由4個像素（pixel）組成，以紅（Red）綠（Green）藍（Blue）像素為例，第一4像素元201為綠色像素（Gr）、第二4像素元202為紅色像素（R）、第三4像素元203為藍色像素（B），而第四4像素元204為綠色像素（Gb）。其中，第一4像素元201為鄰近第二4像素元202的綠色像素，一般可表示為Gr；第四4像素元204為鄰近第三4像素元203的綠色像素，可表示為Gb。
參考圖3顯示如圖1顯示的影像10中分割的每個網格30由多個4像素元組（如圖2顯示的4像素元組20）所組成的示意圖，此例顯示一個網格30由4個4像素元組（301, 302, 303, 304）所組成，分別表示為第一4像素元組301、第二4像素元組302、第三4像素元組303以及第四4像素元組304。
其中每個4像素元組（301, 302, 303, 304）都可以位置索引值0到15的像素表示，根據所述固定圖像雜訊的影像補償方法的實施例，影像10經分割為多個網格30時，描述每個網格色彩的方式為將網格內同一位置索引值的像素值加總後計算出一個平均值（localAvg），以能得出每個網格區塊的補償係數。
所述固定圖像雜訊的影像補償方法可由一軟體程式、韌體或電路實現於一系統中，可參考圖10，系統100特別指設有影像感測器103以及相關元件的裝置，系統100如一攝影裝置，包括有鏡頭101、影像感測器103、記憶體105與處理電路107，系統100通過軟體或韌體處理由影像感測器103取得的影像數據，還包括運行所述固定圖像雜訊的影像補償方法的軟體，或運行於處理電路107中的韌體執行所述固定圖像雜訊的影像補償方法。
在所述影像補償方法中，可事先校正合適的補償係數，能以校正後的補償係數補償由影像感測器取得影像時所發生的固定圖像雜訊（FPN），特別的是，所述方法為基於網格（grid）的補償方法，可對影像進行區域性的固定圖像雜訊補償。基於以上將影像網格化的前置作業，可參考圖1、2、3等圖式，方法流程可參考圖4所示之實施例，其中步驟更可參考以下所揭示之示意圖。
當獲得一影像時，特別是一張正常光源下的均勻影像，將影像分割為一陣列形式的矩形網格，具有如長寬為”
Figure 02_image001
”的多個網格，如圖1所示之網格30，每個網格30如圖3顯示，包括了多個4像素元組（4-cell group），而每個4像素元組可以包括4個像素元（Gr, Gb, R, B），每個像素元（cell）具有4個像素，因此4個像素元（cell）即包括16個像素，如圖2所示，每個像素的位置可分別以0至15位置索引值表示（步驟S401）。以方法應用的4像素元感測器為例，每個4像素元組的4個像素元記載4像素元感測器通過所述四倍拜耳陣列（quad Bayer array）濾光片產生的綠（Gr）、紅（R）、藍（B）與綠（Gb）通道值。
經取得影像中各通道（R、G、B）中的像素值，可計算每個網格中各通道（channel）的像素平均值，根據實施例，可將網格內同一位置索引值的像素值加總後計算出平均值（localAvg），各網格的各通道平均值分別表示為：BGridAvg(i,j)、RGridAvg(i,j)、GbGridAvg(i,j)以及GrGridAvg(i,j)，也就是每個網格可計算出通道B的平均值、通道G的平均值、通道Gb的平均值，以及通道Gr的平均值（步驟S403），並且，也同時得出每個4像素元組中各像素的像素平均值：localAvg(i,j,k) ，實施例之一可為像素所處通道的像素值（步驟S405）。其中（i, j）標示”
Figure 02_image001
”陣列形式網格的每個網格位置，且1＜=i＜=m，1＜=j＜=n。例如BGridAvg(i,j)表示為第i列第j行的網格的藍色通道值、RGridAvg(i,j)表示為第i列第j行的網格的紅色通道值、GbGridAvg(i,j)以及GrGridAvg(i,j)即分別表示第i列第j行的網格的綠色通道值（Gr、Gb），進一步地，’k’表示4像素元組中各像素的位置，即上述圖例中的0至15位置索引值。
根據習知技術描述的固定圖像雜訊的表示如：Pread =gain×Preal +offset，其中”Pread ”表示影像感測器偵測到的像素值，”offset”表示為光響應非均勻性產生的雜訊（PRNU），或暗信號非均勻性造成的雜訊（DSNU），在正常光源環境下出現的固定圖像雜訊是計算其中增益（gain，即所述方法中的固定圖像雜訊補償係數）來校正。
根據以上取得影像中各網格的影像資訊（BGridAvg(i,j)、RGridAvg(i,j)、GbGridAvg(i,j)、GrGridAvg(i,j)以及localAvg(i,j,k)），接著計算各像素（各通道（R, G, B））的固定圖像雜訊補償係數（COEF）（步驟S407），各通道固定圖像雜訊補償係數（gain(i,j,k)）計算公式如下。在此一提的是，根據如圖2顯示的實施例，第一4像素元201為綠色像素（Gr），其中像素位置索引值（即’k’值）為0、1、4與5；第二4像素元202為紅色像素（R），其中像素位置索引值為2、3、6與7；第三4像素元203為藍色像素（B），其中像素位置索引值為8、9、12與13；而第四4像素元204為綠色像素（Gb），其中像素位置索引值為10、11、14與15。
各像素固定圖像雜訊補償係數（gain(i,j,k)）計算如方程式一，方程式一表示網格中各點（像素）的補償係數的依據是各網格的各通道平均值與其中各像素的像素平均值（localAvg(i,j,k)）的比例。
方程式一： gain(i,j,0)=GrGridAvg (i,j)÷localAvg(i,j,0) gain(i,j,1)=GrGridAvg (i,j)÷localAvg(i,j,1) gain(i,j,2)=RGridAvg (i,j)÷localAvg(i,j,2) gain(i,j,3)=RGridAvg (i,j)÷localAvg(i,j,3) gain(i,j,4)=GrGridAvg (i,j)÷localAvg(i,j,4) gain(i,j,5)=GrGridAvg (i,j)÷localAvg(i,j,5) gain(i,j,6)=RGridAvg (i,j)÷localAvg(i,j,6) gain(i,j,7)=RGridAvg (i,j)÷localAvg(i,j,7) gain(i,j,8)=BGridAvg (i,j)÷localAvg(i,j,8) gain(i,j,9)=BGridAvg (i,j)÷localAvg(i,j,9) gain(i,j,10)=GbGridAvg (i,j)÷localAvg(i,j,10) gain(i,j,11)=GbGridAvg (i,j)÷localAvg(i,j,11) gain(i,j,12)=BGridAvg (i,j)÷localAvg(i,j,12) gain(i,j,13)=BGridAvg (i,j)÷localAvg(i,j,13) gain(i,j,14)=GbGridAvg (i,j)÷localAvg(i,j,14) gain(i,j,15)=GbGridAvg (i,j)÷localAvg(i,j,15)
以上方程式中，gain(i,j,k)為各網格(i, j)中4像素元組中各像素（位置’k’＝0~15）的固定圖像雜訊補償係數，必要時可根據所要補償的目標加入調整係數。方法到此步驟，可以經校正得出的各像素的固定圖像雜訊補償係數乘上各像素的像素值，即完成以各像素的固定圖像雜訊補償係數對輸入影像執行固定圖像雜訊補償。
進一步地，為了能補償好各網格（大小為”
Figure 02_image003
”）的邊界像素，根據方程式一得出經過校正的固定圖像雜訊補償係數，對邊界像素的固定圖像雜訊補償係數（gain）以外插方式優化影像邊界的補償係數（步驟S409）。所述邊界像素如與上、下邊界的距離小於p/2或與左、右邊界距離小於q/2的像素點，示意圖如圖5。
為了優化邊界像素補償係數，根據圖5所示示意圖，在原本影像中陣列形式的多個網格的邊界，即於分割為”
Figure 02_image001
”個網格的影像邊界外再新增行與列，使之成為”(
Figure 02_image005
”個網格的影像50，也就是邊界的像素的固定圖像雜訊補償係數由外插得出，可以在應用時得到較好的補償結果，各個邊界與角落的像素的固定圖像雜訊同樣是計算其中增益（gain(i,j,k)，其中’k’表示4像素元組中各像素的位置索引值），所述固定圖像雜訊補償係數如方程式二所示。
方程式二： 上邊界：gain(0,j,k)=2×gain(1,j,k)-gain(2,j,k)，其中1≤j≤n； 下邊界：gain(m+1,j,k)=2×gain(m,j,k)-gain(m-1,j,k)，其中1≤j≤n； 左邊界：gain(i,0,k)=2×gain(i,1,k)-gain(i,2,k)，其中1≤i≤m； 右邊界：gain(i,n+1,k)=2×gain(i,n,k)-gain(i,n-1,k)，其中1≤i≤m； 左上：gain(0,0,k)=2×gain(1,1,k)-gain(2,2,k) 右上：gain(0,n+1,k)=2×gain(1,n,k)-gain(2,n-1,k) 左下：gain(m+1,0,k)=2×gain(m,1,k)-gain(m-1,2,k) 右下：gain(m+1,n+1,k)=2×gain(m,n,k)-gain(m-1,n-1,k)
其中，’m’為該影像原本網格的高度、’n’為該影像原本網格的寬度、gain(i,j,k)為該影像中各像素固定圖像雜訊補償係數，(i,j)為描述新增行與列後的網格位置，’k’為像素元的位置索引值。
上述步驟描述影像中各像素的固定圖像雜訊補償係數，以及利用所得出經過校正的固定圖像雜訊補償係數繼續優化邊界像素的固定圖像雜訊補償係數，接著，再利用所得出經過校正的固定圖像雜訊補償係數對各像素進行加強補償（步驟S411）。
在此步驟中，在逐一對每個像素進行固定圖像雜訊校正時，包括以內插方式取得當前像素的固定圖像雜訊補償係數，在此內插方法中，先判斷出當前像素的鄰近網格，一般有多個鄰近網格。示意圖如圖6，圖6顯示當前像素601座標為(x, y)，當前像素601在某一網格中，其鄰近網格以各自的中心點（或中心像素）代表，顯示為左上網格中心點61（i1, j1）、右上網格中心點62（i2, j2）、左下網格中心點63（i3, j3），以及右下網格中心點64（i4, j4），分別為當前像素601所在位置的左上、右上、左下與右下的網格，此例顯示i1 = 2、j1 = 3、i2 = 2、j2 = 4、i3 = 3、j3 = 3、i4 = 3，以及j4 = 4。
為了要通過內插法得出當前像素601的補償係數，即計算當前像素601與鄰近網格中心點（61, 62, 63, 64）的距離，包括當前像素601與左上和右上網格（中心點或中心像素）的垂直距離（D1）、當前像素601與左下和右下網格的垂直距離（D2）、當前像素601與左上和左下網格的水平距離（D3），以及當前像素601與右上和右下網格的水平距離（D4）。
如此，即根據當前像素601與鄰近網格中心點（61, 62, 63, 64）的距離（D1, D2, D3, D4）進行內插，內插法算式的實施例如方程式三，根據距離做雙線性內插，得出當前像素的補償係數。
方程式三： gain_intp(k)=(D2/(D1+D2))×(D4/(D3+D4))×gain(i1,j1,k)+(D2/(D1+D2))×(D3/(D3+D4))×gain(i2,j2,k)+(D1/(D1+D2))×(D4/(D3+D4))×gain(i3,j3,k)+(D1/(D1+D2))×(D3/(D3+D4))×gain(i4,j4,k)。
其中，gain_intp(k)為以內插法得出該當前像素的固定圖像雜訊補償係數，gain(i1,j1,k)、gain(i2,j2,k)、gain(i3,j3,k)以及gain(i4,j4,k)為該當前像素鄰近網格中心像素的固定圖像雜訊補償係數。
當以內插法得出當前像素的固定圖像雜訊補償係數（gain_intp(k)），即可使用此補償係數執行固定圖案雜訊補償，如方程式四，其中CP_ori(x,y)為當前像素的像素值，乘上當前像素的固定圖像雜訊補償係數（gain_intp(k)），即完成固定圖像雜訊的動作。更者，方程式四還引入’adjust_rate’參數，於應對不同光源強度時，可用來調整固定圖像雜訊補償係數強度之用，也就是當前像素的像素值乘上補償係數（gain_intp(k)）以及調整參數（adjust_rate），即得出經調整並以固定圖案雜訊補償係數補償後的像素值（CP(x,y)）。
方程式四： CP(x,y)=CP_ori(x,y)×gain_intp×adjust_rate
當完成以上步驟，即針對各像素完成固定圖像雜訊補償後，仍可能在部分區域出現帶狀條紋（stripe）影像。根據觀察，所述帶狀條紋判斷是因為影像中綠色像素與兩個方向（上下或左右）的差值有明顯落差時，會產生這類條紋狀影像，因此在所述固定圖像雜訊的影像補償方法中，對此現象提出針對綠色像素實施自適應補償的措施（步驟S413）。
根據固定圖像雜訊的影像補償方法，為了要解決綠色像素在影像中兩個方向（上下或左右）的差值產生的帶狀條紋的問題，應先偵測影像中是否具有帶狀條紋，可參考圖7A與圖7B顯示當前像素的垂直與水平方向上用來計算的像素示意圖，相關方法可同時參考圖9所示對綠色像素實施自適應補償方法的實施例流程圖。
首先，要偵測帶狀條紋，可參考圖7A，先各自計算一當前綠色像素鄰近（如最接近的其他綠色像素）垂直方向的P1col 、P0col 、Q0col 與Q1col 的綠色像素平均值，以及圖7B顯示的離近水平方向的P1row 、P0row 、Q0row 與Q1row 的綠色像素平均值（步驟S901）。如圖7A所示影像中特定位置的4像素元組中4像素元的示意圖，圖中主要顯示了網格中4像素元中的綠色像素，如其中G01 表示在第0列（row）第1行（column）的綠色像素、G23 表示第2列第3行的綠色像素，其餘可以此類推。
根據圖7A顯示的圖例，當前像素點（綠色）是G22 、G23 、G32 或G33 時，會使用相同垂直方向上的鄰近綠色像素的像素平均值P1col 、P0col 、Q0col 以及Q1col ，各垂直方向的綠色像素平均值如方程式五所示。
方程式五：
Figure 02_image007
Figure 02_image009
Figure 02_image011
Figure 02_image013
再以圖7B為例，當前像素點同樣是G22 、G23 、G32 或G33 ，使用了水平方向上的鄰近綠色像素的像素平均值（P1row 、P0row 、Q0row 以及Q1row ），各水平方向的綠色像素平均值如方程式六所示。
方程式六：
Figure 02_image015
Figure 02_image017
Figure 02_image019
Figure 02_image021
取得所示範例中當前綠色像素的垂直與水平綠色像素平均值之後，接著計算各當前點像素的上（U）下（D）左（L）右（R）方向用來校正的像素值（步驟S903），範例可參考圖8A與圖8B顯示用來校正帶狀條紋的像素示意圖。
以圖中所示計算當前綠色像素上下左右鄰近用來校正的綠色像素值為例，若當前綠色像素（Gcur ）為G22 時，其左方（L）那行（含綠色像素G11 與G41 ）用來校正的像素值為：
Figure 02_image023
G22 右方（R）用來校正的綠色像素為G23 的像素值：
Figure 02_image025
G22 上方（U）那行（含綠色像素G11 與G14 ）用來校正的像素值為：
Figure 02_image027
G22 下方（D）用來校正的綠色像素為G32 的像素值：
Figure 02_image029
若當前綠色像素（Gcur ）為G23 時，其左方（L）用來校正的綠色像素為G22 的像素值：
Figure 02_image031
G23 右方（R）那行（含綠色像素G14 與G44 ）用來校正的像素值為：
Figure 02_image033
G23 上方（U）那行（含綠色像素G11 與G14 ）用來校正的像素值為：
Figure 02_image027
G23 下方（D）用來校正的綠色像素為G32 的像素值：
Figure 02_image029
若當前綠色像素（Gcur ）為G32 時，其左方（L）那行（含綠色像素G11 與G41 ）用來校正的像素值為：
Figure 02_image023
G32 右方（R）用來校正的綠色像素為G33 的像素值：
Figure 02_image035
G32 上方（U）用來校正的綠色像素為G22 的像素值：
Figure 02_image037
G32 下方（D）那行（含綠色像素G41 與G44 ）用來校正的像素值為：
Figure 02_image039
更者，若當前綠色像素（Gcur ）為G33 時，其左方（L）用來校正的綠色像素為G32 的像素值：
Figure 02_image041
G33 右方（R）那行（含綠色像素G14 與G44 ）用來校正的像素值為：
Figure 02_image033
G33 上方（U）用來校正的綠色像素為G23 的像素值：
Figure 02_image043
G33 下方（D）那行（含綠色像素G41 與G44 ）用來校正的像素值為：
Figure 02_image045
根據以上範例，如方程式五與方程式六，得出當前綠色像素（如G22 、G23 、G32 或G33 ）鄰近垂直方向的綠色像素的像素平均值（P1col 、P0col 、Q0col 以及Q1col ），以及水平方向鄰近綠色像素的像素平均值（P1row 、P0row 、Q0row 以及Q1row ），參考圖7A與圖7B，使得可以根據所述4個水平方向與4個垂直方向的像素（如綠色）平均值差異來偵測是否有邊緣以及檢查平坦度，以判斷影像中的帶狀條紋（步驟S905）。
為了偵測帶狀條紋，包括有3個判斷步驟，首先，根據這些鄰近垂直方向像素平均值的差異比對第一行門檻（THCOL1 ），以及用水平方向像素平均值的差異比對第一列門檻（THROW1 ），根據這個比對結果（
Figure 02_image047
、
Figure 02_image049
）判斷偵測當前綠色像素是否處於邊緣處（edge detection）。判斷垂直與水平方向的邊緣的算式如方程式七（其中’Bool’指的是布林運算）。
方程式七：（用以偵測邊緣）
Figure 02_image051
Figure 02_image053
接著判斷當前綠色像素附近的垂直與水平方向的平坦度（flatness），先參考方程式八，參考圖7A與圖7B，得出鄰近垂直方向的像素（綠色）平均值的差異，再比對第二行門檻（THCOL2 ），以鄰近水平方向的像素平均值比對第二列門檻（THROW2 ），比對結果（
Figure 02_image055
、
Figure 02_image057
）可知當前像素附近的平坦度。其中，鄰近垂直方向像素平均值差異小於門檻值，判斷為平坦；鄰近水平方向像素平均值差異小於門檻值，也判斷為平坦。
方程式八：（檢查平坦度）
Figure 02_image059
Figure 02_image061
方程式九同樣表示當前綠色像素鄰近垂直方向與水平方向的像素平均值的差異，經分別比對第三行門檻（THCOL3 ）與第三列門檻（THROW3 ），比對結果（
Figure 02_image063
、
Figure 02_image065
）用以判斷當前像素附近的平坦度，判斷式如方程式九。
方程式九：（檢查平坦度）
Figure 02_image067
Figure 02_image069
接著，根據以上垂直方向邊緣偵測結果與平坦度資訊（
Figure 02_image047
、
Figure 02_image049
、
Figure 02_image055
、
Figure 02_image057
、
Figure 02_image063
、
Figure 02_image065
）判斷垂直或/與水平方向是否具有帶狀條紋（步驟S905），相關判斷式如方程式十。
方程式十：
Figure 02_image071
Figure 02_image073
依照方程式十，根據揭露書提出的，可進一步針對所判斷的垂直或/與水平方向的帶狀條紋的幾種情況計算綠色像素補償值，以當前像素的上下左右方向用來校正的像素值補償當前像素的像素值（步驟S907）。
其中，情況一：當FLAGCOL 與FLAGROW 成立（'&&’為’AND’運算子（operator）），且當前像素並不是水平邊也不是垂直邊，表示水平、垂直皆有帶狀條紋，這時如方程式十一，引入上述實施例得出的當前綠色像素（
Figure 02_image075
）上下左右鄰近用來校正的綠色像素值，以得出的固定圖像雜訊補償係數（COEF）校正當前綠色像素，校正後綠色像素可以’
Figure 02_image077
’表示。
方程式十一：（L表示左方用來校正的綠色像素像素值、R表示右方用來校正的綠色像素像素值、U表示上方用來校正的綠色像素像素值，以及D表示下方用來校正的綠色像素像素值）
Figure 02_image079
情況二：上述判斷不成立時，當FLAGCOL 成立且當前像素不在水平邊，代表有垂直帶狀條紋，此時演算方程式十二，引入當前像素左方（L）與右方（R）用來校正的像素值，以及圖4顯示流程得出的固定圖像雜訊補償係數（COEF），以校正當前綠色像素，校正後綠色像素可以’
Figure 02_image077
’表示。
方程式十二：
Figure 02_image081
情況三：上述兩判斷皆不成立時，但當FLAGROW 成立且當前像素不在垂直邊，代表有水平帶狀條紋，此時演算方程式十三，引入當前像素上方（U）與下方（D）用來校正的像素值，以得出的固定圖像雜訊補償係數（COEF）校正當前綠色像素，校正後綠色像素可以’
Figure 02_image077
’表示。
方程式十三：
Figure 02_image083
情況四：當上述三判斷皆不成立，代表沒有偵測到帶狀條紋。
綜上所述，根據以上所述固定圖像雜訊的影像補償系統的實施例，方法應用於如圖10顯示的系統中，光線經鏡頭101接收與影像感測器103處理後形成影像，其中處理電路107針對影像中固定圖像雜訊執行上述實施例所描述的影像補償方法，所述基於網格（grid）的補償方法可取得影像分割後的網格的補償係數，對影像進行區域性補償，還可針對綠色像素進行自適應補償。方法可應用在一種4-Cell感測器，這是一種採用4像素元組形成各像素通道的影像感測器，所述方法可以根據影像感測器及鏡頭不對稱性自動計算合適的固定圖像雜訊的補償參數。
以上所公開的內容僅為本發明的優選可行實施例，並非因此侷限本發明的申請專利範圍，所以凡是運用本發明說明書及圖式內容所做的等效技術變化，均包含於本發明的申請專利範圍內。
10:影像 30:網格 20:4像素元組 201:第一4像素元 202:第二4像素元 203:第三4像素元 204:第四4像素元 301:第一4像素元組 302:第二4像素元組 303:第三4像素元組 304:第四4像素元組 50:影像 601:當前像素 61:左上網格中心點 62:右上網格中心點 63:左下網格中心點 64:右下網格中心點 D1,D2,D3,D4:距離 100:系統 101:鏡頭 103:影像感測器 105:記憶體 107:處理電路 步驟S401～S413:固定圖像雜訊補償流程 步驟S901～S907:對綠色像素實施自適應補償的流程
圖1顯示由分割影像得出的影像網格示意圖；
圖2顯示以多個4像素元表示紅綠藍像素的示意圖；
圖3顯示一個網格中具有多個4像素元組的實施例示意圖；
圖4顯示固定圖像雜訊的影像補償方法的實施例流程圖；
圖5顯示固定圖像雜訊的影像補償方法中針對邊界像素補償係數演算示意圖；
圖6顯示在固定圖像雜訊的影像補償方法中判斷當前像素的鄰近網格的實施例示意圖；
圖7A與圖7B顯示當前像素的垂直與水平方向上用來計算的像素示意圖；
圖8A與圖8B顯示用來校正帶狀條紋的像素示意圖；
圖9顯示對綠色像素實施自適應補償方法的實施例流程圖；以及
圖10示意顯示應用固定圖像雜訊的影像補償方法的系統實施例圖。
S401:將影像分割為mxn網格
S403:計算網格中各通道像素平均值
S405:得出每個4像素元組中各像素的像素平均值
S407:計算固定圖像雜訊補償係數
S409:外插得到影像邊界像素的補償係數
S411:使用補償係數校正當前像素
S413:針對綠色像素實施自適應補償

Claims (8)

  1. 一種固定圖像雜訊的影像補償系統，包括：一影像感測器，其中該影像感測器為一4像素元感測器，所形成的一影像中每個4像素元組的4個像素元記載通過一四倍拜耳陣列濾光片產生的綠(Gr)、紅(R)、藍(B)與綠(Gb)通道值，且在該影像中每個4像素元組的該4個像素元中包括有16個像素，每個像素的位置分別以一位置索引值表示；以及一處理電路，於接收該影像後，執行一固定圖像雜訊的影像補償方法，該方法包括：分割該影像為一陣列形式的多個網格，其中每個網格包括多個4像素元組，每個4像素元組包括4個像素元，而每個像素元具有4個像素；計算每個網格中各通道的像素平均值，而該每個網格中各通道的像素平均值為各網格內同一位置索引值的像素值加總後計算的平均值，形成各通道平均值；得出每個4像素元組中各像素的像素平均值；依據各網格的各通道的像素平均值與其中各像素的像素平均值的比例，計算該影像中各像素的固定圖像雜訊補償係數；以及執行該影像的固定圖像雜訊補償，其中以各像素的固定圖像雜訊補償係數乘上各像素的像素值，即完成固定圖像雜訊補償。
  2. 如請求項1所述的固定圖像雜訊的影像補償系統，其中，於所執行的固定圖像雜訊的影像補償方法中，各網格的各通道平均值分別表示為：BGridAvg(i,j)、RGridAvg(i,j)、GbGridAvg(i,j)以及GrGridAvg(i,j)，也同時得出該每個4 像素元組中各像素的像素平均值，表示為：localAvg(i,j,k)，其中(i,j)標示每個網格的位置，k表示該4像素元組中各像素的位置，k為0至15位置索引值，其中各像素的固定圖像雜訊補償係數(gain(i,j,k))計算方程式為：gain(i,j,0)=GrGridAvg (i,j)÷localAvg(i,j,0) gain(i,j,1)=GrGridAvg (i,j)÷localAvg(i,j,1) gain(i,j,2)=RGridAvg (i,j)÷localAvg(i,j,2) gain(i,j,3)=RGridAvg (i,j)÷localAvg(i,j,3) gain(i,j,4)=GrGridAvg (i,j)÷localAvg(i,j,4) gain(i,j,5)=GrGridAvg (i,j)÷localAvg(i,j,5) gain(i,j,6)=RGridAvg (i,j)÷localAvg(i,j,6) gain(i,j,7)=RGridAvg (i,j)÷localAvg(i,j,7) gain(i,j,8)=BGridAvg (i,j)÷localAvg(i,j,8) gain(i,j,9)=BGridAvg (i,j)÷localAvg(i,j,9) gain(i,j,10)=GbGridAvg (i,j)÷localAvg(i,j,10) gain(i,j,11)=GbGridAvg (i,j)÷localAvg(i,j,11) gain(i,j,12)=BGridAvg (i,j)÷localAvg(i,j,12) gain(i,j,13)=BGridAvg (i,j)÷localAvg(i,j,13) gain(i,j,14)=GbGridAvg (i,j)÷localAvg(i,j,14) gain(i,j,15)=GbGridAvg (i,j)÷localAvg(i,j,15)。
  3. 如請求項1所述的固定圖像雜訊的影像補償系統，其中執行該影像的固定圖像雜訊補償係以該當前像素的像素值(CP_ori(x,y))乘上該當前像素的固定圖像雜訊補償係數(gain_intp)，還於應對不同光源強度時，引入adjust_rate參數以調整固定圖像雜訊補償係數強度之用，得出調整後經固定圖像雜訊補償的像素值(CP(x,y))，方程式為：CP(x,y)=CP_ori(x,y)×gain_intp×adjust_rate。
  4. 如請求項1所述的固定圖像雜訊的影像補償系統，其中，於所執行的該固定圖像雜訊的影像補償方法中，當完成固定圖像雜訊補償後，繼續偵測該影像中由綠色像素與上下或左右方向的綠色像素值差異產生的帶狀條紋，並進行一自適應補償的流程，包括：計算一當前綠色像素鄰近垂直方向的綠色像素平均值，以及鄰近水平方向的綠色像素平均值；計算該當前點像素的上(U)下(D)左(L)右(R)方向用來校正的像素值；根據該當前綠色像素鄰近的4個水平方向與4個垂直方向的像素平均值差異偵測是否有邊緣以及平坦度，以判斷是否該影像中垂直與水平方向的帶狀條紋；以及根據判斷的帶狀條紋，以該當前像素的上下左右方向用來校正的像素值補償該當前像素的像素值。
  5. 如請求項1至4中任一項所述的固定圖像雜訊的影像補償系統，其中，於所執行的該固定圖像雜訊的影像補償方法中，更以一外插方式優化該影像中位於邊界的像素的固定圖像雜訊補償係數，其中，於具有該陣列形式的多個網格的該影像的邊界新增一行與一列，利用該外插方式得出位於邊界的像素的固定圖像雜訊補償係數。
  6. 如請求項5所述的固定圖像雜訊的影像補償系統，其中，針對位於邊界的像素以外插方式得出固定圖像雜訊補償係數的方程式為：上邊界：gain(0,j,k)=2×gain(1,j,k)-gain(2,j,k)，其中1
    Figure 109127426-A0305-02-0025-1
    j
    Figure 109127426-A0305-02-0025-2
    n；下邊界：gain(m+1,j,k)=2×gain(m,j,k)-gain(m-1,j,k)，其中1
    Figure 109127426-A0305-02-0025-3
    j
    Figure 109127426-A0305-02-0025-4
    n；左邊界：gain(i,0,k)=2×gain(i,1,k)-gain(i,2,k)，其中1
    Figure 109127426-A0305-02-0025-5
    i
    Figure 109127426-A0305-02-0025-6
    m； 右邊界：gain(i,n+1,k)=2×gain(i,n,k)-gain(i,n-1,k)，其中1
    Figure 109127426-A0305-02-0026-7
    i
    Figure 109127426-A0305-02-0026-8
    m；左上：gain(0,0,k)=2×gain(1,1,k)-gain(2,2,k) 右上：gain(0,n+1,k)=2×gain(1,n,k)-gain(2,n-1,k) 左下：gain(m+1,0,k)=2×gain(m,1,k)-gain(m-1,2,k) 右下：gain(m+1,n+1,k)=2×gain(m,n,k)-gain(m-1,n-1,k)其中，m為該影像原本的高度、n為該影像原本的寬度、gain(i,j,k)為該影像中各像素固定圖像雜訊補償係數，(i,j)為描述新增行與列後的網格位置，k為像素的位置索引值。
  7. 如請求項1至4中任一項所述的固定圖像雜訊的影像補償系統，於所執行的該固定圖像雜訊的影像補償方法中，更包括以一內插法得出一當前像素的固定圖像雜訊補償係數，其中先判斷出該當前像素的多個鄰近網格，再計算該當前像素與各鄰近網格中心點的距離，即根據該當前像素與各鄰近網格中心點的距離進行內插，得出該當前像素的固定圖像雜訊補償係數。
  8. 如請求項7所述的固定圖像雜訊的影像補償系統，其中該當前像素與左上和右上網格的垂直距離為D1、該當前像素與左下和右下網格的垂直距離為D2、該當前像素與左上和左下網格的水平距離為D3，以及該當前像素與右上和右下的水平距離為D4，該內插法的算式為：gain_intp(k)=(D2/(D1+D2))×(D4/(D3+D4))×gain(i1,j1,k)+(D2/(D1+D2))×(D3/(D3+D4))×gain(i2,j2,k)+(D1/(D1+D2))×(D4/(D3+D4))×gain(i3,j3,k)+(D1/(D1+D2))×(D3/(D3+D4))×gain(i4,j4,k)；其中，gain_intp(k)為以內插法得出該當前像素的固定圖像雜 訊補償係數，gain(i1,j1,k)、gain(i2,j2,k)、gain(i3,j3,k)以及gain(i4,j4,k)為該當前像素鄰近網格中心像素的固定圖像雜訊補償係數。
TW109127426A 2020-08-12 2020-08-12 固定圖像雜訊的影像補償系統 TWI774039B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW109127426A TWI774039B (zh) 2020-08-12 2020-08-12 固定圖像雜訊的影像補償系統
US17/399,361 US11875481B2 (en) 2020-08-12 2021-08-11 Method and system for compensating image having fixed pattern noise

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW109127426A TWI774039B (zh) 2020-08-12 2020-08-12 固定圖像雜訊的影像補償系統

Publications (2)

Publication Number Publication Date
TW202207701A TW202207701A (zh) 2022-02-16
TWI774039B true TWI774039B (zh) 2022-08-11

Family

ID=80224260

Family Applications (1)

Application Number Title Priority Date Filing Date
TW109127426A TWI774039B (zh) 2020-08-12 2020-08-12 固定圖像雜訊的影像補償系統

Country Status (2)

Country Link
US (1) US11875481B2 (zh)
TW (1) TWI774039B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11412164B1 (en) * 2021-07-11 2022-08-09 Carl Zeiss Ag Method, apparatus, and system for residual row noise removal

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200835302A (en) * 2006-11-30 2008-08-16 Eastman Kodak Co Producing low resolution images
TWI528816B (zh) * 2013-04-18 2016-04-01 聯詠科技股份有限公司 固定樣式雜訊移除方法

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7304670B1 (en) * 1997-03-28 2007-12-04 Hand Held Products, Inc. Method and apparatus for compensating for fixed pattern noise in an imaging system
US8310577B1 (en) * 1999-08-19 2012-11-13 Youliza, Gehts B.V. Limited Liability Company Method and apparatus for color compensation
US20130021512A1 (en) * 2011-07-20 2013-01-24 Broadcom Corporation Framing of Images in an Image Capture Device
US8817120B2 (en) * 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
KR101785027B1 (ko) * 2016-01-14 2017-11-06 주식회사 라온텍 화면 왜곡 보정이 가능한 디스플레이 장치 및 이를 이용한 화면 왜곡 보정 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200835302A (en) * 2006-11-30 2008-08-16 Eastman Kodak Co Producing low resolution images
TWI528816B (zh) * 2013-04-18 2016-04-01 聯詠科技股份有限公司 固定樣式雜訊移除方法

Also Published As

Publication number Publication date
TW202207701A (zh) 2022-02-16
US11875481B2 (en) 2024-01-16
US20220051369A1 (en) 2022-02-17

Similar Documents

Publication Publication Date Title
US6724945B1 (en) Correcting defect pixels in a digital image
US10044952B2 (en) Adaptive shading correction
US8830341B2 (en) Selection of an optimum image in burst mode in a digital camera
JP4864835B2 (ja) 色補正装置、方法及びプログラム
JP2009065671A (ja) 色の補間方法、色補間装置およびコンピュータプログラム
JP6046927B2 (ja) 画像処理装置及びその制御方法
TWI449027B (zh) 適應性畫素補償方法
US20110103686A1 (en) Image processing apparatus and control method therefor
JP2004048465A (ja) 画像処理装置および画像処理プログラム
CN111353960B (zh) 一种基于区域生长与交叉通道信息的图像紫边校正方法
US8189077B2 (en) Method for reducing smear effect of dynamic image
TWI774039B (zh) 固定圖像雜訊的影像補償系統
CN112788322B (zh) 自适应白平衡处理方法、装置、介质及电子设备
CN114079735B (zh) 固定图像噪声的影像补偿系统
TWI288896B (en) Method and apparatus of deinterlacing
JP5309940B2 (ja) 画像処理装置、および撮像装置
TWI670708B (zh) 顏色偏移校正方法及裝置
TW200813888A (en) Color interpolation method and image processing apparatus using the same
CN103002230B (zh) 适应性像素补偿方法
KR101327790B1 (ko) 영상 보간 방법 및 장치
CN112085803B (zh) 一种多镜头多探测器拼接式相机颜色一致性处理方法
JP2008148115A (ja) 方向検出を用いた撮像デバイスの画像欠陥補正システム
JP4958672B2 (ja) 撮像装置及びその制御方法
US20240015407A1 (en) Method for processing image data of an image sensor and image processor unit and computer program
US8442359B2 (en) Image interpolation method and apparatus using reference block based on direction