TWI542217B - 像素值校正裝置與方法 - Google Patents

像素值校正裝置與方法 Download PDF

Info

Publication number
TWI542217B
TWI542217B TW103108840A TW103108840A TWI542217B TW I542217 B TWI542217 B TW I542217B TW 103108840 A TW103108840 A TW 103108840A TW 103108840 A TW103108840 A TW 103108840A TW I542217 B TWI542217 B TW I542217B
Authority
TW
Taiwan
Prior art keywords
pixel
value
correction
values
color
Prior art date
Application number
TW103108840A
Other languages
English (en)
Other versions
TW201536053A (zh
Inventor
陳世澤
黃文聰
Original Assignee
瑞昱半導體股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 瑞昱半導體股份有限公司 filed Critical 瑞昱半導體股份有限公司
Priority to TW103108840A priority Critical patent/TWI542217B/zh
Priority to US14/565,091 priority patent/US9313467B2/en
Publication of TW201536053A publication Critical patent/TW201536053A/zh
Application granted granted Critical
Publication of TWI542217B publication Critical patent/TWI542217B/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformation in the plane of the image
    • G06T3/40—Scaling the whole image or part thereof
    • G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/02—Diagnosis, testing or measuring for television systems or their details for colour television signals

Description

像素值校正裝置與方法
本發明是關於影像校正裝置與方法，尤其是關於能夠改善影像之綠色非均勻性問題的影像校正裝置與方法。
許多電子產品如數位相機、視訊攝影機、多媒體手機、監控系統、平板電腦等等是使用單一感測器（Single Sensor）來進行影像擷取。這類型產品的感測器通常依據貝爾色彩濾波陣列（Bayer Color Filter Array, Bayer CFA）來同時記錄紅色、綠色及藍色資訊以降低製造成本。如圖1所示，貝爾色彩濾波陣列100包含複數個貝爾圖110（Bayer Pattern），貝爾圖110是由四個感測單元所組成，該四個感測單元經由一彩色濾光片分別保留紅綠綠藍（R, Gr, Gb, B）等顏色，從而構成一個包含三原色的基本單位。而全彩影像則是透過一內插處理程序（或稱為解碼賽克程序）處理感測器所擷取到的原生貝爾色彩濾波陣列影像（Raw Bayer CFA Image）而得到。
上述全彩影像的產生流程如圖2所示，一外界影像210經過透鏡220與感測器230（包含色彩濾波陣列）而生成原生貝爾色彩濾波陣列影像240；該原生貝爾色彩濾波陣列影像240再經過一影像感測流水線（Imaging Sensor Pipeline, ISP）處理程序250（包含前述內插處理程序）而生成全彩影像260。然而，原生貝爾色彩濾波陣列影像常會因為透鏡、感測器或影像感測模組的製造缺陷而存在錯誤或失真的現象，若影像感測流水線處理程序不校正這些影響，則最後輸出的全彩影像會顯現許多人眼可查覺的不自然圖樣。舉例來說，感測器的不良像素會導致暗色畫面中的亮點或亮色畫面中的暗點；綠色非均勻性（亦即在受均勻照度之影像平滑區內，位於與紅色像素同一列的綠色像素（Gr）及位於與藍色像素同一列之綠色像素（Gb）具有亮度差異（Disparity））會造成內插處理後的全彩影像顯現迷宮狀（Maze Pattern）及滲色（Color Tint）等失真現象。因此，上述影像感測流水線處理程序對於最後輸出的影像品質具有相當關鍵性的影響。
一般而言，影像感測流水線處理程序在進行內插處理之前即會對原生影像進行不良像素及綠色非均勻性之偵測與校正，其中不良像素的處理已有許多研究討論，但綠色非均勻性之校正較少被探討。然而，如前所述，綠色非均勻性會導致迷宮狀及滲色等人眼容易察覺的失真情況，因此其影響同樣不可忽視。有鑑於此，一些本領域人士提出了綠色非均勻性的校正技術，然而，該些校正技術中，部分技術需要獨立的綠色非均勻性校正單元，因而增加了該獨立單元與其它單元間的緩衝記憶體之使用與成本，且無法有效分辨綠色非均勻性與紋理細節；部分技術雖然將綠色非均勻性校正單元與內插處理單元結合而節省了緩衝記憶體之使用，但仍無法有效區分綠色非均勻性與紋理細節，從而造成校正後的影像模糊化，遺失了原本影像中關係到清晰度的高頻資訊內容，同時也無法有效抑制迷宮狀的失真現象。
更多相關先前技術的細節可由專利號5596367之美國專利以及公開號20020167602之美國專利申請案得知。
鑑於先前技術之不足，本發明之一目的在於提供一種像素值校正裝置與方法，以改善先前技術。
本發明之另一目的在於提供一種像素值校正裝置與方法，藉此改善同一顏色之非均勻性，例如綠色之非均勻性。
本發明揭露了一種像素值校正裝置，用來校正一目標像素之像素值。所述像素值校正裝置之一實施例包含：一邊緣偵測單元，用來依據一目標像素之像素值與複數個鄰近像素之像素值產生複數個邊緣偵測值，其中該目標像素與該複數個鄰近像素同屬第一顏色，且該目標像素與該複數個鄰近像素之每一個均與第二顏色之複數個像素位處於一像素陣列之同一列；一加權值估計單元，耦接該邊緣偵測單元，用來依據該複數個邊緣偵測值與一預設演算規則產生複數個加權值，其中該複數個加權值對應複數個候選像素，且每該候選像素均與第三顏色之複數個像素位處於該像素陣列之同一列；一校正值產生單元，耦接該加權值估計單元，用來依據該目標像素之像素值、一部或全部該候選像素之像素值及其相對應的加權值產生一校正值；以及一校正單元，耦接該校正值產生單元，用來依據該目標像素之像素值以及該校正值產生該目標像素之一校正像素值。
本發明另揭露了一種像素值校正方法，用來校正一目標像素之像素值，係透過本發明之像素值校正裝置或其等效裝置來執行。所述像素值校正方法之一實施例包含：一邊緣偵測步驟，用來依據該目標像素之像素值與複數個鄰近像素之像素值產生複數個邊緣偵測值，其中該目標像素與該複數個鄰近像素同屬第一顏色，且該目標像素與該複數個鄰近像素之每一個均與第二顏色之複數個像素位處於一像素陣列之同一列；一加權值估計步驟，用來依據該複數個邊緣偵測值與一預設演算規則產生複數個加權值，其中該複數個加權值對應複數個候選像素，且每該候選像素均與第三顏色之複數個像素位處於該像素陣列之同一列；一校正值產生步驟，用來依據該目標像素之像素值、一部或全部該候選像素之像素值及其相對應的加權值產生一校正值；以及一校正步驟，用來依據該目標像素之像素值以及該校正值產生該目標像素之一校正像素值。
本發明之像素值校正裝置與方法能夠有效改善影像之綠色非均勻性問題，以避免迷宮圖樣及滲色等失真現象，同時能夠防止紋理細節或邊緣被模糊化之問題。
有關本發明的特徵、實作與功效，茲配合圖式作較佳實施例詳細說明如下。
以下說明內容之技術用語是參照本技術領域之習慣用語，如本說明書對部分用語有加以說明或定義，該部分用語之解釋應以本說明書之說明或定義為準。
本發明包含像素值校正裝置與方法，用來校正一目標像素之像素值，藉此改善影像之綠色非均勻性問題，從而避免迷宮圖樣及滲色等失真現象，同時防止紋理細節或邊緣被模糊化之問題。本發明可應用於一積體電路（例如一影像處理積體電路）或一系統裝置（例如一固定式或手持式影像處理裝置），且在實施為可能的前提下，本技術領域具有通常知識者能夠依本說明書之揭露選擇等效之元件來實現本發明。由於本發明之裝置所包含之部分元件單獨而言可能為已知元件，因此在不影響該裝置發明之充分揭露及可實施性的前提下，以下說明對於已知元件的細節將予以節略。另外，本發明之方法可以是軟體及/或韌體之形式，並可藉由本發明之裝置或其等效裝置來執行，在符合揭露及可實施性要求的前提下，關於方法發明之說明將著重於步驟而非硬體。再者，於實施為可能的前提下，本技術領域人士可依本發明之揭露內容及自身的需求選擇性地實施任一實施例之部分或全部技術特徵，或者選擇性地實施複數個實施例之部分或全部技術特徵之組合，藉此增加本發明實施時的彈性。
請參閱圖3，其是本發明之像素值校正裝置之一實施例的示意圖。如圖3所示，本實施例的像素值校正裝置300包含：一邊緣偵測單元（ED）310；一加權值估計單元（WE）320；一校正值產生單元（CVG）330；以及一校正單元（Cal）340。所述邊緣偵測單元310用來依據一目標像素之像素值與複數個鄰近像素之像素值產生複數個邊緣偵測值，其中目標像素與鄰近像素同屬第一顏色，且目標像素與鄰近像素的每一個均與第二顏色之複數個像素位處於一像素陣列之同一列，舉例來說，第一顏色為一貝爾色彩濾波陣列中的綠色，可以是與藍色像素同列的綠色Gb（此時第二顏色為藍色B）或與紅色像素同列的綠色Gr（此時第二顏色為紅色R）。所述加權值估計單元320耦接邊緣偵測單元310，用來依據上述複數個邊緣偵測值與一預設演算規則產生複數個加權值，其中該些加權值對應複數個候選像素，且每個候選像素均與第三顏色之複數個像素位處於該像素陣列之同一列，舉例來說，當第一顏色為與藍色像素同列的綠色Gb時，第三顏色即為紅色R，此時每一候選像素之顏色為綠色Gr，類似地，當第一顏色為與紅色像素同列的綠色Gr時，第三顏色即為藍色B，此時每一候選像素之顏色為綠色Gb。所述校正值產生單元330耦接加權值估計單元320，用來依據目標像素之像素值、一部或全部候選像素之像素值及其相對應的加權值產生一校正值，本實施例中，若像素陣列的所有像素已經由一不良像素篩選機制篩選過，則通過篩選的全部候選像素均可用來產生該校正值，但若像素陣列未經完整篩選，則可能有部分候選像素是不良像素，此時不良候選像素需被排除（詳如後述），僅有合格的候選像素會被用來產生該校正值，然而上述僅為舉例，本領域具有通常知識者能夠視其需求自訂規則，以選用一部或全部候選像素來產生該校正值。最後，所述校正單元340耦接校正值產生單元330，用來依據目標像素之像素值以及上述校正值產生該目標像素之一校正像素值。
請參閱圖4，其是邊緣偵測單元310之一偵測範例的示意圖，如圖4所示，目標像素為與紅色像素同列的綠色像素Gr0 ；鄰近像素為與目標像素Gr0 最接近的四個綠色像素Gr1 、Gr2 、Gr3 、Gr4 ，且每個鄰近像素同樣與紅色像素位處同一列；候選像素為與目標像素最接近的四個綠色像素Gba 、Gbb 、Gbc 、Gbd ，且每個候選像素均與藍色像素位處同一列，基於上述，邊緣偵測單元310可求出四個邊緣偵測值如下： D1＝｜Gr0 －Gr1 ｜ D2＝｜Gr0 －Gr2 ｜ D3＝｜Gr0 －Gr3 ｜ D4＝｜Gr0 －Gr4 ｜ ，有了上述四個邊緣偵測值，加權值估計單元320即可據以產生複數個加權值以供後續校正之用。另外，請參閱圖5，其是邊緣偵測單元310之另一偵測範例的示意圖，如圖5所示，目標像素仍為與紅色像素同列的綠色像素Gr0 ；鄰近像素為位於目標像素Gr0 之對角線上的四個綠色像素Gr1 、Gr2 、Gr3 、Gr4 ，且每個鄰近像素同樣與紅色像素位處同一列；候選像素仍為與目標像素最接近的四個綠色像素Gba 、Gbb 、Gbc 、Gbd ，且每個候選像素均與藍色像素位處同一列，基於上述，邊緣偵測單元310可求出四個邊緣偵測值如下： D1＝｜Gr0 －Gr1 ｜ D2＝｜Gr0 －Gr2 ｜ D3＝｜Gr0 －Gr3 ｜ D4＝｜Gr0 －Gr4 ｜ ，求出邊緣偵測值後，加權值估計單元320即可據以產生加權值。請注意，本領域具有通常知識者可依圖4及圖5之實施例推衍出更多的實施例，例如將目標像素之顏色由綠色Gr替換成綠色Gb並相對應地選擇鄰近像素與候選像素，或者同時採用水平、垂直及對角方向的鄰近像素以得到更多可用的邊緣偵測值，又或者採用不同的運算式（例如將目標像素與每個鄰近像素之差異的絕對值除以兩者間的距離）來計算邊緣偵測值等等，凡此種種均屬本發明之變化實施的範圍。另請注意，圖4與圖5雖以5×5的像素陣列作為邊緣偵測範圍（完整影像的像素陣列當然較大），但本領域人士可依其需求採用更大的邊緣偵測範圍，以加強邊緣偵測的準確性，舉例而言，本發明之一替代實施例可採用9×9的像素陣列作為邊緣偵測範圍，此時邊緣偵測單元310可採加權方式計算邊緣偵測值，藉此提高與目標像素（Gcenter ）距離較近的鄰近像素（Gnear ）的權重，降低距離較遠的鄰近像素（Gfar ）的權重，從而增加偵測的準確度，所述邊緣偵測值之加權計算的運算式例如是： D＝(Gcenter －Gnear )×(3/4)＋(Gnear －Gfar )×(1/4) ，藉由上述運算式即可分別產生各個邊緣偵測值，當然其它運算式及/或不同的權重值在實施為可能的前提下均得為本發明所採用。
承上所述，求得邊緣偵測值後，加權值估計單元320即可依據邊緣偵測值與前述預設演算規則來產生加權值。舉例來說，加權值估計單元320可依圖4的邊緣偵測值D1、D2、D3、D4與預設演算規則（以函數符號f 表示）來產生複數個加權值如下： Wa ＝(f (D1)＋f (D2))/8 Wb ＝(f (D1)＋f (D3))/8 Wc ＝(f (D2)＋f (D4))/8 Wd ＝(f (D3)＋f (D4))/8 ，其中加權值Wa 、Wb 、Wc 與Wd 分別對應候選像素Gba 、Gbb 、Gbc 以及Gbd 。另舉例而言，加權值估計單元320也可依圖5的邊緣偵測值D1、D2、D3、D4與預設演算規則產生複數個加權值如下： Wa ＝f (D1)/4 Wb ＝f (D2)/4 Wc ＝f (D3)/4 Wd ＝f (D4)/4 ，其中加權值Wa 、Wb 、Wc 與Wd 分別對應候選像素Gba 、Gbb 、Gbc 以及Gbd 。更多的加權值產生運算式可由本領域人士依上述說明及需求自行推衍而得。
前述預設演算規則是用來依據每個邊緣偵測值之大小而給予其適當之權重，當然也可以由本領域人士依本說明書之內容及其需求來決定，該預設演算規則之一實施例如圖6所示，包含下列步驟（由加權值估計單元320執行）： 步驟S610：判斷一邊緣偵測值（Di）是否小於一第一門檻值（T1）。如前所述，邊緣偵測值是依據目標像素與至少一鄰近像素之像素值而得。 步驟S620：若該邊緣偵測值小於第一門檻值，代表目標像素與鄰近像素之差異夠小，則依據此邊緣偵測值以及一第一運算式產生一相對應的第一運算值。本實施例中，第一運算式是令第一運算值為最大加權值（例如f (Di)＝1）。 步驟S630：若該邊緣偵測值大於第一門檻值，代表目標像素與鄰近像素之差異較大，則依據此邊緣偵測值以及一第二運算式產生一相對應的第二運算值。本實施例中，第一運算值大於第二運算值，且第二運算式之一例如下所示：f (Di)＝K×(Tmax－Di)／(Tmax－T1) ，其中K為實施者可自行決定之參數值（例如一不大於Tmax/2之正整數），Tmax代表最大可能像素值或實施者自行決定的最大值，且第二運算式指出：邊緣偵測值Di愈大（代表目標像素與鄰近像素之差異愈大），第二運算值就愈小。 上述第一或第二運算值本身可以是最後輸出的複數個加權值的其中之一（例如前述依據圖5之邊緣偵測值所產生的加權值Wa 、Wb 、Wc 與Wd ）或是用來產生該複數個加權值的其中之一（例如前述依據圖4之邊緣偵測值所產生的加權值Wa 、Wb 、Wc 與Wd ），端視實施本發明者所採用之加權值產生運算式而定。另外，第一與第二運算式同樣可由本領域人士依其需求施以適當變化。
除圖6之實施例外，該預設演算規則之另一實施例如圖7所示，包含下列步驟（同樣由加權值估計單元320執行）： 步驟S710：判斷一邊緣偵測值（Di）是否小於一第一門檻值（T1）。如前所述，邊緣偵測值是依據目標像素與至少一鄰近像素之像素值而得。 步驟S720：若該邊緣偵測值小於第一門檻值，代表目標像素與鄰近像素之差異夠小，則依據此邊緣偵測值以及一第一運算式產生一相對應之第一運算值。本實施例中，第一運算式是令第一運算值為最大加權值（例如f (Di)＝1）。 步驟S730：若該邊緣偵測值大於第一門檻值，判斷此邊緣偵測值是否小於第二門檻值（T2），其中第二門檻值大於前述第一門檻值。 步驟S740：若該邊緣偵測值介於第一與第二門檻值之間，代表目標像素與鄰近像素之差異雖大但未達一極端的程度，則依據該邊緣偵測值以及一第二運算式產生一相對應之第二運算值。本實施例中，前述第一運算值大於第二運算值，且第二運算式之一例如下所示：f (Di)＝K×(T2－Di)／(T2－T1) ，其中K為實施者可自行決定的參數值（例如一不大於T2/2之正整數）。 步驟S750：若該邊緣偵測值大於第二門檻值，代表目標像素與鄰近像素之差異甚大，則依據此邊緣偵測值以及一第三運算式產生一相對應之第三運算值。本實施例中，第三運算式是令第三運算值為最小加權值（例如f (Di)＝0），因此第一運算值會大於第二運算值，且第二運算值會大於第三運算值。 類似地，上述第一、第二或第三運算值本身可以是最終複數個加權值的其中之一或用來產生該複數個加權值的其中之一，端視實施本發明者所採用的加權值產生運算式而定。另外，第一、第二與第三運算式同樣可由本領域具有通常知識者依其需求加以調整。再者，除第一與第二門檻值外，本發明亦可由小至大設定更多門檻值（例如第一門檻值至第N門檻值，其中N為大於2之正整數），以針對每個門檻值區間設定適當的運算式（例如第一運算式至第(N＋1)運算式），進而依據該些運算式產生適當的加權值。
在取得每一候選像素之加權值後，校正值產生單元330即可依據目標像素之像素值、一部或全部候選像素之像素值及其相對應的加權值來產生校正值。然而，若所產生之校正值是一極端值，則可能不適合用來校正，因此，本發明之校正值產生單元330可進一步判斷該校正值是否超出一臨界值，並於該校正值超出該臨界值時輸出此臨界值作為校正值，舉例來說，如圖8所示，校正值產生單元330可執行下列步驟： 步驟S810：判斷所產生之校正值（△GrGb）是否大於一最大臨界值（T3）或小於一最小臨界值（-T3）；若該校正值大於最大臨界值，則輸出最大臨界值作為校正值；若該校正值小於最小臨界值，則輸出最小臨界值作為校正值；若該校正值介於最大與最小臨界值之間，則直接輸出此校正值。 藉由上述，校正值產生單元330可將所輸出的校正值限制在T3與-T3之間。
在得到校正值之後，校正單元340就可利用目標像素之像素值（Gr0 ）以及校正值（△GrGb）來產生目標像素之一校正像素值（Gr0(cal) ），以圖4或圖5為例，校正像素值之計算的一實施例如下所示： Gr0(cal) ＝Gr0 ＋△GrGb 。當然，實施本發明者可依其需求調整上述校正像素值之計算式。
另外，前揭實施例提及像素陣列的每個像素可能在輸入本發明之像素值校正裝置前已經由一不良像素篩選機制篩選過，此時通過篩選的全部候選像素及其加權值均可用來產生校正值，但視實施者的需求也可能僅有一部分的候選像素（例如至少一個像素值居中或與其它候選像素之差異總合最小的候選像素）及其加權值用來產生該校正值。所述不良像素篩選機制可選自已知的機制，並可由一不良像素補償電路來執行，舉例來說，如圖9所示，像素值校正裝置900包含一不良像素補償電路（BPC）910，其可依據一已知的預設補償規則來排除像素陣列中符合一排除條件（例如一亮點條件或一暗點條件）的像素，並據以輸出未被排除的複數個保留像素至一緩衝記憶體（Buffer）920，該緩衝記憶體920可暫存該些保留像素，並將其輸出至邊緣偵測單元310以進行校正程序，其中保留像素包含前述目標像素、鄰近像素以及候選像素，換言之，不良像素補償電路910可避免符合該排除條件的不良像素進入校正程序。另外，前揭實施例也提及像素陣列可能未完整經過篩選，此時本發明會先確保目標像素不是不良像素，再過濾掉可能是不良像素的候選像素，舉例來說，如圖10所示，像素值校正裝置1000包含一不良像素補償電路1010，其耦接邊緣偵測單元310，可依據一預設補償規則確認一預設像素是否為一不良像素（例如一亮點或一暗點），並於該預設像素為不良像素時避免該預設像素作為目標像素，亦即於該預設像素非不良像素且為第一顏色（例如綠色Gb或Gr）時，允許該預設像素作為目標像素，此外，像素值校正裝置1000更進一步包含一不良像素排除單元（BPE）1020，用來依據一預設排除規則排除該複數個候選像素中符合一不良條件者（例如一像素值較極端者），此時校正值產生單元330是依據目標像素之像素值、未被不良像素排除單元1020排除之候選像素的像素值及其相對應的加權值來產生校正值。請注意，圖10之實施例中，由於不良像素補償電路1010僅針對可能成為目標像素的預設像素來進行確認，因此與邊緣偵測單元310間不需要有緩衝記憶體來暫存大量的保留像素，故可達到節省成本的益處，同時間像素陣列中的鄰近像素與候選像素可不經不良像素補償電路1010而直接輸入邊緣偵測單元310或其它需求單元。另請注意，本實施例雖然將不良像素排除單元1020設置於加權值估計單元320之後，然此並非對本發明之限制，實作上，不良像素排除單元1020可設置於不良像素補償電路1010與校正值產生單元330之間的任一位置，只要能排除不良的候選像素即可。
請繼續參閱圖10，舉例而言，不良像素排除單元1020可以是一中值濾波單元，此時該預設排除規則是一中值濾波規則，用來從複數個候選像素中取出至少一像素值居中者以供該校正值產生單元330產生校正值。以圖4或圖5為例，複數個候選像素為Gba 、Gbb 、Gbc 、Gbd ，若其像素值大小依序為Gbc ＞Gbd ＞Gba ＞Gbb ，此時，不良像素排除單元1020可依據中值濾波規則取出中間二個候選像素Gbd 、Gba ，並輸出此二候選像素Gbd 、Gba 及其加權值Wd 、Wa 至校正值產生單元330，使校正值產生單元330能夠經由下式產生校正值△GrGb： △GrGb＝(Gbd －Gr0 )×Wd ＋(Gba －Gr0 )×Wa ，其中Gr0 是目標像素的像素值，當然，校正值產生單元330也可藉由其它式子來產生校正值，例如： △GrGb＝{[Gr0 ×(1－Wd －Wa )＋Gbd ×Wd ＋Gba ×Wa ]－Gr0 }/2 ，更多的校正值產生式可由本領域人士依本發明之揭露及其需求自行推衍而得。
請再參閱圖10，不良像素排除單元1020也可以是一累積差值濾波單元，用來濾除每一候選像素與其它候選像素之差值總合最大者或最大數者，並留下至少一個候選像素及其加權值作為後續校正程序之用。以圖4或圖5為例，複數個候選像素為Gba 、Gbb 、Gbc 、Gbd ，每一候選像素與其它候選像素之累積差值為： Da ＝｜Gba －Gbb ｜＋｜Gba －Gbc ｜＋｜Gba －Gbd ｜ Db ＝｜Gbb －Gba ｜＋｜Gbb －Gbc ｜＋｜Gbb －Gbd ｜ Dc ＝｜Gbc －Gba ｜＋｜Gbc －Gbb ｜＋｜Gbc －Gbd ｜ Dd ＝｜Gbd －Gba ｜＋｜Gbd －Gbb ｜＋｜Gbd －Gbc ｜ ，若上述累積差值的大小依序為Da ＞Dd ＞Dc ＞Db ，此時，不良像素排除單元1020可選出累積差值最小的二個候選像素Gbc 、Gbb ，並輸出此二候選像素Gbc 、Gbb 及其加權值Wc 、Wb 至校正值產生單元330，使校正值產生單元330據以產生校正值。
據上所述，本發明之像素值校正裝置可針對第一顏色（例如綠色Gb或Gr）之像素進行校正，藉此避免相同顏色之非均勻性的問題，同時也能避免紋理細節或邊緣被模糊化。
除了前揭之像素值校正裝置外，本發明也揭露了一種像素值校正方法，用來校正一目標像素之像素值。如圖11所示，所述方法之一實施例包含下列步驟： 步驟S1110：一邊緣偵測步驟，用來依據一目標像素之像素值與複數個鄰近像素之像素值產生複數個邊緣偵測值，其中目標像素與複數個鄰近像素同屬第一顏色（例如綠色），且目標像素與複數個鄰近像素之每一個均與第二顏色（例如藍色或紅色）之複數個像素位處於一像素陣列之同一列。本步驟可藉由圖3之邊緣偵測單元310或其等效電路來執行。 步驟S1120：一加權值估計步驟，用來依據上述複數個邊緣偵測值與一預設演算規則產生複數個加權值，其中複數個加權值對應複數個候選像素，且每個候選像素均與第三顏色（例如紅色或藍色）之複數個像素位處於該像素陣列之同一列。本步驟可藉由圖3之加權值估計單元320或其等效電路來執行。 步驟S1130：一校正值產生步驟，用來依據目標像素之像素值、一部或全部候選像素之像素值及其相對應的加權值產生一校正值。本步驟可藉由圖3之校正值產生單元330或其等效電路來執行。 步驟S1140：一校正步驟，用來依據目標像素之像素值以及上述校正值產生該目標像素之一校正像素值。本步驟可藉由圖3之校正單元340或其等效電路來執行。
由於本技術領域具有通常知識者能夠依前揭裝置實施例之說明來瞭解本方法實施例之實施細節與變化，更明確地說，前述裝置發明之技術特徵均可應用於本方法發明中，因此，在不影響本方法發明之揭露要求與可實施性的前提下，重複及冗餘之說明在此予以節略。
綜上所述，本發明之像素值校正裝置與方法可以在不大幅改變現有軟硬體架構的前提下實現，能夠有效改善影像之綠色非均勻性問題，避免迷宮圖樣及滲色等失真現象，同時有效區分綠色非均勻性與細微紋理或邊緣，避免影像細節被模糊化。簡言之，本發明能夠以成本經濟的方式來改善綠色非均勻性，從而保留較佳的影像清晰度與對比度。
雖然本發明之實施例如上所述，然而該些實施例並非用來限定本發明，本技術領域具有通常知識者可依據本發明之明示或隱含之內容對本發明之技術特徵施以變化，凡此種種變化均可能屬於本發明所尋求之專利保護範疇，換言之，本發明之專利保護範圍須視本說明書之申請專利範圍所界定者為準。
100‧‧‧貝爾色彩濾波陣列
110‧‧‧貝爾圖
210‧‧‧外界影像
220‧‧‧透鏡
230‧‧‧感測器
240‧‧‧原生貝爾色彩濾波陣列影像
250‧‧‧影像感測流水線處理程序（ISP）
260‧‧‧全彩影像
300‧‧‧像素值校正裝置
310‧‧‧邊緣偵測單元（ED）
320‧‧‧加權值估計單元（WE）
330‧‧‧校正值產生單元（CVG）
340‧‧‧校正單元（Cal）
900‧‧‧像素值校正裝置
910‧‧‧不良像素補償電路（BPC）
920‧‧‧緩衝記憶體（Buffer）
1000‧‧‧像素值校正裝置
1010‧‧‧不良像素補償電路（BPC）
1020‧‧‧不良像素排除單元（BPE）
S610‧‧‧判斷一邊緣偵測值是否小於一第一門檻值
S620‧‧‧若該邊緣偵測值小於第一門檻值，依據此邊緣偵測值以及一第一運算式產生一相對應的第一運算值
S630‧‧‧若該邊緣偵測值大於第一門檻值，依據此邊緣偵測值以及一第二運算式產生一相對應的第二運算值
S710‧‧‧判斷一邊緣偵測值是否小於一第一門檻值
S720‧‧‧若該邊緣偵測值小於第一門檻值，依據此邊緣偵測值以及一第一運算式產生一相對應的第一運算值
S730‧‧‧若該邊緣偵測值大於第一門檻值，判斷此邊緣偵測值是否小於第二門檻值，其中第二門檻值大於前述第一門檻值
S740‧‧‧若該邊緣偵測值介於第一與第二門檻值之間，依據該邊緣偵測值以及一第二運算式產生一相對應之第二運算值
S750‧‧‧若該邊緣偵測值大於第二門檻值，依據此邊緣偵測值以及一第三運算式產生一相對應之第三運算值
S810‧‧‧判斷一校正值是否大於一最大臨界值或小於一最小臨界值，並據以輸出該校正值、該最大臨界值或該最小臨界值
S1110‧‧‧邊緣偵測步驟
S1120‧‧‧加權值估計步驟
S1130‧‧‧校正值產生步驟
S1140‧‧‧校正步驟
Gr‧‧‧綠色像素（與紅色像素同列）
R‧‧‧紅色像素
Gb‧‧‧綠色像素（與藍色像素同列）
B‧‧‧藍色像素
Gr0‧‧‧目標像素
Gr1、Gr2、Gr3、Gr4‧‧‧鄰近像素
Gba、Gbb、Gbc、Gbd‧‧‧候選像素
D1、D2、D3、D4‧‧‧邊緣偵測值
［圖1］為貝爾色彩濾波陣列之示意圖； ［圖2］為全彩影像之產生流程的示意圖； ［圖3］為本發明之像素值校正裝置之一實施例的示意圖； ［圖4］為圖3之邊緣偵測單元之一偵測範例的示意圖； ［圖5］為圖3之邊緣偵測單元之另一偵測範例的示意圖； ［圖6］為圖3之加權值估計單元之預設演算規則的一實施例的示意圖； ［圖7］為圖3之加權值估計單元之預設演算規則的另一實施例的示意圖； ［圖8］為圖3之校正值產生單元排除極端值的一實施例的示意圖； ［圖9］為本發明之像素值校正裝置之另一實施例的示意圖； ［圖10］為本發明之像素值校正裝置之又一實施例的示意圖；以及 ［圖11］本發明之像素值校正方法之一實施例的示意圖。
300‧‧‧像素值校正裝置
310‧‧‧邊緣偵測單元(ED)
320‧‧‧加權值估計單元(WE)
330‧‧‧校正值產生單元(CVG)
340‧‧‧校正單元(Cal)

Claims (20)

  1. 一種像素值校正裝置，用來校正一目標像素之像素值，包含：一邊緣偵測單元，用來依據該目標像素之像素值與複數個鄰近像素之像素值產生複數個邊緣偵測值，其中該目標像素與該複數個鄰近像素同屬第一顏色，且該目標像素與顏色屬於第二顏色之複數個像素位處於一像素陣列之同一列，每該鄰近像素亦與顏色屬於該第二顏色之複數個像素位處於該像素陣列之同一列；一加權值估計單元，耦接該邊緣偵測單元，用來依據該複數個邊緣偵測值與一預設演算規則產生複數個加權值，其中該複數個加權值對應複數個候選像素，且每該候選像素屬於該第一顏色，並與顏色屬於第三顏色之複數個像素位處於該像素陣列之同一列；一校正值產生單元，耦接該加權值估計單元，用來依據該目標像素之像素值、一部或全部該候選像素之像素值及其相對應的該加權值產生一校正值；以及一校正單元，耦接該校正值產生單元，用來依據該目標像素之像素值以及該校正值產生該目標像素之一校正像素值。
  2. 如申請專利範圍第1項所述之像素值校正裝置，其中該第一顏色為綠色，該第二顏色為紅色與藍色的其中之一，該第三顏色為紅色與藍色的其中另一。
  3. 如申請專利範圍第1項所述之像素值校正裝置，其中該預設演算規則包含一第一門檻值，且該加權值估計單元用來依據小於該第一門檻值之每該邊緣偵測值以及一第一運算式產生相對應之一第一運算值，並依據大於該第一門檻值之每該邊緣偵測值以及一第二運算式產生相對應之一第二運算值，該第一或第二運算值為該複數個加權值的其中之一或用來產生該複數個加權值的其中之一。
  4. 如申請專利範圍第3項所述之像素值校正裝置，其中該第一運算值大於該第二運算值。
  5. 如申請專利範圍第3項所述之像素值校正裝置，其中該預設演算規則進一步包含一第二門檻值，該第二門檻值大於該第一門檻值，且該加權值估計單元用來依據介於該第一與第二門檻值之間的每該邊緣偵測值以及該第二運算式產生該相對應的第二運算值，並依據大於該第二門檻值之每該邊緣偵測值以及一第三運算式產生相對應之一第三運算值，該第一、第二或第三運算值為該複數個加權值的其中之一或用來產生該複數個加權值的其中之一。
  6. 如申請專利範圍第5項所述之像素值校正裝置，其中該第一運算值大於該第二運算值，且該第二運算值大於該第三運算值。
  7. 如申請專利範圍第1項所述之像素值校正裝置，其中該校正值產生單元進一步用來判斷該校正值是否超出一臨界值，並於該校正值超出該臨界值時輸出該臨界值作為該校正值。
  8. 如申請專利範圍第1項所述之像素值校正裝置，進一步包含：一不良像素排除單元，用來依據一預設排除規則排除該複數個候選像素中符合一不良條件者，其中該校正值產生單元用來依據該目標像素之像素值、未被該不良像素排除單元排除之該候選像素的像素值及其相對應的該加權值產生該校正值。
  9. 如申請專利範圍第8項所述之像素值校正裝置，其中該不良像素排除單元是一中值濾波單元或一累積差值濾波單元，用來從該複數個候選像素中取出至少一候選像素以供該校正值產生單元產生該校正值。
  10. 如申請專利範圍第8項所述之像素值校正裝置，進一步包含：一不良像素補償電路，耦接該邊緣偵測單元，用來依據一預設補償規則確認一預設像素是否為一不良像素，並於該預設像素為該不良像素時避免該預設像素作為該目標像素。
  11. 如申請專利範圍第1項所述之像素值校正裝置，進一步包含：一緩衝記憶體，用來暫存並輸出複數個保留像素至該邊緣偵測單元；以及一不良像素補償電路，耦接該緩衝記憶體，用來依據一預設補償規則排除該像素陣列中符合一排除條件者，並據以提供該複數個保留像素，其中該目標像素、該複數個鄰近像素以及該複數個候選像素包含於該複數個保留像素中。
  12. 如申請專利範圍第1項所述之像素值校正裝置，其中該像素陣列是一貝爾色彩濾波陣列。
  13. 一種像素值校正方法，用來校正一目標像素之像素值，包含：一邊緣偵測步驟，用來依據該目標像素之像素值與複數個鄰近像素之像素值產生複數個邊緣偵測值，其中該目標像素與該複數個鄰近像素同屬第一顏色，且該目標像素與顏色屬於第二顏色之複數個像素位處於一像素陣列之同一列，每該鄰近像素亦與顏色屬於該第二顏色之複數個像素位處於該像素陣列之同一列；一加權值估計步驟，用來依據該複數個邊緣偵測值與一預設演算規則產生複數個加權值，其中該複數個加權值對應複數 個候選像素，且每該候選像素屬於該第一顏色，並與顏色屬於第三顏色之複數個像素位處於該像素陣列之同一列；一校正值產生步驟，用來依據該目標像素之像素值、一部或全部該候選像素之像素值及其相對應的該加權值產生一校正值；以及一校正步驟，用來依據該目標像素之像素值以及該校正值產生該目標像素之一校正像素值。
  14. 如申請專利範圍第13項所述之像素值校正方法，其中該第一顏色為綠色，該第二顏色為紅色與藍色的其中之一，該第三顏色為紅色與藍色的其中另一。
  15. 如申請專利範圍第13項所述之像素值校正方法，其中該預設演算規則包含一第一門檻值，且該加權值估計步驟用來依據小於該第一門檻值之每該邊緣偵測值以及一第一運算式產生相對應之一第一運算值，並依據大於該第一門檻值之每該邊緣偵測值以及一第二運算式產生相對應之一第二運算值，該第一或第二運算值為該複數個加權值的其中之一或用來產生該複數個加權值的其中之一，該第一運算值大於該第二運算值。
  16. 如申請專利範圍第15項所述之像素值校正方法，其中該預設演算規則進一步包含一第二門檻值，該第二門檻值大於該第一門檻值，且該加權值估計步驟用來依據介於該第一與第二門檻值之間的每該邊緣偵測值以及該第二運算式產生該相對 應的第二運算值，並依據大於該第二門檻值之每該邊緣偵測值以及一第三運算式產生相對應之一第三運算值，該第一、第二或第三運算值為該複數個加權值的其中之一或用來產生該複數個加權值的其中之一，該第一運算值大於該第二運算值，該第二運算值大於該第三運算值。
  17. 如申請專利範圍第13項所述之像素值校正方法，其中該校正值產生步驟進一步用來判斷該校正值是否超出一臨界值，並於該校正值超出該臨界值時以該臨界值作為該校正值。
  18. 如申請專利範圍第13項所述之像素值校正方法，進一步包含：一不良像素排除步驟，用來依據一預設排除規則排除該複數個候選像素中符合一不良條件者，其中該校正值產生步驟用來依據該目標像素之像素值、未被該不良像素排除步驟排除之該候選像素的像素值及其相對應的該加權值產生該校正值。
  19. 如申請專利範圍第18項所述之像素值校正方法，進一步包含：一不良像素補償步驟，用來依據一預設補償規則確認一預設像素是否為一不良像素，並於該預設像素為該不良像素時避免該預設像素作為該目標像素。
  20. 如申請專利範圍第13項所述之像素值校正方法，進一步包含：一緩衝步驟，用來暫存並提供複數個保留像素；以及一不良像素補償步驟，用來依據一預設補償規則排除該像素陣列中符合一排除條件者，並據以提供該複數個保留像素，其中該目標像素、該複數個鄰近像素以及該複數個候選像素包含於該複數個保留像素中。
TW103108840A 2014-03-12 2014-03-12 像素值校正裝置與方法 TWI542217B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW103108840A TWI542217B (zh) 2014-03-12 2014-03-12 像素值校正裝置與方法
US14/565,091 US9313467B2 (en) 2014-03-12 2014-12-09 Pixel value calibration device and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103108840A TWI542217B (zh) 2014-03-12 2014-03-12 像素值校正裝置與方法

Publications (2)

Publication Number Publication Date
TW201536053A TW201536053A (zh) 2015-09-16
TWI542217B true TWI542217B (zh) 2016-07-11

Family

ID=54069393

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103108840A TWI542217B (zh) 2014-03-12 2014-03-12 像素值校正裝置與方法

Country Status (2)

Country Link
US (1) US9313467B2 (zh)
TW (1) TWI542217B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI670708B (zh) * 2017-11-08 2019-09-01 瑞昱半導體股份有限公司 顏色偏移校正方法及裝置

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI558211B (zh) * 2015-11-19 2016-11-11 晶相光電股份有限公司 影像處理方法與裝置
US9792879B2 (en) * 2015-12-08 2017-10-17 Himax Technologies Limited Display system and driving method
KR102555953B1 (ko) 2016-11-04 2023-07-17 삼성전자주식회사 전지 장치, 디스플레이 장치 및 그의 제어 방법
TWI640958B (zh) * 2017-10-30 2018-11-11 瑞昱半導體股份有限公司 增強影像邊緣的電子裝置與影像處理方法
TWI670977B (zh) * 2017-11-06 2019-09-01 瑞昱半導體股份有限公司 不良像素補償方法與裝置
CN109788217B (zh) * 2017-11-13 2021-05-25 瑞昱半导体股份有限公司 不良像素补偿方法与装置
TWI707583B (zh) 2019-07-17 2020-10-11 瑞昱半導體股份有限公司 應用於影像感測電路的像素通道不平衡補償方法與系統
TWI736112B (zh) 2020-01-20 2021-08-11 瑞昱半導體股份有限公司 像素值校正方法以及像素值校正裝置
KR20210156553A (ko) * 2020-06-18 2021-12-27 에스케이하이닉스 주식회사 이미지 센싱 장치 및 그의 동작 방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5596367A (en) 1996-02-23 1997-01-21 Eastman Kodak Company Averaging green values for green photosites in electronic cameras
US20020167602A1 (en) 2001-03-20 2002-11-14 Truong-Thao Nguyen System and method for asymmetrically demosaicing raw data images using color discontinuity equalization
US7450754B2 (en) * 2004-03-23 2008-11-11 Microsoft Corporation Radiometric calibration from a single image
US20070133893A1 (en) 2005-12-14 2007-06-14 Micron Technology, Inc. Method and apparatus for image noise reduction
TW200726263A (en) 2005-12-23 2007-07-01 Altek Corp Method for reconstructing color information of pixel
US8971659B2 (en) 2008-08-05 2015-03-03 Qualcomm Incorporated Bad pixel cluster detection

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI670708B (zh) * 2017-11-08 2019-09-01 瑞昱半導體股份有限公司 顏色偏移校正方法及裝置

Also Published As

Publication number Publication date
US20150262360A1 (en) 2015-09-17
US9313467B2 (en) 2016-04-12
TW201536053A (zh) 2015-09-16

Similar Documents

Publication Publication Date Title
TWI542217B (zh) 像素值校正裝置與方法
US8208046B2 (en) Method of detecting defect in image pickup apparatus and the image pickup apparatus
JP5980294B2 (ja) データ処理装置、撮像装置、およびデータ処理方法
WO2021047345A1 (zh) 图像降噪方法、装置、存储介质及电子设备
JP4730412B2 (ja) 画像処理装置及び画像処理方法
RU2527198C2 (ru) Устройство обработки изображения и способ управления устройством обработки изображения
US8310553B2 (en) Image capturing device, image capturing method, and storage medium having stored therein image capturing program
CN107395991B (zh) 图像合成方法、装置、计算机可读存储介质和计算机设备
JP5306298B2 (ja) 画像処理装置
JPWO2010053029A1 (ja) 画像入力装置
JP6046927B2 (ja) 画像処理装置及びその制御方法
TWI547169B (zh) 影像處理方法與模組
CN110930301A (zh) 图像处理方法、装置、存储介质及电子设备
JP2011041056A (ja) 撮像装置及び撮像方法
US9860456B1 (en) Bayer-clear image fusion for dual camera
KR100690171B1 (ko) 이미지 보정 회로 및 이미지 보정 방법
JP5948167B2 (ja) 撮像装置
US8896731B2 (en) Image processing apparatus, image processing method, and camera module
US8654220B2 (en) Image processing apparatus and control method for the same
JP2012028987A (ja) 画像処理装置
JP2010212788A (ja) 撮像装置、欠陥画素補正方法、および電子情報機器
JP2011114473A (ja) 画素欠陥補正装置
JP2008148115A (ja) 方向検出を用いた撮像デバイスの画像欠陥補正システム
JP6316140B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP7379217B2 (ja) 撮像システム