TWI549511B - 影像感測裝置及色彩校正矩陣修正方法與查找表建立方法 - Google Patents

影像感測裝置及色彩校正矩陣修正方法與查找表建立方法 Download PDF

Info

Publication number
TWI549511B
TWI549511B TW103110321A TW103110321A TWI549511B TW I549511 B TWI549511 B TW I549511B TW 103110321 A TW103110321 A TW 103110321A TW 103110321 A TW103110321 A TW 103110321A TW I549511 B TWI549511 B TW I549511B
Authority
TW
Taiwan
Prior art keywords
value
block
color correction
image
sampling
Prior art date
Application number
TW103110321A
Other languages
English (en)
Other versions
TW201537982A (zh
Inventor
莊鴻璋
Original Assignee
智原科技股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 智原科技股份有限公司 filed Critical 智原科技股份有限公司
Priority to TW103110321A priority Critical patent/TWI549511B/zh
Priority to CN201410195248.8A priority patent/CN104935900B/zh
Priority to US14/276,974 priority patent/US9219897B2/en
Publication of TW201537982A publication Critical patent/TW201537982A/zh
Application granted granted Critical
Publication of TWI549511B publication Critical patent/TWI549511B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G06T5/92—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/98—Detection or correction of errors, e.g. by rescanning the pattern or by human intervention; Evaluation of the quality of the acquired patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/58—Edge or detail enhancement; Noise or error suppression, e.g. colour misregistration correction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/603—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer
    • H04N1/6033—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis
    • H04N1/6041—Colour correction or control controlled by characteristics of the picture signal generator or the picture reproducer using test pattern analysis for controlling uniformity of color across image area
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/67—Circuits for processing colour signals for matrixing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Description

影像感測裝置及色彩校正矩陣修正方法與查找表建立方法
本發明是有關於一種影像感測裝置，且特別是有關於影像感測裝置的色彩校正矩陣修正方法與查找表建立方法。
影像感測裝置可以利用影像感測器陣列來擷取影像畫面，以及利用增益電路將所述影像畫面進行增益。在增益電路增益所述影像畫面的同時，所述影像畫面的雜訊成份亦會被放大。習知影像感測裝置利用預先設置之固定色彩校正矩陣來抑制雜訊。然而，不同增益往往造成不同雜訊成份，以及/或者影像感測器陣列的不同位置可能產生不同雜訊量，使得習知影像感測裝置利用固定色彩校正矩陣來抑制雜訊的效果不彰。
本發明提供一種影像感測裝置及其色彩校正矩陣的修正 方法，依據共變異(covariance)值與區塊統計值而動態修正像素區塊所對應的色彩校正矩陣。
本發明提供一種查找表的建立方法，以提供共變異值。
本發明的實施例提供一種色彩校正矩陣的修正方法。所述修正方法包括：計算在影像感測器陣列中一像素區塊所對應的區塊統計值；基於查找表，決定一目前增益值所對應的共變異值；以及依據該共變異值與該區塊統計值，修正像素區塊所對應的色彩校正矩陣。
本發明的實施例提供一種影像感測裝置。所述影像感測裝置包括影像感測電路、自動白平衡單元以及彩色校正單元。影像感測電路以目前增益值增益原始影像畫面，並輸出經增益影像畫面。自動白平衡單元的輸入端耦接至影像感測電路的輸出端以接收該經增益影像畫面。自動白平衡單元輸出經調整影像畫面。彩色校正單元的輸入端耦接至自動白平衡單元的輸出端以接收該經調整影像畫面。彩色校正單元依據經調整影像畫面計算在影像感測器陣列中一像素區塊所對應的區塊統計值。彩色校正單元基於查找表決定該目前增益值所對應的共變異值。彩色校正單元依據該共變異值與該區塊統計值來修正像素區塊所對應的色彩校正矩陣。
本發明的實施例提供一種查找表的建立方法。所述查找表的建立方法包括：在校正期間以至少一採樣增益值由影像感測器陣列獲得影像畫面；從該影像畫面選取至少一採樣區塊；對該 影像畫面計算所述至少一採樣區塊之統計量；以及依據對應於所述採樣增益值的所述統計量，建立該查找表。
基於上述，本發明實施例所述影像感測裝置及其色彩校正矩陣的修正方法可以依據查找表快速獲得對應於目前增益值的共變異值。另一方面，目前像素所屬像素區塊所對應的區塊統計值可以被計算。依據所述共變異值與所述區塊統計值，目前像素所屬像素區塊所對應的色彩校正矩陣可以被動態修正。本發明實施例亦提供一種查找表的建立方法，以提供共變異值。
為讓本發明的上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
100‧‧‧影像感測裝置
110‧‧‧影像感測電路
111‧‧‧影像感測器陣列
112‧‧‧讀取電路
120‧‧‧增益電路
130‧‧‧彩色校正單元
131‧‧‧經增益影像畫面
132‧‧‧經校正影像畫面
140‧‧‧增益控制電路
150‧‧‧自動白平衡單元
152‧‧‧經調整影像畫面
301~306‧‧‧區塊
401~406‧‧‧色區塊
610‧‧‧像素區塊
620‧‧‧像素
G‧‧‧增益值
S210~S240、S510~S540‧‧‧步驟
圖1是依照本發明實施例說明一種影像感測裝置的電路方塊示意圖。
圖2是依照本發明實施例說明一種查找表的建立方法之流程示意圖。
圖3是依照本發明一實施例說明影像感測裝置在校正期間透過影像感測器陣列所拍攝獲得的影像畫面示意圖。
圖4是依照本發明另一實施例說明影像感測裝置在校正期間透過影像感測器陣列所拍攝獲得的影像畫面示意圖。
圖5是依照本發明實施例說明一種色彩校正操作之流程示意 圖。
圖6是依照本發明實施例說明像素區塊的示意圖。
在本案說明書全文(包括申請專利範圍)中所使用的「耦 接」一詞可指任何直接或間接的連接手段。舉例而言，若文中描述第一裝置耦接於第二裝置，則應該被解釋成該第一裝置可以直接連接於該第二裝置，或者該第一裝置可以透過其他裝置或某種連接手段而間接地連接至該第二裝置。另外，凡可能之處，在圖式及實施方式中使用相同標號的元件/構件/步驟代表相同或類似部分。不同實施例中使用相同標號或使用相同用語的元件/構件/步驟可以相互參照相關說明。
圖1是依照本發明實施例說明一種影像感測裝置100的電路方塊示意圖。影像感測裝置100包括影像感測電路110、彩色校正單元130以及自動白平衡單元150增益控制電路140。影像感測電路110以目前增益值G增益原始影像畫面，並輸出經增益影像畫面131。自動白平衡單元150的輸入端耦接至影像感測電路110的輸出端以接收經增益影像畫面131。自動白平衡單元150可以對經增益影像畫面131進行影像分析(例如色溫判斷或是其他影像處理)，而依據影像分析的分析結果調整經增益影像畫面131並輸出經調整影像畫面152至色彩校正單元130。本實施例不限制自動白平衡單元150的實施方式。例如，在一些實施例中，自動 白平衡單元150可以包含習知自動白平衡電路。
在本實施例中，影像感測電路110包括影像感測器陣列111、增益控制電路140、增益電路120與讀取電路112。讀取電路112耦接至影像感測器陣列111，以讀取影像感測器陣列111的感測結果，並輸出對應的原始影像畫面至增益電路120。增益電路120的輸入端耦接至讀取電路112的輸出端，以接收原始影像畫面。增益電路120以目前增益值G對讀取電路112的輸出進行增益，並輸出經增益影像畫面131至自動白平衡單元150。彩色校正單元130的輸入端耦接至自動白平衡單元150的輸出端以接收白平衡後的經調整影像畫面152。
在校正期間，增益控制電路140可以調整目前增益值G至不同增益準位(gain level)，作為採樣增益值。因此，彩色校正單元130可以在校正期間分別以不同採樣增益值從影像感測器陣列111獲得多個影像畫面。彩色校正單元130可以從經不同採樣增益值增益後的這些影像畫面之每一者各自選取至少一採樣區塊。彩色校正單元130對這些影像畫面之每一者，分別計算所述至少一採樣區塊之統計量。彩色校正單元130依據對應於所述不同採樣增益值的這些統計量，建立查找表(Look-up table)。待校正期間結束後，此查找表可以被用於正常操作期間所進行的色彩校正操作中。
舉例來說，圖2是依照本發明實施例說明一種查找表的建立方法之流程示意圖。請參照圖1與圖2，影像感測裝置100 以被設定各種不同影像參數，例如曝光時間可以被設定為1/30秒。在校正期間，目前增益值G可以被設定至多種不同增益準位，來作為採樣增益值。在此假設目前增益值G被設定至第m個增益準位Gm。因此，彩色校正單元130可以在校正期間以採樣增益值Gm從影像感測器陣列111獲得一影像畫面(步驟S210)。在獲得影像畫面後，彩色校正單元130可以從該影像畫面選取至少一採樣區塊(步驟S220)。步驟S220可以應用任何方式去從該影像畫面選取一個或多個採樣區塊。
例如，圖3是依照本發明一實施例說明影像感測裝置100在校正期間透過影像感測器陣列111所拍攝獲得的影像畫面示意圖。圖3所示影像畫面包含了標準色板，但在其他實施例中步驟S210所所拍攝獲得的影像畫面不應受限於此。圖3所示標準色板具有多個標準色(以不同網底圖樣表示不同標準色)。在步驟S210中，彩色校正單元130可以在校正期間以採樣增益值Gm從影像感測器陣列111獲得圖3所示影像畫面。在獲得影像畫面後，彩色校正單元130在步驟S220可以從圖3所示影像畫面中的平坦區域(例如背景區域)選取一個或多個區塊(例如圖3所示區塊301、302、303、304、305與306)作為所述至少一採樣區塊。
又例如，圖4是依照本發明另一實施例說明影像感測裝置100在校正期間透過影像感測器陣列111所拍攝獲得的影像畫面示意圖。圖4所示影像畫面包含了標準色板。圖4所示標準色板具有多個標準色(以不同網底圖樣表示不同標準色)。在步驟 S210中，彩色校正單元130可以在校正期間以採樣增益值Gm從影像感測器陣列111獲得圖4所示影像畫面。在獲得影像畫面後，彩色校正單元130在步驟S220可以從圖4所示影像畫面中特定彩度的平坦區域選取一個或多個區塊(例如從圖4所示多個標準色塊中選擇不同色區塊401、402、403、404、405與406)作為所述至少一採樣區塊。
在其他實施例中，步驟S220可以應用任何方式去從該影像畫面選取一個或多個採樣區塊。例如，步驟S220可能混用圖3所示選取方法與圖4所示選取方法來從該影像畫面選取一個或多個採樣區塊。
請參照圖1與圖2，彩色校正單元130在步驟S230可以對所述影像畫面計算其中所述採樣區塊(例如圖3所述區塊301~306或是圖4所述色區塊401~406)之統計量，以對於影像感測器陣列111在不同增益(gain)值G的條件下分別計算出紅色R、綠色G、藍色B的通道雜訊特徵。舉例來說，但不以此為限，彩色校正單元130在步驟S230可以計算等式1。
其中，CorNN j 表示在所述採樣區塊(例如圖3所述區塊 301~306或是圖4所述色區塊401~406)中第j個採樣區塊的所述統計量。t表示在所述第j個採樣區塊中像素(pixel)的數量。 R i 表示在所述第j個採樣區塊中第i個像素的紅色感測值(紅色子像素值)。P r 表示在所述第j個採樣區塊中紅色感測值所對應的參數，例如是在所述第j個採樣區塊中不同像素的紅色感測值的平均值或中間值。G i 表示在所述第j個採樣區塊中第i個像素的綠色感測值(綠色子像素值)。P g 表示在所述第j個採樣區塊中綠色感測值所對應的參數，例如是在所述第j個採樣區塊中不同像素的綠色感測值的平均值或中間值。B i 表示在所述第j個採樣區塊中第i個像素的藍色感測值(藍色子像素值)。P b 表示在所述第j個採樣區塊中藍色感測值所對應的參數，例如是在所述第j個採樣區塊中不同像素的藍色感測值的平均值或中間值。
完成步驟S230後，彩色校正單元130可以獲得影像感測器陣列111在不同增益值G的條件下的雜訊統計量(例如等式1所示矩陣)。彩色校正單元130可以在步驟S240中依據對應於不同採樣增益值的統計量去建立一個查找表。待校正期間結束後，此查找表以被用於正常操作期間所進行的色彩校正操作中。
舉例來說，彩色校正單元130在步驟S240可以計算所述採樣區塊之統計量之平均值(或加權平均值)。舉例來說，但不以此為限，彩色校正單元130在步驟S240可以計算等式2，以計算在目前增益值G的條件下的共變異矩陣(covariance matrix)CorNN。
於等式2中，CorNN表示在目前增益值G的條件下影像感測器陣列111的共變異矩陣。s表示在步驟S210所獲得影像畫面中採樣區塊的數量。W j 表示在所述影像畫面的採樣區塊(例如圖3所述區塊301~306或是圖4所述色區塊401~406)中第j個採樣區塊所對應的權重。CorNN j 表示在所述影像畫面中第j個採樣區塊的所述統計量。以圖4所示影像畫面為例，假設色區塊401~406的統計量分別是CorNN 1、CorNN 2、CorNN 3、CorNN 4、CorNN 5與CorNN 6，而色區塊401~406的權重分別是W 1、W 2、W 3、W 4、W 5與W 6，則在目前增益值G的條件下的共變異矩陣CorNN為(W 1 ＊ CorNN 1+W 2 ＊ CorNN 2+W 3 ＊ CorNN 3+W 4 ＊ CorNN 4+W 5 ＊ CorNN 5+W 6 ＊ CorNN 6)/6。
彩色校正單元130可以將在步驟S240可以計算所計算的平均值(或加權平均值)記錄於查找表，以作為對應於不同採樣增益值的共變異值。舉例來說，所述查找表可以包含多個共變異矩陣CorNN，這些共變異矩陣CorNN各自對應於不同的增益值。 假設當目前增益值G為G1時，共變異矩陣CorNN為 當目前增益值G為G2時，共變異矩陣CorNN為。因 此，對應於不同增益值的多個共變異矩陣CorNN可以被記錄於表1所示查找表。
因此，影像感測裝置100可以事先校正影像感測器陣列111。對於影像感測器陣列111的不同增益值G，彩色校正單元130可以計算紅色R、綠色G、藍色B等通道雜訊的相關矩陣(即統計量)。彩色校正單元130可以依據對應於不同採樣增益值的統計量去建立一個查找表。待校正期間結束後，此查找表以被用於正常操作期間所進行的色彩校正操作中。
圖5是依照本發明實施例說明一種色彩校正操作之流程示意圖。請參照圖1與圖5，彩色校正單元130在步驟S510中可以將影像感測器陣列111所拍攝的影像畫面劃分為多個像素區塊，並判斷目前像素屬於哪一個像素區塊。像素區塊的大小可以視設計需求來決定。例如，圖6是依照本發明實施例說明像素區塊的示意圖。圖6所繪示的影像感測器陣列111包含多個像素， 例如像素620。彩色校正單元130在步驟S510中可以將影像感測器陣列111所拍攝的影像畫面劃分為多個像素區塊，例如像素區塊610。於本實施例中像素區塊610的大小為4＊4個像素，但在其他實施例不應以此為限。彩色校正單元130在步驟S510中可以判斷目前像素屬於哪一個像素區塊。舉例來說，彩色校正單元130可以依照像素620的索引(index)來判斷像素620屬於哪一個像素區塊。
請參照圖1與圖5，彩色校正單元130在步驟S510中還可以計算在影像感測器陣列111中像素區塊所對應的區塊統計值。舉例來說，彩色校正單元130在步驟S510中可以計算目前像素區塊(例如圖6所示像素區塊610)的相關矩陣(Correlation Matrix)，作為所述目前像素區塊的區塊統計值。本實施例可以用任何方式去計算區塊統計值。舉例來說，彩色校正單元130可以計算等式3，以獲得相關矩陣Cor(即區塊統計值)。
其中t表示在該像素區塊中像素的數量。R i 表示在該像素區塊中第i個像素的紅色感測值(紅色子像素值)。G i 表示在該像素區塊中所述第i個像素的綠色感測值(綠色子像素值)。B i 表示 在該像素區塊中所述第i個像素的藍色感測值(藍色子像素值)。
彩色校正單元130在步驟S520中可以基於事先製備的查找表(例如表1所示查找表)，決定目前增益值G所對應的共變異值。舉例來說，彩色校正單元130可以在步驟S520中依據目前增益值G而從查找表(例如表1所示查找表)中查找出至少一共變異矩陣(例如等式2所示共變異矩陣CorNN)。依據所述至少一共變異矩陣，彩色校正單元130可以在步驟S520中獲得所述共變異值。在一些實施例中，彩色校正單元130可以用從查找表查找出的所述至少一共變異矩陣CorNN作為所述共變異值。
在另一些實施例中，當彩色校正單元130無法依據目前增益值G之值在查找表找出對應的共變異值時，彩色校正單元130可以使用從查找表查找出的多個共變異矩陣CorNN進行內插(interpolation)運算，以獲得所述共變異值。在又一些實施例中，當目前增益值G小於門檻值G0時，或當曝光時間(exposure time) 小於1/30秒時，彩色校正單元130可以用0(例如)作為 所述共變異值。
彩色校正單元130可以依據步驟S520所獲得的共變異值與步驟S510所獲得的區塊統計值，修正目前像素區塊所對應的色彩校正矩陣C original (步驟S530)。例如，在步驟S530中，彩色校正單元130可以計算下述等式4，以修正色彩校正矩陣C original 。 Cnew=Coriginal ＊(Cor-CorNN-1)T＊(Cor-1)T 等式4
在等式4中，C new 表示某一像素區塊所對應的經修正色彩校正矩陣。Cor表示該像素區塊所對應的區塊統計值(例如相關矩陣，由步驟S510所獲得)。CorNN表示目前增益值G所對應的共變異值(例如共變異矩陣，由步驟S520所獲得)。Cor -1表示Cor的逆矩陣(inverse matrix)。(Cor -1)T表示Cor -1的轉置矩陣(transpose matrix)。在一些實施例中，色彩校正矩陣C original 可以是以習知演算法或是其他方法所求得的固定色彩校正矩陣。在另一些實施例中，色彩校正矩陣C original 可以是響應於環境光源特性而動態改變的色彩校正矩陣。在其他實施例中，色彩校正矩陣C original 可以是響應於自動白平衡單元150的白平衡偵測結果而動態改變的色彩校正矩陣。
舉例來說，當自動白平衡單元150的偵測結果表示環境光為日光(Daylight)時，彩色校正單元130可以選擇第一色彩校正矩陣作為色彩校正矩陣C original 。當自動白平衡單元150的偵測結果表示環境光為CWF(色溫4150K)光源時，彩色校正單元130可以選擇第二色彩校正矩陣作為色彩校正矩陣C original 。當自動白平衡單元150的偵測結果表示環境光為D65(色溫約6504K)光源時，彩色校正單元130可以選擇第三色彩校正矩陣作為色彩校正矩陣C original 。上述第一色彩校正矩陣、第二色彩校正矩陣與第三色彩校正矩陣可以是以習知演算法或是其他方法所求得的色彩 校正矩陣。因此，色彩校正矩陣C original 可以相依於光源特性而動態改變。
因此，系統實際運作時，彩色校正單元130可以依照影像感測器陣列111的增益值G而動態地利用查找表進行內插來得到雜訊統計資訊(例如共變異矩陣CorNN)。彩色校正單元130可以依據共變異值(例如共變異矩陣CorNN)與區塊統計值(例如相關矩陣Cor)逐一對各區塊計算/修正色彩校正矩陣。
在步驟S540中，彩色校正單元130可以使用步驟S530所獲得的經修正色彩校正矩陣C new 來對經調整影像畫面152進行像素色彩校正，以降低色度雜訊(chroma noise)或其他雜訊。步驟S540可以使用任何方式校正像素色彩。例如，在一些實施例中，彩色校正單元130可以使用步驟S530所獲得的經修正色彩校正矩陣C new 以及習知演算法來對經調整影像畫面152進行像素色彩校正，以輸出經校正影像畫面132。在其他實施例中，彩色校正單元130可以計算等式5，以獲得並輸出經校正影像畫面132。
在等式5中，R’表示在經校正影像畫面132中的紅色感測值(紅色子像素值)。G’表示在經校正影像畫面132中的綠色感測值(綠色子像素值)。B’表示在經校正影像畫面132中的藍色感 測值(藍色子像素值)。R表示在經調整影像畫面152中的紅色感測值(紅色子像素值)。G表示在經調整影像畫面152中的綠色感測值(綠色子像素值)。B表示在經調整影像畫面152中的藍色感測值(藍色子像素值)。
綜上所述，本發明諸實施例提供一種查找表的建立方法(例如圖2所述)，以提供共變異值(例如共變異矩陣CorNN)。 本發明諸實施例所述影像感測裝置100及其色彩校正矩陣的修正方法可以依據預先製備的查找表快速獲得對應於目前增益值G的共變異值(例如共變異矩陣CorNN)。另一方面，目前像素所屬像素區塊所對應的區塊統計值(例如相關矩陣Cor)可以被計算。依據所述共變異值與所述區塊統計值，目前像素所屬像素區塊所對應的色彩校正矩陣C original 可以被動態修正而獲得經修正色彩校正矩陣C new 。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明的精神和範圍內，當可作些許的更動與潤飾，故本發明的保護範圍當視後附的申請專利範圍所界定者為準。
S510~S540‧‧‧步驟

Claims (36)

  1. 一種色彩校正矩陣的修正方法，用於一影像感測裝置，該方法包括：由該影像感測裝置的一彩色校正單元計算在一影像感測器陣列中一像素區塊所對應的一區塊統計值；由該彩色校正單元基於一查找表，決定一目前增益值所對應的一共變異值；以及由該彩色校正單元依據該共變異值與該區塊統計值，修正該像素區塊所對應的一色彩校正矩陣。
  2. 如申請專利範圍第1項所述的色彩校正矩陣的修正方法，其中所述計算該區塊統計值之步驟包括：計算該像素區塊的一相關矩陣，作為該區塊統計值。
  3. 如申請專利範圍第2項所述的色彩校正矩陣的修正方法，其中所述計算該相關矩陣之步驟包括： 其中t表示在該像素區塊中像素的數量，R i 表示在該像素區塊中第i個像素的紅色感測值，G i 表示在該像素區塊中所述第i個像素的綠色感測值，B i 表示在該像素區塊中所述第i個像素的藍色感測值。
  4. 如申請專利範圍第1項所述的色彩校正矩陣的修正方法， 其中所述決定該共變異值之步驟包括：依據該目前增益值，從該查找表中查找出至少一共變異矩陣；以及依據所述至少一共變異矩陣，獲得該共變異值。
  5. 如申請專利範圍第4項所述的色彩校正矩陣的修正方法，其中所述獲得該共變異值之步驟包括：以所述至少一共變異矩陣作為該共變異值；或是使用所述至少一共變異矩陣進行內插運算，以獲得該共變異值。
  6. 如申請專利範圍第4項所述的色彩校正矩陣的修正方法，其中所述獲得該共變異值之步驟更包括：當該目前增益值小於一門檻值時，以0作為該共變異值。
  7. 如申請專利範圍第1項所述的色彩校正矩陣的修正方法，其中該查找表包含多個共變異矩陣，該些共變異矩陣各自對應於不同的增益值。
  8. 如申請專利範圍第1項所述的色彩校正矩陣的修正方法，更包括：由該彩色校正單元在一校正期間分別以不同採樣增益值由該影像感測器陣列獲得多個影像畫面；由該彩色校正單元從該些影像畫面之每一者各自選取至少一採樣區塊；由該彩色校正單元對該些影像畫面之每一者，分別計算所述 至少一採樣區塊之統計量；以及依據對應於所述不同採樣增益值的該些統計量，建立該查找表。
  9. 如申請專利範圍第1項所述的色彩校正矩陣的修正方法，更包括：由該彩色校正單元在一校正期間以一採樣增益值由該影像感測器陣列獲得一影像畫面；由該彩色校正單元從該影像畫面選取至少一採樣區塊；由該彩色校正單元對該影像畫面計算所述至少一採樣區塊之統計量；以及由該彩色校正單元依據對應於所述採樣增益值的所述統計量，建立該查找表。
  10. 如申請專利範圍第9項所述的色彩校正矩陣的修正方法，其中所述選取至少一採樣區塊之步驟包括：從該影像畫面中的平坦區域選取至少一區塊作為所述至少一採樣區塊；或是從該影像畫面中特定彩度的平坦區域選取至少一區塊作為所述至少一採樣區塊。
  11. 如申請專利範圍第9項所述的色彩校正矩陣的修正方法，其中計算所述統計量之步驟包括：計算等式CorNN j = 其中CorNN j 表示在所述至少一採樣區塊中第j個採樣區塊的所述統計量，t表示在該第j個採樣區塊中像素的數量，R i 表示在該第j個採樣區塊中第i個像素的紅色感測值，P r 表示在該第j個採樣區塊中紅色感測值所對應的參數，G i 表示在該第j個採樣區塊中所述第i個像素的綠色感測值，P g 表示在該第j個採樣區塊中綠色感測值所對應的參數，B i 表示在該第j個採樣區塊中所述第i個像素的藍色感測值，P b 表示在該第j個採樣區塊中藍色感測值所對應的參數。
  12. 如申請專利範圍第11項所述的色彩校正矩陣的修正方法，其中參數P r 為在該第j個採樣區塊中不同像素的紅色感測值的平均值或中間值，參數P g 表示在該第j個採樣區塊中不同像素的綠色感測值的平均值或中間值，參數P b 表示在該第j個採樣區塊中不同像素的藍色感測值的平均值或中間值。
  13. 如申請專利範圍第9項所述的色彩校正矩陣的修正方法，其中所述建立該查找表之步驟包括：計算所述至少一採樣區塊之統計量之平均值或加權平均值；以及將該平均值或該加權平均值記錄於該查找表，以作為對應於所述採樣增益值的該共變異值。
  14. 如申請專利範圍第1項所述的色彩校正矩陣的修正方法，其中所述修正該色彩校正矩陣之步驟包括：計算C new =C original *(Cor-CorNN -1)T*(Cor -1)T，其中C new 表示該像素區塊所對應的一經修正色彩校正矩陣，C original 表示該像素區塊所對應的該色彩校正矩陣，Cor表示該像素區塊所對應的該區塊統計值，CorNN表示該共變異值，Cor -1表示Cor的逆矩陣，(Cor -1)T表示Cor -1的轉置矩陣。
  15. 如申請專利範圍第14項所述的色彩校正矩陣的修正方法，其中該色彩校正矩陣C original 相依於一光源特性。
  16. 一種影像感測裝置，包括：一影像感測電路，該影像感測電路以一目前增益值增益一原始影像畫面，並輸出一經增益影像畫面；一自動白平衡單元，其輸入端耦接至該影像感測電路的輸出端以接收該經增益影像畫面，並輸出一經調整影像畫面；以及一彩色校正單元，其輸入端耦接至該自動白平衡單元的輸出端以接收該經調整影像畫面，該彩色校正單元依據該經調整影像畫面計算在該影像感測電路中的一影像感測器陣列中一像素區塊所對應的一區塊統計值，該彩色校正單元基於一查找表決定該目前增益值所對應的一共變異值，以及該彩色校正單元依據該共變異值與該區塊統計值來修正該像素區塊所對應的一色彩校正矩陣。
  17. 如申請專利範圍第16項所述的影像感測裝置，其中該彩 色校正單元計算該像素區塊的一相關矩陣，作為該區塊統計值。
  18. 如申請專利範圍第17項所述的影像感測裝置，其中該彩 其中t表示在該像素區塊中像素的數量，R i 表示在該像素區塊中第i個像素的紅色感測值，G i 表示在該像素區塊中所述第i個像素的綠色感測值，B i 表示在該像素區塊中所述第i個像素的藍色感測值。
  19. 如申請專利範圍第16項所述的影像感測裝置，其中該彩色校正單元依據該目前增益值，從該查找表中查找出至少一共變異矩陣；以及該彩色校正單元依據所述至少一共變異矩陣，獲得該共變異值。
  20. 如申請專利範圍第19項所述的影像感測裝置，其中該彩色校正單元以所述至少一共變異矩陣作為該共變異值；或是該彩色校正單元使用所述至少一共變異矩陣進行內插運算，以獲得該共變異值。
  21. 如申請專利範圍第19項所述的影像感測裝置，其中當該目前增益值小於一門檻值時，該彩色校正單元以0作為該共變異值。
  22. 如申請專利範圍第16項所述的影像感測裝置，其中該查找表包含多個共變異矩陣，該些共變異矩陣各自對應於不同的增 益值。
  23. 如申請專利範圍第16項所述的影像感測裝置，其中該彩色校正單元在一校正期間分別以不同採樣增益值由該影像感測器陣列獲得多個影像畫面；該彩色校正單元從該些影像畫面之每一者各自選取至少一採樣區塊；該彩色校正單元對該些影像畫面之每一者，分別計算所述至少一採樣區塊之統計量；以及該彩色校正單元依據對應於所述不同採樣增益值的該些統計量，建立該查找表。
  24. 如申請專利範圍第16項所述的影像感測裝置，其中該彩色校正單元在一校正期間以一採樣增益值由該影像感測器陣列獲得一影像畫面；該彩色校正單元從該影像畫面選取至少一採樣區塊；該彩色校正單元對該影像畫面計算所述至少一採樣區塊之統計量；以及該彩色校正單元依據對應於所述採樣增益值的所述統計量，建立該查找表。
  25. 如申請專利範圍第24項所述的影像感測裝置，其中該彩色校正單元從該影像畫面中的平坦區域選取至少一區塊作為所述至少一採樣區塊；或是該彩色校正單元從該影像畫面中特定彩度的平坦區域選取至少一區塊作為所述至少一採樣區塊。
  26. 如申請專利範圍第24項所述的影像感測裝置，其中該彩色校正單元計算等式CorNN j = 其中CorNN j 表示在所述至少一採樣區塊中第j個採樣區塊的所述統計量，t表示在該第j個採樣區塊中像素的數量，R i 表示在該第j個採樣區塊中第i個像素的紅色感測值，P r 表示在該第j個採樣區塊中紅色感測值所對應的參數，G i 表示在該第j個採樣區塊中所述第i個像素的綠色感測值，P g 表示在該第j個採樣區塊中綠色感測值所對應的參數，B i 表示在該第j個採樣區塊中所述第i個像素的藍色感測值，P b 表示在該第j個採樣區塊中藍色感測值所對應的參數。
  27. 如申請專利範圍第26項所述的影像感測裝置，其中參數P r 為在該第j個採樣區塊中不同像素的紅色感測值的平均值或中間值，參數P g 表示在該第j個採樣區塊中不同像素的綠色感測值的平均值或中間值，參數P b 表示在該第j個採樣區塊中不同像素的藍色感測值的平均值或中間值。
  28. 如申請專利範圍第24項所述的影像感測裝置，其中該彩色校正單元計算所述至少一採樣區塊之統計量之平均值或加權平均值；以及該彩色校正單元將該平均值或該加權平均值記錄於該查找表，以作為對應於所述採樣增益值的該共變異值。
  29. 如申請專利範圍第16項所述的影像感測裝置，其中該彩色校正單元計算C new =C original *(Cor-CorNN -1)T*(Cor -1)T， 其中C new 表示該像素區塊所對應的一經修正色彩校正矩陣，C original 表示該像素區塊所對應的該色彩校正矩陣，Cor表示該像素區塊所對應的該區塊統計值，CorNN表示該共變異值，Cor -1表示Cor的逆矩陣，(Cor -1)T表示Cor -1的轉置矩陣。
  30. 如申請專利範圍第29項所述的影像感測裝置，其中該色彩校正矩陣C original 相依於一光源特性。
  31. 一種查找表的建立方法，包括：在一校正期間以至少一採樣增益值由一影像感測器陣列獲得一影像畫面；從該影像畫面選取至少一採樣區塊；對該影像畫面計算所述至少一採樣區塊之統計量；以及依據對應於所述採樣增益值的所述統計量，建立該查找表。
  32. 如申請專利範圍第31項所述的查找表的建立方法，其中該查找表包含多個共變異矩陣，該些共變異矩陣各自對應於不同的增益值。
  33. 如申請專利範圍第31項所述的查找表的建立方法，其中所述選取至少一採樣區塊之步驟包括：從該影像畫面中的平坦區域選取至少一區塊作為所述至少一採樣區塊；或是從該影像畫面中特定彩度的平坦區域選取至少一區塊作為所述至少一採樣區塊。
  34. 如申請專利範圍第31項所述的查找表的建立方法，其中 計算所述統計量之步驟包括：計算等式CorNN j = 其中CorNN j 表示在所述至少一採樣區塊中第j個採樣區塊的所述統計量，t表示在該第j個採樣區塊中像素的數量，R i 表示在該第j個採樣區塊中第i個像素的紅色感測值，P r 表示在該第j個採樣區塊中紅色感測值所對應的參數，G i 表示在該第j個採樣區塊中所述第i個像素的綠色感測值，P g 表示在該第j個採樣區塊中綠色感測值所對應的參數，B i 表示在該第j個採樣區塊中所述第i個像素的藍色感測值，P b 表示在該第j個採樣區塊中藍色感測值所對應的參數。
  35. 如申請專利範圍第34項所述的查找表的建立方法，其中參數P r 為在該第j個採樣區塊中不同像素的紅色感測值的平均值或中間值，參數P g 表示在該第j個採樣區塊中不同像素的綠色感測值的平均值或中間值，參數P b 表示在該第j個採樣區塊中不同像素的藍色感測值的平均值或中間值。
  36. 如申請專利範圍第31項所述的查找表的建立方法，其中所述建立該查找表之步驟包括：計算所述至少一採樣區塊之統計量之平均值或加權平均值；以及 將該平均值或該加權平均值記錄於該查找表，以作為對應於所述採樣增益值的該共變異值。
TW103110321A 2014-03-19 2014-03-19 影像感測裝置及色彩校正矩陣修正方法與查找表建立方法 TWI549511B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW103110321A TWI549511B (zh) 2014-03-19 2014-03-19 影像感測裝置及色彩校正矩陣修正方法與查找表建立方法
CN201410195248.8A CN104935900B (zh) 2014-03-19 2014-05-09 图像感测装置及色彩校正矩阵修正方法与查找表建立方法
US14/276,974 US9219897B2 (en) 2014-03-19 2014-05-13 Image sensing apparatus and color-correction matrix correcting method and look-up table establishing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW103110321A TWI549511B (zh) 2014-03-19 2014-03-19 影像感測裝置及色彩校正矩陣修正方法與查找表建立方法

Publications (2)

Publication Number Publication Date
TW201537982A TW201537982A (zh) 2015-10-01
TWI549511B true TWI549511B (zh) 2016-09-11

Family

ID=54122834

Family Applications (1)

Application Number Title Priority Date Filing Date
TW103110321A TWI549511B (zh) 2014-03-19 2014-03-19 影像感測裝置及色彩校正矩陣修正方法與查找表建立方法

Country Status (3)

Country Link
US (1) US9219897B2 (zh)
CN (1) CN104935900B (zh)
TW (1) TWI549511B (zh)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9595086B2 (en) * 2014-09-04 2017-03-14 Samsung Electronics Co., Ltd. Image processing device, image processing system and method for image processing
TWI645706B (zh) * 2017-05-08 2018-12-21 瑞昱半導體股份有限公司 影像處理方法及影像處理裝置
CN108495101B (zh) * 2018-04-08 2019-10-11 北京大恒图像视觉有限公司 一种图像校正方法、装置、图像采集设备和可读存储介质
CN108416782B (zh) * 2018-04-19 2023-09-26 云南佳叶现代农业发展有限公司 基于视觉识别和光照矫正的烟叶评级方法及系统
CN108377373A (zh) * 2018-05-10 2018-08-07 杭州雄迈集成电路技术有限公司 一种基于像素的色彩还原装置及方法
CN111402827B (zh) * 2020-04-01 2022-06-14 浙江宇视科技有限公司 一种lcd拼接屏校正方法、装置和系统及控制系统
CN111583127B (zh) * 2020-04-03 2023-08-15 浙江大华技术股份有限公司 人脸肤色校正方法、装置、计算机设备和可读存储介质
JP2022100908A (ja) * 2020-12-24 2022-07-06 ゼタテクノロジーズ株式会社 固体撮像装置、固体撮像装置の信号処理方法、および電子機器
CN113596426B (zh) * 2021-08-17 2023-04-07 浙江大华技术股份有限公司 图像的白平衡值的确定方法及装置、存储介质、电子装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008008878A2 (en) * 2006-07-12 2008-01-17 Color Savvy Systems Limited Method for deriving consistent color measurements
US20090147098A1 (en) * 2007-12-10 2009-06-11 Omnivision Technologies, Inc. Image sensor apparatus and method for color correction with an illuminant-dependent color correction matrix
CN101621699A (zh) * 2008-08-15 2010-01-06 青岛海信电器股份有限公司 一种视频显示不均匀校正方法及投影装置
TW201031175A (en) * 2009-02-13 2010-08-16 Altek Corp Calibration method of image color distortion
US20110085730A1 (en) * 2009-10-12 2011-04-14 Miaohong Shi Method for pixel color correction and pixel color correcting apparatus thereof
CN102572206A (zh) * 2010-12-31 2012-07-11 比亚迪股份有限公司 一种色彩校正方法

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010020678A (ko) * 1999-03-25 2001-03-15 윌리엄 비. 켐플러 프로그램가능한 실시간 화상 처리
US7079705B2 (en) * 2002-10-30 2006-07-18 Agilent Technologies, Inc. Color interpolation for image sensors using a local linear regression method
CN101292519B (zh) * 2005-10-13 2010-05-12 诺基亚公司 数字图像中暗角消除的方法和系统
US7586521B2 (en) 2006-01-27 2009-09-08 Nethra Imaging Inc. Automatic color calibration of an image sensor
US8411943B2 (en) 2008-03-31 2013-04-02 Aptina Imaging Corporation Method and apparatus for image signal color correction with reduced noise
US8358453B2 (en) * 2008-05-27 2013-01-22 Xerox Corporation Control based iterative profiling methods
CN101677407B (zh) * 2008-09-19 2011-06-29 联咏科技股份有限公司 用于一显示装置中的色彩调整方法及其相关装置
WO2010123499A1 (en) 2009-04-22 2010-10-28 Hewlett-Packard Development Company, L.P. Spatially-varying spectral response calibration data
TWI400962B (zh) * 2010-06-28 2013-07-01 Himax Media Solutions Inc 可調適色溫校正系統及方法
US8605167B2 (en) * 2010-09-01 2013-12-10 Apple Inc. Flexible color space selection for auto-white balance processing
CN103186230B (zh) * 2011-12-30 2017-06-06 北京朝歌数码科技股份有限公司 基于颜色识别与跟踪的人机交互方法
US8917336B2 (en) * 2012-05-31 2014-12-23 Apple Inc. Image signal processing involving geometric distortion correction
US9025867B2 (en) * 2012-05-31 2015-05-05 Apple Inc. Systems and methods for YCC image processing
US8817120B2 (en) * 2012-05-31 2014-08-26 Apple Inc. Systems and methods for collecting fixed pattern noise statistics of image data
US8953882B2 (en) * 2012-05-31 2015-02-10 Apple Inc. Systems and methods for determining noise statistics of image data
US9031319B2 (en) * 2012-05-31 2015-05-12 Apple Inc. Systems and methods for luma sharpening
US9014504B2 (en) * 2012-05-31 2015-04-21 Apple Inc. Systems and methods for highlight recovery in an image signal processor
US9013611B1 (en) * 2013-09-06 2015-04-21 Xilinx, Inc. Method and device for generating a digital image based upon a selected set of chrominance groups

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008008878A2 (en) * 2006-07-12 2008-01-17 Color Savvy Systems Limited Method for deriving consistent color measurements
US20090147098A1 (en) * 2007-12-10 2009-06-11 Omnivision Technologies, Inc. Image sensor apparatus and method for color correction with an illuminant-dependent color correction matrix
CN101621699A (zh) * 2008-08-15 2010-01-06 青岛海信电器股份有限公司 一种视频显示不均匀校正方法及投影装置
TW201031175A (en) * 2009-02-13 2010-08-16 Altek Corp Calibration method of image color distortion
US20110085730A1 (en) * 2009-10-12 2011-04-14 Miaohong Shi Method for pixel color correction and pixel color correcting apparatus thereof
CN102572206A (zh) * 2010-12-31 2012-07-11 比亚迪股份有限公司 一种色彩校正方法

Also Published As

Publication number Publication date
CN104935900B (zh) 2017-11-21
CN104935900A (zh) 2015-09-23
TW201537982A (zh) 2015-10-01
US20150271459A1 (en) 2015-09-24
US9219897B2 (en) 2015-12-22

Similar Documents

Publication Publication Date Title
TWI549511B (zh) 影像感測裝置及色彩校正矩陣修正方法與查找表建立方法
US11849224B2 (en) Global tone mapping
US8711249B2 (en) Method of and apparatus for image denoising
US8175378B2 (en) Method and system for noise management for spatial processing in digital image/video capture systems
US8941755B2 (en) Image processing device with automatic white balance
KR100886099B1 (ko) 감마 보정 곡선의 자동 산출 장치 및 방법
KR100513342B1 (ko) 디지털 자동 화이트 밸런스 장치
US20150138221A1 (en) Method and apparatus for controlling camera for color calibration of multi-displays
JP2007094742A (ja) 画像信号処理装置及び画像信号処理プログラム
JP2006324840A (ja) 画像処理装置及びホワイトバランス調整装置
EP1805982B1 (en) Apparatus, system, and method for optimizing gamma curves for digital image devices
KR20150006258A (ko) 쉐이딩 보정이 가능한 화이트 발란스 방법, 그리고 이에 적용되는 장치
JP4374484B2 (ja) ディジタル・カメラにおける画質向上のための方法
WO2019104047A1 (en) Global tone mapping
JP2008092565A (ja) カラーマッチング方法及び撮像装置
JP6611543B2 (ja) 画像処理装置、画像処理方法、およびプログラム
JP5743456B2 (ja) 画像処理装置、画像処理方法及び撮像装置
Garud et al. A fast color constancy scheme for automobile video cameras
KR20080095096A (ko) 화이트 밸런스 보정 장치 및 방법
US20240137658A1 (en) Global tone mapping
KR101005625B1 (ko) 카메라 색상 특성 곡선을 이용한 영상 밝기 변화에 따른 색 보정 방법
JP2012065069A (ja) 欠陥検出補正装置、及びプログラム、並びに記憶媒体
JP2018137580A (ja) 画像処理装置、画像処理方法、及び、プログラム
TWI382745B (zh) 影像擷取裝置及其增益表單建立單元與建立方法
JP2021048522A (ja) 画像処理装置および画像処理方法