TW201305965A - 影像處理方法 - Google Patents

影像處理方法 Download PDF

Info

Publication number
TW201305965A
TW201305965A TW100125297A TW100125297A TW201305965A TW 201305965 A TW201305965 A TW 201305965A TW 100125297 A TW100125297 A TW 100125297A TW 100125297 A TW100125297 A TW 100125297A TW 201305965 A TW201305965 A TW 201305965A
Authority
TW
Taiwan
Prior art keywords
primary color
pixels
pixel
color data
data
Prior art date
Application number
TW100125297A
Other languages
English (en)
Inventor
Wei Hsu
Original Assignee
Novatek Microelectronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Novatek Microelectronics Corp filed Critical Novatek Microelectronics Corp
Priority to TW100125297A priority Critical patent/TW201305965A/zh
Priority to US13/542,652 priority patent/US20130022266A1/en
Publication of TW201305965A publication Critical patent/TW201305965A/zh

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4015—Image demosaicing, e.g. colour filter arrays [CFA] or Bayer patterns
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

一種影像處理方法，適於計算一像素陣列的影像資料。像素陣列包括多個像素，且每一像素具有一預設基色資料。影像處理方法包括以下步驟。首先，選取像素陣列的一目標像素。繼之，計算相鄰目標像素之多個第一像素的多個第一基色差值，其中部分第一像素沿一第一方向排列，且另一部分第一像素沿實質上垂直第一方向的一第二方向排列。然後，依據第一基色差值與目標像素的預設基色資料計算目標像素的一第一還原基色資料。

Description

影像處理方法
本發明是有關於一種影像處理方法，且特別是有關於一種用以重建影像資料的影像處理方法。
由於用於數位影像擷取(Image capture)的電荷耦合元件(charge coupled device,CCD)只能感受到光線的強弱，並不能感受到顏色的變化，故當進行數位取樣時，必須在感光基板的前面加上彩色濾片陣列(color filter array,CFA)。
在要求高影像品質的場合裡，通常會使用三個電荷耦合元件分別擷取影像的紅色、綠色、與藍色光的值，然後將它們混色成全彩影像。但對於如數位相機等非專業用途或大眾化的影像產品，在考慮使用三個電荷耦合元件的成本高及所佔體積大的因素下，一般只會使用單一電荷耦合元件，而使得每一個像素都只有R、G、B其中一種色彩元素的灰度值。因此若要得到全彩影像，則必須將感光基板所得到的結果進行內插法的數學運算，以重建每一個像素所遺失的色彩元素，再轉換成數位影像。
常見的彩色插值方法有固定式影像內插法，其例如為最鄰近點(nearest)內插法、雙線性(bilinear)內插法及色彩平緩轉換(smooth hue transition)內插法。但由於固定式影像內插法本身並沒有邊緣偵測(edge sensing)的功能，因此上述方法所重建出來的影像邊緣線條部份會產生影像模糊的現象，從而使得影像產生嚴重的雜訊。
本發明提供一種影像處理方法，能重建出品質良好的影像資料。
本發明提出一種影像處理方法，適於計算一像素陣列的影像資料。像素陣列包括多個像素，且每一像素具有一預設基色資料。影像處理方法包括以下步驟。首先，選取像素陣列的一目標像素。繼之，計算相鄰目標像素之多個第一像素的多個第一基色差值，其中部分第一像素沿一第一方向排列，且另一部分第一像素沿實質上垂直第一方向的一第二方向排列。然後，依據第一基色差值與目標像素的預設基色資料計算目標像素的一第一還原基色資料。
在本發明之一實施例中，影像處理方法更包括依據第一基色差值分別計算沿第一方向排列與沿第二方向排列之第一像素的一第一基色差值分量與一第二基色差值分量，以及依據一映射關係決定第一基色差值分量與第二基色差值分量所對應之目標像素的一第一分量權重值。
在本發明之一實施例中，影像處理方法更包括以下步驟。首先，依據第一基色差值分別計算沿第一方向排列與沿第二方向排列之第一像素的一第一基色和值分量與一第二基色和值分量。繼之，分別將第一基色和值分量與第二基色和值分量相加與相減以分別獲得一第一數值與一第二數值。接著，依據第一數值、第二數值與第一分量權重值計算目標像素的一第一基色還原差值。然後，將第一基色還原差值與目標像素的預設基色資料相加以獲得第一還原基色資料。
在本發明之一實施例中，每一第一基色差值係依據對應之第一像素的預設基色資料與位於對應之第一像素相對兩側之兩像素的兩預設基色資料所得出。
在本發明之一實施例中，影像處理方法更包括以下步驟。首先，計算相鄰目標像素之多個第二像素的多個第二基色差值，其中部分第二像素沿一第三方向排列，另一部分第二像素沿實質上垂直第三方向的一第四方向排列，且第三方向與第一方向夾有一銳角。繼之，依據第二像素的第二基色差值與第一像素的預設基色資料計算第一像素的多個第二還原基色資料。再來，計算第一像素的多個第三基色差值。接著，依據第三基色差值與目標像素的第一還原基色資料計算目標像素的一第三還原基色資料。
在本發明之一實施例中，上述之第一像素的第三基色差值係依據第一像素的第二還原基色資料與第一像素的預設基色資料所得出。
在本發明之一實施例中，上述之其中計算第二像素之第二基色差值的方法包括將各個第二像素視為目標像素，以計算出各個第二像素所對應的第一還原基色資料，以及依據第二像素的第一還原基色資料與第二像素的預設基色資料計算第二像素的第二基色差值。
在本發明之一實施例中，上述之計算目標像素的第二還原基色資料的方法包括依據第三基色差值計算目標像素的一第四基色差值，以及將目標像素的第一還原基色資料與第四基色差值相減以獲得第二還原基色資料。
在本發明之一實施例中，上述之計算目標像素之第四基色差值的方法包括以下步驟。依據第三基色差值分別計算沿第一方向排列與沿第二方向排列之第一像素的一第三基色差值分量與一第四基色差值分量。接著，依據一映射關係決定第三基色差值分量與第四基色差值分量所對應之目標像素的一第二分量權重值。
在本發明之一實施例中，影像處理方法更包括以下步驟。依據第三基色差值分別計算沿第一方向排列與沿第二方向排列之第一像素的一第三基色和值分量與一第四基色和值分量。繼之，分別將第三基色和值分量與第四基色和值分量相加與相減以分別獲得一第三數值與一第四數值。再來，依據第三數值、第四數值與第二分量權重值計算目標像素之第四基色差值。
在本發明之一實施例中，影像處理方法更包括選取第一像素的其中之一，以及依據選取第一像素的預設基色資料與位於選取第一像素相對兩側之兩像素的兩第五基色差值計算第一像素的一第四還原基色資料。
在本發明之一實施例中，影像處理方法更包括以下步驟。將位於選取第一像素相對兩側之兩像素分別視為目標像素，以分別計算出兩像素所對應的第一還原基色資料。接著，依據兩像素的預設基色資料與兩像素的第一還原基色資料計算上述兩第五基色差值。
在本發明之一實施例中，其中第一還原基色資料對應一綠色資料。
基於上述，本發明之實施例藉由計算相鄰目標像素之像素的多個第一基色差值，並搭配目標像素本身的預設基色資料來計算目標像素的第一還原基色資料，故能重建出品質較佳的影像資料，而能減少畫面不必要的雜訊。
為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。
在底下的實施例中，將以5×7的像素陣列做為範例實施例，任何所屬技術領域中具有通常知識者當知5×7的像素陣列並非用以限定本發明的影像處理方法。
圖1至圖3B為用以說明本發明一實施例之影像處理方法的示意圖。本實施例所提出的影像處理方法適於計算一像素陣列的影像資料。換句話說，本實施例之影像處理方法可應用在例如影像感測器(image sensor)、手機的影像訊號處理器(image signal processor)與數位相機等影像等產品上。請參照圖1，本實施例的像素陣列100包括多個像素110，且像素陣列100例如為5×7的像素陣列，亦即本實施例的影像處理方法適用於具有五個線緩衝器(five-lines buffer)的影像處理裝置。因此本實施例的影像處理方法能在不增加記憶體容量的情況下，達到良好像素陣列的影像資料重建的功效，而詳細作法將請參照後續說明。
如圖1所示，每一像素110具有一預設基色資料。詳言之，在本實施例中，像素110上所標示的R、G、B、B0、G1、B2、G3、…即代表像素110的預設基色資料，其中預設基色資料R例如對應紅色資料，預設基色資料G、G1、G3、G5、G7例如對應綠色資料，而預設基色資料B、B0、B2、B4、B6、B8例如對應藍色的資料。另外，本實施例之綠色資料、藍色資料與紅色資料的個數比例為2：1：1。而此種排列方式通常被稱為貝爾圖案(Bayer pattern)。本實施例的影像處理方法係經由插值(interpolation)方法的數學運算，藉以重建出每一個像素110所遺失的其它基色資料。
圖1為說明重建目標像素112之還原基色資料G4的示意圖，圖4A為圖1之影像處理方法的流程圖，其中圖1之目標像素112本身具有預設基色資料B4。在本實施例中，預設基色資料B4對應藍色資料，且還原基色資料G4對應綠色資料。以下將依序說明本實施例之影像處理方法如何重建目標像素112的還原基色資料G4。
請同時參照圖1與圖4A，首先選取像素陣列110的目標像素112(即步驟S110)，其中目標像素112具有預設基色資料B4，且例如位於像素陣列100的中央。接著，計算相鄰目標像素112之多個像素114a與114b的多個基色差值Kb1、Kb3、Kb5與Kb7，其中部分像素114a沿方向D1排列，且另一部分像素114b沿實質上垂直方向D1的方向D2排列(即步驟S120)。在本實施例中，基色差值Kb1、Kb3、Kb5與Kb7可分別以下列式子表示：
Kb1=G1-(B0+B4)/2　(1)
Kb3=G3-(B2+B4)/2　(2)
Kb5=G5-(B6+B4)/2　(3)
Kb7=G7-(B8+B4)/2　(4)
其中G1與G7為像素114b的預設基色資料，G3與G5為像素114a的預設基色資料，而B0、B2、B6與B8為像素116的預設基色資料。由上述式子可知，每一基色差值Kb1、Kb3、Kb5與Kb7係依據對應之像素114a或114b的預設基色資料G1、G3、G5與G7與位於像素114a或114b相對兩側之兩像素的兩預設基色資料(例如預設基色資料B0與B4、B2與B4、B6與B4或B8與B4)所得出。如圖1所示，像素114a係位於目標像素112與像素116之間，且像素114b係位於目標像素112與像素116之間。在本實施例中，基色差值Kb1、Kb3、Kb5與Kb7係代表綠色資料與藍色資料的差值。另外，目標像素112之預設基色資料B4與像素116之預設基色資料B0、B2、B6與B8皆對應同一顏色的資料(即藍色資料)。
繼之，依據基色差值Kb1、Kb3、Kb5與Kb7與目標像素112的預設基色資料B4計算目標像素112的還原基色資料G4(即步驟S130)，其中本實施例之還原基色資料G4對應綠色資料。圖4B為圖4A之步驟S130的詳細流程示意圖。在本實施例中，圖4A的步驟S130包括子步驟S131~S136。請同時參考圖1與圖4B，首先依據基色差值Kb1、Kb3、Kb5與Kb7分別計算沿方向D1排列之像素114a與沿方向D2排列之像素114b的基色差值分量Cy與基色差值分量Ct(即步驟S131)。其中本實施例之基色差值分量Cy與Ct可分別以下列式子表示：
Cy=|Kb1-Kb7|/Div　(5)
Ct=|Kb3-Kb5|/Div　(6)
其中Div為與移位位元數相關的一變數，而在本實施例中，變數Div在色差計算等於4，變數Div在原生資料計算等於2。
接著，依據一映射關係決定基色差值分量Cy與基色差值分量Ct所對應之目標像素112的分量權重值We(即步驟S132)。圖5為圖4B之步驟S132用以決定目標像素112之分量權重值We的映射關係圖。在本實施例中，映射關係圖可用對照表的方式實施，且對照表例如為一權重表(weighting table)，其用以依據基色差值分量Cy與Ct的總和(即(Cy+Ct))來決定對應的分量權重值We。
如圖5所示，基色差值分量Cy與Ct的總和(Cy+Ct)與分量權重值We係成反比關係。亦即，當基色差值分量的總和(Cy+Ct)越小時，分量權重值We越大，且當總和(Cy+Ct)越大時，分量權重值We越小。其中基色差值分量Cy越大，代表圖1中目標像素112之上下兩像素114b的基色差值Kb1、Kb7相差越多。換句話說，圖1中標示基色預設資料G1與G7的像素114b可能位於灰階度相差較大的交界處(例如畫面的邊緣(edge)處)，因此本實施例便藉由減少用以計算目標像素112之還原基色資料G4的分量權重值We來減少不必要的雜訊或還原錯誤的情況。類似地，基色差值分量Ct越大，代表圖1中目標像素112之左右兩像素114a的基色差值Kb3、Kb5相差越多。亦即，圖1中標示基色預設資料G3與G5的像素114a可能位於灰階度相差較大的交界處，因此本實施例同樣藉由減少用以計算目標像素112之還原基色資料G4的分量權重值We來減少不必要的雜訊或還原錯誤的情況。換句話說，本實施例的影像處理方法能提供邊緣感測(edge sensing)的功能，以減少不必要的雜訊或還原錯誤的機率。
另外，如圖5所示，由於基色差值分量的總和(Cy+Ct)與分量權重值We為單一函數關係，故上述之映射關係適於用硬體的方式來實現。亦即，上述映射關係可藉由重覆使用硬體模組來實現。除此之外，由於本實施例的影像處理方法亦可依據映射關係圖並搭配線性內插的方法計算出對應的分量權重值We，故當採用橫軸間距為2的冪次方的線性內插時，亦方便於硬體的實現。換句話說，在本發明之實施例中，透過上述映射關係與內插法能計算出適合分量權重值We。
請繼續參照圖1與圖4B，繼之，依據基色差值Kb1、Kb3、Kb5、Kb7分別計算沿方向D1排列與沿方向D2排列之像素114a與114b的基色和值分量(Kb3+Kb5)與基色和值分量(Kb1+Kb7)(即步驟S133)。詳細而言，像素114a分別具有預設基色資料G3與G5，且分別對應基色差值Kb3、Kb5；像素114b分別具有預設基色資料G1與G7，且分別對應基色差值Kb1、Kb7。
再來，分別將基色和值分量(Kb3+Kb5)與基色和值分量(Kb1+Kb7)相加與相減以分別獲得第一數值Gp1與第二數值Gp2(步驟S134)。其中第一數值Gp1與第二數值Gp2可以下列式子表示：
Gp1=(Kb3+Kb5)+(Kb1+Kb7)　(7)
Gp2=(Kb3+Kb5)-(Kb1+Kb7)　(8)
然後，依據第一數值Gp1、第二數值Gp2與從映射關係得出的分量權重值We計算目標像素112的基色還原差值Kb4(步驟S135)，其中基色還原差值Kb4可以下列式子表示：
Kb4=(Gp1+(Gp2×Tx)÷32)÷4　(9)
其中式子(9)的Tx為一變數，其可表示為Tx=(Cy-Ct)×We÷64，且式子中的數值32、4與64皆可隨實際的硬體設計調整，本發明並不受限於此。換句話說，式子(7)~(9)所要表達的概念為：目標像素112的基色還原差值Kb4係與相鄰畫素114a與114b之基色和值分量(Kb3+Kb5)與(Kb1+Kb7)相關，其中基色還原差值Kb4例如代表綠色資料與藍色資料的差值。
接著，在計算出目標像素112的基色還原差值Kb4後，將基色還原差值Kb4與目標像素112的預設基色資料B4相加以獲得還原基色資料G4(步驟S136)，即G4=B4+Kb4。至此，目標像素112的第一個還原基色資料G4便重建完成，且本實施例之還原基色資料G4對應綠色資料。簡言之，在步驟S130及其子步驟S131~S136中，本實施例之影像處理方法係利用目標像素112之上下兩像素114b與左右兩像素114a所分別對應的綠色資料(即預設基色資料G1、G7、G3、G5)來還原目標像素112的綠色資料(即還原基色資料G4)。
圖2為說明還原目標像素112的另一還原基色資料R4的示意圖，圖6為圖2之影像處理方法的流程圖，其中圖2之目標像素112本身具有預設基色資料B4以及利用步驟S110~S130重建完成的還原基色資料G4。以下將依序說明本實施例之影像處理方法如何重建目標像素112的另一還原基色資料R4。
請同時參照圖2與圖6，首先計算相鄰目標像素112之多個像素118a與118b的多個基色差值Kr12、Kr13、Kr16與Kr17，其中部分像素118a沿方向D3排列，另一部分像素118b沿實質上垂直方向D3的方向D4排列(即步驟S210)，且方向D3與方向D1夾有一銳角θ。在本實施例中，銳角θ例如為45度，且基色差值Kr12、Kr13、Kr16與Kr17可分別以下列式子表示：
Kr12=G12-R12　(10)
Kr13=G13-R13　(11)
Kr16=G16-R16　(12)
Kr17=G17-R17　(13)
其中G12與G17為圖2之像素118b的還原基色資料，R12與R17為像素118b的預設基色資料；G13與G16為圖2之像素118a的還原基色資料，R13與R16為像素118a的預設基色資料。在本實施例中，還原基色資料G12、G13、G16與G17代表綠色資料，預設基色資料R12、R13、R16與R17代表紅色資料，而基色差值Kr12、Kr13、Kr15與Kr17代表綠色資料與紅色資料的差值。另外，像素118a與118b的還原基色資料G12、G13、G16與G17係利用圖4A至圖4B的步驟所計算出來的。
進一步而言，圖2左上方之像素118b的還原基色資料G12係利用像素110的預設基色資料G9、G11、G3與G1所得出；圖2右上方之像素118a的還原基色資料G13係利用像素110的預設基色資料G10、G1、G5與G14所得出；圖2左下方之像素118a的還原基色資料G16係利用像素110的預設基色資料G3、G15、G19與G7所得出；圖2右下方之像素118b的還原基色資料G17係利用像素110的預設基色資料G5、G7、G20與G18所得出。
換句話說，計算像素118b之基色差值Kr12、Kr13、Kr15與Kr17的方法包括以下步驟。分別將像素118a與118b視為圖1的目標像素112，以計算出像素118a與118b所對應的還原基色資料G12、G13、G16與G17。接著，再依據像素118a與118b的還原基色資料G12、G13、G16與G17與像素118b的預設基色資料R12、R13、R16與R17計算像素118b的基色差值Kr12、Kr13、Kr15與Kr17。由於還原基色資料G12、G13、G16與G17的計算方式可由上述說明以及圖1與圖4A至圖4B的相關敘述推知，故在此不再贅述。
接著，依據像素118a、118b的基色差值Kr12、Kr13、Kr16與Kr17以及像素114a、114b的預設基色資料G1、G3、G5與G7計算像素114a、114b的多個還原基色資料R1、R3、R5與R7(即步驟S220)。在本實施例中，像素114a的還原基色資料R3、R5與像素114b的還原基色資料R1與R7可分別以下列式子表示：
R1=G1-(Kr12+Kr13)/2　(14)
R3=G3-(Kr12+Kr16)/2　(15)
R5=G5-(Kr13+Kr17)/2　(16)
R7=G7-(Kr16+Kr17)/2　(17)
繼之，計算像素114a與114b的多個基色差值Kr1、Kr3、Kr5與Kr7(即步驟S230)。在本實施例中，基色差值Kr1、Kr3、Kr5與Kr7可分別以下列式子表示：
Kr1=G1-R1　(18)
Kr3=G3-R3　(19)
Kr5=G5-R5　(20)
Kr7=G7-R7　(21)
換句話說，像素114a與114b的基色差值Kr3、Kr5、Kr1與Kr7係依據像素114a與114b的還原基色資料R3、R5、R1與R7以及與像素114a與114b的預設基色資料G3、G5、G1與G7來得出。類似地，基色差值Kr1、Kr3、Kr5與Kr7代表綠色資料與紅色資料的差值。
最後，依據基色差值Kr1、Kr3、Kr5與Kr7與目標像素112於步驟S130得出的還原基色資料G4計算目標像素112的另一還原基色資料R4(步驟S240)。在本實施例中，還原基色資料R4可以下列式子表示：
R4=G4-Kr4　(22)
其中Kr4為目標像素112的另一基色差值，且基色差值Kr4係代表綠色資料與紅色資料的差值。在本實施例中，計算目標像素112之基色差值Kr4的方法包括以下步驟。首先，依據基色差值Kr1、Kr3、Kr5與Kr7分別計算沿方向D1排列與沿方向D2排列之像素114a、114b的基色差值分量Cy與Ct。亦即，將式子(5)與(6)的基色差值Kb1、Kb3、Kb5與Kb7分別以基色差值Kr1、Kr3、Kr5與Kr7代入。
繼之，依據圖5的映射關係決定上述之基色差值分量Cy與基色差值分量Ct所對應之目標像素112的另一分量權重值We。接著，依據基色差值Kr1、Kr3、Kr5與Kr7分別計算沿方向D1排列與沿方向D2排列之像素114a與114b的基色和值分量(Kr3+Kr5)與基色和值分量(Kr1+Kr7)。再來，分別將基色和值分量(Kr3+Kr5)與基色和值分量(Kr1+Kr7)相加與相減以分別獲得第三數值Gp3與第四數值Gp4。其中第一數值Gp3與第二數值Gp4可以下列式子表示：
Gp3=(Kr3+Kr5)+(Kr1+Kr7)　(23)
Gp4=(Kr3+Kr5)-(Kr1+Kr7)　(24)
然後，依據第一數值Gp3、第二數值Gp4與從映射關係得出的分量權重值We計算目標像素112的基色差值Kr4，其中基色差值Kr4可以下列式子表示：
Kr4=(Gp3+(Gp4×Tx)÷32)÷4　(25)
其中式子(25)的Tx為一變數，其可表示為Tx=(Cy-Ct)×We÷64，且式子中的數值32、4與64皆可隨實際的硬體設計調整，本發明並不受限於此。換句話說，目標像素112的基色差值Kr4係依據第一像素114a與114b的基色差值Kr1、Kr3、Kr5與Kr7所得出，且基色差值Kr4的計算係利用類似圖4A至圖4B的步驟所計算出來。由於本領域通常知識者在參酌上述說明以及圖1與圖4A至圖4B之相關敘述能推知基色差值Kr4的計算方式，故在此不再贅述。
由上述可知，計算目標像素112的另一還原基色資料R4的方法主要為依據基色差值Kr1、Kr3、Kr5與Kr7計算目標像素112的基色差值Kr4，以及將目標像素112的重建後的還原基色資料G4與基色差值Kr4相減以獲得另一還原基色資料R4(如式子(22)所示)。
至此，目標像素112的第二個還原基色資料R4便重建完成，且本實施例之還原基色資料R4例如對應紅色資料。整體而言，在重建還原基色資料R4的過程中，本實施例之影像處理方法係先計算出目標像素112之上下兩像素114b的還原基色資料R1、R7與左右兩像素114a的還原基色資料R3、R5(即步驟S210至S220)，再利用所計算的還原基色資料R1、R3、R5、R7來重建目標像素112的另一還原基色資料R4(步驟S230至S240)。如此一來，原本僅有預設基色資料B4(對應藍色資料)的目標像素112此時便同時具有紅色、藍色與綠色資料，從而使得目標像素112能顯示全彩的影像。
圖3A與圖3B為說明重建目標像素112之鄰近像素114a’的還原基色資料的示意圖。圖7為圖3A與圖3B之影像處理方法的流程圖。其中圖3A與圖3B的像素114a’本身具有預設基色資料G3，且目標像素112本身具有預設基色資料B4以及重建後的還原基色資料G4。以下將依序說明本實施例之影像處理方法如何重建之鄰近像素的還原基色資料。
在本實施例中，圖3A為說明重建像素114a’的還原基色資料B3的示意圖。請先同時參照圖3A與圖7，首先選取像素114a的其中之一(例如像素114a’)(即步驟S310)。繼之，依據選取像素114a’的預設基色資料G3與位於選取像素114a’相對兩側(例如為左右兩側)之兩像素116與112的兩基色差值Kb2與Kb4計算像素114a’的還原基色資料B3(即步驟S320)。在本實施例中，基色差值Kb4、Kb2與像素114a’的還原基色資料B3可分別以下列式子表示：
Kb2=B2-G2　(26)
Kb4=B4-G4　(27)
B3=G3+(Kb2+Kb4)/2　(28)
其中B2與B4分別為像素116與目標像素112的預設基色資料G2與G4為像素116與目標像素112的還原基色資料，且預設基色資料B2與B4代表藍色資料，還原基色資料G2與G4代表綠色資料。另外，像素116的還原基色資料G2係利用圖4A至圖4B的步驟所計算出來的。進一步而言，像素116的還原基色資料G2係利用像素110的預設基色資料G11、G16、G15與G3所得出。亦即，將位於像素114a’之左側的像素116視為圖1的目標像素112，以依據圖4A至圖4B的步驟計算出像素116所對應的還原基色資料G2。由於還原基色資料G2的計算方式可藉由參照圖1與圖4A至圖4B的相關敘述推知，故在此不再贅述。
接著，再依據像素116與目標像素112的預設基色資料B2與B4以及像素116與目標像素112的還原基色資料G2與G4計算基色差值Kb2與Kb4(如式子(26)~(27)所示)。然後再利用基色差值Kb2與Kb4與像素114a’的預設基色資料G3計算像素114a’的還原基色資料B3。
換句話說，本實施例之影像處理方法係依據像素116與目標像素112的預設基色資料B2與B4，以及像素116與目標像素112的還原基色資料G2與G4來計算兩基色差值Kb2與Kb4，其中基色差值Kb2與Kb4係代表藍色資料與綠色資料的差值。接著，再利用像素114a’的預設基色資料G3以及相鄰像素114a’之兩像素的基色差值Kb2與Kb4來獲得像素114a’的還原基色資料B3。至此，像素114a’的還原基色資料B3便重建完成，且本實施例之還原基色資料B3例如對應藍色資料。
圖3B為說明重建像素114a’的另一還原基色資料R3的示意圖。請同時參照圖3B與圖7，首先，選取像素114a的其中之一(例如像素114a’)(步驟S310)。繼之，依據選取像素114a’的預設基色資料G3與位於選取像素114a’相對兩側(例如為上下兩側)之兩像素118b與118a的兩基色差值Kr12與Kr16計算像素114a’的還原基色資料R3(步驟S320)。在本實施例中，基色差值Kr12、Kr16與像素114a’的還原基色資料R3可分別以下列式子表示：
Kr12=R12-G12　(29)
Kr16=R16-G16　(30)
R3=G3+(Kr12+Kr16)/2　(31)
其中R12與R16分別為像素118b與118a的預設基色資料，而G12與G16為像素118b與118a的還原基色資料。預設基色資料R12與R16對應紅色資料，還原基色資料G12與G16對應綠色資料。另外，像素118b與118a的還原基色資料G12與G16係利用圖4A至圖4B的步驟所計算出來的。進一步而言，像素118b的還原基色資料G12係利用像素118b之周圍像素110的預設基色資料G9、G11、G3與G1所得出；而像素118a的還原基色資料G16係利用像素118a之周圍像素110的預設基色資料G3、G15、G19與G7所得出。亦即，可將位於像素114a’之上下兩側的像素118b與118a視為圖1的目標像素112，以依據圖4A至圖4B的步驟計算出像素118b與118a所對應的還原基色資料G12與G16。由於還原基色資料G12與G16的計算方式可藉由參照圖1與圖4A至圖4B的相關敘述推知，故在此不再贅述。
接著，再依據像素118b與118a的預設基色資料R12與R16以及像素118b與118a的還原基色資料G12與G16計算基色差值Kr12與Kr16(如式子(29)~(30)所示)。然後再利用基色差值Kr12與Kr16與像素114a’的預設基色資料G3計算像素114a’的還原基色資料R3。
換句話說，本實施例之影像處理方法係先依據像素118b與像素118a的預設基色資料R12與R16，以及像素118b與像素118a的還原基色資料G12與G16來計算兩基色差值Kr12與Kr16，其中基色差值Kr12與Kr16係代表紅色資料與綠色資料的差值。接著，再利用像素114a’的預設基色資料G3以及相鄰像素114a’之兩像素的基色差值Kr12與Kr16來獲得像素114a’的另一還原基色資料R3。至此，相鄰目標像素112之像素114a’的另一還原基色資料R3便重建完成，其中本實施例之還原基色資料R3例如對應紅色資料。由此可知，此時的像素114a’便同時具有紅色、綠色與藍色資料，從而能顯示全彩的影像。換句話說，利用圖7的步驟，能夠重建與目標像素112之相鄰像素(例如像素114a’)的另外兩基色資料(即還原基色資料B3與還原基色資料R3)。
值得一提的是，由於圖3A與圖3B之影像處理方法係透過依據映射關係校正過且個數較多的綠色資料來重建個數較少的藍色資料與紅色資料，故本實施例之影像處理方法能提升還原基色資料的可靠度。除此之外，透過圖1至圖3B之相關描述的作法，本實施例之影像處理方法也能重建出較大增益的還原基色資料。
綜上所述，在本發明之實施例中，藉由計算相鄰目標像素之像素的多個基色差值，並搭配目標像素本身的預設基色資料來重建出目標像素的還原基色資料，能重建可靠較佳的影像資料。除此之外，利用映射關係查詢一分量權重值來控制內插影像，也能對影像資料進行校正，以減少不必要的雜訊，故能提升顯示的影像品質。
雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。
100．．．像素陣列
110、114a、114a’、114b、116、118a、118b．．．像素
R、G、B、G0~G1、G3、G5、G7、G9~G11、G14~G16、G18~G20、B0、B2、B4、B6、B8、R12~R13、R16~R17．．．預設基色資料
D1~D4．．．方向
θ．．．銳角
S110~S130．．．計算目標像素之還原基色資料的步驟
S131~S136．．．S130之子步驟
S210~S240．．．計算目標像素之另一還原基色資料的步驟
S310~S320．．．計算相鄰像素之還原基色資料的步驟
圖1至圖2為用以說明本發明一實施例之影像處理方法的示意圖。
圖3A與圖3B為說明重建目標像素之鄰近像素的還原基色資料的示意圖。
圖4A為圖1之影像處理方法的流程圖。
圖4B為圖4A之步驟S130的詳細流程示意圖。
圖5為圖4B之步驟S132用以決定目標像素之分量權重值的映射關係圖。
圖6為圖2之影像處理方法的流程圖。
圖7為圖3A與圖3B之影像處理方法的流程圖。
S110~S130．．．計算第一還原基色資料的步驟

Claims (13)

  1. 一種影像處理方法，適於計算一像素陣列的影像資料，該像素陣列包括多個像素，且每一像素具有一預設基色資料，該影像處理方法包括：選取該像素陣列的一目標像素；計算相鄰該目標像素之多個第一像素的多個第一基色差值，其中部分該些第一像素沿一第一方向排列，且另一部分該些第一像素沿實質上垂直該第一方向的一第二方向排列；以及依據該些第一基色差值與該目標像素的該預設基色資料計算該目標像素的一第一還原基色資料。
  2. 如申請專利範圍第1項所述之影像處理方法，更包括：依據該些第一基色差值分別計算沿該第一方向排列與沿該第二方向排列之該些第一像素的一第一基色差值分量與一第二基色差值分量；以及依據一映射關係決定該第一基色差值分量與該第二基色差值分量所對應之該目標像素的一第一分量權重值。
  3. 如申請專利範圍第2項所述之影像處理方法，更包括：依據該些第一基色差值分別計算沿該第一方向排列與沿該第二方向排列之該些第一像素的一第一基色和值分量與一第二基色和值分量；分別將該第一基色和值分量與該第二基色和值分量相加與相減以分別獲得一第一數值與一第二數值；依據該第一數值、該第二數值與該第一分量權重值計算該目標像素的一第一基色還原差值；以及將該第一基色還原差值與該目標像素的該預設基色資料相加以獲得該第一還原基色資料。
  4. 如申請專利範圍第1項所述之影像處理方法，其中每一第一基色差值係依據對應之第一像素的預設基色資料與位於對應之第一像素相對兩側之兩像素的兩預設基色資料所得出。
  5. 如申請專利範圍第1項所述之影像處理方法，更包括：計算相鄰該目標像素之多個第二像素的多個第二基色差值，其中部分該些第二像素沿一第三方向排列，另一部分該些第二像素沿實質上垂直該第三方向的一第四方向排列，且該第三方向與該第一方向夾有一銳角；依據該些第二像素的該些第二基色差值與該些第一像素的該些預設基色資料計算該些第一像素的多個第二還原基色資料；計算該些第一像素的多個第三基色差值；以及依據該些第三基色差值與該目標像素的該第一還原基色資料計算該目標像素的一第三還原基色資料。
  6. 如申請專利範圍第5項所述之影像處理方法，其中該些第一像素的該些第三基色差值係依據該些第一像素的該些第二還原基色資料與該些第一像素的該些預設基色資料所得出。
  7. 如申請專利範圍第5項所述之影像處理方法，其中計算該些第二像素之該些第二基色差值的方法包括：將各該第二像素視為該目標像素，以計算出各該第二像素所對應的第一還原基色資料；以及依據該些第二像素的該些第一還原基色資料與該些第二像素的該些預設基色資料計算該些第二像素的該些第二基色差值。
  8. 如申請專利範圍第5項所述之影像處理方法，其中計算該目標像素的該第二還原基色資料的方法包括：依據該些第三基色差值計算該目標像素的一第四基色差值；以及將該目標像素的該第一還原基色資料與該第四基色差值相減以獲得該第二還原基色資料。
  9. 如申請專利範圍第8項所述之影像處理方法，其中計算該目標像素之該第四基色差值的方法包括：依據該些第三基色差值分別計算沿該第一方向排列與沿該第二方向排列之該些第一像素的一第三基色差值分量與一第四基色差值分量；以及依據一映射關係決定該第三基色差值分量與該第四基色差值分量所對應之該目標像素的一第二分量權重值。
  10. 如申請專利範圍第9項所述之影像處理方法，更包括：依據該些第三基色差值分別計算沿該第一方向排列與沿該第二方向排列之該些第一像素的一第三基色和值分量與一第四基色和值分量；分別將該第三基色和值分量與該第四基色和值分量相加與相減以分別獲得一第三數值與一第四數值；依據該第三數值、該第四數值與該第二分量權重值計算該目標像素之該第四基色差值。
  11. 如申請專利範圍第5項所述之影像處理方法，更包括：選取該些第一像素的其中之一；以及依據該選取第一像素的該預設基色資料與位於該選取第一像素相對兩側之兩像素的兩第五基色差值計算該第一像素的一第四還原基色資料。
  12. 如申請專利範圍第9項所述之影像處理方法，更包括：將位於該選取第一像素相對兩側之該兩像素分別視為該目標像素，以分別計算出該兩像素所對應的第一還原基色資料；以及依據該兩像素的該些預設基色資料與該兩像素的該些第一還原基色資料計算該兩第五基色差值。
  13. 如申請專利範圍第1項所述之影像處理方法，其中該第一還原基色資料對應一綠色資料。
TW100125297A 2011-07-18 2011-07-18 影像處理方法 TW201305965A (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
TW100125297A TW201305965A (zh) 2011-07-18 2011-07-18 影像處理方法
US13/542,652 US20130022266A1 (en) 2011-07-18 2012-07-05 Image processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW100125297A TW201305965A (zh) 2011-07-18 2011-07-18 影像處理方法

Publications (1)

Publication Number Publication Date
TW201305965A true TW201305965A (zh) 2013-02-01

Family

ID=47555792

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100125297A TW201305965A (zh) 2011-07-18 2011-07-18 影像處理方法

Country Status (2)

Country Link
US (1) US20130022266A1 (zh)
TW (1) TW201305965A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI557686B (zh) * 2013-09-09 2016-11-11 聯發科技（新加坡）私人有限公司 校正影像色偏之方法與相關裝置
TWI594632B (zh) * 2013-12-31 2017-08-01 佳能企業股份有限公司 一種影像補正參數的設定方法、電子裝置、電子裝置可讀取的儲存媒體與應用於電子裝置的程式

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6847396B1 (en) * 2000-04-26 2005-01-25 Sunplus Technology Co., Ltd. Interpolation method for producing full color images in using a single-chip color sensor
KR100396898B1 (ko) * 2001-09-13 2003-09-02 삼성전자주식회사 이미지센서 출력데이터 처리장치 및 처리방법
US6933971B2 (en) * 2002-05-14 2005-08-23 Kwe International, Inc. Reconstruction of color components in digital image processing
US7502505B2 (en) * 2004-03-15 2009-03-10 Microsoft Corporation High-quality gradient-corrected linear interpolation for demosaicing of color images
KR100782812B1 (ko) * 2005-06-15 2007-12-06 삼성전자주식회사 에지 적응적 컬러 보간 방법 및 장치
US7830426B2 (en) * 2005-12-29 2010-11-09 Micron Technology, Inc. Method and apparatus providing color interpolation in color filter arrays using edge detection and correction terms
KR100818447B1 (ko) * 2006-09-22 2008-04-01 삼성전기주식회사 컬러 필터를 사용하여 검출된 영상의 컬러 보간 방법
US7825965B2 (en) * 2007-09-07 2010-11-02 Seiko Epson Corporation Method and apparatus for interpolating missing colors in a color filter array
US8229212B2 (en) * 2008-04-08 2012-07-24 Qualcomm Incorporated Interpolation system and method

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI557686B (zh) * 2013-09-09 2016-11-11 聯發科技（新加坡）私人有限公司 校正影像色偏之方法與相關裝置
TWI594632B (zh) * 2013-12-31 2017-08-01 佳能企業股份有限公司 一種影像補正參數的設定方法、電子裝置、電子裝置可讀取的儲存媒體與應用於電子裝置的程式

Also Published As

Publication number Publication date
US20130022266A1 (en) 2013-01-24

Similar Documents

Publication Publication Date Title
US11849224B2 (en) Global tone mapping
JP5017419B2 (ja) 画像生成装置、画像生成方法、およびプログラム
US7283663B2 (en) Interpolation of edge portions of a digital image
JP5672776B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
EP3308534A1 (en) Color filter array scaler
US6226034B1 (en) Spatial non-uniformity correction of a color sensor
US10165207B2 (en) Image processing apparatus and image processing system
TW200910255A (en) Image processing device, image processing method, and image processing program
CN106454288B (zh) 控制方法、控制装置、成像装置及电子装置
JP7549960B2 (ja) イメージ信号処理方法、イメージ信号プロセッサ及びイメージセンサチップ
WO2012081175A1 (ja) 画像生成装置、画像生成システム、方法、およびプログラム
US9230297B2 (en) Systems, methods, and computer program products for compound image demosaicing and warping
US20120257088A1 (en) Image processing apparatus and method thereof
WO2019104047A1 (en) Global tone mapping
US10863148B2 (en) Tile-selection based deep demosaicing acceleration
US8542919B2 (en) Method and system for correcting lens shading
JP6014349B2 (ja) 撮像装置、制御方法、及びプログラム
TWI282519B (en) Color interpolation method with directed weights
McElvain et al. Camera color correction using two-dimensional transforms
TW201305965A (zh) 影像處理方法
US20180024423A1 (en) Projection system, projector apparatus, imaging apparatus, and projection method
CN113242413B (zh) 抗锯齿的rccb滤镜阵列插值计算方法及系统
US11363245B2 (en) Image processing device, image processing method, and image processing program
WO2016200480A1 (en) Color filter array scaler
TWI405144B (zh) 影像校正方法、影像校正單元及應用其之影像擷取裝置