TWI568263B - 應用於紅綠藍紅外光感測器的影像處理方法及其相關裝置 - Google Patents

應用於紅綠藍紅外光感測器的影像處理方法及其相關裝置 Download PDF

Info

Publication number
TWI568263B
TWI568263B TW104127459A TW104127459A TWI568263B TW I568263 B TWI568263 B TW I568263B TW 104127459 A TW104127459 A TW 104127459A TW 104127459 A TW104127459 A TW 104127459A TW I568263 B TWI568263 B TW I568263B
Authority
TW
Taiwan
Prior art keywords
pixel
red
green
blue
color
Prior art date
Application number
TW104127459A
Other languages
English (en)
Other versions
TW201709721A (zh
Inventor
陳永緯
李季峰
Original Assignee
鈺立微電子股份有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 鈺立微電子股份有限公司 filed Critical 鈺立微電子股份有限公司
Priority to TW104127459A priority Critical patent/TWI568263B/zh
Priority to CN201510698669.7A priority patent/CN106488202B/zh
Priority to US15/242,617 priority patent/US20170064275A1/en
Application granted granted Critical
Publication of TWI568263B publication Critical patent/TWI568263B/zh
Publication of TW201709721A publication Critical patent/TW201709721A/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/64—Systems for the transmission or the storage of the colour picture signal; Details therefor, e.g. coding or decoding means therefor
    • H04N1/648—Transmitting or storing the primary (additive or subtractive) colour signals; Compression thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/11—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths for generating image signals from visible and infrared light wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/843—Demosaicing, e.g. interpolating colour pixel values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/131—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements including elements passing infrared wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/135—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on four or more different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6005—Corrections within particular colour systems with luminance or chrominance signals, e.g. LC1C2, HSL or YUV
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6002—Corrections within particular colour systems
    • H04N1/6008—Corrections within particular colour systems with primary colour signals, e.g. RGB or CMY(K)
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/045—Picture signal generators using solid-state devices having a single pick-up sensor using mosaic colour filter
    • H04N2209/046—Colour interpolation to calculate the missing colour values
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2209/00—Details of colour television systems
    • H04N2209/04—Picture signal generators
    • H04N2209/041—Picture signal generators using solid-state devices
    • H04N2209/042—Picture signal generators using solid-state devices having a single pick-up sensor
    • H04N2209/047—Picture signal generators using solid-state devices having a single pick-up sensor using multispectral pick-up elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/61—Noise processing, e.g. detecting, correcting, reducing or removing noise the noise originating only from the lens unit, e.g. flare, shading, vignetting or "cos4"
    • H04N25/611—Correction of chromatic aberration

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Color Television Image Signal Generators (AREA)

Description

應用於紅綠藍紅外光感測器的影像處理方法及其相關裝置
本發明是有關於一種應用於紅綠藍紅外光感測器的影像處理方法及其相關裝置，尤指一種並不會濾除對應該紅綠藍紅外光感測器的複數個像素的每一像素的紅外光成份的影像處理方法及其相關裝置。
請參照第1圖，第1圖是說明紅綠藍紅外光(RGB-IR)感測器中的像素排列成複數個貝爾樣式(bayer pattern)單元的示意圖，其中每一貝爾樣式單元包含一紅光像素、一綠光像素、一藍光像素和一紅外光像素。例如，如第1圖所示，一貝爾樣式單元102包含一紅光像素1022、一綠光像素1024、一藍光像素1026和一紅外光像素1028，其中紅光像素1022、綠光像素1024、藍光像素1026和紅外光像素1028分別產生相對應的感測值，其中該複數個貝爾樣式單元中的其餘紅光像素、綠光像素、藍光像素和紅外光像素分別用R、G、B、IR標記。當該紅綠藍紅外光感測器不具有紅外光濾波功能時，耦接於該紅綠藍紅外光感測器的影像處理裝置可根據該每一貝爾樣式單元的該紅光像素、該綠光像素和該藍光像素的感測值，產生取代該紅外光像素的感測值的取代值。例如，該影像處理裝置根據該紅光像素、該綠光像素和該藍光像素的感測值，產生一平均值以取代該紅外光像素的感測值。
因為該紅綠藍紅外光感測器不具有紅外光濾波功能，所以由該紅光像素、該綠光像素和該藍光像素的感測值的頻譜可知，該紅光像素、該綠光像素和該藍光像素的感測值仍然含有紅外光成份，亦即該紅綠藍紅外光感測器並無法濾掉該紅光像素、該綠光像素和該藍光像素的感測值中的紅外光成份。因此，雖然耦接於該紅綠藍紅外光感測器的影像處理裝置可根據該紅光像素、該綠光像素和該藍光像素的感測值，產生該取代值以取代該紅外光像素的感測值，但因為該紅光像素、該綠光像素、該藍光像素的感測值和該取代值仍然含有紅外光成份，所以該影像處理裝置根據該複數個貝爾樣式單元所產生的影像會具有低飽和度與失去一些色彩的缺點。
本發明的一實施例提供一種應用於紅綠藍紅外光感測器的影像處理裝置，其中該紅綠藍紅外光感測器中的像素排列成複數個貝爾樣式(bayer pattern)單元，且該複數個貝爾樣式單元中的每一貝爾樣式單元包含一紅光像素、一綠光像素、一藍光像素和一紅外光像素。該影像處理裝置包含一內插單元和一色彩矯正(color correction)單元。該內插單元是用以根據對應該複數個貝爾樣式單元中預定位置的紅光像素、綠光像素、藍光像素和紅外光像素的灰階值，產生該每一貝爾樣式單元的紅光像素、綠光像素、藍光像素和紅外光像素中每一像素的紅光、綠光、藍光和紅外光成份的內插值。該色彩矯正單元是用以根據對應該每一像素的一矯正矩陣和該每一像素的紅光、綠光、藍光和紅外光成份的內插值，產生該每一像素的紅光、綠光和藍光成份的矯正值，其中該矯正矩陣是和該每一像素的紅光、綠光、藍光和紅外光成份的內插值和對應該每一像素的紅光、綠光和藍光成份的目標值有關。
本發明的另一實施例提供一種應用於紅綠藍紅外光感測器的影像處理方法，其中該紅綠藍紅外光感測器中的像素排列成複數個貝爾樣式單元，該複數個貝爾樣式單元中的每一貝爾樣式單元包含一紅光像素、一綠光像素、一藍光像素和一紅外光像素，以及一應用於該影像處理方法的影像處理裝置包含一內插單元和一色彩矯正單元。該影像處理方法包含該內插單元根據對應該複數個貝爾樣式單元中預定位置的紅光像素、綠光像素、藍光像素和紅外光像素的灰階值，產生該每一貝爾樣式單元中的每一像素的紅光、綠光、藍光和紅外光成份的內插值；該色彩矯正單元根據對應該每一像素的一矯正矩陣和該每一像素的紅光、綠光、藍光和紅外光成份的內插值，產生該每一像素的紅光、綠光和藍光成份的矯正值，其中該矯正矩陣是和該每一像素的紅光、綠光、藍光和紅外光成份的內插值和對應該每一像素的紅光、綠光和藍光成份的目標值有關。
本發明提供一種應用於紅綠藍紅外光感測器的影像處理方法及其相關的影像處理裝置。該影像處理方法與該影像處理裝置是利用一原始資料處理單元分別對該紅綠藍紅外光感測器的複數個貝爾樣式單元中的每一貝爾樣式單元的紅光像素、綠光像素、藍光像素和紅外光像素所感測的感測值執行一第一色彩處理，以產生分別對應該每一貝爾樣式單元的紅光像素、綠光像素、藍光像素和紅外光像素的灰階值，利用一內插單元根據對應該複數個貝爾樣式單元中預定位置的紅光像素、綠光像素、藍光像素和紅外光像素的灰階值，產生該每一貝爾樣式單元中的每一像素的紅光、綠光、藍光和紅外光成份的內插值，利用一處理單元對該每一像素的紅光、綠光、藍光和紅外光成份的內插值執行一第二色彩處理，以產生對應該每一像素的處理過的內插值，以及利用一色彩矯正單元根據對應該每一像素的矯正矩陣和該些處理過的內插值，產生該每一像素的紅光、綠光和藍光成份的矯正值。由於該原始資料處理單元、該內插單元、該處理單元和該色彩矯正單元都不會濾除該每一像素的紅外光成份，所以本發明所提供的影像處理裝置根據該複數個貝爾樣式單元所產生的影像不會具有低飽和度與失去一些色彩的缺點。
請參照第2圖，第2圖是本發明一第一實施例說明一種應用於紅綠藍紅外光感測器的影像處理裝置200的示意圖，其中影像處理裝置200包含一原始資料處理單元202、一內插單元204、一處理單元206和一色彩矯正(colorcorrection)單元208，原始資料處理單元202耦接於內插單元204，處理單元206耦接於內插單元204和色彩矯正單元208之間，以及該紅綠藍紅外光感測器不具有紅外光濾波功能。另外，該紅綠藍紅外光感測器中的像素排列成複數個貝爾樣式單元，且每一貝爾樣式單元包含一紅光像素、一綠光像素、一藍光像素和一紅外光像素。如第2圖所示，當一貝爾樣式單元220中的一紅光像素2202、一綠光像素2204、一藍光像素2206和一紅外光像素2208分別產生感測值RS、GS、BS、IRS時，原始資料處理單元202是用以分別對感測值RS、GS、BS、IRS執行一第一色彩處理，以產生分別對應紅光像素2202、綠光像素2204、藍光像素2206和紅外光像素2208的灰階值RGL、GGL、BGL、IRGL，其中該第一色彩處理包含一色彩偏移處理、一色彩增益處理、一色彩去雜訊處理和一鏡頭校正(lens shadingcorrection)處理中的至少一個。當原始資料處理單元202產生灰階值RGL、GGL、BGL、IRGL後，內插單元204即可根據該複數個貝爾樣式單元中預定位置的紅光像素、綠光像素、藍光像素和紅外光像素的灰階值，產生紅光像素2202、綠光像素2204、藍光像素2206和紅外光像素2208中每一像素的紅光、綠光、藍光和紅外光成份的內插值。例如，內插單元204可根據該複數個貝爾樣式單元中與紅光像素2202、綠光像素2204、藍光像素2206和紅外光像素2208中每一像素相鄰或將其包圍的像素的灰階值產生內插值；或依據紅光像素2202、綠光像素2204、藍光像素2206和紅外光像素2208中每一像素和與該每一像素相鄰或將其包圍的一個或複數個像素的灰階值，產生紅光像素2202、綠光像素2204、藍光像素2206和紅外光像素2208中每一像素的紅光、綠光、藍光和紅外光成份的內插值。舉例而言，如第3圖所示，內插單元204可根據紅光像素302、304、306、308、2202的灰階值，產生紅光像素2202的紅光成份的內插值R1，可根據藍光像素310、2206、312、314的灰階值，產生紅光像素2202的藍光成份的內插值B1，可根據綠光像素2204、316的灰階值，產生紅光像素2202的綠光成份的內插值G1，以及可根據紅外光像素2208、318的灰階值，產生紅光像素2202的紅外光成份的內插值IR1；內插單元204可根據紅光像素304、2202的灰階值，產生綠光像素2204的紅光成份的內插值R2，可根據藍光像素310、2206的灰階值，產生綠光像素2204的藍光成份的內插值B2，可根據綠光像素320、322、324、316、2204的灰階值，產生綠光像素2204的綠光成份的內插值G2，以及可根據紅外光像素318、326、328、2208的灰階值，產生綠光像素2204的紅外光成份的內插值IR2；內插單元204可根據紅光像素2202、304、330、306的灰階值，產生藍光像素2206的紅光成份的內插值R3，可根據藍光像素310、332、334、312、2206的灰階值，產生藍光像素2206的藍光成份的內插值B3，可根據綠光像素324、2204的灰階值，產生藍光像素2206的綠光成份的內插值G3，以及可根據紅外光像素328、2208的灰階值，產生藍光像素2206的紅外光成份的內插值IR3；內插單元204可根據紅光像素2202、306的灰階值，產生紅外光像素2208的紅光成份的內插值R4，可根據藍光像素312、2206的灰階值，產生紅外光像素2208的藍光成份的內插值B4，可根據綠光像素324、336、316、2204的灰階值，產生紅外光像素2208的綠光成份的內插值G4，以及可根據紅外光像素318、328、338、340、2208的灰階值，產生紅外光像素2208的紅外光成份的內插值IR4。但本發明並不受限於上述內插單元204產生紅光像素2202、綠光像素2204、藍光像素2206和紅外光像素2208的紅光、藍光、綠光和紅外光成份的內插值的方法。
如第2圖所示，當內插單元204產生紅光像素2202的紅光、藍光、綠光和紅外光成份的內插值R1/G1/B1/IR1、綠光像素2204的紅光、藍光、綠光和紅外光成份的內插值R2/G2/B2/IR2、藍光像素2206的紅光、藍光、綠光和紅外光成份的內插值R3/G3/B3/IR3和紅外光像素2208的紅光、藍光、綠光和紅外光成份的內插值R4/G4/B4/IR4後，處理單元206即可對內插值R1/G1/B1/IR1、R2/G2/B2/IR2、R3/G3/B3/IR3、R4/G4/B4/IR4執行一第二色彩處理，以產生對應紅光像素2202、綠光像素2204、藍光像素2206和紅外光像素2208中的每一像素的處理過的內插值(亦即對應紅光像素2202的處理過的內插值R1P/G1P/B1P/IR1P、對應綠光像素2204的處理過的內插值R2P/G2P/B2P/IR2P、對應藍光像素2206的處理過的內插值R3P/G3P/B3P/IR3P、對應紅外光像素2208的處理過的內插值R4P/G4P/B4P/IR4P)，其中該第二色彩處理包含一色彩偏移處理、一色彩增益處理、一色彩去雜訊處理和一鏡頭校正處理的至少一個。
在處理單元206產生對應紅光像素2202的處理過的內插值R1P/G1P/B1P/IR1P後，色彩矯正單元208可根據對應紅光像素2202的處理過的內插值R1P/G1P/B1P/IR1P，紅光像素2202的紅光、綠光和藍光成份的目標值和式(1)，決定對應紅光像素2202的矯正矩陣：
(1)
如式(1)所示，因為紅光像素2202的紅光、綠光和藍光成份的目標值RT1/GT1/BT1及對應紅光像素2202的處理過的內插值R1P/G1P/B1P/IR1P為已知，所以對應紅光像素2202的矯正矩陣 即可通過式(1)決定，其中R11、R12、R13、R14、R15、R21、R22、R23、R24、R25、R31、R32、R33、R34、R35是對應紅光像素2202的矯正矩陣內的係數。因為該紅綠藍紅外光感測器包含該複數個貝爾樣式單元，所以對應紅光像素2202的矯正矩陣 也適用於該紅綠藍紅外光感測器的其他貝爾樣式單元中的紅光像素。亦即色彩矯正單元208可根據對應紅光像素2202的矯正矩陣、該紅綠藍紅外光感測器的一貝爾樣式單元中對應紅光像素的處理過的內插值RP/GP/BP/IRP和式(2)，產生該貝爾樣式單元中的紅光像素的紅光、綠光和藍光成份的矯正值RC/GC/BC：
另外，色彩矯正單元208可根據上述相同操作原理產生對應綠光像素2204、藍光像素2206和紅外光像素2208中的每一像素的矯正矩陣，在此不再贅述。另外，色彩矯正單元208產生該貝爾樣式單元中紅光像素、綠光像素、藍光像素和紅外光像素的紅光、綠光和藍光成份的矯正值後，該貝爾樣式單元中紅光像素、綠光像素、藍光像素和紅外光像素的紅光、綠光和藍光成份的矯正值即可傳送至一RGB處理單元或YUV處理單元210處理，以及該貝爾樣式單元中對應紅光像素、綠光像素、藍光像素和紅外光像素的紅外光成份的處理過的內插值可傳送至一IR處理單元212處理。
另外，在本發明的另一實施例中，在處理單元206產生對應紅光像素2202的處理過的內插值R1P/G1P/B1P/IR1P後，色彩矯正單元208可根據對應紅光像素2202的處理過的內插值R1P/G1P/B1P/IR1P，紅光像素2202的紅光、綠光和藍光成份的目標值RT1/GT1/BT1和式(3)，決定對應紅光像素2202的矯正矩陣：
如式(3)所示，R11、R12、R13、R14、R15、R16、R17、R18、R21、R22、R23、R24、R25、R26、R27、R28、R31、R32、R33、R34、R35、R36、R37、R38是對應紅光像素2202的矯正矩陣內的係數。另外，本發明並不受限於式(1)和式(3)所示的對應紅光像素2202的矯正矩陣，亦即本發明亦可利用其他方程式通過紅光像素2202的紅光、綠光和藍光成份的目標值RT1/GT1/BT1以及對應紅光像素2202的處理過的內插值R1P/G1P/B1P/IR1P產生對應紅光像素2202的矯正矩陣。
請參照第2-4圖，第4圖是本發明一第二實施例說明一種應用於紅綠藍紅外光感測器的影像處理方法的流程圖。第4圖的影像處理方法是利用第2圖的影像處理裝置200說明，詳細步驟如下：步驟400：開始；步驟402：原始資料處理單元202分別對該複數個貝爾樣式單元中每一貝爾樣式單元的紅光像素、綠光像素、藍光像素和紅外光像素所感測的感測值執行該第一色彩處理，以產生分別對應該每一貝爾樣式單元的紅光像素、綠光像素、藍光像素和紅外光像素的灰階值；步驟404：內插單元204根據對應該複數個貝爾樣式單元中預定位 置的紅光像素、綠光像素、藍光像素和紅外光像素的灰階值，產生該每一貝爾樣式單元的紅光像素、綠光像素、藍光像素和紅外光像素中每一像素的紅光、綠光、藍光和紅外光成份的內插值；步驟406：處理單元206對該每一像素的紅光、綠光、藍光和紅外光成份的內插值執行該第二色彩處理，以產生對應該每一像素的處理過的內插值；步驟408：色彩矯正單元208根據對應該每一像素的矯正矩陣和該每一像素的紅光、綠光、藍光和紅外光成份的處理過的內插值，產生該每一像素的紅光、綠光和藍光成份的矯正值；步驟410：結束。
在步驟402中，如第2圖所示，當貝爾樣式單元220中的紅光像素2202、綠光像素2204、藍光像素2206和紅外光像素2208分別產生感測值RS、GS、BS、IRS時，原始資料處理單元202是用以分別對感測值RS、GS、BS、IRS執行該第一色彩處理，以產生分別對應紅光像素2202、綠光像素2204、藍光像素2206和紅外光像素2208的灰階值RGL、GGL、BGL、IRGL。在步驟404中，當原始資料處理單元202產生灰階值RGL、GGL、BGL、IRGL後，內插單元204即可根據該複數個貝爾樣式單元中預定位置的紅光像素、綠光像素、藍光像素和紅外光像素的灰階值，產生紅光像素2202、綠光像素2204、藍光像素2206和紅外光像素2208中每一像素的紅光、綠光、藍光和紅外光成份的內插值。例如，如第3圖所示，內插單元204可根據紅光像素302、304、306、308、2202的灰階值，產生紅光像素2202的紅光成份的內插值R1，可根據藍光像素310、2206、312、314的灰階值，產生紅光像素2202的藍光成份的內插值B1，可根據綠光像素2204、316的灰階值，產生紅光像素2202的綠光成份的內插值G1，以及可根據紅外光像素2208、318的灰階值，產生紅光像素2202的紅外光成份的內插值IR1。另外，內 插單元204可根據產生紅光像素2202的紅光、藍光、綠光和紅外光成份的內插值R1/G1/B1/IR1的相同原理，產生綠光像素2204的紅光、藍光、綠光和紅外光成份的內插值R2/G2/B2/IR2、藍光像素2206的紅光、藍光、綠光和紅外光成份的內插值R3/G3/B3/IR3和紅外光像素2208的紅光、藍光、綠光和紅外光成份的內插值R4/G4/B4/IR4。
在步驟406中，在內插單元204產生內插值R1/G1/B1/IR1、R2/G2/B2/IR2、R3/G3/B3/IR3、R4/G4/B4/IR4後，處理單元206即可對內插值R1/G1/B1/IR1、R2/G2/B2/IR2、R3/G3/B3/IR3、R4/G4/B4/IR4執行該第二色彩處理，以產生對應紅光像素2202、綠光像素2204、藍光像素2206和紅外光像素2208中的每一像素的處理過的內插值(亦即對應紅光像素2202的處理過的內插值R1P/G1P/B1P/IR1P、對應綠光像素2204的處理過的內插值R2P/G2P/B2P/IR2P、對應藍光像素2206的處理過的內插值R3P/G3P/B3P/IR3P、對應紅外光像素2208的處理過的內插值R4P/G4P/B4P/IR4P)。
在步驟408中，在處理單元206產生對應紅光像素2202的處理過的內插值R1P/G1P/B1P/IR1P後，色彩矯正單元208可根據對應紅光像素2202的處理過的內插值R1P/G1P/B1P/IR1P，紅光像素2202的紅光、綠光和藍光成份的目標值RT1/GT1/BT1和式(1)，決定對應紅光像素2202的矯正矩陣。因為該紅綠藍紅外光感測器包含該複數個貝爾樣式單元，所以對應紅光像素2202的矯正矩陣也適用於該紅綠藍紅外光感測器的其他貝爾樣式單元中的紅光像素。
另外，色彩矯正單元208產生該每一貝爾樣式單元中紅光像素、綠光像素、藍光像素和紅外光像素的紅光、綠光和藍光成份的矯正值後，該每一貝爾樣式單元中紅光像素、綠光像素、藍光像素和紅外光像素的紅光、綠光和藍光成份的矯正值即可傳送至後續RGB處理單元或YUV處理單元210處理，以及該每一貝爾樣式單元中對應紅光像素、綠光像素、藍光像素和紅外光像素的紅外光成份的處理過的內插值可傳送至後續IR處理單元212處理。
綜上所述，因為本發明是利用原始資料處理單元分別對該每一貝爾樣式單元的紅光像素、綠光像素、藍光像素和紅外光像素所感測的感測值執行該第一色彩處理，以產生分別對應該每一貝爾樣式單元的紅光像素、綠光像素、藍光像素和紅外光像素的灰階值，利用內插單元根據對應該複數個貝爾樣式單元中預定位置的紅光像素、綠光像素、藍光像素和紅外光像素的灰階值，產生該每一貝爾樣式單元的紅光像素、綠光像素、藍光像素和紅外光像素中每一像素的紅光、綠光、藍光和紅外光成份的內插值，利用處理單元對該每一像素的紅光、綠光、藍光和紅外光成份的內插值執行該第二色彩處理，以產生對應該每一像素的處理過的內插值，以及利用色彩矯正單元根據對應該每一像素的矯正矩陣和該些處理過的內插值，產生該每一像素的紅光、綠光和藍光成份的矯正值。由於原始資料處理單元、內插單元、處理單元和色彩矯正單元都會處理該每一像素的紅外光成份，所以本發明所提供的影像處理裝置根據該複數個貝爾樣式單元所產生的影像不會具有低飽和度與失去一些色彩的缺點。
以上所述僅為本發明之較佳實施例，凡依本發明申請專利範圍所做之均等變化與修飾，皆應屬本發明之涵蓋範圍。
102、220‧‧‧貝爾樣式單元
1022、2202、302、304、306、308、330、R‧‧‧紅光像素
1024、2204、316、320、322、324、336、G‧‧‧綠光像素
1026、2206、310、312、314、332、334、B‧‧‧藍光像素
1028、2208、318、326、328、338、340、IR‧‧‧紅外光像素
200‧‧‧影像處理裝置
202‧‧‧原始資料處理單元
204‧‧‧內插單元
206‧‧‧處理單元
208‧‧‧色彩矯正單元
210‧‧‧RGB處理單元或YUV處理單元
212‧‧‧IR處理單元
R1、G1、B1、IR1、R2、G2、B2、IR2、R3、G3、B3、IR3、R4、G4、B4、IR4‧‧‧內插值
R1P、G1P、B1P、IR1P、R2P、G2P、B2P、IR2P、R3P、G3P、B3P、IR3P、R4P、G4P、B4P、IR4P‧‧‧處理過的內插值
RS、GS、BS、IRS‧‧‧感測值
RGL、GGL、BGL、IRGL‧‧‧灰階值
400-410‧‧‧步驟
第1圖是說明紅綠藍紅外光感測器中的像素排列成複數個貝爾樣式單元的示意 圖。 第2圖是本發明第一實施例說明一種應用於紅綠藍紅外光感測器的影像處理裝 置的示意圖。 第3圖是說明內插單元根據對應複數個貝爾樣式單元中預定位置的紅光像素、綠 光像素、藍光像素和紅外光像素的灰階值，產生每一貝爾樣式單元的每一像素 的紅光、綠光、藍光和紅外光成份的內插值的示意圖。 第4圖是本發明第二實施例說明一種應用於紅綠藍紅外光感測器的影像處理方 法的流程圖。
200‧‧‧影像處理裝置
220‧‧‧貝爾樣式單元
202‧‧‧原始資料處理單元
204‧‧‧內插單元
206‧‧‧處理單元
208‧‧‧色彩矯正單元
210‧‧‧RGB處理單元或YUV處理單元
212‧‧‧IR處理單元
2202‧‧‧紅光像素
2204‧‧‧綠光像素
2206‧‧‧藍光像素
2208‧‧‧紅外光像素
R1、G1、B1、IR1、R2、G2、B2、IR2、R3、G3、B3、IR3、R4、G4、B4、IR4‧‧‧內插值
R1P、G1P、B1P、IR1P、R2P、G2P、B2P、IR2P、R3P、G3P、B3P、IR3P、R4P、G4P、B4P、IR4P‧‧‧處理過的內插值
RS、GS、BS、IRS‧‧‧感測值
RGL、GGL、BGL、IRGL‧‧‧灰階值

Claims (10)

  1. 一種應用於紅綠藍紅外光感測器的影像處理裝置，其中該紅綠藍紅外光感測器中的像素排列成複數個貝爾樣式(bayer pattern)單元，且該複數個貝爾樣式單元中的每一貝爾樣式單元包含一紅光像素、一綠光像素、一藍光像素和一紅外光像素，該影像處理裝置包含： 一內插單元，用以根據對應該複數個貝爾樣式單元中預定位置的紅光像素、綠光像素、藍光像素和紅外光像素的灰階值，產生該每一貝爾樣式單元中的每一像素的紅光、綠光、藍光和紅外光成份的內插值；及 一色彩矯正(color correction)單元，用以根據對應該每一像素的一矯正矩陣和該每一像素的紅光、綠光、藍光和紅外光成份的內插值，產生該每一像素的紅光、綠光和藍光成份的矯正值，其中該矯正矩陣是和該每一像素的紅光、綠光、藍光和紅外光成份的內插值和對應該每一像素的紅光、綠光和藍光成份的目標值有關。
  2. 如請求項1所述的影像處理裝置，另包含： 一原始資料處理單元，耦接於該內插單元，用以分別對該每一貝爾樣式單元的紅光像素、綠光像素、藍光像素和紅外光像素所感測的感測值執行一第一色彩處理，以產生分別對應該每一貝爾樣式單元的紅光像素、綠光像素、藍光像素和紅外光像素的灰階值。
  3. 如請求項2所述的影像處理裝置，其中該第一色彩處理包含一色彩偏移處理、一色彩增益處理、一色彩去雜訊處理和一鏡頭校正(lens shading correction)處理中的至少一個。
  4. 如請求項1所述的影像處理裝置，另包含： 一處理單元，耦接於該內插單元和該色彩矯正單元之間，用以對該每一像素的紅光、綠光、藍光和紅外光成份的內插值執行一第二色彩處理，以產生對應該每一像素的處理過的內插值，其中該色彩矯正單元是用以根據該矯正矩陣和該些處理過的內插值，產生該每一像素的紅光、綠光和藍光成份的矯正值，以及該矯正矩陣是和該些處理過的內插值和該每一像素的紅光、綠光和藍光成份的目標值有關。
  5. 如請求項4所述的影像處理裝置，其中該第二色彩處理包含一色彩偏移處理、一色彩增益處理、一色彩去雜訊處理和一鏡頭校正處理的至少一個。
  6. 一種應用於紅綠藍紅外光感測器的影像處理方法，其中該紅綠藍紅外光感測器中的像素排列成複數個貝爾樣式(bayer pattern)單元，每一貝爾樣式單元包含一紅光像素、一綠光像素、一藍光像素和一紅外光像素，以及一應用於該影像處理方法的影像處理裝置包含一內插單元和一色彩矯正單元，該影像處理方法包含： 該內插單元根據對應該複數個貝爾樣式單元中預定位置的紅光像素、綠光像素、藍光像素和紅外光像素的灰階值，產生該每一貝爾樣式單元中的每一像素的紅光、綠光、藍光和紅外光成份的內插值；及 該色彩矯正單元根據對應該每一像素的一矯正矩陣和該每一像素的紅光、綠光、藍光和紅外光成份的內插值，產生該每一像素的紅光、綠光和藍光成份的矯正值，其中該矯正矩陣是和該每一像素的紅光、綠光、藍光和紅外光成份的內插值和對應該每一像素的紅光、綠光和藍光成份的目標值有關。
  7. 如請求項6所述的影像處理方法，另包含： 該影像處理裝置另包含的原始資料處理單元分別對該每一貝爾樣式單元的紅光像素、綠光像素、藍光像素和紅外光像素所感測的感測值執行一第一色彩處理，以產生分別對應該每一貝爾樣式單元的紅光像素、綠光像素、藍光像素和紅外光像素的灰階值。
  8. 如請求項7所述的影像處理方法，其中該第一色彩處理包含一色彩偏移處理、一色彩增益處理、一色彩去雜訊處理和一鏡頭校正處理中的至少一個。
  9. 如請求項6所述的影像處理方法，另包含： 該影像處理裝置另包含的處理單元對該每一像素的紅光、綠光、藍光和紅外光成份的內插值執行一第二色彩處理，以產生對應該每一像素的處理過的內插值，其中該色彩矯正單元是用以根據該矯正矩陣和該些處理過的內插值，產生該每一像素的紅光、綠光和藍光成份的矯正值，以及該矯正矩陣是和該些處理過的內插值和該每一像素的紅光、綠光和藍光成份的目標值有關。
  10. 如請求項9所述的影像處理方法，其中該第二色彩處理包含一色彩偏移處理、一色彩增益處理、一色彩去雜訊處理和一鏡頭校正處理的至少一個。
TW104127459A 2015-08-24 2015-08-24 應用於紅綠藍紅外光感測器的影像處理方法及其相關裝置 TWI568263B (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
TW104127459A TWI568263B (zh) 2015-08-24 2015-08-24 應用於紅綠藍紅外光感測器的影像處理方法及其相關裝置
CN201510698669.7A CN106488202B (zh) 2015-08-24 2015-10-23 用于红绿蓝红外光传感器的图像处理装置及图像处理方法
US15/242,617 US20170064275A1 (en) 2015-08-24 2016-08-22 Image processing method applied to an rgb-ir sensor and related image processing device thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
TW104127459A TWI568263B (zh) 2015-08-24 2015-08-24 應用於紅綠藍紅外光感測器的影像處理方法及其相關裝置

Publications (2)

Publication Number Publication Date
TWI568263B true TWI568263B (zh) 2017-01-21
TW201709721A TW201709721A (zh) 2017-03-01

Family

ID=58097108

Family Applications (1)

Application Number Title Priority Date Filing Date
TW104127459A TWI568263B (zh) 2015-08-24 2015-08-24 應用於紅綠藍紅外光感測器的影像處理方法及其相關裝置

Country Status (3)

Country Link
US (1) US20170064275A1 (zh)
CN (1) CN106488202B (zh)
TW (1) TWI568263B (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106937026A (zh) * 2015-12-29 2017-07-07 钰太芯微电子科技（上海）有限公司 基于红外传感和可见光传感的应用系统及应用方法
US10638060B2 (en) * 2016-06-28 2020-04-28 Intel Corporation Color correction of RGBIR sensor stream based on resolution recovery of RGB and IR channels
CN108632595B (zh) * 2017-03-24 2020-03-03 瑞昱半导体股份有限公司 影像处理装置及方法
EP3682202A4 (en) * 2017-09-15 2021-07-14 Kent Imaging HYBRID IMAGING IN THE VISIBLE AND NEAR INFRARED AREA WITH AN RGB COLOR FILTER ARRAY SENSOR
CN109756713B (zh) 2017-11-08 2021-12-21 超威半导体公司 图像捕获装置、执行处理的方法以及计算机可读介质
CN109963066A (zh) * 2017-12-25 2019-07-02 深圳市祈飞科技有限公司 一种图像获取解析方法以及系统
CN109040720B (zh) * 2018-07-24 2019-11-19 浙江大华技术股份有限公司 一种生成rgb图像的方法及装置
CN109460755A (zh) * 2018-10-29 2019-03-12 北京航天宏图信息技术股份有限公司 一种绿光估计模型训练方法及装置、影像合成方法及装置
CN110099230B (zh) * 2019-04-23 2021-12-28 Oppo广东移动通信有限公司 图像处理方法和装置，及存储介质
CN112087559B (zh) * 2019-06-13 2021-11-30 华为技术有限公司 图像传感器、图像拍摄装置和方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200630647A (en) * 2005-02-22 2006-09-01 Sanyo Electric Co Color filter array and solid imaging element
TW200813888A (en) * 2006-09-06 2008-03-16 Magic Pixel Inc Color interpolation method and image processing apparatus using the same

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3548504B2 (ja) * 2000-06-26 2004-07-28 キヤノン株式会社 信号処理装置、信号処理方法、及び撮像装置
JP2002159014A (ja) * 2000-11-21 2002-05-31 Hitachi Ltd 画像生成装置および生成方法
US10136107B2 (en) * 2013-11-21 2018-11-20 Semiconductor Components Industries, Llc Imaging systems with visible light sensitive pixels and infrared light sensitive pixels
JP6291048B2 (ja) * 2014-06-24 2018-03-14 マクセル株式会社 撮像処理装置および撮像処理方法
CN104539919B (zh) * 2014-12-31 2017-01-25 上海富瀚微电子股份有限公司 图像传感器的去马赛克方法及装置
CN104639923B (zh) * 2015-02-04 2017-08-04 华为技术有限公司 一种对图像数据进行处理的方法、装置和终端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW200630647A (en) * 2005-02-22 2006-09-01 Sanyo Electric Co Color filter array and solid imaging element
TW200813888A (en) * 2006-09-06 2008-03-16 Magic Pixel Inc Color interpolation method and image processing apparatus using the same

Also Published As

Publication number Publication date
US20170064275A1 (en) 2017-03-02
TW201709721A (zh) 2017-03-01
CN106488202A (zh) 2017-03-08
CN106488202B (zh) 2019-04-26

Similar Documents

Publication Publication Date Title
TWI568263B (zh) 應用於紅綠藍紅外光感測器的影像處理方法及其相關裝置
JP5527448B2 (ja) 画像入力装置
US7525583B2 (en) Decreasing aliasing in electronic images
JP2015211319A5 (ja) 画像処理装置、画像処理方法、およびプログラム
JP2008113222A (ja) 画像処理装置、撮影装置、および、これらにおける画像処理方法ならびに当該方法をコンピュータに実行させるプログラム
JP2013219705A (ja) 画像処理装置、および画像処理方法、並びにプログラム
CN104869380A (zh) 图像处理设备和图像处理方法
JP2005159957A (ja) 色補間方法
KR20150006258A (ko) 쉐이딩 보정이 가능한 화이트 발란스 방법, 그리고 이에 적용되는 장치
KR20180118432A (ko) 감도 개선을 위한 영상 처리 장치 및 방법
JP2007278950A (ja) マルチバンド撮像装置およびカラーフィルタの特性設定方法
JP5718138B2 (ja) 画像信号処理装置及びプログラム
JP2007028042A (ja) 画像処理装置
JP2007028040A (ja) 画像処理装置
JP2007159141A (ja) 色補正計算方法
JP2007159141A5 (zh)
JP4797478B2 (ja) 画像処理装置
JP5330291B2 (ja) 信号処理装置及び撮像装置
JP2009027289A (ja) ディジタル・カメラおよびその動作制御方法
TWI520565B (zh) 圖像處理方法以及圖像處理裝置
JP2011041094A (ja) 画像処理装置、撮像装置および画像処理方法
JP6676948B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
JP5178421B2 (ja) 画像処理装置、画像処理方法及び撮像装置
CN113923429B (zh) 一种基于色卡的颜色校正方法
CN114004769B (zh) 一种基于离散权重的Bayer去噪颜色插值方法

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees