KR20170025087A - Image sensor, digital image processing apparatus using the sensor and image processing method of the same - Google Patents

Image sensor, digital image processing apparatus using the sensor and image processing method of the same Download PDF

Info

Publication number
KR20170025087A
KR20170025087A KR1020150121012A KR20150121012A KR20170025087A KR 20170025087 A KR20170025087 A KR 20170025087A KR 1020150121012 A KR1020150121012 A KR 1020150121012A KR 20150121012 A KR20150121012 A KR 20150121012A KR 20170025087 A KR20170025087 A KR 20170025087A
Authority
KR
South Korea
Prior art keywords
line
pixel
order
cmyp
pixels
Prior art date
Application number
KR1020150121012A
Other languages
Korean (ko)
Inventor
민대성
강세진
송석범
Original Assignee
(주) 픽셀플러스
에이치기술(주)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 픽셀플러스, 에이치기술(주) filed Critical (주) 픽셀플러스
Priority to KR1020150121012A priority Critical patent/KR20170025087A/en
Priority to PCT/KR2015/011519 priority patent/WO2017034076A1/en
Publication of KR20170025087A publication Critical patent/KR20170025087A/en

Links

Images

Classifications

    • H04N9/07—
    • H—ELECTRICITY
    • H01—ELECTRIC ELEMENTS
    • H01L—SEMICONDUCTOR DEVICES NOT COVERED BY CLASS H10
    • H01L27/00—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate
    • H01L27/14—Devices consisting of a plurality of semiconductor or other solid-state components formed in or on a common substrate including semiconductor components sensitive to infrared radiation, light, electromagnetic radiation of shorter wavelength or corpuscular radiation and specially adapted either for the conversion of the energy of such radiation into electrical energy or for the control of electrical energy by such radiation
    • H01L27/144—Devices controlled by radiation
    • H01L27/146—Imager structures
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H04N5/335—
    • H04N5/369—
    • H04N9/04—

Abstract

The present invention relates to a digital image processing device capable of improving sensitivity by using a panchromatic CMYP color filter array. The digital image processing device of the present invention emits light of a visible light range and light of a near infrared (NIR) range to an image sensor having the panchromatic CMYP color filter array, thereby simply and effectively separating and removing infrared components from a color filtered image signal.

Description

이미지 센서, 이를 이용한 디지털 영상 처리 장치 및 그 영상 신호 처리 방법{IMAGE SENSOR, DIGITAL IMAGE PROCESSING APPARATUS USING THE SENSOR AND IMAGE PROCESSING METHOD OF THE SAME} TECHNICAL FIELD [0001] The present invention relates to an image sensor, a digital image processing apparatus using the same, and a method of processing the image signal.

본 발명은 디지털 영상 처리 장치에 관한 것으로, 보다 상세하게는 팬크로매틱 픽셀을 갖는 이미지 센서에 가시광 영역의 광뿐만 아니라 근적외선(near infrared, NIR) 영역의 광을 함께 입사시킨 후 컬러 필터된 영상 신호에서 적외선 성분을 간단하고 효과적으로 분리시켜 제거함으로써 감도를 향상시킬 수 있는 디지털 영상 처리 장치에 관한 것이다.[0001] The present invention relates to a digital image processing apparatus, and more particularly, to a digital image processing apparatus, in which not only light in a visible light region but also light in a near infrared (NIR) region are incident on an image sensor having a fan- The present invention relates to a digital image processing apparatus capable of improving sensitivity by separating and removing components simply and effectively.

일반적으로, 이미지 센서는 광학영상(optical image)을 전기 신호로 변환시키는 반도체 소자로서, 전하결합소자(charge couple device : CCD) 이미지 센서와 CMOS(Complementaty MOS) 이미지 센서가 널리 활용되고 있다. 이러한 이미지 센서는 컬러 구현을 위해 R, G, B(Red, Green, Blue) 등으로 구현된 컬러필터 어레이(color filter array : CFA)를 사용하고 있다.Generally, an image sensor is a semiconductor device that converts an optical image into an electrical signal, and a charge couple device (CCD) image sensor and a CMOS (complementary MOS) image sensor are widely used. These image sensors use a color filter array (CFA) implemented by R, G, B (Red, Green, Blue) for color implementation.

도 1은 베이어(Bayer) 형태의 컬러필터 어레이의 패턴을 예시적으로 나타낸 도면이다.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a diagram exemplarily showing a pattern of a Bayer type color filter array. Fig.

일반적인 컬러 영상은 R, G, B의 삼원색으로 구성되지만, 대부분의 CCD 또는 CMOS 이미지 센서는 각 픽셀 위치에서 삼원색 중 어느 하나의 성분만을 출력한다. 이러한 이미지 센서에서는 인간의 시각 시스템(human visual system)의 휘도(luminance) 성분(즉, 녹색(green))에 대해서 가장 높은 분해능을 가지는 특성을 고려하여 휘도 성분에 대한 컬러 필터를 전체 포토셀(photo cell)의 50%가 되도록 배치하고 나머지 크로미넌스(chrominance) 성분(즉, 적색(red)과 청색(blue))은 반복 교차 형태로 배치하고 있다. 따라서, 도 1에 도시된 컬러필터 어레이 수는 R, G, B에 대해 1:2:1의 비율을 갖는 것을 알 수 있다.A typical color image is composed of three primary colors R, G, and B, but most CCD or CMOS image sensors output only one of the three primary colors at each pixel position. In this image sensor, a color filter for a luminance component is divided into a total photocell (photo (i. E., &Quot; green " cell, and the remaining chrominance components (i.e., red and blue) are arranged in a repeated crossing manner. Therefore, it can be seen that the number of color filter arrays shown in FIG. 1 has a ratio of 1: 2: 1 with respect to R, G, and B.

도 2는 일반적인 RGB CFA의 각 필터별의 투과 특성(spectral response)을 그래프로 도시한 도면이다.2 is a graph showing a spectral response of each filter of a general RGB CFA.

도 1과 같은 RGB CFA를 사용하는 이미지 센서에 NIR 영역의 광(NIR 광)을 여과하지 않고 입사시키는 경우, 영상 신호의 크기를 높여주는 장점은 있으나 NIR 광이 CFA의 모든 컬러 픽셀들에 혼입되는 문제가 발생될 수 있다.When an image sensor using RGB CFA as shown in FIG. 1 is incident without filtering the NIR light (NIR light), it is advantageous to increase the size of the image signal, but the NIR light is mixed into all the color pixels of the CFA Problems can arise.

따라서, NIR 영역의 광을 수용하면서도 NIR 광이 가시광 영역의 광과 혼합되지 않도록 하는 방법이 요구되고 있는 실정이다.Therefore, there is a need for a method for preventing the NIR light from mixing with the light in the visible light region while receiving the light in the NIR region.

본 발명은 팬크로매틱 셀을 이용한 이미지 센서에 NIR 광을 입사시킨 후 이를 간단하고 효과적으로 분리시킴으로써 이미지 센서의 감도를 향상시킬 수 있는 디지털 영상 장치를 제공하고자 한다.An object of the present invention is to provide a digital image device capable of improving the sensitivity of an image sensor by simply and effectively separating NIR light from an image sensor using a fan-shaped chromatic cell.

본 발명의 일 실시예에 따른 이미지 센서는, 광학 신호인 영상 신호를 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이 배열된 CMYP 컬러 필터 어레이를 이용하여 전기적인 아날로그 영상 신호로 변환하여 출력하는 이미지 센서로서, 상기 CMYP 컬러 필터 어레이는 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이, 첫 번째 라인에는 P, YE, P, MG 순으로 배열되고, 두 번째 라인에는 CY, P, MG, P 순으로 배열되며, 세 번째 라인에는 P, MG, P, YE 순으로 배열되고, 네 번째 라인에는 MG, P, CY, P 순으로 배열되는 최소 반복 단위를 포함할 수 있다. An image sensor according to an exemplary embodiment of the present invention may use a CMYP color filter array in which a video signal as an optical signal is arranged with a pampamatic (P) pixel, a cyan (CY) pixel, a magenta (MG) pixel and a yellow (C), magenta (MG), and yellow (YE) pixels are arranged in the first line, and the first line MG, P and YE in the order of P, YE, P and MG, in the order of CY, P, MG and P in the second line, P, CY, and P, respectively.

본 발명의 다른 실시예에 따른 이미지 센서는, 광학 신호인 영상 신호를 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이 배열된 CMYP 컬러 필터 어레이를 이용하여 전기적인 아날로그 영상 신호로 변환하여 출력하는 이미지 센서로서, 상기 CMYP 컬러 필터 어레이는 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이, 첫 번째 라인에는 P, CY, P, MG 순으로 배열되고, 두 번째 라인에는 CY, P, MG, P 순으로 배열되며, 세 번째 라인에는 P, MG, P, YE 순으로 배열되고, 네 번째 라인에는 MG, P, YE, P 순으로 배열되는 최소 반복 단위를 포함할 수 있다. An image sensor according to another embodiment of the present invention may use an image signal as an optical signal by using a CMYP color filter array in which pixels are formed of a pampamatic (P) pixel, a cyan (CY) pixel, a magenta (MG) pixel and a yellow (C), magenta (MG), and yellow (YE) pixels are arranged in the first line, and the first line MG, P and YE in the order of P, CY, P and MG, in the order of CY, P, MG and P in the second line, P, YE, and P, respectively.

본 발명의 또 다른 실시예에 따른 이미지 센서는, 광학 신호인 영상 신호를 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이 배열된 CMYP 컬러 필터 어레이를 이용하여 전기적인 아날로그 영상 신호로 변환하여 출력하는 이미지 센서로서, 상기 CMYP 컬러 필터 어레이는 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이, 첫 번째 라인에는 CY, P, YE, P 순으로 배열되고, 두 번째 라인에는 P, MG P, MG 순으로 배열되며, 세 번째 라인에는 YE, P, CY, P 순으로 배열되고, 네 번째 라인에는 P, MG, P, MG 순으로 배열되는 최소 반복 단위를 포함할 수 있다. An image sensor according to another embodiment of the present invention includes a CMYP color filter array in which a video signal as an optical signal is arranged with a pixel of a pampamatic (P) pixel, a cyan (CY) pixel, a magenta (MG) pixel and a yellow Wherein the CMYP color filter array includes a plurality of pixels arranged in the order of a first pixel, a second pixel, and a third pixel, MG, P and MG arranged in the order of YY, P, CY and P in the third line, P, Y, P and Y in the fourth line, MG, P, and MG.

본 발명의 또 다른 실시예에 따른 이미지 센서는 광학 신호인 영상 신호를 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이 배열된 CMYP 컬러 필터 어레이를 이용하여 전기적인 아날로그 영상 신호로 변환하여 출력하는 이미지 센서로서, 상기 CMYP 컬러 필터 어레이는 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이, 첫 번째 라인에는 CY, P, YE, P 순으로 배열되고, 두 번째 라인에는 P, MG P, MG 순으로 배열되며, 세 번째 라인에는 CY, P, YE, P 순으로 배열되고, 네 번째 라인에는 P, MG, P, MG 순으로 배열되는 최소 반복 단위를 포함할 수 있다. The image sensor according to another embodiment of the present invention uses an image signal as an optical signal by using a CMYP color filter array in which pixels of a pampamatic (P) pixel, a cyan (CY) pixel, a magenta (MG) pixel and a yellow (C), magenta (MG), and yellow (YE) pixels are arranged in the first line, and the first line P, YE and P arranged in the order of CY, P, YE and P, arranged in the order of P, MG P and MG in the second line, , P, and MG.

본 발명의 일 실시예에 따른 디지털 영상 처리 장치는 광학 신호인 영상 신호를 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이 배열된 CMYP 컬러 필터 어레이를 이용하여 전기적인 아날로그 영상 신호로 변환하여 출력하는 이미지 센서; 및 상기 이미지 센서에서 출력되는 아날로그 영상 신호를 디지털 영상 신호로 변환한 후 상기 팬크로매틱(P) 픽셀들의 값을 이용하여 팬크로매틱 셀의 값을 보간하고, 보간된 팬크로매틱 셀의 값과 그에 대응되는 시안(CY) 픽셀, 마젠타(MG) 픽셀 또는 옐로(YE) 픽셀의 값을 이용하여 R, G, B 컬러 성분을 추출하는 이미지 신호 처리부를 포함할 수 있다.A digital image processing apparatus according to an embodiment of the present invention includes a CMYP color filter array in which a video signal as an optical signal is arranged in a pixel array including a P-pixel, a CY, a magenta, and a YE pixel, An image sensor for converting an electrical analog video signal into an electrical analog video signal and outputting the electrical analog video signal; And interpolating the values of the panchromatic cells using the values of the panchromatic (P) pixels, interpolating the values of the interpolated panchromatic cells and the corresponding cyan G, and B color components using the values of the red, green, and blue pixels, the magenta (MG) pixel, and the yellow (YE) pixel.

바람직하게는, 이미지 센서의 CMYP 컬러 필터 어레이는 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이, 첫 번째 라인에는 P, YE, P, MG 순으로 배열되고, 두 번째 라인에는 CY, P, MG, P 순으로 배열되며, 세 번째 라인에는 P, MG, P, YE 순으로 배열되고, 네 번째 라인에는 MG, P, CY, P 순으로 배열되는 최소 반복 단위를 포함할 수 있다.Preferably, the CMYP color filter array of the image sensor is arranged in the order of P, YE, P, and MG in the first line, in the order of P, Y, CY, P, MG and P in the second line, P, MG, P and YE in the third line, and MG, P, CY and P in the fourth line. And may include a minimum repeating unit.

바람직하게는, 이미지 센서의 CMYP 컬러 필터 어레이는 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이, 첫 번째 라인에는 P, CY, P, MG 순으로 배열되고, 두 번째 라인에는 CY, P, MG, P 순으로 배열되며, 세 번째 라인에는 P, MG, P, YE 순으로 배열되고, 네 번째 라인에는 MG, P, YE, P 순으로 배열되는 최소 반복 단위를 포함할 수 있다.Preferably, the CMYP color filter array of the image sensor is arranged in the order of P, CY, P, and MG in the first line, in the order of the panchromatic (P), cyan, magenta MG, P and YE in the third line, and MG, P, YE and P in the fourth line in the order of CY, P, MG and P in the second line And may include a minimum repeating unit.

바람직하게는, 이미지 센서의 CMYP 컬러 필터 어레이는 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이, 첫 번째 라인에는 CY, P, YE, P 순으로 배열되고, 두 번째 라인에는 P, MG P, MG 순으로 배열되며, 세 번째 라인에는 YE, P, CY, P 순으로 배열되고, 네 번째 라인에는 P, MG, P, MG 순으로 배열되는 최소 반복 단위를 포함할 수 있다.Preferably, the CMYP color filter array of the image sensor is arranged in the order of CY, P, YE, P in the first line, and in the order of PX, PY, CY, MG, P and MG arranged in the order of Y, P, CY and P in the third line, and P, MG, P and MG arranged in the order of P, Repeating units.

바람직하게는, 이미지 센서의 CMYP 컬러 필터 어레이는 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이, 첫 번째 라인에는 CY, P, YE, P 순으로 배열되고, 두 번째 라인에는 P, MG P, MG 순으로 배열되며, 세 번째 라인에는 CY, P, YE, P 순으로 배열되고, 네 번째 라인에는 P, MG, P, MG 순으로 배열되는 최소 반복 단위를 포함할 수 있다.Preferably, the CMYP color filter array of the image sensor is arranged in the order of CY, P, YE, P in the first line, and in the order of PX, PY, CY, MG, P and MG arranged in the order of P, MG, P and MG in the order of CY, P, YE and P in the third line, Repeating units.

본 발명의 일 실시예에 따른 디지털 영상 처리 장치의 영상 신호 처리 방법은 광학 신호인 영상 신호를 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이 배열된 CMYP 컬러 필터 어레이를 이용하여 전기적인 아날로그 영상 신호로 변환하는 단계; 상기 아날로그 영상 신호를 디지털 영상 신호로 변환하는 단계; 상기 디지털 영상 신호에서 상기 팬크로매틱(P) 픽셀들의 값을 이용하여 팬크로매틱 셀의 값을 보간하는 단계; 및 상기 보간된 팬크로매틱 셀의 값에서 그에 대응되는 시안(CY) 픽셀, 마젠타(MG) 픽셀 또는 옐로(YE) 픽셀의 값의 차를 구하여 R, G, B 컬러 성분을 추출하는 단계를 포함할 수 있다.A method of processing an image signal of a digital image processing apparatus according to an exemplary embodiment of the present invention is a method of processing an image signal that is an optical signal by converting a video signal into an image signal in which a pixel signal is generated by arranging a pixel of a pixel such as a P-, CY-, Converting an electrical analog video signal using a CMYP color filter array; Converting the analog video signal into a digital video signal; Interpolating the values of the panchromatic cells using the values of the panchromatic (P) pixels in the digital video signal; And extracting R, G, and B color components by obtaining a difference between values of the interpolated fan-shaped chromatic cell and corresponding values of a cyan (CY) pixel, a magenta (MG) pixel, or a yellow have.

본 발명은 팬크로매틱 셀을 이용한 이미지 센서에 NIR 광을 입사시킨 후 이를 효과적으로 분리시킴으로써 이미지 센서의 감도를 향상시킬 수 있다.The present invention can enhance the sensitivity of an image sensor by effectively separating NIR light from an image sensor using a fan-shaped cell.

도 1은 베이어(Bayer) 형태의 컬러필터 어레이의 패턴을 예시적으로 나타낸 도면.
도 2는 일반적인 RGB CFA의 각 필터별의 투과 특성(spectral response)을 그래프로 도시한 도면.
도 3은 본 발명의 일 실시예에 따른 디지털 영상 장치의 구성을 나타낸 구성도.
도 4는 듀얼 밴드 패스 필터의 분광 특성을 나타내는 도면.
도 5A 내지 도 5D는 도 3의 팬크로매틱 CMYP CFA(120)에서 어레이 형태로 반복 배열되는 최소 단위의 배열 구조를 예시적으로 나타낸 도면들.
도 6은 도 3의 팬크로매틱 셀 보간부에서 팬크로매틱 셀을 보간하는 방법을 예시적으로 보여주는 도면.
도 7A 내지 도 7D는 각각 도 5A 내지 5D의 팬크로매틱 CMYP CFA를 사용시, 도 3의 컬러 분리부에서 NIR 성분을 제거하고 R, G, B 컬러 성분을 분리하는 방법을 설명하기 위한 도면들.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a diagram exemplarily showing a pattern of a Bayer-type color filter array. Fig.
2 is a graphical representation of the spectral response of each filter of a typical RGB CFA.
3 is a configuration diagram illustrating a configuration of a digital video apparatus according to an embodiment of the present invention.
4 is a view showing spectral characteristics of a dual bandpass filter;
FIGS. 5A to 5D illustrate a minimum unit arrangement structure that is repeatedly arranged in an array form in the panchromatic CMYP CFA 120 of FIG. 3. FIG.
FIG. 6 is a diagram illustrating a method of interpolating a panchromatic cell in the interpolating cell interpolator of FIG. 3; FIG.
FIGS. 7A to 7D are diagrams for explaining a method of removing NIR components and separating R, G, and B color components in the color separation unit of FIG. 3 when using the panchromatic CMYP CFA of FIGS. 5A to 5D, respectively.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시 예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail with reference to exemplary drawings. It should be noted that, in adding reference numerals to the constituent elements of the drawings, the same constituent elements are denoted by the same reference numerals whenever possible, even if they are shown in different drawings. In the following description of the embodiments of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the difference that the embodiments of the present invention are not conclusive.

도 3은 본 발명의 일 실시예에 따른 디지털 영상 장치의 구성을 나타낸 구성도이다.3 is a block diagram illustrating the configuration of a digital video device according to an embodiment of the present invention.

본 실시예에 따른 디지털 영상 장치는 이미지 센서(100) 및 이미지 신호 처리부(200)를 포함한다.The digital video apparatus according to the present embodiment includes an image sensor 100 and an image signal processing unit 200.

이미지 센서(100)는 렌즈를 통해 입력되는 영상 신호(광학 신호)를 전기 신호인 아날로그 영상 신호로 변환하여 출력한다. 이러한 이미지 센서(100)는 듀얼 밴드 패스 필터(110) 및 팬크로매틱 CMYP CFA(120)를 포함한다.The image sensor 100 converts a video signal (optical signal) inputted through a lens into an analog video signal which is an electrical signal and outputs the analog video signal. This image sensor 100 includes a dual bandpass filter 110 and a panchromatic CMYP CFA 120.

듀얼 밴드 패스 필터(110)는 렌즈를 통해 입사되는 영상 신호를 필터링하여 가시광 영역의 영상 신호와 근적외선(NIR) 영역의 영상 신호를 선택적으로 투과시켜 팬크로매틱 CMYP CFA(120)에 입사시킨다. 도 4는 듀얼 밴드 패스 필터(110)의 분광 특성을 나타내는 도면으로서, 듀얼 밴드 패스 필터(110)는 가시광 영역에 해당하는 파장을 갖는 영상 신호와 근적외선(NIR) 영역의 파장을 갖는 영상 신호를 선택적으로 투과시킨다. 따라서, 이미지 센서(100)에서 출력되는 아날로그 영상 신호에는 컬러(R, G, B) 성분뿐만 아니라 적외선(IR) 성분이 포함된다.The dual bandpass filter 110 selectively filters an image signal of a visible light region and an image signal of a near infrared region (NIR) by filtering the image signal input through the lens, and inputs the image signal to the panchromatic CMYP CFA 120. 4 shows a spectral characteristic of the dual band pass filter 110. The dual band pass filter 110 selectively outputs a video signal having a wavelength corresponding to a visible light region and a video signal having a wavelength of a near infrared region (NIR) . Accordingly, the analog image signal output from the image sensor 100 includes infrared (IR) components as well as color (R, G, B) components.

팬크로매틱 CMYP CFA(120)는 복수 개의 단위 픽셀들이 2차원 어레이로 구성되며, 듀얼 밴드 패스 필터(110)를 투과한 영상 신호를 입력받아 CMYP 패턴의 아날로그 영상 신호로 변환하여 출력한다. 이때, 팬크로매틱 CMYP CFA(120)는 2차원 어레이로 배열된 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들을 포함한다. 이러한 팬크로매틱 CMYP CFA(120)의 구조에 대해서는 상세하게 후술된다.The panchromatic CMYP CFA 120 receives a video signal transmitted through the dual bandpass filter 110, converts the unit pixels into a CMYP pattern analog video signal, and outputs the analog video signal. At this time, the panchromatic CMYP CFA 120 includes a panchromatic (P) pixel, a cyan (CY) pixel, a magenta (MG) pixel and a yellow (YE) pixel arranged in a two-dimensional array. The structure of such a fan-shaped CMYP CFA 120 will be described later in detail.

이미지 신호 처리부(200)는 이미지 센서(100)에서 출력되는 아날로그 영상 신호를 디지털 영상 신호로 변환하여 각 컬러(CY, MG, YE) 픽셀에 대응되는 팬크로매틱 셀의 값(P')을 보간하고 보간된 팬크로매틱 셀의 값(P')과 그에 대응되는 컬러(CY, MG, YE) 픽셀의 값을 이용하여 NIR 성분이 제거된 R, G, B 컬러 성분을 추출한다. 이때, 이미지 신호 처리부(200)는 보간된 팬크로매틱 셀의 값(P')과 그에 대응되는 컬러(CY, MG, YE) 픽셀의 값의 차를 구함으로써 NIR 성분이 제거된 R, G, B 컬러 성분을 분리한다.The image signal processing unit 200 converts the analog image signal output from the image sensor 100 into a digital image signal to interpolate the value P 'of the panchromatic cell corresponding to each color (CY, MG, YE) G, and B color components from which the NIR component has been removed are extracted using the values (P ') of the panchromatic cells and the values of the corresponding color (CY, MG, YE) pixels. At this time, the image signal processing unit 200 calculates R, G, and B colors in which the NIR component is removed by calculating the difference between the interpolated value (P ') of the interpolated fan-shaped chromatic cell and the value of the corresponding color (CY, Separate the ingredients.

이러한 이미지 신호 처리부(200)는 이미지 센서(100)에서 출력되는 아날로그 영상 신호를 디지털 영상 신호로 변환하는 아날로그-디지털 컨버터(analog-digital converter, ADC)(210), 아날로그-디지털 컨버터(210)에서 출력되는 디지털 영상 신호에서 팬크로매틱(P) 픽셀들의 값들을 이용하여 각 컬러(CY, MG, YE) 픽셀에 대응되는 팬크로매틱 셀의 값(P')을 보간하는 팬크로매틱 셀 보간부(220) 및 보간된 팬크로매틱 셀의 값(P')과 컬러(CY, MG, YE) 픽셀의 값의 차를 이용하여 R, G, B 컬러 성분을 분리하는 컬러 분리부(230)를 포함한다.The image signal processor 200 includes an analog-to-digital converter (ADC) 210 for converting an analog image signal output from the image sensor 100 into a digital image signal, an analog-to-digital converter 210 A panchromatic cell interpolator 220 interpolating the value P 'of the panchromatic cell corresponding to each color (CY, MG, YE) pixel by using the values of the pixels of the chroma digital (P) And a color separator 230 for separating the R, G, and B color components using the difference between the value (P ') of the panchromatic cell and the value of the color (CY, MG, YE) pixel.

도 5A 내지 도 5D는 팬크로매틱 CMYP CFA(120)에서 어레이 형태로 반복 배열되는 최소 단위(minimal repeating unit, 이하 '최소 반복 단위'라 함)의 배열 구조를 예시적으로 나타낸 도면들이다.FIGS. 5A to 5D are diagrams illustrating exemplary arrangement structures of minimal repeating units (hereinafter referred to as 'minimum repeating units') arranged in an array form in the panchromatic CMYP CFA 120. FIG.

팬크로매틱 CMYP CFA(120)는 도 5A 내지 도 5D 중 어느 하나의 최소 반복 단위들이 2차원적으로 가로와 세로 방향으로 반복 배열된다. 이러한 팬크로매틱 CMYP CFA(120)의 최소 반복 단위는 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들을 포함한다.Panchromatic CMYP CFA 120 repeatedly arranges the minimum repeating units of any one of Figs. 5A to 5D two-dimensionally in the horizontal and vertical directions. The minimum repeating unit of such a panchromatic CMYP CFA 120 includes a P-pixel, a CY-pixel, a Magenta (MG) pixel and a Yellow (YE) pixel.

팬크로매틱 CMYP CFA(120)는 팬크로매틱(P) 픽셀, 시안(Cyan, CY) 픽셀, 마젠타(Magenta, MG) 픽셀, 옐로(Yellow, YE) 픽셀들을 포함하는 복수의 픽셀들이 2차원 어레이로 구성되어, 듀얼 밴드 패스 필터(110)를 투과한 영상 신호를 대응되는 CMYP 패턴의 아날로그 영상 신호로 변환한다. 이때, 팬크로매틱(P) 픽셀은 입사된 영상 신호(가시광 + NIR 광)에서 레드(R), 그린(G), 블루(B) 및 적외선(IR)을 모두 투과시킨 컬러 신호(P=R+G+B+IR)를 출력하며, 시안(CY) 픽셀은 입사된 영상 신호에서 그린(G), 블루(B) 및 적외선(IR)을 투과시킨 컬러 신호(CY=G+B+IR)를 출력하고, 마젠타(MG) 픽셀은 입사된 영상 신호에서 레드(G), 블루(B) 및 적외선(IR)을 투과시킨 컬러 신호(MG=G+B+IR)를 출력하며, 엘로(YE) 픽셀은 입사된 영상 신호에서 레드(R), 그린(G) 및 적외선(IR)을 투과시킨 컬러 신호(YE=R+G+IR)를 출력한다.The Panchromatic CMYP CFA 120 includes a plurality of pixels comprising a two-dimensional array of pixels including a P-pixel, a Cyan, a CY, a Magenta, and a Yellow, The image signal transmitted through the dual bandpass filter 110 is converted into an analog video signal having a corresponding CMYP pattern. At this time, the pixel of the fan-chromatic (P) is a color signal (P = R + G) obtained by transmitting all of red (R), green (G), blue (B) and infrared (IR) (CY = G + B + IR), which has transmitted green (G), blue (B) and infrared (IR) And the magenta (MG) pixel outputs a color signal (MG = G + B + IR) transmitted through red (G), blue (B) and infrared rays IR from an incident image signal, (YE = R + G + IR) that transmits red (R), green (G), and infrared (IR) from the incident image signal.

도 5A 내지 도 5D의 최소 반복 단위는 공통적으로 4ㅧ4 픽셀들의 크기를 가지며, 8개의 P 픽셀들, 4개의 MG 픽셀들, 2개의 CY 픽셀들 및 2개의 YE 픽셀들을 포함한다. 도 5A 내지 도 5D의 최소 반복 단위에서는 P 픽셀과 컬러(CY, MG, YE) 픽셀들이 가로 방향 및 세로 방향을 따라 교번되게 배열된다. 즉, 각 컬러(CY, MG, YE) 픽셀의 좌우 및 상하에는 P 픽셀이 인접하게 배치되며, 대각선 방향으로는 같은 컬러 픽셀 또는 다른 컬러 픽셀이 인접하게 배치된다.The minimum repeating units of Figures 5A-5D commonly have a size of 4 x 4 pixels and include 8 P pixels, 4 MG pixels, 2 CY pixels and 2 YE pixels. 5A to 5D, the P pixel and the color (CY, MG, YE) pixels are alternately arranged along the horizontal direction and the vertical direction. That is, P pixels are arranged adjacently on the right and left and upper and lower sides of each color (CY, MG, YE) pixel, and in the diagonal direction, the same color pixels or other color pixels are arranged adjacently.

예컨대, 도 5A의 최소 반복 단위에서 첫 번째 라인(L1)은 P, YE, P, MG 순으로 배열되고, 두 번째 라인(L2)은 CY, P, MG, P 순으로 배열되며, 세 번째 라인(L3)은 P, MG, P, YE 순으로 배열되고, 네 번째 라인(L4)은 MG, P, CY, P 순으로 배열된다. 즉, 도 5A의 최소 반복 단위에서, MG 픽셀들은 대각선 방향으로 배열되도록 각 라인(L1 ∼ L4)에 하나씩 배치되고, YE 픽셀들과 CY 픽셀들은 대각선 방향으로 배열된 MG 픽셀들의 좌측 상단 및 우측 하단 영역에 각각 하나씩 배치된다.5A, the first line L1 is arranged in the order of P, YE, P and MG, the second line L2 is arranged in the order of CY, P, MG and P, The fourth line L3 is arranged in the order of P, MG, P, and YE, and the fourth line L4 is arranged in the order of MG, P, CY, 5A, the MG pixels are arranged in each of the lines L1 to L4 so as to be arranged in a diagonal direction, and the YE pixels and the CY pixels are arranged in the diagonally arranged upper left and lower right portions of the MG pixels, Respectively.

도 5B의 최소 반복 단위는 도 5A와 비교하여, 첫 번째 라인(L1)과 네 번째 라인(L4)에서 CY 픽셀과 YE 픽셀의 위치가 다르다. 즉, 대각선 방향으로 배열된 MG 픽셀들의 좌측 상단 및 우측 하단 영역에 각각 같은 컬러(CY, YE) 픽셀들이 2개씩 배치된다. 예컨대, 도 5B의 최소 반복 단위에서 첫 번째 라인(L1)은 P, CY, P, MG 순으로 배열되고, 두 번째 라인(L2)은 CY, P, MG, P 순으로 배열되며, 세 번째 라인(L3)은 P, MG, P, YE 순으로 배열되고, 네 번째 라인(L4)은 MG, P, YE, P 순으로 배열된다.The minimum repeating unit of FIG. 5B differs from that of FIG. 5A in the positions of the CY pixel and the YE pixel in the first line L1 and the fourth line L4. That is, two identical color (CY, YE) pixels are arranged in the upper left and lower right regions of the MG pixels arranged in the diagonal direction, respectively. 5B, the first line L1 is arranged in the order of P, CY, P and MG, the second line L2 is arranged in the order of CY, P, MG and P, The fourth line L3 is arranged in the order of P, MG, P, and YE, and the fourth line L4 is arranged in the order of MG, P, YE,

도 5C의 최소 반복 단위는 MG 픽셀들이 대각선 방향으로 배열되지 않고 2번째 라인(L2)과 네 번째 라인(L4)에 각각 MG 픽셀들이 2개씩 배치되고, 첫 번째 라인(L1)과 세 번째 라인(L3)에 각각 CY 픽셀과 YE 픽셀이 하나씩 배치된다. 이때, 첫 번째 라인(L1)과 세 번째 라인(L3)에서 CY 픽셀과 YE 픽셀은 서로 반대되게 배치된다. 예컨대, 도 5C의 최소 반복 단위에서 첫 번째 라인(L1)은 CY, P, YE, P 순으로 배열되고, 두 번째 라인(L2)은 P, MG P, MG 순으로 배열되며, 세 번째 라인(L3)은 YE, P, CY, P 순으로 배열되고, 네 번째 라인(L4)은 P, MG, P, MG 순으로 배열된다.The minimum repeating unit of FIG. 5C is one in which the MG pixels are not arranged diagonally but two MG pixels are arranged in the second line L2 and the fourth line L4, and the first line L1 and the third line L3, respectively, one CY pixel and one YE pixel are arranged. At this time, in the first line (L1) and the third line (L3), the CY pixel and the YE pixel are arranged opposite to each other. 5C, the first line L1 is arranged in the order of CY, P, YE and P, the second line L2 is arranged in the order of P, MGP and MG, and the third line L3 are arranged in the order of YE, P, CY and P, and the fourth line L4 is arranged in the order of P, MG, P and MG.

도 5D의 최소 반복 단위는 도 5C의 최소 반복 단위와 비교하여, 세 번째 라인(L3)에서 CY 픽셀과 YE 픽셀의 위치가 서로 바뀌게 배치된다. 즉, 첫 번째 라인(L1)과 세 번째 라인(L3)에서 CY 픽셀과 YE 픽셀은 같은 위치에 배치된다. 예컨대, 도 5D의 최소 반복 단위에서 첫 번째 라인(L1)은 CY, P, YE, P 순으로 배열되고, 두 번째 라인(L2)은 P, MG P, MG 순으로 배열되며, 세 번째 라인(L3)은 CY, P, YE, P 순으로 배열되고, 네 번째 라인(L4)은 P, MG, P, MG 순으로 배열된다.The minimum repeat unit of FIG. 5D is arranged so that the positions of the CY and YE pixels in the third line L3 are shifted from each other, as compared with the minimum repeat unit of FIG. 5C. That is, in the first line (L1) and the third line (L3), the CY pixel and the YE pixel are disposed at the same position. 5D, the first line L1 is arranged in the order of CY, P, YE and P, the second line L2 is arranged in the order of P, MGP and MG, and the third line L3 are arranged in the order of CY, P, YE and P, and the fourth line L4 is arranged in the order of P, MG, P and MG.

도 6은 팬크로매틱 셀 보간부에서 팬크로매틱 셀의 값을 보간하는 방법을 예시적으로 보여주는 도면이다.FIG. 6 is a diagram illustrating a method of interpolating the values of a pneumatic cell in a pneumatic cell interpolator. Referring to FIG.

팬크로매틱 셀 보간부(220)는 이웃하는 팬크로매틱(P) 픽셀들의 값들을 이용하여 각 컬러(CY, MG, YE) 픽셀에 대응되는 팬크로매틱 셀의 값(P')을 보간한다. 예컨대, 팬크로매틱 셀 보간부(220)는 팬크로매틱 셀과 가장 가까운 네 개의 팬크로매틱(P) 픽셀들의 값에 가중치를 곱하여 이를 팬크로매틱 셀(P')의 값으로 할당할 수 있다. 이러한 경우 팬크로매틱 셀의 값(P')은 예컨대 아래와 같이 할당될 수 있다.The panchromatic cell interpolator 220 interpolates the values P 'of the panchromatic cells corresponding to the respective colors CY, MG, and YE pixels using the values of neighboring panchromatic (P) pixels. For example, the panchromatic cell interpolator 220 may multiply the values of the four panchromatic (P) pixels closest to the panchromatic cell by the weights and assign it to the value of the panchromatic cell P '. In this case, the value P 'of the panchromatic cell can be assigned, for example, as follows.

P'= (P1 + P2 + P3 + P4)/4 = R + G + B + IR P '= (P 1 + P 2 + P 3 + P 4 ) / 4 = R + G + B + IR

이때, 가중치는 팬크로매틱(P) 픽셀과의 거리에 비례하게 선형적으로 결정될 수 있다.At this time, the weight value can be linearly determined in proportion to the distance from the pixel of the piechromatic (P).

도 6에서는 하나의 팬크로매틱 셀(P')에 대해서만 표시하였으나, 다른 모든 팬크로매틱 셀(P')들에 대해서도 보간이 이루어진다. 이러한 보간 알고리즘은 종래의 비적응적 보간 방법(Nonadaptive Algorithms) 또는 적응적 보간 방법(Adaptive Algorithms) 중 어느 하나가 사용될 수 있다.In FIG. 6, only one panchromatic cell P 'is displayed, but all other panchromatic cells P' are interpolated. The interpolation algorithm may be any one of a conventional non-adaptive interpolation method and an adaptive interpolation method.

도 7A 내지 도 7D는 각각 도 5A 내지 5D의 팬크로매틱 CMYP CFA를 사용시, 도 3의 컬러 분리부에서 NIR 성분을 제거하고 R, G, B 컬러 성분을 분리하는 방법을 설명하기 위한 도면들이다.FIGS. 7A to 7D are diagrams for explaining a method of removing NIR components and separating R, G, and B color components in the color separation unit of FIG. 3 when using the panchromatic CMYP CFA of FIGS. 5A to 5D, respectively.

팬크로매틱 셀 보간부(220)에서 보간된 팬크로매틱 셀의 값(P')은 아래의 식과 같이 나타낼 수 있다.The value (P ') of the interpolated pneumatic cell in the panchromatic cell interpolating unit 220 can be expressed by the following equation.

P'= R + G + B + IRP '= R + G + B + IR

그리고, 각 컬러(CY, MG, YE) 픽셀들의 값은 아래와 같이 나타낼 수 있다.The values of the respective color (CY, MG, YE) pixels can be expressed as follows.

CY = G + B + IRCY = G + B + IR

MG = R + B + IRMG = R + B + IR

YE = R + G + IRYE = R + G + IR

따라서, 아래의 식과 같이 팬크로매틱 셀 보간부(220)에서 보간된 각 팬크로매틱 셀의 값(P')에서 그에 대응되는 컬러 픽셀의 값의 빼주면, IR 성분이 제거된 R, G, B의 컬러 성분에 대한 값만을 구할 수 있다.Therefore, if the value of the corresponding color pixel is subtracted from the value (P ') of each fan-shaped chromatic cell interpolated by the fan-shaped chromatic cell interpolator 220 as shown in the following equation, the color component of R, G, Can be obtained.

P'- CY = (R + G + B + IR) - (G + B + IR) = R(R + G + B + IR) - (G + B + IR) = R

P'- MG = (R + G + B + IR) - (R + B + IR) = G(R + G + B + IR) - (R + B + IR) = G

P'- YE = (R + G + B + IR) - (R + G + IR) = BP'-YE = (R + G + B + IR) - (R + G + IR)

이처럼 컬러 분리부(230)는 팬크로매틱 셀 보간부(220)에서 보간된 각 팬크로매틱 셀의 값(P')에서 해당 팬크로매틱 셀에 대응되는 컬러 픽셀의 값을 빼줌으로써 디지털 영상 신호에서 R, G, B 성분을 분리한 후 그 값을 추출한다.In this way, the color separator 230 subtracts the values of the color pixels corresponding to the corresponding panchromatic cells from the values (P ') of the respective panchromatic cells interpolated by the panchromatic cell interpolator 220, After the components are separated, their values are extracted.

이후, 추출된 R, G, B 값을 이용하여 이미지 신호를 처리하는 방법은 종래의 방법들과 동일한 방법들을 통해 이루어질 수 있으므로 그에 대한 설명은 생략한다.Hereinafter, a method of processing an image signal using the extracted R, G, and B values may be performed through the same methods as conventional methods, and a description thereof will be omitted.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. The foregoing description is merely illustrative of the technical idea of the present invention, and various changes and modifications may be made by those skilled in the art without departing from the essential characteristics of the present invention.

따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.Therefore, the embodiments disclosed in the present invention are intended to illustrate rather than limit the scope of the present invention, and the scope of the technical idea of the present invention is not limited by these embodiments. The scope of protection of the present invention should be construed according to the following claims, and all technical ideas within the scope of equivalents should be construed as falling within the scope of the present invention.

100 : 이미지 센서
110 : 듀얼 밴드 패스 필터
120 : 팬크로매틱 CMYP CFA
200 : 이미지 신호 처리부
210 : 아날로그-디지털 컨버터(ADC)
220 : 팬크로매틱 셀 보간부
230 : 컬러 분리부100: Image sensor
110: Dual bandpass filter
120: Panchromatic CMYP CFA
200: image signal processor
210: Analog-to-digital converter (ADC)
220: Panchromatic cell interpolation part
230: Color separation unit

Claims (11)

광학 신호인 영상 신호를 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이 배열된 CMYP 컬러 필터 어레이를 이용하여 전기적인 아날로그 영상 신호로 변환하여 출력하는 이미지 센서; 및
상기 이미지 센서에서 출력되는 아날로그 영상 신호를 디지털 영상 신호로 변환한 후 상기 팬크로매틱(P) 픽셀들의 값을 이용하여 팬크로매틱 셀의 값을 보간하고, 보간된 팬크로매틱 셀의 값과 그에 대응되는 시안(CY) 픽셀, 마젠타(MG) 픽셀 또는 옐로(YE) 픽셀의 값을 이용하여 R, G, B 컬러 성분을 추출하는 이미지 신호 처리부를 포함하는 디지털 영상 처리 장치.An image that converts an image signal as an optical signal into an electrical analog image signal by using a CMYP color filter array in which pixels of a pantomachrome (P) pixel, a cyan (CY) pixel, a magenta (MG) pixel and a yellow (YE) sensor; And
(P) pixels, interpolating the values of the fan-shaped cells, interpolating the values of the interpolated fan-shaped cells and corresponding cyan (CY) And an image signal processing unit for extracting R, G, and B color components using values of pixels, magenta (MG) pixels, or yellow (YE) pixels. 제 1항에 있어서, 상기 CMYP 컬러 필터 어레이는
팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이, 첫 번째 라인에는 P, YE, P, MG 순으로 배열되고, 두 번째 라인에는 CY, P, MG, P 순으로 배열되며, 세 번째 라인에는 P, MG, P, YE 순으로 배열되고, 네 번째 라인에는 MG, P, CY, P 순으로 배열되는 최소 반복 단위를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치.The method of claim 1, wherein the CMYP color filter array
P, Y, P, and MG are arranged in the first line, and CY, P, MG (black) are arranged in the second line in the order of P, Y, P, P, Y, and Y in the third line, and MG, P, CY, and P in the fourth line in the order of P, Processing device. 제 1항에 있어서, 상기 CMYP 컬러 필터 어레이는
팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이, 첫 번째 라인에는 P, CY, P, MG 순으로 배열되고, 두 번째 라인에는 CY, P, MG, P 순으로 배열되며, 세 번째 라인에는 P, MG, P, YE 순으로 배열되고, 네 번째 라인에는 MG, P, YE, P 순으로 배열되는 최소 반복 단위를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치.The method of claim 1, wherein the CMYP color filter array
P, MG, and YE pixels are arranged in the order of P, CY, P, and MG in the first line, and CY, P, and MG are arranged in the second line in the order of P, C, P, Y, and P arranged in the order of MG, P, YE, P, and the fourth line is arranged in the order of P, Processing device. 제 1항에 있어서, 상기 CMYP 컬러 필터 어레이는
팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이, 첫 번째 라인에는 CY, P, YE, P 순으로 배열되고, 두 번째 라인에는 P, MG P, MG 순으로 배열되며, 세 번째 라인에는 YE, P, CY, P 순으로 배열되고, 네 번째 라인에는 P, MG, P, MG 순으로 배열되는 최소 반복 단위를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치.The method of claim 1, wherein the CMYP color filter array
P, Y, and P are arranged in the order of CY, P, YE and P in the first line, and P, MG P, Y and P are arranged in the order of the first line, MG, the third line is arranged in the order of YE, P, CY and P, and the fourth line is arranged in the order of P, MG, P and MG. Device. 제 1항에 있어서, 상기 CMYP 컬러 필터 어레이는
팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이, 첫 번째 라인에는 CY, P, YE, P 순으로 배열되고, 두 번째 라인에는 P, MG P, MG 순으로 배열되며, 세 번째 라인에는 CY, P, YE, P 순으로 배열되고, 네 번째 라인에는 P, MG, P, MG 순으로 배열되는 최소 반복 단위를 포함하는 것을 특징으로 하는 디지털 영상 처리 장치.The method of claim 1, wherein the CMYP color filter array
P, Y, and P are arranged in the order of CY, P, YE and P in the first line, and P, MG P, Y and P are arranged in the order of the first line, MG, the third line is arranged in the order of CY, P, YE and P, and the fourth line is arranged in the order of P, MG, P and MG. Device. 제 1항에 있어서, 이미지 신호 처리부는
보간된 팬크로매틱 셀의 값과 해당 팬크로매틱 셀에 대응되는 시안(CY) 픽셀, 마젠타(MG) 픽셀 또는 옐로(YE) 픽셀의 값의 차를 이용하여 R, G, B 컬러 성분을 추출하는 것을 특징으로 하는 디지털 영상 처리 장치.The image processing apparatus according to claim 1, wherein the image signal processing section
G, and B color components using the difference between the value of the interpolated punchmatic cell and the value of a cyan (CY) pixel, a magenta (MG) pixel, or a yellow (YE) Digital image processing apparatus. 광학 신호인 영상 신호를 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이 배열된 CMYP 컬러 필터 어레이를 이용하여 전기적인 아날로그 영상 신호로 변환하여 출력하는 이미지 센서에 있어서,
상기 CMYP 컬러 필터 어레이는
팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이, 첫 번째 라인에는 P, YE, P, MG 순으로 배열되고, 두 번째 라인에는 CY, P, MG, P 순으로 배열되며, 세 번째 라인에는 P, MG, P, YE 순으로 배열되고, 네 번째 라인에는 MG, P, CY, P 순으로 배열되는 최소 반복 단위를 포함하는 이미지 센서.An image that converts an image signal as an optical signal into an electrical analog image signal by using a CMYP color filter array in which pixels of a pantomachrome (P) pixel, a cyan (CY) pixel, a magenta (MG) pixel and a yellow (YE) In the sensor,
The CMYP color filter array
P, Y, P, and MG are arranged in the first line, and CY, P, MG (black) are arranged in the second line in the order of P, Y, , P arranged in the order of P, MG, P, YE in the third line, and MG, P, CY, P arranged in the fourth line in the order of P, MG, P and YE. 광학 신호인 영상 신호를 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이 배열된 CMYP 컬러 필터 어레이를 이용하여 전기적인 아날로그 영상 신호로 변환하여 출력하는 이미지 센서에 있어서,
상기 CMYP 컬러 필터 어레이는
팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이, 첫 번째 라인에는 P, CY, P, MG 순으로 배열되고, 두 번째 라인에는 CY, P, MG, P 순으로 배열되며, 세 번째 라인에는 P, MG, P, YE 순으로 배열되고, 네 번째 라인에는 MG, P, YE, P 순으로 배열되는 최소 반복 단위를 포함하는 이미지 센서.An image that converts an image signal as an optical signal into an electrical analog image signal by using a CMYP color filter array in which pixels of a pantomachrome (P) pixel, a cyan (CY) pixel, a magenta (MG) pixel and a yellow (YE) In the sensor,
The CMYP color filter array
P, MG, and YE pixels are arranged in the order of P, CY, P, and MG in the first line, and CY, P, and MG are arranged in the second line in the order of P, C, , P arranged in the order of P, MG, P, YE in the third line, and MG, P, YE, P arranged in the order of the fourth line. 광학 신호인 영상 신호를 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이 배열된 CMYP 컬러 필터 어레이를 이용하여 전기적인 아날로그 영상 신호로 변환하여 출력하는 이미지 센서에 있어서,
상기 CMYP 컬러 필터 어레이는
팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이, 첫 번째 라인에는 CY, P, YE, P 순으로 배열되고, 두 번째 라인에는 P, MG P, MG 순으로 배열되며, 세 번째 라인에는 YE, P, CY, P 순으로 배열되고, 네 번째 라인에는 P, MG, P, MG 순으로 배열되는 최소 반복 단위를 포함하는 이미지 센서.An image that converts an image signal as an optical signal into an electrical analog image signal by using a CMYP color filter array in which pixels of a pantomachrome (P) pixel, a cyan (CY) pixel, a magenta (MG) pixel and a yellow (YE) In the sensor,
The CMYP color filter array
P, Y, and P are arranged in the order of CY, P, YE and P in the first line, and P, MG P, Y and P are arranged in the order of the first line, MG, arranged in the order of YE, P, CY, P in the third line, and P, MG, P, MG in the fourth line. 광학 신호인 영상 신호를 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이 배열된 CMYP 컬러 필터 어레이를 이용하여 전기적인 아날로그 영상 신호로 변환하여 출력하는 이미지 센서에 있어서,
상기 CMYP 컬러 필터 어레이는
팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이, 첫 번째 라인에는 CY, P, YE, P 순으로 배열되고, 두 번째 라인에는 P, MG P, MG 순으로 배열되며, 세 번째 라인에는 CY, P, YE, P 순으로 배열되고, 네 번째 라인에는 P, MG, P, MG 순으로 배열되는 최소 반복 단위를 포함하는 이미지 센서.An image that converts an image signal as an optical signal into an electrical analog image signal by using a CMYP color filter array in which pixels of a pantomachrome (P) pixel, a cyan (CY) pixel, a magenta (MG) pixel and a yellow (YE) In the sensor,
The CMYP color filter array
P, Y, and P are arranged in the order of CY, P, YE and P in the first line, and P, MG P, Y and P are arranged in the order of the first line, MG, the third line is arranged in the order of CY, P, YE and P, and the fourth line is arranged in the order of P, MG, P and MG. 광학 신호인 영상 신호를 팬크로매틱(P) 픽셀, 시안(CY) 픽셀, 마젠타(MG) 픽셀 및 옐로(YE) 픽셀들이 배열된 CMYP 컬러 필터 어레이를 이용하여 전기적인 아날로그 영상 신호로 변환하는 단계;
상기 아날로그 영상 신호를 디지털 영상 신호로 변환하는 단계;
상기 디지털 영상 신호에서 상기 팬크로매틱(P) 픽셀들의 값을 이용하여 팬크로매틱 셀의 값을 보간하는 단계; 및
상기 보간된 팬크로매틱 셀의 값에서 그에 대응되는 시안(CY) 픽셀, 마젠타(MG) 픽셀 또는 옐로(YE) 픽셀의 값의 차를 구하여 R, G, B 컬러 성분을 추출하는 단계를 포함하는 디지털 영상 처리 장치의 영상 신호 처리 방법.Converting an image signal which is an optical signal into an electrical analog image signal using a CMYP color filter array in which pixels of a pampetic (P) pixel, a cyan (CY) pixel, a magenta (MG) pixel and a yellow (YE) pixel are arranged;
Converting the analog video signal into a digital video signal;
Interpolating the values of the panchromatic cells using the values of the panchromatic (P) pixels in the digital video signal; And
And extracting the R, G, and B color components by obtaining a difference between the values of the interpolated fan-shaped chromatic cell and corresponding values of a cyan (CY) pixel, a magenta (MG) pixel, or a yellow (YE) A method of processing a video signal of a processing device.
KR1020150121012A 2015-08-27 2015-08-27 Image sensor, digital image processing apparatus using the sensor and image processing method of the same KR20170025087A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020150121012A KR20170025087A (en) 2015-08-27 2015-08-27 Image sensor, digital image processing apparatus using the sensor and image processing method of the same
PCT/KR2015/011519 WO2017034076A1 (en) 2015-08-27 2015-10-29 Image sensor, digital image processing apparatus using same, and image signal processing method therefor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150121012A KR20170025087A (en) 2015-08-27 2015-08-27 Image sensor, digital image processing apparatus using the sensor and image processing method of the same

Publications (1)

Publication Number Publication Date
KR20170025087A true KR20170025087A (en) 2017-03-08

Family

ID=58100595

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150121012A KR20170025087A (en) 2015-08-27 2015-08-27 Image sensor, digital image processing apparatus using the sensor and image processing method of the same

Country Status (2)

Country Link
KR (1) KR20170025087A (en)
WO (1) WO2017034076A1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021033787A1 (en) * 2019-08-19 2021-02-25 한국전기연구원 Visible and near-infrared image providing system and method which use single color camera and can simultaneously acquire visible and near-infrared images

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108513112B (en) * 2018-03-27 2020-12-08 宁波舜宇光电信息有限公司 Image processing method based on color filter array

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7880785B2 (en) * 2004-07-21 2011-02-01 Aptina Imaging Corporation Rod and cone response sensor
US7916362B2 (en) * 2006-05-22 2011-03-29 Eastman Kodak Company Image sensor with improved light sensitivity
US8068153B2 (en) * 2009-03-27 2011-11-29 Omnivision Technologies, Inc. Producing full-color image using CFA image
KR101671927B1 (en) * 2010-07-21 2016-11-04 삼성전자주식회사 Apparatus and method for processing image
US9692992B2 (en) * 2013-07-01 2017-06-27 Omnivision Technologies, Inc. Color and infrared filter array patterns to reduce color aliasing

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021033787A1 (en) * 2019-08-19 2021-02-25 한국전기연구원 Visible and near-infrared image providing system and method which use single color camera and can simultaneously acquire visible and near-infrared images

Also Published As

Publication number Publication date
WO2017034076A1 (en) 2017-03-02

Similar Documents

Publication Publication Date Title
KR102170410B1 (en) Device for acquiring bimodal images
EP2680589B1 (en) Color imaging device
US8704922B2 (en) Mosaic image processing method
US9313466B2 (en) Color imaging element
US9036061B2 (en) Color imaging apparatus
KR20070111379A (en) Photoelectric transformation apparatus
US9184196B2 (en) Color imaging element and imaging device
JP2008092247A (en) Solid-state imaging apparatus
US8743246B2 (en) Color imaging device
EP2680592A1 (en) Color imaging device
US8982253B2 (en) Color imaging element
EP0086447B1 (en) Solid state color imaging apparatus
KR20170025087A (en) Image sensor, digital image processing apparatus using the sensor and image processing method of the same
KR20170055112A (en) Image processing apparatus
JPH06339145A (en) Color image pickup device
WO2015064274A1 (en) Imaging element
CN110324541A (en) The filtration combined denoising interpolation method of one kind and device
JPS60254977A (en) Color solid-state image pickup device
JP2009055151A (en) Color solid-state imaging apparatus
JPS642278B2 (en)
JPH03107903A (en) Color solid-state image pickup element

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E601 Decision to refuse application