KR20090013047A - Pixel interpolation circuit, pixel interpolation method, and recording medium - Google Patents
Pixel interpolation circuit, pixel interpolation method, and recording medium Download PDFInfo
- Publication number
- KR20090013047A KR20090013047A KR1020080071433A KR20080071433A KR20090013047A KR 20090013047 A KR20090013047 A KR 20090013047A KR 1020080071433 A KR1020080071433 A KR 1020080071433A KR 20080071433 A KR20080071433 A KR 20080071433A KR 20090013047 A KR20090013047 A KR 20090013047A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- value
- pixels
- correlation
- difference
- Prior art date
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
- G06T3/4015—Demosaicing, e.g. colour filter array [CFA], Bayer pattern
Landscapes
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
Description
본 발명은 단판식의 컬러촬상방식이 채용되는 촬상장치 등에 이용되는 화소보간회로, 화소보간방법 및 기록매체에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a pixel interpolation circuit, a pixel interpolation method, and a recording medium for use in an imaging device or the like employing a single-plate color imaging method.
디지털카메라에서는 베이어 배열의 화소 배열로 이루어지는 촬상소자를 이용한 단판식 촬상방식이 주류로 되어 있다. 베이어 배열의 촬상소자로 촬상된 피사체상 데이터인 베이어 데이터로부터 화상신호를 얻을 경우, 베이어 데이터에 있어서의 각 화소에 배치되어 있는 색필터 이외의 색정보(화소값)를 보간할 필요가 있다. 특히, G화소의 정보는 휘도정보에 영향을 주기 때문에, G화소의 정보는 화상신호의 해상도나 윤곽의 샤프니스에 영향을 주게 된다.In a digital camera, a single plate type imaging method using an imaging device comprising a Bayer array pixel array has become a mainstream. When the image signal is obtained from the Bayer data which is the image data of the subject imaged by the image pickup device of the Bayer array, it is necessary to interpolate the color information (pixel value) other than the color filter arranged in each pixel in the Bayer data. In particular, since the information of the G pixel affects the luminance information, the information of the G pixel affects the resolution of the image signal and the sharpness of the outline.
여기에서, 종래, 베이어 데이터에 있어서, 보간대상화소(G화소의 정보가 존재하지 않는 R화소나 B화소)에 대해 G화소를 보간하는 것으로서 일본국 특개 2000-278703호 공보나, 특개 2006-135564호 공보에 기재된 기술이 있다. 이들의 종래기술에서는 베이어 데이터에 있어서의 보간대상화소의 주변에 있어서의 화소의 상관성을 고려하여 보간대상화소에 G화소를 보간하고 있다.Here, in the Bayer data, Japanese Patent Laid-Open No. 2000-278703 or Japanese Laid-Open Patent Publication No. 2006-135564, which interpolates a G pixel to an interpolation target pixel (an R pixel or a B pixel in which G pixel information does not exist). There is a technique described in the call. In these prior arts, the G pixel is interpolated to the interpolation target pixel in consideration of the correlation of pixels around the interpolation target pixel in the Bayer data.
그러나, 이들의 종래기술은 어느 것이나, 베이어 데이터에 있어서의 보간대상화소에 대해 G화소를 보간할 때에, 보간대상화소의 주변에 있어서의 G화소밖에 참조하고 있지 않다. 그로 인해, 보간대상화소에 G화소를 보간할 때에 참조하는 화소의 정보가 적게 되어 있다. 그 결과, 보간대상화소의 주변에 있어서의 화소의 상관성을 적정하게 판정할 수 없고, 보간대상화소에 적정한 G화소를 보간할 수 없다고 하는 문제가 있었다.However, all of these conventional techniques refer only to the G pixels around the interpolation target pixel when interpolating the G pixel to the interpolation target pixel in the Bayer data. Therefore, the information of the pixel referred to when interpolating the G pixel to the interpolation target pixel is small. As a result, there was a problem that the correlation between the pixels in the periphery of the interpolation target pixel could not be appropriately determined and that the G pixel appropriate for the interpolation target pixel could not be interpolated.
그래서, 본 발명은 베이어 데이터에 대해 G화소의 정보를 적정하게 보간하는 것을 목적으로 한다.Therefore, an object of the present invention is to appropriately interpolate G pixel information with Bayer data.
본 발명의 하나의 형태는, 상기 베이어 데이터에 있어서 R화소, G화소, B화소의 각각의 화소값을 이용하여 G화소가 존재하지 않는 화소인 보간대상화소의 주변영역에 있어서의 수평방향의 상관성과 수직방향의 상관성을 산출하는 상관성 산출부와, 상기 상관성 산출부에 의해 산출된 각 상관성 중, 상관성이 강한 방향에 있어서 상기 보간대상화소와 인접하는 화소의 화소값에 의거하여, 상기 보간대상화소에 보간할 G화소의 화소값을 결정하는 화소값 결정부를 구비하며, 상기 화소값 결정부에 의해 결정된 화소값으로 이루어지는 G화소를 상기 베이어 데이터에 의거하는 화상신호에 대해 보간한다.One aspect of the present invention is a horizontal correlation in a peripheral region of an interpolation target pixel that is a pixel in which no G pixel exists by using pixel values of R pixels, G pixels, and B pixels in the Bayer data. The interpolation target pixel based on a pixel value of a pixel adjacent to the interpolation target pixel in the direction of strong correlation among the correlations calculated by the correlation calculation unit and the correlation calculated by the correlation calculation unit. And a pixel value determination section for determining the pixel value of the G pixel to be interpolated, and interpolating a G pixel composed of the pixel value determined by the pixel value determination section with respect to the image signal based on the Bayer data.
본 발명의 다른 하나의 형태는, 베이어 데이터에 있어서 R화소, G화소, B화 소의 각각의 화소값을 이용하여 G화소가 존재하지 않는 화소인 보간대상화소의 주변영역에 있어서의 수평방향의 상관성과 수직방향의 상관성을 산출하는 제 1 스텝과, 상기 제 1 스텝에 대해 산출된 각 상관성 중, 상관성이 강한 방향에 있어서 상기 보간대상화소와 인접하는 화소의 화소값에 의거하여, 상기 보간대상화소에 보간할 G화소의 화소값을 결정하는 제 2 스텝과, 상기 제 2 스텝에 대해 결정된 화소값으로 이루어지는 G화소를 상기 베이어 데이터에 의거하는 화상신호에 대해 보간하는 제 3 스텝을 포함한다.Another aspect of the present invention is the horizontal correlation in the peripheral region of the interpolation target pixel, which is a pixel in which G pixels do not exist by using respective pixel values of R pixels, G pixels, and B pixels in Bayer data. The interpolation target pixel based on a pixel value of a pixel adjacent to the interpolation target pixel in a direction of strong correlation among the correlations calculated for the first step and each correlation calculated for the first step. And a third step of determining a pixel value of a G pixel to be interpolated into, and a third step of interpolating a G pixel composed of the pixel value determined for the second step with respect to an image signal based on the Bayer data.
본 발명의 다른 하나의 형태는, 컴퓨터에, 베이어 데이터에 있어서 R화소, G화소, B화소의 각각의 화소값을 이용하여 G화소가 존재하지 않는 화소인 보간대상화소의 주변영역에 있어서의 수평방향의 상관성과 수직방향의 상관성을 산출하는 제 1 처리와, 상기 제 1 처리에 의해 산출된 각 상관성 중, 상관성이 강한 방향에 있어서 상기 보간대상화소와 인접하는 화소의 화소값에 의거하여, 상기 보간대상화소에 보간할 G화소의 화소값을 결정하는 제 2 처리와, 상기 제 2 처리에 의해 결정된 화소값으로 이루어지는 G화소를 상기 베이어 데이터에 의거하는 화상신호에 대해 보간하는 제 3 처리를 실행시킨다.According to another aspect of the present invention, a horizontal line in a peripheral region of an interpolation target pixel, which is a pixel in which a G pixel does not exist using a pixel value of an R pixel, a G pixel, and a B pixel in a computer, is obtained from Bayer data. On the basis of the pixel value of the pixel adjacent to the interpolation target pixel in the direction of strong correlation among the first processing for calculating the correlation between the direction and the correlation between the vertical direction and the correlation calculated by the first processing; A second process of determining a pixel value of a G pixel to be interpolated to an interpolation target pixel, and a third process of interpolating a G pixel composed of the pixel value determined by the second process to an image signal based on the Bayer data Let's do it.
본 발명에 따르면, 베이어 데이터에 대해 G화소의 정보를 적정하게 보간할 수 있다.According to the present invention, the information of the G pixel can be appropriately interpolated with respect to the Bayer data.
본 발명의 실시형태에 대해 설명한다. 우선, 도 1을 참조하여 본 실시형태 에 관련되는 디지털카메라(100)의 전체 구성을 설명한다. Embodiment of this invention is described. First, with reference to FIG. 1, the whole structure of the
촬상렌즈(62)는 포커스렌즈, 줌렌즈를 포함하고, 렌즈구동블록(63)이 접속되어 있다. 이 렌즈구동블록(63)은 도시하지 않는 포커스렌즈, 줌렌즈를 각각 촬상면과 평행한 광축방향으로 구동시키는 포커스모터 및 줌모터와, CPU(70)로부터의 제어신호에 따라서 포커스모터 및 줌모터를 각각 구동시키는 포커스드라이버 및 줌모터드라이버로 구성되어 있다.The
조리개 겸용 셔터(64)는 도시하지 않는 구동회로를 포함하고, 이 구동회로는 CPU(70)로부터 보내져 오는 제어신호에 따라서 조리개 겸용 셔터를 동작시킨다. 또한, 이 조리개 겸용 셔터(64)는 조리개와 셔터로서 기능한다.The diaphragm combined
촬상소자인 CCD(50)에는 수광면에 베이어 배열의 컬러필터가 설치되어 있다. CCD(50)는 촬상렌즈(62) 및 조리개 겸용 셔터(64)를 통하여 투영된 피사체의 빛을 전기신호로 변환하고, 변환한 전기신호를 촬상신호로서 화상처리부(20)에 출력한다. 또, CCD(50)는 TG(66)가 CPU(70)로부터의 제어신호에 따라서 생성한 소정 주파수의 타이밍신호에 따라서 구동한다.The
카드I/F(76)에는 메모리ㆍ카드(80)가 착탈 가능하게 접속되어 있다.The
메모리(69)는 CPU(70)에 의한 디지털카메라(100)의 각부의 제어에 필요한 프로그램이나 데이터를 격납하고 있다.The
DRAM(68)은 CCD(50)에 의해서 촬상된 후, CPU(70)에 보내져 온 화상데이터를 일시 기억하는 버퍼메모리로서 사용되는 동시에, CPU(70)의 작업메모리로서도 사용된다.The
화상표시부(71)는 액정디스플레이와 그 구동회로로 구성되어 있다. 디지털카메라(100)가 촬영대기상태에 있을 때는, CCD(50)에 의해서 촬상된 피사체를 스루화상으로서 액정디스플레이에 표시한다. 화상표시부(71)는 디지털카메라(100)가 화상을 재생할 때에는 메모리ㆍ카드(80)로부터 판독된 화상을 액정디스플레이에 표시한다.The
키 입력부(72)는 셔터버튼이나 모드 키, 설정 키, 십자 키, 촬영모드선택 키 등의 복수의 조작 키를 포함하고, 사용자의 키 조작에 따른 조작신호를 CPU(70)에 출력한다.The
CPU(70)는 디지털카메라(100)의 전체를 제어한다. CPU(70)는 메모리(69)로부터 판독한 프로그램과의 협동에 의해서 각종의 동작을 실행한다.The
다음으로, 도 2를 참조하여 화상처리부(20)의 구성에 대해 설명한다. 화상처리부(20)는 아날로그처리부(CDS, AGC, A/D, 21)와, 블랙레벨조정부(22)와, 화이트밸런스조정부(23)와, 감마보정부(24)와, 화소보간유닛(30)과, YUV변환처리부(27)와, JPEG변환부(28)로 구성되어 있다.Next, with reference to FIG. 2, the structure of the
화상처리부(20)에 있어서, 상관이중샘플링회로(CDS)는 CCD(50)로부터 출력된 아날로그신호인 촬상신호에 포함되는 노이즈를 감소시킨다. 자동이득제어회로 (AGC)는 노이즈 저감 후에 있어서의 촬상신호의 게인을 조정한다. A/D변환기(A/D)는 게인조정 후의 촬상신호를 디지털신호, 즉 컬러필터의 베이어 배열에 따른 R(적색정보를 나타내는 화소데이터), G(녹색정보를 나타내는 화소데이터), B(청색정보를 나타내는 화소데이터)의 화소데이터인 베이어 데이터로 변환한다.In the
블랙레벨조정부(22)는 베이어 데이터를 소정의 블랙레벨로 클램프한다. 화이트밸런스조정부(23)는 클램프 후의 베이어 데이터에 대한 R, G, B마다의 게인조정을 실행하고 화이트밸런스의 조정을 실행한다. 감마보정부(24)는 화이트밸런스조정 후에 베이어 데이터에 대한 감마특성(계조특성)의 보정을 실행한다. 화소보간유닛(30)은 감마특성의 보정 후의 베이어 데이터에 대해서 화소값의 정보를 보간하고, 화상신호를 생성한다. 화소보간유닛(30)의 상세에 대해서는 후술한다.The black
YUV변환처리부(27)는 화소정보의 보간된 화상신호로부터 휘도신호(Y)와 색차신호(U, V)로 이루어지는 화상신호를 생성한다. JPEG변환부(28)는 화상신호를 JPEG형식으로 압축부호화한다. 압축부호화된 화상신호가 메모리ㆍ카드(80)에 기록된다.The YUV
다음으로, 도 3을 참조하여 화소보간유닛(30)에 대해 상세하게 설명한다. 화소보간유닛(30)은 제 1 회로부(30a), 제 2 회로부(30b)의 2개의 회로부와, LPF (Low Pass Filter, 26)와, 가산기(36)에 의해서 구성되어 있다. 제 1 회로부(30a)는 광대역LPF(31)와, G보간회로(32)와, R보간회로(33)와, B보간회로(34)로 구성되어 있다. 제 2 회로부(30b)는 G화소 추출회로(40)와, HPF(High Pass Filter, 37)로 구성되어 있다.Next, the
제 1 회로부(30a)에 있어서는 감마보정부(24)로부터 보내져 오는 베이어 데이터에 대해, 결락되어 있는 화소의 정보를 보간하는 신호처리가 시행되고, 화소보간유닛(30)에 있어서 생성되는 화상신호의 기준이 되는 컬러화상신호가 생성된다.In the
여기에서, 제 1 회로부(30a)에 있어서의 신호처리는 일본국 특개 2006- 135564호 공보에 개시되어 있는 신호처리와 똑같은 것이다. 즉, 제 1 회로부 (30a)에 있어서의 신호처리에 대해서는, 베이어 데이터에 있어서, G화소의 정보가 존재하지 않는 R화소나 B화소(이하, 「보간대상화소」라고 한다)에 G화소의 화소값을 보간할 때에, 보간대상화소의 주변에 있어서의 G화소의 화소값 밖에 참조하지 않게 된다. 그로 인해, 보간대상화소에 G화소의 화소값을 보간할 때에 참조하는 화소값의 정보가 적게 된다. 그 결과, 보간대상화소의 주변에 있어서의 화소값의 상관성을 적정하게 판정할 수 없고, 보간대상화소에 G화소의 적정한 화소값을 보간할 수 없는 경우가 있다.Here, the signal processing in the
그리고, 이 부적절한 G화소가 고립점으로 되어 화상신호 중에 노이즈가 발생하는 경우가 있다. 그로 인해, 이 노이즈성분을 제거하기 위해 로패스필터인 LPF(26)에 이 화상신호를 통과시킴으로써 화상신호의 고주파 성분(노이즈성분 등)을 제거한다. 그러나, LPF(26)에 화상신호를 통과시키면 노이즈성분은 제거할 수 있지만, 화상신호에 있어서의 윤곽의 샤프니스도 저하하고, 화상신호에 의거하는 재생화상이 희미하게 된다This improper G pixel becomes an isolated point, and noise may occur in an image signal. Therefore, the high frequency component (noise component, etc.) of the image signal is removed by passing the image signal through the
그래서, 제 2 회로부(30b)에 의해서 감마보정부(24)로부터 보내져 오는 베이어 데이터로부터 G화소의 적정한 정보를 별도 추출한다. 그리고, 가산기(38)에 있어서, 추출한 G화소의 정보를 LPF(26)를 통과한 화상신호에 대해 가산한다. G화소의 정보는 재생화상에 있어서의 윤곽의 샤프니스에 영향을 주기 때문에, 이와 같이 하면, 베이어 데이터에 의거하는 재생화상의 윤곽이 강조되고, 재생화상이 희미해지는 일이 없어진다.Therefore, appropriate information of the G pixel is separately extracted from the Bayer data sent from the
다음으로, 제 2 회로부(30b)에 있어서의 신호처리에 대해 상세하게 설명한다. 제 2 회로부(30b)에 있어서의 G화소 추출회로(40)는 베이어 데이터에 있어서의 보간대상화소(G화소의 정보가 존재하지 않는 R화소, B화소)에 대해 보간해야 할 G화소의 정보(화소값)를 추출하기 위한 회로이다. G화소 추출회로(40)는 도 4에 나타내는 바와 같이, 수평방향 기준화상 생성부(41)와, 수직방향 기준화상 생성부 (42)와, 수평방향 상관도 산출부(43)와, 수직방향 상관도 산출부(44)와, 화소값 결정부(45)와, 화소값 추출부(46)로 구성되어 있다.Next, the signal processing in the
수평방향 기준화상 생성부(41)는 베이어 데이터에 대해, 수평방향으로 인접하는 화소의 화소값을 이용한 연산을 실행하고, 수평방향 기준화상을 생성한다. 수평방향 기준화상은 베이어 데이터의 각 보간대상화소의 주변에 있어서, 화소의 상관성이 강한 방향을 구하기 위한 정보이다.The horizontal reference
구체적으로는, 수평방향 기준화상 생성부(41)는 베이어 데이터의 각 보간대상화소의 주변에 있어서의 각 화소에 대해서, 다음의 (A1)부터 (A4)의 어느 하나의 처리를 순차 실행함으로써 수평방향 기준화상을 생성한다.Specifically, the horizontal reference
(A1) 수평방향에 있어서 G화소에 인접하는 R화소에 대해서는 해당 R화소의 화소값에서, 수평방향에 있어서 해당 R화소에 인접하는 G화소의 화소값의 평균값을 감산하는 처리(A1) Process of subtracting the average value of pixel values of the R pixel adjacent to the R pixel in the horizontal direction from the pixel value of the R pixel adjacent to the G pixel in the horizontal direction
(A2) 수평방향에 있어서 R화소에 인접하는 G화소에 대해서는 수평방향에 있어서 해당 G화소에 인접하는 R화소의 화소값의 평균값에서, 해당 G화소의 화소값을 감산하는 처리(A2) Processing for subtracting the pixel value of the G pixel from the average value of the pixel values of the R pixel adjacent to the G pixel in the horizontal direction with respect to the G pixel adjacent to the R pixel in the horizontal direction
(A3) 수평방향에 있어서 B화소에 인접하는 G화소에 대해서는 수평방향에 있어서 해당 G화소에 인접하는 B화소의 화소값의 평균값에서, 해당 G화소의 화소값을 감산하는 처리(A3) A process of subtracting the pixel value of the G pixel from the average value of the pixel values of the B pixel adjacent to the G pixel in the horizontal direction with respect to the G pixel adjacent to the B pixel in the horizontal direction.
(A4) 수평방향에 있어서 G화소에 인접하는 B화소에 대해서는 해당 B화소의 화소값에서, 수평방향에 있어서 해당 B화소에 인접하는 G화소의 화소값의 평균값을 감산하는 처리(A4) Process of subtracting the average value of pixel values of the B pixels adjacent to the B pixels in the horizontal direction from the pixel values of the B pixels adjacent to the G pixels in the horizontal direction
도 5에 베이어 데이터에 있어서의 각 화소의 화소값의 예를 나타낸다. 도 5에 있어서, B0, B2,ㆍㆍㆍB48 등 B로 표기되어 있는 위치는, 베이어 데이터에 있어서 B화소가 배치되어 있는 위치이다. G1, G3,ㆍㆍㆍG47 등 G로 표기되어 있는 위치는, 베이어 데이터에 있어서 G화소가 배치되어 있는 위치이다. R8, R10,ㆍㆍㆍR40 등 R로 표기되어 있는 위치는, 베이어 데이터에 있어서 R화소가 배치되어 있는 위치이다.5 shows an example of pixel values of respective pixels in Bayer data. In Fig. 5, the positions denoted by B, such as B0, B2, ..., B48, are positions where B pixels are arranged in the Bayer data. The positions indicated by G, such as G1, G3, ..., G47, are positions where G pixels are arranged in the Bayer data. The positions denoted by R, such as R8, R10, ..., R40, are positions where the R pixels are arranged in the Bayer data.
또, 도 5에 있어서, B0, B2,ㆍㆍㆍB48은 각 B화소의 화소값을 나타내고 있다. G1, G3,ㆍㆍㆍG47은 각 G화소의 화소값을 나타내고 있다. R8, R10,ㆍㆍㆍR40은 각 R화소의 화소값을 나타내고 있다.In Fig. 5, B0, B2, ... B48 indicate pixel values of each B pixel. G1, G3, ..., G47 represent pixel values of each G pixel. R8, R10, ... R40 represent pixel values of each R pixel.
수평방향 기준화상의 생성에 대해서는 베이어 데이터에 있어서의 각 보간대상화소의 주변영역에 착목한다. 도 6에 수평방향 기준화상의 예인 수평방향 기준화상(40H)을 나타낸다. 수평방향 기준화상(40H)은 도 5에 나타내는 「R24」의 위치에 있어서의 화소(보간대상화소)에 대한 수평방향 기준화상이다.The horizontal reference image is generated in the peripheral area of each interpolation target pixel in the Bayer data. 6 shows a
예를 들면, 수평방향 기준화상(40H)의 생성에 대해서 도 5에 나타내는 「R24 」의 위치에 있어서의 화소의 주변영역에 있어서의 7×7개의 화소인 B0, G1, B2,ㆍㆍㆍB48의 위치에 있어서의 각 화소로 이루어지는 영역에 착목한다. 또한, 착목하는 주변영역은 7×7개의 화소로 이루어지는 영역이 아니라도 좋다.For example, for the generation of the
다음으로, 수평방향 기준화상에 있어서의 각 성분의 예로서 수평방향 기준화상(40H)에 있어서의 각 성분에 대해 설명한다.Next, each component in the
수평방향 기준화상(40H)에 있어서의 성분 「h8」은 도 5에 나타내는 G7, R8, G9의 화소값을 이용한 (A1)의 처리에 의해서 이하의 값이 된다.The component "h8" in the
h8=R8-(G7+G9)/2h8 = R8- (G7 + G9) / 2
수평방향 기준화상(40H)에 있어서의 성분 「h9」는 도 5에 나타내는 R8, G9, R10의 화소값을 이용한 (A2)의 처리에 의해서 이하의 값이 된다.The component "h9" in the
h9=(R8+R10)/2-G9h9 = (R8 + R10) / 2-G9
수평방향 기준화상(40H)에 있어서의 성분 「h15」는 도 5에 나타내는 B14, G15, B16의 화소값을 이용한 (A3)의 처리에 의해서 이하의 값이 된다. The component "h15" in the
h15=(B14+B16)/2-G15h15 = (B14 + B16) / 2-G15
수평방향 기준화상(40H)에 있어서의 성분 「h16」은 도 5에 나타내는 G15, B16, G17의 화소값을 이용한 (A4)의 처리에 의해서 이하의 값이 된다.The component "h16" in the
h16=B16-(G15+G17)h16 = B16- (G15 + G17)
똑같이 해서, 수평방향 기준화상(40H)에 있어서의 다른 성분에 대해서도 (A1)에서 (A4)의 처리를 실행함으로써 구할 수 있다.Similarly, the other components in the
(A1)에서 (A4)의 처리에 대신하여 베이어 데이터의 보간대상화소의 주변에 있어서의 각 화소에 대해서, 다음의 (A5)에서 (A8)의 어느 하나의 처리를 순차 실행함으로써 수평방향 기준화상을 생성해도 좋다.Instead of the processing of (A1) to (A4), the horizontal reference image is executed by sequentially executing any of the following processing (A5) to (A8) for each pixel in the periphery of the interpolation target pixel of the Bayer data. May be generated.
(A5) 수평방향에 있어서 G화소에 인접하는 R화소에 대해서는 수평방향에 있어서 해당 R화소에 인접하는 G화소의 화소값의 평균값에서, 해당 R화소의 화소값을 감산하는 처리(A5) A process of subtracting the pixel value of the R pixel from the average value of the pixel values of the G pixel adjacent to the R pixel in the horizontal direction with respect to the R pixel adjacent to the G pixel in the horizontal direction.
(A6) 수평방향에 있어서 R화소에 인접하는 G화소에 대해서는 해당 G화소의 화소값에서, 수평방향에 있어서 해당 G화소에 인접하는 R화소의 화소값의 평균값을 감산하는 처리(A6) Processing for subtracting the average value of pixel values of the R pixels adjacent to the G pixels in the horizontal direction from the pixel values of the G pixels adjacent to the R pixels in the horizontal direction
(A7) 수평방향에 있어서 B화소에 인접하는 G화소에 대해서는 해당 G화소의 화소값에서, 수평방향에 있어서 해당 G화소에 인접하는 B화소의 화소값의 평균값을 감산하는 처리(A7) Process of subtracting the average value of pixel values of the G pixels adjacent to the G pixels in the horizontal direction from the pixel values of the G pixels adjacent to the B pixels in the horizontal direction
(A8) 수평방향에 있어서 G화소에 인접하는 B화소에 대해서는 수평방향에 있어서 해당 B화소에 인접하는 G화소의 화소값의 평균값에서, 해당 B화소의 화소값을 감산하는 처리(A8) A process of subtracting the pixel value of the B pixel from the average value of the pixel values of the G pixel adjacent to the B pixel in the horizontal direction with respect to the B pixel adjacent to the G pixel in the horizontal direction
한편, 수직방향 기준화상 생성부(42)는 베이어 데이터에 대해, 수직방향으로 인접하는 화소의 화소값을 이용한 연산을 실행하고, 수직방향 기준화상을 생성한다. 수직방향 기준화상은 베이어 데이터의 각 보간대상화소의 주변에 있어서, 화소의 상관성이 강한 방향을 구하기 위한 정보이다. 구체적으로는, 수직방향 기준화상 생성부(42)는 베이어 데이터의 보간대상화소의 주변에 있어서의 각 화소에 대해서, 다음의 (B1)부터 (B4)의 어느 하나의 처리를 순차 실행함으로써 수직방향 기 준화상을 생성한다.On the other hand, the vertical reference
(B1) 수직방향에 있어서 G화소에 인접하는 R화소에 대해서는 해당 R화소의 화소값에서, 수직방향에 있어서 해당 R화소에 인접하는 G화소의 화소값의 평균값을 감산하는 처리(B1) A process of subtracting an average value of pixel values of the R pixel adjacent to the R pixel in the vertical direction from the pixel value of the R pixel adjacent to the G pixel in the vertical direction.
(B2) 수직방향에 있어서 R화소에 인접하는 G화소에 대해서는 수직방향에 있어서 해당 G화소에 인접하는 R화소의 화소값의 평균값에서, 해당 G화소의 화소값을 감산하는 처리(B2) Processing for subtracting the pixel value of the G pixel from the average value of the pixel values of the R pixel adjacent to the G pixel in the vertical direction with respect to the G pixel adjacent to the R pixel in the vertical direction
(B3) 수직방향에 있어서 B화소에 인접하는 G화소에 대해서는 수직방향에 있어서 해당 G화소에 인접하는 B화소의 화소값의 평균값에서, 해당 G화소의 화소값을 감산하는 처리(B3) For a G pixel adjacent to the B pixel in the vertical direction, a process of subtracting the pixel value of the G pixel from the average value of the pixel values of the B pixel adjacent to the G pixel in the vertical direction.
(B4) 수직방향에 있어서 G화소에 인접하는 B화소에 대해서는 해당 B화소의 화소값에서, 수직방향에 있어서 해당 B화소에 인접하는 G화소의 화소값의 평균값을 감산하는 처리(B4) A process of subtracting the average value of pixel values of the B pixels adjacent to the B pixels in the vertical direction from the pixel values of the B pixels adjacent to the G pixels in the vertical direction.
도 7에 수직방향 기준화상의 예로서 수직방향 기준화상(40V)을 나타낸다. 여기에서, 수직방향 기준화상(40V)에 있어서의 각 성분에 대해 설명한다.7 shows a
수직방향 기준화상(40V)에 있어서 성분 「v8」은 도 5에 나타내는 G1, R8, G15의 화소값을 이용한 (B1)의 처리에 의해서 이하의 값이 된다.In the
v8=R8-(G1+G15)/2 v8 = R8- (G1 + G15) / 2
수직방향 기준화상(40V)에 있어서 성분 「v15」는 도 5에 나타내는 R8, G15, R22의 화소값을 이용한 (B2)의 처리에 의해서 이하의 값이 된다.In the
v15=(R8+R22)/2-G15v15 = (R8 + R22) / 2-G15
수직방향 기준화상(40V)에 있어서 성분 「v9」는 도 5에 나타내는 B2, G9, B16의 화소값을 이용한 (B3)의 처리에 의해서 이하의 값이 된다.In the
v9=(B2+B16)/2-G9v9 = (B2 + B16) / 2-G9
수직방향 기준화상(40V)에 있어서 성분 「v16」은 도 5에 나타내는 G9, B16, G23의 화소값을 이용한 (B4)의 처리에 의해서 이하의 값이 된다.In the
v16=B16-(G9+G23)/2v16 = B16- (G9 + G23) / 2
똑같이 해서, 수직방향 기준화상(40V)에 있어서의 다른 성분에 대해서도 (B1)에서 (B4)의 처리를 실행함으로써 구할 수 있다.Similarly, the other components in the
(B1)에서 (B4)의 처리에 대신하여 베이어 데이터의 보간대상화소의 주변에 있어서의 각 화소에 대해서, 다음의 (B5)에서 (B8)의 어느 하나의 처리를 순차 실행함으로써 수직방향 기준화상을 생성해도 좋다.Instead of the processing of (B1) to (B4), the vertical reference image is executed by sequentially executing any one of the following (B5) to (B8) on each pixel in the periphery of the interpolation target pixel of the Bayer data. May be generated.
(B5) 수직방향에 있어서 G화소에 인접하는 R화소에 대해서는 수직방향에 있어서 해당 R화소에 인접하는 G화소의 화소값의 평균값에서, 해당 R화소의 화소값을 감산하는 처리(B5) For an R pixel adjacent to the G pixel in the vertical direction, a process of subtracting the pixel value of the R pixel from the average value of the pixel values of the G pixel adjacent to the R pixel in the vertical direction.
(B6) 수직방향에 있어서 R화소에 인접하는 G화소에 대해서는 해당 G화소의 화소값에서, 수직방향에 있어서 해당 G화소값에 인접하는 R화소의 화소값의 평균값을 감산하는 처리(B6) Processing for subtracting the average value of the pixel values of the R pixels adjacent to the G pixels in the vertical direction from the pixel values of the G pixels in the vertical direction for the G pixels adjacent to the R pixels in the vertical direction.
(B7) 수직방향에 있어서 B화소에 인접하는 G화소에 대해서는 해당 G화소의 화소값에서, 수직방향에 있어서 해당 G화소값에 인접하는 B화소의 화소값의 평균값 을 감산하는 처리(B7) Process for subtracting the average value of pixel values of the B pixel adjacent to the G pixel value in the vertical direction from the pixel values of the G pixel adjacent to the B pixel in the vertical direction
(B8) 수직방향에 있어서 G화소에 인접하는 B화소에 대해서는 수직방향에 있어서 해당 B화소에 인접하는 G화소의 화소값의 평균값에서, 해당 B화소의 화소값을 감산하는 처리(B8) A process of subtracting the pixel value of the B pixel from the average value of the pixel values of the G pixel adjacent to the B pixel in the vertical direction with respect to the B pixel adjacent to the G pixel in the vertical direction.
수평방향 상관도 산출부(43)는 베이어 데이터에 있어서의 각 보간대상화소에 대해서, 수평방향 기준화상으로부터 수평방향의 상관도인 수평상관도(Hr)를 산출한다. 수평방향 상관도 산출부(43)는 다음의 (C1)에서 (C3)의 처리를 실행함으로써 수평상관도(Hr)를 산출한다.The
(C1) 수평방향 기준화상에 있어서의 각 성분간의 차분값을 구한다.(C1) The difference value between the components in the horizontal reference image is obtained.
(C2) (C1)에 있어서 구한 각 차분값의 절대값을 구한다.(C2) The absolute value of each difference value calculated | required in (C1) is calculated | required.
(C3) (C2)에 있어서 구한 각 절대값에 소정의 계수를 곱한 값의 총합을 수평상관도(Hr)로서 산출한다.(C3) The sum of the values obtained by multiplying the absolute values obtained in (C2) by a predetermined coefficient is calculated as the horizontal correlation diagram (Hr).
(C1)에서 (C3)의 처리의 예를 들면, 도 5에 나타내는 「R24」의 위치에 있어서의 화소에 관한 수평상관도(Hr)는 이하와 같이 된다.As an example of the processing from (C1) to (C3), the horizontal correlation diagram Hr relating to the pixel at the position of "R24" shown in FIG. 5 is as follows.
Hr=abs(h8-h9)+2×abs(h9-h10)+2×abs(h10-h11)+abs(h11-h12)+2×{abs(h15-h16)+2×abs(h16-h17)+2×abs(h17-h18)+abs(h18-h19)}+2×{abs(h22-h23)+2×abs(h23-h24)+2×abs(h24-h25)+abs(h25-h26))+2×{abs(h29-h30)+2×abs(h30-h31)+2×abs(h31-h32)+abs(h32-h33)}+abs(h36-h37)+2×abs(h37-h38)+2×abs(h38-h39)+abs(h39-h40)Hr = abs (h8-h9) + 2 × abs (h9-h10) + 2 × abs (h10-h11) + abs (h11-h12) + 2 × (abs (h15-h16) + 2 × abs (h16- h17) + 2 × abs (h17-h18) + abs (h18-h19)} + 2 × {abs (h22-h23) + 2 × abs (h23-h24) + 2 × abs (h24-h25) + abs ( h25-h26)) + 2 × (abs (h29-h30) + 2 × abs (h30-h31) + 2 × abs (h31-h32) + abs (h32-h33)} + abs (h36-h37) +2 × abs (h37-h38) + 2 × abs (h38-h39) + abs (h39-h40)
여기에서, abs()는 절대값을 구하는 연산을 나타낸다.Here, abs () represents an operation for finding an absolute value.
수평상관도(Hr)의 값이 작을수록 수평방향의 상관성이 강해진다.The smaller the value of the horizontal correlation diagram Hr, the stronger the correlation in the horizontal direction.
수직방향 상관도 산출부(44)는 베이어 데이터에 있어서의 각 보간대상화소에 대해서, 수직방향 기준화상으로부터 수직방향의 상관도인 수직상관도(Vd)를 산출한다. 수직방향 상관도 산출부(44)는 다음의 (D1)에서 (D3)의 처리를 실행함으로써 수직상관도(Vd)를 산출한다.The vertical correlation
(D1) 수직방향 기준화상에 있어서의 각 성분간의 차분값을 구한다.(D1) The difference value between the components in the vertical reference image is obtained.
(D2) (D1)에 있어서 구한 각 차분값의 절대값을 구한다.(D2) The absolute value of each difference value calculated | required in (D1) is calculated | required.
(D3) (D2)에 있어서 구한 각 절대값에 소정의 계수를 곱한 값의 총합을 수직상관도(Vd)로서 산출한다.(D3) The sum of the values obtained by multiplying each absolute value obtained in (D2) by a predetermined coefficient is calculated as the vertical correlation diagram Vd.
(D1)에서 (D3)의 처리의 예를 들면, 도 5에 나타내는 「R24」의 위치에 있어서의 화소에 관한 수직상관도(Vd)는 이하와 같이 된다.As an example of the processing from (D1) to (D3), the vertical correlation diagram Vd with respect to the pixel at the position of "R24" shown in FIG. 5 is as follows.
Vd=abs(v8-v15)+2×abs(v15-v22)+2×abs(v22-v29)+abs(v29-v36)+2×{abs(v9-v16)+2×abs(v16-v23)+2×abs(v23-v30)+abs(v30-v37)}+2×{abs(v10-v17)+2×abs(v17-v24)+2×abs(v24-v31)+abs(v31-v38))+2×(abs(v11-v18)+2×abs(v18-v25)+2×abs(v25-v32)+abs(v32-v39)}+abs(v12-v19)+2×abs(v19-v25)+2×abs(v26-v33)+abs(v33-v40)Vd = abs (v8-v15) + 2 × abs (v15-v22) + 2 × abs (v22-v29) + abs (v29-v36) + 2 × (abs (v9-v16) + 2 × abs (v16- v23) + 2 × abs (v23-v30) + abs (v30-v37)} + 2 × {abs (v10-v17) + 2 × abs (v17-v24) + 2 × abs (v24-v31) + abs ( v31-v38)) + 2 × (abs (v11-v18) + 2 × abs (v18-v25) + 2 × abs (v25-v32) + abs (v32-v39)} + abs (v12-v19) +2 × abs (v19-v25) + 2 × abs (v26-v33) + abs (v33-v40)
여기에서, abs()는 절대값을 구하는 연산을 나타낸다.Here, abs () represents an operation for finding an absolute value.
수직상관도(Vd)의 값이 작을수록 수직방향의 상관성이 강해진다.The smaller the value of the vertical correlation diagram Vd, the stronger the correlation in the vertical direction.
화소값 결정부(45)는 수평상관도(Hr)와 수직상관도(Vd)에 의거하여, 보간대상화소에 대해서 보간할 G화소의 화소값을 결정한다.The pixel
수평상관도(Hr)가 수직상관도(Vd)보다도 작은, 환언하면, 수평방향의 상관성이 수직방향의 상관성보다도 강한 경우, 화소값 결정부(45)는 보간대상화소의 수평방향에 있어서 인접하는 G화소의 화소값의 평균값을 보간대상화소에 대해서 보간할 G화소의 화소값으로서 결정한다.In other words, when the horizontal correlation diagram Hr is smaller than the vertical correlation diagram Vd, in other words, when the horizontal correlation is stronger than the vertical correlation, the pixel
이 경우, 예를 들면, 화소값 결정부(45)는 도 5에 나타내는 「R24」의 위치에 있어서의 화소(보간대상화소)에 대해 보간되는 G화소의 화소값「G24」로서, 수평방향에 있어서「R24」의 위치에 있어서의 화소에 인접하는 G화소의 화소값「G23」,「G25」를 이용하여 이하의 화소값을 결정한다.In this case, for example, the pixel
G24=(G23+G25)/2G24 = (G23 + G25) / 2
한편, 수직상관도(Vd)가 수평상관도(Hr)보다도 작은, 환언하면, 수직방향의 상관성이 수평방향의 상관성보다도 강한 경우에는, 화소값 결정부(45)는 보간대상화소의 수직방향에 있어서 인접하는 G화소의 화소값의 평균값을 보간대상화소에 대해서 보간할 G화소의 화소값으로서 결정한다.On the other hand, in the case where the vertical correlation diagram Vd is smaller than the horizontal correlation diagram Hr, in other words, when the vertical correlation is stronger than the horizontal correlation, the pixel
이 경우, 예를 들면, 화소값 결정부(45)는 도 5에 나타내는「R24」의 위치에 있어서의 화소(보간대상화소)에 대해 보간되는 G화소의 화소값「G24」로서, 수직방향에 있어서「R24」의 위치에 있어서의 화소에 인접하는 G화소의 화소값「G17」,「G31」를 이용하여 이하의 화소값을 결정한다.In this case, for example, the pixel
G24=(G17+G31)/2G24 = (G17 + G31) / 2
화소값 추출부(46)는 화소값 결정부가 결정한 화소값을 베이어 데이터에 있어서의 보간대상화소에 대해 보간해야 할 G화소의 화소값으로서 추출한다.The pixel
G화소 추출회로(40)는 「R24」의 위치에 있어서의 화소 이외에도, 베이어 데이터에 있어서의 모든 보간대상화소(G화소의 정보가 존재하지 않는 R화소, B화소)에 대해서, 상기 설명한 처리를 시행하여 각 보간대상에 대해 보간해야 할 G화소의 화소값을 추출한다. 즉, G화소 추출회로(40)는 베이어 데이터에 있어서의 모든 보간대상화소의 각각에 대해, 수평방향 기준화상과 수직방향 기준화상을 생성하고, 이들 수평방향 기준화상과 수직방향 기준화상에 있어서의 성분을 이용하여 수평방향에 있어서의 화소값의 상관성과 수직방향에 있어서의 화소값의 상관성을 산출하여 각 보간대상에 대해 보간해야 할 G화소의 화소값을 추출한다. 이 처리에 의해서, 베이어 데이터로부터 추출한 적정한 G화소의 정보만으로 이루어지는 화상신호(이하, 「G화상신호」라고 한다)가 얻어진다.The G
도 3으로 되돌아가서, 제 2 회로부(30b)에 있어서, G화소 추출회로(40)가 얻은 G화상신호를 하이패스필터인 HPF(37)를 통과시켜서 G화상신호의 저주파 성분을 제거한다.Returning to FIG. 3, the
그리고, 가산기(36)에 있어서, 제 1 회로부(30a)에 있어서 신호처리가 시행되어 LPF(로패스필터, 26)를 통과한 컬러화상신호에 대해, 저주파 성분이 제거된 G화상신호가 가산, 즉 보간된다.In the
이상 설명한 바와 같이, 본 실시형태에 따르면, 보간대상화소의 주변에 있어서의 G화소뿐만 아니라, 보간대상화소의 주변에 있어서의 R화소나 B화소도 참조하여 베이어 데이터에 대해 보간할 G화소의 화소값을 결정했다. 이와 같이 하면, 베이어 데이터에 대해서 G화소를 보간할 때에 참조할 화소의 정보가 많아진다. 그 결과, 화상신호에 대해서 G화소의 적정한 화소값을 보간할 수 있다.As described above, according to the present embodiment, the pixel values of the G pixels to be interpolated with respect to the Bayer data by referring not only to the G pixels around the interpolation target pixels but also to the R pixels and the B pixels around the interpolation target pixels. Decided. This increases the information of pixels to be referred to when interpolating G pixels with respect to the Bayer data. As a result, an appropriate pixel value of the G pixel can be interpolated with respect to the image signal.
또, 본 실시형태에 따르면, 보간대상화소의 주변에 있어서의 G화소, R화소, B화소의 각각의 화소값을 이용하여 수평방향 기준화상과 수직방향 기준화상을 생성ㅎ하고 이들 수평방향 기준화상과 수직방향 기준화상에 있어서의 성분을 이용하여 수평 방향에 있어서의 화소값의 상관성과 수직방향에 있어서의 화소값의 상관성을 산출했다. 이와 같이 하면, 화소값에 관한 상관성을 산출할 때에 참조할 화소의 정보가 많아진다. 그 결과, 화소값에 관한 상관성이 강한 방향을 실수해서 판단할 가능성을 저감할 수 있다.According to the present embodiment, the horizontal reference image and the vertical reference image are generated using the pixel values of the G pixels, the R pixels, and the B pixels around the interpolation target pixel, and these horizontal reference images are generated. The correlation between the pixel values in the horizontal direction and the pixel values in the vertical direction was calculated using the component in the vertical reference image. In this way, the information of the pixel to be referred when calculating the correlation regarding the pixel value increases. As a result, it is possible to reduce the possibility of judging by mistake the direction of strong correlation with the pixel value.
또, 본 실시형태에 따르면, 제 1 회로부(30a)에 있어서 신호처리가 시행되어 LPF(로패스필터, 26)를 통과한 컬러화상신호에 대해, 제 2 회로부(30b)에 있어서 추출된 G화소의 적정한 정보를 보간했다. G화소의 정보는 재생화상에 있어서의 윤곽의 샤프니스에 영향을 주기 때문에 이와 같이 하면, 베이어 데이터에 의거하는 재생화상의 윤곽이 강조되어 재생화상의 화질을 향상시킬 수 있다.In addition, according to the present embodiment, the signal processing is performed in the
<< 변형예Variant >>
다음으로, 본 실시형태의 변형예에 대해 설명한다. 보간대상화소의 주변에 있어서의 화소에 대해서, 수평방향의 상관성과 수직방향의 상관성의 차가 적은 경우가 있다. 즉, 보간대상화소의 주변에 있어서는 그러데이션이 완만한 경우가 있다. 이 경우, 상기 실시형태의 처리에 의해서 베이어 데이터의 보간대상화소에 대해 G화소를 보간하면, 보간대상화소의 화소값이 두드러진 값(고립점)이 되어 화상신호에 의거하는 재생화상의 화질이 열화한다고 하는 과제가 있다. 본 변형예는 이와 같은 과제에 대처하는 것이다.Next, the modification of this embodiment is demonstrated. The difference in the correlation between the horizontal direction and the vertical direction may be small with respect to the pixel around the interpolation target pixel. That is, the gradation may be gentle around the interpolation pixel. In this case, when the G pixel is interpolated with respect to the interpolation target pixel of the Bayer data by the processing of the above embodiment, the pixel value of the interpolation target pixel becomes a prominent value (isolating point) and the image quality of the reproduced image based on the image signal is deteriorated. There is problem to say. This modification copes with such a problem.
이 변형예에 있어서는, 도 8에 나타내는 바와 같이, G화소 추출회로(40)에 있어서 혼합비 결정부(47)를 설치한 점만이, 상기의 실시형태와 달리하고 있다. 다른 구성이나 처리는 상기의 실시형태와 똑같다.In this modification, as shown in FIG. 8, only the point in which the mixing
혼합비 결정부(47)는 수평방향 상관도 산출부(43)가 산출한 수평상관도(Hr)와 수직방향 상관도 산출부(44)가 산출한 수직상관도(Vd)로부터 혼합비를 결정한다.The mixing
수평상관도(Hr)가 수직상관도(Vd)보다도 작은, 즉, 수평방향의 상관성이 수직방향의 상관성보다도 강한 경우에는, 혼합비 결정부(47)는 혼합비로서 Hr/Vd로 이루어지는 값을 결정한다. 한편, 수직상관도(Vd)가 수평상관도(Hr)보다도 작은, 즉, 수직방향의 상관성이 수평방향의 상관성보다도 강한 경우에는, 혼합비 결정부 (47)는 혼합비로서 Vd/Hr로 이루어지는 값을 결정한다.When the horizontal correlation diagram Hr is smaller than the vertical correlation diagram Vd, that is, when the horizontal correlation is stronger than the vertical correlation, the mixing
수평방향의 상관성이 수직방향의 상관성보다도 강한 경우, 화소값 결정부 (45)는 수평방향에 있어서 보간대상화소에 인접하는 G화소의 화소값의 평균값과, 수평방향 및 수직방향에 있어서 보간대상화소에 인접하는 4개의 G화소의 평균값을 혼합비에 의거하는 비율로 가산한 화소값의 G화소를 보간대상화소에 대해서 보간할 G화소의 화소값으로서 결정한다.When the correlation in the horizontal direction is stronger than the correlation in the vertical direction, the pixel
이 경우, 예를 들면, 도 5에 나타내는「R24」의 위치에 있어서의 화소에 대해 보간되는 G화소의 화소값「G24」는 이하의 화소값이 된다.In this case, for example, the pixel value "G24" of the G pixel interpolated with respect to the pixel at the "R24" position shown in FIG. 5 becomes the following pixel values.
G24=(1.0-(Hr/Vd))×(G23+G25)/2+(Hr/Vd)×(G17+G31+G23+G25)/4G24 = (1.0- (Hr / Vd)) × (G23 + G25) / 2 + (Hr / Vd) × (G17 + G31 + G23 + G25) / 4
수직방향의 상관성이 수평방향의 상관성보다도 강한 경우, 화소값 결정부 (45)는 수직방향에 있어서 보간대상화소에 인접하는 G화소의 화소값의 평균값과, 수평방향 및 수직방향에 있어서 보간대상화소에 인접하는 4개의 G화소의 평균값을 혼합비에 의거하는 비율로 가산한 화소값의 G화소를 보간대상화소에 대해 보간할 G화소의 화소값으로서 결정한다.When the correlation in the vertical direction is stronger than the correlation in the horizontal direction, the pixel
이 경우, 예를 들면, 도 5에 나타내는「R24」의 위치에 있어서의 화소에 대해 보간되는 G화소의 화소값「G24」는 이하의 화소값이 된다.In this case, for example, the pixel value "G24" of the G pixel interpolated with respect to the pixel at the "R24" position shown in FIG. 5 becomes the following pixel values.
G24=(1.0-(Vd/Hr))×(G17+G31)/2+(Vd/Hr)×(G17+G31+G23+G25)/4G24 = (1.0- (Vd / Hr)) × (G17 + G31) / 2 + (Vd / Hr) × (G17 + G31 + G23 + G25) / 4
화소값 추출부(46)는 화소값 결정부가 결정한 화소값을 베이어 데이터에 있어서의 보간대상화소에 대해 보간해야 할 G화소의 화소값으로서 추출한다. 이것으로, 베이어 데이터로부터 추출한 적정한 G화소의 정보만으로 이루어지는 화상신호(G화상신호)가 얻어진 것으로 된다.The pixel
그리고, 도 3으로 되돌아가서, 가산기(36)에 있어서, 제 1 회로부(30a)에 있어서 신호처리가 시행되어 LPF(로패스필터, 26)를 통과한 컬러화상신호에 대해, G화상신호가 가산, 즉 보간된다.3, in the
이상 설명한 변형예에 따르면, 베이어 데이터에 대해서 보간할 G화소의 화소값을 결정하는 것에 대해서 상관성이 강한 방향에 있어서 보간대상화소에 인접하는 2개의 화소의 평균값뿐만 아니라, 수평방향 및 수직방향에 있어서 보간대상화소에 인접하는 4개의 화소의 평균값도 이용했다. 이와 같이 하면, 수평방향의 상관성과 수직방향의 상관성의 차가 적은 경우라도, 보간대상화소의 화소값이 두드러진 값 (고립점)이 되지 않고, 화상신호에 의거하는 재생화상의 화질의 열화를 방지할 수 있다.According to the modification described above, in the horizontal direction and the vertical direction, as well as the average value of two pixels adjacent to the interpolation target pixel in the direction of high correlation in determining the pixel value of the G pixel to be interpolated for the Bayer data. The average value of four pixels adjacent to the interpolation target pixel was also used. In this way, even when the difference in the horizontal and vertical correlations is small, the pixel value of the interpolation target pixel does not become a prominent value (isolating point), and deterioration in image quality of the reproduced image based on the image signal can be prevented. Can be.
본 발명은 상기의 실시형태나 변형예에 한정되는 것은 아니고, 본 발명의 요지를 일탈하지 않는 범위의 설계변경도 포함된다.This invention is not limited to said embodiment and modification, The design change of the range which does not deviate from the summary of this invention is also included.
도 1은 디지털카메라(100)의 전체 구성을 나타내는 도면이다.1 is a view showing the overall configuration of the
도 2는 화상처리부(20)의 구성을 나타내는 도면이다.2 is a diagram illustrating a configuration of the
도 3은 화소보간유닛(30)의 구성을 나타내는 도면이다.3 is a diagram illustrating a configuration of the
도 4는 G화소 추출회로(40)의 구성도이다.4 is a configuration diagram of the G
도 5는 베이어 배열의 예를 나타내는 도면이다.5 is a diagram illustrating an example of a Bayer arrangement.
도 6은 수평기준화상의 예를 나타내는 도면이다.6 is a diagram illustrating an example of a horizontal reference image.
도 7은 수직기준화상의 예를 나타내는 도면이다.7 is a diagram illustrating an example of a vertical reference image.
도 8은 변형예에 있어서의 G화소 추출회로(40)의 구성도이다.8 is a configuration diagram of the G
※도면의 주요부분에 대한 부호의 설명※ Explanation of symbols for main parts of drawing
30: 화소보간유닛 31: 광대역LPF30: pixel interpolation unit 31: wideband LPF
32: G보간회로 33: R보간회로32: G interpolation circuit 33: R interpolation circuit
34: B보간회로 36: 가산기34: B interpolation circuit 36: Adder
37: LPF 38: 감산기37: LPF 38: Subtractor
40: 화소보간회로 41: 수평방향 기준화상 생성부40: pixel interpolation circuit 41: horizontal reference image generation unit
42: 수직방향 기준화상 생성부 43: 수평방향 상관도 산출부42: vertical reference image generation unit 43: horizontal correlation calculation unit
44: 수직방향 상관도 산출부 45: 화소값 결정부44: vertical correlation calculator 45: pixel value determiner
46: 화소값 추출부 47: 혼합비 결정부46: pixel value extraction unit 47: mixing ratio determination unit
100: 디지털카메라100: digital camera
Claims (10)
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JPJP-P-2007-00197117 | 2007-07-30 | ||
JP2007197117 | 2007-07-30 | ||
JP2008141945A JP4497233B2 (en) | 2007-07-30 | 2008-05-30 | Pixel interpolation circuit and program |
JPJP-P-2008-00141945 | 2008-05-30 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100039858A Division KR101003681B1 (en) | 2007-07-30 | 2010-04-29 | Pixel interpolation circuit, pixel interpolation method, and recording medium |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090013047A true KR20090013047A (en) | 2009-02-04 |
KR101003605B1 KR101003605B1 (en) | 2010-12-23 |
Family
ID=40332569
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020080071433A KR101003605B1 (en) | 2007-07-30 | 2008-07-23 | Pixel interpolation circuit, pixel interpolation method, and recording medium |
KR1020100039858A KR101003681B1 (en) | 2007-07-30 | 2010-04-29 | Pixel interpolation circuit, pixel interpolation method, and recording medium |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100039858A KR101003681B1 (en) | 2007-07-30 | 2010-04-29 | Pixel interpolation circuit, pixel interpolation method, and recording medium |
Country Status (4)
Country | Link |
---|---|
JP (1) | JP4497233B2 (en) |
KR (2) | KR101003605B1 (en) |
CN (1) | CN101360248B (en) |
TW (2) | TWI387352B (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8442359B2 (en) | 2009-11-18 | 2013-05-14 | Samsung Electronics Co., Ltd. | Image interpolation method and apparatus using reference block based on direction |
KR102276006B1 (en) | 2021-01-14 | 2021-07-13 | 주식회사 에머스 | Recycling garbage collection device using QR code |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5169994B2 (en) * | 2009-05-27 | 2013-03-27 | ソニー株式会社 | Image processing apparatus, imaging apparatus, and image processing method |
JP5353945B2 (en) * | 2011-05-13 | 2013-11-27 | 株式会社ニコン | Image processing apparatus, image processing program, and electronic camera |
CN105264886B (en) * | 2013-05-23 | 2017-05-03 | 富士胶片株式会社 | Pixel interpolation device and operation control method |
JP6598507B2 (en) * | 2015-05-11 | 2019-10-30 | キヤノン株式会社 | Imaging apparatus, imaging system, and signal processing method |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4292625B2 (en) * | 1998-06-01 | 2009-07-08 | 株式会社ニコン | Interpolation processing apparatus and recording medium recording interpolation processing program |
JP2000069492A (en) * | 1998-08-26 | 2000-03-03 | Nikon Corp | Interpolation processor and storage medium in which interpolation processing program is recorded |
JP2004229055A (en) * | 2003-01-24 | 2004-08-12 | Pentax Corp | Image processor |
JP4303525B2 (en) | 2003-06-09 | 2009-07-29 | 富士フイルム株式会社 | Interpolated pixel generation apparatus and method |
JP2005159957A (en) * | 2003-11-28 | 2005-06-16 | Mega Chips Corp | Color interpolation method |
TWI253848B (en) * | 2004-04-09 | 2006-04-21 | Mstar Semiconductor Inc | Pixel interpolation method and related pixel interpolation device |
JP4352331B2 (en) | 2004-09-09 | 2009-10-28 | 富士フイルム株式会社 | Signal processing apparatus, signal processing method, and signal processing program |
JP2006135564A (en) * | 2004-11-05 | 2006-05-25 | Casio Comput Co Ltd | Device and method for pixel interpolation |
-
2008
- 2008-05-30 JP JP2008141945A patent/JP4497233B2/en active Active
- 2008-07-23 KR KR1020080071433A patent/KR101003605B1/en active IP Right Grant
- 2008-07-29 TW TW097128554A patent/TWI387352B/en active
- 2008-07-29 TW TW101114057A patent/TWI387353B/en active
- 2008-07-30 CN CN2008101301462A patent/CN101360248B/en active Active
-
2010
- 2010-04-29 KR KR1020100039858A patent/KR101003681B1/en active IP Right Grant
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8442359B2 (en) | 2009-11-18 | 2013-05-14 | Samsung Electronics Co., Ltd. | Image interpolation method and apparatus using reference block based on direction |
KR102276006B1 (en) | 2021-01-14 | 2021-07-13 | 주식회사 에머스 | Recycling garbage collection device using QR code |
KR102344688B1 (en) | 2021-01-14 | 2021-12-30 | 주식회사 에머스 | Recycling garbage collection method using QR code |
Also Published As
Publication number | Publication date |
---|---|
TW201234866A (en) | 2012-08-16 |
CN101360248B (en) | 2011-03-30 |
JP4497233B2 (en) | 2010-07-07 |
KR20100057558A (en) | 2010-05-31 |
KR101003681B1 (en) | 2010-12-23 |
KR101003605B1 (en) | 2010-12-23 |
TWI387353B (en) | 2013-02-21 |
CN101360248A (en) | 2009-02-04 |
JP2009055595A (en) | 2009-03-12 |
TWI387352B (en) | 2013-02-21 |
TW200913729A (en) | 2009-03-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US6812969B2 (en) | Digital camera | |
KR101099401B1 (en) | Image processing apparatus and computer-readable medium | |
US8102445B2 (en) | Solid-state image-capturing apparatus, camera, and method of processing signal | |
WO2007058126A1 (en) | Image processing system and image processing program | |
KR101003681B1 (en) | Pixel interpolation circuit, pixel interpolation method, and recording medium | |
WO2014038685A1 (en) | Image processor, imaging apparatus equipped with the same, and image processing method | |
JP4433883B2 (en) | White balance correction device, white balance correction method, program, and electronic camera device | |
US8345121B2 (en) | Image processing apparatus, method, and program | |
JP2004363853A (en) | Method and device for reducing noise of image signal | |
US8009935B2 (en) | Pixel interpolation circuit, pixel interpolation method, and recording medium | |
JP2004246644A (en) | Apparatus, method, and program for image processing | |
US9282257B2 (en) | Image apparatus and imaging method | |
US10051200B2 (en) | Imaging apparatus and control method thereof | |
JP6032912B2 (en) | Imaging apparatus, control method thereof, and program | |
JP4880375B2 (en) | Image signal processing apparatus and image signal processing method | |
JP4702088B2 (en) | Image signal noise reduction method, noise reduction apparatus, and imaging apparatus | |
KR101612853B1 (en) | Photographing apparatus, controlling method of photographing apparatus, and recording medium storing program to implement the controlling method | |
JP2009055415A (en) | Camera | |
JP2007180893A (en) | Image processor and imaging apparatus | |
JP5904753B2 (en) | Image processing apparatus and image processing apparatus control method | |
JP4449692B2 (en) | Electronic camera | |
JP4954658B2 (en) | Image processing device | |
JP2024049798A (en) | Image processing device, image processing method, and computer program | |
JPH11113012A (en) | Electronic image pickup device | |
CN116805990A (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
A107 | Divisional application of patent | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20131118 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20141205 Year of fee payment: 5 |
|
FPAY | Annual fee payment |
Payment date: 20151204 Year of fee payment: 6 |
|
FPAY | Annual fee payment |
Payment date: 20161123 Year of fee payment: 7 |
|
FPAY | Annual fee payment |
Payment date: 20171114 Year of fee payment: 8 |
|
FPAY | Annual fee payment |
Payment date: 20181129 Year of fee payment: 9 |
|
FPAY | Annual fee payment |
Payment date: 20191202 Year of fee payment: 10 |