KR102049839B1

KR102049839B1 - Apparatus and method for processing image

Info

Publication number: KR102049839B1
Application number: KR1020130065173A
Authority: KR
Inventors: 최우석
Original assignee: 삼성전자주식회사
Priority date: 2013-03-26
Filing date: 2013-06-07
Publication date: 2019-11-28
Also published as: KR20140117242A

Abstract

영상 처리와 관련된 다양한 실시예들이 기술된 바, 한 실시예에 따르면, 영상 처리 장치에 있어서, 복수의 이미지 픽셀들과 복수의 초점 검출 픽셀들을 포함하고, 전체 픽셀들 중 미리 정해진 규칙에 따라 초점 검출 픽셀들을 포함하는 일부 픽셀들의 값을 읽어 제1 샘플링 영상을 출력하는 이미지 센서와, 상기 제1 샘플링 영상에 포함된 초점 검출 픽셀들의 위치의 픽셀들에 대해, 상기 초점 검출 픽셀들의 값들을 이미지 픽셀들의 값으로 복원하여 복원된 영상을 출력하며, 상기 복원된 영상의 픽셀들에 대해 미리 정해진 방식에 따른 비닝(Bining)을 수행하여, 상기 복원된 영상이 미리 정해진 비율로 해상도가 축소된 영상을 출력한다. 이외에도다양한 다른 실시예들이 가능하다.Various embodiments related to image processing have been described. According to one embodiment, an image processing apparatus includes a plurality of image pixels and a plurality of focus detection pixels, and focus detection according to a predetermined rule among all pixels. The image sensor outputs a first sampled image by reading values of some pixels including pixels, and the values of the focus detection pixels of the image pixels of pixels of a position of the focus detection pixels included in the first sampled image. The restored image is output by reconstructing the value, and the pixels of the restored image are binned according to a predetermined method to output an image whose resolution is reduced at a predetermined ratio. . In addition, various other embodiments are possible.

Description

Image processing apparatus and method {APPARATUS AND METHOD FOR PROCESSING IMAGE}

본 발명의 다양한 실시 예들은 영상 처리 장치 및 방법에 관한 것이다.Various embodiments of the present disclosure relate to an image processing apparatus and a method.

통상적으로 카메라 등의 디지털 영상 촬영 장치는 이미지 센서(image sensor)를 구비하고, 이미지 센서를 이용하여 피사체에 대한 영상을 처리한다. In general, a digital image photographing apparatus such as a camera includes an image sensor, and processes an image of a subject using the image sensor.

디지털 영상 촬영 장치 내에서 이미지 센서는 촬영 대상으로부터 반사되어 나온 빛이 렌즈를 통과해 이미지 센서에 닿아 화상이 맺혀지면, 맺혀진 화상을 빛의 강약에 따라 전기 신호의 강약으로 바꾸어 그 화상을 디지털 이미지 데이터로 변환하여 출력하는 센서이다. In the digital imaging apparatus, when the light reflected from the subject is passed through the lens and reaches the image sensor, and the image is formed, the image is converted into the strength of the electric signal according to the intensity of the light, and the image is converted into a digital image. The sensor converts the data and outputs the data.

통상적으로 이미지 센서는 복수의 이미지 픽셀들과 출력 회로로 구성되고, 복수의 이미지 픽셀들은 각각에 입사되는 빛의 세기에 해당하는 전기적 신호를 생성하고, 출력(readout) 회로를 통해 해당 픽셀 신호가 출력된다. 출력된 픽셀 신호들은 이미지 프로세서로 입력되어 적절한 디지털 영상 신호 처리를 거쳐 촬영된 이미지가 출력 된다. Typically, an image sensor is composed of a plurality of image pixels and an output circuit, and the plurality of image pixels generate an electrical signal corresponding to the intensity of light incident on each of the plurality of image pixels, and the pixel signal is output through a readout circuit. do. The output pixel signals are inputted to an image processor to output a photographed image through appropriate digital image signal processing.

그런데 이미지 센서 내의 일부 픽셀을 영상을 위한 신호가 아닌, 초점 조절을 위한 신호를 취득하는 초점 검출 픽셀로 치환하여 빠른 초점 조절이 가능한 이미지 센서가 상용화 되고 있다. 이러한 센서에서 복수의 이미지 픽셀들은 이미지 신호를 출력하는데 이용되고, 초점 검출 픽셀은 위상차 신호와 같이 이미지의 초점을 맞추는데 필요한 신호를 출력하는데 이용된다. 초점 검출 픽셀은 이미지 신호를 얻기 위한 이미지 픽셀들과 구조가 다르며, 이미지 신호를 출력하는데 이용될 수 없다.However, an image sensor capable of fast focusing has been commercialized by replacing some pixels in the image sensor with a focus detection pixel that acquires a signal for focusing instead of a signal for an image. In such a sensor, a plurality of image pixels are used to output an image signal, and a focus detection pixel is used to output a signal necessary for focusing an image, such as a phase difference signal. The focus detection pixel has a different structure from the image pixels for obtaining the image signal and cannot be used to output the image signal.

도 1은 이미지 센서의 픽셀들을 나타낸 도면이다. 도 1을 참조하면, 각각의 R 픽셀, G 픽셀, B 픽셀은 이미지 픽셀들을 나타내고, F1 픽셀, F2 픽셀은 초점 검출 픽셀들을 나타낸다. 이미지 센서는 각각의 R 픽셀, G 픽셀, B 픽셀의 신호를 읽어내어 이미지 신호를 출력하고, F1 픽셀, F2 픽셀의 신호를 읽어 내어 초점을 검출하게 된다.1 is a diagram illustrating pixels of an image sensor. Referring to FIG. 1, each of the R, G, and B pixels represents image pixels, and the F1 and F2 pixels represent focus detection pixels. The image sensor reads signals of each of R, G, and B pixels to output an image signal, and reads signals of F1 and F2 pixels to detect focus.

이때 이미지 센서가 픽셀 신호를 읽어내는 방법은 디지털 영상 촬영 장치의 모드에 따라 다를 수 있다. 예를 들면, 디지털 영상 촬영 장치의 모드가 고해상도 촬영 모드인지 저해상도 촬영 모드인지에 따라 다르다. 고해상도 촬영 모드는 실제 사진을 촬영하는 이미지 촬영 모드 모드일 수 있고, 저해상도 촬영 모드는 라이브 뷰(liveview) 모드 또는 동영상 모드와 같이 해상도가 낮은 이미지를 촬영하는 모드일 수 있다. 디지털 영상 촬영 장치는 고해상도 촬영 모드에서는 전체 픽셀들의 신호를 읽어낼 수 있고, 저해상도 촬영 모드에서는 일정한 규칙에 따라 일부 픽셀들의 신호를 샘플링하여 읽어낼 수 있다. In this case, the method of reading the pixel signal by the image sensor may vary depending on the mode of the digital imaging apparatus. For example, it depends on whether the mode of the digital image photographing apparatus is a high resolution shooting mode or a low resolution shooting mode. The high resolution capturing mode may be an image capturing mode mode for capturing an actual picture, and the low resolution capturing mode may be a mode for capturing a low resolution image such as a live view mode or a video mode. The digital imaging apparatus may read signals of all pixels in the high resolution imaging mode, and may sample and read the signals of some pixels according to a predetermined rule in the low resolution imaging mode.

일부 픽셀의 신호를 샘플링하여 출력하여 사용하는 경우에는, 영상의 신호대 잡음비 (SNR)을 높이기 위해 두 개 이상의 pixel 신호를 가산하여 읽어내는 비닝(binning) 동작을 수행 하는 것이 일반적이다. 비닝에는 아날로그 회로를 사용하여 각 픽셀 신호의 평균적인 신호를 출력하는 아날로그 비닝과, 디지털 신호로 변환된 복수의 픽셀 신호들을 소정의 공식을 사용하여 하나의 픽셀 신호로 변환하는 디지털 비닝이 있다.When sampling and outputting a signal of some pixels, it is common to perform a binning operation in which two or more pixel signals are added and read in order to increase the signal-to-noise ratio (SNR) of the image. Binning includes analog binning for outputting an average signal of each pixel signal using an analog circuit, and digital binning for converting a plurality of pixel signals converted into digital signals into a single pixel signal using a predetermined formula.

이미지 센서가 전체 픽셀들의 신호를 읽어내는 경우를 모든 픽셀들의 신호가 읽혀지게 되어, 고해상도의 이미지 출력이 가능하며, 초점 검출 픽셀의 신호도 모두 출력 할 수 있다. 그런데 이미지 센서가 전체 픽셀들 중 일부 픽셀들의 신호를 읽어내는 샘플링 모드로 동작하는 경우에는 일부 혹은 전체 초점 검출 픽셀의 신호를 읽어내지 않는 경우가 발생할 수 있다. 이러한 경우 초점 검출에 필요한 정도의 초점 검출 픽셀의 신호를 얻을 수 없어 초점 조절이 불가능하다. 이에 따라 초점 검출 픽셀을 포함하는 이미지 센서는 전체 픽셀들 중 일부 픽셀들의 신호를 읽어내면서도 초점 검출 픽셀의 신호는 빠뜨리지 않고 읽을 수 있는 샘플링 방식이 필요하다.When the image sensor reads out the signals of all the pixels, the signals of all the pixels are read, so that a high resolution image can be output and all the signals of the focus detection pixel can be output. However, when the image sensor operates in a sampling mode in which a signal of some pixels of all pixels is read, a case in which a signal of some or all focus detection pixels is not read may occur. In this case, a signal of a focus detection pixel of a degree necessary for focus detection cannot be obtained, and thus focus adjustment is impossible. Accordingly, an image sensor including a focus detection pixel needs a sampling method that can read signals of some pixels of all pixels while not missing a signal of the focus detection pixel.

도 2a 및 도 2b는 이미지 센서가 전체 픽셀들 중 일부 픽셀들의 신호만 샘플링하여 읽는 방식을 설명하기 위한 도면이다. 2A and 2B are diagrams for describing a method in which an image sensor samples and reads signals of only some of the pixels.

도 2a 및 도 2b를 참조하면, 이미지 센서는 이미지 픽셀들에 대해서는 복수개의 이미지 픽셀들의 신호들을 비닝(binning)하여 하나의 픽셀의 신호로 읽고, 초점 검출 픽셀들에 대해서는 비닝을 수행하지 않고, 해당 픽셀의 신호를 그대로 읽을 수 있다. 2A and 2B, the image sensor bins signals of a plurality of image pixels with respect to image pixels and reads them as signals of one pixel, and does not bin the focus detection pixels. The signal of the pixel can be read as it is.

도 2a를 참조하면, 비닝 대상이 되는 픽셀의 위치에 초점 검출 픽셀이 존재하는 경우, 초점 검출 픽셀을 제외한 나머지 이미지 픽셀들의 신호들을 비닝하여 출력하고, 초점 검출 픽셀의 신호는 그대로 읽어 출력할 수 있다. 예컨대 3개의 이미지 픽셀들(예컨대, V0행 H0열의 R 픽셀과, V0행 H2열의 R 픽셀과 V0행 H4열의 R 픽셀) 을 비닝하여 하나의 R 픽셀 신호를 출력 할 수 있다. 통상의 경우 비닝은 센서의 readout 회로를 사용한 아날로그 비닝을 사용한다. 그런데, 초점 검출 픽셀 예컨대 F1 픽셀이 3개의 픽셀들에 포함되는 경우에는 3개의 픽셀 중 F1 픽셀을 제외한 나머지 2개의 을 비닝하여 하나의 픽셀의 신호로 출력하고, F1 픽셀의 신호는 별도로 읽어 출력할 수 있다. 이때 초점 검출 픽셀 F1 의 신호는 이미지에 사용되지 않는다.Referring to FIG. 2A, when a focus detection pixel exists at a position of a pixel to be binned, signals of the remaining image pixels except for the focus detection pixel may be binned and output, and the signal of the focus detection pixel may be read and output as it is. . For example, three image pixels (for example, an R pixel in a V0 row H0 column, an R pixel in a V0 row H2 column and an R pixel in a V0 row H4 column) may be binned to output one R pixel signal. Normally, binning uses analog binning using the sensor's readout circuit. However, when a focus detection pixel such as an F1 pixel is included in three pixels, two of the three pixels except for the F1 pixel are binned and output as a signal of one pixel, and a signal of the F1 pixel is separately read and output. Can be. At this time, the signal of the focus detection pixel F1 is not used in the image.

도 2b를 참조하면, 비닝 대상이 되는 픽셀의 위치에 초점 검출 픽셀이 존재하는 경우, 초점 검출 픽셀의 신호만 읽어 출력하고, 나머지 이미지 픽셀들의 신호들은 읽지 않고 추후에 결함 화소 보간(Defect Pixel Correction, DPC) 알고리즘을 이용하여 복원되도록 할 수 있다. 예컨대 3개의 이미지 픽셀들을 비닝하여 하나의 픽셀의 신호로 읽고, 초점 검출 픽셀 F1 픽셀이 3개의 픽셀들에 포함되는 경우에는 3개의 픽셀 중 F1 픽셀을 제외한 나머지 2개의 픽셀들의 신호를 읽지 않고 추후에 결함 화소 보간 방식으로 복원하며, F1 픽셀의 신호만 읽어 출력할 수 있다.Referring to FIG. 2B, when a focus detection pixel exists at a position of a pixel to be binned, only the signal of the focus detection pixel is read out and output, and the signals of the remaining image pixels are not read, and later, a defective pixel interpolation (Defect Pixel Correction, DPC) algorithm can be used to recover. For example, when three image pixels are binned and read as a signal of one pixel, and the focus detection pixel F1 pixel is included in three pixels, the signal of two pixels other than the F1 pixel of the three pixels is not read later. It restores by the defective pixel interpolation method and can read and output only the signal of F1 pixel.

그러나 도 2a와 같이 비닝 대상이 되는 픽셀의 위치에 초점 검출 픽셀이 존재함에 따라 초점 검출 픽셀을 제외한 나머지 이미지 픽셀들의 신호들을 비닝하여 출력하는 경우, 초점 검출 픽셀 위치의 이미지 신호가 검출되지 않기 때문에, 초점 검출 픽셀 위치의 이미지의 신호가 비닝 후 이미지 신호에 반영되는 경우와 반영되지 않는 경우의 차가 커서 화질에 문제가 발생하게 된다. However, when the signals of the remaining image pixels except for the focus detection pixel are binned and output as the focus detection pixel exists at the position of the pixel to be binned as shown in FIG. 2A, since the image signal of the focus detection pixel position is not detected, The difference between the case where the signal of the image at the focus detection pixel position is reflected in the image signal after binning and when the signal is not reflected is large, causing a problem in image quality.

예를 들어 세 개의 픽셀들의 신호들을 비닝하여 하나의 픽셀의 신호를 출력한다고 가정하면, 두 개의 이미지 신호들의 값이 각각 0이었고, 초점 검출 픽셀위치의 이미지 신호가 100인 경우, 정상적으로 세 개의 픽셀들의 신호들을 비닝하면 33의 값이 나오지만, 세 번째 픽셀이 초점 검출 픽셀인 경우에는 두 개의 이미지 픽셀 신호만을 비닝한 0의 값이 나오게 되어 차이가 많이 나게 되고, 이는 화질에 반영되어 해당 픽셀값이 주변 픽셀과 급격한 차이가 나는 현상이 발생하게 된다. 따라서 화질 저하의 원인이 되는 문제점이 있다.For example, assuming that signals of three pixels are binned to output a signal of one pixel, when the values of the two image signals are each 0 and the image signal of the focus detection pixel position is 100, the three pixels are normally When binning the signals, a value of 33 is obtained. However, when the third pixel is a focus detection pixel, a difference of 0 is obtained by binning only two image pixel signals, which is reflected in the image quality. The sharp difference from the pixels occurs. Therefore, there is a problem that causes the deterioration of image quality.

또한 도 2b와 같이 비닝 대상이 되는 픽셀의 위치에 초점 검출 픽셀이 존재함에 따라 초점 검출 픽셀의 신호만 읽어 출력하고, 나머지 이미지 픽셀들의 신호들은 읽지 않고 추후에 결함 화소 보간(Defect Pixel Correction, DPC) 알고리즘을 이용하여 복원되도록 하는 방식의 경우에는 결함 화소 보간 알고리즘이 의 한계로 인해 복원된 영상에 오차가 발생하여 화질이 저하될 수 있는 문제점이 있다. Also, as shown in FIG. 2B, when the focus detection pixel exists at the pixel to be binned, only the signal of the focus detection pixel is read and output, and the signals of the remaining image pixels are not read, and the pixel is subsequently interpolated (Defect Pixel Correction, DPC). In the case of a method of restoring using an algorithm, there is a problem that an error may occur in a restored image due to a limitation of a defective pixel interpolation algorithm, thereby degrading an image quality.

좀더 구체적으로 예를 들면, 비닝 후의 출력 영상은 저해상도 영상인데 반해, 저해상도 영상에서 주변 영상의 변화량, 에지 방향 등으로 결함 화소의 값을 추정하는 결함 화소 보간 알고리즘을 이용하면, 고해상도 영상을 사용하여 결함 화소 보간 알고리즘을 적용하는 것보다 결함 화소 보간 성능이 낮기 때문에 화질이 더욱 저하될 수 있다. 또한 초점 검출 픽셀의 신호만 읽으므로 초점 검출 픽셀의 수만큼 결함 화소가 발생하기 때문에 결함 화소로 처리 해야 하는 픽셀들의 수가 더욱 높아 지게 되어 그 만큼 화질의 손실이 발생한다. 예를 들어 12x12 픽셀들에 2개의 초점 검출 픽셀이 존재하는 경우, 결함 화소로 취급하여 보간을 해야 하는 픽셀의 비율은 2/(12*12) = 1.39% 이지만, 이 영상을 세 개의 픽셀들을 비닝하는 방법을 이용하여 픽셀 신호를 출력하는 경우에는 4x4 화소에서 두 개의 픽셀들의 결함 화소로 처리해야 하므로 12.5% 의 픽셀들을 결함 화소로 처리하여 복원 해야 하기 때문에, 화질 손실이 더욱 커지는 문제점이 있다. More specifically, for example, the output image after binning is a low resolution image. However, if a defective pixel interpolation algorithm estimates the value of a defective pixel in the amount of change of the surrounding image, the edge direction, and the like in the low resolution image, the high resolution image is used to generate a defect. Since the defective pixel interpolation performance is lower than that of the pixel interpolation algorithm, the image quality may be further degraded. In addition, since only the signals of the focus detection pixels are read, defect pixels are generated by the number of focus detection pixels, so that the number of pixels to be processed as the defect pixels becomes higher, resulting in loss of image quality. For example, if there are two focus detection pixels in 12x12 pixels, the ratio of pixels to be interpolated to be treated as defective pixels is 2 / (12 * 12) = 1.39%, but this image is binned with three pixels. In the case of outputting the pixel signal by using the method, since the 4x4 pixel needs to be processed as a defective pixel of two pixels, 12.5% of pixels need to be treated as a defective pixel to be restored.

따라서 본 발명의 다양한 실시 예들은 초점 검출 픽셀과 같이 이미지 신호를 출력하는데 이용되지 않는 픽셀을 포함하는 이미지 센서가 동영상 촬영이나 라이브뷰 동작을 위한 저해상도 모드에서 화질의 손상 없이 이미지 픽셀들의 신호들과 초점 검출 픽셀들의 신호들을 읽을 수 있도록 하는 영상 처리 장치 및 방법을 제공할 수 있다.Accordingly, various embodiments of the present invention provide an image sensor including a pixel that is not used to output an image signal, such as a focus detection pixel, so that the signals and the focus of the image pixels in the low resolution mode for video shooting or live view operation are not lost. An image processing apparatus and a method for reading signals of detection pixels may be provided.

또한 본 발명의 다양한 실시 예들은 초점 검출 픽셀과 같이 이미지 신호를 출력하는데 이용되지 않는 픽셀을 포함하는 이미지 센서가 동영상 촬영이나 라이브 뷰 동작을 위한 저해상도 모드에서 센서 출력 해상도를 필요한 영상 해상도의 정수배로 출력한 후 후처리를 통해 화질 손상 없이 이미지 데이터를 취득할 수 있도록 하는 영상 처리 장치 및 방법을 제공할 수 있다.According to various embodiments of the present disclosure, an image sensor including a pixel that is not used to output an image signal, such as a focus detection pixel, outputs the sensor output resolution as an integer multiple of the required image resolution in a low resolution mode for video shooting or live view operation. Afterwards, an image processing apparatus and method for acquiring image data without losing image quality through post-processing can be provided.

본 발명의 다양한 실시 예들은 영상 처리 장치에 있어서, 복수의 이미지 픽셀들과 복수의 초점 검출 픽셀들을 포함하고, 전체 픽셀들 중 미리 정해진 규칙에 따라 초점 검출 픽셀들을 포함하는 일부 픽셀들의 값을 읽어 제1 샘플링 영상을 출력하는 이미지 센서와, 상기 제1 샘플링 영상에 포함된 초점 검출 픽셀들의 위치의 픽셀들에 대해, 상기 초점 검출 픽셀들의 값들을 이미지 픽셀들의 값으로 복원하여 복원된 영상을 출력하며, 상기 복원된 영상의 픽셀들에 대해 미리 정해진 방식에 따른 비닝(Bining)을 수행하여, 상기 복원된 영상이 미리 정해진 비율로 해상도가 축소된 영상을 출력하는 이미지 프로세서를 포함한다.According to various embodiments of the present disclosure, in an image processing apparatus, a value of some pixels including a plurality of image pixels and a plurality of focus detection pixels and including focus detection pixels according to a predetermined rule among all pixels may be read. Outputting a reconstructed image by reconstructing the values of the focus detection pixels to values of the image pixels with respect to the image sensor for outputting a first sampling image and the pixels of the positions of the focus detection pixels included in the first sampling image, And an image processor for binning the pixels of the reconstructed image in a predetermined manner to output an image of which the resolution is reduced at a predetermined ratio.

또한 본 발명의 다양한 실시 예들은 영상 처리 방법에 있어서, 복수의 이미지 픽셀들과 복수의 초점 검출 픽셀들을 포함하고, 전체 픽셀들 중 미리 정해진 규칙에 따라 초점 검출 픽셀들을 포함하는 일부 픽셀들의 값을 읽어 제1 샘플링 영상을 출력하는 동작과, 상기 제1 샘플링 영상에 포함된 초점 검출 픽셀들의 위치의 픽셀들에 대해, 상기 초점 검출 픽셀들의 값들을 이미지 픽셀들의 값으로 복원하여 복원된 영상을 출력하는 동작과, 상기 복원된 영상의 픽셀들에 대해 미리 정해진 방식에 따른 비닝(Bining)을 수행하여, 상기 복원된 영상이 미리 정해진 비율로 해상도가 축소된 영상을 출력하는 동작을 포함한다.According to various embodiments of the present disclosure, in an image processing method, a value of some pixels including a plurality of image pixels and a plurality of focus detection pixels and including focus detection pixels according to a predetermined rule among all the pixels may be read. Outputting a first sampled image, and outputting a reconstructed image by restoring values of the focusing detection pixels to values of image pixels with respect to pixels at positions of focus detection pixels included in the first sampled image And binning the pixels of the reconstructed image according to a predetermined method to output an image of which the reconstructed image is reduced in resolution at a predetermined ratio.

본 발명의 다양한 실시 예들은 초점 검출 픽셀 등 영상 정보로 사용하기 어려운 데이터를 포함하는 픽셀을 가지는 디지털 이미지 센서로부터 전체 픽셀값들에서 일부 픽셀값들을 제공받는 경우, 초점 검출 픽셀로 인한 화질 손실을 최소화 하면서도 초점 검출 픽셀값을 정확히 얻어 초점을 조절할 수 있게 한다.According to various embodiments of the present disclosure, when some pixel values are provided at all pixel values from a digital image sensor having a pixel including data that is difficult to use as image information, the image quality loss due to the focus detection pixel is minimized. At the same time, it is possible to adjust the focus by accurately obtaining the focus detection pixel value.

또한 본 발명의 다양한 실시 예들은 초점 검출 픽셀과 같이 이미지 신호를 출력하는데 이용되지 않는 픽셀을 포함하는 이미지 센서가 동영상 촬영이나 liveview 동작을 위한 저해상도 모드에서 샘플링 또는 비닝 처리 후에도 화질의 손상 없이 이미지 픽셀들의 신호들과 초점 검출 픽셀들의 신호들을 읽을 수 있도록 한다.In addition, various embodiments of the present invention provide an image sensor including pixels that are not used to output an image signal, such as a focus detection pixel, without loss of image quality even after sampling or binning in a low resolution mode for video shooting or liveview operation. Makes it possible to read signals and signals of focus detection pixels.

도 1은 이미지 센서의 픽셀들을 나타낸 도면
도 2a 및 도 2b는 이미지 센서가 전체 픽셀들 중 일부 픽셀들의 신호만 샘플링하여 읽는 방식을 설명하기 위한 도면
도 3은 본 발명의 실시 예에 따른 영상 처리 장치의 구성도
도 4는 본 발명의 실시 예에 따른 영상 처리 장치의 동작 흐름도
도 5는 본 발명의 제1 실시 예에 영상 처리 방법을 설명하기 위한 도면
도 6은 본 발명의 제2 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면
도 7은 본 발명의 제3 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면
도 8은 본 발명의 제4 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면
도 9는 본 발명의 제5 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면
도 10 내지 도 13은 본 발명의 실시 예들을 적용하지 않고 얻은 영상과 본 발명의 실시 예들을 적용하여 얻은 영상의 화질을 비교하여 설명하기 위한 도면1 shows pixels of an image sensor
2A and 2B are views for explaining a method in which an image sensor samples and reads signals of only some of the pixels.
3 is a block diagram of an image processing apparatus according to an embodiment of the present invention;
4 is a flowchart illustrating an operation of an image processing apparatus according to an exemplary embodiment.
5 is a diagram for describing an image processing method according to a first embodiment of the present invention;
6 is a diagram for describing an image processing method according to a second embodiment of the present invention.
7 is a view for explaining an image processing method according to a third embodiment of the present invention.
8 is a diagram for describing an image processing method according to a fourth embodiment of the present invention.
9 is a diagram illustrating an image processing method according to a fifth embodiment of the present invention.
10 to 13 are diagrams for explaining and comparing the image quality obtained without applying the embodiments of the present invention and the image obtained by applying the embodiments of the present invention.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다. Terms used herein will be briefly described and the present invention will be described in detail.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다. The terms used in the present invention have been selected as widely used general terms as possible in consideration of the functions in the present invention, but this may vary according to the intention or precedent of the person skilled in the art, the emergence of new technologies and the like. In addition, in certain cases, there is also a term arbitrarily selected by the applicant, in which case the meaning will be described in detail in the description of the invention. Therefore, the terms used in the present invention should be defined based on the meanings of the terms and the contents throughout the present invention, rather than the names of the simple terms.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.When any part of the specification is to "include" any component, this means that it may further include other components, except to exclude other components unless otherwise stated. In addition, the terms "... unit", "module", etc. described in the specification mean a unit for processing at least one function or operation, which may be implemented in hardware or software or a combination of hardware and software. .

이하, 첨부된 도면들에 기재된 내용들을 참조하여 본 발명에 따른 다양한 실시예들을 상세하게 설명한다. 다만, 본 발명이 다양한 실시 예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 실질적으로 동일한 기능을 수행하는 부재를 나타낸다. Hereinafter, various embodiments of the present disclosure will be described in detail with reference to the accompanying drawings. However, the present invention is not limited or limited by the various embodiments. Like reference numerals in the drawings denote members that perform substantially the same function.

도 3은 본 발명의 일 실시 예에 따른 영상 처리 장치(300)의 개략적인 블록도이다. 도 3을 참조하면, 영상 처리 장치(300)는 렌즈부(302), 이미지 센서(304), 이미지 프로세서(306), 제어부(308), 저장부(310), 디스플레이부(312)를 포함한다.3 is a schematic block diagram of an image processing apparatus 300 according to an exemplary embodiment. Referring to FIG. 3, the image processing apparatus 300 includes a lens unit 302, an image sensor 304, an image processor 306, a controller 308, a storage unit 310, and a display unit 312. .

렌즈부(302)는 복수의 렌즈들을 포함하며, 촬영 대상으로부터 반사되어 나온 빛을 통과시킨다. 이미지 센서(304)는 복수의 이미지 픽셀들과 복수의 초점 검출 픽셀들을 포함하고, 촬영 대상으로부터 반사되어 나온 빛이 렌즈부(302)를 통과하여 상기 복수의 이미지 픽셀들과 상기 복수의 초점 검출 픽셀들에 닿아 화상이 맺혀지면, 맺혀진 화상을 빛의 강약을 전기 신호의 강약으로 바꾸고 전기 신호의 강약을 이용하여 화상 이미지의 픽셀값들과 초점 검출 픽셀값들을 읽어 출력한다. 특히 이미지 센서(304)는 라이브 뷰(liveview) 모드 또는 동영상 모드와 같이 해상도가 낮은 이미지를 촬영하는 저해상도 모드에서 전체 픽셀들 중 일정한 규칙에 따라 일부 픽셀들의 신호를 샘플링하여 읽어 출력한다. 예컨대 이미지 센서(304)는 렌즈부(302)를 통과한 화상에 대한 전체 픽셀값들 중 미리 정해진 규칙에 따라 초점 검출 픽셀들을 포함하는 일부 픽셀값들을 읽어 제1 샘플링 영상을 출력한다. 이때 미리 정해진 규칙은 2Read2Skip 샘플링 방식 또는 1Read2Skip 샘플링 방식을 포함하는 다양한 규칙이 될 수 있다.The lens unit 302 includes a plurality of lenses, and passes the light reflected from the photographing object. The image sensor 304 includes a plurality of image pixels and a plurality of focus detection pixels, and light reflected from an object to be photographed passes through a lens unit 302 so that the plurality of image pixels and the plurality of focus detection pixels. When the image is formed by touching the field, the resultant image is converted into the intensity of the light into the intensity of the electrical signal, and the pixel values of the image image and the focus detection pixel values are read and output using the intensity of the electrical signal. In particular, the image sensor 304 samples and outputs a signal of some pixels according to a certain rule among all the pixels in a low resolution mode such as a live view mode or a video mode in which a low resolution image is taken. For example, the image sensor 304 reads out some pixel values including focus detection pixels from among all pixel values of the image passing through the lens unit 302 and outputs a first sampled image. In this case, the predetermined rule may be various rules including a 2Read2Skip sampling method or a 1Read2Skip sampling method.

이미지 프로세서(306)는 이미지 센서(304)에 의해 출력된 제1 샘플링 영상에 해당하는 픽셀값들을 이용하여 이미지를 처리한다. 예컨대 이미지 프로세서(306)는 제1 샘플링 영상에 포함된 초점 검출 픽셀들의 위치의 픽셀들에 대해 결함 화소 보간(DPC:Defect Pixel Correction) 알고리즘을 적용하여 초점 검출 픽셀들의 값들을 보간된 이미지 픽셀들의 값들로 복원하고, 초점 검출 픽셀들의 위치의 픽셀값들이 보간된 이미지 픽셀들의 값들이 되도록 복원된 영상을 산출하며, 상기 복원된 영상의 픽셀들에 대해 미리 정해진 규칙에 따른 비닝(Bining)을 수행하여, 복원된 영상이 미리 정해진 비율(예컨대 1/2)로 축소된 해상도를 갖도록 축소하여 최종 영상을 출력한다. 초점 검출 픽셀값들은 초점 조절부(미도시)에 제공되어 상기 렌즈부(302)의 초점을 조절하도록 하거나, 저장부(310)에 저장되어 초점 조절부(미도시)에 의해 상기 렌즈부(302)의 초점이 조절되도록 한다. 본 발명의 실시 예에서는 위상차 초점 조절 방식이 이용될 수 있다.The image processor 306 processes the image by using pixel values corresponding to the first sampled image output by the image sensor 304. For example, the image processor 306 may apply a defect pixel interpolation (DPC) algorithm to the pixels of the positions of the focus detection pixels included in the first sampled image to determine the values of the focus detection pixels. Reconstructed to calculate the reconstructed image such that the pixel values of the positions of the focus detection pixels are the values of the interpolated image pixels, and perform binning according to a predetermined rule on the pixels of the reconstructed image, The final image is output by reducing the reconstructed image to have a reduced resolution at a predetermined ratio (for example, 1/2). Focus detection pixel values may be provided to a focus controller (not shown) to adjust the focus of the lens unit 302, or may be stored in a storage unit 310 and stored in the lens unit 302 by a focus controller (not shown). ) To adjust the focus. In an embodiment of the present invention, a phase difference focusing method may be used.

제어부(308)는 상기 영상 처리 장치(300)의 전반적인 제어 동작을 수행하고, 본 발명의 실시 예에 따라 저해상도 모드에서 이미지 센서(304)가 전체 픽셀들 중 일정한 규칙에 따라 일부 픽셀들의 값을 샘플링하여 읽어 출력하도록 제어한다. 또한 제어부(308)는 저해상도 모드에서 이미지 프로세서(306)으로부터 출력되는 최종 영상에 포함된 픽셀들의 값을 이용하여 후처리를 수행하고, 후처리된 영상이 디스플레이부(312)에 표시되도록 하거나 저장부(310)에 저장되도록 한다.The controller 308 performs an overall control operation of the image processing apparatus 300, and according to an embodiment of the present invention, the image sensor 304 samples values of some pixels according to a predetermined rule among all pixels in the low resolution mode. Control to read. In addition, the controller 308 performs post-processing by using the values of the pixels included in the final image output from the image processor 306 in the low resolution mode, and allows the post-processed image to be displayed on the display 312 or the storage unit. To be stored at 310.

저장부(310)는 이미지 센서(304)에 의해 읽혀진 이미지 픽셀값들 및 초점 검출 픽셀값들을 저장한다. 디스플레이부(312)는 제어부(308)의 제어 하에 영상을 표시한다.The storage unit 310 stores image pixel values and focus detection pixel values read by the image sensor 304. The display 312 displays an image under the control of the controller 308.

도 4는 본 발명의 실시 예에 따른 영상 처리 장치(300)의 동작 흐름도이다. 도 4를 참조하면, 영상 처리 장치(300)는 402동작에서, 이미지 센서(304)를 이용하여 렌즈부(302)를 통과한 화상에 대한 전체 픽셀값들 중 미리 정해진 규칙에 따라 초점 검출 픽셀들을 포함하는 일부 픽셀값들을 읽어 제1 샘플링 영상을 출력한다. 이때 미리 정해진 규칙은 2Read2Skip 샘플링 방식 또는 1Read2Skip 샘플링 방식을 포함하며, 상기 샘플링 이외에도 다양한 샘플링 방식이 이용될 수 있으며, 샘플링이 아닌 다른 규칙이 이용될 수도 있다. 404동작에서, 영상 처리 장치(300)는 제1 샘플링 영상에 포함된 초점 검출 픽셀들의 위치의 픽셀들에 대해 결함 화소 보간(DPC:Defect Pixel Correction) 알고리즘을 적용하여 초점 검출 픽셀 위치의 이미지 신호를 보간된 이미지 픽셀들의 값들로 복원한다.4 is a flowchart illustrating an operation of an image processing apparatus 300 according to an exemplary embodiment. Referring to FIG. 4, in operation 402, the image processing apparatus 300 uses the image sensor 304 to select focus detection pixels according to a predetermined rule among all pixel values for an image passing through the lens unit 302. The first sampled image is output by reading some pixel values including the pixel values. In this case, the predetermined rule includes a 2Read2Skip sampling method or a 1Read2Skip sampling method. In addition to the sampling, various sampling methods may be used, and other rules other than sampling may be used. In operation 404, the image processing apparatus 300 applies a defect pixel interpolation (DPC) algorithm to pixels at positions of the focus detection pixels included in the first sampling image, thereby applying an image signal at the focus detection pixel position. Restore the values of the interpolated image pixels.

그리고 406동작에서 영상 처리 장치(300)는 초점 검출 픽셀들의 위치의 픽셀값들을 상기 보간된 이미지 픽셀들의 값들로 치환하여 복원된 영상을 출력한다.In operation 406, the image processing apparatus 300 outputs a reconstructed image by replacing pixel values of positions of focus detection pixels with values of the interpolated image pixels.

408동작에서, 영상 처리 장치는(300)는 상기 복원된 영상의 픽셀들에 대해 미리 정해진 규칙에 따른 비닝(Bining)을 수행하여, 복원된 영상이 미리 정해진 비율(예컨대 1/2)로 축소된 해상도를 갖도록 축소하여 최종 영상을 출력한다. 이때 비닝은 복수의 픽셀 신호를 소정의 공식을 사용하여 하나의 픽셀 신호로 변환하는 디지털 비닝을 사용한다. 디지털 비닝에 사용하는 공식의 예로는, 복수의 픽셀의 평균이나, 가중치를 준 평균, 합산 등이 있다.In operation 408, the image processing apparatus 300 bins the pixels of the reconstructed image according to a predetermined rule to reduce the reconstructed image to a predetermined ratio (for example, 1/2). The final image is output by reducing the resolution. At this time, binning uses digital binning which converts a plurality of pixel signals into a single pixel signal using a predetermined formula. Examples of formulas used for digital binning include an average of a plurality of pixels, a weighted average, a summation, and the like.

도 5는 본 발명의 제1 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면이다. 도 5의 (a)는 전체 이미지 센서의 픽셀들을 나타낸다. 전체 이미지 센서의 픽셀들은 이미지 픽셀들(R, G, B)과 초점 검출 픽셀들(A1, A2)을 포함할 수 있다. 5 is a diagram for describing an image processing method according to a first embodiment of the present invention. 5A illustrates pixels of the entire image sensor. The pixels of the entire image sensor may include image pixels R, G and B and focus detection pixels A1 and A2.

이미지 센서(304)는 도 5의 (a)와 같은 전체 픽셀들에 대해, 가로 방향에 대해서는 각 열들(C0 ~ C11)에 포함된 전체 픽셀들을 읽어 출력하고, 세로 방향에 대해서는 2행(R0, R1) 의 픽셀들을 읽고, 다음 2행(R2, R3)의 픽셀들은 스킵하는 방식 예컨대 2R2S(2Read2Skip 샘플링 방식)으로 전체 픽셀들을 읽어 도 5의 (b)와 같은 제1 샘플링 영상을 출력한다. 이때 이미지 센서(304)는 초점 검출 픽셀들(A1, A2)이 포함된 각 행은 스킵하지 않고 읽는 것이 바람직하다. 도 5의 (b)는 이미지 센서(304)가 전체 픽셀들 중 일부 픽셀들을 1차 샘플링하여 출력한 영상을 나타낸다. 도 5의 (b)의 제1 샘플링 영상은 도 5의 (a)의 전체 영상의 해상도에 비해 1/2의 해상도를 갖게 된다. 또한 세로 방향에 대해서만 샘플링되었기 때문에 가로 방향의 해상도는 전체 영상과 동일하고, 세로 방향의 해상도만 전체 영상에서 1/2 의 해상도를 갖게 된다.The image sensor 304 reads and outputs all the pixels included in the columns C0 to C11 in the horizontal direction with respect to all pixels as shown in FIG. 5A, and 2 rows (R0, for the vertical direction). The pixels of R1) are read, and the pixels of the next two rows R2 and R3 are skipped, for example, all pixels are read in a 2R2S (2Read2Skip sampling method) to output a first sampled image as shown in FIG. In this case, the image sensor 304 preferably reads each row including the focus detection pixels A1 and A2 without skipping them. 5B illustrates an image in which the image sensor 304 first samples and outputs some of the pixels. The first sampling image of FIG. 5B has a resolution 1/2 of the resolution of the entire image of FIG. 5A. In addition, since only the vertical direction is sampled, the horizontal resolution is the same as the entire image, and only the vertical resolution has a resolution of 1/2 of the entire image.

이미지 센서(304)로부터 상기 도 5의 (b)와 같은 제1 샘플링 영상이 출력되면, 이미지 프로세서(306)는 제1 샘플링 영상에 포함된 초점 검출 픽셀들(A1, A2)의 값들을 검출하고, 초점 검출 픽셀들(A1, A2) 값들을 초점 조절을 위해 저장부(310)에 저장되도록 하거나, 별도의 초점 조절부(미도시)로 제공한다. 그리고 이미지 프로세서(306)는 결함 화소 보간(DPC:Defect Pixel Correction) 알고리즘을 이용하여 초점 검출 픽셀들(A1, A2)의 값들을 이미지 픽셀들의 값들(B', R')로 복원하고, 도 5의 (c)와 같이 초점 검출 픽셀들(A1, A2)의 값들이 이미지 픽셀들의 값들(B', R')로 복원된 영상을 산출한다.When the first sampling image as shown in FIG. 5B is output from the image sensor 304, the image processor 306 detects values of the focus detection pixels A1 and A2 included in the first sampling image. The focus detection pixels A1 and A2 may be stored in the storage 310 for focus adjustment, or provided as a separate focus controller (not shown). The image processor 306 restores the values of the focus detection pixels A1 and A2 to the values B 'and R' of the image pixels using a defect pixel correction algorithm (DPC), and FIG. 5. As shown in (c), values of the focus detection pixels A1 and A2 are reconstructed into values B 'and R' of image pixels.

이미지 프로세서(306)는 도 5의 (c)와 같이 초점 검출 픽셀들(A1, A2)의 값들이 이미지 픽셀들의 값들(B', R')로 복원된 영상에서 가로 방향의 행에 포함된 전체 픽셀들에 대해 비닝(Bining)을 수행하여, 복원된 영상이 1/2의 해상도를 갖도록 축소한 도 5의 (d)와 같은 최종 영상을 출력한다. 이때 비닝은 소정의 공식을 사용하여 복수의 픽셀 신호를 하나의 픽셀 신호로 변환하는 디지털 비닝을 의미한다. 본 발명의 제1 실시 예에서는 2개의 픽셀들의 값들을 합산한 후, 합산된 값을 2로 나누어 하나의 픽셀의 값으로 출력한다. 예컨대 이미지 프로세서(306)는 도 5의 (c)와 같은 영상에서C0열 및, C2 열의 픽셀들의 값들을 합한 후, 2로 나누어 도 5의 (d)와 같이 하나의 c0'열의 픽셀의 값으로 출력한다. 이에 따라 도 5의 (d)를 참조하면, 최종 영상은 C0' = (C0+C2)/2. 마찬가지로 C1' = (C1+C3)/2, C4' = (C4+C6)/2, C5' = (C5+C7)/2 의 값을 갖게 된다. 한편, 본 발명의 다른 실시 예에 따르면 이미지 프로세서(306)는 비닝 대신에 이미지 리사이즈(resize) 알고리즘을 사용하여 도 5의 (c)와 같이 복원된 영상에서 가로 방향의 행에 포함된 전체 픽셀들을 1/2로 축소하여 최종 영상을 출력할 수도 있다.As illustrated in FIG. 5C, the image processor 306 may include all of the values of the focus detection pixels A1 and A2 included in the horizontal row in the image in which the values of the focus detection pixels A1 and A2 are restored to the values B 'and R' of the image pixels. Binning is performed on the pixels to output a final image as shown in FIG. 5 (d) which is reduced so that the reconstructed image has a resolution of 1/2. In this case, binning refers to digital binning which converts a plurality of pixel signals into one pixel signal using a predetermined formula. In the first embodiment of the present invention, after summing values of two pixels, the sum is divided by two and output as one pixel value. For example, the image processor 306 may sum the values of the pixels of the column C0 and the column C2 in the image as shown in (c) of FIG. 5, divide them by two, and divide the values into pixels of one c0 ′ as shown in (d) of FIG. 5. Output Accordingly, referring to FIG. 5D, the final image is C0 '= (C0 + C2) / 2. Similarly, C1 '= (C1 + C3) / 2, C4' = (C4 + C6) / 2, and C5 '= (C5 + C7) / 2. Meanwhile, according to another embodiment of the present invention, the image processor 306 uses the image resize algorithm instead of binning to remove all pixels included in the horizontal row in the reconstructed image as shown in FIG. It can also be reduced to 1/2 to output the final image.

전술한 바와 같은 본 발명의 제1 실시 예에 따른 영상 처리 방법을 이용하면 초점 검출 픽셀 위치의 이미지 픽셀 신호를 복원하여 이용하기 때문에, 이미지 픽셀값들 중 하나로 초점 검출 픽셀 위치의 이미지 신호를 이용하지 않는 경우보다 최종 영상의 화질이 우수하게 된다. 또한 본 발명의 제1 실시 예에 따른 영상 처리 방법을 이용하면 세로 방향의 해상도는 1/2만큼 작아지더라도 가로 방향의 해상도는 전체 영상과 동일한 1차 샘플링 영상에서 DPC를 수행하기 때문에, 가로 및 세로 방향 모두 해상도가 1/2만큼 작아진 영상에서 DPC를 수행할 때보다 보간에 사용할 수 있는 데이터의 수가 많아 더 좋은 보간 결과를 기대 할 수 있다. 또, 보간에 오차가 발생하더라도 비닝 동작에 의해서 오차가 반감되는 효과가 있다. 예를 들어 도 5의 (c)에서 A1 위치의 데이터를 DPC로 복원한 B'의 값이 e의 오차 값을 가져, B' = B+e 라고 해도, R1 행의 C4' = (C4+C6)/2 = B + e/2 가 되어, 도 5의(d)와 같은 최종 영상에서 오차는 e/2가 된다. Since the image processing method according to the first exemplary embodiment of the present invention as described above reconstructs and uses the image pixel signal of the focus detection pixel position, the image signal of the focus detection pixel position is not used as one of the image pixel values. The quality of the final image is better than that of the case. In addition, when the image processing method according to the first exemplary embodiment of the present invention is used, even if the resolution in the vertical direction is reduced by 1/2, since the resolution in the horizontal direction performs the DPC on the same first sampling image as the entire image, the horizontal and In the vertical direction, since the resolution is 1/2 smaller, more data can be used for interpolation than when DPC is performed. Therefore, better interpolation results can be expected. In addition, even if an error occurs during interpolation, the error is halved by the binning operation. For example, in FIG. 5C, even if the value of B 'which restores the data at position A1 to DPC has an error value of e and B' = B + e, C4 '= (C4 + C6 in row R1 ) / 2 = B + e / 2, and the error becomes e / 2 in the final image as shown in FIG.

도 6은 본 발명의 제2 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면이다. 도 6을 참조하면, 도 6의 (a)는 본 발명의 제2 실시 예에 따른 전체 이미지 센서의 픽셀들을 나타낸다. 본 발명의 제2 실시 예에 따른 전체 이미지 센서의 픽셀들은 이미지 픽셀들(R, G, B)과 초점 검출 픽셀들(A3, A4)을 포함할 수 있다. 6 is a diagram for describing an image processing method according to a second embodiment of the present invention. Referring to FIG. 6, FIG. 6A illustrates pixels of the entire image sensor according to the second embodiment of the present invention. The pixels of the entire image sensor according to the second embodiment of the present invention may include image pixels R, G, and B and focus detection pixels A3 and A4.

이미지 센서(304)는 도 6의 (a)와 같은 전체 픽셀들에 대해, 가로 방향에 대해서는 각 열들(C0~C11)에 포함된 전체 픽셀들을 읽어 출력하고, 세로 방향에 대해서는 첫번째 1행(R0)의 픽셀들을 읽고, 다음 2행(R1, R2)의 픽셀들은 스킵하고, 다시 4행(R3)의 픽셀들은 읽는 방식 예컨대 1R2S(1Read2Skip 샘플링 방식)으로 전체 픽셀들을 읽어 도 6의 (b)와 같은 제1 샘플링 영상을 출력한다. 이때 이미지 센서(304)는 초점 검출 픽셀들(A1, A2)이 포함된 각 행은 스킵하지 않고 읽는 것이 바람직하다. 도 6의 (b)는 이미지 센서(304)가 전체 픽셀들 중 일부 픽셀들을 1차 샘플링하여 출력한 영상을 나타낸다. 도6의 (b)의 제1 샘플링 영상은 도 6의 (a)의 전체 영상의 해상도에 비해 1/3의 해상도를 갖게 된다. 또한 세로 방향에 대해서만 샘플링되었기 때문에 가로 방향의 해상도는 전체 영상과 동일하고, 세로 방향의 해상도만 전체 영상에서 1/3 의 해상도를 갖게 된다.The image sensor 304 reads and outputs all the pixels included in each of the columns C0 to C11 in the horizontal direction with respect to all the pixels as shown in FIG. 6A, and the first one row R0 for the vertical direction. 6), the next two rows (R1, R2) pixels are skipped, and the four rows (R3) pixels are read, for example, 1R2S (1Read2Skip sampling method) to read all pixels in FIG. 6 (b) and FIG. The same first sampling image is output. In this case, the image sensor 304 preferably reads each row including the focus detection pixels A1 and A2 without skipping them. 6B illustrates an image in which the image sensor 304 first samples and outputs some of the pixels. The first sampled image of FIG. 6B has a resolution 1/3 of the resolution of the entire image of FIG. 6A. In addition, since only the vertical direction is sampled, the horizontal resolution is the same as the entire image, and only the vertical resolution has 1/3 the resolution of the entire image.

이미지 센서(304)로부터 상기 도 6의 (b)와 같은 제1 샘플링 영상이 출력되면, 이미지 프로세서(306)는 제1 샘플링 영상에 포함된 초점 검출 픽셀들(A3, A4)의 값들을 검출하고, 초점 검출 픽셀들(A3, A4) 값들을 초점 조절을 위해 저장부(310)에 저장되도록 하거나, 별도의 초점 조절부(미도시)로 제공한다. 그리고 이미지 프로세서(306)는 결함 화소 보간(DPC:Defect Pixel Correction) 알고리즘을 이용하여 초점 검출 픽셀들(A3, A4)의 값들을 이미지 픽셀들의 값들(B', R')로 복원하고, 도 6의 (c)와 같이 초점 검출 픽셀(A3, A4)위치의 값들이 이미지 픽셀들의 값들(B', R')로 복원된 영상을 산출한다.When the first sampled image as shown in FIG. 6B is output from the image sensor 304, the image processor 306 detects values of the focus detection pixels A3 and A4 included in the first sampled image. The focus detection pixels A3 and A4 may be stored in the storage 310 for focus adjustment, or provided as a separate focus adjuster (not shown). The image processor 306 restores the values of the focus detection pixels A3 and A4 to the values B ′ and R ′ of the image pixels using a defect pixel correction algorithm (DPC), and FIG. 6. As shown in (c), the values of the focus detection pixels A3 and A4 are reconstructed into the values B 'and R' of the image pixels.

이미지 프로세서(306)는 도 6의 (c)와 같이 초점 검출 픽셀들(A3, A4)의 값들이 이미지 픽셀들의 값들(R?, B?)로 복원된 영상에서 가로 방향의 행에 포함된 전체 픽셀들에 대해 비닝(Bining)을 수행하여, 복원된 영상이 1/3의 해상도를 갖도록 축소한 도 6의 (d)와 같은 최종 영상을 출력한다. 이때 비닝은 소정의 공식을 사용하여 복수의 픽셀 신호를 하나의 픽셀 신호로 변환하는 디지털 비닝을 의미한다. 본 발명의 제2 실시 예에서는 3개의 픽셀들의 값들을 합산한 후, 합산된 값을 3으로 나누어 하나의 픽셀의 값으로 출력한다. 예컨대 이미지 프로세서(306)는 도 6의 (c)와 같은 영상에서C0열 및, C2 열, C4열의 픽셀들의 값들을 합한 후, 3으로 나누어 도 6의 (d)와 같이 하나의 c0'열의 픽셀의 값으로 출력한다. 이에 따라 도 6의 (d)를 참조하면, 최종 영상에서 C0' = (C0+C2+C4)/3이 되며, 마찬가지로 C3' = (C3+C5+C7)/3 이고, C6' = (C6+C8+C10)/3 ... 등이 된다. 혹은 중앙의 픽셀에 가중치를 적용하여 C0' = (C0+2*C2+C4)/4 의 공식을 사용 할 수도 있다. 본 발명의 다른 실시 예에 따르면 이미지 프로세서(306)는 비닝 대신에 이미지 리사이즈(resize) 알고리즘을 사용하여 도 6의 (c)와 같이 복원된 영상에서 가로 방향의 행에 포함된 전체 픽셀들을 1/3로 축소하여 최종 영상을 출력할 수도 있다.As illustrated in FIG. 6C, the image processor 306 includes an entire image included in a row in a horizontal direction in an image in which values of the focus detection pixels A3 and A4 are reconstructed into values R? And B? Of the image pixels. Binning is performed on the pixels to output a final image as illustrated in (d) of FIG. 6 in which the reconstructed image has a resolution of 1/3. In this case, binning refers to digital binning which converts a plurality of pixel signals into one pixel signal using a predetermined formula. In the second embodiment of the present invention, after summing values of three pixels, the sum is divided by three and output as one pixel value. For example, the image processor 306 sums the values of pixels C0, C2, and C4 in the image of FIG. 6C, divides by 3, and divides the pixels of one c0 'column as shown in FIG. 6D. Output as. Accordingly, referring to FIG. 6 (d), C0 ′ = (C0 + C2 + C4) / 3 in the final image, similarly C3 ′ = (C3 + C5 + C7) / 3, and C6 ′ = (C6 + C8 + C10) / 3 ... and so on. Alternatively, you can use the formula C0 '= (C0 + 2 * C2 + C4) / 4 by weighting the center pixel. According to another exemplary embodiment of the present invention, the image processor 306 uses an image resize algorithm instead of binning to remove all pixels included in the horizontal row in the reconstructed image as shown in FIG. It can also be reduced to 3 to output the final image.

전술한 바와 같은 본 발명의 제2 실시 예에 따른 영상 처리 방법을 이용하면 초점 검출 픽셀 값을 이미지 픽셀값으로 복원하여 이용하기 때문에, 이미지 픽셀값들 중 하나로 초점 검출 픽셀 위치의 이미지 신호를 이용하지 않는 경우보다 최종 영상의 화질이 우수하게 된다. 또한 본 발명의 제2 실시 예에 따른 영상 처리 방법을 이용하면 세로 방향의 해상도는 1/3만큼 작아지더라도 가로 방향의 해상도는 전체 영상과 동일한 1차 샘플링 영상에서 DPC를 수행하기 때문에, 가로 및 세로 방향 모두 해상도가 1/3만큼 작아진 영상에서 DPC를 수행할 때보다 보간에 사용할 수 있는 데이터의 수가 많아 더 좋은 보간 결과를 기대 할 수 있다. 또, 보간에 오차가 발생하더라도 비닝 동작에 의해서 오차가 반감되는 효과가 있다. 예를 들어 도 6의 (c)에서 R0 행의 C9' 픽셀 값은 C9' = (C9+C11+C13)/3 인데, C13의 위치는 DPC 알고리즘을 사용하여 보간 한 값을 가지므로, 만약 오차 e 가 발생 하더라도, 최종 영상 신호 C9' 에 발생하는 오차는 e/3 이 된다.When the image processing method according to the second embodiment of the present invention is used as described above, since the focus detection pixel value is reconstructed and used, the image signal of the focus detection pixel position is not used as one of the image pixel values. The quality of the final image is better than that of the case. In addition, when using the image processing method according to the second embodiment of the present invention, even if the resolution in the vertical direction is reduced by 1/3, since the resolution in the horizontal direction performs the DPC on the same first sampling image as the entire image, In the vertical direction, the resolution is reduced by 1/3, so the number of data available for interpolation can be better than that of DPC. Therefore, better interpolation results can be expected. In addition, even if an error occurs during interpolation, the error is halved by the binning operation. For example, in FIG. 6C, the C9 'pixel value of the R0 row is C9' = (C9 + C11 + C13) / 3, and the position of C13 has a value interpolated using the DPC algorithm, so that if an error Even if e occurs, the error occurring in the final video signal C9 'becomes e / 3.

도 7은 본 발명의 제3 실시 예에 따른 영상 처리 방법을 설명하기 위한 도면이다. 도 7을 참조하면, 도 7의 (a)는 본 발명의 제3 실시 예에 따른 전체 이미지 센서의 픽셀들을 나타낸다. 본 발명의 제3 실시 예에 따른 전체 이미지 센서의 픽셀들은 이미지 픽셀들(R, G, B)과 초점 검출 픽셀들(A5, A6)을 포함할 수 있다. 7 is a diagram for describing an image processing method according to a third embodiment of the present invention. Referring to FIG. 7, (a) of FIG. 7 shows pixels of the entire image sensor according to the third embodiment of the present invention. The pixels of the entire image sensor according to the third embodiment of the present invention may include image pixels R, G, and B and focus detection pixels A5 and A6.

이미지 센서(304)는 도 7의 (a)와 같은 전체 픽셀들에 대해, 가로 방향 및 세로 방향에 대해 1차 샘플링을 수행하여 1/3픽셀들 만큼의 픽셀들을 출력한다. 예컨대 이미지 센서(304)는 도 7의 (a)와 같은 전제 픽셀들에 대해 3개의 행 중 하나의 행에 대해 3개 열의 픽셀들 중 2개 열의 픽셀은 비닝하여 하나의 픽셀로 출력하고, 나머지 1개의 열의 픽셀(C4)는 그대로 출력하는 방식으로 1차 샘플링을 수행하여 도 7의 (b)와 같은 1차 샘플링 영상을 출력한다. 예컨대 이미지 센서(304)는 R0C0 픽셀, R0C2 픽셀, R0C4 픽셀의 3개의 픽셀들 중 R0C0 픽셀과 R0C2 픽셀이 값들을 비닝하여 도 7의(b)의 R0C0'의 픽셀값으로 출력하고, 나머지 1개의 R0C4 픽셀의 값은 도 7의 (b)의 R0C4값으로 그대로 출력한다. 또한 이미지 센서(304)는 R0C3 픽셀, R0C5 픽셀, R0C7 픽셀의 3개의 픽셀들 중 R0C3 픽셀과 R0C5 픽셀이 값들을 비닝하여 도 7의(b)의 R0C3'의 픽셀값으로 출력하고, 나머지 1개의 R0C7 픽셀의 값은 도 7의 (b)의 R0C7값으로 그대로 출력한다. 또한 이미지 센서(304)는 R0C3 픽셀, R0C5 픽셀, R0C7 픽셀의 3개의 픽셀들 중 R0C3 픽셀과 R0C5 픽셀이 값들을 비닝하여 도 7의(b)의 R0C3'의 픽셀값으로 출력하고, 나머지 1개의 R0C7 픽셀의 값은 도 7의 (b)의 R0C7값으로 그대로 출력한다. The image sensor 304 performs first-order sampling on the horizontal and vertical directions of all the pixels as shown in FIG. 7A, and outputs pixels of 1/3 pixels. For example, the image sensor 304 bins the pixels of two columns of the three columns of pixels for one of the three rows for the entire pixels as shown in FIG. The pixel C4 of one column is output as it is and the first sampling is performed to output the first sampling image as shown in FIG. For example, the image sensor 304 bins the values of the R0C0 pixel and the R0C2 pixel among the three pixels of the R0C0 pixel, the R0C2 pixel, and the R0C4 pixel, and outputs the pixel values of the R0C0 'in FIG. The value of the R0C4 pixel is output as it is as the R0C4 value in Fig. 7B. Also, the image sensor 304 bins the values of the R0C3 pixel and the R0C5 pixel among three pixels of the R0C3 pixel, the R0C5 pixel, and the R0C7 pixel, and outputs the pixel values of the R0C3 'in FIG. The value of the R0C7 pixel is output as it is as the R0C7 value in Fig. 7B. Also, the image sensor 304 bins the values of the R0C3 and R0C5 pixels among the three pixels of the R0C3 pixel, the R0C5 pixel, and the R0C7 pixel, and outputs the pixel values of the R0C3 'in FIG. The value of the R0C7 pixel is output as it is as the R0C7 value in Fig. 7B.

이미지 센서(304)는 상기한 바와 같은 방식으로 도 7의 (a)의 전체 픽셀들에 대해 1차 샘플링을 수행하여 도 7의 (b)와 같은 제1 샘플링 영상을 출력한다. 이때 제1 샘플링 영상은 도 7의 (c)와 같이 비닝하여 출력되는 픽셀값들과, 그대로 출력되는 픽셀값들이 분리되어 출력될 수도 있다. 한편, 이때 제1 샘플링 영상에는 초점 검출 픽셀들(A5, A6)이 포함되는 것이 바람직하다.The image sensor 304 performs first-order sampling on all the pixels of FIG. 7A in the same manner as described above, and outputs a first sampled image as shown in FIG. 7B. In this case, as shown in FIG. 7C, the first sampled image may be output by separating pixel values output by binning and pixel values output as they are. In this case, the first sampling image may include the focus detection pixels A5 and A6.

이미지 센서(304)로부터 상기 도 7의 (b) 및 도 7의 (c)와 같은 제1 샘플링 영상이 출력되면, 이미지 프로세서(306)는 제1 샘플링 영상에 포함된 초점 검출 픽셀들(A5, A6)의 값들을 검출하고, 초점 검출 픽셀들(A5, A6) 값들을 초점 조절을 위해 저장부(310)에 저장되도록 하거나, 별도의 초점 조절부(미도시)로 제공할 수 있다. 그리고 이미지 프로세서(306)는 결함 화소 보간(DPC:Defect Pixel Correction) 알고리즘을 이용하여 초점 검출 픽셀들(A5, A6)의 값들을 이미지 픽셀들의 값들(R', B')로 복원하고, 도 7의 (d) 또는 (e)와 같이 초점 검출 픽셀들(A5, A6)의 값들이 이미지 픽셀들의 값들(R', B')로 복원된 영상을 산출할 수 있다.When the first sampling image as shown in FIGS. 7B and 7C is output from the image sensor 304, the image processor 306 may output the focus detection pixels A5, which are included in the first sampling image. The values of A6) may be detected, and the focus detection pixels A5 and A6 may be stored in the storage 310 for focus adjustment, or may be provided as a separate focus controller (not shown). The image processor 306 restores the values of the focus detection pixels A5 and A6 to the values R ′ and B ′ of the image pixels using a defective pixel interpolation (DPC) algorithm, and FIG. 7. As shown in (d) or (e), values of the focus detection pixels A5 and A6 may be reconstructed into values R 'and B' of image pixels.

이미지 프로세서(306)는 도 7의 (d) 와 같이 초점 검출 픽셀들(A5, A6)의 값들이 이미지 픽셀들의 값들(B', R')로 복원된 영상에서 가로 방향의 행에 포함된 픽셀들에 대해 비닝(Bining)을 수행하여, 도 7의 (d) 와 같이 복원된 영상의 1/2의 해상도를 갖도록 축소한 도 7의 (f)와 같은 최종 영상을 출력할 수 있다. The image processor 306 includes a pixel included in a row in a horizontal direction in the image in which values of the focus detection pixels A5 and A6 are restored to values B ′ and R ′ of the image pixels as shown in FIG. 7D. These images may be binned to output a final image as illustrated in FIG. 7F, which is reduced to have a resolution of 1/2 of the reconstructed image as illustrated in FIG. 7D.

예컨대 이미지 프로세서(306)는 R0C0' 픽셀, R0C4 픽셀의 2개의 픽셀들의 값을 비닝하여 도 7의 (f)의 R0C0''의 픽셀값으로 출력할 수 있다. 이때 비닝 공식은 R0C0''의 픽셀값=(2* R0C0' 픽셀값+C4)/3이 될 수 있다. 이는 R0C0' 픽셀값이 이미 R0C0 및 R0C2 픽셀의 값을 비닝한 값이기 때문이다. 또한 R0C3' 픽셀, R0C7 픽셀의 2개의 픽셀들을 비닝하여 도 7의 (f)의 R0C3''의 픽셀값으로 출력한다. 도 7의 (f)의 R0C6'', R0C9'', R0C12'', R0C15'' 각각의 픽셀값도 동일한 방식으로 출력된다. For example, the image processor 306 may bin the values of two pixels of the R0C0 'pixel and the R0C4 pixel and output the pixel values of R0C0' 'in FIG. 7F. At this time, the binning formula may be a pixel value of R0C0 '' = (2 * R0C0 'pixel value + C4) / 3. This is because the R0C0 'pixel value has already binned the values of the R0C0 and R0C2 pixels. In addition, two pixels of the R0C3 'pixel and the R0C7 pixel are binned and output as the pixel value of R0C3' 'in FIG. 7F. Pixel values of R0C6 ", R0C9 ", R0C12 ", and R0C15 " in Fig. 7F are also output in the same manner.

한편, 상기 본 발명의 제1 내지 제3 실시 예에서는 가로 방향의 행을 기준으로 픽셀들에 대한 비닝을 수행하는 경우에 대해 설명하였다. 그러나 본 발명의 제4 실시 예 및 제5 실시 예에 따르면 세로 방향의 열을 기준으로 픽셀들에 대한 비닝을 수행할 수도 있다. 이하 본 발명의 제4 실시 예 및 제 5 실시 예를 각각 설명한다.Meanwhile, the first to third embodiments of the present invention have been described in which binning of pixels is performed based on rows in a horizontal direction. However, according to the fourth and fifth embodiments of the present invention, binning may be performed on the pixels based on the columns in the vertical direction. Hereinafter, the fourth embodiment and the fifth embodiment of the present invention will be described.

도 8은 본 발명의 제4 실시 예에 따른 영상 처리 방법에 대한 흐름도이다. 도 8의 (a)는 본 발명의 제4 실시 예에 따른 전체 이미지 센서의 픽셀들을 나타낸다. 본 발명의 제4 실시 예에 따른 전체 이미지 센서의 픽셀들은 이미지 픽셀들(R, G, B)과 초점 검출 픽셀들(A7, A8)을 포함할 수 있다. 8 is a flowchart illustrating an image processing method according to a fourth embodiment of the present invention. 8A illustrates pixels of the entire image sensor according to the fourth embodiment of the present invention. The pixels of the entire image sensor according to the fourth embodiment of the present invention may include image pixels R, G, and B and focus detection pixels A7 and A8.

이미지 센서(304)는 도 8의 (a)와 같은 전체 픽셀들에 대해 1차 샘플링을 수행하여 세로 방향으로 1/2만큼 축소된 1차 샘플링 영상을 출력한다. 예컨대 이미지 센서(304)는 도 8의 (a)와 같은 전체 픽셀들의 각각의 열에 대해 2개 행의 픽셀들의 값을 비닝하여 하나의 픽셀값으로 출력하는 방식으로 1차 샘플링을 수행하고 도 8의 (b)와 같은 1차 샘플링 영상을 출력한다. 예컨대 이미지 센서(304)는 R0C0 픽셀, R1C0 픽셀의 값들을 비닝하여 도 8의(b)의 R0'C0의 픽셀값으로 출력하고, R1C0 픽셀, R3C0 픽셀값들을 비닝하여 도 8의(b)의 R1'C0의 픽셀값으로 출력한다. 이미지 센서(304)는 상기한 바와 같은 방식으로 도 8의 (a)의 전체 픽셀들에 대해 1차 샘플링을 수행하여 도 8의 (b)와 같은 제1 샘플링 영상을 출력한다. The image sensor 304 performs primary sampling on all pixels as shown in FIG. 8A to output a primary sampling image reduced by 1/2 in the vertical direction. For example, the image sensor 304 performs first-order sampling by binning the values of two rows of pixels for each column of the entire pixels as shown in FIG. 8A and outputting them as one pixel value. Output the first sampling image as shown in (b). For example, the image sensor 304 bins the values of the R0C0 pixel and the R1C0 pixel and outputs the pixel values of R0'C0 in FIG. 8B, and bins the R1C0 pixel and R3C0 pixel values in FIG. 8B. Outputs the pixel value of R1'C0. The image sensor 304 performs first-order sampling on all the pixels of FIG. 8A in the same manner as described above, and outputs a first sampled image as shown in FIG. 8B.

그런데 R1C6의 픽셀과 R4C7의 픽셀 즉, 초점 검출 픽셀들(A7, A8)은 각각 R3C6 및 R6C7의 픽셀과 비닝이 수행되면 A7 및 A8의 값이 유지되지 못한다. 따라서 본 발명의 제4 실시 예에서는 이미지 센서(306)가 초점 검출 픽셀들(A7, A8)은 각각 R3C6 및 R6C7의 픽셀과 비닝을 수행하지 않고, 그대로 출력되도록 한다.However, when the pixels of R1C6 and the pixels of R4C7, that is, the focus detection pixels A7 and A8 are binned with the pixels of R3C6 and R6C7, the values of A7 and A8 are not maintained. Therefore, in the fourth exemplary embodiment of the present invention, the image sensor 306 outputs the focus detection pixels A7 and A8 without binning with the pixels of R3C6 and R6C7, respectively.

이에 따라 제1 샘플링 영상은 도 8의 (b)와 같이 비닝하여 출력되는 픽셀값들과, 그대로 출력되는 A7, A8이 포함된다.Accordingly, the first sampled image includes pixel values that are binned and output as shown in FIG. 8B and A7 and A8 that are output as they are.

이미지 센서(304)로부터 상기 도 8의 (b)와 같은 제1 샘플링 영상이 출력되면, 이미지 프로세서(306)는 제1 샘플링 영상에 포함된 초점 검출 픽셀들(A7, A8)의 값들을 검출하고, 초점 검출 픽셀들(A7, A8) 값들을 초점 조절을 위해 저장부(310)에 저장되도록 하거나, 별도의 초점 조절부(미도시)로 제공할 수 있다. 그리고 이미지 프로세서(306)는 결함 화소 보간(DPC:Defect Pixel Correction) 알고리즘을 이용하여 초점 검출 픽셀 위치 (A7, A8)의 이미지 신호를 (R', B')로 복원하여, 도 8의 (C)와 같이 초점 검출 픽셀들(A7, A8)의 값들이 이미지 픽셀들의 값들(R', B')로 복원된 영상을 산출할 수 있다.When the first sampled image as illustrated in FIG. 8B is output from the image sensor 304, the image processor 306 detects values of the focus detection pixels A7 and A8 included in the first sampled image. In addition, the focus detection pixels A7 and A8 may be stored in the storage 310 to adjust the focus, or may be provided as a separate focus controller (not shown). The image processor 306 restores the image signals of the focus detection pixel positions A7 and A8 to (R ', B') by using a defective pixel interpolation (DPC) algorithm, and (C) of FIG. As shown in FIG. 2, the image of the focus detection pixels A7 and A8 may be reconstructed into values R ′ and B ′ of the image pixels.

이미지 프로세서(306)는 도 8의 (C) 와 같이 초점 검출 픽셀들(A7, A8)의 값들이 이미지 픽셀들의 값들(B', R')로 복원된 영상에서 가로 방향의 행에 포함된 픽셀들에 대해 비닝(Bining)을 수행하여, 도 8의 (d) 와 같이 복원된 영상의 1/2의 해상도를 갖도록 축소한 최종 영상을 출력할 수 있다. The image processor 306 includes a pixel included in a row in a horizontal direction in an image in which values of focus detection pixels A7 and A8 are restored to values B 'and R' of image pixels as shown in FIG. 8C. Binning is performed on these fields, and the final image reduced to have a resolution of 1/2 of the reconstructed image can be output as shown in FIG.

예컨대 이미지 프로세서(306)는 R0'C0 픽셀, R0'C2 픽셀의 2개의 픽셀들의 값을 비닝하여 도 8의 (d)의 R0'C0'의 픽셀값으로 출력할 수 있다. 또한 R0'C1 픽셀, R0'C3 픽셀의 2개의 픽셀들을 비닝하여 도 8의 (d)의 R0'C1'의 픽셀값으로 출력할 수 있다. 도 8의 (d)의 R0'C4', R0'C5', R0'C8', R0'C9' 각각의 픽셀값도 동일한 방식으로 출력될 수 있다.For example, the image processor 306 may bin the values of two pixels of the R0'C0 pixel and the R0'C2 pixel and output the pixel values of R0'C0 'of FIG. 8D. In addition, two pixels of the R0'C1 pixel and the R0'C3 pixel may be binned and output as the pixel value of R0'C1 'of FIG. 8D. Pixel values of R0'C4 ', R0'C5', R0'C8 ', and R0'C9' of FIG. 8D may also be output in the same manner.

한편, 상기 본 발명의 제4 실시 예에서는 초점 검출 픽셀들(A7, A8)의 값들은 각각 R3C6 및 R6C7의 비닝 대상 픽셀의 값과 비닝을 수행하지 않고, 그대로 출력되도록 하였지만, 본 발명의 제5 실시 예에 따르면 초점 검출 픽셀들도 비닝이 수행되도록 하고, 이후 처리에서 원래의 초점 검출 픽셀들의 값을 추정할 수도 있다. Meanwhile, in the fourth embodiment of the present invention, the values of the focus detection pixels A7 and A8 are output as they are without binning with the values of the binning pixels of R3C6 and R6C7, respectively. According to an embodiment, the focus detection pixels may be binned, and the values of the original focus detection pixels may be estimated in subsequent processing.

도 9는 본 발명의 제5 실시 예에 따른 영상 처리 방법에 대한 흐름도이다. 도 9의 (a)는 본 발명의 제5 실시 예에 따른 전체 이미지 센서의 픽셀들을 나타낸다. 본 발명의 제5 실시 예에 따른 전체 이미지 센서의 픽셀들은 이미지 픽셀들(R, G, B)과 초점 검출 픽셀들(A10, A11)을 포함할 수 있다. 9 is a flowchart illustrating an image processing method according to a fifth embodiment of the present invention. 9A illustrates pixels of the entire image sensor according to the fifth embodiment of the present invention. The pixels of the entire image sensor according to the fifth embodiment of the present invention may include image pixels R, G, and B and focus detection pixels A10 and A11.

이미지 센서(304)는 도 9의 (a)와 같은 전체 픽셀들에 대해 1차 샘플링을 수행하여 세로 방향으로 1/2만큼 축소된 1차 샘플링 영상을 출력한다. 예컨대 이미지 센서(304)는 도 9의 (a)와 같은 전제 픽셀들의 각각의 열에 대해 2개 행의 픽셀들의 값을 비닝하여 하나의 픽셀값으로 출력하는 방식으로 1차 샘플링을 수행하고 도 9의 (b)와 같은 1차 샘플링 영상을 출력한다. 예컨대 이미지 센서(304)는 R0C0 픽셀, R2C0 픽셀의 값들을 비닝하여 도 9의(b)의 R0'C0의 픽셀값으로 출력하고, R1C0 픽셀, R3C0 픽셀값들을 비닝하여 도 9의(b)의 R1'C0의 픽셀값으로 출력한다. 이미지 센서(304)는 상기한 바와 같은 방식으로 도 9의 (a)의 전체 픽셀들에 대해 1차 샘플링을 수행하여 도 9의 (b)와 같은 제1 샘플링 영상을 출력한다. The image sensor 304 performs primary sampling on all pixels as shown in FIG. 9A and outputs a primary sampling image reduced by 1/2 in the vertical direction. For example, the image sensor 304 performs first-order sampling by binning the values of the two rows of pixels for each column of the entire pixels as shown in FIG. 9A and outputting them as one pixel value. Output the first sampling image as shown in (b). For example, the image sensor 304 bins the values of the R0C0 pixel and the R2C0 pixel and outputs the pixel values of R0'C0 in FIG. 9B, and bins the R1C0 pixel and R3C0 pixel values in FIG. 9B. Outputs the pixel value of R1'C0. The image sensor 304 performs first-order sampling on all the pixels of FIG. 9A in the same manner as described above, and outputs a first sampled image as shown in FIG. 9B.

이때 R1C6의 픽셀과 R4C7의 픽셀 즉, 초점 검출 픽셀들(A10, A11)도 각각 R3C6 픽셀(B) 및 R6C7의 픽셀(R)과 비닝이 수행되어, 1차 샘플링 영상의 R1'C6의 픽셀의 값은 A10'(A10'=(A10+B)/2)의 값으로 출력되고, R4'C7 픽셀의 값은 A11'(A11'=(A11+R)/2)의 값으로 출력된다.At this time, the pixels of R1C6 and the pixels of R4C7, that is, the focus detection pixels A10 and A11 are also binned with the R3C6 pixel B and the pixel R of R6C7, respectively. The value is output as a value of A10 '(A10' = (A10 + B) / 2), and the value of the R4'C7 pixel is output as a value of A11 '(A11' = (A11 + R) / 2).

이에 따라 제1 샘플링 영상은 도 9의 (b)와 같이 비닝하여 출력되는 이미지 픽셀값들과, 이미지 픽셀과 초점 검출 픽셀의 신호가 비닝된 (A10', A11')이 포함된다.Accordingly, the first sampled image includes image pixel values binned and output as shown in FIG. 9B and binned signals A10 'and A11'.

이미지 센서(304)로부터 상기 도 9의 (b)와 같은 제1 샘플링 영상이 출력되면, 이미지 프로세서(306)는 결함 화소 보간(DPC:Defect Pixel Correction) 알고리즘을 이용하여 비닝된 초점 검출 픽셀들(A10', A11') 위치 의 이미지 신호(B', R')를 복원하고, 도 9의 (C)와 같이 비닝된 초점 검출 픽셀들(A10', A11')의 값들이 이미지 픽셀들의 값들(B', R')로 복원된 영상을 산출할 수 있다. When the first sampled image as illustrated in FIG. 9B is output from the image sensor 304, the image processor 306 may perform binning of focus detection pixels (DPC) using a defect pixel correction (DPC) algorithm. The image signals B 'and R' at positions A10 'and A11' are restored, and the values of the focus detection pixels A10 'and A11' binned as shown in FIG. 9C are the values of the image pixels ( B ', R') can be reconstructed image.

이때 DPC 알고리즘의 성능이 좋다고 가정하면, 복원된 (B', R')은 원래 이미지 신호인 B, R값과 유사하므로, 이미지 프로세서(306)는 초점 검출 픽셀들의 값을 각각 A10=2*A10'-B'와 A11=2*A11'-R'와 같이 계산하여 추정하고, 추정된 초점 검출 픽셀들(A10, A11)의 값들을 초점 조절을 위해 저장부(310)에 저장되도록 하거나, 별도의 초점 조절부(미도시)로 제공할 수 있다. Assuming that the performance of the DPC algorithm is good, the reconstructed (B ', R') is similar to the original image signals B and R, so that the image processor 306 sets the values of the focus detection pixels, respectively, A10 = 2 * A10. Calculate and estimate as' -B 'and A11 = 2 * A11'-R', and store the estimated values of the focus detection pixels A10 and A11 in the storage unit 310 to adjust the focus, or separately. It can be provided as a focus control unit (not shown).

한편, 도 9의 (C)와 같은 영상에 대해, 이미지 프로세서(306)는 가로 방향의 행에 포함된 픽셀들에 대해 비닝(Bining)을 수행하여, 도 9의 (d) 와 같이 복원된 영상에 비해 1/2의 해상도를 갖도록 축소한 최종 영상을 출력할 수 있다. On the other hand, with respect to the image as shown in FIG. 9C, the image processor 306 bins the pixels included in the horizontal row, thereby reconstructing the image as shown in FIG. 9D. Compared with the resolution of 1/2, the final image can be output.

예컨대 이미지 프로세서(306)는 R0'C0 픽셀, R0'C2 픽셀의 2개의 픽셀들의 값을 비닝하여 도 9의 (d)의 R0'C0'의 픽셀값으로 출력할 수 있다. 또한 R0'C1 픽셀, R0'C3 픽셀의 2개의 픽셀들을 비닝하여 도 9의 (d)의 R0'C1'의 픽셀값으로 출력할 수 있다. 도 9의 (d)의 R0'C4', R0'C5', R0'C8', R0'C9' 각각의 픽셀값도 동일한 방식으로 출력될 수 있다.For example, the image processor 306 may bin the values of two pixels of the R0'C0 pixel and the R0'C2 pixel and output the pixel values of R0'C0 'of FIG. 9D. In addition, two pixels of the R0'C1 pixel and the R0'C3 pixel may be binned and output as the pixel value of R0'C1 'of FIG. 9 (d). Pixel values of R0'C4 ', R0'C5', R0'C8 ', and R0'C9' of FIG. 9D may also be output in the same manner.

도 10 내지 도 13은 본 발명의 실시 예들을 적용하지 않고 얻은 영상과 본 발명의 실시 예들을 적용하여 얻은 영상의 화질을 비교하여 설명하기 위한 도면이다. 10 to 13 are diagrams for explaining and comparing the image quality of an image obtained without applying the embodiments of the present invention and the image obtained by applying the embodiments of the present invention.

구체적으로 도 10은 전체 픽셀값들을 포함하는 영상을 나타낸 도면이다. 참고로 도 10은 각 픽셀의 RGB 값이 보간 되지 않은 베이어 패턴(bayer pattern)의 영상이다. 도 10에서 참조번호 92 및 94의 영역은 픽셀들 간의 값의 차이가 많이 나는 고주파 영상 영역이다. In detail, FIG. 10 is a diagram illustrating an image including all pixel values. For reference, FIG. 10 is an image of a Bayer pattern in which RGB values of each pixel are not interpolated. In FIG. 10, areas 92 and 94 are high frequency image areas in which a difference in values between pixels is large.

도 11은 92 영역의 고주파 영상에 대해 본 발명의 실시 예들 중 하나를 적용한 결과를 나타낸 도면이다. 도 11의 (a)는 초점 검출 픽셀들이 포함되지 않은 이미지 픽셀들에 대해서 비닝(binning)하여 얻은 영상(92-1)이고, 도 11의 (b)는 비닝 대상이 되는 픽셀의 위치에 초점 검출 픽셀이 존재하는 경우, 초점 검출 픽셀을 제외한 나머지 이미지 픽셀들의 신호들을 비닝하여 출력하고, 초점 검출 픽셀의 신호는 그대로 읽어 출력하는 종래 방식을 이용하여 얻은 영상(92-2)이다. 도 11의 (c)는 본 발명의 실시 예들 중 하나를 적용하여 얻은 영상(92-3)이다. 도 11의 (a) 내지 (c)를 비교하면, 종래 방식을 이용하여 얻은 도 11의 (b)의 영상(92-2)은 고주파 영상에서 초점 검출 픽셀 위치의 이미지 신호가 이미지 픽셀들의 신호들에 반영되는 경우와 반영되지 않는 경우의 차가 커서 검은 영역과 흰색 영역의 경계에 검은 점 등이 발생하여 화질이 좋지 않은 것을 볼 수 있다. 이에 반해 본 발명의 실시 예들 중 하나를 적용하여 얻은 도 11의 (c)의 영상(92-3)은 초점 검출 픽셀을 고려했음에도 불구하고, 초점 검출 픽셀을 고려하지 않은 도 11의 (a)와 화질의 차이가 거의 없는 영상을 나타내고 있는 것이 확인된다.FIG. 11 is a diagram illustrating a result of applying one of the embodiments of the present disclosure to a high frequency image of region 92. FIG. FIG. 11A illustrates an image 92-1 obtained by binning image pixels not including focus detection pixels, and FIG. 11B illustrates focus detection at a position of a pixel to be binned. When the pixel exists, the image 92-2 is obtained by using a conventional method of binning and outputting signals of the remaining image pixels except for the focus detection pixel, and reading and outputting the signal of the focus detection pixel as it is. FIG. 11C is an image 92-3 obtained by applying one of the embodiments of the present invention. FIG. When comparing (a) to (c) of FIG. 11, the image 92-2 of FIG. 11 (b) obtained by using the conventional method is that the image signal of the focus detection pixel position in the high frequency image signal of the image pixels In this case, the difference between the case of reflected and the case of not being reflected is large, and black dots and the like occur at the boundary between the black region and the white region. On the contrary, the image 92-3 of FIG. 11C obtained by applying one of the embodiments of the present invention, although the focus detection pixel is considered, does not consider the focus detection pixel of FIGS. It is confirmed that an image with almost no difference in image quality is displayed.

한편, 도 12는 94 영역의 고주파 영상에 대해 본 발명의 실시 예들 중 하나를 적용한 결과를 나타낸 도면이다. 도 12의 (a)는 초점 검출 픽셀들이 포함되지 않은 이미지 픽셀들에 대해서 비닝(binning)하여 얻은 영상(94-1)이고, 도 12의 (b)는 비닝 대상이 되는 픽셀의 위치에 초점 검출 픽셀이 존재하는 경우, 초점 검출 픽셀을 제외한 나머지 이미지 픽셀들의 신호들을 비닝하여 출력하고, 초점 검출 픽셀의 신호는 그대로 읽어 출력하는 종래 방식을 이용하여 얻은 영상(94-2)이다. 도 12의 (c)는 본 발명의 실시 예들 중 하나를 적용하여 얻은 영상(94-3)이다. 도 12의 (a) 내지 (c)를 비교하면, 종래 방식을 이용하여 얻은 도 12의 (b)의 영상(94-2)은 고주파 영상에서 초점 검출 픽셀 위치의 이미지 신호가 이미지 픽셀들의 신호들에 반영되는 경우와 반영되지 않는 경우의 차가 커서 검은 영역과 흰색 영역의 경계에 흰 점 등이 발생하여 화질이 좋지 않은 것을 볼 수 있다. 이에 반해 본 발명의 실시 예들 중 하나를 적용하여 얻은 도 12의 (c)의 영상(94-3)은 초점 검출 픽셀을 고려했음에도 불구하고, 초점 검출 픽셀을 고려하지 않은 도 12의 (a)와 화질의 차이가 거의 없는 영상을 나타내고 있는 것이 확인된다.FIG. 12 is a diagram illustrating a result of applying one of the embodiments of the present invention to a high frequency image of a 94 region. FIG. 12A illustrates an image 94-1 obtained by binning image pixels not including focus detection pixels, and FIG. 12B illustrates focus detection at a position of a pixel to be binned. When the pixel exists, the image 94-2 is obtained by using a conventional method of binning and outputting signals of the image pixels except for the focus detection pixel, and reading and outputting the signal of the focus detection pixel as it is. 12C is an image 94-3 obtained by applying one of the embodiments of the present invention. Comparing FIGS. 12A to 12C, the image 94-2 of FIG. 12B obtained by using a conventional method is obtained by converting an image signal of a focus detection pixel position into signals of image pixels in a high frequency image. In this case, the difference between the case of reflected and the case of not reflected is so large that white dots occur at the boundary between the black region and the white region, and thus the image quality is not good. In contrast, although the image 94-3 of FIG. 12C obtained by applying one of the embodiments of the present invention considers the focus detection pixel, the image 94-3 of FIG. 12 does not consider the focus detection pixel. It is confirmed that an image with almost no difference in image quality is displayed.

상기한 바와 같은 본 발명의 실시 예들은 초점 검출 픽셀 등 영상 정보로 사용하기 어려운 데이터를 포함하는 픽셀을 가지는 디지털 이미지 센서로부터 전체 픽셀값들에서 일부 픽셀값들을 제공받는 경우에도 초점 검출 픽셀로 인한 화질 손실을 최소화 하면서도 초점 검출 픽셀값을 정확히 얻어 초점을 조절할 수 있게 한다.As described above, the embodiments of the present invention provide the image quality due to the focus detection pixel even when some pixel values are provided from all the pixel values from the digital image sensor having a pixel including data that is difficult to use as image information such as the focus detection pixel. It allows you to accurately adjust the focus detection pixel value while minimizing the loss.

본 발명의 다양한 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야에서 통상의 지식을 가진 자에게 공지되어 사용 가능한 것일 수도 있다. Methods according to various embodiments of the present invention may be implemented in the form of program instructions that may be executed by various computer means and may be recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those of ordinary skill in the computer software arts.

Claims

In the image processing apparatus,
An image sensor comprising a plurality of first pixels for detecting an image and a plurality of second pixels for detecting a signal different from the plurality of first pixels;
Performing a first binning on some pixels of the plurality of first pixels among all pixels of the image including the plurality of first pixels and the plurality of second pixels, and performing a first binning on the first binning Reading a value of some pixels including values generated based on the values and the values of the plurality of second pixels, and outputting a first sampling image, wherein the values of the plurality of second pixels included in the first sampling image are image pixels. An image processor for generating a reconstructed image by reconstructing the values of the reconstructed values, and performing a second binning on the pixels of the reconstructed image to output an image having a reduced resolution at a predetermined ratio. Image processing apparatus comprising.

delete

The image processing apparatus of claim 1, wherein the first binning and the second binning are signal processing methods for converting at least two pixels of the plurality of first pixels into one pixel using a predetermined formula.

The image processing apparatus of claim 1, wherein the predetermined ratio comprises one of 1/2 or 1/3.

The method of claim 1,
And interpolating values of the second pixels by applying a defect pixel correction (DPC) algorithm to restore the values of the second pixels to values of image pixels.

In the image processing method,
A first for some pixels of the plurality of first pixels of an entire pixel of the image comprising a plurality of first pixels for detecting an image and a plurality of second pixels for detecting a signal different from the first pixels Performing binning,
Outputting a first sampled image by reading values of some pixels including values generated based on the first binning and values of the plurality of second pixels;
Generating a reconstructed image by reconstructing values of the plurality of second pixels included in the first sampled image to values of image pixels;
And performing a second binning on the pixels of the reconstructed image to output an image of which the reconstructed image is reduced in resolution at a predetermined ratio.

delete

The image processing method of claim 6, wherein the first binning and the second binning are operations of converting at least two pixels of the plurality of first pixels into one pixel using a predetermined formula.

The image processing method of claim 6, wherein the predetermined ratio comprises one of 1/2 or 1/3.

The method of claim 6,
And interpolating values of the second pixels by applying a defect pixel correction (DPC) algorithm to restore the values of the second pixels to the values of the image pixels.