KR20120015583A

KR20120015583A - Method of operating an image sensor

Info

Publication number: KR20120015583A
Application number: KR1020100077797A
Authority: KR
Inventors: 편창희
Original assignee: 주식회사 하이닉스반도체
Priority date: 2010-08-12
Filing date: 2010-08-12
Publication date: 2012-02-22

Abstract

PURPOSE: A method for operating an image sensor is provided to effectively detect a defective pixel by the image sensor. CONSTITUTION: DP information is provided from a memory. It is determined whether DP data exist(S11). If the DP data exist, DP address information is read through the DP data provided from a memory and DP compensation is performed(S12). An NxN kernel compensation algorithm is performed from N+2 frame. If the DP data exist, a DN x N kernel compensation algorithm is performed in N+2 frame(S13).

Description

Method of operating an image sensor

본 발명은 이미지 센서의 구동방법에 관한 것으로, 보다 자세하게는 이미지 센서가 정상 동작을 수행하기 전인 초기 프레임 동안 불량 픽셀을 검출하는 방법에 관한 것이다.
The present invention relates to a method of driving an image sensor, and more particularly, to a method of detecting a bad pixel during an initial frame before the image sensor performs a normal operation.

이미지 센서는 휴대폰 카메라나 디지털 카메라 등에서 영상을 생성해 내는 영상 촬상 소자 부품을 일컫는 것으로, 그 제작 공정과 응용 방식에 따라 크게 고체 촬상소자(charge coupled device, 이하 "CCD"라고 함)와 상보성 금속 산화막 반도체 이미지 센서(CMOS image sensor, 이하 "CIS"라고 함)로 분류할 수 있다. 두 종류의 이미지 센서들은 주사된 빛에서 그 강약에 따른 전하를 생성하는 광 검출기(Photo Detector)와, 그 전하를 외부로 전달하는 회로로 구성된다. An image sensor refers to an image pickup device component that generates an image from a mobile phone camera or a digital camera. The image sensor is largely a solid-state image pickup device (hereinafter referred to as a "CCD") and a complementary metal oxide film depending on its manufacturing process and application method. It may be classified as a semiconductor image sensor (hereinafter referred to as "CIS"). The two types of image sensors consist of a photo detector which generates charge according to the intensity of the scanned light, and a circuit which transfers the charge to the outside.

이미지 센서의 제조공정의 특성상 이미지 센서가 동작할 때에 영상에 대한 정보를 수신하여 전달하지 못하는 불량픽셀이 존재할 수 밖에 없다. 일반적으로 불량픽셀(Bad pixel)는 두 가지의 종류가 있다. 첫 번째는 촬영한 이미지에 불량픽셀이 남는 것이며, 두 번째는 카메라의 LCD 에 나타나는 것이다.Due to the nature of the manufacturing process of the image sensor, when the image sensor is operating, there is no way that there is a bad pixel that can not receive and transmit information about the image. In general, there are two kinds of bad pixels. The first is to leave bad pixels in the captured image, and the second is to appear on the camera's LCD.

대부분의 경우에, 이미지 센서는 제작 또는 제조상의 에러로 인해 임의의 수의 불량픽셀을 가지고 있을 수 밖에 없다. 이미지 센서에서의 불량픽셀은 화이트 픽셀(White pixel)과 다크 픽셀(Dark pixel)과 같이 주변 픽셀값보다 유난히 크거나 작은 값을 갖는 픽셀로 나타난다. 여기서, 화이트 픽셀은 컬러 필터에서 R, G, B(Red, Green, Blue) 각각의 서브 픽셀이 모여 하나의 픽셀을 이룰 때, 특정 서브 픽셀의 동작이 전압의 인가와 상관없이 항상 열려 있어 컬러 필터 자체의 고유색을 그대로 발현하여 항상 흰색이 나오게 되며, 특성상 다시 복구할 수는 없게 된다. 그리고, 다크 픽셀은 이미지 센서의 픽셀가 죽은 상태로 주변 색상의 변화없이 검은 색으로 고정되어 있는 픽셀을 말한다. In most cases, the image sensor must have any number of bad pixels due to manufacturing or manufacturing errors. The bad pixels in the image sensor are displayed as pixels having an exceptionally larger or smaller value than the surrounding pixel values, such as a white pixel and a dark pixel. In this case, when a subpixel of each of R, G, and B (red, green, and blue) gathers to form one pixel in a color filter, a white pixel is always open regardless of voltage application. By expressing its own color as it is, white always comes out, and by nature, it cannot be recovered again. The dark pixel refers to a pixel in which the pixel of the image sensor is dead and fixed to black without changing the surrounding color.

불량 픽셀이 검출되면, 해당 불량 픽셀들의 어드레스를 이미지 센서 칩 내부 혹은 외부에 마련된 메모리에 저장시키고 이를 이용하여 불량 픽셀을 보상해준다. 불량 픽셀을 보상하는 방법은 메모리에 저장된 불량 픽셀의 어드레스를 이용하여 이미지 처리부에서 불량 픽셀의 데이터를 주변 픽셀 값으로부터 유추하여 변환시킴으로써 불량 픽셀을 보상하는 방법을 사용한다.
When a bad pixel is detected, the addresses of the bad pixels are stored in a memory provided inside or outside the image sensor chip, and the bad pixels are compensated for using the bad pixels. The method of compensating for a bad pixel uses a method of compensating for a bad pixel by inferring and converting data of a bad pixel from a neighboring pixel value in an image processor using an address of a bad pixel stored in a memory.

본 발명은 이미지 센서가 불량 픽셀을 효과적으로 검출할 수 있는 이미지 센서의 구동방법을 제공한다.
The present invention provides a method of driving an image sensor which can effectively detect a bad pixel.

본 발명은 이미지 센서의 조도시간을 예정된 값으로 조절하는 단계; 상기 조절된 조도시간에 픽셀영역에서 제공되는 정보를 예정된 범위의 값에 포함되는지를 판단하는 단계; 상기 예정된 범위의 값을 벗어난 정보에 대응하는 픽셀의 주소를 저장하는 단계; 및 상기 픽셀영역에서 제공되는 정보를 이용하되, 상기 저장된 주소의 픽셀에서 제공되는 정보를 배제하여 이미지를 생성하는 단계를 포함하는 이미지 센서의 구동방법을 제공한다.
The present invention comprises the steps of adjusting the illumination time of the image sensor to a predetermined value; Determining whether information provided in the pixel region is included in a predetermined range of values at the adjusted illuminance time; Storing an address of a pixel corresponding to information outside the predetermined range of values; And generating an image by using the information provided in the pixel area, excluding the information provided in the pixel of the stored address.

본 발명에 의해서, 이미지 센서의 초기 동작에서 결함이 있는 픽셀의 위치를 파악할 수 있으며, 그로 인해 이미지 처리에 보다 신뢰성을 향상시킬 수 있다.
According to the present invention, the position of the defective pixel in the initial operation of the image sensor can be grasped, thereby improving the reliability in image processing.

도1은 본 발명의 일실시예로 이미지 센서의 구조를 나타내는 구조도이다.
도2는 본 발명의 화이트 픽셀과 다크 픽셀을 예시한 도면이다.
도3은 본 발명의 일실시예로 이미지 센서의 불량픽셀 검출 방법을 나타내는 흐름도이다.1 is a structural diagram showing a structure of an image sensor according to an embodiment of the present invention.
2 is a diagram illustrating a white pixel and a dark pixel of the present invention.
3 is a flowchart illustrating a method of detecting a bad pixel of an image sensor according to an exemplary embodiment of the present invention.

이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 가장 바람직한 실시예를 첨부된 도면을 참조하여 설명하기로 한다.
DETAILED DESCRIPTION Hereinafter, the most preferred embodiments of the present invention will be described with reference to the accompanying drawings so that those skilled in the art may easily implement the technical idea of the present invention. do.

일반적으로 DPC(dead pixel cancelation)는 ISP 이미지 파이프 라인(image pipeline)으로 들어오는 베이어 데이터(bayer data)를 DPC보정에 필요한 n개의 라인 메모리(line memory)에 저장하고 N x N 커널을 사용한다. 커널에 해당하는 각 RGB 픽셀 값들을 사용하여 다양한 DPC 검출 알고리즘을 통해 죽은 픽셀 판별 후 보정하게 된다. 그러나, 물리적 결함 또는 픽셀특성으로 발생되는 DP는 검출 알고리즘에 사용되는 리소스의 제한으로 100% 제거하기란 불가능하다. 또한, 기존 OTP를 사용한 방식은 DP 위치를 가지고 보정시에 사용하는 방식은 동일하나 가능한 많은 수의 픽셀에 대한 값들을 저장해야 하는 문제로 OTP 메모리 사이즈가 커 비용 증가나 칩 사이즈를 증가시키는 문제점이 있다. In general, dead pixel cancelation (DPC) stores bayer data coming into an ISP image pipeline in n line memory required for DPC correction and uses an N × N kernel. Each RGB pixel value corresponding to the kernel is used to correct dead pixels after various DPC detection algorithms. However, it is impossible to remove 100% of DPs generated by physical defects or pixel characteristics due to the limitation of resources used in the detection algorithm. In addition, the method using the existing OTP is the same as the method used for correction with the DP position, but it is a problem to store the values for as many pixels as possible. have.

본 발명은 OTP를 사용하지 않고 MCU의 내부 연산 변수 값을 처리하기 위해 내장된 SRAM을 사용하여서, 색인된 DP정보만을 저장하여 필요 없는 메모리 사이즈를 현격히 줄여주며 OTP 저장 시간을 없애 테스트 비용을 절감하는 효과를 가져 올 수 있다.
The present invention uses the built-in SRAM to process the internal arithmetic variable value of the MCU without using OTP, significantly reducing the unnecessary memory size by storing only the indexed DP information and to reduce the test cost by eliminating the OTP storage time Can bring effect.

도1은 본 발명의 일실시예로 이미지 센서의 구조를 나타내는 구조도이다. 상기 시모스 이미지 센서의 구조는 크게 픽셀 어레이부(110), 아날로그부(120), 타이밍 제어부(130), 이미지 처리부(140), MCU(Micro Control Unit, 150)의 5개의 파트로 구분된다. 1 is a structural diagram showing a structure of an image sensor according to an embodiment of the present invention. The structure of the CMOS image sensor is largely divided into five parts, a pixel array unit 110, an analog unit 120, a timing controller 130, an image processor 140, and a microcontrol unit (MCU) 150.

픽셀 어레이부(110)는 포토 다이오드로 구성된 감광부이며, 수십만에서 수백만개의 픽셀(pixel)들로 구성되며 들어온 빛을 감지해서 각 픽셀에 들어온 빛의 세기에 비례하는 아날로그의 전기적 신호를 출력한다.The pixel array unit 110 is a photosensitive unit composed of photodiodes. The pixel array unit 110 is composed of hundreds of thousands to millions of pixels, and detects incoming light and outputs an analog electrical signal proportional to the intensity of light entering each pixel.

아날로그부(120)는 상기 픽셀 어레이부(110)로부터 출력된 신호를 샘플링하고 잡음을 제거하며, 게인을 조정하고, 불균일성을 제거하며, 디지털 신호로 바꾸어, 이미지 처리부(140)에서 처리가 가능한 데이터로 가공한다.The analog unit 120 samples the signal output from the pixel array unit 110, removes noise, adjusts gain, removes non-uniformity, and converts the signal into a digital signal, which can be processed by the image processor 140. Process with

타이밍 제어부(130)는 노출 시간과 마스터 클럭을 입력받아, 타이밍 신호 및 센서 제어 신호를 생성하여, 상기 픽셀 어레이부(110)와 상기 아날로그부(120)의 동작을 제어한다. The timing controller 130 receives the exposure time and the master clock, generates a timing signal and a sensor control signal, and controls the operation of the pixel array unit 110 and the analog unit 120.

이미지 처리부(140)는 상기 아날로그부(120)로부터 입력된 디지털 RGB 데이터에 대한 다양한 영상 처리를 수행한다. 예를 들어, 영상 데이터의 크기 조정(Scaling)을 하거나, 영상 데이터의 감마 보정(Gamma Correction) 및 컬러 보정(Color Correction) 등을 수행할 수 있다. 따라서, 이미지 처리부(140)에는 스케일러(Scaler), 감마 보정부, RGB 영상 필터 및 컬러 보정 행렬 등이 포함될 수 있다. The image processor 140 performs various image processing on the digital RGB data input from the analog unit 120. For example, scaling of the image data may be performed, or gamma correction and color correction of the image data may be performed. Therefore, the image processor 140 may include a scaler, a gamma correction unit, an RGB image filter, a color correction matrix, and the like.

MCU(150)는 디지털 영상 신호의 처리를 위한 전반적인 제어를 담당하며, 자동 노출 기능(AE), 자동 초점 기능(AF), 자동 화이트 밸런스 기능(AWB) 등과 같은 다양한 기능을 수행할 수 있다. The MCU 150 is in charge of overall control for processing the digital image signal and may perform various functions such as an auto exposure function (AE), an auto focus function (AF), and an auto white balance function (AWB).

MCU(150)의 자동 노출 기능에 대해 좀 더 상세히 설명하면, 이미지 센서에 전원이 인가될 때 MCU(150)는 초기 프레임동안 자동 노출 보정 기능의 보정 목표치 계산을 한다. 보정 목표치 계산을 위해서는 초기에 이미지 센서 내부에 기본적으로 설정된 노출 시간 값을 사용하며, 보정 목표치를 계산하기 위한 초기 프레임으로 예를 들어 4 프레임 이상을 소모하게 된다. 초기 프레임동안은 이미지 센서가 정상적인 동작을 수행하지 않으므로 출력부(도시되지 않음)에 이미지 데이터가 출력되지 않는다. MCU(150)는 4 프레임 이상의 초기 프레임 동안 획득한 노출시간들을 평균하여 그 평균값으로 보정 목표치 계산하여 자동 노출 보정을 수행한다.In more detail about the automatic exposure function of the MCU 150, when the image sensor is powered, the MCU 150 calculates a correction target value of the automatic exposure compensation function during the initial frame. In order to calculate the correction target value, an exposure time value initially set in the image sensor is initially used, and as an initial frame for calculating the correction target value, 4 frames or more are consumed. Since the image sensor does not perform a normal operation during the initial frame, image data is not output to the output unit (not shown). The MCU 150 averages the exposure times acquired during the initial frame of 4 or more frames, calculates a correction target value using the average value, and performs automatic exposure compensation.

또한, MCU(150)는 이미지 센서가 정상 동작을 수행하기 전인 초기 프레임 동안 불량 픽셀의 위치 정보 및 픽셀 레벨값을 검출하여 내부에 구비된 메모리인 SRAM(Static Random Access Memory, 160)에 저장하고 이미지 데이터 처리시 저장된 위치정보와 픽셀 레벨값을 이용하여 불량 픽셀 검출 오류를 최소화 하게 된다. In addition, the MCU 150 detects location information and pixel level values of a bad pixel during an initial frame before the image sensor performs a normal operation, stores the image information in a static random access memory (SRAM) 160, which is an internal memory, and stores the image. When processing the data, the stored pixel location information and pixel level values are used to minimize bad pixel detection errors.

도2는 본 발명의 화이트 픽셀과 다크 픽셀을 예시한 도면이다. 2 is a diagram illustrating a white pixel and a dark pixel of the present invention.

불량 픽셀 검출 과정은 먼저 외부 광원에 대한 감도를 최소화하기 위해 이미지 센서에 설정된 초기 조도 시간 값을 최소한으로 설정한다. 그러면, 자동 노출 보정 기능을 수행하는 초기 프레임동안 대체적으로 낮은 레벨을 갖는 픽셀값들이 출력되게 되며 화이트 픽셀의 불량 픽셀들은 물리적 결함이나 특성 저하로 인해서 다른 픽셀 값들보다 기준치 이상의 큰 값을 가지게 된다. 이로 인해, 주변 픽셀보다 큰 값을 갖는 화이트 픽셀에 대해서 검출이 가능해진다(도2 a 참고). The bad pixel detection process first sets the initial illuminance time value set in the image sensor to minimize the sensitivity of the external light source. Then, pixel values having a generally low level are output during the initial frame performing the automatic exposure compensation function, and defective pixels of the white pixel have a larger value than the reference value due to physical defects or deterioration of characteristics. This makes it possible to detect a white pixel having a value larger than the surrounding pixels (see Fig. 2A).

다음 프레임에서는 조도시간 값을 최대한으로 조정 후 한 프레임의 픽셀 값들을 읽으면 일반적으로 모든 픽셀들이 포화되므로 주변 픽셀보다 기준치 이상의 항상 낮은 레벨을 갖는 다크 픽셀의 위치를 알 수 있다(도2 b 참고). 또한 검출된 불량 픽셀의 신뢰성을 높이기 위해서 다수의 프레임 동안 위와 동일한 방법으로 불량 픽셀의 정보를 추출하여 SRAM(160)에 저장한다. In the next frame, when the illuminance time value is adjusted to the maximum and the pixel values of one frame are read, all pixels are generally saturated, so that the position of the dark pixel having a level lower than the reference value is always lower than the surrounding pixels (see FIG. 2B). In addition, in order to increase the reliability of the detected bad pixel, the information of the bad pixel is extracted and stored in the SRAM 160 in the same manner as above for a plurality of frames.

그러나, 저조도 환경에서는 노출 시간을 최대로 늘린다고 해도 픽셀들이 포화되지 않으므로 다크 픽셀의 검출 오류가 발생할 가능성이 높으므로, 자동 노출 보정 기능에서 산출되는 조도 정보를 이용하여 기준 조도보다 낮은 저조도 환경으로 판단될 시에는 다크 픽셀의 검출을 고려하지 않는다. 주변 픽셀보다 높은 화이트 픽셀이 사용자 입자에서는 큰 결함으로 느껴지기 때문에 낮은 코드를 갖는 다크 픽셀에 대해서는 크게 민감하지 않다. 이렇게 획득한 불량 픽셀의 위치 정보와 레벨값들은 SRAM(160)에 저장하게 된다. 저장된 정보들은 불량 픽셀 처리부가 SRAM(160)에 저장된 불량 픽셀의 위치 정보를 참조하여 위치 정보에 해당하는 픽셀을 마스크시켜 평균화된 픽셀값으로 대체하고, 해당 픽셀의 레벨값을 참조하지 않는 등의 보정 알고리즘을 통하여 불량 픽셀의 보정 확률을 크게 높일 수 있다.
However, in the low light environment, even if the exposure time is maximized, the pixels do not saturate, and thus a dark pixel detection error is likely to occur. Therefore, the illumination information calculated by the automatic exposure compensation function is used to determine the low light environment lower than the standard light intensity. Do not consider detection of dark pixels. White pixels that are higher than the surrounding pixels are considered large defects in user particles, so they are not very sensitive to dark pixels with low codes. The location information and level values of the bad pixels thus obtained are stored in the SRAM 160. The stored information is corrected such that the bad pixel processing unit masks the pixel corresponding to the location information by referring to the location information of the bad pixel stored in the SRAM 160 and replaces it with the averaged pixel value and does not refer to the level value of the corresponding pixel. Algorithm can greatly improve the probability of correction of bad pixels.

본 실시예에 따른 이미지 센서의 동작을 보다 자세히 살펴보면, 먼저, 이미지 센서에 전원이 인가되면 초기 몇 프레임은 자동 보정 알고리즘의 보정 목표치 계산을 위해서 이미지 데이터를 출력하지 않는다. 목표치 계산을 위해서는 초기 노출 시간이 이미지 센서내부에 기본적으로 설정된 값으로 사용하는데 일반적으로 프레임길이의 중간 값으로 노출시간을 정하며 목표치 값을 계산하기 위해서 4 ~다수의 프레임을 소모한다. Looking at the operation of the image sensor according to the present embodiment in more detail, first, when power is applied to the image sensor, the first few frames do not output the image data to calculate the correction target value of the automatic correction algorithm. To calculate the target value, the initial exposure time is used as the default value set inside the image sensor. Generally, the exposure time is set to the middle value of the frame length, and 4 ~ many frames are consumed to calculate the target value.

본 발명에서는 두 가지 방법으로 DP 위치 정보를 획득하는데 높은 픽셀값을 갖는 DP를 찾기 위한 방법으로 외부 광원에 대한 감도를 최소화하기 위해 이미지 센서에 설정된 초기 노출 시간 값을 최소한으로 설정한다. 그러면, 초기 자동 보정 프레임동안 대체적으로 낮은 코드 레벨을 갖는 픽셀값들이 출력되게 되며 DP들은 물리적 결함이나 특성 저하로 인해서 다른 픽셀 값들보다 큰 값을 가지게 된다 이로 인해, 주변 픽셀보다 큰 값을 가지는 DP에 대해서 검출이 가능해지고 다음 프레임은 노출시간을 최대한으로 조정 후, 한 프레임의 픽셀 값들을 읽으면 일반적인 조도 환경에서는 모든 픽셀들이 포화되므로 주변 픽셀보다 항상 낮은 코드를 갖는 픽셀의 위치를 알 수 있다. In the present invention, in order to find a DP having a high pixel value for acquiring DP position information by two methods, the initial exposure time value set in the image sensor is set to the minimum in order to minimize the sensitivity to the external light source. Then, during the initial auto-correction frame, pixel values with a generally low code level are output, and DPs have a larger value than other pixel values due to physical defects or deterioration of characteristics. After detecting the maximum exposure time in the next frame and reading the pixel values of one frame, all pixels are saturated in the general illumination environment, so that the position of the pixel having a lower code than the surrounding pixel is always known.

또한 검출된 DP의 신뢰성을 높이기 위해서 다수의 프레임 동안 위와 같은 방법으로 DP 정보를 축출 후 저장한다. 그러나, 저조도 환경에서 낮은 코드를 갖는 픽셀의 DP를 찾기 위한 방법으로 조도시간을 최대로 늘린다고 해도 픽셀들이 포화되지 않으므로 DP검출 오류를 발생하므로 이러한 픽셀 정보를 DP로 판정하지 않기 위해서 자동 보정 로직에서 산출된 조도 환경 정보를 이용 저조도 환경 판단시 주변 픽셀보다 항상 낮은 코드를 갖는 픽셀 정보는 고려하지 않는다. 주변 픽셀보다 높은 값을 갖는 픽셀이 사용자 입자에서는 큰 결함으로 느껴지기 때문에 낮은 코드를 갖는 픽셀에 대해서는 크게 민감하지 않다. In addition, in order to increase the reliability of the detected DP, the DP information is evicted and stored in the above manner for a plurality of frames. However, in order to find the DP of the pixel with the low code in low light environment, even if the maximum illumination time is maximized, the pixels do not saturate, resulting in DP detection error. When the low light environment is determined using the calculated illumination environment information, pixel information having a code that is always lower than the surrounding pixels is not considered. Pixels with values higher than the surrounding pixels are considered large defects in user particles, so they are not very sensitive to pixels with low codes.

이렇게 획득하는 DP위치 정보들은 메모리 장치에 저장하게 된다. 저장된 정보들은 DPC 처리부가 이미지 데이터를 처리하기 전에 DPC 커널로 들어온 픽셀 중 메모리 장치에 저장된 DP위치의 픽셀을 마스킹시키고, 평균화된 픽셀값으로 대체한다. DPC에서는 해당 픽셀 정보 값을 참조하지 않는 판별 알고리즘을 통하여 DP 보정 확률을 크게 높일 수 있다.
The DP location information thus obtained is stored in the memory device. The stored information masks the pixel at the DP location stored in the memory device among the pixels entering the DPC kernel before the DPC processor processes the image data, and replaces the averaged pixel value. In the DPC, a DP correction probability may be greatly increased through a discrimination algorithm that does not refer to the pixel information value.

계속해서 도3을 참조하여 본 실시예에 따른 이미지 센서의 불량픽셀 검출 방법을 살펴본다. 도3은 본 발명의 다른 실시예로 이미지 센서의 불량픽셀 검출 방법을 나타내는 흐름도이다.Subsequently, a method of detecting a bad pixel of the image sensor according to the present exemplary embodiment will be described with reference to FIG. 3. 3 is a flowchart illustrating a method of detecting a bad pixel of an image sensor according to another exemplary embodiment of the present invention.

이미지 센서에 전원이 인가되면(S1), 초기에 예정된 프레임동안 이미지를 출력하지 않고, 불량픽셀을 감지하게 된다. 먼저 화이트 픽셀을 픽셀을 검출하기 위해서, 최소 조도 시간을 적용한다(S2). 여기서 말하는 최소 조도 시간은 이미지 센서가 구동할 수 있는 최소한의 시간을 말한다. When power is applied to the image sensor (S1), a bad pixel is detected without outputting an image during an initially scheduled frame. First, in order to detect a pixel as a white pixel, a minimum illuminance time is applied (S2). The minimum illuminance time herein refers to the minimum time that the image sensor can be driven.

이어서, 저조도 환경인지 아닌지 판별한다(S3). 만약, 저조도 환경이 아닌 고조도 환경이라면, 정상적인 픽셀이 화이트 픽셀로 판단될 오류가 생길 수 있기 때문이다. 저조도 환경이 맞다면, 화이트 픽셀을 판별하고(S4), 판별된 화이트픽셀에 대한 어드레스 정보를 시모스 이미지 센서의 메모리에 저장한다(10).Next, it is determined whether or not the environment is low light (S3). This is because an error in which a normal pixel is determined to be a white pixel may occur in a high light environment instead of a low light environment. If the low light environment is correct, the white pixel is determined (S4), and the address information on the determined white pixel is stored in the memory of the CMOS image sensor (10).

화이프 픽셀에 대한 판별이후에는 N 프레임까지 화이트 픽셀에 대한 판단이 이루어졌는지 판단한다(S5). 만약 N 프레임까지 판별이 이루어 지지 않았다면, 다시 화이트 디펙트 픽셀을 판별하게 되고, N 프레임까지 판별이 이루어 졌다면, 다크 픽셀을 검출하기 위한 N+1 프레임에 대해 최대 조도 시간 적용을 한다(S6). 여기서 최대 조도 시간은 이미지 센서가 조도환경을 위해 최대 적용할 수 있는 노출시간을 말한다. After the determination of the pixel, it is determined whether the determination of the white pixel is made up to N frames (S5). If the determination is not made up to N frames, the white defect pixel is determined again. If the determination is made up to N frames, the maximum illuminance time is applied to the N + 1 frame for detecting the dark pixels (S6). The maximum illuminance time is the exposure time that the image sensor can apply to the illuminance environment.

이어서, 다크 픽셀을 판별하고(S7), N+1 프레임까지 판별되었는지 체크한다(S8). 이때 다크 픽셀로 판별된 정보를 메모리 저장한다(20). 만약 N+1 프레임까지 판별되었다면, DP 보정을 시작한다(S9). 이는 라인 메모리로부터 제공되는 픽셀데이터에 대해 N x N 커널의 재설정을 통해 이루어진다(S10). 여기서 라인 메모리는 이미지 센서의 픽셀에서 제공되는 정보를 저장하기 위한 메모리이다.Next, the dark pixel is discriminated (S7), and it is checked whether up to N + 1 frames are discriminated (S8). At this time, the information determined as dark pixels is stored in the memory (20). If up to N + 1 frames are determined, DP correction is started (S9). This is done by resetting the N × N kernel for pixel data provided from the line memory (S10). The line memory here is a memory for storing information provided by the pixels of the image sensor.

계속해서 살펴보면, DP 데이터가 있는지 메모리로부터 DP 정보를 제공받아(30) 판단한다. 만약 DP 데이터가 있다면, 메모리에서 제공되는 DP 데이터를 통해 DP 어드레스 정보를 읽어들이고, DP 보상을 수행한다(S12). 이어서 N x N 커널 보상 알고리즘을 N+2 프레임부터 수행한다(S12). 만약, DP 데이터가 없다면, DP 보상을 수행하지 않고, 바로 DN x N 커널 보상 알고리즘을 N+2 프레임부터 수행한다(S13).Continuing with reference, it is determined whether there is DP data by receiving DP information from the memory (30). If there is DP data, the DP address information is read through the DP data provided from the memory, and DP compensation is performed (S12). Subsequently, the N × N kernel compensation algorithm is performed from N + 2 frames (S12). If there is no DP data, without performing DP compensation, a DN x N kernel compensation algorithm is performed immediately from N + 2 frames (S13).

지금까지 살펴본 바와 같이, 본 실시예에 따른 이미지 센서의 불량픽셀 검출 방법에서는 최소 조도 시간을 적용하여 화이트 픽셀의 주소를 검출하고, 최대 조도 시간을 적용하여 다크 픽셀의 주소를 검출한다.As described above, in the bad pixel detection method of the image sensor according to the present exemplary embodiment, an address of a white pixel is detected by applying a minimum illumination time, and an address of a dark pixel is applied by applying a maximum illumination time.

검출된 주소는 메모리에 저장되어 DP 보상 프로세서에서 사용된다. DP 보상 프로세서에서는 화이트 픽셀과 다크 픽셀로 검출된 주소의 이미지 정보 처리는 그 픽셀의 주변에 있는 값들을 이용하여 추출된 값을 이용하게 된다.The detected address is stored in memory and used by the DP compensation processor. In the DP compensation processor, image information processing of an address detected as a white pixel and a dark pixel uses a value extracted by using values in the periphery of the pixel.

이와 같이, 본 실시예에서는 이미지 센서가 동작 가능한 조도 시간을 조절하여 결함이 있는 픽셀의 정보를 메모리에 저장한 다음, 이미지 처리하는데 사용한다. 따라서, 이미지 센서의 상태에 따라 화이트 픽셀과 다크 픽셀의 위치가 변경되거나 늘어나더라도, 그 변화된 정보까지 이미지 처리하는데 활용할 수 있게 된다.
As described above, in the present embodiment, the image sensor adjusts an illuminance time that can be operated to store the information of the defective pixel in a memory and then use it for image processing. Therefore, even if the position of the white pixel and the dark pixel changes or increases according to the state of the image sensor, the changed information can be utilized to process the image.

이상에서 대표적인 실시예를 통하여 본 발명에 대하여 상세하게 설명하였으나, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 상술한 실시예에 대하여 본 발명의 범주에서 벗어나지 않는 한도 내에서 다양한 변형이 가능함을 이해할 것이다. 그러므로 본 발명의 권리범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is clearly understood that the same is by way of illustration and example only and is not to be construed as limiting the scope of the present invention. I will understand. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined by the scope of the appended claims, as well as the appended claims.

Claims

Adjusting the illuminance time of the image sensor to a predetermined value;
Determining whether information provided in the pixel region is included in a predetermined range of values at the adjusted illuminance time;
Storing an address of a pixel corresponding to information outside the predetermined range of values; And
Generating an image by using the information provided in the pixel area, excluding the information provided in the pixel of the stored address;
Method of driving an image sensor comprising a.

The method of claim 1,
Adjusting to the predetermined value to adjust the illuminance time
And a predetermined time after power is supplied to the image sensor.

The method of claim 1,
Adjusting the illuminance time of the image sensor
And adjusting the illuminance time to the minimum illuminance time allowed by the image sensor.

The method of claim 1,
Adjusting the illuminance time of the image sensor
The driving method of the image sensor, characterized in that made for N frames.

The method of claim 1,
In low light environments below the standard illuminance
And not performing an operation of determining whether the information provided in the pixel region is included in a predetermined range at the adjusted illuminance time.

The method of claim 1,
Adjusting the illuminance time of the image sensor
And adjusting the illuminance time to the maximum illuminance time allowed by the image sensor.

The method according to claim 6,
Adjusting the illuminance time of the image sensor
The driving method of the image sensor, characterized in that made for N frames.