KR20120004751A - Image sensor and method for operating thereof in a semiconductor device - Google Patents
Image sensor and method for operating thereof in a semiconductor device Download PDFInfo
- Publication number
- KR20120004751A KR20120004751A KR1020100065407A KR20100065407A KR20120004751A KR 20120004751 A KR20120004751 A KR 20120004751A KR 1020100065407 A KR1020100065407 A KR 1020100065407A KR 20100065407 A KR20100065407 A KR 20100065407A KR 20120004751 A KR20120004751 A KR 20120004751A
- Authority
- KR
- South Korea
- Prior art keywords
- pixel
- value
- bayer
- window
- correction
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 239000004065 semiconductor Substances 0.000 title abstract description 13
- 238000012937 correction Methods 0.000 claims abstract description 102
- 230000015654 memory Effects 0.000 claims abstract description 71
- 230000009467 reduction Effects 0.000 claims description 36
- 238000004364 calculation method Methods 0.000 claims description 16
- 230000004044 response Effects 0.000 claims description 2
- 238000011017 operating method Methods 0.000 claims 1
- 230000006870 function Effects 0.000 description 76
- 230000002950 deficient Effects 0.000 description 11
- 238000004519 manufacturing process Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 238000012545 processing Methods 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000002159 abnormal effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000004148 unit process Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
- H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
- H04N25/70—SSIS architectures; Circuits associated therewith
- H04N25/76—Addressed sensors, e.g. MOS or CMOS sensors
- H04N25/77—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components
- H04N25/771—Pixel circuitry, e.g. memories, A/D converters, pixel amplifiers, shared circuits or shared components comprising storage means other than floating diffusion
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
본 발명은 반도체 소자에 관한 것으로서, 특히 반도체 소자에서 이미지 센서(IS: Image Sensor, 이하 'IS'라 칭하기로 함)의 이미지 신호 처리(ISP: Image Signal Processing, 이하 'ISP'라 칭하기로 함)에 관한 것이다.
BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a semiconductor device, and in particular, an image signal processing (ISP) of an image sensor (IS) (hereinafter referred to as an 'IS') in a semiconductor device. It is about.
일반적으로, 이미지 센서(image sensor)는 아날로그 신호인 광을 전기적 신호로 변환시키는 반도체 소자이다. 현재, 디지털 카메라 뿐만 아니라, 휴대폰, 스마트폰, 카메라폰, PDA(Personal Digital Assistant) 등의 단말기에도 카메라 모듈이 탑재되어 영상을 촬영할 수 있는 기능은 대중화되고 있다. 이러한 카메라 시스템 중에서 이미지 센서는 복수개의 픽셀이 2차원 구조로 배열되어 이루어지며, 픽셀은 전술한 바와 같이 아날로그 신호인 광 신호를 밝기에 따라 차별화하여 전기적 신호로 변환한다.In general, an image sensor is a semiconductor device that converts light, which is an analog signal, into an electrical signal. Currently, not only digital cameras, but also mobile phones, smart phones, camera phones, PDA (Personal Digital Assistant) terminal, such as a camera module is equipped with a function that can take the image is popularized. In such a camera system, an image sensor is formed by arranging a plurality of pixels in a two-dimensional structure, and pixels, as described above, differentiate an optical signal, which is an analog signal, according to brightness and convert it into an electrical signal.
이러한 이미지 센서는 디지털 카메라, 휴대폰 등의 가정용 제품이나, 병원에서 사용되는 내시경, 지구를 돌고 있는 인공위성의 망원경에 이르기까지 매우 광범위한 분야에서 사용되고 있으며, 다양한 이미지 센서 중, CMOS 제조 기술로 생산되는 IS는, 구동 방식이 간편하고 다양한 스캐닝 방식의 구현이 가능하며, 신호 처리를 위한 회로를 단순 구조로 구현함으로써 제품의 소형화가 가능할 뿐만 아니라, 호환성의 CMOS 기술을 사용하므로 제조 단가를 낮출 수 있고, 전력 소모 또한 크게 낮다는 장점을 가지고 있다.Such image sensors are used in a wide range of fields, from home appliances such as digital cameras and mobile phones, to endoscopes used in hospitals, and to satellite telescopes around the earth. Among the various image sensors, IS produced by CMOS manufacturing technology In addition, it is easy to drive and implement various scanning methods, and it is possible to reduce the size of the product by implementing a circuit for signal processing with a simple structure, and to reduce the manufacturing cost and power consumption by using a compatible CMOS technology. It also has the advantage of being very low.
한편, 일반적으로 IS는, 전술한 바와 같이 복수개의 픽셀이 2차원 구조로서 복수의 픽셀 어레이(pixel array)로 구현되며, 이러한 픽셀 어레이에서, IS의 제조 과정 중 다양한 요인에 의하여 빛에 정상적으로 반응하지 못하는 불량 픽셀이 발생될 수 있다. 다시 말해, 상기 IS는, 제조 과정 중 여러 가지 이유로 인하여 정상적으로 동작하지 못하는 픽셀이 발생할 수 있으며, 이러한 불량 픽셀은 빛에 대해 정상적으로 반응하지 못하며, 비정상적인 불량 픽셀을 포함한 IS로부터 출력되는 영상은 실제 영상과는 다른 왜곡된 영상을 표시하게 된다. 이렇게 빛에 대해 정상적으로 반응하지 못하는 불량 픽셀은, 실제 영상보다 밝게 보이거나 또는 어둡게 보이는데, 특히 주변 픽셀과의 밝기 차이가 기 설정된 임계값보다 커 시각적으로 현저하게 노출된다.On the other hand, in general, IS, as described above, a plurality of pixels are implemented as a plurality of pixel arrays (pixel array) as a two-dimensional structure, in such a pixel array, IS does not normally react to light due to various factors during the manufacturing process of the IS Bad pixels may occur. In other words, the IS may generate pixels that do not operate normally due to various reasons during the manufacturing process. Such defective pixels may not react normally to light, and the image output from the IS including abnormal defective pixels may be different from the actual image. Will display another distorted image. The defective pixels that do not respond normally to light may appear brighter or darker than the actual image, and the visually significant difference between the pixels and the surrounding pixels is greater than the preset threshold.
그러므로, 상기 IS의 성능은, 복수의 픽셀 어레이에 포함된 불량 픽셀의 개수에 의해 좌우되며, 특히 IS에서 불량 픽셀로 인한 오류는 화면 상에 작은 반점 또는 줄로 나타나게 되는데, 이때 이러한 부분 오류가 있는 IS 칩을 모두 불량 칩으로 판정하면 IS의 생산 수율이 감소하게 되는 문제점이 있다.Therefore, the performance of the IS depends on the number of bad pixels included in the plurality of pixel arrays. In particular, an error due to bad pixels in the IS may appear as small spots or lines on the screen, where an IS having such a partial error is present. If all of the chips are determined to be defective chips, there is a problem that the production yield of the IS is reduced.
따라서, IS의 픽셀 어레이에서 불량 픽셀을 검출하고, 상기 검출한 불량 픽셀을 보정하여 IS의 성능을 향상시키기 위한 방안이 필요하다. 특히, 현재 IS의 픽셀 어레이에서 발생하는 불량 픽셀을 검출하여 보정하는 방안들이 제안되고 있으나, 제안되는 방안들은 불량 픽셀의 보정을 효과적으로 지원하지 못하며, 또한 불량 픽셀의 보정을 위해서 대용량의 메모리를 필요로 하는 문제점이 있다. 따라서, IS의 불량 픽셀을 효과적으로 보정하며, 특히 최소의 메모리 사용으로 불량 픽셀의 보정 커버리지를 증가시켜 IS의 성능을 향상시키기 위한 방안이 필요하다.
Therefore, there is a need for a method for improving the performance of the IS by detecting a bad pixel in the pixel array of the IS and correcting the detected bad pixel. In particular, currently, methods for detecting and correcting defective pixels generated in the pixel array of the IS have been proposed, but the proposed methods do not effectively support the correction of the bad pixels, and also require a large memory to correct the bad pixels. There is a problem. Accordingly, there is a need for a method for effectively correcting defective pixels of the IS, and in particular, improving performance of the IS by increasing correction coverage of the defective pixels with minimal memory usage.
본 발명은, 이미지 센서의 픽셀 어레이에서 불량 픽셀을 검출하여 보정하는 이미지 센서와, 상기 불량 픽셀을 검출 및 보정하는 이미지 센서의 동작 방법을 제공함에 있다.
The present invention provides an image sensor for detecting and correcting a defective pixel in a pixel array of an image sensor, and a method of operating the image sensor for detecting and correcting the defective pixel.
상기한 목적들을 달성하기 위한 본 발명의 반도체 소자에서 이미지 센서는, 픽셀 어레이(pixel array)의 베이어 로우 데이터(bayer raw data)를 입력받아 저장하는 메모리; 상기 픽셀 어레이에 소정 사이즈의 윈도우(window)를 구성하는 윈도우 구성부; 상기 윈도우를 통해 상기 픽셀 어레이에 데드 픽셀(dead pixel)의 발생을 검출하고, 상기 데드 픽셀의 발생에 상응하여 상기 저장된 베이어 로우 데이터에 대한 보정 연산을 수행하는 연산부; 상기 보정 연산을 제어하고, 상기 윈도우에 해당하는 베이어 로우 데이터 및 데이터 정보를 저장하며, 상기 보정 연산의 연산값을 상기 메모리와 함께 실시간으로 업데이트하여 저장하는 프로세서;를 포함하며, 상기 연산부는, 소정 클럭에서의 보정 연산 시, 상기 메모리에 기 저장된 상기 소정 클럭의 이전 클럭에서의 연산값을 이용하여 상기 저장된 베이어 로우 데이터에 대해 상기 보정 연산을 수행한다.In the semiconductor device of the present invention for achieving the above object, the image sensor, the memory for receiving and storing the bayer raw data (pixel raw data) of the pixel array (pixel array); A window constructing unit configured to form a window having a predetermined size in the pixel array; An operation unit configured to detect generation of a dead pixel in the pixel array through the window and perform a correction operation on the stored Bayer row data in response to the generation of the dead pixel; And a processor configured to control the correction operation, store Bayer row data and data information corresponding to the window, and update and store the operation value of the correction operation together with the memory in real time. During a correction operation on a clock, the correction operation is performed on the stored Bayer row data using an operation value of a previous clock of the predetermined clock previously stored in the memory.
상기한 목적들을 달성하기 위한 본 발명의 반도체 소자에서 이미지 센서의 동작 방법은, 픽셀 어레이(pixel array)의 베이어 로우 데이터(bayer raw data)를 입력받아 저장하는 단계; 상기 저장된 베이어 로우 데이터를 리드(read)하여 상기 픽셀 어레이에 소정 사이즈의 윈도우(window)를 구성하고, 상기 윈도우에 해당하는 베이어 로우 데이터 및 데이터 정보를 저장하는 단계; 상기 윈도우를 통해 상기 픽셀 어레이에서 데드 픽셀(dead pixel)의 발생을 검출하여 보정하는 단계; 및 상기 데드 픽셀의 보정값을 실시간으로 업데이트하여 저장하는 단계;를 포함하며, 상기 보정하는 단계는, 상기 실시간으로 업데이트하여 기 저장된 보정값을 이용하여 상기 저장된 베이어 로우 데이터에 대해 불량 픽셀 보상(BPC: Bad Pixel Compensation) 연산과 베이어 노이즈 감소(BNR: Bayer Noise Reduction) 연산을 병렬적으로 수행한다.
In accordance with an aspect of the present invention, a method of operating an image sensor includes: receiving and storing bayer raw data of a pixel array; Reading the stored Bayer row data to form a window having a predetermined size in the pixel array, and storing Bayer row data and data information corresponding to the window; Detecting and correcting occurrence of a dead pixel in the pixel array through the window; And updating and storing the correction value of the dead pixel in real time, wherein the correcting includes updating the real pixel to compensate for the bad pixel data (BPC) with respect to the stored Bayer row data using the previously stored correction value. : Perform Bad Pixel Compensation and Bayer Noise Reduction (BNR) in parallel.
본 발명은, 픽셀 어레이에서 발생하는 멀티 데드 픽셀의 보정을 효과적으로 수행한다.The present invention effectively performs correction of multi-dead pixels occurring in the pixel array.
도 1은 반도체 소자에서 이미지 센서의 데드 픽셀 보정부 구조를 개략적으로 도시한 도면.
도 2는 본 발명의 실시 예에 따른 반도체 소자에서 이미지 센서의 데드 픽셀 보정부 구조를 개략적으로 도시한 도면.1 is a view schematically showing a dead pixel correction unit structure of an image sensor in a semiconductor device.
FIG. 2 schematically illustrates a structure of a dead pixel corrector of an image sensor in a semiconductor device according to an embodiment of the present disclosure.
이하, 본 발명에 따른 바람직한 실시 예를 첨부한 도면을 참조하여 상세히 설명한다. 하기의 설명에서는 본 발명에 따른 동작을 이해하는데 필요한 부분만이 설명되며 그 이외 부분의 설명은 본 발명의 요지를 흩뜨리지 않도록 생략될 것이라는 것을 유의하여야 한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. It should be noted that in the following description, only parts necessary for understanding the operation according to the present invention will be described, and descriptions of other parts will be omitted so as not to distract from the gist of the present invention.
본 발명은, 반도체 소자에서 이미지 신호 처리(ISP: Image Signal Processing, 이하 'ISP'라 칭하기로 함) 시 복수의 픽셀 어레이(pixel array)에서 발생하는 불량 픽셀, 즉 멀티 데드 픽셀(multi dead pixel)을 검출하여 보정하는 이미지 센서 및 상기 이미지 센서의 불량 픽셀인 데드 픽셀을 보정하는 동작 방법을 제안한다. 여기서, 본 발명의 실시 예에서는, 이미지 센서(IS: Image Sensor, 이하 'IS'라 칭하기로 함)의 ISP 시에 데드 픽셀 보정부로부터 출력되는 보정 픽셀값을 메모리 사용을 최소화하여 처리하며, 또한 공유 픽셀 구조(shared pixel architecture)에서 발생하는 멀티 데드 픽셀을 보정하며, 이때 라인 메모리(line memory) 사용을 최소화하여 이미지 센서를 구현하는 칩의 사이즈를 감소시킨다.The present invention relates to a bad pixel generated in a plurality of pixel arrays, namely a multi dead pixel, in an image signal processing (ISP) in a semiconductor device. The present invention proposes an image sensor for detecting and correcting an error, and an operation method for correcting a dead pixel that is a bad pixel of the image sensor. Here, in the embodiment of the present invention, the correction pixel value output from the dead pixel correction unit at the ISP of the image sensor (IS) (hereinafter, referred to as 'IS') is processed by minimizing memory usage. Compensates for the multi-dead pixels generated in the shared pixel architecture, minimizing the use of line memory to reduce the size of the chip implementing the image sensor.
그리고, 본 발명의 실시 예에서는, IS의 ISP 시에 픽셀 어레이에서 발생하는 멀티 데드 픽셀의 보정을 효과적으로 지원하며, 특히 상기 멀티 데드 픽셀을 보정하는 데드 픽셀 보정부의 보정 커버리지(correction coverage)를 증가시켜 상기 멀티 데드 픽셀의 보정 효과를 향상시키며, 이때 상기 멀티 데드 픽셀의 보정을 위한 메모리 사용을 최소화한다. 여기서, 본 발명의 실시 예에서는, IS의 픽셀 어레이에서 불량 픽셀인 데드 픽셀이 발생하면 보정하고, 상기 보정한 픽셀값을 실시간으로 메모리에 업데이트하며, 데드 픽셀 보정부의 데드 픽셀 보정(dead pixel correction)으로 불량 픽셀 보상(BPC: Bad Pixel Compensation) 기능과 베이어 노이즈 감소(BNR: Bayer Noise Reduction) 기능을 병렬적으로 수행하여 상기 멀티 데드 픽셀의 보정 효과를 향상시킨다.According to an embodiment of the present invention, the IS effectively supports the correction of the multi-dead pixels generated in the pixel array at the ISP of the IS, and in particular, increases the correction coverage of the dead pixel correction unit for correcting the multi-dead pixels. In this case, the correction effect of the multi-dead pixels is improved, and the use of memory for the correction of the multi-dead pixels is minimized. Here, in an embodiment of the present invention, when a dead pixel, which is a bad pixel, occurs in the pixel array of the IS, a correction is performed, the corrected pixel value is updated in memory in real time, and a dead pixel correction of the dead pixel correction unit. By performing a bad pixel compensation (BPC) and Bayer Noise Reduction (BNR) function in parallel to improve the correction effect of the multi-dead pixels.
또한, 본 발명의 실시 예에서는, IS의 ISP 시 베이어 로우 데이터(bayer raw data) 처리 영역에서 데드 픽셀 보정부가 픽셀 보정을 위해 라인 메모리를 사용하며, 이때 상기 데드 픽셀 보정부는, 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능을 수행한다. 그리고, 본 발명의 실시 예에서는, 공유 픽셀(shared pixel) 구조 및 단일 픽셀(single pixel) 구조에서 발생하는 멀티 데드 픽셀을 효과적으로 보정하며, 또한 실시간 보정을 위한 온 더 플라이 방식의 에러 정정 동작의 기능을 향상시킨다. 여기서, 본 발명의 실시 예에서는, IS의 데드 픽셀 보정부의 기능 별로 라인 메모리들이 필요한 구조를 개선하여 메모리 사용을 최소화하며, 그에 따라 IS의 칩 사이즈 및 칩 제조 비용을 감소시킨다.Further, in an embodiment of the present invention, the dead pixel correction unit uses a line memory for pixel correction in a Bayer raw data processing area at an ISP of the IS, wherein the dead pixel correction unit includes a bad pixel compensation function, Bayer noise reduction function, and Gr-Gb function. In addition, in an embodiment of the present invention, a function of an on-fly error correction operation for effectively correcting multi-dead pixels generated in a shared pixel structure and a single pixel structure, and for real-time correction To improve. Here, in the embodiment of the present invention, the line memory is required for each function of the dead pixel correction unit of the IS to minimize the memory usage, thereby reducing the chip size and chip manufacturing cost of the IS.
다시 말해, 본 발명의 실시 예에서는, 베이어 영역(bayer domain)에서 데드 픽셀 보정부가 베이어 로우 데이터의 처리 시, 전술한 바와 같이 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능을 수행하기 위해 각각의 기능 별로 윈도우(window)를 구성하여 각 기능의 출력 데이터를 저장하는 각각의 라인 메모리들을 사용함에 따라 발생하는 IS의 칩 사이즈 증가를 개선하며, 또한 공유 픽셀 구조 및 단일 픽셀 구조에서의 멀티 데드 픽셀 보정 시 상기 데드 픽셀 보정부의 각 기능 별 기능 저하(image distortion)를 최소화한다.In other words, in the embodiment of the present invention, when the dead pixel correction unit processes the Bayer row data in the bayer domain, as described above, the bad pixel compensation function, the Bayer noise reduction function, and the Gr-Gb function may be performed. In order to improve the chip size of IS caused by using each line memory to store the output data of each function by configuring a window for each function, Dead pixel correction minimizes image distortion of each function of the dead pixel corrector.
즉, 본 발명의 실시 예에서는, IS의 칩 사이즈를 감소시키기 위해, 상기 데드 픽셀 보정부의 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능에 각각 해당하는 메모리를 단일(single) 개수로 하나의 메모리로 구현하고, 픽셀 어레이에 데드 픽셀이 발생하면, 상기 발생한 데드 픽셀을 보정한 후, 데드 픽셀 보정의 보정값을 실시간으로 업데이트하여 저장한다. 그리고, 멀티 데드 픽셀 보정 시, 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능에서의 윈도우 구성을 위해 메모리에서 리드(read)되는 픽셀값들은 전체의 1/2로 보정이 반영된 픽셀값이 된다.That is, in an embodiment of the present invention, in order to reduce the chip size of the IS, a single number of memories corresponding to the bad pixel compensation function, the Bayer noise reduction function, and the Gr-Gb function, respectively, of the dead pixel correction unit is provided. If a dead pixel is generated in the pixel array, the generated dead pixel is corrected, and the correction value of the dead pixel correction is updated and stored in real time. In the case of multi-dead pixel correction, pixel values read from the memory for the bad pixel compensation function, the Bayer noise reduction function, and the window configuration in the Gr-Gb function are reflected in half of the pixel values. Becomes
여기서, 상기 데드 픽셀 보정의 보정값을 메모리에 실시간으로 업데이트함에 따라, 상기 데드 픽셀 보정부의 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능 수행 시 메모리로부터 업데이트된 픽셀값, 즉 메모리로부터 보정이 반영된 픽셀값을 리드하여 윈도우를 구성함으로 상기 데드 픽셀 보정부의 각 기능 별 기능 저하를 최소화한다. 이때, 전술한 메모리 제어부를 통한 실시간 업데이트 없이 상기 데드 픽셀 보정부의 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능에 각각 해당하는 메모리를 하나의 메모리로 구현하면, 상기 데드 픽셀 보정부의 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 GrGbC 기능에서 사용하는 윈도우 구성을 위해 메모리로부터 리드한 픽셀값에 보정이 반영되어 있지 않음으로 상기 데드 픽셀 보정부의 각 기능 별 기능 저하가 발생할 수 있다. 하지만, 본 발명의 실시 예에서는, 전술한 바와 같이 메모리 제어부를 통해 보정이 반영된 픽셀값으로 실시간 업데이트를 수행함으로, 상기 데드 픽셀 보정부의 각 기능 별 기능 저하를 최소화한다.Here, as the correction value of the dead pixel correction is updated in real time to the memory, the pixel value updated from the memory when the dead pixel correction unit, the Bayer noise reduction function, and the Gr-Gb function are executed, that is, the memory. The function of the dead pixel corrector is minimized by configuring the window by reading the pixel value reflected from the correction. In this case, when the memory corresponding to the bad pixel compensation function, the Bayer noise reduction function, and the Gr-Gb function of each of the dead pixel correction unit is implemented as one memory without a real time update through the above-described memory controller, the dead pixel correction unit Since the correction is not reflected in the pixel value read from the memory for the bad pixel compensation function, the Bayer noise reduction function, and the GrGbC function, the function of each function of the dead pixel corrector may be degraded. . However, in the embodiment of the present invention, by performing the real-time update to the pixel value reflecting the correction through the memory control unit as described above, the functional degradation of each function of the dead pixel correction unit is minimized.
또한, 본 발명의 실시 예에서는, 베이어 로우 데이터를 입력받으면, 윈도우 구성을 위해 상기 입력된 베이어 로우 데이터를 라인 메모리에 저장하고, 상기 라인 메모리에 저장된 베이어 로우 데이터를 리드하여 윈도우를 구성한 후, 병렬 구조로 구현된 상기 데드 픽셀 보정부의 불량 픽셀 보상 기능 및 베이어 노이즈 감소 기능을 수행하도록 동시에 리드된 베이어 로우 데이터를 입력한다. 그리고, 상기 데드 픽셀 보정부의 불량 픽셀 보상 기능 및 베이어 노이즈 감소 기능에서 상기 베이어 로우 데이터, 즉 픽셀 데이터에 대해 각각 연산 기능을 수행한 후, 데드 픽셀이 발생하여 보정 기능이 수행되면 Gr-Gb 기능에서 불량 픽셀 보상 기능의 연산값을 이용한 Gr-Gb 오프셋 보정을 통해 보정값을 출력하고, 데드 픽셀이 발생하지 않아 보정 기능이 수행되지 않으면 Gr-Gb 기능에서 베이어 노이즈 감소 기능의 연산값을 이용한 Gr-Gb 오프셋 보정을 통해 보정값을 출력한다. 여기서, 상기 데드 픽셀이 발생하여 보정 기능이 수행되면, 동시에 메모리 업데이트를 통해 실시간으로 보정된 픽셀값을 메모리에 저장하며, 이렇게 메모리에 저장된 픽셀값은 상기 데드 픽셀 보정부에서 다음의 불량 픽셀 보상 기능의 연산에 이용되어 데드 픽셀의 보정 커버리지를 증가시킨다. 그러면 여기서, 도 1을 참조하여 반도체 소자에서 상기 데드 픽셀 보정부에 대해 보다 구체적으로 설명하기로 한다.According to an embodiment of the present invention, when the Bayer row data is received, the input Bayer row data is stored in the line memory for the window configuration, and the Bayer row data stored in the line memory is read to configure the window, and then the parallel Bayer row data read at the same time is input to perform the bad pixel compensation function and the Bayer noise reduction function. In addition, after performing the arithmetic function on the Bayer row data, that is, the pixel data in the bad pixel compensation function and the Bayer noise reduction function of the dead pixel corrector, if the dead pixel is generated and the correction function is performed, the Gr-Gb function Outputs the correction value through the Gr-Gb offset correction using the arithmetic value of the bad pixel compensation function, and if the correction function is not performed because no dead pixel occurs, the Gr-Gb function uses the Bayer noise reduction function -Output the correction value through Gb offset correction. Here, when the dead pixel is generated and the correction function is performed, at the same time, the pixel value corrected in real time through the memory update is stored in the memory, and the pixel value stored in the memory is then compensated for the next bad pixel by the dead pixel correction unit. Used to calculate the dead pixel's correction coverage. Next, the dead pixel correction unit in the semiconductor device will be described in more detail with reference to FIG. 1.
도 1은 반도체 소자에서 이미지 센서의 데드 픽셀 보정부 구조를 개략적으로 도시한 도면이다. 여기서, 도 1은, 픽셀 어레이에서 발생하는 데드 픽셀의 보정을 수행하는 데드 픽셀 보정부가 각 기능 별로 메모리를 포함하는 구조를 개략적으로 도시한 도면이다.1 is a diagram schematically illustrating a structure of a dead pixel corrector of an image sensor in a semiconductor device. 1 is a diagram schematically illustrating a structure in which a dead pixel corrector for performing correction of a dead pixel generated in a pixel array includes a memory for each function.
도 1을 참조하면, 상기 이미지 센서의 데드 픽셀 보정부는, 픽셀 데이터로 베이어 로우 데이터가 입력되는 입력부(105), 상기 입력부(105)로 입력된 베이어 로우 데이터를 저장하는 메모리1(145), 상기 메모리1(145)에 저장된 베이어 로우 데이터, 즉 픽셀 데이터를 리드하여 픽셀 어레이에 윈도우를 구성하는 윈도우 구성부1(110), 및 상기 윈도우 구성부1(110)이 구성한 윈도우를 통해 상기 픽셀 어레이에서 발생한 데드 픽셀의 베이어 로우 데이터에 대해 불량 픽셀 보상 기능의 연산을 수행하는 연산부1(115)을 포함한다.Referring to FIG. 1, the dead pixel corrector of the image sensor may include an
그리고, 상기 이미지 센서의 데드 픽셀 보정부는, 상기 연산부1(115)에 의해 불량 픽셀 보상 기능의 연산이 수행된 베이어 로우 데이터를 저장하는 메모리2(150), 상기 메모리2(150)에 저장된 베이어 로우 데이터를 리드하여 픽셀 어레이에 윈도우를 구성하는 윈도우 구성부2(120), 및 상기 윈도우 구성부2(120)이 구성한 윈도우를 통해 상기 픽셀 어레이에서 데드 픽셀이 발생하지 않은 베이어 로우 데이터에 대해 베이어 노이즈 감소 기능의 연산을 수행하는 연산부2(125)를 포함한다.The dead pixel corrector of the image sensor may further include a
또한, 상기 이미지 센서의 데드 픽셀 보정부는, 상기 연산부2(125)에 의해 베이어 노이즈 감소 기능의 연산이 수행된 베이어 로우 데이터를 저장하는 메모리3(155), 상기 메모리3(155)에 저장된 베이어 로우 데이터를 리드하여 픽셀 어레이에 윈도우를 구성하는 윈도우 구성부2(120), 상기 윈도우 구성부2(120)이 구성한 윈도우를 통해 상기 픽셀 어레이의 베이어 로우 데이터에 대해 Gr-Gb 기능으로 Gr-Gb 오프셋 보정을 수행하는 연산부3(135), 및 상기 연산부3(135)의 Gr-Gb 오프셋 보정에 의한 보정된 픽셀값을 출력하는 출력부(140)를 포함한다.The dead pixel corrector of the image sensor may further include a memory row 3 155 for storing Bayer row data on which Bayer noise reduction is performed by the operation unit 2 125, and a bayer row stored in the memory 3 155. Window configuration unit 2 (120) which reads data and configures a window in the pixel array, and Gr-Gb offset with the Gr-Gb function for Bayer row data of the pixel array through the window configured by the window configuration unit 2 (120). And an
여기서, 상기 윈도우 구성부1(110)은, 상기 메모리1(145)에 저장된 베이어 로우 데이터인 픽셀 데이터를 리드하여 픽셀 어레이에서 데드 픽셀을 검출하기 위한 윈도우를 구성한다. 그리고, 상기 연산부1(115)은, 상기 구성된 윈도우를 통해 상기 픽셀 어레이에서 발생하는 데드 픽셀을 검출하여 불량 픽셀 보상 연산을 수행하고, 상기 불량 픽셀 보상 연산의 연산값을 출력한다.Here, the window constructing unit 1 110 reads pixel data which is Bayer row data stored in the memory 1 145 to form a window for detecting a dead pixel in the pixel array. The operation unit 1 115 detects a dead pixel generated in the pixel array through the configured window, performs a bad pixel compensation operation, and outputs an operation value of the bad pixel compensation operation.
또한, 상기 윈도우 구성부2(120)는, 상기 윈도우 구성부2(120)와 같이 상기 메모리2(150)에 저장된 베이어 로우 데이터를 리드하여 픽셀 어레이에서 데드 픽셀의 발생을 검출하기 위한 윈도우를 구성한다. 아울러, 상기 연산부2(125)는, 상기 구성된 윈도우를 통해 상기 픽셀 어레이에서 데드 픽셀이 발생하지 않음으로, 상기 픽셀 어레이의 베이어 로우 데이터에 대해 베이어 노이즈 감소 연산을 수행하고, 상기 베이어 노이즈 감소 연산의 연산값을 출력한다.In addition, the window configuration unit 2 120 reads Bayer row data stored in the memory 2 150 like the window configuration unit 2 120 to configure a window for detecting occurrence of a dead pixel in the pixel array. do. In addition, since the dead pixel is not generated in the pixel array through the configured window, the operation unit 2 125 performs a Bayer noise reduction operation on Bayer row data of the pixel array, and performs the Bayer noise reduction operation. Output the operation value.
그리고, 상기 윈도우 구성부3(130)은, 상기 메모리3(155)에 저장된 베이어 로우 데이터를 리드하여 픽셀 어레이에 Gr-Gb 기능을 수행하기 위한 윈도우를 구성한다. 상기 연산부3(135)은, 상기 구성된 윈도우를 통해 상기 픽셀 어레이의 베이어 로우 데이터에 대해 Gr-Gb 오프셋 보정을 수행하고, 상기 Gr-Gb 오프셋 보정의 보정값을 보정된 픽셀값으로 출력한다. 상기 윈도우 구성부1(110), 윈도우 구성부2(120), 및 윈도우 구성부3(130)은, 각 메모리에 저장된 베이어 로우 데이터의 픽셀 어레이에 동일한 사이즈의 윈도우를 구성, 예컨대 N×N 윈도우를 구성함이 바람직하며, 이미지 센서의 성능에 따라 다양한 사이즈의 윈도우 및 서로 다른 사이즈의 윈도우를 구성할 수도 있다.The window constructing unit 3 130 reads Bayer row data stored in the memory 3 155 to form a window for performing the Gr-Gb function on the pixel array. The calculation unit 3 135 performs Gr-Gb offset correction on Bayer row data of the pixel array through the configured window, and outputs a correction value of the Gr-Gb offset correction as a corrected pixel value. The window constructer 1110, the window constructer 2120, and the window constructer 3130 constitute windows of the same size in a pixel array of Bayer row data stored in each memory, for example, an N × N window. It is preferable to configure a, and may configure windows of various sizes and windows of different sizes according to the performance of the image sensor.
이렇게 도 1에 도시한 이미지 센서의 데드 픽셀 보정부는, 각 기능 별로, 다시 말해 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능에 대해 각각의 메모리들(145,150,155)를 포함함에 따라 이미지 센서를 구현하는 칩 사이즈 및 칩 제조 비용이 증가할 수 있다. 이러한 문제를 해결하기 위해, 본 발명의 실시 예에서는, 전술한 데드 픽셀 보정부의 각 기능에 대해 하나의 메모리로 구현, 즉 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능을 대해 하나의 메모리가 포함한다.As such, the dead pixel correction unit of the image sensor illustrated in FIG. 1 includes the
다시 말해, 본 발명의 실시 예에서는, 동작 클럭(operating clock)에 상응하여 IS의 ISP 시 입력되는 베이어 로우 데이터를 윈도우 구성을 위해 메모리에 저장하며, 메모리에 저장된 데이터를 리드하여 윈도우를 구성하고, 상기 구성한 윈도우를 통해 픽셀 어레이에서 발생하는 데드 픽셀을 검출하여 병렬 구조로 불량 픽셀 보상 기능 및 베이어 노이즈 감소 기능을 수행한 후, Gr-Gb 기능을 수행하여 소정 동작 클럭에 픽셀 어레이에서 발생하는 데드 픽셀을 보정한다. 이때, 소정 동작 클럭에서의 보정된 픽셀값을 메모리에 실시간으로 업데이트하여 저장하며, 상기 메모리에 저장되는 소정 동작 클럭에서의 보정된 픽셀값은, 상기 소정 동작 클럭의 다음 동작 클럭에 상기 픽셀 어레이에서 발생하는 데드 픽셀의 보정을 위해 불량 픽셀 보상 기능을 수행할 경우에 이용된다. 그러면 여기서, 도 2를 참조하여 본 발명의 실시 예에 따른 반도체 소자에서 이미지 센서의 데드 픽셀 보정에 대해 보다 구체적으로 설명하기로 한다.In other words, in an embodiment of the present invention, Bayer row data input at the ISP of the IS corresponding to an operating clock is stored in a memory for window configuration, and the window is configured by reading data stored in the memory. The dead pixels generated in the pixel array are detected through the configured window to perform the bad pixel compensation function and the Bayer noise reduction function in a parallel structure, and then perform the Gr-Gb function to perform the dead pixels generated in the pixel array at a predetermined operation clock. To correct. At this time, the corrected pixel value of the predetermined operation clock is updated and stored in the memory in real time, and the corrected pixel value of the predetermined operation clock stored in the memory is stored in the pixel array at the next operation clock of the predetermined operation clock. It is used to perform the bad pixel compensation function to correct the dead pixels. Next, the dead pixel correction of the image sensor in the semiconductor device according to the exemplary embodiment of the present invention will be described in more detail with reference to FIG. 2.
도 2는 본 발명의 실시 예에 따른 반도체 소자에서 이미지 센서의 데드 픽셀 보정부 구조를 개략적으로 도시한 도면이다. 여기서, 도 2는, 픽셀 어레이에서 발생하는 데드 픽셀의 보정을 수행하는 데드 픽셀 보정부가 각 기능에 대해 하나의 메모리를 포함하는 구조를 개략적으로 도시한 도면이다.2 is a diagram schematically illustrating a structure of a dead pixel corrector of an image sensor in a semiconductor device according to an embodiment of the present disclosure. 2 is a diagram schematically illustrating a structure in which a dead pixel corrector for performing correction of dead pixels generated in a pixel array includes one memory for each function.
도 2를 참조하면, 상기 이미지 센서의 데드 픽셀 보정부는, 픽셀 데이터로 베이어 로우 데이터가 입력되는 입력부(205), 상기 입력부(205)로 입력된 베이어 로우 데이터를 저장하는 단일 개수로 하나의 메모리(245), 상기 메모리(245)에 저장된 베이어 로우 데이터, 즉 픽셀 데이터를 리드하여 픽셀 어레이에 윈도우를 구성하는 윈도우 구성부(210), 및 상기 윈도우 구성부(210)가 구성한 윈도우를 통해 상기 픽셀 어레이에서 발생한 데드 픽셀의 베이어 로우 데이터에 대해 불량 픽셀 보상 기능의 연산을 수행하는 연산부1(215)을 포함한다.Referring to FIG. 2, the dead pixel correcting unit of the image sensor may include an
그리고, 상기 이미지 센서의 데드 픽셀 보정부는, 상기 윈도우 구성부(210)가 구성한 윈도우를 통해 상기 픽셀 어레이에서 데드 픽셀이 발생하지 않은 베이어 로우 데이터에 대해 베이어 노이즈 감소 기능의 연산을 수행하는 연산부2(220), 및 상기 연산부1(215)의 출력과 상기 연산부2(220)의 출력을 입력받아 보정 기능을 수행하는 보상부(225), 상기 보상부(225)로부터 출력되는 보정 기능 수행의 결과, 즉 보정된 픽셀값이 정상적으로 보정 기능이 수행된 픽셀값인 지를 확인하는 비교부(250), 상기 비교부(250)의 출력을 이용하여 상기 픽셀 어레이의 베이어 로우 데이터에 대해 Gr-Gb 기능으로 Gr-Gb 오프셋 보정을 수행하는 연산부3(230), 상기 연산부3(230)의 Gr-Gb 오프셋 보정에 의한 보정된 픽셀값을 출력하는 출력부(335), 및 전술한 바와 같은 상기 이미지 센서의 데드 픽셀 보정부의 보정 동작을 제어 및 처리하는 프로세서(240)를 포함한다.The dead pixel corrector of the image sensor may be configured to perform a Bayer noise reduction function on Bayer row data in which no dead pixel is generated in the pixel array through a window configured by the
여기서, 상기 프로세서(240)는, 상기 입력되는 베이어 로우 데이터를 저장하며, 또한 상기 윈도우 구성부(210)가 픽셀 어레이에 구성한 윈도우에 해당하는 베이어 로우 데이터 및 상기 윈도우에 해당하는 베이어 로우 데이터에 대한 데이터 정보를 저장한다. 이때, 상기 윈도우에 해당하는 베이어 로우 데이터는 메모리(245)에도 저장된다. 그리고, 상기 프로세서(240)는, 상기 연산부1(215)이 출력하는 불량 픽셀 보상 연산의 연산값과 연산부2(220)가 출력하는 베이어 노이즈 감소 연산의 연산값을 이용한 상기 데드 픽셀 보정부의 보정 기능을 제어한다.Here, the
그리고, 상기 프로세서(240)는, 전술한 바와 같이 저장된 상기 윈도우에 해당하는 베이어 로우 데이터 및 상기 데이터 정보를 상기 보상부(225)로 출력한다. 상기 보상부(225)는, 상기 윈도우에 해당하는 베이어 로우 데이터 및 상기 데이터 정보를 통해 픽셀 어레이에서의 데드 픽셀의 발생에 상응한 베이어 로우 데이터 대한 보정을 확인하고, 상기 확인 결과값으로 불량 픽셀 보상 연산의 연산값을 출력하거나, 베이어 노이즈 감소 연산의 연산값을 출력한다. 여기서, 상기 보상부(225)는, 상기 윈도우에 해당하는 베이어 로우 데이터를 통해 픽셀 어레이에 데드 픽셀이 발생하여 보정 기능이 수행되면 상기 보정 기능 수행의 결과값으로 상기 불량 픽셀 보상 연산의 연산값을 출력하고, 상기 데드 픽셀이 발생하지 않으면 상기 보정 기능 수행의 결과값으로 상기 베이어 노이즈 감소 연산의 연산값을 출력한다. 이때, 상기 불량 픽셀 보상 연산의 연산값 및 상기 베이어 노이즈 감소 연산의 연산값은 상기 프로세서(240), 또는 메모리(245)에 실시간으로 업데이트되어 저장 및 관리된다.In addition, the
상기 비교부(250)는, 상기 보상부(225)의 출력, 즉 상기 불량 픽셀 보상 연산의 연산값 또는 상기 베이어 노이즈 감소 연산의 연산값이 정상적인 연산값인 지를 확인하며, 이러한 확인은 상기 연산값들과 이전 동작 클럭에서 상기 프로세서(240)에 실시간으로 업데이트되어 기 저장 및 관리된 연산값들을 비교하여 이루어진다. 다시 말해, 상기 비교부(250)는, 상기 프로세서(240)에 실시간으로 업데이트되어 기 저장 및 관리된 연산값들과, 상기 보상부(225)로부터 입력된 연산값들을 비교하여 확인하며, 상기 확인된 연산값들은 연산부3(230)으로 출력된다.The
그리고, 상기 윈도우 구성부(210)는, 상기 메모리(245)에 저장된 베이어 로우 데이터인 픽셀 데이터를 리드하여 픽셀 어레이에서 데드 픽셀을 검출하기 위한 윈도우를 구성한다. 이때, 상기 윈도우 구성부(210)는, 메모리(245)에 저장된 베이어 로우 데이터의 픽셀 어레이에 소정 사이즈의 윈도우를 구성, 예컨대 N×N 윈도우를 구성함이 바람직하며, 이미지 센서의 성능에 따라 다양한 사이즈의 윈도우를 구성할 수도 있다.The
그리고, 상기 윈도우 구성부(210)가 구성한 윈도우를 통해 병렬 구조의 연산부1(215)과 연산부2(220)가 각각 불량 픽셀 보상 연산 또는 베이어 노이즈 감소 연산을 수행한다. 다시 말해, 상기 연산부1(215)은, 상기 구성된 윈도우를 통해 상기 픽셀 어레이에서 데드 픽셀이 발생하면, 상기 발생하는 데드 픽셀을 검출하여 불량 픽셀 보상 연산을 수행하고, 상기 불량 픽셀 보상 연산의 연산값을 출력한다. 또한, 상기 연산부2(220)는, 상기 구성된 윈도우를 통해 상기 픽셀 어레이에서 데드 픽셀이 발생하지 않으면, 상기 데드 픽셀이 발생하지 않은 상기 픽셀 어레이의 베이어 로우 데이터에 대해 베이어 노이즈 감소 연산을 수행하고, 상기 베이어 노이즈 감소 연산의 연산값을 출력한다. 여기서, 상기 연산부1(215)의 불량 픽셀 보상 연산과 상기 연산부2(220)의 베이어 노이즈 감소 연산은 병렬적으로 수행, 즉 상기 연산부1(215)과 연산부2(220)는 병렬 구조로 구현된다.In addition, the operation unit 1 215 and the operation unit 2 220 of the parallel structure perform the bad pixel compensation operation or the Bayer noise reduction operation through the window configured by the
이때, 상기 연산부1(215)에서 출력되는 상기 불량 픽셀 보상 연산의 연산값을 보정된 픽셀값으로 전술한 바와 같이 메모리(245)에 실시간 업데이트되어 저장된다. 즉, 상기 불량 픽셀 보상 연산의 연산값은, 동작 클럭마다 메모리(240)에 실시간 업데이트 저장되며, 소정 동작 클럭에서 저장된 불량 픽셀 보상 연산의 연산값은, 상기 소정 동작 클럭의 다음 동작 클럭에서 상기 연산부1(215)가 상기 픽셀 어레이에서 발생하는 데드 픽셀을 검출하여 불량 픽셀 보상 연산을 수행할 경우 참조된다. 이렇게 상기 연산부1(215)의 불량 픽셀 보상 연산 시, 이전 동작 클럭에서의 불량 픽셀 보상 연산의 연산값을 참조하여 현재 동작 클럭에서의 불량 픽셀 보상 연산을 수행함에 따라, 상기 연산부1(215)의 데드 픽셀의 보정 커버리지가 증가된다.In this case, the operation value of the bad pixel compensation operation output from the operation unit 1 215 is updated and stored in the
상기 연산부3(230)은, 전술한 바와 같이 비교부(250)로부터 상기 불량 픽셀 보상 연산의 연산값 또는 상기 베이어 노이즈 감소 연산의 연산값을 입력받으며, 상기 입력된 연산값을 이용하여 상기 픽셀 어레이의 베이어 로우 데이터에 대해 Gr-Gb 오프셋 보정 연산을 수행한 후, 상기 Gr-Gb 오프셋 보정 연산에 의한 연산값을 픽셀 어레이의 보정된 픽셀값으로 출력한다. 여기서, 상기 연산부3(230)은, 상기 프로세서(240)로부터 상기 픽셀 어레이의 베이어 로우 데이터를 입력받아 상기 Gr-Gb 오프셋 보정 연산을 수행하며, 상기 Gr-Gb 오프셋 보정 연산에 의한 연산값은 상기 프로세서(240), 또는 메모리(245)에 저장 및 관리된다.As described above, the operation unit 3 230 receives the operation value of the bad pixel compensation operation or the operation value of the Bayer noise reduction operation from the
이렇게 본 발명의 실시 예에 따른 상기 이미지 센서의 데드 픽셀 보정부는, 상기 메모리(245)에 불량 픽셀 보상 연산의 연산값을 저장하고, 상기 저장된 불량 픽셀 보상 연산의 연산값은, 전술한 바와 같이 다음 동작 클럭에서의 데드 픽셀의 불량 픽셀 보상 연산 시 이용된다. 그리고, 상기 이미지 센서의 데드 픽셀 보정부는, 상기 Gr-Gb 오프셋 보정에 의해 보정된 픽셀값을 출력하며, 상기 다음 동작 클럭에서의 데드 픽셀의 불량 픽셀 보상 연산 시, 이전 동작 클럭에서의 불량 픽셀 보상 연산을 통해 산출한 연산값을 이용함에 따라, 이미지 센서의 데드 픽셀의 보정 커버리지가 증가된다.As described above, the dead pixel correction unit of the image sensor stores the operation value of the bad pixel compensation operation in the
즉, 본 발명의 실시 예에 따른 이미지 센서는, 메모리를 통해 현재 동작 클럭에서 보정된 픽셀값을 실시간으로 업데이트하여 저장한 후, 다음 동작 클럭에서 데드 픽셀에 대한 보정 시 상기 저장한 픽셀값을 이용함으로 픽셀 어레이에서의 데드 픽셀의 보정 커버리지를 증가시키며, 또한 하나의 메모리로 데드 픽셀 보정 시의 기능들, 예컨대 불량 픽셀 보상 기능, 베이어 노이즈 감소 기능, 및 Gr-Gb 기능을 위한 메모리를 구현함으로써, 메모리 사이즈를 감소시킨다. 아울러, 본 발명의 실시 예에 따른 이미지 센서는, 전술한 바와 같이 데드 픽셀 보정 시의 기능 별 메모리를 하나의 메모리로 구현함에 따라, 각 기능에서 해당 메모리로의 데이터의 저장 및 리드 동작을 감소시켜 이미지 센서의 동작 속도를 향상시킨다.That is, the image sensor according to an embodiment of the present invention updates and stores the pixel value corrected at the current operating clock in real time through a memory, and then uses the stored pixel value when correcting the dead pixel at the next operating clock. Thereby increasing the correction coverage of the dead pixels in the pixel array, and also by implementing a memory for dead pixel correction functions such as bad pixel compensation, Bayer noise reduction, and Gr-Gb functions in one memory, Reduce memory size In addition, the image sensor according to the embodiment of the present invention, as described above by implementing a memory for each function of the dead pixel correction as a single memory, by reducing the storage and read operation of the data to the corresponding memory in each function Improve the operating speed of the image sensor.
한편, 본 발명의 상세한 설명에서는 구체적인 실시 예에 관해 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로, 본 발명의 범위는 설명된 실시 예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
While the invention has been shown and described with reference to certain preferred embodiments thereof, it will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit and scope of the invention. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the scope of the following claims, but also by the equivalents of the claims.
Claims (16)
상기 픽셀 어레이에 소정 사이즈의 윈도우(window)를 구성하는 윈도우 구성부;
상기 윈도우를 통해 상기 픽셀 어레이에 데드 픽셀(dead pixel)의 발생을 검출하고, 상기 데드 픽셀의 발생에 상응하여 상기 저장된 베이어 로우 데이터에 대한 보정 연산을 수행하는 연산부;
상기 보정 연산을 제어하고, 상기 윈도우에 해당하는 베이어 로우 데이터 및 데이터 정보를 저장하며, 상기 보정 연산의 연산값을 상기 메모리와 함께 실시간으로 업데이트하여 저장하는 프로세서;를 포함하며,
상기 연산부는, 소정 클럭에서의 보정 연산 시, 상기 메모리에 기 저장된 상기 소정 클럭의 이전 클럭에서의 연산값을 이용하여 상기 저장된 베이어 로우 데이터에 대해 상기 보정 연산을 수행하는 것을 특징으로 하는 이미지 센서.
A memory for receiving and storing bayer raw data of a pixel array;
A window constructing unit configured to form a window having a predetermined size in the pixel array;
An operation unit configured to detect generation of a dead pixel in the pixel array through the window and perform a correction operation on the stored Bayer row data in response to the generation of the dead pixel;
And a processor for controlling the correction operation, storing Bayer row data and data information corresponding to the window, and updating and storing the calculation value of the correction operation in real time with the memory.
And the calculation unit performs the correction operation on the stored Bayer row data by using an operation value of a previous clock of the predetermined clock pre-stored in the memory.
상기 연산부는, 상기 윈도우를 통해 불량 픽셀 보상(BPC: Bad Pixel Compensation) 연산과 베이어 노이즈 감소(BNR: Bayer Noise Reduction) 연산을 병렬적으로 수행하는 것을 특징으로 하는 이미지 센서.
The method of claim 1,
The operation unit may perform a bad pixel compensation (BPC) operation and a Bayer Noise Reduction (BNR) operation in parallel through the window.
상기 픽셀 어레이에 상기 데드 픽셀이 발생할 경우, 상기 데드 픽셀의 베이어 로우 데이터에 대해 불량 픽셀 보상(BPC: Bad Pixel Compensation) 연산을 수행하여 제1연산값을 출력하는 제1연산부;
상기 픽셀 어레이에 상기 데드 픽셀이 발생하지 않을 경우, 상기 저장된 베이어 로우 데이터에 대해 베이어 노이즈 감소(BNR: Bayer Noise Reduction) 연산을 수행하여 제2연산값을 출력하는 제2연산부;
상기 제1연산값과 상기 제2연산값을 중 하나의 연산값을 이용하여 상기 저장된 베이어 로우 데이터에 대해 Gr-Gb 오프셋 보정 연산을 수행하는 제3연산부;를 포함하는 것을 특징으로 하는 이미지 센서.
The method of claim 1, wherein the operation unit,
A first operation unit configured to output a first operation value by performing a bad pixel compensation (BPC) operation on Bayer row data of the dead pixel when the dead pixel occurs in the pixel array;
A second operation unit configured to output a second operation value by performing a Bayer Noise Reduction (BNR) operation on the stored Bayer row data when the dead pixel does not occur in the pixel array;
And a third operation unit configured to perform a Gr-Gb offset correction operation on the stored Bayer row data using one of the first operation value and the second operation value.
상기 프로세서로부터 상기 윈도우에 해당하는 베이어 로우 데이터 및 데이터 정보를 입력받아 상기 데드 픽셀의 발생을 확인하고, 상기 데드 픽셀의 발생에 상응하여 상기 제1연산값과 상기 제2연산값 중 상기 하나의 연산값을 출력하는 보상부;를 포함하는 것을 특징으로 하는 이미지 센서.The method of claim 3,
Receiving Bayer row data and data information corresponding to the window from the processor to confirm occurrence of the dead pixel, and calculating one of the first operation value and the second operation value corresponding to the generation of the dead pixel. Compensation unit for outputting a value; image sensor comprising a.
상기 하나의 연산값의 정상 보정 연산값 여부를 확인하고, 상기 정상 보정 연산값으로 상기 하나의 연산값을 상기 제3연산부로 출력하는 비교부;를 포함하는 것을 특징으로 하는 이미지 센서.
The method of claim 3,
And a comparator for checking whether the one arithmetic value is a normal corrected arithmetic value and outputting the arithmetic value to the third arithmetic unit as the normal corrected arithmetic value.
상기 비교부는, 상기 프로세서로부터 상기 메모리와 함께 실시간으로 업데이트하여 기 저장된 보정 연산의 연산값을 입력받고, 상기 소정 클럭에서의 보정 연산에 상응한 상기 하나의 연산값과 상기 기 저장된 보정 연산의 연산값을 비교하여 확인하는 것을 특징으로 하는 이미지 센서.
The method of claim 5,
The comparator receives an operation value of a pre-stored correction operation updated in real time with the memory from the processor, and the one operation value corresponding to the correction operation at the predetermined clock and the operation value of the pre-stored correction operation. Check by comparing the image sensor.
상기 메모리는, 단일(single) 개수로 구비되며, 상기 제1연산부, 상기 제2연산부, 및 상기 제3연산부에서 각각 수행하는 연산에 대응하여 상기 베이어 로우 데이터를 저장하는 것을 특징으로 하는 이미지 센서.
The method of claim 3,
The memory may include a single number, and store the Bayer row data corresponding to an operation performed by the first operation unit, the second operation unit, and the third operation unit, respectively.
상기 제1연산부, 상기 제2연산부, 및 상기 제3연산부는, 상기 저장된 베이어 로우 데이터를 리드(read)하여 상기 윈도우를 통해 각각 해당하는 연산을 수행하는 것을 특징으로 하는 이미지 센서.
The method of claim 7, wherein
And the first operation unit, the second operation unit, and the third operation unit read the stored Bayer row data and perform corresponding operations through the window.
상기 메모리와 상기 프로세서는, 상기 불량 픽셀 보상 연산의 연산값을 상기 보정 연산의 연산값으로 저장하는 것을 특징으로 하는 이미지 센서.
The method according to claim 2 or 3,
And the memory and the processor store the operation value of the bad pixel compensation operation as the operation value of the correction operation.
상기 윈도우 구성부는, 상기 저장된 베이어 로우 데이터를 리드(read)하여 상기 윈도우를 구성하는 것을 특징으로 하는 이미지 센서.
The method of claim 1,
The window configuration unit reads the stored Bayer row data to configure the window.
상기 저장된 베이어 로우 데이터를 리드(read)하여 상기 픽셀 어레이에 소정 사이즈의 윈도우(window)를 구성하고, 상기 윈도우에 해당하는 베이어 로우 데이터 및 데이터 정보를 저장하는 단계;
상기 윈도우를 통해 상기 픽셀 어레이에서 데드 픽셀(dead pixel)의 발생을 검출하여 보정하는 단계; 및
상기 데드 픽셀의 보정값을 실시간으로 업데이트하여 저장하는 단계;를 포함하며,
상기 보정하는 단계는, 상기 실시간으로 업데이트하여 기 저장된 보정값을 이용하여 상기 저장된 베이어 로우 데이터에 대해 불량 픽셀 보상(BPC: Bad Pixel Compensation) 연산과 베이어 노이즈 감소(BNR: Bayer Noise Reduction) 연산을 병렬적으로 수행하는 것을 특징으로 하는 이미지 센서의 동작 방법.
Receiving and storing Bayer raw data of a pixel array;
Reading the stored Bayer row data to form a window having a predetermined size in the pixel array, and storing Bayer row data and data information corresponding to the window;
Detecting and correcting occurrence of a dead pixel in the pixel array through the window; And
And updating and storing the correction value of the dead pixel in real time.
The correcting may include updating a bad pixel compensation (BPC) operation and a Bayer Noise Reduction (BNR) operation on the stored Bayer row data using the pre-stored correction value. Operating method of the image sensor, characterized in that performed by.
상기 저장된 윈도우에 해당하는 베이어 로우 데이터 및 데이터 정보를 이용하여 상기 데드 픽셀의 발생을 확인하고, 상기 확인한 데드 픽셀의 발생에 상응하여 상기 불량 픽셀 보상 연산의 연산값과 상기 베이어 노이즈 감소 연산의 연산값 중 하나의 연산값의 정상 보정 연산 여부를 확인하는 단계; 및
상기 확인한 하나의 연산값을 이용하여 상기 저장된 베이어 로우 데이터에 대해 Gr-Gb 오프셋 보정 연산을 수행하는 단계;를 포함하는 것을 특징으로 하는 이미지 센서의 동작 방법.
The method of claim 11, wherein the correcting step,
The occurrence of the dead pixel is confirmed using Bayer row data and data information corresponding to the stored window, and the operation value of the bad pixel compensation operation and the Bayer noise reduction operation corresponding to the occurrence of the confirmed dead pixel. Checking whether one of the calculation values is a normal correction operation; And
And performing a Gr-Gb offset correction operation on the stored Bayer row data using the checked one operation value.
상기 정상 보정 연산 여부를 확인하는 단계는, 상기 실시간으로 업데이트하여 기 저장된 보정값과 상기 하나의 연산값을 비교하여 확인하는 것을 특징으로 하는 이미지 센서의 동작 방법.
The method of claim 12,
The determining of whether the normal correction operation is performed may include updating the real-time correction value and comparing the previously stored correction value with the one operation value.
상기 보정하는 단계는, 상기 윈도우를 통해 상기 픽셀 어레이에서 상기 데드 픽셀이 발생할 경우, 상기 데드 픽셀의 베이어 로우 데이터에 대해 상기 불량 픽셀 보상 연산을 수행하는 것을 특징으로 하는 이미지 센서의 동작 방법.
The method of claim 11 or 12,
The correcting may include performing the bad pixel compensation operation on Bayer row data of the dead pixel when the dead pixel is generated in the pixel array through the window.
상기 실시간으로 업데이트하여 저장하는 단계는, 상기 불량 픽셀 보상 연산의 연산값을 상기 데드 픽셀의 보정값으로 저장하는 것을 특징으로 하는 이미지 센서의 동작 방법.
The method of claim 14,
In the updating and storing in real time, the operation value of the bad pixel compensation operation is stored as a correction value of the dead pixel.
상기 보정하는 단계는, 상기 윈도우를 통해 상기 픽셀 어레이에서 상기 데드 픽셀이 발생하지 않을 경우, 상기 저장된 베이어 로우 데이터에 대해 상기 베이어 노이즈 감소 연산을 수행하는 것을 특징으로 하는 이미지 센서의 동작 방법.
The method according to claim 11 or 12, wherein
The correcting may include performing the Bayer noise reduction operation on the stored Bayer row data when the dead pixel does not occur in the pixel array through the window.
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100065407A KR101133684B1 (en) | 2010-07-07 | 2010-07-07 | Image sensor and method for operating thereof in a semiconductor device |
US12/982,498 US20120008017A1 (en) | 2010-07-07 | 2010-12-30 | Image sensor and pixel correction method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100065407A KR101133684B1 (en) | 2010-07-07 | 2010-07-07 | Image sensor and method for operating thereof in a semiconductor device |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20120004751A true KR20120004751A (en) | 2012-01-13 |
KR101133684B1 KR101133684B1 (en) | 2012-04-12 |
Family
ID=45611171
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100065407A KR101133684B1 (en) | 2010-07-07 | 2010-07-07 | Image sensor and method for operating thereof in a semiconductor device |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101133684B1 (en) |
Family Cites Families (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100575444B1 (en) * | 2003-08-28 | 2006-05-03 | 엠텍비젼 주식회사 | Apparatus for compensating defect pixel existing in image sensor and method thereof |
JP2007053634A (en) * | 2005-08-18 | 2007-03-01 | Sony Corp | Image pickup device and defective pixel correction device and method |
KR100831970B1 (en) * | 2006-08-16 | 2008-05-23 | 엠텍비젼 주식회사 | Method of detecting Defect Pixel and Apparatus used in the same |
KR100874670B1 (en) * | 2006-12-01 | 2008-12-18 | 엠텍비젼 주식회사 | Image Processor, Image Processing Unit, and Defective Pixel Correction Methods |
-
2010
- 2010-07-07 KR KR1020100065407A patent/KR101133684B1/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
KR101133684B1 (en) | 2012-04-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN101764926B (en) | Apparatus and system for defect pixel detection and correction, method for detecting and correcting defect pixel | |
EP3021293B1 (en) | Image compensation correction method and banknote recognition and detection device | |
US20090278963A1 (en) | Apparatus and method for column fixed pattern noise (FPN) correction | |
US8711254B2 (en) | Image processing apparatus and method having defective pixel detection and correction ability | |
US8339482B2 (en) | Image capturing apparatus with correction using optical black areas, control method therefor and program | |
WO2008139577A1 (en) | Image processor, imager, and image distortion correcting method | |
US8531559B2 (en) | Imaging apparatus, image processing method and computer-readable storage medium | |
JP2007053634A (en) | Image pickup device and defective pixel correction device and method | |
US7567278B2 (en) | Circuit and method for detecting pixel defect | |
US20120008017A1 (en) | Image sensor and pixel correction method | |
US20230007158A1 (en) | Image processing apparatus, image processing method, and computer readable medium | |
JP2009194776A (en) | Noise filter | |
US8625007B2 (en) | Image pickup apparatus, image combination method, and computer program | |
KR20110016154A (en) | Calibration method of display device using camera module | |
US9832400B2 (en) | Image sensor and method of sensing image | |
US9106853B2 (en) | Solid-state imaging device | |
US20060176382A1 (en) | Image sensor for reducing vertically-striped noise | |
KR101133687B1 (en) | Image sensor and method for operating thereof in a semiconductor device | |
KR101133684B1 (en) | Image sensor and method for operating thereof in a semiconductor device | |
US9762827B2 (en) | Method of removing a bad pixel from a pixel image generated by an image sensor, an image sensor using the method, and an application processor using the method | |
US20180176495A1 (en) | Image Sensor and Sensing Method Thereof | |
US8497923B2 (en) | Method of processing image signals using interpolation to address bad pixel data and related method of image capture | |
JP2008301474A5 (en) | ||
JP2011250249A (en) | Video signal processing apparatus and video signal processing method | |
KR20040093876A (en) | Image sensor with compensating block for reset voltage |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
LAPS | Lapse due to unpaid annual fee |