KR100947486B1

KR100947486B1 - Apparatus and method for correction defect pixel

Info

Publication number: KR100947486B1
Application number: KR1020090064128A
Authority: KR
Inventors: 김영진
Original assignee: 주식회사 코아로직
Priority date: 2009-07-14
Filing date: 2009-07-14
Publication date: 2010-03-17

Abstract

PURPOSE: A defective pixel correction device and a method thereof are provided to rapidly confirm the defect of a current pixel or peripheral pixel and to calculate a correction pixel value using the pixel value of stable peripheral pixels. CONSTITUTION: A defective pixel correction device includes a content addressed memory unit(150), a defective pixel detection unit(110), a peripheral pixel defect detection unit(120), a defective pixel correction unit(130), and a counter unit(140). The content addressed memory unit stores the location information of a defective pixel of an image sensor. The detective pixel detection unit calculates the location of a current pixel to search the content addressed memory unit and decides whether the pixel is a defective pixel. The peripheral pixel defect detection unit calculates the location of a pixel required for correction to search the content addressed memory unit and decides whether the pixel is a defective pixel. The defective pixel correction unit uses at least one peripheral pixel value among peripheral pixels except for detective pixels to calculate a correction pixel value.

Description

Apparatus and Method for Correction Defect Pixel}

본 발명은 결함 픽셀 보정 장치 및 방법에 관한 것으로서, 좀더 상세하게는, 이미지 센서의 결함 픽셀에 의하여 발생할 수 있는 에러를 신속하고 효율적으로 보정할 수 있는 결함 픽셀 보정 기술에 관한 것이다.The present invention relates to an apparatus and method for correcting a defective pixel, and more particularly, to a defective pixel correction technique capable of quickly and efficiently correcting an error caused by a defective pixel of an image sensor.

일반적으로, 디지털 영상 촬영 장치는 피사체의 영상을 취득하여 정지 또는 동영상 파일 등과 같은 디지털 정보를 생성하는 장치를 의미한다. 예를 들면, 디지털 영상 촬영 장치는 디지털 카메라, 디지털 캠코더 등을 의미할 수 있으며, 최근에는 모바일 단말기 등과 같은 무선 통신 단말기에도 사진 촬영 또는 동영상 촬영 기능이 추가되고 있다.In general, the digital image photographing apparatus refers to a device that acquires an image of a subject and generates digital information such as a still image or a moving image file. For example, a digital image capturing apparatus may mean a digital camera, a digital camcorder, and the like, and recently, a photographing or video capturing function is added to a wireless communication terminal such as a mobile terminal.

통상, 이러한 디지털 영상 촬영 장치는 피사체의 이미지를 취득하기 위하여 이미지 센서를 구비할 수 있다. 현재 주로 사용되는 이미지 센서는 CCD(Charged Coupled Device) 또는 CMOS(Complementary Metal Oxide Semiconductor) 등이다. 이 중 CCD는 노이즈가 적고 선명한 화질의 표현이 가능한 반면 가격이 비싸고 주변 회로가 복잡하다. CMOS는 CCD에 비하여 저전력으로 구동 가능하며 구동 방식이 간단하고, 신호 처리 회로를 단일 칩에 집적할 수 있어 특히 소형 디지털 영상 촬영 장치에 주로 사용되고 있다.In general, such a digital imaging apparatus may include an image sensor to acquire an image of a subject. Currently used image sensors are Charged Coupled Device (CCD) or Complementary Metal Oxide Semiconductor (CMOS). Among them, CCD is low noise and can express vivid image quality, but it is expensive and complicated peripheral circuit. CMOS is mainly used in small digital imaging devices because it can be driven at a lower power than CCDs, the driving method is simple, and signal processing circuits can be integrated on a single chip.

이러한 CCD 또는 CMOS는 각 픽셀에 대응되는 광전 변환 수단, 예컨대 포토 다이오드 등을 통하여 각 픽셀에서 피사체로부터 입사된 광을 전기적인 신호(즉, 전하)로 축적하고, 이를 디지털 신호로 변환함으로써 이미지 데이터를 취득한다.The CCD or CMOS accumulates the light incident from the subject in each pixel as an electrical signal (ie, charge) through photoelectric conversion means corresponding to each pixel, for example, a photodiode, and converts the image data into a digital signal. Acquire.

그런데 이미지 센서의 제조과정에서는 이물질 또는 제조 공정상의 불안정 요인으로 인하여 특정 픽셀에 결함이 존재할 수 있으며 그 결함 픽셀에 의하여 고정 패턴 노이즈가 발생할 수 있다.However, in the manufacturing process of the image sensor, defects may exist in a specific pixel due to foreign matter or instability in the manufacturing process, and fixed pattern noise may be generated by the defective pixel.

상기 결함 픽셀의 유형은 크게 3가지, 예컨대 스턱 하이(Stuck High) 결함 픽셀, 스턱 로우(Stuck Low) 결함 픽셀 및 비정상 응답(Abnormal Response) 결함 픽셀로 구분될 수 있다.The types of the defective pixels may be classified into three types, for example, a stuck high defective pixel, a stuck low defective pixel, and an abnormal response defective pixel.

상기 스턱 하이 결함 픽셀은 특정 조도에 대하여 항상 높은 휘도 값을 나타내는 픽셀로서, 이러한 스턱 하이 결함 픽셀에 의하여 발생하는 노이즈를 화이트 노이즈라 칭한다. 스턱 로우 결함 픽셀은 특정 조도에서 항상 낮은 휘도 값을 나타내는 픽셀로서, 스턱 로우 결함 픽셀에 의하여 발새하는 노이즈를 블랙 노이즈라 칭한다. 한편, 비정상 응답 결함 픽셀은 정상 픽셀에 비하여 상대적인 변화 값을 나타내는 픽셀로서, 예컨대 A의 휘도 값을 나타내는 것이 정상적인 경우 비정상 응답 결함 픽셀은 1.25 x A의 휘도 값을 나타낼 수 있다.The stuck high defect pixel is a pixel that always exhibits a high luminance value with respect to a specific illuminance, and noise generated by the stuck high defect pixel is called white noise. A stuck low defect pixel is a pixel that always exhibits a low luminance value at a specific illuminance, and noise generated by the stuck low defect pixel is called black noise. On the other hand, the abnormal response defective pixel is a pixel showing a change value relative to the normal pixel. For example, when it is normal to indicate the luminance value of A, the abnormal response defective pixel may indicate a luminance value of 1.25 × A.

이와 같이, 이미지 센서는 그 제조 과정에서 발생하는 다양한 유형의 결함 픽셀이 존재할 수 있기 때문에, 이미지 센서를 이용한 데이터 처리 프로세스에서는 이미지 센서의 결함 픽셀을 검출하여 그 값을 적절히 보정하는 기술이 요구된다.As described above, since the image sensor may have various types of defective pixels generated during the manufacturing process, a technique for detecting a defective pixel of the image sensor and properly correcting its value is required in a data processing process using the image sensor.

본 발명이 해결하고자 하는 기술적인 과제는, 내용 주소화 메모리를 이용하여 현재 픽셀 또는 주변 픽셀의 결함 여부를 신속하게 확인하고, 결함이 없는 정상적인 주변 픽셀들의 픽셀 값을 사용하여 현재 픽셀의 보정 픽셀 값을 산출할 수 있는 결함 픽셀 보정 장치 및 방법을 제공하는데 있다.The technical problem to be solved by the present invention is to use a content addressing memory to quickly determine whether a current pixel or surrounding pixels are defective, and correct the pixel value of the current pixel using the pixel values of normal peripheral pixels without defects. The present invention provides an apparatus and method for correcting a defective pixel capable of calculating the.

이러한 기술적인 과제를 해결하기 위하여, 본 발명은 일 측면(Aspect)에서 결함 픽셀 보정 장치를 제공한다. 상기 결함 픽셀 보정 장치는, 이미지 센서의 결함 픽셀의 위치 정보를 저장하는 내용 주소화 메모리(CAM : Content Addressable Memory)부와; 현재 픽셀의 픽셀 값이 수신되면, 상기 현재 픽셀의 위치를 산출하여 상기 내용 주소화 메모리부를 검색하고, 그 결과에 근거하여 상기 현재 픽셀이 결함 픽셀인지의 여부를 판단하는 결함 픽셀 검출부와; 상기 현재 픽셀이 결함 픽셀일 경우, 상기 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀의 위치를 산출하여 상기 내용 주소화 메모리부를 검색하고, 그 결과에 근거하여 각각의 상기 주변 픽 셀이 결함 픽셀인지의 여부를 판단하는 주변 픽셀 결함 검출부; 및 상기 주변 픽셀 결함 검출부에 의한 판단에 근거하여, 상기 다수 개의 주변 픽셀 중 결함 픽셀을 제외한 적어도 하나의 주변 픽셀의 픽셀 값을 사용하여 상기 현재 픽셀의 보정 픽셀 값을 산출하는 결함 픽셀 보정부를 포함한다.In order to solve this technical problem, the present invention provides a defective pixel correction apparatus in one aspect. The defective pixel correcting apparatus includes: a content addressable memory (CAM) unit configured to store positional information of a defective pixel of an image sensor; A defective pixel detection unit for calculating a position of the current pixel to search the content addressable memory unit and determining whether the current pixel is a defective pixel based on a result when the pixel value of the current pixel is received; When the current pixel is a defective pixel, the position of the plurality of peripheral pixels required for the correction of the current pixel is calculated to search for the content addressable memory unit, and based on the result, it is determined whether each of the peripheral pixels is a defective pixel. Peripheral pixel defect detector for determining whether or not; And a defective pixel corrector configured to calculate a corrected pixel value of the current pixel using pixel values of at least one neighboring pixel except for the defective pixel among the plurality of neighboring pixels, based on the determination by the neighboring pixel defect detector. .

상기 결함 픽셀 검출부는 상기 산출되는 현재 픽셀의 위치를 포함한 1차 검색 요청 메시지를 상기 내용 주소화 메모리부로 전송할 수 있다. 이 경우 상기 내용 주소화 메모리부는 상기 저장된 결함 픽셀의 위치 정보에 상기 현재 픽셀의 위치가 존재할 경우 상기 현재 픽셀의 위치가 저장된 메모리 주소 값을 출력할 수 있다. 상기 결함 픽셀 검출부는 상기 1차 검색 요청 메시지에 대응하여 상기 내용 주소화 메모리부로부터 상기 메모리 주소 값이 수신될 경우, 상기 현재 픽셀이 결함 픽셀인 것으로 판단할 수 있다.The defective pixel detector may transmit a primary search request message including the calculated current pixel position to the content addressable memory unit. In this case, when the location of the current pixel exists in the location information of the stored defective pixel, the content addressable memory unit may output a memory address value in which the location of the current pixel is stored. The defective pixel detector may determine that the current pixel is a defective pixel when the memory address value is received from the content addressable memory unit in response to the first search request message.

상기 주변 픽셀 결함 검출부는 상기 산출되는 다수 개의 주변 픽셀의 위치에 대응되는 다수 개의 2차 검색 요청 메시지를 상기 내용 주소화 메모리부로 전송할 수 있다. 이 경우, 상기 내용 주소화 메모리부는 상기 다수 개의 주변 픽셀 중 상기 결함 픽셀의 위치 정보에 그 위치가 존재하는 주변 픽셀의 위치가 저장된 메모리 주소 값을 출력할 수 있다. 상기 주변 픽셀 결함 검출부는 상기 다수 개의 2차 검색 요청 메시지에 대응하여 상기 내용 주소화 메모리부로부터 메모리 주소 값이 수신되는 주변 픽셀을 결함 픽셀인 것으로 판단할 수 있다.The peripheral pixel defect detector may transmit a plurality of secondary search request messages corresponding to the calculated positions of the plurality of peripheral pixels to the content addressable memory unit. In this case, the content addressable memory unit may output a memory address value in which the position of the neighboring pixel having the position is present in the position information of the defective pixel among the plurality of neighboring pixels. The peripheral pixel defect detector may determine that the peripheral pixel, from which the memory address value is received from the content addressable memory unit, is a defective pixel in response to the plurality of secondary search request messages.

상기 결함 픽셀 보정 장치는, 상기 이미지 센서로부터 수신되는 각 픽셀 값이 해당 프레임의 몇 번째 픽셀의 픽셀 값인지를 나타내는 카운트 값을 출력하는 카운터부를 더 포함할 수도 있다. 상기 결함 픽셀 검출부는 상기 카운터부의 카운트 값을 사용하여 상기 현재 픽셀의 위치를 산출할 수도 있다.The defective pixel correction apparatus may further include a counter for outputting a count value indicating which pixel value of each pixel of the frame is the pixel value received from the image sensor. The defective pixel detector may calculate the position of the current pixel using the count value of the counter.

상기 결함 픽셀 보정 장치의 상기 결함 픽셀 보정부는 상기 다수 개의 주변 픽셀 중 상기 결함 픽셀을 제외한 상기 적어도 하나의 주변 픽셀의 픽셀 값의 평균 값을 산출할 수 있다.The defective pixel corrector of the defective pixel correcting apparatus may calculate an average value of pixel values of the at least one peripheral pixel except the defective pixel among the plurality of peripheral pixels.

한편, 상술한 본 발명의 기술적 과제를 해결하기 위하여 본 발명은 다른 측면에서 결함 픽셀 보정 방법을 제공한다. 상기 결함 픽셀 보정 방법은, 이미지 센서의 결함 픽셀의 위치 정보를 내용 주소화 메모리부에 저장하는 단계와; 현재 픽셀의 픽셀 값이 수신되면, 상기 현재 픽셀의 카운트 값을 근거로 하여 상기 현재 픽셀의 위치를 산출하는 단계와; 상기 산출된 현재 픽셀의 위치를 사용하여 상기 내용 주소화 메모리부를 1차 검색하는 단계와; 상기 1차 검색의 결과를 토대로 상기 현재 픽셀이 결함 픽셀인지의 여부를 판단하는 단계와; 상기 현재 픽셀이 결함 픽셀일 경우, 상기 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀의 위치를 산출하는 단계와; 상기 산출된 다수 개의 주변 픽셀의 위치를 사용하여 상기 내용 주소화 메모리부를 2차 검색하는 단계와; 상기 2차 검색의 결과를 토대로 각각의 상기 주변 픽셀이 결함 픽셀인지의 여부를 판단하는 단계; 및 상기 각각의 주변 픽셀이 결함 픽셀인지의 여부를 판단하는 단계에 의하여 결함 픽셀로 판단된 주변 픽셀을 제외한 적어도 하나의 주변 픽셀의 픽셀 값을 사용하여 상기 현재 픽셀의 보정 픽셀 값을 산출하는 단계를 포함할 수 있다.Meanwhile, in order to solve the above technical problem, the present invention provides a defective pixel correction method in another aspect. The method for correcting a defective pixel includes storing location information of a defective pixel of an image sensor in a content addressing memory unit; Calculating a position of the current pixel based on a count value of the current pixel when a pixel value of the current pixel is received; First searching the content addressable memory unit using the calculated position of the current pixel; Determining whether the current pixel is a defective pixel based on a result of the first search; Calculating positions of a plurality of peripheral pixels required for correcting the current pixel when the current pixel is a defective pixel; Secondly searching the content addressable memory unit using the calculated positions of the plurality of neighboring pixels; Determining whether each of the peripheral pixels is a defective pixel based on the result of the second search; And calculating a corrected pixel value of the current pixel by using the pixel value of at least one peripheral pixel except the peripheral pixel determined as the defective pixel by determining whether each peripheral pixel is a defective pixel. It may include.

상기 내용 주소화 메모리부를 1차 검색하는 단계는, 상기 산출된 현재 픽셀의 위치를 포함하는 1차 검색 요청 메시지를 상기 내용 주소화 메모리부로 전송하 는 단계; 및 상기 산출된 현재 픽셀의 위치가 상기 내용 주소화 메모리부에 저장되어 있을 경우, 상기 현재 픽셀의 위치가 저장된 메모리 주소를 수신하는 단계를 포함할 수도 있다.The first searching of the content addressing memory unit may include: transmitting a first search request message including the calculated position of the current pixel to the content addressing memory unit; And when the calculated position of the current pixel is stored in the content addressing memory unit, receiving the memory address in which the position of the current pixel is stored.

상기 1차 검색의 결과를 토대로 상기 현재 픽셀이 결함 픽셀인지의 여부를 판단하는 단계는, 상기 현재 픽셀의 위치가 저장된 메모리 주소를 상기 내용 주소화 메모리부로부터 수신할 경우 상기 현재 픽셀을 결함 픽셀로 판단하는 단계를 포함할 수 있다.The determining of whether the current pixel is a defective pixel based on a result of the first search may include: when receiving a memory address storing a location of the current pixel from the content addressable memory unit, converting the current pixel into a defective pixel. Determining may include.

상기 다수 개의 주변 픽셀의 위치를 산출하는 단계는, 상기 산출된 현재 픽셀의 위치를 기반으로 하여 상기 다수 개의 주변 픽셀의 위치를 산출하는 단계를 포함할 수 있다.The calculating of the positions of the plurality of neighboring pixels may include calculating the positions of the plurality of neighboring pixels based on the calculated positions of the current pixels.

상기 내용 주소화 메모리부를 2차 검색하는 단계는, 상기 산출된 다수 개의 주변 픽셀의 위치를 포함하는 다수 개의 2차 검색 요청 메시지를 상기 내용 주소화 메모리부로 전송하는 단계; 및 상기 다수 개의 주변 픽셀 중 상기 내용 주소화 메모리부에 위치 정보가 저장되어 있는 주변 픽셀이 존재할 경우, 그 위치가 저장된 메모리 주소를 수신하는 단계를 포함할 수도 있다.The second searching of the content addressing memory unit may include transmitting a plurality of secondary search request messages including the calculated positions of the plurality of neighboring pixels to the content addressing memory unit; And receiving a memory address at which the location is stored when the location information is stored in the content addressing memory unit among the plurality of surrounding pixels.

상기 2차 검색의 결과를 토대로 각각의 상기 주변 픽셀이 결함 픽셀인지의 여부를 판단하는 단계는, 상기 내용 주소화 메모리부로부터 메모리 주소를 수신한 주변 픽셀을 결함 픽셀로 판단하는 단계를 포함할 수 있다.Determining whether each of the neighboring pixels is a defective pixel based on a result of the second search may include determining a neighboring pixel that receives a memory address from the content addressable memory unit as a defective pixel. have.

상기 현재 픽셀의 보정 픽셀 값을 산출하는 단계는, 상기 결함 픽셀로 판단된 주변 픽셀을 제외한 적어도 하나의 주변 픽셀의 픽셀 값의 평균 값을 산출하는 단계를 포함할 수 있다.The calculating of the corrected pixel value of the current pixel may include calculating an average value of pixel values of at least one neighboring pixel except the neighboring pixel determined as the defective pixel.

이상 설명한 바와 같이, 본 발명에 따르면 내용 주소화 메모리를 이용하여 현재 픽셀 또는 주변 픽셀의 결함 여부를 신속하게 확인하고, 결함이 없는 정상적인 주변 픽셀들의 픽셀 값을 사용하여 현재 픽셀의 보정 픽셀 값을 산출할 수 있다. 따라서, 결함 픽셀의 보정 시 처리 속도 및 신뢰도를 향상시킬 수 있는 장점이 있다.As described above, according to the present invention, a content addressing memory is used to quickly determine whether a current pixel or a neighboring pixel is defective and calculates a corrected pixel value of the current pixel using pixel values of normal neighboring pixels without defects. can do. Therefore, there is an advantage that can improve the processing speed and reliability when correcting the defective pixel.

이하, 본 발명이 속하는 분야에 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 상세히 설명한다. 이하에 설명할 본 발명의 바람직한 실시예에서는 내용의 명료성을 위하여 특정한 기술 용어를 사용한다. 하지만 본 발명은 그 선택된 특정 용어에 한정되지는 않으며, 각각의 특정 용어가 유사한 목적을 달성하기 위하여 유사한 방식으로 동작하는 모든 기술 동의어를 포함함을 미리 밝혀둔다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art may easily implement the present invention. In the preferred embodiment of the present invention described below, specific technical terms are used for clarity of content. However, the invention is not limited to the particular term selected, and it is to be understood that each specific term includes all technical synonyms that operate in a similar manner to achieve a similar purpose.

도 1은 본 발명의 바람직한 실시예에 따른 결함 픽셀 보정 장치를 구비하는 디지털 영상 촬영 장치의 구성을 도시하는 블록도이다.1 is a block diagram showing the configuration of a digital imaging apparatus including a defective pixel correction apparatus according to a preferred embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 결함 픽셀 보정 장치(100)는 디지털 영상 촬영 장치(1)에 구비될 수 있다. 이때 디지털 영상 촬 영 장치(1)는 예컨대, 디지털 캠코더, 디지털 카메라 또는 디지털 영상 촬영 기능을 구비하는 모바일 단말기 등일 수 있다.As shown in FIG. 1, a defective pixel correction apparatus 100 according to an exemplary embodiment of the present invention may be provided in the digital imaging apparatus 1. In this case, the digital image photographing apparatus 1 may be, for example, a digital camcorder, a digital camera, or a mobile terminal having a digital image capturing function.

이러한 디지털 영상 촬영 장치(1)는 이미지 센서부(10), 이미지 신호 프로세서(ISP: Image Signal Processor)부(20), 백엔드칩(Back End Chip)부(30) 및 디스플레이부(40) 등을 포함할 수 있다.The digital image capturing apparatus 1 may include an image sensor unit 10, an image signal processor (ISP) unit 20, a back end chip unit 30, a display unit 40, and the like. It may include.

이미지 센서부(10)는 렌즈로부터 입사되는 광으로부터 픽셀 값을 취득하여 출력하는 기능을 수행한다. 예를 들면, 이미지 센서부(10)는 렌즈로부터 입사되는 광에 의하여 형성되는 촬상 신호를 가공되지 않은 베이어 RGB 포맷(Bayer RGB Format)의 픽셀 값으로 출력할 수 있다.The image sensor unit 10 performs a function of acquiring and outputting pixel values from light incident from the lens. For example, the image sensor unit 10 may output an imaging signal formed by light incident from a lens as a pixel value of a raw Bayer RGB format.

이미지 신호 프로세서부(20)는 상기 이미지 센서부(10)로부터 수신되는 픽셀 값을 수신하여 결함 픽셀의 픽셀 값을 보정한 뒤, 적절한 포맷으로 변환하여 출력하는 기능을 수행한다.The image signal processor 20 receives a pixel value received from the image sensor unit 10, corrects a pixel value of a defective pixel, and converts the pixel value into an appropriate format.

이러한 이미지 신호 프로세서부(20)는 결함 픽셀 보정 장치(100) 및 이미지 처리부(22)를 포함할 수 있다. 결함 픽셀 보정 장치(100)는, 예컨대, 이미지 센서부(10)로부터 베이어 RGB 포맷의 픽셀 값을 수신하고 이미지 센서부(10)의 결함 픽셀들을 확인하여 결함 픽셀의 픽셀 값을 보정한 후 이미지 처리부(22)로 전송하는 기능을 수행할 수 있다. 이미지 처리부(22)는, 예컨대, 베이어 RGB 포맷의 픽셀 값을 RGB 포맷의 데이터로 변환하고 이를 디스플레이부(40)에 요구되는 특정한 포맷의 데이터, 예를 들면, YUV 포맷의 데이터 등으로 변환한 후 출력하는 기능을 수행할 수 있다.The image signal processor 20 may include a defective pixel correction device 100 and an image processor 22. The defective pixel correction apparatus 100 may receive a Bayer RGB format pixel value from the image sensor unit 10, check the defective pixels of the image sensor unit 10, and correct the pixel value of the defective pixel. It can perform the function of transmitting to (22). The image processing unit 22 converts, for example, pixel values of Bayer RGB format into data of RGB format, and then converts them into data of a specific format required for the display unit 40, for example, data of YUV format. You can execute the function of printing.

백엔드칩부(30)는 디지털 영상 처리 장치(1)의 동작 및 기능을 전체적으로 제어하는 기능, 상기 이미지 신호 프로세서부(20)로부터 출력되는 특정한 포맷의 데이터, 예컨대 YUV 포맷 데이터를 처리하여 디스플레이부(40)로 전송하는 기능 등을 수행할 수 있다. 이러한 백엔드칩부(30)는 모바일 스위칭 모뎀(MSM : Mobile Switching Modem), 디지털 신호 프로세서(DSP : Digital Signal Processor) 등을 통하여 구현할 수 있다.The back end chip unit 30 controls the operations and functions of the digital image processing apparatus 1 as a whole, and processes data of a specific format output from the image signal processor 20, such as YUV format data, to display the display unit 40. ), Etc. can be transferred. The back end chip unit 30 may be implemented through a mobile switching modem (MSM), a digital signal processor (DSP), or the like.

디스플레이부(40)는 백엔드칩부(30)로부터 데이터를 수신하여 촬영된 피사체의 이미지를 디스플레이한다. 디스플레이부(40)는 예컨대 LCD(Liquid Crystal Display) 패널 등을 포함할 수 있다.The display unit 40 receives data from the back end chip unit 30 and displays an image of the photographed subject. The display unit 40 may include, for example, a liquid crystal display (LCD) panel.

도 2는 본 발명의 바람직한 실시예에 따른 결함 픽셀 보정 장치의 구성을 도시하는 블록도로서, 도 1에 도시된 결함 픽셀 보정 장치(100)의 상세 구성을 나타내고 있다.FIG. 2 is a block diagram showing the configuration of a defective pixel correction apparatus according to a preferred embodiment of the present invention, and shows a detailed configuration of the defective pixel correction apparatus 100 shown in FIG.

도 2에 도시된 바와 같이, 본 발명의 바람직한 실시예에 따른 결함 픽셀 보정 장치(100)는 내용 주소화 메모리(CAM : Content Addressable Memory)부(150), 카운터(Counter)부(140), 결함 픽셀 검출부(110), 주변 픽셀 결함 검출부(120) 및 결함 픽셀 보정부(130) 등을 포함할 수 있다. 상기 각부는 상호 간에 통신을 통하여 연동 가능하다.As shown in FIG. 2, the defective pixel correction apparatus 100 according to an exemplary embodiment of the present invention may include a content addressable memory (CAM) unit 150, a counter unit 140, and a defect unit. The pixel detector 110, the peripheral pixel defect detector 120, the defective pixel corrector 130, and the like may be included. The parts may be linked to each other through communication.

내용 주소화 메모리부(150)는 이미지 센서부(10)의 결함 픽셀의 위치 정보를 저장하는 기능을 수행한다. 상기 결함 픽셀의 위치 정보는 이미지 센서부(10)의 픽셀들 중 결함이 있는 결함 픽셀들의 위치(예컨대, 이미지 센서부의 픽셀 매트릭스 중 결함 픽셀의 행 및 열 등)를 포함할 수 있다.The content addressing memory unit 150 stores the position information of the defective pixel of the image sensor unit 10. The position information of the defective pixel may include positions of defective defective pixels among the pixels of the image sensor unit 10 (for example, rows and columns of the defective pixels of the pixel matrix of the image sensor unit).

상기 내용 주소화 메모리부(150)는 데이터가 저장된 메모리 주소 값을 입력하면 해당 데이터 값을 출력하는 일반적인 메모리와는 달리, 데이터 값을 입력하면 해당 데이터가 저장되어 있는 메모리 주소 값을 출력한다.The content addressing memory unit 150 outputs a memory address value in which the data is stored, when the data value is input, unlike a general memory in which the data value is stored when the data address is stored.

예를 들면, 내용 주소화 메모리부(150)는 결함 픽셀 검출부(110)로부터 현재 픽셀의 위치가 포함된 1차 검색 요청 메시지를 수신하면, 기 저장되어 있는 결함 픽셀의 위치 정보에서 상기 현재 픽셀의 위치가 포함되어 있을 경우 상기 현재 픽셀의 위치가 저장되어 있는 메모리 주소 값을 출력할 수 있다. 또한, 내용 주소화 메모리부(150)는 주변 픽셀 결함 검출부(120)로부터 주변 픽셀의 위치가 포함된 2차 검색 요청 메시지를 수신하면, 기 저장되어 있는 결함 픽셀의 위치 정보에서 상기 주변 픽셀의 위치가 포함되어 있을 경우 상기 주변 픽셀의 위치가 저장되어 있는 메모리 주소 값을 출력할 수도 있다.For example, when the content addressing memory unit 150 receives the first search request message including the location of the current pixel from the defective pixel detection unit 110, the content addressing memory unit 150 may determine the location of the current pixel in the previously stored location information of the defective pixel. If the location is included, the memory address value in which the location of the current pixel is stored may be output. In addition, when the content addressing memory unit 150 receives the second search request message including the position of the neighboring pixel from the neighboring pixel defect detection unit 120, the position of the neighboring pixel is stored in the position information of the stored defective pixel. If is included, the memory address value at which the position of the peripheral pixel is stored may be output.

카운터부(140)는 이미지 센서부(10)로부터 수신되는 픽셀 값이 해당 프레임에서 몇 번째 픽셀의 픽셀 값인지를 나타내는 카운트 값을 출력하는 기능을 수행할 수 있다. 즉 카운터부(140)는 이미지 센서부(10)로부터 프레임의 첫 번째 픽셀의 픽셀 값이 수신되면 '1'부터 카운팅하기 시작하여 마지막 픽셀의 픽셀 값이 수신될 때까지 순차적으로 카운팅을 수행하면서, 해당 카운트 값을 출력할 수 있다. 예를 들어, 카운터부(140)는 현재 픽셀이 수신되면, 상기 현재 픽셀이 프레임에서 몇 번째 픽셀인지를 나타내는 카운트 값을 출력할 수 있다.The counter 140 may perform a function of outputting a count value indicating which pixel value the pixel value received from the image sensor 10 is in the corresponding frame. That is, the counter 140 starts counting from '1' when the pixel value of the first pixel of the frame is received from the image sensor unit 10 and sequentially performs counting until the pixel value of the last pixel is received. The count value can be output. For example, when the current pixel is received, the counter 140 may output a count value indicating the number of pixels in the frame.

결함 픽셀 검출부(110)는 현재 픽셀의 픽셀 값이 수신되면, 상기 현재 픽셀 의 위치를 산출한 뒤 산출된 현재 픽셀의 위치를 사용하여 상기 내용 주소화 메모리부(150)를 검색하고, 그 결과에 근거하여 상기 현재 픽셀이 결함 픽셀인지의 여부를 판단하는 기능을 수행할 수 있다.When the pixel value of the current pixel is received, the defective pixel detection unit 110 calculates the position of the current pixel and searches the content addressable memory unit 150 using the calculated position of the current pixel. On the basis of this, the function of determining whether the current pixel is a defective pixel may be performed.

예를 들면, 결함 픽셀 검출부(150)는 현재 픽셀이 수신되면, 카운터부(140)로부터 현재 픽셀에 대응되는 카운트 값을 수신하고 그 카운트 값을 사용하여 현재 픽셀의 위치를 산출할 수 있다. 그리고 결함 픽셀 검출부(110)는 산출된 현재 픽셀의 위치를 포함하는 1 차 검색 요청 메시지를 내용 주소화 메모리부(150)로 전송하고, 내용 주소화 메모리부(150)로부터 상기 현재 픽셀의 위치가 저장된 메모리 주소가 출력될 경우 상기 현재 픽셀을 결함 픽셀로 판단할 수 있다. 또한, 결함 픽셀 검출부(110)는 주변 픽셀 결함 검출부(120)로 현재 픽셀을 보정하는데 필요한 주변 픽셀의 결함 여부를 검출할 것을 요청하는 동작 요청 메시지를 전송할 수도 있다. 한편, 상기 1차 검색 요청 메시지에 대응하여 상기 내용 주소화 메모리부(150)로부터 응답이 없을 경우, 상기 현재 픽셀이 결함 픽셀이 아닌 것으로 판단하고, 현재 픽셀의 픽셀 값을 이미지 처리부(22)로 출력할 수 있다.For example, when the current pixel is received, the defective pixel detector 150 may receive a count value corresponding to the current pixel from the counter 140 and calculate the position of the current pixel using the count value. The defective pixel detection unit 110 transmits the primary search request message including the calculated position of the current pixel to the content addressing memory unit 150, and the position of the current pixel from the content addressing memory unit 150. When the stored memory address is output, the current pixel may be determined as a defective pixel. In addition, the defective pixel detector 110 may transmit an operation request message to the peripheral pixel defect detector 120 to detect whether the neighboring pixel necessary to correct the current pixel is detected. Meanwhile, when there is no response from the content addressing memory unit 150 in response to the first search request message, it is determined that the current pixel is not a defective pixel, and the pixel value of the current pixel is transferred to the image processor 22. You can print

주변 픽셀 결함 검출부(120)는 상기 결함 픽셀 검출부(110)에 의하여 현재 픽셀이 결함 픽셀인 것으로 판단되었을 경우, 상기 내용 주소화 메모리부(150)를 검색하여 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀의 결함 여부를 검출하고 그 결과 데이터를 결함 픽셀 보정부(130)로 전송하는 기능을 수행할 수 있다.When the defective pixel detector 110 determines that the current pixel is a defective pixel, the peripheral pixel defect detector 120 searches for the content addressing memory unit 150 to correct a plurality of peripheral pixels necessary for correcting the current pixel. Detects whether a defect is detected and transmits the result data to the defective pixel corrector 130.

예를 들면, 주변 픽셀 결함 검출부(120)는 상기 결함 픽셀 검출부(110)로부터 동작 요청 메시지를 수신하면, 현재 픽셀의 위치를 근거로 다수 개의 주변 픽셀 의 위치를 산출하고, 산출된 다수 개의 주변 픽셀의 위치를 포함하는 다수 개의 2차 검색 요청 메시지를 내용 주소화 메모리부(150)로 전송한다. 그리고 상기 2차 검색 요청 메시지에 대응하여, 내용 주소화 메모리부(150)로부터 메모리 주소 값이 수신되는 주변 픽셀은 결함 픽셀로 판단할 수 있다. 한편 주변 픽셀 결함 검출부(120)는 결함 픽셀로 판단된 주변 픽셀의 정보를 결함 픽셀 보정부(130)로 전송할 수 있다.For example, when the peripheral pixel defect detector 120 receives an operation request message from the defective pixel detector 110, the peripheral pixel defect detector 120 calculates the positions of the plurality of peripheral pixels based on the position of the current pixel, and calculates the plurality of peripheral pixels. A plurality of secondary search request messages including the location of the data is transmitted to the content addressable memory unit 150. In addition, in response to the secondary search request message, the neighboring pixel from which the memory address value is received from the content addressing memory unit 150 may be determined as a defective pixel. The peripheral pixel defect detector 120 may transmit the information of the peripheral pixel determined as the defective pixel to the defective pixel corrector 130.

결함 픽셀 보정부(130)는 상기 주변 픽셀 결함 검출부(120)에 의한 판단에 근거하여 상기 다수 개의 주변 픽셀 중 결함 픽셀을 제외한 적어도 하나의 주변 픽셀의 픽셀 값을 사용하여 상기 현재 픽셀의 보정 픽셀 값을 산출하는 기능을 수행할 수 있다. 예를 들면, 결함 픽셀 보정부(130)는 현재 픽셀의 주변 픽셀들 중 결함 픽셀을 제외한 정상 픽셀의 픽셀 값의 평균 값을 현재 픽셀의 보정 픽셀 값으로서 산출할 수 있다.The defective pixel corrector 130 corrects the corrected pixel value of the current pixel by using pixel values of at least one peripheral pixel excluding the defective pixel among the plurality of peripheral pixels based on the determination by the peripheral pixel defect detector 120. It can perform a function to calculate. For example, the defective pixel corrector 130 may calculate an average value of pixel values of a normal pixel except for the defective pixel among neighboring pixels of the current pixel as a correction pixel value of the current pixel.

도 3은 도 2에 도시되어 있는 결함 픽셀 보정 장치(100)의 동작 흐름을 설명하기 위한 흐름도로서, 본 발명의 바람직한 실시예에 따른 결함 픽셀 보정 방법을 나타내고 있다.FIG. 3 is a flowchart illustrating an operation flow of the defective pixel correcting apparatus 100 illustrated in FIG. 2, and illustrates a defective pixel correcting method according to an exemplary embodiment of the present invention.

도 3에 도시된 바와 같이, 먼저, 결함 픽셀 보정 장치(100)의 내용 주소화 메모리부(150)는 이미지 센서부(10)의 결함 픽셀의 위치 정보를 저장한다(단계:S1). 예를 들면, 내용 주소화 메모리부(150)는 이미지 센서부(10)의 픽셀들 중 결함이 있는 결함 픽셀들의 위치, 예컨대 해당 픽셀의 행 및 열 등의 정보를 저장할 수 있다. 각 결함 픽셀의 위치는 내용 주소화 메모리부(150)의 해당 메모리 주소에 각각 저장될 수 있다.As shown in FIG. 3, first, the content addressing memory unit 150 of the defective pixel correcting apparatus 100 stores position information of the defective pixel of the image sensor unit 10 (step: S1). For example, the content addressable memory unit 150 may store information such as positions of defective defective pixels among the pixels of the image sensor unit 10, for example, rows and columns of the corresponding pixels. The location of each defective pixel may be stored at a corresponding memory address of the content addressable memory unit 150, respectively.

이어서, 결함 픽셀 보정 장치(100)는 이미지 센서부(10)로부터 현재 프레임의 첫 번째 픽셀의 픽셀 값부터 수신하기 시작하고 카운터부(140)는 첫 번째 픽셀부터 카운팅하면서 대응된 카운트 값을 출력한다. 예컨대, 결함 픽셀 보정 장치(100)는 이미지 센서부(10)로부터 첫 번째 행의 좌측 첫 번째 픽셀(즉, 현재 프레임의 첫 번째 픽셀)부터 마지막 행의 우측 마지막 픽셀(즉, 현재 프레임의 마지막 픽셀)까지의 픽셀 값들을 순차적으로 수신하고, 초기 카운트 값(예컨대, '1' 등)으로부터 설정된 값(예컨대, '1' 등)씩 증가시키면서 해당 픽셀에 대응되는 카운트 값을 순차적으로 출력할 수 있다.Subsequently, the defective pixel correction apparatus 100 starts receiving the pixel value of the first pixel of the current frame from the image sensor unit 10, and the counter unit 140 counts from the first pixel and outputs a corresponding count value. . For example, the defective pixel correcting apparatus 100 may include the first pixel on the left side of the first row (that is, the first pixel of the current frame) from the image sensor unit 10 to the last pixel on the right of the last row (that is, the last pixel of the current frame). ) Can sequentially receive pixel values up to), and sequentially output a count value corresponding to the corresponding pixel while increasing the set value (eg, '1', etc.) from the initial count value (eg, '1', etc.). .

이미지 센서부(10)로부터 현재 픽셀의 픽셀 값이 수신되면(단계:S2), 결함 픽셀 검출부(110)는 상기 수신되는 현재 픽셀의 위치를 산출한다(단계:S3). 예를 들면, 결함 픽셀 검출부(110)는 카운터부(140)로부터 출력되는 현재 픽셀의 카운트 값을 사용하여 현재 픽셀이 몇 번째 현재 프레임에서 몇 번째 픽셀인지를 확인하고, 이를 토대로 현재 픽셀의 행/열 위치를 산출할 수 있다.When the pixel value of the current pixel is received from the image sensor unit 10 (step: S2), the defective pixel detection unit 110 calculates the position of the received current pixel (step: S3). For example, the defective pixel detection unit 110 checks the current pixel is the number of pixels in the current frame using the count value of the current pixel output from the counter 140, and based on this, the row / pixel of the current pixel is determined. The column position can be calculated.

이어서, 결함 픽셀 검출부(110)는 상기 산출된 현재 픽셀의 위치를 사용하여 내용 주소화 메모리부(150)를 검색하고(단계:S4), 그 결과를 토대로 현재 픽셀이 결함 픽셀인지의 여부를 판단한다(단계:S5).Subsequently, the defective pixel detection unit 110 searches for the content addressing memory unit 150 using the calculated position of the current pixel (step S4), and determines whether the current pixel is a defective pixel based on the result. (Step: S5).

예를 들면, 결함 픽셀 검출부(110)는 상기 산출된 현재 픽셀의 위치를 포함하는 1차 검색 요청 메시지를 내용 주소화 메모리부로 전송하고, 내용 주소화 메모리부(150)는 기 저장된 결함 픽셀의 위치 정보에 상기 현재 픽셀의 위치에 대응하 는 정보가 있을 경우 상기 현재 픽셀의 위치가 저장된 메모리 주소 값을 출력한다. 그러면, 결함 픽셀 검출부(110)는 상기 1차 검색 요청 메시지에 대응하여 내용 주소화 메모리부(150)로부터 메모리 주소 값이 출력되는 경우 현재 픽셀이 결함 픽셀인 것으로 판단한다. 이 경우 결함 픽셀 검출부(110)는 주변 픽셀 결함 검출부(120)로 동작 요청 메시지를 전송할 수도 있다. 반면, 상기 1차 검색 요청 메시지에 대응하여 메모리 주소 값이 출력되지 않으면, 상기 현재 픽셀은 정상 픽셀인 것으로 판단할 수 있다.For example, the defective pixel detection unit 110 transmits a primary search request message including the calculated position of the current pixel to the content addressing memory unit, and the content addressing memory unit 150 stores the position of the previously stored defective pixel. If the information includes information corresponding to the position of the current pixel, the memory address value at which the position of the current pixel is stored is output. Then, the defective pixel detection unit 110 determines that the current pixel is a defective pixel when a memory address value is output from the content addressing memory unit 150 in response to the first search request message. In this case, the defective pixel detector 110 may transmit an operation request message to the peripheral pixel defect detector 120. On the other hand, if a memory address value is not output in response to the first search request message, it may be determined that the current pixel is a normal pixel.

다음으로, 주변 픽셀 결함 검출부(120)는 상기 결함 픽셀 검출부(110)에 의하여 상기 현재 픽셀이 결함 픽셀로 판단되었을 경우, 상기 현재 픽셀의 위치 정보를 근거로 하여 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀의 위치를 산출한다(단계:S6).Next, when the defective pixel detector 110 determines that the current pixel is a defective pixel, the peripheral pixel defect detector 120 determines a plurality of peripherals required for correcting the current pixel based on the position information of the current pixel. The position of the pixel is calculated (step S6).

도 4는 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀의 예를 설명하기 위한 예시도이다. 도 4에 도시된 픽셀 PA는 현재 픽셀을 나타내며, 픽셀 N1 내지 N8은 현재 픽셀이 결함 픽셀일 경우 현재 픽셀을 보정하는데 사용할 주변 픽셀을 나타낸다. 도 4에 도시된 바와 같이, 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀은 현재 픽셀에 인접한 8개의 픽셀일 수 있다.4 is an exemplary diagram for describing an example of a plurality of peripheral pixels required for correcting a current pixel. The pixel PA shown in FIG. 4 represents the current pixel, and the pixels N1 to N8 represent peripheral pixels to be used to correct the current pixel when the current pixel is a defective pixel. As shown in FIG. 4, the plurality of peripheral pixels required for the correction of the current pixel may be eight pixels adjacent to the current pixel.

그런데, 이미지 센서부로부터 수신되는 픽셀 값이 베이어 RGB 포맷인 경우 각각의 픽셀 값은 R(Red), G(Green) 또는 B(Blue)의 중 어느 하나의 픽셀 값을 가진다.However, when the pixel value received from the image sensor unit is a Bayer RGB format, each pixel value has one of R (Red), G (Green), or B (Blue) pixel value.

도 5는 이미지 센서부로부터 수신되는 픽셀 값이 베이어 RGB 포맷일 경우 RGB 픽셀 배치의 예를 나타내는 예시도이다.5 is an exemplary diagram illustrating an example of RGB pixel arrangement when the pixel value received from the image sensor unit is a Bayer RGB format.

도 5에 도시된 바와 같이, 이미지 센서부의 픽셀은 G 픽셀(예컨대, G11, G13, G22, G24 등), R 픽셀(예컨대, R12, R14, R32, R34 등), B 픽셀(예컨대, B21, B23, B25, B41 등) 등으로 구분된다.As shown in FIG. 5, pixels of the image sensor unit include G pixels (eg, G11, G13, G22, G24, etc.), R pixels (eg, R12, R14, R32, R34, etc.), B pixels (eg, B21, B23, B25, B41, etc.).

도 6은 도 5에 도시된 예에서 현재 픽셀이 G33 픽셀일 경우 상기 G33 픽셀을 보정하기 위한 주변 픽셀들의 예를 나타내는 예시도이고, 도 7은 도 6에 도시된 주변 픽셀들을 이해가 용이하도록 도 4에 도시된 형태로 표시한 예시도이다.FIG. 6 is an exemplary diagram illustrating an example of peripheral pixels for correcting the G33 pixel when the current pixel is a G33 pixel in the example shown in FIG. 5, and FIG. 7 is a diagram for easily understanding the peripheral pixels shown in FIG. 6. It is an exemplary view shown in the form shown in 4.

도 6내지 7에 도시된 바와 같이, 현재 픽셀이 G33일 경우, 현재 픽셀을 보정하는데 필요한 주변 픽셀은 상기 현재 픽셀 G33에 근접한 8개의 G 픽셀들, 예컨대, 픽셀 G22, G13, G24, G31, G35, G42, G44, G53일 수 있다. 이하에서는 상기 8개의 주변 픽셀들 중 G24 및 G53이 결함 픽셀인 것으로 가정하여 설명하기로 한다. 이 경우 상기 G24 및 G53의 위치 정보가 내용 주소화 메모리부에 저장되어 있다. 한편 이러한 주변 픽셀의 예는 실시의 한 예일 뿐 현재 픽셀의 보정을 위한 주변 픽셀의 개수는 실시 환경에 따라 다양하게 설정할 수 있음은 물론이다.As shown in FIGS. 6 to 7, when the current pixel is G33, the peripheral pixel necessary to correct the current pixel includes eight G pixels close to the current pixel G33, for example, pixels G22, G13, G24, G31, and G35. , G42, G44, G53. In the following description, it is assumed that G24 and G53 of the eight peripheral pixels are defective pixels. In this case, the positional information of the G24 and G53 is stored in the content addressable memory unit. On the other hand, the example of the peripheral pixel is only an example of the embodiment, the number of the peripheral pixel for the correction of the current pixel can be set in various ways according to the implementation environment.

상기 도 6에 도시된 예를 토대로 설명하면, 상기 단계S6에서, 주변 픽셀 결함 검출부(120)는 현재 픽셀인 G33의 위치를 토대로 주변 픽셀인 G22, G13, G24, G31, G35, G42, G44, G53 위치를 산출할 수 있다.Referring to the example illustrated in FIG. 6, in step S6, the peripheral pixel defect detection unit 120 performs the peripheral pixels G22, G13, G24, G31, G35, G42, G44, based on the position of the current pixel G33. The G53 position can be calculated.

이어서, 주변 픽셀 결함 검출부(120)는 내용 주소화 메모리부(150)에서 주변 픽셀의 결함 여부를 검색할 수 있다(단계:S7). 예를 들면, 주변 픽셀 결함 검출부(120)는 상기 산출된 G22, G13, G24, G31, G35, G42, G44, G53의 위치를 각기 포 함하는 8 개의 2차 검색 요청 메시지를 생성하고, 이를 내용 주소화 메모리부(150)로 전송한다. 그러면, 내용 주소화 메모리부(150)는 상기 각각의 주변 픽셀의 위치에 대응하는 정보가 기 저장된 결함 픽셀의 위치 정보에 포함되어 있을 경우 해당 정보가 저장되어 있는 메모리 주소 값을 출력한다. 예컨대, 주변 픽셀인 G24 및 G53이 결함 픽셀일 경우, 내용 주소화 메모리부(150)는 상기 주변 픽셀 G24 및 G53의 2차 검색 요청 메시지에 응답하여, 상기 주변 픽셀 G24 및 G53의 위치가 저장된 메모리 주소 값을 각각 출력하게 된다. 그러면, 주변 픽셀 결함 검출부(120)는 상기 G24 및 G53이 결함 픽셀인 것을 판단할 수 있다. 그리고, 주변 픽셀 결함 검출부(120)는 상기 G24 및 G53이 결함 픽셀임을 알리는 메시지를 결함 픽셀 보정부(130)로 전송할 수 있다.Subsequently, the peripheral pixel defect detector 120 may detect whether the peripheral pixel is defective in the content addressing memory unit 150 (step S7). For example, the peripheral pixel defect detection unit 120 generates eight secondary search request messages each including the calculated positions of G22, G13, G24, G31, G35, G42, G44, and G53. The data is transmitted to the addressing memory unit 150. Then, the content addressing memory unit 150 outputs a memory address value in which the corresponding information is stored when the information corresponding to the position of each neighboring pixel is included in the previously stored defective pixel location information. For example, when the peripheral pixels G24 and G53 are defective pixels, the content addressing memory unit 150 stores a memory in which the positions of the peripheral pixels G24 and G53 are stored in response to the secondary search request message of the peripheral pixels G24 and G53. Each address will be printed. Then, the peripheral pixel defect detector 120 may determine that the G24 and the G53 are defective pixels. The peripheral pixel defect detector 120 may transmit a message indicating that the G24 and G53 are the defective pixels to the defective pixel corrector 130.

이어서, 결함 픽셀 보정부(130)는 상기 주변 픽셀 결함 검출부(120)에 의하여 결함 픽셀로 판단된 주변 픽셀을 제외한 나머지 주변 픽셀들, 즉 정상적인 주변 픽셀의 픽셀 값을 사용하여 현재 픽셀의 보정 픽셀 값을 산출할 수 있다(단계:S8). 즉, 결함 픽셀 보정부(130)는 주변 픽셀들 중 정상 픽셀들의 픽셀 값만을 이용하여 현재 픽셀의 보정 픽셀 값을 산출하는 것이다.Subsequently, the defective pixel corrector 130 corrects the pixel value of the current pixel by using the remaining pixel except the peripheral pixel determined as the defective pixel by the peripheral pixel defect detector 120, that is, the pixel value of the normal peripheral pixel. Can be calculated (step: S8). That is, the defective pixel corrector 130 calculates a corrected pixel value of the current pixel using only pixel values of normal pixels among neighboring pixels.

예를 들면, 결함 픽셀 보정부(130)는 정상적인 주변 픽셀들의 픽셀 값의 평균 값을 현재 픽셀의 보정 픽셀 값으로서 산출할 수 있다. 수학식 1은 결함 픽셀 보정부(130)에 의한 보정 값 산출 알고리즘을 나타내고 있다.For example, the defective pixel corrector 130 may calculate an average value of pixel values of normal neighboring pixels as a corrected pixel value of the current pixel. Equation 1 shows an algorithm for calculating a correction value by the defective pixel correcting unit 130.

상기 수학식 1에서, CA는 현재 픽셀의 보정 값, 'N'은 주변 픽셀의 시리얼 넘버를 의미하며, 'CAM(N)'은 주변 픽셀 N이 결함 픽셀일 경우 '0', 정상 픽셀일 경우 '1'의 값을 가지는 함수이며, PI(N)은 주변 픽셀 N의 픽셀 값을 나타낸다.In Equation 1, CA is a correction value of the current pixel, 'N' means a serial number of the peripheral pixel, 'CAM (N)' is '0' when the peripheral pixel N is a defective pixel, a normal pixel A function having a value of '1', PI (N) represents a pixel value of the surrounding pixel N.

수학식 1에 도시된 바와 같이, 현재 픽셀의 보정 값은 주변 픽셀들 중 결함 픽셀을 제외한 정상적인 주변 픽셀의 픽셀 값을 모두 더한 값에서 정상적인 주변 픽셀의 개수를 나눔으로써 산출될 수 있다. 즉, 현재 픽셀의 보정 픽셀 값은 정상적인 주변 픽셀의 픽셀 값의 평균 값을 의미할 수 있다.As shown in Equation 1, the correction value of the current pixel may be calculated by dividing the number of normal peripheral pixels from the sum of all pixel values of the normal peripheral pixels except the defective pixel among the neighboring pixels. That is, the correction pixel value of the current pixel may mean an average value of pixel values of normal neighboring pixels.

예를 들어, 도 6에 도시된 예에서, 현재 픽셀 G33의 보정 픽셀 값은 주변 픽셀인 G22, G13, G24, G31, G35, G42, G44, G53 중 결함 픽셀인 G24 및 G53을 제외한 나머지 주변 픽셀들, 즉 G22, G13, G31, G35, G42, G44의 평균 값일 수 있다.For example, in the example shown in FIG. 6, the correction pixel value of the current pixel G33 is the peripheral pixel except for the defective pixels G24 and G53 among the G22, G13, G24, G31, G35, G42, G44, and G53 which are the peripheral pixels. Ie, G22, G13, G31, G35, G42, G44.

이상 설명한 바와 같이, 본 발명에 따르면 결함 픽셀의 보정 시에 정상적인 주변 픽셀들만으로 보정 픽셀 값을 산출함으로써 영상의 화질을 개선할 수 있으며, 내용 주소화 메모리의 사용을 통하여 각 픽셀의 결함 여부 판단 시에 신속한 처리가 가능하게 된다.As described above, according to the present invention, the image quality of an image can be improved by calculating a corrected pixel value using only normal pixels when correcting a defective pixel, and when determining whether each pixel is defective by using a content addressing memory. Rapid processing is possible.

이상 본 발명에 대하여 그 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 기술적 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시켜 실시할 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 앞으로의 실시예들의 변경은 본 발명의 기술을 벗어날 수 없을 것이다.Although the present invention has been described above with reference to its preferred embodiments, those skilled in the art will variously modify the present invention without departing from the spirit and scope of the invention as set forth in the claims below. And can be practiced with modification. Accordingly, modifications to future embodiments of the present invention will not depart from the technology of the present invention.

도 2는 본 발명의 바람직한 실시예에 따른 결함 픽셀 보정 장치의 구성을 도시하는 블록도이다.2 is a block diagram showing the configuration of a defective pixel correction apparatus according to a preferred embodiment of the present invention.

도 3은 도 2에 도시되어 있는 결함 픽셀 보정 장치의 동작 흐름을 설명하기 위한 흐름도이다.FIG. 3 is a flowchart for describing an operation flow of the defective pixel correcting apparatus illustrated in FIG. 2.

도 4는 현재 픽셀의 보정에 필요한 다수 개의 주변 픽셀의 예를 설명하기 위한 예시도이다.4 is an exemplary diagram for describing an example of a plurality of peripheral pixels required for correcting a current pixel.

도 6은 도 5에 도시된 예에서 현재 픽셀이 G33 픽셀일 경우 상기 G33 픽셀을 보정하기 위한 주변 픽셀들의 예를 나타내는 예시도이다.FIG. 6 is an exemplary diagram illustrating an example of neighboring pixels for correcting the G33 pixel when the current pixel is the G33 pixel in the example shown in FIG. 5.

도 7은 도 6에 도시된 주변 픽셀들을 이해가 용이하도록 도 4에 도시된 형태로 표시한 예시도이다.FIG. 7 is an exemplary diagram in which the peripheral pixels shown in FIG. 6 are displayed in the form shown in FIG. 4 for easy understanding.

<도면의 주요 부분에 대한 부호 설명><Description of the symbols for the main parts of the drawings>

10 : 이미지 센서부10: image sensor

100 : 결함 픽셀 보정 장치100: defective pixel correction device

110 : 결함 픽셀 검출부110: defective pixel detection unit

120 : 주변 픽셀 결함 검출부120: peripheral pixel defect detection unit

130 : 결함 픽셀 보정부130: defective pixel correction unit

140 : 카운터부140: counter unit

150 : 내용 주소화 메모리부150: content addressing memory section

Claims

A content addressable memory (CAM) unit for storing position information of a defective pixel of an image sensor;

A defective pixel detector configured to calculate a position of the current pixel to search for the content addressable memory unit, and determine whether the current pixel is a defective pixel based on a result of the position of the current pixel;

If the current pixel is a defective pixel, the position of a plurality of peripheral pixels required for the correction of the current pixel is calculated and the content addressing memory unit is searched, and based on the result, each of the peripheral pixels is a defective pixel. Peripheral pixel defect detection unit to determine;

A defective pixel correcting unit calculating a corrected pixel value of the current pixel using pixel values of at least one neighboring pixel excluding a defective pixel among the plurality of neighboring pixels based on the determination by the neighboring pixel defect detecting unit; And

And a counter unit for outputting a count value indicating which pixel value of each pixel of the corresponding frame is the pixel value received from the image sensor.

The apparatus of claim 1, wherein the defective pixel detection unit transmits a primary search request message including the calculated position of the current pixel to the content addressing memory unit, and wherein the content addressing memory unit is configured to display the position information of the stored defective pixel. And outputting a memory address value at which the current pixel position is stored when the current pixel position exists.

The method of claim 2, wherein the defective pixel detection unit determines that the current pixel is a defective pixel when the memory address value is received from the content addressing memory unit in response to the first search request message. Defective pixel correction device.

The method of claim 1, wherein the neighboring pixel defect detection unit transmits a plurality of secondary search request messages corresponding to the calculated positions of the plurality of neighboring pixels to the content addressing memory unit, and the content addressing memory unit includes the plurality of content addressing memory units. And a memory address value storing a position of a neighboring pixel having a position in the position information of the defective pixel among neighboring pixels.

5. The defect of claim 4, wherein the peripheral pixel defect detection unit determines that the neighboring pixel for which a memory address value is received from the content addressing memory unit is a defective pixel in response to the plurality of secondary search request messages. Pixel compensator.

delete

The apparatus of claim 1, wherein the defective pixel detection unit calculates a position of the current pixel using a count value of the counter unit.

The apparatus of claim 1, wherein the defective pixel correcting unit calculates an average value of pixel values of the at least one peripheral pixel except the defective pixel among the plurality of peripheral pixels.

Storing position information of a defective pixel of an image sensor in a content addressing memory unit;

Outputting a count value indicating which pixel value of each pixel of the frame is the pixel value received from the image sensor;

Calculating a position of the current pixel based on the count value when a pixel value of the current pixel is received;

First searching the content addressable memory unit using the calculated position of the current pixel;

Determining whether the current pixel is a defective pixel based on a result of the first search;

Calculating positions of a plurality of peripheral pixels necessary for correcting the current pixel when the current pixel is a defective pixel;

Secondly searching the content addressable memory unit using the calculated positions of the plurality of neighboring pixels;

Determining whether each of the peripheral pixels is a defective pixel based on the result of the second search; And

Calculating a corrected pixel value of the current pixel by using the pixel value of at least one peripheral pixel except the peripheral pixel determined as the defective pixel by determining whether each peripheral pixel is a defective pixel. Defective pixel correction method characterized in that.

The method of claim 9, wherein the first search of the content addressable memory unit comprises:

Transmitting a primary search request message including the calculated position of the current pixel to the content addressable memory unit; And

And when the calculated position of the current pixel is stored in the content addressable memory unit, receiving a memory address in which the position of the current pixel is stored.

The method of claim 10, wherein determining whether the current pixel is a defective pixel based on a result of the first search comprises:

And determining the current pixel as a defective pixel when receiving a memory address storing the location of the current pixel from the content addressable memory unit.

The method of claim 9, wherein calculating the positions of the plurality of peripheral pixels comprises:

Calculating a position of the plurality of peripheral pixels based on the calculated position of the current pixel.

The method of claim 9, wherein the second searching of the content addressable memory unit comprises:

Transmitting a plurality of secondary search request messages including the calculated positions of the plurality of neighboring pixels to the content addressing memory unit; And

And receiving a memory address at which the location is stored when the location information is stored in the content addressing memory unit among the plurality of surrounding pixels.

The method of claim 13, wherein determining whether each of the peripheral pixels is a defective pixel based on the result of the second search comprises:

And determining the neighboring pixel that receives the memory address from the content addressable memory unit as the defective pixel.

The method of claim 9, wherein calculating the corrected pixel value of the current pixel comprises:

And calculating an average value of pixel values of at least one neighboring pixel except the neighboring pixel determined as the defective pixel.