WO2010074386A1 - 이미지센서의 불량 픽셀 검출 및 보정 방법 - Google Patents

이미지센서의 불량 픽셀 검출 및 보정 방법 Download PDF

Info

Publication number
WO2010074386A1
WO2010074386A1 PCT/KR2009/004831 KR2009004831W WO2010074386A1 WO 2010074386 A1 WO2010074386 A1 WO 2010074386A1 KR 2009004831 W KR2009004831 W KR 2009004831W WO 2010074386 A1 WO2010074386 A1 WO 2010074386A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
sub
subblock
bad
luminance value
Prior art date
Application number
PCT/KR2009/004831
Other languages
English (en)
French (fr)
Inventor
서필기
Original Assignee
엘지이노텍주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍주식회사 filed Critical 엘지이노텍주식회사
Priority to US13/142,240 priority Critical patent/US8913163B2/en
Priority to JP2011543384A priority patent/JP2012514371A/ja
Priority to CN200980153006.XA priority patent/CN102265628B/zh
Priority to EP09835152.1A priority patent/EP2373048B1/en
Publication of WO2010074386A1 publication Critical patent/WO2010074386A1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/68—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to defects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof

Definitions

  • An embodiment of the present invention relates to a method for detecting and correcting a bad pixel in an image sensor.
  • An image sensor consists of a pixel array of hundreds of thousands to millions of pixels, a device that converts analog data sensed by pixels into digital data, and hundreds to thousands of storage devices.
  • the image sensor always has a process error possibility.
  • the quality of the image sensor is determined by the class of the product according to the number of bad pixels, the smaller the number of bad pixels is a good product. Errors caused by these bad pixels in the image sensor appear as small dots on the screen.
  • the conventional bad pixel correction method is a method of detecting luminance of a target pixel and a neighboring pixel and detecting a difference after detecting R, G, and B levels, and then correcting the bad pixel in real time.
  • Embodiments relate to a method for accurate detection and complete correction of bad pixels.
  • a method of detecting and correcting a bad pixel of an image sensor comprising: generating and storing a plurality of image frames of a subject; A second process of scanning pixels in the plurality of image frames; When a bad pixel is detected in the plurality of image frames, storing a location of the bad pixel as a bad block location in a memory; And a fourth process of correcting the luminance value of the defective block by calling the defective block position stored in the memory when the photographing is performed.
  • the embodiment has the effect of accurately detecting the defective pixels without relying on the detection by the existing real time.
  • by correcting the detected defective blocks using the difference ratio there is an effect that accurate correction can be made.
  • FIG. 1 is a flowchart illustrating a process of detecting and correcting a bad pixel of an image sensor according to an exemplary embodiment.
  • FIG. 2 is a diagram illustrating a state in which a bad block is detected by storing a total of three image frames through imaging of a subject according to an exemplary embodiment.
  • FIG. 3 is a flowchart illustrating a process of correcting a bad block according to an embodiment.
  • FIG. 4 is a diagram showing the luminance value of each sub-block luminance value before correction and each sub-block after correction.
  • FIG. 1 is a flowchart illustrating a process of detecting and correcting a bad pixel of an image sensor according to an exemplary embodiment.
  • a plurality of subject environments are constructed for correction, and each image frame is captured and stored under the constructed plurality of subject environments.
  • the subject environment is a luminance brightness of a subject for a plurality of image frames required when correcting defective pixels of an image sensor.
  • the subject environment refers to an environment in which the color of the subject is constructed in a bright series.
  • the luminance value above the threshold may be a luminance value of 200 or more.
  • the three image frames do not have to have white, yellow, and blue colors, respectively, and the three image frames may be captured in a series of only one color.
  • images may be captured at the same brightness or different brightness.
  • the pixels in each image frame are scanned (S23) to determine whether a bad pixel is detected (S24).
  • a bad pixel of a dead pixel always has a black luminance value above a threshold.
  • all the pixel positions are determined as bad pixels.
  • the pixels are scanned within each image frame, and when a pixel with black dark spots appears in three image frames, the corresponding pixel position is determined as a bad pixel (dead pixel).
  • black spots may be formed at the same position in the three image frames, or black spots may be formed at different positions, but all black spots formed in the three image frames may be determined as dead pixels.
  • the black spot that does not appear in the first image frame but newly appears in the second image frame is also determined as a dead pixel.
  • the corresponding block containing the bad pixel is stored in the memory as a bad block position (S25).
  • the frame is divided into a plurality of blocks, and the block of the block including the bad pixel is stored as a block of the bad block.
  • the bad block positions stored in the memory are called to perform correction (S26) on the corresponding bad blocks.
  • the first bad block position is called to perform correction, and then the next bad block position is called until the last bad block is reached to perform correction.
  • a correction process S26 for the bad block will be described in detail with reference to FIG. 3.
  • FIG. 3 is a flowchart illustrating a process of correcting a bad block according to an embodiment.
  • the sub block is a block schematically shown for comparing only one color among R, G, and B in the pixel.
  • the correction may be sequentially performed on the remaining colors.
  • the bad block position stored in the memory is called to divide the bad block located in the image frame into n * m number of sub blocks (S41).
  • the luminance value of the first sub block is detected among the plurality of sub blocks generated by dividing the bad block (S42).
  • the current subblock refers to the first subblock sub_B 1
  • the previous subblock sub_B (x-1 ) refers to the first subblock sub_B 1 .
  • the difference ratio is previously sub-block (sub_B (x-1)) with the largest luminance value (maximum luminance value) of the current sub-block (sub_B x) and the former sub-block (sub_B (x-1)) and the current sub-block (
  • the ratio of the absolute difference value between sub_B x ) is shown in the following [Formula 1].
  • the luminance value of the current subblock is replaced with the luminance value of the previous subblock and corrected (S46).
  • the sub-block difference ratio is calculated (S43) by the above [Equation 1], and then the processes S44 and S45. ) Is repeated to correct the luminance value of the next sub-block (S46).
  • FIG. 4A is a diagram illustrating luminance values of respective sub blocks after correction is performed through the processes of FIG. 3.
  • the luminance values of the subblocks 1, 2, 3, 4, 5, 8, 9, 12, 13, 14, 15 and 16 have 200, respectively, and the luminance values of the subblocks 6, 7, 10, 11 If each has 50, all of the first to fifth sub-blocks have the same luminance value of 200.
  • the sixth sub block sub_B 6 having the luminance value of 50 has a difference of 150 from the fifth sub block sub_B 5 having the luminance value of 200.
  • the difference ratio of the sixth sub-block sub_B 6 is calculated by substituting [Equation 1] as follows.
  • the sixth subblock has a difference ratio of 0.75.
  • the difference ratio of 0.75 is larger than the critical ratio 0.2.
  • the luminance value of the sixth sub-block which is the current sub-block, is divided into the fifth sub-block. Substitution correction is made to 200, which is a luminance value of.
  • the sixth sub block sub_B 6 is corrected, the next sub block, the seventh sub block sub_B 7 , is corrected. However, since the sixth sub-block, which is the previous sub-block, has already been corrected, the sixth sub-block has a luminance value of 200 corrected. In addition, since the state is corrected to 200, the difference ratio of the sixth sub-block sub_B 6 has a value of '0'.
  • the seventh subblock has a difference ratio of 0.75.
  • the difference ratio of 0.75 is larger than the critical ratio 0.2, and since the difference ratio 0.75 of the seventh subblock minus the difference ratio 0 of the sixth subblock that is the previous subblock is larger than the critical ratio 0.2, Substitution correction of the luminance value of the sub block to 200, which is the luminance value of the sixth sub block, is performed.
  • the tenth and eleventh subblocks may be replaced and corrected to 200 through the above processes.
  • the difference ratio is detected again for the sub blocks of the corresponding bad blocks to determine whether to correct according to the difference.
  • a bad pixel of an image frame is detected through the processes of FIGS. 1 and 3, and a block position including the bad pixel is stored as a bad block position in a memory.
  • the position information of the defective blocks in the image frame is taken from the memory, and correction of the sub blocks in the corresponding block is performed.
  • step S26 of FIG. 1 may be performed through the correction algorithm of FIG. 3, but instead of calculating a difference ratio of each subblock, a block stored as a bad block may be directly replaced with a value of a previous subblock. It may be.
  • correction may be performed by replacing the value of the previous sub block with the value of the bad block, regardless of the threshold ratio.
  • step S26 of FIG. 1 by directly setting and setting the position of the defective block in the correction register in the image sensor, the block may be automatically corrected when the image is taken. .
  • an image sensor capable of correcting itself has a correction register.
  • the correction of a block at a specific position is performed according to the setting value of the correction register.
  • the correction through the register may be performed by the correction algorithm of FIG. 3 if the correction target block is determined by a setting value of the correction register, or may be corrected by another correction algorithm.
  • the embodiment can be applied to a method of detecting and correcting a bad pixel in an image sensor.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Image Processing (AREA)

Abstract

실시예에 따른 이미지센서의 불량 픽셀 검출 및 보정 방법은 피사체의 이미지 프레임을 다수개 생성하여 저장하는 제1과정; 상기 다수의 이미지 프레임내의 픽셀들을 스캔하는 제2과정; 상기 다수의 이미지 프레임에서 불량 픽셀이 검출될 때, 해당 불량 픽셀의 위치를 불량 블록 위치로서 메모리에 저장하는 제3과정; 및 촬영이 이루어질 때 상기 메모리에 저장된 불량 블록 위치를 호출하여, 해당 불량 블록의 휘도값을 보정하는 제4과정을 포함한다.

Description

이미지센서의 불량 픽셀 검출 및 보정 방법
본 발명의 실시 예는 이미지센서에서의 불량 픽셀 검출 및 보정 방법에 관한 것이다.
이미지 센서는 수십만에서 수백만 개의 화소로 구성된 픽셀 어레이와, 픽셀에서 감지한 아날로그 데이터를 디지털 데이터로 바꿔주는 장치와, 수백에서 수천 개의 저장 장치 등으로 구성된다. 그런데, 이때 이러한 많은 수의 장치들로 인해 이미지 센서는 항상 공정상 오류 가능성을 가지게 된다.
이러한 이미지 센서의 품질은 불량 픽셀(bad pixel)의 개수에 따라 제품의 등급이 결정되며, 불량 픽셀의 개수가 적을수록 양질의 제품이 된다. 이미지 센서에서 이러한 불량 픽셀로 인한 오류는 화면상에 작은 점의 형태로서 나타난다.
이러한 부분적인 불량 픽셀이 있는 이미지 센서 칩을 모두 불량 칩으로 처분하는 경우 수율이 나빠지기 때문에, 해당 불량 픽셀을 보정하여 사용한다.
기존의 불량 픽셀 보정 방식은 타겟 픽셀인 불량 픽셀과 주변 픽셀의 휘도(luminance)를 검출하거나 R,G,B 레벨 검출 후 차이를 확인한 다음 불량 픽셀을 리얼 타임(real time)으로 보정하는 방식이었다.
그런나, 기존의 불량 픽셀 보정 방식은 리얼 타임(real time)이라는 장점이 있는 반면에, 불량 픽셀에 대한 정확한 위치 검출 및 완전한 보정이 이루어지기 어려운 문제가 있다.
실시 예는 불량 픽셀에 대한 정확한 검출 및 완전한 보정이 이루어지도록 하는 방법에 관한 것이다.
실시예에 따른 이미지센서의 불량 픽셀 검출 및 보정 방법은 피사체의 이미지 프레임을 다수개 생성하여 저장하는 제1과정; 상기 다수의 이미지 프레임내의 픽셀들을 스캔하는 제2과정; 상기 다수의 이미지 프레임에서 불량 픽셀이 검출될 때, 해당 불량 픽셀의 위치를 불량 블록 위치로서 메모리에 저장하는 제3과정; 및 촬영이 이루어질 때 상기 메모리에 저장된 불량 블록 위치를 호출하여, 해당 불량 블록의 휘도값을 보정하는 제4과정을 포함한다.
실시 예는 기존의 리얼 타임에 의한 검출에 의존하지 않고서도 불량 픽셀에 대한 정확한 검출을 할 수 있는 효과가 있다. 또한, 검출된 불량 블록에 대해 차이비율을 이용한 보정을 함으로써, 정확한 보정이 이루어질 수 있는 효과가 있다.
도 1은 실시 예에 따라 이미지센서의 불량 픽셀 검출 및 보정 과정을 도시한 플로차트이다.
도 2는 실시 예에 따라 피사체의 촬상을 통해 총 3장의 이미지 프레임을 저장하여 불량 블록을 검출하는 모습을 도시한 그림이다.
도 3은 실시 예에 따른 불량 블록에 대한 보정 과정을 도시한 플로차트이다.
도 4는 보정 전의 각 서브 블록 휘도값과 보정 후의 각 서브 블록의 휘도값을 도시한 그림이다.
이하, 실시 예들의 상세한 설명이 첨부된 도면들을 참조하여 설명될 것이다. 하기에서 각 도면의 구성요소들에 참조부호를 부가함에 있어 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다.
도 1은 실시 예에 따라 이미지센서의 불량 픽셀 검출 및 보정 과정을 도시한 플로차트이다.
우선, 보정을 위한 다수의 피사체 환경을 구축하여, 상기 구축된 다수의 피사체 환경 하에서 각 이미지 프레임을 캡쳐하여 저장한다.
상기 피사체 환경은 이미지 센서의 불량 픽셀을 보정하고자 할 때 필요로 하는 다수의 이미지 프레임에 대한 피사체의 휘도 밝기이다.
예컨대, 이미지 센서에서 데드 픽셀이 발생될 경우 해당 데드 픽셀이 검은 색 계열의 흑점으로 나타난다면, 상기 피사체 환경은 피사체의 색상을 밝은 계열로 구축시킨 환경을 말한다.
따라서 피사체 환경을 달리하여 촬상한 후 다수의 이미지 프레임을 생성(S21)하여 저장(S22)한다.
이때, 다수의 이미지 프레임이 3장이라고 할 때 도 2(a)에 도시된 바와 같이, 임계치 이상의 휘도값을 갖는 화이트, 옐로우, 블루라는 각각의 밝은 계열의 피사체의 촬상을 통해 총 3장의 이미지 프레임이 생성되어 저장됨을 알 수 있다.
상기 임계치 이상의 휘도값은 200이상의 휘도값이 될 수 있다.
그리고, 상기 3장의 이미지 프레임이 각각 화이트, 옐로우, 블루의 색을 가질 필요는 없으며, 3장의 이미지 프레임이 한가지 색상의 계열로만 촬상될 수도 있다.
또한, 상기 3장의 이미지 프레임이 임계치 이상의 휘도값을 갖는다면, 동일한 밝기 또는 서로 다른 밝기로 촬상될 수도 있다.
각 이미지 프레임내의 픽셀들을 스캔(S23)하여 불량 픽셀이 검출되는지를 판정(S24)한다.
예컨대, 데드 픽셀의 불량 픽셀은 항상 임계치 이상의 흑색 휘도값을 갖는데, 이러한 흑색 휘도값이 각 이미지 프레임 내에 존재할 때, 해당 픽셀 위치를 모두 불량 픽셀로 판정한다.
도 2(b)를 보면, 각 이미지 프레임 내에서 픽셀들을 스캔하여, 검은 흑점이 나타나는 픽셀이 3장의 이미지 프레임에서 나타날 경우 해당 픽셀 위치를 불량 픽셀(데드 픽셀)이라고 판정한다.
이때, 3장의 이미지 프레임에서 흑점이 동일한 위치에 형성될 수도 있고, 서로 다른 위치에 흑점이 형성될 수도 있으나, 3장의 이미지 프레임에 형성된 모든 흑점은 데드 픽셀로 결정될 수 있다.
즉, 첫 번째 이미지 프레임에는 나타나지 않았지만, 두 번째 이미지 프레임에 새로 나타난 흑점 또한 데드 픽셀로 결정된다.
상기와 같이 각 이미지 프레임마다 불량 픽셀이 검출될 경우, 해당 블량 픽셀이 들어가 있는 해당 블록을 불량 블록 위치로서 메모리에 저장(S25)한다.
즉, 프레임을 다수의 블록으로 분할하여, 상기 불량 픽셀을 포함하는 블록의 위치를 불량 블록의 위치로 하여 메모리에 저장하는 것이다.
상기와 같이 불량 블록 위치를 메모리에 저장시켜 놓은 후에, 촬영이 이루어질 때, 상기 메모리에 저장된 불량 블록 위치를 호출하여 해당 불량 블록에 대한 보정(S26)을 수행한다.
만약, 불량 블록이 다수일 경우에는 첫번째 불량 블록 위치를 호출하여 보정을 수행한 후, 마지막 불량 블록에 도달할 때까지 다음번째의 불량 블록 위치를 호출하여 차례로 보정을 수행한다.
상기 불량 블록에 대한 보정 과정(S26)을 도 3과 함께 자세히 설명하기로 한다.
도 3은 실시 예에 따른 불량 블록에 대한 보정 과정을 도시한 플로차트이다.
이하에서는, 시스템의 연산 부하를 줄이기 위하여 불량 블록을 서브 블록으로 분할하여 보정하는 예를 들어 설명하도록 한다.
이때, 상기 서브 블록은 픽셀 내의 R, G, B 중 어느 한가지 색에 대해서만 비교하기 위해 대략적으로 도시한 블록이다.
R, G, B 중 어느 한가지 색에 대해서 보정이 이루어진 후, 나머지 색에 대해서도 차례대로 보정이 이루어질 수 있다.
촬영이 이루어질 때 메모리에 저장된 불량 블록 위치를 호출하여, 이미지 프레임 내에 위치한 불량 블록을 n*m개의 다수의 서브 블록으로 분할(S41)한다.
불량 블록을 분할하여 생성한 다수의 서브 블록 중에서 첫번째 서브 블록의 휘도값을 검출(S42)한다.
그 후, 첫번째 서브 블록에 대하여 이전 서브 블록과의 차이비율을 계산하여 산출(S43)한다.
참고로, 첫번째 서브 블록의 차이비율을 구하는 경우, 현재 서브 블록이라 함은 첫번째 서브 블록(sub_B1)을 말하며, 이전 서브 블록(sub_B(x-1))이라 함은 첫번째 서브 블록(sub_B1)의 좌측에 위치한 다른 블록내의 서브 블록을 말한다.
상기 차이비율은 이전 서브 블록(sub_B(x-1))과 현재 서브 블록(sub_Bx) 중 가장 큰 휘도값(최대 휘도값)과 이전 서브 블록(sub_B(x-1))과 현재 서브 블록(sub_Bx)간의 절대 차이값의 비율을 나타낸 것으로서 하기 [식 1]에 기재하였다.
[식 1]
서브 블록(sub_Bx)의 차이비율
= {이전 서브 블록(sub_B(x-1))과 현재 서브 블록(sub_Bx)간의 절대 차이값}÷ {이전 서브 블록(sub_B(x-1))과 현재 서브 블록(sub_Bx) 중에서의 최대 휘도값}
= │sub_B(x-1) - sub_Bx)│ ÷ Max(sub_B(x-1):sub_Bx)
그 후, 상기 현재 서브 블록의 차이 비율이 미리 설정한 임계비율을 초과하는지를 판정(S44)하고, 동시에, 이전 서브 블록의 차이비율에서 현재 서브 블록의 차이비율을 뺀 값이 임계비율을 초과하는지를 판정(S45)한다.
상기 S44 및 S45의 판정 결과 초과할 경우에는, 현재 서브 블록의 휘도값을 이전 서브 블록의 휘도값으로 치환하여 보정(S46)하며, 초과하지 않을 경우에는 그대로 둔다.
상기 보정이 이루어진 후에는, 다음 번째의 서브 블록의 휘도값을 검출(S48)한 후에, 해당 서브 블록 차이 비율을 상기 [식 1]에 의하여 산출(S43)한 후, 상기 과정들(S44,S45)을 반복하여 다음번째의 서브 블록의 휘도값을 보정(S46)한다.
이러한 서브 블록의 보정 과정들은 마지막 서브 블록인지를 판정(S47)하여 마지막 서브 블록에 도달할 때까지 반복 수행된다.
참고로, 각 서브 블록이 휘도값이 도 4(a)와 같이 가질 때, 상기 도 3의 과정들을 통한 각 서브 블록의 차이비율 산출 예 및 각 서브 블록의 보정 예를 설명한다. 도 4(b)는 도 3의 과정들을 통해 보정이 이루어지고 난 후의 각 서브 블록의 휘도값을 도시한 그림이다.
16개의 서브 블록으로 이루어지는 불량 블록이 각 서브 블록의 휘도값으로서 도 4(a)와 같이 가질 경우를 보도록 하자.
제1,2,3,4,5,8,9,12,13,14,15,16 서브 블록의 휘도값이 각각 200을 가지며, 제6,7,10,11의 서브 블록의 휘도값이 각각 50을 가진다고 할 경우, 첫번째 서브 블록부터 다섯번째 서브 블록 모두는 동일한 200의 휘도값을 각각 가진다.
따라서 이전 서브 블록의 차이값이 없기 때문에 [식 1]에 대입할 시에 제1,2,3,4의 서브 블록 차이 비율은 '0'을 가지게 된다.
그러나, 50의 휘도값을 가지는 여섯번째 서브 블록(sub_B6)의 경우는 200의 휘도값을 가지는 다섯번째 서브 블록(sub_B5)과 150의 차이를 가지게 된다.
따라서 여섯번째 서브 블록(sub_B6)의 차이 비율을 [식 1]에 대입하여 산출하면 다음과 같다.
여섯번째 서브 블록(sub_B6)의 차이 비율
= │sub_B5 - sub_B6)│ ÷ Max(sub_B5:sub_B6)
= │200 - 50│ ÷ Max(200:50)
= 150÷200
= 0.75
결국, 도 4(b)에 도시한 바와 같이 여섯번째 서브 블록은 0.75의 차이비율을 가짐을 알 수 있다.
따라서 임계비율이 0.2라고 가정할 경우, 이러한 0.75의 차이비율은 임계비율 0.2보다 크다.
또한, 여섯번째 서브 블록의 차이비율 0.75에서 이전 서브 블록인 다섯번째 서브 블록의 차이비율 0을 뺀 값이 임계비율 0.2보다 크기 때문에, 현재 서브 블록인 여섯번째 서브 블록의 휘도값을 다섯번째 서브 블록의 휘도값인 200으로 치환 보정한다.
상기 여섯번째 서브 블록(sub_B6)에 대한 보정이 이루어지고 나서, 다음 서브 블록인 일곱번째 서브 블록(sub_B7)에 대한 보정이 이루어진다. 다만, 여기서 이전 서브 블록인 여섯번째 서브 블록은 이미 보정이 이루어졌기 때문에 보정된 200의 휘도값을 가진다. 또한, 200으로 보정된 상태가 되기 때문에 여섯번째 서브 블록(sub_B6) 차이 비율은 '0'을 가지게 된다.
상기와 같이 여섯번째 서브 블록이 200으로 보정되고, 여섯번째 서브 블록 차이비율이 '0'을 가지게 된 상태에서, 일곱번째 서브 블록(sub_B7)의 차이 비율을 [식 1]에 대입하여 산출하면 다음과 같다.
일곱번째 서브 블록(sub_B7)의 차이 비율
= │sub_B6 - sub_B7)│ ÷ Max(sub_B6:sub_B7)
= │200 - 50│ ÷ Max(200:50)
= 150÷200
= 0.75
결국, 도 4(b)에 도시한 바와 같이 일곱번째 서브 블록은 0.75의 차이비율을 가짐을 알 수 있다.
따라서 마찬가지로 이러한 0.75의 차이비율은 임계비율 0.2보다 크며, 또한, 일곱번째 서브 블록의 차이비율 0.75에서 이전 서브 블록인 여섯번째 서브 블록의 차이비율 0을 뺀 값이 임계비율 0.2보다 크기 때문에, 일곱번째 서브 블록의 휘도값을 여섯번째 서브 블록의 휘도값인 200으로 치환 보정한다.
마찬가지로, 상기와 같은 과정들을 거쳐 열번째, 열한번째의 서브 블록 역시 200으로 치환 보정될 수 있다.
이때, 상기 도 1 및 도 3의 과정 설명에서는 이미지 프레임 내의 불량 블록을 검출한 후, 다시 해당 불량 블록의 서브 블록들에 대하여 차이비율을 검출하여 그 차이에 따라 보정 여부가 결정되도록 하였다.
상기 살핀 바와 같이 도 1 및 도 3의 과정을 통해 이미지 프레임의 불량 픽셀을 검출하여, 해당 불량 픽셀을 포함하는 블록 위치를 메모리에 불량 블록 위치로서 저장한다.
그리고, 촬영이 이루어질 때 이미지 프레임내의 불량 블록들에 대한 위치 정보를 메모리로부터 가져와서, 해당 블록내의 서브 블록들에 대한 보정이 이루어진다.
그런데, 상기와 같은 도 1의 단계 S26의 보정은 도 3의 보정 알고리즘을 통해 이루어질 수도 있지만, 각 서브 블록의 차이비율을 산출하지 않고, 불량 블록으로 저장된 블록을 이전 서브 블록의 값으로 바로 대체할 수도 있다.
즉, 이미 불량 블록으로 결정된 블록에 대해서는 임계비율에 관계없이, 이전 서브 블록의 값을 불량 블록의 값으로 치환함으로써 보정이 이루어질 수 있다.
또한, 이밖에도 도 1의 단계 S26의 다른 보정 실시 예로서, 이미지센서 내의 보정 레지스터에 직접 해당 불량 블록의 위치를 지정하여 셋팅함으로써, 촬영이 이루어질 때 해당 블록에 대한 보정이 자동적으로 이루어지도록 구현할 수 있다.
일반적으로 보정 처리가 자체적으로 가능한 이미지센서의 경우, 보정 레지스터를 가지고 있는데, 이러한 보정 레지스터의 셋팅값에 따라 특정 위치의 블록에 대한 보정이 이루어진다.
따라서 상기 과정들을 통해 검출한 불량 블록의 위치를 이미지센서 내의 보정 레지스터에 셋팅하여 라이팅(writing)해둠으로써, 촬영이 이루어질 때 해당 지정된 위치의 블록에 대한 보정이 이루어진다.
상기 레지스터를 통한 보정은 보정 레지스터의 셋팅값에 의하여 보정 대상 블록이 정해진다면, 상기 도 3의 보정 알고리즘에 의하여 이루어질수도 있으며, 이밖에 다른 보정 알고리즘에 의하여 보정이 이루어질 수 있을 것이다.
이상에서 실시예를 중심으로 설명하였으나 이는 단지 예시일 뿐 본 발명을 한정하는 것이 아니며, 본 발명이 속하는 분야의 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성을 벗어나지 않는 범위에서 이상에 예시되지 않은 여러 가지의 변형과 응용이 가능함을 알 수 있을 것이다. 예를 들어, 실시예에 구체적으로 나타난 각 구성 요소는 변형하여 실시할 수 있는 것이다. 그리고 이러한 변형과 응용에 관계된 차이점들은 첨부된 청구 범위에서 규정하는 본 발명의 범위에 포함되는 것으로 해석되어야 할 것이다.
실시예는 이미지센서에서의 불량 픽셀 검출 및 보정 방법에 적용될 수 있다.

Claims (12)

  1. 피사체의 이미지 프레임을 다수개 생성하여 저장하는 제1과정;
    상기 다수의 이미지 프레임내의 픽셀들을 스캔하는 제2과정;
    상기 다수의 이미지 프레임에서 불량 픽셀이 검출될 때, 해당 불량 픽셀의 위치를 불량 블록 위치로서 메모리에 저장하는 제3과정; 및
    촬영이 이루어질 때 상기 메모리에 저장된 불량 블록 위치를 호출하여, 해당 불량 블록의 휘도값을 보정하는 제4과정을 포함하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
  2. 제 1항에 있어서,
    상기 이미지 프레임은 서로 동일한 밝기 환경을 가지는 것을 포함하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
  3. 제 1항에 있어서,
    상기 이미지 프레임은 서로 다른 밝기 환경을 가지는 것을 포함하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
  4. 제1항에 있어서,
    상기 밝기 환경은, 임계치 이상의 휘도값을 가지는 밝은 밝기 환경임을 특징으로 하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
  5. 제 4항에 있어서,
    상기 임계치는 200 이상의 휘도값인 것을 포함하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
  6. 제1항에 있어서,
    상기 제3과정에서, 상기 다수의 이미지 프레임마다 흑색 휘도값이 검출된 모든 픽셀을 불량 픽셀로 판단하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
  7. 제1항에 있어서,
    상기 제4과정은, 촬영이 이루어질 때 이미지센서 내의 보정 제어를 수행하는 보정 레지스터가 있는 경우, 상기 메모리에 저장된 불량 블록 위치에 따른 셋팅을 상기 보정 레지스터에 수행함으로써 불량 블록의 휘도값 보정이 이루어지는 이미지센서의 불량 픽셀 검출 및 보정 방법.
  8. 제 1항에 있어서,
    상기 제4과정은,
    상기 메모리에 저장된 불량 블록 위치를 호출하여, 불량 블록 이전의 블록과 동일한 휘도 값으로 치환하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
  9. 제1항에 있어서,
    상기 제4과정은,
    상기 메모리에 저장된 불량 블록 위치에 따른 해당 블록을 호출하여 이미지 프레임을 다수의 서브 블록으로 분할하는 제4-1과정;
    첫번째 서브 블록의 휘도값을 검출하는 제4-2과정;
    이전 서브 블록과 현재 서브 블록간의 휘도값의 차이에 대한 비율을 서브 블록의 차이비율이라고 할 때, 현재 서브 블록의 차이비율을 산출하는 제4-3과정;
    현재 서브 블록의 차이비율이 미리 설정한 임계비율을 비교하여, 그 결과에 따라 현재 서브 블록의 휘도값에 대한 보정 여부를 결정하는 제4-4과정; 및
    마지막 서브 블록에 도달할 때까지 다음 번째의 서브 블록의 휘도값을 검출하여 상기 제4-3과정, 제4-4과정을 반복 수행하는 제4-5과정을 포함하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
  10. 제9항에 있어서,
    상기 임계비율은 0.2임을 특징으로 하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
  11. 제9항에 있어서,
    상기 서브 블록의 차이비율은, {이전 서브 블록(sub_B(x-1))과 현재 서브 블록(sub_Bx)간의 절대 차이값} {이전 서브 블록(sub_B(x-1))과 현재 서브 블록(sub_Bx) 중에서의 최대 휘도값}에 의해 구해짐을 특징으로 하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
  12. 제9항에 있어서,
    상기 제4-4과정은, 현재 서브 블록의 차이비율이 미리 설정한 임계비율보다 크고, 현재 서브 블록의 차이비율과 이전 서브 블록의 차이값이 상기 임계비율보다 클 경우에는, 현재 서브 블록의 휘도값의 자리에 이전 서브 블록의 휘도값으로 치환 보정하는 이미지센서의 불량 픽셀 검출 및 보정 방법.
PCT/KR2009/004831 2008-12-26 2009-08-28 이미지센서의 불량 픽셀 검출 및 보정 방법 WO2010074386A1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
US13/142,240 US8913163B2 (en) 2008-12-26 2009-08-28 Method for detecting/correcting bad pixel in image sensor
JP2011543384A JP2012514371A (ja) 2008-12-26 2009-08-28 イメージセンサの不良画素の検出及び補正方法
CN200980153006.XA CN102265628B (zh) 2008-12-26 2009-08-28 用于检测和校正图像传感器中的坏像素的方法
EP09835152.1A EP2373048B1 (en) 2008-12-26 2009-08-28 Method for detecting and correcting bad pixels in image sensor

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2008-0134355 2008-12-26
KR1020080134355A KR101470019B1 (ko) 2008-12-26 2008-12-26 이미지센서의 불량 픽셀 검출 및 보정 방법

Publications (1)

Publication Number Publication Date
WO2010074386A1 true WO2010074386A1 (ko) 2010-07-01

Family

ID=42287951

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2009/004831 WO2010074386A1 (ko) 2008-12-26 2009-08-28 이미지센서의 불량 픽셀 검출 및 보정 방법

Country Status (7)

Country Link
US (1) US8913163B2 (ko)
EP (1) EP2373048B1 (ko)
JP (1) JP2012514371A (ko)
KR (1) KR101470019B1 (ko)
CN (1) CN102265628B (ko)
TW (1) TWI501653B (ko)
WO (1) WO2010074386A1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8850714B2 (en) * 2011-09-30 2014-10-07 Nec Display Solutions, Ltd. Chromaticity correction device, chromaticity correction method, and display device
CN103813159B (zh) * 2012-11-09 2017-04-12 原相科技股份有限公司 检测图像传感器的方法以及相关装置
CN105744184B (zh) * 2015-08-31 2018-11-20 上海兆芯集成电路有限公司 坏像素校正方法以及使用该方法的装置
CN105704406B (zh) * 2016-02-01 2018-12-18 上海集成电路研发中心有限公司 一种图像处理中坏点去除的方法
US10158815B2 (en) * 2016-07-18 2018-12-18 Samsung Electronics Co., Ltd. Method and system for bad pixel correction in image sensors
KR102575130B1 (ko) * 2018-12-26 2023-09-05 주식회사 엘엑스세미콘 무라 보상 시스템
CN110111324A (zh) * 2019-05-14 2019-08-09 浙江中正智能科技有限公司 图像传感器表面划痕检测方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040076124A (ko) * 2003-02-24 2004-08-31 주식회사 하이닉스반도체 불량 화소 보상 기능을 갖는 이미지센서
KR20060077164A (ko) * 2004-12-30 2006-07-05 매그나칩 반도체 유한회사 이미지 센서의 노이즈 제거 및 불량 화소 보정 방법
KR20080050074A (ko) * 2006-12-01 2008-06-05 엠텍비젼 주식회사 이미지 프로세서, 이미지 처리 장치 및 결함 픽셀 보정 방법
KR20080087536A (ko) * 2007-03-27 2008-10-01 삼성전자주식회사 이미지 센서의 불량 화소 검출 방법 및 장치, 이미지센서로부터의 이미지 획득 방법 및 장치

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02205173A (ja) * 1989-02-03 1990-08-15 Toshiba Corp 画像データの直交変換符号化方法
JP3785520B2 (ja) * 1997-03-19 2006-06-14 コニカミノルタホールディングス株式会社 電子カメラ
JP3825935B2 (ja) * 1999-04-08 2006-09-27 キヤノン株式会社 画像処理装置及び画像処理方法及び記録媒体及び画像処理システム
KR20020032595A (ko) 1999-09-17 2002-05-03 기타무라 가즈코 촬영시스템, 화상처리장치 및 카메라
JP4485087B2 (ja) * 2001-03-01 2010-06-16 株式会社半導体エネルギー研究所 半導体装置の動作方法
US7209168B2 (en) * 2001-04-11 2007-04-24 Micron Technology, Inc. Defective pixel correction method and system
US20030179418A1 (en) * 2002-03-19 2003-09-25 Eastman Kodak Company Producing a defective pixel map from defective cluster pixels in an area array image sensor
JP3747909B2 (ja) * 2002-12-24 2006-02-22 ソニー株式会社 画素欠陥検出補正装置及び画素欠陥検出補正方法
JP3710452B2 (ja) * 2003-03-11 2005-10-26 キヤノン株式会社 画像読み取り装置、データ補間方法及び制御プログラム
KR100617781B1 (ko) * 2004-06-29 2006-08-28 삼성전자주식회사 이미지 센서의 화질 개선장치 및 방법
US7471820B2 (en) * 2004-08-31 2008-12-30 Aptina Imaging Corporation Correction method for defects in imagers
KR100761797B1 (ko) * 2006-05-12 2007-09-28 엠텍비젼 주식회사 결함 픽셀의 위치 어드레스 저장 방법 및 장치
US7932938B2 (en) 2006-08-25 2011-04-26 Micron Technology, Inc. Method, apparatus and system providing adjustment of pixel defect map
JP4305777B2 (ja) * 2006-11-20 2009-07-29 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US7769230B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Producing low resolution images
US7769229B2 (en) * 2006-11-30 2010-08-03 Eastman Kodak Company Processing images having color and panchromatic pixels

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040076124A (ko) * 2003-02-24 2004-08-31 주식회사 하이닉스반도체 불량 화소 보상 기능을 갖는 이미지센서
KR20060077164A (ko) * 2004-12-30 2006-07-05 매그나칩 반도체 유한회사 이미지 센서의 노이즈 제거 및 불량 화소 보정 방법
KR20080050074A (ko) * 2006-12-01 2008-06-05 엠텍비젼 주식회사 이미지 프로세서, 이미지 처리 장치 및 결함 픽셀 보정 방법
KR20080087536A (ko) * 2007-03-27 2008-10-01 삼성전자주식회사 이미지 센서의 불량 화소 검출 방법 및 장치, 이미지센서로부터의 이미지 획득 방법 및 장치

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2373048A4 *

Also Published As

Publication number Publication date
CN102265628B (zh) 2014-02-12
US20110254982A1 (en) 2011-10-20
TWI501653B (zh) 2015-09-21
TW201026083A (en) 2010-07-01
EP2373048A4 (en) 2012-11-07
JP2012514371A (ja) 2012-06-21
KR101470019B1 (ko) 2014-12-05
EP2373048A1 (en) 2011-10-05
CN102265628A (zh) 2011-11-30
KR20100076342A (ko) 2010-07-06
US8913163B2 (en) 2014-12-16
EP2373048B1 (en) 2018-10-24

Similar Documents

Publication Publication Date Title
WO2010074386A1 (ko) 이미지센서의 불량 픽셀 검출 및 보정 방법
JP4194336B2 (ja) 半導体集積回路、欠陥画素補正方法、及び画像プロセッサ
KR100417834B1 (ko) 이미지 센서내의 결함 픽셀 검출시의 고속의 결정론적접근 방법
WO2011126328A2 (ko) 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법
WO2010101434A2 (en) Apparatus and method of generating panoramic image and computer-readable recording medium storing program for executing the method
WO2010095873A2 (en) Adjusting auto white balance
US20050243181A1 (en) Device and method of detection of erroneous image sample data of defective image samples
WO2020004704A1 (ko) 표시장치 및 그의 휘도 제어 방법
US20010052938A1 (en) Color image processing apparatus
WO2009131382A2 (en) Apparatus and method for correcting moving image wavering
US20140204248A1 (en) Apparatus and method for image processing and storage medium, and image pickup apparatus
WO2013137637A1 (en) Imaging apparatus and image sensor thereof
US7471842B2 (en) Method and apparatus for dynamically detecting pixel values
WO2018070585A1 (ko) 결함화소 정보 기록장치, 결함화소 보정장치 및 방법
JP4331120B2 (ja) 欠陥画素検出方法
WO2014014265A1 (ko) 영상 처리 장치 및 가로줄 노이즈 개선 방법
JP2002016842A (ja) 欠陥画素検出装置及び欠陥画素検出プログラムが記録された記録媒体
WO2021096167A1 (ko) 선박 선저검사용 수중 카메라 영상보정 시스템 및 방법
WO2024111992A1 (ko) 디스플레이 구동 장치 및 그의 시인성 개선 장치
JP2000217039A (ja) 点欠陥検出方法および点欠陥画素値補正方法
US8213739B2 (en) Method and system of performing detection on an imaging device
JPH06109653A (ja) 画像検査装置
JP2004297267A (ja) 画素欠陥処理装置
WO2019235694A1 (ko) 이미지 데이터 처리 방법 및 디바이스
JP3990059B2 (ja) 撮像デバイスの欠陥画素補正装置および方法

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 200980153006.X

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 09835152

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2009835152

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2011543384

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 13142240

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE