WO2014014265A1 - 영상 처리 장치 및 가로줄 노이즈 개선 방법 - Google Patents

영상 처리 장치 및 가로줄 노이즈 개선 방법 Download PDF

Info

Publication number
WO2014014265A1
WO2014014265A1 PCT/KR2013/006384 KR2013006384W WO2014014265A1 WO 2014014265 A1 WO2014014265 A1 WO 2014014265A1 KR 2013006384 W KR2013006384 W KR 2013006384W WO 2014014265 A1 WO2014014265 A1 WO 2014014265A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
value
noise
average
processing apparatus
Prior art date
Application number
PCT/KR2013/006384
Other languages
English (en)
French (fr)
Inventor
최규태
Original Assignee
엠텍비젼 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠텍비젼 주식회사 filed Critical 엠텍비젼 주식회사
Publication of WO2014014265A1 publication Critical patent/WO2014014265A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60—Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/63—Noise processing, e.g. detecting, correcting, reducing or removing noise applied to dark current

Definitions

  • the present invention relates to an image processing apparatus and a method for improving horizontal line noise.
  • FIG. 1 is a diagram illustrating a structure of a general image sensor
  • FIG. 2 is a diagram illustrating an ADC reference voltage changed by power supply noise
  • FIG. 3 is a diagram illustrating an image in which horizontal line noise is generated.
  • the image sensor has a structure in which an analog to digital converter (ADC) is simultaneously operated for each line to convert data into a digital signal after charge is charged in the photodiode.
  • ADC analog to digital converter
  • the ADC reference voltage at the time of operating the analog-to-digital converter for each line is changed as illustrated in FIG. 2 due to power supply noise.
  • the analog-to-digital converter outputs different data for each line.
  • the present invention can implement a miniaturized camera module because there is no addition of passive elements for power stabilization, and an image processing device and horizontal line noise capable of improving image quality and recognition rate by removing horizontal line noise in a simpler method. It is to provide a method for improvement.
  • the present invention provides an image processing apparatus and a method for improving horizontal line noise, which are capable of performing black level correction at the same time as removing horizontal line noise, thereby realizing more improved image quality.
  • An object of the present invention is to provide an image processing apparatus and a method for improving horizontal line noise, which can integrate an analog power supply and a digital power supply, thereby reducing the number of sensor power supplies.
  • An object of the present invention is to provide an image processing apparatus and a method for improving horizontal line noise, which can extend a sensor gain use range to obtain a brighter image at low light.
  • an image processing apparatus includes: a noise value calculator configured to calculate an average noise value of an average pixel value of a plurality of target pixels existing in a target pixel presence region in an optical black region; And a noise removing unit configured to output a pure pixel value obtained by subtracting the average noise value from the pixel value of the effective pixel.
  • the target pixel may be a pixel that satisfies a predetermined minimum threshold value and a maximum threshold condition for extracting a bad pixel.
  • the noise removing unit may perform black level compensation processing so that the minimum value has the reference value when the minimum value of the pure pixel values of the effective pixels of one frame is equal to or less than a predetermined reference value.
  • the noise value calculator may calculate the average noise value in line or frame units.
  • the noise value calculator may use eight or more target pixels to calculate the average noise value.
  • a horizontal line noise improvement method performed in an image processing apparatus, the method comprising: receiving a pixel value for each pixel from an image sensor; Calculating an average noise value that is an average pixel value of the plurality of target pixels existing in the target pixel presence region in the optical black region; And outputting a pure pixel value obtained by subtracting the average noise value from the pixel value of an effective pixel.
  • the target pixel may be a pixel that satisfies a predetermined minimum threshold value and a maximum threshold condition for extracting a bad pixel.
  • the outputting may be performed by performing a black level compensation process so that the minimum value has the reference value when the minimum value of the pure pixel values of the effective pixels for one frame is equal to or less than a predetermined reference value.
  • the calculating may be performed in a line or frame unit.
  • black level correction may be performed at the same time as the horizontal noise is removed, thereby improving the image quality.
  • analog and digital power supplies can reduce the number of sensor power supplies.
  • the analog power source and the digital power source are separated for power stabilization (i.e., suppressing horizontal noise caused by noise generated by the digital circuit operation affecting the analog circuit).
  • power stabilization i.e., suppressing horizontal noise caused by noise generated by the digital circuit operation affecting the analog circuit.
  • the software it is possible to eliminate the horizontal line noise, so the situation where the analog circuit is interfered by the digital circuit is not a problem.
  • the sensor gain range can be extended, so that a brighter image can be obtained at low light.
  • the image is dark due to lack of light, so the sensor gain is amplified by amplification.
  • the noise power noise, etc.
  • the horizontal line noise can be removed by software, thereby increasing the limit of amplification, thereby obtaining a brighter image.
  • 1 is a view showing the structure of a general image sensor.
  • FIG. 2 is a diagram illustrating an ADC reference voltage changed by power supply noise.
  • FIG. 3 is a diagram illustrating an image in which horizontal line noise is generated.
  • FIG. 4 is a diagram schematically illustrating a configuration of an image processing apparatus according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating a region in which optical black pixels exist and a region in which valid pixels exist in a typical image sensor.
  • 6A and 6B are diagrams for describing a noise value calculation concept according to an embodiment of the present invention.
  • FIG. 7 is a diagram showing differences in image quality before and after black level correction.
  • FIGS. 8 and 9 are flowcharts illustrating a method for improving horizontal line noise according to an embodiment of the present invention.
  • FIG. 10 is a view showing the difference in image quality before and after the horizontal line noise improvement according to an embodiment of the present invention.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another.
  • ... unit means a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software. Can be.
  • FIG. 4 is a diagram schematically illustrating a configuration of an image processing apparatus according to an exemplary embodiment of the present invention
  • FIG. 5 is a diagram showing an existence region of an optical black pixel and a presence of a valid pixel in a general image sensor. It is a figure which shows an area
  • 6A and 6B are diagrams for describing a noise value calculation concept according to an embodiment of the present invention
  • FIG. 7 is a diagram illustrating a difference in image quality before and after black level correction.
  • the processing apparatus may include an input unit 410, a noise value calculating unit 420, a noise removing unit 430, and an output unit 440.
  • the input unit 410 receives an image signal corresponding to each pixel from an image sensor (not shown) that charges a photodiode and outputs a corresponding digital signal.
  • the noise value calculating unit 420 may be configured for optical black pixels (ie, target pixels) that are not dead pixels or white pixels among the pixels disposed in the optical black region.
  • the average noise value is calculated by calculating the average value of the pixel values.
  • the optical black region is a region formed in the periphery of the pixel regions of the image sensor, and the optical black pixel disposed in the optical black region is covered with a metal or the like. It does not flow in and is not affected by light.
  • the formation position of the optical black region is not limited to the peripheral portion and the like. Accordingly, the pixel value of the optical black pixels may be understood as a noise value, and the pure pixel value from which the noise is removed may be calculated by subtracting the value from the pixel value of the valid pixels.
  • the noise value calculating unit 420 may include a bad pixel extracting unit 422 and a noise value calculating unit 424.
  • the bad pixel extracting unit 422 may determine that the optical black pixel is equal to or less than the predetermined minimum threshold value or more than the maximum threshold value when the average noise value is calculated by the noise value calculating unit 424. Processing to exclude from the pixel to be applied in step 424).
  • the value may vary for each line or frame. Therefore, it is necessary to find a value through which tuning removes the most noise.
  • the bad pixel extractor 422 may assume that the pixel value that the pixel may have is any one of 0 to 256. For example, you can specify a minimum threshold of 30 and a maximum threshold of 100.
  • an optical black pixel having a pixel value less than or equal to the minimum threshold may be considered a dead pixel
  • an optical black pixel having a pixel value greater than or equal to the maximum threshold may be considered to be a white pixel.
  • an optical black pixel having a pixel value that does not satisfy the minimum threshold value or the maximum threshold value may be judged to be broken or insensitive to light, and to eliminate horizontal noise when excluding such bad pixels. Because it can be more effective.
  • the noise value calculating unit 420 extracts (excludes) a bad pixel and calculates an average noise value only for the target pixels, only a part of the entire area of the optical black region may be the target.
  • the optical black region may be divided into a region a and a region b, as illustrated in FIG. 6A, which is different from the region b in the case of region a, as shown in FIG. 6B. This is because is an area where is generated.
  • the region b is referred to as a target pixel presence region.
  • the noise value calculator 424 may determine one or more target pixels present in the target pixel presence region (that is, pixels that are recognized as not bad pixels by the determination of the bad pixel extractor 422).
  • the average noise value calculation method by the noise value calculator 424 may be summarized as in Equation 1 below.
  • n is the number of target pixels which are the calculation targets for calculating the average noise value
  • x k is the pixel value of each target pixel.
  • the noise removing unit 430 calculates the pure pixel value of the effective pixel by subtracting the average noise value calculated by the noise value calculating unit 424 from the pixel value of the effective pixel input from the image sensor.
  • the noise remover 430 may further perform black level compensation (BLC) processing to calculate the pure pixel value.
  • BLC black level compensation
  • Black level compensation sharpens the image by compensating the pure pixel value with the lowest of the pure pixel values for the frame to be a predetermined reference value (e.g., zero or any natural number greater than that).
  • Image processing technique to process e.g.,
  • FIG. 7 illustrates the difference in image quality before and after black level correction. That is, referring to FIG. 7, it can be seen that the image (b) in which the black level is corrected is clearer than the image (a) in which the black level is not corrected.
  • the noise removing unit 430 not only removes the horizontal noise by reflecting the average noise value calculated using the pixel values of the target pixels, but also performs a black level correction to provide a clearer image. can do.
  • the output unit 440 outputs the pixel value of the effective pixel subjected to the horizontal noise reduction and the black level correction processing by the noise removing unit 430.
  • FIG. 8 and 9 are flowcharts illustrating a method for improving horizontal line noise according to an exemplary embodiment of the present invention
  • FIG. 10 is a view illustrating a difference between image quality before and after horizontal line noise improvement according to an exemplary embodiment of the present invention.
  • the image processing apparatus performs setting for horizontal line noise improvement.
  • the setting by step 810 may be, for example, one or more of setting an image size, setting a target pixel presence area for calculating average noise values, setting minimum and maximum thresholds for bad pixel extraction, and setting reference values for black level compensation. Can be.
  • step 820 If an image signal is input from the image sensor in step 820, the image processing apparatus proceeds to step 830 to calculate an average noise value.
  • step 910 the image processing apparatus starts calculating an average noise value for pixels existing in the target pixel presence region set in step 810.
  • the image processing apparatus determines whether the identification of the bad pixels and the sum of the pixel values of the pixels existing in the target pixel presence region are completed.
  • the image processing apparatus determines whether the pixel value of the corresponding pixel satisfies the minimum / maximum threshold for extracting the defective pixel specified in operation 810.
  • step 920 If the predetermined minimum / maximum threshold is not satisfied (ie, a bad pixel), the process proceeds to step 920 again.
  • step 940 in which the pixel values of the target pixel are summed to calculate the average noise value, and the sum of the processed target pixels After calculating the number, the process proceeds to step 920 again.
  • step 920 If it is determined by the step 920 that all the pixels present in the target pixel presence region have been checked for defective pixels and summed pixel values, the process proceeds to step 950 and the image processing apparatus determines the sum of the summed pixel values and the target pixels. Calculate the average noise value using the number.
  • FIG. 9 illustrates a method of calculating an average noise value for all pixels included in the target pixel presence region, but is not limited to targeting all pixels included in the target pixel presence region to calculate the average noise value. Does not.
  • the image processing apparatus outputs the pure pixel value calculated by subtracting the average noise value calculated by the above-described process from the pixel value of the effective pixel to the receiver.
  • the image processing apparatus may perform black level compensation before outputting the pure pixel value to the receiver.
  • FIG. 10A illustrates an image in which horizontal line noise is not removed and black level compensation is not processed
  • (b) illustrates an image in which horizontal line noise is removed and black level compensation is processed. Doing.
  • the above-described method for improving horizontal line noise may be performed by an automated procedure according to a time series sequence by a program embedded in or installed in a digital processing apparatus. Codes and code segments constituting the program can be easily inferred by a computer programmer in the art.
  • the program is also stored in a computer readable media that can be read by a digital processing device, and read and executed by the digital processing device to implement the method.
  • the information storage medium includes a magnetic recording medium, an optical recording medium and a carrier wave medium.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)

Abstract

영상 처리 장치 및 가로줄 노이즈 개선 방법이 개시된다. 영상 처리 장치는, 옵티컬 블랙 영역 내의 대상 픽셀 존재 영역에 존재하는 복수의 대상 픽셀의 평균 픽셀값인 평균 노이즈 값을 산출하는 노이즈 값 산출부; 및 유효 픽셀의 픽셀값에 상기 평균 노이즈 값을 차감한 순수 픽셀값을 출력하는 노이즈 제거부를 포함한다.

Description

영상 처리 장치 및 가로줄 노이즈 개선 방법
본 발명은 영상 처리 장치 및 가로줄 노이즈 개선 방법에 관한 것이다.
최근 고해상도 이미지 센서가 응용시장에서 주류를 이루고 있으며, 종래의 저해상도 이미지 센서에서 생기지 않던 문제가 하나 둘씩 발생하고 있다. 고해상도 이미지 센서에서 새롭게 문제되는 사항들 중 하나가 가로줄 노이즈(horizontal noise)이다.
도 1은 일반적인 이미지 센서의 구조를 나타낸 도면이고, 도 2는 전원 노이즈에 의해 변동된 ADC 레퍼런스 전압을 나타낸 도면이며, 도 3은 가로줄 노이즈가 발생된 영상을 예시한 도면이다.
도 1에 도시된 바와 같이, 이미지 센서는 포토다이오드에 전하가 충전된 후 데이터를 디지털 신호로 변환하기 위해 라인 별로 아날로그 디지털 변환기(ADC, Analog to Digital Converter)가 동시에 동작되는 구조를 가지고 있다.
이때, 각 라인 별로 아날로그 디지털 변환기가 동작하는 시점의 ADC 레퍼런스(Reference) 전압이 전원 노이즈에 의해 도 2에 예시된 바와 같이 변동된다.
즉, 모든 포토다이오드에 충전된 전하의 수가 동일할지라도 디지털 신호로 변환하는 순간의 레퍼런스 전압이 상이하므로, 아날로그 디지털 변환기는 라인 별로 다른 데이터를 출력하게 된다.
따라서 아날로그 디지털 변환기의 성능이 동일하다면 전원 노이즈에 의한 가로줄 노이즈가 도 3에 예시된 바와 같이 발생된다.
이와 같이 발생되는 가로줄 노이즈를 제거하기 위해서는 하드웨어적으로 전원을 안정화하는 노력이 요구된다. 예를 들어, 전원 안정화를 위해 저항 및 커패시터의 추가가 요구되고, 또한 PCB 패턴 설계시 신호선 배치에 많은 고려가 요구될 수 있다.
따라서, 보다 간이한 방법으로 가로줄 노이즈를 제거하기 위한 방안이 요구된다.
본 발명은 전원 안정화를 위한 수동 소자의 추가가 없으므로 보다 소형화된 카메라 모듈을 구현할 수 있고, 또한 보다 간이한 방법으로 가로줄 노이즈를 제거함으로써 화질 개선 및 인식률 향상을 도모할 수 있는 영상 처리 장치 및 가로줄 노이즈 개선 방법을 제공하기 위한 것이다.
본 발명은 가로줄 노이즈 제거와 동시에 블랙 레벨(black level) 보정이 이루어질 수 있어 보다 개선된 화질을 구현할 수 있는 영상 처리 장치 및 가로줄 노이즈 개선 방법을 제공하기 위한 것이다.
본 발명은 아날로그 전원과 디지털 전원을 통합할 수 있어 센서 전원의 수를 감소시킬 수 있는 영상 처리 장치 및 가로줄 노이즈 개선 방법을 제공하기 위한 것이다.
본 발명은 센서 게인(gain) 사용 범위를 확장할 수 있어 저조도에서 보다 밝은 영상을 확보할 수 있도록 하는 영상 처리 장치 및 가로줄 노이즈 개선 방법을 제공하기 위한 것이다.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 영상 처리 장치에 있어서, 옵티컬 블랙 영역 내의 대상 픽셀 존재 영역에 존재하는 복수의 대상 픽셀의 평균 픽셀값인 평균 노이즈 값을 산출하는 노이즈 값 산출부; 및 유효 픽셀의 픽셀값에 상기 평균 노이즈 값을 차감한 순수 픽셀값을 출력하는 노이즈 제거부를 포함하는 영상 처리 장치가 제공된다.
상기 대상 픽셀은 불량 픽셀 추출을 위해 미리 지정된 최소 임계값 및 최대 임계값 조건을 만족하는 픽셀일 수 있다.
상기 노이즈 제거부는 하나의 프레임에 대한 유효 픽셀들의 순수 픽셀값 중 최소값이 미리 지정된 기준값 이하인 경우 상기 최소값이 상기 기준값을 가지도록 블랙 레벨 보상(Black Level Compensation) 처리를 수행할 수 있다.
상기 노이즈 값 산출부는 라인(line) 또는 프레임(frame) 단위로 상기 평균 노이즈값을 산출할 수 있다.
상기 노이즈 값 산출부는 상기 평균 노이즈 값을 산출하기 위해 8개 이상의 대상 픽셀을 이용할 수 있다.
본 발명의 다른 측면에 따르면, 영상 처리 장치에서 수행되는 가로줄 노이즈 개선 방법에 있어서, 이미지 센서로부터 각 픽셀에 대한 픽셀값을 입력받는 단계; 옵티컬 블랙 영역 내의 대상 픽셀 존재 영역에 존재하는 복수의 대상 픽셀의 평균 픽셀값인 평균 노이즈 값을 산출하는 단계; 및 유효 픽셀의 픽셀값에 상기 평균 노이즈 값을 차감한 순수 픽셀값을 출력하는 단계를 포함하는 가로줄 노이즈 개선 방법이 제공된다.
상기 대상 픽셀은 불량 픽셀 추출을 위해 미리 지정된 최소 임계값 및 최대 임계값 조건을 만족하는 픽셀일 수 있다.
상기 출력하는 단계는 하나의 프레임에 대한 유효 픽셀들의 순수 픽셀값 중 최소값이 미리 지정된 기준값 이하인 경우 상기 최소값이 상기 기준값을 가지도록 블랙 레벨 보상(Black Level Compensation) 처리를 선행할 수 있다.
상기 산출하는 단계는 라인(line) 또는 프레임(frame) 단위로 수행될 수 있다.
전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해질 것이다.
본 발명의 실시예에 따르면, 전원 안정화를 위한 수동 소자(예를 들어, 저항, 커패시터 등)의 추가가 없으므로 보다 소형화된 카메라 모듈을 구현할 수 있고, 또한 보다 간이한 방법으로 가로줄 노이즈를 제거함으로써 화질 개선 및 인식률 향상을 도모할 수 있는 효과가 있다.
또한 가로줄 노이즈 제거와 동시에 블랙 레벨(black level) 보정이 이루어질 수 있어 보다 개선된 화질을 구현할 수 있는 효과도 있다.
또한 아날로그 전원과 디지털 전원을 통합할 수 있어 센서 전원의 수를 감소시킬 수 있는 효과도 있다. 일반적으로 아날로그로 동작하는 회로의 경우 전원 안정화(즉, 디지털 회로 동작에 의해 발생한 노이즈가 아날로그 회로에 영향을 주어 발생되는 가로줄 노이즈 발생 억제)를 위해 아날로그 전원과 디지털 전원을 분리하고 있으나, 본 실시예에 따르면 소프트웨어적으로 가로줄 노이즈의 제거가 가능하므로 디지털 회로에 의해 아날로그 회로가 간섭을 받는 상황이 문제되지 않는다.
또한 센서 게인(gain) 사용 범위를 확장할 수 있어 저조도에서 보다 밝은 영상을 확보할 수 있도록 하는 효과도 있다. 일반적으로, 야간의 경우 빛이 부족하여 영상이 어둡게 되므로 센서 게인을 올려 증폭하게 되는데 이 경우 정상적 신호뿐 아니라 노이즈(전원 노이즈 등)도 함께 증폭되어 가로줄 노이즈가 발생된다. 그러나, 본 실시예에 따르면 소프트웨어적으로 가로줄 노이즈의 제거가 가능하여 증폭의 한계를 높일 수 있고, 따라서 보다 밝은 영상을 얻을 수 있게 된다.
도 1은 일반적인 이미지 센서의 구조를 나타낸 도면.
도 2는 전원 노이즈에 의해 변동된 ADC 레퍼런스 전압을 나타낸 도면.
도 3은 가로줄 노이즈가 발생된 영상을 예시한 도면.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 개략적으로 나타낸 도면.
도 5는 일반적인 이미지 센서에서 옵티컬 블랙 픽셀(optical black pixel)의 존재 영역과 유효 픽셀(valid pixel)의 존재 영역을 나타낸 도면.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 노이즈 값 산출 개념을 설명하기 위한 도면.
도 7은 블랙 레벨 보정 전후의 영상 화질의 차이를 나타낸 도면.
도 8 및 도 9는 본 발명의 일 실시예에 따른 가로줄 노이즈 개선 방법을 나타낸 순서도.
도 10은 본 발명의 일 실시예에 따른 가로줄 노이즈 개선 전후의 영상 화질의 차이를 나타낸 도면.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
*어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
또한, 명세서에 기재된 "…부", "…유닛", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
도 4는 본 발명의 일 실시예에 따른 영상 처리 장치의 구성을 개략적으로 나타낸 도면이고, 도 5는 일반적인 이미지 센서에서 옵티컬 블랙 픽셀(optical black pixel)의 존재 영역과 유효 픽셀(valid pixel)의 존재 영역을 나타낸 도면이다. 도 6a 및 도 6b는 본 발명의 일 실시예에 따른 노이즈 값 산출 개념을 설명하기 위한 도면이고, 도 7은 블랙 레벨 보정 전후의 영상 화질의 차이를 나타낸 도면이다.
*도 4를 참조하면, 옵티컬 블랙 영역(optical black region)에 포함된 픽셀들을 이용하여 노이즈를 측정한 후, 유효 픽셀들(valid pixels)에서 측정된 노이즈를 차감하여 출력하는 본 실시예에 따른 영상 처리 장치는 입력부(410), 노이즈 값 산출 유닛(420), 노이즈 제거부(430) 및 출력부(440)을 포함할 수 있다.
입력부(410)는 포토다이오드에 전하를 충전하고 상응하는 디지털 신호를 출력하는 이미지 센서(도시되지 않음)로부터 각 픽셀에 상응하는 영상 신호를 입력받는다.
노이즈 값 산출 유닛(420)은 옵티컬 블랙 영역(optical black region)에 배치된 픽셀들 중 데드 픽셀(dead pixel)이나 화이트 픽셀(white pixel)이 아닌 옵티컬 블랙 픽셀들(즉, 대상 픽셀들)에 대한 픽셀값의 평균값을 산출하여 평균 노이즈 값을 산출한다.
옵티컬 블랙 영역은 도 5의 (a) 내지 (d)에 예시된 바와 같이, 이미지 센서의 픽셀 영역들 중 주변부 등에 형성되는 영역으로, 옵티컬 블랙 영역에 배치된 옵티컬 블랙 픽셀은 금속 등으로 덮여 있어 빛이 유입되지 않아 빛에 의한 영향을 받지 않는다. 물론 옵티컬 블랙 영역의 형성 위치가 주변부 등으로 제한되지 않음은 당연하다. 따라서, 옵티컬 블랙 픽셀들의 픽셀값은 노이즈 값으로 이해될 수 있으며, 해당 값을 유효 픽셀들(valid pixels)의 픽셀값으로부터 차감함으로써 노이즈가 제거된 순수 픽셀값이 연산될 수 있다.
도 4를 참조하면, 노이즈 값 산출 유닛(420)은 불량 픽셀 추출부(422) 및 노이즈 값 산출부(424)를 포함할 수 있다.
불량 픽셀 추출부(422)는 노이즈 값 산출부(424)에 의해 평균 노이즈 값이 연산될 옵티컬 블랙 픽셀이 미리 지정된 최소 임계값 이하이거나 최대 임계값 이상인 경우, 해당 옵티컬 블랙 픽셀이 노이즈 값 산출부(424)의 적용 대상 픽셀에서 제외하도록 처리한다.
본 실시예에서 고려되는 가로줄 노이즈의 원인은 전원에 의한 랜덤 노이즈이므로, 라인(line) 또는/및 프레임(frame) 마다 그 값이 달라질 수 있다. 따라서, 튜닝을 통해 노이즈가 가장 많이 제거되는 값을 찾을 필요가 있다.
노이즈 값 산출부(424)에 의해 평균 노이즈 값이 연산될 대상 옵티컬 블랙 픽셀을 결정하기 위해, 픽셀이 가질 수 있는 픽셀값이 0 내지 256 중 어느 하나라 가정할 때 불량 픽셀 추출부(422)는 예를 들어 최소 임계값을 30으로 지정하고, 최대 임계값을 100으로 지정할 수 있다.
여기서, 최소 임계값 이하의 픽셀값을 가지는 옵티컬 블랙 픽셀은 데드 픽셀로 간주될 수 있고, 최대 임계값 이상의 픽셀값을 가지는 옵티컬 블랙 픽셀은 화이트 픽셀로 간주할 수 있다.
이는, 최소 임계값이나 최대 임계값의 조건을 만족하지 않는 픽셀값을 가지는 옵티컬 블랙 픽셀은 고장났거나 빛에 의한 반응이 둔감한 것으로 판단할 수 있고, 이와 같은 불량 픽셀을 제외할 때 가로줄 노이즈 제거에 보다 효과적일 수 있기 때문이다.
다만, 노이즈 값 산출 유닛(420)이 불량 픽셀을 추출(제외)하고 대상 픽셀들만을 대상으로 평균 노이즈 값을 산출함에 있어, 옵티컬 블랙 영역의 전체 영역 중 일부 영역만을 그 대상으로 할 수도 있다.
즉, 옵티컬 블랙 영역은 도 6a에 도시된 바와 같이, 영역 a와 영역 b로 구분될 수 있고, 이는 도 6b에 도시된 바와 같이 영역 a의 경우 영역 b와 달리 가로줄 무늬와 상관없이 특정 패턴으로 노이즈가 발생되는 영역이기 때문이다. 본 명세서에서 영역 b는 대상 픽셀 존재 영역으로 칭하기로 한다.
다시 도 4를 참조하면, 노이즈 값 산출부(424)는 대상 픽셀 존재 영역에 존재하는 하나 이상의 대상 픽셀들(즉, 불량 픽셀 추출부(422)의 판단에 의해 불량 픽셀이 아닌 것으로 인정된 픽셀들)이 각각 가지는 픽셀값의 평균값(즉, 평균 노이즈 값)을 산출한다.
노이즈 값 산출부(424)에 의한 평균 노이즈 값 산출 방법은 하기 수학식 1과 같이 정리될 수 있다.
수학식 1
Figure PCTKR2013006384-appb-M000001
여기서, n은 평균 노이즈 값 산출을 위해 연산 대상이 된 대상 픽셀의 개수이고, xk는 각 대상 픽셀의 픽셀값이다.
노이즈 제거부(430)는 이미지 센서로부터 입력되는 유효 픽셀의 픽셀값으로부터 노이즈 값 산출부(424)에 의해 산출된 평균 노이즈 값을 차감하여 유효 픽셀의 순수 픽셀값을 산출한다.
노이즈 제거부(430)는 순수 픽셀값을 산출함에 있어 블랙 레벨 보상(BLC, Black Level Compensation) 처리를 더 수행할 수 있다.
블랙 레벨 보상은 해당 프레임에 대한 순수 픽셀값들 중 가장 낮은 값을 가지는 순수 픽셀값이 미리 설정된 기준값(예를 들어 0(zero) 또는 이보다 큰 임의의 자연수)이 되도록 보상해 줌으로써 이미지를 보다 선명하게 처리하는 영상 처리 기법이다.
도 7에는 블랙 레벨 보정 전후의 영상 화질의 차이가 도시되어 있다. 즉, 도 7을 참조할 때, 블랙 레벨이 보정되지 않은 영상 (a)보다 블랙 레벨이 보정된 영상 (b)가 더 선명함을 확인할 수 있다.
이와 같이, 본 실시예에 따른 노이즈 제거부(430)는 대상 픽셀들의 픽셀값을 이용하여 연산된 평균 노이즈 값을 반영하여 가로줄 노이즈를 제거할 뿐 아니라 블랙 레벨 보정을 더 수행함으로써 보다 선명한 영상을 제공할 수 있다.
출력부(440)는 노이즈 제거부(430)에 의해 가로줄 노이즈 제거 및 블랙 레벨 보정 처리된 유효 픽셀의 픽셀값을 출력한다.
도 8 및 도 9는 본 발명의 일 실시예에 따른 가로줄 노이즈 개선 방법을 나타낸 순서도이고, 도 10은 본 발명의 일 실시예에 따른 가로줄 노이즈 개선 전후의 영상 화질의 차이를 나타낸 도면이다.
도 8을 참조하면, 단계 810에서 영상 처리 장치는 가로줄 노이즈 개선 처리를 위한 설정을 수행한다. 단계 810에 의한 설정은 예를 들어, 이미지 크기 설정, 평균 노이즈 값 산출을 위한 대상 픽셀 존재 영역의 설정, 불량 픽셀 추출을 위한 최소 및 최대 임계값 설정, 블랙 레벨 보상을 위한 기준값 설정 등 중 하나 이상일 수 있다.
영상 처리 장치는 단계 820에서 이미지 센서로부터 영상 신호가 입력되면, 단계 830으로 진행하여 평균 노이즈 값을 산출한다.
단계 830이 구체화되어 도시된 도 9를 참조하면, 단계 910에서 영상 처리 장치는 단계 810에서 설정된 대상 픽셀 존재 영역에 존재하는 픽셀들을 대상으로 평균 노이즈 값 산출을 개시한다.
단계 920에서 영상 처리 장치는 대상 픽셀 존재 영역에 존재하는 모든 픽셀에 대한 불량 픽셀 여부의 확인 및 픽셀값 합산 등이 완료되었는지 여부를 판단한다.
만일 대상 픽셀 존재 영역에 아직 판단되지 않은 픽셀이 존재한다면, 단계 930에서 영상 처리 장치는 해당 픽셀의 픽셀값이 단계 810에서 지정된 불량 픽셀 추출을 위한 최소/최대 임계값을 만족하는지 여부를 판단한다.
만일 미리 지정된 최소/최대 임계값을 만족하지 않는 경우(즉, 불량 픽셀인 경우)에는 단계 920으로 다시 진행한다.
그러나 만일 미리 지정된 최소/최대 임계값을 만족하는 경우(즉, 대상 픽셀인 경우)에는 단계 940으로 진행하여, 평균 노이즈 값의 산출을 위해 대상 픽셀의 픽셀값을 합산 처리하고 합산 처리된 대상 픽셀의 개수를 산출한 후 다시 단계 920으로 진행한다.
단계 920의 판단에 의해, 만일 대상 픽셀 존재 영역에 존재하는 모든 픽셀에 대한 불량 픽셀 여부의 확인 및 픽셀값 합산 등이 완료되었다면 단계 950으로 진행하여 영상 처리 장치는 합산 처리된 픽셀값 및 대상 픽셀의 개수를 이용하여 평균 노이즈 값을 연산한다.
도 9에는 대상 픽셀 존재 영역에 포함된 모든 픽셀을 대상으로 하여 평균 노이즈 값을 산출하는 방법이 도시되었으나, 평균 노이즈 값을 산출하기 위해 반드시 대상 픽셀 존재 영역에 포함된 모든 픽셀을 대상으로 하도록 제한되지는 않는다.
다시 도 8을 참조하면, 단계 840에서 영상 처리 장치는 전술한 과정에 의해 산출된 평균 노이즈 값을 유효 픽셀의 픽셀값에서 차감하여 연산한 순수 픽셀값을 수신단으로 출력한다.
영상 처리 장치는 순수 픽셀값을 수신단으로 출력 처리하기 이전에 블랙 레벨 보상 처리를 수행할 수 있음은 앞서 설명한 바와 같다.
전술한 과정에 의해 가로줄 노이즈가 제거되고 블랙 레벨 보상 처리된 영상 화질의 차이가 도 10에 예시되어 있다.
참고로, 도 10의 (a)는 가로줄 노이즈가 제거되지 않고 블랙 레벨 보상이 처리되지 않은 영상을 예시하고 있으며, 이에 비해 (b)는 가로줄 노이즈가 제거되고 또한 블랙 레벨 보상이 처리된 영상을 예시하고 있다.
도 10의 (a)와 (b)를 비교하여 판단할 때, 영상 (b)에서 가로줄 무늬가 제거되고 블랙 레벨 보상 처리가 수행됨으로 인해 보다 선명한 화질의 획득이 가능함을 쉽게 확인할 수 있을 것이다.
상술한 가로줄 노이즈 개선 방법은 디지털 처리 장치에 내장되거나 설치된 프로그램 등에 의해 시계열적 순서에 따른 자동화된 절차로 수행될 수도 있음은 당연하다. 상기 프로그램을 구성하는 코드들 및 코드 세그먼트들은 당해 분야의 컴퓨터 프로그래머에 의하여 용이하게 추론될 수 있다. 또한, 상기 프로그램은 디지털 처리 장치가 읽을 수 있는 정보저장매체(computer readable media)에 저장되고, 디지털 처리 장치에 의하여 읽혀지고 실행됨으로써 상기 방법을 구현한다. 상기 정보저장매체는 자기 기록매체, 광 기록매체 및 캐리어 웨이브 매체를 포함한다.
상기에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (10)

  1. 영상 처리 장치에 있어서,
    옵티컬 블랙 영역 내의 대상 픽셀 존재 영역에 존재하는 복수의 대상 픽셀의 평균 픽셀값인 평균 노이즈 값을 산출하는 노이즈 값 산출부; 및
    유효 픽셀의 픽셀값에 상기 평균 노이즈 값을 차감한 순수 픽셀값을 출력하는 노이즈 제거부를 포함하는 영상 처리 장치.
  2. 제1항에 있어서,
    상기 대상 픽셀은 불량 픽셀 추출을 위해 미리 지정된 최소 임계값 및 최대 임계값 조건을 만족하는 픽셀인 것을 특징으로 하는 영상 처리 장치.
  3. 제1항에 있어서,
    상기 노이즈 제거부는 하나의 프레임에 대한 유효 픽셀들의 순수 픽셀값 중 최소값이 미리 지정된 기준값 이하인 경우 상기 최소값이 상기 기준값을 가지도록 블랙 레벨 보상(Black Level Compensation) 처리를 수행하는 것을 특징으로 하는 영상 처리 장치.
  4. 제1항에 있어서,
    상기 노이즈 값 산출부는 라인(line) 또는 프레임(frame) 단위로 상기 평균 노이즈값을 산출하는 것을 특징으로 하는 영상 처리 장치.
  5. 제1항에 있어서,
    상기 노이즈 값 산출부는 상기 평균 노이즈 값을 산출하기 위해 8개 이상의 대상 픽셀을 이용하는 것을 특징으로 하는 영상 처리 장치.
  6. 영상 처리 장치에서 수행되는 가로줄 노이즈 개선 방법에 있어서,
    이미지 센서로부터 각 픽셀에 대한 픽셀값을 입력받는 단계;
    옵티컬 블랙 영역 내의 대상 픽셀 존재 영역에 존재하는 복수의 대상 픽셀의 평균 픽셀값인 평균 노이즈 값을 산출하는 단계; 및
    유효 픽셀의 픽셀값에 상기 평균 노이즈 값을 차감한 순수 픽셀값을 출력하는 단계를 포함하는 가로줄 노이즈 개선 방법.
  7. 제6항에 있어서,
    상기 대상 픽셀은 불량 픽셀 추출을 위해 미리 지정된 최소 임계값 및 최대 임계값 조건을 만족하는 픽셀인 것을 특징으로 하는 가로줄 노이즈 개선 방법.
  8. 제6항에 있어서,
    상기 출력하는 단계는 하나의 프레임에 대한 유효 픽셀들의 순수 픽셀값 중 최소값이 미리 지정된 기준값 이하인 경우 상기 최소값이 상기 기준값을 가지도록 블랙 레벨 보상(Black Level Compensation) 처리를 선행하는 것을 특징으로 하는 가로줄 노이즈 개선 방법.
  9. 제6항에 있어서,
    상기 산출하는 단계는 라인(line) 또는 프레임(frame) 단위로 수행되는 것을 특징으로 하는 가로줄 노이즈 개선 방법.
  10. 제6항 내지 제9항 중 어느 한 항에 기재된 가로줄 노이즈 개선 방법을 수행하기 위하여 디지털 처리 장치에 의해 실행될 수 있는 명령어들의 프로그램이 기록된 기록매체.
PCT/KR2013/006384 2012-07-18 2013-07-17 영상 처리 장치 및 가로줄 노이즈 개선 방법 WO2014014265A1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2012-0078073 2012-07-18
KR1020120078073A KR101397182B1 (ko) 2012-07-18 2012-07-18 영상 처리 장치 및 가로줄 노이즈 개선 방법

Publications (1)

Publication Number Publication Date
WO2014014265A1 true WO2014014265A1 (ko) 2014-01-23

Family

ID=49949035

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/006384 WO2014014265A1 (ko) 2012-07-18 2013-07-17 영상 처리 장치 및 가로줄 노이즈 개선 방법

Country Status (2)

Country Link
KR (1) KR101397182B1 (ko)
WO (1) WO2014014265A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184753A (zh) * 2015-09-23 2015-12-23 武汉大学 一维信号处理引导下的遥感影像条带噪声快速滤除方法
CN105761231A (zh) * 2016-03-21 2016-07-13 昆明理工大学 一种用于去除高分辨率天文图像中条纹噪声的方法
WO2017185442A1 (zh) * 2016-04-26 2017-11-02 成都市晶林科技有限公司 基于图像分层的红外图像条纹滤波方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112954136B (zh) * 2021-01-29 2023-05-19 中国科学院长春光学精密机械与物理研究所 抑制航空斜视远距离成像遥感图像散粒噪声的方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036819A (ja) * 1999-07-15 2001-02-09 Olympus Optical Co Ltd 撮像装置
JP2004015712A (ja) * 2002-06-11 2004-01-15 Sony Corp 固体撮像装置及びその固定パターン雑音除去方法
KR20060049875A (ko) * 2004-07-07 2006-05-19 소니 가부시끼 가이샤 신호 처리 장치 및 신호 처리 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001036819A (ja) * 1999-07-15 2001-02-09 Olympus Optical Co Ltd 撮像装置
JP2004015712A (ja) * 2002-06-11 2004-01-15 Sony Corp 固体撮像装置及びその固定パターン雑音除去方法
KR20060049875A (ko) * 2004-07-07 2006-05-19 소니 가부시끼 가이샤 신호 처리 장치 및 신호 처리 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105184753A (zh) * 2015-09-23 2015-12-23 武汉大学 一维信号处理引导下的遥感影像条带噪声快速滤除方法
CN105761231A (zh) * 2016-03-21 2016-07-13 昆明理工大学 一种用于去除高分辨率天文图像中条纹噪声的方法
WO2017185442A1 (zh) * 2016-04-26 2017-11-02 成都市晶林科技有限公司 基于图像分层的红外图像条纹滤波方法

Also Published As

Publication number Publication date
KR101397182B1 (ko) 2014-05-20
KR20140011603A (ko) 2014-01-29

Similar Documents

Publication Publication Date Title
US8553114B2 (en) Image sensing apparatus and image sensing system
WO2014014265A1 (ko) 영상 처리 장치 및 가로줄 노이즈 개선 방법
JP4633717B2 (ja) 欠陥ピクセルの動的特定および修正
KR100639642B1 (ko) 촬상 장치, 촬상 장치의 제어 방법 및 ｃｍｏｓ 이미지 센서
WO2011126328A2 (ko) 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법
WO2019156308A1 (ko) 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법
WO2019164074A1 (ko) 미세 먼지 분석 방법 및 이를 수행하기 위한 장치
WO2021095991A1 (ko) 불량 이미지 생성 장치 및 방법
WO2013137637A1 (en) Imaging apparatus and image sensor thereof
CN111259715A (zh) 感测装置及闪烁杂讯减轻方法
WO2016190698A1 (ko) 잡음 제거를 위한 가중 미디언 필터링 방법 및 장치
WO2015115714A1 (en) Apparatus and method for processing scan data in the event of esd input
WO2017086522A1 (ko) 배경스크린이 필요 없는 크로마키 영상 합성 방법
WO2021235837A1 (ko) 이미지 보정을 수행하는 전자 장치
WO2016098943A1 (ko) 얼굴 검출 능력 향상을 위한 이미지 처리 방법 및 시스템
JP2009232200A (ja) 撮像素子の画素欠陥補正方法
CN115334210A (zh) 图像感测设备及其操作方法
WO2017164546A2 (ko) 컬러센서와 엘이디를 이용한 플래시 사진 촬영의 화질 보정 장치 및 그 방법
WO2021071258A1 (ko) 인공지능 기반의 휴대용 보안영상 학습장치 및 방법
CN112118402B (zh) 影像传感器及其列并列式模拟数字转换电路及转换方法
JP2000217039A (ja) 点欠陥検出方法および点欠陥画素値補正方法
US20190238771A1 (en) Image processing apparatus, image processing method, and non-transitory computer readable recording medium
WO2019208869A1 (ko) 학습을 이용한 얼굴 특징점 검출 방법 및 장치
WO2013094805A1 (en) Image sensor and method for driving thereof
WO2012064113A1 (en) Method and apparatus for calculating position information of an image

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13819756

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13819756

Country of ref document: EP

Kind code of ref document: A1