WO2011126328A2 - 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법 - Google Patents

이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법 Download PDF

Info

Publication number
WO2011126328A2
WO2011126328A2 PCT/KR2011/002460 KR2011002460W WO2011126328A2 WO 2011126328 A2 WO2011126328 A2 WO 2011126328A2 KR 2011002460 W KR2011002460 W KR 2011002460W WO 2011126328 A2 WO2011126328 A2 WO 2011126328A2
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
edge
noise
pixels
center pixel
Prior art date
Application number
PCT/KR2011/002460
Other languages
English (en)
French (fr)
Other versions
WO2011126328A3 (ko
Inventor
박민규
송한새
박희찬
윤영권
이용구
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US13/640,253 priority Critical patent/US9088685B2/en
Priority to EP11766179.3A priority patent/EP2557798A4/en
Publication of WO2011126328A2 publication Critical patent/WO2011126328A2/ko
Publication of WO2011126328A3 publication Critical patent/WO2011126328A3/ko

Links

Images

Classifications

    • G06T5/70—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/10—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths
    • H04N23/12—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from different wavelengths with one sensor only
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/10—Circuitry of solid-state image sensors [SSIS]; Control thereof for transforming different wavelengths into image signals
    • H04N25/11—Arrangement of colour filter arrays [CFA]; Filter mosaics
    • H04N25/13—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements
    • H04N25/134—Arrangement of colour filter arrays [CFA]; Filter mosaics characterised by the spectral characteristics of the filter elements based on three different wavelength filter elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image

Definitions

  • the present invention relates to an image processing apparatus and method, and more particularly, to an apparatus and method for removing noise generated in an image sensor.
  • Image devices such as cameras, camcorders, webcams, etc. are equipped with an image sensor, and the image sensor generally adopts a Bayer pattern structure.
  • the Bayer pattern is a pattern of two colors R (Red) and Gr (Green) in one row and a pattern of two colors Gb (Green) and B (Blue) in another row. It is a pattern to be arranged.
  • R Red
  • Gr Green
  • Gb Green
  • B Blue
  • FIG. 1 when the Bayer color filter is used, data in which only one value of red, green, and blue exists in each pixel is obtained. In this case, since the green next to the red and the green next to the blue have different sensitivity, the green next to the red may be divided into (a) to (d) of FIG. 1 according to four central pixels (R, Gr, Gb, and B). .
  • CMOS Complementary Metal Oxide Semiconductor
  • noise reduction using a weighted mean filter. This noise reduction method is applied to the same kind as the center pixel so that the noise is removed. At this time, it is assumed that the channels of Gr and Gb are the same channel, and then the noise and the error due to the sensitivity of the channel are simultaneously removed.
  • the conventional noise canceling method does not consider the difference in sensitivity between Gr and Gb. If color interpolation is neglected, ignoring the sensitivity difference between Gr and Gb, it affects all the surrounding values, and the resultant image is also degraded with unwanted artifacts. This is especially a direction-oriented color interpolation algorithm. Is prominent in. As such, the difference in sensitivity between Gr and Gb is a major cause of degrading the resolution of the image, and the degradation is mainly caused by the mobile phone camera sensor having a relatively small size of the image sensor. Therefore, a noise cancellation method considering the sensitivity difference between Gr and Gb is needed.
  • the present invention provides an apparatus and method for efficiently removing noise generated in an image sensor.
  • the present invention also provides an apparatus and method for removing noise in consideration of the difference in sensitivity between Gr and Gb.
  • the present invention also provides an apparatus and method for removing image sensor noise without additional hardware.
  • a method for removing noise generated in an image sensor including determining a center pixel in a predetermined mask unit for an input image of a Bayer pattern, and drawing the center pixel green ( Comparing the difference between the average value between the G1 pixels that are the same as the G1 center pixel and the average value between the G2 pixels that are different from the G1 center pixel with a predetermined sensitivity difference threshold, Removing a sensitivity difference between the G1 pixel and the G2 pixel when the difference between the average values is smaller than the threshold, and removing a directional edge when the difference between the average values is greater than the sensitivity difference threshold. It is characterized by.
  • the center pixel determination unit for determining the center pixel in a predetermined mask unit for the input image of the Bayer pattern, and the center pixel is green
  • a sensitivity judging unit comparing a difference between an average value between G1 pixels identical to a G1 center pixel and an average value between G2 pixels different from the G1 center pixel to a predetermined sensitivity difference threshold in the case of a G1 or G2 pixel belonging to
  • a sensitivity difference corrector for removing a sensitivity difference between the G1 pixel and the G2 pixel when the difference between the average values is smaller than the sensitivity difference threshold; and a directional edge removing the directional edge when the difference between the average values is greater than the sensitivity difference threshold.
  • an edge noise canceling filter for a difference between an average value between G1 pixels identical to a G1 center pixel and an average value between G2 pixels different from the G1 center pixel to a predetermined sensitivity difference threshold in the case of a G1 or G2 pixel belonging to
  • the present invention by using a Bayer pattern to divide the image into an edge region, a flat region and a pattern region, by applying a different noise reduction method for each divided region it is possible to efficiently remove the noise generated in the image sensor
  • the present invention has the advantage that the sensitivity of the channel can be corrected in the region where the sensitivity difference occurs, that is, in the flat region, by determining the sensitivity difference between Gr and Gb, thereby preventing the resolution from being lowered.
  • the present invention has the advantage that the sensitivity difference between Gr and Gb can be corrected without additional hardware by using the noise cancellation method after modeling the sensitivity difference between Gr and Gb as noise.
  • FIG. 3 is an internal block diagram of an apparatus for removing noise in accordance with an embodiment of the present invention.
  • FIG. 4 is an exemplary diagram for explaining an edge region determination according to an embodiment of the present invention.
  • FIG. 5 is an exemplary diagram for describing a sensitivity region determination according to an embodiment of the present invention.
  • FIG. 7 is an exemplary diagram for describing an operation in a sensitivity difference correcting unit according to an embodiment of the present invention.
  • FIG. 8 is an exemplary diagram for describing an operation in a directional edge noise filter according to an embodiment of the present invention.
  • FIG. 9 is an exemplary diagram for explaining an operation of a noise canceling filter according to an exemplary embodiment of the present invention.
  • the present invention proposes a method for efficiently removing noise of an image sensor.
  • the present invention divides the Bayer pattern input image into an edge region, a sensitivity difference generating region, and a pattern region, and then applies different noise reduction methods for each divided region.
  • the noise can be adaptively removed for each region, thereby effectively removing the noise.
  • the resolution is improved by considering the difference in sensitivity between Gr and Gb.
  • FIGS. 1 and 2 Prior to describing the present invention, a Bayer pattern and a mask form used in the present invention will be briefly described with reference to FIGS. 1 and 2.
  • the Bayer pattern may be divided into four types as shown in FIG. 1.
  • a noise removing method for the input image is proposed.
  • 2 illustrates a mask having a mask size of 5 ⁇ 5.
  • r denotes a vertical axis coordinate
  • c denotes a horizontal axis coordinate
  • [h c ] [v c ] denotes a center pixel of a mask of 5 ⁇ 5.
  • the center pixel in [h c ] [v c ] represents any one of R, Gr, B, and Gb.
  • noise is also removed in consideration of the difference in sensitivity between Gr and Gb, so that the center pixel is the pixels belonging to Green, that is, Gr or Gb, and if not, that is, Red or Blue. It is necessary to determine whether it is a (Blue) pixel.
  • FIG. 3 a component and an operation of a noise removing device for removing noise and correcting sensitivity using a 5 ⁇ 5 mask of FIG. 2 with respect to an input Bayer pattern as shown in FIG. 1 will be described. .
  • the apparatus for removing noise may include a center pixel determiner 300, an edge region determiner 310, a sensitivity determiner 315, a sensitivity difference corrector 320, and a directionality. Edge noise cancellation filter 325 and noise cancellation filter 330.
  • the center pixel determination unit 300 determines the type of the center pixel by a predetermined mask unit.
  • a case where the mask size is 5x5 will be described as an example.
  • the center pixel determination unit 300 determines the type of the center pixel with respect to the input image in units of 5 ⁇ 5 masks, the center pixels for the plurality of image areas may be obtained for each mask unit. Therefore, in the following description, the determination of the edge region and the sensitivity determination of the input image are also performed in units of masks.
  • the edge area determination unit 310 determines whether the edge area is in the mask area. In contrast, when the center pixel is R or B, the noise removing filter 330 removes the noise of the mask area.
  • the edge area determination unit 310 determines whether there is an edge area, which will be described in detail with reference to FIG. 4.
  • 4A illustrates a method of obtaining a difference value in a horizontal direction
  • FIG. 4B illustrates a method of obtaining a difference value in a vertical direction.
  • G1 Green in the center pixel
  • G2 Green adjacent to the center pixel
  • G1 means Gr
  • G2 means Gb
  • G1 means Gb
  • G2 means Gr.
  • the edge area determination unit 310 obtains the absolute value of the difference value in the horizontal direction in the same manner as in FIG. 4 (a) and the absolute value of the difference value in the vertical direction in the same manner as in FIG. 4 (b). In other words, the difference between the odd-numbered G1 pixels and the even-numbered G2 pixels is obtained, and then the absolute values of the two difference values are obtained.
  • Equation 1 Equation 1
  • Equation 2 Equation 2
  • Hdiff is an absolute value of the difference value in the horizontal direction, and represents the magnitude of the edge in the horizontal direction.
  • Vdiff is an absolute value of the difference value in the vertical direction, and represents the magnitude of the edge in the vertical direction.
  • the edge area determination unit 310 determines the larger value of the two absolute values and the edge area threshold. Compare the values. This is to minimize the influence of noise to detect the edge region. If the greater of the two absolute values is larger than the edge region threshold, the edge region determination unit 310 determines that the mask region is an edge region. On the other hand, if it is smaller than the edge region threshold, it is determined that the edge region is not. If this is expressed as an equation, Equation 3 below.
  • Equation 3 th H is an edge region threshold value, and MAX ( Hdiff, Vdiff) is an equation for selecting a larger value of Hdiff and Vdiff .
  • the reason why the edge area determination unit 310 divides the mask area into an edge area or a non-edge area is to prevent deterioration of resolution in the edge area.
  • the noise canceling is performed on the mask region in the noise removing filter 330, and the operation of the noise removing will be described later.
  • the sensitivity determiner 315 determines whether the mask area is a sensitivity difference generation area or a pattern area.
  • the sensitivity difference generating region may be defined as a flat region as a region where a sensitivity difference between Gb and Gr occurs.
  • the pattern region means an area where thin edges are repeated. Such a sensitivity difference generation region and a pattern region are not distinguished only by edge detection.
  • the characteristics of both the pattern region and the sensitivity difference generating region are similar to each other. In order to prevent degradation of the resolution of the input image, it is important to distinguish the two regions from each other.
  • the sensitivity determining unit 315 plays a role of determining whether the area determined as not the edge area corresponds to the sensitivity difference generating area or the pattern area.
  • the sensitivity determining unit 315 may determine a difference between an average value between the G1 pixels that are the same as the G1 center pixel and an average value between the G2 pixels that are different from the G1 center pixel when the center pixel is a G1 or G2 pixel belonging to Green. By comparing with a predetermined sensitivity difference threshold value, it is distinguished whether it is a sensitivity difference generation area
  • FIG. 5A illustrates a method of obtaining an average between the same green pixels as the center pixel
  • FIG. 5B illustrates a method of obtaining an average between green pixels different from the center pixel.
  • Equation 4 when the center pixel is G1, the same green pixels as the center pixel will also be G1, and an equation for calculating the average of the G1s is shown in Equation 4 below.
  • Equation 4 Avg1 is an average between the same green pixels as the center pixel. If the center pixel G1 is Gb (or Gr) in FIG. 5A, the same green pixels as the center pixel will also be Gb (or Gr). Therefore, using Equation 4, the average of all nine Gb (or Gr) in the mask area is obtained.
  • Avg2 is an average between green pixels different from the center pixel. If the center pixel G is Gb (or Gr) in FIG. 5B, adjacent green pixels G2 different from the center pixel will be Gr (or Gb).
  • the difference in sensitivity between Gr and Gb refers to the difference between the average value Avg1 of G1 and the average value Avg2 of G2.
  • the equation for determining the sensitivity difference generation region or the pattern region using the sensitivity difference between Gr and Gb is shown in Equation 6 below.
  • th CSC is a sensitivity difference threshold.
  • the sensitivity judging unit 315 determines that the difference in sensitivity between Gr and Gb is smaller than the predetermined sensitivity difference threshold th th CSC , and that the sensitivity difference generation area is larger than the threshold th th CSC . I judge it.
  • the mask area of the input image corresponds to one of an edge area, a sensitivity difference generation area, and a pattern area. Equation (3) and equation (6) are grouped into one for the purpose of area division.
  • the noise removing filter 330 removes the edge to maximize the edge area.
  • the sensitivity difference correcting unit 320 corrects the sensitivity difference in the sensitivity difference generating region and simultaneously removes the noise.
  • the directional edge noise canceling filter 325 performs noise canceling so that the thin edges are not damaged. In this way, by applying the adaptive noise canceling method to each region, not only can the noise be efficiently removed but also the sensitivity difference can be corrected.
  • the apparatus for removing noise determines the center pixel in units of masks in operation 605.
  • step 620 determines whether the sensitivity difference generation area. If it is the sensitivity difference generation region, the process proceeds to step 625 to remove noise corresponding to the sensitivity difference generation region. In contrast, in the case where the sensitivity difference region is not generated, the noise region corresponding to the pattern region is removed in step 630 by considering it as a pattern region.
  • FIG. 7 is an exemplary diagram for describing a noise removing method corresponding to a sensitivity difference generating region, and the noise removal and the sensitivity difference correction are performed by the sensitivity difference correcting unit 320.
  • the sensitivity difference between Gb and Gr is larger than that of other regions, for example, an edge region or a pattern region. Therefore, this sensitivity difference is corrected by using a weighted average between the center pixel and the green pixels different from the center pixel. That is, the noise is removed by the sensitivity difference correction.
  • output CSC is an output after sensitivity difference correction
  • input [ h c] [ v c ] is a center pixel G1 value in FIG. Is the sum of the weights of the G2s
  • the output CSC is the average of the sum of the weights of the center pixel G1 values and the G2s.
  • Equation 9 w csc [ h ] [ v ] is equal to Equation 10 below, and nor csc is equal to Equation 11 below.
  • noise cancellation in a sensitivity difference generating area means a method of correcting a sensitivity difference between Gr and Gb. This is also called channel sensitivity correction (CSC).
  • CSC channel sensitivity correction
  • the pattern area is an area in which vertical or horizontal edges appear repeatedly.
  • the center pixel is G1
  • the information of G2 is used, the original information is severely damaged. Therefore, in the pattern area, only values in the vertical or horizontal direction of the center pixel G1 are used as in FIG. 8. By doing so, it is possible to prevent the degradation of the resolution of the high resolution portion of the input image.
  • Equation 12 output H [ h c ] [ v c ] and output V [ h c ] [ v c ] are the following Equations 13 and 14, respectively.
  • the Hdiff indicating the magnitude of the edge in the horizontal direction is smaller than the Vdiff indicating the magnitude of the edge in the vertical direction, indicating that there is an edge only in the vertical direction. In this case, corrections should only be made in the horizontal direction.
  • the fact that Hdiff is not smaller than Vdiff means that there are edges only in the horizontal direction, and in this case, corrections should be made only in the vertical direction.
  • output P [ h c ] [ v c ] Either the value in the horizontal direction of the center pixel G1 or the value in the vertical direction of the center pixel G1 is used to obtain.
  • a value in the horizontal direction of the center pixel G1 is an average value of the G1s in the horizontal direction with respect to the center pixel G1, and means an output value after correction in the horizontal direction.
  • the value in the vertical direction of the center pixel G1 is an average value of the G1s in the vertical direction around the center pixel G1, and means an output value after correction in the vertical direction.
  • output P [ h c ] [ v c ] silver output H [ h c ] [ v c ].
  • Equation 13 the output value output H [ h c ] [ v c ] after correction only in the horizontal direction
  • the output value output V [ h c ] [ v c ] after correction only in the vertical direction may be expressed by Equation 14 below.
  • Equation 14 w P [ h ] and w P [ v ] are the same as Equations 15 and 16, respectively.
  • G1 is compensated using an average value in one of the vertical and horizontal directions.
  • the noise canceling filter 330 performs the following noise canceling operation when it is determined that the center pixel is R or B or the center pixel is green, even if it is determined as an edge region.
  • the output value after the noise removal for the edge region may be expressed by Equation 17 below.
  • Equation 17 w n may be expressed as Equation 18 below.
  • output edge [ h c ] [ v c ] and output Nonedge [ h c ] [ v c ] can be expressed as Equations 19 and 20, respectively.
  • th H and th L are predefined threshold values.
  • MAX Hdiff [ h c ] [ v c ], Vdiff [ h c ] [ v c ]
  • Hdiff Hdiff indicating the magnitude of the edge in the horizontal direction
  • Vdiff indicating the magnitude of the edge in the vertical direction. It shows a large value. If the larger of Hdiff and Vdiff is less than th L , it means that it is not an edge.
  • w n is 1, if said substituted in Equation (17) to w n having the value of such a first output Edge [h c] [v c] portion is zero, the output value after the noise removal to the edge areas output [ h c ] [ v c ] becomes output Nonedge [ h c ] [ v c ].
  • a larger value of Hdiff and Vdiff than th H means an edge.
  • w n is zero, if said substituted in Equation (17) to w n having a value of this zero output Nonedge [h c] [v c] portion is zero, the output value after the noise removal to the edge areas output [ h c ] [ v c ] becomes output Edge [ h c ] [ v c ].
  • output Edge [ h c ] [ v c ] can be obtained through Equation 1 9 below, and output Nonedge [ h c ] [ v c ] can be obtained via Equation 2O below.
  • Equation 20 W Nonedge [ h ] [ v ] and nor Nonedge can be represented as in Equation 21 and 22, respectively. Accordingly, referring to FIG. 9, a weighted average value of adjacent G2s around the center pixel G1 is used.
  • h and v depend on the center pixel.
  • the center pixel is G1, (-2, -2), (-2,0), (-2,2), (0, -2), (0,0), (0,2), (2 , -2), (2,0), (2,2), (-1, -1), (-1,1), (1, -1), (1,1)
  • the center is R or B, (-2, -2), (-2,0), (-2,2), (0, -2), (0,0), (0,2), ( 2, -2), (2,0), and 9 values of (2,2).
  • G1 is compensated by using an average value in the vertical or horizontal direction or by using a weighted sum of the G2 values.
  • the present invention as described above, it is possible to correct the sensitivity difference between the Gr and Gb in the flat region, it is possible to easily remove the error due to the channel sensitivity, the noise in the edge region can be removed without damaging the edge noise It is efficient at removing it.

Abstract

본 발명은 이미지 센서의 잡음을 효율적으로 제거하기 위한 방법을 제안한다. 이를 위해 본 발명은 베이어 패턴의 입력 영상에 대해 에지 영역, 감도차 발생 영역, 패턴 영역으로 구분한 후, 구분된 영역별로 서로 다른 잡음 제거 방법을 적용한다. 이렇게 함으로써 영역별로 적응적으로 잡음을 제거할 수 있어 효율적으로 잡음을 제거할 수 있게 된다. 또한 Gr과 Gb 간의 감도 차이를 고려함으로써 해상도 향상의 효과가 있다.

Description

이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법
본 발명은 이미지 처리 장치 및 방법에 관한 것으로, 특히 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법에 관한 것이다.
카메라, 캠코더, 웹캠 등과 같은 영상 기기에서는 이미지 센서가 장착되며, 그 이미지 센서는 일반적으로 베이터(Bayer) 패턴 구조를 채택한다. 베이어 패턴이란, 도 1에 도시된 바와 같이 하나의 행에 R(Red), Gr(Green) 2가지 컬러의 패턴 및 다른 행에 Gb(Green), B(Blue) 2가지 컬러의 패턴이 반복적으로 배치되는 패턴을 말한다. 도 1에 도시된 바와 같이 베이어 컬러 필터를 이용하면 각 화소에 Red, Green, Blue 중의 하나의 값만이 존재하는 데이터를 얻게 된다. 이때, Red 옆의 Green과 Blue 옆의 Green은 다른 감도를 갖기 때문에, 네 가지의 중심화소(R, Gr, Gb, B)에 따라 도 1의 (a) 내지 (d)로 구분하여 나타낼 수 있다.
이러한 이미지 센서의 화소 수가 증가함에도 불구하고 이미지 센서의 크기는 커지지 않기 때문에 상대적으로 화소의 면적은 작아진다. 이는 포토다이오드의 용량을 작게 만드는 원인이 되어 그 이미지 센서의 감도는 떨어지게 된다. 이를 방지하기 위해 최근 CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서에서는 포토다이오드의 용량을 키우고 감도를 높이기 위해 공유 구조체를 사용한다. 이때, 트랜지스터와 구동 영역이 공유된다면 공유 화소의 형태와 구조는 비대칭의 형태가 되어서 공유 화소들간에 신호의 차이가 발생하게 된다. 이러한 차이는 컬러 보간의 과정을 거치면서 소위 “미로 효과 (maze effect)”라는 잡음의 형태로 나타나게 된다.
이러한 잡음을 제거하기 위해 잡음 제거 알고리즘에 대한 연구가 이루어져 왔다. 그 중의 하나로 가장 일반적으로 가중 평균 필터(weighted mean filter)를 사용한 잡음 제거 방법이 있다. 이 잡음 제거 방법은 중심 화소와 같은 종류에 대해 적용되어 잡음이 제거된다. 이때, Gr과 Gb의 채널이 같은 채널이라고 가정한 후 잡음과 채널의 감도에 의한 에러를 동시에 제거한다.
상술한 바와 같이 도 1에서와 같은 베이어 패턴은 R, Gr 화소 열과 B, Gb 화소 열을 교대로 배열하였기 때문에 Green 화소가 Red, Blue 화소에 비해 두 배 많다. 그러나 기존의 잡음 제거 방법은 Gr과 Gb의 채널이 같은 채널이라고 가정하였기 때문에 평탄 영역에서는 채널 감도에 의한 에러가 쉽게 제거되지 않을 뿐만 아니라 에지 영역에서는 에지가 손상되어 잡음을 제거하는 데 효율적이지 않게 된다.
상기한 바와 같이 기존의 잡음 제거 방법은 Gr과 Gb 간의 감도 차이를 고려하지 못하고 있다. 만일 Gr과 Gb 간의 감도 차이 문제를 무시하고 컬러 보간을 진행하는 경우 주변 모든 값에 영향을 미치게 되며 결과 영상에서도 원치 않는 가공물(artifact)로 화질의 저하를 가져오게 되고 이것은 특히 방향 지향적인 컬러 보간 알고리즘에서 두드러지게 나타나게 된다. 이와 같이 이러한 Gr과 Gb 간의 감도 차이는 이미지의 해상도를 저하시키는 주요 원인이며, 이러한 해상도 저하는 주로 이미지 센서의 크기가 상대적으로 작은 휴대폰 카메라 센서에서 많이 발생하게 된다. 따라서 Gr과 Gb 간의 감도 차이를 고려한 잡음 제거 방법이 필요하다.
따라서 본 발명은 이미지 센서에서 발생하는 잡음을 효율적으로 제거하기 위한 장치 및 방법을 제공한다.
또한 본 발명은 Gr과 Gb 간의 감도 차이를 고려한 잡음 제거 장치 및 방법을 제공한다.
또한 본 발명은 부가적인 하드웨어 없이 이미지 센서 잡음을 제거하기 위한 장치 및 방법을 제공한다.
상기한 바를 달성하기 위한 본 발명은, 이미지 센서에서 발생되는 잡음을 제거하기 위한 방법에 있어서, 베이어 패턴의 입력 영상에 대해 미리 정해진 마스크 단위로 중심 화소를 판단하는 과정과, 상기 중심 화소가 그린(Green)에 속하는 G1 화소 또는 G2 화소일 경우 G1 중심 화소와 동일한 G1 화소들 간의 평균값과, 상기 G1 중심 화소와는 다른 G2 화소들 간의 평균값의 차이를 미리 정해진 감도차 임계값과 비교하는 과정과, 상기 평균값들의 차이가 상기 감도차 임계값보다 작은 경우 상기 G1 화소와 상기 G2 화소 간의 감도차를 제거하는 과정과, 상기 평균값들의 차이가 상기 감도차 임계값보다 큰 경우 방향성 에지를 제거하는 과정을 포함함을 특징으로 한다.
또한 본 발명은, 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치에 있어서, 베이어 패턴의 입력 영상에 대해 미리 정해진 마스크 단위로 중심 화소를 판단하는 중심 화소 판단부와, 상기 중심 화소가 그린(Green)에 속하는 G1 또는 G2 화소일 경우 G1 중심 화소와 동일한 G1 화소들 간의 평균값과, 상기 G1 중심 화소와는 다른 G2 화소들 간의 평균값의 차이를 미리 정해진 감도차 임계값과 비교하는 감도 판단부와, 상기 평균값들의 차이가 상기 감도차 임계값보다 작은 경우 상기 G1 화소와 상기 G2 화소 간의 감도차를 제거하는 감도차 보정부와, 상기 평균값들의 차이가 상기 감도차 임계값보다 큰 경우 방향성 에지를 제거하는 방향성 에지 잡음 제거 필터를 포함함을 특징으로 한다.
본 발명에 따르면, 베이어 패턴을 이용하여 영상에 대해 에지 영역, 평탄 영역 및 패턴 영역으로 구분한 후 구분된 영역별로 서로 다른 잡음 제거 방법을 적용함으로써 이미지 센서에서 발생하는 잡음을 효율적으로 제거할 수 있는 이점이 있다. 게다가 본 발명은 Gr과 Gb 간의 감도 차이를 판단함으로써 감도차가 발생한 영역 즉, 평탄 영역에서는 채널의 감도도 보정할 수 있어 해상도 저하를 방지할 수 있는 이점이 있다. 또한 본 발명은 Gr과 Gb 간의 감도 차이를 잡음으로 모델링한 후 잡음 제거 방법을 사용함으로써 부가적인 하드웨어 없이도 Gr과 Gb 간의 감도 차이를 보정할 수 있는 이점이 있다.
도 1은 본 발명에서 이용되는 베이어 패턴의 예시도,
도 2는 본 발명에서 이용되는 5×5 마스크의 예시도,
도 3은 본 발명의 실시예에 따른 잡음 제거 장치의 내부 블록 구성도,
도 4는 본 발명의 실시예에 따라 에지 영역 판단을 설명하기 위한 예시도,
도 5는 본 발명의 실시예에 따라 감도 영역 판단을 설명하기 위한 예시도,
도 6은 본 발명의 실시예에 따른 잡음 제거 장치에서의 동작 흐름도,
도 7은 본 발명의 실시예에 따른 감도차 보정부에서의 동작을 설명하기 위한 예시도,
도 8은 본 발명의 실시예에 따라 방향성 에지 잡음 필터에서의 동작을 설명하기 위한 예시도,
도 9는 본 발명의 실시예에 따라 잡음 제거 필터에서의 동작을 설명하기 위한 예시도.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명한다. 또한, 본 발명을 설명함에 있어서, 관련된 공지기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명은 생략한다.
본 발명은 이미지 센서의 잡음을 효율적으로 제거하기 위한 방법을 제안한다. 이를 위해 본 발명은 베이어 패턴의 입력 영상에 대해 에지 영역, 감도차 발생 영역, 패턴 영역으로 구분한 후, 구분된 영역별로 서로 다른 잡음 제거 방법을 적용한다. 이렇게 함으로써 영역별로 적응적으로 잡음을 제거할 수 있어 효율적으로 잡음을 제거할 수 있게 된다. 또한 Gr과 Gb 간의 감도 차이를 고려함으로써 해상도 향상의 효과가 있다.
본 발명을 설명하기에 앞서, 본 발명에서 이용되는 베이어 패턴 및 마스크 형태를 도 1 및 도 2를 참조하여 간략하게 살펴보기로 한다.
베이어 패턴은 도 1에서와 같이 4가지로 구분되어 나타낼 수 있는데, 본 발명에서는 4가지로 구분된 베이어 패턴을 가지는 영상이 입력되는 경우 이러한 입력 영상에 대한 잡음 제거 방법을 제안하는 것이다. 또한 도 2에서는 마스크의 크기가 5×5인 마스크를 예시하고 있다. 도 2를 참조하면, 5×5 마스크에서 r은 수직축 좌표, c는 수평축 좌표를 나타내고, in[hc][vc]는 5×5인 마스크의 중심 화소를 의미한다. 이러한 도 1의 베이어 패턴을 도 2의 마스크와 비교해보면, 중심 화소 in[hc][vc]는 R, Gr, B, Gb 중 어느 하나를 나타낸다.
본 발명에서는 Gr와 Gb 간의 감도 차이도 고려하여 잡음을 제거하기 때문에 우선적으로 중심 화소가 그린(Green)에 속하는 화소들 즉, Gr 또는 Gb인 경우와, 그렇지 않은 경우 즉, 레드(Red) 또는 블루(Blue) 화소인지를 판단할 필요성이 있다.
이하, 도 1에서와 같이 입력된 베이어 패턴에 대해 도 2의 5×5 마스크를 이용하여 잡음을 제거하고 감도를 보정하기 위한 잡음 제거 장치의 구성 요소 및 그 동작을 살펴보기 위해 도 3을 참조한다.
도 3을 참조하면, 본 발명의 실시예에 따른 잡음 제거 장치는 크게 중심 화소 판단부(300), 에지 영역 판단부(310), 감도 판단부(315), 감도차 보정부(320), 방향성 에지 잡음 제거 필터(325) 및 잡음 제거 필터(330)를 포함한다.
먼저, 중심 화소 판단부(300)는 베이어 패턴의 영상이 입력되면 미리 정해진 마스크 단위로 중심 화소의 종류를 판단한다. 본 발명의 실시예에서는 마스크 크기가 5×5인 경우를 예로 들어 설명한다. 이러한 경우 중심 화소 판단부(300)는 5×5 마스크 단위로 입력 영상에 대해 중심 화소의 종류를 판단하므로, 각 마스크 단위별로 복수의 이미지 영역들에 대한 중심 화소들을 구할 수 있다. 따라서 이하의 설명에서 입력 영상에 대해 에지 영역의 판단 및 감도 판단 등도 모두 마스크 단위로 수행되는 것임은 물론이다.
만일 중심 화소 판단부(300)에서 판단 결과 중심 화소가 Green 즉, Gr or Gb인 경우 에지 영역 판단부(310)에서는 그 마스크 영역에서의 에지 영역 여부를 판단한다. 이와 달리 중심 화소가 R 또는 B인 경우 잡음 제거 필터(330)에서 그 마스크 영역에 대한 잡음 제거를 수행한다.
에지 영역 판단부(310)는 에지 영역 여부를 판단하는 데, 이를 구체적으로 설명하기 위해 도 4를 참조한다. 도 4(a)는 수평 방향으로의 차이값을 구하는 방식을 예시하며, 도 4(b)는 수직 방향으로의 차이값을 구하는 방식을 예시하고 있다. 도 4에서 중심 화소에 있는 Green을 G1이라고 하고, 중심 화소와 인접한 Green을 G2라고 정의한다. 즉, 중심 화소가 Gr이면 G1은 Gr을 의미하며 G2는 Gb를 의미한다. 이와 반대로 중심 화소가 Gb이면 G1은 Gb를 의미하며 G2는 Gr을 의미한다.
에지 영역 판단부(310)는 도 4(a)와 같은 방식으로 수평 방향으로의 차이값의 절대값을 구하고, 도 4(b)와 같은 방식으로 수직 방향으로의 차이값의 절대값을 구한다. 이를 다르게 설명하면, 홀수행의 G1 화소들의 차이와, 짝수행의 G2 화소들의 차이를 구한 후, 두 차이값들의 절대값을 구하는 것이다.
수평 방향으로의 차이값의 절대값을 구하기 위한 수식은 하기 수학식 1과 같으며, 수직 방향으로의 차이값의 절대값을 구하기 위한 수식은 하기 수학식 2와 같다.
수학식 1
Figure PCTKR2011002460-appb-M000001
상기 수학식 1에서, Hdiff는 수평 방향으로의 차이값의 절대값이며, 수평 방향에서의 에지의 크기 정도를 나타낸다.
수학식 2
Figure PCTKR2011002460-appb-M000002
상기 수학식 2에서, Vdiff는 수직 방향으로의 차이값의 절대값이며, 수직 방향에서의 에지의 크기 정도를 나타낸다.
상기 수학식 1 및 수학식 2를 이용하여 수평 방향의 절대값(Hdiff)과 수직 방향의 절대값(Vdiff)을 구하게 되면, 에지 영역 판단부(310)는 두 절대값 중 큰 값과 에지 영역 임계값을 비교한다. 이는 에지 영역을 검출하기 위해 잡음의 영향을 최소화하기 위함이다. 만일 두 절대값 중 큰 값이 에지 영역 임계값보다 클 경우 에지 영역 판단부(310)는 그 마스크 영역은 에지 영역이라고 판단한다. 이와 달리 에지 영역 임계값보다 작을 경우 에지 영역이 아니라고 판단한다. 이를 수식으로 표현하면 하기 수학식 3과 같다.
수학식 3
Figure PCTKR2011002460-appb-M000003
상기 수학식 3에서, thH는 에지 영역 임계값이며, MAX(Hdiff, Vdiff)는 Hdiff와 Vdiff 중 큰 값을 선택하는 수식이다.
상기한 바와 같이 에지 영역 판단부(310)에서 마스크 영역을 에지 영역 또는 에지가 아닌 영역으로 구분하는 이유는 에지 영역에서의 해상도 열화를 방지하기 위함이다.
만일 에지 영역이라고 판단되면 중심 화소가 R 또는 B인 경우와 마찬가지로 잡음 제거 필터(330)에서 그 마스크 영역에 대한 잡음 제거가 수행되며, 그 잡음 제거에 대한 동작은 후술하기로 한다.
이와 달리 에지 영역이 아니라고 판단되면, 감도 판단부(315)는 마스크 영역이 감도차 발생 영역인지 패턴 영역인지를 판단한다. 여기서, 감도차 발생 영역은 Gb와 Gr 간의 감도차가 발생하는 영역으로써 평탄 영역이라고 정의할 수도 있다. 또한 패턴 영역은 얇은 에지가 반복되는 영역을 의미한다. 이러한 감도차 발생 영역과 패턴 영역은 에지 검출만으로는 구분되지 않는다. 또한 패턴 영역과 감도차 발생 영역 두 영역 모두 그 특성이 서로 유사하게 나타나는데, 입력 영상의 해상도의 열화를 방지하기 위해서는 두 영역을 서로 구분하는 것이 중요하다.
따라서 본 발명의 실시예에 따른 감도 판단부(315)는 에지 영역이 아니라고 판단된 영역이 감도차 발생 영역에 해당하는지 또는 패턴 영역에 해당하는지를 판단하는 역할을 한다. 이러한 감도 판단부(315)는 중심 화소가 그린(Green)에 속하는 G1 또는 G2 화소일 경우 G1 중심 화소와 동일한 G1 화소들 간의 평균값과, 상기 G1 중심 화소와는 다른 G2 화소들 간의 평균값의 차이를 미리 정해진 감도차 임계값과 비교함으로써 감도차 발생 영역인지 패턴 영역인지를 구분하게 된다. 두 영역을 구분하기 위한 과정을 구체적으로 설명하기 위해 도 5를 참조한다. 도 5(a)는 중심 화소와 동일한 Green 화소들 간의 평균을 구하는 방식을 예시하며, 도 5(b)는 중심 화소와는 다른 Green 화소들 간의 평균을 구하는 방식을 예시하고 있다.
도 5(a)에서 중심 화소를 G1이라고 할 경우 그 중심 화소와 동일한 Green 화소들도 G1일 것이며, 이러한 G1들의 평균을 구하는 수식은 하기 수학식 4와 같다.
수학식 4
Figure PCTKR2011002460-appb-M000004
상기 수학식 4에서, Avg1은 중심 화소와 동일한 Green 화소들 간의 평균이다. 만일 도 5(a)에서 중심 화소 G1이 Gb(or Gr)일 경우 그 중심 화소와 동일한 Green 화소들도 Gb(or Gr)가 될 것이다. 따라서 상기 수학식 4를 이용한다면, 그 마스크 영역의 Gb(or Gr)들 9개 모두의 평균이 구해지게 된다.
또한 도 5(b)에서 중심 화소를 G라고 할 경우 중심 화소와는 다른 Green 화소들은 그 중심 화소와 인접한 G2들일 것이며, 이러한 G2들의 평균을 구하는 수식은 하기 수학식 5와 같다.
수학식 5
Figure PCTKR2011002460-appb-M000005
상기 수학식 5에서, Avg2는 중심 화소와는 다른 Green 화소들 간의 평균이다. 만일 도 5(b)에서 중심 화소 G가 Gb(or Gr)일 경우 그 중심 화소와는 다른 인접한 Green 화소들 G2는 Gr(or Gb)가 될 것이다.
따라서 Gr과 Gb의 감도차는 G1의 평균값(Avg1)과 G2의 평균값(Avg2)의 차이를 말한다. 이러한 Gr과 Gb의 감도차를 이용하여 감도차 발생 영역 또는 패턴 영역을 판단하기 위한 수식은 하기 수학식 6과 같다.
수학식 6
Figure PCTKR2011002460-appb-M000006
상기 수학식 6에서, th CSC 는 감도차 임계값이다.
이에 따라 감도 판단부(315)는 이러한 Gr과 Gb의 감도차가 미리 정해진 감도차 임계값(th CSC )보다 작으면 감도차 발생 영역이라고 판단하며, 이와 달리 그 임계값(th CSC )보다 크면 패턴 영역이라고 판단한다.
전술한 바와 같이 입력 영상의 마스크 영역은 에지 영역, 감도차 발생 영역, 패턴 영역 중 어느 하나에 해당하게 된다. 이러한 영역 구분을 위해 상기 수학식 3과 수학식 6을 하나로 정리하면 하기 수학식 7과 같다.
수학식 7
Figure PCTKR2011002460-appb-M000007
상기 수학식 7에서와 같이 마스크 단위로 그 마스크 영역이 속하는 영역을 구분하게 되면, 잡음 제거 필터(330)는 에지 영역에 대해서는 에지를 최대한 살리는 잡음 제거를 수행한다. 또한 감도차 발생 영역에 대해서는 감도차 보정부(320)에서 감도차를 보정함과 동시에 잡음을 제거를 수행한다. 또한 패턴 영역에 대해서는 방향성 에지 잡음 제거 필터(325)에서 얇은 에지들이 손상되지 않도록 하는 잡음 제거를 수행한다. 이와 같이 각 영역별로 적응적인 잡음 제거 방식을 적용함으로써 잡음을 효율적으로 제거할 수 있을 뿐만 아니라 감도차도 보정할 수 있는 것이다.
상기한 바와 같은 구성을 가지는 잡음 제거 장치의 동작 과정을 도 6을 참조하여 설명하기로 한다. 도 6을 참조하면, 600단계에서 베이어 패턴의 영상이 입력되면 잡음 제거 장치는 605단계에서 마스크 단위로 중심 화소를 판단한다. 610단계에서 마스크 영역의 중심 화소가 Green인지의 여부를 판단한다. 즉, 중심 화소가 (R or B) 또는 (Gr or Gb)인지를 판단한다. 만일 중심 화소가 Green인 경우 즉, 중심 화소가 Gr or Gb인 경우 615단계에서 마스크 영역이 에지 영역인지의 여부를 판단한다. 만일 에지 영역인 경우 610단계에서의 중심 화소가 R or B인 경우와 마찬가지로 635단계로 진행하여 에지 영역에 대응하는 잡음 제거를 수행한다.
반면, 615단계에서 마스크 영역이 에지 영역이 아닌 경우 620단계로 진행하여 감도차 발생 영역인지를 판단한다. 만일 감도차 발생 영역인 경우 625단계로 진행하여 감도차 발생 영역에 대응하는 잡음 제거를 수행한다. 이와 달리 감도차 발생 영역이 아닌 경우 패턴 영역이라고 간주하여 630단계에서 패턴 영역에 대응하는 잡음 제거를 수행한다.
이렇게 구분된 영역에 대응하여 서로 다른 잡음 제거 방식이 적용되는데, 이를 구체적으로 설명하기 위해 도 7 내지 도 9를 참조한다. 먼저, 도 7은 감도차 발생 영역에 대응하는 잡음 제거 방식을 설명하기 위한 예시도로, 이러한 잡음 제거 및 감도차 보정은 감도차 보정부(320)에서 수행된다.
우선, 감도차 발생 영역으로 판단된 경우에는 다른 영역 예컨대, 에지 영역이나 패턴 영역에 비해 상대적으로 Gb와 Gr 간의 감도차가 크게 나타나게 된다. 따라서 이러한 감도차는 중심 화소와 그 중심 화소와는 다른 Green 화소들간의 가중치 평균을 사용함으로써 보정한다. 즉, 이러한 감도차 보정을 통해 잡음이 제거되는 것이다.
도 7을 참조하면, 중심 화소가 G일 경우 그 중심 화소와는 다른 Green 화소들은 G2가 될 것이다.
수학식 8
Figure PCTKR2011002460-appb-M000008
상기 수학식 8에서 output CSC 는 감도차 보정 후의 출력이며, 상기 input[h c][v c]은 도 7에서의 중심 화소 G1값이며, 상기
Figure PCTKR2011002460-appb-I000001
은 G2들의 가중치의 합으로, output CSC 는 중심 화소 G1값과 G2들의 가중치의 합의 평균이다.
상기
Figure PCTKR2011002460-appb-I000002
은 하기 수학식 9를 통해 구할 수 있다.
수학식 9
Figure PCTKR2011002460-appb-M000009
상기 수학식 9에서, w csc[h][v]은 하기 수학식 10과 같으며,nor csc은 하기 수학식 11과 같다.
수학식 10
Figure PCTKR2011002460-appb-M000010
수학식 11
Figure PCTKR2011002460-appb-M000011
상기한 바와 같이 감도차 발생 영역 즉, 평탄 영역에서의 잡음 제거는 Gr과 Gb 간의 감도차를 보정하는 방식을 의미한다. 이를 채널 감도 보정(CSC: Channel Sensitivity Correction)이라고도 칭한다.
한편, 패턴 영역에 대응하는 잡음 제거는 방향성 에지 잡음 제거 필터(325)에서 수행되며, 이러한 방향성 에지 잡음 필터에서의 동작을 도 8을 참조하여 설명한다. 패턴 영역이란 수직 또는 수평 방향의 에지가 반복적으로 나타나는 영역으로, 중심 화소가 G1일 때 G2의 정보를 사용하면 원래의 정보가 심하게 훼손되게 된다. 따라서 패턴 영역에서는 도 8에서와 같이 중심 화소 G1의 수직 또는 수평 방향의 값만을 사용한다. 이렇게 함으로써 입력 영상의 고해상도 부분의 해상도 저하를 방지할 수 있게 된다.
수학식 12
Figure PCTKR2011002460-appb-M000012
상기 수학식 12에서 output H [h c][v c]및 output V [h c][v c]은 각각 하기 수학식 13 및 14와 같다. 상기 수학식 12에서, 수평 방향에서의 에지의 크기 정도를 나타내는 Hdiff가 수직 방향의 에지의 크기 정도를 나타내는 Vdiff보다 작다는 것은, 수직 방향으로만 에지가 있다는 것을 의미한다. 이러한 경우에는 수평 방향으로만 보정을 해야한다. 이와 반대로 Hdiff가 Vdiff보다 작지 않다는 것은, 수평 방향으로만 에지가 있다는 것을 의미하므로, 이러한 경우에는 수직 방향으로만 보정을 해야 한다.
따라서 패턴 영역에서의 잡음 제거 후의 출력값을 나타내는 output P [h c][v c] 을 구하기 위해 중심 화소 G1의 수평 방향의 값 또는 중심 화소 G1의 수직 방향의 값 중 어느 하나가 이용된다. 구체적으로, 도 8을 참조하면 중심 화소 G1의 수평 방향의 값은 중심 화소 G1을 중심으로 수평 방향의 G1들의 평균값으로, 수평 방향으로 보정한 후의 출력값을 의미한다. 마찬가지로 중심 화소 G1의 수직 방향의 값이란, 중심 화소 G1을 중심으로 수직 방향의 G1들의 평균값으로, 수직 방향으로 보정한 후의 출력값을 의미한다. 예컨대, 수평 방향으로만 보정할 경우에는 output P [h c][v c]은 output H [h c][v c]가 되는 것이다.
여기서, 수평 방향으로만 보정 후의 출력값 output H [h c][v c]은 하기 수학식 13과 같이 나타낼 수 있다. 또한 수직 방향으로만 보정 후의 출력값 output V [h c][v c]은 하기 수학식 14와 같이 나타낼 수 있다.
수학식 13
Figure PCTKR2011002460-appb-M000013
수학식 14
Figure PCTKR2011002460-appb-M000014
상기 수학식 14에서, w P [h] 및 w P [v]는 각각 하기 수학식 15 및 수학식 16과 같다.
수학식 15
Figure PCTKR2011002460-appb-M000015
수학식 16
Figure PCTKR2011002460-appb-M000016
상기한 바와 같이 패턴 영역의 경우 방향성을 가지므로, 수직 또는 수평 방향 중 어느 한 방향의 평균값을 이용해서 G1을 보상한다.
한편, 에지 영역에 대응하는 잡음 제거는 잡음 제거 필터(330)에서 수행되며, 이러한 잡음 제거 필터에서의 동작을 도 9를 참조하여 설명한다. 여기서, 잡음 제거 필터(330)는 중심 화소가 R 또는 B이거나, 중심 화소가 Green일지라도 에지 영역이라고 판단되는 경우 다음과 같은 잡음 제거 동작을 수행한다.
에지 영역에 대한 잡음 제거 후의 출력값은 하기 수학식 17과 같이 나타낼 수 있다.
수학식 17
Figure PCTKR2011002460-appb-M000017
상기 수학식 17에서, w n 은 하기 수학식 18과 같이 나타낼 수 있다. 또한 output Edge [h c][v c]와 output Nonedge [h c][v c]은 각각 수학식 19 및 20과 같이 나타낼 수 있다.
수학식 18
Figure PCTKR2011002460-appb-M000018
상기 수학식 18에서, thH와 thL은 미리 정의된 임계값들이다. 여기서, MAX(Hdiff[h c][v c], Vdiff[h c][v c])는, 수평 방향에서의 에지의 크기 정도를 나타내는 Hdiff와, 수직 방향의 에지의 크기 정도를 나타내는 Vdiff 중 큰 값을 나타낸다. 만일 Hdiff 와 Vdiff 중 큰 값이 thL보다 작다는 것은, 에지가 아니라는 것을 의미한다. 이러한 경우 w n 은 1이 되며, 이러한 1의 값을 가지는 w n 을 상기 수학식 17에 대입했을 경우 output Edge [h c][v c]부분은 0이 되어, 에지 영역에 대한 잡음 제거 후의 출력값 output[h c][v c]은 output Nonedge [h c][v c]이 된다.
이와 달리 Hdiff 와 Vdiff 중 큰 값이 thH보다 크다는 것은, 에지라는 것을 의미한다. 이러한 경우 w n 은 0이 되며, 이러한 0의 값을 가지는 w n 을 상기 수학식 17에 대입했을 경우 output Nonedge [h c][v c]부분은 0이 되어, 에지 영역에 대한 잡음 제거 후의 출력값 output[h c][v c]은 output Edge [h c][v c]이 된다. 여기서, output Edge [h c][v c]는 하기 수학식 1 9를 통해 구할 수 있으며, output Nonedge [h c][v c]는 하기 수학식 2O을 통해 구할 수 있다.
수학식 19
Figure PCTKR2011002460-appb-M000019
상기 수학식 19에서 에지일 경우의 출력값 output Edge [h c][v c]은 상기 수학식 12에서의 패턴 영역에서의 잡음 제거 후의 출력값을 나타내는 output P [h c][v c]이 된다. 즉, output Edge [h c][v c]을 구하기 위해 상기 수학식 12에서 설명한 바와 같이 중심 화소 G1의 수평 방향의 값 또는 중심 화소 G1의 수직 방향의 값 중 어느 하나가 이용된다. 이에 따라 도 9를 참조하면, 중심 화소 G1을 중심으로 수평 방향G1들의 평균값 또는 중심 화소 G1을 중심으로 수직 방향G1들의 평균값이 이용된다.
이와 달리 에지가 아닐 경우의 출력값 output Nonedge [h c][v c]은 하기 수학식 20과 같다.
수학식 20
Figure PCTKR2011002460-appb-M000020
상기 수학식 20에서, W Nonedge [h][v] 및 nor Nonedge 은 각각 하기 수학식 21 및 22에서와 같이 나타낼 수 있다. 이에 따라 도 9를 참조하면, 중심 화소 G1을 중심으로 인접한 G2들의 가중치 평균값이 이용된다.
여기에서 h와 v은 중심 화소에 따라 다르다. 중심 화소가 G1인 경우에는 (-2,-2), (-2,0), (-2,2), (0,-2), (0,0), (0,2), (2,-2), (2,0), (2,2), (-1,-1), (-1,1), (1,-1), (1,1)의 13개 값이고, 중심이 R 혹은 B 인 경우에는 (-2,-2), (-2,0), (-2,2), (0,-2), (0,0), (0,2), (2,-2), (2,0), (2,2)의 9개 값이다.
수학식 21
Figure PCTKR2011002460-appb-M000021
수학식 22
Figure PCTKR2011002460-appb-M000022
상기한 바와 같이 에지 영역이거나 중심 화소가 Green이 아닐 경우 수직 또는 수평 방향의 평균값을 이용하거나 G2값의 가중치 합을 이용하여 G1을 보상한다.
상기한 바와 같은 본 발명에 따르면, 평탄 영역에서는 Gr과 Gb간의 감도차를 보정할 수 있어 채널 감도에 의한 에러를 쉽게 제거할 수 있으며, 에지 영역에 대해서는 에지가 손상됨없이 잡음을 제거할 수 있어 잡음을 제거하는 데 있어 효율적이다.

Claims (17)

  1. 이미지 센서에서 발생되는 잡음을 제거하기 위한 방법에 있어서,
    베이어 패턴의 입력 영상에 대해 미리 정해진 마스크 단위로 중심 화소를 판단하는 과정과,
    상기 중심 화소가 그린(Green)에 속하는 G1 화소 또는 G2 화소일 경우 G1 중심 화소와 동일한 G1 화소들 간의 평균값과, 상기 G1 중심 화소와는 다른 G2 화소들 간의 평균값의 차이를 미리 정해진 감도차 임계값과 비교하는 과정과,
    상기 평균값들의 차이가 상기 감도차 임계값보다 작은 경우 상기 G1 화소와 상기 G2 화소 간의 감도차를 제거하는 과정과,
    상기 평균값들의 차이가 상기 감도차 임계값보다 큰 경우 방향성 에지를 제거하는 과정을 포함함을 특징으로 하는 잡음을 제거하기 위한 방법.
  2. 제1항에 있어서,
    상기 G1 화소가 Gb일 경우 상기 G2 화소는 Gr이며, 상기 G1 화소가 Gr일 경우 상기 G2 화소는 Gb인 것을 특징으로 하는 잡음을 제거하기 위한 방법.
  3. 제1항에 있어서, 상기 G1 화소와 상기 G2 화소 간의 감도차를 제거하는 과정은,
    상기 평균값들의 차이가 상기 감도차 임계값보다 작은 경우 감도차 발생 영역이라고 판단하는 과정과,
    상기 G1 중심 화소의 값과 상기 G2 화소들의 가중치 합의 평균을 사용하여 상기 감도차 발생 영역에 대한 잡음을 제거하는 과정임을 특징으로 하는 잡음을 제거하기 위한 방법.
  4. 제1항에 있어서, 상기 방향성 에지를 제거하는 과정은,
    상기 평균값들의 차이가 상기 감도차 임계값보다 작은 경우 패턴 영역이라고 판단하는 과정과,
    상기 G1 중심 화소를 중심으로 한 수평 방향의 G1 화소들 간의 평균값 또는 수직 방향의 G1 화소들 간의 평균값 중 어느 하나를 이용하여 상기 패턴 영역에 대한 잡음 제거를 수행하는 과정을 포함함을 특징으로 하는 잡음을 제거하기 위한 방법.
  5. 제4항에 있어서, 상기 패턴 영역에 대한 잡음 제거를 수행하는 과정은,
    수평 방향의 에지의 크기가 수직 방향의 에지의 크기보다 작은 경우 상기 수평 방향의 G1 화소들 간의 평균값을 이용하여 상기 잡음 제거를 수행하는 과정임을 특징으로 하는 잡음을 제거하기 위한 방법.
  6. 제4항에 있어서, 상기 패턴 영역에 대한 잡음 제거를 수행하는 과정은,
    수평 방향의 에지의 크기가 수직 방향의 에지의 크기보다 큰 경우 상기 수직 방향의 G1 화소들 간의 평균값을 이용하여 상기 잡음 제거를 수행하는 과정임을 특징으로 하는 잡음을 제거하기 위한 방법.
  7. 제1항에 있어서,
    상기 중심 화소가 그린(Green)에 속하는 G1 화소 또는 G2 화소일 경우 수평 방향의 에지의 크기와 수직 방향의 에지의 크기를 산출하는 과정과,
    상기 산출된 수평 방향의 에지의 크기와 수직 방향의 에지의 크기 중 큰 값을 미리 정해진 에지 영역 임계값과 비교하는 과정을 더 포함함을 특징으로 하는 잡음을 제거하기 위한 방법.
  8. 제7항에 있어서,
    상기 비교 결과 상기 큰 값이 상기 에지 영역 임계값보다 큰 경우 에지 영역이라고 판단하는 과정과,
    상기 G1 중심 화소를 중심으로 한 수평 방향의 G1 화소들 간의 평균값 또는 수직 방향의 G1 화소들 간의 평균값 중 어느 하나를 이용하여 상기 에지 영역에 대한 잡음 제거를 수행하는 과정을 더 포함함을 특징으로 하는 잡음을 제거하기 위한 방법.
  9. 제1항에 있어서,
    상기 중심 화소가 레드(Red) 또는 블루(Blue) 화소일 경우 상기 G2 화소들의 가중치 합의 평균을 사용하여 잡음을 제거하는 과정을 더 포함함을 특징으로 하는 잡음을 제거하기 위한 방법.
  10. 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치에 있어서,
    베이어 패턴의 입력 영상에 대해 미리 정해진 마스크 단위로 중심 화소를 판단하는 중심 화소 판단부와,
    상기 중심 화소가 그린(Green)에 속하는 G1 화소 또는 G2 화소일 경우 G1 중심 화소와 동일한 G1 화소들 간의 평균값과, 상기 G1 중심 화소와는 다른 G2 화소들 간의 평균값의 차이를 미리 정해진 감도차 임계값과 비교하는 감도 판단부와,
    상기 평균값들의 차이가 상기 감도차 임계값보다 작은 경우 상기 G1 화소와 상기 G2 간의 감도차를 제거하는 감도차 보정부와,
    상기 평균값들의 차이가 상기 감도차 임계값보다 큰 경우 방향성 에지를 제거하는 방향성 에지 잡음 제거 필터를 포함함을 특징으로 하는 잡음을 제거하기 위한 장치.
  11. 제10항에 있어서,
    상기 G1 화소가 Gb일 경우 상기 G2 화소는 Gr이며, 상기 G1 화소가 Gr일 경우 상기 G2 화소는 Gb인 것을 특징으로 하는 잡음을 제거하기 위한 장치.
  12. 제10항에 있어서, 상기 감도차 보정부는,
    상기 G1 중심 화소의 값과 상기 G2 화소들의 가중치 합의 평균을 사용하여 감도차 발생 영역에 대한 잡음을 제거함을 특징으로 하는 잡음을 제거하기 위한 장치.
  13. 제10항에 있어서, 상기 방향성 에지 잡음 제거 필터는,
    상기 G1 중심 화소를 중심으로 한 수평 방향의 G1 화소들 간의 평균값 또는 수직 방향의 G1 화소들 간의 평균값 중 어느 하나를 이용하여 패턴 영역에 대한 잡음 제거를 수행함을 특징으로 하는 잡음을 제거하기 위한 장치.
  14. 제13항에 있어서, 상기 방향성 에지 잡음 제거 필터는,
    수평 방향의 에지의 크기가 수직 방향의 에지의 크기보다 작은 경우 상기 수평 방향의 G1 화소들 간의 평균값을 이용하여 상기 잡음 제거를 수행함을 특징으로 하는 잡음을 제거하기 위한 장치.
  15. 제10항에 있어서,
    상기 중심 화소가 그린(Green)에 속하는 G1 화소 또는 G2 화소일 경우 수평 방향의 에지의 크기와 수직 방향의 에지의 크기를 산출하고, 상기 산출된 수평 방향의 에지의 크기와 수직 방향의 에지의 크기 중 큰 값을 미리 정해진 에지 영역 임계값과 비교함으로써 에지 영역 여부를 판단하는 에지 영역 판단부를 더 포함함을 특징으로 하는 잡음을 제거하기 위한 장치.
  16. 제15항에 있어서,
    상기 비교 결과 상기 큰 값이 상기 에지 영역 임계값보다 큰 경우 상기 G1 중심 화소를 중심으로 한 수평 방향의 G1 화소들 간의 평균값 또는 수직 방향의 G1 화소들 간의 평균값 중 어느 하나를 이용하여 에지 영역에 대한 잡음 제거를 수행하는 잡음 제거 필터를 더 포함함을 특징으로 하는 잡음을 제거하기 위한 장치.
  17. 제16항에 있어서, 상기 잡음 제거 필터는,
    상기 중심 화소가 레드(Red) 또는 블루(Blue) 화소일 경우 상기 G2 화소들의 가중치 합의 평균을 사용하여 잡음을 제거함을 특징으로 하는 잡음을 제거하기 위한 장치.
PCT/KR2011/002460 2010-04-07 2011-04-07 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법 WO2011126328A2 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US13/640,253 US9088685B2 (en) 2010-04-07 2011-04-07 Apparatus and method for removing noise generated from image sensor
EP11766179.3A EP2557798A4 (en) 2010-04-07 2011-04-07 DEVICE AND METHOD FOR REDUCING THE NOISE GENERATED BY A PICTOR SENSOR

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100031821A KR101665137B1 (ko) 2010-04-07 2010-04-07 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법
KR10-2010-0031821 2010-04-07

Publications (2)

Publication Number Publication Date
WO2011126328A2 true WO2011126328A2 (ko) 2011-10-13
WO2011126328A3 WO2011126328A3 (ko) 2012-01-05

Family

ID=44763425

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2011/002460 WO2011126328A2 (ko) 2010-04-07 2011-04-07 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법

Country Status (4)

Country Link
US (1) US9088685B2 (ko)
EP (1) EP2557798A4 (ko)
KR (1) KR101665137B1 (ko)
WO (1) WO2011126328A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9253412B2 (en) 2012-07-09 2016-02-02 Samsung Electronics Co., Ltd. Camera brightness control system, mobile device having the system, and camera brightness control method

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101361114B1 (ko) * 2012-07-12 2014-02-13 매크로영상기술(주) 디지털 영상을 위한 적응적 잡음 저감 시스템 및 그 방법
US10372292B2 (en) * 2013-03-13 2019-08-06 Microsoft Technology Licensing, Llc Semantic zoom-based navigation of displayed content
WO2015007200A1 (en) * 2013-07-15 2015-01-22 Mediatek Inc. Method of sample adaptive offset processing for video coding
US9613396B2 (en) * 2013-12-09 2017-04-04 Marvell World Trade Ltd. Method and apparatus for demosaicing of color filter array image
US9357193B2 (en) 2014-01-09 2016-05-31 Marvell World Trade Ltd. Method and apparatus for compensating for color imbalance in image data
US10416871B2 (en) * 2014-03-07 2019-09-17 Microsoft Technology Licensing, Llc Direct manipulation interface for data analysis
US10432932B2 (en) * 2015-07-10 2019-10-01 Mozilla Corporation Directional deringing filters
CN106911918B (zh) * 2015-12-23 2018-11-27 展讯通信（上海）有限公司 图像像素校正的方法及装置
KR102194447B1 (ko) * 2019-04-25 2020-12-23 주식회사 포바이포 디지털 영상 노이즈 제거 방법
KR102164998B1 (ko) * 2019-04-25 2020-10-13 주식회사 포바이포 디지털 영상 선예도 강화 방법

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5373322A (en) * 1993-06-30 1994-12-13 Eastman Kodak Company Apparatus and method for adaptively interpolating a full color image utilizing chrominance gradients
US6229578B1 (en) * 1997-12-08 2001-05-08 Intel Corporation Edge-detection based noise removal algorithm
JP4284754B2 (ja) * 1999-05-31 2009-06-24 ソニー株式会社 カラー撮像装置及びその制御方法
US6904169B2 (en) * 2001-11-13 2005-06-07 Nokia Corporation Method and system for improving color images
US8150407B2 (en) 2003-02-18 2012-04-03 Qualcomm Incorporated System and method for scheduling transmissions in a wireless communication system
US8705588B2 (en) 2003-03-06 2014-04-22 Qualcomm Incorporated Systems and methods for using code space in spread-spectrum communications
JP4610930B2 (ja) * 2003-06-05 2011-01-12 オリンパス株式会社 画像処理装置、画像処理プログラム
JP2005311962A (ja) 2004-04-26 2005-11-04 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム
JP4717371B2 (ja) 2004-05-13 2011-07-06 オリンパス株式会社 画像処理装置および画像処理プログラム
JP4388909B2 (ja) * 2005-04-25 2009-12-24 イーストマン コダック カンパニー 画素欠陥補正装置
US7956871B2 (en) * 2005-04-28 2011-06-07 Samsung Electronics Co., Ltd. Color disparity correction in image sensors methods and circuits
WO2007054931A2 (en) * 2005-11-10 2007-05-18 D-Blur Technologies Ltd. Image enhancement in the mosaic domain
US7929798B2 (en) * 2005-12-07 2011-04-19 Micron Technology, Inc. Method and apparatus providing noise reduction while preserving edges for imagers
KR100866187B1 (ko) 2007-02-22 2008-10-30 삼성전자주식회사 영역 적응적 방향성 색 보간 방법
US8063948B2 (en) * 2007-02-26 2011-11-22 Texas Instruments Incorporated Proximity-based system and method for reducing gain imbalance in a bayer pattern and digital camera employing the same
JP2008252397A (ja) * 2007-03-29 2008-10-16 Kyocera Corp 撮像データの処理方法及び撮像装置
JP4686496B2 (ja) 2007-03-30 2011-05-25 株式会社東芝 撮像装置
US7830428B2 (en) * 2007-04-12 2010-11-09 Aptina Imaging Corporation Method, apparatus and system providing green-green imbalance compensation
JP4863505B2 (ja) * 2007-08-07 2012-01-25 株式会社メガチップス 画像処理装置
JP5352191B2 (ja) * 2008-10-31 2013-11-27 三星電子株式会社 ノイズ低減装置、ノイズ低減方法及びプログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
None
See also references of EP2557798A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9253412B2 (en) 2012-07-09 2016-02-02 Samsung Electronics Co., Ltd. Camera brightness control system, mobile device having the system, and camera brightness control method

Also Published As

Publication number Publication date
KR101665137B1 (ko) 2016-10-12
EP2557798A2 (en) 2013-02-13
EP2557798A4 (en) 2014-01-22
WO2011126328A3 (ko) 2012-01-05
KR20110112619A (ko) 2011-10-13
US9088685B2 (en) 2015-07-21
US20130027590A1 (en) 2013-01-31

Similar Documents

Publication Publication Date Title
WO2011126328A2 (ko) 이미지 센서에서 발생되는 잡음을 제거하기 위한 장치 및 방법
US7164497B2 (en) Color image processing apparatus
US8576309B2 (en) Pixel defect correction device, imaging apparatus, pixel defect correction method, and program
US8508631B2 (en) Pixel defect detection and correction device, imaging apparatus, pixel defect detection and correction method, and program
US8115825B2 (en) Electronic device with two image sensors
US10348989B2 (en) Image processing device, image processing method, and image processing system
US7684615B2 (en) Signal correcting method
JP5664255B2 (ja) 画像処理装置、および画像処理方法、並びにプログラム
US9030579B2 (en) Image processing apparatus and control method that corrects a signal level of a defective pixel
WO2010032912A2 (en) Apparatus and method of interpolating image using region segmentation
US7471842B2 (en) Method and apparatus for dynamically detecting pixel values
WO2017099510A1 (ko) 영상 통계정보에 기반한 정지장면 분할장치 및 그 방법
WO2010074386A1 (ko) 이미지센서의 불량 픽셀 검출 및 보정 방법
WO2019245117A1 (ko) 디모자이킹 장치 및 그 방법, 이를 적용한 스테레오 카메라
EP2731335A1 (en) Imaging device, imaging method, and imaging program
WO2014051309A1 (en) Stereo matching apparatus using image property
WO2011129656A2 (en) Method and apparatus for image processing
WO2020055196A1 (en) Apparatus and methods for generating high dynamic range media, based on multi-stage compensation of motion
WO2016190698A1 (ko) 잡음 제거를 위한 가중 미디언 필터링 방법 및 장치
JP2006229626A (ja) 欠陥画素検出方法
JP2003158744A (ja) 画素キズ検出・補正装置およびそれを用いた撮像装置
JP4178919B2 (ja) ノイズ除去方法、撮像装置およびノイズ除去プログラム
WO2018216937A1 (ko) 듀얼 이미지 센서를 이용한 이미지 처리 방법 및 장치
WO2010053239A2 (en) System and method for reduction of block noise
TWI528817B (zh) 數位攝像裝置及其影像處理方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11766179

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13640253

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2011766179

Country of ref document: EP