KR100793289B1 - Lens shading correction device and method of image sensor - Google Patents
Lens shading correction device and method of image sensor Download PDFInfo
- Publication number
- KR100793289B1 KR100793289B1 KR1020060050216A KR20060050216A KR100793289B1 KR 100793289 B1 KR100793289 B1 KR 100793289B1 KR 1020060050216 A KR1020060050216 A KR 1020060050216A KR 20060050216 A KR20060050216 A KR 20060050216A KR 100793289 B1 KR100793289 B1 KR 100793289B1
- Authority
- KR
- South Korea
- Prior art keywords
- luminance
- reference image
- color information
- input
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 20
- 238000003705 background correction Methods 0.000 title claims abstract description 18
- 238000012937 correction Methods 0.000 claims abstract description 9
- 238000003709 image segmentation Methods 0.000 claims abstract description 6
- 235000019557 luminance Nutrition 0.000 description 96
- 238000010586 diagram Methods 0.000 description 6
- 239000004065 semiconductor Substances 0.000 description 5
- 239000003086 colorant Substances 0.000 description 3
- 230000006866 deterioration Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 239000003990 capacitor Substances 0.000 description 2
- 229910044991 metal oxide Inorganic materials 0.000 description 2
- 150000004706 metal oxides Chemical class 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/90—Dynamic range modification of images or parts thereof
- G06T5/94—Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/136—Segmentation; Edge detection involving thresholding
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Facsimile Image Signal Circuits (AREA)
- Image Processing (AREA)
Abstract
본 발명은 이미지 센서의 렌즈 셰이딩 보정방법 및 보정장치에 관한 것이다.The present invention relates to a method and a device for correcting lens shading of an image sensor.
이러한 본 발명에 따른 이미지 센서의 렌즈 셰이딩 보정장치는 기준영상을 이루는 기준영상블럭들의 휘도 대표값이 상기 기준영상블럭들 중 가장 높은 휘도 대표값을 갖는 기준영상블럭의 휘도 대표값이 되기 위한 휘도 가중치가 색상정보 별로 저장된 휘도 가중치 저장부와, 입력영상을 상기 기준영상블럭들에 대응하는 입력영상블럭들로 분할하는 입력영상 분할부 및 상기 입력영상블럭들에 포함된 입력픽셀의 휘도에 상기 입력영상블럭들에 대응하는 기준영상블럭들의 휘도 가중치를 곱하여 상기 색상정보 별로 상기 입력영상의 색상을 보정하는 입력영상 색상 보정부를 포함한다.In the lens shading correction apparatus of the image sensor according to the present invention, the luminance weight value for the luminance representative value of the reference image blocks forming the reference image to be the luminance representative value of the reference image block having the highest luminance representative value among the reference image blocks. A luminance weight storage unit stored for each color information, an input image divider for dividing an input image into input image blocks corresponding to the reference image blocks, and the luminance of the input pixel included in the input image blocks. And an input image color corrector configured to correct the color of the input image by the color information by multiplying the luminance weights of the reference image blocks corresponding to the blocks.
이러한 본 발명에 따르면, 이미지 센서의 렌즈 셰이딩 현상을 보상하여 이미지 센서의 품질을 향상시키는 효과가 있다.According to the present invention, there is an effect of improving the quality of the image sensor by compensating for the lens shading phenomenon of the image sensor.
렌즈 셰이딩, 입력영상 분할부, 휘도 가중치 저장부, 입력영상 색상 보정부, 휘도 가중치 Lens shading, input image segmentation unit, luminance weight storage unit, input image color correction unit, luminance weight
Description
도 1은 R, G, B 색상정보에 따른 렌즈 셰이딩 현상을 설명하기 위한 도면.1 is a view for explaining a lens shading phenomenon according to R, G, B color information.
도 2는 본 발명의 일 실시 예에 따른 이미지 센서의 렌즈 셰이딩 보정장치를 나타낸 도면.2 is a view showing a lens shading correction apparatus of an image sensor according to an embodiment of the present invention.
도 3은 본 발명의 일 실시 예에 따라 영상을 분할하는 일례를 나타낸 도면.3 is a diagram illustrating an example of segmenting an image according to an exemplary embodiment.
도 4는 입력픽셀의 휘도를 결정하기 위한 방법을 나타낸 도면.4 illustrates a method for determining the luminance of an input pixel.
도 5는 본 발명의 일 실시 예에 따른 이미지 센서의 렌즈 셰이딩 보정방법을 나타낸 도면.5 is a diagram illustrating a lens shading correction method of an image sensor according to an exemplary embodiment.
도 6은 렌즈 셰이딩 보정전의 영상을 나타낸 도면.6 shows an image before lens shading correction;
도 7은 본 발명에 따라 렌즈 셰이딩 보정된 영상을 나타낸 도면.7 is a view showing a lens shading corrected image according to the present invention.
*** 도면의 주요부분에 대한 부호의 설명 ****** Explanation of symbols for main parts of drawing ***
220 : 휘도 가중치 저장부 230 : 입력영상 분할부220: luminance weight storage unit 230: input image segmentation unit
240 : 입력영상 색상 보정부240: input image color correction unit
본 발명은 이미지 센서의 렌즈 셰이딩 보정방법 및 보정장치에 관한 것이다.The present invention relates to a method and a device for correcting lens shading of an image sensor.
이미지 센서란 반도체가 빛에 반응하는 성질을 이용하여, 이미지를 촬영하는 장치로서, 각각의 피사체에서 나오는 각기 다른 빛의 밝기 및 파장을 화소가 감지하여 전기적인 값으로 전환하는 장치이다. 이러한 전기적인 값을 신호 처리가 가능한 레벨로 변환하여 주는 것이 바로 이미지 센서의 역할이다.An image sensor is a device that photographs an image by using a semiconductor's response to light. The image sensor is a device that detects brightness and wavelengths of different light emitted from each object and converts the light into an electric value. It is the role of the image sensor to convert these electrical values into a level capable of signal processing.
즉, 이미지 센서라 함은 광학 이미지를 전기적인 신호로 변환시키는 반도체 소자로서, 이중 전하 결합 소자(Charge Coupled Device; CCD)는 개개의 모스(Metal Oxide Semiconductor; MOS) 커패시터가 서로 매우 근접한 위치에 있으면서 전하가 커패시터에 저장되고 이송되는 소자이며, CMOS(Complementary Metal Oxide Semiconductor) 이미지 센서는 제어 회로 및 신호 처리 회로를 주변 회로로 사용하는 CMOS 기술을 이용하고, 화소 수만큼 MOS 트랜지스터를 형성하여 이용함으로써 차례차례 출력을 검출하는 스위칭 방식을 채용하는 소자이다.In other words, an image sensor is a semiconductor device that converts an optical image into an electrical signal, and a charge coupled device (CCD) is a device in which individual metal oxide semiconductor (MOS) capacitors are located very close to each other. A device in which charge is stored and transferred to a capacitor, and a complementary metal oxide semiconductor (CMOS) image sensor uses CMOS technology that uses a control circuit and a signal processing circuit as peripheral circuits, and forms and uses MOS transistors by the number of pixels. It is a device that adopts a switching method for detecting an output in turn.
이러한 CMOS 이미지 센서는 저전력 소비라는 큰 장점을 가지고 있기 때문에 휴대폰 등과 같은 개인 휴대용 시스템에 매우 유용하다. 따라서 CMOS 이미지 센서는 PC 카메라, 의학용, 완구용 등 다양하게 그 응용이 가능하다.These CMOS image sensors have the great advantage of low power consumption, which is very useful for personal portable systems such as mobile phones. Therefore, the CMOS image sensor can be used for various applications such as a PC camera, medical, and toy.
한편, 이미지 센서는 일반적으로 렌즈를 통하여 피사체의 광학이미지를 촬영하는데, 렌즈의 볼록한 형상의 영향 등으로 촬영된 영상의 가장자리 영역의 휘도가 중심영역의 휘도보다 저하되는 렌즈 셰이딩 현상이 발생하는 문제점이 있다.On the other hand, the image sensor generally photographs the optical image of the subject through the lens, the lens shading phenomenon in which the brightness of the edge area of the image is lower than the brightness of the center area due to the influence of the convex shape of the lens, etc. occurs. have.
이러한 렌즈 셰이딩의 크기는 피사체에서 나오는 빛의 파장에 따라 다르다.The size of this lens shading depends on the wavelength of light coming from the subject.
도 1은 이러한 R, G, B 색상정보에 따른 렌즈 셰이딩 현상을 설명하기 위한 도면이다.1 is a view for explaining a lens shading phenomenon according to the R, G, B color information.
도 1을 참조하면, 피사체에서 나오는 빛이 렌즈를 투과하면서 렌즈의 중심영역에 비하여 렌즈의 가장자리 영역의 휘도가 저하되고, 휘도 저하의 정도는 빛의 파장에 대한 정보를 반영하는 R, G, B 색상정보에 따라 다르다는 것을 알 수 있다.Referring to FIG. 1, while the light from the subject passes through the lens, the luminance of the edge region of the lens is lowered compared to the center region of the lens, and the degree of the luminance decrease reflects information on the wavelength of light. It can be seen that it depends on the color information.
이와 같이 R, G, B 색상정보에 따라 가장자리 영역의 휘도 저하의 크기가 다른 빛이 이미지 센서로 입사되면, 1) 표시되는 영상의 가장자리 영역의 휘도가 저하되는 문제점이 발생한다. 2) 렌즈의 중심영역에 해당하는 영상영역에서는 R, G, B 색상정보에 따른 계조 표현이 가능하나, 렌즈의 가장자리영역에 해당하는 영상영역에서는 R, G, B 색상정보에 따른 계조 표현이 왜곡되어 정확한 색상을 표현할 수 없고, 격자 노이즈가 증가하는 문제점이 있다.As described above, when light having different magnitudes of deterioration in the edge area is incident on the image sensor according to R, G, and B color information, 1) a problem of deterioration in the luminance of the edge area of the displayed image occurs. 2) In the image area corresponding to the center area of the lens, gradation can be expressed according to R, G, B color information, but in the image area corresponding to the edge area of the lens, gradation expression according to R, G, B color information is distorted There is a problem that can not represent the correct color, the grid noise is increased.
다음 표 1 및 표 2는 격자 노이즈를 설명하기 위한 것이다.Table 1 and Table 2 below are for explaining the grid noise.
표 1 및 표 2를 통하여 알 수 있는 바와 같이, 렌즈의 중심 영역에 해당하는 영상영역에서는 Gr, Gb 색상 정보에 따른 휘도가 거의 일치하여 격자 노이즈가 생기지 않으나, 렌즈의 가장자리 영역에 해당하는 영상영역에서는 Gr, Gb 색상 정보에 따른 휘도의 차이가 심하여 격자 노이즈가 생긴다.As can be seen from Table 1 and Table 2, in the image region corresponding to the center region of the lens, the luminance according to Gr and Gb color information is almost matched so that no grid noise occurs, but the image region corresponding to the edge region of the lens. In the case of a large difference in luminance according to Gr and Gb color information, a grid noise occurs.
이러한 렌즈 셰이딩 현상은 이미지 센서의 품질을 저하시키는 주요한 요인으로 작용한다.This lens shading phenomenon is a major factor that degrades the quality of the image sensor.
따라서 본 발명은 표시되는 영상의 가장자리 영역의 휘도가 저하되는 문제점을 해결하여, 이미지 센서의 품질을 향상시키는 이미지 센서의 렌즈 셰이딩 보정장치와 그 보정방법을 제공하는 것을 목적으로 한다.Accordingly, an object of the present invention is to provide a lens shading correcting apparatus for an image sensor and a method of correcting the same, which solve the problem of deterioration in luminance of an edge region of an image to be displayed.
또한 본 발명은 렌즈의 가장자리영역에 해당하는 영상영역에서 R, G, B 색상정보에 따른 계조 표현이 왜곡되는 문제점을 해결하여, 렌즈의 가장자리영역에 해당하는 영상영역에서 정확한 색상을 표현하고, 격자 노이즈를 줄이는 이미지 센서 의 렌즈 셰이딩 보정장치와 그 보정방법을 제공하는 것을 목적으로 한다.In addition, the present invention solves the problem that the gradation representation according to the R, G, B color information is distorted in the image region corresponding to the edge region of the lens, thereby expressing accurate colors in the image region corresponding to the edge region of the lens, An object of the present invention is to provide a lens shading correction device for an image sensor and a method for correcting the noise.
이러한 기술적 과제를 해결하기 위한 본 발명에 따른 이미지 센서의 렌즈 셰이딩 보정장치는 기준영상을 이루는 기준영상블럭들의 휘도 대표값이 상기 기준영상블럭들 중 가장 높은 휘도 대표값을 갖는 기준영상블럭의 휘도 대표값이 되기 위한 휘도 가중치가 색상정보 별로 저장된 휘도 가중치 저장부와, 입력영상을 상기 기준영상블럭들에 대응하는 입력영상블럭들로 분할하는 입력영상 분할부 및 상기 입력영상블럭들에 포함된 입력픽셀의 휘도에 상기 입력영상블럭들에 대응하는 기준영상블럭들의 휘도 가중치를 곱하여 상기 색상정보 별로 상기 입력영상의 색상을 보정하는 입력영상 색상 보정부를 포함한다.Lens shading correction apparatus of the image sensor according to the present invention for solving the technical problem is the luminance representative of the reference image block of the reference image blocks of the reference image block forming the reference image has the highest luminance representative value among the reference image blocks. A luminance weight storage unit storing luminance weights for each color information for each color information, an input image divider for dividing an input image into input image blocks corresponding to the reference image blocks, and an input pixel included in the input image blocks. And an input image color corrector configured to correct the color of the input image by the color information by multiplying the luminance by the luminance weights of the reference image blocks corresponding to the input image blocks.
상기 색상정보는 R, G, B 색상정보 또는 R, Gr, Gb, B 색상정보인 것이 바람직하다.The color information is preferably R, G, B color information or R, Gr, Gb, B color information.
상기 기준영상은 단색영상인 것이 바람직하다.The reference image is preferably a monochrome image.
상기 기준영상블록의 휘도 대표값은 상기 기준영상블록에 포함된 기준영상픽셀들의 휘도값들의 평균값인 것이 바람직하다.The representative luminance value of the reference image block is preferably an average value of luminance values of reference image pixels included in the reference image block.
상기 입력픽셀의 휘도는 상기 입력픽셀이 포함된 입력영상블럭의 4개의 모서리부분의 휘도를 선형 보간하여 결정하는 것이 바람직하다.The luminance of the input pixel may be determined by linearly interpolating the luminance of four corners of the input image block including the input pixel.
본 발명에 따른 이미지 센서의 렌즈 셰이딩 보정방법은 기준영상을 이루는 기준영상블럭들의 휘도 대표값이 상기 기준영상블럭들 중 가장 높은 휘도 대표값을 갖는 기준영상블럭의 휘도 대표값이 되기 위한 휘도 가중치를 색상정보 별로 저장하는 휘도 가중치 저장단계와, 입력영상을 상기 기준영상블럭들에 대응하는 입력영상블럭들로 분할하는 입력영상 분할단계 및 상기 입력영상블럭들에 포함된 입력픽셀의 휘도에 상기 입력영상블럭들에 대응하는 기준영상블럭들의 휘도 가중치를 곱하여 상기 색상정보 별로 상기 입력영상의 색상을 보정하는 입력영상 색상 보정단계를 포함한다.The lens shading correction method of the image sensor according to the present invention uses a luminance weight value such that the luminance representative value of the reference image blocks constituting the reference image becomes the luminance representative value of the reference image block having the highest luminance representative value among the reference image blocks. A luminance weight storing step of storing color information for each color information, an input image segmentation step of dividing an input image into input image blocks corresponding to the reference image blocks, and the luminance of the input pixel included in the input image blocks And correcting the color of the input image by the color information by multiplying the luminance weights of the reference image blocks corresponding to the blocks.
상기 색상정보는 R, G, B 색상정보 또는 R, Gr, Gb, B 색상정보인 것이 바람직하다.The color information is preferably R, G, B color information or R, Gr, Gb, B color information.
상기 기준영상은 단색영상인 것이 바람직하다.The reference image is preferably a monochrome image.
상기 기준영상블록의 휘도 대표값은 상기 기준영상블록에 포함된 기준영상픽셀들의 휘도값들의 평균값인 것이 바람직하다.The representative luminance value of the reference image block is preferably an average value of luminance values of reference image pixels included in the reference image block.
상기 입력픽셀의 휘도는 상기 입력픽셀이 포함된 입력영상블럭의 4개의 모서리부분의 휘도를 선형 보간하여 결정하는 것이 바람직하다.The luminance of the input pixel may be determined by linearly interpolating the luminance of four corners of the input image block including the input pixel.
이하에서는 첨부된 도면을 참조하여 본 발명의 바람직한 실시 예를 상세히 설명한다.Hereinafter, with reference to the accompanying drawings will be described a preferred embodiment of the present invention;
도 2는 본 발명의 일 실시 예에 따른 이미지 센서의 렌즈 셰이딩 보정장치를 나타낸 도면이다.2 is a diagram illustrating an apparatus for correcting lens shading of an image sensor according to an exemplary embodiment.
도 2에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 이미지 센서의 렌즈 셰이딩 보정장치(20)는 휘도 가중치 저장부(220), 입력영상 분할부(230), 입력영상 색상 보정부(240)를 포함한다.As shown in FIG. 2, the lens shading correcting
본 발명의 일 실시 예에 따른 이미지 센서의 렌즈 셰이딩 보정장치(20)를 설명하기에 앞서, 센서부(210)에 대하여 설명한다.Prior to describing the lens shading correcting
센서부(210)는 도시하지는 않았으나, 칼라 필터 어레이(Color Filter Array), 아날로그 디지털 컨버터, 렌즈부 등을 포함할 수 있다.Although not shown, the
칼라 필터 어레이는 렌즈부를 통해 입력되는 광학적 피사체 신호를 전기적인 신호로 변환하여 출력한다. 이때, 칼라 필터 어레이는 해상도면에서 유리한 베이어(Bayer) 패턴을 사용할 수 있다.The color filter array converts an optical object signal input through the lens unit into an electrical signal and outputs the electrical signal. In this case, the color filter array may use a Bayer pattern which is advantageous in terms of resolution.
아날로그 디지털 컨버터는 칼라 필터 어레이에 의해 변환된 영상 신호를 디지털 신호로 변환하여 본 발명의 일 실시 예에 따른 렌즈 셰이딩 보정장치(20)로 전달한다.The analog-to-digital converter converts the image signal converted by the color filter array into a digital signal and transfers it to the lens shading correcting
휘도 가중치 저장부(220)에는 기준영상을 이루는 기준영상블럭들의 휘도 대표값이 기준영상블럭들 중 가장 높은 휘도 대표값을 갖는 기준영상블럭의 휘도 대표값이 되기 위한 휘도 가중치가 색상정보 별로 저장되어 있다.In the luminance
이러한 색상정보는 R, G, B 색상정보 또는 R, Gr, Gb, B 색상정보인 것이 바람직하다.Such color information is preferably R, G, B color information or R, Gr, Gb, B color information.
기준영상은 단색영상인 것이 바람직하다.The reference image is preferably a monochrome image.
이러한 기준영상은 백색의 복사용지와 같이 표면이 균일하여 전체 표면에서 균일한 광량이 나오는 피사체를 촬영하여 획득할 수 있다.Such a reference image may be obtained by photographing a subject having a uniform surface such as white copy paper and having a uniform amount of light on the entire surface.
단색영상의 하나의 예로, 백색 종이를 촬영한 백색 영상이 있을 수 있다.As an example of the monochrome image, there may be a white image photographed with white paper.
도 3의 (a)에 기준영상을 분할하는 일례가 도시되어 있다.FIG. 3A illustrates an example of dividing a reference image.
도 3의 (a)에 도시된 바와 같이, 기준 영상은 가로 m, 세로 n개의 기준영상블럭들(R11, R12, ..., Rmn)로 분할된다.As shown in FIG. 3A, the reference image is divided into horizontal m and vertical n reference image blocks R11, R12,..., Rmn.
하나의 예로, 가로 32, 세로 24개로 분할하여 총 768개의 기준영상블럭들로 분할할 수 있다.For example, the display device may be divided into 32 horizontally and 24 vertically and divided into a total of 768 reference image blocks.
기준영상블럭들(R11, R12,..., Rmn)의 휘도 대표값들을 결정하고, 가장 높은 휘도 대표값을 기준으로 기준영상블럭들(R11, R12, ..., Rmn)의 휘도 가중치를 결정하여 반도체 칩 등과 같은 기록매체에 저장한다. The luminance representative values of the reference image blocks R11, R12, ..., Rmn are determined, and the luminance weights of the reference image blocks R11, R12, ..., Rmn are determined based on the highest luminance representative value. And store in a recording medium such as a semiconductor chip.
이때, 휘도 가중치는 색상정보 별로 결정하여 저장한다.In this case, the luminance weight is determined and stored for each color information.
예를 들어, R, G, B 색상정보 또는 R, Gr, Gb, B 색상정보마다 각각 휘도 가중치를 결정하여 저장한다.For example, the luminance weight is determined and stored for each of the R, G, B color information or the R, Gr, Gb, and B color information.
기준영상블럭의 휘도 대표값은 기준영상블럭에 포함된 기준영상픽셀들의 휘도값들을 평균하여 결정하는 것이 바람직하다.The luminance representative value of the reference image block is preferably determined by averaging the luminance values of the reference image pixels included in the reference image block.
기준영상블럭들(R11, R12, ..., Rmn)의 휘도 가중치를 R, Gr, Gb, B 색상정보마다 결정하는 방식을 예로 들어 설명한다.A method of determining the luminance weights of the reference image blocks R11, R12, ..., Rmn for each of the R, Gr, Gb, and B color information will be described as an example.
다음 수학식 1은 R 색상정보에 따른 기준영상블럭들(R11, R12, ..., Rmn)의 휘도 가중치를 나타낸 것이다.Equation 1 shows luminance weights of reference image blocks R11, R12, ..., Rmn according to R color information.
, ARx,y는 가로 x번째, 세로 y번째 기준영상블럭의 R 색상정보 휘도 가중치, BRmax는 기준영상블럭들(R11, R12, ..., Rmn)의 R 색상정보 휘도 대표값 중 가장 높은 R 색상정보 휘도 대표값, BRx,y는 가로 x번째, 세로 y번째 기준영상블럭의 R 색상정보 휘도 대표값이다., ARx, y are the R color information luminance weights of the horizontal x-th and vertical y-th reference image blocks, and BRmax is the highest R among the R color information luminance representative values of the reference image blocks R11, R12, ..., Rmn. The color information luminance representative values BRx, y are R color information luminance representative values of the horizontal x-th and vertical y-th reference image blocks.
다음 수학식 2는 Gr 색상정보에 따른 기준영상블럭들(R11, R12, ..., Rmn)의 휘도 가중치를 나타낸 것이다.Equation 2 shows luminance weights of reference image blocks R11, R12, ..., Rmn according to Gr color information.
, AGrx,y는 가로 x번째, 세로 y번째 기준영상블럭의 Gr 색상정보 휘도 가중치, BGrmax는 기준영상블럭들(R11, R12, ..., Rmn)의 Gr 색상정보 휘도 대표값 중 가장 높은 Gr 색상정보 휘도 대표값, BGrx,y는 가로 x번째, 세로 y번째 기준영상블럭의 Gr 색상정보 휘도 대표값이다., AGrx, y are Gr color information luminance weights of the horizontal x-th and vertical y-th reference video blocks, and BGrmax is Gr, the highest among Gr color information luminance representative values of the reference image blocks R11, R12, ..., Rmn. The color information luminance representative values, BGrx, y, represent the Gr color information luminance representative values of the horizontal x-th and vertical y-th reference image blocks.
다음 수학식 3은 Gb 색상정보에 따른 기준영상블럭들(R11, R12, ..., Rmn)의 휘도 가중치를 나타낸 것이다.Equation 3 shows luminance weights of reference image blocks R11, R12, ..., Rmn according to Gb color information.
, AGbx,y는 가로 x번째, 세로 y번째 기준영상블럭의 Gb 색상정보 휘도 가중치, BGbmax는 기준영상블럭들(R11, R12, ..., Rmn)의 Gb 색상정보 휘도 대표값 중 가장 높은 Gb 색상정보 휘도 대표값, BGbx,y는 가로 x번째, 세로 y번째 기준영상블럭의 Gb 색상정보 휘도 대표값이다., AGbx, y are the Gb color information luminance weights of the horizontal x-th and vertical y-th reference image blocks, and BGbmax is the highest Gb of the Gb color information luminance representative values of the reference image blocks R11, R12, ..., Rmn. The color information luminance representative values, BGbx and y, represent the Gb color information luminance representative values of the horizontal x-th and vertical y-th reference image blocks.
다음 수학식 4는 B 색상정보에 따른 기준영상블럭들(R11, R12, ..., Rmn)의 휘도 가중치를 나타낸 것이다.Equation 4 shows luminance weights of reference image blocks R11, R12, ..., Rmn according to B color information.
, ABx,y는 가로 x번째, 세로 y번째 기준영상블럭의 B 색상정보 휘도 가중치, BBmax는 기준영상블럭들(R11, R12, ..., Rmn)의 B 색상정보 휘도 대표값 중 가장 높은 B 색상정보 휘도 대표값, BBx,y는 가로 x번째, 세로 y번째 기준영상블럭의 B 색상정보 휘도 대표값이다., ABx, y is the B color information luminance weight of the horizontal x-th and y-th reference video blocks, and BBmax is the highest B among the B color information luminance representative values of the reference image blocks R11, R12, ..., Rmn. The color information luminance representative values, BBx and y, represent the B color information luminance representative values of the horizontal x-th and vertical y-th reference image blocks.
입력영상 분할부(230)는 입력영상을 기준영상블럭들(R11, R12, ..., Rmn)에 대응하도록 블록화하여 입력영상블럭들로 분할한다.The input
도 3의 (b)에 입력영상을 블록화하여 분할하는 일례가 도시되어 있다.3B illustrates an example of dividing and dividing an input image.
도 3의 (b)에 도시된 바와 같이, 입력영상은 기준영상과 같이, 가로 m, 세로 n개의 입력영상블럭들(I11, I12, ..., Imn)로 분할된다.As shown in (b) of FIG. 3, the input image is divided into horizontal m and vertical n input image blocks I11, I12,..., Imn, like the reference image.
예를 들어, 기준영상블럭 R12는 입력영상블럭 I12에 대응한다.For example, the reference image block R12 corresponds to the input image block I12.
입력영상 색상 보정부(240)는 입력영상블럭들(I11, I12, ..., Imn)에 포함된 입력픽셀의 휘도에 입력영상블럭들(I11, I12, ..., Imn)에 대응되는 기준영상블럭 들(R11, R12, ..., Rmn)의 휘도 가중치(A11, A12, ..., Amn)를 곱하여 색상정보 별로 입력영상의 휘도를 보정한다.The input
입력픽셀의 휘도를 R, Gr, Gb, B 색상정보마다 결정하는 방식을 예로 들어 설명한다.A method of determining the luminance of the input pixel for each of R, Gr, Gb, and B color information will be described as an example.
다음 수학식 5는 R 색상정보에 따른 입력픽셀의 보정 휘도를 나타낸 것이다.Equation 5 shows the corrected luminance of the input pixel according to the R color information.
, CBRpixel은 입력픽셀의 R 색상정보에 따른 보정된 휘도, BRpixel는 입력픽셀의 R 색상정보에 따른 보정전의 휘도, ARxy는 입력픽셀이 속한 입력영상블럭(Ixy)에 대응하는 기준영상블럭(Rxy)의 R 색상정보 휘도 가중치이다., CBRpixel is the luminance corrected according to the R color information of the input pixel, BRpixel is the luminance before correction according to the R color information of the input pixel, ARxy is the reference image block Rxy corresponding to the input image block Ixy to which the input pixel belongs. Is the R color information luminance weight.
다음 수학식 6은 Gr 색상정보에 따른 입력픽셀의 보정 휘도를 나타낸 것이다.Equation 6 shows the corrected luminance of the input pixel according to the Gr color information.
, CBGrpixel은 입력픽셀의 Gr 색상정보에 따른 보정된 휘도, BGrpixel는 입력픽셀의 Gr 색상정보에 따른 보정전의 휘도, AGrxy는 입력픽셀이 속한 입력영상블럭(Ixy)에 대응하는 기준영상블럭(Rxy)의 Gr 색상정보 휘도 가중치이다., CBGrpixel is the corrected luminance according to Gr color information of the input pixel, BGrpixel is the luminance before correction according to the Gr color information of the input pixel, AGrxy is the reference image block (Rxy) corresponding to the input image block (Ixy) to which the input pixel belongs. Gr color information luminance weight of.
다음 수학식 7은 Gb 색상정보에 따른 입력픽셀의 보정 휘도를 나타낸 것이다.Equation 7 shows correction luminance of an input pixel according to Gb color information.
, CBGbpixel은 입력픽셀의 Gb 색상정보에 따른 보정된 휘도, BGbpixel는 입력픽셀의 Gb 색상정보에 따른 보정전의 휘도, AGbxy는 입력픽셀이 속한 입력영상블럭(Ixy)에 대응하는 기준영상블럭(Rxy)의 Gb 색상정보 휘도 가중치이다., CBGbpixel is the corrected luminance according to the Gb color information of the input pixel, BGbpixel is the luminance before correction according to the Gb color information of the input pixel, and AGbxy is the reference image block (Rxy) corresponding to the input image block (Ixy) to which the input pixel belongs. Gb color information luminance weight of.
다음 수학식 8은 B 색상정보에 따른 입력픽셀의 보정 휘도를 나타낸 것이다.Equation 8 shows correction luminance of an input pixel according to B color information.
, CBBpixel은 입력픽셀의 B 색상정보에 따른 보정된 휘도, BBpixel는 입력픽셀의 B 색상정보에 따른 보정전의 휘도, ABxy는 입력픽셀이 속한 입력영상블럭(Ixy)에 대응하는 기준영상블럭(Rxy)의 B 색상정보 휘도 가중치이다., CBBpixel is the luminance corrected according to the B color information of the input pixel, BBpixel is the luminance before correction according to the B color information of the input pixel, ABxy is the reference image block Rxy corresponding to the input image block Ixy to which the input pixel belongs. Is the color information luminance weight of B.
입력픽셀의 휘도(Bpixel)는 입력픽셀이 속한 입력영상블럭의 4개의 모서리 부분의 휘도를 선형 보간하여 결정하는 것이 바람직하다.The luminance Bpixel of the input pixel is preferably determined by linearly interpolating the luminance of four corners of the input image block to which the input pixel belongs.
도 4에 이러한 방법이 간략히 도시되어 있다.This method is briefly shown in FIG.
도 4에 도시된 바와 같이, A, B, C, D 4개의 모서리부분의 휘도를 측정하고, 측정된 4개의 휘도값과 입력픽셀과 모서리부분의 거리를 반영하는 h1, h2, V1, V2를 변수로 하여 2차원 선형 보간하여 결정한다.As shown in FIG. 4, the luminances of four corners of A, B, C, and D are measured, and h1, h2, V1, and V2 reflecting the measured four luminance values and the distance between the input pixel and the corner portion. It is determined by two-dimensional linear interpolation as a variable.
이상에서 상세히 설명한 바와 같이 하여, 본 발명은 입력픽셀의 휘도가 색상정보 별로 보정되어 표시부(250)를 통하여 디스플레이됨으로써, 렌즈의 가장자리영역에 해당하는 영상영역에서 R, G, B 색상정보 또는 R, Gr, Gb,B 색상정보에 따른 계조 표현이 왜곡되는 문제점을 해결하여, 렌즈의 가장자리영역에 해당하는 영상영역에서 정확한 색상을 표현하고, 격자 노이즈를 줄이는 이미지 센서의 렌즈 셰이딩 보정장치를 제공한다.As described above in detail, according to the present invention, the luminance of the input pixel is corrected for each color information and displayed through the
도 6은 렌즈 셰이딩 보정전의 영상을 나타낸 도면이고, 도 7은 본 발명에 따라 렌즈 셰이딩 보정된 영상을 나타낸 도면이다.6 is a diagram illustrating an image before lens shading correction, and FIG. 7 is a diagram showing an image of lens shading correction according to the present invention.
도 6 및 도 7을 통해 알 수 있는 바와 같이, 렌즈의 가장자리영역에 해당하는 영상영역에서의 색상 표현력이 향상되고, 격자 노이즈가 줄어든 것을 확인할 수 있다.As can be seen through FIGS. 6 and 7, it can be seen that the color expression power in the image region corresponding to the edge region of the lens is improved and the grid noise is reduced.
도 5는 본 발명의 일 실시 예에 따른 이미지 센서의 렌즈 셰이딩 보정방법을 나타낸 도면이다.5 is a diagram illustrating a lens shading correction method of an image sensor according to an exemplary embodiment.
도 5에 도시된 바와 같이, 본 발명의 일 실시 예에 따른 이미지 센서의 렌즈 셰이딩 보정방법은 기준영상을 이루는 기준영상블럭들의 휘도 대표값이 상기 기준영상블럭들 중 가장 높은 휘도 대표값을 갖는 기준영상블럭의 휘도 대표값이 되기 위한 휘도 가중치를 색상정보 별로 저장하는 휘도 가중치 저장단계(310)와, 입력영상을 상기 기준영상블럭들에 대응하는 입력영상블럭들로 분할하는 입력영상 분할단계(320) 및 상기 입력영상블럭들에 포함된 입력픽셀의 휘도에 상기 입력영상블럭들 에 대응하는 기준영상블럭들의 휘도 가중치를 곱하여 상기 색상정보 별로 상기 입력영상의 색상을 보정하는 입력영상 색상 보정단계(330)를 포함한다.As shown in FIG. 5, in the method of correcting lens shading of an image sensor according to an exemplary embodiment, a luminance representative value of reference image blocks constituting a reference image has a reference value having the highest luminance representative value among the reference image blocks. A luminance
본 발명의 일 실시 예에 따른 이미지 센서의 렌즈 셰이딩 보정방법은 앞서 상세히 설명한 본 발명의 일 실시 예에 따른 이미지 센서의 렌즈 셰이딩 보정장치와 기본원리에 있어서 유사하므로 상세한 설명은 렌즈 셰이딩 보정장치에 대한 설명으로 대체한다.Since the lens shading correction method of the image sensor according to an embodiment of the present invention is similar in principle to the lens shading correction apparatus of the image sensor according to an embodiment of the present invention described in detail above, the detailed description of the lens shading correction apparatus will be described. Replace with a description.
이상 첨부된 도면을 참조하여 본 발명의 실시 예들을 설명하였지만, 상술한 본 발명의 기술적 구성은 본 발명이 속하는 기술 분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. Although the embodiments of the present invention have been described above with reference to the accompanying drawings, the technical configuration of the present invention described above may be modified in other specific forms by those skilled in the art without changing the technical spirit or essential features of the present invention. It will be appreciated that it may be practiced.
그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해되어야 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Therefore, the exemplary embodiments described above are to be understood as illustrative and not restrictive in all respects, and the scope of the present invention is indicated by the following claims rather than the detailed description, and the meaning and scope of the claims and All changes or modifications derived from the equivalent concept should be interpreted as being included in the scope of the present invention.
이상에서 상세히 설명한 바와 같이 본 발명의 렌즈 셰이딩 보정장치와 그 조정방법에 따르면, 표시되는 영상의 가장자리 영역의 휘도가 저하되는 문제점을 해 결하여, 이미지 센서의 품질을 향상시키는 효과가 있다.According to the lens shading correcting apparatus and the adjusting method of the present invention as described in detail above, it is possible to solve the problem that the brightness of the edge region of the displayed image is reduced, thereby improving the quality of the image sensor.
또한 렌즈의 가장자리영역에 해당하는 영상영역에서 R, G, B 색상정보에 따른 계조 표현이 왜곡되는 문제점을 해결하여, 렌즈의 가장자리영역에 해당하는 영상영역에서 정확한 색상을 표현하고, 격자 노이즈를 줄이는 효과가 있다.In addition, it solves the problem that the gradation representation according to R, G, B color information is distorted in the image region corresponding to the edge region of the lens, expressing accurate colors in the image region corresponding to the edge region of the lens, and reducing the grid noise. It works.
Claims (10)
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060050216A KR100793289B1 (en) | 2006-06-05 | 2006-06-05 | Lens shading correction device and method of image sensor |
| US11/756,352 US7834925B2 (en) | 2006-06-05 | 2007-05-31 | Lens shading correction device and method in image sensor |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060050216A KR100793289B1 (en) | 2006-06-05 | 2006-06-05 | Lens shading correction device and method of image sensor |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20070116327A KR20070116327A (en) | 2007-12-10 |
| KR100793289B1 true KR100793289B1 (en) | 2008-01-10 |
Family
ID=39142139
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020060050216A KR100793289B1 (en) | 2006-06-05 | 2006-06-05 | Lens shading correction device and method of image sensor |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100793289B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100114343A (en) * | 2009-04-15 | 2010-10-25 | 삼성전자주식회사 | Apparatus for correcting channel sensitivity and lens shading of a photographed image and method thereof |
| CN103377467A (en) * | 2012-04-25 | 2013-10-30 | 华晶科技股份有限公司 | Image compensation method |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN112532957B (en) * | 2020-11-25 | 2022-08-26 | 展讯通信（上海）有限公司 | Image processing method and device |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004032139A (en) | 2002-06-24 | 2004-01-29 | Ricoh Co Ltd | Shading correcting method, image reader and image forming device |
| JP2004282160A (en) | 2003-03-12 | 2004-10-07 | Ricoh Co Ltd | Image reader |
| JP2005012319A (en) | 2003-06-17 | 2005-01-13 | Pfu Ltd | Image reading apparatus provided with shading correction function |
| KR20060016648A (en) * | 2004-08-18 | 2006-02-22 | 엠텍비젼 주식회사 | Method and apparatus for compensating image sensor lens shading |
-
2006
- 2006-06-05 KR KR1020060050216A patent/KR100793289B1/en not_active IP Right Cessation
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004032139A (en) | 2002-06-24 | 2004-01-29 | Ricoh Co Ltd | Shading correcting method, image reader and image forming device |
| JP2004282160A (en) | 2003-03-12 | 2004-10-07 | Ricoh Co Ltd | Image reader |
| JP2005012319A (en) | 2003-06-17 | 2005-01-13 | Pfu Ltd | Image reading apparatus provided with shading correction function |
| KR20060016648A (en) * | 2004-08-18 | 2006-02-22 | 엠텍비젼 주식회사 | Method and apparatus for compensating image sensor lens shading |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100114343A (en) * | 2009-04-15 | 2010-10-25 | 삼성전자주식회사 | Apparatus for correcting channel sensitivity and lens shading of a photographed image and method thereof |
| KR101626155B1 (en) | 2009-04-15 | 2016-06-01 | 삼성전자주식회사 | Apparatus for correcting channel sensitivity and lens shading of a photographed image and method thereof |
| CN103377467A (en) * | 2012-04-25 | 2013-10-30 | 华晶科技股份有限公司 | Image compensation method |
| CN103377467B (en) * | 2012-04-25 | 2017-03-29 | 华晶科技股份有限公司 | The method of image compensation |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20070116327A (en) | 2007-12-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7834925B2 (en) | Lens shading correction device and method in image sensor | |
| US7719597B2 (en) | Distortion correction device and image sensing device provided therewith | |
| US8106976B2 (en) | Peripheral light amount correction apparatus, peripheral light amount correction method, electronic information device, control program and readable recording medium | |
| US7710470B2 (en) | Image processing apparatus that reduces noise, image processing method that reduces noise, electronic camera that reduces noise, and scanner that reduces noise | |
| US20100246994A1 (en) | Image processing device, image processing method, and image processing program | |
| KR100799888B1 (en) | Lens shading correction device and method of image sensor | |
| US8615132B2 (en) | Device and method for processing digital images captured by a binary image sensor | |
| KR20150032810A (en) | Image processing apparatus, image processing method and recording medium | |
| US8610801B2 (en) | Image processing apparatus including chromatic aberration correcting circuit and image processing method | |
| US20120069237A1 (en) | Image pickup apparatus and restoration gain data generation method | |
| US7652698B2 (en) | Shading correction circuit of electronic camera | |
| KR20070113035A (en) | Apparatus and method for compensating color, and image processor, digital processing apparatus, recording medium using it | |
| JP2008276482A (en) | Apparatus, method, and program for image processing | |
| JPH07284011A (en) | Digital electronic still camera | |
| WO2007075066A1 (en) | Image processor, apparatus and method for lens shading compensation | |
| KR100793289B1 (en) | Lens shading correction device and method of image sensor | |
| KR100731812B1 (en) | Color deviation compensating apparatus and method, image processor using it, recorded medium | |
| JP2011120111A (en) | Solid-state image pickup device and electronic information apparatus | |
| KR100793290B1 (en) | Lens shading correction device and method of image sensor | |
| JP5173664B2 (en) | Image processing apparatus and image processing method | |
| CN106973194A (en) | Filming apparatus, image processing apparatus, image processing method | |
| EP4216534A1 (en) | Image obtaining method and apparatus, terminal, and computer readable storage medium | |
| US20200112696A1 (en) | Infrared crosstalk compensation method and apparatus thereof | |
| KR100747729B1 (en) | Image processor, device for compensating of lens shading and the same method | |
| JP2003101884A (en) | Shading correcting device and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] | ||
| FPAY | Annual fee payment |
Payment date: 20130102 Year of fee payment: 6 |
|
| FPAY | Annual fee payment |
Payment date: 20140102 Year of fee payment: 7 |
|
| LAPS | Lapse due to unpaid annual fee |