KR20080046426A - Method for calculating chromatic aberration correction coefficient of micro camera module - Google Patents
Method for calculating chromatic aberration correction coefficient of micro camera module Download PDFInfo
- Publication number
- KR20080046426A KR20080046426A KR1020060115865A KR20060115865A KR20080046426A KR 20080046426 A KR20080046426 A KR 20080046426A KR 1020060115865 A KR1020060115865 A KR 1020060115865A KR 20060115865 A KR20060115865 A KR 20060115865A KR 20080046426 A KR20080046426 A KR 20080046426A
- Authority
- KR
- South Korea
- Prior art keywords
- image
- blurring
- red
- blue
- corrected
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/64—Circuits for processing colour signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Color Television Image Signal Generators (AREA)
- Image Processing (AREA)
Abstract
Description
도 1은 색수차 발생 개념 및 종래의 이미지 처리 프로세스를 설명하기 위한 도면이다.1 is a view for explaining the concept of chromatic aberration generation and a conventional image processing process.
도 2는 종래의 소형 카메라 모듈으로 측정된 수평 방향 에지 프로파일을 도시한 그래프이다.2 is a graph showing a horizontal edge profile measured by a conventional small camera module.
도 3은 본 발명의 일실시형태에 따른 소형 카메라 모듈의 색수차 보정 방법을 도시한 플로우 차트이다.3 is a flowchart illustrating a method for correcting chromatic aberration of a small camera module according to an embodiment of the present invention.
도 4는 본 발명의 일실시형태에 따른 블러링 함수를 구하는 과정을 도시한 블럭도이다.4 is a block diagram illustrating a process of obtaining a blurring function according to an embodiment of the present invention.
도 5의 (a)는 이상적인 흑백 라인에지의 촬상 영상 및 에지 프로파일을 도시한 도면이며, (b)는 블러링이 발생한 흑백 라인에지의 촬상 영상 및 에지 프로파일을 도시한 도면이다.FIG. 5A shows a captured image and edge profile of an ideal black and white line edge, and FIG. 5B shows a captured image and edge profile of a black and white line edge with blurring.
도 6은 이미지센서로부터 직접 취득된 베이어 포맷의 영상을 도시한 도면이다.6 is a diagram illustrating an image of a Bayer format obtained directly from an image sensor.
도 7의 (a) 내지 (d)는 각각 도 6의 베이어 포맷의 영상으로부터 추출된 제1 녹색영상, 제2 녹색영상, 적색영상 및 청색영상을 도시한 도면이다.7A to 7D are diagrams illustrating a first green image, a second green image, a red image, and a blue image extracted from the Bayer format image of FIG. 6, respectively.
도 8의 (a) 내지 (d)는 에지 프로파일 곡선으로부터 구한 수평방향 블러링 곡선과 이로부터 결정된 블러링 함수를 각 색상의 영상별로 비교한 그래프이다.8 (a) to (d) are graphs comparing the horizontal blurring curve obtained from the edge profile curve and the blurring function determined therefrom for each image of each color.
도 9의 (a) 내지 (d)는 에지 프로파일 곡선으로부터 구한 수직방향 블러링 곡선과 이로부터 결정된 블러링 함수를 각 색상의 영상별로 비교한 그래프이다.9A to 9D are graphs comparing the vertical blurring curves obtained from the edge profile curves and the blurring function determined therefrom for each image of each color.
도 10은 적색영상 및 청색영상의 스폿크기(또는 블러링 양)와 녹색영상의 스폿크기(또는 블러링 양)의 차이가 최소가 되도록 보정계수를 결정하는 방법을 도시한 플로우 차트이다.FIG. 10 is a flowchart illustrating a method of determining a correction coefficient such that a difference between a spot size (or blurring amount) of a red image and a blue image and a spot size (or blurring amount) of a green image is minimized.
도 11의 (a) 및 (b)는 본 발명의 색수차 보정방법을 적용하기 전후의 수평방향 에지 프로파일을 비교한 그래프이며, (c) 및 (d)는 본 발명의 색수차 보정방법을 적용하기 전후의 수직방향 에지 프로파일을 비교한 그래프이다.(A) and (b) are graphs comparing the horizontal edge profiles before and after applying the chromatic aberration correction method of the present invention, and (c) and (d) are before and after applying the chromatic aberration correction method of the present invention. This is a graph comparing the vertical edge profile of.
도 12의 (a) 및 (b)는 본 발명의 색수차 보정방법을 적용하기 전후의 수평방향 공간 주파수 응답을 비교한 그래프이며, (c) 및 (d)는 본 발명의 색수차 보정방법을 적용하기 전후의 수직방향 공간 주파수 응답을 비교한 그래프이다.12A and 12B are graphs comparing the horizontal spatial frequency response before and after applying the chromatic aberration correction method of the present invention, and (c) and (d) are the chromatic aberration correction method of the present invention. A graph comparing the vertical spatial frequency response before and after.
본 발명은 소형 카메라 모듈에서 발생하는 색수차를 보정하기 위한 방법에 관한 것으로, 더욱 상세하게는 이미지 센서로부터 출력되는 베이어 포멧의 영상으로부터 분리된 적색영상 및 청색영상의 스폿크기를 녹색영상의 스폿크기 수준으로 정정함으로써 색수차를 보정할 수 있는 소형 카메라 모듈의 색수차 보정 방법에 적용되는 색수차 보정계수 산출 방법에 관한 것이다.The present invention relates to a method for correcting chromatic aberration occurring in a small camera module. More particularly, the spot size of the red and blue images separated from the Bayer format image output from the image sensor is the level of the spot size of the green image. The present invention relates to a chromatic aberration correction coefficient calculation method applied to a chromatic aberration correction method of a small camera module capable of correcting chromatic aberration.
최근, 휴대 전화기와 같은 이동식 단말기에 적용되고 있는 카메라 모듈은 화소수의 증가 및 부피의 소형화가 요구되고 있다. 이러한 화소수 증가의 요구를 충족시키기 위해 이미지 센서 픽셀의 크기를 감소시킴으로써 제한된 면적의 이미지 센서 내에서 고화소화를 구현하고 있다. 또한, 소형화 요구를 충족시키기 위해서, 카메라 모듈 광학계에 사용되는 렌즈의 수를 3 매 이하로 제한하고, 대량 생산의 용이성 및 원가 절감을 위해 렌즈의 재료로서 유리 대신 플라스틱을 채택하고 있다.Recently, a camera module applied to a mobile terminal such as a mobile phone is required to increase the number of pixels and to reduce the volume. In order to meet the demand for increasing the number of pixels, the pixel size of the image sensor is reduced, thereby realizing high pixel size in the image sensor having a limited area. In addition, in order to meet the demand for miniaturization, the number of lenses used in the camera module optical system is limited to three or less, and plastic is used instead of glass as the material of the lens for ease of mass production and cost reduction.
이러한 추세에 따라 센서의 픽셀 크기가 작아지면서 센서면에서 초점을 맺는 빔의 스폿(spot)이 차지하는 픽셀의 개수가 늘어나게 됨으로써 렌즈의 색 수차량이 점점 증가하며 영상의 해상도 저하를 유발시키며 이로 인해 카메라 모듈에 의해 촬영되는 영상의 화질 열화가 발생한다. 또한, 렌즈의 수가 감소되고 렌즈의 재료로서 플라스틱이 사용됨으로써 렌즈에 의한 색수차는 더욱 증가할 수 밖에 없는 상황이다.As the pixel size of the sensor decreases according to this trend, the number of pixels occupied by the spot of the beam focusing on the sensor surface increases, thereby increasing the chromatic aberration of the lens and causing a decrease in resolution of the image. Image quality deterioration of the image photographed by the module occurs. In addition, since the number of lenses is reduced and plastic is used as the material of the lens, chromatic aberration caused by the lens is inevitably increased.
도 1은 색수차 발생 개념 및 종래의 이미지 처리 프로세스를 설명하기 위한 도면이다. 도 1에 도시된 바와 같이, 일반적인 소형 카메라 모듈은 3 매 이하의 렌즈로 이루어진 광학계(11)와, 광학계(11)를 통과한 빛에서 적외선(IR) 영역의 빛을 차단하고 가시 광선 영역의 빛을 투과시키는 적외선 차단 필터(12)와, 적외선 차단 필터(12)를 투과한 가시 광선 영역의 빛을 검출하여 베이어(Bayer) 영상을 나타내는 전기적인 신호로 출력하는 이미지 센서(13)와, 상기 이미지 센서(13)에서 생성된 전기 신호를 처리하여 RGB 영상으로 출력하는 이미지 처리(Image Signal Process: ISP)부(14)로 이루어진다. 상기 이미지 처리부(14)는 이미지 센서(13)로부터 입력되는 베이어 영상을 이용하여 각 화소의 컬러보간을 수행하여 각 화소의 RGB값을 결정하는 컬러보간부(141)와, 영상 화질의 개선을 위해 영상의 컬러를 수정하고, 감마(gamma)값을 수정하는컬러 프로세싱부(142)와, 영상에 대한 콘트라스트 스트레칭(contrast stretching), 샤프닝(sharpening) 등을 수행하는 선명도 개선부(143)을 포함할 수 있다.1 is a view for explaining the concept of chromatic aberration generation and a conventional image processing process. As shown in FIG. 1, a general compact camera module blocks an infrared (IR) light from light passing through the
도 1에 도시된 바와 같이, 일반적인 소형 카메라 모듈에서는 광학계(11)를 투과한 가시광선 중 녹색광의 빔을 기준으로 이미지 센서(13)의 위치가 결정된다. 다시 말하면, 일반적인 소형 카메라 모듈은, 녹색광의 파장을 갖는 빔(G)이 가장 정확하게 초점을 맺는 위치에 이미지 센서(13)가 배치되도록 설계된다. 이로 인해, 녹색광과 다른 파장을 갖는 적색광의 빔(R)과, 청색광의 빔(B)은 녹색광의 파장을 기준으로 배치된 이미지 센서(13)에서는 정확하게 초점을 맺지 못하게 된다. 이미지 센서(13)에서 검출되는 빔 스폿의 크기를 비교할 때, 통상적으로 가장 정확하게 초점이 맺히는 녹색광의 파장을 갖는 빔(G)이 가장 작은 스폿을 형성하며, 청색광의 파장(B)을 갖는 빔이 가장 큰 스폿을 형성한다.As shown in FIG. 1, in a general small camera module, the position of the
이와 같은 소형 카메라 모듈의 설계상의 한계로 인해, 종래의 소형 카메라 모듈은 적색광 및 청색광 파장의 빔(R, B)은 녹색광 파장의 빔(G)보다 상대적으로 큰 스폿을 형성하게 되며 이에 따라 필연적으로 이미지 센서(13)로부터 검출되는 영상에 블러링(blurring), 즉 색수차가 발생하여 영상의 전체적인 해상도를 저하시키는 문제를 갖는다.Due to the design limitations of such a small camera module, in the conventional small camera module, the beams R and B of the red light and the blue light wavelengths form a relatively larger spot than the beam G of the green light wavelength. Blurring, that is, chromatic aberration, occurs in the image detected from the
특히, 이러한 색수차의 양은 이미지 센서(13)로부터 출력되는 베이어 포맷의 센서 로(raw) 영상에서는 크게 나타나지 않지만, 이 후 이미지 처리부(14)에서 수행되는 컬러보간, 컬러 수정, 감마 수정, 콘트라스트 스트레칭, 샤프닝 등의 이미지 처리 과정을 거치면서 색수차의 양이 크게 증폭되어, 이미지 처리부(14)에서 최종 출력되는 RGB 영상에서는 현저한 화질의 열화가 나타나는 심각한 문제가 발생할 수 있다.In particular, the amount of chromatic aberration does not appear large in the Bayer format sensor raw image output from the
이러한, 블러링 또는 색수차는 카메라 모듈의 에지 프로파일을 측정함으로써 더욱 명확하게 알 수 있다.This blurring or chromatic aberration can be seen more clearly by measuring the edge profile of the camera module.
도 2는 E48R로 알려진 플라스틱 재료로 제작된 렌즈 3매를 광학계로 사용한 200만 화소 소형 카메라 모듈으로 측정된 수평 방향 에지 프로파일을 도시한 그래프이다. 도 2에 도시된 에지 프로파일은, x축으로 0으로 표시된 위치에 수평방향 에지가 형성된 흑-백 영상을 촬상하여 얻어진 것이다. 도 2에 나타난 바와 같이, 녹색광이 형성하는 에지 프로파일(G)이 가장 급격한 경사를 나타내었으며, 적색광이 형성하는 에지 프로파일(R)과 청색광이 형성하는 에지 프로파일(B)는 녹색광의 에지 프로파일(G)보다 완만한 경사를 나타내었다. 이러한 에지 프로파일의 경사도 차이는 각 색상의 빔 스폿의 크기로 설명될 수 있다. 즉, 빔 스폿이 클수록 경사도가 완만해진다. 따라서 도 2를 참조하면, 녹색광 파장의 빔 스폿이 가장 작고, 다음으로 적색광 파장의 빔 스폿이 작으며, 청색광 파장의 빔 스폿이 상대적으로 가장 크는 것을 알 수 있다. 이러한 빔 스폿의 크기 차이, 즉 색수차는 동일한 면적을 갖는 이미지 센서에서 그 화소수가 증가할수록 더욱 커지게 되며, 이로 인해 이미지 처리 과정을 거친 출력 RGB 영상의 색번짐 및 해상도 저하 등으로 인해 화질 열화가 커지는 문제점이 발생하게 된다.FIG. 2 is a graph showing a horizontal edge profile measured by a 2 megapixel compact camera module using three lenses made of a plastic material known as E48R as an optical system. The edge profile shown in FIG. 2 is obtained by capturing a black-white image having a horizontal edge formed at a position indicated by zero on the x axis. As shown in FIG. 2, the edge profile G formed by the green light exhibited the steepest slope, and the edge profile R formed by the red light and the edge profile B formed by the blue light are the edge profile G of the green light. Showed a gentler slope than). This difference in slope of the edge profile can be explained by the size of the beam spot of each color. That is, the larger the beam spot, the slower the slope. Therefore, referring to FIG. 2, it can be seen that the beam spot of the green light wavelength is the smallest, the beam spot of the red light wavelength is small, and the beam spot of the blue light wavelength is relatively largest. The size difference of the beam spot, i.e., chromatic aberration, becomes larger as the number of pixels increases in an image sensor having the same area, and thus the image quality deterioration is increased due to the color bleeding and the resolution degradation of the output RGB image which have been processed. This will occur.
본 발명은 전술한 종래기술의 문제점을 해결하기 위해 제안된 것으로, 그 목적은 이미지 센서로부터 출력되는 베이어 포맷의 영상으로부터 적색, 청색영상의 블러링 크기를 구하고, 이로부터 적색, 청색 영상과 녹색 영상의 블러링 편차를 줄이는 보정계수를 산출함에 있어, 최적의 보정계수를 산출하기 위한 방법을 제공하는데 그 목적이 있다.The present invention has been proposed to solve the above-mentioned problems of the prior art, and an object thereof is to obtain a blurring size of a red and blue image from a Bayer format image output from an image sensor, and to obtain a red, blue image and a green image therefrom. In calculating the correction coefficient to reduce the blurring deviation of the object, the object of the present invention is to provide a method for calculating the optimal correction coefficient.
상기 목적을 달성하기 위해 본 발명은,The present invention to achieve the above object,
이미지 센서에서 검출된 베이어 포맷의 영상으로부터 적색영상, 녹색영상 및 청색영상에 대한 에지 프로파일 곡선을 구하고, 상기 적색영상, 녹색영상 및 청색영상에 대한 에지 프로파일 곡선을 미분하여 상기 적색영상, 녹색영상 및 청색영상 의 블러링 곡선을 구하고, 상기 적색영상, 녹색영상 및 청색영상에 대한 블러링 곡선을 표현하는 각각의 블러링 함수를 결정하는 단계- 상기 블러링 함수는 가우스 분포 함수이며, 상기 가우스 분포 함수의 폭을 나타내는 파라미터를 블러링 양으로 정의함-;The edge profile curves for the red, green and blue images are obtained from Bayer format images detected by the image sensor, and the edge profile curves for the red, green and blue images are differentiated to obtain the red, green and Obtaining a blurring curve of a blue image and determining respective blurring functions representing the blurring curves for the red image, the green image and the blue image, wherein the blurring function is a Gaussian distribution function and the Gaussian distribution function Defining a parameter representing the width of the blurring amount;
상기 적색영상 및 청색영상에 대한 블러링 함수를 각각 이용하여 적색영상의 블러링을 보정하는 적색영상에 대한 보정계수 및 상기 청색영상의 블러링을 보정하는 청색영상에 대한 보정계수를 구하는 단계- 상기 보정계수는 보정량을 조정할 수 있는 매개변수를 포함함-;Obtaining a correction coefficient for the red image correcting the blurring of the red image and a correction coefficient for the blue image correcting the blurring of the blue image using the blurring functions for the red image and the blue image, respectively- The correction factor includes a parameter for adjusting the correction amount;
상기 이미지 센서에서 검출된 베이어 포맷의 적색영상 및 청색영상에 상기 적색영상에 대한 보정계수 및 청색영상에 대한 보정계수를 각각 적용하여 보정하는 단계;Correcting by applying a correction coefficient for the red image and a correction coefficient for the blue image to the red image and the blue image of the Bayer format detected by the image sensor, respectively;
상기 보정된 적색영상 및 청색영상의 블러링 크기를 나타내는 물리량과 상기 녹색영상의 블러링 크기를 나타내는 물리량을 각각 비교한 보정된 적색영상 및 청색영상에 대한 스코어를 각각 산출 및 저장하는 단계;Calculating and storing scores for the corrected red and blue images, respectively, when the physical quantities indicating the blurring sizes of the corrected red and blue images and the physical quantities indicating the blurring sizes of the green images are compared;
상기 보정계수의 매개변수를 변경하여 보정계수를 수정하고, 수정된 보정계수를 이용하여 상기 이미지 센서에서 검출된 베이어 포맷의 적색영상 및 청색영상을 보정한 후, 수정된 보정계수에 의해 보정된 적색영상 및 청색영상에 대한 스코어를 각각 산출 및 저장하는 단계- 이 단계는 상기 매개변수를 변경하여 반복적으로 수행됨-; 및Correct the correction coefficient by changing the parameter of the correction coefficient, correct the red image and the blue image of the Bayer format detected by the image sensor using the corrected correction coefficient, and then correct the red by the corrected correction coefficient. Calculating and storing scores for the image and the blue image, respectively, wherein the step is performed repeatedly by changing the parameter; And
상기 저장된 스코어 중 최소값을 갖는 스코어가 산출된 매개변수를 갖는 보 정계수를 최종 보정계수로 결정하는 단계Determining a correction coefficient having a parameter for which a score having a minimum value among the stored scores is calculated as a final correction coefficient;
를 포함하는 소형 카메라 모듈의 색수차 보정계수 산출 방법을 제공한다.It provides a chromatic aberration correction coefficient calculation method of a small camera module including a.
바람직하게, 상기 적색영상 및 청색영상에 대한 블러링 곡선을 표현하는 각각의 블러링 함수는 하기 식 1과 같이 표현될 수 있다.Preferably, each of the blurring functions representing the blurring curve for the red image and the blue image may be expressed as in
[식 1][Equation 1]
(mc-Nx≤m≤mc+Nx, nc-Ny≤n≤nc+Ny)(m c -N c ≤m≤m x + N x, n y c -N ≤n≤n c + N y)
(△x: 이미지 센서의 수평방향 화소 간격, △y: 이미지 센서의 수직방향 화소 간격, A: 블러링 함수의 높이(수평방향 블러링 함수의 높이와 수직방향 블러링 함수의 높이의 평균), mc: 블러링 함수의 수평방향 중심화소의 좌표, nc: 블러링 함수의 수직방향 중심화소의 좌표 , σx: 수평방향 블러링 양, σy: 수직방향 블러링 양)(Δx: horizontal pixel spacing of the image sensor, Δy: vertical pixel spacing of the image sensor, A: height of the blurring function (average of the height of the horizontal blurring function and the height of the vertical blurring function), m c : Coordinate of the horizontal center pixel of the blurring function, n c : Coordinate of the vertical center pixel of the blurring function, σ x : Amount of horizontal blurring, σ y : Amount of vertical blurring)
바람직하게, 상기 보정계수는 상기 식 1을 이용하여 하기 식 2와 같이 구할 수 있다.Preferably, the correction coefficient can be obtained by using
[식 2][Equation 2]
(D: 보정계수, B: 상기 식 1의 함수 b의 푸리에 변환, △u=1/△x, △v=1/△y, k: 매개변수)(D: correction coefficient, B: Fourier transform of function b of
본 발명의 바람직한 실시형태에서, 상기 보정된 적색영상 및 청색영상에 대한 스코어를 각각 산출 및 저장하는 단계는, 상기 보정된 적색영상의 수평방향 블러링 크기를 나타내는 물리량과 상기 녹색영상의 수평방향 블러링 크기를 나타내는 물리량을 비교한 적색영상의 수평방향 스코어를 산출하는 단계; 상기 보정된 적색영상의 수직방향 블러링 크기를 나타내는 물리량과 상기 녹색영상의 수직방향 블러링 크기를 나타내는 물리량을 비교한 적색영상의 수직방향 스코어를 산출하는 단계; 상기 보정된 청색영상의 수평방향 블러링 크기를 나타내는 물리량과 상기 녹색영상의 수평방향 블러링 크기를 나타내는 물리량을 비교한 청색영상의 수평방향 스코어를 산출하는 단계; 상기 보정된 청색영상의 수직방향 블러링 크기를 나타내는 물리량과 상기 녹색영상의 수직방향 블러링 크기를 나타내는 물리량을 비교한 청색영상의 수직방향 스코어를 산출하는 단계; 상기 적색영상의 수평방향 스코어 및 상기 적색영상의 수직방향 스코어의 합을 산출하여 적색영상의 전체 스코어로 저장하는 단계; 및 상기 청색영상의 수평방향 스코어 및 상기 청색영상의 수직방향 스코 어의 합을 산출하여 청색영상의 전체 스코어로 저장하는 단계를 포함할 수 있다.In a preferred embodiment of the present invention, calculating and storing the scores for the corrected red and blue images, respectively, the physical quantity indicating the horizontal blurring size of the corrected red image and the horizontal blur of the green image. Calculating a horizontal score of the red image comparing the physical quantities representing the ring size; Calculating a vertical score of a red image by comparing a physical quantity indicating a vertical blurring size of the corrected red image and a physical quantity indicating a vertical blurring size of the green image; Calculating a horizontal score of the blue image by comparing a physical quantity indicating a horizontal blurring size of the corrected blue image with a physical quantity indicating a horizontal blurring size of the green image; Calculating a vertical score of a blue image by comparing a physical quantity indicating a vertical blurring size of the corrected blue image and a physical quantity indicating a vertical blurring size of the green image; Calculating a sum of a horizontal score of the red image and a vertical score of the red image and storing the sum as a total score of the red image; And calculating a sum of a horizontal score of the blue image and a vertical score of the blue image, and storing the sum of the horizontal scores of the blue images.
또한, 바람직하게, 상기 블러링 크기를 나타내는 물리량은, 스폿크기 또는 상기 블러링 함수에 의해 결정되는 블러링양이 이용될 수 있다.Also, preferably, the physical quantity representing the blurring size may be a blurring amount determined by a spot size or the blurring function.
이하, 첨부된 도면을 참조하여 본 발명의 실시형태를 보다 상세하게 설명한다. 그러나, 본 발명의 실시형태는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 이하 설명되는 실시형태로 한정되는 것은 아니다. 본 발명의 실시형태는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 또한, 본 발명을 설명함에 있어서, 정의되는 용어들은 본 발명에서의 기능을 고려하여 정의 내려진 것으로, 이는 당 분야에 종사하는 기술자의 의도 또는 관례 등에 따라 달라질 수 있으므로, 본 발명의 기술적 구성요소를 한정하는 의미로 이해되어서는 아니 될 것이다.Hereinafter, with reference to the accompanying drawings will be described in detail an embodiment of the present invention. However, embodiments of the present invention may be modified in various other forms, and the scope of the present invention is not limited to the embodiments described below. Embodiment of this invention is provided in order to demonstrate this invention more completely to the person skilled in the art to which this invention belongs. In addition, in the description of the present invention, terms defined are defined in consideration of functions in the present invention, which may vary according to the intention or convention of those skilled in the art, and thus limit the technical components of the present invention. It should not be understood as meaning.
도 3은 본 발명의 일실시형태에 따른 소형 카메라 모듈의 색수차 보정 방법을 도시한 플로우 차트이다.3 is a flowchart illustrating a method for correcting chromatic aberration of a small camera module according to an embodiment of the present invention.
도 3을 참조하면 본 발명은, 적색영상, 녹색영상 및 청색영상에 대한 에지 프로파일 곡선을 구하는 단계(S10)와, 상기 적색영상, 녹색영상 및 청색영상의 블러링 곡선을 구하고(S11), 이를 이용하여 상기 적색영상, 녹색영상 및 청색영상에 대한 블러링 함수를 결정하는 단계(S13)와, 상기 적색영상의 블러링을 보정하는 적 색영상에 대한 보정계수 및 상기 청색영상의 블러링을 보정하는 청색영상에 대한 보정계수를 구하는 단계(S21, S31)와, 상기 이미지 센서에서 검출된 베이어 포맷의 적색영상 및 청색영상에 상기 적색영상에 대한 보정계수 및 청색영상에 대한 보정계수를 각각 적용하는 단계(S22, S32)로 이루어질 수 있다.Referring to FIG. 3, the present invention calculates an edge profile curve for a red image, a green image, and a blue image (S10), and calculates a blurring curve of the red image, a green image, and a blue image (S11). Determining a blurring function for the red image, the green image, and the blue image (S13), a correction factor for the red image for correcting the blurring of the red image, and correcting the blurring of the blue image Obtaining correction coefficients for the blue image (S21, S31), and applying the correction coefficients for the red image and the correction coefficients for the blue image to the red and blue images of the Bayer format detected by the image sensor, respectively. Steps S22 and S32 may be performed.
이에 더하여, 도 3에 도시된 본 발명의 일실시형태는, 상기 녹색영상의 스폿 크기를 구하는 단계(S12)와, 상기 적색영상에 대한 보정계수 및 상기 청색영상에 대한 보정계수를 각각 적용하여 보정된 적색영상 및 청색영상의 에지 프로파일 곡선으로부터 보정된 적색영상의 스폿 크기 및 보정된 청색영상의 스폿 크기를 구하는 단계(S22)와, 상기 보정된 적색영상의 스폿 크기 및 상기 보정된 청색영상의 스폿크기와 상기 녹색영상의 스폿크기가 동일한지 판단하고(S23), 각각 동일해질 때까지 상기 보정계수를 조정하는 매개변수의 값을 조정하여(S25) 적색영상에 대한 수정된 보정계수 및 청색영상에 대한 수정된 보정계수를 산출하는 단계와, 상기 보정된 적색영상의 스폿 크기 및 상기 보정된 청색영상의 스폿 크기가 상기 녹색영상의 스폿 크기와 동일하게 되는 매개변수를 갖는 적색영상 및 청색영상에 대한 보정계수를 최종 보정계수로 결정하는 단계(S24)를 더 포함할 수 있다.In addition, according to an exemplary embodiment of the present invention shown in FIG. 3, the method may include obtaining a spot size of the green image (S12), and correcting by applying a correction coefficient for the red image and a correction coefficient for the blue image, respectively. Obtaining the spot size of the corrected red image and the spot size of the corrected blue image from the edge profile curves of the corrected red and blue images (S22), the spot size of the corrected red image, and the spot of the corrected blue image It is determined whether the size and the spot size of the green image are the same (S23), and by adjusting the values of parameters for adjusting the correction coefficient until they are the same (S25), the corrected correction coefficient for the red image and the blue image are adjusted. Calculating a corrected correction coefficient for the red spot, and the spot size of the corrected red image and the spot size of the corrected blue image are the same as the spot size of the green image. The method may further include determining a correction coefficient for the red image and the blue image having the parameter as the final correction coefficient (S24).
한편, 도시하지는 않았지만 본 발명의 다른 실시형태에서는, 상기 녹색영상의 스폿 크기를 구하는 단계 대신 적색영상, 청색영상과 마찬가지로 녹색영상에 대한 블러곡선을 작성하고 녹색 영상의 블러함수를 결정하는 단계를 포함할 수 있다. 상기 블러함수는 가우스 분포 함수의 형태를 가지며 이 가우스 분포 함수의 폭의 크기를 나타내는 파라미터를 블러링 양으로 정의 될 수 있다. 즉, 상기 블러함수를 결정하는 단계는 블러링 양을 결정하는 단계로 이해될 수 있다. 이 실시형태는 보정된 적색영상 및 청색영상의 스폿크기와 녹색영상의 스폿크기를 비교하는 대신, 보정된 적색영상 및 청색영상의 블러함수를 구하여 보정된 적색영상 및 청색영상의 블러링 양을 결정하고, 이를 녹색영상의 블러링 양과 비교할 수 있다. 따라서, 이 실시형태는, 보정된 적색영상 및 청색영상의 블러링 양이 녹색영상의 블러링양과 각각 동일해질 때까지 상기 보정계수를 조정하는 매개변수의 값을 조정하여 적색영상에 대한 수정된 보정계수 및 청색영상에 대한 수정된 보정계수를 반복적으로 산출하게 되며, 보정된 적색영상 및 청색영상의 블러링 양이 녹색영상의 블러링양과 각각 동일하게 되는 매개변수의 값을 최종 매개변수 값으로 결정할 수 있다.On the other hand, although not shown, in another embodiment of the present invention, instead of obtaining the spot size of the green image, as in the red image and the blue image, including a blur curve for the green image and determining the blur function of the green image can do. The blur function has a form of a Gaussian distribution function and a parameter representing the magnitude of the width of the Gaussian distribution function may be defined as a blurring amount. That is, the determining of the blur function may be understood as determining the blurring amount. This embodiment determines the blurring amount of the corrected red and blue images by determining the blur function of the corrected red and blue images instead of comparing the spot sizes of the corrected red and blue images with the spot sizes of the green images. This can be compared with the blurring amount of the green image. Therefore, in this embodiment, the corrected correction for the red image is performed by adjusting the value of the parameter adjusting the correction coefficient until the amount of blurring of the corrected red image and the blue image is equal to the blurring amount of the green image, respectively. The coefficient and the corrected correction coefficient for the blue image are calculated repeatedly, and the final parameter value determines the value of the parameter such that the amount of blurring of the corrected red and blue images is the same as that of the green image, respectively. Can be.
이하, 상기와 같은 복수의 단계를 포함하여 구성되는 본 발명의 각 단계에 대해 첨부도면을 참조하여 더욱 상세하게 설명하기로 한다.Hereinafter, each step of the present invention including a plurality of steps as described above will be described in more detail with reference to the accompanying drawings.
도 3의 S10, S11 및 S13으로 표시된 단계는 이미지 센서로부터 검출된 베이어(bayer) 포멧의 영상에서 각 색상영상에 대한 블러링 함수를 구하는 단계이다. 전술하였듯이, 블러링 함수를 결정함으로써 각 색상영상에 대한 블러링 양을 정의할 수 있으며, 블러링 함수를 이용하여 보정계수를 산출할 수도 있다. 따라서, 블러링 함수를 결정하는 과정은 각 색상영상에 대한 블러링 양을 구하는 과정으로 이해될 수 있다. 도 3의 S10, S11 및 S13으로 표시된 블러링 함수 즉 블러링 양을 구하는 과정에 대해 먼저 설명한다.Steps S10, S11, and S13 of FIG. 3 are a step of obtaining a blurring function for each color image in the image of the Bayer format detected from the image sensor. As described above, the blurring amount of each color image may be defined by determining the blurring function, and the correction coefficient may be calculated using the blurring function. Therefore, the process of determining the blurring function may be understood as the process of obtaining the blurring amount for each color image. First, a process of obtaining a blurring function, that is, a blurring amount indicated by S10, S11, and S13 of FIG. 3 will be described.
도 4는 본 발명의 일실시형태에 따른 블러링 함수, 즉 블러링 양을 구하는 과정을 도시한 블럭도이다. 본 발명은 블러링 함수(블러링 양)를 구하기 위해 먼저 이미지 센서에서 출력되는 베이어 포맷의 영상을 직접 취득하여야 한다(S41). 이를 위해 이미지 센서 후단에 위치한 ISP(도 1의 14)의 전원을 차단하여 그 기능을 중지시키고 별도의 인터페이스 보드 및 캡쳐 프로그램을 이용하여 이미지 센서로부터 출력되는 베이어 포맷의 영상을 직접 취득할 수 있다. 특히, 블러링 함수(블러링 양)을 검출하기 위해서는 도 5에 도시된 것과 같은 흑백 라인에지를 이미지센서로 촬상하고, 이 때 이미지센서로부터 출력되는 베이어 포맷의 영상을 직접 취득하게 된다. 도 5는 수직방향으로 형성된 흑백 라인에지를 도시하고 있으나, 본 발명은 수직방향의 흑백 라인에지 및 수평방향의 흑백 라인에지에 대한 베이어 포맷 영상을 모두 취득하여 각각에 대한 블러링 함수(블러링 양)을 검출할 수 있다. 수직방향의 흑백 라인에지를 이용하는 경우 수평방향의 블러링 함수를 구할 수 있으며, 수평방향의 흑백 라인 에지를 이용하는 경우 수직방향의 블러링 함수를 구할 수 있다.4 is a block diagram illustrating a process of calculating a blurring function, that is, an amount of blurring according to an embodiment of the present invention. In the present invention, in order to obtain a blurring function (blur amount), first, a Bayer format image output from an image sensor must be directly acquired (S41). To this end, the ISP (14 of FIG. 1) located at the rear of the image sensor may be cut off to stop the function, and a Bayer format image output from the image sensor may be directly acquired by using a separate interface board and a capture program. In particular, in order to detect a blurring function (blur amount), a black and white line edge as shown in FIG. 5 is captured by an image sensor, and at this time, a Bayer format image output from the image sensor is directly acquired. Although FIG. 5 illustrates black and white line edges formed in the vertical direction, the present invention acquires both Bayer format images of the black and white line edges in the vertical direction and the black and white line edges in the horizontal direction, respectively. ) Can be detected. When the vertical black and white line edge is used, the horizontal blurring function may be obtained. When the horizontal black and white line edge is used, the vertical blurring function may be obtained.
이어, 이미지센서로부터 출력된 베이어 포맷의 영상으로부터 적색화소로 이루어진 적색영상, 녹색화소로 이루어진 녹색영상 및 청색화소로 이루어진 청색영상을 분리한다(S32). 이러한 각 색상의 영상을 분리하는 과정은 당업계에 잘 알려진 다양한 상용 컴퓨터 툴을 이용하여 이루어질 수 있다. 이미지센서로부터 출력된 베이어 포맷의 영상은 도 6에 도시된 바와 같이, 적색화소, 녹색화소 및 청색화소로 이루어진 영상이다. 이러한 베이어 포맷의 영상에서 도 7의 (a) 내지 (b)에 도시된 것과 같이, 제1 녹색영상, 제2 녹색영상, 적색영상 및 청색영상을 분리한다. 도 7에 도시된 바와 같이, 녹색영상은 수평방향으로 적색 화소와 인접한 녹색화소로 이루어진 제1 녹색영상과, 수평방향으로 청색 화소와 인접한 녹색화소로 이루어진 제2 녹색영상으로 이루어질 수 있다. 이후 색수차 보정단계에서 적색영상의 블러링 양 또는 스폿 크기는 상기 제1 녹색영상의 블러링 양 또는 스폿 크기와 서로 비교될 수 있으며, 청색영상의 블러링 양 또는 스폿 크기는 상기 제2 녹색영상의 블러링 양 또는 스폿 크기와 서로 비교될 수 있다. Subsequently, a red image composed of a red pixel, a green image composed of a green pixel, and a blue image composed of a blue pixel are separated from a Bayer format image output from an image sensor (S32). The process of separating the images of each color may be performed using various commercial computer tools well known in the art. The Bayer format image output from the image sensor is an image composed of red pixels, green pixels, and blue pixels, as shown in FIG. 6. The first green image, the second green image, the red image, and the blue image are separated from the Bayer format image as illustrated in FIGS. 7A to 7B. As illustrated in FIG. 7, the green image may include a first green image formed of a green pixel adjacent to a red pixel in a horizontal direction, and a second green image formed of a green pixel adjacent to a blue pixel in a horizontal direction. Subsequently, in the chromatic aberration correction step, the blurring amount or spot size of the red image may be compared with the blurring amount or spot size of the first green image, and the blurring amount or spot size of the blue image may be compared with that of the second green image. The amount of blurring or spot size can be compared with each other.
도 6 및 도 7에 도시된 각 영상에서 원으로 표시된 부분은 임의의 스폿크기를 도시한 것이다. 이 스폿크기는 특정 색상의 영상에 대한 스폿크기를 도시하고자 하는 것이 아니라 이미지 센서로부터 출력되는 베이어 포맷의 영상에서 스폿 내에 포함되는 화소수와 각 색상별로 추출된 영상에서 스폿 내에 포함되는 화소수를 비교하기 위한 것이다. 즉, 도 6에 도시된 것과 같이, 이미지센서로부터 출력되는 베이어 포맷의 영상에서 생성된 스폿의 크기가 최대 5×5의 화소를 포함한다고 하면, 분리된 각 색상의 영상에서 해당 스폿의 크기는 3×3의 화소를 포함하게 된다. 이는, 이미지센서로부터 출력되는 베이어 포맷의 영상의 각 화소간의 수평방향 간격을 △x라 하고 수직방향 간격을 △y라 할 때, 각 색상 화소 간의 간격은 2△x, 2△y가 되기 때문이다. 즉, 분리된 각 색상의 영상은, 이미지센서로부터 출력되는 베이어 포맷의 영상의 화소간 간격의 2배 크기를 갖는 간격마다 화소값이 재추출되는 것으로 이해될 수 있다.The circled portions in each of the images shown in FIGS. 6 and 7 illustrate arbitrary spot sizes. This spot size is not intended to show the spot size for an image of a specific color, but compares the number of pixels included in the spot in the Bayer format image output from the image sensor with the number of pixels included in the spot in the image extracted for each color. It is to. That is, as shown in Figure 6, if the size of the spot generated in the Bayer format image output from the image sensor includes a maximum of 5 × 5 pixels, the size of the corresponding spot in the image of each color separated 3 The pixel of * 3 will be included. This is because when the horizontal interval between each pixel of the Bayer format image output from the image sensor is Δx and the vertical interval is Δy, the interval between each color pixel is 2Δx, 2Δy. . That is, the separated color image may be understood that the pixel value is re-extracted for each interval having twice the size of the interval between pixels of the Bayer format image output from the image sensor.
이어, 추출된 적색영상, 녹색영상 및 청색영상에 대한 에지 프로파일 곡선을 구한다(S43). 에지 프로파일 곡선을 구하기 위해 에지를 포함하는 임의의 화소들로 이루어진 측정영역을 선택하고, 이 측정 영역에서 에지 프로파일 곡선을 구한다. Next, the edge profile curves for the extracted red image, green image and blue image are obtained (S43). To obtain an edge profile curve, a measurement area composed of arbitrary pixels including an edge is selected, and the edge profile curve is obtained in this measurement area.
도 5의 (a)에 도시된 바와 같이, 이상적인 흑백 라인에지의 이미지 센서 출력 영상(51a)에 대한 에지 프로파일 곡선(52a)은 흑색 영역과 백색 영역의 에지부분에서 수직으로 형성될 수 있다. 그러나, 실제 흑백 라인에지의 이미지 센서 출력 영상(51b)는 에지부분에서 블러링이 발생하게 되고, 이에 대한 에지 프로파일 곡선(52b)는 에지부분의 주위에서 경사를 갖는 형태를 갖는다. 이 때, 에지 프로파일 곡선의 최대값의 10%에서 90%까지 상승하는데 소요되는 거리(영상 상에서는 화소수가 됨)(s)를 통상 스폿 크기로 정의한다. 블러링 양이 클수록 에지 프로파일 곡선의 경사는 완만하게 형성될 수 있으며 스폿 크기가 커지게 된다. 이 스폿크기는 각 색상의 영상마다 차이가 있으며 이러한 차이가 색수차를 발생시키게 되는 것이다.As shown in (a) of FIG. 5, the
본 발명은, 이러한 흑백 라인에지 영상으로부터 에지 프로파일 곡선을 구하는 과정은 수직방향 흑백 라인에지 및 수평방향 흑백 라인에지에 대해 모두 수행될 수 있으며, 이를 통해 각각 수평방향의 블러링을 나타내는 에지 프로파일 곡선 및 수직방향의 블러링을 나타내는 에지 프로파일 곡선을 구할 수 있다.According to the present invention, the process of obtaining the edge profile curve from the black and white line edge image may be performed for both the vertical black and white line edge and the horizontal black and white line edge, thereby through the edge profile curves representing the blurring in the horizontal direction, and An edge profile curve representing the vertical blurring can be obtained.
이어, 상기 적색영상, 녹색영상 및 청색영상에 대한 에지 프로파일 곡선을 미분하여 상기 적색영상, 녹색영상 및 청색영상의 블러링 곡선을 구한다(S44). 상기 에지 프로파일 곡선은 그 기울기가 점차 증가하다가 에지의 중심부에서부터 다 시 기울기가 감소하는 곡선의 형태를 가지므로, 이 에지 프로파일 곡선을 미분하게 되면, 도 5의 (b)에 도면부호 '53'으로 도시한 것과 같이 가우스 분포 곡선을 형성하게 된다. 이 가우스 분포 곡선을 블러링 곡선이라 정의한다.Subsequently, the edge profile curves for the red, green and blue images are differentiated to obtain blurring curves of the red, green and blue images (S44). Since the edge profile curve has a form in which the slope gradually increases and then the slope decreases again from the center of the edge, when the edge profile curve is differentiated, reference numeral '53' in FIG. As shown, a Gaussian distribution curve is formed. This Gaussian distribution curve is defined as a blurring curve.
본 발명은, 수직방향 흑백 라인 에지에 대한 영상을 이용하여 수평방향 블러링 곡선을 구하고, 수평방향 흑백 라인 에지에 대한 영상을 이용하여 수직방향 블러링 곡선을 구할 수 있다.According to the present invention, a horizontal blurring curve may be obtained using an image of a vertical black and white line edge, and a vertical blurring curve may be obtained using an image of a horizontal black and white line edge.
전술한 에지 프로파일 곡선을 구하는 과정 및 에지 프로파일 곡선을 미분하여 블러링 곡선을 구하는 과정은 당업계에 잘 알려진 다양한 상용 컴퓨터 툴을 이용하여 이루어질 수 있다.The process of obtaining the above-described edge profile curve and the process of differentiating the edge profile curve to obtain the blurring curve may be performed using various commercial computer tools well known in the art.
이어, 상기 적색영상, 녹색영상 및 청색영상에 대한 블러링 곡선을 표현하는 각각의 블러링 함수를 결정한다(S45). 이 블러링 함수 결정 과정은 도 5의 (b)에 도면 부호'53'으로 도시된 것과 같은 가우스 분포 곡선이 나타내는 수학적인 식을 구하는 과정으로, 일반적으로 통용되는 함수 피팅(fitting) 과정을 통해 얻을 수 있다. 또한, 이 블러링 함수 결정 과정에서는, 수평방향 블러링 곡선으로부터 수평방향의 블러링 함수를 결정하는 과정 및 수직방향의 블러링 곡선으로부터 수직방향 블러링 함수를 결정하는 과정이 각각 수행될 수 있다. 즉, 이 블러링 함수 결정과정은 수평방향 및 수직방향의 블러링 함수를 각각 결정하는 1차원 블러링 함수 결정 과정으로 이해될 수 있다.Next, each blurring function representing the blurring curve for the red image, the green image and the blue image is determined (S45). This blurring function determination process is a process of obtaining a mathematical expression represented by a Gaussian distribution curve as shown by reference numeral '53' in FIG. 5 (b), and is obtained through a function fitting process that is commonly used. Can be. In this blurring function determination process, the horizontal blurring function may be determined from the horizontal blurring curve and the vertical blurring function may be determined from the vertical blurring curve. That is, this blurring function determination process can be understood as a 1-dimensional blurring function determination process for determining the blurring function in the horizontal direction and the vertical direction, respectively.
예를 들어, 수평방향 블러링 함수는 하기 식 3과 같이 결정될 수 있다.For example, the horizontal blurring function may be determined as in
[식 3][Equation 3]
(mc-Nx≤m≤mc+Nx)(m c -N x ≤m≤m c + N x )
(△x: 이미지 센서의 수평방향 화소 간격, Ax: 블러링 함수의 수평방향 높이, mc: 블러링 함수의 수평방향 중심 좌표, σx: 수평방향 블러링 양)(Δx: horizontal pixel spacing of the image sensor, A x : horizontal height of the blurring function, m c : horizontal center coordinate of the blurring function, σ x : horizontal blurring amount)
상기 식 3에서 블러링 함수의 높이(Ax)와 수평방향 블러링 양(σx), 블러링 함수의 수평방향 중심 좌표(mc)는 블러링 곡선인 가우스 분포 곡선의 피팅(fitting)을 수행함으로써 간단히 구할 수 있다.In
상기 식 3에서 △x는 이미지 센서의 수평방향 화소 간격이 되며, Ax는 블러링 곡선의 높이가 되며, mc는 수평방향 블러링 곡선의 중심화소의 좌표이고, Nx는 상기 블러링 함수를 구하기 위한 영역을 나타내는 것으로, 상기 에지 프로파일 곡선에서 최대값의 10%을 나타내는 지점 및 90%를 나타내는 지점으로부터 상기 수평방향 블러링 곡선의 중심화소까지의 거리가 될 수 있다.In
상기 식 3에서 σx는 블러링 곡선의 폭에 관련된 파라미터로써 이 값을 블러링 양으로 정의할 수 있다. 또한, 상기 식 3에서 블러링 곡선의 높이(Ax)는 최대값이 1이 되도록 정규화하여 사용할 수 있는 것으로 블러링 양을 구하기 위한 본 발명에서는 큰 의미를 갖지 않는다.In
상기 식 3을 통해 수평방향으로 2Nx+1 화소 범위에서 블러링 함수가 결정되며, 이미지센서로부터 출력되는 베이어 포맷 영상이 갖는 화소 간격의 2배 마다 데이터가 샘플링됨을 알 수 있다.It can be seen from
상기 식 3과 유사하게 수직방향의 블러링 함수도 결정될 수 있다.Similar to
이어, 상기 1차원 블러링 함수, 즉 수평방향 블러링 함수와 수직방향 블러링 함수를 이용하여 수평,수직 방향의 블러링 양을 함께 나타낼 수 있는 2차원 블러링 함수를 구한다(S46). 실제 카메라 모듈에서 검출된 영상에 색수차 보정을 수행하기 위해서는 1차원 블러링 함수 하나만 적용되는 것은 의미가 없으며, 이 1차원 블러링 함수를 2차원 블러링 함수로 확장하여야 한다. 수평방향 및 수직방향의 블러링 양을 동시에 나타내는 2차원 블러링 함수는 상기 1차원 블러링 함수인 수평방향 블러링 함수와 수직방향 블러링 함수의 곱으로 구할 수 있다. 이 2차원 블러링 함수는, 하기 식 1과 같이 나타난다.Subsequently, a two-dimensional blurring function that can represent the amount of horizontal and vertical blurring together using the one-dimensional blurring function, that is, the horizontal blurring function and the vertical blurring function is obtained (S46). In order to perform chromatic aberration correction on an image detected by an actual camera module, it is not meaningful to apply only one 1D blurring function, and the 1D blurring function should be extended to a 2D blurring function. The two-dimensional blurring function that simultaneously represents the amount of horizontal and vertical blurring may be obtained by multiplying the horizontal blurring function and the vertical blurring function, which are the one-dimensional blurring function. This two-dimensional blurring function is represented by following formula (1).
[식 1][Equation 1]
(mc-Nx≤m≤mc+Nx, nc-Ny≤n≤nc+Ny)(m c -N c ≤m≤m x + N x, n y c -N ≤n≤n c + N y)
(△x: 이미지 센서의 수평방향 화소 간격, △y: 이미지 센서의 수직방향 화 소 간격, A: 블러링 함수의 높이(수평방향 블러링 함수의 높이와 수직방향 블러링 함수의 높이의 평균), mc: 블러링 함수의 수평방향 중심화소의 좌표, nc: 블러링 함수의 수직방향 중심화소의 좌표 , σx: 수평방향 블러링 양, σy: 수직방향 블러링 양)(Δx: horizontal pixel spacing of the image sensor, Δy: vertical pixel spacing of the image sensor, A: height of the blurring function (average of the height of the horizontal blurring function and the height of the vertical blurring function) , m c : coordinate of horizontal center pixel of blurring function, n c : coordinate of vertical center pixel of blurring function, σ x : amount of horizontal blurring, σ y : amount of vertical blurring)
상기 식 1과 같은 블러링 함수가 적색영상 및 청색영상에 대해 산출되며, 필요에 따라서는 녹색영상(제1 녹색영상, 제2 녹색영상)에 대해서도 산출될 수 있다.A blurring function such as
도 8의 (a) 내지 (d)는 에지 프로파일 곡선으로부터 구한 수평방향 블러링 곡선과 이로부터 결정된 블러링 함수를 각 색상의 영상별로 비교한 그래프이다. 또한, 도 9의 (a) 내지 (d)는 에지 프로파일 곡선으로부터 구한 수직방향 블러링 곡선과 이로부터 결정된 블러링 함수를 각 색상의 영상별로 비교한 그래프이다. 특히, 도 8 및 도 9는 E48R으로 알려진 플라스틱 재료로 이루어진 3 매의 렌즈를 적용한 광학계와, 이미지센서의 화소 간격이 수평, 수직방향으로 2.25 ㎛인 200만 화소급 이미지 센서로 이루어진 소형 카메라 모듈에서 전술한 본 발명에 따른 방법으로 측정한 블러링 곡선 및 블러링 함수를 도시한 것이다. 도 8 및 도 9에서 에지 프로파일 곡선으로부터 구한 블러링 곡선은 삼각형(▲)으로 표시되며, 이 블러링 곡선을 피팅하여 결정되는 블러링 함수는 사각형(□)으로 표시된다.8 (a) to (d) are graphs comparing the horizontal blurring curve obtained from the edge profile curve and the blurring function determined therefrom for each image of each color. 9A to 9D are graphs comparing the vertical blurring curve obtained from the edge profile curve and the blurring function determined therefrom for each image of each color. In particular, FIGS. 8 and 9 illustrate the optical system using three lenses made of a plastic material known as E48R, and a compact camera module including a two-megapixel image sensor having a pixel spacing of 2.25 μm in the horizontal and vertical directions. One shows the blurring curve and blurring function measured by the method according to the invention. The blurring curves obtained from the edge profile curves in FIGS. 8 and 9 are represented by triangles (▲), and the blurring function determined by fitting the blurring curves is represented by squares (□).
도 8 및 도 9에 나타난 바와 같이, 이미지 센서로부터 검출된 베이어 포맷의 영상으로부터 분리된 각 색상의 영상에서 측정된 블러링 곡선과, 이를 피팅하여 구한 블러링 함수는 거의 동일한 형태를 나타낸다. As shown in FIG. 8 and FIG. 9, the blurring curve measured in the image of each color separated from the Bayer format image detected by the image sensor and the blurring function obtained by fitting the same have almost the same shape.
일반적으로, 빔 스폿의 블러링은 광학계에 입사된 점광원(point source)이 광학계에 의해 센서의 한 픽셀로 정확히 초점이 맺혀지지 않아서 발생되는 현상으로, 이를 나타내는 광학계의 점확산함수(point-spread function)가 널리 알려져 있다. 이 점확산 함수는, 피사체로부터 반사된 백색(white-light) 광원이 센서에 맺혀서 영상을 취득하는 방식으로 산출하게 된다. 따라서 카메라 모듈에서 점확산 함수의 측정을 위해서는 적색 녹색 및 청색의 세 종류의 단색 레이저 광원이 필요한 것이 아니라, 이상적인 백색 점광원을 필요로 한다. 그러나 이러한 이상적인 백색 점광원을 생성하는 것은 현실적으로 매우 어려운 기술이므로, 점확산 함수를 통해 블러링 양을 구하는 것 또한 매우 힘들다. 그러나, 본 발명은 종래의 광학계 점확산 함수 측정에 필요한 백색 레이저 광원 장치를 필요로 하지 않으며, 일반적인 조도 환경에서 카메라 모듈의 베이어 영상을 취득하여 이로부터 에지 프로파일 곡선, 블러링 곡선, 블러링 함수를 간단하게 측정하는 것이 가능하다는 장점을 갖는다.In general, blurring of a beam spot is a phenomenon in which a point source incident on an optical system is not focused on one pixel of a sensor by the optical system, and a point-spread function of the optical system indicating the beam spot is indicated. functions are well known. This point diffusion function is calculated by a method in which a white-light light source reflected from a subject is captured by a sensor to acquire an image. Therefore, in order to measure the point diffusion function in the camera module, three types of monochromatic laser light sources of red, green and blue are not required, but an ideal white point light source is required. However, creating such an ideal white point light source is a very difficult technique in reality, so it is also very difficult to obtain the amount of blurring through the point diffusion function. However, the present invention does not require a white laser light source device for measuring a conventional optical point spreading function, and obtains a Bayer image of a camera module in a general illumination environment, and calculates edge profile curves, blurring curves, and blurring functions therefrom. It has the advantage of being simple to measure.
한편, 도 3에 도시된 녹색 영상의 스폿 크기를 산출하는 단계(S12)는, 이후 적색영상 및 청색영상에 대한 보정계수를 구하고 이를 적용한 보정된 적색영상 및 보정된 청색영상의 스폿 크기와 녹색 영상의 스폿 크기를 비교하기 위해 녹색 영상의 스폿 크기를 구하는 단계이다. 이 단계에서는, 이미지센서로부터 취득된 베이어 포맷의 영상에서 각 색상의 영상을 분리한 후, 녹색 화소로 이루어진 녹색영상의 에지 프로파일 곡선으로부터 스폿 크기를 검출하게 된다. 전술한 바와 같이, 녹색영상은 수평방향으로 적색 화소와 인접한 녹색화소로 이루어진 제1 녹색영상과, 수평방향으로 청색 화소와 인접한 녹색화소로 이루어진 제2 녹색영상을 포함할 수 있으므로, 녹색 영상의 스폿 크기를 산출하는 단계는 상기 제1 녹색영상 및 제2 녹색영상 각각에 대한 스폿크기를 산출하는 단계로 이루어질 수 있다. 스폿크기는 에지 프로파일 곡선에서 최대값의 10%에서 90%까지의 간격으로 정의될 수 있으며, 이는 ImaTest로 알려진 상용 컴퓨터 툴을 이용하여 쉽게 산출될 수 있다. 또한, 상기 녹색영상(제1 녹색영상 및 제2 녹색영상)의 스폿크기를 구하는 단계는 녹색영상의 수평방향 에지 프로파일로부터 수평방향 스폿크기를 구하는 단계와 녹색영상의 수직방향 에지 프로파일로부터 수직방향 스폿크기를 구하는 단계를 포함할 수 있다.On the other hand, calculating the spot size of the green image shown in Figure 3 (S12), and then to obtain the correction coefficients for the red image and the blue image, the spot size and the green image of the corrected red image and the corrected blue image The spot size of the green image is calculated to compare the spot sizes of the green images. In this step, after separating the image of each color from the Bayer format image acquired from the image sensor, the spot size is detected from the edge profile curve of the green image composed of green pixels. As described above, the green image may include a first green image composed of green pixels adjacent to a red pixel in a horizontal direction, and a second green image composed of green pixels adjacent to a blue pixel in a horizontal direction. The calculating of the size may include calculating a spot size for each of the first green image and the second green image. The spot size can be defined at intervals from 10% to 90% of the maximum in the edge profile curve, which can be easily calculated using a commercial computer tool known as ImaTest. In addition, obtaining a spot size of the green image (the first green image and the second green image) may include obtaining a horizontal spot size from a horizontal edge profile of the green image and a vertical spot from a vertical edge profile of the green image. Obtaining the size may include.
상술한 바와 같이, 적색영상 및 청색영상에 대한 블러링 함수를 결정한 후, 본 발명은 도 3에 도시한 바와 같이 블러링 함수를 이용하여 적색영상 및 청색영상에 대한 보정계수를 계산한다(S21, S31). 상기 보정계수는 하기 식 2와 같은 당업계에 잘 알려진 주파수 영역의 인버스(inverse) 필터 형태로 정의될 수 있다.As described above, after determining the blurring functions for the red and blue images, the present invention calculates the correction coefficients for the red and blue images using the blurring function as shown in FIG. 3 (S21, S31). The correction coefficient may be defined in the form of an inverse filter in the frequency domain well known in the art as shown in
[식 2][Equation 2]
(D: 보정계수, B: 상기 식 1의 함수 b의 푸리에 변환, △u=1/△x, △v=1/△y, k: 매개변수)(D: correction coefficient, B: Fourier transform of function b of
상기 식 2에 표현된 'D'라는 함수는 보정계수를 주파수 영역에서 표현한 것이며, 'B'는 블러링 함수, 즉 상기 식 1을 주파수 영역으로 변환하기 위해 푸리에(Fourier) 변환한 것이며, 이러한 주파수 영역으로의 변환에 의해 △u와 △v는 주파수 영역에서 샘플링 간격, 즉 화소 사이의 간격을 주파수 영역에서 표현한 것이 된다. 구체적으로 △u는 1/△x과 같으며, △v는 1/△y와 같다. 또한, 상기 식 2에서 매개변수(k)는 상기 보정계수를 수정하기 위한 것으로 최적의 보정계수를 구하기 위해 그 값을 적절하게 결정할 수 있다. 상기 매개변수(k)의 값을 결정하는 구체적인 방법은 하기에 별도로 설명하기로 한다.The function 'D' expressed in
이어, 상기 식 2에 의해 결정된 보정계수를 적색영상 및 청색영상에 적용하여 보정된 적색영상 및 청색영상을 생성한다(S22, S32). 상기 식 2에 표현된 'D'라는 함수는 보정계수를 주파수 영역에서 표현한 것으로, 각 화소에 보정계수를 적용하기 위해서는 함수 'D'를 결정한 후 이를 다시 역 푸리에 변환을 통해 공간 영역 의 함수로 변환한다. 이렇게 공간 영역으로 변환된 보정계수는 매트릭스 형태의 필터의 형태를 가지며, 이 공간 영역의 보정계수를 이미지센서로부터 출력된 베이어 포맷 영상의 각 화소마다 콘볼루션(convolution) 연산하여 각 화소에 대한 색수차보정을 수행하게 된다.Subsequently, the corrected red image and the blue image are generated by applying the correction coefficient determined by
한편, 색수차 보정의 효과를 더욱 향상시키기 위해, 상기 보정계수(k)의 값을 적절하게 결정할 필요가 있으며, 이를 위해 단계(S22, S32)는 보정된 적색영상 및 보정된 청색영상에 대한 에지 프로파일을 구하고 각 에지 프로파일을 이용하여 보정된 적색영상의 스폿크기와 보정된 청색영상의 스폿크기를 구하는 과정을 더 포함할 수 있다.On the other hand, in order to further improve the effect of the chromatic aberration correction, it is necessary to determine the value of the correction coefficient (k) appropriately, for this step (S22, S32) is the edge profile for the corrected red image and the corrected blue image The method may further include obtaining a spot size of the corrected red image and a spot size of the corrected blue image using each edge profile.
이어, 상기 보정된 적색영상의 스폿크기와 보정된 청색영상의 스폿크기는 녹색 영상의 스폿크기와 비교된다(S23). 본 발명은 블러링에 의한 색수차를 감소시키기 위한 것으로 적색영상의 스폿크기와 녹색영상의 스폿크기를 동일하게 만들고 청색영상의 스폿크기와 녹색영상의 스폿크기를 동일하게 만듦으로써 블러링을 제거하게 된다. 따라서, 보정된 적색영상의 스폿크기와 녹색영상의 스폿크기가 동일하지 않은 경우 상기 식 2에 표현된 보정계수의 매개변수(k)의 값을 조정하고(S25), 이 매개변수(k)값이 조정된 보정계수를 다시 계산하여 적색영상에 적용한다. 이러한 반복과정은 바람직하게 적색영상의 스폿크기와 녹색영상의 스폿크기가 동일하게 될 때까지 수행될 수 있다. 마찬가지로, 보정된 청색영상의 스폿크기와 녹색영상의 스폿크기가 동일하지 않은 경우 상기 식 2에 표현된 보정계수의 매개변수(k)의 값을 조정하고(S35), 이 매개변수(k)값이 조정된 보정계수를 다시 계산하여 청색영상에 적용하는 과정을 반복한다.Subsequently, the spot size of the corrected red image and the spot size of the corrected blue image are compared with the spot size of the green image (S23). The present invention is to reduce the chromatic aberration due to blurring to remove the blurring by making the spot size of the red image and the spot size of the green image the same and making the spot size of the blue image and the spot size of the green image the same. . Therefore, when the spot size of the corrected red image and the spot size of the green image are not the same, the value of the parameter (k) of the correction coefficient expressed in
이러한 보정계수를 수정하는 과정에서, 상기 적색영상의 스폿크기와 비교되는 녹색영상의 스폿크기는 상기 제1 녹색영상의 스폿크기일 수 있으며, 상기 청색영상의 스폿크기와 비교되는 녹색영상의 스폿크기는 상기 제2 녹색영상의 스폿크기일 수 있다.In the process of correcting the correction coefficient, the spot size of the green image compared to the spot size of the red image may be the spot size of the first green image, and the spot size of the green image compared to the spot size of the blue image. May be the spot size of the second green image.
또한, 상술한 실시형태는 최적의 보정계수를 구하기 위해 각 색상 영상의 스폿크기를 비교하고 있으나, 다른 실시형태에서는 스폿크기 대신 각 색상 영상의 블러링 양을 서로 비교할 수도 있다. 즉, 전술한 블러링 함수를 결정하는 과정에서, 녹색영상(제1, 2 녹색영상)의 블러링 함수를 결정하여 녹색영상의 블러링 양을 산출하고, 보정된 적색영상 및 보정된 청색영상으로부터 블러링 함수를 구하여 보정된 적색영상의 블러링 양 및 보정된 청색영상의 블러링 양을 구한 후, 보정된 적색영상의 블러링 양과 녹색영상(제1 녹색영상)의 블러링 양을 서로 비교하여 그 값이 동일해질 때까지 매개변수(k)의 값을 변화시키고, 보정된 청색영상의 블러링 양과 녹색영상(제2 녹색영상)의 블러링 양을 서로 비교하여 그 값이 동일해질 때까지 매개변수(k)의 값을 변화시킬 수 있다.In addition, while the above-described embodiments compare spot sizes of respective color images in order to obtain an optimal correction coefficient, other embodiments may compare the blurring amount of each color image instead of the spot size. That is, in the process of determining the above-described blurring function, the blurring function of the green image (first and second green images) is determined to calculate the blurring amount of the green image, and from the corrected red image and the corrected blue image, After calculating the blurring function and calculating the blurring amount of the corrected red image and the correcting blue image, the blurring amount of the corrected red image and the blurring amount of the green image (first green image) are compared with each other. Change the value of the parameter (k) until the value is the same, compare the blurring amount of the corrected blue image with the blurring amount of the green image (second green image), and compare the parameter until the value is the same. It is possible to change the value of the variable k.
한편, 이상적으로는 상기 적색영상의 스폿크기(또는 블러링 양)와 녹색영상의 스폿크기(또는 블러링 양)이 정확하게 일치하고, 상기 청색영상의 스폿크기(또는 블러링 양)와 녹색영상의 스폿크기(또는 블러링 양)이 정확하게 일치하도록 매 개변수(k)의 값이 결정되는 것이 바람직하지만, 실제 적용에서는 정확하게 일치하는 것이 거의 불가능하므로, 상기 적색영상 및 청색영상의 스폿크기(또는 블러링 양)와 녹색영상의 스폿크기(또는 블러링 양)의 차이가 최소가 되는 매개변수(k)의 값을 결정하여야 한다. 한편, 적색영상 및 청색영상의 스폿크기(또는 블러링 양)와 녹색영상의 스폿크기(또는 블러링 양)가 정확하게 일치하는 것은 실질적으로 불가능한 것이므로, 본 명세서 및 첨부된 특허청구범위에서 "적색영상 및 청색영상의 스폿크기(또는 블러링 양)와 녹색영상의 스폿크기(또는 블러링 양)가 동일하다"라는 기재는 실질적으로 동일한 것으로 판단할 수 있는 균등한 범위를 모두 포함하는 것으로 이해되어야 할 것이다.On the other hand, ideally, the spot size (or blurring amount) of the red image and the spot size (or blurring amount) of the green image are exactly the same, and the spot size (or blurring amount) of the blue image and the green image The value of parameter k is preferably determined so that the spot size (or blurring amount) exactly matches, but in practical applications it is almost impossible to exactly match, so the spot size (or blur) of the red and blue images The value of the parameter k, which minimizes the difference between the amount of ring) and the spot size (or blurring amount) of the green image, should be determined. On the other hand, since it is practically impossible to exactly match the spot size (or blurring amount) of the red image and the blue image with the spot size (or blurring amount) of the green image, the present invention and the appended claims refer to "red image". And the spot size (or blurring amount) of the blue image and the spot size (or blurring amount) of the green image "are to be understood to include all of the equivalent ranges that can be judged to be substantially the same. will be.
이하에서는, 적색영상 및 청색영상의 스폿크기(또는 블러링 양)와 녹색영상의 스폿크기(또는 블러링 양)의 차이가 최소가 되도록 보정계수를 결정하는 방법에 대해 상세하게 설명하기로 한다.Hereinafter, a method of determining the correction coefficient will be described in detail so that the difference between the spot size (or blurring amount) of the red and blue images and the spot size (or blurring amount) of the green image is minimized.
도 10은 적색영상 및 청색영상의 스폿크기(또는 블러링 양)와 녹색영상의 스폿크기(또는 블러링 양)의 차이가 최소가 되도록 보정계수를 결정하는 방법을 도시한 플로우 차트이다.FIG. 10 is a flowchart illustrating a method of determining a correction coefficient such that a difference between a spot size (or blurring amount) of a red image and a blue image and a spot size (or blurring amount) of a green image is minimized.
도 10을 참조하면, 먼저 상술한 바와 같이 적색영상 및 청색영상에 대한 보정계수를 계산하고(S61), 이 보정계수를 적용하여 적색영상 및 청색영상을 보정한다(S62). 보정계수를 계산하는 단계에서(S61) 보정계수의 매개변수(식 2의 'k')의 초기값은 실험적으로 적절하게 결정될 수 있다. 또한, 이후 매개변수를 변경하여 적절한 보정계수를 결정하는 과정에서 상기 매개변수(k)를 수정하기 위한 수정값 및 그 수정범위가 미리 설정될 수 있다. 상기 보정계수를 적용하여 적색영상 및 청색영상을 보정하는 단계(S62)는 이미 상술하였으므로 상세한 설명은 생략한다.Referring to FIG. 10, first, as described above, a correction coefficient for the red image and the blue image is calculated (S61), and the red image and the blue image are corrected by applying the correction coefficient (S62). In the step of calculating the correction coefficient (S61), the initial value of the parameter of the correction coefficient ('k' in Equation 2) may be appropriately determined experimentally. In addition, in the process of determining the appropriate correction coefficient by changing the parameter afterwards, a correction value for modifying the parameter k and its correction range may be set in advance. The step S62 of correcting the red image and the blue image by applying the correction coefficient has already been described above, and thus a detailed description thereof will be omitted.
이어, 보정된 적색영상 및 보정된 청색영상에서 수평방향 에지 프로파일 곡선을 구하고 이 수평방향 에지 프로파일 곡선으로부터 보정된 적색영상의 수평방향 스폿크기 및 보정된 청색영상의 수평방향 스폿크기를 산출한다(S71). 이와 마찬가지로, 보정된 적색영상 및 보정된 청색영상에서 수직방향 에지 프로파일 곡선을 구하고 이 수직방향 에지 프로파일 곡선으로부터 보정된 적색영상의 수직방향 스폿크기 및 보정된 청색영상의 수직방향 스폿크기를 산출한다(S81). 스폿 크기를 구하는 기술 또한 상술한 바와 같다.Next, a horizontal edge profile curve is obtained from the corrected red image and the corrected blue image, and the horizontal spot size of the corrected red image and the horizontal spot size of the corrected blue image are calculated from the horizontal edge profile curve (S71). ). Similarly, the vertical edge profile curve is obtained from the corrected red image and the corrected blue image, and the vertical spot size of the corrected red image and the vertical spot size of the corrected blue image are calculated from the vertical edge profile curve ( S81). The technique for obtaining the spot size is also as described above.
이어, 녹색영상의 수평방향 스폿크기와 보정된 적색영상의 수평방향 스폿크기를 이용하여 보정된 적색영상에 대한 수평방향 스코어를 계산하고, 녹색영상의 수평방향 스폿크기와 보정된 청색영상의 수평방향 스폿크기를 이용하여 보정된 청색영상에 대한 수평방향 스코어를 계산한다(S72). 이 과정에서, 보정된 적색영상에 대한 수평방향 스코어를 계산하는데는 도 3의 단계(S12)에서 구한 제1 녹색영상의 수평방향 스폿크기가 이용될 수 있으며, 보정된 청색영상에 대한 수평방향 스코어를 계산하는데는 도 3의 단계(S12)에서 구한 제2 녹색영상의 수평방향 스폿크기가 이용될 수 있다. 상기 수평방향 스코어는 비교의 대상이되는 녹색영상의 수평방향 스폿크기와 보정된 적색영상 및 보정된 청색영상의 수평방향 스폿크기의 차로 정의될 수 있다.Next, the horizontal score of the corrected red image is calculated using the horizontal spot size of the green image and the horizontal spot size of the corrected red image, and the horizontal spot size of the green image and the horizontal direction of the corrected blue image are calculated. A horizontal score for the corrected blue image is calculated using the spot size (S72). In this process, the horizontal spot size of the first green image obtained in step S12 of FIG. 3 may be used to calculate the horizontal score for the corrected red image, and the horizontal score for the corrected blue image. The horizontal spot size of the second green image obtained in step S12 of FIG. 3 may be used to calculate. The horizontal score may be defined as a difference between the horizontal spot size of the green image to be compared with the horizontal spot size of the corrected red image and the corrected blue image.
이와 마찬가지로, 녹색영상의 수직방향 스폿크기와 보정된 적색영상의 수직방향 스폿크기를 이용하여 보정된 적색영상에 대한 수직방향 스코어를 계산하고, 녹색영상의 수직방향 스폿크기와 보정된 청색영상의 수직방향 스폿크기를 이용하여 보정된 청색영상에 대한 수직방향 스코어를 계산한다(S82). 이 과정에서, 보정된 적색영상에 대한 수직방향 스코어를 계산하는데는 도 3의 단계(S12)에서 구한 제1 녹색영상의 수직방향 스폿크기가 이용될 수 있으며, 보정된 청색영상에 대한 수직방향 스코어를 계산하는데는 도 3의 단계(S12)에서 구한 제2 녹색영상의 수직방향 스폿크기가 이용될 수 있다. 상기 수직방향 스코어는 비교의 대상이되는 녹색영상의 수직방향 스폿크기와 보정된 적색영상 및 보정된 청색영상의 수직방향 스폿크기의 차로 정의될 수 있다.Similarly, the vertical score of the corrected red image is calculated by using the vertical spot size of the green image and the vertical spot size of the corrected red image, and the vertical spot size of the green image and the vertical of the corrected blue image are calculated. The vertical direction score of the corrected blue image is calculated using the direction spot size (S82). In this process, the vertical spot size of the first green image obtained in step S12 of FIG. 3 may be used to calculate the vertical score for the corrected red image, and the vertical score for the corrected blue image. The vertical spot size of the second green image obtained in step S12 of FIG. 3 may be used to calculate. The vertical score may be defined as a difference between the vertical spot size of the green image to be compared with the vertical spot size of the corrected red image and the corrected blue image.
이어, 상기 보정된 적색영상에 대한 수평방향 스코어와 수직방향 스코어를 합산하여 보정된 적색영상에 대한 전체 스코어를 계산한 후 이 값을 저장한다(S91). 마찬가지로, 보정된 청색영상에 대한 수평방향 스코어와 수직방향 스코어를 합산하여 보정된 청색영상에 대한 전체 스코어를 계산한 후 이 값을 저장한다(S91). 즉, 보정계수의 매개변수(k)의 값에 따른 적색영상 및 청색영상에 대한 전체 스코어를 계산하고 저장한다.Subsequently, the total score for the corrected red image is calculated by summing the horizontal score and the vertical score for the corrected red image and storing the value (S91). Similarly, the total score for the corrected blue image is calculated by summing the horizontal score and the vertical score for the corrected blue image and then storing the value (S91). That is, the total score for the red image and the blue image according to the value of the parameter k of the correction coefficient is calculated and stored.
이어, 상기 매개변수(k)의 값을 최초 설정된 수정값만큼 수정하고(S92), 이 수정된 매개변수(k)의 값이 최초에 설정된 수정범위 이내인지 판단(S93)하여, 수정범위 이내이면 전술한 스코어 계산 및 저장 과정들을 반복하고, 수정범위를 벗어나면 상기 스코어 계산 과정을 종료한 후, 수정범위 내에서 매개변수(k)의 값을 수정하면서 계산 저장된 전체 스코어 중 최소가 될 때의 매개변수(k)의 값을 보정계수의 매개변수로 결정한다(S94). 이러한 매개변수의 결정은 적색영상 및 청색영상에 대해 각각 수행된다. 이로써 수평방향 및 수직방향으로 녹색영상과의 스폿크기가 가장 작게 보정할 수 있는 보정계수를 결정할 수 있게 된다.Subsequently, the value of the parameter k is corrected by the initially set correction value (S92), and it is determined whether the value of the modified parameter k is within the initially set correction range (S93), and if it is within the correction range. Repeat the above-described score calculation and storage process, and if it is out of the correction range, finish the score calculation process, and then modify the value of parameter (k) within the correction range, and then, when it is the minimum among the total stored scores, The value of the variable k is determined as a parameter of the correction coefficient (S94). Determination of these parameters is performed for red and blue images respectively. As a result, it is possible to determine a correction factor that can correct the smallest spot size with the green image in the horizontal direction and the vertical direction.
하기 표 1은 전술한 보정계수 결정방법에서 연산된 매개변수(k) 값에 따른 스코어를 저장한 것이다.Table 1 below stores the score according to the parameter (k) value calculated in the correction coefficient determination method described above.
상기 표 1은 E48R로 알려진 플라스틱 재료의 렌즈 3 매를 광학계로 적용한 200만 화소 소형 카메라 모듈을 이용해 1m 거리에서 검출한 영상으로부터 보정 계수 산출을 위한 수직 방향 및 수평 방향 그리고 전체 스코어 값을 계산한 결과를 나타낸다. 이 예에서 이미지센서로부터 검출된 베이어 포맷의 영상에서 분리된 적색영상의 수평 및 수직 방향 스폿 크기는 각각 3.96, 4.29 화소이고, 청색영상의 수평 및 수직 방향 스폿 크기는 각각 4.55, 4.71 화소이다. 또한, 녹색영상의 스폿크기는 수평방향, 수직 방향으로 각각 3.16, 3.36 화소이다.Table 1 shows the results of calculating the vertical and horizontal directions and the total score values for calculating the correction coefficients from the image detected at a distance of 1 m using a 2 million pixel small camera module that uses three lenses of plastic material known as E48R as an optical system. Indicates. In this example, the horizontal and vertical spot sizes of the red image separated from the Bayer format image detected by the image sensor are 3.96 and 4.29 pixels, respectively, and the horizontal and vertical spot sizes of the blue image are 4.55 and 4.71 pixels, respectively. In addition, the spot size of the green image is 3.16 and 3.36 pixels in the horizontal and vertical directions, respectively.
상기 표 1에서 나타난 바와 같이, 보정 계수의 매개변수(k) 값의 변화에 따라 보정 계수가 달라지며 이로 인해 보정된 적색영상 및 보정된 청색영상의 스폿크기가 달라지는 것을 확인할 수 있다. 상기 표 1에 따라, 적색영상에 대한 최종 보정계수의 매개변수(k) 값은, 적색영상에 대한 전체 스코어값이 가장 작은 k = 0.041 또는 k = 0.044에서 결정될 수 있다. 또한, 청색영상에 대한 최종 보정계수의 매개변수(k) 값은, 청색영상에 대한 전체 스코어값이 가장 작은 k = 0.026 또는 k = 0.027에서 결정될 수 있다.As shown in Table 1, it can be seen that the correction coefficient is changed according to the change of the parameter (k) value of the correction coefficient, thereby changing the spot sizes of the corrected red image and the corrected blue image. According to Table 1, the parameter (k) value of the final correction coefficient for the red image may be determined at k = 0.041 or k = 0.044 where the total score value for the red image is the smallest. In addition, the parameter (k) value of the final correction coefficient for the blue image may be determined at k = 0.026 or k = 0.027 having the smallest overall score value for the blue image.
이와 같이 결정되는 최종 보정계수는, ISP(도 1의 14) 블록 내에 저장되어 이미지 센서로부터 출력되는 베이어 포맷의 영상에 대한 보간을 수행하기 이전에 각 화소에 대해 콘볼루션 연산됨으로써 스폿크기 차이에 의해 발생하는 색수차 현상을 제거 또는 감소시킬 수 있게 된다.The final correction coefficient determined in this way is convoluted for each pixel before performing interpolation on the Bayer format image stored in the ISP block (14 in FIG. 1) and outputted from the image sensor. It is possible to eliminate or reduce the chromatic aberration that occurs.
한편, 도 10에 도시된 실시형태는 스코어 계산을 위해 각 색상영상의 스폿크기를 이용하였으나, 다른 실시형태에서는 스폿크기 대신 식 1의 블러링 함수에 의해 결정되는 블러링 양을 이용하여 보정계수를 결정하는 과정이 수행될 수도 있다. 즉, 블러링 양을 이용하여 보정계수를 결정하는 실시형태에서는, 상기 보정된 영상의 수평/수직방향 에지 프로파일로부터 수평/수직방향 스폿크기를 산출하는 단계(S71, S81)는 보정된 영상의 수직/수평방향 에지 프로파일로부터 수평/수직방향 블러링 함수를 구함으로써 수직/수평방향 블러링 양을 산출하는 단계로 대체될 수 있다. 또한, 수평/수직방향 스코어 계산 단계(S72, S82)는 녹색영상의 수평/수직방향 블러링 양과 보정된 영상의 수평/수직 방향 블러링 양의 차를 계산하는 단계로 대체될 수 있을 것이다.Meanwhile, although the embodiment shown in FIG. 10 uses the spot size of each color image for score calculation, in another embodiment, the correction coefficient is used by using the blurring amount determined by the blurring function of
도 11의 (a)는 보정을 수행하지 않은 적색, 녹색 및 청색영상의 수평방향 에지 프로파일 곡선을 도시하며, 도 11의 (b)는 본 발명에 의해 결정된 보정계수를 적용하여 색수차를 보정한 적색, 녹색 및 청색영상의 수평방향 에지 프로파일 곡선을 도시한다. 도 11의 (a) 및 (b)를 비교해볼 때, 보정을 수행한 이후 각 색상 영상은 에지 프로파일 곡선에서 에지주위의 기울기 차가 거의 일치하게 정정되었음을 확인할 수 있다. 구체적인 스폿 크기를 비교할 때, 보정 이후 각 영상간의 스폿 크기 차이가 0.5 화소 이내로 실질적으로 동일한 수준까지 정정되었음을 알 수 있다.FIG. 11A illustrates horizontal edge profile curves of red, green, and blue images that have not been corrected, and FIG. 11B shows red, which corrects chromatic aberration by applying a correction coefficient determined by the present invention. The horizontal edge profile curves of the green and blue images are shown. When comparing (a) and (b) of FIG. 11, it can be confirmed that after performing the correction, each color image is corrected so that the inclination difference around the edge in the edge profile curve is almost coincident. When comparing the specific spot size, it can be seen that the spot size difference between the images after correction is corrected to substantially the same level within 0.5 pixels.
도 11의 (c)는 보정을 수행하지 않은 적색, 녹색 및 청색영상의 수직방향 에지 프로파일 곡선을 도시하며, 도 11의 (c)는 본 발명에 의해 결정된 보정계수를 적용하여 색수차를 보정한 적색, 녹색 및 청색영상의 수직방향 에지 프로파일 곡선을 도시한다. 도 11의 (c) 및 (d)를 비교해볼 때, 수평방향 에지 프로파일 곡선과 마찬가지로, 보정을 수행한 이후 각 색상 영상은 에지 프로파일 곡선에서 에지주위의 기울기 차가 거의 일치하게 정정되었음을 확인할 수 있다. 구체적인 스폿 크기를 비교할 때, 보정 이후 각 영상간의 스폿 크기 차이가 0.3 화소 이내로 실질적으로 동일한 수준까지 정정되었음을 알 수 있다.FIG. 11C shows vertical edge profile curves of red, green, and blue images without performing correction, and FIG. 11C shows red, which corrects chromatic aberration by applying a correction coefficient determined by the present invention. The vertical edge profile curves of the green and blue images are shown. When comparing (c) and (d) of FIG. 11, similar to the horizontal edge profile curve, after performing the correction, each color image can be confirmed that the inclination difference around the edge is almost coincident with the edge profile curve. When comparing the specific spot sizes, it can be seen that the spot size difference between the images after correction is corrected to substantially the same level within 0.3 pixels.
도 12의 (a) 및 (b)는 본 발명의 색수차 보정방법을 적용하기 전후의 수평방향 공간 주파수 응답(SFR)을 나타내는 곡선을 도시한다. 또한, 도 12의 (c) 및 (d)는 본 발명의 색수차 보정방법을 적용하기 전후의 수직방향 공간 주파수 응답을 나타내는 곡선을 도시한다. 본 발명에 따른 보정이 수행된 영상에서, 수평방향 및 수직방향 공히 공간 주파수 응답값이 특히 500본 주파수에서 10% 이상 증가함을 확인할 수 있다.12 (a) and 12 (b) show curves showing horizontal spatial frequency response (SFR) before and after applying the chromatic aberration correction method of the present invention. 12C and 12D show curves showing vertical spatial frequency responses before and after applying the chromatic aberration correction method of the present invention. In the image on which the correction is performed according to the present invention, it can be seen that the spatial frequency response increases in the horizontal and vertical directions more than 10%, especially at 500 frequencies.
이상에서 설명한 바와 같이 본 발명의 소형 카메라 모듈의 색수차 보정계수 산출 방법에 따르면, 매개변수의 값을 적절하게 변동시켜 구한 스코어 중 가장 적은 편차를 나타내는 스코어를 갖는 보정계수를 결정할 수 있음으로써 색수차 보정의 효과를 최대화할 수 있는 효과가 있다.As described above, according to the method for calculating the chromatic aberration correction coefficient of the small camera module of the present invention, it is possible to determine the chromatic aberration correction by determining the correction coefficient having the smallest deviation among the scores obtained by appropriately varying the parameter values. There is an effect that can maximize the effect.
또한, 본 발명에 따르면, 각 색상의 영상의 스폿 크기가 달라지더라도 보정이 필요한 적색, 청색영상의 스폿크기와 녹색영상의 스폿크기의 차이, 즉, 스코어를 새로이 계산함으로써 스코어가 최소가 되는 최적의 보정계수 값을 자동으로 산출할 수 있는 효과가 있다.In addition, according to the present invention, even if the spot size of the image of each color is different, the difference between the spot size of the red and blue images that need correction and the spot size of the green image, that is, the optimal score is minimized by newly calculating the score. It is effective to automatically calculate the correction factor value of.
Claims (5)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060115865A KR100843432B1 (en) | 2006-11-22 | 2006-11-22 | Method for calculating chromatic aberration correction coefficient of micro camera module |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020060115865A KR100843432B1 (en) | 2006-11-22 | 2006-11-22 | Method for calculating chromatic aberration correction coefficient of micro camera module |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20080046426A true KR20080046426A (en) | 2008-05-27 |
| KR100843432B1 KR100843432B1 (en) | 2008-07-03 |
Family
ID=39663367
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020060115865A KR100843432B1 (en) | 2006-11-22 | 2006-11-22 | Method for calculating chromatic aberration correction coefficient of micro camera module |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100843432B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116756836A (en) * | 2023-08-16 | 2023-09-15 | 中南大学 | Tunnel super-undermining volume calculation method, electronic equipment and storage medium |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH05110877A (en) * | 1991-10-14 | 1993-04-30 | Fujitsu Ltd | Color reader |
| JPH05122542A (en) * | 1991-10-23 | 1993-05-18 | Canon Inc | Image processor |
| JP3906524B2 (en) | 1997-07-23 | 2007-04-18 | 松下電器産業株式会社 | Image reading device |
| JP3758377B2 (en) | 1998-09-14 | 2006-03-22 | コニカミノルタビジネステクノロジーズ株式会社 | Image reading apparatus and chromatic aberration correction method |
-
2006
- 2006-11-22 KR KR1020060115865A patent/KR100843432B1/en not_active IP Right Cessation
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN116756836A (en) * | 2023-08-16 | 2023-09-15 | 中南大学 | Tunnel super-undermining volume calculation method, electronic equipment and storage medium |
| CN116756836B (en) * | 2023-08-16 | 2023-11-14 | 中南大学 | Tunnel super-undermining volume calculation method, electronic equipment and storage medium |
Also Published As
| Publication number | Publication date |
|---|---|
| KR100843432B1 (en) | 2008-07-03 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100818479B1 (en) | Image processing method for improving sharpness | |
| US8538726B2 (en) | Three dimensional shape measurement apparatus, three dimensional shape measurement method, and computer program | |
| US9581436B2 (en) | Image processing device, image capturing apparatus, and image processing method | |
| US8565524B2 (en) | Image processing apparatus, and image pickup apparatus using same | |
| KR101633946B1 (en) | Image processing device, image processing method, and recording medium | |
| US8482659B2 (en) | Image processing apparatus and image processing method | |
| US8902329B2 (en) | Image processing apparatus for correcting image degradation caused by aberrations and method of controlling the same | |
| KR101417169B1 (en) | Focus assist system and method | |
| CN102685511B (en) | Image processing apparatus and image processing method | |
| TWI538506B (en) | Image processing apparatus, information processing method and computer-readble storage medium | |
| JP2009140496A (en) | Electro-optic color image processing system and lens system | |
| US8774551B2 (en) | Image processing apparatus and image processing method for reducing noise | |
| JP2014138290A (en) | Imaging device and imaging method | |
| KR100843433B1 (en) | Method for measuring amount of blurring of micro camera module | |
| US9967528B2 (en) | Image processing apparatus and image processing method | |
| KR100843432B1 (en) | Method for calculating chromatic aberration correction coefficient of micro camera module | |
| KR100835058B1 (en) | Image processing method for extending depth of field | |
| JP2018205037A (en) | Evaluation device, evaluation program, and method for evaluation | |
| KR100843437B1 (en) | Method for correcting chromatic aberration of micro camera module | |
| US10225537B2 (en) | Image processing apparatus, image capturing apparatus, image processing method, and storage medium | |
| JP2017130848A (en) | Imaging device, imaging method, imaging program, and recording medium recording the imaging program thereof | |
| JP5256236B2 (en) | Image processing apparatus and method, and image processing program | |
| JP2011191244A (en) | Evaluation method of optical unit | |
| JP6105960B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
| JP2016005080A (en) | Imaging apparatus, imaging system, and imaging method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| LAPS | Lapse due to unpaid annual fee |