KR101705877B1 - Method and apparatus for adaptive image correction - Google Patents
Method and apparatus for adaptive image correction Download PDFInfo
- Publication number
- KR101705877B1 KR101705877B1 KR1020150071690A KR20150071690A KR101705877B1 KR 101705877 B1 KR101705877 B1 KR 101705877B1 KR 1020150071690 A KR1020150071690 A KR 1020150071690A KR 20150071690 A KR20150071690 A KR 20150071690A KR 101705877 B1 KR101705877 B1 KR 101705877B1
- Authority
- KR
- South Korea
- Prior art keywords
- correction
- image
- pixel position
- filter
- pixel
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 35
- 238000003702 image correction Methods 0.000 title claims abstract description 27
- 230000003044 adaptive effect Effects 0.000 title claims abstract description 24
- 238000013507 mapping Methods 0.000 claims abstract description 36
- 238000001914 filtration Methods 0.000 claims abstract description 27
- 238000005070 sampling Methods 0.000 claims description 14
- 230000002093 peripheral effect Effects 0.000 claims description 10
- 230000015556 catabolic process Effects 0.000 abstract description 6
- 238000006731 degradation reaction Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 4
- 238000010276 construction Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000000116 mitigating effect Effects 0.000 description 1
Images
Classifications
-
- H04N5/217—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/10—Image enhancement or restoration using non-spatial domain filtering
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/72—Modifying the appearance of television pictures by optical filters or diffusing screens
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20024—Filtering details
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Image Processing (AREA)
Abstract
본 발명은 적응적 영상 보정 방법 및 장치에 관한 것이다. 이러한 목적을 달성하기 위한 본 발명은 적응적 영상 보정 방법에 있어서, 보정 후 영상의 화소 위치를 입력받는 단계, 맵핑 테이블로부터 상기 보정 후 영상의 화소 위치에 대응되는 필터링 정보를 획득하는 단계, 상기 필터링 정보를 이용하여 보정 필터 및 상기 보정 필터에 적용될 보정 전 영상의 화소 위치를 결정하는 단계, 상기 보정 필터 및 상기 보정 전 영상의 화소 위치를 이용하여 상기 보정 후 영상의 화소 위치에 기록될 화소 값을 결정하는 단계 및 상기 보정 후 영상의 화소 위치에 기록될 화소 값을 상기 보정 후 영상의 화소 위치에 출력하는 단계를 포함하는 것을 특징으로 한다. 본 발명에 의하면, 보정 전 영상의 왜곡을 보정할 때 필요한 메모리 대역폭 및 계산량을 최소화하면서 앨리어싱과 같은 화질 저하 문제를 개선할 수 있는 장점이 있다.The present invention relates to an adaptive image correction method and apparatus. According to another aspect of the present invention, there is provided an adaptive image correction method comprising: receiving a pixel position of a post-correction image; obtaining filtering information corresponding to a pixel position of the post-correction image from the mapping table; Determining a pixel position of a pre-correction image to be applied to the correction filter and the correction filter by using information of a pixel before the correction, And outputting the pixel value to be written to the pixel position of the post-correction image to the pixel position of the post-correction image. According to the present invention, it is possible to minimize the image quality degradation such as aliasing while minimizing the memory bandwidth and calculation amount required for correcting the distortion of the pre-correction image.
Description
본 발명은 적응적 영상 보정 방법 및 장치에 관한 것이다.
The present invention relates to an adaptive image correction method and apparatus.
광각 렌즈는 초점 거리가 짧은 렌즈로서 표준 렌즈에 비해 넓은 화각을 제공하는 렌즈이다. 광각 렌즈는 일반 렌즈에 비해 화각이 더 넓으므로 광각 렌즈를 사용하여 촬영된 광각 영상은 일반 렌즈를 통해 촬영한 영상에 비해서 보다 넓은 범위에 있는 피사체를 포함한다는 장점이 있다. 그러나 광각 영상은 일반 렌즈에 의해 촬영한 영상과 비교할 때 영상의 중심부로부터 멀어질수록 왜곡이 심해지는 단점이 있다.A wide-angle lens is a lens having a short focal length and provides a wider angle of view than a standard lens. The wide-angle lens has a wider angle of view than a normal lens, so that a wide-angle image photographed using a wide-angle lens has an advantage over a wider range of objects than a normal lens. However, the wide-angle image has a disadvantage that the distortion becomes worse as the distance from the center of the image increases as compared with the image taken by the general lens.
이와 같은 광각 렌즈에 의해 촬영된 광각 영상의 왜곡을 보정하기 위한 다양한 방법이 제안되어 왔다. 이러한 방법 중 하나로, 보정 전 영상의 화소 위치와 보정 후 영상의 화소 위치를 서로 대응시키는 룩업테이블(Look Up Table, LUT)을 이용하여 영상을 보정하는 방법이 사용되고 있다.Various methods for correcting the distortion of the wide-angle image photographed by the wide-angle lens have been proposed. One of such methods is a method of correcting an image using a lookup table (LUT) that associates a pixel position of a pre-correction image with a pixel position of a post-correction image.
그러나 이와 같은 룩업테이블을 사용할 경우 보정 전 영상의 화소 위치와 보정 후 영상의 화소 위치가 정확하게 대응되지 않는 경우가 발생한다. 이와 같은 경우 가장 인접한 하나의 화소를 선택하여 보정을 수행하는 근접점 샘플링(Nearest point sampling) 방법이 사용될 수 있다. 그러나 근접점 샘플링을 통해 보정된 영상에는 앨리어싱(aliasing)과 같은 화질 저하 현상이 발생한다.However, when such a lookup table is used, the pixel position of the pre-correction image and the pixel position of the post-correction image do not correspond exactly to each other. In such a case, a nearest point sampling method may be used in which the nearest one pixel is selected and the correction is performed. However, image quality degradation such as aliasing occurs in the corrected image through the near-point sampling.
이와 같은 화질 저하 현상을 개선하기 위하여 이중 선형 필터링(Bilinear filtering) 또는 정방형 보간 필터링(Bicubic interpolation filtering)과 같은 보정 방법이 사용될 수 있다. 그러나 이와 같은 보정 방법들은 보정 후 영상의 하나의 화소 값을 결정하기 위해 보정 전 영상의 여러 화소 값들(예컨대, 4개 또는 16개)을 사용한다. 따라서 이와 같은 보정 방법을 사용할 경우 영상 보정에 필요한 메모리 대역폭이 증가하고, 보정에 필요한 계산량 또한 증가하는 문제가 있다.
A correction method such as Bilinear filtering or Bicubic interpolation filtering may be used to improve the image degradation phenomenon. However, such correction methods use several pixel values (for example, four or sixteen) of the pre-correction image to determine one pixel value of the corrected image. Therefore, when such a correction method is used, the memory bandwidth required for image correction increases, and the amount of calculation required for correction also increases.
본 발명은 보정 전 영상의 왜곡을 보정할 때 필요한 메모리 대역폭 및 계산량을 최소화하면서 앨리어싱과 같은 화질 저하 문제를 개선할 수 있는 적응적 영상 보정 방법 및 장치를 제공하는 것을 목적으로 한다.An object of the present invention is to provide an adaptive image correction method and apparatus capable of minimizing image quality degradation such as aliasing while minimizing a memory bandwidth and a calculation amount required for correcting distortion of a pre-correction image.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects and advantages of the present invention which are not mentioned can be understood by the following description and more clearly understood by the embodiments of the present invention. It will also be readily apparent that the objects and advantages of the invention may be realized and attained by means of the instrumentalities and combinations particularly pointed out in the appended claims.
이러한 목적을 달성하기 위한 본 발명은 적응적 영상 보정 방법에 있어서, 보정 후 영상의 화소 위치를 입력받는 단계, 맵핑 테이블로부터 상기 보정 후 영상의 화소 위치에 대응되는 필터링 정보를 획득하는 단계, 상기 필터링 정보를 이용하여 보정 필터 및 상기 보정 필터에 적용될 보정 전 영상의 화소 위치를 결정하는 단계, 상기 보정 필터 및 상기 보정 전 영상의 화소 위치를 이용하여 상기 보정 후 영상의 화소 위치에 기록될 화소 값을 결정하는 단계 및 상기 보정 후 영상의 화소 위치에 기록될 화소 값을 상기 보정 후 영상의 화소 위치에 출력하는 단계를 포함하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an adaptive image correction method comprising: receiving a pixel position of a post-correction image; obtaining filtering information corresponding to a pixel position of the post-correction image from the mapping table; Determining a pixel position of a pre-correction image to be applied to the correction filter and the correction filter by using information of a pixel before the correction, And outputting the pixel value to be written to the pixel position of the post-correction image to the pixel position of the post-correction image.
또한 본 발명은 적응적 영상 보정 장치에 있어서, 보정 후 영상의 화소 위치를 입력받는 입력부, 맵핑 테이블로부터 상기 보정 후 영상의 화소 위치에 대응되는 필터링 정보를 획득하고, 상기 필터링 정보를 이용하여 보정 필터 및 상기 보정 필터에 적용될 보정 전 영상의 화소 위치를 결정하는 맵핑 테이블 관리부, 상기 보정 필터 및 상기 보정 전 영상의 화소 위치를 이용하여 상기 보정 후 영상의 화소 위치에 기록될 화소 값을 결정하는 화소 값 결정부 및 상기 보정 후 영상의 화소 위치에 기록될 화소 값을 상기 보정 후 영상의 화소 위치에 출력하는 출력부를 포함하는 것을 특징으로 한다.
According to another aspect of the present invention, there is provided an adaptive image correction apparatus, comprising: an input unit for receiving a pixel position of a corrected image; filtering information corresponding to a pixel position of the corrected image from the mapping table; A mapping table management unit for determining a pixel position of a pre-correction image to be applied to the correction filter, a mapping table management unit for determining a pixel value for determining a pixel value to be written to a pixel position of the post- And an output unit for outputting the pixel value to be written to the pixel position of the post-correction image at the pixel position of the post-correction image.
전술한 바와 같은 본 발명에 의하면, 보정 전 영상의 왜곡을 보정할 때 필요한 메모리 대역폭 및 계산량을 최소화하면서 앨리어싱과 같은 화질 저하 문제를 개선할 수 있는 장점이 있다.
According to the present invention as described above, it is possible to minimize the image quality degradation such as aliasing while minimizing the memory bandwidth and calculation amount required for correcting the distortion of the pre-correction image.
도 1은 본 발명의 일 실시예에 따른 적응적 영상 보정 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 필터링 정보의 구성도이다.
도 3은 본 발명의 일 실시예에 따른 적응적 영상 보정 방법의 흐름도이다.1 is a block diagram of an adaptive image correction apparatus according to an embodiment of the present invention.
2 is a configuration diagram of filtering information according to an embodiment of the present invention.
3 is a flowchart of an adaptive image correction method according to an embodiment of the present invention.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.The above and other objects, features, and advantages of the present invention will become more apparent by describing in detail exemplary embodiments thereof with reference to the attached drawings, which are not intended to limit the scope of the present invention. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used to denote the same or similar elements.
도 1은 본 발명의 일 실시예에 따른 적응적 영상 보정 장치의 구성도이다.1 is a block diagram of an adaptive image correction apparatus according to an embodiment of the present invention.
도 1을 참고하면, 본 발명의 일 실시예에 따른 적응적 영상 보정 장치(102)는 입력부(104), 맵핑 테이블 관리부(106), 화소 값 결정부(108), 출력부(110)를 포함한다.1, an adaptive
입력부(104)는 보정 후 영상의 화소 위치, 즉 왜곡 현상이 보정된 화소 값이 입력될 보정 후 영상의 화소 위치를 입력받는다. 본 발명의 일 실시예에 따른 적응적 영상 보정 장치(102)는 보정 전 영상에 발생하는 왜곡을 보정하여 보정 후 영상을 생성한다. 이와 같이 왜곡이 보정된 보정 후 영상을 생성하기 위해서 적응적 영상 보정 장치(102)는 입력부(104)를 통해 입력된 보정 후 영상의 각 화소 위치에 기록될 화소 값을 결정하고, 결정된 화소 값을 대응되는 보정 후 영상의 각 화소 위치에 기록한다.The
맵핑 테이블 관리부(106)는 맵핑 테이블로부터 보정 후 영상의 화소 위치에 대응되는 필터링 정보를 획득하고, 획득된 필터링 정보를 이용하여 영상 보정에 사용될 보정 필터 및 해당 보정 필터에 적용될 보정 전 영상의 화소 위치를 결정한다. 본 발명의 일 실시예에서, 필터링 정보는 보정 적용 정보, 보정 필터 정보, 보정 전 영상의 화소 위치 정보를 포함할 수 있다.The mapping
본 발명의 일 실시예에서, 맵핑 테이블 관리부(106)는 보정 후 영상의 화소 위치가 보정 후 영상의 중앙 영역에 포함될 경우, 영상 보정에 사용될 보정 필터를 근접점 샘플링 필터(Nearest point sampling filter) 또는 이중 선형 필터(Bilinear filter)로 결정할 수 있다. 또한 본 발명의 일 실시예에서, 맵핑 테이블 관리부(106)는 보정 후 영상의 화소 위치가 보정 후 영상의 주변 영역에 포함될 경우, 영상 보정에 사용될 보정 필터를 정방형 보간 필터(Bicubic interpolation filter)로 결정할 수 있다. 이 때 보정 후 영상의 중앙 영역 및 주변 영역은 각각 사용자에 의해 미리 지정될 수 있다.In an embodiment of the present invention, when the pixel position of the corrected image is included in the central region of the corrected image, the mapping
다시 도 1을 참고하면, 화소 값 결정부(108)는 맵핑 테이블 관리부(106)에 의해 결정된 보정 필터 및 보정 전 영상의 화소 위치를 이용하여 보정 후 영상의 화소 위치에 기록될 화소 값을 결정한다.Referring again to FIG. 1, the pixel
본 발명의 일 실시예에서, 화소 값 결정부(108)는 맵핑 테이블 관리부(106)에 의해 결정된 보정 필터가 근접점 샘플링 필터일 경우, 보정 전 영상의 화소 위치에 기록된 화소 값을 그대로 보정 후 영상의 화소 위치에 기록될 화소 값으로 결정할 수 있다. 또한 본 발명의 일 실시예에서, 화소 값 결정부(108)는 맵핑 테이블 관리부(106)에 의해 결정된 보정 필터가 이중 선형 필터 또는 정방형 보간 필터일 경우, 보정 전 영상의 화소 위치를 중심으로 미리 정해진 다수의 화소 위치에 기록된 화소 값들을 이용하여 보정 후 영상의 화소 위치에 기록될 화소 값을 결정할 수 있다.In one embodiment of the present invention, when the correction filter determined by the mapping
이하에서는 도 1 내지 도 3을 참고하여 본 발명의 일 실시예에 따른 적응적 영상 보정 방법에 대하여 구체적으로 설명한다.Hereinafter, an adaptive image correction method according to an embodiment of the present invention will be described in detail with reference to FIGS. 1 to 3. FIG.
도 1 및 도 3을 참고하면, 먼저 입력부(104)는 화소 값이 기록될 보정 후 영상의 화소 위치를 입력받는다(302). 보정 후 영상에는 다수의 화소가 포함될 수 있다. 예컨대 보정 후 영상이 1920(가로)×1080(세로)의 해상도를 갖는 영상이라면 보정 후 영상에는 총 2,073,600개의 화소가 포함되며, 각각의 화소의 위치는 좌표 값(예컨대, (100, 200))으로 표현될 수 있다.Referring to FIGS. 1 and 3, first, the
다음으로, 맵핑 테이블 관리부(106)는 맵핑 테이블로부터 보정 후 영상의 화소 위치에 대응되는 필터링 정보를 획득하고(304), 획득된 필터링 정보를 이용하여 영상 보정에 사용될 보정 필터 및 해당 보정 필터에 적용될 보정 전 영상의 화소 위치를 결정한다(306).Next, the mapping
본 발명의 일 실시예에서 맵핑 테이블에는 보정 전 영상의 각각의 화소 위치에 대응되는 필터링 정보가 기록되어 있다. 예컨대 보정 후 영상이 1920(가로)×1080(세로)의 해상도를 갖는 영상이라면 맵핑 테이블에는 총 2,073,600개의 필터링 정보가 개별적으로 기록될 수 있다. 이에 따라 맵핑 테이블 관리부(106)는 미리 저장된 맵핑 테이블에서 입력부(104)를 통해 입력된 화소 위치에 대응되는 각각의 필터링 정보를 획득할 수 있다.In one embodiment of the present invention, filtering information corresponding to each pixel position of the pre-correction image is recorded in the mapping table. For example, if the corrected image is an image having a resolution of 1920 (horizontal) x 1080 (vertical), a total of 2,073,600 filtering information can be individually recorded in the mapping table. Accordingly, the mapping
도 2는 본 발명의 일 실시예에 따른 필터링 정보의 구성도이다. 도 2를 참고하면, 필터링 정보에는 보정 적용 정보가 기록되는 필드(w), 보정 필터 정보가 기록되는 필드(fsel), 보정 전 영상의 화소 위치 정보가 기록되는 필드((xi, xf), (yi, yf))가 포함된다.2 is a configuration diagram of filtering information according to an embodiment of the present invention. 2, the filtering information includes a field w for recording correction application information, a field fsel for recording correction filter information, a field (xi, xf) for recording pixel position information of a pre- yi, yf).
보정 적용 정보 필드(w)는 입력부(104)를 통해 입력된 화소 위치에 왜곡 보정을 적용할지 여부를 결정하는 필드이다. 예컨대 보정 적용 정보 필드(w)가 1일 경우에만 도 3의 단계 306 내지 310을 수행하고, 0일 경우에는 도 3의 단계 306 내지 310을 수행하지 않을 수 있다.The correction application information field w is a field for determining whether to apply distortion correction to pixel positions input through the
보정 필터 정보 필드(fsel)는 입력부(104)를 통해 입력된 화소 위치에 기록될 화소 값을 결정하기 위한 보정 필터의 종류를 나타내는 필드이다. 예컨대 보정 필터 정보 필드(fsel)가 0일 경우에는 근접점 샘플링 필터가, 1일 경우에는 이중 선형 필터가, 2일 경우에는 정방형 보간 필터가 왜곡 보정에 사용될 보정 필터로 결정된다.The correction filter information field fsel is a field indicating a type of correction filter for determining a pixel value to be recorded at a pixel position input through the
보정 전 영상의 화소 위치 필드((xi, xf), (yi, yf))는 입력부(104)를 통해 입력된 화소 위치에 기록될 화소 값을 결정하기 위해 사용되는 보정 전 영상의 화소 위치를 정의하는 필드이다. 여기서 (xi, xf)는 가로 위치, (yi, yf)는 세로 위치를 각각 나타낸다. 또한 xi, yi는 정수, xf, yf는 소수를 나타낸다. 예를 들어 ((1, 0), (1, 0))은 보정 전 영상의 가로 1번째, 세로 1번째에 위치하는 화소를 의미한다. 또한 ((1, 0.5), (1, 0.5))는 보정 전 영상의 가로 1.5번째(가로 1번째와 가로 2번째의 중간 위치), 세로 1.5번째(세로 1번째와 세로 2번째의 중간 위치)에 위치하는 화소를 의미한다.The pixel position field (xi, xf), (yi, yf) of the pre-correction image defines the pixel position of the pre-correction image used to determine the pixel value to be written to the pixel position input through the
맵핑 테이블 관리부(106)는 도 2에 도시된 바와 같은 필터링 정보를 획득하고, 보정 적용 정보 필드(w)를 통해 입력부(104)를 통해 입력된 화소 위치에 대한 왜곡 보정 절차를 계속 수행할지 여부를 결정한다. 또한 맵핑 테이블 관리부(106)는 보정 필터 정보 필드(fsel)를 통해 보정 필터의 종류를 선택하고, 보정 전 영상의 화소 위치 필드((xi, xf), (yi, yf))를 통해 왜곡 보정에 사용될 보정 전 영상의 화소 위치를 결정한다.The mapping
다음으로, 화소 값 결정부(108)는 맵핑 테이블 관리부(106)에 의해 결정된 보정 필터 및 보정 전 영상의 화소 위치를 이용하여 보정 후 영상의 화소 위치에 기록될 화소 값을 결정한다(308). 보다 구체적으로, 화소 값 결정부(108)는 맵핑 테이블 관리부(106)에 의해 결정된 보정 필터의 보정 방법을 적용하여 다음과 같이 화소 값을 결정한다.Next, the pixel
만약 맵핑 테이블 관리부(106)에 의해 결정된 보정 필터가 근접점 샘플링 필터인 경우, 화소 값 결정부(108)는 앞서 획득된 보정 전 영상의 화소 위치 정보 중 정수를 나타내는 정보들, 즉 xi 및 yi만을 사용하여 보정 전 영상의 화소 위치(xi, yi)를 지정하고, 지정된 보정 전 영상의 화소 위치(xi, yi)에 기록된 화소 값을 그대로 보정 후 영상의 화소 위치에 기록될 화소 값으로 결정한다.If the correction filter determined by the mapping
만약 맵핑 테이블 관리부(106)에 의해 결정된 보정 필터가 이중 선형 필터 또는 정방형 보간 필터인 경우, 보정 전 영상의 화소 위치를 중심으로 미리 정해진 다수의 화소 위치에 기록된 화소 값들을 이용하여 보정 후 영상의 화소 위치에 기록될 화소 값을 결정할 수 있다.If the correction filter determined by the mapping
맵핑 테이블 관리부(106)에 의해 결정된 보정 필터가 이중 선형 필터인 경우, 화소 값 결정부(108)는 보정 전 영상의 화소 위치 정보((xi, xf), (yi, yf))에 의해 지정되는 위치를 기초로 4개의 화소 위치를 선택하고, 선택된 화소 위치들에 기록된 화소 값들의 평균 값을 보정 후 영상의 화소 위치에 기록될 화소 값으로 결정할 수 있다. 예를 들어 보정 전 영상의 화소 위치가 ((1, 0.5), (1, 0.5)), 즉 (1.5, 1.5)로 지정된 경우, 화소 값 결정부(108)는 해당 위치를 중심으로 4개의 화소 위치((1, 1), (1, 2), (2, 1), (2, 2))에 기록된 화소 값들의 평균 값을 보정 후 영상의 화소 위치에 기록될 화소 값으로 결정할 수 있다.When the correction filter determined by the mapping
맵핑 테이블 관리부(106)에 의해 결정된 보정 필터가 정방형 보간 필터인 경우, 화소 값 결정부(108)는 보정 전 영상의 화소 위치 정보((xi, xf), (yi, yf))에 의해 지정되는 위치를 기초로 16개의 화소 위치를 선택하고, 선택된 화소 위치들에 기록된 화소 값들의 평균 값을 보정 후 영상의 화소 위치에 기록될 화소 값으로 결정할 수 있다. 예를 들어 보정 전 영상의 화소 위치가 ((1, 0.5), (1, 0.5)), 즉 (1.5, 1.5)로 지정된 경우, 화소 값 결정부(108)는 해당 위치를 중심으로 16개의 화소 위치((0, 0), ..., (0, 3), (1, 0), ..., (1, 3), ... (2, 0). ..., (2, 3), (3, 0), ..., (3, 3))에 기록된 화소 값들의 평균 값을 보정 후 영상의 화소 위치에 기록될 화소 값으로 결정할 수 있다.When the correction filter determined by the mapping
본 발명의 일 실시예에서, 맵핑 테이블 관리부(106)는 입력부(102)에 의해 입력된 보정 후 영상의 화소 위치가 보정 후 영상의 중앙 영역에 포함될 경우 왜곡 보정에 사용될 보정 필터를 근접점 샘플링 필터 또는 이중 선형 필터로 결정할 수 있다. 또한 맵핑 테이블 관리부(106)는 입력부(102)에 의해 입력된 보정 후 영상의 화소 위치가 보정 후 영상의 주변 영역에 포함될 경우 왜곡 보정에 사용될 보정 필터를 정방형 보간 필터로 결정할 수 있다. 이 때 보정 후 영상의 중앙 영역 및 주변 영역은 각각 사용자에 의해 미리 지정될 수 있다. 예컨대 사용자는 보정 후 영상의 전체 화소 위치들을 고려하여 특정 화소 위치들을 중앙 영역으로 설정하고, 중앙 영역을 제외한 나머지 영역들에 포함되는 화소 위치들을 주변 영역으로 설정할 수 있다.In an embodiment of the present invention, when the pixel position of the post-correction image input by the
본 발명에서는 이와 같이 보정 후 영상의 화소 위치가 영상의 어느 영역(중앙 영역 또는 주변 영역)에 속하는지를 고려하여 왜곡 보정에 사용될 보정 필터를 결정한다. 이는 왜곡 보정을 수행함에 있어서 최소한의 메모리 대역폭과 계산량을 통해 최대한의 영상 품질을 확보하기 위함이다. 예컨대 광각 렌즈로 촬영된 광각 영상의 경우 중앙 영역의 왜곡 정도는 주변 영역보다 상대적으로 낮다. 따라서 중앙 영역에 위치하는 화소에 대해서는 메모리 대역폭과 계산량이 상대적으로 적은 근접점 샘플링 또는 이중 선형 필터링을 적용하는 것이 바람직하다. 반면에 주변 영역에 위치하는 화소의 경우 왜곡 정도가 높으므로 메모리 대역폭과 계산량이 상대적으로 높은 정방형 보간 필터를 사용하여 영상의 품질을 높이는데 초점을 맞출 수 있다.In the present invention, a correction filter to be used for distortion correction is determined by taking into consideration which region (center region or peripheral region) of the image the pixel position of the corrected image belongs to. This is to ensure the maximum image quality through minimum memory bandwidth and calculation amount in performing distortion correction. For example, in the case of a wide-angle image photographed with a wide-angle lens, the degree of distortion in the central region is relatively lower than in the peripheral region. Therefore, it is desirable to apply near-point sampling or double linear filtering with a relatively small memory bandwidth and calculation amount for pixels located in the central region. On the other hand, since the pixels located in the peripheral region have a high degree of distortion, a square interpolation filter having a relatively high memory bandwidth and a large amount of computation can be used to focus on improving the image quality.
한편, 본 발명의 다른 실시예에서는 보정 전 영상의 화소 위치 정보((xi, xf), (yi, yf))에 포함된 정보 중 소수를 나타내는 소수 정보(xf, yf)에 따라서 왜곡 보정에 사용될 필터를 결정할 수도 있다. 예를 들어 맵핑 테이블 관리부(106)는 소수 정보(xf, yf)가 미리 정해진 기준 값(예컨대, 0.1)보다 작거나 같으면 왜곡 보정에 사용될 보정 필터를 근접점 샘플링으로 결정할 수 있고, 소수 정보(xf, yf)가 미리 정해진 기준 값보다 크면 왜곡 보정에 사용될 보정 필터를 이중 선형 필터링 또는 정방형 보간 필터로 결정할 수 있다. 아울러 맵핑 테이블 관리부(106)는 이중 선형 필터링과 정방형 보간 필터 중 어느 하나를 선택하기 위한 별도의 기준 값(예컨대, 0.5)을 설정할 수도 있다.According to another embodiment of the present invention, the decimal information xf, yf indicating the prime number among the information included in the pixel position information (xi, xf), (yi, yf) A filter may be determined. For example, the mapping
다시 도 3을 참고하면, 출력부(110)는 위와 같이 맵핑 테이블 관리부(106)에 의해 결정된 보정 후 영상의 화소 위치에 기록될 화소 값을 보정 후 영상의 화소 위치에 출력 또는 기록한다(310). 이에 따라 보정 후 영상에 포함된 각각의 화소 위치에는 왜곡이 보정된 화소 값들이 기록되고, 결과적으로 보정 전 영상에 비해 왜곡이 개선된 보정 후 영상이 생성될 수 있다.3, the
지금까지 설명한 본 발명의 적응적 영상 보정 방법에 따르면, 종래 기술과 같이 하나의 보정 방법만을 이용하는 경우에 비해서 영상의 품질을 효율적으로 개선하면서도 메모리 대역폭 및 계산량을 줄일 수 있다.According to the adaptive image correction method of the present invention described above, as compared with the case of using only one correction method as in the prior art, the quality of the image can be efficiently improved, and the memory bandwidth and calculation amount can be reduced.
가령 근접점 샘플링 방법만을 사용하는 경우 하나의 화소 값을 결정하기 위하여 하나의 화소 값만을 사용 하므로 전체적인 메모리 대역폭 요구량을 최소화 할 수 있지만 왜곡이 심한 주변 영역에서의 앨리어싱에 의한 화질 저하 문제가 매우 심각해 진다. 또한 정방형 보간 방법만을 사용하는 경우 앨리어싱 문제는 상당히 완화되지만, 하나의 화소 값을 결정하기 위하여 16개의 화소 값을 필요로 하기 때문에 메모리 대역폭 요구량이 지나치게 증가하는 문제가 있다.For example, if only the near-point sampling method is used, since only one pixel value is used to determine one pixel value, the overall memory bandwidth requirement can be minimized, but the image quality degradation due to aliasing in the highly distorted peripheral region becomes very serious . In addition, when only the square interpolation method is used, the aliasing problem is considerably alleviated, but since 16 pixel values are required to determine one pixel value, there is a problem that the memory bandwidth requirement is excessively increased.
그러나 본 발명의 적응적 영상 보정 방법에 따르면, 전체 영상 영역 중 왜곡이 심하지 않은 중앙 영역에 대해서는 메모리 대역폭 요구량이 적은 근접점 샘플링 이나 이중 선형 필터링 방법을 사용하고, 왜곡이 심한 주변 영역에 대해서는 메모리 대역폭 요구량 및 계산량이 다소 높더라도 왜곡 보정 성능이 뛰어난 정방형 보간 방법을 사용하기 때문에 전체적으로 앨리어싱과 같은 왜곡 문제를 완화하면서도 정방형 보간 방법만을 사용할 때에 비해서 메모리 대역폭 및 계산량을 절감할 수 있다.However, according to the adaptive image correction method of the present invention, a near-point sampling or a double linear filtering method having a small memory bandwidth requirement is used for a central region where distortion is not severe among the entire image regions, and a memory bandwidth Since the square interpolation method having excellent distortion correction performance is used even when the demand amount and the calculation amount are somewhat high, the memory bandwidth and calculation amount can be reduced as compared with the case of using only the square interpolation method while mitigating the distortion problem such as aliasing as a whole.
전술한 본 발명은, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.While the present invention has been described in connection with what is presently considered to be practical exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, But the present invention is not limited thereto.
Claims (10)
맵핑 테이블로부터 상기 보정 후 영상의 화소 위치에 대응되는 필터링 정보를 획득하는 단계;
상기 필터링 정보 및 상기 보정 전 영상의 왜곡 정도를 이용하여 보정 필터 및 상기 보정 필터에 적용될 보정 전 영상의 화소 위치를 결정하는 단계;
상기 보정 필터 및 상기 보정 전 영상의 화소 위치를 이용하여 상기 보정 후 영상의 화소 위치에 기록될 화소 값을 결정하는 단계; 및
상기 보정 후 영상의 화소 위치에 기록될 화소 값을 상기 보정 후 영상의 화소 위치에 출력하는 단계를 포함하고,
상기 필터링 정보를 이용하여 보정 필터 및 상기 보정 필터에 적용될 보정 전 영상의 화소 위치를 결정하는 단계는
상기 보정 후 영상의 화소 위치가 상기 보정 후 영상의 중앙 영역에 포함될 경우 상기 보정 필터를 근접점 샘플링 필터 또는 이중 선형 필터로 결정하는 단계; 및
상기 보정 후 영상의 화소 위치가 상기 보정 후 영상의 주변 영역에 포함될 경우 상기 보정 필터를 정방형 보간 필터로 결정하는 단계를 포함하는
적응적 영상 보정 방법.
Receiving a pixel position of the corrected image;
Obtaining filtering information corresponding to a pixel position of the corrected image from the mapping table;
Determining a pixel position of a pre-correction image to be applied to the correction filter and the correction filter using the filtering information and the degree of distortion of the pre-correction image;
Determining a pixel value to be recorded at a pixel position of the post-correction image using the correction filter and a pixel position of the pre-correction image; And
And outputting the pixel value to be written to the pixel position of the post-correction image to the pixel position of the post-correction image,
Wherein the determining the pixel position of the correction filter and the pre-correction image to be applied to the correction filter using the filtering information comprises:
Determining the correction filter as a near point sampling filter or a double linear filter when the pixel position of the post-correction image is included in the center region of the post-correction image; And
And determining the correction filter as a square interpolation filter when the pixel position of the post-correction image is included in the peripheral region of the post-correction image
Adaptive Image Correction Method.
상기 필터링 정보는
보정 적용 정보, 보정 필터 정보, 보정 전 영상의 화소 위치 정보를 포함하는
적응적 영상 보정 방법.
The method according to claim 1,
The filtering information
Correction application information, correction filter information, and pixel position information of the pre-correction image
Adaptive Image Correction Method.
상기 보정 후 영상의 화소 위치에 기록될 화소 값을 결정하는 단계는
상기 보정 필터가 근접점 샘플링 필터(Nearest point sampling filter)일 경우 상기 보정 전 영상의 화소 위치에 기록된 화소 값을 상기 보정 후 영상의 화소 위치에 기록될 화소 값으로 결정하는 단계를 포함하는
적응적 영상 보정 방법.
The method according to claim 1,
The step of determining a pixel value to be recorded at a pixel position of the post-correction image
When the correction filter is a nearest point sampling filter, determining a pixel value recorded at a pixel position of the pre-correction image as a pixel value to be recorded at a pixel position of the post-correction image
Adaptive Image Correction Method.
상기 보정 후 영상의 화소 위치에 기록될 화소 값을 결정하는 단계는
상기 보정 필터가 이중 선형 필터(Bilinear filter) 또는 정방형 보간 필터(Bicubic interpolation filter) 일 경우 상기 보정 전 영상의 화소 위치를 중심으로 미리 정해진 다수의 화소 위치에 기록된 화소 값들을 이용하여 상기 보정 후 영상의 화소 위치에 기록될 화소 값을 결정하는 단계를 포함하는
적응적 영상 보정 방법.
The method according to claim 1,
The step of determining a pixel value to be recorded at a pixel position of the post-correction image
Wherein when the correction filter is a bilinear filter or a bicubic interpolation filter, using the pixel values recorded at a plurality of predetermined pixel positions around the pixel position of the pre-correction image, Determining a pixel value to be written to the pixel position of the pixel < RTI ID = 0.0 >
Adaptive Image Correction Method.
맵핑 테이블로부터 상기 보정 후 영상의 화소 위치에 대응되는 필터링 정보를 획득하고, 상기 필터링 정보 및 상기 보정 전 영상의 왜곡 정도를 이용하여 보정 필터 및 상기 보정 필터에 적용될 보정 전 영상의 화소 위치를 결정하는 맵핑 테이블 관리부;
상기 보정 필터 및 상기 보정 전 영상의 화소 위치를 이용하여 상기 보정 후 영상의 화소 위치에 기록될 화소 값을 결정하는 화소 값 결정부; 및
상기 보정 후 영상의 화소 위치에 기록될 화소 값을 상기 보정 후 영상의 화소 위치에 출력하는 출력부를 포함하고,
상기 맵핑 테이블 관리부는
상기 보정 후 영상의 화소 위치가 상기 보정 후 영상의 중앙 영역에 포함될 경우 상기 보정 필터를 근접점 샘플링 필터 또는 이중 선형 필터로 결정하고,
상기 보정 후 영상의 화소 위치가 상기 보정 후 영상의 주변 영역에 포함될 경우 상기 보정 필터를 정방형 보간 필터로 결정하는
적응적 영상 보정 장치.
An input unit for receiving a pixel position of the corrected image;
Acquires filtering information corresponding to a pixel position of the post-correction image from the mapping table, and determines a pixel position of a correction filter and a pre-correction image to be applied to the correction filter, using the filtering information and the degree of distortion of the pre- A mapping table management unit;
A pixel value determining unit that determines a pixel value to be written to a pixel position of the post-correction image using the correction filter and a pixel position of the pre-correction image; And
And an output unit for outputting a pixel value to be written to a pixel position of the post-correction image to a pixel position of the post-correction image,
The mapping table management unit
And determining the correction filter as a near point sampling filter or a double linear filter when the pixel position of the post-correction image is included in the central region of the post-correction image,
And determines the correction filter as a square interpolation filter when the pixel position of the post-correction image is included in the peripheral region of the post-correction image
Adaptive Image Correction Device.
상기 필터링 정보는
보정 적용 정보, 보정 필터 정보, 보정 전 영상의 화소 위치 정보를 포함하는
적응적 영상 보정 장치.
The method according to claim 6,
The filtering information
Correction application information, correction filter information, and pixel position information of the pre-correction image
Adaptive Image Correction Device.
상기 화소 값 결정부는
상기 보정 필터가 근접점 샘플링 필터(Nearest point sampling filter)일 경우 상기 보정 전 영상의 화소 위치에 기록된 화소 값을 상기 보정 후 영상의 화소 위치에 기록될 화소 값으로 결정하는
적응적 영상 보정 장치.
The method according to claim 6,
The pixel value determination unit
When the correction filter is a nearest point sampling filter, a pixel value recorded at a pixel position of the pre-correction image is determined as a pixel value to be recorded at a pixel position of the post-correction image
Adaptive Image Correction Device.
상기 화소 값 결정부는
상기 보정 필터가 이중 선형 필터(Bilinear filter) 또는 정방형 보간 필터(Bicubic interpolation filter) 일 경우 상기 보정 전 영상의 화소 위치를 중심으로 미리 정해진 다수의 화소 위치에 기록된 화소 값들을 이용하여 상기 보정 후 영상의 화소 위치에 기록될 화소 값을 결정하는 단계를 포함하는
적응적 영상 보정 장치.
The method according to claim 6,
The pixel value determination unit
Wherein when the correction filter is a bilinear filter or a bicubic interpolation filter, using the pixel values recorded at a plurality of predetermined pixel positions around the pixel position of the pre-correction image, Determining a pixel value to be written to the pixel position of the pixel < RTI ID = 0.0 >
Adaptive Image Correction Device.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150071690A KR101705877B1 (en) | 2015-05-22 | 2015-05-22 | Method and apparatus for adaptive image correction |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020150071690A KR101705877B1 (en) | 2015-05-22 | 2015-05-22 | Method and apparatus for adaptive image correction |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20160137822A KR20160137822A (en) | 2016-12-01 |
KR101705877B1 true KR101705877B1 (en) | 2017-02-13 |
Family
ID=57577290
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020150071690A KR101705877B1 (en) | 2015-05-22 | 2015-05-22 | Method and apparatus for adaptive image correction |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101705877B1 (en) |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008139577A1 (en) | 2007-05-09 | 2008-11-20 | Fujitsu Microelectronics Limited | Image processor, imager, and image distortion correcting method |
JP2009130546A (en) * | 2007-11-21 | 2009-06-11 | Suzuki Motor Corp | Image distortion correcting method |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101348931B1 (en) * | 2011-12-29 | 2014-01-09 | 광운대학교 산학협력단 | A Super-resolution Method using Discrete Wavelet Transform for Single-image |
-
2015
- 2015-05-22 KR KR1020150071690A patent/KR101705877B1/en active IP Right Grant
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2008139577A1 (en) | 2007-05-09 | 2008-11-20 | Fujitsu Microelectronics Limited | Image processor, imager, and image distortion correcting method |
JP4657367B2 (en) * | 2007-05-09 | 2011-03-23 | 富士通セミコンダクター株式会社 | Image processing apparatus, imaging apparatus, and image distortion correction method |
JP2009130546A (en) * | 2007-11-21 | 2009-06-11 | Suzuki Motor Corp | Image distortion correcting method |
Also Published As
Publication number | Publication date |
---|---|
KR20160137822A (en) | 2016-12-01 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US8659672B2 (en) | Image processing apparatus and image pickup apparatus using same | |
JP4104571B2 (en) | Distortion correction apparatus and imaging apparatus provided with the distortion correction apparatus | |
US9100583B2 (en) | Image processing apparatus for correcting an aberration of an image containing a luminance saturation part, image pickup apparatus, image processing method, and non-transitory recording medium storing program | |
JP5677040B2 (en) | Image processing apparatus and control method thereof | |
US20070115384A1 (en) | Image processing apparatus and method for preferably correcting distortion aberration | |
TW200838324A (en) | Color and geometry distortion correction system and method | |
JP2004241991A (en) | Imaging apparatus, image processor, and image processing program | |
JP2011211426A (en) | Image processing apparatus and method of controlling the same | |
JP2010034964A (en) | Image composition apparatus, image composition method and image composition program | |
KR20130033304A (en) | Image processing apparatus and method | |
KR20070114556A (en) | Apparatus and method for correcting gamma in digital image processing device | |
US20100214446A1 (en) | Image processing apparatus and image processing method | |
WO2019104047A1 (en) | Global tone mapping | |
JP6247794B2 (en) | Image processing apparatus, imaging apparatus, image processing method, and program | |
US20130322755A1 (en) | Image processing method and apparatus | |
WO2017043097A1 (en) | Imaging system, image processing method, image processing program, and storage medium | |
JP4586942B1 (en) | Imaging device | |
JP5353945B2 (en) | Image processing apparatus, image processing program, and electronic camera | |
US20120188390A1 (en) | Methods And Apparatuses For Out-Of-Gamut Pixel Color Correction | |
KR101705877B1 (en) | Method and apparatus for adaptive image correction | |
JP4827213B2 (en) | Image correction apparatus and image correction method | |
JP4664259B2 (en) | Image correction apparatus and image correction method | |
JP6105960B2 (en) | Image processing apparatus, image processing method, and imaging apparatus | |
JP5278421B2 (en) | Imaging device | |
KR20120095132A (en) | Apparatus and method for image processing for digital zooming system |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
AMND | Amendment | ||
E601 | Decision to refuse application | ||
X091 | Application refused [patent] | ||
AMND | Amendment | ||
X701 | Decision to grant (after re-examination) | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20191223 Year of fee payment: 4 |