KR101580056B1 - Apparatus for correcting image distortion and method thereof - Google Patents
Apparatus for correcting image distortion and method thereof Download PDFInfo
- Publication number
- KR101580056B1 KR101580056B1 KR1020140123719A KR20140123719A KR101580056B1 KR 101580056 B1 KR101580056 B1 KR 101580056B1 KR 1020140123719 A KR1020140123719 A KR 1020140123719A KR 20140123719 A KR20140123719 A KR 20140123719A KR 101580056 B1 KR101580056 B1 KR 101580056B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- pixel
- coordinate value
- function
- coordinate values
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3188—Scale or resolution adjustment
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
- G06F17/10—Complex mathematical operations
- G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Data Mining & Analysis (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computational Mathematics (AREA)
- Mathematical Analysis (AREA)
- Mathematical Optimization (AREA)
- Pure & Applied Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computing Systems (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- General Engineering & Computer Science (AREA)
- Algebra (AREA)
- Image Processing (AREA)
- Projection Apparatus (AREA)
- Transforming Electric Information Into Light Information (AREA)
Abstract
Description
본 발명은 영상 왜곡 보정 장치 및 그 방법에 관한 것으로서, 더욱 상세하게는 프로젝터를 통해 스크린에 투사되는 영상의 왜곡을 보정하는 장치 및 그 방법에 관한 것이다.BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to an image distortion correction apparatus and method thereof, and more particularly, to an apparatus and method for correcting distortion of an image projected on a screen through a projector.
최근 휴대형 멀티미디어 기기들이 발전함에 따라 휴대 환경에 적응적으로 대형 화면을 구현할 수 있는 휴대형 프로젝터에 관한 많은 연구가 진행 중이다. 휴대형 프로젝터는 스크린이 설치되어 있는 환경에 비해 상대적 협소한 장소에서 스크린을 대체할 수 있는 면을 이용하여 대형 화면을 구현한다. 이러한 휴대형 프로젝터를 회의실과 같은 실내에서 사용되던 일반의 프로젝터와 구별해서 피코-프로젝터(pico projector)라고 한다. 그리고, 이러한 피코 프로젝터는 소형화 제작에 적합한 레이저 프로젝터인 경우가 많다.Recently, as portable multimedia devices are developed, a lot of research is being conducted on a portable projector capable of implementing a large screen adaptively to a portable environment. Portable projectors implement a large screen using a surface that can replace the screen in a relatively small space relative to the environment in which the screen is installed. Such a portable projector is called a pico projector in distinguishing it from a conventional projector used in a room such as a conference room. These pico projectors are often laser projectors suitable for miniaturization.
레이저 프로젝터란 광학 스캐너를 이용하여 그림 및 문자의 레이저 영사를 가능하게 하는 장치를 말하며 광학 스캐너, 레이저 장치, 스캐닝 미러, 마이크로 프로세서로 구성된 콘드롤러 등으로 구성된다.A laser projector is a device that enables laser projection of pictures and characters using an optical scanner. It consists of an optical scanner, a laser device, a scanning mirror, and a condenser composed of a microprocessor.
레이저 프로젝터는 스크린에 투시된 영상을 만들기 위해 광학 스캐너를 통해 입력된 영상을 표시하는 레이저 장치의 광원을 스캐닝 미러에 반사시켜 스크린에 투사한다. 이 경우, 투시되는 영상은 원본 영상과 비교하여 크기 면에서는 확대된 영상이지만 해상도가 저하되고 왜곡이 발생하는 영상일 수 있다.A laser projector reflects a light source of a laser device, which displays an image input through an optical scanner, on a scanning mirror to project the image on a screen to produce an image projected on the screen. In this case, the image to be viewed is an image enlarged in size in comparison with the original image, but the image may be degraded in resolution and distorted.
이 경우 프로젝터를 통해 생성되는 영상의 왜곡은 여러가지 원인에 기인한다, 특히 레이저 프록젝터의 경우 광학 스캐너의 좌표축이 어긋남으로 인해서 스캐닝 미러에 반사되는 레이저가 스크린에 투사되는 경우 투사된 영상에 왜곡이 발생한다. 이 경우 투사 렌즈를 통해서 왜곡을 보정할 수 있는데, 이러한 투사 렌즈는 비구면 렌즈로서 정교한 기술력이 요구되는 고가의 부품에 해당하여 소형의 프로젝터의 단가를 높이는 원인이 된다.In this case, the distortion of the image generated by the projector is caused by various causes. In particular, in the case of the laser projector, when the laser reflected by the scanning mirror is projected on the screen due to the deviation of the coordinate axis of the optical scanner, distortion occurs in the projected image do. In this case, the distortion can be corrected through the projection lens. Such a projection lens is an aspherical lens, which corresponds to an expensive component requiring a sophisticated technical skill, which causes the unit price of a small projector to be increased.
도 1은 왜곡된 영상의 예시 화면이다.1 is an exemplary screen of a distorted image.
도 1에 나타낸 것처럼, 바둑판 모양의 격자 무늬 영상에 해당하는 원본 영상이 스크린에 투사된 경우 나타나는 왜곡된 영상의 모습이다. 영상의 우측이 좌측과 비교하여 넓게 변형된 사다리꼴 모양으로 왜곡되어 있다.As shown in FIG. 1, a distorted image appears when an original image corresponding to a grid-like grid image is projected on a screen. The right side of the image is distorted into a trapezoid shape that is wider than the left side.
프로젝터 영상의 왜곡을 보정하는 기존의 기술에 의하는 경우, 도 1에 나타난 왜곡된 영상을 180도 대칭에 따라 변환된 영상을 생성하여 왜곡을 보정하는 기술이 있다. 즉, 이러한 기술들은 원본 영상에 대해 왜곡과 반대되는 변환을 하고, 반대 변환된 해당 영상을 스크린에 투사하는 경우 왜곡으로 인해 원본과 동일한 형태의 출력 영상을 얻는 것에 관한 것이다.According to an existing technique for correcting distortion of a projector image, there is a technique of correcting a distortion by generating an image transformed according to the 180 degree symmetry of the distorted image shown in FIG. That is, these techniques relate to obtaining an output image of the same type as the original due to distortion when performing a conversion opposite to the original image with respect to the original image and projecting the reversely transformed image onto the screen.
도 2는 종래의 기술에 따라 입력 영상에 대해 왜곡에 대한 역변환을 수행한 화면이다.FIG. 2 is a view illustrating an inverse transformation of an input image according to a conventional technique.
도 2에 나타낸 것처럼, 바둑판 모양의 격자 무늬 형태의 원본 영상에 대해 도 1과 같은 왜곡이 발생하는 경우, 원본 영상에 대해 왜곡에 대한 역변환을 수행하게 되면 영상의 좌측이 우측에 비해 넓게 변형된 사다리 꼴의 영상이 생성된다.As shown in FIG. 2, when a distorted image as shown in FIG. 1 is generated for a grid-like original image in the form of a checkered pattern, if an inverse transformation of the original image with respect to distortion is performed, An image of the shape is generated.
도 3은 도 2의 확대된 화면이다.3 is an enlarged view of Fig.
도 3에 나타낸 것처럼, 일정한 픽셀을 포함하는 블록간에 불연속(discontinuity)이 발생하는 것을 알 수 있다.As shown in FIG. 3, discontinuity occurs between blocks including a certain pixel.
즉, 기존의 기술에 의하는 경우 원본 영상에 대해 왜곡과 반대되는 변환을 하는 경우 과도한 계산량으로 인해 속도가 저하되고 블록간에 불연속(discontinuity)이 발생하는 문제점이 있었다.That is, when the original image is transformed in the opposite direction to the original image, there is a problem that the speed is reduced due to an excessive amount of calculation and discontinuity occurs between the blocks.
본 발명의 배경이 되는 기술은 대한민국 공개특허공보 제2011-0118947호(2011.11.02)에 기재되어 있다.The technique which is the background of the present invention is described in Korean Patent Laid-Open Publication No. 2011-0118947 (2011.11.02).
본 발명이 해결하고자 하는 과제는, 프로젝터를 통해 스크린에 투사되는 영상의 왜곡을 보정하는 장치 및 그 방법을 제공하는 것이다.An object of the present invention is to provide an apparatus and method for correcting distortion of an image projected on a screen through a projector.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 하나의 실시예에 따르면, 프로젝터에 의해 스크린에 투사된 영상의 왜곡을 보정하는 장치에 있어서, 영상 왜곡 보정 장치는 시범 영상을 상기 프로젝터에 투사시켜 생성한 왜곡된 시범 영상을 이용하여 상기 시범 영상의 픽셀 좌표값이 상기 왜곡된 시범 영상의 픽셀 좌표값으로 변환되도록 하는 함수를 검출하는 함수 검출부; 상기 시범 영상을 구성하는 일부 픽셀의 좌표값을 입력받아 상기 함수에 대한 역변환 함수를 이용하여 역변환에 따른 픽셀의 좌표값을 생성하여 저장하는 보정부; 및 타겟 영상을 입력받아, 상기 타겟 영상에 관한 픽셀의 좌표값을 상기 저장된 좌표값으로 변환하여 출력영상을 생성하는 출력영상 생성부를 포함한다.According to an aspect of the present invention, there is provided an apparatus for correcting distortion of an image projected on a screen by a projector, the apparatus comprising: A function detector that detects a function of transforming a pixel coordinate value of the demodulated image into a pixel coordinate value of the distorted demodulated image using a distorted demodulated image; A correction unit configured to receive coordinate values of some pixels constituting the pilot image and generate and store coordinate values of pixels according to the inverse transformation using an inverse transformation function for the function; And an output image generation unit receiving the target image and converting the coordinate value of the pixel related to the target image into the stored coordinate value to generate an output image.
또한, 상기 프로젝터는, 역변환된 상기 타겟 영상을 스크린에 투사시킬 수 있다.In addition, the projector can project the inversely transformed target image onto a screen.
또한, 상기 출력영상 생성부는, 상기 저장된 좌표값을 이용하여 상기 일부 픽셀 이외의 나머지 픽셀에 대하여 보간법에 의해 픽셀의 좌표값을 생성하여 출력영상을 생성할 수 있다.The output image generating unit may generate an output image by generating a coordinate value of a pixel by interpolation for pixels other than the pixel using the stored coordinate value.
또한, 상기 함수 검출부는, 복수 개의 픽셀로 구성되는 상기 시범 영상의 각각의 영역에 대해 함수를 검출할 수 있다.The function detecting unit may detect a function for each region of the pilot image composed of a plurality of pixels.
또한, 상기 함수는, 다음의 변환 행렬로서 구성될 수 있다:In addition, the function may be configured as the following transformation matrix:
여기서, hi ,j는 i번째 행과 j번째 열에 해당하는 행렬 요소를 나타내며, (x, y)는 상기 시범 영상에 포함되는 픽셀의 좌표값이고, (x', y')는 상기 왜곡된 시범 영상에 포함되는 픽셀의 좌표값이다.Here, h i, j denotes the matrix element corresponding to the i-th row and j-th column, (x, y) is the a coordinate value of a pixel included in the trial image, (x ', y') is the distortion It is the coordinate value of the pixel included in the demonstration image.
또한, 상기 변환 행렬을 구성하는 행렬 요소(hi ,j)는, 상기 시범 영상에 포함되는 4개의 픽셀 좌표값과 이와 대응되는 상기 왜곡된 시범 영상에 포함되는 4개의 픽셀 좌표값을 이용하여 다음과 같이 검출될 수 있다:Further, the matrix element (h i , j ) constituting the transformation matrix is calculated by using the four pixel coordinate values included in the demodulation image and the four pixel coordinate values included in the distorted demodulation image corresponding thereto, Can be detected as follows:
여기서, x1 내지 x4는 각각 상기 측정된 시범 영상에 포함되는 픽셀의 x 좌표값이고, y1 내지 y4는 각각 상기 측정된 시범 영상에 포함되는 픽셀의 y 좌표값이며, 
본 발명의 하나의 실시예에 따르면, 프로젝터에 의해 스크린에 투사된 영상의 왜곡을 보정하는 장치를 이용한 영상 왜곡 보정 방법에 있어서, 영상 왜곡 보정 방법은, 시범 영상을 상기 프로젝터에 투사시켜 생성한 왜곡된 시범 영상을 이용하여 상기 시범 영상의 픽셀 좌표값이 상기 왜곡된 시범 영상의 픽셀 좌표값으로 변환되도록 하는 함수를 검출하는 단계; 상기 시범 영상을 구성하는 일부 픽셀의 좌표값을 입력받아 상기 함수에 대한 역변환 함수를 이용하여 역변환에 따른 픽셀의 좌표값을 생성하여 저장하는 단계; 및 타겟 영상을 입력받아, 상기 타겟 영상에 관한 픽셀의 좌표값을 상기 저장된 좌표값으로 변환하여 출력영상을 생성하는 단계를 포함한다.According to one embodiment of the present invention, there is provided an image distortion correction method using an apparatus for correcting distortion of an image projected on a screen by a projector, the method comprising: projecting a trial image onto the projector, Detecting a function of transforming a pixel coordinate value of the demodulated image into a pixel coordinate value of the distorted demodulated image using the demodulated image; Generating a coordinate value of a pixel according to an inverse transformation by using an inverse transformation function for the function and storing the coordinate value of the pixel constituting the trial image; And generating an output image by receiving a target image and converting the coordinate value of the pixel related to the target image into the stored coordinate value.
본 발명인 영상 왜곡 보정 장치 및 그 방법에 따르면, 스크린 상에 표시되는 왜곡된 영상을 별도의 비구면 렌즈에 의하지 않고 수학적인 방법에 의해 빠르고 편리하게 보정할 수 있다. 또한, 보정 좌표를 수평 수직 방향으로 축소하여 저장하고 입력하기 때문에 보정 좌표 저장에 적은 저장 공간이 필요하고 좌표 입력에 적은 대역폭이 필요하다.According to the image distortion correction apparatus and method of the present invention, a distorted image displayed on a screen can be corrected quickly and conveniently by a mathematical method without using an aspheric lens. Also, since the correction coordinates are reduced and stored in the horizontal and vertical directions, a small storage space is required for storing the correction coordinates and a small bandwidth is required for the coordinate input.
도 1은 왜곡된 영상의 예시 화면이다.
도 2는 종래의 기술에 따라 입력 영상에 대해 왜곡에 대한 역변환을 수행한 화면이다.
도 3은 도 2의 확대된 화면이다.
도 4는 본 발명의 실시예에 따른 영상 왜곡 보정 장치의 구성도이다.
도 5는 본 발명의 실시예에 따른 영상 왜곡 보정 방법의 순서도이다.
도 6은 본 발명의 실시예에 따른 시범 영상의 예시 화면이다.
도 7은 본 발명의 실시예에 따라 타겟 영상에 대해 왜곡에 대한 역변환을 수행한 화면이다.
도 8은 도 7의 확대된 화면을 나타내는 도면이다.1 is an exemplary screen of a distorted image.
FIG. 2 is a view illustrating an inverse transformation of an input image according to a conventional technique.
3 is an enlarged view of Fig.
4 is a configuration diagram of an image distortion correction apparatus according to an embodiment of the present invention.
5 is a flowchart of an image distortion correction method according to an embodiment of the present invention.
6 is an exemplary screen of a demonstration image according to an embodiment of the present invention.
FIG. 7 is a graph illustrating inverse transformation of a target image according to an embodiment of the present invention.
8 is a view showing an enlarged screen of Fig.
이하에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when an element is referred to as "including" an element, it does not exclude other elements unless specifically stated to the contrary, But do not preclude the presence or addition of one or more of the other features, numbers, steps, operations, elements, parts, or combinations thereof.
이하에서는 도 4 내지 도 7을 참고하여 본 발명의 실시예에 대하여 상세히 설명하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to FIGS. 4 to 7. FIG.
도 4는 본 발명의 실시예에 따른 영상 왜곡 보정 장치의 구성도이다.4 is a configuration diagram of an image distortion correction apparatus according to an embodiment of the present invention.
도 4에 나타낸 것처럼, 프로젝터에 의해 스크린에 투사된 영상의 왜곡을 보정하는 장치에 있어서, 본 발명의 실시예에 따른 영상 왜곡 보정 장치(400)는 영상 입력부(410), 함수 검출부(420), 보정부(430) 및 출력영상 생성부(440)을 포함한다.4, an apparatus for correcting distortion of an image projected on a screen by a projector includes an
영상 입력부(410)는 원본 영상을 입력 받는다. 여기서, 원본 영상의 종류로는 정지영상 및 동영상을 포함하며, 노트북이나 데스크탑 컴퓨터의 영상을 케이블을 통해 직접 입력 받을 수 있다. 또한, 영상 입력부(410)는 변환된 좌표값을 생성하기 위한 시범 영상이나 왜곡 보정의 대상이 되는 타겟 영상을 입력 받을 수 있다.The
함수 검출부(420)는 시범 영상을 프로젝터에 투사시켜 생성한 왜곡된 시범 영상을 이용하여 시범 영상의 픽셀 좌표값이 왜곡된 시범 영상의 픽셀 좌표값으로 변환되도록 하는 함수를 검출한다. 이 경우, 변환되는 영상의 단위를 픽셀 단위로 할 수 있으나, 전체 영상을 복수 개의 영역으로 나누어 복수 개의 픽셀을 포함하는 블록을 지정할 수 있다. 즉, 함수 검출부(420)는 복수 개의 픽셀로 구성되는 시범 영상의 각각의 영역에 대해 함수를 검출할 수 있다. 따라서, 영상 전체 영역에서 왜곡의 정도에 따라서 다양한 함수가 검출될 수 있다.The
여기서, 함수는 다음 수학식 1의 변환 행렬(H)로서 구성될 수 있다.Here, the function may be configured as a transformation matrix H of the following equation (1).
여기서, hi ,j는 i번째 행과 j번째 열에 해당하는 행렬 요소를 나타내며, (x, y)는 상기 시범 영상에 포함되는 픽셀의 좌표값이고, (x', y')는 상기 왜곡된 시범 영상에 포함되는 픽셀의 좌표값이다.Here, h i, j denotes the matrix element corresponding to the i-th row and j-th column, (x, y) is the a coordinate value of a pixel included in the trial image, (x ', y') is the distortion It is the coordinate value of the pixel included in the demonstration image.
또한, 변환 행렬(H)을 구성하는 행렬 요소(hi ,j)는 시범 영상에 포함되는 4개의 픽셀 좌표값과 이와 대응되는 왜곡된 시범 영상에 포함되는 4개의 픽셀 좌표값을 이용하여 다음 수학식 2와 같이 검출될 수 있다.The matrix element (h i , j ) constituting the transformation matrix H is calculated by using the four pixel coordinate values included in the trial image and the four pixel coordinate values included in the corresponding distorted trial image, Can be detected as in Equation (2).
여기서, x1 내지 x4는 각각 상기 측정된 시범 영상에 포함되는 픽셀의 x 좌표값이고, y1 내지 y4는 각각 상기 측정된 시범 영상에 포함되는 픽셀의 y 좌표값이며, 
또한, 함수 검출부(420)는 왜곡된 시범 영상의 대칭성을 이용해서 함수의 수를 줄일 수 있다. 즉, 함수 검출부(420)는 왜곡된 영상의 대칭성을 이용하여 동일한 왜곡 패턴을 보이는 블록에 대해서는 동일한 함수를 검출할 수 있다.In addition, the
보정부(430)는 시범 영상을 구성하는 일부 픽셀의 좌표값을 입력받아 함수에 대한 역변환 함수를 이용하여 역변환에 따른 픽셀의 좌표값을 생성하여 저장한다.The
여기서, 역변환 함수는 상기 변환 행렬의 역행렬(H-1)에 해당한다.Here, the inverse transformation function corresponds to the inverse matrix (H -1 ) of the transformation matrix.
변환 행렬의 역행렬(H-1)에 의해 시범 영상의 픽셀을 변환하는 경우, 시범 영상을 구성하는 전체 픽셀 또는 전체 블록에 대해 변환을 하는 대신 일부 픽셀 또는 일부 블록에 대해서만 변환이 가능하다.When the pixels of the trial image are transformed by the inverse matrix (H -1 ) of the transformation matrix, only the pixels or some blocks can be transformed instead of transforming the entire pixels or entire blocks constituting the trial image.
또한, 왜곡된 영상의 상하 대칭, 좌우 대칭으로 인하여 일부의 영역에 대해서만 변환이 가능하다.In addition, due to the vertical symmetry and the horizontally symmetric distortion of the distorted image, it is possible to convert only a part of the area.
출력영상 생성부(440)는 타겟 영상을 입력받아, 상기 타겟 영상에 관한 픽셀의 좌표값을 상기 저장된 좌표값으로 변환하여 출력영상을 생성한다.The output
보정부(430)는 일부의 픽셀 또는 블록에 대해서만 변환된 좌표값을 생성하므로, 출력 영상 생성부(440)는 나머지 픽셀 또는 블록에 대해서는 계산량과 계산 시간을 줄이기 위해서 보간법을 이용할 수 있다. 즉, 출령영상 생성부(440)는 변환 행렬의 역행렬에 따라 생성되어 저장된 좌표값을 이용하여 일부 픽셀 이외의 나머지 픽셀에 대하여 보간법에 의해 픽셀의 좌표값을 생성하여 출력 영상을 생성할 수 있다.Since the correcting
이하 도 5 및 도 6을 통하여 본 발명의 실시예에 따른 영상 왜곡 보정 방법에 대해 설명한다.Hereinafter, an image distortion correction method according to an embodiment of the present invention will be described with reference to FIGS. 5 and 6. FIG.
도 5는 본 발명의 하나의 실시예에 따른 영상 왜곡 보정 방법의 순서도이다.5 is a flowchart of an image distortion correction method according to an embodiment of the present invention.
먼저, 영상 입력부(410)는 타겟 영상을 보정하기에 앞서 보정 영상의 좌표값을 생성하기 위해 시범 영상을 입력 받는다(S510).First, the
도 6은 본 발명의 하나의 실시예에 따른 시범 영상의 예시 화면이다.6 is an exemplary screen of a trial image according to an embodiment of the present invention.
도 6에 나타낸 것처럼, 시범 영상은 원본 영상으로서 왜곡이 발생하지 않은 바둑판 모양의 격자 형태의 문양을 하고 있다.As shown in Fig. 6, the test image is a checkerboard-like grid pattern in which no distortion occurs as an original image.
다음으로 시범 영상을 프로젝터를 통하여 스크린에 투사시켜 왜곡된 시범 영상을 생성한다(S520). 본 발명의 실시예에서 프로젝터는 피코-프로젝터인 레이저 프로젝터뿐만 아니라 LCD 프로젝터를 포함할 수 있다.Next, the demodulated image is projected onto the screen through the projector to generate a distorted demodulated image (S520). In an embodiment of the present invention, the projector may include an LCD projector as well as a laser projector which is a pico-projector.
다음으로 함수 검출부(420)는 왜곡된 시범 영상을 이용하여 시범 영상의 픽셀 좌표값이 왜곡된 시범 영상의 픽셀 좌표값으로 변환되도록 하는 함수를 검출한다(S530).Next, the
여기서, 함수의 형태는 수학식 1과 같이 변환 행렬(H)로 표현될 수 있다. 변환 행렬(H)을 구성하는 각 행렬 요소에 대한 해법은 수학식 2로 표현되는 연랍방정식의 해법에 의하며 미지수 x1 내지 x4는 각각 시범 영상에 포함되는 픽셀의 x 좌표값을 이용하고, y1 내지 y4는 각각 상기 측정된 시범 영상에 포함되는 픽셀의 y 좌표값을 이용한다.Here, the form of the function can be expressed by a transformation matrix H as shown in Equation (1). The solution for each matrix element constituting the transformation matrix H is given by the solution of a matrix equation expressed by Equation (2), and the unknowns x 1 to x 4 use the x coordinate values of the pixels included in the pilot image, respectively, and y 1 to y 4 each use the y coordinate value of the pixel included in the measured trial image.
연립방정식의 해법에 의해 변환 행렬의 행렬 요소가 구해지면, 역변환에 의해 역변환 행렬(H-1)을 구할 수 있다.When the matrix element of the transformation matrix is obtained by the solution of the simultaneous equations, the inverse transformation matrix (H -1 ) can be obtained by inverse transformation.
다음으로 보정부(430)는 시범 영상을 구성하는 일부 픽셀의 좌표값을 입력받아 함수에 대한 역함수를 이용하여 역변환에 따른 픽셀의 좌표값을 생성하여 저장한다(S540).Next, the correcting
원본 영상에 해당하는 시범 영상이 프로젝터에 의해 스크린에 투사되는 경우 발생하는 왜곡은, 영상을 구성하는 픽셀의 좌표값이 변하기 때문에 발생한다. 따라서, 왜곡으로 변환된 영상을 보정하기 위해서는 각각의 픽셀이 가지고 있는 좌표값을 원래의 좌표값으로 환원하여야 한다. 이를 위해서 본 발명의 실시예에 따르면 왜곡에 따른 변환의 역변환을 이용한다.Distortion that occurs when the projected image corresponding to the original image is projected on the screen is caused by the change of the coordinate value of the pixels constituting the image. Therefore, in order to correct the image converted into the distortion, the coordinate value of each pixel must be reduced to the original coordinate value. To this end, in accordance with an embodiment of the present invention, the inverse transform of distortion is used.
그리고, 좌표값이 생성되는 일부 픽셀은 전체 영상에 포함되는 픽셀 중에서 임의로 선정될 수 있지만, 시범 영상의 축소 비율에 따라 선택할 수 있다. 예를 들어, 시범 영상의 1/10 범위로 픽셀을 선택하는 경우, 가로 세로 10개의 픽셀마다 하나의 픽셀을 선택하여 좌표값을 생성할 수 있다. 또한, 생성되는 좌표값은 왜곡된 영상의 상하 좌우 대칭성을 이용하면, 동일한 형태로 왜곡된 영역에 대해서는 같은 함수를 이용하여 좌표값을 생성할 수 있다.Some pixels for which the coordinate values are generated can be arbitrarily selected from the pixels included in the entire image, but can be selected according to the reduction ratio of the trial image. For example, when a pixel is selected in a range of 1/10 of the pilot image, one pixel may be selected for each of 10 pixels in the horizontal and vertical directions to generate a coordinate value. Also, using the symmetry of the distorted image, the coordinate values can be generated by using the same function for the distorted region in the same shape.
다음으로 출력영상 생성부(440)는 저장된 좌표값을 이용하여 일부 픽셀 이외의 나머지 픽셀에 대하여 보간법에 의해 픽셀의 변환된 좌표값을 생성한다(S550). 즉, 출력영상 생성부(440)는 역변환 행렬(H-1)에 의해 생성되어 저장된 픽셀의 좌표값을 이용하여 사이의 미지의 픽셀에 대해서는 보간법을 이용하여 좌표값을 생성한다.Next, the output
이 경우, 보간법을 이용함으로써, 보정 좌표를 수평 수직 방향으로 1/M, 1/N으로 축소하여 저장하고 입력하기 때문에 보정 좌표값을 저장하는 메모리의 양과 을 줄일 수 있으며 보정 좌표값 입력에 적은 대역폭(bandweidth)이 요구된다. 또한, 변환 함수 및 좌표값의 계산량을 줄일 수 있다.In this case, by using the interpolation method, since the correction coordinates are reduced and stored in 1 / M and 1 / N in the horizontal and vertical directions, it is possible to reduce the amount of memory for storing the correction coordinate values, a band weight is required. In addition, it is possible to reduce the calculation amount of the conversion function and the coordinate value.
다음으로 입력 영상부(410)는 타겟 영상을 입력받고, 출력영상 생성부(440)는 타겟 영상에 관한 픽셀의 좌표값을 저장된 좌표값 또는 보간법에 의해 변환된 좌표값으로 변환하여 출력영상 생성한다(S560).Next, the
도 7은 본 발명의 실시예에 따라 타겟 영상에 대해 왜곡에 대한 역변환을 수행한 화면이고, 도 8은 도7의 확대된 화면을 나타내는 도면이다.FIG. 7 is a view illustrating an inverse transformation of a target image according to an embodiment of the present invention, and FIG. 8 is an enlarged view of FIG.
도 7 및 도 8에 나타낸 것처럼, 일부의 픽셀의 좌표값을 기초로 보간법을 이용하여 픽셀들 사이의 좌표값을 생성함으로써, 블록 간의 불연속(discontinuity)을 최소화하거나 방지할 수 있다.7 and 8, it is possible to minimize or prevent discontinuity between blocks by generating coordinate values between pixels using an interpolation method based on the coordinate values of some pixels.
최종적으로 왜곡이 보정된 최종의 영상은 프로젝터를 이용해 출력영상을 스크린에 투사함으로써 생성된다(S570).Finally, the final image whose distortion is corrected is generated by projecting an output image on a screen using a projector (S570).
이와 같이 본 발명의 실시예에 따른 영상 왜곡 보정 장치 및 그 방법에 따르면, 스크린 상에 표시되는 왜곡된 영상을 별도의 비구면 렌즈에 의하지 않고 수학적인 방법에 의해 빠르고 편리하게 보정할 수 있다. 또한, 보정 좌표를 수평 수직 방향으로 축소하여 저장하고 입력하기 때문에 보정 좌표 저장을 위하여 적은 저장 공간이 필요하고 좌표 입력을 위하여 적은 대역폭이 필요하다.As described above, according to the image distortion correcting apparatus and method according to the embodiment of the present invention, a distorted image displayed on a screen can be corrected quickly and conveniently by a mathematical method without using an aspheric lens. In addition, since the correction coordinates are reduced and stored in the horizontal and vertical directions, a small storage space is required for storing the correction coordinates, and a small bandwidth is required for the coordinate input.
이제까지 본 발명에 대하여 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 따라서 본 발명의 범위는 전술한 실시예에 한정되지 않고 특허청구범위에 기재된 내용 및 그와 동등한 범위 내에 있는 다양한 실시 형태가 포함되도록 해석되어야 할 것이다.The present invention has been described above with reference to the embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. Therefore, the scope of the present invention is not limited to the above-described embodiments, but should be construed to include various embodiments within the scope of the claims and equivalents thereof.
400: 영상 왜곡 보정 장치, 410: 영상 입력부,
420: 함수 검출부, 430: 보정부,
440: 출력영상 생성부400: Image distortion correction apparatus, 410: Image input unit,
420: function detection unit, 430: correction unit,
440: Output image generating unit
Claims (12)
시범 영상을 상기 프로젝터에 투사시켜 생성한 왜곡된 시범 영상을 이용하여 상기 시범 영상의 픽셀 좌표값이 상기 왜곡된 시범 영상의 픽셀 좌표값으로 변환되도록 하는 함수를 검출하는 함수 검출부;
상기 시범 영상을 구성하는 일부 픽셀의 좌표값을 입력받아 상기 함수에 대한 역변환 함수를 이용하여 역변환에 따른 픽셀의 좌표값을 생성하여 저장하는 보정부; 및
타겟 영상을 입력받아, 상기 타겟 영상에 관한 픽셀의 좌표값을 상기 저장된 좌표값으로 변환하여 출력영상을 생성하는 출력영상 생성부를 포함하고,
상기 함수는,
다음의 변환 행렬로서 구성되고,
상기 변환 행렬을 구성하는 행렬 요소(hi,j)는,
상기 시범 영상에 포함되는 4개의 픽셀 좌표값과 이와 대응되는 상기 왜곡된 시범 영상에 포함되는 4개의 픽셀 좌표값을 이용하여 다음과 같이 검출되는 영상 왜곡 보정 장치:
여기서, hi,j는 i번째 행과 j번째 열에 해당하는 행렬 요소를 나타내며, (x, y)는 상기 시범 영상에 포함되는 픽셀의 좌표값이고, (x', y')는 상기 왜곡된 시범 영상에 포함되는 픽셀의 좌표값이며, x1 내지 x4는 각각 상기 시범 영상에 포함되는 픽셀의 x 좌표값이고, y1 내지 y4는 각각 상기 시범 영상에 포함되는 픽셀의 y 좌표값이며,
A function detector for detecting a function for converting a pixel coordinate value of the demodulated image into a pixel coordinate value of the distorted demodulated image using the distorted demodulated image generated by projecting the demodulated image to the projector;
A correction unit configured to receive coordinate values of some pixels constituting the pilot image and generate and store coordinate values of pixels according to the inverse transformation using an inverse transformation function for the function; And
And an output image generation unit for receiving the target image and converting the coordinate value of the pixel related to the target image into the stored coordinate value to generate an output image,
The function comprises:
Is constructed as the following transformation matrix,
Wherein the matrix element (h i, j )
Wherein the image distortion correction device detects four pixel coordinate values included in the pilot image and four pixel coordinate values included in the distorted pilot image corresponding to the four pixel coordinate values as follows:
Here, h i, j denotes the matrix element corresponding to the i-th row and j-th column, (x, y) is the a coordinate value of a pixel included in the trial image, (x ', y') is the distortion X 1 to x 4 are x-coordinate values of the pixels included in the demo image, and y 1 to y 4 are y-coordinate values of the pixels included in the demo image, respectively ,
상기 프로젝터는,
역변환된 상기 타겟 영상을 스크린에 투사시키는 영상 왜곡 보정 장치.The method according to claim 1,
The projector includes:
And projecting the inversely transformed target image onto a screen.
상기 출력영상 생성부는,
상기 저장된 좌표값을 이용하여 상기 일부 픽셀 이외의 나머지 픽셀에 대하여 보간법에 의해 픽셀의 좌표값을 생성하여 출력영상을 생성하는 영상 왜곡 보정 장치.The method according to claim 1,
Wherein the output image generating unit comprises:
And generating an output image by generating a coordinate value of a pixel by interpolation for pixels other than the partial pixel using the stored coordinate value.
상기 함수 검출부는,
복수 개의 픽셀로 구성되는 상기 시범 영상의 각각의 영역에 대해 함수를 검출하는 영상 왜곡 보정 장치.The method according to claim 1,
Wherein the function detecting unit comprises:
Wherein the function is detected for each region of the pilot image composed of a plurality of pixels.
시범 영상을 상기 프로젝터에 투사시켜 생성한 왜곡된 시범 영상을 이용하여 상기 시범 영상의 픽셀 좌표값이 상기 왜곡된 시범 영상의 픽셀 좌표값으로 변환되도록 하는 함수를 검출하는 단계;
상기 시범 영상을 구성하는 일부 픽셀의 좌표값을 입력받아 상기 함수에 대한 역변환 함수를 이용하여 역변환에 따른 픽셀의 좌표값을 생성하여 저장하는 단계; 및
타겟 영상을 입력받아, 상기 타겟 영상에 관한 픽셀의 좌표값을 상기 저장된 좌표값으로 변환하여 출력영상을 생성하는 단계를 포함하고,
상기 함수는,
다음의 변환 행렬로서 구성되고,
상기 변환 행렬을 구성하는 행렬 요소(hi,j)는,
상기 시범 영상에 포함되는 4개의 픽셀 좌표값과 이와 대응되는 상기 왜곡된 시범 영상에 포함되는 4개의 픽셀 좌표값을 이용하여 다음과 같이 검출되는 영상 왜곡 보정 방법:
여기서, hi,j는 i번째 행과 j번째 열에 해당하는 행렬 요소를 나타내며, (x, y)는 상기 시범 영상에 포함되는 픽셀의 좌표값이고, (x', y')는 상기 왜곡된 시범 영상에 포함되는 픽셀의 좌표값이며, x1 내지 x4는 각각 상기 시범 영상에 포함되는 픽셀의 x 좌표값이고, y1 내지 y4는 각각 상기 시범 영상에 포함되는 픽셀의 y 좌표값이며,
Detecting a function for converting a pixel coordinate value of the demodulated image into a pixel coordinate value of the distorted demodulated image using the distorted demodulated image generated by projecting the demodulated image to the projector;
Generating a coordinate value of a pixel according to an inverse transformation by using an inverse transformation function for the function and storing the coordinate value of the pixel constituting the trial image; And
Generating an output image by receiving a target image and converting a coordinate value of a pixel related to the target image into the stored coordinate value,
The function comprises:
Is constructed as the following transformation matrix,
Wherein the matrix element (h i, j )
An image distortion correction method for detecting four pixel coordinate values included in the pilot image and four pixel coordinate values included in the distorted pilot image corresponding to the four pixel coordinate values,
Here, h i, j denotes the matrix element corresponding to the i-th row and j-th column, (x, y) is the a coordinate value of a pixel included in the trial image, (x ', y') is the distortion X 1 to x 4 are x-coordinate values of the pixels included in the demo image, and y 1 to y 4 are y-coordinate values of the pixels included in the demo image, respectively ,
상기 프로젝터는,
역변환된 상기 타겟 영상을 스크린에 투사시키는 영상 왜곡 보정 방법.8. The method of claim 7,
The projector includes:
And the inversely transformed target image is projected onto a screen.
상기 출력영상을 생성하는 단계는,
상기 저장된 좌표값을 이용하여 상기 일부 픽셀 이외의 나머지 픽셀에 대하여 보간법에 의해 픽셀의 좌표값을 생성하여 출력영상을 생성하는 영상 왜곡 보정 방법.8. The method of claim 7,
Wherein the generating the output image comprises:
And generating an output image by generating a coordinate value of a pixel by interpolation for pixels other than the partial pixel using the stored coordinate value.
상기 함수를 검출하는 단계는,
복수 개의 픽셀로 구성되는 상기 시범 영상의 각각의 영역에 대해 함수를 검출하는 영상 왜곡 보정 방법.8. The method of claim 7,
Wherein the step of detecting the function comprises:
Wherein a function is detected for each region of the pilot image composed of a plurality of pixels.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140123719A KR101580056B1 (en) | 2014-09-17 | 2014-09-17 | Apparatus for correcting image distortion and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020140123719A KR101580056B1 (en) | 2014-09-17 | 2014-09-17 | Apparatus for correcting image distortion and method thereof |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101580056B1 true KR101580056B1 (en) | 2015-12-28 |
Family
ID=55085028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020140123719A KR101580056B1 (en) | 2014-09-17 | 2014-09-17 | Apparatus for correcting image distortion and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101580056B1 (en) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111432198A (en) * | 2020-03-30 | 2020-07-17 | 中国人民解放军陆军装甲兵学院 | Perspective transformation-based projection type three-dimensional display system correction method |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040063656A (en) * | 2003-01-08 | 2004-07-14 | 엘지전자 주식회사 | Digital convergence device based on 3-d virtual screen of video display system |
| WO2006025191A1 (en) * | 2004-09-01 | 2006-03-09 | Olympus Corporation | Geometrical correcting method for multiprojection system |
| JP2006221599A (en) * | 2005-01-11 | 2006-08-24 | Mitsubishi Precision Co Ltd | Method and apparatus for generating mapping function, and compound picture develop method, and its device |
| JP2010257357A (en) * | 2009-04-28 | 2010-11-11 | Renesas Electronics Corp | Image processing apparatus, semiconductor data processing apparatus, and data processing system |
-
2014
- 2014-09-17 KR KR1020140123719A patent/KR101580056B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20040063656A (en) * | 2003-01-08 | 2004-07-14 | 엘지전자 주식회사 | Digital convergence device based on 3-d virtual screen of video display system |
| WO2006025191A1 (en) * | 2004-09-01 | 2006-03-09 | Olympus Corporation | Geometrical correcting method for multiprojection system |
| JP2006221599A (en) * | 2005-01-11 | 2006-08-24 | Mitsubishi Precision Co Ltd | Method and apparatus for generating mapping function, and compound picture develop method, and its device |
| JP2010257357A (en) * | 2009-04-28 | 2010-11-11 | Renesas Electronics Corp | Image processing apparatus, semiconductor data processing apparatus, and data processing system |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111432198A (en) * | 2020-03-30 | 2020-07-17 | 中国人民解放军陆军装甲兵学院 | Perspective transformation-based projection type three-dimensional display system correction method |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5560771B2 (en) | Image correction apparatus, image display system, and image correction method | |
| US9348212B2 (en) | Image projection system and image projection method | |
| JP4730136B2 (en) | Video display device | |
| US20130222776A1 (en) | Image projector, method of image projection, and computer-readable storage medium storing program for causing computer to execute image projection | |
| US20070091334A1 (en) | Method of calculating correction data for correcting display characteristic, program for calculating correction data for correcting display characteristic and apparatus for calculating correction data for correcting display characteristic | |
| JP2010288063A (en) | Projector, program, information storage medium, and trapezoidal distortion correction method | |
| JP2012151670A (en) | Image projection system and semiconductor integrated circuit | |
| JP2015060012A (en) | Image processing system, image processing device, image processing method and image processing program as well as display system | |
| KR101493946B1 (en) | Correction method for image from wide angle lense and apparatuss thereof | |
| CN114125411B (en) | Projection device correction method, projection device correction device, storage medium and projection device | |
| JP2015126340A (en) | Image processing method and image projection device | |
| US8390677B1 (en) | Camera-based calibration of projectors in autostereoscopic displays | |
| US20220141436A1 (en) | Projection device and projection image correction method thereof | |
| TWI732796B (en) | Depth map generation in structured light system | |
| JP5561503B2 (en) | Projector, program, information storage medium, and trapezoidal distortion correction method | |
| JP6126519B2 (en) | Spatial projection apparatus, spatial projection method, spatial projection program, and recording medium | |
| KR101580056B1 (en) | Apparatus for correcting image distortion and method thereof | |
| JP2014134611A (en) | Geometric distortion correction device, projector, and geometric distortion correction method | |
| JP4594848B2 (en) | Inscribed rectangle detection apparatus and inscribed rectangle detection program | |
| JP2016072691A (en) | Image processing system, control method of the same, and program | |
| TWI682358B (en) | Multi-dimensional image projection apparatus and multi-dimensional image calibration method thereof | |
| CN109523481B (en) | Method and device for correcting projector image distortion and computer readable storage medium | |
| JP2010124061A (en) | System, method and program for specifying pixel position correspondence relation | |
| JP6069241B2 (en) | Spatial projection apparatus and spatial projection program | |
| JP2010288062A (en) | Projector, program, information storage medium, and image projection method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20181001 Year of fee payment: 4 |