KR20110118947A - Method for calibrating image distortion and apparatus thereof - Google Patents
Method for calibrating image distortion and apparatus thereof Download PDFInfo
- Publication number
- KR20110118947A KR20110118947A KR1020100038367A KR20100038367A KR20110118947A KR 20110118947 A KR20110118947 A KR 20110118947A KR 1020100038367 A KR1020100038367 A KR 1020100038367A KR 20100038367 A KR20100038367 A KR 20100038367A KR 20110118947 A KR20110118947 A KR 20110118947A
- Authority
- KR
- South Korea
- Prior art keywords
- pattern
- distortion
- unit
- compensation
- image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3141—Constructional details thereof
- H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Projection Apparatus (AREA)
Abstract
Description
실시예는 영상 왜곡 보정방법 및 영상 왜곡 보정장치에 관한 것이다.
The embodiment relates to an image distortion correction method and an image distortion correction apparatus.
최근 휴대형 멀티미디어 기기들이 발전함에 따라 휴대 환경에 적응적으로 대형화면을 구현할 수 있는 휴대형 프로젝터에 관한 많은 연구가 진행 중이다. Recently, with the development of portable multimedia devices, a lot of research is being conducted on portable projectors that can realize a large screen adaptively to a portable environment.
휴대형 프로젝터는 스크린이 설치되어 있는 환경에 비해 상대적으로 협소한 장소에서 스크린을 대체 할 수 있는 면을 이용하여 대형화면을 구현한다. 그러나, 일반적으로 협소한 장소에서는 대형화면을 구현할만한 영사 면이 적절치 않아, 영상의 일부가 특정 사물에 영사되어 휘거나, 찌그러지는 기하학적 왜곡이 발생한다. Portable projectors realize large screens by using screens that can replace screens in places that are relatively narrow compared to the environment in which screens are installed. In general, however, a projection surface that can realize a large screen is not appropriate in a narrow place, and geometric distortion occurs when a part of the image is projected or warped by a specific object.
이러한 영사 면의 기하학적 구조에서 발생하는 영상의 왜곡을 보정하기 위하여, 종래에는 레이저 장치와 같은 거리측정기기나 3차원 복원(3D Reconstruction) 기법을 이용하여 영사 면을 3D 모델링 한 후, 이를 기반으로 영상의 기하학적 왜곡을 보정하고자 하였다. In order to correct the distortion of the image generated from the geometry of the projection surface, the projection surface is 3D modeled using a distance measuring device such as a laser device or a 3D reconstruction technique. Attempts were made to correct geometric distortions.
그러나 영상의 왜곡을 보정하기 위하여, 거리측정 기기와 같은 부가적인 장비들이나 연산량이 높은 3차원 복원(3D Reconstruction) 기법을 이용하는 것은 휴대형 프로젝터의 휴대성과 그 성능에 제약을 주기 때문에 적합하지 않다.
However, in order to correct distortion of an image, it is not suitable to use additional equipment such as a distance measuring device or a high computational 3D reconstruction technique because it limits the portability and performance of a portable projector.
실시예는, 휴대형 프로젝터에 적합한 기하학적 영상보정을 위하여, 기존의 3D 모델링 방법들이 아닌 영상처리만으로 영사 면에 의해 발생한 영상의 기하학적 왜곡을 보정할 수 있는 방법과 그에 따른 장치를 제공함에 목적이 있다.
An embodiment of the present invention is to provide a method and an apparatus capable of correcting geometric distortion of an image caused by a projection surface using only image processing, rather than conventional 3D modeling methods, for geometric image correction suitable for a portable projector.
청구항 1에 따른 영상 왜곡 보정방법은, 영사 면의 기하학적 형태에 의해 발생하는 영상의 왜곡을 보정하기 위한 방법으로서, a. 영사 면에 영사된 영상을 촬영하고, 촬영된 영상의 패턴과 영상에 대한 왜곡이 없는 원패턴을 비교하여 영상의 왜곡패턴에 대한 정보를 획득하는 단계, b. 평면좌표 상에서 왜곡패턴이 180도 회전된 형태를 갖는 대칭패턴을 생성하고, 평면좌표 상에서 대칭패턴의 원점이 왜곡패턴의 원점과 일치되도록 대칭패턴을 이동시키는 단계, c. 왜곡패턴의 정점들과 대칭패턴의 정점들 중 평면좌표 상에서 서로 인접한 정점들 사이를 잇는 직선의 중점 좌표를 각각 추출하고, 추출된 중점들을 정점으로 하는 기준패턴을 생성하는 단계, 및 d. 기준패턴을 이용하여 하기의 수식으로부터 보상패턴을 생성하는 단계를 포함하고,An image distortion correction method according to
PD는 왜곡패턴의 정점 좌표를 나타내고, PO는 기준패턴의 정점 좌표를 나타내고, x,y,z는 각각 공간좌표의 각 축을 나타내고, PC는 보상패턴의 정점 좌표를 나타내고, 는 실수인 것을 특징으로 한다.
P D represents the vertex coordinates of the distortion pattern, P O represents the vertex coordinates of the reference pattern, x, y, and z represent each axis of the spatial coordinates, P C represents the vertex coordinates of the compensation pattern, Is a real number.
청구항 2에 따른 원패턴, 왜곡패턴, 대칭패턴, 기준패턴, 및 보상패턴은 격자형 패턴이고,The circle pattern, the distortion pattern, the symmetry pattern, the reference pattern, and the compensation pattern according to
원패턴은 직사각형의 단위 원패턴을 복수 개 포함하고,The circle pattern includes a plurality of rectangular unit circle patterns,
왜곡패턴은 사각형의 단위 왜곡패턴을 복수 개 포함하고,The distortion pattern includes a plurality of rectangular unit distortion patterns,
대칭패턴은 사각형의 단위 대칭패턴을 복수 개 포함하고,The symmetry pattern includes a plurality of rectangular unit symmetry patterns,
기준패턴은 직사각형의 단위 기준패턴을 복수 개 포함하고,The reference pattern includes a plurality of rectangular unit reference patterns,
보상패턴은 사각형의 단위 보상패턴을 복수 개 포함하는 것을 특징으로 한다.
The compensation pattern is characterized by including a plurality of rectangular unit compensation patterns.
청구항 3에 따른 d 단계에서는 하기의 수식을 만족하는 보상패턴을 생성하고,In step d according to claim 3 generates a compensation pattern that satisfies the following formula,
는 와 가 이루는 각을 나타내고, 는 와 가 이루는 각을 나타내고, 은 단위 원패턴의 한 변에 대한 벡터를 나타내고, 는 단위 왜곡패턴의 한 변에 대한 벡터를 나타내고, 는 단위 보상패턴의 한 변에 대한 벡터를 나타내는 것을 특징으로 한다.
Is Wow Represents the angle formed by Is Wow Represents the angle formed by Represents a vector of one side of the unit circle pattern, Represents a vector of one side of the unit distortion pattern, Denotes a vector for one side of the unit compensation pattern.
청구항 4에 따른 b 단계는,Step b according to
b-1. 왜곡패턴을 평면좌표 상에 이동시키고, 단위 왜곡패턴의 윗변을 구성하는 두 정점의 x축 좌표와 단위 왜곡패턴의 밑변을 구성하는 두 정점의 x축 좌표를 교환하여 대칭패턴의 수평좌표를 결정하는 단계, b-2. 단위 왜곡패턴의 각 변을 구성하는 두 정점이 이루는 직선과 기울기의 절대치는 같고 방향이 반대인 직선을 생성하고, 생성된 직선에 기초하여 수평좌표가 결정된 대칭패턴의 정점들을 이동시켜 대칭패턴의 수직좌표를 결정하는 단계, 및b-3. 대칭패턴의 최하단 수직좌표를 왜곡패턴의 최하단 수직좌표에 맞도록 대칭패턴을 이동시키는 단계를 포함하고,b-1. The horizontal pattern of the symmetry pattern is determined by moving the distortion pattern on the plane coordinates and exchanging the x-axis coordinates of the two vertices constituting the upper side of the unit distortion pattern and the x-axis coordinates of the two vertices constituting the lower side of the unit distortion pattern. Step, b-2. The straight line of the two vertices constituting each side of the unit distortion pattern and the absolute value of the slope are generated with the same and opposite directions, and the vertices of the symmetric pattern are moved by moving the vertices of the symmetric pattern whose horizontal coordinates are determined based on the generated straight lines. Determining coordinates, and b-3. Moving the symmetric pattern so that the lowest vertical coordinate of the symmetric pattern is aligned with the lowest vertical coordinate of the distortion pattern,
대칭패턴의 수직좌표는 하기의 수식에 따라 결정하고,The vertical coordinate of the symmetric pattern is determined by the following formula,
mCn은 PDn와 PDn +1을 잇는 직선의 기울기와 절대치가 같고, 방향이 반대인 직선의 기울기를 나타내는 것을 특징으로 한다.
m Cn is characterized by indicating the slope of a straight line having the same absolute value as that of the straight line connecting P Dn and P Dn +1 and having opposite directions.
청구항 5에 따른 영상 왜곡 보정방법은, 청구항 1 내지 4 중 어느 한 항에 따른 방법을 이용하여 영사 면에 대한 영상 왜곡을 적응적으로 보정하는 방법으로서, 영사 면은 기울어진 평면, 꺾인 평면, 및 곡면 중 어느 하나의 면을 갖고, 영사 면이 기울어진 평면인 경우, 기울어진 평면에 보상패턴을 생성하는 방법을 통하여 보정하고, 영사 면이 꺾인 평면인 경우, 영사 면의 꺾임에 의해 나타나는 접힌 선을 기준으로 영사 면의 양 측면을 각각 기울어진 평면에 대한 보정방법을 통해 보정하고, 영사 면이 곡면인 경우, 단위 왜곡패턴 별로 기울어진 평면에 대한 보정방법을 보정하되, 단위 대칭패턴의 수평좌표를 결정할 경우 단위 왜곡패턴의 너비와 보상패턴의 너비는 하기의 수식관계를 만족하고,The image distortion correction method according to claim 5 is a method of adaptively correcting an image distortion with respect to a projection surface by using the method according to any one of
lrn은 단위 왜곡패턴의 한 변에 대한 수평거리를 나타내고, lrn'은 단위 보상패턴의 한 변에 대한 수평거리를 나타내고, r은 평면좌표 상에서 단위 왜곡패턴 및 단위 보상패턴의 행(row)을 나타내는 것을 특징으로 한다.
l rn represents the horizontal distance of one side of the unit distortion pattern, l rn 'represents the horizontal distance of one side of the unit compensation pattern, r is a row of the unit distortion pattern and the unit compensation pattern on the plane coordinates Characterized in that represents.
청구항 6에 따른 영상 왜곡 보정장치는, 영사 면의 기하학적 형태에 의해 발생하는 영상의 왜곡을 보정하기 위한 장치로서, 영사 면에 영사된 영상을 촬영하고, 촬영된 영상의 패턴과 영상에 대한 왜곡이 없는 원패턴을 비교하여 영상의 왜곡패턴에 대한 정보를 획득하는 왜곡패턴 정보 획득부, 평면좌표 상에서 왜곡패턴이 180도 회전된 형태를 갖는 대칭패턴을 생성하고, 평면좌표 상에서 대칭패턴의 원점이 왜곡패턴의 원점과 일치되도록 대칭패턴을 이동시키는 대칭패턴 생성부, 왜곡패턴의 정점들과 대칭패턴의 정점들 중 평면좌표 상에서 서로 인접한 정점들 사이를 잇는 직선의 중점 좌표를 각각 추출하고, 추출된 중점들을 정점으로 하는 기준패턴을 생성하는 기준패턴 생성부, 및 기준패턴을 이용하여 하기의 수식으로부터 보상패턴을 생성하는 보상패턴 생성부를 포함하고,An image distortion correction apparatus according to claim 6 is a device for correcting distortion of an image generated by a geometric shape of a projection surface, and photographing an image projected on a projection surface, and the distortion of the pattern and image of the photographed image. Distortion pattern information acquisition unit for acquiring information on the distortion pattern of the image by comparing the missing circle pattern, generating a symmetric pattern having a form in which the distortion pattern is rotated 180 degrees on the plane coordinates, and the origin of the symmetry pattern is distorted on the plane coordinates A symmetric pattern generator that moves the symmetric pattern to match the origin of the pattern, extracts the midpoint coordinates of the straight lines between the vertices of the distortion pattern and the vertices of the symmetric pattern, which are adjacent to each other on the plane coordinates, respectively. A reference pattern generator for generating a reference pattern with the vertices as the vertex, and a compensation pattern generated from the following equation using the reference pattern Compensation pattern generation unit,
PD는 왜곡패턴의 정점 좌표를 나타내고, PO는 기준패턴의 정점 좌표를 나타내고, x,y,z는 각각 공간좌표의 각 축을 나타내고, PC는 보상패턴의 정점 좌표를 나타내고, 는 실수인 것을 특징으로 한다.
P D represents the vertex coordinates of the distortion pattern, P O represents the vertex coordinates of the reference pattern, x, y, and z represent each axis of the spatial coordinates, P C represents the vertex coordinates of the compensation pattern, Is a real number.
청구항 7에 따른 원패턴, 왜곡패턴, 대칭패턴, 기준패턴, 및 보상패턴은 격자형 패턴이고,Circle pattern, distortion pattern, symmetry pattern, reference pattern, and compensation pattern according to claim 7 is a grid pattern,
원패턴은 직사각형의 단위 원패턴을 복수 개 포함하고,The circle pattern includes a plurality of rectangular unit circle patterns,
왜곡패턴은 사각형의 단위 왜곡패턴을 복수 개 포함하고,The distortion pattern includes a plurality of rectangular unit distortion patterns,
대칭패턴은 사각형의 단위 대칭패턴을 복수 개 포함하고,The symmetry pattern includes a plurality of rectangular unit symmetry patterns,
기준패턴은 직사각형의 단위 기준패턴을 복수 개 포함하고,The reference pattern includes a plurality of rectangular unit reference patterns,
보상패턴은 사각형의 단위 보상패턴을 복수 개 포함하는 것을 특징으로 한다.
The compensation pattern is characterized by including a plurality of rectangular unit compensation patterns.
청구항 8에 따른 보상패턴 생성부는 하기의 수식을 만족하는 보상패턴을 생성하고,The compensation pattern generator according to claim 8 generates a compensation pattern that satisfies the following formula,
는 와 가 이루는 각을 나타내고, 는 와 가 이루는 각을 나타내고, 은 단위 원패턴의 한 변에 대한 벡터를 나타내고, 는 단위 왜곡패턴의 한 변에 대한 벡터를 나타내고, 는 단위 보상패턴의 한 변에 대한 벡터를 나타내는 것을 특징으로 한다.
Is Wow Represents the angle formed by Is Wow Represents the angle formed by Represents a vector of one side of the unit circle pattern, Represents a vector of one side of the unit distortion pattern, Denotes a vector for one side of the unit compensation pattern.
청구항 9에 따른 대칭패턴 생성부는,The symmetric pattern generation unit according to claim 9,
왜곡패턴을 평면좌표 상에 이동시키고, 단위 왜곡패턴의 윗변을 구성하는 두 정점의 x축 좌표와 단위 왜곡패턴의 밑변을 구성하는 두 정점의 x축 좌표를 교환하여 대칭패턴의 수평좌표를 결정하고,The horizontal pattern of the symmetry pattern is determined by moving the distortion pattern on the plane coordinates, exchanging the x-axis coordinates of the two vertices constituting the upper side of the unit distortion pattern and the x-axis coordinates of the two vertices constituting the lower side of the unit distortion pattern. ,
단위 왜곡패턴의 각 변을 구성하는 두 정점이 이루는 직선과 기울기의 절대치는 같고 방향이 반대인 직선을 생성하고, 생성된 직선에 기초하여 수평좌표가 결정된 대칭패턴의 정점들을 이동시켜 대칭패턴의 수직좌표를 결정하고,The straight line of the two vertices constituting each side of the unit distortion pattern and the absolute value of the slope are generated with the same and opposite directions, and the vertices of the symmetric pattern are moved by moving the vertices of the symmetric pattern whose horizontal coordinates are determined based on the generated straight lines. Determine the coordinates,
대칭패턴의 최하단 수직좌표를 왜곡패턴의 최하단 수직좌표에 맞도록 대칭패턴을 이동시키고,The symmetric pattern is moved to match the lowest vertical coordinate of the symmetric pattern with the lowest vertical coordinate of the distortion pattern.
대칭패턴의 수직좌표를 하기의 수식에 따라 결정하고,Determine the vertical coordinate of the symmetric pattern according to the following formula,
mCn은 PDn와 PDn +1을 잇는 직선의 기울기와 절대치가 같고, 방향이 반대인 직선의 기울기를 나타내는 것을 특징으로 한다.
m Cn is characterized by indicating the slope of a straight line having the same absolute value as that of the straight line connecting P Dn and P Dn +1 and having opposite directions.
청구항 10에 따른 제6항 내지 제9항 중 어느 한 항에 따른 장치를 이용하여 영사 면에 대한 영상 왜곡을 적응적으로 보정하기 위한 장치로서, 영사 면은 기울어진 평면, 꺾인 평면, 및 곡면 중 어느 하나의 면을 갖고, 영사 면이 기울어진 평면인 경우, 기울어진 평면에 보상패턴을 생성하는 방법을 통하여 보정하고, 영사 면이 꺾인 평면인 경우, 영사 면의 꺾임에 의해 나타나는 접힌 선을 기준으로 영사 면의 양 측면을 각각 기울어진 평면에 대한 보정방법을 통해 보정하고, 영사 면이 곡면인 경우, 단위 왜곡패턴 별로 기울어진 평면에 대한 보정방법을 보정하되, 단위 대칭패턴의 수평좌표를 결정할 경우 단위 왜곡패턴의 너비와 보상패턴의 너비는 하기의 수식관계를 만족하고,An apparatus for adaptively correcting image distortion with respect to a projection surface using the apparatus according to any one of claims 6 to 9, wherein the projection surface is one of an inclined plane, an inclined plane, and a curved surface. If the projection surface is inclined plane with any one surface, it is corrected by generating a compensation pattern on the inclined plane, and if the projection plane is a bent plane, it is based on the folded line indicated by the bend of the projection plane. By correcting both sides of the projection surface through the correction method for the inclined plane, and if the projection surface is curved, the correction method for the inclined plane is corrected for each unit distortion pattern, and the horizontal coordinate of the unit symmetry pattern is determined. In this case, the width of the unit distortion pattern and the width of the compensation pattern satisfy the following relation,
lrn은 단위 왜곡패턴의 한 변에 대한 수평거리를 나타내고, lrn'은 단위 보상패턴의 한 변에 대한 수평거리를 나타내고, r은 평면좌표 상에서 단위 왜곡패턴 및 단위 보상패턴의 행(row)을 나타내는 것을 특징으로 한다.
l rn represents the horizontal distance of one side of the unit distortion pattern, l rn 'represents the horizontal distance of one side of the unit compensation pattern, r is a row of the unit distortion pattern and the unit compensation pattern on the plane coordinates Characterized in that represents.
실시예에 따르면, 휴대형 프로젝터에 적합한 기하학적 영상보정을 위해, 영상처리만으로 영사 면에 의해 발생한 영상의 기하학적 왜곡을 보정할 수 있는 방법과 그에 따른 장치를 제공할 수 있다.
According to an embodiment, a geometric image correction method suitable for a portable projector may provide a method and an apparatus capable of correcting geometric distortion of an image caused by a projection surface using only image processing.
도 1은 실시예에 따른 영상 왜곡 보정방법을 설명하기 위해 나타낸 흐름도.
도 2a는 스크린에 영사된 영상의 원패턴을 나타낸 도면.
도 2b는 비평면에 영사된 영상의 왜곡패턴을 나타낸 도면.
도 3a는 원패턴과 왜곡패턴을 평면좌표 상에 나타낸 도면.
도 3b는 왜곡패턴, 원패턴, 및 보상패턴을 공간좌표 상에서 나타낸 도면.
도 4a 내지 도 4d는 실시예에 따른 대칭패턴을 생성하는 방법을 나타낸 도면.
도 5a 내지 도 5b는 실시예에 따른 기준패턴을 생성하는 방법을 나타낸 도면.
도 6은 영사 면이 기울어진 평면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면.
도 7은 영사 면이 꺾인 면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면.
도 8a 내지 도 8c는 영사 면이 곡면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면.
도 9는 실시예에 따른 영상 왜곡 보상장치의 구성을 개략적으로 나타낸 블록도.1 is a flowchart illustrating an image distortion correction method according to an embodiment.
2A is a diagram showing an original pattern of an image projected on a screen.
2B is a diagram illustrating a distortion pattern of an image projected on a non-planar surface.
3A is a diagram showing original patterns and distortion patterns on plane coordinates;
3B is a diagram showing distortion patterns, original patterns, and compensation patterns on spatial coordinates.
4A to 4D illustrate a method of generating a symmetric pattern according to an embodiment.
5A to 5B illustrate a method of generating a reference pattern according to an embodiment.
6 is a diagram illustrating a method of generating a compensation pattern using an image distortion compensation method according to an exemplary embodiment when the projection plane is an inclined plane.
FIG. 7 is a diagram illustrating a method of generating a compensation pattern using the image distortion compensation method according to the embodiment when the projection surface is a bent surface. FIG.
8A to 8C are diagrams for describing a method of generating a compensation pattern using the image distortion compensation method according to the embodiment when the projection surface is a curved surface.
9 is a block diagram schematically illustrating a configuration of an image distortion compensation apparatus according to an embodiment.
이하 실시예에 대하여 첨부한 도면을 참조하여 상세하게 설명하기로 한다. 단, 첨부된 도면은 실시예의 내용을 보다 쉽게 개시하기 위하여 설명되는 것일 뿐, 본 발명의 범위가 첨부된 도면의 범위로 한정되는 것이 아님은 이 기술분야의 통상의 지식을 가진 자라면 용이하게 알 수 있을 것이다.Hereinafter, exemplary embodiments will be described in detail with reference to the accompanying drawings. However, the accompanying drawings are only described in order to more easily disclose the contents of the embodiments, the scope of the present invention is not limited to the scope of the accompanying drawings will be readily understood by those of ordinary skill in the art. Could be.
실시예에서는, 영사 면의 기하학적 형태에 의해 발생하는 영상의 왜곡을 보정하기 위하여, 프로젝터와 카메라, 그리고 스크린 간의 관계를 고려하여 왜곡패턴을 캡쳐하고, 캡쳐한 왜곡패턴에서 기울기와 곡률과 같은 영사 면의 기하학적 형태 정보를 추출한다. 그리고, 추출한 영사 면의 형태 정보를 기반으로 영사 면에 투사된 영상에서 나타나는 영상의 왜곡을 보정할 수 있는 방법을 제시한다.
In an embodiment, in order to correct the distortion of the image caused by the geometry of the projection surface, the distortion pattern is captured in consideration of the relationship between the projector, the camera, and the screen, and the projection surface such as the slope and curvature in the captured distortion pattern Extract geometric information of. Then, a method for correcting the distortion of an image appearing in the image projected on the projection surface is proposed based on the extracted shape information of the projection surface.
우선, 실시예에서 사용하는 이미지 패턴들에 대한 용어를 정의한다.First, terms for image patterns used in the embodiment are defined.
실시예에서 사용하는 이미지 패턴에는 원패턴, 왜곡패턴, 대칭패턴, 기준패턴, 및 보상패턴이 있다. 이러한 원패턴, 왜곡패턴, 대칭패턴, 기준패턴, 및 보상패턴은 격자형 패턴을 갖는다.The image pattern used in the embodiment includes a circle pattern, a distortion pattern, a symmetry pattern, a reference pattern, and a compensation pattern. The original pattern, the distortion pattern, the symmetry pattern, the reference pattern, and the compensation pattern have a grid pattern.
원패턴은 영상에 대한 왜곡이 없는 이미지 패턴을 의미한다. 왜곡패턴은 비평면의 영사 면에 영사된 원패턴을 촬영하여 얻은 이미지 패턴을 의미한다. 대칭패턴은 기준패턴 생성을 이미지 패턴을 의미한다. 기준패턴은 영사 면의 깊이 정보를 적용하여 보상패턴을 생성하기 위해 원패턴의 형태가 변형된 이미지 패턴을 의미한다. 보상패턴은 영상의 기하학적 왜곡을 보정할 수 있는 이미지 패턴을 의미한다. 그리고, 단위 패턴은 원패턴, 왜곡패턴, 대칭패턴, 기준패턴, 및 보상패턴을 각각 구성하는 직사각형 또는 사각형의 이미지 패턴을 의미한다. 단위 패턴에는 단위 원패턴, 단위 왜곡패턴, 단위 대칭패턴, 단위 기준패턴, 및 단위 보상패턴이 있다.
The original pattern means an image pattern without distortion of an image. The distortion pattern refers to an image pattern obtained by photographing an original pattern projected on a non-planar projection surface. Symmetrical pattern refers to the generation of the reference pattern image pattern. The reference pattern refers to an image pattern in which the original pattern is deformed in order to generate a compensation pattern by applying depth information of a projection surface. The compensation pattern refers to an image pattern capable of correcting geometric distortion of an image. In addition, the unit pattern means a rectangular or rectangular image pattern constituting the original pattern, the distortion pattern, the symmetry pattern, the reference pattern, and the compensation pattern, respectively. The unit patterns include unit circle patterns, unit distortion patterns, unit symmetry patterns, unit reference patterns, and unit compensation patterns.
[영상 왜곡 보정방법][Image distortion correction method]
도 1은 실시예에 따른 영상 왜곡 보정방법(S100)을 설명하기 위해 나타낸 흐름도이다.1 is a flowchart illustrating an image distortion correction method S100 according to an exemplary embodiment.
도 1을 참조하면, 실시예에 따른 영상 왜곡 보정방법(S100)은, 왜곡패턴 획득 단계(S110), 대칭패턴 생성 및 이동 단계(S120), 기준패턴 생성 단계(S130), 및 보상패턴 생성단계(S140)를 포함한다.Referring to FIG. 1, in the image distortion correction method S100 according to an embodiment, a distortion pattern obtaining step S110, a symmetric pattern generation and movement step S120, a reference pattern generation step S130, and a compensation pattern generation step (S140).
S110S110 단계 step
도 2a는 스크린에 영사된 영상의 원패턴을 나타낸 도면이다. 도 2b는 비평면에 영사된 영상의 왜곡패턴을 나타낸 도면이다.2A is a diagram illustrating an original pattern of an image projected on a screen. 2B is a diagram illustrating a distortion pattern of an image projected on a non-planar surface.
S110 단계에서는, 영사 면에 영사된 영상을 촬영하고, 촬영된 영상의 패턴과, 원패턴을 비교하여 왜곡패턴 정보를 획득한다.In operation S110, the image projected on the projection surface is photographed, and the distortion pattern information is obtained by comparing the pattern of the photographed image with the original pattern.
휴대형 프로젝터를 사용하는 환경에서는 최적의 영상을 표현할 수 있는 평면 스크린이 준비된 경우가 많지 않기 때문에, 벽면과 같은 곳에 영사된 영상에서는 그 면의 기하학적 형태에 따라 휨이나 찌그러짐 등의 왜곡이 발생하게 된다. In an environment in which a portable projector is used, a flat screen capable of expressing an optimal image is not often prepared. Therefore, in an image projected on a wall or the like, distortion, such as warpage or distortion, may occur depending on the geometry of the surface.
영사 면의 기하학적 형태로부터 발생하는 영상의 왜곡 정도는, 도 2a에 도시된 바와 같은 원패턴(10) 영상과, 도 2b에 도시된 바와 같은 왜곡패턴(20) 영상을 하기의 수식에 근거하여 비교하면 알 수 있다.The degree of distortion of the image resulting from the geometry of the projection surface is compared with the
수학식 1에서, 은 단위 원패턴(10a)의 한 변에 대한 벡터를 의미한다. 는 단위 왜곡패턴(20a)의 한 변에 대한 벡터를 의미한다. 그리고, 는 와 가 이루는 각을 의미하는 것으로, 영사 면의 기하학적 형태에 의해 발생하는 영상의 왜곡 정도를 나타낸다.In
따라서, 수학식 1을 이용하여, 영상의 왜곡패턴에 대한 정보를 얻을 수 있으며, 획득한 왜곡패턴으로부터 영사 면의 기하학적 형태 정보를 추출할 수 있다.Therefore, information about the distortion pattern of the image may be obtained using
실시예에서는 왜곡패턴과 역관계에 놓여 있는 보상패턴을 생성함으로써, 비평면에 발생하는 영상의 왜곡을 보정할 수 있다. 왜곡패턴과 보상패턴의 관계는 하기의 수식과 같이 정의할 수 있으며, 두 패턴은 항상 하기의 수식을 만족해야 한다.In an exemplary embodiment, distortion of an image occurring on a non-planar surface may be corrected by generating a compensation pattern that is inversely related to the distortion pattern. The relationship between the distortion pattern and the compensation pattern may be defined as in the following equation, and the two patterns should always satisfy the following equation.
수학식 2에서 은 단위 원패턴(10a)의 한 변에 대한 벡터를 의미한다. 는 단위 왜곡패턴(20a)의 한 변에 대한 벡터를 의미한다. 는 와 가 이루는 각을 의미한다. 는 단위 보상패턴의 한 변에 대한 벡터를 의미한다. 는 와 가 이루는 각을 의미한다. 수학식 2를 참조하면, 와 는 크기는 같고 방향이 반대인 관계에 놓여 있음을 알 수 있다.
In
도 3a는 원패턴과 왜곡패턴을 평면좌표 상에 나타낸 도면이다. 도 3b는 왜곡패턴, 원패턴, 및 보상패턴을 공간좌표 상에서 나타낸 도면이다.3A is a diagram showing original patterns and distortion patterns on plane coordinates. 3B is a diagram illustrating distortion patterns, original patterns, and compensation patterns on spatial coordinates.
비평면에 영사된 영상으로부터 발생하는 영상의 기하학적 왜곡을 보정할 수 있는 패턴(보상패턴)을 생성하기 위해서는, 먼저 도 3a에 도시된 바와 같이, 원패턴(10) 영상과 왜곡패턴(20) 영상을 평면좌표에 사상하여 원점을 일치시킨다. In order to generate a pattern (compensation pattern) for correcting geometric distortion of an image generated from an image projected on a non-planar surface, as shown in FIG. 3A, the
다음, 임의의 깊이()를 할당하여 도 3b에 도시된 바와 같이 동일 평면 상의 두 패턴(10, 20)을 공간좌표로 분리한다.Next, random depth ( ), The two
다음, 공간좌표로 분리한 두 패턴(10, 20)의 대칭 점들에 대하여 각각 직선의 방정식을 도출한 후, 도출한 직선의 방정식에 -를 대입하여 보상패턴의 교차점 좌표(PC)를 산출한다. -는 상기 임의의 깊이()와는 절대치는 같고, 방향이 대칭되는 깊이 값을 의미한다. 이하에서 설명하는 패턴의 교차점 좌표는 패턴의 정점 좌표를 의미한다.Next, the equations of the straight lines are derived for the symmetric points of the two patterns (10, 20) separated by the spatial coordinates. Substitute in to calculate the intersection coordinates P C of the compensation pattern. - Is the random depth ( ) Is the same absolute value and means the depth value symmetrical direction. Intersection coordinates of the pattern described below means vertex coordinates of the pattern.
도 3b를 기준으로 보상패턴(30)의 교차점 좌표(PC)를 산출하는 방법을 하기의 수식으로 나타내었다.A method of calculating the intersection point coordinate P C of the
수학식 3에서 PD는 왜곡패턴(20)의 정점 좌표(교차점 좌표)를 의미한다. PO는 원패턴(10)의 정점 좌표(교차점 좌표)를 의미한다. x,y,z는 각각 공간좌표의 각 축을 의미한다. PC는 보상패턴(30)의 정점 좌표(교차점 좌표)를 의미한다. 는 상술한 바와 같이 임의의 할당할 수 있는 깊이(z) 값을 의미한다.In Equation 3, P D means vertex coordinates (intersection coordinates) of the
그러나, 실시예에서는 영사 면에 대한 3차원 정보를 산출하지 않기 때문에, 임의의 깊이()를 수학식 3에 대입하여 산출한 보정패턴(30)은, 왜곡패턴(20)과 수학식 2를 통해 나타낸 왜곡패턴과 보상패턴 간의 관계를 항상 만족하지는 않는다. However, since the embodiment does not calculate three-dimensional information about the projection surface, it is possible to select an arbitrary depth ( ) Is calculated by substituting Equation 3 into Equation 3, and the
따라서, 영사 면의 3차원 정보를 이용하지 않고도 수학식 2를 통해 나타낸 왜곡패턴과 보상패턴 간의 관계를 항상 만족시킬 수 있는 보상패턴을 생성하기 위해, 실시예에서는 왜곡패턴과 보상패턴 간 대응의 기준이 되는 기준패턴을 생성한다.
Therefore, in order to generate a compensation pattern that can always satisfy the relationship between the distortion pattern and the compensation pattern represented by
S120S120 단계 step
S120 단계에서는 대칭패턴을 생성하고, 기준패턴을 생성하기 위해 생성된 대칭패턴을 평면좌표 상에서 위치 이동시킨다. S120 단계를 통하여 생성된 대칭패턴은 평면좌표 상에서 왜곡패턴이 180도 회전된 형태를 가지며, 왜곡패턴과 원점이 일치한다. 이러한 대칭패턴에 개념은 도 3b에 도시된 바와 같이, 공간좌표 상에서 원패턴을 기준으로 임의의 깊이()에 위치하며, 왜곡패턴(20)과 180도 회전된 상태로 대칭된 형태라 할 수 있다.In operation S120, a symmetric pattern is generated, and the generated symmetric pattern is moved on a plane coordinate to generate a reference pattern. The symmetric pattern generated through the step S120 has a form in which the distortion pattern is rotated 180 degrees on the plane coordinates, and the origin of the symmetry pattern coincides with the distortion pattern. The concept of such a symmetric pattern is shown in FIG. 3B as shown in FIG. It is located in the), it can be said to be symmetrical with the
이하, 대칭패턴을 3차원 공간좌표 상에서가 아닌, 2차원 평면좌표 상에서 생성하는 방법에 대하여 상세히 설명한다.Hereinafter, a method of generating a symmetric pattern on two-dimensional planar coordinates rather than on three-dimensional spatial coordinates will be described in detail.
도 4a 내지 도 4d는 영사 면의 3차원 정보를 고려한 보상패턴을 생성하기 위해, 원패턴이 변형된 기준패턴을 생성하는 과정을 나타낸 도면이다.4A to 4D are diagrams illustrating a process of generating a reference pattern in which a circle pattern is modified to generate a compensation pattern considering three-dimensional information of a projection surface.
먼저, 왜곡패턴(20a, 이하 단위 왜곡패턴)을 평면좌표로 이동시킨다.First, the
다음, 도 4a에 도시된 바와 같이, 단위 왜곡패턴(20a)의 윗변을 구성하는 두 정점(PD1, PD2)의 x축 좌표와, 밑변을 구성하는 두 정점(PD4, PD3)의 x축 좌표를 교환하여 네 정점의 수평좌표를 결정한다. 즉, 정점 PD1의 x축 좌표 값과 정점 PD4의 x축 좌표 값이 교환되고, 정점 PD2의 x축 좌표 값은 정점 PD3의 x 축 좌표 값이 교환된다. 이러한 교환 과정을 거친 정점 PD1, PD2, PD3, PD4은 PC1, PC2, PC3, PC4로 표기한다.Next, as shown in FIG. 4A, the x-axis coordinates of the two vertices P D1 and P D2 constituting the upper side of the
다음, 도 4b에 도시된 바와 같이, 단위 왜곡패턴(20a)의 윗변을 구성하는 정점 PD1과 정점 PD2로 생성한 직선 l1과, 기울기의 절대치는 같고 방향이 반대인 직선 l1’를 생성한다. 다음, 직선 l1’에 기초하여 PC2의 y축 좌표를 이동시켜, 단위 대칭패턴의 수직좌표를 결정한다.Next, as shown in FIG. 4B, a straight line l 1 generated by the vertex P D1 and the vertex P D2 constituting the upper side of the
다음, 상술한 방법과 마찬가지로, 정점 PC3, 및 PC4의 수직좌표를 결정한다. 단위 대칭패턴의 정점의 수직좌표는 하기의 수식에 따라 결정할 수 있다.Next, similarly to the method described above, the vertical coordinates of the vertices P C3 and P C4 are determined. The vertical coordinates of the vertices of the unit symmetric pattern may be determined according to the following equation.
수학식 4에서 PC는 대칭패턴(40a)의 정점 좌표(교차점 좌표)를 의미한다. PD가 단위 왜곡패턴(20a)의 정점 좌표(교차점 좌표)를 의미하고, mDn이 PDn과 PDn +1을 잇는 직선의 기울기를 의미한다면, mCn은 mDn과 절대치가 같고, 방향이 반대인 직선의 기울기를 의미한다. 즉, PDn과 PDn +1을 잇는 직선의 기울기와 절대치가 같고, 방향이 반대인 직선의 기울기를 의미한다.In
도 4c에 도시된 바와 같이, 산출한 단위 대칭패턴(40a)은 대응되는 단위 왜곡패턴(20a)의 각 변에 대하여 기울기의 절대치는 같고, 방향은 반대인 관계에 놓여있다. 그러나, 영사 면의 기하학적 형태를 적용하는 위치가 다르므로, 도 4d에 도시된 바와 같이, 단위 대칭패턴(40a)의 최하단 수직좌표(PC3)를 단위 왜곡패턴(20a)의 최하단 수직좌표(PD3)에 맞도록 단위 대칭패턴(40a)를 이동시킨다.
As shown in FIG. 4C, the calculated
S130S130 단계 step
도 5a 내지 도 5b는 실시예에 따른 기준패턴을 생성하는 방법을 나타낸 도면이다.5A to 5B illustrate a method of generating a reference pattern according to an embodiment.
S130 단계에서는 기준패턴(50a, 이하 단위 기준패턴)을 생성한다.In operation S130, a
도 5a에 도시된 바와 같이, 단위 왜곡패턴(20a)의 정점들(PD1, PD2, PD3, PD4)과, 이와 대응되는 단위 대칭패턴(40a)의 정점들(PC1, PC2, PC3, PC4) 간의 중점들(PS1, PS2, PS3, PS4)을 추출한다. 즉, 단위 왜곡패턴(20a)의 정점들((PD1, PD2, PD3, PD4)과 단위 대칭패턴(40a)의 정점들(PC1, PC2, PC3, PC4) 중 평면좌표 상에서 서로 인접한 정점들 사이를 잇는 직선의 중점 좌표를 각각 추출한다.As shown in FIG. 5A, the vertices P D1 , P D2 , P D3 and P D4 of the
예를 들어, 정점 PD1과 정점 PC1 사이를 잇는 직선의 중점(PS1)를 추출할 수 있으며, 정점 PD2과 정점 PC2 사이를 잇는 직선의 중점(PS2)를 추출할 수 있으며, 정점 PD3과 정점 PC3 사이를 잇는 직선의 중점(PS3)를 추출할 수 있으며, 정점 PD4과 정점 PC4 사이를 잇는 직선의 중점(PS4)를 추출할 수 있다.For example, the midpoint (P S1 ) of a straight line between vertex P D1 and vertex P C1 may be extracted, and the midpoint (P S2 ) of a straight line between vertex P D2 and vertex P C2 may be extracted. The midpoint (P S3 ) of the straight line between vertex P D3 and vertex P C3 can be extracted, and the midpoint (P S4 ) of the straight line between vertex P D4 and vertex P C4 can be extracted.
다음, 도 5b에 도시된 바와 같이, 이러한 방법으로 추출된 중점(PS1, PS2, PS3, PS4)을 이용하여 단위 기준패턴의 형태를 결정한다. 그리고, 단위 원패턴의 정점(교차점)을 단위 기준패턴의 형태에 맞춰 필드 기반의 워핑(warping)을 수행하여 단위 기준패턴(50a)을 생성한다.
Next, as shown in FIG. 5B, the shape of the unit reference pattern is determined using the midpoints P S1 , P S2 , P S3 , and P S4 extracted in this manner. The
S140S140 단계 step
S140단계에서는 S130단계를 생성된 기준패턴을 이용하여 보상패턴을 생성한다.In operation S140, a compensation pattern is generated using the reference pattern generated in operation S130.
결과적으로, S130 단계를 통해 추출된 기준패턴의 정점들(PS1, PS2, PS3, PS4)을 수학식 3의 과정에서 원패턴의 정점 좌표(교차점 좌표) PO에 대입하여 연산하고, 항상 수학식 2의 관계를 만족하는 보상패턴을 생성하는 것이다.
As a result, the vertices P S1 , P S2 , P S3 and P S4 of the reference pattern extracted through the operation S130 are substituted into the vertex coordinates (intersection coordinates) P O of the original pattern in the process of Equation 3, and then calculated. , Always generates a compensation pattern that satisfies the relationship of
이하, 실시예에 따른 영상 왜곡 보정방법을 적용한 임의의 영사 면에 대하여 적응적으로 영상 왜곡을 보정하는 방법에 대하여 설명한다.Hereinafter, a method of adaptively correcting image distortion with respect to any projection surface to which the image distortion correction method according to the embodiment is applied will be described.
프로젝터의 일반적인 휴대환경에서는 영사 면의 형태가 크게 세 가지로 분류된다. 그 세가지 형태는 기울어진 평면, 꺾인 평면과, 곡면으로 나타난다. In the general portable environment of a projector, there are three types of projection screens. The three forms appear as inclined planes, bent planes, and curved surfaces.
기울어진 평면Inclined plane
도 6은 영사 면이 기울어진 평면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면이다.FIG. 6 is a diagram illustrating a method of generating a compensation pattern using the image distortion compensation method according to an exemplary embodiment when the projection plane is an inclined plane.
영사면의 형태가 기울어진 평면일 경우, 영사 면이 하나의 평면 상에서 나타나기 때문에, 왜곡패턴은 일정한 기울기를 갖는 4개의 직선으로 구성된다. 이는 도 6에 도시된 바와 같이, 하나의 사각형으로 나타나게 된다.When the shape of the projection surface is an inclined plane, since the projection surface appears on one plane, the distortion pattern is composed of four straight lines having a constant slope. This is represented by one rectangle, as shown in FIG.
따라서, 영사 면이 기울어진 평면인 경우에는, 왜곡패턴의 네 모서리 정점들로 형성된 사각형에 대하여 기준패턴 생성 과정을 수행하고, 생성한 기준패턴과 왜곡패턴의 교차점에 대해 수학식 3의 방법에 적용하고, 수학식 2의 관계를 만족하는 보상패턴을 형성한다.
Therefore, when the projection plane is an inclined plane, a reference pattern generation process is performed on a quadrangle formed by four corner vertices of the distortion pattern, and the method is applied to the method of Equation 3 on the intersection of the generated reference pattern and the distortion pattern. Then, a compensation pattern that satisfies the relationship of
꺾인 평면A flat plane
도 7은 영사 면이 꺾인 면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면이다.7 is a diagram illustrating a method of generating a compensation pattern using the image distortion compensation method according to an exemplary embodiment when the projection surface is a bent surface.
영사 면의 형태가 꺾인 평면일 경우, 기울어진 평면과 유사하게 일정한 기울기의 직선들로 구성된 다각형 형태의 왜곡패턴이 나타나게 된다. 방향이 다른 두 평면으로 구성된 꺾인 평면은, 도 7에 도시된 바와 같이, 영사 면(plane 1, plane2)의 꺾임에 의해 나타나는 접힌 선을 기준으로 양 측에 두 종류의 사각형(20A, 20B)가 나타나게 된다. 이러한 경우, 각각의 사각형(20A, 20B)은 기울어진 평면에 대한 보정방법과 마찬가지로 기준패턴을 생성하는 과정을 수행한 후, 수학식 3의 방법에 적용하고, 수학식 2의 관계를 만족하는 보상패턴을 형성한다.
When the shape of the projection surface is a curved plane, a polygonal distortion pattern composed of straight lines having a constant slope similar to the inclined plane appears. As shown in FIG. 7, two types of
곡면Surface
도 8a 내지 도 8c는 영사 면이 곡면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면이다.8A to 8C are diagrams for describing a method of generating a compensation pattern using the image distortion compensation method according to the embodiment when the projection surface is a curved surface.
영사 면의 형태가 곡면일 경우, 기울어진 평면이나 꺾인 평면과는 다르게 왜곡패턴을 구성하는 모두 단위 패턴들에 대한 각각의 기준패턴을 생성해야 한다. 이는 도 8a 내지 도 8b에 도시된 바와 같이, 단위 왜곡패턴을 단위로 곡면을 평면으로 근사화 했을 때, 근사화된 각각의 평면들은 서로 다른 기하학적 형태 정보를 가지기 때문이다. 또한, 영사 면의 형태가 곡면이 경우에 있어서, 단위 기준패턴의 수평좌표를 결정할 때에는 단위 왜곡패턴의 너비와 단위 보상패턴의 너비는 하기의 수식에서 나타낸 관계를 만족해야 한다.When the projection surface is curved, it is necessary to generate respective reference patterns for all unit patterns constituting the distortion pattern, unlike the inclined plane or the inclined plane. This is because, as shown in FIGS. 8A to 8B, when the curved surface is approximated to the plane based on the unit distortion pattern, each of the approximated planes has different geometric shape information. In addition, in the case where the shape of the projection surface is curved, when determining the horizontal coordinate of the unit reference pattern, the width of the unit distortion pattern and the width of the unit compensation pattern should satisfy the relationship shown in the following formula.
수학식 5에서 lrn은 단위 왜곡패턴의 한 변에 대한 수평거리를 의미한다. lrn'은 단위 보상패턴의 한 변에 대한 수평거리를 의미한다. r은 평면좌표 상에서 단위 왜곡패턴 및 단위 보상패턴의 행(row)을 의미한다.In Equation 5, l rn means a horizontal distance with respect to one side of the unit distortion pattern. l rn 'means the horizontal distance of one side of the unit compensation pattern. r means a row of the unit distortion pattern and the unit compensation pattern on the plane coordinates.
다음, 결정된 수평좌표를 기준으로 단위 기준패턴의 수직좌표는 꺾인 평면의 보상방법과 동일한 방법으로 결정한다. 그러나, 기울어진 평면이나 꺾인 평면과는 다르게, 곡면의 보상패턴을 생성하는 방법에서는, 기준패턴 생성 과정에서 기준패턴과 보상패턴의 모든 정점(교차점) 좌표를 산출할 수 있기 때문에, 기준패턴에 대한 원패턴의 워핑 과정과 수학식 3의 과정을 수행하지 않아도 무방하다.Next, the vertical coordinate of the unit reference pattern is determined based on the determined horizontal coordinate in the same manner as the compensation method of the bent plane. However, unlike an inclined plane or an inclined plane, in the method of generating a curved compensation pattern, all vertex (intersection) coordinates of the reference pattern and the compensation pattern can be calculated during the reference pattern generation process. The warping process of the original pattern and the process of Equation 3 may not be performed.
이와 같이, 실시예에 따른 영상 왜곡 보정장치는, 영사 면이 기울어진 평면, 꺾인 평면, 및 곡면 중 어느 형태를 가지더라도, 적응적으로 대응하여 보정할 수 있다.
As described above, the image distortion correction apparatus according to the embodiment may adaptively correct the image even when the projection surface has any of an inclined plane, an oblique plane, and a curved surface.
[영상 왜곡 보정장치][Image distortion correction device]
도 9는 실시예에 따른 영상 왜곡 보상장치(900)의 구성을 개략적으로 나타낸 블록도이다.9 is a block diagram schematically illustrating a configuration of an
도 9 참조하면, 실시예에 따른 영상 왜곡 보상장치(900)는 왜곡패턴 획득부(910), 대칭패턴 생성부(920), 기준패턴 생성부(930), 및 보상패턴 생성부(940)를 포함한다.Referring to FIG. 9, the
도 9에 도시된 영상 왜곡 보상장치(900)는 상술한 영상 왜곡 보상방법(S100)을 수행할 수 있는 장치로서, 도 2a 내지 8c와 결부하여 영상 왜곡 보상장치(900)에 대한 구성을 설명한다.The
왜곡패턴 Distortion Pattern 획득부Acquisition (910)(910)
도 2a는 스크린에 영사된 영상의 원패턴을 나타낸 도면이다. 도 2b는 비평면에 영사된 영상의 왜곡패턴을 나타낸 도면이다.2A is a diagram illustrating an original pattern of an image projected on a screen. 2B is a diagram illustrating a distortion pattern of an image projected on a non-planar surface.
왜곡패턴 획득부(910), 영사 면에 영사된 영상을 촬영하고, 촬영된 영상의 패턴과, 원패턴을 비교하여 왜곡패턴 정보를 획득한다.The distortion
휴대형 프로젝터를 사용하는 환경에서는 최적의 영상을 표현할 수 있는 평면 스크린이 준비된 경우가 많지 않기 때문에, 벽면과 같은 곳에 영사된 영상에서는 그 면의 기하학적 형태에 따라 휨이나 찌그러짐 등의 왜곡이 발생하게 된다. In an environment in which a portable projector is used, a flat screen capable of expressing an optimal image is not often prepared. Therefore, in an image projected on a wall or the like, distortion, such as warpage or distortion, may occur depending on the geometry of the surface.
영사 면의 기하학적 형태로부터 발생하는 영상의 왜곡 정도는, 도 2a에 도시된 바와 같은 원패턴(10) 영상과, 도 2b에 도시된 바와 같은 왜곡패턴(20) 영상을 하기의 수식에 근거하여 비교하면 알 수 있다.The degree of distortion of the image resulting from the geometry of the projection surface is compared with the
수학식 6에서, 은 단위 원패턴(10a)의 한 변에 대한 벡터를 의미한다. 는 단위 왜곡패턴(20a)의 한 변에 대한 벡터를 의미한다. 그리고, 는 와 가 이루는 각을 의미하는 것으로, 영사 면의 기하학적 형태에 의해 발생하는 영상의 왜곡 정도를 나타낸다.In Equation 6, Denotes a vector of one side of the
따라서, 수학식 6을 이용하여, 영상의 왜곡패턴에 대한 정보를 얻을 수 있으며, 획득한 왜곡패턴으로부터 영사 면의 기하학적 형태 정보를 추출할 수 있다.Therefore, using Equation 6, information on the distortion pattern of the image can be obtained, and geometric shape information of the projection surface can be extracted from the obtained distortion pattern.
실시예에서는 왜곡패턴과 역관계에 놓여 있는 보상패턴을 생성함으로써, 비평면에 발생하는 영상의 왜곡을 보정할 수 있다. 왜곡패턴과 보상패턴의 관계는 하기의 수식과 같이 정의할 수 있으며, 두 패턴은 항상 하기의 수식을 만족해야 한다.In an exemplary embodiment, distortion of an image occurring on a non-planar surface may be corrected by generating a compensation pattern that is inversely related to the distortion pattern. The relationship between the distortion pattern and the compensation pattern may be defined as in the following equation, and the two patterns should always satisfy the following equation.
수학식 9에서 은 단위 원패턴(10a)의 한 변에 대한 벡터를 의미한다. 는 단위 왜곡패턴(20a)의 한 변에 대한 벡터를 의미한다. 는 와 가 이루는 각을 의미한다. 는 단위 보상패턴의 한 변에 대한 벡터를 의미한다. 는 와 가 이루는 각을 의미한다. 수학식 2를 참조하면, 와 는 크기는 같고 방향이 반대인 관계에 놓여 있음을 알 수 있다.
In equation (9) Denotes a vector of one side of the
도 3a는 원패턴과 왜곡패턴을 평면좌표 상에 나타낸 도면이다. 도 3b는 왜곡패턴, 원패턴, 및 보상패턴을 공간좌표 상에서 나타낸 도면이다.3A is a diagram showing original patterns and distortion patterns on plane coordinates. 3B is a diagram illustrating distortion patterns, original patterns, and compensation patterns on spatial coordinates.
비평면에 영사된 영상으로부터 발생하는 영상의 기하학적 왜곡을 보정할 수 있는 패턴(보상패턴)을 생성하기 위해서는, 먼저 도 3a에 도시된 바와 같이, 원패턴(10) 영상과 왜곡패턴(20) 영상을 평면좌표에 사상하여 원점을 일치시킨다. In order to generate a pattern (compensation pattern) for correcting geometric distortion of an image generated from an image projected on a non-planar surface, as shown in FIG. 3A, the
다음, 임의의 깊이()를 할당하여 도 3b에 도시된 바와 같이 동일 평면 상의 두 패턴(10, 20)을 공간좌표로 분리한다.Next, random depth ( ), The two
다음, 공간좌표로 분리한 두 패턴(10, 20)의 대칭 점들에 대하여 각각 직선의 방정식을 도출한 후, 도출한 직선의 방정식에 -를 대입하여 보상패턴의 교차점 좌표(PC)를 산출한다. -는 상기 임의의 깊이()와는 절대치는 같고, 방향이 대칭되는 깊이 값을 의미한다. 이하에서 설명하는 패턴의 교차점 좌표는 패턴의 정점 좌표를 의미한다.Next, the equations of the straight lines are derived for the symmetric points of the two patterns (10, 20) separated by the spatial coordinates. Substitute in to calculate the intersection coordinates P C of the compensation pattern. - Is the random depth ( ) Is the same absolute value and means the depth value symmetrical direction. Intersection coordinates of the pattern described below means vertex coordinates of the pattern.
도 3b를 기준으로 보상패턴(30)의 교차점 좌표(PC)를 산출하는 방법을 하기의 수식으로 나타내었다.A method of calculating the intersection point coordinate P C of the
수학식 8에서 PD는 왜곡패턴(20)의 정점 좌표(교차점 좌표)를 의미한다. PO는 원패턴(10)의 정점 좌표(교차점 좌표)를 의미한다. x,y,z는 각각 공간좌표의 각 축을 의미한다. PC는 보상패턴(30)의 정점 좌표(교차점 좌표)를 의미한다. 는 상술한 바와 같이 임의의 할당할 수 있는 깊이(z) 값을 의미한다.In Equation 8, P D means vertex coordinates (intersection coordinates) of the
그러나, 실시예에서는 영사 면에 대한 3차원 정보를 산출하지 않기 때문에, 임의의 깊이()를 수학식 3에 대입하여 산출한 보정패턴(30)은, 왜곡패턴(20)과 수학식 7을 통해 나타낸 왜곡패턴과 보상패턴 간의 관계를 항상 만족하지는 않는다.However, since the embodiment does not calculate three-dimensional information about the projection surface, it is possible to select an arbitrary depth ( ) Is calculated by substituting Equation 3 into Equation 3, and the
따라서, 영사 면의 3차원 정보를 이용하지 않고도 수학식 7을 통해 나타낸 왜곡패턴과 보상패턴 간의 관계를 항상 만족시킬 수 있는 보상패턴을 생성하기 위해, 실시예에서는 왜곡패턴과 보상패턴 간 대응의 기준이 되는 기준패턴을 생성한다.
Therefore, in order to generate a compensation pattern that can always satisfy the relationship between the distortion pattern and the compensation pattern represented by Equation 7, without using the three-dimensional information of the projection surface, in the embodiment, the criterion of the correspondence between the distortion pattern and the compensation pattern A reference pattern is generated.
대칭패턴 Symmetrical pattern 생성부Generator (920)(920)
대칭패턴 생성부(920)는 대칭패턴을 생성하고, 기준패턴을 생성하기 위해 생성된 대칭패턴을 평면좌표 상에서 위치 이동시킨다. 대칭패턴 생성부(920)를 통하여 생성된 대칭패턴은 평면좌표 상에서 왜곡패턴이 180도 회전된 형태를 가지며, 왜곡패턴과 원점이 일치한다. 이러한 대칭패턴에 개념은 도 3b에 도시된 바와 같이, 공간좌표 상에서 원패턴을 기준으로 임의의 깊이()에 위치하며, 왜곡패턴(20)과 180도 회전된 상태로 대칭된 형태라 할 수 있다.The
이하, 대칭패턴 생성부(920)를 통해 대칭패턴을 3차원 공간좌표 상에서가 아닌, 2차원 평면좌표 상에서 생성하는 방법에 대하여 상세히 설명한다.Hereinafter, a method of generating the symmetric pattern on the two-dimensional planar coordinates instead of the three-dimensional spatial coordinates through the
도 4a 내지 도 4d는 영사 면의 3차원 정보를 고려한 보상패턴을 생성하기 위해, 원패턴이 변형된 기준패턴을 생성하는 과정을 나타낸 도면이다.4A to 4D are diagrams illustrating a process of generating a reference pattern in which a circle pattern is modified to generate a compensation pattern considering three-dimensional information of a projection surface.
먼저, 왜곡패턴(20a, 이하 단위 왜곡패턴)을 평면좌표로 이동시킨다.First, the
다음, 도 4a에 도시된 바와 같이, 단위 왜곡패턴(20a)의 윗변을 구성하는 두 정점(PD1, PD2)의 x축 좌표와, 밑변을 구성하는 두 정점(PD4, PD3)의 x축 좌표를 교환하여 네 정점의 수평좌표를 결정한다. 즉, 정점 PD1의 x축 좌표 값과 정점 PD4의 x축 좌표 값이 교환되고, 정점 PD2의 x축 좌표 값은 정점 PD3의 x 축 좌표 값이 교환된다. 이러한 교환 과정을 거친 정점 PD1, PD2, PD3, PD4은 PC1, PC2, PC3, PC4로 표기한다.Next, as shown in FIG. 4A, the x-axis coordinates of the two vertices P D1 and P D2 constituting the upper side of the
다음, 도 4b에 도시된 바와 같이, 단위 왜곡패턴(20a)의 윗변을 구성하는 정점 PD1과 정점 PD2로 생성한 직선 l1과, 기울기의 절대치는 같고 방향이 반대인 직선 l1’를 생성한다. 다음, 직선 l1’에 기초하여 PC2의 y축 좌표를 이동시켜, 단위 대칭패턴의 수직좌표를 결정한다.Next, as shown in FIG. 4B, a straight line l 1 generated by the vertex P D1 and the vertex P D2 constituting the upper side of the
다음, 상술한 방법과 마찬가지로, 정점 PC3, 및 PC4의 수직좌표를 결정한다. 단위 대칭패턴의 정점의 수직좌표는 하기의 수식에 따라 결정할 수 있다.Next, similarly to the method described above, the vertical coordinates of the vertices P C3 and P C4 are determined. The vertical coordinates of the vertices of the unit symmetric pattern may be determined according to the following equation.
수학식 9에서 PC는 대칭패턴(40a)의 정점 좌표(교차점 좌표)를 의미한다. PD가 단위 왜곡패턴(20a)의 정점 좌표(교차점 좌표)를 의미하고, mDn이 PDn과 PDn+1을 잇는 직선의 기울기를 의미한다면, mCn은 mDn과 절대치가 같고, 방향이 반대인 직선의 기울기를 의미한다. 즉, PDn과 PDn+1을 잇는 직선의 기울기와 절대치가 같고, 방향이 반대인 직선의 기울기를 의미한다.In Equation 9, P C means vertex coordinates (intersection coordinates) of the
도 4c에 도시된 바와 같이, 산출한 단위 대칭패턴(40a)은 대응되는 단위 왜곡패턴(20a)의 각 변에 대하여 기울기의 절대치는 같고, 방향은 반대인 관계에 놓여있다. 그러나, 영사 면의 기하학적 형태를 적용하는 위치가 다르므로, 도 4d에 도시된 바와 같이, 단위 대칭패턴(40a)의 최하단 수직좌표(PC3)를 단위 왜곡패턴(20a)의 최하단 수직좌표(PC3)에 맞도록 단위 대칭패턴(40a)를 이동시킨다.
As shown in FIG. 4C, the calculated
기준패턴 Reference pattern 생성부Generator (930)(930)
도 5a 내지 도 5b는 실시예에 따른 기준패턴을 생성하는 방법을 나타낸 도면이다.5A to 5B illustrate a method of generating a reference pattern according to an embodiment.
기준패턴 생성부(930)는 기준패턴(50a, 이하 단위 기준패턴)을 생성한다.The
도 5a에 도시된 바와 같이, 단위 왜곡패턴(20a)의 정점들(PD1, PD2, PD3, PD4)과, 이와 대응되는 단위 대칭패턴(40a)의 정점들(PC1, PC2, PC3, PC4) 간의 중점들(PS1, PS2, PS3, PS4)을 추출한다. 즉, 단위 왜곡패턴(20a)의 정점들((PD1, PD2, PD3, PD4)과 단위 대칭패턴(40a)의 정점들(PC1, PC2, PC3, PC4) 중 평면좌표 상에서 서로 인접한 정점들 사이를 잇는 직선의 중점 좌표를 각각 추출한다.As shown in FIG. 5A, the vertices P D1 , P D2 , P D3 and P D4 of the
예를 들어, 정점 PD1과 정점 PC1 사이를 잇는 직선의 중점(PS1)를 추출할 수 있으며, 정점 PD2과 정점 PC2 사이를 잇는 직선의 중점(PS2)를 추출할 수 있으며, 정점 PD3과 정점 PC3 사이를 잇는 직선의 중점(PS3)를 추출할 수 있으며, 정점 PD4과 정점 PC4 사이를 잇는 직선의 중점(PS4)를 추출할 수 있다.For example, the midpoint (P S1 ) of a straight line between vertex P D1 and vertex P C1 may be extracted, and the midpoint (P S2 ) of a straight line between vertex P D2 and vertex P C2 may be extracted. The midpoint (P S3 ) of the straight line between vertex P D3 and vertex P C3 can be extracted, and the midpoint (P S4 ) of the straight line between vertex P D4 and vertex P C4 can be extracted.
다음, 도 5b에 도시된 바와 같이, 이러한 방법으로 추출된 중점(PS1, PS2, PS3, PS4)을 이용하여 단위 기준패턴의 형태를 결정한다. 그리고, 단위 원패턴의 정점(교차점)을 단위 기준패턴의 형태에 맞춰 필드 기반의 워핑(warping)을 수행하여 단위 기준패턴(50a)을 생성한다.
Next, as shown in FIG. 5B, the shape of the unit reference pattern is determined using the midpoints P S1 , P S2 , P S3 , and P S4 extracted in this manner. The
보상패턴 Compensation Pattern 생성부Generator (940)(940)
보상패턴 생성부(940)는 기준패턴 생성부(930)를 생성된 기준패턴을 이용하여 보상패턴을 생성한다.The
결과적으로, 기준패턴 생성부(930)를 통해 추출된 기준패턴의 정점들(PS1, PS2, PS3, PS4)을 수학식 3의 과정에서 원패턴의 정점 좌표(교차점 좌표) PO에 대입하여 연산하고, 항상 수학식 7의 관계를 만족하는 보상패턴을 생성하는 것이다.
As a result, the vertices Ps1 , P S2 , P S3 and P S4 of the reference pattern extracted by the
이하, 실시예에 따른 영상 왜곡 보정방법을 적용한 임의의 영사 면에 대하여 적응적으로 영상 왜곡을 보정하는 장치에 대하여 설명한다.Hereinafter, an apparatus for adaptively correcting image distortion with respect to an arbitrary projection surface to which the image distortion correction method according to the embodiment is applied will be described.
프로젝터의 일반적인 휴대환경에서는 영사 면의 형태가 크게 세 가지로 분류된다. 그 세가지 형태는 기울어진 평면, 꺾인 평면과, 곡면으로 나타난다. In the general portable environment of a projector, there are three types of projection screens. The three forms appear as inclined planes, bent planes, and curved surfaces.
기울어진 평면Inclined plane
도 6은 영사 면이 기울어진 평면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면이다.FIG. 6 is a diagram illustrating a method of generating a compensation pattern using the image distortion compensation method according to an exemplary embodiment when the projection plane is an inclined plane.
영사면의 형태가 기울어진 평면일 경우, 영사 면이 하나의 평면 상에서 나타나기 때문에, 왜곡패턴은 일정한 기울기를 갖는 4개의 직선으로 구성된다. 이는 도 6에 도시된 바와 같이, 하나의 사각형으로 나타나게 된다.When the shape of the projection surface is an inclined plane, since the projection surface appears on one plane, the distortion pattern is composed of four straight lines having a constant slope. This is represented by one rectangle, as shown in FIG.
따라서, 영사 면이 기울어진 평면인 경우에는, 왜곡패턴의 네 모서리 정점들로 형성된 사각형에 대하여 기준패턴 생성 과정을 수행하고, 생성한 기준패턴과 왜곡패턴의 교차점에 대해 수학식 8의 방법에 적용하고, 수학식 7의 관계를 만족하는 보상패턴을 형성한다.
Therefore, when the projection plane is an inclined plane, a reference pattern generation process is performed on a quadrangle formed by four corner vertices of the distortion pattern, and the method is applied to the method of Equation 8 on the intersection of the generated reference pattern and the distortion pattern. Then, a compensation pattern that satisfies the relationship of (7) is formed.
꺾인 평면A flat plane
도 7은 영사 면이 꺾인 면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면이다.7 is a diagram illustrating a method of generating a compensation pattern using the image distortion compensation method according to an exemplary embodiment when the projection surface is a bent surface.
영사 면의 형태가 꺾인 평면일 경우, 기울어진 평면과 유사하게 일정한 기울기의 직선들로 구성된 다각형 형태의 왜곡패턴이 나타나게 된다. 방향이 다른 두 평면으로 구성된 꺾인 평면은, 도 7에 도시된 바와 같이, 영사 면(plane 1, plane2)의 꺾임에 의해 나타나는 접힌 선을 기준으로 양 측에 두 종류의 사각형(20A, 20B)가 나타나게 된다. 이러한 경우, 각각의 사각형(20A, 20B)은 기울어진 평면에 대한 보정방법과 마찬가지로 기준패턴을 생성하는 과정을 수행한 후, 수학식 8의 방법에 적용하고, 수학식 7의 관계를 만족하는 보상패턴을 형성한다.
When the shape of the projection surface is a curved plane, a polygonal distortion pattern composed of straight lines having a constant slope similar to the inclined plane appears. As shown in FIG. 7, two types of
곡면Surface
도 8a 내지 도 8c는 영사 면이 곡면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면이다.8A to 8C are diagrams for describing a method of generating a compensation pattern using the image distortion compensation method according to the embodiment when the projection surface is a curved surface.
영사 면의 형태가 곡면일 경우, 기울어진 평면이나 꺾인 평면과는 다르게 왜곡패턴을 구성하는 모두 단위 패턴들에 대한 각각의 기준패턴을 생성해야 한다. 이는 도 8a 내지 도 8b에 도시된 바와 같이, 단위 왜곡패턴을 단위로 곡면을 평면으로 근사화 했을 때, 근사화된 각각의 평면들은 서로 다른 기하학적 형태 정보를 가지기 때문이다. 또한, 영사 면의 형태가 곡면이 경우에 있어서, 단위 기준패턴의 수평좌표를 결정할 때에는 단위 왜곡패턴의 너비와 단위 보상패턴의 너비는 하기의 수식에서 나타낸 관계를 만족해야 한다.When the projection surface is curved, it is necessary to generate respective reference patterns for all unit patterns constituting the distortion pattern, unlike the inclined plane or the inclined plane. This is because, as shown in FIGS. 8A to 8B, when the curved surface is approximated to the plane based on the unit distortion pattern, each of the approximated planes has different geometric shape information. In addition, in the case where the shape of the projection surface is curved, when determining the horizontal coordinate of the unit reference pattern, the width of the unit distortion pattern and the width of the unit compensation pattern should satisfy the relationship shown in the following formula.
수학식 10에서 lrn은 단위 왜곡패턴의 한 변에 대한 수평거리를 의미한다. lrn'은 단위 보상패턴의 한 변에 대한 수평거리를 의미한다. r은 평면좌표 상에서 단위 왜곡패턴 및 단위 보상패턴의 행(row)을 의미한다.In
다음, 결정된 수평좌표를 기준으로 단위 기준패턴의 수직좌표는 꺾인 평면의 보상방법과 동일한 방법으로 결정한다. 그러나, 기울어진 평면이나 꺾인 평면과는 다르게, 곡면의 보상패턴을 생성하는 방법에서는, 기준패턴 생성 과정에서 기준패턴과 보상패턴의 모든 정점(교차점) 좌표를 산출할 수 있기 때문에, 기준패턴에 대한 원패턴의 워핑 과정과 수학식 8의 과정을 수행하지 않아도 무방하다.Next, the vertical coordinate of the unit reference pattern is determined based on the determined horizontal coordinate in the same manner as the compensation method of the bent plane. However, unlike an inclined plane or an inclined plane, in the method of generating a curved compensation pattern, all vertex (intersection) coordinates of the reference pattern and the compensation pattern can be calculated during the reference pattern generation process. The warping of the original pattern and the process of Equation 8 may not be performed.
이와 같이, 실시예에 따른 영상 왜곡 보정장치는, 영사 면이 기울어진 평면, 꺾인 평면, 및 곡면 중 어느 형태를 가지더라도, 적응적으로 대응하여 보정할 수 있다.
As described above, the image distortion correction apparatus according to the embodiment may adaptively correct the image even when the projection surface has any of an inclined plane, an oblique plane, and a curved surface.
[실험 결과][Experiment result]
실시예에 따른 영상 왜곡 보정에 대하여 평면스크린이 설치되지 않은 영사환경에서 주로 나타날 수 있는 기울어진 평면, 꺾인 평면 및 곡면에 대해 왜곡이 없는 원패턴과 투사된 보상패턴 간의 오차량 측정, 보정 결과에 대한 사용자의 주관적 평가와, 영상의 해상도에 따른 자원의 사용량 측정으로 나누어 진행하였다. For image distortion correction according to the embodiment, the amount of error between the projected compensation pattern and the distortion-free compensation of the inclined plane, the curved plane, and the curved surface, which may appear mainly in a projection environment without a flat screen, and the correction result It was divided into subjective evaluation of users and measurement of resource usage according to image resolution.
실험결과에서 원패턴과 투사된 보상패턴 간에는 약 1% 내외의 오차량이 나타났으며, ITU Rec P.910 Pair Comparison권고사항을 기반으로 한 사용자의 주관적 평가에서는 평균 3.5점 이상의 점수를 획득하였다. In the experimental results, the error amount was about 1% between the original pattern and the projected compensation pattern. In the subjective evaluation based on the recommendation of ITU Rec P. 910 Pair Comparison, the average score was 3.5 points or more.
또한, 자원의 사용량 측정 실험에서는 휴대형 환경에서 비교적 해상도가 높은 1024x768영상에 대해 8Kbyte의 메모리를 사용하며 0.03초의 빠른 속도로 보정 영상을 생성하는 결과를 얻었다.
In addition, in the experiment of measuring resource usage, 8Kbyte of memory is used for 1024x768 images with a relatively high resolution in a portable environment, and a corrected image is generated at a high speed of 0.03 seconds.
이상에서 보는 바와 같이, 본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시 될 수 있다는 것을 이해할 수 있을 것이다. As described above, those skilled in the art to which the present invention pertains will understand that the present invention may be implemented in other specific forms without changing the technical spirit or essential features.
그러므로, 이상에서 기술한 실시 예는 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.Therefore, the embodiments described above are to be understood in all respects as illustrative and not restrictive, and the scope of the present invention is indicated by the following claims rather than the above description, and the meaning and scope of the claims And all changes or modifications derived from the equivalent concept should be interpreted as being included in the scope of the present invention.
Claims (10)
a. 영사 면에 영사된 영상을 촬영하고, 상기 촬영된 영상의 패턴과 영상에 대한 왜곡이 없는 원패턴을 비교하여 영상의 왜곡패턴에 대한 정보를 획득하는 단계;
b. 평면좌표 상에서 상기 왜곡패턴이 180도 회전된 형태를 갖는 대칭패턴을 생성하고, 평면좌표 상에서 상기 대칭패턴의 원점이 상기 왜곡패턴의 원점과 일치되도록 상기 대칭패턴을 이동시키는 단계;
c. 상기 왜곡패턴의 정점들과 상기 대칭패턴의 정점들 중 평면좌표 상에서 서로 인접한 정점들 사이를 잇는 직선의 중점 좌표를 각각 추출하고, 상기 추출된 중점들을 정점으로 하는 기준패턴을 생성하는 단계; 및
d. 상기 기준패턴을 이용하여 하기의 수식으로부터 보상패턴을 생성하는 단계를 포함하고,
PD는 상기 왜곡패턴의 정점 좌표를 나타내고, PO는 상기 기준패턴의 정점 좌표를 나타내고, x,y,z는 각각 공간좌표의 각 축을 나타내고, PC는 상기 보상패턴의 정점 좌표를 나타내고, 는 실수인 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정방법.
Method for correcting distortion of an image caused by the geometry of the projection surface,
a. Photographing the projected image on the projection surface, and comparing the pattern of the photographed image with the original pattern without distortion of the image to obtain information on the distortion pattern of the image;
b. Generating a symmetric pattern having a form in which the distortion pattern is rotated by 180 degrees on plane coordinates, and moving the symmetry pattern such that the origin of the symmetry pattern coincides with the origin of the distortion pattern on plane coordinates;
c. Extracting midpoint coordinates of a straight line between vertices of the distortion pattern and vertices of the symmetric pattern, which are adjacent to each other on plane coordinates, and generating a reference pattern including the extracted midpoints as vertices; And
d. Generating a compensation pattern from the following equation by using the reference pattern;
P D represents the vertex coordinates of the distortion pattern, P O represents the vertex coordinates of the reference pattern, x, y, z represents each axis of the spatial coordinates, P C represents the vertex coordinates of the compensation pattern, The image distortion correction method for the projection surface, characterized in that the real number.
상기 원패턴, 상기 왜곡패턴, 상기 대칭패턴, 상기 기준패턴, 및 상기 보상패턴은 격자형 패턴이고,
상기 원패턴은 직사각형의 단위 원패턴을 복수 개 포함하고,
상기 왜곡패턴은 사각형의 단위 왜곡패턴을 복수 개 포함하고,
상기 대칭패턴은 사각형의 단위 대칭패턴을 복수 개 포함하고,
상기 기준패턴은 직사각형의 단위 기준패턴을 복수 개 포함하고,
상기 보상패턴은 사각형의 단위 보상패턴을 복수 개 포함하는 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정방법.
The method of claim 1,
The original pattern, the distortion pattern, the symmetry pattern, the reference pattern, and the compensation pattern are lattice patterns,
The circle pattern includes a plurality of rectangular unit circle patterns,
The distortion pattern includes a plurality of rectangular unit distortion patterns,
The symmetric pattern includes a plurality of rectangular unit symmetric patterns,
The reference pattern includes a plurality of rectangular unit reference patterns,
The compensation pattern comprises a plurality of rectangular compensation pattern, the image distortion correction method for the projection surface.
상기 d 단계에서는 하기의 수식을 만족하는 보상패턴을 생성하고,
는 와 가 이루는 각을 나타내고, 는 와 가 이루는 각을 나타내고, 은 상기 단위 원패턴의 한 변에 대한 벡터를 나타내고, 는 상기 단위 왜곡패턴의 한 변에 대한 벡터를 나타내고, 는 상기 단위 보상패턴의 한 변에 대한 벡터를 나타내는 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정방법.
The method of claim 2,
In step d, a compensation pattern satisfying the following equation is generated.
Is Wow Represents the angle formed by Is Wow Represents the angle formed by Represents a vector of one side of the unit circle pattern, Denotes a vector for one side of the unit distortion pattern, Is a vector of one side of the unit compensation pattern, characterized in that the image distortion correction method for the projection surface.
상기 b 단계는,
b-1. 상기 왜곡패턴을 평면좌표 상에 이동시키고, 상기 단위 왜곡패턴의 윗변을 구성하는 두 정점의 x축 좌표와 상기 단위 왜곡패턴의 밑변을 구성하는 두 정점의 x축 좌표를 교환하여 상기 대칭패턴의 수평좌표를 결정하는 단계;
b-2. 상기 단위 왜곡패턴의 각 변을 구성하는 두 정점이 이루는 직선과 기울기의 절대치는 같고 방향이 반대인 직선을 생성하고, 생성된 직선에 기초하여 상기 수평좌표가 결정된 대칭패턴의 정점들을 이동시켜 상기 대칭패턴의 수직좌표를 결정하는 단계; 및
b-3. 상기 대칭패턴의 최하단 수직좌표를 상기 왜곡패턴의 최하단 수직좌표에 맞도록 상기 대칭패턴을 이동시키는 단계를 포함하고,
상기 대칭패턴의 수직좌표는 하기의 수식에 따라 결정하고,
mCn은 PDn와 PDn +1을 잇는 직선의 기울기와 절대치가 같고, 방향이 반대인 직선의 기울기를 나타내는 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정방법.
The method of claim 2,
Step b,
b-1. The distortion pattern is moved on a plane coordinate, and the x-axis coordinates of two vertices constituting the upper side of the unit distortion pattern and the x-axis coordinates of the two vertices constituting the lower side of the unit distortion pattern are exchanged so that the symmetry pattern is horizontal. Determining coordinates;
b-2. An absolute value of a straight line and an inclination of two vertices constituting each side of the unit distortion pattern are generated with straight lines having the same and opposite directions. Determining a vertical coordinate of the pattern; And
b-3. Moving the symmetric pattern so that the lowest vertical coordinate of the symmetric pattern is aligned with the lowest vertical coordinate of the distortion pattern,
The vertical coordinate of the symmetric pattern is determined according to the following formula,
m Cn is the same as the slope of the straight line connecting P Dn and P Dn +1 , the slope of the straight line in the opposite direction, characterized in that the image distortion correction method for the projection surface.
영사 면은 기울어진 평면, 꺾인 평면, 및 곡면 중 어느 하나의 면을 갖고,
영사 면이 기울어진 평면인 경우, 상기 기울어진 평면에 상기 보상패턴을 생성하는 방법을 통하여 보정하고,
영사 면이 꺾인 평면인 경우, 영사 면의 꺾임에 의해 나타나는 접힌 선을 기준으로 영사 면의 양 측면을 각각 상기 기울어진 평면에 대한 보정방법을 통해 보정하고,
영사 면이 곡면인 경우, 단위 왜곡패턴 별로 상기 기울어진 평면에 대한 보정방법을 보정하되, 단위 대칭패턴의 수평좌표를 결정할 경우 단위 왜곡패턴의 너비와 보상패턴의 너비는 하기의 수식관계를 만족하고,
lrn은 단위 왜곡패턴의 한 변에 대한 수평거리를 나타내고, lrn'은 단위 보상패턴의 한 변에 대한 수평거리를 나타내고, r은 평면좌표 상에서 단위 왜곡패턴 및 단위 보상패턴의 행(row)을 나타내는 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정방법.
A method for adaptively correcting image distortion with respect to a projection surface by using the method according to any one of claims 1 to 4,
The projection face has any one of an inclined plane, an oblique plane, and a curved surface,
If the projection surface is an inclined plane, the correction is made through a method of generating the compensation pattern in the inclined plane,
If the projection plane is a bent plane, both sides of the projection plane are corrected through a correction method for the inclined plane, respectively, based on the folded line indicated by the projection plane's bend,
When the projection surface is curved, the correction method for the inclined plane is corrected for each unit distortion pattern. When determining the horizontal coordinate of the unit symmetry pattern, the width of the unit distortion pattern and the width of the compensation pattern satisfy the following equation. ,
l rn represents the horizontal distance of one side of the unit distortion pattern, l rn 'represents the horizontal distance of one side of the unit compensation pattern, r is a row of the unit distortion pattern and the unit compensation pattern on the plane coordinates The image distortion correction method for the projection surface, characterized in that for showing.
영사 면에 영사된 영상을 촬영하고, 상기 촬영된 영상의 패턴과 영상에 대한 왜곡이 없는 원패턴을 비교하여 영상의 왜곡패턴에 대한 정보를 획득하는 왜곡패턴 정보 획득부;
평면좌표 상에서 상기 왜곡패턴이 180도 회전된 형태를 갖는 대칭패턴을 생성하고, 평면좌표 상에서 상기 대칭패턴의 원점이 상기 왜곡패턴의 원점과 일치되도록 상기 대칭패턴을 이동시키는 대칭패턴 생성부;
상기 왜곡패턴의 정점들과 상기 대칭패턴의 정점들 중 평면좌표 상에서 서로 인접한 정점들 사이를 잇는 직선의 중점 좌표를 각각 추출하고, 상기 추출된 중점들을 정점으로 하는 기준패턴을 생성하는 기준패턴 생성부; 및
상기 기준패턴을 이용하여 하기의 수식으로부터 보상패턴을 생성하는 보상패턴 생성부를 포함하고,
PD는 상기 왜곡패턴의 정점 좌표를 나타내고, PO는 상기 기준패턴의 정점 좌표를 나타내고, x,y,z는 각각 공간좌표의 각 축을 나타내고, PC는 상기 보상패턴의 정점 좌표를 나타내고, 는 실수인 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정장치.
A device for correcting distortion of an image caused by the geometry of the projection surface,
A distortion pattern information acquisition unit for photographing an image projected on a projection surface and obtaining information on a distortion pattern of an image by comparing the pattern of the photographed image with an original pattern without distortion of the image;
A symmetric pattern generation unit generating a symmetric pattern having a form in which the distortion pattern is rotated 180 degrees on a plane coordinate, and moving the symmetry pattern such that an origin of the symmetry pattern coincides with an origin of the distortion pattern on a plane coordinate;
A reference pattern generation unit for extracting midpoint coordinates of straight lines connecting adjacent vertices on plane coordinates among vertices of the distortion pattern and the symmetry pattern, and generating a reference pattern including the extracted midpoints as vertices ; And
Comprising a compensation pattern generation unit for generating a compensation pattern from the following equation by using the reference pattern,
P D represents the vertex coordinates of the distortion pattern, P O represents the vertex coordinates of the reference pattern, x, y, z represents each axis of the spatial coordinates, P C represents the vertex coordinates of the compensation pattern, Is a real number, the image distortion correction apparatus for the projection surface.
상기 원패턴, 상기 왜곡패턴, 상기 대칭패턴, 상기 기준패턴, 및 상기 보상패턴은 격자패턴이고,
상기 원패턴은 직사각형의 단위 원패턴을 복수 개 포함하고,
상기 왜곡패턴은 사각형의 단위 왜곡패턴을 복수 개 포함하고,
상기 대칭패턴은 사각형의 단위 대칭패턴을 복수 개 포함하고,
상기 기준패턴은 직사각형의 단위 기준패턴을 복수 개 포함하고,
상기 보상패턴은 사각형의 단위 보상패턴을 복수 개 포함하는 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정장치.
The method of claim 6,
The original pattern, the distortion pattern, the symmetry pattern, the reference pattern, and the compensation pattern are lattice patterns,
The circle pattern includes a plurality of rectangular unit circle patterns,
The distortion pattern includes a plurality of rectangular unit distortion patterns,
The symmetric pattern includes a plurality of rectangular unit symmetric patterns,
The reference pattern includes a plurality of rectangular unit reference patterns,
And the compensation pattern includes a plurality of square unit compensation patterns.
상기 보상패턴 생성부는 하기의 수식을 만족하는 보상패턴을 생성하고,
는 와 가 이루는 각을 나타내고, 는 와 가 이루는 각을 나타내고, 은 상기 단위 원패턴의 한 변에 대한 벡터를 나타내고, 는 상기 단위 왜곡패턴의 한 변에 대한 벡터를 나타내고, 는 상기 단위 보상패턴의 한 변에 대한 벡터를 나타내는 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정장치.
The method of claim 7, wherein
The compensation pattern generator generates a compensation pattern that satisfies the following equation,
Is Wow Represents the angle formed by Is Wow Represents the angle formed by Represents a vector of one side of the unit circle pattern, Denotes a vector for one side of the unit distortion pattern, Is a vector for one side of the unit compensation pattern, characterized in that the image distortion correction apparatus for the projection surface.
상기 대칭패턴 생성부는,
상기 왜곡패턴을 평면좌표 상에 이동시키고, 상기 단위 왜곡패턴의 윗변을 구성하는 두 정점의 x축 좌표와 상기 단위 왜곡패턴의 밑변을 구성하는 두 정점의 x축 좌표를 교환하여 상기 대칭패턴의 수평좌표를 결정하고,
상기 단위 왜곡패턴의 각 변을 구성하는 두 정점이 이루는 직선과 기울기의 절대치는 같고 방향이 반대인 직선을 생성하고, 생성된 직선에 기초하여 상기 수평좌표가 결정된 대칭패턴의 정점들을 이동시켜 상기 대칭패턴의 수직좌표를 결정하고,
상기 대칭패턴의 최하단 수직좌표를 상기 왜곡패턴의 최하단 수직좌표에 맞도록 상기 대칭패턴을 이동시키고,
상기 대칭패턴의 수직좌표를 하기의 수식에 따라 결정하고,
mCn은 PDn와 PDn +1을 잇는 직선의 기울기와 절대치가 같고, 방향이 반대인 직선의 기울기를 나타내는 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정장치.
The method of claim 7, wherein
The symmetric pattern generation unit,
The distortion pattern is moved on a plane coordinate, and the x-axis coordinates of two vertices constituting the upper side of the unit distortion pattern and the x-axis coordinates of the two vertices constituting the lower side of the unit distortion pattern are exchanged so that the symmetry pattern is horizontal. Determine the coordinates,
An absolute value of a straight line and an inclination of two vertices constituting each side of the unit distortion pattern are generated with straight lines having the same and opposite directions. Determine the vertical coordinates of the pattern,
The symmetric pattern is moved to match the lowest vertical coordinate of the symmetric pattern to the lowest vertical coordinate of the distortion pattern.
Determine the vertical coordinate of the symmetric pattern according to the following formula,
m Cn is the same as the slope of the straight line connecting P Dn and P Dn +1 , the slope of the straight line in the opposite direction, characterized in that the image distortion correction device for the projection surface.
영사 면은 기울어진 평면, 꺾인 평면, 및 곡면 중 어느 하나의 면을 갖고,
영사 면이 기울어진 평면인 경우, 상기 기울어진 평면에 상기 보상패턴을 생성하는 방법을 통하여 보정하고,
영사 면이 꺾인 평면인 경우, 영사 면의 꺾임에 의해 나타나는 접힌 선을 기준으로 영사 면의 양 측면을 각각 상기 기울어진 평면에 대한 보정방법을 통해 보정하고,
영사 면이 곡면인 경우, 단위 왜곡패턴 별로 상기 기울어진 평면에 대한 보정방법을 보정하되, 단위 대칭패턴의 수평좌표를 결정할 경우 단위 왜곡패턴의 너비와 보상패턴의 너비는 하기의 수식관계를 만족하고,
lrn은 단위 왜곡패턴의 한 변에 대한 수평거리를 나타내고, lrn'은 단위 보상패턴의 한 변에 대한 수평거리를 나타내고, r은 평면좌표 상에서 단위 왜곡패턴 및 단위 보상패턴의 행(row)을 나타내는 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정장치.An apparatus for adaptively correcting image distortion on a projection surface by using the apparatus according to any one of claims 6 to 9,
The projection face has any one of an inclined plane, an oblique plane, and a curved surface,
If the projection surface is an inclined plane, the correction is made through a method of generating the compensation pattern in the inclined plane,
If the projection plane is a bent plane, both sides of the projection plane are corrected through a correction method for the inclined plane, respectively, based on the folded line indicated by the projection plane's bend,
When the projection surface is curved, the correction method for the inclined plane is corrected for each unit distortion pattern. When determining the horizontal coordinate of the unit symmetry pattern, the width of the unit distortion pattern and the width of the compensation pattern satisfy the following equation. ,
l rn represents the horizontal distance of one side of the unit distortion pattern, l rn 'represents the horizontal distance of one side of the unit compensation pattern, r is a row of the unit distortion pattern and the unit compensation pattern on the plane coordinates Image distortion correction apparatus for the projection surface, characterized in that for indicating.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100038367A KR101139101B1 (en) | 2010-04-26 | 2010-04-26 | Method for calibrating image distortion and apparatus thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020100038367A KR101139101B1 (en) | 2010-04-26 | 2010-04-26 | Method for calibrating image distortion and apparatus thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20110118947A true KR20110118947A (en) | 2011-11-02 |
KR101139101B1 KR101139101B1 (en) | 2012-04-30 |
Family
ID=45390586
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020100038367A KR101139101B1 (en) | 2010-04-26 | 2010-04-26 | Method for calibrating image distortion and apparatus thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR101139101B1 (en) |
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101589167B1 (en) | 2015-02-09 | 2016-01-27 | 동의대학교 산학협력단 | System and Method for Correcting Perspective Distortion Image Using Depth Information |
KR20180117695A (en) * | 2016-03-10 | 2018-10-29 | 넷플릭스, 인크. | Perspective correction for curved display screens |
WO2023249275A1 (en) * | 2022-06-23 | 2023-12-28 | 삼성전자주식회사 | Electronic device for projecting image onto screen including plurality of surfaces, and control method |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2017526556A (en) | 2014-08-01 | 2017-09-14 | コーニング インコーポレイテッド | Screen printing apparatus and method |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101428064B1 (en) * | 2008-02-22 | 2014-08-07 | 엘지전자 주식회사 | Image distortion compensation apparatus and method |
-
2010
- 2010-04-26 KR KR1020100038367A patent/KR101139101B1/en not_active IP Right Cessation
Cited By (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101589167B1 (en) | 2015-02-09 | 2016-01-27 | 동의대학교 산학협력단 | System and Method for Correcting Perspective Distortion Image Using Depth Information |
KR20180117695A (en) * | 2016-03-10 | 2018-10-29 | 넷플릭스, 인크. | Perspective correction for curved display screens |
WO2023249275A1 (en) * | 2022-06-23 | 2023-12-28 | 삼성전자주식회사 | Electronic device for projecting image onto screen including plurality of surfaces, and control method |
Also Published As
Publication number | Publication date |
---|---|
KR101139101B1 (en) | 2012-04-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6859442B2 (en) | Calibration equipment, calibration system, and calibration method | |
JP6764533B2 (en) | Calibration device, chart for calibration, chart pattern generator, and calibration method | |
JP6102088B2 (en) | Image projection device, image processing device, image projection method, program for image projection method, and recording medium recording the program | |
US8265374B2 (en) | Image processing apparatus, image processing method, and program and recording medium used therewith | |
US8328365B2 (en) | Mesh for mapping domains based on regularized fiducial marks | |
KR101693733B1 (en) | Method and device for generating a calibrated projection | |
CN105247342B (en) | For determining the method and apparatus of particle size | |
CN100377171C (en) | Method and apparatus for generating deteriorated numeral image | |
US9886759B2 (en) | Method and system for three-dimensional data acquisition | |
JP6344050B2 (en) | Image processing system, image processing apparatus, and program | |
KR102160839B1 (en) | Muti-projection system and method for projector calibration thereof | |
US8491128B2 (en) | System and method for projection correction by capturing projection image | |
TWI622960B (en) | Calibration method of depth image acquiring device | |
JP2014131257A (en) | Image correction system, image correction method, and program | |
JP5331047B2 (en) | Imaging parameter determination method, imaging parameter determination device, imaging parameter determination program | |
CN111586384B (en) | Projection image geometric correction method based on Bessel curved surface | |
JP2011118553A (en) | Image processing apparatus, image processing method and computer program | |
CN104111038A (en) | Method for using phase fusion algorithm to repair phase error caused by saturation | |
JP2005326247A (en) | Calibrator, calibration method, and calibration program | |
KR101139101B1 (en) | Method for calibrating image distortion and apparatus thereof | |
JP4965967B2 (en) | Image display system adjustment system | |
KR101854612B1 (en) | Apparatus and Method for Exemplar-Based Image Inpainting for Spherical Panoramic Image | |
JP2010186265A (en) | Camera calibration device, camera calibration method, camera calibration program, and recording medium with the program recorded threin | |
JP2011155412A (en) | Projection system and distortion correction method in the same | |
JP5235842B2 (en) | Optical system parameter calibration apparatus, optical system parameter calibration method, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20150312 Year of fee payment: 4 |
|
FPAY | Annual fee payment |
Payment date: 20160404 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |