KR101139101B1 - 영상 왜곡 보정방법 및 영상 왜곡 보정장치 - Google Patents

영상 왜곡 보정방법 및 영상 왜곡 보정장치 Download PDF

Info

Publication number
KR101139101B1
KR101139101B1 KR1020100038367A KR20100038367A KR101139101B1 KR 101139101 B1 KR101139101 B1 KR 101139101B1 KR 1020100038367 A KR1020100038367 A KR 1020100038367A KR 20100038367 A KR20100038367 A KR 20100038367A KR 101139101 B1 KR101139101 B1 KR 101139101B1
Authority
KR
South Korea
Prior art keywords
pattern
distortion
unit
coordinates
compensation
Prior art date
Application number
KR1020100038367A
Other languages
English (en)
Other versions
KR20110118947A (ko
Inventor
조진수
김경재
신강철
원종길
정정일
Original Assignee
가천대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 가천대학교 산학협력단 filed Critical 가천대학교 산학협력단
Priority to KR1020100038367A priority Critical patent/KR101139101B1/ko
Publication of KR20110118947A publication Critical patent/KR20110118947A/ko
Application granted granted Critical
Publication of KR101139101B1 publication Critical patent/KR101139101B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor
    • H04N9/3185—Geometric adjustment, e.g. keystone or convergence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3173—Constructional details thereof wherein the projection device is specially adapted for enhanced portability

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Projection Apparatus (AREA)

Abstract

실시예는 영상 왜곡 보정방법에 관한 것이다.
실시예에 따른 영상 왜곡 보정방법은, 영사 면에 영사된 영상을 촬영하고, 촬영된 영상의 패턴과 영상에 대한 왜곡이 없는 원패턴을 비교하여 영상의 왜곡패턴에 대한 정보를 획득하는 단계, 평면좌표 상에서 왜곡패턴이 180도 회전된 형태를 갖는 대칭패턴을 생성하고, 평면좌표 상에서 대칭패턴의 원점이 왜곡패턴의 원점과 일치되도록 대칭패턴을 이동시키는 단계, 왜곡패턴의 정점들과 대칭패턴의 정점들 중 평면좌표 상에서 서로 인접한 정점들 사이를 잇는 직선의 중점 좌표를 각각 추출하고, 추출된 중점들을 정점으로 하는 기준패턴을 생성하는 단계, 및 기준패턴을 이용하여 보상패턴을 생성하는 단계를 포함한다.

Description

영상 왜곡 보정방법 및 영상 왜곡 보정장치{METHOD FOR CALIBRATING IMAGE DISTORTION AND APPARATUS THEREOF}
실시예는 영상 왜곡 보정방법 및 영상 왜곡 보정장치에 관한 것이다.
최근 휴대형 멀티미디어 기기들이 발전함에 따라 휴대 환경에 적응적으로 대형화면을 구현할 수 있는 휴대형 프로젝터에 관한 많은 연구가 진행 중이다.
휴대형 프로젝터는 스크린이 설치되어 있는 환경에 비해 상대적으로 협소한 장소에서 스크린을 대체 할 수 있는 면을 이용하여 대형화면을 구현한다. 그러나, 일반적으로 협소한 장소에서는 대형화면을 구현할만한 영사 면이 적절치 않아, 영상의 일부가 특정 사물에 영사되어 휘거나, 찌그러지는 기하학적 왜곡이 발생한다.
이러한 영사 면의 기하학적 구조에서 발생하는 영상의 왜곡을 보정하기 위하여, 종래에는 레이저 장치와 같은 거리측정기기나 3차원 복원(3D Reconstruction) 기법을 이용하여 영사 면을 3D 모델링 한 후, 이를 기반으로 영상의 기하학적 왜곡을 보정하고자 하였다.
그러나 영상의 왜곡을 보정하기 위하여, 거리측정 기기와 같은 부가적인 장비들이나 연산량이 높은 3차원 복원(3D Reconstruction) 기법을 이용하는 것은 휴대형 프로젝터의 휴대성과 그 성능에 제약을 주기 때문에 적합하지 않다.
실시예는, 휴대형 프로젝터에 적합한 기하학적 영상보정을 위하여, 기존의 3D 모델링 방법들이 아닌 영상처리만으로 영사 면에 의해 발생한 영상의 기하학적 왜곡을 보정할 수 있는 방법과 그에 따른 장치를 제공함에 목적이 있다.
청구항 1에 따른 영상 왜곡 보정방법은, 영사 면의 기하학적 형태에 의해 발생하는 영상의 왜곡을 보정하기 위한 방법으로서, a. 영사 면에 영사된 영상을 촬영하고, 촬영된 영상의 패턴과 영상에 대한 왜곡이 없는 원패턴을 비교하여 영상의 왜곡패턴에 대한 정보를 획득하는 단계, b. 평면좌표 상에서 왜곡패턴이 180도 회전된 형태를 갖는 대칭패턴을 생성하고, 평면좌표 상에서 대칭패턴의 원점이 왜곡패턴의 원점과 일치되도록 대칭패턴을 이동시키는 단계, c. 왜곡패턴의 정점들과 대칭패턴의 정점들 중 평면좌표 상에서 서로 인접한 정점들 사이를 잇는 직선의 중점 좌표를 각각 추출하고, 추출된 중점들을 정점으로 하는 기준패턴을 생성하는 단계, 및 d. 기준패턴을 이용하여 하기의 수식으로부터 보상패턴을 생성하는 단계를 포함하고,
Figure 112010026662513-pat00001
PD는 왜곡패턴의 정점 좌표를 나타내고, PO는 기준패턴의 정점 좌표를 나타내고, x,y,z는 각각 공간좌표의 각 축을 나타내고, PC는 보상패턴의 정점 좌표를 나타내고,
Figure 112010026662513-pat00002
는 실수인 것을 특징으로 한다.
청구항 2에 따른 원패턴, 왜곡패턴, 대칭패턴, 기준패턴, 및 보상패턴은 격자형 패턴이고,
원패턴은 직사각형의 단위 원패턴을 복수 개 포함하고,
왜곡패턴은 사각형의 단위 왜곡패턴을 복수 개 포함하고,
대칭패턴은 사각형의 단위 대칭패턴을 복수 개 포함하고,
기준패턴은 직사각형의 단위 기준패턴을 복수 개 포함하고,
보상패턴은 사각형의 단위 보상패턴을 복수 개 포함하는 것을 특징으로 한다.
청구항 3에 따른 d 단계에서는 하기의 수식을 만족하는 보상패턴을 생성하고,
Figure 112010026662513-pat00003
Figure 112010026662513-pat00004
는
Figure 112010026662513-pat00005
와
Figure 112010026662513-pat00006
가 이루는 각을 나타내고,
Figure 112010026662513-pat00007
는
Figure 112010026662513-pat00008
와
Figure 112010026662513-pat00009
가 이루는 각을 나타내고,
Figure 112010026662513-pat00010
은 단위 원패턴의 한 변에 대한 벡터를 나타내고,
Figure 112010026662513-pat00011
는 단위 왜곡패턴의 한 변에 대한 벡터를 나타내고,
Figure 112010026662513-pat00012
는 단위 보상패턴의 한 변에 대한 벡터를 나타내는 것을 특징으로 한다.
청구항 4에 따른 b 단계는,
b-1. 왜곡패턴을 평면좌표 상에 이동시키고, 단위 왜곡패턴의 윗변을 구성하는 두 정점의 x축 좌표와 단위 왜곡패턴의 밑변을 구성하는 두 정점의 x축 좌표를 교환하여 대칭패턴의 수평좌표를 결정하는 단계, b-2. 단위 왜곡패턴의 각 변을 구성하는 두 정점이 이루는 직선과 기울기의 절대치는 같고 방향이 반대인 직선을 생성하고, 생성된 직선에 기초하여 수평좌표가 결정된 대칭패턴의 정점들을 이동시켜 대칭패턴의 수직좌표를 결정하는 단계, 및b-3. 대칭패턴의 최하단 수직좌표를 왜곡패턴의 최하단 수직좌표에 맞도록 대칭패턴을 이동시키는 단계를 포함하고,
대칭패턴의 수직좌표는 하기의 수식에 따라 결정하고,
Figure 112010026662513-pat00013
mCn은 PDn와 PDn +1을 잇는 직선의 기울기와 절대치가 같고, 방향이 반대인 직선의 기울기를 나타내는 것을 특징으로 한다.
청구항 5에 따른 영상 왜곡 보정방법은, 청구항 1 내지 4 중 어느 한 항에 따른 방법을 이용하여 영사 면에 대한 영상 왜곡을 적응적으로 보정하는 방법으로서, 영사 면은 기울어진 평면, 꺾인 평면, 및 곡면 중 어느 하나의 면을 갖고, 영사 면이 기울어진 평면인 경우, 기울어진 평면에 보상패턴을 생성하는 방법을 통하여 보정하고, 영사 면이 꺾인 평면인 경우, 영사 면의 꺾임에 의해 나타나는 접힌 선을 기준으로 영사 면의 양 측면을 각각 기울어진 평면에 대한 보정방법을 통해 보정하고, 영사 면이 곡면인 경우, 단위 왜곡패턴 별로 기울어진 평면에 대한 보정방법을 보정하되, 단위 대칭패턴의 수평좌표를 결정할 경우 단위 왜곡패턴의 너비와 보상패턴의 너비는 하기의 수식관계를 만족하고,
Figure 112010026662513-pat00014
lrn은 단위 왜곡패턴의 한 변에 대한 수평거리를 나타내고, lrn'은 단위 보상패턴의 한 변에 대한 수평거리를 나타내고, r은 평면좌표 상에서 단위 왜곡패턴 및 단위 보상패턴의 행(row)을 나타내는 것을 특징으로 한다.
청구항 6에 따른 영상 왜곡 보정장치는, 영사 면의 기하학적 형태에 의해 발생하는 영상의 왜곡을 보정하기 위한 장치로서, 영사 면에 영사된 영상을 촬영하고, 촬영된 영상의 패턴과 영상에 대한 왜곡이 없는 원패턴을 비교하여 영상의 왜곡패턴에 대한 정보를 획득하는 왜곡패턴 정보 획득부, 평면좌표 상에서 왜곡패턴이 180도 회전된 형태를 갖는 대칭패턴을 생성하고, 평면좌표 상에서 대칭패턴의 원점이 왜곡패턴의 원점과 일치되도록 대칭패턴을 이동시키는 대칭패턴 생성부, 왜곡패턴의 정점들과 대칭패턴의 정점들 중 평면좌표 상에서 서로 인접한 정점들 사이를 잇는 직선의 중점 좌표를 각각 추출하고, 추출된 중점들을 정점으로 하는 기준패턴을 생성하는 기준패턴 생성부, 및 기준패턴을 이용하여 하기의 수식으로부터 보상패턴을 생성하는 보상패턴 생성부를 포함하고,
Figure 112010026662513-pat00015
PD는 왜곡패턴의 정점 좌표를 나타내고, PO는 기준패턴의 정점 좌표를 나타내고, x,y,z는 각각 공간좌표의 각 축을 나타내고, PC는 보상패턴의 정점 좌표를 나타내고,
Figure 112010026662513-pat00016
는 실수인 것을 특징으로 한다.
청구항 7에 따른 원패턴, 왜곡패턴, 대칭패턴, 기준패턴, 및 보상패턴은 격자형 패턴이고,
원패턴은 직사각형의 단위 원패턴을 복수 개 포함하고,
왜곡패턴은 사각형의 단위 왜곡패턴을 복수 개 포함하고,
대칭패턴은 사각형의 단위 대칭패턴을 복수 개 포함하고,
기준패턴은 직사각형의 단위 기준패턴을 복수 개 포함하고,
보상패턴은 사각형의 단위 보상패턴을 복수 개 포함하는 것을 특징으로 한다.
청구항 8에 따른 보상패턴 생성부는 하기의 수식을 만족하는 보상패턴을 생성하고,
Figure 112010026662513-pat00017
Figure 112010026662513-pat00018
는
Figure 112010026662513-pat00019
와
Figure 112010026662513-pat00020
가 이루는 각을 나타내고,
Figure 112010026662513-pat00021
는
Figure 112010026662513-pat00022
와
Figure 112010026662513-pat00023
가 이루는 각을 나타내고,
Figure 112010026662513-pat00024
은 단위 원패턴의 한 변에 대한 벡터를 나타내고,
Figure 112010026662513-pat00025
는 단위 왜곡패턴의 한 변에 대한 벡터를 나타내고,
Figure 112010026662513-pat00026
는 단위 보상패턴의 한 변에 대한 벡터를 나타내는 것을 특징으로 한다.
청구항 9에 따른 대칭패턴 생성부는,
왜곡패턴을 평면좌표 상에 이동시키고, 단위 왜곡패턴의 윗변을 구성하는 두 정점의 x축 좌표와 단위 왜곡패턴의 밑변을 구성하는 두 정점의 x축 좌표를 교환하여 대칭패턴의 수평좌표를 결정하고,
단위 왜곡패턴의 각 변을 구성하는 두 정점이 이루는 직선과 기울기의 절대치는 같고 방향이 반대인 직선을 생성하고, 생성된 직선에 기초하여 수평좌표가 결정된 대칭패턴의 정점들을 이동시켜 대칭패턴의 수직좌표를 결정하고,
대칭패턴의 최하단 수직좌표를 왜곡패턴의 최하단 수직좌표에 맞도록 대칭패턴을 이동시키고,
대칭패턴의 수직좌표를 하기의 수식에 따라 결정하고,
Figure 112010026662513-pat00027
mCn은 PDn와 PDn +1을 잇는 직선의 기울기와 절대치가 같고, 방향이 반대인 직선의 기울기를 나타내는 것을 특징으로 한다.
청구항 10에 따른 제6항 내지 제9항 중 어느 한 항에 따른 장치를 이용하여 영사 면에 대한 영상 왜곡을 적응적으로 보정하기 위한 장치로서, 영사 면은 기울어진 평면, 꺾인 평면, 및 곡면 중 어느 하나의 면을 갖고, 영사 면이 기울어진 평면인 경우, 기울어진 평면에 보상패턴을 생성하는 방법을 통하여 보정하고, 영사 면이 꺾인 평면인 경우, 영사 면의 꺾임에 의해 나타나는 접힌 선을 기준으로 영사 면의 양 측면을 각각 기울어진 평면에 대한 보정방법을 통해 보정하고, 영사 면이 곡면인 경우, 단위 왜곡패턴 별로 기울어진 평면에 대한 보정방법을 보정하되, 단위 대칭패턴의 수평좌표를 결정할 경우 단위 왜곡패턴의 너비와 보상패턴의 너비는 하기의 수식관계를 만족하고,
Figure 112010026662513-pat00028
lrn은 단위 왜곡패턴의 한 변에 대한 수평거리를 나타내고, lrn'은 단위 보상패턴의 한 변에 대한 수평거리를 나타내고, r은 평면좌표 상에서 단위 왜곡패턴 및 단위 보상패턴의 행(row)을 나타내는 것을 특징으로 한다.
실시예에 따르면, 휴대형 프로젝터에 적합한 기하학적 영상보정을 위해, 영상처리만으로 영사 면에 의해 발생한 영상의 기하학적 왜곡을 보정할 수 있는 방법과 그에 따른 장치를 제공할 수 있다.
도 1은 실시예에 따른 영상 왜곡 보정방법을 설명하기 위해 나타낸 흐름도.
도 2a는 스크린에 영사된 영상의 원패턴을 나타낸 도면.
도 2b는 비평면에 영사된 영상의 왜곡패턴을 나타낸 도면.
도 3a는 원패턴과 왜곡패턴을 평면좌표 상에 나타낸 도면.
도 3b는 왜곡패턴, 원패턴, 및 보상패턴을 공간좌표 상에서 나타낸 도면.
도 4a 내지 도 4d는 실시예에 따른 대칭패턴을 생성하는 방법을 나타낸 도면.
도 5a 내지 도 5b는 실시예에 따른 기준패턴을 생성하는 방법을 나타낸 도면.
도 6은 영사 면이 기울어진 평면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면.
도 7은 영사 면이 꺾인 면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면.
도 8a 내지 도 8c는 영사 면이 곡면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면.
도 9는 실시예에 따른 영상 왜곡 보상장치의 구성을 개략적으로 나타낸 블록도.
이하 실시예에 대하여 첨부한 도면을 참조하여 상세하게 설명하기로 한다. 단, 첨부된 도면은 실시예의 내용을 보다 쉽게 개시하기 위하여 설명되는 것일 뿐, 본 발명의 범위가 첨부된 도면의 범위로 한정되는 것이 아님은 이 기술분야의 통상의 지식을 가진 자라면 용이하게 알 수 있을 것이다.
실시예에서는, 영사 면의 기하학적 형태에 의해 발생하는 영상의 왜곡을 보정하기 위하여, 프로젝터와 카메라, 그리고 스크린 간의 관계를 고려하여 왜곡패턴을 캡쳐하고, 캡쳐한 왜곡패턴에서 기울기와 곡률과 같은 영사 면의 기하학적 형태 정보를 추출한다. 그리고, 추출한 영사 면의 형태 정보를 기반으로 영사 면에 투사된 영상에서 나타나는 영상의 왜곡을 보정할 수 있는 방법을 제시한다.
우선, 실시예에서 사용하는 이미지 패턴들에 대한 용어를 정의한다.
실시예에서 사용하는 이미지 패턴에는 원패턴, 왜곡패턴, 대칭패턴, 기준패턴, 및 보상패턴이 있다. 이러한 원패턴, 왜곡패턴, 대칭패턴, 기준패턴, 및 보상패턴은 격자형 패턴을 갖는다.
원패턴은 영상에 대한 왜곡이 없는 이미지 패턴을 의미한다. 왜곡패턴은 비평면의 영사 면에 영사된 원패턴을 촬영하여 얻은 이미지 패턴을 의미한다. 대칭패턴은 기준패턴 생성을 이미지 패턴을 의미한다. 기준패턴은 영사 면의 깊이 정보를 적용하여 보상패턴을 생성하기 위해 원패턴의 형태가 변형된 이미지 패턴을 의미한다. 보상패턴은 영상의 기하학적 왜곡을 보정할 수 있는 이미지 패턴을 의미한다. 그리고, 단위 패턴은 원패턴, 왜곡패턴, 대칭패턴, 기준패턴, 및 보상패턴을 각각 구성하는 직사각형 또는 사각형의 이미지 패턴을 의미한다. 단위 패턴에는 단위 원패턴, 단위 왜곡패턴, 단위 대칭패턴, 단위 기준패턴, 및 단위 보상패턴이 있다.
[영상 왜곡 보정방법]
도 1은 실시예에 따른 영상 왜곡 보정방법(S100)을 설명하기 위해 나타낸 흐름도이다.
도 1을 참조하면, 실시예에 따른 영상 왜곡 보정방법(S100)은, 왜곡패턴 획득 단계(S110), 대칭패턴 생성 및 이동 단계(S120), 기준패턴 생성 단계(S130), 및 보상패턴 생성단계(S140)를 포함한다.
S110 단계
도 2a는 스크린에 영사된 영상의 원패턴을 나타낸 도면이다. 도 2b는 비평면에 영사된 영상의 왜곡패턴을 나타낸 도면이다.
S110 단계에서는, 영사 면에 영사된 영상을 촬영하고, 촬영된 영상의 패턴과, 원패턴을 비교하여 왜곡패턴 정보를 획득한다.
휴대형 프로젝터를 사용하는 환경에서는 최적의 영상을 표현할 수 있는 평면 스크린이 준비된 경우가 많지 않기 때문에, 벽면과 같은 곳에 영사된 영상에서는 그 면의 기하학적 형태에 따라 휨이나 찌그러짐 등의 왜곡이 발생하게 된다.
영사 면의 기하학적 형태로부터 발생하는 영상의 왜곡 정도는, 도 2a에 도시된 바와 같은 원패턴(10) 영상과, 도 2b에 도시된 바와 같은 왜곡패턴(20) 영상을 하기의 수식에 근거하여 비교하면 알 수 있다.
Figure 112010026662513-pat00029
수학식 1에서,
Figure 112010026662513-pat00030
은 단위 원패턴(10a)의 한 변에 대한 벡터를 의미한다.
Figure 112010026662513-pat00031
는 단위 왜곡패턴(20a)의 한 변에 대한 벡터를 의미한다. 그리고,
Figure 112010026662513-pat00032
는
Figure 112010026662513-pat00033
와 가 이루는 각을 의미하는 것으로, 영사 면의 기하학적 형태에 의해 발생하는 영상의 왜곡 정도를 나타낸다.
따라서, 수학식 1을 이용하여, 영상의 왜곡패턴에 대한 정보를 얻을 수 있으며, 획득한 왜곡패턴으로부터 영사 면의 기하학적 형태 정보를 추출할 수 있다.
실시예에서는 왜곡패턴과 역관계에 놓여 있는 보상패턴을 생성함으로써, 비평면에 발생하는 영상의 왜곡을 보정할 수 있다. 왜곡패턴과 보상패턴의 관계는 하기의 수식과 같이 정의할 수 있으며, 두 패턴은 항상 하기의 수식을 만족해야 한다.
Figure 112010026662513-pat00034
수학식 2에서
Figure 112010026662513-pat00035
은 단위 원패턴(10a)의 한 변에 대한 벡터를 의미한다.
Figure 112010026662513-pat00036
는 단위 왜곡패턴(20a)의 한 변에 대한 벡터를 의미한다.
Figure 112010026662513-pat00037
는
Figure 112010026662513-pat00038
와
Figure 112010026662513-pat00039
가 이루는 각을 의미한다.
Figure 112010026662513-pat00040
는 단위 보상패턴의 한 변에 대한 벡터를 의미한다.
Figure 112010026662513-pat00041
는
Figure 112010026662513-pat00042
와
Figure 112010026662513-pat00043
가 이루는 각을 의미한다. 수학식 2를 참조하면,
Figure 112010026662513-pat00044
와
Figure 112010026662513-pat00045
는 크기는 같고 방향이 반대인 관계에 놓여 있음을 알 수 있다.
도 3a는 원패턴과 왜곡패턴을 평면좌표 상에 나타낸 도면이다. 도 3b는 왜곡패턴, 원패턴, 및 보상패턴을 공간좌표 상에서 나타낸 도면이다.
비평면에 영사된 영상으로부터 발생하는 영상의 기하학적 왜곡을 보정할 수 있는 패턴(보상패턴)을 생성하기 위해서는, 먼저 도 3a에 도시된 바와 같이, 원패턴(10) 영상과 왜곡패턴(20) 영상을 평면좌표에 사상하여 원점을 일치시킨다.
다음, 임의의 깊이(
Figure 112010026662513-pat00046
)를 할당하여 도 3b에 도시된 바와 같이 동일 평면 상의 두 패턴(10, 20)을 공간좌표로 분리한다.
다음, 공간좌표로 분리한 두 패턴(10, 20)의 대칭 점들에 대하여 각각 직선의 방정식을 도출한 후, 도출한 직선의 방정식에 -
Figure 112010026662513-pat00047
를 대입하여 보상패턴의 교차점 좌표(PC)를 산출한다. -
Figure 112010026662513-pat00048
는 상기 임의의 깊이(
Figure 112010026662513-pat00049
)와는 절대치는 같고, 방향이 대칭되는 깊이 값을 의미한다. 이하에서 설명하는 패턴의 교차점 좌표는 패턴의 정점 좌표를 의미한다.
도 3b를 기준으로 보상패턴(30)의 교차점 좌표(PC)를 산출하는 방법을 하기의 수식으로 나타내었다.
Figure 112010026662513-pat00050
수학식 3에서 PD는 왜곡패턴(20)의 정점 좌표(교차점 좌표)를 의미한다. PO는 원패턴(10)의 정점 좌표(교차점 좌표)를 의미한다. x,y,z는 각각 공간좌표의 각 축을 의미한다. PC는 보상패턴(30)의 정점 좌표(교차점 좌표)를 의미한다.
Figure 112010026662513-pat00051
는 상술한 바와 같이 임의의 할당할 수 있는 깊이(z) 값을 의미한다.
그러나, 실시예에서는 영사 면에 대한 3차원 정보를 산출하지 않기 때문에, 임의의 깊이(
Figure 112010026662513-pat00052
)를 수학식 3에 대입하여 산출한 보정패턴(30)은, 왜곡패턴(20)과 수학식 2를 통해 나타낸 왜곡패턴과 보상패턴 간의 관계를 항상 만족하지는 않는다.
따라서, 영사 면의 3차원 정보를 이용하지 않고도 수학식 2를 통해 나타낸 왜곡패턴과 보상패턴 간의 관계를 항상 만족시킬 수 있는 보상패턴을 생성하기 위해, 실시예에서는 왜곡패턴과 보상패턴 간 대응의 기준이 되는 기준패턴을 생성한다.
S120 단계
S120 단계에서는 대칭패턴을 생성하고, 기준패턴을 생성하기 위해 생성된 대칭패턴을 평면좌표 상에서 위치 이동시킨다. S120 단계를 통하여 생성된 대칭패턴은 평면좌표 상에서 왜곡패턴이 180도 회전된 형태를 가지며, 왜곡패턴과 원점이 일치한다. 이러한 대칭패턴에 개념은 도 3b에 도시된 바와 같이, 공간좌표 상에서 원패턴을 기준으로 임의의 깊이(
Figure 112010026662513-pat00053
)에 위치하며, 왜곡패턴(20)과 180도 회전된 상태로 대칭된 형태라 할 수 있다.
이하, 대칭패턴을 3차원 공간좌표 상에서가 아닌, 2차원 평면좌표 상에서 생성하는 방법에 대하여 상세히 설명한다.
도 4a 내지 도 4d는 영사 면의 3차원 정보를 고려한 보상패턴을 생성하기 위해, 원패턴이 변형된 기준패턴을 생성하는 과정을 나타낸 도면이다.
먼저, 왜곡패턴(20a, 이하 단위 왜곡패턴)을 평면좌표로 이동시킨다.
다음, 도 4a에 도시된 바와 같이, 단위 왜곡패턴(20a)의 윗변을 구성하는 두 정점(PD1, PD2)의 x축 좌표와, 밑변을 구성하는 두 정점(PD4, PD3)의 x축 좌표를 교환하여 네 정점의 수평좌표를 결정한다. 즉, 정점 PD1의 x축 좌표 값과 정점 PD4의 x축 좌표 값이 교환되고, 정점 PD2의 x축 좌표 값은 정점 PD3의 x 축 좌표 값이 교환된다. 이러한 교환 과정을 거친 정점 PD1, PD2, PD3, PD4은 PC1, PC2, PC3, PC4로 표기한다.
다음, 도 4b에 도시된 바와 같이, 단위 왜곡패턴(20a)의 윗변을 구성하는 정점 PD1과 정점 PD2로 생성한 직선 l1과, 기울기의 절대치는 같고 방향이 반대인 직선 l1’를 생성한다. 다음, 직선 l1’에 기초하여 PC2의 y축 좌표를 이동시켜, 단위 대칭패턴의 수직좌표를 결정한다.
다음, 상술한 방법과 마찬가지로, 정점 PC3, 및 PC4의 수직좌표를 결정한다. 단위 대칭패턴의 정점의 수직좌표는 하기의 수식에 따라 결정할 수 있다.
Figure 112010026662513-pat00054
수학식 4에서 PC는 대칭패턴(40a)의 정점 좌표(교차점 좌표)를 의미한다. PD가 단위 왜곡패턴(20a)의 정점 좌표(교차점 좌표)를 의미하고, mDn이 PDn과 PDn +1을 잇는 직선의 기울기를 의미한다면, mCn은 mDn과 절대치가 같고, 방향이 반대인 직선의 기울기를 의미한다. 즉, PDn과 PDn +1을 잇는 직선의 기울기와 절대치가 같고, 방향이 반대인 직선의 기울기를 의미한다.
도 4c에 도시된 바와 같이, 산출한 단위 대칭패턴(40a)은 대응되는 단위 왜곡패턴(20a)의 각 변에 대하여 기울기의 절대치는 같고, 방향은 반대인 관계에 놓여있다. 그러나, 영사 면의 기하학적 형태를 적용하는 위치가 다르므로, 도 4d에 도시된 바와 같이, 단위 대칭패턴(40a)의 최하단 수직좌표(PC3)를 단위 왜곡패턴(20a)의 최하단 수직좌표(PD3)에 맞도록 단위 대칭패턴(40a)를 이동시킨다.
S130 단계
도 5a 내지 도 5b는 실시예에 따른 기준패턴을 생성하는 방법을 나타낸 도면이다.
S130 단계에서는 기준패턴(50a, 이하 단위 기준패턴)을 생성한다.
도 5a에 도시된 바와 같이, 단위 왜곡패턴(20a)의 정점들(PD1, PD2, PD3, PD4)과, 이와 대응되는 단위 대칭패턴(40a)의 정점들(PC1, PC2, PC3, PC4) 간의 중점들(PS1, PS2, PS3, PS4)을 추출한다. 즉, 단위 왜곡패턴(20a)의 정점들((PD1, PD2, PD3, PD4)과 단위 대칭패턴(40a)의 정점들(PC1, PC2, PC3, PC4) 중 평면좌표 상에서 서로 인접한 정점들 사이를 잇는 직선의 중점 좌표를 각각 추출한다.
예를 들어, 정점 PD1과 정점 PC1 사이를 잇는 직선의 중점(PS1)를 추출할 수 있으며, 정점 PD2과 정점 PC2 사이를 잇는 직선의 중점(PS2)를 추출할 수 있으며, 정점 PD3과 정점 PC3 사이를 잇는 직선의 중점(PS3)를 추출할 수 있으며, 정점 PD4과 정점 PC4 사이를 잇는 직선의 중점(PS4)를 추출할 수 있다.
다음, 도 5b에 도시된 바와 같이, 이러한 방법으로 추출된 중점(PS1, PS2, PS3, PS4)을 이용하여 단위 기준패턴의 형태를 결정한다. 그리고, 단위 원패턴의 정점(교차점)을 단위 기준패턴의 형태에 맞춰 필드 기반의 워핑(warping)을 수행하여 단위 기준패턴(50a)을 생성한다.
S140 단계
S140단계에서는 S130단계를 생성된 기준패턴을 이용하여 보상패턴을 생성한다.
결과적으로, S130 단계를 통해 추출된 기준패턴의 정점들(PS1, PS2, PS3, PS4)을 수학식 3의 과정에서 원패턴의 정점 좌표(교차점 좌표) PO에 대입하여 연산하고, 항상 수학식 2의 관계를 만족하는 보상패턴을 생성하는 것이다.
이하, 실시예에 따른 영상 왜곡 보정방법을 적용한 임의의 영사 면에 대하여 적응적으로 영상 왜곡을 보정하는 방법에 대하여 설명한다.
프로젝터의 일반적인 휴대환경에서는 영사 면의 형태가 크게 세 가지로 분류된다. 그 세가지 형태는 기울어진 평면, 꺾인 평면과, 곡면으로 나타난다.
기울어진 평면
도 6은 영사 면이 기울어진 평면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면이다.
영사면의 형태가 기울어진 평면일 경우, 영사 면이 하나의 평면 상에서 나타나기 때문에, 왜곡패턴은 일정한 기울기를 갖는 4개의 직선으로 구성된다. 이는 도 6에 도시된 바와 같이, 하나의 사각형으로 나타나게 된다.
따라서, 영사 면이 기울어진 평면인 경우에는, 왜곡패턴의 네 모서리 정점들로 형성된 사각형에 대하여 기준패턴 생성 과정을 수행하고, 생성한 기준패턴과 왜곡패턴의 교차점에 대해 수학식 3의 방법에 적용하고, 수학식 2의 관계를 만족하는 보상패턴을 형성한다.
꺾인 평면
도 7은 영사 면이 꺾인 면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면이다.
영사 면의 형태가 꺾인 평면일 경우, 기울어진 평면과 유사하게 일정한 기울기의 직선들로 구성된 다각형 형태의 왜곡패턴이 나타나게 된다. 방향이 다른 두 평면으로 구성된 꺾인 평면은, 도 7에 도시된 바와 같이, 영사 면(plane 1, plane2)의 꺾임에 의해 나타나는 접힌 선을 기준으로 양 측에 두 종류의 사각형(20A, 20B)가 나타나게 된다. 이러한 경우, 각각의 사각형(20A, 20B)은 기울어진 평면에 대한 보정방법과 마찬가지로 기준패턴을 생성하는 과정을 수행한 후, 수학식 3의 방법에 적용하고, 수학식 2의 관계를 만족하는 보상패턴을 형성한다.
곡면
도 8a 내지 도 8c는 영사 면이 곡면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면이다.
영사 면의 형태가 곡면일 경우, 기울어진 평면이나 꺾인 평면과는 다르게 왜곡패턴을 구성하는 모두 단위 패턴들에 대한 각각의 기준패턴을 생성해야 한다. 이는 도 8a 내지 도 8b에 도시된 바와 같이, 단위 왜곡패턴을 단위로 곡면을 평면으로 근사화 했을 때, 근사화된 각각의 평면들은 서로 다른 기하학적 형태 정보를 가지기 때문이다. 또한, 영사 면의 형태가 곡면이 경우에 있어서, 단위 기준패턴의 수평좌표를 결정할 때에는 단위 왜곡패턴의 너비와 단위 보상패턴의 너비는 하기의 수식에서 나타낸 관계를 만족해야 한다.
Figure 112010026662513-pat00055
수학식 5에서 lrn은 단위 왜곡패턴의 한 변에 대한 수평거리를 의미한다. lrn'은 단위 보상패턴의 한 변에 대한 수평거리를 의미한다. r은 평면좌표 상에서 단위 왜곡패턴 및 단위 보상패턴의 행(row)을 의미한다.
다음, 결정된 수평좌표를 기준으로 단위 기준패턴의 수직좌표는 꺾인 평면의 보상방법과 동일한 방법으로 결정한다. 그러나, 기울어진 평면이나 꺾인 평면과는 다르게, 곡면의 보상패턴을 생성하는 방법에서는, 기준패턴 생성 과정에서 기준패턴과 보상패턴의 모든 정점(교차점) 좌표를 산출할 수 있기 때문에, 기준패턴에 대한 원패턴의 워핑 과정과 수학식 3의 과정을 수행하지 않아도 무방하다.
이와 같이, 실시예에 따른 영상 왜곡 보정장치는, 영사 면이 기울어진 평면, 꺾인 평면, 및 곡면 중 어느 형태를 가지더라도, 적응적으로 대응하여 보정할 수 있다.
[영상 왜곡 보정장치]
도 9는 실시예에 따른 영상 왜곡 보상장치(900)의 구성을 개략적으로 나타낸 블록도이다.
도 9 참조하면, 실시예에 따른 영상 왜곡 보상장치(900)는 왜곡패턴 획득부(910), 대칭패턴 생성부(920), 기준패턴 생성부(930), 및 보상패턴 생성부(940)를 포함한다.
도 9에 도시된 영상 왜곡 보상장치(900)는 상술한 영상 왜곡 보상방법(S100)을 수행할 수 있는 장치로서, 도 2a 내지 8c와 결부하여 영상 왜곡 보상장치(900)에 대한 구성을 설명한다.
왜곡패턴 획득부 (910)
도 2a는 스크린에 영사된 영상의 원패턴을 나타낸 도면이다. 도 2b는 비평면에 영사된 영상의 왜곡패턴을 나타낸 도면이다.
왜곡패턴 획득부(910), 영사 면에 영사된 영상을 촬영하고, 촬영된 영상의 패턴과, 원패턴을 비교하여 왜곡패턴 정보를 획득한다.
휴대형 프로젝터를 사용하는 환경에서는 최적의 영상을 표현할 수 있는 평면 스크린이 준비된 경우가 많지 않기 때문에, 벽면과 같은 곳에 영사된 영상에서는 그 면의 기하학적 형태에 따라 휨이나 찌그러짐 등의 왜곡이 발생하게 된다.
영사 면의 기하학적 형태로부터 발생하는 영상의 왜곡 정도는, 도 2a에 도시된 바와 같은 원패턴(10) 영상과, 도 2b에 도시된 바와 같은 왜곡패턴(20) 영상을 하기의 수식에 근거하여 비교하면 알 수 있다.
Figure 112010026662513-pat00056
수학식 6에서,
Figure 112010026662513-pat00057
은 단위 원패턴(10a)의 한 변에 대한 벡터를 의미한다.
Figure 112010026662513-pat00058
는 단위 왜곡패턴(20a)의 한 변에 대한 벡터를 의미한다. 그리고,
Figure 112010026662513-pat00059
는
Figure 112010026662513-pat00060
와 가 이루는 각을 의미하는 것으로, 영사 면의 기하학적 형태에 의해 발생하는 영상의 왜곡 정도를 나타낸다.
따라서, 수학식 6을 이용하여, 영상의 왜곡패턴에 대한 정보를 얻을 수 있으며, 획득한 왜곡패턴으로부터 영사 면의 기하학적 형태 정보를 추출할 수 있다.
실시예에서는 왜곡패턴과 역관계에 놓여 있는 보상패턴을 생성함으로써, 비평면에 발생하는 영상의 왜곡을 보정할 수 있다. 왜곡패턴과 보상패턴의 관계는 하기의 수식과 같이 정의할 수 있으며, 두 패턴은 항상 하기의 수식을 만족해야 한다.
Figure 112010026662513-pat00061
수학식 9에서
Figure 112010026662513-pat00062
은 단위 원패턴(10a)의 한 변에 대한 벡터를 의미한다.
Figure 112010026662513-pat00063
는 단위 왜곡패턴(20a)의 한 변에 대한 벡터를 의미한다.
Figure 112010026662513-pat00064
는
Figure 112010026662513-pat00065
와
Figure 112010026662513-pat00066
가 이루는 각을 의미한다.
Figure 112010026662513-pat00067
는 단위 보상패턴의 한 변에 대한 벡터를 의미한다.
Figure 112010026662513-pat00068
는
Figure 112010026662513-pat00069
와
Figure 112010026662513-pat00070
가 이루는 각을 의미한다. 수학식 2를 참조하면,
Figure 112010026662513-pat00071
와
Figure 112010026662513-pat00072
는 크기는 같고 방향이 반대인 관계에 놓여 있음을 알 수 있다.
도 3a는 원패턴과 왜곡패턴을 평면좌표 상에 나타낸 도면이다. 도 3b는 왜곡패턴, 원패턴, 및 보상패턴을 공간좌표 상에서 나타낸 도면이다.
비평면에 영사된 영상으로부터 발생하는 영상의 기하학적 왜곡을 보정할 수 있는 패턴(보상패턴)을 생성하기 위해서는, 먼저 도 3a에 도시된 바와 같이, 원패턴(10) 영상과 왜곡패턴(20) 영상을 평면좌표에 사상하여 원점을 일치시킨다.
다음, 임의의 깊이(
Figure 112010026662513-pat00073
)를 할당하여 도 3b에 도시된 바와 같이 동일 평면 상의 두 패턴(10, 20)을 공간좌표로 분리한다.
다음, 공간좌표로 분리한 두 패턴(10, 20)의 대칭 점들에 대하여 각각 직선의 방정식을 도출한 후, 도출한 직선의 방정식에 -
Figure 112010026662513-pat00074
를 대입하여 보상패턴의 교차점 좌표(PC)를 산출한다. -
Figure 112010026662513-pat00075
는 상기 임의의 깊이(
Figure 112010026662513-pat00076
)와는 절대치는 같고, 방향이 대칭되는 깊이 값을 의미한다. 이하에서 설명하는 패턴의 교차점 좌표는 패턴의 정점 좌표를 의미한다.
도 3b를 기준으로 보상패턴(30)의 교차점 좌표(PC)를 산출하는 방법을 하기의 수식으로 나타내었다.
Figure 112010026662513-pat00077
수학식 8에서 PD는 왜곡패턴(20)의 정점 좌표(교차점 좌표)를 의미한다. PO는 원패턴(10)의 정점 좌표(교차점 좌표)를 의미한다. x,y,z는 각각 공간좌표의 각 축을 의미한다. PC는 보상패턴(30)의 정점 좌표(교차점 좌표)를 의미한다.
Figure 112010026662513-pat00078
는 상술한 바와 같이 임의의 할당할 수 있는 깊이(z) 값을 의미한다.
그러나, 실시예에서는 영사 면에 대한 3차원 정보를 산출하지 않기 때문에, 임의의 깊이(
Figure 112010026662513-pat00079
)를 수학식 3에 대입하여 산출한 보정패턴(30)은, 왜곡패턴(20)과 수학식 7을 통해 나타낸 왜곡패턴과 보상패턴 간의 관계를 항상 만족하지는 않는다.
따라서, 영사 면의 3차원 정보를 이용하지 않고도 수학식 7을 통해 나타낸 왜곡패턴과 보상패턴 간의 관계를 항상 만족시킬 수 있는 보상패턴을 생성하기 위해, 실시예에서는 왜곡패턴과 보상패턴 간 대응의 기준이 되는 기준패턴을 생성한다.
대칭패턴 생성부 (920)
대칭패턴 생성부(920)는 대칭패턴을 생성하고, 기준패턴을 생성하기 위해 생성된 대칭패턴을 평면좌표 상에서 위치 이동시킨다. 대칭패턴 생성부(920)를 통하여 생성된 대칭패턴은 평면좌표 상에서 왜곡패턴이 180도 회전된 형태를 가지며, 왜곡패턴과 원점이 일치한다. 이러한 대칭패턴에 개념은 도 3b에 도시된 바와 같이, 공간좌표 상에서 원패턴을 기준으로 임의의 깊이(
Figure 112010026662513-pat00080
)에 위치하며, 왜곡패턴(20)과 180도 회전된 상태로 대칭된 형태라 할 수 있다.
이하, 대칭패턴 생성부(920)를 통해 대칭패턴을 3차원 공간좌표 상에서가 아닌, 2차원 평면좌표 상에서 생성하는 방법에 대하여 상세히 설명한다.
도 4a 내지 도 4d는 영사 면의 3차원 정보를 고려한 보상패턴을 생성하기 위해, 원패턴이 변형된 기준패턴을 생성하는 과정을 나타낸 도면이다.
먼저, 왜곡패턴(20a, 이하 단위 왜곡패턴)을 평면좌표로 이동시킨다.
다음, 도 4a에 도시된 바와 같이, 단위 왜곡패턴(20a)의 윗변을 구성하는 두 정점(PD1, PD2)의 x축 좌표와, 밑변을 구성하는 두 정점(PD4, PD3)의 x축 좌표를 교환하여 네 정점의 수평좌표를 결정한다. 즉, 정점 PD1의 x축 좌표 값과 정점 PD4의 x축 좌표 값이 교환되고, 정점 PD2의 x축 좌표 값은 정점 PD3의 x 축 좌표 값이 교환된다. 이러한 교환 과정을 거친 정점 PD1, PD2, PD3, PD4은 PC1, PC2, PC3, PC4로 표기한다.
다음, 도 4b에 도시된 바와 같이, 단위 왜곡패턴(20a)의 윗변을 구성하는 정점 PD1과 정점 PD2로 생성한 직선 l1과, 기울기의 절대치는 같고 방향이 반대인 직선 l1’를 생성한다. 다음, 직선 l1’에 기초하여 PC2의 y축 좌표를 이동시켜, 단위 대칭패턴의 수직좌표를 결정한다.
다음, 상술한 방법과 마찬가지로, 정점 PC3, 및 PC4의 수직좌표를 결정한다. 단위 대칭패턴의 정점의 수직좌표는 하기의 수식에 따라 결정할 수 있다.
Figure 112010026662513-pat00081
수학식 9에서 PC는 대칭패턴(40a)의 정점 좌표(교차점 좌표)를 의미한다. PD가 단위 왜곡패턴(20a)의 정점 좌표(교차점 좌표)를 의미하고, mDn이 PDn과 PDn+1을 잇는 직선의 기울기를 의미한다면, mCn은 mDn과 절대치가 같고, 방향이 반대인 직선의 기울기를 의미한다. 즉, PDn과 PDn+1을 잇는 직선의 기울기와 절대치가 같고, 방향이 반대인 직선의 기울기를 의미한다.
도 4c에 도시된 바와 같이, 산출한 단위 대칭패턴(40a)은 대응되는 단위 왜곡패턴(20a)의 각 변에 대하여 기울기의 절대치는 같고, 방향은 반대인 관계에 놓여있다. 그러나, 영사 면의 기하학적 형태를 적용하는 위치가 다르므로, 도 4d에 도시된 바와 같이, 단위 대칭패턴(40a)의 최하단 수직좌표(PC3)를 단위 왜곡패턴(20a)의 최하단 수직좌표(PC3)에 맞도록 단위 대칭패턴(40a)를 이동시킨다.
기준패턴 생성부 (930)
도 5a 내지 도 5b는 실시예에 따른 기준패턴을 생성하는 방법을 나타낸 도면이다.
기준패턴 생성부(930)는 기준패턴(50a, 이하 단위 기준패턴)을 생성한다.
도 5a에 도시된 바와 같이, 단위 왜곡패턴(20a)의 정점들(PD1, PD2, PD3, PD4)과, 이와 대응되는 단위 대칭패턴(40a)의 정점들(PC1, PC2, PC3, PC4) 간의 중점들(PS1, PS2, PS3, PS4)을 추출한다. 즉, 단위 왜곡패턴(20a)의 정점들((PD1, PD2, PD3, PD4)과 단위 대칭패턴(40a)의 정점들(PC1, PC2, PC3, PC4) 중 평면좌표 상에서 서로 인접한 정점들 사이를 잇는 직선의 중점 좌표를 각각 추출한다.
예를 들어, 정점 PD1과 정점 PC1 사이를 잇는 직선의 중점(PS1)를 추출할 수 있으며, 정점 PD2과 정점 PC2 사이를 잇는 직선의 중점(PS2)를 추출할 수 있으며, 정점 PD3과 정점 PC3 사이를 잇는 직선의 중점(PS3)를 추출할 수 있으며, 정점 PD4과 정점 PC4 사이를 잇는 직선의 중점(PS4)를 추출할 수 있다.
다음, 도 5b에 도시된 바와 같이, 이러한 방법으로 추출된 중점(PS1, PS2, PS3, PS4)을 이용하여 단위 기준패턴의 형태를 결정한다. 그리고, 단위 원패턴의 정점(교차점)을 단위 기준패턴의 형태에 맞춰 필드 기반의 워핑(warping)을 수행하여 단위 기준패턴(50a)을 생성한다.
보상패턴 생성부 (940)
보상패턴 생성부(940)는 기준패턴 생성부(930)를 생성된 기준패턴을 이용하여 보상패턴을 생성한다.
결과적으로, 기준패턴 생성부(930)를 통해 추출된 기준패턴의 정점들(PS1, PS2, PS3, PS4)을 수학식 3의 과정에서 원패턴의 정점 좌표(교차점 좌표) PO에 대입하여 연산하고, 항상 수학식 7의 관계를 만족하는 보상패턴을 생성하는 것이다.
이하, 실시예에 따른 영상 왜곡 보정방법을 적용한 임의의 영사 면에 대하여 적응적으로 영상 왜곡을 보정하는 장치에 대하여 설명한다.
프로젝터의 일반적인 휴대환경에서는 영사 면의 형태가 크게 세 가지로 분류된다. 그 세가지 형태는 기울어진 평면, 꺾인 평면과, 곡면으로 나타난다.
기울어진 평면
도 6은 영사 면이 기울어진 평면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면이다.
영사면의 형태가 기울어진 평면일 경우, 영사 면이 하나의 평면 상에서 나타나기 때문에, 왜곡패턴은 일정한 기울기를 갖는 4개의 직선으로 구성된다. 이는 도 6에 도시된 바와 같이, 하나의 사각형으로 나타나게 된다.
따라서, 영사 면이 기울어진 평면인 경우에는, 왜곡패턴의 네 모서리 정점들로 형성된 사각형에 대하여 기준패턴 생성 과정을 수행하고, 생성한 기준패턴과 왜곡패턴의 교차점에 대해 수학식 8의 방법에 적용하고, 수학식 7의 관계를 만족하는 보상패턴을 형성한다.
꺾인 평면
도 7은 영사 면이 꺾인 면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면이다.
영사 면의 형태가 꺾인 평면일 경우, 기울어진 평면과 유사하게 일정한 기울기의 직선들로 구성된 다각형 형태의 왜곡패턴이 나타나게 된다. 방향이 다른 두 평면으로 구성된 꺾인 평면은, 도 7에 도시된 바와 같이, 영사 면(plane 1, plane2)의 꺾임에 의해 나타나는 접힌 선을 기준으로 양 측에 두 종류의 사각형(20A, 20B)가 나타나게 된다. 이러한 경우, 각각의 사각형(20A, 20B)은 기울어진 평면에 대한 보정방법과 마찬가지로 기준패턴을 생성하는 과정을 수행한 후, 수학식 8의 방법에 적용하고, 수학식 7의 관계를 만족하는 보상패턴을 형성한다.
곡면
도 8a 내지 도 8c는 영사 면이 곡면인 경우, 실시예에 따른 영상 왜곡 보상방법을 이용하여 보상패턴을 생성하는 방법을 설명하기 위해 나타낸 도면이다.
영사 면의 형태가 곡면일 경우, 기울어진 평면이나 꺾인 평면과는 다르게 왜곡패턴을 구성하는 모두 단위 패턴들에 대한 각각의 기준패턴을 생성해야 한다. 이는 도 8a 내지 도 8b에 도시된 바와 같이, 단위 왜곡패턴을 단위로 곡면을 평면으로 근사화 했을 때, 근사화된 각각의 평면들은 서로 다른 기하학적 형태 정보를 가지기 때문이다. 또한, 영사 면의 형태가 곡면이 경우에 있어서, 단위 기준패턴의 수평좌표를 결정할 때에는 단위 왜곡패턴의 너비와 단위 보상패턴의 너비는 하기의 수식에서 나타낸 관계를 만족해야 한다.
Figure 112010026662513-pat00082
수학식 10에서 lrn은 단위 왜곡패턴의 한 변에 대한 수평거리를 의미한다. lrn'은 단위 보상패턴의 한 변에 대한 수평거리를 의미한다. r은 평면좌표 상에서 단위 왜곡패턴 및 단위 보상패턴의 행(row)을 의미한다.
다음, 결정된 수평좌표를 기준으로 단위 기준패턴의 수직좌표는 꺾인 평면의 보상방법과 동일한 방법으로 결정한다. 그러나, 기울어진 평면이나 꺾인 평면과는 다르게, 곡면의 보상패턴을 생성하는 방법에서는, 기준패턴 생성 과정에서 기준패턴과 보상패턴의 모든 정점(교차점) 좌표를 산출할 수 있기 때문에, 기준패턴에 대한 원패턴의 워핑 과정과 수학식 8의 과정을 수행하지 않아도 무방하다.
이와 같이, 실시예에 따른 영상 왜곡 보정장치는, 영사 면이 기울어진 평면, 꺾인 평면, 및 곡면 중 어느 형태를 가지더라도, 적응적으로 대응하여 보정할 수 있다.
[실험 결과]
실시예에 따른 영상 왜곡 보정에 대하여 평면스크린이 설치되지 않은 영사환경에서 주로 나타날 수 있는 기울어진 평면, 꺾인 평면 및 곡면에 대해 왜곡이 없는 원패턴과 투사된 보상패턴 간의 오차량 측정, 보정 결과에 대한 사용자의 주관적 평가와, 영상의 해상도에 따른 자원의 사용량 측정으로 나누어 진행하였다.
실험결과에서 원패턴과 투사된 보상패턴 간에는 약 1% 내외의 오차량이 나타났으며, ITU Rec P.910 Pair Comparison권고사항을 기반으로 한 사용자의 주관적 평가에서는 평균 3.5점 이상의 점수를 획득하였다.
또한, 자원의 사용량 측정 실험에서는 휴대형 환경에서 비교적 해상도가 높은 1024x768영상에 대해 8Kbyte의 메모리를 사용하며 0.03초의 빠른 속도로 보정 영상을 생성하는 결과를 얻었다.
이상에서 보는 바와 같이, 본 발명이 속하는 기술 분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시 될 수 있다는 것을 이해할 수 있을 것이다.
그러므로, 이상에서 기술한 실시 예는 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로 이해해야만 하고, 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (10)

  1. 영사 면의 기하학적 형태에 의해 발생하는 영상의 왜곡을 보정하기 위한 방법으로서,
    a. 영사 면에 영사된 영상을 촬영하고, 상기 촬영된 영상의 패턴과 영상에 대한 왜곡이 없는 원패턴을 비교하여 영상의 왜곡패턴에 대한 정보를 획득하는 단계;
    b. 평면좌표 상에서 상기 왜곡패턴이 180도 회전된 형태를 갖는 대칭패턴을 생성하고, 평면좌표 상에서 상기 대칭패턴의 원점이 상기 왜곡패턴의 원점과 일치되도록 상기 대칭패턴을 이동시키는 단계;
    c. 상기 왜곡패턴의 정점들과 상기 대칭패턴의 정점들 중 평면좌표 상에서 서로 인접한 정점들 사이를 잇는 직선의 중점 좌표를 각각 추출하고, 상기 추출된 중점들을 정점으로 하는 기준패턴을 생성하는 단계; 및
    d. 상기 기준패턴을 이용하여 하기의 수식으로부터 보상패턴을 생성하는 단계를 포함하고,
    Figure 112010026662513-pat00083

    PD는 상기 왜곡패턴의 정점 좌표를 나타내고, PO는 상기 기준패턴의 정점 좌표를 나타내고, x,y,z는 각각 공간좌표의 각 축을 나타내고, PC는 상기 보상패턴의 정점 좌표를 나타내고,
    Figure 112010026662513-pat00084
    는 실수인 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정방법.
  2. 제1항에 있어서,
    상기 원패턴, 상기 왜곡패턴, 상기 대칭패턴, 상기 기준패턴, 및 상기 보상패턴은 격자형 패턴이고,
    상기 원패턴은 직사각형의 단위 원패턴을 복수 개 포함하고,
    상기 왜곡패턴은 사각형의 단위 왜곡패턴을 복수 개 포함하고,
    상기 대칭패턴은 사각형의 단위 대칭패턴을 복수 개 포함하고,
    상기 기준패턴은 직사각형의 단위 기준패턴을 복수 개 포함하고,
    상기 보상패턴은 사각형의 단위 보상패턴을 복수 개 포함하는 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정방법.
  3. 제2항에 있어서,
    상기 d 단계에서는 하기의 수식을 만족하는 보상패턴을 생성하고,
    Figure 112010026662513-pat00085

    Figure 112010026662513-pat00086
    는
    Figure 112010026662513-pat00087
    와
    Figure 112010026662513-pat00088
    가 이루는 각을 나타내고,
    Figure 112010026662513-pat00089
    는
    Figure 112010026662513-pat00090
    와
    Figure 112010026662513-pat00091
    가 이루는 각을 나타내고,
    Figure 112010026662513-pat00092
    은 상기 단위 원패턴의 한 변에 대한 벡터를 나타내고,
    Figure 112010026662513-pat00093
    는 상기 단위 왜곡패턴의 한 변에 대한 벡터를 나타내고,
    Figure 112010026662513-pat00094
    는 상기 단위 보상패턴의 한 변에 대한 벡터를 나타내는 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정방법.
  4. 제2항에 있어서,
    상기 b 단계는,
    b-1. 상기 왜곡패턴을 평면좌표 상에 이동시키고, 상기 단위 왜곡패턴의 윗변을 구성하는 두 정점의 x축 좌표와 상기 단위 왜곡패턴의 밑변을 구성하는 두 정점의 x축 좌표를 교환하여 상기 대칭패턴의 수평좌표를 결정하는 단계;
    b-2. 상기 단위 왜곡패턴의 각 변을 구성하는 두 정점이 이루는 직선과 기울기의 절대치는 같고 방향이 반대인 직선을 생성하고, 생성된 직선에 기초하여 상기 수평좌표가 결정된 대칭패턴의 정점들을 이동시켜 상기 대칭패턴의 수직좌표를 결정하는 단계; 및
    b-3. 상기 대칭패턴의 최하단 수직좌표를 상기 왜곡패턴의 최하단 수직좌표에 맞도록 상기 대칭패턴을 이동시키는 단계를 포함하고,
    상기 대칭패턴의 수직좌표는 하기의 수식에 따라 결정하고,
    Figure 112011076861341-pat00095

    여기서, PDn, PDn+1은 단위 왜곡패턴의 정점 좌표(교차점 좌표)를 나타내고, PCn, PCn+1은 왜곡패턴의 정점 좌표(교차점 좌표)인 PDn, PDn+1에 대응되는 보상패턴의 정점 좌표(교차점 좌표)를 나타내며,
    mCn은 PDn와 PDn+1을 잇는 직선의 기울기와 절대치가 같고, 방향이 반대인 직선의 기울기를 나타내는 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정방법.
  5. 제1항 내지 제4항 중 어느 한 항에 따른 방법을 이용하여 영사 면에 대한 영상 왜곡을 적응적으로 보정하기 위한 방법으로서,
    영사 면은 기울어진 평면, 꺾인 평면, 및 곡면 중 어느 하나의 면을 갖고,
    영사 면이 기울어진 평면인 경우, 상기 기울어진 평면에 상기 보상패턴을 생성하는 방법을 통하여 보정하고,
    영사 면이 꺾인 평면인 경우, 영사 면의 꺾임에 의해 나타나는 접힌 선을 기준으로 영사 면의 양 측면을 각각 상기 기울어진 평면에 대한 보정방법을 통해 보정하고,
    영사 면이 곡면인 경우, 단위 왜곡패턴 별로 상기 기울어진 평면에 대한 보정방법을 보정하되, 단위 대칭패턴의 수평좌표를 결정할 경우 단위 왜곡패턴의 너비와 보상패턴의 너비는 하기의 수식관계를 만족하고,
    Figure 112011076861341-pat00096

    lrn은 단위 왜곡패턴의 한 변에 대한 수평거리를 나타내고, lrn'은 단위 보상패턴의 한 변에 대한 수평거리를 나타내고, r은 평면좌표 상에서 단위 왜곡패턴 및 단위 보상패턴의 행(row)을 나타내며, rn, rn+1, rn+2는 n번째 행, n+1번째 행, n+2번째 행을 각각 나타내는 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정방법.
  6. 영사 면의 기하학적 형태에 의해 발생하는 영상의 왜곡을 보정하기 위한 장치로서,
    영사 면에 영사된 영상을 촬영하고, 상기 촬영된 영상의 패턴과 영상에 대한 왜곡이 없는 원패턴을 비교하여 영상의 왜곡패턴에 대한 정보를 획득하는 왜곡패턴 정보 획득부;
    평면좌표 상에서 상기 왜곡패턴이 180도 회전된 형태를 갖는 대칭패턴을 생성하고, 평면좌표 상에서 상기 대칭패턴의 원점이 상기 왜곡패턴의 원점과 일치되도록 상기 대칭패턴을 이동시키는 대칭패턴 생성부;
    상기 왜곡패턴의 정점들과 상기 대칭패턴의 정점들 중 평면좌표 상에서 서로 인접한 정점들 사이를 잇는 직선의 중점 좌표를 각각 추출하고, 상기 추출된 중점들을 정점으로 하는 기준패턴을 생성하는 기준패턴 생성부; 및
    상기 기준패턴을 이용하여 하기의 수식으로부터 보상패턴을 생성하는 보상패턴 생성부를 포함하고,
    Figure 112010026662513-pat00097

    PD는 상기 왜곡패턴의 정점 좌표를 나타내고, PO는 상기 기준패턴의 정점 좌표를 나타내고, x,y,z는 각각 공간좌표의 각 축을 나타내고, PC는 상기 보상패턴의 정점 좌표를 나타내고,
    Figure 112010026662513-pat00098
    는 실수인 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정장치.
  7. 제6항에 있어서,
    상기 원패턴, 상기 왜곡패턴, 상기 대칭패턴, 상기 기준패턴, 및 상기 보상패턴은 격자패턴이고,
    상기 원패턴은 직사각형의 단위 원패턴을 복수 개 포함하고,
    상기 왜곡패턴은 사각형의 단위 왜곡패턴을 복수 개 포함하고,
    상기 대칭패턴은 사각형의 단위 대칭패턴을 복수 개 포함하고,
    상기 기준패턴은 직사각형의 단위 기준패턴을 복수 개 포함하고,
    상기 보상패턴은 사각형의 단위 보상패턴을 복수 개 포함하는 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정장치.
  8. 제7항에 있어서,
    상기 보상패턴 생성부는 하기의 수식을 만족하는 보상패턴을 생성하고,
    Figure 112010026662513-pat00099

    Figure 112010026662513-pat00100
    는
    Figure 112010026662513-pat00101
    와
    Figure 112010026662513-pat00102
    가 이루는 각을 나타내고,
    Figure 112010026662513-pat00103
    는
    Figure 112010026662513-pat00104
    와
    Figure 112010026662513-pat00105
    가 이루는 각을 나타내고,
    Figure 112010026662513-pat00106
    은 상기 단위 원패턴의 한 변에 대한 벡터를 나타내고,
    Figure 112010026662513-pat00107
    는 상기 단위 왜곡패턴의 한 변에 대한 벡터를 나타내고,
    Figure 112010026662513-pat00108
    는 상기 단위 보상패턴의 한 변에 대한 벡터를 나타내는 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정장치.
  9. 제7항에 있어서,
    상기 대칭패턴 생성부는,
    상기 왜곡패턴을 평면좌표 상에 이동시키고, 상기 단위 왜곡패턴의 윗변을 구성하는 두 정점의 x축 좌표와 상기 단위 왜곡패턴의 밑변을 구성하는 두 정점의 x축 좌표를 교환하여 상기 대칭패턴의 수평좌표를 결정하고,
    상기 단위 왜곡패턴의 각 변을 구성하는 두 정점이 이루는 직선과 기울기의 절대치는 같고 방향이 반대인 직선을 생성하고, 생성된 직선에 기초하여 상기 수평좌표가 결정된 대칭패턴의 정점들을 이동시켜 상기 대칭패턴의 수직좌표를 결정하고,
    상기 대칭패턴의 최하단 수직좌표를 상기 왜곡패턴의 최하단 수직좌표에 맞도록 상기 대칭패턴을 이동시키고,
    상기 대칭패턴의 수직좌표를 하기의 수식에 따라 결정하고,
    Figure 112011076861341-pat00109

    여기서, PDn, PDn+1은 단위 왜곡패턴의 정점 좌표(교차점 좌표)를 나타내고, PCn, PCn+1은 왜곡패턴의 정점 좌표(교차점 좌표)인 PDn, PDn+1에 대응되는 보상패턴의정점 좌표(교차점 좌표)를 나타내며,
    mCn은 PDn와 PDn+1을 잇는 직선의 기울기와 절대치가 같고, 방향이 반대인 직선의 기울기를 나타내는 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정장치.
  10. 제6항 내지 제9항 중 어느 한 항에 따른 장치를 이용하여 영사 면에 대한 영상 왜곡을 적응적으로 보정하기 위한 장치로서,
    영사 면은 기울어진 평면, 꺾인 평면, 및 곡면 중 어느 하나의 면을 갖고,
    영사 면이 기울어진 평면인 경우, 상기 기울어진 평면에 상기 보상패턴을 생성하는 방법을 통하여 보정하고,
    영사 면이 꺾인 평면인 경우, 영사 면의 꺾임에 의해 나타나는 접힌 선을 기준으로 영사 면의 양 측면을 각각 상기 기울어진 평면에 대한 보정방법을 통해 보정하고,
    영사 면이 곡면인 경우, 단위 왜곡패턴 별로 상기 기울어진 평면에 대한 보정방법을 보정하되, 단위 대칭패턴의 수평좌표를 결정할 경우 단위 왜곡패턴의 너비와 보상패턴의 너비는 하기의 수식관계를 만족하고,
    Figure 112011076861341-pat00110

    lrn은 단위 왜곡패턴의 한 변에 대한 수평거리를 나타내고, lrn'은 단위 보상패턴의 한 변에 대한 수평거리를 나타내고, r은 평면좌표 상에서 단위 왜곡패턴 및 단위 보상패턴의 행(row)을 나타내며, rn, rn+1, rn+2는 n번째 행, n+1번째 행, n+2번째 행을 각각 나타내는 것을 특징으로 하는, 영사 면에 대한 영상 왜곡 보정장치.
KR1020100038367A 2010-04-26 2010-04-26 영상 왜곡 보정방법 및 영상 왜곡 보정장치 KR101139101B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100038367A KR101139101B1 (ko) 2010-04-26 2010-04-26 영상 왜곡 보정방법 및 영상 왜곡 보정장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100038367A KR101139101B1 (ko) 2010-04-26 2010-04-26 영상 왜곡 보정방법 및 영상 왜곡 보정장치

Publications (2)

Publication Number Publication Date
KR20110118947A KR20110118947A (ko) 2011-11-02
KR101139101B1 true KR101139101B1 (ko) 2012-04-30

Family

ID=45390586

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100038367A KR101139101B1 (ko) 2010-04-26 2010-04-26 영상 왜곡 보정방법 및 영상 왜곡 보정장치

Country Status (1)

Country Link
KR (1) KR101139101B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10350879B2 (en) 2014-08-01 2019-07-16 Corning Incorporated Screen printing apparatus and methods

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101589167B1 (ko) 2015-02-09 2016-01-27 동의대학교 산학협력단 깊이 정보를 이용한 원근 왜곡 영상의 보정 시스템 및 방법
US9792674B2 (en) * 2016-03-10 2017-10-17 Netflix, Inc. Perspective correction for curved display screens
WO2023249275A1 (ko) * 2022-06-23 2023-12-28 삼성전자주식회사 복수의 면을 포함하는 스크린에 영상을 투사하는 전자 장치 및 제어 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090090682A (ko) * 2008-02-22 2009-08-26 엘지전자 주식회사 화면 왜곡 보정 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090090682A (ko) * 2008-02-22 2009-08-26 엘지전자 주식회사 화면 왜곡 보정 장치 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10350879B2 (en) 2014-08-01 2019-07-16 Corning Incorporated Screen printing apparatus and methods

Also Published As

Publication number Publication date
KR20110118947A (ko) 2011-11-02

Similar Documents

Publication Publication Date Title
JP6764533B2 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
US8328365B2 (en) Mesh for mapping domains based on regularized fiducial marks
CN100377171C (zh) 生成劣化字符图像的方法和装置
US9886759B2 (en) Method and system for three-dimensional data acquisition
KR102160839B1 (ko) 멀티 프로젝션 시스템 및 이의 프로젝터 캘리브레이션 방법
WO2019049331A1 (ja) キャリブレーション装置、キャリブレーションシステム、およびキャリブレーション方法
JP6344050B2 (ja) 画像処理システム、画像処理装置、プログラム
TWI622960B (zh) 深度影像擷取裝置的校正方法
JP2014131257A (ja) 画像補正システム、画像補正方法及びプログラム
JP2013065277A (ja) 画像投影装置、画像処理装置、画像投影方法、画像投影方法のプログラム及びそのプログラムを記録した記録媒体
JP5331047B2 (ja) 撮像パラメータ決定方法、撮像パラメータ決定装置、撮像パラメータ決定プログラム
KR20120098649A (ko) 캘리브레이션된 투사를 생성하기 위한 방법 및 장치
JP2009230537A (ja) 画像処理装置、画像処理プログラム、画像処理方法、および、電子機器
CN111586384B (zh) 一种基于贝塞尔曲面的投影图像几何校正方法
JP2011118553A (ja) 画像処理装置、画像処理方法及びコンピュータプログラム
JP2005326247A (ja) 校正装置及び校正方法並びに校正プログラム
KR101139101B1 (ko) 영상 왜곡 보정방법 및 영상 왜곡 보정장치
JP5499261B2 (ja) 画像処理装置
CN104111038A (zh) 利用相位融合算法修复饱和产生的相位误差的方法
KR101854612B1 (ko) 구면 파노라마 영상을 위한 표본 기반 영상 인페인팅 장치 및 방법
JP2010186265A (ja) カメラ校正装置、カメラ校正方法、カメラ校正プログラムおよびそのプログラムを記録した記録媒体
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
JP2019220887A (ja) 画像処理装置、画像処理方法およびプログラム
WO2018167918A1 (ja) プロジェクタ、マッピング用データ作成方法、プログラム及びプロジェクションマッピングシステム
JP2011102728A (ja) 光学系パラメータ校正装置、光学系パラメータ校正方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150312

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160404

Year of fee payment: 5

LAPS Lapse due to unpaid annual fee