KR100525425B1 - 영상 워핑 방법 및 장치 - Google Patents

영상 워핑 방법 및 장치 Download PDF

Info

Publication number
KR100525425B1
KR100525425B1 KR10-2003-0006730A KR20030006730A KR100525425B1 KR 100525425 B1 KR100525425 B1 KR 100525425B1 KR 20030006730 A KR20030006730 A KR 20030006730A KR 100525425 B1 KR100525425 B1 KR 100525425B1
Authority
KR
South Korea
Prior art keywords
image
function
horizontal
coordinate
int
Prior art date
Application number
KR10-2003-0006730A
Other languages
English (en)
Other versions
KR20040070565A (ko
Inventor
김상연
Original Assignee
엘지전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지전자 주식회사 filed Critical 엘지전자 주식회사
Priority to KR10-2003-0006730A priority Critical patent/KR100525425B1/ko
Priority to US10/769,802 priority patent/US20040156558A1/en
Publication of KR20040070565A publication Critical patent/KR20040070565A/ko
Application granted granted Critical
Publication of KR100525425B1 publication Critical patent/KR100525425B1/ko

Links

Classifications

    • G06T3/153—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N3/00—Scanning details of television systems; Combination thereof with generation of supply voltages
    • H04N3/10—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical
    • H04N3/16—Scanning details of television systems; Combination thereof with generation of supply voltages by means not exclusively optical-mechanical by deflecting electron beam in cathode-ray tube, e.g. scanning corrections
    • H04N3/22—Circuits for controlling dimensions, shape or centering of picture on screen
    • H04N3/23—Distortion correction, e.g. for pincushion distortion correction, S-correction
    • G06T5/80—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 프로젝션 TV, 프로젝터, 모니터 등의 디스플레이 장치에서 광학적 또는 기계적 변형에 의한 화면의 왜곡을 보정하는 영상 워핑(image warping) 방법 및 장치에 관한 것으로서, 특히 역방향 매핑 방식을 사용하기 때문에 매핑되지 않는 화소 및 중복 매핑되는 화소가 발생되지 않으며, 또한 전역 변환 방식을 사용하기 때문에 적은 수의 파라미터로 전체 영상에 대한 불연속 없는 부드러운 공간 변환을 가능하게 한다. 그리고, 스캔라인 알고리즘을 사용함으로써, 하드웨어 구현 측면에서 단순화 및 비용 절감뿐 아니라 효율적인 메모리 접근을 가능하게 한다.

Description

영상 워핑 방법 및 장치{Image warping method and apparatus}
본 발명은 프로젝션 TV, 프로젝터, 모니터 등의 디스플레이 장치에서 광학적 또는 기계적 변형에 의한 화면의 왜곡을 보정하는 영상 워핑(image warping) 방법 및 장치에 관한 것이다.
상기 영상 워핑(image warping)은 프로젝션 TV, 프로젝터, 모니터 등의 디스플레이 장치에서 광학적 또는 기계적인 왜곡을 보정하기 위한 방법으로 공간적인 변형(spatial transformation)을 필요로 한다. 지금까지 많은 영상 워핑 방식이 제안되어 왔는데, 이들은 구분하는 기준에 따라 다음과 같이 분류될 수 있다.
. 변환 범위에 따른 분류 : 전역 변환 방식(global transformation method)과 지역 변환 방식(local transformation method)
. 변환 방향에 따른 분류 : 순방향 매핑 방식(forward mapping method)과 역방향 매핑 방식(backward mapping method)
. 분리 가능성(separability)에 따른 분류 : 분리 가능한 방식(separable method)과 분리 불가능한 방식(non-separable method)
여기서, 상기 전역 변환 방식은 전역 파라미터(global parameter)로 표현되는 다항식(polynomial equation)으로 영상 내 모든 화소(pixel)의 공간 변환 위치가 정해지는 방식이다. 따라서 변환의 다양성은 떨어지는 반면 적은 수의 파라미터로 불연속없이 부드러운(smooth) 공간 변환 성능을 낼 수 있다. 이에 반하여 상기 지역 변환 방식은 영상의 각 지역(local area)마다 다른 파라미터의 다항식을 이용하여 변환하는 방식이다. 따라서 지역의 경계 부분에서 불연속이 발생할 수 있기 때문에 후처리(post-processing) 과정을 필요로 하고, 또한 지역마다 다른 파라미터를 사용해야 하므로, 전역 변환 방식에 비하여 많은 수의 파라미터를 필요로 한다. 그러나 전역 변환 방식에 비하여 다양한 변환이 가능한 방식이다. 여기서 소스 영상(source image)의 좌표를 (u,v), 타깃 영상(target image)의 좌표를 (x,y)로 표현할 때, 도 1a, 도 1b는 전역 변환 방식과 지역 변환 방식을 비교하여 도시한 것이다.
한편, 도 2는 순방향 매핑과 역방향 매핑 방식을 비교하여 도시하고 있다. 상기 순방향 매핑 방식은 소스 영상의 좌표를 독립변수로 하고 타깃 영상(target image)의 좌표를 종속변수로 하는 변환 관계식으로 표현되고, 상기 역방향 매핑 방식은 타깃 영상의 좌표를 독립변수로 하고 소스 영상의 좌표를 종속 변수로 하는 관계식으로 나타난다. 여기서, 상기 순방향 매핑 방식은 소스 영상의 각 화소들을 타깃 영상으로 매핑하는 방식이기 때문에 타깃 영상의 화소들 중에는 매핑이 되지 않거나(hole이 발생), 중복 매핑(multiple mapping)되는 문제가 있다. 따라서 이를 보완하기 위해 필터링과 같은 후처리 과정이 요구된다. 이러한 이유로 역방향 매핑 방법이 많이 사용되고있다.
또한, 상기 영상 워핑은 2차원 공간 좌표 변환 과정으로 일반적으로 수평, 수직 방향으로 분리할 수 없는(non-separable) 알고리즘이다.
그러나, 스캔라인 알고리즘(scanline algorithm)(Catmull, Edwind and Alvy Ray Smith, 3-D Transformations of Images in Scanline Order, Computer Graphics, (SIGGRAPH'80 Proceedings), vol. 14, no. 3, pp.279-285, July 1980)을 이용하면 많은 2차원 변환 과정을 연속된 1차원 변환 과정으로 대치할 수 있다. 상기 스캔라인 알고리즘을 이용하여 연속된 1차원 변환 과정으로 분리할 수 있는 경우 이를 넓은 의미로 분리 가능(separable in wide sense)하다고 한다.
도 3은 수평, 수직 분리 가능한 워핑 알고리즘 즉, 상기 Catmull과 Smith가 제안한 스캔라인 알고리즘을 개략적으로 나타낸 구성 블록도로서, 수평 워핑 처리기(301)에서 수평 스캔 데이터를 입력받아 수평 방향으로 워핑을 수행하여 메모리(302)에 저장한다. 그리고, 수직 워핑 처리기(303)에서는 메모리(302)에 저장된 수평 워핑된 데이터를 수직 방향으로 스캔하면서 읽어와 수직 방향으로 워핑을 수행하여 최종적으로 수평, 수직 워핑된 데이터를 출력한다.
즉, 수평, 수직 분리 가능한 알고리즘의 경우 도 3과 같이 수평과 수직 방향으로 각각 스캔하면서 데이터를 처리하기 때문에 라인 메모리(line memory)가 필요 없고, 메모리로부터 데이터 접근이 용이하므로 효율적인 메모리 제어가 가능하다. 여기서 수평, 수직 워핑 처리 순서는 바뀔 수 있다. 즉, 상기 Catmull과 Smith는 순방향 매핑 함수의 스캔라인 알고리즘 제안하였다. 이를 간단히 설명하면 다음과 같다.
「Catmull과 Smith의 스캔라인 알고리즘」
상기 순방향 매핑에 의한 공간 변환은 다음의 수학식 1로 표현된다.
[x,y] = T(u,v) = [X(u,v), Y(u,v)]
여기서, T는 순방향 변환 함수를 나타내고, X,Y는 T를 각각 수평, 수직 좌표로 나누어 표시한 함수이다. 만일 T(u,v)=F(u)G(v)이면, 함수 T는 분리 가능하다고 한다. 여기서 F,G는 2-패스 함수(2-pass function)라고 한다. 이것은 첫번째 단계에서 F 함수를 처리하고, 두번째 단계에서 G 함수를 처리함으로써 공간 변환을 할 수 있기 때문이다.
그러나 일반적인 공간 변환 함수는 분리 가능하지 않다. 따라서 함수 F와 G는 (u,v)의 함수가 된다. 즉, T(u,v)=F(u,v)G(u,v)이다.
상기 Catmull과 Smith는 분리 가능하지 않은 함수를 스캔라인 처리(scanline processing)하기 위한 2-패스 알고리즘을 제안하였다.
여기서, Isrc, Iint, Itgt를 각각 소스영상, 중간영상, 타깃영상이라고 할 때 2-패스 알고리즘은 다음과 같이 3단계로 설명된다.
단계 1 : 소스 영상의 수직 좌표 v를 상수로 가정하고 수평 스캔라인 함수(horizontal scanline function)를 다음과 같이 정의한다. Fv(u)=X(u,v). 이 매핑 함수를 이용하여 수평 방향으로 다음의 수학식 2로 표현되는 좌표 변환을 수행하여 수평 워핑된 중간영상(intermediate image) Iint을 만든다.
즉, v는 상수라 가정하여 그대로 두고, 소스 영상의 u 위치의 데이터를 중간 영상의 x 위치에 매핑한다.
단계 2 : 단계 1을 거쳐서 만들어진 중간 영상은 (x,v) 좌표로 표현된다. 이때, 수직 방향의 처리를 위해서는 (u,v) 좌표로 표현된 중간영상이 필요하므로 수학식 1의 x=X(u,v)의 식으로부터 x를 상수로 놓고 u에 대하여 풀면 보조함수(auxiliary function) Hx(v)가 유도된다. 즉, u=Hx(v)로서, v 형태로만 표현된다. 여기서 보조함수 Hx(v)는 닫힌 형태(closed form)로 표현되지 않는 경우가 많으며, 그런 경우에는 뉴튼-랩슨 반복법(Newton-Raphson iteration method)과 같은 수치 해석법(numerical method)으로 풀어야 한다.
단계 3: 보조함수를 이용하여 수직 스캔라인 함수(vertical scanline function)를 다음과 같이 정의한다. 즉, Gx(v)=Y(Hx(v),v)로서, v만의 함수로 만들어진다. 따라서, 수직 방향으로 워핑을 수행할 수 있다. 즉, 상기 v 형태로만 표현된 매핑 함수 Gx(v)=Y(Hx(v),v)를 이용하여 중간 영상을 수직 방향으로 스캔하면서 다음의 수학식 3으로 표현되는 좌표 변환을 수행하여 수평, 수직 워핑된 타깃 영상(target image) Itgt을 만든다.
이때, 상기 스캔라인 알고리즘의 구현상 가장 어려운 문제는 단계2의 보조함수를 구하는 일이다. 이는 일반적으로 닫힌 형태의 보조함수 표현식은 구할 수 없기 때문이다.
따라서, 미국 특허 U.S. 5,204,944(Geroge Wolberg, Terrance E. Boult, Separable Image Warping Methods and Systems using Spatial Lookup Tables)에서는 지역 변환 방식과 순방향 변환 방식에 대하여 앞에서 설명한 스캔라인 알고리즘의 구현 방안을 제안하였다. 여기서 보조 함수를 구하는 문제를 해결하기 위하여 룩업 테이블(Lookup Table)을 사용하여 영상 데이터와 함께 입력 좌표도 동시에 리샘플링(resampling)하는 방식을 사용하였다.
그러나, 이 방법은 좌표를 리샘플링하기 위하여 추가로 많은 하드웨어가 소요된다. 또한, 앞에서 언급했듯이 순방향 변환 방식은 타깃 영상의 화소들 중에 매핑이 되지 않거나(hole이 발생), 중복 매핑(multiple mapping)되는 화소가 발생하는 문제점이 있으며, 이로 인해 순방향 변환 방식은 별도의 후처리 과정이 필요하기 때문에 알고리즘의 복잡도가 증가하여 구현 비용이 증가하는 단점이 있다.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 역방향 변환 방식으로 스캔라인 알고리즘을 구현함으로써, 스캔라인 알고리즘을 단순화하고 구현 비용을 최소화하면서 프로젝션 TV, 프로젝터, 모니터 등의 디스플레이 장치에서 광학적 또는 기계적 변형에 의한 화면 왜곡을 보정하는 영상 워핑 방법 및 장치를 제공함에 있다.
상기와 같은 목적을 달성하기 위한 본 발명에 따른 영상 워핑 방법은,
(a) 소스 영상의 좌표를 (u,v), 타깃 영상의 좌표를 (x,y)로 표현할 때 역방향 매핑 함수 v=V(x,y)로부터 소스 영상의 좌표 v를 상수로 놓고 타깃 영상의 좌표 y에 대한 해를 구하여 보조 함수(y=Hv(x))를 유도하는 단계;
(b) 상기 보조 함수(y=Hv(x))를 역방향 매핑 함수 u=U(x,y)에 적용하여 수평 워핑된 중간 영상을 만드는 단계; 그리고
(c) 상기 수평 워핑된 중간 영상을 v=V(x,y)에 적용하여 수평, 수직 워핑된 타깃 영상을 만드는 단계를 포함하여 이루어지는 것을 특징으로 한다.
상기 (b) 단계는 타깃 영상의 x값과 폴리노미얼의 계수 a00∼a21 그리고, 상기 (a) 단계의 y=Hv(x)값을 입력받아 다음의 역방향 매핑 함수에 적용하여 소스 영상의 좌표 u를 구하는 단계와, 상기 단계의 좌표 u의 데이터에 보간을 수행하여 수평 워핑된 중간 영상 Iint(x,v)을 만드는 단계로 이루어지는 것을 특징으로 한다.
상기 (c) 단계는 상기 v=V(x,y)를 상기 (b) 단계의 중간 영상 Iint(x,v)에 적용(Iint(x,V(x,y))하는 단계와, 타깃 영상의 x,y값과 폴리노미얼의 계수 b00∼b21 그리고, 상기 단계의 매핑 함수(Iint(x,V(x,y))를 다음의 역방향 매핑 함수에 적용하여 소스 영상의 좌표 v를 구하는 단계와, 상기 단계의 좌표 v의 데이터에 보간을 수행하여 수평, 수직 워핑된 타깃 영상 Itgt(x,y)을 만드는 단계로 이루어지는 것을 특징으로 한다.
본 발명에 따른 영상 워핑 장치는, 소스 영상의 좌표를 (u,v), 타깃 영상의 좌표를 (x,y)로 표현할 때 수평 스캔된 타깃 영상의 x값과 폴리노미얼의 계수 b00∼b21를 입력받고, v를 상수로 놓은 후 타깃 영상의 좌표 y에 대한 해를 구하여 보조 함수(y=Hv(x))를 유도한 후 상기 보조 함수(y=Hv(x))를 역방향 매핑 함수 u=U(x,y)에 적용하여 수평 워핑된 중간 영상을 만드는 수평 워핑 처리부와, 상기 수평 워핑 처리부의 수평 워핑된 중간 영상을 저장하는 메모리와, 상기 메모리에 저장된 수평 워핑된 중간 영상을 수직방향으로 스캔한 후 역방향 매핑 함수 v=V(x,y)에 적용하여 수평, 수직 워핑된 타깃 영상을 만드는 수직 워핑 처리부를 포함하여 구성되는 특징으로 한다.
상기 수평 워핑 처리부는 타깃 영상의 x값과 폴리노미얼의 계수 b00∼b21를 입력받고, v를 상수로 놓은 후 타깃 영상의 좌표 y에 대한 해를 구하여 보조 함수(y=Hv(x))를 유도하는 보조 함수 산출부와, 상기 보조 함수(y=Hv(x))와 타깃 영상의 x값 그리고, 폴리노미얼의 계수 a00∼a21를 입력받아 다음의 역방향 매핑 함수에 적용하여 소스 영상의 좌표 u를 구하는 u 좌표 산출부와, 상기 좌표 u 중 정수 부분 uint는 어드레스로 출력하고, 소수 부분 은 보간 계수로 출력하는 어드레스 및 보간 계수 검출부와, 상기 어드레스에 저장된 소스 영상의 데이터를 출력하는 메모리와, 상기 보간 계수로 상기 메모리에서 출력되는 데이터를 보간하여 수평 워핑된 중간 영상 Iint(x,v)을 출력하는 보간부로 구성되는 것을 특징으로 한다.
상기 수직 워핑 처리부는 역방향 매핑 함수 v=V(x,y)를 상기 중간 영상 Iint(x,v)에 적용(Iint(x,V(x,y))하고, 타깃 영상의 x,y값과 폴리노미얼의 계수 b00∼b21 그리고, 상기 단계의 매핑 함수(Iint(x,V(x,y))를 다음의 역방향 매핑 함수에 적용하여 소스 영상의 좌표 v를 구하는 v 좌표 산출부와, 상기 좌표 v 중 정수 부분 vint는 어드레스로 출력하고, 소수 부분 은 보간 계수로 출력하는 어드레스 및 보간 계수 검출부와, 상기 어드레스에 저장된 중간 영상의 데이터를 출력하는 메모리와, 상기 보간 계수로 상기 메모리에서 출력되는 데이터를 보간하여 수평, 수직 워핑된 타깃 영상 Itgt(x,y)을 출력하는 보간부로 구성되는 것을 특징으로 한다.
본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.
통상 영상 디스플레이 장치에서 광학적 또는 기계적 요인에 의하여 발생하는 영상의 왜곡을 보정하기 위해서는 기하학적인 공간 변환이 필요하다. 이때, 소스 영상(source image)의 좌표를 (u,v), 타깃 영상(target image)의 좌표를 (x,y)로 표현할 때, 공간 변환에 사용하는 역방향 매핑 함수는 다음의 수학식 4와 같은 폴리노미얼의 형태를 갖는다.
여기서, , 는 폴리노미얼의 계수를 나타내고, N은 폴리노미얼의 차수(order)를 나타낸다. 이때, 상기 폴리노미얼의 차수가 커질수록 표현할 수 있는 왜곡의 형태는 많아지는 반면, 폴리노미얼의 계수가 증가함으로써 알고리즘의 복잡도 및 구현 비용이 증가한다.
그리고, 디스플레이 장치에 흔히 존재하는 왜곡의 유형은 도 4와 같다. 폴리노미얼의 차수에 따라 보정(correction) 가능한 왜곡은 다음과 같다.
. 1 차 : 쉬프팅(shifting)(도 4a 참조), 스케일링(scaling)(도 4b 참조), 수평, 수직 스큐(skew)(도 4c, 도 4d 참조), 틸트(tilt)(도 4f 참조)
. 2 차 : 키스톤(keystone)(도 4e 참조)
. 3 차 : 핀쿠션(pincushion)(도 4g 참조), 배럴(barrel)(도 4h 참조)
따라서, 도 4에 나타난 왜곡의 유형을 보정하기 위해서는 최소 3차 이상의 폴리노미얼을 사용해야 함을 알 수 있다.
한편, 본 발명에서 제안하는 역방향 매핑 함수의 스캔라인 알고리즘은 다음과 같이 3단계로 수행된다.
. 단계1 : 상기 수학식 4의 v=V(x,y) 로부터 소스 영상의 수직 좌표 v를 상수로 놓고 타깃 영상의 수직 좌표 y에 대한 해를 구하면 보조함수 Hv(x)가 유도된다. 즉, y=Hv(x)이다.
. 단계2 : 단계 1에서 구한 보조함수 Hv(x)를 상기 수학식 4의 첫번째 함수에 적용하면, u=U(x, Hv(x))로서, x만의 함수로 표현된다. 이 매핑 함수를 이용하여 다음의 수학식 5와 같이 수평 워핑된 중간영상 Iint을 만든다.
. 단계3 : 상기 수학식 5와 같이 수평 워핑된 영상에 상기 수학식 4의 두번째 함수 v=V(x,y)를 이용하여 다음의 수학식 6과 같이 수평, 수직 워핑된 영상을 만든다.
즉, 타깃 영상의 x 값을 이용하여 소스 영상의 u 위치를 찾은 후 소스 영상의 u 위치의 데이터를 타깃 영상의 x 위치에 매핑한다. 그리고 나서, 타깃 영상의 x,y 값을 이용하여 소스 영상의 v 위치를 찾은 후 v 위치의 데이터를 가져와 타깃 영상의 y 위치에 매핑한다. 그러면, 수평, 수직 워핑된 데이터를 얻을 수 있다.
여기서 수평, 수직 워핑의 순서를 바꿀 수 있다.
본 발명에서 제안하는 스캔라인 알고리즘과 상기 수학식 1로 표현되는 전역 매핑 함수로부터 구체적인 영상 워핑 구현 방법은 다음과 같다.
제 1 실시예
상기 수학식 4로부터 3차 폴리노미얼을 풀어 쓰면 다음의 수학식 7과 같다.
상기 수학식 7에서 3제곱 항은 도 4에 도시한 유형의 왜곡 보정에는 불필요하기 때문에 이를 제거하면 다음의 수학식 8과 같이 단축된 매핑 함수를 얻는다.
이때, 보조 함수를 계산하기 위하여 상기 수학식 8의 두번째 식에서 v를 상수로 놓고 y에 대해서 정리하면 다음의 수학식 9와 같은 2차 함수로 표현된다.
근의 공식으로부터, 상기 수학식 9의 y는 다음의 수학식 10과 같이 구할 수 있다.
여기서 다음과 같이 3가지의 종류의 근이 존재할 수 있는데, 각 경우에 있어서 처리 방법을 달리해야 한다.
경우1) 두개의 실근이 존재하는 경우( > 4AC) : 두개의 근
중에 하나를 임의로 선택하여 사용한다.
경우2) 한 개의 실근이 존재하는 경우 (B2=4AC) : 근은 이다.
경우3) 두 개의 허근이 존재하는 경우 (<4AC) : 두개의 근은
이 된다. 이때, 실제적으로 허수 값을 갖는 좌표는 존재하지 않으므로 상기 식에서 허수 항을 무시하면 경우 2와 같은 근이 얻어진다.
상기와 같이 보조 함수 y=Hv(x)가 계산된 이후에는 상기 수학식 5, 수학식 6을 각각 이용하여 수평, 수직으로 공간 변환을 수행한다. 이때, 변환 함수에 의해서 매핑된 좌표는 일반적으로 소스 영상의 화소 샘플에 위치하지 않으므로 주위 화소를 이용한 보간(interpolation) 기법을 사용하여 매핑된 좌표의 화소 값을 계산한다.
도 5는 수평 워핑 처리 장치의 구성 블록도를, 도 6은 수직 워핑 처리 장치의 구성 블록도를 나타낸다. 영상의 중심을 좌표의 원점으로 하고 소스 영상의 크기를 , 타깃 영상의 크기를 라 하면, 수평 워핑 처리기의 입력 좌표 v, x는 각각 의 범위를 갖는 정수(integer number)이다. 수평 워핑 처리기로부터 계산된 좌표 u는 실수(real number)가 된다. 여기서 정수 부분 uint는 메모리에서 데이터를 읽을 위치를 지정하는 어드레스로 사용하고, 소수 부분 은 보간 계수로 사용한다.
먼저, 도 5의 수평 워핑 처리 장치를 보면 부호 501, 502를 보조함수 산출부라 하며, 부호 501에서는 수평 방향으로 스캔된 타깃 영상의 x 그리고, 폴리노미얼의 계수 b00∼b21를 입력받아, v를 상수로 놓고 상기된 수학식 9와 같이 y에 대해서 정리하여 2차 함수로 표현한다(즉, Ay2+By+C=0). 그리고, 부호 502에서는 근의 공식을 이용하여 y에 대한 해 즉, 보조 함수를 상기 수학식 10과 같이 구하여(y=Hv(x)), u 좌표 산출부(503)로 출력한다.
그리고, 상기 u 좌표 산출부(503)에서는 상기 보조 함수를 수학식 4의 첫 번째 함수에 적용하여 즉, x와 a00∼a21 그리고, 상기 수학식 10에서 구한 y값을 입력받아 소스 영상의 좌표 u를 구한 후 어드레스 및 보간 계수 검출부(504)로 출력한다. 상기 어드레스 및 보간 계수 검출부(504)는 상기 좌표 u 중 정수 부분 uint는 메모리(505)에서 데이터를 읽을 위치를 지정하는 어드레스로 출력되고, 소수 부분 (=u-uint)은 보간부(506)에 보간 계수로 출력된다.
상기 메모리(505)는 입력된 어드레스(addr)에 저장된 소스 영상의 데이터 Isrc(uint,v)를 보간부(506)로 출력하고, 상기 보간부(506)는 어드레스 및 보간 계수 검출부(504)에서 출력되는 보간 계수 로 상기 메모리(505)에서 출력되는 소스 영상의 데이터 Isrc(uint,v)를 보간하여 상기 수학식 5와 같이 중간 영상 Iint(x,v)를 출력한다.
여기서, 상기 수학식 5의 변환 함수에 의하여 매핑된 좌표는 일반적으로 소스 영상의 화소 샘플 u에 위치하지 않으므로 보간부(506)에서 주위 화소를 이용한 보간(interpolation) 기법을 사용하여 매핑된 좌표의 화소 값을 계산한다.
도 7은 이러한 보간법 중의 하나로서, 양선형 보간(bilinear interpolation)을 사용하는 경우를 도시한 것이다.
즉, 도 7의 양선형 보간은 하기의 수학식 11과 같이 표현할 수 있다.
만일, 도 5의 수평 워핑 영상 처리 장치가 먼저 수행된다면, 상기 수평 워핑된 중간 영상은 메모리에 저장된다. 이후 상기 메모리에 저장된 중간 영상은 수직 방향으로 스캔된 후 역방향 매핑 함수에 적용되어 최종적으로 수평, 수직 워핑된 타깃 영상이 만들어진다.
따라서, 도 6의 수직 워핑 영상 처리를 보면, v 좌표 산출부(601)는 메모리에 저장된 중간 영상을 수직 방향으로 스캔하고, 타깃 영상의 x,y 그리고, 폴리노미얼의 계수 b00∼b21를 입력받아, 상기된 수학식 7에 적용하여 소스 영상의 좌표 v를 구한 후 어드레스 및 보간 계수 검출부(602)로 출력한다. 상기 어드레스 및 보간 계수 검출부(602)는 상기 좌표 v 중 정수 부분 vint는 메모리(603)에서 데이터를 읽을 위치를 지정하는 어드레스로 출력되고, 소수 부분 (=v-vint)은 보간부(604)에 보간 계수로 출력된다.
상기 메모리(603)는 입력된 어드레스(addr)에 저장된 중간 영상의 데이터 Iint(x,vint)를 보간부(604)로 출력하고, 상기 보간부(604)는 어드레스 및 보간 계수 검출부(603)에서 출력되는 보간 계수 로 상기 메모리(603)에서 출력되는 중간 영상의 데이터 Iint(x,vint)를 보간하여 상기 수학식 6과 같이 타깃 영상 Itgt(x,y)를 출력한다.
마찬가지로, 상기 수학식 6의 변환 함수에 의하여 매핑된 좌표는 일반적으로 소스 영상의 화소 샘플 v에 위치하지 않으므로 보간부(604)에서 주위 화소를 이용한 보간(interpolation) 기법을 사용하여 매핑된 좌표의 화소 값을 계산한다.
제 2 실시예
상기된 제 1 실시예에서 비교적 많은 계산량과 하드웨어를 필요로 하는 것은 보조함수를 계산하는 부분이다. 여기에 약간의 근사화(approximation)를 허용하면 워핑 성능의 저하없이 많은 하드웨어 및 계산량을 절약할 수 있다.
즉, 상기 수학식 9의 2차 함수에서 대부분의 경우에 A는 B,C에 비하여 매우 작은 값을 갖는다. 이 사실을 이용하면 상기 수학식 9는 다음의 수학식 12와 같이 1차 함수로 근사화될 수 있다.
근의 공식으로부터, 상기 수학식 12의 y는 다음의 수학식 13과 같이 단순하게 구할 수 있다.
상기와 같이 보조 함수 y=Hv(x)가 계산된 이후에는 상기된 수학식 5, 수학식 6을 각각 이용하여 수평, 수직으로 공간 변환을 수행한다.
이상에서와 같이 본 발명에 따른 영상 워핑 방법 및 장치에 의하면, 역방향 변환 방식으로 스캔라인 알고리즘을 구현함으로써, 스캔라인 알고리즘을 단순화하고 구현 비용을 최소화하면서 프로젝션 TV, 프로젝터, 모니터 등의 디스플레이 장치에서 광학적 또는 기계적 변형에 의하여 발생하는 화면 왜곡 현상을 보정할 수 있다.
즉, 본 발명은 역방향 매핑 방식을 사용하기 때문에 매핑되지 않는 화소 및 중복 매핑되는 화소가 발생되지 않으며, 또한 전역 변환 방식을 사용하기 때문에 적은 수의 파라미터로 전체 영상에 대한 불연속 없는 부드러운 공간 변환을 가능하게 한다. 따라서 별도의 후처리 과정이 필요없다.
그리고, 스캔라인 알고리즘을 사용함으로써, 하드웨어 구현 측면에서 회로의 단순화 및 비용 절감뿐 아니라 효율적인 메모리 접근을 가능하게 한다.
그러므로, 본 발명은 화면의 왜곡 보정이 필수적인 프로젝터, 모니터 뿐 아니라 프로젝션 TV에 적용시 가격과 성능면에서 경쟁력이 있게 된다.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.
따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이 아니라 특허 청구의 범위에 의하여 정해져야 한다.
도 1a, 도 1b는 영상 워핑 방법 중 전역 변환 방식과 지역 변환 방식을 도시한 도면
도 2는 영상 워핑 방법 중 순방향 매핑과 역방향 매핑 방식을 도시한 도면
도 3은 수평, 수직 분리 가능한 워핑 알고리즘을 도시한 구성 블록도
도 4a 내지 도 4h는 일반적인 디스플레이 장치에 존재하는 왜곡의 유형을 보인 도면
도 5는 본 발명에 따른 수평 워핑 처리 장치의 구성 블록도
도 6은 본 발명에 따른 수직 워핑 처리 장치의 구성 블록도
도 7은 본 발명에 따른 양선형 보간 방법을 도시한 도면
도면의 주요부분에 대한 부호의 설명
501, 502 : 보조 함수 산출부 503 : u 좌표 산출부
504,602 : 어드레스 및 보간 계수 검출부
505,603 : 메모리 506,604 : 보간부
601 : v 좌표 산출부

Claims (14)

  1. (a) 소스 영상의 좌표를 (u,v), 타깃 영상의 좌표를 (x,y)로 표현할 때 역방향 매핑 함수 v=V(x,y)로부터 소스 영상의 좌표 v를 상수로 놓고 타깃 영상의 좌표 y에 대한 해를 구하여 보조 함수(y=Hv(x))를 유도하는 단계;
    (b) 상기 보조 함수(y=Hv(x))를 역방향 매핑 함수 u=U(x,y)에 적용하여 수평 워핑된 중간 영상을 만드는 단계; 그리고
    (c) 상기 수평 워핑된 중간 영상을 v=V(x,y)에 적용하여 수평, 수직 워핑된 타깃 영상을 만드는 단계를 포함하여 이루어지는 것을 특징으로 하는 영상 워핑 방법.
  2. 제 1 항에 있어서, 상기 (a) 단계는
    다음의 역방향 매핑 함수
    에서 v=V(x,y)의 v를 상수로 놓고 y에 대해 정리하여 하기의 수학식과 같이 2차 함수로 표현하는 단계와,
    근의 공식으로부터 상기 2차 함수의 y 값을 구하여 보조 함수()를 출력하는 단계로 이루어지는 것을 특징으로 하는 영상 워핑 방법.
  3. 제 2 항에 있어서,
    > 4AC이면 y에 대해 두개의 실근이 존재하며, 이 경우에는 두개의 근
    중에 하나를 임의로 선택하여 보조 함수로 출력하는 것을 특징으로 하는 영상 워핑 방법.
  4. 제 2 항에 있어서,
    B2=4AC이면 y에 대해 한 개의 실근()이 존재하며, 보조 함수로 이 출력되는 것을 특징으로 하는 영상 워핑 방법.
  5. 제 2 항에 있어서,
    <4AC이면 y에 대해 두 개의 허근이 존재하지만 실제적으로 허수 값을 갖는 좌표는 존재하지 않으므로 이때에는 보조 함수로 이 출력되는 것을 특징으로 하는 영상 워핑 방법.
  6. 제 1 항에 있어서, 상기 (a) 단계는
    다음의 역방향 매핑 함수
    에서 v=V(x,y)의 v를 상수로 놓고 y에 대해 정리하여 하기의 수학식과 같이 2차 함수로 표현하는 단계와,
    상기 2차 함수의 y 값을 구하여 보조 함수()로 출력하는 단계로 이루어지는 것을 특징으로 하는 영상 워핑 방법.
  7. 제 1 항에 있어서, 상기 (b) 단계는
    타깃 영상의 x값과 폴리노미얼의 계수 a00∼a21 그리고, 상기 (a) 단계의 y=Hv(x)값을 입력받아 다음의 역방향 매핑 함수에 적용하여 소스 영상의 좌표 u를 구하는 단계와,
    상기 단계의 좌표 u의 데이터에 보간을 수행하여 수평 워핑된 중간 영상 Iint(x,v)을 만드는 단계로 이루어지는 것을 특징으로 하는 영상 워핑 방법.
  8. 제 1 항에 있어서, 상기 (c) 단계는
    상기 v=V(x,y)를 상기 (b) 단계의 중간 영상 Iint(x,v)에 적용(Iint(x,V(x,y))하는 단계와,
    타깃 영상의 x,y값과 폴리노미얼의 계수 b00∼b21 그리고, 상기 단계의 매핑 함수(Iint(x,V(x,y))를 다음의 역방향 매핑 함수에 적용하여 소스 영상의 좌표 v를 구하는 단계와,
    상기 단계의 좌표 v의 데이터에 보간을 수행하여 수평, 수직 워핑된 타깃 영상 Itgt(x,y)을 만드는 단계로 이루어지는 것을 특징으로 하는 영상 워핑 방법.
  9. 소스 영상의 좌표를 (u,v), 타깃 영상의 좌표를 (x,y)로 표현할 때 수평 스캔된 타깃 영상의 x값과 폴리노미얼의 계수 b00∼b21를 입력받고, v를 상수로 놓은 후 타깃 영상의 좌표 y에 대한 해를 구하여 보조 함수(y=Hv(x))를 유도한 후 상기 보조 함수(y=Hv(x))를 역방향 매핑 함수 u=U(x,y)에 적용하여 수평 워핑된 중간 영상을 만드는 수평 워핑 처리부;
    상기 수평 워핑 처리부의 수평 워핑된 중간 영상을 저장하는 메모리; 그리고
    상기 메모리에 저장된 수평 워핑된 중간 영상을 수직방향으로 스캔한 후 역방향 매핑 함수 v=V(x,y)에 적용하여 수평, 수직 워핑된 타깃 영상을 만드는 수직 워핑 처리부를 포함하여 구성되는 특징으로 하는 영상 워핑 장치.
  10. 제 9 항에 있어서, 상기 수평 워핑 처리부는
    타깃 영상의 x값과 폴리노미얼의 계수 b00∼b21를 입력받고, v를 상수로 놓은 후 타깃 영상의 좌표 y에 대한 해를 구하여 보조 함수(y=Hv(x))를 유도하는 보조 함수 산출부와,
    상기 보조 함수(y=Hv(x))와 타깃 영상의 x값 그리고, 폴리노미얼의 계수 a00∼a21를 입력받아 다음의 역방향 매핑 함수()에 적용하여 소스 영상의 좌표 u를 구하는 u 좌표 산출부와,
    상기 좌표 u 중 정수 부분 uint는 어드레스로 출력하고, 소수 부분 (=u-uint)은 보간 계수로 출력하는 어드레스 및 보간 계수 검출부와,
    상기 어드레스에 저장된 소스 영상의 데이터를 출력하는 메모리와,
    상기 보간 계수로 상기 메모리에서 출력되는 데이터를 보간하여 수평 워핑된 중간 영상 Iint(x,v)을 출력하는 보간부로 구성되는 것을 특징으로 하는 영상 워핑 장치.
  11. 제 10 항에 있어서, 상기 보조 함수 산출부는
    다음의 역방향 매핑 함수
    에서 v=V(x,y)의 v를 상수로 놓고 y에 대해 정리하여 하기의 수학식과 같이 2차 함수로 나타내고,
    근의 공식으로부터 상기 2차 함수의 y값을 구하여 보조 함수()를 출력하는 것을 특징으로 하는 영상 워핑 장치.
  12. 제 10 항에 있어서, 상기 보조 함수 산출부는
    다음의 역방향 매핑 함수
    에서 v=V(x,y)의 v를 상수로 놓고 y에 대해 정리하여 하기의 수학식과 같이 2차 함수로 나타내고,
    상기 2차 함수의 y값을 구하여 보조 함수()로 출력하는 것을 특징으로 하는 영상 워핑 장치.
  13. 제 10 항에 있어서, 상기 보간부는
    다음의 식에 보간 계수와 메모리에서 출력되는 중간 영상을 적용한 양선형 보간 방법으로 보간을 수행하는 것을 특징으로 하는 영상 워핑 장치.
  14. 제 9 항에 있어서, 상기 수직 워핑 처리부는
    역방향 매핑 함수 v=V(x,y)를 상기 중간 영상 Iint(x,v)에 적용(Iint(x,V(x,y))하고, 타깃 영상의 x,y값과 폴리노미얼의 계수 b00∼b21 그리고, 상기 단계의 매핑 함수(Iint(x,V(x,y))를 다음의 역방향 매핑 함수()에 적용하여 소스 영상의 좌표 v를 구하는 v 좌표 산출부와,
    상기 좌표 v 중 정수 부분 vint는 어드레스로 출력하고, 소수 부분 (=v-vint)은 보간 계수로 출력하는 어드레스 및 보간 계수 검출부와,
    상기 어드레스에 저장된 중간 영상의 데이터를 출력하는 메모리와,
    상기 보간 계수로 상기 메모리에서 출력되는 데이터를 보간하여 수평, 수직 워핑된 타깃 영상 Itgt(x,y)을 출력하는 보간부로 구성되는 것을 특징으로 하는 영상 워핑 장치.
KR10-2003-0006730A 2003-02-04 2003-02-04 영상 워핑 방법 및 장치 KR100525425B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR10-2003-0006730A KR100525425B1 (ko) 2003-02-04 2003-02-04 영상 워핑 방법 및 장치
US10/769,802 US20040156558A1 (en) 2003-02-04 2004-02-03 Image warping method and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR10-2003-0006730A KR100525425B1 (ko) 2003-02-04 2003-02-04 영상 워핑 방법 및 장치

Publications (2)

Publication Number Publication Date
KR20040070565A KR20040070565A (ko) 2004-08-11
KR100525425B1 true KR100525425B1 (ko) 2005-11-02

Family

ID=32822634

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-0006730A KR100525425B1 (ko) 2003-02-04 2003-02-04 영상 워핑 방법 및 장치

Country Status (2)

Country Link
US (1) US20040156558A1 (ko)
KR (1) KR100525425B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020184059A (ja) * 2019-04-29 2020-11-12 セイコーエプソン株式会社 回路装置、電子機器及び移動体

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ATE375571T1 (de) 2001-06-12 2007-10-15 Silicon Optix Inc Verfahen und vorrichtung zur verarbeitung einer nichtlinearen zweidimensionalen räumlichen transformation
JP4260634B2 (ja) * 2002-02-15 2009-04-30 富士通株式会社 画像変換方法及び装置、画像認識装置、ロボット制御装置並びに画像投影装置
CN100365658C (zh) * 2002-06-12 2008-01-30 奥普提克斯晶硅有限公司 用于光学异常的电子校正的系统和方法
US20080088527A1 (en) * 2006-10-17 2008-04-17 Keitaro Fujimori Heads Up Display System
US20080088528A1 (en) * 2006-10-17 2008-04-17 Takashi Shindo Warp Image Circuit
US7873233B2 (en) * 2006-10-17 2011-01-18 Seiko Epson Corporation Method and apparatus for rendering an image impinging upon a non-planar surface
US7835592B2 (en) * 2006-10-17 2010-11-16 Seiko Epson Corporation Calibration technique for heads up display system
US8442316B2 (en) 2007-01-05 2013-05-14 Geo Semiconductor Inc. System and method for improving color and brightness uniformity of backlit LCD displays
US8055070B2 (en) * 2007-01-05 2011-11-08 Geo Semiconductor Inc. Color and geometry distortion correction system and method
WO2008139577A1 (ja) * 2007-05-09 2008-11-20 Fujitsu Microelectronics Limited 画像処理装置、撮像装置、および画像歪み補正方法
JP5128207B2 (ja) * 2007-08-31 2013-01-23 シリコン ヒフェ ベー．フェー． 画像処理装置及び画像処理方法、画像処理プログラム
US8325282B2 (en) * 2008-04-08 2012-12-04 Mitsubishi Electric Visual Solutions America, Inc. Television automatic geometry adjustment system
US8063918B2 (en) * 2008-05-28 2011-11-22 Adobe Systems Incorporated Method and apparatus for rendering images with and without radially symmetric distortions
GB2461912A (en) * 2008-07-17 2010-01-20 Micron Technology Inc Method and apparatus for dewarping and/or perspective correction of an image
US8265422B1 (en) 2009-02-20 2012-09-11 Adobe Systems Incorporated Method and apparatus for removing general lens distortion from images
KR101621848B1 (ko) * 2009-12-14 2016-06-01 삼성전자주식회사 화상처리장치 및 방법
JP5793975B2 (ja) * 2010-08-03 2015-10-14 株式会社リコー 画像処理装置、画像処理方法、プログラム、記録媒体
WO2015025190A1 (en) * 2013-08-19 2015-02-26 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi Modular element in sintered expanded-polystyrene for building reinforced-concrete floors
CN103530852A (zh) * 2013-10-15 2014-01-22 南京芒冠光电科技股份有限公司 一种镜头畸变校正方法
US20170178288A1 (en) * 2015-12-21 2017-06-22 Stanislaw Adaszewski Two-dimensional piecewise approximation to compress image warping fields
CN111861865B (zh) * 2019-04-29 2023-06-06 精工爱普生株式会社 电路装置、电子设备以及移动体
US11153539B2 (en) * 2019-06-20 2021-10-19 Google Llc Methods and systems to pre-warp and image
KR20210096449A (ko) * 2020-01-28 2021-08-05 삼성전자주식회사 Hud 시스템에서 영상을 재생하는 방법 및 그 hud 시스템
US11508031B2 (en) * 2020-12-16 2022-11-22 Samsung Electronics Co., Ltd. Warping data
CN115661293B (zh) * 2022-10-27 2023-09-19 东莘电磁科技(成都)有限公司 一种电磁散射中目标瞬态感应特征图像生成方法

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5204944A (en) * 1989-07-28 1993-04-20 The Trustees Of Columbia University In The City Of New York Separable image warping methods and systems using spatial lookup tables
US5175808A (en) * 1989-09-12 1992-12-29 Pixar Method and apparatus for non-affine image warping
US5475803A (en) * 1992-07-10 1995-12-12 Lsi Logic Corporation Method for 2-D affine transformation of images
ATE375571T1 (de) * 2001-06-12 2007-10-15 Silicon Optix Inc Verfahen und vorrichtung zur verarbeitung einer nichtlinearen zweidimensionalen räumlichen transformation

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020184059A (ja) * 2019-04-29 2020-11-12 セイコーエプソン株式会社 回路装置、電子機器及び移動体
JP7467883B2 (ja) 2019-04-29 2024-04-16 セイコーエプソン株式会社 回路装置、電子機器及び移動体

Also Published As

Publication number Publication date
KR20040070565A (ko) 2004-08-11
US20040156558A1 (en) 2004-08-12

Similar Documents

Publication Publication Date Title
KR100525425B1 (ko) 영상 워핑 방법 및 장치
US7126616B2 (en) Method and system for processing a non-linear two dimensional spatial transformation
US7881563B2 (en) Distortion correction of images using hybrid interpolation technique
EP1157353B1 (en) Non-linear and linear method of scale-up or scale-down image resolution conversion
US20150262344A1 (en) Method And System For Correcting A Distorted Input Image
EP1800245B1 (en) System and method for representing a general two dimensional spatial transformation
EP0437074B1 (en) Special effects using polar image coordinates
JP2007143173A (ja) キーストーン歪みを防止する方法および装置
US6035075A (en) Image deforming method and apparatus
US5930407A (en) System and method for efficiently generating cubic coefficients in a computer graphics system
US6539128B1 (en) Method and apparatus for interpolation
US9332238B2 (en) Image processing apparatus and image processing method
US6961479B1 (en) Image processing device, image processing method, image-processing program recorded medium
JP2008263465A (ja) 画像処理システム及び画像処理プログラム
JP6632434B2 (ja) 画像処理装置、画像処理方法、及びプログラム
Oh et al. FPGA-based fast image warping with data-parallelization schemes
JPH06149993A (ja) 画像変換処理方法及び画像変換処理装置
JP2018120536A (ja) データ補間装置及びその方法、画像処理装置
JP6974954B2 (ja) 画像処理装置及びその制御方法
KR100546646B1 (ko) 화면 왜곡 보정 방법 및 장치
JPH0737079A (ja) 画像歪み補正方法及び装置
JP2013257665A (ja) 映像処理装置、映像処理装置の制御方法
KR20070102989A (ko) 2차원 공간변환을 표현하는 시스템과 방법
JP2004129212A (ja) 画像投射装置および画像変換方法
JP2020038730A (ja) 画像処理装置、画像処理方法、及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120926

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20130924

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20140924

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150924

Year of fee payment: 11

LAPS Lapse due to unpaid annual fee