KR20040093206A - Image distortion compensation method and apparatus - Google Patents
Image distortion compensation method and apparatus Download PDFInfo
- Publication number
- KR20040093206A KR20040093206A KR1020030025375A KR20030025375A KR20040093206A KR 20040093206 A KR20040093206 A KR 20040093206A KR 1020030025375 A KR1020030025375 A KR 1020030025375A KR 20030025375 A KR20030025375 A KR 20030025375A KR 20040093206 A KR20040093206 A KR 20040093206A
- Authority
- KR
- South Korea
- Prior art keywords
- coordinates
- warping
- coordinate
- calculated
- polynomial
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
- H04N9/3179—Video signal processing therefor
- H04N9/3185—Geometric adjustment, e.g. keystone or convergence
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/12—Picture reproducers
- H04N9/16—Picture reproducers using cathode ray tubes
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Geometry (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Video Image Reproduction Devices For Color Tv Systems (AREA)
- Projection Apparatus (AREA)
Abstract
Description
본 발명은 프로젝션 TV, 프로젝터, 모니터 등의 디스플레이 장치에서 광학적 또는 기계적 변형에 의한 화면의 기하학적 왜곡과 색상의 컨버전스를 보정하는 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for correcting geometric distortion and color convergence of a screen by optical or mechanical deformation in a display device such as a projection TV, a projector, a monitor, and the like.
대화면 TV에 대한 수요가 급증하면서 프로젝션 TV는 CRT, LCD, DLP 등의 제품군으로 다양화되고 있다.As demand for large-screen TVs surges, projection TVs are diversifying into CRT, LCD, and DLP products.
도 1은 CRT 프로젝션 TV의 구조의 예를 나타낸 것으로서, R, G, B 각각의 CRT로부터 나오는 영상을 렌즈를 통하여 확대하고, 이를 거울을 통하여 반사시켜 대형 스크린에 투사함으로써, 소비자의 대화면에 대한 욕구를 충족시키고 있다.Figure 1 shows an example of the structure of the CRT projection TV, the image from each of the R, G, B CRT magnified through the lens, reflected through a mirror and projected on a large screen, the consumer's desire for the large screen To meet.
그러나, 이런 과정에서 불가피하게 광학적 또는 기계적 요인에 의한 화면 왜곡이 발생한다. 더구나 R, G, B 세 개의 광원에서 만들어진 신호는 각각 다른 경로를 통하여 스크린에 투사되기 때문에 화면에 나타나는 왜곡의 형태도 다르다. 결과적으로 최종 디스플레이 되는 영상은 기하학적인 왜곡과 함께 색상 컨버전스(convergence)가 맞지 않는 문제가 발생한다.However, this process inevitably causes screen distortion due to optical or mechanical factors. In addition, since the signals generated from the three light sources R, G, and B are projected onto the screen through different paths, the shape of distortion on the screen is different. As a result, the final displayed image has a geometric distortion and color convergence (convergence) does not match.
기존의 아날로그 프로젝션 TV에서는 R, G, B 각각의 컨버전스 요크(convergence yoke)에 보정 전류를 인가하여 전자빔의 경로를 조정함으로써 컨버전스를 맞추는 방법을 사용하고 있다. 그러나 이 방법은 화면의 대형화에 따라발생하는 비선형적 왜곡을 처리하기 위하여 복잡한 연산장치가 필요할 뿐 아니라 일정 시간이 지나면 재조정이 필요하다는 문제를 가지고 있다.Conventional analog projection TVs use a method of adjusting convergence by applying a correction current to the convergence yokes of R, G, and B, respectively, to adjust the path of the electron beam. However, this method has a problem that not only a complicated computing device is required to handle the nonlinear distortion caused by the enlargement of the screen, but also a readjustment after a certain time.
최근에 디지털 TV의 보급이 확산되면서 디지털 신호처리(digital signal processing : DSP) 기술을 이용한 광학적 왜곡 및 색상 컨버전스 보정을 하려는 연구가 진행되고 있다. 즉, 도 2와 같이 R, G, B 각각에 대하여 영상 신호 처리를 통한 왜곡의 역변환을 수행함으로써, 최종적으로 보정된 영상이 디스플레이 되도록 만드는 것이다. 즉, R 디지털 영상 처리기(201)는 R 신호에 대한 영상 왜곡을 보정하여 D/A 컨버터(202)에서 아날로그화한 후 투영부(207)로 출력한다. G 디지털 영상 처리기(203)는 G 신호에 대한 영상 왜곡을 보정하여 D/A 컨버터(204)에서 아날로그화한 후 투영부(207)로 출력한다. B 디지털 영상 처리기(205)는 B 신호에 대한 영상 왜곡을 보정하여 D/A 컨버터(206)에서 아날로그화한 후 투영부(207)로 출력한다.Recently, with the spread of digital TV, research is being conducted to correct optical distortion and color convergence using digital signal processing (DSP) technology. That is, as shown in FIG. 2, inverse transformation of distortion through image signal processing is performed on each of R, G, and B so that the finally corrected image is displayed. That is, the R digital image processor 201 corrects the image distortion of the R signal, analogizes it in the D / A converter 202, and outputs the analog signal to the projection unit 207. The G digital image processor 203 corrects the image distortion of the G signal, analogizes it in the D / A converter 204, and outputs the analog signal to the projection unit 207. The B digital image processor 205 corrects the image distortion of the B signal, analogizes it in the D / A converter 206, and outputs the analog signal to the projection unit 207.
여기서, 상기 R,G,B 디지털 영상 처리기(201,203,205)에서의 영상 신호 처리는 공간 좌표 변환을 의미하는데, 이를 워핑(warping)이라 한다. 소스 영상(source image)의 좌표계를 (u,v), 타깃 영상(target image)의 좌표계를 (x,y)라 할 때, 영상 워핑은 다음의 수학식 1과 같이 고차 폴리노미얼(high order polynomial)로 표현된다.Here, the image signal processing in the R, G, and B digital image processors 201, 203, and 205 means spatial coordinate transformation, which is called warping. When the coordinate system of the source image is (u, v) and the coordinate system of the target image is (x, y), image warping is performed by a high order polynomial (high order) as shown in Equation 1 below. polynomial).
여기서,,는 폴리노미얼의 계수를 나타내고, N은 폴리노미얼의 차수(order)를 나타낸다. 이때, 상기 폴리노미얼의 차수가 높을수록 보정 가능한 왜곡의 유형이 다양해지는 반면 알고리즘의 복잡도는 기하급수적으로 늘어나게 된다.here, , Denotes the coefficient of the polynomial, and N denotes the order of the polynomial. At this time, the higher the order of the polynomial, the more various types of distortions that can be corrected, while the complexity of the algorithm increases exponentially.
우리가 흔히 볼 수 있는 광학적인 왜곡에는 도 3a의 쉬프팅(shifting), 도 3b의 스케일링(scaling), 도 3c의 수평 스큐(skew), 도 3d의 수직 스큐, 도 3e의 키스톤(keystone), 도 3f의 틸트(tilt), 도 3g의 핀쿠션(pincushion), 도 3h의 배럴(barrel) 등이 있다. 여기서 폴리노미얼의 차수에 따라 보정 가능한 왜곡을 정리하면 다음과 같다.Optical distortions that we commonly see include shifting in FIG. 3A, scaling in FIG. 3B, horizontal skew in FIG. 3C, vertical skew in FIG. 3D, keystone in FIG. 3E, and FIG. A tilt of 3f, a pincushion of FIG. 3g, a barrel of FIG. 3h, and the like. The distortion that can be corrected according to the polynomial order is as follows.
.1 차 : 쉬프팅, 스케일링, 스큐, 틸트.1 primary: shifting, scaling, skew, tilt
.2 차 : 키스톤Secondary: Keystone
.3 차 : 핀쿠션, 배럴.3 car: pincushion, barrel
그런데, 이러한 왜곡을 보정하기 위해서는 최소 3차 이상의 폴리노미얼을 사용해야 하며, R, G, B 각각에 대해서 독립적으로 워핑을 처리해야 하므로 알고리즘의 복잡도뿐 아니라 구현 비용도 크게 증가하는 문제를 가지고 있다.However, in order to correct such distortion, polynomials having at least three orders of magnitude or more must be used, and warping must be independently processed for each of R, G, and B, thereby increasing the complexity of the algorithm and the implementation cost.
본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 광학적 왜곡으로 나타나는 현상을 색상 컨버전스 문제와 기하학적 왜곡의 문제로 나누고, 각각을 독립적으로 처리하면서 최소 차수의 폴리노미얼을 사용함으로써, 구현 비용을 줄이는 화면 왜곡 보정 방법 및 장치를 제공함에 있다.SUMMARY OF THE INVENTION The present invention has been made to solve the above problems, and an object of the present invention is to divide the phenomenon represented by optical distortion into a problem of color convergence and a geometric distortion, and to process each independently, by using polynomials of least order. Another aspect of the present invention is to provide a method and an apparatus for correcting screen distortion, which reduces an implementation cost.
도 1은 CRT 프로젝션 TV의 구조 및 광학적 왜곡을 보인 도면1 is a view showing the structure and optical distortion of the CRT projection TV
도 2는 종래의 디지털 영상 처리 기법에 의한 광학적 왜곡 보정 장치의 구성 블록도2 is a block diagram illustrating an optical distortion correction apparatus using a conventional digital image processing technique
도 3a 내지 도 3h는 일반적인 디스플레이 장치에 존재하는 왜곡의 유형을 보인 도면3A to 3H illustrate types of distortions existing in a general display device.
도 4는 본 발명에 따른 영상 워핑 방법의 흐름도4 is a flowchart of an image warping method according to the present invention.
도 5는 소스 영상과 타깃 영상의 콘트롤 포인트의 대응 좌표 쌍의 일 예를 보인 일반적인 도면5 is a general diagram illustrating an example of pairs of corresponding coordinates of control points of a source image and a target image;
도 6은 본 발명에 따른 화면 왜곡 보정 장치의 구성 블록도6 is a block diagram of a screen distortion correction apparatus according to the present invention;
도면의 주요부분에 대한 부호의 설명Explanation of symbols for main parts of the drawings
601 : 제 1 워핑 좌표 계산부 602 : R 워핑부601: first warping coordinate calculation unit 602: R warping unit
602a : R 워핑 좌표 계산부 602b : R 매핑부602a: R warping coordinate calculation unit 602b: R mapping unit
603 : G 워핑부 603a : G 워핑 좌표 계산부603: G warping part 603a: G warping coordinate calculation part
603b : G 매핑부 604 : B 워핑부603b: G mapping part 604: B warping part
604a : B 워핑 좌표 계산부 604b : B 매핑부604a: B warping coordinate calculation unit 604b: B mapping unit
605 : 투영부605: projection
상기와 같은 목적을 달성하기 위한 본 발명에 따른 화면 왜곡 보정 방법은,Screen distortion correction method according to the present invention for achieving the above object,
(a) R,G,B에 공통적으로 포함되어 있는 기하학적 왜곡을 보정하기 위한 좌표 계산을 수행하는 단계;(a) performing coordinate calculation to correct geometrical distortions commonly included in R, G, and B;
(b) 상기 (a) 단계에서 계산된 좌표를 입력 변수로 이용하여 R 성분의 컨버전스 왜곡 보정을 위한 좌표를 계산한 후 R 데이터 매핑을 수행하는 단계;(b) performing R data mapping after calculating coordinates for the convergence distortion correction of the R component using the coordinates calculated in the step (a) as an input variable;
(c) 상기 (a) 단계에서 계산된 좌표를 입력 변수로 이용하여 G 성분의 컨버전스 왜곡 보정을 위한 좌표를 계산한 후 G 데이터 매핑을 수행하는 단계;(c) calculating coordinates for correcting convergence distortion of the G component using the coordinates calculated in the step (a) as an input variable, and then performing G data mapping;
(d) 상기 (a) 단계에서 계산된 좌표를 입력 변수로 이용하여 B 성분의 컨버전스 왜곡 보정을 위한 좌표를 계산한 후 B 데이터 매핑을 수행하는 단계; 그리고(d) performing coordinates for B data after calculating coordinates for correcting convergence distortion of the B component using the coordinates calculated in the step (a) as an input variable; And
상기 (b) 내지 (d) 단계에서 출력되는 타깃 영상의 R,G,B 값을 스크린 상에 투영시키는 단계를 포함하여 이루어지는 것을 특징으로 한다.And projecting R, G, and B values of the target image output in steps (b) to (d) on the screen.
상기 (a) 단계는 소스 영상에서 다수개의 콘트롤 포인트를 정하고 각 콘트롤 포인트에서의 화소의 좌표와 그에 대응되는 타깃 영상에서의 좌표를 결정하는 단계와, 상기 단계에서 결정된 콘트롤 포인트의 좌표 쌍을 슈도인버스 매트릭스로 연산하여 폴리노미얼의 계수를 계산하는 단계와, 상기 단계에서 계산된 폴리노미얼 계수를 매핑 함수에 적용하여 기하학적 왜곡을 보정하기 위한 좌표 계산을 수행하는 단계로 이루어지는 것을 특징으로 한다.In the step (a), a plurality of control points are determined in the source image, and the coordinates of the pixel at each control point and the corresponding coordinates in the target image are determined. Computing the coefficient of the polynomial by calculating a matrix, and performing a coordinate calculation to correct the geometric distortion by applying the polynomial coefficient calculated in the step to a mapping function.
상기 (b) 내지 (d) 단계에서 역방향 매핑인 경우 상기 계산된 소스 영상의 좌표의 화소를 보간을 통해 해당 타깃 영상의 좌표에 매핑하는 것을 특징으로 한다.In the reverse mapping in steps (b) to (d), the pixel of the calculated coordinate of the source image is mapped to the coordinate of the corresponding target image through interpolation.
본 발명에 따른 화면 왜곡 보정 장치는, 타깃 영상의 좌표값을 입력받아 R,G,B에 공통적으로 포함되어 있는 기하학적 왜곡을 보정하기 위한 좌표 계산을 수행하는 제 1 워핑 좌표 계산부와, 상기 제 1 워핑 좌표 계산부에서 계산된 좌표를 입력 변수로 이용하여 R 성분의 컨버전스 왜곡 보정을 위한 좌표를 계산한 후 R 데이터 매핑을 수행하는 R 워핑부와, 상기 제 1 워핑 좌표 계산부에서 계산된 좌표를 입력 변수로 이용하여 G 성분의 컨버전스 왜곡 보정을 위한 좌표를 계산한 후 G 데이터 매핑을 수행하는 G 워핑부와, 상기 제 1 워핑 좌표 계산부에서 계산된 좌표를 입력 변수로 이용하여 B 성분의 컨버전스 왜곡 보정을 위한 좌표를 계산한 후 B 데이터 매핑을 수행하는 B 워핑부와, 상기 R,G,B 워핑부에서 출력되는 타깃 영상의 R,G,B 값을 스크린 상에 투영시키는 투영부로 구성되는 것을 특징으로 한다.According to an aspect of the present invention, there is provided a screen distortion correcting apparatus, comprising: a first warping coordinate calculation unit configured to receive coordinate values of a target image and perform coordinate calculations to correct geometric distortions commonly included in R, G, and B; An R warping unit which calculates coordinates for convergence distortion correction of the R component by using the coordinates calculated by the 1 warping coordinate calculation unit as an input variable and performs the R data mapping, and the coordinates calculated by the first warping coordinate calculation unit. Using G as a input variable, calculate a coordinate for the convergence distortion correction of the G component, perform a G data mapping, and use the coordinates calculated by the first warping coordinate calculation unit as the input variable. After calculating coordinates for convergence distortion correction, the B warping unit performs B data mapping and the R, G, B values of the target image output from the R, G, and B warping units are projected onto the screen. Is characterized in that it is composed of a projection.
상기 R 워핑부는 2차 폴리노미얼에 상기 제 1 워핑 좌표 계산부에서 계산된 좌표를 적용하여 R 성분의 컨버전스 왜곡 보정을 위한 좌표를 계산하는 R 워핑 좌표 계산부와, 상기 계산된 R 소스 영상의 좌표의 화소를 보간을 통해 해당 R 타깃 영상의 좌표에 매핑하는 R 매핑부로 구성되는 것을 특징으로 한다.The R warping unit calculates the coordinates for the convergence distortion correction of the R component by applying the coordinates calculated by the first warping coordinate calculator to the secondary polynomial, and the calculated R source image. And an R mapping unit configured to map pixels of the coordinates to coordinates of the corresponding R target image through interpolation.
상기 G 워핑부는 2차 폴리노미얼에 상기 제 1 워핑 좌표 계산부에서 계산된좌표를 적용하여 G 성분의 컨버전스 왜곡 보정을 위한 좌표를 계산하는 G 워핑 좌표 계산부와, 상기 계산된 G 소스 영상의 좌표의 화소를 보간을 통해 해당 G 타깃 영상의 좌표에 매핑하는 G 매핑부로 구성되는 것을 특징으로 한다.The G warping unit applies a coordinate calculated by the first warping coordinate calculation unit to a second polynomial to calculate a coordinate for the convergence distortion correction of the G component, and the calculated G source image. And a G mapping unit configured to map pixels of the coordinates to coordinates of the corresponding G target image.
상기 B 워핑부는 2차 폴리노미얼에 상기 제 1 워핑 좌표 계산부에서 계산된 좌표를 적용하여 B 성분의 컨버전스 왜곡 보정을 위한 좌표를 계산하는 B 워핑 좌표 계산부와, 상기 계산된 B 소스 영상의 좌표의 화소를 보간을 통해 해당 B 타깃 영상의 좌표에 매핑하는 B 매핑부로 구성되는 것을 특징으로 한다.The B warping unit applies a coordinate calculated by the first warping coordinate calculation unit to a second polynomial to calculate a coordinate for the convergence distortion correction of the B component, and the calculated B source image of the B source image. And a B mapping unit for mapping the pixel of the coordinates to the coordinates of the corresponding B target image through interpolation.
본 발명의 다른 목적, 특징 및 잇점들은 첨부한 도면을 참조한 실시예들의 상세한 설명을 통해 명백해질 것이다.Other objects, features and advantages of the present invention will become apparent from the following detailed description of embodiments taken in conjunction with the accompanying drawings.
이하, 첨부된 도면을 참조하여 본 발명의 실시예의 구성과 그 작용을 설명하며, 도면에 도시되고 또 이것에 의해서 설명되는 본 발명의 구성과 작용은 적어도 하나의 실시예로서 설명되는 것이며, 이것에 의해서 상기한 본 발명의 기술적 사상과 그 핵심 구성 및 작용이 제한되지는 않는다.Hereinafter, with reference to the accompanying drawings illustrating the configuration and operation of the embodiment of the present invention, the configuration and operation of the present invention shown in the drawings and described by it will be described as at least one embodiment, By the technical spirit of the present invention described above and its core configuration and operation is not limited.
도 4는 본 발명의 영상 워핑 방법의 일 실시예를 보인 흐름도이다. 먼저 단계 401에서는 소스 영상에서 몇 개 화소의 좌표와 그에 대응되는 타깃 영상에서의 좌표를 결정한다.4 is a flowchart illustrating an embodiment of an image warping method according to the present invention. First, in step 401, coordinates of several pixels in the source image and coordinates in the target image corresponding thereto are determined.
즉, 도 5에 도시한 바와 같이 소스 영상에서의 몇 개의 콘트롤 포인트를 정하고, 이들 콘트롤 포인트 위치를 변화시켜 원하는 워핑 형태를 결정한다.That is, as shown in FIG. 5, several control points in the source image are determined, and the desired warping shape is determined by changing the positions of these control points.
단계 402에서는 상기 단계 401에서 결정된 콘트롤 포인트의 좌표 쌍을 상기된 수학식 1의 매핑 함수에 대입하여 폴리노미얼의 계수를 계산한다. 여기서 유일한 계수를 얻기 위해서는 폴리노미얼 계수의 수보다 많은 콘트롤 포인트를 사용해야 한다. M개의 콘트롤 포인트를 사용하고 폴리노미얼의 차수 N=2인 경우 각각의 좌표 쌍을 () ->i=1,...,M라 하면 폴리노미얼의 계수는 다음의 수학식 2와 같이 매트릭스(matrix)의 슈도인버스(pseudoinverse)를 통하여 계산된다.In step 402, the coordinate pair of the control point determined in step 401 is substituted into the mapping function of Equation 1 to calculate the coefficient of the polynomial. To get a unique coefficient here, you need to use more control points than the number of polynomial coefficients. If you use M control points and the polynomial order N = 2, )-> i = 1, ..., M is the coefficient of the polynomial Is calculated through the pseudoinverse of the matrix as shown in Equation 2 below.
단계 403에서는 상기 단계 402에서 계산된 폴리노미얼 계수와 상기 수학식 1을 사용하여 좌표 계산을 수행한다. 여기서 매핑 방향에 따라 순방향 매핑(forward mapping) 방법과 역방향 매핑(backward mapping) 방법으로 구분된다. 상기 순방향 매핑은 소스 영상의 각 화소의 좌표로부터 타깃 영상의 좌표를 계산하고, 역방향 매핑은 타깃 영상의 각 화소 좌표로부터 소스 영상의 좌표를 계산한다. 상기된 수학식 1은 역방향 매핑을 나타내는 식이다. 여기서, 소스 영상의 좌표 (u,v)와 타깃 영상의 좌표 (x,y)를 바꾸면 순방향 매핑 식을 얻는다.In step 403, the polynomial coefficient calculated in step 402 The coordinate calculation is performed using Equation 1 and Here, according to the mapping direction, it is classified into a forward mapping method and a backward mapping method. The forward mapping calculates the coordinates of the target image from the coordinates of each pixel of the source image, and the reverse mapping calculates the coordinates of the source image from each pixel coordinate of the target image. Equation 1 is an expression representing reverse mapping. Here, the forward mapping equation is obtained by changing the coordinates (u, v) of the source image and the coordinates (x, y) of the target image.
마지막으로 단계 404에서는 상기 단계 403에서 계산된 좌표를 이용하여 영상데이터 매핑을 수행한다. 순방향 매핑의 경우에는 소스 영상의 각 화소의 좌표를 입력으로 계산된 타깃 영상의 좌표에 각 화소를 매핑하는 과정이다. 일반적으로 계산된 좌표는 타깃 영상의 화소에 정확히 일치하지 않기 때문에 가장 가까운 위치의 화소에 할당하거나, 계산된 좌표 주위의 몇 개 화소에 적당한 비율로 화소 값을 분산시키는 방법을 사용한다. 이때, 순방향 매핑의 경우 할당되지 않는 화소 또는 중복 할당되는 화소가 발생할 수 있으므로 별도의 후처리 과정을 통해서 보완해야 한다. 한편, 역방향 매핑의 경우 타깃 영상의 좌표로부터 소스 영상의 좌표를 계산하여 데이터를 가져오는 방식이기 때문에 할당되지 않는 화소나 중복 할당되는 화소는 발생하지 않지만 계산된 소스 영상의 좌표가 화소 위치와 일치하지 않기 때문에 보간 기법(interpolation technique)을 이용하여 보간된 화소를 이용하여야 한다.Finally, in step 404, image data mapping is performed using the coordinates calculated in step 403. In the case of the forward mapping, a process of mapping each pixel to coordinates of the target image calculated by inputting the coordinates of each pixel of the source image. In general, since the calculated coordinates do not exactly correspond to the pixels of the target image, a method of assigning them to the pixel of the closest position or distributing the pixel values at an appropriate ratio to several pixels around the calculated coordinates is used. In this case, in the case of the forward mapping, an unassigned pixel or a pixel that is overlapped may be generated, and thus it should be supplemented through a separate post-processing process. On the other hand, in the case of reverse mapping, since the coordinates of the source image are obtained from the coordinates of the target image to obtain data, the pixels that are not assigned or the pixels that are overlapped do not occur, but the calculated coordinates of the source image do not coincide with the pixel position. Therefore, the interpolated pixel should be used using an interpolation technique.
통상, 프로젝션 TV에서 최종 디스플레이되는 영상은 R, G, B 각각의 CRT에서 나온 영상 신호가 렌즈를 통하여 확대되고, 거울을 통한 반사를 거쳐 스크린에 투영되어 나타난다. 이때, 렌즈를 통한 확대 과정에서 핀쿠션, 배럴 등의 왜곡이 포함되고, 거울을 통한 반사 및 스크린 투영 과정에서 반사 경로 및 투사 각도에 따라 키스톤, 틸트 등이 포함된다. 그밖에 스큐, 쉬프팅 등의 왜곡은 CRT 자체 문제에 의한 왜곡으로 볼 수 있다. 여기서 R, G, B 각각의 렌즈는 동일한 곡률(curvature)을 갖는다고 가정할 때, 렌즈에 의한 왜곡은 R, G, B에 대하여 동일하게 적용된다고 볼 수 있다. 따라서 키스톤, 배럴 등의 왜곡은 색상 컨버전스에 영향을 주지 않는다.In general, an image displayed on a projection TV is displayed by projecting an image signal from each CRT of R, G, and B through a lens, and reflecting through a mirror and projecting onto a screen. In this case, distortion of pincushion, barrel, etc. is included in the magnification process through the lens, and keystone, tilt, etc. are included according to the reflection path and the projection angle in the process of reflection and screen projection through the mirror. In addition, distortion such as skew and shifting can be regarded as distortion caused by the CRT itself. Herein, when the lenses of R, G, and B are assumed to have the same curvature, the distortion caused by the lens may be applied to R, G, and B in the same manner. Thus, distortions such as keystones and barrels do not affect color convergence.
따라서, 본 발명은 이러한 사실을 이용하여 영상의 왜곡을 기하학적 왜곡과색상 컨버전스 왜곡으로 나누고 각각에 대하여 최소 차수의 폴리노미얼로 공간 변환을 수행하는데 그 특징이 있다.Accordingly, the present invention is characterized by dividing image distortion into geometric distortion and color convergence distortion by using this fact and performing spatial transformation with minimum order polynomial for each.
도 6은 역방향 매핑을 한다고 가정할 때 본 발명의 화면 왜곡 보정 장치를 보인 구성 블록도로서, R,G,B에 공통적으로 포함되어 있는 기하학적 왜곡을 보정하기 위한 좌표 계산을 수행하는 제 1 워핑 좌표 계산부(601), 상기 제 1 워핑 좌표 계산부(601)에서 계산된 좌표를 입력 변수로 이용하여 R 성분의 컨버전스 왜곡 보정을 위한 좌표를 계산한 후 R 데이터 매핑을 수행하는 R 워핑부(602), 상기 제 1 워핑 좌표 계산부(601)에서 계산된 좌표를 입력 변수로 이용하여 G 성분의 컨버전스 왜곡 보정을 위한 좌표를 계산한 후 G 데이터 매핑을 수행하는 G 워핑부(603), 상기 제 1 워핑 좌표 계산부(601)에서 계산된 좌표를 입력 변수로 이용하여 B 성분의 컨버전스 왜곡 보정을 위한 좌표를 계산한 후 B 데이터 매핑을 수행하는 B 워핑부(604), 및 상기 R,G,B 워핑부(602,03,604)에서 출력되는 타깃 영상의 R,G,B 값을 스크린 상에 투영시키는 투영부(605)로 구성된다.FIG. 6 is a block diagram illustrating a screen distortion correcting apparatus according to the present invention when assuming reverse mapping, and includes first warping coordinates for performing coordinate calculations to correct geometric distortions commonly included in R, G, and B. FIG. An R warping unit 602 that calculates coordinates for correcting the convergence distortion of the R component by using the coordinates calculated by the calculator 601 and the first warping coordinate calculator 601 as an input variable, and then performs R data mapping. ), A G warping unit 603 for performing G data mapping after calculating coordinates for correcting the convergence distortion of the G component using the coordinates calculated by the first warping coordinate calculation unit 601 as an input variable. 1 B warping unit 604 for calculating the coordinates for convergence distortion correction of the B component using the coordinates calculated by the warping coordinate calculation unit 601 and performing the B data mapping, and the R, G, In the B warping section (602,03,604) And a projection unit 605 that projects R, G, and B values of the output target image onto the screen.
이와 같이 구성된 본 발명에서 제 1 워핑 좌표 계산부(601)는 R, G, B에 공통적으로 포함되어 있는 기하학적 왜곡을 보정하기 위한 좌표 계산을 수행한다. 이때, 도 3에 나타나 있는 왜곡을 보정하기 위해서는 최소 3차 폴리노미얼이 필요하므로 다음의 수학식 3으로 표현되는 좌표 계산을 수행한다.In the present invention configured as described above, the first warping coordinate calculation unit 601 performs coordinate calculation for correcting geometric distortion commonly included in R, G, and B. At this time, since at least a third order polynomial is required to correct the distortion shown in FIG. 3, a coordinate calculation represented by Equation 3 below is performed.
여기서, (x,y)는 타깃 영상의 좌표, (p,q)은 기하학적 왜곡 보정된 소스 영상의 좌표를 나타낸다. 폴리노미얼 계수는 콘트롤 포인트의 좌표 쌍을 상기된 수학식 2에 대입하여 슈도인버스 매트릭스 연산을 통하여 계산된다.Here, (x, y) represents the coordinates of the target image, (p, q) represents the coordinates of the source image corrected for geometric distortion. Polynomial coefficient Is the coordinate pair of the control point Is calculated through the pseudoinverse matrix operation by substituting Equation 2 as described above.
이렇게 계산된 좌표는 R,G,B 워핑부(602~604)로 입력되어 색상 컨버전스 보정을 위한 R,G,B 좌표 계산에 입력 변수로 사용된다.The calculated coordinates are input to the R, G, and B warping units 602 to 604 and used as input variables in calculating the R, G, and B coordinates for color convergence correction.
상기 R,G,B 워핑부(602~604)는 각각 R,G,B 성분의 컨버전스 왜곡 보정을 위하여 2차 폴리노미얼로 좌표를 계산하는 워핑 좌표 계산부와 보간 기법을 통해 데이터 매핑을 수행하는 매핑부로 구성된다. 즉, R 워핑부(602)는 R 워핑 좌표 계산부(602a)와 R 매핑부(602b)로 구성되고, G 워핑 좌표 계산부(603)는 G 워핑 좌표 계산부(603a)와 G 매핑부(603b)로 구성되며, B 워핑 좌표 계산부(604)는 B 워핑 좌표 계산부(604a)와 B 매핑부(604b)로 구성된다.The R, G, and B warping units 602 to 604 perform data mapping through a warping coordinate calculation unit and an interpolation technique that calculate coordinates by using a secondary polynomial to correct convergence distortion of R, G, and B components, respectively. It consists of a mapping unit. That is, the R warping unit 602 includes an R warping coordinate calculation unit 602a and an R mapping unit 602b, and the G warping coordinate calculation unit 603 includes the G warping coordinate calculation unit 603a and the G mapping unit ( 603b), the B warping coordinate calculation unit 604 is composed of a B warping coordinate calculation unit 604a and a B mapping unit 604b.
즉, 상기 R 워핑 좌표 계산부(602a)는 다음의 수학식 4와 같은 2차 폴리노미얼로 표현되는 좌표 변환을 수행하여 R 성분의 컨버전스 왜곡 보정을 위한 좌표를 계산한다. 이때, 상기 제 1 워핑 좌표 계산부(601)에서 계산된 좌표는 R 좌표 계산에 입력 변수로 사용된다.That is, the R warping coordinate calculation unit 602a calculates coordinates for correcting convergence distortion of the R component by performing coordinate transformation represented by a second polynomial as shown in Equation 4 below. In this case, the coordinate calculated by the first warping coordinate calculator 601 is used as an input variable in calculating the R coordinate.
상기 G 워핑 좌표 계산부(603a)는 다음의 수학식 5와 같은 2차 폴리노미얼로표현되는 좌표 변환을 수행하여 G 성분의 컨버전스 왜곡 보정을 위한 좌표를 계산한다. 이때, 상기 제 1 워핑 좌표 계산부(601)에서 계산된 좌표는 G 좌표 계산에 입력 변수로 사용된다.The G warping coordinate calculation unit 603a calculates coordinates for correcting convergence distortion of the G component by performing coordinate transformation represented by a second polynomial as shown in Equation 5 below. In this case, the coordinate calculated by the first warping coordinate calculator 601 is used as an input variable in calculating the G coordinate.
상기 B 워핑 좌표 계산부(604a)는 다음의 수학식 6과 같은 2차 폴리노미얼로 표현되는 좌표 변환을 수행하여 B 성분의 컨버전스 왜곡 보정을 위한 좌표를 계산한다. 이때, 상기 제 1 워핑 좌표 계산부(601)에서 계산된 좌표는 B 좌표 계산에 입력 변수로 사용된다.The B warping coordinate calculation unit 604a calculates coordinates for correcting convergence distortion of the B component by performing coordinate transformation represented by a second polynomial as shown in Equation 6 below. In this case, the coordinate calculated by the first warping coordinate calculator 601 is used as an input variable in calculating the B coordinate.
상기된 수학식 4 내지 6에서, (,) , (,) , (,)는 각각 R, G, B의 소스 영상 좌표를 나타내고, 폴리노미얼 계수,,는 색상 컨버전스 보정을 위한 파라미터로 컨트롤 포인트 좌표 쌍,,으로부터 계산된다. 최종적으로 계산된 소스 영상의 좌표 (,) , (,) , (,)는 정수 값이 아닌 실수 값이 된다.In the above Equations 4 to 6, ( , ), ( , ), ( , ) Represents the source image coordinates of R, G, and B, respectively, and polynomial coefficients. , , Is a control point coordinate pair as a parameter for color convergence correction , , Is calculated from The coordinates of the source image , ), ( , ), ( , ) Is a real value, not an integer value.
따라서, R,G,B 워핑부(602~604)의 각 R,G,B 매핑부(602b~604b)는 소스 영상의 좌표 (,) , (,) , (,)의 화소값을 주위 화소를 이용한 보간 기법을 이용하여 보간하여 해당 타깃 영상의 좌표의 화소값으로 매핑하고 그 결과를 투영부(605)로 출력한다. 예를 들어, R 매핑부(602b)는 계산된 R 소스 영상의 좌표,의 화소를 보간을 통해 해당 R 타깃 영상의 좌표에 매핑한다.Accordingly, each of the R, G, and B mapping units 602b to 604b of the R, G and B warping units 602 to 604 may have coordinates of the source image. , ), ( , ), ( , ) Is interpolated using an interpolation technique using surrounding pixels, and is mapped to pixel values of coordinates of the target image, and the result is output to the projection unit 605. For example, the R mapping unit 602b may calculate the coordinates of the R source image. , The pixel of is mapped to the coordinates of the corresponding R target image through interpolation.
(하드웨어 최소화 방안)(Hardware Minimization Plan)
이때, 영상 왜곡의 유형이 도 3에 표현된 것에 국한된다고 가정하면 상기 수학식 3 내지 6은 다음의 수학식 7 내지 10과 같이 단축될 수 있다.At this time, assuming that the type of the image distortion is limited to that represented in FIG. 3, Equations 3 to 6 may be shortened as in Equations 7 to 10 below.
상기된 수학식 7 내지 10은 3차 항과 2차 항이 각각 제거된 형태이다. 폴리노미얼의 차수가 큰 항을 제거함으로써 계수의 수가 줄어들어 알고리즘의 복잡도 및 하드웨어 구현 비용이 크게 줄어드는 효과가 있다. 더구나 차수가 큰 항은 연산의 비트수를 크게 증가시킴으로써 하드웨어 구현시 큰 부담으로 작용하는 문제를 가지고 있다.Equations 7 to 10 are in the form of removing the third and second terms, respectively. By eliminating polynomial terms, the number of coefficients is reduced, which greatly reduces the complexity of the algorithm and the hardware implementation cost. In addition, the higher order terms have a problem in that the hardware implementation is a big burden by increasing the number of bits of the operation significantly.
이상에서와 같이 본 발명에 따른 화면 왜곡 보정 방법 및 장치에 의하면, 광학적 왜곡으로 나타나는 현상을 색상 컨버전스 문제와 기하학적 왜곡의 문제로 나누고, 각각을 독립적으로 처리하면서 각각에 필요한 최소 차수의 폴리노미얼을 사용함으로써, 구현 비용을 크게 줄이면서 프로젝션 TV, 프로젝터, 모니터 등의 디스플레이 장치에서 기계적 또는 광학적 변형에 의하여 발생하는 기하학적 왜곡 및 색상 컨버전스 왜곡을 보정할 수 있다. 즉, 최소 비용으로 왜곡 보정이 가능하므로 프로젝터, 모니터 뿐 아니라 프로젝션 TV에 적용시 가격과 성능면에서 경쟁력을 높일 수 있다.As described above, according to the method and apparatus for correcting image distortion according to the present invention, the phenomenon represented by optical distortion is divided into a problem of color convergence and a geometric distortion, and the polynomials of the minimum order required for each are processed separately. By using this, it is possible to correct geometric distortion and color convergence distortion caused by mechanical or optical deformation in display devices such as projection TVs, projectors, monitors, etc., while greatly reducing the implementation cost. In other words, the distortion can be corrected at the minimum cost, so that it can be more competitive in terms of price and performance when applied to projection TVs as well as projectors and monitors.
이상 설명한 내용을 통해 당업자라면 본 발명의 기술 사상을 일탈하지 아니하는 범위에서 다양한 변경 및 수정이 가능함을 알 수 있을 것이다.Those skilled in the art will appreciate that various changes and modifications can be made without departing from the spirit of the present invention.
따라서, 본 발명의 기술적 범위는 실시예에 기재된 내용으로 한정되는 것이아니라 특허 청구의 범위에 의하여 정해져야 한다.Therefore, the technical scope of the present invention should not be limited to the contents described in the embodiments, but should be defined by the claims.
Claims (10)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020030025375A KR100546646B1 (en) | 2003-04-22 | 2003-04-22 | Image distortion compensation method and apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020030025375A KR100546646B1 (en) | 2003-04-22 | 2003-04-22 | Image distortion compensation method and apparatus |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20040093206A true KR20040093206A (en) | 2004-11-05 |
KR100546646B1 KR100546646B1 (en) | 2006-01-26 |
Family
ID=37373325
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020030025375A KR100546646B1 (en) | 2003-04-22 | 2003-04-22 | Image distortion compensation method and apparatus |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100546646B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100859001B1 (en) * | 2007-03-26 | 2008-09-18 | 주식회사 아이닉스 | Correction method for image distortion and correction device thereby |
KR101361645B1 (en) * | 2008-01-31 | 2014-02-12 | 엠텍비젼 주식회사 | Method and apparatus for compensating image distortion |
WO2015199982A1 (en) * | 2014-06-26 | 2015-12-30 | Intel Corporation | Distortion meshes against chromatic aberrations |
CN112200731A (en) * | 2019-07-08 | 2021-01-08 | 上海隽珑信息技术有限公司 | Image pixel correction method |
CN113792730A (en) * | 2021-08-17 | 2021-12-14 | 北京百度网讯科技有限公司 | Method and device for correcting document image, electronic equipment and storage medium |
-
2003
- 2003-04-22 KR KR1020030025375A patent/KR100546646B1/en not_active IP Right Cessation
Cited By (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100859001B1 (en) * | 2007-03-26 | 2008-09-18 | 주식회사 아이닉스 | Correction method for image distortion and correction device thereby |
KR101361645B1 (en) * | 2008-01-31 | 2014-02-12 | 엠텍비젼 주식회사 | Method and apparatus for compensating image distortion |
WO2015199982A1 (en) * | 2014-06-26 | 2015-12-30 | Intel Corporation | Distortion meshes against chromatic aberrations |
US10438331B2 (en) | 2014-06-26 | 2019-10-08 | Intel Corporation | Distortion meshes against chromatic aberrations |
CN111861898A (en) * | 2014-06-26 | 2020-10-30 | 英特尔公司 | Distortion mesh against chromatic aberration |
US11423519B2 (en) | 2014-06-26 | 2022-08-23 | Intel Corporation | Distortion meshes against chromatic aberrations |
US11748857B2 (en) | 2014-06-26 | 2023-09-05 | Intel Corporation | Distortion meshes against chromatic aberrations |
CN111861898B (en) * | 2014-06-26 | 2024-02-02 | 英特尔公司 | Distortion reduction method and device and head-mounted display system |
US12106457B2 (en) | 2014-06-26 | 2024-10-01 | Intel Corporation | Distortion meshes against chromatic aberrations |
CN112200731A (en) * | 2019-07-08 | 2021-01-08 | 上海隽珑信息技术有限公司 | Image pixel correction method |
CN113792730A (en) * | 2021-08-17 | 2021-12-14 | 北京百度网讯科技有限公司 | Method and device for correcting document image, electronic equipment and storage medium |
Also Published As
Publication number | Publication date |
---|---|
KR100546646B1 (en) | 2006-01-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR100973855B1 (en) | System and method for electronic correction of optical anomalies | |
JP3735158B2 (en) | Image projection system and image processing apparatus | |
JP2014503838A (en) | System and method for calibrating a display system using manual and semi-automatic techniques | |
JP5200743B2 (en) | Image processing apparatus, image display apparatus, image processing method, image display method, and program | |
US20050180655A1 (en) | Image conversion device image conversion method and image projection device | |
JP2011077972A (en) | Projector | |
WO2013024540A1 (en) | Image processing apparatus and image processing method | |
JP2016075883A (en) | Projection system, projection device, projection method and program | |
US8396322B1 (en) | Optical distortion correction in digital video processing applications | |
JP5116740B2 (en) | Image processing apparatus, image processing method, and image display apparatus | |
JP2002014611A (en) | Video projecting method to planetarium or spherical screen and device therefor | |
KR100546646B1 (en) | Image distortion compensation method and apparatus | |
JP2011193332A (en) | Projector and video projection method | |
JP5211992B2 (en) | Image processing apparatus, image display apparatus, and image processing method | |
JPWO2012056982A1 (en) | Image processing method, image processing apparatus, and imaging apparatus | |
JP4762412B2 (en) | Method for determining and at least partially correcting defects in an image reproduction system and apparatus for implementing the method | |
JP5522241B2 (en) | Image processing apparatus, image display apparatus, image processing method, image display method, and program | |
JP3938346B2 (en) | Projection display | |
KR100437810B1 (en) | Apparatus for correcting image brightness | |
US8289348B2 (en) | Image signal processing device | |
JP2009194420A (en) | Pixel shift measuring instrument, image display device, and pixel shift measurement method | |
JP2005012407A (en) | Picture projection device and picture processing method | |
US7195357B2 (en) | Image processing apparatus, image processing method, and image processing program product for correcting projected images | |
JP2019186736A (en) | Image projection device | |
JP2013005140A (en) | Image processing apparatus and image processing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E90F | Notification of reason for final refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20091230 Year of fee payment: 5 |
|
LAPS | Lapse due to unpaid annual fee |