KR20140085779A - Method and apparatus for calibration of light field display using multi-projectors - Google Patents

Method and apparatus for calibration of light field display using multi-projectors Download PDF

Info

Publication number
KR20140085779A
KR20140085779A KR1020120155195A KR20120155195A KR20140085779A KR 20140085779 A KR20140085779 A KR 20140085779A KR 1020120155195 A KR1020120155195 A KR 1020120155195A KR 20120155195 A KR20120155195 A KR 20120155195A KR 20140085779 A KR20140085779 A KR 20140085779A
Authority
KR
South Korea
Prior art keywords
pixel
image
projector
screen
information
Prior art date
Application number
KR1020120155195A
Other languages
Korean (ko)
Other versions
KR101896339B1 (en
Inventor
최서영
박주용
남동경
이진호
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020120155195A priority Critical patent/KR101896339B1/en
Publication of KR20140085779A publication Critical patent/KR20140085779A/en
Application granted granted Critical
Publication of KR101896339B1 publication Critical patent/KR101896339B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/363—Image reproducers using image projection screens
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/3147—Multi-projection systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3141—Constructional details thereof
    • H04N9/317—Convergence or focusing systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H04N9/31—Projection devices for colour picture display, e.g. using electronic spatial light modulators [ESLM]
    • H04N9/3179—Video signal processing therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Projection Apparatus (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Abstract

Provided are a method and an apparatus for calibrating a light field display which uses multiple projectors. The projectors output a light field on a screen. An image processing device analyzes information on the light field outputted by the projectors, and can calibrate information on an image, which is to be provided to the projectors, based on the analyzed result.

Description

다수의 프로젝터들을 사용하는 광필드 디스플레이의 보정 방법 및 장치{METHOD AND APPARATUS FOR CALIBRATION OF LIGHT FIELD DISPLAY USING MULTI-PROJECTORS}[0001] METHOD AND APPARATUS FOR CALIBRATION OF LIGHT FIELD DISPLAY USING MULTI-PROJECTORS [0002]

아래의 실시예들은 영상 처리 장치에 관한 것으로, 보다 상세히는 다수의 프로젝터들을 사용하는 광필드 디스플레이를 보정하기 위한 방법 및 장치가 개시된다.The following embodiments relate to an image processing apparatus, and more particularly, a method and apparatus for correcting an optical field display using a plurality of projectors.

3차원(3 Dimension; 3D) 영상은 양안 시차 스테레오 방식, 체적형 디스플레이 방식 및 홀로그래피 디스플레이 방식 등의 다양한 방식에 의하여 구현될 수 있다.A three-dimensional (3D) image can be implemented by various methods such as a binocular parallax stereo method, a volumetric display method, and a holographic display method.

양안 시차 스테레오 방식은 관찰자의 좌안 및 우안에 시차를 갖는 영상들을 각각 제공함으로써, 관찰자가 깊이감을 느끼게 하는 방식이다.The binocular parallax stereo method provides images with a time difference in the left and right eyes of the observer, thereby making the observer feel a sense of depth.

체적형 디스플레이 방식은 공간 상에 입체 영상을 직접적으로 형성하는 방식이다.The volumetric display method is a method of directly forming a stereoscopic image on a space.

홀로그래피 디스플레이 방식은 빛의 간섭을 이용하는 방식이다.The holographic display method utilizes the interference of light.

광필드 방식은 삼차원 물체를 구성하는 각 점에서 여러 방향으로 반사되어 나오는 광의 세기 정보를 표현함으로써 입체 영상을 구현하는 방식이다. 광의 세기 정보를 표현하기 위해서는, 삼차원 물체의 각 점의 여러 방향에 대한 서로 상이한 광들의 세기 정보를 표현해야 한다. 따라서, 2차원 영상 또는 스테레오 영상들에 비해 다량의 영상 정보가 요구된다. 다수의 프로젝터들이 이용될 경우, 다량의 영상 정보가 요구된다는 필요 조건이 충족될 수 있다. 또한, 다수의 영상 정보를 제공하는 다수의 프로젝터들이 하나의 거대한 면에 영상들을 출력함으로써 심리스(seamless) 영상이 구현될 수 있다.The optical field method is a method of realizing a stereoscopic image by expressing intensity information of light reflected in various directions at each point constituting a three-dimensional object. In order to express light intensity information, intensity information of different lights for various directions of each point of the three-dimensional object should be expressed. Accordingly, a large amount of image information is required compared with a two-dimensional image or a stereo image. When multiple projectors are used, the requirement that a large amount of image information is required can be met. In addition, a seamless image can be realized by a plurality of projectors providing a plurality of image information outputs images on one gigantic plane.

다수의 프로젝터들을 사용하여 거대한 심리스 영상 또는 입체 영상을 구현할 때, 정확한 영상 표현을 통해 우수한 화질을 사용자에게 제공하기 위해서는, 다수의 프로젝터들의 각각으로부터 출력되는 영상이 목표로 하는 스크린 상의 위치에 정확하게 맵핑될 수 있어야 한다. 이러한 정확한 맵핑이 가능하기 위해서는, 각 프로젝터로부터 출력되는 광필드(lightfield)가 스크린 상의 어느 위치에 실제로 도달하는가에 대한 정보가 요구된다. In order to provide a user with excellent image quality through accurate image representation when a large seamless image or stereoscopic image is implemented using a plurality of projectors, images output from each of a plurality of projectors are accurately mapped to positions on a target screen Should be able to. In order to enable such accurate mapping, information is required about which position on the screen the light field output from each projector actually reaches.

예컨대, 프로젝터의 내부의 광학계에 기인하여 발생할 수 있는 기하 오차를 보정함으로써 정확한 맵핑이 가능해질 수 있다. 일반적으로 사용되는 보정 방법으로서, 한 대의 프로젝터가 다수의 위치들에서 출력한 영상들을 카메라를 사용하여 획득한 후 스크린에 표시된 영상들 및 프로젝터에 입력된 입력 영상들의 관계로부터 프로젝터의 보정 파라미터를 구하는 방법이 있다.For example, accurate mapping can be made by correcting the geometrical error that may occur due to the optical system inside the projector. As a commonly used correction method, a method in which a projector obtains images output from a plurality of positions using a camera, and then obtains a correction parameter of the projector from the relationship between the images displayed on the screen and the input images input to the projector .

다수의 프로젝터들을 사용하는 시스템을 구성하기 전에, 다수의 프로젝터의 각각에 대한 보정 작업을 수행함으로써 각 프로젝터의 보정 파라미터를 도출한 후, 각 프로젝터를 적절한 위치에 배열함으로써 정확한 맵핑이 이루어질 수 있다. 그러나, 기하 보정이 완료된 프로젝터를 사용함에도 불구하고, 다수의 프로젝터들을 사용하는 시스템의 각 프로젝터로부터 출력되는 영상이 스크린 상의 목표 위치에 정확하게 맵핑될 것이라고 확신될 수는 없다.Before a system using a plurality of projectors is constructed, precise mapping can be achieved by deriving the correction parameters of each projector by performing a correction operation for each of the plurality of projectors, and arranging the respective projectors at appropriate positions. However, it is not possible to be sure that images output from each projector of a system using a plurality of projectors will be accurately mapped to target positions on the screen, despite the use of a projector whose geometry correction has been completed.

일 측에 있어서, 복수의 프로젝터들에 의해 출력되는 영상들의 정보를 제공하는 영상 처리 방법에 있어서, 프로젝터에 의해 출력된 광필드의 정보를 분석하는 단계, 상기 분석에 기반하여 상기 프로젝터에게 제공할 영상의 정보를 보정하는 단계 및 상기 보정된 영상의 정보를 상기 프로젝터에게 제공하는 단계를 포함하는 영상 처리 방법이 제공될 수 있다.An image processing method for providing information on images output by a plurality of projectors, the method comprising the steps of: analyzing information of an optical field output by a projector; And a step of providing information of the corrected image to the projector.

상기 광필드의 정보는 상기 프로젝터로 입력된 입력 영상의 픽셀이 스크린의 어느 지점으로 투사되는가에 대한 정보를 포함할 수 있다.The information of the light field may include information on which point of the screen the pixel of the input image input to the projector is projected.

상기 광필드의 정보는 상기 프로젝터로 입력된 입력 영상의 픽셀의 스크린으로의 방향 벡터의 정보를 포함할 수 있다.The information of the light field may include information of a direction vector of a pixel of an input image input to the projector to a screen.

상기 방향 벡터는 상기 픽셀이 나아가는 광선이 서로 상이한 깊이 값을 갖는 2 개의 스크린 평면들 각각에 투사되는 지점들에 기반하여 계산될 수 있다.The direction vector may be calculated based on the points at which the light rays traveling through the pixel are projected onto each of the two screen planes having different depth values.

상기 영상의 정보는 상기 영상이 상기 프로젝터로부터 출력될 때 상기 영상의 픽셀이 스크린 상의 어느 지점에 실제로 표시되는가에 따라 보정될 수 있다.The information of the image can be corrected according to the point at which the pixel of the image is actually displayed on the screen when the image is outputted from the projector.

상기 보정하는 단계는, 상기 프로젝터에게 제공할 영상의 제1 픽셀에 대응하는 제2 픽셀의 영상 데이터를 추출하는 단계 및 상기 제2 픽셀의 영상 데이터를 상기 제1 픽셀에게 할당하는 단계를 포함할 수 있다.The step of correcting may include extracting image data of a second pixel corresponding to a first pixel of an image to be provided to the projector and assigning image data of the second pixel to the first pixel have.

상기 제2 픽셀은 상기 제1 픽셀이 상기 프로젝터에 의해 출력될 때 상기 제1 픽셀이 실제로 표시되는 스크린 상의 지점에 대응하는 좌표를 갖는 픽셀일 수 있다.The second pixel may be a pixel having coordinates corresponding to a point on the screen where the first pixel is actually displayed when the first pixel is output by the projector.

상기 제1 픽셀 및 상기 제2 픽셀 간의 상기 대응의 관계는 상기 프로젝터의 상기 스크린에 대한 깊이 및 상기 제1 픽셀의 좌표에 따라 계산되는 상기 제1 픽셀이 상기 스크린 상에 표시되는 제1 지점 및 상기 프로젝터의 오차에 기인하여 상기 제1 픽셀이 상기 스크린 상에 실제로 표시되는 제2 지점 간의 차이에 의해 결정될 수 있다.Wherein the corresponding relationship between the first pixel and the second pixel is a first point at which the first pixel is displayed on the screen, the first point being calculated according to a depth of the projector with respect to the screen and a coordinate of the first pixel, The difference between the second point at which the first pixel is actually displayed on the screen due to the error of the projector.

상기 보정하는 단계는, 스크린 상의 제1 픽셀에 대응하는 상기 프로젝터에게 제공할 영상의 제2 픽셀을 결정하는 단계 및 상기 제2 픽셀에게 상기 제1 픽셀의 영상 데이터를 할당하는 단계를 포함할 수 있다.The step of correcting may comprise determining a second pixel of an image to be provided to the projector corresponding to a first pixel on the screen and assigning the image data of the first pixel to the second pixel .

상기 제2 픽셀은 상기 프로젝터로부터 출력되었을 때 상기 스크린 상의 상기 제1 픽셀의 지점에 실제로 표시되는 픽셀일 수 있다.The second pixel may be a pixel that is actually displayed at a point of the first pixel on the screen when output from the projector.

상기 제1 픽셀의 상기 영상 데이터는 상기 복수의 프로젝터들에 의해 출력된 광필드들에 의해 상기 스크린 상에 표시된 영상의 상기 제1 픽셀의 지점에 출력될 영상 데이터일 수 있다.The image data of the first pixel may be image data to be output to the point of the first pixel of the image displayed on the screen by the light fields output by the plurality of projectors.

상기 영상 처리 방법은, 상기 프로젝터에 의해 출력된 상기 광필드의 정보를 획득하는 단계를 더 포함할 수 있다.The image processing method may further include obtaining information of the optical field output by the projector.

다른 일 측에 따르면, 복수의 프로젝터들에 의해 출력되는 영상들의 정보를 제공하는 영상 처리 장치에 있어서, 프로젝터에 의해 출력된 광필드의 정보를 분석하고, 상기 분석에 기반하여 상기 프로젝터에게 제공할 영상의 정보를 보정하는 처리부 및 상기 보정된 영상의 정보를 상기 프로젝터에게 제공하는 네트워킹부를 포함하는 영상 처리 장치가 제공될 수 있다.According to another aspect of the present invention, there is provided an image processing apparatus for providing information of images output by a plurality of projectors, the apparatus comprising: an image analyzing unit for analyzing information of an optical field output by the projector, And a networking unit for providing the corrected image information to the projector.

상기 처리부는 상기 픽셀이 나아가는 광선이 서로 상이한 깊이 값을 갖는 2 개의 스크린 평면들 각각에 투사되는 지점들에 기반하여 상기 방향 벡터를 계산할 수 있다.The processing unit may calculate the direction vector based on points where the light rays traveling through the pixel are projected on each of two screen planes having different depth values from each other.

상기 처리부는 상기 영상이 상기 프로젝터로부터 출력될 때 상기 영상의 픽셀이 스크린 상의 어느 지점에 실제로 표시되는가에 따라 상기 영상의 정보를 보정할 수 있다.The processing unit may correct the information of the image according to which of the pixels of the image is actually displayed on the screen when the image is outputted from the projector.

상기 처리부는 상기 프로젝터에게 제공할 영상의 제1 픽셀에 대응하는 제2 픽셀의 영상 데이터를 추출할 수 있고, 상기 제2 픽셀의 영상 데이터를 상기 제1 픽셀에게 할당할 수 있다.The processing unit may extract image data of a second pixel corresponding to a first pixel of an image to be provided to the projector and may assign image data of the second pixel to the first pixel.

상기 제2 픽셀은 상기 제1 픽셀이 상기 프로젝터에 의해 출력될 때 상기 제1 픽셀이 실제로 표시되는 스크린 상의 지점에 대응하는 좌표를 갖는 픽셀일 수 있다.The second pixel may be a pixel having coordinates corresponding to a point on the screen where the first pixel is actually displayed when the first pixel is output by the projector.

상기 처리부는, 스크린 상의 제1 픽셀에 대응하는 상기 프로젝터에게 제공할 영상의 제2 픽셀을 결정할 수 있고, 상기 제2 픽셀에게 상기 제1 픽셀의 영상 데이터를 할당할 수 있다.The processing unit may determine a second pixel of an image to be provided to the projector corresponding to a first pixel on the screen, and may assign the image data of the first pixel to the second pixel.

상기 제2 픽셀은 상기 프로젝터로부터 출력되었을 때 상기 스크린 상의 상기 제1 픽셀의 지점에 실제로 표시되는 픽셀일 수 있다.The second pixel may be a pixel that is actually displayed at a point of the first pixel on the screen when output from the projector.

상기 제1 픽셀의 상기 영상 데이터는 상기 복수의 프로젝터들에 의해 출력된 광필드들에 의해 상기 스크린 상에 표시된 영상의 상기 제1 픽셀의 지점에 출력될 영상 데이터일 수 있다.The image data of the first pixel may be image data to be output to the point of the first pixel of the image displayed on the screen by the light fields output by the plurality of projectors.

상기 네트워킹부는 상기 프로젝터에 의해 출력된 상기 광필드의 정보를 획득할 수 있다.The networking unit may obtain information of the optical field output by the projector.

도 1은 일 실시예에 따른 영상 처리 장치를 설명한다.
도 2는 일 실시예에 따른 영상 처리 방법의 흐름도이다.
도 3은 일 예에 따른 측정을 통해 입력 영상의 픽셀 및 투사 지점 간의 관계를 검출하는 방법을 설명한다.
도 4는 일 예에 따른 방향 벡터를 검출하는 방법을 설명한다.
도 5는 일 예에 따른 방향 벡터의 계산 방법의 흐름도이다.
도 6은 일 예에 따른 보정용 패턴을 나타낸다.
도 7은 일 예에 따른 프로젝터에게 제공할 영상의 정보를 보정하는 방법의 흐름도이다.
도 8은 일 예에 따른 프로젝터에게 제공할 영상의 정보를 보정하는 방법의 흐름도이다.FIG. 1 illustrates an image processing apparatus according to an embodiment.
2 is a flowchart of an image processing method according to an embodiment.
FIG. 3 illustrates a method of detecting a relationship between a pixel of an input image and a projection point through a measurement according to an example embodiment.
4 illustrates a method of detecting a direction vector according to an example.
5 is a flowchart of a method of calculating a direction vector according to an example.
6 shows a correction pattern according to an example.
7 is a flowchart of a method of correcting information of an image to be provided to a projector according to an example.
8 is a flowchart of a method of correcting information of an image to be provided to a projector according to an example.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.In the following, embodiments will be described in detail with reference to the accompanying drawings. Like reference symbols in the drawings denote like elements.

이하에서, 용어 "투사(emit)" 및 용어 "출력"은 상호간에 동일한 의미로 사용될 수 있다. 예컨대, 용어 "투사"는 용어 "출력"을 대체할 수 있다.In the following, the terms " emit "and" output " For example, the term "projection" may replace the term "output ".

이하에서, "스크린 상에 표시된 영상"은 "스크린 상에 맺힌 영상"을 의미할 수 있다.
Hereinafter, the "image displayed on the screen" may mean "image formed on the screen ".

도 1은 일 실시예에 따른 영상 처리 장치를 설명한다.FIG. 1 illustrates an image processing apparatus according to an embodiment.

영상 처리 장치(100)는 처리부(110), 네트워킹부(120) 및 저장부(130)를 포함할 수 있다.The image processing apparatus 100 may include a processing unit 110, a networking unit 120, and a storage unit 130.

영상 처리 장치(100)는 복수의 프로젝터들을 더 포함할 수 있다. 또한, 복수의 프로젝터들은 각각 영상 처리 장치(100)로부터 영상의 정보를 제공받는 별개의 장치일 수 있다. 도 1에서, 복수의 프로젝터들의 일 예로서, 제1 프로젝터(180-1), 제2 프로젝터(180-2), 제3 프로젝터(180-3), 제4 프로젝터(180-4), 제5 프로젝터(180-5), 제6 프로젝터(180-6) 및 제7 프로젝터(180-7)가 도시되었다.The image processing apparatus 100 may further include a plurality of projectors. In addition, the plurality of projectors may be separate devices, each of which is provided with image information from the image processing apparatus 100. 1, as an example of a plurality of projectors, a first projector 180-1, a second projector 180-2, a third projector 180-3, a fourth projector 180-4, The projector 180-5, the sixth projector 180-6, and the seventh projector 180-7 are shown.

영상 처리 장치(100)는 카메라(190)를 더 포함할 수 있다.The image processing apparatus 100 may further include a camera 190.

영상 처리 장치(100)는 복수의 프로젝터들을 사용함으로써 2D 또는 3D 영상을 구현할 수 있다. 영상 처리 장치(100)는 복수의 프로젝터들의 각각에게 영상의 정보를 제공할 수 있다. 각 프로젝터는 영상의 정보를 사용하여 영상을 나타내는 광필드를 출력할 수 있다.The image processing apparatus 100 can implement a 2D or 3D image by using a plurality of projectors. The image processing apparatus 100 may provide image information to each of a plurality of projectors. Each projector can output an optical field representing an image using information of the image.

복수의 프로젝터들에 있어서, 프로젝터의 오차가 보정될 필요가 있다. 오차는 기하 오차를 의미할 수 있다. 기하 오차는 프로젝터 내부의 광학계에 기인하여 발생하는 오차일 수 있다. In a plurality of projectors, the error of the projector needs to be corrected. The error can be a geometric error. The geometrical error may be an error caused by the optical system inside the projector.

기하 오차가 보정된 다수의 프로젝터들을 사용하다라도, 광필드 방식의 3D 디스플레이에서 요구되는 정확한 광필드의 재현 및 기하 오차의 보정과는 다른 차원의 문제일 수 있다. 오차는 3D 디스플레이의 입체 영상을 구현하기 위한 정확한 광필드를 재연함에 있어서의 오차를 의미할 수 있다. 예컨대, 오차의 보정에 의해 영상 처리 장치(100)가 목표로 하는 입체 영상이 복수의 프로젝터들에 의해 더 정확하게 구현될 수 있다.Even using a large number of projectors with compensated geometry errors, it may be a different dimension than the correct reproduction of the optical field and correction of the geometrical error required in the optical field type 3D display. The error may refer to an error in reproducing an accurate optical field for realizing a stereoscopic image of a 3D display. For example, by correcting the error, the target stereoscopic image of the image processing apparatus 100 can be more accurately implemented by the plurality of projectors.

영상 처리 장치(100)는, 프로젝터의 오차를 보정하기 위해서, 프로젝터에 의해 출력된 광필드의 정보를 사용할 수 있다. 광필드의 정보를 획득하기 위해, 프로젝터가 여러 위치들로 이동될 필요는 없을 수 있다. 예컨대, 프로젝터가 단지 고정된 위치에서만 광필드를 출력하는 것이 가능할 수 있고, 영상 처리 장치(100)는 투사된 광필드의 정보를 사용함으로써 프로젝터의 오차를 보정할 수 있다.The image processing apparatus 100 can use the information of the optical field output by the projector to correct the error of the projector. In order to obtain information of the light field, the projector may not need to be moved to various positions. For example, it may be possible for the projector to output the light field only at a fixed position, and the image processing apparatus 100 may correct the error of the projector by using the information of the projected light field.

처리부(110), 네트워킹부(120) 및 저장부(130)에 대하여, 하기에서 도 2를 참조하여 상세히 설명된다.
The processing unit 110, the networking unit 120, and the storage unit 130 will be described below in detail with reference to FIG.

도 2는 일 실시예에 따른 영상 처리 방법의 흐름도이다.2 is a flowchart of an image processing method according to an embodiment.

후술될 단계들(210 내지 250)는 도 1을 참조하여 전술된 복수의 프로젝터들의 각각에 대하여 수행될 수 있다. The steps 210 to 250 to be described later can be performed for each of the plurality of projectors described above with reference to Fig.

단계(210)에서, 네트워킹부(120)는 프로젝터에 의해 출력된 광필드의 정보를 획득할 수 있다.In step 210, the networking unit 120 may obtain information of the optical field output by the projector.

광필드의 정보는 프로젝터로 입력되는 입력 영상의 픽셀이 스크린의 어느 지점으로 투사되는가에 대한 정보를 포함할 수 있다. 입력 영상은 복수의 픽셀들을 포함할 수 있다. 광필드의 정보는, 입력 영상의 복수의 픽셀들의 각각이 스크린의 어느 지점으로 투사되는가에 대한 정보를 포함할 수 있다. 말하자면, 광필드의 정보는 입력 영상의 픽셀 및 상기의 픽셀의 스크린 상의 투사 지점 간의 관계에 대한 정보를 포함할 수 있다.The information of the light field may include information on which point of the screen the pixel of the input image input to the projector is projected. The input image may include a plurality of pixels. The information in the light field may include information about where each of the plurality of pixels of the input image is projected onto the screen. That is to say, the information of the light field may include information on the relationship between the pixel of the input image and the projection point on the screen of the pixel.

투사 지점을 측정하는 구체적인 방법이 하기에서 도 3을 참조하여 상세히 설명된다.A specific method of measuring the projection point will be described in detail below with reference to FIG.

단계(220)에서, 처리부(110)는 광필드의 정보를 분석할 수 있다.In step 220, the processing unit 110 may analyze information in the light field.

단계(230)에서, 처리부(110)는 분석에 기반하여 프로젝터에게 제공할 영상의 정보를 보정 또는 생성할 수 있다.In step 230, the processing unit 110 may correct or generate information of the image to be provided to the projector based on the analysis.

단계(240)에서, 네트워킹부(120)는 보정된 영상의 정보 또는 생성된 영상의 정보를 프로젝터에게 제공할 수 있다.In step 240, the networking unit 120 may provide the information of the corrected image or the information of the generated image to the projector.

단계(250)에서, 프로젝터는 보정된 영상의 정보 또는 생성된 영상의 정보를 사용하여 영상을 출력할 수 있다.In step 250, the projector can output the image using the information of the corrected image or the information of the generated image.

복수의 프로젝터들이 각각 보정된 영상의 정보 또는 생성된 영상의 정보를 사용하여 영상을 출력함으로써 스크린 상에 영상이 표시될 수 있다. 스크린 상에 표시된 영상은 심리스 영상일 수 있다. 스크린 상에 표시된 영상으니 3D 영상일 수 있다.A plurality of projectors may display an image on a screen by outputting an image using the information of the corrected image or the information of the generated image, respectively. The image displayed on the screen may be a seamless image. The image displayed on the screen can be a 3D image.

전술된 단계들(210 내지 250)을 통해, 영상 처리 장치(100)는 복수의 프로젝터들에 의해 출력되는 영상들의 정보를 제공할 수 있다. 영상 처리 장치(100)는 프로젝터의 광필드 정보를 분석함으로써 프로젝터의 오차를 보정할 수 있고, 분석된 광필드 정보를 사용함으로써 우수한 2D 및 3D 화질을 구현할 수 있다. 또한, 영상 처리 장치(100)의 보정을 통해, 프로젝터 내부의 광학계에 기인한 기하 오차 또한 함께 보정될 수 있다.
Through the above-described steps 210 to 250, the image processing apparatus 100 can provide information of images output by a plurality of projectors. The image processing apparatus 100 can correct the error of the projector by analyzing the optical field information of the projector and can realize excellent 2D and 3D image quality by using the analyzed optical field information. Further, through the correction of the image processing apparatus 100, the geometrical error caused by the optical system inside the projector can be also corrected.

도 3은 일 예에 따른 측정을 통해 입력 영상의 픽셀 및 투사 지점 간의 관계를 검출하는 방법을 설명한다.FIG. 3 illustrates a method of detecting a relationship between a pixel of an input image and a projection point through a measurement according to an example embodiment.

도 3은, 제4 프로젝터(180-4)의 광필드의 정보를 획득하는 과정을 설명할 수 있다.Fig. 3 can explain the process of acquiring the information of the optical field of the fourth projector 180-4.

도 3에서, 제4 프로젝터(180-4)로 입력되는 입력 영상(310)이 도시되었다. 입력 영상(310)은 도 2를 참조하여 설명된 입력 영상에 대응할 수 있다.In Fig. 3, an input image 310 input to the fourth projector 180-4 is shown. The input image 310 may correspond to the input image described with reference to FIG.

입력 영상(310)의 좌표계는 i 및 j로 구성될 수 있다. i는 수평 픽셀 수일 수 있다. j는 수직 픽셀 수일 수 있다. 예컨대, 입력 영상(310)은 가로로 i 개의 픽셀들, 세로로 j 개의 픽셀들을 포함할 수 있다. i 및 j는 각각 자연수일 수 있다.The coordinate system of the input image 310 may be composed of i and j. i can be the number of horizontal pixels. j may be a vertical pixel number. For example, the input image 310 may include i pixels horizontally, j pixels vertically. i and j may be natural numbers, respectively.

스크린의 좌표계는 x 및 y로 구성될 수 있다. x는 수평 픽셀 수일 수 있다. y는 수직 픽셀 수일 수 있다. 예컨대, 스크린은 가로로 x 개의 픽셀들, 세로로 y 개의 픽셀들을 포함할 수 있다. 복수의 프로젝터들 각각에 의해 출력되는 영상은 스크린의 전체 또는 일부에 표시되는 영상을 구현할 수 있다. x 및 y는 각각 자연수일 수 있다.The coordinate system of the screen may be composed of x and y. x may be the number of horizontal pixels. y may be a vertical pixel number. For example, the screen may comprise x pixels horizontally, y pixels vertically. The image output by each of the plurality of projectors may implement an image displayed on all or a part of the screen. x and y may each be a natural number.

스크린 상에 표시된 영상은 입체 영상일 수 있다. 입체 영상은 서로 상이한 z 값을 갖는 하나 이상의 스크린 평면들을 포함할 수 있다. z는 입체 영상의 깊이를 나타낼 수 있다. 하나의 스크린 평면은 하나의 z 값에 대응할 수 있다. 프로젝터의 위치의 z 값은 0일 수 있다. z 축을 따라, 프로젝터로부터 멀어질수록 스크린 평면의 z 값이 증가할 수 있다. 스크린 평면의 z 값은 스크린 평면의 깊이일 수 있다.The image displayed on the screen may be a stereoscopic image. The stereoscopic image may include one or more screen planes having different z values from each other. z can represent the depth of the stereoscopic image. One screen plane may correspond to one z value. The z value of the position of the projector may be zero. Along the z-axis, the z-value of the screen plane may increase as it moves away from the projector. The z value of the screen plane may be the depth of the screen plane.

도 3에서, 제1 스크린 평면(320) 및 제2 스크린 평면(330)이 도시되었다. 제1 스크린 평면(320)의 깊이 값 z1 및 제2 스크린 평면(330)의 깊이 값 zmax는 서로 상이할 수 있다. zmax는 영상 처리 장치(100) 또는 프로젝터에 의해 구현되는 입체 영상의 최대 깊이의 값 또는 최대 깊이에 대응하는 값일 수 있다. 예컨대, 복수의 스트린 평면들 중 하나의 스크린 평면은 영상 처리 장치(100) 또는 프로젝터에 의해 구현되는 입체 영상의 최대 깊이에 대응하는 위치에 놓일 수 있다. z1은 0 보다 크고 zmax보다 작은 값일 수 있다.In Figure 3, a first screen plane 320 and a second screen plane 330 are shown. The depth value z 1 of the first screen plane 320 and the depth value z max of the second screen plane 330 may be different from each other. z max may be a value corresponding to the maximum depth value or the maximum depth of the stereoscopic image implemented by the image processing apparatus 100 or the projector. For example, the screen plane of one of the plurality of stream planes may be located at a position corresponding to the maximum depth of the stereoscopic image implemented by the image processing apparatus 100 or the projector. z 1 may be a value greater than zero and less than z max .

광필드의 정보를 획득하기 위해, 입력 영상(310)의 전체 픽셀들에 대해 각 픽셀이 스크린의 어느 지점으로 투사되는지가 측정될 필요는 없다. 예컨대, 프로젝터의 입력 영상(310)의 전체 픽셀들 중 단지 일부에 대해서만 각 픽셀이 스크린의 어느 지점으로 투사되는지를 측정하는 것 만으로도 프로젝터의 광필드의 정보가 획득될 수 있다.In order to obtain the information of the light field, it is not necessary to measure at which point of each pixel each pixel is projected for all the pixels of the input image 310. For example, the information of the optical field of the projector can be obtained by measuring only which part of the entire pixels of the input image 310 of the projector is projected to which point of the screen.

도 3에서, 입력 영상(310)의 60 개의 픽셀들에 대해서만 측청이 이루어지는 것이 도시되었다. 입력 영상(310)의 60 개의 픽셀들은 회색에 해당하는 적녹청(Red, Green, Blue; RGB) 컬러 값을 가질 수 있다. 영상 처리 장치는 60 개의 픽셀들이 회색의 컬러 값을 갖는 영상의 정보를 제4 프로젝터(180-4)에게 제공할 수 있다. 제4 프로젝터(180-4)는 60 개의 픽셀들이 회색의 컬러 값을 갖는 영상을 스크린으로 출력할 수 있다.In Fig. 3, it is shown that only the 60 pixels of the input image 310 are side-checked. 60 pixels of the input image 310 may have red, green, and blue (RGB) color values corresponding to gray. The image processing apparatus can provide the information of the image having the gray color value of 60 pixels to the fourth projector 180-4. The fourth projector 180-4 can output an image having a gray color value of 60 pixels to the screen.

제4 프로젝터(180-4)가 영상을 출력하면, 입력 영상의 픽셀들 각각에 대해, 각 픽셀의 스크린 평면으로의 방향 벡터의 정보가 획득될 수 있다. 제2 스크린 평면(330)을 통해, 장치(100) 또는 프로젝터에 의해 구현되는 입체 영상의 깊이의 범위 내에서, 픽셀의 스크린 평면으로의 방향 벡터의 정보가 측정될 수 있다. 측정된 방향 벡터의 정보는, 제4 프로젝터(180-4)의 입력 영상의 픽셀들 및 상기의 픽셀들이 실제로 스크린에 투사되는 지점들 간의 관계의 정보에 대응할 수 있다. 예컨대, 도 2를 참조하여 설명된 광필드의 정보는 프로젝터로 입력된 입력 영상의 픽셀의 스크린으로의 방향 벡터의 정보를 포함할 수 있다. 영상 처리 장치(100)는 관계의 정보를 이용하여 복수의 프로젝터들의 입력 영상들의 픽셀들이 스크린 상의 목표 지점으로 투사될 수 있도록 입력 영상들을 보정할 수 있다.When the fourth projector 180-4 outputs an image, for each of the pixels of the input image, information of the direction vector of each pixel to the screen plane can be obtained. Through the second screen plane 330, within the range of the depth of the stereoscopic image realized by the device 100 or the projector, the information of the direction vector to the screen plane of the pixel can be measured. The information of the measured direction vector may correspond to information of the relationship between the pixels of the input image of the fourth projector 180-4 and the points at which the pixels are actually projected onto the screen. For example, the information of the light field described with reference to FIG. 2 may include information of a direction vector to a screen of a pixel of an input image input to the projector. The image processing apparatus 100 can correct the input images so that the pixels of the input images of the plurality of projectors can be projected to the target point on the screen using the information of the relationship.

도 3에서, 입력 영상(310)의 픽셀들 중 2 개의 픽셀들인 Sinput1 및 Sinput2가 도시되었다. 전술된 것처럼, 복수의 프로젝터들의 위치들의 z 값들은 0일 수 있다. 따라서, 도 3에서, Sinput1의 좌표는 (i1, j1, 0)인 것으로 도시되었다. i1는 0 이상 i 보다 작은 정수일 수 있다. j1는 0 이상 j 보다 작은 정수일 수 있다. Sinput2의 좌표는 (i2, j2, 0)인 것으로 도시되었다. i2는 0 이상 i 보다 작은 정수일 수 있다. j2는 0 이상 j 보다 작은 정수일 수 있다.In Figure 3, two of the pixels of the input image 310, S input1 and S input2, are shown. As described above, the z values of the positions of the plurality of projectors may be zero. Thus, in Fig. 3, the coordinates of S input1 are shown to be (i 1 , j 1 , 0). i 1 may be an integer smaller than 0 and smaller than i. j 1 may be an integer smaller than 0 and smaller than j. The coordinates of S input2 are shown as (i 2 , j 2 , 0). i 2 may be an integer smaller than or equal to 0 and smaller than i. j 2 may be an integer smaller than or equal to 0 and smaller than j.

픽셀 Sinput1은 제1 스크린 평면(320) 상에서 지점 S1에 투사되었고, 제2 스크린 평면(330) 상에서 지점 S11에 투사되었다. 제1 스크린 평면(320) 및 제2 스크린 평면(330)의 z 값은 각각 z1 및 zmax이다. 따라서, 도 3에서, S1의 좌표는 (x1, y1, z1)인 것으로 도시되었으며, S11의 좌표는 (x11, y11, zmax)인 것으로 도시되었다. x1, y1, x11 및 y11는 각각 실수일 수 있다.Pixel S input1 was projected onto point S 1 on first screen plane 320 and projected onto point S 11 on second screen plane 330. The z values of the first screen plane 320 and the second screen plane 330 are z 1 and z max, respectively. Thus, in FIG. 3, the coordinates of S 1 are shown as (x 1 , y 1 , z 1 ) and the coordinates of S 11 are shown as (x 11 , y 11 , z max ). x 1 , y 1 , x 11, and y 11 may each be a real number.

또한, 픽셀 Sinput2는 제1 스크린 평면(320) 상에서 지점 S2에 투사되었고, 제2 스크린 평면(330) 상에서 지점 S22에 투사되었다. 도 3에서, S2의 좌표는 (x2, y2, z1)인 것으로 도시되었으며, S22의 좌표는 (x22, y22, zmax)인 것으로 도시되었다. x2, y2, x22 및 y22는 각각 실수일 수 있다.In addition, the pixel S input2 was projected onto point S 2 on the first screen plane 320 and projected onto point S 22 on the second screen plane 330. In Figure 3, the coordinates of S 2 are shown as (x 2 , y 2 , z 1 ) and the coordinates of S 22 are shown as (x 22 , y 22 , z max ). x 2 , y 2 , x 22, and y 22 may each be a real number.

하기에서 도 4을 참조하여 입력 영상의 픽셀이 서로 상이한 깊이 값을 갖는 2 개의 스크린 평면들 상에 각각 투사된 지점들에 기반하여 픽셀의 방향 벡터를 획득하는 방법이 설명된다. 픽셀이 실제로 투사된 지점들은 카메라(190)에 의해 획득될 수 있다.
A method of obtaining a direction vector of a pixel based on points projected on two screen planes having pixels having different depth values from each other will be described with reference to FIG. The points at which the pixels are actually projected may be obtained by the camera 190.

도 4는 일 예에 따른 방향 벡터를 검출하는 방법을 설명한다.4 illustrates a method of detecting a direction vector according to an example.

도 4에서, 프로젝터로 입력되는 입력 영상의 임의의 한 픽셀에 대하여, 픽셀의 방향 벡터를 획득하는 방법이 설명된다.In Fig. 4, for any one pixel of the input image input to the projector, a method of obtaining the direction vector of the pixel is described.

도 3을 참조하여 설명된 것처럼, 입력 영상의 픽셀 Sinput2는 지점 S2의 공간상 좌표 (x2, y2, z1) 및 지점 S22의 공간상 좌표 (x22, y22, zmax)로 투사되었다. 예컨대, 픽셀 Sinput2로부터 나아가는 광선은 좌표 (x2, y2, z1) 및 좌표 (x22, y22, zmax)를 통과한다. 말하자면, 입력 영상의 픽셀 Sinput2로부터 출력되는 광선의 방향 벡터는 Sinput2의 좌표로부터 시작하여 지점 S2의 공간상 좌표 (x2, y2, z1) 및 s22의 공간상 좌표 (x22, y22, zmax)를 통과하는 성분으로 정의될 수 있다. 상기의 방향 벡터는 z 축에서

Figure pat00001
만큼 왼쪽으로 회전하고, y 축에서
Figure pat00002
만큼 위로 회전하여 진행하는 광선으로 표현되었다. As described with reference to Figure 3, the pixel S input2 of the input image is a spatial coordinate of the point S 2 (x 2, y 2 , z 1) and spatial coordinates of the point S 22 (x 22, y 22 , z max ). For example, the light from the pixel S naahganeun input2 passes through a coordinate (x 2, y 2, z 1) and coordinates (x 22, y 22, z max). That is to say, the direction vector of the light beam outputted from the pixel S input2 of the input image is the starting by the space of the point S 2 from the coordinates of S input2 coordinate spatial coordinates (x 2, y 2, z 1) and s 22 (x 22 , y 22 , z max ). The direction vector is the
Figure pat00001
In the y-axis,
Figure pat00002
As shown in Fig.

광선이 통과하는 좌표들을 통해 광선의 방향 벡터가 계산될 수 있다. 말하자면, 입력 영상의 픽셀이 나아가는 광선이 서로 상이한 깊이 값을 갖는 2 개의 스크린 평면들 각각에 투사되는 지점들에 기반하여 픽셀의 스크린으로의 방향 벡터가 계산 또는 획득될 수 있다.The direction vector of the ray can be calculated through the coordinates through which the ray passes. That is to say, the direction vector of the pixel to the screen can be calculated or obtained based on the points where the rays advancing the pixels of the input image are projected onto each of the two screen planes having mutually different depth values.

도 3을 참조하여 전술된 입력 영상(310)의 60 개의 픽셀들 각각에 대해 픽셀의 방향 벡터가 계산될 수 있다. 계산된 방향 벡터는 입력 영상으로부터 출력되는 광필드가 스크린의 목표 지점들로 투사될 수 있도록 입력 영상의 정보를 보정하는 것에 이용될 수 있다.
The direction vector of the pixel can be calculated for each of the 60 pixels of the input image 310 described above with reference to FIG. The calculated direction vector can be used to correct the information of the input image so that the light field output from the input image can be projected to the target points of the screen.

도 5는 일 예에 따른 방향 벡터의 계산 방법의 흐름도이다.5 is a flowchart of a method of calculating a direction vector according to an example.

후술될 단계들(510 내지 570)를 통해, 처리부(110)는 프로젝터의 입력 영상의 픽셀로부터 나아가는 광선의 방향 벡터를 계산할 수 있다.Through the steps 510 to 570 to be described later, the processing unit 110 can calculate the direction vector of the light ray going from the pixel of the input image of the projector.

스크린의 위치는 복수의 프로젝터들에 대해 소정의 깊이를 가질 수 있다. 예컨대, 복수의 프로젝터들이 일렬로 배치되었을 때, 복수의 프로젝터들이 위치한 축 및 스크린의 x 축은 서로 평행일 수 있다. 복수의 프로젝터들에 대하여, 프로젝터의 영상의 출력 지점 및 스크린 간의 최단 거리는 모두 동일할 수 있다. 최단 거리는 스크린의 깊이 값일 수 있다. 스크린의 가로 축의 수평 방향 및 복수의 프로젝터가 놓인 지지대의 가로 축의 수평 방향은 서로 평행일 수 있다.The position of the screen may have a predetermined depth for a plurality of projectors. For example, when a plurality of projectors are arranged in a line, the axis where the plurality of projectors are located and the x-axis of the screen may be parallel to each other. For a plurality of projectors, the shortest distance between the screen and the output point of the image of the projector may be the same. The shortest distance can be the depth value of the screen. The horizontal direction of the horizontal axis of the screen and the horizontal direction of the horizontal axis of the support frame on which the plurality of projectors are placed may be parallel to each other.

보정용 패턴이 스크린의 전면에 부착될 수 있다. 패턴은 격자 무늬의 패턴 또는 격자의 각 모서리에 점이 찍힌 패턴일 수 있다.A correction pattern may be attached to the front surface of the screen. The pattern may be a pattern of grid patterns or a pattern of dots at each corner of the grid.

하기의 단계들(510 내지 560)에서, 프로젝터가 입력 영상을 스크린 상에 출력할 때, 입력 영상의 각 픽셀이 스크린 상의 어느 지점에 실제로 표시되는지가 검출될 수 있다. 상기의 검출을 위해 스크린 상에 표시된 영상이 카메라(190)에 의해 촬영될 수 있다.In the following steps 510 to 560, when the projector outputs an input image on a screen, it can be detected at which point each pixel of the input image is actually displayed on the screen. The image displayed on the screen for the above detection can be photographed by the camera 190. [

단계(510)에서, 카메라(190)는 스크린의 전면에 부착된 패턴을 촬영할 수 있다. 네트워킹부(120)는 패턴의 정보를 수신할 수 있다.In step 510, the camera 190 may take a pattern attached to the front of the screen. The networking unit 120 can receive the information of the pattern.

단계(520)에서, 처리부(110)는 변환 매트릭스를 도출할 수 있다. 변환 매트릭스는 카메라(190)의 촬영에 의해 획득된 영상 상의 좌표를 스크린 평면 상의 좌표로 변환할 수 있다. 영상 상의 좌표는 영상의 픽셀의 좌표를 의미할 수 있다. 처리부(110)는 동차 좌표계(homography)를 사용함으로써 변환 매트릭스를 계산할 수 있다.In step 520, the processing unit 110 may derive a transformation matrix. The transformation matrix can transform the coordinates on the image obtained by the photographing of the camera 190 into the coordinates on the screen plane. The coordinates on the image may refer to the coordinates of the pixels of the image. The processing unit 110 may calculate the transformation matrix by using a homogeneous coordinate system.

격자 무늬 또는 격자의 각 모서리에 찍힌 점들로 이루어진 패턴은 프로젝터로부터 출력된 영상이 스크린 평면 상에서 도달하여야 할 영역을 나타낼 수 있다. 예컨대, 격자 무늬의 크기 또는 격자의 각 모서리에 찍힌 점들로 이루어진 패턴의 크기는 스크린 평면 상에 표시될 영상의 크기와 동일할 수 있다. 스크린 평면 상에 표시될 영상은 프로젝터로부터 출력된 영상이 스크린 평면 상에 투영된 것일 수 있다.A pattern consisting of dots on each corner of the grid or grid can indicate the area that the image output from the projector should reach on the screen plane. For example, the size of the grid pattern or the size of the pattern consisting of the dots on each corner of the grid may be the same as the size of the image to be displayed on the screen plane. The image to be displayed on the screen plane may be one in which the image output from the projector is projected on the screen plane.

패턴의 모서리에 있는 최외곽의 4 개의 점들은 각각 스크린 평면 상의 좌표가 (0, 0), (0, 1), (1, 0) 및 (1, 1)인 점들로 가정될 수 있다.The outermost four points at the corners of the pattern can be assumed to be the points whose coordinates on the screen plane are (0, 0), (0, 1), (1, 0) and (1, 1), respectively.

하기의 수학식 1은, 스크린의 전면에 부착된 격자 무늬의 모서리의 좌표 값들을 카메라(190)의 촬영에 의해 획득된 영상 상의 좌표 값들로 변환하는 매트릭스를 계산하는 방법을 나타낼 수 있다.Equation 1 below may represent a method of calculating a matrix that transforms coordinate values of edges of a grid pattern attached to the front of a screen to coordinate values on an image obtained by photographing the camera 190. [

Figure pat00003
Figure pat00003

C는 모서리의 좌표 값들을 나타내는 매트릭스일 수 있다. C의 각 열은 모서리의 좌표 값을 나타낼 수 있다. C의 행들은 각각 x 좌표, y 좌표 및 z 좌표를 나타낼 수 있다. A는 카메라(190)의 촬영에 의해 획득된 영상 상의 좌표 값들을 나타내는 매트릭스일 수 있다. A의 각 열은 영상 상의 픽셀을 나타낼 수 있다. A의 행들은 각각 x 좌표, y 좌표 및 z 좌표를 나타낼 수 있다.C may be a matrix representing the coordinate values of the corner. Each column of C can represent the coordinate value of the corner. The rows of C may represent the x coordinate, the y coordinate and the z coordinate, respectively. A may be a matrix representing the coordinate values on the image obtained by the photographing of the camera 190. Each column of A may represent a pixel on the image. The rows of A may represent x, y, and z coordinates, respectively.

B는 격자 무늬의 모서리의 좌표 값들을 카메라(190)의 촬영에 의해 획득된 영상 상의 좌표 값들로 변환하는 매트릭스일 수 있다. B는 스크린 평면 상의 좌표를 카메라(190)의 촬영에 의해 획득된 영상 상의 좌표 값들로 변환할 수 있다. 말하자면, B는 스크린 상의 지점 또는 지점의 좌표 및 카메라(190)에 의해 촬영된 영상의 픽셀의 좌표 간의 관계를 나타낼 수 있다.B may be a matrix for transforming the coordinate values of the edge of the grid pattern into coordinate values on the image obtained by photographing the camera 190. B can convert the coordinates on the screen plane to the coordinate values on the image obtained by photographing the camera 190. [ In other words, B can represent the relationship between the coordinates of the point or point on the screen and the coordinates of the pixel of the image photographed by the camera 190.

예컨대, 카메라(190)의 촬영에 의해 획득된 영상 상의 좌표를 스크린 평면 상의 좌표로 변환하는 변환 매트릭스는 B의 역 매트릭스인 B-1일 수 있다.For example, the transformation matrix for transforming the coordinates on the image obtained by the photographing of the camera 190 to the coordinates on the screen plane may be B -1 , which is the inverse matrix of B.

처리부(110)는 카메라(190)의 촬영에 의해 획득된 영상 내에서 패턴 및 패턴의 모서리에 있는 최외곽의 4 개의 점들을 검출할 수 있다. 처리부(110)는 최외곽의 4 개의 점들의 영상 내에서의 좌표들을 사용하여 B 및 B- 1를 도출할 수 있다.The processing unit 110 can detect the outermost four points in the edge of the pattern and the pattern in the image obtained by the photographing of the camera 190. [ The processing unit 110 may derive B and B - 1 using coordinates in the image of the outermost four points.

하기의 수학식 2는 검출된 최외곽의 4 개의 점들을 나타내는 매트릭스 A, 도출된 매트릭스 B 및 모서리의 좌표 값들을 나타내는 매트릭스 C의 일 예일 수 있다.Equation (2) below may be an example of a matrix A representing the four outermost points detected, a derived matrix B, and a matrix C representing the coordinate values of the edges.

Figure pat00004
Figure pat00004

패턴의 최외곽의 지점들은 각각 좌표가 (0, 0), (0, 1), (1, 0) 및 (1, 1)인 점들에 대응할 수 있다. 또한, 패턴의 내부의 지점은 0 이상 1 이하인 x 좌표의 값 및 0 이상 1 이하인 y 좌표의 값를 가질 수 있다.The outermost points of the pattern may correspond to points whose coordinates are (0, 0), (0, 1), (1, 0) and (1, 1). In addition, the point inside the pattern may have a value of the x coordinate of 0 or more and 1 or less and a value of the y coordinate of 0 or more and 1 or less.

패턴 내부의 지점이 입력 영상의 픽셀에 대응할 때, 패턴 내부의 지점의 x 좌표의 값은 1을 입력 영상의 수평 해상도로 나눈 값에 픽셀의 x 좌표의 값을 곱한 값일 수 있다. 패턴 내부의 지점의 y 좌표의 값은 1을 입력 영상의 수직 해상도로 나눈 값에 픽셀의 y 좌표의 값을 곱한 값일 수 있다.When the point inside the pattern corresponds to the pixel of the input image, the value of the x-coordinate of the point inside the pattern may be a value obtained by dividing 1 by the horizontal resolution of the input image and the value of the x-coordinate of the pixel. The value of the y coordinate of the point inside the pattern may be a value obtained by dividing 1 by the vertical resolution of the input image and multiplying by the value of the y coordinate of the pixel.

변환 매트릭스가 도출된 후, 스크린의 전면에 부착된 패턴은 제거될 수 있다.After the conversion matrix is derived, the pattern attached to the front of the screen can be removed.

단계(530)에서, 처리부(110)는 보정용 입력 영상의 정보를 생성할 수 있다. 네트워킹부(120)는 프로젝터로 보정용 입력 영상의 정보를 전송할 수 있다. 프로젝터는 보정용 입력 영상의 정보를 사용하여 보정용 입력 영상을 스크린으로 출력할 수 있다. 보정용 입력 영상은 단계(510)의 스크린에 부착된 패턴에 대응할 수 있다. 보정용 입력 영상은 패턴은 격자 무늬의 패턴 또는 격자의 각 모서리에 점이 찍힌 패턴을 나타낼 수 있다.In step 530, the processing unit 110 may generate information of the correction input image. The networking unit 120 can transmit the information of the correction input image to the projector. The projector can output the correction input image to the screen using the information of the correction input image. The correction input image may correspond to the pattern attached to the screen of step 510. The input image for correction may represent a pattern of a lattice pattern or a pattern of dots at each corner of the lattice.

단계(540)에서, 카메라(190)는 스크린 상에 표시된 보정용 입력 영상을 촬영할 수 있다. 네트워킹부(120)는 카메라(190)로부터 촬영된 영상의 정보를 수신할 수 있다.In step 540, the camera 190 may capture the input image for correction displayed on the screen. The networking unit 120 can receive information of the photographed image from the camera 190. [

단계(550)에서, 처리부(110)는 촬영된 영상의 정보 및 변환 매트릭스를 사용하여 촬영된 영상의 픽셀의 좌표를 스크린 상의 좌표로 변환할 수 있다. 스크린 상의 좌표에서, x 좌표 및 y 좌표는 각각 0 이상 1 이하의 값을 가질 수 있다. 예컨대, 스크린 상의 좌표에서, x 좌표의 범위 및 y 좌표의 범위는 각각 0 이상 1 이하의 실수일 수 있다.At step 550, the processing unit 110 may convert the coordinates of the pixels of the photographed image into coordinates on the screen using the information of the photographed image and the transformation matrix. In the on-screen coordinates, the x-coordinate and the y-coordinate may each have a value between 0 and 1 inclusive. For example, in the coordinates on the screen, the range of the x-coordinate and the range of the y-coordinate may be real numbers of 0 or more and 1 or less, respectively.

영상의 픽셀은 보정용 입력 영상의 특정한 지점을 나타내는 픽셀일 수 있다. 예컨대, 영상의 픽셀은 보정용 입력 영상의 격자 무늬 패턴을 나타내는 픽셀 또는 보정용 입력 영상의 격자의 각 모서리에 찍힌 점을 나타내는 픽셀일 수 있다.The pixel of the image may be a pixel representing a specific point of the input image for correction. For example, a pixel of an image may be a pixel representing a grid pattern of the input image for correction, or a pixel representing a point of each grid of the grid of the input image for correction.

상기의 변환을 통해, 처리부(110)는 제1 좌표들 및 제2 좌표들 간의 연관 관계를 나타내는 좌표 변환 데이터를 생성할 수 있다. 제1 좌표 값들은 프로젝터가 출력하는 영상의 픽셀의 좌표들일 수 있다. 제1 좌표들은 영상이 나타내는 격자의 각 모서리에 찍힌 점들의 좌표들일 수 있다. 제2 좌표들은 스크린 상에 표시된 영상이 카메라(190)에 의해 촬영되었을 때, 카메라(190)에 의해 촬영된 영상의 픽셀의 좌표들일 수 있다. 스크린 상에 표시된 영상이 격자의 각 모서리에 찍힌 점들을 포함할 때, 제2 좌표들은 촬영된 영상이 나타내는 격자의 각 모서리에 찍힌 점들의 좌표일 수 있다. 말하자면, 좌표 변환 데이터는 프로젝터가 출력하는 입력 영상의 픽셀의 좌표 및 상기의 픽셀이 스크린에 실제로 출력된 지점에 대응하는 입력 영상의 좌표 간의 대응 관계일 수 있다. 좌표 변환 데이터는 룩 업 테이블(Look Up Table; LUT)일 수 있다.Through the above transformation, the processing unit 110 can generate coordinate transformation data indicating an association between the first coordinates and the second coordinates. The first coordinate values may be coordinates of a pixel of an image output from the projector. The first coordinates may be the coordinates of the points imprinted at each corner of the grid represented by the image. The second coordinates may be the coordinates of the pixel of the image photographed by the camera 190 when the image displayed on the screen is photographed by the camera 190. When the image displayed on the screen includes points imprinted on each corner of the grid, the second coordinates may be the coordinates of the points imprinted on each corner of the grid represented by the photographed image. That is to say, the coordinate transformation data may be the correspondence between the coordinates of the pixels of the input image output by the projector and the coordinates of the input image corresponding to the point at which the pixels are actually output to the screen. The coordinate transformation data may be a lookup table (LUT).

단계(560)에서, 처리부(110)는 좌표 변환 데이터를 저장부(130) 내에 저장할 수 있다.In step 560, the processing unit 110 may store the coordinate transformation data in the storage unit 130. [

전술된 단계들(510 내지 560)을 통해, 처리부(110)는 프로젝터의 입력 영상의 픽셀이 실제로 스크린의 어떤 지점으로 출력되는지를 검출할 수 있다. 말하자면, 처리부(110)는 프로젝터의 입력 영상의 픽셀이 소정의 깊이 값을 갖는 스크린 평면의 어느 좌표에 대응하는지를 계산할 수 있다.Through the above-described steps 510 to 560, the processing unit 110 can detect which of the pixels of the input image of the projector is actually output to the screen. That is to say, the processing unit 110 can calculate which coordinates of the screen plane having a predetermined depth value the pixel of the input image of the projector corresponds to.

전술된 단계들(510 내지 560)는 서로 상이한 깊이 값을 갖는 복수의 스크린 평면들에 대해 반복될 수 있다. 말하자면, 스크린을 프로젝터에 대해 서로 상이한 깊이들에 위치시키면서, 전술된 단계들(510 내지 560)이 반복될 수 있다. 예컨대, z1의 깊이에 위치된 스크린에 대해 전술된 단계들(510 내지 560)이 수행된 후 zmax의 깊이에 위치된 스크린에 대해 전술된 단계들(510 내지 560)이 수행될 수 있다. The above-described steps 510 to 560 can be repeated for a plurality of screen planes having different depth values. In other words, the above-described steps 510 to 560 can be repeated while the screen is positioned at different depths to the projector. For example, after the aforementioned step for the screen located at a depth of z 1 (510 to 560) is performed may be the steps (510 to 560) described above with respect to the screen located at a depth of z max performed.

전술된 단계들(510 내지 560)의 반복에 의해, 서로 상이한 깊이에 대한 복수 개의 좌표 변환 데이터가 생성 및 저장될 수 있다.By repeating the above-described steps 510 to 560, a plurality of coordinate transformation data for different depths can be generated and stored.

단계(570)에서, 처리부(110)는 서로 상이한 깊이에 대한 복수 개의 좌표 변환 데이터를 사용함으로써 프로젝터의 입력 영상의 픽셀로부터 나아가는 광선의 방향 벡터를 계산할 수 있다.In step 570, the processing unit 110 may calculate a direction vector of a ray going from a pixel of the input image of the projector by using a plurality of coordinate transformation data for different depths.

또한, 처리부(110)는 계산된 방향 백터를 사용하여, 프로젝터의 입력 영상의 픽셀에 대응하는 스크린 상의 좌표를 계산할 수 있다.In addition, the processing unit 110 can calculate the coordinates on the screen corresponding to the pixels of the input image of the projector using the calculated direction vector.

좌표 변환 데이터는 프로젝터로 입력되는 입력 영상의 각 픽셀에 대응하는 소정의 깊이 값을 갖는 스크린 평면의 좌표에 대한 정보를 포함할 수 있다. 예컨대, 좌표 변환 데이터는 제1 좌표 및 제2 좌표 간의 대응 관계를 포함할 수 있다. 제1 좌표는 입력 영상의 픽셀의 좌표일 수 있다. 제2 좌표는 상기의 픽셀이 소정의 깊이 값을 갖는 스크린 평면에 출력되었을 때, 상기의 픽셀의 스크린 평면 상의 좌표일 수 있다.The coordinate conversion data may include information on the coordinates of the screen plane having a predetermined depth value corresponding to each pixel of the input image input to the projector. For example, the coordinate transformation data may include a correspondence between the first coordinate and the second coordinate. The first coordinate may be the coordinates of the pixel of the input image. The second coordinate may be a coordinate on the screen plane of the pixel when the pixel is output to a screen plane having a predetermined depth value.

또한, 좌표 변환 데이터는 입력 영상의 각 픽셀의 방향 벡터의 정보를 포함할 수 있다.
In addition, the coordinate transformation data may include information of a direction vector of each pixel of the input image.

도 6은 일 예에 따른 보정용 패턴을 나타낸다.6 shows a correction pattern according to an example.

도 6에서 도시된 것과 같은 보정용 패턴이 스크린의 전면에 부착될 수 있다. 보정용 패턴은 격자 무늬일 수 있다. 수평 축 또는 x 축 상으로, 16 개의 격자들이 있고, 수직 축 또는 y 축 상으로 10 개의 격자들이 있다.A correction pattern such as that shown in Fig. 6 may be attached to the front surface of the screen. The correction pattern may be a grid pattern. There are 16 grids on the horizontal axis or x axis, and there are 10 grids on the vertical or y axis.

P00, P10, P01 및 P11은 격자의 각 모서리에 찍힌 4 개의 점들이다. P00, P10, P01 및 P11의 스크린 평면 상의 좌표는 각각 (0, 0), (0, 1), (1, 0) 및 (1, 1)일 수 있다.
P 00 , P 10 , P 01 and P 11 are the four points on each corner of the lattice. The coordinates on the screen plane of P 00 , P 10 , P 01 and P 11 may be (0, 0), (0, 1), (1, 0) and (1, 1), respectively.

도 7은 일 예에 따른 프로젝터에게 제공할 영상의 정보를 보정하는 방법의 흐름도이다.7 is a flowchart of a method of correcting information of an image to be provided to a projector according to an example.

도 2를 참조하여 설명된 단계(230)는 하기의 단계들(710 내지 730)을 포함할 수 있다.Step 230 described with reference to FIG. 2 may include the following steps 710 - 730.

복수의 프로젝터들로부터 출력되는 광필드를 통해, 우수한 화질을 갖는 영상이 구현되기 위해서는, 복수의 포로젝터들의 각각으로부터 출력되는 광선들이, 스크린 상의 특정한 픽셀에 대응하는 지점에 모여서, 목표가 되는 영상의 픽셀을 구성할 수 있다. 말하자면, 프로젝터로 입력되는 입력 영상의 화소가 스크린 상의, 상기의 화소에 대응하는 지점에 맵핑될 수 있다. 프로젝터로 입력된 영상의 픽셀들 각각에 대하여, 영상은 상기의 영상이 프로젝터로부터 출력될 때 영상의 픽셀이 스크린 상의 어느 지점에 실제로 표시되는가에 따라 보정될 수 있다.In order to realize an image with excellent image quality through the optical field output from a plurality of projectors, light rays output from each of the plurality of projectors are gathered at a position corresponding to a specific pixel on the screen, . ≪ / RTI > That is, the pixels of the input image input to the projector can be mapped to points corresponding to the pixels on the screen. For each of the pixels of the image input to the projector, the image may be corrected according to where the pixels of the image are actually displayed on the screen when the image is output from the projector.

말하자면, 프로젝터로 입력되는 입력 영상은 상기의 입력 영상이 프로젝터로부터 출력될 때 스크린 상에 어떻게 표시되는가에 따라 보정될 수 있다.That is, the input image input to the projector can be corrected according to how the input image is displayed on the screen when the input image is outputted from the projector.

입력 영상의 보정을 위해 입력 영상의 픽셀들 각각에 대해, 하기의 단계들(710 내지 730)이 수행될 수 있다.For each of the pixels of the input image for correction of the input image, the following steps 710 to 730 may be performed.

단계(710)에서, 처리부(110)는 저장부(130)로부터 좌표 변환 데이터를 추출할 수 있다.In step 710, the processing unit 110 may extract the coordinate transformation data from the storage unit 130. [

단계(710)에서, 처리부(110)는 프로젝터에게 제공할 영상의 제1 픽셀에 대응하는 제2 픽셀의 영상 데이터를 추출할 수 있다. 영상 데이터의 추출을 위해, 처리부(110)는 좌표 변환 데이터를 사용할 수 있다.In step 710, the processing unit 110 may extract the image data of the second pixel corresponding to the first pixel of the image to be provided to the projector. For extracting the video data, the processing unit 110 may use the coordinate conversion data.

제1 픽셀은 프로젝터에게 제공할 영상의 픽셀들 중 하나의 픽셀일 수 있다. 프로젝터의 위치 및 제1 픽셀의 좌표에 따라, 제1 픽셀이 프로젝터에 의해 출력될 때 제1 픽셀이 표시되는 스크린 상의 지점이 예측될 수 있다. 그러나, 프로젝터의 오차 때문에, 제1 픽셀이 실제로 출력되는 지점은 스크린 상의 영상을 정확하게 구성하기 위해 상기의 제1 픽셀이 차지해야 할 지점과는 상이할 수 있다.The first pixel may be one of the pixels of the image to be provided to the projector. According to the position of the projector and the coordinates of the first pixel, a point on the screen where the first pixel is displayed can be predicted when the first pixel is outputted by the projector. However, due to the error of the projector, the point at which the first pixel is actually output may be different from the point at which the first pixel should occupy in order to accurately configure the image on the screen.

따라서, 스크린 상의 영상이 정확하게 구성되기 위해, 제1 픽셀의 영상 데이터는 제1 픽셀이 실제로 출력되는 스크린 상의 지점에 대응하는 제2 픽셀의 영상 데이터로 대체될 수 있다. 영상 데이터는 픽셀의 컬러 값을 포함할 수 있다. 컬러 값은 RGB 값일 수 있다.Thus, in order for the image on the screen to be configured correctly, the image data of the first pixel may be replaced by the image data of the second pixel corresponding to a point on the screen where the first pixel is actually output. The image data may include a color value of a pixel. The color value may be an RGB value.

말하자면, 제2 픽셀은 제1 픽셀이 프로젝터에 의해 출력될 때 제1 픽셀이 실제로 표시되는 스크린 상의 지점에 대응하는 좌표를 갖는 픽셀일 수 있다. 제1 픽셀 및 제2 픽셀 간의 대응의 관계는 제1 지점 및 제2 지점 간의 차이에 의해 결정될 수 있다. 제1 지점은 프로젝터의 스크린에 대한 깊이 및 제1 픽셀의 좌표에 따라 계산되는 제1 픽셀이 스크린 상에 표시되는 지점일 수 있다. 제2 지점은 프로젝터의 오차에 기인하여 제1 픽셀이 스크린 상에 실제로 표시되는 지점일 수 있다. 예컨대, 제3 지점 및 제4 지점은 동일할 수 있다. 제3 지점은 제1 픽셀이 스크린 상에 실제로 표시되는 지점일 수 있다. 제4 지점은 프로젝터의 스크린에 대한 깊이 및 제2 픽셀의 좌표에 따라 계산되는 제2 픽셀이 스크린 상에 표시되는 지점일 수 있다.That is to say, the second pixel may be a pixel having a coordinate corresponding to a point on the screen where the first pixel is actually displayed when the first pixel is output by the projector. The corresponding relationship between the first pixel and the second pixel may be determined by the difference between the first point and the second point. The first point may be a point at which the first pixel calculated on the basis of the depth of the projector's screen and the coordinates of the first pixel is displayed on the screen. The second point may be the point at which the first pixel is actually displayed on the screen due to the error of the projector. For example, the third point and the fourth point may be the same. The third point may be the point at which the first pixel is actually displayed on the screen. The fourth point may be a point at which a second pixel calculated on the basis of the depth of the screen of the projector and the coordinates of the second pixel is displayed on the screen.

예컨대, 프로젝터의 오차에 기인하여, 프로젝터에 의해 출력되는 영상이 실제로는 한 픽셀씩 왼쪽으로 쉬프트되어 스크린 상에 표시된다는 것을 가정할 수 있다. 프로젝트에 제공되는 영상이 오른쪽으로 한 픽셀씩 쉬프트된다면, 결과적으로 스크린 상에 표시된 영상은 정확한 것일 수 있다. 따라서, 상기의 가정 하에서, 제1 픽셀에 대응하는 제2 픽셀은 제1 픽셀의 좌측에 위치한 픽셀일 수 있다.For example, it can be assumed that due to the error of the projector, the image output by the projector is actually shifted to the left by one pixel and displayed on the screen. If the image provided to the project is shifted one pixel to the right, the resulting image on the screen may be accurate. Thus, under the above assumption, the second pixel corresponding to the first pixel may be a pixel located to the left of the first pixel.

단계(730)에서, 처리부(110)는 제1 픽셀에게 제2 픽셀의 영상 데이터를 할당할 수 있다. 예컨대, 처리부(110)는 제1 픽셀의 컬러 값을 제2 픽셀의 컬러 값으로 대체할 수 있다. 예컨대, 처리부(110)는 보정 이전의 영상의 제2 픽셀의 영상 데이터를 사용하여 보정된 영상의 제1 픽셀의 영상 데이터를 세트할 수 있다.
In step 730, the processing unit 110 may assign the image data of the second pixel to the first pixel. For example, the processing unit 110 may replace the color value of the first pixel with the color value of the second pixel. For example, the processing unit 110 may set the image data of the first pixel of the corrected image using the image data of the second pixel of the image before correction.

도 8은 일 예에 따른 프로젝터에게 제공할 영상의 정보를 보정하는 방법의 흐름도이다.8 is a flowchart of a method of correcting information of an image to be provided to a projector according to an example.

도 2를 참조하여 설명된 단계(230)는 하기의 단계들(810 내지 850)을 포함할 수 있다.Step 230 described with reference to FIG. 2 may include the following steps 810 - 850.

단계(810)에서, 처리부(110)는 저장부(130)로부터 좌표 변환 데이터를 추출할 수 있다.In step 810, the processing unit 110 may extract the coordinate transformation data from the storage unit 130. [

단계(820)에서, 처리부(110)는 좌표 변환 데이터를 사용하여 프로젝터에게 제공할 영상의 픽셀 및 스크린 상의 지점 간의 매핑을 계산할 수 있다.In step 820, the processing unit 110 may use the coordinate transformation data to calculate a mapping between the pixels of the image to be provided to the projector and the points on the screen.

좌표 변환 데이터는 프로젝터로 입력되는 입력 영상의 픽셀들의 각각의 방향 벡터의 성분의 데이터를 포함할 수 있다. 입력 영상은 네트워킹부(120)를 통해 프로젝터에게 제공될 영상일 수 있다.The coordinate transformation data may include data of a component of each direction vector of pixels of the input image input to the projector. The input image may be an image to be provided to the projector through the networking unit 120. [

처리부(110)는 좌표 변환 데이터를 사용하여, 픽셀의 방향 벡터를 계산할 수 있다. 픽셀의 방향 벡터는 프로젝터의 오차가 기 반영된 것일 수 있다. 따라서, 방향 벡터는 프로젝터로부터 출력된 픽셀이 실제로 진행하는 방향의 벡터일 수 있다.The processing unit 110 can calculate the direction vector of the pixel using the coordinate transformation data. The direction vector of the pixel may be one in which the error of the projector is reflected. Thus, the direction vector may be a vector of the direction in which the pixel output from the projector actually proceeds.

픽셀의 방향 벡터를 사용하여, 처리부(110)는 픽셀이 특정한 깊이 z에 위치한 스크린 평면의 어느 지점에 표시되는지를 계산할 수 있다. 여기서, z는 z1 이상 zmax 이하일 수 있다. 말하자면, 상기의 지점은 프로젝터로부터 출력된 픽셀이 실제로 표시되는 스크린 상의 지점일 수 있다.Using the direction vector of the pixel, the processing unit 110 can calculate at which point of the screen plane the pixel is located at a particular depth z. Here, z may be z 1 or more and z max or less. That is to say, the above points may be points on the screen where the pixels output from the projector are actually displayed.

처리부(110)는 계산된 매핑에 기반하여, 입력 영상의 픽셀들 각각에 대해, 입력 영상의 픽셀에 대응하는 스크린 상의 좌표를 계산할 수 있다. 처리부(110)는 특정한 깊이 z를 갖는 스크린 평면에 대한 좌표 변환 데이터를 생성할 수 있다.The processing unit 110 may calculate the coordinates on the screen corresponding to the pixels of the input image, for each of the pixels of the input image, based on the calculated mapping. The processing unit 110 may generate coordinate transformation data for a screen plane having a specific depth z.

단계(830)에서, 처리부(110)는 입력 영상의 픽셀에 대응하는 스크린 상의 좌표를 저장부(130) 내에 저장할 수 있다. 좌표 변환 데이터는 입력 영상의 픽셀들의 좌표 값 및 픽셀들에 대응하는 스크린 상의 좌표들을 포함할 수 있다. 처리부(110)는 좌표 변환 데이터를 저장부(130) 내에 저장할 수 있다.In step 830, the processing unit 110 may store coordinates on the screen corresponding to the pixels of the input image in the storage unit 130. [ The coordinate transformation data may include coordinate values of pixels of the input image and coordinates on the screen corresponding to the pixels. The processing unit 110 may store the coordinate transformed data in the storage unit 130.

스크린 상의 지점은 스크린 상에 표시된 픽셀을 의미할 수 있다.A point on the screen may refer to a pixel displayed on the screen.

단계(840)에서, 스크린 상의 픽셀들 각각에 대해, 처리부(110)는 스크린 상의 제1 픽셀에 대응하는 프로젝터의 입력 영상의 제2 픽셀을 결정할 수 있다. 제2 픽셀은, 프로젝터로부터 출력되었을 때, 스크린 상의 제1 픽셀의 지점에 실제로 표시되는 픽셀일 수 있다.In step 840, for each of the pixels on the screen, the processing unit 110 may determine a second pixel of the input image of the projector corresponding to the first pixel on the screen. The second pixel may be a pixel that is actually displayed at the point of the first pixel on the screen when output from the projector.

단계(850)에서, 처리부(110)는 입력 영상의 제2 픽셀에게 제1 픽셀의 영상 데이터를 할당할 수 있다. 제1 픽셀의 영상 데이터는 복수의 프로젝터들이 스크린 상에 정확한 영상을 구현하기 위해, 프로젝터가 제1 픽셀의 지점으로 출력하여야 할 영상 데이터일 수 있다. 제1 픽셀의 영상 데이터는 복수의 프로젝터들에 의해 출력된 광필드들에 의해 스크린 상에 표시된 영상의 제1 픽셀의 지점에 출력될 영상 데이터일 수 있다.In step 850, the processing unit 110 may assign the image data of the first pixel to the second pixel of the input image. The image data of the first pixel may be image data that the projector should output at the point of the first pixel so that a plurality of projectors implement an accurate image on the screen. The image data of the first pixel may be image data to be output at the point of the first pixel of the image displayed on the screen by the light fields output by the plurality of projectors.

전술된 단계들(810 내지 850)을 통해, 특정한 깊이 z에 위치된 스크린에 대해서, 프로젝터의 입력 영상이 보정될 수 있다.
Through the steps 810 to 850 described above, for a screen located at a specific depth z, the input image of the projector can be corrected.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (19)

복수의 프로젝터들에 의해 출력되는 영상들의 정보를 제공하는 영상 처리 방법에 있어서,
프로젝터에 의해 출력된 광필드의 정보를 분석하는 단계;
상기 분석에 기반하여 상기 프로젝터에게 제공할 영상의 정보를 보정하는 단계; 및
상기 보정된 영상의 정보를 상기 프로젝터에게 제공하는 단계
를 포함하는 영상 처리 방법.An image processing method for providing information of images output by a plurality of projectors,
Analyzing information of the optical field output by the projector;
Correcting information of an image to be provided to the projector based on the analysis; And
Providing the corrected image information to the projector
And an image processing method. 제1항에 있어서,
상기 광필드의 정보는 상기 프로젝터로 입력된 입력 영상의 픽셀이 스크린의 어느 지점으로 투사되는가에 대한 정보를 포함하는 영상 처리 방법.The method according to claim 1,
Wherein the information of the optical field includes information on which point of the screen the pixel of the input image input to the projector is projected. 제1항에 있어서,
상기 광필드의 정보는 상기 프로젝터로 입력된 입력 영상의 픽셀의 스크린으로의 방향 벡터의 정보를 포함하는 영상 처리 방법.The method according to claim 1,
Wherein the information of the optical field includes information of a direction vector of a pixel of an input image input to the projector to a screen. 제3항에 있어서,
상기 방향 벡터는 상기 픽셀이 나아가는 광선이 서로 상이한 깊이 값을 갖는 2 개의 스크린 평면들 각각에 투사되는 지점들에 기반하여 계산되는 영상 처리 방법.The method of claim 3,
Wherein the direction vector is computed based on points projected on each of the two screen planes having different depth values of rays of light traveling through the pixel. 제1항에 있어서,
상기 영상의 정보는 상기 영상이 상기 프로젝터로부터 출력될 때 상기 영상의 픽셀이 스크린 상의 어느 지점에 실제로 표시되는가에 따라 보정되는 영상 처리 방법.The method according to claim 1,
Wherein the information of the image is corrected according to a point at which the pixel of the image is actually displayed on the screen when the image is output from the projector. 제1항에 있어서,
상기 보정하는 단계는,
상기 프로젝터에게 제공할 영상의 제1 픽셀에 대응하는 제2 픽셀의 영상 데이터를 추출하는 단계; 및
상기 제2 픽셀의 영상 데이터를 상기 제1 픽셀에게 할당하는 단계
를 포함하고,
상기 제2 픽셀은 상기 제1 픽셀이 상기 프로젝터에 의해 출력될 때 상기 제1 픽셀이 실제로 표시되는 스크린 상의 지점에 대응하는 좌표를 갖는 픽셀인 영상 처리 방법.The method according to claim 1,
Wherein the correcting comprises:
Extracting image data of a second pixel corresponding to a first pixel of an image to be provided to the projector; And
Assigning image data of the second pixel to the first pixel
Lt; / RTI >
Wherein the second pixel is a pixel having a coordinate corresponding to a point on the screen where the first pixel is actually displayed when the first pixel is output by the projector. 제6항에 있어서,
상기 제1 픽셀 및 상기 제2 픽셀 간의 상기 대응의 관계는 상기 프로젝터의 상기 스크린에 대한 깊이 및 상기 제1 픽셀의 좌표에 따라 계산되는 상기 제1 픽셀이 상기 스크린 상에 표시되는 제1 지점 및 상기 프로젝터의 오차에 기인하여 상기 제1 픽셀이 상기 스크린 상에 실제로 표시되는 제2 지점 간의 차이에 의해 결정되는 영상 처리 방법.The method according to claim 6,
Wherein the corresponding relationship between the first pixel and the second pixel is a first point at which the first pixel is displayed on the screen, the first point being calculated according to a depth of the projector with respect to the screen and a coordinate of the first pixel, And a difference between a second point at which the first pixel is actually displayed on the screen due to an error of the projector. 제1항에 있어서,
상기 보정하는 단계는,
스크린 상의 제1 픽셀에 대응하는 상기 프로젝터에게 제공할 영상의 제2 픽셀을 결정하는 단계; 및
상기 제2 픽셀에게 상기 제1 픽셀의 영상 데이터를 할당하는 단계
를 포함하고,
상기 제2 픽셀은 상기 프로젝터로부터 출력되었을 때 상기 스크린 상의 상기 제1 픽셀의 지점에 실제로 표시되는 픽셀이고,
상기 제1 픽셀의 상기 영상 데이터는 상기 복수의 프로젝터들에 의해 출력된 광필드들에 의해 상기 스크린 상에 표시된 영상의 상기 제1 픽셀의 지점에 출력될 영상 데이터인 영상 처리 방법.The method according to claim 1,
Wherein the correcting comprises:
Determining a second pixel of an image to provide to the projector corresponding to a first pixel on the screen; And
Allocating image data of the first pixel to the second pixel
Lt; / RTI >
Wherein the second pixel is a pixel that is actually displayed at a point of the first pixel on the screen when output from the projector,
Wherein the image data of the first pixel is image data to be output at a point of the first pixel of the image displayed on the screen by the optical fields output by the plurality of projectors. 제1항에 있어서,
상기 프로젝터에 의해 출력된 상기 광필드의 정보를 획득하는 단계
를 더 포함하는 영상 처리 방법.The method according to claim 1,
Obtaining information of the optical field output by the projector
Further comprising the steps of: 제1항 내지 제9항 중 어느 한 항의 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.A computer-readable recording medium containing a program for carrying out the method of any one of claims 1 to 9. 복수의 프로젝터들에 의해 출력되는 영상들의 정보를 제공하는 영상 처리 장치에 있어서,
프로젝터에 의해 출력된 광필드의 정보를 분석하고, 상기 분석에 기반하여 상기 프로젝터에게 제공할 영상의 정보를 보정하는 처리부; 및
상기 보정된 영상의 정보를 상기 프로젝터에게 제공하는 네트워킹부
를 포함하는 영상 처리 장치.An image processing apparatus for providing information of images output by a plurality of projectors,
A processor for analyzing information of an optical field output by the projector and correcting information of an image to be provided to the projector based on the analysis; And
A networking unit for providing the corrected image information to the projector,
And the image processing apparatus. 제11항에 있어서,
상기 광필드의 정보는 상기 프로젝터로 입력된 입력 영상의 픽셀이 스크린의 어느 지점으로 투사되는가에 대한 정보를 포함하는 영상 처리 장치.12. The method of claim 11,
Wherein the information of the light field includes information on which point of the screen the pixel of the input image input to the projector is projected. 제11항에 있어서,
상기 광필드의 정보는 상기 프로젝터로 입력된 입력 영상의 픽셀의 스크린으로의 방향 벡터의 정보를 포함하는 영상 처리 장치.12. The method of claim 11,
Wherein the information of the optical field includes information of a direction vector of a pixel of an input image input to the projector to a screen. 제13항에 있어서,
상기 처리부는 상기 픽셀이 나아가는 광선이 서로 상이한 깊이 값을 갖는 2 개의 스크린 평면들 각각에 투사되는 지점들에 기반하여 상기 방향 벡터를 계산하는 영상 처리 장치.14. The method of claim 13,
Wherein the processing unit calculates the direction vector based on points where the light rays traveling through the pixel are projected on each of two screen planes having different depth values from each other. 제11항에 있어서,
상기 처리부는 상기 영상이 상기 프로젝터로부터 출력될 때 상기 영상의 픽셀이 스크린 상의 어느 지점에 실제로 표시되는가에 따라 상기 영상의 정보를 보정하는 영상 처리 장치.12. The method of claim 11,
Wherein the processing unit corrects the information of the image according to a point at which a pixel of the image is actually displayed on the screen when the image is outputted from the projector. 제11항에 있어서,
상기 처리부는 상기 프로젝터에게 제공할 영상의 제1 픽셀에 대응하는 제2 픽셀의 영상 데이터를 추출하고, 상기 제2 픽셀의 영상 데이터를 상기 제1 픽셀에게 할당하고,
상기 제2 픽셀은 상기 제1 픽셀이 상기 프로젝터에 의해 출력될 때 상기 제1 픽셀이 실제로 표시되는 스크린 상의 지점에 대응하는 좌표를 갖는 픽셀인 영상 처리 장치.12. The method of claim 11,
Wherein the processor extracts image data of a second pixel corresponding to a first pixel of an image to be provided to the projector, assigns image data of the second pixel to the first pixel,
Wherein the second pixel is a pixel having a coordinate corresponding to a point on the screen where the first pixel is actually displayed when the first pixel is output by the projector. 제16항에 있어서,
상기 제1 픽셀 및 상기 제2 픽셀 간의 상기 대응의 관계는 상기 프로젝터의 상기 스크린에 대한 깊이 및 상기 제1 픽셀의 좌표에 따라 계산되는 상기 제1 픽셀이 상기 스크린 상에 표시되는 제1 지점 및 상기 프로젝터의 오차에 기인하여 상기 제1 픽셀이 상기 스크린 상에 실제로 표시되는 제2 지점 간의 차이에 의해 결정되는 영상 처리 장치.17. The method of claim 16,
Wherein the corresponding relationship between the first pixel and the second pixel is a first point at which the first pixel is displayed on the screen, the first point being calculated according to a depth of the projector with respect to the screen and a coordinate of the first pixel, And a second point at which the first pixel is actually displayed on the screen due to an error of the projector. 제11항에 있어서,
상기 처리부는, 스크린 상의 제1 픽셀에 대응하는 상기 프로젝터에게 제공할 영상의 제2 픽셀을 결정하고, 상기 제2 픽셀에게 상기 제1 픽셀의 영상 데이터를 할당하고,
상기 제2 픽셀은 상기 프로젝터로부터 출력되었을 때 상기 스크린 상의 상기 제1 픽셀의 지점에 실제로 표시되는 픽셀이고,
상기 제1 픽셀의 상기 영상 데이터는 상기 복수의 프로젝터들에 의해 출력된 광필드들에 의해 상기 스크린 상에 표시된 영상의 상기 제1 픽셀의 지점에 출력될 영상 데이터인 영상 처리 장치.12. The method of claim 11,
Wherein the processing unit determines a second pixel of an image to be provided to the projector corresponding to a first pixel on the screen, allocates the image data of the first pixel to the second pixel,
Wherein the second pixel is a pixel that is actually displayed at a point of the first pixel on the screen when output from the projector,
Wherein the image data of the first pixel is image data to be output at a point of the first pixel of the image displayed on the screen by the optical fields output by the plurality of projectors. 제11항에 있어서,
상기 네트워킹부는 상기 프로젝터에 의해 출력된 상기 광필드의 정보를 획득하는 영상 처리 장치.12. The method of claim 11,
Wherein the networking unit obtains information of the optical field output by the projector.
KR1020120155195A 2012-12-27 2012-12-27 Method and apparatus for calibration of light field display using multi-projectors KR101896339B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120155195A KR101896339B1 (en) 2012-12-27 2012-12-27 Method and apparatus for calibration of light field display using multi-projectors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120155195A KR101896339B1 (en) 2012-12-27 2012-12-27 Method and apparatus for calibration of light field display using multi-projectors

Publications (2)

Publication Number Publication Date
KR20140085779A true KR20140085779A (en) 2014-07-08
KR101896339B1 KR101896339B1 (en) 2018-09-10

Family

ID=51735161

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120155195A KR101896339B1 (en) 2012-12-27 2012-12-27 Method and apparatus for calibration of light field display using multi-projectors

Country Status (1)

Country Link
KR (1) KR101896339B1 (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016104868A1 (en) * 2014-12-23 2016-06-30 광운대학교 산학협력단 Image element calibration method for eliminating keystone effect in multi-projector-based reflective integrated imaging system
WO2016164101A1 (en) * 2015-04-09 2016-10-13 Qualcomm Incorporated Combined processing and display device package for light field displays
CN110830696A (en) * 2019-11-26 2020-02-21 成都立鑫新技术科技有限公司 Calibration method of binocular vision measurement technology
EP3485330A4 (en) * 2016-07-15 2020-07-29 Light Field Lab, Inc. System and methods of holographic sensory data generation, manipulation and transport
WO2021132832A1 (en) * 2019-12-23 2021-07-01 서경대학교 산학협력단 Image distribution and conversion device for multi-projector image registration and image registration method using same
US11650354B2 (en) 2018-01-14 2023-05-16 Light Field Lab, Inc. Systems and methods for rendering data from a 3D environment

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200120282A (en) 2019-04-12 2020-10-21 충북대학교 산학협력단 Light field display system and method using depth camera and stereoscopic display device
KR102551963B1 (en) 2021-04-23 2023-07-05 충북대학교 산학협력단 Light Field Digital Information Display System and method with Non-Discontinuous 3-D Image transmission

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090002698A (en) * 2007-06-29 2009-01-09 삼성전자주식회사 Apparatus and method for calibration of projected image
KR20110095556A (en) * 2010-02-19 2011-08-25 경북대학교 산학협력단 Image projection apparatus and image correcting method thereof
KR101169276B1 (en) * 2005-10-19 2012-08-02 엘지전자 주식회사 A projector and A method of image revision

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101169276B1 (en) * 2005-10-19 2012-08-02 엘지전자 주식회사 A projector and A method of image revision
KR20090002698A (en) * 2007-06-29 2009-01-09 삼성전자주식회사 Apparatus and method for calibration of projected image
KR20110095556A (en) * 2010-02-19 2011-08-25 경북대학교 산학협력단 Image projection apparatus and image correcting method thereof

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Yang, Ruigang, et al. "Toward the light field display: Autostereoscopic rendering via a cluster of projectors." IEEE Transactions on Visualization and Computer Graphics 14.1 (2008): 84-96.(2008.02.28) *

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016104868A1 (en) * 2014-12-23 2016-06-30 광운대학교 산학협력단 Image element calibration method for eliminating keystone effect in multi-projector-based reflective integrated imaging system
WO2016164101A1 (en) * 2015-04-09 2016-10-13 Qualcomm Incorporated Combined processing and display device package for light field displays
CN107431802A (en) * 2015-04-09 2017-12-01 高通股份有限公司 Combined type processing and display device encapsulation for light field display
US9906759B2 (en) 2015-04-09 2018-02-27 Qualcomm Incorporated Combined processing and display device package for light field displays
CN107431802B (en) * 2015-04-09 2019-07-26 高通股份有限公司 Combined type processing and display device encapsulation for light field display
EP3485330A4 (en) * 2016-07-15 2020-07-29 Light Field Lab, Inc. System and methods of holographic sensory data generation, manipulation and transport
US11874493B2 (en) 2016-07-15 2024-01-16 Light Field Lab, Inc. System and methods of universal parameterization of holographic sensory data generation, manipulation and transport
US11650354B2 (en) 2018-01-14 2023-05-16 Light Field Lab, Inc. Systems and methods for rendering data from a 3D environment
CN110830696A (en) * 2019-11-26 2020-02-21 成都立鑫新技术科技有限公司 Calibration method of binocular vision measurement technology
WO2021132832A1 (en) * 2019-12-23 2021-07-01 서경대학교 산학협력단 Image distribution and conversion device for multi-projector image registration and image registration method using same

Also Published As

Publication number Publication date
KR101896339B1 (en) 2018-09-10

Similar Documents

Publication Publication Date Title
KR101896339B1 (en) Method and apparatus for calibration of light field display using multi-projectors
CN110288642B (en) Three-dimensional object rapid reconstruction method based on camera array
KR102370062B1 (en) Method of determining calibration parameter for 3d display device and 3d display device thereof
KR102415501B1 (en) Method for assuming parameter of 3d display device and 3d display device thereof
KR101334187B1 (en) Apparatus and method for rendering
JP5633058B1 (en) 3D measuring apparatus and 3D measuring method
KR101944911B1 (en) Image processing method and image processing apparatus
US9349073B2 (en) Apparatus and method for image matching between multiview cameras
US20110310376A1 (en) Apparatus and method to correct image
KR20120140515A (en) Device for 3d image composition for visualizing image of vehicle around and method therefor
KR20140027468A (en) Depth measurement quality enhancement
US10721462B2 (en) Method and apparatus for calibrating parameter of three-dimensional (3D) display apparatus
JP2009505149A (en) Stereoscopic display device
KR20140088697A (en) Apparatus and method for processing depth image
CN111047650B (en) Parameter calibration method for time-of-flight camera
KR20170025214A (en) Method for Multi-view Depth Map Generation
JP2016032298A (en) Apparatus and method for rendering image
JP2015050482A (en) Image processing device, stereoscopic image display device, image processing method, and program
KR101906936B1 (en) Apparatus and method of generating light field hologram
JP6591332B2 (en) Radiation intensity distribution measuring system and method
JP2018009927A (en) Image processing device, image processing method and program
US11195290B2 (en) Apparatus and method for encoding in structured depth camera system
KR101748674B1 (en) Method and apparatus for producing three-dimensional image
JP2006023133A (en) Instrument and method for measuring three-dimensional shape
KR101165340B1 (en) Projector calibration system using camera and method using this

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant