KR20140066634A - Apparatus and method for standardizing multi-layer 3d displays - Google Patents

Apparatus and method for standardizing multi-layer 3d displays Download PDF

Info

Publication number
KR20140066634A
KR20140066634A KR1020130051790A KR20130051790A KR20140066634A KR 20140066634 A KR20140066634 A KR 20140066634A KR 1020130051790 A KR1020130051790 A KR 1020130051790A KR 20130051790 A KR20130051790 A KR 20130051790A KR 20140066634 A KR20140066634 A KR 20140066634A
Authority
KR
South Korea
Prior art keywords
display
image
unit
layers
layer
Prior art date
Application number
KR1020130051790A
Other languages
Korean (ko)
Inventor
리 웨이밍
주 밍카이
자오 사후이
홍 타오
왕 하이타오
김지연
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to KR1020130105308A priority Critical patent/KR102110542B1/en
Priority to US14/058,591 priority patent/US9560343B2/en
Publication of KR20140066634A publication Critical patent/KR20140066634A/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/388—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume
    • H04N13/395—Volumetric displays, i.e. systems where the image is built up from picture elements distributed through a volume with depth sampling, i.e. the volume being constructed from a stack or sequence of 2D image planes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

An apparatus and method for standardizing a multi-layer 3d display is presented. A 3D display including a plurality of display layers is controlled to display a first image on one of the display layers and the first image is captured for obtaining a second image. Then, by using the first image and the second image, the homography between the display layer and the image capturing unit is calculated and by using the homography, the location relationship between the display layer and the image capturing is calculated and obtained.

Description

멀티 레이어 3D 디스플레이 표준화 장치 및 표준화 방법{APPARATUS AND METHOD FOR STANDARDIZING MULTI-LAYER 3D DISPLAYS}TECHNICAL FIELD [0001] The present invention relates to a multi-layer 3D display standardization apparatus,

본 설명은 3D 디스플레이 기술에 관한 것으로, 더욱 구체적으로는 멀티 레이어의 3D 디스플레이 표준화 장치 및 표준화 방법에 관한 것이다.This description relates to 3D display technology, and more particularly to a multi-layer 3D display standardization apparatus and a standardization method.

최근, 멀티 레이어의 3D 디스플레이(MLD: multi-layer 3D display)는 3D 디스플레이 분야에서 많은 주목을 받고 있다. 일반적으로, 멀티 레이어의 3D 디스플레이는 두께 방향으로 쌓이는 복수의 2D 디스플레이 레이어로 형성되어 3D 시각 효과를 생성한다. 다양한 동작 원리가 구비된 MLD는 DFD(depth fusion display), 시차 방벽(parallax barrier) 및 LFR(Light Field Recreation) 등을 포함한다.Recently, multi-layer 3D display (MLD) has received much attention in 3D display field. Generally, a multi-layer 3D display is formed of a plurality of 2D display layers stacked in the thickness direction to generate a 3D visual effect. MLDs with various operating principles include a depth fusion display (DFD), a parallax barrier, and a light field recreation (LFR).

일 실시예에 따르면, MLD의 디스플레이 레이어 간의 위치 오차를 검출하기 위한 멀티 레이어의 3D 디스플레이(MLD) 표준화 장치 및 표준화 방법이 제공된다.According to one embodiment, a multilayer 3D display (MLD) standardization apparatus and a standardization method for detecting a positional error between display layers of an MLD are provided.

일 실시예에 따르면, 3D 디스플레이(display)를 위한 표준화(standardization) 방법이 제공된다. 상기 3D 디스플레이(display)는 복수의 디스플레이 레이어(display layers)를 포함할 수 있다. 상기 방법은, 상기 3D 디스플레이를 제어하여 하나의 디스플레이 레이어에 제1 영상을 표시하는 단계(a); 영상 촬영부를 제어하여 상기 표시된 제1 영상을 촬영하여 제2 영상을 획득하는 단계(b); 상기 제1 영상 및 상기 제2 영상을 이용하여, 상기 디스플레이 레이어 및 상기 영상 촬영부 간의 호모그래피(homography)를 계산하는 단계(c); 및 상기 계산된 호모그래피를 이용하여 상기 디스플레이 레이어의 상기 영상 촬영부에 대한(with respect to) 위치 관계(geometric relations)를 계산하는 단계(d)를 포함할 수 있다. 상기 방법은, 상기 3D 디스플레이의 각 디스플레이 레이어에 대하여, 상기 단계(a), 상기 단계(b), 상기 단계(c), 및 상기 단계(d)를 수행하여, 상기 각 디스플레이 레이어의 상기 영상 촬영부에 대한 위치 관계에 따라 상기 복수의 디스플레이 레이어 간의 위치 관계를 획득할 수 있다.According to one embodiment, a standardization method for a 3D display is provided. The 3D display may include a plurality of display layers. The method includes: (a) controlling the 3D display to display a first image on one display layer; (B) controlling the image capturing unit to capture the first image to acquire a second image; (C) calculating homography between the display layer and the image capturing unit using the first image and the second image; And calculating (d) with respect to the imaging section of the display layer using the computed homography the geometric relations. The method further comprises the steps of: performing (a), (b), (c), and (d) for each display layer of the 3D display, The positional relationship between the plurality of display layers can be obtained according to the positional relationship between the display layers.

상기 단계(b)는, 상기 영상 촬영부를 제어하여, 상기 표시된 제1 영상의 일부 또는 전부를 촬영하여 상기 제2 영상을 획득하는 단계를 포함할 수 있다.The step (b) may include the step of controlling the image capturing unit to acquire the second image by capturing a part or all of the displayed first image.

상기 단계(c)는, 상기 제1 영상으로부터 미리 설정된 포인트가 상기 제1 영상에 위치된 제1좌표를 추출하는 단계; 상기 제2 영상으로부터 상기 미리 설정된 포인트가 상기 제2 영상에 위치된 제2 좌표를 추출하는 단계; 및 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 제1 영상 및 상기 제2 영상 간의 호모그래피 매트릭스(homography matrix)를 계산하는 단계를 포함할 수 있다.Wherein the step (c) includes the steps of: extracting a first coordinate positioned at a predetermined point on the first image from the first image; Extracting a second coordinate from the second image in which the predetermined point is located in the second image; And calculating a homography matrix between the first image and the second image using the first coordinate and the second coordinate.

상기 단계(d)는, 상기 영상 촬영부의 내부 파라미터(internal parameter)를 이용하여 상기 호모그래피 매트릭스로부터 상기 디스플레이 레이어 및 상기 영상 촬영부 간의 회전 매트릭스(rotation matrix) 및 시프트 벡터(shift vector)를 추출하는 단계를 포함할 수 있다. 상기 3D 디스플레이의 각 디스플레이 레이어에 대해 상기 단계(b)를 수행할 때, 상기 영상 촬영부의 위치 및 동작은 동일(same)할 수 있다.The step (d) may include extracting a rotation matrix and a shift vector between the display layer and the image capturing unit from the homography matrix using an internal parameter of the image capturing unit Step < / RTI > When performing step (b) for each display layer of the 3D display, the position and operation of the image photographing unit may be the same.

상기 방법은, 상기 복수의 디스플레이 레이어 간의 상기 위치 관계에 따라 상기 복수의 디스플레이 레이어 간의 위치를 교정하는 단계를 더 포함할 수 있다. 또한, 상기 방법은, 상기 복수의 디스플레이 레이어 간의 상기 위치 관계에 따라 상기 3D 디스플레이의 디스플레이 렌더 파라미터(display render parameter)를 조절하는 단계를 더 포함할 수 있다.The method may further comprise calibrating a position between the plurality of display layers according to the positional relationship between the plurality of display layers. The method may further include adjusting a display render parameter of the 3D display according to the positional relationship between the plurality of display layers.

일 실시예에 따르면, 복수의 디스플레이 레이어(display layers)를 포함하는 3D 디스플레이(displayer)를 위한 표준화 장치가 제공된다. 상기 표준화 장치는, 상기 3D 디스플레이와 통신하는 통신부; 상기 통신부를 통해 상기 복수의 디스플레이 레이어가 미리 설정된 순서에 따라 각각 제1 영상을 표시하도록 상기 3D 디스플레이를 제어하는 디스플레이 제어부; 상기 복수의 디스플레이 레이어의 각각에 표시된 제1 영상에 대해 촬영하여 제2 영상을 획득하는 영상 촬영부; 상기 제1 영상 및 상기 제2 영상을 이용하여, 상기 각 디스플레이 레이어 및 상기 영상 촬영부 간의 호모그래피(Homography)를 각각 계산하는 호모그래피 계산부; 및 상기 계산된 호모그래피를 이용하여 상기 각 디스플에이 레이어의 상기 영상 촬영부에 대한 위치 관계를 계산하여 상기 복수의 디스플레이 레이어 간의 위치 관계를 획득하는 위치 결정부를 포함할 수 있다. 상기 표준화 장치는, 상기 복수의 디스플레이 레이어 간의 위치 관계를 표시하는 디스플레이부를 더 포함할 수 있다.According to one embodiment, a standardization apparatus for a 3D display including a plurality of display layers is provided. Wherein the standardization apparatus comprises: a communication unit for communicating with the 3D display; A display controller for controlling the 3D display so that the plurality of display layers respectively display a first image in a predetermined order through the communication unit; An image capturing unit capturing a first image displayed on each of the plurality of display layers to acquire a second image; A homography calculating unit for calculating homography between each of the display layers and the image capturing unit using the first image and the second image; And a position determiner for calculating a positional relationship between the display layers of the display layers by using the calculated homography to obtain a positional relationship between the plurality of display layers. The standardization apparatus may further include a display unit for displaying a positional relationship between the plurality of display layers.

일 실시예에 따르면, N개의 디스플레이 레이어(display layers)를 포함하는 3D 디스플레이(3D display)를 위한 표준화 장치가 제공된다. 상기 표준화 장치는, 상기 3D 디스플레이를 제어하여 상기 3D 디스플레이의 디스플레이 레이어에 영상이 표시되도록 제어하는 디스플레이 제어부; 상기 3D 디스플레이의 영상을 촬영(capture)하는 영상 촬영부; 및 상기 디스플레이 레이어의 상기 영상 촬영부에 대한(with respect to) 위치 관계(geometric relations)를 결정하는 위치 결정부를 포함할 수 있다. 상기 디스플레이 제어부 및 상기 영상 촬영부는, 상기 3D 디스플레이의 제n 디스플레이 레이어에 영상이 표시되도록 제어하고, 상기 3D 디스플레이의 영상을 촬영하는 동작을 n회(n = 1부터 M, M은 N보다 크지 않은 정수) 반복할 수 있다. 상기 위치 결정부는, 상기 제n 디스플레이 레이어에 표시된 영상 및 상기 3D 디스플레이의 영상 간의 관계에 기초하여 상기 디스플레이 레이어의 상기 영상 촬영부에 대한(with respect to) 위치 관계(geometric relations)를 결정할 수 있다.According to one embodiment, a standardization apparatus for a 3D display including N display layers is provided. The standardization apparatus includes a display controller for controlling the 3D display to display an image on a display layer of the 3D display; An image capturing unit capturing an image of the 3D display; And a position determination unit for determining with respect to the image capturing unit of the display layer the geometric relations. Wherein the display control unit and the image capturing unit controls an image to be displayed on an nth display layer of the 3D display and an operation of capturing an image of the 3D display is performed n times (n = 1 to M, M is not larger than N Integer) can be repeated. The positioning unit may determine with respect to the geometric relations with respect to the image capturing unit of the display layer based on a relationship between the image displayed on the nth display layer and the image on the 3D display.

이때, 상기 위치 결정부는, 상기 제n 디스플레이 레이어에 표시된 영상으로부터 미리 설정된 포인트가 상기 제n 디스플레이 레이어에 표시된 영상에 위치된 제1 좌표를 추출하고, 상기 3D 디스플레이의 영상으로부터 상기 미리 설정된 포인트가 상기 3D 디스플레이의 영상에 위치된 제2 좌표를 추출하고, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 디스플레이 레이어의 상기 영상 촬영부에 대한(with respect to) 위치 관계(geometric relations)를 결정할 수 있다.At this time, the position determining unit may extract a first coordinate located at an image displayed on the n-th display layer from a predetermined point from the image displayed on the n-th display layer, To derive a second coordinate located in an image of the 3D display and to use the first coordinate and the second coordinate to determine geometric relations with respect to the imaging portion of the display layer have.

또한, 상기 위치 결정부는, 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 제n 디스플레이 레이어에 표시된 영상 및 상기 3D 디스플레이의 영상 사이의 호모그래피 매트릭스(homography matrix)를 계산하고, 상기 호모그래피 매트릭스(homography matrix)에 기초하여 상기 디스플레이 레이어의 상기 영상 촬영부에 대한(with respect to) 위치 관계(geometric relations)를 결정할 수 있다.The positioning unit may calculate a homography matrix between the image displayed on the nth display layer and the image on the 3D display using the first coordinate and the second coordinate, (with respect to) the geometric relations of the display layer based on a homography matrix.

일 실시예에 따른 멀티 레이어 3D 디스플레이 표준화 장치 및 표준화 방법에 따르면, 3D 디스플레이의 디스플레이 레이어가 각각 영상을 표시하도록 하고, 표시된 영상을 촬영하여 표시된 영상 및 촬영된 영상 간의 호모그래피를 이용하여 복수의 디스플레이 레이어 간의 위치 관계를 획득할 수 있다.According to the multi-layer 3D display standardization apparatus and the standardization method according to an exemplary embodiment, the display layers of the 3D display each display an image, and the displayed image is photographed and displayed using a plurality of displays The positional relationship between the layers can be obtained.

도 1은 예시적 실시예에 따른 멀티 레이어 3D 디스플레이(MLD) 표준화 방법을 도시하는 흐름도이다.
도 2은 예시적 실시예에 따른 멀티 레이어 3D 디스플레이(MLD) 표준화 장치를 도시하는 불록도이다.
도 3은 예시적 실시예에 따른 제1 영상을 도시하는 도면이다.1 is a flow chart illustrating a method for standardizing a multilayer 3D display (MLD) according to an exemplary embodiment.
2 is a block diagram illustrating a multilayer 3D display (MLD) standardization apparatus in accordance with an exemplary embodiment.
3 is a diagram showing a first image according to an exemplary embodiment.

이에, 실시예들을 첨부된 도면을 참조하여 상세히 설명한다.Embodiments will now be described in detail with reference to the accompanying drawings.

도 1은 예시적 실시예에 따른 멀티 레이어 3D 디스플레이(MLD) 표준화 방법을 도시하는 흐름도이다.1 is a flow chart illustrating a method for standardizing a multilayer 3D display (MLD) according to an exemplary embodiment.

상기 3D 디스플레이는 복수의 디스플레이 레이어(display layers)를 포함할 수 있다. 단계(101)에서, 표준화 장치는 3D 디스플레이를 제어하여 하나의 디스플레이 레이어에 제1 영상을 표시한다. 예를 들어, 3D 디스플레이가 하나의 디스플레이 레이어를 이용하여 제1 영상을 표시한다. 3D 디스플레이의 세팅 인터페이스(setting interface) 및/또는 버튼을 이용하거나, 인터페이스에 대한 제어 또는 디버깅(debugging)을 통해 제1 영상을 하나의 디스플레이 레이어에 표시할 수 있다. 여기서 제1 영상은 임의의 영상(any image)일 수 있다.The 3D display may include a plurality of display layers. In step 101, the standardization device controls the 3D display to display the first image on one display layer. For example, a 3D display uses a display layer to display a first image. The first image can be displayed on one display layer by using the setting interface and / or button of the 3D display, or by controlling or debugging the interface. Here, the first image may be any image.

단계(102)에서, 영상 촬영부를 제어하여 표시된 제1 영상을 촬영하여 제2 영상을 획득한다. 단계(101)에서 제1 영상을 복수의 디스플레이 레이어(display layers) 중 하나의 디스플레이 레이어에 표시한 후, 단계(102)에서 상기 3D 디스플레이에 의하여 표시되는 영상을 촬영하여 상기 제2 영상을 획득할 수 있다. 이때, 제2 영상은 제1 영상을 포함할 수 있다. 영상 촬영부는 CCD (Charge Coupled Device) 센서, CMOS(Complementary Metal-Oxide-Semiconductor Transistor) 센서 등 영상 센서를 사용하여 실현될 수 있다.In step 102, the image capturing unit is controlled to capture the displayed first image to acquire the second image. In step 101, a first image is displayed on one of a plurality of display layers, and in step 102, an image displayed by the 3D display is photographed to acquire the second image . At this time, the second image may include the first image. The image capturing unit can be realized by using an image sensor such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal-Oxide-Semiconductor Transistor) sensor.

단계(103)에서, 제1 영상 및 제2 영상을 이용하여 디스플레이 레이어 및 영상 촬영부 간의 호모그래피(homography)를 계산한다.In step 103, the homography between the display layer and the image capturing unit is calculated using the first image and the second image.

구체적으로, 제1 영상 중에서 제1 포인트가 상기 제1 영상에 위치된 좌표 및 제2 영상 중에서 상기 제1 포인트에 대응하는 제2 포인트가 상기 제2 영상에 위치된 좌표를 이용하여, 상기 제1 영상 및 상기 제2 영상 간의 호모그래피 매트릭스(homography matrix)를 계산한다. 상기 호모그래피 매트릭스는 제1 영상이 표시된 디스플레이 레이어 및 영상 촬영부의 영상 평면(image plane) 간의 호모그래피를 의미할 수 있다.Specifically, using the coordinates of the first image in which the first point is located in the first image and the coordinates in which the second point in the second image corresponding to the first point are located in the second image, A homography matrix between the image and the second image is calculated. The homography matrix may mean a homography between a display layer on which the first image is displayed and an image plane of the image capturing unit.

예를 들어, 제1 영상 중에서 미리 설정된 포인트 p가 상기 제1 영상에 위치된 제1 좌표를 획득할 수 있다. 또한, 상기 제1 영상을 촬영하여 제2 영상을 획득하므로, 상기 포인트 p가 상기 제2 영상에 위치된 제2 좌표를 획득할 수 있다. 상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 제1 영상 및 상기 제2 영상 사이의 호모그래피 매트릭스(homography matrix)를 계산할 수 있다. 또한, 복수 개의 포인트를 이용하여, 상기 복수 개의 포인트가 제1 영상에 위치된 좌표 및 제2 영상에 위치된 좌표로부터, 제1 영상 및 제2 영상 간의 호모그래피를 생성할 수도 있다. 여기서, 기존의 호모그래피 매트릭스 계산 알고리즘을 이용하여 상기 호모그래피를 생성할 수 있다.For example, one of the first images may acquire a first coordinate where a predetermined point p is located in the first image. In addition, since the first image is captured and the second image is acquired, the point p can acquire the second coordinate located in the second image. A homography matrix between the first image and the second image can be calculated using the first coordinate and the second coordinate. Further, a plurality of points may be used to generate a homography between the first image and the second image from the coordinates where the plurality of points are located in the first image and the coordinates located in the second image. Here, the homography can be generated using an existing homography matrix calculation algorithm.

일 예시에서, 제1 영상 및 제2 영상 간의 호모그래피는 수학식 1로 표시될 수 있다.
In one example, the homography between the first image and the second image can be expressed by Equation (1).

Figure pat00001
Figure pat00001

여기서,

Figure pat00002
는 환산 계수(scale factor)를 의미하고,
Figure pat00003
는 제i 번째 포인트의 제2 좌표의 동차 좌표(homogeneous coordinates)를 의미하고, H는 호모그래피 매트릭스를 의미하고, N는 포인트의 개수를 의미할 수 있다.here,
Figure pat00002
Quot; means a scale factor, and "
Figure pat00003
Denotes the homogeneous coordinates of the second coordinate of the i-th point, H denotes the homography matrix, and N denotes the number of points.

상기와 같이, 수학식 1을 통해 호모그래피 매트릭스 H를 획득할 수 있다.As described above, the homography matrix H can be obtained through Equation (1).

표시된 제1 영상을 촬영할 때, 상기 표시된 제1 영상의 일부 또는 전부를 촬영할 수 있다. 호모그래피를 생성하는 복수의 포인트(예, 수학식 1 중에서 N 개의 포인트)를 촬영할 수 있으면, 일부 또는 전부의 제1 영상이 포함된 제2 영상을 촬영할 수 있다. 촬영된 제2 영상은 호모그래피를 생성하는 복수의 포인트를 포함할 수 있다. When photographing the displayed first image, a part or all of the displayed first image can be photographed. If a plurality of points (for example, N points in Equation 1) for generating homography can be photographed, a second image including a part or all of the first images can be photographed. The photographed second image may include a plurality of points for generating homography.

N가 증가될수록 노이즈를 제어하는 기능이 향상되지만, 계산량이 상응하게 증가된다. 따라서 요구에 따라 N의 크기를 결정한다. 노이즈의 제거 성능 및 계산량의 증가를 고려하여, N≥4이 선택될 수 있다.As N increases, the function of controlling the noise is improved, but the amount of calculation is correspondingly increased. Therefore, the size of N is determined according to the demand. N > = 4 can be selected in consideration of the noise removal performance and the increase of the calculation amount.

또한, 제1 영상을 사용하여 영상의 특징 포인트(feature points)를 추출한다. 예를 들어, 제1 영상은 그리드 영상(grid image)일 수 있고, 그리드 영상의 코너(corner)를 특징 포인트로 결정할 수 있다. 도 3에서 그리드 영상의 일 예가 도시되어 있다.Also, the feature points of the image are extracted using the first image. For example, the first image may be a grid image, and the corner of the grid image may be determined as a feature point. An example of a grid image is shown in Fig.

단계(104)에서, 단계(103)에 의하여 계산된 호모그래피를 이용하여 디스플레이 레이어의 영상 촬영부에 대한 위치 관계를 계산한다.In step 104, the positional relationship with respect to the image capturing part of the display layer is calculated using the homography calculated by step 103. [

구체적으로, 단계(103)에 의하여 계산된 호모그래피 매트릭스 H로부터 상기 하나의 디스플레이 레이어의 평면과 영상 촬영부의 영상 평면 사이의 3D 회전 및 시프트 관계(3D rotation and shift relation)를 추출할 수 있다. 상기 3D 회전 및 시프트 관계는 상기 디스플레이 레이어의 영상 촬영부에 대한 위치 관계(geometric relations with respect to a image capture unit)로 결정할 수 있다. 호모그래피 매트릭스 H는 영상 촬영부의 내부 파라미터 매트릭스, 회전 매트릭스 및 시프트 벡터를 이용하여 생성된 매트릭스를 의미한다. 여기서, 회전 매트릭스는 영상 촬영부의 영상 평면 및 상기 하나의 디스플레이 레이어의 평면 간의 3D 회전 관계(예를 들어, 제2 좌표의 제2 포인트가 영상 촬영부의 영상 평면에 존재하는 위치 및 대응하는 제1 좌표의 제1 포인트가 상기 하나의 디스플레이 레이어에 존재하는 위치 간의 회전 관계)를 의미할 수 있다. 시프트 벡터는 영상 촬영부의 영상 평면 및 상기 하나의 디스플레이 레이어의 평면 간의 시프트 관계(예를 들어, 제2 좌표의 제2 포인트가 영상 촬영부의 영상 평면에 존재하는 위치 및 대응하는 제1 좌표의 제1 포인트가 상기 하나의 디스플레이 레이어에 존재하는 위치 간의 시프트 관계)를 의미할 수 있다. 따라서, 호모그래피 매트릭스 H 및 내부 파라미터 매트릭스(internal parameter matrix)를 획득하면, 회전 매트릭스 및 시프트 벡터를 계산할 수 있다.Specifically, a 3D rotation and a shift relation between the plane of the one display layer and the image plane of the image capturing unit can be extracted from the homography matrix H calculated by the step 103. The 3D rotation and the shift relationship may be determined by geometric relations with respect to an image capture unit of the display layer. The homography matrix H means a matrix generated using an internal parameter matrix, a rotation matrix, and a shift vector of the image photographing unit. Here, the rotation matrix is a 3D rotation relationship between the image plane of the image photographing unit and the plane of the one display layer (for example, the second point of the second coordinate exists in the image plane of the image photographing unit and the corresponding first coordinate May be a rotation relationship between the first point of the first display layer and the first point of the display layer. The shift vector is a shift relationship between the image plane of the image pickup section and the plane of the one display layer (for example, the position at which the second point of the second coordinate is present in the image plane of the image pickup section and the first A shift relationship between positions where a point exists in the one display layer). Thus, by obtaining the homography matrix H and the internal parameter matrix, the rotation matrix and the shift vector can be computed.

일 예에서 호모그래피 매트릭스 H는 수학식 2로 표시될 수 있다.
In one example, the homography matrix H can be expressed as: " (2) "

Figure pat00004
Figure pat00004

r1및 r2는 각각 회전 매트릭스 R의 제1 행렬 및 제2 행렬을 의미하고, T 는 시프트 벡터를 의미하고, H는 호모그래피 매트릭스를 의미하고, K는 영상 촬영부의 내부 파라미터 매트릭스를 의미할 수 있다.r 1 and r 2 respectively denote a first matrix and a second matrix of the rotation matrix R, T denotes a shift vector, H denotes a homography matrix, and K denotes an internal parameter matrix .

호모그래피 매트릭스 H 및 내부 파라미터 매트릭스 K가 이미 획득된 경우, 수학식 2로 회전 매트릭스 R 및 시프트 벡터 T를 계산할 수 있다. 그 중에서, r1 및 r2는 수학식 2에 기초하여 획득될 수 있다. 회전 매트릭스 R의 제3 행렬 r3는 회전 매트릭스 R가 직교 매트릭스인 것을 이용하여 등식 r3= r1ㅧr2로 표시될 수 있다. "ㅧ"는 벡터의 외적(outer product) 연산을 의미한다.If the homography matrix H and the internal parameter matrix K have already been obtained, then the rotation matrix R and the shift vector T can be calculated using equation (2). Among them, r 1 and r 2 can be obtained based on the equation (2). The third matrix r 3 of the rotation matrix R may be represented by the equation r 3 = r 1 r 2 using the fact that the rotation matrix R is an orthogonal matrix. "ㅧ" means the outer product operation of the vector.

여기서, 회전 매트릭스 R이 이미 획득된 경우, 상기 하나의 디스플레이 레이어가 포함된 평면의 영상 촬영부의 영상 평면에 대한 회전 각도 ax, ay, az를 계산할 수 있다.
Here, when the rotation matrix R is already acquired, the rotation angles a x , a y , and a z for the image plane of the image capturing unit of the plane including the one display layer can be calculated.

Figure pat00005
Figure pat00005

vx, vy, vz 는 각각 상기 하나의 디스플레이 레이어의 로컬 3D 좌표 시스템의 3개의 좌표 축 X, Y, Z 의 방향에 따른 유닛 행렬 벡터(unit matrix vector)를 의미한다.v x , v y and v z denote a unit matrix vector according to the directions of three coordinate axes X, Y and Z of the local 3D coordinate system of the one display layer.

영상 촬영부의 내부 파라미터 매트릭스를 획득하는 것은 이 분야에서 많이 알려져 있으므로, 여기서 상세한 설명을 생략한다. 일 예에서 내부 파라미터는 수학식 4로 표시될 수 있다.
Obtaining the internal parameter matrix of the image capturing unit is well known in the art, and thus the detailed description thereof is omitted here. In one example, the internal parameter may be expressed by Equation (4).

Figure pat00006
Figure pat00006

[u0，v0]는 주요 포인트(principle point)가 제2 영상(또는 영상 촬영부의 영상 평면)에 위치된 좌표를 의미하고, fu 및 fv는 카메라가 제2 영상(또는 영상 촬영부의 영상 평면)의 두 개의 좌표 축(coordinate axis) 방향에 있는 초점 거리(focal length)를 의미하고, s는 상기 두 개의 좌표 축의 경사 계수(inclination factor)를 의미할 수 있다.[u 0 , v 0 ] denotes coordinates where a principal point is located in the second image (or the image plane of the image capturing section), and f u and f v denote the coordinates of the second image And s denotes an inclination factor of the two coordinate axes of the two coordinate axes of the image plane.

단계(105)에서, 3D 디스플레이의 모든 디스플레이 레이어에 대하여 단계(101) 내지 단계(104)의 수행 여부를 확인한다.In step 105, it is confirmed whether or not steps 101 to 104 are performed for all display layers of the 3D display.

만약, 3D 디스플레이의 모든 디스플레이 레이어에 대하여 이미 단계(101) 내지 단계(104)를 수행하였다면, 단계(106)를 수행한다.If step (101) to step (104) have already been performed for all display layers of the 3D display, step (106) is performed.

만약, 3D 디스플레이의 모든 디스플레이 레이어에 대하여 단계(101) 내지 단계(104)를 수행하지 않았다면, 나머지 디스플레이 레이어에 대하여 단계(101) 내지 단계(104)를 수행한다.If steps 101 to 104 have not been performed for all display layers of the 3D display, steps 101 to 104 are performed for the remaining display layers.

상기 설명된 단계에 따라, 3D 디스플레이의 복수의 디스플레이 레이어와 영상 촬영부의 각 위치 관계를 획득할 수 있다. According to the above-described steps, it is possible to obtain the respective positional relationships of the plurality of display layers of the 3D display and the image capturing unit.

이어서, 단계(106)에서, 각 디스플레이 레이어의 영상 촬영부에 대한 위치 관계에 따라 상기 복수의 디스플레이 레이어 간의 위치 관계를 획득하여 3D 디스플레이 표준화를 완성한다. 예를 들어, 각 디스플레이 레이어의 영상 촬영부에 대한 회전 및 시프트를 획득하면, 복수의 디스플레이 레이어 간의 회전 및 시프트를 획득할 수 있다.Next, in step 106, the positional relationship between the plurality of display layers is acquired according to the positional relationship with respect to the image capturing unit of each display layer, thereby completing the 3D display standardization. For example, by acquiring the rotation and the shift for the image pickup section of each display layer, it is possible to obtain the rotation and the shift between the plurality of display layers.

상기 3D 디스플레이어의 각 디스플레이 레이어에 대하여, 상기 단계(101) 내지 단계(104)를 수행하여, 상기 각 디스플레이 레이어의 상기 영상 촬영부에 대한 위치 관계에 따라 상기 복수의 디스플레이 레이어 간의 위치 관계를 획득할 수 있다. 여기서, 각 디스플레이 레이어에 대하여 단계(101) 내지 단계(104)를 수행하는 동안, 영상 촬영부의 위치 및 동작은 동일하고, 3D 디스플레이의 위치 및 동작도 동일하다.Performing step (101) to step (104) for each display layer of the 3D display language to acquire a positional relationship between the plurality of display layers according to a positional relationship with respect to the image capturing unit of each of the display layers can do. Here, during steps 101 to 104 for each display layer, the position and operation of the image pickup section are the same, and the position and operation of the 3D display are the same.

일 실시예에 따른 멀티 레이어 3D 디스플레이(MLD) 표준화 방법은 컴퓨터 프로그램으로 실현될 수 있다. 상기 컴퓨터 프로그램을 3D 디스플레이의 디스플레이부 및 영상 촬영부를 제어하는 제어 장치에 로딩(loading)할 수 있다. 상기 컴퓨터 프로그램을 통해 3D 디스플레이의 디스플레이부 및 영상 촬영부를 제어하여 대응하는 표준화 동작을 수행할 수 있다.The multilayer 3D display (MLD) standardization method according to one embodiment can be realized by a computer program. The computer program may be loaded on a display unit of the 3D display and a controller for controlling the image capturing unit. The display unit and the image capturing unit of the 3D display may be controlled through the computer program to perform a corresponding standardization operation.

선택적으로, 일 실시예에 따른 표준화 방법은, 검출된 3D 디스플레이의 복수의 디스플레이 레이어 간의 위치 관계를 이용하여 상기 복수의 디스플레이 레이어 간의 위치 관계가 설계의 요구를 만족시키는지 검증하여 제품이 합격되는지 결정하는 단계를 더 포함할 수 있다.Alternatively, the standardization method according to an exemplary embodiment may determine whether the positional relationship between the plurality of display layers satisfies the design requirement by using the positional relationship between the plurality of display layers of the detected 3D display to determine whether the product is acceptable The method comprising the steps of:

또한, 상기 위치 관계가 설계의 요구를 만족시키지 못하면, 검출된 3D 디스플레이의 복수의 디스플레이 레이어 간의 위치 관계를 이용하여 상기 복수의 디스플레이 레이어 간의 위치에 대한 물리적 교정을 수행하여 상기 복수의 디스플레이 레이어 간의 위치 관계가 설계의 요구를 만족시키도록 할 수 있다.In addition, if the positional relationship does not satisfy the design requirement, the positional relationship between the plurality of display layers of the detected 3D display is used to perform physical calibration of the position between the plurality of display layers, So that the relationship satisfies the requirements of the design.

또한, 위치 관계를 더욱 검출하여 교정 결과에 대한 피드백(feedback)를 수행함으로써, 교정 성공 여부를 결정할 수 있다.Further, it is possible to determine whether or not the calibration is successful by further detecting the positional relationship and performing feedback on the calibration result.

선택적으로, 일 실시예에 따른 표준화 방법은 복수의 디스플레이 레이어 간의 위치 오차로 인해 발생된 시각 오차를 줄이기 위해, 3D 디스플레이의 복수의 디스플레이 레이어 간의 위치 관계를 이용하여, 3D 디스플레이의 디스플레이 렌더 파라미터를 조절하는 단계를 더 포함할 수 있다. 다시 말하면, 소프트웨어를 통해 위치 오차로 인해 발생된 디스플레이 기능 저하를 방지할 수 있다.Alternatively, the standardization method according to an exemplary embodiment may adjust the display render parameter of the 3D display by using the positional relationship between the plurality of display layers of the 3D display, in order to reduce the visual error caused by the position error between the plurality of display layers. The method comprising the steps of: In other words, it is possible to prevent the deterioration of the display function caused by the position error through the software.

도 2은 예시적 실시예에 따른 멀티 레이어 3D 디스플레이(MLD) 표준화 장치을 도시하는 불록도이다.2 is a block diagram illustrating a multilayer 3D display (MLD) standardization apparatus in accordance with an exemplary embodiment.

도 2에 도시된 바와 같이, 일 실시예에 따른 표준화 장치(200)는 영상 촬영부(210), 통신부(220), 디스플레이 제어부(230), 호모그래피 계산부(240), 및 위치 결정부(250)를 포함할 수 있다.2, the standardization apparatus 200 according to one embodiment includes an image capturing unit 210, a communication unit 220, a display control unit 230, a homography calculation unit 240, and a positioning unit 250).

영상 촬영부(210)는 영상을 촬영하기 위해 사용된다. 영상 촬영부(210)는 CCD (Charge Coupled Device) 센서, CMOS(Complementary Metal-Oxide-Semiconductor Transistor)센서 등 영상 센서를 사용하여 실현될 수 있다.The image capturing unit 210 is used for capturing an image. The image capturing unit 210 may be implemented using an image sensor such as a CCD (Charge Coupled Device) sensor or a CMOS (Complementary Metal-Oxide-Semiconductor Transistor) sensor.

통신부(220)는 표준화 장치(200)가 표준화될 3D 디스플레이와 통신하는데 사용된다. 통신부(220)는 유선 통신 장치 또는 무선 통신 장치일 수 있다.The communication unit 220 is used for the standardization apparatus 200 to communicate with the 3D display to be standardized. The communication unit 220 may be a wired communication device or a wireless communication device.

디스플레이 제어부(230)는 통신부(220)를 통해 3D 디스플레이를 제어한다. 구체적으로, 디스플레이 제어부(230)는 통신부(220)을 통해 3D 디스플레이의 복수의 디스플레이 레이어가 미리 설정된 순서에 따라 각각 제1 영상을 표시하도록 상기 3D 디스플레이를 제어한다. 예를 들어, 제1 영상을 표시할 때, 하나의 디스플레이 레이어에 제1 영상을 표시한다.The display control unit 230 controls the 3D display through the communication unit 220. Specifically, the display control unit 230 controls the 3D display through the communication unit 220 such that a plurality of display layers of the 3D display respectively display the first image according to a predetermined order. For example, when a first image is displayed, a first image is displayed on one display layer.

예를 들어, 디스플레이 제어부(230)는 통신부(220)을 통해, 제1 영상 및 관련된 디스플레이 제어 명령을 3D 디스플레이에 전송하여 제1 영상을 표시한다. 또한 제1 영상을 디폴트 테스트 영상(default test image)으로 결정하여 3D 디스플레이 및 표준화 장치에 저장할 수 있다. 이 경우, 3D 디스플레이 및 표준화 장치 간에 제1 영상을 전송할 필요가 없다.For example, the display control unit 230 transmits the first image and the related display control command to the 3D display through the communication unit 220 to display the first image. Also, the first image may be determined as a default test image and stored in the 3D display and the standardization apparatus. In this case, it is not necessary to transmit the first image between the 3D display and the standardizing device.

디스플레이 제어부(230)는 3D 디스플레이의 하나의 디스플레이 레이어를 제어하여 제1 영상을 표시하면, 영상 촬영부(210)는, 상기 디스플레이 레이어에 표시된 제1 영상을 촬영함으로써, 제2 영상을 획득할 수 있다. 따라서, 각 디스플레이 레이어에 표시된 제1 영상을 촬영하여 복수의 제2 영상을 획득할 수 있다. 상기 복수의 제2 영상의 각각은 각각의 디스플레이 레이어에 표시된 제1 영상에 대응한다.When the display controller 230 controls one display layer of the 3D display to display the first image, the image capturing unit 210 can acquire the second image by capturing the first image displayed on the display layer have. Accordingly, it is possible to acquire a plurality of second images by photographing a first image displayed on each display layer. Each of the plurality of second images corresponds to a first image displayed on each display layer.

여기서, 각 디스플레이 레이어에 표시된 제1 영상을 촬영할 때, 영상 촬영부(210)의 위치와 동작은 동일하다. Here, when capturing the first image displayed on each display layer, the position and operation of the image capturing unit 210 are the same.

호모그래피 계산부(240)은 제1 영상 및 제2 영상을 이용하여 각 디스플레이 레이어 및 영상 촬영부 간의 호모그래피(homography)를 각각 계산한다. 구체적으로, 제1 영상 및 하나의 디스플레이 레이어에 표시된 제1 영상에 대응하는 제2 영상(즉, 상기 디스플레이 레이어에 표시된 제1 영상을 포함하는 제2 영상)을 이용하여 상기 디스플레이 레이어 및 상기 영상 촬영부 간의 호모그래피를 계산할 수 있다.The homography calculation unit 240 calculates homography between each display layer and the image capturing unit using the first image and the second image. Specifically, the display layer and the image capturing device may be implemented using a first image and a second image corresponding to a first image displayed on one display layer (i.e., a second image including a first image displayed on the display layer) Homography can be calculated.

구체적으로, 호모그래피 계산부(240)는 제1 영상 중에서 제1 포인트가 상기 제1 영상에 위치된 제1 좌표 및 제2 영상 중에서 상기 제1 포인트에 대응하는 제2 포인트가 상기 제2 영상에 위치된 제2 좌표를 이용하여, 상기 제1 영상 및 상기 제2 영상 간의 호모그래피 매트릭스를 계산할 수 있다. 상기 호모그래피 매트릭스는 제1 영상의 디스플레이 레이어 및 영상 촬영부 간의 호모그래피를 의미한다. 기존의 기술 또는 수학식 1을 이용하여 호모그래피 매트릭스를 계산할 수 있다.Specifically, the homography calculation unit 240 calculates the first point of the first image and the second point corresponding to the first point among the first and second images, which are located in the first image, Using the located second coordinates, a homography matrix between the first image and the second image can be calculated. The homography matrix means homography between the display layer of the first image and the image capturing unit. The homography matrix can be calculated using the existing technique or Equation (1).

호모그래피 계산부(240)는 하드웨어로 실현될 수 있다. 호모그래피 계산부(240)는, 수행할 처리에 따라, FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)를 사용하여 호모그래피 계산부(240)를 실현할 수 있다.The homography calculation unit 240 can be realized by hardware. The homography calculation unit 240 can realize the homography calculation unit 240 using an FPGA (Field Programmable Gate Array) or an ASIC (Application Specific Integrated Circuit) according to a process to be performed.

위치 결정부(250)는 계산된 호모그래피를 이용하여 각 디스플에이 레이어의 영상 촬영부에 대한 위치 관계를 계산하여 상기 복수의 디스플레이 레이어 간의 위치 관계를 획득할 수 있다.The position determination unit 250 may calculate the positional relationship between the image pickup units of the respective display layers using the calculated homography to obtain the positional relationship between the plurality of display layers.

위치 결정부(250)는 상기 설명된 수학식 2 또는 수학식 2 및 3을 이용하여 각 디스플레이 레이어 및 영상 촬영부 간의 회전 및 시프트 관계를 계산할 수 있다. 각 디스플레이 레이어의 영상 촬영부에 대한 회전 및 시프트를 획득하면, 위치 결정부(250)는 복수의 디스플레이 레이어 간의 회전 및 시프트를 획득할 수 있다.The position determination unit 250 may calculate the rotation and the shift relationship between each display layer and the image capturing unit using Equation (2) or Equations (2) and (3) described above. Upon obtaining the rotation and the shift for the image pickup unit of each display layer, the positioning unit 250 can obtain the rotation and the shift between the plurality of display layers.

위치 결정부(250)는 하드웨어로 실현될 수 있다. 위치 결정부(250)가 수행할 처리에 따라, FPGA 또는 ASIC를 사용하여 위치 결정부(250)를 구현할 수 있다.The positioning unit 250 can be realized by hardware. Depending on the processing to be performed by the positioning unit 250, the positioning unit 250 may be implemented using an FPGA or an ASIC.

또한, 상기 복수의 디스플레이 레이어 간의 위치 오차로 인해 발생된 시각 오차를 저하시키기 위해, 디스플레이 제어부(230)는 획득된 복수의 디스플레이 레이어 간의 위치 관계에 따라, 상기 통신부(220)를 통해 3D 디스플레이를 제어하여 3D 디스플레이의 디스플레이 렌더 파라미터를 조절할 수 있다. The display controller 230 controls the 3D display through the communication unit 220 according to the positional relationship between the plurality of display layers so as to reduce a visual error caused by a position error between the plurality of display layers. To adjust the display render parameters of the 3D display.

다른 실시예에서, 표준화 장치는 디스플레이부(미 도시)를 더 포함할 수 있다. 디스플레이부는 상기 복수의 디스플레이 레이어 간의 위치 관계를 표시할 수 있다. 예를 들어, 각 디스플레이 레이어 간의 회전 및 시프트 관계를 표시할 수 있다.In another embodiment, the standardization apparatus may further include a display unit (not shown). The display unit may display a positional relationship between the plurality of display layers. For example, the rotation and shift relationship between display layers can be displayed.

일 실시예에 따른 멀티 레이어 3D 디스플레이 표준화 장치 및 표준화 방법에 의하여, 3D 디스플레이의 디스플레이 레이어가 각각 영상을 표시하도록 하고, 표시된 영상을 촬영하여 표시된 영상 및 촬영된 영상 간의 호모그래피를 이용하여 복수의 디스플레이 레이어 간의 위치 관계를 획득할 수 있다.According to the multi-layer 3D display standardization apparatus and the standardization method according to an exemplary embodiment, the display layers of the 3D display display respective images, and the displayed images are photographed, and the displayed images and the plurality of displays The positional relationship between the layers can be obtained.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. The method according to an embodiment may be implemented in the form of a program command that can be executed through various computer means and recorded in a computer-readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (17)

복수의 디스플레이 레이어(display layers)를 포함하는 3D 디스플레이(display)를 위한 표준화(standardization) 방법에 있어서,
상기 3D 디스플레이를 제어하여 하나의 디스플레이 레이어에 제1 영상을 표시하는 단계(a);
영상 촬영부를 제어하여 상기 표시된 제1 영상을 촬영하여 제2 영상을 획득하는 단계(b);
상기 제1 영상 및 상기 제2 영상을 이용하여, 상기 디스플레이 레이어 및 상기 영상 촬영부 간의 호모그래피(homography)를 계산하는 단계(c); 및
상기 계산된 호모그래피를 이용하여 상기 디스플레이 레이어의 상기 영상 촬영부에 대한(with respect to) 위치 관계(geometric relations)를 계산하는 단계(d)
를 포함하고,
상기 3D 디스플레이의 각 디스플레이 레이어에 대하여, 상기 단계(a), 상기 단계(b), 상기 단계(c), 및 상기 단계(d)를 수행하여, 상기 각 디스플레이 레이어의 상기 영상 촬영부에 대한 위치 관계에 따라 상기 복수의 디스플레이 레이어 간의 위치 관계를 획득하는 3D 디스플레이 표준화 방법.1. A method of standardization for a 3D display comprising a plurality of display layers,
(A) controlling the 3D display to display a first image on one display layer;
(B) controlling the image capturing unit to capture the first image to acquire a second image;
(C) calculating homography between the display layer and the image capturing unit using the first image and the second image; And
Computing (d) calculating geometric relations with respect to the image capture unit of the display layer using the computed homography;
Lt; / RTI >
Performing step (a), step (b), step (c), and step (d) for each display layer of the 3D display to determine a position And acquiring a positional relationship between the plurality of display layers according to a relation. 제1항에 있어서,
상기 단계(c)는,
상기 제1 영상으로부터 미리 설정된 포인트가 상기 제1 영상에 위치된 제1좌표를 추출하는 단계;
상기 제2 영상으로부터 상기 미리 설정된 포인트가 상기 제2 영상에 위치된 제2 좌표를 추출하는 단계; 및
상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 제1 영상 및 상기 제2 영상 간의 호모그래피 매트릭스(homography matrix)를 계산하는 단계
를 포함하는 3D 디스플레이 표준화 방법.The method according to claim 1,
The step (c)
Extracting a first coordinate located at a predetermined point on the first image from the first image;
Extracting a second coordinate from the second image in which the predetermined point is located in the second image; And
Calculating a homography matrix between the first image and the second image using the first coordinate and the second coordinate,
/ RTI > 제2항에 있어서,
상기 단계(d)는,
상기 영상 촬영부의 내부 파라미터(internal parameter)를 이용하여 상기 호모그래피 매트릭스로부터 상기 디스플레이 레이어 및 상기 영상 촬영부 간의 회전 매트릭스(rotation matrix) 및 시프트 벡터(shift vector)를 추출하는 단계
를 포함하는 3D 디스플레이 표준화 방법.3. The method of claim 2,
The step (d)
Extracting a rotation matrix and a shift vector between the display layer and the image capturing unit from the homography matrix using an internal parameter of the image capturing unit;
/ RTI > 제1항에 있어서,
상기 3D 디스플레이의 각 디스플레이 레이어에 대해 상기 단계(b)를 수행할 때, 상기 영상 촬영부의 위치 및 동작은 동일한 3D 디스플레이 표준화 방법.The method according to claim 1,
When performing step (b) for each display layer of the 3D display, the position and operation of the image photographing unit are the same. 제1항에 있어서,
상기 복수의 디스플레이 레이어 간의 상기 위치 관계에 따라 상기 복수의 디스플레이 레이어 간의 위치를 교정하는 단계
를 더 포함하는 3D 디스플레이 표준화 방법.The method according to claim 1,
Correcting a position between the plurality of display layers according to the positional relationship between the plurality of display layers
≪ / RTI > 제1항에 있어서,
상기 복수의 디스플레이 레이어 간의 상기 위치 관계에 따라 상기 3D 디스플레이의 디스플레이 렌더 파라미터(display render parameter)를 조절하는 단계
를 더 포함하는 3D 디스플레이 표준화 방법.The method according to claim 1,
Adjusting a display render parameter of the 3D display according to the positional relationship between the plurality of display layers
≪ / RTI > 제1항에 있어서,
상기 단계(b)는,
상기 영상 촬영부를 제어하여, 상기 표시된 제1 영상의 일부 또는 전부를 촬영하여 상기 제2 영상을 획득하는 단계
를 포함하는 3D 디스플레이 표준화 방법.The method according to claim 1,
The step (b)
Controlling the image capturing unit to capture a part or all of the displayed first image to acquire the second image
/ RTI > 제1항에 있어서,
상기 획득된 복수의 디스플레이 레이어 간의 상기 위치 관계를 이용하여 상기 복수의 디스플레이 레이어 간의 상기 위치 관계가 설계의 요구를 만족시키는지 검증하는 단계
를 더 포함하는 3D 디스플레이 표준화 방법.The method according to claim 1,
Verifying whether the positional relationship among the plurality of display layers satisfies a design requirement using the positional relationship among the plurality of acquired display layers
≪ / RTI > 복수의 디스플레이 레이어(display layers)를 포함하는 3D 디스플레이(displayer)를 위한 표준화 장치에 있어서,
상기 3D 디스플레이와 통신하는 통신부;
상기 통신부를 통해 상기 복수의 디스플레이 레이어가 미리 설정된 순서에 따라 각각 제1 영상을 표시하도록 상기 3D 디스플레이를 제어하는 디스플레이 제어부;
상기 복수의 디스플레이 레이어의 각각에 표시된 제1 영상에 대해 촬영하여 제2 영상을 획득하는 영상 촬영부;
상기 제1 영상 및 상기 제2 영상을 이용하여, 상기 각 디스플레이 레이어 및 상기 영상 촬영부 간의 호모그래피(Homography)를 각각 계산하는 호모그래피 계산부; 및
상기 계산된 호모그래피를 이용하여 상기 각 디스플에이 레이어의 상기 영상 촬영부에 대한 위치 관계를 계산하여 상기 복수의 디스플레이 레이어 간의 위치 관계를 획득하는 위치 결정부
를 포함하는 3D 디스플레이 표준화(standardization) 장치.1. A standardization apparatus for a 3D display comprising a plurality of display layers,
A communication unit for communicating with the 3D display;
A display controller for controlling the 3D display so that the plurality of display layers respectively display a first image in a predetermined order through the communication unit;
An image capturing unit capturing a first image displayed on each of the plurality of display layers to acquire a second image;
A homography calculating unit for calculating homography between each of the display layers and the image capturing unit using the first image and the second image; And
Calculating a positional relationship of each of the display layers with respect to the image capturing unit using the calculated homography to obtain a positional relationship between the plurality of display layers,
A 3D display standardization device. 제9항에 있어서,
상기 호모그래피 계산부는,
상기 제1 영상 중에서 제1 포인트가 상기 제1 영상에 위치된 좌표 및 상기 제2 영상 중에서 상기 제1 포인트에 대응하는 제2 포인트가 상기 제2 영상에 위치된 좌표를 이용하여, 상기 제1 영상 및 상기 제2 영상 간의 호모그래피 매트릭스(homography matrix)를 계산하는 3D 디스플레이 표준화 장치.10. The method of claim 9,
The homography calculation unit may calculate,
A second image corresponding to the first point is located in the second image, and a second image corresponding to the second image, the first image having a first point located in the first image, And calculating a homography matrix between the first and second images. 제10항에 있어서,
상기 위치 결정부는,
상기 영상 촬영부의 내부 파라미터(internal parameter)를 이용하여, 상기 호모그래피 매트릭스로부터 상기 디스플레이 레이어 및 상기 영상 촬영부 간의 회전 매트릭스(rotation matrix) 및 시프트 벡터(shift vector)를 추출하는 3D 디스플레이 표준화 장치.11. The method of claim 10,
Wherein the positioning unit comprises:
And a rotation matrix and a shift vector between the display layer and the image capturing unit are extracted from the homography matrix using an internal parameter of the image capturing unit. 제9항에 있어서,
상기 3D 디스플레이의 각 디스플레이 레이어에 표시된 상기 제1 영상을 각각 촬영할 때, 상기 영상 촬영부의 위치와 동작은 동일한 3D 디스플레이 표준화 장치.10. The method of claim 9,
Wherein when the first image displayed on each display layer of the 3D display is photographed, the position and operation of the image photographing unit are the same. 제9항에 있어서,
상기 디스플레이 제어부는,
상기 복수의 디스플레이 레이어 간의 상기 위치 관계에 따라, 상기 통신부를 통해 상기 3D 디스플레이를 제어하여 상기 3D 디스플레이의 디스플레이 렌더 파라미터(display render parameter)를 조절하는 3D 디스플레이 표준화 장치.10. The method of claim 9,
The display control unit,
And controls a display render parameter of the 3D display by controlling the 3D display through the communication unit according to the positional relationship between the plurality of display layers. 제9항에 있어서,
상기 복수의 디스플레이 레이어 간의 위치 관계를 표시하는 디스플레이부를 더 포함하는 3D 디스플레이 표준화 장치.10. The method of claim 9,
And a display unit for displaying a positional relationship between the plurality of display layers. N개의 디스플레이 레이어(display layers)를 포함하는 3D 디스플레이(3D display)를 위한 표준화 장치에 있어서,
상기 3D 디스플레이를 제어하여 상기 3D 디스플레이의 디스플레이 레이어에 영상이 표시되도록 제어하는 디스플레이 제어부;
상기 3D 디스플레이의 영상을 촬영(capture)하는 영상 촬영부; 및
상기 디스플레이 레이어의 상기 영상 촬영부에 대한(with respect to) 위치 관계(geometric relations)를 결정하는 위치 결정부
를 포함하고,
상기 디스플레이 제어부 및 상기 영상 촬영부는,
상기 3D 디스플레이의 제n 디스플레이 레이어에 영상이 표시되도록 제어하고, 상기 3D 디스플레이의 영상을 촬영하는 동작을 n회(n = 1부터 M, M은 N보다 크지 않은 정수) 반복하고,
상기 위치 결정부는,
상기 제n 디스플레이 레이어에 표시된 영상 및 상기 3D 디스플레이의 영상 간의 관계에 기초하여 상기 디스플레이 레이어의 상기 영상 촬영부에 대한(with respect to) 위치 관계(geometric relations)를 결정하는
3D 디스플레이 표준화 장치.1. A standardization apparatus for a 3D display comprising N display layers,
A display controller for controlling the 3D display to display an image on a display layer of the 3D display;
An image capturing unit capturing an image of the 3D display; And
And a position determining unit for determining geometric relations with respect to the image capturing unit of the display layer,
Lt; / RTI >
The display control unit and the image capturing unit may include:
(N = 1 to M, M is an integer not larger than N) to repeat the operation of capturing an image of the 3D display on the n-th display layer of the 3D display,
Wherein the positioning unit comprises:
Determining a geometric relations with respect to the image capturing unit of the display layer based on the relationship between the image displayed on the nth display layer and the image on the 3D display
3D display standardization device. 제15항에 있어서,
상기 위치 결정부는,
상기 제n 디스플레이 레이어에 표시된 영상으로부터 미리 설정된 포인트가 상기 제n 디스플레이 레이어에 표시된 영상에 위치된 제1 좌표를 추출하고,
상기 3D 디스플레이의 영상으로부터 상기 미리 설정된 포인트가 상기 3D 디스플레이의 영상에 위치된 제2 좌표를 추출하고,
상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 디스플레이 레이어의 상기 영상 촬영부에 대한(with respect to) 위치 관계(geometric relations)를 결정하는
3D 디스플레이 표준화 장치.16. The method of claim 15,
Wherein the positioning unit comprises:
A first coordinate located at an image displayed on the nth display layer from a predetermined point from the image displayed on the nth display layer,
Extracting a second coordinate located at an image of the 3D display from the image of the 3D display,
Determining the geometric relations with respect to the imaging portion of the display layer using the first coordinate and the second coordinate
3D display standardization device. 제16항에 있어서,
상기 위치 결정부는,
상기 제1 좌표 및 상기 제2 좌표를 이용하여 상기 제n 디스플레이 레이어에 표시된 영상 및 상기 3D 디스플레이의 영상 사이의 호모그래피 매트릭스(homography matrix)를 계산하고,
상기 호모그래피 매트릭스(homography matrix)에 기초하여 상기 디스플레이 레이어의 상기 영상 촬영부에 대한(with respect to) 위치 관계(geometric relations)를 결정하는
3D 디스플레이 표준화 장치.17. The method of claim 16,
Wherein the positioning unit comprises:
Calculating a homography matrix between the image displayed on the nth display layer and the image on the 3D display using the first coordinate and the second coordinate,
Determining a geometric relations with respect to the imaging portion of the display layer based on the homography matrix;
3D display standardization device.
KR1020130051790A 2012-11-23 2013-05-08 Apparatus and method for standardizing multi-layer 3d displays KR20140066634A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020130105308A KR102110542B1 (en) 2012-11-23 2013-09-03 Apparatus and method for calibration multi-layer 3d displays
US14/058,591 US9560343B2 (en) 2012-11-23 2013-10-21 Apparatus and method for calibrating multi-layer three-dimensional (3D) display

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201210482790.2A CN103841394B (en) 2012-11-23 2012-11-23 The calibration facility and scaling method of multiple field three dimensional display
CN201210482790.2 2012-11-23

Publications (1)

Publication Number Publication Date
KR20140066634A true KR20140066634A (en) 2014-06-02

Family

ID=50804483

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020130051790A KR20140066634A (en) 2012-11-23 2013-05-08 Apparatus and method for standardizing multi-layer 3d displays
KR1020130105308A KR102110542B1 (en) 2012-11-23 2013-09-03 Apparatus and method for calibration multi-layer 3d displays

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020130105308A KR102110542B1 (en) 2012-11-23 2013-09-03 Apparatus and method for calibration multi-layer 3d displays

Country Status (2)

Country Link
KR (2) KR20140066634A (en)
CN (1) CN103841394B (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9491452B2 (en) * 2014-09-05 2016-11-08 Intel Corporation Camera calibration
KR102370062B1 (en) * 2014-11-24 2022-03-04 삼성전자주식회사 Method of determining calibration parameter for 3d display device and 3d display device thereof

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE60028075D1 (en) * 1999-11-23 2006-06-22 Canon Kk IMAGE PROCESSING UNIT
US6927886B2 (en) * 2002-08-02 2005-08-09 Massachusetts Institute Of Technology Reconfigurable image surface holograms
US8941691B2 (en) * 2008-08-26 2015-01-27 Pure Depth Limited Multi-layered displays
JP4935796B2 (en) * 2008-10-30 2012-05-23 富士ゼロックス株式会社 Display control apparatus, image forming apparatus, and program
KR20120034574A (en) * 2010-10-01 2012-04-12 삼성전자주식회사 Display apparatus, signal processing apparatus and methods thereof
KR101694294B1 (en) * 2010-12-22 2017-01-09 한국전자통신연구원 Apparatus and method for calibrating camera with imaged parallelograms and multi-view constraints

Also Published As

Publication number Publication date
CN103841394B (en) 2017-07-07
CN103841394A (en) 2014-06-04
KR102110542B1 (en) 2020-05-13
KR20140066639A (en) 2014-06-02

Similar Documents

Publication Publication Date Title
KR102209008B1 (en) Apparatus for estimating camera pose and method for estimating camera pose
CN112258567B (en) Visual positioning method and device for object grabbing point, storage medium and electronic equipment
US8818097B2 (en) Portable electronic and method of processing a series of frames
KR20150120066A (en) System for distortion correction and calibration using pattern projection, and method using the same
US20190206115A1 (en) Image processing device and method
JP5388921B2 (en) Three-dimensional distance measuring apparatus and method
KR101997991B1 (en) Image merging method and system using viewpoint transformation
KR102381462B1 (en) A method for generating hierarchical depth data for a scene
JP2013530380A5 (en)
WO2017043258A1 (en) Calculating device and calculating device control method
JP7204021B2 (en) Apparatus and method for obtaining a registration error map representing image sharpness level
JP2017142613A (en) Information processing device, information processing system, information processing method and information processing program
JP6579727B1 (en) Moving object detection device, moving object detection method, and moving object detection program
KR20140066634A (en) Apparatus and method for standardizing multi-layer 3d displays
WO2022147655A1 (en) Positioning method and apparatus, spatial information acquisition method and apparatus, and photographing device
JP5996233B2 (en) Imaging device
US9560343B2 (en) Apparatus and method for calibrating multi-layer three-dimensional (3D) display
KR101837269B1 (en) Coordination guide method and system based on multiple marker
JP2003006618A (en) Method and device for generating three-dimensional model and computer program
US20180108145A1 (en) Information processing apparatus and method of controlling the same
KR102298047B1 (en) Method of recording digital contents and generating 3D images and apparatus using the same
CN111279352A (en) Three-dimensional information acquisition system through ball throwing exercise and camera parameter calculation method
KR101142279B1 (en) An apparatus for aligning images in stereo vision system and the method thereof
Calore et al. Accelerometer based horizon and keystone perspective correction
JP6091092B2 (en) Image processing apparatus and image processing method