KR20150120866A - Apparatus and methods for correcting errors in Integral Image Display - Google Patents

Apparatus and methods for correcting errors in Integral Image Display Download PDF

Info

Publication number
KR20150120866A
KR20150120866A KR1020150052393A KR20150052393A KR20150120866A KR 20150120866 A KR20150120866 A KR 20150120866A KR 1020150052393 A KR1020150052393 A KR 1020150052393A KR 20150052393 A KR20150052393 A KR 20150052393A KR 20150120866 A KR20150120866 A KR 20150120866A
Authority
KR
South Korea
Prior art keywords
image
error
microlens
unit
point
Prior art date
Application number
KR1020150052393A
Other languages
Korean (ko)
Other versions
KR102276456B1 (en
Inventor
리 웨이밍
조우 밍차이
지아오 샤오후이
홍 타오
왕 씨잉
왕 하이타오
남동경
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to PCT/KR2015/003849 priority Critical patent/WO2015160208A1/en
Priority to US15/303,404 priority patent/US10142616B2/en
Publication of KR20150120866A publication Critical patent/KR20150120866A/en
Application granted granted Critical
Publication of KR102276456B1 publication Critical patent/KR102276456B1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/305—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using lenticular lenses, e.g. arrangements of cylindrical lenses
    • H04N13/0425—
    • H04N13/0402—
    • H04N13/0404—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/327—Calibration thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/04—Diagnosis, testing or measuring for television systems or their details for receivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Studio Devices (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)

Abstract

Disclosed are an auto-stereoscopic three dimensional display device, and an apparatus and a method for correcting display errors. The display device obtains an image by letting a single camera photographing an IID image and corrects errors between a design position and a real position of a micro lens array located on one surface of a two dimensional panel, thereby providing a high quality three dimensional image.

Description

IID에서 디스플레이 오차를 보정하는 장치 및 방법{Apparatus and methods for correcting errors in Integral Image Display}[0001] Apparatus and methods for correcting display errors in IID [0002]

3차원 디스플레이 장치에 연관되며, 보다 구체적으로는 무안경식 IID에 대한 디스플레이 오차를 보정하는 방법 및 장치에 연관된다.Relates to a method and apparatus associated with a three-dimensional display device, and more particularly, to correcting display errors for non-eye-safe IIDs.

IID(Integral Image Display) 방식의 3차원 디스플레이 기술은 화면의 밝기가 강하고 사용자가 맨 눈(naked eye)으로 3차원 영상을 볼 수 있는 장점이 있다. IID 방식은 2차원 디스플레이(예를 들면, 액정 디스플레이(LCD) 패널)의 위에 위치한 마이크로 렌즈 어레이 (Micro Lens Array)의 굴절을 통해 2차원 EIA(Elemental image array) 이미지가 서로 다른 방향으로 굴절되어 3차원 영상을 만들어낼 수 있다.The IID (Integral Image Display) type three-dimensional display technology is advantageous in that the brightness of a screen is strong and a user can see a three-dimensional image with a naked eye. The IID method is a method in which a two-dimensional elemental image array (EIA) image is refracted in different directions through a refraction of a micro lens array located on a two-dimensional display (e.g., a liquid crystal display Dimensional images can be created.

마이크로 렌즈 어레이 자체의 특징적 요소(예를 들어, 정밀도 등)나 마이크로 렌즈 어레이가 설치된 환경적 요소(예를 들어, 온도 등)에 따라 마이크로 렌즈 어레이의 실제 위치는 설계 위치에서 벗어날 수 있다. 따라서, 고 품질의 IID 방식의 3차원 디스플레이를 위해서는 마이크로 렌즈 어레이의 실제위치에 대한 오차보정이 필요하다.Depending on the characteristic elements (e.g., precision) of the microlens array itself or the environmental factors (e.g., temperature, etc.) where the microlens array is installed, the actual position of the microlens array may deviate from the design position. Therefore, it is necessary to correct the error of the actual position of the microlens array for the high-quality three-dimensional display of the IID system.

일측에 따르면, 단일의 카메라가 IID 영상을 촬영한 제1 이미지를 획득하는 이미지 획득부; 및 2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대하여, 상기 마이크로 렌즈 어레이의 설계위치와 상기 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나타내는 오차 모델을 최적화함으로써 상기 오차를 추정하는 오차 추정부를 포함하는 디스플레이 오차 보정 장치가 제공된다. 일실시예에 따르면 상기 오차 추정부는, 미리 설정된 초기 오차 파라미터 값으로 상기 초기 오차 모델을 생성하고, 상기 제1 이미지의 임의의 한 점에 대하여 상기 2차원 패널에 매핑되는 대응위치에 따라 상기 초기 오차 파라미터 값을 갱신하여 상기 오차 모델을 최적화할 수 있다. 이때 오차 추정부는, 상기 단일 카메라와 상기 마이크로 렌즈 어레이의 사이에 존재하는 가상의 이미지 평면에 대하여, 상기 제1 이미지의 임의의 점이 각 마이크로 렌즈와 상기 단일 카메라의 중심 위치에 의해 상기 이미지 평면 위에 대응되는 대응위치를 결정하는 대응위치 확정부; 상기 제1 이미지의 각 픽셀점과 상기 2차원 패널의 픽셀점의 대응관계를 분석하여 상기 대응위치가 상기 2차원 패널에 매핑되는 제1 매핑위치를 확정하는 제1 매핑위치 확정부; 상기 단일 카메라의 중심 위치와 상기 대응위치와의 연결선이 상기 2차원 패널에 매핑되는 제2 매핑위치를 확정하는 제2 매핑위치 확정부; 및 상기 제1 매핑위치와 상기 제2 매핑위치 사이의 위치 차이에 따라 상기 오차 모델을 최적화하는 최적화부를 포함할 수 있다. 일실시예에 따른 오차 모델을 최적화하는 것은 상기 제1 매핑위치와 상기 제2 매핑위치 사이의 거리가 최소가 되도록 상기 오차 파라미터 값을 갱신하여 목적을 달성할 수 있고, 상기 마이크로 렌즈 어레이 중 하나 이상의 각 마이크로 렌즈에 대하여 상기 제1 매핑위치와 상기 제2 매핑위치의 거리를 계산하고, 상기 계산한 거리의 합의 최소가 되는 경우 상기 초기 오차 파라미터가 최적화되었다고 간주할 수 있다.According to an aspect of the present invention, there is provided an image capturing apparatus, comprising: an image acquiring unit that acquires a first image of a single camera that captures an IID image; And an error estimating unit for estimating the error by optimizing an error model indicating an error between a design position of the microlens array and an actual position of the microlens array with respect to the microlens array positioned on one side of the two- A display error correction apparatus is provided. According to an embodiment, the error estimator may generate the initial error model with a preset initial error parameter value, and may calculate the initial error model according to a corresponding position mapped to the two-dimensional panel for any one point of the first image, The parameter values can be updated to optimize the error model. At this time, the error estimating unit may calculate, for a virtual image plane existing between the single camera and the microlens array, an arbitrary point of the first image corresponding to the image plane by the center position of each microlens and the single camera A corresponding position determining unit for determining a corresponding position to be detected; A first mapping position determination unit for analyzing a correspondence relationship between each pixel point of the first image and a pixel point of the two-dimensional panel to determine a first mapping position at which the corresponding position is mapped to the two-dimensional panel; A second mapping position determination unit for determining a second mapping position at which a connection line between the center position of the single camera and the corresponding position is mapped to the two-dimensional panel; And an optimizer for optimizing the error model according to a positional difference between the first mapping position and the second mapping position. Optimizing the error model according to one embodiment may accomplish the purpose by updating the error parameter values such that the distance between the first and second mapping positions is minimized, and one or more of the microlens arrays It is possible to calculate the distance between the first mapping position and the second mapping position with respect to each microlens and to regard the initial error parameter as being optimized when the sum of the calculated distances becomes minimum.

다른 일측에 따르면, 단일의 카메라가 IID 영상을 촬영한 제1 이미지를 획득하는 이미지 획득부; 2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대하여, 상기 마이크로 렌즈 어레이의 설계위치와 상기 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나타내는 오차 모델을 최적화함으로써 상기 오차를 추정하는 오차 추정부; 및 상기 마이크로 렌즈 어레이의 오차에 따라 상기 제1 이미지에 대하여 EIA (Elemental Image Array) 방식의 제2 이미지를 렌더링하는 렌더링부를 포함하는 디스플레이 장치가 제공된다. 다른 일실시예에서 오차 추정부는 상기 단일 카메라와 상기 마이크로 렌즈 어레이의 사이에 존재하는 가상의 이미지 평면에 대하여, 상기 제1 이미지의 임의의 점이 각 마이크로 렌즈와 상기 단일 카메라의 중심 위치에 의해 상기 이미지 평면 위에 대응되는 대응위치를 결정하는 대응위치 확정부; 상기 제1 이미지의 각 픽셀점과 상기 2차원 패널의 픽셀점의 대응관계를 분석하여 상기 대응위치가 상기 2차원 패널에 매핑되는 제1 매핑위치를 확정하는 제1 매핑위치 확정부; 상기 단일 카메라의 중심 위치와 상기 대응위치와의 연결선이 상기 2차원 패널에 매핑되는 제2 매핑위치를 확정하는 제2 매핑위치 확정부; 및 상기 제1 매핑위치와 상기 제2 매핑위치 사이의 위치 차이에 따라 상기 오차 모델을 최적화하는 최적화부를 포함한다. 이때 최적화부는, 상기 제1 매핑위치와 상기 제2 매핑위치 사이의 거리가 최소가 되도록 상기 오차 파라미터 값을 갱신하여 상기 오차 모델을 최적화할 수 있다.According to another aspect of the present invention, there is provided an image capturing apparatus comprising: an image acquiring unit for acquiring a first image of a single camera capturing an IID image; An error estimator for estimating the error by optimizing an error model representing an error between a design position of the microlens array and an actual position of the microlens array with respect to the microlens array located on one surface of the two-dimensional panel; And a rendering unit that renders a second image of an EIA (Elemental Image Array) scheme on the first image according to an error of the microlens array. In another embodiment, the error estimator may calculate, for a virtual image plane existing between the single camera and the microlens array, an arbitrary point of the first image by the center position of each microlens and the single camera, A corresponding position determination unit for determining a corresponding position corresponding to the plane; A first mapping position determination unit for analyzing a correspondence relationship between each pixel point of the first image and a pixel point of the two-dimensional panel to determine a first mapping position at which the corresponding position is mapped to the two-dimensional panel; A second mapping position determination unit for determining a second mapping position at which a connection line between the center position of the single camera and the corresponding position is mapped to the two-dimensional panel; And an optimizer for optimizing the error model according to a positional difference between the first mapping position and the second mapping position. At this time, the optimizer may optimize the error model by updating the error parameter value such that the distance between the first mapping position and the second mapping position is minimized.

나아가, 다른 일실시예에서 상기 렌더링부는, 상기 마이크로 렌즈 어레이의 오차에 따라 산출된 각 마이크로 렌즈의 실제위치에 기초하여 생성된 광선 모델에 따라 상기 제2 이미지를 렌더링할 수 있다. 또한, 상기 렌더링부는 상기 마이크로 렌즈 어레이의 오차에 기초하여 각 마이크로 렌즈의 실제위치를 계산하는 위치확정부; 상기 각 마이크로 렌즈의 실제위치에 기초하여 상기 2차원 패널의 각 픽셀에 대응되는 3차원 광선을 나타내는 광선 모델을 생성하는 광선모델 생성부; 및 상기 광선 모델을 이용하여 제1 이미지에 대하여 EIA 방식의 제2 이미지를 렌더링하는 EIA 렌더링부를 포함할 수 있다.Furthermore, in another embodiment, the rendering unit may render the second image according to a ray model generated based on an actual position of each microlens calculated according to an error of the microlens array. The rendering unit may include a position determination unit for calculating an actual position of each microlens based on an error of the microlens array; A light ray model generation unit that generates a light ray model representing a three-dimensional ray corresponding to each pixel of the two-dimensional panel based on an actual position of each of the microlenses; And an EIA rendering unit rendering the second image of the EIA scheme with respect to the first image using the light ray model.

다른 일실시예에 따른 광선모델 생성부는, 상기 2차원 패널의 픽셀과 상기 마이크로 렌즈 어레이의 각 마이크로 렌즈의 대응관계를 초기화하는 초기화부; 상기 제1 이미지의 임의의 한 점을 상기 2차원 패널에 투영시킨 점을 이용하여 상기 각 마이크로 렌즈마다 상기 대응관계를 갱신하는 갱신부; 및 평형한 두 개의 평면 위의 점을 이용하여 상기 2차원 패널의 픽셀과 상기 픽셀에 대응되는 마이크로 렌즈의 방향을 표시하는 방향묘사부를 포함한다. 이때 상기 갱신부는, 상기 제1 이미지에 속하는 임의의 제1 관찰점이 특정 마이크로 렌즈를 통해 상기 2차원 패널에 투영된 제1 투영점을 획득하는 투영부; 상기 2차원 패널에서 상기 제1 투영점을 중심으로 소정 크기의 윈도우(window)를 형성하는 윈도우 구성부; 및 상기 윈도우의 각 픽셀로 매핑되는 마이크로 렌즈에 대한 갱신을 수행하는 로컬 갱신부를 포함하며, 상기 로컬 갱신부는, 상기 제1 투영점을 획득하게 한 상기 특정 마이크로 렌즈가 상기 초기화된 대응관계에 따른 마이크로 렌즈인지 확인하는 확인부; 상기 특정 마이크로 렌즈가 상기 초기화된 대응관계와 일치하지 않은 경우, 상기 윈도우의 제1 픽셀에 대하여 상기 초기화된 대응관계에 따라 상기 제1 이미지에 투영시킨 제2 투영점을 획득하고, 상기 윈도우의 제1 픽셀에 대하여 상기 특정 마이크로 렌즈에 따라 상기 제1 이미지에 투영시킨 제3 투영점을 획득하는 픽셀 투영부; 및 상기 제2 투영점과 상기 제1 관찰점 사이의 제1 거리 및 상기 제3 투영점과 상기 제1 관찰점 사이의 제2 거리를 계산하고, 상기 제1 거리가 상기 제2 거리보다 크거나 같을 때 상기 제1 투영점에 대한 상기 2차원 패널의 픽셀에 대응되는 마이크로 렌즈를 상기 특정 마이크로 렌즈로 갱신하는 매핑갱신부를 포함할 수 있다.The light ray model generation unit according to another embodiment includes an initialization unit for initializing a correspondence relationship between the pixels of the two-dimensional panel and the respective microlenses of the microlens array; An updating unit for updating the correspondence relationship for each of the microlenses by using a point projected on the two-dimensional panel of an arbitrary point of the first image; And a directional depicting unit for displaying the pixels of the two-dimensional panel and the directions of the microlenses corresponding to the pixels by using points on the two balanced planes. Wherein the updating unit comprises: a projection unit in which any first observation point belonging to the first image acquires a first projection point projected onto the two-dimensional panel through a specific microlens; A window constructing unit for forming a window having a predetermined size around the first projection point in the two-dimensional panel; And a local update unit for performing update on a microlens mapped to each pixel of the window, wherein the local update unit updates the specific microlens, which has obtained the first projection point, A confirmation unit for confirming whether the lens is a lens; Acquiring a second projection point projected on the first image in accordance with the initialized correspondence relation with respect to a first pixel of the window when the specific microlens does not coincide with the initialized correspondence relationship, A pixel projection unit for acquiring a third projection point projected onto the first image in accordance with the specific microlens for one pixel; And calculating a first distance between the second projection point and the first observation point and a second distance between the third projection point and the first observation point, and if the first distance is greater than the second distance And a mapping update unit for updating the microlenses corresponding to the pixels of the two-dimensional panel with respect to the first projection point when they are equal to the specific microlenses.

또 다른 일측에 따르면, 디스플레이 오차 보정 방법이 제공된다. 방법은, 단일의 카메라가 IID 영상을 촬영한 제1 이미지를 획득하는 단계; 2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대하여, 상기 마이크로 렌즈 어레이의 설계위치와 상기 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나타내는 오차 모델을 생성하는 단계; 및 상기 오차 모델을 최적화하여 상기 오차를 추정하는 단계를 포함한다.According to another aspect, a display error correction method is provided. The method includes the steps of: acquiring a first image, in which a single camera has taken an IID image; Generating an error model representing an error between a design position of the microlens array and an actual position of the microlens array with respect to the microlens array positioned on one side of the two-dimensional panel; And estimating the error by optimizing the error model.

도 1은 일실시예에 따른 디스플레이 오차 보정 장치의 블록도이다.
도 2는 일실시예에 따른 디스플레이 오차 보정 장치의 오차 추정부의 세부 블록도이다.
도 3은 일실시예에 따라 디스플레이 오차를 보정하기 위한 단일 카메라, 2차원 패널 및 마이크로 렌즈 어레이의 관계를 나타낸 개념도이다.
도 4는 다른 일실시예에 따른 디스플레이 장치의 블록도이다.
도 5는 다른 일실시예에 따른 디스플레이 장치의 렌더링부의 세부 블록도이다.
도 6은 다른 일실시예에 따른 디스플레이 장치가 렌더링하는 과정을 나타낸 개념도이다.
도 7은 다른 일실시예에 따른 디스플레이 장치의 광선모델 생성부의 세부 블록도이다.
도 8은 도 7의 광선모델 생성부의 갱신부에 대한 세부 블록도이다.
도 9는 또 다른 일실시예에 따른 디스플레이 오차 보정 방법의 순서도이다.
도 10은 또 다른 일실시예에 따라 디스플레이 오차를 계산하는 과정을 나타낸 순서도이다.
도 11은 또 다른 일실시예에 따라 디스플레이 오차를 반영하여 렌더링하는 방법을 나타낸 순서도이다.
도 12는 또 다른 일실시예에 따라 마이크렌즈의 대응관계를 갱신하는 방법을 나타낸 순서도이다.1 is a block diagram of a display error correction apparatus according to an exemplary embodiment of the present invention.
2 is a detailed block diagram of an error estimator of a display error correction apparatus according to an exemplary embodiment of the present invention.
3 is a conceptual diagram illustrating a relationship between a single camera, a two-dimensional panel, and a microlens array for correcting a display error according to an exemplary embodiment.
4 is a block diagram of a display device according to another embodiment.
5 is a detailed block diagram of a rendering unit of a display device according to another embodiment.
FIG. 6 is a conceptual diagram illustrating a process of rendering by a display device according to another embodiment.
7 is a detailed block diagram of a light-ray model generation unit of a display device according to another embodiment.
8 is a detailed block diagram of the updating unit of the light model generation unit of FIG.
9 is a flowchart of a display error correction method according to another embodiment.
10 is a flowchart illustrating a process of calculating a display error according to another embodiment of the present invention.
11 is a flowchart illustrating a method of rendering a display error according to another embodiment.
12 is a flowchart showing a method of updating a correspondence relationship of a microphone lens according to another embodiment.

이하에서, 일부 실시예들을, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.In the following, some embodiments will be described in detail with reference to the accompanying drawings. However, it is not limited or limited by these embodiments. Like reference symbols in the drawings denote like elements.

아래 설명에서 사용되는 용어는, 연관되는 기술 분야에서 일반적으로 보편적인 것으로 선택되었으나, 기술의 발달 및/또는 변화, 관례, 기술자의 선호 등에 따라 다른 용어가 있을 수 있다. 따라서, 아래 설명에서 사용되는 용어는 기술적 사상을 한정하는 것으로 이해되어서는 안 되며, 실시예들을 설명하기 위한 예시적 용어로 이해되어야 한다.The terms used in the following description are selected generally universally in the art to which they relate, but there may be other terms depending on the development and / or change in technology, customs, preferences of the technician, and the like. Accordingly, the terminology used in the following description should not be construed as limiting the technical thought, but should be understood in the exemplary language used to describe the embodiments.

또한 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
Also, in certain cases, there may be a term chosen arbitrarily by the applicant, in which case the meaning of the detailed description in the corresponding description section. Therefore, the term used in the following description should be understood based on the meaning of the term, not the name of a simple term, and the contents throughout the specification.

도1은 일실시예에 따른 디스플레이 오차 보정 장치의 블록도이다. 디스플레이 오차 보정 장치는 이미지 획득부(110) 및 오차 추정부(120)를 포함한다. 이미지 획득부(110)는 단일의 카메라가 IID 영상을 촬영한 제1 이미지를 획득한다. 무안경식 3차원 디스플레이를 하기 위한 IID 영상을 하나의 단일 카메라가 촬영하여 획득한 이미지에 대하여 마이크로 렌즈에 대한 오차를 보정하게 된다. 2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이는 제1 이미지를 각기 다른 방향으로 굴절시킴으로써 무안경식 3차원 이미지를 디스플레이할 수 있다. 2차원 패널의 각 픽셀 위치에 대하여 IID 영상을 촬영한 이미지에 대해서 코드표시를 진행한다. 그리고, IID 영상을 촬영한 이미지에 대하여 디코드를 수행하면 다시 이미지에 대한 2차원 패널의 각 픽셀의 대응 관계를 얻을 수 있다. IID 영상을 촬영한 이미지는 2차원 그레이 코드(Gray Code)의 흑백이미지 또는 위상 변이 변화를 포함한 사인줄무늬(sinusoidal fringe) 형식의 이미지가 될 수 있다.1 is a block diagram of a display error correction apparatus according to an exemplary embodiment of the present invention. The display error correction apparatus includes an image obtaining unit 110 and an error estimating unit 120. [ The image acquiring unit 110 acquires a first image in which a single camera has photographed the IID image. The error of the microlens is corrected with respect to the image obtained by photographing the IID image for a non-eye-hardening three-dimensional display by one single camera. The microlens array located on one side of the two-dimensional panel can display a non-sharp-pointed three-dimensional image by refracting the first image in different directions. The code display is performed for the image of the IID image taken for each pixel position of the two-dimensional panel. When the IID image is decoded, the corresponding relationship of each pixel of the two-dimensional panel with respect to the image is obtained again. The image of the IID image may be a monochrome image of a two-dimensional gray code or an image of a sinusoidal fringe type including a phase shift.

제1 이미지의 픽셀점과 2차원 패널상의 픽셀의 대응관계를 기초로, 2차원 패널상의 픽셀과 제1 이미지를 촬영한 단일 카메라의 가상의 이미지 평면(예를 들면, 이미지 센서상의 이미지 평면)위의 점의 대응관계를 획득한다. 다시 말하면, 제1 이미지에 대하여 디코드를 진행하는 것을 통하여 2차원 패널상의 픽셀이 단일 카메라의 이미지 평면 위에서 어디에 위치하는지 알 수 있다. 2차원 패널상의 픽셀과 제1 이미지를 촬영한 단일 카메라의 이미지 평면의 픽셀 위치에 대한 대응관계에 근거하여, 단일 카메라에 대한 모션 파라미터를 획득할 수 있다. 모션 파라미터는 예를 들면, 회전 파라미터와 평행이동 파라미터이다. 모션 파라미터는 일실시예가 속하는 기술분야에서 알려진 다양한 방법으로 획득할 수 있으므로, 구체적인 방법은 기술하지 않는다.Based on the correspondence relationship between the pixel points of the first image and the pixels on the two-dimensional panel, a relationship between the pixels on the two-dimensional panel and the virtual image plane of a single camera (e.g., the image plane on the image sensor) The corresponding relationship of the points of < / RTI > In other words, by proceeding to decode the first image, we can know where the pixels on the two-dimensional panel are located on the image plane of a single camera. A motion parameter for a single camera can be obtained based on a correspondence relationship between the pixel on the two-dimensional panel and the pixel position of the image plane of the single camera that photographed the first image. The motion parameters are, for example, rotation parameters and translation parameters. The motion parameters can be obtained by various methods known in the art to which an embodiment belongs, and therefore, no specific method is described.

오차 추정부(120)는 2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대하여, 마이크로 렌즈 어레이의 설계위치와 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나타내는 오차 모델을 생성하고, 오차 모델을 최적화함으로써 오차를 추정한다. 구체적으로 디스플레이 오차를 추정하는 방법은, 아래 도 2 및 도 3을 참조하여 설명한다.
The error estimating unit 120 generates an error model indicating an error between the design position of the microlens array and the actual position of the microlens array for the microlens array located on one side of the two-dimensional panel, and optimizing the error model Estimate the error. A method of estimating the display error will be described below with reference to FIGS. 2 and 3. FIG.

도 2는 일실시예에 따른 디스플레이 오차 보정 장치의 오차 추정부의 세부 블록도로서, 오차 추정부는 미리 설정된 초기 오차 파라미터 값으로 초기 오차 모델을 먼저 생성하고, 제1 이미지의 임의의 한점에 대하여 2차원 패널에 매핑되는 대응되치에 따라 초기 오차 파라미터 값을 갱신함으로써 오차 모델을 최적화하게 된다. 도 1의 오차 추정부(120)는 대응위치 확정부(121), 제1 매핑위치 확정부(122), 제2 매핑위치 확정부(123) 및 최적화부(124)를 포함한다.
FIG. 2 is a detailed block diagram of an error estimator of a display error correction apparatus according to an exemplary embodiment of the present invention. The error estimator generates an initial error model with a predetermined initial error parameter value, The error model is optimized by updating the initial error parameter values according to the corresponding recesses mapped to the panel. The error estimation unit 120 of FIG. 1 includes a corresponding position determination unit 121, a first mapping position determination unit 122, a second mapping position determination unit 123, and an optimization unit 124.

도 3은 일실시예에 따라 디스플레이 오차를 보정하기 위한 단일 카메라(301), 2차원 패널(302) 및 마이크로 렌즈 어레이(303)의 관계를 나타낸 개념도이다. 도 3에서 마이크로 렌즈 어레이의 실제 위치를 계산함으로써 오차를 추정할 수 있다.3 is a conceptual diagram showing the relationship between a single camera 301, a two-dimensional panel 302 and a microlens array 303 for correcting a display error according to an embodiment. In Fig. 3, the error can be estimated by calculating the actual position of the microlens array.

도 2를 참조하면, 대응위치 확정부(121)는 먼저 초기 오차 파라미터에 근거하여 마이크로 렌즈의 위치(도 3에서 Lc로 표시)를 계산한다. 이때 위치(Lc)는 마이크로 렌즈의 설계위치에 해당한다. 오차 파라미터（φ）는 마이크로 렌즈의 실제 위치와 설계위치에 대한 위치 차이를 의미하고, 오차 모델은 이와 같은 오차 파라미터로 마이크로 렌즈의 설계위치에 대한 마이크로 렌즈의 실제위치의 오차를 나타낸 함수이다.Referring to FIG. 2, the corresponding position determining unit 121 first calculates the position (indicated by L c in FIG. 3) of the microlens based on the initial error parameter. At this time, the position (L c ) corresponds to the design position of the microlens. The error parameter (φ) represents the positional difference between the actual position and the design position of the microlens, and the error model is a function representing the error of the actual position of the microlens relative to the design position of the microlens with the error parameter.

수학식 1은 마이크로 렌즈의 실제 위치를 표시한 것으로 마이크로 렌즈의 설계 위치 및 오차 모델을 이용하여 정의할 수 있다.Equation (1) represents the actual position of the microlens and can be defined using the design position and error model of the microlens.

Figure pat00001
Figure pat00001

수학식 1에서 [xij, yij, zij]T는 마이크로 렌즈의 실제위치의 3차원 좌표를 나타낸다. [x'ij, y'ij, z'ij]T는 마이크로 렌즈의 설계위치의 3차원 좌표를 나타내고, [e(x) ij, e(y) ij, e(z) ij]T는 마이크로 렌즈의 실제위치의 3차원 좌표와 설계위치의 3차원 좌표 사이의 오차를 나타낸다.[X ij , y ij , z ij ] T in Equation (1) represents the three-dimensional coordinates of the actual position of the microlens. [x 'ij, y' ij , z 'ij] T denotes a 3D coordinates of the design positions of the microlenses, [e (x) ij, e (y) ij, e (z) ij] T is a microlens Dimensional coordinate of the actual position of the design position and the three-dimensional coordinate of the design position.

[e(x) ij, e(y) ij, e(z) ij]T에서 서로 다른 유형의 오차에 대해서는 서로 다른 오차 모델을 사용함으로써 전체 계산량을 줄일 수 있다. The total amount of computation can be reduced by using different error models for different types of errors in [e (x) ij , e (y) ij , e (z) ij ] T.

예를 들면, 2차원 패널에 대하여 마이크로 렌즈 어레이의 설계 위치 및 실제 위치에 대한 오차를 하나의 2차원 평면내의 회전각도 θ와 평행이동 벡타[tx, ty]로 표시 할 수 있다. 렌즈 어레이에서 각 렌즈의 중심 좌표를 기준으로 수학식 2와 같이 오차를 정의할 수 있다.For example, with respect to a two-dimensional panel, an error between a design position and an actual position of the microlens array can be expressed as a rotation angle? And a parallel motion vector [tx, ty] in one two-dimensional plane. An error can be defined as shown in Equation 2 based on the center coordinates of each lens in the lens array.

Figure pat00002
Figure pat00002

수학식 2와 같이 오차 파라미터 φ는 회전각도 θ와 평행이동 벡타 [tx, ty ]를 포함하여 정의할 수 있다.As shown in Equation (2), the error parameter φ can be defined by including the rotation angle θ and the translation vector [tx, ty].

일실시예에서 렌즈 어레이에 휨현상(Warping phenomenon)이 존재한다고 가정하면 렌즈 어레이의 렌즈 빛 중심은 한 개 평면상에 놓이지 않는다. 이러한 상황에서, 수학식 3과 같이 하나의 타원 방사상 왜곡 모델(radial distortion model)을 이용하여 Z방향의 오차변화를 정의할 수 있다.Assuming that there is a warping phenomenon in the lens array in one embodiment, the lens light center of the lens array does not lie on one plane. In this situation, it is possible to define an error change in the Z direction using an elliptic radial distortion model as shown in Equation (3).

Figure pat00003
Figure pat00003

수학식 3에서 [x0, y0]는 방사상 왜곡 중심의 수평면에서의 위치를 나타내고, [a, b, c, d ]는 렌즈 어레이 왜곡형태의 파라미터를 나타낸다. 여기서, 오차 파라미터 φ 는 [x0, y0, a, b, c, d ] 가 된다.[X 0 , y 0 ] in Equation 3 represents the position in the horizontal plane of the radial distortion center, and [a, b, c, d] represents the parameter of the lens array distortion type. Here, the error parameter φ is [x 0 , y 0 , a, b, c, d].

한편, 오차 모델에 대한 수학식 2 및 3은 일실시예에 관한 수식으로써, 오차 모델은 다른 방법으로 정의할 수 있기 때문에 수학식 2 및 3에 의해 실시예들의 오차 모델이 한정되어 해석되어서는 안 된다.Equations 2 and 3 for the error model are mathematical expressions for one embodiment. Since the error model can be defined by another method, the error models of the embodiments are not limited to be interpreted by Equations 2 and 3 do.

대응위치 확정부(121)는 마이크로 렌즈의 위치를 기준으로 대응위치를 확정할 수 있다. 이때 일실시예에서 마이크로 렌즈의 위치는 마이크로 렌즈의 중심 좌표로 나타낼 수 있다. 구체적으로 단일 카메라와 마이크로 렌즈 어레이의 사이에 존재하는 가상의 이미지 평면에 대하여, 제1 이미지의 임의의 점이 각 마이크로 렌즈와 단일 카메라의 중심 위치에 의해 이미지 평면 위에 대응되는 점을 대응위치(도3에서 Ic로 표시)로써 결정할 수 있다.The corresponding position determination unit 121 can determine the corresponding position based on the position of the microlens. In this case, the position of the microlens may be represented by the center coordinates of the microlens. Specifically, with respect to a virtual image plane existing between a single camera and a micro lens array, a point at which any point of the first image corresponds to the image plane by the center position of each micro lens and a single camera is referred to as a corresponding position Lt ; RTI ID = 0.0 > I c ). ≪ / RTI >

도 3을 참조하면, 모션 파라미터 값을 기초로 단일 마케라(301)의 중심좌표 Oc를 확정하고, 마이크로 렌즈(303)의 설계위치 Lc를 단일 카메라의 가상의 이미지 평면에 투영하는 것을 통하여 제1 이미지에 대한 마이크로 렌즈의 대응위치 Ic (즉, 이미지 평면에서 위치)를 얻을 수 있다. 다시 말해서, 마이크로 렌즈 위치 Lc와 단일 카메라의 중심 위치 Oc에 대한 연결선이 이미지 평면과 만나는 교점이 대응위치 Ic 가 된다.Referring to FIG. 3, the center coordinates O c of the single markers 301 are determined based on the motion parameter values, and the design position L c of the microlenses 303 is projected onto a virtual image plane of a single camera A corresponding position I c of the microlens (i.e., position in the image plane) with respect to the first image can be obtained. In other words, the intersection point where the connecting line for the microlens position L c and the center position O c of the single camera meet the image plane is the corresponding position I c .

제1 매핑위치 확정부(122)는 제1 이미지의 각 픽셀점과 2차원 패널(302)의 픽셀점의 대응관계를 분석하여 대응위치가 2차원 패널에 매핑되는 제1 매핑위치를 확정한다. 대응관계를 분석하는 것은 제1 이미지에 대한 디코드를 수행함으로써 할 수 있다. 이때 2차원 패널(302) 상에서 대응위치 Ic가 매핑되는 위치는 제1 매핑위치 PSL(c; φ)로 나타낼 수 있다. 즉, 제1 이미지의 임의의 점에 대하여 2차원 패널에 디스플레이 되는 점의 좌표를 확정하는 것이다.The first mapping position determination unit 122 analyzes the correspondence relationship between each pixel point of the first image and the pixel point of the two-dimensional panel 302 to determine a first mapping position where the corresponding position is mapped to the two-dimensional panel. Analyzing the mapping can be done by performing a decoding on the first image. At this time, a position at which the corresponding position I c is mapped on the two-dimensional panel 302 may be represented by a first mapping position P SL (c; That is, the coordinate of the point displayed on the two-dimensional panel is determined for any point of the first image.

제2 매핑위치 확정부(123)는 단일 카메라(301)의 중심 위치와 대응위치와의 연결선이 2차원 패널(302)에 매핑되는 위치를 제2 매핑위치로 확정한다. 다시 말해, 모션 파라미터 및 마이크로 렌즈의 위치 Lc에 기초하여 대응위치 Ic가 2차원 패널에서 위치하는 좌표를 제2 매핑위치 Pp(c; φ)로 나타낸다.The second mapping position determination unit 123 determines a position at which a connection line between the center position of the single camera 301 and the corresponding position is mapped to the two-dimensional panel 302 as a second mapping position. In other words, the coordinates at which the corresponding position I c is located in the two-dimensional panel, based on the motion parameter and the position L c of the microlens, is denoted by the second mapping position P p (c;

다음으로, 최적화부(124)는 제1 매핑위치와 제2 매칭위치 사이의 위치 차이에 따라 오차 모델을 최적화한다. 구체적으로 제1 매핑위치와 제2 매핑위치의 위치 차이는 둘 사이의 거리가 될 수 있으며, 거리를 이용하여 초기 오차 파라미터를 최적화할 수 있다. 일실시예에서는 마이크로 렌즈 어레이 중 하나 이상의 각 마이크로 렌즈에 대해서 제1 매핑위치와 제2 매핑위치 사이의 거리를 계산하고, 계산한 거리의 합이 최소가 되는 경우 초기 오차 파라미터가 최적화되었다고 보는 것이다.Next, the optimizing unit 124 optimizes the error model according to the position difference between the first mapping position and the second matching position. Specifically, the positional difference between the first mapping position and the second mapping position can be a distance between the two, and the distance can be used to optimize the initial error parameter. In one embodiment, the distance between the first mapping position and the second mapping position is calculated for each microlens of at least one of the microlens arrays, and the initial error parameter is optimized when the sum of the calculated distances is minimized.

마이크로 렌즈 어레이 중 하나 이상의 각 마이크로 렌즈에 대한 거리의 합은 아래 수학식 4와 같이 표현할 수 있다.The sum of the distances to at least one of the microlenses in the microlens array can be expressed by Equation (4) below.

Figure pat00004
Figure pat00004

수학식 4에서 CC는 마이크로 렌즈의 중심 위치를 나타낼 수 있다. 이때 마이크로 렌즈는 마이크로 렌즈 어레이에 포함된 하나 이상이 될 수 있으므로 마이크로 렌즈 어레이의 부분 집합이라 볼 수 있다. Pp (c; φ)는 제2 매핑위치로써, 오차 파라미터 φ와 마이크로 렌즈의 위치 Lc, 마이크로 렌즈의 중심 좌표 c로 표현될 수 있고, PSL(c; φ)은 제1 매핑위치로써, 역시 오차 파라미터 φ와 마이크로 렌즈의 위치 Lc, 마이크로 렌즈의 중심 좌표 c로 표현될 수 있다. (Pp (c; φ) - PSL (c; φ))2는 제2 매핑위치 Pp (c; φ)와 제1 매핑위치 PSL (c; φ) 사이의 거리를 나타낸다.In Equation (4), CC denotes the center position of the microlens. At this time, the microlenses may be at least one included in the microlens array, and thus can be regarded as a subset of the microlens array. The second mapping position P p (c; φ) can be expressed by the error parameter φ, the position L c of the microlens, and the center coordinate c of the microlens, and P SL (c; φ) , It can also be expressed by the error parameter φ, the position L c of the microlens, and the center coordinate c of the microlens. The distance between; (φ c) -; ( PSL (c φ);; φ) P p (c) 2 is the second map position P p (φ c) of the first mapping position P SL.

E（φ）를 최소화하여 오차 파라미터 φ를 최적화할 수 있다. 예를 들면, 유전계산법(genetic algorithm) 등 계발식 비선형 최적화 계산법(Heuristic nonlinear oprimization algorithm)을 이용하여 φ의 전체 최적 해를 얻을 수 있다.E (φ) can be minimized to optimize the error parameter φ. For example, a total optimization of φ can be obtained by using a heuristic nonlinear optimization algorithm such as a genetic algorithm.

최적화된 오차 파라미터에 따라 마이크로 어레이의 오차 값을 최종적으로 계산하여 오차를 추정할 수 있다. 최적화 후의 오차 값을 마이크로 렌즈의 실제위치와 설계위치의 상대 오차 모델(예를 들면, 식(1), (2), 또는 (3))에 대입하여 마이크로 렌즈의 실제위치를 계산하는 것이다.
The error can be estimated by finally calculating the error value of the microarray according to the optimized error parameter. (1), (2), or (3)) between the actual position of the microlens and the design position to calculate the actual position of the microlens.

다른 일실시예에서는, IID 영상을 촬영한 이미지에 대한 디스플레이 오차를 보정한 이미지를 렌더링하여 도시하는 디스플레이 장치가 제공된다. 도 4는 다른 일실시예에 따른 디스플레이 장치의 블록도이다. 디스플레이 장치는 이미지 획득부(410), 오차 추정부(420) 및 렌더링부(430)를 포함한다.In another embodiment, there is provided a display device that renders and displays an image obtained by correcting a display error of an image obtained by photographing an IID image. 4 is a block diagram of a display device according to another embodiment. The display apparatus includes an image obtaining unit 410, an error estimating unit 420, and a rendering unit 430.

이미지 획득부(410)는 단일 카메라가 IID 영상을 촬영한 제1 이미지를 획득한다. 획득한 제1 이미지의 디코딩을 통해 제1 이미지의 각 픽셀 점과 2차원 패널의 픽셀 점의 대응 관계를 알 수 있다.The image acquiring unit 410 acquires a first image in which a single camera has photographed the IID image. Through the decoding of the acquired first image, the corresponding relationship between each pixel point of the first image and the pixel point of the two-dimensional panel can be known.

오차 추정부(420)은 2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대해서, 마이크로 렌즈 어레이의 설계위치와 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나타내는 오차 모델을 최적화함으로써 설계위치와 실제위치 사이의 오차를 추정할 수 있다. 오차 추정부(420)는 대응위치 확정부, 제1 매핑위치 확정부, 제2 매핑위치 확정부 및 최적화부를 포함하는데, 이는 도 2의 각 구성과 대응되어 설명될 수 있다. 구체적으로 대응위치 확정부는 단일 카메라와 마이크로 렌즈 어레이의 사이에 존재하는 가상의 이미지 평면에 대하여, 제1 이미지의 임의의 점이 각 마이크로 렌즈와 단일 카메라의 중심 위치에 의해 이미지 평면 위에 대응되는 대응위치를 결정할 수 있다. 도 3을 참조하면, 각 마이크로 렌즈 위치 즉, 여기서는 설계위치를 말한다. Lc와 단일 카메라의 중심 위치 Oc에 의해 가상의 이미지 평면 위에 대응위치 Ic를 결정할 수 있다.The error estimating unit 420 optimizes the error model indicating the error between the design position of the microlens array and the actual position of the microlens array for the microlens array located on one side of the two-dimensional panel, Can be estimated. The error estimating unit 420 includes a corresponding position determining unit, a first mapping position determining unit, a second mapping position determining unit, and an optimizing unit, which can be described in correspondence with the respective configurations of FIG. Specifically, the corresponding position determination section determines, for a virtual image plane existing between the single camera and the microlens array, that a certain point of the first image corresponds to the corresponding position on the image plane by the center position of each microlens and the single camera You can decide. Referring to FIG. 3, each microlens position, that is, a design position, is referred to. The corresponding position I c can be determined on the imaginary image plane by L c and the center position O c of the single camera.

제1 매칭위치 확정부는, 제1 이미지의 각 픽셀점과 2차원 패널의 픽셀점의 대응관계를 분석하여 대응위치 Ic가 2차원 패널에 매핑되는 제1 매핑위치 PSL (c; φ)를 확정할 수 있다. 이때 φ는 초기 오차 파라미터이고, c는 마이크로 렌즈의 중심 위치이다. 제2 매핑위치 확정부는, 단일 카메라의 중심 위치 Oc와 대응위치 Ic와의 연결선이 2차원 패널에 매핑되는 위치를 제2 매핑위치 Pp (c; φ)로 확정할 수 있다. 역시 φ는 초기 오차 파라미터이고, c는 마이크로 렌즈의 중심 위치이다. 최적화부는 제1 매핑위치와 제2 매핑위치 사이의 위치 차이, 즉 거리 등에 따라 오차 모델을 최적화할 수 있다. 일실시예에서 오차 모델은 제1 매핑위치와 제2 매핑위치 사이의 거리가 최소가 되도록 오차 파라미터 값을 갱신하여 최적화할 수 있다.The first matching position determination unit analyzes the corresponding relationship between each pixel point of the first image and the pixel point of the two-dimensional panel to determine a first mapping position P SL (c; φ) at which the corresponding position Ic is mapped to the two- can do. Where? Is the initial error parameter and c is the center position of the microlens. The second mapping position determination unit can determine a position at which the connecting line between the center position Oc of the single camera and the corresponding position Ic is mapped to the two-dimensional panel, as the second mapping position P p (c; Also, phi is the initial error parameter and c is the center position of the microlens. The optimizer may optimize the error model according to the position difference between the first mapping position and the second mapping position, i.e., the distance. In one embodiment, the error model can be optimized by updating the error parameter value such that the distance between the first mapping position and the second mapping position is minimized.

마이크로 렌즈에 대한 오차 값을 계산한 다음, 렌더링부(430)는 마이크로 렌즈 어레이의 오차에 따라 제1 이미지에 대하여 EIA(Elemental Image Array) 방식의 제2 이미지를 렌더링한다. 마이크로 렌즈 어레이의 오차에 따라 산출된 각 마이크로 렌즈의 실제위치에 기초하여 생성된 광선 모델에 따라 제2 이미지를 렌더링할 수 있다. 렌더링부(430)가 제2 이미지를 렌더링하는 구체적인 내용은 도 5 및 도 6을 참조하여 상세히 설명한다.
After calculating the error value for the microlens, the rendering unit 430 renders the second image of the EIA (Elemental Image Array) method on the first image according to the error of the microlens array. The second image can be rendered according to the light ray model generated based on the actual position of each microlens calculated according to the error of the microlens array. The details of rendering the second image by the rendering unit 430 will be described in detail with reference to FIGS. 5 and 6. FIG.

도 5는 다른 일실시예에 따른 디스플레이 장치의 렌더링부의 세부 블록도이다. 렌더링부(430)는 위치확정부(431), 광선모델 생성부(432) 및 EIA 렌더링부(433)를 포함한다.5 is a detailed block diagram of a rendering unit of a display device according to another embodiment. The rendering unit 430 includes a position determination unit 431, a light ray model generation unit 432, and an EIA rendering unit 433.

위치확정부(431)는 마이크로 렌즈 어레이의 오차에 기초하여 각 마이크로 렌즈의 실제위치를 계산한다. 예를 들면, 상술한 수학식 1에 근거하여 마이크로 렌즈의 실제위치를 계산할 수 있다.The position determining unit 431 calculates the actual position of each microlens based on the error of the microlens array. For example, the actual position of the microlens can be calculated based on the above-described equation (1).

다음으로, 광선모델 생성부(432)는 각 마이크로 렌즈의 실제위치에 기초하여 2차원 패널의 각 픽셀에 대응되는 3차원 광선을 나타내는 광선 모델을 생성한다. 광선 모델은 EIA 이미지를 렌더링 할 때 필요한 것으로, 2차원 패널상의 각 픽셀을 3차원 공간에서 하나의 광선으로 매핑하는 역할을 한다. 마이크로 렌즈 위치에 오차가 존재 할 때, 디폴트(default)로 생성된 광선모델은 EIA 이미지를 정확하게 렌더링할 수 없기 때문에 마이크로 렌즈의 실제 위치에 따라 광선 모델을 생성하는 것이 필요하다. 광선 모델을 생성하는 과정은 도 6을 참조하여 아래에서 상세히 설명한다.Next, the light-ray model generation unit 432 generates a light-ray model representing three-dimensional light rays corresponding to the respective pixels of the two-dimensional panel based on the actual positions of the respective microlenses. The ray model is needed to render an EIA image, and maps each pixel on a 2D panel to a single ray in three-dimensional space. When there is an error in the position of the microlens, it is necessary to generate the ray model according to the actual position of the microlens since the default generated ray model can not accurately render the EIA image. The process of generating a ray model is described in detail below with reference to FIG.

EIA 렌더링부(433)은 광선 모델을 이용하여 제1 이미지에 대하여 EIA 방식의 제2 이미지를 렌더링한다.
The EIA rendering unit 433 renders the second image of the EIA scheme on the first image using the light ray model.

도 6은 다른 일실시예에 따른 디스플레이 장치가 렌더링하는 과정을 나타낸 개념도이다. 특히, 렌더링 과정 중에서 광선 모델을 생성하는 과정을 나타낸다. 그리고 도 7은 다른 일실시예에 따른 디스플레이 장치의 광선모델 생성부의 세부 블록도이다. 도 5의 광선모델 생성부(432)는 초기화부(710), 갱신부(720) 및 방향묘사부(730)를 포함한다.FIG. 6 is a conceptual diagram illustrating a process of rendering by a display device according to another embodiment. In particular, we show the process of creating a ray model in the rendering process. And FIG. 7 is a detailed block diagram of a light-ray model generation unit of the display device according to another embodiment. 5 includes an initialization unit 710, an update unit 720, and a directional description unit 730. The initialization unit 710, the update unit 720,

초기화부(710)는 2차원 패널의 픽셀과 마이크로 렌즈 어레이의 각 마이크로 렌즈의 대응관계를 초기화한다. 미리 설정된 값으로 대응관계를 초기화할 수 있으며, 예를 들면 초기화 할 때, 2차원 패널의 각각의 픽셀을 예정 마이크로 렌즈에 매핑하고 초기표시부호를 통하여 예정 마이크로 렌즈를 표시하면서 초기화할 수 있다. 초기표시부호는 각각의 마이크로 렌즈의 표시부호와 다른 표시부호여야 한다.The initialization unit 710 initializes the corresponding relationship between the pixels of the two-dimensional panel and the respective microlenses of the microlens array. It is possible to initialize the correspondence relationship with a preset value. For example, at the time of initialization, each pixel of the two-dimensional panel can be mapped to the predetermined microlens and initialized while displaying the predetermined microlens through the initial display code. The initial designation code must be a different designation code from that of each microlens.

예시적으로 아래의 방식을 통해 2차원 패널의 픽셀과 마이크로 렌즈의 매핑 관계를 표시할 수 있다. 2차원 패널의 한 개 픽셀의 좌표를 (m, n)이라 가정하면, 각 픽셀에서 마이크로 렌즈에 대한 매핑은 표시부호: (S(m,n),T(m,n),G(m,n))로 표시한다. S(m,n),T(m,n),G(m,n)은 각각 픽셀에서 매핑 된 마이크로 렌즈의 중심에 대한 x, y, z축에서의 좌표 값이다. 만약 (S(m,n)=0,T(m,n)=0,G(m,n)=0)인 마이크로 렌즈가 존재하지 않는다고 가정할 때, (0, 0, 0)을 초기 표기부호로 할 수 있다. 이때, 초기화를 통해 각각의 픽셀로 매핑된 마이크로 렌즈의 중심 좌표는 (0, 0, 0)가 되는 것이다. 이 외에, 번호 등 기타 방식의 표시부호를 통하여 2차원 패널과 마이크로 렌즈의 매핑 관계를 표시할 수 있다.Illustratively, a mapping relationship between a pixel and a microlens of a two-dimensional panel can be displayed in the following manner. (M, n), T (m, n), G (m, n), the mapping for each microlens at each pixel is represented by n)). S (m, n), T (m, n) and G (m, n) are coordinate values in the x, y and z axes of the center of the microlens mapped in the pixel, respectively. Assuming that there is no microlens (S (m, n) = 0, T (m, n) = 0 and G (m, n) = 0), (0, 0, 0) It can be written as a code. At this time, the center coordinates of the microlenses mapped to respective pixels through initialization are (0, 0, 0). In addition to this, the mapping relationship between the two-dimensional panel and the microlens can be displayed through other types of display codes such as numbers.

갱신부(720)는 제1 이미지의 임의의 한 점을 2차원 패널에 투영시킨 점을 이용하여 각 마이크로 렌즈마다 대응관계를 갱신한다. 대응관계를 갱신하는 것은 도 6 및 도 8을 참조하여 상세히 설명한다. 도 6에서는, 2차원 패널(601), 마이크로 렌즈 어레이(602), 및 제1 이미지(603 또는 제1 관찰점이 포함된 관찰면)을 도시하고 있다.The updating unit 720 updates the corresponding relationship for each microlens by using a point projected on a two-dimensional panel at an arbitrary point of the first image. Updating the correspondence is described in detail with reference to Figs. 6 and 8. Fig. 6 shows a two-dimensional panel 601, a microlens array 602, and a first image (observation surface including 603 or the first observation point).

도 8은 도 7의 광선모델 생성부의 갱신부(720)에 대한 세부 블록도이다. 갱신부(720)는 투영부(721), 윈도우 구성부(722) 및 로컬 갱신부(723)를 포함하고, 2차원 패널과 마이크로 렌즈의 대응관계를 나타내는 광선모델의 값을 갱신하는 역할을 한다.8 is a detailed block diagram of the update unit 720 of the light ray model generation unit of FIG. The update unit 720 includes a projection unit 721, a window construction unit 722, and a local update unit 723, and plays a role of updating values of a light ray model indicating a correspondence relationship between the two- .

투영부(721)는 제1 이미지에 속하는 임의의 제1 관찰점이 특정 마이크로 렌즈를 통해 2차원 패널에 투영된 제1 투영점을 획득한다. 도 6를 참조하여 설명하면, 제1 이미지 또는 관찰면(603)에 속하는 임의의 제1 관찰점(Vc)가 마이크로 렌즈 어레이 (602) 중 특정 마이크로 렌즈 H(j)를 통해 2차원 패널(601)에 투영된 제1 투영점 T1을 획득할 수 있다.The projection unit 721 acquires a first projection point at which any first observation point belonging to the first image is projected onto the two-dimensional panel through the specific microlens. 6, an arbitrary first observation point V c belonging to the first image or observation plane 603 is projected through a specific microlens H (j) of the microlens array 602 to a two-dimensional panel 601 to obtain a first projection point T 1 .

윈도우 구성부(722)는 2차원 패널에서 제1 투영점을 중심으로 소정 크기의 윈도우(window)를 형성한다. 윈도우는 다양한 형태를 가질 수 있으며, 예를 들어 원형, 구형, 정사각형, 직사각형 등이 될 수 있다. 도 6에서는, 제1 투영점 T1을 중심으로 픽셀 7개를 포함하는 직사각형의 윈도우 W를 형성하였다.The window construction unit 722 forms a window having a predetermined size around the first projection point in the two-dimensional panel. A window can have various shapes, for example, a circle, a sphere, a square, a rectangle, and the like. 6, a rectangular window W including seven pixels around the first projection point T 1 is formed.

일실시예에서, 윈도우의 변의 길이는 아래 수학식 5와 같이 정의할 수 있다.In one embodiment, the length of the side of the window can be defined as: < EMI ID = 5.0 >

Figure pat00005
Figure pat00005

p는 마이크로 렌즈의 크기(예를 들어, 마이크로 렌즈의 직경), D는 예정 관찰점에서 2차원 패널까지 거리, s는 2차원 패널 픽셀의 물리적 치수(예를 들어, 정사각형 픽셀의 변의 길이), g는 마이크로 렌즈 어레이의 설계위치와 2차원 패널 사이의 거리 값이다.p is the size of the microlens (e.g., diameter of the microlens), D is the distance from the predetermined observation point to the 2D panel, s is the physical dimension of the 2D panel pixel (e.g., the length of the sides of the square pixel) g is the design position of the microlens array and the distance between the two-dimensional panel.

로컬 갱신부(723)는 2차원 픽셀 위의 윈도우를 이용하여 윈도우 내의 각 픽셀로 매핑되는 마이크로 렌즈에 대한 갱신을 수행한다. 보다 상세히 설명하자면, 로컬 갱신부(723)는 초기 대응관계와 동일한지 확인하는 확인부(723-1)와 초기 대응관계와 일치하지 않는 경우 제2 투영점 및 제3 투영점을 계산하는 픽셀 투영부(723-2), 제2 투영점 및 제3 투영점을 이용하여 대응관계를 갱신하는 매핑갱신부(723-3)을 포함한다.The local update unit 723 updates the microlens mapped to each pixel in the window using the window on the two-dimensional pixel. More specifically, the local update unit 723 includes a confirmation unit 723-1 for confirming whether the initial correspondence is the same as the initial correspondence relationship, and a pixel projection unit 723-1 for calculating the second projection point and the third projection point, And a mapping update unit 723-3 that updates the corresponding relationship using the second projection point and the third projection point.

확인부(723-1)는 제1 투영점을 획득하게 한 특정 마이크로 렌즈가 초기화된 대응관계에 따른 것인지 확인한다. 즉, 도 6에서 제1 관찰점 Vc는 마이크로 렌즈 H(j)를 통해 2차원 패널의 제1 투영점 T1으로 투영된다. 이때 확인부(723-1)는 2차원 패널의 픽셀 중 제1 투영점 T1과 마이크로 렌즈 어레이 H(j)가 초기화된 대응관계에서 매핑된 관계인지 확인하게 된다. 그리고 초기화된 대응관계와 일치하지 않은 경우 윈도우를 구성하는 픽셀 중 어느 한 픽셀인 제1 픽셀에 대해서 두 개의 투영점을 획득한다. 윈도우는 다양한 형태로 하나 이상의 픽셀을 포함하고 있기 때문에 제1 픽셀은 윈도우 내 임의의 픽셀에 해당한다.The confirmation unit 723-1 confirms whether the specific microlens for acquiring the first projection point is in accordance with the initialized corresponding relationship. That is, in FIG. 6, the first observation point Vc is projected to the first projection point T1 of the two-dimensional panel through the microlens H (j). At this time, the confirmation unit 723-1 confirms whether the first projection point T1 of the pixels of the two-dimensional panel and the microlens array H (j) are mapped in the initialized corresponding relationship. And acquires two projection points for the first pixel, which is one of the pixels constituting the window, if the initial correspondence does not match. Because the window contains one or more pixels in various forms, the first pixel corresponds to any pixel in the window.

구체적으로, 픽셀투영부(723-2)는 먼저 제1 픽셀에 대해서 초기화된 대응관계, 즉 2차원 패널의 픽셀과 마이크로 렌즈와 초기화된 대응관계에 따라 제1 픽셀을 제1 이미지를 포함하는 관찰면에 투영시켜 제2 투영점을 획득한다. 예시적으로 도 6에서는 제1 픽셀이 윈도우 W의 첫 번째 픽셀이고, 초기화된 대응관계에 따라 제1 픽셀을 마이크로 렌즈 H(i)를 통해 관찰면에 투영시킨 제2 투영점으로 P1을 얻을 수 있다. 다음으로, 특정 마이크로 렌즈, 즉 제1 관찰점 Vc을 제1 투영점 T1으로 투영시키게 한 마이크로 렌즈 H(j)를 이용하여 윈도우의 제1 픽셀을 제1 이미지(관찰면)에 투영시켜 제3 투영점으로 P2를 얻을 수 있다.Specifically, the pixel projection unit 723-2 firstly updates the first pixel to the observation that includes the first image, according to the correspondence relationship initialized for the first pixel, that is, the correspondence relationship between the pixels of the two- Plane to obtain a second projection point. Illustratively, in FIG. 6, the first pixel is the first pixel of window W and P 1 is obtained as a second projection point that projects the first pixel on the observation surface through the microlens H (i) according to the initialized correspondence relationship . Next, the first pixel of the window is projected onto the first image (observation plane) using a specific microlens, that is, the microlens H (j) which causes the first observation point V c to be projected to the first projection point T 1 P 2 can be obtained as the third projection point.

매핑 갱신부(723-3)는 두 개의 투영점을 이용하여 마이크로 렌즈와 2차원 패널의 픽셀 간의 대응관계를 갱신할 수 있다. 제2 투영점과 제1 관찰점 사이를 제1 거리라고 하고, 제3 투영점과 제1 관찰점 사이를 제2 거리라고 할 때, 제1 거리가 제2 거리보다 크거나 같은 경우 제1 투영점에 대한 2차원 패널의 픽셀에 대응되는 마이크로 렌즈를 특정 마이크로 렌즈로 갱신한다. 즉, 제1 투영점에 해당하는 2차원 패널의 픽셀과 제1 관찰점을 제1 투영점에 이르게 한 해당 마이크로 렌즈를 대응시키는 것이다.The mapping update unit 723-3 can update the correspondence between the microlenses and the pixels of the two-dimensional panel using the two projection points. And a first distance between the second projection point and the first observation point is referred to as a first distance and a distance between the third projection point and the first observation point is defined as a second distance, The micro lens corresponding to the pixel of the two-dimensional panel with respect to the point is updated with a specific micro lens. That is, the pixels of the two-dimensional panel corresponding to the first projection point and the corresponding microlens that leads the first observation point to the first projection point are associated with each other.

예시적으로, 도 6에서는 제1 거리는 |Vc - P1|가 되고, 제 2 거리는 |Vc - P2|가 된다. 아래 수학식 6의 부등식을 만족하는 경우 대응관계를 갱신하게 된다.Illustratively, in FIG. 6, the first distance is | V c - P 1 | and the second distance is | V c - P 2 |. If the inequality (6) is satisfied, the corresponding relationship is updated.

Figure pat00006
Figure pat00006

제1 거리가 제2 거리보다 크거나 같은 경우, 제1 투영점 T1에 대응하는 2차원 픽셀에 대한 대응관계의 마이크로 렌즈를 H(j)로 갱신한다. 반대로 제1 거리가 제2 거리보다 작은 경우는 초기화된 대응관계를 유지하게 된다. 매핑 갱신부(723-3)는 이와 같은 방법으로 제1 이미지의 임의의 한점을 제1 관찰점으로 보아, 2차원 패널과 마이크로 렌즈와의 대응관계를 갱신할 수 있다.
If the first distance is greater than or equal to the second distance, the micro lens of the corresponding relationship to the two-dimensional pixel corresponding to the first projection point T1 is updated to H (j) . On the other hand, when the first distance is smaller than the second distance, the initialized correspondence relationship is maintained. In this way, the mapping update unit 723-3 can view any one point of the first image as the first observation point and update the correspondence relationship between the two-dimensional panel and the microlens.

다시 도 7을 참조하면, 방향묘사부(730)는 평형한 두 개의 평면 위의 점을 이용하여 2차원 패널의 픽셀에 대응되는 마이크로 렌즈의 방향을 표시할 수 있다. 즉, 2차원 패널과 마이크로 렌즈는 서로 평행하며 각각 이들 위에 점을 이용하여 2차원 패널에서 3차원 공간으로 나아가는 광선을 결정하는 광선 모델을 생성하게 된다.
Referring again to FIG. 7, the directional description unit 730 can display the direction of the microlens corresponding to the pixels of the two-dimensional panel using points on two flat planes. That is, the two-dimensional panel and the microlens are parallel to each other, and generate a light ray model that determines a ray traveling from the two-dimensional panel to the three-dimensional space using points on the two panels.

도 9는 또 다른 일실시예에 따른 디스플레이 오차 보정 방법의 순서도이다. 또 다른 일실시예에서는, 단일 카메라가 IID 영상을 촬영한 제1 이미지에 대하여 마이크로 어레이로 인한 오차를 보정할 수 있다.9 is a flowchart of a display error correction method according to another embodiment. In yet another embodiment, a single camera may correct errors due to the microarray for a first image of an IID image.

먼저, 단일의 카메라가 IID 영상을 촬영한 제1 이미지를 획득한다(901). 일실시예에서는, 단일 카메라를 이용하여 IID 영상을 촬영하여 무안경식 3차원 이미지를 디스플레이 할 수 있다.First, a single camera acquires a first image of an IID image (901). In one embodiment, an IID image may be imaged using a single camera to display an unsharp 3D image.

2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대하여, 마이크로 렌즈 어레이의 설계위치와 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나태는 오차 모델을 생성한다(902). 오차 모델은 수학식 1과 같이 마이크로 렌즈의 실제위치와 설계위치와의 관계를 이용하여 정의할 수 있으며, 수학식 2 내지 3과 같이 오차 파라미터를 이용하여 표현할 수 있다.For an array of microlenses located on one side of the two-dimensional panel, an error model is generated that delays the error between the design position of the microlens array and the actual position of the microlens array (902). The error model can be defined by using the relationship between the actual position of the microlens and the design position as shown in Equation (1), and can be expressed using error parameters as shown in Equations (2) to (3).

오차 모델을 최적화함으로써 마이크로 렌즈 어레이에 대한 오차를 추정한다(903). 오차를 추정하기 위해서, 미리 설정된 초기 오차 파라미터 값으로 초기 오차 모델을 생성하고, 제1 이미지의 임의의 한 점에 대하여 2차원 패널에 매핑되는 대응위치에 따라 초기 오차 파라미터 값을 갱신하여 오차 모델을 최적화한다. 구체적으로, 오차 모델을 최적화하는 단계는 도 10에서 상세히 설명한다.
The error of the microlens array is estimated by optimizing the error model (903). In order to estimate an error, an initial error model is generated with a predetermined initial error parameter value, and an initial error parameter value is updated according to a corresponding position mapped to the two-dimensional panel for any one point of the first image, Optimize. Specifically, the step of optimizing the error model will be described in detail in Fig.

도 10은 또 다른 일실시예에 따라 디스플레이 오차를 계산하는 과정을 나타낸 순서도이다. 먼저 1001 단계에서, 단일 카메라와 마이크로 렌즈 어레이의 사이에 존재하는 가상의 이미지 평면에 대해서, 제1 이미지의 임의의 점이 각 마이크로 렌즈와 단일 카메라의 중심 위치에 의해 이미지 평면 위에 대응되는 대응위치를 결정한다. 대응위치는 도 3에서 Ic로 표현할 수 있다. 즉, 카메라 중심위치 Oc와 마이크로 렌즈 어레이의 위치 Lc를 연결한 직선이 단일의 카메라에 평행한 이미지 평면과 만나는 교점이 대응위치 Ic가 된다.10 is a flowchart illustrating a process of calculating a display error according to another embodiment of the present invention. First, in step 1001, for a virtual image plane existing between a single camera and a microlens array, an arbitrary point of the first image is determined by a corresponding position on the image plane by the center position of each microlens and a single camera do. The corresponding position can be represented by I c in Fig. That is, the intersection point where the straight line connecting the camera center position O c and the position L c of the microlens array meets the image plane parallel to the single camera is the corresponding position I c .

1002 단계에서는, 제1 이미지의 각 픽셀점과 2차원 패널의 픽셀점의 대응관계를 분석하여 대응위치가 2차원 패널에 매핑되는 제1 매핑위치를 확정한다. 제1 매핑위치 PSL(c; φ)는 오차 파라미터 φ와 마이크로 렌즈 중심 위치 c에 따라 정의되며, 제1 이미지에 대한 디코딩을 수행함으로써 2차원 패널의 픽셀점과의 대응관계를 알 수 있다.In step 1002, the corresponding relationship between each pixel point of the first image and the pixel point of the two-dimensional panel is analyzed to determine a first mapping position where the corresponding position is mapped to the two-dimensional panel. The first mapping position P SL (c; φ) is defined according to the error parameter φ and the microlens center position c, and decoding of the first image is performed so that the corresponding relationship with the pixel point of the two-dimensional panel can be known.

1003 단계에서는, 단일 카메라의 중심 위치와 대응위치와의 연결선이 2차원 패널에 매핑되는 제2 매핑위치를 확정한다. 제2 매핑위치 Pp(c; φ)는 모션 파라미터와 마이크로 렌즈의 위치 Lc에 기초하여 대응위치 Ic가 2차원 패널에 위치하는 좌표를 나타낸다. 오차 파라미터 φ와 마이크로 렌즈 중심 위치 c에 따라 정의된다.In step 1003, a second mapping position where a connection line between the center position of the single camera and the corresponding position is mapped to the two-dimensional panel is determined. Second mapping position P p (c; φ) represents the coordinates corresponding to the location where Ic is a two-dimensional panel, based on position L c of the motion parameters and the microlens. Is defined according to the error parameter phi and the microlens center position c.

제1 매핑위치와 제2 매핑위치가 확정되면, 두 위치 사이의 위치 차이에 따라 오차 모델을 최적화한다. 제1 매핑위치와 제2 매핑위치의 거리를 계산하고, 계산한 거리의 합이 최소가 되는 경우, 초기 오차 파라미터가 최적화되었다고 간주하여 오차 모델을 최적화한다.
When the first mapping position and the second mapping position are determined, the error model is optimized according to the position difference between the two positions. The distance between the first mapping position and the second mapping position is calculated and when the sum of the calculated distances becomes minimum, the initial error parameter is considered to be optimized and the error model is optimized.

또 다른 일실시예에 따른 디스플레이 오차 보정 방법은 마이크로 렌즈 어레이의 오차에 따라 제1 이미지에 대하여 EIA 방식의 제2 이미지를 렌더링하는 단계를 더 포함할 수 있다. 구체적으로 제2 이미지를 렌더링하는 방법은 도 11과 같다. 도 11은 또 다른 일실시예에 따라 디스플레이 오차를 반영하여 렌더링하는 방법을 나타낸 순서도이다.According to still another embodiment, the display error correction method may further include rendering the second image of the EIA scheme with respect to the first image according to the error of the microlens array. Specifically, a method of rendering the second image is shown in FIG. 11 is a flowchart illustrating a method of rendering a display error according to another embodiment.

1101 단계에서는, 마이크로 렌즈 어레이의 오차에 기초하여 각 마이크로 렌즈의 실제위치를 계산한다. 예를 들어, 마이크로 렌즈 어레이의 오차와 마이크로 렌즈의 실제위치, 설계위치에 대한 수학식 1을 이용하여 마이크로 렌즈의 실제위치를 계산할 수 있다.In step 1101, the actual position of each microlens is calculated based on the error of the microlens array. For example, the actual position of the microlens can be calculated using Equation 1 for the error of the microlens array, the actual position of the microlens, and the design position.

1102 단계에서는, 2차원 패널의 각 픽셀에 대응되는 3차원 광선을 나타내는 광선 모델을 생성한다. 광선 모델은 EIA 이미리를 렌더링 할 때 사용되며, 2차원 패널상의 각 픽셀을 3차원 공간에서 하나의 광선으로 매핑하는 역할을 한다. 광선 모델은 2차원 패널의 각 픽셀과 마이크로 렌즈의 대응관계를 초기화하고, 제1 이미지 상의 임의의 점에 대한 2차원 패널에 투영시킨 점을 기초로 대응관계를 갱신하여 생성할 수 있다. 대응관계를 갱신하는 구체적인 방법은 도 12에서 상세히 설명한다.In step 1102, a ray model representing a three-dimensional ray corresponding to each pixel of the two-dimensional panel is generated. The ray model is used to render the EIA image, and maps each pixel on the 2D panel to a single ray in 3D space. The light ray model can be generated by initializing the corresponding relationship between each pixel of the two-dimensional panel and the microlens, and updating the corresponding relationship based on the point projected onto the two-dimensional panel at an arbitrary point on the first image. A specific method of updating the correspondence is described in detail in Fig.

1103 단계에서는, 광선모델을 이용하여 제1 이미지에 대하여 EIA 방식의 제2 이미지를 렌더링한다. 다양한 렌더링 방식에 의해 렌더링을 수행할 수 있으며, EIA 이미지를 렌더링하는 방법은 모두 적용될 수 있다.
In step 1103, the second image of the EIA scheme is rendered with respect to the first image using the ray model. Rendering can be performed by various rendering methods, and any method of rendering an EIA image can be applied.

도 12는 또 다른 일실시예에 따라 마이크로 렌즈의 대응관계를 갱신하는 방법을 나타낸 순서도이다. 또 다른 일실시예에서, 광선 모델을 생성하는 단계는, 2차원 패널의 픽셀과 마이크로 렌즈 어레이의 각 마이크로 렌즈의 대응관계를 초기화하고, 제1 이미지의 임의의 한 점을 2차원 패널에 투영시킨 점을 이용하여 2차원 패널의 픽셀과 마이크로 렌즈의 대응관계를 갱신한다. 평행한 두 개의 평면 위의 점을 이용하여 2차원 패널의 픽셀과 해당 픽셀에 대응되는 마이크로 렌즈의 방향을 표시함으로써 광선 모델을 생성한다. 초기화된 대응관계 값을 기준으로 대응관계를 갱신하는 방법은, 제1 이미지에 속하는 임의의 제1 관찰점이 특정 마이크로 렌즈를 통해 2차원 패널에 투영된 제1 투영점을 획득하고, 2차원 패널에서 제1 투영점을 중심으로 소정 크기의 윈도우를 형성한 후, 윈도우의 각 픽셀로 매핑되는 마이크로 렌즈에 대한 갱신을 수행한다. 이때 윈도우의 각 픽셀로 매핑되는 마이크로 렌즈에 대한 갱신을 수행하는 과정을 도 12를 참조하여 설명한다.12 is a flowchart showing a method of updating a correspondence relationship of microlenses according to another embodiment. In another embodiment, the step of generating a ray model comprises: initializing a correspondence relationship between the pixels of the two-dimensional panel and each microlens of the microlens array, projecting any one point of the first image onto the two-dimensional panel The corresponding relationship between the pixel of the two-dimensional panel and the microlens is updated. A light ray model is generated by displaying the pixels of the two-dimensional panel and the direction of the microlens corresponding to the two-dimensional panel using points on two parallel planes. A method for updating a correspondence relationship based on an initialized corresponding relationship value comprises the steps of: obtaining a first projection point projected on a two-dimensional panel by a first observation point belonging to the first image through a specific microlens; A window of a predetermined size is formed around the first projection point, and then the micro lens that is mapped to each pixel of the window is updated. A process of updating the microlenses mapped to the respective pixels of the window will now be described with reference to FIG.

먼저, 1201 단계에서 제1 투영점 T1을 획득하게 한 특정 마이크로 렌즈 H(j)가 초기화된 대응관계(예를 들어, T1-H(j))에 따른 마이크로 렌즈인지 확인한다. 초기값에 해당한다면, T1-H(j)의 대응관계는 적절한 것으로 마이크로 렌즈에 H(j)를 매핑하고 종료한다. 반대로 대응관계가 초기값에 해당하지 않는 경우, 투영을 하여 두 개의 투영점을 획득한다. 도 6을 참조하여 설명하면, 제1 관찰점 Vc를 특정 마이크로 렌즈 H(j)를 통해 2차원 패널에 투영한 제1 투영점 T1에 대하여, 7개의 픽셀을 포함하는 윈도우 W를 형성하였을 때, 윈도우의 임의의 한 픽셀(도 6에서는 첫 번째 위치한 픽셀)에 대해서 초기화된 대응관계를 이용하여 (첫 번째 픽셀-H(i)) 다시 제1 관찰점 Vc가 위치하는 관찰면(제1 이미지가 될 수 있다)에 투영시킨 점을 제2 투영점 P1으로 얻는다. 다음으로 첫 번째 픽셀을 제1 투영점을 획득하게 한 특정 마이크로 렌즈 H(j)를 통해 관찰면으로 투영시킨 점을 제3 투영점 P2로 얻는다. 제2 투영점 P1과 제3 투영점 P2를 얻고, 다음으로 투영점들과 제1 관찰점과의 거리를 산출한다. 제1 거리는 제2 투영점 P1과 제1 관찰점 Vc 사이의 거리를 나타내고, 제2 거리는 제3 투영점 P2와 제1 관찰점 Vc 사이의 거리를 나타낸다.First, in step 1201, it is confirmed whether the specific microlens H (j) that has obtained the first projection point T 1 is a microlens corresponding to the initialized correspondence relationship (for example, T 1 -H (j) ). If this is the initial value, the correspondence of T 1 -H (j) is appropriate and maps H (j) to the microlens and ends. Conversely, if the correspondence does not correspond to the initial value, projections are made to obtain two projection points. 6, a window W including seven pixels is formed with respect to a first projection point T 1 where a first observation point V c is projected onto a two-dimensional panel through a specific microlens H (j) when, any one pixel of the window by using the correspondence relationship with respect to the initialization (in Fig. 6 in the first pixel) observed that the (first pixel -H (i)) back to the first viewing point position V c surface (the 1 image) is obtained as the second projection point P 1 . Next, the point at which the first pixel is projected onto the observation plane through the specific microlens H (j) which has obtained the first projection point is obtained as the third projection point P 2 . The second projection point P 1 and the third projection point P 2 are obtained, and then the distance between the projection points and the first observation point is calculated. The first distance represents the distance between the second projection point P 1 and the first observation point V c and the second distance represents the distance between the third projection point P 2 and the first observation point V c .

1204 단계에서는, 제1 거리와 제2 거리를 비교한다. 만일 제1 거리가 제2 거리보다 작은 경우(1204-아니오), 마이크로 렌즈 H(j)를 통해 투영시키는 것이 더 적절하기 때문에 제1 투영점 T1이 위치한 2차원 패널의 픽셀에 대한 마이크로 렌즈는 H(j)로 대응시킨다. (이 경우, 초기화된 대응관계에 이미 매핑되어 있기 때문에 실질적으로 매핑을 할 필요는 없다) 반면에, 제1 거리가 제2 거리보다 크거나 같은 경우(1204-예) 마이크로 렌즈 H(i)를 통해 투영시키는 것이 더 적절하다고 보아 제1 투영점 T1이 위치한 2차원 패널의 픽셀에 대한 마이크로 렌즈는 H(i)로 대응시키고 종료한다.In step 1204, the first distance is compared with the second distance. If the first distance is less than a second distance (1204- NO), because it is more appropriate for projecting through the microlens H (j) a first projection that microlenses for the pixels of the second T-dimensional panel 1 is located, H (j) . (In this case, it is not necessary to substantially map because it has already been mapped to the corresponding initialization relationship) on the other hand, the first case the distance is equal to or greater than the second distance (for example, 1204-) microlenses H (i) The microlens for the pixel of the two-dimensional panel in which the first projection point T 1 is located corresponds to H (i) and ends.

2차원 패널의 각 픽셀과 마이크로 렌즈의 대응관계에 대한 매핑이 완료되어 광선 모델이 생성되면, 광선 모델을 이용하여 제1 이미지에 대하여 EIA 방식의 제2 이미지를 렌더링한다.
When the mapping of each pixel of the two-dimensional panel to the microlens is completed and a light ray model is generated, the second image of the EIA method is rendered with respect to the first image using the light ray model.

실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.Although the embodiments have been described with reference to specific embodiments and drawings, various modifications and variations may be made by those skilled in the art. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

Claims (24)

단일의 카메라가 IID(Integral Image Display) 영상을 촬영한 제1 이미지를 획득하는 이미지 획득부; 및
2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대하여, 상기 마이크로 렌즈 어레이의 설계위치와 상기 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나타내는 오차 모델을 최적화함으로써 상기 오차를 추정하는 오차 추정부;
를 포함하는 디스플레이 오차 보정 장치.
An image acquiring unit for acquiring a first image of a single camera that has captured an IID (Integral Image Display) image; And
An error estimator for estimating the error by optimizing an error model representing an error between a design position of the microlens array and an actual position of the microlens array with respect to the microlens array located on one surface of the two-dimensional panel;
And a display error correction unit.
제1항에 있어서,
상기 오차 추정부는,
미리 설정된 초기 오차 파라미터 값으로 상기 초기 오차 모델을 생성하고, 상기 제1 이미지의 임의의 한 점에 대하여 상기 2차원 패널에 매핑되는 대응위치에 따라 상기 초기 오차 파라미터 값을 갱신하여 상기 오차 모델을 최적화하는, 디스플레이 오차 보정 장치.
The method according to claim 1,
The error-
The initial error parameter value is updated according to a corresponding position mapped to the two-dimensional panel for any one point of the first image to thereby optimize the error model by generating the initial error model with a predetermined initial error parameter value, A display error correction device.
제1항에 있어서,
상기 오차 추정부는,
상기 단일 카메라와 상기 마이크로 렌즈 어레이의 사이에 존재하는 가상의 이미지 평면에 대하여, 상기 제1 이미지의 임의의 점이 각 마이크로 렌즈와 상기 단일 카메라의 중심 위치에 의해 상기 이미지 평면 위에 대응되는 대응위치를 결정하는 대응위치 확정부;
상기 제1 이미지의 각 픽셀점과 상기 2차원 패널의 픽셀점의 대응관계를 분석하여 상기 대응위치가 상기 2차원 패널에 매핑되는 제1 매핑위치를 확정하는 제1 매핑위치 확정부;
상기 단일 카메라의 중심 위치와 상기 대응위치와의 연결선이 상기 2차원 패널에 매핑되는 제2 매핑위치를 확정하는 제2 매핑위치 확정부; 및
상기 제1 매핑위치와 상기 제2 매핑위치 사이의 위치 차이에 따라 상기 오차 모델을 최적화하는 최적화부
를 포함하는 디스플레이 오차 보정 장치.
The method according to claim 1,
The error-
Determining, for a hypothetical image plane existing between the single camera and the micro lens array, any point of the first image corresponding to the image plane by the center position of each micro lens and the single camera A corresponding position determining unit;
A first mapping position determination unit for analyzing a correspondence relationship between each pixel point of the first image and a pixel point of the two-dimensional panel to determine a first mapping position at which the corresponding position is mapped to the two-dimensional panel;
A second mapping position determination unit for determining a second mapping position at which a connection line between the center position of the single camera and the corresponding position is mapped to the two-dimensional panel; And
And optimizing the error model according to a position difference between the first mapping position and the second mapping position,
And a display error correction unit.
제3항에 있어서,
상기 최적화부는,
상기 제1 매핑위치와 상기 제2 매핑위치 사이의 거리가 최소가 되도록 상기 오차 파라미터 값을 갱신하여 상기 오차 모델을 최적화하는 디스플레이 오차 보정 장치.
The method of claim 3,
The optimizing unit,
And optimizing the error model by updating the error parameter value such that a distance between the first mapping position and the second mapping position is minimized.
제4항에 있어서,
상기 최적화부는,
상기 마이크로 렌즈 어레이 중 하나 이상의 각 마이크로 렌즈에 대하여 상기 제1 매핑위치와 상기 제2 매핑위치의 거리를 계산하고, 상기 계산한 거리의 합의 최소가 되는 경우 상기 초기 오차 파라미터가 최적화되었다고 간주하는 디스플레이 오차 보정 장치.
5. The method of claim 4,
The optimizing unit,
Calculating a distance between the first mapping position and the second mapping position with respect to each of at least one microlens of the microlens arrays, and when the sum of the calculated distances becomes a minimum, a display error Correction device.
단일의 카메라가 IID(Integral Image Display) 영상을 촬영한 제1 이미지를 획득하는 이미지 획득부;
2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대하여, 상기 마이크로 렌즈 어레이의 설계위치와 상기 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나타내는 오차 모델을 최적화함으로써 상기 오차를 추정하는 오차 추정부; 및
상기 마이크로 렌즈 어레이의 오차에 따라 상기 제1 이미지에 대하여 EIA (Elemental Image Array) 방식의 제2 이미지를 렌더링하는 렌더링부
를 포함하는 디스플레이 장치.
An image acquiring unit for acquiring a first image of a single camera that has captured an IID (Integral Image Display) image;
An error estimator for estimating the error by optimizing an error model representing an error between a design position of the microlens array and an actual position of the microlens array with respect to the microlens array located on one surface of the two-dimensional panel; And
And a rendering unit that renders a second image of the EIA (Elemental Image Array) method on the first image in accordance with an error of the microlens array,
.
제6항에 있어서,
상기 오차 추정부는,
상기 단일 카메라와 상기 마이크로 렌즈 어레이의 사이에 존재하는 가상의 이미지 평면에 대하여, 상기 제1 이미지의 임의의 점이 각 마이크로 렌즈와 상기 단일 카메라의 중심 위치에 의해 상기 이미지 평면 위에 대응되는 대응위치를 결정하는 대응위치 확정부;
상기 제1 이미지의 각 픽셀점과 상기 2차원 패널의 픽셀점의 대응관계를 분석하여 상기 대응위치가 상기 2차원 패널에 매핑되는 제1 매핑위치를 확정하는 제1 매핑위치 확정부;
상기 단일 카메라의 중심 위치와 상기 대응위치와의 연결선이 상기 2차원 패널에 매핑되는 제2 매핑위치를 확정하는 제2 매핑위치 확정부; 및
상기 제1 매핑위치와 상기 제2 매핑위치 사이의 위치 차이에 따라 상기 오차 모델을 최적화하는 최적화부
를 포함하는 디스플레이 장치.
The method according to claim 6,
The error-
Determining, for a hypothetical image plane existing between the single camera and the micro lens array, any point of the first image corresponding to the image plane by the center position of each micro lens and the single camera A corresponding position determining unit;
A first mapping position determination unit for analyzing a correspondence relationship between each pixel point of the first image and a pixel point of the two-dimensional panel to determine a first mapping position at which the corresponding position is mapped to the two-dimensional panel;
A second mapping position determination unit for determining a second mapping position at which a connection line between the center position of the single camera and the corresponding position is mapped to the two-dimensional panel; And
And optimizing the error model according to a position difference between the first mapping position and the second mapping position,
.
제6항에 있어서,
상기 최적화부는,
상기 제1 매핑위치와 상기 제2 매핑위치 사이의 거리가 최소가 되도록 상기 오차 파라미터 값을 갱신하여 상기 오차 모델을 최적화하는, 디스플레이 장치.
The method according to claim 6,
The optimizing unit,
And updates the error parameter value so that a distance between the first mapping position and the second mapping position is minimized to optimize the error model.
제6항에 있어서,
상기 렌더링부는,
상기 마이크로 렌즈 어레이의 오차에 따라 산출된 각 마이크로 렌즈의 실제위치에 기초하여 생성된 광선 모델에 따라 상기 제2 이미지를 렌더링하는 디스플레이 장치.
The method according to claim 6,
The rendering unit may include:
And the second image is rendered according to a light ray model generated based on an actual position of each microlens calculated according to an error of the microlens array.
제9항에 있어서,
상기 렌더링부는,
상기 마이크로 렌즈 어레이의 오차에 기초하여 각 마이크로 렌즈의 실제위치를 계산하는 위치확정부;
상기 각 마이크로 렌즈의 실제위치에 기초하여 상기 2차원 패널의 각 픽셀에 대응되는 3차원 광선을 나타내는 광선 모델을 생성하는 광선모델 생성부; 및
상기 광선 모델을 이용하여 제1 이미지에 대하여 EIA 방식의 제2 이미지를 렌더링하는 EIA 렌더링부
를 포함하는 디스플레이 장치.
10. The method of claim 9,
The rendering unit may include:
A position determining unit for calculating an actual position of each microlens based on an error of the microlens array;
A light ray model generation unit that generates a light ray model representing a three-dimensional ray corresponding to each pixel of the two-dimensional panel based on an actual position of each of the microlenses; And
An EIA rendering unit for rendering a second image of the EIA scheme for the first image using the light ray model,
.
제10항에 있어서,
상기 광선모델 생성부는,
상기 2차원 패널의 픽셀과 상기 마이크로 렌즈 어레이의 각 마이크로 렌즈의 대응관계를 초기화하는 초기화부;
상기 제1 이미지의 임의의 한 점을 상기 2차원 패널에 투영시킨 점을 이용하여 상기 각 마이크로 렌즈마다 상기 대응관계를 갱신하는 갱신부; 및
평형한 두 개의 평면 위의 점을 이용하여 상기 2차원 패널의 픽셀과 상기 픽셀에 대응되는 마이크로 렌즈의 방향을 표시하는 방향묘사부
를 포함하는 디스플레이 장치.
11. The method of claim 10,
The light-ray model generation unit generates,
An initialization unit for initializing a corresponding relationship between the pixels of the two-dimensional panel and the respective microlenses of the microlens array;
An updating unit for updating the correspondence relationship for each of the microlenses by using a point projected on the two-dimensional panel of an arbitrary point of the first image; And
Dimensional panel and a direction of a microlens corresponding to the pixel using a point on two flat planes,
.
제11항에 있어서,
상기 갱신부는,
상기 제1 이미지에 속하는 임의의 제1 관찰점이 특정 마이크로 렌즈를 통해 상기 2차원 패널에 투영된 제1 투영점을 획득하는 투영부;
상기 2차원 패널에서 상기 제1 투영점을 중심으로 소정 크기의 윈도우(window)를 형성하는 윈도우 구성부; 및
상기 윈도우의 각 픽셀로 매핑되는 마이크로 렌즈에 대한 갱신을 수행하는 로컬 갱신부
를 포함하는 디스플레이 장치.
12. The method of claim 11,
Wherein,
A projection unit for acquiring a first projection point projected on the two-dimensional panel by a first observation point belonging to the first image through a specific microlens;
A window constructing unit for forming a window having a predetermined size around the first projection point in the two-dimensional panel; And
A local update unit for performing an update on a microlens mapped to each pixel of the window;
.
제12항에 있어서,
상기 로컬 갱신부는,
상기 제1 투영점을 획득하게 한 상기 특정 마이크로 렌즈가 상기 초기화된 대응관계에 따른 마이크로 렌즈인지 확인하는 확인부;
상기 특정 마이크로 렌즈가 상기 초기화된 대응관계와 일치하지 않은 경우, 상기 윈도우의 제1 픽셀에 대하여 상기 초기화된 대응관계에 따라 상기 제1 이미지에 투영시킨 제2 투영점을 획득하고, 상기 윈도우의 제1 픽셀에 대하여 상기 특정 마이크로 렌즈에 따라 상기 제1 이미지에 투영시킨 제3 투영점을 획득하는 픽셀 투영부; 및
상기 제2 투영점과 상기 제1 관찰점 사이의 제1 거리 및 상기 제3 투영점과 상기 제1 관찰점 사이의 제2 거리를 계산하고, 상기 제1 거리가 상기 제2 거리보다 크거나 같을 때 상기 제1 투영점에 대한 상기 2차원 패널의 픽셀에 대응되는 마이크로 렌즈를 상기 특정 마이크로 렌즈로 갱신하는 매핑갱신부
를 포함하는 디스플레이 장치.
13. The method of claim 12,
Wherein the local update unit comprises:
A confirming unit which confirms whether the specific microlens for acquiring the first projection point is a microlens corresponding to the initialized corresponding relationship;
Acquiring a second projection point projected on the first image in accordance with the initialized correspondence relation with respect to a first pixel of the window when the specific microlens does not coincide with the initialized correspondence relationship, A pixel projection unit for acquiring a third projection point projected onto the first image in accordance with the specific microlens for one pixel; And
Calculating a first distance between the second projection point and the first observation point and a second distance between the third projection point and the first observation point, and if the first distance is greater than or equal to the second distance Dimensional panel with respect to the first projection point with the specific microlens,
.
단일의 카메라가 IID(Integral Image Display) 영상을 촬영한 제1 이미지를 획득하는 단계;
2차원 패널의 일면에 위치하는 마이크로 렌즈 어레이에 대하여, 상기 마이크로 렌즈 어레이의 설계위치와 상기 마이크로 렌즈 어레이의 실제위치 사이의 오차를 나타내는 오차 모델을 생성하는 단계; 및
상기 오차 모델을 최적화하여 상기 오차를 추정하는 단계;
를 포함하는 디스플레이 오차 보정 방법.
Obtaining a first image in which a single camera has captured an IID (Integral Image Display) image;
Generating an error model representing an error between a design position of the microlens array and an actual position of the microlens array with respect to the microlens array positioned on one side of the two-dimensional panel; And
Estimating the error by optimizing the error model;
/ RTI >
제14항에 있어서,
상기 오차를 추정하는 단계는,
미리 설정된 초기 오차 파라미터 값으로 상기 초기 오차 모델을 생성하고, 상기 제1 이미지의 임의의 한 점에 대하여 상기 2차원 패널에 매핑되는 대응위치에 따라 상기 초기 오차 파라미터 값을 갱신하여 상기 오차 모델을 최적화하는, 디스플레이 오차 보정 방법.
15. The method of claim 14,
Wherein the estimating the error comprises:
The initial error parameter value is updated according to a corresponding position mapped to the two-dimensional panel for any one point of the first image to thereby optimize the error model by generating the initial error model with a predetermined initial error parameter value, A display error correction method.
제15항에 있어서,
상기 오차 모델을 최적화하는 단계는,
상기 단일 카메라와 상기 마이크로 렌즈 어레이의 사이에 존재하는 가상의 이미지 평면에 대하여, 상기 제1 이미지의 임의의 점이 각 마이크로 렌즈와 상기 단일 카메라의 중심 위치에 의해 상기 이미지 평면 위에 대응되는 대응위치를 결정하는 단계;
상기 제1 이미지의 각 픽셀점과 상기 2차원 패널의 픽셀점의 대응관계를 분석하여 상기 대응위치가 상기 2차원 패널에 매핑되는 제1 매핑위치를 확정하는 단계;
상기 단일 카메라의 중심 위치와 상기 대응위치와의 연결선이 상기 2차원 패널에 매핑되는 제2 매핑위치를 확정하는 단계; 및
상기 제1 매핑위치와 상기 제1 매핑위치 사이의 위치 차이에 따라 상기 오차 모델을 최적화하는 단계
를 포함하는 디스플레이 오차 보정 방법.
16. The method of claim 15,
Wherein optimizing the error model comprises:
Determining, for a hypothetical image plane existing between the single camera and the micro lens array, any point of the first image corresponding to the image plane by the center position of each micro lens and the single camera ;
Analyzing a correspondence relationship between each pixel point of the first image and a pixel point of the two-dimensional panel to determine a first mapping position at which the corresponding position is mapped to the two-dimensional panel;
Determining a second mapping position at which a connection line between the center position of the single camera and the corresponding position is mapped to the two-dimensional panel; And
Optimizing the error model according to a position difference between the first mapping position and the first mapping position
/ RTI >
제16항에 있어서,
상기 오차 모델을 최적화하는 단계는,
상기 제1 매핑위치와 상기 제2 매핑위치 사이의 거리가 최소가 되도록 상기 오차 파라미터 값을 최적화하여 상기 오차 모델을 갱신하는 디스플레이 오차 보정 방법.
17. The method of claim 16,
Wherein optimizing the error model comprises:
And updating the error model by optimizing the error parameter value such that a distance between the first mapping position and the second mapping position is minimized.
제17항에 있어서,
상기 오차 모델을 최적화하는 단계는,
상기 마이크로 렌즈 어레이 중 하나 이상의 각 마이크로 렌즈에 대하여 상기 제1 매핑위치와 상기 제2 매핑위치의 거리를 계산하고, 상기 계산한 거리의 합의 최소가 되는 경우 상기 초기 오차 파라미터가 최적화되었다고 간주하는 디스플레이 오차 보정 방법.
18. The method of claim 17,
Wherein optimizing the error model comprises:
Calculating a distance between the first mapping position and the second mapping position with respect to each of at least one microlens of the microlens arrays, and when the sum of the calculated distances becomes a minimum, a display error Correction method.
제14항에 있어서,
상기 마이크로 렌즈 어레이의 오차에 따라 상기 제1 이미지에 대하여 EIA (Elemental Image Array) 방식의 제2 이미지를 렌더링하는 단계
를 더 포함하는 디스플레이 오차 보정 방법.
15. The method of claim 14,
Rendering a second image of an EIA (Elemental Image Array) method on the first image according to an error of the microlens array
And correcting the display error.
제19항에 있어서,
상기 렌더링하는 단계는,
상기 마이크로 렌즈 어레이의 오차에 따라 산출된 각 마이크로 렌즈의 실제위치에 기초하여 생성된 광선 모델에 따라 상기 제2 이미지를 렌더링하는 디스플레이 오차 보정 방법.
20. The method of claim 19,
Wherein the rendering comprises:
And the second image is rendered according to a ray model generated based on an actual position of each microlens calculated according to an error of the microlens array.
제20항에 있어서,
상기 렌더링하는 단계는,
상기 마이크로 렌즈 어레이의 오차에 기초하여 각 마이크로 렌즈의 실제위치를 계산하는 단계;
상기 각 마이크로 렌즈의 실제위치에 기초하여 상기 2차원 패널의 각 픽셀에 대응되는 3차원 광선을 나타내는 광선 모델을 생성하는 단계; 및
상기 광선모델을 이용하여 상기 제1 이미지에 대하여 EIA 방식의 제2 이미지를 렌더링하는 단계
를 포함하는 디스플레이 오차 보정 장치.
21. The method of claim 20,
Wherein the rendering comprises:
Calculating an actual position of each microlens based on an error of the microlens array;
Generating a ray model representing a three-dimensional ray corresponding to each pixel of the two-dimensional panel based on the actual position of each of the microlenses; And
Rendering the second image of the EIA scheme for the first image using the light ray model
And a display error correction unit.
제21항에 있어서,
상기 광선 모델을 생성하는 단계는,
상기 2차원 패널의 픽셀과 상기 마이크로 렌즈 어레이의 각 마이크로 렌즈의 대응관계를 초기화하는 단계;
상기 제1 이미지의 임의의 한 점을 상기 2차원 패널에 투영시킨 점을 이용하여 상기 각 마이크로 렌즈마다 상기 대응관계를 갱신하는 단계; 및
평형한 두 개의 평면 위의 점을 이용하여 상기 2차원 패널의 픽셀과 상기 픽셀에 대응되는 마이크로 렌즈의 방향을 표시하는 단계
를 포함하는 디스플레이 오차 보정 방법.
22. The method of claim 21,
Wherein the step of generating the ray model comprises:
Initializing a corresponding relationship between a pixel of the two-dimensional panel and each microlens of the microlens array;
Updating the corresponding relationship for each of the microlenses by using a point projected on the two-dimensional panel at an arbitrary point of the first image; And
Displaying a pixel of the two-dimensional panel and a direction of a microlens corresponding to the pixel using points on two flat planes,
/ RTI >
제22항에 있어서,
상기 대응관계를 갱신하는 단계는,
상기 제1 이미지에 속하는 임의의 제1 관찰점이 특정 마이크로 렌즈를 통해 상기 2차원 패널에 투영된 제1 투영점을 획득하는 단계;
상기 2차원 패널에서 상기 제1 투영점을 중심으로 소정 크기의 윈도우(window)를 형성하는 단계; 및
상기 윈도우의 각 픽셀로 매핑되는 마이크로 렌즈에 대한 갱신을 수행하는 단계
를 포함하는 디스플레이 오차 보정 방법.
23. The method of claim 22,
Wherein the step of updating the correspondence comprises:
Acquiring a first projection point projected onto the two-dimensional panel through a given microlens at any first observation point belonging to the first image;
Forming a window having a predetermined size around the first projection point in the two-dimensional panel; And
Performing an update on a microlens mapped to each pixel of the window
/ RTI >
제23항에 있어서,
상기 윈도우의 각 픽셀로 매핑되는 마이크로 렌즈에 대한 갱신을 수행하는 단계는,
상기 제1 투영점을 획득하게 한 상기 특정 마이크로 렌즈가 상기 초기화된 대응관계에 따른 마이크로 렌즈인지 확인하는 단계;
상기 특정 마이크로 렌즈가 상기 초기화된 대응관계와 일치하지 않은 경우, 상기 윈도우의 제1 픽셀에 대하여 상기 초기화된 대응관계에 따라 상기 제1 이미지에 투영시킨 제2 투영점을 획득하고, 상기 윈도우의 제1 픽셀에 대하여 상기 특정 마이크로 렌즈에 따라 상기 제1 이미지에 투영시킨 제3 투영점을 획득하는 단계; 및
상기 제2 투영점과 상기 제1 관찰점 사이의 제1 거리 및 상기 제3 투영점과 상기 제1 관찰점 사이의 제2 거리를 계산하고, 상기 제1 거리가 상기 제2 거리보다 크거나 같을 때 상기 제1 투영점에 대한 상기 2차원 패널의 픽셀에 대응되는 마이크로 렌즈를 상기 특정 마이크로 렌즈로 갱신하는 단계
를 포함하는 디스플레이 오차 보정 방법.24. The method of claim 23,
Wherein performing an update for a microlens mapped to each pixel of the window comprises:
Confirming whether the specific microlens for acquiring the first projection point is a microlens corresponding to the initialized corresponding relationship;
Acquiring a second projection point projected on the first image in accordance with the initialized correspondence relation with respect to a first pixel of the window when the specific microlens does not coincide with the initialized correspondence relationship, Obtaining a third projection point projected onto the first image according to the specific microlens for one pixel; And
Calculating a first distance between the second projection point and the first observation point and a second distance between the third projection point and the first observation point, and if the first distance is greater than or equal to the second distance The step of updating the microlens corresponding to the pixel of the two-dimensional panel with respect to the first projection point with the specific microlens
/ RTI >
KR1020150052393A 2014-04-18 2015-04-14 Apparatus and methods for correcting errors in Integral Image Display KR102276456B1 (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/KR2015/003849 WO2015160208A1 (en) 2014-04-18 2015-04-16 Device and method that compensate for displayed margin of error in iid
US15/303,404 US10142616B2 (en) 2014-04-18 2015-04-16 Device and method that compensate for displayed margin of error in IID

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201410157743.X 2014-04-18
CN201410157743.XA CN105025284B (en) 2014-04-18 2014-04-18 Demarcate the method and apparatus that integration imaging shows the display error of equipment

Publications (2)

Publication Number Publication Date
KR20150120866A true KR20150120866A (en) 2015-10-28
KR102276456B1 KR102276456B1 (en) 2021-07-12

Family

ID=54414948

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150052393A KR102276456B1 (en) 2014-04-18 2015-04-14 Apparatus and methods for correcting errors in Integral Image Display

Country Status (3)

Country Link
US (1) US10142616B2 (en)
KR (1) KR102276456B1 (en)
CN (1) CN105025284B (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734877B2 (en) 2021-02-25 2023-08-22 Samsung Electronics Co., Ltd. Method and device for restoring image obtained from array camera

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105607272B (en) * 2016-01-15 2018-02-06 上海玮舟微电子科技有限公司 A kind of bearing calibration of 3D films and system
CN107018398B (en) * 2017-03-08 2018-11-09 清华大学 A method of for the quantization calibration of light field Three-dimensional Display
CN110262048B (en) * 2017-05-18 2021-03-23 中国人民解放军装甲兵工程学院 Calibration method for lens array of integrated imaging light field display system
KR102436730B1 (en) * 2017-12-06 2022-08-26 삼성전자주식회사 Method and apparatus for estimating parameter of virtual screen
CN111953970B (en) * 2020-08-28 2022-02-22 中国人民解放军陆军装甲兵学院 Method and system for measuring positions of unit lenses of integrated imaging three-dimensional display system
CN112449178B (en) * 2020-11-19 2022-07-01 湖北航天技术研究院总体设计所 Screen observation equipment machine position calibration method and system
CN113654458B (en) * 2021-01-21 2024-05-28 中国人民解放军陆军装甲兵学院 Transverse position error three-dimensional measurement method and system for lens array

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070112081A (en) * 2007-07-18 2007-11-22 한국과학기술원 A 3d image multiplexing scheme compensating for lens alignment errors and viewing location change in 3d monitor
KR20120140665A (en) * 2010-09-23 2012-12-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 Method and system for 3d display calibration with feedback determined by a camera device

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6496231B1 (en) * 1999-06-30 2002-12-17 Koninklijke Philips Electronics N.V. Method and apparatus for correcting convergence and geometry errors in display devices
KR100351805B1 (en) 1999-09-09 2002-09-11 엘지전자 주식회사 3d integral image display system
KR101118744B1 (en) 2005-03-02 2012-03-14 재단법인서울대학교산학협력재단 Three-dimensional/ two-dimensional convertible display device
US20070030543A1 (en) 2005-08-08 2007-02-08 Bahram Javidi Depth and lateral size control of three-dimensional images in projection integral imaging
JP4488996B2 (en) 2005-09-29 2010-06-23 株式会社東芝 Multi-view image creation apparatus, multi-view image creation method, and multi-view image creation program
KR100897307B1 (en) 2007-07-24 2009-05-14 광운대학교 산학협력단 Method for reproducing hologram of 3D image picked-up by integral imaging scheme and Apparatus thereof
KR101022565B1 (en) 2008-04-24 2011-03-16 경희대학교 산학협력단 Reflection-type screen used in projection-type 3D integral imaging display system
KR20100076222A (en) 2008-12-26 2010-07-06 주식회사 동부하이텍 Apparatus and method for shifting of micro lens in an image sensor
JP5395507B2 (en) 2009-05-21 2014-01-22 キヤノン株式会社 Three-dimensional shape measuring apparatus, three-dimensional shape measuring method, and computer program
US8334889B2 (en) 2010-03-18 2012-12-18 Tipd, Llc Auto stereoscopic 3D telepresence using integral holography
JP5522794B2 (en) 2010-10-15 2014-06-18 日本放送協会 Stereoscopic image generating apparatus and program thereof
JP5605175B2 (en) * 2010-11-08 2014-10-15 株式会社Ｊｖｃケンウッド 3D image display device
US9398278B2 (en) * 2011-01-06 2016-07-19 Telenav, Inc. Graphical display system with adaptive keystone mechanism and method of operation thereof
KR20120095066A (en) 2011-02-18 2012-08-28 엘지디스플레이 주식회사 Integral imaging type stereoscopic image display device
JP5785732B2 (en) * 2011-02-24 2015-09-30 任天堂株式会社 Information processing program, imaging apparatus, imaging method, and imaging system
KR101275588B1 (en) 2011-10-06 2013-06-17 충북대학교 산학협력단 High speed generation system of integral imaging for 3d volume data and autostereo display method using the system
CN102523462B (en) * 2011-12-06 2014-01-08 南开大学 Method and device for rapidly acquiring elemental image array based on camera array
TWI545349B (en) 2012-02-21 2016-08-11 鴻海精密工業股份有限公司 Lenticular type 3d display device and method for manufacturing same
US8831377B2 (en) * 2012-02-28 2014-09-09 Lytro, Inc. Compensating for variation in microlens position during light-field image processing
CN103366356A (en) * 2012-04-06 2013-10-23 北京三星通信技术研究有限公司 General calibration system and method and integrated imaging reconstruction system and method thereof
TWI520577B (en) * 2012-08-10 2016-02-01 晨星半導體股份有限公司 Stereo image output apparatus and associated stereo image output method
KR101294261B1 (en) 2013-01-08 2013-08-06 동서대학교산학협력단 Three dimensional interal imagine display-using mask and time-multiplexing
KR101293576B1 (en) 2013-01-08 2013-08-16 동서대학교산학협력단 System of depth control in three-dimensional integral imaging display

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20070112081A (en) * 2007-07-18 2007-11-22 한국과학기술원 A 3d image multiplexing scheme compensating for lens alignment errors and viewing location change in 3d monitor
KR20120140665A (en) * 2010-09-23 2012-12-31 돌비 레버러토리즈 라이쎈싱 코오포레이션 Method and system for 3d display calibration with feedback determined by a camera device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11734877B2 (en) 2021-02-25 2023-08-22 Samsung Electronics Co., Ltd. Method and device for restoring image obtained from array camera

Also Published As

Publication number Publication date
US10142616B2 (en) 2018-11-27
CN105025284B (en) 2019-02-05
US20170041594A1 (en) 2017-02-09
CN105025284A (en) 2015-11-04
KR102276456B1 (en) 2021-07-12

Similar Documents

Publication Publication Date Title
KR20150120866A (en) Apparatus and methods for correcting errors in Integral Image Display
US10237532B2 (en) Scan colorization with an uncalibrated camera
JP4435145B2 (en) Method and apparatus for providing panoramic image by calibrating geometric information
US20170019657A1 (en) Stereo auto-calibration from structure-from-motion
CN110191326B (en) Projection system resolution expansion method and device and projection system
JP6079333B2 (en) Calibration apparatus, method and program
US20140253679A1 (en) Depth measurement quality enhancement
KR20150112362A (en) Imaging processing method and apparatus for calibrating depth of depth sensor
CN101563709A (en) Calibrating a camera system
WO2019099408A1 (en) System and methods for extrinsic calibration of cameras and diffractive optical elements
Mahdy et al. Projector calibration using passive stereo and triangulation
KR20220090398A (en) Methods and apparatus to perform multiple-camera calibration
US20180213215A1 (en) Method and device for displaying a three-dimensional scene on display surface having an arbitrary non-planar shape
US8340399B2 (en) Method for determining a depth map from images, device for determining a depth map
EP3877952B1 (en) Disparity estimation from a wide angle image
US20100149319A1 (en) System for projecting three-dimensional images onto a two-dimensional screen and corresponding method
WO2019155903A1 (en) Information processing device and method
JP2017199285A (en) Information processor, information processing method, program
CN114967170B (en) Display processing method and device based on flexible naked eye three-dimensional display equipment
JP6168597B2 (en) Information terminal equipment
US20160295187A1 (en) Information processing device and projection apparatus
JP2013148467A (en) Measurement device, method, and program
CN111145268A (en) Video registration method and device
KR102591844B1 (en) Apparatus for camera calibration using mirrors
JP2015219634A (en) Image processing program, image processing method and image processor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant