KR100464286B1 - integral photograhpy display device and method thereof - Google Patents
integral photograhpy display device and method thereof Download PDFInfo
- Publication number
- KR100464286B1 KR100464286B1 KR10-2000-0034331A KR20000034331A KR100464286B1 KR 100464286 B1 KR100464286 B1 KR 100464286B1 KR 20000034331 A KR20000034331 A KR 20000034331A KR 100464286 B1 KR100464286 B1 KR 100464286B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- lens
- base
- basic
- information
- Prior art date
Links
Classifications
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B30/00—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images
- G02B30/20—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes
- G02B30/22—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type
- G02B30/25—Optical systems or apparatus for producing three-dimensional [3D] effects, e.g. stereoscopic images by providing first and second parallax images to an observer's left and right eyes of the stereoscopic type using polarisation techniques
Abstract
본 발명은 입체 영상 디스플레이 장치로서, 3차원 영상의 재생을 위한 기초 영상을 생성하는 영상 처리부; 상기 영상 처리부에서 생성된 기초 영상을 디스플레이하는 디스플레이부; 및 다수의 기초 렌즈로 이루어지며, 상기 디스플레이부에서 디스플레이되는 기초 영상을 결상하여 해당하는 3차원 영상을 재생하는 렌즈 어레이를 포함한다.According to an aspect of the present invention, there is provided a stereoscopic image display apparatus comprising: an image processor configured to generate a basic image for reproducing a 3D image; A display unit which displays a basic image generated by the image processor; And a lens array formed of a plurality of elementary lenses, and forming a base image displayed by the display unit to reproduce a corresponding 3D image.
본 발명에 따르면 디스플레이할 때 하나의 렌즈 어레이만이 필요하므로 비용을 절감하고 시스템의 구조를 단순화할 수 있으며, 또한 입체 영상 재생을 위한 촬영시에 발생되는 깊이 역전 현상이 방지된다.According to the present invention, since only one lens array is required for display, the cost can be reduced and the structure of the system can be simplified, and the depth reversal occurring during shooting for stereoscopic image reproduction is prevented.
Description
본 발명은 입체 영상 디스플레이 장치 및 그 방법에 관한 것으로, 더욱 상세하게 말하자면, 렌즈 어레이(lens array)를 이용한 촬영(pickup) 과정없이 2차원 영상 정보를 처리하여 해당하는 3차원 영상을 디스플레이(display) 하는 입체 영상디스플레이 장치 및 그 방법에 관한 것이다.The present invention relates to a stereoscopic image display apparatus and a method thereof, and more particularly, to display a corresponding 3D image by processing 2D image information without a pickup process using a lens array. A stereoscopic image display device and a method thereof are provided.
3차원 화상을 구현하는 기술 중 렌즈 어레이를 사용하는 집적 영상술(Integral Photography , 이하, IP라 명명함) 방식은 1908년 리프만 (Lippmann)에 의해 처음 제안된 후 점차 개선되었으나, 그 동안 촬영 소자나 디스플레이 소자 기술의 한계로 인해 크게 주목을 받지 못하다가 고분해능 촬영 소자와 고해상도 디스플레이 소자의 개발과 함께 최근 연구가 활발해지고 있다.Integrated imaging (lens IP) using a lens array among 3D imaging techniques has been gradually improved since it was first proposed by Lippmann in 1908. Due to the limitations of the display device technology, much attention has been paid, but recent research has been actively conducted with the development of a high resolution photographing device and a high resolution display device.
도 1a에 종래의 IP 방식에 대한 기본 원리가 도시되어 있다.The basic principle of the conventional IP scheme is shown in FIG.
IP 방식을 구현하기 위한 전체 시스템은 도 1에서와 같이, 크게 두개의 기능부 즉, 촬영부(10)와, 디스플레이부(20)로 구성된다. 촬영부(10)는 3차원 형상을 가지는 물체의 상을 형성하는 렌즈 어레이(11)와, 렌즈 어레이(11)에 의하여 결상된 기초 영상을 저장하는 촬영 소자(12)로 이루어지며, 디스플레이부(20)는 촬영 소자(12)에 저장된 기초 영상을 디스플레이하는 디스플레이 소자(21)와, 디스플레이 소자(21)에서 디스플레이되는 기초 영상을 결상하여 3차원 영상으로 재생시키는 렌즈 어레이(22)를 포함한다. 각 렌즈 어레이(11,21)는 다수의 단위 렌즈로 이루어진다.As shown in FIG. 1, the entire system for implementing the IP scheme is largely composed of two functional units, that is, the photographing unit 10 and the display unit 20. The photographing unit 10 includes a lens array 11 forming an image of an object having a three-dimensional shape, and a photographing element 12 storing a basic image formed by the lens array 11. 20 includes a display element 21 for displaying a base image stored in the photographing element 12 and a lens array 22 for forming a 3D image by forming an image of the base image displayed on the display element 21. Each lens array 11, 21 is composed of a plurality of unit lenses.
먼저, 촬영부(10)의 렌즈 어레이(11)의 단위 렌즈에 의하여 3 차원 물체의 여러 방향에서의 기초 영상이 생성되어 촬영 소자(12)에 저장된다. 디스플레이부(21)에서는 촬영부(10)의 역과정으로 저장된 기초 영상들이 디스플레이 소자(21)에 의해 표시되고, 다시 이 기초 영상들이 렌즈 어레이(22)를 통과하면서 합쳐져서 원래 3차원 물체가 있었던 위치에서 3차원 영상으로 재생된다.First, a basic image in various directions of a three-dimensional object is generated by the unit lens of the lens array 11 of the photographing unit 10 and stored in the photographing element 12. In the display unit 21, the base images stored in the reverse process of the photographing unit 10 are displayed by the display element 21, and the base images are combined while passing through the lens array 22, where the original 3D object was originally located. 3D video is played back.
이러한 일반적인 IP 시스템에서는 촬영 소자와 디스플레이 소자로 사진 필름이 이용되어 왔었기 때문에 동영상이 불가능했었지만 최근에는 CCD 카메라를 사용함에 따라 가능하게 되었다.In such a general IP system, since motion picture film has been used as a photographing element and a display element, moving pictures are not possible, but recently, the use of a CCD camera has made it possible.
도 1b에 종래의 동영상이 가능한 집적 영상 시스템의 구조가 도시되어 있다. 도 1b에서와 같이, 촬영 장치로서 CCD 카메라(14)를 사용하고, 디스플레이 장치로 LCD 패널(21)을 사용하여 동영상을 3차원 영상으로 재생한다. 이 경우에는 CCD 카메라(14)로 물체를 촬영해서 해당하는 영상 정보를 LCD 패널(21)로 전송하기 때문에 정지 화상은 물론 동화상도 실시간으로 촬영 및 재생할 수 있는 장점이 있다.The structure of an integrated video system capable of a conventional video is shown in FIG. As shown in Fig. 1B, the CCD camera 14 is used as the photographing apparatus, and the LCD panel 21 is used as the display apparatus to reproduce the moving image as a three-dimensional image. In this case, since the CCD camera 14 photographs an object and transmits corresponding image information to the LCD panel 21, there is an advantage in that not only still images but also moving images can be captured and reproduced in real time.
이러한 IP 방식을 기초로 한 3차원 화상 처리 방식은 안경 없이 3차원 동영상을 실현할 수 있다는 장점이 있지만, 촬영과 재생이 반대 방향에서 이루어지기 때문에, 재생되는 영상의 겉과 속의 깊이가 바뀌어 보이는 깊이 역전 (pseudoscopic) 영상이 발생하게 된다는 문제점을 안고 있다.The 3D image processing method based on the IP method has the advantage of realizing a 3D video without glasses, but since the shooting and playback are performed in the opposite direction, the depth reversal of the depth of the inside and outside of the reproduced image is changed. (Pseudoscopic) Image has a problem that occurs.
또한 이러한 방식들은 기본적으로 촬영과 디스플레이 두 단계의 과정을 거치므로, 촬영시와 디스플레이시에 사용하는 렌즈 어레이가 다르다면 서로 다른 두 개의 렌즈 어레이를 써야 하고, 선명한 기초 영상을 얻기 위해서는 고해상도의 CCD 카메라를 사용해야 하는 등 비용이 많이 들고 구조가 복잡해지는 단점이 있다.Also, since these methods basically go through two stages of shooting and display, if the lens array used for shooting and display is different, two different lens arrays should be used. To obtain a clear basic image, a high resolution CCD camera There are disadvantages such as expensive and complicated structure, such as the need to use.
본 발명이 해결하고자 하는 기술적 과제는, 기존의 IP 시스템에서 렌즈 어레이를 이용한 촬영 과정을 생략하고 일반 2차원 영상으로부터 3차원 영상을 위한 기초 영상들을 생성한 다음에, 이 생성된 기초 영상을 토대로 원래의 2차원 영상에해당하는 3차원 영상을 디스플레이 하고자 하는데 있다.The technical problem to be solved by the present invention is to omit the photographing process using the lens array in the existing IP system, and to generate the basic images for the three-dimensional image from the normal two-dimensional image, and then based on the generated basic image We want to display 3D image corresponding to 2D image of.
도 1a는 일반적인 집적 영상술(IP:Integral Photography)의 기본 개념을 나타낸 도이다.1A is a diagram illustrating a basic concept of general integrated photography (IP).
도 1b는 종래의 동영상이 가능한 집적 영상 시스템의 구조를 나타낸 도이다.1B is a diagram illustrating the structure of a conventional integrated video system capable of moving images.
도 2는 본 발명의 실시예에 따른 입체 디스플레이 장치의 구조도이다.2 is a structural diagram of a stereoscopic display device according to an embodiment of the present invention.
도 3은 본 발명의 실시예에 따른 입체 디스플레이 장치의 예시도이다.3 is an exemplary view of a stereoscopic display device according to an embodiment of the present invention.
도 4는 본 발명의 실시에에 따른 기초 영상을 생성하는 원리를 나타낸 도이다.4 is a diagram illustrating a principle of generating a basic image according to an exemplary embodiment of the present invention.
도 5는 본 발명의 실시예에 따른 기초 영상을 생성하여 입체 영상을 표시하는 방법을 순차적으로 나타낸 도이다.5 is a diagram sequentially illustrating a method of displaying a stereoscopic image by generating a base image according to an exemplary embodiment of the present invention.
이러한 기술적 과제를 달성하기 위한 이 발명의 특징에 따른 입체 디스플레이 장치는,A stereoscopic display device according to a feature of the present invention for achieving the above technical problem,
3차원 영상의 재생을 위한 기초 영상을 생성하는 영상 처리부; 상기 영상 처리부에서 생성된 기초 영상을 디스플레이하는 디스플레이부; 및 다수의 기초 렌즈로 이루어지며, 상기 디스플레이부에서 디스플레이되는 기초 영상을 결상하여 해당하는 3차원 영상을 재생하는 렌즈 어레이를 포함한다.An image processor generating a basic image for reproducing a 3D image; A display unit which displays a basic image generated by the image processor; And a lens array formed of a plurality of elementary lenses, and forming a base image displayed by the display unit to reproduce a corresponding 3D image.
상기 영상 처리부는 3차원 영상 정보의 물체 포인트(object point)인 점 P의 좌표가 (x.y)이고, 상기 렌즈 어레이로부터 상기 점 P의 상이 맺히는 곳까지의 거리가 z인 경우, 상기 점 P에 대한 기초 영상은 다음의 식에 따라 산출된다.When the coordinate of the point P which is an object point of 3D image information is (xy) and the distance from the lens array to where the image of the point P is formed is z, The base image is calculated according to the following equation.
Elemental_image_x[i][j] = lens_x[i][j] + (f/z) * (lens_x[i][j] x )Elemental_image_x [i] [j] = lens_x [i] [j] + (f / z) * (lens_x [i] [j] x)
Elemental_image_y[i][j] = lens_y[i][j] + (f/z) * (lens_y[i][j] y )Elemental_image_y [i] [j] = lens_y [i] [j] + (f / z) * (lens_y [i] [j] y)
lens_x[i][j], lens_y[i][j]) : 상기 렌즈 어레이의 기초 렌즈 중 왼쪽으로부터 i 번째, 위로부터 j 번째에 위치되는 기초 렌즈의 중심 좌표lens_x [i] [j], lens_y [i] [j]): the center coordinates of the base lens positioned i th from the left and j th from the left among the base lenses of the lens array
f : 초점 거리f: focal length
또한, 상기 영상 처리부는 상기 식에 의하여 산출된 상기 점 P에 대한 기초 영상 중 다음의 조건을 만족하는 값만을 추출하여 상기 점 P에 대한 기초 영상으로설정한다.In addition, the image processor extracts only a value satisfying the following condition from the base image of the point P calculated by the above equation and sets it as the base image of the point P.
-Lx/2 < Elemental_image_x[i][j] - lens_x[i][j] < Lx/2-Lx / 2 <Elemental_image_x [i] [j]-lens_x [i] [j] <Lx / 2
-Ly/2 < Elemental_image_y[i][j] - lens_y[i][j] < Ly/2Lx: 상기 기초 렌즈의 x방향 크기Ly,: 상기 기초 렌즈의 y방향 크기이하, 이 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 이 발명을 용이하게 실시할 수 있는 실시예를 첨부된 도면을 참조로 하여 상세히 설명한다.-Ly / 2 <Elemental_image_y [i] [j]-lens_y [i] [j] <Ly / 2Lx: x-direction size of the base lens Ly,: y-direction size of the base lens or less, the technical field to which the present invention belongs With reference to the accompanying drawings an embodiment that can be easily carried out by those skilled in the art will be described in detail.
본 발명에서는 3차원 영상의 재생을 위한 2차원 영상의 기초 영상들을 설정 방법에 따라 처리하여 생성하며, 생성된 기초 영상을 렌즈 어레이를 포함하는 디스플레이 시스템을 통해 재생하여 3차원 영상을 구현한다.In the present invention, the base images of the 2D image for reproduction of the 3D image are processed and generated according to a setting method, and the generated base image is reproduced through a display system including a lens array to implement the 3D image.
이 때 일반 영상(2차원 영상)은 임의의 3차원 영상으로 가상의 물체(object) 정보를 담고 있다. 또한 현재 3차원 컴퓨터 그래픽스에 이용되는 물체의 경우에는 원(source) 영상 자체의 3차원 정보를 이용하여 기초 영상들을 곧바로 만들 수 있으므로 3차원 영상을 쉽게 구현할 수 있게 된다.In this case, the general image (2D image) is an arbitrary 3D image and contains virtual object information. In addition, in the case of an object currently used in 3D computer graphics, it is possible to easily create a 3D image because the basic images can be directly made by using 3D information of the source image itself.
도 2에 본 발명의 실시예에 따른 입체 영상 디스플레이 장치의 구조가 도시되어 있다.2 illustrates a structure of a stereoscopic image display apparatus according to an embodiment of the present invention.
본 발명의 기본적인 구성은 도 2에 도시된 바와 같이, 영상 처리부(100)와 디스플레이 패널(200) 및 렌즈 어레이(300)를 포함한다.As shown in FIG. 2, the basic configuration of the present invention includes an image processor 100, a display panel 200, and a lens array 300.
영상 처리부(100)는 3차원 영상의 재생을 위한 기초 영상을 생성하는 기초 영상 생성부(110), 및 생성된 기초 영상에 따라 디스플레이 패널(200)을 구동시키는 구동부(120)를 포함한다.The image processor 100 includes a base image generator 110 that generates a base image for reproducing a 3D image, and a driver 120 that drives the display panel 200 according to the generated base image.
디스플레이 패널(200)은 영상 처리부(100)에서 생성된 기초 영상을 디스플레이하며, 렌즈 어레이(300)는 디스플레이 패널(200)에서 디스플레이되는 기초 영상을 결상하여 3차원 영상을 재생한다.The display panel 200 displays a base image generated by the image processor 100, and the lens array 300 forms a base image displayed on the display panel 200 to reproduce a 3D image.
이와 같이, 본원 발명은 기존의 동영상이 가능한 IP 방식에서 촬영부(pickup )에서 얻어지는 기초 영상이 컴퓨터 등을 이용하여 계산된 기초 영상으로 대체된다.As described above, according to the present invention, the base image obtained by the pickup unit is replaced with the base image calculated using a computer or the like in the existing IP-enabled IP scheme.
여기서, 물체는 가상의 3차원 물체로 가정하고 그 정보를 직접 제작해도 좋고, 일반적인 3차원 컴퓨터 그래픽스에서 사용되는 3차원 물체 소스(object source) 정보를 그대로 사용하여도 좋다.Here, the object may be assumed to be a virtual three-dimensional object, and the information may be directly produced, or three-dimensional object source information used in general three-dimensional computer graphics may be used as it is.
또한, 도 3에서처럼 기존의 일반적인 카메라로 여러 영상을 촬영해 이를 컴퓨터를 이용하여 각각의 영상이 서로 다른 깊이를 갖도록 기초 영상들을 제작하고, 이를 렌즈 어레이를 포함하는 디스플레이 장치로 재생하면 깊이가 다른 준(quasi) 3차원 영상을 구현할 수 있다. 도 3은 본 발명에 따른 입체 디스플레이 장치의 예시도이며, 이 경우와 같이 영상 처리부(100)는 컴퓨터가 될 수 있다. 따라서 본원 발명에 따른 입체 영상 디스플레이 장치를 CGIP(Computer Generated Integral Photography) 장치라고 할 수 있다.In addition, as shown in FIG. 3, a plurality of images are photographed using a conventional camera, and the basic images are produced by using a computer to have each image having a different depth, and when the images are reproduced by a display device including a lens array, the depth is different. (quasi) 3D image can be implemented. 3 is an exemplary view of a stereoscopic display device according to the present invention. As in this case, the image processing unit 100 may be a computer. Accordingly, the stereoscopic image display apparatus according to the present invention may be referred to as a CGIP (Computer Generated Integral Photography) apparatus.
다음에는 이러한 구조로 이루어지는 본 발명의 실시예에 따른 입체 영상 디스플레이 장치의 작용에 대하여 설명한다.Next, the operation of the stereoscopic image display device according to the embodiment of the present invention having such a structure will be described.
일반적인 3차원 영상은 2차원 영상 정보에 깊이 정보가 추가된 것으로 이를 2차원 매체인 디스플레이 패널 위에서 구현하기 위해서는 여러 방향에서의 정보를 담고 있는 기초 영상들의 집합(set)으로 바꿔주어야 한다.In general 3D image, depth information is added to 2D image information, and in order to implement it on a display panel, which is a 2D medium, a 3D image needs to be changed into a set of basic images containing information in various directions.
본 발명에 따른 입체 영상 디스플레이 장치에서 기초 영상 생성부(110)는 디스플레이 하고자 하는 가상 물체의 3차원 정보를 사용되는 렌즈 어레이(300)의 특성에 맞게 기초 영상들의 집합으로 매핑(mapping) 하며, 특히, 3차원 영상 정보의 기초 영상으로의 매핑은 3차원 영상 정보를 이루는 각각의 모든 점에 대하여 독립적으로 이루어진다.In the stereoscopic image display apparatus according to the present invention, the base image generating unit 110 maps the 3D information of the virtual object to be displayed into a set of base images according to the characteristics of the lens array 300 used. In addition, mapping of the 3D image information to the base image is performed independently for each point of the 3D image information.
3차원 영상 정보를 이루는 한 점을 그 점이 갖고 있는, 혹은 임의로 선택된 깊이 정보 (z 값)와 사용된 렌즈 어레이의 초점 거리, 기초 렌즈의 크기, 그 점의 평면상의 위치 정보 (x, y 값) 등을 고려하여 기초 영상으로 바꾸고, 이 과정을 3차원 영상 정보를 이루는 모든 점에 대하여 시행하게 되면 전체 3차원 영상 정보를 기초 영상으로 바꾸게 된다.One point of the three-dimensional image information that the point has or arbitrarily selected depth information (z value), the focal length of the lens array used, the size of the base lens, and the positional information on the plane of the point (x, y value) The basic image is changed to the basic image, and if this process is performed for all the points forming the 3D image information, the entire 3D image information is changed to the basic image.
도 4에 기초 영상을 생성하는 개념도가 도시되어 있다.4 is a conceptual diagram for generating a base image.
3차원 영상정보를 이루는 한 점 P의 평면상의 위치를 직교 좌표로 (x, y), 그 깊이 정보, 즉 렌즈 어레이(300)로부터 그 점의 상이 맺히는 곳까지의 거리를 z, 렌즈 어레이(300)의 각 기초 렌즈 중 왼쪽으로부터 i 번째, 위로부터 j 번째에 위치되는 기초 렌즈의 중심 좌표를 (lens_x[i][j], lens_y[i][j]), 그리고 기초 렌즈의 x방향 크기를 Lx, y방향 크기를 Ly, 초점 거리를 f 라고 하자.The position on the plane of a point P forming three-dimensional image information in (x, y) in Cartesian coordinates, and the depth information, that is, the distance from the lens array 300 to the place where the image of the point is formed, z, the lens array 300 ), The center coordinates (lens_x [i] [j], lens_y [i] [j]) of the base lens positioned i th from the left and j th from the top of each base lens of Let Lx be the y-direction and Ly be the focal length f.
이 때 가상의 물체 포인트(object point)인 점 P의 기초 영상 중 왼쪽으로부터 i 번째, 위로부터 j 번째에 위치한 기초 렌즈에 의한 기초 영상은 다음 식에 의한 좌표값을 가지는 점 E_ij 가 된다.At this time, the base image by the base lens located at the i th from the left and the j th from the left among the base images of the point P, which is a virtual object point, becomes a point E_ij having a coordinate value according to the following equation.
(수학식 1)Elemental_image_x[i][j] = lens_x[i][j] + (f/z) * (lens_x[i][j] x )Elemental_image_x [i] [j] = lens_x [i] [j] + (f / z) * (lens_x [i] [j] x)
(수학식 2)Elemental_image_y[i][j] = lens_y[i][j] + (f/z) * (lens_y[i][j] y )Elemental_image_y [i] [j] = lens_y [i] [j] + (f / z) * (lens_y [i] [j] y)
위의 식들은 도 4의 기초 영상 제작의 개념도(편의상 렌즈 어레이(300)를 핀홀 어레이(pinhole array)로 생각한다.)로부터 두개의 닮은꼴 삼각형의 비례관계에 의해 쉽게 얻을 수 있다. 그러나 위의 수학식 1 및 2에 의하여 계산된 점 E_ij가 반드시 왼쪽으로부터i 번째, 위로부터 j 번째에 위치한 기초렌즈에 의한 기초 영상이 되는 것은 아니고 다음 두 가지 조건을 동시에 만족시킬 때만 기초 영상이 된다.The above equations can be easily obtained by proportional relation of two similar triangles from the conceptual diagram of the basic image production of FIG. 4 (conveniently, the lens array 300 is regarded as a pinhole array). However, the point E_ij calculated by the above Equations 1 and 2 is not necessarily the base image by the base lens located at the i th from the left and the j th from the top, but is a base image only when the following two conditions are satisfied at the same time. .
(조건1) -Lx/2 < Elemental_image_x[i][j] - lens_x[i][j] < Lx/2(Condition 1) -Lx / 2 <Elemental_image_x [i] [j]-lens_x [i] [j] <Lx / 2
(조건2) -Ly/2 < Elemental_image_y[i][j] - lens_y[i][j] < Ly/2(Condition 2) -Ly / 2 <Elemental_image_y [i] [j]-lens_y [i] [j] <Ly / 2
위의 수학식 1과 수학식 2에 의하여 계산된 값이 조건 1과 조건 2를 동시에만족시키지 못할 때에는 점 E_ij 는 점 P 의 기초 영상이 될 수 없다. 조건 1과 조건 2의 만족여부에 관계없이 수학식1과 수학식 2에 의하여 계산된 점들을 모두 기초 영상을 이루는 점으로 취급하여 기초 영상을 구성하게 되면, 각 기초렌즈의 기초 영상들간의 상호 간섭에 의하여 재생된 3차원 영상의 질이 현저히 떨어지게 된다.When the values calculated by Equations 1 and 2 above do not satisfy Condition 1 and Condition 2 simultaneously, the point E_ij cannot be the base image of the point P. Regardless of whether the condition 1 and condition 2 are satisfied, when the points calculated by Equation 1 and Equation 2 are treated as the points forming the base image, the base image is constructed. The quality of the reproduced three-dimensional image is significantly degraded.
이러한 과정을 도 5를 참조로 하여 설명하면 다음과 같다.This process will be described with reference to FIG. 5 as follows.
도 5는 본 발명의 실시예에 따른 기초 영상을 생성하여 입체 영상을 표시하는 방법을 순차적으로 도시한 순서도이다.5 is a flowchart sequentially illustrating a method of generating a base image and displaying a stereoscopic image according to an exemplary embodiment of the present invention.
첨부한 도 5에 되어 있듯이, 우선 기초 영상 생성부(110)는 렌즈어레이(300)를 구성하는 기초 렌즈들의 위치를 계산한다(S100∼S110). 다음으로 물체를 구성하는 포인트들을 z방향으로 오름차순으로(small z => large z) 정렬시킨다(S120).As shown in FIG. 5, the basic image generating unit 110 first calculates positions of the basic lenses constituting the lens array 300 (S100 to S110). Next, the points constituting the object are aligned in the ascending order (small z => large z) in the z direction (S120).
그런 다음 하나의 물체 포인트의 x,y 정보로부터 기초 영상들 중 중심(center)이 되는 기초 영상 포인트를 구한 후, 물체 포인트의 z 정보로부터 조건1과 조건2를 만족하는 기초 영상의 개수(possible i,j)를 구한다(조건1과 2를 만족하는 기초 영상들만을 추출하는 과정)(S130∼S150). 여기서, 중심 기초 영상 포인트란 물체 포인트 P로부터 렌즈 어레이 평면과 수직인 곳에 위치한 기초 렌즈에 의해 맺히는 기초 영상 포인트를 의미하며, 이를 기준으로 하여 기초 영상 집합을 구하게 된다.Then, from the x, y information of one object point, the base image point that is the center of the base images is obtained, and the number of basic images satisfying condition 1 and condition 2 from the z information of the object point (possible i , j) (process of extracting only basic images satisfying conditions 1 and 2) (S130 to S150). Here, the center base image point means a base image point formed by a base lens located at a position perpendicular to the plane of the lens array from the object point P, and a base image set is obtained based on this.
다음에, possible i,j에 대해 기초 영상의 집합인 E_ij 즉, 물체 포인트 P에 대한 최종적인 기초 영상 집합을 구한다(S160). 결국 3차원 영상 정보를 이루는 한 점 P의 왼쪽으로부터 i번째, 위로부터 j 번째에 위치하는 기초렌즈에 의한 기초 영상 E_ij 는 수학식1과 수학식2에 의하여 계산되고, 위의 조건 1과 조건 2를 동시에 만족할 경우에만 점 P 의 기초 영상으로서 설정된다.Next, a final basic image set for the object point P, that is, E_ij, which is a set of basic images, is obtained for possible i, j (S160). As a result, the base image E_ij by the base lens located at the i th from the left and the j th from the left of the point P forming the three-dimensional image information is calculated by Equations 1 and 2, and the conditions 1 and 2 above. It is set as the base image of point P only when is satisfied at the same time.
이러한 방법으로 렌즈 어레이(300)의 모든 기초 렌즈에 대하여 각각의 E_ij를 구하고, 이 중 조건 1과 조건 2를 동시에 만족시키는 점들의 집합을 구하면 그 집합이 3차원 영상정보를 이루는 한 점 P의 기초 영상이 된다. 즉, 점 P의 기초 영상 = {E_ij | 점 E_ij 는 조건1과 조건2를 동시에 만족, i=1,2,.., num_lens_x , j= 1,2,,num_lens_y}와 같이 된다. 이 때 num_lens_x , num_lens_y는 렌즈 어레이를 구성하는 기초렌즈의 x , y 방향으로의 개수를 나타낸다.In this way, each E_ij is obtained for every elementary lens of the lens array 300, and a set of points satisfying condition 1 and condition 2 simultaneously is obtained, and the set is the basis of a point P that forms 3D image information. It becomes an image. That is, the base image of the point P = {E_ij | The point E_ij satisfies condition 1 and condition 2 simultaneously, i = 1, 2, ..., num_lens_x, j = 1,2 ,, num_lens_y}. In this case, num_lens_x and num_lens_y indicate the number of base lenses constituting the lens array in the x and y directions.
위와 같은 방법에 의해 3차원 영상정보를 이루는 한 점 P 의 기초 영상을 구한 다음에, 기초 영상 생성부(110)는 구해진 기초 영상을 토대로 구동부(120)를 동작시키고, 이에 따라 구동부(120)가 디스플레이 패널(200)을 구동시킴에 따라, 디스플레이 패널(200) 상에 3차원 영상정보를 이루는 한 점 P의 기초 영상이 디스플레이된다. 그리고 디스플레이 패널(200)에 디스플레이이된 기초 영상이 렌즈 어레이(300)에 의하여 결상되어 3차원 영상 정보 P로 재생된다(S170).After obtaining a basic image of a point P forming three-dimensional image information by the above method, the basic image generating unit 110 operates the driving unit 120 based on the obtained basic image, and thus the driving unit 120 As the display panel 200 is driven, a basic image of a point P forming three-dimensional image information is displayed on the display panel 200. The base image displayed on the display panel 200 is imaged by the lens array 300 and reproduced as 3D image information P (S170).
다른 3차원 영상 정보의 점에 대해서도 위에 기술된 과정을 반복 수행하여 기초 영상을 구한 다음에 디스플레이 패널(200)을 통하여 디스플레이 한다(S180).The base image is obtained by repeating the above-described process for other 3D image information points and then displayed on the display panel 200 (S180).
따라서, 3차원 영상 정보의 모든 점에 대하여 각각 위와 같은 방법을 적용하여 기초 영상들을 구하게 되며, 다시 이 기초 영상들의 집합이 3차원 영상정보의 전체 기초 영상이 된다.Accordingly, the base images are obtained by applying the above method to all points of the 3D image information, and the set of the base images becomes the entire base image of the 3D image information.
여기서 3차원 영상 정보의 모든 점에 대하여 기초 영상을 구한 다음에, 구해진 기초 영상을 디스플레이 패널을 통하여 디스플레이하여 3차원 영상을 재생할 수도 있다.Here, after obtaining the base image for all points of the 3D image information, the obtained base image may be displayed on the display panel to reproduce the 3D image.
한편, 이러한 기초 영상을 구하는 과정은 3차원 영상 정보를 이루는 각 점이 가지고 있는, 혹은 임의로 설정된 깊이 정보(z) 값의 크기 순서에 따라, z 값이 작은 점부터 z 값이 큰 점의 순서로 z를 증가시키면서 모든 물체 포인트에 대해서 행해지게 된다.On the other hand, the process of obtaining the base image is z in the order of the smallest z value to the larger z value according to the size order of the depth information (z) value that each point constituting the 3D image information has or arbitrarily set. Is done for all object points with increasing.
이와 같은 순서로 임의의 3차원 가상 물체에 대한 기초 영상을 구함으로써 입체 표시 영상을 얻을 수 있고, 촬영-디스플레이 방식에서 나타나는 깊이 역전(pseudoscopic) 영상의 문제를 자연스럽게 해결할 수 있다.또한 도 3과 같이 각각 다른 깊이로 재생될 영상들을 각각 일반 카메라로 잡고 그것을 각각의 깊이 정보로 매핑한 후 하나의 디스플레이 장치에 모아서 재생하게 되면, 배경과 대상들이 서로 다른 깊이감을 갖는 3차원 영상장치를 구성할 수 있게 된다.By obtaining a base image of an arbitrary three-dimensional virtual object in this order, a three-dimensional display image can be obtained, and the problem of the depth-pseudo image shown in the photographing-display method can be naturally solved. By grabbing images to be played at different depths with a general camera, mapping them to respective depth information, and collecting and playing them on one display device, a background and an object can be configured to have a 3D image device having a different depth. do.
비록, 이 발명이 가장 실제적이며 바람직한 실시예를 참조하여 설명되었지만, 이 발명은 상기 개시된 실시예에 한정되지 않으며, 후술되는 특허 청구 범위 내에 속하는 다양한 변형 및 등가물들도 포함한다.Although this invention has been described with reference to the most practical and preferred embodiments, the invention is not limited to the embodiments disclosed above, but also includes various modifications and equivalents within the scope of the following claims.
이상에서와 같이 위에 기술된 이 발명의 실시예에 따라 촬영부(pickup)를 생략할 수 있으므로 촬영부에서 발생하는 다수의 문제점들을 해결할 수 있게 된다.구체적으로는 첫째, 재생되는 물체를 임의로 가정하고 관찰자가 orthoscopic한 영상을 볼 수 있도록 기초 영상들을 구성하므로. 기존의 IP 방식에서 발생하는 깊이 역전 영상(재생되는 영상의 깊이가 역전되는 현상)을 해결할 수 있다.As described above, according to the above-described embodiment of the present invention, the pick-up part can be omitted, and thus, a number of problems occurring in the pick-up part can be solved. Since the observers construct the base images so that they can see the orthoscopic images. It is possible to solve the depth inversion image (phenomena in which the depth of the reproduced image is inverted) generated in the conventional IP method.
둘째, 기존의 IP 방식에서는 촬영과 디스플레이시에 두개의 렌즈 어레이를 사용하고 촬영시 고해상도의 CCD 카메라가 필요한 반면에, 본 발명에 따른 입체 영상 디스플레이 장치에서는 디스플레이할 때 하나의 렌즈 어레이만이 필요해 비용을 절감하고 시스템의 구조를 단순화할 수 있다.Second, in the conventional IP method, two lens arrays are used for photographing and display, and a high resolution CCD camera is required for photographing, whereas in the stereoscopic image display device according to the present invention, only one lens array is required for displaying. Can reduce the cost and simplify the structure of the system.
셋째, 기존의 IP 방식에서 렌즈 어레이의 크기가 커지게 되면 촬영 과정에서렌즈의 초점이 맞지 않는 오프-포커스(off-focus)문제가 생겨 기초 영상의 해상도가 떨어지게 되는데, 본원 발명에 따른 입체 영상 디스플레이 장치에서는 기초 영상의 해상도가 디스플레이 패널의 해상도에만 관계하므로 이러한 오프-포커스 문제를 해결할 수 있다.Third, when the size of the lens array increases in the conventional IP method, an off-focus problem occurs when the lens is out of focus in the photographing process, and thus the resolution of the base image is reduced. In the device, this off-focus problem can be solved because the resolution of the base image is related only to the resolution of the display panel.
넷째, 본 발명에 따른 입체 영상 디스플레이 장치에서는 기존의 3차원 컴퓨터 그래픽스에서 사용되는 소스(source) 정보를 손쉬운 영상처리와 렌즈 어레이를 포함하는 디스플레이 장치만을 통해 입체 영상을 보는 것이 가능하다.Fourth, in the stereoscopic image display apparatus according to the present invention, it is possible to view stereoscopic images through easy display of source information used in conventional 3D computer graphics and a display apparatus including a lens array.
또한, 깊이 차이를 가지는 여러 개의 평면들로(예를 들어 배경과 인물들간의 깊이 차이를 갖는 평면) 준 3차원 영상 시스템을 구성할 수 있다.In addition, a quasi-three-dimensional imaging system may be configured with a plurality of planes having a depth difference (for example, a plane having a depth difference between a background and a person).
Claims (3)
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0034331A KR100464286B1 (en) | 2000-06-21 | 2000-06-21 | integral photograhpy display device and method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2000-0034331A KR100464286B1 (en) | 2000-06-21 | 2000-06-21 | integral photograhpy display device and method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20020003629A KR20020003629A (en) | 2002-01-15 |
| KR100464286B1 true KR100464286B1 (en) | 2004-12-31 |
Family
ID=19673122
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2000-0034331A KR100464286B1 (en) | 2000-06-21 | 2000-06-21 | integral photograhpy display device and method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100464286B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100860611B1 (en) | 2006-04-21 | 2008-09-29 | 재단법인서울대학교산학협력재단 | System for providing three-dimensional integral imaging using multi-layered display device |
| KR101118744B1 (en) * | 2005-03-02 | 2012-03-14 | 재단법인서울대학교산학협력재단 | Three-dimensional/ two-dimensional convertible display device |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100433276B1 (en) * | 2001-05-02 | 2004-05-31 | 대한민국 | Three-dimensional display |
| KR100493054B1 (en) | 2003-03-04 | 2005-06-02 | 삼성전자주식회사 | Semiconductor device having delay locked loop and method for controlling the delay locked loop |
| KR101433803B1 (en) | 2007-06-18 | 2014-08-27 | 삼성전자주식회사 | Method and apparatus for generating elemental image in integral imaging |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0365943U (en) * | 1989-10-31 | 1991-06-26 | ||
| KR950035466A (en) * | 1994-02-01 | 1995-12-30 | 다까노 야스아끼 | Method for converting 2D image into 3D image and 3D image display system |
| JPH08160355A (en) * | 1994-06-20 | 1996-06-21 | Tomohiko Hattori | Stereoscopic picture display device |
| KR970062750A (en) * | 1996-02-23 | 1997-09-12 | 요트. 게. 아. 롤페즈 | Auto stereoscopic display device |
| JP2000123196A (en) * | 1998-09-25 | 2000-04-28 | Lucent Technol Inc | Display engineering for three-dimensional virtual reality |
-
2000
- 2000-06-21 KR KR10-2000-0034331A patent/KR100464286B1/en active IP Right Grant
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0365943U (en) * | 1989-10-31 | 1991-06-26 | ||
| KR950035466A (en) * | 1994-02-01 | 1995-12-30 | 다까노 야스아끼 | Method for converting 2D image into 3D image and 3D image display system |
| KR100358021B1 (en) * | 1994-02-01 | 2003-01-24 | 산요 덴키 가부시키가이샤 | Method of converting 2D image into 3D image and stereoscopic image display system |
| JPH08160355A (en) * | 1994-06-20 | 1996-06-21 | Tomohiko Hattori | Stereoscopic picture display device |
| KR970062750A (en) * | 1996-02-23 | 1997-09-12 | 요트. 게. 아. 롤페즈 | Auto stereoscopic display device |
| JP2000123196A (en) * | 1998-09-25 | 2000-04-28 | Lucent Technol Inc | Display engineering for three-dimensional virtual reality |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101118744B1 (en) * | 2005-03-02 | 2012-03-14 | 재단법인서울대학교산학협력재단 | Three-dimensional/ two-dimensional convertible display device |
| KR100860611B1 (en) | 2006-04-21 | 2008-09-29 | 재단법인서울대학교산학협력재단 | System for providing three-dimensional integral imaging using multi-layered display device |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20020003629A (en) | 2002-01-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100730406B1 (en) | Three-dimensional display apparatus using intermediate elemental images | |
| JP4328311B2 (en) | Method and program for creating multi-viewpoint image for 3D image display | |
| JP4762994B2 (en) | Parallax map | |
| US5455689A (en) | Electronically interpolated integral photography system | |
| JP4351996B2 (en) | Method for generating a stereoscopic image from a monoscope image | |
| CN108513123B (en) | Image array generation method for integrated imaging light field display | |
| JP2761837B2 (en) | 3D image display device | |
| US20010038413A1 (en) | System and method for facilitating the adjustment of disparity in a stereoscopic panoramic image pair | |
| RU2453922C2 (en) | Method of displaying original three-dimensional scene based on results of capturing images in two-dimensional projection | |
| JP2009516864A (en) | Drawing views for multi-view display devices | |
| US5764236A (en) | Image data processing apparatus and image reproduction apparatus | |
| KR101433803B1 (en) | Method and apparatus for generating elemental image in integral imaging | |
| JP2007101930A (en) | Method for forming and displaying element image of stereoscopic image and stereoscopic image display device | |
| JPH10500498A (en) | Spatial effective image generation method | |
| KR100430381B1 (en) | Three-dimensional display | |
| KR20150120029A (en) | Depth convertion method of 3D images interal imaging system | |
| JP3810624B2 (en) | 3D image display system that combines light beam reproduction and shadow-type multi-view parallax | |
| KR100464286B1 (en) | integral photograhpy display device and method thereof | |
| KR100433276B1 (en) | Three-dimensional display | |
| JP3676916B2 (en) | Stereoscopic imaging device and stereoscopic display device | |
| JP4184690B2 (en) | Image forming method, image forming program, and image forming apparatus | |
| JPH0749944A (en) | Method and device for image processing | |
| KR100897305B1 (en) | Three-dimensional integral display method and system using elemental images and computer readable record-medium on which program for executing method thereof | |
| KR100652204B1 (en) | Method for displaying volumetric image and apparatus thereof | |
| KR100708834B1 (en) | Stereoscopic image display system |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| N231 | Notification of change of applicant | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20121226 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20131218 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20141210 Year of fee payment: 11 |
|
| FPAY | Annual fee payment |
Payment date: 20151126 Year of fee payment: 12 |
|
| FPAY | Annual fee payment |
Payment date: 20160222 Year of fee payment: 13 |
|
| FPAY | Annual fee payment |
Payment date: 20171124 Year of fee payment: 14 |
|
| FPAY | Annual fee payment |
Payment date: 20181203 Year of fee payment: 15 |