KR100897305B1 - Three-dimensional integral display method and system using elemental images and computer readable record-medium on which program for executing method thereof - Google Patents
Three-dimensional integral display method and system using elemental images and computer readable record-medium on which program for executing method thereof Download PDFInfo
- Publication number
- KR100897305B1 KR100897305B1 KR1020070066697A KR20070066697A KR100897305B1 KR 100897305 B1 KR100897305 B1 KR 100897305B1 KR 1020070066697 A KR1020070066697 A KR 1020070066697A KR 20070066697 A KR20070066697 A KR 20070066697A KR 100897305 B1 KR100897305 B1 KR 100897305B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- sectioning
- dimensional
- depth map
- element image
- Prior art date
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N2213/00—Details of stereoscopic systems
- H04N2213/003—Aspects relating to the "2D+depth" image format
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
본 발명의 일 측면에 따르면, 요소 영상을 이용한 3차원 집적 영상 방법이 개시된다. 본 발명의 일 실시예에 따른 요소 영상을 이용한 3차원 집적 영상 방법은 2차원 영상을 상기 2차원 영상에 상응하는 깊이 지도의 그레이 레벨에 따라 복수의 섹션닝 영상으로 분리하는 섹션닝 단계; 및 상기 섹션닝에 의해 얻어진 복수의 섹션닝 영상을 조합하여 요소 영상을 생성하는 단계를 포함할 수 있다.According to an aspect of the present invention, a three-dimensional integrated imaging method using a component image is disclosed. According to an embodiment of the present invention, a three-dimensional integrated image method using an element image includes: a sectioning step of separating a two-dimensional image into a plurality of sectioning images according to gray levels of a depth map corresponding to the two-dimensional image; And generating an element image by combining the plurality of sectioning images obtained by the sectioning.
집적 영상 방법, 요소 영상, 깊이 지도 Integrated imaging method, elemental imaging, depth map
Description
본 발명은 3차원 집적 영상 방법, 시스템 및 이를 실행하는 프로그램이 기록된 기록매체에 관한 것으로, 상세하게는 요소 영상을 이용한 3차원 집적 영상 방법, 시스템 및 이를 실행하는 프로그램이 기록된 기록매체에 관한 것이다.The present invention relates to a three-dimensional integrated imaging method, a system and a recording medium on which a program for executing the same is recorded. More particularly, the present invention relates to a three-dimensional integrated imaging method, a system and a recording medium on which a program for executing the same are recorded. will be.
최근 3차원 영상과 영상 재생 기술에 관한 연구들이 활발히 이뤄지고 전 세계적으로 많은 관심을 얻고 있다. 영상 기술이 첨단화 되고 고도의 기술 집적이 이루어지고 있다. 이에 따라 3차원 영상은 2차원 영상 보다 실감 있고 자연스러우며 보다 인간에 가까워 3차원 영상에 대한 수요가 증가하고 있다. Recently, researches on 3D image and image reproducing technology have been actively conducted, and have attracted much attention all over the world. Imaging technology is advanced and high technology integration is taking place. Accordingly, the demand for 3D images is increasing because 3D images are more realistic, natural, and closer to humans than 2D images.
3차원 영상 재생 기술은 관측자에게 평면 이미지가 아니라 입체감 있고 실감 있는 3차원 입체 영상을 느낄 수 있도록 입체로 표시하는 기술을 말한다. 현재 3차 원 입체 영상을 재생하기 위한 방법에는 스테레오스코피(stereoscopy), 홀로그래피 (holography), 집적영상(integral imaging) 기법 등 여러 가지 기술이 연구 개발되고 있다.3D image reproducing technology refers to a technology of displaying a stereoscopic image so that an observer can feel a three-dimensional and realistic three-dimensional image rather than a flat image. Currently, various techniques such as stereoscopy, holography, and integrated imaging techniques have been researched and developed to reproduce 3D stereoscopic images.
스테레오스코피 방식은 인간시각 시스템(human visual system)을 모방한 방식이다. 스테레오스코피 방식은 좌·우 양쪽 눈에 대응되는 영상을 구분하여 각각 입력시키는 방식이다. 즉, 스테레오스코피 방식은 영상을 좌안시 영상과 우안시 영상으로 분리한 후 편광 액정판으로 된 안경을 장착한 관측자의 좌안과 우안으로 각각 입사시켜 입체 영상을 느끼게 하는 방식이다. 스테레오스코피 방식은 좌·우 영상을 이용하여 스테레오 시차(stereo disparity)를 통해 입체감을 느끼게 하는 가장 단순한 구조의 방식이다.Stereoscopy is a method that mimics the human visual system. In the stereoscopic method, images corresponding to both left and right eyes are distinguished and inputted respectively. In other words, the stereoscopic method divides an image into a left eye image and a right eye image, and then enters the left and right eyes of an observer wearing glasses made of polarized liquid crystal plates, respectively, to make a stereoscopic image. The stereoscopic method is the simplest structure that makes a stereoscopic sense through stereo disparity using left and right images.
그러나 스테레오스코피 방식은 일반적으로 수평시차로 제한된다. 또한, 양안에 들어오는 두 영상의 시차와 인간의 초점 기능 사이의 차이에 의해 어지러움 및 눈의 피로감을 느끼게 한다. 따라서 스테레오방식은 장시간의 입체 영상 재생 시스템으로써 사용이 크게 제한되고 있다. However, stereoscopic methods are generally limited to horizontal parallax. In addition, the difference between the parallax of the two images coming into both eyes and the focus function of the human being causes dizziness and eye fatigue. Therefore, the stereo system has been greatly limited in use as a long time stereoscopic image reproducing system.
홀로그래피 방식은 홀로그래피에 광원을 비추면 관측자는 홀로그래피의 전면으로부터 일정한 거리를 두고 떨어져 홀로그래피를 바라보면서 허상의 입체 영상을 관측하게 된다. 홀로그래피 방식은 레이저를 이용하여 제작한 홀로그래피를 관측시 특수 안경을 장착하지 않고도 실물과 똑같은 입체 영상을 느낄 수 있는 방식이다. 따라서 홀로그래피 방식은 입체감이 뛰어나며 인간이 피로감이 없이 3차원 영상을 느끼는 가장 이상적인 방식이라고 알려져 있다.In the holography method, when a light source is illuminated on the holography, an observer observes a virtual image of the virtual image while looking at the holography at a certain distance from the front of the holography. The holography method is a method of observing holography produced using a laser, and it is possible to feel the same stereoscopic image as the real one without wearing special glasses. Therefore, the holography method is known to be the most ideal way to feel the three-dimensional image without the fatigue and excellent stereoscopic feeling.
그러나 홀로그래피 방식은 암실에서 레이저를 이용하여 홀로그램을 합성해야 할 뿐만 아니라 사용하는 광원이 제한적이고 먼 거리의 물체를 표현하는데 문제점을 가지고 있다. 또한, 홀로그래피 방식은 기존 방식의 과도한 정보량으로 인하여 실시간적 전송 및 영상 재생이 어려워 실질적인 응용이 크게 제한되고 있다.However, the holography method not only has to synthesize holograms using a laser in a dark room, but also has a problem in that the light source used is limited and expresses a long distance object. In addition, the holography method is difficult to real-time transmission and image playback due to the excessive amount of information of the conventional method is substantially limited in practical applications.
집적 영상 방식은 Lippmann에 의해 1908년에 처음 제안되었다. 그 후, 집적 영상 방식은 차세대 3차원 영상 재생 기술로 연구되어 왔다. 그러나 집적 영상 방식은 그 동안 별 주목을 받지 못하였다. 그러나 집적 영상 방식은 최근 액정 표시 장치(Liquid Crystal Digital; LCD)와 같은 평면 재생 장치 및 이미지 센서(Charge Coupled Device; CCD)와 같은 고해상 영상검출 장치의 개발로 다시 큰 주목을 받고 있다. Integrated imaging was first proposed in 1908 by Lippmann. Since then, the integrated image method has been studied with the next generation 3D image reproduction technology. However, the integrated imaging method has not received much attention during that time. However, the integrated image method has recently received great attention due to the development of a high-resolution image detection device such as a flat display device such as a liquid crystal display (LCD) and an image sensor (Charge Coupled Device (CCD)).
일반적으로 집적 영상 기술은 크게 영상 획득 단계와 영상 재생 단계로 나뉘어 진다. 영상 획득 단계는 이미지 센서와 같은 2차원 감지기와 렌즈 어레이로 구성되며, 이때 3차원 객체는 렌즈 어레이 앞에 위치한다. 그러면 3차원 객체의 다양한 영상정보들이 렌즈 어레이를 통과한 후 2차원 감지기에 저장된다. 이때 저장된 영상은 요소 영상으로서 3차원 재생을 위해 이용된다. 이후 집적 영상 기술의 영상 재생 단계는 영상 획득 단계의 역과정으로, 액정 표시 장치와 같은 영상 재생 장치와 렌즈 배열(영상 획득 단계의 렌즈 어레이와 구분하기 위해 영상 재생 단계는 이하 렌즈 배열이라 함)로 구성된다. 여기서, 영상 획득과정에서 얻은 요소 영상은 영상 재생 장치에 표시되고, 요소 영상의 영상정보는 렌즈 배열을 통과하여 공간상에 3차원 영상으로 재생되게 된다.In general, integrated image technology is largely divided into an image acquisition step and an image reproduction step. The image acquisition step consists of a two-dimensional detector such as an image sensor and a lens array, wherein the three-dimensional object is located in front of the lens array. Various image information of the 3D object is then passed through the lens array and stored in the 2D detector. At this time, the stored image is used for 3D reproduction as an element image. The image reproducing step of the integrated image technology is a reverse process of the image acquiring step, and the image reproducing device such as a liquid crystal display and a lens array (the image reproducing step is referred to as a lens array hereinafter to distinguish it from the lens array of the image acquiring step). It is composed. Here, the element image obtained in the image acquisition process is displayed on the image reproducing apparatus, and the image information of the element image passes through the lens array to be reproduced as a 3D image in space.
집적 영상 방식은 홀로그래피 방식과 같이 완전 시차(Full parallax)와 연속적인 관측시점을 제공하는 장점을 가지고 있다. 집적 영상 방식의 주요한 특징은 입체 영상을 관측하는데 안경이나 기타 도구가 필요하지 않고, 시점이 아니라 일정한 시야각 내에서 연속적인 수직, 수평 시차를 제공할 수 있다는 것이다. 또한, 집적 영상 방식은 총 천연색 실시간 영상 재생이 가능하며, 기존의 평면 영상 장치와 호환성이 뛰어나다. Integrated imaging has the advantage of providing full parallax and continuous view like holography. The main feature of the integrated imaging method is that it does not require glasses or other tools to observe stereoscopic images and can provide continuous vertical and horizontal parallax within a certain viewing angle rather than a viewpoint. In addition, the integrated image system is capable of reproducing a full color real-time image, and is highly compatible with a conventional planar image device.
그러나 집적영상 방식은 많은 장점들에도 불구하고 완전한 상용화를 이루기 위해서는 시야각, 깊이감, 해상도 면에서 많은 개선이 요구되고 있다. 또한 영상 획득 단계에서 영상 재생 장치의 기술에 따라 서로 다른 방식을 사용해야 한다는 문제점을 가지고 있다.However, despite the many advantages, the integrated image method requires much improvement in view angle, depth, and resolution to achieve full commercialization. In addition, according to the technology of the image reproducing apparatus in the image acquisition step has a problem that different methods should be used.
따라서 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로써, 본 발명은 깊이 지도를 이용하여 영상 재생 장치의 기술에 관계없이 3차원 집적 영상을 디스플레이 할 수 있는 3차원 집적 영상 방법 및 시스템을 제공하기 위한 것이다. Accordingly, the present invention has been made to solve the above problems, the present invention provides a three-dimensional integrated image method and system that can display a three-dimensional integrated image regardless of the technology of the image reproducing apparatus using a depth map. It is to.
또한, 본 발명은 요소 영상을 이용하여 깊이감 및 해상도 면에서 개선된 3차원 집적 영상 방법 및 시스템을 제공하기 위한 것이다. In addition, the present invention is to provide a three-dimensional integrated imaging method and system in terms of depth and resolution using the element image.
본 발명의 이외의 목적들은 하기의 설명을 통해 쉽게 이해될 수 있을 것이다. Other objects of the present invention will be readily understood through the following description.
본 발명의 일 측면의 따르면, 3차원 집적 영상 방법이 개시된다.According to one aspect of the invention, a three-dimensional integrated imaging method is disclosed.
본 발명의 일 실시예에 따른 3차원 집적 영상 방법은 2차원 영상을 상기 2차원 영상에 상응하는 깊이 지도의 그레이 레벨에 따라 복수의 섹션닝 영상으로 분리하는 섹션닝 단계; 및 상기 섹션닝에 의해 얻어진 복수의 섹션닝 영상을 조합하여 요소 영상을 생성하는 단계를 포함할 수 있다.According to an embodiment of the present invention, a three-dimensional integrated image method includes: a sectioning step of dividing a two-dimensional image into a plurality of sectioning images according to gray levels of a depth map corresponding to the two-dimensional image; And generating an element image by combining the plurality of sectioning images obtained by the sectioning.
상기 섹션닝 단계는, 상기 깊이 지도에서 일정한 그레이 레벨에 해당하는 픽셀 위치 정보를 추출하는 단계; 및 상기 2차원 영상에서 상기 픽셀 위치 정보에 상응하는 픽셀값을 추출하여 상기 각각의 그레이 레벨마다 상기 2차원 영상을 분리하는 섹션닝 단계를 포함하는 요소 영상을 이용할 수 있다. The sectioning step may include extracting pixel position information corresponding to a predetermined gray level from the depth map; And a sectioning step of extracting a pixel value corresponding to the pixel position information from the 2D image and separating the 2D image for each gray level.
상기 요소 영상 생성 단계는, 상기 섹션닝에 의해 얻어진 복수의 섹션닝 영상을 핀홀 배열에 투영시켜 조합함으로써 상기 요소 영상을 생성하는 요소 영상을 이용할 수 있다. The element image generating step may use an element image for generating the element image by projecting and combining a plurality of sectioning images obtained by the sectioning onto a pinhole array.
상기 요소 영상 생성 단계는, 하나의 핀홀에 투영된 복수의 섹션닝 영상이 하나의 요소 영상을 생성하고, 각각의 핀홀에서 생성된 요소 영상을 배열하여 하나의 요소 영상 배열을 생성하는 단계를 포함하는 요소 영상을 이용할 수 있다. The generating of the element image may include generating one element image from a plurality of sectioning images projected on one pinhole, and generating one element image array by arranging the element images generated from each pinhole. Elemental images can be used.
상기 2차원 영상 및 상기 깊이 지도는 광원으로부터 발생하여 상기 3차원 객체에서 반사되는 빔을 검출한 영상 입력 장치가 상기 깊이 지도와 상기 2차원 영상을 획득하는 능동형 영상 입력 장치를 통하여 획득하는 것을 특징으로 하는 요소 영상을 이용할 수 있다. The 2D image and the depth map may be obtained by an image input apparatus that detects a beam reflected from the 3D object generated from a light source through an active image input apparatus that obtains the depth map and the 2D image. Elemental images can be used.
상기 영상 입력 장치는 상기 광원으로부터 일정한 간격으로 빔을 발생시키고, 상기 빔이 반사되어 검출되는 시간을 고려하여, 동일한 시간을 동일한 그레이 레벨로 대응시켜 상기 깊이 지도를 생성하는 능동형 카메라인 요소 영상을 이용할 수 있다.The image input device generates an beam from the light source at regular intervals, and uses an element image which is an active camera that generates the depth map by mapping the same time to the same gray level in consideration of the time when the beam is reflected and detected. Can be.
상기 요소 영상을 이용하여 상기 3차원 객체에 상응하는 3차원 영상을 재생하는 단계를 더 포함하는 요소 영상을 이용할 수 있다. The element image may further include reproducing a 3D image corresponding to the 3D object by using the element image.
상기 3차원 영상 재생 단계는 상기 요소 영상을 렌즈릿 배열에 투사하여 3차원 영상을 재생하되, 상기 렌즈릿 배열에 포함된 하나의 렌즈릿과 상기 요소 영상이 일치되도록 하는 요소 영상을 이용할 수 있다.In the 3D image reproducing step, a 3D image may be reproduced by projecting the element image onto the lenslet array, and an element image may be used to match one element of the lenslet included in the lenslet array and the element image.
본 발명의 다른 측면의 따르면, 3차원 집적 영상 시스템이 개시된다.According to another aspect of the present invention, a three-dimensional integrated imaging system is disclosed.
본 발명의 다른 일 실시예에 따르면, 3차원 집적 영상 시스템은 2차원 영상을 상기 2차원 영상에 상응하는 깊이 지도의 그레이 레벨에 따라 복수의 섹션닝 영상으로 분리하는 섹션닝 영상 처리부; 및 상기 섹션닝에 의해 얻어진 복수의 섹션닝 영상을 조합하여 요소 영상을 생성하는 요소 영상 생성부를 포함할 수 있다.According to another embodiment of the present invention, a three-dimensional integrated image system includes a sectioning image processing unit for separating a two-dimensional image into a plurality of sectioning images according to the gray level of the depth map corresponding to the two-dimensional image; And an element image generator that generates an element image by combining the plurality of sectioning images obtained by the sectioning.
상기 섹션닝 영상 처리부는, 상기 깊이 지도에서 일정한 그레이 레벨에 해당하는 픽셀 위치 정보를 추출하는 제1 처리부; 및 상기 2차원 영상에서 상기 픽셀 위치 정보에 상응하는 픽셀값을 추출하여 상기 각각의 그레이 레벨마다 상기 2차원 영상을 분리하는 제2 처리부를 포함하는 요소 영상을 이용할 수 있다. The sectioning image processor may include: a first processor configured to extract pixel position information corresponding to a predetermined gray level from the depth map; And a second processor that extracts a pixel value corresponding to the pixel position information from the 2D image and separates the 2D image for each gray level.
상기 요소 영상 생성부는, 상기 섹션닝에 의해 얻어진 복수의 섹션닝 영상을 핀홀 배열에 투영시켜 조합함으로써 상기 요소 영상을 생성하는 요소 영상을 이용할 수 있다. The element image generator may use an element image for generating the element image by projecting and combining a plurality of sectioning images obtained by the sectioning onto a pinhole array.
상기 요소 영상 생성부는, 하나의 핀홀에 투영된 복수의 섹션닝 영상이 하나의 요소 영상을 생성하고, 각각의 핀홀에서 생성된 요소 영상을 배열하여 하나의 요소 영상 배열을 생성하는 요소 영상을 이용할 수 있다. The element image generator may use an element image in which a plurality of sectioning images projected in one pinhole generates one element image, and generates an element image array by arranging element images generated in each pinhole. have.
상기 2차원 영상 및 상기 깊이 지도를 3차원 객체로부터 획득하는 영상 입력부를 더 포함하는 요소 영상을 이용할 수 있다. The element image may further include an image input unit configured to obtain the 2D image and the depth map from a 3D object.
상기 2차원 영상 및 상기 깊이 지도의 획득은 영상 입력 장치의 광원으로부터 발생하여 상기 3차원 객체에서 반사되는 빔을 검출한 영상 입력 장치가 상기 깊이 지도와 상기 2차원 영상을 획득하는 요소 영상을 이용할 수 있다.The acquisition of the 2D image and the depth map may be performed by a light source of the image input apparatus, and the image input apparatus that detects a beam reflected from the 3D object may use the element image to obtain the depth map and the 2D image. have.
상기 영상 입력부는 상기 광원으로부터 일정한 간격으로 빔을 발생시키고, 상기 빔이 반사되어 검출되는 시간을 고려하여, 동일한 시간을 동일한 그레이 레벨로 대응시켜 상기 깊이 지도를 생성하는 능동형 카메라인 요소 영상을 이용할 수 있다. The image input unit may generate a beam at regular intervals from the light source, and may use an element image which is an active camera that generates the depth map by mapping the same time to the same gray level in consideration of the time when the beam is reflected and detected. have.
상기 요소 영상을 이용하여 상기 3차원 객체에 상응하는 3차원 영상을 재생하는 영상 재생부를 더 포함하는 요소 영상을 이용할 수 있다. The element image may further include an image reproducing unit which reproduces a 3D image corresponding to the 3D object by using the element image.
상기 영상 재생부는 상기 요소 영상을 렌즈릿 배열에 투사하여 3차원 영상을 재생하되, 상기 렌즈릿 배열에 포함된 하나의 렌즈릿과 상기 요소 영상이 일치되도록 하는 요소 영상을 이용할 수 있다. The image reproducing unit may reproduce the 3D image by projecting the element image onto the lenslet array, and may use an element image such that one lenslet included in the lenslet array matches the element image.
본 발명의 다른 측면에 따르면, 3차원 집적 영상 방법을 실행하는 유형화된 명령어로 이루어진 프로그램이 기록된 전자 장치에서 판독할 수 있는 기록매체가 개시된다.According to another aspect of the present invention, a recording medium is disclosed that can be read by an electronic device on which a program consisting of typed instructions for executing a three-dimensional integrated imaging method is recorded.
본 발명의 다른 일 실시예에 따르면, 3차원 디스플레이 장치가 3차원 집적 영상을 생성하는 방법을 실행하는 유형화된 명령어로 이루어진 프로그램이 기록된 전자 장치에서 판독할 수 있는 기록 매체는 2차원 영상을 상기 2차원 영상에 상응하는 깊이 지도의 그레이 레벨에 따라 복수의 영상으로 분리하는 섹션닝 단계; 및 상기 섹션닝에 의해 얻어진 복수의 영상을 조합하여 요소 영상 배열을 생성하는 단계를 포함하는 요소 영상을 이용한 3차원 집적 영상 방법을 실행하는 프로그램이 기록될 수 있다. According to another embodiment of the present invention, a recording medium readable by an electronic device on which a program comprising typed instructions for executing a method of generating a 3D integrated image by the 3D display apparatus may read the 2D image. Sectioning the image into a plurality of images according to a gray level of a depth map corresponding to the two-dimensional image; And generating a component image array by combining the plurality of images obtained by the sectioning. The program for executing the 3D integrated image method using the component image may be recorded.
이상에서, 설명한 바와 같이, 본 발명은 깊이 지도를 이용한 바, 영상 재생 기술이 어떠한 것인지에 관계없이 획득한 영상을 3차원 집적 영상 방법으로 영상 재생이 가능하다. As described above, according to the present invention, the depth map is used, and thus the image can be reproduced by the 3D integrated image method regardless of the image reproducing technique.
또한 깊이 지도를 이용하여 요소 영상을 생성하는 것은 데이터 용량을 극소화하고 빠른 데이터 처리가 가능한 3차원 영상을 재생하는 효과가 있다.In addition, generating an element image by using a depth map has an effect of minimizing data capacity and reproducing a 3D image capable of fast data processing.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.Although the above has been described with reference to a preferred embodiment of the present invention, those skilled in the art to which the present invention pertains without departing from the spirit and scope of the present invention as set forth in the claims below It will be appreciated that modifications and variations can be made.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all modifications, equivalents, and substitutes included in the spirit and scope of the present invention. In describing the drawings, similar reference numerals are used for similar elements.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다. Terms including ordinal numbers, such as second and first, may be used to describe various components, but the components are not limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the second component may be referred to as the first component, and similarly, the first component may also be referred to as the second component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이 해되어야 할 것이다. When a component is referred to as being "connected" or "connected" to another component, it may be directly connected to or connected to that other component, but it may be understood that other components may be present in between. Should be. On the other hand, when a component is said to be "directly connected" or "directly connected" to another component, it should be understood that there is no other component in between.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art and shall not be construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.
이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings, and the same or corresponding components will be denoted by the same reference numerals regardless of the reference numerals and redundant description thereof will be omitted. In the following description of the present invention, if it is determined that the detailed description of the related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.
도 1은 본 발명의 제1 실시예에 따른 요소 영상을 이용한 3차원 집적 영상 시스템을 설명하기 위한 도면이며, 도 2는 본 발명의 실시예에 따른 능동형 깊이 카메라의 2차원 영상 및 깊이 지도 획득을 설명하기 위한 도면이다.1 is a view for explaining a three-dimensional integrated imaging system using a component image according to a first embodiment of the present invention, Figure 2 is a view for obtaining a two-dimensional image and depth map of an active depth camera according to an embodiment of the present invention It is a figure for demonstrating.
도 1에서 도시한 바와 같이, 본 발명의 일 실시예에 따른 요소 영상을 이용한 3차원 집적 영상 시스템은 영상 입력부(100), 섹션닝(sectioning) 영상 처리부(200), 요소 영상 생성부(300) 및 영상 재생부(400)를 포함할 수 있다.As shown in FIG. 1, in the 3D integrated imaging system using an element image according to an exemplary embodiment, an image input unit 100, a sectioning image processor 200, and an element image generator 300 may be used. And an image reproducing unit 400.
영상 입력부(100)는 3차원 객체(500)로부터 영상을 획득한다. 획득하는 영상은 2차원 영상(111) 및 깊이 지도(112)를 포함할 수 있다. 영상 획득 방법은 예를 들어, 렌즈 어레이를 이용한 영상 획득, 스테레오 카메라 또는 능동형 카메라를 이용한 영상 획득일 수 있다. The image input unit 100 obtains an image from the
여기서, 3차원 객체(500)는 하나의 3차원 객체(500) 또는 3차원 공간상에 위치하여 촬상 객체가 되는 복수의 물체를 포함한다. 즉, 후자의 경우 개별 물체는 2차원의 물체일 수 있으나, 3차원 공간 상에 함께 위치함으로써 본 발명의 촬상 객체가 되는 하나의 3차원 객체(500)를 형성할 수 있다. Here, the
일반적인 집적 영상 기술에서는 렌즈 어레이를 이용하여 기본 영상들을 획득한다. 렌즈 어레이를 이용한 영상 획득 방식은 기본 렌즈의 연속적인 어레이를 이용하여 각 기본 렌즈의 위치에 대하여 다른 시차를 가지는 복수의 기본 영상을 획득한다. 렌즈 어레이를 이용한 영상 획득 방식은 광학계 구현이 단순하며, 한 번의 영상 획득으로 재생시 복수의 시점에 대하여 연속적인 영상이 제공되는 장점이 있다. 그러나 상술한 영상 획득 방식은 기본 영상의 획득이 다영한 시점의 렌즈 어레 이를 통하여 이루어져 때문에 깊이감이 역전되는 현상이 있으며, 재생 영상의 범위가 렌즈 어레이의 크기에 의하여 제한되어 관측 거리에 따라 재생 영역이 달라지는 단점이 있다.In general integrated imaging technology, a basic array of images is acquired using a lens array. An image acquisition method using a lens array acquires a plurality of basic images having different parallaxes with respect to the position of each primary lens using a continuous array of primary lenses. An image acquisition method using a lens array has a simple implementation of an optical system, and has an advantage of providing a continuous image for a plurality of viewpoints during reproduction with one image acquisition. However, the above-described image acquisition method has a phenomenon in which the depth is reversed because the acquisition of the base image is performed through the lens array at the point of time in which the base image is acquired. This has a different disadvantage.
스테레오 카메라는 두 대의 매우 유사한 특성을 가지는 카메라로 구성된다. 스테레오 카메라는 인간의 양안과 같이 평행하게 일정한 간격을 가지고 놓이게 된다. 스테레오 카메라로 획득된 영상은 좌영상과 우영상이 얻어지게 된다. 좌영상과 우영상은 카메라로부터 가까이 있는 물체는 시차가 큰 반면 그 깊이 정보는 적은 값을 가지게 된다. Stereo cameras consist of two very similar characteristics. Stereo cameras are spaced parallel to each other like human eyes. The image obtained by the stereo camera is obtained with the left image and the right image. Left and right images have a large parallax for objects near the camera, while their depth information has a small value.
스테레오 카메라 방식은 정상적인 조명하에서 쉽게 이용 가능한 장치들을 사용하여 물체의 깊이 지도(112)를 얻을 수 있다. 좌우영상은 상호간에 스테레오 정합 과정을 거쳐서 깊이 지도(112)를 추출한다. 스테레오 정합은 좌우영상에서 추출한 객체의 특징을 이용하여 이뤄진다. 추출된 특징은 좌우영상 내에서 분산이 큰 점이나 객체의 윤곽선 정보 등이 될 수 있다. 추출된 특징들의 상호관계는 스테레오 정합에 의해 얻어진다. 객체 점들에 대한 거리는 이러한 스테레오 정합에 의하여 얻어진 대응점들의 시차로부터 계산될 수 있다. The stereo camera method can obtain the
시차 정보를 얻기 위한 방법은 한 영상에서 비용 함수를 만족시키는 다른 영상의 대응점을 찾는 것으로 화소단위, 블록단위, 객체 기반 및 특징점 단위의 방법이 있다. 즉, 좌우영상을 비교하여, 대응점을 찾는 방법에 있어서 그 단위가 화소, 블록, 객체 또는 특징점 단위로 설정할 수 있다. 그러나 스테레오 카메라를 이용한 깊이 지도(112)를 얻는 방식은 좌우영상의 특징을 추출함으로써 시간이 많이 걸리 는 단점이 있다. 또한 좌우영상의 추출된 특징에 유사성이 있는 경우, 스테레오 정합 과정이 명료하지 않다.The method for obtaining disparity information is to find a corresponding point of another image satisfying a cost function in one image, and there are a method of pixel unit, block unit, object base, and feature point unit. That is, in a method of finding a corresponding point by comparing the left and right images, the unit may be set in units of pixels, blocks, objects, or feature points. However, the method of obtaining the
능동형 카메라 방식은 상술한 방식과는 달리 하나의 카메라를 이용하여 영상을 획득한다. 특히 본 발명의 실시예로서, 영상 입력부(100)는 2차원 비디오에 깊이 감지(depth-sensing) 처리 기능이 부가된 3차원 능동형 카메라(이하 능동형 깊이 카메라라고 함)(110)일 수 있다. Unlike the above-described method, the active camera method acquires an image using one camera. In particular, as an embodiment of the present invention, the image input unit 100 may be a three-dimensional active camera (hereinafter referred to as an active depth camera) 110 to which depth-sensing processing function is added to the two-dimensional video.
능동형 깊이 카메라(110)의 원리는 깊이 지도(112)를 얻기 위해 시야범위 안에서 일정한 간격의 빔을 발생시키고, 3차원 객체(500)에 반사되는 빔을 검출하여 깊이 지도(112)와 3차원의 2차원 영상(111)을 얻는 방법이다. 능동형 센서는 얻어지는 2차원 영상(111)에 일치하는 거리영역에 대한 흑백의 비디오 스트림을 제공한다. 또한, 능동형 깊이 카메라(110)는 3차원 객체(500)로부터 획득한 영상의 픽셀 값과 함께 깊이 지도(112)를 획득할 수 있으므로, 능동형 깊이 카메라(110)는 거리에 따른 그레이 레벨 값으로써 3차원 객체(500)에 대한 깊이 지도(112)를 추출할 수 있다.The principle of the
깊이 지도(112)의 그레이 레벨은 일정한 간격을 하나의 그레이 레벨로 판단할 수 있다. 깊이 지도(112)는 일정한 간격마다 동일한 그레이 레벨로 판단함으로써 너무 많은 그레이 레벨 수에 따른 너무 많은 섹션닝 영상(201)의 생성을 제한할 수 있다. 또한, 일정 범위를 하나의 그레이 레벨로 판단함은 동일한 깊이감을 가지는 거리의 객체를 하나의 그레이 레벨로 판단하기 위함일 수 있다. 또한, 그레이 레벨은 3차원 객체(500)와 능동형 깊이 카메라(110)의 거리에 따라 달라지며, 그 수치는 임의로 설정될 수 있다. 즉, 3차원 객체(500)와 능동형 깊이 카메라(110)의 거리가 클수록 그레이 레벨이 크게 설정되거나 또는 그 역으로 설정될 수 있다.The gray level of the
따라서 능동형 깊이 카메라(110) 방식은 능동형 센서로부터 얻어진 깊이 지도(112)에 상응하는 2차원 영상(111)를 얻을 수 있다. 또한 이 모든 작업은 실시간으로 이루어진다. 능동형 깊이 카메라(110) 방식은 실제의 환경에서 높은 깊이 해상도를 제공해 줄 수 있다. 능동형 깊이 카메라(110)를 이용한 방식은 2차원 영상(111)과 같이 깊이 지도(112)를 실시간으로 얻을 수 있는 장점이 있다.Accordingly, the
섹션닝 영상 처리부(200)와 요소 영상 생성부(300)는 3차원 집적 영상 시스템에서 영상 처리를 수행한다. 3차원 객체(500)로부터 획득한 영상을 3차원 입체 영상으로 재생시키기 위한 2차원 영상(111)의 섹션닝 단계와 요소 영상의 생성을 수행한다. The sectioning image processor 200 and the element image generator 300 perform image processing in the 3D integrated image system. Sectioning of the
본 발명의 일 실시예에 따르면, 섹션닝 및 요소 영상 생성은 컴퓨터상에서 프로그램에 의한 처리가 가능한 부분으로 프로그램을 작성하여 수행하는 방식일 수 있다. 따라서 섹션닝 및 요소 영상 생성은 데이터 처리가 빠르고, 효율적인 장점이 있다. 섹션닝 및 요소 영상 생성의 자세한 내용은 후술하도록 한다. According to an embodiment of the present invention, the sectioning and the element image generation may be a method of creating and executing a program as a part that can be processed by a program on a computer. Therefore, sectioning and element image generation have advantages of fast data processing and efficient processing. Details of sectioning and element image generation will be described later.
영상 재생부(400)는 생성된 요소 영상을 이용하여 3차원 영상의 재생을 수행한다. 일반적인 집적 영상 방법에서의 영상 재생과 달리 요소 영상을 이용하기 위해 프로젝터(410)를 사용하여 렌즈 배열(430)로 투사시켜 3차원 영상을 재생시킨다. 영상 재생의 자세한 내용한 도 7의 설명에서 자세히 설명하도록 한다.The image reproducing unit 400 reproduces the 3D image by using the generated element image. Unlike image reproduction in a general integrated image method, a 3D image is reproduced by projecting onto a
도 2에서 도시한 바와 같이, 본 발명의 일 실시예에 따른 영상 획득은 3차원 객체(500)로부터 능동형 깊이 카메라(110)를 이용하여 2차원 영상(111) 및 깊이 지도(112)를 획득한다.As shown in FIG. 2, the image acquisition according to an embodiment of the present invention obtains the
이하 도 2를 참조하면, A, B, C가 각각 다른 색으로 쓰여진 종이가 3차원 객체(500)로서 능동형 깊이 카메라(110)로부터 각각 다른 거리에 놓여 있다. 능동형 깊이 카메라(110)는 3차원 객체(500)의 2차원 영상(111)을 획득하고, 자체에 내장되어 있는 광원으로부터 일정한 간격으로 빔을 발생시킨다. 능동형 깊이 카메라(110)는 발생된 빔이 각각의 종이에서 반사되어 돌아오는 빔을 검출한다. 능동형 깊이 카메라(110)는 빔이 검출된 시간을 고려하여, 동일한 시간을 동일한 그레이 레벨로 대응시켜 깊이 지도(112)를 획득한다.Referring to FIG. 2, papers in which A, B, and C are written in different colors are placed at different distances from the
따라서 능동형 깊이 카메라(110)는 다른 색, 다른 거리의 A, B, C 라고 쓰여진 종이라는 3차원 객체(500)로부터 2차원 영상(111)을 획득함과 동시에 깊이 지도(112)를 얻을 수 있다. Accordingly, the
도 3는 본 발명의 실시예에 따른 섹션닝 영상 처리부의 구성을 설명하기 위한 도면이다. 3 is a diagram for describing a configuration of a sectioning image processor according to an exemplary embodiment of the present invention.
도 3에서 도시한 바와 같이, 본 발명의 일 실시예에 따른 섹션닝 영상 처리부(200)는 제1 처리부(210) 및 제2 처리부(220)를 포함한다. As shown in FIG. 3, the sectioning image processor 200 according to an embodiment of the present invention includes a
제1 처리부(210)는 깊이 지도(112)에서 일정한 그레이 레벨에 해당하는 픽셀 위치 정보를 추출한다. 예를 들어, 그레이 레벨이 1인 픽셀이 세 개가 존재하는 경 우, 제1 처리부(210)는 세 개의 픽셀의 위치 정보를 기억한다. The
제2 처리부(220)는 제1 처리부(210)가 추출한 픽셀의 위치 정보를 이용하여 이에 상응하는 2차원 영상(111)의 픽셀값을 추출하여 섹션닝 영상(201)을 생성한다. 예를 들면, 제2 처리부(220)는 2차원 영상(111)에서 그레이 레벨이 1인 픽셀의 위치 정보에 상응하는 세 개의 픽셀에서의 픽셀값을 추출한다. 제2 처리부(220)는 2차원 영상(111)에서 해당하는 세 개의 픽셀의 위치 정보와 픽셀값을 이용하여 하나의 섹션닝 영상(201)을 생성한다. 제2 처리부(220)는 이와 같은 과정을 각각의 그레이 레벨에서 수행한다. 즉, 제2 처리부(220)는 하나의 2차원 영상(111)을 각각의 그레이 레벨에 상응하는 다수의 섹션닝 영상(201)으로 분리할 수 있다. The
도 4는 본 발명의 실시예에 따른 섹션닝 영상 처리 방법을 설명하기 위한 도면이다.4 is a view for explaining a sectioning image processing method according to an embodiment of the present invention.
도 4 에서 도시한 바와 같이, 본 발명의 일 실시예에 따른 섹션닝 영상(201) 처리는 깊이 지도(112)를 이용하여 하나의 2차원 영상(111)을 다수의 섹션닝 영상(201)으로 분리하는 것이다.As shown in FIG. 4, the sectioning
도 4를 참조하면, 흑백의 깊이 지도(112)는 거리에 따라 다른 그레이 레벨을 나타내고 있다. 도 2를 참조하면, A가 가장 거리가 멀기 때문에 가장 낮은 그레이 레벨을 갖는다. 또한 가장 가까운 C는 가장 가깝기 때문에 가장 높은 그레이 레벨을 갖고, B는 중간 정도의 그레이 레벨을 갖는다. 섹션닝 영상 처리부(200)는 각각의 그레이 레벨에 해당하는 픽셀의 위치 정보를 추출한다.Referring to FIG. 4, the black and
섹션닝 영상 처리부(200)는 2차원 영상(111)을 각각의 그레이 레벨이 동일한 픽셀별로 분리한다. 즉, 하나의 섹션닝 영상(201)은 동일한 그레이 레벨에 해당하는 픽셀에 대해서만 값을 갖고, 나머지 픽셀값은 제로값을 갖는 영상일 수 있다. 따라서, 섹션닝 영상 처리부(200)는 하나의 2차원 영상(111)으로 A만 표현된 영상, B만 표현된 영상 및 C만 표현된 영상의 세 개의 섹션닝 영상(201)을 만들 수 있다.The sectioning image processor 200 separates the
도 4는 간단한 실험을 예시로 행한 것으로 그레이 레벨의 수 또는 간격 등은 3차원 객체(500)에 따라 다양하게 변할 수 있음은 당해 기술분야에서 통상의 지식을 가진 자에게 자명하다.4 is a simple experiment by way of example, it is apparent to those skilled in the art that the number or spacing of gray levels may vary according to the three-
도 5는 본 발명의 실시예에 따른 요소 영상 배열의 생성 방법을 설명하기 위한 도면이다. 5 is a view for explaining a method of generating an element image array according to an exemplary embodiment of the present invention.
도 5에서 도시한 바와 같이, 요소 영상 배열(330)은 다수의 섹션닝 영상(201), 핀홀 배열(320) 및 픽업면(pickup plane)(310)에 의해 생성될 수 있다.As illustrated in FIG. 5, the
하나의 요소 영상은 다수의 섹션닝 영상(201)을 조합하여 생성된다. 도 5를 참조하면, 복수의 섹션닝 영상(201)은 일정한 간격으로 나열된다. One element image is generated by combining a plurality of sectioning
각각의 섹션닝 영상(201)은 핀홀 배열(320) 중 하나의 핀홀(321)에 투영되어 픽업면(310)에 결상된다. 각각의 투영된 섹션닝 영상(201)은 픽업면(310)에 결상되어 하나의 요소 영상을 생성한다. 하나의 요소 영상은 하나의 핀홀(321)을 통하여 다수의 섹션닝 영상(201)의 결상으로 조합되어 생성될 수 있다. Each sectioning
각각의 요소 영상은 결상되는 위치에 따라 조합함으로써 요소 영상 배 열(330)을 생성할 수 있다. 요소 영상 배열(330)은 하나 하나의 요소 영상이 결합되어 생성될 수 있으며, 요소 영상 배열(330)은 3차원 영상을 재생하기 위해 프로젝터(410)에 의해 투영되는 영상이다. Each element image may be combined according to an image forming position to generate an
픽업면(310)은 다수의 섹션닝 영상(201)이 결상되는, 하나의 요소 영상이 생성되는 평면을 의미한다. 픽업면(310)은 요소 영상이 결상되는 위치에 따라 요소 영상 배열(330)을 생성하는 평면일 수 있다. The
핀홀 배열(320)은 다수의 핀홀(321)의 모임으로 섹션닝 영상(201)을 투영시켜 픽업면(310)에서 조합되도록 한다. 하나의 핀홀(321)이 하나의 요소 영상을 생성할 수 있음은 상술한 바와 같다. The
따라서 요소 영상은 하나의 핀홀(321)에 투영되는 다수의 섹션닝 영상(201)에 의해 생성되며, 요소 영상 배열(330)은 다수의 요소 영상이 픽업면(310)에 결상되어 생성된다.Accordingly, the element image is generated by the plurality of sectioning
도 6a 및 도 6b는 본 발명의 실시예에 따른 요소 영상 생성 원리를 설명하기 위한 도면이다.6A and 6B illustrate a principle of generating an element image according to an exemplary embodiment of the present invention.
도 6a 및 도 6b를 참조하면, 요소 영상은 핀홀(321)을 통해 투영되는 섹션닝 영상(201)을 조합하여 생성된다. 6A and 6B, the element image is generated by combining the sectioning
섹션닝 영상(201a, d)은 각각의 핀홀(321)에 투영되어 결상되며 핀홀(321)보다 픽업면(310)에 가까운 섹션닝 영상(201d)은 도치되지 않고 결상된다. 또한, 핀홀(321)을 통하여 결상되는 즉, 픽업면(310)보다 핀홀(321)과 가까운 섹션닝 영 상(201a)은 도치되어 결상된다. The sectioning
섹션닝 영상(201)은 핀홀(321)과의 거리에 따라 픽업면(310)에 결상되는 상의 크기가 결정된다. 픽업면(310)에 결상되는 상은 핀홀(321)에서 거리가 멀수록 크기가 작아진다. 이는, 도치되는 섹션닝 영상(201a)과 마찬가지로 도치되지 않는 섹션닝 영상(201d)도 핀홀(321)을 투과하지는 않지만, 같은 원리로 핀홀(321)과의 거리에 따라 결상되는 상의 크기가 결정된다.In the
상술한 원리로 각각의 섹션닝 영상(201)이 하나의 핀홀(321)에 투영되어 픽업면(310)에 결상되면 하나의 요소 영상이 생성될 수 있다.As described above, when each sectioning
도 7은 본 발명의 실시예에 따른 영상 재생부의 구성을 설명하기 위한 도면이다.7 is a diagram for describing a configuration of an image reproducing unit according to an exemplary embodiment of the present invention.
도 7에서 도시한 바와 같이, 영상 재생부(400)는 요소 영상 표시 장치, 이미징 렌즈(420) 및 렌즈 배열(430)를 포함할 수 있다.As illustrated in FIG. 7, the image reproducing unit 400 may include an element image display apparatus, an
영상 재생부(400)은 생성된 요소 영상 배열(330)을 3차원 영상으로 재생하기 위한 집적 영상 재생 시스템이다. 도 7을 참조하면, 요소 영상 표시 장치는 프로젝터(410)일 수 있다. The image reproducing unit 400 is an integrated image reproducing system for reproducing the generated
3차원 영상은 요소 영상 배열(330)이 프로젝터(410)로부터 투사되어 렌즈 배열(430)을 통하여 공간상에 재생된다. In the 3D image, the
이미징 렌즈(420)는 프로젝터(410) 앞에 배치되어 요소 영상 배열(330)이 렌즈 배열(430)에 맞추어 투사되도록 크기 및 선명도를 조절할 수 있다. The
이 때 투사되는 하나의 요소 영 상은 렌즈 배열(430)의 한 개의 렌즈릿과 일치되도록 한다. 요소 영상은 렌즈 배열(430) 중에서 하나의 렌즈릿에 투사되고 각각의 투사된 요소 영상은 하나의 3차원 영상으로 재생된다. At this time, one element image to be projected is matched with one lenslet of the
하나의 렌즈릿에 하나의 요소 영상을 일치시킴은 재생되는 영상이 일그러짐 없이 공간상에 재생되도록 하기 위함이다. Matching one element image to one lenslet is intended to allow the reproduced image to be reproduced in space without distortion.
이 때의 3차원 영상은 요소 영상을 생성시킨 2차원 영상(111)의 촬상 객체에 상응하는 영상이다. 영상 재생부(400)는 3차원 집적 영상 방법에서 영상을 렌즈 배열(430)에 투사되어 공간상에 3차원 영상을 재생하는 원리와 유사하다. The 3D image at this time is an image corresponding to the image pickup object of the
도 8은 본 발명의 실시예에 따른 요소 영상을 이용한 3차원 집적 영상 방법을 설명하기 위한 예시도이다.8 is an exemplary diagram for describing a 3D integrated image method using an element image according to an exemplary embodiment of the present invention.
도 8을 참조하면, 3차원 재생된 영상은 고정된 3차원 객체(500)를 촬영함에 있어서, 능동형 깊이 카메라(110)의 다양한 각도에 따라 다양한 입체감을 느낄 수 있다. Referring to FIG. 8, the 3D reproduced image may sense various stereoscopic feelings according to various angles of the
오른쪽 영상(601)은 고정된 3차원 객체(500)를 능동형 깊이 카메라(110)가 정면 영상(600)에 비해 오른쪽에 위치하고 쵤영한 2차원 영상(111)을 재생한 것으로, A와 B가 더 멀게 있는 것으로 표현되었다. The
왼쪽 영상(602)은 고정된 3차원 객체(500)를 능동형 깊이 카메라(110)가 정면 영상(600)에 비해 왼쪽에 위치하고 쵤영한 2차원 영상(111)을 재생한 것으로, A와 B가 더 가깝게 있는 것으로 표현되었다. The
아래쪽 영상(603)은 고정된 3차원 객체(500)를 능동형 깊이 카메라(110)가 정면 영상(600)에 비해 아래쪽에 위치하고 쵤영한 2차원 영상(111)을 재생한 것으로, A와 C가 더 가깝게 있는 것으로 표현되었다. The
위쪽 영상(604)은 고정된 3차원 객체(500)를 능동형 깊이 카메라(110)가 정면 영상(600)에 비해 위쪽에 위치하고 쵤영한 2차원 영상(111)을 재생한 것으로, A와 C가 더 멀게 있는 것으로 표현되었다. The
즉, 오른쪽, 왼쪽, 아래쪽 및 위쪽 영상(601, 602, 603, 604)들은 정면 영상(600)에 비해 3차원 객체(500)를 바라보는 각도가 다름으로 인해 각기 다른 입체감을 전달한다. 이로써 본 발명은 각기 다른 각도가 물체와의 거리감을 깊이 지도(112)를 통해 반영하여 고정된 3차원 객체(500)를 촬영했음에도 불구하고 3차원적인 입체감을 제공함을 알 수 있다. That is, the right, left, bottom, and
도 1는 본 발명의 실시예에 따른 요소 영상을 이용한 3차원 집적 영상 시스템을 도시한 블록 구성도.1 is a block diagram showing a three-dimensional integrated imaging system using a component image according to an embodiment of the present invention.
도 2는 본 발명의 실시예에 따른 능동형 깊이 카메라의 2차원 영상 및 깊이 지도 획득을 도시한 도면.2 is a diagram illustrating a two-dimensional image and a depth map acquisition of an active depth camera according to an embodiment of the present invention.
도 3는 본 발명의 실시예에 따른 섹션닝 영상 처리부의 구성도.3 is a block diagram of a sectioning image processor according to an exemplary embodiment of the present invention.
도 4는 본 발명의 실시예에 따른 섹션닝 영상 처리 방법을 설명하기 위한 도면.4 is a view for explaining a sectioning image processing method according to an embodiment of the present invention.
도 5는 본 발명의 실시예에 따른 요소 영상 배열의 생성 방법을 설명하기 위한 도면.5 is a diagram for describing a method of generating an element image array according to an exemplary embodiment of the present invention.
도 6a 및 도 6b는 본 발명의 실시예에 따른 요소 영상 생성 원리를 설명하기 위한 도면.6A and 6B illustrate a principle of generating an element image according to an exemplary embodiment of the present invention.
도 7은 본 발명의 실시예에 따른 영상 재생부의 구성도.7 is a block diagram of an image reproducing unit according to an embodiment of the present invention.
도 8은 본 발명의 실시예에 따른 요소 영상을 이용한 3차원 집적 영상 방법을 설명하기 위한 예시도.8 is an exemplary view for explaining a three-dimensional integrated image method using an element image according to an embodiment of the present invention.
<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>
100: 영상 입력부 110: 능동형 깊이 카메라 100: image input unit 110: active depth camera
111: 2차원 영상 112: 깊이 지도 111: two-dimensional image 112: depth map
200: 섹션닝 영상 처리부 210: 제1 처리부 200: sectioning image processing unit 210: first processing unit
220: 제2 처리부 201a, 201b, 201c, 201d: 섹션닝 영상 220:
300: 요소 영상 생성부 310: 픽업면 300: element image generating unit 310: pickup surface
320: 핀홀 배열 321: 핀홀 320: pinhole arrangement 321: pinhole
330: 요소 영상 배열 400: 영상 재생부 330: element video array 400: video playback unit
410: 프로젝터 420: 이미징 렌즈 410: projector 420: imaging lens
430: 렌즈 배열 500: 3차원 객체 430: lens array 500: three-dimensional object
600: 정면 영상 601: 오른쪽 영상600: front image 601: right image
602: 왼쪽 영상 603: 아래쪽 영상602: left image 603: bottom image
604: 위쪽 영상604: top video
Claims (18)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070066697A KR100897305B1 (en) | 2007-07-03 | 2007-07-03 | Three-dimensional integral display method and system using elemental images and computer readable record-medium on which program for executing method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020070066697A KR100897305B1 (en) | 2007-07-03 | 2007-07-03 | Three-dimensional integral display method and system using elemental images and computer readable record-medium on which program for executing method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20090003764A KR20090003764A (en) | 2009-01-12 |
KR100897305B1 true KR100897305B1 (en) | 2009-05-14 |
Family
ID=40486342
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020070066697A KR100897305B1 (en) | 2007-07-03 | 2007-07-03 | Three-dimensional integral display method and system using elemental images and computer readable record-medium on which program for executing method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR100897305B1 (en) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101356378B1 (en) * | 2012-07-02 | 2014-01-28 | 충북대학교 산학협력단 | Method for displaying of three-dimensional integral imaging using camera and apparatus thereof |
KR101650009B1 (en) * | 2015-01-15 | 2016-08-22 | 박진상 | The method and the recording media for original image restoration technology based on scattering noise removal and photon detection for single recorded image |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003287712A (en) | 2002-03-28 | 2003-10-10 | Toshiba Corp | Three-dimensional image reproducing apparatus |
KR20070019393A (en) * | 2005-08-12 | 2007-02-15 | 재단법인서울대학교산학협력재단 | Three-dimensional display system using floating display device |
KR20070052131A (en) * | 2005-11-16 | 2007-05-21 | 광운대학교 산학협력단 | Three-dimensional display apparatus using intermediate elemental images |
-
2007
- 2007-07-03 KR KR1020070066697A patent/KR100897305B1/en not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003287712A (en) | 2002-03-28 | 2003-10-10 | Toshiba Corp | Three-dimensional image reproducing apparatus |
KR20070019393A (en) * | 2005-08-12 | 2007-02-15 | 재단법인서울대학교산학협력재단 | Three-dimensional display system using floating display device |
KR20070052131A (en) * | 2005-11-16 | 2007-05-21 | 광운대학교 산학협력단 | Three-dimensional display apparatus using intermediate elemental images |
Also Published As
Publication number | Publication date |
---|---|
KR20090003764A (en) | 2009-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10560687B2 (en) | LED-based integral imaging display system as well as its control method and device | |
JP4942106B2 (en) | Depth data output device and depth data receiver | |
KR100901866B1 (en) | 3D floating-image display System having a background and Method thereof | |
KR100897307B1 (en) | Method for reproducing hologram of 3D image picked-up by integral imaging scheme and Apparatus thereof | |
Hong et al. | Three-dimensional visualization of partially occluded objects using integral imaging | |
KR20080103407A (en) | 3d image display method and system thereof | |
US9477305B2 (en) | Stereoscopic image display apparatus and computer-readable recording medium storing program thereon | |
US6233035B1 (en) | Image recording apparatus and image reproducing apparatus | |
JP6300346B2 (en) | IP stereoscopic image estimation apparatus and program thereof | |
KR100897305B1 (en) | Three-dimensional integral display method and system using elemental images and computer readable record-medium on which program for executing method thereof | |
KR101025785B1 (en) | 3D Real Video Device | |
KR20070010306A (en) | Device taking a picture and method to generating the image with depth information | |
US9177380B2 (en) | 3D video camera using plural lenses and sensors having different resolutions and/or qualities | |
JP2011211551A (en) | Image processor and image processing method | |
JP2006267767A (en) | Image display device | |
KR102112491B1 (en) | Method for description of object points of the object space and connection for its implementation | |
KR101741227B1 (en) | Auto stereoscopic image display device | |
KR101192121B1 (en) | Method and apparatus for generating anaglyph image using binocular disparity and depth information | |
TWI572899B (en) | Augmented reality imaging method and system | |
KR20130076050A (en) | Method for obtaining of three-dimensional integral imaging using the depth camera and display system thereof | |
KR100652204B1 (en) | Method for displaying volumetric image and apparatus thereof | |
KR100708834B1 (en) | Stereoscopic image display system | |
Hill | Scalable multi-view stereo camera array for real world real-time image capture and three-dimensional displays | |
KR102241060B1 (en) | Non-eyeglass integrated image display method using micro mirror | |
Alazawi | Holoscopic 3D image depth estimation and segmentation techniques |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A201 | Request for examination | ||
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant | ||
FPAY | Annual fee payment |
Payment date: 20120507 Year of fee payment: 4 |
|
LAPS | Lapse due to unpaid annual fee |