KR20140004382A - Method for displaying of three-dimensional integral imaging using camera and apparatus thereof - Google Patents

Method for displaying of three-dimensional integral imaging using camera and apparatus thereof Download PDF

Info

Publication number
KR20140004382A
KR20140004382A KR1020120071868A KR20120071868A KR20140004382A KR 20140004382 A KR20140004382 A KR 20140004382A KR 1020120071868 A KR1020120071868 A KR 1020120071868A KR 20120071868 A KR20120071868 A KR 20120071868A KR 20140004382 A KR20140004382 A KR 20140004382A
Authority
KR
South Korea
Prior art keywords
image
information
integrated image
generating
depth information
Prior art date
Application number
KR1020120071868A
Other languages
Korean (ko)
Other versions
KR101356378B1 (en
Inventor
류관희
정지성
김종오
김도형
권순옥
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020120071868A priority Critical patent/KR101356378B1/en
Publication of KR20140004382A publication Critical patent/KR20140004382A/en
Application granted granted Critical
Publication of KR101356378B1 publication Critical patent/KR101356378B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/593—Depth or shape recovery from multiple images from stereo images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

An apparatus for displaying a three-dimensional integral image according to the present invention comprises: an image capturing unit for receiving an image signal including an image taken by a camera and obtaining color information of the received image signal; an image generating unit for generating depth information of an object in a three-dimensional space using the color information obtained by the image capturing unit; an integral image generating unit for generating an integral image using the color information and depth information; and a display unit for displaying the integral image generated by the integral image generating unit in three dimensions. The apparatus and the method for displaying a three-dimensional integral image using a general camera according to the present invention can obtain a three-dimensional integral image by generating three-dimensional depth information using a video (including an image) obtained by a general camera and combining the generated information with an integral image technique. [Reference numerals] (10) Camera; (110) Image capturing unit; (120) Image generating unit; (130) Integral image generating unit; (140) Display unit

Description

일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치 {Method for displaying of three-dimensional integral imaging using camera and apparatus thereof}Method and displaying of three-dimensional integral imaging using camera and apparatus

본 발명은 3차원 집적 영상 획득에 관한 내용으로, 일반 카메라로 촬영한 컬러 영상을 이용해 깊이(Depth) 정보를 생성하고, 집적영상 기법을 이용하여 실시간으로 3차원 영상을 디스플레이할 수 있는 3차원 집적 영상 획득 방법 및 디스플레이 장치에 관한 것이다.
The present invention relates to acquiring a three-dimensional integrated image, and generating depth information using a color image photographed with a general camera, and displaying a three-dimensional image in real time using an integrated image technique. An image acquisition method and a display apparatus.

최근 3차원 물체 인식에 관한 연구 및 시스템 구현에 대한 많은 연구가 진행되고 있다. 그 중에서도 3차원 물체 인식을 위해 3차원 영상을 기록하고 복원할 수 있는 집적 영상(Integral imaging) 기술에 대해 많은 연구가 진행되고 있으며, 이 기술은 이상적인 3차원 디스플레이 방식인 홀로 그래픽 방식과 같이 완전 시차(Full parallax)와 연속적인 관측시점을 제공하는 장점이 있다.Recently, a lot of researches on the 3D object recognition and system implementation have been conducted. Among them, a lot of research is being conducted on integrated imaging technology that can record and reconstruct three-dimensional images for three-dimensional object recognition, and this technique is a perfect parallax like the holographic method, which is an ideal three-dimensional display method. (Full parallax) and the advantage of providing a continuous observation point.

일반적으로 집적 영상 기술은 크게 픽업 단계와 디스플레이 단계로 나눠진다. 픽업 단계는 이미지 센서(CCD)와 같은 2차원 감지기와 렌즈 어레이로 구성되며, 이때 3차원 객체는 렌즈배열 앞에 위치한다. 그러면 3차원 객체의 다양한 영상정보들이 렌즈 배열을 통과한 후 2차원 감지기에 저장된다. 이때 저장된 영상을 요소 영상(Elemental images)이라 하고, 3차원 재생을 위해 이용된다.In general, integrated imaging technology is largely divided into a pickup phase and a display phase. The pick-up phase consists of a two-dimensional sensor such as an image sensor (CCD) and a lens array, where the three-dimensional object is placed in front of the lens array. Various image information of the 3D object is then stored in the 2D detector after passing through the lens array. At this time, the stored image is called elemental image and is used for 3D reproduction.

이후 집적 영상 기술의 디스플레이 단계는 픽업과정에서 얻은 요소 영상을 디스플레이 장치에 표시하고, 요소 영상의 영상정보가 렌즈 배열을 통과하여 공간상에 3차원 영상을 복원하게 된다. Thereafter, in the display step of the integrated imaging technology, the element image obtained in the pickup process is displayed on the display device, and the image information of the element image passes through the lens array to restore the 3D image in space.

이와 같은 집적 영상 기술은 특수한 안경이 필요 없고, 물체를 관찰할 수 있는 시야각 내에서 상하뿐 아니라 좌, 우 방향으로 연속적인 시점을 가진다. 또한, 총 천연색 표현이 가능한 점을 비롯한 많은 장점을 가지고 있으나, 영상의 해상도 향상을 위해 처리해야 하는 계산량이 방대하고, 연속적인 3차원 입체감을 제공하는데 한계가 있다는 단점이 있다.Such integrated imaging technology does not require special glasses and has continuous viewpoints in the left and right directions as well as up and down within the viewing angle for viewing an object. In addition, there are many advantages, including the ability to express a full natural color, but there are disadvantages in that a large amount of computation must be processed to improve the resolution of an image and there is a limit in providing a continuous three-dimensional stereoscopic effect.

또한, 최근에 적외선을 조사하는 적외선 프로젝터와 적외선 영상을 획득한 후 3차원 공간 정보를 계산하는 적외선 카메라로 구성된 깊이 카메라를 이용해 컬러 영상과 깊이 영상을 추출하여, 집적 영상을 생성하는 연구가 이루어지고 있다. 그러나 이 연구의 경우 깊이 카메라와 같은 특수한 입력 장치를 사용해야 컬러 영상과 깊이 정보를 획득하여 집적 영상 생성에 이용할 수 있다는 한계점이 있다.In addition, recently, a research has been conducted to generate an integrated image by extracting a color image and a depth image using a depth camera composed of an infrared projector that irradiates infrared rays and an infrared camera that acquires infrared images and then calculates three-dimensional spatial information. have. However, this study has a limitation in that it is necessary to use a special input device such as a depth camera to acquire color images and depth information and use them for generating integrated images.

이에 일반 카메라에서 획득한 동영상 및 영상을 이용하여 객체의 깊이 정보를 획득하고, 컴퓨터 생성을 통한 3차원 집적 영상을 생성하기 위한 고속 처리 방법이 필요한 실정이다.
Accordingly, there is a need for a high speed processing method for acquiring depth information of an object using a video and an image obtained from a general camera and generating a 3D integrated image through computer generation.

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 깊이 카메라와 같은 특수한 입력 장치가 아닌 일반 카메라로부터 획득한 동영상(Image 포함)에 대해 깊이 정보를 생성하고, 생성한 깊이 정보와 직접 영상 기법을 사용하여 3차원 영상을 재생할 수 있는, 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치를 제공하는데 그 목적이 있다. The present invention has been made to solve the above problems, the depth information is generated for a video (including an image) obtained from a general camera rather than a special input device such as a depth camera, the generated depth information and direct image technique It is an object of the present invention to provide a method and apparatus for displaying a 3D integrated image using a general camera, which can reproduce a 3D image using.

본 발명의 다른 목적은 깊이 정보 획득과 컴퓨터 생성 집적영상의 픽업 속도를 향상시켜 3차원 영상을 실시간 재생시킬 수 있는, 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치를 제공하는 것이다. Another object of the present invention is to provide a method and apparatus for displaying a 3D integrated image using a general camera capable of real-time reproduction of a 3D image by obtaining depth information and improving pickup speed of a computer-generated integrated image.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명의 3차원 집적 영상 디스플레이 장치는 카메라에서 촬영된 이미지를 포함하는 영상 신호를 수신하고, 수신한 영상 신호에 대한 컬러 정보를 획득하기 위한 이미지 캡쳐부, 상기 이미지 캡쳐부에서 획득한 컬러 정보를 이용하여 3차원 공간에서의 물체의 깊이 정보를 생성하기 위한 이미지 생성부, 상기 컬러 정보 및 깊이 정보를 이용하여 집적 영상(integral imaging)을 생성하기 위한 집적 영상 생성부 및 상기 집적 영상 생성부에서 생성된 집적 영상을 3차원으로 디스플레이하기 위한 디스플레이부를 포함한다.3D integrated image display apparatus of the present invention for achieving the above object is an image capture unit for receiving an image signal including an image taken by the camera, to obtain color information on the received image signal, the image capture An image generator for generating depth information of an object in a three-dimensional space using color information obtained from a unit, an integrated image generator for generating an integrated imaging using the color information and the depth information; And a display unit for displaying the integrated image generated by the integrated image generator in three dimensions.

상기 이미지 캡쳐부는 상기 카메라로부터 수신한 영상 신호에 대해 캘리브레이션(Calibration)을 적용하여 카메라 렌즈에 의해 왜곡된 정보를 복원하고, 복원된 영상 신호를 HSV(hue, saturation, value) 컬러 모델로 변환시키는 방식으로 컬러 정보를 획득할 수 있다.The image capture unit applies a calibration to the image signal received from the camera to restore information distorted by the camera lens, and converts the reconstructed image signal into an HSV (hue, saturation, value) color model. Color information can be obtained.

상기 이미지 생성부는 상기 컬러 정보 중에서 밝기 정보의 차이를 이용하여 물체의 깊이 정보를 생성할 수 있다. 이때, 상기 이미지 생성부는 OpenCL 병렬 처리 기법을 이용하여 상기 밝기 정보의 차이를 이용한 물체의 깊이 정보를 생성할 수 있다.The image generator may generate depth information of an object by using a difference of brightness information among the color information. In this case, the image generator may generate depth information of the object using the difference of the brightness information by using the OpenCL parallel processing technique.

상기 집적 영상 생성부는 상기 깊이 정보에 대응하는 각 픽셀에 대한 컬러 정보를 추출하고, 각 픽셀에 대해 추출된 컬러 정보와 대응하는 깊이 정보를 이용하여 집적 영상을 생성할 수 있다. 이때, 집적 영상 생성부는 집적 영상을 생성함에 있어서, OpenCL 병렬 처리 기법을 이용하여 프레임 단위로 수행하여 계산하는 방식으로 집적 영상을 생성할 수 있다.The integrated image generator may extract color information of each pixel corresponding to the depth information, and generate an integrated image by using the extracted color information and depth information corresponding to each pixel. In this case, in generating the integrated image, the integrated image generator may generate the integrated image by performing the calculation by frame unit using the OpenCL parallel processing technique.

상기 집적 영상 생성부는 상기 컬러 정보, 상기 깊이 정보 및 가상 렌즈에 대한 정보를 이용하여 집적 영상을 생성할 수 있다. 이때, 상기 가상 렌즈에 대한 정보는 사용자로부터 입력받은 가상 렌즈의 초점 거리, 가상 렌즈의 크기 및 가상 렌즈의 수를 포함할 수 있다.The integrated image generator may generate an integrated image using the color information, the depth information, and the information about the virtual lens. In this case, the information about the virtual lens may include a focal length of the virtual lens, a size of the virtual lens, and the number of virtual lenses received from the user.

상기 디스플레이부는 집적 영상을 디스플레이 하기 위한 표시부와, 상기 표시부에 부착되어 상기 표시부에서 디스플레이되는 집적 영상을 3차원으로 구현하기 위한 렌즈 어레이를 포함하여 이루어질 수 있다.The display unit may include a display unit for displaying an integrated image, and a lens array attached to the display unit to implement an integrated image displayed in the display unit in three dimensions.

본 발명의 3차원 집적 영상을 디스플레이하기 위한 3차원 집적 영상 디스플레이 장치에서의 3차원 집적 영상 디스플레이 방법에 있어서, 카메라에서 촬영된 이미지를 포함하는 영상 신호를 수신하고, 수신한 영상 신호에 대한 컬러 정보를 획득하는 동영상 수집 단계, 획득한 컬러 정보를 이용하여 3차원 공간에서의 물체의 깊이 정보를 생성하는 깊이 정보 생성 단계, 상기 컬러 정보 및 깊이 정보를 이용하여 집적 영상(integral imaging)을 생성하는 집적 영상 생성 단계 및 생성된 집적 영상을 3차원으로 디스플레이하는 디스플레이 단계를 포함한다.In the three-dimensional integrated image display method of the three-dimensional integrated image display device for displaying a three-dimensional integrated image of the present invention, receiving a video signal including an image taken by the camera, the color information on the received image signal A video collection step of acquiring a symbol, a depth information generation step of generating depth information of an object in a 3D space using the obtained color information, and an integration that generates an integrated imaging using the color information and the depth information An image generating step and a display step of displaying the generated integrated image in three dimensions.

상기 동영상 수집 단계는 상기 카메라로부터 수신한 영상 신호에 대해 캘리브레이션(Calibration)을 적용하여 카메라 렌즈에 의해 왜곡된 정보를 복원하고, 복원된 영상 신호를 명도를 포함하고 있는 컬러 모델로 변환시키는 방식으로 컬러 정보를 획득할 수 있다.The video collecting step may be performed by applying a calibration to the image signal received from the camera to restore information distorted by the camera lens, and converting the reconstructed image signal into a color model including brightness. Information can be obtained.

상기 깊이 정보 생성 단계는 상기 컬러 정보 중에서 명도 정보의 차이를 이용하여 물체의 깊이 정보를 생성할 수 있다. 이때, 상기 깊이 정보 생성 단계는 OpenCL 병렬 처리 기법을 이용하여 상기 명도 정보의 차이를 이용한 물체의 깊이 정보를 생성할 수 있다.The depth information generating step may generate depth information of an object using a difference in brightness information among the color information. In this case, the depth information generation step may generate the depth information of the object using the difference of the brightness information by using the OpenCL parallel processing technique.

상기 집적 영상 생성 단계는 상기 깊이 정보에 대응하는 각 픽셀에 대한 컬러 정보를 추출하고, 각 픽셀에 대해 추출된 컬러 정보와 대응하는 깊이 정보를 이용하여 집적 영상을 생성할 수 있다. 이때, 상기 집적 영상 생성 단계는 집적 영상을 생성함에 있어서, OpenCL 병렬 처리 기법을 이용하여 프레임 단위로 수행하여 계산하는 방식으로 집적 영상을 생성할 수 있다.The generating of the integrated image may extract color information of each pixel corresponding to the depth information, and generate an integrated image by using the extracted color information and depth information corresponding to each pixel. In this case, in the generation of the integrated image, the integrated image may be generated in a frame-by-frame manner by using the OpenCL parallel processing technique.

상기 집적 영상 생성 단계는 상기 컬러 정보, 상기 깊이 정보 및 가상 렌즈에 대한 정보를 이용하여 집적 영상을 생성할 수 있다. 이때, 상기 가상 렌즈에 대한 정보는 사용자로부터 입력받은 가상 렌즈의 초점 거리, 가상 렌즈의 크기 및 가상 렌즈의 수를 포함할 수 있다.
The generating of the integrated image may generate an integrated image by using the color information, the depth information, and the information about the virtual lens. In this case, the information about the virtual lens may include a focal length of the virtual lens, a size of the virtual lens, and the number of virtual lenses received from the user.

본 발명에 의하면 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치를 제공함으로써, 일반 카메라로부터 획득한 동영상(Image 포함)을 통하여 3차원 공간의 깊이 정보를 생성하고, 생성된 정보와 집적 영상 기법을 접목하여 3차원 집적영상을 획득할 수 있다는 효과가 있다.According to the present invention, by providing a method and apparatus for displaying a 3D integrated image using a general camera, depth information of a 3D space is generated through a video (including an image) obtained from the general camera, and the generated information and integrated image technique are used. It is effective to obtain a three-dimensional integrated image by grafting.

또한, 깊이 정보 획득과 집적 영상의 픽업속도를 향상을 위해 OpenCL 병렬처리 기법을 사용하여, 3차원 영상을 실시간으로 재생시킬 수 있다는 효과가 있다.
In addition, the 3D image can be reproduced in real time by using the OpenCL parallel processing technique to obtain depth information and to improve the pickup speed of the integrated image.

도 1은 본 발명의 일 실시예에 따른 일반 카메라를 이용한 3차원 집적 영상 디스플레이 장치의 구성을 보여주는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법을 보여주는 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 카메라 캘리브레이션(Camera Calibration)을 통해 카메라 왜곡 정보를 복원하는 과정을 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 컬러 영상을 이용하여 깊이 정보를 추출하는 과정을 보여주는 도면이다.
도 5는 본 발명의 일 실시예에 따른 컬러 영상과 깊이 정보를 이용하여 집적 영상을 생성하는 과정을 보여주는 도면이다.
도 6은 본 발명의 일 실시예에 따른 생성된 집적 영상을 렌즈 어레이를 이용하여 3차원 영상으로 디스플레이하는 과정을 보여주는 도면이다.1 is a block diagram showing the configuration of a three-dimensional integrated image display apparatus using a general camera according to an embodiment of the present invention.
2 is a flowchart illustrating a 3D integrated image display method using a general camera according to an embodiment of the present invention.
FIG. 3 is a diagram illustrating a process of restoring camera distortion information through camera calibration according to an embodiment of the present invention.
4 is a diagram illustrating a process of extracting depth information using a color image according to an embodiment of the present invention.
5 is a diagram illustrating a process of generating an integrated image using a color image and depth information according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a process of displaying a generated integrated image as a 3D image using a lens array according to an exemplary embodiment.

이하, 첨부된 도면을 참조해서 본 발명의 실시예를 상세히 설명하면 다음과 같다. 우선 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 그리고, 본 발명을 설명함에 있어서, 관련된 공지 기능 혹은 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 명세서 전반에 걸쳐서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있다는 것을 의미한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the drawings, the same reference numerals are used for the same reference numerals even though they are shown in different drawings. In the following description of the present invention, a detailed description of known functions and configurations incorporated herein will be omitted when it may make the subject matter of the present invention rather unclear. Also, throughout this specification, when a component is referred to as "comprising ", it means that it can include other components, aside from other components, .

도 1은 본 발명의 일 실시예에 따른 일반 카메라를 이용한 3차원 집적 영상 디스플레이 장치의 구성을 보여주는 블록도이다.1 is a block diagram showing the configuration of a three-dimensional integrated image display apparatus using a general camera according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 3차원 집적 영상 디스플레이 장치(100)는 이미지 캡쳐부(110), 이미지 생성부(120), 집적 영상 생성부(130), 디스플레이부(140)를 포함하여 이루어진다. Referring to FIG. 1, the 3D integrated image display apparatus 100 according to the present invention includes an image capture unit 110, an image generator 120, an integrated image generator 130, and a display 140. .

이미지 캡쳐부(110)는 카메라(10)에서 촬영된 이미지를 포함하는 영상 신호를 수신하고, 수신한 영상 신호에 대한 컬러 정보를 획득하는 역할을 한다. 본 발명에서 사용되는 카메라(10)는 광원, 적외선 등을 이용해 컬러 정보와 깊이 정보를 획득할 수 있는 깊이 카메라와 같은 특수 카메라가 아닌, 웹캠과 같은 일반적으로 사용되는 카메라이다.The image capture unit 110 receives an image signal including an image photographed by the camera 10 and acquires color information about the received image signal. The camera 10 used in the present invention is not a special camera such as a depth camera capable of acquiring color information and depth information using a light source, an infrared ray, or the like, but a camera generally used such as a webcam.

본 발명의 일 실시예에서 이미지 캡쳐부(110)는 카메라(10)로부터 수신한 영상 신호에 대해 캘리브레이션(Calibration)을 적용하여 카메라 렌즈에 의해 왜곡된 정보를 복원하고, 복원된 영상 신호를 명도를 포함하고 있는 HSV(hue, saturation, value) 컬러 모델로 변환시키는 방식으로 컬러 정보를 획득할 수 있다. In an embodiment of the present invention, the image capture unit 110 applies a calibration to the image signal received from the camera 10 to restore information distorted by the camera lens, and to restore the brightness of the restored image signal. Color information may be obtained by converting the image into an HSV (hue, saturation, value) color model.

도 3은 본 발명의 일 실시예에 따른 카메라 캘리브레이션(Camera Calibration)을 통해 카메라 왜곡 정보를 복원하는 과정을 보여주는 도면이다.FIG. 3 is a diagram illustrating a process of restoring camera distortion information through camera calibration according to an embodiment of the present invention.

도 3을 참조하면, 일반적인 카메라(10)의 렌즈에 의해 왜곡되어 촬영된 영상을 복원하는 과정을 도시한 것으로서, 카메라 렌즈에 의해 왜곡된 영상(C00)이 캘리브레이션을 통해 복원되며, 이때의 복원된 영상(C01)이 도시되어 있다. Referring to FIG. 3, a process of restoring an image captured and distorted by a lens of a general camera 10 is performed. The image C00 distorted by the camera lens is reconstructed through calibration. Image C01 is shown.

이미지 생성부(120)는 이미지 캡쳐부(110)에서 획득한 컬러 정보를 이용하여 3차원 공간에서의 물체의 깊이 정보를 생성하는 역할을 한다. The image generator 120 generates the depth information of the object in the 3D space by using the color information acquired by the image capture unit 110.

본 발명의 일 실시예에서 이미지 생성부(120)는 컬러 정보 중에서 명도 정보의 차이를 이용하여 물체의 깊이 정보를 생성할 수 있다. 이때, 이미지 생성부(120)는 OpenCL 병렬 처리 기법을 이용하여 명도 정보의 차이를 이용한 물체의 깊이 정보를 생성할 수 있다. 본 발명에서는 이미지 생성부(120)에서의 깊이 정보 생성 속도를 향상시키기 위하여 OpenCL 병렬 처리 기법을 사용한다.In an embodiment of the present invention, the image generator 120 may generate depth information of the object by using a difference in brightness information among color information. In this case, the image generator 120 may generate the depth information of the object using the difference in the brightness information by using the OpenCL parallel processing technique. In the present invention, the OpenCL parallel processing technique is used to improve the speed of generating depth information in the image generator 120.

도 4는 본 발명의 일 실시예에 따른 컬러 영상을 이용하여 깊이 정보를 추출하는 과정을 보여주는 도면이다. 4 is a diagram illustrating a process of extracting depth information using a color image according to an embodiment of the present invention.

도 4를 참조하면, 컬러 영상을 이용해 깊이 정보를 추출하는 과정으로서, 캘리브레이션을 통해 복원된 영상을 HSV 컬러 모델로 변환시켜 획득한 컬러 정보(D10)를 이용하여 깊이 정보(D11)를 추출하는 과정이 도시되어 있다.Referring to FIG. 4, a process of extracting depth information using a color image, and extracting depth information D11 using color information D10 obtained by converting an image reconstructed through calibration into an HSV color model. Is shown.

집적 영상 생성부(130)는 컬러 정보 및 깊이 정보를 이용하여 집적 영상(integral imaging)을 생성하는 역할을 한다. The integrated image generator 130 generates an integrated image using color information and depth information.

본 발명의 일 실시예에서 집적 영상 생성부(130)는 깊이 정보에 대응하는 각 픽셀에 대한 컬러 정보를 추출하고, 각 픽셀에 대해 추출된 컬러 정보와 대응하는 깊이 정보를 이용하여 집적 영상을 생성할 수 있다. 이때, 집적 영상 생성부(130)는 집적 영상을 생성함에 있어서, OpenCL 병렬 처리 기법을 이용하여 프레임 단위로 수행하여 계산하는 방식으로 집적 영상을 생성할 수 있다. 본 발명에서는 집적 영상 생성부(130)에서의 픽업 속도 향상을 위하여 집적 영상을 생성하기 위한 모든 계산을 OpenCL 병렬 처리 기법을 사용할 수 있다.In an embodiment of the present invention, the integrated image generating unit 130 extracts color information of each pixel corresponding to depth information and generates an integrated image using depth information corresponding to color information extracted for each pixel. can do. In this case, in generating the integrated image, the integrated image generator 130 may generate the integrated image by performing calculation by performing the frame unit using the OpenCL parallel processing technique. In the present invention, all the calculations for generating the integrated image may use the OpenCL parallel processing technique to improve the pickup speed in the integrated image generator 130.

본 발명의 일 실시예에서 집적 영상 생성부(130)는 컬러 정보, 깊이 정보 및 가상 렌즈에 대한 정보를 이용하여 집적 영상을 생성할 수 있다. 이때, 가상 렌즈에 대한 정보는 사용자로부터 입력받은 가상 렌즈의 초점 거리, 가상 렌즈의 크기 및 가상 렌즈의 수를 포함할 수 있다. In an embodiment of the present invention, the integrated image generator 130 may generate an integrated image using color information, depth information, and information about a virtual lens. In this case, the information about the virtual lens may include a focal length of the virtual lens, a size of the virtual lens, and the number of virtual lenses received from the user.

도 5는 본 발명의 일 실시예에 따른 컬러 영상과 깊이 정보를 이용하여 집적 영상을 생성하는 과정을 보여주는 도면이다.5 is a diagram illustrating a process of generating an integrated image using a color image and depth information according to an embodiment of the present invention.

도 5를 참조하면, 컬러 정보(I20)와, 깊이 정보(I21)가 각각 대응되는 부분의 정보를 추출하여 집적 영상(I22)을 생성한다. Referring to FIG. 5, the integrated image I22 is generated by extracting information of a portion where the color information I20 and the depth information I21 respectively correspond.

디스플레이부(140)는 집적 영상 생성부(130)에서 생성된 집적 영상을 3차원으로 디스플레이하는 역할을 한다. The display 140 displays the integrated image generated by the integrated image generator 130 in three dimensions.

도 6은 본 발명의 일 실시예에 따른 생성된 집적 영상을 렌즈 어레이를 이용하여 3차원 영상으로 디스플레이하는 과정을 보여주는 도면이다.FIG. 6 is a diagram illustrating a process of displaying a generated integrated image as a 3D image using a lens array according to an exemplary embodiment.

도 6을 참조하면, 생성된 집적 영상(L40)을 렌즈 어레이(L41)를 이용하여 재구성된 3차원 영상(L42)으로 보여주는 과정을 도시한 것이다. Referring to FIG. 6, a process of showing the generated integrated image L40 as a reconstructed 3D image L42 using the lens array L41 is illustrated.

본 발명의 일 실시예에서 디스플레이부(140)는 집적 영상을 디스플레이하기 위한 표시부와, 표시부에 부착되어 표시부에서 디스플레이되는 집적 영상을 3차원으로 구현하기 위한 렌즈 어레이를 포함하여 이루어질 수 있다.
In one embodiment of the present invention, the display unit 140 may include a display unit for displaying an integrated image, and a lens array attached to the display unit to implement the integrated image displayed in the display unit in three dimensions.

본 발명에서 일반 카메라를 이용한 3차원 집적 영상 디스플레이 장치에서의 디스플레이 방법을 설명하면 다음과 같다. In the present invention, a display method of a 3D integrated image display apparatus using a general camera is as follows.

도 2는 본 발명의 일 실시예에 따른 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법을 보여주는 흐름도이다. 2 is a flowchart illustrating a 3D integrated image display method using a general camera according to an embodiment of the present invention.

도 2를 참조하면, 3차원 집적 영상을 디스플레이하기 위한 3차원 집적 영상 디스플레이 장치(100)에서의 3차원 집적 영상 디스플레이 방법에 있어서, 3차원 집적 영상 디스플레이 장치(100)는 동영상 수집 단계(S201), 깊이 정보 생성 단계(S203), 집적 영상 생성 단계(S205), 디스플레이 단계(S207)를 수행한다.Referring to FIG. 2, in the 3D integrated image display method of the 3D integrated image display apparatus 100 for displaying a 3D integrated image, the 3D integrated image display apparatus 100 collects a video (S201). The depth information generation step S203, the integrated image generation step S205, and the display step S207 are performed.

동영상 수집 단계(S201)는 카메라(10)에서 촬영된 이미지를 포함하는 영상 신호를 수신하고, 수신한 영상 신호에 대한 컬러 정보를 획득하는 단계이다.The video collecting step S201 is a step of receiving an image signal including an image photographed by the camera 10 and acquiring color information of the received image signal.

본 발명의 일 실시예에서 동영상 수집 단계(S201)는 카메라(10)로부터 수신한 영상 신호에 대해 캘리브레이션(Calibration)을 적용하여 카메라 렌즈에 의해 왜곡된 정보를 복원하고, 복원된 영상 신호를 HSV(hue, saturation, value) 컬러 모델로 변환시키는 방식으로 컬러 정보를 획득할 수 있다. In an exemplary embodiment of the present invention, the video collecting step S201 may be performed by applying a calibration to an image signal received from the camera 10 to restore information distorted by the camera lens, and to restore the reconstructed image signal to HSV ( hue, saturation, value) color information can be obtained by converting the color model.

도 3은 본 발명의 일 실시예에 따른 카메라 캘리브레이션(Camera Calibration)을 통해 카메라 왜곡 정보를 복원하는 과정을 보여주는 도면이다.FIG. 3 is a diagram illustrating a process of restoring camera distortion information through camera calibration according to an embodiment of the present invention.

도 3을 참조하면, 일반적인 카메라(10)의 렌즈에 의해 왜곡되어 촬영된 영상을 복원하는 과정을 도시한 것으로서, 카메라 렌즈에 의해 왜곡된 영상(C00)이 캘리브레이션을 통해 복원되며, 이때의 복원된 영상(C01)이 도시되어 있다. Referring to FIG. 3, a process of restoring an image captured and distorted by a lens of a general camera 10 is performed. The image C00 distorted by the camera lens is reconstructed through calibration. Image C01 is shown.

깊이 정보 생성 단계(S203)는 획득한 컬러 정보를 이용하여 3차원 공간에서의 물체의 깊이 정보를 생성하는 단계이다. Depth information generation step (S203) is a step of generating the depth information of the object in the three-dimensional space using the obtained color information.

본 발명의 일 실시예에서 깊이 정보 생성 단계(S203)는 컬러 정보 중에서 밝기 정보의 차이를 이용하여 물체의 깊이 정보를 생성할 수 있다. 이때, 깊이 정보 생성 단계는 OpenCL 병렬 처리 기법을 이용하여 밝기 정보의 차이를 이용한 물체의 깊이 정보를 생성할 수 있다.In an embodiment of the present disclosure, the depth information generation step S203 may generate depth information of an object by using a difference of brightness information among color information. In this case, the depth information generation step may generate the depth information of the object using the difference of the brightness information by using the OpenCL parallel processing technique.

도 4는 본 발명의 일 실시예에 따른 컬러 영상을 이용하여 깊이 정보를 추출하는 과정을 보여주는 도면이다. 4 is a diagram illustrating a process of extracting depth information using a color image according to an embodiment of the present invention.

도 4를 참조하면, 컬러 영상을 이용해 깊이 정보를 추출하는 과정으로서, 캘리브레이션을 통해 복원된 영상을 HSV 컬러 모델로 변환시켜 획득한 컬러 정보(D10)를 이용하여 깊이 정보(D11)를 추출하는 과정이 도시되어 있다.Referring to FIG. 4, a process of extracting depth information using a color image, and extracting depth information D11 using color information D10 obtained by converting an image reconstructed through calibration into an HSV color model. Is shown.

집적 영상 생성 단계(S205)는 컬러 정보 및 깊이 정보를 이용하여 집적 영상(integral imaging)을 생성하는 단계이다. The integrated image generating step S205 is a step of generating an integrated imaging using color information and depth information.

본 발명의 일 실시예에서 집적 영상 생성 단계(S205)는 깊이 정보에 대응하는 각 픽셀에 대한 컬러 정보를 추출하고, 각 픽셀에 대해 추출된 컬러 정보와 대응하는 깊이 정보를 이용하여 집적 영상을 생성하는 것일 수 있다. 이때, 3차원 집적 영상 디스플레이 장치(100)는 집적 영상 생성 단계(S205)에서 집적 영상을 생성함에 있어서, OpenCL 병렬 처리 기법을 이용하여 프레임 단위로 수행하여 계산하는 방식으로 집적 영상을 생성할 수 있다.In an embodiment of the present invention, the integrated image generating step (S205) extracts color information for each pixel corresponding to depth information, and generates an integrated image using depth information corresponding to the extracted color information for each pixel. It may be. In this case, the 3D integrated image display apparatus 100 may generate an integrated image by performing calculation by frame unit using the OpenCL parallel processing technique in generating the integrated image in operation S205. .

도 5는 본 발명의 일 실시예에 따른 컬러 영상과 깊이 정보를 이용하여 집적 영상을 생성하는 과정을 보여주는 도면이다.5 is a diagram illustrating a process of generating an integrated image using a color image and depth information according to an embodiment of the present invention.

도 5를 참조하면, 컬러 정보(I20)와, 깊이 정보(I21)가 각각 대응되는 부분의 정보를 추출하여 집적 영상(I22)을 생성한다. Referring to FIG. 5, the integrated image I22 is generated by extracting information of a portion where the color information I20 and the depth information I21 respectively correspond.

본 발명에서 3차원 집적 영상 디스플레이 장치(100)는 집적 영상 생성 단계(S205)에서 컬러 정보, 깊이 정보 및 가상 렌즈에 대한 정보를 이용하여 집적 영상을 생성할 수 있다. 이때 가상 렌즈에 대한 정보는 사용자로부터 입력받은 가상 렌즈의 초점 거리, 가상 렌즈의 크기 및 가상 렌즈의 수를 포함하는 것일 수 있다. In the present invention, the 3D integrated image display apparatus 100 may generate an integrated image by using color information, depth information, and information on a virtual lens in the integrated image generation step (S205). In this case, the information about the virtual lens may include a focal length of the virtual lens, a size of the virtual lens, and the number of virtual lenses received from the user.

디스플레이 단계(S207)는 생성된 집적 영상을 3차원으로 디스플레이하는 단계이다. The display step S207 is to display the generated integrated image in three dimensions.

도 6은 본 발명의 일 실시예에 따른 생성된 집적 영상을 렌즈 어레이를 이용하여 3차원 영상으로 디스플레이하는 과정을 보여주는 도면이다.FIG. 6 is a diagram illustrating a process of displaying a generated integrated image as a 3D image using a lens array according to an exemplary embodiment.

도 6을 참조하면, 생성된 집적 영상(L40)을 렌즈 어레이(L41)를 이용하여 재구성된 3차원 영상(L42)으로 보여주는 과정을 도시한 것이다.
Referring to FIG. 6, a process of showing the generated integrated image L40 as a reconstructed 3D image L42 using the lens array L41 is illustrated.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.
While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit of the invention and the scope of the appended claims.

100 3차원 집적 영상 디스플레이 장치 110 이미지 캡쳐부
120 이미지 생성부 130 집적 영상 생성부
140 디스플레이부100 3D integrated video display device 110 Image capture unit
120 Image Generator 130 Integrated Image Generator
140 Display

Claims (17)

카메라에서 촬영된 이미지를 포함하는 영상 신호를 수신하고, 수신한 영상 신호에 대한 컬러 정보를 획득하기 위한 이미지 캡쳐부;
상기 이미지 캡쳐부에서 획득한 컬러 정보를 이용하여 3차원 공간에서의 물체의 깊이 정보를 생성하기 위한 이미지 생성부;
상기 컬러 정보 및 깊이 정보를 이용하여 집적 영상(integral imaging)을 생성하기 위한 집적 영상 생성부; 및
상기 집적 영상 생성부에서 생성된 집적 영상을 3차원으로 디스플레이하기 위한 디스플레이부를 포함하는 3차원 집적 영상 디스플레이 장치.
An image capture unit for receiving an image signal including an image captured by the camera and acquiring color information of the received image signal;
An image generator for generating depth information of an object in a three-dimensional space using color information acquired by the image capture unit;
An integrated image generator for generating an integrated imaging using the color information and the depth information; And
And a display unit for displaying the integrated image generated by the integrated image generator in three dimensions.
제1항에 있어서,
상기 이미지 캡쳐부는 상기 카메라로부터 수신한 영상 신호에 대해 캘리브레이션(Calibration)을 적용하여 카메라 렌즈에 의해 왜곡된 정보를 복원하고, 복원된 영상 신호를 명도를 포함하고 있는 컬러 모델로 변환시키는 방식으로 컬러 정보를 획득하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 장치.
The method of claim 1,
The image capture unit applies a calibration to the image signal received from the camera to restore information distorted by the camera lens, and converts the reconstructed image signal into a color model including brightness. 3D integrated image display device, characterized in that for obtaining.
제1항에 있어서,
상기 이미지 생성부는 상기 컬러 정보 중에서 명도 정보의 차이를 이용하여 물체의 깊이 정보를 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 장치.
The method of claim 1,
And the image generator generates depth information of an object using a difference in brightness information among the color information.
제3항에 있어서,
상기 이미지 생성부는 OpenCL 병렬 처리 기법을 이용하여 상기 명도 정보의 차이를 이용한 물체의 깊이 정보를 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 장치.
The method of claim 3,
And the image generator generates depth information of an object using the difference in brightness information by using an OpenCL parallel processing technique.
제1항에 있어서,
상기 집적 영상 생성부는 상기 깊이 정보에 대응하는 각 픽셀에 대한 컬러 정보를 추출하고, 각 픽셀에 대해 추출된 컬러 정보와 대응하는 깊이 정보를 이용하여 집적 영상을 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 장치.
The method of claim 1,
The integrated image generating unit extracts color information of each pixel corresponding to the depth information, and generates an integrated image by using the extracted color information and depth information corresponding to each pixel. Display device.
제5항에 있어서,
상기 집적 영상 생성부는 집적 영상을 생성함에 있어서, OpenCL 병렬 처리 기법을 이용하여 프레임 단위로 수행하여 계산하는 방식으로 집적 영상을 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 장치.
The method of claim 5,
The integrated image generating unit generates an integrated image by generating an integrated image by performing a frame-by-frame calculation using an OpenCL parallel processing technique.
제1항에 있어서,
상기 집적 영상 생성부는 상기 컬러 정보, 상기 깊이 정보 및 가상 렌즈에 대한 정보를 이용하여 집적 영상을 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 장치.
The method of claim 1,
The integrated image generating unit generates an integrated image by using the color information, the depth information, and the information on the virtual lens.
제7항에 있어서,
상기 가상 렌즈에 대한 정보는 사용자로부터 입력받은 가상 렌즈의 초점 거리, 가상 렌즈의 크기 및 가상 렌즈의 수를 포함하는 것임을 특징으로 하는 3차원 집적 영상 디스플레이 장치.
The method of claim 7, wherein
And the information on the virtual lens includes a focal length of the virtual lens, a size of the virtual lens, and the number of virtual lenses received from the user.
제1항에 있어서,
상기 디스플레이부는 집적 영상을 디스플레이 하기 위한 표시부와, 상기 표시부에 부착되어 상기 표시부에서 디스플레이되는 집적 영상을 3차원으로 구현하기 위한 렌즈 어레이를 포함하여 이루어지는 것을 특징으로 하는 3차원 집적 영상 디스플레이 장치.
The method of claim 1,
And the display unit comprises a display unit for displaying an integrated image and a lens array attached to the display unit to implement an integrated image displayed in the display unit in three dimensions.
3차원 집적 영상을 디스플레이하기 위한 3차원 집적 영상 디스플레이 장치에서의 3차원 집적 영상 디스플레이 방법에 있어서,
카메라에서 촬영된 이미지를 포함하는 영상 신호를 수신하고, 수신한 영상 신호에 대한 컬러 정보를 획득하는 동영상 수집 단계;
획득한 컬러 정보를 이용하여 3차원 공간에서의 물체의 깊이 정보를 생성하는 깊이 정보 생성 단계;
상기 컬러 정보 및 깊이 정보를 이용하여 집적 영상(integral imaging)을 생성하는 집적 영상 생성 단계; 및
생성된 집적 영상을 3차원으로 디스플레이하는 디스플레이 단계를 포함하는 3차원 집적 영상 디스플레이 방법.
A three-dimensional integrated image display method in a three-dimensional integrated image display apparatus for displaying a three-dimensional integrated image,
Receiving a video signal including an image captured by the camera and acquiring color information of the received video signal;
A depth information generation step of generating depth information of an object in a three-dimensional space using the obtained color information;
Generating an integrated image using the color information and the depth information; And
And a display step of displaying the generated integrated image in three dimensions.
제10항에 있어서,
상기 동영상 수집 단계는 상기 카메라로부터 수신한 영상 신호에 대해 캘리브레이션(Calibration)을 적용하여 카메라 렌즈에 의해 왜곡된 정보를 복원하고, 복원된 영상 신호를 명도를 포함하고 있는 컬러 모델로 변환시키는 방식으로 컬러 정보를 획득하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 방법.
The method of claim 10,
The video collecting step may be performed by applying a calibration to the image signal received from the camera to restore information distorted by the camera lens, and converting the reconstructed image signal into a color model including brightness. 3D integrated image display method, characterized in that to obtain information.
제10항에 있어서,
상기 깊이 정보 생성 단계는 상기 컬러 정보 중에서 명도 정보의 차이를 이용하여 물체의 깊이 정보를 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 방법.
The method of claim 10,
The depth information generating step may include generating depth information of an object using a difference in brightness information among the color information.
제12항에 있어서,
상기 깊이 정보 생성 단계는 OpenCL 병렬 처리 기법을 이용하여 상기 명도 정보의 차이를 이용한 물체의 깊이 정보를 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 방법.
The method of claim 12,
The depth information generating step may include generating depth information of an object using the difference in brightness information by using an OpenCL parallel processing technique.
제10항에 있어서,
상기 집적 영상 생성 단계는 상기 깊이 정보에 대응하는 각 픽셀에 대한 컬러 정보를 추출하고, 각 픽셀에 대해 추출된 컬러 정보와 대응하는 깊이 정보를 이용하여 집적 영상을 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 방법.
The method of claim 10,
The generating of the integrated image may include extracting color information of each pixel corresponding to the depth information, and generating an integrated image by using the extracted color information and depth information corresponding to each pixel. Video display method.
제14항에 있어서,
상기 집적 영상 생성 단계는 집적 영상을 생성함에 있어서, OpenCL 병렬 처리 기법을 이용하여 프레임 단위로 수행하여 계산하는 방식으로 집적 영상을 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 방법.
15. The method of claim 14,
The generating of the integrated image may include generating an integrated image by generating and calculating the integrated image in a frame unit by using the OpenCL parallel processing technique.
제10항에 있어서,
상기 집적 영상 생성 단계는 상기 컬러 정보, 상기 깊이 정보 및 가상 렌즈에 대한 정보를 이용하여 집적 영상을 생성하는 것을 특징으로 하는 3차원 집적 영상 디스플레이 방법.
The method of claim 10,
In the integrated image generating step, an integrated image is generated using the color information, the depth information, and the information about the virtual lens.
제16항에 있어서,
상기 가상 렌즈에 대한 정보는 사용자로부터 입력받은 가상 렌즈의 초점 거리, 가상 렌즈의 크기 및 가상 렌즈의 수를 포함하는 것임을 특징으로 하는 3차원 집적 영상 디스플레이 방법.
17. The method of claim 16,
And the information about the virtual lens includes a focal length of the virtual lens, a size of the virtual lens, and the number of virtual lenses received from the user.
KR1020120071868A 2012-07-02 2012-07-02 Method for displaying of three-dimensional integral imaging using camera and apparatus thereof KR101356378B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120071868A KR101356378B1 (en) 2012-07-02 2012-07-02 Method for displaying of three-dimensional integral imaging using camera and apparatus thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120071868A KR101356378B1 (en) 2012-07-02 2012-07-02 Method for displaying of three-dimensional integral imaging using camera and apparatus thereof

Publications (2)

Publication Number Publication Date
KR20140004382A true KR20140004382A (en) 2014-01-13
KR101356378B1 KR101356378B1 (en) 2014-01-28

Family

ID=50140382

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120071868A KR101356378B1 (en) 2012-07-02 2012-07-02 Method for displaying of three-dimensional integral imaging using camera and apparatus thereof

Country Status (1)

Country Link
KR (1) KR101356378B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160139302A (en) * 2015-05-27 2016-12-07 엘지이노텍 주식회사 Motion sensing apparatus
KR101715470B1 (en) * 2015-04-10 2017-03-14 충북대학교 산학협력단 Integral Imaging Microscope Apparatus and the Method for Improving Depth of Focus thereof
KR20180065891A (en) * 2016-12-07 2018-06-18 한국전자통신연구원 Image processing device configured to generate depth map and method of operating the saem
KR102289045B1 (en) * 2020-03-23 2021-08-11 주식회사 픽스트리 Method and Apparatus for Providing Multi-scale Object Image Restoration

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100764382B1 (en) 2006-06-28 2007-10-08 한국정보통신대학교 산학협력단 Apparatus for image mapping in computer-generated integral imaging system and method thereof
KR100897305B1 (en) * 2007-07-03 2009-05-14 광운대학교 산학협력단 Three-dimensional integral display method and system using elemental images and computer readable record-medium on which program for executing method thereof
KR20120045269A (en) * 2010-10-29 2012-05-09 삼성전자주식회사 Method and apparatus for generating hologram based on 3d mesh modeling and evolution

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101715470B1 (en) * 2015-04-10 2017-03-14 충북대학교 산학협력단 Integral Imaging Microscope Apparatus and the Method for Improving Depth of Focus thereof
KR20160139302A (en) * 2015-05-27 2016-12-07 엘지이노텍 주식회사 Motion sensing apparatus
KR20180065891A (en) * 2016-12-07 2018-06-18 한국전자통신연구원 Image processing device configured to generate depth map and method of operating the saem
KR102289045B1 (en) * 2020-03-23 2021-08-11 주식회사 픽스트리 Method and Apparatus for Providing Multi-scale Object Image Restoration

Also Published As

Publication number Publication date
KR101356378B1 (en) 2014-01-28

Similar Documents

Publication Publication Date Title
CN109615703B (en) Augmented reality image display method, device and equipment
Li et al. Simplified integral imaging pickup method for real objects using a depth camera
WO2014044126A1 (en) Coordinate acquisition device, system and method for real-time 3d reconstruction, and stereoscopic interactive device
WO2019085022A1 (en) Generation method and device for optical field 3d display unit image
US9325886B2 (en) Specular and diffuse image generator using polarized light field camera and control method thereof
JP2013042301A (en) Image processor, image processing method, and program
KR101356378B1 (en) Method for displaying of three-dimensional integral imaging using camera and apparatus thereof
RU2010105103A (en) METHOD FOR PRESENTING THE ORIGINAL THREE-DIMENSIONAL SCENE BY THE RESULTS OF SHOOTING THE IMAGES IN A TWO-DIMENSIONAL PROJECTION
CN109302600B (en) Three-dimensional scene shooting device
Shin et al. Improved Viewing Quality of 3‐D Images in Computational Integral Imaging Reconstruction Based on Lenslet Array Model
JP6867645B2 (en) Image processing equipment, methods, and programs
CN111080774B (en) Method and system for reconstructing light field by applying depth sampling
WO2014171438A1 (en) Three-dimensional shape measurement device, three-dimensional shape measurement method, and three-dimensional shape measurement program
KR101289008B1 (en) Method for obtaining of Three-Dimensional Integral Imaging using the Depth Camera and Display System thereof
KR101025785B1 (en) 3D Real Video Device
Aggoun Pre-processing of integral images for 3-D displays
CN104463958A (en) Three-dimensional super-resolution method based on disparity map fusing
Swash et al. Pre-processing of holoscopic 3D image for autostereoscopic 3D displays
KR101832743B1 (en) Digital Holographic Display and Method For Real-Time Pupil Tracking Digital Holographic Display
王琼华 et al. 3D pickup and display method of integral imaging
Muniraj et al. Subpixel based defocused points removal in photon-limited volumetric dataset
KR101650009B1 (en) The method and the recording media for original image restoration technology based on scattering noise removal and photon detection for single recorded image
KR20070061157A (en) Apparatus and method for camera auto-calibration in motion blurred sequence, augmented reality system using it
KR101718309B1 (en) The method of auto stitching and panoramic image genertation using color histogram
Hong et al. GPU-accelerated integral imaging and full-parallax 3D display using stereo–plenoptic camera system

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170102

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee