KR20090091639A - 3d image processing - Google Patents

3d image processing Download PDF

Info

Publication number
KR20090091639A
KR20090091639A KR1020080083922A KR20080083922A KR20090091639A KR 20090091639 A KR20090091639 A KR 20090091639A KR 1020080083922 A KR1020080083922 A KR 1020080083922A KR 20080083922 A KR20080083922 A KR 20080083922A KR 20090091639 A KR20090091639 A KR 20090091639A
Authority
KR
South Korea
Prior art keywords
image data
data
color image
depth
color
Prior art date
Application number
KR1020080083922A
Other languages
Korean (ko)
Other versions
KR101526948B1 (en
Inventor
심재영
김도균
이기창
가엘 구엔네바우드
마리오 보취
마르쿠스 그로스
로베르트 카르넥키
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/379,055 priority Critical patent/US9641822B2/en
Publication of KR20090091639A publication Critical patent/KR20090091639A/en
Application granted granted Critical
Publication of KR101526948B1 publication Critical patent/KR101526948B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Abstract

A three dimensional processing method for storing, processing and rendering three dimensional image information by using a depth camera and a normal image camera is provided to improve the effectiveness of the point based 3D information representation by a common CCD/CMOS camera and 3D data. Depth image and a color image of an object are acquired by using a depth camera and a CCD/CMOS camera(110). The image related to the object is stored as data of 3D data format(120). The color images related to object is stored as the color image data of 2D data format(130). A projection surface is generated by using a projection operator(140). A first depth video data of the first resolution is obtained from the first point of time.

Description

3Ｄ 영상 처리 방법{3D Image Processing}3D image processing method {3D Image Processing}

본 발명은 3D 영상 처리 방법에 관한 것으로, 보다 구체적으로, 깊이 카메라와 일반 영상 카메라를 이용하여 취득한 3D 영상 정보의 저장, 프로세싱, 및 렌더링에 관한 것이다.The present invention relates to a 3D image processing method, and more particularly, to storage, processing, and rendering of 3D image information acquired using a depth camera and a general image camera.

최근에 깊이 카메라(depth camera)를 이용하여 깊이 영상(depth image)을 취득하고, 일반 CCD/CMOS 카메라를 이용하여 칼라 영상(color image)을 취득한 후, 영상 정합을 통하여 3D 정보를 얻을 수 있는 방법이 연구되고 있다.Recently, a depth image is acquired using a depth camera, a color image is acquired using a general CCD / CMOS camera, and 3D information is obtained through image registration. This is being studied.

이와 같이 얻어진 3D 정보를 표현하는 방법으로는 삼각형 메쉬(triangular mesh)를 이용하는 것과 포인트 군(point cloud)을 이용하는 것 등 여러 가지가 있다. 취득된 3D 정보는 적절한 모델링(modeling) 과정을 거쳐 효율적인 표현 구조로 변환되는데, 이러한 변환이나 변환 후의 다양한 프로세싱(processing) 및 렌더링(rendering)은 3D 정보를 표현하는 데이터 구조의 효율성에 따라 그 성능이 많이 좌우된다. There are various methods of expressing the 3D information thus obtained, such as using a triangular mesh and using a point cloud. The acquired 3D information is transformed into an efficient representation structure through proper modeling process, and the various processing and rendering after the transformation or transformation is performed according to the efficiency of the data structure representing the 3D information. It depends a lot.

메쉬 기반 표현은 영상의 규칙성을 이용하여 인접하는 픽셀을 연결하고 메쉬 연결 정보를 생성하여 영상을 프로세싱하는 방법이다. 이러한 메쉬 기반 표현은 깊이 영상 취득 시 발생하는 노이즈(noise)나 홀(hole) 등의 제거가 상대적으로 용이하다. 그러나 메쉬 기반 표현의 경우, 한 장이 아닌 여러 장의 영상으로부터 하나의 3차원 메쉬 모델을 생성하기 위해서는 서로 중첩하는 부분에 대해 적절한 스티칭(stiching) 작업이 필요하며, 일반적으로 이 과정이 매우 복잡하다.Mesh-based representation is a method of processing an image by connecting adjacent pixels using the regularity of the image and generating mesh connection information. Such a mesh-based representation is relatively easy to remove noise or holes generated during depth image acquisition. However, in the case of mesh-based representation, in order to generate a three-dimensional mesh model from several images instead of one, proper stitching of overlapping portions is required, and this process is generally complicated.

반면 포인트 기반 표현은 여러 장의 영상으로부터 얻어지는 3차원 포인트들을 공간상에서 단순히 합치면 되기 때문에 메쉬에 비해 보다 효율적인 3D 모델을 생성할 수 있다. 이러한 포인트 데이터는 kd-트리(kd-tree)나 팔진트리(octree)와 같은 공간 데이터 구조에 저장된다. 이러한 포인트 기반 표현에서는 효율적인 서피스(surface) 예측 및 포인트 리샘플링 등의 프로세싱을 위해 입체 정보와 칼라 정보를 효율적으로 저장하는 것이 필요하다.Point-based representations, on the other hand, can generate more efficient 3D models than meshes because they simply combine three-dimensional points from multiple images in space. This point data is stored in a spatial data structure, such as a kd-tree or octree. In such point-based representation, it is necessary to efficiently store stereoscopic and color information for processing such as efficient surface prediction and point resampling.

이러한 종래 기술에서는 3차원 정보의 깊이 데이터와 칼라 영상 데이터가 함께 저장되었다.In this prior art, depth data and color image data of three-dimensional information are stored together.

본 발명은 포인트 기반 3차원 정보 표현의 효율성 향상을 위해 안출된 것으로서, 객체로부터 깊이 카메라에 의해 얻어진 3D 데이터와 통상의 CCD/CMOS 카메라에 의해 얻어진 칼라 영상 데이터를 저장하고 처리하는 방법 및 장치를 제공하기 위한 것이다.The present invention has been made to improve the efficiency of point-based three-dimensional information representation, and provides a method and apparatus for storing and processing 3D data obtained from a depth camera from an object and color image data obtained by a conventional CCD / CMOS camera. It is to.

본 발명의 또 다른 목적은, 렌더링을 원하는 임의의 시점에서의 입체 영상을 도출하고 상기 시점에서의 칼라 값을 계산하여 임의의 시점에서 바라본 3D 영상을 렌더링하는 방법 및 장치를 제공하는 것이다.Another object of the present invention is to provide a method and apparatus for rendering a 3D image viewed from an arbitrary viewpoint by deriving a stereoscopic image at an arbitrary viewpoint to be rendered and calculating a color value at the viewpoint.

본 발명의 또 다른 목적은, 획득된 깊이 영상의 해상도가 칼라 영상의 해상도와 다른 경우와 같이, 상기 깊이 영상의 해상도를 변경할 필요가 있는 경우 효율적으로 상기 깊이 영상의 해상도를 변환하는 방법을 제공하는 것이다.Another object of the present invention is to provide a method for efficiently converting the resolution of the depth image when it is necessary to change the resolution of the depth image, such as when the resolution of the acquired depth image is different from that of the color image. will be.

상기의 목적을 이루기 위하여, 본 발명의 일측에 따르면, 제1 객체와 연관된 깊이 영상을 3D 데이터 포맷의 제1 데이터로 저장하는 단계, 및 상기 제1 객체와 연관된 칼라 영상을 상기 제1 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장하는 단계를 포함하는 3D 영상 처리 방법이 제공된다.In order to achieve the above object, according to an aspect of the present invention, storing the depth image associated with the first object as the first data in the 3D data format, and the color image associated with the first object independent of the first data There is provided a 3D image processing method comprising the step of storing the color image data in the 2D data format.

본 발명의 또 다른 일측에 따르면, 상기 3D 영상 처리 방법은, 상기 제1 데이터로부터 MLS 오퍼레이터를 사용하여 MLS 서피스를 생성하는 단계, 상기 MLS 서피스에 대한 레이 서피스 인터섹션(ray-surface intersection) 방법을 이용하여 제 1 시점으로부터 제1 해상도의 제1 깊이 영상 데이터를 얻는 단계, 및 상기 제1 깊이 영상 데이터 및 상기 칼라 영상 데이터를 결합하여 3D 영상 데이터를 얻는 단계를 더 포함한다.According to another aspect of the invention, the 3D image processing method, generating an MLS surface using the MLS operator from the first data, the ray-surface intersection method for the MLS surface The method may further include obtaining first depth image data having a first resolution from a first viewpoint using the first depth image data, and obtaining 3D image data by combining the first depth image data and the color image data.

본 발명의 또 다른 일측에 따르면, 상기 제1 객체와 연관된 칼라 영상을 상기 제1 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장하는 단계는, 상기 제1 객체와 연관된 복수 개의 시점으로부터의 칼라 영상들을 상기 제1 데이터와 독립하여 2D 데이터 포맷의 복수 개의 칼라 영상 데이터로 저장하고, 상기 제1 깊이 영상 데이터 및 상기 칼라 영상 데이터를 결합하여 3D 영상 데이터를 얻는 단계는, 상기 복수 개의 칼라 영상 데이터 중 어느 하나도 상기 제1 시점의 칼라 영상 데이터가 아닌 경우, 상기 제1 시점으로부터 상기 MLS 서피스로 역방향 투영(backprojection)을 한 교차점으로부터 상기 복수 개의 칼라 영상 데이터의 시점의 각각으로 정방향 투영(forward projection)된 각도에 기초하여 제2 칼라 영상 데이터를 생성하고, 상기 제1 깊이 영상 데이터 및 상기 제2 칼라 영상 데이터를 결합하여 상기 3D 영상 데이터를 얻는다.According to another aspect of the invention, the step of storing the color image associated with the first object as color image data of 2D data format independent of the first data, the color from a plurality of viewpoints associated with the first object Storing images as a plurality of color image data in a 2D data format independently of the first data, and obtaining 3D image data by combining the first depth image data and the color image data may include: If none of the color image data of the first viewpoint is forward projection from each of the viewpoints of the plurality of color image data from the intersection of the back projection from the first viewpoint to the MLS surface Generate second color image data based on the determined angle, and generate the first depth image data. And it obtains the 3D image data by combining the second color image data.

본 발명의 또 다른 일측에 따르면, 제1 깊이 영상 데이터로부터 MLS(Moving Least Square) 오퍼레이터를 사용하여 MLS 서피스를 생성하는 단계, 및 상기 MLS 서피스에 대한 레이-서피스 인터섹션(Ray-Surface Intersection) 방법을 이용하여 제1 해상도의 제2 깊이 영상 데이터를 얻는 단계를 포함하는 3D 영상 처리 방법이 제공된다.According to another aspect of the present invention, a method of generating an MLS surface using a moving least square (MLS) operator from first depth image data, and a Ray-Surface Intersection method for the MLS surface Using the 3D image processing method comprising the step of obtaining the second depth image data of the first resolution.

본 발명의 또 다른 일측에 따르면, 제1 객체와 연관된 복수 개의 깊이 영상 의 각각에 대응하는 복수 개의 깊이 영상 데이터를 저장하는 단계, 및 상기 제1 객체와 연관된 칼라 영상을 상기 복수 개의 깊이 영상 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장하는 단계를 포함하는 3D 영상 처리 방법이 제공된다.According to another aspect of the invention, storing a plurality of depth image data corresponding to each of a plurality of depth image associated with a first object, and a color image associated with the first object and the plurality of depth image data Provided is a 3D image processing method including independently storing color image data in a 2D data format.

본 발명의 또 다른 일측에 따르면, 제1 객체와 연관된 깊이 영상을 3D 데이터 포맷의 제1 데이터로 저장하는 제1 저장부, 및 상기 제1 객체와 연관된 칼라 영상을 상기 제1 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장하는 제2 저장부를 포함하는 3D 영상 처리 장치가 제공된다.According to another aspect of the invention, the first storage unit for storing the depth image associated with the first object as the first data of the 3D data format, and the color image associated with the first object 2D independent of the first data A 3D image processing apparatus including a second storage unit for storing color image data in a data format is provided.

이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings and the contents described in the accompanying drawings, but the present invention is not limited or limited to the embodiments. Like reference numerals in the drawings denote like elements.

도 1은 본 발명의 일실시예에 따라 깊이 영상 데이터와 칼라 영상 데이터를 분리하여 저장하고, 이를 이용하여 3D 영상 데이터를 처리하는 방법을 도시한 흐름도이다. 1 is a flowchart illustrating a method of separating and storing depth image data and color image data and processing 3D image data using the same according to an embodiment of the present invention.

단계(110)에서 깊이 카메라(depth camera) 및 CCD/CMOS 카메라를 이용하여 객체의 깊이 영상(depth image) 및 칼라 영상(color image)을 획득한다. 깊이 카메라는 객체로부터 상기 객체의 깊이 영상을 획득한다. 상기 객체에 대하여 상기 깊이 카메라를 복수 개의 시점에 위치시켜, 상기 시점에 따른 복수 개의 깊이 영상 을 획득할 수도 있다. CCD/CMOS 카메라는 객체로부터 상기 객체의 칼라 영상을 획득한다. 상기 객체에 대하여 상기 CCD/CMOS 카메라를 복수 개의 시점에 위치시켜, 상기 시점에 따른 복수 개의 칼라 영상을 획득할 수도 있다. 이때, 깊이 영상과 칼라 영상은 서로 상이한 해상도를 가질 수 있다.In operation 110, a depth image and a color image of an object are obtained using a depth camera and a CCD / CMOS camera. The depth camera acquires a depth image of the object from the object. The depth camera may be positioned at a plurality of viewpoints with respect to the object to obtain a plurality of depth images according to the viewpoints. The CCD / CMOS camera acquires a color image of the object from the object. The CCD / CMOS camera may be positioned at a plurality of viewpoints with respect to the object to obtain a plurality of color images according to the viewpoints. In this case, the depth image and the color image may have different resolutions.

단계(120)에서 상기 객체와 연관된 깊이 영상이 3D 데이터 포맷의 데이터로 저장된다. 3D 데이터 포맷(3D data format)은 상기 객체의 3차원 위치 정보를 표현하는 데이터 포맷이다. 상기 3D 데이터 포맷은 kd-트리(kd-tree), 팔진트리(octree) 등과 같은 계층적 포인트 데이터 포맷(hierarchical point data format)을 포함한다. 상기 계층적 포인트 데이터 포맷은 객체를 구성하는 포인트의 공간 상의 위치 정보를 표현하는 계층적 구조를 가지는 데이터 구조이다. 이하에서는 상기 3D 데이터 포맷의 예로 팔진트리를 이용하는 경우를 예로서 설명하지만, 본 발명은 이에 제한되지 않는다.In operation 120, a depth image associated with the object is stored as data in a 3D data format. The 3D data format is a data format representing three-dimensional position information of the object. The 3D data format includes a hierarchical point data format such as a kd-tree, an octree, and the like. The hierarchical point data format is a data structure having a hierarchical structure representing positional information on a space of points constituting an object. Hereinafter, a case in which the octal tree is used as an example of the 3D data format will be described as an example, but the present invention is not limited thereto.

본 발명의 일실시예에 따르면, 복수 개의 시점에 위치된 깊이 카메라로부터 객체에 대한 복수 개의 깊이 영상이 획득된다. 이 경우, 상기 객체와 연관된 복수 개의 깊이 영상의 각각에 대응하여 복수 개의 깊이 영상 데이터(depth data)가 저장된다. 상기 깊이 영상 데이터는 칼라 영상 데이터(color data)와 독립하여 저장된다. 상기 복수 개의 깊이 영상 데이터는 다시 하나의 3D 데이터 포맷의 데이터로 합쳐서 저장된다. 본 발명의 일실시예에서, 상기 3D 데이터 포맷으로 팔진트리를 사용하는데, 이 경우 상기 복수 개의 깊이 영상 데이터는 상기 팔진트리에 매우 용이하게 삽입된다. 이렇게 되면, 깊이 카메라로부터 얻어진 하나의 깊이 영상 데 이터는 하나의 시점에 대응되지만, 상기 팔진트리에 저장되는 데이터는 복수 개의 시점으로부터의 깊이 영상 데이터를 모두 포함하여, 상기 객체의 3D 위치 정보를 보다 상세하게 표현하게 된다. 이와 같이, 복수 개의 입력된 깊이 영상은 하나의 계층적 포인트 군 표현(hierarchical point cloud representation)으로 결합(combine)된다.According to an embodiment of the present invention, a plurality of depth images of an object are obtained from a depth camera located at a plurality of viewpoints. In this case, a plurality of depth image data is stored corresponding to each of the plurality of depth images associated with the object. The depth image data is stored independently of the color image data. The plurality of depth image data is again stored as data in one 3D data format. In one embodiment of the present invention, the octal tree is used as the 3D data format, in which case the plurality of depth image data is very easily inserted into the octal tree. In this case, one depth image data obtained from the depth camera corresponds to one viewpoint, but the data stored in the octal tree includes all the depth image data from the plurality of viewpoints, so as to view 3D position information of the object. It will be described in detail. As such, the plurality of input depth images are combined into one hierarchical point cloud representation.

단계(130)에서 상기 객체와 연관된 칼라 영상이 2D 데이터 포맷의 칼라 영상 데이터(color data)로 저장된다. 2D 데이터 포맷(2D data format)은 상기 객체의 2차원 위치 정보를 포함하는 데이터 포맷이다. 예를 들어, 본 발명의 일실시예에 따르면, 상기 칼라 영상 데이터는 RGB 포맷으로 저장되는데, 상기 RGB 포맷은 객체를 2차원 평면에 표시하는 경우 각 픽셀의 칼라 값을 저장한다. In operation 130, a color image associated with the object is stored as color image data of a 2D data format. The 2D data format is a data format including two-dimensional position information of the object. For example, according to an embodiment of the present invention, the color image data is stored in an RGB format, which stores the color value of each pixel when displaying an object on a two-dimensional plane.

본 발명의 일실시예에 따르면, 복수 개의 시점에 위치된 CCD/CMOS 카메라로부터 객체에 대한 복수 개의 칼라 영상이 획득된다. 이 경우, 상기 객체와 연관된 복수 개의 칼라 영상의 각각에 대응하여 복수 개의 칼라 영상 데이터(color data)가 저장된다. 상기 칼라 영상 데이터는 깊이 영상 데이터(depth data)와 독립하여 저장된다. 또한, 상기 칼라 영상 데이터는 상기 복수 개의 깊이 영상 데이터가 합쳐진 팔진트리 포맷의 데이터와도 독립하여 저장된다. 상기 복수 개의 칼라 영상 데이터는 동일한 해상도를 가질 수 있다.According to an embodiment of the present invention, a plurality of color images of an object are obtained from CCD / CMOS cameras located at a plurality of viewpoints. In this case, a plurality of color image data is stored corresponding to each of the plurality of color images associated with the object. The color image data is stored independently of depth image data. The color image data is also stored independently of the octal tree format data in which the plurality of depth image data are combined. The plurality of color image data may have the same resolution.

단계(140)에서 영상 처리 장치는 프로젝션 오퍼레이터(projection operator)를 사용하여, 단계(120)에서 저장된 데이터로부터, 프로젝션 서피스 (projection surface)를 생성한다. 예를 들어, 영상 처리 장치는 MLS(Moving Least Squares) 오퍼레이터(MLS operator)를 사용하여, 단계(120)에서 저장된 데이터로부터, MLS 서피스(MLS surface)을 생성한다. 단계(120)에서 복수 개의 입력된 깊이 영상으로부터 생성된 하나의 계층적 포인트 군 표현(hierarchical point cloud representation)(예를 들어, 단계(120)에서 저장된 데이터)에 MLS 프로젝션 오퍼레이터가 적용된다. 이렇게 하면, 단계(120)에서 저장된 데이터로부터 연속적이고 부드러운(continuous and smooth) MLS 서피스 이 생성된다. 본 실시예에서, 하나의 계층적 포인트 군 표현(예를 들어, 팔진트리 포맷으로 저장된 깊이 영상)은 복수 개의 입력 깊이 영상으로부터 생성된다. 그러나, 본 발명의 또 다른 실시예에 따르면, 상기 계층적 포인트 군 표현은 하나의 입력 깊이 영상으로부터도 생성될 수 있다. 이 경우, 하나의 깊이 영상 데이터로부터 MLS 프로젝션 오퍼레이터를 사용하여 MLS 서피스 이 생성된다.In operation 140, the image processing apparatus generates a projection surface from the data stored in operation 120 using a projection operator. For example, the image processing apparatus generates a MLS surface from the data stored in step 120 using a moving least squares (MLS) operator. In step 120, an MLS projection operator is applied to one hierarchical point cloud representation (eg, data stored in step 120) generated from a plurality of input depth images. This creates a continuous and smooth MLS surface from the data stored in step 120. In this embodiment, one hierarchical point group representation (eg, depth image stored in octal tree format) is generated from a plurality of input depth images. However, according to another embodiment of the present invention, the hierarchical point group representation may also be generated from one input depth image. In this case, an MLS surface is created using the MLS projection operator from one depth image data.

단계(150)에서 영상 처리 장치는 상기 MLS 서피스에 대한 레이 서피스 인터섹션(ray surface intersection) 방법을 이용하여 제1 시점으로부터 제1 해상도의 제1 깊이 영상 데이터를 얻는다. 즉, 레이 서피스 인터섹션 방법을 이용하여 원하는 시점으로부터 원하는 해상도의 깊이 영상 데이터를 얻는다. 렌더링을 하여 얻고자 하는 3D 영상 데이터의 해상도에 맞는 깊이 영상 데이터가 얻어진다. 예를 들어 깊이 영상 데이터와 결합할 칼라 영상 데이터의 해상도와 동일한 해상도의 깊이 영상 데이터를 레이 서피스 인터섹션 방법을 이용하여 얻을 수 있다.In operation 150, the image processing apparatus obtains first depth image data having a first resolution from a first viewpoint by using a ray surface intersection method for the MLS surface. That is, depth image data having a desired resolution is obtained from a desired viewpoint using a ray surface intersection method. Depth image data suitable for the resolution of 3D image data to be obtained by rendering is obtained. For example, the depth image data having the same resolution as that of the color image data to be combined with the depth image data may be obtained by using the ray surface intersection method.

단계(160)에서 영상 처리 장치는 저장된 칼라 영상 데이터로부터 제1 시점의 칼라 영상 데이터를 얻는다. 저장되어 있는 복수 개의 칼라 영상 데이터 중 제1 시점의 칼라 영상 데이터가 있는 경우, 단순히 상기 제1 시점의 칼라 영상 데이터를 선택한다. 만약 상기 복수 개의 칼라 영상 데이터 중 어느 하나도 상기 제1 시점의 칼라 영상 데이터가 아닌 경우, 상기 복수 개의 칼라 영상 데이터 중 선택된 칼라 영상 데이터의 선형 합을 이용하여 상기 제1 시점의 칼라 영상 데이터를 보간(interpolation)하여 얻는다.In operation 160, the image processing apparatus obtains color image data of the first view from the stored color image data. If there is color image data of the first view from among the plurality of stored color image data, the color image data of the first view is simply selected. If none of the plurality of color image data is the color image data of the first view, the color image data of the first view is interpolated using a linear sum of the selected color image data among the plurality of color image data ( interpolation).

단계(170)에서 영상 처리 장치는 상기 제1 깊이 영상 데이터 및 상기 제1 깊이 영상 데이터에 대응하는 칼라 영상 데이터를 결합하여 3D 영상 데이터를 얻는다. 깊이 영상 데이터의 계층적 포인트 군 표현은 프로젝션 오퍼레이터(projection operator)를 통하여 칼라 영상 데이터와 연결(link)된다.In operation 170, the image processing apparatus combines the first depth image data and the color image data corresponding to the first depth image data to obtain 3D image data. The hierarchical point group representation of the depth image data is linked with the color image data through a projection operator.

도 2는 본 발명의 일실시예에 따라 깊이 영상 데이터를 팔진트리 구조로 저장하는 구성을 설명하기 위한 개념도이다.2 is a conceptual diagram illustrating a configuration of storing depth image data in an octal tree structure according to an embodiment of the present invention.

팔진트리 구조(octree structure)는 각각의 내부 노드가 최대 8개의 자식(children)을 가지는 트리 데이터 구조이다. 도 2에서 팔진트리 구조(octree structure)(200)는 2차원 평면적으로 도시되어 있으나, 3차원의 공간에서 부모(parent)를 최대 8개의 자식(children) 공간으로 분할해 나아가며 포인트의 공간 정보를 트리 구조로 저장한다. 제 1시점(210)에서의 깊이 영상(211) 및 제 2시점(220)에서의 깊이 영상(221)과 연관된 3차원 공간 상의 포인트 군(point cloud)이 상기 팔진트리 구조로 저장된다. 이와 같이 복수 개의 시점으로부터 얻어진 복수 개의 깊이 영상 데이터는 하나의 팔진트리 구조에 저장된다. 팔진트리 구조를 이용하면, 새로운 깊이 영상 데이터를 추가하거나 깊이 영상 데이터를 삭제하는 것 이 용이하다.The octree structure is a tree data structure in which each internal node has up to eight children. In FIG. 2, the octree structure 200 is illustrated in a two-dimensional plane, but the parent is divided into up to eight child spaces in a three-dimensional space, and the spatial information of the point is treeed. Save it as a structure. A point cloud on a three-dimensional space associated with the depth image 211 at the first view 210 and the depth image 221 at the second view 220 is stored in the octal tree structure. In this way, the plurality of depth image data obtained from the plurality of viewpoints is stored in one octal tree structure. Using the octal tree structure, it is easy to add new depth image data or delete depth image data.

참고로, 칼라 영상(212)은 제1 시점(210)으로부터의 칼라 영상이고, 칼라 영상(222)은 제2 시점(220)으로부터의 칼라 영상이다.For reference, the color image 212 is a color image from the first viewpoint 210, and the color image 222 is a color image from the second viewpoint 220.

도 3은 본 발명의 일실시예에 따라 복수 개의 깊이 영상 데이터를 팔진트리 구조로 저장하는 구성을 설명하기 위한 도면이다.3 is a view for explaining a configuration of storing a plurality of depth image data in an octal tree structure according to an embodiment of the present invention.

복수 개의 시점에 위치한 깊이 카메라로부터 복수 개의 깊이 영상이 획득된다. 복수 개의 깊이 영상의 각각에 대응하여 복수 개의 깊이 영상 데이터(depth data)(310)가 저장된다. 상기 복수 개의 깊이 영상 데이터(310)는 다시 하나의 3D 데이터 포맷의 데이터로 합쳐서 저장된다. 도 3의 실시예에서는, 상기 3D 데이터 포맷으로 팔진트리(320)를 사용하는데, 이 경우 상기 복수 개의 깊이 영상 데이터(310)는 팔진트리 구조로 저장된다. 이렇게 되면, 깊이 카메라로부터 얻어진 하나의 깊이 영상 데이터는 하나의 시점에 대응되지만, 상기 팔진트리에 저장되는 데이터는 복수 개의 시점으로부터의 깊이 영상 데이터를 모두 포함하여, 상기 객체의 3D 위치 정보를 보다 상세하게 표현하게 된다. A plurality of depth images are obtained from depth cameras located at the plurality of viewpoints. A plurality of depth image data 310 is stored corresponding to each of the plurality of depth images. The plurality of depth image data 310 is stored as data in one 3D data format. In the embodiment of FIG. 3, the octal tree 320 is used as the 3D data format. In this case, the plurality of depth image data 310 is stored in an octal tree structure. In this case, one depth image data obtained from the depth camera corresponds to one viewpoint, but the data stored in the octal tree includes all the depth image data from the plurality of viewpoints, thereby further describing the 3D position information of the object. Will be expressed.

도 4는 본 발명의 일실시예에 따라 다른 시점으로부터의 복수 개의 칼라 영상 데이터로부터 새로운 시점으로부터의 칼라 영상 데이터를 샘플링(sampling)하는 방법을 설명하기 위한 도면이다.4 is a diagram for describing a method of sampling color image data from a new viewpoint from a plurality of color image data from different viewpoints according to an embodiment of the present invention.

본 발명의 일실시예에 따르면, 객체와 연관된 복수 개의 시점으로부터의 칼라 영상들이 깊이 영상 데이터의 계층적 포인트 군 표현과 독립하여 복수 개의 칼라 영상 데이터로 저장된다. 상기 복수 개의 시점으로부터의 칼라 영상 데이터의 각각은 2D 데이터 포맷으로 저장된다. 상기 복수 개의 칼라 영상 데이터 중 어느 하나가 결합된 깊이 영상 데이터와 같은 시점의 데이터인 경우, 상기 시점의 칼라 영상 데이터가 선택된다. 예를 들어, 도 4에서 제1 시점(440)으로부터의 칼라 영상 데이터를 구하려고 하는데, 저장된 복수 개의 칼라 영상 데이터 중 제1 시점(440)의 칼라 영상 데이터가 존재하는 경우에는, 상기 칼라 영상 데이터를 상기 제1 시점(440)에서의 칼라 영상 데이터로 사용할 수 있다.According to an embodiment of the present invention, color images from a plurality of viewpoints associated with an object are stored as a plurality of color image data independently of a hierarchical point group representation of depth image data. Each of the color image data from the plurality of viewpoints is stored in a 2D data format. When any one of the plurality of color image data is data of the same viewpoint as the combined depth image data, the color image data of the viewpoint is selected. For example, in FIG. 4, when color image data from the first viewpoint 440 is obtained, and color image data of the first viewpoint 440 exists among the plurality of stored color image data, the color image data is obtained. May be used as color image data at the first viewpoint 440.

그러나, 상기 복수 개의 칼라 영상 데이터 중 어느 하나도 결합할 깊이 영상 데이터와 동일한 시점의 데이터가 아닌 경우, 상기 복수 개의 칼라 영상 데이터 중 선택된 칼라 영상 데이터의 선형 합을 이용하여 상기 시점의 칼라 영상 데이터가 획득된다.However, when none of the plurality of color image data is the data of the same viewpoint as the depth image data to be combined, the color image data of the viewpoint is obtained by using a linear sum of the selected color image data among the plurality of color image data. do.

예를 들어, 제2 시점(420)으로부터의 칼라 영상 데이터(421), 제3 시점(430)으로부터의 칼라 영상 데이터(431), 및 제4 시점(440)으로부터의 칼라 영상 데이터(441)가 저장되어 있는 경우, 제1 시점(410)으로부터의 칼라 영상 데이터(411)를 구하는 경우를 설명한다. 이 경우, 제1 시점(410)으로부터의 칼라 영상 데이터(411)는 저장되어 있지 않다. 도 4에 도시된 바와 같이, 제1 시점(410)으로부터 MLS 서피스(460)으로 역방향 투영(backward projection)을 한 교차점(450)으로부터 상기 복수 개의 칼라 영상 데이터(421, 431, 441)에 연관된 시점의 각각(420, 430, 440)으로 정방향 투영(forward projection)된 각도 알파(422), 베타(432), 감마(442)가 얻어진다. 상기 각도 알파(422), 베타(432), 감마(442)에 기초하여 상기 제1 시점(410)의 픽셀(pixel) u에서의 칼라 영상 데이터(411)를 생성할 수 있 다. 예를 들어, 상기 칼라 영상 데이터(411)는, 정방향 투영된 각도 알파(422), 베타(432), 감마(442)에 기초하여 얻어진 계수들을 이용한 상기 복수 개의 칼라 영상 데이터(421, 431, 441)의 선형 합으로 생성될 수 있다. 본 발명의 일실시예에 따르면 상기 선형 합은 수학식 1에 의하여 계산된다.For example, the color image data 421 from the second viewpoint 420, the color image data 431 from the third viewpoint 430, and the color image data 441 from the fourth viewpoint 440 are included. When stored, the case where color image data 411 from the first viewpoint 410 is obtained will be described. In this case, the color image data 411 from the first viewpoint 410 is not stored. As shown in FIG. 4, a viewpoint associated with the plurality of color image data 421, 431, and 441 from an intersection point 450 that has undergone a backward projection from the first viewpoint 410 to the MLS surface 460. The angles alpha 422, beta 432, and gamma 442 that are forward projection to each of 420, 430, and 440 are obtained. The color image data 411 at the pixel u of the first view point 410 may be generated based on the angle alpha 422, the beta 432, and the gamma 442. For example, the color image data 411 may include the plurality of color image data 421, 431, and 441 using coefficients obtained based on forward projected angles alpha 422, beta 432, and gamma 442. Can be generated as a linear sum of According to one embodiment of the invention the linear sum is calculated by equation (1).

Figure 112008061139743-PAT00001
Figure 112008061139743-PAT00001

수학식 1에서 C0(u)는 상기 u에서의 칼라 영상 데이터(411)를 의미하고, i는 상기 칼라 영상 데이터(411)를 구하기 위한 복수 개의 칼라 영상 데이터의 시점의 일련 번호이다. 예를 들어, 제2 시점(420)을 i=1 이라 하면, w1은 상기 제2 시점(420)에 연관되는 각도 알파(422)에 따른 가중치를 의미한다. 한편 C1(P1(P0 -1(u)))은 제2 시점(420)의 컬러 영상에 투영된 칼라 영상 데이터(421)를 의미한다. 단, P0 -1(u)(450)은 상기 u부터의 역방향 투영을 통해 얻은 상기 MLS 서피스(460)과의 교점을, P1(P0 -1(u))는 상기 교점(450)에서 상기 제2 시점(420)에 정방향 투영을 하여 얻은 포인트를 의미한다. 도 4를 참조한 실시예에서 i는 1 내지 3이지만, 본 발명은 이에 제한되지 않으며, 상기 i는 임의의 자연수가 될 수 있다. 한편, 도 4에서, 제4 시점(440)은 MLS 서피스 에 의해 가려져(occluded)있으므로, 상기 수식 에서 w3=0이 된다.In Equation 1, C 0 (u) means color image data 411 in u, and i is a serial number of a viewpoint of a plurality of color image data for obtaining the color image data 411. For example, when the second viewpoint 420 is i = 1, w 1 means a weight according to the angle alpha 422 associated with the second viewpoint 420. Meanwhile, C 1 (P 1 (P 0 -1 (u))) means color image data 421 projected onto the color image of the second viewpoint 420. However, P 0 -1 (u) 450 represents an intersection with the MLS surface 460 obtained through the reverse projection from u, and P 1 (P 0 -1 (u)) represents the intersection 450. Denotes a point obtained by performing a forward projection on the second viewpoint 420. In the embodiment with reference to FIG. 4, i is 1 to 3, but the present invention is not limited thereto, and i may be any natural number. Meanwhile, in FIG. 4, since the fourth time point 440 is occluded by the MLS surface, w 3 = 0 in the above equation.

한편 제 4 시점(440)과 같이 가리워져 있는 시점을 판단하는 방법은 다양하다.On the other hand, there are a variety of methods for determining a hidden view point such as the fourth view point 440.

본 발명의 일 실시예에서는, 레이 서피스 인터섹션 방법으로 미리 구해놓은, 칼라 영상과 동일한 해상도의 깊이 영상이 이용된다. 제4 시점(440)과 상기 교점(450) 사이의 거리가, 상기 제4 시점(440)으로부터 상기 교점(450)을 향하는 방향의 깊이 값(상기 제4 시점(440)과 점(443) 사이의 거리)과 비교된다. 상기 제4시점(440)과 점(443) 사이의 거리는 미리 구해 놓은 제4 시점의 칼라 영상과 동일한 해상도의 깊이 영상으로부터 구할 수 있다. 만약 상기 제4 시점(440)과 상기 교점(450) 사이의 거리가, 상기 제4 시점(440)과 점(443) 사이의 거리보다 크다면, 상기 제4 시점은 가리워진 시점으로 판단된다. 따라서, 상기 제4 시점에 연관되는 가중치인 계수 w3는 0이 된다.In an embodiment of the present invention, a depth image having the same resolution as that of the color image, which is obtained in advance by the ray surface intersection method, is used. The distance between the fourth viewpoint 440 and the intersection 450 is a depth value in the direction from the fourth viewpoint 440 toward the intersection 450 (between the fourth viewpoint 440 and the point 443). Distance). The distance between the fourth view 440 and the point 443 may be obtained from a depth image having the same resolution as the color image of the fourth view previously obtained. If the distance between the fourth view point 440 and the intersection point 450 is greater than the distance between the fourth view point 440 and the point 443, the fourth view point is determined to be a hidden view point. Therefore, the coefficient w3, which is a weight associated with the fourth time point, becomes zero.

이렇게 얻어진 제1 시점(410)의 칼라 영상 데이터(411)는 제1 시점의 깊이 영상 데이터와 결합되어 3D 영상 데이터를 생성한다.The color image data 411 of the first view 410 thus obtained is combined with the depth image data of the first view 410 to generate 3D image data.

도 5는 본 발명의 일실시예에 따라 칼라 영상 데이터와 같은 해상도의 깊이 영상 데이터를 얻는 방법을 설명하기 위한 도면이다.5 is a diagram for describing a method of obtaining depth image data having the same resolution as color image data according to an exemplary embodiment of the present invention.

시점(510)의 깊이 영상 데이터(520)를 포함한 적어도 하나의 깊이 영상 데이터는 팔진트리와 같은 계층적 포인트 데이터 포맷으로 저장된다. 상기 계층적 포인트 데이터 포맷으로 저장된 깊이 영상 데이터로부터 프로젝션 오퍼레이 터(projection operator)를 사용하여 프로젝션 서피스(projection surface)(540)이 생성된다. 예를 들어, MLS 프로젝션 오퍼레이터를 사용하여 MLS 서피스(540)이 얻어진다. 도 5의 경우 하나의 깊이 영상 데이터(520)가 사용되었지만, 복수 개의 시점으로부터의 복수 개의 깊이 영상 데이터가 이용될 수도 있다.At least one depth image data including the depth image data 520 of the viewpoint 510 is stored in a hierarchical point data format such as an octal tree. A projection surface 540 is generated using a projection operator from the depth image data stored in the hierarchical point data format. For example, MLS surface 540 is obtained using MLS projection operator. Although one depth image data 520 is used in FIG. 5, a plurality of depth image data from a plurality of viewpoints may be used.

깊이 영상 데이터와 칼라 영상 데이터를 결합하기 위해서는 상기 깊이 영상 데이터를 상기 칼라 영상 데이터의 해상도로 맞출 필요가 있다. 예를 들어, 깊이 영상 데이터와 결합할 칼라 영상 데이터의 해상도가 깊이 영상 데이터(530)의 해상도이고, 팔진트리에 저장된 깊이 데이터는 상기 해상도가 아닌 경우가 가능하다. 이 경우, MLS 서피스(540)에 대한 레이 서피스 인터섹션 방법을 이용하여 상기 해상도의 z-맵(z-map)(530)을 얻는다. 상기 z-맵은 원하는 해상도의 시점(510)에 대한 깊이 영상 데이터가 된다.In order to combine the depth image data and the color image data, it is necessary to match the depth image data to the resolution of the color image data. For example, the resolution of the color image data to be combined with the depth image data is the resolution of the depth image data 530, and the depth data stored in the octal tree may not be the resolution. In this case, a z-map 530 of this resolution is obtained using a ray surface intersection method for the MLS surface 540. The z-map becomes depth image data for a viewpoint 510 of a desired resolution.

이렇게 얻어진 깊이 영상 데이터를 이용하여 객체를 복원(reconstruction)하고, 상기 해상도의 칼라 영상 데이터를 이용하여 칼라 쉐이딩(color shading)을 수행하면, 원하는 3D 영상이 얻어진다.When the object is reconstructed using the obtained depth image data and color shading is performed using the color image data having the resolution, a desired 3D image is obtained.

도 6은 본 발명의 일실시예에 따른 3D 영상 처리 방법을 설명하기 위한 도면이다.6 is a view for explaining a 3D image processing method according to an embodiment of the present invention.

본 실시예에 따르면, 깊이 카메라(depth camera)를 이용하여 객체의 깊이 영상(depth image)이 획득된다. 상기 객체에 대하여 상기 깊이 카메라가 위치하는 시점에 따라, 복수 개의 깊이 영상이 획득된다. 상기 복수 개의 깊이 영상은 복수 개의 깊이 영상 데이터(611, 613)로 저장된다. 상기 깊이 영상 데이터는 깊이 맵(depth map)의 형태로 저장될 수 있다. 상기 복수 개의 깊이 영상 데이터(611, 613)는 kd-트리(kd-tree), 팔진트리(octree) 등과 같은 계층적 포인트 데이터 포맷(hierarchical point data format)의 하나의 데이터로 저장된다. 도 6에서 복수 개의 깊이 영상 데이터(611, 613)는 하나의 팔진트리(620) 구조로 저장된다.According to the present embodiment, a depth image of an object is obtained by using a depth camera. A plurality of depth images are acquired according to the time point at which the depth camera is located with respect to the object. The plurality of depth images are stored as a plurality of depth image data 611 and 613. The depth image data may be stored in the form of a depth map. The plurality of depth image data 611 and 613 are stored as one data in a hierarchical point data format such as a kd-tree and an octree. In FIG. 6, the plurality of depth image data 611 and 613 are stored in one octal tree 620.

마찬가지로, CCD/CMOS 카메라를 이용하여 객체의 칼라 영상(color image)이 획득된다. 상기 칼라 영상도, 깊이 영상과 마찬가지로, 상기 객체에 대하여 CCD/CMOS 카메라가 위치하는 시점에 따라 복수 개가 획득된다. 따라서 하나의 객체와 연관하여 시점에 따라 복수 개의 칼라 영상이 획득되고, 상기 복수 개의 칼라 영상은 2D 데이터 포맷의 칼라 영상 데이터(612, 614)로 저장된다. 상기 깊이 영상 데이터(611, 613) 및 칼라 영상 데이터(612, 614)는 물리적 또는 논리적으로 분리되어 저장된다. 그리고, 복수 개의 깊이 영상 데이터(611, 613)를 하나의 데이터 구조로 저장한 데이터(620)도 칼라 영상 데이터(612, 614)는 물리적 또는 논리적으로 분리되어 저장된다.Similarly, a color image of an object is obtained using a CCD / CMOS camera. Similarly to the depth image, a plurality of color images are obtained according to the viewpoint of the CCD / CMOS camera with respect to the object. Accordingly, a plurality of color images are obtained according to a viewpoint in association with one object, and the plurality of color images are stored as color image data 612 and 614 of 2D data format. The depth image data 611 and 613 and the color image data 612 and 614 are physically or logically separated and stored. Also, the color image data 612 and 614 are stored physically or logically in the data 620 in which the plurality of depth image data 611 and 613 are stored in one data structure.

상기 칼라 영상 데이터(612, 614)로부터 결합할 칼라 영상 데이터(660)를 선택 또는 생성한다. 결합할 칼라 영상 데이터(660)가 복수 개의 칼라 영상 데이터(612, 614) 중에 존재하는 경우, 해당하는 칼라 영상 데이터가 선택된다. 복수 개의 칼라 영상 데이터(612, 614) 중에 결합할 칼라 영상 데이터(660)가 존재하지 않는 경우, 도 4에서 설명한 방법을 이용하여 결합할 칼라 영상 데이터(660)를 생성한다.The color image data 660 to be combined is selected or generated from the color image data 612 and 614. When the color image data 660 to be combined exists among the plurality of color image data 612 and 614, corresponding color image data is selected. If there is no color image data 660 to be combined among the plurality of color image data 612 and 614, the color image data 660 to be combined is generated using the method described with reference to FIG. 4.

팔진트리 구조로 저장된 데이터(620)에 대하여 MLS 프로젝션 오퍼레이터(MLS operator)를 적용하여 MLS 서피스(630)이 생성된다. 상기 MLS 서피스 (630)에 레이 서피스 인터섹션(ray surface intersection) 방법(640)을 이용하면 결합할 칼라 영상 데이터(660)의 해상도와 동일한 결합할 깊이 영상 데이터(650)가 구해진다.The MLS surface 630 is generated by applying an MLS projection operator to the data 620 stored in the octal tree structure. Using the ray surface intersection method 640 on the MLS surface 630, depth image data 650 to be combined equal to the resolution of the color image data 660 to be combined is obtained.

마지막으로, 결합할 깊이 영상 데이터(650)에 결합할 칼라 영상 데이터(660)을 칼라 쉐이딩하여 원하는 시점에서의 3D 영상(670)을 생성한다.Finally, the color image data 660 to be combined with the depth image data 650 to be combined is color shaded to generate a 3D image 670 at a desired viewpoint.

도 7은 본 발명의 일실시예에 따른 3D 영상 데이터 처리 방법에 의하여 소(cow)를 3D 표현하는 일례를 도시한 도면이다.FIG. 7 is a diagram illustrating an example of 3D representation of a cow by a 3D image data processing method according to an embodiment of the present invention.

깊이 카메라는 소(cow)에 대한 복수 개의 깊이 영상(711)을 획득한다. 상기 깊이 카메라의 시점에 따라 복수 개의 깊이 영상(711)이 획득된다. 마찬가지로, 상기 소에 대한 복수 개의 칼라 영상(714)이 CCD/CMOS 카메라를 이용하여 복수 개의 시점에 대해 얻어진다. 상기 깊이 영상(711)은 상기 칼라 영상(714)과 독립하여 저장된다. 상기 복수 개의 깊이 영상(711)은 하나의 계층적 포인트 군 표현(hierarchical point cloud representation)으로 결합(merge)된다. 예를 들어, 팔진트리 포맷으로 결합되어 저장될 수 있다. 이 경우에도, 상기 팔진트리 포맷으로 저장되는 깊이 영상의 계층적 포인트 군 표현은 칼라 영상(714)과 독립하여 저장된다. 영상(712)은 상기 계층적 포인트 군 표현의 깊이 영상에 기초하여 표현(representation)한 것을 도시한 것이다. 이와 같이 각 시점으로부터의 깊이 영상(711)을 결합하여 소(cow)에 대한 전체적인 3D 정보를 얻을 수 있다.The depth camera acquires a plurality of depth images 711 for the cow. A plurality of depth images 711 are obtained according to the viewpoint of the depth camera. Similarly, a plurality of color images 714 for the small are obtained for a plurality of viewpoints using a CCD / CMOS camera. The depth image 711 is stored independent of the color image 714. The plurality of depth images 711 are merged into one hierarchical point cloud representation. For example, it can be combined and stored in an octal tree format. Even in this case, the hierarchical point group representation of the depth image stored in the octal tree format is stored independently of the color image 714. An image 712 illustrates a representation based on a depth image of the hierarchical point group representation. In this way, the 3D information of the cow can be obtained by combining the depth image 711 from each viewpoint.

상기 계층적 포인트 군 표현으로부터 이웃(neighborhood) 및/또는 MLS 쿼리(MLS queries)(713)를 통하여 제1 시점에서 바라본 깊이 영상 데이터가 복 원(reconstruction)(717)된다. 또한, 상기 계층적 포인트 군 표현으로부터 MLS 쿼리를 통하여 얻어진 임의의 시점으로부터의 깊이 영상 데이터를 응용에 따라 편집 및/또는 프로세스(716)할 수 있다.From the hierarchical point group representation, depth image data viewed at a first point of time is restored 717 through a neighbor and / or MLS queries 713. In addition, depth image data from any viewpoint obtained through an MLS query from the hierarchical point group representation may be edited and / or processed 716 according to an application.

한편, 상기 복수 개의 칼라 영상(714)으로부터 칼라 룩업(color lookup)(715)을 통하여 상기 제1 시점에서 바라본 칼라 영상 데이터가 얻어진다. 상기 칼라 영상 데이터는 도 4를 참조하여 설명한 역방향 및 정방향 프로젝션을 이용한 칼라 값들의 선형 합을 이용하여 얻어질 수 있다. 상기 칼라 영상 데이터는 상기 제1 시점에서 바라본 깊이 영상 데이터에 칼라 쉐이딩(color shading)(718)됨으로써, 상기 칼라 영상 데이터와 상기 깊이 영상 데이터는 연관된다. 이러한 과정을 통하여 임의의 시점으로부터의 3D 영상(719)을 구현된다. On the other hand, color image data viewed from the first viewpoint is obtained through a color lookup 715 from the plurality of color images 714. The color image data may be obtained using a linear sum of color values using reverse and forward projection described with reference to FIG. 4. The color image data is color shaded 718 to the depth image data viewed from the first viewpoint, so that the color image data and the depth image data are associated with each other. Through this process, the 3D image 719 from an arbitrary viewpoint is implemented.

도 8은 본 발명의 일실시예에 따른 3D 영상 처리 장치를 도시한 블록도이다.8 is a block diagram illustrating a 3D image processing apparatus according to an embodiment of the present invention.

본 발명의 일실시예에 따른 3D 영상 처리 장치(800)는 제1 저장부(840), 제2 저장부(850), 제3 저장부(830), 및 처리부(860)를 포함한다. 제3 저장부(830)는 객체로부터 깊이 카메라를 이용하여 얻어진 복수 개의 깊이 영상(811, 813)의 각각에 대응하는 복수 개의 깊이 영상 데이터를 상기 칼라 영상 데이터와 독립하여 저장한다. 상기 복수 개의 깊이 영상(811, 813)은 서로 다른 시점에 대응한다. 제1 저장부(840)는 상기 객체와 연관된 깊이 영상(811)을 3D 데이터 포맷의 데이터로 저장한다. 상기 3D 데이터 포맷은 팔진트리(octree) 포맷일 수 있다. 예를 들어, 제1 저장부(840)는, 제3 저장부(830)에 저장된 복수 개의 깊이 영상 데이터를 하나의 데이터 구조(예를 들어, 팔진트리)로 병합하여 저장한다. 제2 저장부(850)는 상기 객체와 연관된 칼라 영상을 상기 3D 데이터 포맷의 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장한다. 처리부(840)는 상기 3D 데이터 포맷의 데이터로부터 MLS 프로젝션 오퍼레이터를 사용하여 MLS 서피스을 생성한다. 처리부(840)는 상기 MLS 서피스에 대한 레이 서피스 인터섹션 방법을 이용하여 제1 시점으로부터 제1 해상도의 제1 깊이 영상 데이터를 얻는다. 처리부(840)는 상기 제1 깊이 영상 데이터 및 칼라 영상 데이터를 결합하여 3D 영상 데이터를 생성한다.The 3D image processing apparatus 800 according to an embodiment of the present invention includes a first storage unit 840, a second storage unit 850, a third storage unit 830, and a processing unit 860. The third storage unit 830 stores the plurality of depth image data corresponding to each of the plurality of depth images 811 and 813 obtained from the object using the depth camera, independently of the color image data. The plurality of depth images 811 and 813 correspond to different viewpoints. The first storage unit 840 stores the depth image 811 associated with the object as data in a 3D data format. The 3D data format may be an octree format. For example, the first storage unit 840 merges and stores the plurality of depth image data stored in the third storage unit 830 into one data structure (eg, an octal tree). The second storage unit 850 stores the color image associated with the object as color image data in a 2D data format independently of data in the 3D data format. The processor 840 generates an MLS surface by using an MLS projection operator from the data of the 3D data format. The processor 840 obtains first depth image data having a first resolution from a first viewpoint by using a ray surface intersection method for the MLS surface. The processor 840 combines the first depth image data and the color image data to generate 3D image data.

본 발명의 일실시예에 따르면, 제2 저장부(850)는 상기 객체와 연관된 복수 개의 시점으로부터의 칼라 영상들(812, 814)을 상기 3D 데이터 포맷의 데이터와 독립하여 2D 데이터 포맷의 복수 개의 칼라 영상 데이터로 저장한다. 이 경우, 처리부(840)는 상기 복수 개의 칼라 영상 데이터(812, 814) 중 어느 하나도 상기 제1 시점의 칼라 영상 데이터가 아닌 경우, 상기 제1 시점으로부터 상기 MLS 서피스으로 역방향 투영을 한 교차점으로부터 상기 복수 개의 칼라 영상 데이터의 시점의 각각으로 정방향 투영된 각도에 기초하여 제2 칼라 영상 데이터를 생성하고, 상기 제1 깊이 영상 데이터 및 상기 제2 칼라 영상 데이터를 결합하여 3D 영상 데이터(820)를 생성한다. 상기 제2 칼라 영상 데이터는 상기 정방향 투영된 상기 각도에 기초하여 얻어진 계수들을 이용한 상기 복수 개의 칼라 영상 데이터의 선형 합으로 생성된다.According to an embodiment of the present invention, the second storage unit 850 may be configured to store the plurality of color images 812 and 814 from the plurality of viewpoints associated with the object independently of the data of the 3D data format. Save as color image data. In this case, when any one of the plurality of color image data 812 and 814 is not the color image data of the first view, the processing unit 840 may perform the reverse projection from the first viewpoint to the MLS surface. Generate second color image data based on an angle projected forward to each of the viewpoints of the plurality of color image data, and generate the 3D image data 820 by combining the first depth image data and the second color image data. do. The second color image data is generated as a linear sum of the plurality of color image data using coefficients obtained based on the forward projected angle.

본 발명의 일실시예에 따르면, 복수 개의 입력된 깊이 영상은 하나의 계층적 포인트 군 표현(hierarchical point cloud representation)으로 결합(combine)된다. 그리고, 상기 계층적 포인트 군 표현은 프로젝션 오퍼레이터(projection operator)를 통하여 입력 칼라 영상과 연결(link)된다. 상기 프로젝션은 깊이 영상과 칼라 영상을 연결하고, 복수 개의 칼라 영상의 각각에 대한 z 맵(z-map)의 계산에도 사용된다. 상기 맵은 상기 계층적 포인트 군 표현의 초기화 동안에 계산될 수 있다. 본 발명의 일실시예에 따르면, 원래의 입력 칼라 영상과 보간된 깊이 영상(interpolated depth image)이 결합(combine)될 뿐 아니라, 입력 깊이 영상을 저장하는 공간적 계층성(spatial hierarchy)과 원래의 입력 칼라 영상도 결합된다. 이러한 계층적 데이터 구조는 입력 샘플(input sample)의 공간적 위치뿐 아니라, 상기 영상에 의하여 표현되는 모든 칼라 정보도 저장한다. 이러한 본 발명의 실시예에 따르면, 원래의 모든 입력 데이터가 보존되며, 다양한 형상 처리(geometry processing) 및 렌더링(rendering)이 쉽게 정의될 수 있다.According to an embodiment of the present invention, the plurality of input depth images are combined into one hierarchical point cloud representation. The hierarchical point group representation is linked with an input color image through a projection operator. The projection is used to connect the depth image and the color image and to calculate a z-map for each of the plurality of color images. The map may be calculated during initialization of the hierarchical point group representation. According to an embodiment of the present invention, not only the original input color image and the interpolated depth image are combined, but also the spatial hierarchy and original input for storing the input depth image. Color images are also combined. This hierarchical data structure stores not only the spatial position of the input sample, but also all the color information represented by the image. According to this embodiment of the present invention, all original input data is preserved, and various geometry processing and rendering can be easily defined.

본 발명에서의 깊이 영상, 칼라 영상, 3D 영상은 정지 영상(still image)뿐 아니라 동영상(video)도 포함한다.In the present invention, the depth image, the color image, and the 3D image include not only a still image but also a video.

본 발명에 따른 영상 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The image processing method according to the present invention may be embodied in the form of program instructions that may be executed by various computer means and may be recorded in a computer readable medium. The computer readable medium may include program instructions, data files, data structures, etc. alone or in combination. Program instructions recorded on the media may be those specially designed and constructed for the purposes of the present invention, or they may be of the kind well-known and available to those having skill in the computer software arts. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tape, optical media such as CD-ROMs, DVDs, and magnetic disks, such as floppy disks. Magneto-optical media, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine code generated by a compiler, but also high-level language code that can be executed by a computer using an interpreter or the like. The hardware device described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.As described above, the present invention has been described by way of limited embodiments and drawings, but the present invention is not limited to the above embodiments, and those skilled in the art to which the present invention pertains various modifications and variations from such descriptions. This is possible. Therefore, the scope of the present invention should not be limited to the described embodiments, but should be determined not only by the claims below but also by the equivalents of the claims.

도 1은 본 발명의 일실시예에 따라 깊이 영상 데이터와 칼라 영상 데이터를 분리하여 저장하고, 이를 이용하여 3D 영상 데이터를 처리하는 방법을 도시한 흐름도이다. 1 is a flowchart illustrating a method of separating and storing depth image data and color image data and processing 3D image data using the same according to an embodiment of the present invention.

도 2는 본 발명의 일실시예에 따라 깊이 영상 데이터를 팔진트리 구조로 저장하는 구성을 설명하기 위한 개념도이다.2 is a conceptual diagram illustrating a configuration of storing depth image data in an octal tree structure according to an embodiment of the present invention.

도 3은 본 발명의 일실시예에 따라 복수 개의 깊이 영상 데이터를 팔진트리 구조로 저장하는 구성을 설명하기 위한 도면이다.3 is a view for explaining a configuration of storing a plurality of depth image data in an octal tree structure according to an embodiment of the present invention.

도 4는 본 발명의 일실시예에 따라 다른 시점으로부터의 복수 개의 칼라 영상 데이터로부터 새로운 시점으로부터의 칼라 영상 데이터를 샘플링하는 방법을 설명하기 위한 도면이다.4 is a diagram for describing a method of sampling color image data from a new viewpoint from a plurality of color image data from different viewpoints according to an exemplary embodiment of the present invention.

도 5는 본 발명의 일실시예에 따라 칼라 영상 데이터와 같은 해상도의 깊이 영상 데이터를 얻는 방법을 설명하기 위한 도면이다.5 is a diagram for describing a method of obtaining depth image data having the same resolution as color image data according to an exemplary embodiment of the present invention.

도 6은 본 발명의 일실시예에 따른 3D 영상 처리 방법을 설명하기 위한 도면이다.6 is a view for explaining a 3D image processing method according to an embodiment of the present invention.

도 7은 본 발명의 일실시예에 따른 3D 영상 데이터 처리 방법에 의하여 소(cow)를 3D 표현하는 일례를 도시한 도면이다.FIG. 7 is a diagram illustrating an example of 3D representation of a cow by a 3D image data processing method according to an embodiment of the present invention.

도 8은 본 발명의 일실시예에 따른 3D 영상 처리 장치를 도시한 블록도이다.8 is a block diagram illustrating a 3D image processing apparatus according to an embodiment of the present invention.

Claims (21)

제1 객체와 연관된 깊이 영상을 3D 데이터 포맷의 제1 데이터로 저장하는 단계; 및Storing the depth image associated with the first object as first data in a 3D data format; And 상기 제1 객체와 연관된 칼라 영상을 상기 제1 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장하는 단계Storing the color image associated with the first object as color image data in a 2D data format independently of the first data; 를 포함하는 것을 특징으로 하는 3D 영상 처리 방법.3D image processing method comprising a. 제1항에 있어서,The method of claim 1, 상기 3D 데이터 포맷은 계층적 포인트 데이터 포맷인 것을 특징으로 하는 3D 영상 처리 방법.And the 3D data format is a hierarchical point data format. 제2항에 있어서,The method of claim 2, 상기 계층적 포인트 데이터 포맷은 팔진트리(octree) 포맷인 것을 특징으로 하는 3D 영상 처리 방법.The hierarchical point data format is an octree format. 제1항에 있어서, 상기 제1 객체와 연관된 깊이 영상을 3D 데이터 포맷의 제1 데이터로 저장하는 단계는,The method of claim 1, wherein the storing of the depth image associated with the first object as first data in a 3D data format comprises: 상기 제1 객체와 연관된 복수 개의 깊이 영상의 각각에 대응하는 복수 개의 깊이 영상 데이터를 상기 칼라 영상 데이터와 독립하여 저장하는 단계; 및Storing the plurality of depth image data corresponding to each of the plurality of depth images associated with the first object independently of the color image data; And 상기 복수 개의 깊이 영상 데이터를 상기 제1 데이터로 저장하는 단계Storing the plurality of depth image data as the first data 를 포함하는 것을 특징으로 하는 3D 영상 처리 방법.3D image processing method comprising a. 제1항에 있어서,The method of claim 1, 상기 제1 데이터로부터 MLS 프로젝션 오퍼레이터를 사용하여 MLS 서피스를 생성하는 단계;Creating an MLS surface from the first data using an MLS projection operator; 상기 MLS 서피스에 대한 레이 서피스 인터섹션 방법을 이용하여 제1 시점으로부터 제1 해상도의 제1 깊이 영상 데이터를 얻는 단계; 및Obtaining first depth image data of a first resolution from a first viewpoint using a ray surface intersection method for the MLS surface; And 상기 제1 깊이 영상 데이터 및 상기 칼라 영상 데이터를 결합하여 3D 영상 데이터를 얻는 단계Obtaining 3D image data by combining the first depth image data and the color image data 를 포함하는 것을 특징으로 하는 3D 영상 처리 방법.3D image processing method comprising a. 제5항에 있어서,The method of claim 5, 상기 제1 객체와 연관된 칼라 영상을 상기 제1 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장하는 단계는,The storing of the color image associated with the first object as color image data in a 2D data format independently of the first data may include: 상기 제1 객체와 연관된 복수 개의 시점으로부터의 칼라 영상들을 상기 제1 데이터와 독립하여 2D 데이터 포맷의 복수 개의 칼라 영상 데이터로 저장하고,Storing color images from a plurality of viewpoints associated with the first object as a plurality of color image data in a 2D data format independently of the first data, 상기 제1 깊이 영상 데이터 및 상기 칼라 영상 데이터를 결합하여 3D 영상 데이터를 얻는 단계는,Acquiring 3D image data by combining the first depth image data and the color image data, 상기 복수 개의 칼라 영상 데이터 중 어느 하나도 상기 제1 시점의 칼라 영 상 데이터가 아닌 경우, 상기 제1 시점으로부터 상기 MLS 서피스로 역방향 투영을 한 교차점으로부터 상기 복수 개의 칼라 영상 데이터의 시점의 각각으로 정방향 투영된 각도에 기초하여 제2 칼라 영상 데이터를 생성하고, 상기 제1 깊이 영상 데이터 및 상기 제2 칼라 영상 데이터를 결합하여 상기 3D 영상 데이터를 얻는 것을 특징으로 하는 3D 영상 처리 방법.If none of the plurality of color image data is the color image data of the first view, forward projection from the first point of view from the first point of view to the MLS surface to each of the views of the plurality of color image data And generating second color image data based on the obtained angle, and combining the first depth image data and the second color image data to obtain the 3D image data. 제6항에 있어서, 상기 제2 칼라 영상 데이터는,The method of claim 6, wherein the second color image data, 상기 정방향 투영된 상기 각도에 기초하여 얻어진 계수들을 이용한 상기 복수 개의 칼라 영상 데이터의 선형 합으로 생성되는 것을 특징으로 하는 3D 영상 처리 방법.And a linear sum of the plurality of color image data using coefficients obtained based on the forward projected angle. 제7항에 있어서,The method of claim 7, wherein 상기 복수 개의 칼라 영상 데이터의 시점 중 선택된 시점과 상기 교차점 사이의 거리를, 상기 선택된 시점으로부터 상기 교차점을 향하는 방향의 깊이 값과 비교하는 단계Comparing a distance between a selected view point of the plurality of color image data and the intersection point with a depth value in a direction from the selected view point toward the intersection point 를 더 포함하는 것을 특징으로 하는 3D 영상 처리 방법.3D image processing method further comprising. 제8항에 있어서,The method of claim 8, 상기 복수 개의 칼라 영상 데이터의 시점 중 선택된 시점과 상기 교차점 사이의 거리가, 상기 선택된 시점으로부터 상기 교차점을 향하는 방향의 깊이 값보다 큰 경우, 상기 선형 합에 있어서의 상기 선택된 시점에 연관되는 계수를 0으로 하는 것을 특징으로 하는 3D 영상 처리 방법.If the distance between the selected view point among the viewpoints of the plurality of color image data and the intersection point is greater than a depth value in the direction from the selected view point toward the intersection point, the coefficient associated with the selected view point in the linear sum is 0. 3D image processing method characterized in that. 제1 깊이 영상 데이터로부터 MLS 프로젝션 오퍼레이터를 사용하여 MLS 서피스를 생성하는 단계; 및Generating an MLS surface from the first depth image data using an MLS projection operator; And 상기 MLS 서피스에 대한 레이 서피스 인터섹션 방법을 이용하여 제1 해상도의 제2 깊이 영상 데이터를 얻는 단계Obtaining second depth image data of a first resolution using a ray surface intersection method for the MLS surface; 를 포함하는 것을 특징으로 하는 3D 영상 처리 방법.3D image processing method comprising a. 제1 객체와 연관된 복수 개의 깊이 영상의 각각에 대응하는 복수 개의 깊이 영상 데이터를 저장하는 단계; 및Storing a plurality of depth image data corresponding to each of the plurality of depth images associated with the first object; And 상기 제1 객체와 연관된 칼라 영상을 상기 복수 개의 깊이 영상 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장하는 단계Storing the color image associated with the first object as color image data in a 2D data format independently of the plurality of depth image data. 를 포함하는 것을 특징으로 하는 3D 영상 처리 방법.3D image processing method comprising a. 제11항에 있어서,The method of claim 11, 상기 복수 개의 깊이 영상 데이터로부터 계층적 포인트 데이터 포맷의 제1 데이터를 생성하는 단계;Generating first data of a hierarchical point data format from the plurality of depth image data; 상기 제1 데이터로부터 MLS 오퍼레이터를 사용하여 MLS 표면을 생성하는 단계;Generating an MLS surface using the MLS operator from the first data; 상기 MLS 표면에 대한 레이 서피스 인터섹션 방법을 이용하여 제1 시점으로부터 제1 해상도의 제1 깊이 영상 데이터를 얻는 단계; 및Obtaining first depth image data of a first resolution from a first viewpoint using a ray surface intersection method for the MLS surface; And 상기 제1 깊이 영상 데이터 및 상기 칼라 영상 데이터를 결합하여 3D 영상 데이터를 얻는 단계Obtaining 3D image data by combining the first depth image data and the color image data 를 포함하는 것을 특징으로 하는 3D 영상 처리 방법.3D image processing method comprising a. 제1항 내지 제12항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.A computer-readable recording medium having recorded thereon a program for executing the method of claim 1 on a computer. 제1 객체와 연관된 깊이 영상을 3D 데이터 포맷의 제1 데이터로 저장하는 제1 저장부; 및A first storage unit which stores the depth image associated with the first object as first data in a 3D data format; And 상기 제1 객체와 연관된 칼라 영상을 상기 제1 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장하는 제2 저장부A second storage unit storing the color image associated with the first object as color image data in a 2D data format independently of the first data; 를 포함하는 것을 특징으로 하는 3D 영상 처리 장치.3D image processing apparatus comprising a. 제14항에 있어서,The method of claim 14, 상기 3D 데이터 포맷은 팔진트리(octree) 포맷인 것을 특징으로 하는 3D 영상 처리 장치.And the 3D data format is an octree format. 제14항에 있어서,The method of claim 14, 상기 제1 객체와 연관된 복수 개의 깊이 영상의 각각에 대응하는 복수 개의 깊이 영상 데이터를 상기 칼라 영상 데이터와 독립하여 저장하는 제3 저장부A third storage unit storing a plurality of depth image data corresponding to each of the plurality of depth images associated with the first object independently of the color image data 를 더 포함하고,More, 상기 제1 저장부는,The first storage unit, 상기 복수 개의 깊이 영상 데이터를 병합하여 상기 제1 데이터로 저장하는 것을 특징으로 하는 3D 영상 처리 장치.3D image processing apparatus according to claim 1, wherein the plurality of depth image data are merged and stored as the first data. 제14항에 있어서,The method of claim 14, 상기 제1 데이터로부터 MLS 오퍼레이터를 사용하여 MLS 표면을 생성하고,Generate an MLS surface using the MLS operator from the first data, 상기 MLS 표면에 대한 레이 서피스 인터섹션 방법을 이용하여 제1 시점으로부터 제1 해상도의 제1 깊이 영상 데이터를 얻고, 상기 제1 깊이 영상 데이터 및 상기 칼라 영상 데이터를 결합하여 3D 영상 데이터를 생성하는 처리부A processor configured to obtain first depth image data having a first resolution from a first viewpoint by using a ray surface intersection method for the MLS surface, and generate 3D image data by combining the first depth image data and the color image data; 를 포함하는 것을 특징으로 하는 3D 영상 처리 장치.3D image processing apparatus comprising a. 제17항에 있어서,The method of claim 17, 상기 제2 저장부는,The second storage unit, 상기 제1 객체와 연관된 복수 개의 시점으로부터의 칼라 영상들을 상기 제1 데이터와 독립하여 2D 데이터 포맷의 복수 개의 칼라 영상 데이터로 저장하고,Storing color images from a plurality of viewpoints associated with the first object as a plurality of color image data in a 2D data format independently of the first data, 상기 처리부는,The processing unit, 상기 복수 개의 칼라 영상 데이터 중 어느 하나도 상기 제1 시점의 칼라 영 상 데이터가 아닌 경우, 상기 제1 시점으로부터 상기 MLS 표면으로 역방향 투영을 한 교차점으로부터 상기 복수 개의 칼라 영상 데이터의 시점의 각각으로 정방향 투영된 각도에 기초하여 제2 칼라 영상 데이터를 생성하고, 상기 제1 깊이 영상 데이터 및 상기 제2 칼라 영상 데이터를 결합하여 상기 3D 영상 데이터를 생성하는 것을 특징으로 하는 3D 영상 처리 장치.When none of the plurality of color image data is the color image data of the first view, forward projection from the first point of view to each of the viewpoints of the plurality of color image data from the intersection of the reverse projection from the first view to the MLS surface. And generating the 3D image data by generating the second color image data based on the obtained angle, and combining the first depth image data and the second color image data. 제18항에서, 상기 제2 칼라 영상 데이터는,The method of claim 18, wherein the second color image data, 상기 정방향 투영된 상기 각도에 기초하여 얻어진 계수들을 이용한 상기 복수 개의 칼라 영상 데이터의 선형 합으로 생성되는 것을 특징으로 하는 3D 영상 처리 장치.And a linear sum of the plurality of color image data using coefficients obtained based on the forward projected angle. 제18항에 있어서, 상기 처리부는,The method of claim 18, wherein the processing unit, 상기 복수 개의 칼라 영상 데이터의 시점 중 선택된 시점과 상기 교차점 사이의 거리를, 상기 선택된 시점으로부터 상기 교차점을 향하는 방향의 깊이 값과 비교하는 것을 특징으로 하는 3D 영상 처리 장치.3. The 3D image processing apparatus according to claim 1, wherein a distance between a selected view point of the plurality of color image data and the intersection point is compared with a depth value in a direction from the selected view point toward the intersection point. 제20항에 있어서, 상기 처리부는,The method of claim 20, wherein the processing unit, 상기 복수 개의 칼라 영상 데이터의 시점 중 선택된 시점과 상기 교차점 사이의 거리가, 상기 선택된 시점으로부터 상기 교차점을 향하는 방향의 깊이 값보다 큰 경우, 상기 선형 합에 있어서 상기 특정 시점에 연관되는 계수를 0으로 하는 것 을 특징으로 하는 3D 영상 처리 장치.If the distance between the selected viewpoint and the intersection point of the plurality of color image data is greater than the depth value of the direction from the selected viewpoint toward the intersection point, the coefficient associated with the specific viewpoint in the linear sum is zero. 3D image processing apparatus, characterized in that.
KR1020080083922A 2008-02-25 2008-08-27 3D Image Processing KR101526948B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/379,055 US9641822B2 (en) 2008-02-25 2009-02-11 Method and apparatus for processing three-dimensional (3D) images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080016995 2008-02-25
KR1020080016995 2008-02-25

Publications (2)

Publication Number Publication Date
KR20090091639A true KR20090091639A (en) 2009-08-28
KR101526948B1 KR101526948B1 (en) 2015-06-11

Family

ID=41209005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080083922A KR101526948B1 (en) 2008-02-25 2008-08-27 3D Image Processing

Country Status (1)

Country Link
KR (1) KR101526948B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101233399B1 (en) * 2010-12-06 2013-02-15 광주과학기술원 Method and apparatus for generating multi-view depth map
KR101245214B1 (en) * 2010-08-27 2013-03-19 브로드콤 코포레이션 Method and system for generating three-dimensional video utilizing a monoscopic camera
KR101356544B1 (en) * 2012-03-29 2014-02-19 한국과학기술원 Method and apparatus for generating 3d stereoscopic image
KR101420237B1 (en) * 2008-02-25 2014-07-17 삼성전자주식회사 3D Image Processing Method and Apparatus for Enabling Efficient Retrieval of Neighbor Point
US9013482B2 (en) 2010-04-20 2015-04-21 Samsung Electronics Co., Ltd. Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium
US9165211B2 (en) 2010-10-20 2015-10-20 Samsung Electronics Co., Ltd. Image processing apparatus and method
KR20190044439A (en) * 2017-10-20 2019-04-30 주식회사 씨오티커넥티드 Method of stitching depth maps for stereo images

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1054384A3 (en) * 1999-05-20 2003-09-24 TeraRecon, Inc., A Delaware Corporation Method and apparatus for translating and interfacing voxel memory addresses
RU2215326C2 (en) * 2001-06-29 2003-10-27 Самсунг Электроникс Ко., Лтд. Image-based hierarchic presentation of motionless and animated three-dimensional object, method and device for using this presentation to visualize the object
JP4183082B2 (en) * 2003-09-26 2008-11-19 シャープ株式会社 3D image drawing apparatus and 3D image drawing method
KR100519779B1 (en) * 2004-02-10 2005-10-07 삼성전자주식회사 Method and apparatus for high speed visualization of depth image-based 3D graphic data

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101420237B1 (en) * 2008-02-25 2014-07-17 삼성전자주식회사 3D Image Processing Method and Apparatus for Enabling Efficient Retrieval of Neighbor Point
US9013482B2 (en) 2010-04-20 2015-04-21 Samsung Electronics Co., Ltd. Mesh generating apparatus, method and computer-readable medium, and image processing apparatus, method and computer-readable medium
KR101245214B1 (en) * 2010-08-27 2013-03-19 브로드콤 코포레이션 Method and system for generating three-dimensional video utilizing a monoscopic camera
US9165211B2 (en) 2010-10-20 2015-10-20 Samsung Electronics Co., Ltd. Image processing apparatus and method
KR101233399B1 (en) * 2010-12-06 2013-02-15 광주과학기술원 Method and apparatus for generating multi-view depth map
KR101356544B1 (en) * 2012-03-29 2014-02-19 한국과학기술원 Method and apparatus for generating 3d stereoscopic image
KR20190044439A (en) * 2017-10-20 2019-04-30 주식회사 씨오티커넥티드 Method of stitching depth maps for stereo images

Also Published As

Publication number Publication date
KR101526948B1 (en) 2015-06-11

Similar Documents

Publication Publication Date Title
US9641822B2 (en) Method and apparatus for processing three-dimensional (3D) images
US8655052B2 (en) Methodology for 3D scene reconstruction from 2D image sequences
US11288864B2 (en) Methods and systems for producing content in multiple reality environments
US8791941B2 (en) Systems and methods for 2-D to 3-D image conversion using mask to model, or model to mask, conversion
KR101697184B1 (en) Apparatus and Method for generating mesh, and apparatus and method for processing image
KR101199475B1 (en) Method and apparatus for reconstruction 3 dimension model
KR101526948B1 (en) 3D Image Processing
Yemez et al. 3D reconstruction of real objects with high resolution shape and texture
US20080228449A1 (en) Systems and methods for 2-d to 3-d conversion using depth access segments to define an object
US20080225045A1 (en) Systems and methods for 2-d to 3-d image conversion using mask to model, or model to mask, conversion
US20080226181A1 (en) Systems and methods for depth peeling using stereoscopic variables during the rendering of 2-d to 3-d images
US20080225042A1 (en) Systems and methods for allowing a user to dynamically manipulate stereoscopic parameters
JP2008513882A (en) Video image processing system and video image processing method
US11887256B2 (en) Deferred neural rendering for view extrapolation
Poullis et al. 3d reconstruction of urban areas
US10163250B2 (en) Arbitrary view generation
JP2010152529A (en) Vertex texture mapping device and program
JP7410289B2 (en) Generating arbitrary views
JPH07175930A (en) Image processor
KR20220076514A (en) arbitrary view creation
KR101556575B1 (en) Rendering device and method
Smirnov et al. An interactive system for set reconstruction from multiple input sources
Clark et al. 3D Model Generation from a Stereo Camera using Multiple Viewpoints

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180517

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 5