KR101526948B1 - 3ｄ 영상 처리 방법 - Google Patents

3ｄ 영상 처리 방법 Download PDF

Info

Publication number
KR101526948B1
KR101526948B1 KR1020080083922A KR20080083922A KR101526948B1 KR 101526948 B1 KR101526948 B1 KR 101526948B1 KR 1020080083922 A KR1020080083922 A KR 1020080083922A KR 20080083922 A KR20080083922 A KR 20080083922A KR 101526948 B1 KR101526948 B1 KR 101526948B1
Authority
KR
South Korea
Prior art keywords
image data
color image
depth
data
color
Prior art date
Application number
KR1020080083922A
Other languages
English (en)
Other versions
KR20090091639A (ko
Inventor
심재영
김도균
이기창
가엘 구엔네바우드
마리오 보취
마르쿠스 그로스
로베르트 카르넥키
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US12/379,055 priority Critical patent/US9641822B2/en
Publication of KR20090091639A publication Critical patent/KR20090091639A/ko
Application granted granted Critical
Publication of KR101526948B1 publication Critical patent/KR101526948B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005—Tree description, e.g. octree, quadtree
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/005—Aspects relating to the "3D+depth" image format

Abstract

본 발명은 범용 CCD/CMOS 카메라에서 얻어진 칼라 영상과 깊이 카메라에서 얻어진 깊이 영상으로부터 포인트 기반의 효율적인 3D 정보 표현 및 이를 이용한 프로세싱과 렌더링 기법에 관한 것으로, 제1 객체와 연관된 깊이 영상을 3D 데이터 포맷의 제1 데이터로 저장하는 단계, 및 상기 제1 객체와 연관된 칼라 영상을 상기 제1 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장하는 단계를 포함하는 3D 영상 처리 방법을 제공한다.
3D Picture, 3D Video, Point-based representation, depth image, color image.

Description

3Ｄ 영상 처리 방법{3D Image Processing}
본 발명은 3D 영상 처리 방법에 관한 것으로, 보다 구체적으로, 깊이 카메라와 일반 영상 카메라를 이용하여 취득한 3D 영상 정보의 저장, 프로세싱, 및 렌더링에 관한 것이다.
최근에 깊이 카메라(depth camera)를 이용하여 깊이 영상(depth image)을 취득하고, 일반 CCD/CMOS 카메라를 이용하여 칼라 영상(color image)을 취득한 후, 영상 정합을 통하여 3D 정보를 얻을 수 있는 방법이 연구되고 있다.
이와 같이 얻어진 3D 정보를 표현하는 방법으로는 삼각형 메쉬(triangular mesh)를 이용하는 것과 포인트 군(point cloud)을 이용하는 것 등 여러 가지가 있다. 취득된 3D 정보는 적절한 모델링(modeling) 과정을 거쳐 효율적인 표현 구조로 변환되는데, 이러한 변환이나 변환 후의 다양한 프로세싱(processing) 및 렌더링(rendering)은 3D 정보를 표현하는 데이터 구조의 효율성에 따라 그 성능이 많이 좌우된다.
메쉬 기반 표현은 영상의 규칙성을 이용하여 인접하는 픽셀을 연결하고 메쉬 연결 정보를 생성하여 영상을 프로세싱하는 방법이다. 이러한 메쉬 기반 표현은 깊이 영상 취득 시 발생하는 노이즈(noise)나 홀(hole) 등의 제거가 상대적으로 용이하다. 그러나 메쉬 기반 표현의 경우, 한 장이 아닌 여러 장의 영상으로부터 하나의 3차원 메쉬 모델을 생성하기 위해서는 서로 중첩하는 부분에 대해 적절한 스티칭(stiching) 작업이 필요하며, 일반적으로 이 과정이 매우 복잡하다.
반면 포인트 기반 표현은 여러 장의 영상으로부터 얻어지는 3차원 포인트들을 공간상에서 단순히 합치면 되기 때문에 메쉬에 비해 보다 효율적인 3D 모델을 생성할 수 있다. 이러한 포인트 데이터는 kd-트리(kd-tree)나 팔진트리(octree)와 같은 공간 데이터 구조에 저장된다. 이러한 포인트 기반 표현에서는 효율적인 서피스(surface) 예측 및 포인트 리샘플링 등의 프로세싱을 위해 입체 정보와 칼라 정보를 효율적으로 저장하는 것이 필요하다.
이러한 종래 기술에서는 3차원 정보의 깊이 데이터와 칼라 영상 데이터가 함께 저장되었다.
본 발명은 포인트 기반 3차원 정보 표현의 효율성 향상을 위해 안출된 것으로서, 객체로부터 깊이 카메라에 의해 얻어진 3D 데이터와 통상의 CCD/CMOS 카메라에 의해 얻어진 칼라 영상 데이터를 저장하고 처리하는 방법 및 장치를 제공하기 위한 것이다.
본 발명의 또 다른 목적은, 렌더링을 원하는 임의의 시점에서의 입체 영상을 도출하고 상기 시점에서의 칼라 값을 계산하여 임의의 시점에서 바라본 3D 영상을 렌더링하는 방법 및 장치를 제공하는 것이다.
본 발명의 또 다른 목적은, 획득된 깊이 영상의 해상도가 칼라 영상의 해상도와 다른 경우와 같이, 상기 깊이 영상의 해상도를 변경할 필요가 있는 경우 효율적으로 상기 깊이 영상의 해상도를 변환하는 방법을 제공하는 것이다.
상기의 목적을 이루기 위하여, 본 발명의 일측에 따르면, 제1 객체와 연관된 깊이 영상을 3D 데이터 포맷의 제1 데이터로 저장하는 단계, 및 상기 제1 객체와 연관된 칼라 영상을 상기 제1 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장하는 단계를 포함하는 3D 영상 처리 방법이 제공된다.
본 발명의 또 다른 일측에 따르면, 상기 3D 영상 처리 방법은, 상기 제1 데이터로부터 MLS 오퍼레이터를 사용하여 MLS 서피스를 생성하는 단계, 상기 MLS 서피스에 대한 레이 서피스 인터섹션(ray-surface intersection) 방법을 이용하여 제 1 시점으로부터 제1 해상도의 제1 깊이 영상 데이터를 얻는 단계, 및 상기 제1 깊이 영상 데이터 및 상기 칼라 영상 데이터를 결합하여 3D 영상 데이터를 얻는 단계를 더 포함한다.
본 발명의 또 다른 일측에 따르면, 상기 제1 객체와 연관된 칼라 영상을 상기 제1 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장하는 단계는, 상기 제1 객체와 연관된 복수 개의 시점으로부터의 칼라 영상들을 상기 제1 데이터와 독립하여 2D 데이터 포맷의 복수 개의 칼라 영상 데이터로 저장하고, 상기 제1 깊이 영상 데이터 및 상기 칼라 영상 데이터를 결합하여 3D 영상 데이터를 얻는 단계는, 상기 복수 개의 칼라 영상 데이터 중 어느 하나도 상기 제1 시점의 칼라 영상 데이터가 아닌 경우, 상기 제1 시점으로부터 상기 MLS 서피스로 역방향 투영(backprojection)을 한 교차점으로부터 상기 복수 개의 칼라 영상 데이터의 시점의 각각으로 정방향 투영(forward projection)된 각도에 기초하여 제2 칼라 영상 데이터를 생성하고, 상기 제1 깊이 영상 데이터 및 상기 제2 칼라 영상 데이터를 결합하여 상기 3D 영상 데이터를 얻는다.
본 발명의 또 다른 일측에 따르면, 제1 깊이 영상 데이터로부터 MLS(Moving Least Square) 오퍼레이터를 사용하여 MLS 서피스를 생성하는 단계, 및 상기 MLS 서피스에 대한 레이-서피스 인터섹션(Ray-Surface Intersection) 방법을 이용하여 제1 해상도의 제2 깊이 영상 데이터를 얻는 단계를 포함하는 3D 영상 처리 방법이 제공된다.
본 발명의 또 다른 일측에 따르면, 제1 객체와 연관된 복수 개의 깊이 영상 의 각각에 대응하는 복수 개의 깊이 영상 데이터를 저장하는 단계, 및 상기 제1 객체와 연관된 칼라 영상을 상기 복수 개의 깊이 영상 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장하는 단계를 포함하는 3D 영상 처리 방법이 제공된다.
본 발명의 또 다른 일측에 따르면, 제1 객체와 연관된 깊이 영상을 3D 데이터 포맷의 제1 데이터로 저장하는 제1 저장부, 및 상기 제1 객체와 연관된 칼라 영상을 상기 제1 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장하는 제2 저장부를 포함하는 3D 영상 처리 장치가 제공된다.
이하 첨부 도면들 및 첨부 도면들에 기재된 내용들을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하지만, 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.
도 1은 본 발명의 일실시예에 따라 깊이 영상 데이터와 칼라 영상 데이터를 분리하여 저장하고, 이를 이용하여 3D 영상 데이터를 처리하는 방법을 도시한 흐름도이다.
단계(110)에서 깊이 카메라(depth camera) 및 CCD/CMOS 카메라를 이용하여 객체의 깊이 영상(depth image) 및 칼라 영상(color image)을 획득한다. 깊이 카메라는 객체로부터 상기 객체의 깊이 영상을 획득한다. 상기 객체에 대하여 상기 깊이 카메라를 복수 개의 시점에 위치시켜, 상기 시점에 따른 복수 개의 깊이 영상 을 획득할 수도 있다. CCD/CMOS 카메라는 객체로부터 상기 객체의 칼라 영상을 획득한다. 상기 객체에 대하여 상기 CCD/CMOS 카메라를 복수 개의 시점에 위치시켜, 상기 시점에 따른 복수 개의 칼라 영상을 획득할 수도 있다. 이때, 깊이 영상과 칼라 영상은 서로 상이한 해상도를 가질 수 있다.
단계(120)에서 상기 객체와 연관된 깊이 영상이 3D 데이터 포맷의 데이터로 저장된다. 3D 데이터 포맷(3D data format)은 상기 객체의 3차원 위치 정보를 표현하는 데이터 포맷이다. 상기 3D 데이터 포맷은 kd-트리(kd-tree), 팔진트리(octree) 등과 같은 계층적 포인트 데이터 포맷(hierarchical point data format)을 포함한다. 상기 계층적 포인트 데이터 포맷은 객체를 구성하는 포인트의 공간 상의 위치 정보를 표현하는 계층적 구조를 가지는 데이터 구조이다. 이하에서는 상기 3D 데이터 포맷의 예로 팔진트리를 이용하는 경우를 예로서 설명하지만, 본 발명은 이에 제한되지 않는다.
본 발명의 일실시예에 따르면, 복수 개의 시점에 위치된 깊이 카메라로부터 객체에 대한 복수 개의 깊이 영상이 획득된다. 이 경우, 상기 객체와 연관된 복수 개의 깊이 영상의 각각에 대응하여 복수 개의 깊이 영상 데이터(depth data)가 저장된다. 상기 깊이 영상 데이터는 칼라 영상 데이터(color data)와 독립하여 저장된다. 상기 복수 개의 깊이 영상 데이터는 다시 하나의 3D 데이터 포맷의 데이터로 합쳐서 저장된다. 본 발명의 일실시예에서, 상기 3D 데이터 포맷으로 팔진트리를 사용하는데, 이 경우 상기 복수 개의 깊이 영상 데이터는 상기 팔진트리에 매우 용이하게 삽입된다. 이렇게 되면, 깊이 카메라로부터 얻어진 하나의 깊이 영상 데 이터는 하나의 시점에 대응되지만, 상기 팔진트리에 저장되는 데이터는 복수 개의 시점으로부터의 깊이 영상 데이터를 모두 포함하여, 상기 객체의 3D 위치 정보를 보다 상세하게 표현하게 된다. 이와 같이, 복수 개의 입력된 깊이 영상은 하나의 계층적 포인트 군 표현(hierarchical point cloud representation)으로 결합(combine)된다.
단계(130)에서 상기 객체와 연관된 칼라 영상이 2D 데이터 포맷의 칼라 영상 데이터(color data)로 저장된다. 2D 데이터 포맷(2D data format)은 상기 객체의 2차원 위치 정보를 포함하는 데이터 포맷이다. 예를 들어, 본 발명의 일실시예에 따르면, 상기 칼라 영상 데이터는 RGB 포맷으로 저장되는데, 상기 RGB 포맷은 객체를 2차원 평면에 표시하는 경우 각 픽셀의 칼라 값을 저장한다.
본 발명의 일실시예에 따르면, 복수 개의 시점에 위치된 CCD/CMOS 카메라로부터 객체에 대한 복수 개의 칼라 영상이 획득된다. 이 경우, 상기 객체와 연관된 복수 개의 칼라 영상의 각각에 대응하여 복수 개의 칼라 영상 데이터(color data)가 저장된다. 상기 칼라 영상 데이터는 깊이 영상 데이터(depth data)와 독립하여 저장된다. 또한, 상기 칼라 영상 데이터는 상기 복수 개의 깊이 영상 데이터가 합쳐진 팔진트리 포맷의 데이터와도 독립하여 저장된다. 상기 복수 개의 칼라 영상 데이터는 동일한 해상도를 가질 수 있다.
단계(140)에서 영상 처리 장치는 프로젝션 오퍼레이터(projection operator)를 사용하여, 단계(120)에서 저장된 데이터로부터, 프로젝션 서피스 (projection surface)를 생성한다. 예를 들어, 영상 처리 장치는 MLS(Moving Least Squares) 오퍼레이터(MLS operator)를 사용하여, 단계(120)에서 저장된 데이터로부터, MLS 서피스(MLS surface)을 생성한다. 단계(120)에서 복수 개의 입력된 깊이 영상으로부터 생성된 하나의 계층적 포인트 군 표현(hierarchical point cloud representation)(예를 들어, 단계(120)에서 저장된 데이터)에 MLS 프로젝션 오퍼레이터가 적용된다. 이렇게 하면, 단계(120)에서 저장된 데이터로부터 연속적이고 부드러운(continuous and smooth) MLS 서피스 이 생성된다. 본 실시예에서, 하나의 계층적 포인트 군 표현(예를 들어, 팔진트리 포맷으로 저장된 깊이 영상)은 복수 개의 입력 깊이 영상으로부터 생성된다. 그러나, 본 발명의 또 다른 실시예에 따르면, 상기 계층적 포인트 군 표현은 하나의 입력 깊이 영상으로부터도 생성될 수 있다. 이 경우, 하나의 깊이 영상 데이터로부터 MLS 프로젝션 오퍼레이터를 사용하여 MLS 서피스 이 생성된다.
단계(150)에서 영상 처리 장치는 상기 MLS 서피스에 대한 레이 서피스 인터섹션(ray surface intersection) 방법을 이용하여 제1 시점으로부터 제1 해상도의 제1 깊이 영상 데이터를 얻는다. 즉, 레이 서피스 인터섹션 방법을 이용하여 원하는 시점으로부터 원하는 해상도의 깊이 영상 데이터를 얻는다. 렌더링을 하여 얻고자 하는 3D 영상 데이터의 해상도에 맞는 깊이 영상 데이터가 얻어진다. 예를 들어 깊이 영상 데이터와 결합할 칼라 영상 데이터의 해상도와 동일한 해상도의 깊이 영상 데이터를 레이 서피스 인터섹션 방법을 이용하여 얻을 수 있다.
단계(160)에서 영상 처리 장치는 저장된 칼라 영상 데이터로부터 제1 시점의 칼라 영상 데이터를 얻는다. 저장되어 있는 복수 개의 칼라 영상 데이터 중 제1 시점의 칼라 영상 데이터가 있는 경우, 단순히 상기 제1 시점의 칼라 영상 데이터를 선택한다. 만약 상기 복수 개의 칼라 영상 데이터 중 어느 하나도 상기 제1 시점의 칼라 영상 데이터가 아닌 경우, 상기 복수 개의 칼라 영상 데이터 중 선택된 칼라 영상 데이터의 선형 합을 이용하여 상기 제1 시점의 칼라 영상 데이터를 보간(interpolation)하여 얻는다.
단계(170)에서 영상 처리 장치는 상기 제1 깊이 영상 데이터 및 상기 제1 깊이 영상 데이터에 대응하는 칼라 영상 데이터를 결합하여 3D 영상 데이터를 얻는다. 깊이 영상 데이터의 계층적 포인트 군 표현은 프로젝션 오퍼레이터(projection operator)를 통하여 칼라 영상 데이터와 연결(link)된다.
도 2는 본 발명의 일실시예에 따라 깊이 영상 데이터를 팔진트리 구조로 저장하는 구성을 설명하기 위한 개념도이다.
팔진트리 구조(octree structure)는 각각의 내부 노드가 최대 8개의 자식(children)을 가지는 트리 데이터 구조이다. 도 2에서 팔진트리 구조(octree structure)(200)는 2차원 평면적으로 도시되어 있으나, 3차원의 공간에서 부모(parent)를 최대 8개의 자식(children) 공간으로 분할해 나아가며 포인트의 공간 정보를 트리 구조로 저장한다. 제 1시점(210)에서의 깊이 영상(211) 및 제 2시점(220)에서의 깊이 영상(221)과 연관된 3차원 공간 상의 포인트 군(point cloud)이 상기 팔진트리 구조로 저장된다. 이와 같이 복수 개의 시점으로부터 얻어진 복수 개의 깊이 영상 데이터는 하나의 팔진트리 구조에 저장된다. 팔진트리 구조를 이용하면, 새로운 깊이 영상 데이터를 추가하거나 깊이 영상 데이터를 삭제하는 것 이 용이하다.
참고로, 칼라 영상(212)은 제1 시점(210)으로부터의 칼라 영상이고, 칼라 영상(222)은 제2 시점(220)으로부터의 칼라 영상이다.
도 3은 본 발명의 일실시예에 따라 복수 개의 깊이 영상 데이터를 팔진트리 구조로 저장하는 구성을 설명하기 위한 도면이다.
복수 개의 시점에 위치한 깊이 카메라로부터 복수 개의 깊이 영상이 획득된다. 복수 개의 깊이 영상의 각각에 대응하여 복수 개의 깊이 영상 데이터(depth data)(310)가 저장된다. 상기 복수 개의 깊이 영상 데이터(310)는 다시 하나의 3D 데이터 포맷의 데이터로 합쳐서 저장된다. 도 3의 실시예에서는, 상기 3D 데이터 포맷으로 팔진트리(320)를 사용하는데, 이 경우 상기 복수 개의 깊이 영상 데이터(310)는 팔진트리 구조로 저장된다. 이렇게 되면, 깊이 카메라로부터 얻어진 하나의 깊이 영상 데이터는 하나의 시점에 대응되지만, 상기 팔진트리에 저장되는 데이터는 복수 개의 시점으로부터의 깊이 영상 데이터를 모두 포함하여, 상기 객체의 3D 위치 정보를 보다 상세하게 표현하게 된다.
도 4는 본 발명의 일실시예에 따라 다른 시점으로부터의 복수 개의 칼라 영상 데이터로부터 새로운 시점으로부터의 칼라 영상 데이터를 샘플링(sampling)하는 방법을 설명하기 위한 도면이다.
본 발명의 일실시예에 따르면, 객체와 연관된 복수 개의 시점으로부터의 칼라 영상들이 깊이 영상 데이터의 계층적 포인트 군 표현과 독립하여 복수 개의 칼라 영상 데이터로 저장된다. 상기 복수 개의 시점으로부터의 칼라 영상 데이터의 각각은 2D 데이터 포맷으로 저장된다. 상기 복수 개의 칼라 영상 데이터 중 어느 하나가 결합된 깊이 영상 데이터와 같은 시점의 데이터인 경우, 상기 시점의 칼라 영상 데이터가 선택된다. 예를 들어, 도 4에서 제1 시점(440)으로부터의 칼라 영상 데이터를 구하려고 하는데, 저장된 복수 개의 칼라 영상 데이터 중 제1 시점(440)의 칼라 영상 데이터가 존재하는 경우에는, 상기 칼라 영상 데이터를 상기 제1 시점(440)에서의 칼라 영상 데이터로 사용할 수 있다.
그러나, 상기 복수 개의 칼라 영상 데이터 중 어느 하나도 결합할 깊이 영상 데이터와 동일한 시점의 데이터가 아닌 경우, 상기 복수 개의 칼라 영상 데이터 중 선택된 칼라 영상 데이터의 선형 합을 이용하여 상기 시점의 칼라 영상 데이터가 획득된다.
예를 들어, 제2 시점(420)으로부터의 칼라 영상 데이터(421), 제3 시점(430)으로부터의 칼라 영상 데이터(431), 및 제4 시점(440)으로부터의 칼라 영상 데이터(441)가 저장되어 있는 경우, 제1 시점(410)으로부터의 칼라 영상 데이터(411)를 구하는 경우를 설명한다. 이 경우, 제1 시점(410)으로부터의 칼라 영상 데이터(411)는 저장되어 있지 않다. 도 4에 도시된 바와 같이, 제1 시점(410)으로부터 MLS 서피스(460)으로 역방향 투영(backward projection)을 한 교차점(450)으로부터 상기 복수 개의 칼라 영상 데이터(421, 431, 441)에 연관된 시점의 각각(420, 430, 440)으로 정방향 투영(forward projection)된 각도 알파(422), 베타(432), 감마(442)가 얻어진다. 상기 각도 알파(422), 베타(432), 감마(442)에 기초하여 상기 제1 시점(410)의 픽셀(pixel) u에서의 칼라 영상 데이터(411)를 생성할 수 있 다. 예를 들어, 상기 칼라 영상 데이터(411)는, 정방향 투영된 각도 알파(422), 베타(432), 감마(442)에 기초하여 얻어진 계수들을 이용한 상기 복수 개의 칼라 영상 데이터(421, 431, 441)의 선형 합으로 생성될 수 있다. 본 발명의 일실시예에 따르면 상기 선형 합은 수학식 1에 의하여 계산된다.
Figure 112008061139743-pat00001
수학식 1에서 C0(u)는 상기 u에서의 칼라 영상 데이터(411)를 의미하고, i는 상기 칼라 영상 데이터(411)를 구하기 위한 복수 개의 칼라 영상 데이터의 시점의 일련 번호이다. 예를 들어, 제2 시점(420)을 i=1 이라 하면, w1은 상기 제2 시점(420)에 연관되는 각도 알파(422)에 따른 가중치를 의미한다. 한편 C1(P1(P0 -1(u)))은 제2 시점(420)의 컬러 영상에 투영된 칼라 영상 데이터(421)를 의미한다. 단, P0 -1(u)(450)은 상기 u부터의 역방향 투영을 통해 얻은 상기 MLS 서피스(460)과의 교점을, P1(P0 -1(u))는 상기 교점(450)에서 상기 제2 시점(420)에 정방향 투영을 하여 얻은 포인트를 의미한다. 도 4를 참조한 실시예에서 i는 1 내지 3이지만, 본 발명은 이에 제한되지 않으며, 상기 i는 임의의 자연수가 될 수 있다. 한편, 도 4에서, 제4 시점(440)은 MLS 서피스 에 의해 가려져(occluded)있으므로, 상기 수식 에서 w3=0이 된다.
한편 제 4 시점(440)과 같이 가리워져 있는 시점을 판단하는 방법은 다양하다.
본 발명의 일 실시예에서는, 레이 서피스 인터섹션 방법으로 미리 구해놓은, 칼라 영상과 동일한 해상도의 깊이 영상이 이용된다. 제4 시점(440)과 상기 교점(450) 사이의 거리가, 상기 제4 시점(440)으로부터 상기 교점(450)을 향하는 방향의 깊이 값(상기 제4 시점(440)과 점(443) 사이의 거리)과 비교된다. 상기 제4시점(440)과 점(443) 사이의 거리는 미리 구해 놓은 제4 시점의 칼라 영상과 동일한 해상도의 깊이 영상으로부터 구할 수 있다. 만약 상기 제4 시점(440)과 상기 교점(450) 사이의 거리가, 상기 제4 시점(440)과 점(443) 사이의 거리보다 크다면, 상기 제4 시점은 가리워진 시점으로 판단된다. 따라서, 상기 제4 시점에 연관되는 가중치인 계수 w3는 0이 된다.
이렇게 얻어진 제1 시점(410)의 칼라 영상 데이터(411)는 제1 시점의 깊이 영상 데이터와 결합되어 3D 영상 데이터를 생성한다.
도 5는 본 발명의 일실시예에 따라 칼라 영상 데이터와 같은 해상도의 깊이 영상 데이터를 얻는 방법을 설명하기 위한 도면이다.
시점(510)의 깊이 영상 데이터(520)를 포함한 적어도 하나의 깊이 영상 데이터는 팔진트리와 같은 계층적 포인트 데이터 포맷으로 저장된다. 상기 계층적 포인트 데이터 포맷으로 저장된 깊이 영상 데이터로부터 프로젝션 오퍼레이 터(projection operator)를 사용하여 프로젝션 서피스(projection surface)(540)이 생성된다. 예를 들어, MLS 프로젝션 오퍼레이터를 사용하여 MLS 서피스(540)이 얻어진다. 도 5의 경우 하나의 깊이 영상 데이터(520)가 사용되었지만, 복수 개의 시점으로부터의 복수 개의 깊이 영상 데이터가 이용될 수도 있다.
깊이 영상 데이터와 칼라 영상 데이터를 결합하기 위해서는 상기 깊이 영상 데이터를 상기 칼라 영상 데이터의 해상도로 맞출 필요가 있다. 예를 들어, 깊이 영상 데이터와 결합할 칼라 영상 데이터의 해상도가 깊이 영상 데이터(530)의 해상도이고, 팔진트리에 저장된 깊이 데이터는 상기 해상도가 아닌 경우가 가능하다. 이 경우, MLS 서피스(540)에 대한 레이 서피스 인터섹션 방법을 이용하여 상기 해상도의 z-맵(z-map)(530)을 얻는다. 상기 z-맵은 원하는 해상도의 시점(510)에 대한 깊이 영상 데이터가 된다.
이렇게 얻어진 깊이 영상 데이터를 이용하여 객체를 복원(reconstruction)하고, 상기 해상도의 칼라 영상 데이터를 이용하여 칼라 쉐이딩(color shading)을 수행하면, 원하는 3D 영상이 얻어진다.
도 6은 본 발명의 일실시예에 따른 3D 영상 처리 방법을 설명하기 위한 도면이다.
본 실시예에 따르면, 깊이 카메라(depth camera)를 이용하여 객체의 깊이 영상(depth image)이 획득된다. 상기 객체에 대하여 상기 깊이 카메라가 위치하는 시점에 따라, 복수 개의 깊이 영상이 획득된다. 상기 복수 개의 깊이 영상은 복수 개의 깊이 영상 데이터(611, 613)로 저장된다. 상기 깊이 영상 데이터는 깊이 맵(depth map)의 형태로 저장될 수 있다. 상기 복수 개의 깊이 영상 데이터(611, 613)는 kd-트리(kd-tree), 팔진트리(octree) 등과 같은 계층적 포인트 데이터 포맷(hierarchical point data format)의 하나의 데이터로 저장된다. 도 6에서 복수 개의 깊이 영상 데이터(611, 613)는 하나의 팔진트리(620) 구조로 저장된다.
마찬가지로, CCD/CMOS 카메라를 이용하여 객체의 칼라 영상(color image)이 획득된다. 상기 칼라 영상도, 깊이 영상과 마찬가지로, 상기 객체에 대하여 CCD/CMOS 카메라가 위치하는 시점에 따라 복수 개가 획득된다. 따라서 하나의 객체와 연관하여 시점에 따라 복수 개의 칼라 영상이 획득되고, 상기 복수 개의 칼라 영상은 2D 데이터 포맷의 칼라 영상 데이터(612, 614)로 저장된다. 상기 깊이 영상 데이터(611, 613) 및 칼라 영상 데이터(612, 614)는 물리적 또는 논리적으로 분리되어 저장된다. 그리고, 복수 개의 깊이 영상 데이터(611, 613)를 하나의 데이터 구조로 저장한 데이터(620)도 칼라 영상 데이터(612, 614)는 물리적 또는 논리적으로 분리되어 저장된다.
상기 칼라 영상 데이터(612, 614)로부터 결합할 칼라 영상 데이터(660)를 선택 또는 생성한다. 결합할 칼라 영상 데이터(660)가 복수 개의 칼라 영상 데이터(612, 614) 중에 존재하는 경우, 해당하는 칼라 영상 데이터가 선택된다. 복수 개의 칼라 영상 데이터(612, 614) 중에 결합할 칼라 영상 데이터(660)가 존재하지 않는 경우, 도 4에서 설명한 방법을 이용하여 결합할 칼라 영상 데이터(660)를 생성한다.
팔진트리 구조로 저장된 데이터(620)에 대하여 MLS 프로젝션 오퍼레이터(MLS operator)를 적용하여 MLS 서피스(630)이 생성된다. 상기 MLS 서피스 (630)에 레이 서피스 인터섹션(ray surface intersection) 방법(640)을 이용하면 결합할 칼라 영상 데이터(660)의 해상도와 동일한 결합할 깊이 영상 데이터(650)가 구해진다.
마지막으로, 결합할 깊이 영상 데이터(650)에 결합할 칼라 영상 데이터(660)을 칼라 쉐이딩하여 원하는 시점에서의 3D 영상(670)을 생성한다.
도 7은 본 발명의 일실시예에 따른 3D 영상 데이터 처리 방법에 의하여 소(cow)를 3D 표현하는 일례를 도시한 도면이다.
깊이 카메라는 소(cow)에 대한 복수 개의 깊이 영상(711)을 획득한다. 상기 깊이 카메라의 시점에 따라 복수 개의 깊이 영상(711)이 획득된다. 마찬가지로, 상기 소에 대한 복수 개의 칼라 영상(714)이 CCD/CMOS 카메라를 이용하여 복수 개의 시점에 대해 얻어진다. 상기 깊이 영상(711)은 상기 칼라 영상(714)과 독립하여 저장된다. 상기 복수 개의 깊이 영상(711)은 하나의 계층적 포인트 군 표현(hierarchical point cloud representation)으로 결합(merge)된다. 예를 들어, 팔진트리 포맷으로 결합되어 저장될 수 있다. 이 경우에도, 상기 팔진트리 포맷으로 저장되는 깊이 영상의 계층적 포인트 군 표현은 칼라 영상(714)과 독립하여 저장된다. 영상(712)은 상기 계층적 포인트 군 표현의 깊이 영상에 기초하여 표현(representation)한 것을 도시한 것이다. 이와 같이 각 시점으로부터의 깊이 영상(711)을 결합하여 소(cow)에 대한 전체적인 3D 정보를 얻을 수 있다.
상기 계층적 포인트 군 표현으로부터 이웃(neighborhood) 및/또는 MLS 쿼리(MLS queries)(713)를 통하여 제1 시점에서 바라본 깊이 영상 데이터가 복 원(reconstruction)(717)된다. 또한, 상기 계층적 포인트 군 표현으로부터 MLS 쿼리를 통하여 얻어진 임의의 시점으로부터의 깊이 영상 데이터를 응용에 따라 편집 및/또는 프로세스(716)할 수 있다.
한편, 상기 복수 개의 칼라 영상(714)으로부터 칼라 룩업(color lookup)(715)을 통하여 상기 제1 시점에서 바라본 칼라 영상 데이터가 얻어진다. 상기 칼라 영상 데이터는 도 4를 참조하여 설명한 역방향 및 정방향 프로젝션을 이용한 칼라 값들의 선형 합을 이용하여 얻어질 수 있다. 상기 칼라 영상 데이터는 상기 제1 시점에서 바라본 깊이 영상 데이터에 칼라 쉐이딩(color shading)(718)됨으로써, 상기 칼라 영상 데이터와 상기 깊이 영상 데이터는 연관된다. 이러한 과정을 통하여 임의의 시점으로부터의 3D 영상(719)을 구현된다.
도 8은 본 발명의 일실시예에 따른 3D 영상 처리 장치를 도시한 블록도이다.
본 발명의 일실시예에 따른 3D 영상 처리 장치(800)는 제1 저장부(840), 제2 저장부(850), 제3 저장부(830), 및 처리부(860)를 포함한다. 제3 저장부(830)는 객체로부터 깊이 카메라를 이용하여 얻어진 복수 개의 깊이 영상(811, 813)의 각각에 대응하는 복수 개의 깊이 영상 데이터를 상기 칼라 영상 데이터와 독립하여 저장한다. 상기 복수 개의 깊이 영상(811, 813)은 서로 다른 시점에 대응한다. 제1 저장부(840)는 상기 객체와 연관된 깊이 영상(811)을 3D 데이터 포맷의 데이터로 저장한다. 상기 3D 데이터 포맷은 팔진트리(octree) 포맷일 수 있다. 예를 들어, 제1 저장부(840)는, 제3 저장부(830)에 저장된 복수 개의 깊이 영상 데이터를 하나의 데이터 구조(예를 들어, 팔진트리)로 병합하여 저장한다. 제2 저장부(850)는 상기 객체와 연관된 칼라 영상을 상기 3D 데이터 포맷의 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장한다. 처리부(840)는 상기 3D 데이터 포맷의 데이터로부터 MLS 프로젝션 오퍼레이터를 사용하여 MLS 서피스을 생성한다. 처리부(840)는 상기 MLS 서피스에 대한 레이 서피스 인터섹션 방법을 이용하여 제1 시점으로부터 제1 해상도의 제1 깊이 영상 데이터를 얻는다. 처리부(840)는 상기 제1 깊이 영상 데이터 및 칼라 영상 데이터를 결합하여 3D 영상 데이터를 생성한다.
본 발명의 일실시예에 따르면, 제2 저장부(850)는 상기 객체와 연관된 복수 개의 시점으로부터의 칼라 영상들(812, 814)을 상기 3D 데이터 포맷의 데이터와 독립하여 2D 데이터 포맷의 복수 개의 칼라 영상 데이터로 저장한다. 이 경우, 처리부(840)는 상기 복수 개의 칼라 영상 데이터(812, 814) 중 어느 하나도 상기 제1 시점의 칼라 영상 데이터가 아닌 경우, 상기 제1 시점으로부터 상기 MLS 서피스으로 역방향 투영을 한 교차점으로부터 상기 복수 개의 칼라 영상 데이터의 시점의 각각으로 정방향 투영된 각도에 기초하여 제2 칼라 영상 데이터를 생성하고, 상기 제1 깊이 영상 데이터 및 상기 제2 칼라 영상 데이터를 결합하여 3D 영상 데이터(820)를 생성한다. 상기 제2 칼라 영상 데이터는 상기 정방향 투영된 상기 각도에 기초하여 얻어진 계수들을 이용한 상기 복수 개의 칼라 영상 데이터의 선형 합으로 생성된다.
본 발명의 일실시예에 따르면, 복수 개의 입력된 깊이 영상은 하나의 계층적 포인트 군 표현(hierarchical point cloud representation)으로 결합(combine)된다. 그리고, 상기 계층적 포인트 군 표현은 프로젝션 오퍼레이터(projection operator)를 통하여 입력 칼라 영상과 연결(link)된다. 상기 프로젝션은 깊이 영상과 칼라 영상을 연결하고, 복수 개의 칼라 영상의 각각에 대한 z 맵(z-map)의 계산에도 사용된다. 상기 맵은 상기 계층적 포인트 군 표현의 초기화 동안에 계산될 수 있다. 본 발명의 일실시예에 따르면, 원래의 입력 칼라 영상과 보간된 깊이 영상(interpolated depth image)이 결합(combine)될 뿐 아니라, 입력 깊이 영상을 저장하는 공간적 계층성(spatial hierarchy)과 원래의 입력 칼라 영상도 결합된다. 이러한 계층적 데이터 구조는 입력 샘플(input sample)의 공간적 위치뿐 아니라, 상기 영상에 의하여 표현되는 모든 칼라 정보도 저장한다. 이러한 본 발명의 실시예에 따르면, 원래의 모든 입력 데이터가 보존되며, 다양한 형상 처리(geometry processing) 및 렌더링(rendering)이 쉽게 정의될 수 있다.
본 발명에서의 깊이 영상, 칼라 영상, 3D 영상은 정지 영상(still image)뿐 아니라 동영상(video)도 포함한다.
본 발명에 따른 영상 처리 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
도 1은 본 발명의 일실시예에 따라 깊이 영상 데이터와 칼라 영상 데이터를 분리하여 저장하고, 이를 이용하여 3D 영상 데이터를 처리하는 방법을 도시한 흐름도이다.
도 2는 본 발명의 일실시예에 따라 깊이 영상 데이터를 팔진트리 구조로 저장하는 구성을 설명하기 위한 개념도이다.
도 3은 본 발명의 일실시예에 따라 복수 개의 깊이 영상 데이터를 팔진트리 구조로 저장하는 구성을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따라 다른 시점으로부터의 복수 개의 칼라 영상 데이터로부터 새로운 시점으로부터의 칼라 영상 데이터를 샘플링하는 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따라 칼라 영상 데이터와 같은 해상도의 깊이 영상 데이터를 얻는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 3D 영상 처리 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일실시예에 따른 3D 영상 데이터 처리 방법에 의하여 소(cow)를 3D 표현하는 일례를 도시한 도면이다.
도 8은 본 발명의 일실시예에 따른 3D 영상 처리 장치를 도시한 블록도이다.

Claims (21)

  1. 제1 객체와 연관된 복수 개의 깊이 영상의 각각에 대응하는 복수 개의 깊이 영상 데이터를 저장하고, 상기 복수 개의 깊이 영상 데이터를 병합하여 3D 데이터 포맷의 제1 깊이 영상 데이터로 저장하는 단계; 및
    상기 제1 객체와 연관된 칼라 영상을 상기 제1 깊이 영상 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장하는 단계
    를 포함하는 것을 특징으로 하는 3D 영상 처리 방법.
  2. 제1항에 있어서,
    상기 3D 데이터 포맷은 계층적 포인트 데이터 포맷인 것을 특징으로 하는 3D 영상 처리 방법.
  3. 제2항에 있어서,
    상기 계층적 포인트 데이터 포맷은 팔진트리(octree) 포맷인 것을 특징으로 하는 3D 영상 처리 방법.
  4. 삭제
  5. 제1항에 있어서,
    상기 제1 깊이 영상 데이터로부터 MLS 프로젝션 오퍼레이터를 사용하여 MLS 서피스를 생성하는 단계;
    상기 MLS 서피스에 대한 레이 서피스 인터섹션 방법을 이용하여 제1 시점으로부터 제1 해상도의 제2 깊이 영상 데이터를 얻는 단계; 및
    상기 제2 깊이 영상 데이터 및 상기 칼라 영상 데이터를 결합하여 3D 영상 데이터를 얻는 단계
    를 포함하는 것을 특징으로 하는 3D 영상 처리 방법.
  6. 제5항에 있어서,
    상기 제1 객체와 연관된 칼라 영상을 상기 제1 깊이 영상 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장하는 단계는,
    상기 제1 객체와 연관된 복수 개의 시점으로부터의 칼라 영상들을 상기 제1 깊이 영상 데이터와 독립하여 2D 데이터 포맷의 복수 개의 칼라 영상 데이터로 저장하고,
    상기 제2 깊이 영상 데이터 및 상기 칼라 영상 데이터를 결합하여 3D 영상 데이터를 얻는 단계는,
    상기 복수 개의 칼라 영상 데이터 중 어느 하나도 상기 제1 시점의 칼라 영상 데이터가 아닌 경우, 상기 제1 시점으로부터 상기 MLS 서피스로 역방향 투영을 한 교차점으로부터 상기 복수 개의 칼라 영상 데이터의 시점의 각각으로 정방향 투영된 각도에 기초하여 제2 칼라 영상 데이터를 생성하고, 상기 제2 깊이 영상 데이터 및 상기 제2 칼라 영상 데이터를 결합하여 상기 3D 영상 데이터를 얻는 것을 특징으로 하는 3D 영상 처리 방법.
  7. 제6항에 있어서, 상기 제2 칼라 영상 데이터는,
    상기 정방향 투영된 상기 각도에 기초하여 얻어진 계수들을 이용한 상기 복수 개의 칼라 영상 데이터의 선형 합으로 생성되는 것을 특징으로 하는 3D 영상 처리 방법.
  8. 제7항에 있어서,
    상기 복수 개의 칼라 영상 데이터의 시점 중 선택된 시점과 상기 교차점 사이의 거리를, 상기 선택된 시점으로부터 상기 교차점을 향하는 방향의 깊이 값과 비교하는 단계
    를 더 포함하는 것을 특징으로 하는 3D 영상 처리 방법.
  9. 제8항에 있어서,
    상기 복수 개의 칼라 영상 데이터의 시점 중 선택된 시점과 상기 교차점 사이의 거리가, 상기 선택된 시점으로부터 상기 교차점을 향하는 방향의 깊이 값보다 큰 경우, 상기 선형 합에 있어서의 상기 선택된 시점에 연관되는 계수를 0으로 하는 것을 특징으로 하는 3D 영상 처리 방법.
  10. 제1 깊이 영상 데이터로부터 MLS 프로젝션 오퍼레이터를 사용하여 MLS 서피스를 생성하는 단계; 및
    상기 MLS 서피스에 대한 레이 서피스 인터섹션 방법을 이용하여 제1 해상도의 제2 깊이 영상 데이터를 얻는 단계
    를 포함하는 것을 특징으로 하는 3D 영상 처리 방법.
  11. 삭제
  12. 삭제
  13. 제1항 내지 제3항 및 제5항 내지 제10항 중 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
  14. 제1 객체와 연관된 복수 개의 깊이 영상의 각각에 대응하는 복수 개의 깊이 영상 데이터를 저장하고, 상기 복수 개의 깊이 영상 데이터를 병합하여 3D 데이터 포맷의 제1 깊이 영상 데이터로 저장하는 제1 저장부; 및
    상기 제1 객체와 연관된 칼라 영상을 상기 제1 깊이 영상 데이터와 독립하여 2D 데이터 포맷의 칼라 영상 데이터로 저장하는 제2 저장부
    를 포함하는 것을 특징으로 하는 3D 영상 처리 장치.
  15. 제14항에 있어서,
    상기 3D 데이터 포맷은 팔진트리(octree) 포맷인 것을 특징으로 하는 3D 영상 처리 장치.
  16. 삭제
  17. 제14항에 있어서,
    상기 제1 깊이 영상 데이터로부터 MLS 오퍼레이터를 사용하여 MLS 표면을 생성하고,
    상기 MLS 표면에 대한 레이 서피스 인터섹션 방법을 이용하여 제1 시점으로부터 제1 해상도의 제2 깊이 영상 데이터를 얻고, 상기 제2 깊이 영상 데이터 및 상기 칼라 영상 데이터를 결합하여 3D 영상 데이터를 생성하는 처리부
    를 포함하는 것을 특징으로 하는 3D 영상 처리 장치.
  18. 제17항에 있어서,
    상기 제2 저장부는,
    상기 제1 객체와 연관된 복수 개의 시점으로부터의 칼라 영상들을 상기 제1 깊이 영상 데이터와 독립하여 2D 데이터 포맷의 복수 개의 칼라 영상 데이터로 저장하고,
    상기 처리부는,
    상기 복수 개의 칼라 영상 데이터 중 어느 하나도 상기 제1 시점의 칼라 영상 데이터가 아닌 경우, 상기 제1 시점으로부터 상기 MLS 표면으로 역방향 투영을 한 교차점으로부터 상기 복수 개의 칼라 영상 데이터의 시점의 각각으로 정방향 투영된 각도에 기초하여 제2 칼라 영상 데이터를 생성하고, 상기 제2 깊이 영상 데이터 및 상기 제2 칼라 영상 데이터를 결합하여 상기 3D 영상 데이터를 생성하는 것을 특징으로 하는 3D 영상 처리 장치.
  19. 제18항에서, 상기 제2 칼라 영상 데이터는,
    상기 정방향 투영된 상기 각도에 기초하여 얻어진 계수들을 이용한 상기 복수 개의 칼라 영상 데이터의 선형 합으로 생성되는 것을 특징으로 하는 3D 영상 처리 장치.
  20. 제19항에 있어서, 상기 처리부는,
    상기 복수 개의 칼라 영상 데이터의 시점 중 선택된 시점과 상기 교차점 사이의 거리를, 상기 선택된 시점으로부터 상기 교차점을 향하는 방향의 깊이 값과 비교하는 것을 특징으로 하는 3D 영상 처리 장치.
  21. 제20항에 있어서, 상기 처리부는,
    상기 복수 개의 칼라 영상 데이터의 시점 중 선택된 시점과 상기 교차점 사이의 거리가, 상기 선택된 시점으로부터 상기 교차점을 향하는 방향의 깊이 값보다 큰 경우, 상기 선형 합에 있어서 상기 선택된 시점에 연관되는 계수를 0으로 하는 것을 특징으로 하는 3D 영상 처리 장치.
KR1020080083922A 2008-02-25 2008-08-27 3ｄ 영상 처리 방법 KR101526948B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US12/379,055 US9641822B2 (en) 2008-02-25 2009-02-11 Method and apparatus for processing three-dimensional (3D) images

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20080016995 2008-02-25
KR1020080016995 2008-02-25

Publications (2)

Publication Number Publication Date
KR20090091639A KR20090091639A (ko) 2009-08-28
KR101526948B1 true KR101526948B1 (ko) 2015-06-11

Family

ID=41209005

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080083922A KR101526948B1 (ko) 2008-02-25 2008-08-27 3ｄ 영상 처리 방법

Country Status (1)

Country Link
KR (1) KR101526948B1 (ko)

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101420237B1 (ko) * 2008-02-25 2014-07-17 삼성전자주식회사 이웃 포인트의 탐색이 용이한 3ｄ 영상 처리 방법
KR101697184B1 (ko) 2010-04-20 2017-01-17 삼성전자주식회사 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
US20120050480A1 (en) * 2010-08-27 2012-03-01 Nambi Seshadri Method and system for generating three-dimensional video utilizing a monoscopic camera
KR101681538B1 (ko) 2010-10-20 2016-12-01 삼성전자주식회사 영상 처리 장치 및 방법
KR101233399B1 (ko) * 2010-12-06 2013-02-15 광주과학기술원 다시점 깊이 영상 생성 방법 및 장치
KR101356544B1 (ko) * 2012-03-29 2014-02-19 한국과학기술원 3차원 입체영상 생성 방법 및 장치
KR101983586B1 (ko) * 2017-10-20 2019-09-03 주식회사 씨오티커넥티드 스테레오 이미지들에 관한 깊이 맵 스티칭 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014486A (ja) * 1999-05-20 2001-01-19 Mitsubishi Electric Inf Technol Center America Inc ボクセルメモリへレンダリング装置を連結するインタフェース、複数のレンダリングパイプラインのためのメモリインタフェース、レンダリング装置へボクセルメモリをインタフェースする方法、および複数のレンダリングパイプラインで処理されるボクセルのアドレスを変換する方法
KR20030004017A (ko) * 2001-06-29 2003-01-14 삼성전자 주식회사 3차원 정지 및 동작 객체의 계층적 이미지 기반 표현 및렌더링방법 및 장치
JP2005107602A (ja) * 2003-09-26 2005-04-21 Sharp Corp ３次元画像描画装置および３次元画像描画方法
KR20050080650A (ko) * 2004-02-10 2005-08-17 삼성전자주식회사 깊이영상기반 3차원 그래픽 데이터의 고속 시각화 방법 및장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001014486A (ja) * 1999-05-20 2001-01-19 Mitsubishi Electric Inf Technol Center America Inc ボクセルメモリへレンダリング装置を連結するインタフェース、複数のレンダリングパイプラインのためのメモリインタフェース、レンダリング装置へボクセルメモリをインタフェースする方法、および複数のレンダリングパイプラインで処理されるボクセルのアドレスを変換する方法
KR20030004017A (ko) * 2001-06-29 2003-01-14 삼성전자 주식회사 3차원 정지 및 동작 객체의 계층적 이미지 기반 표현 및렌더링방법 및 장치
JP2005107602A (ja) * 2003-09-26 2005-04-21 Sharp Corp ３次元画像描画装置および３次元画像描画方法
KR20050080650A (ko) * 2004-02-10 2005-08-17 삼성전자주식회사 깊이영상기반 3차원 그래픽 데이터의 고속 시각화 방법 및장치

Also Published As

Publication number Publication date
KR20090091639A (ko) 2009-08-28

Similar Documents

Publication Publication Date Title
US9641822B2 (en) Method and apparatus for processing three-dimensional (3D) images
KR101526948B1 (ko) 3ｄ 영상 처리 방법
EP0794516B1 (en) Image processing method and apparatus
US8655052B2 (en) Methodology for 3D scene reconstruction from 2D image sequences
US9082224B2 (en) Systems and methods 2-D to 3-D conversion using depth access segiments to define an object
KR101697184B1 (ko) 메쉬 생성 장치 및 그 방법, 그리고, 영상 처리 장치 및 그 방법
US10078913B2 (en) Capturing an environment with objects
US20080228449A1 (en) Systems and methods for 2-d to 3-d conversion using depth access segments to define an object
JP2008513882A (ja) ビデオイメージ処理システム及びビデオイメージ処理方法
US20080226181A1 (en) Systems and methods for depth peeling using stereoscopic variables during the rendering of 2-d to 3-d images
JP3524147B2 (ja) ３次元画像表示装置
Cho et al. The patch transform
US11875451B2 (en) Arbitrary view generation
US11887256B2 (en) Deferred neural rendering for view extrapolation
US20210217225A1 (en) Arbitrary view generation
US7209136B2 (en) Method and system for providing a volumetric representation of a three-dimensional object
Poullis et al. 3d reconstruction of urban areas
JP4229398B2 (ja) ３次元モデリング・プログラム、３次元モデリング制御プログラム、３次元モデリング・データ伝送プログラム、記録媒体および３次元モデリング方法
JP2002163678A (ja) 擬似三次元画像生成方法および装置
CN110148206B (zh) 多空间的融合方法
JP2010152529A (ja) 頂点テクスチャマッピング装置及びプログラム
JP7410289B2 (ja) 任意ビューの生成
JP3648099B2 (ja) 画像合成表示方法および装置ならびに画像合成表示プログラムを記録した記録媒体
KR20220076514A (ko) 임의적 뷰 생성
JPH07175930A (ja) 画像処理装置

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
B701 Decision to grant
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180517

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190520

Year of fee payment: 5