KR20140070724A - 멀티 ｇｐｕ를 기반으로 하는 ３차원 복원을 위한 장치 및 그 방법 - Google Patents

멀티 ｇｐｕ를 기반으로 하는 ３차원 복원을 위한 장치 및 그 방법 Download PDF

Info

Publication number
KR20140070724A
KR20140070724A KR1020120134288A KR20120134288A KR20140070724A KR 20140070724 A KR20140070724 A KR 20140070724A KR 1020120134288 A KR1020120134288 A KR 1020120134288A KR 20120134288 A KR20120134288 A KR 20120134288A KR 20140070724 A KR20140070724 A KR 20140070724A
Authority
KR
South Korea
Prior art keywords
gpu
volume data
tsdf volume
data
camera
Prior art date
Application number
KR1020120134288A
Other languages
English (en)
Other versions
KR101839035B1 (ko
Inventor
김영희
김기홍
김진호
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020120134288A priority Critical patent/KR101839035B1/ko
Priority to US13/939,313 priority patent/US9076250B2/en
Publication of KR20140070724A publication Critical patent/KR20140070724A/ko
Application granted granted Critical
Publication of KR101839035B1 publication Critical patent/KR101839035B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명에 의한 멀티 GPU를 기반으로 하는 3차원 복원을 위한 장치 및 그 방법이 개시된다.
본 발명에 따른 3차원 복원을 위한 장치는 복원하고자 하는 3차원 공간에 대한 깊이(depth) 데이터를 생성하는 카메라; 제1 영역에 대하여 생성된 제1 깊이 데이터로 제1 TSDF 볼륨 데이터를 업데이트하고 업데이트된 상기 제1 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 제1 GPU; 제2 영역에 대하여 생성된 제2 깊이 데이터로 제2 TSDF 볼륨 데이터를 업데이트하고 업데이트된 상기 제2 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 제2 GPU; 및 상기 카메라의 위치에 따라 상기 제1 TSDF 볼륨 데이터와 상기 제2 TSDF 볼륨 데이터의 업데이트가 완료되면 상기 제1 TSDF 볼륨 데이터로부터 예측된 표면 포인트와 상기 제2 TSDF 볼륨 데이터로부터 예측된 표면 포인트를 통합하는 마스터 GPU를 포함한다.

Description

멀티 ＧＰＵ를 기반으로 하는 ３차원 복원을 위한 장치 및 그 방법{APPARATUS FOR 3D RECONSTRUCTION BASED ON MULTIPLE GPUS AND METHOD THEREOF}
본 발명은 3차원 공간 복원 방법에 관한 것으로, 특히, 다수의 GPU(Graphics Processing Unit)를 구비하여 그 구비된 다수의 GPU 각각이 서로 다른 영역을 복원하되 카메라의 움직임에 따라 복원하는 영역을 동적으로 변경하도록 하는 멀티 GPU를 기반으로 하는 3차원 복원을 위한 장치 및 그 방법에 관한 것이다.
최근에, Microsoft의 Kinect와 같이 저가의 RGB-D 센서 또는 카메라가 일반화 되었다. 따라서 이러한 센서를 사용하는 SFM (structure from motion) 또는 monocular SLAM (simultaneous localization and mapping) 기법으로 단안 카메라를 사용하여 실시간으로 카메라의 움직임을 추적(monocular camera tracking)하는 방법들이 활발하게 연구되고 있다.
최근에 사용자가 Kinect 카메라를 들고 움직이면서 실시간으로 실내 환경을 3D로 복원할 수 있는 KinectFusion 이라는 알고리즘이 발표되었다. 이 방법의 제한 조건 중 하나는 시스템을 구동하기 전에 정해진 영역에 대해서만 복원이 가능하다는 것이다. 일반적으로 중간 크기의 방 규모에 대해서 복원이 가능하다. KinectFusion 방법은 복원 영역을 TSDF(Truncated Signed Distance Function)로 알려진 볼륨(volume) 형식의 데이터로 표현하였고, 이 볼륨 데이터는 가까운 표면(surface)까지의 거리를 저장하고 있다.
상기 KinectFusion 방법은 알고리즘의 각 단계에서 바로 인접한 데이터만 사용한다. 그러나 상기 KinectFusion 방법은 시스템을 구동하기 전에 정해진 영역에 대해서만 복원이 가능하기 때문에 복원 가능한 영역의 범위를 확장하는데 제한적이다.
따라서 이러한 종래 기술의 문제점을 해결하기 위한 것으로, 본 발명의 목적은 다수의 GPU를 구비하여 그 구비된 다수의 GPU 각각이 서로 다른 영역을 복원하되 카메라의 움직임에 따라 복원하는 영역을 동적으로 변경하도록 하는 멀티 GPU를 기반으로 하는 3차원 복원을 위한 장치 및 그 방법을 제공하는데 있다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기 목적들을 달성하기 위하여, 본 발명의 한 관점에 따른 3차원 복원을 위한 장치는 복원하고자 하는 3차원 공간에 대한 깊이(depth) 데이터를 생성하는 카메라; 제1 영역에 대하여 생성된 제1 깊이 데이터로 제1 TSDF 볼륨 데이터를 업데이트하고 업데이트된 상기 제1 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 제1 GPU; 제2 영역에 대하여 생성된 제2 깊이 데이터로 제2 TSDF 볼륨 데이터를 업데이트하고 업데이트된 상기 제2 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 제2 GPU; 및 상기 카메라의 위치에 따라 상기 제1 TSDF 볼륨 데이터와 상기 제2 TSDF 볼륨 데이터의 업데이트가 완료되면 상기 제1 TSDF 볼륨 데이터로부터 예측된 표면 포인트와 상기 제2 TSDF 볼륨 데이터로부터 예측된 표면 포인트를 통합하는 마스터 GPU를 포함할 수 있다.
바람직하게, 상기 마스터 GPU는 상기 제1 영역에 대하여 카메라로부터 생성된 제1 깊이 데이터와 제2 영역에 대하여 카메라로부터 생성된 제2 깊이 데이터를 입력 받고, 입력 받은 상기 제1 깊이 데이터와 상기 제2 깊이 데이터로부터 버텍스 맵(vertex map)과 노말 맵(normal map)을 계산하여 계산된 상기 버텍스 맵과 상기 노말 맵을 기반으로 상기 카메라의 위치를 추정하는 것을 특징으로 한다.
바람직하게, 상기 제1 GPU는 추정된 상기 카메라의 위치를 기반으로 상기 제1 깊이 데이터로 상기 제1 TSDF 볼륨 데이터를 업데이트하고, 레이 캐스팅 알고리즘을 이용하여 업데이트된 상기 제1 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 것을 특징으로 한다.
바람직하게, 상기 제2 GPU는 추정된 상기 카메라의 위치를 기반으로 상기 제2 깊이 데이터로 상기 제2 TSDF 볼륨 데이터를 업데이트하고, 레이 캐스팅 알고리즘을 이용하여 업데이트된 상기 제2 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 것을 특징으로 한다.
바람직하게, 상기 제1 GPU는 상기 통합한 결과가 적용된 제1 TSDF 볼륨 데이터로부터 공간 내에 존재하는 물체의 표면 좌표에 상응하는 포인트 클라우드 데이터를 추출하는 것을 특징으로 한다.
바람직하게, 상기 제2 GPU는 상기 통합한 결과가 적용된 제2 TSDF 볼륨 데이터로부터 공간 내에 존재하는 물체의 표면 좌표에 상응하는 포인트 클라우드 데이터를 추출하는 것을 특징으로 한다.
바람직하게, 상기 마스터 GPU는 추정된 상기 카메라의 위치에 따라 상기 제1 GPU가 담당하는 제1 영역의 데이터가 담당하지 않는 새로운 제3 영역의 데이터보다 적어지면, 상기 제1 GPU가 상기 새로운 제3 영역을 담당하도록 제어하는 것을 특징으로 한다.
본 발명의 다른 한 관점에 따른 3차원 복원을 위한 방법은 카메라가 복원하고자 하는 3차원 공간에 대한 깊이(depth) 데이터를 생성하는 단계; 제1 GPU가 제1 영역에 대하여 생성된 제1 깊이 데이터로 제1 TSDF 볼륨 데이터를 업데이트하고 업데이트된 상기 제1 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 단계; 제2 GPU가 제2 영역에 대하여 생성된 제2 깊이 데이터로 제2 TSDF 볼륨 데이터를 업데이트하고 업데이트된 상기 제2 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 단계; 및 마스터 GPU가 상기 카메라의 위치에 따라 상기 제1 TSDF 볼륨 데이터와 상기 제2 TSDF 볼륨 데이터의 업데이트가 완료되면 상기 제1 TSDF 볼륨 데이터로부터 예측된 표면 포인트와 상기 제2 TSDF 볼륨 데이터로부터 예측된 표면 포인트를 통합하는 단계를 포함할 수 있다.
또한, 본 발명에 따른 3차원 복원을 위한 방법은 상기 마스터 GPU가 상기 제1 영역에 대하여 카메라로부터 생성된 제1 깊이 데이터와 제2 영역에 대하여 카메라로부터 생성된 제2 깊이 데이터를 입력 받는 단계; 상기 마스터 GPU가 입력 받은 상기 제1 깊이 데이터와 상기 제2 깊이 데이터로부터 버텍스 맵(vertex map)과 노말 맵(normal map)을 계산하는 단계; 및 계산된 상기 버텍스 맵과 상기 노말 맵을 기반으로 상기 카메라의 위치를 추정하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게, 상기 제1 GPU가 예측하는 단계는 추정된 상기 카메라의 위치를 기반으로 상기 제1 깊이 데이터로 상기 제1 TSDF 볼륨 데이터를 업데이트하고, 레이 캐스팅 알고리즘을 이용하여 업데이트된 상기 제1 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 것을 특징으로 한다.
바람직하게, 상기 제2 GPU가 예측하는 단계는 추정된 상기 카메라의 위치를 기반으로 상기 제2 깊이 데이터로 상기 제2 TSDF 볼륨 데이터를 업데이트하고, 레이 캐스팅 알고리즘을 이용하여 업데이트된 상기 제2 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 것을 특징으로 한다.
또한, 본 발명에 따른 3차원 복원을 위한 방법은 상기 제1 GPU가 상기 통합한 결과가 적용된 제1 TSDF 볼륨 데이터로부터 공간 내에 존재하는 물체의 표면 좌표에 상응하는 포인트 클라우드 데이터를 추출하는 단계를 더 포함하는 것을 특징으로 한다.
또한, 본 발명에 따른 3차원 복원을 위한 방법은 상기 제2 GPU가 상기 통합한 결과가 적용된 제2 TSDF 볼륨 데이터로부터 공간 내에 존재하는 물체의 표면 좌표에 상응하는 포인트 클라우드 데이터를 추출하는 단계를 더 포함하는 것을 특징으로 한다.
바람직하게, 상기 제1 GPU가 예측하는 단계는 상기 마스터 GPU가 추정된 상기 카메라의 위치에 따라 상기 제1 GPU가 담당하는 제1 영역의 TSDF 볼륨 데이터가 담당하지 않는 새로운 제3 영역의 TSDF 볼륨 데이터보다 적어지면, 상기 제1 GPU가 상기 새로운 제3 영역을 담당하도록 제어하는 단계를 포함하는 것을 특징으로 한다.
이를 통해, 본 발명은 다수의 GPU를 구비하여 그 구비된 다수의 GPU 각각이 서로 다른 영역을 복원하되 카메라의 움직임에 따라 복원하는 영역을 동적으로 변경하도록 함으로써, 복원 가능한 영역을 확장할 수 있는 효과가 있다.
또한, 본 발명은 다수의 GPU를 구비하여 그 구비된 다수의 GPU 각각이 서로 다른 영역을 복원하되 카메라의 움직임에 따라 복원하는 영역을 동적으로 변경하도록 함으로써, 복원할 수 있는 영역에 대한 제한을 없앨 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 3차원 복원을 위한 장치를 나타내는 제1 도면이다.
도 2는 본 발명의 일 실시예에 따라 TSDF 볼륨 데이터를 설정하는 원리를 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따라 예측 포면을 통합하는 원리를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 3차원 복원을 위한 방법을 나타내는 제1 도면이다.
도 5는 본 발명의 일 실시예에 따른 3차원 복원을 위한 장치를 나타내는 제2 도면이다.
도 6은 본 발명의 일 실시예에 따라 복원 영역을 변경하는 원리를 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 3차원 복원을 위한 방법을 나타내는 제2 도면이다.
이하에서는, 본 발명의 실시예에 따른 멀티 GPU를 기반으로 하는 3차원 복원을 위한 장치 및 그 방법을 첨부한 도 1 내지 도 7을 참조하여 설명한다. 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 상세히 설명한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 동일한 명칭의 구성 요소에 대하여 도면에 따라 다른 참조부호를 부여할 수도 있으며, 서로 다른 도면임에도 불구하고 동일한 참조부호를 부여할 수도 있다. 그러나, 이와 같은 경우라 하더라도 해당 구성 요소가 실시예에 따라 서로 다른 기능을 갖는다는 것을 의미하거나, 서로 다른 실시예에서 동일한 기능을 갖는다는 것을 의미하는 것은 아니며, 각각의 구성 요소의 기능은 해당 실시예에서의 각각의 구성요소에 대한 설명에 기초하여 판단하여야 할 것이다.
특히, 본 발명에서는 다수의 GPU(Graphics Processing Unit)를 구비하여 그 구비된 다수의 GPU 각각이 서로 다른 영역을 복원하되 카메라의 움직임에 따라 복원하는 영역을 동적으로 변경하도록 하는 새로운 3차원 공간 복원 방안을 제안한다.
도 1은 본 발명의 일 실시예에 따른 3차원 복원을 위한 장치를 나타내는 제1 도면이다.
도 1에 도시한 바와 같이, 본 발명에 따른 3차원 복원을 위한 장치는 카메라(110), 제1 GPU(120), 및 제2 GPU(130) 등을 포함하여 구성될 수 있다. 여기에서는 두 개의 GPU를 기반으로 하는 3차원 복원 방법을 설명하기로 한다.
카메라(110)는 RGBD 카메라로서, 공간에 대한 깊이(depth) 데이터를 생성할 수 있다.
제1 GPU(120)는 제1 영역에 대하여 카메라(110)로부터 생성된 제1 깊이 데이터를 입력 받고, 그 입력 받은 제1 깊이 데이터로부터 버텍스 맵(vertex map)과 노말 맵(normal map)을 계산할 수 있다.
제1 GPU(120)는 계산된 버텍스 맵과 노말 맵을 기반으로 ICP(Iterative Closest Point) 얼라인먼트(alignment) 방법을 이용하여 카메라의 위치를 추정하고, 추정된 카메라의 위치를 기반으로 제1 깊이 데이터로 제1 TSDF(Truncated Signed Distance Function) 볼륨 데이터를 생성 또는 업데이트할 수 있다. 이렇게 카메라의 위치를 추정하는 이유는 연속적인 프레임들 간에서는 카메라 위치가 바뀔 수 있기 때문이다.
제1 GPU(120)는 레이 캐스팅(ray casting) 알고리즘을 이용하여 업데이트된 제1 TSDF 볼륨 데이터로부터 현재 공간에 존재하는 물체의 표면 포인트를 예측할 수 있다.
이때, 제1 GPU(120)는 모든 카메라의 위치에 따라 제1 TSDF 볼륨 데이터를 업데이트하고 그 업데이트가 완료되면 업데이트된 제1 TSDF 볼륨 데이터로부터 예측된 표면 포인트와 제2 TSDF 볼륨 데이터로부터 예측된 표면 포인트를 통합하게 된다.
제1 GPU(120)는 통합한 결과가 적용된 제1 TSDF 볼륨 데이터로부터 공간 내에 존재하는 물체의 표면 좌표에 상응하는 포인트 클라우드(point cloud) 데이터를 추출할 수 있다.
제2 GPU(130)는 제2 영역에 대하여 카메라(110)로부터 생성된 제2 깊이 데이터를 입력 받고, 그 입력 받은 제2 깊이 데이터로부터 버텍스 맵(vertex map)과 노말 맵(normal map)을 계산할 수 있다. 제2 GPU(130)는 계산된 버텍스 맵과 노말 맵을 기반으로 ICP(Iterative Closest Point) 얼라인먼트(alignment) 방법을 이용하여 카메라의 위치를 추정하고, 추정된 카메라의 위치를 기반으로 제2 깊이 데이터로 제2 TSDF(Truncated Signed Distance Function) 볼륨 데이터를 생성 또는 업데이트할 수 있다.
제2 GPU(130)는 레이 캐스팅(ray casting) 알고리즘을 이용하여 업데이트된 제2 TSDF 볼륨 데이터로부터 현재 공간에 존재하는 물체의 표면 포인트를 예측할 수 있다.
이때, 제2 GPU(130)는 모든 카메라의 위치에 따라 제2 TSDF 볼륨 데이터를 업데이트하고 그 업데이트가 완료되면 제2 TSDF 볼륨 데이터로부터 예측된 표면 포인트를 제1 GPU(120)에 제공하게 된다
제2 GPU(130)는 통합한 결과가 적용된 제2 TSDF 볼륨 데이터로부터 공간 내에 존재하는 물체의 표면 좌표에 상응하는 포인트 클라우드(point cloud) 데이터를 추출할 수 있다.
도 2는 본 발명의 일 실시예에 따라 TSDF 볼륨 데이터를 설정하는 원리를 설명하기 위한 도면이다.
도 2에 도시한 바와 같이, 본 발명에 따른 제1 GPU(120)와 제2 GPU(130)는 공간 내 서로 다른 영역의 데이터를 처리할 수 있다. 예컨대, 제1 GPU(120)는 제1 영역의 데이터를 처리하게 되고, 제2 GPU(130)는 제2 영역의 데이터를 처리하게 된다.
이때, 제1 영역과 제2 영역은 하나의 복셀(voxel) 너비만큼의 영역을 겹쳐지도록 설정할 수 있다. 이로 인해 두 GPU 사이의 데이터 교환은 필요없게 된다. 여기서, 복셀은 3D 공간의 한 점을 정의한 일단의 그래픽 정보를 나타낼 수 있다.
도 3은 본 발명의 일 실시예에 따라 표면을 통합하는 원리를 설명하기 위한 도면이다.
도 3에 도시한 바와 같이, 본 발명에 따른 제1 GPU(120)와 제2 GPU(130)에서 예측된 표면 포인트를 통합할 수 있다. 예컨대, 광선 R1에 대해서 포인트 P1, 광선 R3에 대해서 포인트 P4가 선택되고, 광선 R2에 대해서는 포인트 P2, P3가 존재하게 되는데, 이 포인트 P2, P3 중 카메라로부터 가까운 거리에 있는 포인트 P2가 선택된다.
도 4는 본 발명의 일 실시예에 따른 3차원 복원을 위한 방법을 나타내는 제1 도면이다.
도 4에 도시한 바와 같이, 본 발명에 따른 제1 GPU는 제1 영역에 대하여 카메라로부터 생성된 제1 깊이 데이터를 입력 받고, 그 입력 받은 제1 깊이 데이터로부터 버텍스 맵과 노말 맵을 계산할 수 있다(S410).
다음으로, 제1 GPU는 계산된 버텍스 맵과 노말 맵을 기반으로 카메라의 위치를 추정하고(S411), 추정된 카메라의 위치를 기반으로 제1 깊이 데이터로 제1 TSDF 볼륨 데이터를 업데이트할 수 있다(S412).
다음으로, 제1 GPU는 레이 캐스팅 알고리즘을 이용하여 업데이트된 제1 TSDF 볼륨 데이터로부터 현재 공간에 존재하는 물체의 표면 포인트를 예측할 수 있다(S413).
또한 제2 GPU는 제2 영역에 대하여 카메라로부터 생성된 제2 깊이 데이터를 입력 받고, 그 입력 받은 제2 깊이 데이터로부터 버텍스 맵과 노말 맵을 계산할 수 있다(S420).
다음으로, 제2 GPU는 계산된 버텍스 맵과 노말 맵을 기반으로 카메라의 위치를 추정하고(S421), 추정된 카메라의 위치를 기반으로 제2 깊이 데이터로 제2 TSDF 볼륨 데이터를 업데이트할 수 있다(S422).
다음으로, 제2 GPU는 레이 캐스팅 알고리즘을 이용하여 업데이트된 제2 TSDF 볼륨 데이터로부터 현재 공간에 존재하는 물체의 표면 포인트를 예측할 수 있다(S423).
다음으로, 제1 GPU는 모든 카메라의 위치에 따라 제1 TSDF 볼륨 데이터와 제2 TSDF 볼륨 데이터의 업데이트가 완료되면 업데이트된 제1 TSDF 볼륨 데이터로부터 예측된 표면 포인트와 제2 TSDF 볼륨 데이터로부터 예측된 표면 포인트를 통합할 수 있다(S430).
다음으로, 제1 GPU는 통합한 결과가 적용된 제1 TSDF 볼륨 데이터로부터 공간 내에 존재하는 물체의 표면 좌표에 상응하는 포인트 클라우드 데이터를 추출할 수 있다(S440).
또한, 제2 GPU는 통합한 결과가 적용된 제2 TSDF 볼륨 데이터로부터 공간 내에 존재하는 물체의 표면 좌표에 상응하는 포인트 클라우드 데이터를 추출할 수 있다(S450).
이렇게 제1 GPU와 제2 GPU 각각으로부터 추출된 포인트 클라우드 데이터를 결합하게 되면 전체 복원하고자 하는 영역에 대한 포인트 클라우드 데이터가 생성되게 된다.
도 5는 본 발명의 일 실시예에 따른 3차원 복원을 위한 장치를 나타내는 제2 도면이다.
도 5에 도시한 바와 같이, 본 발명에 따른 3차원 공간을 복원하기 위한 장치는 카메라(110), 제1 GPU(120), 제2 GPU(130), 및 마스터 GPU(140) 등을 포함하여 구성될 수 있다. 세 개의 GPU를 이용하는 3차원 복원 방법을 설명하기로 한다.
카메라(110)는 RGBD 카메라로서, 공간에 대한 깊이(depth) 데이터를 생성할 수 있다.
제1 GPU(120)는 마스터 GPU(140)로부터 추정된 카메라의 위치를 기반으로 제1 깊이 데이터로 제1 TSDF(Truncated Signed Distance Function) 볼륨 데이터를 업데이트할 수 있다.
제1 GPU(120)는 레이 캐스팅(ray casting) 알고리즘을 이용하여 업데이트된 제1 TSDF 볼륨 데이터로부터 현재 공간에 존재하는 물체의 표면 포인트를 예측할 수 있다.
이때, 제1 GPU(120)는 모든 카메라의 위치에 따라 제1 TSDF 볼륨 데이터를 업데이트한다.
제1 GPU(120)는 통합한 결과가 적용된 제1 TSDF 볼륨 데이터로부터 공간 내에 존재하는 물체의 표면 좌표에 상응하는 포인트 클라우드(point cloud) 데이터를 추출할 수 있다.
제2 GPU(130)는 마스터 GPU(140)로부터 추정된 카메라의 위치를 기반으로 제2 깊이 데이터로 제2 TSDF(Truncated Signed Distance Function) 볼륨 데이터를 업데이트할 수 있다.
제2 GPU(130)는 레이 캐스팅(ray casting) 알고리즘을 이용하여 업데이트된 제1 TSDF 볼륨 데이터로부터 현재 공간에 존재하는 물체의 표면 포인트를 예측할 수 있다.
이때, 제2 GPU(130)는 는 모든 카메라의 위치에 따라 제1 TSDF 볼륨 데이터를 업데이트한다.
제2 GPU(130)는 통합한 결과가 적용된 제2 TSDF 볼륨 데이터로부터 공간 내에 존재하는 물체의 표면 좌표에 상응하는 포인트 클라우드(point cloud) 데이터를 추출할 수 있다.
마스터 GPU(140)는 제1 영역에 대하여 카메라(110)로부터 생성된 제1 깊이 데이터와 제2 영역에 대하여 카메라(110)로부터 생성된 제2 깊이 데이터를 입력 받고, 그 입력 받은 제1 깊이 데이터와 제2 깊이 데이터로부터 버텍스 맵과 노말 맵을 계산할 수 있다.
마스터 GPU(140)는 계산된 버텍스 맵과 노말 맵을 기반으로 ICP(Iterative Closest Point) 얼라인먼트(alignment) 방법을 이용하여 카메라의 위치를 추정할 수 있다.
이때, 마스터 GPU(140)는 추정된 카메라의 위치에 따라 제1 GPU(120)가 담당하는 제1 영역의 TSDF 볼륨 데이터가 담당하지 않는 새로운 제3 영역의 TSDF 볼륨 데이터보다 작아지면, 제1 GPU(120)가 새로운 제3 영역을 담당하도록 제어할 수 있다.
마스터 GPU(140)는 모든 카메라의 위치에 따라 업데이트가 완료되면, 제1 GPU(120)에서 업데이트된 제1 TSDF 볼륨 데이터로부터 예측된 표면 포인트와 제2 GPU(130)에서 업데이트된 제2 TSDF 볼륨 데이터로부터 예측된 표면 포인트를 통합할 수 있다.
도 6은 본 발명의 일 실시예에 따라 복원 영역을 변경하는 원리를 설명하기 위한 도면이다.
도 6에 도시한 바와 같이, (a)에서 제1 GPU가 새로운 영역을 담당하는 경우를 보여주고 있다. 즉, 마스터 GPU(140)는 제1 GPU가 담당하는 제1 영역의 TSDF 볼륨 데이터가 담당하지 않는 새로운 제3 영역의 TSDF 볼륨 데이터보다 작아지면, 제1 GPU를 카메라가 움직이는 방향에 있는 새로운 제3 영역을 담당하도록 제어할 수 있다.
이때, 제1 GPU는 담당하는 영역을 변경하기 전에 기 수집된 TSDF 데이터를 시스템 메모리에 복사하게 된다. 제1 GPU의 대역폭(bandwidth)을 고려한다면 데이터 복사에 걸리는 시간은 카메라로부터 들어오는 한 프레임의 데이터를 처리하는 시간보다 적다. 이는 제1 GPU가 새로 담당할 영역의 첫번째 데이터를 잃어버린다는 것을 의미하는 것인데, 제1 GPU의 다음 프로세스에 영향을 주지는 않는다.
(b)에서 제1 GPU가 카메라가 이전에 담당했던 영역으로 다시 돌아오는 경우를 보여주고 있다. 즉, 제1 GPU는 시스템 메모리에 저장되어 있던 해당 영역의 TSDF 데이터를 읽어오게 된다.
본 발명은 이러한 방식으로 카메라가 이동함에 따라 GPU가 담당하는 영역을 동적으로 바꿔줌으로써, 복원 영역을 확장할 수 있고 복원 영역의 규모에 제한이 없게 된다.
도 7은 본 발명의 일 실시예에 따른 3차원 복원을 위한 방법을 나타내는 제2 도면이다.
도 7에 도시한 바와 같이, 본 발명에 따른 마스터 GPU는 제1 영역에 대하여 카메라로부터 생성된 제1 깊이 데이터와 제2 영역에 대하여 카메라로부터 생성된 제2 깊이 데이터를 입력 받고, 그 입력 받은 제1 깊이 데이터와 제2 깊이 데이터로부터 버텍스 맵과 노말 맵을 계산할 수 있다(S710).
다음으로, 마스터 GPU는 계산된 버텍스 맵과 노말 맵을 기반으로 카메라의 위치를 추정할 수 있다(S720).
다음으로, 제1 GPU는 추정된 카메라의 위치를 기반으로 제1 깊이 데이터로 제1 TSDF 볼륨 데이터를 업데이트하고(S730) 레이 캐스팅 알고리즘을 이용하여 업데이트된 제1 TSDF 볼륨 데이터로부터 현재 공간에 존재하는 물체의 표면 포인트를 예측할 수 있다(S731).
또한 제2 GPU는 추정된 카메라의 위치를 기반으로 제2 깊이 데이터로 제2 TSDF 볼륨 데이터를 업데이트하고(S740) 레이 캐스팅 알고리즘을 이용하여 업데이트된 제2 TSDF 볼륨 데이터로부터 현재 공간에 존재하는 물체의 표면 포인트를 예측할 수 있다(S741).
다음으로, 마스터 GPU는 모든 카메라의 위치에 따라 제1 TSDF 볼륨 데이터와 제2 TSDF 볼륨 데이터의 업데이트가 완료되면 업데이트된 제1 TSDF 볼륨 데이터로부터 예측된 표면 포인트와 제2 TSDF 볼륨 데이터로부터 예측된 표면 포인트를 통합할 수 있다(S750).
다음으로, 제1 GPU는 통합한 결과가 적용된 제1 TSDF 볼륨 데이터로부터 공간 내에 존재하는 물체의 표면 좌표에 상응하는 포인트 클라우드 데이터를 추출할 수 있다(S760).
또한, 제2 GPU는 통합한 결과가 적용된 제2 TSDF 볼륨 데이터로부터 공간 내에 존재하는 물체의 표면 좌표에 상응하는 포인트 클라우드 데이터를 추출할 수 있다(S770).
이렇게 제1 GPU와 제2 GPU 각각으로부터 추출된 포인트 클라우드 데이터를 결합하게 되면 전체 복원하고자 하는 영역에 대한 포인트 클라우드 데이터가 생성되게 된다.
한편, 이상에서 설명한 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합하거나 결합하여 동작하는 것으로 기재되어 있다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 또한, 이와 같은 컴퓨터 프로그램은 USB 메모리, CD 디스크, 플래쉬 메모리 등과 같은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 캐리어 웨이브 매체 등이 포함될 수 있다.
이상에서 설명한 실시예들은 그 일 예로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: RGBD 카메라
120: 제1 GPU
130: 제2 GPU
140: 마스터 GPU

Claims (14)

  1. 복원하고자 하는 3차원 공간에 대한 깊이(depth) 데이터를 생성하는 카메라;
    제1 영역에 대하여 생성된 제1 깊이 데이터로 제1 TSDF 볼륨 데이터를 업데이트하고 업데이트된 상기 제1 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 제1 GPU;
    제2 영역에 대하여 생성된 제2 깊이 데이터로 제2 TSDF 볼륨 데이터를 업데이트하고 업데이트된 상기 제2 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 제2 GPU; 및
    상기 카메라의 위치에 따라 상기 제1 TSDF 볼륨 데이터와 상기 제2 TSDF 볼륨 데이터의 업데이트가 완료되면 상기 제1 TSDF 볼륨 데이터로부터 예측된 표면 포인트와 상기 제2 TSDF 볼륨 데이터로부터 예측된 표면 포인트를 통합하는 마스터 GPU;
    를 포함하는 3차원 복원을 위한 장치.
  2. 제1 항에 있어서,
    상기 마스터 GPU는,
    상기 제1 영역에 대하여 카메라로부터 생성된 제1 깊이 데이터와 제2 영역에 대하여 카메라로부터 생성된 제2 깊이 데이터를 입력 받고,
    입력 받은 상기 제1 깊이 데이터와 상기 제2 깊이 데이터로부터 버텍스 맵(vertex map)과 노말 맵(normal map)을 계산하여 계산된 상기 버텍스 맵과 상기 노말 맵을 기반으로 상기 카메라의 위치를 추정하는 것을 특징으로 하는 3차원 복원을 위한 장치.
  3. 제2 항에 있어서,
    상기 제1 GPU는,
    추정된 상기 카메라의 위치를 기반으로 상기 제1 깊이 데이터로 상기 제1 TSDF 볼륨 데이터를 업데이트하고,
    레이 캐스팅 알고리즘을 이용하여 업데이트된 상기 제1 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 것을 특징으로 하는 3차원 복원을 위한 장치.
  4. 제2 항에 있어서,
    상기 제2 GPU는,
    추정된 상기 카메라의 위치를 기반으로 상기 제2 깊이 데이터로 상기 제2 TSDF 볼륨 데이터를 업데이트하고,
    레이 캐스팅 알고리즘을 이용하여 업데이트된 상기 제2 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 것을 특징으로 하는 3차원 복원을 위한 장치.
  5. 제1 항에 있어서,
    상기 제1 GPU는,
    상기 통합한 결과가 적용된 제1 TSDF 볼륨 데이터로부터 공간 내에 존재하는 물체의 표면 좌표에 상응하는 포인트 클라우드 데이터를 추출하는 것을 특징으로 하는 3차원 복원을 위한 장치.
  6. 제1 항에 있어서,
    상기 제2 GPU는,
    상기 통합한 결과가 적용된 제2 TSDF 볼륨 데이터로부터 공간 내에 존재하는 물체의 표면 좌표에 상응하는 포인트 클라우드 데이터를 추출하는 것을 특징으로 하는 3차원 복원을 위한 장치.
  7. 제1 항에 있어서,
    상기 마스터 GPU는,
    추정된 상기 카메라의 위치에 따라 상기 제1 GPU가 담당하는 제1 영역의 데이터가 담당하지 않는 새로운 제3 영역의 데이터보다 적어지면, 상기 제1 GPU가 상기 새로운 제3 영역을 담당하도록 제어하는 것을 특징으로 하는 3차원 복원을 위한 장치.
  8. 카메라가 복원하고자 하는 3차원 공간에 대한 깊이(depth) 데이터를 생성하는 단계;
    제1 GPU가 제1 영역에 대하여 생성된 제1 깊이 데이터로 제1 TSDF 볼륨 데이터를 업데이트하고 업데이트된 상기 제1 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 단계;
    제2 GPU가 제2 영역에 대하여 생성된 제2 깊이 데이터로 제2 TSDF 볼륨 데이터를 업데이트하고 업데이트된 상기 제2 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 단계; 및
    마스터 GPU가 상기 카메라의 위치에 따라 상기 제1 TSDF 볼륨 데이터와 상기 제2 TSDF 볼륨 데이터의 업데이트가 완료되면 상기 제1 TSDF 볼륨 데이터로부터 예측된 표면 포인트와 상기 제2 TSDF 볼륨 데이터로부터 예측된 표면 포인트를 통합하는 단계;
    를 포함하는 3차원 복원을 위한 방법.
  9. 제8 항에 있어서,
    상기 마스터 GPU가 상기 제1 영역에 대하여 카메라로부터 생성된 제1 깊이 데이터와 제2 영역에 대하여 카메라로부터 생성된 제2 깊이 데이터를 입력 받는 단계;
    상기 마스터 GPU가 입력 받은 상기 제1 깊이 데이터와 상기 제2 깊이 데이터로부터 버텍스 맵(vertex map)과 노말 맵(normal map)을 계산하는 단계; 및
    계산된 상기 버텍스 맵과 상기 노말 맵을 기반으로 상기 카메라의 위치를 추정하는 단계;
    를 더 포함하는 것을 특징으로 하는 3차원 복원을 위한 방법.
  10. 제9 항에 있어서,
    상기 제1 GPU가 예측하는 단계는,
    추정된 상기 카메라의 위치를 기반으로 상기 제1 깊이 데이터로 상기 제1 TSDF 볼륨 데이터를 업데이트하고,
    레이 캐스팅 알고리즘을 이용하여 업데이트된 상기 제1 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 것을 특징으로 하는 3차원 복원을 위한 방법.
  11. 제9 항에 있어서,
    상기 제2 GPU가 예측하는 단계는,
    추정된 상기 카메라의 위치를 기반으로 상기 제2 깊이 데이터로 상기 제2 TSDF 볼륨 데이터를 업데이트하고,
    레이 캐스팅 알고리즘을 이용하여 업데이트된 상기 제2 TSDF 볼륨 데이터로부터 공간에 존재하는 물체의 표면 포인트를 예측하는 것을 특징으로 하는 3차원 복원을 위한 방법.
  12. 제8 항에 있어서,
    상기 제1 GPU가 상기 통합한 결과가 적용된 제1 TSDF 볼륨 데이터로부터 공간 내에 존재하는 물체의 표면 좌표에 상응하는 포인트 클라우드 데이터를 추출하는 단계;
    를 더 포함하는 것을 특징으로 하는 3차원 복원을 위한 방법.
  13. 제8 항에 있어서,
    상기 제2 GPU가 상기 통합한 결과가 적용된 제2 TSDF 볼륨 데이터로부터 공간 내에 존재하는 물체의 표면 좌표에 상응하는 포인트 클라우드 데이터를 추출하는 단계;
    를 더 포함하는 것을 특징으로 하는 3차원 복원을 위한 방법.
  14. 제8 항에 있어서,
    상기 제1 GPU가 예측하는 단계는,
    상기 마스터 GPU가 추정된 상기 카메라의 위치에 따라 상기 제1 GPU가 담당하는 제1 영역의 TSDF 볼륨 데이터가 담당하지 않는 새로운 제3 영역의 TSDF 볼륨 데이터보다 적어지면, 상기 제1 GPU가 상기 새로운 제3 영역을 담당하도록 제어하는 단계;
    를 포함하는 것을 특징으로 하는 3차원 복원을 위한 장치.
KR1020120134288A 2012-11-26 2012-11-26 멀티 ｇｐｕ를 기반으로 하는 ３차원 복원을 위한 장치 및 그 방법 KR101839035B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020120134288A KR101839035B1 (ko) 2012-11-26 2012-11-26 멀티 ｇｐｕ를 기반으로 하는 ３차원 복원을 위한 장치 및 그 방법
US13/939,313 US9076250B2 (en) 2012-11-26 2013-07-11 Apparatus for 3D reconstruction based on multiple GPUS and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120134288A KR101839035B1 (ko) 2012-11-26 2012-11-26 멀티 ｇｐｕ를 기반으로 하는 ３차원 복원을 위한 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20140070724A true KR20140070724A (ko) 2014-06-11
KR101839035B1 KR101839035B1 (ko) 2018-03-19

Family

ID=50772887

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120134288A KR101839035B1 (ko) 2012-11-26 2012-11-26 멀티 ｇｐｕ를 기반으로 하는 ３차원 복원을 위한 장치 및 그 방법

Country Status (2)

Country Link
US (1) US9076250B2 (ko)
KR (1) KR101839035B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190029842A (ko) 2017-09-12 2019-03-21 주식회사 케이쓰리아이 지피유 가속 컴퓨팅을 이용한 3차원 복원 클라우드 포인트 생성 방법
KR20190111616A (ko) 2018-03-23 2019-10-02 에스케이플래닛 주식회사 선택적 인코딩 기반의 클라우드 스트리밍 서비스 방법 및 위한 장치

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102084253B1 (ko) * 2013-11-20 2020-03-03 한국전자통신연구원 복원조각과 볼륨형 표면을 이용하는 카메라 트래킹 장치 및 방법
CN106548466B (zh) * 2015-09-16 2019-03-29 富士通株式会社 三维重建对象的方法和设备
CN106558076B (zh) * 2015-09-16 2019-06-18 富士通株式会社 三维重建对象的方法和设备
CN106548507A (zh) * 2015-09-16 2017-03-29 富士通株式会社 三维重建对象的方法和设备
WO2017104984A1 (ko) * 2015-12-15 2017-06-22 삼성전자 주식회사 볼륨 최근접 거리 접근법을 이용한 3차원 모델 생성 방법 및 장치
US9892552B2 (en) 2015-12-15 2018-02-13 Samsung Electronics Co., Ltd. Method and apparatus for creating 3-dimensional model using volumetric closest point approach
CN107680074A (zh) * 2016-08-02 2018-02-09 富士通株式会社 几何重建对象的方法和设备
CN107680073A (zh) * 2016-08-02 2018-02-09 富士通株式会社 几何重建对象的方法和设备
AT16852U1 (de) * 2016-10-13 2020-11-15 A Tron3D Gmbh Verfahren zum Erfassen und Optimieren von dreidimensionalen Oberflächengeometrien
CN106504320B (zh) * 2016-11-02 2019-12-17 华东师范大学 一种基于gpu及面向深度图像的实时三维重构方法
US10782880B2 (en) 2017-08-30 2020-09-22 Electronics And Telecommunications Research Institute Apparatus and method for providing storage for providing cloud services
US10872467B2 (en) 2018-06-06 2020-12-22 Ke.Com (Beijing) Technology Co., Ltd. Method for data collection and model generation of house
CN110191284B (zh) * 2019-06-05 2020-06-19 贝壳找房(北京)科技有限公司 对房屋进行数据采集的方法、装置、电子设备和存储介质

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7289125B2 (en) * 2004-02-27 2007-10-30 Nvidia Corporation Graphics device clustering with PCI-express
US7372465B1 (en) * 2004-12-17 2008-05-13 Nvidia Corporation Scalable graphics processing for remote display
KR101126626B1 (ko) 2010-03-02 2012-03-26 한국과학기술원 광역 3차원 복원을 위한 시스템 및 방법
US8587583B2 (en) * 2011-01-31 2013-11-19 Microsoft Corporation Three-dimensional environment reconstruction
US8570320B2 (en) * 2011-01-31 2013-10-29 Microsoft Corporation Using a three-dimensional environment model in gameplay
US9053571B2 (en) * 2011-06-06 2015-06-09 Microsoft Corporation Generating computer models of 3D objects

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190029842A (ko) 2017-09-12 2019-03-21 주식회사 케이쓰리아이 지피유 가속 컴퓨팅을 이용한 3차원 복원 클라우드 포인트 생성 방법
KR20190111616A (ko) 2018-03-23 2019-10-02 에스케이플래닛 주식회사 선택적 인코딩 기반의 클라우드 스트리밍 서비스 방법 및 위한 장치

Also Published As

Publication number Publication date
US9076250B2 (en) 2015-07-07
US20140146057A1 (en) 2014-05-29
KR101839035B1 (ko) 2018-03-19

Similar Documents

Publication Publication Date Title
KR101839035B1 (ko) 멀티 ｇｐｕ를 기반으로 하는 ３차원 복원을 위한 장치 및 그 방법
EP3727622B1 (en) Caching and updating of dense 3d reconstruction data
US11636637B2 (en) Artificially rendering images using viewpoint interpolation and extrapolation
US11012679B2 (en) Generating apparatus, generating method, and storage medium
CN106255943B (zh) 身体锁定增强现实与世界锁定增强现实之间的转换
EP3789964A1 (en) Three-dimensional (3d) rendering method and apparatus
KR102051889B1 (ko) 스마트 글래스에서 ２ｄ 데이터를 기반으로 ３ｄ 증강현실을 구현하는 방법 및 시스템
JP6242334B2 (ja) 平面特性基盤マーカーレス拡張現実システムおよびその動作方法
KR102359978B1 (ko) 다중-소스 가상 콘텐츠 합성을 갖는 혼합 현실 시스템 및 이를 사용하여 가상 콘텐츠를 생성하는 방법
KR102093619B1 (ko) 그래픽 프로세싱 유닛에서의 전자 디스플레이 안정화
US20170018056A1 (en) Artificially rendering images using interpolation of tracked control points
WO2018125369A1 (en) Multi-view scene flow stitching
KR101181199B1 (ko) 배경 지형 장면의 입체 이미지 생성 방법, 시스템 및 이를 위한 기록매체
US11328481B2 (en) Multi-resolution voxel meshing
JP2005235211A (ja) 中間時点の画像合成方法及びそれを適用した３ｄディスプレイ装置
WO2018182989A1 (en) Single pass flexible screen/scale rasterization
CN105096375B (zh) 图像处理方法和设备
JP2008191072A (ja) ３次元形状復元方法，３次元形状復元装置，その方法を実装した３次元形状復元プログラム及びそのプログラムを記録した記録媒体
KR20170110089A (ko) 이미지에 대한 초기 수퍼픽셀 라벨 맵을 생성하기 위한 방법 및 장치
JP4892113B2 (ja) 画像処理方法及び装置
JP2021192541A (ja) 動画変換システム、動画変換方法及び動画変換プログラム
JP5413263B2 (ja) 画像生成方法
US20200211275A1 (en) Information processing device, information processing method, and recording medium
CN109407824A (zh) 人体模型的同步运动方法与装置
JP7479793B2 (ja) 画像処理装置、仮想視点映像を生成するシステム、画像処理装置の制御方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant