KR102196032B1 - 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템 - Google Patents

6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템 Download PDF

Info

Publication number
KR102196032B1
KR102196032B1 KR1020190130335A KR20190130335A KR102196032B1 KR 102196032 B1 KR102196032 B1 KR 102196032B1 KR 1020190130335 A KR1020190130335 A KR 1020190130335A KR 20190130335 A KR20190130335 A KR 20190130335A KR 102196032 B1 KR102196032 B1 KR 102196032B1
Authority
KR
South Korea
Prior art keywords
view
image
images
sphere
view image
Prior art date
Application number
KR1020190130335A
Other languages
English (en)
Inventor
우운택
조호철
김장윤
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020190130335A priority Critical patent/KR102196032B1/ko
Priority to PCT/KR2020/002289 priority patent/WO2021080096A1/ko
Priority to US17/630,498 priority patent/US20220358712A1/en
Application granted granted Critical
Publication of KR102196032B1 publication Critical patent/KR102196032B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/156—Mixing image signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/003—Navigation within 3D models or images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/503—Blending, e.g. for anti-aliasing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G06T17/205—Re-meshing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2211/00—Image generation
    • G06T2211/40—Computed tomography
    • G06T2211/416—Exact reconstruction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 복수의 360 이미지를 사용하여 대규모 6-DOF 가상 환경을 구축하고 새로운 시점에서 장면을 합성하는 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템에 관한 것으로, 360 이미지(360 Images)에 대한 3D 재구성 절차를 수행하여 3D 기하학적 정보를 복구하며, 복수의 360 이미지를 하나로 통합하는 가상 데이터 맵을 재구성하는 단계, 상기 가상 데이터 맵에서 추출된 뷰 포인트에서 가장 근접한 기준 이미지를 사용하여 투영 및 정점 워핑(Projection & Vertex Warping)의 뷰 합성 알고리즘을 적용하여 사용자 시점에 해당하는 뷰 이미지를 생성하는 단계 및 상기 기준 이미지의 위치와 상기 뷰 포인트의 위치 사이의 거리에 기초한 내부 분할에 대한 섹션 공식을 통해 6 자유도(DoF)를 위한 상기 뷰 이미지를 혼합하는 단계를 포함한다.

Description

6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템{NOVEL VIEW SYNTHESIS METHOD BASED ON MULTIPLE 360 IMAGES FOR 6-DOF VIRTUAL REALITY AND THE SYSTEM THEREOF}
본 발명은 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템에 관한 것으로, 보다 상세하게는 복수의 360 이미지를 사용하여 대규모 6-DOF 가상 환경을 구축하고 새로운 시점에서 장면을 합성하는 기술에 관한 것이다.
사용자에게 실감형 가상현실(Virtual Reality) 경험을 제공하기 위해서는 보다 광범위한 상호작용과 참여 활동을 가능하게 하고 시각적 피드백과 실제 움직임 사이의 불일치로 인한 비현실성 및 멀미를 줄이기 위해 6DoF 움직임을 지원해야 한다. 그러나, 360 카메라로 제작된 VR 콘텐츠 대부분은 6DoF 가상 환경을 생성하기 위한 현실 세계에 관련된 센서 정보 부족 및 가상환경 구축의 기술적인 어려움으로 3DoF 회전 동작만을 지원한다.
6DoF(6 Degree of Freedom) 가상 환경은 3개의 로테이션(Rotation)과 3개의 포지션(Position) 축에 대하여 자유도를 가질 수 있어 자유롭게 움직이고, 주변을 둘러볼 수 있는 환경을 의미한다. 6DoF Virtual Reality 시스템을 만들기 위해서는 사용자가 촬영되지 않은 장소로 이동했을 경우 그것에 맞는 뷰(View)를 합성해내는 자유시점 이미지(Novel view image) 합성 기술이 필요하다.
다만, 기존의 3D 모델을 이용하여 현실 세계를 가상현실로 만드는 방법은 자유롭게 움직일 수 있는 6DoF를 지원하지만 그래픽 퀄리티가 떨어져서 현실감이 떨어지는 단점을 가진다.
또 다른 기존의 360 카메라를 이용하여 현실 세계를 가상현실로 만드는 방법은 실제 사진을 이용하기 때문에 현실감 있는 그래픽을 제공하지만 6DoF를 지원하지 않아 자유롭게 움직일 수 없다. 따라서, 실사기반의 현실감 있는 그래픽을 제공하면서 자유롭게 이동할 수 있는 6DoF 환경을 만들 수 있는 방법이 요구되었다.
이러한 6DoF 환경을 만들기 위해 기존에 두 가지 방법이 사용되었다.
첫 번째로, 이미지 기반의 6DoF 환경을 만들기 위하여 이미지 기반 렌더링(Image-based rendering) 기술을 통해 자유시점 이미지를 합성(Novel-view synthesis)하는 방법이 기존에 시도되었다. 하지만, 종래 기술은 일반 2D 이미지를 이용하여 자유시점 이미지를 만드는 것으로, 보다 넓은 영역에 대한 정보를 포함하는 360 이미지를 이용하여 자유시점 이미지를 합성하는 기술에 대해서는 연구되지 않았다.
두 번째로, 360 이미지를 이용하여 자유시점 이미지 합성(Novel-view synthesis)하는 방법이 기존에 시도되었다. 하지만, 종래 기술은 단일 이미지에서 자유도를 주는 방식에 대하여 제안하였으며, 보다 넓은 공간의 가상환경 제작을 위하여 여러 장의 이미지를 합쳤을 때 생기는 문제에 대해서는 깊이 다루지 않았다. 따라서, 360 이미지를 이용하여 보다 넓은 공간에 대하여 6DoF 환경을 만들기 위해, 여러 장의 이미지를 사용하였을 때 보다 효과적으로 합성하는 방법이 요구되었다.
한국공개특허 제10-2009-0068980호(2009.06.29.공개), “자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법”
6-DOF VR videos with a single 360-camera. In Virtual Reality (VR). IEEE, 2017.
본 발명의 목적은 대규모 현실 세계 기반의 가상 데이터 맵을 재구성하여 기준이 되는 복수의 360 이미지를 처리하고, 복수의 새로운 뷰 이미지를 보간하기 위해 가중 혼합을 수행하여 새로운 뷰 합성 과정을 제안하고자 한다.
또한, 본 발명의 목적은 삼각형을 면으로 가지는 정 20면체(Icosahedron sphere)를 수차례 나누어(subdivision) 표면이 삼각형 형태이고, 복수의 정점(vertex)을 가지는 구 메시(sphere mesh)에 이미지 투영과 정점 워핑을 사용하여 기준 이미지의 새로운 뷰 영상을 합성하고, 그 영상들을 하나의 완전한 새로운 뷰 영상에 보간하여 복수의 360 이미지를 가진 대규모 6DoF VR 시스템을 구축하고자 한다.
또한, 본 발명의 목적은 360 이미지 사이에 원활한 전환뿐만 아니라 거리에 따른 이미지 품질의 손실 없이 대규모 6DoF VR 환경을 구축하고자 한다.
본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법은 360 이미지(360 Images)에 대한 3D 재구성 절차를 수행하여 3D 기하학적 정보를 복구하며, 복수의 360 이미지를 하나로 통합하는 가상 데이터 맵을 재구성하는 단계, 상기 가상 데이터 맵에서 추출된 뷰 포인트에서 가장 근접한 기준 이미지를 사용하여 투영 및 정점 워핑(Projection & Vertex Warping)의 뷰 합성 알고리즘을 적용하여 사용자 시점에 해당하는 뷰 이미지를 생성하는 단계 및 상기 기준 이미지의 위치와 상기 뷰 포인트의 위치 사이의 거리에 기초한 내부 분할에 대한 섹션 공식을 통해 6 자유도(DoF)를 위한 상기 뷰 이미지를 혼합하는 단계를 포함한다.
상기 가상 데이터 맵을 재구성하는 단계는 상기 360 이미지에 대하여, 정 20면체(Icosahedron Sphere)를 수차례 나누어(subdivision) 표면이 삼각형 형태이고, 복수의 정점(vertex)을 가지는 구 메시(sphere mesh)의 기준 구(Reference sphere)인 상기 가상 데이터 맵을 재구성할 수 있다.
상기 가상 데이터 맵을 재구성하는 단계는 상기 복수의 360 이미지로부터 뷰 합성을 위해 SfM(Structure from Motion)의 상기 3D 재구성 절차를 수행하며, 상기 3D 기하학 정보를 하나로 통합하는 상기 가상 데이터 맵을 재구성할 수 있다.
상기 3D 기하학 정보는 상기 360 이미지에 대한 점자료(Point Cloud), 상기 점자료에 기반한 3D 메쉬(3D Mesh) 및 카메라 자세를 나타내는 카메라 외적 파라미터 그룹(Camera Location)을 포함할 수 있다.
상기 뷰 이미지를 생성하는 단계는 상기 기준 구에 매핑된 상기 기준 이미지를 사용하여 상기 가상 데이터 맵의 각 정점에서 대응되는 상기 뷰 포인트를 획득하며, 상기 뷰 포인트를 새로운 구(novel sphere)에 프로젝션하여 정점이 이동하는 위치를 획득하는 단계, 상기 획득된 위치로 상기 기준 구의 정점들을 이동시켜 픽셀들의 이동을 유도하는 단계 및 상기 새로운 구 안에 카메라를 위치시켜 사용자 시점의 가시범위(field-of-view)에 해당하는 상기 뷰 이미지를 생성하는 단계를 포함할 수 있다.
상기 뷰 포인트 및 위치를 획득하는 단계는 상기 뷰 포인트에서 가장 근접한 단일 기준 이미지, 또는 상기 뷰 포인트에서 가장 근접한 두 개의 기준 이미지를 사용할 수 있다.
상기 뷰 이미지를 혼합하는 단계는 두 개 이상의 상기 기준 이미지에서, 가중 혼합(weighted blending) 기법을 사용하여 거리에 반비례하게 픽셀을 혼합하여 상기 기준 이미지의 환경이 전환되는 현상을 방지할 수 있다.
상기 뷰 이미지를 혼합하는 단계는 픽셀들을 가중 혼합(weighted blending)하기 위해, 상기 새로운 구와 상기 기준 구 간의 거리를 획득한 후, 상기 섹션 공식을 이용해 최종적으로 상기 뷰 이미지의 픽셀 값들을 산출할 수 있다.
상기 섹션 공식은 가중 혼합을 획득하기 위한 수식일 수 있다.
본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법을 실행시키기 위해 컴퓨터로 읽을 수 있는 매체에 저장된 컴퓨터 프로그램에 있어서, 상기 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법은, 360 이미지(360 Images)에 대한 3D 재구성 절차를 수행하여 3D 기하학적 정보를 복구하며, 복수의 360 이미지를 하나로 통합하는 가상 데이터 맵을 재구성하는 단계, 상기 가상 데이터 맵에서 추출된 뷰 포인트에서 가장 근접한 기준 이미지를 사용하여 투영 및 정점 워핑(Projection & Vertex Warping)의 뷰 합성 알고리즘을 적용하여 사용자 시점에 해당하는 뷰 이미지를 생성하는 단계 및 상기 기준 이미지의 위치와 상기 뷰 포인트의 위치 사이의 거리에 기초한 내부 분할에 대한 섹션 공식을 통해 6 자유도(DoF)를 위한 상기 뷰 이미지를 혼합하는 단계를 포함한다.
본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 시스템은 360 이미지(360 Images)에 대한 3D 재구성 절차를 수행하여 3D 기하학적 정보를 복구하며, 복수의 360 이미지를 하나로 통합하는 가상 데이터 맵을 재구성하는 재구성부, 상기 가상 데이터 맵에서 추출된 뷰 포인트에서 가장 근접한 기준 이미지를 사용하여 투영 및 정점 워핑(Projection & Vertex Warping)의 뷰 합성 알고리즘을 적용하여 사용자 시점에 해당하는 뷰 이미지를 생성하는 처리부 및 상기 기준 이미지의 위치와 상기 뷰 포인트의 위치 사이의 거리에 기초한 내부 분할에 대한 섹션 공식을 통해 6 자유도(DoF)를 위한 상기 뷰 이미지를 혼합하는 블랜딩부를 포함한다.
상기 재구성부는 상기 360 이미지에 대하여, 정 20면체(Icosahedron Sphere)를 수차례 나누어(subdivision) 표면이 삼각형 형태이고, 복수의 정점(vertex)을 가지는 구 메시(sphere mesh)의 기준 구(Reference sphere)인 상기 가상 데이터 맵을 재구성할 수 있다.
상기 재구성부는 상기 복수의 360 이미지로부터 뷰 합성을 위해 SfM(Structure from Motion)의 상기 3D 재구성 절차를 수행하며, 상기 3D 기하학 정보를 하나로 통합하는 상기 가상 데이터 맵을 재구성할 수 있다.
상기 처리부는 상기 기준 구에 매핑된 상기 기준 이미지를 사용하여 상기 가상 데이터 맵의 각 정점에서 대응되는 상기 뷰 포인트를 획득하며, 상기 뷰 포인트를 새로운 구(novel sphere)에 프로젝션하여 정점이 이동하는 위치를 획득하는 획득부, 상기 획득된 위치로 상기 기준 구의 정점들을 이동시켜 픽셀들의 이동을 유도하는 픽셀부 및 상기 새로운 구 안에 카메라를 위치시켜 사용자 시점의 가시범위(field-of-view)에 해당하는 상기 뷰 이미지를 생성하는 생성부를 포함할 수 있다.
상기 획득부는 상기 뷰 포인트에서 가장 근접한 단일 기준 이미지, 또는 상기 뷰 포인트에서 가장 근접한 두 개의 기준 이미지를 사용할 수 있다.
상기 블랜딩부는 두 개 이상의 상기 기준 이미지에서, 가중 혼합(weighted blending) 기법을 사용하여 거리에 반비례하게 픽셀을 혼합하여 상기 기준 이미지의 환경이 전환되는 현상을 방지할 수 있다.
상기 블랜딩부는 픽셀들을 가중 혼합(weighted blending)하기 위해, 상기 새로운 구와 상기 기준 구 간의 거리를 획득한 후, 상기 섹션 공식을 이용해 최종적으로 상기 뷰 이미지의 픽셀 값들을 산출할 수 있다.
본 발명의 실시예에 따르면, 대규모 현실 세계 기반의 가상 데이터 맵을 재구성하여 기준이 되는 복수의 360 이미지를 처리하고, 복수의 새로운 뷰 이미지를 보간하기 위해 가중 혼합을 수행하여 새로운 뷰를 합성할 수 있다.
또한, 본 발명의 실시예에 따르면, 삼각형을 면으로 가지는 정 20면체(Icosahedron sphere)를 수차례 나누어(subdivision) 표면이 삼각형 형태이고, 복수의 정점(vertex)을 가지는 구 메시(sphere mesh)에 이미지 투영과 정점 워핑을 사용하여 기준 이미지의 새로운 뷰 영상을 합성하고, 그 영상들을 하나의 완전한 새로운 뷰 영상에 보간하여 복수의 360 이미지를 가진 대규모 6DoF VR 시스템을 구축할 수 있다.
또한, 본 발명의 실시예에 따르면, 360 이미지 사이에 원활한 전환뿐만 아니라 거리에 따른 이미지 품질의 손실 없이 대규모 6DoF VR 환경을 구축할 수 있다.
도 1은 본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법의 동작 흐름도를 도시한 것이다.
도 2는 본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법에 대한 개념도를 도시한 것이다.
도 3은 본 발명의 실시예에 따른 정 20면체(Icosahedron sphere)를 수차례 나누어(subdivision) 삼각형 형태의 표면과 복수의 정점(vertex)을 가지는 구 메시(sphere mesh)를 만드는 과정의 예를 도시한 것이다.
도 4는 본 발명의 실시예에 따른 투영 및 정점 와핑 과정을 설명하기 위해 도시한 것이다.
도 5는 본 발명의 실시예에 따른 가중 혼합 과정을 설명하기 위해 도시한 것이다.
도 6a 및 도 6b는 본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법을 평가하기 위한 실험 예를 도시한 것이다.
도 7 및 도 8은 도 6에서 수행된 실험에 대한 결과 그래프를 도시한 것이다.
도 9는 본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 시스템의 세부 구성을 블록도로 도시한 것이다.
이하, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 그러나 본 발명이 실시예들에 의해 제한되거나 한정되는 것은 아니다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
또한, 본 명세서에서 사용되는 용어(terminology)들은 본 발명의 바람직한 실시예를 적절히 표현하기 위해 사용된 용어들로서, 이는 시청자, 운용자의 의도 또는 본 발명이 속하는 분야의 관례 등에 따라 달라질 수 있다. 따라서, 본 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
본 발명은 사용자가 넓은 공간의 6DoF(6 자유도) 가상 환경을 경험할 수 있는 실시간 사용자 시점 이미지 합성 방법을 제공하는 것을 그 요지로 한다.
특히, 본 발명의 요지는 복수의 360 이미지를 사용하여 대규모 6DoF 가상 환경을 구축하고, 새로운 시점에서 장면을 합성하는 것이다. 단일 360 이미지로부터의 실시간 사용자 시점 합성은 사용자에게 6DoF의 완벽한 헤드 모션으로 자유로운 시점 경험을 제공할 수 있지만, 이동 가능한 공간은 이미지의 맥락 내에서 제한된다. 이에, 본 발명은 넓은 공간의 현실 세계 기반의 가상 데이터 맵을 재구성함으로써, 다수의 360 이미지를 참조하고 가중치 혼합을 수행하여 합성 결과의 에러를 최소화하는 프로세스를 제안한다.
이하에서는 더 넓은 영역의 가상 환경의 체험 가능성과 각 360 이미지 사이의 부드러운 전환을 제공하는 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템에 대해 도 1 내지 도 9를 참조하여 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법의 동작 흐름도를 도시한 것이다.
이하에서는 도 1과 도 2 내지 도 5를 참조하여 본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법에 대해 보다 상세히 설명하고자 한다. 여기서, 도 2는 본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법에 대한 개념도를 도시한 것이고, 도 3은 본 발명의 실시예에 따른 정 20면체(Icosahedron sphere)를 수차례 나누어(subdivision) 삼각형 형태의 표면과 복수의 정점(vertex)을 가지는 구 메시(sphere mesh)를 만드는 과정의 예를 도시한 것이다. 또한, 도 4는 본 발명의 실시예에 따른 투영 및 정점 와핑 과정을 설명하기 위해 도시한 것이며, 도 5는 본 발명의 실시예에 따른 가중 혼합 과정을 설명하기 위해 도시한 것이다.
도 1 및 도 2를 참조하면, 단계 110 및 단계 210은 360 이미지(360 Images)에 대한 3D 재구성 절차를 수행하여 3D 기하학적 정보를 복구하며, 복수의 360 이미지를 하나로 통합하는 가상 데이터 맵을 재구성한다. 상기 360 이미지는 360도 이미지를 나타내는 것으로, 본 발명에서는 360 이미지라 칭한다.
단계 110 및 단계 210은 복수의 360 이미지로부터 뷰 합성 단계에 필요한 장면의 3D 기하학적 정보를 복구하기 위해, 사전 처리 단계(Pre-Processing)로써 SfM(Structure from Motion)과 같은 3D 재구성 절차를 수행할 수 있다. 이때, 추정된 3D 기하학 정보는 360 이미지에 대한 점자료(Point Cloud), 점자료에 기반한 3D 메쉬(3D Mesh) 및 카메라 자세를 나타내는 카메라 외적 파라미터 그룹(Camera Location)을 포함할 수 있다.
이후에, 단계 110은 모든 3D 기하학적 정보를 하나로 통합하는 가상 데이터 맵(Virtual Data Map)을 재구성할 수 있다.
도 3을 참조하여 본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법의 단계 110에 대해 설명하면, 단계 110은 360 이미지(360 Images)에 대하여, 정 20면체(Icosahedron Sphere)를 수차례 나누어(subdivision) 표면이 삼각형 형태이고, 복수의 정점(vertex)을 가지는 구 메시(sphere mesh)를 재구성할 수 있다. 많은 수의 정점을 가지는 구 메시는 정점 와핑(vertex warping) 과정에서 픽셀(pixel)의 이동을 표현하기 위한 것이다.
이에, 단계 110은 구 메시(sphere mesh)인 기준 구(Reference sphere, 도 2에서 가장 오른쪽에 위치하는 구)에 가상 데이터 맵을 재구성하며, 본 발명은 이후의 단계에서, 구 메시 상에 투영 및 정점 워핑(Projection & Vertex Warping) 과정을 진행한다.
단계 120 및 단계 220에서, 가상 데이터 맵에서 추출된 뷰 포인트에서 가장 근접한 기준 이미지를 사용하여 투영 및 정점 워핑(Projection & Vertex Warping)의 뷰 합성 알고리즘을 적용하여 사용자 시점에 해당하는 뷰 이미지를 생성한다.
단계 120은 장면의 가상 데이터 맵을 획득한 후, 하나 이상의 기준 이미지를 참조하여 새로운 뷰 합성 알고리즘을 적용할 수 있다. 새로운 뷰 포인트에서 가장 근접한 기준 이미지는 새로운 뷰와 가장 유사한 뷰를 가져야 한다. 이와 관련하여 단계 120은 가장 근접한 단일 기준 이미지를 사용하는 방법을 설명한다.
보다 상세하게, 단계 120은 기준 구에 매핑된 기준 이미지를 사용하여 가상 데이터 맵의 각 정점에서 대응되는 뷰 포인트를 획득하며, 뷰 포인트를 새로운 구(novel sphere)에 프로젝션하여 정점이 이동하는 위치를 획득하는 단계(미도시), 획득된 위치로 기준 구의 정점들을 이동시켜 픽셀들의 이동을 유도하는 단계(미도시) 및 새로운 구 안에 카메라를 위치시켜 사용자 시점의 가시범위(field-of-view)에 해당하는 뷰 이미지를 생성하는 단계(미도시)를 포함할 수 있다.
이때, 상기 뷰 포인트 및 위치를 획득하는 단계는 뷰 포인트에서 가장 근접한 단일 기준 이미지, 또는 뷰 포인트에서 가장 근접한 두 개의 기준 이미지를 사용할 수 있다.
일 예로, 단일 기준 이미지를 사용하여 투영 및 정점 워핑을 수행하는 단계 120은 도 4를 참조하면, 새로운 뷰(Novel view)에서 가장 가까운 이미지를 기준 이미지로 선택하며, 기준 이미지는 정 20면체(Icosahedron sphere)를 수차례 나누어(subdivision) 표면이 삼각형 형태이고, 복수의 정점(vertex)을 가지는 구 메시(sphere mesh)에 매핑된 것일 수 있다. 기준 이미지의 각 정점에 대해 정점을 통해 구의 중심에서 광선이 방출되면, 다시 새로운 뷰 포인트가 반사(선-캐스팅)되며, 다음 기준 정점은 새로운 뷰 포인트 구의 정점으로 변환될 수 있다. 정점의 변환은 모든 픽셀이 구에 매핑되어 새로운 뷰를 위해 구를 이동하고 생성하게 한다.
이에, 단계 120은 뷰 포인트를 새로운 구(Novel sphere)에 프로젝션하여 정점이 이동할 위치를 획득하며, 해당 위치로 기준 이미지들의 정점을 이동시킴으로써, 픽셀들의 이동을 유도할 수 있다. 이후에, 단계 120은 디스플레이의 시야에 맞는 구에서 새로운 뷰 이미지를 생성할 수 있다.
다른 예로, 두 개의 기준 이미지를 사용하여 투영 및 정점 워핑을 수행하는 단계 120은 도 4를 참조하여 설명하면, 제1 기준 이미지(Reference Image 1) 및 제2 기준 이미지(Reference 2)의 각 정점에 대응되는 3D 모델의 뷰 포인트(point)를 획득하고, 해당 포인트를 새로운 구에 프로젝션하여 정점이 이동할 위치를 획득할 수 있다. 이후에, 단계 120은 해당 위치로 360 이미지가 입혀져 있는 즉, 제1 기준 이미지(Reference Image 1) 및 제2 기준 이미지(Reference 2)의 정점들을 이동시킴으로써, 픽셀(pixel)들의 이동을 유도할 수 있다. 이에, 최종적으로, 단계 120은 새로운 구(sphere) 안에 카메라를 위치시켜 사용자 시점의 가시범위(field-of-view)에 해당하는 새로운 뷰 이미지(Novel View)를 생성할 수 있다.
단계 130에서, 기준 이미지의 위치와 뷰 포인트의 위치 사이의 거리에 기초한 내부 분할에 대한 섹션 공식을 통해 6 자유도(DoF)를 위한 뷰 이미지를 혼합한다.
단계 130은 두 개 이상의 기준 이미지를 참조하며, 기준 이미지가 변경되었을 때 생기는 화면이 전환되는 현상을 방지하기 위하여 거리에 반비례하게 픽셀을 혼합하는 가중 혼합(weighted blending) 기법을 사용할 수 있다.
또한, 단계 130은 도 5에 도시된 바와 같이, 픽셀들을 가중 혼합(weighted blending)하기 위해, 새로운 구(Novel Sphere)와 기준 구(Reference Sphere 1, Reference Sphere 2) 간의 거리를 획득한 후, 섹션 공식을 이용해 최종적으로 뷰 이미지의 픽셀 값들을 산출할 수 있다. 보다 상세하게는, 단계 130은 새로운 구(Novel Sphere)와 기준 구(Reference Sphere 1, Reference Sphere 2) 간의 거리를 획득한 후 섹션 공식인 이하의 [수식 1]을 이용하여 최종 새로운 뷰 이미지(Novel-view image)의 픽셀 값들을 산출할 수 있다.
[수식 1]
Figure 112019106868272-pat00001
이때, [수식 1]인 섹션 공식은 가중 혼합을 획득하기 위한 수식일 수 있다.
[수식 1]에서, d1 및 d2는 새로운 구(Novel Sphere)와 기준 구(Reference Sphere) 와의 거리를 나타내며, PixelInterpolated는 각 기준 구(Reference Sphere)를 참조하여 생성된 새로운 뷰 이미지들의 픽셀 값들을 나타낸다.
도 6a 및 도 6b는 본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법을 평가하기 위한 실험 예를 도시한 것이다.
보다 상세하게, 도 6a는 고프로 퓨전(GoPro Fusion) 360 VR 카메라를 이용해 길이 70m, 폭 35m 건물의 클로이스터(cloister)를 캡쳐한 것으로, 캡쳐된 총 209개의 영상에 사진 측량 파이프라인을 사용하는 도구를 사용하여 생성된 가상 데이터 맵이다.
또한, 도 6b는 본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법을 평가하기 위해 수행된 두 가지 실험 결과에 관한 것이다.
첫 번째 실험(Experiment 1 or Exp.1)에서는 50m 간격으로 두 기준 이미지의 위치 사이에 있는 22개의 위치에서 총 22개의 이미지를 합성하였다. 그런 다음 합성된 이미지를 PSNR(Peak Signal-to-noise ratio, 최대 신호 대 잡음 비) 및 SSIM(Structural Similarity Metric, 구조적 유사도 지수) 측정을 모두 사용하여 실측 자료 이미지와 비교하였다.
두 번째 실험(Experiment 2 or Exp.2)에서는 1.75m 간격으로 3개의 기준 이미지의 위치 사이에서 균일하게 간격을 두고 총 44개의 이미지 및 프레임을 합성하였다. 그런 다음, 모든 이미지(기준 및 합성)를 이전 프레임과 각 프레임을 비교하여 평활도를 평가하였다.
도 7 및 도 8은 도 6에서 수행된 실험에 대한 결과 그래프를 도시한 것이다.
보다 상세하게는, 도 7은 도 6에 의한 방법을 이용하여 새로운 시점의 뷰 이미지가 기준 이미지와의 거리에 따라 이미지의 품질이 어떻게 변하는지에 대해 실험한 결과이며, 제1 기준 이미지에서 제2 기준 이미지까지 시점을 이동시키며 새로운 시점의 이미지를 생성하였다.
도 7에서 M1(Method 1)은 첫 번째 실험(Experiment 1)을 나타내는 것으로, 가중 혼합(weighted blending) 방법을 사용하지 않았을 때의 결과이며, M2는 두 번째 실험(Experiment 2)를 나타내는 것으로, 가중 혼합(weighted blending) 방법을 사용하였을 때의 결과이다. 도 7을 통해 가중 혼합(weighted blending) 방법을 사용하였을 때, 기준 이미지에서 멀어져도 합성된 이미지 품질을 유지하는 것을 확인할 수 있다.
구체적으로, M1의 경우 합성된 이미지 품질은 기준 이미지와의 거리가 최대 25m까지 증가함에 따라 감소하는 추세를 보이며, 25m를 지나면 참조하는 이미지를 바꾸며 바뀐 기준 이미지에 가까워질수록 이미지 품질이 회복되는 것을 알 수 있다. 반면에, M2의 경우 두 개의 기준 이미지를 보간하여 새로운 시점의 뷰가 기준 이미지에서 멀어져도 이미지 품질이 유지되는 것을 확인할 수 있다.
도 8을 참조하면, 기준 이미지가 1.75m(첫번째), 3.5m(두번째)에 위치해 있을 때, M1의 경우 기준 이미지가 바뀌는 1m 및 2.75m에서 화면이 갑자기 전환되는 현상을 이미지 평활도 수치가 급격히 떨어지는 것을 통해 확인할 수 있다. 반면에, M2의 경우 두 개의 기준 이미지를 보간하여 항상 전체적인 프레임 차이를 유지하고, 전환 평활도를 유지하는 것을 확인할 수 있다.
이에, 본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법은 재구성된 3D 장면을 사용하여 구에 투영 및 정점 워핑을 활용하고, 단일 360 이미지에서 원하는 뷰를 합성하며, 복수의 기준 뷰에서 복수의 합성 뷰를 보간하기 위해 가중 혼합을 적용함으로써, 본 발명을 적용한 6DoF VR 시스템을 통해 360 이미지를 활용한 VR 콘텐츠의 성장을 전망할 수 있다.
도 9는 본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 시스템의 세부 구성을 블록도로 도시한 것이다.
도 9를 참조하면, 본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 시스템은 복수의 360 이미지를 사용하여 대규모 6-DOF 가상 환경을 구축하고 새로운 시점에서 장면을 합성한다.
이를 위해, 본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 시스템(900)은 재구성부(910), 처리부(920) 및 블랜딩부(930)를 포함한다.
재구성부(910)는 360 이미지(360 Images)에 대한 3D 재구성 절차를 수행하여 3D 기하학적 정보를 복구하며, 복수의 360 이미지를 하나로 통합하는 가상 데이터 맵을 재구성한다.
재구성부(910)는 복수의 360 이미지로부터 뷰 합성 단계에 필요한 장면의 3D 기하학적 정보를 복구하기 위해, 사전 처리 단계(Pre-Processing)로써 SfM(Structure from Motion)과 같은 3D 재구성 절차를 수행할 수 있다. 이때, 추정된 3D 기하학 정보는 360 이미지에 대한 점자료(Point Cloud), 점자료에 기반한 3D 메쉬(3D Mesh) 및 카메라 자세를 나타내는 카메라 외적 파라미터 그룹(Camera Location)을 포함할 수 있다.
이후에, 재구성부(910)는 모든 3D 기하학적 정보를 하나로 통합하는 가상 데이터 맵(Virtual Data Map)을 재구성할 수 있다.
본 발명의 실시예에 따른 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 시스템(900)의 재구성부(910)는 360 이미지(360 Images)에 대하여, 정 20면체(Icosahedron Sphere)를 수차례 나누어(subdivision) 표면이 삼각형 형태이고, 복수의 정점(vertex)을 가지는 구 메시(sphere mesh)를 재구성할 수 있다. 많은 수의 정점을 가지는 구 메시는 정점 와핑(vertex warping) 과정에서 픽셀(pixel)의 이동을 표현하기 위한 것이다.
처리부(920)는 가상 데이터 맵에서 추출된 뷰 포인트에서 가장 근접한 기준 이미지를 사용하여 투영 및 정점 워핑(Projection & Vertex Warping)의 뷰 합성 알고리즘을 적용하여 사용자 시점에 해당하는 뷰 이미지를 생성한다.
처리부(920)는 장면의 가상 데이터 맵을 획득한 후, 하나 이상의 기준 이미지를 참조하여 새로운 뷰 합성 알고리즘을 적용할 수 있다. 새로운 뷰 포인트에서 가장 근접한 기준 이미지는 새로운 뷰와 가장 유사한 뷰를 가져야 한다. 이와 관련하여 처리부(920)는 가장 근접한 단일 기준 이미지를 사용하는 방법을 설명한다.
보다 상세하게, 처리부(920)는 기준 구에 매핑된 기준 이미지를 사용하여 가상 데이터 맵의 각 정점에서 대응되는 뷰 포인트를 획득하며, 뷰 포인트를 새로운 구(novel sphere)에 프로젝션하여 정점이 이동하는 위치를 획득하는 획득부(미도시), 획득된 위치로 기준 구의 정점들을 이동시켜 픽셀들의 이동을 유도하는 픽셀부(미도시) 및 새로운 구 안에 카메라를 위치시켜 사용자 시점의 가시범위(field-of-view)에 해당하는 뷰 이미지를 생성하는 생성부(미도시)를 포함할 수 있다.
이때, 상기 획득부는 뷰 포인트에서 가장 근접한 단일 기준 이미지, 또는 뷰 포인트에서 가장 근접한 두 개의 기준 이미지를 사용할 수 있다.
일 예로, 단일 기준 이미지를 사용하여 투영 및 정점 워핑을 수행하는 처리부(920)는 새로운 뷰(Novel view)에서 가장 가까운 이미지를 기준 이미지로 선택하며, 기준 이미지는 정 20면체(Icosahedron sphere)를 수차례 나누어(subdivision) 표면이 삼각형 형태이고, 복수의 정점(vertex)을 가지는 구 메시(sphere mesh)에 매핑된 것일 수 있다. 기준 이미지의 각 정점에 대해 정점을 통해 구의 중심에서 광선이 방출되면, 다시 새로운 뷰 포인트가 반사(선-캐스팅)되며, 다음 기준 정점은 새로운 뷰 포인트 구의 정점으로 변환될 수 있다. 정점의 변환은 모든 픽셀이 구에 매핑되어 새로운 뷰를 위해 구를 이동하고 생성하게 한다.
이에, 처리부(920)는 뷰 포인트를 새로운 구(Novel sphere)에 프로젝션하여 정점이 이동할 위치를 획득하며, 해당 위치로 기준 이미지들의 정점을 이동시킴으로써, 픽셀들의 이동을 유도할 수 있다. 이후에, 처리부(920)는 디스플레이의 시야에 맞는 구에서 새로운 뷰 이미지를 생성할 수 있다.
다른 예로, 두 개의 기준 이미지를 사용하여 투영 및 정점 워핑을 수행하는 처리부(920)는 제1 기준 이미지(Reference Image 1) 및 제2 기준 이미지(Reference 2)의 각 정점에 대응되는 3D 모델의 뷰 포인트(point)를 획득하고, 해당 포인트를 새로운 구에 프로젝션하여 정점이 이동할 위치를 획득할 수 있다. 이후에, 처리부(920)는 해당 위치로 360 이미지가 입혀져 있는 즉, 제1 기준 이미지(Reference Image 1) 및 제2 기준 이미지(Reference 2)의 정점들을 이동시킴으로써, 픽셀(pixel)들의 이동을 유도할 수 있다. 이에, 최종적으로, 처리부(920)는 새로운 구(sphere) 안에 카메라를 위치시켜 사용자 시점의 가시범위(field-of-view)에 해당하는 새로운 뷰 이미지(Novel View)를 생성할 수 있다.
블랜딩부(930)는 기준 이미지의 위치와 뷰 포인트의 위치 사이의 거리에 기초한 내부 분할에 대한 섹션 공식을 통해 6 자유도(DoF)를 위한 뷰 이미지를 혼합한다.
블랜딩부(930)는 두 개 이상의 기준 이미지를 참조하며, 기준 이미지가 변경되었을 때 생기는 화면이 전환되는 현상을 방지하기 위하여 거리에 반비례하게 픽셀을 혼합하는 가중 혼합(weighted blending) 기법을 사용할 수 있다.
또한, 블랜딩부(930)는 픽셀들을 가중 혼합(weighted blending)하기 위해, 새로운 구와 기준 구 간의 거리를 획득한 후, 섹션 공식을 이용해 최종적으로 뷰 이미지의 픽셀 값들을 산출할 수 있다. 여기서, 상기 섹션 공식은 전술한 [수식 1]로, 가중 혼합을 획득하기 위한 수식일 수 있다.
비록, 도 9의 시스템에서 그 설명이 생략되었더라도, 본 발명에 따른 시스템은 상기 도 1 내지 도 8에서 설명한 모든 내용을 포함할 수 있다는 것은 이 기술 분야에 종사하는 당업자에게 있어서 자명하다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(Field Programmable Gate Array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (17)

  1. 360 이미지(360 Images)에 대한 3D 재구성 절차를 수행하여 3D 기하학적 정보를 복구하며, 복수의 360 이미지를 하나로 통합하는 가상 데이터 맵을 재구성하는 단계;
    상기 가상 데이터 맵에서 추출된 뷰 포인트에서 가장 근접한 기준 이미지를 사용하여 투영 및 정점 워핑(Projection & Vertex Warping)의 뷰 합성 알고리즘을 적용하여 사용자 시점에 해당하는 뷰 이미지를 생성하는 단계; 및
    상기 기준 이미지의 위치와 상기 뷰 포인트의 위치 사이의 거리에 기초한 내부 분할에 대한 섹션 공식을 통해 6 자유도(DoF)를 위한 상기 뷰 이미지를 혼합하는 단계
    를 포함하고,
    상기 가상 데이터 맵을 재구성하는 단계는
    상기 360 이미지에 대하여, 정 20면체(Icosahedron Sphere)를 수차례 나누어(subdivision) 표면이 삼각형 형태이고, 복수의 정점(vertex)을 가지는 구 메시(sphere mesh)의 기준 구(Reference sphere)인 상기 가상 데이터 맵을 재구성하며,
    상기 뷰 이미지를 생성하는 단계는
    상기 기준 구에 매핑된 상기 기준 이미지를 사용하여 상기 가상 데이터 맵의 각 정점에서 대응되는 상기 뷰 포인트를 획득하며, 상기 뷰 포인트를 새로운 구(novel sphere)에 프로젝션하여 정점이 이동하는 위치를 획득하는 단계;
    상기 획득된 위치로 상기 기준 구의 정점들을 이동시켜 픽셀들의 이동을 유도하는 단계; 및
    상기 새로운 구 안에 카메라를 위치시켜 사용자 시점의 가시범위(field-of-view)에 해당하는 상기 뷰 이미지를 생성하는 단계
    를 포함하는 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법.
  2. 삭제
  3. 제1항에 있어서,
    상기 가상 데이터 맵을 재구성하는 단계는
    상기 복수의 360 이미지로부터 뷰 합성을 위해 SfM(Structure from Motion)의 상기 3D 재구성 절차를 수행하며, 상기 3D 기하학 정보를 하나로 통합하는 상기 가상 데이터 맵을 재구성하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법.
  4. 제3항에 있어서,
    상기 3D 기하학 정보는
    상기 360 이미지에 대한 점자료(Point Cloud), 상기 점자료에 기반한 3D 메쉬(3D Mesh) 및 카메라 자세를 나타내는 카메라 외적 파라미터 그룹(Camera Location)을 포함하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법.
  5. 삭제
  6. 제1항에 있어서,
    상기 뷰 포인트 및 위치를 획득하는 단계는
    상기 뷰 포인트에서 가장 근접한 단일 기준 이미지, 또는 상기 뷰 포인트에서 가장 근접한 두 개의 기준 이미지를 사용하는 것을 특징으로 하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법.
  7. 제1항에 있어서,
    상기 뷰 이미지를 혼합하는 단계는
    두 개 이상의 상기 기준 이미지에서, 가중 혼합(weighted blending) 기법을 사용하여 거리에 반비례하게 픽셀을 혼합하여 상기 기준 이미지의 환경이 전환되는 현상을 방지하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법.
  8. 제7항에 있어서,
    상기 뷰 이미지를 혼합하는 단계는
    픽셀들을 가중 혼합(weighted blending)하기 위해, 상기 새로운 구와 상기 기준 구 간의 거리를 획득한 후, 상기 섹션 공식을 이용해 최종적으로 상기 뷰 이미지의 픽셀 값들을 산출하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법.
  9. 제8항에 있어서,
    상기 섹션 공식은
    가중 혼합을 획득하기 위한 수식인 것을 특징으로 하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법.
  10. 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법을 실행시키기 위해 컴퓨터로 읽을 수 있는 매체에 저장된 컴퓨터 프로그램에 있어서,
    상기 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법은,
    360 이미지(360 Images)에 대한 3D 재구성 절차를 수행하여 3D 기하학적 정보를 복구하며, 복수의 360 이미지를 하나로 통합하는 가상 데이터 맵을 재구성하는 단계;
    상기 가상 데이터 맵에서 추출된 뷰 포인트에서 가장 근접한 기준 이미지를 사용하여 투영 및 정점 워핑(Projection & Vertex Warping)의 뷰 합성 알고리즘을 적용하여 사용자 시점에 해당하는 뷰 이미지를 생성하는 단계; 및
    상기 기준 이미지의 위치와 상기 뷰 포인트의 위치 사이의 거리에 기초한 내부 분할에 대한 섹션 공식을 통해 6 자유도(DoF)를 위한 상기 뷰 이미지를 혼합하는 단계
    를 포함하고,
    상기 가상 데이터 맵을 재구성하는 단계는
    상기 360 이미지에 대하여, 정 20면체(Icosahedron Sphere)를 수차례 나누어(subdivision) 표면이 삼각형 형태이고, 복수의 정점(vertex)을 가지는 구 메시(sphere mesh)의 기준 구(Reference sphere)인 상기 가상 데이터 맵을 재구성하며,
    상기 뷰 이미지를 생성하는 단계는
    상기 기준 구에 매핑된 상기 기준 이미지를 사용하여 상기 가상 데이터 맵의 각 정점에서 대응되는 상기 뷰 포인트를 획득하며, 상기 뷰 포인트를 새로운 구(novel sphere)에 프로젝션하여 정점이 이동하는 위치를 획득하는 단계;
    상기 획득된 위치로 상기 기준 구의 정점들을 이동시켜 픽셀들의 이동을 유도하는 단계; 및
    상기 새로운 구 안에 카메라를 위치시켜 사용자 시점의 가시범위(field-of-view)에 해당하는 상기 뷰 이미지를 생성하는 단계
    를 포함하는 매체에 저장된 컴퓨터 프로그램.
  11. 360 이미지(360 Images)에 대한 3D 재구성 절차를 수행하여 3D 기하학적 정보를 복구하며, 복수의 360 이미지를 하나로 통합하는 가상 데이터 맵을 재구성하는 재구성부;
    상기 가상 데이터 맵에서 추출된 뷰 포인트에서 가장 근접한 기준 이미지를 사용하여 투영 및 정점 워핑(Projection & Vertex Warping)의 뷰 합성 알고리즘을 적용하여 사용자 시점에 해당하는 뷰 이미지를 생성하는 처리부; 및
    상기 기준 이미지의 위치와 상기 뷰 포인트의 위치 사이의 거리에 기초한 내부 분할에 대한 섹션 공식을 통해 6 자유도(DoF)를 위한 상기 뷰 이미지를 혼합하는 블랜딩부
    를 포함하고,
    상기 재구성부는
    상기 360 이미지에 대하여, 정 20면체(Icosahedron Sphere)를 수차례 나누어(subdivision) 표면이 삼각형 형태이고, 복수의 정점(vertex)을 가지는 구 메시(sphere mesh)의 기준 구(Reference sphere)인 상기 가상 데이터 맵을 재구성하며,
    상기 처리부는
    상기 기준 구에 매핑된 상기 기준 이미지를 사용하여 상기 가상 데이터 맵의 각 정점에서 대응되는 상기 뷰 포인트를 획득하며, 상기 뷰 포인트를 새로운 구(novel sphere)에 프로젝션하여 정점이 이동하는 위치를 획득하는 획득부;
    상기 획득된 위치로 상기 기준 구의 정점들을 이동시켜 픽셀들의 이동을 유도하는 픽셀부; 및
    상기 새로운 구 안에 카메라를 위치시켜 사용자 시점의 가시범위(field-of-view)에 해당하는 상기 뷰 이미지를 생성하는 생성부
    를 포함하는 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 시스템.
  12. 삭제
  13. 제11항에 있어서,
    상기 재구성부는
    상기 복수의 360 이미지로부터 뷰 합성을 위해 SfM(Structure from Motion)의 상기 3D 재구성 절차를 수행하며, 상기 3D 기하학 정보를 하나로 통합하는 상기 가상 데이터 맵을 재구성하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 시스템.
  14. 삭제
  15. 제11항에 있어서,
    상기 획득부는
    상기 뷰 포인트에서 가장 근접한 단일 기준 이미지, 또는 상기 뷰 포인트에서 가장 근접한 두 개의 기준 이미지를 사용하는 것을 특징으로 하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 시스템.
  16. 제11항에 있어서,
    상기 블랜딩부는
    두 개 이상의 상기 기준 이미지에서, 가중 혼합(weighted blending) 기법을 사용하여 거리에 반비례하게 픽셀을 혼합하여 상기 기준 이미지의 환경이 전환되는 현상을 방지하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 시스템.
  17. 제16항에 있어서,
    상기 블랜딩부는
    픽셀들을 가중 혼합(weighted blending)하기 위해, 상기 새로운 구와 상기 기준 구 간의 거리를 획득한 후, 상기 섹션 공식을 이용해 최종적으로 상기 뷰 이미지의 픽셀 값들을 산출하는, 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 시스템.
KR1020190130335A 2019-10-21 2019-10-21 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템 KR102196032B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020190130335A KR102196032B1 (ko) 2019-10-21 2019-10-21 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템
PCT/KR2020/002289 WO2021080096A1 (ko) 2019-10-21 2020-02-18 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템
US17/630,498 US20220358712A1 (en) 2019-10-21 2020-02-18 Method and system for synthesizing novel view image on basis of multiple 360 images for 6-degrees of freedom virtual reality

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190130335A KR102196032B1 (ko) 2019-10-21 2019-10-21 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템

Publications (1)

Publication Number Publication Date
KR102196032B1 true KR102196032B1 (ko) 2020-12-29

Family

ID=74090153

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190130335A KR102196032B1 (ko) 2019-10-21 2019-10-21 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템

Country Status (3)

Country Link
US (1) US20220358712A1 (ko)
KR (1) KR102196032B1 (ko)
WO (1) WO2021080096A1 (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090068980A (ko) 2007-12-24 2009-06-29 연세대학교 산학협력단 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법
KR20150013709A (ko) * 2012-05-09 2015-02-05 엔씨에이엠 테크놀로지스 리미티드 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100603601B1 (ko) * 2004-11-08 2006-07-24 한국전자통신연구원 다시점 콘텐츠 생성 장치 및 그 방법
US20120188234A1 (en) * 2011-01-20 2012-07-26 University Of Southern California Image processing apparatus and method
KR101816449B1 (ko) * 2016-10-20 2018-01-08 현대자동차주식회사 다시점 카메라의 통합 노출 제어 장치, 그를 포함한 시스템 및 그 방법
KR20180133052A (ko) * 2017-06-05 2018-12-13 한국과학기술원 360도 이미지 및 비디오 기반의 증강현실 콘텐츠 저작 방법
US10810435B2 (en) * 2018-11-07 2020-10-20 Adobe Inc. Segmenting objects in video sequences

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090068980A (ko) 2007-12-24 2009-06-29 연세대학교 산학협력단 자유 시점 영상 재생을 위한 2차원/3차원 가상 시점 합성방법
KR20150013709A (ko) * 2012-05-09 2015-02-05 엔씨에이엠 테크놀로지스 리미티드 컴퓨터 생성된 ３ｄ 객체들 및 필름 카메라로부터의 비디오 공급을 실시간으로 믹싱 또는 합성하기 위한 시스템

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
6-DOF VR videos with a single 360-camera. In Virtual Reality (VR). IEEE, 2017.
J.Huang et al. 6-DOF VR video with a single 360-camera. IEEE trans. 2017 IEEE VR, 2017.3.18, pp.37-44* *

Also Published As

Publication number Publication date
WO2021080096A1 (ko) 2021-04-29
US20220358712A1 (en) 2022-11-10

Similar Documents

Publication Publication Date Title
JP6914926B2 (ja) Ｉｍｕおよび画像データを使用した合成物体を含む多視点画像データの拡張
CN106296783B (zh) 一种结合空间全局3d视图和全景图片的空间展示方法
JP7080613B2 (ja) 画像処理装置、画像処理方法およびプログラム
US20020113865A1 (en) Image processing method and apparatus
CN106973569A (zh) 生成和回放虚拟现实多媒体的方法、系统和装置
KR20040050888A (ko) 비평면 화상의 화상 처리 장치 및 화상 처리 방법, 기억매체 및 컴퓨터 프로그램
KR20070086037A (ko) 장면 간 전환 방법
EP3533218B1 (en) Simulating depth of field
BR112019027116A2 (pt) aparelho para gerar uma imagem, aparelho para gerar um sinal de imagem, método para gerar uma imagem, método para gerar um sinal de imagem e sinal de imagem
JP4403421B2 (ja) 画像処理装置及び画像処理方法
JP3352475B2 (ja) 画像表示装置
Queguiner et al. Towards mobile diminished reality
US20220375152A1 (en) Method for Efficiently Computing and Specifying Level Sets for Use in Computer Simulations, Computer Graphics and Other Purposes
JP2000348213A (ja) 三次元画像生成装置、三次元画像生成表示装置、及びその方法並びに記録媒体
Schreer et al. Advanced volumetric capture and processing
JPH10111953A (ja) 画像処理方法および装置および記憶媒体
KR20140126120A (ko) 디지털 홀로그램 합성 방법 및 그 장치
Zhao et al. LITAR: Visually coherent lighting for mobile augmented reality
WO2021187157A1 (ja) 画像処理装置、画像処理方法、及び画像処理プログラム
JP4464773B2 (ja) ３次元モデル表示装置及び３次元モデル表示プログラム
JP6719596B2 (ja) 画像生成装置、及び画像表示制御装置
Takai et al. Harmonised texture mapping
KR102196032B1 (ko) 6 자유도 가상현실을 위한 다중 360 이미지 기반의 자유시점 이미지 합성 방법 및 그 시스템
JP2004302524A (ja) ３次元モデリング・プログラム、３次元モデリング制御プログラム、３次元モデリング・データ伝送プログラム、記録媒体および３次元モデリング方法
Casas et al. Props alive: a framework for augmented reality stop motion animation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant