KR20190011224A - 6자유도 지원 360도 vr 영상 획득 및 재현을 위한 방법 및 그 장치 - Google Patents

6자유도 지원 360도 vr 영상 획득 및 재현을 위한 방법 및 그 장치 Download PDF

Info

Publication number
KR20190011224A
KR20190011224A KR1020180086154A KR20180086154A KR20190011224A KR 20190011224 A KR20190011224 A KR 20190011224A KR 1020180086154 A KR1020180086154 A KR 1020180086154A KR 20180086154 A KR20180086154 A KR 20180086154A KR 20190011224 A KR20190011224 A KR 20190011224A
Authority
KR
South Korea
Prior art keywords
image
stitching
camera
generated
generating
Prior art date
Application number
KR1020180086154A
Other languages
English (en)
Inventor
정준영
박영수
윤국진
이광순
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20190011224A publication Critical patent/KR20190011224A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

360도 VR(Virtual Reality) 영상 제공 장치 및 방법이 제공된다. 본 개시의 영상 제공 방법은 전방위 카메라 구조에 포함된 각각의 카메라로부터 입력 영상을 획득하는 단계, 상기 획득된 각각의 카메라로부터의 입력 영상을 이용하여 3차원 공간 정보를 나타내는 영상을 획득하는 단계, 상기 각각의 카메라로부터의 입력 영상 및 3차원 공간 정보를 나타내는 영상에 기초하여 수평 방향 및 수직 방향 중 적어도 하나의 방향에 관한 가상 시점 영상을 생성하는 단계, 상기 생성된 가상 시점 영상 및 상기 각각의 카메라로부터의 입력 영상을 이용하여 스티칭 영상을 생성하는 단계, 상기 스티칭 영상을 소정의 프로젝션 포맷에 투영시킴으로써 적어도 하나 이상의 스피어 영상을 생성하는 단계 및 상기 적어도 하나 이상의 스피어 영상 중 사용자의 관심 영역에 대응되는 스피어 영상을 결정하는 단계를 포함한다.

Description

6자유도 지원 360도 VR 영상 획득 및 재현을 위한 방법 및 그 장치{METHOD AND APPARATUS FOR ACQUISITION AND REPRESENTATION OF 6DoF 360 VR VIDEO}
본 개시는 6자유도를 지원하는 360도 VR 영상의 획득 및 재현 방법 및 장치에 관한 것이다. 보다 구체적으로, 본 개시는, 전방위 360도 카메라의 구조와 배치 및 리그 구조에 관한 방법 및 장치, 전방위 360도 카메라의 구조와 배치 및 리그 구조를 이용하여 획득된 영상을 기반으로 6자유도 지원 전방위 360도 VR 영상을 제공하는 방법 및 장치에 관한 것이다.
사람이 외부로부터 받아들이는 정보 중 약 80% 이상은 두 눈을 통해 얻게 되는 시각 정보이다. 시각 정보를 전달하는 매체는 글자, 사진, 동영상 등으로 발전했으며, 이러한 발전을 통해 매체 안에 보다 많은 시각 정보를 포함해서 보낼 수 있게 되었다. 여기에 3D 영상 기술이 정보 전달 매체에 적용되면서, 이를 통해 시청자들에게 공간감까지 전달해 주는 것이 가능해졌다. 여기에서 한 걸음 더 나아가 가상현실(Virtual Reality, VR) 개념은 헤드 마운티드 디스플레이(Head Mount Display, HMD)와 같은 특수한 디스플레이 장치를 이용해 시청자들에게 실제로 그 상황에 있는 것과 같은 현장감과 몰입감을 보다 극대화하여 전달해 줄 수 있는 장점이 있다. 그로 인해 VR 미디어는 차세대 시각 정보 미디어의 하나가 될 것으로 예상되고 있다.
그 동안 여러 가지 기술적 어려움 등으로 실험실 범주에 머물러있던 가상현실은 렌즈 광학 기술, 영상 처리 기술 등이 발전하면서 보다 우리에게 가까이 다가왔다. 최근 과거에 비해 보다 저렴하고 보다 진보된 기술이 내재된 HMD 기기나 스마트폰을 이용한 HMD 기기 등이 소개되면서 VR 관련 기술은 실생활에서도 손쉽게 접근 가능한 매체가 되었다.
초기 가상현실 미디어는 고정된 HMD를 통해 외부의 시각 정보를 완전히 차단한 상태에서 정면 시점의 VR 영상을 보여주는 방법을 사용하였다. 그 후 시청자들의 움직임에 따라 그에 맞는 시점 영상을 보여줌으로써 보다 많은 현장감과 몰입감을 줄 수 있는 방향으로 기술적 발전이 이루어졌다. 예를 들어, 360도 수평 방향으로 자유롭게 좌우회전을 하며 볼 수 있는 360도 파노라마 형태의 시청 공간이 제공되었다. 또한, 시청자가 어느 한 고정된 위치에서 자유롭게 회전운동(상하회전, 좌우회전, 전후회전)을 하면서 그에 맞는 시점 이동된 영상을 감상할 수 있도록 구형의 시청 공간이 제공되었다. 그러나, 시청자들은 보다 자유로운 움직임에 따른 시점 이동이 가능한 VR 영상을 감상하기를 원했고, 이는 회전운동뿐만 아니라 병진운동(상하이동, 좌우이동, 전후이동)도 가능한 6자유도를 VR 미디어에서 지원해야 할 필요성이 부각되었다. 이러한 시장의 요구로 인하여 6자유도를 지원하기 위한 기술들이 접목된 VR 콘텐츠도 등장하게 되었다.
3차원 가상 공간에서 자유롭게 렌더링이 가능한 컴퓨터 그래픽(Computer Graphics, CG) 기술을 기반으로 하는 게임 장르에서 처음으로 6자유도를 지원하는 기술이 VR 콘텐츠에 접목되었고, 이후 CG를 활용한 많은 6자유도 지원 VR 콘텐츠들이 등장하였다. 그러나, 현재 실사 영상을 기반으로 하는 6자유도 VR 콘텐츠를 제작하기 위해 많은 기술적 난관이 존재하고 있으며, 이를 해결하기 위한 연구 및 개발이 세계 도처에서 활발히 이루어지고 있다.
실사 영상을 기반으로 하는 6자유도 지원 VR 콘텐츠의 획득 및 재현을 위한 종래의 기술들은 일반적으로 가상의 구 공간에 실사 영상들을 매핑하고, 이를 다시 CG처럼 렌더링하는 처리과정을 거친다. 따라서, 실사 영상을 가상의 공간에 매핑하는 과정에서 많은 연산 처리를 요구할 뿐만 아니라 이 과정에서 발생하는 화질 열화로 인해 시청자들이 콘텐츠에서 얻을 수 있는 현장감과 몰입감을 그대로 전달해 주는데 다소 한계가 있다.
본 개시의 기술적 과제는, 360도 VR 영상 제공 장치 및 방법을 제공하는 것이다.
본 개시의 다른 기술적 과제는, 360도 VR 영상을 제공하는 전방위 카메라 구조물을 제공하는 것이다.
본 개시의 일 양상에 따르면, 전방위 카메라 구조에 포함된 각각의 카메라로부터 입력 영상을 획득하는 단계; 상기 획득된 각각의 카메라로부터의 입력 영상을 이용하여 3차원 공간 정보를 나타내는 영상을 획득하는 단계; 상기 각각의 카메라로부터의 입력 영상 및 3차원 공간 정보를 나타내는 영상에 기초하여 수평 방향 및 수직 방향 중 적어도 하나의 방향에 관한 가상 시점 영상을 생성하는 단계; 상기 생성된 가상 시점 영상 및 상기 각각의 카메라로부터의 입력 영상을 이용하여 스티칭 영상을 생성하는 단계; 상기 스티칭 영상을 소정의 프로젝션 포맷에 투영시킴으로써 적어도 하나 이상의 스피어 영상을 생성하는 단계; 및 상기 적어도 하나 이상의 스피어 영상 중 사용자의 관심 영역에 대응되는 스피어 영상을 결정하는 단계를 포함하는 360도 VR 영상 제공 방법이 제공될 수 있다.
본 개시의 다른 양상에 따르면, 전방위 카메라 구조에 포함된 각각의 카메라로부터 입력 영상을 획득하는 단계; 상기 획득된 각각의 카메라로부터의 입력 영상을 이용하여 3차원 공간 정보를 나타내는 영상을 획득하는 단계; 상기 입력 영상에 관한 스티칭 영상 및 3차원 공간 정보를 나타내는 영상에 관한 스티칭 영상을 각각 생성하는 단계; 상기 생성된 입력 영상에 관한 스티칭 영상 및 3차원 공간 정보를 나타내는 영상에 관한 스티칭 영상을 이용하여 수평 방향 및 수직 방향 중 적어도 하나의 방향에 관한 스티칭된 가상 시점 영상을 생성하는 단계; 상기 생성된 스티칭된 가상 시점 영상 및 상기 생성된 입력 영상에 관한 스티칭 영상 중 적어도 하나를 소정의 프로젝션 포맷에 투영시킴으로써 적어도 하나 이상의 스피어 영상을 생성하는 단계; 및 상기 적어도 하나 이상의 스피어 영상 중 사용자의 관심 영역에 대응되는 스피어 영상을 결정하는 단계를 포함하는 360도 VR(Virtual Reality) 영상 제공 방법이 제공될 수 있다.
본 개시의 다른 양상에 따르면, 전방위 카메라 구조에 포함된 각각의 카메라로부터 입력 영상을 획득하고, 상기 획득된 각각의 카메라로부터의 입력 영상을 이용하여 3차원 공간 정보를 나타내는 영상을 획득하고, 상기 각각의 카메라로부터의 입력 영상 및 3차원 공간 정보를 나타내는 영상에 기초하여 수평 방향 및 수직 방향 중 적어도 하나의 방향에 관한 가상 시점 영상을 생성하고, 상기 생성된 가상 시점 영상 및 상기 각각의 카메라로부터의 입력 영상을 이용하여 스티칭 영상을 생성하고, 상기 스티칭 영상을 소정의 프로젝션 포맷에 투영시킴으로써 적어도 하나 이상의 스피어 영상을 생성하고, 상기 적어도 하나 이상의 스피어 영상 중 사용자의 관심 영역에 대응되는 스피어 영상을 결정하는 것을 특징으로 하는 360도 VR(Virtual Reality) 영상 제공 장치가 제공될 수 있다.
본 개시의 다른 양상에 따르면, 전방위 카메라 구조에 포함된 각각의 카메라로부터 입력 영상을 획득하고, 상기 획득된 각각의 카메라로부터의 입력 영상을 이용하여 3차원 공간 정보를 나타내는 영상을 획득하고, 상기 입력 영상에 관한 스티칭 영상 및 3차원 공간 정보를 나타내는 영상에 관한 스티칭 영상을 각각 생성하고, 상기 생성된 입력 영상에 관한 스티칭 영상 및 3차원 공간 정보를 나타내는 영상에 관한 스티칭 영상을 이용하여 수평 방향 및 수직 방향 중 적어도 하나의 방향에 관한 스티칭된 가상 시점 영상을 생성하고, 상기 생성된 스티칭된 가상 시점 영상 및 상기 생성된 입력 영상에 관한 스티칭 영상 중 적어도 하나를 소정의 프로젝션 포맷에 투영시킴으로써 적어도 하나 이상의 스피어 영상을 생성하고, 상기 적어도 하나 이상의 스피어 영상 중 사용자의 관심 영역에 대응되는 스피어 영상을 결정하는 것을 특징으로 하는 360도 VR(Virtual Reality) 영상 제공 장치가 제공될 수 있다.
본 개시의 다른 양상에 따르면, 전방위 카메라는 다각형 형태의 구조로서 상기 전방위 카메라에 포함된 각각의 카메라들이 상기 다각형 형태를 구성하는 각 변에 배치되고, 상기 각 변에는 적어도 2 이상의 카메라가 배치된 360도 VR(Virtual Reality) 영상을 제공하기 위한 전방위 카메라 구조물이 제공될 수 있다.
본 개시에 대하여 위에서 간략하게 요약된 특징들은 후술하는 본 개시의 상세한 설명의 예시적인 양상일 뿐이며, 본 개시의 범위를 제한하는 것은 아니다.
본 개시에 따르면, 6자유도를 지원하는 360도 VR 영상을 획득하기 위한 전방위 360도 카메라의 구조와 배치 및 리그 구조를 제공하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 360도 VR 영상을 재현하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 실사 영상을 CG화 하지 않고, 그대로 이용하여 보다 현장감과 몰입감이 증대된 6자유도 지원 VR 콘텐츠를 획득 및/또는 재현할 수 있다.
본 발명은 6자유도 지원 360도 VR 영상을 획득하기 위한 카메라 배치 및 리그 구조, 전방위 시청영역(viewport) 또는 임의의 시청영역에서 사용자 6자유도에 따른 360도 VR 영상을 재현할 수 있는 방법을 제안한다. 본 발명은 다수의 실제 카메라를 조밀하게 배치하는 대신 카메라 획득 시점영상 및 3차원 공간정보를 활용하여 가상의 중간 시점 영상 생성을 통한 6자유도 지원 360도 VR영상을 재현할 수 있어 물리적 카메라 배치 및 복잡도를 최소할 수 있으며 추후 6DoF지원 360도 VR 영상 서비스를 제공하기 위한 획득, 재현 방법 및 이를 포함하는 서버 및 클라이언트 개발에 활용될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시의 일 실시 예에 따른 6자유도를 지원하는 360도 VR 영상을 획득하기 위한 카메라 리그 구조를 나타내는 도면이다.
도 2는 본 개시의 일 실시 예에 따른 깊이 영상 기반의 가상 시점 영상을 생성하는 과정을 나타내는 도면이다.
도 3은 본 개시의 일 실시 예에 따른 카메라 영상 및 카메라 깊이 영상을 이용한 제1 멀티스피어 방법의 동작을 나타내는 도면이다.
도 4 및 도 5는 각각 본 개시의 일 실시 예에 따른 카메라 당 영상 및 카메라 당 깊이 영상을 이용하여 수평이동 및 수직이동이 지원되는 멀티스피어 영상을 생성하는 과정을 나타내는 도면이다.
도 6은 본 개시의 일 실시 예에 따른 스티칭 된 카메라 영상 및 스티칭 된 깊이 영상을 이용한 제2 멀티스피어 방법의 동작을 나타내는 도면이다.
도 7 및 도 8은 각각 본 개시의 일 실시 예에 따른 스티칭된 카메라 영상 및 스티칭된 깊이 영상을 이용하여 수평이동 및 수직이동이 지원되는 멀티스피어 영상을 생성하는 과정을 나타내는 도면이다.
도 9는 본 개시의 일 실시 예에 따른 시청자의 관심 영역에 대응하는 영상을 제공하기 위한 멀티스피어 영상의 스위칭 과정을 나타내는 도면이다.
도 10, 도 11 및 도 12는 각각 본 개시의 일 실시 예에 따른 시청자의 수평 이동, 수직 이동 및 수평/수직/전후 이동에 대응하여 멀티스피어 영상을 재현하는 과정을 나타내는 도면이다.
도 13은 본 개시의 일 실시 예에 따른 리프로젝션 방법의 동작을 나타내는 도면이다.
도 14는 본 개시의 일 실시 예에 따른 회전운동 없이 병진운동에 대응하여 리프로젝션 스피어 영상을 생성하는 제1 리프로젝션 방법의 동작을 나타내는 도면이다.
도 15는 본 개시의 일 실시 예에 따른 회전운동을 병행한 병진운동에 대응하여 리프로젝션 스피어 영상을 생성하는 제2 리프로젝션 방법의 동작을 나타내는 도면이다.
도 16은 본 개시의 일 실시 예에 따른 회전운동 없이 병진운동에 대응하는 영상을 제공하기 위한 리프로젝션 스피어 영상의 스위칭 과정을 나타내는 도면이다.
도 17은 본 개시의 일 실시 예에 따른 회전운동을 병행한 병진운동에 대응하는 영상을 제공하기 위한 리프로젝션 스피어 영상의 스위칭 과정을 나타내는 도면이다.
도 18은 본 개시의 일 실시 예에 따른 회전운동 없이 병진운동에 대응하여 리프로젝션 스피어 영상을 재현하는 과정을 나타내는 도면이다.
도 19는 본 개시의 일 실시 예에 따른 회전운동을 병행한 병진운동에 대응하여 리프로젝션 스피어 영상을 재현하는 과정을 나타내는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다. 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다. 후술하는 예시적 실시예들에 대한 상세한 설명은, 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 실시예를 실시할 수 있기에 충분하도록 상세히 설명된다. 다양한 실시예들은 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 실시예의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 예시적 실시예들의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다.
본 발명에서 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
본 발명의 어떤 구성 요소가 다른 구성 요소에 “연결되어” 있다거나 “접속되어” 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있으나, 중간에 다른 구성 요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어"있다거나 "직접 접속되어"있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 발명의 실시예에 나타나는 구성부들은 서로 다른 특징적인 기능들을 나타내기 위해 독립적으로 도시되는 것으로, 각 구성부들이 분리된 하드웨어나 하나의 소프트웨어 구성단위로 이루어짐을 의미하지 않는다. 즉, 각 구성부는 설명의 편의상 각각의 구성부로 나열하여 포함한 것으로 각 구성부 중 적어도 두 개의 구성부가 합쳐져 하나의 구성부로 이루어지거나, 하나의 구성부가 복수 개의 구성부로 나뉘어져 기능을 수행할 수 있고 이러한 각 구성부의 통합된 실시예 및 분리된 실시예도 본 발명의 본질에서 벗어나지 않는 한 본 발명의 권리범위에 포함된다.
본 발명에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 발명에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 즉, 본 발명에서 특정 구성을 “포함”한다고 기술하는 내용은 해당 구성 이외의 구성을 배제하는 것이 아니며, 추가적인 구성이 본 발명의 실시 또는 본 발명의 기술적 사상의 범위에 포함될 수 있음을 의미한다.
본 발명의 일부의 구성 요소는 본 발명에서 본질적인 기능을 수행하는 필수적인 구성 요소는 아니고 단지 성능을 향상시키기 위한 선택적 구성 요소일 수 있다. 본 발명은 단지 성능 향상을 위해 사용되는 구성 요소를 제외한 본 발명의 본질을 구현하는데 필수적인 구성부만을 포함하여 구현될 수 있고, 단지 성능 향상을 위해 사용되는 선택적 구성 요소를 제외한 필수 구성 요소만을 포함한 구조도 본 발명의 권리범위에 포함된다.
이하, 도면을 참조하여 본 발명의 실시 형태에 대하여 구체적으로 설명한다. 본 명세서의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 명세서의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략하고, 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다.
이하, 첨부한 도면을 참조하여 본 개시의 실시 예들에 대해서 설명한다.
도 1은 본 개시의 일 실시 예에 따른 6자유도를 지원하는 360도 VR 영상을 획득하기 위한 카메라 리그 구조를 나타내는 도면이다.
도 1을 참조하면, 6자유도를 지원하는 360도 VR 영상을 획득하기 위해 다각형 형태의 카메라 배치 구조가 제공될 수 있다. 일반적으로 360도 VR 영상을 얻기 위한 카메라 리그 구조의 하나로서 원형의 배치 구조가 이용된다. 원형 구조의 경우 전방위 장면을 같은 거리에서 획득 가능하다는 장점이 있기 때문에 회전운동만을 지원하는 3DoF(degrees of freedom) 지원 360도 VR 영상을 획득하는 데에는 최적화 된 방법일 수 있다. 그러나, 6DoF 지원 360도 VR 영상을 생성하기 위해 원형 형태의 카메라 배치 구조를 이용하는 경우, 각 카메라에서 획득된 영상들 사이의 광축 방향이 달라져서 획득 영상들을 활용한 3차원 공간 정보의 획득 과정이 복잡해지는 단점이 발생한다. 상기의 이유로 인해 6DoF 지원 360도 VR 영상을 획득하기 위해 원형 형태의 카메라 배치 구조를 이용하는 경우, 3D 스캐너, 라이다 (LIDAR), 깊이 정보 카메라 등과 같이 별도의 3차원 공간 정보를 얻기 위한 장치를 병행하여 사용하는 경우가 많다. 따라서, 본 개시의 장치는 원형 구조의 카메라 배치 대신 획득된 카메라 영상들에 기초하여 3차원 공간 정보를 보다 쉽게 결정할 수 있는 다각형 형태의 카메라 배치 구조 및 리그 구조를 제공할 수 있다.
카메라 배치 구조는 삼각형에서 N각형까지 다양한 다각형 형태를 가질 수 있으며, 다각형 형태로 배치된 카메라 리그의 실시 예로서, 사각형 형태의 카메라 배치 구조(110), 오각형 형태의 카메라 배치 구조(112) 및 육각형 형태의 카메라 배치 구조(114)가 도시되어 있다. 각 변의 카메라 사이에서 시점 이동을 통해 시청자가 수평 방향으로 움직이는 경우(예를 들어, 좌우 이동), 시점 이동한 곳에 해당하는 영상을 제공하기 위해, 각각의 다각형의 각 변에는 최소 2대 이상의 카메라가 배치될 수 있다.
또한, 수직 방향으로 확장된 카메라 배치 구조(120)도 제공될 수 있는데, 구체적으로 다각형 형태의 카메라 구조를 수직 방향으로 확장하여 적층(layer)으로 쌓은 구조이며, 이러한 구조는 시청자들이 수직 방향으로 움직이는 경우(예를 들어, 상하 이동), 보다 확장된 수직 시차를 제공할 수 있다.
다각형 형태의 카메라 배치 구조에서 변의 개수, 각 변에 존재하는 카메라 수, 수직 방향으로의 층 수가 많아질수록 보다 고품질의 360도 VR 영상을 획득할 수 있을 것이다. 그러나, 필요한 카메라 수의 증가, 다수의 카메라들을 동시에 제어하기 위한 기술적 어려움, 리그의 물리적 크기나 가격의 제약 등의 현실적인 문제가 발생할 수 있다. 따라서, 본 개시의 장치는 수직 및 수평 방향으로의 자연스러운 시점 이동을 위해 실제 카메라들을 조밀하게 배치하는 대신, 카메라로 획득한 시점 사이에 중간 시점 영상을 생성함으로써 6자유도 지원 360도 VR 영상을 획득할 수 있다.
도 2는 본 개시의 일 실시 예에 따른 깊이 영상 기반의 가상 시점 영상을 생성하는 과정을 나타내는 도면이다.
도 2를 참조하면, 3차원 공간 정보를 기반으로 가상 시점 영상을 생성하는 다양한 방법 중 깊이 정보를 이용하여 스테레오로 배치된 카메라 사이의 가상 시점을 합성하는 실시 예가 도시되어 있다. 3차원 공간 정보는 일반적으로 깊이(depth) 정보, 변이(disparity) 정보 또는 포인트 클라우드(point cloud) 등으로 표현될 수 있다. 카메라1(210)과 카메라2(220)는 각각 실제 카메라를 나타내고, 카메라1(210)과 카메라2(220) 사이의 카메라3(230), 카메라4(232), 카메라5(234)는 각각 가상 시점 카메라를 나타낸다. 본 개시의 장치는 카메라1(210)로부터 획득된 실제 카메라 영상인 카메라1 영상(212) 및 카메라1 영상(212)의 깊이 정보를 나타내는 카메라1 깊이영상(214), 그리고 카메라2(220)로부터 획득된 실제 카메라 영상인 카메라2 영상(222) 및 카메라2 영상(222)의 깊이 정보를 나타내는 카메라2 깊이영상(224)을 이용하여 가상 시점 영상들을 생성할 수 있다. 예컨대, 본 개시의 장치는 카메라1 영상(212)과 카메라 2 영상(222) 사이에 수평 방향으로의 가상 시점 영상을 생성할 수 있다. 또한, 본 개시의 장치는 수직 방향으로의 가상 시점 영상도 상기와 유사한 방법으로 생성할 수 있다. 예컨대, 본 개시의 장치는 가상 시점 카메라의 각각의 시점에 대응되는 가상 시점 영상을 생성할 수 있다. 도 2에서는 세 개의 가상 시점 카메라를 도시하였지만, 이에 제한되지 않으며, 실제 카메라인 카메라1(210)과 카메라2(220) 사이의 임의의 시점에 대응하는 가상 시점 영상이 생성될 수 있다. 결국, 본 개시의 장치는 상기 실제 카메라 영상들과 3차원 공간 정보를 바탕으로 생성된 가상 시점 영상들에 기초하여 6자유도 지원 전방위 360도 VR 영상을 생성할 수 있다.
본 개시의 장치는 6자유도 지원 360도 VR 영상을 획득하고 재현하기 위해 시청자의 이동에 따라 변경 가능한 모든 시점에 해당하는 다수의 구형 시청 공간 영상을 생성하고, 상기 이동에 따른 위치 정보가 입력되면 그 특정 위치에 해당하는 구형 시청 영상을 선택하여 재현해줄 수 있다. 상기 재현 방법은‘멀티스피어 (multi-sphere) 방법'으로 호칭되고 구형 시청 영상은 '스피어 영상'으로 호칭될 수 있다.
또한, 본 개시의 장치는 6자유도 지원 360도 VR 영상을 획득하고 재현하기 위해 스피어 영상에서 시청자의 움직임에 따른 뷰포트(viewport)에 해당하는 특정 영역을 기존의 스피어 영상에 오버랩(overlap) 및/또는 교체하여 재구성된 스피어 영상을 재현할 수 있다. 상기 재현 방법은 '리프로젝션 (re-projection) 방법’으로 호칭될 수 있다.
본 개시의 멀티스피어 방법은 스피어 영상의 생성 방법에 따라 구분될 수 있다. 예컨대, 본 개시의 멀티스피어 방법은 제1 방법(이하 ‘제1 멀티스피어 방법’이라 한다)으로서 개별 카메라의 영상과 개별 카메라의 3차원 공간 정보를 기반으로 가상 시점 영상을 생성하고, 생성된 가상 시점 영상을 이용하여 시청자의 변경 가능한 모든 시점에 해당하는 다수의 스피어 영상을 생성할 수 있다. 또한, 본 개시의 멀티스피어 방법은 제2 방법(이하 ‘제2 멀티스피어 방법’이라 한다)으로서 개별 카메라 영상과 개별 카메라의 3차원 공간 정보를 스티칭하여 하나의 영상 및/또는 정보를 생성하고, 생성된 영상 및/또는 정보를 이용하여 다수의 가상 스피어 영상을 합성할 수 있다.
본 개시의 멀티스피어 방법 및/또는 리프로젝션 방법은 포인트 클라우드, 변이 정보, 깊이 정보 등 다양한 3차원 공간 정보를 활용할 수 있으며, 이하에서는 깊이 영상을 예로써 후술하도록 한다. 본 개시의 멀티스피어 방법에 관하여 도 3 내지 도 12를 참조하여 후술하고, 본 개시의 리프로젝션 방법에 관하여 도 13 내지 도 19를 참조하여 후술한다.
도 3은 본 개시의 일 실시 예에 따른 카메라 영상 및 카메라 깊이 영상을 이용한 제1 멀티스피어 방법의 동작을 나타내는 도면이다.
본 개시의 장치는 영상 획득 모듈(310), 깊이 영상 추출 모듈(320), 가상 시점 합성 모듈(330), 스티칭 및 프로젝션 모듈(340), 스위칭 모듈(350) 및/또는 렌더링 및 디스플레이 모듈(360)을 포함할 수 있다. 다만, 이는 본 실시예를 설명하기 위해 필요한 일부 구성요소만을 도시한 것일 뿐, 본 개시의 장치에 포함된 구성요소가 전술한 예에 한정되는 것은 아니다. 예컨대, 둘 이상의 구성부가 하나의 구성부 내에서 구현될 수도 있고, 하나의 구성부에서 실행되는 동작이 분할되어 둘 이상의 구성부에서 실행되도록 구현될 수도 있다. 또한, 일부 구성부가 생략되거나 부가적인 구성부가 추가될 수도 있다.
영상 획득 모듈(310)은 도 1에서 상술한 바와 같은 전방위 카메라 구조를 활용하여 360도 장면 정보를 포함한 카메라 당 영상을 획득할 수 있다. 여기서 카메라 당 영상은 전방위 카메라 구조에 포함된 각각의 카메라로부터 획득된 영상을 의미할 수 있다. 깊이 영상 추출 모듈(320)은 카메라 당 영상을 이용하여 카메라 당 깊이 영상을 추출할 수 있다. 가상 시점 합성 모듈(330)은 카메라 당 영상 및/또는 카메라 당 깊이 영상에 기초하여 수직 및/또는 수평 방향으로 소정의 간격의 가상 시점을 생성할 수 있다. 스티칭 및 프로젝션 모듈(340)은 획득된 카메라 당 영상과 가상 시점 영상을 스티칭할 수 있다. 또한, 스티칭 및 프로젝션 모듈(340)은 스티칭된 영상을 소정의 프로젝션 포맷에 투영시킴으로써 시청자의 변경 가능한 모든 시점에 해당하는 다수의 스피어 영상을 생성할 수 있다. 예컨대, 360도 VR 영상에 관한 대표적인 프로젝션 포맷으로서 ERP(Equi-Rectanuglar Projection), CMP(Cube Map Projection), ISP(IcoSahedral Projection), OCP(OCtahedron Projection), tetrahedron, dodecahedron 등이 있다. 스위칭 모듈(350)은 시청자의 관심 영역(Region Of Interest, ROI)에 관한 위치 정보(355)를 바탕으로 스피어 영상을 선택할 수 있다. 상기 선택 과정은 도 9를 참조하여 후술한다. 예컨대, 관심 영역에 관한 위치 정보는 HMD에 내재된 모션 센서 또는 마우스나 키보드와 같은 별도의 외부 장치 등을 통해 입력될 수 있다. 렌더링 및 디스플레이 모듈(360)은 스위칭 모듈(350)에서 선택된 스피어 영상을 HMD와 같은 VR 디스플레이 상의 구형 공간에 배치된 화소의 위치에 맞도록 매핑할 수 있다. 또한, 렌더링 및 디스플레이 모듈(360)은 시청자들이 시청할 수 있도록 상기 매핑된 360도 VR 영상을 제공할 수 있다.
도 4 및 도 5는 각각 본 개시의 일 실시 예에 따른 카메라 당 영상 및 카메라 당 깊이 영상을 이용하여 수평이동 및 수직이동이 지원되는 멀티스피어 영상을 생성하는 과정을 나타내는 도면이다.
본 개시의 장치는 시청자의 수직 및 수평 방향 이동에 맞춰 각각 수직 및 수평 방향으로 시점이 이동된 스피어 영상을 제공할 수 있다.
예컨대, 수평 방향으로 시점이 이동된 스피어 영상을 제공하는 경우, 전방위 카메라 구조는 다각형 형태의 구조로서 각각의 카메라들이 상기 다각형 형태를 구성하는 각 변에 배치될 수 있다. 이때, 상기 스티칭 영상은 상기 각 변의 동일한 위치에 해당되는 영상들을 스티칭함으로써 생성될 수 있다.
예컨대, 수직 방향으로 시점이 이동된 스피어 영상을 제공하는 경우, 전방위 카메라 구조는 하나 이상의 상기 다각형 형태의 구조를 수직 방향으로 쌓은 구조일 수 있다. 이때, 상기 스티칭 영상은 상기 다각형 형태의 구조 각각에 포함되는 영상들을 스티칭함으로써 생성될 수 있다.
도 4를 참조하면, 육각형 형태의 카메라 구조(410)에서 문자 A ~ F는 육각형 형태의 카메라 구조(410)의 각 변을 의미하고, 문자 A ~ F 뒤에 표기된 숫자 1 ~ N은 각 변에서의 카메라의 위치를 의미할 수 있다. 이때, N은 시청자의 수평 이동에 따른 시점 이동 지원을 위해 최소 2 이상이 바람직하다. 본 개시의 장치는 육각형 형태의 카메라 구조(410)의 각 변에서 동일한 곳에 위치한 실제 카메라 영상 또는 가상 카메라 영상을 위치 별로 스티칭하여 각각 하나의 영상을 생성할 수 있다. 스티칭 영상
Figure pat00001
(420)은 각각 각 변의 동일한 위치에 있는 카메라 영상이 스티칭된 영상을 의미할 수 있다. 예컨대, 스티칭 영상
Figure pat00002
은 A1, B1, C1, D1, E1, F1에 위치한 카메라의 영상을 하나로 스티칭하여 생성될 수 있다. 또한, 본 개시의 장치는 상기 스티칭 된 영상들을 소정의 프로젝션 포맷에 투영하여 스피어 영상을 생성할 수 있다. 스피어 영상
Figure pat00003
(430)은 각각 스티칭 영상
Figure pat00004
각각이 프로젝션되어 생성된 스피어 영상을 의미할 수 있다. 상기 스피어 영상
Figure pat00005
을 변경하고 변경된 영상을 재현함으로써 시청자에게 수평 이동에 따른 시점 변화 효과를 제공할 수 있다.
도 5를 참조하면, 본 개시의 장치는 두 개의 레이어로 구성된 전방위 카메라로부터 획득된 영상을 이용하여 상기 레이어들 사이에 수직 방향의 가상 시점 레이어를 생성(510)할 수 있다. 예컨대, 본 개시의 장치는 가상 시점 합성 과정을 통해 실제 카메라로 구성된 육각형 형태의 카메라 레이어 #1(540) 및 레이어 #M(542) 사이에 위치하는 가상 카메라 #2 ~ #M-1를 각각 생성할 수 있다. 이때 총 레이어 개수인 M은 수직 방향의 시점 이동을 위해 최소 2 이상이 바람직하다. 본 개시의 장치는 실제 카메라 영상 또는 가상 시점 영상을 레이어 별로 스티칭하여 각각 스티칭된 영상을 생성할 수 있다. 스티칭 영상
Figure pat00006
(520)은 각각 레이어 #1 ~ 레이어 #M의 실제 카메라 영상 또는 가상 시점 영상이 레이어 별로 스티칭된 영상을 의미할 수 있다. 또한, 본 개시의 장치는 상기 스티칭된 영상을 소정의 프로젝션 포맷에 투영하여 스피어 영상
Figure pat00007
(530)으로 변환할 수 있다. 도 4에서 상술한 바와 유사하게 상기 스피어 영상
Figure pat00008
을 변경하고 변경된 영상을 재현함으로써 시청자에게 수직 이동에 따른 시점 변화 효과를 제공할 수 있다.
도 6은 본 개시의 일 실시 예에 따른 스티칭 된 카메라 영상 및 스티칭 된 깊이 영상을 이용한 제2 멀티스피어 방법의 동작을 나타내는 도면이다.
본 개시의 장치는 영상 획득 모듈(610), 깊이 영상 추출 모듈(620), 스티칭 및 프로젝션 모듈(630), 가상 시점 합성 모듈(640), 스위칭 모듈(650) 및/또는 렌더링 및 디스플레이 모듈(660)을 포함할 수 있다.
제2 멀티스피어 방법에서는 도 3에서 상술한 제1 멀티스피어 방법과 비교하여 전체 처리 과정에서 가상 시점 합성 모듈(610)과 스티칭 및 프로젝션 모듈(620)의 처리 순서가 변경될 수 있다. 예컨대, 제2 멀티스피어 방법은 획득된 카메라 당 영상 및 카메라 당 깊이 영상을 먼저 각각 하나의 영상으로 스티칭하고, 스티칭된 영상을 이용하여 다수의 가상 스피어 영상을 합성할 수 있다.
도 7 및 도 8은 각각 본 개시의 일 실시 예에 따른 스티칭된 카메라 영상 및 스티칭된 깊이 영상을 이용하여 수평이동 및 수직이동이 지원되는 멀티스피어 영상을 생성하는 과정을 나타내는 도면이다.
본 개시의 장치는 시청자의 수직 및 수평 방향 이동에 맞춰 각각 수직 및 수평 방향으로 시점이 이동된 스피어 영상을 제공할 수 있다.
도 7을 참조하면, 육각형 형태의 카메라 구조(710)에서 문자 A ~ F는 육각형 형태의 카메라 구조(710)의 각 변을 의미하고, 문자 A ~ F 뒤에 표기된 숫자 1 ~ 2는 각 변에서의 카메라 위치를 의미할 수 있다. 본 개시의 장치는 육각형 형태의 카메라 구조(710)의 각 변에서 동일한 곳에 위치한 실제 카메라 영상을 하나로 스티칭하여 스티칭 영상을 생성할 수 있다. 예컨대, A1, B1, C1, D1, E1, F1에 위치한 카메라 영상을 하나로 스티칭하여 스티칭 영상
Figure pat00009
(712)을 생성하고, 이와 동일한 방식으로 A1, B1, C1, D1, E1, F1에 위치한 카메라의 깊이 영상도 하나로 스티칭하여 스티칭된 깊이 영상
Figure pat00010
(714)을 생성할 수 있다. 마찬가지로, 각 변의 2번 카메라의 영상과 깊이 영상도 각각 스티칭하여
Figure pat00011
(716) 및
Figure pat00012
(718)을 생성할 수 있다. 이때 N은 시청자의 수평 이동에 따른 시점 이동 지원을 위해 최소 2 이상이 바람직하다. 또한, 본 개시의 장치는
Figure pat00013
(712),
Figure pat00014
(716),
Figure pat00015
(714),
Figure pat00016
(718)을 이용하여 스티칭된 가상 시점 영상인
Figure pat00017
~
Figure pat00018
(720)을 생성할 수 있다. 또한, 본 개시의 장치는 상기 스티칭 영상 및/또는 가상 시점 영상을 소정의 프로젝션 포맷에 투영하여 스피어 영상
Figure pat00019
(730)을 생성할 수 있다. 상기 스피어 영상
Figure pat00020
을 변경하고 변경된 영상을 재현함으로써 시청자에게 수평 이동에 따른 시점 변환 효과를 제공할 수 있다
도 8을 참조하면, 본 개시의 장치는 적층형 카메라 구조(810)를 가질 수 있으며, T와 B는 각각 상단 레이어 카메라(812)와 하단 레이어 카메라(814)를 의미하고, 문자 T와 B 뒤에 표기된 숫자는 각 레이어에서의 카메라 위치를 의미할 수 있다. 본 개시의 장치는 상단 레이어 카메라(T1 ~ T12)로부터 획득된 영상과 깊이 영상을 각각 스티칭하여 스티칭된 카메라 영상
Figure pat00021
(822) 및 스티칭된 깊이 영상
Figure pat00022
(824)을 생성할 수 있다. 또한, 본 개시의 장치는 하단 레이어 카메라(B1 ~ B12)로부터 획득된 영상과 깊이 영상을 각각 스티칭하여 스티칭된 카메라 영상
Figure pat00023
(826) 및 스티칭된 깊이 영상
Figure pat00024
(828)을 생성할 수 있다. 또한, 본 개시의 장치는
Figure pat00025
(822),
Figure pat00026
(826),
Figure pat00027
(824),
Figure pat00028
(828)을 이용하여 스티칭된 가상 시점 영상인
Figure pat00029
~
Figure pat00030
(820)을 생성할 수 있다. 이때 총 레이어 개수인 M은 수직 방향의 시점 이동을 위해 최소 2 이상이 바람직하다. 또한, 본 개시의 장치는 스티칭 영상
Figure pat00031
~
Figure pat00032
을 소정의 프로젝션 포맷에 투영하여 스피어 영상
Figure pat00033
(830)을 생성할 수 있다. 상기 스피어 영상
Figure pat00034
을 변경하고 변경된 영상을 재현함으로써 시청자에게 수직 이동에 따른 시점 변환 효과를 제공할 수 있다
도 9는 본 개시의 일 실시 예에 따른 시청자의 관심 영역에 대응하는 영상을 제공하기 위한 멀티스피어 영상의 스위칭 과정을 나타내는 도면이다.
본 개시의 장치는 시청자의 관심 영역에 대응하는 영상을 제공하기 위해 멀티스피어 영상을 스위칭할 수 있다. 상기 멀티스피어 영상은 제1 멀티스피어 방법 또는 제2 멀티스피어 방법을 이용하여 생성될 수 있다. 시청자의 이동에 따라 변경된 관심 영역의 위치 정보는 (x, y, z)의 3차원 좌표 형태로 스위칭 모듈(920)에 입력될 수 있다. 이때, 스위칭 모듈(920)은 상기 좌표에 해당되는 스피어 영상 V(x, y, z)를 선택할 수 있다. 렌더링 및 디스플레이 모듈(910)은 선택된 스피어 영상 V(x, y, z)을 재현할 수 있다.
도 10, 도 11 및 도 12는 각각 본 개시의 일 실시 예에 따른 시청자의 수평 이동, 수직 이동 및 수평/수직/전후 이동에 대응하여 멀티스피어 영상을 재현하는 과정을 나타내는 도면이다.
도 10을 참조하면, 시청자의 수평 위치가
Figure pat00035
과
Figure pat00036
사이에서 변경되면, 상기 수평 위치의 변경에 따라 변경된 위치에 해당하는
Figure pat00037
과
Figure pat00038
사이의 스피어 영상이 스위칭되어 시청자에게 재현될 수 있다. 이때,
Figure pat00039
은 스피어 영상
Figure pat00040
~
Figure pat00041
각각의 중심점을 나타낸다. 도 11을 참조하면, 도 10에서 상술한 바와 유사하게, 시청자의 수직 위치가
Figure pat00042
과
Figure pat00043
사이에서 변경되면, 상기 수직 위치의 변경에 따라 변경된 위치에 해당하는
Figure pat00044
과
Figure pat00045
사이의 스피어 영상이 스위칭되어 시청자에게 재현될 수 있다. 이때,
Figure pat00046
은 스피어 영상
Figure pat00047
~
Figure pat00048
각각의 중심점을 나타낸다.
도 12를 참조하면, 본 개시의 장치는 도 10 및 도 11에서 상술하였던 과정을 결합함으로써 시청자의 수평 및/또는 수직 이동에 따른 멀티스피어 영상을 제공할 수 있다. 또한, 획득된 카메라 렌즈의 광학적 줌인(zoom-in)/줌아웃(zoom-out) 또는 영상 처리 기법을 통해 깊이 방향의 이동도 재현될 수 있다. 다만, 시점의 깊이 방향 이동에 관한 방법은 카메라 구조와 배치 등의 설계와는 별개일 수 있다.
도 13은 본 개시의 일 실시 예에 따른 리프로젝션 방법의 동작을 나타내는 도면이다.
본 개시의 장치는 관심 영역(ROI)에 해당하는 특정 영역을 기존의 시청자에게 제공되고 있는 스피어 영상에 오버랩(overlap)하여 스피어 영상을 재구성하고, 재구성된 영상을 시청자에게 제공할 수 있다. 관심 영역은 시청자의 움직임 위치에 따라 선택될 수 있다.
본 개시의 리프로젝션 방법은 스피어 영상에서 시청자의 뷰포트에 해당하는 일부 영역을 새로운 시점 영상으로 교체하여 재구성하고, 재구성된 영상을 재현하는 방법이다. 반면, 멀티스피어 방법은 시청자의 이동에 따른 시점 변화에 맞춰 스피어 영상 전체를 교체하여 재현하는 방법이라 할 수 있다.
도 13을 참조하면, 영상 획득 모듈(1310)은 도 3의 영상 획득 모듈(310)과 같이 전방위 카메라 구조를 활용하여 360도 장면 정보를 포함한 카메라 당 영상을 획득할 수 있다. 깊이 영상 추출 모듈(1320)은 카메라 당 영상을 이용하여 카메라 당 깊이 영상을 추출할 수 있다. 스티칭 및 프로젝션 모듈(1330)은 획득된 카메라 당 영상을 스티칭하고 소정의 프로젝션 포맷에 투영시킴으로써 스피어 영상을 생성할 수 있다. 리프로젝션 모듈(1340)은 상기 생성된 스피어 영상을 기반으로 시청자의 뷰포트(viewport)에 해당하는 영역의 영상을 새로운 시점 영상으로 오버레이(overlay)함으로써 재구성된 스피어 영상(이하 ‘리프로젝션 스피어 영상’이라 한다)을 생성할 수 있다. 가상 시점 합성 모듈(1350)은 수평, 수직 및/또는 전후 이동에 따른 가상 시점을 합성할 수 있다. 교체 과정에 사용되는 새로운 시점 영상은 가상 시점 합성 모듈(1350)에서 합성된 가상 시점(예컨대, 수평, 수직, 전후 이동에 따른 가상시점)을 스티칭한 후 프로젝션 함으로써 생성될 수 있다. 스위칭 모듈(1360)은 시청자의 관심 영역에 관한 위치 정보를 입력 받을 수 있다. 또한, 스위칭 모듈(1360)은 입력 받은 위치 정보에 대응하는 리프로젝션 스피어 영상을 선택할 수 있다. 렌더링 및 디스플레이 모듈(1370)은 스위칭 모듈(1360)에서 선택된 스피어 영상을 HMD와 같은 VR 디스플레이 상의 구형 공간에 배치된 화소의 위치에 맞도록 매핑할 수 있다. 또한, 렌더링 및 디스플레이 모듈(1370)은 시청자들이 시청할 수 있도록 상기 매핑된 360도 VR 영상을 제공할 수 있다.
본 개시의 리프로젝션 방법은 시청자 움직임의 종류에 따라 구분될 수 있다. 예컨대, 본 개시의 리프로젝션 방법은 제1 방법(이하 ‘제1 리프로젝션 방법’이라 한다)으로서 시청자가 회전운동 없이 병진운동만을 수행하는 경우에 리프로젝션 스피어 영상을 생성할 수 있다. 또한, 본 개시의 리프로젝션 방법은 제2 방법(이하 ‘제2 리프로젝션 방법’이라 한다)으로서 시청자가 회전운동을 동반한 병진운동을 수행하는 경우에 리프로젝션 스피어 영상을 생성할 수 있다.
도 14는 본 개시의 일 실시 예에 따른 회전운동 없이 병진운동에 대응하여 리프로젝션 스피어 영상을 생성하는 제1 리프로젝션 방법의 동작을 나타내는 도면이다.
본 개시의 장치는 시청자가 임의의 위치에서 병진운동을 하는 경우, 상기 병진운동에 대응되는 시차 변화를 지원하기 위해 리프로젝션 스피어 영상을 생성할 수 있다. 시간 T-n, T, T+n(n은 양의 정수)에 대해 병진운동에 따른 특정 뷰포트 내의 시점 변화가 1, ..., M, ..., N 사이에서 가능하다고 하면, 시간 T-n, T, T+n일 때의 카메라 영상을 이용하여 생성된 스피어 영상(1410)을 각각 IT-n, IT, IT+n이라 할 수 있다. 한편, 시간 T-n, T, T+n일 때의 가상 시점 영상(1420)으로서 생성한 시점 영상을 각각 시간 T-n일 때 S(T-n,1), ..., S(T-n,M), ..., S(T-n,N), 시간 T일 때 S(T,1), ..., S(T,M), ..., S(T,N), 시간이 T+n일 때 S(T+n,1), ..., S(T+n,M), ..., S(T+n,N) 라 할 수 있다. 본 개시의 장치는 상기 카메라 영상을 이용하여 생성된 스피어 영상과 가상 시점 영상을 결합함으로써 특정 위치에서 사용자의 병진운동을 지원하기 위한 리프로젝션 스피어 영상(1430)을 생성할 수 있다. 상기 동작은 도 13의 리프로젝션 모듈(1340)에서 수행될 수 있다.
도 15는 본 개시의 일 실시 예에 따른 회전운동을 병행한 병진운동에 대응하여 리프로젝션 스피어 영상을 생성하는 제2 리프로젝션 방법의 동작을 나타내는 도면이다.
본 개시의 장치는 시청자가 회전운동을 병행한 병진운동을 하는 경우, 상기 회전운동을 병행한 병진운동에 대응되는 시차 변화를 지원하기 위해 리프로젝션 스피어 영상을 생성할 수 있다. 시간 T-n, ..., T, ..., T+n(n은 양의 정수)에 대해 F, ..., B, ..., R은 뷰포트의 변경을 의미하고, 1, ..., M은 특정 뷰포트 내에서의 시점 변경을 각각 의미할 수 있다. 이때, 시간 T-n, T, T+n일 때의 카메라 영상을 이용하여 생성된 스피어 영상(1510)을 각각 IT-n, IT, IT+n라 할 수 있다. 한편, 시간 T-n, T, T+n일 때의 가상 시점 영상(1520)으로서 생성한 뷰포트 F, B, R 내의 시점 영상을 시간이 T-n일 때 각각 F(T-n,1), ..., F(T-n,M), B(T-n,1), ..., B(T-n,M), R(T-n,1), ..., R(T-n,M), 시간이 T일 때 각각 F(T,1), ..., F(T,M), B(T,1), ..., B(T,M), R(T,1), ..., R(T,M), 그리고 시간이 T+n일 때 F(T+n,1), ..., F(T+n,M), B(T+n,1), ..., B(T+n,M), R(T+n,1), ..., R(T+n,M)라 할 수 있다. 본 개시의 장치는 상기 카메라 영상을 이용하여 생성된 스피어 영상과 가상 시점 영상을 결합함으로써 사용자의 회전운동 및 병진운동을 지원하기 위한 리프로젝션 스피어 영상(1530)을 생성할 수 있다. 상기 동작은 도 13의 리프로젝션 모듈(1340)에서 수행될 수 있다.
도 16은 본 개시의 일 실시 예에 따른 회전운동 없이 병진운동에 대응하는 영상을 제공하기 위한 리프로젝션 스피어 영상의 스위칭 과정을 나타내는 도면이다.
본 개시의 장치는 시청자의 병진운동에 따른 영상을 제공하기 위해 리프로젝션 스피어 영상을 스위칭할 수 있다. 스위칭 모듈(1610)은 동일한 뷰포트에 해당하는 영상이 새로운 시점 영상으로 교체된 리프로젝션 영상인 R(1, 1, 1), R(1, 2, 1), ..., R(a, b, c), R(a, b+1, c)을 저장할 수 있다. 시청자의 병진운동에 따라 변경된 관심 영역의 3차원 위치 정보는 (x, y, z)의 좌표 형태로 스위칭 모듈(1610)에 입력될 수 있다. 이때, 스위칭 모듈(1610)은 상기 좌표에 해당되는 리프로젝션 영상인 R(x, y, z)를 선택할 수 있다. 렌더링 및 디스플레이 모듈(1620)은 선택된 리프로젝션 영상인 R(x, y, z)을 재현할 수 있다.
도 17은 본 개시의 일 실시 예에 따른 회전운동을 병행한 병진운동에 대응하는 영상을 제공하기 위한 리프로젝션 스피어 영상의 스위칭 과정을 나타내는 도면이다.
본 개시의 장치는 시청자의 회전운동을 병행한 병진운동에 따른 영상을 제공하기 위해 리프로젝션 스피어 영상을 스위칭할 수 있다. 스위칭 모듈(1710)은 동일한 또는 서로 다른 뷰포트에 해당하는 영상이 새로운 시점 영상으로 교체된 리프로젝션 영상인 R(1, 1, 1), R(5, 5, 5),..., R(a, b, c),..., R(a+5, b+5, c+5)을 저장할 수 있다. 시청자의 회전운동 및 병진운동에 따라 변경된 관심 영역의 3차원 위치 정보는 (x, y, z)의 좌표 형태로 스위칭 모듈(1710)에 입력될 수 있다. 이때, 스위칭 모듈(1710)은 상기 좌표에 해당되는 리프로젝션 영상인 R(x, y, z)를 선택할 수 있다. 렌더링 및 디스플레이 모듈(1720)은 선택된 리프로젝션 영상인 R(x, y, z)을 재현할 수 있다.
도 18은 본 개시의 일 실시 예에 따른 회전운동 없이 병진운동에 대응하여 리프로젝션 스피어 영상을 재현하는 과정을 나타내는 도면이다.
도 18을 참조하면, 시청자의 회전운동 없는 병진운동에 따라 시청자의 위치가 (X1, Y1, Z1), (X2, Y2, Z2) ), ..., (XN,YN, ZN) 사이에서 변경되면, 스피어 영상에서 동일한 뷰포트의 영상이 새로운 시점 영상으로 교체되어 재구성된 리프로젝션 영상 C1, C2, ..., CN이 각각 재현될 수 있다.
도 19는 본 개시의 일 실시 예에 따른 회전운동을 병행한 병진운동에 대응하여 리프로젝션 스피어 영상을 재현하는 과정을 나타내는 도면이다.
도 19를 참조하면, 도 18에서 상술한 바와 유사하게, 시청자의 회전운동을 병행한 병진운동에 따라 시청자의 위치가 (X1, Y1, Z1), (X2, Y2, Z2) ), ..., (XM,YM, ZM) 사이에서 변경되면, 스피어 영상에서 동일한 또는 서로 다른 뷰포트의 영상이 새로운 시점 영상으로 교체되어 재구성된 리프로젝션 영상 C1, C2, ..., CM이 각각 재현될 수 있다.
본 개시에 따르면, 6자유도를 지원하는 360도 VR 영상을 획득하기 위한 전방위 360도 카메라의 구조와 배치 및 리그 구조를 제공하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 360도 VR 영상을 재현하는 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 실사 영상을 CG화 하지 않고, 그대로 이용하여 보다 현장감과 몰입감이 증대된 6자유도 지원 VR 콘텐츠를 획득 및/또는 재현할 수 있다.
또한, 본 개시에 따르면, 전방위 시청 영역(viewport) 또는 임의의 시청 영역에서 사용자 6자유도에 따른 360도 VR 영상을 재현할 수 있따.
또한, 본 개시에 따르면, 다수의 실제 카메라를 조밀하게 배치하는 대신 카메라 획득 시점 영상 및 3차원 공간 정보를 활용하여 가상의 중간 시점 영상 생성을 통해 6자유도 지원 360도 VR 영상을 재현할 수 있다. 따라서, 물리적 카메라 배치 및 복잡도를 최소할 수 있으며 추후 6DoF지원 360도 VR 영상 서비스를 제공하는 서버 및 클라이언트 개발에 이용될 수 있다.
상술한 실시예들에서, 방법들은 일련의 단계 또는 유닛으로서 순서도를 기초로 설명되고 있으나, 본 발명은 단계들의 순서에 한정되는 것은 아니며, 어떤 단계는 상술한 바와 다른 단계와 다른 순서로 또는 동시에 발생할 수 있다. 또한, 당해 기술 분야에서 통상의 지식을 가진 자라면 순서도에 나타난 단계들이 배타적이지 않고, 다른 단계가 포함되거나, 순서도의 하나 또는 그 이상의 단계가 본 발명의 범위에 영향을 미치지 않고 삭제될 수 있음을 이해할 수 있을 것이다.
상술한 실시예는 다양한 양태의 예시들을 포함한다. 다양한 양태들을 나타내기 위한 모든 가능한 조합을 기술할 수는 없지만, 해당 기술 분야의 통상의 지식을 가진 자는 다른 조합이 가능함을 인식할 수 있을 것이다. 따라서, 본 발명은 이하의 특허청구범위 내에 속하는 모든 다른 교체, 수정 및 변경을 포함한다고 할 것이다.
이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (20)

  1. 전방위 카메라 구조에 포함된 각각의 카메라로부터 입력 영상을 획득하는 단계;
    상기 획득된 각각의 카메라로부터의 입력 영상을 이용하여 3차원 공간 정보를 나타내는 영상을 획득하는 단계;
    상기 각각의 카메라로부터의 입력 영상 및 3차원 공간 정보를 나타내는 영상에 기초하여 수평 방향 및 수직 방향 중 적어도 하나의 방향에 관한 가상 시점 영상을 생성하는 단계;
    상기 생성된 가상 시점 영상 및 상기 각각의 카메라로부터의 입력 영상을 이용하여 스티칭 영상을 생성하는 단계;
    상기 스티칭 영상을 소정의 프로젝션 포맷에 투영시킴으로써 적어도 하나 이상의 스피어 영상을 생성하는 단계; 및
    상기 적어도 하나 이상의 스피어 영상 중 사용자의 관심 영역에 대응되는 스피어 영상을 결정하는 단계를 포함하는 360도 VR(Virtual Reality) 영상 제공 방법.
  2. 제1항에 있어서,
    상기 3차원 공간 정보를 나타내는 영상은 깊이 영상인 360도 VR 영상 제공 방법.
  3. 제1항에 있어서,
    상기 전방위 카메라 구조는 다각형 형태의 구조로서 상기 각각의 카메라들이 상기 다각형 형태를 구성하는 각 변에 배치되고,
    상기 방향이 수평 방향인 경우,
    상기 스티칭 영상은 상기 각 변의 동일한 위치에 해당되는 영상들을 스티칭함으로써 생성된 영상인 360도 VR 영상 제공 방법.
  4. 제3항에 있어서,
    상기 방향이 수직 방향인 경우,
    상기 전방위 카메라 구조는 적어도 하나 이상의 상기 다각형 형태의 구조를 수직 방향으로 쌓은 구조이고,
    상기 스티칭 영상은 상기 적어도 하나 이상의 다각형 형태의 구조 각각에 포함되는 영상들을 스티칭함으로써 생성된 영상인 360도 VR 영상 제공 방법.
  5. 전방위 카메라 구조에 포함된 각각의 카메라로부터 입력 영상을 획득하는 단계;
    상기 획득된 각각의 카메라로부터의 입력 영상을 이용하여 3차원 공간 정보를 나타내는 영상을 획득하는 단계;
    상기 입력 영상에 관한 스티칭 영상 및 3차원 공간 정보를 나타내는 영상에 관한 스티칭 영상을 각각 생성하는 단계;
    상기 생성된 입력 영상에 관한 스티칭 영상 및 3차원 공간 정보를 나타내는 영상에 관한 스티칭 영상을 이용하여 수평 방향 및 수직 방향 중 적어도 하나의 방향에 관한 스티칭된 가상 시점 영상을 생성하는 단계;
    상기 생성된 스티칭된 가상 시점 영상 및 상기 생성된 입력 영상에 관한 스티칭 영상 중 적어도 하나를 소정의 프로젝션 포맷에 투영시킴으로써 적어도 하나 이상의 스피어 영상을 생성하는 단계; 및
    상기 적어도 하나 이상의 스피어 영상 중 사용자의 관심 영역에 대응되는 스피어 영상을 결정하는 단계를 포함하는 360도 VR(Virtual Reality) 영상 제공 방법.
  6. 제5항에 있어서,
    상기 3차원 공간 정보를 나타내는 영상은 깊이 영상인 360도 VR 영상 제공 방법.
  7. 제5항에 있어서,
    상기 전방위 카메라 구조는 다각형 형태의 구조로서 상기 각각의 카메라들이 상기 다각형 형태를 구성하는 각 변에 배치되고,
    상기 방향이 수평 방향인 경우,
    상기 스티칭 영상은 상기 각 변의 동일한 위치에 해당되는 영상들을 스티칭함으로써 생성된 영상인 360도 VR 영상 제공 방법.
  8. 제7항에 있어서,
    상기 방향이 수직 방향인 경우,
    상기 전방위 카메라 구조는 적어도 하나 이상의 상기 다각형 형태의 구조를 수직 방향으로 쌓은 구조이고,
    상기 스티칭 영상은 상기 적어도 하나 이상의 다각형 형태의 구조 각각에 포함되는 영상들을 스티칭함으로써 생성된 영상인 360도 VR 영상 제공 방법.
  9. 제1항에 있어서,
    상기 생성된 적어도 하나 이상의 스피어 영상에 기초하여 사용자의 뷰포트(viewport) 영역에 대응되는 영상을 새로운 시점 영상으로 오버레이(overlay)함으로써 적어도 하나 이상의 재구성된 스피어 영상을 생성하는 단계; 및
    상기 적어도 하나 이상의 재구성된 스피어 영상 중 사용자의 관심 영역에 대응되는 스피어 영상을 결정하는 단계를 더 포함하는 360도 VR 영상 제공 방법.
  10. 360도 VR(Virtual Reality) 영상 제공 장치에 있어서,
    전방위 카메라 구조에 포함된 각각의 카메라로부터 입력 영상을 획득하고, 상기 획득된 각각의 카메라로부터의 입력 영상을 이용하여 3차원 공간 정보를 나타내는 영상을 획득하고, 상기 각각의 카메라로부터의 입력 영상 및 3차원 공간 정보를 나타내는 영상에 기초하여 수평 방향 및 수직 방향 중 적어도 하나의 방향에 관한 가상 시점 영상을 생성하고, 상기 생성된 가상 시점 영상 및 상기 각각의 카메라로부터의 입력 영상을 이용하여 스티칭 영상을 생성하고, 상기 스티칭 영상을 소정의 프로젝션 포맷에 투영시킴으로써 적어도 하나 이상의 스피어 영상을 생성하고, 상기 적어도 하나 이상의 스피어 영상 중 사용자의 관심 영역에 대응되는 스피어 영상을 결정하는 것을 특징으로 하는 360도 VR 영상 제공 장치.
  11. 제10항에 있어서,
    상기 3차원 공간 정보를 나타내는 영상은 깊이 영상인 360도 VR 영상 제공 장치.
  12. 제10항에 있어서,
    상기 전방위 카메라 구조는 다각형 형태의 구조로서 상기 각각의 카메라들이 상기 다각형 형태를 구성하는 각 변에 배치되고,
    상기 방향이 수평 방향인 경우,
    상기 스티칭 영상은 상기 각 변의 동일한 위치에 해당되는 영상들을 스티칭함으로써 생성된 영상인 360도 VR 영상 제공 장치.
  13. 제12항에 있어서,
    상기 방향이 수직 방향인 경우,
    상기 전방위 카메라 구조는 적어도 하나 이상의 상기 다각형 형태의 구조를 수직 방향으로 쌓은 구조이고,
    상기 스티칭 영상은 상기 적어도 하나 이상의 다각형 형태의 구조 각각에 포함되는 영상들을 스티칭함으로써 생성된 영상인 360도 VR 영상 제공 장치.
  14. 360도 VR(Virtual Reality) 영상 제공 장치에 있어서,
    전방위 카메라 구조에 포함된 각각의 카메라로부터 입력 영상을 획득하고, 상기 획득된 각각의 카메라로부터의 입력 영상을 이용하여 3차원 공간 정보를 나타내는 영상을 획득하고, 상기 입력 영상에 관한 스티칭 영상 및 3차원 공간 정보를 나타내는 영상에 관한 스티칭 영상을 각각 생성하고, 상기 생성된 입력 영상에 관한 스티칭 영상 및 3차원 공간 정보를 나타내는 영상에 관한 스티칭 영상을 이용하여 수평 방향 및 수직 방향 중 적어도 하나의 방향에 관한 스티칭된 가상 시점 영상을 생성하고, 상기 생성된 스티칭된 가상 시점 영상 및 상기 생성된 입력 영상에 관한 스티칭 영상 중 적어도 하나를 소정의 프로젝션 포맷에 투영시킴으로써 적어도 하나 이상의 스피어 영상을 생성하고, 상기 적어도 하나 이상의 스피어 영상 중 사용자의 관심 영역에 대응되는 스피어 영상을 결정하는 것을 특징으로 하는 360도 VR 영상 제공 장치.
  15. 제14항에 있어서,
    상기 3차원 공간 정보를 나타내는 영상은 깊이 영상인 360도 VR 영상 제공 장치.
  16. 제14항에 있어서,
    상기 전방위 카메라 구조는 다각형 형태의 구조로서 상기 각각의 카메라들이 상기 다각형 형태를 구성하는 각 변에 배치되고,
    상기 방향이 수평 방향인 경우,
    상기 스티칭 영상은 상기 각 변의 동일한 위치에 해당되는 영상들을 스티칭함으로써 생성된 영상인 360도 VR 영상 제공 장치.
  17. 제16항에 있어서,
    상기 방향이 수직 방향인 경우,
    상기 전방위 카메라 구조는 적어도 하나 이상의 상기 다각형 형태의 구조를 수직 방향으로 쌓은 구조이고,
    상기 스티칭 영상은 상기 적어도 하나 이상의 다각형 형태의 구조 각각에 포함되는 영상들을 스티칭함으로써 생성된 영상인 360도 VR 영상 제공 장치.
  18. 제10항에 있어서,
    상기 생성된 적어도 하나 이상의 스피어 영상에 기초하여 사용자의 뷰포트(viewport) 영역에 대응되는 영상을 새로운 시점 영상으로 오버레이(overlay)함으로써 적어도 하나 이상의 재구성된 스피어 영상을 생성하고, 상기 적어도 하나 이상의 재구성된 스피어 영상 중 사용자의 관심 영역에 대응되는 스피어 영상을 결정하는 360도 VR 영상 제공 장치.
  19. 360도 VR(Virtual Reality) 영상을 제공하기 위한 전방위 카메라 구조물로서,
    상기 전방위 카메라는 다각형 형태의 구조로서 상기 전방위 카메라에 포함된 각각의 카메라들이 상기 다각형 형태를 구성하는 각 변에 배치되고, 상기 각 변에는 적어도 2 이상의 카메라가 배치된 구조물.
  20. 제19항에 있어서,
    상기 전방위 카메라는 적어도 하나 이상의 상기 다각형 형태의 구조를 수직 방향으로 확장하여 적층(layer)으로 쌓은 구조인 구조물.
KR1020180086154A 2017-07-24 2018-07-24 6자유도 지원 360도 vr 영상 획득 및 재현을 위한 방법 및 그 장치 KR20190011224A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020170093519 2017-07-24
KR20170093519 2017-07-24

Publications (1)

Publication Number Publication Date
KR20190011224A true KR20190011224A (ko) 2019-02-01

Family

ID=65367731

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180086154A KR20190011224A (ko) 2017-07-24 2018-07-24 6자유도 지원 360도 vr 영상 획득 및 재현을 위한 방법 및 그 장치

Country Status (1)

Country Link
KR (1) KR20190011224A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102141319B1 (ko) * 2019-12-09 2020-08-04 이화여자대학교 산학협력단 다시점 360도 영상의 초해상화 방법 및 영상처리장치
KR20210064654A (ko) 2019-11-26 2021-06-03 윤경진 360도 3차원 영상 재생시스템
KR20210115281A (ko) * 2020-03-12 2021-09-27 한국전자통신연구원 가상 시점 영상을 합성하기 위한 입력 영상을 제공하는 카메라 선별 방법 및 장치
US11276142B2 (en) 2019-06-27 2022-03-15 Electronics And Telecommunications Research Institute Apparatus and method for synthesizing virtual viewpoint images

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11276142B2 (en) 2019-06-27 2022-03-15 Electronics And Telecommunications Research Institute Apparatus and method for synthesizing virtual viewpoint images
KR20210064654A (ko) 2019-11-26 2021-06-03 윤경진 360도 3차원 영상 재생시스템
KR102141319B1 (ko) * 2019-12-09 2020-08-04 이화여자대학교 산학협력단 다시점 360도 영상의 초해상화 방법 및 영상처리장치
KR20210115281A (ko) * 2020-03-12 2021-09-27 한국전자통신연구원 가상 시점 영상을 합성하기 위한 입력 영상을 제공하는 카메라 선별 방법 및 장치
US11706395B2 (en) 2020-03-12 2023-07-18 Electronics And Telecommunications Research Institute Apparatus and method for selecting camera providing input images to synthesize virtual view images

Similar Documents

Publication Publication Date Title
GB2553892B (en) 2D video with option for projected viewing in modeled 3D space
KR102533555B1 (ko) 감축된 해상도 이미지들을 생성 및 이용하고 및/또는 재생 또는 컨텐트 분배 디바이스에 이러한 이미지들을 통신하기 위한 방법들 및 장치
KR102258448B1 (ko) 핫스팟 및 roi 관련 메타데이터를 이용한 360도 비디오를 송수신하는 방법 및 그 장치
CN106413829B (zh) 图像编码和显示
KR20190011224A (ko) 6자유도 지원 360도 vr 영상 획득 및 재현을 위한 방법 및 그 장치
EP3453170B1 (en) Method and apparatus for signaling region of interests
US20080246759A1 (en) Automatic Scene Modeling for the 3D Camera and 3D Video
CN113891060B (zh) 自由视点视频重建方法及播放处理方法、设备及存储介质
JP6126821B2 (ja) 画像生成方法、画像表示方法、画像生成プログラム、画像生成システム、および画像表示装置
CN108693970B (zh) 用于调适可穿戴装置的视频图像的方法和设备
AU2016336030A1 (en) Volumetric depth video recording and playback
KR102499904B1 (ko) 가상 현실 미디어 콘텐트 내에 포함시키기 위해 실세계 장면의 맞춤화된 뷰의 가상화된 투영을 생성하기 위한 방법들 및 시스템들
JP7353782B2 (ja) 情報処理装置、情報処理方法、及びプログラム
BR122021006807B1 (pt) Método para experiências de entretenimento aumentadas em camadas
KR102257132B1 (ko) 몰입형 비디오 컨텐츠를 생성 및 렌더링하기 위한 방법들, 시스템들 및 매체들
WO2013108285A1 (ja) 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
KR20180136891A (ko) 전방향 비디오에 관한 영상 처리 방법 및 장치
US20150156470A1 (en) Reducing View Transitions Artifacts In Automultiscopic Displays
KR20200013607A (ko) 운동 시차 지원 전방위 비디오 획득/재생을 위한 방법 및 장치
US10891711B2 (en) Image processing method and apparatus
GB2566006A (en) Three-dimensional video processing
US11297378B2 (en) Image arrangement determination apparatus, display controlling apparatus, image arrangement determination method, display controlling method, and program
US20210037231A1 (en) Image processing apparatus, image processing method, and image processing program
WO2009109804A1 (en) Method and apparatus for image processing
US20190052868A1 (en) Wide viewing angle video processing system, wide viewing angle video transmitting and reproducing method, and computer program therefor