KR102261242B1 - 360도 3차원 영상 재생시스템 - Google Patents

360도 3차원 영상 재생시스템 Download PDF

Info

Publication number
KR102261242B1
KR102261242B1 KR1020190153099A KR20190153099A KR102261242B1 KR 102261242 B1 KR102261242 B1 KR 102261242B1 KR 1020190153099 A KR1020190153099 A KR 1020190153099A KR 20190153099 A KR20190153099 A KR 20190153099A KR 102261242 B1 KR102261242 B1 KR 102261242B1
Authority
KR
South Korea
Prior art keywords
image
spherical panoramic
panoramic image
user terminal
images
Prior art date
Application number
KR1020190153099A
Other languages
English (en)
Other versions
KR20210064654A (ko
Inventor
윤경진
Original Assignee
윤경진
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤경진 filed Critical 윤경진
Priority to KR1020190153099A priority Critical patent/KR102261242B1/ko
Publication of KR20210064654A publication Critical patent/KR20210064654A/ko
Application granted granted Critical
Publication of KR102261242B1 publication Critical patent/KR102261242B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/167—Synchronising or controlling image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/349—Multi-view displays for displaying three or more geometrical viewpoints without viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23608—Remultiplexing multiplex streams, e.g. involving modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 360도 3차원 영상 재생시스템에 관한 것으로, 가상 카메라를 이용하여 서로 다른 시점의 영상을 캡쳐하여 캡쳐영상을 생성하고, 캡쳐영상에 대응되는 타임 스탬프를 생성하며, 타임 스탬프가 태깅된 캡쳐영상을 송신하는 복수의 영상 캡쳐부; 복수의 영상 캡쳐부로부터 타임 스탬프가 태깅된 캡쳐영상을 수신하고, 동일한 타임 스탬프에 대응되는 복수의 캡쳐영상을 6방향 큐브 텍스쳐에 각각 렌더링하며, 6방향 큐브영상을 구형(spherical) 파노라마 영상으로 변환하여 저장하는 영상 변환부; 및 구형 파노라마 영상 중에서 특정 구형 파노라마 영상을 선택할 때, 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상을 재생하는 사용자 단말기를 포함한다.

Description

360도 3차원 영상 재생시스템{SYSTEM FOR PLAYING THREE DIMENSION IMAGE OF 360 DEGREES}
본 발명은 360도 3차원 영상 재생시스템에 관한 것으로, 특히 6개의 구형 파노라마 영상 중에서 3개의 구형 파노라마 영상만을 재생하여 영상 트래픽을 줄일 수 있는 360도 3차원 영상 재생시스템에 관한 것이다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진시키기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래 기술이 아닌 사항을 포함할 수 있다.
사람이 외부로부터 받아들이는 정보 중 80% 이상은 두 눈을 통해 얻게 되는 시각정보이다. 시각정보를 전달하는 매체는 글자, 사진, 동영상 등으로 발전하였으며, 이러한 발전을 통해 매체 안에 보다 많은 시각정보를 포함하여 송신할 수 있다.
여기에, 3차원 영상기술이 정보전달매체에 적용되면서, 이를 통해 시청자들에게 공간감까지 전달하는 것이 가능해졌다. 여기에서 한 걸음 더 나아가 가상현실(Virtyal Reality, VR) 개념은 헤드 마운티드 디스플레이(Head Mount Display, HMD)와 같은 특수한 디스플레이 장치를 이용하여 시청자들에게 실제로 그 상황에 있는 것과 같은 현장감과 몰입감을 보다 극대화하여 전달해 줄 수 있는 장점이 있다. 이로 인하여, 가상현실 미디어는 차세대 시각정보 미디어의 하나가 될 것으로 예상되고 있다.
그 동안 여러 가지의 기술적 어려움 등으로 실험실 범주에 머물러 있던 가상현실은 렌즈광학기술, 영상처리기술 등이 발전하면서 보다 우리에게 가까이 다가왔다. 최근, 과거에 비해 보다 저렴하고 보다 진보된 기술이 내재된 HMD 기기나 스마트폰을 이용한 HMD 기기 등이 소개되면서 가상현실 관련기술은 실생활에서도 손쉽게 접근 가능한 매체가 되었다.
초기 가상현실 미디어는 고정된 HMD를 통해 외부의 시각정보를 완전히 차단한 상태에서 정면시점의 가상현실 영상을 보여주는 방법을 사용하였다. 그 후, 시청자들의 움직임에 따라 그에 맞는 시점 영상을 보여줌으로써 보다 많은 현장감과 몰입감을 줄 수 있는 방향으로 기술적 발전이 이루어졌다. 예를 들어, 360도 수평방향으로 자유롭게 좌우회전을 하며 볼 수 있는 360도 파노라마 형태의 시청공간이 제공되었다. 또한, 시청자가 어느 한 고정된 위치에서 자유롭게 회전운동(상하회전, 좌우회전, 전후회전)을 하면서 그에 맞는 시점 이동된 영상을 감상할 수 있도록 구형의 시청공간이 제공되었다.
그러나, 시청자들은 보다 자유로운 움직임에 따른 시점 이동이 가능한 가상현실 영상을 감상하기를 원하였고, 이는 회전운동뿐만 아니라 병진운동(상하이동, 좌우이동, 전후이동)도 가능한 6자유도를 가상현실 미디어에서 지원해야 할 필요성이 부각되었다. 이러한 시장의 요구로 인하여 6자유도를 지원하기 위한 기술들이 접목된 가상현실 콘텐츠도 등장하게 되었다.
3차원 가상공간에서 자유롭게 렌더링이 가능한 컴퓨터 그래픽(Computer Graphic, CG) 기술을 기반으로 하는 게임 장르에서 처음으로 6자유도를 지원하는 기술이 가상현실 콘텐츠에 접목되었고, 이후 CG를 활용한 많은 6자유도 지원 가상현실 콘텐츠들이 등장하였다.
그러나, 현재 실사 영상을 기반으로 하는 6자유도 가상현실 콘텐츠를 제작하기 위해 많은 기술적 난관이 존재하고 있다.
한국공개특허공보 제10-2019-0011224호
전술한 종래기술의 문제점을 해결하기 위한 것으로, 본 발명은 사용자 단말기가 하나의 구형 파노라마 영상을 선택하여 3개의 구형 파노라마 영상만을 재생할 수 있게 됨으로써, 6개의 구형 파노라마 영상을 재생할 때보다 영상 트래픽을 50%로 줄일 수 있는 360도 3차원 영상 재생시스템을 제공하는 것을 목적으로 한다.
본 발명에 따르면, 사용자 단말기는 선택한 구형 파노라마 영상이 원하는 영상이 아닐 경우 각도변화를 발생시켜 원하는 구형 파노라마 영상을 재생할 수 있는 360도 3차원 영상 재생시스템을 제공하는 것을 목적으로 한다.
본 발명에 따르면, 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상의 줌 인(zoom in) 또는 줌 아웃(zoom out)을 통해 구형 파노라마 영상에서 미세한 부분을 재생할 수 있거나 전체적인 모습을 재생할 수 있는 360도 3차원 영상 재생시스템을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 360도 3차원 영상 재생시스템은, 가상 카메라를 이용하여 서로 다른 시점의 영상을 캡쳐하여 캡쳐영상을 생성하고, 캡쳐영상에 대응되는 타임 스탬프를 생성하며, 타임 스탬프가 태깅된 캡쳐영상을 송신하는 복수의 영상 캡쳐부; 복수의 영상 캡쳐부로부터 타임 스탬프가 태깅된 캡쳐영상을 수신하고, 동일한 타임 스탬프에 대응되는 복수의 캡쳐영상을 6방향 큐브 텍스쳐에 각각 렌더링하며, 6방향 큐브영상을 구형(spherical) 파노라마 영상으로 변환하여 저장하는 영상 변환부; 및 구형 파노라마 영상 중에서 특정 구형 파노라마 영상을 선택할 때, 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상을 재생하는 사용자 단말기를 포함한다.
여기서, 사용자 단말기가 특정 구형 파노라마 영상 선택 후, 각도변화신호를 발생시키면, 변화된 각도의 구형 파노라마 영상과 변화된 각도의 구형 파노라마 영상에 가장 인접한 2개의 구형 파노라마 영상을 재생한다.
또한, 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상은, 선택된 구형 파노라마 영상의 상하 또는 좌우에 인접한다.
또한, 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상은 줌 인(zoom in) 또는 줌 아웃(zoom out)이 가능하다.
또한, 변화된 각도는 선택된 구형 파노라마 영상의 상하 방향으로 또는 좌우 방향으로 변화된다.
또한, 변화된 각도는 90도, 180도, 270도 또는 360도 중 어느 하나이다.
본 발명에 따르면, 사용자 단말기가 하나의 구형 파노라마 영상을 선택하여 3개의 구형 파노라마 영상만을 재생할 수 있게 됨으로써, 6개의 구형 파노라마 영상을 재생할 때보다 영상 트래픽을 50%로 줄일 수 있다.
본 발명에 따르면, 사용자 단말기는 선택한 구형 파노라마 영상이 원하는 영상이 아닐 경우 각도변화를 발생시켜 원하는 구형 파노라마 영상을 재생할 수 있다.
본 발명에 따르면, 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상의 줌 인(zoom in) 또는 줌 아웃(zoom out)을 통해 구형 파노라마 영상에서 미세한 부분을 재생할 수 있거나 전체적인 모습을 재생할 수 있다.
도 1은 본 발명의 일 실시예에 따른 360도 3차원 영상 재생시스템의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 6방향 큐브 텍스쳐의 픽셀을 나타낸 개략도이다.
도 3은 본 발명의 일 실시예에 따른 선택된 특정 구형 파노라마 영상과 함께 상방 영상 및 하방 영상이 디스플레이된 사용자 단말기의 화면이다.
도 4는 본 발명의 일 실시예에 따른 선택된 특정 구형 파노라마 영상과 함께 좌측 영상 및 우측 영상이 디스플레이된 사용자 단말기의 화면이다.
도 5는 본 발명의 일 실시예에 따른 사용자 단말기에서 상방으로 90도 각도변화신호를 발생시켰을 때의 구형 파노라마 영상과 함께 상방 영상 및 하방 영상이 디스플레이된 사용자 단말기의 화면이다.
도 6은 본 발명의 일 실시예에 따른 선택된 좌측으로 180도 각도 변화신호를 발생시켰을 때의 구형 파노라마 영상과 함께 좌측 영상 및 우측 영상이 디스플레이된 사용자 단말기의 화면이다.
도 7은 본 발명의 일 실시예에 따른 360도 3차원 영상 재생방법의 흐름도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
도 1은 본 발명의 일 실시예에 따른 360도 3차원 영상 재생시스템의 블록도이다.
도 1을 참조하면, 360도 3차원 영상 재생시스템(1000)은, 복수의 영상 캡쳐부(100a, 100b, 100c), 영상 변환부(200) 및 사용자 단말기(300)를 포함할 수 있다. 복수의 영상 캡쳐부(100a, 100b, 100c), 영상 변환부(200) 및 사용자 단말기(300)는 데이터 입출력 인터페이스, 연산장치, 메모리 및 프로그램 저장소 등을 포함할 수 있다.
여기서, 360도 3차원 영상 재생 시스템(1000)은 복수의 영상 캡쳐부(100a, 100b, 100c), 영상 변환부(200) 및 사용자 단말기(300)가 네트워크(network)를 통해 서로 연결될 수 있다.
여기서, 네트워크라 함은 인터넷(internet) 등과 같은 유무선 통신망 또는 이들의 결합을 의미하며, 본 발명의 일 실시예에서는 네트워크는 특별한 제한이 없으며 종래의 인터넷이나 이동 통신망을 모두 포함하는 것으로 해석된다.
예를 들어, 360도 3차원 영상 재생시스템(1000)은 복수의 영상 캡쳐부(100a, 100b, 100c), 영상 변환부(200) 및 사용자 단말기(300)가 네트워크(network)를 통해 인터넷망 또는 이동통신망 등과 같은 종래의 다양한 네트워크 조합에 의해 결합될 수 있으며, 이에 대해서는 특별한 제한이 없음을 유의해야 한다.
복수의 영상 캡쳐부(100a, 100b, 100c)는 가상 카메라를 이용하여 정해진 시점의 영상을 캡쳐한다. 가상 카메라는 단일 시점에 대해 90도의 시야각(Field of View, FoV)을 갖는다. 본 발명의 일 실시예에서는 복수의 영상 캡쳐부(100a, 100b, 100c)를 편의상 제1 영상 캡쳐부(100a), 제2 영상 캡쳐부(100b), 제3 영상 캡쳐부(100c)로 예를 들었다.
이때, 복수의 영상 캡쳐부(100a, 100b, 100c)는 하나 이상의 시점에 대한 영상을 캡쳐한다. 예를 들어, 복수의 영상 캡쳐부(100a, 100b, 100c)는 전방 영상 및 후방 영상을 캡쳐하거나 상방 영상 및 하방 영상을 캡쳐하거나 좌측 영상 및 우측 영상을 캡쳐할 수 있다.
이렇게 각각의 영상 캡쳐부(100a, 100b, 100c)에서 서로 다른 시점으로 캡쳐한 영상은 서로 겹치지 않으면서 특정 위치에서 바라다 본 360도 전 방향을 커버하는 6방향을 포함한다.
또한, 영상 캡쳐부(100a, 100b, 100c)는 가상 카메라를 이용하여 영상을 캡쳐할 때 각 캡쳐 영상에 대응하는 타임 스탬프를 생성하고, 타임 스탬프가 태깅된(tagging) 캡쳐 영상을 영상 변환부(200)로 송신한다.
영상 변환부(200)는 복수의 영상 캡쳐부(100a, 100b, 100c)로부터 수신한 복수의 캡쳐 영상을 6방향 큐브 텍스쳐에 렌더링하고(rendering), 6방향 큐브 영상을 구형 (spherical) 파노라마 영상으로 변환하여 사용자 단말기(300)에 제공한다.
또한, 영상 변환부(200)는 복수의 영상 캡쳐부(100a, 100b, 100c)로부터 복수의 캡쳐 영상을 수신하면 이를 타임 스탬프에 따라 시간순으로 정렬한다.
또한, 영상 변환부(200)는 동일한 타임 스탬프에 대응하는 복수의 캡쳐 영상을 방향의 면을 갖는 큐브(cube) 형태의 텍스쳐(texture)에 각각 렌더링하여 6방향 큐브 영상을 생성한다. 이때, 동일한 타임 스탬프에 대응되는 복수의 캡쳐 영상은 서로 다른 시점으로 캡쳐한 것으로서, 큐브의 6방향 면에 각각 대응된다. 여기서, 6방향 큐브 텍스쳐는 복수의 영상 캡쳐부(200)에 포함된 가상 카메라의 해상도에 대응되는 크기를 갖는다.
사용자 단말기(300)는 구형 파노라마 영상 중에서 특정 구형 파노라마 영상을 선택할 때, 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상을 재생한다. 여기서, 사용자는 사용자 단말기(300)에 설치된 애플리케이션 프로그램(application program)을 통해 사용자 단말기(300)의 버튼 조작 또는 화면 터치 등을 통해 특정 파노라마 영상을 선택하는 것이 가능하다.
이와 같이, 사용자 단말기(300)가 하나의 구형 파노라마 영상을 선택하여 3개의 구형 파노라마 영상만을 재생할 수 있게 됨으로써, 6개의 구형 파노라마 영상을 재생할 때보다 영상 트래픽을 50%로 줄일 수 있다.
사용자는 360도 3차원 영상 재생 어플리케이션(application)을 사용자 단말기(300)에 다운로드하여 설치함으로써, 360도 3차원 영상 재생 시스템(1000)을 이용할 수 있다. 사용자 단말기(300)는 360도 3차원 영상 재생 어플리케이션 실행을 통해 360도 3차원 영상 재생 시스템(1000)에 접속하여 360도 3차원 영상 재생 서비스를 제공받을 수 있다.
사용자 단말기(300)가 특정 구형 파노라마 영상 선택 후, 각도변화신호를 발생시키면, 변화된 각도의 구형 파노라마 영상과 변화된 각도의 구형 파노라마 영상에 가장 인접한 2개의 구형 파노라마 영상을 재생한다. 여기서, 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상은, 선택된 구형 파노라마 영상의 상하 또는 좌우에 인접한다. 만약, 사용자 단말기(300)가 각도변화신호를 발생시키지 않는다면 선택된 특정 구형 파노라마 영상이 끝날 때까지 재생된다.
이와 같이, 사용자 단말기(300)는 선택한 구형 파노라마 영상이 원하는 영상이 아닐 경우 각도변화를 발생시켜 원하는 구형 파노라마 영상을 재생할 수 있다.
한편, 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상은 줌 인(zoom in) 또는 줌 아웃(zoom out)이 가능하기 때문에 구형 파노라마 영상을 미세한 부분을 재생할 수 있거나 전체적인 모습을 재생할 수 있다.
또한, 변화된 각도는 선택된 구형 파노라마 영상의 상하 방향으로 또는 좌우 방향으로 변화된다. 이때, 변화된 각도는 90도, 180도, 270도, 360도 중 어느 하나일 수 있다.
도 2는 본 발명의 일 실시예에 따른 6방향 큐브 텍스쳐의 픽셀을 나타낸 개략도이다.
도 2를 참조하면, 6방향 큐브 텍스쳐를 2차원 평면에 전개한 모습을 나타낸다. 6방향 큐브 텍스쳐는 전방 텍스쳐(a), 후방 텍스쳐(b), 상방 텍스쳐(c), 하방 텍스쳐(d), 좌측 텍스쳐(e), 우측 텍스쳐(f)를 포함한다. 각 방향의 텍스쳐(a, b, c, d, e, f)는 복수의 영상 캡쳐부(100a, 100b, 100c)가 구비한 가상 카메라의 해상도에 대응되는 픽셀(pixel)을 구비한다.
도 2에서 각 사각형은 실제로 바둑판 배열과 같은 복수의 사각형(픽셀)으로 이루어진 것이나 편의상 생략하였다.
도 3은 본 발명의 일 실시예에 따른 선택된 특정 구형 파노라마 영상과 함께 상방 영상 및 하방 영상이 디스플레이된 사용자 단말기의 화면이고, 도 4는 본 발명의 일 실시예에 따른 선택된 특정 구형 파노라마 영상과 함께 좌측 영상 및 우측 영상이 디스플레이된 사용자 단말기의 화면이다.
도 3 및 도 4를 참조하면, 사용자 단말기의 화면에는 3개의 화면이 디스플레이되었음을 알 수 있다.
사용자 단말기가 전방 텍스쳐(a)를 선택할 때 상방 영상 및 하방 영상이 함께 디스플레이되도록 설정되어 있다면, 도 3에 도시된 바와 같이 전방 텍스쳐(a), 상방 텍스쳐(c), 하방 텍스쳐(d)가 사용자 단말기의 화면에 디스플레이된다.
사용자 단말기가 전방 텍스쳐(a)를 선택할 때 좌측 영상 및 우측 영상이 함께 디스플레이되도록 설정되어 있다면, 도 4에 도시된 바와 같이 전방 텍스쳐(a), 좌측 텍스쳐(e), 우측 텍스쳐(f)가 사용자 단말기의 화면에 디스플레이된다.
도 5는 본 발명의 일 실시예에 따른 사용자 단말기에서 상방으로 90도 각도변화신호를 발생시켰을 때의 구형 파노라마 영상과 함께 상방 영상 및 하방 영상이 디스플레이된 사용자 단말기의 화면이고, 도 6은 본 발명의 일 실시예에 따른 선택된 좌측으로 180도 각도 변화신호를 발생시켰을 때의 구형 파노라마 영상과 함께 좌측 영상 및 우측 영상이 디스플레이된 사용자 단말기의 화면이다.
도 5 및 도 6을 참조하면, 사용자 단말기의 화면에는 3개의 화면이 디스플레이되었음을 알 수 있다.
사용자 단말기가 전방 텍스쳐(a)에서 상방으로 90도 각도변화신호를 발생시켰을 때 상방 영상 및 하방 영상이 함께 디스플레이되도록 설정되어 있다면, 도 5에 도시된 바와 같이 상방 텍스쳐(c), 후방 텍스쳐(b), 전방 텍스쳐(a)가 사용자 단말기의 화면에 디스플레이된다.
사용자 단말기가 전방 텍스쳐(a)에서 좌측으로 180도 각도 변화신호를 발생시켰을 때 좌측 영상 및 우측 영상이 함께 디스플레이되도록 설정되어 있다면, 도 6에 도시된 바와 같이 후방 텍스쳐(b), 좌측 텍스쳐(e), 우측 텍스쳐(f)가 사용자 단말기의 화면에 디스플레이된다.
도 3 내지 도 6에서 살펴본 사용자 단말기의 화면에 디스플레이되는 영상의 배치위치는 특별한 제한이 없다. 즉, 특정 구형 파노라마 영상과 함께 상방 영상 및 하방 영상이 디스플레이될 때, 또는 특정 구형 파노라마 영상과 함께 좌측 영상 및 우측 영상이 디스플레이될 때 사용자 단말기의 화면에 디스플레이되는 영상의 배치위치는 설정된 바에 따라 달라질 수 있다.
도 7은 본 발명의 일 실시예에 따른 360도 3차원 영상 재생방법의 흐름도이다.
도 1 및 도 7을 참조하면, 360도 3차원 영상 재생방법은 S100 내지 S800을 포함할 수 있다. S100 내지 S800과 관련한 상세한 설명은 전술한 도 1 내지 도 6과 관련한 설명을 참조하기로 한다.
먼저, 복수의 영상 캡쳐부(100a, 100b, 100c)가 가상 카메라를 이용하여 서로 다른 시점의 영상을 캡쳐하여 캡쳐영상을 생성한다(S100).
S100 이후, 복수의 영상 캡쳐부(100a, 100b, 100c)가 캡쳐영상에 대응되는 타임 스탬프를 생성한 후(S200), 타임 스탬프가 태깅된 캡쳐영상을 송신한다(S300).
S300 이후, 영상 변환부(200)가 복수의 영상 캡쳐부(100a, 100b, 100c)로부터 타임 스탬프가 태깅된 캡쳐영상을 수신한다(S400).
S400 이후, 영상 변환부(200)가 동일한 타임 스탬프에 대응되는 복수의 캡쳐영상을 6방향 큐브 텍스쳐에 각각 렌더링한 후(S500), 6방향 큐브영상을 구형(spherical) 파노라마 영상으로 변환하여 저장한다(S600).
S600 이후, 사용자 단말기(300)가 구형 파노라마 영상 중에서 특정 구형 파노라마 영상을 선택할 때(S700), 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상을 재생한다(S800).
전술한 본 발명의 실시예들은 이해를 돕기 위하여 도면에 도시된 실시예들을 참고로 설명되었으나, 이는 예시적인 것에 불과하며, 당해 분야에서 통상적 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위에 의해 정해져야 할 것이다.
100a : 제1 영상 캡쳐부 100b : 제2 영상 캡쳐부
100c : 제3 영상 캡쳐부 200 : 영상 변환부
300 : 사용자 단말기 1000 : 360도 3차원 영상 재생시스템

Claims (6)

  1. 가상 카메라를 이용하여 서로 다른 시점의 영상을 캡쳐하여 캡쳐영상을 생성하고, 상기 캡쳐영상에 대응되는 타임 스탬프를 생성하며, 상기 타임 스탬프가 태깅된 상기 캡쳐영상을 송신하는 복수의 영상 캡쳐부;
    상기 복수의 영상 캡쳐부로부터 상기 타임 스탬프가 태깅된 상기 캡쳐영상을 수신하고, 동일한 타임 스탬프에 대응되는 복수의 캡쳐영상을 6방향 큐브 텍스쳐에 각각 렌더링하며, 6방향 큐브영상을 구형(spherical) 파노라마 영상으로 변환하여 저장하는 영상 변환부; 및
    상기 구형 파노라마 영상 중에서 특정 구형 파노라마 영상을 선택할 때, 선택된 구형 파노라마 영상과 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상을 재생하는 사용자 단말기;를 포함하되,
    상기 사용자 단말기는 상기 선택한 구형 파노라마 영상이 원하는 영상이 아닐 경우 각도변화를 발생시켜 원하는 구형 파노라마 영상을 재생시키고,
    상기 사용자 단말기가 특정 구형 파노라마 영상 선택 후, 각도변화신호를 발생시키면, 변화된 각도의 구형 파노라마 영상과 상기 변화된 각도의 구형 파노라마 영상에 가장 인접한 2개의 구형 파노라마 영상을 재생하고,
    상기 사용자 단말기가 각도변화신호를 발생시키지 않는다면 상기 선택된 특정 구형 파노라마 영상이 끝날 때까지 재생되며,
    상기 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상은, 상기 선택된 구형 파노라마 영상의 상하 또는 좌우에 인접하며,
    상기 선택된 구형 파노라마 영상과, 상기 선택된 구형 파노라마 영상에 인접한 2개의 구형 파노라마 영상은 줌 인(zoom in) 또는 줌 아웃(zoom out)이 가능하여 상기 구형 파노라마 영상의 미세한 부분을 재생하거나 전체적인 모습을 재생하며,
    상기 사용자 단말기는 상기 선택된 구형 파노라마 영상과 상기 선택된 구형 파노라마 영상에 인접한 상기 2개의 구형 파노라마 영상을 설정된 바에 따라 하나의 화면상에 각각 배치시키는 것을 특징으로 하는 360도 3차원 영상 재생시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 변화된 각도는 선택된 구형 파노라마 영상의 상하 방향으로 또는 좌우 방향으로 변화된 것을 특징으로 하는 360도 3차원 영상 재생시스템.
  6. 제5항에 있어서,
    상기 변화된 각도는 90도, 180도, 270도 또는 360도 중 어느 하나인 것을 특징으로 하는 360도 3차원 영상 재생시스템.
KR1020190153099A 2019-11-26 2019-11-26 360도 3차원 영상 재생시스템 KR102261242B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190153099A KR102261242B1 (ko) 2019-11-26 2019-11-26 360도 3차원 영상 재생시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190153099A KR102261242B1 (ko) 2019-11-26 2019-11-26 360도 3차원 영상 재생시스템

Publications (2)

Publication Number Publication Date
KR20210064654A KR20210064654A (ko) 2021-06-03
KR102261242B1 true KR102261242B1 (ko) 2021-06-07

Family

ID=76374742

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190153099A KR102261242B1 (ko) 2019-11-26 2019-11-26 360도 3차원 영상 재생시스템

Country Status (1)

Country Link
KR (1) KR102261242B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102599664B1 (ko) * 2021-12-31 2023-11-08 주식회사 카이 다시점 영상을 전송하기 위한 시스템의 동작 방법 및 이를 수행하는 시스템

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102021857B1 (ko) * 2013-07-23 2019-09-17 엘지전자 주식회사 이동 단말기 및 그의 파노라마 촬영방법
WO2016180486A1 (en) * 2015-05-12 2016-11-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Composite scalable video streaming
KR20190011224A (ko) 2017-07-24 2019-02-01 한국전자통신연구원 6자유도 지원 360도 vr 영상 획득 및 재현을 위한 방법 및 그 장치
KR102019880B1 (ko) * 2017-11-23 2019-09-09 전자부품연구원 분산 가상 카메라를 이용한 게임 내 360 vr 영상 획득 시스템 및 방법

Also Published As

Publication number Publication date
KR20210064654A (ko) 2021-06-03

Similar Documents

Publication Publication Date Title
US10880522B2 (en) Hybrid media viewing application including a region of interest within a wide field of view
JP6756269B2 (ja) 通信端末、画像通信システム、通信方法、及びプログラム
US11037365B2 (en) Method, apparatus, medium, terminal, and device for processing multi-angle free-perspective data
JP7135141B2 (ja) 情報処理システム、情報処理方法、および情報処理プログラム
JP6309749B2 (ja) 画像データ再生装置および画像データ生成装置
JP2023129649A (ja) 通信管理システム、通信システム、通信管理方法、及びプログラム
JP2018129716A (ja) 画像処理装置、画像処理システム、画像処理方法及びプログラム
KR101037797B1 (ko) 복수의 입력 비디오(디지털,아날로그,ｉｐ 압축 비디오)들을 가상 그래픽 3차원 비디오 월의 가상모니터에 비디오 택스쳐링의 방식을 이용하여 표현하고 이를 가상 3차원 그래픽 공간에 배치한 가상카메라를 통해 실시간 3차원 렌더링을 통해 실시간으로 모니터에 보여 주는 매트릭스 및 스위처/믹서 기능을 갖는 3차원 공간속의 비디오 월을 보여 주는 멀티뷰 시스템
KR101530826B1 (ko) 360도 공간영상 재생방법 및 그 시스템
JP2016025633A (ja) 情報処理装置、管理装置、情報処理方法、およびプログラム
JP2019118026A (ja) 情報処理装置、情報処理方法、及びプログラム
KR20200064998A (ko) 재생 장치 및 방법, 그리고 생성 장치 및 방법
WO2018222498A1 (en) Methods and systems for generating a virtualized projection of a customized view of a real-world scene for inclusion within virtual reality media content
JPWO2017022363A1 (ja) 情報処理装置、および情報処理方法、並びにプログラム
KR20160021706A (ko) 360도 공간영상 재생방법 및 그 시스템
KR100901111B1 (ko) 삼차원 가상 공간 콘텐츠를 이용한 영상제공시스템
KR20180013391A (ko) 스크립트 생성 장치, 동영상 재생 장치 및 360도 동영상에 대한 화면 제어 방법
JP2008510357A (ja) 画像のエンコーディング方法、エンコーディング装置、画像のデコーディング方法及びデコーディング装置
CN110730340B (zh) 基于镜头变换的虚拟观众席展示方法、系统及存储介质
KR102261242B1 (ko) 360도 3차원 영상 재생시스템
WO2019004073A1 (ja) 画像配置決定装置、表示制御装置、画像配置決定方法、表示制御方法及びプログラム
JP7017045B2 (ja) 通信端末、表示方法、及びプログラム
Nielsen High resolution full spherical videos
CN111669603A (zh) 多角度自由视角数据处理方法及装置、介质、终端、设备
JP7319340B2 (ja) 配信サーバ、配信方法及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant