KR101754700B1 - Vr 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 시스템 및 방법 - Google Patents

Vr 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 시스템 및 방법 Download PDF

Info

Publication number
KR101754700B1
KR101754700B1 KR1020160060327A KR20160060327A KR101754700B1 KR 101754700 B1 KR101754700 B1 KR 101754700B1 KR 1020160060327 A KR1020160060327 A KR 1020160060327A KR 20160060327 A KR20160060327 A KR 20160060327A KR 101754700 B1 KR101754700 B1 KR 101754700B1
Authority
KR
South Korea
Prior art keywords
image
dimensional
user
camera
video
Prior art date
Application number
KR1020160060327A
Other languages
English (en)
Inventor
차승훈
위대현
권재환
김영휘
Original Assignee
주식회사 카이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 카이 filed Critical 주식회사 카이
Priority to KR1020160060327A priority Critical patent/KR101754700B1/ko
Application granted granted Critical
Publication of KR101754700B1 publication Critical patent/KR101754700B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/10—Selection of transformation methods according to the characteristics of the input images
    • G06T3/0056—
    • G06T3/0012—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/04—Context-preserving transformations, e.g. by using an importance map
    • H04N13/0456—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/361—Reproducing mixed stereoscopic images; Reproducing mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20221—Image fusion; Image merging

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 VR 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 시스템 및 방법에 관한 것으로, 상기 방법은 동일 대상을 촬영한 2차원 영상과 VR(Virtual Reality) 영상, 및 상기 2차원 영상과 상기 VR 영상의 동기화 정보와 위치 관계 정보를 포함하는 영상 파일을 획득 저장하는 단계; 사용자 단말이 인터넷을 통해 접속한 후 상기 영상 파일을 선택 및 열람 요청하면, 상기 사용자 단말의 영상 열람 환경에 따라 상기 2차원 영상과 상기 VR 영상 중 하나를 기본 영상으로 선택하여 제공하는 단계; 및 상기 영상 열람 환경의 변화를 모니터링하고, 상기 영상 열람 환경이 변화될 때마다 상기 사용자 단말에 제공될 영상의 종류를 가변해주는 단계를 포함할 수 있다.

Description

VR 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 시스템 및 방법{OTT service system and method for changing video mode based on 2D video and VR video}
본 발명은 OTT(Over The Top) 기술에 따른 영상 제공 시스템 및 방법에 관한 것으로, 사용자가 영상 열람 도중에 VR 영상과 2차원 영상간 영상 전환을 자유롭게 수행하며, 영상의 화질도 안정적으로 보장할 수 있도록 하는 영상 모드 전환 기능을 지원하는 인터넷 기반 영상 제공 시스템 및 방법에 관한 것이다.
OTT(Over The Top)는 인터넷을 통해 볼 수 있는 TV 서비스를 일컫는다. OTT는 전파나 케이블이 아닌 범용 인터넷 망(Public internet)으로 영상 콘텐츠를 제공한다. 'Top'은 TV에 연결되는 셋톱박스를 의미하지만, 넓게는 셋톱박스가 있고 없음을 떠나 인터넷 기반의 동영상 서비스 모두를 포괄하는 의미로 쓰인다.
초고속 인터넷이 발달되고 널리 보급됨에 따라 영화/방송 등 기존 미디어 플랫폼이 빠르게 OTT 플랫폼으로 재편되고 있다. 일예로 북미에서는 넷플릭스, 유투브등 글로벌 OTT 플랫폼이 기존 미디어 산업을 압도하고 있으며, 중국에서는 아이치이, 유큐 투도우, 텐센트 비디오 등 빅3 OTT 플랫폼이 미디어 시장 지배하고 있다. 또한 국내 SK 텔레콤 계열 핫질, 옥수수 및 네이버 라인TV, 피키캐스트 등 다양한 OTT 플랫폼 등장하고 있는 실정이다.
그러나 이와 같은 OTT는 기본적으로 2차원 영상을 기반으로 서비스되는 한계를 가진다.
한편, HMD(Head mounted Display) 기술이 발견 및 사용화됨에 따라, HMD를 통해 재생되는 VR(Virtual Reality) 콘텐츠 제작 이슈가 급부상되고 있다. 즉, 페이스북 오큘러스, 삼성 기어VR 등 관람기기가 활발하게 보급되면서 360ㅀ 영상 플랫폼 확대하고 있으며, 구글, 페이스북 등에서 VR영상 콘텐츠 제작에 천문학적인 투자를 단행하고 있다.
그러나 이러한 VR 영상의 낮은 화질, 시각적 피로감 등으로, VR 영상은 단독 시청 콘텐츠로 활용되기 어려움이 있다.
또한 종래의 VR 영상이 HMD(Head mounted Display) 등에 의해 한정되어 재생되던 것에서 나아가, 최근에 들어서는 스마트폰, 태블릿과 같은 모바일 단말을 통해 VR 영상을 재생하도록 하고 있다.
이에 모바일 단말을 통해 VR 영상을 시청하고, 필요시에는 VR 영상을 2차원 영상으로 랜더링하여 제공하는 기술이 제안된 바 있으나, 이러한 경우 VR 영상으로부터 추출된 2차원 영상은 그 화질이 너무 떨어져 사용자에게 충분한 시각적 만족감을 제공할 수 없는 문제가 발생한다.
이에 상기와 같은 문제점을 해결하기 위한 것으로서, 본 발명은 사용자가 영상 열람 도중에 VR 영상과 2차원 영상간 영상 전환을 자유롭게 수행하며, 영상의 화질도 안정적으로 보장할 수 있도록 하는 영상 모드 전환 기능을 지원하는 인터넷 기반 영상 제공 시스템 및 방법을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 일 실시 형태에 따르면, 동일 대상을 촬영한 2차원 영상과 VR(Virtual Reality) 영상, 및 상기 2차원 영상과 상기 VR 영상의 동기화 정보와 위치 관계 정보를 포함하는 영상 파일을 획득 저장하는 단계; 사용자 단말이 인터넷을 통해 접속한 후 상기 영상 파일을 선택 및 열람 요청하면, 상기 사용자 단말의 영상 열람 환경에 따라 상기 2차원 영상과 상기 VR 영상 중 하나를 기본 영상으로 선택하여 제공하는 단계; 및 상기 영상 열람 환경의 변화를 모니터링하고, 상기 영상 열람 환경이 변화될 때마다 상기 사용자 단말에 제공될 영상의 종류를 가변해주는 단계를 포함하는 VR 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 방법을 제공한다.
상기 방법은 상기 2차원 영상을 제공하는 2차원 카메라와 상기 VR 영상을 제공하는 VR 카메라에 대한 캘리브레이션을 통해 상기 2차원 영상과 상기 VR 영상의 위치 관계 정보를 추출하는 것을 특징으로 한다.
상기 사용자 단말에 제공될 영상의 종류를 가변해주는 단계는 영상 열람 환경 변경 시간을 기반으로 영상 전환 시점을 결정한 후, 상기 영상 전환 시점 이후에 사용자 단말에 제공될 영상을 전환해주는 것을 특징으로 한다.
또한 상기 방법은 상기 2차원 영상과 상기 VR 영상간 위치 관계를 시각적으로 안내하기 위한 정보를 생성하여 상기 사용자 단말에 추가 제공하는 단계를 더 포함하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 다른 실시 형태에 따르면, 2차원 카메라 및 VR(Virtual Reality) 카메라를 구비하여, 동일 대상에 대한 2차원 영상과 VR 영상을 동시 획득하는 영상 획득부; 상기 2차원 카메라 및 상기 VR 카메라의 캘리브레이션을 수행하여 상기 2차원 영상과 상기 VR 영상의 위치 관계를 파악하고, 상기 영상 획득부를 통해 동시 획득되는 상기 2차원 영상과 상기 VR 영상을 동기화화여 저장함과 동시에 상기 2차원 영상과 상기 VR 영상의 위치 관계에 대한 정보를 추가 저장하는 영상 처리부; 인터넷을 통한 사용자 단말 접속을 지원하고, 상기 2차원 영상과 상기 VR 영상 중 하나를 통해 상기 사용자 단말로의 영상 제공 동작을 수행하되, 상기 사용자 단말의 영상 열람 환경에 따라 상기 사용자 단말에 제공될 영상의 종류를 수시 가변해주는 OTT 서비스 제공부를 포함하는 VR 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 시스템을 제공한다.
상기 OTT 서비스 제공부는 상기 2차원 영상과 상기 VR 영상간 위치 관계를 시각적으로 안내하기 위한 정보를 생성하여 상기 사용자 단말에 추가 제공하는 기능을 더 포함하는 것을 특징으로 한다.
본 발명은 OTT 서비스를 통해 고화질의 2차원 영상 열람 서비스를 제공하되, 사용자 필요에 따라 VR 효과를 제공할 수 있도록 함으로써, VR 영상의 시청 경험이 무한대로 확대될 수 있도록 한다.
또한 VR 영상과 고화질의 2차원 영상간 영상 전환을 통해 VR 영상의 주요 부분을 마치 고화질의 2차원 영상으로 줌인하는 듯한 효과를 제공할 수 있도록 함으로써, VR 콘텐츠의 화질 한계도 용이하게 극복할 수 있도록 한다.
도1은 본 발명의 일 실시예에 따른 인터넷 기반 영상 제공 시스템을 도시한 도면이다.
도2는 본 발명의 일 실시예에 따른 인터넷 기반 영상 제공 시스템을 통해 생성되는 파일의 구조를 도시한 도면이다.
도3은 본 발명의 일 실시예에 따른 인터넷 기반 영상 제공 시스템을 통해 안내되는 2차원 영상과 VR 영상간 위치 관계의 일례를 도시한 도면이다.
도4는 본 발명의 일 실시예에 따른 인터넷 기반 영상 서비스 방법을 개략적으로 설명하기 위한 도면이다.
도5는 본 발명의 일 실시예에 따른 2차원 카메라와 VR 카메라의 캘리브레이션 단계를 보다 상세히 설명하기 위한 도면이다.
도6은 본 발명의 일 실시예에 따른 2차원 카메라와 VR 카메라를 이용한 영상 제작 단계를 보다 상세히 설명하기 위한 도면이다.
도7은 본 발명의 일 실시예에 따른 2차원 영상과 VR 영상에 기반한 영상 서비스 단계를 보다 상세히 설명하기 위한 도면이다.
도8 및 도9는 본 발명의 일 실시예에 따른 2차원 영상과 VR 영상간 영상 전환의 예들을 도시한 도면이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도1은 본 발명의 일 실시예에 따른 인터넷 기반 영상 제공 시스템을 도시한 도면이다.
도1을 참고하면, 본 발명의 시스템은 크게 영상 획득부(110), 영상 처리부(120), 데이터베이스(130) 및 OTT 서비스 제공부(140) 등을 포함할 수 있다.
영상 획득부(110)는 2차원 카메라(111), VR(Virtual Reality) 카메라(112), 및 2차원 카메라(111)와 VR 카메라(112)의 동시 결합을 지원하는 카메라 결합 리그(미도시) 등을 구비하여, 동일 대상에 대한 2차원 영상과 VR 영상을 동시 획득 및 제공하도록 한다.
2차원 카메라(111)는 CCD 카메라, CMOS 카메라 등과 같이 자신의 전방 영역을 고화질 촬영한 2차원 영상을 획득 및 제공하는 카메라이고, VR(Virtual Reality) 카메라(112)는 가상 현실 재현을 위한 360도 영상을 획득 및 제공하는 카메라이다.
본 발명에서는 2차원 카메라(111)를 다수개로 구현할 수도 있도록 하는 데, VR 카메라(112)가 2차원 카메라(111)와 달리 360도 영상을 촬영할 수 있음을 고려하여, 다수개의 2차원 카메라(111)를 통해 보다 다양한 촬영 시점 및 촬영 영역을 가지는 고화질의 2차원 영상을 사전에 확보하고, 이를 기반으로 보다 다양한 시점에서의 영상 전환 동작을 지원할 수 있도록 하기 위함이다.
영상 처리부(120)는 동일한 카메라 결합 리그에 결합된 2차원 카메라(111)와 VR 카메라(112)를 캘리브레이션하여 내부 및 외부 파라미터를 획득하고, 이를 기반으로 2차원 영상과 VR 영상간 위치 관계를 사전에 획득 및 저장하도록 한다. 즉, VR 영상내에서의 2D 영상 배치 정보를 파악하도록 한다.
그리고 2차원 카메라(111)와 VR 카메라(112)의 캘리브레이션이 완료 상태에서 영상 촬영이 요청되면, 영상 처리부(120)는 도2에서와 같이 이에 대응되는 새로운 파일을 생성한 후 영상 획득부(110)를 통해 동시 획득되는 2차원 영상과 VR 영상을 시간축 기준으로 동기화시킨 후 저장함과 동시에, 앞서 획득된 2차원 영상과 VR 영상간 위치 관계를 추가 저장하도록 한다.
데이터베이스(130)는 영상 처리부(120)에 의해 생성된 파일에 관련된 각종 정보를 저장하도록 한다. 예를 들어, 파일별로, 파일명, 메타 데이터(이는 제작자 정보, 파일 크기, 파일 포맷, 제작 일자 등에 대한 정보를 포함함), 2차원 영상과 VR 영상간 위치 관계 정보, 2차원 영상과 VR 영상간 프레임 싱크, 2차원 영상 스트림 및 VR 영상 스트림 등에 대한 정보 등을 포함할 수 있다.
OTT 서비스 제공부(150)는 인터넷을 통한 사용자 단말 접속을 지원하고, 사용자가 인터넷을 통해 영상 파일을 검색 및 선택하고, 해당 영상 파일을 영상 스트리밍 방식으로 열람할 수 있도록 한다.
특히, 본 발명의 OTT 서비스 제공부(150)는 영상 열람을 요청한 사용자에게 필요 영상을 스트리밍해줌과 동시에 사용자의 영상 열람 상황을 실시간 모니터링하고, 영상 열람 상황에 따라 사용자 단말로 스트리밍 되는 영상의 종류를 수시로 가변해줄 수 있도록 한다. 즉, 사용자 인터랙션에 따라 변화되는 영상 열람 상황을 고려하여 2차원 영상과 VR 영상이 전환될 수 있도록 함으로써, 사용자의 요구 사항을 보다 잘 반영할 수 있는 영상 제공 서비스를 영상 끊김없이 제공할 수 있도록 해준다.
더하여, OTT 서비스 제공부(150)는 도3에서와 같이 2차원 영상과 VR 영상간 위치 관계를 시각적으로 안내하기 위한 정보(빨간색으로 표시)를 사용자 단말에 추가 제공함으로써, 사용자가 이를 참고하여 보다 용이한 영상 전환 동작을 수행할 수도 있도록 한다.
도4는 본 발명의 일 실시예에 따른 인터넷 기반 영상 서비스 방법을 개략적으로 설명하기 위한 도면이다.
도4에 도시된 바와 같이, 본 발명의 인터넷 기반 영상 서비스 방법은 크게 2차원 카메라와 VR 카메라의 캘리브레이션 단계(S10), 2차원 카메라와 VR 카메라를 이용한 영상 제작 단계(S20), 그리고 2차원 영상과 VR 영상에 기반한 영상 서비스 단계(S30)를 포함함을 알 수 있다.
이하, 도5 내지 도7을 참고하여 인터넷 기반 영상 서비스 방법을 보다 상세히 설명하면 다음과 같다.
도5는 본 발명의 일 실시예에 따른 2차원 카메라와 VR 카메라의 캘리브레이션 단계를 보다 상세히 설명하기 위한 도면이다.
먼저, 2차원 카메라(111)와 VR 카메라(112)를 카메라 결합 리그에 결합 및 고정시킨다(S11).
그리고 카메라 결합 리그의 전방에 캘리브레이션 챠트와 같은 기준 이미지를 위치시킨 후, 이를 2차원 카메라(111)와 VR 카메라(112)를 통해 동시 촬영한다(S12).
그리고 2차원 카메라(111)와 VR 카메라(112)의 영상 촬영 결과를 기반으로 카메라 캘리브레이션을 수행하여, 2차원 카메라(111)와 VR 카메라(112)의 상대적 위치, 더 나아가서는 2차원 카메라(111)를 통해 획득되는 2차원 영상과 VR 카메라(112)를 통해 획득되는 VR 영상의 상대적 위치를 파악한 후, 이에 대한 정보를 저장하도록 한다(S13).
상기의 설명에서는 캘리브레이션 챠트에 기반하여 카메라 캘리브레이션 동작을 수행하는 경우에 한해 설명하였지만, 이와 같은 카메라 캘리브레이션 방법은 공지된 기술들 중 하나로 대체될 수도 있음은 물론 당연할 것이다.
도6은 본 발명의 일 실시예에 따른 2차원 카메라와 VR 카메라를 이용한 영상 제작 단계를 보다 상세히 설명하기 위한 도면이다.
시스템 관리자 또는 영상 제작자 등에 의해 영상 촬영에 이용될 2차원 카메라(111)와 VR 카메라(112)가 선택되고(S21), 영상 촬영이 요청되면(S22), 영상 획득부(110)를 통해 2차원 영상과 VR 영상을 동시 획득하기 시작한다(S23).
그리고 동시 획득되는 2차원 영상과 VR 영상을 시간축 기준으로 동기화시키면서 데이터베이스에 순차 저장하도록 한다(S24).
소정의 시간이 경과하여 영상 촬영이 종료되면(S25), 단계 S21를 통해 선택된 2차원 카메라(111)와 VR 카메라(112)의 캘리브레이션 정보, 즉 2차원 영상과 VR 영상의 위치 관계 정보를 획득하여 파일 정보에 추가 저장한 후, 영상 파일 생성을 완료하도록 한다(S26).
도7은 본 발명의 일 실시예에 따른 2차원 영상과 VR 영상에 기반한 영상 서비스 단계를 보다 상세히 설명하기 위한 도면이다.
먼저, 특정 사용자의 사용자 단말(300)이 시스템(100)에 인터넷 접속되면, 시스템(100)은 이에 응답하여 영상 검색 및 선택 화면을 제공해준다(S31).
사용자가 시스템(100)이 서비스하는 각종 영상 중 하나를 선택한 후 열람 요청하면(S32), 시스템(100)은 사용자 단말(300)에 설정되어 있는 영상 열람 상황을 확인한 후(S33), 이를 기반으로 2차원 영상과 VR 영상 중 하나를 선택하여 제공하도록 한다(S34).
상기의 단계 S33 및 S34는 영상 열람이 종료될 때까지 반복 수행되고, 이에 따라 영상 열람 상황이 2차원 영상 열람 상황에서 VR 영상 열람 상황으로 변화되는 경우에는 기존에 제공되던 2차원 영상을 VR 영상으로 전환하여 제공하도록 하고, 그 반대로 VR 영상 열람 상황에서 2차원 영상 열람 상황으로 변화되는 경우에는 기존에 제공되던 VR 영상을 2차원 영상으로 전환하여 제공하도록 한다(S35).
이에 사용자는 자신이 휴대하는 단말(300)을 조작하여 영상 열람 상황을 가변하고, 이에 따라 자신이 열람 중이던 영상의 영상 제공 모드를 자유롭게 전환하면서 영상 열람을 계속할 수 있도록 한다.
도8 및 도9는 본 발명의 일 실시예에 따른 2차원 영상과 VR 영상간 영상 전환의 예들을 도시한 도면이다.
먼저, 도8의 (a)에 도시된 바와 같이, 사용자가 VR 영상을 열람하던 중 2차원 영상 표시 영역으로의 화면 줌인을 요청하면(즉, 영상 열람 상황을 VR 영상 열람 상황에서 2차원 영상 열람 상황으로 변경하면), 시스템(100)은 화면 줌인 요청 시간을 영상 전환 시점을 결정한 후, 영상 전환 시점 이후에 사용자 단말(300)에 제공될 영상을 VR 영상에서 2차원 영상으로 전환해준다. 그러면, 사용자는 줌인 요청한 화면을 2차원 영상을 기반으로 표시해줌으로써, 고화질의 영상 표현을 보장해줄 수 있도록 한다.
즉, VR 영상을 활용하여 줌인 동작을 수행하게 되면, 줌인 화면의 화질이 VR 영상의 특성상 반드시 열화될 수 밖에 없는 한계가 있었으나, 본 발명에서는 VR 영상의 줌인 화면을 고화질의 2차원 영상을 대체하여 표시할 수 있도록 함으로써, VR 콘텐츠의 화질 한계를 손쉽게 극복할 수 있게 된다.
그리고 도8의 (b)에 도시된 바와 같이, 시스템(100)은 시스템(100)은 VR 영상 위에 2차원 영상 제공 영역을 안내하는 가이드 정보(빨간색 다각형)를 추가 표시하고, 사용자가 이를 참고하여 VR 영상을 열람하던 중 2차원 영상 표시 영역을 탭핑하면, 시스템(100)은 영상 열람 상황이 VR 영상 열람 상황에서 2차원 영상 열람 상황으로 변경되었다고 판단한 후, VR 영상 대신에 2차원 영상 표시 영역에 대응되는 2차원 영상을 획득 및 제공할 수도 있도록 한다.
즉, 본 발명에 따르면, VR 영상내 특정 인물 또는 건물 등을 클릭하여 고해상도 영상을 선택적으로 열람할 수 있음을 알 수 있다.
계속하여 도9의 (a)에 도시된 바와 같이, 2차원 영상을 열람하던 중 사용자가 줌아웃 제스처를 취하면(즉, 영상 열람 상황을 2차원 영상 열람 상황에서 VR 영상 열람 상황으로 변경하면), 시스템(100)은 현재 영상 재생 시간 이후의 영상을 2차원 영상에서 VR 영상으로 전환하여 제공하도록 한다.
더하여, 본 발명에서는 2차원 영상에서 VR 영상으로의 영상 전환시에, 2차원 영상의 촬영 시점에 따라 VR 영상의 랜더링 시점을 조정하고 줌아웃 방향 및 크기에 따라 랜더링 대상 영역을 조정할 수도 있도록 한다. 즉, 현재 2차원 영상과의 연속성을 가지는 VR 영상을 획득 및 제공할 수 있도록 함으로써, 영상 전환에 따른 시각적 피로감이 최소화될 수도 있도록 한다.
또 다르게는 도9의 (b)에 도시된 바와 같이, 2차원 영상을 열람하던 중 사용자가 드래그 제스처를 취하면(즉, 영상 열람 상황을 2차원 영상 열람 상황에서 VR 영상 열람 상황으로 변경하면), 시스템(100)은 현재 영상 재생 시간 이후의 영상을 2차원 영상에서 VR 영상으로 전환하여 제공하도록 한다.
이러한 경우에도, 본 발명에서는 VR 영상의 랜더링 시점을 드래그 시작 위치(또는 종료 위치)에 따라 조정하고, VR 영상의 랜더링 영역을 드래그 방향 및 크기에 따라 조정함으로써, 기존 영상과의 연속성을 확보할 수 있도록 해준다.
상기의 설명에서는 줌인 제스처, 줌아웃 제스처, 드래그 제스처에 한해 영상 열람 상황 변경 이벤트를 발생하는 경우를 설명하였지만, 사용자가 사용자 단말을 통해 발생하는 각종 사용자 인터랙션을 기반으로 영상 열람 상황 변경 이벤트를 발생하는 방법은 매우 다양하게 변경될 수 있음은 물론 당연할 것이다.
더하여, 상기의 설명에서는 시스템이 영상 전환 동작을 모두 수행하는 경우에 한하여 설명하였지만, 실제의 적용 예에서는 사용자 단말에 상기 시스템과의 연동을 지원하는 어플리케이션을 설치한 후, 어플리케이션을 통해 시스템의 영상 전환 동작 일부를 분산 처리할 수도 있도록 한다.
즉, 어플리케이션이 2차원 영상과 VR 영상 모두를 미리 다운로드받은 후, 시스템과의 별도 연동없이 사용자 단말이 자체적으로 상기의 VR 영상과 2차원 영상간 고품질 영상 전환을 지원할 수도 있도록 한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (6)

  1. 동일 대상을 촬영한 2차원 영상과 VR(Virtual Reality) 영상, 및 상기 2차원 영상과 상기 VR 영상의 동기화 정보와 위치 관계 정보를 포함하는 영상 파일을 획득 저장하는 단계;
    사용자 휴대 단말이 인터넷을 통해 접속한 후 상기 영상 파일을 선택 및 열람 요청하면, 상기 사용자 휴대 단말의 영상 열람 환경에 따라 상기 2차원 영상과 상기 VR 영상 중 하나를 기본 영상으로 선택하여 상기 사용자 휴대 단말의 디스플레이부에 인터넷 통신을 통해 제공되는 영상을 스트리밍 방식의 풀영상으로 제공하는 단계; 및
    상기 영상 열람 환경의 변화를 모니터링하고, 상기 영상 열람 환경이 변화될 때마다 상기 사용자 휴대 단말로 제공되는 스트리밍 영상의 종류를 상기 사용자 휴대 단말에 대한 사용자의 인터랙션에 따라 가변해주는 단계;를 포함하며,
    2차원 카메라와 VR 카메라를 캘리브레이션하여 내부 및 외부 파라미터를 획득하고, 이를 바탕으로 상기 2차원 영상과 상기 VR 영상간의 위치 관계 정보를 추출하고,
    상기 사용자 휴대 단말에 대한 사용자의 인터랙션에 따라 가변해주는 단계는,
    상기 사용자 휴대 단말에 상기 2차원 영상과 상기 VR 영상간 위치 관계를 시각적으로 안내하기 위한 표시된 가이드 정보의 영역을 사용자가 탭핑하면, 열람 상황이 상기 VR 영상 열람 상황에서 상기 2차원 영상 열람 상황으로 변경되었다고 판단한 후, 상기 VR 영상 대신에 상기 2차원 영상을 획득 및 제공하도록 하고,
    상기 2차원 영상에서 상기 VR 영상으로의 영상 전환시, 상기 2차원 영상의 촬영 시점에 따라 상기 VR 영상의 랜더링 시점을 조정하고 줌아웃 방향 및 크기에 따라 랜더링 대상 영역을 조정하여 현재 2차원 영상과 연속성을 가지는 VR 영상을 상기 사용자 휴대 단말의 디스플레이부에 제공하여 영상전환에 따른 피로감을 최소화시키는 것을 특징으로 하는 VR 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 방법.
  2. 삭제
  3. 제1항에 있어서, 상기 사용자 휴대 단말에 제공될 영상의 종류를 가변해주는 단계는
    영상 열람 환경 변경 시간을 기반으로 영상 전환 시점을 결정한 후, 상기 영상 전환 시점 이후에 상기 사용자 휴대 단말에 제공될 영상을 전환해주는 것을 특징으로 하는 VR 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 방법.
  4. 삭제
  5. 2차원 카메라 및 VR(Virtual Reality) 카메라를 구비하여, 동일 대상에 대한 2차원 영상과 VR 영상을 동시 획득하는 영상 획득부;
    상기 2차원 카메라 및 상기 VR 카메라의 캘리브레이션을 수행하여 상기 2차원 영상과 상기 VR 영상의 위치 관계를 파악하고, 상기 영상 획득부를 통해 동시 획득되는 상기 2차원 영상과 상기 VR 영상을 동기화화여 저장함과 동시에 상기 2차원 영상과 상기 VR 영상의 위치 관계에 대한 정보를 추가 저장하는 영상 처리부; 및
    인터넷을 통한 사용자 휴대 단말 접속을 지원하여 사용자가 인터넷을 통해 영상 파일을 검색 및 선택하고, 해당 영상 파일을 상기 2차원 영상 또는 상기 VR 영상 중 하나를 상기 사용자 휴대 단말의 디스플레이부에 풀영상으로 표시하여 스트리밍 방식으로 열람을 제공하는 OTT 서비스 제공부;를 포함하며,
    상기 OTT 서비스 제공부는,
    상기 사용자 휴대 단말에 표시된 상기 2차원 영상과 상기 VR 영상간 위치 관계를 시각적으로 안내하기 위한 표시된 가이드 정보를 포함하고,
    상기 사용자 휴대 단말에 상기 2차원 영상과 상기 VR 영상간 위치 관계를 시각적으로 안내하기 위한 표시된 상기 가이드 정보의 영역을 사용자가 탭핑하면, 열람 상황이 상기 VR 영상 열람 상황에서 상기 2차원 영상 열람 상황으로 변경되었다고 판단한 후, 상기 VR 영상 대신에 상기 2차원 영상을 획득 및 제공하도록 하고,
    상기 2차원 영상에서 상기 VR 영상으로의 영상 전환시, 상기 2차원 영상의 촬영 시점에 따라 상기 VR 영상의 랜더링 시점을 조정하고 줌아웃 방향 및 크기에 따라 랜더링 대상 영역을 조정하여 현재 2차원 영상과 연속성을 가지는 VR 영상을 상기 사용자 휴대 단말의 디스플레이부에 제공하여 영상전환에 따른 피로감을 최소화 시키는 것을 특징으로 하는 VR 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 시스템.
  6. 삭제
KR1020160060327A 2016-05-17 2016-05-17 Vr 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 시스템 및 방법 KR101754700B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160060327A KR101754700B1 (ko) 2016-05-17 2016-05-17 Vr 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160060327A KR101754700B1 (ko) 2016-05-17 2016-05-17 Vr 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 시스템 및 방법

Publications (1)

Publication Number Publication Date
KR101754700B1 true KR101754700B1 (ko) 2017-07-19

Family

ID=59427705

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160060327A KR101754700B1 (ko) 2016-05-17 2016-05-17 Vr 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101754700B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111615832A (zh) * 2018-01-22 2020-09-01 苹果公司 用于生成平面视频内容的合成现实重构的方法和设备
KR102231381B1 (ko) * 2019-11-18 2021-03-23 김현수 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법
KR102465403B1 (ko) * 2022-01-24 2022-11-09 김태경 2d영상 및 360도 영상이 조합된 동영상 콘텐츠를 제공하는 방법 및 장치
KR20230078369A (ko) * 2021-11-26 2023-06-02 한국전자기술연구원 하이브리드 전송 시스템을 이용하여 3차원 영상 서비스를 제공하는 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319351A (ja) * 2002-04-23 2003-11-07 Sony Corp サービス提供システム、放送装置および方法、受信装置および方法、記録媒体、並びにプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003319351A (ja) * 2002-04-23 2003-11-07 Sony Corp サービス提供システム、放送装置および方法、受信装置および方法、記録媒体、並びにプログラム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111615832A (zh) * 2018-01-22 2020-09-01 苹果公司 用于生成平面视频内容的合成现实重构的方法和设备
CN111615832B (zh) * 2018-01-22 2022-10-25 苹果公司 用于生成平面视频内容的合成现实重构的方法和设备
KR102231381B1 (ko) * 2019-11-18 2021-03-23 김현수 다수의 2차원 영상을 이용한 가상 현실용 영상 제작 시스템 및 방법
KR20230078369A (ko) * 2021-11-26 2023-06-02 한국전자기술연구원 하이브리드 전송 시스템을 이용하여 3차원 영상 서비스를 제공하는 방법
KR102602941B1 (ko) * 2021-11-26 2023-11-17 한국전자기술연구원 하이브리드 전송 시스템을 이용하여 3차원 영상 서비스를 제공하는 방법
KR102465403B1 (ko) * 2022-01-24 2022-11-09 김태경 2d영상 및 360도 영상이 조합된 동영상 콘텐츠를 제공하는 방법 및 장치

Similar Documents

Publication Publication Date Title
US9965026B2 (en) Interactive video display method, device, and system
KR101754700B1 (ko) Vr 영상과 2차원 영상간 고품질 영상 전환을 지원하는 인터넷 기반 영상 제공 시스템 및 방법
CN104012106B (zh) 使表示不同视点的视频对准
KR20140011857A (ko) 이동 단말에서 디스플레이 장치의 디스플레이를 제어하기 위한 방법 및 이를 위한 이동 단말
CN105872570A (zh) 一种多机位视频同步播放的实现方法及装置
CN107040794A (zh) 视频播放方法、服务器、虚拟现实设备以及全景虚拟现实播放系统
WO2004079630A3 (en) Method and device for image surfing
WO2022019719A1 (en) Generation and distribution of immersive media content from streams captured via distributed mobile devices
KR101528863B1 (ko) 파노라마 영상의 스트리밍 서비스 제공 시스템에서 타일링 영상 동기화 방법
EP2938038B1 (en) Immersion communication client and server, and method for obtaining content view
CN107409239B (zh) 基于眼睛追踪的图像传输方法、图像传输设备及图像传输系统
CN107396085A (zh) 一种全视点视频图像的处理方法及系统
US20200177929A1 (en) Method and apparatus for providing free viewpoint video
JP2013255210A (ja) 映像表示方法、映像表示装置および映像表示プログラム
WO2014190655A1 (zh) 应用同步方法、应用服务器及终端
JP2014116686A (ja) 情報処理装置、情報処理方法、出力装置、出力方法、プログラム、および情報処理システム
Pang et al. Classx mobile: region-of-interest video streaming to mobile devices with multi-touch interaction
US20150281744A1 (en) Viewing system and method
US9185362B2 (en) Method of controlling network camera
KR102152627B1 (ko) 미러링 화면에 관련된 콘텐츠 출력 방법 및 그 장치
CN112188219A (zh) 视频接收方法和装置以及视频发送方法和装置
JP2015162117A (ja) サーバ装置、プログラム、及び情報処理方法
Niamut et al. Live event experiences-interactive UHDTV on mobile devices
JP5818326B2 (ja) 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム
JP5962692B2 (ja) 端末装置、及びプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant