KR20190056640A - Vr 콘텐츠를 제공하는 방법 및 서버, vr 콘텐츠를 출력하는 단말 - Google Patents
Vr 콘텐츠를 제공하는 방법 및 서버, vr 콘텐츠를 출력하는 단말 Download PDFInfo
- Publication number
- KR20190056640A KR20190056640A KR1020170153814A KR20170153814A KR20190056640A KR 20190056640 A KR20190056640 A KR 20190056640A KR 1020170153814 A KR1020170153814 A KR 1020170153814A KR 20170153814 A KR20170153814 A KR 20170153814A KR 20190056640 A KR20190056640 A KR 20190056640A
- Authority
- KR
- South Korea
- Prior art keywords
- content
- viewing
- area
- interest
- time
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 40
- 230000005540 biological transmission Effects 0.000 claims description 8
- 238000012544 monitoring process Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 14
- 238000004891 communication Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 230000002159 abnormal effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/47—End-user applications
- H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
- H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
- H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
- H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
- H04N21/44204—Monitoring of content usage, e.g. the number of times a movie has been viewed, copied or the amount which has been watched
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- Human Computer Interaction (AREA)
- Computer Networks & Wireless Communication (AREA)
- Information Transfer Between Computers (AREA)
Abstract
VR(Virtual Reality) 콘텐츠를 스트리밍하는 스트리밍 서버에서 수행되는 VR 콘텐츠 제공 방법은 VR 콘텐츠의 관심 영역 정보를 저장하는 단계, 사용자 단말로부터 VR 콘텐츠의 시청을 위한 제 1 시청 모드 또는 제 2 시청 모드 중 하나의 선택 정보를 수신하는 단계 및 선택된 제 1 시청 모드 또는 제 2 시청 모드에 기초하여 VR 콘텐츠를 제공하는 단계를 포함하고, 제 1 시청 모드는 사용자 단말로부터 수신된 실시간 시청 영역에 기초하여 VR 콘텐츠가제공되하는 것이고, 제 2 시청 모드는 콘텐츠의 관심 영역 정보에 포함된 시간별 관심 시청 영역에 기초하여 VR 콘텐츠가 제공될 수 있다.
Description
본 발명은 VR(Virtual Reality) 콘텐츠를 제공하는 방법 및 서버, VR 콘텐츠를 출력하는 단말에 관한 것이다.
일반적으로 VR 콘텐츠의 경우, 사용자가 VR 콘텐츠를 전 방향(360도)에서 자유롭게 시청할 수 있도록 제작되고 있다. 따라서, 사용자는 시점을 변경해가며 VR 콘텐츠를 자유롭게 시청할 수 있다.
하지만, VR 콘텐츠에 익숙하지 않은 사용자가 콘텐츠의 제작 의도에 따른 시점에서 콘텐츠를 시청하지 않고 이상 영역에 따른 시점에서 콘텐츠를 시청하는 문제가 빈번히 발생한다.
또한, 시청 영역을 전환하기 위해 사용자 단말을 착용 중인 사용자가 직접 신체를 움직임으로써 시점을 변경하여야 하는 번거로움이 존재했다.
선행 기술인 한국공개특허 제2013-0123629호에는 사용자의 조작에 따라 파노라마 동영상 중의 원하는 시선방향의 동영상과 관심지점 정보를 제공하는 구성이 개시되어 있다.
사용자 단말에서 선택된 VR 콘텐츠의 시청을 위한 시청 모드의 종류에 기초하여 사용자의 실시간 시청 영역에 따라 VR 콘텐츠를 제공하거나 콘텐츠의 관심 영역 정보에 따라 결정된 VR 콘텐츠를 사용자 단말에게 제공하고자 한다. 또한, VR 콘텐츠를 시청하는 사용자 단말로부터 수집된 실시간 시청 영역을 이용하여 사용자의 관심 영역을 결정하고, 결정된 관심 영역에 기초하여 시간별로 관심 시청 영역으로 자동으로 시청 시점이 이동하는 VR 콘텐츠를 사용자 단말에게 제공하고자 한다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 제 1 측면에 따른 VR(Virtual Reality) 콘텐츠를 스트리밍하는 스트리밍 서버에서 수행되는 VR 콘텐츠 제공 방법은 VR 콘텐츠의 관심 영역 정보를 저장하는 단계; 사용자 단말로부터 상기 VR 콘텐츠의 시청을 위한 제 1 시청 모드 또는 제 2 시청 모드 중 하나의 선택 정보를 수신하는 단계; 및 상기 선택된 제 1 시청 모드 또는 제 2 시청 모드에 기초하여 상기 VR 콘텐츠를 제공하는 단계를 포함하고, 상기 제 1 시청 모드는 상기 사용자 단말로부터 수신된 실시간 시청 영역에 기초하여 상기 VR 콘텐츠가 제공되는 것이고, 상기 제 2 시청 모드는 상기 콘텐츠의 관심 영역 정보에 포함된 시간별 관심 시청 영역에 기초하여 상기 VR 콘텐츠가 제공될 수 있다.
본 발명의 제 2 측면에 따른 VR 콘텐츠를 출력하는 사용자 단말은 VR 콘텐츠의 제공 시에 사용자의 실시간 시청 영역을 모니터링하고, 상기 실시간 시청 영역을 스트리밍 서버 및 관심 영역 결정 서버 중 적어도 하나로 전송하는 시청 영역 전송부; 상기 VR 콘텐츠의 시청을 위한 제 1 시청 모드 또는 제 2 시청 모드 중 하나를 입력받는 시청 모드 결정부; 및 상기 선택된 제 1 시청 모드 또는 제 2 시청 모드에 기초하여 상기 VR 콘텐츠를 출력하는 콘텐츠 출력부를 포함하고, 상기 제 1 시청 모드는 상기 실시간 시청 영역에 기초하여 상기 VR 콘텐츠를 출력하는 것이고, 상기 제 2 시청 모드는 기결정된 상기 VR 콘텐츠의 관심 영역 정보에 포함된 시간별 관심 시청 영역에 기초하여 상기 VR 콘텐츠를 출력할 수 있다.
본 발명의 제 3 측면에 따른 VR(Virtual Reality) 콘텐츠를 스트리밍하는 스트리밍 서버는 VR 콘텐츠의 관심 영역 정보를 저장하는 관심 영역 정보 저장부; 사용자 단말로부터 상기 VR 콘텐츠의 시청을 위한 제 1 시청 모드 또는 제 2 시청 모드 중 하나의 선택 정보를 수신하는 시청 모드 수신부; 및 상기 선택된 제 1 시청 모드 또는 제 2 시청 모드에 기초하여 상기 VR 콘텐츠를 제공하는 콘텐츠 제공부를 포함하고, 상기 제 1 시청 모드는 상기 사용자 단말로부터 수신된 실시간 시청 영역에 기초하여 상기 VR 콘텐츠를 제공하는 것이고, 상기 제 2 시청 모드는 상기 VR 콘텐츠의 관심 영역 정보에 포함된 시간별 관심 시청 영역에 기초하여 상기 VR 콘텐츠를 제공할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 사용자 단말에서 선택된 VR 콘텐츠의 시청을 위한 시청 모드의 종류에 기초하여 사용자의 실시간 시청 영역에 따라 VR 콘텐츠를 제공하거나 VR 콘텐츠의 관심 영역 정보에 따라 결정된 VR 콘텐츠를 사용자 단말에게 제공할 수 있다. 또한, VR 콘텐츠를 시청하는 사용자 단말로부터 수집된 실시간 시청 영역을 이용하여 사용자의 관심 영역을 결정하고, 결정된 관심 영역에 기초하여 시간별로 관심 시청 영역으로 자동으로 시청 시점이 이동하는 VR 콘텐츠를 사용자 단말에게 제공할 수 있다.
또한 사용자 정보와 관심 영역 정보를 결합하여 특정 사용자 집단에게 맞춤형 VR 콘텐츠의 시청 경험을 제공할 수 있다. 또한, VR 콘텐츠 상에서의 사용자의 관심 시청 영역의 판단을 통해 VR 콘텐츠의 광고 영역에서의 사용자 관심을 정확하게 파악할 수 있다. 또한, 콘텐츠 제공자가 의도하지 않은 곳에 사용자의 관심이 모이는 경우 VR 콘텐츠를 수정 및 보완할 수 있다. 또한, 시청 영상의 크기가 큰 VR 콘텐츠의 특성상 사용자의 관심 시청 영역에 해당하는 영상의 화질을 높일 수 있어 효율적으로 VR 콘텐츠를 인코딩할 수 있다. 또한, VR 콘텐츠에서 사용자 관심 시청 영역만 추출하여 VR 콘텐츠가 아닌 일반 영상으로 재편집하는데 활용할 수도 있다.
도 1은 본 발명의 일 실시예에 따른, VR 콘텐츠 제공 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른, 도 1에 도시된 사용자 단말의 블록도이다.
도 3은 본 발명의 일 실시예에 따른, 사용자 단말에서 VR 콘텐츠을 출력하는 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른, 도 1에 도시된 스트리밍 서버의 블록도이다.
도 5는 본 발명의 일 실시예에 따른, 스트리밍 서버에서 VR 콘텐츠을 제공하는 방법을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른, VR 콘텐츠을 제공하는 방법을 나타낸 동작 흐름도이다.
도 7은 본 발명의 일 실시예에 따른, 도 1에 도시된 관심 영역 결정 서버의 블록도이다.
도 8은 본 발명의 일 실시예에 따른, VR 콘텐츠의 관심 영역 정보에 따라 VR 콘텐츠를 재구성하는 방법을 하는 방법을 나타낸 동작 흐름도이다.
도 9는 본 발명의 일 실시예에 따른, VR 콘텐츠의 관심 영역을 결정하는 방법을 하는 방법을 나타낸 흐름도이다.
도 2는 본 발명의 일 실시예에 따른, 도 1에 도시된 사용자 단말의 블록도이다.
도 3은 본 발명의 일 실시예에 따른, 사용자 단말에서 VR 콘텐츠을 출력하는 방법을 나타낸 흐름도이다.
도 4는 본 발명의 일 실시예에 따른, 도 1에 도시된 스트리밍 서버의 블록도이다.
도 5는 본 발명의 일 실시예에 따른, 스트리밍 서버에서 VR 콘텐츠을 제공하는 방법을 나타낸 흐름도이다.
도 6은 본 발명의 일 실시예에 따른, VR 콘텐츠을 제공하는 방법을 나타낸 동작 흐름도이다.
도 7은 본 발명의 일 실시예에 따른, 도 1에 도시된 관심 영역 결정 서버의 블록도이다.
도 8은 본 발명의 일 실시예에 따른, VR 콘텐츠의 관심 영역 정보에 따라 VR 콘텐츠를 재구성하는 방법을 하는 방법을 나타낸 동작 흐름도이다.
도 9는 본 발명의 일 실시예에 따른, VR 콘텐츠의 관심 영역을 결정하는 방법을 하는 방법을 나타낸 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말 또는 디바이스에서 수행될 수도 있다.
이하, 첨부된 구성도 또는 처리 흐름도를 참고하여, 본 발명의 실시를 위한 구체적인 내용을 설명하도록 한다.
도 1은 본 발명의 일 실시예에 따른, VR(Virtual Reality) 콘텐츠 제공 시스템의 구성도이다.
도 1을 참조하면, VR 콘텐츠 제공 시스템은 사용자 단말(100), 스트리밍 서버(110) 및 관심 영역 결정 서버(120)를 포함할 수 있다. 다만, 이러한 도 1의 VR 콘텐츠 제공 시스템은 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정 해석되는 것은 아니며, 본 발명의 다양한 실시예들에 따라 도 1과 다르게 구성될 수도 있다.
일반적으로, 도 1의 VR 콘텐츠 제공 시스템의 각 구성요소들은 네트워크(130)를 통해 연결된다. 네트워크(130)는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
사용자 단말(100)은 스트리밍 서버(110)로부터 수신된 VR 콘텐츠를 재생하기 위한 플레이어가 실행되는 단말이다. 예를 들면, 사용자 단말(100)은 VR 콘텐츠를 출력하는 HMD(Head Mounted Display)일 수 있다. 다른 예를 들면, 사용자 단말(100)은 사용자의 VR 콘텐츠의 감상 환경에 따라 별도의 VR 콘텐츠 출력장치(미도시)와 결합되어 사용될 수도 있다. 사용자 단말(100)이 스마트 폰일 경우, HMD(Head Mounted Display)의 형태로 VR 콘텐츠를 출력할 수 있고, 사용자 단말(100)이 PC일 경우, 모니터를 통해 VR 콘텐츠를 출력할 수도 있다. 사용자 단말이 STB(Set-Top Box)인 경우, 리모컨 등으로 조작할 수 있는 TV를 통해 VR 콘텐츠를 출력할 수도 있다.
사용자 단말(100)은 스트리밍 서버(110)에서 제공하는 VR 콘텐츠를 사용자가 시청하는 경우, 사용자의 실시간 시청 영역을 모니터링하고, 모니터링된 실시간 시청 영역을 스트리밍 서버(110) 및 관심 영역 서버(120) 중 하나로 전송할 수 있다.
사용자 단말(100)은 사용자로부터 VR 콘텐츠의 시청을 위한 제 1 시청 모드 또는 제 2 시청 모드 중 하나의 선택 정보를 스트리밍 서버(110)에게 제공할 수 있다.
사용자 단말(100)은 제 1 시청 모드 또는 제 2 시청 모드 각각에 대응하는 VR 콘텐츠를 스트리밍 서버(110)로부터 제공받을 수 있다. 여기서, 제 1 시청 모드는 사용자 단말(100)로부터 수신된 실시간 시청 영역에 기초하여 VR 콘텐츠를 제공하는 모드이고, 제 2 시청 모드는 VR 콘텐츠의 관심 영역 정보에 포함된 시간별 관심 시청 영역에 기초하여 VR 콘텐츠를 제공하는 모드일 수 있다.
예를 들어, 사용자가 제 1 시청 모드를 선택한 경우, VR 콘텐츠의 출력 도중에 사용자는 시점을 변경해가며 VR 콘텐츠를 감상할 수 있다. 이에 반해, 사용자가 제 2 시청 모드를 선택한 경우, 사용자는 사용자 단말(100)을 착용한 상태에서 신체를 움직이면서 시점을 변경하지 않더라도 자동으로 시점이 변경되는 VR 콘텐츠를 감상할 수 있다.
이때, 자동으로 변경되는 시점은 복수의 사용자들의 관심 시청 영역에 기초한 것이므로 사용자가 제 2 시청 모드를 통해 VR 콘텐츠를 감상하더라도 사용자는 VR 콘텐츠에 대하여 높은 시청 만족도를 가질 수 있다.
또한, 사용자는 관심 시청 영역에 기초한 시간별 관심 시청 영역을 시청하게 됨으로써 사용자가 시점을 이상 영역에 둠으로써 관심 시청 영역을 시청하지 못하는 경우를 방지할 수 있다.
스트리밍 서버(110)는 관심 영역 결정 서버(120)로부터 수신된 VR 콘텐츠의 관심 영역 정보를 저장할 수 있다. 여기서, 관심 영역 정보는 VR 콘텐츠에서 적어도 복수의 사용자가 관심을 갖는 시청 영역에 대한 정보(예컨대, 재생 시간별 관심 시청 영역의 위치 정보)를 포함할 수 있다. 관심 영역 정보는 VR 컨텐츠의 타임 라인에 따른 시간별 관심 시청 영역에 대한 정보를 포함할 수 있다.
도시하지 않았으나 스트리밍 서버(100)는 사용자의 VR 콘텐츠의 재생을 위해 정보를 주고 받으며 처리하는 WEB/WAS 서버(미도시)와 VR 콘텐츠의 스트리밍을 위해 VR 콘텐츠를 저장하는 VR 콘텐츠 스토리지(미도시)를 포함할 수 있다.
스트리밍 서버(110)는 사용자 단말(100)에서 선택된 제 1 시청 모드 또는 제 2 시청 모드에 기초하여 VR 콘텐츠를 사용자 단말(100)에게 제공할 수 있다.
스트리밍 서버(110)는 사용자 단말(100)이 제 1 시청 모드를 선택한 경우, 사용자 단말(100)로부터 수신된 실시간 시청 영역에 기초하여 VR 콘텐츠의 출력 영역을 결정하여 VR 콘텐츠를 사용자 단말(100)에게 제공할 수 있다. 즉, 스트리밍 서버(110)는 제 1 시청 모드의 경우, 사용자의 시점 방향에 대응하는 VR 콘텐츠의 출력 영역을 사용자 단말(100)에게 전송할 수 있다.
다른 일 실시 예로, 스트리밍 서버(110)는 사용자 단말(100)이 제 1 시청 모드를 선택한 경우, 사용자 단말(100)의 위치에 기초한 360도 영상을 사용자 단말(100)에게 제공할 수 있다. 이 때, 사용자 단말(100)의 위치가 변경될 때마다 스트리밍 서버(110)는 변경된 위치에 대응하는 360도 영상을 사용자 단말(100)에게 전송할 수 있다. 사용자 단말(100)의 위치에 대응하는 360도 영상을 수신한 사용자 단말(100)은 수신된 360도 영상 중에서 사용자의 시점 방향에 대응하는 영상을 화면을 통해 출력할 수 있다.
스트리밍 서버(110)는 사용자 단말(100)이 제 2 시청 모드를 선택한 경우, 대다수의 사용자가 관심 영역으로 시청했던 관심 시청 영역을 포함하는 관심 영역 정보에 기초하여 결정된 VR 콘텐츠(관심 시청 영역에 대응하는 영상)를 순차적으로 사용자 단말(100)에게 제공할 수 있다. 즉, 스트리밍 서버(110)는 제 2 시청 모드의 경우, 시간별로 관심 시청 영역들로 시점이 자동 전환되는 VR 콘텐츠를 사용자 단말(100)에게 전송할 수 있다.
다른 일 실시 예로, 스트리밍 서버(110)는 사용자 단말(100)이 제 2 시청 모드를 선택한 경우, 대다수의 사용자가 관심 영역으로 시청했던 관심 시청 영역에 대한 관심 영역 정보 및 사용자의 위치에 기초한 360도 영상을 사용자 단말(100)에게 제공할 수 있다. 이 때, 관심 영역 정보 및 사용자의 위치에 기초한 360도 영상을 수신한 사용자 단말(100)은 사용자의 시점과 관계없이 관심 영역 정보에 기초하여 사용자 단말(100)의 위치에 대응하는 360도 영상 중 관심 시청 영상을 추출하고, 이를 화면을 통해 출력할 수 있다.
스트리밍 서버(110)는 사용자 단말(100)과의 VR 콘텐츠의 기준점 정보가 공유될 수 있도록 사용자 단말(100)에서 전송한 실시간 시청 영역에 대한 정보와 재생 시간 정보가 어느 영역의 어느 시간대를 의미하는지 파악하기 위해 사용자 단말(100)과 공통된 시청 영역의 표기 규칙 및 기준점을 설정할 수 있다. 예를 들면, VR 콘텐츠가 0부터 360까지의 값을 갖는 경도(X)와 -90부터 90까지의 값을 갖는 위도(Y)로 이루어진 구(Sphere)면 상에서 어느 정도의 영역을 보여주는지 각도로 표기되는 시청 영역에 대한 각도(θ)를 이용하면 사용자 단말(100)과 스트리밍 서버(110)에서 시청 영역 정보(X, Y, θ) 교환을 위한 규격으로 사용할 수 있다.
사용자 단말(100)과 시청 영역에 대한 기준이 공유되면 사용자 단말(100)은 스트리밍 서버(110)로부터 수신된 VR 콘텐츠를 시청할 수 있다. 이 때 사용자의 시점 이동에 따라 발생하는 실시간 시청 영역의 이동 정보는 해당 시청 영역의 재생 시간 정보와 함께 스트리밍 서버(110)로 전송될 수 있다.
관심 영역 결정 서버(120)는 복수의 사용자 단말(100)로부터 실시간 시청 영역을 수집할 수 있다. 관심 영역 결정 서버(120)는 복수의 사용자 단말(100)로부터 수집된 실시간 시청 영역에 기초하여 VR 콘텐츠의 시간별 관심 시청 영역을 결정하고, 결정된 시간별 관심 시청 영역에 대한 정보를 저장하고, 시간별 관심 시청 영역을 업데이트할 수 있다.
예를 들어, 관심 영역 정보는 복수의 사용자 단말(100)로부터 수집된 실시간 시청 영역에 기초하여 결정된 인기 시청 영역일 수 있다.
여기서, 시간별 관심 시청 영역은 특정 시각에서의 VR 콘텐츠의 출력 영역 중에서 다수의 사용자가 기설정된 임계치 이상의 시간 동안 응시하는 시청 영역일 수 있다. 시간별 관심 시청 영역은 각 VR 콘텐츠별로 분류되어 저장되고, VR 콘텐츠의 자동 시점 전환을 위한 영역으로 사용될 수 있다.
관심 영역 결정 서버(120)는 VR 콘텐츠의 시간별 관심 시청 영역에 대한 정보를 스트리밍 서버(120)에게 제공할 수 있다.
이하에서는 도 1의 VR 콘텐츠 제공 시스템의 각 구성요소의 동작에 대해 보다 구체적으로 설명한다.
도 2는 본 발명의 일 실시예에 따른, 도 1에 도시된 사용자 단말(100)의 블록도이다.
도 2를 참조하면, 사용자 단말(100)은 시청 영역 전송부(200), 시청 모드 결정부(210), 콘텐츠 출력부(220) 및 관심 영역 정보 수신부(230)를 포함할 수 있다. 다만, 도 2에 도시된 사용자 단말(100)은 본 발명의 하나의 구현 예에 불과하며, 도 2에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.
시청 영역 전송부(200)는 VR 콘텐츠의 출력 시에 사용자의 실시간 시청 영역을 모니터링하고, 실시간 시청 영역을 스트리밍 서버(110) 및 관심 영역 결정 서버(120) 중 적어도 하나로 전송할 수 있다. 시청 모드 결정부(210)는 VR 콘텐츠의 시청을 위한 제 1 시청 모드 또는 제 2 시청 모드 중 하나를 사용자로부터 입력받을 수 있다.
시청 영역 전송부(200)는 제 1 시청 모드가 선택된 경우에만, 실시간 시청 영역을 스트리밍 서버(110) 및 관심 영역 결정 서버(120)에게 전송할 수 있다.
관심 영역 정보 수신부(230)는 제 2 시청 모드가 선택된 경우, 스트리밍 서버(110)로부터 관심 영역 정보를 수신할 수 있다.
콘텐츠 출력부(220)는 선택된 제 1 시청 모드 또는 제 2 시청 모드에 기초하여 VR 콘텐츠를 출력할 수 있다.
콘텐츠 출력부(220)는 제 1 시청 모드가 선택된 경우, 실시간 시청 영역에 기초하여 VR 콘텐츠를 출력할 수 있다. 콘텐츠 출력부(220)는 제 1 시청 모드가 선택된 경우, 실시간 시청 영역에 기초하여 결정된 VR 콘텐츠의 출력 영역을 출력할 수 있다.
다른 일 실시 예로 콘텐츠 출력부(220)는 제 1 시청 모드가 선택된 경우, 사용자 단말(100)의 위치가 변경될 때마다 스트리밍 서버(110)로부터 변경된 위치에 대응하는 360도 영상을 수신하고, 수신된 360도 영상 중에서 사용자의 시점 방향에 대응하는 영상을 화면을 통해 출력할 수 있다.
콘텐츠 출력부(220)는 제 2 시청 모드가 선택된 경우, VR 콘텐츠의 시간별 관심 시청 영역에 기초하여 VR 콘텐츠를 출력할 수 있다. 콘텐츠 출력부(220)는 제 2 시청 모드가 선택된 경우, VR 콘텐츠의 시간별 관심 시청 영역에 기초하여 결정된 VR 콘텐츠의 출력 영역을 출력할 수 있다.
다른 일 실시 예로 콘텐츠 출력부(220)는 제 2 시청 모드가 선택된 경우, 스트리밍 서버(110)로부터 관심 영역 정보 및 사용자의 위치에 기초한 360도 영상을 수신하고, 관심 영역 정보에 기초하여 사용자 단말(100)의 위치에 대응하는 360도 영상 중 관심 시청 영상을 추출하고, 이를 화면을 통해 출력할 수 있다.
한편, 당업자라면, 시청 영역 전송부(200), 시청 모드 결정부(210), 콘텐츠 출력부(220) 및 관심 영역 정보 수신부(230)각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 3은 본 발명의 일 실시예에 따른, 사용자 단말(100)에서 VR 콘텐츠을 출력하는 방법을 나타낸 흐름도이다.
도 3을 참조하면, 단계 S301에서 사용자 단말(100)은 VR 콘텐츠의 출력 시에 사용자의 실시간 시청 영역을 모니터링하고, 모니터링된 실시간 시청 영역을 스트리밍 서버(110) 및 관심 영역 결정 서버(120) 중 적어도 하나로 전송할 수 있다.
단계 S303에서 사용자 단말(100)은 VR 콘텐츠의 시청을 위한 제 1 시청 모드 또는 제 2 시청 모드 중 하나를 사용자로부터 입력받을 수 있다.
단계 S305에서 사용자 단말(100)은 선택된 제 1 시청 모드 또는 제 2 시청 모드에 기초하여 VR 콘텐츠를 출력할 수 있다. 여기서, 제 1 시청 모드는 실시간 시청 영역에 기초하여 VR 콘텐츠를 출력하는 모드이고, 제 2 시청 모드는 기결정된 상기 VR 콘텐츠의 관심 영역 정보에 포함된 시간별 관심 시청 영역에 기초하여 VR 콘텐츠를 출력하는 모드일 수 있다.
도 4는 본 발명의 일 실시예에 따른, 도 1에 도시된 스트리밍 서버(110)의 블록도이다.
도 4를 참조하면, 스트리밍 서버(110)는 관심 영역 정보 저장부(400), 시청 모드 수신부(410), 콘텐츠 제공부(420), 실시간 시청 영역 수신부(430), 출력 영역 결정부(440) 및 전송부(450)를 포함할 수 있다. 다만, 도 1에 도시된 스트리밍 서버(110)는 본 발명의 하나의 구현 예에 불과하며, 도 4에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.
관심 영역 정보 저장부(400)는 관심 영역 결정 서버(120)로부터 수신된 VR 콘텐츠의 관심 영역 정보를 저장할 수 있다. 여기서, 관심 영역 정보는 시간별 관심 시청 영역에 대한 정보를 포함할 수 있다.
시청 모드 수신부(410)는 사용자 단말(100)로부터 VR 콘텐츠의 시청을 위한 제 1 시청 모드 또는 제 2 시청 모드 중 하나의 선택 정보를 수신할 수 있다.
실시간 시청 영역 수신부(430)는 사용자 단말(100)에서 제 1 시청 모드를 선택한 경우, 사용자 단말(100)로부터 실시간 시청 영역에 대한 정보를 수신할 수 있다.
콘텐츠 제공부(420)는 선택된 제 1 시청 모드 또는 제 2 시청 모드에 기초하여 VR 콘텐츠를 제공할 수 있다. 구체적으로, 콘텐츠 제공부(420)는 사용자 단말(100)이 제 1 시청 모드를 선택한 경우, 사용자 단말(100)로부터 수신된 실시간 시청 영역에 기초하여 VR 콘텐츠를 사용자 단말(100)에게 제공할 수 있다.
콘텐츠 제공부(420)는 사용자 단말(100)이 제 2 시청 모드를 선택한 경우, VR 콘텐츠의 관심 영역 정보에 포함된 시간별 관심 시청 영역에 기초하여 사용자 단말(100)에게 VR 콘텐츠를 제공할 수 있다.
출력 영역 결정부(440)는 실시간 시청 영역 또는 시간별 관심 시청 영역에 기초하여 VR 콘텐츠의 출력 영역을 결정할 수 있다. 예를 들어, 출력 영역 결정부(440)는 사용자 단말(100)로부터 제 1 시청 모드에 대한 선택 정보를 수신한 경우, 실시간 시청 영역에 기초하여 VR 콘텐츠의 출력 영역을 결정할 수 있다. 출력 영역 결정부(400)는 사용자 단말(100)로부터 제 2 시청 모드에 대한 선택 정보를 수신한 경우, 시간별 관심 시청 영역에 기초하여 VR 콘텐츠의 출력 영역을 결정할 수 있다.
전송부(450)는 결정된 VR 콘텐츠의 출력 영역을 사용자 단말(100)에게 전송할 수 있다.
한편, 당업자라면, 관심 영역 정보 저장부(400), 시청 모드 수신부(410), 콘텐츠 제공부(420), 실시간 시청 영역 수신부(430), 출력 영역 결정부(440) 및 전송부(450) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 5는 본 발명의 일 실시예에 따른, 스트리밍 서버(110)에서 VR 콘텐츠을 제공하는 방법을 나타낸 흐름도이다.
도 5를 참조하면, 단계 S501에서 스트리밍 서버(110)는 VR 콘텐츠의 관심 영역 정보를 저장할 수 있다. 여기서, 관심 영역 정보는 시간별 관심 시청 영역에 대한 정보를 포함할 수 있다.
단계 S503에서 스트리밍 서버(110)는 사용자 단말(100)로부터 VR 콘텐츠의 시청을 위한 제 1 시청 모드 또는 제 2 시청 모드 중 하나의 선택 정보를 수신할 수 있다.
단계 S505에서 스트리밍 서버(110)는 사용자 단말(100)에 의해 선택된 제 1 시청 모드 또는 제 2 시청 모드에 기초하여 VR 콘텐츠를 사용자 단말(100)에게 제공할 수 있다. 여기서, 제 1 시청 모드는 사용자 단말(100)로부터 수신된 실시간 시청 영역에 기초하여 VR 콘텐츠를 제공하는 모드이고, 제 2 시청 모드는 VR 콘텐츠의 관심 영역 정보에 포함된 시간별 관심 시청 영역에 기초하여 VR 콘텐츠를 제공하는 모드일 수 있다.
도 5에는 도시되지 않았으나, 단계 S501에서, 스트리밍 서버(110)는 관심 영역 결정 서버(120)로부터 VR 콘텐츠의 관심 영역 정보를 수신할 수 있다.
도 5에는 도시되지 않았으나, 단계 S505에서, 스트리밍 서버(110)는 제 1 시청 모드가 선택된 경우, 사용자 단말(100)로부터 실시간 시청 영역에 대한 정보를 수신하고, 사용자 단말(100)로부터 수신된 실시간 시청 영역에 기초하여 VR 콘텐츠의 출력 영역을 결정하고, 결정된 VR 콘텐츠의 출력 영역을 사용자 단말(100)에게 전송할 수 있다.
도 5에는 도시되지 않았으나, 단계 S505에서, 스트리밍 서버(110)는 제 2 시청 모드가 선택된 경우, 시간별 관심 시청 영역에 기초하여 VR 콘텐츠의 출력 영역을 결정하고, 결정된 VR 콘텐츠의 출력 영역을 사용자 단말(100)에게 전송할 수 있다.
도 6은 본 발명의 일 실시예에 따른, VR 콘텐츠을 제공하는 방법을 나타낸 동작 흐름도이다.
도 6을 참조하면, 단계 S601에서 스트리밍 서버(110)는 사용자 단말(100)로부터 VR 콘텐츠의 시청을 위한 제 1 시청 모드의 선택 정보를 수신할 수 있다.
단계 S603에서 사용자 단말(100)는 VR 콘텐츠에 대한 사용자의 실시간 시청 영역을 모니터링할 수 있다.
단계 S605에서 스트리밍 서버(110)는 사용자 단말(100)로부터 실시간 시청 영역을 수신할 수 있다.
단계 S607에서 스트리밍 서버(110)는 수신된 실시간 시청 영역에 기초하여 VR 콘텐츠를 사용자 단말(100)에게 제공할 수 있다.
단계 S609에서 VR 콘텐츠를 사용자 단말(100)에게 제공하는 도중에 스트리밍 서버(110)가 사용자 단말(100)로부터 VR 콘텐츠의 시청을 위한 제 2 시청 모드의 선택 정보를 수신한 경우(즉, 사용자가 시청 모드를 변경한 경우), 단계 S611에서 VR 콘텐츠의 관심 영역 정보에 포함된 시간별 관심 시청 영역에 기초하여 VR 콘텐츠를 사용자 단말(100)에게 제공할 수 있다. 여기서, VR 콘텐츠의 관심 영역 정보는 관심 영역 결정 서버(120)로부터 수신되어 관심 영역 정보 저장부(400)에 저장되고, 관심 영역 정보는 시간별 관심 시청 영역에 대한 정보를 포함할 수 있다.
도 6에서는 사용자가 제 1 시청 모드를 통해 VR 콘텐츠를 시청하는 도중에 제 2 시청 모드로 시청 모드를 변경하는 경우를 예시적으로 도시하였으나, 이와 달리 사용자가 제 2 시청 모드로 VR 콘텐츠를 시청하는 도중에 제 1 시청 모드로 시청 모드를 변경하는 경우에도 적용될 수 있다.
상술한 설명에서, 단계 S601 내지 S611은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 7은 본 발명의 일 실시예에 따른, 도 1에 도시된 관심 영역 결정 서버(120)의 블록도이다.
도 7을 참조하면, 관심 영역 결정 서버(120)는 실시간 시청 영역 수신부(700), 관심 영역 결정부(710), 관심 영역 정보 전송부(720) 및 관심 영역 정보 저장부(730)를 포함할 수 있다. 다만, 도 1에 도시된 관심 영역 결정 서버(120)는 본 발명의 하나의 구현 예에 불과하며, 도 7에 도시된 구성요소들을 기초로 하여 여러 가지 변형이 가능하다.
실시간 시청 영역 수신부(700)는 사용자 단말(100)로부터 실시간 시청 영역을 수신할 수 있다. 구체적으로, 실시간 시청 영역 수신부(700)는 사용자 단말(100)의 시선 이동에 따른 VR 콘텐츠에 대한 시청 영역이 변경되면, 사용자 단말(100)로부터 변경되는 실시간 시청 영역을 수신할 수 있다.
관심 영역 결정부(710)는 수신된 실시간 시청 영역이 사용자 단말(100)의 관심 영역인지의 여부를 판단할 수 있다.
수신된 실시간 시청 영역들이 미세한 차이로 이동된 시청 영역들인 경우(예컨대, 실시간 시청 영역의 중심 좌표가 미세하게 변화한 경우), 관심 영역 결정부(710)는 해당 수신된 시청 영역들을 하나의 시청 영역으로 판단할 수 있다. 복수의 실시간 시청 영역들 간의 미세한 변화는 사용자 단말(100)의 사용자의 시점 변화의 의지를 담고 있다고 볼 수 없다. 이러한 경우, 실시간 시청 영역들에 대한 보정이 필요하다.
예를 들면, 관심 영역 결정부(710)는 최초로 수신된 실시간 시청 영역의 중심좌표(또는 중심점 M(X, Y))로부터 기설정된 임계치 이상의 좌표변화가 발생하지 않은 실시간 시청 영역들에 대하여 동일한 관심 영역으로 판단할 수 있다.
관심 영역 결정부(710)는 실시간 시청 영역의 기설정된 임계치 이상의 좌표변화가 발생하기 전에 복수의 실시간 시청 영역 각각의 중심 좌표들간의 평균점을 계산하고, 계산된 평균점에 대응하는 중심 좌표를 관심 시청 영역의 중심 좌표로 설정할 수 있다.
관심 영역 결정부(710)는 관심 시청 영역의 중심 좌표에서 실시간 시청 영역이 유지되는 시간에 따라 해당 실시간 시청 영역이 관심 영역인지 여부를 판단할 수 있다. 예를 들면, 관심 영역 결정부(710)는 관심 시청 영역의 중심 좌표에서 일정 시간(S) 동안 실시간 시청 영역이 유지되면 실시간 시청 영역을 관심 시청 영역으로 판단할 수 있다. 관심 영역 결정부(710)는 일정 시간(S)을 로그 함수 형태의 시간 함수에 대입하여 시간 변수(T)를 계산하고, 이를 통해 실시간 시청 영역에 대한 관심도 수준을 판단할 수 있다.
관심 영역 결정부(710)는 관심 시청 영역이라고 판단된 실시간 시청 영역이 변경된 경우, 관심 영역이 이동되었다고 판단할 수 있다. 관심 영역 결정부(710)는 실시간 시청 영역의 중심 좌표값에 변화가 있을 때, 관심 영역의 위치가 변했다고 판단할 수 있다. 만일, 화상을 확대시키거나(zoom in) 화상을 축소시킴(zoom out)으로써, 실시간 시청 영역의 크기만 변화하는 경우는 관심 영역의 위치는 동일하지만 관심 영역의 크기가 달라진 것으로 판단할 수 있다. 이 때, 관심 영역 결정부(710)는 관심 시청 영역의 중심좌표가 유지되는 중에 시청 영역의 크기가 달라지는 경우에 대해 해당 크기의 변동에 관한 정보를 관심 영역 정보 저장부(730)에 저장할 수 있다.
관심 영역 결정부(710)는 관심 시청 영역의 중심좌표라고 판단된 실시간 시청 영역들에 대하여 해당 중심좌표에서 어떤 크기의 시청 영역으로 시청되는지에 따라 가중치를 달리하고, 해당 중심좌표에서 좁은 시청 영역으로 시청할수록 주요한 관심영역이라고 판단할 수 있다.
관심 영역 결정부(710)는 관심 시청 영역으로 판단된 복수의 시청 영역의 중심점(중심 좌표)들을 군집화(Clustering)할 수 있다. 이 때, 중심점들을 군집화하기 위한 기준으로 중심점간의 거리의 차를 이용할 수 있다. 각 중심점 간의 거리는 VR 컨텐츠가 렌더링되어 재생되는 가상의 구(Sphere)면 상에서의 거리를 기준으로 할 수 있다. 예를 들어, 평균 결합 알고리즘(Average Linkage Algorithm) 등을 이용한 계층적 군집화(Hierarchical Clustering)를 통해 후보 그룹들이 생성되고 각 그룹의 평균점(G)이 계산될 수 있다. 이 때, 그룹의 평균점을 구할 때 사용되는 중심점은 시청 영역의 크기에 따라 가중치를 달리한 중심 좌표를 통해 계산될 수 있다.
예를 들면, 각각 다른 (X, Y, θ)의 값을 갖는 같은 그룹내의 서로 다른 중심점 M1(100, 0, 90), M2(110, 0, 120)을 이용하여 그룹의 중심점 G를 계산할 경우, M1이 M2에 비해 시청 영역의 크기가 작으므로 더 큰 가중치를 M1에 할당하고, M1과 M2의 중간인 (105, 0)보다 M1에 가깝도록 중심점을 설정할 수 있다.
예를 들면, 그룹의 중심점(G)를 구하고, 중심점을 중심으로 그룹 내 시청 영역들의 중심점들 간의 마할라노비스 거리(Mahalanobis Distace)를 측정하여 그룹의 중심으로부터 일정거리 이상 떨어진 시청 영역의 중심점(M)은 그룹에서 제외시킬 수 있다. 이후, 다시 그룹의 중심점 G를 계산하고 중심점으로부터 먼 표본은 제외시킬 수 있다. 이러한 과정을 반복하여 그룹 중심점으로부터 일정 간격 이내의 시청 영역의 중심점들로만 이루어진 그룹들을 생성할 수 있다.
관심 영역 결정부(710)는 그룹들 중에 표본이 가장 많은 그룹을 사용자의 관심 시청 영역으로 판단할 수 있다. 이 때, 관심 시청 영역에 대한 정보는 그룹의 중심점으로 설정할 수 있다. 관심 시청 영역의 크기는 그룹 내 중심점들의 시청 영역의 크기 값들을 히스토그램 분석 후 가장 높은 값을 나타내는 크기로 설정할 수 있다. 시청 영역의 크기는 일정 수준 이상의 변화가 있을 때 그 변화의 정도를 반영하도록 하여 빈번한 시청 영역의 크기 변동이 발생하지 않도록 할 수 있다.
관심 영역 결정부(710)는 VR 콘텐츠의 재생 시간 구간 동안, 관심 시청 영역을 중심으로 시점이 자동으로 전환되도록 시간별 관심 시청 영역에 대한 정보를 포함한 관심 영역 정보를 생성할 수 있다.
이후, 관심 영역 결정부(710)는 새로운 사용자로부터 실시간 시청 영역을 수신한 경우, 수신된 실시간 시청 영역으로부터 관심 시청 영역을 판단하고, 관심 시청 영역을 업데이트할 수 있다.
관심 영역 결정부(710)는 복수의 사용자로부터 동일 VR 콘텐츠에서의 관심 시청 영역을 시간별로 추출할 수 있다.
관심 영역 결정부(710)는 각 VR 콘텐츠에 대한 복수의 사용자의 실시간 시청 정보를 분석하고, 각 사용자의 특성에 따라 관심 영역을 분류할 수 있다.
관심 영역 정보 전송부(720)는 시간별로 추출된 관심 시청 영역에 따라 자동으로 다른 관심 시청 영역으로 전환할 수 있도록 관심 영역 정보를 사용자 단말(100)에게 전송할 수 있다.
다른 실시 예로, 관심 영역 정보 전송부(720)는 사용자 단말(100)의 사용자의 특성에 기초하여 분류된 시간별 관심 시청 영역을 포함하는 관심 영역 정보를 사용자 단말(100)에게 전송할 수 있다.
관심 영역 정보 저장부(730)는 사용자별로 VR 콘텐츠에 대한 관심 영역 정보 및 시간별 관심 시청 영역의 중심좌표를 저장할 수 있다.
한편, 당업자라면, 실시간 시청 영역 수신부(700), 관심 영역 결정부(710), 관심 영역 정보 전송부(720) 및 관심 영역 정보 저장부(730) 각각이 분리되어 구현되거나, 이 중 하나 이상이 통합되어 구현될 수 있음을 충분히 이해할 것이다.
도 8은 본 발명의 일 실시예에 따른, VR 콘텐츠의 관심 영역 정보에 따라 VR 콘텐츠를 재구성하는 방법을 하는 방법을 나타낸 동작 흐름도이다.
도 8을 참조하면, 단계 S801에서 관심 영역 결정 서버(120)는 스트리밍 서버(110)가 사용자 단말(100)로 VR 콘텐츠를 제공할 시, 사용자 단말(100)로부터 실시간 시청 영역을 수신할 수 있다.
단계 S803에서 관심 영역 결정 서버(120)는 사용자 단말(100)로부터 수신된 실시간 시청 영역이 사용자의 관심 영역에 해당하는 영역인지를 판단할 수 있다.
단계 S805에서 관심 영역 결정 서버(120)는 실시간 시청 영역이 사용자의 관심 영역에 해당하는 경우, 시청 영역의 정보(예컨대, 시청 영역의 좌표 정보) 및 시간 정보(예컨대, 시청 영역의 출력 시간 정보)를 저장할 수 있다.
단계 S807에서 관심 영역 결정 서버(120)는 시간별 관심 시청 영역에 기초하여 VR 콘텐츠를 재구성할 수 있다. 구체적으로 시간별 관심 시청 영역의 타임 라인에 기초하여 관심 시청 영역 간으로 시점이 자동으로 전환될 수 있도록 VR 콘텐츠를 재구성할 수 있다.
단계 S809에서 관심 영역 결정 서버(120)는 재구성된 VR 콘텐츠의 관심 영역 정보를 스트리밍 서버(110)로 전송할 수 있다. 여기서, 관심 영역 정보는 시간별 괸심 시청 영역에 대한 정보를 포함할 수 있다.
상술한 설명에서, 단계 S801 내지 S809는 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
도 9는 본 발명의 일 실시예에 따른, VR 콘텐츠의 관심 영역을 결정하는 방법을 하는 방법을 나타낸 흐름도이다.
도 9을 참조하면, 단계 S901에서 관심 영역 결정 서버(120)는 사용자 단말(100)로부터 수신된 실시간 시청 영역들간의 미세한 이동을 보정할 수 있다.
단계 S903에서 관심 영역 결정 서버(120)는 수신된 복수의 실시간 시청 영역 각각이 사용자의 관심 영역에 해당하는지를 판단하고, 관심 영역에 해당하는 시청 영역에 대한 정보를 저장할 수 있다.
단계 S905에서 관심 영역 결정 서버(120)는 관심 영역으로 판단된 실시간 시청 영역에 인접한 시청 영역의 중심점을 그룹핑할 수 있다.
단계 S907에서 관심 영역 결정 서버(120)는 그룹핑된 그룹에 대한 평균 중심점을 계산할 수 있다. 구체적으로, 그룹 내에서 에러가 큰 표본을 제외하고, 그룹의 중심점을 계산할 수 있다.
단계 S909에서 관심 영역 결정 서버(120)는 그룹의 평균 중심점을 이용하여, 관심 시청 영역을 분석할 수 있다.
단계 S911에서 관심 영역 결정 서버(120)는 시간별 관심 시청 영역에 따른 자동 시점 이동 패턴(VR 콘텐츠의 재생 시간의 구간 동안, 자동으로 관심 시청 영역으로 시점이 이동되도록 하는 패턴)을 생성할 수 있다.
상술한 설명에서, 단계 S901 내지 S911은 본 발명의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 사용자 단말
110: 스트리밍 서버
120: 관심 영역 결정 서버
110: 스트리밍 서버
120: 관심 영역 결정 서버
Claims (20)
- VR(Virtual Reality) 콘텐츠를 스트리밍하는 스트리밍 서버에서 수행되는 VR 콘텐츠 제공 방법에 있어서,
VR 콘텐츠의 관심 영역 정보를 저장하는 단계;
사용자 단말로부터 상기 VR 콘텐츠의 시청을 위한 제 1 시청 모드 또는 제 2 시청 모드 중 하나의 선택 정보를 수신하는 단계; 및
상기 선택된 제 1 시청 모드 또는 제 2 시청 모드에 기초하여 상기 VR 콘텐츠를 제공하는 단계
를 포함하고,
상기 제 1 시청 모드는 상기 사용자 단말로부터 수신된 실시간 시청 영역에 기초하여 상기 VR 콘텐츠가 제공되는 것이고,
상기 제 2 시청 모드는 상기 VR 콘텐츠의 관심 영역 정보에 포함된 시간별 관심 시청 영역에 기초하여 상기 VR 콘텐츠가 제공되는 것인, VR 콘텐츠 제공 방법.
- 제 1 항에 있어서,
상기 VR 콘텐츠의 관심 영역 정보를 저장하는 단계는
관심 영역 결정 서버로부터 상기 VR 콘텐츠의 관심 영역 정보를 수신하는 단계
를 포함하는 것인, VR 콘텐츠 제공 방법.
- 제 1 항에 있어서,
상기 관심 영역 정보는 시간별 관심 시청 영역에 대한 정보를 포함하는 것인, VR 콘텐츠 제공 방법.
- 제 1 항에 있어서,
상기 관심 영역 정보는 복수의 사용자 단말로부터 수집된 실시간 시청 영역에 기초하여 결정된 인기 시청 영역인 것인, VR 콘텐츠 제공 방법.
- 제 1 항에 있어서,
상기 관심 영역 정보는 상기 VR 콘텐츠의 화상을 확대시키거나 화상을 축소시킴으로써 변화되는 상기 실시간 시청 영역의 크기에 기초하여 결정되는 것인, VR 콘텐츠 제공 방법.
- 제 1 항에 있어서,
상기 관심 영역 정보는 평균 결합 알고리즘(Average Linkage Algorithm)에 기초하여 복수의 사용자 단말로부터 수집된 실시간 시청 영역의 중심점들을 군집화하여 결정되는 것인, VR 콘텐츠 제공 방법.
- 제 1 항에 있어서,
상기 VR 콘텐츠를 제공하는 단계는
상기 사용자 단말과 시청 영역의 표기 규칙 및 시청 영역의 기준점을 일치시키는 단계
를 포함하는 것인, VR 콘텐츠 제공 방법.
- 제 7 항에 있어서,
상기 시청 영역의 표기 규칙은 상기 VR 콘텐츠의 경위도 정보 및 각도 정보를 포함하는 것인, VR 콘텐츠 제공 방법.
- 제 1 항에 있어서,
상기 선택된 제 1 시청 모드 또는 제 2 시청 모드에 기초하여 상기 VR 콘텐츠를 제공하는 단계는
상기 제 1 시청 모드가 선택된 경우, 상기 사용자 단말로부터 상기 실시간 시청 영역에 대한 정보를 수신하는 단계;
상기 사용자 단말로부터 수신된 실시간 시청 영역에 기초하여 상기 VR 콘텐츠의 출력 영역을 결정하는 단계; 및
상기 결정된 VR 콘텐츠의 출력 영역을 상기 사용자 단말로 전송하는 단계
를 포함하는 것인, VR 콘텐츠 제공 방법.
- 제 1 항에 있어서,
상기 선택된 제 1 시청 모드 또는 제 2 시청 모드에 기초하여 상기 VR 콘텐츠를 제공하는 단계는
상기 제 2 시청 모드가 선택된 경우, 상기 시간별 관심 시청 영역에 기초하여 상기 VR 콘텐츠의 출력 영역을 결정하는 단계; 및
상기 결정된 VR 콘텐츠의 출력 영역을 상기 사용자 단말로 전송하는 단계
를 포함하는 것인, VR 콘텐츠 제공 방법.
- VR(Virtual Reality) 콘텐츠를 출력하는 사용자 단말에 있어서,
VR 콘텐츠의 제공 시에 사용자의 실시간 시청 영역을 모니터링하고, 상기 실시간 시청 영역을 스트리밍 서버 및 관심 영역 결정 서버 중 적어도 하나로 전송하는 시청 영역 전송부;
상기 VR 콘텐츠의 시청을 위한 제 1 시청 모드 또는 제 2 시청 모드 중 하나를 입력받는 시청 모드 결정부; 및
상기 선택된 제 1 시청 모드 또는 제 2 시청 모드에 기초하여 상기 VR 콘텐츠를 출력하는 콘텐츠 출력부
를 포함하고,
상기 제 1 시청 모드는 상기 실시간 시청 영역에 기초하여 상기 VR 콘텐츠를 출력하는 것이고,
상기 제 2 시청 모드는 기결정된 상기 VR 콘텐츠의 관심 영역 정보에 포함된 시간별 관심 시청 영역에 기초하여 상기 VR 콘텐츠를 출력하는 것인, 사용자 단말.
- 제 11 항에 있어서,
상기 시청 영역 전송부는 상기 제 1 시청 모드가 선택된 경우에만, 상기 실시간 시청 영역을 상기 스트리밍 서버 및 상기 관심 영역 결정 서버로 전송하는 것인, 사용자 단말.
- 제 11 항에 있어서,
상기 콘텐츠 출력부는 상기 제 1 시청 모드가 선택된 경우, 상기 실시간 시청 영역에 기초하여 결정된 상기 VR 콘텐츠의 출력 영역을 출력하는 것인, 사용자 단말.
- 제 13 항에 있어서,
상기 제 2 시청 모드가 선택된 경우, 상기 스트리밍 서버로부터 상기 관심 영역 정보를 수신하는 관심 영역 정보 수신부
를 더 포함하고,
상기 콘텐츠 출력부는 상기 VR 콘텐츠의 시간별 관심 시청 영역에 기초하여 결정된 상기 VR 콘텐츠의 출력 영역을 출력하는 것인, 사용자 단말.
- VR(Virtual Reality) 콘텐츠를 스트리밍하는 스트리밍 서버에 있어서,
VR 콘텐츠의 관심 영역 정보를 저장하는 관심 영역 정보 저장부;
사용자 단말로부터 상기 VR 콘텐츠의 시청을 위한 제 1 시청 모드 또는 제 2 시청 모드 중 하나의 선택 정보를 수신하는 시청 모드 수신부; 및
상기 선택된 제 1 시청 모드 또는 제 2 시청 모드에 기초하여 상기 VR 콘텐츠를 제공하는 콘텐츠 제공부
를 포함하고,
상기 제 1 시청 모드는 상기 사용자 단말로부터 수신된 실시간 시청 영역에 기초하여 상기 VR 콘텐츠를 제공하는 것이고,
상기 제 2 시청 모드는 상기 VR 콘텐츠의 관심 영역 정보에 포함된 시간별 관심 시청 영역에 기초하여 상기 VR 콘텐츠를 제공하는 것인, 스트리밍 서버.
- 제 15 항에 있어서,
상기 VR 콘텐츠의 관심 영역 정보는 관심 영역 결정 서버로부터 수신되어 저장되는 것인, 스트리밍 서버.
- 제 15 항에 있어서,
상기 관심 영역 정보는 시간별 관심 시청 영역에 대한 정보를 포함하는 것인, 스트리밍 서버.
- 제 15 항에 있어서,
상기 제 1 시청 모드가 선택된 경우, 상기 사용자 단말로부터 상기 실시간 시청 영역에 대한 정보를 수신하는 실시간 시청 영역 수신부
를 더 포함하는 것인, 스트리밍 서버.
- 제 18 항에 있어서,
상기 실시간 시청 영역 또는 상기 시간별 관심 시청 영역에 기초하여 상기 VR 콘텐츠의 출력 영역을 결정하는 출력 영역 결정부; 및
상기 결정된 VR 콘텐츠의 출력 영역을 상기 사용자 단말로 전송하는 전송부
를 더 포함하는 것인, 스트리밍 서버.
- 제 19 항에 있어서,
상기 출력 영역 결정부는 상기 제 1 시청 모드가 선택된 경우, 상기 실시간 시청 영역에 기초하여 상기 VR 콘텐츠의 출력 영역을 결정하고, 상기 제 2 시청 모드가 선택된 경우, 상기 시간별 관심 시청 영역에 기초하여 상기 VR 콘텐츠의 출력 영역을 결정하는 것인, 스트리밍 서버.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170153814A KR102413646B1 (ko) | 2017-11-17 | 2017-11-17 | Vr 콘텐츠를 제공하는 방법 및 서버, vr 콘텐츠를 출력하는 단말 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170153814A KR102413646B1 (ko) | 2017-11-17 | 2017-11-17 | Vr 콘텐츠를 제공하는 방법 및 서버, vr 콘텐츠를 출력하는 단말 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190056640A true KR20190056640A (ko) | 2019-05-27 |
| KR102413646B1 KR102413646B1 (ko) | 2022-06-27 |
Family
ID=66679223
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170153814A KR102413646B1 (ko) | 2017-11-17 | 2017-11-17 | Vr 콘텐츠를 제공하는 방법 및 서버, vr 콘텐츠를 출력하는 단말 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102413646B1 (ko) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101452372B1 (ko) * | 2013-03-06 | 2014-10-22 | 주식회사 씨트링 | 카메라 제어 방법 및 그 시스템 |
| KR20160118568A (ko) * | 2015-04-02 | 2016-10-12 | 한국과학기술원 | Ｈｍｄ가 구비된 단말의 정보 제공 서비스 방법 및 장치 |
| KR20170121662A (ko) * | 2016-04-25 | 2017-11-02 | 한국과학기술원 | 파노라마 영상의 자동 시야각 제어 방법 및 그 시스템 |
-
2017
- 2017-11-17 KR KR1020170153814A patent/KR102413646B1/ko active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101452372B1 (ko) * | 2013-03-06 | 2014-10-22 | 주식회사 씨트링 | 카메라 제어 방법 및 그 시스템 |
| KR20160118568A (ko) * | 2015-04-02 | 2016-10-12 | 한국과학기술원 | Ｈｍｄ가 구비된 단말의 정보 제공 서비스 방법 및 장치 |
| KR20170121662A (ko) * | 2016-04-25 | 2017-11-02 | 한국과학기술원 | 파노라마 영상의 자동 시야각 제어 방법 및 그 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102413646B1 (ko) | 2022-06-27 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10681342B2 (en) | Behavioral directional encoding of three-dimensional video | |
| US11025959B2 (en) | Probabilistic model to compress images for three-dimensional video | |
| US10721454B2 (en) | Methods and apparatus for processing content based on viewing information and/or communicating content | |
| JP7436599B2 (ja) | 空間的不均等ストリーミング | |
| US10491711B2 (en) | Adaptive streaming of virtual reality data | |
| JP6996514B2 (ja) | 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム | |
| CN106063277A (zh) | 用于对内容进行流传输的方法和装置 | |
| US20170171271A1 (en) | Video streaming | |
| KR20200004388A (ko) | Vr 멀티미디어의 경험 품질을 결정하기 위한 방법 및 장치 | |
| US20210092464A1 (en) | Systems and methods for providing content based on multiple angles | |
| Park et al. | Seaware: Semantic aware view prediction system for 360-degree video streaming | |
| KR102413646B1 (ko) | Vr 콘텐츠를 제공하는 방법 및 서버, vr 콘텐츠를 출력하는 단말 | |
| US20210092463A1 (en) | Systems and methods for providing content based on multiple angles | |
| EP4035399A2 (en) | Systems and methods for providing content based on multiple angles | |
| CN115037951A (zh) | 直播处理方法及装置 | |
| WO2018035383A1 (en) | Methods and apparatus for processing content based on viewing information and/or communicating content |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |