KR102118334B1 - 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치 - Google Patents

분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치 Download PDF

Info

Publication number
KR102118334B1
KR102118334B1 KR1020190129650A KR20190129650A KR102118334B1 KR 102118334 B1 KR102118334 B1 KR 102118334B1 KR 1020190129650 A KR1020190129650 A KR 1020190129650A KR 20190129650 A KR20190129650 A KR 20190129650A KR 102118334 B1 KR102118334 B1 KR 102118334B1
Authority
KR
South Korea
Prior art keywords
viewpoint
image
hmd
resolution
electronic device
Prior art date
Application number
KR1020190129650A
Other languages
English (en)
Other versions
KR20190121280A (ko
Inventor
박우출
장준환
양진욱
윤상필
김현욱
최민수
이준석
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020190129650A priority Critical patent/KR102118334B1/ko
Publication of KR20190121280A publication Critical patent/KR20190121280A/ko
Application granted granted Critical
Publication of KR102118334B1 publication Critical patent/KR102118334B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurosurgery (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Optics & Photonics (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 분할 영상 기반의 VR 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치가 개시된다. 본 발명의 HMD 전자 장치는 스트리밍 서버와 통신 채널을 형성하는 HMD 통신 회로, 스트리밍 서버가 제공하는 데이터를 저장하는 저장부, 영상을 출력하는 디스플레이, 사용자의 눈동자의 위치 변화를 감지하여 사용자의 시점을 검출하는 아이트래킹 센서 및 통신 회로, 저장부, 디스플레이 및 아이트래킹 센서에 기능적으로 연결된 HMD 프로세싱부를 포함한다.

Description

분할 영상 기반의 VR 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치{Electronic device supporting for Live Streaming Service of Virtual Contents based on Tiled Encoding image}
본 발명은 VR 컨텐츠 라이브 스트리밍 서비스 운용과 관련한 방법 및 장치에 관한 것이다.
인터넷 네트워크의 발달에 따라 고화질의 대용량 미디어 파일의 전송이 가능해지고 있다. 하지만 아직까지도 대용량 미디어 컨텐츠 스트리밍 서비스를 위해서 인터넷망의 QoS(Quality of Service)가 보장되지 않고, 대역폭의 한계가 존재하여 소비자에게 끊김 없는 스트리밍 서비스 제공이 어려운 상태이다.
이를 해결하기 위해 네트워크 환경에 적응적으로 서비스 할 수 있는 스트리밍 기술 개발이 요구되었으며, 국제 표준화 기구인 MPEG(Moving Picture Experts Group)에서 DASH(Dynamic Adaptive Streaming over HTTP)라는 이름으로 표준화가 진행되었다.
MPEG-DASH는 사용자 환경(네트워크 및 단말 성능 등)에 맞추어 미디어 컨텐츠를 사용자에게 끊김 없이 서비스하기 위한 표준으로, MPEG-DASH에서 다루는 표준화 범위는 미디어 컨텐츠의 소비, 조합 및 기타 정보를 기술하는 MPD(Media Presentation Description) 기술, 시간 기반 컨텐츠 분할 기술인 Media Segmentation 기술, 시분할된 각각의 파일을 다운로드/스트리밍 할 수 있는 액세스 위치 기술, MPEG-DASH를 지원하는 file format 기술, 디지털 미디어 소비 및 저장 형식에 따라 MPD 구성을 변경할 수 있는 Profiling 기술 등이 해당된다.
한국등록특허 제10-1764317호(2017.07.27. 등록)
한편, 종래 MPEG-DASH 기반으로 컨텐츠를 제공하더라도, VR(Virtual Reality) 영상 등의 컨텐츠를 제공하고자하는 경우, 컨텐츠의 데이터 양이 매우 커서 연속적인 컨텐츠 제공이 어려운 문제가 있었다.
이에, 본 발명은 지연이 상대적으로 적거나 또는 끊김 없이 VR 컨텐츠를 제공할 수 있는 분할 영상 기반의 VR 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치를 제공하는데 목적이 있다.
상기 목적을 달성하기 위해, 본 발명에 따른 HMD 전자 장치는 스트리밍 서버와 통신 채널을 형성하는 HMD 통신 회로, 상기 스트리밍 서버가 제공하는 데이터를 저장하는 저장부, 영상을 출력하는 디스플레이, 사용자의 눈동자의 위치 변화를 감지하여 사용자의 시점을 검출하는 아이트래킹 센서 및 상기 통신 회로, 상기 저장부, 상기 디스플레이 및 상기 아이트래킹 센서에 기능적으로 연결된 HMD 프로세싱부를 포함하고, 상기 HMD 프로세싱부는 상기 스트리밍 서버가 제공하는 MPD(Media Presentation Description)와 관련한 영상의 시점 정보를 상기 아이트래킹 센서를 기반으로 벡터 상의 좌표로 상기 시점 정보를 검출하고, 시점 변화를 예측하고, 예측된 시점 변화를 기준으로, 상기 시점과 관련된 현재 시점 영역 및 상기 시점과 관련되며 상기 시점의 이동이 예측되는 시점 이동 예측 영역, 상기 시점과 무관한 시점 무관 영역에 대해 서로 다른 해상도의 영상 조각들을 수신하도록 설정하고, 상기 시점 정보에 대응하는 뷰포트를 산출하고, 상기 뷰포트와 중첩되는 분할 영역들에 대한 위치 정보를 상기 시점 정보로서 상기 스트리밍 서버에 전송하고, 상기 스트리밍 서버로부터 분할 영상 조각들을 수신하고, 상기 분할 영상 조각들을 조합하여 디스플레이에 출력하도록 설정되는 것을 특징으로 한다.
상기 HMD 프로세싱부는 다중 뷰포트를 생성하고, 수신된 서로 다른 해상도의 영상 조각들에 대하여 상기 다중 뷰포트를 이용하여 병렬로 렌더링을 수행하도록 설정되는 것을 특징으로 한다.
상기 HMD 프로세싱부는 상기 시점이 머무는 상기 현재 시점 영역에 대해 상대적으로 높은 고해상도의 영상 조각을 요청하고, 상기 시점이 이동이 예측되는 상기 시점 이동 예측 영역에 대해 상기 고해상도보다 낮은 중해상도의 영상 조각을 요청하고, 상기 시점과 무관한 상기 시점 무관 영역에 대해 상기 중해상도보다 낮은 저해상도의 영상 조각을 요청하도록 설정되는 것을 특징으로 한다.
상기 제1 영상 조각은 영상 화면 중 상대적으로 중앙에 배치되고, 상기 제2 영상 조각은 영상 화면 중 상대적으로 상단에 배치되고, 상기 제3 영상 조각은 영상 화면 중 상대적으로 상기 제1 영상 조각을 둘러싸고 배치되는 것을 특징으로 한다.
상술한 바와 같이, 본 발명의 분할 영상 기반의 VR 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치에 따르면, 본 발명은 라이브 스트리밍 방식의 VR 컨텐츠 재생 시 지연 없이 시청할 수 있도록 지원할 수 있다.
도 1은 본 발명의 실시 예에 따른 분할 영상 기반의 VR 컨텐츠 라이브 스트리밍 서비스 시스템의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 스트리밍 서버 구성의 일 예를 나타낸 도면이다.
도 3은 본 발명의 일 실시 예에 따른 HMD(Head Mounted Device) 전자 장치 구성의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 분할 영상 라이브 스트리밍 서비스의 일 예를 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 분할 영상 기반의 VR 컨텐츠 라이브 스트리밍 서비스 운용과 관련한 HMD 전자 장치 운용 방법의 일예를 나타낸 도면이다.
도 6은 본 발명의 실시 예에 따른 VR 컨텐츠의 Foveated Rendering을 설명하기 위한 도면이다.
도 7은 본 발명의 실시 예에 따른 VR 컨텐츠의 MRS(Multi-Resolution Shading)을 설명하기 위한 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
도 1은 본 발명의 실시 예에 따른 분할 영상 기반의 VR 컨텐츠 라이브 스트리밍 서비스 시스템의 한 예를 나타낸 도면이다.
도 1을 참조하면, 일 실시 예에 따른 분할 영상 기반의 VR 컨텐츠 라이브 스트리밍 서비스 시스템(10)은 스트리밍 서버(13) 및 HMD 전자 장치(14)(또는 휴대용 단말 장치, 또는 HMD 장치, 또는 DASH 클라이언트)를 포함할 수 있다. 추가적으로, 분할 영상 기반의 VR 컨텐츠 라이브 스트리밍 서비스 시스템(10)에서, 스트리밍 서버(13)에 분할 영상(HEVC Tiled encoding된 영상)을 제공하는 트랜스코더를 더 포함할 수도 있다.
트랜스코더는 지정된 정책 및 룰에 따라 영상(또는 Media 파일)을 동일한 해상도의 복수의 공간들로 분할하거나 또는 서로 다른 해상도의 복수의 공간들로 분할하거나 또는 지정된 시간 단위로 분할할 수 있다. 분할된 미디어 파일들(예: HEVC 타일드 인코딩된 파일들)은 스트리밍 서버(13)에 제공될 수 있다. 또는, 스트리밍 서버(13)는 트랜스코더를 포함할 수도 있다.
트랜스코더는 특정 미디어 파일 예컨대, 360 VR(Virtual Reality) 라이브 영상 또는 라이브 중계 영상 등을 타일드 인코딩(Tiled Encoding(HEVC)) 또는 Encoding(HEVC) 하여 스트리밍 서버(13)에 전송할 수 있다. 트랜스코더는 타일드 인코딩된 미디어 파일들에 대응하는 Tiled 정보(MetaInfo)를 작성하고, 작성된 Tiled 정보(MetaInfo)를 미디어 파일 전송 시 함께 스트리밍 서버(13)에 전송할 수 있다. 트랜스코더는 고품질 영상에 대해 실시간으로 HEVC Tiled Encoding을 수행하거나 VOD 컨텐츠에 대해 지정된 시간에 HEVC Tiled Encoding을 수행할 수 있다. 이 동작에서 트랜스코더는 하나의 영상을 일정 크기(또는 공간) 단위로 분할하고, 분할된 미디어 파일에 대하여 순차적으로 HEVC Tiled Encoding을 수행하여 스트리밍 서버(13)에 전송할 수 있다. 트랜스코더가 스트리밍 서버(13)에 전송하는 영상은 예컨대, HQ(8K 급 이상의 HEVC Tiled Encoding된 고품질 영상), MQ(2K 또는 4K 급 이상의 HEVC Tiled Encoding된 중품질 영상), FullMQ(2K 또는 4K급의 HEVC Encoding된 중품질 영상) 중 적어도 하나를 포함할 수 있다. MetaInfo(또는 Tiled 정보)는 상술한 HQ, MQ 파일에 대한 Meta 정보(Tile, Bitrate, FPS, bandwidth 등)를 포함할 수 있다.
스트리밍 서버(13)는 분할 영상 조각들에 대한 MPD(Media Presentation Description) 파일을 생성하여 HMD 전자 장치(14)에 전달하고, HMD 전자 장치(14)의 시점 정보(Field of View, FOV 정보)를 요청하여 수신하고, 이를 기반으로 서로 다른 해상도의 분할 영상 조각들을 HMD 전자 장치(14)에 전송할 수 있다. MPD 파일은 HMD 전자 장치(14)가 이용 가능한 컨텐츠, 제공하는 alternative bit rates, URL 주소 값 등의 정보를 포함하는 Manifest. 파일에 대응될 수 있다.
스트리밍 서버(13)는 서로 다른 해상도의 분할 영상 조각들을 저장 관리할 수 있다. 또는, 스트리밍 서버(130)는 서로 다른 해상도의 분할 영상 조각들을 트랜스코더로부터 실시간 수신할 수도 있다. 스트리밍 서버(13)는 HMD 전자 장치(14) 요청에 대응하여 저장된 서로 다른 해상도의 분할 영상 조각들을 HMD 전자 장치(14)에 전송할 수 있다.
HMD 전자 장치(14)는 MPD 파일을 파싱하면서, 프로그램 타이밍, media-content availability, media type, 화질, 최소 및 최대 bandwidths, 사용할 수 있는 encoded-alternatives, DRM 등의 정보를 획득할 수 있다. HMD 전자 장치(14)는 네트워크 상태 또는 전자 장치의 상태에 맞는 encoding을 선택한 후 HTTP GET Request를 통해서 스트리밍 요청을 수행할 수 있다. 예를 들어, HMD 전자 장치(14)는 사용자 입력에 따라 스트리밍 서버(13)와 통신 채널을 형성할 수 있다. HMD 전자 장치(14)는 시점 정보를 스트리밍 서버(13)에 전송하고, 시점 정보를 기준으로 서로 다른 해상도의 분할 영상 조각들을 수신할 수 있다. HMD 전자 장치(14)는 수신된 서로 다른 해상도의 분할 영상 조각들을 조합하여 하나의 영상을 생성한 후, 이를 출력 장치(예: 디스플레이)에 출력할 수 있다. 예컨대, HMD 전자 장치(14)는 현재 시점이 머무는 영역에는 상대적으로 고해상도의 영상 조각들을 적용하고, 시점이 머물지 않는 영역에는 상대적으로 저해상도 영상 조각들을 적용함으로써, 상대적으로 데이터 처리의 부하량을 감소시키면서도 사용자에게 고해상도의 VR 컨텐츠를 시청할 수 있도록 지원할 수 있다.
도 2는 본 발명의 실시 예에 따른 스트리밍 서버 구성의 일 예를 나타낸 도면이다.
도 2를 참조하면, 일 실시 예에 따른 스트리밍 서버(13)는 제1 통신 회로(110), 제2 통신 회로(120), 메모리(140) 및 프로세싱부(160)(예: 컨트롤러, 적어도 하나의 프로세서, 또는 적어도 하나의 프로세싱 모듈)를 포함할 수 있다.
제1 통신 회로(110)는 서로 다른 해상도의 분할 영상 조각을 제공하는 트랜스코더와 통신할 수 있는 통신 채널을 형성할 수 있다. 제1 통신 회로(110)는 유선 통신 인터페이스 또는 무선 통신 인터페이스 중 적어도 하나를 포함할 수 있다. 제1 통신 회로(110)는 트랜스코더가 전송하는 다양한 품질의 미디어 파일들에 대한 MetaInfo를 수신할 수 있다.
제2 통신 회로(120)는 HMD 전자 장치(14)와 통신할 수 있는 통신 채널을 형성할 수 있다. 제2 통신 회로(120)는 유선 통신 인터페이스 또는 무선 통신 인터페이스 중 적어도 하나를 포함할 수 있다. 제2 통신 회로(120)는 HMD 전자 장치(14) 접속에 따른 채널을 할당하고, HMD 전자 장치(14)로부터 영상 요청 신호를 수신할 수 있다. 제2 통신 회로(120)는 영상 요청 신호에 대응하는 MPD 파일 및 서로 다른 해상도를 가지는 분할된 영상 조각들을 HMD 전자 장치(14)에 제공할 수 있다.
메모리(140)는 스트리밍 서버(13) 운용에 필요한 다양한 프로그램 또는 다양한 명령어를 저장할 수 있다. 예컨대, 메모리(140)는 제1 통신 회로(110)를 기반으로 서로 다른 해상도의 분할 영상 조각들을 수신하도록 설정된 적어도 하나의 명령어들, 수신한 영상 조각들에 대한 MPD 파일을 작성하도록 설정된 적어도 하나의 명령어들, 수신한 영상 조각들에 대한 DASHing 작업을 수행하도록 설정된 적어도 하나의 명령어들, HMD 전자 장치(14)의 요청을 수신하거나 및 수신된 요청에 대응하여 MPD 등의 파일을 HMD 전자 장치(14)에 제공하도록 설정된 명령어들을 저장할 수 있다. 또한, 메모리(140)는 HMD 전자 장치(14)로부터 시점 정보를 획득하도록 설정된 명령어들, 시점 정보를 기반으로 서로 다른 해상도의 분할 영상 조각들을 선택하여 HMD 전자 장치(14)에 전송하도록 설정된 명령어들을 저장할 수 있다. 다른 예로서, 메모리(140)는 HMD 전자 장치(14)로부터 시점 정보를 기반으로 작성된 타일 셋 리스트를 수신하면, 수신된 타일 셋 리스트를 기반으로 전송할 분할 영상 조각들의 해상도를 결정하는 명령어들, 결정된 해상도에 따라 상대적으로 고해상도의 분할 영상 조각과 상대적으로 저해상도의 분할 영상 조각을 전송하도록 설정된 명령어들을 저장할 수 있다. 상술한 명령어들은 프로세싱부(160)에 의해 실행되어, 본 발명의 VR 컨텐츠 라이브 스트리밍 서비스를 수행하는데 이용될 수 있다.
프로세싱부(160)는 스트리밍 서버(13) 운용과 관련한 명령어의 처리 및 데이터(예: 분할 영상 조각들)의 저장 관리와 전송을 수행할 수 있다. 이러한 프로세싱부(160)는 적어도 하나의 프로세서로 구현되거나 또는 적어도 하나의 소프트웨어 모듈에 의해 구현되고 지정된 프로세서에 의해 운용될 수 있다.
예컨대, 프로세싱부(160)는 외부 장치(예: 트랜스코더)로부터 분할 영상 조각들을 수신하기 위하여 버퍼를 할당할 수 있다. 프로세싱부(160)는 제1 해상도의 영상 조각들을 저장하기 위한 제1 버퍼 및 제1 해상도와 다른 제2 해상도(예: 제1 해상도보다 낮은 해상도)의 영상 조각들을 저장하기 위한 제2 버퍼, 제2 해상도와 다른 제3 해상도(예: 제2 해상도보다 낮은 해상도)의 영상 조각들을 저장하기 위한 제3 버퍼를 할당할 수 있다. 프로세싱부(160)는 제1 버퍼 내지 제3 버퍼에 저장된 영상 조각들에 대한 MPD 파일을 생성하고, 생성된 MPD 파일을 HMD 전자 장치(14)에 제공할 수 있다.
프로세싱부(160)는 HMD 전자 장치(14)에 시점 정보를 요청하는 메시지를 전송할 수 있다. 프로세싱부(160)는 HMD 전자 장치(14)가 제공한 시점 정보를 확인하고, 어떠한 영상 조각을 상대적으로 높은 해상도의 영상으로 전송할지를 결정할 수 있다. 이와 관련하여, 프로세싱부(160)는 시점 영역에 대응하는 고해상도의 분할 영상 조각을 외부 장치(예: 트랜스코더)에 요청하여 실시간 수신할 수도 있다. 또는, 스트리밍 서버(13)는 하나의 컨텐츠에 대한 다양한 해상도의 분할 영상 조각들을 저장 관리하는 경우, 메모리(140)에 저장된 영상 조각들 중 시점 영역에 대응하는 고해상도의 영상 조각들을 획득하고, 시점 이외의 영역에 대응하는 저해상도의 영상조각들을 획득하여 HMD 전자 장치(14)에 전송할 수 있다.
이 동작에서, 스트리밍 서버(13)의 프로세싱부(160)는 시점의 이동 방향에 따라 상대적으로 더 낮은 제3 해상도의 영상 조각들을 획득할 수 있다. 예컨대, 9개의 격자로 이루어지는 영상 조각들이 하나의 영상 프레임을 구성하고 있고, 시점이 우하단에서 이동하여 중심부 방향으로 이동하고 있고, 이후 좌상단으로 이동이 예측(실시간 아이트래킹에 따라 시점 변화 예측)되는 환경에서, 프로세싱부(160)는 중심부 영상을 제1 해상도(예: 상대적으로 가장 높은 해상도)의 영상 조각을 제공할 수 있다. 또한, 프로세싱부(160)는 중심부 영상을 기준으로 좌측 및 상측, 좌상측 영상 조각들을 제2 해상도(예: 상대적으로 중간 정도의 해상도)의 영상 조각들을 제공하고, 중심부 영상을 기준으로 우측, 하측 및 우하측 영상 조각들을 제3 해상도(예: 상대적으로 가장 낮은 해상도)의 영상 조각들을 제공할 수 있다. 추가적으로, 프로세싱부(160)는 제3 해상도의 영상 조각들을 HMD 전자 장치(14)에 제공하는 채널을 통하여 오디오 정보를 함께 믹싱하여 전송할 수도 있다. 상술한 바와 같이, HMD 전자 장치(14)는 시점의 이동 경로를 예측하고, 스트리밍 서버(13)에 현재 시점이 머무는 영역(제1 해상도의 영상 조각들 요청)과, 시점 이동이 예측되는 영역(예: 제2 해상도의 영상 조각들 요청) 및 상기 시점과 무관한 영역(예: 제3 해상도의 영상 조각들 요청)에 대하여 서로 다른 해상도의 영상 조각들을 요청하도록 설정될 수 있다.
도 3은 본 발명의 일 실시 예에 따른 전자 장치 구성의 한 예를 나타낸 도면이다.
도 3을 참조하면, 일 실시 예에 따른 HMD 전자 장치(14)는 HMD 통신 회로(210), 저장부(240), 디스플레이(250), 입출력 장치(270), 아이트래킹 센서(280) 및 HMD 프로세싱부(260)를 포함할 수 있다.
HMD 통신 회로(210)는 스트리밍 서버(13)와 통신 채널을 형성할 수 있다. 예컨대, HMD 통신 회로(210)는 스트리밍 서버(13)로부터 MPD 파일 또는 분할 영상 조각들(예: 제1 해상도의 영상 조각들과 제2 해상도의 영상 조각들, 제3 해상도의 영상 조각들)을 수신할 수 있다. HMD 통신 회로(210)는 HMD 프로세싱부(260)가 아이트래킹 센서(180)로부터 수집한 시점 정보를 스트리밍 서버(13)에 전송할 수 있다.
저장부(240)는 HMD 전자 장치(14) 운용과 관련한 프로그램 및 명령어들을 저장할 수 있다. 예컨대, 저장부(240)는 HMD 장치 운용과 관련한 응용 프로그램을 저장할 수 있다. 저장부(240)는 스트리밍 서버(13)가 전송한 MPD 파일 및 분할 영상 조각들을 임시 또는 반영구적으로 저장할 수 있다. 또한, 저장부(240)는 분할 영상 조각들을 조합하여 생성한 ROI 기반 영상을 저장하고, HMD 프로세싱부(260) 제어에 대응하여 디스플레이(250)에 전달할 수 있다.
디스플레이(250)는 HMD 전자 장치(14) 운용과 관련한 화면을 출력할 수 있다. 예컨대, 디스플레이(250)는 스트리밍 서버(13) 접속과 관련한 화면, 스트리밍 서버(13)가 제공하는 MPD 파일과 관련한 화면, 스트리밍 서버(13)가 제공한 분할 영상 조각들의 조합에 의해 생성된 VR 컨텐츠 영상을 출력할 수 있다. 디스플레이(250)는 예컨대, HMD 장치에 포함되어 VR(Virtual Reality) 영상을 출력할 수 있는 분리된 디스플레이 영역들을 포함할 수 있다. 분리된 디스플레이 영역들에는 좌안 영상 및 우안 영상이 각각 출력될 수 있다.
입출력 장치(270)는 HMD 전자 장치(14) 조작과 관련한 사용자 입력을 입력할 수 있는 적어도 하나의 버튼, 터치 패드, 터치스크린, 음성 입력용 마이크 중 적어도 하나의 입력 장치를 포함할 수 있다. 입출력 장치(270)는 HMD 전자 장치(14) 운용과 관련한 오디오 신호를 출력할 수 있는 오디오 장치 또는 HMD 전자 장치(14) 운용과 관련한 빛을 출력할 수 있는 램프나 진동 소자 등을 포함할 수 있다. 예컨대, 입출력 장치(270)는 스트리밍 서버(13)로부터 수신된 오디오 신호를 분할 영상 조각들과 싱크되어 출력할 수 있다.
아이트래킹 센서(280)는 HMD 전자 장치(14)를 착용한 사용자의 눈동자를 트래킹한 정보를 수집할 수 있다. 아이트래킹 센서(180)는 눈동자가 지시하는 방향에 대한 방향 정보를 시점 정보로서 HMD 프로세싱부(260)에 전달할 수 있다. 상기 아이트래킹 센서(280)는 사용자가 HMD 전자 장치(14)를 착용하는 경우 활성화되어, 사용자의 눈동자의 위치 변화를 감지하고, 감지 정보를 HMD 프로세싱부(260)에 전달할 수 있다.
HMD 프로세싱부(260)는 HMD 전자 장치(14) 운용과 관련한 명령어의 처리 또는 데이터의 전달 등을 처리할 수 있다. 예컨대, HMD 프로세싱부(260)는 입출력 장치(270)를 통해 입력된 사용자 입력에 대응하여 스트리밍 서버(13)와 통신 채널을 형성하고, 스트리밍 서버(13)로부터 MPD 파일을 수신할 수 있다. HMD 프로세싱부(260)는 사용자 입력에 대응하여 특정 컨텐츠를 스트리밍 서버(13)에 요청하고, 스트리밍 서버(13)로부터 분할 영상 조각들을 수신하여 디스플레이(250)에 출력할 수 있다. 이 동작에서, HMD 프로세싱부(260)는 아이트래킹 센서(280)로부터 센싱 정보를 수집하고, 수집된 센싱 정보를 이용하여 사용자의 눈동자가 지시하고 있는 시점 정보를 획득할 수 있다. HMD 프로세싱부(260)는 시점 정보를 스트리밍 서버(13)에 전송할 수 있다.
영상 출력과 관련하여, HMD 프로세싱부(260)는 스트리밍 서버(13)로부터 서로 다른 해상도의 분할 조각 영상들을 시점 정보 기준으로 수신할 수 있다. 예컨대, HMD 프로세싱부(260)는 시점 영역과 관련한 고해상도의 영상 조각들과, 시점 영역 이외의 다른 영역에 해당하는 저해상도의 영상 조각들을 수신할 수 있다. 상기 HMD 프로세싱부(260)는 서로 다른 해상도들에 대하여 MRS(Multi-Resolution Shading) 렌더링을 수행하여 디스플레이(250)에 출력할 수 있다.
상술한 바와 같이, HMD 전자 장치(14)는 사용자가 지시하는 시점 영역은 고해상도의 영상 조각들을 배치하고, 사용자가 지시하지 않고 있는 영역에는 상대적으로 저해상도의 영상 조각들을 배치함으로써 고해상도의 영상 시청은 가능하게 하면서도 전체 데이터 부하량을 저감시켜 저지연 라이브 스트리밍 서비스가 가능케 할 수 있다. 추가적으로 HMD 전자 장치(14)는 저해상도 영상 조각들과 함께 오디오 정보를 수신하고, 수신된 오디오 정보를 입출력 장치(270)를 통해 출력할 수 있다.
도 4는 본 발명의 실시 예에 따른 분할 영상 기반의 VR 컨텐츠 라이브 스트리밍 서비스의 일 예를 설명하기 위한 도면이다.
도 4를 참조하면, HMD 전자 장치(14)는 VR 컨텐츠를 디스플레이(250)에 출력할 수 있다. 이 동작에서, HMD 전자 장치(14)는 아이트래킹 센서(180)를 활성화하여 사용자의 눈동자가 지시하는 지점을 시점 정보로서 획득할 수 있다. 예컨대, 벡터부(251)(Vector(x,y,z))는 아이트래킹에 따른 시점 정보(x,y,z)를 획득할 수 있다. 경계 검출부(252)(Covert Bound)는 벡터부(251)로부터 시점 정보를 수신하면, 시점 정보를 기반으로 지정된 크기의 뷰포트를 산출하고, 뷰포트 정보 및 분할 조각 영상들에 대한 정보를 타일 검출부(253)전달할 수 있다. 타일 검출부(253)는 뷰포트와 중첩되는 분할 조각 영상들에 대한 타일 정보를 획득하고, 타일 정보 및 시점 정보를 요청 모듈(254)에 전달할 수 있다. 요청 모듈(254)은 HMD 통신 회로(210)를 통하여 상기 타일 정보 및 시점 정보를 스트리밍 서버(13)에 전송할 수 있다.
상기 다운로드 모듈(255)은 상기 스트리밍 서버(13)는 서로 다른 해성도의 영상 조각들을 수신할 수 있다. 예컨대, 다운로드 모듈(255)은 시점 정보와 관련한 뷰포트 영역들은 고해상도 영상 조각들로 수신할 수 있다. 다운로드 모듈(255)은 상기 뷰포트 영역과 중첩되지 않는 영역들은 상대적으로 저해상도의 영상 조각들로 수신할 수 있다. 파싱 모듈(256)은 스트리밍 서버(13)가 전송한 데이터에서 영상 조각들을 분리하고, 분리된 영상 조각들을 디코더(257)에 전달할 수 있다. 디코더(257)는 파싱 모듈(255)이 파싱한 데이터를 디코딩한 후 렌더러(258)에 전달할 수 있다. 렌더러(258)는 디코딩된 데이터들을 렌더링(예: 스티칭)하여 디스플레이(250)에 출력할 수 있다. 한편, 파싱 모듈(256)은 스트리밍 서버(13)로부터 MPD(Media Presentation Description) 파일을 파싱하여 캐싱하고, 캐싱된 영상을 출력하여 시점 정보를 획득하기 위한 초기 화면을 제공할 수 있다.
도 5는 본 발명의 실시 예에 따른 분할 영상 기반의 VR 컨텐츠 라이브 스트리밍 서비스 운용과 관련한 전자 장치 운용 방법의 일예를 나타낸 도면이다
도 5를 참조하면, 전자 장치 운용 방법과 관련하여, 501 단계에서, HMD 전자 장치(14)의 HMD 프로세싱부(260)는 MPD 파일을 스트리밍 서버(13)에 요청할 수 있다. 예컨대, HMD 프로세싱부(260)는 스트리밍 서버(13)와 통신 채널을 형성하고 사용자 입력에 따라 또는 사전 스케줄링된 정보에 따라 MPD 파일을 스트리밍 서버(13)에 요청할 수 있다.
503 단계에서, HMD 프로세싱부(260)는 MPD 파일이 수신되었는지 확인할 수 있다. MPD 파일이 수신되지 않는 경우, 종료 여부를 확인하고, 종료 요청이 없는 경우 MPD 파일 수신을 대기할 수 있다. MPD 파일을 수신한 경우, HMD 프로세싱부(260)는 505 단계에서, MPD 파싱을 수행할 수 있다. MPD 파일의 파싱 과정에서, 파싱된 데이터는 507 단계에서 캐시에 저장될 수 있다. HMD 프로세싱부(260)는 509 단계에서 시점 검출을 수행할 수 있다. 예컨대, HMD 프로세싱부(260)는 아이트래킹 센서(180)를 활성화하여 사용자의 눈동자 위치 및 변화를 확인하고, 이를 기반으로 시점 정보를 획득할 수 있다.
511 단계에서, HMD 프로세싱부(260)는 검출된 시점 정보를 기반으로 타일 셋(예: 시점 정보에 대응하는 일정 크기의 뷰포트가 중첩되는 영역에 대해 제1 해상도의 분할 영상 조각들을 요청하고 나머지 영역들을 제2 해상도 또는 제3 해상도의 영상)을 요청할 수 있다. 여기서, 스트리밍 서버(13)는 메모리(140)에 해당 타일 셋이 저장되어 있는 경우, 이를 HMD 전자 장치(14)에 전달할 수 있다. 또는 스트리밍 서버(13)는 타일 인코딩된 영상을 제공하는 트랜스코더에 해당 타일 셋에 해당하는 조각 정보(예: 전체 영상에서 지정된 해상도의 영상 조각이 위치한 위치 정보)를 전달하고, 트랜스코더로부터 대응되는 해상도의 영상 조각들을 수신하여 HMD 전자 장치(14)에 전달할 수도 있다.
513 단계에서, HMD 프로세싱부(260)는 요청한 타일 셋(예: 제1 해상도의 분할 영상 조각들, 제2 해상도의 분할 영상 조각들 및 제3 해상도의 영상 조각들)을 수신하였는지 확인할 수 있다. 요청한 타일 셋을 수신한 경우, 515 단계에서, HMD 프로세싱부(260)는 서로 다른 해상도의 분할 영상 조각들에 대한 MRS(Multi-Resolution Shading) 작업을 수행하고, 수신된 오디오 정보의 디먹싱을 수행한 후, MRS 작업 처리된 영상을 디스플레이(250)에 출력하는 한편, 오디오 정보를 입출력 장치(270)에 출력할 수 있다.
517 단계에서, HMD 프로세싱부(260)는 분할 영상 기반의 VR 컨텐츠 라이브 스트리밍 서비스의 종료를 요청하는 이벤트가 발생하는지 확인할 수 있다. 예컨대, HMD 프로세싱부(260)는 시청 종료를 요청하는 사용자 입력이 발생하는지 또는 해당 컨텐츠의 마지막 영상 조각들을 수신하였는지 등을 종료 이벤트로서 수신할 수 있다. 종료 이벤트 발생이 없는 경우, HMD 프로세싱부(260)는 이전 동작 수행에 따라 503 단계, 513 단계 이전 등으로 분기할 수 있다.
도 6은 본 발명의 실시 예에 따른 VR 컨텐츠의 Foveated Rendering을 설명하기 위한 도면이다.
도 6을 참조하면, HMD 전자 장치(14)는 예컨대, 9개의 분할된 영상 조각들을 스티칭하여 하나의 완성된 영상 프레임을 제공할 수 있다. 여기서, 분할된 영상 조각들의 개수가 본 발명을 한정하는 것은 아니며, 프레임 구성에 따라 더 적은 개수의 영상 조각들(예: 4개의 영상 조각들)이 하나의 프레임을 구성하거나 또는 9개보다 많은 영상 조각들이 하나의 프레임을 구성할 수도 있다. 또한, 도시된 9개의 분할된 영상 조각들은 2차원 평면 형태로 도시하였으나, HMD 전자 장치(14)를 통해 관측될 수 있는 형태는 구 형태가 될 수 있다.
구 형태의 영상 프레임이 HMD 전자 장치(14)를 통하여 제공되더라도, 사용자는 특정 방향만을 바라볼 수 있다. 이에 대응하여, HMD 전자 장치(14)는 VR 컨텐츠의 전체 영상은 360도 구 형상이지만, 디스플레이(250)에 출력되는 영역은 사용자가 지시하는 시점 및 시점의 주변 영역을 포함하는 일부 영상만을 좌안 및 우안에서 동일하게 출력할 수 있다.
도면을 참조하면, 2번 및 5번 영역들 사이에 시점(600)이 검출되고, 시점(600) 기준으로 일정 크기의 뷰포트(620)가 디스플레이(250)에 출력될 수 있다. 이와 관련하여, HMD 전자 장치(14)는 아이트래킹 센서(180)를 기반으로 사용자의 눈동자가 지시하는 시점 정보를 수집할 수 있다. 뷰포트(620)가 중첩되는 영역들은 도시된 바와 같이 2, 3, 5, 6번 영역들이 될 수 있다. 상기 HMD 전자 장치(14)는 뷰포트(620)에 중첩되는 타일 셋(630)(예:2, 3, 5, 6번 영역들의 위치 정보)을 스트리밍 서버(13)에 전송할 수 있다.
스트리밍 서버(13)는 HMD 전자 장치(14)로부터 타일 셋(630) 정보를 수신하면 해당 타일 셋(630)에 해당하는 영역들에 대하여 상대적으로 고해상도의 영상 조각들을 제공할 수 있다. 이와 함께, 스트리밍 서버(13)는 나머지 영역들(예: 1, 4, 7, 8, 9 영역들)에 대해서는 상대적으로 저해상도의 영상 조각들을 제공할 수 있다.
다른 예시로서, 스트리밍 서버(13)는 시점 정보를 HMD 전자 장치(14)로부터 수신하고, 시점 정보를 누적하여 시점(600)의 이동 정보를 산출할 수 있다. 스트리밍 서버(13)는 시점이 이동하는 방향을 기준으로 해상도가 다른 영상 조각들을 제공할 수 있다. 예컨대, 시점(600)이 2번 영역에서 5번 영역을 거쳐 8번 영역으로 이동하는 것으로 추정되는 경우, 스트리밍 서버(13)는 2, 3, 5, 6번 영역들에 대응하는 영상 조각들을 제1 해상도의 영상 조각들로 제공하고, 8번 영역은 제1 해상도보다 낮은 제2 해상도의 영상 조각으로 제공하고, 1, 4, 7, 9번 영역은 제2 해상도보다 낮은 제3 해상도의 영상 조각들로 제공할 수 있다.
도 7은 본 발명의 실시 예에 따른 VR 컨텐츠의 MRS(Multi-Resolution Shading)을 설명하기 위한 도면이다.
도 7을 참조하면, HMD 전자 장치(14)는 스트리밍 서버(13)로부터 서로 다른 해상도의 영상 조각들을 수신하면, 수신된 영상 조각들에 대하여 서로 다른 해상도의 렌더링을 수행할 수 있다. 예컨대, HMD 전자 장치(14)는 GPU의 3D 렌더링 파이프라인(700)에서 다중 뷰포트들(710, 720, 730)을 생성하고, 서로 다른 해상도의 영상 조각들에 대한 렌더링을 위해 다중 뷰포트들(710, 720, 730)을 이용하여 병렬로 렌더링을 수행할 수 있다. 또는 HMD 전자 장치(14)는 다중 뷰포트들(710, 720, 730) 중 시점 정보와 관련된 뷰포트들과 나머지 뷰포트들을 구분하여 동시에 렌더링을 수행할 수 있다.
예컨대, 도시된 바와 같이, HMD 전자 장치(14)의 GPU 위치 기반 파이프라인(700)은 3개의 뷰포트들(710, 720, 730)을 마련하고, 제1 뷰포트(620)는 제1 해상도 영상 렌더링(711)을 수행하고, 제2 뷰포트(620)는 제2 해상도 영상 렌더링(721)을 수행하고, 제3 뷰포트(620)는 제2 해상도 영상 렌더링(731)을 수행할 수 있다.
이에 따라, 상대적으로 고해상도인 제1 해상도 영상 렌더링(711)에 따른 제1 영상 조각(701)(예: 시점이 맺힌 영역의 영상 조각)이 중앙에 배치되고, 상대적으로 저해상도인 제2 해상도 영상 렌더링(721)에 따른 제2 영상 조각들(702)이 상단에 배치되고, 상대적으로 저해상도인 제2 해상도 영상 렌더링(731)에 따른 제3 영상 조각들(703)이 제1 영상 조각(701)을 둘러싸고 배치될 수 있다. 상술한 설명에서는 제2 영상 조각들(702)과 제3 영상 조각들(703)이 동일 해상도로 렌더링되는 상태를 예시하였으나, 본 발명이 이에 한정되는 것은 아니다. 예컨대, 제3 뷰포트(620)는 제2 뷰포트(620)에 비하여 상대적으로 더 낮은 해상도의 영상을 렌더링하도록 설정될 수 있다.
상술한 본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.
13: 스트리밍 서버
14: HMD 전자 장치
110 : 제1 통신 회로
120 : 제2 통신 회로
140 : 메모리
160 : 프로세싱부
210 : HMD 통신회로
240 : 저장부
250 : 디스플레이
260 : HMD 프로세싱부
270 : 입출력 장치
280 : 아이트래킹 센서

Claims (4)

  1. 스트리밍 서버와 통신 채널을 형성하는 HMD 통신 회로;
    상기 스트리밍 서버가 제공하는 데이터를 저장하는 저장부;
    오디오 정보를 출력하는 입출력 장치;
    영상을 출력하는 디스플레이;
    사용자의 눈동자의 위치 변화를 감지하여 사용자의 시점을 검출하는 아이트래킹 센서; 및
    상기 통신 회로, 상기 저장부, 상기 디스플레이 및 상기 아이트래킹 센서에 기능적으로 연결된 HMD 프로세싱부;를 포함하고,
    상기 HMD 프로세싱부는 상기 스트리밍 서버가 제공하는 MPD(Media Presentation Description)와 관련한 영상의 시점 정보를 상기 아이트래킹 센서를 기반으로 벡터 상의 좌표로 상기 시점 정보를 검출하고,
    시점 변화를 예측하고, 예측된 시점 변화를 기준으로, 상기 시점과 관련된 현재 시점 영역 및 상기 시점과 관련되며 상기 시점의 이동이 예측되는 시점 이동 예측 영역, 상기 시점과 무관한 시점 무관 영역에 대해 서로 다른 해상도의 영상 조각들을 수신하도록 설정하고,
    상기 시점 정보에 대응하는 뷰포트를 산출하고, 상기 뷰포트와 중첩되는 분할 영역들에 대한 위치 정보를 상기 시점 정보로서 상기 스트리밍 서버에 전송하고,
    상기 스트리밍 서버로부터 분할 영상 조각들을 수신하고, 상기 분할 영상 조각들을 조합하여 디스플레이에 출력하도록 설정되며,
    상기 시점이 머무는 상기 현재 시점 영역에 대해 상대적으로 높은 고해상도의 영상 조각을 요청하고,
    상기 시점이 이동이 예측되는 상기 시점 이동 예측 영역에 대해 상기 고해상도보다 낮은 중해상도의 영상 조각을 요청하고,
    상기 시점과 무관한 상기 시점 무관 영역에 대해 상기 중해상도보다 낮은 저해상도의 영상 조각을 요청하고,
    상기 스트리밍 서버로부터 상기 저해상도의 영상 조각에 믹싱된 오디오 정보를 수신하여 수신된 오디오 정보를 상기 입출력 장치를 통해 출력하는 것을 특징으로 하는 HMD 전자 장치.
  2. 제1항에 있어서,
    상기 HMD 프로세싱부는
    다중 뷰포트를 생성하고, 수신된 서로 다른 해상도의 영상 조각들에 대하여 상기 다중 뷰포트를 이용하여 병렬로 렌더링을 수행하도록 설정되는 것을 특징으로 하는 HMD 전자 장치.
  3. 삭제
  4. 제1항에 있어서,
    상기 고해상도의 영상 조각은 영상 화면 중 상대적으로 중앙에 배치되고,
    상기 중해상도의 영상 조각은 영상 화면 중 상대적으로 상단에 배치되고,
    상기 저해상도 영상 조각은 영상 화면 중 상대적으로 상기 고해상도의 영상 조각을 둘러싸고 배치되는 것을 특징으로 하는 HMD 전자 장치.
KR1020190129650A 2019-10-18 2019-10-18 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치 KR102118334B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190129650A KR102118334B1 (ko) 2019-10-18 2019-10-18 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190129650A KR102118334B1 (ko) 2019-10-18 2019-10-18 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020170162489A Division KR20190063590A (ko) 2017-11-30 2017-11-30 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20190121280A KR20190121280A (ko) 2019-10-25
KR102118334B1 true KR102118334B1 (ko) 2020-06-04

Family

ID=68421164

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190129650A KR102118334B1 (ko) 2019-10-18 2019-10-18 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치

Country Status (1)

Country Link
KR (1) KR102118334B1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4213482A4 (en) 2020-12-16 2024-03-20 Samsung Electronics Co., Ltd. METHOD AND DEVICE FOR TRANSMITTING SEVERAL PARTS OF APPLICATION DATA WITH LOW LATENCY
KR20230060315A (ko) * 2021-10-27 2023-05-04 삼성전자주식회사 전자 장치 및 이를 이용한 공간 매핑 방법
US12026831B2 (en) 2021-10-27 2024-07-02 Samsung Electronics Co., Ltd. Electronic device and method for spatial mapping using the same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160267713A1 (en) * 2015-03-11 2016-09-15 Oculus Vr, Llc Display device with dual data drivers

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130009980A1 (en) * 2011-07-07 2013-01-10 Ati Technologies Ulc Viewing-focus oriented image processing
KR102313485B1 (ko) * 2015-04-22 2021-10-15 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치
KR101764317B1 (ko) 2016-11-03 2017-08-02 주식회사 헤카스 스트리밍 서버, 스트리밍 시스템 및 스트리밍 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160267713A1 (en) * 2015-03-11 2016-09-15 Oculus Vr, Llc Display device with dual data drivers

Also Published As

Publication number Publication date
KR20190121280A (ko) 2019-10-25

Similar Documents

Publication Publication Date Title
JP7029562B2 (ja) コンテンツを提供及び表示するための装置及び方法
US20230283653A1 (en) Methods and apparatus to reduce latency for 360-degree viewport adaptive streaming
KR102280134B1 (ko) 비디오 재생 방법, 장치 및 시스템
JP7464673B2 (ja) 空間的不均等ストリーミング
KR102118334B1 (ko) 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치
KR102030983B1 (ko) 분할 영상 기반의 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치
JP5936805B2 (ja) パラレルユーザセッションをストリーミングするための方法、システム、およびコンピュータソフトウェア
WO2019202207A1 (en) Processing video patches for three-dimensional content
US20160277772A1 (en) Reduced bit rate immersive video
CN108111899B (zh) 视频传输方法与装置、客户端、服务器及存储介质
KR20190063590A (ko) 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치
CN112219403B (zh) 沉浸式媒体的渲染视角度量
CN109218739B (zh) 视频流的视角切换方法、装置、设备和计算机存储介质
JP2017123503A (ja) 映像配信装置、映像配信方法及びコンピュータプログラム
CN113766235B (zh) 一种全景视频传输方法及设备
US10553034B2 (en) Co-viewing in virtual and augmented reality environments
US11025880B2 (en) ROI-based VR content streaming server and method
WO2018004936A1 (en) Apparatus and method for providing and displaying content
KR102251576B1 (ko) 관심 영역 기반의 vr 영상 수신 장치 및 방법
US11134236B2 (en) Image processing device and system
KR102027172B1 (ko) Roi 기반의 vr 콘텐츠 스트리밍 서버 및 방법
KR102577685B1 (ko) 사용자의 관심영역 추정이 가능한 저지연 360 vr 스트리밍 시스템 및 방법
GB2560953A (en) Video Streaming
KR20190062818A (ko) 방송 수신기 및 이의 운용 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant