KR20190062816A - 분할 영상 기반의 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치 - Google Patents

분할 영상 기반의 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치 Download PDF

Info

Publication number
KR20190062816A
KR20190062816A KR1020170161381A KR20170161381A KR20190062816A KR 20190062816 A KR20190062816 A KR 20190062816A KR 1020170161381 A KR1020170161381 A KR 1020170161381A KR 20170161381 A KR20170161381 A KR 20170161381A KR 20190062816 A KR20190062816 A KR 20190062816A
Authority
KR
South Korea
Prior art keywords
image
resolution
streaming server
roi
electronic device
Prior art date
Application number
KR1020170161381A
Other languages
English (en)
Other versions
KR102030983B1 (ko
Inventor
박우출
김현욱
양진욱
김용화
윤상필
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020170161381A priority Critical patent/KR102030983B1/ko
Priority to US16/204,972 priority patent/US10924782B2/en
Publication of KR20190062816A publication Critical patent/KR20190062816A/ko
Application granted granted Critical
Publication of KR102030983B1 publication Critical patent/KR102030983B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234363—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution
    • H04N21/234372—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by altering the spatial resolution, e.g. for clients with a lower screen resolution for performing aspect ratio conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4348—Demultiplexing of additional data and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/4402—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display
    • H04N21/440263—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving reformatting operations of video signals for household redistribution, storage or real-time display by altering the spatial resolution, e.g. for displaying on a connected PDA
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Social Psychology (AREA)
  • Human Computer Interaction (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 분할 영상 기반의 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치에 관한 것이다. 본 발명은 스트리밍 서버와 통신 채널을 형성하는 통신 회로, 스트리밍 서버가 제공하는 데이터를 저장하는 저장부, 영상을 출력하는 디스플레이, 통신 회로, 저장부 및 디스플레이에 기능적으로 연결된 단말 프로세싱부를 포함하는 전자 장치를 제공한다. 단말 프로세싱부는 스트리밍 서버가 제공하는 MPD(Media Presentation Description)와 관련한 영상의 ROI(Region Of Interest)를 검출하고, ROI 정보를 스트리밍 서버에 전송하고, 스트리밍 서버로부터 ROI 정보에 대응하는 제1 해상도의 분할 영상 조각들 및 제2 해상도의 전체 영상을 수신하고, 제2 해상도의 전체 영상과 제1 해상도의 분할 영상 조각들을 합성하여 디스플레이에 출력하도록 설정된다.

Description

분할 영상 기반의 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치{Operating Method for Live Streaming Service based on Tiled Encoding image and electronic device supporting the same}
본 발명은 라이브 스트리밍 서비스 운용과 관련한 방법 및 장치에 관한 것이다.
인터넷 네트워크의 발달에 따라 고화질의 대용량 미디어 파일의 전송이 가능해지고 있다. 하지만 아직까지도 대용량 미디어 컨텐츠 스트리밍 서비스를 위해서 인터넷망의 QoS(Quality of Service)가 보장되지 않고, 대역폭의 한계가 존재하여 소비자에게 끊김 없는 스트리밍 서비스 제공이 어려운 상태이다.
이를 해결하기 위해 네트워크 환경에 적응적으로 서비스 할 수 있는 스트리밍 기술 개발이 요구되었으며, 국제 표준화 기구인 MPEG(Moving Picture Experts Group)에서 DASH(Dynamic Adaptive Streaming over HTTP)라는 이름으로 표준화가 진행되었다.
MPEG-DASH는 사용자 환경(네트워크 및 단말 성능 등)에 맞추어 미디어 컨텐츠를 사용자에게 끊김 없이 서비스하기 위한 표준으로, MPEG-DASH에서 다루는 표준화 범위는 미디어 컨텐츠의 소비, 조합 및 기타 정보를 기술하는 MPD(Media Presentation Description) 기술, 시간 기반 컨텐츠 분할 기술인 Media Segmentation 기술, 시분할된 각각의 파일을 다운로드/스트리밍 할 수 있는 액세스 위치 기술, MPEG-DASH를 지원하는 file format 기술, 디지털 미디어 소비 및 저장 형식에 따라 MPD 구성을 변경할 수 있는 Profiling 기술 등이 해당된다.
한국등록특허 제10-1764317호(2017.07.27. 등록)
한편, 종래 MPEG-DASH 기반으로 컨텐츠를 제공하더라도, 고해상도의 컨텐츠 제공의 경우, 연속적인 컨텐츠 제공이 어려운 문제가 있었다.
이에, 본 발명은 지연이 상대적으로 적거나 또는 끊김이 없이 컨텐츠를 제공할 수 있는 분할 영상 기반의 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치를 제공함에 있다.
본 발명의 실시 예에 따르면, 본 발명의 분할 영상 기반의 라이브 스트리밍 서비스 운용 방법은 전자 장치의 단말 프로세싱부에 의하여 스트리밍 서버에 MPD(Media Presentation Description) 파일을 요청하는 단계, 상기 MPD 파일에서 데이터를 파싱하고 캐싱하는 단계, 상기 캐싱된 데이터와 관련한 영상의 ROI(Region Of Interest)를 검출하는 단계, 상기 ROI를 상기 스트리밍 서버에 전송하는 단계, 상기 ROI에 대응된 영역에 해당하는 분할 조각 영상들, 상기 분할 조각 영상들과 동일 시점의 전체 영상 및 오디오 정보를 수신하는 단계, 상기 전체 영상과 상기 오디오 정보를 디먹싱한 후, 상기 분할 조각 영상들 및 상기 전체 영상을 디스플레이에 출력하고 상기 오디오 정보를 입출력 장치에 출력하는 단계를 포함할 수 있다.
또한, 본 발명의 분할 영상 기반의 라이브 스트리밍 서비스를 제공하는 전자 장치는 스트리밍 서버와 통신 채널을 형성하는 통신 회로, 상기 스트리밍 서버가 제공하는 데이터를 저장하는 저장부, 영상을 출력하는 디스플레이, 상기 제1 통신 회로, 상기 저장부 및 상기 디스플레이에 기능적으로 연결된 단말 프로세싱부를 포함하고, 상기 단말 프로세싱부는 상기 스트리밍 서버가 제공하는 MPD(Media Presentation Description)와 관련한 영상의 ROI(Region Of Interest)를 검출하고, 상기 ROI 정보를 상기 스트리밍 서버에 전송하고, 상기 스트리밍 서버로부터 상기 ROI 정보에 대응하는 제1 해상도의 분할 영상 조각들 및 제2 해상도의 전체 영상을 수신하고, 상기 제2 해상도의 전체 영상과 상기 제1 해상도의 분할 영상 조각들을 합성하여 상기 디스플레이에 출력하도록 설정될 수 있다.
상기 전자 장치는 지향하고 방향과 관련한 센싱 정보를 획득하는 센서를 더 포함하고, 상기 단말 프로세싱부는 상기 센싱 정보를 기반으로 상기 전자 장치가 지향하고 있는 방향에 대응하는 디스플레이의 화면 영역을 상기 ROI로 검출하도록 설정될 수 있다.
상기 단말 프로세싱부는 상기 MPD 파일에서 파싱된 정보를 기반으로 주 객체와 배경 객체를 구분하고, 상기 주 객체가 위치한 영역을 상기 ROI로 검출하도록 설정될 수 있다.
상기 전자 장치는 입출력 장치를 더 포함하고, 상기 단말 프로세싱부는 상기 제2 해상도의 전체 영상과 믹싱된 오디오 정보를 수신하고, 상기 오디오 정보와 상기 제2 해상도의 전체 영상을 분할한 후, 상기 입출력 장치를 통해 상기 오디오 정보를 출력하도록 설정될 수 있다.
상기 전자 장치는 상기 단말 프로세싱부는 상기 제2 해상도의 전체 영상을 상기 디스플레이의 크기에 대응되도록 확대하여 배경 영상을 생성하고, 상기 확대된 배경 영상과 상기 제1 해상도의 분할 영상 조각들을 합성하여 상기 디스플레이에 출력하도록 설정될 수 있다.
상술한 바와 같이, 본 발명의 분할 영상 기반의 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치에 따르면, 본 발명은 고해상도의 영상 컨텐츠를 지연 없이 시청할 수 있도록 지원할 수 있다.
도 1은 본 발명의 실시 예에 따른 분할 영상 기반의 라이브 스트리밍 서비스 시스템의 한 예를 나타낸 도면이다.
도 2는 본 발명의 실시 예에 따른 스트리밍 서버 구성의 일 예를 나타낸 도면이다.
도 3은 본 발명의 일 실시 예에 따른 전자 장치 구성의 한 예를 나타낸 도면이다.
도 4는 본 발명의 실시 예에 따른 분할 영상 라이브 스트리밍 서비스의 일 예를 설명하기 위한 도면이다.
도 5는 본 발명의 실시 예에 따른 분할 영상 기반의 라이브 스트리밍 서비스 운용과 관련한 전자 장치 운용 방법의 일예를 나타낸 도면이다
도 6은 본 발명의 실시 예에 따른 360도 VR 컨텐츠와 관련한 분할 영상 기반 라이브 스트리밍 서비스를 설명하기 위한 도면이다.
이하, 본 발명의 다양한 실시 예가 첨부된 도면을 참조하여 기재된다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 실시 예의 다양한 변경(modification), 균등물(equivalent), 및/또는 대체물(alternative)을 포함하는 것으로 이해되어야 한다. 도면의 설명과 관련하여, 유사한 구성요소에 대해서는 유사한 참조 부호가 사용될 수 있다.
도 1은 본 발명의 실시 예에 따른 분할 영상 기반의 라이브 스트리밍 서비스 시스템의 한 예를 나타낸 도면이다.
도 1을 참조하면, 일 실시 예에 따른 분할 영상 기반의 라이브 스트리밍 서비스 시스템(10)은 스트리밍 서버(13) 및 전자 장치(14)(또는 휴대용 단말 장치, 또는 HMD 장치, 또는 클라이언트)를 포함할 수 있다. 추가적으로, 분할 영상 기반의 라이브 스트리밍 서비스 시스템(10)에서, 스트리밍 서버(13)에 분할 영상을 제공하는 트랜스코더를 더 포함할 수도 있다.
트랜스코더는 지정된 정책 및 룰에 따라 영상(또는 Media 파일)을 동일한 해상도의 복수의 공간들로 분할하거나 또는 서로 다른 해상도의 복수의 공간들로 분할하거나 또는 지정된 시간 단위로 분할할 수 있다. 분할된 미디어 파일들(예: HEVC 타일드 인코딩된 파일들)은 스트리밍 서버(13)에 제공될 수 있다. 또는, 스트리밍 서버(13)는 트랜스코더를 포함할 수도 있다.
트랜스코더는 특정 미디어 파일 예컨대, 360 VR(Virtual Reality) 영상 또는 라이브 중계 영상 등을 타일드 인코딩(Tiled Encoding(HEVC)) 또는 Encoding(HEVC) 하여 스트리밍 서버(13)에 전송할 수 있다. 트랜스코더는 타일드 인코딩된 미디어 파일들에 대응하는 Tiled 정보(MetaInfo)를 작성하고, 작성된 Tiled 정보(MetaInfo)를 미디어 파일 전송 시 함께 스트리밍 서버(13)에 전송할 수 있다. 트랜스코더는 고품질 영상에 대해 실시간으로 HEVC Tiled Encoding을 수행하거나 VOD 컨텐츠에 대해 지정된 시간에 HEVC Tiled Encoding을 수행할 수 있다. 이 동작에서 트랜스코더는 하나의 영상을 일정 크기(또는 공간) 단위로 분할하고, 분할된 미디어 파일에 대하여 순차적으로 HEVC Tiled Encoding을 수행하여 스트리밍 서버(13)에 전송할 수 있다. 트랜스코더가 스트리밍 서버(13)에 전송하는 영상은 예컨대, HQ(8K 급 이상의 HEVC Tiled Encoding된 고품질 영상), MQ(2K 또는 4K 급 이상의 HEVC Tiled Encoding된 중품질 영상), FullMQ(2K 또는 4K급의 HEVC Encoding된 중품질 영상) 중 적어도 하나를 포함할 수 있다. MetaInfo(또는 Tiled 정보)는 상술한 HQ, MQ 파일에 대한 Meta 정보(Tile, Bitrate, FPS, bandwidth 등)를 포함할 수 있다.
스트리밍 서버(13)는 분할 영상 조각들에 대한 MPD(Media Presentation Description) 파일을 생성하여 전자 장치(14)에 전달하고, 전자 장치(14)에 ROI 정보를 요청하여 수신하고, 이를 기반으로 서로 다른 해상도의 분할 영상 조각들을 전자 장치(14)에 전송할 수 있다. MPD 파일은 전자 장치(14)가 이용 가능한 컨텐츠, 제공하는 alternative bit rates, URL 주소 값 등의 정보를 포함하는 Manifest. 파일에 대응될 수 있다.
스트리밍 서버(13)는 서로 다른 해상도의 분할 영상 조각들을 저장 관리할 수 있다. 또는, 스트리밍 서버(130)는 서로 다른 해상도의 분할 영상 조각들을 트랜스코더로부터 실시간 수신할 수도 있다. 스트리밍 서버(13)는 전자 장치(14) 요청에 대응하여 저장된 서로 다른 해상도의 분할 영상 조각들을 전자 장치(14)에 전송할 수 있다.
전자 장치(14)는 MPD 파일을 파싱하면서, 프로그램 타이밍, media-content availability, media type, 화질, 최소 및 최대 bandwidths, 사용할 수 있는 encoded-alternatives, DRM 등의 정보를 획득할 수 있다. 전자 장치(14)는 네트워크 상태 또는 단말의 상태에 맞는 encoding을 선택한 후 HTTP GET Request를 통해서 스트리밍을 수행할 수 있다. 예를 들어, 전자 장치(14)는 사용자 입력에 따라 스트리밍 서버(13)와 통신 채널을 형성할 수 있다. 전자 장치(14)는 설정된 스케줄링 정보 또는 사용자 입력에 대응하여 스트리밍 서버(13)로부터 서로 다른 해상도의 분할 영상 조각들을 수신할 수 있다. 전자 장치(14)는 수신된 서로 다른 해상도의 분할 영상 조각들을 조합하여 하나의 영상을 생성하고, 생성된 영상을 출력 장치(예: 디스플레이)에 출력할 수 있다. 이 동작에서, 전자 장치(14)는 영상에 대한 ROI(Region of interest) 정보를 획득하고, 획득된 ROI 정보를 스트리밍 서버(13)에 전달할 수 있다. 전자 장치(14)는 스트리밍 서버(13)로부터 상대적으로 고해상도의 ROI 영역에 대응하는 분할 영상 조각들을 수신하고, 이를 출력 장치에 출력할 수 있다.
상술한 바와 같이, 본 발명의 분할 영상 기반의 라이브 스트리밍 서비스 시스템은 사용자가 관심을 가지고 있는 또는 현재 영상에서 집중하고 있거나 집중할 영역들의 해상도를 주변 영역보다 고해상도 영상으로 출력하고, 주변 영역은 상대적으로 저해상도 영상을 출력할 수 있다. 이에 따라, 사용자가 관심 있어 하는 부분은 고해상도를 시청하면서도 데이터 전송의 부담을 저감시켜 데이터 전송 및 출력 상태에서의 지연을 최소화할 수 있다.
도 2는 본 발명의 실시 예에 따른 스트리밍 서버 구성의 일 예를 나타낸 도면이다.
도 2를 참조하면, 일 실시 예에 따른 스트리밍 서버(13)는 제1 통신 회로(110), 제2 통신 회로(120), 메모리(140) 및 프로세싱부(160)(예: 컨트롤러, 적어도 하나의 프로세서, 또는 적어도 하나의 프로세싱 모듈)를 포함할 수 있다.
제1 통신 회로(110)는 서로 다른 해상도의 분할 영상 조각을 제공하는 트랜스코더와 통신할 수 있는 통신 채널을 형성할 수 있다. 제1 통신 회로(110)는 유선 통신 인터페이스 또는 무선 통신 인터페이스 중 적어도 하나를 포함할 수 있다. 제1 통신 회로(110)는 트랜스코더가 전송하는 다양한 품질의 미디어 파일들에 대한 MetaInfo를 수신할 수 있다.
제2 통신 회로(120)는 전자 장치(14)와 통신할 수 있는 통신 채널을 형성할 수 있다. 제2 통신 회로(120)는 유선 통신 인터페이스 또는 무선 통신 인터페이스 중 적어도 하나를 포함할 수 있다. 제2 통신 회로(120)는 전자 장치(14) 접속에 따른 채널을 할당하고, 전자 장치(14)로부터 영상 요청 신호를 수신할 수 있다. 제2 통신 회로(120)는 영상 요청 신호에 대응하는 MPD 파일 및 분할된 영상 조각들을 전자 장치(14)에 제공할 수 있다.
메모리(140)는 스트리밍 서버(13) 운용에 필요한 다양한 프로그램 또는 다양한 명령어를 저장할 수 있다. 예컨대, 메모리(140)는 제1 통신 회로(110)를 기반으로 서로 다른 해상도의 분할 영상 조각들을 수신하도록 설정된 적어도 하나의 명령어들, 수신한 영상 조각들에 대한 MPD 파일을 작성하도록 설정된 적어도 하나의 명령어들, 수신한 영상 조각들에 대한 DASHing 작업을 수행하도록 설정된 적어도 하나의 명령어들, 전자 장치(14)의 요청을 수신하거나 및 수신된 요청에 대응하여 MPD 등의 파일을 전자 장치(14)에 제공하도록 설정된 명령어들을 저장할 수 있다. 또한, 메모리(140)는 전자 장치(14)로부터 ROI 정보를 획득하도록 설정된 명령어들, ROI 정보를 기반으로 서로 다른 해상도의 분할 영상 조각들을 선택하여 전자 장치(14)에 전송하도록 설정된 명령어들을 저장할 수 있다.
프로세싱부(160)는 스트리밍 서버(13) 운용과 관련한 명령어의 처리 및 데이터(예: 분할 영상 조각들)의 저장 관리와 전송을 수행할 수 있다. 이러한 프로세싱부(160)는 적어도 하나의 프로세서로 구현되거나 또는 적어도 하나의 소프트웨어 모듈에 의해 구현되고 지정된 프로세서에 의해 운용될 수 있다.
예컨대, 프로세싱부(160)는 외부 장치(예: 트랜스코더)로부터 분할 영상 조각들을 수신하기 위하여 버퍼를 할당할 수 있다. 프로세싱부(160)는 제1 해상도의 영상 조각들을 저장하기 위한 제1 버퍼 및 제1 해상도와 다른 제2 해상도(예: 제1 해상도보다 낮은 해상도)의 영상 조각들을 저장하기 위한 제2 버퍼를 할당할 수 있다. 프로세싱부(160)는 제1 버퍼 및 제2 버퍼에 저장된 영상 조각들에 대한 MPD 파일을 생성하고, 생성된 MPD 파일을 전자 장치(14)에 제공할 수 있다.
프로세싱부(160)는 전자 장치(14)에 ROI 정보를 요청하는 메시지를 전송할 수 있다. 프로세싱부(160)는 전자 장치(14)가 제공한 ROI 정보를 확인하고, 어떠한 영상 조각을 상대적으로 높은 해상도의 영상으로 전송할지를 결정할 수 있다. 이와 관련하여, 프로세싱부(160)는 ROI 영역에 대응하는 고해상도의 분할 영상 조각을 외부 장치에 요청하여 실시간 수신할 수도 있다. 또는, 스트리밍 서버(13)는 하나의 컨텐츠에 대한 다양한 해상도의 분할 영상 조각들을 저장 관리하는 경우, 메모리(140)에 저장된 영상 조각들 중 ROI 영역에 대응하는 고해상도의 영상 조각들을 획득하고, 획득된 고해상도의 영상 조각들을 전자 장치(14)에 전송할 수 있다. 이 동작에서, 스트리밍 서버(13)의 프로세싱부(160)는 상대적으로 저해상도의 전체 영상을 ROI에 대응하는 영역의 고해상도 영상 조각들과 함께 전자 장치(14)에 전송할 수 있다. 또는, 스트리밍 서버(13)의 프로세싱부(160)는 저해상도의 전체 이미지와 오디오 정보를 믹싱하여 지정된 제1 채널을 통하여 전자 장치(14)에 전송하고, 전자 장치(14)로부터 수신된 ROI 정보에 대응하는 고해상도의 부분 이미지(또는 분할 영상 조각들)를 지정된 제2 채널을 통하여 전자 장치(14)에 전송할 수 있다.
도 3은 본 발명의 일 실시 예에 따른 전자 장치 구성의 한 예를 나타낸 도면이다.
도 3을 참조하면, 일 실시 예에 따른 전자 장치(14)는 단말 통신 회로(210), 저장부(240), 디스플레이(250), 입출력 장치(270), 센서(280) 및 단말 프로세싱부(260)를 포함할 수 있다.
단말 통신 회로(210)는 스트리밍 서버(13)와 통신 채널을 형성할 수 있다. 예컨대, 단말 통신 회로(210)는 스트리밍 서버(13)로부터 MPD 파일 또는 분할 영상 조각들(예: 제1 해상도의 영상 조각들과 제2 해상도이 영상 조각들)을 수신할 수 있다. 또한, 단말 통신 회로(210)는 단말 프로세싱부(260)가 수집한 ROI 정보를 스트리밍 서버(13)에 전송할 수 있다.
저장부(240)는 전자 장치(14) 운용과 관련한 프로그램 및 명령어들을 저장할 수 있다. 예컨대, 전자 장치가 HMD(Head Mounted Device)인 경우 저장부(240)는 HMD 장치 운용과 관련한 응용 프로그램을 저장할 수 있다. 저장부(240)는 스트리밍 서버(13)가 전송한 MPD 파일 및 분할 영상 조각들을 임시 또는 반영구적으로 저장할 수 있다. 또한, 저장부(240)는 분할 영상 조각들을 조합하여 생성한 ROI 기반 영상을 저장하고, 단말 프로세싱부(260) 제어에 대응하여 디스플레이(250)에 전달할 수 있다.
디스플레이(250)는 전자 장치(14) 운용과 관련한 화면을 출력할 수 있다. 예컨대, 디스플레이(250)는 스트리밍 서버(13) 접속과 관련한 화면, 스트리밍 서버(13)가 제공하는 MPD 파일과 관련한 화면, 스트리밍 서버(13)가 제공한 분할 영상 조각들의 조합에 의해 생성된 ROI 기반 영상을 출력할 수 있다. 디스플레이(250)는 예컨대, HMD 장치에 포함되어 VR(Virtual Reality) 영상을 출력할 수 있는 분리된 디스플레이 영역들을 포함할 수 도 있다. 분리된 디스플레이 영역들에는 좌안 영상 및 우안 영상이 각각 출력될 수 있다.
입출력 장치(270)는 전자 장치(14) 조작과 관련한 사용자 입력을 입력할 수 있는 적어도 하나의 버튼, 터치 패드, 터치스크린, 음성 입력용 마이크 중 적어도 하나의 입력 장치를 포함할 수 있다. 입출력 장치(270)는 전자 장치(14) 운용과 관련한 오디오 신호를 출력할 수 있는 오디오 장치 또는 전자 장치(14) 운용과 관련한 빛을 출력할 수 있는 램프나 진동 소자 등을 포함할 수 있다. 예컨대, 입출력 장치(270)는 스트리밍 서버(13)로부터 수신된 오디오 신호를 분할 영상 조각들과 싱크되어 출력할 수 있다.
센서(280)는 전자 장치(14)의 움직임, 방향, 이동 상태 등과 관련한 다양한 센싱 정보를 수집할 수 있다. 센서(280)는 수집된 센싱 정보를 단말 프로세싱부(260)에 전달할 수 있다.
단말 프로세싱부(260)는 전자 장치(14) 운용과 관련한 명령어의 처리 또는 데이터의 전달 등을 처리할 수 있다. 예컨대, 단말 프로세싱부(260)는 입출력 장치(270)를 통해 입력된 사용자 입력에 대응하여 스트리밍 서버(13)와 통신 채널을 형성하고, 스트리밍 서버(13)로부터 MPD 파일을 수신할 수 있다. 단말 프로세싱부(260)는 사용자 입력에 대응하여 특정 컨텐츠를 스트리밍 서버(13)에 요청하고, 스트리밍 서버(13)로부터 분할 영상 조각들을 수신하여 디스플레이(250)에 출력할 수 있다. 이 동작에서, 단말 프로세싱부(260)는 센서(280)로부터 센싱 정보를 수집하고, 수집된 센싱 정보를 이용하여 장치가 지향하고 있는 방향 또는 디스플레이(250)에 표시된 화면에서 주시되고 있는 방향 등을 검출할 수 있다. 단말 프로세싱부(260)는 방향 값을 기준으로 디스플레이(250) 상에서 주시된 ROI 영역의 정보를 수집하고, ROI 정보를 스트리밍 서버(13)에 전송할 수 있다. 예컨대, 전자 장치(14) 장치가 HMD 장치인 경우 사용자의 머리 방향이 지시하는 영역(예: Viewport)을 센서(280)를 기반으로 획득할 수 있다.
다른 예로서, 단말 프로세싱부(260)는 출력되는 영상을 분석하여 주 객체와 배경 객체를 구분할 수 있다. 단말 프로세싱부(260)는 구분된 객체들 중 주 객체가 배치된 지점을 ROI 정보로서 수집하고 이를 스트리밍 서버(13)에 전송할 수 있다. 또는, 단말 프로세싱부(260)는 사용자 입력에 의해 디스플레이(250) 상에서 지시되는 위치를 ROI 정보로서 수집하고 이를 스트리밍 서버(13)에 전송할 수 있다.
영상 출력과 관련하여, 단말 프로세싱부(260)는 스트리밍 서버(13)로부터 수신된 상대적으로 저해상도의 배경 이미지와 상대적으로 고생도의 ROI 영역에 해당하는 부분 이미지를 조합하여 ROI 기반 영상을 생성하고, 이를 디스플레이(250)에 출력할 수 있다.
상술한 바와 같이, 전자 장치(14)는 저해상도의 배경 이미지가 기본적으로 디스플레이(250)에 출력되고 있기 때문에, 저해상도 이미지를 끊김 없이 출력하면서도 사용자의 ROI 영역에 대응하는 부분 이미지는 고해상도로 제공할 수 있다. 추가적으로 전자 장치(14)는 저해상도 배경 이미지와 함께 오디오 정보를 수신하고, 수신된 오디오 정보를 입출력 장치(270)를 통해 출력할 수 있다.
도 4는 본 발명의 실시 예에 따른 분할 영상 라이브 스트리밍 서비스의 일 예를 설명하기 위한 도면이다.
도 4를 참조하면, 스트리밍 서버(13)는 도시된 바와 같이, 제1 해상도(예: 제2 해상도보다 높은 해상도로서, 예컨대, HQ(4K) 영상)의 분할 영상 조각들(401)과 제2 해상도(예: 제1 해상도보다 낮은 해상도로서 예컨대 2K Full 영상)의 전체 영상 및 오디오 정보(403)를 메모리(140)에 저장 관리할 수 있다.
스트리밍 서버(13)는 전자 장치(14)로부터 ROI 정보를 수신하면, ROI 정보에 대응하는 제1 해상도의 분할 영상 조각 및 배경에 해당하는 제2 해상도의 전체 영상과 오디오 정보를 전자 장치(14)에 전송할 수 있다.
전자 장치(14)의 단말 프로세싱부(260)는 스트리밍 서버(13)로부터 수신된 제1 해상도의 분할 영상 조각들(예: MPEG-DAS-SRD 기반으로 수신된 제1 해상도 영상)을 수신하여 스티치 모듈(261)(Stitch Module)에 전달하고, 제2 해상도의 전체 영상 및 오디오 정보는 디먹스(262)에 전달할 수 있다. 스티치 모듈(261)은 수신된 분할 영상 조각들을 스티칭하여 ROI 영역에 해당하는 하나의 영상을 생성하여 디스플레이(250)의 버퍼에 저장할 수 있다. 디먹스(262)는 제2 해상도 전체 영상과 오디오 정보를 분리하고, 오디오 정보를 입출력 장치(270) 중 출력 장치(예: 스피커)에 전달할 수 있다. 추출된 제2 해상도 전체 영상은 디스플레이(250)의 버퍼에 저장할 수 있다.
디스플레이(250)는 버퍼에 저장된 제2 해상도 전체 영상 상에 제1 해상도 부분 영상을 오버레이시키거나 또는 합성하여 출력할 수 있다.
도 5는 본 발명의 실시 예에 따른 분할 영상 기반의 라이브 스트리밍 서비스 운용과 관련한 전자 장치 운용 방법의 일예를 나타낸 도면이다
도 5를 참조하면, 전자 장치 운용 방법과 관련하여, 501 단계에서, 전자 장치(14)의 단말 프로세싱부(260)는 MPD 파일을 스트리밍 서버(13)에 요청할 수 있다. 예컨대, 단말 프로세싱부(260)는 스트리밍 서버(13)와 통신 채널을 형성하고 사용자 입력에 따라 또는 사전 스케줄링된 정보에 따라 MPD 파일을 스트리밍 서버(13)에 요청할 수 있다.
503 단계에서, 단말 프로세싱부(260)는 MPD 파일이 수신되었는지 확인할 수 있다. MPD 파일이 수신되지 않는 경우, 종료 여부를 확인하고, 종료 요청이 없는 경우 MPD 파일 수신을 대기할 수 있다. MPD 파일을 수신한 경우, 단말 프로세싱부(260)는 505 단계에서, MPD 파싱을 수행할 수 있다. MPD 파일의 파싱 과정에서, 파싱된 데이터는 507 단계에서 캐시에 저장될 수 있다. 단말 프로세싱부(260)는 509 단계에서 ROI를 검출할 수 있다. 예컨대, 앞서 언급한 바와 같이, 영상에서 주 객체와 배경 객체를 구분하고 주 객체를 ROI로서 검출할 수 있다. 또는, 단말 프로세싱부(260)는 영상을 출력하고, 출력된 영상에서 사용자의 Viewport가 지시하는 영역을 ROI로서 검출할 수 있다.
511 단계에서, 단말 프로세싱부(260)는 검출된 ROI를 기반으로 타일 셋(예: ROI에 대응되는 영역의 제1 해상도의 분할 영상 조각들)을 요청할 수 있다. 여기서, 스트리밍 서버(13)는 메모리(140)에 해당 타일 셋이 저장된 경우, 이를 전자 장치(14)에 전달할 수 있다. 또는 스트리밍 서버(13)는 타일 인코딩된 영상을 제공하는 트랜스코더에 해당 타일 셋에 해당하는 조각 정보(예: 영상에서 조각이 위치한 위치 정보)를 전달하고, 트랜스코더로부터 대응되는 타일 셋을 수신하여 전자 장치(14)에 전달할 수도 있다.
513 단계에서, 단말 프로세싱부(260)는 요청한 타일 셋(예: 제1 해상도의 분할 영상 조각들 및 해당 분할 영상 조각들에 대응되는 프레임의 제2 해상도 전체 영상과 오디오 정보)을 수신하였는지 확인할 수 있다. 요청한 타일 셋을 수신한 경우, 515 단계에서, 단말 프로세싱부(260)는 제1 해상도의 분할 영상 조각들의 스티칭 작업을 수행하고, 제2 해상도의 전체 영상과 오디오 정보의 디먹싱을 수행한 후, 제1 해상도의 스티칭 영상과 제2 해상도의 전체 영상을 디스플레이(250)에 출력하는 한편, 오디오 정보를 입출력 장치(270)에 출력할 수 있다.
517 단계에서, 단말 프로세싱부(260)는 분할 영상 기반의 라이브 스트리밍 서비스의 종료를 요청하는 이벤트가 발생하는지 확인할 수 있다. 예컨대, 단말 프로세싱부(260)는 시청 종료를 요청하는 사용자 입력이 발생하는지 또는 해당 컨텐츠의 마지막 영상 조각들을 수신하였는지 등을 종료 이벤트로서 수신할 수 있다. 종료 이벤트 발생이 없는 경우, 단말 프로세싱부(260)는 이전 동작 수행에 따라 503 단계, 513 단계 이전 등으로 분기할 수 있다.
도 6은 본 발명의 실시 예에 따른 360도 VR 컨텐츠와 관련한 분할 영상 기반 라이브 스트리밍 서비스를 설명하기 위한 도면이다.
도 6을 참조하면, 스트리밍 서버(13)는 제1 해상도의 부분 영상(13_1)(예: 4K Pixel Data)와 제2 해상도의 전체 영상(13_2)(예: 2K Pixel Data)을 전자 장치(14)의 단말 프로세싱부(260) 요청에 따라 전자 장치(14)에 전달할 수 있다.
단말 프로세싱부(260)는 수신된 영상들에 대한 변환 작업을 수행할 수 있다. 예컨대, 단말 프로세싱부(260)는 제2 해상도의 전체 영상을 화면 전체 크기에 대응하는 형태(예: 8K Texture)로 확대시킬 수 있다. 단말 프로세싱부(260)는 확대된 제2 해상도의 전체 영상 위에 제1 해상도의 부분 영상(13_1)을 합성하여 디스플레이(250)에 출력할 수 있다.
이에 따라, 디스플레이(250)는 제2 해상도의 배경 영상 영역(252)과 제1 해상도의 ROI 영상 영역(251)을 가지는 화면을 출력할 수 있다. 상술한 설명에서는 디스플레이(250)가 전체 8K 텍스처를 출력할 수 있도록 마련된 장치를 예시한 것으로, 디스플레이(250)의 전체 해상도나 크기 등에 따라 제2 해상도의 전체 영상(13_2)을 확장시키는 비율이나 크기는 달라질 수 있다.
상술한 본 문서에 개시된 실시 예는 개시된, 기술 내용의 설명 및 이해를 위해 제시된 것이며, 본 발명의 범위를 한정하는 것은 아니다. 따라서, 본 문서의 범위는, 본 발명의 기술적 사상에 근거한 모든 변경 또는 다양한 다른 실시 예를 포함하는 것으로 해석되어야 한다.
13: 스트리밍 서버
14: 전자 장치
110 : 제1 통신 회로
120 : 제2 통신 회로
140 : 메모리
160 : 프로세싱부
210 : 단말 통신회로
240 : 저장부
250 : 디스플레이
260 : 단말 프로세싱부
270 : 입출력 장치

Claims (6)

  1. 스트리밍 서버와 통신 채널을 형성하는 통신 회로;
    상기 스트리밍 서버가 제공하는 데이터를 저장하는 저장부;
    영상을 출력하는 디스플레이;
    상기 통신 회로, 상기 저장부 및 상기 디스플레이에 기능적으로 연결된 단말 프로세싱부;를 포함하고,
    상기 단말 프로세싱부는
    상기 스트리밍 서버가 제공하는 MPD(Media Presentation Description)와 관련한 영상의 ROI(Region Of Interest)를 검출하고,
    상기 ROI 정보를 상기 스트리밍 서버에 전송하고, 상기 스트리밍 서버로부터 상기 ROI 정보에 대응하는 제1 해상도의 분할 영상 조각들 및 제2 해상도의 전체 영상을 수신하고,
    상기 제2 해상도의 전체 영상과 상기 제1 해상도의 분할 영상 조각들을 합성하여 상기 디스플레이에 출력하도록 설정된 전자 장치.
  2. 제1항에 있어서,
    상기 전자 장치가 지향하고 방향과 관련한 센싱 정보를 획득하는 센서;를 더 포함하고,
    상기 단말 프로세싱부는
    상기 센싱 정보를 기반으로 상기 전자 장치가 지향하고 있는 방향에 대응하는 디스플레이의 화면 영역을 상기 ROI로 검출하도록 설정된 전자 장치.
  3. 제1항에 있어서,
    상기 단말 프로세싱부는
    상기 MPD 파일에서 파싱된 정보를 기반으로 주 객체와 배경 객체를 구분하고, 상기 주 객체가 위치한 영역을 상기 ROI로 검출하도록 설정된 전자 장치.
  4. 제1항에 있어서,
    입출력 장치를 더 포함하고,
    상기 단말 프로세싱부는
    상기 제2 해상도의 전체 영상과 믹싱된 오디오 정보를 수신하고, 상기 오디오 정보와 상기 제2 해상도의 전체 영상을 분할한 후, 상기 입출력 장치를 통해 상기 오디오 정보를 출력하도록 설정된 전자 장치.
  5. 제1항에 있어서,
    상기 단말 프로세싱부는
    상기 제2 해상도의 전체 영상을 상기 디스플레이의 크기에 대응되도록 확대하여 배경 영상을 생성하고, 상기 확대된 배경 영상과 상기 제1 해상도의 분할 영상 조각들을 합성하여 상기 디스플레이에 출력하도록 설정된 전자 장치.
  6. 전자 장치의 단말 프로세싱부에 의하여 스트리밍 서버에 MPD(Media Presentation Description) 파일을 요청하는 단계;
    상기 MPD 파일에서 데이터를 파싱하고 캐싱하는 단계;
    상기 캐싱된 데이터와 관련한 영상의 ROI(Region Of Interest)를 검출하는 단계;
    상기 ROI를 상기 스트리밍 서버에 전송하는 단계;
    상기 ROI에 대응된 영역에 해당하는 분할 조각 영상들, 상기 분할 조각 영상들과 동일 시점의 전체 영상 및 오디오 정보를 수신하는 단계;
    상기 전체 영상과 상기 오디오 정보를 디먹싱한 후, 상기 분할 조각 영상들 및 상기 전체 영상을 디스플레이에 출력하고 상기 오디오 정보를 입출력 장치에 출력하는 단계;를 포함하는 분할 영상 기반의 라이브 스트리밍 서비스 운용 방법.

KR1020170161381A 2017-11-29 2017-11-29 분할 영상 기반의 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치 KR102030983B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020170161381A KR102030983B1 (ko) 2017-11-29 2017-11-29 분할 영상 기반의 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치
US16/204,972 US10924782B2 (en) 2017-11-29 2018-11-29 Method of providing streaming service based on image segmentation and electronic device supporting the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170161381A KR102030983B1 (ko) 2017-11-29 2017-11-29 분할 영상 기반의 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치

Publications (2)

Publication Number Publication Date
KR20190062816A true KR20190062816A (ko) 2019-06-07
KR102030983B1 KR102030983B1 (ko) 2019-10-11

Family

ID=66632862

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170161381A KR102030983B1 (ko) 2017-11-29 2017-11-29 분할 영상 기반의 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치

Country Status (2)

Country Link
US (1) US10924782B2 (ko)
KR (1) KR102030983B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220063879A (ko) * 2020-11-11 2022-05-18 가온미디어 주식회사 색상요소분할 전처리 기반의 플렌옵틱 영상 디코딩 방법
KR20220067771A (ko) * 2020-11-18 2022-05-25 주식회사 엘지유플러스 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10779017B2 (en) * 2018-12-10 2020-09-15 Warner Bros. Entertainment Inc. Method and system for reducing drop-outs during video stream playback
CN110519607B (zh) * 2019-09-27 2022-05-20 腾讯科技（深圳）有限公司 视频解码方法及装置，视频编码方法及装置
CN116761019A (zh) * 2023-08-24 2023-09-15 瀚博半导体(上海)有限公司 视频处理方法、系统、计算机设备及计算机可读存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100002632A (ko) * 2008-06-30 2010-01-07 에스케이 텔레콤주식회사 영상 인코딩/디코딩 방법 및 그 장치 및 영상 서비스시스템
KR20150016613A (ko) * 2012-08-03 2015-02-12 인텔 코포레이션 하이퍼텍스트 전송 프로토콜을 통한 품질 인식 적응 스트리밍을 위한 방법
KR101764317B1 (ko) 2016-11-03 2017-08-02 주식회사 헤카스 스트리밍 서버, 스트리밍 시스템 및 스트리밍 방법

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
PL2719190T3 (pl) * 2011-06-08 2018-02-28 Koninklijke Kpn N.V. Dostarczanie treści segmentowanej przestrzennie
EP3092806A4 (en) * 2014-01-07 2017-08-23 Nokia Technologies Oy Method and apparatus for video coding and decoding
WO2018068236A1 (zh) * 2016-10-10 2018-04-19 华为技术有限公司 一种视频流传输方法、相关设备及系统
CN109792563B (zh) * 2016-10-12 2022-01-25 皇家Kpn公司 基于感兴趣区域处理球面视频数据
US20190098347A1 (en) * 2017-09-25 2019-03-28 General Electric Company System and method for remote radiology technician assistance

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100002632A (ko) * 2008-06-30 2010-01-07 에스케이 텔레콤주식회사 영상 인코딩/디코딩 방법 및 그 장치 및 영상 서비스시스템
KR20150016613A (ko) * 2012-08-03 2015-02-12 인텔 코포레이션 하이퍼텍스트 전송 프로토콜을 통한 품질 인식 적응 스트리밍을 위한 방법
KR101764317B1 (ko) 2016-11-03 2017-08-02 주식회사 헤카스 스트리밍 서버, 스트리밍 시스템 및 스트리밍 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220063879A (ko) * 2020-11-11 2022-05-18 가온미디어 주식회사 색상요소분할 전처리 기반의 플렌옵틱 영상 디코딩 방법
WO2022102814A1 (ko) * 2020-11-11 2022-05-19 가온미디어 주식회사 색상요소분할 전처리 기반의 플렌옵틱 영상 디코딩 방법
KR20220067771A (ko) * 2020-11-18 2022-05-25 주식회사 엘지유플러스 고해상도 영상의 스트리밍을 위한 영상 전송 장치와 영상 재생 장치 및 그 동작 방법

Also Published As

Publication number Publication date
US10924782B2 (en) 2021-02-16
US20190166391A1 (en) 2019-05-30
KR102030983B1 (ko) 2019-10-11

Similar Documents

Publication Publication Date Title
US11683540B2 (en) Method and apparatus for spatial enhanced adaptive bitrate live streaming for 360 degree video playback
KR102030983B1 (ko) 분할 영상 기반의 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치
KR102280134B1 (ko) 비디오 재생 방법, 장치 및 시스템
CN109417624B (zh) 用于提供和显示内容的装置和方法
EP2408196B1 (en) A method, server and terminal for generating a composite view from multiple content items
EP2824885B1 (en) A manifest file format supporting panoramic video
JP7085816B2 (ja) 情報処理装置、情報提供装置、制御方法、及びプログラム
US20160277772A1 (en) Reduced bit rate immersive video
EP2621167A1 (en) Video bit stream transmission system
CN113141514B (zh) 媒体流传输方法、系统、装置、设备及存储介质
CN108111899B (zh) 视频传输方法与装置、客户端、服务器及存储介质
CN113141524B (zh) 资源传输方法、装置、终端及存储介质
KR20190063590A (ko) 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스 운용 방법 및 이를 지원하는 전자 장치
CN111869223A (zh) 沉浸式媒体的视场角度量
JP2017123503A (ja) 映像配信装置、映像配信方法及びコンピュータプログラム
KR102118334B1 (ko) 분할 영상 기반의 vr 컨텐츠 라이브 스트리밍 서비스를 지원하는 전자 장치
US20200145636A1 (en) Roi-based vr content streaming server and method
WO2018004936A1 (en) Apparatus and method for providing and displaying content
WO2018178510A2 (en) Video streaming
KR102007669B1 (ko) 방송 수신기 및 이의 운용 방법
JP7319340B2 (ja) 配信サーバ、配信方法及びプログラム
KR102392908B1 (ko) 자유시점 비디오 서비스를 제공하는 방법, 장치 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right