KR102023905B1 - 분할 영상 다중 채널 재생을 하는 전자장치 및 방법 - Google Patents

분할 영상 다중 채널 재생을 하는 전자장치 및 방법 Download PDF

Info

Publication number
KR102023905B1
KR102023905B1 KR1020180137672A KR20180137672A KR102023905B1 KR 102023905 B1 KR102023905 B1 KR 102023905B1 KR 1020180137672 A KR1020180137672 A KR 1020180137672A KR 20180137672 A KR20180137672 A KR 20180137672A KR 102023905 B1 KR102023905 B1 KR 102023905B1
Authority
KR
South Korea
Prior art keywords
image
images
electronic device
roi
streaming server
Prior art date
Application number
KR1020180137672A
Other languages
English (en)
Inventor
박우출
장준환
김용화
양진욱
윤상필
김현욱
조은경
최민수
이준석
양재영
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020180137672A priority Critical patent/KR102023905B1/ko
Priority to PCT/KR2018/014573 priority patent/WO2020096119A1/ko
Application granted granted Critical
Publication of KR102023905B1 publication Critical patent/KR102023905B1/ko
Priority to US16/714,202 priority patent/US10880534B2/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42201—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] biosensors, e.g. heat sensor for presence detection, EEG sensors or any limb activity sensors worn by the user
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4382—Demodulation or channel decoding, e.g. QPSK demodulation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/438—Interfacing the downstream path of the transmission network originating from a server, e.g. retrieving encoded video stream packets from an IP network
    • H04N21/4385—Multiplex stream processing, e.g. multiplex stream decrypting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Neurosurgery (AREA)
  • Analytical Chemistry (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 분할 영상 다중 채널 재생을 하는 전자장치 및 방법이 개시된다. 본 발명의 전자장치는 스트리밍 서버와 통신 채널을 형성하는 단말 통신부, 스트리밍 서버가 제공하는 MPD(Media Presentation Description) 파일과 관련된 영상의 ROI(Region of Interest)를 검출하고, ROI 정보를 스트리밍 서버에 전송하며, 스트리밍 서버로부터 ROI 정보에 대응하는 제1 해상도의 분할 영상 조각들, 제1 해상도보다 낮은 해상도인 제2 해상도의 전체 영상 및 복수의 2D 영상들을 수신하고, 분할 영상 조각들과 전체 영상을 합성하여 VR 영상을 생성하며, 생성된 360 VR 영상과 복수의 2D 영상들이 동시에 재생되도록 제어하는 단말 제어부를 포함한다.

Description

분할 영상 다중 채널 재생을 하는 전자장치 및 방법{Electronic device and method for multi-channel reproduction of tiled image}
본 발명은 다중 채널 재생 기술에 관한 것으로, 더욱 상세하게는 고품질의 360 VR 영상과 복수의 2D 영상을 동시에 재생하는 분할 영상 다중 채널 재생을 하는 전자장치 및 방법에 관한 것이다.
인터넷 네트워크의 발달에 따라 고화질의 대용량 미디어 파일의 전송이 가능해지고 있다. 하지만 아직까지도 대용량 미디어 콘텐츠 스트리밍 서비스를 위해서 인터넷망의 QoS(Quality of Service)가 보장되지 않고, 대역폭의 한계가 존재하여 소비자에게 끊김 없는 스트리밍 서비스 제공이 어려운 상태이다.
이를 해결하기 위해 네트워크 환경에 적응적으로 서비스할 수 있는 스트리밍 기술 개발이 요구되었으며, 국제 표준화 기구인 MPEG(Moving Picture Experts Group)에서 DASH(Dynamic Adaptive Streaming over HTTP)라는 이름으로 표준화가 진행되었다.
한편 최근 스트리밍 서비스를 제공받는 소비자들이 다양한 영상을 동시을 제공받기를 원하는 경향들이 증가하면서 이에 대한 요구를 반영하기 위한 연구가 진행되고 있다.
한국공개특허공보 제10-2016-0100705호(2016.08.24.)
본 발명이 이루고자 하는 기술적 과제는 고품질의 360 VR 영상과 복수의 2D 영상을 동시에 재생하는 분할 영상 다중 채널 재생을 하는 전자장치 및 방법을 제공하는데 목적이 있다.
상기 목적을 달성하기 위해 본 발명의 분할 영상 다중 채널 재생을 하는 전자장치는 스트리밍 서버와 통신 채널을 형성하는 단말 통신부, 상기 스트리밍 서버가 제공하는 MPD(Media Presentation Description) 파일과 관련된 영상의 ROI(Region of Interest)를 검출하고, 상기 ROI 정보를 상기 스트리밍 서버에 전송하며, 상기 스트리밍 서버로부터 상기 ROI 정보에 대응하는 제1 해상도의 분할 영상 조각들, 상기 제1 해상도보다 낮은 해상도인 제2 해상도의 전체 영상 및 복수의 2D 영상들을 수신하고, 상기 분할 영상 조각들과 상기 전체 영상을 합성하여 VR 영상을 생성하며, 상기 생성된 360 VR 영상과 상기 복수의 2D 영상들이 동시에 재생되도록 제어하는 단말 제어부를 포함한다.
또한 상기 단말 제어부는, 상기 MPD 파일에서 파싱된 데이터를 이용하여 주 객체와 배경 객체를 구분하고, 상기 주 객체에 위치하는 영역을 상기 ROI로 검출하는 것을 특징으로 한다.
또한 상기 MPD 파일을 바라보는 사용자의 시점을 감지하는 센서부;를 더 포함하고, 상기 단말 제어부는, 상기 센서부로부터 감지된 사용자의 시점 정보에 대응되는 영역을 상기 ROI로 검출하는 것을 특징으로 한다.
또한 상기 단말 제어부는, 두 개의 디코더를 이용하여 상기 360 VR 영상 및 상기 복수의 2D 영상이 동시에 재생되도록 제어하는 것을 특징으로 한다.
또한 상기 단말 제어부는, 상기 두 개의 디코더 중 하나가 상기 360 VR 영상에 대한 디코딩을 수행하도록 제어하고, 나머지 하나가 상기 복수의 2D 영상들 및 오디오 정보에 대한 디코딩을 수행하도록 제어하는 것을 특징으로 한다.
또한 상기 단말 제어부는, 상기 360 VR 영상이 전체 화면에 배치되고, 상기 복수의 2D 영상들이 상기 ROI에 해당하는 영역이 아닌 영역에 배치되도록 렌더링하는 것을 특징으로 한다.
또한 상기 단말 제어부는, 스테레오(stereo) 형식으로 상기 렌더링을 수행하는 것을 특징으로 한다.
본 발명의 분할 영상 다중 채널 재생 방법은 전자장치가 스트리밍 서버로부터 MPD 파일을 수신하는 단계, 상기 전자장치가 상기 MPD 파일과 관련된 영상의 ROI를 검출하는 단계, 상기 전자장치가 상기 ROI 정보를 상기 스트리밍 서버에 전송하는 단계, 상기 전자장치가 상기 스트리밍 서버로부터 상기 ROI 정보에 대응하는 제1 해상도의 분할 영상 조각들, 상기 제1 해상도보다 낮은 해상도인 제2 해상도의 전체 영상 및 복수의 2D 영상들을 수신하는 단계, 상기 전자장치가 상기 분할 영상 조각들과 상기 전체 영상을 합성하여 360 VR 영상을 생성하는 단계 및 상기 전자장치가 상기 생성된 360 VR 영상과 상기 복수의 2D 영상들이 동시에 재생하는 단계를 포함한다.
또한 상기 재생하는 단계는, 두 개의 디코더를 이용하여 상기 360 VR 영상 및 상기 복수의 2D 영상들이 동시에 재생되도록 하는 것을 특징으로 한다.
또한 상기 재생하는 단계는, 상기 360 VR 영상이 전체 화면에 배치되고, 상기 복수의 2D 영상들이 상기 ROI에 해당하는 영역이 아닌 영역에 배치되도록 렌더링하는 것을 특징으로 한다.
본 발명의 분할 영상 다중 채널 재생을 하는 전자장치 및 방법은 두 개의 디코딩 모듈을 이용하여 고품질의 360 VR 영상과 복수의 2D 영상을 동시에 재생할 수 있다.
이를 통해 본 발명은 사용자에게 지연이 상대적으로 적거나 끊김이 없이 고품질의 360 VR 영상과 복수의 2D 영상을 동시에 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 스트리밍 서비스 시스템을 설명하기 위한 구성도이다.
도 2는 본 발명의 실시예에 따른 스트리밍 서버를 설명하기 위한 블록도이다.
도 3은 본 발명의 실시예에 따른 전자장치를 설명하기 위한 블록도이다.
도 4는 본 발명의 실시예에 따른 분할 영상 다중 채널 재생을 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 분할 영상의 렌더링을 설명하기 위한 도면이다.
도 6은 본 발명의 실시예에 따른 적응형 선택 모듈을 설명하기 위한 도면이다.
도 7은 본 발명의 실시예에 따른 멀티뷰 재생을 설명하기 위한 도면이다.
도 8은 본 발명의 실시예에 따른 분할 영상 다중 채널 재생 방법을 설명하기 위한 도면이다.
이하 본 발명의 실시예를 첨부된 도면들을 참조하여 상세히 설명한다. 우선 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의한다. 또한 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 당업자에게 자명하거나 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
도 1은 본 발명의 실시예에 따른 스트리밍 서비스 시스템을 설명하기 위한 구성도이다.
도 1을 참조하면, 스트리밍 서비스 시스템(300)은 사용자에게 고품질의 360 VR 영상과 복수의 2D 영상을 동시에 재생하여 제공한다. 스트리밍 서비스 시스템(300)은 스트리밍 서버(100) 및 전자장치(200)를 포함한다.
스트리밍 서버(100)는 분할 영상 조각들에 대한 MPD(Media Presentation Description) 파일을 생성하여 전자장치(200)로 전송한다. 스트리밍 서버(100)는 ROI(Region of Interesting) 정보를 이용하여 ROI 정보에 대응하는 제1 해상도의 분할 영상 조각들과 제1 해상도보다 낮은 해상도인 제2 해상도인 제2 해상도의 전체 영상을 생성한다. 스티리밍 서버(100)는 생성된 분할 영상 조각들, 전체 영상 및 복수의 2D 영상들을 전자장치(200)로 전송한다. 스트리밍 서버(100)는 전자장치(200)에 오디오 정보를 더 전송할 수 있다. 여기서 MPD 파일은 전자장치(200)가 이용 가능한 콘텐츠. 제공하는 alternative bit rates, URL 주소 값 등의 정보를 포함하는 Manifest. 파일에 대응될 수 있고, ROI는 사용자의 시점(Field of View, FOV) 정보를 기반으로 생성될 수 있다. 스트리밍 서버(100)는 데스크톱, 랩톱, 서버 컴퓨터, 클러스터 컴퓨터 등으로 구현될 수 있다.
전자장치(200)는 MPD 파일을 파싱하면서 프로그램 타이밍, media- content availability, media type, 화질, 최소 및 최대 bandwidth, 사용할 수 있는 encoded-alternatives, DRM 등의 정보를 획득할 수 있다. 전자장치(200)는 네트워크 상태 또는 전자장치의 상태에 맞는 엔코딩(encoding)을 선택한 후, HTTP GET Requst를 통해서 스트리밍 요청을 수행할 수 있다. 예를 들어 사용자 입력에 따라 스트리밍 서버(100)와 통신 채널을 형성할 수 있다. 이를 통해 전자장치(200)는 ROI 정보를 스트리밍 서버(200)에 전송하고, ROI 정보를 이용하여 생성된 분할 영상 조각들 및 전체 영상과 복수의 2D 영상들을 수신한다. 전자장치(200)는 수신된 분할 영상 조각들과 전체 영상을 합성하여 360 VR 영상을 생성하고, 생성된 360 VR 영상과 복수의 2D 영상들을 결합하여 동시에 재생시킨다. 여기서 전자장치(200)는 스트리밍 서버(100)로부터 오디오 정보를 더 수신하고, 수신된 오디오 정보를 360 VR 영상 및 복수의 2D 영상들과 함께 재생할 수 있다. 전자장치(200)는 데스크톱, 랩톱, 스마트폰, 태블릿 PC, 핸드헬드 PC, HMD 등으로 구현될 수 있으며, 바람직하게는 HMD일 수 있다.
도 2는 본 발명의 실시예에 따른 스트리밍 서버를 설명하기 위한 블록도이다.
도 2를 참조하면, 스트리밍 서버(100)는 통신부(10), 제어부(30) 및 저장부(50)를 포함한다.
통신부(10)는 전자장치(200)와 통신을 수행한다. 이때 통신부(10)는 유무선 통신을 통해 전자장치(200)와 통신을 수행할 수 있다. 통신부(10)는 전자장치(200)로부터 분할 영상 조각들에 대한 MPD 파일에 대한 요청신호, ROI 정보 및 분할 영상/2D 영상에 대한 요청신호를 수신한다. 통신부(10)는 전자장치(200)로 요청신호에 대응되는 MPD 파일 및 분할 영상/2D 영상을 전송한다.
제어부(30)는 스트리밍 서버(100)의 운용과 관련한 명령어의 처리 및 데이터의 저장 관리와 전송을 제어할 수 있다. 제어부(30)는 적어도 하나의 프로세서로 구현되거나 적어도 하나의 소프트웨어 모듈에 의해 구현되고 지정된 프로세서에 의해 운용될 수 있다.
제어부(30)는 영상 조각들에 대한 MPD 파일을 생성하고, 생성된 MPD 파일을 전자장치(200)로 전송할 수 있다. 제어부(30)는 ROI 정보가 수신되면 어떠한 영상 조각을 상대적으로 높은 해상도의 영상으로 전송할지를 결정한다. 즉 제어부(30)는 ROI 정보에 대응하는 영역을 높은 해상도의 영상이 전송되도록 제어하고, ROI 정보에 대응하지 않는 영역을 낮은 해상도의 영상이 전송되도록 제어함으로써, 시스템의 부하를 줄일 수 있다.
제어부(30)는 ROI 정보에 대응하는 제1 해상도의 분할 영상 조각들 및 제1 해상도보다 낮은 해상도인 제2 해상도의 전체 영상을 생성하고, 생성된 분할 영상 조각들과 전체 영상을 전자장치(200)로 전송되도록 제어한다. 이때 제어부(30)는 2D 영상들과 오디오 정보를 더 전송되도록 제어한다.
저장부(50)는 스트리밍 서버(100)의 운용에 필요한 다양한 프로그램 또는 다양한 명령어가 저장된다. 저장부(50)는 MPD 파일, ROI 정보 및 제1 해상도의 분할 영상 조각들, 제2 해상도의 전체 영상, 2D 영상 및 오디오 정보 중 적어도 하나가 저장될 수 있다. 저장부(50)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
도 3은 본 발명의 실시예에 따른 전자장치를 설명하기 위한 블록도이다.
도 3을 참조하면, 전자장치(200)는 단말 통신부(210) 및 단말 제어부(230)를 포함하고, 센서부(220), 디스플레이부(240), 입출력부(250) 및 단말 저장부(260)를 더 포함할 수 있다.
단말 통신부(210)는 스트리밍 서버(100)와 통신을 수행한다. 단말 통신부(210)는 유무선 통신을 통해 스트리밍 서버(100)와 통신을 수행할 수 있다. 단말 통신부(210)는 스트리밍 서버(100)로 MPD 파일에 대한 요청신호, ROI 정보 및 분할 영상/2D 영상에 대한 요청신호를 전송한다. 단말 통신부(210)는 스트리밍 서버(100)로부터 요청신호에 대응되는 MPD 파일 및 분할 영상/2D 영상을 수신한다. 또한 단말 통신부(210)는 스트리밍 서버(100)로부터 오디오 정보를 더 수신할 수 있다.
센서부(220)는 사용자의 눈동자를 트래킹하여 트래킹된 정보를 수집한다. 센서부(220)는 눈동자가 지시하는 방향에 대한 방향 정보를 시점 정보로서 단말 제어부(230)로 전달한다. 센서부(220)는 전자장치(200)가 HMD인 경우, HMD의 내부에 설치되고, 사용자가 HMD를 착용하면 활성화되어 사용자의 눈동자의 위치 변화를 감지할 수 있으며, 전자장치(200)가 HMD가 아닌 경우, 별도의 센서 모듈로 구현되고, 사용자가 사용자 입력을 입력하면 활성화되어 사용자의 눈동자의 위치 변화를 감지할 수 있다.
단말 제어부(230)는 스트리밍 서버(100)로 MPD 파일을 요청하는 요청신호이 전송되도록 제어하고, 요청신호에 대응되는 MPD 파일이 수신되면 디스플레이부(240)를 통해 출력되도록 제어한다. 이때 센서부(220)는 출력되는 영상을 확인하는 사용자의 시점 정보를 수집할 수 있다. 단말 제어부(230)는 센서부(220)로부터 수집된 시점 정보에 대응되는 영역을 ROI로 검출하여 ROI 정보를 생성하고, 생성된 ROI 정보를 스트리밍 서버(100)로 전송하도록 제어할 수 있다. 또한 단말 제어부(230)는 상기 MPD 파일에서 파싱된 데이터를 이용하여 주 객체와 배경 객체를 구분하고, 상기 주 객체에 위치하는 영역을 ROI로 검출하여 ROI 정보를 생성하고, 생성된 ROI 정보를 스트리밍 서버(100)로 전송하도록 제어할 수 있다.
단말 제어부(230)는 스트리밍 서버(100)로부터 ROI 정보에 대응하는 제1 해상도의 분할 영상 조각들, 상기 제1 해상도보다 낮은 해상도인 제2 해상도의 전체 영상 및 복수의 2D 영상들을 수신하면 분할 영상의 조각들 및 전체 영상을 렌더링을 수행하여 360 VR 영상을 생성하고, 생성된 360 VR 영상을 디스플레이부(240)를 통해 출력되도록 제어한다. 이때 360 VR 영상은 ROI에 해당하는 영역에 상대적으로 고해상도를 부여하고, ROI에 해당하지 않는 영역에 상대적으로 저해상도를 부여하여 전체적인 데이터 부하량을 저감시키는 동시에 저지연 라이브 스트리밍 서비스가 가능하도록 지원한다.
단말 제어부(230)는 단말 제어부(230)는 두 개의 디코더를 이용하여 360 VR 영상 및 복수의 2D 영상이 동시에 재생되도록 제어한다. 이때 단말 제어부(230)는 두 개의 디코더 중 하나가 360 VR 영상에 대한 디코딩을 수행하도록 제어하고, 나머지 하나가 상기 복수의 2D 영상들 및 오디오 정보에 대한 디코딩을 수행하도록 제어한다.
단말 제어부(230)는 두 개의 디코더를 통해 디코딩된 360 VR 영상과 복수의 2D 영상들 및 오디오 정보를 렌더링하여 최종 영상을 생성한다. 이 때 단말 제어부(230)는 360 VR 영상이 전체 화면에 배치되고, 복수의 2D 영상들이 360 VR 영상의 ROI에 해당하는 영역이 아닌 영역에 배치되도록 렌더링하여 최종 영상을 생성한다. 즉 최종 영상은 360 VR 영상과 복수의 2D 영상들이 동시에 출력되는 영상일 수 있다. 단말 제어부(230)는 스테레오(stereo) 형식으로 렌더링을 수행할 수 있다.
디스플레이부(240)는 전자장치(200) 운용과 관련된 화면을 출력한다. 예를 들어 디스플레이부(240)는 스트리밍 서버(100) 접속과 관련된 화면, 스트리밍 서버(100)가 제공하는 MPD 파일과 관련된 화면, 스트리밍 서버(100)가 제공한 분할 영상 조각들, 전체 영상 및 2D 영상에 의해 생성된 최종 영상을 출력할 수 있다. 이때 전자장치(200)가 HMD인 경우, 디스플레이부(240)는 HMD에 포함되어 VR 영상을 출력할 수 있는 분리된 디스플레이 영역들을 포함할 수 있다. 여기서 분리된 디스플레이 영역들에는 좌안 영상 및 우안 영상이 각각 출력될 수 있다. 디스플레이부(240)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함할 수 있다.
입출력부(250)는 전자장치(200)의 조작과 관련된 사용자 입력을 입력할 수 있는 적어도 하나의 버튼, 터치 패드, 터치스크린, 음성 입력용 마이크 중 적어도 하나의 입력 장치를 포함할 수 있다. 입출력부(250)는 전자장치(200)의 운용과 관련된 오디오 신호를 출력할 수 있는 오디오 장치, 빛을 출력할 수 있는 램프 또는 진동 소자 등을 포함할 수 있다.
단말 저장부(260)는 전자장치(200)의 운용과 관련된 프로그램 및 명령어들이 저장된다. 즉 단말 저장부(260)는 전자장치(200)를 운용과 관련된 응용 프로그램이 저장될 수 있다. 단말 저장부(260)는 스트리밍 서버(100)로부터 수신된 MPD 파일 및 분할 영상 조각들, 전체 영상, 오디오 정보가 저장되고, ROI기반으로 생성된 최종 영상이 저장될 수 있다. 단말 저장부(260)는 플래시 메모리 타입, 하드디스크 타입, 미디어 카드 마이크로 타입, 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램, SRAM, 롬, EEPROM, PROM, 자기메모리, 자기 디스크, 광디스크 중 적어도 하나의 저장매체를 포함할 수 있다.
도 4는 본 발명의 실시예에 따른 분할 영상 다중 채널 재생을 설명하기 위한 도면이고, 도 5는 본 발명의 실시예에 따른 분할 영상의 렌더링을 설명하기 위한 도면이며, 도 6은 본 발명의 실시예에 따른 적응형 선택 모듈을 설명하기 위한 도면이고, 도 7은 본 발명의 실시예에 따른 멀티뷰 재생을 설명하기 위한 도면이다.
도 1, 도 3 내지 도 7을 참조하면, 스트리밍 서비스 시스템(300)은 사용자에게 360 VR 영상과 복수의 2D 영상을 동시에 재생하는 영상을 제공한다.
스트리밍 서버(100)는 제1 해상도(예: 제2 해상도보다 높은 해상도로서, 예컨대 4K stereo 영상)의 분할 영상 조각들(101)과 제2 해상도(예: 제1 해상도보다 낮은 해상도로서, 예컨대 2K Full 영상)의 전체 영상 및 오디오 정보(103)를 저장부(50)에 저장 관리 할 수 있다.
스트리밍 서버(100)는 전자장치(200)로부터 ROI 정보를 수신하며 ROI 정보에 대응하는 제1 해상도의 분할 영상 조각 및 배경에 해당하는 제2 해상도의 전체 영상과 오디오 정보를 전자장치(200)로 전송할 수 있다. 또한 스트리밍 서버(100)은 복수의 2D 영상들을 전자장치(200)로 전송할 수 있다.
전자장치(200)는 단말 제어부(230)를 통해 360 VR 영상과 복수의 2D 영상들이 동시에 재생되도록 제어한다. 즉 단말 제어부(230)는 스트리밍 서버(100)로부터 수신된 제1 해상도의 분할 영상 조각들(예: MPEG-DAS-SRD 기반으로 수신된 제1 해상도 영상)(101)을 스티치 모듈(231)에 전달하고, 제2 해상도의 전체 영상 및 오디오 정보(103)를 디먹스(233)에 전달할 수 있다. 스티치 모듈(231)은 수신된 분할 영상 조각들을 스티칭하여 ROI 영역에 해당하는 하나의 영상을 생성하여 디스플레이부(240)의 버퍼에 저장할 수 있다. 디먹스(233)는 제2 해상도의 전체 영상과 오디오 정보를 분리하고, 오디오 정보를 입출력부(220) 중 출력 장치(예: 스피커)에 전달할 수 있다. 분리된 제2 해상도의 전체 영상은 디스플레이부(240)의 버퍼에 저장될 수 있다.
단말 제어부(230)는 디스플레이부(240)의 버퍼에 저장된 ROI 영역에 해당하는 하나의 영상과 제2 해상도의 전체 영상을 적응형 선택 모듈(235)을 이용하여 하나의 360 VR 영상을 생성한다. 단말 제어부(230)는 제1 디코더(237)를 이용하여 생성된 360 VR 영상을 디코딩하고, 제2 디코더(239)를 이용하여 복수의 2D 영상들을 디코딩할 수 있다. 이때 제1 디코더(237) 및 제2 디코더(239)는 동시에 디코딩을 수행할 수 있다. 이를 통해 단말 제어부(230)는 360 VR 영상과 복수의 2D 영상들이 동시에 재생되는 최종 영상을 생성한다. 한편 단말 제어부(230)는 스테레오 형식을 기반으로 360 VR 영상이 전체 화면에 배치되고, 복수의 2D 영상들이 360 VR 영상의 ROI에 해당하는 영역이 아닌 영역에 배치되도록 렌더링할 수 있다. 바람직하게는 복수의 2D 영상들은 3개일 수 있으나, 이에 한정하지 않는다.
도 8은 본 발명의 실시예에 따른 분할 영상 다중 채널 재생 방법을 설명하기 위한 도면이다.
도 1 및 도 8을 참조하면, 분할 영상 다중 채널 재생 방법은 두 개의 디코딩 모듈을 이용하여 고품질의 360 VR 영상과 복수의 2D 영상을 동시에 재생할 수 있다. 이를 통해 분할 영상 다중 채널 재생 방법은 사용자에게 지연이 상대적으로 적거나 끊김이 없이 고품질의 360 VR 영상과 복수의 2D 영상을 동시에 제공할 수 있다.
S210단계에서, 전자단말(200)은 MPD 파일의 수신 여부를 판단한다. 전자단말(200)은 스트리밍 서버(100)로부터 MPD 파일이 수신되면 S220단계를 수행하고, MPD 파일이 수신되지 않으면 S280단계를 수행한다.
S220단계에서, 전자단말(200)은 MPD 파일을 파싱한다. 전자단말(200)은 MPD 파일을 파싱하여 데이터를 분석한다.
S230단계에서, 전자단말(200)은 파싱된 데이터를 갱신한다. 전자단말(200)은 분석된 데이터를 캐시에 저장하여 데이터 갱신을 수행한다. 이때 전자단말(200)은 갱신된 데이터를 출력할 수 있다.
S240단계에서, 전자단말(200)은 ROI를 검출한다. 전자단말(200)은 사용자의 시점을 감지하는 센서를 포함하는 경우, 센서로부터 감지된 사용자의 시점 정보에 대응되는 영역을 ROI로 검출할 수 있다. 또한 전자단말(200)은 센서를 포함하지 않는 경우, 파싱된 데이터를 이용하여 주 객체와 배경 객체를 구분하고, 주 객체에 위치하는 영역을 ROI로 검출할 수 있다. 전자단말(200)은 검출된 ROI 정보를 스트리밍 서버(100)로 전송한다.
S250단계에서, 전자단말(200)은 타일셋(예:ROI 정보에 대응하는 제1 해상도의 분할 영상 조각들 및 제2 해상도의 전체 영상) 및 복수의 2D 영상에 대한 요청신호를 스트리밍 서버(100)로 전송한다. 이때 전자단말(200)은 오디오 정보에 대한 요청신호를 더 전송할 수 있다.
S260단계에서, 전자단말(200)은 요청신호에 해당하는 정보의 수신 여부를 판단한다. 전자단말(200)은 해당 정보가 수신하면 S270단계를 수행하고, 해당 정보가 수신되지 않으면 S280단계를 수행한다.
S270단계에서, 전자단말(200)은 수신된 타일셋 및 복수의 2D 영상을 스티칭, 디먹싱 및 출력한다. 전자단말(200)은 오디오 정보를 포함하여 출력할 수 있다. 즉 전자단말(200)은 최종적으로 ROI 정보가 반영된 360 VR 영상과 복수의 2D 영상들이 동시에 재생시킬 수 있다.
S280단계에서, 전자단말(200)은 시스템에 대한 종료 여부를 판단한다. 전자단말(200)은 시스템이 종료되지 않으면 이전 수행된 동작에 따라 S210단계 또는 S260단계를 수행하고, 시스템이 종료되면 시스템 종료를 수행한다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
10: 통신부
30: 제어부
50: 저장부
100: 스트리밍 서버
200: 전자장치
210: 단말 통신부
220: 센서부
230: 단말 제어부
240: 디스플레이부
250: 입출력부
260: 단말 저장부
300: 스트리밍 서비스 시스템

Claims (10)

  1. 스트리밍 서버와 통신 채널을 형성하는 단말 통신부;
    상기 스트리밍 서버가 제공하는 MPD(Media Presentation Description) 파일과 관련된 영상의 ROI(Region of Interest)를 검출하고, 상기 검출된 ROI 정보를 상기 스트리밍 서버에 전송하며, 상기 스트리밍 서버로부터 상기 영상에서 상기 ROI 정보에 대응하는 영역에 대한 제1 해상도의 분할 영상 조각들, 상기 제1 해상도보다 상대적으로 낮은 제2 해상도의 전체 영상 및 복수의 2D 영상들을 수신하고, 상기 ROI 정보에 대응하는 영역의 분할 영상 조각들과 상기 전체 영상을 합성하여 360 VR 영상을 생성하며, 상기 생성된 360 VR 영상과 상기 복수의 2D 영상들이 동시에 재생되도록 제어하는 단말 제어부; 및
    상기 360 VR 영상과 상기 복수의 2D 영상들을 동시 표시하는 디스플레이부;
    를 포함하는 분할 영상 다중 채널 재생을 하는 전자장치.
  2. 제 1항에 있어서,
    상기 단말 제어부는,
    상기 MPD 파일에서 파싱된 데이터를 이용하여 주 객체와 배경 객체를 구분하고, 상기 주 객체에 위치하는 영역을 상기 ROI로 검출하는 것을 특징으로 하는 분할 영상 다중 채널 재생을 하는 전자장치.
  3. 제 1항에 있어서,
    상기 MPD 파일을 바라보는 사용자의 시점을 감지하는 센서부;를 더 포함하고,
    상기 단말 제어부는,
    상기 센서부로부터 감지된 사용자의 시점 정보에 대응되는 영역을 상기 ROI로 검출하는 것을 특징으로 하는 분할 영상 다중 채널 재생을 하는 전자장치.
  4. 제 1항에 있어서,
    상기 단말 제어부는,
    두 개의 디코더를 이용하여 상기 360 VR 영상 및 상기 복수의 2D 영상이 동시에 재생되도록 제어하는 것을 특징으로 하는 분할 영상 다중 채널 재생을 하는 전자장치.
  5. 제 4항에 있어서,
    상기 단말 제어부는,
    상기 두 개의 디코더 중 하나가 상기 360 VR 영상에 대한 디코딩을 수행하도록 제어하고, 나머지 하나가 상기 복수의 2D 영상들 및 오디오 정보에 대한 디코딩을 수행하도록 제어하는 것을 특징으로 하는 분할 영상 다중 채널 재생을 하는 전자장치.
  6. 제 1항에 있어서,
    상기 단말 제어부는,
    상기 360 VR 영상이 전체 화면에 배치되고, 상기 복수의 2D 영상들이 상기 ROI에 해당하는 영역이 아닌 영역에 배치되도록 렌더링하는 것을 특징으로 하는 분할 영상 다중 채널 재생을 하는 전자장치.
  7. 제 1항에 있어서,
    상기 단말 제어부는,
    스테레오(stereo) 형식으로 렌더링을 수행하는 것을 특징으로 하는 분할 영상 다중 채널 재생을 하는 전자장치.
  8. 전자장치가 스트리밍 서버로부터 MPD 파일을 수신하는 단계;
    상기 전자장치가 상기 MPD 파일과 관련된 영상의 ROI를 검출하는 단계;
    상기 전자장치가 상기 검출된 ROI 정보를 상기 스트리밍 서버에 전송하는 단계;
    상기 전자장치가 상기 스트리밍 서버로부터 상기 영상에서의 상기 ROI 정보에 대응하는 영역에 대한 제1 해상도의 분할 영상 조각들, 상기 제1 해상도보다 상대적으로 낮은 제2 해상도의 전체 영상 및 복수의 2D 영상들을 수신하는 단계;
    상기 전자장치가 상기 ROI 정보에 대응하는 영역의 분할 영상 조각들과 상기 전체 영상을 합성하여 360 VR 영상을 생성하는 단계; 및
    상기 전자장치가 상기 생성된 360 VR 영상과 상기 복수의 2D 영상들을 동시에 디스플레이부에 표시하는 단계;
    를 포함하는 분할 영상 다중 채널 재생 방법.
  9. 제 8항에 있어서,
    상기 재생하는 단계는,
    두 개의 디코더를 이용하여 상기 360 VR 영상 및 상기 복수의 2D 영상들이 동시에 재생되도록 하는 것을 특징으로 하는 분할 영상 다중 채널 재생 방법.
  10. 제 8항에 있어서,
    상기 재생하는 단계는,
    상기 360 VR 영상이 전체 화면에 배치되고, 상기 복수의 2D 영상들이 상기 ROI에 해당하는 영역이 아닌 영역에 배치되도록 렌더링하는 것을 특징으로 하는 분할 영상 다중 채널 재생 방법.
KR1020180137672A 2018-11-09 2018-11-09 분할 영상 다중 채널 재생을 하는 전자장치 및 방법 KR102023905B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020180137672A KR102023905B1 (ko) 2018-11-09 2018-11-09 분할 영상 다중 채널 재생을 하는 전자장치 및 방법
PCT/KR2018/014573 WO2020096119A1 (ko) 2018-11-09 2018-11-23 분할 영상 다중 채널 재생을 하는 전자장치 및 방법
US16/714,202 US10880534B2 (en) 2018-11-09 2019-12-13 Electronic device and method for tiled video multi-channel playback

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180137672A KR102023905B1 (ko) 2018-11-09 2018-11-09 분할 영상 다중 채널 재생을 하는 전자장치 및 방법

Publications (1)

Publication Number Publication Date
KR102023905B1 true KR102023905B1 (ko) 2019-11-04

Family

ID=68578158

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180137672A KR102023905B1 (ko) 2018-11-09 2018-11-09 분할 영상 다중 채널 재생을 하는 전자장치 및 방법

Country Status (2)

Country Link
KR (1) KR102023905B1 (ko)
WO (1) WO2020096119A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022080560A1 (ko) * 2020-10-14 2022-04-21 한국전자기술연구원 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157169A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Operating system supporting mixed 2d, stereoscopic 3d and multi-view 3d displays
KR20150093507A (ko) * 2014-02-07 2015-08-18 광운대학교 산학협력단 시거리 기반 적응적 비디오 스트리밍 서비스 제공 방법 및 시스템
KR20160079357A (ko) * 2014-12-26 2016-07-06 주식회사 케이티 파노라믹 비디오 영상의 관심 영역의 영상 전송 방법, 장치 및 디바이스
KR20160100705A (ko) 2015-02-16 2016-08-24 부산대학교 산학협력단 화면분할 디지털 사이니지 시스템 및 서비스 제공 방법
KR20160125708A (ko) * 2015-04-22 2016-11-01 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150065069A (ko) * 2013-12-04 2015-06-12 삼성전자주식회사 디스플레이 장치, 디스플레이 장치의 영상 표시 방법 및 컴퓨터 판독가능 기록매체
KR20180052255A (ko) * 2016-11-10 2018-05-18 에스케이텔레콤 주식회사 스트리밍 컨텐츠 제공 방법, 및 이를 위한 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110157169A1 (en) * 2009-12-31 2011-06-30 Broadcom Corporation Operating system supporting mixed 2d, stereoscopic 3d and multi-view 3d displays
KR20150093507A (ko) * 2014-02-07 2015-08-18 광운대학교 산학협력단 시거리 기반 적응적 비디오 스트리밍 서비스 제공 방법 및 시스템
KR20160079357A (ko) * 2014-12-26 2016-07-06 주식회사 케이티 파노라믹 비디오 영상의 관심 영역의 영상 전송 방법, 장치 및 디바이스
KR20160100705A (ko) 2015-02-16 2016-08-24 부산대학교 산학협력단 화면분할 디지털 사이니지 시스템 및 서비스 제공 방법
KR20160125708A (ko) * 2015-04-22 2016-11-01 삼성전자주식회사 가상현실 스트리밍 서비스를 위한 영상 데이터를 송수신하는 방법 및 장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022080560A1 (ko) * 2020-10-14 2022-04-21 한국전자기술연구원 분할 렌더링된 가상현실 영상을 제공하기 위한 장치 및 이를 위한 방법

Also Published As

Publication number Publication date
WO2020096119A1 (ko) 2020-05-14

Similar Documents

Publication Publication Date Title
JP6846130B2 (ja) ３ｄビデオ上に３ｄグラフィックスをオーバレイするための方法及び装置
RU2765569C1 (ru) Оптимизация доставки звука для приложений виртуальной реальности
JP7421594B2 (ja) 高品質のエクスペリエンスのためのオーディオメッセージの効率的な配信および使用のための方法および装置
US20180275861A1 (en) Apparatus and Associated Methods
KR20180038256A (ko) Vr 스트림의 지연을 보상하는 방법 및 시스템
EP3468171B1 (en) Display apparatus and recording medium
KR102023905B1 (ko) 분할 영상 다중 채널 재생을 하는 전자장치 및 방법
WO2021002338A1 (ja) 情報処理装置、情報処理方法、再生処理装置及び再生処理方法
WO2021065605A1 (ja) 情報処理装置および情報処理方法
US11157146B2 (en) Display apparatus and control method thereof for providing preview content
US8982128B2 (en) Method of providing image and display apparatus applying the same
US10880534B2 (en) Electronic device and method for tiled video multi-channel playback
US20230224521A1 (en) Electronic device and operation method thereof
RU2801698C2 (ru) Оптимизация доставки звука для приложений виртуальной реальности
JPWO2019138927A1 (ja) 情報処理装置および方法
JP2021129129A (ja) 情報処理装置、情報処理方法、およびプログラム
VRT et al. First Version of Playout Clients
KR20090068710A (ko) 단말장치와 리치미디어 서버와 리치미디어 전송 시스템 및리치미디어 전송 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant