KR20190017677A - 확장된 장면 뷰 - Google Patents

확장된 장면 뷰 Download PDF

Info

Publication number
KR20190017677A
KR20190017677A KR1020180092849A KR20180092849A KR20190017677A KR 20190017677 A KR20190017677 A KR 20190017677A KR 1020180092849 A KR1020180092849 A KR 1020180092849A KR 20180092849 A KR20180092849 A KR 20180092849A KR 20190017677 A KR20190017677 A KR 20190017677A
Authority
KR
South Korea
Prior art keywords
scene
video streams
video
stream
streams
Prior art date
Application number
KR1020180092849A
Other languages
English (en)
Other versions
KR102576128B1 (ko
Inventor
웬들링 버트랜드
Original Assignee
나그라비젼 에스에이
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 나그라비젼 에스에이 filed Critical 나그라비젼 에스에이
Publication of KR20190017677A publication Critical patent/KR20190017677A/ko
Priority to KR1020230116987A priority Critical patent/KR20230145271A/ko
Application granted granted Critical
Publication of KR102576128B1 publication Critical patent/KR102576128B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2624—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of whole input images, e.g. splitscreen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/06—Topological mapping of higher dimensional structures onto lower dimensional surfaces
    • G06T3/067—Reshaping or unfolding 3D tree structures onto 2D planes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4038—Image mosaicing, e.g. composing plane images from plane sub-images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2365—Multiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42204—User interfaces specially adapted for controlling a client device through a remote control device; Remote control devices therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/426—Internal components of the client ; Characteristics thereof
    • H04N21/42607—Internal components of the client ; Characteristics thereof for processing the incoming bitstream
    • H04N21/4263—Internal components of the client ; Characteristics thereof for processing the incoming bitstream involving specific tuning arrangements, e.g. two tuners
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4347—Demultiplexing of several video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44016—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving splicing one content stream with another content stream, e.g. for substituting a video clip
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/64—Addressing
    • H04N21/6405—Multicasting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

디스플레이되는 컨텐츠 소비장치의 디스플레이 포맷보다 더 큰(즉, 적어도 한 차원에서 더 많은 픽셀) 장면, 예컨대 360°장면을 가능하게 하는 방법 및 컨텐츠 소비장치를 개시한다. 컨텐츠 소비장치는 디스플레이 포맷에 맞는 장면의 부분을 출력하기 위하여 방송으로 그리고 결합되는 방식으로 구성성분인 장면 뷰를 개별적으로 수신한다. 디스플레이될 장면의 일부(결국 필요한 구성성분 스트림들)는 사용자로 하여금 장면에서 탐색하게 하는 신호, 예컨대 사용자로부터의 탐색 입력에 의해 결정된다. 예를 들어, 디스플레이 형식에 맞는 뷰를 생성하는 데 필요한 장면 스트림들에 기초하여 제한된 수의 장면 스트림들을 수신함으로써, 장면 내에서 보고 탐색하기 위한 대역폭이 감소될 수 있다.

Description

확장된 장면 뷰{Extended Scene View}
본 발명은 장면(scene)의 디스플레이 부분(portion)에 결합 가능한 비디오 스트림의 처리(processing)에 관한 것이다. 더욱 상세하게는 360° 서라운드 뷰(surround view) 혹은 360°x180° 돔 뷰(dome view)와 같은 개별 스트림의 개별 시야(field of view)들보다 넓은 시야에 해당하는 장면에 함께 결합되는(stitched) 비디오 스트림의 처리에 관한 것이다.
개별 카메라 뷰로부터 넓은 시야를 생성하는 기술은 알려져 있다. 예를 들어 최대 32개의 카메라 뷰(VRWorks 360 Video SDK, https://blogs.nvidia.com/blog/2016/07/25/360-degree-video-stitching/, 여기에 참조로서 결합됨)를 결합하기 위한 결합 소프트웨어(stitching software) 또는 가상현실 (VR) 헬멧으로 360° 모드로 디스플레이될 단일 4K 비디오 스트림의 하프 돔(half dome)으로의 결합 시야(VideoStitch, https://www.orah.co/news/how-360-video-works/, 여기에 참조로서 결합됨) 등이 있다. 이러한 유형의 결합된 장면(stitched scene)은 일반적으로 전송하기 위해 상당한 대역폭(bandwidth)이 필요한 큰 고해상도 프레임을 필요로 하는데, 특히 스트림이 실시간으로 "라이브" 전송되는 경우 더욱 그렇다. 이는 결합된 장면을 볼 수 있는 상황(context) 및 사용되는 장비를 제한한다. 현재로서는 불가능한 이러한 상황(context)에서도 이런 “서라운드” 장면을 볼 수 있게 만드는 것이 바람직하다.
본 개시의 일부 특정 실시예들은 본 개시의 양태(aspect) 및 원리(principle)를 설명하기 위해 아래의 도면들을 참조하여 실시예로서 설명될 것이다.
도 1은 컨텐츠 분배 시스템(content distribution system)을 도시한다.
도 2A 및 내지 도 2C는 장면 비디오 스트림(scene video stream)으로 분할(split)된 서라운드 장면을 도시한다.
도 2D 내지 도 2F는 각 구성 스트림(constituent stream)에 대하여 장면 비디오 스트림을 식별하는 각각의 데이터 구조를 도시한다.
도 3은 탐색 신호(navigation signal)에 응답하여 장면 비디오 스트림을 결합하는 방법을 도시한다.
도 4는 컨텐츠 분배 시스템에서의 컨텐츠 소비장치들(content consumption device) 구현을 도시한다.
도 5는 장면 스트림들(scene streams)을 분배하는 방법을 도시한다.
도 6은 컴퓨팅 플랫폼(computing platform)을 도시한다.
개략적으로 본 개시의 양태들은 장면을 실현 가능하게 하는 방법과 컨텐츠 소비장치들을 제공한다. 예를 들어, 컨텐츠 소비장치들의 디스플레이 형식(display format)보다 더 큰(즉, 적어도 하나의 차원에서 더 많은 픽셀을 갖고 있는) 360° 장면이 컨텐츠 소비장치들에 디스플레이될 때와 같은 상황에서 장면을 실현시키는 방법과 컨텐츠 소비장치들을 제공한다. 구성 장면 뷰(constituent scene view)는 방송과 같은 컨텐츠 소비장치들에 의해 개별적으로 수신되고, 컨텐츠 소비장치들에서 결합되듯이 연결되어 디스플레이 형식에 맞는 장면의 일부를 출력한다. 디스플레이되는 장면의 일부 (따라서 필요한 구성 스트림)는 사용자의 탐색(navigation) 입력과 같은 신호에 의해 결정되므로 사용자가 장면에서 탐색할 수 있다. 예를 들어, 디스플레이 형식에 맞는 뷰를 생성하는 데 필요한 장면 스트림들에 기초하여 제한된 수의 장면 스트림들을 수신함으로써, 장면 내에서 보고 탐색하기 위한 대역폭이 감소될 수 있다.
일부 실시예들에서, 컨텐츠 소비장치에서 비디오 스트림들을 처리하는 방법이 개시된다. 컨텐츠 소비장치에는, 예를 들어, 셋탑 박스(set-top box), 데스크탑 또는 노트북, 컴퓨팅 장치(computing device), VR 장치 또는 AR 장치, 헤드 마운티드 디스플레이(head-mounted display) 장치, VR 헬멧 또는 VR 고글 등이 있다. 이 방법은 복수의 비디오 스트림들 중 2개 이상의 비디오 스트림들을 수신하는 과정으로 이루어져 있다. 각각의 복수의 비디오 스트림들은 각각의 장면의 스트림 부분(stream portion)에 대응하고, 복수의 비디오 스트림들은 장면에 대응하는 결합된 스트림으로 결합될 수 있다. 예를 들어, 장면은 장면의 시야각(viewing angle) 또는 시야(field of view)에 걸쳐 있는 한 줄의 스트림 부분 혹은 두 줄 이상의 스트림 부분으로 이루어져 있다. 따라서 장면 스트림들의 시야들이 결합되어 장면의 시야를 제공하게 된다.
이러한 방법은 컨텐츠 소비장치들에 의해 출력될 장면의 출력 부분을 나타내는 신호를 수신하는 과정 또한 포함한다. 출력 부분은 장면보다 적어도 하나의 차원(dimension)에서 픽셀의 수가 적다. 두개 이상의 비디오 스트림들이 결합되어 출력 부분에 대응하는 출력 비디오 스트림을 생성하고, 출력 비디오 스트림이 출력된다. 예를 들어, 디스플레이 장치 상에 디스플레이될 수 있는 비디오 신호를 출력하는 것, 출력 비디오 스트림을 디스플레이 상 또는 VR 헬멧, VR 고글, 텔레비전과 같은 컨텐츠 소비장치들의 일부 또는 전체에 디스플레이 또는 디스플레이하게 하는 것이다. 출력은 WIFI 로컬 영역 네트워크 연결 또는 Bluetooth (TM)를 통해 무선으로 이루어질 수 있다. 출력 부분은 디스플레이 장치 또는 디스플레이 장치와 동일한 높이 및 픽셀 폭을 갖는 컨텐츠 소비장치들의 시야에 대응될 수 있다. 신호는 장면 내 출력 부분의 위치를 나타낼 수 있다. 예를 들어, 픽셀 또는 다른 단위로 출력 부분의 코너, 중심 좌표, 높이 또는 폭을 나타낼 수 있다. 또는 장면의 출력 부분을 스크롤 혹은 이동시키면서 픽셀의 방향 및 개수를 나타낼 수도 있다. 여러 다른 유형의 신호도 마찬가지로 가능하다. 단, 높이 및 너비는 컨텐츠 소비장치들 또는 이 장치가 사용하는 특정 형식에 대해 사전에 설정될 수 있으며, 신호의 일부가 아닐 수도 있다.
바람직하게, 컨텐츠 소비장치들에서 장면 스트림들로부터 디스플레이될 장면의 부분을 조립함으로써(assembling), 전체 장면(full scene)에 대응하는 스트림이 아닌 일부 장면의 스트림만 수신될 수 있다. 결과적으로, 장면의 일부만이 수신되어도 괜찮기 때문에, 시청자(viewer)가 장면보다 작은 디스플레이를 사용하여 장면을 탐색할(navigate) 수 있게 하는 데 필요한 대역폭이 감소된다. 이것은 장면이 라이브 뷰(live view)에 해당하고 실시간으로 전송되는 경우 유용하며, 장면이 미리 녹화된 비디오에 해당하는 경우에는 더욱 유용하다.
일부 실시예들에서, 이러한 방법은 장면의 각각 중첩 부분(overlapping portion)에 대응하는 두개 이상의 비디오 스트림들을 결정하는(determine) 과정, 출력 부분을 오버랩(overlapping)하는 과정, 및 두개 이상의 결정된 비디오 스트림을 선택적으로 수신하는 과정을 포함한다. 두개 이상의 결정된 비디오 스트림을 선택적으로 수신하는 과정은, 두개 이상의 결정된 비디오 스트림만을 수신하는 과정; 두개 이상의 결정된 비디오 스트림들, 예를 들어 두개 이상의 결정된 비디오 스트림들 중 하나 이상을 각각 갖는 하나 이상의 멀티플렉스에 포함된 비디오 스트림들을 포함하는 서브 세트(subset)를 수신하는 과정; 및 두개 이상의 결정된 비디오 스트림들 및 인접한 비디오 스트림 등을 포함할 수 있다. 두개 이상의 결정된 비디오 스트림을 선택적으로 수신한다는 것은, 복수의 비디오 스트림들 모두가 아닌 일부만 수신하는 것, 또는 두개 이상의 결정된 비디오 스트림들을 수신하되 가능하다면 모두가 아닌 근접하거나 어떻게든 연관된 두개 이상의 결정된 비디오 스트림들을 수신하는 것이라고 이해된다. 다른 실시예들에서는, 두개 이상의 비디오 스트림은 복수의 비디오 스트림의 일부 또는 전부를 수신한 후에 결정되고 결합된다(combined). 두개 이상의 결정된 비디오 스트림을 선택적으로 수신함으로써, 대역폭은 그것이 가장 필요한 곳에 이용될 수 있다.
일부 실시예들에서, 상기 두개 이상의 비디오 스트림은 케이블, 위성, 공중파(over-the-air) 또는 인터넷 방송을 통해 방송된다(broadcast). 일부 실시예들에서, 두개 이상의 결정된 비디오 스트림들을 선택적으로 수신하는 과정은 두개 이상의 결정된 비디오 스트림들 각각의 방송을 수신하는 것을 포함한다. 이것은 각각의 스트림에 대해 각각의 채널로의 튜닝(tuning), 각각의 비디오 스트림을 포함하는 하나 이상의 멀티플렉스를 수신하기 위한 하나 이상의 채널로의 튜닝 등을 포함할 수 있다. 일부 실시예들에서, 복수의 비디오 스트림들 중 적어도 하나는 제1 채널을 통해 방송되고, 복수의 비디오 스트림들 중 적어도 하나는 상기 방송 채널과 다른 제2 채널을 통해 방송된다. 각 채널은 특정 반송파 주파수(carrier frequency)에 대응할 수 있고/있거나 비디오 스트림 또는 서비스의 멀티플렉스(multiplex)를 운반할 수 있다고 이해될 것이다. 일부 실시예들에서, 스트림은 MPEG-2 스트림이다. 예를 들어, 멀티플렉스가 복수의 Elementary Streams (ES)들을 포함하는 Transport Streams (TS)인 경우에서 그렇다. 일부 실시예들에서, 두개 이상의 결정된 비디오 스트림들을 선택적으로 수신하는 과정은 서버로부터 두개 이상의 결정된 비디오 스트림들을 요청하는 과정을 포함한다.
일부 실시예들에서, 출력 부분(output portion)을 나타내는 신호(signal)는 숫자 또는 탐색 키(navigation key)를 통한 리모컨, 컨텐츠 소비장치들에 연결된 스마트폰 또는 태블릿, 디스플레이 장치의 터치스크린 또는 컨텐츠 소비장치들에 연결된 터치 스크린, 포인팅 장치 등의 사용자 입력 장치를 통해 수신된다. 포인팅 장치에는 시선 추적(gaze tracking) 및/또는 머리 방향(head orientation) 추적 장치, VR 헬멧 또는 VR 고글 등이 있다. 일부 실시예들에서, 신호는 사용자 입력과는 무관하게 내부적으로 생성될 수도 있다. 예를 들어, 신호는 고정 속도(fixed rate) 또는 가변적인 속도(variable rate)로 출력 부분을 장면 내에서 스크롤(scroll)하도록 배열될 수 있다.
일부 실시예들에서, 이러한 방법은 장면과 관련된 복수의 비디오 스트림들과, 각각의 비디오 스트림에 대해, 장면에서 각 비디오 스트림에 인접하는 하나 이상의 인접한 비디오 스트림을 식별하는 데이터를 수신하는 과정을 포함할 수 있다. 예를 들어, 데이터는 각각의 비디오 스트림 또는 비디오 스트림을 포함하는 멀티플렉스와 함께 수신되거나 내부에 임베드(embedded)될 수 있다. 예를 들어, 데이터는 하나 이상의 디지털 비디오 방송 (DVB) 또는 여타 디지털 방송 테이블(digital broadcast tables)에 제공될 수 있다. 데이터는, 예를 들어, DVB 표준에 따라 TS 멀티플렉스 내의 서비스 기술 테이블 (Service Description Tables; SDT) 또는 이벤트 식별 테이블 (Event Identification Tables; EIT)의 사용자 정의된 디스크립터(user defined descriptors)로 코딩될 수 있으며, MPEG 2 표준에서 정의된 TS 멀티플렉스의 각 프로그램 맵 테이블 (Program Map Table; PMT)로 코딩될 수도 있다. 일부 실시예들에서, 각각의 멀티플렉스는 멀티플렉스의 복수의 스트림 중 임의의 것에 인접한 비디오 스트림을 식별하는 데이터를 포함하거나, 각각의 비디오 스트림은 인접한 비디오 스트림을 식별하는 데이터와 결합된 데이터를 갖는다. 예를 들어, 대응하는 팩 식별자(Packed Identifier; PID)로 관련된 ES를 식별한다. 각각의 경우에, 데이터는 구성 장면 비디오 스트림(constituent scene video stream) 및 이들이 발견될 수 있는 곳을 식별하는데, 예를 들어, 서비스 ID, 프로그램 번호 또는 PID로 비디오 스트림을 식별한다. 예를 들어, 각 스트림은 자신에 인접한 비디오 스트림에 대한 정보를 내부에 임베드할 수 있다.
일부 또다른 양태들에서, 컨텐츠 소비장치들이 개시된다. 이 장치는 복수의 비디오 스트림들 중 두개 이상의 비디오 스트림을 수신하기 위해 방송 수신기 또는 인터넷 프로토콜 (IP) 데이터 통신 인터페이스와 같은 수신기를 포함한다. 각각의 복수의 비디오 스트림들은 장면의 각각의 스트림 부분에 대응하고, 복수의 비디오 스트림들은 장면에 대응하도록 결합된 스트림(combined stream)으로 결합 가능하다. 이 장치는 입력을 갖는데, 예를 들어, 리모콘 또는 다른 장치로부터 무선으로 신호를 수신하거나 터치 스크린, 눈 및 및/또는 머리 추적 장치, 게임 제어기 등과 같은 입력 장치에 결합되거나 연결될 수 있는 입력을 갖는다. 입력은 컨텐츠 소비장치들에 의해 출력될 장면의 출력 부분(output portion)을 나타내는 신호를 수신하도록 구성된다. 출력 부분은 장면보다 적어도 하나의 차원만큼 픽셀 수가 적다. 장치는 수신기로부터 복수의 비디오 스트림 중 두개 이상의 비디오 스트림을 수신하고 신호도 수신하도록 구성된 출력 인터페이스와 프로세서를 포함한다. 프로세서는 또한 두개 이상의 비디오 스트림을 결합하여 출력 부분에 대응하는 출력 비디오 스트림을 생성하고 출력 인터페이스로 하여금 출력 비디오 스트림의 출력을 발생시키도록 구성된다.
일부 실시예들에서, 컨텐츠 소비장치들은 그 자체로는 출력 스트림을 디스플레이하지는 않지만, 다른 장치 상에 디스플레이되도록 출력 스트림을 생성한다. 예를 들어, 출력 인터페이스는 출력 스트림을 디스플레이하기 위하여 HDMI와 같은 출력 포트일 수 있다. 다른 실시예들에서, 컨텐츠 소비장치들은 디스플레이 스크린, 쌍안 디스플레이, 헤드업 또는 헤드 장착 디스플레이, 홀로그램 디스플레이 등과 같은 디스플레이를 포함한다.
일부 실시예들에서, 프로세서는 두개 이상의 비디오 스트림들을 결정하도록 구성되는데, 비디오 스트림들 각각은 출력 부분의 중첩, 장면의 부분의 중첩에 대응한다. 이런 실시예들에서, 두개 이상의 비디오 스트림들을 수신하는 것은 전술한 바와 같이 수신기가 두개 이상의 결정된 비디오 스트림들을 선택적으로 수신하도록 하는 과정을 포함할 수 있다. 수신기는 전술 한 바와 같이 방송 수신기, 예를 들어, 하나 이상의 튜너를 가질 수 있다. 일부 실시예들에서, 수신기는 두개 이상의 튜너들을 포함하고, 프로세서는 두개 이상의 비디오 스트림들 중 제 1 비디오 스트림이 제 1 채널을 통해 송신되고 둘 이상의 비디오 스트림들의 제 2 스트림이 제 2 채널을 통해 송신되는지를 결정하는 한편, 수신기로 하여금 튜너들 중 제 1 채널에 대한 튜너가 두개 이상의 비디오 스트림들 중 중 제 1 비디오 스트림을 수신하게 하고 튜너들 중 다른 하나를 제 2 채널에 대한 튜너로 하여 두개 이상의 상기 비디오 스트림 중 제 2 비디오 스트림을 수신하게 한다. 프로세서는 비디오 스트림을 복수의 비디오 스트림들 중 하나 및 장면에서 비디오 스트림에 인접한 하나 이상의 인접한 비디오 스트림들로서 식별하는 데이터를 수신기로부터 수신하도록 구성될 수 있다. 또한 프로세서는 두개 이상의 스트림을 결정하기 위해 현재 디스플레이된 스트림(들)을 식별하는 정보도 함께 수신하도록 구성될 수 있다.
일부 실시예들에서, 입력은 컨텐츠 소비장치들의 사용자로부터의 입력을 신호로서 수신하도록 구성되거나 사용자 입력으로부터 신호를 유도하도록 구성된다.
또 다른 양태는, 전술한 양태에 따른 방법(들)을 구현하는(implementing) 컨텐츠 소비장치들을 포함한다.
일부 또 다른 양태에서, 장면을 방송하는(broadcast) 방법이 개시된다. 이 방법은 비디오 스트림을 복수의 비디오 스트림 중 하나로서 식별하는 데이터와 함께 제1 방송 채널을 통해 비디오 스트림을 방송하는 과정을 포함한다. 복수의 비디오 스트림들 각각은 장면의 각 스트림 부분에 대응하고, 복수의 비디오 스트림들은 장면에 대응하는 결합된 스트림으로 결합할 수 있다. 비디오 스트림은 비디오 스트림이 대응하는 스트림 부분에 인접한 장면의 부분에 대응하는 하나 이상의 인접 비디오 스트림을 식별하는 추가적인 데이터와 함께 방송된다.
일부 실시예들에서, 하나 이상의 인접한 비디오 스트림들 중 적어도 하나는 제 1 방송 채널들과는 다른 제2 채널을 통해 방송된다. 각각의 방송 채널은 대응하는 비디오 스트림 멀티플렉스를 전송할 수 있다.
또 다른 양태에서, 컴퓨팅 장치에서 실행될 때 전술한 바와 같은 하나 이상의 방법을 구현하는 컴퓨터 명령을 포함하는 컴퓨터 프로그램 제품을 포함한다. 또는 컴퓨팅 장치에서 실행될 때 전술한 바와 같은 하나 이상의 방법을 구현하는 컴퓨터 명령을 인코딩하는 유형(tangible)의 컴퓨터 판독 가능 매체(들)를 포함한다.
도 1을 참조하면, 컨텐츠 분배 시스템(content distribution system)은 컨텐츠 제공자(content provider, 102), 통신 네트워크(104) 및 각각의 입력 장치(108)와 결합된 컨텐츠 소비장치들(content consumption devices, 106)를 포함한다. 컨텐츠 제공자는 아래 설명된 바와 같이 장면(scene)의 시야(field of view)를 구성하기 위해 서로 결합될 수 있는 복수의 장면 스트림들(scene streams)을 분배한다. 컨텐츠 소비장치들(106)은 두개 이상의 장면 스트림들을 수신한다. 그리고, 디스플레이 장치의 빌드(build)를 사용하거나 디스플레이 장치에 출력 스트림을 출력함으로써 사용자에게 디스플레이될 수 있는 장면의 일부의 출력 스트림으로 출력하기 위해 수신한 스트림들을 결합한다. 컨텐츠 소비장치들의 예로는 셋탑 박스, 스마트 TV 세트, 개인 컴퓨팅 장치, 디스플레이 고글 및 헬멧 등이 있다. 위의 예 중 뒤에 4 개는 또한 컨텐츠 소비장치들(106)를 구현하는 셋탑 박스에 접속하기 위한 디스플레이 장치일 수 있다.
일부 특정 실시예에서, 케이블, 위성 또는 공중파 방송, 또는 이들의 조합 등의 컨텐츠 제공자(102)는 방송 주체(broadcaster)이고, 전파 중계소(head-end) 등으로 구성된 통신 네트워크(104)는 상응하는 디지털 방송 인프라에 의해 상응하게 구현된다. 이러한 실시예들에서, 컨텐츠 소비장치들(106)은 대응하는 비디오 스트림(video stream), 방송 서비스, 비디오 스트림의 멀티플렉스(multiplexes)를 수신하기 위한 하나 이상의 튜너(tuner)를 포함한다. 비디오 스트림 또는 비디오 스트림의 멀티플렉스는 일반적으로 MPEG-2 표준에 따라 구현되는데, 종종 임의의 적합한 표준, 예컨대 DVB처럼 지리적 위치에 의해 결정되는 디지털 방송 인프라 및 프로토콜을 위한 표준이 사용될 수 있다. 일부 다른 실시예들에서, 장면 스트림들을 방송하기보다, 장면 스트림들이 요구에 따라(on demand) 제공된다. 예를 들어, 컨텐츠 제공자(102)의 서버로부터 통신 네트워크(104)로서의 인터넷을 통해 제공되고, 컨텐츠 소비장치들(106)들은 이에 따라 구성된다(configured).
장면 스트림들의 전송 모드(mode of transmission)에 관계없이, 각 컨텐츠 소비장치(106)는 컨텐츠 소비장치(106)에 입력 신호를 제공하기 위해 적어도 하나의 입력 장치(108)와 결합된다. 입력 장치(108)에는 리모컨, 스마트폰, 태블릿, 게임 컨트롤러, 고글 또는 헤드 장착 디스플레이(head mounted display) 등이 있다. 일부 실시예들에서, 입력 장치(108)와 컨텐츠 소비장치(106)에 결합된 디스플레이 장치는 하나이거나 동일할 수 있다. 예를 들어, 컨텐츠 소비장치(106)에 입력 신호를 제공하기 위한 아이 트래커(eye tracker) 및/또는 헤드 트래커(head tracker)가 내장된 고글 또는 헤드 장착 디스플레이가 있다. 입력 신호는 장면 내에서 탐색을 위한 탐색 신호로서 컨텐츠 소비장치에 의해 사용된다. 즉, 아래에 설명되는 바와 같이 탐색 신호에 따라 디스플레이되거나 변경되는 장면의 부분에 대응하는 출력 스트림을 결정한다.
도 2A를 참조하면, 장면의 한 예는 4 개의 장면 스트림들(스트림 1~4)으로 분할된 360° 원통형 시야(cylindrical field of view)를 포함한다. 각 스트림은 SD, HD, UHD, 4K 등의 지정된 수신자 컨텐츠 소비장치들 혹은 디스플레이 장치에 의해 디스플레이될 수 있는 형식과 해상도일 수 있다. 이것은 각 장면이 컨텐츠 소비장치들에 의해 처리될 수 없는 전체 해상도(overall resolution)를 가질 수 있고, 장면 스트림들이 각각 개별적으로 송신되는 실시예들에서, 각각의 송신은 전체 장면을 한번에 송신하는 데 필요한 것보다는 적은 대역폭을 필요로 한다는 것을 의미한다.
도 2D는 장면을 구성하는 4 개의 장면 스트림들을 장면 스트림들로서 식별하는 데이터 구조와 이들의 상호 관계를 도시한다. 예를 들어, 스트림 1에 대해 스트림 4가 오른쪽 인접 스트림이고 스트림 2가 왼쪽 인접 스트림이라는 것을 나타낸다. 그리고 도 2A에 도시되어 있듯이 장면에 대한 시점(view point)이 원통의 중심에 있다. 데이터 구조는 비디오 스트림에 내장되거나, 각각의 ES에 내장되거나, PMT 등의 각각의 TS에 내장되거나, 또는 MPEG-2 컨텍스트와 같은 임의의 적절한 방식으로 컨텐츠 제공자(102)에 의해 전송될 수 있다. DVB 구현 시스템에서, 데이터 구조는 분배될(distributed) 수 있다. 예를 들어, PMT와 더해서 혹은 PMT 대신에 SDT 또는 EIT 내에서 분배될 수 있다. 스트림들은 서비스 ID, 프로그램 번호, PID 또는 임의의 다른 적절한 식별자에 의해 식별될 수 있다. 마찬가지로 데이터 구조가 분배될 수 있는데, 예컨대 스트림 1에 관한 레코드(record)가 스트림 1에 임베드될 수 있으며 스트림 2에 관한 데이터가 스트림 2에 임베드될 수 있다. 즉, 각 스트림은 인접 스트림에 대한 데이터를 가질 수 있다.
도 2B는 4개의 장면 스트림들이 아닌 8개의 스트림들(스트림 1 내지 스트림 8)로 분할된 360° 원통형 시야를 포함하는 장면의 예를 도시한다. 장면 스트림들은 각각 4 개의 스트림 두 열로(하부에 스트림 1 ~ 4, 상부에 스트림 5 ~ 8) 배열된다. 이러한 방식으로 하면 장면 스트림 해상도의 4배가 아닌 8배의 장면 해상도를 얻을 수 있다. 장면 스트림들과 동일한 크기로 표시되고 출력될 장면의 일부를 재구성하기 위해, 일반적으로 장면 스트림들이 두 개가 아닌 네 개가 필요하다. 많은 현대의 셋탑 박스가 세 개 이상의 튜너를 제공하고 각 튜너가 멀티플렉스로 여러 스트림을 수신할 수 있다는 점을 감안하면, 다수의 방송 상황(contexts)에서도 문제가 되지 않을 것이다. 이에 상응하는 데이터 구조는 도 2E에 도시되어 있고, 도 2D와 관련하여 상기 기술한 내용은 유사하게 적용된다. 통상의 기술자는 3개 이상의 행을 갖는 배열, 각 행에 더 많은 스트림을 갖는 배열 등의 장면을 구성하는 장면 스트림들의 다양한 배열이 가능함을 이해할 것이며, 기술된 데이터 구조 또한 그러한 상황에 맞춰서 용이하게 맞춤 적용될 수 있다. 마찬가지로, 상응하는 참조 프레임(frames of reference)을 갖는 장면 스트림들 및 데이터 구조의 다른 배열도 통상의 기술자는 쉽게 생각해 낼 수 있다. 일례로 장면 스트림들 중 상호 인접한 것들이 컴퍼스(compass) 방향, 구형(spherical) 혹은 부분 구형(part-spherical) 시야로 특징되는 돔형 배열(domed arrangement)에 타일처럼 배치되는 것도 가능하다.
2열의 스트림을 갖는 360° 원통형 시야를 포함하는 장면의 일례가 도 2C에 도시되어 있다. 단, 임의의 개수의 열과 스트림을 가질 수 있고, 반구형, 구형, 부분 구형과 같은 여타의 배치로 일반화될 수 있다. 이에 상응하는 데이터 구조가 도 2F에 도시되어 있다. 이 예시에서, 행은 서로에 대해 예컨대 200 픽셀씩 오프셋(offset)을 가지도록 구성되어 있으며, 이는 결합될 스트림의 부분이 오프셋을 가짐을 고려하여 적절하게 정렬될 수 있도록 데이터 구조에 표시된다. 다른 실시예들에서는 수평적인 오프셋이 아닌 수직적인 오프셋을 가질 수 있고, 원하는 시야에 따라, 수평 및 수직 방향이 장면 스트림들의 특정한 배열과 무관하게 각각의 적용(application)에 맞춰 적절하게 상호 교체 가능하게 사용될 수 있음이 이해될 것이다.
도 3을 참조하면, 앞에서 기술되고 아래에 더 설명될, 장면의 일부분에 대응하는 출력 스트림을 생성하고 출력하는 프로세스(process)는 예컨대 컨텐츠 소비장치들(106) 내에서 수행되며, 장면 스트림들을 수신하여 출력하는 과정(302)으로부터 시작된다. 스트림은 방송 상황의 장면을 나타내는 서비스에 튜닝할 때 기본적으로(by default) 표시되는 스트림일 수 있다. 과정(304)에서, 인접한 장면 스트림들의 이용 가능성이 검출된다. 예를 들어, 수신된 스트림이 장면 스트림들이라는 것을 나타내는 신호가 검출된다. 즉, 전술한 것처럼, 그것은 복수의 스트림의 일부로서 한 장면에 대응하는 것이다. 이에 응답하여, 스트림의 시청자는 장면 내에서 탐색 옵션(navigation option)을 제공 받는다. 예를 들어, 장면 내에서 리모컨의 방향키를 이용하는 것과 같이 탐색하는 방법을 설명하는 프롬프트(prompt)를 사용자에게 제공한다.
과정(302) 내지 과정(306)은 생략되거나 다른 과정들로 대체될 수 있다. 예를 들어, 사용자에게 프롬프트를 주지 않고도 탐색 옵션이 이용 가능할 수 있고, 다른 메커니즘에 의해 유도되어(prompted) 스트림들이 수신될 수도 있는데, 예컨대 사용자가 장면 탐색 애플리케이션을 시작할 때 적절한 서비스로 튜닝시킬 수 있다.
전술된 바와 같이 과정(308)에서 탐색 신호(navigational signal)가 수신된다. 탐색 신호는 특정 장면 스크린 내의 특정 위치를 지정할 수 있다. 예를 들어, 출력 스트림이 디스플레이될 예정인 디스플레이의 위치인 화면의 중앙과 같이, 정렬될 특정 장면 스크린 내의 픽셀 좌표를 지정할 수 있다. 원하는 위치에서 특정 장면 스트림들에 의해 커버되지 않는 출력 스트림의 픽셀은 수신된 데이터에 의해 결정된 바와 같이, 이후 적용 가능한 방향(applicable direction)으로 관련 인접 장면 스트림(들)의 픽셀로 채워질 수 있다. 다른 대안으로서, 탐색 신호는 출력 스트림에 대한 예컨대 디스플레이의 중심과 같은 장면 내의 원하는 위치를 나타낼 수 있고, 출력 스트림을 형성하도록 결합될 장면 스트림들은 그에 따라 결정될 수도 있다. 일부 실시예들에서, 탐색 신호는 절대 위치가 아닌 시야의 현재 위치에서의 변화(change)를 나타낼 수 있다.
과정(310)에서, 출력 스트림을 생성하는 데 필요한 장면 스트림들이 결정되고, 과정(312)에서 결정된 장면 스트림들이 수신된다. 예를 들어, 도 2A 내지 도 2F에 도시되어 있듯이, 수신된 데이터에 따라, 필요한 장면 스트림들만을 또는 필요한 장면 스트림들과 그것에 인접하다고 결정된 장면 스트림들을 선택적으로 수신한다. 방송 상황에서, 수신하는 것은 각각의 튜너(들)를 튜닝하여 요구된 스트림을 포함하는 각각의 멀티플렉스(들)를 수신하는 과정을 포함할 수 있다. 필요한 스트림이 이미 수신 중이거나 버퍼링된 경우, 추가적인 수신 과정이 필요하지 않도록 할 수도 있다.
과정(314)에서, 결정된 장면 스트림들은 결합되어 출력 스트림을 형성한다. 예를 들어, 개별 스트림의 픽셀 배열들(pixel arrays)은 수신된 데이터 또는 잘린(cropped) 결과물에 따라 적절하게 연결되어 출력 스트림을 생성할 수 있는 한편, 출력 스트림의 픽셀은 필요한 장면 스트림들로부터 적절하게 자른 픽셀로 채워질 수 있다. 장면 스트림들을 준비하기에 따라서는, 오버랩(overlap) 또는 오정렬(misalignment)된 것들은 보정될 필요가 있을 수 있는데, 일부 실시예에서, 배경 기술에서 설명한 바와 같은 기존의 결합 알고리즘들(stitching algorithms)이 장면 스트림들로부터 출력 스트림을 형성하는 데 이용될 수 있다. 일단 출력 스트림이 과정(314)에서 생성되면, 과정(316)에서 컨텐츠 소비장치들에 의해 출력된다. 예들 들어 HDMI 연결, WIFI LAN이나 블루투스(Bluetooth) 연결 등 무선 연결, 컨텐츠 소비장치들의 디스플레이 장치 상의 디스플레이 등을 통해 출력된다. 그 후, 프로세스는, 장면 기능이 스위치 오프되거나 사용자가 다른 서비스를 튜닝할 때까지, 추가적인 탐색 입력들(navigation inputs)을 수신하기 위해 과정(308)로 되돌아간다.
도 4를 참조하면, 컨텐츠 소비장치들의 특정 실시예는 일반적으로 각각의 방송 세팅에 대한 튜너를 포함하는 하나 이상의 수신기(receivers, 402)를 포함한다. 디멀티플렉서(404)는 수신된 TS를 디멀티플렉스하고 개별적인 ES, 다른 비디오 스트림, 및 다른 데이터를 추출하기 위해 수신기에 연결된다. 컨텐츠 소비장치들이 조건부 액세스 시스템을 갖거나, 다른 콘텐츠에 대한 스크램블링(scrambling) 혹은 보호(protection) 시스템을 갖는 경우, 디스크램블러(406)는 디멀티플렉서(404)에 연결되어 스트림을 디스크램블링한다. 비디오 프로세서(408)는 수신된 스트림으로부터 비디오 프레임을 생성하고, 프로세서(410)에 연결되어 비디오 프레임을 처리하고, 출력 인터페이스(412)로 전술한 바와 같이 결합된 출력 스트림(또는 프레임들의 시퀀스)을 출력한다. 출력 인터페이스(412)의 예로 전술한 바와 같이 디스플레이, 디스플레이 또는 비디오 포트가 있다. 프로세서(410)는 전술한 바와 같이 입력 인터페이스(414)에 결합된다. 프로세서(410)는 컨텐츠 소비장치들의 다른 필수 구성요소와 협력하여 도 3을 참조하여 전술한 방법을 구현하도록 구성된다.
도 5를 참조하면, 전술한 바와 같이 장면 스트림들에 의해 구성된 장면의 비디오를 분배하는 프로세스는, 컨텐츠 제공자(102)에 의해 구현되는 장면 스트림들 및 그들의 인접 스트림에 관한 데이터를 수신하는 과정(502)를 포함한다. 장면 스트림들 및 데이터는 비디오 카메라 등과 같은 복수의 캡처 장치 등 별도의 제공자로부터 수신될 수 있다. 캡처된 스트림은 알려진 대로 서로 결합될 수 있고, 결과적인 장면은 이후 장면 스트림들로 분할될 수 있다. 그러나 이와는 달리, 캡처된 스트림을 직접 사용할 수도 있다. 과정(504)에서, 장면 스트림들은 전술한 바와 같은 형식으로 관계 데이터(relationship data)와 함께 하나 이상의, 보통 두개 이상의 멀티플렉스로 멀티플렉싱되고, 멀티플렉스는 과정(506)에서 케이블, 위성, 공중파 또는 인터넷을 통해 전송된다. 특히, 반드시 마지막 경우에만 한정되는 것은 아니지만, 비디오 스트림은 멀티플렉스가 아닌 개별적으로도 전송될 수 있다.
도 6은 본 개시에서 설명된 임의의 하나 이상의 방법론들을 수행하게 하는 명령 세트가 실행될 수 있는 컴퓨팅 장치(600)의 한 구현예의 블록도를 도시한다. 다른 구현예들에서, 컴퓨팅 장치는 근거리통신망(LAN), 인트라넷, 엑스트라넷 또는 인터넷 상의 다른 장치들에 접속(네트워크 연결)될 수 있다. 컴퓨팅 장치는 클라이언트-서버 네트워크 환경에서 서버 또는 클라이언트 장치로서 동작할 수 있거나, 또는 피어-투-피어(또는 분산) 네트워크 환경에서 피어 장치로서 동작할 수 있다. 컴퓨팅 장치는 개인용 컴퓨터(PC), 태블릿 컴퓨터, 셋탑 박스(STB), 개인휴대정보 단말기(PDA), 핸드폰, 웹 기기, 서버, 네트워크 라우터, 교환기(switch) 또는 브릿지(bridge), 또는 해당 장치가 처리해야 할 동작을 지정하는 일련의 명령(순차적 또는 비순차적)을 실행할 수 있는 임의의 장치이다. 또한, 하나의 컴퓨팅 장치만 도시되어 있지만, "컴퓨팅 장치"라는 용어는 본 개시에서 논의된 임의의 하나 이상의 방법을 수행하게 하는 하나 이상의 명령 세트를 개별적으로 또는 공동으로 실행하는 임의의 장치의 집합(컴퓨터 등)을 뜻한다. 보안 요소를 이 요소가 구현된 컴퓨팅 장치에서 여타 부분으로부터 격리시켜 보안 연산을 제공하기 위해, 컴퓨팅 장치는 보안 요소를 포함하거나 보안 요소 내에 구현될 수 있다. 컴퓨팅 장치는 시스템-온-칩(system on chip)일 수 있다.
예시적인 컴퓨팅 장치(600)는 처리장치(processing device, 602), 메인 메모리(604, 예컨대 ROM, 플래시 메모리, 또는 SDRAM, RDRAM과 같은 DRAM 등), 정적 메모리(606, 플래시 메모리, SRAM 등), 및 2차 메모리 (데이터 저장장치(618) 등)을 포함한다. 이들은 서로 버스(630)을 통해 통신한다.
처리장치(processing device, 602)는 마이크로 프로세서, 중앙처리장치 등과 같은 하나 이상의 범용 프로세서를 대표한다. 구체적으로, 처리장치(602)는 CISC(complex instruction set computing) 마이크로 프로세서, RISC(reduced instruction set computing) 마이크로 프로세서, VLIW (very long instruction word) 마이크로 프로세서, 다른 명령어 세트를 구현하는 프로세서, 또는 여타 명령어 세트의 조합을 구현하는 프로세서들일 수 있다. 처리장치(602)는 ASIC(application specific integrated circuit), FPGA(field programmable gate array), DSP(digital signal processor), 네트워크 프로세서 등과 같은 하나 이상의 특수 목적 처리장치일 수도 있다. 처리장치(602)는 본 개시에서 논의된 동작들 및 과정들을 수행하기 위한 프로세싱 로직(processing logic(instructions, 622))을 실행하도록 구성된다.
컴퓨팅 장치(600)는 네트워크 인터페이스 장치(608)를 포함할 수도 있다. 컴퓨팅 장치(600)는 또한 비디오 디스플레이 유닛(610, 예컨대 액정 디스플레이(LCD) 또는 음극선관(CRT) 등), 영숫자 입력 장치(612, 예컨대 키보드 또는 터치 스크린), 커서 제어 장치(614, 예컨대 마우스 또는 터치 스크린), 및 오디오 장치(616, 예컨대 스피커)를 포함할 수 있다.
데이터 저장장치(618)는 하나 이상의 기계 판독 가능(machine-readable) 저장 매체(628) (또는 하나 이상의 비일시적(non-transitory) 컴퓨터 판독 가능한 저장 매체)를 포함할 수 있는데, 이들 저장장치에는 본 개시에서 제시된 방법론 혹은 기능들을 구현하는 명령어(622) 세트들이 저장된다. 명령어들(622)은 메인 메모리(604) 내에 또는 컴퓨터 시스템(600)에 의한 명령 수행 중 처리장치(602) 내에 전체적으로 또는 부분적으로 저장될(reside) 수 있다. 메인 메모리(604)와 처리장치(602) 또한 컴퓨터 판독이 가능한 저장 매체를 구성한다.
컴퓨팅 장치(600)의 예는 위에서 설명한 방법들을 구현하는 컨텐츠 소비장치들을 포함하거나 구현할 수 있다. 예를 들어, 컴퓨팅 장치(600)는 도 1과 도 4를 참조하여 위에서 설명한 대로 컨텐츠 소비장치들(106, 400)을 포함하거나 실현할 수 있다.
전술한 다양한 방법은 컴퓨터 프로그램에 의해 구현될 수 있다. 컴퓨터 프로그램은 컴퓨터가 위에서 설명한 여러가지 방법 중 하나 이상의 기능을 수행하도록 지시하기 위해 준비된 컴퓨터 코드를 포함할 수 있다. 이러한 방법을 수행하기 위한 컴퓨터 프로그램 및/또는 코드는 컴퓨터와 같은 장치에, 하나 이상의 컴퓨터 판독 가능 매체 상에 또는 더 일반적으로는 컴퓨터 프로그램 제품(computer program product)에 제공될 수 있다. 컴퓨터 판독 가능 매체는 일시적(transitory)이거나 비일시적(non-transitory)일 수 있다. 하나 이상의 컴퓨터 판독 가능 매체는 예를 들어, 전자, 자기, 광학, 전자기, 적외선, 반도체 시스템, 또는 인터넷을 통해 코드를 다운로드하는 데 사용되는 데이터 전송을 위한 전파 매체(propagation medium)일 수 있다. 대안적으로, 하나 이상의 컴퓨터 판독 가능 매체는 반도체 또는 반도체 기억 장치(solid state memory), 자기 테이프, 분리 가능한 디스켓, RAM, ROM, 고형 자기 디스크, 및 CD-ROM, CD-R/W 또는 DVD와 같은 광학 디스크와 같은 하나 이상의 물리적인 컴퓨터 판독 가능 매체의 형태를 취할 수 있다.
구현예에서, 여기에 설명된 모듈들, 구성요소들(components) 및 기타 특징들은 별개의 구성요소로 구현되거나 ASICS, FPGA, DSP 및 유사한 다른 장치들의 하드웨어 구성요소의 기능에 통합될 수 있다.
"하드웨어 구성요소"는 특정 동작을 수행할 수 있는 가시적(tangible, 예컨대 비일시적) 물리적 구성요소(하나 이상의 프로세서 세트 등)로서, 특정 물리적 방식으로 구성되거나 배열될 수 있다. 하드웨어 구성요소는 특정 동작을 수행하도록 영구적으로 구성된 전용 회로(dedicated circuitry) 또는 논리(logic)를 포함할 수 있다. 하드웨어 구성요소는 FPGA (Field Programmable Gate Array)나 ASIC과 같은 특수 목적 프로세서일 수도 있고, 이것을 포함할 수도 있다. 하드웨어 구성요소는 또한 특정 동작을 수행하기 위해 소프트웨어에 의해 일시적으로 구성되는 프로그래밍 가능한 논리 또는 회로를 포함할 수 있다.
따라서, "하드웨어 구성요소"라는 문구는 특정 방식으로 작동하거나 본 명세서에 설명된 특정 작업을 수행하기 위해 물리적으로 만들어지거나 영구적으로 구성되거나(예컨대 유선 연결(hardwired)) 일시적으로 구성될 수 있는(예컨대 프로그래밍) 유형의 실체를 포함하는 것으로 이해되어야 한다.
또한 모듈 및 구성요소는 하드웨어 장치 내의 펌웨어 또는 기능 회로로 구현될 수 있다. 또한 모듈과 구성요소는 하드웨어 장치와 소프트웨어 구성요소의 임의의 조합으로 구현되거나 소프트웨어(예컨대 기계 판독 가능한 매체에 저장되거나 전송 매체에 구현된 코드)만으로 구현될 수 있다.
달리 설명되지 않는 한, 이하의 설명으로부터 명백한 바와 같이, "수신", "결정", "비교", "가능하게 함", "유지", "식별", "컴퓨팅”, “생성”, “획득” 등과 같은 용어를 사용하는 내용들은 컴퓨터 시스템 혹은 이와 유사한 전자 컴퓨팅 장치의 동작들과 프로세스들을 지칭한다. 컴퓨터 시스템 혹은 유사한 전자 컴퓨팅 장치는 컴퓨터 시스템의 레지스터(register) 및 메모리 내의 물리적(전자적인) 양으로 표현된 데이터를 컴퓨터 시스템 메모리, 레지스터 또는 다른 정보 저장소 내에서 물리적 양으로 유사하게 표현되는 다른 데이터로 조작 및 변환한다.
이상의 설명은 제한적이지 않으며 단지 설명을 위한 것이다. 이상의 설명한 내용을 읽고 이해함에 있어서 많은 다른 구현예들은 해당 기술 분야의 통상의 기술자들에게 명백할 것이다. 본 개시가 특정 예시적인 구현예를 참조하여 설명되었지만, 본 개시는 설명된 구현에 제한되지 않고 첨부된 청구범위의 사상 및 범위 내에서 변형 및 변경하여 실시될 수 있다. 따라서, 명세서 및 도면은 제한적인 의미라기보다는 예시적인 의미로 간주되어야 한다. 그러므로, 본 개시의 범위는 첨부된 청구범위와 그러한 청구범위가 부여하는 등가물의 전체 범위를 참조하여 결정되어야 한다.

Claims (16)

  1. 복수의 비디오 스트림들(video streams)에서 두개 이상의 비디오 스트림들을 수신하되, 상기 복수의 비디오 스트림들 각각은 장면(scene)의 각 스트림 부분에 대응하고, 상기 비디오 스트림들은 상기 장면에 대응하는 결합된 스트림으로 결합 가능한, 과정; 및
    컨텐츠 소비장치(content consumption device)에 의해 출력될 상기 장면의 출력 부분을 나타내는 신호를 수신하되, 상기 출력 부분이 상기 장면보다 적어도 하나의 차원(dimension)에서 더 적은 수의 픽셀을 가지는, 과정; 및
    상기 두개 이상의 비디오 스트림들을 결합하여 상기 출력 부분에 대응하는 출력 비디오 스트림을 생성하는 과정; 및
    상기 출력 비디오 스트림을 출력하는 과정
    을 포함하는, 컨텐츠 소비장치에서 비디오 스트림들을 처리하는 방법.
  2. 제 1항에 있어서,
    상기 장면의 각 중첩 부분(overlapping portion)에 대응하는 두개 이상의 비디오 스트림들을 결정하되, 각각의 중첩 부분은 상기 출력 부분과 중첩되고, 상기 두개 이상의 비디오 스트림들을 수신하는 것은 두개 이상의 결정된 비디오 스트림들을 선택적으로 수신하는 것을 포함하는, 컨텐츠 소비장치에서 비디오 스트림들을 처리하는 방법.
  3. 제 1항 또는 제 2항에 있어서,
    상기 두개 이상의 비디오 스트림들은 방송(broadcast)되는 것을 특징으로 하는, 컨텐츠 소비장치에서 비디오 스트림들을 처리하는 방법.
  4. 제 2항에 있어서,
    상기 두개 이상의 결정된 비디오 스트림들을 선택적으로 수신하는 것은, 상기 두개 이상의 결정된 비디오 스트림들 각각의 해당하는 방송을 수신하는, 컨텐츠 소비장치에서 비디오 스트림들을 처리하는 방법.
  5. 제 1항 내지 제 4항에 있어서,
    상기 복수의 비디오 스트림들 중 적어도 하나는 제 1 방송 채널을 통해 방송되고, 상기 복수의 비디오 스트림 중 적어도 다른 하나는 상기 제 1 방송 채널과 다른 제 2 방송 채널을 통해 방송되는, 컨텐츠 소비장치에서 비디오 스트림들을 처리하는 방법.
  6. 제 1항 내지 제 5항에 있어서,
    상기 신호는 사용자 입력장치(user input device)로부터 수신되는, 컨텐츠 소비장치에서 비디오 스트림들을 처리하는 방법.
  7. 제 1항 내지 제 6항에 있어서,
    상기 장면과 관련하여 상기 복수의 비디오 스트림들을 식별하는 데이터를 수신하고, 각각의 비디오 스트림에 대하여, 상기 장면에서 상기 비디오 스트림에 인접하는 하나 이상의 인접한 비디오 스트림을 식별하는(identify), 컨텐츠 소비장치에서 비디오 스트림들을 처리하는 방법.
  8. 복수의 비디오 스트림들(video streams)에서 두개 이상의 비디오 스트림들을 수신하되, 상기 복수의 비디오 스트림들 각각은 장면(scene)의 각 스트림 부분에 대응하고, 상기 비디오 스트림들은 상기 장면에 대응하는 결합된 스트림으로 결합 가능한, 수신기(receiver);
    컨텐츠 소비장치에 의해 출력될 장면의 출력 부분을 나타내는 신호를 입력하되, 상기 출력 부분이 상기 장면보다 적어도 하나의 차원(dimension)에서 더 적은 수의 픽셀을 갖는, 입력장치; 및
    출력 인터페이스; 및
    프로세서(processor)를 포함하되,
    상기 프로세서는,
    상기 수신기로부터 상기 복수의 비디오 스트림들 중 두개 이상의 비디오 스트림들을 수신하고,
    상기 신호를 수신하고,
    상기 출력 부분에 대응하는 출력 비디오 스트림을 생성하기 위해 상기 두개 이상의 비디오 스트림들을 결합하며,
    상기 출력 인터페이스에 의해 상기 출력 비디오 스트림이 출력되도록 구성되는, 컨텐츠 소비장치.
  9. 제 8항에 있어서,
    상기 프로세서는, 상기 장면의 각 중첩 부분(overlapping portion)에 각각 해당하는 두개 이상의 비디오 스트림들을 결정하도록 구성되고, 각각의 중첩 부분은 상기 출력 부분과 중첩되고, 상기 두개 이상의 비디오 스트림들을 수신하는 것은 상기 수신기가 상기 두개 이상의 결정된 비디오 스트림들을 선택적으로 수신하는 것인, 컨텐츠 소비장치.
  10. 제 8항 또는 제 9항에 있어서,
    상기 수신기가 방송 수신기(broadcast receiver)인, 컨텐츠 소비장치.
  11. 제 8항 내지 제 10항 중 어느 한 항에 있어서,
    상기 수신기는 두개 이상의 튜너들(tuners)을 포함하고,
    상기 프로세서는, 상기 두개 이상의 비디오 스트림들 중 제 1 비디오 스트림이 제 1 채널을 통해 송신되고 상기 두개 이상의 비디오 스트림들 중 제 2 비디오 스트림이 제 2 채널을 통해 송신되는지를 결정하고, 상기 수신기가 상기 제 1 비디오 스트림을 수신하도록 상기 튜너들 중 하나를 상기 제 1 채널로 튜닝하고 상기 수신기가 상기 제 2 비디오 스트림을 수신하도록 상기 튜너들 중 다른 하나를 상기 제 2 채널로 튜닝하도록 구성되는, 컨텐츠 소비장치.
  12. 제 8항 내지 제 11항 중 어느 한 항에 있어서,
    상기 입력이 상기 컨텐츠 소비장치의 사용자의 입력을 수신하도록 구성되는, 컨텐츠 소비장치.
  13. 제 8항 내지 제 12항 중 어느 한 항에 있어서,
    상기 프로세서가 상기 복수의 비디오 스트림들 중 하나의 비디오 스트림 및 상기 장면에서 상기 하나의 비디오 스트림과 인접한 하나 이상의 인접 비디오 스트림들(adjacent video streams)을 식별하는 데이터를 상기 수신기로부터 수신하도록 구성되는, 컨텐츠 소비장치.
  14. 비디오 스트림(video stream)을 복수의 비디오 스트림 중 하나로서 식별하는 데이터와 함께 제 1 방송 채널을 통해 상기 비디오 스트림을 방송하되(broadcast),
    상기 복수의 비디오 스트림들 각각이 장면(scene)의 해당 스트림 부분에 대응하고, 상기 복수의 비디오 스트림들이 상기 장면에 대응하는 결합된 스트림(combined stream)에 결합될 수 있으며, 상기 두개 이상의 비디오 스트림들을 식별하는 데이터는 상기 비디오 스트림이 대응하는 상기 스트림 부분(stream portion)에 인접한 상기 장면의 부분에 대응하는, 장면 방송 방법(method of broadcasting a scene).
  15. 제 14항에 있어서,
    상기 하나 이상의 인접한 비디오 스트림들 중 적어도 하나가 제 1 비디오 스트림들의 멀티플렉스와 다른 제 2 채널을 통해 방송되는, 장면 방송 방법.
  16. 컨텐츠 소비장치(content consumption device)에서 실행될 때, 제 1항 내지 제 7항, 제 14항 및 제 15항 중 어느 한 항에 청구된 방법을 구현하도록 코딩된 명령(coded instructions)을 인코딩하는 하나 이상의 유형의(tangible) 비일시적인(non-transitory) 컴퓨터 판독 가능 매체.
KR1020180092849A 2017-08-10 2018-08-09 확장된 장면 뷰 KR102576128B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020230116987A KR20230145271A (ko) 2017-08-10 2023-09-04 확장된 장면 뷰

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP17185811.1 2017-08-10
EP17185811.1A EP3442240A1 (en) 2017-08-10 2017-08-10 Extended scene view

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020230116987A Division KR20230145271A (ko) 2017-08-10 2023-09-04 확장된 장면 뷰

Publications (2)

Publication Number Publication Date
KR20190017677A true KR20190017677A (ko) 2019-02-20
KR102576128B1 KR102576128B1 (ko) 2023-10-05

Family

ID=59702530

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020180092849A KR102576128B1 (ko) 2017-08-10 2018-08-09 확장된 장면 뷰
KR1020230116987A KR20230145271A (ko) 2017-08-10 2023-09-04 확장된 장면 뷰

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020230116987A KR20230145271A (ko) 2017-08-10 2023-09-04 확장된 장면 뷰

Country Status (4)

Country Link
US (3) US11108952B2 (ko)
EP (1) EP3442240A1 (ko)
KR (2) KR102576128B1 (ko)
CN (1) CN109391779B (ko)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090113505A1 (en) * 2007-10-26 2009-04-30 At&T Bls Intellectual Property, Inc. Systems, methods and computer products for multi-user access for integrated video
KR20120024385A (ko) * 2010-07-27 2012-03-14 한국전자통신연구원 디지털 방송 시스템에서 다시점 프로그램을 송수신하는 방법 및 장치

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100496121C (zh) * 2007-04-11 2009-06-03 宁波大学 一种交互式多视点视频系统的图像信号处理方法
JP2010536238A (ja) * 2007-08-07 2010-11-25 トムソン ライセンシング 通信システムにおける方法及び装置
US20100259595A1 (en) * 2009-04-10 2010-10-14 Nokia Corporation Methods and Apparatuses for Efficient Streaming of Free View Point Video
JP2011066871A (ja) * 2009-08-21 2011-03-31 Sony Corp コンテンツ伝送方法及び表示装置
US10575051B2 (en) * 2009-11-13 2020-02-25 Triveni Digital Inc. System and method for enhanced television and delivery of enhanced television content
JP5935694B2 (ja) * 2010-10-13 2016-06-15 日本電気株式会社 動画像配信システム、及び動画像配信方法
CN102256111B (zh) * 2011-07-17 2013-06-12 西安电子科技大学 多通道全景视频实时监控系统及方法
US9204199B2 (en) * 2011-12-06 2015-12-01 Lg Electronics Inc. Image display apparatus and methods for operating the same
CN103248945B (zh) * 2012-02-03 2017-08-29 海尔集团公司 图像传输的方法及系统
US9584858B2 (en) * 2012-03-19 2017-02-28 Rentrak Corporation Empirical ad pod detection
GB2546027B (en) * 2013-04-09 2017-12-20 Canon Kk Method, device, and computer program for encapsulating partioned timed media data
CN103716586A (zh) * 2013-12-12 2014-04-09 中国科学院深圳先进技术研究院 一种基于三维空间场景的监控视频融合系统和方法
US10477179B2 (en) * 2014-08-13 2019-11-12 Telefonaktiebolaget Lm Ericsson (Publ) Immersive video
KR20170070164A (ko) * 2014-10-15 2017-06-21 벤자민 노왁 다중 관점 콘텐츠 캡처 및 합성
CN106358078A (zh) * 2015-07-16 2017-01-25 浙江大华技术股份有限公司 一种模拟视频图像的发送、接收方法、装置及收发系统
WO2017114821A1 (en) * 2015-12-28 2017-07-06 Koninklijke Kpn N.V. Video streams
CN106060582B (zh) * 2016-05-24 2019-06-11 广州华多网络科技有限公司 视频传输系统、方法及装置
CN106658011A (zh) * 2016-12-09 2017-05-10 深圳市云宙多媒体技术有限公司 全景视频的编解码方法和装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090113505A1 (en) * 2007-10-26 2009-04-30 At&T Bls Intellectual Property, Inc. Systems, methods and computer products for multi-user access for integrated video
KR20120024385A (ko) * 2010-07-27 2012-03-14 한국전자통신연구원 디지털 방송 시스템에서 다시점 프로그램을 송수신하는 방법 및 장치

Also Published As

Publication number Publication date
US20220046170A1 (en) 2022-02-10
KR20230145271A (ko) 2023-10-17
EP3442240A1 (en) 2019-02-13
US20230396887A1 (en) 2023-12-07
CN109391779A (zh) 2019-02-26
US11108952B2 (en) 2021-08-31
US20190052805A1 (en) 2019-02-14
CN109391779B (zh) 2023-04-07
KR102576128B1 (ko) 2023-10-05
US11716540B2 (en) 2023-08-01

Similar Documents

Publication Publication Date Title
US9271048B2 (en) Systems and methods for immersive viewing experience
KR101931390B1 (ko) 콘텐츠 송신 장치, 콘텐츠 송신 방법, 콘텐츠 재생 장치, 콘텐츠 재생 방법, 프로그램 및 콘텐츠 배신 시스템
US20110255003A1 (en) Method and apparatus for presenting on-screen graphics in a frame-compatible 3d format
US20160142744A1 (en) Transmission apparatus and transmission/reception system
US8826334B2 (en) Television receiving apparatus and method for displaying an electronic program guide
US9247283B1 (en) Mosaic presentation screen production
JP5520146B2 (ja) 映像受信装置、及びその制御方法
US11716540B2 (en) Extended scene view
JP2014155218A (ja) ディスプレイ装置、サーバー、及びその制御方法
US20140223506A1 (en) Method and apparatus for determining base pcr in multiple images for broadcasting service based on multiple images
JP6637233B2 (ja) 電子機器、及び表示方法
US11930290B2 (en) Panoramic picture in picture video
US20180063476A1 (en) Device, method and system for providing a menu with multiple instantiations for a multi-stream display
JP5938800B2 (ja) 映像受信装置および映像受信方法
JP2015226222A (ja) 受信装置、およびプログラム
US20130290995A1 (en) Apparatus and method for processing augmented broadcast content using analysis algorithm based on reference signal
WO2020015971A1 (en) A television and a virtual reality headset adapted to be used with the same
KR100818299B1 (ko) 사용자가 채널 설정이 가능한 모자이크 이피지 제공장치 및방법
US20160044371A1 (en) System and method for channels zapping
KR101942541B1 (ko) 전자 프로그램 가이드를 처리하는 방법 및 이를 위한 영상 표시 기기
JP2016129426A (ja) 映像受信装置および映像受信方法
KR20160104456A (ko) 이동단말을 이용한 멀티 스크린 서비스 제공 시스템 및 그 방법
JP2009105494A (ja) デジタル放送受信機
US20130031583A1 (en) Electronic apparatus, control method of electronic apparatus and non-transitory computer-readable medium storing computer executable control program of electronic apparatus
BRPI0900357A2 (pt) mosaico de canais a partir da recepção do sinal 1-seg de acordo com o padrão japonês de televisão digital e suas variantes

Legal Events

Date Code Title Description
A201 Request for examination
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)