KR102628139B1 - 멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍 - Google Patents

멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍 Download PDF

Info

Publication number
KR102628139B1
KR102628139B1 KR1020197025546A KR20197025546A KR102628139B1 KR 102628139 B1 KR102628139 B1 KR 102628139B1 KR 1020197025546 A KR1020197025546 A KR 1020197025546A KR 20197025546 A KR20197025546 A KR 20197025546A KR 102628139 B1 KR102628139 B1 KR 102628139B1
Authority
KR
South Korea
Prior art keywords
content
stream
smart
user
streams
Prior art date
Application number
KR1020197025546A
Other languages
English (en)
Other versions
KR20190135473A (ko
Inventor
파시 사카리 오잘라
Original Assignee
인터디지털 매디슨 페턴트 홀딩스 에스에이에스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 filed Critical 인터디지털 매디슨 페턴트 홀딩스 에스에이에스
Publication of KR20190135473A publication Critical patent/KR20190135473A/ko
Application granted granted Critical
Publication of KR102628139B1 publication Critical patent/KR102628139B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H04N21/41265—The peripheral being portable, e.g. PDAs or mobile phones having a remote control device for bidirectional communication between the remote control device and client device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/436—Interfacing a local distribution network, e.g. communicating with another STB or one or more peripheral devices inside the home
    • H04N21/4363—Adapting the video stream to a specific local network, e.g. a Bluetooth® network
    • H04N21/43637—Adapting the video stream to a specific local network, e.g. a Bluetooth® network involving a wireless protocol, e.g. Bluetooth, RF or wireless LAN [IEEE 802.11]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04842—Selection of displayed objects or displayed text elements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/613—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for the control of the source by the destination
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/161—Encoding, multiplexing or demultiplexing different image signal components
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/4104—Peripherals receiving signals from specially adapted client devices
    • H04N21/4126—The peripheral being portable, e.g. PDAs or mobile phones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4345—Extraction or processing of SI, e.g. extracting service information from an MPEG stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L2209/00—Additional information or applications relating to cryptographic mechanisms or cryptographic arrangements for secret or secure communication H04L9/00
    • H04L2209/80—Wireless

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Human Computer Interaction (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본원에서 설명된 시스템들 및 방법들은 비디오 콘텐츠가 둘 이상의 디스플레이 디바이스들 사이에서 동기화될 수 있는 멀티-디바이스 환경에서 비디오 콘텐츠를 디스플레이하기 위해 제공된다. 하나 이상의 디스플레이 디바이스들 상에서 디스플레이되는 비디오 콘텐츠는 메인 디스플레이 상에서 보여지는 비디오 콘텐츠의 크로핑된 버전(또는 관심 지역)일 수 있다. 일부 실시예들은 콘텍스트 큐(contextual cue)들 및 사용자 선호도들에 기초하여 관심 지역들을 결정하도록 추천들을 행할 수 있다. 일부 실시예들에 대해, 사용자는 트레이싱된 객체를 팔로우하고자 하는 바램을 표시할 수 있으며, 이는 관심 지역을 결정하는데 사용될 수 있다.

Description

멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍
본 출원은, 2017년 3월 7일에 출원된 미국 가특허 출원 일련 번호 제62/468,144호를 우선권으로 주장하며, 이로써 이 문헌의 개시내용은 인용에 의해 포함된다.
홈 미디어 엔터테인먼트 허브들, 셋톱 박스(STB)들 및 콘텐츠를 TV로 스트리밍하는 애플리케이션들과 같은 스마트 TV 디바이스들은 홈 엔터테인먼트에서 점점 중심적인 역할을 맡고 있다. 그러나, 때로는, TV는 단지, 웹으로부터 콘텐츠를 스트리밍하는 사용자 디바이스들로부터의 콘텐츠를 제시하기 위한 디스플레이로서 사용될 수 있다. 일부 TV 애플리케이션들 및 외부 동글(dongle)들은, YouTube 및 ISP 콘텐츠 서비스들과 같은 기존 소스들로부터 콘텐츠를 웹 브라우징 및 스트리밍하는 것을 가능하게 한다.
예를 들어, 태블릿들 및 스마트 폰들 상에서 TV 콘텐츠의 복제를 가능하게 하는 애플리케이션들이 존재한다. 태블릿 사용자는 TV가 위치된 방과 상이한 방에서 TV 프로그램을 시청하는 능력을 갖는다. TV를 수반하는 멀티-디바이스 사용들은 주로, 태블릿들로 인터넷을 브라우징하고 진행중인 프로그램과 관련된, Twitter 또는 Facebook과 같은 소셜 미디어 피드들을 찾는 것과 관련된다. 그러나, 이전의 애플리케이션들은, TV 콘텐츠가 사용자 디바이스 상에서 단지 복제되기 때문에, 부가적인 콘텐츠 또는 정보를 소비자들에게 제공하지 않았다. 소비자들이 상이한 미디어 채널들을 사용하여 부가적인 정보를 찾을 때, 이들은 쉽게 산만해지고 인터넷 상에서 발견된 다른 콘텐츠 소스들로 관심을 이동시킬 수 있다. 따라서, TV 콘텐츠 제공자들은 다른 서비스들에 연결되는(또는 이미 연결된) 시청자들을 잃을 수 있다.
반대로, 일부 비디오 콘텐츠 예를 들어, 메이저 리그 야구(MLB)에 의해 생성된 At Bat 프로그램은 소셜 미디어(예를 들어, Twitter)를 다른 콘텐츠와 통합함으로써 다수의 인터넷 피드들을 사용한다. 불행하게도, 광대역 연결을 통해 병렬로 콘텐츠에 액세스하는 사용자 디바이스들은 TV 콘텐츠 및 다른 인터넷 스트림들을 동기화하는 것에 관한 문제를 가질 수 있다. 예를 들어, 사용자 디바이스들에 농구 게임의 사용자 지정 콘텐츠 뷰들을 제공하기 위해 2016 NBA 결승전 동안 다중 피드 기술이 사용되었을 때, 다수의 사용자들은 TV와 모바일 브로드캐스트들 사이에서 30초 초과의 지연을 경험했다. 이러한 부류의 지연은 일부 사용자들에 대한 사용자 경험을 언짢게 할 수 있다.
본원에서 설명된 시스템들 및 방법들은 비디오 콘텐츠가 둘 이상의 디스플레이 디바이스들 사이에서 동기화될 수 있는 멀티-디바이스 환경에서 비디오 콘텐츠를 디스플레이하기 위해 제공된다. 하나 이상의 디스플레이 디바이스들 상에서 디스플레이되는 비디오 콘텐츠는 메인 디스플레이 상에서 보여지는 비디오 콘텐츠의 크로핑된 버전(또는 관심 지역)일 수 있다. 일부 실시예들은 콘텍스트 큐(contextual cue)들 및 사용자 선호도들에 기초하여 관심 지역들을 결정하기 위해 추천 엔진을 사용할 수 있다. 일부 실시예들에 대해, 사용자는 트레이싱된 객체를 팔로우하고자 하는 바램을 표시할 수 있으며, 이는 관심 지역을 결정하는데 사용될 수 있다. 미디어를 공유하기 위한 디바이스는 수신기, 디스플레이, 프로세서 및 상기 프로세서에 의해 실행될 때, 본원에서 개시된 방법들 중 임의의 방법을 수행하도록 동작하는 명령들을 저장하는 비-일시적 컴퓨터-판독 가능 매체를 포함할 수 있다.
미디어를 공유하는 방법은 제 1 노드에서, 1차 비디오 스트림을 수신하는 단계를 포함할 수 있으며, 제 1 노드는 예를 들어 스마트 TV, 셋톱 박스(STB) 또는 비디오 허브이다. 1차 비디오 스트림은 적어도 하나의 관심 지역에 관한 정보를 포함하고; 이 방법은, 제 1 디스플레이 상에서 상기 1차 비디오 스트림의 제 1 부분을 디스플레이하는 단계; 상기 1차 비디오 스트림으로부터 상기 적어도 하나의 관심 지역 중 제 1 관심 지역에 대한 제 1 맞춤형 콘텐츠 스트림을 구성하는 단계 ― 상기 제 1 맞춤형 콘텐츠 스트림은 상기 1차 비디오 스트림의 디스플레이된 부분과 상이함 ― ; 및 상기 제 1 맞춤형 콘텐츠 스트림을, 상기 제 1 디스플레이와 상이한 제 2 디스플레이 디바이스에 송신하는 단계를 더 포함한다. 맞춤형 콘텐츠 스트림들은 디스플레이된 1차 비디오 스트림의 크로핑된 부분에 대응할 수 있고, 디스플레이된 1차 비디오 스트림과 상이한 해상도를 가질 수 있다. 맞춤형 콘텐츠 스트림은 1차 비디오 스트림과 동기화되게 송신될 수 있고, LAN(wireless local area network), UPnP(Universal Plug and Play) 프로토콜 또는 DLNA(Digital Living Network Alliance) 프로토콜을 통해 발생할 수 있다. 맞춤형 콘텐츠 스트림들은 또한, DRM(digital rights management) 보안 보호들을 가질 수 있다.
다수의 맞춤형 비디오 스트림들이 구성될 수 있다. 예를 들어, 1차 비디오 스트림으로부터 상기 제 1 관심 지역과 상이한 제 2 관심 지역에 대해 제 2 맞춤형 콘텐츠 스트림이 구성될 수 있어서, 상기 제 2 맞춤형 콘텐츠 스트림은 상기 제 1 맞춤형 콘텐츠 스트림 및 상기 1차 비디오 스트림의 디스플레이된 부분 둘 모두와 상이하다. 그 후, 상기 제 2 맞춤형 콘텐츠 스트림은 상기 제 1 디스플레이 및 상기 제 2 디스플레이 디바이스와 상이한 제 3 디스플레이 디바이스에 송신된다. 맞춤형 콘텐츠 스트림은 1차 비디오 스트림 내의 외부 콘텐츠 스트림 참조를 포함할 수 있다. 맞춤형 비디오 스트림들에 대한 다수의 옵션들의 표시들이 디스플레이될 수 있다.
관심 지역은 제 1 노드에서 1차 비디오 스트림으로부터 추출될 수 있거나, 또는 1차 비디오 스트림 내에서 수신된 메타데이터에 표시될 수 있다. 수신된 메타데이터는 1차 비디오 스트림과 관련된 센서 및 콘텍스트 데이터, 예를 들어 1차 비디오 스트림 내에서 트레이싱될 객체에 대응하는 센서 데이터를 포함할 수 있다. 디스플레이 디바이스로부터 수신된 로컬 콘텍스트 및 사용자 선호도들과 관련된 정보에 기초하여, 추천 엔진은 관심 지역을 추천할 수 있다. 트레이싱된 객체를 팔로우하라는 요청이 디스플레이 디바이스로부터 수신될 수 있고, 관심 지역은 그 후 트레이싱된 객체를 포함하는, 1차 비디오 스트림의 크로핑된 부분을 포함할 수 있다.
보다 상세한 이해는 첨부 도면과 함께 예로서 제시되는 이하의 설명으로부터 얻어질 수 있다. 또한, 도면들에서의 유사한 참조 번호들은 유사한 엘리먼트들을 나타낸다.
도 1은 멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍의 예시이다.
도 2는 다수의 사용자 디바이스들에 대한 비디오 콘텐츠를 맞춤화하기 위한 예시적인 시스템의 블록도이다.
도 3은 사용자 디바이스에 대한 비디오 콘텐츠를 맞춤화하는 방법의 흐름도이다.
도 4는 다수의 비디오 콘텐츠 스트림들을 맞춤화하는 방법의 흐름도이다.
도 5는 트레이싱된 객체 주위에 비디오 스트림을 크로핑(cropping)하는 예시이다.
도 6은 사용자 디바이스에 대한 비디오 콘텐츠를 선택하는 방법에 대한 메시지 시퀀스도이다.
도 7은 2개의 디스플레이 디바이스들에 대한 비디오 콘텐츠를 선택하는 방법에 대한 메시지 시퀀스도이다.
도 8은 멀티-디바이스 능력의 표시와 더불어 TV 상에 디스플레이되는 비디오 콘텐츠의 정면도이다.
도 9는 맞춤형 비디오 콘텐츠를 디스플레이하는 사용자 디바이스의 정면도이다.
도 10은 통계와 함께 선수 카드를 디스플레이하는 사용자 디바이스의 정면도이다.
도 11은 멀티-디바이스 프리젠테이션을 위한 콘텐츠를 생성하는 방법의 흐름도이다.
도 12는 사용자 디바이스에 대한 비디오 콘텐츠를 맞춤화하기 위한 메시지 시퀀스도이다.
도 13은 메인 TV 비디오 프레임을 크로핑하기 위한 다수의 옵션들을 보여주는 예시적인 사용자 인터페이스 스크린 샷이다.
도 14는 사용자 디바이스 상의 디스플레이를 위한 다수의 스트림 옵션들을 보여주는 예시적인 사용자 인터페이스의 표현이다.
도 15는 디스플레이 디바이스를 표시하기 위한 부가적인 기능성을 갖는 다중 스트림 옵션들을 보여주는 예시적인 사용자 인터페이스의 표현이다.
도 16은 일부 실시예들 내에서 사용될 수 있는 예시적인 무선 송신/수신 유닛(WTRU)을 도시한다.
도 17은 통신 시스템 내에서 사용될 수 있는 예시적인 네트워크 엔티티를 도시한다.
다양한 도면들에서 도시되는(다양한 도면들과 관련하여 설명되는) 엔티티들, 연결들, 어레인지먼트(arrangement)들 등은 제한이 아닌 예로서 제시된다. 따라서, 특정 도면이 무엇을 "도시하는지", 특정 도면 내의 특정 엘리먼트 또는 엔티티가 무엇"이고" 또는 무엇을 "가졌는지" 그리고 임의의 그리고 모든 유사한 서술들 ― 홀로 있고 맥락을 벗어날 수 있음(절대적이고 이에 따라 제한한 것으로서 읽혀짐) ― 은 단지, "적어도 하나의 실시예에서, ...."와 같은 절이 보강적으로 선행되는 것으로서 적절히 읽혀질 수 있다. 간결하고 명확한 프리젠테이션을 위해, 이 암시된 선행 절은 도면들의 상세한 설명에서 지겹게 반복되지 않는다.
본원에서 설명된 시스템들 및 방법들의 일부 실시예들은 스마트 TV가 스마트 TV에 연결된 주변 사용자 디바이스들과 상호작용하는 방법을 제공할 수 있다. 결과적으로, 스마트 TV는 미디어 소비를 위한 중앙 제어 포지션에 있을 수 있다. 콘텐츠 소유자 및 배포자는 부가적인 콘텐츠 스트림들, 부가적인 메타데이터 및 스마트 TV와 상호작용하는 개별 개인 디바이스들에 타겟팅된 개인화된 뷰잉 경험(personalized viewing experience)들을 통해 연결된 디바이스들의 멀티-디바이스 아키텍처에 대한 사용자 경험을 개선할 수 있다. 스마트 TV는 콘텐츠를 프로세싱하고 대안적인 콘텐츠를 연결된 디바이스들에 통신함으로써 상이한 채널들에서 상이한 관점들 및 맞춤형 콘텐츠를 사용자들에게 통신한다.
도 1은 멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍의 예시이다. 스마트 TV(101)는 이미지를 디스플레이하고, Bluetooth, Wi-Fi 또는 일부 유형의 근거리 네트워크(LAN) 상의 채널일 수 있는 통신 채널(103)을 통해 사용자 디바이스(102)와 이미지의 적어도 일부를 공유한다. 스마트 TV(101) 및 사용자 디바이스(102)는 산업 표준화된 프로토콜들을 포함하는 임의의 유형의 적절한 비디오 공유 프로토콜들과 통신할 수 있다. 스마트 TV(101)는 홈 미디어 엔터테인먼트 노드의 예이다. 일반적으로 홈 미디어 엔터테인먼트 노드는 스마트 TV, 셋톱 박스(STB) 또는 비디오 허브일 수 있다. 사용자 디바이스(102)는, 그것이 이미지들 및 비디오를 보여주기 위한 디스플레이 스크린을 갖기 때문에, 부가적인 디스플레이 디바이스이다. 디스플레이된 이미지는 스마트 TV(101)의 줌 및 크롭 디스플레이 세팅들에 기초하여, 수신된 1차(primary) 비디오 스트림의 일부일 수 있다. 1차 비디오 스트림의 일부를 크로핑하고 크로핑된 부분을 보조(부가적인) 비디오 스크린에 디스플레이함으로써, 맞춤형 콘텐츠 스트림이 1차 비디오 스트림으로부터 생성된다. 이 프로세스는 줌 뷰(zoom view)의 효과를 사용자에게 제공하며, 맞춤형 콘텐츠 스트림이 1차 비디오 스트림보다 높은 해상도를 갖는 경우에 더욱 더 그렇다.
예를 들어, 초기에 UPnP(Universal Plug and Play) 포럼(현재 Open Connectivity Foundation에 의해 관리됨)에 의해 승격된 UPnP(Universal Plug and Play)는 네트워킹된 디바이스들 이를테면, 개인용 컴퓨터들, 프린터들, 인터넷 게이트웨이들, Wi-Fi 액세스 포인트들 및 모바일 디바이스들이 네트워크 상에서 서로의 존재를 끊김 없이 발견하고 데이터 공유, 통신 및 엔터테인먼트를 위한 기능적 네트워크 서비스들을 설정하도록 허용하는 네트워킹 프로토콜들의 세트이다. UPnP는 IP(Internet Protocol) 위에서 실행하여 디바이스/서비스 설명, 액션들, 데이터 전달 및 이벤트 스케줄링을 제공하도록 HTTP, SOAP 및 XML을 활용한다.
부가적으로, DLNA(Digital Living Network Alliance) 표준 프로토콜들이 사용될 수 있다. DLNA는 인증 표준 하에서 멀티미디어 디바이스들 사이에서 디지털 미디어를 공유하기 위한 상호운용 지침들의 세트를 제공한다. DLNA 표준들은 데이터 전달의 각각의 단부에 대한 링크 보호를 제공하며, DRM(digital rights management ) 보안 보호들은, 브로드캐스트 운용자들이, 저작권 침해(piracy)의 위험을 완화하면서 소비자들로 하여금 멀티미디어 디바이스들 상에서 자신의 콘텐츠를 공유하는 것을 가능하게 하도록 허용한다. DLNA 표준들은 미디어 관리 및 디바이스 발견 및 제어를 위해 UPnP를 포함한 기존의 표준들을 통합한다.
사용자(104)는 클로즈-업(close-up) 개인 뷰잉을 위해 사용자 디바이스(102)를 보유한다. 사용자 디바이스(102)는 스마트 폰, 태블릿, 패블릿, 3D 가상 현실(VR) 고글과 같은 머리 장착 디스플레이 디바이스(HMD), 또는 비디오를 뷰잉하기 위한 임의의 적합한 모바일 또는 무선 디바이스일 수 있다. 도 1의 신규의 시스템을 통해, 대형 스마트 TV는 다수의 뷰어들 사이에서 소셜 상호작용을 제공하는 반면, 태블릿들 및 스마트 폰들과 같은 (모바일) 디바이스들은 개인화된 경험들을 제공한다. 공유 대형 스크린을 사용자 정의된 작은 스크린에 연결하는 것은 동일한 세팅으로 그룹 및 개별 상호작용들 둘 모두에 대한 기회들을 제공한다.
맞춤형 비디오 스트리밍
홈 미디어 엔터테인먼트 허브로서, 스마트 TV는 홈 엔터테인먼트의 제어 포인트일 수 있다. 일부 실시예들에서, 콘텐츠 생성기가 오디오-비디오 스트림에 관한 (적합한) 콘텍스트 정보를 제공하는 경우, 스마트 TV는 사용자 선호도들에 기초하여 콘텐츠에 대한 새로운 상세한 시점들을 생성할 수 있다. 스마트 TV에 연결된 사용자 디바이스들은, 스마트 TV가 사용자 선호도들에 기초하여 사용자들에게 부가적인 콘텐츠를 스트리밍하는 경우 멀티-디바이스 환경을 생성할 수 있다. 경험이 스마트 TV의 구현 및 콘텐츠 생성기들 및 사용자들로부터 수신된 콘텍스트 정보를 사용하는 능력에 기초하기 때문에, 경험은 각각의 사용자마다 고유할 수 있다. 이 경험은 스마트 TV에 이용 가능한 부가적인 콘텐츠로부터 생성될 수 있고 TV 경험과 긴밀하게 동기화될 수 있다. 따라서, 스마트 TV는 시청각(AV) 경험을 생성하는 데 중추적인 역할을 할 수 있다.
새로운 스마트 TV 또는 미디어 허브는 여러 상이한 시청각 스트림들, 캡처된 타겟으로부터 수집된 센서 데이터, 및 커버된 이벤트 및 이벤트와 관련된 부가적인 콘텐츠 스트림에 대한 콘텍스트 정보를 포함하는 콘텐츠 멀티플렉스를 수신할 수 있다. 콘텐츠 제공자로부터 홈 엔터테인먼트 비디오 노드에 의해 수신된 메타데이터는 1차 비디오 스트림 내에서 트레이싱될 객체(캡처된 타겟)에 대응하는 센서 및 콘텍스트 데이터를 포함할 수 있다. 스마트 TV는 수신된 스트림들로부터 콘텐츠를 추출함으로써 멀티-디바이스 환경에서 상이한 프리젠테이션들을 생성할 수 있을 수 있다. 예를 들어, 스마트 TV는 타겟에 관한 동반 센서 정보를 이용하여 관심 지역들을 추출 및 확대할 수 있다. 또한, 콘텐츠는 시각적 오버레이들(스트림 구성으로 이용 가능할 수 있음)과 같은 부가적인 재료로 강화될 수 있다. 따라서, 관심 지역은 스마트 TV에 의해 1차 비디오 스트림으로부터 추출될 수 있거나, 또는 1차 비디오 스트림 내에서 수신된 메타데이터에 표시될 수 있다. 그러나 맞춤형 프리젠테이션들을 생성 및 추출하는 다수의 상이한 가능성들은 관리하기에는 너무 많을 수 있고 사용자 인터페이스들에 대한 상이한 프리젠테이션들의 구성이 더욱 복잡해지고 있다. 또한, 의미있는 프리젠테이션들을 구성하는 것은 일부 경우들에서, 사용자 피드백을 요구할 수 있다.
본원에서 설명된 시스템들 및 방법들은 다수의 개인화된 경험들을 공통의 공유-그룹 경험과 동기화하는 능력을 제공할 수 있다. 본원에서 설명된 시스템들 및 방법들은 부가적인 콘텐츠를 TV 또는 STB에 의해 제공되는 1차 콘텐츠와 동기화시킨다. 일부 실시예들에 대해, TV 또는 STB는 중간 프로세싱을 수행하고 제 2 스크린 디바이스에 의한 개인화를 가능하게 하는 메타데이터를 출력한다. TV 또는 STB에 의해 수신된 피드백은 TV 또는 STB로부터 제 2 스크린 디바이스로 사용자 정의 비디오를 제공하는데 사용될 수 있다.
맞춤형 비디오 프리젠테이션 관리
스마트 TV 및 디스플레이를 포함하는 미디어 허브 수신기는, 주문형 비디오 또는 비디오 스트리밍 서비스로부터, 콘텐츠 스트림, 콘텐츠 관련 메타데이터, 및 스트림 및 센서 신호들에 관한 콘텍스트 정보를 수신할 수 있다. 스마트 TV, STB 또는 비디오 허브는 동반 메타데이터, 센서 신호들 및 콘텍스트 정보를 사용하여 콘텐츠 스트림으로부터 복수의 동시성 프리젠테이션들을 구성할 수 있다. 스마트 TV는 복수의 다중-뷰 프리젠테이션들을, 스마트 폰들 및 태블릿들과 같은 사용자 디바이스들을 포함하는 멀티-디바이스 환경으로 스트리밍할 수 있다. 개별 사용자 디바이스들은 스마트 TV에 대한 사용자 및 로컬 콘텍스트 정보를 수집할 수 있다. 또한, 스마트 TV는 그러한 사용자 콘텍스트를 저장하는 네트워크 서버로부터 사용자 프로파일을 리트리브(retrieve)할 수 있다.
스마트 TV는 추천 엔진을 사용하여, 콘텐츠 정보 및 사용자 선호도들을 결합하여 멀티-디바이스 프레젠테이션 관리를 제어할 수 있다. 따라서, 구성된 멀티-디바이스 프리젠테이션 선택은 연결된 개인 디바이스들의 사용자들과 관련될 수 있다. 일 실시예에서, 개인화된 뷰들은 스마트 TV에 의해 수신된 콘텐츠로부터 생성될 수 있다. 옵션들의 세트가 스마트 TV에서 생성되고 사용자 디바이스에 송신되며, 여기서 모바일 사용자는 개인 뷰를 위해 하나를 선택할 수 있다. 이러한 실시예에 대해, 엄격한 동기화는 모바일 디스플레이의 로컬 프로세싱 및 복제 지연들에 의해서만 제한될 수 있다.
일부 실시예들은 정보 및 상이한 화각(view angle)을 비디오 스트림에 추가하고, 스마트 TV는 멀티-디바이스 에코시스템(ecosystem)에 대한 콘텐츠를 관리 및 프로세싱할 수 있다. TV로부터 다른 디바이스로 콘텐츠를 단지 복제하는 것은 다른 디바이스에 의해 디스플레이될 전체(fUIl) 프레임 스트림을 제공하는데 사용될 수 있지만, 제 2 스크린 TV 애플리케이션들은 사용자들이 그들의 뷰잉 경험을 개인화 및 향상시키는 것을 가능하게 한다.
TV 해상도의 증가에 따라, 사용자는 사용자 디바이스 상에서 전체 비디오 프레임을 볼 필요가 없을 수 있다. 제 2 디바이스 상에서 TV로부터의 비디오를 단지 복제하는 것은, TV 콘텐츠의 해상도가 사용자 디바이스의 해상도를 초과하는 경우 비효율적일 수 있다. 부가적으로, 고해상도 비디오를 사용자 디바이스에 전송하기 위해 대량의 대역폭이 필요할 수 있다. 대역폭이 문제가 되지 않더라도, 사용자 디바이스는 TV와 동일한 해상도 또는 압축 포맷들을 지원하는 프로세싱 능력을 갖지 않을 수 있다. 또한 미사용 정보를 프로세싱하는 것은 사용자 디바이스의 소중한 배터리 용량 및 자원을 낭비한다.
스마트 TV 세트는 송신 브로드캐스트 또는 인터넷 콘텐츠 스트림으로부터 시청각 스트림을 수신할 수 있다. 어느 경우든, 스마트 TV 세트는 콘텐츠를 처리하고 스크린 상에서 메인 콘텐츠를 디스플레이하고, 콘텐츠 분석 및 콘텍스트 큐들을 사용하여 부가적인 콘텐츠를 생성한다. 예를 들어, 메인 콘텐츠 스트림은 HEVC(High Efficiency Video Coding) 압축을 한 8k 비디오일 수 있다. 스마트 TV는 멀티-디바이스 환경에서 연결된 사용자 디바이스들에 부가적인 콘텐츠를 배포한다. TV는, (아마도 사용자 디바이스 상의) 콘텐츠 추천 엔진으로부터 콘텐츠 서브-지역 선택들의 설명을 수신하고 이 콘텐츠를 준비한다. 그러나, 8k 비디오의 서브-지역을 스트리밍하는 것은 사용자 디바이스의 비디오 렌더링 능력들뿐만 아니라 연결된 디바이스로의 무선 링크의 대역폭 제한들을 초과할 수 있다. 따라서, 스마트 TV는 서브-지역을 인코딩하기 위해 AVC(Advanced Video Coding) 코덱을 사용할 수 있고, 사용자 디바이스는 디스플레이를 위한 데이터를 획득하기 위해 하드웨어 AVC 비디오 디코더를 사용할 수 있다.
예를 들어, 주문형 비디오 서비스에 연결된 스마트 TV는 MPEG DASH(또는 유사한)-기반 라이브 스트리밍 프로토콜을 사용하여, 콘텐츠 서버로부터 TV로 다수의 상이한 시청각 스트림들 및 메타데이터를 동시에 스트리밍할 수 있다. 여러 스트림들이 동시에 수신될 수 있다. 스트림들은 콘텐츠에 관한 부가적인 메타데이터 및 부가적인 정보, 이를테면, 시간 지정 텍스트(timed text) 또는 이미지들을 포함할 수 있다. 또한 메타데이터는 뷰 내의 객체들/타겟들 및 카메라의 위치에 관한 콘텍스트 정보를 포함할 수 있다. 브로드캐스터들은 매립된 메타데이터 스트림들의 유무에 관계없이 유사한 서비스를 제공할 수 있다. 타겟 위치들에 대한 메타데이터는 프레젠테이션 뷰에서 타겟들의 트레이싱을 가능하게 한다. 또한, 콘텐츠 및 타겟들에 관한 부가적인 정보가 있을 수 있다. 콘텍스트 정보 및 다른 메타데이터는 부가적인 정보 및 콘텐츠 스트림들에 대한 링크들을 포함할 수 있다. 스마트 TV는 사용자 선호도들에 의해 선택된 여러 동시성 스트림들을 관리할 수 있다. 예를 들어, 뷰 내의 각각의 타겟의 위치는 (콘텍스트 정보 또는 위치 추적에 기초하여) 시각적 스트림에 대해 결정될 수 있다. 스마트 TV 상의 콘텐츠 애플리케이션은 복수의 타겟들을 트레이싱하고 타겟을 줌 인(zoom in)함으로써 부가적인 스트림들을 추출할 수 있을 수 있다.
모바일 사용자 디바이스들(예를 들어, 태블릿들 및 스마트 폰들)을 가진 스마트 TV 사용자들은 예를 들어, Bluetooth 또는 Wi-Fi를 사용하여 TV에 직접 연결될 수 있다. 사용자는 개인의 관심들 또는 선호도들에 기초하여 콘텐츠를 선택할 수 있다. 연결된 디바이스는 또한 TV 기능성들 및 콘텐츠를 제어할 수도 있다. 일부 실시예들에 대해, 스마트 TV 수신기 세트는 서버로부터 수신된 콘텐츠 스트리밍을 관리하고 사용자 제어에 기초하여 TV 그 자체에 대한 콘텐츠를 맞춤화한다. 다수의 실시예들에 대해, 스마트 TV는 프리젠테이션에 대한 제어 포인트이다. 스마트 TV는 서비스 제공자로부터 브로드캐스트를 수신하거나 콘텐츠를 스트리밍한다. 콘텐츠는 TV에 의해 관리될 수 있고 콘텐츠뿐만 아니라 사용자 선호도들에 기초하여 주변 디바이스들 사이에서 배포될 수 있다. TV는 그 후 비트 스트림을 제어하고, 브로드캐스트 또는 스트림 수신기 및 로컬 사용자 디바이스들로만 데이터를 브로드캐스트한다. 이러한 어레인지먼트를 통해, 사용자들은 대형 TV 스크린 상에서의 메인 프리젠테이션 및 부가적인 뷰들, 줌된(zoomed) 콘텐츠 및 개인용 소형 스크린 상의 부가적인 정보를 갖는 풍부한 멀티-디바이스 프리젠테이션을 수신할 수 있다. 즉, 맞춤형 콘텐츠는, TV 프리젠테이션을 단지 복제하는 대신, 상세한 정보와 함께 사용자 경험을 개선하기 위해 연결된 사용자 디바이스로 포워딩될 수 있다.
TV가 콘텐츠를 관리하는 경우, 모든 콘텐츠가 단일 소스를 통과하기 때문에 동기화는 큰 문제가 되지 않는다. 사용자들은 태블릿들 및 모바일 폰들을 사용하는 경우, TV 스트림들을 팔로우할 수 있다. 사용자들은 웹 서비스들에서 부가적인 정보를 찾을 필요가 없다. 따라서, 사용자들은 Twitter 또는 Facebook과 같은 다른 소스들로부터 개인 정보를 추적하기 위해 메인 콘텐츠 피드로부터 산만해지지 않는다. 사용자들은 사용자 선호도들 및 선택들에 기초하여 부가적인 콘텐츠를 제어할 수 있다. 사용자는 뷰 상의 소정의 타겟을 팔로우하기를 원할 수 있다. 이 시나리오는 줌된 뷰가 태블릿으로 전달되는 경우 발생할 수 있다. TV 상의 실제 프리젠테이션은 상이한 선택들에 의해 방해받지 않는다. 다른 사용자들은 1차 디스플레이 상에서 공통의 공유 경험을 뷰잉하면서, 그의 사용자 디바이스 상에서 상이한 개인화된 스트림들을 수신할 수 있다. 사용자 디바이스 배터리 전력 및 (이를테면, TV와 사용자 디바이스 사이의) 다양한 연결들의 대역폭과 같은 자원들은 본원에서 설명된 시스템들 및 방법들을 사용함으로써 효율적으로 사용된다. 또한, 원하는 관심 지역을 디바이스에 의해 지원되는 포맷으로 사용자 디바이스에 전달하면서, 고해상도(이를테면, 4K 또는 8K)를 지원할 수 있는 TV에 의해 콘텐츠에 대한 액세스가 증가된다.
시청각 TV 콘텐츠는 라이브 이벤트 또는 주문형 비디오 서비스로부터 유래할 수 있다. 브로드캐스터 또는 ISP는 콘텐츠를 관리하고 TV 콘텐츠를 뷰어들에 대해 이용 가능하게 할 수 있다. TV 콘텐츠는 예를 들어, MPEG DASH 프로토콜을 사용하여 브로드캐스트 또는 스트리밍되고, 다수의 콘텐츠 스트림들 및 메타데이터를 전달(carry)할 수 있을 수 있다. 실제 시청각 콘텐츠 및 레코딩 환경에 관한 콘텍스트 정보는 부가적인 콘텐츠 또는 메타데이터로서 포함될 수 있다. 예를 들어, 콘텐츠는 카메라 셋업에 관한 위치 정보 및 시청각 이미지에서 식별된 타겟들의 좌표들을 포함할 수 있다. 또한, 예를 들어, 아이스 하키 선수는 TV 프로그램에 연결된 클라우드 서비스에 지속적인 실내 위치 추적을 제공하는 디바이스를 착용할 수 있다. 스트림은 뷰 내의 하나 이상의 관심 지역들을 어떻게 선택할지 또는 콘텐츠에 관한 부가적인 정보를 어떻게 제공할지에 관한 명령들을 가질 수 있다. 이 모든 정보는 스트리밍 프로토콜에 포함될 수 있다. 콘텍스트 정보 및 부가적인 콘텐츠 큐들이 추가될 수 있어서, 스마트 TV가 멀티-디바이스 환경에서 연결된 디바이스들에 대한 부가적인 콘텐츠 스트림들을 재구성할 수 있게 한다. 콘텐츠 소유자 및 생성기는 콘텐츠 생성 단계에서 멀티-디바이스 소비 환경을 참작할 수 있다. 스마트 TV 수신기가 부가적인 콘텐츠 스트림을 추출하는 것을 가능하게 하기 위해 부가적인 메타데이터 큐들이 시청각 스트림에 포함될 수 있다. 또한, 프리젠테이션의 디렉터는 메인 콘텐츠의 경우 전체 이벤트에 집중할 수 있으며 스마트 TV는 최종 사용자들에 대한 콘텐츠를 맞춤화할 수 있다.
도 2는 다수의 사용자 디바이스들에 대한 비디오 콘텐츠를 맞춤화하기 위한 예시적인 시스템(200)의 블록도이다. 도 2는 스마트 TV 시스템이 풍부한 콘텐츠를 수신하고 멀티-디바이스 환경에서 하나 이상의 뷰어들에 대한 부가적인 미디어 프리젠테이션들을 생성하는 아키텍처를 도시한다. 콘텐츠 소유자 또는 주문형 비디오 서비스는 데이터 저장 엘리먼트(202) 상 상주하는 것으로 예시된 시청각 콘텐츠를 준비하고, 이를 송신을 위해 박스(203)에서 메타데이터와 번들링(bundle)할 수 있다. 따라서, 비디오 콘텐츠는 ISP 또는 브로드캐스터로부터 스마트 TV 또는 STB로 제공될 수 있다. 메인 비디오 콘텐츠는 그룹에 의해 시청되는 공유 대형 디스플레이 상에서 보여질 수 있는 반면, 개별 사용자 디바이스들은 스마트 TV에 연결될 수 있고 메인 프로그램과 동기화되는 사용자 정의된 비디오 피드들을 수신할 수 있다. 이러한 시나리오는 도 2에 예시된다.
송신은 일반적으로 인터넷(205)을 통해 또는 보다 구체적으로 MPEG DASH 스트리밍 프로토콜 또는 브로드캐스트 시스템(206)을 통해 이루어질 수 있다. (도 1의) 스마트 TV(101)와 유사할 수 있는 스마트 TV 세트(207)는 콘텐츠를 수신하기 위한 수신기(208)를 포함한다. 스마트 TV(207)는 콘텐츠를 번들링 해제(unbundle)하고 박스(209)에서 이를 디코딩하여 메인 디스플레이(210) 상에서 1차 비디오 스트림(메인 시청각 콘텐츠)의 적어도 일부를 디스플레이한다. 스마트 TV(207)는 또한 박스(211)에서, 인입 스트림 및 하나 이상의 새로운 콘텐츠 스트림들에 대한 메타데이터를 사용하여 부가적인 콘텐츠를 독립적으로 생성한다. 예를 들어, 스마트 TV(207)는 시각적 콘텐츠 상의 상이한 타겟들의 연속적 위치 정보 및 카메라의 위치를 추출할 수 있다. 이 정보를 이용하여, 스마트 TV(207)는 비디오 스트림으로부터 타겟 및 관심 지역(또는 공간 부분)을 크로핑하고 이미지를 확대할 수 있다. 새로운 크로핑 및 줌된 비디오 스트림은 통신 채널(212a 및 212b)을 통해, 연결된 사용자 디바이스들(213a 및 213b)에 송신될 수 있다.
통신 채널(212a 및 212b)은 (도 1의) 의 통신 채널(103)과 유사한 Bluetooth, Wi-Fi 접속, 또는 일부 다른 유형일 수 있다. 예를 들어, 통신 채널(212a)은 Bluetooth일 수 있는 반면, 통신 채널(212b)은 Wi-Fi Direct일 수 있다. 사용자 디바이스들(213a 및 213b)은 (도 1의) 사용자 디바이스(102)와 유사한 스마트 폰들 또는 테블릿들일 수 있다. 스마트 TV는 오리지널 콘텐츠의 상이한 시점들을 가진 상이한 스트림들을 상이한 연결된 디바이스에 통신할 수 있다. 사용자 디바이스들(213a 및 213b) 상에서 각각 실행되는 애플리케이션들(214a 및 214b)은 스마트 TV(207)로부터의 데이터 스트림을 각각 디코딩하여, 스마트 TV(207) 상의 시청각 프리젠테이션에 대한 부가적인 콘텐츠 스트림으로서 사용자 디바이스 디스플레이들(215a 및 215) 상에서 비디오를 보여준다.
개별 사용자들은 사용자 디바이스들(213a 및 213b) 상에 보여줄 원하는 관심 지역을 추적하거나 특정하기 위해 객체를 선택할 수 있다. 연결된 사용자 디바이스들(213a 및 213b)로부터의 사용자 제어 메시지들 및 로컬 콘텍스트 정보는 채널들(212a 및 212b)을 통해 스마트 TV(207)로 송신될 수 있다. 사용자 디바이스들(213a 및 213b)에 대한 뷰어들의 근접은 효과적인 줌 효과를 생성할 수 있다. 즉, 더 근접한 디바이스 상에서 크로핑된 이미지를 디스플레이하는 것은, 해상도가 동일하더라도 지각된 줌 효과를 생성한다. 그러나, 크로핑된 비디오 부분의 해상도는 사용자 디바이스들(213a 및 213b)의 디스플레이 능력들에 의존하여 더 낮은 해상도 또는 더 높은 해상도를 가질 수 있다. 대안적인 송신 경로로서, 사용자 디바이스들(213a 및 213b)은 스마트 TV(207)와 함께, 인터넷에 연결될 수 있다.
본원에서 설명된 시스템들 및 방법들을 사용하여, 스마트 TV(207)와의 직접 연결(212a)에 의해 향상된 연결된 애플리케이션(214a)은 메인 AV 콘텐츠와 동기화된 개인화된 비디오 선택들을 사용자 디바이스(213a) 제공한다. 콘텐츠 소유자 및 브로드캐스터는 멀티-디바이스 프리젠테이션 능력을 가진 최종 사용자를 참작할 수 있다. 콘텐츠 생성기는 연결된 디바이스들과 관련하여 부가적인 프리젠테이션을 구성하기 위해 스마트 TV 수신기 세트가 사용할 수 있는 콘텍스트 큐들 및 명령들을 추가할 수 있다. 메타데이터는 관심있는 세부사항들을 포함하는 뷰의 영역 또는 사용자가 트레이싱을 선호할 수 있는 객체에 대한 좌표들의 스트림을 포함할 수 있다. 대안적으로, 메타데이터는 디바이스에 전송될 수 있는 부가적인 오디오 또는 비디오 스트림에 대한 큐를 포함할 수 있다. 콘텐츠 생성기들은 멀티-디바이스 프레젠테이션을 구축하기 위한 다양한 툴들을 가질 수 있다. 또한, 스마트 TV는 TV 디스플레이와 연결된 디바이스 사이에서, 텍스트 콘텐츠 및 그래픽의 정보 흐름 및 지원 비디오 스트림을 분할할 수 있다. 시청각 스트림에 부착된 메타데이터는 비디오에 나타나는 객체들의 좌표 및 카메라 포지션에 관한 정보를 포함할 수 있다. 스마트 TV는 스크린 상의 객체를 삼각측량할 수 있다. 그리고, 객체의 위치가 결정되는 경우, 스마트 TV는 연결된 디바이스들에 배포될 객체 주위의 미리 정의된 영역인 관심 지역을 크로핑할 수 있다.
도 3은 사용자 디바이스, 예를 들어 (도 1 및 2의) 사용자 디바이스들(102, 213a 또는 213b) 중 하나에 대한 비디오 콘텐츠를 맞춤화하는 방법(300)의 흐름도이다. 방법(300)을 사용하여, 스마트 TV는 콘텐츠 소유자로부터 스트림을 수신하고 멀티-디바이스 경험을 생성할 수 있다. 박스(301)에서 시작하여, AV 콘텐츠는 스트리밍 서버에 의해 수신되고 박스(302)에서, 사용자로의 프리젠테이션을 위해 멀티-디바이스 미디어 콘텐츠를 추출할 수 있는 스마트 TV로 스트리밍하기 위해 준비된다. 박스(303)에서, 스트림은 예를 들어, MPEG DASH 또는 브로드캐스트 채널들을 사용하여 스마트 TV 수신기 세트에 송신되고 박스(304)에서 수신된다. 스마트 TV는 최종 사용자들에 대한 콘텐츠를 맞춤화할 수 있다. 프리젠테이션을 위한 콘텐츠가 박스(305)에서 수신된 스트림으로부터 추출되고, 고화질 TV 콘텐츠가 박스(306)에서 대형 스크린으로 전송된다. 박스(307)에서, 이를테면, 부가적인 멀티-디바이스 프리젠테이션을 형성하기 위해 줌된 관심 지역을 추출함으로써, 연결된 디바이스들에 대한 부가적인 콘텐츠가 생성된다. 그 후, 부가적인 콘텐츠는 박스(308)에서, 연결된 디바이스로 스트리밍될 수 있다. 그 후, 연결된 디바이스는 박스(309)에서, 부가적인 프리젠테이션을 형성하고 박스(310)에서, 이를 디스플레이한다. 박스(311)에서, 사용자 제어에 기초하여, 더 많은 콘텐츠가 연결된 디바이스에 의해 생성되고 스마트 TV 수신기 디바이스에 역으로 통신될 수 있다. 사용자(104)는 스마트 TV 스크린으로부터 고화질 TV 콘텐츠(또는 일부 실시예들의 경우, 메인 AV 프리젠테이션)를 뷰잉하고 연결된 스마트 폰 또는 태블릿으로부터 부가적인 콘텐츠 스트림을 수신할 수 있다. 연결된 디바이스 사용자는 애플리케이션 사용자 인터페이스를 사용하여 부가적인 콘텐츠를 선택할 수 있다. 사용자가 콘텐츠의 선택을 위해 사용자 디바이스를 스마트 TV에 연결하는 경우, 스마트 TV는 이용 가능한 부가적인 콘텐츠 스트림들을 디스플레이한다. 사용자는 애플리케이션 UI로부터 선택을 할 수 있고, 스마트 TV는 선택을 디스플레이할 수 있다.
도 4는 상이한 연결된 디바이스들에 대한 다수의 비디오 콘텐츠 스트림들을 맞춤화하는 방법(400)의 흐름도이다. 도 4는 스마트 TV가 강화된 콘텐츠 스트림을 수신하고 여러 연결된 디바이스들에 대한 멀티-디바이스 경험을 생성하는 방법을 도시한다. 방법(300)과 유사하게, 박스(301)에서 시작하여, AV 콘텐츠는 스트리밍 서버에 의해 수신되고 박스(302)에서, 사용자로의 프리젠테이션을 위해 멀티-디바이스 미디어 콘텐츠를 추출할 수 있는 스마트 TV로 스트리밍하기 위해 준비된다. 그 AV 콘텐츠는 부가적인 콘텍스트 정보, 예를 들어 외부 센서 정보를 갖는 소스로부터의 콘텍스트 정보(401)로 강화될 수 있다. 또한, 부가적인 부가 가치 콘텐츠 스트림(402)이 존재할 수 있다. ISP 또는 브로드캐스터는 라이브 스트림으로부터 또는 콘텐츠 서버로부터 주문형 비디오와 같은 AV 콘텐츠를 취한다. 일부 실시예들에 대해, 이용 가능한 모든 콘텍스트 정보가 스트림에서 번들링될 수 있다.
박스(303)에서, 번들은 예를 들어, MPEG DASH 또는 브로드캐스트 채널들을 사용하여 스마트 TV 수신기 세트에 송신되고 박스(304)에서 수신된다. 스트리밍된 콘텐츠는 하위 호환 가능(backwards compatible)할 수 있다. 일반(스마트가 아님) TV는 메타데이터 스트림을 디코딩하지 않고 AV 콘텐츠를 수신할 수 있다. 그러나 스마트 TV는 스트림으로부터 콘텍스트 정보를 추출하고 부가적인 콘텐츠를 번들링 해제하고 하나 이상의 연결된 디바이스들에 대해 맞춤형 멀티-디바이스 프레젠테이션을 생성할 수 있다. 프리젠테이션을 위한 콘텐츠가 박스(305)에서 수신된 스트림으로부터 추출되고, 고화질 TV 콘텐츠가 박스(306)에서 대형 스크린으로 전송된다. 박스(307)에서, 이를테면, 부가적인 멀티-디바이스 프리젠테이션을 형성하기 위해 줌된 관심 지역을 추출함으로써, 연결된 디바이스들에 대한 부가적인 콘텐츠가 생성된다. 그 후, 부가적인 콘텐츠는 박스(308)에서, 연결된 디바이스들로 스트리밍될 수 있다.
연결된 디바이스들은 그 후, 박스들(409a, 409b 및 409c)에서, 부가적인 프리젠테이션을 형성하고, 사용자들(104a, 104b 및 104c)에 대해, 각각 박스들(410a, 410b 및 410c)에서, 부가적인 콘텐츠를 각각 디스플레이한다. 부가적인 스트림들의 수는 메타데이터, 스마트 TV 콘텐츠 추출 방법들 및 연결된 디바이스들의 수에 의존할 수 있다. 무선 링크를 통해 TV에 연결된 스마트 폰들 또는 태블릿들이 존재하는 것만큼 다수의 상이한 스트림들이 존재할 수 있다. 사용자들(104a-104c)은 각각, 애플리케이션 UI을 사용하여 부가적인 또는 맞춤형 콘텐츠를 선택할 수 있다. 대안적으로, 연결된 디바이스는 사용자 선호도들 및 로컬 콘텍스트 정보를 스마트 TV에 통신한다. 예를 들어, 언어 선택, 사용자 프로파일, 접촉 정보, 설치된 애플리케이션 및 위치 데이터가 부가적인 콘텐츠 스트림을 자동으로 선택하는데 사용될 수 있는 콘텐츠 성향(content bias)(즉, 사용자 선호도들)을 결정하는데 사용될 수 있다. 박스들(411a, 411b, 및 411c)에서, 사용자 제어에 기초하여, 더 많은 콘텐츠가 연결된 디바이스에 의해 생성되고 스마트 TV 수신기 디바이스에 역으로 통신될 수 있다.
방법(400)을 사용하여, 다수의 맞춤형 비디오 스트림들이 구성될 수 있다. 예를 들어, 다수의 상이한 관심 지역들에 대해 복수의(2개 이상의) 콘텐츠 스트림들이 1차 비디오 스트림으로부터 구성될 수 있으며, 이러한 2개의 맞춤형 콘텐츠 스트림들은 서로 그리고 1차 비디오 스트림의 디스플레이된 부분과 상이한 비디오를 보여준다. 2개의 맞춤형 콘텐츠 스트림들이 상이한 디스플레이 디바이스들(이는 제 1 디스플레이도, 제 2 디스플레이 디바이스도 아님)에 송신된다.
도 5는, 예를 들어, 스마트 TV가 트레이싱된 객체 주위에 프레임을 크로핑함으로써 부가적인 비디오 스트림을 생성할 때, 트레이싱된 객체 주위의 비디오 스트림을 크로핑하는 예시이다. 도 5에 도시된 바와 같이, 1차 비디오 스트림(501)의 디스플레이된 부분 내에서, 2개의 객체들(502a 및 502b)이 트레이싱된다. 트레이싱된 객체를 팔로우하라는 요청이 디스플레이 디바이스로부터 수신될 수 있고, 관심 지역은 그 후 트레이싱된 객체를 포함하는, 1차 비디오 스트림의 크로핑된 부분을 포함할 수 있다. (관심 지역에 대응하는) 크로핑 프레임(503)은 아마도 더 높은 해상도의 크로핑된 비디오를 포함하는 새로운 콘텐츠 스트림을 생성하기 위해 1차 비디오 스트림으로부터 추출된다. 일부 실시예들에서, 트레이싱된 객체는 스포츠 팀에서 가장 좋아하는 선수이다. 도 5에서 흑색 속이 찬 원들로서 도시된 바와 같이, 선택을 위해 이용 가능한 하나 초과의 트레이싱된 객체(502a 및 502b)이 존재할 수 있다. 그러한 경우에, 스마트 TV의 로컬 콘텍스트 및 연결된 디바이스로부터 수신된 사용자 콘텍스트 정보는, 부가적인 콘텐츠 생성을 위해 어느 트레이싱된 객체(502a 또는 502b)를 사용할지를 결정하기 위해 적용될 수 있다. 상이한 콘텐츠 성향들을 갖는 하나 초과의 연결된 디바이스들이 존재하는 경우, 스마트 TV는 각각의 수신 유닛에 대해 별개의 스트림들을 추출할 수 있다.
오리지널 비디오 스트림은 HEVC 인코딩을 한 8k 해상도를 가질 수 있다. 전체 이미지가 풀 해상도(fUIl resolution)로 디바이스에 복제되는 경우 사용자 디바이스의 대역폭, 컴퓨테이션 능력 및 배터리 용량이 초과될 수 있다. 전체 이미지가 감소된 해상도로 전송되는 경우, 세부사항들이 손실될 수 있다. 따라서, 일부 실시예들에 대해, 스마트 TV는 관심 지역을 크로핑하고 예를 들어, AVC 비디오 인코더로 비디오 스트림을 인코딩한다. 이 방법은 사용자 디바이스가 효율적인 콘텐츠 표현을 위해 하드웨어-구현 AVC 비디오 디코더를 사용하는 것을 가능하게 할 수 있다.
도 6은 멀티-디바이스 환경에서 사용자 디바이스에 대한 비디오 콘텐츠를 선택하는 방법에 대한 메시지 시퀀스도(600)이다. 브로드캐스트 및 스트리밍 서비스(601)는 주문형 비디오 데이터베이스와 같은 라이브 소스 또는 저장된 위치로부터 유래하는, 소비자 스마트 TV 에코시스템(602)에 전송될 콘텐츠를 가질 수 있다. 콘텐츠 생성기(603)는 시청각 콘텐츠(604)를, 브로드캐스팅되거나 스트리밍된 콘텐츠 내의 메타데이터(605)로서의 (관련) 콘텍스트 정보와 결합할 수 있다. 이들은 비디오 서버(606)에 전송된다.
MPD(media presentation description) 포맷의 콘텐츠 매니페스트(607)가, 스마트 TV(101 또는 207)(도 1 및 도 2)와 유사할 수 있는 스마트 TV 수신기(608)에 전송될 수 있다. 이 정보에 기초하여, 사용자(104)는 도 1의 사용자 디바이스(102)와 유사할 수 있는 사용자 디바이스(210)로부터 요청(609)을 갖는 TV 콘텐츠 스트림을 선택할 수 있을 수 있다. 스마트 TV(608)는 콘텐츠 및 메타데이터 스트림들에 대한 요청(610)을 서버(606)에 전송할 수 있거나 브로드캐스트로부터 스트림을 선택할 수 있다. 콘텐츠 스트림(611) 및 메타데이터 스트림(612)은 스마트 TV(608)로 전송되고, 콘텐츠가 사용자(104)에게 제시된다(613). 사용자(104)는 디바이스(210) 상에서 뷰잉할 더 많은 콘텐츠를 선택(614)하기를 원할 수 있고, 이에 따라 스마트 TV(608)에 연결(615)하도록 디바이스(210)에게 지시한다. 디바이스(210) 및 스마트 TV(608)는 블루투스, WiFi, 또는 다른 이용 가능한 연결을 사용하여 연결을 설정하고(616), 스마트 TV(608)는 부가적인 프리젠테이션 스트림들을 구성한다(617). 그 후, 스마트 TV(608)는 부가적인 콘텐츠를 선택(618)하기 위해 신호를 디바이스(210)로 전송하며, 이 디바이스는 사용자 인터페이스(UI) 프로그램의 부분으로서 사용자(104)에게 이를 제시한다(619). 사용자(104)는 이용 가능한 콘텐츠 스트림들 또는 스트림에 나타나는 타겟들의 리스트로부터 특정 콘텐츠를 선택(620)하고, 선택을 디바이스(210)에 통신하며(621), 이 디바이스는 선택을 스마트 TV(608)로 전송한다(622). 선택(621)은 예를 들어, 트레이싱된 객체를 팔로우하라는 요청일 수 있다. 콘텐츠 스트림은 디바이스(210)로 전송되며(623), 이 디바이스는 사용자(104)에 의한 뷰잉을 위해 그것을 디스플레이(624)한다. 이러한 방식으로, 시청각 브로드캐스트 스트림이 스마트 TV 디스플레이 상에 디스플레이될 때, 사용자의 디바이스는 블루투스, Wi-Fi 또는 다른 연결을 통한 프레젠테이션을 위해 더 많은 정보 및 부가적인 시점을 요청할 수 있다
일 실시예에서, 스마트 TV는 콘텐츠 스트림으로부터 메타데이터를 추출할 수 있다. 스마트 TV는 스마트 TV의 로컬 콘텍스트 정보를 적용할 수 있다. 스마트 TV의 언어 선택 및 TV가 수신하는 시청각 신호는 부가적인 콘텐츠 스트림들을 선택하고 생성하는 데 사용될 수 있다. 콘텍스트 큐들, 콘텐츠 분석 및 메타데이터 내의 명령들을 적용함으로써, 스마트 TV는 연결된 사용자 디바이스들에 대해 맞춤화되는 프레젠테이션을 생성할 수 있다. 비디오 스트림들에 대한 옵션들은 연결된 디바이스 애플리케이션에 통신될 수 있다. 사용자는 애플리케이션 UI 상에서 선택을 행할 수 있다. 예를 들어, 애플리케이션은 각각의 이용 가능한 스트림을 대강 표현하거나 설명할 수 있다. 사용자는 부가적인 콘텐츠를 선택할 수 있고, 연결된 디바이스는 스마트 TV로부터 스트림을 요청할 수 있다. 연결된 디바이스는 사용자에 의해 뷰잉되는 부가적인 콘텐츠 스트림을 디스플레이한다.
미디어를 공유하는 방법은 제 1 노드(608)에서 1차 비디오 스트림(611)을 수신하는 단계를 포함할 수 있으며, 제 1 노드는 예를 들어 스마트 TV이다. 1차 비디오 스트림(611)은 적어도 하나의 관심 지역(도 5의 디스플레이된 1차 비디오 스트림(501)의 크로핑된 부분(503)에 대응하는)에 관한 정보를 포함한다. 방법은, 제 1 디스플레이(아마도, 스마트 TV(608)의 디스플레이 스크린) 상에서 1차 비디오 스트림의 제 1 부분을 디스플레이하는 단계(613); 상기 1차 비디오 스트림으로부터 상기 적어도 하나의 관심 지역 중 제 1 관심 지역에 대한 제 1 맞춤형 콘텐츠 스트림을 구성하는 단계(617) ― 상기 제 1 맞춤형 콘텐츠 스트림은 상기 1차 비디오 스트림의 디스플레이된 부분과 상이함 ― ; 및 상기 제 1 맞춤형 콘텐츠 스트림을, 상기 제 1 디스플레이와 상이한 제 2 디스플레이 디바이스(210)에 송신하는 단계(623)를 더 포함한다. 맞춤형 콘텐츠 스트림들은 디스플레이된 1차 비디오 스트림과 상이한 해상도를 가질 수 있고 1차 비디오 스트림과 동기화되게 송신될 수 있다. 송신은 UPnP DLNA 프로토콜에서 무선 LAN을 통해 일어날 수 있으며, 맞춤형 콘텐츠 스트림들은 또한 DRM 보안 보호들을 가질 수 있다.
도 7은 2개의 디스플레이 디바이스들에 대한 비디오 콘텐츠를 선택하는 방법에 대한 메시지 시퀀스도(700)이다. 도 6과 유사하게, 시청각 소스 스트림 및 메타데이터는 다수의 디바이스들 상의 디스플레이를 위해 콘텐츠 생성기로부터 비디오 서버에 의해 수신되며, 상이한 디바이스들은 상이한 부분들(풀(full), 제 1 지역으로 줌됨, 제 2 지역으로 줌됨 등)을 디스플레이한다 그러나, 도 7은 스마트 TV 비디오 허브(701)와 1차 디스플레이(713) 사이의 분리를 예시한다. 1차 디스플레이(713)는 스마트 TV(101 또는 608)에 대한 디스플레이일 수 있다. 스마트 TV 비디오 허브(701)는 풀 스마트 TV 시스템, 이를테면, 스마트 TV(608)일 수 있고 스크린을 포함하거나, 또는 그것은 스크린 없는 허브일 수 있다. 유사하게, 1차 디스플레이(713)는 또한 단지 슬레이브 디스플레이로서 작용하는 풀 스마트 TV 시스템 이를테면, 스마트 TV(608)일 수 있거나, 또는 그것은 스마트 TV 능력이 없는 단순한 디스플레이 디바이스일 수 있다.
메시지 시퀀스도(700)에 따르면, 브로드캐스트 및 스트리밍 서비스(601)는 주문형 비디오 데이터베이스와 같은 라이브 소스 또는 저장된 위치로부터 유래하는, 소비자 스마트 TV 에코시스템(714)에 전송될 콘텐츠를 가질 수 있다. 콘텐츠 생성기(603)는 시청각 콘텐츠(604)를, 브로드캐스팅되거나 스트리밍된 콘텐츠 내의 메타데이터(605)로서의 (관련) 콘텍스트 정보와 결합할 수 있다. 이들은 비디오 서버(606)에 전송된다.
MPD(media presentation description) 포맷의 MPD 매니페스트 파일(702)은 스마트 TV 비디오 허브(701)로 전송될 수 있으며, 이 스마트 TV 비디오 허브는 그 후 1차 비디오에 대한 요청(703)을 리턴한다. 1차 비디오 스트림(704)은 1차 비디오(705)를 1차 디스플레이(713)로 전송하는 스마트 TV 비디오 허브(701)에 대한 것이다. 제 2 스크린 디바이스(102)는 연결을 설정하여 능력 및 선호도 데이터(706)를 스마트 TV 비디오 허브(701)에 전송하며, 이 스마트 TV 비디오 허브는 선택을 위해 이용 가능한 부가적인 비디오 썸네일들의 메타데이터 리스트(707)를 리턴한다. 부가적으로, 비디오 서버(606)는 객체 메타데이터(708)를 스마트 TV 비디오 허브(701)로 전송한다. 맞춤형 콘텐츠 가능성들의 선택(709)은 디바이스(102) 상에서 이루어지고 스마트 TV 비디오 허브(701)로 통신(710)되며, 이 스마트 TV 비디오 허브는 선택된 비디오(712)를 준비(711)하고 그 후 이를 디바이스(102)에 전송한다.
도 8은 멀티-디바이스 능력의 표시(801)와 더불어 스마트 TV(도 2 참조)의 디스플레이(210) 상에 디스플레이되는 비디오 콘텐츠(802)의 정면도이다. 비디오 콘텐츠(802)는 수신된 1차 비디오 스트림의 디스플레이된 부분이고, 호스트 디스플레이의 크롭 및 줌 세팅들에 의해 부분적으로 결정된다. 스마트 TV 디스플레이는 스마트 TV가 연결된 사용자 디바이스들에 부가적인 미디어 콘텐츠를 제공(Bluetooth 또는 Wi-Fi 연결을 사용하여 수행될 수 있음)할 수 있음을 표시하기 위해 디스플레이 상에 나타나는 아이콘을 가질 수 있다. 표시(801)는 텍스트로서 예시되지만, 그것은 대신 그래픽 아이콘일 수 있다. 스마트 TV가 아닌 단순 TV 디스플레이조차도 그것이 도 7의 스마트 TV 비디오 허브(701)와 같은 스마트 TV 비디오 허브로부터 비디오 피드를 수신한 경우 표시(801)를 디스플레이할 수 있다는 것이 주의되어야 한다. 일부 실시예들에서, 스마트 TV는 뷰잉 환경에 대한 데이터를 측정하기 위해 온보드 마이크로폰, 카메라 또는 디바이스 이를테면, Microsoft Kinect를 사용할 수 있다. 사용자 행동에 기초하여, 스마트 TV는 부가적인 콘텐츠에 대한 선호도들(또는 성향들)을 세팅할 수 있다. 스마트 TV는 사용자 반응들 및 스마트 TV 세팅들에 기초하여 부가적인 스트림을 선택하거나 스크린 상의 객체 주위의 관심 지역을 크로핑할 수 있다.
본원에서 설명된 방법들 및 시스템들의 일부 실시예들에 대해, 스포츠 이벤트의 TV 브로드캐스트가 멀티-디바이스 환경에서 배포될 수 있다. 예를 들어, 브로드캐스터는 HEVC 인코딩된 스트림을 갖는 고화질 8k 해상도를 제공할 수 있다. 스마트 TV 수신기 세트는 프리젠테이션에 관한 부가적인 콘텍스트 세부사항들을 설명하는 메타데이터와 함께 스트림을 수신할 수 있다. 비디오 스트림은 도 8에 도시된 바와 같이 "일반" TV 프로그램으로서 디스플레이 상에 렌더링될 수 있다. 이 예에서, 스트림은 또한 빙상 상의 각각의 선수의 위치 정보를 포함할 수 있다. 스마트 TV 디스플레이는 TV가 연결된 사용자 디바이스들(Bluetooth 또는 Wi-Fi를 사용하여 연결될 수 있음)에 부가적인 콘텐츠를 제공할 수 있음을 표시하는, 디스플레이 상에 나타나는 아이콘을 가질 수 있다.
사용자는 전용 모바일 애플리케이션, 예를 들어 스마트 TV 제조자에 의해 제공되는 애플리케이션을 사용하여 태블릿 또는 스마트 폰을 스마트 TV에 연결할 수 있다. 사용자 디바이스는 스마트 TV와 통신하고, 스마트 TV 상에 디스플레이되는 현재 프리젠테이션에 대응하는 이용 가능한 프리젠테이션에 관한 정보를 수신한다. 모바일 애플리케이션의 UI는 사용자에 의한 선택을 위한 옵션들을 디스플레이할 수 있다. 예를 들어, UI는 사용자가 하나 이상의 좋아하는 스포츠 팀들을 선택하는 것을 가능하게 할 수 있다. 일부 실시예들에 대해, 이러한 선택은 현재 디스플레이된 게임에서 플레이중인 팀들(또는 선수들)에 기초할 수 있다. 선택은 콘텐츠 스트림의 생성을 위해 스마트 TV 세트로 전송될 수 있다. 대안적으로, 모바일 애플리케이션은 디바이스 세팅들 및 사용자 선호도들로부터 로컬 콘텍스트를 결정하고 결정된 성향을 스마트 TV로 전송할 수 있다.
스마트 TV는 콘텐츠에 관한 스트리밍 정보, 예를 들어, 스크린상의 타겟들의 위치 정보 및 사용자 선호도들을 가질 수 있다. 일 실시예에 대해, 스마트 TV는 사용자 관심 및 콘텍스트에 기초하여 메인 비디오 스트림으로부터 하나 이상의 (후보) 관심 지역들을 추출한다. 스마트 TV는 위치 정보를 사용하여 적절한 관심 지역들을 크로핑할 수 있다. 또한, 콘텐츠 선택을 위해 콘텍스트 정보가 적용될 수 있다. 예를 들어, 사용자는 특정 도시에 기반을 둘 수 있거나 그 도시의 스포츠 팀에 대한 선호도를 나타낼 수 있다. 스마트 TV는 그 특정 스포츠 팀에 있는 주요 선수(leading player) 주위의 관심 지역으로 프레임을 자동으로 크로핑할 수 있고, 대안적으로, 사용자는 상이한 특정된 선수를 팔로우하는 줌된 지역을 팔로우하도록 선택할 수 있다.
스마트 TV는 비디오 콘텐츠, 예를 들어, 선수의 속도 또는 빙상(또는 필드 또는 코트) 상의 사건들 기초하여 선수 사이에서 스위칭할 수 있다. 오리지널 소스에 대한 디렉터는 타겟 선수들에 대한 선호도 순서를 세팅할 수 있다. 스마트 TV는 예를 들어, AVC 인코더로 관심 지역 스트림을 인코딩하고, 스트림을 사용자 디바이스에 송신할 수 있다.
도 9는 맞춤형 비디오 콘텐츠(1301)를 디스플레이하는 사용자 디바이스(102)의 정면도이며, 이는 도 13 및 도 14의 설명들에서 보다 상세히 설명될 것이다. 일반적으로, 관심 지역은 스마트 TV에 의해 선택되고 연결된 디바이스 상에서 디스플레이될 수 있다. 사용자 디바이스(102)는 스트림을 수신하고 도 9에 도시된 바와 같이 스크린 상에서 콘텐츠를 렌더링할 수 있다. 트레이싱된 타겟의 줌된 뷰는 동기화되고 연결된 태블릿 또는 디바이스로 스트리밍될 수 있다. 결과적으로, 사용자는 사용자 디바이스를 사용하여 게임을 상세히 팔로우할 수 있는 반면, TV 프리젠테이션은 두 팀들의 전체 전술을 보여줄 수 있다. 일부 실시예들에 대해, 사용자는 게임의 프리젠테이션 동안 선호도들을 스위칭할 수 있을 수 있다. 예를 들어, 이벤트 또는 플레이는 상이한 시점들로부터 재생될 수 있다. 일 실시예에 대해, 모바일 애플리케이션 내에서, 뷰어는 메인 비디오 스트림으로부터 트레이싱할 선수를 선택한다.
도 10은 뷰어가 관심을 가질 수 있는 선수 통계와 함께 선수 카드 비디오 스트림(1308)을 디스플레이하는 사용자 디바이스(102)의 정면도이다. 일부 실시예들에 대해, 사용자는 사용자 디바이스 애플리케이션 내에서 선수를 선택하고, 줌된 라이브 비디오 보다는, 부가적인 정보(이를테면, 선수의 카드 또는 통계)가 사용자 디바이스 애플리케이션에 의해 디스플레이된다. 도 10은 그러한 하나의 실시예를 도시한다. 이 예에 대해, 선수의 사진이 그의 이름 및 경력 하이라이트들 또는 다른 통계와 함께 디스플레이될 수 있다. 선수가 팔로우되도록 선택되었지만 선수가 빙상(또는 필드 또는 코트) 상에 또는 이용 가능한 콘텐츠 스트림에 있지 않은 경우, 선수의 카드가 디스플레이될 수 있다. 맞춤형 콘텐츠 스트림은 1차 비디오 스트림 내에 매립된 외부 콘텐츠 스트림 참조, 이를테면, 웹사이트를 나타내는 URL을 포함할 수 있다. 또한, 스마트 TV는 추천 엔진이 사용자 콘텍스트 또는 UI 선택에 가장 근접한 매칭으로서 제안하는 다른 콘텐츠에 대한 부가적인 정보, 이를테면, 게임 통계를 제공할 수 있다.
맞춤형 비디오 프리젠테이션 관리
본원에서 설명된 시스템들 및 방법들은 스마트 TV에 연결된 주변 사용자 디바이스와 상호작용하는 스마트 TV에 대한 콘텐츠 관리 방법을 제공한다. 다수의 실시예에 대해, 스마트 TV 또는 스마트 TV 비디오 허브는 콘텐츠 프리젠테이션의 제어 포인트이다. 콘텐츠는 TV에 의해 관리될 수 있고 콘텐츠뿐만 아니라 사용자 선호도에 기초하여 주변 디바이스들 사이에서 배포될 수 있다. 사용자 선호도 및 콘텍스트는 자동으로 매핑될 수 있으며, 이는 시스템이 적절한 콘텐츠 스트림들을 생성하는 것을 가능하게 하고 사용자가 관련 콘텐츠를 선택하는 것을 돕는다. 콘텐츠는, TV 프리젠테이션을 단지 복제하는 대신, 상세한 정보와 함께 사용자 경험을 개선하기 위해 연결된 사용자 디바이스로 포워딩될 수 있다. 이러한 시스템들을 통해, 사용자들은 TV 상에서의 메인 프리젠테이션 및 부가적인 뷰들, 줌된(zoomed) 콘텐츠 및 부가적인 정보를 갖는 풍부한 멀티-디바이스 프리젠테이션을 수신할 수 있다.
방법의 일 실시예는 사용자 콘텍스트 및 청중 선호도들에 기초하여 복수의 연결된 디바이스들에 대한 이용 가능한 콘텐츠 스트림들의 선택을 맞춤화한다. 콘텐츠 제작자들은 콘텐츠에 여분의 스트림들을 추가하여서, 콘텐츠 합성물이 어쩌면, MPEG DASH 프로토콜을 사용하여 스마트 TV 및 미디어 허브 수신기들로 스트리밍되는 시청각 콘텐츠 및 메타데이터를 포함하게 될 수 있다. 적용된 프로토콜은 센서 신호들과 함께 다수의 콘텐츠 스트림들 및 메타데이터를 전달할 수 있다. 시청각 콘텐츠 및 레코딩 환경에 관한 콘텍스트 정보는 부가적인 콘텐츠 또는 메타데이터로서 포함될 수 있다.
사용자 디바이스들은 사용자 콘텍스트 및 정보를 수집하여서, 스마트 TV가 콘텐츠에 대한 사용자 선호도들을 결정할 수 있고 로컬 콘텍스트, 센서 신호들, 디바이스 능력들 및 사용자 정보를 스마트 TV와 통신하는 애플리케이션을 가질 수 있다. 스마트 TV는 그 후 사용자의 콘텍스트를 결정하고 수신된 정보에 기초하여 사용자 프로파일을 생성할 수 있다. 이러한 사용자 프로파일들은 콘텐츠 추출 및 선택을 위해 사용될 수 있다. 자동 추천 엔진은 스마트 TV 콘텐츠 구성 및 추출 툴들을 제어하여서, 디스플레이된 콘텐츠 스트림들이 청중의 선호도들과 매칭하게 할 수 있다. 스마트 TV는 콘텐츠를 수신하고 콘텐츠의 상이한 시점들을 사용자의 디바이스로 송신한다. 스마트 TV는 또한 콘텐츠 및 사용자 콘텍스트에 기초하여 연결된 디바이스들에 대한 콘텐츠를 맞춤화할 수 있다. 스마트 TV 시스템들은 옵션들의 수를 제한하여 소비자들이 압도(overwhelmed)되는 것을 방지하고 소비자가 의미있는 비디오 스트림 프레젠테이션들을 수신하는 것을 가능하게 할 수 있다. 스마트 TV 또는 미디어 허브는 넓은 시야 및 고해상도(4K 또는 8K)를 갖는 비디오와 같이 디스플레이를 그룹핑하기에 적절한 콘텐츠를 수신하는 반면, 개인들은 사용자 정의 개인화된 뷰들을 원한다.
따라서, 스마트 TV는 수신된 시청각 콘텐츠들로부터 최종 사용자와 관련된 시점들을 추출하기 위해 사용자 선호도들을 적용하는 추천 엔진을 사용함으로써, 콘텍스트 데이터를 사용하여 추출된 멀티-디바이스 콘텐츠를 관리할 수 있다. 콘텐츠 선택들은 연결된 모바일 폰들로 송신될 수 있으며, 이는 사용자에게 이용 가능한 선택된 콘텐츠 스트림들을 표시하는 콘텐츠로 UI 그리드를 채울 수 있다. 사용자는 사용자 인터페이스를 이용하여, 스트림으로부터 추출된 이용 가능한 콘텐츠를 선택할 수 있을 수 있다. 사용자는 사용자 디바이스 또는 스마트 TV 또는 이들의 일부 조합 상에서 콘텐츠를 뷰잉할지 여부를 결정할 수 있다. 스마트 TV는 적절한 포맷 및 해상도로 선택된 콘텐츠를 추출하고 콘텐츠 스트림을 올바른 디바이스들로 포워딩할 수 있다. 선택된 정보는 적절한 해상도 및 포맷으로 선택된 콘텐츠를 추출하고 콘텐츠 스트림을 표시된 디바이스 또는 디바이스들에 포워딩하기 위해 스마트 TV에 송신될 수 있다.
사용자는 멀티-디바이스 환경에서 프레젠테이션이 어떻게 배포될지를 자유롭게 선택할 수 있다. 스마트 TV 디스플레이는 메인 콘텐츠를 위해 사용될 수 있는 반면, 사용자 디바이스들은 추출된 맞춤형 콘텐츠를 뷰잉하는데 사용될 수 있거나, 그 반대의 경우도 마찬가지다. 사용자 선호도는 로컬 콘텍스트 데이터 및 사용자 정보를 사용하여 자동으로 결정될 수 있다. 이 데이터는 스마트 TV 콘텐츠 추출을 제어(또는 구동)하는 추천 엔진에 의해 적용될 수 있다. 이러한 방식으로, 추천 엔진은 디스플레이 디바이스로부터 수신된 로컬 콘텍스트 및 사용자 선호도들과 관련된 정보에 기초하여 관심 지역을 추천하거나 자율적으로 선택할 수 있다. 멀티-디바이스 프리젠테이션을 생성하기 위한 상이한 옵션들의 수가 자동으로 제한되어 사용자 인터페이스 및 콘텐츠 선택을 다루기 쉽게 할 수 있다.
사용자들은 사용자 선호도들 및 선택들에 기초하여 부가적인 콘텐츠를 제어할 수 있다. 사용자는 뷰 상의 소정의 타겟을 팔로우하기를 원할 수 있다. 이 시나리오는 줌된 뷰가 태블릿으로 전달되는 경우 발생할 수 있다. TV 상의 실제 프리젠테이션은 상이한 선택들에 의해 방해받지 않는다. 다른 사용자들은 1차 디스플레이 상에서 공통의 공유 경험을 뷰잉하면서, 그의 사용자 디바이스 상에서 상이한 개인화된 스트림들을 수신할 수 있다. 스마트 TV와 사용자 디바이스 간의 직접 Wi-Fi 또는 Bluetooth 연결들은 상호작용을 위한 동기화 및 낮은 대기 시간을 가능하게 한다.
예를 들어, 콘텐츠는 카메라 셋업에 관한 위치 정보 및 시청각 이미지 상의 식별된 타겟들에 관한 정보를 포함할 수 있다. 다른 예에 대해, 아이스 하키 선수는 TV 프로그램 제작에 연결될 수 있는 클라우드 서비스에 연속적 실내 위치 추적을 제공하는 디바이스를 착용할 수 있다. 콘텐츠 스트림 번들은 뷰 내에서 하나 이상의 관심 지역들을 어떻게 선택할지 그리고 콘텐츠에 대한 추가 정보에 어떻게 액세스할지에 관한 명령들을 가질 수 있다. 이 정보는 스트리밍 프로토콜에 포함될 수 있다. 콘텍스트 정보 및 부가적인 콘텐츠 큐들이 추가될 수 있어서, 스마트 TV가 멀티-디바이스 환경에서 연결된 디바이스들에 대한 부가적인 콘텐츠 스트림들을 재구성 및 추출할 수 있게 할 수 있다.
도 11은 멀티-디바이스 프리젠테이션을 위한 콘텐츠를 생성하는 방법(1100)의 흐름도이다. 방법(1100)을 사용하여, 스마트 TV 또는 스마트 TV 비디오 허브는 콘텐츠 소유자로부터 스트림을 수신하고 멀티-디바이스 경험을 생성할 수 있다. 박스(1101)에서 시작해서, AV 콘텐츠는 스트리밍 서버에 의해 수신되고, 박스(1103)에서 생성된 여분의 콘텐츠 스트림(아마도, 도 4의 부가가치 콘텐츠 스트림들(402)과 유사함) 및 박스(1104)에서 제공된 센서 및 콘텍스트 데이터와 함께 박스(1102)에서 번들링된다. 여분의 콘텐츠 스트림들은 위에서 또한 설명된 바와 같이 비디오 콘텐츠 제작자에 의해 추가될 수 있고, 센서 및 콘텍스트 데이터는 위에서 설명된 바와 같이(즉, 캡처된 비디오 상의 타겟으로부터) 수집될 수 있다. 부가적인 콘텐츠 스트림들은 예를 들어, 스포츠 선수 통계, 배우의 전기 정보, 부가적인 카메라 각도들 및 시청자가 관심을 가질 수 있는 다른 아이템들을 포함할 수 있다. 스마트 TV 수신기 세트가 부가적인 콘텐츠 스트림을 추출하고 최종 사용자들에 대한 콘텐츠를 맞춤화하는 것을 가능하게 하기 위해 부가적인 메타데이터 큐들이 시청각 스트림에 포함될 수 있다. 소스는 외부 센서 정보와 같은 콘텍스트 정보로 AV 콘텐츠를 강화할 수 있다. 또한, 부가 가치 콘텐츠가 포함된 부가적인 콘텐츠 스트림들이 존재할 수 있다.
번들링된 AV 콘텐츠는 그 후 박스(1105)에서 스트리밍되고 박스(1106)에서 스마트 TV 수신기 세트(예를 들어, 스마트 TV 세트 또는 스마트 TV 비디오 허브)에 의해 수신된다. 프리젠테이션을 위한 콘텐츠는 박스(1107)에서, 수신된 스트림으로부터 추출되어, 이를테면, 줌된 관심 지역을 추출하거나, 대안적인 언어의 자막들 또는 오디오를 제공하거나, 상이한 카메라 각도를 보여줌으로써 부가적인 멀티-디바이스 프리젠테이션을 형성한다. 스마트 TV에 의해 수신된 스트리밍 콘텐츠 번들은 하위 호환 가능할 수 있다. 종래의 브로드캐스트 TV 수신기는 메타데이터 스트림 없이 AV 콘텐츠를 처리할 수 있을 수 있다. 그러나 스마트 TV는 스트림으로부터 콘텍스트 정보를 추출하고 임의의 부가적인 콘텐츠를 번들링 해제하고 이를 적용하여 하나 이상의 연결된 디바이스들에 대해 맞춤형 멀티-디바이스 프레젠테이션을 구성할 수 있을 수 있다. 부가적인 스트림들의 수는 메타데이터, 스마트 TV 콘텐츠 추출 방법들 및 연결된 디바이스들의 수에 의존할 수 있다.
부가적으로, 비디오 스트림 데이터는 박스(1108)에서 추천 엔진에 전송된다. 추천 엔진은 콘텍스트 정보(나중에 박스(1111)와 관련하여 설명되는 바와 같이 AV 콘텐츠 제공자 및 또한, 사용자 둘 모두로부터 수신됨)를 프로세싱할 수 있다. 시청각 콘텐츠에 대한 사용자 선호도들을 결정하기 위해 사용자 콘텍스트 정보가 사용될 수 있다. 예를 들어, 언어 선택, 사용자 프로파일, 접촉 정보, 설치된 애플리케이션들 및 위치 데이터는 사용자의 선호도들을 결정하기 위해 사용될 수 있다. 따라서, 추천 엔진은 (AV 콘텐츠 생성기에 의해 전송된) 소정의 카메라 시야각들만을 사용할 수 있고, 박스(1107)에서 프리젠테이션 생성 엔진을 제어할 수 있다. 추천 엔진은 사용자 정보를 적용할 수 있는데, 이를테면, 접촉들과 상호작용하기 위해, 예를 들어, 콘텐츠와의 유사성들 또는 연결들을 결정하기 위해 접촉 정보 및 활동을; 예를 들어, 관심들 및 취미들을 결정하기 위해 모바일 애플리케이션을; 그리고 로컬 콘텍스트를 결정하기 위해 센서 정보를 적용할 수 있다. 추천 엔진은 소정의 카메라 각도들 또는 소정의 트레이싱된 객체들(이를테면, 소정의 스포츠 팀들의 선수들)로부터의 뷰잉 선호도들을 표시하는 사용자 정보에 기초하여 스트리밍 번들로부터 부가적인 미디어 스트림들을 추출하기 위한 이용 가능한 옵션들의 수를 제한할 수 있다. 또한, 추천 엔진은 콘텐츠 피처들 및 콘텍스트를 결정할 수 있고, 메타데이터는 콘텐츠 유형을 결정하는데 사용될 수 있다. 일 실시예에 대해, 콘텐츠는 선택적인 관심 지역들을 매칭시키거나 부가적인 콘텐츠를 사용자 선호도(또는 성향들)과 결합하기 위해 지속적으로 분석될 수 있다. 일 실시예에 대해, 추천 엔진은 비디오 스트림 옵션 세트들의 추천들 및 그의 현재 및 미래의 맞춤을 위한 사용자 프로파일을 생성하고 스트림에서 발견된 피처들에 대한 가장 가능성 있는 시점을 결정한다.
그 후, 부가적인 콘텐츠는 박스(1109)에서, 연결된 디바이스들로 스트리밍될 수 있다. 그 후, 연결된 디바이스들은 그 각각의 사용자들을 위해 박스들(1110a, 1110b 및 1110c)에서 부가적인 프리젠테이션을 디스플레이한다. 연결된 사용자 디바이스들은 애플리케이션을 실행하여 스마트 TV에 연결하고 디바이스에서 이용 가능한 콘텍스트 정보, 센서 데이터 및 사용자 세부사항들 또는 사용자 프로파일들을 수집할 수 있다. 이 정보는 박스(1111)에서 스마트 TV 콘텍스트 추천 엔진에 통신될 수 있다. 이러한 방식으로, 스마트 TV 시스템은 강화된 콘텐츠 스트림을 수신하고, 사용자 디바이스 및 콘텐츠 스트림 둘 다로부터의 콘텍스트 정보를 사용하여 콘텐츠 추천 엔진으로 여러 연결된 디바이스들에 대한 멀티-디바이스 경험을 생성할 수 있다.
도 11을 참조하면, 사용자 디바이스와 스마트 TV 사이에 연결이 설정되는 경우, 사용자 디바이스 상의 모바일 애플리케이션은 스마트 TV가 부가적인 스트림들을 프로세싱하고 부가적인 스트림들의 수를 제한하는 것을 가능하게 하기 위해 추천 엔진을 동작시키도록 사용자 정보, 로컬 사용자 콘텍스트 및 센서 데이터를 수집할 수 있다. 연결된 사용자 디바이스로부터의 사용자 제어 신호들 및 로컬 콘텍스트 정보는 동일한 송신 채널을 통해 스마트 TV에 송신될 수 있다.
콘텐츠 소유자 및 브로드캐스터는 최종 사용자가 멀티-디바이스 프리젠테이션 능력을 갖는다는 옵션을 고려할 수 있다. 이에 따라, 콘텐츠 생성기는 연결된 디바이스들에 대한 부가적인 프리젠테이션들을 구성하기 위해 스마트 TV 수신기 세트가 사용할 수 있는 콘텍스트 큐들, 센서 데이터 및 명령들을 추가할 수 있다. 메타데이터는 사용자가 관심을 가질 수 있는 세부사항들을 포함하는 뷰 상의 영역 또는 사용자가 트레이싱을 선호할 수 있는 객체에 대한 좌표들의 스트림을 포함할 수 있다. 대안적으로, 메타데이터는 부가적인 디바이스에 대해 포워딩될 수 있는 부가적인 오디오 또는 비디오 스트림에 대한 큐 또는 링크를 포함할 수 있다. 콘텐츠 생성기들은 멀티-디바이스 프레젠테이션들을 구축하기 위한 다양한 툴들 및 지침들을 가질 수 있다. 또한, 스마트 TV는 텍스트 콘텐츠 및 그래픽의 정보 흐름을 분할하고 TV 디스플레이와 연결된 디바이스들 사이에서 비디오 스트림들을 지원할 수 있다.
사용자 디바이스들로부터의 콘텍스트 데이터 및 사용자 정보는 추천 엔진(도 11에 도시됨)에 의해 수집될 수 있다. 이 정보를 사용하여, 추천 엔진은 콘텐츠에 대한 사용자 선호도들을 결정할 수 있다. 예를 들어, 콘텐츠의 사용자 관심 및 과거 행동은 멀티-디바이스 프리젠테이션을 위해 어떤 유형의 콘텐츠가 추출될지를 결정할 수 있다. 프리젠테이션 생성은 멀티-디바이스 환경에 대한 스트림 옵션들의 세트를 결정하고 모바일 애플리케이션 사용자 인터페이스에 대한 프리뷰(preview) 스트림들을 생성한다. 모바일 애플리케이션은 스트림 옵션들의 UI 그리드를 디스플레이한다. 사용자는 애플리케이션 UI을 사용하여 부가적인 콘텐츠를 선택할 수 있다. 선택이 이루어지면, 스마트 TV는 멀티-디바이스 환경에 대한 대응하는 스트림을 생성할 수 있다. TV에 연결된(이는 무선 링크들로 이루어질 수 있음) 스마트 폰들 또는 태블릿들이 존재하는 만큼 다수의 상이한 스트림들이 존재할 수 있다 사용자는 스마트 TV 스크린으로부터 메인 AV 프리젠테이션을 뷰잉하고 연결된 스마트 폰 또는 태블릿으로부터 부가적인 콘텐츠 스트림을 뷰잉할 수 있다.
도 12는 태블릿 또는 스마트 폰, 또는 일부 다른 개인 뷰잉 디바이스일 수 있는 사용자 디바이스(102)에 대한 비디오 콘텐츠를 맞춤화하기 위한 메시지 시퀀스도(1200)이다. 메시지 시퀀스도(1200)는 도 11의 박스(1108)에 대해 위에서 설명된 프로세스를 수행할 수 있는 추천 엔진(1205)을 사용한다. 도 6 및 도 7과 유사하게, 시청각 소스 스트림 및 메타데이터는 다수의 디바이스들 상에서의 디스플레이를 위해 콘텐츠 생성기로부터 비디오 서버에 의해 수신된다. 브로드캐스트 및 스트리밍 서비스(601)는 주문형 비디오 데이터베이스와 같은 라이브 소스 또는 저장된 위치로부터 유래하는, 소비자 스마트 TV 에코시스템(1216)에 전송될 콘텐츠를 가질 수 있다. 콘텐츠 생성기(603)는 시청각 콘텐츠(604)를, 브로드캐스팅되거나 스트리밍된 콘텐츠 내의 메타데이터(605)로서의 (관련) 콘텍스트 정보와 결합할 수 있다. 이들은 비디오 서버(606)에 전송된다. MPD(media presentation description) 포맷의 콘텐츠 매니페스트(607)가 스마트 TV 수신기(608)에 전송될 수 있다. 이 정보에 기초하여, 사용자(104)는 요청(609)을 갖는 TV 콘텐츠 스트림을 선택할 수 있을 수 있다. 스마트 TV(608)는 콘텐츠 및 메타데이터 스트림들에 대한 요청(610)을 서버(606)에 전송할 수 있거나 브로드캐스트로부터 스트림을 선택할 수 있다. 콘텐츠 스트림(611) 및 메타데이터 스트림(612)은 스마트 TV(608)로 전송되고, 콘텐츠가 사용자(104)에게 제시된다(613). AV 스트림은 스마트 TV(608)의 디스플레이 상에 즉시 디스플레이(또는 제시)될 수 있다. 사용자(104)는 디바이스(102) 상에서 뷰잉하기 위해 더 많은 콘텐츠, 예를 들어, 프리젠테이션할 더 많은 정보 및 부가적인 시점을 선택(614)하기를 바랄 수 있고, 이에 따라 스마트 TV(608)에 연결(615)하도록 디바이스(102)에게 지시한다. 디바이스(102) 및 스마트 TV(608)는 블루투스, WiFi, 또는 다른 이용 가능한 연결을 사용하여 연결을 설정한다(616).
스마트 TV(608)는 콘텐츠 콘텍스트(1201)를 추천 엔진(1215)에 전송한다. 추천 엔진(1215)은 스마트 TV(608) 내에 위치될 수 있고, 스마트 TV(608)에 의해 제공되는 콘텐츠 스트림 및 콘텍스트 정보(1201) 및 사용자 디바이스(102)에 의해 제공되는 사용자 정보(1202)로부터 메타데이터를 추출할 수 있다. 또한, 스마트 TV(608)는 시간, 시간대, 언어 선택 및 위치 정보 이를테면, 도시와 같은 그 자신의 로컬 콘텍스트 정보를 사용할 수 있다. 스마트 TV의 언어 선택 또는 스마트 TV에 의해 수신된 시청각 신호는 대안적인 언어 오디오 트랙들을 제공하는 것과 같은 부가적인 콘텐츠 스트림들을 선택 및 생성하는데 사용될 수 있다. 콘텍스트 큐들, 콘텐츠 분석, 메타데이터 내의 명령들 및 사용자 선호도들을 적용함으로써(프로세스(1203)), 추천 엔진(1215)은 멀티-디바이스 환경에서 사용자 선호도들 또는 성향들에 대해 맞춤화된 프리젠테이션 스트림의 생성을 제어한다.
추천 엔진(1215)은 콘텍스트 추출 명령(1204)을 스마트 TV(608)로 전송하고, 이 스마트 TV는 그 후 부가적인 프리젠테이션 스트림(1205)을 구성한다. 그 후, 스마트 TV(608)는 부가적인 콘텐츠를 선택(1206)하기 위해 신호를 디바이스(102)로 전송하며, 이 디바이스는 UI 프로그램의 부분으로서 사용자(104)에게 이를 제시한다(1207). 사용자(104)는 특정 콘텐츠를 선택(1208)하고, 선택을 디바이스(102)에 통신하며(1209), 이 디바이스는 선택을 스마트 TV(608)로 전송한다(1210). 예를 들어, 애플리케이션은 각각의 이용 가능한 스트림의 대강의 표현을 렌더링하거나 그의 설명을 디스플레이할 수 있다. 사용자는 부가적인 콘텐츠를 선택할 수 있고 연결된 디바이스는 디스플레이(또는 표현)를 위해 스마트 TV로부터 스트림을 요청할 수 있다. 선택된 프리젠테이션(메인 프리젠테이션)은 사용자(104)에 의한 뷰잉을 위해 스마트 TV(608) 상에 디스플레이(1212)되고, 부가적인 콘텐츠 스트림이 구성되어(1211), 디바이스(102)에 전송(1213)되며, 이 디바이스(102)는 사용자(104)에 의한 부가적인 뷰잉을 위해 이를 디스플레이한다(1214). 이러한 방식으로, 사용자(104)는 스마트 TV(608)의 스크린 상에서 메인 프리젠테이션을 그리고 디바이스(102) 상에서 맞춤형 부가적인 스트림을 동시에 뷰잉할 수 있다.
본원에서 설명된 시스템들 및 방법들은 멀티-디바이스 환경에서 스포츠 이벤트의 라이브 브로드캐스트를 배포하는데 사용될 수 있다. 브로드캐스터(또는 콘텐츠 제공자)는 HEVC로 인코딩된 고화질 8k 해상도 스트림을 제공할 수 있다. 스마트 TV 수신기 세트는 프리젠테이션에 관한 부가적인 콘텍스트 세부사항들을 설명하는 메타데이터와 함께 스트림을 캡처할 수 있다. 시청각 콘텐츠 외에도, 스트림은 캡처된 타겟들에 관한 메타데이터 및 센서 정보를 포함할 수 있다. 예를 들어, 각각의 선수는 미디어 캡처를 위한 데이터를 수집하는 실내 위치 추적 디바이스를 가질 수 있다. 추적 데이터는 카메라 위치 및 배향과 함께 TV 브로드캐스트 스트림에서 전송될 수 있다. 사용자 또는 애플리케이션은 뷰잉 스크린 상에서 특정 타겟/객체를 트레이싱하도록 선택할 수 있다. 사용자는 스마트 TV 제조자에 의해 제공될 수 있는 전용 모바일 애플리케이션을 사용하여 태블릿 또는 스마트 폰을 스마트 TV에 연결할 수 있다. 그리고, 위치 정보를 사용하는 추천 엔진의 예로서, 사용자 콘텍스트 데이터 사용자가 Chicago Blackhawks 팬임을 표시할 수 있고, 따라서, 관심 지역에서 줌되도록 메인 콘텐츠로부터의 추출을 위해 Chicago 선수들이 추천될 수 있다. 모바일 사용자가 선수 통계를 팔로우하거나 게임들에 대한 뉴스를 읽거나 게임 통계를 팔로우한 경우, 추천 엔진은 빙상(또는 코트 또는 필드) 상에서 어떠한 선수나 활동도 없는 경우 게임 통계 및 선수 카드들에 관한 여분의 콘텐츠를 추가할 수 있다.
도 13은 메인 TV 비디오 프레임을 크로핑하기 위한 다수의 옵션들을 보여주는 예시적인 사용자 인터페이스 스크린 샷이다. 도 13은 각각이 가능한 맞춤형 비디오 콘텐츠에 대한 줌 지역들을 보여주는 일련의 제안된 크롭 박스와 함께, 도 8의 이미지(802)를 디스플레이하는 메인 TV 비디오 스트림을 도시한다. 맞춤형 비디오 콘텐츠 스트림들에 대한 예시된 가능성들은 1301(도 9에서 이전에 도시됨) 및 1302-1307이다. 콘텐츠 추출 툴은 메인 스트림으로부터 관심 지역들을 추출하고 모바일 애플리케이션 사용자 인터페이스에 대한 프리뷰 합성물을 생성할 수 있다. 일부 실시예들에서, 관심 지역은 연결된 디바이스 상에서 디스플레이되는 스마트 TV 프레임에 의해 선택될 수 있다. 다른 실시예들에서, 스마트 TV는 이용 가능한 스트림들의 프리뷰를 생성하고 비디오 스트림들을, 이용 가능한 스트림 옵션들을 디스플레이하기 위해 모바일 애플리케이션에 의해 사용되는 단일 스트림으로 결합한다. 선택적으로, 센서 정보(위치, 모션 또는 온도)와 같은 콘텍스트 정보가 스트림에 포함될 수 있으며, 이는 정보로 UI을 채우기 위해 모바일 애플리케이션에 의해 사용될 수 있다. 일부 실시예들에 대해, 관심 지역은 사용자 선호도(또는 성향) 데이터를 사용하는 추천 엔진에 의해 선택되고, 선택적으로, 사용자는 프리젠테이션 동안 선호도들을 스위칭할 수 있다. 예를 들어, 플레이 또는 이벤트는 상이한 카메라 각도로부터 재생될 수 있다.
개별 추출된 스트림들은 연결된 사용자 디바이스들에 송신되는 단일 합성물로 결합될 수 있다. 프리뷰 합성물의 인코딩은 조악한 업데이트 레이트를 갖는 비교적 낮은 비트 레이트를 사용할 수 있다. 모바일 애플리케이션은, 디스플레이되는 경우 선택의 모습의 추정(또는 썸네일)을 사용자에게 제공할 수 있다. 프리뷰 합성물은 이용 가능한 스트림에 관한 메타데이터를 포함할 수 있다. 일부 실시예들에 대해, 더 높은 품질의 비디오 스트림들은 더 높은 해상도로 인코딩된 비디오 스트림들일 수 있다. 또한, 더 높은 품질의 비디오 스트림들은 더 높은 비트 레이트로 인코딩되거나 더 낮은 양자화 파라미터(QP)를 갖는 비디오 스트림들일 수 있다. 일부 실시예들에 대해, 프리뷰 합성물은 더 낮은 비트 레이트 또는 더 낮은 해상도로 인코딩되거나 더 높은 양자화 파라미터를 가질 수 있는 반면, 사용자가 디스플레이되도록 비디오 스트림을 선택한 경우, 그 비디오 스트림은 더 높은 비트 레이트, 더 높은 해상도 또는 더 낮은 양자화 파라미터에 대응하는 더 높은 품질로 전송될 수 있다. 관심 지역은 메인 뷰로부터 추출될 수 있고 캡처된 지역들은 연결된 디바이스들로 스트리밍될 수 있다. 모바일 애플리케이션은 캡슐화된 스트림 및 해당 메타데이터로 UI을 채울 수 있다. 부가적인 스트림들이 합성물에 포함될 수 있다.
도 14는 사용자 디바이스(102) 상의 디스플레이를 위한 다수의 스트림 옵션들(1301-1308)을 보여주는 예시적인 사용자 인터페이스(1400)의 표현(1400)이다. 즉, 맞춤형 비디오 스트림들에 대한 다수의 옵션들의 표시들이 디스플레이된다. 도 14(및 또한, 도 9)에 예시된 바와 같이, 맞춤형 비디오 스트림(1301)이 디스플레이를 위해 선택된다. 이 예에 대해, 7개의 지역들은 도 9의 맞춤형 비디오 콘텐츠 스트림(1301 내지 1307)에, 하나의 여분의 스트림인 도 10의 선수 카드 비디오 스트림(1308)을 더한 것에 대응한다. 선수 카드 비디오 스트림(1308)은 외부 콘텐츠 스트림일 수 있고, 실제로, 상이한 소스로부터 유래할 수 있지만 참조(이를테면, 웹 사이트를 나타내는 URL)에 의해 포함된다. 즉, 외부 콘텐츠 스트림(1308)은 1차 비디오의 참조, 즉 아마도 웹 사이트 콘텐츠를 나타내는 URL이다. 예시된 바와 같이, 지역 또는 스트림은 또한 그 특정 스트림에서 이용 가능한 선수 저지 번호들의 라벨을 포함할 수 있다. 개인용 뷰잉 디바이스의 사용자는 합성물 뷰에서 대응하는 영역을 태핑함으로써 부가적인 콘텐츠를 선택할 수 있다. UI는 프레임 위치들을 메모리에 저장하고 사용자 선택을 대응하는 콘텐츠 스트림에 매핑할 수 있다. 일부 실시예들에 대해, 사용자가 특정 스트림을 선택하는 경우, 모바일 애플리케이션은 스마트 TV 시스템으로부터 대응하는 스트림을 요청하거나 또는 사용자는 단지, 스마트 TV에 의해 선택된 디폴트 콘텐츠 스트림(사용자 선호도들 또는 성향들에 기초하여 선택될 수 있음)을 대신 사용할 수 있다. 일부 실시예들에 대해, 사용자 디바이스 애플리케이션은 외부 콘텐츠 스트림들(예를 들어, 선수 카드 비디오 스트림(1308))을 리트리브하기 위해 스마트 TV 스트림에 제공된 독립적인 인터넷 링크들을 사용할 수 있다. 일부 실시예들에 대해, 사용자 디바이스 애플리케이션은 프리젠테이션과 관련된 정보를 사용하여 외부 제공자들(이를테면, 트위터, 페이스 북 또는 구글)에 액세스할 수 있다.
도 15는 디스플레이 디바이스를 표시하기 위한 부가적인 기능성을 갖는 다중 스트림 옵션들을 보여주는 예시적인 사용자 인터페이스의 표현(1500)이다. 도 15는 소스 및 디스플레이를 선택하기 위한 예시적인 사용자 액션을 도시한다. 도 15에 예시된 바와 같이, 사용자는 맞춤형 콘텐츠가 도시된 디스플레이를 선택할 수 있다. 다수의 스트림 옵션들(1301-1308)이 두 개의 디바이스 디스플레이 옵션들 즉, 개인 사용자 디바이스(1503a)(이전에 언급된 사용자 디바이스(102)와 유사할 수 있음) 및 스마트 TV(1503b)(이전에 언급된 스마트 TV(101)와 유사할 수 있음)와 함께 디스플레이를 위해 이용 가능하다 표시된 바와 같이, 터치 스크린 상의 탭 위치를 표현하는 사용자 선택(1501)은 경로(1502)에서 사용자 디바이스(1503a)를 표현하는 아이콘으로 드래그되는 스트림(1306)을 선택중이다. 사용자 디바이스(1503a)를 표현하는 아이콘(또는 아마도 대신, 스마트 TV(1503b)의 메인 디스플레이를 표현하는 아이콘) 위로 비디오 스트림(1306)의 프리뷰 프레임을 드래그함으로써, 사용자는 멀티-디바이스 환경을 제어할 수 있다. 예를 들어, 사용자는 원하는 스크린 아이콘의 위로 대응하는 프레임을 드래그함으로써 사용자 디바이스 스크린 상에 특정 선수를 디스플레이하도록 선택할 수 있다. 일부 실시예들은 사용자 디바이스 상에 사용자 정의 맞춤형 비디오들의 리스트들을 디스플레이할 수 있다. 모바일 애플리케이션 사용자 인터페이스 내에서, 사용자는 추적(또는 트레이싱)할 선수를 선택할 수 있다.
사용자 선택(스트림 프리뷰 프레임을 태핑하고 드래그함으로써 이루어질 수 있음)은 제어 정보로서 스마트 TV에 전송될 수 있다. 스마트 TV는 정보를 사용하고 대응하는 콘텐츠 스트림의 고품질 버전을 생성할 수 있다. 대강의 인코딩을 한 프리뷰 대신, 스마트 TV가 더 높은 비트 레이트 스트림을 생성할 수 있다. 새로운 콘텐츠는 Bluetooth 또는 Wi-Fi를 통해 선택된 디스플레이로 스트리밍될 수 있다. 스마트 TV 및 추천 엔진은 콘텐츠 추출 선택을 계속 업데이트할 수 있다. (도 15에 도시된 바와 같은) 선택 프리뷰는 대응하는 UI을 지속적으로 업데이트하기 위해 사용자 디바이스에 전송될 수 있다. 사용자가 콘텐츠를 변경하기로 결정하는 경우, UI는 콘텐츠 옵션들을 디스플레이할 수 있다. 일부 실시예들에 대해, 사용자는 관심 지역을 더블 태핑하여 사용자 디바이스 상에서 그 지역을 뷰잉하거나 그것을 원하는 타겟으로 드래그할 수 있다. 선택적으로, 사용자는 스마트 TV를 위한 줌된 스트림과 사용자 디바이스를 위한 다른 스트림을 선택할 수 있다. 일부 실시예들에서, 스마트 TV의 디스플레이를 모바일 애플리케이션에 대한 메인 뷰 및 사용자 인터페이스로 되돌리기 위해 홈 버튼이 모바일 애플리케이션 상에서 이용 가능할 수 있다. 또한, 사용자는 메인 뷰에 대한 선호도들(또는 성향)을 변경할 수 있다.
예시적인 네트워크 아키텍처
무선 송신/수신 유닛(WTRU)은 본원에서 설명된 실시예들에서, 태블릿 또는 사용자 디바이스 예를 들어, (도 1 또는 도 6의) 사용자 디바이스(102 또는 210)로서 사용될 수 있다. 도 16은 예시적인 WTRU(9102)를 도시한다. WTRU(9102)는 프로세서(9118), 트랜시버(9120), 송신/수신 엘리먼트(9122), 스피커/마이크로폰(9124), 키패드(9126), 디스플레이/터치패드(9128), 비-제거 가능 메모리(9130), 제거 가능 메모리(9132), 전원(9134), GPS(global positioning system) 칩셋(9136) 및 다른 주변장치(9138)를 포함할 수 있다. 트랜시버(9120)는 통신 인터페이스(9119)에서 디코더 로직의 컴포넌트로서 구현될 수 있다. 예를 들어, 트랜시버(9120) 및 통신 인터페이스(9119) 내의 디코더 로직은 단일 LTE 또는 LTE-A 칩 상에서 구현될 수 있다. 디코더 로직은 비-일시적인 컴퓨터-판독 가능 매체에 저장된 명령들을 수행하도록 동작하는 프로세서를 포함할 수 있다. 대안으로서 또는 부가적으로, 디코더 로직은 사용자 정의 및/또는 프로그래밍 가능 디지털 로직 회로를 사용하여 구현될 수 있다.
WTRU(9102)는 실시예에 부합하게 유지되면서 전술한 엘리먼트들 중의 임의의 서브-조합을 포함할 수 있다는 것이 인지될 것이다. 프로세서(9118)는 범용 프로세서, 특수 목적 프로세서, 통상의 프로세서, DSP(digital signal processor), 복수의 마이크로프로세서, DSP 코어와 연관된 하나 이상의 마이크로프로세서들, 제어기, 마이크로제어기, ASIC(Application Specific Integrated Circuit)들, FPGA(Field Programmable Gate Array) 회로들, 임의의 다른 유형의 IC(integrated circuit), 상태 머신 등일 수 있다. 프로세서(9118)는 신호 코딩, 데이터 프로세싱, 전력 제어, 입력/출력 프로세싱, 및/또는 WTRU(9102)가 무선 환경에서 동작하는 것을 가능하게 하는 임의의 다른 기능성을 수행할 수 있다. 프로세서(9118)는 트랜시버(9120)에 커플링될 수 있고, 이 트랜시버(9120)는 송신/수신 엘리먼트(9122)에 커플링될 수 있다. 도 16은 프로세서(9118) 및 트랜시버(9120)를 별개의 컴포넌트들로서 도시하지만, 프로세서(9118) 및 트랜시버(9120)가 전자 패키지 또는 칩에 함께 통합될 수 있다.
송신/수신 엘리먼트(9122)는 에어 인터페이스(9116)를 통해 기지국에 신호들을 송신하거나 이로부터 신호들을 수신하도록 구성될 수 있다. 예를 들어, 일부 실시예들에서, 송신/수신 엘리먼트(9122)는 RF 신호들을 송신 및/또는 수신하도록 구성된 안테나일 수 있다. 다른 실시예에서, 송신/수신 엘리먼트(9122)는 예들로서, IR, UV, 또는 가시광 신호를 송신 및/또는 수신하도록 구성된 이미터/검출기일 수 있다. 또 다른 실시예에서, 송신/수신 엘리먼트(9122)는 RF 및 광 신호들 둘 모두를 송신 및/또는 수신하도록 구성될 수 있다. 송신/수신 엘리먼트(9122)는 무선 신호들의 임의의 조합을 송신 및/또는 수신하도록 구성될 수 있다.
또한, 송신/수신 엘리먼트(9122)가 도 16에서는 단일 엘리먼트로서 도시되어 있지만, WTRU(9102)는 임의의 수의 송신/수신 엘리먼트(9122)를 포함할 수 있다. 보다 구체적으로, WTRU(9102)는 MIMO 기술을 이용할 수 있다. 따라서, 일부 실시예들에서, WTRU(9102)는 에어 인터페이스(9116)를 통해 무선 신호들을 송신 및 수신하기 위해 둘 이상의 송신/수신 엘리먼트들(9122)(예를 들어, 복수의 안테나들)을 포함할 수 있다. 트랜시버(9120)는 송신/수신 엘리먼트(9122)에 의해 송신될 신호들을 변조하고 송신/수신 엘리먼트(9122)에 의해 수신되는 신호들을 복조하도록 구성될 수 있다. 위에서 언급된 바와 같이, WTRU(9102)는 멀티-모드 능력들을 가질 수 있다. 따라서, 트랜시버(9120)는 예들로서, WTRU(9102)가 UTRA 및 IEEE 802.11과 같은 다수의 RAT들을 통해 통신하는 것을 가능하게 하기 위해 복수의 트랜시버들을 포함할 수 있다.
WTRU(9102)의 프로세서(9118)는 스피커/마이크로폰(9124), 키패드(9126) 및/또는 디스플레이/터치패드(9128)(예를 들어, LCD(liquid crystal display) 디스플레이 유닛 또는 OLED(organic light-emitting diode) 디스플레이 유닛)에 커플링될 수 있고, 이로부터 사용자 입력 데이터를 수신할 수 있다. 프로세서(9118)는 또한, 스피커/마이크로폰(9124), 키패드(9126) 및/또는 디스플레이/터치패드(9128)에 사용자 데이터를 출력할 수 있다. 또한, 프로세서(9118)는 비-제거 가능 메모리(9130) 및/또는 제거 가능 메모리(9132)와 같은 임의의 유형의 적합한 메모리로부터의 정보에 액세스하고 이에 데이터를 저장할 수 있다. 비-제거 가능 메모리(9130)는 RAM(random-access memory), ROM(read-only memory), 하드 디스크, 또는 임의의 다른 유형의 메모리 저장 디바이스를 포함할 수 있다. 제거 가능 메모리(9132)는 SIM(subscriber identity modUIe) 카드, 메모리 스틱, SD(secure digital) 메모리 카드 등을 포함할 수 있다. 비-제거 가능 메모리(9130) 및 제거 가능 메모리(9132) 둘 모두는 비-일시적인 컴퓨터-판독 가능 매체를 포함한다. 다른 실시예에서, 프로세서(9118)는 물리적으로 WTRU(9102) 상에 이를테면, 서버 또는 홈 컴퓨터(도시되지 않음) 상에 위치되지 않는 메모리로부터의 정보에 액세스하고 이에 데이터를 저장할 수 있다.
프로세서(9118)는 전력 소스(9134)로부터 전력을 수신할 수 있고, WTRU(9102) 내의 다른 컴포넌트들에 전력을 분배 및/또는 제어하도록 구성될 수 있다. 전력 소스(9134)는 WTRU(9102)에 전력을 공급하기 위한 임의의 적합한 디바이스일 수 있다. 예들로서, 전력 소스(9134)는 하나 이상의 건전지(예를 들어, NiCd(nickel-cadmium), NiZn(nickel-zinc), NiMH(nickel metal hydride), Li-이온(lithium-ion) 등), 태양 전지, 연료 전지 등을 포함할 수 있다. 프로세서(9118)는 또한, WTRU(9102)의 현재 위치에 관한 위치 정보(예를 들어, 경도 및 위도)를 제공하도록 구성될 수 있는 GPS 칩셋(9136)에 커플링될 수 있다. GPS 칩셋(9136)으로부터의 정보 외에도 또는 이를 대신하여, WTRU(9102)는 기지국으로부터 에어 인터페이스(9116)를 통해 위치 정보를 수신할 수 있고 그리고/또는 둘 이상의 근처의 기지국들로부터 수신되는 신호들의 타이밍에 기초하여 그의 위치를 결정할 수 있다. WTRU(9102)는 실시예와 부합하게 유지되면서 임의의 적합한 위치-결정 방법에 의해 위치 정보를 취득할 수 있다.
프로세서(9118)는 추가로, 부가적인 특징들, 기능성 및/또는 유선 또는 무선 연결성을 제공하는 하나 이상의 소프트웨어 및/또는 하드웨어 모듈들을 포함할 수 있는 다른 주변장치들(9138)에 커플링될 수 있다. 예를 들어, 주변장치(9138)는 가속도계, e-컴퍼스, 위성 트랜시버, 디지털 카메라(사진 또는 비디오용), USB(universal serial bus) 포트, 진동 디바이스, 텔레비전 트랜시버, 핸즈프리 헤드셋, Bluetooth® 모듈, FM(frequency modulated) 라디오 유닛, 디지털 뮤직 선수, 미디어 선수, 비디오 게임 선수 모듈, 인터넷 브라우저 등을 포함할 수 있다.
도 17은 본원에서 설명된 시스템들의 실시예들 내에서 사용될 수 있는 예시적인 네트워크 엔티티(9190)를 도시한다. 도 17에 도시된 바와 같이, 네트워크 엔티티(9190)는 통신 인터페이스(9192), 프로세서(9194) 및 비-일시적인 데이터 저장소(9196)를 포함하며, 이들 모두는 버스, 네트워크 또는 다른 통신 경로(9198)에 의해 통신 가능하게 링크된다.
통신 인터페이스(9192)는 하나 이상의 유선 통신 인터페이스들 및/또는 하나 이상의 무선 통신 인터페이스들을 포함할 수 있다. 유선 통신에 대해, 통신 인터페이스(9192)는 예로서 이더넷 인터페이스들과 같은 하나 이상의 인터페이스들을 포함할 수 있다. 무선 통신에 대해, 통신 인터페이스(9192)는 컴포넌트들, 이를테면, 하나 이상의 안테나들, 하나 이상의 유형들의 무선(예를 들어, LTE) 통신을 위해 설계되고 구성된 하나 이상의 트랜시버들/칩셋들 및/또는 당업자들에 의해 적합한 것으로 간주되는 임의의 다른 컴포넌트들을 포함할 수 있다. 그리고, 무선 통신에 대해 추가로, 통신 인터페이스(9192)는 무선 통신(예를 들어, LTE 통신, Wi-Fi 통신 등)의 클라이언트 측 보다는, 네트워크 측 상에서 작용하기에 적절한 규모 및 구성으로 장착될 수 있다. 따라서, 통신 인터페이스(9192)는 커버리지 영역에서 다수의 모바일 스테이션들, UE들 또는 다른 액세스 단말들을 서빙하기 위한 적절한 장비 및 회로(다수의 트랜시버들을 포함함)를 포함할 수 있다.
프로세서(9194)는 당업자에 의해 적합한 것으로 간주되는 임의의 유형의 하나 이상의 프로세서들을 포함할 수 있으며, 일부 예들은 범용 마이크로프로세서 및 전용 DSP를 포함한다. 데이터 저장소(9196)는 당업자에 의해 적합한 것으로 간주되는 임의의 하나 이상의 유형들의 비-일시적인 데이터 저장소가 사용될 수 있기 때문에, 임의의 비-일시적인 컴퓨터-판독 가능 매체 또는 이러한 매체들의 조합의 형태를 취할 수 있으며, 일부 예들은 몇 개만 언급하자면, 플래시 메모리, ROM(read-only memory) 및 RAM(random-access memory)을 포함한다. 도 17에 도시된 바와 같이, 데이터 저장소(9196)는 본원에서 설명된 다양한 네트워크-엔티티 기능들의 다양한 조합들을 수행하기 위해 프로세서(9194)에 의해 실행 가능한 프로그램 명령들(9197)을 포함한다.
일부 실시예들에서, 본원에서 설명된 네트워크-엔티티 기능들은 도 17의 네트워크 엔티티(9190)의 구조와 유사한 구조를 갖는 네트워크 엔티티에 의해 수행될 수 있다. 일부 실시예들에서, 이러한 기능들 중 하나 이상은 다수의 네트워크 엔티티들의 세트에 의해 함께 수행되며, 여기서 각각의 네트워크 엔티티는 도 17의 네트워크 엔티티(9190)의 구조와 유사한 구조를 갖는다. 그리고 명확히, 위의 리스트가 제한이 아닌 예로서 제공되기 때문에, 다른 네트워크 엔티티들 및/또는 네트워크 엔티티들의 조합이 본원에서 설명된 네트워크-엔티티 기능들을 수행하기 위해 다양한 실시예들에서 사용될 수 있다.
설명된 실시예들 중 하나 이상 실시예들의 다양한 하드웨어 엘리먼트들은 각각의 모듈들과 관련하여 본원에서 설명된 다양한 기능들을 수행(실시 또는 실행)하는 "모듈들"로서 지칭된다는 것에 주의한다. 본원에서 사용된 바와 같이, 모듈은 주어진 구현에 대해 당업자에 의해 적합한 것으로 간주되는 하드웨어(예를 들어, 하나 이상의 프로세서들, 하나 이상의 마이크로프로세서들, 하나 이상의 마이크로제어기들, 하나 이상의 마이크로칩들, 하나 이상의 ASIC(application-specific integrated circuit)들, 하나 이상의 FPGA(field programmable gate array)들, 하나 이상의 메모리 디바이스들)을 포함한다. 각각의 설명된 모듈은 또한 각각의 모듈에 의해 수행되는 것으로서 설명된 하나 이상의 기능들을 수행하기 위해 실행 가능한 명령들을 포함할 수 있고, 이러한 명령들은 하드웨어(하드와이어드) 명령들, 펌웨어 명령들, 소프트웨어 명령들 등의 형태를 취할 수 있고, 이를테면, 일반적으로 RAM 또는 ROM으로서 지칭되는 임의의 적합한 비-일시적인 컴퓨터-판독 가능 매체 또는 매체들에 저장될 수 있다.
특징 및 엘리먼트가 특정 결합들로 위에서 설명되지만, 당업자는, 각각의 특징 또는 엘리먼트가 단독으로 또는 다른 특징 및 엘리먼트와의 임의의 결합으로 사용될 수 있다는 것이 인지될 것이다. 또한, 본원에서 설명된 방법은 컴퓨터 또는 프로세서에 의한 실행을 위해 컴퓨터 판독-가능 매체에 포함된 컴퓨터 프로그램, 소프트웨어, 또는 펌웨어로 구현될 수 있다. 컴퓨터 판독-가능 저장 매체들의 예들은, ROM(read only memory), RAM(random access memory), 레지스터, 캐시 메모리, 반도체 메모리 디바이스, 내부 하드 디스크 및 제거 가능 디스크들과 같은 자기 매체들, 자기-광학 매체들, 및 CD-ROM 디스크들 및 DVD(digital versatile disk)들과 같은 광학 매체들을 포함(그러나 이에 제한되지 않음)한다. 소프트웨어와 연관되는 프로세서는 WTRU, UE, 단말, 기지국, RNC, 또는 임의의 호스트 컴퓨터에서 사용하기 위한 라디오 주파수 트랜시버를 구현하는데 사용될 수 있다.

Claims (33)

  1. 미디어를 공유하는 방법으로서,
    제 1 노드에서, 1차 비디오 스트림을 수신하는 단계;
    상기 1차 비디오 스트림을 디스플레이하는 단계;
    상기 제 1 노드에서, 상기 1차 비디오 스트림의 공간 부분들에 대응하는 복수의 관심 지역들을 식별하는 데이터를 수신하는 단계;
    상기 제 1 노드로부터 적어도 하나의 부가적인 뷰잉(viewing) 디바이스로, 맞춤형 콘텐츠 스트림들에 대한 하나 이상의 옵션을 송신하는 단계 ― 상기 맞춤형 콘텐츠 스트림들에 대한 상기 하나 이상의 옵션 중 적어도 하나는 상기 1차 비디오 스트림의 크로핑된 부분(cropped portion)을 포함함 ― ;
    제 1 부가적인 뷰잉 디바이스로부터 상기 제 1 노드에서, 맞춤형 콘텐츠 스트림들에 대한 하나 이상의 옵션 중 제 1 맞춤형 콘텐츠 스트림의 제 1 사용자 선택을 수신하는 단계; 및
    상기 제 1 사용자 선택을 수신하는 것에 응답하여, 상기 제 1 노드로부터 상기 제 1 부가적인 뷰잉 디바이스로, 상기 1차 비디오 스트림과의 동기식 디스플레이를 위해 제 1 선택된 맞춤형 콘텐츠 스트림을 송신하는 단계
    를 포함하는, 미디어를 공유하는 방법.
  2. 제 1 항에 있어서,
    상기 제 1 선택된 맞춤형 콘텐츠 스트림은 상기 1차 비디오 스트림과 상이한 해상도를 갖는 것인, 미디어를 공유하는 방법.
  3. 제 1 항에 있어서,
    상기 제 1 선택된 맞춤형 콘텐츠 스트림을 송신하는 단계는 무선 근거리 네트워크(LAN)를 통해 상기 제 1 선택된 맞춤형 콘텐츠 스트림을 송신하는 단계를 포함하는 것인, 미디어를 공유하는 방법.
  4. 제 1 항에 있어서,
    상기 제 1 선택된 맞춤형 콘텐츠 스트림을 송신하는 단계는, UPnP(Universal Plug and Play) 프로토콜 또는 DLNA(Digital Living Network Alliance) 프로토콜 중 적어도 하나를 사용하여 상기 제 1 선택된 맞춤형 콘텐츠 스트림을 송신하는 단계를 포함하는 것인, 미디어를 공유하는 방법.
  5. 제 1 항에 있어서,
    상기 제 1 선택된 맞춤형 콘텐츠 스트림을 송신하는 단계는, DRM(digital rights management) 보안 보호들을 이용하여 상기 제 1 선택된 맞춤형 콘텐츠 스트림을 송신하는 단계를 포함하는 것인, 미디어를 공유하는 방법.
  6. 제 1 항에 있어서,
    상기 제 1 노드는 스마트 TV, 셋톱 박스(STB) 및 비디오 허브로 구성되는 리스트로부터 선택된 적어도 하나를 포함하는 것인, 미디어를 공유하는 방법.
  7. 제 1 항에 있어서,
    제 2 부가적인 뷰잉 디바이스로부터 상기 제 1 노드에서, 맞춤형 콘텐츠 스트림들에 대한 하나 이상의 옵션 중 제 2 맞춤형 콘텐츠 스트림의 제 2 사용자 선택을 수신하는 단계; 및
    상기 제 2 사용자 선택을 수신하는 것에 응답하여, 상기 제 1 노드로부터 상기 제 2 부가적인 뷰잉 디바이스로, 상기 1차 비디오 스트림과의 동기식 디스플레이를 위해 제 2 선택된 맞춤형 콘텐츠 스트림을 송신하는 단계
    를 더 포함하는, 미디어를 공유하는 방법.
  8. 제 7 항에 있어서,
    상기 제 2 선택된 맞춤형 콘텐츠 스트림은 외부 콘텐츠 스트림 참조를 포함하는 것인, 미디어를 공유하는 방법.
  9. 제 1 항에 있어서,
    상기 제 1 노드에서, 상기 1차 비디오 스트림으로부터 관심 지역을 추출하는 단계를 더 포함하고,
    상기 맞춤형 콘텐츠 스트림들에 대한 상기 하나 이상의 옵션을 송신하는 단계는 상기 관심 지역에 대해 크로핑된 맞춤형 콘텐츠 스트림에 대한 옵션을 송신하는 단계를 포함하는, 미디어를 공유하는 방법.
  10. 제 1 항에 있어서,
    상기 제 1 부가적인 뷰잉 디바이스로부터 상기 제 1 노드에서, 로컬 콘텍스트 또는 사용자 선호도들과 관련된 정보를 수신하는 단계; 및
    상기 로컬 콘텍스트 또는 사용자 선호도들과 관련된 정보를 수신하는 것에 응답하여, 맞춤형 콘텐츠 스트림들에 대한 하나 이상의 옵션들 중 적어도 하나의 옵션을 추천하는 단계
    를 더 포함하는, 미디어를 공유하는 방법.
  11. 제 10 항에 있어서,
    상기 로컬 콘텍스트 또는 사용자 선호도들과 관련된 정보로부터 사용자 프로파일을 생성하는 단계를 더 포함하고,
    상기 맞춤형 콘텐츠 스트림에 대한 적어도 하나의 옵션을 추천하는 단계는 상기 적어도 하나의 옵션을 추천하기 위해 상기 사용자 프로파일을 사용하는 단계를 포함하는 것인, 미디어를 공유하는 방법.
  12. 제 10 항에 있어서,
    상기 로컬 콘텍스트 또는 사용자 선호도들과 관련된 정보를 수신하는 것에 응답하여, 맞춤형 콘텐츠 스트림들을 생성하기 위한 옵션들의 수를 제한하는 단계를 더 포함하는, 미디어를 공유하는 방법.
  13. 제 1 항에 있어서,
    상기 제 1 부가적인 뷰잉 디바이스로부터 상기 제 1 노드에서, 트레이싱된 객체(traced object)를 팔로우(follow)하라는 요청을 수신하는 단계를 더 포함하고,
    상기 제 1 선택된 맞춤형 콘텐츠 스트림은 상기 트레이싱된 객체를 포함하는 1차 비디오 스트림의 크로핑된 부분을 포함하는 것인, 미디어를 공유하는 방법.
  14. 시스템으로서,
    수신기;
    디스플레이;
    프로세서; 및
    명령들을 저장한 비-일시적 컴퓨터-판독 가능한 매체를 포함하고,
    상기 명령들은, 상기 프로세서에 의해 실행될 때, 상기 시스템으로 하여금,
    1차 비디오 스트림을 수신하고;
    상기 1차 비디오 스트림을 디스플레이하고;
    상기 1차 비디오 스트림의 공간 부분들에 대응하는 복수의 관심 지역들을 식별하는 데이터를 수신하고;
    적어도 하나의 부가적인 뷰잉 디바이스로, 맞춤형 콘텐츠 스트림들에 대한 하나 이상의 옵션을 송신하고 ― 상기 맞춤형 콘텐츠 스트림들에 대한 상기 하나 이상의 옵션 중 적어도 하나는 상기 1차 비디오 스트림의 크로핑된 부분을 포함함 ― ;
    제 1 부가적인 뷰잉 디바이스로부터, 맞춤형 콘텐츠 스트림들에 대한 하나 이상의 옵션 중 제 1 맞춤형 콘텐츠 스트림의 제 1 사용자 선택을 수신하고; 그리고
    상기 제 1 사용자 선택을 수신하는 것에 응답하여, 상기 제 1 부가적인 뷰잉 디바이스로, 상기 1차 비디오 스트림과의 동기식 디스플레이를 위해 제 1 선택된 맞춤형 콘텐츠 스트림을 송신하게 하도록 동작하는 것인, 시스템.
  15. 제 14 항에 있어서,
    상기 명령들은 또한, 상기 프로세서에 의해 실행될 때, 상기 시스템으로 하여금,
    상기 제 1 부가적인 뷰잉 디바이스로부터, 트레이싱된 객체를 팔로우하라는 요청을 수신하게 하도록 동작하고,
    상기 제 1 선택된 맞춤형 콘텐츠 스트림은 상기 트레이싱된 객체를 포함하는 1차 비디오 스트림의 크로핑된 부분을 포함하는 것인, 시스템.
  16. 삭제
  17. 삭제
  18. 삭제
  19. 삭제
  20. 삭제
  21. 삭제
  22. 삭제
  23. 삭제
  24. 삭제
  25. 삭제
  26. 삭제
  27. 삭제
  28. 삭제
  29. 삭제
  30. 삭제
  31. 삭제
  32. 삭제
  33. 삭제
KR1020197025546A 2017-03-07 2018-02-28 멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍 KR102628139B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762468144P 2017-03-07 2017-03-07
US62/468,144 2017-03-07
PCT/US2018/020229 WO2018164911A1 (en) 2017-03-07 2018-02-28 Tailored video streaming for multi-device presentations

Publications (2)

Publication Number Publication Date
KR20190135473A KR20190135473A (ko) 2019-12-06
KR102628139B1 true KR102628139B1 (ko) 2024-01-22

Family

ID=61622787

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020197025546A KR102628139B1 (ko) 2017-03-07 2018-02-28 멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍

Country Status (5)

Country Link
US (1) US11272237B2 (ko)
EP (1) EP3593536A1 (ko)
KR (1) KR102628139B1 (ko)
CN (1) CN110383848B (ko)
WO (1) WO2018164911A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10664772B1 (en) * 2014-03-07 2020-05-26 Steelcase Inc. Method and system for facilitating collaboration sessions
KR102543228B1 (ko) * 2018-10-18 2023-06-13 삼성전자주식회사 포터블 장치 및 그 제어방법
US11665312B1 (en) * 2018-12-27 2023-05-30 Snap Inc. Video reformatting recommendation
US10887542B1 (en) 2018-12-27 2021-01-05 Snap Inc. Video reformatting system
KR20200084587A (ko) * 2019-01-03 2020-07-13 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
US11748991B1 (en) * 2019-07-24 2023-09-05 Ambarella International Lp IP security camera combining both infrared and visible light illumination plus sensor fusion to achieve color imaging in zero and low light situations
KR102558959B1 (ko) * 2019-10-14 2023-07-24 주식회사 케이티 영상으로부터 객체를 추출하는 장치, 방법 및 컴퓨터 프로그램
KR20210085171A (ko) 2019-12-30 2021-07-08 삼성전자주식회사 디스플레이 장치 및 그 제어방법
CN111447489A (zh) * 2020-04-02 2020-07-24 北京字节跳动网络技术有限公司 视频处理方法、装置、可读介质及电子设备
US11501731B2 (en) 2020-04-08 2022-11-15 Motorola Solutions, Inc. Method and device for assigning video streams to watcher devices
CN114079658B (zh) * 2020-08-03 2022-10-28 荣耀终端有限公司 跨设备同步方法、终端设备及存储介质
US20220353435A1 (en) * 2021-04-29 2022-11-03 Cloudinary Ltd. System, Device, and Method for Enabling High-Quality Object-Aware Zoom-In for Videos
US12009012B2 (en) * 2021-07-03 2024-06-11 Logitech Europe S.A. Method of merging digital media
US11822978B2 (en) * 2021-11-18 2023-11-21 International Business Machines Corporation Management of content transfer

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080077965A1 (en) 2006-09-27 2008-03-27 Hideki Kamimaki Contents Receiving System and Client
US20110299832A1 (en) 2010-06-02 2011-12-08 Microsoft Corporation Adaptive video zoom
WO2015059194A1 (en) 2013-10-22 2015-04-30 Canon Kabushiki Kaisha Method, device, and computer program for encapsulating scalable partitioned timed media data
EP3076672A1 (en) 2005-09-26 2016-10-05 Korea Advanced Institute of Science and Technology Method and apparatus for defining and reconstructing rois in scalable video coding

Family Cites Families (159)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7079176B1 (en) 1991-11-25 2006-07-18 Actv, Inc. Digital interactive system for providing full interactivity with live programming events
US5610653A (en) 1992-02-07 1997-03-11 Abecassis; Max Method and system for automatically tracking a zoomed video image
US5892554A (en) 1995-11-28 1999-04-06 Princeton Video Image, Inc. System and method for inserting static and dynamic images into a live video broadcast
US20020056136A1 (en) 1995-09-29 2002-05-09 Wistendahl Douglass A. System for converting existing TV content to interactive TV programs operated with a standard remote control and TV set-top box
US6750919B1 (en) 1998-01-23 2004-06-15 Princeton Video Image, Inc. Event linked insertion of indicia into video
US8965898B2 (en) 1998-11-20 2015-02-24 Intheplay, Inc. Optimizations for live event, real-time, 3D object tracking
US6282713B1 (en) 1998-12-21 2001-08-28 Sony Corporation Method and apparatus for providing on-demand electronic advertising
GB9909606D0 (en) 1999-04-26 1999-06-23 Telemedia Systems Ltd Networked delivery of profiled media files to clients
WO2001018658A1 (en) 1999-09-03 2001-03-15 Hotv Inc. Method and apparatus for sending slow motion video-clips from video presentations to end viewers upon request
US7114174B1 (en) 1999-10-01 2006-09-26 Vidiator Enterprises Inc. Computer program product for transforming streaming video data
US7367042B1 (en) 2000-02-29 2008-04-29 Goldpocket Interactive, Inc. Method and apparatus for hyperlinking in a television broadcast
US7343617B1 (en) 2000-02-29 2008-03-11 Goldpocket Interactive, Inc. Method and apparatus for interaction with hyperlinks in a television broadcast
US6973130B1 (en) 2000-04-25 2005-12-06 Wee Susie J Compressed video signal including information for independently coded regions
US7796162B2 (en) 2000-10-26 2010-09-14 Front Row Technologies, Llc Providing multiple synchronized camera views for broadcast from a live venue activity to remote viewers
US20020065678A1 (en) 2000-08-25 2002-05-30 Steven Peliotis iSelect video
US20020059588A1 (en) 2000-08-25 2002-05-16 Thomas Huber Personalized remote control
US7421729B2 (en) 2000-08-25 2008-09-02 Intellocity Usa Inc. Generation and insertion of indicators using an address signal applied to a database
US20020126990A1 (en) 2000-10-24 2002-09-12 Gary Rasmussen Creating on content enhancements
US20020174425A1 (en) 2000-10-26 2002-11-21 Markel Steven O. Collection of affinity data from television, video, or similar transmissions
CA2438620A1 (en) 2001-02-20 2002-08-29 Intellocity Usa, Inc. Content based video selection
US20020120934A1 (en) 2001-02-28 2002-08-29 Marc Abrahams Interactive television browsing and buying method
US20020133817A1 (en) 2001-03-13 2002-09-19 Markel Steven O. Affinity marketing for interactive media systems
WO2002076097A1 (en) 2001-03-20 2002-09-26 Intellocity Usa, Inc. Video combiner
EP1423825B1 (en) 2001-08-02 2011-01-26 Intellocity USA, Inc. Post production visual alterations
US7444656B2 (en) 2001-08-02 2008-10-28 Intellocity Usa, Inc. Post production visual enhancement rendering
US20030149983A1 (en) 2002-02-06 2003-08-07 Markel Steven O. Tracking moving objects on video with interactive access points
US20060129908A1 (en) 2003-01-28 2006-06-15 Markel Steven O On-content streaming media enhancement
US7327383B2 (en) 2003-11-04 2008-02-05 Eastman Kodak Company Correlating captured images and timed 3D event data
US10032192B2 (en) 2003-12-23 2018-07-24 Roku, Inc. Automatic localization of advertisements
US8395664B2 (en) 2006-09-13 2013-03-12 Smartvue Corp. Wireless surveillance system and method for 3-D visualization and user-controlled analytics of captured data
US20080261711A1 (en) 2004-12-23 2008-10-23 Fredrik Tuxen Manners of Using a Sports Ball Parameter Determining Instrument
TW200704183A (en) 2005-01-27 2007-01-16 Matrix Tv Dynamic mosaic extended electronic programming guide for television program selection and display
US20070024706A1 (en) 2005-08-01 2007-02-01 Brannon Robert H Jr Systems and methods for providing high-resolution regions-of-interest
US8184153B2 (en) 2005-09-26 2012-05-22 Electronics And Telecommunications Research Institute Method and apparatus for defining and reconstructing ROIs in scalable video coding
US7561884B2 (en) 2005-09-30 2009-07-14 Meshnetworks, Inc. System and method for automated tracking of assets using location measurements and ad-hoc routing algorithms
JP2009510587A (ja) 2005-09-30 2009-03-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 画像ディテール強調
US7876978B2 (en) 2005-10-13 2011-01-25 Penthera Technologies, Inc. Regions of interest in video frames
US8155446B2 (en) 2005-11-04 2012-04-10 Eyetracking, Inc. Characterizing dynamic regions of digital media data
US7782344B2 (en) 2005-11-15 2010-08-24 Nds Limited Digital video zooming system
US7577980B2 (en) 2006-01-19 2009-08-18 International Business Machines Corporation Bit-rate constrained trick play through stream switching and adaptive streaming
US8566865B2 (en) 2006-03-07 2013-10-22 Sony Computer Entertainment America Llc Dynamic insertion of cinematic stage props in program content
US8019162B2 (en) 2006-06-20 2011-09-13 The Nielsen Company (Us), Llc Methods and apparatus for detecting on-screen media sources
US8243797B2 (en) 2007-03-30 2012-08-14 Microsoft Corporation Regions of interest for quality adjustments
US7983496B2 (en) 2007-06-26 2011-07-19 Mitsubishi Electric Research Laboratories, Inc. Inverse tone mapping for bit-depth scalable image coding adapted to variable block sizes
TWI466093B (zh) 2007-06-26 2014-12-21 Apple Inc 用於視訊播放的管理技術
US9360985B2 (en) 2007-06-27 2016-06-07 Scenera Technologies, Llc Method and system for automatically linking a cursor to a hotspot in a hypervideo stream
US8312486B1 (en) 2008-01-30 2012-11-13 Cinsay, Inc. Interactive product placement system and method therefor
KR20090090600A (ko) 2008-02-21 2009-08-26 삼성전자주식회사 속응형 채널 전환 방법 및 장치, 그리고 그 방법을수행하기 위한 컴퓨터 프로그램 저장매체
JP5188356B2 (ja) 2008-02-28 2013-04-24 ミツビシ・エレクトリック・リサーチ・ラボラトリーズ・インコーポレイテッド 復号器において画像を逆トーンマッピングする方法
US20090322489A1 (en) 2008-04-14 2009-12-31 Christopher Jones Machine vision rfid exciter triggering system
US9113214B2 (en) 2008-05-03 2015-08-18 Cinsay, Inc. Method and system for generation and playback of supplemented videos
US20090300692A1 (en) 2008-06-02 2009-12-03 Mavlankar Aditya A Systems and methods for video streaming and display
US9047236B2 (en) 2008-06-06 2015-06-02 Amazon Technologies, Inc. Client side stream switching
US8238419B2 (en) 2008-06-24 2012-08-07 Precoad Inc. Displaying video at multiple resolution levels
US9031279B2 (en) 2008-07-09 2015-05-12 Disney Enterprises, Inc. Multiple-object tracking and team identification for game strategy analysis
EP2324636A1 (en) 2008-08-22 2011-05-25 Thomson Licensing Method and system for content delivery
CN101350923B (zh) 2008-09-03 2010-11-17 中国科学院上海技术物理研究所 一种交互式医学图像通信与显示方法
US8055785B2 (en) 2008-09-17 2011-11-08 Futurewei Technologies, Inc. Rate control for stream switching
US8816855B2 (en) 2008-10-21 2014-08-26 At&T Intellectual Property I, L.P. Methods, computer program products, and systems for providing automated video tracking via radio frequency identification
US9009337B2 (en) 2008-12-22 2015-04-14 Netflix, Inc. On-device multiplexing of streaming media content
US20100232504A1 (en) 2009-03-13 2010-09-16 The State of Oregon acting by and through the State Board of Higher Education on behalf of the Supporting region-of-interest cropping through constrained compression
US9594431B2 (en) 2009-06-19 2017-03-14 Hewlett-Packard Development Company, L.P. Qualified command
US9129644B2 (en) 2009-06-23 2015-09-08 Disney Enterprises, Inc. System and method for rendering in accordance with location of virtual objects in real-time
KR101737084B1 (ko) 2009-12-07 2017-05-17 삼성전자주식회사 메인 콘텐트에 다른 콘텐트를 삽입하여 스트리밍하는 방법 및 장치
US20110304772A1 (en) 2010-06-14 2011-12-15 Charles Dasher Screen zoom feature for cable system subscribers
US10108314B2 (en) 2010-06-25 2018-10-23 Interdigital Ce Patent Holdings Method and system for displaying and processing high dynamic range video and images
CN103155585A (zh) 2010-07-12 2013-06-12 欧普斯梅迪库斯股份有限公司 网络式上下文关联图像的高分辨率查看系统与方法
EP2408196B1 (en) 2010-07-14 2017-01-11 Alcatel Lucent A method, server and terminal for generating a composite view from multiple content items
US8487959B1 (en) 2010-08-06 2013-07-16 Google Inc. Generating simulated eye movement traces for visual displays
JP2012058838A (ja) 2010-09-06 2012-03-22 Sony Corp 画像処理装置、プログラム及び画像処理方法
US10645344B2 (en) 2010-09-10 2020-05-05 Avigilion Analytics Corporation Video system with intelligent visual display
US20120078712A1 (en) 2010-09-27 2012-03-29 Fontana James A Systems and methods for processing and delivery of multimedia content
US8587672B2 (en) 2011-01-31 2013-11-19 Home Box Office, Inc. Real-time visible-talent tracking system
US9538219B2 (en) 2011-02-04 2017-01-03 Panasonic Intellectual Property Corporation Of America Degree of interest estimating device and degree of interest estimating method
US8621000B2 (en) 2011-03-23 2013-12-31 Verizon Patent And Licensing Inc. Region of interest streaming
JP5857450B2 (ja) 2011-05-30 2016-02-10 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
JP2012248070A (ja) 2011-05-30 2012-12-13 Sony Corp 情報処理装置、メタデータ設定方法、及びプログラム
US9860572B2 (en) 2011-06-08 2018-01-02 Koninklijke Kpn N.V. Spatially segmented content delivery
US20130036442A1 (en) 2011-08-05 2013-02-07 Qualcomm Incorporated System and method for visual selection of elements in video content
US9442565B2 (en) 2011-08-24 2016-09-13 The United States Of America, As Represented By The Secretary Of The Navy System and method for determining distracting features in a visual display
US8681179B2 (en) 2011-12-20 2014-03-25 Xerox Corporation Method and system for coordinating collisions between augmented reality and real reality
US9524097B2 (en) 2011-12-22 2016-12-20 International Business Machines Corporation Touchscreen gestures for selecting a graphical object
WO2013093176A1 (en) 2011-12-23 2013-06-27 Nokia Corporation Aligning videos representing different viewpoints
US9081491B2 (en) * 2012-03-30 2015-07-14 Corel Corporation Controlling and editing media files with touch gestures over a media viewing area using a touch sensitive device
CN104220975B (zh) 2012-05-10 2017-12-01 英特尔公司 用于响应手势捕捉图像的方法和设备
US8789095B2 (en) 2012-05-15 2014-07-22 At&T Intellectual Property I, Lp Apparatus and method for providing media content
EP2873237B1 (en) 2012-07-13 2022-03-30 Koninklijke Philips N.V. Improved hdr image decoding methods and devices
US9804668B2 (en) 2012-07-18 2017-10-31 Verimatrix, Inc. Systems and methods for rapid content switching to provide a linear TV experience using streaming content distribution
WO2014025319A1 (en) 2012-08-08 2014-02-13 National University Of Singapore System and method for enabling user control of live video stream(s)
US9264765B2 (en) 2012-08-10 2016-02-16 Panasonic Intellectual Property Corporation Of America Method for providing a video, transmitting device, and receiving device
KR20140027690A (ko) 2012-08-27 2014-03-07 삼성전자주식회사 확대 표시 방법 및 장치
GB2505912B (en) 2012-09-14 2015-10-07 Canon Kk Method and device for generating a description file, and corresponding streaming method
US9064313B2 (en) 2012-09-28 2015-06-23 Intel Corporation Adaptive tone map to a region of interest to yield a low dynamic range image
KR101968070B1 (ko) 2012-10-12 2019-04-10 캐논 가부시끼가이샤 데이터를 스트리밍하기 위한 방법, 데이터를 제공하기 위한 방법, 데이터를 획득하기 위한 방법, 컴퓨터 판독 가능 저장 매체, 서버 장치, 및 클라이언트 장치
WO2014067566A1 (en) 2012-10-30 2014-05-08 Telefonaktiebolaget L M Ericsson (Publ) Method and device for streaming video
WO2014073927A1 (ko) 2012-11-12 2014-05-15 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법
US9996150B2 (en) 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US9551779B2 (en) 2013-01-04 2017-01-24 Yariv Glazer Controlling movements of pointing devices according to movements of objects
US20140195918A1 (en) 2013-01-07 2014-07-10 Steven Friedlander Eye tracking user interface
GB2509954B (en) 2013-01-18 2016-03-23 Canon Kk Method of displaying a region of interest in a video stream
US20140204206A1 (en) 2013-01-21 2014-07-24 Chronotrack Systems Corp. Line scan imaging from a raw video source
US10031637B2 (en) 2013-01-25 2018-07-24 Lg Electronics Inc. Image display apparatus and method for operating the same
KR20140111859A (ko) * 2013-03-12 2014-09-22 삼성전자주식회사 콘텐트 공유 방법 및 이를 위한 디바이스
US9900629B2 (en) 2013-03-13 2018-02-20 Apple Inc. Codec techniques for fast switching with intermediate sequence
US10373212B2 (en) 2013-03-14 2019-08-06 Facebook, Inc. Methods for linking images in social feeds to branded content
CN105165015A (zh) 2013-03-15 2015-12-16 艾锐势科技公司 利用http自适应流的快速信道改变的增强播放列表定义和传递
KR101852669B1 (ko) 2013-04-08 2018-04-26 소니 주식회사 Shvc를 이용한 관심 영역 확장성
CN103336663B (zh) * 2013-05-22 2016-08-10 天脉聚源(北京)传媒科技有限公司 一种数据同步方法、装置和终端
EP3005689A4 (en) 2013-05-24 2017-01-11 Sonic IP, Inc. Systems and methods of encoding multiple video streams with adaptive quantization for adaptive bitrate streaming
EP3013062A4 (en) 2013-06-19 2016-12-21 Lg Electronics Inc SIGNAL TRANSMITTING AND RECEIVING DEVICE AND METHOD OF CONTROLLING SAID DEVICE
EP2824885B1 (en) 2013-07-12 2019-01-23 Provenance Asset Group LLC A manifest file format supporting panoramic video
EP2824883A1 (en) 2013-07-12 2015-01-14 Alcatel Lucent A video client and video server for panoramic video consumption
JP6150011B2 (ja) 2013-07-15 2017-06-21 ソニー株式会社 インタラクティビティのための動き制約タイルセットｓｅｉメッセージの拡張
CN110035300A (zh) 2013-07-19 2019-07-19 索尼公司 信息处理装置和方法
WO2015013720A1 (en) 2013-07-26 2015-01-29 Futurewei Technologies Inc. Spatial adaptation in adaptive streaming
CN106233745B (zh) 2013-07-29 2021-01-15 皇家Kpn公司 向客户端提供瓦片视频流
US20150062339A1 (en) 2013-08-29 2015-03-05 Brian Ostrom Unmanned aircraft system for video and data communications
US9693030B2 (en) 2013-09-09 2017-06-27 Arris Enterprises Llc Generating alerts based upon detector outputs
US20150089072A1 (en) 2013-09-25 2015-03-26 Ericsson Television Inc System and method for managing adjacent channels in an adaptive streaming environment
US9444856B2 (en) 2013-09-25 2016-09-13 Ericsson Ab System and method for managing adjacent channels in an adaptive streaming environment
US20160217623A1 (en) 2013-09-30 2016-07-28 Pcms Holdings, Inc. Methods, apparatus, systems, devices, and computer program products for providing an augmented reality display and/or user interface
US9530454B2 (en) 2013-10-10 2016-12-27 JBF Interlude 2009 LTD Systems and methods for real-time pixel switching
US9258093B2 (en) 2013-10-25 2016-02-09 Qualcomm Incorporated Estimating tone maps in a communication network
WO2015071461A1 (en) 2013-11-15 2015-05-21 Koninklijke Kpn N.V. Synchronization of processing media streams by one or more media processing devices
US9137558B2 (en) 2013-11-26 2015-09-15 At&T Intellectual Property I, Lp Method and system for analysis of sensory information to estimate audience reaction
WO2015084937A1 (en) 2013-12-03 2015-06-11 Edh Us Llc Systems and methods to track a golf ball to and on a putting green
US9271048B2 (en) 2013-12-13 2016-02-23 The Directv Group, Inc. Systems and methods for immersive viewing experience
US9589595B2 (en) 2013-12-20 2017-03-07 Qualcomm Incorporated Selection and tracking of objects for display partitioning and clustering of video frames
CN110266912A (zh) 2014-02-07 2019-09-20 索尼公司 发送装置、接收装置、及显示装置
EP3110160A4 (en) 2014-02-18 2017-10-11 LG Electronics Inc. Method and apparatus for transreceiving broadcast signal for panorama service
WO2015130796A1 (en) 2014-02-25 2015-09-03 Apple Inc. Adaptive video processing
US9635077B2 (en) 2014-03-14 2017-04-25 Adobe Systems Incorporated Low latency live video streaming
US9626084B2 (en) 2014-03-21 2017-04-18 Amazon Technologies, Inc. Object tracking in zoomed video
US20150296250A1 (en) 2014-04-10 2015-10-15 Google Inc. Methods, systems, and media for presenting commerce information relating to video content
US9460499B2 (en) 2014-05-30 2016-10-04 Shenzhen Mindray Bio-Medical Electronics Co., Ltd. Systems and methods for selective enhancement of a region of interest in an image
JP6440747B2 (ja) 2014-06-27 2018-12-19 コニンクリーケ・ケイピーエヌ・ナムローゼ・フェンノートシャップ Ｈｅｖｃでタイル化されたビデオ・ストリームに基づく関心領域の決定
WO2016004330A1 (en) 2014-07-03 2016-01-07 Oim Squared Inc. Interactive content generation
WO2016017121A1 (ja) 2014-07-28 2016-02-04 パナソニックＩｐマネジメント株式会社 拡張現実表示システム、端末装置および拡張現実表示方法
JP6659090B2 (ja) 2014-08-11 2020-03-04 キヤノン株式会社 情報処理装置、情報処理装置の制御方法、及びコンピュータプログラム
US20160073106A1 (en) 2014-09-08 2016-03-10 Apple Inc. Techniques for adaptive video streaming
CA2998482A1 (en) 2014-09-12 2016-03-17 Kiswe Mobile Inc. Methods and apparatus for content interaction
US9009805B1 (en) 2014-09-30 2015-04-14 Google Inc. Method and system for provisioning an electronic device
US9288545B2 (en) 2014-12-13 2016-03-15 Fox Sports Productions, Inc. Systems and methods for tracking and tagging objects within a broadcast
WO2016098056A1 (en) 2014-12-18 2016-06-23 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
WO2016118848A1 (en) 2015-01-22 2016-07-28 Clearstream. Tv, Inc. Video advertising system
US10165198B2 (en) 2015-06-02 2018-12-25 Samsung Electronics Co., Ltd. Dual band adaptive tone mapping
US10321162B2 (en) 2015-06-08 2019-06-11 Qualcomm Incorporated Derivation of color gamut scalability parameters and tables in scalable video coding
US10613699B2 (en) 2015-06-11 2020-04-07 Misapplied Sciences, Inc. Multi-view display cueing, prompting, and previewing
US10200725B2 (en) 2015-06-15 2019-02-05 Intel Corporation Adaptive data streaming based on virtual screen size
US10536695B2 (en) 2015-09-09 2020-01-14 Qualcomm Incorporated Colour remapping information supplemental enhancement information message processing
WO2017061297A1 (ja) 2015-10-09 2017-04-13 ソニー株式会社 情報処理装置および情報処理方法
US9950669B2 (en) 2015-11-12 2018-04-24 Robert Bosch Gmbh Vehicle camera system with multiple-camera alignment
US10775882B2 (en) 2016-01-21 2020-09-15 Microsoft Technology Licensing, Llc Implicitly adaptive eye-tracking user interface
US9865062B2 (en) 2016-02-12 2018-01-09 Qualcomm Incorporated Systems and methods for determining a region in an image
US10313417B2 (en) 2016-04-18 2019-06-04 Qualcomm Incorporated Methods and systems for auto-zoom based adaptive video streaming
EP3456058A1 (en) 2016-05-13 2019-03-20 VID SCALE, Inc. Bit depth remapping based on viewing parameters
US11503314B2 (en) 2016-07-08 2022-11-15 Interdigital Madison Patent Holdings, Sas Systems and methods for region-of-interest tone remapping
US10448010B2 (en) 2016-10-05 2019-10-15 Qualcomm Incorporated Motion vector prediction for affine motion models in video coding
US11765406B2 (en) * 2017-02-17 2023-09-19 Interdigital Madison Patent Holdings, Sas Systems and methods for selective object-of-interest zooming in streaming video

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3076672A1 (en) 2005-09-26 2016-10-05 Korea Advanced Institute of Science and Technology Method and apparatus for defining and reconstructing rois in scalable video coding
US20080077965A1 (en) 2006-09-27 2008-03-27 Hideki Kamimaki Contents Receiving System and Client
US20110299832A1 (en) 2010-06-02 2011-12-08 Microsoft Corporation Adaptive video zoom
WO2015059194A1 (en) 2013-10-22 2015-04-30 Canon Kabushiki Kaisha Method, device, and computer program for encapsulating scalable partitioned timed media data

Also Published As

Publication number Publication date
US20200007921A1 (en) 2020-01-02
KR20190135473A (ko) 2019-12-06
US11272237B2 (en) 2022-03-08
CN110383848B (zh) 2022-05-06
CN110383848A (zh) 2019-10-25
EP3593536A1 (en) 2020-01-15
WO2018164911A1 (en) 2018-09-13

Similar Documents

Publication Publication Date Title
KR102628139B1 (ko) 멀티-디바이스 프리젠테이션을 위한 맞춤형 비디오 스트리밍
US10631032B2 (en) Dynamic video image synthesis using multiple cameras and remote control
US9384424B2 (en) Methods and systems for customizing a plenoptic media asset
TWI523535B (zh) 耗用內容及元資料之技術
US9918110B2 (en) Point of view multimedia platform
EP3123437B1 (en) Methods, apparatus, and systems for instantly sharing video content on social media
US20150312618A1 (en) Systems and Methods for Generating a Full-Motion Video Mosaic Interface for Content Discovery with User-Configurable Filters
US20120240177A1 (en) Content provision
CN106507186B (zh) 一种媒体信息的切换方法、服务器及存储介质
US20130283318A1 (en) Dynamic Mosaic for Creation of Video Rich User Interfaces
US20130290444A1 (en) Connected multi-screen social media application
US20120240144A1 (en) Content provision
EP2501146A2 (en) Content provision
CN111937397A (zh) 媒体数据处理方法及装置
US20180270515A1 (en) Methods and systems for client interpretation and presentation of zoom-coded content
US20160301953A1 (en) Systems and methods for extracting data from audiovisual content
US20180167433A1 (en) Method and device for sharing multimedia content
WO2018067706A1 (en) Systems and methods for recreating a reference image from a media asset
US9069764B2 (en) Systems and methods for facilitating communication between users receiving a common media asset
US20120240162A1 (en) Content Provision
US20240146999A1 (en) Methods to Enable User-Defined Content-Aware Operations
US10264241B2 (en) Complimentary video content
TWI547154B (zh) A combination of broadcast and Internet interactive information common method and its system

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant