KR20210025473A - 비디오 스트림 강화를 위한 클라우드 기반 이미지 렌더링 - Google Patents

비디오 스트림 강화를 위한 클라우드 기반 이미지 렌더링 Download PDF

Info

Publication number
KR20210025473A
KR20210025473A KR1020200082769A KR20200082769A KR20210025473A KR 20210025473 A KR20210025473 A KR 20210025473A KR 1020200082769 A KR1020200082769 A KR 1020200082769A KR 20200082769 A KR20200082769 A KR 20200082769A KR 20210025473 A KR20210025473 A KR 20210025473A
Authority
KR
South Korea
Prior art keywords
video
interactive
enhancement
player
unit
Prior art date
Application number
KR1020200082769A
Other languages
English (en)
Other versions
KR102380620B1 (ko
Inventor
에반 에이. 바인더
마크 후니엔트 마틴
조르디 바디아 푸홀
아브너 스워드로우
미켈 엔젤 파레 구이우
Original Assignee
디즈니엔터프라이지즈,인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디즈니엔터프라이지즈,인크. filed Critical 디즈니엔터프라이지즈,인크.
Publication of KR20210025473A publication Critical patent/KR20210025473A/ko
Application granted granted Critical
Publication of KR102380620B1 publication Critical patent/KR102380620B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8545—Content authoring for generating interactive applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/005—General purpose rendering architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/08—Volume rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/222—Secondary servers, e.g. proxy server, cable television Head-end
    • H04N21/2223—Secondary servers, e.g. proxy server, cable television Head-end being a public access point, e.g. for downloading to or uploading from clients
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25808—Management of client data
    • H04N21/25858—Management of client data involving client software characteristics, e.g. OS identifier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4318—Generation of visual interfaces for content selection or interaction; Content or additional data rendering by altering the content in the rendering process, e.g. blanking, blurring or masking an image region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4722—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for requesting additional data associated with the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4781—Games
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8166—Monomedia components thereof involving executable data, e.g. software
    • H04N21/8173—End-user applications, e.g. Web browser, game
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

일 구현에 따르면, 비디오 스트림 강화를 위한 클라우드 기반 이미지 렌더링을 수행하기 위한 클라우드 기반 시스템은 비디오 전달 유닛 및 비디오 강화 유닛을 포함한다. 비디오 전달 유닛은 통신 네트워크를 통해 비디오 전달 유닛에 링크된 하나 이상의 비대화형 비디오 플레이어를 검출하고, 비디오 스트림을 비대화형 비디오 플레이어로 전달하고,비디오 스트림을 비디오 강화 유닛으로 전달하도록 구성된다. 비디오 강화 유닛은 비디오 전달 유닛으로부터 비디오 스트림을 수신하고, 통신 네트워크를 통해 상기 비디오 강화 유닛에 링크된 적어도 하나의 대화형 비디오 플레이어를 검출하고, 비디오 스트림에서 적어도 하나의 맞춤형 비디오 세그먼트에 대응하는 비디오 향상을 식별하고, 강화된 비디오 스트림을 생성하기 위해 렌더링된 비디오 향상을 적어도 하나의 맞춤형 비디오 세그먼트에 삽입하고, 강화된 비디오 스트림을 적어도 하나의 대화형 비디오 플레이어에 분배하도록 구성된다.

Description

비디오 스트림 강화를 위한 클라우드 기반 이미지 렌더링{CLOUD-BASED IMAGE RENDERING FOR VIDEO STREAM ENRICHMENT}
예를 들어, 스마트 폰 및 태블릿 컴퓨터와 같은 대부분의 개인 통신 장치의 모바일 스트리밍 애플리케이션은 일반적으로 비디오 게임 엔진에서 지원하는 정교한 그래픽 상호 작용에 최적화되지 않고 비디오 스트리밍을 지원하도록 설계된 기본 소프트웨어 스택에 의존한다. 결과적으로, 나중에 게임 엔진용으로 구축된 대화형 경험을 모바일 장치에서 실행되는 스트리밍 애플리케이션에 포함시키는 것이 어려운 경우가 많다.
게임 엔진을 위해 구축된 대화형 경험을 스트리밍 애플리케이션에 포함시키는 하나의 종래 기술은 게임 엔진 기반 애플리케이션이 특정 플랫폼을 위해 구축된 네이티브 비디오 스트리밍 애플리케이션 내에 상주할 수 있게 하는 컨테이너 솔루션을 개발하는 것이었다. 그러나, 컨테이너는 일반적으로 초기 구축 비용이 상대적으로 높고 컨테이너에 포함된 모든 기능이나 경험에 대한 반복 비용 및 각각의 경험을 실행하는 데 필요한 추가 처리 오버헤드로 인해 구현하는 데 비용이 많이 든다.
또 다른 기존 솔루션은 대화형 경험을 위해 완전히 별개의 애플리케이션을 만드는 것이다. 그러나, 이 잠재적인 솔루션은 사용자에게 제품 및 브랜드 혼란을 초래할 수 있으며, 마케팅 및 고객 확보, 애플리케이션 지원, 및 유지 관리와 관련된 비용이 증가한다. 또한, 모바일 상호 작용은 모바일 장치 자체의 처리 용량에 의해 제한될 수 있으며, 이는 게임 콘솔 또는 게임용으로 구성된 개인용 컴퓨터의 처리 용량보다 현저히 낮은 경향이 있다. 이러한 처리 제약은 모바일 장치에서 사용하기 위해 별도의 대화형 애플리케이션을 생성하기 위해 별개의 자산 생성 및 렌더링 파이프 라인을 필요로 할 수 있으며, 이는 상당한 추가 비용을 초래할 수 있다.
실질적으로 도면들 중 적어도 하나와 관련하여 도시되고/되거나 기술되고 청구 범위에보다 완전하게 기술된 바와 같이, 비디오 스트림 강화(enrichment)를 위한 클라우드 기반 이미지 렌더링을 수행하기 위한 시스템 및 방법이 제공된다.
도 1은 일 구현에 따른, 비디오 스트림 강화를 위해 클라우드 기반 이미지 렌더링을 수행하기 위한 예시적인 시스템의 다이어그램을 도시한다.
도 2a는 일 구현에 따른, 맞춤형 비디오 세그먼트를 포함하는 예시적인 비디오 스트림의 다이어그램을 도시한다.
도 2b는 일 구현에 따라 렌더링된 비디오 향상(enhancement)이 삽입된 맞춤형 비디오 세그먼트를 포함하는 예시적인 강화된 비디오 스트림의 다이어그램을 도시한다.
그리고, 도 3은 일 구현에 따라 비디오 스트림 강화를 위해 클라우드 기반 이미지 렌더링을 수행하기 위한 예시적인 방법을 제시하는 흐름도를 도시한다.
다음의 설명은 본 개시의 구현에 관한 특정 정보를 포함한다. 본 기술분야의 통상의 기술자는 본 개시가 본 명세서에서 구체적으로 논의된 것과 상이한 방식으로 구현될 수 있다는 것을 인식할 것이다. 본 출원의 도면 및 그에 수반되는 상세한 설명은 단지 예시적인 구현에 관한 것이다. 달리 언급되지 않는 한, 도면 중에서 유사하거나 대응하는 요소는 유사하거나 대응하는 참조 번호로 표시될 수 있다. 또한, 본 출원의 도면 및 예시는 일반적으로 크기가 맞춰진 것이 아니며, 실제의 상대적인 치수에 대응되도록 하고자 하지는 않는다.
본 출원은 종래 기술의 결함을 해결하고 극복하는 비디오 스트림 강화를 위한 클라우드 기반 이미지 렌더링을 수행하기 위한 시스템 및 방법을 개시한다. 또한, 본 비디오 스트림 강화 솔루션은 자동화된 프로세스로서 구현될 수 있다. 본 출원에서 사용되는 용어 "자동화된(automated)"은 인간의 개입이 필요하지 않은 시스템 및 프로세스를 지칭한다. 일부 구현들에서, 인간 시스템 관리자는 시스템들에 의해 그리고 여기에 설명된 방법들에 의해 이루어진 컨텐츠 강화 결정들을 검토하거나 심지어 수정할 수 있지만, 인간 참여는 선택적이다. 따라서, 본 출원에서 설명된 클라우드 기반 비디오 스트림 강화 솔루션은 개시된 시스템의 하드웨어 처리 컴포넌트의 제어 하에 수행될 수 있다.
도 1은 일 구현에 따른, 비디오 스트림 강화를 위해 클라우드 기반 이미지 렌더링을 수행하기 위한 예시적인 시스템의 다이어그램을 도시한다. 도 1에 도시된 바와 같이, 시스템(100)은 비디오 전달 유닛(101), 비디오 강화 유닛(102), 및 예를 들어 비디오 렌더링 서버와 같은 하나 이상의 비디오 렌더링 엔진(들)(108)을 포함한다. 도 1에 더 도시된 바와 같이, 시스템(100)의 비디오 강화 유닛(102)은 소프트웨어 코드(110)를 저장하는 비일시적 저장 장치로서 구현된 하드웨어 프로세서(104) 및 메모리(106)를 포함할 수 있다. 더욱이, 일부 구현들에서, 도 1에 도시된 바와 같이, 비디오 강화 유닛(102)의 메모리(106)는 사용자 프로필들(124a, 124b 및 124c)(이하 "사용자 프로필들(124a-124c)")을 포함하는 사용자 프로필 데이터베이스(112)를 저장할 수 있다.
시스템(100)은 컨텐츠 제공자(114), 하나 이상의 비대화형 비디오 플레이어(120)(이하, "비대화형 비디오 플레이어(120)"), 하나 이상의 대화형 비디오 플레이어(122a, 122b 및 122c)(이하, "대화형 비디오 플레이어(들)(122a-122c)", 및 시스템(100)의 요소들을 서로 링크하는 통신 링크(118) 및 컨텐츠 제공자(114), 비대화형 비디오 플레이어(들)(120)를 갖는 통신 링크(118)를 갖는 통신 네트워크(116) 및 대화형 비디오 플레이어(들)(122a-122c)를 포함하는 비디오 분배 환경에서 구현된다. 또한, 도 1은 컨텐츠 제공자(114)에 의해 시스템(100)에 제공되고 비대화형 비디오 플레이어(들)(120) 및 비디오 강화 유닛(102), 비디오 강화 유닛(102)에 의해 비디오로부터 획득된 하나 이상의 렌더링된 비디오 향상(138)(이하 "렌더링된 비디오 향상(들) 138")으로 전달된 비디오 스트림(130), 및 렌더링 엔진(들)(108), 및 비디오 강화 유닛(102)에 의해 분배된 렌더링된 비디오 향상(들)(138)을 포함하는 강화된 비디오 스트림들(140a 및 140b)을 도시한다. 또한, 도 1에는 각각의 대화형 비디오 플레이어(들)(122a-122c)로부터 비디오 강화 유닛(102)에 의해 수신된 사용자 입력 데이터(126a, 126b 및 126c), 및 비대화형 비디오 플레이어(들)(120) 중 하나 이상에 선택적으로 분배되는 약간 강화된 비디오 스트림(142)이 도시되어 있다.
도 1에 도시된 시스템(100)의 표현과 관련하여, 소프트웨어 코드(110) 및 사용자 프로필 데이터베이스(112)는 개념적 명확성을 위해 메모리(106)에 저장되는 것으로 도시되어 있지만, 보다 일반적으로, 메모리(106)는 임의의 컴퓨터 판독 가능한 비일시적 저장 매체의 형태를 취할 수 있음에 유의한다. 본 출원에서 사용되는 "컴퓨터 판독 가능 비일시적 저장 매체"라는 표현은 반송파 또는 비디오 강화 유닛(102)의 하드웨어 프로세서(104)와 같은 컴퓨팅 플랫폼의 하드웨어 프로세서에 명령을 제공하는 다른 일시적 신호를 제외한 임의의 매체를 지칭한다. 따라서, 컴퓨터 판독 가능한 비일시적 매체는 예를 들어 휘발성 매체 및 비휘발성 매체와 같은 다양한 유형의 매체에 대응할 수 있다. 휘발성 매체는 동적 랜덤 액세스 메모리(동적 RAM)와 같은 동적 메모리를 포함할 수 있는 반면, 비휘발성 메모리는 광학, 자기, 또는 정전 저장 장치를 포함할 수 있다. 컴퓨터 판독 가능한 비일시적인 매체의 일반적인 형태는 예를 들어 광학 디스크, RAM, 프로그래밍 가능한 판독 전용 메모리(programmable read-only memory, PROM), 소거 가능한 PROM(erasable PROM, EPROM) 및 FLASH 메모리를 포함한다.
비록 도 1이 소프트웨어 코드(110) 및 사용자 프로필 데이터베이스(112)가 메모리(106)에 서로 공존하는 것으로 도시되어 있지만, 그 표현은 또한 단지 개념적 명확성을 돕기 위해 제공되는 것임을 유의한다. 보다 일반적으로, 시스템(100)은 예를 들어 공존 수 있거나 대화형으로 링크되었지만 분산된 시스템의 일부일 수 있는 컴퓨터 서버와 같은 하나 이상의 컴퓨팅 플랫폼을 포함할 수 있다. 예를 들어, 일 구현에서, 비디오 전달 유닛(101), 비디오 강화 유닛(102), 및 비디오 렌더링 엔진(들)(108)은 통신 네트워크(116) 및 네트워크 통신 링크(118)에 의해 대화형으로 링크된 클라우드 기반 분산 시스템(100)의 일부일 수 있다. 따라서, 비디오 전달 유닛(101), 비디오 강화 유닛(102), 비디오 렌더링 엔진(들)(108) 및 사용자 프로필 데이터베이스(112) 각각은 클라우드 기반 시스템(100)의 분산 자원 내에서 서로 원격일 수 있음을 이해해야 한다.
또한, 대화형 비디오 플레이어(들)(122a-122c)가 스마트 폰(122a), 랩탑 컴퓨터(122b) 및 태블릿 컴퓨터(122c)로서 각각 도시되어 있지만, 이들 표현은 단지 예로서 제공됨을 유의한다. 보다 일반적으로, 대화형 비디오 플레이어(들)(122a-122c)는 통신 네트워크(116)에 대한 연결을 지원하기에 충분한 데이터 처리 능력을 구현하고 본원에서 대화형 비디오 플레이어(들)(122a-122c)에 부여된 기능을 구현하는 임의의 적합한 모바일 또는 고정 장치 또는 시스템일 수 있다. 예를 들어, 다른 구현에서, 대화형 비디오 플레이어(122a-122c)는 데스크탑 컴퓨터, 스마트 텔레비전(스마트 TV) 또는 게임 콘솔의 형태를 취할 수 있다.
본 출원에 정의된 바와 같이, "대화형 비디오 플레이어" 기능은, 예를 들어 웹 브라우저와 같은 사용자 인터페이스를 포함하는 비디오 플레이어를 말하며, 이는 대화형 비디오 플레이어의 사용자가 대화형 비디오 플레이어에 의한 비디오 스트림의 재생에 의해 묘사된 동작에 적극적으로 참여할 수 있게 하는 사용자 피드백을 지원한다. 예를 들어, 대화형 비디오 플레이어는 스포츠 이벤트를 시청하는 사용자가 동작의 시점을 변경하고 경기장 및 운동 선수의 3D 렌더링을 사용자에 의해 선택된 관점으로부터 보여주는 입력을 제공할 수 있게 할 수 있다. 또한, 이러한 구현에서, 대화형 비디오 플레이어는 사용자의 판타지 스포츠 팀에서 하나 이상의 운동 선수에 대한 통계를 보여주는 3D 오버레이와 같이, 자신의 개인 취향에 맞는 특수 이미지를 요청할 수 있게 할 수 있다.
다른 예로서, 사용자에게 영화를 표시하는 대화형 비디오 플레이어는 사용자가 영화의 특정 세그먼트에 나타나는 객체 또는 캐릭터를 제어할 수 있게 할 수 있다. 예를 들어, 자동차 경주를 보여주는 영화의 맞춤형 비디오 세그먼트에서, 영화를 재생하는 대화형 비디오 플레이어의 사용자는 자동차 경주의 가상 참가자가 되도록 경주 차량 중 하나를 제어할 수 있다.
대조적으로, 본 출원에서 정의된 바와 같이, 비대화형 비디오 플레이어(들)(120)는 볼륨 제어뿐만 아니라 "재생", "일시 정지", "중지", "되감기" 및 "빨리 감기"와 같은 기본적인 사용자 제어만을 제공함으로써, 컨텐츠 제공자(114)에 의해 비디오 스트림(130) 또는 약간 강화된 비디오 스트림(142)에 포함된 컨텐츠의 수동적 소비만을 가능하게 한다. 즉, 비대화형 비디오 플레이어(120)는 단지 컨텐츠 제공자(114)에 의해 선택되고 시스템(100)의 비디오 전달 유닛(101)에 의해 비대화형 비디오 플레이어(120)에 전달된 비디오 스트림(130)에 포함된 기본 컨텐츠 및 그래픽 오버레이를 표시하도록 구성될 수 있다.
일 구현에서, 컨텐츠 제공자(114)는 비디오 스트림(130)으로서 TV 컨텐츠를 제공하는 미디어 엔티티일 수 있다. 비디오 스트림(130)은 예를 들어, 내장된 오디오, 캡션, 타임 코드, 및 등급 및/또는 보호자 가이드 라인과 같은 기타 보조 메타데이터를 갖는 초 고화질(ultra HD), 고선명(HD), 또는 SD(standard-definition) 베이스 밴드 비디오 신호를 포함하는 선형 TV 프로그램 스트림일 수 있다. 일부 구현들에서, 비디오 스트림(130)은 다수의 오디오 트랙들을 포함할 수 있고, 예를 들어 SAP(secondary audio programming) 및/또는 DVS(Descriptive Video Service)를 이용할 수 있다.
비디오 스트림(130)은 예를 들어 종래의 케이블 및/또는 위성 네트워크를 포함할 수 있는 TV 방송 플랫폼(도 1에 도시되지 않음)을 사용하여 전통적인 TV 시청자에게 동일한 소스 비디오 컨텐츠 방송을 포함할 수 있다. 또한, 도 1에 도시된 바와 같이, 컨텐츠 제공자(114)는 비디오 스트림(130)에 포함된 컨텐츠가 예를 들어 인터넷과 같은 패킷 교환 네트워크를 포함할 수 있는 통신 네트워크(116)와 같은 대안적인 분배 채널을 통해 이용 가능하게 하는 것이 유리하거나 바람직하다는 것을 알 수 있다.
도 1의 구현에 따르면, 비디오 전달 유닛(101)은 통신 네트워크(116)를 통해 비디오 전달 유닛(101)에 링크된 비대화형 비디오 플레이어(들)(120)를 검출하고, 비디오 스트림(130)을 비대화형 비디오 플레이어(들)(120)로 전달하고, 통신 네트워크(116)를 통해 동일한 비디오 스트림(130)을 비디오 강화 유닛(102)으로 전달한다. 비디오 강화 유닛(102)은 비디오 전달 유닛(101)으로부터 비디오 스트림(130)을 수신하고, 통신 네트워크(116)를 통해 비디오 강화 유닛(102)에 연결된 대화형 비디오 플레이어(들)(122a-122c)를 검출하고, 비디오 스트림(130)에서 하나 이상의 맞춤형 비디오 세그먼트에 대응하는 비디오 향상을 식별한다. 또한, 비디오 강화 유닛(102)은 렌더링 엔진(들)(108)으로부터 획득된 렌더링된 비디오 향상(들)(138)으로서 비디오 향상을 하나 이상의 맞춤형 비디오 세그먼트에 삽입하여 강화된 비디오 스트림(140a 및/또는 140b)을 생성하고, 강화된 비디오 스트림 또는 스트림들을 하나 이상의 대화형 비디오 플레이어(들)(122a-122c)에 분배한다. 다시 말해, 비디오 향상(들)(138)은 대화형 비디오 플레이어(들)(122a-122c)에서 렌더링되지 않는다. 대신에, 비디오 향상(들)은 클라우드 기반 분산 시스템(100)에서 원격 렌더링 엔진(들)(108)에 의해 렌더링된다.
시스템(100)의 비디오 강화 유닛(102)은 비디오 전달 유닛(101)으로부터 비디오 스트림(130)을 수신하는 것에 대하여 실질적으로 실시간으로 강화된 비디오 스트림(140a 및/또는 140b)을 분배하도록 구성된다. 또한, 일부 구현들에서, 시스템(100)은 비디오 스트림(130) 또는 약간 강화된 비디오 스트림(142)을 비대화형 비디오 플레이어(들)(120)에 분배하고 강화된 비디오 스트림(140a 및/또는 140b)을 실질적으로 동시에 대화형 비디오 플레이어(들)(122a-122c)에 분배하도록 구성된다.
전술한 결과, 동일한 기본 비디오 스트림(130)은 대화형 사용자 피드백을 가능하게 하는 대화형 비디오 플레이어(들)(122a-122c)에 풍부한 비디오 컨텐츠를 분배하는 데, 그리고 강화되지 않은 비디오 컨텐츠를 그 기능이 결여된 비대화형 비디오 플레이어(들)(120)에 분배하는 데 유리하게 사용될 수 있다. 비대화형 비디오 플레이어(들)(120)에 분배된 강화되지 않은 비디오 스트림은 향상 또는 커스터마이즈 없이 컨텐츠 제공자(114)에 의해 비디오 스트림(130)에 포함된 컨텐츠를 제공 할 수 있다. 다시 말해서, 비대화형 비디오 플레이어(들)(120)에 제공된 비디오 스트림(130)에 포함된 맞춤형 비디오 세그먼트는 컨텐츠 제공자(114)에 의해 비디오 스트림(130)에 삽입된 일반적이고 미리 결정된 컨텐츠만을 포함할 수 있다.
그러나, 일부 구현에서, 비디오 스트림(130)은 일부 기본 향상을 포함할 수 있고 비디오 강화 유닛(102)에 의해 약간 강화된 비디오 스트림(142)으로서 하나 이상의 비대화형 비디오 플레이어(120)에 분배될 수 있음에 유의한다. 예를 들어, 비디오 스트림(130)은 스포츠 이벤트의 방송이고, 비대화형 비디오 플레이어(들)(120) 중 하나의 사용자에 대응하는 사용자 프로필(124a 내지 124c) 중 하나가 그 사용자의 선호하는 팀을 식별하는 데이터를 포함하는 경우, 팀 컬러 및/또는 팀 로고는 기본 그래픽 오버레이로서 약간 강화된 비디오 스트림(142)에 포함될 수 있다.
도 2a는 일 구현에 따른, 맞춤형 비디오 세그먼트를 포함하는 예시적인 비디오 스트림의 다이어그램을 도시한다. 도 2a에 도시된 바와 같이, 비디오 스트림(230)은 하나 이상의 미리 결정된 비디오 세그먼트(232a, 232b 및 232c)(이하 "미리 결정된 비디오 세그먼트(232a-232c)") 및 하나 이상의 사용자 정의 가능한 비디오 세그먼트(234a 및 234b)를 포함한다. 비디오 스트림(230)이 3 개의 미리 결정된 비디오 세그먼트(232a-232c) 및 2개의 사용자 정의 가능한 비디오 세그먼트(234a 및 234b)를 포함하는 것으로 도시되어 있지만, 그 표현은 명확성 및 프리젠테이션의 경제성을 위해 제공됨에 유의한다. 보다 일반적으로, 비디오 스트림(230)은 3개 이상의 미리 결정된 비디오 세그먼트들(232a-232c)을 포함할 수 있다. 또한, 비디오 스트림(230)은 맞춤형 비디오 세그먼트(234a 또는 234b) 중 적어도 하나를 포함하지만, 둘 이상의 맞춤형 비디오 세그먼트를 포함할 수 있다.
미리 결정된 비디오 세그먼트들(232a-232c)은 컨텐츠 제공자(114)에 의해 비디오 스트림(230)에 포함된 컨텐츠를 포함하며 변경되지 않는다. 대조적으로, 맞춤형 비디오 세그먼트(234a, 234b)는 예를 들어 도 1에서 렌더링된 비디오 향상(138)에 의해 향상되거나 대체됨으로써 강화될 수 있는 비디오 스트림(230)에 디폴트 컨텐츠를 포함한다. 도 2a에서 비디오 스트림(230)은 일반적으로 도 1에서 비디오 스트림(130)에 대응한다. 즉, 비디오 스트림(130)은 본 개시에 의해 대응하는 비디오 스트림(230)에 기인한 특성들 중 임의의 특성을 공유할 수 있으며, 그 역도 마찬가지이다. 결과적으로, 도 1에는 도시되지 않았지만, 비디오 스트림(130)은 미리 결정된 비디오 세그먼트(232a-232c) 및 맞춤형 비디오 세그먼트(234a 및 234b)에 각각 대응하는 특징을 포함할 수 있다.
도 2b는 일 구현에 따라, 각각의 렌더링된 비디오 향상(238a 및 238b)이 삽입된 맞춤형 비디오 세그먼트(234a 및 234b)를 포함하는 예시적인 강화된 비디오 스트림(240)의보다 상세한 다이어그램을 도시한다. 도 2a에 도시된 것과 동일한 참조 번호로 식별된 도 2b의 임의의 특징은 각각 그 특징에 대응하고 상기 특징에 기인 한 임의의 특성을 공유할 수 있음에 유의한다.
도 2b에서 강화된 비디오 스트림(240)은 일반적으로 도 1에서 강화된 비디오 스트림(140a 및 140b) 중 하나 또는 둘 모두에 대응한다. 즉, 강화된 비디오 스트림들(140a 및 140b)은 본 개시에 의해 대응하는 강화된 비디오 스트림(240)에 기인한 특성들 중 임의의 특성을 공유할 수 있으며, 그 역도 마찬가지이다. 결과적으로, 도 1에는 도시되어 있지 않지만, 강화된 비디오 스트림들(140a 및 140b)은 미리 결정된 비디오 세그먼트들(232a-232c) 및 각각의 렌더링된 비디오 향상들(238a 및 238b)이 삽입된 맞춤형 비디오 세그먼트들(234a 및 234b)에 각각 대응하는 특징들을 포함할 수 있다.
또한, 렌더링된 비디오 향상(238a 및 238b)은 일반적으로 도 1에서 렌더링된 비디오 향상(들)(138)에 대응한다. 따라서, 렌더링된 비디오 향상(238a 및 238b)은 본 개시에 의해 렌더링된 비디오 향상(138)에 기인하는 임의의 캐릭터를 공유할 수 있으며, 그 역도 마찬가지이다.
시스템(100)의 기능은 도 1, 도 2a, 및 도 2b와 결합하여 도 3을 참조하여 추가로 설명될 것이다. 도 3은 일 구현에 따라 비디오 스트림 강화를 위해 클라우드 기반 이미지 렌더링을 수행하기 위한 예시적인 방법을 제시하는 흐름도(350)를 도시한다. 도 3에서 개략적으로 설명된 방법과 관련하여, 본 출원에서 본 발명의 특징의 논의를 모호하게 하지 않기 위해 특정 세부 사항 및 특징이 흐름도(350)에서 제외되었다는 점에 유의한다.
도 1 및 도 2a와 결합하여 도 3을 참조하면, 흐름도(350)는 시스템(100)의 비디오 전달 유닛(101)에 의해 통신 네트워크(116)를 통해 비디오 전달 유닛(101)에 링크된 비대화형 비디오 플레이어(들)(120)를 검출하는 것으로 시작한다(동작 351). 비대화형 비디오 플레이어(들)(120)는 사용자가 비디오 스트림의 재생에 의해 묘사된 동작에 능동적으로 참여할 수 있게 하는 사용자 입력을 수신 또는 송신하도록 구성되지 않은 비디오 플레이어이다. 전술한 바와 같이, 비대화형 비디오 플레이어(들)(120)는 볼륨 제어뿐만 아니라 "재생", "일시 정지", "중지", "되감기"및 "빨리 감기"와 같은 기본적인 사용자 제어만을 제공함으로써, 컨텐츠 제공자(114)에 의해 비디오 스트림(130/230) 또는 약간 강화된 비디오 스트림(142)에 포함된 컨텐츠의 수동적 소비만을 가능하게 한다.
흐름도(350)는 비디오 전달 유닛(101)에 의해 비디오 스트림(130/230)을 비대화형 비디오 플레이어(들)(120)로 전달하는 것을 계속한다(동작 352). 일부 구현들에서, 비디오 스트림(130/230)은 강화되지 않은 비디오 스트림으로서 비대화형 비디오 플레이어(들)(120)로 전달된다. 즉, 이러한 구현들에서, 비디오 스트림(130/230)은 비대화형 비디오 플레이어(들)(120)로 전달될 때 컨텐츠 제공자(114)로부터 비디오 전달 유닛(101)에 의해 수신된 컨텐츠만을 포함한다.
그러나, 전술한 바와 같이, 일부 구현들에서, 비디오 스트림(130/230)은 일부 기본 향상을 포함할 수 있고 비디오 강화 유닛(102)에 의해 약간 강화된 비디오 스트림(142)으로서 하나 이상의 비대화형 비디오 플레이어(120)에 분배될 수 있음에 유의한다. 예를 들어, 비디오 스트림(130/230)은 스포츠 이벤트의 방송이고, 비대화형 비디오 플레이어(들)(120) 중 하나의 사용자에 대응하는 사용자 프로필(124a 내지 124c) 중 하나가 그 사용자의 선호하는 팀을 식별하는 데이터를 포함하는 경우, 팀 컬러 및/또는 팀 로고는 기본 그래픽 오버레이로서 약간 강화된 비디오 스트림(142)에 포함될 수 있다. 대안적으로, 비대화형 비디오 플레이어(들)(120)는 그들의 지리적 위치에 기초하여 기본 향상을 수신할 수 있다. 예를 들어, 텍사스 주에 위치하며 프로 축구 게임의 약간 강화된 비디오 스트림(142)을 그래픽 오버레이로서 수신하는 비대화형 비디오 플레이어(120)(120)는 약간 강화된 비디오 스트림의 텍사스 기반 프로 축구 프랜차이즈 모두에 대한 팀 컬러 및/또는 팀 로고를 가질 수 있다.
비디오 강화 유닛(102)에 의해 약간 강화된 비디오 스트림(142)에 포함된 "약간의 향상"은, 렌더링된 비디오 향상(138/238a/238b)과 대조적으로, 약간 강화된 비디오 스트림(142)에 포함된 광 향상은 사용자 피드백을 요구하거나 청하지 않는다는 점에서 렌더링된 비디오 향상(들)(138/238a/238b)으로 렌더링된 비디오 향상과 구별될 수 있다. 반대로, 약간 강화된 비디오 스트림(142)에 포함된 가벼운 비디오 향상은 전형적으로 팀 컬러 및/또는 로고의 2차원(2D) 또는 3D 그래픽 오버레이, 및/또는 비대화형 비디오 플레이어(120)의 사용자(들)에 의한 비디오 스트림(130)에 포함된 컨텐츠에 대한 동반되는 것(accompaniment)으로서 수동적 소비를 위해 제공되는 플레이어 통계로 제한된다.
흐름도(350)는 비디오 전달 유닛(101)에 의해 비디오 스트림(130/230)을 비디오 강화 유닛(102)으로 전달하고(동작 353), 비디오 강화 유닛(102)에 의해 비디오 스트림(130/230)에 의해 비디오 전달 유닛(101)으로부터 수신을 계속한다(동작 354). 일부 구현들에서, 비디오 스트림(130/230)은 강화되지 않은 비디오 스트림으로서 비디오 향상 유닛(102)에 전달되고 수신된다. 즉, 이러한 구현들에서, 비디오 스트림(130/230)은 비디오 향상 유닛(102)으로 전달될 때 컨텐츠 제공자(114)로부터 비디오 전송 유닛(101)에 의해 수신된 컨텐츠만을 포함한다. 비디오 스트림(130/230)은 하드웨어 프로세서(104)에 의해 실행되는 소프트웨어 코드(110)를 사용하여 비디오 향상 유닛(102)에 의해 수신될 수 있다.
흐름도(350)는 비디오 강화 유닛(102)에 의해 통신 네트워크(116)를 통해 비디오 강화 유닛(102)에 링크된 대화형 비디오 플레이어(들)(122a-122c)를 검출하는 단계를 계속한다(동작 355). 전술한 바와 같이, 대화형 비디오 플레이어(122a-122c)는 예를 들어 웹 브라우저와 같은 사용자 인터페이스를 포함하는 비디오 플레이어를 말하며, 이는 대화형 비디오 플레이어의 사용자가 대화형 비디오 플레이어에 의한 비디오 스트림의 재생에 의해 묘사된 동작에 적극적으로 참여할 수 있게 하는 사용자 피드백을 지원한다. 따라서, 대화형 비디오 플레이어(들)(122a-122c)는 예를 들어 스마트 폰, 데스크탑 또는 랩탑 컴퓨터, 태블릿 컴퓨터, 스마트 TV 또는 게임 콘솔의 형태를 취할 수 있다. 대화형 비디오 플레이어(들)(122a-122c)의 검출은 하드웨어 프로세서(104)에 의해 실행되는 비디오 강화 유닛(102)의 소프트웨어 코드(110)에 의해 수행될 수 있다.
흐름도(350)는 비디오 스트림(130/230)에서 하나 이상의 맞춤형 비디오 세그먼트(234a 및 234b)에 대응하는 비디오 향상을 비디오 강화 유닛(102)에 의해 식별하는 단계를 계속한다(동작 356). 하나 이상의 맞춤형 비디오 세그먼트(234a 및 234b)에 대응하는 비디오 향상의 식별은 비디오 강화 유닛(102)의 소프트웨어 코드(110)에 의해 수행될 수 있고, 하드웨어 프로세서(104)에 의해 실행되며, 몇 가지 상이한 기준 중 임의의 것에 기초할 수 있다. 개념의 명확성을 위해, 동작(356) 및 흐름도(350)의 후속 동작은 대화형 비디오 플레이어(122a)를 참조하여 설명될 것이다. 그러나, 본 방법은 임의의 대화형 비디오 플레이어(들)(122a-122c)에 동일하게 적용 가능하다는 것에 유의한다.
예를 들어, 사용자 프로필(124a)과 같은 사용자 프로필(124a-124c) 중 하나가 대화형 비디오 플레이어(122a)의 사용자에 대응하는 경우, 사용자 프로필(124a)에 저장된 정보는 비디오 스트림(130/230)에서 하나 이상의 맞춤형 비디오 세그먼트(234a 및 234b)에 대응하는 비디오 향상을 식별하는 데 사용될 수 있다. 예를 들어, 사용자의 시청 이력, 사용자 프로필(124a)에 저장된 사용자 선호도, 또는 사용자의 나이, 성별 또는 거주지가 비디오 스트림(130/230)에서 하나 이상의 맞춤형 비디오 세그먼트(234a 및 234b)에 대응하는 바람직한 비디오 향상을 식별하는 데 사용될 수 있다. 대안적으로 또는 추가적으로, 대화형 비디오 플레이어(122a)의 대화형 특징 및 기능을 설명하는 사용자 프로필(124a)에 저장된 정보는 하나 이상의 맞춤형 비디오 세그먼트(234a 및 234b)에 대응하는 바람직한 비디오 향상을 식별하는 데 사용될 수 있다. 따라서, 일부 구현들에서, 동작(356)에서의 비디오 향상의 식별은 사용자 피드백 없이 자동으로 수행될 수 있다.
그러나, 다른 구현들에서, 대화형 비디오 플레이어(122a)의 사용자는 비디오 스트림(130/230)에서 하나 이상의 맞춤형 비디오 세그먼트들(234a 및 234b)에 대응하는 바람직한 비디오 향상의 식별을 선택하거나 그렇지 않으면 가능하게 하는 사용자 입력 데이터(126a)를 확정적으로 제공할 수 있다. 예를 들어, 일부 구현들, 특히 사용자 프로필(124a)에 저장된 정보가 드문 경우에, 사용자 입력 데이터(126a)는 대화형 비디오 플레이어(122a)의 사용자로부터 요청될 수 있다. 사용자 입력 데이터(126a)는 몇 가지 예를 들기 위해 좋아하는 스포츠 팀, 운동 선수, 영화, TV 프로그램, 드라마 캐릭터, 또는 대화형 비디오 플레이어(122a) 사용자의 행위자를 식별할 수 있다.
도 2b를 더 참조하여 흐름도(350)를 참조하면, 흐름도(350)는 비디오 강화 유닛(102)에 의해 렌더링된 비디오 향상(들)(138/238a/238b)을 하나 이상의 맞춤형 비디오 세그먼트(234a 및 234b)에 삽입하여 강화된 비디오 스트림(140/240)을 생성하는 단계를 계속한다(동작 357). 렌더링된 비디오 향상(들)(138/238a/238b)을 하나 이상의 맞춤형 비디오 세그먼트(234a 및 234b)에 삽입하는 것은 하드웨어 프로세서(104)에 의해 실행되는 비디오 강화 유닛(102)의 소프트웨어 코드(110)에 의해 수행될 수 있다.
일부 구현들에서, 렌더링된 비디오 향상(들)(138/238a/238b)은 3D 이미지로서 렌더링된 사용자 대화형 객체의 형태를 취할 수 있다. 예를 들어, 스포츠 이벤트를 시청하는 대화형 비디오 플레이어(122a)의 사용자로부터의 사용자 입력 데이터(126a)는 비디오 강화 유닛(102)이 사용자에 의해 선택된 관점으로부터 경기장 및 운동 선수의 3D 렌더링 형태로 렌더링된 비디오 향상(들)(138/238a/238b)을 삽입하게 할 수 있다. 또한 또는 대안적으로, 이러한 구현에서, 렌더링된 비디오 향상(들)(138/238a/238b)은 하나 이상의 개별 운동 선수에 대한 팀 통계 또는 통계를 보여주는 3D 오버레이의 형태를 취할 수 있다. 또한, 일부 구현들에서, 렌더링 비디오 향상(들)(138/238a/238b)은 대화형 퀴즈, 게임 또는 설문 조사의 형태를 취하여 다수의 사용자가 협력하여 피드백을 제공하고 및/또는 하나 이상의 맞춤형 비디오 세그먼트(234a 및 234b)로의 렌더링 및 삽입을 위한 추가 비디오 향상을 선택하는 데 참여할 수 있게 한다.
도 1에 도시된 바와 같이, 일부 구현들에서, 비디오 강화 유닛(102)은 비디오 강화 유닛(102)에 통신 가능하게 연결된 비디오 렌더링 엔진(들)(108) 중 하나로부터 렌더링된 비디오 향상(들)(138/238a/238b)을 획득할 수 있다. 도 1에 더 도시된 바와 같이, 이러한 구현들 중 일부에서, 비디오 강화 유닛(102)은 통신 네트워크(116)를 통해 비디오 렌더링 엔진(들)(108)에 통신 가능하게 연결될 수 있다. 위에서 언급한 바와 같이, 일부 사용 사례에서, 통신 네트워크(116)는 인터넷과 같은 패킷 교환 네트워크일 수 있다. 그러나, 다른 구현들에서, 통신 네트워크(116)는 예를 들어 4G 셀룰러 네트워크(4G 네트워크)와 같은 광대역 셀룰러 네트워크 또는 ITU(International Telecommunication Union)에 의해 확립된 IMT-2020 요구 사항을 만족시키는 5G 네트워크를 포함할 수 있다.
따라서, 일부 구현들에서, 비디오 강화 유닛(102)은 동작 356에서 하나 이상의 맞춤형 비디오 세그먼트들(234a 및 234b)에 대응하는 비디오 향상을 식별할 수 있지만, 렌더링된 비디오 향상(들)을 생성하기 위해 그 비디오 향상의 렌더링(138/238a /) 238b는 비디오 렌더링 엔진(들)(108) 중 하나에 의해 수행될 수 있다. 이러한 구현들 중 일부에서, 비디오 렌더링 엔진(들)(108)은 렌더링된 비디오 향상(들)(138/238a/238b)을 예를 들어 HLS(Hypertext Transfer Protocol(HTTP) Live Stream) 비디오, LHLS(low-latency HLS) 비디오, 또는 DASH(Dynamic Adaptive Streaming over HTTP) 비디오 중 하나로 인코딩하도록 구성될 수 있다.
더욱이, 렌더링된 비디오 향상(들)(138/238a/238b)의 렌더링이 비디오 렌더링 엔진(들)(108) 중 하나에 의해 수행되는 일부 구현들에서, 렌더링된 비디오 향상(들)(138/238a/238b)은 렌더링된 비디오 향상(들)(138/238a/238b)의 재생 동안 대화형 비디오 플레이어(122a)의 사용자에 의한 대화형 피드백을 가능하게 하도록 대화형 비디오 플레이어(122a)에 지시하는 비디오 렌더링 엔진(들)(108)에 의해 적용되는 메타데이터 태그를 포함할 수 있다. 예를 들어, 이러한 메타데이터 태그는 비디오 렌더링 엔진(들)(108)에 의해 렌더링된 비디오 향상(들)(138/238a/238b)에 저장된 ID3 태그의 형태를 취할 수 있다. 렌더링된 비디오 향상(들)(138/238a/238b)은 클라우드 기반 시스템(100)의 분산된 메모리 자원에 의해 저장되고 렌더링 엔진(들)(108)에 의해 액세스 가능한 비디오 향상 템플릿으로부터 생성 될 수 있음에 유의한다.
일부 구현들에서, 흐름도(350)는 비디오 강화 유닛(102)에 의해 강화된 비디오 스트림(140a/240)을 하나 이상의 대화형 비디오 플레이어(들)(122a-122c)에 분배하는 것으로 결론을 내릴 수 있다(동작 358). 동작 358에서 강화된 비디오 스트림(140a/240)의 분배는 하드웨어 강화 프로세서(104)에 의해 실행되는 비디오 강화 장치(102)의 소프트웨어 코드(110)에 의해 그리고 통신 네트워크(116)를 통해 수행될 수 있다. 위에서 언급했듯이, 일부 구현들에서, 비디오 전달 유닛(101)으로부터 비디오 스트림(130/230)을 수신하는 비디오 강화 유닛(102)에 대해 하나 이상의 대화형 비디오 플레이어(들)(122a-122c) 로의 강화된 비디오 스트림(140a/240)의 분배는 실시간으로 발생할 수 있다.
일부 사용 사례에서, 강화된 비디오 스트림(140a/240)이 생성되어 대화형 비디오 플레이어(122a)와 같은 단일의 대화형 비디오 플레이어에 분배될 수 있다. 그러나, 다른 구현들에서, 비디오 컨텐츠를 함께 시청하는 경험을 공유하는 사용자 그룹에 의해 하나 이상의 대화형 비디오 플레이어가 사용될 수 있다. 이러한 구현들에서, 강화된 비디오 스트림(140a)이 대화형 비디오 플레이어들(122a 및 122b) 모두에 분배됨으로써 도 1에 도시된 바와 같이, 동일한 강화된 비디오 스트림이 다수의 대화형 비디오 플레이어들에게 분배될 수 있다. 즉, 일부 구현들에서, 강화된 비디오 스트림(140a)은 비디오 강화 유닛(102)에 링크된 하나 이상의 대화형 비디오 플레이어(들)(122a-122c)에 분배될 수 있다.
동작들(351 내지 358)이 흐름도(350)에 의해 설명되는 순서는 단지 예시적인 것임에 유의한다. 즉, 다른 구현들에서, 동작들(351 내지 358)은 순서가 재배열될 수 있고/있거나 동작들(351-358) 중 일부는 실질적으로 병렬로 수행될 수 있다. 예를 들어, 일 구현에서, 동작 351 및 355는 병렬로 수행될 수 있는 반면, 다른 구현에서, 동작 355는 동작 351 내지 354 전에 수행될 수 있다. 대안적으로, 일부 구현들에서, 동작 352 및 353은 병렬로 수행될 수 있다. 또 다른 예로서, 일부 구현들에서, 동작(351 및 352는 동작 358 후에 수행될 수 있다.
동작(356, 357, 및 358)은 다수의 상이한 대화형 비디오 플레이어(들)(122a-122c)에 대해 동시에 순차적으로 수행될 수 있다는 것에 유의한다. 즉, 전술한 대화형 비디오 플레이어(122band/또는 122a)에 대한 흐름도(350)의 동작들(356, 357 및 358)의 수행과 동시에, 대화형 비디오 플레이어(들)(122a-122c)의 하나 이상의 다른 사람들을 위해 비디오 강화 유닛(102)에 의해 동일한 동작들이 수행될 수 있다. 예를 들어, 대화형 비디오 플레이어(122c)의 경우, 비디오 강화 유닛(102)은 대화형 비디오 플레이어(122c)를 위한 하나 이상의 맞춤형 비디오 세그먼트(234a 및 234b)에 대응하는 상이한 비디오 향상을 식별할 수 있고, 다른 렌더링된 비디오 향상(138/238a/238b)으로서 다른 비디오 향상을 사용자 정의 가능한 비디오 세그먼트(234a 및/또는 234b)에 삽입하여 상이한 강화된 비디오 스트림(140b/240)을 생성할 수 있다. 비디오 강화 유닛(102)은 강화된 비디오 스트림(140a/240)을 대화형 비디오 플레이어(들)(122b 및/또는 122a)에 분배 함과 동시에 서로 다른 강화된 비디오 스트림(140b/240)을 대화형 비디오 플레이어(122c)에 분배할 수 있다.
따라서, 본 출원은 비디오 스트림 강화를 위해 클라우드 기반 이미지 렌더링을 수행하기 위한 시스템 및 방법을 개시한다. 전술한 바와 같이, 여기에 개시된 시스템 및 방법은 대화형 비디오 플레이어(122a-122c)의 사용자가 비디오 스트림(130/230)으로 튜닝 할 때 사용자가 자신의 장치에서 실행되는 맞춤형 애플리케이션을 사용하도록 요구하지 않고 볼 수 있는 것을 증가시킨다. 이러한 대화형 환경에 필요한 그래픽 렌더링을 제공 할 수 있는 사용자의 대화형 비디오 플레이어에서 실행되는 맞춤 애플리케이션을 만드는 대신, 본 발명의 원리에 따르면, 그래픽 비디오 향상은 사용자 입력 데이터(126a, 126b 또는 126c)와 같은 사용자 입력 데이터에 의해 구동되는 원격 비디오 렌더링 엔진(들)(108) 중 하나에서 대화형 비디오 플레이어에 대해 렌더링될 수 있다.
본 출원에 개시된 클라우드 기반 비디오 강화 솔루션은 몇 가지 이점을 제공한다. 첫째, 본 솔루션은 비디오 스트림에 대한 사용자의 상호 작용 경험이 성능 제한으로 인해 비디오 플레이어에 통상적으로 렌더링될 수 없는 컨텐츠에 의해 증강되거나 다른 방식으로 강화될 수 있게 한다. 즉, 본 발명의 원리에 따르면, 3D 그래픽과 같은 비디오 향상은 강화된 비디오 스트림(140a/140b/240)의 일부로서 원격으로 렌더링되고 분배되기 때문에, 렌더링된 비디오 향상(들)(138/238a/238b)의 품질에 대한 유일한 제약은 클라우드 기반 비디오 렌더링 엔진(들)(108)의 처리 능력이다. 따라서, 본 발명의 원리에 따르면, 흐름도(350)의 동작(356)에서 식별된 비디오 향상 또는 향상의 렌더링은 그 비디오 향상을 수신하는 대화형 비디오 플레이어에 의해 렌더링되지 않는다는 것이 강조된다.
둘째, 본 솔루션은 기존의 비디오 스트리밍 애플리케이션 및 기존의 웹 브라우저 기반 비디오 플레이어의 지속적인 사용을 지원하면서 사용자에게 새로운 대화형 경험을 제공한다. 동일한 비디오 스트림은 예를 들어 컨텐츠 제공자(114)로부터 비디오 전달 유닛(101) 및 비대화형 비디오 플레이어(120)로 전달된다. 또한, 렌더링된 비디오 향상(138/238a/238b)이 HLS, LHLS 또는 DASH와 같은 잘 확립된 표준을 준수하도록 인코딩된 사용 사례에서 강화된 비디오 스트림(140a/140b/240) 또는 약간 강화된 비디오 스트림(142)을보기 위해 추가 소프트웨어가 필요하지 않다.
셋째, 대화형 비디오 플레이어의 사용자에 대한 대화형 뷰는 2D 오버레이에만 국한되지 않고, 사용자의 비디오 플레이어의 그래픽 처리 능력에 의해 제약받지 않는 품질 수준으로 렌더링된 객체의 상세한 3D 렌더링을 포함할 수 있다(예를 들어, 대화형 비디오 플레이어(들)(122a-122c). 예를 들어, 날씨 보고서의 비디오 스트림은 지형에 대한 3D 렌더링 및 날씨에 대한 시각 효과로 풍부해질 수 있다.
넷째, 대화형 기능을 갖는 대화형 비디오 플레이어(122a-122c)는 렌더링된 비디오 향상(138/238a/238b)과 함께 강화된 비디오 스트림(140a/140b/240)을 유리하게 수신하고, 한편 비대화형 비디오 플레이어(들)(120)는 비디오 전달 유닛(101)에 의해 전달된 표준 정적 비디오 스트림(130/230)을 수신하거나 유리하게 비디오 강화 유닛(102)으로부터 약간 강화된 비디오 스트림(142)을 수신한다.
전술한 설명으로부터, 다양한 기술이 이러한 개념의 범위를 벗어나지 않으면 서 본 출원에 설명된 개념을 구현하기 위해 사용될 수 있음이 명백하다. 또한, 개념이 특정 구현 예를 참조하여 기술되었지만, 본 기술분야의 통상의 기술자는 그러한 개념의 범위를 벗어나지 않으면서 형태 및 세부 사항에서 변화가 이루어질 수 있음을 인식할 것이다. 이와 같이, 설명된 구현 예는 모든 면에서 예시적이며 제한적이지 않은 것으로 간주되어야 한다. 본 출원은 본 명세서에 설명된 특정 구현에 한정되지 않으며, 본 개시의 범위를 벗어나지 않으면서 많은 재배열, 수정, 및 대체가 가능하다는 것을 이해해야 한다.

Claims (20)

  1. 클라우드 기반 시스템에 있어서,
    비디오 전달 유닛 - 상기 비디오 전달 유닛은
    통신 네트워크를 통해 상기 비디오 전달 유닛에 링크된 적어도 하나의 비대화형 비디오 플레이어를 검출하고;
    비디오 스트림을 상기 적어도 하나의 비대화형 비디오 플레이어로 전달하고;
    상기 비디오 스트림을 비디오 강화 유닛으로 전달하도록 구성됨 -; 및
    상기 비디오 강화 유닛 - 상기 비디오 강화 유닛은
    상기 비디오 전달 유닛으로부터 상기 비디오 스트림을 수신하고;
    상기 통신 네트워크를 통해 상기 비디오 강화 유닛에 링크된 적어도 하나의 대화형 비디오 플레이어를 검출하고;
    상기 비디오 스트림에서 적어도 하나의 맞춤형 비디오 세그먼트에 대응하는 비디오 향상을 식별하고;
    강화된 비디오 스트림을 생성하기 위해 렌더링된 비디오 향상을 상기 적어도 하나의 맞춤형 비디오 세그먼트에 삽입하고;
    상기 강화된 비디오 스트림을 상기 적어도 하나의 대화형 비디오 플레이어에 분배하도록 구성됨 -;을 포함하는 것을 특징으로 하는 클라우드 기반 시스템.
  2. 제1항에 있어서,
    상기 강화된 비디오 스트림은 상기 비디오 전달 유닛으로부터 상기 비디오 스트림을 수신하는 것과 관련하여 실시간으로 상기 적어도 하나의 대화형 비디오 플레이어에 분배되는 것을 특징으로 하는 클라우드 기반 시스템.
  3. 제1항에 있어서,
    상기 렌더링된 비디오 향상은 3차원(3D) 이미지로서 렌더링된 사용자 대화형 객체를 포함하는 것을 특징으로 하는 클라우드 기반 시스템.
  4. 제1항에 있어서,
    상기 비디오 강화 유닛은 상기 비디오 강화 유닛에 통신 가능하게 연결된 비디오 렌더링 엔진으로부터 상기 렌더링된 비디오 향상을 획득하도록 추가로 구성되는 것을 특징으로 하는 클라우드 기반 시스템.
  5. 제4항에 있어서,
    상기 비디오 강화 유닛은 상기 통신 네트워크를 통해 상기 비디오 렌더링 엔진에 통신 가능하게 연결되는 것을 특징으로 하는 클라우드 기반 시스템.
  6. 제4항에 있어서,
    상기 비디오 렌더링 엔진은 상기 렌더링된 비디오 향상을 HLS(Hypertext Transfer Protocol(HTTP) Live Stream) 비디오, LHLS(low-latency HLS) 비디오, 및 DASH(Dynamic Adaptive Streaming over HTTP) 비디오 중 하나로 인코딩하도록 구성되는 것을 특징으로 하는 클라우드 기반 시스템.
  7. 제4항에 있어서,
    상기 렌더링된 비디오 향상은 상기 비디오 렌더링 엔진에 의해 적용된 메타데이터 태그를 포함하고, 상기 메타데이터 태그는 상기 렌더링된 비디오 향상의 재생 동안 사용자에 의한 대화형 피드백을 가능하게 하도록 상기 적어도 하나의 대화형 비디오 플레이어에 지시하는 것을 특징으로 하는 클라우드 기반 시스템.
  8. 제7항에 있어서,
    상기 메타데이터 태그는 상기 적어도 하나의 비디오 렌더링 엔진에 의해 상기 렌더링된 비디오 향상에 저장된 ID3 태그인 것을 특징으로 하는 클라우드 기반 시스템.
  9. 제1항에 있어서,
    상기 적어도 하나의 대화형 비디오 플레이어는 적어도 제1 대화형 비디오 플레이어 및 제2 대화형 비디오 플레이어를 포함하고, 상기 비디오 강화 유닛은 상기 강화된 비디오 스트림을 상기 제1 대화형 비디오 플레이어 및 상기 제2 대화형 비디오 플레이어 각각에 분배하도록 추가로 구성되는 것을 특징으로 하는 클라우드 기반 시스템.
  10. 제1항에 있어서,
    상기 적어도 하나의 대화형 비디오 플레이어는 복수의 대화형 비디오 플레이어들을 포함하고,
    상기 비디오 강화 유닛은
    상기 복수의 대화형 비디오 플레이어들 중 다른 하나에 대해 상기 적어도 하나의 맞춤형 비디오 세그먼트에 대응하는 상이한 비디오 향상을 식별하고;
    상이한 강화된 비디오 스트림을 생성하기 위해 상기 상이한 비디오 향상을 상이한 렌더링된 비디오 향상으로서 상기 적어도 하나의 맞춤형 비디오 세그먼트에 삽입하고;
    상기 강화된 비디오 스트림을 상기 적어도 하나의 대화형 비디오 플레이어에 분배함과 동시에, 상기 상이한 강화된 비디오 스트림을 상기 복수의 대화형 비디오 플레이어들 중 상기 다른 하나에 분배하도록; 추가로 구성되는 것을 특징으로 하는 클라우드 기반 시스템.
  11. 비디오 전달 유닛 및 비디오 강화 유닛을 포함하는 클라우드 기반 시스템에 의해 사용되는 방법에 있어서,
    상기 비디오 전달 유닛에 의해, 통신 네트워크를 통해 비디오 전달 플랫폼에 링크된 적어도 하나의 비대화형 비디오 플레이어를 검출하는 단계;
    상기 비디오 전달 유닛에 의해, 비디오 스트림을 상기 적어도 하나의 비대화형 비디오 플레이어로 전달하는 단계;
    상기 비디오 전달 유닛에 의해, 상기 비디오 스트림을 비디오 강화 유닛으로 전달하는 단계
    상기 비디오 강화 유닛에 의해, 상기 비디오 전달 유닛으로부터 상기 비디오 스트림을 수신하는 단계;
    상기 비디오 강화 유닛에 의해, 상기 통신 네트워크를 통해 상기 비디오 강화 유닛에 링크된 적어도 하나의 대화형 비디오 플레이어를 검출하는 단계;
    상기 비디오 강화 유닛에 의해, 상기 비디오 스트림에서 적어도 하나의 맞춤형 비디오 세그먼트에 대응하는 비디오 향상을 식별하는 단계;
    상기 비디오 강화 유닛에 의해, 렌더링된 비디오 향상을 상기 적어도 하나의 맞춤형 비디오 세그먼트에 삽입하여 강화된 비디오 스트림을 생성하는 단계; 및
    상기 비디오 강화 유닛에 의해, 상기 강화된 비디오 스트림을 상기 적어도 하나의 대화형 비디오 플레이어에 분배하는 단계;를 포함하는 것을 특징으로 하는 비디오 전달 유닛 및 비디오 강화 유닛을 포함하는 클라우드 기반 시스템에 의해 사용되는 방법.
  12. 제11항에 있어서,
    상기 강화된 비디오 스트림은 상기 비디오 전달 유닛으로부터 상기 비디오 스트림을 수신하는 것과 관련하여 실시간으로 상기 적어도 하나의 대화형 비디오 플레이어에 분배되는 것을 특징으로 하는 비디오 전달 유닛 및 비디오 강화 유닛을 포함하는 클라우드 기반 시스템에 의해 사용되는 방법.
  13. 제11항에 있어서,
    상기 렌더링된 비디오 향상은 3차원(3D) 이미지로서 렌더링된 사용자 대화형 객체를 포함하는 것을 특징으로 하는 비디오 전달 유닛 및 비디오 강화 유닛을 포함하는 클라우드 기반 시스템에 의해 사용되는 방법.
  14. 제11항에 있어서,
    상기 비디오 강화 유닛은 상기 비디오 강화 유닛에 통신 가능하게 연결된 비디오 렌더링 엔진으로부터 상기 렌더링된 비디오 향상을 획득하는 것을 특징으로 하는 비디오 전달 유닛 및 비디오 강화 유닛을 포함하는 클라우드 기반 시스템에 의해 사용되는 방법.
  15. 제14항에 있어서,
    상기 비디오 강화 유닛은 상기 통신 네트워크를 통해 상기 비디오 렌더링 엔진에 통신 가능하게 연결되는 것을 특징으로 하는 비디오 전달 유닛 및 비디오 강화 유닛을 포함하는 클라우드 기반 시스템에 의해 사용되는 방법.
  16. 제14항에 있어서,
    상기 비디오 렌더링 엔진은 상기 렌더링된 비디오 향상을 HLS(Hypertext Transfer Protocol(HTTP) Live Stream) 비디오, LHLS(low-latency HLS) 비디오, 및 DASH(Dynamic Adaptive Streaming over HTTP) 비디오 중 하나로 인코딩하도록 구성되는 것을 특징으로 하는 비디오 전달 유닛 및 비디오 강화 유닛을 포함하는 클라우드 기반 시스템에 의해 사용되는 방법.
  17. 제14항에 있어서,
    상기 렌더링된 비디오 향상은 상기 비디오 렌더링 엔진에 의해 적용된 메타데이터 태그를 포함하고, 상기 메타데이터 태그는 상기 렌더링된 비디오 향상의 재생 동안 사용자에 의한 대화형 피드백을 가능하게 하도록 상기 적어도 하나의 대화형 비디오 플레이어에 지시하는 것을 특징으로 하는 비디오 전달 유닛 및 비디오 강화 유닛을 포함하는 클라우드 기반 시스템에 의해 사용되는 방법.
  18. 제17항에 있어서,
    상기 메타데이터 태그는 상기 적어도 하나의 비디오 렌더링 엔진에 의해 상기 렌더링된 비디오 향상에 저장된 ID3 태그인 것을 특징으로 하는 비디오 전달 유닛 및 비디오 강화 유닛을 포함하는 클라우드 기반 시스템에 의해 사용되는 방법.
  19. 제11항에 있어서,
    복수의 대화형 비디오 플레이들은 제1 대화형 비디오 플레이어 및 제2 대화형 비디오 플레이어를 포함하고, 상기 비디오 강화 유닛은 상기 강화된 비디오 스트림을 상기 제1 대화형 비디오 플레이어 및 상기 제2 대화형 비디오 플레이어 각각에 분배하도록 추가로 구성되는 것을 특징으로 하는 비디오 전달 유닛 및 비디오 강화 유닛을 포함하는 클라우드 기반 시스템에 의해 사용되는 방법.
  20. 제11항에 있어서,
    상기 적어도 하나의 대화형 비디오 플레이어는 복수의 대화형 비디오 플레이어들을 포함하고,
    상기 방법은
    상기 비디오 강화 유닛에 의해, 상기 복수의 대화형 비디오 플레이어들 중 다른 하나에 대해 상기 적어도 하나의 맞춤형 비디오 세그먼트에 대응하는 상이한 비디오 향상을 식별하는 단계;
    상기 비디오 강화 유닛에 의해, 상이한 강화된 비디오 스트림을 생성하기 위해 상기 상이한 비디오 향상을 상이한 렌더링된 비디오 향상으로서 상기 적어도 하나의 맞춤형 비디오 세그먼트에 삽입하는 단계; 및
    상기 비디오 강화 유닛에 의해, 상기 강화된 비디오 스트림을 상기 적어도 하나의 대화형 비디오 플레이어에 분배함과 동시에, 상기 상이한 강화된 비디오 스트림을 상기 복수의 대화형 비디오 플레이어들 중 상기 다른 하나에 분배하는 단계;를 더 포함하는 것을 특징으로 하는 비디오 전달 유닛 및 비디오 강화 유닛을 포함하는 클라우드 기반 시스템에 의해 사용되는 방법.
KR1020200082769A 2019-08-26 2020-07-06 비디오 스트림 강화를 위한 클라우드 기반 이미지 렌더링 KR102380620B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US16/551,467 US10924823B1 (en) 2019-08-26 2019-08-26 Cloud-based image rendering for video stream enrichment
US16/551,467 2019-08-26

Publications (2)

Publication Number Publication Date
KR20210025473A true KR20210025473A (ko) 2021-03-09
KR102380620B1 KR102380620B1 (ko) 2022-03-31

Family

ID=71949675

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200082769A KR102380620B1 (ko) 2019-08-26 2020-07-06 비디오 스트림 강화를 위한 클라우드 기반 이미지 렌더링

Country Status (5)

Country Link
US (1) US10924823B1 (ko)
JP (1) JP7063941B2 (ko)
KR (1) KR102380620B1 (ko)
CA (1) CA3086239C (ko)
GB (1) GB2588271B (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11660535B2 (en) * 2019-10-11 2023-05-30 Nvidia Corporation Hardware acceleration and event decisions for late latch and warp in interactive computer products
WO2022146800A1 (en) * 2020-12-31 2022-07-07 Sony Interactive Entertainment Inc. Data display overlays for esport streams
EP4080890A1 (en) 2021-04-23 2022-10-26 Disney Enterprises, Inc. Creating interactive digital experiences using a realtime 3d rendering platform
US20240121477A1 (en) * 2022-10-11 2024-04-11 Disney Enterprises, Inc. Multi-Variant Content Streaming

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100257550A1 (en) * 2009-04-01 2010-10-07 Fourthwall Media Systems, methods, and apparatuses for enhancing video advertising with interactive content
US20130202150A1 (en) * 2012-02-07 2013-08-08 Nishith Kumar Sinha Method and system for an automatic content recognition abstraction layer
US20180131975A1 (en) * 2016-11-09 2018-05-10 Charter Communications Operating, Llc Apparatus and methods for selective secondary content insertion in a digital network

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010058962A2 (en) * 2008-11-18 2010-05-27 Lg Electronics Inc. Method for receiving a broadcast signal and broadcast receiver
EP2290982A1 (en) * 2009-08-25 2011-03-02 Alcatel Lucent Method for interactive delivery of multimedia content, content production entity and server entity for realizing such a method
US20150032900A1 (en) 2012-02-15 2015-01-29 Spencer Shanson System for seamlessly switching between a cloud-rendered application and a full-screen video sourced from a content server
US10275128B2 (en) * 2013-03-15 2019-04-30 Activevideo Networks, Inc. Multiple-mode system and method for providing user selectable video content
KR20140118604A (ko) * 2013-03-29 2014-10-08 인텔렉추얼디스커버리 주식회사 개인화된 증강 객체를 전송하는 서버 및 방법
US10375434B2 (en) * 2014-03-11 2019-08-06 Amazon Technologies, Inc. Real-time rendering of targeted video content
US10194177B1 (en) 2014-10-16 2019-01-29 Sorenson Media, Inc. Interweaving media content
US20170366867A1 (en) * 2014-12-13 2017-12-21 Fox Sports Productions, Inc. Systems and methods for displaying thermographic characteristics within a broadcast
US9774891B1 (en) * 2016-03-28 2017-09-26 Google Inc. Cross-platform end caps
WO2018213481A1 (en) 2017-05-16 2018-11-22 Sportscastr.Live Llc Systems, apparatus, and methods for scalable low-latency viewing of integrated broadcast commentary and event video streams of live events, and synchronization of event information with viewed streams via multiple internet channels
US10939169B2 (en) 2017-05-25 2021-03-02 Turner Broadcasting System, Inc. Concurrent presentation of non-programming media assets with programming media content at client device
US10271077B2 (en) 2017-07-03 2019-04-23 At&T Intellectual Property I, L.P. Synchronizing and dynamic chaining of a transport layer network service for live content broadcasting
US10306293B2 (en) 2017-07-18 2019-05-28 Wowza Media Systems, LLC Systems and methods of server based interactive content injection
GB201715124D0 (en) 2017-09-19 2017-11-01 Real Time Objects Ltd Graphics streaming
US20200066304A1 (en) * 2018-08-27 2020-02-27 International Business Machines Corporation Device-specific video customization

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20100257550A1 (en) * 2009-04-01 2010-10-07 Fourthwall Media Systems, methods, and apparatuses for enhancing video advertising with interactive content
US20130202150A1 (en) * 2012-02-07 2013-08-08 Nishith Kumar Sinha Method and system for an automatic content recognition abstraction layer
US20180131975A1 (en) * 2016-11-09 2018-05-10 Charter Communications Operating, Llc Apparatus and methods for selective secondary content insertion in a digital network

Also Published As

Publication number Publication date
GB202009913D0 (en) 2020-08-12
CA3086239C (en) 2023-02-14
US20210067844A1 (en) 2021-03-04
KR102380620B1 (ko) 2022-03-31
GB2588271B (en) 2022-12-07
GB2588271A (en) 2021-04-21
US10924823B1 (en) 2021-02-16
JP2021035044A (ja) 2021-03-01
JP7063941B2 (ja) 2022-05-09
CA3086239A1 (en) 2021-02-26

Similar Documents

Publication Publication Date Title
US11580699B2 (en) Systems and methods for changing a users perspective in virtual reality based on a user-selected position
KR102380620B1 (ko) 비디오 스트림 강화를 위한 클라우드 기반 이미지 렌더링
US9723335B2 (en) Serving objects to be inserted to videos and tracking usage statistics thereof
US9912994B2 (en) Interactive distributed multimedia system
US20170201808A1 (en) System and method of broadcast ar layer
KR102589628B1 (ko) 미디어 자산의 관심 객체의 이동 경로를 예측하고 이동 경로에 오버레이를 배치하는 것을 회피함으로써 오버레이에 의한 미디어 자산의 가림을 최소화하기 위한 시스템 및 방법
US20200021630A1 (en) Multi-deterministic dynamic content streaming
US10158917B1 (en) Systems and methods for generating customized shared viewing experiences in virtual reality environments
US9965900B2 (en) Personalized video-based augmented reality
US10291942B2 (en) Interactive broadcast system and method
US20170041649A1 (en) Supplemental content playback system
US20170041648A1 (en) System and method for supplemental content selection and delivery
US20170041644A1 (en) Metadata delivery system for rendering supplementary content
US20230079233A1 (en) Systems and methods for modifying date-related references of a media asset to reflect absolute dates
US9409081B2 (en) Methods and systems for visually distinguishing objects appearing in a media asset
EP3732583A1 (en) Systems and methods for generating customized shared viewing experiences in virtual reality environments
EP3270600A1 (en) System and method for supplemental content selection and delivery
US9560103B2 (en) Custom video content
US10834480B2 (en) Content enhancer

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right