KR20150115773A - 비디오의 이미지 프레임들 내에 타겟팅된 콘텐츠를 제공하는 방법 및 대응하는 디바이스 - Google Patents

비디오의 이미지 프레임들 내에 타겟팅된 콘텐츠를 제공하는 방법 및 대응하는 디바이스 Download PDF

Info

Publication number
KR20150115773A
KR20150115773A KR1020157021145A KR20157021145A KR20150115773A KR 20150115773 A KR20150115773 A KR 20150115773A KR 1020157021145 A KR1020157021145 A KR 1020157021145A KR 20157021145 A KR20157021145 A KR 20157021145A KR 20150115773 A KR20150115773 A KR 20150115773A
Authority
KR
South Korea
Prior art keywords
video
content
sequences
image frames
image
Prior art date
Application number
KR1020157021145A
Other languages
English (en)
Inventor
쥘르 스트롭
니꼴라 르 스꾸아르넥
크리스또프 느만
스테판느 오노
Original Assignee
톰슨 라이센싱
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 톰슨 라이센싱 filed Critical 톰슨 라이센싱
Publication of KR20150115773A publication Critical patent/KR20150115773A/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/266—Channel or content management, e.g. generation and management of keys and entitlement messages in a conditional access system, merging a VOD unicast channel into a multicast channel
    • H04N21/2668—Creating a channel for a dedicated end-user group, e.g. insertion of targeted commercials based on end-user profiles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23424—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving splicing one content stream with another content stream, e.g. for inserting or substituting an advertisement
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234345—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements the reformatting operation being performed only on part of the stream, e.g. a region of the image or a time segment
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/258—Client or end-user data management, e.g. managing client capabilities, user preferences or demographics, processing of multiple end-users preferences to derive collaborative data
    • H04N21/25866—Management of end-user data
    • H04N21/25891—Management of end-user data being end-user preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/858—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot
    • H04N21/8586—Linking data to content, e.g. by linking an URL to a video object, by creating a hotspot by using a URL

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Graphics (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Studio Circuits (AREA)

Abstract

비디오의 이미지 프레임들 내에 타겟팅된 콘텐츠를 제공하는 방법 및 대응하는 디바이스가 개시된다. 사용자 선호에 따라 개별 사용자들에 대해 타겟팅되는 콘텐츠로 이미지 프레임들을 오버레이하는 것을 통해 비디오를 타겟팅하는 확장가능하고 유연성있는 해결책이 제공된다. 타겟팅된 콘텐츠로 오버레이하기 위한 오버레이가능한 구역들을 포함하는 이미지 프레임들의 시퀀스들을 판정하기 위해 비디오 시퀀스가 프로세싱된다. 콘텐츠 오버레이 연산을 위한 이러한 프레임들 및 이러한 구역들을 기술하는 특징들이 수정되지 않은 비디오 시퀀스와 연관되는 메타데이터 내에 저장된다. 비디오가 사용자에게 송신되는 경우, 메타데이터가 사용되어 오버레이가능한 구역들 내에 콘텐츠를 오버레이하고, 이에 의해 콘텐츠가 사용자의 선호에 따라 선택된다.

Description

비디오의 이미지 프레임들 내에 타겟팅된 콘텐츠를 제공하는 방법 및 대응하는 디바이스{METHOD FOR PROVIDING TARGETED CONTENT IN IMAGE FRAMES OF A VIDEO AND CORRESPONDING DEVICE}
본 발명은 타겟팅된 콘텐츠(targeted content)를 비디오 시퀀스 내로 오버레이(overlay)하는 분야에 관한 것으로, 특히, 타겟팅된 광고(targeted advertisement)에 관한 것이다.
사용자에 의해 시청되는 비디오에서의 오디오/비디오 콘텐츠의 타겟팅은 콘텐츠 제공자가 추가 수익을 만들수 있게 하고, 사용자가 그들의 개인적 취향에 대해 구성된 증강된 콘텐츠로 서비스받을 수 있게 한다. 콘텐츠 제공자에 대해, 추가 수익은 타겟팅된 콘텐츠에 의해 그의 액션이 영향받는 고객들로부터 발생된다. 타겟팅된 콘텐츠는, 비디오 콘텐츠 사이에 삽입되는 중간 광고(advertisement breaks)와 같은, 다수의 형식들로 존재한다. 문서 US2012/0047542A1(Lewis et al.)는 사용자에 대해 가장 연관되고 관심있는 것으로 추정된 적절한 광고 콘텐츠를 비디오 콘텐츠 사이에 삽입하기 위해, 사용자 선호에 대해 구성되는 URL들을 포함하는 동적 매니페스트 파일(dynamic manifest file)을 제공하는 것을 기술한다. 광고 콘텐츠는 사용자 트랙킹 프로파일에 따라 타겟팅되고 준비되고, 사용자에 대해 가장 연관되고 관심있는 것으로 추정된 적절한 프리-롤(pre-roll), 미드-롤(mid-roll), 또는 포스트-롤(post-roll) 광고 콘텐츠를 부가한다. 문서 US2012/0137015A1(Sun)은 유사한 시도에 관한 것이다. 콘텐츠 전달 시스템이 콘텐츠 스트림에 대한 요청을 수신하는 경우, 콘텐츠 스트림을 나타내는 미디어 세그먼트 파일들의 순서화된 리스트 및 광고 세그먼트들을 삽입하기 위한 미디어 스트림의 스플라이스 포인트들(splice points)을 나타내는 스플라이스 포인트 태그들을 포함하는 플레이 리스트(play list)가 사용된다. 삽입 위치는 스플라이스 포인트 태그들에 기초하여 플레이리스트에서 식별되며, 스플라이스 포인트들 중 하나의 위치에 삽입된 광고 세그먼트가 선택되고, 수정된 플레이리스트가 비디오 디스플레이 디바이스에 송신된다. 그러나, DVR 또는 PVR(Digital Video Recorders / Personal Video Recorders)의 리플레이(replay) 및 온-디맨드(on-demand) TV 및 타임 시프트(time shift) 기능의 출현으로, 사용자들은, 그들이 비디오 콘텐츠 사이에 삽입된 중간 광고를 스킵(skip)하게 하는, 빨리 감기(fast forward)와 같은 트릭 모드 명령(trick mode command)에 대한 액세스를 갖는다. 콘텐츠 제공자에 대해, 스킵된 광고들은 수익의 손실을 나타낸다. 따라서, 비디오의 이미지 프레임 내에 광고들을 오버레이하는 것과 같은 다른 기술적 해결책들이 개발되었다. 문서 WO02/37828A2(McAlister)는 비디오를 사용자에게 스트리밍하면서 비디오 프레임들 내에 타겟팅된 광고 콘텐츠를 오버레이하는 것을 기술한다. '그린 스크리닝(green screening)' 또는 '크로마 키(chroma key)' 같은 방법이 사용되며, 이는 활영 이전에 장면 내에 광고 스크리닝(ad screening) 영역을 제공함으로써 비디오의 특정한 준비를 필요로 하고, 광고 스크리닝 영역은 그 영역이 장면 내의 다른 컴포넌트들과는 구별되게 하는 특성을 갖는다. 비디오가 사용자에게 스트리밍되는 경우, 광고 스크리닝 영역의 구별 특성에 기초하여 광고 스크리닝 영역들이 비디오 프레임들 내에서 식별되고, 광고 스크리닝 영역의 이미지는 인구통계학적 데이터(demographic data)에 기초하여 선택되는 광고 이미지에 의해 대체된다. 광고에 의해 점유되지 않는 광고 스크리닝 영역은 필러(filler)에 의해 대체된다. 그러나, 이러한 종래 기술 기법은, 비디오 내에 광고 스크리닝 영역들을 생성하기 위해, 광고 스크리닝 영역들이 필름에 담을 수 있는 장면(filmable scene)으로 준비되어야 한다는 단점을 갖는다. 이는 광고 스크리닝 영역들을 포함하도록 촬영 및 준비되지 않은 기존의 비디오 콘텐츠에 기법을 적용하는 것을 어렵게 하거나 또는 심지어 불가능하게 한다. 사용되지 않는 광고 스크리닝 영역들을 포함하는 장면들에서, 광고 스크리닝 영역들은 필러들로 대체되고, 촬영 동안에 사용될 수 있었던, 이러한 장면들에서의 가용 영역의 손실을 야기한다. 또한, 비디오 내의 광고 스크리닝 영역들을 알기 위해, 비디오 프레임들 내의 광고 스크리닝 영역들을 인식하기 위한 비디오의 비디오 프로세싱이 수행되며, 비디오 프로세싱은 처리능력 집중형 작업(computing power intensive task)으로 알려져 있다. 따라서, 사용자에 대한 비디오 콘텐츠 내에 광고를 타겟팅하기 위한 종래 기술의 해결책들은 기피되거나 유연성이 결여되기 쉽다.
따라서, 종래 기술 해결책들과 연관된 문제들의 일부를 해결하는 최적화된 해결책에 대한 요구가 있다.
본 발명의 목적은 타겟팅된 콘텐츠를 비디오의 이미지 프레임들 내에 제공하는 방법 및 디바이스에 의해 기술적 배경 부분에서 논의된 종래 기술의 문제점들의 적어도 일부를 해결하는 것이다.
본 발명은 서버 디바이스에서 구현되는, 타겟팅된 콘텐츠를 비디오의 이미지 프레임들 내에 제공하는 방법을 포함하며, 본 방법은 타겟팅된 콘텐츠로 오버레이하기 위한 이미지 구역들(image zones)을 포함하는 비디오 내의 이미지 프레임들의 시퀀스들을 판정하는 단계, 메타데이터를 비디오에 연관시키는 단계 - 메타데이터는 판정된 이미지 프레임들의 시퀀스들 및 이미지 구역들을 기술하는 특징들을 포함함 - ; 사용자로부터 비디오의 송신에 대한 요청을 수신하는 단계; 비디오 내에, 메타데이터에 의해 기술되는 이미지 프레임들의 시퀀스들의 이미지 구역들을 연관된 메타데이터에 따라 그리고 사용자의 사용자 선호에 따라 타겟팅되는 콘텐츠로 오버레이하는 단계; 및 비디오를 사용자에게 송신하는 단계를 포함한다.
본 방법의 변형 실시예에 따라, 오버레이하는 단계는 이미지 프레임들의 시퀀스들 내의 이미지 구역들의 그래픽적 특징들을 변화시키는 타겟팅된 콘텐츠의 동적 구성을 포함한다.
본 방법의 변형 실시예에 따라, 판정하는 단계는 그래픽적으로 안정적인 이미지 구역들을 포함하는 이미지 프레임들의 시퀀스들을 검출하는 것을 포함한다.
본 방법의 변형 실시예에 따라, 그래픽적 특징들은 이미지 구역들의 기하학적 왜곡을 포함한다.
본 방법의 변형 실시예에 따라, 그래픽적 특징들은 이미지 구역들의 발광성(luminosity)을 포함한다.
본 방법의 변형 실시예에 따라, 그래픽적 특징들은 이미지 구역들의 비색(colorimetric)을 포함한다.
본 방법의 변형 실시예에 따라, 특징들은 이미지 프레임들의 시퀀스들이 속하는 장면에 대한 기술을 포함한다.
본 방법의 변형 실시예에 따라, 본 방법은 비디오 내의 판정된 이미지 프레임들의 시퀀스들 각각이 화상군(Group of Pictures)으로 시작하도록 비디오를 재-인코딩하는 단계를 더 포함한다.
본 방법의 변형 실시예에 따라, 본 방법은 판정된 이미지 프레임들의 시퀀스들 각각이 폐쇄 화상군(closed Group of Pictures)을 이용하여 인코딩되도록 비디오를 재-인코딩하는 단계를 더 포함한다.
본 방법의 변형 실시예에 따라, 판정된 이미지 프레임들의 시퀀스들은 비디오의 다른 이미지 프레임들의 시퀀스들보다 더 낮은 압축률을 이용하여 인코딩된다.
본 방법의 변형 실시예에 따라, 메타데이터는 비디오 내의 판정된 이미지 프레임들의 시퀀스들을 참조하기 위한 유니폼 리소스 로케이터(Uniform Resource Locator)를 포함한다.
본 발명은, 디바이스가 포함하는, 요청된 비디오 시퀀스의 이미지 내에 타겟팅가능한(targetable) 콘텐츠를 제공하는 서버 디바이스에 더 연관된다.
본 발명은 비디오의 이미지 프레임들 내의 타겟팅된 콘텐츠를 수신하는 수신기 디바이스에 더 관련되고, 본 디바이스는, 타겟팅된 콘텐츠로 오버레이하기 위한 이미지 구역들을 포함하는 비디오 내의 이미지 프레임들의 시퀀스들을 판정하고, 메타데이터를 비디오에 연관시키는 판정기 - 메타데이터는 판정된 이미지 프레임들의 시퀀스들 및 이미지 구역들을 기술하는 특징들을 포함함 - ; 비디오의 송신에 대한 사용자 요청을 수신하는 네트워크 인터페이스; 비디오 내에, 메타데이터에 의해 기술되는 이미지 프레임들의 시퀀스들의 이미지 구역들을 연관된 메타데이터에 따라 그리고 사용자의 사용자 선호에 따라 타겟팅되는 콘텐츠로 오버레이하기 위한 콘텐츠 오버레이어(content overlayer); 및 비디오를 사용자에게 송신하는 네트워크 인터페이스를 포함한다.
본 문서에서 논의된 장점들 및 언급되지 않은 그외의 장점들이 후속하는 본 발명의 상세한 설명을 읽을 시에 명확해질 것이다.
본 발명의 보다 많은 장점들이 본 발명의 구체적이고, 비제한적인 실시예들에 대한 설명을 통해 명백해질 것이다. 실시예들은 이하의 도면들을 참조하여 설명될 것이다:
도 1은 본 발명에 따른 비디오 시퀀스의 이미지 프레임 내에 오버레이하는 콘텐츠를 예시한다.
도 2는 본 발명의 방법의 변형 실시예를 예시한다.
도 3은 본 발명에 따른 비디오 시퀀스의 이미지 프레임들 내에 타겟팅가능한 콘텐츠를 제공하는 경우에 플레이하게 되는 데이터의 예이다.
도 4는 본 발명의 특정 실시예에 따른 전달 플랫폼에 대한 아키텍처이다.
도 5는 본 발명에 따른 비디오 시퀀스의 이미지 프레임들 내에 타겟팅가능한 콘텐츠를 제공하는 방법의 특정 실시예의 흐름도이다.
도 6은 본 발명에 따른 요청된 비디오 시퀀스의 이미지 프레임들 내에 타겟팅가능한 콘텐츠를 제공하는 서버 디바이스의 예시적인 실시예이다.
도 7은 본 발명에 따른 수신기 디바이스의 예시적인 실시예이다.
이하에서, 비디오의 "일반적인(generic)" 이미지 프레임 시퀀스들, "타겟팅가능한" 이미지 프레임 시퀀스들, 및 "타겟팅된" 이미지 프레임 시퀀스들 간의 구별이 이루어진다. "이미지 프레임 시퀀스"는 비디오의 이미지 프레임들의 시퀀스이다. "일반적인" 이미지 프레임 시퀀스는 구별없이 다수의 사용자들을 대상으로 하는, 즉, 모든 사용자들에게 동일한 이미지 프레임 시퀀스이다. "타겟팅가능한" 이미지 프레임 시퀀스는, 사용자 선호에 따라 단일 사용자에게 타겟팅될 수 있는, 또는 개인맞춤화될 수 있는 프레임 시퀀스이다. 본 발명에 따라, 이러한 타겟팅 또는 개인맞춤화는 타겟팅된 콘텐츠(즉, 특정적으로 단일 사용자를 타겟으로 하는 콘텐츠)를 타겟팅가능한 비디오 프레임 시퀀스 내에 포함되는 이미지 프레임들 내에 오버레이함으로써 수행된다. 오버레이 연산이 수행되면, 타겟팅가능한 비디오 프레임 시퀀스는 "타겟팅된" 또는 "개인맞춤화된" 프레임 시퀀스가 되었다고 언급된다.
이하에서, '비디오'라는 용어는, 차례로 플레이되는 경우, 비디오를 이루는 이미지 프레임들의 시퀀스를 의미한다. 비디오의 예는 영화(의 이미지 프레임 시퀀스), 방송 프로그램, 스트리밍된 비디오, 또는 비디오 온 디맨드(Video on Demand)이다. 비디오는, 예를 들어, 비디오 트랙의 이미지 프레임들과 관련되고 동기화되는 오디오 트랙(들)과 같은 오디오를 포함할 수 있다.
이하에서, '오버레이'라는 용어가 비디오 내에 콘텐츠를 오버레이하는 맥락에서 사용된다. 오버레이하는 것은 비디오의 하나 이상의 이미지 프레임들이 비디오의 하나 이상의 이미지 프레임들 내부에 하나 또는 여러개의 텍스트, 이미지들, 또는 비디오들 또는 이들의 임의의 조합의 외관 형성(incrustation)에 의해 수정된다는 것을 의미한다. 오버레이에 사용될 수 있는 콘텐츠의 예들은, 텍스트(예를 들어, 비디오의 하나 이상의 이미지 프레임들 내에 나타나는 보통의 면 상에 오버레이되는); 정지 이미지(비디오의 하나 이상의 이미지 프레임들 내의 광고판(billboard) 상에 오버레이되는); 또는 심지어 광고를 포함하는 비디오 콘텐츠(예를 들어, 비디오 내의 이미지 프레임들의 시퀀스 내에 존재하는 광고판에 오버레이되는)일 수 있다. 오버레이는 삽입과는 구별되는 것이다. 삽입은 비디오 내로의 이미지 프레임들의 삽입, 예를 들어, 비디오의 이미지 프레임들의 시각적 콘텐츠를 수정하지 않고, 상업적 광고(commercial break)에 관련된 이미지 프레임들을 삽입하는 특징을 갖는다. 전형적으로, 비디오 내에 콘텐츠를 오버레이하는 것은 단지 이미지 프레임 삽입보다 요구되는 컴퓨팅 리소스의 관점에서 훨씬 부담스러운 것이다. 다수의 경우들에서, 콘텐츠를 오버레이하는 것은 심지어 사람의 개입을 요한다. 사람의 개입이 최소로 되도록 감소되거나, 심지어 전혀 필요치 않는, 비디오 내에 타겟팅된 콘텐츠를 제공하는 해결책을 제안하는 것이 본 발명의 목적들 중 하나이다. 그 중에서도, 본 발명은 타겟팅된 콘텐츠를 수신하기 위해 비디오 내의 비디오 프레임들의 시퀀스들 내의 이미지 구역들이 판정되고, 타겟팅된 콘텐츠가 선택되고 판정된 이미지 시퀀스들의 이미지 구역들 내에 오버레이되는 제2 단계 동안에 기능할 메타데이터가 생성되는 제1 단계를 제안한다. 어쨌든 요구되는 경우, 사람의 개입은 제1 단계로 감소되는 한편, 비디오는 필요하다면, 예를 들어, 사용자 선호에 따라 사용자에게 또는 사용자 그룹에 비디오를 스트리밍하면서, 추후에 타겟팅될 수 있다. 본 발명의 해결책은 비디오의 이미지 프레임들 내에 타겟팅된 콘텐츠를 오버레이하기 위한 작업흐름의 최적화를 가능하게하는 장점이 있다. 본 발명의 방법은, (예를 들어, 촬영 동안에) 비디오에 특정 요건을 부과하지 않으므로 유연성이 있다는 추가의 장점을 가지며, 비디오는 제1 단계에서 변경되지 않은 채로 유지된다.
도 1은 본 발명에 따른, 콘텐츠가 오버레이되는 비디오의 이미지를 예시한다. 이미지 프레임(10)은 원래의 이미지 프레임을 나타낸다. 이미지 프레임(11)은 타겟팅된 이미지 프레임을 나타낸다. 구성요소(111)는 이미지(11) 내에 오버레이되는 이미지 프레임을 나타낸다.
본 발명의 방법은, 예를 들어 "오프라인(offline)" 준비 단계 동안에 준비되는 비디오에 대한 메타데이터의 연관을 포함하지만; 이 단계는 충분한 처리 능력이 이용가능한 경우 온라인 단계로서 구현될 수 있다. 메타데이터는 그것이 연관되는 비디오에서의 오버레이 연산들을 수행하도록 요구되는 정보를 포함한다. 메타데이터의 생성을 위하여, 콘텐츠 오버레이에 적절한 이미지 프레임 시퀀스들, 예를 들어, 그래픽적으로 안정적인 이미지 구역을 포함하는 이미지 프레임 시퀀스들이 판정된다. 각각의 판정된 이미지 프레임 시퀀스에 대하여, 콘텐츠 오버레이 연산에 요구되는 메타데이터가 생성된다. 이러한 메타데이터는, 예를 들어, 판정된 이미지 프레임 시퀀스의 이미지 프레임 번호들, 및 판정된 이미지 프레임 시퀀스 내의 각각의 이미지 프레임에 대하여, 오버레이를 위해 사용될 수 있는 이미지 내부의 이미지 구역(또한 '오버레이 구역'으로도 지칭됨)의 좌표들, 오버레이 구역의 기하학적 왜곡, 사용된 컬러 맵, 및 발광성을 포함한다. 메타데이터는 또한 주어진 이미지 프레임 시퀀스 내에 오버레이하기 위한 적절한 콘텐츠의 선택을 위해 사용되는 정보를 제공할 수 있다. 이것은 콘텐츠 그자체에 관한 정보(사람 X가 사람 Y에게 말하고 있음), 장면의 콘텍스트(장소(lieu), 시간 기간, ...), 가상 카메라의 거리를 포함한다. 준비 단계는 오버레이하기 위한 적절한 콘텐츠의 선택 및 오버레이 프로세스 그 자체를 위해 비디오 내의 콘텐츠 오버레이와 연관되는 메타데이터의 생성을 야기한다. 사용자에게 또는 사용자 그룹에게 콘텐츠를 송신하는 동안에, 이러한 메타데이터가 사용되어 이미지 프레임들의 특정 시퀀스에서의 오버레이를 위해 사용될 적절한 오버레이가능한 콘텐츠를 선택한다. 사용자 선호는, 사용자 또는 사용자 그룹에 대하여 특히 관심있는 광고들을 선택하는데 사용된다. 따라서, 메타데이터는 판정된 이미지 프레임들의 시퀀스들 및 오버레이 구역들을 기술하는 특징들을 포함하고, 예를 들어, 선택된 콘텐츠의 좌표들, 치수들, 기하학적 왜곡 및 비색, 대비(contrast) 및 발광성을 오버레이 구역의 좌표들, 치수들, 기하학적 왜곡, 비색, 대비 및 발광성에 대해 구성함으로써, 선택된 콘텐츠를 이미지 프레임들의 특정 시퀀스에 대해 구성하기 위해 사용될 수 있다. 이러한 구성(adaptation)은, 예를 들어, 오버레이 구역의 특징들이 이미지 프레임 시퀀스 동안에 현저하게 변화하는 경우, 필요하다면, 프레임별 기반으로 행해질 수 있다. 이런 식으로, 타겟팅된 콘텐츠는 이미지 프레임들의 시퀀스 내의 오버레이 구역의 변화하는 그래픽적 특징들에 대해 동적으로 구성될 수 있다. 사용자가 오버레이된 이미지 프레임들을 시청하기 위해, 오버레이된 콘텐츠가 원래 비디오의 일부인 것처럼 되어 있다.
변형 실시예에 따라서, 비디오의 부분들은 판정된 이미지 프레임들의 시퀀스의 각각이 GOP(Group Of Pictures)로 시작하는 그러한 방식으로 재-인코딩된다. 예를 들어, 일반적인 프레임 시퀀스들은 네트워크를 통해 전송하기 위해 고압축률을 이용하여 최적화되는 인코딩 포맷으로 (재-)인코딩되는 반면, 판정된 이미지 프레임들의 시퀀스들은 디코딩, 콘텐츠 오버레이, 및 품질 손실 없는 재-인코딩을 허용하는 중간(intermediate) 또는 메자닌(mezzanine) 포맷으로 재-인코딩된다. 메자닌 포맷을 위한 더 낮은 압축률은 이미지 품질을 열화시키지 않고 오버레이하기 위해 요구되는 편집 연산들을 허용한다. 그러나, 더 낮은 압축률의 단점은 메자닌 포맷이 동일한 비디오 시퀀스 지속기간에 대해 일반적인 프레임 시퀀스들 보다 많은 데이터를 포함하므로, 더 높은 전송 비트 레이트를 야기한다는 것이다. 널리 사용되는 H.264 비디오 인코딩 포맷에 기초한 바람직한 메자닌 포맷은 EMA(Entertainment Merchants Association)으로 재편성되는 상이한 제조사들에 의해 논의된다. 메자닌 포맷의 특성들 중 하나는 그것이 이미지 프레임 편집 및 부드러운 플레이백(playback)을 용이하게 하는 폐쇄된 GOP 포맷을 주로 이용한다는 것이다. 바람직하게는, 인터(inter)/인트라(intra) 압축이 사용되는 경우, 일반 및 타겟팅가능한 프레임 시퀀스들 모두가 비디오 프레임 시퀀스가 GOP로(즉, I-프레임으로 시작) 시작하도록 인코딩되어, 디코더가 각각의 프레임 시퀀스의 제1 픽처를 디코딩할 수 있음을 보장한다.
사용된 변형 실시예에 따라서, 메타데이터 및 (재-)인코딩된 비디오는 추후의 사용을 위해 저장된다. 메타데이터는, 예를 들어, 파일로서 또는 데이터베이스 내에 저장될 수 있다.
선택된 콘텐츠는 비디오를 사용자 디바이스에 송신하는 동안에 비디오 내에 오버레이될 수 있다. 이것은 사용자 디바이스의 상호작용 없이 또는 이하에서 설명되는 매니페스트 파일을 이용함으로써 스트리밍되는 경우에 행해질 수 있다.
매니페스트 파일을 이용하면, 사용자 디바이스가 비디오를 요청하는 경우, 일반 및 타겟팅가능한 이미지 프레임 시퀀스들의 "매니페스트" 또는 "플레이 리스트"가 생성되고, 그 후 사용자에게 송신된다. 플레이 리스트는 이미지 프레임 시퀀스들이 획득될 수 있는 서버 로케이션 및 상이한 이미지 프레임 시퀀스들을 식별하는 정보를, 예를 들어, URL들(Uniform Resource Locators)의 리스트로서 포함한다. 본 발명의 특정 실시예들에 따라, 이러한 URL들은 자립적(self-contained)이고, URL은 이미지 프레임 시퀀스를 고유하게 식별하고 특정 이미지 프레임 시퀀스를 페치(fetch)하는데 요구되는 모든 정보를 포함하며: 예를 들어, 자립형 URL은 고유의 타겟팅가능한 이미지 프레임 시퀀스 식별자, 및 고유의 오버레이가능한 콘텐츠 식별자를 포함한다. 이러한 특정 실시예는, 시스템의 다양한 컴포넌트들을 분리하고 그들을 필요에 따라 스케일링하기 때문에 시스템의 확장성(scalability)에 대한 장점을 갖는다. 변형 실시예에 따라, URL들은 자립형이 아니라, 오히려 판정된 이미지 프레임 시퀀스를 페치하는데 필요한 모든 정보를 저장하는 데이터 베이스 내의 엔트리들을 참조하는 식별자들을 포함한다. 플레이 리스트 생성의 단계 동안에, 연관된 메타데이터 및 사용자 프로파일을 이용하여, 어떤 콘텐츠가 어떤 이미지 프레임 시퀀스 내에 오버레이될 지가 판정되고 이러한 정보가 URL들 내에 인코딩된다. 사용자 프로파일 정보는, 예를 들어, 구매 행위(buying behavior), 인터넷 서핑 습관, 또는 그외의 소비자 행위와 같은 데이터로부터 수집된다. 이러한 사용자 프로파일이 사용되어 사용자 선호, 예를 들어, 그의 구매 행위에 연관되는 광고들, 또는 그의 바로 인근의 상점들과 연관되는 광고들, 또는 그의 개인적 취향에 대응하는 그의 인근의 공연장 또는 극장과 같은 이벤트들을 위한 소식들과 매칭하는 그리고 타겟팅가능한 비디오 프레임 시퀀스와 매칭하는(예를 들어, 특정 색으로 되어 있는 그래픽으로 이루어진 특정 상표의 음료에 대한 광고는, 동일하거나 유사한 특정 색을 갖는 이미지 프레임들 내에 오버레이되기에 적절하지 않을 것임) 오버레이를 위한 콘텐츠를 선택한다.
'일반적인' 이미지 프레임 시퀀스들에 대해, 이러한 이미지 프레임 시퀀스들은 콘텐츠 서버에 의한 추가의 컴퓨팅 없이 제공될 수 있으나, 변형에 따르면, 사용자 디바이스와 서버를 상호접속하는 네트워크를 통한 전송을 위해 프레임 시퀀스를 구성하거나 사용자들의 비디오 소비(video consumption)를 모니터링하기 위해 일부 컴퓨팅이 요구될 수 있다. 타겟팅가능한 이미지 프레임 시퀀스들에 대해, 콘텐츠는 이전에 논의된 메타데이터를 이용하여 오버레이된다. 본 발명의 특정 실시예에 따라, 이러한 오버레이 연산은 JIT(just-in-time) 삽입을 행하기 위한 충분한 컴퓨팅 리소스들(computational resource)을 갖는 비디오 서버에 의해 행해질 수 있는데, 즉, JIT 컴퓨팅은 타겟팅된 콘텐츠가 사용자에 의해 필요로 되는 때 바로 전에 타겟팅된 콘텐츠가 컴퓨팅된다는 것을 의미한다.
또 다른 변형에 따르면, 콘텐츠를 오버레이하는 프로세스가, 예를 들어, 플레이 리스트의 생성시에 론칭(launch)되거나 컴퓨팅 리소스가 이용가능하게 될 때마다 그 후에 론칭되는 일괄작업 프로세스(batch process) 동안에 먼저 시작된다.
본 발명의 또 다른 변형 실시예에 따라, 콘텐츠가 오버레이된 이미지 프레임 시퀀스들은 캐시 메모리 내에 저장된다. 캐시는 하나 이상의 저장소 서버에 의해 제공되는 RAM, 하드 디스크 드라이브, 또는 임의의 그외의 유형의 저장소로서 구현된다. 이러한 일괄작업 준비는 플레이 리스트의 생성시에 행해진다는 장점이 있다.
심지어 타겟팅된 이미지 프레임 시퀀스의 생성이 일괄작업으로 프로그램되더라도, 일괄작업 종료를 대기하기에 충분한 시간이 남아있지 않을 수 있다. 그러한 상황은 사용자가 빨리 감기와 같은 트릭 모드를 사용하는 경우, 또는 요청된 리소스들의 가용불가능함으로 인하여 일괄작업 생성이 너무 느리게 전개되는 경우에 발생할 수 있다. 그러한 경우에, 그리고 본 발명의 변형 실시예에 따라, 요청된 타겟팅된 이미지 프레임 시퀀스가 '온 더 플라이(on the fly)'로 생성된다(그리고 일괄작업으로부터 제거된다).
이전에 논의된 일괄작업 프로세스에 관련되는 본 발명의 변형 실시예에 따라, 타겟팅된 이미지 프레임 시퀀스의 준비를 위해 이용가능한 지연이 판정된다. 예를 들어, 요청된 비디오의 렌더링 포인트(rendering point)를 고려하면, 저비용, 덜 강력한 컴퓨팅 리소스들(less powerful computing resources)을 이용하여 이미지 프레임들 내에 콘텐츠를 오버레이할 충분한 시간이 있을 수 있는 반면, 렌더링 포인트가 타겟팅가능한 이미지 프레임들에 접근하면, 콘텐츠가 적시에 오버레이되는 것을 보장하기 위해, 보다 나은 이용가능성 및 보다 고성능을 갖는 보다 고비용의 컴퓨팅 리소스가 요구된다. 그렇게 하는 것은 컴퓨팅 비용을 절감한다는 장점이 있다. 지연에 대한 판정은 요청된 비디오의 소비 시간 및 비디오 비트 레이트에 대한 정보를 이용하여 행해진다. 예를 들어, 사용자가 비디오를 요청하고 T0에서 제1 이미지 프레임 시퀀스를 요청하면, T0+n에서 다른 이미지 프레임 시퀀스가 아마도 요청될 것(즉, 트릭 모드들을 이용하지 않고, 비디오는 선형적으로 소모된다는 가정하에, 그리고 비디오 비트 레이트가 변하지 않는다는 가정하에)이라는 것이 비디오의 공지된 비트 레이트를 이용하여 계산될 수 있다.
전술된 바와 같이, 타겟팅된 이미지 프레임 시퀀스는, 동일한 타겟팅된 이미지 프레임 시퀀스가 다른 사용자들에게 회합(convene)될 것이 발생할 수 있기 때문에(예를 들어, 다수의 사용자들이 동일한 인근의 동일한 극장의 소식들에 관심있기 때문에 그들이 동일한 방식으로 타겟팅될 수 있음) 다른 사용자에게 서비스하기 위해 저장소 서버 상에(예를 들어, 캐시 메모리 내에) 저장될 수 있다. 저장하기로 하는 또는 저장하지 않기로 하는 결정은 예를 들어 사용자 프로파일들을 분석 또는 공통의 관심들을 검색함으로써 취해질 수 있다. 예를 들어, 다수의 사용자들이 파트 메이크(part make)의 자동차들에 관심있다면, 저장하기로 하는 결정을 취하는 것이 리소스 관리 측면에서 장점이 있을 수 있다.
본 발명의 변형 실시예에 따라, 플레이어가 캐시에 이미 존재하지 않는 타겟팅된 이미지 프레임 시퀀스를 요청하고 온 더 플라이 생성을 위해 충분히 남아 있지 않거나, 온 더 플라이 생성이 임의의 이유(네트워크 문제, 디바이스 고장, ...)로 실패한 경우, 타겟팅된 이미지 프레임 시퀀스 대신에 디폴트 버전의 이미지 프레임 시퀀스가 제공되는 폴 백(fall back) 해결책이 취해진다. 그러한 디폴트 버전은, 예를 들어, 디폴트 광고 또는 어떤 광고도 없는 버전이다.
본 발명의 변형 실시예에 따라, 비디오를 요청하는 사용자 디바이스는 온라인 오버레이 연산 자체를 행하는 충분한 컴퓨팅 리소스를 갖는다. 이 경우에, (광고와 같은) 선택될 수 있는 오버레이가능한 콘텐츠는, 예를 들어, 사용자 디바이스에 상에 저장될 수 있거나, 변형 실시예에 따라, 다른 디바이스, 예를 들어, 전용 광고 서버 상에 저장될 수 있다.
요청을 발행한 사용자에게 회합하는 타겟팅가능한 이미지 프레임 시퀀스가 이미 준비되었다고 판정되는 경우, 특정 타겟팅가능한 이미지 프레임 시퀀스에 대한 요청을 저장소 서버 또는 캐시에 대해 재지향하기 위해 "재지향(redirection)" 서버가 사용된다.
변형 실시예에 따라, 본 발명의 방법은 클라우드 컴퓨팅 수단에 의해 구현되며, 도 4 및 그의 설명을 참조한다.
도 2는 본 발명에 따른 비디오의 이미지 프레임들 내에 타겟팅가능한 콘텐츠를 제공하는 방법의 일부 양태들을 예시한다. 본 도면에 대해 사용된 시나리오에 따라, 사용자(22) 및 사용자(28)의 2명의 사용자들이 존재한다. 각각은 그들에게 타겟팅된 비디오의 이미지 프레임 시퀀스를 수신한다. URL1은 모든 사용자들에게 동일한 일반적인 이미지 프레임 시퀀스(29)를 가리킨다. URL3은 타겟팅된 이미지 프레임 시퀀스(29)(홍보(publicity)는 브릿지 레일링(bridge railing)으로 오버레이된다)를 가리킨다. URL2는 URL3과 동일한 타겟팅가능한 이미지 프레임 시퀀스를 가리키며, 여기서 어떤 오버레이가능한 콘텐츠도 오버레이되지 않는다. 사용자(22)는 URL1 및 URL3을 포함하는 매니페스트(24)를 수신한다. 사용자(28)는 URL1 및 URL2를 포함하는 매니페스트(21)를 수신한다. URL3은, 그것이 주지된 상표의 음료의 광고를 포함하므로 다수의 사용자들에 대한 그의 사용 가능성으로 인하여 캐시 내에 저장되었던 일괄 준비된 타겟팅된 콘텐츠를 가리킨다.
모든 URL들은, 그 URL의 요청시에, 타겟팅된 이미지 프레임 시퀀스를 컴퓨팅할 수 있는 서버, 또는 저장된 타겟팅된 이미지 프레임 시퀀스를 서비스할 수있는 캐시 서버에 재지향하는 재지향 서버를 가리킨다는 장점이 있다. 저장된 타겟팅된 이미지 프레임 시퀀스는 일괄 준비된 타겟팅된 콘텐츠 또는 다른 사용자에 대해 이전에 준비된 그리고 저장된 콘텐츠를 갖는다.
도 3은 본 발명에 따른 비디오의 이미지 프레임 시퀀스 내에 타겟팅가능한 콘텐츠를 제공하는 경우에 플레이되는 데이터의 예를 도시한다. 콘텐츠 아이템(30), 즉, 비디오가 프로세스(31)에서 분석된다. 이것은 메타데이터(32)의 생성을 야기한다. 분석 프로세스는 일반적인 이미지 프레임 시퀀스들(33) 및 타겟팅가능한 이미지 프레임 시퀀스들(34)의 비디오에서의 인식을 야기한다. 타겟팅가능한 이미지 프레임 시퀀스들에 관한 정보는 비디오에 연관되는 메타데이터(35)로서 저장된다. 사용된 추가의 데이터는 광고들(36) 및 이들 광고들뿐 아니라 사용자 프로파일들(38)에 연관되는 메타데이터(37)이다. 광고들에 관련된 메타데이터는, 이미지 크기, 폼 팩터(form factor), 허용된 홀로모픽 변환(allowed holomorphic transformation)의 레벨, 텍스트 설명(textual description) 등과 같은 오버레이 연산에 사용될 수 있는 정보를 포함한다. 사용자 프로파일들 및 메타데이터(35, 37)는, 예를 들어, 광고들(36) 중 하나를 오버레이하기 위한 콘텐츠를 선택하는데 사용된다.
도 4는 클라우드 컴퓨팅을 사용하는 본 발명의 부분 실시예에 따른 전달 플랫폼을 위한 아키텍처를 도시한다. 클라우드 컴퓨팅은 디바이스들의 네트워크를 통해 연산 집약적 작업들의 분배에 점점 더 사용되고 있다. 이것은 비디오의 이미지 프레임들 내에 타겟팅된 콘텐츠를 제공하는 본 발명의 방법을 활용할 수 있다. 클라우드 컴퓨팅 서비스들은 Amazon, Microsoft 또는 Google과 같은 여러 회사들에 의해 제안되었다. 그러한 컴퓨팅 환경에서, 컴퓨팅 서비스들이 임대되고, 리소스들이 컴퓨팅 요구들에 매칭하도록 작업들이 동적으로 디바이스들에 할당된다. 이것은 유연한 리소스 관리를 허용한다. 통상적으로, 가격은 연산의 초(second of computation) 마다 및/또는 전송된 바이트마다 확립된다. 본 발명의 설명된 특정 실시예에 따라, 클라우드 컴퓨팅에 의해 제공되는 유연한 컴퓨팅 플랫폼이 사용되어, 소비(스트리밍) 시간 에서의 콘텐츠의 동적 오버레이를 통해, 비디오의 이미지 프레임들 내에 타겟팅가능한 콘텐츠를 제공한다. 비디오, (광고와 같은) 오버레이 콘텐츠의 세트, 및 사용자 프로파일들의 세트가 입력 데이터로서 이용가능하다. 비디오는 (예를 들어, 오프라인 전처리에 의해) 분석되고 메타데이터는 도 3에 대해 설명된 바와 같이 생성된다. 이제, 비디오가 사용자에게 전송되는 경우 적절한 오버레이 콘텐츠가 비디오의 타겟팅가능한 이미지 시퀀스들 내에 오버레이된다. 그리고 나서 클라우드 컴퓨팅 플랫폼을 이용하면 시스템이 요구 증가(demand growth)에 대해 완전하게 확장가능하게 되도록 한다. 비디오의 이미지 프레임 시퀀스들 내에 타겟팅가능한 콘텐츠를 제공하는 그러한 클라우드 기반 방법은 이하의 단계들을 포함한다:
(ⅰ) 타겟팅된 콘텐츠로 오버레이하기 위한 이미지 구역들을 포함하는 비디오 내의 이미지 프레임들의 시퀀스들(즉, '타겟팅가능한' 이미지 프레임 시퀀스들)을 판정하는 비디오 프로세싱. 이 단계 동안에, 판정된 이미지 프레임들의 시퀀스들 및 이미지 구역들('오버레이' 구역들)을 설명하는 특징들을 포함하는 비디오에 연관되는 메타데이터가 생성된다. 선택적으로 그리고 추가로 이 단계 동안에, 일반적 이미지 프레임 시퀀스들이 전송에 최적화된 컴팩트한(compact) 인코딩 포맷을 이용하여 (재-)인코딩되는 반면, 타겟팅가능한 이미지 프레임 시퀀스들은 보다 덜 컴팩트하지만 편집에 적합한, 통상적으로 이전에 논의된 메자닌 포맷인, 인코딩 포맷을 이용하여 (재-)인코딩된다.
(ⅱ) 클라우드(예를 들어, Amazon S3) 내에 (재-)인코딩된 이미지 프레임 시퀀스들(즉, 일반적인 그리고 타겟팅가능한)의 저장. 이러한 클라우드는 공개(public) 또는 비공개(private)일 수 있다.
(ⅲ) 오버레이할 대상으로 되는 콘텐츠를, 콘텐츠를 기술하고 콘텐츠 삽입을 위해 추후 단계에서 사용될 수 있는 연관된 메타데이터와 함께, (비공개 또는 공개)클라우드 내에 저장.
(ⅳ) 콘텐츠 타겟팅을 위해 사용될 사용자 프로파일들의 세트를 유지. 이러한 사용자 프로파일들은 공개 클라우드 내에 저장될 수 있거나 개인적인 이유로인해, 사용자 디바이스 상의 비공개 클라우드 상에 저장될 수 있다.
(ⅴ) 비디오에 대한 요청시 매니페스트의 생성, 및 요청자에게 송신. 매니페스트 파일은 링크들(예를 들어, 비디오의 이미지 프레임 시퀀스들(즉, 타겟팅가능하고 일반적인 이미지 프레임 시퀀스들)에 대한 URL들)을 포함한다.
(ⅵ) 요청에 따라, 예를 들어, 비디오 플레이어로부터, 매니페스트에 나열된 상이한 이미지 프레임 시퀀스들의 송신. 일반적인 이미지 프레임 시퀀스들은 저장소로부터 제공된다. 타겟팅된 이미지 프레임 시퀀스들은 이미지 프레임 시퀀스가 대상으로 하는 특정 사용자에 대해 적절한 이미지 프레임 시퀀스들이 존재하는 경우 캐시 메모리로부터 제공되거나, '온 더 플라이'로 계산되어, 이에 의해 이전에 사전선택된 오버레이 콘텐츠가, 그러한 사전선택된 오버레이 콘텐츠가 존재하는 경우에, 오버레이될 수 있다.
타겟팅가능한 이미지 프레임 시퀀스를 타겟팅하는 것은:
- 타겟팅가능한 이미지 프레임 시퀀스들을 디코딩하는 것:
- 타겟팅가능한 비디오 이미지 프레임 시퀀스 내에 선택된 오버레이가능한 콘텐츠를 오버레이하고, 이에 의해 "타겟팅된" 이미지 프레임 시퀀스를 획득하는 것;
- 바람직하게는 전송에 최적화된 인코딩 포맷을 이용하여 타겟팅된 이미지 프레임 시퀀스를 인코딩하고, 타겟팅된 이미지 프레임 시퀀스를 사용자 디바이스에 송신하는 것. 프로세싱에 요구되는 리소스 사용을 더 최적화하기 위해, 캐시 공간이 이용가능하면, 처리된 타겟팅가능한 이미지 프레임 시퀀스가 캐시 내에 저장되어, 이미지 프레임 시퀀스가 다른 사용자에 대해(예를 들어, 유사한 사용자 프로파일들을 갖는 사용자들에 대해) 요구되는 경우에 타겟팅가능한 이미지 프레임 시퀀스를 프로세싱하는 것이 회피될 수 있다. 마찬가지로, 선택된 오버레이가능한 콘텐츠에 대한 참조들(링크들)이 저장될 수 있고, 이들은 이전에 논의된 바와 같이, 추후에 검색될 수 있다.
도 4는 AWS(Amazon Web Services)에 기초한 본 발명의 특정 실시예의 구현을 위해 사용되는 예시적인 클라우드 아키텍처를 도시한다. 본 발명에 대하여, 관심의 일부는 연산 작업들(타겟팅, 콘텐츠 오버레이, 사용자 프로파일 유지관리, 매니페스트 생성)의 실행을 위한 EC2(Elastic Compute Cloud)와 같은 컴퓨팅 인스턴스들, 일반적인 이미지 프레임 시퀀스들 및 타겟팅가능한 이미지 프레임 시퀀스들, 메타데이터, 및 데이터 전달을 위한 클라우드프론트(CloudFront)와 같은 데이터의 저장을 위한 S3(Simple Storage Service)와 같은 저장소 인스턴스들이다. Amazon 기술에 따라, EC2는 상이한 종류의 운영 체제들 및 상이한 종류의 "인스턴스" 구성에 대해 상당히 큰 컴퓨팅 용량을 제공하고 가상 컴퓨팅 환경을 제공하는 웹 서비스이다. 통상적 인스턴스 구성들은 "EC2 표준" 또는 "EC2 마이크로"이다. "EC2 마이크로" 인스턴스는 주기적으로 추가적인 컴퓨팅 사이클들을 요구하는 더 낮은 처리량의 애플리케이션들 및 웹 사이트들에 잘 맞는다. AWS에서 리소스들을 얻는 상이한 방식들이 있다. "온 디맨드(on demand)"라고 지칭되는 제1 방식은 주어진 비용에서 리소스들이 이용가능하게 될 것이라는 보장을 제공한다. "스폿(spot)"으로서 지칭되는 제2 모드는 더 저렴한 비용에서 리소스들을 얻는 것을 허용하지만, 이용가능성에 대한 보장이 없다. EC2 스폿 인스턴스들은 비딩(bidding) 메커니즘에 의해 EC2 컴퓨팅 용량에 대한 비용을 획득하는 것을 허용한다. 이러한 인스턴스들은 시간적 유연성(time-flexible), 중단-내성(interruption-tolerant) 작업들에 대한 컴퓨팅 비용들을 현저하게 낮출 수 있다. 비용들은 종종 동일한 EC2 인스턴스 유형들에 대한 온 디맨스 비용들보다 현저하게 낮다. S3는 언제든지 임의의 데이터량을 저장 및 검색하는데 사용될 수 있는 간단한 웹 서비스 인터페이스를 제공한다. 저장소 공간 비용은 희망하는 신뢰성, 예를 들어, 높은 신뢰성을 갖는 표준 저장소 및 중요하지 않고(non-critical), 재생성가능한(reproducible) 데이터에 대한 축소된 중복 저장소(reduced redundancy storage)에 의존한다. 클라우드프론트는 콘텐츠 전달을 위한 웹 서비스이고 낮은 레이턴시 및 높은 데이터 전송 속도로 최종 사용자들에게 콘텐츠를 분배하는 다른 AWS 서비스들과 통합하며 콘텐츠의 스트리밍에 사용될 수 있다. 도 4에서, 구성요소(400)는 셋 톱 박스, PC, 태블릿 또는 모바일 폰과 같은 사용자 디바이스를 도시한다. 신뢰성있는 S3(404)가 일반적인 이미지 프레임 시퀀스들 및 타겟팅가능한 이미지 프레임 시퀀스들을 저장하기 위해 사용된다. 축소된 신뢰성있는 S3(405)는 쉽게 재컴퓨팅(recompute)될 수 있는 타겟팅된 이미지 프레임 시퀀스들을 저장하기 위해 사용된다. 축소된 신뢰성있는 S3(405)는, 컴퓨팅된 타겟팅된 이미지 프레임 시퀀스들을 일정 시간 메모리에 유지하기 위해 캐시로서 사용된다. 신뢰성있는 S3(406)는 타겟팅가능한 이미지 프레임 시퀀스들을 메자닌 포맷, 광고들 또는 오버레이 콘텐츠, 및 메타데이터에 저장하기 위해 사용된다. EC2 스폿 인스턴스들(402)은 타겟팅된 이미지 프레임 시퀀스들을 사전-컴퓨팅(pre-compute)하기 위해 사용된다. '일괄작업' 생성으로서 지칭될 수 있는, EC2 스폿 인스턴스에 의한 이러한 컴퓨팅은 예를 들어 매니페스트 생성시에 트리거링된다. 온 디맨드 EC2 라지 인스턴스들(On-demand EC2 large instances)(407)은 콘텐츠의 '온 더 플라이' 또는 '실시간' 오버레이를 실현하기 위해 사용된다. 타겟팅된 이미지 프레임 시퀀스의 생성은 다음과 같이 행해진다: 메자닌 포맷의, 타겟팅가능한 이미지 프레임 시퀀스는 신뢰성있는 S3(406)로부터 검색되고, 타겟팅가능한 이미지 프레임 시퀀스가 디코딩되고, 오버레이 콘텐츠가 선택되고, 타겟팅가능한 이미지 프레임 시퀀스의 이미지들 내에 오버레이되고, 타겟팅된 이미지 프레임 시퀀스가 전송 포맷으로 재-인코딩된다. 타겟팅된 이미지 프레임 시퀀스의 전술한 '온 더 플라이' 또는 '일괄작업' 컴퓨팅에 따라, 타겟팅가능한 이미지 프레임 시퀀스들의 디코딩, 오버레이 콘텐츠의 선택, 오버레이 및 재-인코딩이 각각 EC2 스폿 인스턴스(402) 내에서, 또는 EC2 라지 인스턴스(407) 내에서 행해진다. 물론, 이러한 설명된 변형은 가능한 여러 전략들 중 오직 하나이다. 다른 전략들은, 이러한 인스턴스들의 사용이 좋은 서비스 품질을 갖는 비용 효율적 해결책을 제공하기 위해 최적화되도록, 지연, 작업 크기 및 컴퓨팅 인스턴스 비용들과 같은 상이한 파라미터들에 따라 '온 더 플라이' 또는 '일괄작업' 컴퓨팅 중 어느 하나에 대해 상이한 EC2 인스턴스들(예를 들어, 마이크로, 미디엄 또는 라지)을 이용하는 것을 포함할 수 있다. 그리고 나서 컴퓨팅된 타겟팅된 이미지 프레임 시퀀스는 '일괄작업' 컴퓨팅의 경우에 캐시로서 사용되는 축소된 신뢰성있는 S3(405)에 저장되거나, EC2 라지(407)로부터 직접 서비스되고, '온 더 플라이' 컴퓨팅의 경우에 축소된 신뢰성있는 S3(405)에 선택적으로 저장된다. 타겟팅된 이미지 프레임 시퀀스들의 일괄작업 컴퓨팅은 그렇게 행할 시간이 이용가능한 경우, 컴퓨팅 비용의 이유들로 인해 바람직하다. 따라서, 타겟팅된 이미지 프레임 시퀀스들에 대한 일괄작업 컴퓨팅을 시작할 좋은 시점은 매니페스트가 생성되는 때이다. 그러나, 사용자가 아직 컴퓨팅되지 않은 타겟팅가능한 이미지 프레임 시퀀스까지 빨리감기하는 경우, 보다 비용이 드는 '온 더 플라이' 컴퓨팅이 요구된다. 이제 디바이스(400) 상의 플레이어가 이미지 프레임 시퀀스들을 요청하는 경우, 이전에 논의된 재지향 서버(도시되지 않음)는, 요청된 이미지 프레임 시퀀스가 예를 들어, 요청된 이미지 프레임 시퀀스가 일반적 이미지 프레임 시퀀스인 경우 신뢰성있는 S3(404)로부터, 요청된 이미지 프레임 시퀀스가 이미 캐시에서 이용가능한 타겟팅가능한 이미지 프레임 시퀀스인 경우 축소된 신뢰성있는 S3로부터, 요청된 이미지 프레임 시퀀스가 캐시에서 이용가능하지 않은 이미지 프레임 시퀀스인 경우 '온 더 플라이' 생성을 위한 EC2 라지(407)로부터 획득될 수 있는 경우를 검증한다. 이미지 프레임 시퀀스가 요청될 수 있는 경우에 따라, 재지향 서버는 디바이스(400)를 이미지 프레임 시퀀스를 획득하기 위한 정확한 엔티티에 재지향시킨다. 디바이스(400)는 EC2/S3로부터 직접 서비스되지 않지만, 이미지 프레임 시퀀스들을 디바이스(400)에 스트리밍하는 클라우드프론트(403)와 같은 CDN/proxy를 통해 서비스된다. 간단히, 타겟팅된 콘텐츠는 3개의 소스들로부터 상이한 URL들을 제공받을 수 있다:
- 캐시 영역으로서 기능하는, 사전컴퓨팅되고 축소된 신뢰성있는 S3(405)에서 이용가능한;
- EC2 라지(407)에 의해 온 더 플라이 컴퓨팅되는;
- 폴 백 해결책으로서, (정확하게 말하면 '타겟팅되지 않은') 콘텐츠 오버레이 없는, 신뢰성있는 S3(404)로부터의;
- 또 다른 폴 백 해결책으로서, 사용자 프로파일에 정확하게 대응하지 않는 오버레이된 콘텐츠를 갖는 신뢰성있는 S3(405)로부터의;
따라서, 디바이스(400) 상의 플레이어는 단일 URL을 요청하고 전술한 소스들 중 하나로 재지향된다.
매니페스트 내의 URL들은, 매니페스트 내에 나열된 URL들을 요청하는 사용자 디바이스에 대해 투명한 방식으로 이러한 3개의 소스들 각각으로부터 타겟팅된 콘텐츠를 획득하는 도 4의 시스템에 요구되는 모든 정보를 포함한다.
위의 예가 Amazon 클라우드 컴퓨팅 아키텍처에 기초하지만, 본 문서를 읽는 사람들은 위의 예가 전술한 본 발명의 개념으로부터 벗어나지 않고 위와 상이한 클라우드 컴퓨팅 아키텍처에 대해 구성될 수 있다는 것을 이해할 것이다.
도 5는 본 발명의 방법의 특정 실시예의 흐름도를 예시한다. 제1 초기화 단계(500)에서, 변수들이 본 방법의 기능을 위해 초기화된다. 본 방법이 도 6의 서버 디바이스(600)와 같은 디바이스에서 구현되는 경우, 본 단계는, 예를 들어, 비휘발성 메모리로부터 휘발성 메모리로의 데이터의 복사 및 메모리의 초기화를 포함한다. 단계(501)에서, 타겟팅된 콘텐츠로 오버레이하기 위한 이미지 구역들을 포함하는 상기 비디오 내의 이미지 프레임들의 시퀀스들이 판정된다. 단계(502)에서, 메타데이터가 비디오와 관련된다. 메타데이터는 판정된 이미지 프레임들의 시퀀스들 및 이미지 구역들을 설명하는 특징들을 포함한다. 단계(503)에서, 비디오의 송신에 대한 요청이 사용자로부터 수신된다. 단계(504)에서, 메타데이터에 의해 설명되는 이미지 프레임들의 시퀀스들의 이미지 구역들 내에 콘텐츠를 오버레이 하기 위해 메타데이터가 사용된다. 메타데이터에 따라 그리고 사용자의 사용자 선호에 따라 콘텐츠가 선택되거나 "타겟팅된다". 단계(505)에서, 비디오가 사용자에게 송신된다. 도 5의 흐름도는 예시적 목적을 위한 것이고 본 발명의 방법은 반드시 그와 같이 구현되는 것은 아니다. 구현의 다른 가능성들은 단계들의 병렬 실행 또는 일괄작업 실행을 포함한다.
도 6은 비디오의 이미지 프레임들 내에 타겟팅된 콘텐츠를 제공하기 위한 서버 디바이스(600)의 예시적인 실시예를 도시한다.
디바이스는 판정기(601), 콘텐츠 오버레이어(606), 네트워크 인터페이스(602)를 포함하고, 이미지 프레임 시퀀스들(603), 오버레이가능한 콘텐츠(605) 및 사용자 선호(608)와 같은 데이터를 이용하는 반면, 매니페스트 파일(604) 및 타겟팅된 이미지 프레임 시퀀스들(607)을 생성한다. 오버레이 콘텐츠는 로컬로 저장되거나 접속(610)을 통해 네트워크에 접속되는 네트워크 인터페이스를 통해 수신된다. 출력은 로컬로 저장되거나 네트워크 상에서, 예를 들어, 사용자 디바이스에 즉시 송신된다. 비디오에 대한 요청들은 네트워크 인터페이스를 통해 수신된다. 매니페스트 파일 생성기는 매니페스트 파일 메커니즘을 통해 비디오를 송신하는 경우에 사용되는 선택적 컴포넌트이다. 판정기(601)는 타겟팅된 콘텐츠로 오버레이하기 위한 이미지 구역들을 포함하는 비디오 내의 이미지 프레임들의 시퀀스들을 판정하고, 메타데이터를 비디오와 연관시킨다. 메타데이터는 판정기에 의해 판정된 이미지 구역들 및 이미지 프레임들의 시퀀스들을 설명하는 특징들을 포함한다. 네트워크 인터페이스는 비디오의 송신에 대한 사용자 요청들을 수신한다. 콘텐츠 오버레이어는 비디오와 연관되는 메타데이터에서 참조되는 이미지 프레임 시퀀스들의 이미지 구역들 내의 타겟팅된 콘텐츠를 비디오내에 오버레이한다. 타겟팅된 콘텐츠는 연관된 메타데이터에 따라 그리고 비디오를 요청하는 사용자의 사용자 선호에 따라 타겟팅 또는 선택된다. 비디오의 이미지 프레임들, 즉, 일반적인 이미지 프레임 시퀀스들 및 타겟팅된 이미지 프레임 시퀀스들은 네트워크 인터페이스를 통해 송신된다. 매니페스트 파일을 통한 비디오의 송신이 사용되는 경우, 일반적인 이미지 프레임 시퀀스들 및 타겟팅가능한 이미지 프레임 시퀀스들에 대한 참조들이 요청된 비디오의 이미지 프레임 시퀀스들의 리스트를 판정하는 매니페스트 파일 생성기에 제공된다. 이러한 리스트는 임의의 사용자를 대상으로 하는 비디오의 일반적인 이미지 프레임 시퀀스들 및 콘텐츠 오버레이를 통해 특정 사용자 또는 사용자의 그룹을 대상으로 하는 타겟팅가능한 이미지 프레임 시퀀스들에 대한 식별자들을 포함한다. 식별자들은, 예를 들어, URL들이다. 리스트는 비디오를 요청하는 사용자 디바이스에 송신된다. 그리고 나서 사용자 디바이스는, 예를 들어, 비디오의 플레이백 동안에, 그들을 필요로 하는 경우, 매니페스트 파일에서 참조된 이미지 프레임 시퀀스들을 서버로부터 페치한다.
도 7은 비디오 시퀀스의 이미지들 내의 타겟팅가능한 콘텐츠를 수신하는 본 발명의 방법을 구현하는 수신기 디바이스의 예시적인 실시예를 도시한다. 디바이스(700)는 디지털 데이터 및 어드레스 버스(714)에 의해 상호접속되는 이하의 컴포넌트들을 포함한다:
- 프로세싱 유닛(711)(또는 중앙 처리 유닛을 위한 CPU);
- 비휘발성 메모리 NVM(710);
- 휘발성 메모리 VM(720);
- 디바이스(700)의 컴포넌트들 사이의 동작들의 동기화 및 다른 타이밍 목적들을 위해 기준 클록 신호를 제공하는 클록 유닛(712);
- 접속(715)을 통해 네트워크로 접속되는 다른 디바이스들에 대한 디바이스(700)의 상호접속을 위한 네트워크 인터페이스(713).
메모리들(710 및 720)의 설명에 이용되는 “레지스터”라는 단어는 언급된 메모리들 각각에서, 실행가능한 프로그램 또는 전체 데이터 세트를 저장할 수 있는 고용량 메모리 구역뿐만 아니라, 일부 이진 데이터를 저장할 수 있는 저용량 메모리 구역을 지정한다는 것에 주목한다.
프로세싱 유닛(711)은 마이크로프로세서, 커스텀 칩, 전용 (마이크로-) 제어기 등으로서 구현될 수 있다. 비휘발성 메모리 NVM(710)는, 하드 디스크, 비휘발성 랜덤 액세스 메모리, EPROM(Erasable Programmable ROM) 등의 비휘발성 메모리의 임의의 형태로 구현될 수 있다. 비휘발성 메모리 NVM(710)는 특히 본 발명에 따른 방법을 포함하는 실행가능한 프로그램을 나타내는 프로그램을 보유하는 레지스터(7201)를 포함한다. 전원 인가시에, 프로세싱 유닛(711)은 NVM 레지스터(7101)에 포함된 명령어들을 로드하여 그들을 VM 레지스터(7201)에 복사하고 그들을 실행한다.
VM 메모리(720)는 특히 다음을 포함한다:
- NVM 레지스터(7101)의 프로그램 'prog'의 사본을 포함하는 레지스터(7201);
- 사용자 프로파일과 같이, 본 발명의 방법의 실행 동안에 사용되는 판독/기입 데이터를 포함하는 레지스터(7202).
이 실시예에서, 네트워크 인터페이스(713)가 사용되어 수신기 디바이스의 상이한 송신기 및 수신기 기능을 구현한다.
본 발명의 서버 및 수신기 디바이스들의 부분 실시예에 따라, 이러한 디바이스들은 본 방법의 단계들에 의해 제공되는 상이한 기능들을 구현하기 위한 전용 하드웨어를 포함한다. 본 발명에 따른 서버 및 수신기 디바이스들의 변형 실시예에 따라, 이러한 디바이스들은 개인용 컴퓨터와 같은 일반적 하드웨어를 이용하여 구현된다. 본 발명의 서버 및 수신기 디바이스들의 또 다른 실시예에 따라, 이러한 디바이스들은 일반적 하드웨어 및 전용 하드웨어의 혼합을 통해 구현된다. 부분적 실시예들에 따라, 서버 및 수신기 디바이스는 일반적 하드웨어 상에서 실행하는 소프트웨어 구현되거나, 소프트 및 하드웨어 모듈들의 혼합으로서 구현된다.
도 6 및 7에 의해 예시된 것 이외의 다른 디바이스 아키텍처들이 가능하고 본 발명의 방법과 호환된다. 특히, 변형 실시예들에 따르면, 본 발명은 하드웨어 및 소프트웨어의 혼합으로서 또는 순수 하드웨어 구현으로서, 예를 들어, 전용 컴포넌트의 형태로(예를 들어, ASIC(Application Specific Integrated Circuit), FPGA(Field-Programmable Gate Array) 또는 VLSI(Very Large Scale Integration)로), 또는 디바이스에 통합된 복수의 전자 컴포넌트들의 형태로 또는 하드웨어 및 소프트웨어 컴포넌트들의 혼합의 형태로, 예를 들어, 컴퓨터 내의 전용 전자 카드로서 구현되고, 이러한 수단들 각각은 하드웨어, 소프트웨어 또는 이들의 혼합으로, 동일하거나 상이한 소프트 또는 하드웨어 모듈들로 구현된다.

Claims (12)

  1. 비디오의 이미지 프레임들 내에 타겟팅된 콘텐츠를 제공하는 방법으로서, 상기 방법은 서버 디바이스에서 구현되고, 상기 방법은,
    타겟팅된 콘텐츠로 오버레이하기 위한 이미지 구역들을 포함하는 상기 비디오 내의 이미지 프레임들의 시퀀스들을 판정하는 단계(501), 및 메타데이터를 비디오에 연관시키는 단계(502) - 상기 메타데이터는 상기 판정된 이미지 프레임들의 시퀀스들 및 상기 이미지 구역들을 기술하는 특징들을 포함함 - ;
    사용자로부터, 상기 비디오의 송신에 대한 요청을 수신하는 단계(503);
    상기 비디오에서, 상기 메타데이터에 의해 기술되는 이미지 프레임들의 시퀀스들의 이지미 구역들을, 상기 연관된 메타데이터에 따라 그리고 상기 사용자의 사용자 선호에 따라 타겟팅되는 콘텐츠로 오버레이하는 단계(504); 및
    상기 비디오를 상기 사용자에게 송신하는 단계(505)
    를 포함하는 것을 특징으로 하는 방법.
  2. 제1항에 있어서,
    상기 오버레이하는 단계는 상기 이미지 프레임들의 시퀀스들 내의 상기 이미지 구역들의 변화하는 그래픽적 특징들에 대한 상기 타겟팅된 콘텐츠를 동적 구성하는 것을 포함하는 방법.
  3. 제1항 또는 제2항에 있어서,
    상기 판정하는 단계는 그래픽적으로 안정적인 이미지 구역들을 포함하는 이미지 프레임들의 시퀀스들을 검출하는 것을 포함하는 방법.
  4. 제2항 또는 제3항에 있어서,
    상기 그래픽적 특징들은 상기 이미지 구역들의 기하학적 왜곡을 포함하는 방법.
  5. 제2항 내지 제4항 중 어느 한 항에 있어서,
    상기 그래픽적 특징들은 상기 이미지 구역들의 발광성(luminosity)을 포함하는 방법.
  6. 제2항 내지 제5항 중 어느 한 항에 있어서,
    상기 그래픽적 특징들은 상기 이미지 구역들의 비색(colorimetric)을 포함하는 방법.
  7. 제1항 내지 제6항 중 어느 한 항에 있어서,
    상기 특징들은 상기 이미지 프레임들의 시퀀스들이 속하는 장면의 설명을 포함하는 방법.
  8. 제1항 내지 제7항 중 어느 한 항에 있어서,
    상기 비디오 내의 상기 판정된 이미지 프레임들의 시퀀스들 각각이 화상군(Group of Pictures)으로 시작하도록 상기 비디오를 재-인코딩하는 단계를 더 포함하는 방법.
  9. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 판정된 이미지 프레임들의 시퀀스들 각각이 폐쇄 화상군(closed Group of Pictures)을 이용하여 인코딩되도록 상기 비디오를 재-인코딩하는 단계를 더 포함하는 방법.
  10. 제1항 내지 제8항 중 어느 한 항에 있어서,
    상기 판정된 이미지 프레임들의 시퀀스들은 상기 비디오의 다른 이미지 프레임들의 시퀀스들보다 더 낮은 압축률을 이용하여 인코딩되는 방법.
  11. 제1항 내지 제9항 중 어느 한 항에 있어서,
    상기 메타데이터는 상기 비디오 내의 상기 판정된 이미지 프레임들의 시퀀스들을 참조하는 유니폼 리소스 로케이터들(Uniform Resource Locators)을 포함하는 방법.
  12. 비디오의 이미지 프레임들 내에 타겟팅된 콘텐츠를 제공하는 서버 디바이스(600)로서,
    타겟팅된 콘텐츠로 오버레이하기 위한 이미지 구역들을 포함하는 상기 비디오 내의 이미지 프레임들의 시퀀스들을 판정하고, 메타데이터를 상기 비디오에 연관시키기 위한 판정기(601) - 상기 메타데이터는 상기 판정된 이미지 프레임들의 시퀀스들 및 상기 이미지 구역들을 기술하는 특징들을 포함함 - ;
    상기 비디오의 송신에 대한 사용자 요청을 수신하는 네트워크 인터페이스(602);
    상기 비디오에서, 상기 메타데이터에 의해 기술되는 이미지 프레임들의 시퀀스들의 이미지 구역들을, 상기 연관된 메타데이터에 따라 그리고 상기 사용자의 사용자 선호에 따라 타겟팅되는 콘텐츠로 오버레이하기 위한 콘텐츠 오버레이어(606); 및
    상기 비디오를 상기 사용자에게 송신하기 위한 네트워크 인터페이스(602)
    를 포함하는 서버 디바이스.
KR1020157021145A 2013-02-07 2014-02-05 비디오의 이미지 프레임들 내에 타겟팅된 콘텐츠를 제공하는 방법 및 대응하는 디바이스 KR20150115773A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP13305151.6 2013-02-07
EP13305151.6A EP2765781A1 (en) 2013-02-07 2013-02-07 Method for providing targetable content in images of a video sequence and corresponding device
PCT/EP2014/052187 WO2014122141A1 (en) 2013-02-07 2014-02-05 Method for providing targeted content in image frames of a video and corresponding device

Publications (1)

Publication Number Publication Date
KR20150115773A true KR20150115773A (ko) 2015-10-14

Family

ID=47757530

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020157021145A KR20150115773A (ko) 2013-02-07 2014-02-05 비디오의 이미지 프레임들 내에 타겟팅된 콘텐츠를 제공하는 방법 및 대응하는 디바이스

Country Status (6)

Country Link
US (1) US20150373385A1 (ko)
EP (2) EP2765781A1 (ko)
JP (1) JP2016509811A (ko)
KR (1) KR20150115773A (ko)
CN (1) CN104982039A (ko)
WO (1) WO2014122141A1 (ko)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7251687B1 (en) * 2000-06-02 2007-07-31 Vignette Corporation Method for click-stream analysis using web directory reverse categorization
ITMI20131710A1 (it) * 2013-10-15 2015-04-16 Sky Italia S R L "sistema di cloud encoding"
EP2876890A1 (en) 2013-11-21 2015-05-27 Thomson Licensing Method and apparatus for frame accurate synchronization of video streams
US20150271541A1 (en) 2014-03-19 2015-09-24 Time Warner Cable Enterprises Llc Apparatus and methods for recording a media stream
US9894423B1 (en) * 2014-03-20 2018-02-13 Amazon Technologies, Inc. Video advertisement customization by compositing
EP2928196A1 (en) * 2014-04-01 2015-10-07 Thomson Licensing Method of video streaming and corresponding device
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US9872081B2 (en) * 2014-10-20 2018-01-16 Nbcuniversal Media, Llc Digital content spatial replacement system and method
EP3013055A1 (en) 2014-10-23 2016-04-27 Thomson Licensing Video frame set processing cost management method, apparatus and related computer program product
US9438936B1 (en) 2015-04-03 2016-09-06 Mirriad Limited Producing video data
US10375452B2 (en) 2015-04-14 2019-08-06 Time Warner Cable Enterprises Llc Apparatus and methods for thumbnail generation
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
EP3160145A1 (en) * 2015-10-20 2017-04-26 Harmonic Inc. Edge server for the distribution of video content available in multiple representations with enhanced open-gop transcoding
US10623518B2 (en) * 2016-02-04 2020-04-14 Spotify Ab System and method for ordering media content for shuffled playback based on user preference
US10306315B2 (en) 2016-03-29 2019-05-28 International Business Machines Corporation Video streaming augmenting
US11856271B2 (en) * 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US10652594B2 (en) * 2016-07-07 2020-05-12 Time Warner Cable Enterprises Llc Apparatus and methods for presentation of key frames in encrypted content
WO2018035133A1 (en) 2016-08-17 2018-02-22 Vid Scale, Inc. Secondary content insertion in 360-degree video
CN107347166B (zh) * 2016-08-19 2020-03-03 北京市商汤科技开发有限公司 视频图像的处理方法、装置和终端设备
US10440434B2 (en) * 2016-10-28 2019-10-08 International Business Machines Corporation Experience-directed dynamic steganographic content switching
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
US10943265B2 (en) 2017-03-14 2021-03-09 At&T Intellectual Property I, L.P. Targeted user digital embedded advertising
US10694223B2 (en) * 2017-06-21 2020-06-23 Google Llc Dynamic custom interstitial transition videos for video streaming services
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
WO2019231021A1 (ko) 2018-05-31 2019-12-05 라인플러스 주식회사 방송 시청단에서 크로마키를 이용한 개인화 배경을 노출하는 방법과 시스템 및 비-일시적인 컴퓨터 판독 가능한 기록 매체
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
JP2020080460A (ja) * 2018-11-12 2020-05-28 日本電信電話株式会社 システム制御装置、システム制御方法、及びプログラム
US11902621B2 (en) 2018-12-17 2024-02-13 Arris Enterprises Llc System and method for media stream filler detection and smart processing for presentation
EP3742738B1 (en) * 2019-05-24 2021-09-08 Mirriad Advertising PLC Incorporating visual objects into video material
US11109088B2 (en) 2019-06-07 2021-08-31 Roku, Inc. Content-modification system with unscheduling feature
US11418826B2 (en) * 2019-06-07 2022-08-16 Roku, Inc. Content-modification system with supplemental content stitching feature
CN110490660A (zh) * 2019-08-23 2019-11-22 三星电子（中国）研发中心 实时更新广告的方法及设备
US11683453B2 (en) * 2020-08-12 2023-06-20 Nvidia Corporation Overlaying metadata on video streams on demand for intelligent video analysis
US11474733B2 (en) * 2021-03-05 2022-10-18 EMC IP Holding Company LLC Public cloud provider cost optimization for writing data blocks directly to object storage
CN113126869B (zh) * 2021-03-30 2022-03-18 华东计算技术研究所（中国电子科技集团公司第三十二研究所） 基于国产bmc芯片的kvm图像高速重定向的实现方法及系统
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002227260A1 (en) * 2000-11-06 2002-05-15 Excite@Home Integrated in-stream video ad serving
US20020147634A1 (en) * 2001-01-31 2002-10-10 Ronald Jacoby System for dynamic generation of online streaming media advertisements
JP2002330440A (ja) * 2001-05-01 2002-11-15 Sony Corp 画像伝送方法、画像伝送方法のプログラム、画像伝送方法のプログラムを記録した記録媒体及び画像伝送装置
JP2002366836A (ja) * 2001-06-06 2002-12-20 Sony Corp コンテンツ配信装置、コンテンツ配信システム及びコンテンツ配信方法、並びに記憶媒体
JP2004159057A (ja) * 2002-11-06 2004-06-03 Nippon Telegr & Teleph Corp <Ntt> 再生情報配信システム及び再生情報配信方法
JP2004304792A (ja) * 2003-03-28 2004-10-28 Eastman Kodak Co 観客測定基準に基づいてデジタルシネマコンテンツを供給する方法
US7979877B2 (en) * 2003-12-23 2011-07-12 Intellocity Usa Inc. Advertising methods for advertising time slots and embedded objects
US7925973B2 (en) * 2005-08-12 2011-04-12 Brightcove, Inc. Distribution of content
US8566865B2 (en) * 2006-03-07 2013-10-22 Sony Computer Entertainment America Llc Dynamic insertion of cinematic stage props in program content
CN103024293B (zh) * 2006-03-07 2016-06-29 美国索尼电脑娱乐公司 动态地替换及插入节目内容中的电影舞台道具
US8413182B2 (en) * 2006-08-04 2013-04-02 Aol Inc. Mechanism for rendering advertising objects into featured content
US20080195468A1 (en) * 2006-12-11 2008-08-14 Dale Malik Rule-Based Contiguous Selection and Insertion of Advertising
JP5162928B2 (ja) * 2007-03-12 2013-03-13 ソニー株式会社 画像処理装置、画像処理方法、画像処理システム
US8451380B2 (en) * 2007-03-22 2013-05-28 Sony Computer Entertainment America Llc Scheme for determining the locations and timing of advertisements and other insertions in media
EP2098988A1 (en) * 2008-03-03 2009-09-09 Nokia Siemens Networks Oy Method and device for processing a data stream and system comprising such device
US20090327346A1 (en) * 2008-06-30 2009-12-31 Nokia Corporation Specifying media content placement criteria
US20100043046A1 (en) * 2008-07-07 2010-02-18 Shondip Sen Internet video receiver
JP2011203438A (ja) * 2010-03-25 2011-10-13 Nikon Corp 画像表示装置およびプログラム
US8677428B2 (en) * 2010-08-20 2014-03-18 Disney Enterprises, Inc. System and method for rule based dynamic server side streaming manifest files
US9301020B2 (en) * 2010-11-30 2016-03-29 Google Technology Holdings LLC Method of targeted ad insertion using HTTP live streaming protocol
US8849950B2 (en) * 2011-04-07 2014-09-30 Qualcomm Incorporated Network streaming of video data using byte range requests

Also Published As

Publication number Publication date
EP2765781A1 (en) 2014-08-13
US20150373385A1 (en) 2015-12-24
CN104982039A (zh) 2015-10-14
WO2014122141A1 (en) 2014-08-14
JP2016509811A (ja) 2016-03-31
EP2954680A1 (en) 2015-12-16

Similar Documents

Publication Publication Date Title
KR20150115773A (ko) 비디오의 이미지 프레임들 내에 타겟팅된 콘텐츠를 제공하는 방법 및 대응하는 디바이스
US10869103B2 (en) Process and apparatus for advertising component placement
US10158901B2 (en) System and method for creating customized, multi-platform video programming
US9256601B2 (en) Media fingerprinting for social networking
US8677428B2 (en) System and method for rule based dynamic server side streaming manifest files
US20190394510A1 (en) Method and system for recommending dynamic, adaptive and non-sequentially assembled videos
KR101540246B1 (ko) 콘텐츠 서명을 이용하는 동적 콘텐츠 삽입
US20130091519A1 (en) Processing and apparatus for advertising component placement
US20090320063A1 (en) Local advertisement insertion detection
KR20160060637A (ko) 콘텐츠 제공과 연관되는 관계성들을 지원하기 위한 장치 및 방법
KR20150022770A (ko) 임의의 시점에서 스트리밍 미디어에 컨텐츠를 삽입하는 방법 및 시스템
US10419784B2 (en) Method and system for serving advertisements during streaming of dynamic, adaptive and non-sequentially assembled video
US20110321086A1 (en) Alternating embedded digital media content responsive to user or provider customization selections
US20080031600A1 (en) Method and system for implementing a virtual billboard when playing video from optical media
US20230038443A1 (en) Dynamic digital object placement in video stream
US20160014179A1 (en) Method of video streaming, corresponding device and system
US20180192164A1 (en) Dynamic scheduling and channel creation based on real-time or near-real-time content context analysis
US20240080518A1 (en) Insertion of targeted content in real-time streaming media

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid