KR102601485B1 - Acr 텔레비전 모니터링 시스템에서의 작업 부하 관리를 개선하기 위한 시스템 및 방법 - Google Patents

Acr 텔레비전 모니터링 시스템에서의 작업 부하 관리를 개선하기 위한 시스템 및 방법 Download PDF

Info

Publication number
KR102601485B1
KR102601485B1 KR1020187004540A KR20187004540A KR102601485B1 KR 102601485 B1 KR102601485 B1 KR 102601485B1 KR 1020187004540 A KR1020187004540 A KR 1020187004540A KR 20187004540 A KR20187004540 A KR 20187004540A KR 102601485 B1 KR102601485 B1 KR 102601485B1
Authority
KR
South Korea
Prior art keywords
content
unknown
real
media content
media
Prior art date
Application number
KR1020187004540A
Other languages
English (en)
Other versions
KR20180030655A (ko
Inventor
지브 노이마이어
마이클 콜렛
Original Assignee
인스케이프 데이터, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인스케이프 데이터, 인코포레이티드 filed Critical 인스케이프 데이터, 인코포레이티드
Publication of KR20180030655A publication Critical patent/KR20180030655A/ko
Application granted granted Critical
Publication of KR102601485B1 publication Critical patent/KR102601485B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/48—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23109—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion by placing content in organized collections, e.g. EPG data repository
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • H04N21/2335—Processing of audio elementary streams involving reformatting operations of audio signals, e.g. by converting from one coding standard to another
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2355—Processing of additional data, e.g. scrambling of additional data or processing content descriptors involving reformatting operations of additional data, e.g. HTML pages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Marketing (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

다량의 미디어 큐 데이터의 식별을 지연시킴으로써 자동화된 콘텐츠 인식(ACR) 시스템의 리소스 활용을 최적화하기 위한 시스템 및 방법이 개시된다. 미디어의 지연된 식별은, 비실시간 사용들 중, 예를 들어, 사용 통계 또는 다른 비시간 임계 워크 플로우를 생성하기 위한 목적일 수 있다. 또한, 미디어 큐 데이터의 특정 서브 세트의 실시간 식별은 비디오 프로그램 대체, 인터랙티브 텔레비전 기회 또는 다른 시간 특정 이벤트를 위해 수행된다.

Description

ACR 텔레비전 모니터링 시스템에서의 작업 부하 관리를 개선하기 위한 시스템 및 방법
관련 출원에 대한 상호 참조
본 출원은 2015년 7월 16일자로 출원된 미국 임시출원 제 62/193,345호에 기초한 우선권을 주장하며, 그 모든 내용은 참조에 의하여 본원에 편입된다.
본 출원은 2009년 5월 29일 출원된 미국 임시 특허 출원 제61/182,334호 및 2009년 12월 29일 출원된 미국 임시 특허 출원 제61/290,714호에 기초한 우선권을 주장하는 2010년 5월 27일 출원된 미국 특허 출원 제12/788,721호(현재 미국 특허 제8,595,781호 B2)의 계속 출원인, 2013년 11월 25일 출원된 미국 특허 출원 제14/089,003호(현재 미국 특허 제8,898,714호)의 계속 출원인, 2014년 11월 24일 출원된 미국 특허 출원 제14/551,933호와 관련되고, 상기 모든 출원의 개시 내용은 그 전체가 참조에 의하여 본원에 편입된다.
본 출원의 내용은 미디어 시스템(예를 들어, 텔레비전 시스템, 컴퓨터 시스템, 또는 인터넷에 연결할 수있는 다른 전자 장치)에 의해 디스플레이 된 콘텐츠의 인식을 위해 사용되는 시스템 리소스의 관리를 개선하는 것과 관련된다. 또한, 본 출원의 내용은 콘텐츠를 효과적으로 그리고 효율적으로 식별하는 것과 관련된다. 예를 들어, 자동화된 콘텐츠 인식(automated content recognition; ACR) 텔레비전 모니터링 시스템에서 작업 부하 관리를 개선하기 위한 다양한 기술 및 시스템이 제공된다.
광섬유 및 디지털 전송 기술의 진보는, 상당 부분 각 채널의 증가된 데이터 용량과 컴퓨터의 프로세싱 능력을 스마트 TV 및/또는 셋톱 박스(STB) 또는 기타 장치 형태로 결합한 산업 덕분에, TV 산업이 채널 용량을 빠르게 증가시키고 어느 정도의 인터랙티브 텔레비전(interactive television; ITV) 서비스를 제공할 수 있도록 해 왔다.
ITV의 기술은 TV 시스템이 월드 와이드 웹(World Wide Web)과 유사한 방식으로 양방향(two-way) 정보 배포 메커니즘으로서 동작하게 하기 위해 개발되었다. ITV의 특징은 사용자가 광고된 제품 또는 서비스를 주문하고, 게임 쇼의 참가자와 경쟁할 수 있도록 하는 등의 다양한 마케팅, 엔터테인먼트, 및 교육 기능을 수용한다. 많은 경우, 인터랙티브 기능은 TV 방송용으로 작성된 인터랙티브 프로그램을 실행하는 STB에 의해 제어된다. 인터랙티브 기능은 종종 TV 스크린에 표시되고 사용자가 TV 리모컨이나 키보드를 통해 선택을 할 수 있게 하는 아이콘이나 메뉴를 포함할 수 있다.
하나의 기술에 의하면, 인터랙티브 콘텐츠는 방송 스트림(본 명세서에서 "채널/네트워크 피드"라고도 함)에 통합될 수 있다. "방송 스트림"이라는 용어는, 예를 들어 안테나, 위성, 케이블 또는 임의의 다른 신호 전송 방법과 같은, 방송 신호의 전송 방법에 관계없이 텔레비전에 의해 수신된 방송 신호를 지칭할 수 있다. 인터랙티브 콘텐츠를 방송 스트림에 분명하게 통합하는 한 가지 방법은 특정 프로그램에 대한 방송 스트림에 하나 또는 그 이상의 "트리거"를 삽입하는 것이다. 상기 트리거가 삽입된 프로그램 콘텐츠는 때때로 강화된 프로그램 콘텐츠 또는 강화된 TV 프로그램 또는 비디오 신호로 지칭된다. 트리거는 STB 또는 스마트 TV의 프로세서에 인터랙티브 콘텐츠가 이용가능함을 알리기 위해 사용될 수 있다. 트리거는 이용가능한 콘텐츠 및 콘텐츠의 메모리 위치에 대한 정보를 포함할 수 있다. 트리거는 또한 스크린, 예를 들어, 스크린의 하단에 디스플레이되는 사용자가 인지할 수 있는 텍스트를 포함할 수 있고, 이는 사용자가 어떤 동작을 수행하거나 복수의 옵션 중에서 선택할 것을 촉구할 수 있다.
커넥티드 TV는 시청자의 홈 네트워크(유선 또는 무선)를 통해 인터넷에 연결된 TV다. 커넥티드 TV는 Google의 Android 또는 다른 독점 플랫폼과 같은 애플리케이션 플랫폼을 작동시킬 수 있으므로, 인터랙티브 스마트폰 또는 태블릿 등의 애플리케이션이 TV에서 동작할 수 있게 한다. 이러한 커넥티드 TV 플랫폼의 기본적인 공통 기능은 다음과 같다: (1) 인터넷으로의 연결; 및 (2) 그 그래픽이 TV 디스플레이 상에 중첩되거나 TV 디스플레이 전체를 점유하는 소프트웨어 애플리케이션을 실행할 수 있는 능력.
현재는, 시청자가 지금 보고 있는 콘텐츠에 대한 메타 데이터에 액세스할 수있는 TV(커넥티드 또는 다른 방식으로)가 거의 없고, 시청자를 위해 맞춤 설정된 프로그래밍 또는 상업적 기회를 제공한다는 관점에서는 시청자라고 할 수 없다. 콘텐츠 제공에 대한 일부 정보는 콘텐츠 배포 파이프 라인에서 조금씩 이용가능하지만, 어떤 프로가 전통적인 배포 시스템(distribution system)을 통해 스크린에 도달하면 비디오 및 오디오 이외의 모든 정보가 손실된다.
압축 및 압축 해제를 견딜 수 있는 방식으로 오디오 또는 비디오 부분의 워터마크(watermark)의 형태로 오락 및 상업용 콘텐츠에서 그러한 식별 정보를 인코딩하려는 시도가 있었지만, 그러한 기술은 아직 보편적으로 이용가능하지 않다. 이러한 코드가 표준화되고 즉시 이용가능하고 신뢰성이 있다고 하더라도, 어떤 TV 시스템에 표시되고 있는 프로그램에서 정확한 포인트를 몇 분의 1초 내에 식별할 수 있는 능력을 갖는 것으로 예측되지는 않는다.
결과적으로 전통적인 TV 신호 배포 시스템에서 TV 세트는 시청자가 현재 시청중인 채널이나 쇼를 "알지" 못하거나 그 쇼가 무엇에 관한 것인지 "알지" 못한다. 시청자에 의해 스크린에 보여지는 채널 및 쇼 정보는 현재, 때때로 불완전한 정보로부터 STB에 접목된다. 이러한 장벽은 TV 콘텐츠 유통 업계의 기본 구조의 결과이다.
본 명세서에 인용된 관련 출원들은 실시간에 가깝게 현재 시청중인 콘텐츠를 식별하는 시스템 및 방법에 관한 것이며, 따라서 어떤 포인트에서 맥락상(contextually) 관련있는 추가 정보, 광고 또는 인터랙티브 기회(interactive opportunity)가 프로그래밍 제공자에게 이용가능한지를 식별할 수 있다. 이러한 실시간 애플리케이션에 더하여, 이들 애플리케이션은 이전에는 이용가능하지 않았던 정밀함과 세밀함을 갖는 패턴을 보는 것에 대한 통계를 생성할 수 있는 시스템과 방법을 제시한다. 그러나 광고 모듈의 교체 또는 시청자에게 추가 프로그램이나 상업적 기회를 제공하는 것은 거의 실시간으로 수행되어야 하지만, 어떤 프로그래밍을 식별하고 특정 채널의 프로그래밍 또는 시스템 삽입 대체 프로그래밍의 시청 및 사용 통계를 생성하는 것은 시간에 민감하지 않다.
따라서, 본 발명의 실시예들의 목적은 오프 피크(off-peak) 기간 동안 더 적은 시간 임계 기능을 자동적으로 실행함으로써 시스템 리소스 활용의 효율을 최대화하는 것이다. 본 발명의 실시예들은 일반적으로 텔레비전 시스템의 스크린 상에 디스플레이된 비디오 세그먼트를 식별하는 시스템 및 방법, 및 이러한 비디오 세그먼트 식별에 기초하여 맥락상 타겟팅된(contextually targeted) 콘텐츠를 텔레비전 시스템에 제공하는 시스템 및 방법에 관한 것이다. 본 명세서에 사용된 바와 같이, "미디어 시스템"이라는 용어는 텔레비전 시스템, 오디오 시스템 등을 포함하지만 이에 한정되지 않는다. 본 명세서에 사용된 바와 같이, "텔레비전 시스템"이라는 용어는 웹 TV 및 커넥티드 TV("스마트 TV"로도 알려짐)와 같은 텔레비전 및 셋톱 박스(STB), 디지털 비디오 디스크(DVD) 플레이어 또는 디지털 비디오 레코더(DVR) 등의 상기 텔레비전에 내장되거나 그와 함께 설치된 장비를 포함하지만, 이에 한정되지는 않는다. 본 명세서에 사용된 바와 같이, "텔레비전 신호"라는 용어는 텔레비전 프로그램 또는 광고 방송의 화상 및 사운드 컴포넌트를 제공하기 위해 함께 방송되는 (메타 데이터가 있거나 없는) 비디오 및 오디오 데이터를 나타내는 신호를 포함한다. 본 명세서에 사용된 바와 같이, "메타 데이터"라는 용어는 텔레비전 신호의 비디오/오디오 데이터에 관련된 데이터를 의미한다.
본 발명의 실시예들은 어느 비디오 세그먼트가 텔레비전 시스템의 스크린 상에 디스플레이되고 있는지를 식별하는 시스템 및 방법에 관한 것이다. 특히, 현재 시청중인 비디오 세그먼트를 식별하는 결과 데이터는, TV 시청자의 반응(예를 들어, 프로그래밍이 처음부터 다시 시작되도록 요청)을 포착하고 이에 적절하게 응답하게 하거나, 관련 콘텐츠 제공자 및 광고주에 의한 관련 정보 또는 긴밀하게 타겟팅된 상업용 메시지의 제공을 트리거하기 위해 사용될 수 있고, 이로써 케이블 시스템의 네트워크를 통해 배포되는 기존의 실시간 방송 환경으로부터 인터넷 접속을 통해 배포되는 주문형 비디오(video on demand; VoD) 제품으로 시청자를 자연스럽게 이동시킬 수 있다.
일부 실시예에 의하면, 비디오 세그먼트는 스크린 상에 디스플레이되는 픽셀 데이터(또는 연관된 오디오 데이터)의 서브 세트(subset)를 소정 간격(예를 들어, 100 밀리초(milliseconds))으로 샘플링하고 콘텐츠 데이터베이스에서 유사한 픽셀(또는 오디오) 데이터를 발견함으로써 식별된다. 일부 실시예에 의하면, 비디오 세그먼트는 이러한 비디오 세그먼트와 연관된 오디오 또는 이미지 데이터를 추출하고 콘텐츠 데이터베이스에서 유사한 오디오 또는 이미지 데이터를 발견함으로써 식별된다. 일부 실시예에 의하면, 비디오 세그먼트는 공지 된 자동 음성 인식 기술을 사용하여 그러한 비디오 세그먼트와 연관된 오디오 데이터를 처리함으로써 식별된다. 일부 실시예에 의하면, 비디오 세그먼트는 그러한 비디오 세그먼트와 연관된 메타 데이터를 처리함으로써 식별된다. 본 명세서에서 사용되는 바와 같이, "큐(cue)" 또는 "콘텐츠 식별자"는 픽셀 데이터, 오디오 데이터, 이미지 데이터, 메타 데이터, 또는 이들의 샘플 또는 서브 세트에 대응할 수 있다.
본 발명의 실시예들은 또한 인터랙티브 텔레비전 시스템에 맥락상 타겟팅된 콘텐츠를 제공하기 위한 시스템 및 방법에 관한 것이다. 맥락상 타겟팅은 디스플레이되는 비디오 세그먼트의 식별뿐만 아니라, 현재 디스플레이되고 있는 비디오 세그먼트의 특정 부분의 재생 시간(playing time) 또는 오프셋 시간(offset time)에 관한 결정에 기초한다. "재생 시간" 및 "오프셋 시간"이라는 용어는 특정 텔레비전 프로그램 또는 광고 방송의 시작 시간과 같은 고정된 시점으로부터 오프셋된 시간을 나타내기 위해 본 명세서에서 교환가능하게 사용될 것이다.
보다 구체적으로, 본 발명의 실시예들은 커넥티드 TV에서 무엇이 재생되고 있는지를 검출하고, 재생되는 대상의 주제를 추론하고, 그에 따라 시청자와 상호 작용할 수 있는 기술을 포함한다. 특히, 본 명세서에 개시된 실시예들은 인터랙티브 TV의 제한된 능력을 극복함으로써, 인터넷을 통해 서버로부터 기능을 정확하게 끌어내고 이로써 VoD 버전의 콘텐츠에 즉각적인 액세스를 제공하는 능력을 포함하는 신규 비즈니스 모델을 가능하게 하고, 다시 시작, 빨리 감기, 일시 중지, 및 되감기의 추가적인 능력과 함께, 가능하다면 더 높은 해상도나 3D 포맷의 콘텐츠를 볼 수 있는 옵션을 사용자에게 제공한다. 본 발명의 실시예들은, 예로서만 그리고 제한없이, 시청자의 위치, 인구 통계학적 그룹 또는 쇼핑 이력과 관련하여 맞춤화된 현재 VoD 프로그래밍에 포함된 광고 메시지의 일부 또는 전부를 가질 수 있게 하거나, 광고 방송이 특정 비즈니스 모델을 지원하기 위해 수량 또는 길이에 있어서 단축되거나 완전히 제거될 수 있게 한다.
일부 실시예에 의하면, 비디오 세그먼트가 식별되고 오프셋 시간은 스크린 상에 디스플레이되는 픽셀 데이터(또는 연관된 오디오 데이터)의 서브 세트를 샘플링하고 콘텐츠 데이터베이스에서 유사한 픽셀(또는 오디오) 데이터를 찾음으로써 결정된다. 일부 실시예에 의하면, 비디오 세그먼트가 식별되고 오프셋 시간은 그러한 비디오 세그먼트와 연관된 오디오 또는 이미지 데이터를 추출한 다음 콘텐츠 데이터베이스에서 유사한 오디오 또는 이미지 데이터를 찾음으로써 결정된다. 일부 실시예에 의하면, 비디오 세그먼트가 식별되고 오프셋 시간은 공지된 자동 음성 인식 기술을 사용하여 그러한 비디오 세그먼트와 연관된 오디오 데이터를 처리함으로써 결정된다. 일부 실시예에 의하면, 비디오 세그먼트가 식별되고 오프셋 시간은 그러한 비디오 세그먼트와 연관된 메타 데이터를 처리함으로써 결정된다.
본 명세서에서보다 상세히 설명되는 바와 같이, 커넥티드 TV에서 시청되고 있는 비디오 세그먼트를 식별하고, 선택적으로, 오프셋 시간을 결정하는 시스템은 커넥티드 TV가 컴포넌트인 텔레비전 시스템 상에 상주할 수 있다. 일부 실시예에 의하면, 비디오 세그먼트를 식별하기 위한 시스템의 일부분은 텔레비전 시스템 상에 존재하고 다른 부분은 인터넷을 통해 텔레비전 시스템에 접속된 서버 상에 존재한다.
본 발명의 일부 실시예에서, 시스템은 다른 프로세싱 작업 부하가 상대적으로 가벼운 비-프라임 시간대와 같이보다 경제적으로 유리한 시간에 처리하기 위해 축적된 미디어 큐의 비 실시간 테스트를 스케쥴링할 수 있다. 상기 테스트의 결과는 통상적으로 사용 데이터 통계를 생성하고 클라이언트 TV에서 맥락상 관련있는 이벤트를 트리거하는데 필요한 처리만큼 시간에 의존하지 않는다.
본 발명의 일부 실시예에 의하면, 방법이 제공된다. 이 방법은 복수의 알려진 미디어 콘텐츠를 수신하는 단계를 포함한다. 복수의 알려진 미디어 콘텐츠는 연관된 알려진 콘텐츠 식별자들(본 명세서에서 "큐(cue)"라고도 함)을 갖는다. 상기 방법은 비 실시간(non-real-time) 데이터베이스에 상기 복수의 알려진 미디어 콘텐츠와 연관된 상기 알려진 콘텐츠 식별자를 저장하는 단계를 더 포함한다. 상기 방법은 연관된 맥락상 관련있는 데이터를 갖는 상기 복수의 알려진 미디어 콘텐츠의 서브 세트를 결정하는 단계를 더 포함한다. 상기 방법은 연관된 맥락상 관련있는 데이터를 갖는 상기 복수의 알려진 미디어 콘텐츠의 서브 세트와 연관된 상기 알려진 콘텐츠 식별자를 실시간 데이터베이스에 저장하는 단계를 더 포함한다. 상기 방법은 미디어 시스템에 의해 디스플레이되는 미지의 미디어 콘텐츠에 대응하는 미지의 콘텐츠 식별자를 수신하는 단계를 더 포함한다. 상기 방법은 미지의 콘텐츠 식별자가 실시간 데이터베이스 내의 상기 복수의 알려진 미디어 콘텐츠의 서브 세트와 연관된 알려진 콘텐츠 식별자에 대응하는지 여부를 결정하는 단계를 더 포함한다. 상기 방법은 실시간 데이터베이스로부터 대응하는 알려진 콘텐츠 식별자와 연관된 알려진 미디어 콘텐츠를 선택하는 단계와, 미지의 콘텐츠 식별자가 실시간 데이터베이스 내의 알려진 콘텐츠 식별자에 대응하는 경우 상기 미지의 미디어 콘텐츠를 상기 선택된 알려진 미디어 콘텐츠로서 식별하는 단계를 더 포함한다. 상기 방법은 비 실시간 데이터베이스로부터, 미지의 콘텐츠 식별자에 대응하는 알려진 콘텐츠 식별자와 연관된 알려진 미디어 콘텐츠를 선택하는 단계와, 미지의 콘텐츠 식별자가 실시간 데이터베이스의 알려진 콘텐츠 식별자에 대응하지 않는 경우 미지의 미디어 콘텐츠를 선택된 알려진 미디어 콘텐츠로서 식별하는 단계를 더 포함한다.
일부 실시예에서, 상기 방법은 상기 선택된 알려진 미디어 콘텐츠와 연관된 맥락상 관련있는 데이터를 검색하는 단계 및, 미지의 콘텐츠 식별자가 실시간 데이터베이스의 알려진 콘텐츠 식별자에 대응하는 경우, 상기 맥락상 관련있는 데이터의 상기 미디어 시스템상에서의 디스플레이를 가능하게 하는 단계를 더 포함한다. 일부 실시예에서, 상기 방법은 미지의 콘텐츠 식별자가 실시간 데이터베이스의 알려진 콘텐츠 식별자에 대응하지 않는 경우, 상기 선택된 알려진 미디어 콘텐츠를 사용하여 통계치를 계산하는 단계를 더 포함한다. 일부 실시예에서, 미지의 콘텐츠 식별자는 미디어 시스템에 의해 디스플레이되는 미지의 미디어 콘텐츠의 픽셀 데이터의 샘플 또는 오디오 데이터의 샘플 중 적어도 하나를 포함한다. 일부 실시예에서, 상기 방법은 미지의 콘텐츠 식별자 및 선택된 알려진 미디어 콘텐츠와 연관된 알려진 콘텐츠 식별자를 사용하여 미지의 미디어 콘텐츠와 연관된 오프셋 시간을 결정하는 단계를 더 포함한다.
일부 실시예에서, 상기 방법은 하나 또는 그 이상의 프로세서 및 미디어 시스템에 포함된 하나 또는 그 이상의 비 일시적(non-transitory) 기계 판독 가능 저장 매체상에서 구현된다. 일부 실시예에서, 상기 방법은 하나 또는 그 이상의 프로세서 및 미디어 시스템으로부터 멀리 떨어져 위치한 서버에 포함된 하나 또는 그 이상의 비 일시적 기계 판독 가능 저장 매체상에서 구현된다. 일부 실시예에서, 미지의 콘텐츠 식별자가 실시간 데이터베이스 내의 복수의 알려진 미디어 콘텐츠의 서브 세트와 연관된 알려진 콘텐츠 식별자에 대응하는지 여부를 결정하는 단계, 실시간 데이터베이스로부터 대응하는 알려진 콘텐츠 식별자와 연관된 알려진 미디어 콘텐츠를 선택하는 단계, 및 미지의 콘텐츠 식별자가 실시간 데이터베이스의 알려진 콘텐츠 식별자에 대응하는 경우, 미지의 미디어 콘텐츠를 선택된 알려진 미디어 콘텐츠로서 식별하는 단계는 실시간으로 수행된다. 일부 실시 예에서, 미지의 콘텐츠 식별자에 대응하는, 알려진 콘텐츠 식별자과 연관된 알려진 미디어 콘텐츠를 비 실시간 데이터베이스로부터 선택하는 단계, 및 미지의 콘텐츠 식별자가 실시간 데이터베이스의 알려진 콘텐츠 식별자에 대응하지 않는 경우, 미지의 미디어 콘텐츠를 선택된 알려진 미디어 콘텐츠로서 식별하는 단계는 비 실시간으로 수행된다.
본 발명의 일부 실시예에 의하면, 시스템이 제공된다. 시스템은 하나 또는 그 이상의 프로세서를 포함한다. 상기 시스템은 또한 하나 또는 그 이상의 프로세서상에서 실행될 때 하나 또는 이상의 프로세서로 하여금 상기 방법의 단계들을 포함하는 오퍼레이션을 수행하게 하는 명령을 포함하는 비 일시적 기계 판독 가능 저장 매체를 더 포함한다.
본 발명의 일부 실시예에 의하면, 컴퓨팅 장치의 비 일시적 기계 판독 가능 저장 매체에 유형적으로 구현된 컴퓨터 프로그램 제품이 제공될 수 있다. 컴퓨터 프로그램 제품은 하나 또는 그 이상의 데이터 프로세서로 하여금 상기 방법에 기술된 단계들을 수행하게 하도록 구성된 명령을 포함할 수 있다.
채용된 용어 및 표현들은 한정이 아닌 설명을 위해 사용되고, 도시 및 설명된 특징 또는 그 일부의 등가물을 제외하는 용어 및 표현의 사용은 의도를 갖지 않는다. 그러나 청구된 시스템 및 방법의 범위 내에서 다양한 수정이 가능하다는 것이 인식된다. 따라서, 본 시스템 및 방법이 예시들 및 선택적 특징들에 의해 구체적으로 개시되었지만, 본 명세서에 개시된 개념들의 수정 및 변형이 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 채택될 수 있고, 그러한 수정들 및 변형들은 첨부된 청구범위에 의해 정의된 시스템 및 방법의 범위 내에 있음을 이해할 수 있다.
이 요약은 청구된 발명의 핵심 또는 필수 기능을 식별하기 위한 것이 아니고 청구된 발명의 범위를 결정하기 위해 단독으로 사용하기 위한 것이 아니다. 발명은 이 출원의 명세서 전체, 일부 또는 모든 도면, 및 각 청구항의 적합한 부분을 참조하여 이해되어야 한다.
상기한 내용은 다른 특징 및 실시예와 함께 아래의 명세서, 청구범위 및 첨부 도면을 참조하면 더욱 명백해질 것이다.
본 발명의 예시적인 실시예는 아래의 도면을 참조하여 이하 상세히 설명되고, 동일한 도면 부호는 여러 도면에 걸쳐 동일한 구성 요소 또는 부품을 나타낸다.
도 1은 본 발명의 실시예들에 의한 미디어 시스템에 의해 디스플레이되는 미디어 콘텐츠를 식별하기 위한 매칭 시스템의 일 예의 블록도이다.
도 2는 본 발명의 실시예들에 의한 미지의 데이터 포인트를 식별하기 위한 매칭 시스템의 일 예를 도시한 도면이다.
도 3은 본 발명의 실시예들에 의한 미디어 캡처 시스템(media capture system)의 일 예를 도시한 블록도이다.
도 4는 본 발명의 실시예들에 의한 디스플레이에 의해 제시되는 미디어 콘텐츠를 수집하는 시스템의 일 예를 도시한 블록도이다.
도 5는 본 발명의 실시예들에 의한 ACR 미디어 모니터링 시스템에서 작업 부하 관리를 향상시키는 시스템의 일 예를 도시한 블록도이다.
도 6은 본 발명의 실시예들에 의한 미디어 모니터링 시스템에서 큐를 라우팅하기 위한 검색 라우터(search router)의 일 예를 도시한 블록도이다.
도 7은 본 발명의 실시예들에 의한 실시간으로 큐를 처리하는 실시간 매칭 엔진의 일 예를 도시한 블록도이다.
도 8은 본 발명의 실시예들에 의한 비 실시간으로 큐를 처리하는 비 실시간 매칭 엔진의 일 예를 도시한 블록도이다.
도 9는 본 발명의 실시예들에 의한 ACR 미디어 모니터링 시스템에서 작업 부하 관리를 향상시키는 방법의 일 예를 도시한 흐름도이다.
도 10은 본 발명의 실시예들에 의한 포인트 위치(point location) 및 그 주위의 경로 포인트(path point)를 도시한 차트이다.
도 11은 본 발명의 실시예들에 의한 쿼리 포인트(query point)로부터 소정 거리 내에 있는 포인트들의 세트를 도시한 차트이다.
도 12는 본 발명의 실시예들에 의한 가능한 포인트 값을 도시하는 차트이다.
도 13은 본 발명의 실시예들에 의한 지수적으로(exponentially) 증가하는 폭의 링으로 분할된 공간을 도시한 차트이다.
도 14는 본 발명의 실시예들에 의한 자기 교차 경로(self-intersecting path) 및 쿼리 포인트를 도시한 차트이다.
도 15는 본 발명의 실시예들에 의한 3개의 연속적인 포인트 위치 및 그 주위의 경로 포인트를 도시한 차트이다.
이하의 기술에서는, 설명의 목적으로, 본 명세서의 실시예들에 관한 완전한 이해를 제공하기 위해 구체적인 세부 사항들이 제시된다. 그러나, 이들 구체적인 세부 사항 없이도 다양한 실시예가 실시될 수 있음이 명백하다. 도면 및 설명은 본 발명을 제한하려는 것이 아니다.
이하의 설명은 단지 본 발명의 예시적인 실시예들을 제공하며, 본 명세서의 개시 내용의 범위, 적용 가능성, 또는 구성을 제한하려는 것은 아니다. 오히려, 예시적인 실시예들에 관한 이하의 설명은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자(이하, "당업자"라고도 함)에게 본 발명의 예시적인 실시예를 구현가능하게 하는 기술(description)을 제공할 것이다. 첨부된 청구범위에 설명된 본원 발명의 사상 및 범위를 벗어나지 않고 구성 요소의 기능 및 배열에 다양한 변경이 가해질 수 있음을 이해해야 한다.
본 발명의 실시예들에 대한 완벽한 이해를 돕기 위해 이하에 구체적인 세부 사항들이 제공된다. 그러나, 당업자는 이러한 구체적인 세부 사항 없이도 본 발명의 실시예들이 실시될 수 있음을 이해할 것이다. 예를 들어, 회로, 시스템, 네트워크, 프로세스 및 다른 컴포넌트들은 불필요한 세부 사항에서 실시예들을 모호하게 하지 않기 위해 블록도 형태의 컴포넌트들로서 표시될 수 있다. 다른 경우에는, 공지된 회로, 프로세스, 알고리즘, 구조 및 기술은 실시예들을 모호하게 하는 것을 피하기 위해 불필요한 세부 사항 없이 도시될 수도 있다.
또한, 개별적인 실시예들은 흐름도(플로우차트), 플로우 다이어그램, 데이터 흐름도, 구조도 또는 블록도로서 도시된 프로세스로서 설명될 수 있음에 유의해야 한다. 흐름도가 오퍼레이션들을 순차적인 프로세스로 기술할 수 있지만, 많은 오퍼레이션이 병렬로 또는 동시에 수행될 수 있다. 또한 오퍼레이션 순서를 재정렬할 수 있다. 프로세스는 그 오퍼레이션이 완료되면 종료되지만, 도면에는 포함되지 않은 추가적인 단계가 있을 수 있다. 프로세스는 방법, 함수, 프로시저, 서브루틴, 서브프로그램 등에 대응할 수 있다. 프로세스가 함수에 대응할 때 프로세스의 종료는 호출한 함수 또는 메인 함수로 상기 함수를 리턴하는 것에 대응할 수 있다.
"기계 판독 가능 저장 매체" 또는 "컴퓨터 판독 가능 저장 매체"라는 용어는, 휴대용 또는 비휴대용 저장 장치, 광학 저장 장치, 및 명령 및/또는 데이터를 저장, 포함 또는 운반할 수 있는 다양한 다른 매체를 포함할 수 있으며, 여기에 한정되지 않는다. 기계 판독 가능 저장 매체 또는 컴퓨터 판독 가능 저장 매체는 데이터가 저장 될 수 있고 무선 또는 유선 접속을 통해 전파하는 반송파 및/또는 일시적인 전자 신호를 포함하지 않는 비일시적인 매체를 포함할 수 있다. 비일시적인 매체의 예로는 자기 디스크 또는 테이프, 콤팩트 디스크(CD) 또는 디지털 다용도 디스크(DVD)와 같은 광학 저장 매체, 플래시 메모리, 메모리 또는 메모리 장치가 포함되나, 이에 한정되는 것은 아니다. 컴퓨터 프로그램 제품은 프로시저, 함수, 서브프로그램, 프로그램, 루틴, 서브루틴, 모듈, 소프트웨어 패키지, 클래스, 또는 명령, 데이터 구조 또는 프로그램 문장의 임의의 조합을 나타낼 수 있는 코드 및/또는 기계 실행 가능 명령어를 포함할 수 있다. 코드 세그먼트는 정보, 데이터, 인수(argument), 파라미터 또는 메모리 콘텐츠를 전달 및/또는 수신함으로써 다른 코드 세그먼트 또는 하드웨어 회로에 연결될 수 있다. 정보, 인수, 파라미터, 데이터 또는 다른 정보는 메모리 공유, 메시지 전달, 토큰 전달, 네트워크 전송 또는 기타 전송 기술을 포함한 적절한 수단을 사용하여 전달, 포워딩 또는 전송될 수 있다.
또한, 실시예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로 코드, 하드웨어 기술 언어, 또는 이들의 임의의 조합으로 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로 코드로 구현되는 경우, 필요한 작업을 수행하기 위한 프로그램 코드 또는 코드 세그먼트(예를 들어, 컴퓨터 프로그램 제품)는 머신 판독 가능 매체에 저장될 수 있다. 하나 또는 그 이상의 프로세서가 필요한 작업을 수행할 수 있다.
일부 도면들에 도시된 시스템들은 다양한 구성으로 제공될 수 있다. 일부 실시예에 있어서, 시스템은 그의 하나 또는 그 이상의 컴포넌트가 클라우드 컴퓨팅 시스템의 하나 또는 그 이상의 네트워크에 걸쳐 분산된 분산형 시스템으로 구성될 수 있다.
본 명세서에 기술된 시스템 및 방법은 미국 특허 제8,595,781호, 미국 특허 제8,769,584호, 미국 특허 출원 공개 제2010/0306805호, 미국 특허 출원 공개 제2014/0082663호, 미국 특허 출원 공개 제2014/0201769호, 및 미국 특허 제8,595,781호를 포함하는 몇 개의 관련 출원에 개시된 기술적 접근 방법과 관련될 수 있고, 이들은 그 전체가 참조에 의해 본 명세서에 편입된다.
본 명세서에 개시된 예시적인 실시예들은 연관 콘텐츠와 관련된 간단한 그래픽 또는 짧은 비디오 세그먼트의 디스플레이를 넘어 이전에 사용된 용어 "맥락상 타겟팅된"의 의미를, 선택된 콘텐츠 전체를 VoD와 같은 형식으로 대체하며, 가능한 경우 고해상도 또는 3D로 콘텐츠를 볼 수 있는 기능 및 상업적 메시지를 제거하고 이를 스마트 TV와 같은 커넥티드 TV 시청 시스템의 메모리에 종종 "쿠키"라고 불리는 타입의 소형 데이터 모듈의 형태로 저장되는 정보인 위치, 인구 통계 또는 이전의 쇼핑 행동에 의해 시청자에게 보다 밀접하게 타겟팅한 메시지로 대체할 수 있는 기능과 함께, 재시작, 일시 정지, "빨리 감기" 및 "되감기" 기능을 포함하는 완벽한 "가상 DVR" 제어 기능을 사용하여 시청자가 처음부터 다시 시작할 수 있게 해 주는, 선택된 콘텐츠의 실질적으로 강화된 형태의 완전한 대체까지 확장하는 시스템 및 방법을 교시한다. 이를 통해 다양한 프리미엄, 밀접하게 타겟팅된 광고 제품을 개발하여 스폰서 또는 중개인에게 판매할 수 있고, 다른 비즈니스 모델에서는, 시청자를 위한 프리미엄 서비스로서 광고 메시지의 일부 또는 전부를 제거할 수 있다.
도 1은 미지의 콘텐츠를 식별할 수 있는 매칭 시스템 100을 도시한 도면이다. 일부 실시예에 있어서, 미지의 콘텐츠는 하나 또는 그 이상의 미지의 데이터 포인트(data point)를 포함할 수 있다. 그러한 실시예에 있어서, 매칭 시스템 100은, 미지의 데이터 포인트와 연관된 미지의 비디오 세그먼트를 식별하기 위하여, 미지의 데이터 포인트를 기준 데이터 포인트(reference data point)와 매칭시킬 수 있다. 기준 데이터 포인트는 기준 데이터베이스(reference database) 116에 포함될 수 있다.
매칭 시스템 100은 클라이언트 장치(client device) 102 및 매칭 서버(matching server) 104를 포함한다. 클라이언트 장치 102는 미디어 클라이언트(media client) 106, 입력 장치 108, 출력 장치 110, 및 하나 또는 그 이상의 컨텍스트 애플리케이션(contextual application) 126을 포함한다. 미디어 클라이언트 106(미디어 클라이언트는, 텔레비전 시스템, 컴퓨터 시스템 또는 인터넷에 접속할 수 있는 다른 전자 장치를 포함할 수 있음)은, 비디오 프로그램 128과 연관된 데이터(예를 들어, 방송 신호, 데이터 패킷 또는 다른 프레임 데이터)를 디코딩할 수 있다. 미디어 클라이언트 106은, 비디오 프레임의 픽셀 정보를 디스플레이하거나 추가적인 처리를 준비하기 위해, 비디오의 각 프레임의 디코딩된 콘텐츠를 비디오 프레임 버퍼에 배치할 수 있다. 클라이언트 장치 102는, 비디오 신호를 수신 및 디코딩할 수 있는 임의의 전자 디코딩 시스템일 수 있다. 클라이언트 장치 102는, 비디오 프로그램 128을 수신하고 비디오 버퍼(도시되지 않음)에 비디오 정보를 저장할 수 있다. 클라이언트 장치 102는, 비디오 버퍼 정보를 처리할 수 있으며, 도 3과 관련하여 이하에서 더욱 상세히 설명되는 미지의 데이터 포인트("큐(cue)"라고도 함)를 생성할 수 있다. 미디어 클라이언트 106은, 기준 데이터베이스 116의 기준 데이터 포인트와의 비교를 위해, 미지의 데이터 포인트를 매칭 서버 104에 전송할 수 있다.
입력 장치 108은, 요청(request) 또는 다른 정보가 미디어 클라이언트 106에 입력될 수 있게 하는 임의의 적절한 장치를 포함할 수 있다. 예를 들어, 입력 장치 108은, 키보드, 마우스, 음성 인식 입력 장치, 무선 장치(예를 들어, 리모콘, 모바일 장치 또는 다른 적절한 무선 장치)로부터 무선 입력을 수신하기 위한 무선 인터페이스, 또는 임의의 다른 적절한 입력 장치를 포함할 수 있다. 출력 장치 110은, 디스플레이, 무선 출력을 무선 장치(예를 들어, 모바일 장치 또는 다른 적절한 무선 장치)에 전송하기 위한 무선 인터페이스, 프린터 또는 다른 적절한 출력 장치와 같이, 정보를 나타내거나 다른 방법으로 출력할 수 있는 임의의 적절한 장치를 포함할 수 있다.
매칭 시스템 100은, 먼저 이미 알려진 비디오 데이터 소스 118로부터 데이터 샘플을 수집함으로써, 비디오 세그먼트를 식별하는 프로세스를 시작할 수 있다. 예를 들어, 매칭 서버 104는, 다양한 비디오 데이터 소스 118로부터 기준 데이터베이스 116을 구축하고 유지하기 위한 데이터를 수집한다. 비디오 데이터 소스 118은, 텔레비전 프로그램, 영화 또는 임의의 다른 적합한 비디오 소스의 미디어 공급자를 포함할 수 있다. 비디오 데이터 소스 118로부터의 비디오 데이터는, 공중파 방송으로서, 케이블 TV 채널로서, 인터넷으로부터의 스트리밍 소스로서, 그리고 임의의 다른 비디오 데이터 소스로부터 제공될 수 있다. 일부 실시예에 있어서, 매칭 서버 104는, 비디오 데이터 소스들 118로부터 수신된 비디오를 처리하여, 후술하는 바와 같이 기준 데이터베이스 116의 기준 비디오 데이터 포인트를 생성 및 수집할 수 있다. 일부 실시예에 있어서, 비디오 데이터 소스 118로부터의 비디오 프로그램은, 기준 비디오 데이터 포인트를 생성하고 이를 저장하기 위해 기준 데이터베이스 116로 보낼 수 있는 기준 비디오 프로그램 인제스트 시스템(reference video program ingest system)(도시되지 않음)에 의해 처리될 수 있다. 기준 데이터 포인트는, 상기한 바와 같이, 미지의 데이터 포인트를 분석하는데 사용되는 정보를 결정하는데 사용될 수 있다.
매칭 서버 104는, 일정 기간(예를 들어, 수일, 수주, 수개월 또는 임의의 다른 적절한 기간)동안 수신된 각각의 비디오 프로그램에 대한 기준 비디오 데이터 포인트를 기준 데이터베이스 116에 저장할 수 있다. 매칭 서버 104는, 텔레비전 프로그램 편성 샘플(예를 들어, 큐 또는 큐값으로 지칭될 수 있는 기준 데이터 포인트를 포함)의 기준 데이터베이스 116을 구축하고, 지속적으로 또는 주기적으로 업데이트할 수 있다. 일부 실시예에 있어서, 수집된 데이터는, 주기적인 비디오 프레임(예를 들어, 매 5번째 비디오 프레임, 매 10번째 비디오 프레임, 매 15번째 비디오 프레임, 또는 다른 적절한 수의 프레임)으로부터 샘플링된 비디오 정보의 압축된 표현이다. 일부 실시예에 있어서, 각 프로그램 소스에 대해 프레임당 수 바이트의 데이터(예를 들어, 25바이트, 50바이트, 75바이트, 100바이트 또는 프레임당 임의의 다른 양의 바이트)가 수집된다. 비디오를 획득하기 위해, 25개의 채널, 50개의 채널, 75개의 채널, 100개의 채널, 200개의 채널 또는 임의의 다른 수의 프로그램 소스와 같은, 임의의 수의 프로그램 소스가 사용될 수 있다. 예시된 데이터의 양을 사용하면, 24시간 내내 3일에 걸쳐 수집된 총 데이터는 매우 큰 양이 된다. 그러므로, 실제 기준 데이터 포인트 세트의 수를 감소시키는 것은, 매칭 서버 104의 저장 부하를 감소시키는데 유리하다.
미디어 클라이언트 106은, 매칭 서버 104의 매칭 엔진(matching engine) 112에 통신 122를 전송할 수 있다. 통신 122는 미지의 콘텐츠를 식별하기 위한 매칭 엔진 112에 대한 요청을 포함할 수 있다. 예를 들어, 미지의 콘텐츠는 하나 또는 그 이상의 미지의 데이터 포인트를 포함할 수 있고, 기준 데이터베이스 116은 복수의 기준 데이터 포인트를 포함할 수 있다. 매칭 엔진 112는, 미지의 데이터 포인트를 기준 데이터베이스 116의 기준 데이터에 매칭시킴으로써, 상기 미지의 콘텐츠를 식별할 수 있다. 일부 실시예에 있어서, 미지의 콘텐츠는, 디스플레이에 의해 제시되는 미지의 비디오 데이터(비디오 기반 ACR을 위해), 검색 질의(search query)(맵리듀스(MapReduce) 시스템, 빅테이블(Bigtable) 시스템 또는 다른 데이터 저장 시스템을 위해), 미지의 얼굴 이미지(얼굴 인식을 위해), 미지의 패턴 이미지(패턴 인식을 위해), 또는 기준 데이터의 데이터베이스와 매칭될 수 있는 임의의 다른 미지의 데이터를 포함할 수 있다. 기준 데이터 포인트는, 비디오 데이터 소스 118로부터 수신된 데이터로부터 도출될 수 있다. 예를 들어, 데이터 포인트는, 비디오 데이터 소스 118로부터 제공된 정보로부터 추출될 수 있고, 인덱싱되어 기준 데이터베이스 116에 저장될 수 있다.
매칭 엔진 112는, 기준 데이터베이스 116으로부터 후보 데이터 포인트(candidate data point)를 결정하기 위해 후보 결정 엔진(candidate determination engine) 114에 요청을 송신할 수 있다. 후보 데이터 포인트는 미지의 데이터 포인트로부터 소정의 결정된 거리의 기준 데이터 포인트가 될 수 있다. 일부 실시예에 있어서, 기준 데이터 포인트와 미지의 데이터 포인트 사이의 거리는, 기준 데이터 포인트의 하나 또는 그 이상의 픽셀(예를 들어, 단일 픽셀, 픽셀의 그룹을 대표하는 값(예컨대, 평균(mean), 산술 평균(average), 중앙값(median), 또는 다른 값), 또는 다른 적절한 수의 픽셀)을 미지의 데이터 포인트의 하나 또는 그 이상의 픽셀과 비교함으로써 결정될 수 있다. 일부 예들에서, 기준 데이터 포인트는, 각 샘플 위치에서의 픽셀들이 특정한 픽셀 값 범위(pixel value range) 내에 있을 때, 미지의 데이터 포인트로부터 소정의 결정된 거리일 수 있다.
하나의 예시적인 실시예에 있어서, 픽셀의 픽셀 값은 적색 값, 녹색 값 및 청색 값(RGB 색 공간에서)을 포함할 수 있다. 이러한 예에 있어서, 제1 픽셀(또는 제1 픽셀 그룹을 대표하는 값)은, 대응되는 적색 값, 녹색 값 및 청색 값을 각각 비교하고 그 값이 특정 값 범위 내에(예컨대, 0 내지 5의 값 내에) 있는지 확인함으로써, 제2 픽셀(또는 제2 픽셀 그룹을 대표하는 값)과 비교될 수 있다. 예를 들어, (1) 제1 픽셀의 적색 값이 제2 픽셀의 적색 값의 0 내지 255 값 범위에서 (플러스 또는 마이너스) 5개의 값 이내에 있고, (2) 제1 픽셀의 녹색 값이 제2 픽셀의 녹색 값의 0 내지 255 값 범위에서 (플러스 또는 마이너스) 5개의 값 이내에 있으며, (3) 제1 픽셀의 청색 값이 제2 픽셀의 청색 값의 0 내지 255 값 범위에서 (플러스 또는 마이너스) 5개의 값 이내에 있는 경우, 제1 픽셀은 제2 픽셀과 매칭될 수 있다. 그러한 예에 있어서, 후보 데이터 포인트는 미지의 데이터 포인트에 대해 근사하게 매칭되는 기준 데이터 포인트이고, 미지의 데이터 포인트에 대해 다수의 후보 데이터 포인트(서로 다른 미디어 세그먼트와 관련됨)가 식별되게 된다. 후보 결정 엔진 114는 후보 데이터 포인트를 매칭 엔진 112로 리턴(return)할 수 있다.
후보 데이터 포인트에 대해, 매칭 엔진 112은, 후보 데이터 포인트와 연관되고 후보 데이터 포인트가 유도되는 식별된 비디오 세그먼트에 할당되는 저장소(bin)에 토큰(token)을 추가할 수 있다. 대응되는 토큰이, 식별된 후보 데이터 포인트에 대응되는 모든 저장소에 추가될 수 있다. 더 많은 미지의 데이터 포인트(시청중인 미지의 콘텐츠에 대응함)가 매칭 서버 104에 의해 클라이언트 장치 102로부터 수신됨에 따라, 유사한 후보 데이터 포인트 결정 프로세스가 수행될 수 있고, 식별된 후보 데이터 포인트에 대응되는 저장소에 토큰이 추가될 수 있다. 저장소 중 단 하나만이 시청중인 미지의 비디오 콘텐츠의 세그먼트에 대응되며, 다른 저장소는, 시청중인 실제 세그먼트에는 대응되지 않지만, 유사한 데이터 포인트 값(예를 들어, 유사한 픽셀 컬러 값을 가짐)으로 인해 매칭된 후보 데이터 포인트에 대응된다. 시청중인 미지의 비디오 콘텐츠 세그먼트에 대한 저장소에는, 시청되고 있지 않은 세그먼트에 대한 다른 저장소보다 더 많은 토큰이 할당된다. 예를 들어, 더 많은 미지의 데이터 포인트가 수신됨에 따라, 저장소에 대응되는 더 많은 수의 기준 데이터 포인트가 후보 데이터 포인트로서 식별되어, 더 많은 토큰이 저장소에 추가되게 된다. 일단 저장소가 특정 개수의 토큰을 포함하면, 매칭 엔진 112는 저장소와 연관된 비디오 세그먼트가 현재 클라이언트 장치 102에 디스플레이되고 있다고 결정할 수 있다. 비디오 세그먼트는 전체 비디오 프로그램 또는 비디오 프로그램의 일부를 포함할 수 있다. 예를 들어, 비디오 세그먼트는 비디오 프로그램, 비디오 프로그램의 장면, 비디오 프로그램의 하나 또는 그 이상의 프레임, 또는 비디오 프로그램의 임의의 다른 부분일 수 있다.
도 2는 미지의 데이터를 식별하기 위한 매칭 시스템 200의 구성 요소를 도시한 도면이다. 예를 들어, 매칭 엔진 212는 알려진 콘텐츠(예를 들어, 알려진 미디어 세그먼트, 검색을 위해 데이터베이스에 저장된 정보, 알려진 얼굴 또는 패턴 등)의 데이터베이스를 사용하여 미지의 콘텐츠(예를 들어, 미지의 미디어 세그먼트, 검색 쿼리, 얼굴 또는 패턴의 이미지, 등)를 식별하기 위한 매칭 프로세스를 수행할 수 있다. 예를 들어, 매칭 엔진 212는, 기준 데이터베이스의 기준 데이터 포인트 204의 기준 데이터 포인트와 매칭되는 미지의 데이터 콘텐츠 202("큐(cue)"로 칭할 수도 있음)를 수신한다. 또한, 미지의 데이터 콘텐츠 202는 후보 결정 엔진 214에 의해 수신되거나, 매칭 엔진 212로부터 후보 결정 엔진 214로 송신될 수 있다. 후보 결정 엔진 214는, 기준 데이터베이스의 기준 데이터 포인트 204를 검색함으로써, 후보 데이터 포인트 206을 식별하기 위한 검색 프로세스를 수행할 수 있다. 일 예에 있어서, 검색 프로세스는 이웃 값들의 세트(미지의 데이터 콘텐츠 202의 미지의 값으로부터 일정한 거리에 있음)를 생성하기 위한 최근접 이웃 검색 프로세스(nearest neighbor search process)를 포함할 수 있다. 후보 데이터 포인트 206은, 매칭 결과 208을 생성하기 위해 매칭 프로세스를 수행하기 위한 매칭 엔진 212에 입력된다. 애플리케이션에 따라서는, 매칭 결과 208은 디스플레이에 의해 제시되는 비디오 데이터, 검색 결과, 안면 인식을 사용하여 결정된 얼굴, 패턴 인식을 사용하여 결정된 패턴, 또는 임의의 다른 결과를 포함할 수 있다.
미지의 데이터 포인트(예를 들어, 미지의 데이터 콘텐츠 202)에 대한 후보 데이터 포인트 206을 결정함에 있어서, 후보 결정 엔진 214는 미지의 데이터 포인트와 기준 데이터베이스의 기준 데이터 포인트 204 사이의 거리를 결정한다. 미지의 데이터 포인트로부터 일정 거리인 기준 데이터 포인트가 후보 데이터 포인트 206으로서 식별된다. 일부 실시예에 있어서, 기준 데이터 포인트와 미지의 데이터 포인트 사이의 거리는, 도 1을 참조하여 상기한 바와 같이, 기준 데이터 포인트의 하나 또는 그 이상의 픽셀을 미지의 데이터 포인트의 하나 또는 그 이상의 픽셀과 비교함으로써 결정될 수 있다. 일부 실시예에 있어서, 기준 데이터 포인트는, 각 샘플 위치의 픽셀이 특정 값 범위 내에 있을 때, 미지의 데이터 포인트로부터 상기 일정 거리일 수 있다. 상기한 바와 같이, 후보 데이터 포인트는 미지의 데이터 포인트에 대해 근사하게 매칭되는 기준 데이터 포인트이며, 이러한 근사 매칭으로 인하여, 미지의 데이터 포인트에 대해 다수의 후보 데이터 포인트(서로 다른 미디어 세그먼트에 관련됨)가 식별된다. 후보 결정 엔진 114는 후보 데이터 포인트를 매칭 엔진 112로 리턴할 수 있다.
도 3은 디코더의 메모리 버퍼 302를 포함하는 비디오 인제스트 캡처(video ingest capture) 시스템 400의 일예를 도시한 도면이다. 디코더는 매칭 서버 104 또는 미디어 클라이언트 106의 일부일 수 있다. 디코더는 물리적 텔레비전 디스플레이 패널 또는 장치와 함께 동작하지 않거나 이를 필요로 하지 않을 수 있다. 디코더는 디코딩할 수 있고, 필요한 경우 디지털 비디오 프로그램을 텔레비전 프로그램의 압축되지 않은 비트 맵 표현으로 해독할 수 있다. 기준 비디오 데이터의 기준 데이터베이스(예를 들어, 기준 데이터베이스 316)를 구축하기 위해, 매칭 서버 104는 비디오 프레임 버퍼로부터 판독되는 하나 또는 그 이상의 비디오 픽셀의 배열(array)을 취득할 수 있다. 비디오 픽셀의 배열을 비디오 패치(video patch)라 부른다. 비디오 패치는 임의의 형태 또는 패턴일 수 있지만, 이 특정 실시예를 위하여, 수평 10 픽셀 및 수직 10 픽셀을 포함하는 10x10 픽셀 배열로 기술된다. 또한 이 실시예에 있어서, 비디오 프레임 버퍼 내에서 추출된 25개의 픽셀-패치 위치가 버퍼 경계 내에 고르게 분포하고 있다고 가정한다.
픽셀 패치(예를 들어, 픽셀 패치 304)의 예시적인 할당은 도 3에 도시된 바와 같다. 상기한 바와 같이, 픽셀 패치는 10x10 배열과 같은 픽셀의 배열을 포함할 수 있다. 예를 들어, 픽셀 패치 304는 10x10 픽셀 배열을 포함한다. 픽셀에는 적색, 녹색 및 청색 값과 같은 컬러 값이 포함될 수 있다. 예를 들어, 적색-녹색-청색(RGB) 컬러 값을 갖는 픽셀 306이 도시되어 있다. 픽셀의 컬러 값은 각 컬러에 대해 8비트의 2진수 값으로 표현될 수 있다. 픽셀의 컬러를 표현하기 위해 사용될 수 있는 다른 적절한 컬러 값은, 루마 및 크로마 값(Y, Cb, Cr), 또는 임의의 다른 적절한 컬러 값을 포함한다.
각 픽셀 패치의 평균값(또는 경우에 따라 산술 평균값)이 취해지고, 결과 데이터 레코드가 생성되며, 타임 코드(또는 타임 스탬프)로 태그된다. 예를 들어, 각각의 10x10 픽셀 패치 배열에 대해 평균값이 발견되며, 이 경우 25 개의 디스플레이 버퍼 위치 당 24 비트의 데이터가 프레임 당 총 600 비트의 픽셀 정보에 대해 생성된다. 일 예에서, 픽셀 패치 304의 평균이 계산되고, 픽셀 패치 평균 308이 도시되어 있다. 하나의 예시적인 실시예에 있어서, 타임 코드는 1970년 1월 1일 자정 이후의 총 경과 시간(1초 이하의 단위로)을 나타내는 "에폭 시간(epoch time)"을 포함할 수 있다. 예를 들어, 픽셀 패치 평균 308 값은 타임 코드 412와 함께 조립(assemble)된다. 에폭 시간은, 예를 들어 유닉스(Unix) 기반 시스템을 포함하는 컴퓨팅 시스템에서 채택되는 관례이다. 메타 데이터로 알려진 비디오 프로그램에 관한 정보가 데이터 레코드에 첨부된다. 메타 데이터는, 프로그램 식별자, 프로그램 시간, 프로그램 길이 또는 임의의 다른 정보와 같은, 프로그램에 관한 임의의 정보를 포함할 수 있다. 픽셀 패치의 평균값, 타임 코드 및 메타 데이터를 포함하는 데이터 레코드는 "데이터 포인트"("큐"라고도 함)를 형성한다. 데이터 포인트 310은 기준 비디오 데이터 포인트의 일 예이다.
미지의 비디오 세그먼트를 식별하는 프로세스는 기준 데이터베이스를 생성하는 것과 유사한 단계로 시작된다. 예를 들어, 도 4는 디코더의 메모리 버퍼 402를 포함하는 비디오 인제스트 캡처 시스템 400을 도시한다. 비디오 인제스트 캡처 시스템 400은, (예를 들어, 스마트 TV와 같은 인터넷에 연결된 텔레비전 모니터, 모바일 장치, 또는 다른 텔레비전 시청 장치에서) 디스플레이에 의해 제시되는 데이터를 처리하는 클라이언트 장치 102의 일부일 수 있다. 비디오 인제스트 캡처 시스템 400은, 미지의 비디오 데이터 포인트 410을 생성하기 위해, 시스템 300에 의해 기준 비디오 데이터 포인트 310을 생성하기 위해 사용되는 것과 유사한 프로세스를 이용할 수 있다. 일 예에 있어서, 미디어 클라이언트 106은, 매칭 서버 104에 의해 미지의 비디오 데이터 포인트 410과 연관된 비디오 세그먼트를 식별하기 위해, 미지의 비디오 데이터 포인트 410을 매칭 엔진 112에 송신할 수 있다.
도 4에 도시된 바와 같이, 비디오 패치 404는 10x10 픽셀 배열을 포함할 수 있다. 비디오 패치 404는 디스플레이에 의해 제시되는 비디오 프레임으로부터 추출될 수 있다. 그러한 복수의 픽셀 패치가 비디오 프레임으로부터 추출될 수 있다. 하나의 예시적인 실시예에 있어서, 만약 25개의 그러한 픽셀 패치가 비디오 프레임으로부터 추출된다면, 그 결과는 75차원 공간에서의 위치를 대표하는 포인트가 될 것이다. 배열의 각 컬러 값(예를 들어, RGB 컬러 값, Y, Cr, Cb 컬러 값, 등)에 대해 평균(또는 산술 평균) 값이 계산될 수 있다. 데이터 레코드(예를 들어, 미지의 비디오 데이터 포인트 410)는 평균 픽셀 값으로부터 형성되고, 현재 시간이 데이터에 첨부된다. 하나 또는 그 이상의 미지의 비디오 데이터 포인트는 상기한 기술을 사용하여 기준 데이터베이스 116으로부터의 데이터와 매칭되도록 매칭 서버 104에 전송될 수 있다.
도 5는 본 발명의 실시예들에 의한 ACR 미디어 모니터링 시스템에서 작업 부하 관리를 향상시키기 위한 시스템의 일 예를 도시한 블록도이다. 클라이언트 텔레비전 시스템 501a는 클라이언트 텔레비전 시스템 501a에 의해 표시되는 미지의 미디어 콘텐츠에 대응하는 미지의 미디어 큐 501b(이하, "미지의 콘텐츠 식별자"라고도 함)를 큐 매니저 502a에 전송한다. 큐 매니저 502a는 미지의 미디어 큐 501b를 수신하고 미지의 미디어 큐 502b를 검색 라우터 503에 전달한다. 검색 라우터 503은 미지의 미디어 큐 502b를 실시간 매칭 엔진 504b 및/또는 비 실시간 매칭 엔진 505b로 라우팅한다. 예를 들어, 검색 라우터 503은 즉각적인 식별을 위해 미지의 미디어 큐 502b를 실시간 매칭 엔진 504b으로 즉시 라우팅할 수 있고, 그리고/또는, 큐 캐시(cue cache) 506에 미지의 미디어 큐 502b의 복사본을 저장하여 나중에 비 실시간 매칭 엔진 505b에 제공할 수 있다. 미지의 미디어 큐 502b는 큐 캐시 506으로부터 검색될 수 있고 실시간 식별이 필요하지 않기 때문에 야간과 같이 보다 편리하거나 효율적인 시간에 비 실시간 매칭 엔진 505b에 제공될 수 있다.
실시간 매칭 엔진 504b 및 비 실시간 매칭 엔진 505b의 각각은 그 자신의 알려진 미디어 콘텐츠 큐(본 명세서에서 "알려진 콘텐츠 식별자"라고도 함)의 기준 데이터베이스를 갖는다. 실시간 매칭 엔진 504b는, 검색 라우터 503으로부터 미지의 미디어 큐 502b를 수신하면 미지의 미디어 큐 502b에 대한 실시간 기준 데이터 504a를 실시간으로 검색한다. 실시간 기준 데이터 504a는 표시되는 미디어 콘텐츠와 관련된 클라이언트 텔레비전 시스템 501a에 제공될 임의의 추가 데이터와 같은 맥락상 관련있는 데이터를 갖는 알려진 미디어 콘텐츠와 연관된 알려진 미디어 콘텐츠 큐를 포함한다. 따라서, 실시간 기준 데이터 504a는 비 실시간 기준 데이터 505a보다 훨씬 더 작은 데이터베이스일 수 있다. 콘텐츠가 디스플레이되는 동안 맥락상 관련있는 데이터가 클라이언트 텔레비전 시스템 501a에 제공될 수 있도록, 맥락상 관련있는 데이터를 갖는 미디어 콘텐츠의 식별이 실시간으로 행해지는 것이 중요하다. 예시적인 맥락상 관련있는 데이터는 유익한 콘텐츠, 인터랙티브 콘텐츠, 광고 콘텐츠, 텍스트 콘텐츠, 그래픽 콘텐츠, 오디오 콘텐츠, 비디오 콘텐츠 등을 포함한다. 실시간 매칭 엔진 504a는, 통상적으로 트리거할 시간이 단지 1초의 몇 분의 1(즉, 맥락상 관련있는 데이터는 실시간으로 제공되어야 함)인 시청자 특정의, 인터랙티브 및 맥락상의 콘텐츠 오버레이 또는 대체 서비스를 지원할 수 있다.
미지의 미디어 큐 502b가 실시간 기준 데이터 504a 내의 알려진 미디어 콘텐츠와 연관된 매칭되는 알려진 미디어 큐로서 식별되면, 알려진 미디어 콘텐츠에 대응하는 맥락상 관련있는 데이터는 실시간 기준 데이터 504a로부터 검색되고 504c에서 클라이언트 텔레비전 시스템 501a로 제공될 수 있다. 일부 실시예에서, 클라이언트 텔레비전 시스템 501a는 맥락상 관련있는 데이터를 디스플레이할 수 있다. 이러한 맥락상 관련있는 데이터는, 단지 예시로서, 상업용 메지시를, 시청중인 미디어 콘텐츠, 시청중인 미디어 콘텐츠에 관한 부가 정보, 또는 미디어 콘텐츠 그 자신 또는 그것을 보고 있을 수 있는 다른 시청자와 상호 작용할 기회에 기초하여 특정 시청자를 향하는 하나 이상의 메시지로 대체하는 것을 포함할 수 있다. 또한, 미지의 미디어 큐 502b가 실시간 기준 데이터 504a 내의 알려진 미디어 콘텐츠와 연관된 매칭되는 알려진 미디어 큐로서 식별되면, 매칭되는 알려진 미디어 콘텐츠 504d의 식별이 결과 데이터 507에 저장될 수 있다.
비 실시간 매칭 엔진 505b는, 예를 들어 검색 라우터에 의해 결정된 바와 같이 보다 편리하고, 효율적이며 그리고/또는 경제적으로 유리한 시간에, 비 실시간 기준 데이터 505a에서 비 실시간(non-real-time)으로 미지의 미디어 큐 502b를 검색한다. 예를 들어, 비 실시간 매칭 엔진 505b는 다른 시스템 처리 작업 부하가 비교적 가벼운 비 프라임(non-prime) 시간 동안 검색을 수행할 수 있다. 비 실시간 기준 데이터 505a는 맥락상 관련있는 데이터를 갖지 않는 알려진 미디어 콘텐츠와 연관된 알려진 미디어 콘텐츠 큐를 포함할 수 있다. 즉, 미디어 콘텐츠가 디스플레이되는 동안 클라이언트 텔레비전 시스템 501a에 데이터가 제공될 필요가 없기 때문에, 맥락상 관련있는 데이터를 갖지 않는 미디어 콘텐츠의 식별이 실시간으로 행해지는 것은 중요하지 않다.
그러나, 특정 미디어 콘텐츠를 디스플레이하는 TV 시스템의 수, 시청 패턴, 시스템 사용 및 특별히 시간에 종속하지 않는 다른 데이터에 관한 시간별 또는 일별 통계를 계산하는 것과 같이 다른 목적을 위해 미지의 미디어 콘텐츠를 식별하는 것은 여전히 중요할 수 있다. 비 실시간 기준 데이터 505a는 예를 들어, 로컬 채널 프로그래밍 데이터, 케이블 채널 프로그래밍 데이터, VoD 데이터, 유료 시청(pay-per-view) 데이터 및/또는 스트리밍 미디어 데이터(예를 들어, NetflixTM, AmazonTM, PandoraTM 등)를 포함할 수 있다. 일부 실시예에서, 비 실시간 기준 데이터 505a는 모든 이용 가능한 미디어 데이터를 포함하지만, 실시간 기준 데이터 504a는 즉각적인 식별을 요구하는 미디어 데이터만을 포함한다. 미지의 미디어 큐 502b가 비 실시간 기준 데이터 505a 내의 알려진 미디어 콘텐츠와 연관된 매칭되는 알려진 미디어 큐로서 식별되면, 매칭되는 알려진 미디어 콘텐츠 505c의 식별이 결과 데이터 507에 저장될 수 있다.
일부 실시예에서, 도 5에 도시된 구성 요소 중 일부 또는 모두는 클라이언트 텔레비전 시스템 501a 상에 위치할 수 있다. 일부 실시예에서, 도 5에 도시된 구성 요소 중 일부 또는 모두는 클라이언트 텔레비전 시스템 501a로부터 멀리 떨어진 서버 상에 위치할 수 있다. 일부 실시예에서, 도 5의 각 구성 요소는, 예를 들어, 별도의 데이터베이스 및 처리 능력을 갖는 별도의 시스템일 수 있다. 일부 실시예에서, 도 5의 적어도 일부 구성 요소는 데이터베이스 및/또는 처리 능력을 공유할 수 있다.
도 6은 본 발명의 실시예들에 따른 미디어 모니터링 시스템에서 큐를 라우팅하기 위한 검색 라우터 600의 일 예의 블록도이다. 검색 라우터 600은, 예를 들어, 도 5의 검색 라우터 503을 구현하는데 사용될 수 있다. 검색 라우터 600은 통신 인터페이스 602 및 컴퓨터 판독 가능 매체 606에 연결된 프로세서 601을 포함할 수 있다. 검색 라우터 600은 또한 검색 라우터 600의 내부 또는 외부에 있을 수 있는 데이터베이스 603을 포함하거나 또는 그에 액세스할 수 있다. 일부 실시예에서, 데이터베이스 603은 도 5의 큐 캐시 506을 포함할 수 있다.
프로세서 601은 검색 라우터 600의 기능을 수행하기 위한 프로그램 컴포넌트를 실행하기 위한 하나 또는 그 이상의 마이크로 프로세서를 포함할 수 있다. 통신 인터페이스 602는 검색 라우터 600이 도 5의 큐 매니저 502a, 실시간 매칭 엔진 504b 및/또는 비 실시간 매칭 엔진 505b와 같은 다른 엔티티와 통신할 수 있게 하는 하나 또는 그 이상의 통신 네트워크에 접속하도록 구성될 수 있다. 컴퓨터 판독 가능 매체 606은 예를 들어 RAM, DRAM, SRAM, ROM, 플래시 또는 임의의 다른 적절한 메모리 컴포넌트와 같은 하나 또는 그 이상의 휘발성 및/또는 비휘발성 메모리의 임의의 조합을 포함할 수 있다. 컴퓨터 판독 가능 매체 606은 검색 라우터 600의 모든 기능 중 일부를 구현하기 위해 프로세서 601에 의해 실행 가능한 코드를 저장할 수 있다. 예를 들어, 컴퓨터 판독 가능 매체 606은 큐 라우팅 엔진 608, 큐 복제(cloning) 엔진 610 및/또는 큐 타이밍 엔진 612를 구현하는 코드를 포함할 수 있다. 이들 엔진의 각각을 갖는 것으로 도시되고 설명되었지만, 더 많거나 적은 엔진이 컴퓨터 판독 가능 매체 606 내에 구현될 수 있다는 것을 생각할 수 있다. 예를 들어, 큐 라우팅 엔진 608, 큐 복제 엔진 610, 및/또는 큐 타이밍 엔진 612는 모든 실시예에서 구현되는 것은 아닐 수도 있다.
큐 라우팅 엔진 608은, 프로세서 601 및 통신 인터페이스 602와 함께, 미디어 시스템으로부터 직접 또는 큐 관리자를 통해서와 같은 방식으로 미디어 시스템에 의해 디스플레이되는 미지의 미디어 콘텐츠에 대응하는 큐를 수신할 수 있다. 프로세서 601과 함께 큐 복제 엔진 610은 큐의 동일한 복사본을 생성하기 위해 수신된 큐를 복제할 수 있다. 큐 복제 엔진 610은 프로세서 601과 함께 데이터베이스 603에 큐의 복사본을 저장할 수 있다. 그 다음, 큐 라우팅 엔진 608은, 프로세서 601 및 통신 인터페이스 602와 함께, 본 명세서에 후술되는 바와 같이 맥락상 관련있는 데이터를 갖는 알려진 미디어 콘텐츠에 대한 실시간 매칭을 위해 실시간 매칭 엔진에 큐의 복사본을 즉시 전달할 수 있다.
큐 타이밍 엔진 612는 프로세서 601과 함께, 비 실시간 매칭 엔진에 의한 검색이 완료되어야하는 적절한 시간을 결정할 수 있다. 일부 실시예에서, 이것은 비 실시간으로, 다시 말해, 즉각적이지 않다. 그러나, 일부 실시예에서, 언제가 가장 편리하고, 효율적이고 그리고/또는 경제적으로 유리한지에 기초하여 즉각적인 검색이 바람직한 것으로 판단될 수 있다고 생각된다. 예를 들어, 다른 시스템 처리 작업 부하가 비교적 적은 비 프라임 시간 동안 미지의 미디어 콘텐츠에 대응하는 큐가 이미 수신된다면, 큐 타이밍 엔진 612는 큐 라우팅 엔진 608에 미지의 미디어 콘텐츠에 대응하는 큐를 즉시 비 실시간 매칭 엔진에 전송하도록 지시할 수 있다.
일부 실시예에서, 큐 타이밍 엔진 612는 프로세서 601과 함께, 비 실시간 매칭 엔진에 큐를 전송하기 위한 적절한 시간이 오전 2시와 같이 늦은 시간임을 결정할 수 있다. 따라서, 오전 2시에, 큐 타이밍 엔진 612는 데이터베이스 603으로부터 미지의 미디어 큐를 검색하고 이를 통신 인터페이스 602를 통해 비 실시간 매칭 엔진으로 송신하기 위해 큐 라우팅 엔진 608에 제공할 수 있다. 일부 실시예에서, 큐 타이밍 엔진 612는 프로세서 601과 함께, 매 시간, 매일 등의 소정의 간격으로 비 실시간 매칭 엔진에 미지의 미디어 큐를 전송할 수 있다. 따라서, 예를 들어, 미지의 미디어 큐가 오후 1:13에 수신되면, 오후 2시까지 큐 라우팅 엔진 608에 의해 저장될 수 있으며, 이때 큐 타이밍 엔진 612에 의해 검색되고 비 실시간 매칭 엔진으로의 송신을 위해 큐 라우팅 엔진 608에 다시 제공될 것이다.
큐 타이밍 엔진 612를 갖는 것으로 도 6에 도시되고 설명되었지만, 일부 실시예에서 검색 라우터 600은 큐 타이밍 엔진 612를 갖지 않을 수도 있고, 그 대신에, 미지의 미디어 큐의 복사본을 비 실시간 매칭 엔진에 즉시 전달할 수도 있다. 이들 실시예에서, 비 실시간 매칭 엔진은 적절한 시간에 미지의 미디어 큐를 처리하도록 구성된 큐 타이밍 엔진을 포함할 수 있다.
도 7은 본 발명의 실시예에 의한 실시간으로 큐를 처리하기 위한 실시간 매칭 엔진 700의 일 예를 도시한 블록도이다. 실시간 매칭 엔진 700은, 예를 들면, 도 5의 실시간 매칭 엔진 504b를 구현하는데 사용될 수 있다. 실시간 매칭 엔진 700은 통신 인터페이스 702 및 컴퓨터 판독 가능 매체 706에 연결된 프로세서 701을 포함할 수 있다. 실시간 매칭 엔진 700은 또한 실시간 매칭 엔진 700의 내부 또는 외부에 있을 수 있는 데이터베이스 703을 포함하거나 또는 그에 액세스할 수 있다. 일부 실시예에서, 데이터베이스 703은 도 5의 실시간 기준 데이터 504a를 포함할 수 있다.
프로세서 701은 실시간 매칭 엔진 700의 기능을 수행하기 위한 프로그램 컴포넌트를 실행하기 위한 하나 또는 그 이상의 마이크로프로세서를 포함할 수 있다. 통신 인터페이스 702는 실시간 매칭 엔진 700이 도 5의 검색 라우터 503 및/또는 클라이언트 텔레비전 시스템 501a와 같은 다른 엔티티와 통신할 수 있게 하기 위해 하나 또는 이상의 통신 네트워크에 접속하도록 구성될 수 있다. 컴퓨터 판독 가능 매체 706은 예를 들어 RAM, DRAM, SRAM, ROM, 플래시 또는 임의의 다른 적절한 메모리 컴포넌트와 같은 하나 또는 그 이상의 휘발성 및/또는 비휘발성 메모리의 임의의 조합을 포함할 수 있다. 컴퓨터 판독 가능 매체 706은 실시간 매칭 엔진 700의 모든 기능 중 일부를 구현하기 위해 프로세서 701에 의해 실행 가능한 코드를 저장할 수 있다. 예를 들어, 컴퓨터 판독 가능 매체 706은 맥락상 관련있는 데이터 처리 엔진 708, 알려진 미디어 콘텐츠 검색 엔진 710 및/또는 미지의 미디어 콘텐츠 식별 엔진 712를 구현하는 코드를 포함할 수 있다. 이들 엔진의 각각을 갖는 것으로 도시되고 설명되었지만, 더 많거나 적은 엔진이 컴퓨터 판독 가능 매체 706 내에 구현될 수 있다는 것이 생각된다. 예를 들어, 맥락상 관련있는 데이터 처리 엔진 708, 알려진 미디어 콘텐츠 검색 엔진 710 및/또는 미지의 미디어 콘텐츠 식별 엔진 712가 모든 실시예에서 구현되지는 않을 수도 있다.
알려진 미디어 콘텐츠 검색 엔진 710은 프로세서 701과 함께 검색 라우터로부터 미지의 미디어 큐를 수신할 수 있다. 알려진 미디어 콘텐츠 검색 엔진 710은 프로세서 701과 함께, 데이터베이스 703에서 미지의 미디어 큐를 검색할 수 있다. 데이터베이스 703은 알려진 미디어 콘텐츠와 연관되고 대응하는 맥락상 관련있는 데이터를 갖는 알려진 미디어 큐를 포함할 수 있다. 예를 들어, 알려진 미디어 콘텐츠 검색 엔진 710은 미지의 미디어 큐를 알려진 미디어 큐와 비교하여 알려진 미디어 큐에 매칭이 있는지를 판단할 수 있다. 데이터베이스 703에서 알려진 미디어 큐에 매칭이 있으면, 미지의 미디어 콘텐츠 식별 엔진 712는 프로세서 701과 함께, 미지의 미디어 콘텐츠를 매칭되는 알려진 미디어 큐와 연관된 알려진 미디어 콘텐츠로서 식별할 수 있다. 일부 실시예에서, 미지의 미디어 콘텐츠 식별 엔진 712는 또한 프로세서 701과 함께, 클라이언트 텔레비전 시스템 상에 디스플레이되는 미지의 미디어 콘텐츠의 오프셋 시간(예를 들어, 미디어 콘텐츠의 시작으로부터 12분 4초와 같은 재생 시간)을 결정할 수 있다. 오프셋 시간은, 예를 들어, 알려진 미디어 콘텐츠 내에서 매칭되는 알려진 미디어 큐의 오프셋 시간을 결정함으로써 결정될 수 있다. 미지의 미디어 콘텐츠 및 오프셋 시간을 식별하기위한 시스템 및 방법은 본원에 참조에 의해 편입된 관련 출원에 더 기재되어 있다.
미지의 미디어 콘텐츠가 미지의 미디어 콘텐츠 식별 엔진 712에 의해 알려진 미디어 콘텐츠로서 식별된 후에, 맥락상 관련있는 데이터 처리 엔진 708은 프로세서 701과 함께, 매칭되는 알려진 미디어 콘텐츠와 연관된 맥락상 관련있는 데이터를 데이터베이스 703으로부터 검색한다. 맥락상 관련있는 데이터 처리 엔진 708은, 프로세서 701 및 통신 인터페이스 702와 함께, 디스플레이를 위해 클라이언트 텔레비전 시스템에 맥락상 관련있는 데이터를 제공할 수 있다.
도 8은 본 발명의 실시예들에 의한 비 실시간으로 큐를 처리하기 위한 비 실시간 매칭 엔진 800의 일 예를 도시한 블록도이다. 비 실시간 매칭 엔진 800은, 예를 들어, 도 5의 비 실시간 매칭 엔진 505b를 구현하는데 사용될 수 있다. 비 실시간 매칭 엔진 800은 통신 인터페이스 802 및 컴퓨터 판독 가능 매체 806에 연결된 프로세서 801을 포함할 수 있다. 비 실시간 매칭 엔진 800은 또한 비 실시간 매칭 엔진 800의 내부 또는 외부에 있을 수 있는 데이터베이스 803을 포함하거나 또는 그에 액세스할 수 있다. 일부 실시예에서, 데이터베이스 803은 도 5의 비 실시간 기준 데이터 505a를 포함할 수 있다.
프로세서 801은 비 실시간 매칭 엔진 800의 기능을 수행하기 위한 프로그램 컴포넌트를 실행하기 위한 하나 또는 그 이상의 마이크로프로세서를 포함할 수 있다. 통신 인터페이스 802는 비 실시간 매칭 엔진 800이 도 5의 검색 라우터 503과 같은 다른 엔티티와 통신할 수 있게 하기 위해 하나 또는 그 이상의 통신 네트워크에 접속하도록 구성될 수 있다. 컴퓨터 판독 가능 매체 806은 예를 들어 RAM, DRAM, SRAM, ROM, 플래시 또는 임의의 다른 적절한 메모리 컴포넌트와 같은 하나 또는 그 이상의 휘발성 및/또는 비휘발성 메모리의 임의의 조합을 포함할 수 있다. 컴퓨터 판독 가능 매체 806은 비 실시간 매칭 엔진 800의 모든 기능 중 일부를 구현하기 위해 프로세서 801에 의해 실행 가능한 코드를 저장할 수 있다. 예를 들어, 컴퓨터 판독 가능 매체 806은 큐 처리 엔진 808, 알려진 미디어 콘텐츠 검색 엔진 810 및/또는 미지의 미디어 콘텐츠 식별 엔진 812를 구현하는 코드를 포함할 수 있다. 이들 엔진의 각각을 갖는 것으로 도시되고 설명되었지만, 더 많거나 적은 엔진이 컴퓨터 판독 가능 매체 806 내에 구현될 수 있다는 것이 생각된다. 예를 들어, 큐 처리 엔진 808, 알려진 미디어 콘텐츠 검색 엔진 810 및/또는 미지의 미디어 콘텐츠 식별 엔진 812가 모든 실시예에서 구현되지는 않을 수도 있다.
검색 라우터가 미지의 미디어 큐를 비 실시간 매칭 엔진 800에 전송하는 타이밍을 조정하지 않는 실시예에서, 큐 처리 엔진 808은 프로세서 801과 함께, 수신 직후에 검색 라우터로부터 미지의 미디어 큐를 수신할 수 있다. 큐 처리 엔진 808은 프로세서 801과 함께, 미지의 미디어 큐를 알려진 미디어 콘텐츠 검색 엔진 810으로 전달하기 위한 적절한 시간을 결정할 수 있다. 일부 실시예에서, 이는 비 실시간으로, 다시 말해 즉각적인 것은 아니다. 그러나, 일부 실시예에서는, 언제 가장 편리하고, 효율적이고 그리고/또는 경제적으로 유리한지에 기초하여 즉각적인 검색이 바람직한 것으로 판단될 수 있다. 예를 들어, 미지의 미디어 콘텐츠에 대응하는 큐가 다른 시스템 처리 작업 부하가 비교적 적은 비 프라임 시간 동안 이미 수신되면, 큐 처리 엔진 808은 미지의 미디어 큐를 알려진 미디어 콘텐츠 검색 엔진 810에 즉시 전송할 수 있다.
일부 실시예에서, 큐 처리 엔진 808은 프로세서 801과 함께, 알려진 미디어 콘텐츠 검색 엔진 810으로 큐를 전송하기위한 적절한 시간이 오전 2시와 같이 더 늦은 시간이라고 결정할 수 있다. 따라서, 오전 2시에, 큐 처리 엔진 808은 데이터베이스 803으로부터 미지의 미디어 큐를 검색하고 이를 알려진 미디어 콘텐츠 검색 엔진 810에 제공할 수 있다. 일부 실시예에서, 큐 처리 엔진 808은 프로세서 801과 함께, 매 시간, 매일 등의 미리 정해진 간격으로 미지의 미디어 큐를 알려진 미디어 콘텐츠 검색 엔진 810에 전송한다. 따라서, 예를 들어, 미지의 미디어 큐가 오후 1시 13분에 수신되면, 오후 2시까지 데이터베이스 803에 저장될 수 있고, 이때 큐 처리 엔진 808에 의해 회수되고 검색을 위해 알려진 미디어 콘텐츠 검색 엔진 810에 제공될 것이다.
알려진 미디어 콘텐츠 검색 엔진 810은 프로세서 801과 함께, 적절한 시간에 큐 처리 엔진 808로부터 미지의 미디어 큐를 수신할 수 있다. 알려진 미디어 콘텐츠 검색 엔진 810은 프로세서 801과 함께, 데이터베이스 803에서 미지의 미디어 큐를 검색할 수 있다. 데이터베이스 803은 모든 이용가능한 알려진 미디어 콘텐츠와 연관된 알려진 미디어 큐를 포함할 수 있다. 예를 들어, 알려진 미디어 콘텐츠 검색 엔진 810은 미지의 미디어 큐를 알려진 미디어 큐와 비교하여 알려진 미디어 큐에 매칭이 있는지를 판단할 수 있다. 데이터베이스 803에서 알려진 미디어 큐에 매칭이 있으면, 미지의 미디어 콘텐츠 식별 엔진 812는 프로세서 801과 함께, 미지의 미디어 콘텐츠를 매칭되는 알려진 미디어 큐와 연관된 알려진 미디어 콘텐츠로서 식별할 수 있다. 일부 실시예에서, 미지의 미디어 콘텐츠 식별 엔진 812는 또한, 프로세서 801과 함께, 클라이언트 텔레비전 시스템 상에 디스플레이되는 미지의 미디어 콘텐츠의 오프셋 시간(예를 들어, 미디어 콘텐츠의 시작으로부터 12 분 4초와 같은 재생 시간)을 결정할 수 있다. 오프셋 시간은 예를 들어, 알려진 미디어 콘텐츠 내에서 매칭되는 알려진 미디어 큐의 오프셋 시간을 결정함으로써 결정될 수 있다. 미지의 미디어 콘텐츠 및 오프셋 시간을 식별하기위한 시스템 및 방법은 본원에 참조에 의해 편입된 관련 출원에 더 기재되어 있다.
도 9는 본 발명의 실시예에 의한 ACR 미디어 모니터링 시스템에서 작업 부하 관리를 향상시키기 위한 방법의 일 예를 도시한 흐름도이다. 처리 블록 902에서, 복수의 알려진 미디어 콘텐츠가 수신된다. 복수의 알려진 미디어 콘텐츠는 연관된 알려진 콘텐츠 식별자들(본 명세서에서 "큐"라고도 함)을 갖는다. 알려진 콘텐츠 식별자는 알려진 미디어 콘텐츠의 픽셀 데이터의 샘플 및/또는 오디오 데이터의 샘플을 포함할 수 있다. 처리 블록 904에서, 알려진 콘텐츠 식별자는 비 실시간 데이터베이스에 저장된다.
처리 블록 906에서, 연관된 맥락상 관련있는 데이터를 갖는 복수의 알려진 미디어 콘텐츠의 서브 세트가 결정된다. 예를 들어, 복수의 알려진 미디어 콘텐츠 중 일부는 그 특정의 알려진 미디어 콘텐츠를 시청하는 텔레비전 시스템 상에 디스플레이되어야 하는 연관 광고를 가질 수 있다. 처리 블록 908에서, 연관된 맥락상 관련있는 데이터를 갖는 복수의 알려진 미디어 콘텐츠의 서브 세트와 연관된 알려진 콘텐츠 식별자가 실시간 데이터베이스에 저장된다. 일부 실시예에서는, 비 실시간 데이터베이스 및 실시간 데이터베이스가 이미 구축되고 미지의 콘텐츠 식별자를 수신하면 검색될 수 있도록, 처리 블록 910 전에 임의의 지점에 처리 블록들 902-908로 도시된 단계들이 수행될 수 있다. 처리 블록 910에서, 미디어 시스템에 의해 현재 디스플레이되고 있는 미지의 미디어 콘텐츠에 대응하는 미지의 콘텐츠 식별자가 수신된다. 미지의 콘텐츠 식별자는 미디어 시스템에 의해 디스플레이되는 미지의 미디어 콘텐츠의 픽셀 데이터의 샘플 및/또는 오디오 데이터의 샘플을 포함할 수 있다.
결정 블록 912에서는, 미지의 콘텐츠 식별자가 실시간 데이터베이스의 복수의 알려진 미디어 콘텐츠의 서브 세트와 연관된 알려진 콘텐츠 식별자와 매칭되는지 결정된다. 미지의 콘텐츠 식별자가 실시간 데이터베이스의 알려진 콘텐츠 식별자와 매칭되는 경우, 처리 블록 914a에서 매칭되는 알려진 콘텐츠 식별자와 연관된 알려진 미디어 콘텐츠가 실시간 데이터베이스로부터 선택된다. 처리 블록 916a에서는, 미지의 미디어 콘텐츠가 선택된 알려진 미디어 콘텐츠로서 식별된다. 일부 실시예에서는 결정 블록 912, 처리 블록 914a 및 처리 블록 916a가 실시간으로 수행될 수 있다. 일부 실시예에서, 선택된 알려진 미디어 콘텐츠와 연관된 맥락상 관련있는 데이터가 검색되고, 실시간 또는 거의 실시간으로 미디어 시스템 상에 디스플레이될 수있다. 이 단계 또한 실시간으로 수행될 수 있다.
미지의 콘텐츠 식별자가 실시간 데이터베이스의 알려진 콘텐츠 식별자와 일치하지 않는 경우, 비 실시간 데이터베이스에서 미지의 콘텐츠 식별자가 검색된다. 처리 블록 914b에서는, 미지의 콘텐츠 식별자에 대응하는 알려진 콘텐트 식별자와 연관된 알려진 미디어 콘텐츠가 비 실시간 데이터베이스로부터 선택된다. 처리 블록 916b에서는, 미지의 미디어 콘텐츠가 선택된 알려진 미디어 콘텐츠로서 식별된다. 일부 실시예에서는, 처리 블록 914b 및 처리 블록 916b가 비 실시간으로 수행되는 것을 생각할 수 있다. 일부 실시예에서, 선택된 알려진 미디어 콘텐츠로서의 미지의 미디어 콘텐츠의 식별은 얼마나 많은 텔레비전 시스템이 특정 프로그램을 디스플레이했는지와 같은 통계를 생성하는데 사용될 수 있다. 일부 실시예에서는, 이 단계도 비 실시간으로 수행될 수 있다.
일부 실시예에서는, 블록들 916a 및 916b를 처리한 후에, 미지의 콘텐츠 식별자 및 알려진 콘텐츠 식별자들을 사용하여 미지의 미디어 콘텐츠와 연관된 오프셋 시간이 결정될 수 있다. 예를 들어, 알려진 미디어 콘텐츠 내의 매칭되는 알려진 콘텐츠 식별들의 오프셋 시간은 미지의 미디어 콘텐츠 내의 미지의 콘텐츠 식별자의 오프셋 시간으로서 결정될 수 있다.
도 9와 관련하여 설명된 프로세스는 본 발명을 제한하려는 것이 아니다. 예를 들어, 비록 미지의 콘텐츠 식별자가 실시간 데이터베이스에서 매칭되지 않을 때만 검색되는 것으로 설명되었지만, 예를 들면 참조 데이터의 더 큰 데이터베이스에 대한 정확한 매칭을 확인하기 위해, 매칭이 발견되는 경우에도 실시간 데이터베이스에 더하여 비 실시간 데이터베이스가 검색될 수 있다. 또한, 도 9의 흐름도에 의해 설명된 프로세스는, 미디어 시스템에 의해, 미디어 시스템으로부터 멀리 위치한 서버에 의해, 이들 모두에 의해, 또는 부분적으로는 미디어 시스템에 위치한 컴포넌트(들)에 의해 부분적으로는 원격 서버에 위치한 컴포넌트(들)에 의해 구현될 수 있다.
이제 앞서 언급된 최근접 이웃 및 경로 추적(path pursuit) 기술이 상세히 설명된다. 모호한 큐를 사용하여 비디오 전송을 추적하는 예가 제공되지만 일반적인 개념은 위에서 설명한 것과 같은 모든 필드에 적용될 수 있다.
효율적인 비디오 추적(video pursuit)을 위한 방법이 제시된다. 많은 수의 비디오 세그먼트가 주어진 경우, 시스템은, 주어진 쿼리 비디오 입력이 어떤 세그먼트로부터 그리고 어떤 시간 오프셋(time offset)에 취득되는지를 실시간으로 식별할 수 있어야 한다. 세그먼트와 오프셋을 함께 위치(location)라고 부른다. 이 방법은, 일시 중지, 빨리 감기, 되감기, 다른 세그먼트로의 갑작스러운 전환 및 미지의 세그먼트로의 전환 등을 효율적으로 감지하고 그에 적응할 수 있어야 하므로, 비디오 추적이라고 불린다. 라이브 비디오를 추적할 수 있기 전에 데이터베이스가 처리된다. 시각적 큐(약간의 픽셀 값)는 일정한 매우 짧은 시간마다(every constant fraction of a second) 프레임으로부터 취득되고 특수한 데이터 구조에 넣어진다(이는 실시간으로 행해질 수도 있음에 유의한다). 비디오 추적은, 입력 비디오로부터 지속적으로 큐를 수신하고 현재 위치에 대한 믿음(belief) 또는 추정(estimate)의 집합을 업데이트함으로써 수행된다. 각 큐는, 추정에 동의하거나 동의하지 않으며, 새로운 증거를 반영하기 위해 조정된다. 이것이 사실일 것이라는 자신감(confidence)이 충분히 높으면, 동영상의 위치가 정확한 것으로 가정된다. 잠재적인 "의심스러운" 위치의 작은 집합만 추적함으로써, 이를 효율적으로 수행할 수 있다.
비디오 추적을 위한 방법이 기술되어 있지만, 이를 설명하고 조사하기 위해 수학적 해석을 사용한다. 두 영역 간의 해석에 필요한 도구를 독자에게 제공하는 것이 이 소개의 목표이다. 비디오 신호는 순차적인 프레임으로 구성된다. 각각은 정지 이미지로서 생각될 수 있다. 모든 프레임은 픽셀의 래스터(raster)이다. 각 픽셀은, 픽셀의 색상을 만드는 적색, 녹색 및 청색(RGB)에 대응되는 세 가지 농도 값으로 구성된다. 이 문서에서 사용된 용어에서, 큐(cue)는 프레임 내의 픽셀의 서브 세트의 RGB 값 및 대응하는 타임 스탬프(time stamp)의 목록이다. 큐의 픽셀 수는 프레임의 픽셀 수보다 현저히 적으며, 일반적으로 5와 15 사이이다. 스칼라 값의 정렬된 목록이므로, 큐 값은 사실상 벡터이다. 이 벡터를 포인트(point)라고도 부른다.
이 포인트는 일반적으로 15에서 150 사이의 높은 차원을 갖지만, 2차원의 포인트로서 상상될 수 있다. 실제로, 도면은 2차원 도표(plot)로 주어질 것이다. 이제 비디오의 프로그래션(progression)과 그에 대응되는 큐 포인트를 고려하라. 일반적으로 시간의 작은 변화는 픽셀 값의 작은 변화를 가져온다. 픽셀 포인트는 프레임간에 조금씩 움직이는 것으로 보일 수 있다. 프레임에서 프레임으로의 이러한 작은 움직임에 따라, 큐는 구부러진 와이어(wire)상에 있는 구슬(bead)처럼 공간 내의 경로를 따른다.
이러한 비유(analogy)에 있어서, 비디오 추적에서 공간에서의 구슬의 위치(큐 포인트)가 수신되고, 구슬이 따르는 와이어(경로) 부분이 검색된다. 이것은 두 가지 사실에 의해 현저히 더 어려워진다. 첫째, 구슬은 와이어를 정확히 따라가지 않고, 대신에 그로부터 미지의 변화하는 거리를 유지한다. 두번째로, 와이어는 모두 함께 얽혀 있다. 이 진술은 섹션 2에서 정확하게 작성되었다. 이하에 기술된 알고리즘은 두 가지 개념적인 단계에서 이를 수행한다. 큐가 수신되면, 그것은 큐 포인트에 충분히 근접한 알려진 모든 경로에서 모든 포인트를 찾는데, 이들을 용의점(suspect)이라고 부른다. 이는 이퀄 볼즈(Equal Balls) 알고리즘의 확률적 포인트 위치(Probabilistic Point Location)를 사용하여 효율적으로 수행된다. 이러한 용의점은 히스토리 데이터 구조에 추가되고, 각각이 실제 위치를 나타낼 확률이 계산된다. 이 단계는 충분히 가능성이 낮은 용의 위치를 제거하는 단계도 포함한다. 이 히스토리 업데이트 프로세스는, 한편으로는 작은 히스토리만 유지하지만 다른 한편으로는 가능한 위치가 삭제되지 않도록 한다. 일반적인 알고리즘은 알고리즘 1에 주어지고 도 10에 도시된다.
섹션 1의 이퀄 볼즈의 확률적 포인트 위치(Probabilistic Point Location in Equal Balls; PPLEB) 알고리즘을 기술하는 것으로 설명을 시작한다. 이는 알고리즘 1의 제5 행을 효율적으로 수행하기 위해 사용된다. 용의점을 신속하게 검색할 수 있는 능력은 이 방법의 적용 가능성에 결정적이다. 이후에, 섹션 2에서, 제6 행과 제7 행을 수행하기 위한 한 가지 가능한 통계 모델이 기술된다. 기술된 모델은 설정에 대한 자연스러운 선택이다. 또한 이것이 매우 효율적으로 사용될 수 있는 방법을 보여준다.
섹션 1 - 이퀄 볼즈에 있어서 확률적 포인트 위치
이하의 섹션은 이퀄 볼즈에 있어서 확률적 포인트 위치(PPLEB)를 수행하기 위한 간단한 알고리즘을 설명한다. 전통적인 PLEB(point location in equal balls; 이퀄 볼즈의 포인트 위치)에서는 lR d의 n 개의 포인트 x의 집합과 반경 r의 특정 구체(ball)로 시작한다. 알고리즘에는, 효율적인 데이터 구조를 생성하기 위해, O(poly(n))의 전처리 시간(preprocessing time)이 주어진다. 그 다음, 쿼리 포인트(query point) x가 주어지면, 알고리즘은 인 모든 포인트 x를 리턴할 것이 요구된다. 인 포인트의 집합은, 기하학적으로 쿼리 x를 둘러싼 반경 r의 구체 내에 위치한다(도 23 참조). 이 관계를, x 및 그에 가까운, 또는 x 및 그의 이웃이라 부른다.
PPLEB의 문제와 최근접 이웃 탐색의 문제는 학계에서 많은 관심을 받은 두가지 유사한 문제이다. 사실, 이러한 문제는 전산 기하학 분야에서 처음 연구된 것들에 속한다. 많은 다른 방법은, 주변 차수가 작거나 일정한 경우에 대응된다. 이는 공간을 서로 다른 방법으로 분할하고, 그 부분을 재귀적으로 검색한다. 이러한 방법에는 KD-트리(tree), 커버-트리(cover-tree) 및 기타가 포함된다. 낮은 차원에서 매우 효율적이지만, 주변 차원이 높으면 성능이 매우 떨어진다. 이것은 "차원의 저주(curse of dimensionality)"로 알려져 있다. 다양한 접근 방식은 차원의 저주를 극복하면서 이 문제를 해결하려고 한다. 여기에 사용된 알고리즘은 더 간단하고 빠른 알고리즘 버전을 사용하며 로컬 감지 해싱(Local Sensitive Hashing)에 의존할 수 있다.
섹션 1.1 로컬 감지 해싱
로컬 감지 해싱 방식에 있어서, 해시 함수 H의 패밀리(family)를 다음과 같이 고안한다.
말하자면, h에 의하여 x와 y가 같은 값으로 매핑될 확률은, 그들이 서로 가깝다면 훨씬 더 높다.
명확히 하기 위해, 모든 들어오는 벡터의 길이 r'가 동일하고 r'
Figure 112018016014926-pct00005
인 단순한 시나리오를 먼저 다루도록 한다. 그리고 후자의 조건의 이유는 나중에 분명해질 것이다. 먼저 랜덤한 함수 가 정의되는데, 이는 x와 y 사이의 각도에 따라 x와 y를 구분한다.
Figure 112018016014926-pct00007
를 단위 구(unit sphere) S d -1 에서 균일하게 선택되는 임의의 벡터라 하고 라 하자. 를 검증하는 것은 용이하다. 또한,
Figure 112018016014926-pct00010
인 원 상의 임의의 포인트 x, y, x', y'에 대해서,
Figure 112018016014926-pct00011
가 얻어진다. p를 정의하면, 다음의 식이 사용된다.
함수 H의 패밀리는, u의 독립적인 복사본들의 벡터곱(cross product)으로 설정된다: 즉, h(x) = [u1(x), ... , ut(x)]. 직관적으로, 만약 h(x)=h(y)라면 x와 y가 서로 가까울 것이라고 생각하고 싶을 것이다. 그것을 정량화하자. 먼저, 잘못된 양의 실수(false positive mistake)의 예상 개수 nfp를 계산한다. 이는 h(x)=h(y) 그러나 ||x-y||>2r에 대한 경우이다. 값 t는 nfp가 1보다 크지 않은 경우에 대하여 발견되는데, 즉, 잘못될 것으로 예상되지 않는다.
이제, h(x)=h(y)인 경우 그들이 이웃일 확률은 다음과 같이 계산된다.
여기서 r'
Figure 112018016014926-pct00015
을 요하는 2p<1이 만족되어야 함을 주의하여야 한다. 이는 성공 확률이 매우 높아 보이지 않는다. 실제로
Figure 112018016014926-pct00016
은 1/2보다 훨씬 작다. 다음 섹션에서는 이 확률을 1/2까지 높이는 방법을 설명한다.
섹션 1.2 포인트 검색 알고리즘
함수 h는 공간의 모든 점을 버킷(bucket)에 매핑한다. 해시 함수 h에 대한 포인트 x의 버킷 함수 를 로 정의한다. 유지되는 데이터 구조는 버킷 함수 [Bh1, ... , Bhm]의 m=O(
Figure 112018016014926-pct00019
) 인스턴스이다. 하나의 포인트 x를 검색하면 함수는 를 리턴한다. 앞 섹션에 의하면, 두 가지 원하는 결과가 있다: 즉,
즉, x의 각 이웃이 적어도 1/2의 확률로 발견되지만, 이웃이 아닌 많은 포인트를 발견할 가능성은 없다.
섹션 1.3 서로 다른 반경의 입력 벡터의 취급
이전 섹션은 동일한 길이의 벡터, 즉 r'을 통한 검색만을 다루었다. 이제, 서로 다른 반지름에서의 검색을 지원하는 빌딩 블록으로 구조를 사용할 수 있는 방법에 대해 설명한다. 도 11에 도시된 바와 같이, 공간은 기하급수적으로 증가하는 폭의 고리(ring)로 분할된다. Ri로 지시되는 고리 i에는 을 만족하는 모든 포인트 xi가 포함된다. 이렇게 함으로써 두 가지 목적을 달성할 수 있다. 첫째, 만약 xi와 xj가 동일한 고리에 속하는 경우, 가 된다. 둘째, 모든 검색은 최대 의 고리에서 수행될 수 있다. 또한 데이터 세트의 최대 길이 벡터가 r'이면 시스템의 고리의 총 개수는 O(log(r'/r))이다.
섹션 2 경로 추적 문제(The Path Pursuit Problem)
경로 추적 문제에서, 공간에 고정된 경로는 시간 포인트의 시퀀스에서 입자의 위치와 함께 주어진다. 입자, 큐 및 포인트라는 용어가 교환 가능하게 사용된다. 알고리즘은 경로상의 입자 위치를 출력하도록 요구된다. 이것은 몇 가지 요인에 의해 더욱 어려워진다: 입자는 경로를 대략적으로 따를 뿐이다; 경로는 불연속적이고 여러번 스스로 교차할 수 있다; 입자와 경로 위치 모두 시간 포인트의 시퀀스에 주어진다(각각에 대해 서로 다름).
이 문제는 임의의 개수의 경로에서 입자 추적을 시뮬레이션할 수 있다는 점에 주의해야 한다. 이는 경로를 하나의 긴 경로로 연결하고 결과 위치를 개별 경로의 위치로 해석함으로써 간단히 수행된다.
좀 더 정확히 말하자면, 경로 P가 파라미터 곡선 이라 하자. 곡선의 파라미터를 시간이라 부른다. 우리에게 이미 알려진 경로상의 포인트는 임의의 시간 포인트 ti에 주어지는데, 즉 n쌍 (ti, P (ti))이 주어진다. 입자는 경로를 따르지만, 도 12에 도시된 바와 같이, 그 위치는 상이한 시점에 주어진다. 또한, m쌍의 (t'j, x(t'j))가 주어지는데, x(t'j)는 시간 t'j에서의 입자의 위치이다.
섹션 2.1 우도 추정(Likelihood Estimation)
입자가 경로를 정확히 따르지 않고 경로가 여러번 스스로 교차할 수 있기 때문에, 입자가 실제로 위치하고 있는 경로상의 위치를 적극적으로 식별하는 것은 일반적으로 불가능하다. 따라서 모든 가능한 경로 위치에서 확률 분포가 계산된다. 위치 확률이 현저히 높으면 입자 위치를 알게 되었다고 가정한다. 다음 섹션에서는 이러한 작업을 효율적으로 수행하는 방법에 대해 설명한다.
만약 입자가 경로를 따른다면, 입자의 타임 스탬프와 P상의 대응하는 포인트의 오프셋 사이의 시간차는 상대적으로 고정되어야 한다. 즉, 만약 x(t')가 현재 경로상의 오프셋 t에 있으면, 그것은 P(t)에 가까워야 한다. 또한 τ초 전에 그것은 오프셋 t-τ에 있었어야 한다. 따라서 x(t'-τ)는 P(t-τ)에 가까워야 한다(만약 입자가 경로를 가로지르고 있고 x(t')가 일시적으로 P(t)에 가깝다면, x(t'-τ)와 P(t-τ)가 가까이에 있지 않을 것이다.). 상대적 오프셋을 △=t-t'라고 정의하자. 입자가 경로를 따르는 한 상대적 오프셋 △는 변경되지 않는다. 즉, x(t')는 P(t'+△)에 가깝다.
최대 우도 상대적 오프셋(maximum likelihood relative offset)은 다음을 계산함으로써 얻어진다:
다시 말하면, 가장 가능성 있는 상대적 오프셋은, 입자의 히스토리가 가장 가능성이 높은 오프셋이다. 그러나 이 방정식은 통계적 모델 없이는 풀 수 없다. 이 모델은 다음을 수량화해야 한다: x가 얼마나 밀접하게 경로를 따르는가; x가 위치간에 점프할 가능성은 얼마나 높은가; 경로와 입자 곡선이 측정된 포인트들 사이에서 얼마나 매끄러운가.
섹션 2.2 시간 할인 저장소 할당(times discounted binning)
우도 함수를 추정하기 위한 통계 모델이 설명된다. 이 모델은 입자의 경로 이탈 편차가, 표준 편차 ar의 정규 분포를 갖는다고 가정한다. 또한 임의의 주어진 시점에서 입자가 갑자기 다른 경로로 전환될 확률이 0이 아닌 것으로 가정한다. 이것은 과거 포인트에 대한 시간의 지수 할인으로 나타난다. 모델링 관점에서 합리적인 선택을 하는 것 외에도, 이 모델은 효율적으로 업데이트할 수 있다는 이점을 갖는다. 어떤 일정 시간 단위 1에 대해, 우도 함수를 다음과 같이 정의되는 f에 비례하도록 설정한다:
여기서
Figure 112018016014926-pct00028
은 스케일 계수(scale coefficient)이고,
Figure 112018016014926-pct00029
은 입자가 주어진 시간 단위에서 경로상의 랜덤한 위치로 점프할 확률이다.
다음과 같은 간단한 관찰을 통해 함수 f를 효율적으로 업데이트할 수 있다.
또한,
Figure 112018016014926-pct00031
이므로, 만약 이라면 다음과 같이 된다:
합(sum)의 업데이트는 이제 전체 경로가 아닌 x(t'j)의 이웃에서만 수행될 수 있으므로, 이것은 우도 함수의 중요한 속성이다. 를 만족하는 (ti, P(ti))의 집합을 S로 표시한다. 다음의 방정식이 성립한다:
이는 이하의 알고리즘 2.2에 설명되어 있다. f는 음의 정수 인덱스를 받는 희소 벡터(sparse vector)로 사용된다. 집합 S는, 경로상의 x(ti)의 모든 이웃의 집합이며 PPLEB 알고리즘을 사용하여 빠르게 계산할 수 있다. 만약 x(ti)의 이웃의 수가 일정한 상수 nnear에 의해 한정되어 있다면, 벡터 f의 영이 아닌 수가 단지 일정한 인수만큼만 큰 에 의하여 한정된다는 것을 검증하는 것은 쉽다. 알고리즘의 마지막 단계는, 만약 가 어떤 문턱값 이상일 경우
Figure 112018016014926-pct00038
의 특정 값을 출력하는 것이다.
도 11은 3개의 연속적인 포인트 위치 및 그 주위의 경로 포인트를 도시한 도면이다. 하단의 포인트도 중간의 포인트도 경로의 정확한 부분을 식별하기에 충분하지 않음을 주의하라. 그러나, 그들은 함께 있다. 상단의 포인트를 추가하면 입자가 실제로 경로의 최종(왼쪽) 커브가 될 확실성이 높아진다.
도 12에 있어서, n(회색) 포인트의 집합이 주어지면, 알고리즘에는 쿼리 포인트(검정색)가 주어지고, 그것으로부터 거리 r 내에 있는 포인트(원 내부의 포인트)의 집합을 리턴한다. 전통적인 설정에서, 알고리즘은 이러한 모든 점을 리턴해야 한다. 확률적 설정에서는, 그러한 각 포인트는 일정한 확률로 리턴되어야 한다.
도 13은 u(x1), u(x2) 및 u(x)의 값을 도시한 도면이다. 직관적으로, 함수 u는 만약 파선이 그들 사이를 통과하면 x1과 x2에 서로 다른 값을 주고, 그렇지 않다면 같은 값을 준다. 파선을 임의의 방향으로 이동하면 이러한 일이 발생할 확률이 x1과 x2 사이의 각도에 정비례한다.
도 14는, 고리 Ri가 반경 과 사이가 되도록 하여 공간을 고리로 분할함으로써, 고리내의 임의의 두 벡터가 인수까지 동일한 길이이고, 모든 검색이 최대 고리 내에서 수행된다는 것을 확실히 할 수 있다는 것을 도시한 도면이다.
도 15는 자기 교차 경로와 쿼리 포인트(검정색)를 도시한 도면이다. 입자 위치의 히스토리가 없으면 그것이 경로상의 어디에 있는지 알 수 없다는 것을 도시한다.
도 15는 3개의 연속적인 포인트 위치 및 그 주위의 경로 포인트를 도시한다. x(t1)과 x(t2)만으로는 경로의 정확한 부분을 식별하기에 충분하지 않음을 유의하라. 그러나 그들은 함께 있다. x(t3)를 추가하면 입자가 실제로 경로의 최종(왼쪽) 곡선에 있을 가능성을 높인다.
본 명세서에서는 실질적으로 비디오 데이터 및 그래픽 디스플레이와 관련하여 설명했지만, 여기에 설명된 시스템 및 방법은 오디오 데이터 및 가청(audible) 디스플레이와 관련하여 유사하게 사용될 수 있다.
특정 요구 사항에 따라 상당한 변화가 있을 수 있다. 예를 들어, 맞춤형 하드웨어가 사용될 수도 있고, 또는 특정 구성 요소가 하드웨어, 소프트웨어(애플릿 등의 포터블 소프트웨어 포함) 또는 이 둘 모두로 구현될 수도 있다. 또한, 네트워크 입/출력 장치와 같은 다른 액세스 또는 컴퓨팅 장치에 대한 연결이 사용될 수 있다.
상기한 명세서에서, 본 발명의 다양한 태양은 그 특정 실시예를 참조하여 설명되지만, 본 발명의 기술 분야에서 통상의 지식을 가진 자는 본 발명이 이에 제한되지 않는다는 것을 인식할 것이다. 상기한 본 발명의 다양한 특징 및 태양은 개별적으로 또는 공동으로 사용될 수 있다. 또한, 실시예는 명세서의 더 넓은 사상 및 범위를 벗어나지 않으면서 본 명세서에 기재된 것 이외의 임의의 개수의 환경 및 애플리케이션에서 이용될 수 있다. 따라서, 명세서 및 도면은 제한적인 것이 아니라 예시적인 것으로 간주되어야 한다.
상기한 설명에서, 설명의 목적상, 방법은 특정 순서로 기술되었다. 다른 실시예에서, 상기 방법들은 설명된 것과 다른 순서로 수행될 수 있다는 것을 이해해야 한다. 상기한 방법들은 하드웨어 구성 요소들에 의해 수행될 수 있거나, 기계 실행 가능 명령어들의 시퀀스로 구현될 수 있는데, 상기 명령어들은, 범용 또는 특수 목적 프로세서 또는 명령어로 프로그램 된 로직 회로와 같은 기계로 하여금 방법을 수행하도록 사용될 수 있다. 이러한 기계 실행 가능 명령어는, CD-ROM 또는 다른 유형의 광학 디스크, 플로피 디스켓, ROM, RAM, EPROM, EEPROM, 자기 또는 광 카드, 플래시 메모리 또는 전자 명령을 저장하기에 적합한 다른 유형의 기계 판독 가능 매체와 같은 하나 이상의 기계 판독 가능 매체에 저장될 수 있다. 대안적으로, 상기 방법은 하드웨어와 소프트웨어의 조합에 의해 수행될 수 있다.
구성 요소가 특정 동작을 수행하도록 구성된 것으로 설명되는 경우, 그러한 구성은 예를 들어, 전자 회로 또는 다른 하드웨어를 설계하여 프로그램 가능한 전자 회로(예를 들어, 마이크로 프로세서 또는 다른 적절한 전자 회로)를 프로그램함으로써, 동작 또는 이들의 임의의 조합을 수행하도록 수행될 수 있다.
본 출원의 예시적인 실시예들이 본 명세서에서 상세히 설명되었지만, 본 발명의 개념은 달리 다양하게 구체화되고 채택될 수 있으며, 첨부된 특허 청구 범위는 선행기술에 의해 제한되는 것을 제외하고는 그러한 변형을 포함하는 것으로 해석되도록 의도된다.

Claims (18)

  1. 하나 또는 그 이상의 프로세서; 및
    상기 하나 또는 그 이상의 프로세서에 의해 실행될 때, 상기 하나 또는 그 이상의 프로세서로 하여금 소정의 오퍼레이션을 수행하게 하는 명령을 포함하는 하나 또는 그 이상의 비일시적 기계 판독 가능 저장 매체
    를 포함하되, 상기 오퍼레이션은,
    복수의 알려진 미디어 콘텐츠를 수신하는 단계 - 상기 복수의 알려진 미디어 콘텐츠는 연관된 알려진 콘텐츠 식별자들을 가짐 -;
    비 실시간 데이터베이스에 상기 복수의 알려진 미디어 콘텐츠와 연관된 상기 알려진 콘텐츠 식별자를 저장하는 단계;
    연관된 맥락상 관련있는 데이터를 갖는 상기 복수의 알려진 미디어 콘텐츠의 서브 세트를 결정하는 단계;
    연관된 맥락상 관련있는 데이터를 갖는 상기 복수의 알려진 미디어 콘텐츠의 상기 서브 세트와 연관된 알려진 콘텐츠 식별자를 실시간 데이터베이스에 저장하는 단계;
    미디어 시스템에 의해 디스플레이되는 미지의 미디어 콘텐츠에 대응하는 미지의 콘텐츠 식별자를 수신하는 단계;
    상기 실시간 데이터베이스에서 상기 미지의 콘텐츠 식별자를 검색하여, 상기 미지의 콘텐츠 식별자가 상기 실시간 데이터베이스 내의 상기 복수의 알려진 미디어 콘텐츠의 상기 서브 세트와 연관된 알려진 콘텐츠 식별자에 대응하는지 여부를 결정하는 단계;
    상기 미지의 콘텐츠 식별자가 상기 실시간 데이터베이스 내의 알려진 콘텐츠 식별자에 대응하는 경우, 상기 실시간 데이터베이스로부터 상기 대응하는 알려진 콘텐츠 식별자와 연관된 알려진 미디어 콘텐츠를 선택하고, 상기 미지의 미디어 콘텐츠를 상기 실시간 데이터베이스로부터 상기 선택된 알려진 미디어 콘텐츠로서 식별하는 단계;
    상기 미지의 콘텐츠 식별자가 상기 실시간 데이터베이스 내의 알려진 콘텐츠 식별자에 대응하지 않는 경우, 상기 비 실시간 데이터베이스에서 상기 미지의 콘텐츠 식별자를 검색하는 단계; 및
    상기 비 실시간 데이터베이스로부터 상기 미지의 콘텐츠 식별자에 대응하는 알려진 콘텐츠 식별자와 연관된 알려진 미디어 콘텐츠를 선택하고, 상기 미지의 미디어 콘텐츠를 상기 비 실시간 데이터베이스로부터 상기 선택된 알려진 미디어 콘텐츠로서 식별하는 단계
    를 포함하는 미디어 콘텐츠 식별을 위한 시스템.
  2. 제1항에 있어서,
    상기 오퍼레이션은,
    상기 선택된 알려진 미디어 콘텐츠와 연관된 맥락상 관련있는 데이터를 검색하는 단계 및, 상기 미지의 콘텐츠 식별자가 상기 실시간 데이터베이스 내의 알려진 콘텐츠 식별자에 대응하는 경우, 상기 맥락상 관련있는 데이터의 상기 미디어 시스템상에서의 디스플레이를 가능하게 하는 단계
    를 더 포함하는, 미디어 콘텐츠 식별을 위한 시스템.
  3. 제1항에 있어서,
    상기 오퍼레이션은,
    상기 미지의 콘텐츠 식별자가 상기 실시간 데이터베이스 내의 알려진 콘텐츠 식별자에 대응하지 않는 경우, 상기 선택된 알려진 미디어 콘텐츠를 사용하여 통계치를 계산하는 단계
    를 더 포함하는, 미디어 콘텐츠 식별을 위한 시스템.
  4. 제1항에 있어서,
    상기 미지의 콘텐츠 식별자는 상기 미디어 시스템에 의해 디스플레이되는 상기 미지의 미디어 콘텐츠의 픽셀 데이터의 샘플 또는 오디오 데이터의 샘플 중 적어도 하나를 포함하는, 미디어 콘텐츠 식별을 위한 시스템.
  5. 제1항에 있어서,
    상기 오퍼레이션은,
    상기 미지의 콘텐츠 식별자 및 상기 선택된 알려진 미디어 콘텐츠와 연관된 상기 알려진 콘텐츠 식별자를 사용하여 상기 미지의 미디어 콘텐츠와 연관된 오프셋 시간을 결정하는 단계
    를 더 포함하는, 미디어 콘텐츠 식별을 위한 시스템.
  6. 제1항에 있어서,
    상기 하나 또는 그 이상의 프로세서 및 상기 하나 또는 그 이상의 비일시적 기계 판독 가능 저장 매체는 상기 미디어 시스템에 포함되는, 미디어 콘텐츠 식별을 위한 시스템.
  7. 제1항에 있어서,
    상기 하나 또는 그 이상의 프로세서 및 상기 하나 또는 그 이상의 비일시적 기계 판독 가능 저장 매체는 상기 미디어 시스템으로부터 멀리 떨어져 위치한 서버에 포함되는,
    미디어 콘텐츠 식별을 위한 시스템.
  8. 제1항에 있어서,
    상기 미지의 콘텐츠 식별자가 상기 실시간 데이터베이스 내의 상기 복수의 알려진 미디어 콘텐츠의 상기 서브 세트와 연관된 알려진 콘텐츠 식별자에 대응하는지 여부를 결정하는 단계, 상기 미지의 콘텐츠 식별자가 상기 실시간 데이터베이스 내의 알려진 콘텐츠 식별자에 대응하는 경우, 상기 실시간 데이터베이스로부터 상기 대응하는 알려진 콘텐츠 식별자와 연관된 알려진 미디어 콘텐츠를 선택하고, 상기 미지의 미디어 콘텐츠를 상기 실시간 데이터베이스로부터 상기 선택된 알려진 미디어 콘텐츠로서 식별하는 단계는 실시간으로 수행되는,
    미디어 콘텐츠 식별을 위한 시스템.
  9. 제1항에 있어서,
    상기 미지의 콘텐츠 식별자가 상기 실시간 데이터베이스 내의 알려진 콘텐츠 식별자에 대응하지 않는 경우, 상기 비 실시간 데이터베이스로부터 상기 미지의 콘텐츠 식별자에 대응하는 알려진 콘텐츠 식별자와 연관된 알려진 미디어 콘텐츠를 선택하고, 상기 미지의 미디어 콘텐츠를 상기 비 실시간 데이터베이스로부터 상기 선택된 알려진 미디어 콘텐츠로서 식별하는 단계는 비 실시간으로 수행되는,
    미디어 콘텐츠 식별을 위한 시스템.
  10. 하나 또는 그 이상의 프로세서에 의해 수행되는, 미디어 콘텐츠 식별을 위한 방법으로서,
    복수의 알려진 미디어 콘텐츠를 수신하는 단계 - 상기 복수의 알려진 미디어 콘텐츠는 연관된 알려진 콘텐츠 식별자들을 가짐 -;
    비 실시간 데이터베이스에 상기 복수의 알려진 미디어 콘텐츠와 연관된 상기 알려진 콘텐츠 식별자를 저장하는 단계;
    연관된 맥락상 관련있는 데이터를 갖는 상기 복수의 알려진 미디어 콘텐츠의 서브 세트를 결정하는 단계;
    연관된 맥락상 관련있는 데이터를 갖는 상기 복수의 알려진 미디어 콘텐츠의 상기 서브 세트와 연관된 알려진 콘텐츠 식별자를 실시간 데이터베이스에 저장하는 단계;
    미디어 시스템에 의해 디스플레이되는 미지의 미디어 콘텐츠에 대응하는 미지의 콘텐츠 식별자를 수신하는 단계;
    상기 실시간 데이터베이스에서 상기 미지의 콘텐츠 식별자를 검색하여, 상기 미지의 콘텐츠 식별자가 상기 실시간 데이터베이스 내의 상기 복수의 알려진 미디어 콘텐츠의 상기 서브 세트와 연관된 알려진 콘텐츠 식별자에 대응하는지 여부를 결정하는 단계;
    상기 미지의 콘텐츠 식별자가 상기 실시간 데이터베이스 내의 알려진 콘텐츠 식별자에 대응하는 경우, 상기 실시간 데이터베이스로부터 상기 대응하는 알려진 콘텐츠 식별자와 연관된 알려진 미디어 콘텐츠를 선택하고, 상기 미지의 미디어 콘텐츠를 상기 실시간 데이터베이스로부터 상기 선택된 알려진 미디어 콘텐츠로서 식별하는 단계;
    상기 미지의 콘텐츠 식별자가 상기 실시간 데이터베이스 내의 알려진 콘텐츠 식별자에 대응하지 않는 경우, 상기 비 실시간 데이터베이스에서 상기 미지의 콘텐츠 식별자를 검색하는 단계; 및
    상기 비 실시간 데이터베이스로부터 상기 미지의 콘텐츠 식별자에 대응하는 알려진 콘텐츠 식별자와 연관된 알려진 미디어 콘텐츠를 선택하고, 상기 미지의 미디어 콘텐츠를 상기 비 실시간 데이터베이스로부터 상기 선택된 알려진 미디어 콘텐츠로서 식별하는 단계
    를 포함하는 미디어 콘텐츠 식별 방법.
  11. 제10항에 있어서,
    상기 선택된 알려진 미디어 콘텐츠와 연관된 맥락상 관련있는 데이터를 검색하는 단계 및, 상기 미지의 콘텐츠 식별자가 상기 실시간 데이터베이스 내의 알려진 콘텐츠 식별자에 대응하는 경우, 상기 맥락상 관련있는 데이터의 상기 미디어 시스템상에서의 디스플레이를 가능하게 하는 단계
    를 더 포함하는, 미디어 콘텐츠 식별 방법.
  12. 제10항에 있어서,
    상기 미지의 콘텐츠 식별자가 상기 실시간 데이터베이스 내의 알려진 콘텐츠 식별자에 대응하지 않는 경우, 상기 선택된 알려진 미디어 콘텐츠를 사용하여 통계치를 계산하는 단계
    를 더 포함하는, 미디어 콘텐츠 식별 방법.
  13. 제10항에 있어서,
    상기 미지의 콘텐츠 식별자는 상기 미디어 시스템에 의해 디스플레이되는 상기 미지의 미디어 콘텐츠의 픽셀 데이터의 샘플 또는 오디오 데이터의 샘플 중 적어도 하나를 포함하는, 미디어 콘텐츠 식별 방법.
  14. 제10항에 있어서,
    상기 미지의 콘텐츠 식별자 및 상기 선택된 알려진 미디어 콘텐츠와 연관된 상기 알려진 콘텐츠 식별자를 사용하여 상기 미지의 미디어 콘텐츠와 연관된 오프셋 시간을 결정하는 단계
    를 더 포함하는, 미디어 콘텐츠 식별 방법.
  15. 제10항에 있어서,
    상기 방법은 상기 미디어 시스템에 포함된 하나 또는 그 이상의 프로세서 및 하나 또는 그 이상의 비일시적 기계 판독 가능 저장 매체 상에서 구현되는, 미디어 콘텐츠 식별 방법.
  16. 제10항에 있어서,
    상기 방법은 상기 미디어 시스템으로부터 멀리 떨어져 위치한 서버에 포함된 하나 또는 그 이상의 프로세서 및 하나 또는 그 이상의 비일시적 기계 판독 가능 저장 매체 상에서 구현되는, 미디어 콘텐츠 식별 방법.
  17. 제10항에 있어서,
    상기 미지의 콘텐츠 식별자가 상기 실시간 데이터베이스 내의 상기 복수의 알려진 미디어 콘텐츠의 상기 서브 세트와 연관된 알려진 콘텐츠 식별자에 대응하는지 여부를 결정하는 단계, 상기 미지의 콘텐츠 식별자가 상기 실시간 데이터베이스 내의 알려진 콘텐츠 식별자에 대응하는 경우, 상기 실시간 데이터베이스로부터 상기 대응하는 알려진 콘텐츠 식별자와 연관된 알려진 미디어 콘텐츠를 선택하고, 상기 미지의 미디어 콘텐츠를 상기 실시간 데이터베이스로부터 상기 선택된 알려진 미디어 콘텐츠로서 식별하는 단계는 실시간으로 수행되는,
    미디어 콘텐츠 식별 방법.
  18. 제10항에 있어서,
    상기 미지의 콘텐츠 식별자가 상기 실시간 데이터베이스 내의 알려진 콘텐츠 식별자에 대응하지 않는 경우, 상기 비 실시간 데이터베이스로부터 상기 미지의 콘텐츠 식별자에 대응하는 알려진 콘텐츠 식별자와 연관된 알려진 미디어 콘텐츠를 선택하고, 상기 미지의 미디어 콘텐츠를 상기 비 실시간 데이터베이스로부터 상기 선택된 알려진 미디어 콘텐츠로서 식별하는 단계는 비 실시간으로 수행되는,
    미디어 콘텐츠 식별 방법.
KR1020187004540A 2015-07-16 2016-07-15 Acr 텔레비전 모니터링 시스템에서의 작업 부하 관리를 개선하기 위한 시스템 및 방법 KR102601485B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201562193345P 2015-07-16 2015-07-16
US62/193,345 2015-07-16
PCT/US2016/042564 WO2017011770A1 (en) 2015-07-16 2016-07-15 System and method for improving work load management in acr television monitoring system

Publications (2)

Publication Number Publication Date
KR20180030655A KR20180030655A (ko) 2018-03-23
KR102601485B1 true KR102601485B1 (ko) 2023-11-10

Family

ID=56555795

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020187004540A KR102601485B1 (ko) 2015-07-16 2016-07-15 Acr 텔레비전 모니터링 시스템에서의 작업 부하 관리를 개선하기 위한 시스템 및 방법

Country Status (12)

Country Link
US (1) US20210216582A1 (ko)
EP (1) EP3323244B1 (ko)
JP (1) JP6896724B2 (ko)
KR (1) KR102601485B1 (ko)
CN (1) CN108028947B (ko)
AU (1) AU2016293589B2 (ko)
BR (1) BR112018000838B1 (ko)
CA (1) CA2992521C (ko)
CL (1) CL2018000125A1 (ko)
HK (1) HK1252711A1 (ko)
MX (1) MX2018000566A (ko)
WO (1) WO2017011770A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11206462B2 (en) * 2018-03-30 2021-12-21 Scener Inc. Socially annotated audiovisual content
CN112533012B (zh) * 2020-11-25 2023-07-04 北京达佳互联信息技术有限公司 直播间互动信息的传输方法、装置、设备和存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140201769A1 (en) * 2009-05-29 2014-07-17 Zeev Neumeier Systems and methods for identifying video segments for displaying contextually relevant content
US20150163545A1 (en) * 2013-12-11 2015-06-11 Echostar Technologies L.L.C. Identification of video content segments based on signature analysis of the video content

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6990453B2 (en) * 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
WO2005011294A1 (ja) * 2003-07-28 2005-02-03 Nec Corporation 視聴調査システム
US8930980B2 (en) * 2010-05-27 2015-01-06 Cognitive Networks, Inc. Systems and methods for real-time television ad detection using an automated content recognition database
US8769584B2 (en) 2009-05-29 2014-07-01 TVI Interactive Systems, Inc. Methods for displaying contextually targeted content on a connected television
US8510769B2 (en) * 2009-09-14 2013-08-13 Tivo Inc. Media content finger print system
CN102771115B (zh) * 2009-12-29 2017-09-01 威智优构造技术有限责任公司 联网电视的视频片段识别方法及上下文定向内容显示方法
US8832723B2 (en) * 2012-02-07 2014-09-09 Turner Broadcasting System, Inc. Method and system for a synchronous event manager for automatic content recognition
WO2014142758A1 (en) * 2013-03-14 2014-09-18 Rocks International Group Pte Ltd An interactive system for video customization and delivery
CN104125509B (zh) * 2013-04-28 2015-09-30 腾讯科技（深圳）有限公司 节目识别方法、装置及服务器
WO2014178796A1 (en) * 2013-05-03 2014-11-06 Telefun Transmedia Pte Ltd System and method for identifying and synchronizing content
CN104506946B (zh) * 2014-12-04 2017-12-05 南京阅视网络科技有限公司 一种基于图像识别的电视节目识别方法和系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140201769A1 (en) * 2009-05-29 2014-07-17 Zeev Neumeier Systems and methods for identifying video segments for displaying contextually relevant content
US20150163545A1 (en) * 2013-12-11 2015-06-11 Echostar Technologies L.L.C. Identification of video content segments based on signature analysis of the video content

Also Published As

Publication number Publication date
CN108028947A (zh) 2018-05-11
US20210216582A1 (en) 2021-07-15
CA2992521A1 (en) 2017-01-19
JP6896724B2 (ja) 2021-06-30
CA2992521C (en) 2024-05-07
BR112018000838A2 (pt) 2018-09-11
WO2017011770A1 (en) 2017-01-19
EP3323244B1 (en) 2021-12-29
CN108028947B (zh) 2021-05-11
BR112018000838B1 (pt) 2023-03-28
EP3323244A1 (en) 2018-05-23
CL2018000125A1 (es) 2018-06-29
MX2018000566A (es) 2018-04-24
KR20180030655A (ko) 2018-03-23
AU2016293589A1 (en) 2018-02-08
AU2016293589B2 (en) 2020-04-02
JP2018530081A (ja) 2018-10-11
HK1252711A1 (zh) 2019-05-31

Similar Documents

Publication Publication Date Title
JP6972260B2 (ja) メディアセグメント識別効率向上のために探索索引を区分するためのシステムおよび方法
JP6891170B2 (ja) ステムリソース利用を最適化するための映像セグメントの将来の視聴予測
US10949458B2 (en) System and method for improving work load management in ACR television monitoring system
KR102660052B1 (ko) 시스템 리소스 활용을 향상시키기 위한 미디어 핑거프린트 보유의 최적화
KR102583180B1 (ko) 공통적인 미디어 세그먼트의 검출
US20210216582A1 (en) System and method for improving work load management in acr television monitoring system
US20240184820A1 (en) System and method for improving work load management in acr television monitoring system

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant