KR20190022660A - 일치하는 컨텐츠를 식별하는 시스템 및 방법 - Google Patents

일치하는 컨텐츠를 식별하는 시스템 및 방법 Download PDF

Info

Publication number
KR20190022660A
KR20190022660A KR1020197001811A KR20197001811A KR20190022660A KR 20190022660 A KR20190022660 A KR 20190022660A KR 1020197001811 A KR1020197001811 A KR 1020197001811A KR 20197001811 A KR20197001811 A KR 20197001811A KR 20190022660 A KR20190022660 A KR 20190022660A
Authority
KR
South Korea
Prior art keywords
content item
fingerprint
test
reference content
test content
Prior art date
Application number
KR1020197001811A
Other languages
English (en)
Inventor
세르지 빌로브로브
에란 암바르
Original Assignee
페이스북, 인크.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 페이스북, 인크. filed Critical 페이스북, 인크.
Publication of KR20190022660A publication Critical patent/KR20190022660A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G06F21/16—Program or content traceability, e.g. by watermarking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233—Processing of audio elementary streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2237—Vectors, bitmaps or matrices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2228—Indexing structures
    • G06F16/2255—Hash tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24568—Data stream processing; Continuous queries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/785—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using colour or luminescence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/907—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/62—Protecting access to data via a platform, e.g. using keys or access control rules
    • G06F21/6209—Protecting access to data via a platform, e.g. using keys or access control rules to a single file or object, e.g. in a secure envelope, encrypted and accessed using a key, or with access control rules appended to the object itself
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G06V20/47—Detecting features for summarising video content
    • H04L65/4076—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/61—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • H04L65/611—Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio for multicast or broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23418—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25—Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/254—Management at additional data server, e.g. shopping server, rights management server
    • H04N21/2541—Rights Management
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627—Rights management associated to the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8358—Generation of protective data, e.g. certificates involving watermark

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Security & Cryptography (AREA)
  • Software Systems (AREA)
  • Library & Information Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computational Linguistics (AREA)
  • Computer Hardware Design (AREA)
  • Health & Medical Sciences (AREA)
  • Bioethics (AREA)
  • General Health & Medical Sciences (AREA)
  • Technology Law (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Information Transfer Between Computers (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Image Analysis (AREA)

Abstract

시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 복수의 비디오 프레임을 가지는 테스트 컨텐츠 아이템을 획득할 수 있다. 적어도 하나의 비디오 핑거프린트가 테스트 컨텐츠 아이템에 대응하는 비디오 프레임의 세트에 기반하여 결정된다. 적어도 하나의 참조 컨텐츠 아이템이 비디오 핑거프린트의 적어도 일부를 사용하여 결정된다. 참조 컨텐츠 아이템의 적어도 하나의 부분과 일치하는 테스트 컨텐츠 아이템의 적어도 하나의 부분이 테스트 컨텐츠 아이템의 비디오 핑거프린트와 참조 컨텐츠 아이템의 하나 이상의 비디오 핑거프린트에 적어도 부분적으로 기반하여 결정된다.

Description

일치하는 컨텐츠를 식별하는 시스템 및 방법
본 기술은 컨텐츠 매칭 분야에 관한 것이다. 특히, 본 기술은 일치하는 컨텐츠 아이템 식별을 위한 기술에 관한 것이다.
오늘날, 사람들은 매우 다양한 목적으로 종종 컴퓨팅 장치(또는 시스템)를 사용한다. 사용자는 그 컴퓨팅 장치를 사용하여, 예컨대 서로 상호작용하고, 컨텐츠에 접근하고, 컨텐츠를 공유하고, 컨텐츠를 생성할 수 있다. 일부 경우에, 컨텐츠 아이템은 소셜 네트워크의 회원으로부터의 게시물을 포함할 수 있다. 게시물은 텍스트와 컨텐츠 아이템, 예컨대 이미지, 비디오 및 오디오를 포함할 수 있다. 게시물은 다른 사람에 의한 소비를 위해 소셜 네트워크로 발행될 수 있다.
본 발명의 내용 중에 포함되어 있다.
본 명세서의 다양한 실시예는 복수의 비디오 프레임을 가지는 테스트 컨텐츠 아이템을 획득하고, 테스트 컨텐츠 아이템에 대응하는 비디오 프레임의 세트에 기반하여 적어도 하나의 비디오 핑거프린트를 생성하고, 비디오 핑거프린트의 적어도 일부를 사용하여 적어도 하나의 참조 컨텐츠 아이템을 결정하고, 및 테스트 컨텐츠 아이템의 비디오 핑거프린트 및 참조 컨텐츠 아이템의 하나 이상의 비디오 핑거프린트에 적어도 부분적으로 기반하여 참조 컨텐츠 아이템의 적어도 하나의 부분과 일치하는 테스트 컨텐츠 아이템의 적어도 하나의 부분을 결정하도록 구성되는 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체를 포함할 수 있다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 비디오 프레임의 세트 중 각 비디오 프레임에 대한 각 특징 벡터를 생성하고, 비디오 프레임의 세트에 대한 특징 벡터를 주파수 도메인으로 변환하고, 및 하나 이상의 비디오 프레임에 대응하는 주파수 컴포넌트의 세트를 양자화함으로써 각 비디오 프레임에 대한 각 비트의 세트를 생성하도록 구성되고, 특징 벡터는 비디오 프레임을 서술하는 특징값의 세트를 포함한다.
일실시예에서, 비디오 프레임의 특징 벡터에 포함되는 특징값은 적어도 비디오 프레임에 대한 측정된 밝기, 비디오 프레임에 대한 측정된 색상 또는 비디오 프레임의 하나 이상의 픽셀의 그룹 간의 측정된 변화에 대응한다.
일실시예에서, 비디오 프레임에 대한 특징 벡터는 FFT(Fast Fourier Transform), DCT(Discrete Cosine Transform) 또는 둘 모두를 적용함으로써 주파수 도메인으로 변환된다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 주파수 도메인에서 비디오 프레임을 보간하도록 구성되고, 보간은 비디오 핑거프린트가 기정의된 프레임 레이트에 대응하도록 야기한다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 비디오 핑거프린트가 생성된 프레임의 세트 중 제1 프레임에 대응하는 비트의 세트를 획득하고, 비트의 세트의 제1 부분에 적어도 부분적으로 기반하여 적어도 하나의 후보 프레임을 식별하고, 및 후보 프레임에 기반하여 참조 컨텐츠 아이템을 결정하도록 구성된다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 역 인덱스의 빈에 비트의 세트의 제1 부분을 해싱하도록 구성되고, 빈은 적어도 하나의 후보 프레임을 서술하는 정보를 참조한다.
일실시예에서, 후보 프레임을 서술하는 정보는 참조 컨텐츠 아이템 및 참조 컨텐츠 아이템의 후보 프레임의 위치를 식별하는 오프셋을 식별한다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 비디오 핑거프린트가 생성된 프레임의 세트 중 적어도 하나의 제1 프레임에 대응하는 비트의 세트를 획득하고, 비트의 세트의 제1 부분에 적어도 부분적으로 기반하여 적어도 하나의 후보 프레임을 식별하고, 및 제1 프레임에 대응하는 비트의 세트 및 후보 프레임에 대응하는 비트의 세트 간의 해밍 거리가 임계치를 충족한다고 결정하도록 구성된다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 비디오 핑거프린트가 생성된 프레임의 세트 중 적어도 하나의 제2 프레임에 대응하는 비트의 세트를 획득하고, 참조 컨텐츠 아이템의 새로운 프레임에 대응하는 비트의 세트를 결정하고, 및 제2 프레임에 대응하는 비트의 세트 및 새로운 프레임에 대응하는 비트의 세트 간의 해밍 거리가 임계치를 충족한다고 결정하도록 구성된다.
본 명세서의 다양한 실시예는 테스트 컨텐츠 아이템의 하나 이상의 제1 핑거프린트와 참조 컨텐츠 아이템의 하나 이상의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 적어도 하나의 부분을 참조 컨텐츠 아이템의 적어도 하나의 부분과 평가하고, 적어도 하나의 검증 기준이 충족되었다고 결정하고; 및 테스트 컨텐츠의 하나 이상의 제2 핑거프린트와 참조 컨텐츠의 하나 이상의 제2 핑거프린트를 사용하여 테스트 컨텐츠의 부분을 참조 컨텐츠 아이템의 부분과 평가하도록 구성되는 시스템, 방법 및 비일시적 컴퓨터 판독가능한 저장매체를 포함할 수 있고, 제1 핑거프린트는 제1 타입의 미디어에 대응하고, 제2 핑거프린트는 제1 타입의 미디어와 상이한 제2 타입의 미디어에 대응한다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 테스트 컨텐츠 아이템의 부분에 대응하는 하나 이상의 제2 핑거프린트를 획득하고, 참조 컨텐츠 아이템의 부분에 대응하는 하나 이상의 제2 핑거프린트를 획득하고, 및 테스트 컨텐츠 아이템의 제2 핑거프린트와 참조 컨텐츠 아이템의 제2 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템의 부분과 일치한다고 결정하도록 구성된다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 테스트 컨텐츠 아이템의 제1 핑거프린트와 참조 컨텐츠 아이템의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템과 일치하지 않는다고 결정하도록 구성된다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 테스트 컨텐츠 아이템의 제1 핑거프린트와 참조 컨텐츠 아이템의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템의 부분과 일치한다고 결정하도록 구성된다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 임계 기간 동안 테스트 컨텐츠 아이템 및 참조 컨텐츠 아이템 간에 일치가 결정되지 않았다고 결정하도록 구성된다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 임계수의 프레임 동안 테스트 컨텐츠 아이템 및 참조 컨텐츠 아이템 간에 일치가 결정되지 않았다고 결정하도록 구성된다.
일실시예에서, 제1 핑거프린트와 제2 핑거프린트는: 오디오 핑거프린트, 비디오 핑거프린트 또는 섬네일 핑거프린트 중 하나에 대응한다.
일실시예에서, 제1 핑거프린트는 오디오 핑거프린트에 대응하고, 제2 핑거프린트는 비디오 핑거프린트에 대응한다.
일실시예에서, 제1 핑거프린트는 섬네일 핑거프린트에 대응하고, 제2 핑거프린트는 비디오 핑거프린트에 대응한다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 테스트 컨텐츠 아이템의 하나 이상의 제3 핑거프린트와 참조 컨텐츠 아이템의 하나 이상의 제3 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분을 참조 컨텐츠 아이템의 부분과 평가하도록 구성되고, 제3 핑거프린트는 제1 타입의 미디어 및 제2 타입의 미디어와 상이한 제3 타입의 미디어에 대응한다.
일실시예에서, 사용자 장치는 하나 이상의 제1 핑거프린트를 생성 및 전송하도록 지시되고, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 만약 하나 이상의 제1 타입의 핑거프린트를 사용하여 적어도 하나의 검증 기준이 충족되었다면, 추가 타입의 핑거프린트를 사용하여 일치된 컨텐츠를 더 검증하기 위하여 컨텐츠 아이템에 대한 하나 이상의 제2 타입의 핑거프린트를 생성 및 전송되도록 지시한다.
일실시예에서, 제1 타입은 오디오이고, 제2 타입은 비디오이고, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 오디오 핑거프린트와 비디오 핑거프린트를 기정의된 프레임 레이트로 생성한다.
본 명세서의 다양한 실시예는 테스트 컨텐츠 아이템에 대응하는 프레임의 세트에 기반하여 적어도 하나의 핑거프린트를 생성하고, 핑거프린트의 적어도 일부를 사용하여 왜곡된 핑거프린트의 세트를 생성하고, 및 왜곡된 핑거프린트의 세트를 사용하여 하나 이상의 참조 컨텐츠 아이템을 결정하도록 구성된 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체를 포함하고, 테스트 컨텐츠 아이템은 일치하는 컨텐츠를 식별하기 위하여 적어도 하나의 참조 컨텐츠 아이템에 대하여 평가된다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 핑거프린트가 생성된 프레임의 세트 중 제1 프레임에 대응하는 비트의 세트를 획득하고 및 비트의 세트의 적어도 일부에 대한 이진 스트링 치환의 세트를 생성하도록 구성된다.
일실시예에서, 하나 이상의 비트가 각 이진 스트링에서 치환된다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 비트의 세트의 일부에 대한 제1 이진 스트링 치환 세트를 생성하고, 제1 이진 스트링 치환 세트를 사용하여 참조 컨텐츠 아이템이 식별되지 않았다고 결정하고, 및 비트의 세트의 일부에 대한 제2 이진 스트링 치환 세트를 생성하도록 구성되고, 제1 이진 스트링 치환 세트를 생성하는 단계에서, 한 비트가 각 이진 스트링에서 치환되고, 제2 이진 스트링 치환 세트를 생성하는 단계에서, 다수의 비트가 각 이진 스트링에서 치환된다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 제1 왜곡된 핑거프린트에 대응하는 비트의 세트를 획득하고, 비트의 세트의 적어도 일부에 기반하여 적어도 하나의 후보 프레임을 식별하고, 및 후보 프레임에 기반하여 적어도 하나의 참조 컨텐츠 아이템을 결정하도록 구성된다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 역 인덱스의 빈에 비트의 세트의 일부를 해싱하도록 구성되고, 빈은 적어도 하나의 후보 프레임 및 참조 컨텐츠 아이템을 서술하는 정보를 참조한다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 왜곡된 핑거프린트의 세트를 사용한 참조 컨텐츠 아이템의 식별이 컴퓨팅 시스템의 CPU(central processing unit) 부하가 임계 부하를 초과하도록 야기하지 않을 것이라고 결정하도록 구성된다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 적어도 하나의 핑거프린트를 사용하여 참조 컨텐츠 아이템이 식별되지 않았다고 결정하도록 구성된다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 적어도 하나의 핑거프린트를 사용하여 적어도 하나의 참조 컨텐츠 아이템을 결정하고, 테스트 컨텐츠 아이템 및 참조 컨텐츠 아이템 간의 일치가 식별되지 않았다고 결정하도록 구성된다.
일실시예에서, 시스템, 방법 및 비일시적 컴퓨터 판독가능한 매체는 적어도 하나의 핑거프린트를 사용하여 적어도 하나의 참조 컨텐츠 아이템을 결정하고, 및 테스트 컨텐츠 아이템 및 참조 컨텐츠 아이템 간의 일치가 임계 일치 거리 내라고 결정하도록 구성된다.
개시된 기술의 많은 다른 특징, 응용, 실시예 및/또는 변형이 첨부된 도면 및 다음의 상세한 설명으로부터 명백할 것이라는 것을 이해할 것이다. 본 명세서에 서술되는 구조, 시스템, 비일시적 컴퓨터 판독가능한 매체 및 방법의 추가 및/또는 대안적 구현이 개시된 기술의 원리로부터 벗어남 없이 채용될 수 있다.
본 발명에 따른 실시예들은 특히 방법, 저장 매체, 시스템 및 컴퓨터 프로그램 제품에 대한 첨부된 청구항에 개시되고, 한 청구항 카테고리, 예컨대 방법에 언급된 임의의 특징은 다른 청구항 카테고리, 예컨대 시스템에도 청구될 수 있다. 첨부된 청구항의 인용 또는 참조는 형식상의 이유를 위해 선택되었을 뿐이다. 하지만 임의의 선행 청구항으로의 의도적인 참조(특히 다중 인용)에서 야기되는 임의의 주제 또한 청구될 수 있어, 청구항 및 그 특징의 임의의 조합이 첨부된 청구항에서 선택된 인용에 관계 없이 개시되고 청구될 수 있다. 청구될 수 있는 주제는 첨부된 청구항에 나타난 바와 같은 특징의 조합뿐만 아니라 청구항의 특징의 다른 임의의 조합을 포함하는데, 청구항에 언급된 각 특징은 청구항의 임의의 다른 특징 또는 다른 특징의 조합과 조합될 수 있다. 나아가, 임의의 실시예와 본 명세서에 서술되거나 도시된 특징은 별개의 청구항 및/또는 임의의 실시예나 본 명세서에 서술되거나 도시된 특징과의 또는 첨부된 청구항의 임의의 특징과의 조합에 청구될 수 있다.
본 발명의 내용 중에 포함되어 있다.
도 1은 본 명세서의 일실시예에 따른 사용자에게 다양한 컨텐츠 아이템으로의 접근을 제공하도록 구성된 컨텐츠 제공자 모듈의 예시를 포함하는 시스템의 예시를 도시한다.
도 2는 본 명세서의 일실시예에 따른 컨텐츠 매칭 모듈의 예시를 도시한다.
도 3은 본 명세서의 일실시예에 따른 핑거프린팅 모듈의 예시를 도시한다.
도 4는 본 명세서의 일실시예에 따른 저장 모듈의 예시를 도시한다.
도 5는 본 명세서의 일실시예에 따른 매칭 모듈의 예시를 도시한다.
도 6은 본 명세서의 일실시예에 따른 프레임으로부터 특징값을 추출하는 접근법의 예시를 도시한다.
도 7은 본 명세서의 일실시예에 따른 핑거프린트 데이터를 저장 및 검색하기 위한 역 인덱스의 예시를 도시한다.
도 8a-b는 본 명세서의 일실시예에 따른 컨텐츠 아이템 간의 매칭 컨텐츠를 식별하기 위한 접근법의 예시를 도시한다.
도 9a-c는 본 명세서의 일실시예에 따른 라이브 컨텐츠 스트리밍을 처리하기 위한 접근법의 예시를 도시한다.
도 10은 본 명세서의 다양한 실시예에 따른 데이터를 핑거프린팅하기 위한 프로세스의 예시를 도시한다.
도 11은 본 명세서의 다양한 실시예에 따른 상이한 타입의 핑거프린트를 사용하여 컨텐츠를 매칭하기 위한 프로세스의 예시를 도시한다.
도 12는 본 명세서의 다양한 실시예에 따른 왜곡된 핑거프린트를 사용하여 컨텐츠를 매칭하기 위한 프로세스의 예시를 도시한다.
도 13은 본 명세서의 일실시예에 따른 다양한 시나리오에서 이용될 수 있는 예시적인 소셜 네트워킹 시스템을 포함하는 예시적인 시스템의 네트워크도를 도시한다.
도 14는 본 명세서의 일실시예에 따른 다양한 시나리오에서 이용될 수 있는 컴퓨터 시스템 또는 컴퓨팅 장치의 예시를 도시한다.
도면들은 오로지 예시적인 목적을 위해 개시된 기술의 다양한 실시예들을 도시하며, 도면들은 같은 구성요소를 식별하기 위해 같은 참조 번호를 사용한다. 통상의 기술자는 다음의 설명으로부터 도면들에 도시된 구조들 및 방법들의 대안적 실시예가 본 명세서에 기술된, 개시된 기술의 원리로부터 벗어남이 없이 이용될 수 있음을 쉽게 인식할 것이다.
일치하는 컨텐츠를 식별하기 위한 접근법
오늘날, 사람들은 매우 다양한 목적으로 종종 컴퓨팅 장치(또는 시스템)를 사용한다. 사용자는 그 컴퓨팅 장치를 사용하여, 예컨대 서로 상호작용하고, 컨텐츠에 접근하고, 컨텐츠를 공유하고, 컨텐츠를 생성할 수 있다. 일부 경우에, 컨텐츠 아이템은 소셜 네트워크의 회원으로부터의 게시물을 포함할 수 있다. 게시물은 텍스트와 컨텐츠 아이템, 예컨대 이미지, 비디오 및 오디오를 포함할 수 있다. 게시물은 다른 사람에 의한 소비를 위해 소셜 네트워크로 발행될 수 있다.
종래의 접근법에서, 컨텐츠는 컨텐츠 제공자를 통해 방송될 수 있다. 예를 들어, 이러한 컨텐츠 제공자는 다양한 방송 매체(예컨대, 텔레비전, 위성, 인터넷 등)을 통해 컨텐츠를 방송할 수 있다. 일례로, 방송은 발행자에 의해 라이브로 캡처 및 스트리밍되는 컨텐츠를 포함할 수 있다. 예를 들어, 발행자는 라이브 컨텐츠 스트리밍의 일부로 방송되는 컨텐츠(예컨대, 라이브 콘서트, TV 쇼 첫 방송 등)을 제공할 수 있다. 이러한 이벤트는 예컨대 비디오 캡처 장치(예컨대, 비디오 카메라) 및/또는 오디오 캡처 장치(예컨대, 마이크)를 사용하여 캡처될 수 있다. 이 캡처된 컨텐츠는 그 후 컨텐츠 제공자(예컨대, 소셜 네트워킹 시스템)에 의해 인코딩되고 네트워크(예컨대, 인터넷)를 통해 실시간으로 사용자 장치로 배포될 수 있다. 일부 경우에, 권한이 없는 엔티티가 발행자의 라이브 컨텐츠 스트리밍의 복사본을 캡처하고 별개 라이브 컨텐츠 스트리밍의 일부로 컨텐츠 제공자를 통해 복사된 컨텐츠를 스트리밍할 수 있다. 예를 들어, 이 엔티티는 컨텐츠가 텔레비전 디스플레이에 표시됨에 따라 발행자의 라이브 컨텐츠 스트리밍의 비디오를 녹화할 수 있다. 다른 예시로, 권한이 없는 엔티티가 다른 매체(예컨대, 위성 등)를 통해 방송되는 이벤트의 스트리밍을 캡처하고 컨텐츠 제공자를 통해 캡처된 스트리밍을 발행할 수 있다.
종래의 접근법에서, 이러한 권한이 없는 라이브 컨텐츠 스트리밍을 감지하는 것은 어려울 수 있고 이 어려움은 특히 라이브 컨텐츠 스트리밍이 저작권이 있는 컨텐츠를 포함할 때 문제가 될 수 있다. 예를 들어, 종래의 접근법에서, 컨텐츠 제공자는 일반적으로 컨텐츠 아이템 전체가 컨텐츠 제공자로 업로드된 후 컨텐츠 아이템이 저작권이 있는 컨텐츠 아이템을 침해하는지 여부를 검사한다. 컨텐츠 제공자는 그 후 업로드된 컨텐츠 아이템을 저작권이 있는 컨텐츠 아이템에 대해 분석하여 임의의 일부가 일치하는지 여부를 식별한다. 이러한 접근법이 주문형으로 제공되는 컨텐츠 아이템의 저작권 침해를 감지하는데 적합할 수 있지만, 일반적으로 라이브로 스트리밍되는 컨텐츠 아이템의 저작권 침해를 감지하는데는 적합하지 않다. 따라서, 이러한 종래의 접근법은 이들 및 컴퓨터 기술에서 발생하는 다른 문제를 다루는데 효과적이지 않을 수 있다.
컴퓨터 기술에 뿌리를 둔 향상된 접근법은 상기 및 특히 컴퓨터 기술 영역에서 발생하는 종래의 접근법과 연관된 다른 단점을 극복한다. 다양한 실시예에서, 발행자는 소셜 네트워킹 시스템을 통해 라이브 컨텐츠 스트리밍의 일부로 스트리밍 또는 방송되는 컨텐츠를 제공할 수 있다. 발행자는 라이브 컨텐츠 스트리밍이 저작권이 있다고 표시할 수 있고, 이 표시에 기반하여, 소셜 네트워킹 시스템은 컨텐츠가 라이브로 스트리밍됨에 따라 컨텐츠의 핑거프린트를 생성할 수 있다. 이 핑거프린트는 예컨대 참조 데이터베이스에 저장되고, 다른 라이브 컨텐츠 스트리밍 및/또는 주문형 컨텐츠 아이템에 중복 컨텐츠를 식별하는데 사용될 수 있다. 예를 들어, 발행자의 컨텐츠가 라이브로 스트리밍됨에 따라, 소셜 네트워킹 시스템은 임의의 다른 라이브 컨텐츠 스트리밍 및/또는 주문형 컨텐츠 아이템이 발행자의 저작권이 있는 라이브 컨텐츠 스트리밍과 전체 또는 일부가 일치하는지 여부를 결정할 수 있다. 발행자의 라이브 컨텐츠 스트리밍과 일치하는 컨텐츠 아이템의 임의의 일부가 저작권 또는 다른 법적 권리 위반일 수 있다. 이러한 경우, 권한이 없는 방송자 및/또는 라이브 컨텐츠 스트리밍의 발행자(예컨대, 저작권자)는 가능한 저작권 위반에 대해 통지될 수 있고 적절한 조치가 취해질 수 있다. 일부 실시예에서, 권한이 없는 방송자가 게시한 라이브 컨텐츠 스트리밍 및/또는 주문형 컨텐츠 아이템 위반은 자동으로 소셜 네트워킹 시스템을 통해 접근 불가능하게 될 수 있다.
도 1은 본 명세서의 일실시예에 따른 사용자에게 다양한 컨텐츠 아이템으로의 접근을 제공하도록 구성된 컨텐츠 제공자 모듈(102)의 예시를 포함하는 시스템(100)의 예시를 도시한다. 도 1의 예시에 도시된 바와 같이, 컨텐츠 제공자 모듈(102)은 컨텐츠 업로드 모듈(104), 라이브 스트리밍 모듈(106), 컨텐츠 모듈(108) 및 컨텐츠 매칭 모듈(110)을 포함할 수 있다. 일부 예시에서, 시스템(100)의 예시는 적어도 하나의 데이터 스토어(112)를 포함할 수 있다. 이 도면 및 본 명세서의 모든 도면에 도시된 컴포넌트(예컨대, 모듈, 요소 등)는 오직 예시적인 것이고, 다른 구현은 추가적이거나, 더 적거나, 통합되거나, 상이한 컴포넌트를 포함할 수 있다. 일부 컴포넌트는 관련 세부사항을 모호하게 하지 않기 위해 도시되지 않을 수 있다.
일부 실시예에서, 컨텐츠 제공자 모듈(102)은 일부 또는 전체로서, 소프트웨어, 하드웨어 또는 그들의 임의의 조합으로 구현될 수 있다. 일반적으로, 본 명세서에서 논의되는 모듈은 소프트웨어, 하드웨어 또는 그들의 임의의 조합과 연관될 수 있다. 일부 구현에서, 모듈의 하나 이상의 기능, 작업 및/또는 동작은 소프트웨어 루틴, 소프트웨어 프로세스, 하드웨어 및/또는 그들의 임의의 조합에 의해 이행 또는 수행될 수 있다. 일부 경우에, 컨텐츠 제공자 모듈(102)은 사용자나 클라이언트 컴퓨팅 장치와 같은 하나 이상의 컴퓨팅 장치 또는 시스템 상에서 실행되는 소프트웨어로 부분적 또는 전체로 구현될 수 있다. 일례로, 컨텐츠 제공자 모듈(102) 또는 그 적어도 일부는 사용자 컴퓨팅 장치 또는 클라이언트 컴퓨팅 시스템, 예컨대 도 13의 사용자 장치(1310) 상에서 실행되는 애플리케이션(예컨대, 앱), 프로그램 또는 애플릿 등으로서 또는 그 내부에 구현될 수 있다. 다른 예시에서, 컨텐츠 제공자 모듈(102), 또는 적어도 그 일부는 네트워크 서버나 클라우드 서버와 같은 하나 이상의 서버를 포함하는 하나 이상의 컴퓨팅 장치 또는 시스템을 사용하여 구현될 수 있다. 일부 예에서, 컨텐츠 제공자 모듈(102)은 부분 또는 전체로, 도 13의 소셜 네트워킹 시스템(1330)과 같은 소셜 네트워킹 시스템(또는 서비스) 내에 구현되거나 함께 동작하도록 구성될 수 있다.
컨텐츠 제공자 모듈(102)은 예시적인 시스템(100)의 적어도 하나의 데이터 스토어(112)와 통신 및/또는 동작하도록 구성될 수 있다. 적어도 하나의 데이터 스토어(112)는 다양한 타입의 데이터를 저장 및 유지하도록 구성될 수 있다. 예를 들어, 데이터 스토어(112)는 소셜 네트워킹 시스템을 통해 라이브 스트리밍되는 다양한 컨텐츠 또는 소셜 네트워킹 시스템의 사용자가 게시한 컨텐츠 아이템을 서술하는 정보를 저장할 수 있다. 이러한 정보는, 예컨대 라이브 컨텐츠 스트리밍 및 주문형 컨텐츠 아이템에 대해 생성된 핑거프린트(예컨대, 비트 시퀀스)를 포함할 수 있다. 일부 구현에서, 적어도 하나의 데이터 스토어(112)는 소셜 네트워킹 시스템(예컨대, 도 13의 소셜 네트워킹 시스템(1330))과 연관된 정보를 저장할 수 있다. 소셜 네트워킹 시스템과 연관된 정보는 사용자에 대한 데이터, 소셜 연결, 소셜 상호작용, 위치, 지오펜스 영역, 지도, 장소, 이벤트, 페이지, 그룹, 게시물, 통신, 컨텐츠, 피드, 계정 설정, 사생활 설정, 소셜 그래프 및 다양한 다른 타입의 데이터를 포함할 수 있다. 일부 구현에서, 적어도 하나의 데이터 스토어(112)는 사용자와 연관된 정보, 예컨대 사용자 식별자, 사용자 정보, 프로필 정보, 사용자 고유 설정, 사용자에 의해 생성 또는 게시된 컨텐츠 및 다양한 다른 타입의 사용자 데이터를 저장할 수 있다.
컨텐츠 제공자 모듈(102)은 소셜 네트워킹 시스템을 통해 게시되는 컨텐츠 아이템으로의 접근을 사용자에게 제공하도록 구성될 수 있다. 예를 들어, 사용자는 사용자의 컴퓨팅 장치 상에서 실행되는 소프트웨어 애플리케이션(예컨대, 소셜 네트워킹 애플리케이션)에 의해 제공되는 인터페이스와 상호작용할 수 있다. 이 인터페이스는 소셜 네트워킹 시스템에 컨텐츠 아이템을 게시 또는 업로드하기 위한 옵션을 포함할 수 있다. 컨텐츠 아이템을 게시할 때, 컨텐츠 업로드 모듈(104)은 컴퓨팅 장치로부터 소셜 네트워킹 시스템으로 컨텐츠 아이템을 서술하는 데이터를 통신하는데 이용될 수 있다. 이러한 컨텐츠 아이템은 예컨대 텍스트, 이미지, 오디오 및 비디오를 포함할 수 있다. 소셜 네트워킹 시스템은 그 후 예컨대 하나 이상의 뉴스피드를 포함하는 소셜 네트워킹 시스템을 통해 컨텐츠 아이템을 제공할 수 있다. 일부 실시예에서, 인터페이스는 소셜 네트워킹 시스템을 통해 컨텐츠 아이템을 라이브 스트리밍하기 위한 옵션도 포함할 수 있다. 라이브 컨텐츠 스트리밍을 개시할 때, 라이브 스트리밍 모듈(106)은 컴퓨팅 장치로부터 소셜 네트워킹 시스템으로 라이브 스트리밍되는 컨텐츠를 서술하는 데이터를 통신하는데 이용될 수 있다. 라이브 스트리밍 모듈(106)은 예컨대 RTMP(Real Time Messaging Protocol)을 포함하여 컨텐츠의 라이브 스트리밍을 가능하게 하는 임의의 일반적으로 알려진 기술을 이용할 수 있다.
소프트웨어 애플리케이션이 제공하는 인터페이스는 예컨대 컨텐츠 모듈(108)을 사용하여 게시된 컨텐츠 아이템에 접근하는데도 사용될 수 있다. 예를 들어, 컨텐츠 모듈(108)은 사용자의 뉴스피드에 컨텐츠 아이템을 포함시킬 수 있다. 이러한 컨텐츠 아이템은 주문형 컨텐츠 아이템(예컨대, 비디오 온 디맨드 또는 “VOD”)뿐만 아니라 라이브 스트리밍되는 컨텐츠도 포함할 수 있다. 이 예시에서, 사용자는 뉴스피드를 브라우징하며 컨텐츠 아이템에 접근할 수 있다. 다른 예시에서, 사용자는 인터페이스를 통하여 컨텐츠 아이템을, 컨텐츠 아이템을 게시한 사용자를 및/또는 컨텐츠 아이템에 대응하는 검색어를 사용하여 검색함으로써 컨텐츠 아이템에 접근할 수 있다. 일례로, 사용자는 라이브 컨텐츠 스트리밍을 열람하는 옵션을 선택할 수 있고, 이에 응답하여 소셜 네트워킹 시스템은 사용자의 컴퓨팅 장치로 라이브 컨텐츠 스트리밍에 대응하는 데이터를 전송할 수 있다. 이 예시에서, 소셜 네트워킹 시스템은 예컨대 라이브 컨텐츠 스트리밍의 발행자가 스트리밍을 중단하거나 사용자가 라이브 컨텐츠 스트리밍을 중단하는 옵션을 선택할 때까지 라이브 컨텐츠 스트리밍에 대응하는 데이터 전송을 계속할 수 있다. 컨텐츠 매칭 모듈(110)은 소셜 네트워킹 시스템을 통해 라이브 스트리밍되거나 주문형으로 사용가능한 컨텐츠 아이템 간의 매칭(예컨대, 저작권 위반)을 식별하도록 구성될 수 있다. 컨텐츠 매칭 모듈(110)에 관한 세부 사항은 도 2와 관련되어 후술될 것이다.
도 2는 본 명세서의 일실시예에 따른 컨텐츠 매칭 모듈(202)의 예시를 도시한다. 일부 실시예로, 도 1의 컨텐츠 매칭 모듈(110)은 컨텐츠 매칭 모듈(202)로 구현될 수 있다. 도 2에 도시된 바와 같이, 컨텐츠 매칭 모듈(202)은 핑거프린팅 모듈(204), 저장 모듈(206), 매칭 모듈(208) 및 통지 모듈(210)을 포함할 수 있다.
다양한 실시예에서, 핑거프린팅 모듈(204)은 컨텐츠 아이템에 대한 각 핑거프린트를 결정 또는 획득하도록 구성된다. 예를 들어, 라이브 컨텐츠 스트리밍을 위한 핑거프린트의 세트는 스트리밍이 소셜 네트워킹 시스템에 의해 수신됨에 따라 결정될 수 있다. 다른 예시에서, 핑거프린트의 세트는 컨텐츠 아이템이 소셜 네트워킹 시스템에 업로드된 후 컨텐츠 아이템에 대해 결정될 수 있다. 일부 실시예에서, 컨텐츠 아이템을 라이브 스트리밍하거나 업로드하는 발행자는 컨텐츠 아이템이 보호된다는, 예컨대 저작권이 있다는 표시를 하는 옵션을 선택할 수 있다. 이러한 실시예에서, 라이브 컨텐츠 스트리밍 또는 업로드된 컨텐츠 아이템은 옵션이 선택되는데 응답하여 핑거프린팅되고 예컨대 참조 데이터베이스(예컨대, 도 1의 데이터 스토어(112))에 저장될 수 있다. 이 참조 데이터베이스에 저장되는 핑거프린트는 소셜 네트워킹 시스템을 통해 라이브 스트리밍이나 비디오 온 디맨드로 이용 가능한 다른 컨텐츠 아이템이 보호되는 것, 예컨대 저작권이 있는 것으로 식별된 컨텐츠와 일치하는지(예컨대, 침해하는지) 여부를 결정하는데 사용될 수 있다.
일부 실시예에서, 핑거프린팅 모듈(204)은 하나 이상의 기술을 사용하여 핑거프린트를 결정하도록 각각 구성된 하나 이상의 핑거프린팅 서비스로부터 컨텐츠 아이템을 위한 핑거프린트를 획득할 수 있다. 이러한 핑거프린트는 예컨대 컨텐츠 아이템에 대응하는 비디오 데이터, 컨텐츠 아이템에 대응하는 오디오 데이터 또는 모두를 사용하여 결정될 수 있다. 핑거프린팅 모듈(204)에 관한 세부 사항은 도 3과 관련되어 후술될 것이다.
저장 모듈(206)은 다양한 컨텐츠 아이템에 관한 정보의 저장을 관리하도록 구성될 수 있다. 다양한 실시예에서, 저장 모듈(206)은 컨텐츠 아이템을 위해 획득 또는 생성된 핑거프린트의 저장을 최적화하도록 구성된다. 저장 모듈(206)에 관한 세부 사항은 도 4와 관련하여 후술될 것이다.
다양한 실시예에서, 매칭 모듈(208)은 컨텐츠 아이템 간의 관련성 측정치를 결정하도록 구성된다. 이러한 측정치는 컨텐츠 아이템(예컨대, 라이브 컨텐츠 스트리밍 및/또는 주문형 컨텐츠 아이템)이 전체로 또는 일부로, 라이브 컨텐츠 스트리밍의 임의의 부분, 최근에 라이브 스트리밍된 컨텐츠의 임의의 부분 및/또는 소셜 네트워킹 시스템을 통해 주문형으로 이용 가능한 비디오의 임의의 일부와 일치하는지 여부를 결정하는데 사용될 수 있다. 예를 들어, 매칭 모듈(208)은 보호되는 라이브 컨텐츠 스트리밍의 하나 이상의 부분(예컨대, 프레임)이 후보 라이브 스트리밍의 하나 이상의 부분(예컨대, 프레임)과 일치한다고 결정할 수 있다. 일부 실시예에서, 매칭 모듈(208)은 부적절하거나 음란한 컨텐츠를 포함하는 것으로 표시된 컨텐츠 아이템을 식별 및 분리하는데 이용될 수 있다. 매칭 모듈(208)에 관한 세부 사항은 도 5와 관련되어 후술될 것이다.
통지 모듈(210)은 임의의 보호되는 컨텐츠가 복사되는데(예컨대, 잠재적이거나 다른 저작권 위반) 응답하여 다양한 조치를 취하도록 구성될 수 있다. 예를 들어, 제1 컨텐츠 아이템(예컨대, 보호되는 라이브 컨텐츠 스트리밍)과 제2 컨텐츠 아이템(예컨대, 후보 라이브 컨텐츠 스트리밍) 간에 임계 컨텐츠 일치를 결정하면, 통지 모듈(210)은 후보 라이브 컨텐츠 스트리밍의 방송자에게 복사(예컨대, 잠재적 저작권 침해)를 통지할 수 있다. 일부 실시예에서, 방송자는 후보 라이브 컨텐츠 스트리밍을 종료하거나 라이브 컨텐츠 스트리밍을 계속하는 옵션을 가진다. 이러한 실시예에서, 라이브 컨텐츠 스트리밍을 계속함으로써, 방송자는 후보 라이브 컨텐츠 스트리밍을 스트리밍할 권리를 주장한다. 일부 경우에, 만약 방송자가 후보 라이브 컨텐츠 스트리밍을 종료한다면, 발행자로부터 조치가 필요하지 않고, 구현에 따라 발행자는 방송자의 라이브 컨텐츠 스트리밍이 통지되거나 통지되지 않을 수 있다. 하지만, 만약 방송자가 후보 라이브 컨텐츠 스트리밍을 계속하기로 결정한다면, 통지 모듈(210)은 발행자에게 컨텐츠 일치에 대한 정보를 제공할 수 있다. 일부 실시예에서, 발행자는 통지 모듈(210)이 제공하는 일치가 발견된 후보 컨텐츠 라이브 스트리밍의 각 부분을 식별하는 인터페이스에 접근할 수 있다. 발행자는 인터페이스에 접근하여 컨텐츠 아이템의 일치하는 부분을 재생할 수 있다. 발행자는 인터페이스에 접근하여 예컨대 라이브 컨텐츠 스트리밍 및/또는 업로드된 컨텐츠 아이템을 복제 위반(예컨대, 저작권 위반)으로 표시하거나, 조치를 취하지 않거나(예컨대, 컨텐츠 아이템의 공정 사용으로 인해), 보호되는(예컨대, 저작권이 있는) 부분의 사용을 허가할 수 있다. 일부 실시예에서, 발행자의 보호되는 컨텐츠의 침해로 표시된 임의의 라이브 컨텐츠 스트리밍 및/또는 업로드된 컨텐츠 아이템은 소셜 네트워킹 시스템을 통해 사용자가 접근 불가능하게 된다. 일부 실시예에서, 발행자는 일치의 통지를 받기 전에 충족될 다양한 기준을 명시하는 일치 규칙을 생성할 수 있다. 예를 들어, 일부 실시예에서, 발행자는 일치 타입(예컨대, 오디오, 비디오, 비디오만, 오디오만 또는 오디오와 비디오 모두)을 명시할 수 있다. 이 예시에서, 발행자는 일치 타입을 충족하는 일치를 통지받는다. 일부 실시예에서, 발행자는 지리적 영역(예컨대, 특정 도시, 주, 지역, 나라, 전세계 등)을 명시할 수 있다. 이 예시에서, 발행자는 명시한 지리적 영역에서 발생하거나 방송된 일치 컨텐츠가 제공되는 일치를 통지받는다. 일부 실시예에서, 발행자는 하나 이상의 일치 조건 및 이들 조건이 충족되면 수행되는 행위를 명시할 수 있다. 일치 조건의 한 예는 일치 기간 설정을 수반한다. 이 예시에서, 발행자는 만약 일치하는 컨텐츠의 길이가 일치 기간을 충족하면(예컨대, 더 크거나, 같거나, 더 작으면) 통지받을 수 있다. 일부 실시예에서, 발행자는 일치 길이(예컨대, 프레임 수)를 명시할 수 있고 만약 일치하는 컨텐츠가 명시된 일치 길이를 충족하면 통지받을 수 있다. 일부 실시예에서, 발행자는 발행자의 보호되는 컨텐츠를 사용하도록 허가된 하나 이상의 승인된 또는 화이트리스트된 사용자 및/또는 페이지를 명시할 수 있다. 이러한 실시예에서, 발행자는 만약 일치하는 컨텐츠가 승인되거나 화이트리스트되지 않은 임의의 사용자나 페이지에 의해 게시되면 통지받는다. 일부 실시예에서, 발행자는 사용자 및/또는 페이지를 블랙리스트하고 만약 일치하는 컨텐츠가 블랙리스트된 사용자에 의해 발생하고 및/또는 블랙리스트된 페이지를 통해 방송되면 통지받을 수 있다. 일부 실시예에서, 발행자는 일치 규칙이 충족될 때 수행될 하나 이상의 행위를 명시할 수 있다. 예를 들어, 발행자는 특정 규칙이나 규칙들을 충족하는 일치에 대해 행위가 취해지지 않아야 함을 명시할 수 있다. 다른 예시에서, 발행자는 일치가 특정 규칙이나 규칙들을 충족할 때 통지 또는 보고가 발행자에게 전송되어야 함을 표시할 수 있다. 상술한 일치 규칙 및 조건은 예시로 제공되며, 일부 실시예에서, 발행자는 다른 제약을 사용하여 일치 규칙을 생성할 수 있다. 일반적으로, 상술한 임의의 일치 규칙 및/또는 조건의 예시는 다른 규칙 및/또는 조건과 조합될 수 있다.
도 3은 본 명세서의 일실시예에 따른 핑거프린팅 모듈(302)의 예시를 도시한다. 일부 실시예에서, 도 2의 핑거프린팅 모듈(204)은 핑거프린팅 모듈(302)로 구현될 수 있다. 도 3에 도시된 바와 같이, 핑거프린팅 모듈(302)은 오디오 핑거프린팅 모듈(304), 비디오 핑거프린팅 모듈(306), 섬네일 핑거프린팅 모듈(308) 및 분산 핑거프린팅 모듈(310)을 포함할 수 있다.
오디오 핑거프린팅 모듈(304)은 컨텐츠 아이템을 위한 오디오 핑거프린트를 획득 또는 생성하도록 구성될 수 있다. 이러한 오디오 핑거프린트는 일반적으로 알려진 다양한 기술을 사용하여 생성될 수 있다. 일부 실시예에서, 오디오 핑거프린팅 모듈(304)은 컨텐츠 아이템에 대응하는 오디오 신호로부터 오디오 핑거프린트를 획득 또는 생성한다. 오디오 신호는 어떤 시간에 오디오 신호의 부분에 각각 대응하는 하나 이상의 개별 오디오 프레임으로 구성될 수 있다. 각 오디오 프레임은 어떤 시간 길이(예컨대, 32 밀리초, 64 밀리초, 128 밀리초 등)에 걸친 오디오 신호의 부분에 대응할 수 있다. 일부 실시예에서, 각 오디오 프레임은 고정된 시간 길이에 대응한다. 예를 들어, 각 오디오 프레임은 오디오 신호의 일부 부분을 표현하고 64 밀리초 길이일 수 있다. 오디오 신호로부터 추출될 수 있는 특징의 일부 예시는 주파수 도메인의 음향 특징(예컨대, 오디오 신호의 크기 스펙트럼으로 계산된 스펙트럼 특징), 오디오 신호의 MFCC(Mel-frequency cepstral coefficients), 오디오 신호의 스펙트럼 밴드폭 및 스펙트럼 평편도 측정, 스펙트럼 변동, 극한값 주파수 및 오디오 신호의 무음 주파수를 포함할 수 있다. 오디오 신호로부터 추출되는 오디오 특징은 오디오 신호의 텍스처 윈도우에 걸친 특징 벡터의 평균, 표준 편차 및 공분산 행렬과 같은 시간적 도메인의 특징도 포함할 수 있다. 다른 특징이 상술한 예시와 별개로 또는 추가로 추출될 수 있는데, 예컨대 어떤 기간에 걸친 오디오 신호의 볼륨 변화뿐만 아니라 만약 오디오 신호가 압축됐다면 오디오 신호의 압축 포맷도 포함한다.
오디오 핑거프린팅 모듈(304)은 오디오 신호의 하나 이상의 오디오 프레임으로부터 오디오 핑거프린트를 생성할 수 있다. 일부 실시예에서, 오디오 신호의 일부 부분에 대응하는 오디오 핑거프린트는 오디오 신호의 부분에 의해 캡처된 다양한 음향 및/또는 지각 특징에 기반하여 생성된다. 프레임에 대해 계산된 오디오 핑거프린트는 오디오 핑거프린트에 대응하는 파형이나 프레임을 나타내는 비트의 세트(예컨대, 32 비트, 64 비트, 128 비트 등)로 표현될 수 있다. 일부 실시예에서, 오디오 핑거프린팅 모듈(304)은 오디오 신호를 전처리하고, 오디오 신호를 한 도메인(예컨대, 시간 도메인)에서 다른 도메인(예컨대, 주파수 도메인)로 변환하고, 변환된 오디오 신호를 필터링하고, 필터링된 오디오 신호로부터 오디오 핑거프린트를 생성한다. 일부 실시예에서, 오디오 핑거프린트는 DCT(Discrete Cosine Transform)를 사용하여 생성된다. 일부 실시예에서, 제1 오디오 핑거프린트와 제2 오디오 핑거프린트 간의 일치는 제1 오디오 핑거프린트에 대응하는 비트의 세트와 제2 오디오 핑거프린트에 대응하는 비트의 세트 간의 해밍 거리가 임계치를 충족할 때 결정될 수 있다. 이러한 오디오 핑거프린트 생성 및 매칭을 설명하는 세부 사항은 본 명세서에 참조로 통합되는 미국 특허출원 제14/153,404호 및 제14/552,039호에 서술된다. 컨텐츠 아이템에 대해 생성되는 오디오 핑거프린트는 일치하는 컨텐츠 식별을 위해 저장 및 사용될 수 있다. 일부 경우에, 컨텐츠 아이템의 일부는 무음을 포함할 수 있는데, 즉 인지 가능한 오디오를 포함하지 않을 수 있다. 예를 들어, 컨텐츠 아이템에 대응하는 오디오 파형에 기반하여 컨텐츠 아이템의 부분이 청각적으로 무음이라는 결정이 내려질 수 있다. 일부 실시예에서, 무음 컨텐츠를 포함하는 부분에 대해 생성된 오디오 핑거프린트는 예컨대 이들 오디오 핑거프린트의 비트 스트링을 모두 0으로 바꿈으로써 표시될 수 있다. 이러한 실시예에서, 무음으로 마킹된 컨텐츠 아이템의 부분은 핑거프린트 매칭을 수행할 때 스킵될 수 있다.
일부 실시예에서, 각 오디오 핑거프린트는 기정의된 프레임 레이트(예컨대, 초당 8 프레임, 초당 16 프레임, 초당 32 프레임 등)에 대응한다. 예를 들어, 초당 16 프레임에서, 컨텐츠 아이템의 오디오 핑거프린트는 일련의 프레임(예컨대, 16 오디오 프레임)에 대응할 수 있고 컨텐츠 아이템의 오디오의 1초를 나타낼 수 있다. 이 예시에서, 오디오 핑거프린트에 대응하는 16 프레임 각각은 64 비트의 세트 또는 64 비트 정수로 표현될 수 있다. 일부 실시예에서, 오디오 핑거프린트, 비디오 핑거프린트 및 섬네일 핑거프린트는 동일한 기정의된 프레임 레이트로 핑거프린팅 모듈(302)에 의해 생성된다. 오디오 핑거프린트의 저장 및 검색을 서술하는 세부 사항은 도 4와 관련하여 후술될 것이다.
비디오 핑거프린팅 모듈(306)은 컨텐츠 아이템을 위한 비디오 핑거프린트를 획득 또는 생성하도록 구성될 수 있다. 일부 실시예에서, 비디오 핑거프린트를 계산할 때, 비디오 핑거프린팅 모듈(306)은 컨텐츠 아이템의 비디오 프레임의 세트(예컨대, 8 프레임, 16 프레임, 32 프레임 등)를 서술하는 데이터를 시간 도메인에서 주파수 도메인으로 변환한다. 예를 들어, 프레임의 세트는 컨텐츠 아이템의 연속적인 프레임의 세트(예컨대, 프레임 1 내지 프레임 8, 프레임 1 내지 프레임 16 등)일 수 있다. 이러한 실시예에서, 비디오 핑거프린팅 모듈(306)은 프레임을 주파수 도메인으로 변환하기 위해 사용되는 프레임의 세트를 위한 각 특징값을 결정한다. 프레임의 특징값은 프레임에 대응하는 하나 이상의 특징에 기반하여 결정될 수 있다. 일례로, 프레임을 위한 특징값은 프레임의 밝기를 계산함으로써, 예컨대 프레임의 픽셀값을 평균함으로써 결정될 수 있다. 다른 예시에서, 프레임을 위한 특징값은 프레임의 색상 컴포넌트에 기반하여, 예컨대 RGB 색상 모델 및/또는 YUV 색공간에 기반하여 결정될 수 있다. 프레임의 세트를 위한 각 특징값은 배열이나 버퍼에 포함될 수 있다. 이들 특징값은 그 후 하나 이상의 다른 도메인으로 변환될 수 있다. 일반적으로, 임의의 타입의 변환이 적용될 수 있다. 예를 들어, 일부 실시예에서, 시간-주파수 변환이 특징값에 적용된다. 일부 실시예에서, 공간-주파수 변환이 특징값에 적용된다. 일부 실시예에서, 특징값은 FFT(Fast Fourier Transform), DCT(Discrete Cosine Transform) 또는 모두를 적용함으로써 다른 도메인으로 변환된다. 변환된 후, 시간에 걸친 프레임의 세트를 위한 값이 주파수 컴포넌트의 분포로 표현된다. 일부 실시예에서, 프레임의 객체가 세그먼트화되고 변환이 이들 세그먼트에 적용된다. 일부 실시예에서, 프레임의 영역이 세그먼트화되고 변환이 이들 세그먼트에 적용된다.
일부 실시예에서, 각 비디오 핑거프린트는 기정의된 프레임 레이트(예컨대, 초당 8 프레임, 초당 16 프레임, 초당 32 프레임 등)에 대응한다. 예를 들어, 초당 16 프레임에서, 컨텐츠 아이템의 비디오 핑거프린트는 일련의 16 프레임에 대응할 수 있고 컨텐츠 아이템의 비디오의 1초를 나타낼 수 있다. 이 예시에서, 비디오 핑거프린트에 대응하는 16 프레임 각각은 64 비트의 세트 또는 64 비트 정수로 표현될 수 있다. 다양한 실시예에서, 컨텐츠 아이템이 상이한 프레임 레이트를 가짐에도 불구하고 비디오 핑거프린트가 기정의된 프레임 레이트에 대응하도록 비디오 핑거프린팅 모듈(306)은 일반적으로 알려진 보간 기술을 수행한다. 이러한 보간은 프레임의 세트에 대해 결정된 스펙트럼 컴포넌트를 사용하여 주파수 도메인에서 수행될 수 있다. 예를 들어, 두 프레임의 보간은 나머지 저주파수 계수를 유지하며 임계치를 초과하는 임의의 고주파수 계수를 버림으로써 수행될 수 있다(예컨대, 로우 패스 필터).
비디오 핑거프린팅 모듈(306)은 이들 저주파수 계수를 양자화하여 비디오 핑거프린트에 포함되는 프레임에 대응하는 비트의 세트를 생성할 수 있다. 상술한 바와 같이, 일부 실시예에서, 비디오 핑거프린트는 일련의 프레임에 대응하고 각 프레임은 64 비트의 세트 또는 64 비트 정수로 표현된다. 일부 실시예에서, 만약 8-포인트 FFT를 프레임의 세트를 적용하면, 비디오 핑거프린팅 모듈(306)은 저주파수 컴포넌트 중 넷을 양자화하여 프레임의 세트 중 각 프레임을 표현하는 각 64 비트를 생성할 수 있다. 다음 비디오 핑거프린트를 계산하기 위하여, 비디오 핑거프린팅 모듈(306)은 세트의 제1 프레임을 위한 값을 버리고 컨텐츠 아이템의 다음 프레임을 위한 대응값을 첨부함으로써 프레임의 세트를 1만큼 시프트할 수 있다. 따라서, 예를 들어, 만약 프레임의 초기 세트가 프레임 1 내지 8을 위한 값을 포함한다면, 시프트된 프레임의 세트는 프레임 2 내지 9를 위한 값을 포함할 것이다. 비디오 핑거프린팅 모듈(306)은 그 후 상술한 바와 같이 시프트된 프레임의 세트를 사용하여 다른 비디오 핑거프린트를 생성할 수 있다. 다양한 실시예에서, 비디오 핑거프린팅 모듈(306)은 프레임의 세트를 계속 시프트하여 컨텐츠 아이템의 마지막 프레임(예컨대, 라이브 컨텐츠 스트리밍의 끝 또는 주문형 컨텐츠 아이템 파일의 끝)에 도달할 때까지 비디오 핑거프린트를 생성한다. 따라서, 이러한 실시예에서, 핑거프린트는 핑거프린팅되는 컨텐츠 아이템의 중첩 프레임에 대응한다. 예를 들어, 제1 핑거프린트는 프레임 1 내지 16으로부터 결정될 수 있고, 제2 핑거프린트는 프레임 2 내지 17로부터 결정될 수 있고, 제3 핑거프린트는 프레임 3 내지 18로부터 결정될 수 있는 등이다.
일부 실시예에서, 단일 특징값에 의존하기보다는, 특징값의 벡터가 프레임의 세트 중 각 프레임에 대해 결정되고 이들 벡터가 비디오 프레임의 세트를 주파수 도메인으로 변환하는데 사용된다. 예를 들어, 비디오 프레임에 대해 결정된 특징 벡터는 프레임에 대응하는 다양한 특징의 값을 설명할 수 있다. 일부 실시예에서, 특징값은 프레임의 하나 이상의 픽셀의 그룹 간의 변화(예컨대, 밝기 변화, 색상 변화 등)를 설명할 수 있다. 이러한 실시예에서, 도 6의 예시에 도시된 바와 같이 제1 영역(606) 및 제1 영역(606) 내의 제2 영역(608)은 프레임(602)의 픽셀(604) 주위로 식별될 수 있다. 제1 영역(606)과 제2 영역(608) 모두 섹터의 세트(예컨대, 6, 8, 10 등의 섹터)로 세그먼트화될 수 있다. 예를 들어, 도 6에서, 제1 영역(606)은 섹터 a1, a2, a3, a4, a5, a6, a7 및 a8로 분할되며 제2 영역(608)은 섹터 b1, b2, b3, b4, b5, b6, b7 및 b8로 분할된다. 특징값은 각 섹터에 대해 계산될 수 있다. 이들 특징값은 행렬(610)에 저장될 수 있다. 다음으로, 각 내부 섹터(예컨대, b1)에 대한 특징값과 그 대응하는 외부 섹터(예컨대 a1)에 대한 특징값 간의 차이가 계산된다. 이들 차이가 행렬(612)(예컨대, f1, f2, ..., f8)에 저장될 수 있다. 일부 실시예에서, 이러한 차이가 프레임(602)의 각 픽셀에 대해 계산되고 각 차이가 합계되어 행렬(612)을 생성한다. 행렬(612)은 상술한 바와 같이 프로세스되는 비디오 프레임의 세트의 각 프레임에 대해 생성될 수 있다. 그 결과, 일부 실시예에서, 비디오 프레임의 세트의 각 프레임은 값의 세트(예컨대, 8 값)의 대응하는 특징 벡터로 표현될 것이다. 비디오 프레임의 세트를 위한 특징 벡터는 그 후 필요하다면 보간되고, 예컨대 상술한 바와 같이 DCT 및/또는 FFT를 적용함으로써 주파수 도메인으로 변환될 수 있다. 일부 실시예에서, 특징 벡터에 포함되는 특징값의 일부 또는 전부는 알려진 특징 검출 접근법, 예컨대 ORB(Oriented FAST and Rotated BRIEF)를 적용함으로써 결정된다.
일부 실시예에서, 비디오 핑거프린팅 모듈(306)은 각 프레임에 대해 하나 이상의 핑거프린트를 생성한다. 예를 들어, 일부 실시예에서, 비디오 핑거프린팅 모듈(306)은 핑거프린팅되는 프레임을 상부 절반 및 하부 절반으로 수평 분할한다. 이러한 실시예에서, 제1 핑거프린트가 프레임의 상부 절반에 대해 생성되고 제2 핑거프린트가 프레임의 하부 절반에 대해 생성된다. 예를 들어, 제1 핑거프린트 및 제2 핑거프린트는 각각 32 비트를 사용하여 표현될 수 있다. 일례로, 이러한 접근법은 스크롤되는 텍스트(예컨대, 엔딩 크레딧)을 포함하는 컨텐츠 아이템을 구별하는데 사용될 수 있다. 당연히, 프레임은 다수의 상이한 방법(예컨대, 수직, 대각선 등)으로 분할될 수 있고, 분할된 부분 각각에 대한 각 핑거프린트가 생성될 수 있다. 일부 실시예에서, 컨텐츠를 핑거프린팅하기 전에, 비디오 핑거프린팅 모듈(306)은 컨텐츠와 연관된 모든 색상 정보를 제거하고 컨텐츠를 흑백 또는 그레이스케일 표현으로 변환한다. 일부 경우에, 비디오의 프레임은 그 원래 상태에서 뒤집힐 수 있다(예컨대, 수평으로 뒤집힘, 수직으로 뒤집힘 등). 이러한 프레임 뒤집힘은 비디오 프레임의 일치하는 컨텐츠가 식별되는 것을 방지하기 위해 수행될 수 있다. 따라서, 일부 실시예에서, 비디오의 프레임을 핑거프린팅할 때, 비디오 핑거프린팅 모듈(306)은 그 원래 상태의 프레임을 위한 핑거프린트 및 하나 이상의 각 뒤집힌 상태(예컨대, 수평으로 뒤집힘, 수직으로 뒤집힘 등)의 프레임을 위한 하나 이상의 개별 핑거프린트를 생성한다. 컨텐츠 아이템을 위해 생성된 비디오 핑거프린트는 일치하는 컨텐츠 식별을 위해 저장 및 사용될 수 있다. 비디오 핑거프린트의 저장 및 검색을 서술하는 세부 사항은 도 4와 관련하여 후술될 것이다.
섬네일 핑거프린팅 모듈(308)은 컨텐츠 아이템을 위한 섬네일 또는 이미지 핑거프린트를 획득 또는 생성하도록 구성될 수 있다. 일부 실시예에서, 컨텐츠 아이템을 위한 섬네일 핑거프린트를 생성할 때, 섬네일 핑거프린팅 모듈(308)은 기정의된 시간 간격(예컨대, 매 1초, 매 3초 등)으로 컨텐츠 아이템의 프레임의 섬네일 스냅샷을 캡처한다. 이러한 섬네일 스냅샷은 일반적으로 알려진 이미지 핑거프린팅 기술을 사용하여 대응하는 섬네일 핑거프린트를 생성하는데 사용될 수 있다. 일부 실시예에서, 각 섬네일 핑거프린트는 비트의 세트(예컨대, 32비트, 64비트, 128비트 등)를 사용하여 표현된다. 일부 실시예에서, 각 기정의된 시간 간격으로, 섬네일 핑거프린팅 모듈(308)은 하나 이상의 크기 및/또는 해상도로 다수의 섬네일 스냅샷을 캡처한다. 이러한 실시예에서, 개별 핑거프린트가 다수의 섬네일 스냅샷에 대해 생성될 수 있다. 이러한 다수의 핑거프린트는 평가되는 컨텐츠에 왜곡이 있음에도 불구하고 두 컨텐츠 아이템 간의 일치하는 섬네일을 식별하는데 사용될 수 있다. 컨텐츠 아이템에 대해 생성되는 섬네일 핑거프린트는 일치하는 컨텐츠 식별을 위해 저장 및 사용될 수 있다. 섬네일 핑거프린트의 저장 및 검색을 서술하는 세부 사항은 도 4와 관련하여 후술될 것이다.
일부 실시예에서, 컨텐츠 아이템이 핑거프린팅될 때, 핑거프린팅 모듈(302)은 컨텐츠 아이템에 대한 오디오 핑거프린트, 비디오 핑거프린트 및/또는 섬네일 핑거프린트를 생성한다. 이러한 핑거프린트는 핑거프린팅된 컨텐츠 아이템과 일치하는 컨텐츠의 일부(예컨대, 오디오, 비디오, 섬네일)를 포함하는 다른 컨텐츠 아이템을 식별하기 위해 단독으로 또는 조합되어 사용될 수 있다. 일부 실시예에서, 주문형 컨텐츠 아이템은 주문형 컨텐츠 아이템에 대응하는 파일이 예컨대 컨텐츠 제공자(예컨대, 소셜 네트워킹 시스템)에서 사용 가능하거나 업로드되자마자 핑거프린팅될 수 있다. 일부 실시예에서, 라이브 컨텐츠 스트리밍은 라이브 컨텐츠 스트리밍을 서술하는 데이터가 컨텐츠 제공자 시스템에 의해 수신되자마자 핑거프린팅될 수 있다.
일부 실시예에서, 핑거프린팅 모듈(302)은 컨텐츠 제공자 시스템 상에 구현된다. 이러한 실시예에서, 컨텐츠 아이템의 핑거프린팅은 컨텐츠 아이템을 서술하는 데이터가 수신된 후 컨텐츠 제공자 시스템에 의해 수행된다. 일부 실시예에서, 핑거프린팅 모듈(302)은 사용자 장치 상에 구현된다. 이러한 실시예에서, 컨텐츠 아이템의 핑거프린팅은 컨텐츠 아이템을 서술하는 데이터가 컨텐츠 제공자 시스템에 전송됨에 따라 사용자 장치에 의해 수행된다. 일부 실시예에서, 분산 핑거프린팅 모듈(310)은 상이한 타입의 핑거프린트가 사용자 장치 및 컨텐츠 제공자 시스템에 의해 생성되도록 구성된다. 예를 들어, 일부 실시예에서, 분산 핑거프린팅 모듈(310)은 사용자 장치가 컨텐츠 제공자 시스템으로 제공되는 컨텐츠 아이템에 대한 하나 이상의 타입의 핑거프린트(예컨대, 오디오 핑거프린트 및/또는 섬네일 핑거프린트)를 생성하도록 지시할 수 있다. 이러한 실시예에서, 분산 핑거프린팅 모듈(310)은 컨텐츠 아이템이 수신됨에 따라 컨텐츠 제공자 시스템이 하나 이상의 상이한 타입의 핑거프린트(예컨대, 비디오 핑거프린트)를 생성하도록 지시할 수 있다. 이러한 분산 핑거프린팅은 컴퓨팅 자원을 보다 최적으로 사용할 수 있게 할 수 있다.
일부 실시예에서, 분산 핑거프린팅 모듈(310)은 사용자 장치가 컨텐츠 제공자 시스템으로 제공되는 컨텐츠 아이템에 대한 하나 이상의 제1 타입의 핑거프린트(예컨대, 오디오 핑거프린트)를 생성 및 전송하도록 지시할 수 있다. 이러한 실시예에서, 만약 하나 이상의 제1 타입의 핑거프린트(예컨대, 오디오 핑거프린트)를 사용하여 컨텐츠 아이템과 참조 컨텐츠 아이템 간의 일치가 식별되면, 분산 핑거프린팅 모듈(310)은 사용자 장치가 제공되는 컨텐츠 아이템에 대한 하나 이상의 제2 타입의 핑거프린트(예컨대, 비디오 핑거프린트 및/또는 섬네일 핑거프린트)의 생성 및 전송을 시작하도록 지시하여 추가적인 타입의 핑거프린트(예컨대, 비디오 핑거프린트 및/또는 섬네일 핑거프린트)를 사용하여 매칭된 컨텐츠를 더 검증할 수 있다. 다양한 실시예에서, 핑거프린트(예컨대, 오디오 핑거프린트, 비디오 핑거프린트, 섬네일 핑거프린트)는 핑거프린트가 결정되는 각 컨텐츠 아이템에 대한 다양한 정보를 제공하는 메타데이터와도 연관될 수 있다. 이러한 정보는 컨텐츠 아이템에 대응하는 제목, 설명, 키워드 또는 태그를 포함할 수 있다. 일부 실시예에서, 정보는 예컨대 일반적으로 알려진 OCR(optical character recognition) 기술을 사용하여 컨텐츠 아이템(또는 컨텐츠 아이템에 대응하는 프레임)으로부터 추출된 임의의 텍스트를 포함할 수 있다.
도 4는 본 명세서의 일실시예에 따른 저장 모듈(402)의 예시를 도시한다. 일부 실시예에서, 도 2의 저장 모듈(206)은 저장 모듈(402)로 구현될 수 있다. 도 4에 도시된 바와 같이, 저장 모듈(402)은 인덱싱 모듈(404) 및 최적화 모듈(406)을 포함할 수 있다.
인덱싱 모듈(404)은 컨텐츠 아이템에 대해 생성된 핑거프린트(예컨대, 오디오 핑거프린트, 비디오 핑거프린트, 섬네일 핑거프린트)를 저장하도록 구성될 수 있다. 일반적으로, 이러한 핑거프린트는 임의의 일반적으로 알려진 데이터 저장 및 검색을 위한 접근법을 사용하여 저장될 수 있다. 일부 실시예에서, 라이브 컨텐츠 스트리밍을 위해 생성된 핑거프린트는 라이브 참조 데이터베이스에 저장되고 주문형 컨텐츠 아이템을 위해 생성된 핑거프린트는 정적 참조 데이터베이스에 저장된다. 일부 실시예에서, 임계 기간 내에(예컨대, 최근 24시간, 48시간 등 내에) 제공되는(예컨대, 스트리밍되는 및/또는 업로드되는) 컨텐츠 아이템(예컨대, 라이브 컨텐츠 스트리밍 및 주문형 컨텐츠 아이템)을 위한 핑거프린트는 실시간 참조 데이터베이스에 저장되고 이 임계 기간을 넘어 제공된 컨텐츠 아이템을 위한 핑거프린트는 정적 참조 데이터베이스에 저장된다. 이러한 실시예에서, 저장 모듈(402)은 필요에 따라 임계 기간에 기반하여 두 데이터베이스 간의 핑거프린트 데이터의 분리를 충족시키기 위해 실시간 참조 데이터베이스로부터 정적 참조 데이터베이스로 컨텐츠 아이템을 위한 핑거프린트 데이터를 이동시킨다.
일부 실시예에서, 인덱싱 모듈(404)은 핑거프린트 데이터를 하나 이상의 데이터 구조에 저장한다. 사용되는 데이터 구조는 핑거프린트 데이터 저장 및 프로세스에 사용 가능한 컴퓨팅 자원에 따라 달라질 수 있다. 일례로, 한 세트의 컴퓨팅 자원은 인덱스 데이터 구조의 사용을 정당화할 수 있는 반면 다른 세트의 컴퓨팅 자원은 역 인덱스 데이터 구조의 사용을 정당화할 수 있다. 예를 들어, 오디오 핑거프린트는 제1 역 인덱스 데이터 구조에 저장될 수 있고, 비디오 핑거프린트는 제2 역 인덱스 데이터 구조에 저장될 수 있고, 섬네일 핑거프린트는 제3 역 인덱스 데이터 구조에 저장될 수 있다. 상술한 바와 같이, 개별 역 인덱스 데이터 구조가 라이브 컨텐츠 스트리밍 및 주문형 컨텐츠 아이템을 위해 생성된 핑거프린트 저장을 위해 사용될 수 있다. 도 7은 역 인덱스 데이터 구조(702)의 예시를 도시한다. 이 예시에서, 역 인덱스 데이터 구조(702)는 빈의 세트(704)를 포함한다. 각 빈은 그 빈에 해싱된 핑거프린팅된 프레임의 세트를 참조할 수 있다. 예를 들어, 핑거프린팅된 프레임(708 및 710)은 모두 빈(706)에 해싱되었다.
상술한 바와 같이, 각 핑거프린트는 프레임의 세트에 대응할 수 있고 각 프레임은 비트의 세트, 예컨대 64 비트 또는 정수로 표현될 수 있다. 일부 실시예에서, 핑거프린팅된 프레임을 역 인덱스(702)에 삽입할 때, 핑거프린팅된 프레임에 대응하는 비트의 일부는 역 인덱스(702)의 빈(704) 중 하나에 해싱하는데 사용된다. 예를 들어, 핑거프린팅된 프레임(708)에 대응하는 64 비트 중 첫 24 비트(예컨대, 인덱스 부분)은 빈(706)에 해싱될 수 있다. 핑거프린팅된 프레임(708)은 그 후 빈(706)에 해싱된 핑거프린팅된 프레임의 리스트(712)에 추가될 수 있다. 일부 실시예에서, 핑거프린팅된 프레임(708)을 리스트(712)에 추가할 때, 비트의 나머지 부분이 저장된다. 따라서, 이 예시에서, 핑거프린팅된 프레임(708)에 대응하는 64 비트 중 나머지 40 비트가 저장된다. 일부 실시예에서, 핑거프린팅된 프레임(708)은 핑거프린트가 생성된 컨텐츠 아이템을 서술하는 정보(예컨대, 파일 식별자, 스트리밍 식별자 등) 및 핑거프린트가 생성된 컨텐츠 아이템의 부분을 표시하는 오프셋(예컨대, 타임스탬프, 프레임 숫자 등)와 함께 저장된다.
일부 실시예에서, 다수의 역 인덱스가 핑거프린트 저장 및 매칭을 위해 이용될 수 있다. 예를 들어, 핑거프린팅된 프레임에 대응하는 비트의 제1 부분은 제1 역 인덱스의 빈 중 하나에 해싱될 수 있다. 제1 역 인덱스의 이 빈은 제2 역 인덱스를 참조할 수 있다. 이 예시에서, 핑거프린팅된 프레임에 대응하는 비트의 제2 부분은 제2 역 인덱스에 해싱되어 그 빈에 해싱된 핑거프린팅된 프레임의 리스트를 식별할 수 있다. 핑거프린팅된 프레임에 대응하는 비트의 세트(비트의 전체 세트 또는 비트의 나머지 부분)는 제2 역 인덱스의 이 리스트에 추가될 수 있다. 예를 들어, 핑거프린팅된 프레임의 64 비트 중 첫 24 비트는 제1 역 인덱스의 빈에 해싱되어 제2 역 인덱스를 식별할 수 있다. 이 예시에서, 핑거프린팅된 프레임의 64 비트 중 다음 20 비트는 제2 역 인덱스의 빈에 해싱되어 빈에 의해 참조되는 핑거프린팅된 프레임의 리스트를 식별할 수 있다. 여기서, 핑거프린팅된 프레임의 64 비트 중 나머지 20 비트(또는 64 비트 전부)가 리스트에 저장될 수 있다. 핑거프린팅된 프레임은 핑거프린팅된 프레임이 생성된 컨텐츠 아이템을 서술하는 정보(예컨대, 파일 식별자, 스트리밍 식별자 등) 및 핑거프린트가 생성된 컨텐츠 아이템의 부분을 표시하는 오프셋(예컨대, 타임스탬프, 프레임 숫자 등)와 함께 제2 역 인덱스에 저장될 수 있다.
최적화 모듈(406)은 핑거프린트 저장 및 매칭을 위해 이용되는 역 인덱스 데이터 구조를 관리하도록 구성될 수 있다. 예를 들어, 일부 실시예에서, 최적화 모듈(406)은 역 인덱스를 자동으로 업데이트 또는 정리하여 컨텐츠 제공자 시스템에서 제거된 컨텐츠 아이템에 대응하는 항목을 제거할 수 있다. 일부 실시예에서, 최적화 모듈(406)은 역 인덱스를 자동으로 업데이트 또는 정리하여 임계 기간 동안 저장된 항목을 제거할 수 있다. 일부 실시예에서, 최적화 모듈(406)은 역 인덱스를 정렬하여 원하는 조직화를 달성할 수 있다. 일례로, 최적화 모듈(406)은 유사한 핑거프린팅된 프레임(예컨대, 서로 임계 해밍 거리에 있는 핑거프린팅된 프레임)이 동일(또는 근처) 청크 또는 빈으로 클러스터 또는 조직화되도록 역 인덱스의 항목을 정렬할 수 있다.
도 5는 본 명세서의 일실시예에 따른 매칭 모듈(502)의 예시를 도시한다. 일부 실시예에서, 도 2의 매칭 모듈(208)은 매칭 모듈(502)로 구현될 수 있다. 도 5에 도시된 바와 같이, 매칭 모듈(502)은 핑거프린트 매칭 모듈(504), 조합 매칭 모듈(506), 라이브 프로세싱 모듈(508) 및 왜곡 모듈(510)을 포함할 수 있다.
핑거프린트 매칭 모듈(504)은 하나 이상의 제2(또는 참조) 컨텐츠 아이템의 컨텐츠의 일부와 일치하는 제1(또는 테스트) 컨텐츠 아이템의 컨텐츠의 임의의 부분을 식별하도록 구성될 수 있다. 다양한 실시예에서, 핑거프린트 매칭 모듈(504)은 테스트 컨텐츠 아이템에 대응하는 핑거프린트의 세트(예컨대, 오디오 핑거프린트, 비디오 핑거프린트, 섬네일 핑거프린트)를 사용하여 테스트 컨텐츠 아이템을 평가할 수 있고 이들 핑거프린트는 분석되는 하나 이상의 참조 컨텐츠 아이템을 식별하는데 사용될 수 있다. 이러한 참조 컨텐츠 아이템은 보호되는 것(또는 저작권이 있는 것)으로 식별 또는 지정될 수 있다. 일반적으로, 참조 컨텐츠 아이템의 컨텐츠와 일치하는 임의의 컨텐츠를 포함하는 테스트 컨텐츠 아이템은 표시되고 다양한 조치가 취해질 수 있다. 참조 컨텐츠 아이템은, 예컨대 상술한 바와 같은 역 인덱스 데이터 구조를 사용하여 식별될 수 있다.
예를 들어, 도 8a에 도시된 바와 같이, 핑거프린트 매칭 모듈(504)은 테스트 컨텐츠 아이템으로부터 생성된 비디오 핑거프린트를 획득할 수 있다. 핑거프린트는 프레임의 세트(예컨대, 16 프레임)에 대응할 수 있고 각 프레임은 비트의 세트(예컨대 64 비트)로 표현될 수 있다. 일부 실시예에서, 핑거프린트의 프레임(804)의 제1 부분(예컨대, 첫 24 비트)가 역 인덱스(802)의 빈(806)으로 해싱하는데 사용될 수 있고 프레임(804)의 제2 부분(예컨대, 나머지 40 비트)가 프레임 간의 일치를 검증하는데 사용될 수 있다. 상술한 바와 같이, 역 인덱스(802)는 빈의 세트를 포함하고 각 빈은 그 빈에 해싱된 핑거프린팅된 프레임의 세트를 참조할 수 있다. 예를 들어, 도 8a에서, 빈(806)은 핑거프린팅된 프레임(808) 및 핑거프린팅된 프레임(810)을 참조한다. 이 예시에서, 핑거프린팅된 프레임(808) 및 핑거프린팅된 프레임(810) 모두 매칭 후보이다. 핑거프린트 매칭 모듈(504)은 빈(806)에 대응하는 핑거프린팅된 프레임(808, 810) 각각을 평가하여 핑거프린팅된 프레임이 프레임(804)과 일치하는지 여부를 결정한다. 일부 실시예에서, 핑거프린트 매칭 모듈(504)은 제1 프레임에 대응하는 비트의 세트 및 제2 프레임에 대응하는 비트의 세트 간의 해밍 거리를 결정한다. 이러한 실시예에서, 핑거프린트 매칭 모듈(504)은 해밍 거리가 임계치를 충족할 때 제1 프레임과 제2 프레임 간의 일치를 결정한다. 따라서, 예를 들어, 핑거프린트 매칭 모듈(504)은 프레임(804)에 대응하는 비트의 세트와 핑거프린팅된 프레임(808)에 대응하는 비트의 세트 간의 해밍 거리를 결정할 수 있다. 만약 이 해밍 거리가 임계치를 충족한다면, 프레임(804)과 핑거프린팅된 프레임(808) 간의 일치가 식별된다. 동일한 프로세스가 임의의 다른 일치를 식별하기 위하여 프레임(804)이 해싱된 빈(806)에 의해 참조되는 나머지 핑거프린팅된 프레임(예컨대, 핑거프린팅된 프레임(810))에 적용될 수 있다.
테스트 컨텐츠 아이템의 프레임(804)과 참조 컨텐츠 아이템의 핑거프린팅된 프레임(예컨대, 핑거프린팅된 프레임(808)) 간의 일치가 식별되면, 일치하는 핑거프린트 매칭 모듈(504)은 핑거프린팅된 프레임(808)이 생성된 참조 컨텐츠 아이템을 평가하여 테스트 컨텐츠 아이템과 참조 컨텐츠 아이템 간의 일치하는 컨텐츠의 규모 또는 경계를 결정할 수 있다. 상술한 바와 같이, 제2 역 인덱스에 저장된 각 프레임은 핑거프린팅된 프레임이 생성된 참조 컨텐츠 아이템(예컨대, 파일 식별자, 스트리밍 식별자 등), 핑거프린팅된 프레임이 대응하는 참조 컨텐츠 아이템의 부분을 표시하는 오프셋을 표시할 수 있다. 도 8b의 예시에 도시된 바와 같이, 이러한 정보를 사용하여, 핑거프린트 매칭 모듈(504)은 참조 컨텐츠 아이템 전체에 대해 시간순으로 생성된 핑거프린팅된 프레임(840)의 세트에 접근할 수 있다. 핑거프린트 매칭 모듈(504)은 테스트 컨텐츠 아이템에 대응하는 핑거프린팅된 프레임(860)의 세트에도 접근할 수 있다. 일부 실시예에서, 핑거프린트 매칭 모듈(504)은 청크(예컨대, 1초 청크)의 테스트 컨텐츠 아이템 및 참조 컨텐츠 아이템을 프로세스한다. 따라서, 예를 들어, 만약 각 핑거프린트가 초당 16 프레임에 대응한다면, 핑거프린트 매칭 모듈(504)은 초당 컨텐츠의 16 프레임을 프로세스한다.
도 8b에 도시된 바와 같이, 핑거프린트 매칭 모듈(504)은 테스트 컨텐츠 아이템의 핑거프린팅된 프레임(804)에 선행하는 각 대응하는 핑거프린팅된 프레임에 대해 참조 컨텐츠 아이템의 일치하는 핑거프린팅된 프레임(808)에 선행하는 각 핑거프린팅된 프레임을 평가할 수 있다. 따라서, 예를 들어, 핑거프린트 매칭 모듈(504)은 참조 컨텐츠 아이템의 핑거프린팅된 프레임(820)과 테스트 컨텐츠 아이템의 핑거프린팅된 프레임(824) 간의 해밍 거리를 계산할 수 있다. 만약 해밍 거리가 임계치를 충족한다면, 컨텐츠 일치가 발견된다. 핑거프린트 매칭 모듈(504)은 일치가 발견되지 않을 때까지 또는 참조 컨텐츠 아이템 및/또는 테스트 컨텐츠 아이템의 시작에 도달할 때까지 각 선행 프레임의 이러한 매칭을 계속할 수 있다. 유사하게, 핑거프린트 매칭 모듈(504)은 테스트 컨텐츠 아이템의 일치하는 핑거프린팅된 프레임(804)에 후속하는 각 대응하는 핑거프린팅된 프레임에 대해 참조 컨텐츠 아이템의 일치하는 프레임(808)에 후속하는 각 핑거프린팅된 프레임을 평가할 수 있다. 따라서, 예를 들어, 핑거프린트 매칭 모듈(504)은 참조 컨텐츠 아이템의 핑거프린팅된 프레임(822)과 테스트 컨텐츠 아이템의 핑거프린팅된 프레임(826) 간의 해밍 거리를 계산할 수 있다. 만약 해밍 거리가 임계치를 충족한다면, 컨텐츠 일치가 발견된다. 핑거프린트 매칭 모듈(504)은 일치가 발견되지 않을 때까지 또는 참조 컨텐츠 아이템 및/또는 테스트 컨텐츠 아이템의 끝에 도달할 때까지 각 후속 프레임의 이러한 매칭을 계속할 수 있다. 이러한 매칭이 완료되면, 핑거프린트 매칭 모듈(504)은 테스트 컨텐츠의 어떤 부분(832)이 참조 컨텐츠 아이템의 경계(830)와 일치하는지 식별할 수 있다. 이 매칭 프로세스는 테스트 컨텐츠 아이템과 참조 컨텐츠 아이템의 오디오 핑거프린트, 테스트 컨텐츠 아이템과 참조 컨텐츠 아이템의 비디오 핑거프린트 및/또는 테스트 컨텐츠 아이템과 참조 컨텐츠 아이템의 섬네일 핑거프린트 간의 일치를 찾기 위해 적용될 수 있다. 도 8a-b를 참조하여 서술된 매칭 프로세스는 두 컨텐츠 아이템 간의 일치하는 컨텐츠를 결정하기 위한 접근법의 일례일 뿐이고, 당연히 다른 접근법이 가능하다. 일부 실시예에서, 매칭 프로세스는 일치를 결정하기 위하여 테스트 컨텐츠 아이템과 참조 컨텐츠 아이템의 핑거프린팅된 프레임 전부가 평가될 필요 없도록 최적화된다. 예를 들어, 테스트 컨텐츠 아이템의 제1 핑거프린팅된 프레임과 참조 컨텐츠 아이템의 제1 핑거프린팅된 프레임 간의 일치를 식별하면, 핑거프린트 매칭 모듈(504)은 테스트 컨텐츠 아이템과 참조 컨텐츠 아이템의 하나 이상의 중간 프레임(예컨대, 임계수의 핑거프린팅된 프레임)을 스킵하고, 테스트 컨텐츠 아이템의 제2 핑거프린팅된 프레임과 참조 컨텐츠 아이템의 제2 핑거프린팅된 프레임을 평가할 수 있다. 만약 제1 핑거프린팅된 프레임과 제2 핑거프린팅된 프레임 모두 일치하면, 테스트 컨텐츠 아이템과 참조 컨텐츠 아이템의 하나 이상의 중간 프레임도 일치한다는 가정이 이루어진다. 일부 실시예에서, 매칭 프로세스는 제1 인증 단계가 컨텐츠 아이템의 임계수의 중간 핑거프린팅된 프레임의 평가를 스킵하며 제1 핑거프린팅된 프레임의 세트가 일치하고 제2 핑거프린팅된 프레임의 세트가 일치할 때 일치를 결정하도록 최적화되는 2단계이다. 이러한 실시예에서, 중간 핑거프린팅된 프레임 각각도 전체 길이의 일치를 확인하기 위하여 제2 인증 단계 동안 개별적으로 평가된다.
일부 실시예에서, 일치하는 부분(830 및 832)을 서술하는 정보가 추가 검토를 위해 다양한 직원에게 제공된다. 일부 실시예에서, 만약 일치하는 부분(830 및 832)가 임계 시간 길이(예컨대, 30초)를 충족한다면, 핑거프린트 매칭 모듈(504)은 추가 검토를 위해 자동으로 테스트 컨텐츠 아이템을 표시할 수 있다. 일부 실시예에서, 만약 일치하는 부분(830 및 832)이 임계 시간 길이(예컨대, 30초)를 충족한다면, 핑거프린트 매칭 모듈(504)은 사용자가 테스트 컨텐츠 아이템에 접근하는 것을 자동으로 방지할 수 있다. 일부 실시예에서, 핑거프린트 매칭 모듈(504)은 테스트 컨텐츠 아이템과 참조 컨텐츠 아이템이 중복된다고 결정할 수 있다(즉, 테스트 컨텐츠 아이템 전부가 참조 컨텐츠 아이템 전부와 일치함). 이러한 실시예에서, 테스트 컨텐츠 아이템은 자동으로 삭제될 수 있다.
조합 매칭 모듈(506)은 테스트 컨텐츠 아이템과 참조 컨텐츠 아이템 간의 일치하는 컨텐츠를 식별하기 위하여 다수의 타입의 핑거프린트(예컨대, 오디오, 비디오, 섬네일)를 이용하도록 구성될 수 있다. 예를 들어, 일부 실시예에서, 조합 매칭 모듈(506)은 상술한 바와 같이 오디오 핑거프린트를 사용하여 테스트 컨텐츠 아이템과 참조 컨텐츠 아이템 간의 일치하는 컨텐츠를 결정할 수 있다. 이러한 실시예에서, 조합 매칭 모듈(506)은 임계 기간 및/또는 임계수의 프레임 동안 오디오 핑거프린트를 사용하여 일치가 발견되지 않을 때 다른 타입의 핑거프린트(예컨대, 비디오 핑거프린트 및/또는 섬네일 핑거프린트)를 사용하여 매칭을 보충한다. 일부 실시예에서, 조합 매칭 모듈(506)은 대응하는 비디오 핑거프린트(또는 섬네일 핑거프린트)의 추가 사용으로 오디오 핑거프린트를 사용하여 결정된 컨텐츠 일치를 검증할 수 있다. 이러한 검증은 예컨대 뮤직 비디오와 저작권이 있는 음악을 포함하는 비디오 광고를 구별하는데 유용할 수 있다. 유사하게, 일부 실시예에서, 조합 매칭 모듈(506)은 대응하는 오디오 핑거프린트(또는 섬네일 핑거프린트)의 추가 사용으로 비디오 핑거프린트를 사용하여 결정된 컨텐츠 일치를 검증할 수 있다. 다양한 실시예에서, 오디오 핑거프린트와 비디오 핑거프린트가 기정의된 프레임 레이트로 생성된다. 그 결과, 조합 매칭 모듈(506)은 주어진 프레임에 대해 오디오 핑거프린트와 비디오 핑거프린트 간의 교차 참조를 쉽게 할 수 있다.
일부 실시예에서, 컨텐츠 아이템을 컨텐츠 제공자 시스템으로 제공하는 사용자 장치는 컨텐츠 아이템의 섬네일 핑거프린트를 생성 및 전송하도록 지시될 수 있다. 이러한 실시예에서, 조합 매칭 모듈(506)은 컨텐츠 아이템과 참조 컨텐츠 아이템 간의 일치하는 컨텐츠를 식별하기 위하여 섬네일 핑거프린트를 이용할 수 있다. 만약 일치가 발견되면, 사용자 장치는 컨텐츠 아이템의 다른 타입의 핑거프린트(예컨대, 오디오 핑거프린트 및/또는 비디오 핑거프린트)를 생성 및 전송하도록 지시될 수 있다. 조합 매칭 모듈(506)은 섬네일 핑거프린트를 사용하여 결정된 프레임 일치를 검증하기 위하여 다른 타입의 핑거프린트를 이용할 수 있다. 예를 들어, 만약 섬네일 핑거프린트를 사용하여 컨텐츠 아이템의 프레임과 참조 컨텐츠 아이템의 프레임 간에 일치가 결정되면, 조합 매칭 모듈(506)은 컨텐츠 아이템과 참조 컨텐츠 아이템의 일치하는 프레임에 대응하는 비디오 핑거프린트를 사용하여 일치를 확인할 수 있다. 일부 실시예에서, 만약 섬네일 핑거프린트를 사용하여 일치가 발견되면, 컨텐츠 제공자 시스템은 검증의 목적으로 컨텐츠 아이템에 대한 다른 타입의 핑거프린트(예컨대, 오디오 핑거프린트 및/또는 비디오 핑거프린트) 생성을 시작할 수 있다.
일반적으로, 주문형 컨텐츠 아이템의 컨텐츠를 평가할 때, 매칭 모듈(502)은 일치하는 컨텐츠를 식별하기 위하여 하나 이상의 참조 컨텐츠 아이템을 식별하고 이들 컨텐츠 아이템을 주문형 컨텐츠 아이템에 대해 평가할 수 있다. 일부 실시예에서, 매칭 모듈(502)은 컨텐츠 매칭의 목적으로 라이브 컨텐츠 스트리밍을 다르게 프로세스하도록 구성될 수 있다. 예를 들어, 일부 실시예에서, 라이브 프로세싱 모듈(508)은 슬라이딩 윈도우를 사용하여 고정된 부분에서 수신되는 라이브 컨텐츠 스트리밍을 처리하도록 구성될 수 있다. 일부 실시예에서, 라이브 프로세싱 모듈(508)은 고정된 시간 길이(예컨대, 컨텐츠의 마지막 20초) 또는 고정된 수의 프레임(예컨대, 16 프레임)에 대응하는 라이브 컨텐츠 스트리밍의 프레임을 포함하도록 슬라이딩 윈도우를 정의할 수 있다. 도 9a는 사용자 장치로부터 컨텐츠 제공자 시스템에 의해 수신되는 라이브 컨텐츠 스트리밍(902)의 다이어그램의 예시를 도시한다. 도 9a의 예시에서, 슬라이딩 윈도우(904)는 프레임(906) 및 프레임(908)에 의해 정의된 바와 같이 라이브 컨텐츠 스트리밍(902)의 20초에 대응한다. 일부 실시예에서, 라이브 컨텐츠 스트리밍이 수신될 때, 라이브 프로세싱 모듈(508)은 슬라이딩 윈도우(904)의 길이가 충족될 때까지 라이브 컨텐츠 스트리밍을 버퍼링한다. 예를 들어, 만약 슬라이딩 윈도우가 20초 길이에 대응한다면, 라이브 프로세싱 모듈(508)은 라이브 컨텐츠 스트리밍의 20초를 버퍼링한다. 버퍼링되면, 라이브 프로세싱 모듈(508)은 상술한 바와 같이 슬라이딩 윈도우(904)의 컨텐츠의 부분(예컨대, 슬라이딩 윈도우(904)의 컨텐츠의 마지막 1초)를 핑거프린팅한다. 핑거프린팅되면, 라이브 프로세싱 모듈(508)은 라이브 컨텐츠 스트리밍의 핑거프린팅된 부분이 임의의 참조 컨텐츠 아이템과 일치하는지 여부를 결정할 수 있다. 상술한 바와 같이, 매칭 프로세스는 라이브 컨텐츠 스트리밍(902)의 이전된 수신된 프레임을 평가함으로써 일치하는 컨텐츠의 경계를 결정하도록 시도할 것이다. 이 예시에서, 라이브 컨텐츠 스트리밍의 다른 1초가 수신될 때, 슬라이딩 윈도우는 라이브 컨텐츠 스트리밍의 최근 20초를 포함하도록 진행한다. 도 9b는 라이브 컨텐츠 스트리밍의 다른 1초가 수신된 후 라이브 컨텐츠 스트리밍(912)의 다이어그램의 예시를 도시한다. 도 9b의 예시에서, 슬라이딩 윈도우(914)는 라이브 컨텐츠 스트리밍의 최근 20초로 진행하고 이제 프레임(906 및 918)로 경계 지어진다. 유사하게, 이 예시에서, 라이브 프로세싱 모듈(508)은 수신된 라이브 컨텐츠 스트리밍의 마지막 1초를 핑거프린팅하고 핑거프린팅된 부분이 임의의 참조 컨텐츠 아이템과 일치하는지 여부를 결정한다. 도 9c는 라이브 컨텐츠 스트리밍의 다른 1초가 수신된 후 라이브 컨텐츠 스트리밍(922)의 다이어그램의 예시를 도시한다. 도 9c의 예시에서, 슬라이딩 윈도우(924)는 라이브 컨텐츠 스트리밍의 최근 20초로 진행하고 이제 프레임(906 및 928)로 경계 지어진다. 유사하게, 이 예시에서, 라이브 프로세싱 모듈(508)은 수신된 라이브 컨텐츠 스트리밍의 마지막 1초를 핑거프린팅하고 핑거프린팅된 부분이 임의의 참조 컨텐츠 아이템과 일치하는지 여부를 결정한다. 슬라이딩 윈도우를 사용한 이 라이브 컨텐츠 스트리밍 프로세싱 접근법은 최적으로 참조 컨텐츠 아이템에서 일치하는 컨텐츠를 검출할 수 있게 한다. 이 접근법은 참조 라이브 컨텐츠 스트리밍의 수신이 지연되는 상황도 다룰 수 있다. 이러한 경우, 컨텐츠 제공자 시스템은 테스트 라이브 컨텐츠 스트리밍과 지연된 참조 라이브 컨텐츠 스트리밍 간의 일치하는 컨텐츠를 결정할 수 있다. 일부 실시예에서, 슬라이딩 윈도우는 반복되는 패턴을 포함하는 컨텐츠의 식별을 용이하게 하도록 확장될 수 있다.
일부 경우에, 라이브 컨텐츠 스트리밍은 매칭 프로세스를 복잡하게 할 수 있는 왜곡에 민감할 수 있다. 예를 들어, 사용자는 컴퓨팅 장치를 사용하여 캡처된 콘서트의 라이브 컨텐츠 스트리밍을 제공할 수 있다. 이 라이브 컨텐츠 스트리밍은 특정 각도 및/또는 줌 수준에서 캡처될 수 있다. 캡처된 컨텐츠는 컴퓨팅 장치의 흔들림으로 기인한 다양한 회전에도 민감할 수 있다. 이러한 왜곡은 예컨대 인증된 방송자에 의해 제공되는 참조 라이브 컨텐츠 스트리밍(즉, 보호되거나 저작권이 있는 스트리밍)에 대한 정확한 일치를 발견하기 어렵게 만들 수 있다. 일부 실시예에서, 왜곡 모듈(510)은 이러한 왜곡에도 불구하고 컨텐츠 매칭을 가능하게 하기 위해 다양한 접근법을 적용하도록 구성된다.
예를 들어, 일부 실시예에서, 라이브 컨텐츠 스트리밍의 핑거프린팅된 프레임에 대한 일치를 발견하려 시도할 때, 왜곡 모듈(510)은 왜곡된 핑거프린팅된 프레임의 세트를 생성하고 왜곡된 핑거프린팅된 프레임 각각을 사용하여 일치를 발견하려 시도할 수 있다. 따라서, 상기 예에서, 라이브 컨텐츠의 마지막 1초에 대응하는 핑거프린팅된 프레임에 대한 일치를 발견하려 시도할 때, 왜곡 모듈(510)은 핑거프린팅된 프레임에 대응하는 비트의 세트의 인덱스 부분(예컨대, 첫 24 비트)를 치환한다. 일부 실시예에서, 인덱스 부분은 상술한 바와 같이 하나 이상의 역 인덱스의 참조 컨텐츠 아이템을 발견하는데 사용된다. 일부 실시예에서, 왜곡 모듈(510)은 핑거프린팅된 프레임의 인덱스 부분을 한번에 1 비트 치환한다. 예를 들어, 프레임이 6 비트 “010111”를 사용하여 표현되고 인덱스 부분이 첫 3 비트, 예컨대 “010”을 사용하여 표현된다고 가정한다. 이 예시에서, 왜곡 모듈(510)은 인덱스 부분을 한번에 1 비트 치환하여 다음의 왜곡 세트를 생성한다: “000”, “011”, “110”. 이들 왜곡은 프레임에 대응하는 나머지 3 비트, 예컨대 “111”에 접두어로 붙여져 왜곡된 핑거프린팅된 프레임의 다음 세트를 생성할 수 있다: “000111”, “001111”, “011111”, “100111”, “101111”, “110111” 및 “111111”. 상술한 바와 같이 이들 왜곡된 핑거프린팅된 프레임 각각은 하나 이상의 참조 컨텐츠 아이템을 식별하고 이들 참조 컨텐츠 아이템의 어떤 부분이 일치하는 컨텐츠를 포함하는지 결정하는데 사용될 수 있다. 일부 실시예에서, 왜곡 모듈(510)은 핑거프린팅된 프레임의 인덱스 부분을 한번에 다수 비트(예컨대, 2 비트) 치환하여 일치하는 컨텐츠를 식별하기 위해 추가 왜곡된 핑거프린트 프레임을 생성한다. 상기 예시에서, 왜곡 모듈(510)은 인덱스 부분 “010”을 한번에 2 비트 치환하여 다음의 왜곡 세트를 생성한다: “001”, “111” 및 “100”. 일부 실시예에서, 인덱스 부분만 왜곡시키지 않고, 왜곡 모듈(510)은 핑거프린팅된 프레임에 대응하는 비트 전부를 치환한다. 일부 실시예에서, 왜곡 모듈(510)은 비트의 세트에서 치환된 부분(또는 비트 수)을 스로틀링한다. 예를 들어, 일부 실시예에서, 핑거프린팅된 프레임에 대한 일치를 발견하려 시도할 때 치환된 부분(또는 비트 수)은 CPU(central processing unit) 사용량에 따라 달라질 수 있다. 일례로, 왜곡 모듈(510)은 CPU 사용이 임계치 내에 있을 때 프레임의 첫 24 비트를 치환할 수 있고, CPU 사용이 임계치에 도달하면 왜곡 모듈(510)은 프레임의 첫 16 비트로 치환을 줄일 수 있다.
이러한 치환은 일반적으로 두 컨텐츠 아이템의 일치하는 부분을 결정할 때 평가되는 컨텐츠의 양을 증가시키고 이로써 분석되는 테스트 컨텐츠 아이템에 존재할 수 있는 왜곡을 고려한다. 하지만, 일부 경우에, 평가되는 컨텐츠의 양을 규제하는 다양한 접근법이 시스템 성능 향상의 목적으로 적용될 수 있다. 예를 들어, 일부 실시예에서, 임계 CPU(central processing unit) 사용에 도달할 때까지(예컨대, 70 퍼센트, 75 퍼센트 등) 왜곡이 단계적으로 생성 및 테스트될 수 있다. 예를 들어, 핑거프린팅된 프레임은 먼저 아무런 왜곡 없이 평가될 수 있다. 일치가 발견되지 않으면, 핑거프린팅된 프레임은 한번에 1 비트 치환함으로써 왜곡될 수 있다. 치환을 사용하여 일치가 발견되지 않으면, 핑거프린팅된 프레임은 한번에 2 비트 치환함으로써 왜곡될 수 있다. 일부 실시예에서, 임계 질의 시간(예컨대, 150 밀리초, 200 밀리초 등)에 도달할 때까지 왜곡은 단계적으로 생성 및 테스트될 수 있다. 이러한 실시예에서, 매칭 프로세스는 임계 질의 시간이 도달할 때 중단된다. 상술한 바와 같이, 핑거프린트는 컨텐츠의 어떤 길이(예컨대, 컨텐츠의 1초)에 걸친 일련의 프레임(예컨대, 16 프레임)에 대응할 수 있다. 일부 실시예에서, 핑거프린트에 대응하는 16개의 핑거프린팅된 프레임 각각을 평가하는 대신, 왜곡 모듈(510)은 하나 이상의 핑거프린팅된 프레임의 평가를 스킵하도록 구성될 수 있다(예컨대, 15 프레임은 스킵하고 핑거프린트에 대응하는 16번째 프레임만 평가). 일부 실시예에서, 핑거프린트를 평가할 때, 매칭 모듈(502)은 핑거프린트를 더 작은 청크의 세트로 세그먼트화하도록 구성될 수 있고 세트 중 청크 각각은 일반적으로 알려진 병렬 프로세싱 기술을 사용하여 병렬로 프로세스될 수 있다.
도 10은 본 명세서의 다양한 실시예에 따른 데이터를 핑거프린팅하기 위한 프로세스(1000)의 예시를 도시한다. 다르게 언급되지 않으면 본 명세서에 서술된 다양한 실시예의 범위 내에서 유사하거나 대안적인 순서로, 또는 병행하여 수행되는 추가적이거나, 더 적거나, 대안적인 단계가 있을 수 있음을 이해하여야 한다.
블록(1002)에서, 복수의 비디오 프레임을 가지는 테스트 컨텐츠 아이템이 획득된다. 블록(1004)에서, 적어도 하나의 비디오 핑거프린트가 테스트 컨텐츠 아이템에 대응하는 비디오 프레임의 세트에 기반하여 생성된다. 블록(1006)에서, 비디오 핑거프린트의 적어도 일부를 사용하여 적어도 하나의 참조 컨텐츠 아이템이 결정된다. 블록(1008)에서, 테스트 컨텐츠 아이템의 비디오 핑거프린트 및 참조 컨텐츠 아이템의 하나 이상의 비디오 핑거프린트에 적어도 부분적으로 기반하여 테스트 컨텐츠 아이템의 적어도 하나의 부분이 참조 컨텐츠 아이템의 적어도 하나의 부분과 일치한다는 결정이 내려진다.
도 11은 본 명세서의 다양한 실시예에 따른 상이한 타입의 핑거프린트를 사용하여 컨텐츠를 매칭하기 위한 프로세스(1100)의 예시를 도시한다. 다르게 언급되지 않으면 본 명세서에 서술된 다양한 실시예의 범위 내에서 유사하거나 대안적인 순서로, 또는 병행하여 수행되는 추가적이거나, 더 적거나, 대안적인 단계가 있을 수 있음을 이해하여야 한다.
블록(1102)에서, 테스트 컨텐츠 아이템의 적어도 하나의 부분이 테스트 컨텐츠 아이템의 하나 이상의 제1 핑거프린트 및 참조 컨텐츠 아이템의 하나 이상의 제1 핑거프린트를 사용하여 참조 컨텐츠 아이템의 적어도 하나의 부분과 평가된다. 제1 핑거프린트는 제1 타입의 미디어에 대응한다. 블록(1104)에서, 적어도 하나의 검증 기준이 충족된다는 결정이 내려진다. 블록(1106)에서, 테스트 컨텐츠의 일부가 테스트 컨텐츠 아이템의 하나 이상의 제2 핑거프린트 및 참조 컨텐츠 아이템의 하나 이상의 제2 핑거프린트를 사용하여 참조 컨텐츠의 일부와 평가된다. 제2 핑거프린트는 제1 타입의 미디어와 상이한 제2 타입의 미디어에 대응한다.
도 12는 본 명세서의 다양한 실시예에 따른 왜곡된 핑거프린트를 사용하여 컨텐츠를 매칭하기 위한 프로세스(1200)의 예시를 도시한다. 다르게 언급되지 않으면 본 명세서에 서술된 다양한 실시예의 범위 내에서 유사하거나 대안적인 순서로, 또는 병행하여 수행되는 추가적이거나, 더 적거나, 대안적인 단계가 있을 수 있음을 이해하여야 한다.
블록(1202)에서, 적어도 하나의 핑거프린트가 테스트 컨텐츠 아이템에 대응하는 프레임의 세트에 기반하여 생성된다. 블록(1204)에서, 왜곡된 핑거프린트의 세트가 핑거프린트의 적어도 일부를 사용하여 생성된다. 블록(1206)에서, 하나 이상의 참조 컨텐츠 아이템이 왜곡된 핑거프린트의 세트를 사용하여 결정되는데, 테스트 컨텐츠 아이템은 일치하는 컨텐츠를 식별하기 위하여 적어도 하나의 참조 컨텐츠 아이템에 대해 평가된다.
본 명세서의 다양한 실시예와 연관된 많은 다른 사용, 응용 및/또는 변형이 있을 수 있음을 고려한다. 예를 들어, 일부 경우에서, 사용자는 개시된 기술을 이용할 것인지 여부를 선택할 수 있다. 또한, 개시된 기술은 다양한 사생활 설정 및 선호가 유지되고 개인 정보가 유출되는 것을 방지할 수 있음을 보장할 수 있다. 다른 예시에서, 본 명세서의 다양한 실시예는 시간에 걸쳐 학습, 개선 및/또는 개량될 수 있다.
소셜 네트워킹 시스템 - 구현의 예시
도 13은 본 명세서의 일실시예에 따른 다양한 시나리오에서 이용될 수 있는 소셜 네트워킹 시스템(1300)의 예시를 포함하는 시스템의 예시의 네트워크도를 도시한다. 시스템(1300)은 하나 이상의 사용자 장치(1310), 하나 이상의 외부 시스템(1320), 소셜 네트워킹 시스템(또는 서비스)(1330) 및 네트워크(1350)를 포함한다. 일실시예로, 전술한 실시예들과 연계하여 논의된 소셜 네트워킹 서비스, 제공자 및/또는 시스템은 소셜 네트워킹 시스템(1330)으로 구현될 수 있다. 예시적인 목적을 위해, 도 13에 의해 도시된 시스템(1300)의 실시예는 단일 외부 시스템(1320) 및 단일 사용자 장치(1310)를 포함한다. 하지만, 다른 실시예로, 시스템(1300)은 더 많은 사용자 장치(1310) 및/또는 더 많은 외부 시스템(1320)을 포함할 수 있다. 특정 실시예로, 소셜 네트워킹 시스템(1330)은 소셜 네트워크 제공자에 의해 운영되는 한편, 외부 시스템(1320)은, 상이한 엔티티들에 의해 운영될 수 있는 점에서 소셜 네트워킹 시스템(1330)으로부터 분리되어 있다. 하지만, 다양한 실시예로, 소셜 네트워킹 시스템(1330) 및 외부 시스템(1320)은 소셜 네트워킹 시스템(1330)의 사용자들 (또는 구성원들)에게 소셜 네트워킹 서비스를 제공하기 위해 함께 동작한다. 이러한 측면에서, 소셜 네트워킹 시스템(1330)은, 외부 시스템(1320)과 같은 다른 시스템들이 인터넷을 통해 사용자에게 소셜 네트워킹 서비스 및 기능을 제공하는데 사용할 수 있는 플랫폼 또는 백본을 제공한다.
사용자 장치(1310)는 사용자로부터 입력을 수신하고 네트워크(1350)를 통해 송수신할 수 있는 하나 이상의 컴퓨팅 장치(또는 시스템)를 포함한다. 일실시예로, 사용자 장치(1310)는 예컨대, Microsoft Windows 호환가능한 운영 시스템(OS), Apple OS X, 및/또는 리눅스 배포판을 실행하는 종래의 컴퓨터 시스템이다. 다른 실시예로, 사용자 장치(1310)는 컴퓨팅 장치 또는 가령 스마트폰, 태블릿, PDA(personal digital assistant), 모바일 전화, 랩탑 컴퓨터, 웨어러블 장치(예컨대, 안경, 시계, 팔찌 등), 카메라, 가전 등과 같은 컴퓨터 기능을 갖는 장치일 수 있다. 사용자 장치(1310)는 네트워크(1350)를 통해 통신하도록 구성된다. 사용자 장치(1310)는 예컨대, 사용자 장치(1310)의 사용자가 소셜 네트워킹 시스템(1330)과 상호작용할 수 있게 하는 브라우저 애플리케이션과 같은 애플리케이션을 실행할 수 있다. 또 다른 실시예로, 사용자 장치(1310)는 iOS 및 ANDROID와 같은 사용자 장치(1310)의 네이티브 운영 시스템에 의해 제공되는 API(application programming interface)를 통해 소셜 네트워킹 시스템(1330)과 상호작용한다. 사용자 장치(1310)는 유선 및/또는 무선 통신 시스템을 사용하여 근거리 및/또는 원거리 네트워크의 임의의 조합을 포함할 수 있는 네트워크(1350)를 통해 외부 시스템(1320) 및 소셜 네트워킹 시스템(1330)과 통신하도록 구성된다.
일실시예로, 네트워크(1350)는 표준 통신 기술 및 프로토콜을 사용한다. 따라서, 네트워크(1350)는 Ethernet, 802. 11, WiMAX(worldwide interoperability for microwave access), 3G, 4G, CDMA, GSM, LTE, DSL(digital subscriber line) 등과 같은 기술을 사용하는 링크를 포함할 수 있다. 유사하게, 네트워크(1350)에서 사용되는 네트워크 프로토콜은 MPLS(multiprotocol label switching), TCP/IP(transmission control protocol/Internet protocol), UDP(User Datagram Protocol), HTTP(hypertext transport protocol), SMTP(simple mail transfer protocol), FTP(file transfer protocol) 등을 포함할 수 있다. 네트워크(1350) 상에서 교환되는 데이터는 HTML(hypertext markup language) 및 XML(extensible markup language)을 포함하는 기술 및/또는 포맷을 사용하여 표현될 수 있다. 추가로, 모든 또는 일부 링크는 SSL(secure sockets layer), TLS(transport layer security), 및 IPsec(Internet Protocol security)와 같은 종래의 암호화 기술을 사용하여 암호화될 수 있다.
일실시예로, 사용자 장치(1310)는 브라우저 애플리케이션(1312)을 사용하여, 외부 시스템(1320) 및 소셜 네트워킹 시스템(1330)으로부터 수신된 마크업 언어 문서(1314)를 프로세싱함으로써 외부 시스템(1320) 및/또는 소셜 네트워킹 시스템(1330)으로부터의 컨텐츠를 디스플레이할 수 있다. 마크업 언어 문서(1314)는 컨텐츠 및 컨텐츠의 포맷 또는 프레젠테이션을 기술하는 하나 이상의 명령어들을 식별한다. 마크업 언어 문서(1314)에 포함된 명령어들을 실행함으로써, 브라우저 애플리케이션(1312)은 마크업 언어 문서(1314)에 의해 기술된 포맷 또는 프레젠테이션을 사용하여 식별된 컨텐츠를 디스플레이한다. 예컨대, 마크업 언어 문서(1314)는, 외부 시스템(1320) 및 소셜 네트워킹 시스템(1330)으로부터 검색된 텍스트 및/또는 이미지 데이터를 포함하는 다수의 프레임들을 갖는 웹 페이지를 생성하고 디스플레이하기 위한 명령어들을 포함한다. 다양한 실시예로, 마크업 언어 문서(1314)는 XML(extensible markup language) 데이터, XHTML(extensible hypertext markup language) 데이터, 또는 다른 마크업 언어 데이터를 포함하는 데이터 파일을 포함한다. 추가로, 마크업 언어 문서(1314)는 JSON(JavaScript Object Notation) 데이터, 패딩(padding)을 갖는 JSON(JSONP), 및 외부 시스템(1320)과 사용자 장치(1310) 사이의 데이터 상호교환을 용이하게 하는 자바스크립트 데이터를 포함할 수 있다. 사용자 장치(1310)상의 브라우저 애플리케이션(1312)은 마크업 언어 문서(1314)를 디코딩하기 위해 자바스크립트 컴파일러를 사용할 수 있다.
마크업 언어 문서(1314)는 또한, FLASH™ 또는 Unity™ 애플리케이션들, SilverLight™ 애플리케이션 프레임워크(framework) 등과 같은 애플리케이션 또는 애플리케이션 프레임워크를 포함하거나 링크할 수 있다.
일실시예로, 사용자 장치(1310)는 또한, 사용자 장치(1310)의 사용자가 소셜 네트워킹 시스템(1330)으로 로그되는지 여부를 표시하는 데이터를 포함하는 하나 이상의 쿠키(1316)를 포함하고, 이는 소셜 네트워킹 시스템(1330)으로부터 사용자 장치(1310)로 통신되는 데이터의 수정을 가능하게 할 수 있다.
외부 시스템(1320)은, 네트워크(1350)를 사용하여 사용자 장치(1310)로 통신되는 하나 이상의 웹 페이지들(1322a, 1322b)을 포함하는 하나 이상의 웹 서버들을 포함한다. 외부 시스템(1320)은 소셜 네트워킹 시스템(1330)으로부터 분리된다. 예컨대, 외부 시스템(1320)은 제1 도메인과 연관되는 한편, 소셜 네트워킹 시스템(1330)은 분리된 소셜 네트워킹 도메인과 연관된다. 외부 시스템(1320)에 포함된 웹 페이지들(1322a, 1322b)은 컨텐츠를 식별하고 식별된 컨텐츠의 포맷 또는 프레젠테이션을 특정하는 명령어들을 포함하는 마크업 언어 문서(1314)를 포함한다. 전술한 바와 같이, 많은 변형 또는 다른 가능성이 있을 수 있음을 이해할 것이다.
소셜 네트워킹 시스템(1330)은 복수의 사용자들을 포함하는 소셜 네트워크를 위해 소셜 네트워크의 사용자들에게 소셜 네트워크의 다른 사용자들과 통신하고 상호작용하는 능력을 제공하는 하나 이상의 컴퓨팅 장치를 포함한다. 일부 예에서, 소셜 네트워크는 그래프 즉, 에지 및 노드를 포함하는 데이터 구조로 표현될 수 있다. 데이터 베이스, 객체, 클래스, 메타 구성요소, 파일, 또는 임의의 다른 데이터 구조를 포함하지만 이에 제한되지 않는 다른 데이터 구조가 또한, 소셜 네트워크를 표현하는데 사용될 수 있다. 소셜 네트워킹 시스템(1330)은 오퍼레이터에 의해 관리되고, 유지되거나, 또는 제어될 수 있다. 소셜 네트워킹 시스템(1330)의 오퍼레이터는 사람, 자동화된 애플리케이션, 또는 컨텐츠를 관리하고, 정책을 규제하고, 소셜 네트워킹 시스템(1330) 내에서 사용 메트릭을 수집하기 위한 일련의 애플리케이션들일 수 있다. 임의 유형의 운영자가 사용될 수 있다.
사용자들은 소셜 네트워킹 시스템(1330)에 가입할 수 있고, 이후 그들이 연결되고자 하는 소셜 네트워킹 시스템(1330)의 임의의 수의 다른 사용자들에 대한 연결을 추가할 수 있다. 본 명세서에서 사용되는 용어 "친구"는, 사용자가 소셜 네트워킹 시스템(1330)을 통해 연결, 연관, 또는 관계를 형성한 소셜 네트워킹 시스템(1330)의 임의의 다른 사용자를 의미한다. 예컨대, 일실시예로, 소셜 네트워킹 시스템(1330)에서의 사용자들이 소셜 그래프에서 노드로 표현된다면, 용어 "친구"는 2개의 사용자 노드를 직접 연결하고 그 사이에 형성되는 에지를 의미할 수 있다.
연결은 사용자에 의해 명시적으로 추가되거나 사용자의 공통의 특징(예컨대, 동일한 교육 기관의 졸업생들인 사용자들)에 기반하여 소셜 네트워킹 시스템(1330)에 의해 자동으로 생성될 수 있다. 예컨대, 제1 사용자는 구체적으로 특정의 다른 사용자를 친구로 선택한다. 소셜 네트워킹 시스템(1330)에서의 연결은 보통 양방향이지만, 그럴 필요는 없고, 따라서 용어들 "사용자" 및 "친구"는 준거 기준(frame of reference)에 따른다. 소셜 네트워킹 시스템(1330)의 사용자들 사이의 연결은 보통 양방향("쌍방향"), 또는 "상호적"이지만, 연결들은 또한, 일방적, 또는 "일방향"일 수 있다. 예컨대, Bob과 Joe가 모두 소셜 네트워킹 시스템(1330)의 사용자들이고 서로에게 연결되어있다면, Boe과 Joe는 서로의 연결들이다. 반면에, Bob이 소셜 네트워킹 시스템(1330)으로 Joe에 의해 통신되는 데이터를 열람하기 위해 Joe에게 연결하기를 희망한지만, Joe가 상호 연결을 형성하기를 희망하지 않는다면, 일방향 연결이 확립될 수 있다. 사용자들 사이의 연결은 직접적인 연결일 수 있지만, 소셜 네트워킹 시스템(1330)의 일부 실시예들은 하나 이상의 연결 레벨 또는 이격도를 통한 간접적인 연결을 허용한다.
사용자들 사이의 연결을 확립 및 관리하고 사용자들 사이의 상호작용을 허용하는 것에 추가로, 소셜 네트워킹 시스템(1330)은 사용자들에게 소셜 네트워킹 시스템(1330)에 의해 지원되는 다양한 타입의 아이템들에 대해 행위를 수행할 능력을 제공한다. 이러한 아이템들을, 소셜 네트워킹 시스템(1330)의 사용자들이 속할 수 있는 그룹들 또는 네트워크들(즉, 사람들, 엔티티들, 및 컨셉들의 소셜 네트워크), 사용자가 관심있을 수 있는 이벤트 또는 캘린더 엔트리들, 사용자가 소셜 네트워킹 시스템(1330)을 통해 사용할 수 있는 컴퓨터-기반의 애플리케이션들, 사용자가 소셜 네트워킹 시스템(1330)에 의해 제공되거나 소셜 네트워킹 시스템(1330)을 통한 서비스를 통해 아이템들을 사거나 팔 수 있도록 하는 거래들, 사용자가 소셜 네트워킹 시스템(1330) 내에서 혹은 밖에서 수행할 수 있는 광고와의 상호작용들을 포함할 수 있다. 이들은 사용자가 소셜 네트워킹 시스템(1330)에 대해 행동할 수 있는 아이템들의 몇몇 예시에 불과하며, 많은 다른 예들이 가능하다. 사용자는 소셜 네트워킹 시스템(1330)에서 또는 소셜 네트워킹 시스템(1330)과 분리되거나 네트워크(1350)를 통해 소셜 네트워킹 시스템(1330)으로 연결된 외부 시스템(1320)에서, 표현될 수 있는 어떤 것과도 상호작용할 수 있다.
소셜 네트워킹 시스템(1330)은 또한, 다양한 엔티티들을 링크할 수 있다. 예컨대, 소셜 네트워킹 시스템(1330)은 사용자가 API, 웹 서비스, 또는 다른 통신 채널을 통해 외부 시스템(1320) 또는 다른 엔티티들과 상호작용하는 것뿐만 아니라 사용자들 서로와 상호작용할 수 있게 한다. 소셜 네트워킹 시스템(1330)은 복수의 에지에 의해 상호연결된 복수의 노드를 포함하는 "소셜 그래프"를 생성하고 관리한다. 소셜 그래프에서의 각각의 노드는 다른 노드에 대해 행동할 수 있거나 및/또는 다른 노드가 행동할 수 있는 엔티티를 표현할 수 있다. 소셜 그래프는 다양한 타입의 노드들을 포함할 수 있다. 노드의 타입의 예들은 사용자들, 비-인간 엔티티들, 컨텐츠 아이템, 웹 페이지, 그룹, 활동, 메시지, 컨셉, 및 소셜 네트워킹 시스템(1330)에서 객체에 의해 표현될 수 있는 임의의 다른 것들을 포함한다. 소셜 그래프에서 두 노드 사이의 에지는 두 노드 사이의 특정 종류의 연결 또는 연관을 나타낼 수 있으며, 이는 노드 관계 또는 노드들 중 하나에 의해 다른 노드에 수행되었던 행위로부터의 결과일 수 있다. 일부 경우에서, 노드 사이의 에지에는 가중치가 부과될 수 있다. 에지의 가중치는 노드 사이의 연결 또는 연관의 강도와 같은 에지와 연관된 속성을 표현할 수 있다. 상이한 타입의 에지에는 상이한 가중치가 제공될 수 있다. 예컨대, 한 명의 사용자가 다른 사용자를 "좋아요"할 때 생성된 에지에는 하나의 가중치가 부여될 수 있는 한편, 사용자가 다른 사용자를 친구로 삼을 때 생성된 에지에는 상이한 가중치가 부여될 수 있다.
예로서, 제1 사용자가 제2 사용자를 친구로 식별할 때, 소셜 그래프에서의 에지는 제1 사용자를 표현하는 노드와 제2 사용자를 표현하는 제2 노드를 연결하도록 생성된다. 다양한 노드가 서로 연관되고 상호작용함에 따라, 소셜 네트워킹 시스템(1330)은 관계 및 상호작용을 반영하도록 다양한 노드를 연결하는 에지들을 수정한다.
소셜 네트워킹 시스템(1330)은 또한, 소셜 네트워킹 시스템(1330)과의 사용자 상호작용을 향상시키는 사용자-생성된 컨텐츠를 포함한다. 사용자-생성된 컨텐츠는, 사용자가 소셜 네트워킹 시스템(1330)에 추가, 업로드, 전송 또는 "게시"할 수 있는 모든 것을 포함할 수 있다. 예컨대, 사용자는 사용자 장치(1310)로부터 소셜 네트워킹 시스템(1330)에 게시물을 통신한다. 게시물은 상태 업데이트 또는 다른 텍스트 데이터, 위치 정보, 사진과 같은 이미지, 비디오, 링크, 음악, 또는 다른 유사한 데이터 및/또는 미디어와 같은 데이터를 포함할 수 있다. 컨텐츠는 또한, 제3자에 의해 소셜 네트워킹 시스템(1330)에 추가될 수 있다. 컨텐츠 "아이템"들은 소셜 네트워킹 시스템(1330)에서 객체로 표현될 수 있다. 이러한 방식으로, 소셜 네트워킹 시스템(1330)의 사용자들은, 다양한 통신 채널을 통해 미디어의 다양한 타입의 텍스트 및 컨텐츠 아이템을 게시함으로써 서로와 통신하도록 장려된다. 이러한 통신은 사용자들 서로간의 상호작용을 증가시키고 사용자가 소셜 네트워킹 시스템(1330)과 상호작용하는 빈도를 증가시킨다.
소셜 네트워킹 시스템(1330)은 웹 서버(1332), API 요청 서버(1334), 사용자 프로필 스토어(1336), 연결 스토어(1338), 행위 로거(1340), 활동 로그(1342) 및 인증 서버(1344)를 포함한다. 본 발명의 일실시예로, 소셜 네트워킹 시스템(1330)은 다양한 애플리케이션을 위해 추가의, 더 적은 수의, 혹은 상이한 컴포넌트들을 포함할 수 있다. 네트워크 인터페이스, 보안 메커니즘, 로드 균형기(load balancer), 장애복구 서버(failover server), 관리 및 네트워크 운영 콘솔 등과 같은 다른 컴포넌트들은 시스템의 세부사항을 불명확하게 만들지 않기 위해 도시되지 않는다.
사용자 프로필 스토어(1336)는, 사용자에 의해 선언되었거나 소셜 네트워킹 시스템(1330)에 의해 추론된 경력, 학력, 취미 또는 선호도, 위치 등과 같은 인명적, 인구학적, 및 다른 타입의 기술적 정보를 포함하는 사용자 계정에 관한 정보를 관리한다. 이 정보는 사용자 프로필 스토어(1336)에 저장되어서, 각각의 사용자가 고유하게 식별되도록 한다. 소셜 네트워킹 시스템(1330)은 또한, 연결 스토어(1338)에서의 상이한 사용자들 사이의 하나 이상의 연결을 기술하는 데이터를 저장한다. 연결 정보는 유사하거나 공통되는 경력, 그룹 멤버쉽, 취미, 또는 학력을 갖는 사용자들을 표시할 수 있다. 추가로, 소셜 네트워킹 시스템(1330)은 상이한 사용자들 사이의 사용자-정의된 연결을 포함하여, 사용자들이 다른 사용자들과의 그들의 관계를 특정할 수 있도록 한다. 예컨대, 사용자-정의된 연결은 사용자가 사용자의 실제-삶에서의 관계들, 가령 친구들, 동료들, 파트너들 등에 필적하는 다른 사용자들과의 관계를 생성할 수 있도록 한다. 사용자는 기정의된 연결 타입으로부터 선택될 수 있거나, 필요에 따라 스스로 연결 타입을 정의할 수 있다. 소셜 네트워킹 시스템(1330)에서의 다른 노드들과의 연결, 가령 비-인간 엔티티들, 버켓, 클러스터 센터, 이미지, 관심사, 페이지, 외부 시스템, 컨셉 등이 또한, 연결 스토어(1338)에 저장된다.
소셜 네트워킹 시스템(1330)은 사용자가 상호작용할 수 있는 객체들에 관한 데이터를 관리한다. 이 데이터를 관리하기 위해, 사용자 프로필 스토어(1336) 및 연결 스토어(1338)는 소셜 네트워킹 시스템(1330)에 의해 관리되는 객체들의 대응하는 타입의 인스턴스들을 저장한다. 각 객체 유형은 객체 유형에 적절한 정보를 저장하는데 적합한 정보 필드를 가진다. 예컨대, 사용자 프로필 스토어(1336)는 사용자의 계정 및 사용자의 계정과 관련된 정보를 기술하기에 적절한 필드를 갖는 데이터 구조를 포함한다. 특정 타입의 새로운 객체가 생성될 때, 소셜 네트워킹 시스템(1330)은 대응하는 타입의 새로운 데이터 구조를 초기화하고, 고유한 객체 식별자를 그것에 할당하며, 필요에 따라 객체에 데이터를 추가한다. 이는 예컨대, 사용자가 소셜 네트워킹 시스템(1330)의 사용자가 되고, 소셜 네트워킹 시스템(1330)이 사용자 프로필 스토어(1336)에 사용자 프로필의 새로운 인스턴스를 생성하며, 고유한 식별자를 사용자 계정에 할당하고, 사용자에 의해 제공된 정보로 사용자 계정의 필드를 채우는 것을 시작할 때에 발생할 수 있다.
연결 스토어(1338)는 사용자의 다른 사용자들에 대한 연결, 외부 시스템(1320)으로의 연결 또는 다른 엔티티들로의 연결을 기술하는데 적절한 데이터 구조를 포함한다. 연결 스토어(1338)는 또한, 연결 타입을 사용자의 연결과 연관시킬 수 있고, 연결 타입은 사용자에 관한 정보에 대한 액세스를 규제하기 위해 사용자의 개인정보 설정과 함께 사용될 수 있다. 본 발명의 일실시예로, 사용자 프로필 스토어(1336) 및 연결 스토어(1338)는 연합된 데이터베이스로 구현될 수 있다.
연결 스토어(1338), 사용자 프로필 스토어(1336), 및 활동 로그(1342)에 저장된 데이터는 소셜 네트워킹 시스템(1330)이 상이한 객체들 사이의 관계를 식별하기 위해 다양한 객체 및 노드를 연결하는 에지를 식별하도록 노드를 사용하는 소셜 그래프를 생성할 수 있도록 한다. 예컨대, 제1 사용자가 소셜 네트워킹 시스템(1330)에서 제2 사용자와의 연결을 확립한다면, 사용자 프로필 스토어(1336)로부터의 제1 사용자 및 제2 사용자의 사용자 계정들은 소셜 그래프에서 노드로서 역할을 할 수 있다. 연결 스토어(1338)에 의해 저장된 제1 사용자 및 제2 사용자 사이의 연결은 제1 사용자 및 제2 사용자와 연관된 노드들 사이의 에지이다. 이 예로 계속하면, 제2 사용자는 이후, 소셜 네트워킹 시스템(1330) 내에서 제1 사용자에게 메시지를 전송할 수 있다. 저장될 수 있는 이 메시지를 전송하는 행위는, 제1 사용자 및 제2 사용자를 표현하는 소셜 그래프에서의 2개의 노드 사이의 또 다른 에지이다. 추가로, 메시지 자체는 제1 사용자 및 제2 사용자를 나타내는 노드에 연결된 다른 노드로서 식별되고 소셜 그래프 내에 포함될 수 있다.
다른 예로, 제1 사용자는 소셜 네트워킹 시스템(1330)에 의해 관리되는 이미지에서 (또는 대안으로, 소셜 네트워킹 시스템(1330) 외부의 다른 시스템에 의해 관리되는 이미지)에서 제2 사용자를 태그할 수 있다. 이미지는 그 자체가 소셜 네트워킹 시스템(1330)에서 노드로 표현될 수 있다. 이 태깅 행위는 제1 사용자와 제2 사용자 사이의 에지를 생성할뿐 아니라 사용자 각각과 소셜 그래프 내의 노드인 이미지 사이의 에지를 생성할 수 있다. 또 다른 예로, 사용자가 이벤트에 참석하는 것을 확인한다면, 사용자 및 이벤트는 사용자 프로필 스토어(1336)로부터 획득되는 노드들이며, 여기서 이벤트의 참석은 활동 로그(1342)로부터 검색될 수 있는 노드 사이의 에지이다. 소셜 그래프를 생성하고 관리함으로써, 소셜 네트워킹 시스템(1330)은 상이한 타입의 객체 및 상호작용과 그 객체들 사이의 연결을 기술하는 데이터를 포함하고, 소셜적으로 관련된(socially relevant) 정보의 풍부한 소스를 제공한다.
웹 서버(1332)는 네트워크(1350)를 통해 소셜 네트워킹 시스템(1330)을 하나 이상의 사용자 장치(1310) 및/또는 하나 이상의 외부 시스템(1320)으로 링크한다. 웹 서버(1332)는, 가령 Java, JavaScript, Flash, XML 등과 같은 다른 웹-연관 컨텐츠뿐만 아니라 웹 페이지들을 서빙한다. 웹 서버(1332)는 메일 서버 또는 소셜 네트워킹 시스템(1330)과 하나 이상의 사용자 장치(1310) 사이의 메시지를 수신하고 라우팅하기 위한 다른 메시징 기능을 포함할 수 있다. 메시지는 인스턴트 메시지, 큐잉된 메시지(예컨대, 이메일), 텍스트 및 SMS 메시지, 또는 임의의 다른 적절한 메시지 포맷일 수 있다.
API 요청 서버(1334)는, 하나 이상의 API 함수를 호출함으로써 하나 이상의 외부 시스템(1320) 및 사용자 장치(1310)가 소셜 네트워킹 시스템(1330)으로부터 액세스 정보를 호출하도록 한다. API 요청 서버(1334)는 또한, API들을 호출함으로써 외부 시스템(1320)이 소셜 네트워킹 시스템(1330)으로 정보를 전송하도록 할 수 있다. 일 실시예로, 외부 시스템(1320)은 네트워크(1350)를 통하여 소셜 네트워킹 시스템(1330)으로 API 요청을 전송하며, API 요청 서버(1334)는 그 API 요청을 수신한다. API 요청 서버(1334)는 API 요청 서버(1334)가 네트워크(1350)를 통하여 외부 시스템(1320)으로 통신할 적절한 응답을 생성하기 위하여 API 요청과 연관된 API를 호출하는 것에 의하여 그 요청을 처리한다. 예컨대, API 요청에 응답하여, API 요청 서버(1334)는 가령 외부 시스템(1320)으로 로그된 사용자의 연결과 같은 사용자와 연관된 데이터를 수집하고, 수집된 데이터를 외부 시스템(1320)으로 통신한다. 다른 실시예로, 사용자 장치(1310)는 외부 시스템(1320)과 동일한 방식으로 소셜 네트워킹 시스템(1330)과 API들을 통해 통신한다.
행위 로거(1340)는 소셜 네트워킹 시스템(1330) 안에서의 및/또는 밖에서의 사용자 행위에 관한 통신을 웹 서버(1332)로부터 수신할 수 있다. 행위 로거(1340)는 사용자 행위에 관한 정보로 활동 로그(1342)를 채워서 소셜 네트워킹 시스템(1330)이 소셜 네트워킹 시스템(1330) 내에서 및 소셜 네트워킹 시스템(1330) 밖에서 그것의 사용자들에 의해 행해진 다양한 행위를 발견할 수 있도록 한다. 특정 사용자가 소셜 네트워킹 시스템(1330) 상의 다른 노드에 관해 행한 임의의 행위는, 활동 로그(1342) 또는 유사한 데이터베이스 또는 다른 데이터 저장소에 관리되는 정보를 통해 각각의 사용자의 계정과 연관될 수 있다. 식별되고 저장된 소셜 네트워킹 시스템(1330) 내에서 사용자에 의해 행해진 행위의 예들은 예컨대, 다른 사용자로의 연결의 추가, 다른 사용자에게 메세지를 전송, 다른 사용자로부터의 메시지를 읽기, 다른 사용자와 연관된 컨텐츠를 열람, 다른 사용자에 의해 게시된 이벤트에 참석, 이미지를 게시, 이미지를 게시하는 것의 시도, 또는 다른 사용자 또는 다른 객체와 상호작용하는 다른 행위들을 포함할 수 있다. 사용자가 소셜 네트워킹 시스템(1330) 내에서 행위를 행할 때, 행위는 활동 로그(1342)에 기록된다. 일실시예로, 소셜 네트워킹 시스템(1330)은 일실시예로, 소셜 네트워킹 시스템(1330)은 활동 로그(1342)를 엔트리들의 데이터베이스로서 관리한다. 행위가 소셜 네트워킹 시스템(1330) 내에서 행해질 때, 행위에 대한 엔트리는 활동 로그(1342)에 추가된다. 활동 로그(1342)는 행위 로그라고 언급될 수 있다.
추가로, 사용자 행위는 가령 소셜 네트워킹 시스템(1330)으로부터 분리된 외부 시스템(1320)과 같이 소셜 네트워킹 시스템(1330)의 외부의 엔트리 내에서 발생하는 컨셉 및 행위와 연관될 수 있다. 예컨대, 행위 로거(1340)는 웹 서버(1332)로부터 외부 시스템(1320)과의 사용자 상호작용을 기술하는 데이터를 수신할 수 있다. 이 예에서, 외부 시스템(1320)은 소셜 그래프에서의 구조화된 행위 및 객체에 따라 사용자의 상호작용을 보고한다.
사용자가 외부 시스템(1320)과 상호작용하는 행위들의 다른 예들은, 사용자가 외부 시스템(1320) 또는 다른 엔티티에 대한 관심을 표현하는 것, 사용자가 외부 시스템(1320) 또는 외부 시스템(1320) 내의 웹 페이지(1322a)를 논의하는 코멘트를 소셜 네트워킹 시스템(1330)에 게시하는 것, 사용자가 외부 시스템(1320)과 연관된 URL(Uniform Resource Locator) 또는 다른 식별자를 소셜 네트워킹 시스템(1330)에 게시하는 것, 사용자가 외부 시스템(1320)과 연관된 이벤트에 참석하는 것, 또는 외부 시스템(1320)과 관련된 사용자에 의한 임의의 다른 행위를 포함한다. 따라서, 활동 로그(1342)는 소셜 네트워킹 시스템(1330)의 사용자 및 소셜 네트워킹 시스템(1330)으로부터 분리된 외부 시스템(1320) 사이의 상호작용을 기술하는 행위들을 포함할 수 있다.
인증 서버(1344)는 소셜 네트워킹 시스템(1330)의 사용자들의 하나 이상의 개인정보 설정을 강제한다. 사용자의 개인정보 설정은 어떻게 사용자와 관련된 특정 정보가 공유될 수 있는지를 결정한다. 개인정보 설정은 사용자와 연관된 특정 정보의 명세(specification) 및 정보가 공유될 수 있는 엔티티 또는 엔티티들의 명세를 포함한다. 정보가 공유될 수 있는 엔티티들의 예들은 다른 사용자들, 애플리케이션, 외부 시스템(1320), 또는 정보에 잠재적으로 액세스할 수 있는 임의의 엔티티를 포함할 수 있다. 사용자에 의해 공유될 수 있는 정보는 가령, 프로필 사진, 사용자와 연관된 전화번호, 사용자의 연결, 연결을 추가하기, 사용자의 프로필 정보를 변경하기와 같은 사용자에 의해 행해진 행위 등과 같은 사용자 계정 정보를 포함한다.
개인정보 설정 명세가 상이한 레벨의 입상도(granularity)에서 제공될 수 있다. 예컨대, 개인정보 설정은 다른 사용자들과 공유될 특정 정보를 식별할 수 있고; 개인정보 설정은 직장 전화번호 또는 가령, 프로필 사진, 집 전화번호, 및 상태와 같은 관련된 정보의 특정 세트를 식별한다. 대안으로, 개인정보 설정은 사용자와 연관된 모든 정보에 적용될 수 있다. 특정 정보에 접속할 수 있는 엔터티 세트의 사양 또한 다양한 상세도 레벨으로 특정될 수 있다. 정보가 공유될 수 있는 다양한 세트의 엔티티들은 예컨대, 사용자의 모든 친구들, 친구들의 모든 친구들, 모든 애플리케이션, 또는 모든 외부 시스템(1320)을 포함할 수 있다. 일 실시예는 엔터티 세트의 사양이 엔터티들의 나열을 포함하게 한다. 예컨대, 사용자는 특정 정보에 액세스하는 것이 허용되는 외부 시스템(1320)의 리스트를 제공할 수 있다. 다른 실시예는 사양이 정보에 접속이 허용되지 않는 예외와 함께 엔터티 세트를 포함하게 할 수 있게 한다. 예컨대, 사용자는 모든 외부 시스템(1320)이 사용자의 작업 정보에 액세스할 수 있도록 하지만, 작업 정보에 액세스하는 것이 허용되지 않는 외부 시스템(1320)의 리스트를 특정할 수 있다. 특정 실시예들은 특정 정보를 액세스하는 것이 허용되지 않는 예외들의 리스트를 "차단 리스트"라고 할 수 있다. 사용자에 의해 특정된 차단 리스트에 속하는 외부 시스템(1320)은 개인정보 설정에 특정된 정보를 액세스하는 것으로부터 차단된다. 정보의 명세의 입상도 및 정보가 공유되는 엔티티들의 명세의 입상도의 다양한 조합이 가능하다. 예컨대, 모든 개인 정보는 친구들과 공유될 수 있는 한편, 모든 작업 정보는 친구의 친구들과 공유될 수 있다.
인증 서버(1344)는 사용자와 연관된 특정 정보가 사용자의 친구들, 외부 시스템(1320), 및/또는 다른 애플리케이션과 엔티티들에 의해 액세스될 수 있는지 여부를 결정하는 로직을 포함한다. 외부 시스템(1320)은 가령 사용자의 직장 전화번호와 같은 사용자의 더 개인적이고 민감한 정보에 액세스하기 위해 인증 서버(1344)로부터의 인증이 필요할 수 있다. 사용자의 개인정보 설정에 기반하여, 인증 서버(1344)는, 다른 사용자, 외부 시스템(1320), 애플리케이션, 또는 다른 엔티티가 사용자에 의해 행해진 행위에 관한 정보를 포함하는 사용자와 연관된 정보에 액세스하는 것이 허용되는지 여부를 결정한다.
일부 실시예에서, 소셜 네트워킹 시스템(1330)은 컨텐츠 제공자 모듈(1346)을 포함할 수 있다. 컨텐츠 제공자 모듈(1346)은 예컨대 도 1의 컨텐츠 제공자 모듈(102)로 구현될 수 있다. 전술한 바와 같이, 많은 변형 또는 다른 가능성이 있을 수 있음을 이해할 것이다.
하드웨어 구현
전술한 프로세스 및 특징들은 광범위하게 다양한 네트워크 및 컴퓨팅 환경에서 광범위하게 다양한 기계 및 컴퓨터 시스템 구조에 의해 구현될 수 있다. 도 14는 본 발명의 실시예에 따른, 본 명세서에 기술된 하나 이상의 실시예들을 구현하도록 사용될 수 있는 컴퓨터 시스템(1400)의 예시를 도시한다. 컴퓨터 시스템(1400)은 컴퓨터 시스템(1400)이 본 명세서에 기술된 프로세스 및 특징들을 수행하도록 야기하는 명령어들의 세트들을 포함한다. 컴퓨터 시스템(1400)은 다른 기계들에 연결(예컨대, 네트워크화)될 수 있다. 네트워크화된 배치에서, 컴퓨터 시스템(1400)은 클라이언트-서버 네트워크 환경에서의 서버 기계 또는 클라이언트 기계의 용량으로 또는 피어-투-피어 (또는 분산형) 네트워크 환경에서의 피어 기계로서 동작할 수 있다. 본 발명의 일실시예로, 컴퓨터 시스템(1400)은 소셜 네트워킹 시스템(1330), 사용자 장치(1310) 및 외부 시스템(1420)이거나 그들의 컴포넌트일 수 있다. 본 발명의 일실시예로, 컴퓨터 시스템(1400)은 소셜 네트워킹 시스템(1330)의 전부 또는 일부를 구성하는 많은 수의 서버들 중 하나의 서버일 수 있다.
컴퓨터 시스템(1400)은, 본 명세서에 기술된 프로세스 및 특징에 관련되고, 컴퓨터-판독가능한 매체에 저장된 프로세서(1402), 캐시(1404), 및 하나 이상의 실행가능한 모듈 및 드라이버를 포함한다. 추가로, 컴퓨터 시스템(1400)은 고성능 입력/출력(I/O) 버스(1406) 및 표준 I/O 버스(1408)를 포함한다. 호스트 브리지(1410)는 프로세서(1402)를 고성능 I/O 버스(1406)에 연결하는 한편, I/O 버스 브리지(1412)는 2개의 버스들(1406, 1408)을 서로 연결한다. 시스템 메모리(1414) 및 하나 이상의 네트워크 인터페이스(1416)는 고성능 I/O 버스(1406)에 연결된다. 컴퓨터 시스템(1400)은 비디오 메모리 및 비디오 메모리에 연결된 디스플레이 장치(도시되지 않음)를 더 포함할 수 있다. 대용량 저장소(1418) 및 I/O 포트(1420)는 표준 I/O 버스(1408)에 연결된다. 컴퓨터 시스템(1400)은 선택적으로 키보드, 포인팅 장치, 디스플레이 장치, 또는 표준 I/O 버스(1408)에 연결된 다른 입력/출력 장치들(도시되지 않음)을 포함할 수 있다. 전체적으로, 이러한 구성요소들은, 캘리포니아 산타 클라라의 인텔사에 의해 제조된 x86-호환 프로세서, 및 캘리포니아 서니데일의 AMD(Advanced Micro Devices), Inc. 에 의해 제조된 x86-호환 프로세서뿐만 아니라 임의의 다른 적절한 프로세서에 기반하는 컴퓨터 시스템을 포함하지만 이에 제한되지 않는 컴퓨터 하드웨어 시스템의 넓은 카테고리를 표현하도록 의도되었다.
운영 시스템은, 소프트웨어 애플리케이션(도시되지 않음)으로 오가는 데이터의 입력 및 출력을 포함하는 컴퓨터 시스템(1400)의 동작을 관리하고 제어한다. 운영 시스템은 시스템상에 실행되는 소프트웨어 애플리케이션과 시스템의 하드웨어 컴포넌트들 사이의 인터페이스를 제공한다. 가령 LINUX 운영 시스템, 캘리포니아 쿠퍼티노의 Apple Computer Inc. 로부터 이용가능한 Apple Macintosh 운영 시스템, UNIX 운영 시스템, Microsoft® Windows® 운영 시스템, BSD 운영 시스템 등과 같은 임의의 적절한 운영 시스템이 이용될 수 있다. 다른 구현도 가능하다.
컴퓨터 시스템(1400)의 구성요소들은 아래에서 더 상세하게 기술된다. 특히, 네트워크 인터페이스(1416)는 컴퓨터 시스템(1400) 및 가령 Ethernet(예컨대, IEEE 802. 3) 네트워크, 백플레인(backplane) 등과 같은 임의의 광범위의 네트워크 사이의 통신을 제공한다. 대용량 저장소(1418)는 앞서 식별된 각각의 컴퓨팅 시스템들에 의해 구현되는 상기 프로세스들 및 특징들을 수행하는 프로그래밍 명령어들 및 데이터를 위한 영구적인 저장소를 제공하는 한편, 시스템 메모리(1414)(예컨대, DRAM)는 프로세서(1402)에 의해 실행될 때 데이터 및 프로그래밍 명령어들을 위한 임시적인 저장소를 제공한다. I/O 포트(1420)는, 컴퓨터 시스템(1400)에 연결될 수 있는 추가 주변 장치들 사이의 통신을 제공하는 하나 이상의 직렬 및/또는 병렬 통신 포트일 수 있다.
컴퓨터 시스템(1400)은 다양한 시스템 구조들을 포함할 수 있고, 컴퓨터 시스템(1400)의 다양한 컴포넌트들은 재정렬될 수 있다. 예컨대, 캐시(1404)는 프로세서(1402)를 갖는 온-칩일 수 있다. 대안으로, 캐시(1404) 및 프로세서(1402)는 프로세서(1402)가 "프로세서 코어"로 불리는 "프로세서 모듈"로 함께 패킹(pack)될 수 있다. 더욱이, 본 발명의 특정 실시예들은 상기의 컴포넌트들 전부를 요구하지도 않고 포함하지도 않을 수 있다. 예컨대, 표준 I/O 버스(1408)에 연결된 주변 장치들은 고성능 I/O 버스(1406)에 연결될 수 있다. 추가로, 일부 실시예로, 단일 버스만이 존재할 수 있고, 컴퓨터 시스템(1400)의 컴포넌트들은 단일 버스에 연결될 수 있다. 더욱이, 컴퓨터 시스템(1400)은 가령 추가적인 프로세서, 저장 장치, 또는 메모리와 같은 추가 컴포넌트들을 포함할 수 있다.
일반적으로, 본 명세서에 기술된 프로세스 및 특징들은 운영 시스템 또는 특정 애플리케이션, 컴포넌트, 프로그램, 객체, 모듈 또는 "프로그램"으로 불리는 일련의 명령어들의 일부로서 구현될 수 있다. 예컨대, 하나 이상의 프로그램들은 본 명세서에 기술된 특정 프로세스들을 실행하는데 사용될 수 있다. 프로그램들은 전형적으로 하나 이상의 프로세서에 의해 읽혀지고 실행될 때 컴퓨터 시스템(1400)이 본 명세서에 기술된 프로세스 및 특징들을 실행하는 동작들을 수행하도록 야기하는 하나 이상의 명령어들을 컴퓨터 시스템(1400)에서 다양한 메모리 및 저장 장치에서 포함할 수 있다. 본 명세서에 기술된 프로세스 및 특징들은 소프트웨어, 펌웨어, 하드웨어(예컨대, 애플리케이션 고유의 집적 회로(application specific integrated circuit; ASIC), 또는 이들의 임의의 조합에서 구현될 수 있다.
하나의 구현예로, 본 명세서에 기술된 프로세스 및 특징들은, 컴퓨터 시스템(1400)에 의해 실행되는 일련의 실행가능한 모듈로서 분산형 컴퓨팅 환경에서 개별적으로 또는 집합적으로 구현될 수 있다. 전술한 모듈들은 하드웨어, 컴퓨터-판독가능한 매체 (또는 기계-판독가능한 매체), 또는 이들 모두의 조합에 의해 실현될 수 있다. 예컨대, 모듈은 가령, 프로세서(1402)와 같은 하드웨어 시스템에서의 프로세서에 의해 실행되는 복수의 또는 일련의 명령어들을 포함할 수 있다. 초기에, 일련의 명령어들은 가령, 대용량 저장소(1418)와 같은 저장 장치에 저장될 수 있다. 하지만, 일련의 명령어들은 임의의 적절한 컴퓨터-판독가능한 저장 매체에 저장될 수 있다. 더욱이, 일련의 명령어들은 로컬에서 저장될 필요가 없으며, 네트워크 인터페이스(1416)를 통해 가령 네트워크상의 서버와 같은 원격 저장 장치로부터 수신될 수 있다. 명령어들은 가령 대용량 저장소(1418)와 같은 저장 장치로부터 시스템 메모리(1414)로 복사되고, 이후 프로세서(1402)에 의해 액세스되고 실행된다. 다양한 구현예에서, 모듈 또는 모듈들은 프로세서나 복수의 프로세서들에 의하여 하나 또는 복수의 위치, 예컨대 병렬 프로세싱 환경의 복수의 서버에서 실행될 수 있다.
컴퓨터-판독가능한 매체의 예들은, 가령 휘발성 및 비-휘발성 메모리 장치와 같은 기록 가능한 타입의 매체; 고체 상태 메모리(solid state memory; SSD); 플로피 및 다른 제거가능한 디스크; 하드 디스크 드라이브, 자기 매체; 광학 디스크(예컨대, CD ROMS(Compact Disk Read-Only Memory), DVDs(Digital Versatile Disks)); 다른 유사한 비-일시적 (또는 일시적), 실체적 (또는 비-실체적) 저장 매체; 또는 본 명세서에 기술되는 임의의 하나 이상의 프로세스 및 특징을 수행하는 컴퓨터 시스템(1400)에 의해 실행하기 위한 일련의 명령어들을 저장하고, 인코딩하고, 운반하는데 적절한 임의의 타입의 매체를 포함하지만, 이에 제한되지 않는다.
설명하기 위한 목적을 위해, 발명의 설명의 완전한 이해를 제공하도록 다수의 구체적인 세부사항들이 언급된다. 하지만, 본 명세서의 실시예들은 이러한 구체적인 세부사항들 없이도 실행될 수 있음이 통상의 기술자에게 자명해질 것이다. 다른 예에서, 기능적 블록 다이어그램 및 흐름 다이어그램은 데이터 및 로직의 흐름을 표현하도록 도시된다. 다른 예에서, 기능적 블록 다이어그램 및 흐름 다이어그램은 데이터 및 로직의 흐름을 표현하도록 도시된다. 블록 다이어그램 및 흐름 다이어그램의 컴포넌트들(예컨대, 모듈, 블록, 구조, 장치, 특징 등)은 본 명세서에 명시적으로 기술되고 도시된 것과 다른 방식으로 다양하게 조합되고, 분리되고, 제거되고, 재정렬되고, 대체될 수 있다.
본 명세서에서의 "일실시예", "실시예", "다른 실시예", "일련의 실시예", "일부 실시예", "다양한 실시예" 등에 대한 언급은, 실시예와 연계되어 기술된 특정의 특징, 설계, 구조, 또는 특성이 본 명세서의 적어도 하나의 실시예에 포함되는 것을 의미한다. 본 명세서에서의 다양한 위치에서 가령, "일실시예로" 또는 "실시예로"와 같은 구절이 나타나는 것은 동일한 실시예를 언급하거나 혹은 다른 실시예들과 상호 배타적이며 분리된 또는 대안적 실시예들을 필연적으로 언급하는 것은 아니다. 더욱이, "실시예" 등에 대한 명시적인 언급이 있는지와 무관하게, 다양하게 조합될 수 있고 일부 실시예들에 포함될 수 있는 다양한 특징들이 기술되지만, 이들은 또한, 다른 실시예들에서 다양하게 생략된다. 마찬가지로, 일부 실시예에 대하여 바람직하거나 필요할 수 있지만 다른 실시예에서는 그렇지 않은 다양한 특징들이 개시된다.
본 명세서에 사용되는 용어는 원칙적으로 가독성 및 훈시적 목적을 위해서 선택되었으며, 발명의 대상을 묘사하거나 제한하기 위해 선택된 것은 아니다. 따라서, 본 발명의 범위는, 본 발명의 상세한 설명에 의해 제한되는 것이 아니며, 본 출원이 기초로 하는 제출되는 청구범위에 의해 정의되는 것으로 의도되었다. 따라서, 본 발명의 실시예들의 개시는 설명을 위한 것이며, 본 발명의 범위를 제한하고자 하는 것이 아니다. 본 발명의 범위는 이하의 청구범위에 개시된다.

Claims (34)

  1. 컴퓨팅 시스템에 의하여, 테스트 컨텐츠 아이템의 하나 이상의 제1 핑거프린트와 참조 컨텐츠 아이템의 하나 이상의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 적어도 하나의 부분을 참조 컨텐츠 아이템의 적어도 하나의 부분과 평가하는 단계;
    컴퓨팅 시스템에 의하여, 적어도 하나의 검증 기준이 충족되었다고 결정하는 단계; 및
    컴퓨팅 시스템에 의하여, 테스트 컨텐츠의 하나 이상의 제2 핑거프린트와 참조 컨텐츠의 하나 이상의 제2 핑거프린트를 사용하여 테스트 컨텐츠의 부분을 참조 컨텐츠 아이템의 부분과 평가하는 단계를 포함하고,
    제1 핑거프린트는 제1 타입의 미디어에 대응하고,
    제2 핑거프린트는 제1 타입의 미디어와 상이한 제2 타입의 미디어에 대응하는 컴퓨터 구현 방법.
  2. 청구항 1에 있어서,
    테스트 컨텐츠의 부분을 참조 컨텐츠의 부분과 평가하는 단계는:
    컴퓨팅 시스템에 의하여, 테스트 컨텐츠 아이템의 부분에 대응하는 하나 이상의 제2 핑거프린트를 획득하는 단계;
    컴퓨팅 시스템에 의하여, 참조 컨텐츠 아이템의 부분에 대응하는 하나 이상의 제2 핑거프린트를 획득하는 단계; 및
    컴퓨팅 시스템에 의하여, 테스트 컨텐츠 아이템의 제2 핑거프린트와 참조 컨텐츠 아이템의 제2 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템의 부분과 일치한다고 결정하는 단계를 더 포함하는 컴퓨터 구현 방법.
  3. 청구항 1에 있어서,
    적어도 하나의 검증 기준이 충족되었다고 결정하는 단계는:
    컴퓨팅 시스템에 의하여, 테스트 컨텐츠 아이템의 제1 핑거프린트와 참조 컨텐츠 아이템의 제2 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템과 일치하지 않는다고 결정하는 단계를 더 포함하는 컴퓨터 구현 방법.
  4. 청구항 1에 있어서,
    적어도 하나의 검증 기준이 충족되었다고 결정하는 단계는:
    컴퓨팅 시스템에 의하여, 테스트 컨텐츠 아이템의 제1 핑거프린트와 참조 컨텐츠 아이템의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템의 부분과 일치한다고 결정하는 단계를 더 포함하는 컴퓨터 구현 방법.
  5. 청구항 1에 있어서,
    적어도 하나의 검증 기준이 충족되었다고 결정하는 단계는:
    컴퓨팅 시스템에 의하여, 임계 기간 동안 테스트 컨텐츠 아이템 및 참조 컨텐츠 아이템 간에 일치가 결정되지 않았다고 결정하는 단계를 더 포함하는 컴퓨터 구현 방법.
  6. 청구항 1에 있어서,
    적어도 하나의 검증 기준이 충족되었다고 결정하는 단계는:
    컴퓨팅 시스템에 의하여, 임계수의 프레임 동안 테스트 컨텐츠 아이템 및 참조 컨텐츠 아이템 간에 일치가 결정되지 않았다고 결정하는 단계를 더 포함하는 컴퓨터 구현 방법.
  7. 청구항 1에 있어서,
    제1 핑거프린트와 제2 핑거프린트는: 오디오 핑거프린트, 비디오 핑거프린트 또는 섬네일 핑거프린트 중 하나에 대응하는 컴퓨터 구현 방법.
  8. 청구항 1에 있어서,
    제1 핑거프린트는 오디오 핑거프린트에 대응하고, 제2 핑거프린트는 비디오 핑거프린트에 대응하는 컴퓨터 구현 방법.
  9. 청구항 1에 있어서,
    제1 핑거프린트는 섬네일 핑거프린트에 대응하고, 제2 핑거프린트는 비디오 핑거프린트에 대응하는 컴퓨터 구현 방법.
  10. 청구항 1에 있어서,
    컴퓨팅 시스템에 의하여, 테스트 컨텐츠 아이템의 하나 이상의 제3 핑거프린트와 참조 컨텐츠 아이템의 하나 이상의 제3 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분을 참조 컨텐츠 아이템의 부분과 평가하는 단계를 더 포함하고,
    제3 핑거프린트는 제1 타입의 미디어 및 제2 타입의 미디어와 상이한 제3 타입의 미디어에 대응하는 컴퓨터 구현 방법.
  11. 적어도 하나의 프로세서; 및
    명령어를 포함하는 메모리를 포함하는 시스템으로서, 명령어는 적어도 하나의 프로세서에 의해 실행될 때, 시스템으로 하여금:
    테스트 컨텐츠 아이템의 하나 이상의 제1 핑거프린트와 참조 컨텐츠 아이템의 하나 이상의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 적어도 하나의 부분을 참조 컨텐츠 아이템의 적어도 하나의 부분과 평가하는 단계;
    적어도 하나의 검증 기준이 충족되었다고 결정하는 단계; 및
    테스트 컨텐츠의 하나 이상의 제2 핑거프린트와 참조 컨텐츠의 하나 이상의 제2 핑거프린트를 사용하여 테스트 컨텐츠의 부분을 참조 컨텐츠 아이템의 부분과 평가하는 단계를 수행하도록 야기하고,
    제1 핑거프린트는 제1 타입의 미디어에 대응하고,
    제2 핑거프린트는 제1 타입의 미디어와 상이한 제2 타입의 미디어에 대응하는 시스템.
  12. 청구항 11에 있어서,
    테스트 컨텐츠의 부분을 참조 컨텐츠의 부분과 평가하는 단계는 시스템으로 하여금:
    테스트 컨텐츠 아이템의 부분에 대응하는 하나 이상의 제2 핑거프린트를 획득하는 단계;
    참조 컨텐츠 아이템의 부분에 대응하는 하나 이상의 제2 핑거프린트를 획득하는 단계; 및
    테스트 컨텐츠 아이템의 제2 핑거프린트와 참조 컨텐츠 아이템의 제2 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템의 부분과 일치한다고 결정하는 단계를 수행하도록 더 야기하는 시스템.
  13. 청구항 12에 있어서,
    적어도 하나의 검증 기준이 충족되었다고 결정하는 단계는 시스템으로 하여금:
    테스트 컨텐츠 아이템의 제1 핑거프린트와 참조 컨텐츠 아이템의 제2 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템과 일치하지 않는다고 결정하는 단계를 수행하도록 더 야기하는 시스템.
  14. 청구항 11에 있어서,
    시스템은 시스템으로 하여금:
    적어도 하나의 통지를 수신함에도 불구하고 제2 라이브 컨텐츠 스트리밍의 방송자가 제2 라이브 컨텐츠 스트리밍의 제공을 계속하고 있다고 결정하는 단계; 및
    테스트 컨텐츠 아이템의 제1 핑거프린트와 참조 컨텐츠 아이템의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템의 부분과 일치한다고 결정하는 단계를 수행하도록 더 야기하는 시스템.
  15. 청구항 14에 있어서,
    제1 라이브 컨텐츠 스트리밍의 발행자에게 적어도 하나의 통지를 제공하는 단계는 시스템으로 하여금:
    임계 기간 동안 테스트 컨텐츠 아이템 및 참조 컨텐츠 아이템 간에 일치가 결정되지 않았다고 결정하는 단계를 수행하도록 더 야기하는 시스템.
  16. 명령어를 포함하는 비일시적 컴퓨터 판독가능한 저장 매체로서, 명령어는 컴퓨팅 시스템의 적어도 하나의 프로세서에 의해 실행될 때, 컴퓨팅 시스템으로 하여금:
    테스트 컨텐츠 아이템의 하나 이상의 제1 핑거프린트와 참조 컨텐츠 아이템의 하나 이상의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 적어도 하나의 부분을 참조 컨텐츠 아이템의 적어도 하나의 부분과 평가하는 단계;
    적어도 하나의 검증 기준이 충족되었다고 결정하는 단계; 및
    테스트 컨텐츠의 하나 이상의 제2 핑거프린트와 참조 컨텐츠의 하나 이상의 제2 핑거프린트를 사용하여 테스트 컨텐츠의 부분을 참조 컨텐츠 아이템의 부분과 평가하는 단계를 포함하는 방법을 수행하도록 야기하고,
    제1 핑거프린트는 제1 타입의 미디어에 대응하고,
    제2 핑거프린트는 제1 타입의 미디어와 상이한 제2 타입의 미디어에 대응하는 비일시적 컴퓨터 판독가능한 저장 매체.
  17. 청구항 16에 있어서,
    테스트 컨텐츠의 부분을 참조 컨텐츠의 부분과 평가하는 단계는 컴퓨팅 시스템으로 하여금:
    테스트 컨텐츠 아이템의 부분에 대응하는 하나 이상의 제2 핑거프린트를 획득하는 단계;
    참조 컨텐츠 아이템의 부분에 대응하는 하나 이상의 제2 핑거프린트를 획득하는 단계; 및
    테스트 컨텐츠 아이템의 제2 핑거프린트와 참조 컨텐츠 아이템의 제2 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템의 부분과 일치한다고 결정하는 단계를 수행하도록 더 야기하는 비일시적 컴퓨터 판독가능한 저장 매체.
  18. 청구항 17에 있어서,
    적어도 하나의 검증 기준이 충족되었다고 결정하는 단계는:
    테스트 컨텐츠 아이템의 제1 핑거프린트와 참조 컨텐츠 아이템의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템과 일치하지 않는다고 결정하는 단계를 수행하는 비일시적 컴퓨터 판독가능한 저장 매체.
  19. 청구항 16에 있어서,
    적어도 하나의 검증 기준이 충족되었다고 결정하는 단계는:
    테스트 컨텐츠 아이템의 제1 핑거프린트와 참조 컨텐츠 아이템의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템의 부분과 일치한다고 결정하는 단계를 더 수행하는 비일시적 컴퓨터 판독가능한 저장 매체.
  20. 청구항 19에 있어서,
    적어도 하나의 검증 기준이 충족되었다고 결정하는 단계는 컴퓨팅 시스템으로 하여금:
    임계 기간 동안 테스트 컨텐츠 아이템 및 참조 컨텐츠 아이템 간에 일치가 결정되지 않았다고 결정하는 단계를 수행하도록 더 야기하는 비일시적 컴퓨터 판독가능한 저장 매체.
  21. 컴퓨팅 시스템에 의하여, 테스트 컨텐츠 아이템의 하나 이상의 제1 핑거프린트와 참조 컨텐츠 아이템의 하나 이상의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 적어도 하나의 부분을 참조 컨텐츠 아이템의 적어도 하나의 부분과 평가하는 단계;
    컴퓨팅 시스템에 의하여, 적어도 하나의 검증 기준이 충족되었다고 결정하는 단계; 및
    컴퓨팅 시스템에 의하여, 테스트 컨텐츠의 하나 이상의 제2 핑거프린트와 참조 컨텐츠의 하나 이상의 제2 핑거프린트를 사용하여 테스트 컨텐츠의 부분을 참조 컨텐츠 아이템의 부분과 평가하는 단계를 포함하고,
    제1 핑거프린트는 제1 타입의 미디어에 대응하고,
    제2 핑거프린트는 제1 타입의 미디어와 상이한 제2 타입의 미디어에 대응하는 컴퓨터 구현 방법.
  22. 청구항 21에 있어서,
    테스트 컨텐츠의 부분을 참조 컨텐츠의 부분과 평가하는 단계는:
    컴퓨팅 시스템에 의하여, 테스트 컨텐츠 아이템의 부분에 대응하는 하나 이상의 제2 핑거프린트를 획득하는 단계;
    컴퓨팅 시스템에 의하여, 참조 컨텐츠 아이템의 부분에 대응하는 하나 이상의 제2 핑거프린트를 획득하는 단계; 및
    컴퓨팅 시스템에 의하여, 테스트 컨텐츠 아이템의 제2 핑거프린트와 참조 컨텐츠 아이템의 제2 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템의 부분과 일치한다고 결정하는 단계를 더 포함하는 컴퓨터 구현 방법.
  23. 청구항 21 또는 청구항 22에 있어서,
    적어도 하나의 검증 기준이 충족되었다고 결정하는 단계는:
    컴퓨팅 시스템에 의하여, 테스트 컨텐츠 아이템의 제1 핑거프린트와 참조 컨텐츠 아이템의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템과 일치하지 않는다고 결정하는 단계; 및/또는
    컴퓨팅 시스템에 의하여, 테스트 컨텐츠 아이템의 제1 핑거프린트와 참조 컨텐츠 아이템의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템의 부분과 일치한다고 결정하는 단계; 및/또는
    컴퓨팅 시스템에 의하여, 임계 기간 동안 테스트 컨텐츠 아이템 및 참조 컨텐츠 아이템 간에 일치가 결정되지 않았다고 결정하는 단계; 및/또는
    컴퓨팅 시스템에 의하여, 임계수의 프레임 동안 테스트 컨텐츠 아이템 및 참조 컨텐츠 아이템 간에 일치가 결정되지 않았다고 결정하는 단계를 더 포함하는 컴퓨터 구현 방법.
  24. 청구항 21 내지 청구항 23 중 어느 하나의 항에 있어서,
    제1 핑거프린트와 제2 핑거프린트는: 오디오 핑거프린트, 비디오 핑거프린트 또는 섬네일 핑거프린트 중 하나에 대응하는 컴퓨터 구현 방법.
  25. 청구항 21 내지 청구항 24 중 어느 하나의 항에 있어서,
    제1 핑거프린트는 오디오 핑거프린트에 대응하고, 제2 핑거프린트는 비디오 핑거프린트에 대응하는 컴퓨터 구현 방법.
  26. 청구항 21 내지 청구항 25 중 어느 하나의 항에 있어서,
    제1 핑거프린트는 섬네일 핑거프린트에 대응하고, 제2 핑거프린트는 비디오 핑거프린트에 대응하는 컴퓨터 구현 방법.
  27. 청구항 21 내지 청구항 26 중 어느 하나의 항에 있어서,
    컴퓨팅 시스템에 의하여, 테스트 컨텐츠 아이템의 하나 이상의 제3 핑거프린트와 참조 컨텐츠 아이템의 하나 이상의 제3 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분을 참조 컨텐츠 아이템의 부분과 평가하는 단계를 더 포함하고,
    제3 핑거프린트는 제1 타입의 미디어 및 제2 타입의 미디어와 상이한 제3 타입의 미디어에 대응하는 컴퓨터 구현 방법.
  28. 청구항 21 내지 청구항 27 중 어느 하나의 항에 있어서,
    사용자 장치는 하나 이상의 제1 핑거프린트를 생성 및 전송하도록 지시되고, 방법은:
    만약 하나 이상의 제1 타입의 핑거프린트를 사용하여 적어도 하나의 검증 기준이 충족되었다면, 추가 타입의 핑거프린트를 사용하여 일치된 컨텐츠를 더 검증하기 위하여 컨텐츠 아이템에 대한 하나 이상의 제2 타입의 핑거프린트를 생성 및 전송되도록 지시하는 단계를 더 포함하는 컴퓨터 구현 방법.
  29. 청구항 21 내지 청구항 28 중 어느 하나의 항에 있어서,
    제1 타입은 오디오이고, 제2 타입은 비디오이고, 오디오 핑거프린트와 비디오 핑거프린트는 기정의된 프레임 레이트로 생성되는 컴퓨터 구현 방법.
  30. 적어도 하나의 프로세서; 및
    명령어를 포함하는 메모리를 포함하는 시스템으로서, 명령어는 적어도 하나의 프로세서에 의해 실행될 때, 시스템으로 하여금:
    테스트 컨텐츠 아이템의 하나 이상의 제1 핑거프린트와 참조 컨텐츠 아이템의 하나 이상의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 적어도 하나의 부분을 참조 컨텐츠 아이템의 적어도 하나의 부분과 평가하는 단계;
    적어도 하나의 검증 기준이 충족되었다고 결정하는 단계; 및
    테스트 컨텐츠의 하나 이상의 제2 핑거프린트와 참조 컨텐츠의 하나 이상의 제2 핑거프린트를 사용하여 테스트 컨텐츠의 부분을 참조 컨텐츠 아이템의 부분과 평가하는 단계를 수행하도록 야기하고,
    제1 핑거프린트는 제1 타입의 미디어에 대응하고,
    제2 핑거프린트는 제1 타입의 미디어와 상이한 제2 타입의 미디어에 대응하는 시스템.
  31. 청구항 30에 있어서,
    테스트 컨텐츠의 부분을 참조 컨텐츠의 부분과 평가하는 단계는 시스템으로 하여금:
    테스트 컨텐츠 아이템의 부분에 대응하는 하나 이상의 제2 핑거프린트를 획득하는 단계;
    참조 컨텐츠 아이템의 부분에 대응하는 하나 이상의 제2 핑거프린트를 획득하는 단계; 및
    테스트 컨텐츠 아이템의 제2 핑거프린트와 참조 컨텐츠 아이템의 제2 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템의 부분과 일치한다고 결정하는 단계를 수행하도록 더 야기하고;
    바람직하게는 적어도 하나의 검증 기준이 충족되었다고 결정하는 단계는 시스템으로 하여금:
    테스트 컨텐츠 아이템의 제1 핑거프린트와 참조 컨텐츠 아이템의 제2 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템과 일치하지 않는다고 결정하는 단계를 수행하도록 더 야기하는 시스템.
  32. 청구항 30 또는 청구항 31에 있어서,
    시스템은 시스템으로 하여금:
    적어도 하나의 통지를 수신함에도 불구하고 제2 라이브 컨텐츠 스트리밍의 방송자가 제2 라이브 컨텐츠 스트리밍의 제공을 계속하고 있다고 결정하는 단계; 및
    테스트 컨텐츠 아이템의 제1 핑거프린트와 참조 컨텐츠 아이템의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템의 부분과 일치한다고 결정하는 단계를 수행하도록 더 야기하고;
    바람직하게는 제1 라이브 컨텐츠 스트리밍의 발행자에게 적어도 하나의 통지를 제공하는 단계는 시스템으로 하여금:
    임계 기간 동안 테스트 컨텐츠 아이템 및 참조 컨텐츠 아이템 간에 일치가 결정되지 않았다고 결정하는 단계를 수행하도록 더 야기하는 시스템.
  33. 명령어를 포함하는 비일시적 컴퓨터 판독가능한 저장 매체로서, 명령어는 컴퓨팅 시스템의 적어도 하나의 프로세서에 의해 실행될 때, 컴퓨팅 시스템으로 하여금:
    테스트 컨텐츠 아이템의 하나 이상의 제1 핑거프린트와 참조 컨텐츠 아이템의 하나 이상의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 적어도 하나의 부분을 참조 컨텐츠 아이템의 적어도 하나의 부분과 평가하는 단계;
    적어도 하나의 검증 기준이 충족되었다고 결정하는 단계; 및
    테스트 컨텐츠의 하나 이상의 제2 핑거프린트와 참조 컨텐츠의 하나 이상의 제2 핑거프린트를 사용하여 테스트 컨텐츠의 부분을 참조 컨텐츠 아이템의 부분과 평가하는 단계를 포함하는 방법을 수행하도록 야기하고,
    제1 핑거프린트는 제1 타입의 미디어에 대응하고,
    제2 핑거프린트는 제1 타입의 미디어와 상이한 제2 타입의 미디어에 대응하는 비일시적 컴퓨터 판독가능한 저장 매체.
  34. 청구항 33에 있어서,
    테스트 컨텐츠의 부분을 참조 컨텐츠의 부분과 평가하는 단계는 컴퓨팅 시스템으로 하여금:
    테스트 컨텐츠 아이템의 부분에 대응하는 하나 이상의 제2 핑거프린트를 획득하는 단계;
    참조 컨텐츠 아이템의 부분에 대응하는 하나 이상의 제2 핑거프린트를 획득하는 단계; 및
    테스트 컨텐츠 아이템의 제2 핑거프린트와 참조 컨텐츠 아이템의 제2 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템의 부분과 일치한다고 결정하는 단계를 수행하도록 더 야기하고;
    바람직하게는 적어도 하나의 검증 기준이 충족되었다고 결정하는 단계는:
    테스트 컨텐츠 아이템의 제1 핑거프린트와 참조 컨텐츠 아이템의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템과 일치하지 않는다고 결정하는 단계를 수행하고;
    바람직하게는 적어도 하나의 검증 기준이 충족되었다고 결정하는 단계는:
    테스트 컨텐츠 아이템의 제1 핑거프린트와 참조 컨텐츠 아이템의 제1 핑거프린트를 사용하여 테스트 컨텐츠 아이템의 부분이 참조 컨텐츠 아이템의 부분과 일치한다고 결정하는 단계를 더 수행하고;
    바람직하게는 적어도 하나의 검증 기준이 충족되었다고 결정하는 단계는 컴퓨팅 시스템으로 하여금:
    임계 기간 동안 테스트 컨텐츠 아이템 및 참조 컨텐츠 아이템 간에 일치가 결정되지 않았다고 결정하는 단계를 수행하도록 더 야기하는 비일시적 컴퓨터 판독가능한 저장 매체.
KR1020197001811A 2016-06-27 2016-10-20 일치하는 컨텐츠를 식별하는 시스템 및 방법 KR20190022660A (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
US201662355043P 2016-06-27 2016-06-27
US62/355,043 2016-06-27
US15/290,999 2016-10-11
US15/291,002 US10650241B2 (en) 2016-06-27 2016-10-11 Systems and methods for identifying matching content
US15/290,999 US20170372142A1 (en) 2016-06-27 2016-10-11 Systems and methods for identifying matching content
US15/291,003 US20170371963A1 (en) 2016-06-27 2016-10-11 Systems and methods for identifying matching content
US15/291,002 2016-10-11
US15/291,003 2016-10-11
PCT/US2016/057979 WO2018004719A1 (en) 2016-06-27 2016-10-20 Systems and methods for identifying matching content

Publications (1)

Publication Number Publication Date
KR20190022660A true KR20190022660A (ko) 2019-03-06

Family

ID=60675542

Family Applications (3)

Application Number Title Priority Date Filing Date
KR1020197001812A KR20190014098A (ko) 2016-06-27 2016-10-20 일치하는 컨텐츠를 식별하는 시스템 및 방법
KR1020197001811A KR20190022660A (ko) 2016-06-27 2016-10-20 일치하는 컨텐츠를 식별하는 시스템 및 방법
KR1020197001813A KR20190022661A (ko) 2016-06-27 2016-10-20 일치하는 컨텐츠를 식별하는 시스템 및 방법

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020197001812A KR20190014098A (ko) 2016-06-27 2016-10-20 일치하는 컨텐츠를 식별하는 시스템 및 방법

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020197001813A KR20190022661A (ko) 2016-06-27 2016-10-20 일치하는 컨텐츠를 식별하는 시스템 및 방법

Country Status (10)

Country Link
US (4) US10650241B2 (ko)
JP (3) JP6997776B2 (ko)
KR (3) KR20190014098A (ko)
CN (3) CN109661822B (ko)
AU (3) AU2016412718A1 (ko)
BR (3) BR112018077294A2 (ko)
CA (3) CA3029311A1 (ko)
IL (3) IL263918A (ko)
MX (3) MX2019000206A (ko)
WO (6) WO2018004716A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11726978B2 (en) 2019-04-18 2023-08-15 Silcroad Soft, Inc. Computer program for providing efficient change data capture in a database system

Families Citing this family (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9830193B1 (en) 2014-09-30 2017-11-28 Amazon Technologies, Inc. Automatic management of low latency computational capacity
US9600312B2 (en) 2014-09-30 2017-03-21 Amazon Technologies, Inc. Threading as a service
US9146764B1 (en) 2014-09-30 2015-09-29 Amazon Technologies, Inc. Processing event messages for user requests to execute program code
US9678773B1 (en) 2014-09-30 2017-06-13 Amazon Technologies, Inc. Low latency computational capacity provisioning
US9537788B2 (en) 2014-12-05 2017-01-03 Amazon Technologies, Inc. Automatic determination of resource sizing
US9733967B2 (en) 2015-02-04 2017-08-15 Amazon Technologies, Inc. Security protocols for low latency execution of program code
US9588790B1 (en) 2015-02-04 2017-03-07 Amazon Technologies, Inc. Stateful virtual compute system
EP3342176B1 (en) * 2015-08-26 2022-11-23 PCMS Holdings, Inc. Method and systems for generating and utilizing contextual watermarking
US9910713B2 (en) 2015-12-21 2018-03-06 Amazon Technologies, Inc. Code execution request routing
KR102560635B1 (ko) * 2015-12-28 2023-07-28 삼성전자주식회사 컨텐트 인식 장치 및 그 동작 방법
US11132213B1 (en) 2016-03-30 2021-09-28 Amazon Technologies, Inc. Dependency-based process of pre-existing data sets at an on demand code execution environment
US10102040B2 (en) 2016-06-29 2018-10-16 Amazon Technologies, Inc Adjusting variable limit on concurrent code executions
US10013614B2 (en) * 2016-06-29 2018-07-03 Google Llc Using an image matching system to improve the quality of service of a video matching system
ES2929769T3 (es) 2016-10-14 2022-12-01 Icu Medical Inc Tapas desinfectantes para conectores médicos
US20180300701A1 (en) 2017-04-12 2018-10-18 Facebook, Inc. Systems and methods for content management
US10725826B1 (en) * 2017-06-21 2020-07-28 Amazon Technologies, Inc. Serializing duration-limited task executions in an on demand code execution system
US10445140B1 (en) 2017-06-21 2019-10-15 Amazon Technologies, Inc. Serializing duration-limited task executions in an on demand code execution system
US10922551B2 (en) * 2017-10-06 2021-02-16 The Nielsen Company (Us), Llc Scene frame matching for automatic content recognition
US11487806B2 (en) * 2017-12-12 2022-11-01 Google Llc Media item matching using search query analysis
US10713495B2 (en) 2018-03-13 2020-07-14 Adobe Inc. Video signatures based on image feature extraction
US10970471B2 (en) * 2018-04-23 2021-04-06 International Business Machines Corporation Phased collaborative editing
US10853115B2 (en) 2018-06-25 2020-12-01 Amazon Technologies, Inc. Execution of auxiliary functions in an on-demand network code execution system
US11146569B1 (en) 2018-06-28 2021-10-12 Amazon Technologies, Inc. Escalation-resistant secure network services using request-scoped authentication information
US10949237B2 (en) 2018-06-29 2021-03-16 Amazon Technologies, Inc. Operating system customization in an on-demand network code execution system
US11099870B1 (en) 2018-07-25 2021-08-24 Amazon Technologies, Inc. Reducing execution times in an on-demand network code execution system using saved machine states
CN109600622B (zh) * 2018-08-31 2021-04-02 北京微播视界科技有限公司 音视频信息处理方法、装置和电子设备
US10860647B2 (en) * 2018-09-06 2020-12-08 Gracenote, Inc. Systems, methods, and apparatus to improve media identification
US11243953B2 (en) 2018-09-27 2022-02-08 Amazon Technologies, Inc. Mapreduce implementation in an on-demand network code execution system and stream data processing system
US11099917B2 (en) 2018-09-27 2021-08-24 Amazon Technologies, Inc. Efficient state maintenance for execution environments in an on-demand code execution system
CN111093100B (zh) * 2018-10-23 2021-08-24 能来（上海）信息技术有限公司 一种基于区块链的视频溯源方法
US11943093B1 (en) 2018-11-20 2024-03-26 Amazon Technologies, Inc. Network connection recovery after virtual machine transition in an on-demand network code execution system
US11010188B1 (en) 2019-02-05 2021-05-18 Amazon Technologies, Inc. Simulated data object storage using on-demand computation of data objects
US11861386B1 (en) 2019-03-22 2024-01-02 Amazon Technologies, Inc. Application gateways in an on-demand network code execution system
US11134318B2 (en) 2019-03-26 2021-09-28 Rovi Guides, Inc. System and method for identifying altered content
US11106827B2 (en) 2019-03-26 2021-08-31 Rovi Guides, Inc. System and method for identifying altered content
CA3104949A1 (en) * 2019-03-26 2020-10-01 Rovi Guides, Inc. System and method for identifying altered content
US10796159B1 (en) 2019-05-10 2020-10-06 The Nielsen Company (Us), Llc Content-modification system with use of multiple fingerprint data types feature
WO2020231815A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with fingerprint data mismatch and responsive action feature
TWI758729B (zh) 2019-05-10 2022-03-21 美商六科股份有限公司 與內容修改系統結合使用之方法、非暫時性電腦可讀儲存媒體及計算系統
TWI802797B (zh) 2019-05-10 2023-05-21 美商六科股份有限公司 用於檢測和回應於在先前檢測到的指紋匹配之後檢測到的指紋不匹配的方法、非暫時性電腦可讀儲存介質及計算系統
WO2020231927A1 (en) 2019-05-10 2020-11-19 The Nielsen Company (Us), Llc Content-modification system with responsive transmission of reference fingerprint data feature
US11449545B2 (en) * 2019-05-13 2022-09-20 Snap Inc. Deduplication of media file search results
KR20200142787A (ko) * 2019-06-13 2020-12-23 네이버 주식회사 멀티미디어 신호 인식을 위한 전자 장치 및 그의 동작 방법
US11234050B2 (en) * 2019-06-18 2022-01-25 Roku, Inc. Use of steganographically-encoded data as basis to control dynamic content modification as to at least one modifiable-content segment identified based on fingerprint analysis
US11119809B1 (en) 2019-06-20 2021-09-14 Amazon Technologies, Inc. Virtualization-based transaction handling in an on-demand network code execution system
US11159528B2 (en) 2019-06-28 2021-10-26 Amazon Technologies, Inc. Authentication to network-services using hosted authentication information
US11115404B2 (en) 2019-06-28 2021-09-07 Amazon Technologies, Inc. Facilitating service connections in serverless code executions
US11190609B2 (en) 2019-06-28 2021-11-30 Amazon Technologies, Inc. Connection pooling for scalable network services
US11695807B2 (en) * 2019-07-26 2023-07-04 Rovi Guides, Inc. Filtering video content items
US11700285B2 (en) * 2019-07-26 2023-07-11 Rovi Guides, Inc. Filtering video content items
US10923158B1 (en) * 2019-11-25 2021-02-16 International Business Machines Corporation Dynamic sequential image processing
US11119826B2 (en) 2019-11-27 2021-09-14 Amazon Technologies, Inc. Serverless call distribution to implement spillover while avoiding cold starts
CN111339368B (zh) * 2020-02-20 2024-04-02 同盾控股有限公司 基于视频指纹的视频检索方法、装置和电子设备
US11714682B1 (en) 2020-03-03 2023-08-01 Amazon Technologies, Inc. Reclaiming computing resources in an on-demand code execution system
US11188391B1 (en) 2020-03-11 2021-11-30 Amazon Technologies, Inc. Allocating resources to on-demand code executions under scarcity conditions
CN111400542B (zh) * 2020-03-20 2023-09-08 腾讯科技（深圳）有限公司 音频指纹的生成方法、装置、设备及存储介质
CN111428211B (zh) * 2020-03-20 2021-06-15 浙江传媒学院 面向联盟区块链的视频作品多因子确权溯源的存证方法
US11418856B2 (en) * 2020-04-27 2022-08-16 Synamedia Limited Systems and methods for video content security
US20220027407A1 (en) * 2020-07-27 2022-01-27 Audible Magic Corporation Dynamic identification of unknown media
US11550713B1 (en) 2020-11-25 2023-01-10 Amazon Technologies, Inc. Garbage collection in distributed systems using life cycled storage roots
US11593270B1 (en) 2020-11-25 2023-02-28 Amazon Technologies, Inc. Fast distributed caching using erasure coded object parts
US11388210B1 (en) 2021-06-30 2022-07-12 Amazon Technologies, Inc. Streaming analytics using a serverless compute system
CN113779597B (zh) * 2021-08-19 2023-08-18 深圳技术大学 加密文档的存储和相似检索方法、装置、设备及介质
US20230137496A1 (en) * 2021-11-03 2023-05-04 At&T Intellectual Property I, L.P. Multimedia piracy detection with multi-phase sampling and transformation
US11417099B1 (en) 2021-11-08 2022-08-16 9219-1568 Quebec Inc. System and method for digital fingerprinting of media content

Family Cites Families (91)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6865273B2 (en) * 2002-06-05 2005-03-08 Sony Corporation Method and apparatus to detect watermark that are resistant to resizing, rotation and translation
US7363278B2 (en) 2001-04-05 2008-04-22 Audible Magic Corporation Copyright detection and protection system and method
US20030061490A1 (en) 2001-09-26 2003-03-27 Abajian Aram Christian Method for identifying copyright infringement violations by fingerprint detection
US7092584B2 (en) * 2002-01-04 2006-08-15 Time Warner Entertainment Company Lp Registration of separations
WO2004044820A1 (en) 2002-11-12 2004-05-27 Koninklijke Philips Electronics N.V. Fingerprinting multimedia contents
US20070128899A1 (en) * 2003-01-12 2007-06-07 Yaron Mayer System and method for improving the efficiency, comfort, and/or reliability in Operating Systems, such as for example Windows
US7610377B2 (en) * 2004-01-27 2009-10-27 Sun Microsystems, Inc. Overload management in an application-based server
US7231405B2 (en) 2004-05-08 2007-06-12 Doug Norman, Interchange Corp. Method and apparatus of indexing web pages of a web site for geographical searchine based on user location
JP4842944B2 (ja) 2004-08-12 2011-12-21 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ ビデオ又はオーディオデータのストリームからのコンテンツ選択
JP2006285907A (ja) 2005-04-05 2006-10-19 Nippon Hoso Kyokai <Nhk> 指定流通コンテンツ特定装置、指定流通コンテンツ特定プログラムおよび指定流通コンテンツ特定方法
US7516074B2 (en) 2005-09-01 2009-04-07 Auditude, Inc. Extraction and matching of characteristic fingerprints from audio signals
BRPI0710685A2 (pt) 2006-04-06 2011-08-23 H Kenneth Ferguson metodo e aparelho de programação de controle de conteúdo de mìdia
US7831531B1 (en) 2006-06-22 2010-11-09 Google Inc. Approximate hashing functions for finding similar content
US20110276993A1 (en) 2007-04-06 2011-11-10 Ferguson Kenneth H Media Content Programming Control Method and Apparatus
US8094872B1 (en) 2007-05-09 2012-01-10 Google Inc. Three-dimensional wavelet based video fingerprinting
US8611422B1 (en) 2007-06-19 2013-12-17 Google Inc. Endpoint based video fingerprinting
CN101855635B (zh) * 2007-10-05 2013-02-27 杜比实验室特许公司 可靠地与媒体内容对应的媒体指纹
JP5061877B2 (ja) 2007-12-13 2012-10-31 オムロン株式会社 動画像同定装置
US9177209B2 (en) * 2007-12-17 2015-11-03 Sinoeast Concept Limited Temporal segment based extraction and robust matching of video fingerprints
JP4997179B2 (ja) 2008-06-11 2012-08-08 富士通エレクトロニクス株式会社 画像処理装置、方法およびプログラム
US9313359B1 (en) * 2011-04-26 2016-04-12 Gracenote, Inc. Media content identification on mobile devices
US8195689B2 (en) 2009-06-10 2012-06-05 Zeitera, Llc Media fingerprinting and identification system
US8189945B2 (en) 2009-05-27 2012-05-29 Zeitera, Llc Digital video content fingerprinting based on scale invariant interest region detection with an array of anisotropic filters
US8335786B2 (en) 2009-05-28 2012-12-18 Zeitera, Llc Multi-media content identification using multi-level content signature correlation and fast similarity search
US8385644B2 (en) 2008-07-08 2013-02-26 Zeitera, Llc Digital video fingerprinting based on resultant weighted gradient orientation computation
US8498487B2 (en) 2008-08-20 2013-07-30 Sri International Content-based matching of videos using local spatio-temporal fingerprints
EP2324475A1 (en) * 2008-08-26 2011-05-25 Dolby Laboratories Licensing Corporation Robust media fingerprints
US8422731B2 (en) 2008-09-10 2013-04-16 Yahoo! Inc. System, method, and apparatus for video fingerprinting
KR100993601B1 (ko) 2008-09-16 2010-11-10 (주)위디랩 디지털 동영상 컨텐츠의 유사도 측정 방법, 이를 이용한 동영상 컨텐츠의 관리 방법 및 상기 관리 방법을 이용한 동영상 컨텐츠의 관리 시스템
JP2010186307A (ja) 2009-02-12 2010-08-26 Kddi Corp 動画コンテンツ識別装置および動画コンテンツ識別方法
US8934545B2 (en) * 2009-02-13 2015-01-13 Yahoo! Inc. Extraction of video fingerprints and identification of multimedia using video fingerprinting
US8687839B2 (en) * 2009-05-21 2014-04-01 Digimarc Corporation Robust signatures derived from local nonlinear filters
US8713068B2 (en) 2009-06-11 2014-04-29 Yahoo! Inc. Media identification system with fingerprint database balanced according to search loads
CN102460470B (zh) * 2009-06-11 2014-12-03 杜比实验室特许公司 基于指纹的内容识别趋势分析
US8634947B1 (en) * 2009-10-21 2014-01-21 Michael Merhej System and method for identifying digital files
US9197736B2 (en) * 2009-12-31 2015-11-24 Digimarc Corporation Intuitive computing methods and systems
US8594392B2 (en) 2009-11-18 2013-11-26 Yahoo! Inc. Media identification system for efficient matching of media items having common content
US8892570B2 (en) 2009-12-22 2014-11-18 Dolby Laboratories Licensing Corporation Method to dynamically design and configure multimedia fingerprint databases
JP2011188342A (ja) 2010-03-10 2011-09-22 Sony Corp 情報処理装置、情報処理方法及びプログラム
US8560583B2 (en) * 2010-04-01 2013-10-15 Sony Computer Entertainment Inc. Media fingerprinting for social networking
KR20130029082A (ko) 2010-05-04 2013-03-21 샤잠 엔터테인먼트 리미티드 미디어 스트림의 샘플을 처리하는 방법 및 시스템
US8694533B2 (en) 2010-05-19 2014-04-08 Google Inc. Presenting mobile content based on programming context
SI2480675T1 (sl) * 2010-06-22 2016-08-31 Regeneron Pharmaceuticals, Inc. Miši, ki izražajo lahko verigo s spremenljivo regijo humanega lambda in konstantno mišjo regijo
EP2659663B1 (en) 2010-12-29 2016-04-20 Telecom Italia S.p.A. Method and system for syncronizing electronic program guides
US8731236B2 (en) 2011-01-14 2014-05-20 Futurewei Technologies, Inc. System and method for content protection in a content delivery network
US9367669B2 (en) 2011-02-25 2016-06-14 Echostar Technologies L.L.C. Content source identification using matrix barcode
US8843584B2 (en) * 2011-06-02 2014-09-23 Google Inc. Methods for displaying content on a second device that is related to the content playing on a first device
US8805827B2 (en) 2011-08-23 2014-08-12 Dialogic (Us) Inc. Content identification using fingerprint matching
US8805560B1 (en) 2011-10-18 2014-08-12 Google Inc. Noise based interest point density pruning
GB2501224B (en) * 2012-01-10 2016-03-09 Qatar Foundation Detecting video copies
US8660296B1 (en) 2012-01-10 2014-02-25 Google Inc. Systems and methods for facilitating video fingerprinting using local descriptors
US8953836B1 (en) 2012-01-31 2015-02-10 Google Inc. Real-time duplicate detection for uploaded videos
US8838609B1 (en) * 2012-10-10 2014-09-16 Google Inc. IDF weighting of LSH bands for live reference ingestion
US9684715B1 (en) * 2012-03-08 2017-06-20 Google Inc. Audio identification using ordinal transformation
US8966571B2 (en) 2012-04-03 2015-02-24 Google Inc. Detection of potentially copyrighted content in user-initiated live streams
US8655029B2 (en) * 2012-04-10 2014-02-18 Seiko Epson Corporation Hash-based face recognition system
KR101315970B1 (ko) * 2012-05-23 2013-10-08 (주)엔써즈 오디오 신호를 이용한 콘텐츠 인식 장치 및 방법
US8886635B2 (en) * 2012-05-23 2014-11-11 Enswers Co., Ltd. Apparatus and method for recognizing content using audio signal
US9374374B2 (en) 2012-06-19 2016-06-21 SecureMySocial, Inc. Systems and methods for securing social media for users and businesses and rewarding for enhancing security
US8938089B1 (en) 2012-06-26 2015-01-20 Google Inc. Detection of inactive broadcasts during live stream ingestion
US8868223B1 (en) 2012-07-19 2014-10-21 Google Inc. Positioning using audio recognition
US9661361B2 (en) 2012-09-19 2017-05-23 Google Inc. Systems and methods for live media content matching
CN103729368B (zh) * 2012-10-13 2016-12-21 复旦大学 一种基于局部频谱图像描述子的鲁棒音频识别方法
US20140105447A1 (en) * 2012-10-15 2014-04-17 Juked, Inc. Efficient data fingerprinting
US20140161263A1 (en) 2012-12-10 2014-06-12 Microsoft Corporation Facilitating recognition of real-time content
US9146990B2 (en) * 2013-01-07 2015-09-29 Gracenote, Inc. Search and identification of video content
US9323840B2 (en) * 2013-01-07 2016-04-26 Gracenote, Inc. Video fingerprinting
US20140278845A1 (en) 2013-03-15 2014-09-18 Shazam Investments Limited Methods and Systems for Identifying Target Media Content and Determining Supplemental Information about the Target Media Content
US9728205B2 (en) 2013-03-15 2017-08-08 Facebook, Inc. Generating audio fingerprints based on audio signal complexity
US9679583B2 (en) 2013-03-15 2017-06-13 Facebook, Inc. Managing silence in audio signal identification
US20140279856A1 (en) 2013-03-15 2014-09-18 Venugopal Srinivasan Methods and apparatus to update a reference database
EP2982006A1 (en) * 2013-04-02 2016-02-10 Telefonaktiebolaget L M Ericsson (publ) A radio antenna alignment tool
US9161074B2 (en) 2013-04-30 2015-10-13 Ensequence, Inc. Methods and systems for distributing interactive content
US9542488B2 (en) * 2013-08-02 2017-01-10 Google Inc. Associating audio tracks with video content
US9466317B2 (en) 2013-10-11 2016-10-11 Facebook, Inc. Generating a reference audio fingerprint for an audio signal associated with an event
US9465995B2 (en) 2013-10-23 2016-10-11 Gracenote, Inc. Identifying video content via color-based fingerprint matching
US20160306811A1 (en) * 2013-12-26 2016-10-20 Le Holdings (Beijing) Co., Ltd. Method and system for creating inverted index file of video resource
US9390727B2 (en) 2014-01-13 2016-07-12 Facebook, Inc. Detecting distorted audio signals based on audio fingerprinting
US9529840B1 (en) * 2014-01-14 2016-12-27 Google Inc. Real-time duplicate detection of videos in a massive video sharing system
US9998748B2 (en) 2014-04-16 2018-06-12 Disney Enterprises, Inc. Methods and systems of archiving media files
US20170185675A1 (en) 2014-05-27 2017-06-29 Telefonaktiebolaget Lm Ericsson (Publ) Fingerprinting and matching of content of a multi-media file
US9558272B2 (en) * 2014-08-14 2017-01-31 Yandex Europe Ag Method of and a system for matching audio tracks using chromaprints with a fast candidate selection routine
US9704507B2 (en) 2014-10-31 2017-07-11 Ensequence, Inc. Methods and systems for decreasing latency of content recognition
US9258604B1 (en) 2014-11-24 2016-02-09 Facebook, Inc. Commercial detection based on audio fingerprinting
US9837101B2 (en) 2014-11-25 2017-12-05 Facebook, Inc. Indexing based on time-variant transforms of an audio signal's spectrogram
US9794719B2 (en) 2015-06-15 2017-10-17 Harman International Industries, Inc. Crowd sourced audio data for venue equalization
US9549125B1 (en) 2015-09-01 2017-01-17 Amazon Technologies, Inc. Focus specification and focus stabilization
US9955196B2 (en) 2015-09-14 2018-04-24 Google Llc Selective degradation of videos containing third-party content
KR101757878B1 (ko) 2015-12-10 2017-07-14 삼성전자주식회사 컨텐츠 처리장치, 그의 컨텐츠 처리방법, 서버, 서버의 정보 제공방법 및 정보제공 시스템
US9930406B2 (en) 2016-02-29 2018-03-27 Gracenote, Inc. Media channel identification with video multi-match detection and disambiguation based on audio fingerprint
CN106126617B (zh) 2016-06-22 2018-11-23 腾讯科技（深圳）有限公司 一种视频检测方法及服务器

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11726978B2 (en) 2019-04-18 2023-08-15 Silcroad Soft, Inc. Computer program for providing efficient change data capture in a database system

Also Published As

Publication number Publication date
US20170372142A1 (en) 2017-12-28
MX2019000220A (es) 2019-10-07
MX2019000212A (es) 2019-09-18
AU2016412718A1 (en) 2019-01-24
CA3029311A1 (en) 2018-01-04
IL263918A (en) 2019-01-31
US20170371963A1 (en) 2017-12-28
IL263909A (en) 2019-01-31
WO2018004721A1 (en) 2018-01-04
WO2018004719A1 (en) 2018-01-04
BR112018077294A2 (pt) 2019-04-24
WO2018004720A1 (en) 2018-01-04
JP2019526137A (ja) 2019-09-12
WO2018004717A1 (en) 2018-01-04
CN109643320A (zh) 2019-04-16
JP6886513B2 (ja) 2021-06-16
US20170371962A1 (en) 2017-12-28
WO2018004718A1 (en) 2018-01-04
KR20190022661A (ko) 2019-03-06
WO2018004716A1 (en) 2018-01-04
CA3029182A1 (en) 2018-01-04
AU2016412719A1 (en) 2019-01-31
JP6997776B2 (ja) 2022-01-18
US20170371930A1 (en) 2017-12-28
AU2016412717A1 (en) 2019-01-31
CN109661822A (zh) 2019-04-19
CA3029190A1 (en) 2018-01-04
MX2019000206A (es) 2019-10-21
CN109643319A (zh) 2019-04-16
JP2019526138A (ja) 2019-09-12
BR112018077230A2 (pt) 2019-04-02
US11030462B2 (en) 2021-06-08
JP6874131B2 (ja) 2021-05-19
US10650241B2 (en) 2020-05-12
CN109661822B (zh) 2021-08-20
BR112018077198A2 (pt) 2019-04-09
JP2019527442A (ja) 2019-09-26
IL263919A (en) 2019-01-31
KR20190014098A (ko) 2019-02-11

Similar Documents

Publication Publication Date Title
JP6874131B2 (ja) 一致するコンテンツを特定するためのシステムおよび方法
JP6903751B2 (ja) 一致するコンテンツを特定するためのシステムおよび方法
US20170279757A1 (en) Systems and methods for identifying matching content
KR20180122438A (ko) 매치하는 컨텐츠를 식별하기 위한 시스템 및 방법
EP3264325A1 (en) Systems and methods for identifying matching content
EP3264324A1 (en) Systems and methods for identifying matching content
EP3264326A1 (en) Systems and methods for identifying matching content
EP3264323A1 (en) Systems and methods for identifying matching content
EP3223229A1 (en) Systems and methods for identifying matching content

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application