KR20140024433A - 데이터 스트림 내 콘텐트를 식별하는 방법 및 시스템 - Google Patents

데이터 스트림 내 콘텐트를 식별하는 방법 및 시스템 Download PDF

Info

Publication number
KR20140024433A
KR20140024433A KR1020137034327A KR20137034327A KR20140024433A KR 20140024433 A KR20140024433 A KR 20140024433A KR 1020137034327 A KR1020137034327 A KR 1020137034327A KR 20137034327 A KR20137034327 A KR 20137034327A KR 20140024433 A KR20140024433 A KR 20140024433A
Authority
KR
South Korea
Prior art keywords
content
client device
data stream
media
server
Prior art date
Application number
KR1020137034327A
Other languages
English (en)
Other versions
KR101578279B1 (ko
Inventor
에이버리 리춘 왕
Original Assignee
샤잠 엔터테인먼트 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤잠 엔터테인먼트 리미티드 filed Critical 샤잠 엔터테인먼트 리미티드
Publication of KR20140024433A publication Critical patent/KR20140024433A/ko
Application granted granted Critical
Publication of KR101578279B1 publication Critical patent/KR101578279B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04H—BROADCAST COMMUNICATION
    • H04H60/00—Arrangements for broadcast applications with a direct linking to broadcast information or broadcast space-time; Broadcast-related systems
    • H04H60/35—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users
    • H04H60/37—Arrangements for identifying or recognising characteristics with a direct linkage to broadcast information or to broadcast space-time, e.g. for identifying broadcast stations or for identifying users for identifying segments of broadcast information, e.g. scenes or extracting programme ID

Abstract

데이터 스트림 내 콘텐트를 식별하는 방법 및 시스템이 제공된다. 일 실시예에서, 클라이언트 장치는 연속 데이터 스트림을 수신하고 클라이언트 장치에 저장된 콘텐트 패턴에 기초하여 데이터 스트림 내 콘텐트의 콘텐트 식별을 실질적으로 연속해서 수행한다. 클라이언트 장치에 저장된 콘텐트 패턴은 미디어 파일의 추출된 피처와 관련된 정보, 또는 미디어 파일을 기술하는 시간 매핑된 피처들의 집합을 포함할 수 있다. 클라이언트 장치는 연속 데이터 스트림이 미디어 콘텐트를 포함하는지 결정하고, 이 결정에 기초하여, 클라이언트 장치에서 데이터 스트림 내 콘텐트의 콘텐트 식별을 연속해서 수행한다. 클라이언트 장치는 명령의 수신에 기초하여 데이터 스트림 내 콘텐트의 정체를 결정하기 위해 서버에 의뢰할 수 있다.

Description

데이터 스트림 내 콘텐트를 식별하는 방법 및 시스템{METHODS AND SYSTEMS FOR IDENTIFYING CONTENT IN A DATA STREAM}
본 발명은 데이터 스트림 내 콘텐트를 식별하는 것에 관한 것이다. 예를 들면, 본 발명은 클라이언트 장치에 저장된 콘텐트 패턴에 기초하여 데이터 스트림 내 콘텐트의 콘텐트 식별을 연속해서 수행하고, 경우에 따라서는, 데이터 스트림 내 콘텐트의 정체를 결정하기 위해 서버에 의뢰(query)하는 클라이언트 장치에 관한 것이다.
오디오 또는 비디오와 같은 다양한 데이터 타입을 위한 콘텐트(content) 식별 시스템은 다수의 상이한 방법들을 사용한다. 클라이언트 장치는 미디어 스트림(라디오와 같은)의 미디어 샘플 레코딩을 캡처한 다음, 상기 미디어 스트림(media stream)을 식별하기 위해 미디어 레코딩의 데이터베이스(미디어 트랙(media tracks)으로도 알려짐)에서 매치(match)의 탐색을 수행하도록 서버에 요청할 수 있다. 예를 들면, 상기 샘플 레코딩(sample recreding)은 콘텐트 식별 서버 모듈에 전달되며, 상기 콘텐트 식별 서버 모듈은 상기 샘플의 콘텐트 식별을 수행하고 식별 결과를 클라이언트 장치에 반환할 수 있다. 인식 결과는 그 다음에 사용자의 클라이언트 장치에 표시되거나 관련 정보의 참조 또는 구매와 같은 다양한 후속 서비스들을 위해 사용될 수 있다. 콘텐트 식별을 위한 다른 응용들은 예를 들면 방송 모니터링 또는 콘텐트-민감형 광고를 포함한다.
기존 콘텐트 식별 시스템은 콘텐트 식별 요청을 개시하기 위해 사용자 상호작용을 요청할 수 있다. 종종, 예를 들면 사용자는 노래가 종료된 후 요청을 개시할 수 있으며, 노래를 식별할 기회를 놓친다.
또한, 콘텐트 식별 시스템 내에서, 중앙 서버는 클라이언트 장치들로부터 콘텐트 식별 요청을 수신하고 샘플의 콘텐트를 식별하기 위한 집중적인 연산 절차를 수행한다. 대량의 요청은 인식을 수행하기 위해 가용한 제한된 수의 서버들로 인해 클라이언트 장치들에 결과를 제공할 때 지연을 초래할 수 있다.
일 실시예에서, 데이터 스트림 내 콘텐트를 식별하는 방법이 제공된다. 상기 방법은 클라이언트 장치에서 연속 데이터 스트림을 수신하는 단계; 및 상기 클라이언트 장치에서, 상기 클라이언트 장치에 저장된 콘텐트 패턴을 기초로 상기 데이터 스트림 내 콘텐트의 콘텐트 식별을 실질적으로 연속해서 수행하는 단계를 포함한다. 상기 콘텐트 패턴은 콘텐트 조각들을 식별하기 위한 정보를 포함할 수 있다. 상기 방법은 명령의 수신에 기초하여, 상기 클라이언트 장치가 상기 데이터 스트림 내 콘텐트의 정체(identity)를 결정하기 위해 서버에 의뢰하는 추가로 단계를 포함한다.
또 다른 실시예에서, 컴퓨팅 장치에 기능을 수행시키기 위해 상기 컴퓨팅 장치에 의해 실행 가능한 명령들을 저장하고 컴퓨터로 읽을 수 있는 비일시적 기록매체가 제공된다. 상기 기능들은 상기 컴퓨팅 장치에서 연속 데이터 스트림을 수신하고, 상기 컴퓨팅 장치에서, 상기 컴퓨팅 장치에 저장된 콘텐트 패턴에 기초하여 상기 데이터 스트림 내 콘텐트의 콘텐트 식별을 연속 수행하는 것을 포함한다. 상기 콘텐트 패턴은 콘텐트 조각들을 식별하기 위한 정보를 포함할 수 있다. 상기 기능들은 명령 수신에 기초하여, 상기 컴퓨팅 장치가 상기 데이터 스트림 내 콘텐트의 정체를 결정하기 위해 서버에 의뢰하는 것을 추가로 포함한다.
또 다른 실시예에서, 프로세서, 및 컴퓨팅 장치에서 연속 데이터 스트림을 수신하는 기능; 상기 컴퓨팅 장치에서, 상기 컴퓨팅 장치에 저장된 콘텐트 패턴에 기초하여 상기 데이터 스트림 내 콘텐트의 콘텐트 식별을 연속해서 수행하는 기능을 수행하기 위해 상기 프로세서에 의해 실행 가능한 명령을 저장하는 데이터 저장소를 포함하는, 데이터 스트림 내 콘텐트를 식별하는 시스템이 제공된다. 상기 콘텐트 패턴은 콘텐트의 조각들을 식별하기 위한 정보를 포함할 수 있다. 상기 기능들은 명령의 수신에 기초하여, 상기 컴퓨팅 장치가 상기 데이터 스트림 내 콘텐트의 정체를 결정하기 위해 서버에 의뢰하는 기능을 추가로 포함한다.
또 다른 실시예에서, 인식 서버와 요청 서버를 포함하는, 데이터 스트림 내 콘텐트를 식별하는 시스템이 제공된다. 상기 인식 서버는 콘텐트의 정체를 결정하는 의뢰를 클라이언트 장치로부터 수신하도록 설정될 수 있고, 상기 의뢰는 상기 콘텐트의 샘플을 포함할 수 있다. 상기 요청 서버는 상기 클라이언트 장치가 연속 식별 모드에서 동작하도록 명령하도록 설정될 수 있고, 상기 클라이언트 장치는 상기 클라이언트 장치의 수신 데이터 스트림 내 콘텐트의 콘텐트 식별을 연속 식별 모드에서 연속해서 수행할 수 있다.
전술한 요약은 단지 설명을 위한 것이며 본 발명을 한정하려는 의도는 없다. 전술한 측면들, 실시예들, 및 특징들에 추가하여, 추가의 측면들, 실시예들, 및 특징들이 도면들과 아래의 상세한 설명을 참조함으로써 더욱 명백해질 것이다.
도 1은 데이터 스트림 내 콘텐트를 식별하는 시스템의 일 실시예이고,
도 2는 콘텐트 식별 방법의 일 실시예이고,
도 3은 데이터 스트림 내 콘텐트를 식별하는 일 실시예 방법의 흐름도, 및
도 4는 데이터 스트림 내 콘텐트를 식별하는 일 실시예 시스템이다.
이하의 상세한 설명에서, 본 명세서의 일부를 구성하는 첨부 도면들을 참조한다. 도면에서, 유사한 부호들은 문맥이 달리 지시하지 않는 한 통상 유사한 구성요소를 식별한다. 상세한 설명, 도면 및 청구항들에서 기술된 실시예는 한정하는 것을 의도하지 않는다. 다른 실시예들이 이용될 수 있으며, 본 명세서에서 제시된 주제의 범위 또는 사상을 벗어나지 않으면서 다른 변경이 이루어질 수 있다. 본 명세서와 도면에서 일반적으로 기술되는 본 발명의 측면들은 본 명세서에서 명시적으로 고려된 다양한 상이한 구성들로 배열, 치환, 결합, 분리 및 설계될 수 있다.
본 발명은 특히 데이터 스트림 내 콘텐트를 식별하는 방법 및 시스템에 관한 것이다. 일 실시예에서, 클라이언트 장치는 연속 데이터 스트림을 수신하고 클라이언트 장치에 저장된 콘텐트 패턴에 기초하여 상기 데이터 스트림 내 콘텐트 식별을 실질적으로 연속해서 수행한다. 클라이언트 장치에 저장된 상기 콘텐트 패턴은 미디어 파일의 추출된 피처(feature)와 관련된 정보, 또는 미디어 파일을 기술하는 시간 매핑된 피처들의 집합(temporally mapped collection of features)을 포함할 수 있다. 클라이언트 장치는 상기 연속 데이터 스트림이 미디어 콘텐트를 포함하는지 결정하고, 그 결정에 기초하여, 클라이언트 장치에서 데이터 스트림 내 콘텐트의 콘텐트 식별을 연속해서 수행할 수 있다. 클라이언트 장치는 명령의 수신에 기초하여 데이터 스트림 내 콘텐트의 정체를 결정하기 위해 서버에 의뢰할 수도 있다.
이제 도면을 참조하면, 도 1은 미디어 데이터 스트림 내 콘텐트를 식별하는 시스템의 일 실시예를 도시한다. 도 1은 소정의 구성을 갖는 시스템을 도시하고 있지만, 상기 시스템 내 구성요소들은 다른 방식으로 배치될 수 있다. 상기 시스템은 임의의 알려진 방식으로 데이터 스트림으로부터의 콘텐트를 제공하는 미디어/데이터 렌더링 소스(102)를 포함한다. 미디어 스트림은 미디어 렌더링 소스(102)에 저장되거나, 아날로그 또는 디지털 방송과 같은 외부 소스로부터 수신될 수 있다. 일 실시예에서, 미디어 렌더링 소스(102)는 미디어 스트림(예컨대, 오디오 및/또는 비디오) 및/또는 다른 정보를 방송하는 라디오 방송국 또는 TV 콘텐트 공급자일 수 있다. 미디어 렌더링 소스(102)는 또한 오디오 또는 비디오 미디어를 녹화된 형식 또는 실시간 형식으로 제공하는 임의의 타입의 장치일 수 있다. 대안적인 실시예에서, 미디어 렌더링 소스(102)는 예를 들면 오디오 소스 및/또는 비디오 소스로서 라이브 공연을 포함할 수 있다. 미디어 렌더링 소스(102)는 미디어 스트림을, 예를 들면 그래픽 디스플레이, 오디오 스피커, MIDI 악기, 로봇인형(animatronic puppet) 등을 통해, 또는 미디어 렌더링 소스(102)에 의해 제공되는 임의의 다른 종류의 제시를 통해 제공할 수 있다.
클라이언트 장치(104)는 입력 인터페이스(106)를 통해 미디어 렌더링 소스(102)로부터의 미디어 스트림 제공을 수신한다. 일 실시예에서, 입력 인터페이스(106)는 안테나를 포함할 수 있으며, 이 경우에 미디어 렌더링 소스(102)는 미디어 스트림을 무선으로 클라이언트 장치(104)에 방송할 수 있다. 그러나 미디어 스트림의 형식에 따라, 미디어 렌더링 소스(102)는 무선 또는 유선 통신 기술을 사용하여 미디어를 공급할 수 있다. 다른 실시예에서, 입력 인터페이스(106)는 마이크로폰, 비디오 카메라, 진동 센서, 무선 수신기, 네트워크 인터페이스 등 어느 것이라도 포함할 수 있다. 구체적인 예로서, 미디어 렌더링 소스(102)는 음악을 재생할 수 있으며, 입력 인터페이스(106)는 상기 음악의 샘플을 수신하기 위해 마이크로폰을 포함할 수 있다.
실시예들에서, 클라이언트 장치(104)는 미디어 스트림의 공급을 수신하기 위한 것 외에는, 미디어 렌더링 소스(102)에 동작상 접속되지 않을 것이다. 이 방식에서, 클라이언트 장치(104)는 미디어 렌더링 소스(102)에 의해 제어되지 않고, 미디어 렌더링 소스(102)의 일체 부분이 아닐 수도 있다. 도 1에 도시된 실시예에서, 클라이언트 장치(104)는 미디어 렌더링 소스(102)와 별개의 개체이다.
입력 인터페이스(106)는 제공된 미디어 스트림의 미디어 샘플을 캡처하도록 구성된다. 입력 인터페이스(106)는, 수신된 모든 오디오를 녹음하고 버퍼(108) 내에 레코딩을 저장하는 것과 같이, 이용자 개입 없이 연속적으로 미디어 샘플을 캡처하도록 프로그램될 수 있다. 버퍼(108)는, 클라이언트 장치(104)가, 예를 들면 미리 결정된 간격으로, 또는 시간상 과거의 특정 길이의 이력 분석을 위해 이용가능한 방식으로, 레코딩을 기록 및 저장할 수 있도록, 다수의 레코딩을 저장하거나 제한된 시간 동안 레코딩을 저장할 수 있다, 다른 실시예에서, 미디어 샘플의 캡처는 사용자가 버튼 또는 다른 애플리케이션을 작동시켜 샘플 캡처를 개시함으로써 작동될 수 있다. 예를 들면, 클라이언트 장치(104)의 사용자는 버튼을 눌러 마이크로폰을 통한 오디오의 디지털 샘플을 10초 동안 기록하거나, 또는 카메라를 사용하여 정지 이미지 또는 비디오 시퀀스를 캡처할 수 있다.
클라이언트 장치(104)는 휴대전화(cell phone), 무선 휴대전화(wireless cell phone), PDA(personal data assistance), PMP(personal media player) 장치, 무선 웹-검색(web-watch) 장치, 개인용 헤드셋 장치, 애플리케이션 전용장치, 또는 전술한 기능들 중 하나 이상을 포함하는 하이브리드 장치와 같은 소형 폼 팩터(small-form factor) 휴대형(또는 모바일) 전자장치의 일부로서 구현될 수 있다. 클라이언트 장치(104)는 또한 랩탑 컴퓨터와 그 이외의 컴퓨터 구성 둘 다를 포함하는 개인용 컴퓨터로서 구현될 수 있다. 클라이언트 장치(104)는 또한 더 큰 장치 또는 시스템의 구성요소일 수도 있다.
클라이언트 장치(104)는 위치 식별 모듈(110)과 콘텐트 식별 모듈(112)을 추가로 포함한다. 위치 식별 모듈(110)은 버퍼(108)로부터 미디어 샘플을 수신하고, 그 순간에 캡처되고 있는 미디어 샘플에 기초하여 상기 제공된 미디어 스트림 내에서 미디어 샘플의 시간 오프셋을 지시하는 대응하는 추정된 시간 위치(Ts)를 식별한다. 시간 위치(Ts)는 또한, 어떤 실시예에서는, 미디어 스트림의 시작부터 경과된 시간의 양일 수 있다.
콘텐트 식별 모듈(112)은 버퍼(108)로부터 미디어 샘플을 수신하고, 수신된 미디어 스트림에 대해 콘텐트 식별을 수행한다. 콘텐트 식별은 미디어 스트림을 식별하거나, 미디어 샘플에 대한 또는 미디어 샘플에 관련된 정보를 식별한다. 콘텐트 식별 모듈(112)은 예를 들면, 영국 런던의 샤잠 엔터테인먼트(Shazam Entertainment), 미국 캘리포니아주 에머리빌의 그레이스노트(Gracenote), 미국 캘리포니아주 새너제이의 멜로디스(Melodies)에 의해 제공되는 것과 같은 미디어 샘플 정보검색 서비스의 어떤 실시예에서도 사용되거나 포함될 수 있다. 이 서비스들은 주변 오디오(environmental audio)의 샘플들을 수신하고, 상기 오디오 샘플의 음악 콘텐트를 식별하고, 및 사용자에게 트랙 이름, 아티스트(artist), 앨범, 아트워크(artwork), 바이오그래피(biography), 디스코그래피(discography), 콘서트 티켓 등을 포함하는 음악에 대한 정보를 제공한다.
이와 관련하여, 콘텐트 식별 모듈(112)은 미디어 서치 엔진(114)을 포함하며, 상기 수신된 미디어 샘플 내의 트랙을 식별하기 위해 상기 수신된 미디어 샘플을 저장된 정보와 비교하기 위해, 예를 들면 기준 미디어 스트림에 색인을 다는(indexing) 데이터베이스(116)를 포함하거나 그것에 접속될 수 있다. 일단 미디어 스트림 내의 트랙이 식별되면, 트랙 정체 또는 다른 정보가 클라이언트 장치(104)의 디스플레이에 표시될 수 있다.
데이터베이스(116)는 콘텐트의 조각들을 식별하기 위한 정보를 포함하는 콘텐트 패턴들을 저장할 수 있다. 콘텐트 패턴들은 미디어 레코딩들을 포함할 수 있으며 각각의 레코딩은 고유 식별자(예컨대, sound_ID)에 의해 식별될 수 있다. 대안으로, sound_ID는 다른 곳으로부터 오디오 파일을 검색하기 위해 사용될 수 있기 때문에, 데이터베이스(116)는 각각의 레코딩에 대해 오디오 또는 비디오 파일을 반드시 저장하지 않을 수도 있다. 상기 콘텐트 패턴은 미디어 레코딩의 시간대(timeline)에 대응하는 시간 차원을 갖는 미디어 레코딩의 콘텐트를 기술하는 시간 매핑된 피처들의 집합을 포함하는 기준 시그너처 파일(reference signature files)과 같은 다른 정보를 포함할 수 있으며, 각 피처는 각각의 매핑된 시점 근처의 콘텐트의 설명일 수 있다. 상기 콘텐트 패턴은 미디어 파일의 추출된 피처와 관련된 정보를 추가로 포함할 수 있다. 데이터베이스(116)는 클라이언트 장치(104)로 하여금 로컬 저장된 콘텐트 패턴에 일치하는 콘텐트의 콘텐트 식별을 수행하도록 하는 다수의 콘텐트 패턴을 포함할 수 있다.
데이터베이스(116)는 또한, 아티스트 이름, 노래의 길이, 노래의 가사, 가사의 라인 또는 단어들에 대한 시간 인덱스, 앨범 아트워크, 또는 파일을 식별하는 또는 관련된 다른 임의의 정보와 같은 콘텐트 패턴에 대한 정보를 표시하는 메타데이터(metadata)와 같은, 각각의 저장된 콘텐트 패턴에 대한 정보를 포함할 수 있다.
도 1의 시스템은 또한 클라이언트 장치(104)가 무선 또는 유선 링크를 통해 접속될 수 있는 네트워크(120)를 포함한다. 서버(122)는 네트워크(120)에 접속되고, 서버(120)는 위치 식별 모듈(124)과 콘텐트 식별 모듈(126)을 포함한다. 도 1은 서버(120)가 위치 식별 모듈(124)과 콘텐트 식별 모듈(126) 둘 다를 포함하는 것으로 도시하고 있지만, 위치 식별 모듈(124)과 콘텐트 식별 모듈(126) 중 적어도 하나는 예를 들면 서버(122)로부터 떨어진 별도의 개체일 수 있다. 또한, 위치 식별 모듈(124) 및/또는 콘텐트 식별 모듈(126)은 예를 들면 네트워크(120)를 통해 서버(122)에 접속된 원격 서버상에 있을 수 있다.
어떤 실시예에서는, 클라이언트 장치(104)는, 미디어 샘플을 캡처하고 미디어 샘플 내 콘텐트의 정체를 결정하기 위해, 상기 미디어 샘플을 네트워크(120)를 통해 서버(122)에 전송할 수 있다. 서버(122)의 위치 식별 모듈(124)과 콘텐트 식별 모듈(126)는 클라이언트 장치(104)의 위치 식별 모듈(110) 및 콘텐트 식별 모듈(112)과 유사하게 동작하도록 구성될 수 있다. 이 점에서, 콘텐츠 식별 모듈(126)은 미디어 서치 엔진(128)을 포함하며, 예를 들어, 상기 수신된 미디어 샘플 내의 트랙을 식별하기 위해 상기 수신된 미디어 샘플과 저장된 정보를 비교하기 위해, 기준 미디어 스트림을 색인하는 데이터베이스(DB)(130)를 포함하거나 그것에 접속될 수 있다. 일단 미디어 스트림 내 트랙이 식별되면, 트랙 정체 또는 다른 정보가 클라이언트 장치(104)에 반환될 수 있다.
다른 실시예에서, 클라이언트 장치(104)는 미디어 렌더링 소스(102)로부터의 미디어 스트림의 샘플을 캡처할 수 있으며, 상기 미디어 샘플의 지문을 생성하기 위해 상기 샘플에 대해 초기 처리를 수행할 수 있다. 클라이언트 장치(104)는 그 다음에 서버(122)의 위치 식별 모듈(124) 및/또는 콘텐트 식별 모듈(126)에 상기 지문 정보를 전송할 수 있으며, 서버(122)는 상기 지문 정보에만 기초하여 상기 샘플에 관한 정보를 식별할 수 있다. 이 방식에서, 더 많은 연산 또는 식별 처리가 예를 들면 서버(122)보다는 클라이언트 장치(104)에서 수행될 수 있다.
클라이언트 장치(104)는 수신된 미디어 샘플의 콘텐트 식별을 먼저 시도하도록 설정될 수 있으며, 만일 성공하지 못하면, 클라이언트 장치(104)는 데이터 스트림 내의 콘텐트의 정체를 결정하기 위해 서버(122)에 의뢰할 수 있다. 다른 실시예에서는, 클라이언트 장치(104)는 사용자로부터 그렇게 실행하라는 명령을 수신한 것에 기초하여 서버(122)에 의뢰할 수 있다.
미디어 샘플들의 피처와 미디어 샘플들에 대해 미디어 트랙의 DB를 사용하여 컴퓨터(computational) 콘텐트 식별을 수행하는 다양한 콘텐트 식별 기법들이 당해 기술분야에 알려져 있다. 다음 미국 특허 및 공개문헌은 미디어 인식 기법을 위한 가능한 예를 설명하며, 각각은 참조에 의해 본 명세서에 포함된다: 미국 특허 제4,843,562호(발명의 명칭: Broadcast Information Classification System and Method"; 미국 특허 제4,450,531호(발명의 명칭: Broadcast Signal Recognition System and Method"; 미국 특허출원 공개 제2008/0263360호(발명의 명칭: Generating and Matching Hashes of Multimedia Content"; 미국 특허 제7,627,477호(발명의 명칭: Robust and Invariant Audio Pattern Matching); 미국 특허출원 공개 제2007/0143777호(발명의 명칭: Method and Apparatus for Identification of Broadcast Source"; 미국 특허 제6,990,453호(발명의 명칭: System and Methods for Recognizing Sound and Music Signals in High Noise and Distortion"; 미국 특허 제5,918,223호(발명의 명칭: Method and Article of Manufacture for Content-Based Analysis, Storage, Retrieval, and Segmentation of Audio Information".
요약하면, (클라이언트 장치(104) 또는 서버(122) 내) 콘텐트 식별 모듈은 미디어 레코딩을 수신하고 그 미디어 레코딩을 샘플링하도록 구성될 수도 있다. 상기 레코딩은, 각각의 합성 상관 세그먼트에 대해 상관 함수 피크를 획득하여 상관 함수 피크들 사이의 간격이 미리 결정된 한계 내에 있을 때 인식 신호를 제공하기 위해, 디지털 정규화 기준 신호 세그먼트와 서로 관련될 수 있다. 상관 함수 피크들과 일치하는 RMS 파워 값들의 패턴은, 예를 들면 본 명세서에 그 전체가 병합되는 미국 특허 제4,450,531호에 언급된 것과 같이, 상기 디지털 기준 신호 세그먼트들로부터의 RMS 파워 값들의 패턴의 미리 결정된 한계 내에서 매칭할 수 있다. 상기 매칭 미디어 콘텐트는 이와 같이 식별된다. 또한, 미디어 콘텐트의 미디어 레코딩의 매칭 위치는, 예를 들면 상관 피크들의 오프셋 외에 매칭 상관 세그먼트의 위치에 의해 주어진다.
도 2는 콘텐트 식별 방법의 또 다른 실시예를 도시한다. 일반적으로, 미디어 콘텐트는, 미디어 샘플의 특성 또는 지문을 식별 또는 연산하고 상기 지문을 기준 미디어 파일들의 이전에 식별된 지문과 비교함으로써 식별될 수 있다. 지문이 연산되는 샘플 내 특정 위치들은 샘플 내 재생 가능한 지점에 종속할 것이다. 그와 같은 재생성 가능하게 연산될 수 있는 위치들은 "랜드마크(landmarks")라고 지칭될 것이다. 상기 샘플 내 랜드마크들의 위치는 샘플 자체에 의해 결정될 수 있다. 즉, 샘플 품질에 종속하고 재생성 가능하다. 즉, 프로세스가 반복될 때마다 동일한 샘플 신호에 대해 동일하거나 유사한 랜드마크들이 연산될 수 있다. 랜드마킹 스킴(landmarking scheme)은 사운드 레코딩의 경우 초당 약 5 내지 약 10개의 랜드마크를 표시할 수 있다; 그러나, 랜드마크 밀도는 미디어 레코딩 내 활동(activity)의 양에 종속할 것이다. 파워 놈(Power Norm)이라고 알려진 한 가지 랜드마킹 기법은 레코딩 내 다수의 시점에서 순간적인 파워를 계산하고 국소 최대(local maxima)를 선택하는 것이다. 이것을 실행하는 한 가지 방법은 파형을 직접 정류하고 필터링 하여 엔벨로프(envelope)를 계산하는 것이다. 또 다른 방법은 신호의 힐버트 변환(Hilbert transform)(쿼드러처(quadrature))을 계산하고 힐버트 변환 및 원시 신호의 제곱 크기의 합을 사용하는 것이다. 랜드마크를 계산하는 다른 방법들도 역시 사용될 수 있다.
도 2는 시간과 샘플의 크기(dB)의 관계를 예시하는 그래프를 도시한다. 이 그래프는 다수의 식별된 랜드마크 위치(L1 내지 L8)를 도시한다. 한 랜드마크가 결정되면, 레코딩 내 각각의 랜드마크 시점에서 또는 근처에서 지문이 계산된다. 랜드마크에 대한 피처의 근접은 사용된 지문채취 방법에 의해 정해진다. 어떤 경우에서는, 피처가 랜드마크에 명백히 대응하고 이전 또는 이후의 랜드마크에 대응하지 않으면 피처가 랜드마크에 근접한 것으로 간주된다. 다른 경우에서는, 피처가 다수의 인접한 랜드마크들에 대응한다. 지문은 일반적으로 랜드마크 시점에서 또는 근처에서 레코딩 내 한 세트의 피처를 요약하는 값 또는 값들의 세트이다. 일 실시예에서, 각각의 지문은 다수 피처의 해쉬 함수(hashed function)인 단일의 숫자 값이다. 지문의 다른 예들은 스펙트럼 슬라이스(spectral slice) 지문, 멀티-슬라이스(multi-slice) 지문, LPC 계수, 셉스트럴(cepstral) 계수, 및 스펙트로그램 피크의 주파수 성분들을 포함한다.
지문은 신호에 대한 임의의 타입의 디지털 신호 처리 또는 주파수 해석에 의해 연산될 수 있다. 일 실시예에서, 스펙트럼 슬라이스 지문을 생성하기 위해, 주파수 해석이 각각의 랜드마크 시점의 이웃에서 수행되어 상위 몇 개의 스펙트럼 피크들을 추출한다. 그러면 지문 값은 가장 강한 스펙트럼 피크의 단일 주파수 값이 될 것이다. 오디오 샘플의 특성 또는 지문을 연산하는 것에 대한 더 많은 정보를 위해, 미국 특허 제6,990,453호(발명의 명칭: System and Methods for Recognizing Sound and Music Signals in High Noise and Distortion)을 참조할 수 있으며, 이 특허문헌의 전체 내용은 참조를 위해 본 명세서에 포함된다.
이와 같이, 도 1을 다시 참조하면, 클라이언트 장치(104) 또는 서버(122)는 레코딩(예컨대, 미디어/데이터 샘플)을 수신하고 상기 레코딩의 지문을 연산할 수 있다. 일 실시예에서, 레코딩에 대한 정보를 식별하기 위해, 클라이언트 장치(104)의 콘텐트 식별 모듈(112)은 그 다음, 가장 많은 수의 선형적으로 관련된 대응들을 갖는, 또는 특성 지문들의 상대적 위치가 상기 레코딩의 동일한 지문들의 상대적인 위치와 가장 밀접하게 매칭하는 파일을 찾기(locate) 위해 DB(116) 내 파일들과 동등한 지문들 사이의 대응을 생성함으로써 상기 레코딩의 지문들과 알려진 오디오 트랙들의 지문을 매칭하기 위해, DB(116)에 액세스하는 것이 가능하다.
도 2를 참조하면, 지문들이 매칭하는(또는 실질적으로 매칭하는) 기준 파일과 샘플의 랜드마크 산포도가 도시되어 있다. 샘플은 다수의 산포도를 생성하기 위해 다수의 기준 파일들에 비교될 수 있다. 산포도를 생성한 후, 랜드마크 쌍들 사이의 선형 대응이 식별될 수 있으며, 선형적으로 관련 있는 쌍들의 개수에 따라 세트들에 스코어가 부여될 수 있다. 선형 대응은, 통계적으로 의미 있는 수의 대응하는 샘플 위치들과 기준 파일 위치들이 실질적으로 동일한 1차 방정식으로, 예를 들면 허용된 오차한계 내에서 기술될 수 있을 때, 일어날 수 있다. 통계적으로 의미 있는 가장 높은 스코어를 갖는, 즉 가장 큰 수의 선형 관계 대응을 가진 세트의 파일이 승리 파일이며, 매칭 미디어 파일로서 간주될 수 있다.
일 실시예에서, 파일에 대한 스코어를 생성하기 위해, 오프셋 값들의 히스토그램이 생성될 수 있다. 상기 오프셋 값들은 지문이 매칭하는 기준 파일과 샘플 사이의 랜드마크 시간 위치들에서 차이일 수 있다. 도 3은 오프셋 값들의 히스토그램의 예를 도시한다. 기준 파일은 상기 히스토그램의 피크에 해당하는 스코어(예를 들면, 도 3에서 스코어 = 28)로 주어질 수 있다. 각각의 기준 파일은 스코어를 생성하기 위해 이런 방식으로 처리될 수 있으며, 가장 높은 스코어를 가진 기준 파일이 샘플에 대한 매치로서 결정될 수 있다.
미디어 스트림 내 콘텐트를 식별하기 위한 기법의 또 다른 예로서, 콘텐트를 식별하기 위해 국부적 매칭 기법을 사용하여 미디어 샘플을 분석하는 것이 가능하다. 예를 들면, 일반적으로, 2개의 미디어 샘플들 사이의 관계는 각각의 샘플들로부터 도출된 최초의 특정 매칭 지문 오브젝트에 의해 특징지어질 수 있다. 특정 위치에서 각각 발생하는 한 세트의 지문들이 각 미디어 샘플에 대해 생성된다. 각 위치는 각각의 미디어 샘플의 콘텐트에 따라 결정되며 각 지문 오브젝트는 각각의 특정 위치에서 또는 근처에서 1개 이상의 로컬 피처를 규정한다. 다음에는 매칭된 지문 오브젝트들의 각 쌍에 대해 상대 값이 결정된다. 그러면 상대 값들의 히스토그램이 생성된다. 만일 통계적으로 유의미한 피크가 발견되면, 2개의 미디어 샘플은 실질적으로 매칭하는 것으로 규정될 수 있다. 또한, 오디오 샘플이 원시/기준 오디오 트랙과 비교하여 얼마나 감속 또는 가속되었는지를 표시하는 타임 스트레치 비율(time stretch ratio)이 결정될 수 있다. 이 방법의 더 상세한 설명에 대해서는, 미국 특허 제7,627,477호("Robust and Invariant Audio Pattern Matching")를 참조할 수 있으며, 이 문헌의 전체 내용은 본 명세서에 전부 기재된 것처럼 참조에 의해 여기에 포함된다.
또한, 전술한 공개문헌에서 설명된 시스템 및 방법들은 미디어 샘플의 정체 이상의 것을 반환할 수 있다. 예를 들면, 미국 특허 제6,990,453호에 기재된 방법을 사용하는 것은, 식별된 오디오 트랙과 관련된 메타데이터에 추가하여, 식별된 샘플의 시작으로부터 미디어 샘플의 상대 시간 오프셋(RTO: relative time offset)을 반환할 수 있다. 레코딩의 상대 시간 오프셋을 결정하기 위해, 샘플의 지문은 지문들이 매칭하는 원시 파일들의 지문들과 비교될 수 있다. 각각의 지문은 주어진 시간에 일어나며, 따라서 샘플을 식별하기 위해 지문을 매칭한 후, 제1 지문(샘플 내 매칭 지문의)과 저장된 원시 파일의 제1 지문과의 사이의 시간 차이가 상기 샘플의 시간 오프셋, 예를 들면 노래에서 시간 양이 될 것이다. 따라서, 샘플이 취해진 상대 시간 오프셋(예컨대, 노래에서 67초)이 결정될 수 있다. RTO를 결정하기 위해 다른 정보가 사용될 수도 있다. 예를 들면, 히스토그램 피크의 위치는 기준 레코딩의 시작으로부터 샘플 레코딩의 시작까지의 시간 오프셋으로 간주될 수 있다.
다른 형태의 콘텐츠 식별 역시 미디어 샘플의 타입에 따라 수행될 수 있다. 예를 들면, 비디오 스트림(예컨대, 영화) 내 위치를 식별하기 위해 비디오 식별 알고리즘이 사용될 수 있다. 비디오 식별 알고리즘의 예는 Oostveen, J.등의 Lecture Notes in Computer Science, 2314 (2002, 3. 11)의 117-128 페이지에 기재된 "Feature Extraction and a Database Strategy for Video Fingerprinting"을 참조할 수 있으며, 그 전체 내용은 참조를 위해 본 명세서에 포함된다. 예를 들면, 비디오 내에서 비디오 샘플의 위치는 어느 비디오 프레임이 식별되었는지 결정함으로써 도출될 수 있다. 비디오 스트림을 식별하기 위해, 미디어 샘플의 프레임들은 행과 열의 그리드(grid)로 분할될 수 있으며, 그리드의 각 블록에 대해서, 픽셀들의 휘도 값들(luminance values)의 평균이 계산된다. 그리드의 각 블록에 대해 지문 비트들을 도출하기 위해 상기 계산된 평균 휘도 값들에 공간 필터가 적용될 수 있다. 지문 비트들은 프레임을 유일하게 식별하기 위해 사용될 수 있으며, 알려진 미디어를 포함하는 DB의 지문 비트들에 비교 또는 매칭될 수 있다. 프레임으로부터 추출된 지문 비트들은 서브-지문으로 지칭될 것이며, 한 지문 블록은 연속 프레임들로부터의 고정된 수의 서브-지문들이다. 서브-지문들과 지문 블록들을 사용하면, 비디오 샘플들의 식별이 수행될 수 있다. 미디어 샘플이 어느 프레임을 포함했는지에 기초하여, 비디오에서의 위치(예컨대, 시간 오프셋)가 결정될 수 있다.
또한, 워터마킹(watermarking) 방법을 사용하는 것과 같이, 다른 형태의 콘텐트 식별이 역시 수행될 수 있다. 시간 오프셋을 결정하기 위해 위치 클라이언트 장치(104)의 위치 식별 모듈(110)에 의해 (및 유사하게 서버(122)의 위치 식별 모듈(124)에 의해) 워터마킹 방법이 사용될 수 있으며, 미디어 스트림이 임베디드 워터마크들을 간간이(at intervals) 가지며, 각각의 워터마크는 워터마크의 시간 또는 위치를 직접, 또는 예를 들면 DB 검색을 통해 간접으로 지정할 수 있다.
콘텐트 식별 모듈(112)의 기능들을 구현하는 전술한 실시예 콘텐트 식별 방법들 중 어떤 경우에 있어서, 식별 프로세스의 부차적 결과는 미디어 스트림 내 미디어 샘플의 시간 오프셋일 수 있다. 따라서, 그와 같은 실시예에서는, 위치 식별 모듈(110)은 콘텐트 식별 모듈(112)과 같거나, 위치 식별 모듈(110)의 기능들이 콘텐트 식별 모듈(112)에 의해 수행될 수도 있다.
어떤 실시예들에서, 클라이언트 장치(104) 또는 서버(122)는, 클라이언트 장치(104)에 반환되어 클라이언트 장치(104)에 의해 공급될 샘플링된 미디어에 대응하는 미디어 스트림을 선택하기 위해, 네트워크(120)를 통해 미디어 스트림 라이브러리 DB(132)에 추가로 접속할 수 있다. 미디어 스트림 라이브러리 DB(132) 내의 정보, 또는 미디어 스트림 라이브러리 DB(132) 그 자체는 DB(116) 내에 포함될 수도 있다.
상기 미디어 샘플에 대응하는 미디어 스트림은 예를 들면, 클라이언트 장치(140)의 사용자에 의해 수동으로 선택되거나, 클라이언트 장치(104)에 의해 프로그램적으로 선택되거나, 미디어 샘플의 정체에 기초하여 서버(122)에 의해 선택될 수 있다. 상기 선택된 미디어 스트림은 미디어 샘플로부터의 상이한 종류의 미디어일 수도 있고, 미디어 렌더링 소스(102)에 의해 제공되고 있는 미디어에 동기화될 수도 있다. 예를 들면, 미디어 샘플은 음악일 수 있고, 선택된 미디어 스트림은 음악에 동기화될 수 있는, 가사(lyrics), 음악 악보(musical score), 기타 태블러추어(guitar tablature), 음악 반주(musical accompaniment), 비디오, 로봇인형 춤(animatronic puppet dance), 애니메이션 시퀀스 등이 될 수 있다. 클라이언트 장치(104)는 미디어 샘플에 대응하는 상기 선택된 미디어 스트림을 수신할 수도 있고, 미디어 렌더링 소스(102)에 의해 제공되고 있는 미디어에 동기를 이루어 상기 선택된 미디어 스트림을 제공할 수도 있다.
미디어 렌더링 소스(102)에 의해 제공되고 있는 미디어의 추정 시간 위치는 위치 식별 모듈(110)에 의해 결정되며 상기 선택된 미디어 스트림을 제공할 상기 선택된 미디어 스트림 내의 대응하는 위치를 결정하기 위해 사용될 수 있다. 클라이언트 장치(104)가 미디어 샘플을 캡처하도록 기동되는 때, 클라이언트 장치(104)의 기준 시간으로부터 타임스탬프(T0)가 기록된다. 임의의 시간 t에서, 추정된 실시간 미디어 스트림 위치(Tr(t))는 식별된 미디어 스트림의 추정 위치(Ts)와 타임스탬프의 시간 이후 경과시간의 합으로부터 결정된다. 즉,
Figure pct00001
상기 식에서, Tr(t)는 미디어 스트림의 시작부터 현재 공급되고 있는 미디어 스트림의 실시간 위치까지의 경과된 시간의 양이다. 따라서, Ts(즉, 미디어 스트림의 시작부터 상기 기록된 샘플에 기초한 미디어 스트림의 위치까지의 추정 경과 시간의 양)을 사용하면, Tr(t)가 계산될 수 있다. Tr(t)는 그 다음에 미디어 렌더링 소스(102)에 의해 공급되고 있는 미디어에 동기하여 선택된 미디어 스트림을 공급하기 위해 클라이언트 장치(104)에 의해 사용될 수 있다. 예를 들면, 클라이언트 장치(104)는, 시간 위치(Tr(t))에서, 또는 미디어 렌더링 소스(102)에 의해 제공되고 있는 미디어에 동기하여 상기 선택된 미디어 스트림을 제공하기 위해 Tr(t) 시간 양이 경과한 위치에서, 상기 선택된 미디어 스트림의 제공을 시작할 수 있다.
어떤 실시예에서는, 상기 선택된 미디어 스트림이 미디어 렌더링 소스(102)에 의해 제공되고 있는 미디어와의 동기를 상실하는 것을 완화하거나 방지하기 위해, 상기 추정된 위치 Tr(t)가 속도 조정 비율(R)에 따라 조정될 수 있다. 예를 들면, 미국 특허 제7,627,477호(발명의 명칭: Robust and invariant audio pattern matching)에 기재된 방법들은 미디어 샘플, 식별된 미디어 스트림의 추정 위치(TS), 및 속도 비율(R)을 식별하기 위해 실행될 수 있으며, 상기 문헌의 전체 내용은 참조를 위해 본 명세서에 포함된다. 속도 비율(R)을 추정하기 위해, 매칭 지문들의 가변 부분들의 크로스-주파수(cross-frequency ratio) 비율이 계산되며, 주파수는 시간에 반비례하므로, 크로스-시간 비율은 크로스-주파수 비율의 역수이다. 크로스-속도 비율(R)은 크로스-주파수 비율이다(예컨대, 크로스-시간 비율의 역수).
더욱 구체적으로는, 전술한 방법들을 사용할 때, 2개의 오디오 샘플 사이의 관계는, 상기 샘플들의 시간-주파수 스펙트로그램을 생성하고(예컨대, 각 프레임 내에 주파수 빈(bins)을 생성하기 위해 푸리에 변환을 연산함으로써), 및 스펙트로그램의 로컬 에너지 피크를 식별함으로써, 규정될 수 있다. 상기 로컬 피크에 관련된 정보는 추출되어 지문 오브젝트의 목록으로 요약되며, 그 각각은 선택사항으로 위치 필드, 변형 성분, 및 불변형 성분을 포함한다. 각각의 오디오 샘플들의 스펙트로그램으로부터 도출된 특정 지문 오브젝트들은 그 다음 매칭될 수 있다. 매칭된 지문 오브젝트들의 각 쌍에 대한 상대 값이 결정되며, 그것은 예를 들면 상기 각각의 오디오 샘플들의 파라미터 값들의 대수의 몫 또는 차이일 것이다.
일 실시예에서, 미디어 샘플의 스펙트로그램으로부터 스펙트럼 피크들의 로컬 쌍들이 선택되며, 로컬 쌍들 각각은 지문을 포함한다. 마찬가지로, 알려진 미디어 스트림의 스펙트로그램으로부터 스펙트럼 피크의 로컬 쌍들이 선택되며, 로컬 쌍들 각각은 지문을 포함한다. 상기 샘플과 알려진 미디어 스트림 사이의 매칭 지문들이 결정될 수 있고, 상기 샘플과 알려진 미디어 스트림의 각각에 대한 스펙트럼 피크들 사이의 시간 차이가 계산될 수 있다. 예를 들어, 상기 샘플의 2개의 피크 사이의 시간 차이가 결정되고 상기 알려진 미디어 스트림의 2개의 피크 사이의 시간 차이와 비교된다. 이들 2개의 시간 차이의 비율이 비교되고 (지문들의 매칭 쌍들로부터 추출된) 그와 같은 다수의 비율을 포함하는 히스토그램이 생성될 수 있다. 히스토그램의 피크는 실제 속도 비율(예컨대, 기준 미디어 파일에서 미디어가 제공되고 있는 속도와 비교하여 미디어 렌더링 소스(102)가 상기 미디어를 재생하고 있는 속도 사이의 차이)인 것으로 결정될 수 있다. 따라서, 상기 속도 비율(R)의 추정은 예를 들면 히스토그램에서 피크를 발견함으로써 획득될 수 있으며, 히스토그램 내의 피크는 2개의 오디오 샘플 사이의 관계를 상대적인 피치(pitch)로서, 또는 선형 스트레치(linear stretch)의 경우에는 상대적인 재생 속도로서 규정한다.
이와 같이, 상기 글로벌 상대 값(예컨대, 속도 비율(R))은 상기 2개의 오디오 샘플로부터의 대응하는 변형 성분을 사용하여 매칭된 지문 오브젝트로부터 계산될 수 있다. 상기 변형 성분(variant component)은 각 지문 오브젝트의 위치에 근접한 로컬 피처로부터 결정된 주파수 값일 수 있다. 상기 속도 비율(R)은 주파수들 또는 시간 변화(delta times)의 비율이거나, 또는 상기 2개의 오디오 샘플 사이의 매핑을 기술하기 위해 사용된 글로벌 파라미터의 추정을 결과로서 제공하는 어떤 다른 함수일 수 있다. 상기 속도 비율(R)은 예를 들면 상대적인 재생 속도의 추정으로 간주될 수도 있다.
상기 속도 비율(R)은 또한 다른 방법들을 사용하여 추정될 수 있다. 예를 들면, 미디어의 복수의 샘플들이 캡처될 수 있으며, k번째 샘플에 대해 기준 클럭 시간 T0(k)에서 복수의 추정된 미디어 스트림 위치 Ts(k)를 얻기 위해 각 샘플에 대해 콘텐츠 식별이 수행될 수 있다. 그러면, R은 다음 식으로 추정될 수 있다:
Figure pct00002
R을 시변하는 것으로 나타내기 위해, 다음 식이 사용될 수 있다:
Figure pct00003
따라서, 속도 비율(R)은, 미디어가 미디어 렌더링 소스(102)에 의해 렌더링되고 있는 속도를 결정하기 위해 일정 시간(a span of time) 동안 추정 시간 위치(Ts)들을 사용하여 계산될 수 있다.
속도 비율(R)을 사용하면, 실시간 미디어 스트림 위치의 추정치가 다음식에 의해 계산될 수 있다:
Figure pct00004
상기 실시간 미디어 스트림 위치는 미디어 샘플의 시간 위치를 표시한다. 예를 들어, 만일 미디어 샘플이 4분의 길이를 갖는 노래의 샘플이라면, 그리고 Tr(t)가 1분이라면, 그것은 상기 노래의 1분이 경과된 것을 표시한다.
도 3은 데이터 스트림 내 콘텐트를 식별하는 실시예 방법(300)의 흐름도이다. 여기서 개시된 또는 다른 프로세스들 및 방법들에 대해서, 흐름도는 본 실시예의 하나의 가능한 구현의 기능 및 동작을 보여준다는 것을 이해하여야 한다. 이와 관련하여, 각 블록은, 프로세스의 특정한 논리 기능들 또는 절차들을 실행하기 위해 프로세서에 의해 실행 가능한 하나 이상의 명령들을 포함하는 프로그램 코드의 일부, 모듈, 또는 세그먼트를 나타낼 수 있다. 프로그램 코드는, 예를 들면, 디스크 또는 하드 드라이브를 포함하는 저장장치와 같은 임의 타입의 컴퓨터로 판독 가능한 매체 또는 데이터 저장장치에 저장될 수 있다. 컴퓨터 판독 가능한 매체는, 예를 들면, 레지스터 메모리, 프로세서 캐시 및 RAM(random access memory)과 같이 단기간 동안 데이터를 저장하는 컴퓨터 판독 가능한 매체와 같은, 비일시적인(non-transitory) 컴퓨터 판독 가능한 기록매체 또는 메모리를 포함할 수 있다. 컴퓨터 판독 가능한 매체는 또한, 예를 들면, ROM(read only memory), 광 또는 자기 디스크, CD-ROM과 같이, 보조의 또는 영구적인 저장장치와 같은 비일시적인 기록매체를 포함할 수 있다. 컴퓨터 판독 가능한 매체는 또한 어떤 다른 휘발성 또는 비휘발성 저장 시스템일 수 있다. 컴퓨터 판독 가능한 매체는 예를 들면 유형의 컴퓨터 판독 가능한 저장 매체로 간주될 수 있다.
또한, 도 3의 각 블록은 프로세스의 특정한 논리 기능들을 수행하도록 배선된 회로를 나타낼 수 있다.
당해 기술분야의 숙련 기술자에 의해 이해될 수 있는 것과 같이, 수반된 기능에 따라 실질적으로 동시의 또는 역의 순서를 포함하여 도시되거나 설명된 것과 다른 순서로 기능들이 실행될 수 있는 대안적인 구현들이 본 발명의 실시예들의 범위 내에 포함된다.
방법(400)은, 블록 302에서, 미디어 스트림의 샘플을 클라이언트 장치에서 수신하는 것을 포함한다. 상기 연속 데이터 스트림은 라디오 방송, TV 오디오/비디오, 또는 제공 중인 임의의 오디오와 같은 임의의 유형의 데이터 또는 미디어를 포함할 수 있다. 데이터 스트림은 소스에 의해 연속적으로 제공될 수 있으며, 따라서 클라이언트 장치는 상기 데이터 스트림을 연속해서 수신할 수 있다. 어떤 실시예의 경우에는, 클라이언트 장치는, 제공되는 미디어 스트림의 상당한 부분을 클라이언트 장치가 수신하거나, 또는 클라이언트 장치가 데이터 스트림을 거의 항상 수신하는 것과 같이, 실질적으로 연속적인 데이터 스트림을 수신할 수 있다.
방법(300)은 블록 304에서 상기 연속 데이터 스트림이 미디어 콘텐트를 포함하는지 결정하는 단계를 포함한다. 일 실시예에서, 클라이언트 장치는 상기 데이터 스트림의 피처들의 변화를 결정하기 위해 데이터 스트림을 처리할 수 있으며, 상기 처리는 스피치의 음성 및 비음성 부분의 변화를 식별하는 것과 상기 데이터 스트림이 미디어 콘텐트를 포함하는지 결정하기 위해 상기 데이터 스트림과 미디어 콘텐트의 알려진 특성을 비교하는 것을 포함한다. 일 실시예에서, 상기 클라이언트 장치는, 미국 특허 제6570991호에 개시된 방법을 사용하여, 데이터 스트림이 예를 들면 노래를 포함하는 오디오와 같은 미디어 콘텐트를 포함하는지 결정할 수 있으며, 상기 문헌의 내용은 참조를 위해 그 전체가 본 명세서에 포함된다. 또 다른 실시예에서는, 클라이언트 장치는, Sheirer와 Slaney에 의해 1997 ICASSP 1997 프로시딩(Proceedings of the 1997 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP '97)) 2판에 공개된 "Construction and Evaluation of a Robust Multifeature Speech/Music Discriminator"에 설명된 방법들을 사용하여, 데이터 스트림이 예를 들면 노래를 포함하는 오디오와 같은 미디어 콘텐트를 포함하는지 결정할 수 있으며, 이 문헌의 전체 내용은 참조를 위해 본 명세서에 포함된다.
방법(300)은 블록 306에서, 클라이언트 장치에서, 상기 클라이언트 장치에 저장된 콘텐트 패턴에 기초하여 상기 데이터 스트림 내에 콘텐트의 콘텐트 식별을 연속해서 수행하는 단계를 포함한다. 상기 콘텐트 패턴은 콘텐트의 조각들을 식별하기 위한 정보를 포함할 수 있으며, 예를 들면, 미디어 파일의 추출된 피처들 또는 미디어 파일을 기술하는 시간 매핑된 피처들의 집합과 관련된 정보와 같은 임의의 타입의 정보를 포함할 수 있다. 콘텐트 패턴들 각각은 예를 들면, 소정의 기준 파일을 위한 랜드마크-지문(landmark-fingerprint) 쌍들을 추가로 포함할 수 있다.
클라이언트 장치는 상기 연속 데이터 스트림을 수신할 수 있고 콘텐트 식별을 연속적으로 실행할 수 있다. 이 방식으로, 클라이언트 장치는 수신되는 모든 콘텐트의 식별을 시도할 수 있다. 클라이언트 장치가 동작하는 동안, 또는 예를 들면 콘텐트 식별 기능들을 포함하는 애플리케이션이 실행되고 있는 동안에 콘텐트 식별이 항상 또는 거의 항상 수행되는 것과 같이, 콘텐트 식별은 실질적으로 연속해서 실행될 수 있다.
어떤 실시예에서는, 콘텐트 식별은 미디어 스트림을 수신할 때 실행될 수 있으며, 따라서 데이터 스트림이 수신되지 않을 때는 콘텐트 식별이 수행되지 않을 수 있다. 클라이언트 장치는 마이크로폰으로부터 데이터 스트림을 연속해서 수신하도록 구성될 수 있다(예컨대, 항상 주변의 오디오를 캡처함). 일 실시예에서, 클라이언트 장치는, 데이터 스트림이 미디어 콘텐트를 포함하는지의 결정에 기초하여(블록 304에서), 데이터 스트림이 미디어 데이터를 포함할 때 (그리고 데이터 스트림이 랜덤 주변 노이즈를 포함할 때가 아니라) 클라이언트 장치가 콘텐트 식별을 수행하도록, 클라이언트 장치에서 데이터 스트림 내 콘텐트의 콘텐트 식별을 연속해서 수행할 수 있다.
클라이언트 장치는 사용자 입력 없이 콘텐트 식별을 수행하기 위해 콘텐트 식별을 연속해서 수행하도록 구성될 수 있다(예를 들면, 사용자는 콘텐트 식별을 수행하도록 클라이언트 장치를 기동시킬 필요가 없다). 클라이언트 장치의 사용자는 콘텐트 식별을 연속적으로 수행하는 애플리케이션을 개시하거나 클라이언트 장치가 콘텐트 식별을 연속해서 수행하도록 클라이언트 장치의 설정을 구성할 수 있다.
방법(300)은 블록 308에서 명령의 수신에 기초하여, 클라이언트 장치가 데이터 스트림 내 콘텐트의 정체를 결정하기 위해 서버에 의뢰하는 단계를 포함한다. 클라이언트 장치는 자체 내에 저장된 콘텐트 패턴에 기초하여 콘텐트 식별을 수행할 수 있다. 클라이언트 장치는 제한된 수의 콘텐트 패턴을 포함할 수 있으며, 따라서 클라이언트 장치의 콘텐트 식별 능력은 제한적일 수 있다. 따라서, 일 실시예에서, 사용자는 콘텐트의 정체를 결정하기 위해 서버에 의뢰하는 명령을 제공할 수 있다. 사용자는 예를 들면, 로컬 저장된 콘텐트 패턴이 데이터 스트림 내 어떤 콘텐트와 일치하지 않는 것과 같이, 예를 들면 클라이언트 장치가 콘텐트 식별에 실패할 경우에 상기 명령을 제공할 수 있다.
또 다른 예로서, 만일 데이터 스트림 내 콘텐트가 미디어 콘텐트를 포함하고 클라이언트 장치에서 식별되지 않는다면, 클라이언트 장치는 사용자게 통지를 제공하며, 사용자는 클라이언트 장치로 하여금 데이터 스트림 내 콘텐트의 정체를 식별하기 위해 서버에 의뢰하게 하는 통지의 선택을 제공할 수 있다.
클라이언트 장치는, 그렇게 하라는 사용자 요청에 기초하여 또는 콘텐트 식별의 정확도가 낮을 확률을 가진 경우에(예컨대, 소정의 문턱값보다 낮은 다수의 매칭 지문들), 자신에 의해 수행된 콘텐트 식별을 검증하기 위해 서버에 추가로 의뢰할 수도 있다.
도 3의 방법(300)을 사용하면, 피처 콘텐트(featured content)가 (로컬 저장된 콘텐트 패턴에 기초하여) 클라이언트 장치에 의해 자체에서 식별될 수 있으며, 클라이언트 장치에 의해 식별되지 않는 임의의 콘텐트는 서버에 의해 식별되는 것이 가능하다. 방법(300)은 모든 콘텐트 식별 처리가 클라이언트 장치에서 수행되는 것을 가능하게 한다(예컨대, 샘플의 피처를 추출하고, 전화기에 저장된 한정된 콘텐트 패턴 세트의 검색 등). 일 실시예에서, 피처 콘텐트가 클라이언트 장치에 의해 식별될 때, 클라이언트 장치는 콘텐트 식별을 수행할 수 있으며 인식을 나타내는 통지(예컨대, 팝업 윈도우)를 제공하는 것이 가능하다. 방법(300)은 피처 콘텐트가 식별되는 경우 사용자에게 통지하기 위해 사용자를 위해 제로-클릭(zero-click) 태깅(tagging) 경험을 제공할 수 있다.
업로드되어 클라이언트 장치에 저장된 콘텐트 패턴들은 미디어 소스에 의해 제공될 가능성이 더 많은 것으로 결정된 미디어 파일들과 연관될 수 있다. 따라서, 인기있는 콘텐트 또는 피처 콘텐트의 콘텐트 패턴은, 클라이언트 장치가 먼저 로컬 콘텐트 식별을 수행하고, 만일 실패하면, 사용자가 클라이언트 장치로 하여금 서버에 의뢰하기 위해 지시할 수 있도록, 클라이언트 장치에 저장될 수 있다.
클라이언트 장치는 데이터 스트림 내 콘텐트를 식별한 후 다수의 기능을 수행할 수 있는데, 예를 들면 상기 식별된 콘텐트에 관련된 광고를 표시하거나 상기 식별된 콘텐트에 관련된 동기화된 미디어를 재생하는 것이다. 또 다른 예로서, 콘텐트를 식별한 후, 클라이언트 장치는 콘텐트에 관련되거나 콘텐트에 관련되지 않은 웹사이트, 비디오 등에 사용자를 안내할 수 있다.
도 4는 데이터 스트림 내 콘텐트를 식별하는 실시예 시스템(400)을 도시한다. 도 4에 도시된 시스템의 설명된 기능들 또는 구성요소들 중 하나 이상은 추가의 기능적 또는 물리적 구성요소들로 분할되거나, 더 적은 수의 기능적 또는 물리적 구성요소들로 결합될 수 있다. 어떤 추가의 실시예에서는, 추가의 기능적 및/또는 물리적 구성요소들이 도 4에 도시된 실시예들에 추가될 수 있다.
시스템(400)은 인식 서버(402) 및 요청 서버(404)를 포함한다. 인식 서버(402)는 콘텐트 식별을 결정하기 위해 클라이언트 장치로부터 의뢰를 수신하도록 구성될 수 있으며, 상기 의뢰는 콘텐트의 샘플을 포함할 수 있다. 인식 서버(402)는 위치 식별 모듈(406), 미디어 서치 엔진(410)을 포함하는 콘텐트 식별 모듈(408)을 포함하며, DB(412) 및 미디어 스트림 라이브러리 DB(414)에 접속된다. 인식 서버(402)는 예를 들면 도 1에 도시된 서버(122)에 유사하게 동작하도록 구성될 수도 있다.
요청 서버(404)는 클라이언트 장치가 연속 식별 모드에서 동작하도록 명령할 수 있으며, 그에 따라서 클라이언트 장치는 연속 식별 모드에서 클라이언트 장치에서 수신 데이터 스트림 내의 콘텐트의 식별을 연속적으로 수행할 수 있다(콘텐트 식별을 위해 인식 서버(402)에 의뢰를 송신하는 대신에 또는 송신하는 것에 추가로). 요청 서버(404)는 콘텐트 패턴을 포함하는 DB(416)에 접속될 수 있으며, 요청 서버(404)는 콘텐트 패턴을 검색하기 위해 DB(416)를 액세스할 수 있고 상기 콘텐트 패턴을 클라이언트 장치에 송신한다.
일 실시예에서, 요청 서버(404)는 클라이언트 장치에 하나 이상의 콘텐트 패턴과, 클라이언트 장치에서 미디어 스트림 내 콘텐트의 콘텐트 식별을 연속적으로 수행하라는 명령을 송신할 수 있다. 클라이언트 장치는 응답하여 연속 모드로 동작할 것이다. 요청 서버(404)는 인식 서버(402)가 대용량의 콘텐트 식별 요청을 경험하고 있는 동안 상기 명령을 클라이언트 장치에게 송신할 수 있으며, 따라서 요청 서버(404)는 몇몇 클라이언트 장치에게 자체적으로 콘텐트 식별을 수행하도록 명령함으로써 부하분산을 수행한다. 대용량의 요청이 수신될 수 있는 시간의 예는 많은 시청자가 TV를 시청하고 있는 시간 동안에 노래를 포함하는 광고가 TV에서 방송되고 있는 때를 포함한다. 그와 같은 경우에, 요청 서버(404)는 미리 계획을 세울 수 있으며, 상기 광고 동안 제공될 노래와 매칭하는 콘텐트 패턴을 클라이언트 장치에 제공할 수 있으며, 콘텐트 식별을 클라이언트 장치가 자체에서 수행하도록 하는 명령을 포함할 수 있다. 상기 명령은, 예를 들면 미래에 일정 시간 동안 그렇게 수행하도록 명령하는 것과 같이, 클라이언트 장치가 언제 자체 콘텐트 식별을 수행해야 하는지의 표시를 포함할 수 있다. 어떤 실시예에서는, 홍보를 위해서, 패턴들(예컨대, 약 100 내지 500개 콘텐트 패턴)을 로컬 저장하기 위해 콘텐트 패턴들이 클라이언트 장치에 제공될 수 있으며, 상기 명령은 홍보가 진행되는 한 콘텐트 식별을 자체에서 수행하도록 클라이언트 장치에게 표시할 수 있다.
클라이언트 장치에 제공될 콘텐트 패턴은 다수의 기준에 기초하여 요청 서버(404)에 의해 선택될 수 있다. 예를 들면, 요청 서버(404)는 사용자의 프로파일에 관련된 정보를 수신할 수 있으며, 클라이언트 장치에 제공될, 사용자의 프로파일에 상호 관련된 콘텐트 패턴을 선택할 수 있다. 구체적으로는, 사용자는 특정 장르의 음악, 아티스트, 음악 유형, 음악 소스 등에 대한 선호를 표시할 수 있고, 요청 서버(404)는 상기 선호에 상호 관련된 미디어를 위한 콘텐트 패턴을 제공할 수 있다.
또 다른 실시예로서, 요청 서버(404)는 클라이언트 장치의 위치(과거 또는 현재)에 관련된 정보를 수신할 수 있고, 상기 클라이언트 장치의 위치와 관련된, 클라이언트 장치에 제공될 콘텐트 패턴을 선택할 수 있다. 구체적으로는, 요청 서버(404)는 클라이언트 장치가 콘서트에 위치하는 것을 표시하는 정보를 수신할 수 있고, 클라이언트 장치에 제공될 콘서트의 아티스트 또는 장르의 음악과 관련된 콘텐트 패턴을 선택할 수 있다.
또 다른 예로서, 요청 서버(404)는 클라이언트 장치에 저장된 미디어 콘텐트에 관련된 정보를 수신할 수 있으며, 클라이언트 장치에 저장된 미디어 콘텐트에 관련된, 클라이언트 장치에 제공될 콘텐트 패턴을 선택할 수 있다. 콘텐트 패턴은 아티스트, 장르, 타입, 연도, 템포 등과 같은 다수의 방법으로 관련될 수 있다.
또 다른 예로서, 요청 서버(404)는 클라이언트 장치에 의해 이전에 식별된 미디어 콘텐트에 관련된 정보를 수신할 수 있으며, 클라이언트 장치 또는 인식 서버(402)에 의해 이전에 식별된 콘텐트에 관련된, 클라이언트 장치에 제공될 콘텐트 패턴을 선택할 수 있다. 이 예에서, 요청 서버(404)는 식별된 콘텐트에 관련된 콘텐트 패턴을 선택 및 제공하기 위해 인식 서버(402)에 의해 또는 클라이언트 장치에 의해 식별된 콘텐트의 목록을 저장할 수 있다.
또 다른 예로서, 요청 서버(404)는 제3자에 의해 수신된 정보를 기초로 클라이언트 장치에 제공될 콘텐트 패턴을 선택할 수 있다. 제3자는 클라이언트 장치에 제공되는 콘텐트 패턴을 선택하도록 요청 서버(404)에 선택(selections)을 제공할 수 있다. 일 실시예에서, 제3자 광고주는 라디오 또는 TV 광고에서 방송될 미래의 광고에 포함될 콘텐트에 기초하여 콘텐트 패턴을 선택할 수 있다.
또 다른 예로서, 요청 서버(404)는 콘텐트 식별의 이력에 관계된 여러 콘텐트의 인기도를 나타내는 통계 프로파일에 기초하는, 클라이언트 장치에 제공될 콘텐트 패턴을 선택할 수 있다. 이 예에서, 요청 서버(404)는 인식 서버(402)에 의해 식별된 미디어 콘텐트 목록을 유지할 수 있으며, 각각의 미디어 콘텐트에 대한 콘텐트 식별 요청의 횟수에 기초하여 미디어 콘텐트의 인기도 순위를 정할 수 있다. 문턱(예를 들면, 소정의 시간 동안 1000회의 요청)을 초과하는 다수의 콘텐트 식별 요청을 받은 미디어 콘텐트에 대해, 요청 서버(404)는 그 미디어 콘텐트의 콘텐트 패턴을 선택하고 그 콘텐트 패턴을 클라이언트 장치에 제공할 수 있다. 이 방식으로, 클라이언트 장치는 콘텐트 패턴의 로컬 사본을 가질 것이며 콘텐트 식별을 자체에서 수행할 수도 있다.
또 다른 실시예에서, 요청 서버(404)는, 제3자로부터 수신된 선택된 콘텐트 패턴과 클라이언트 장치의 위치에 기초하는 것과 같이, 임의의 조합의 기준에 기초하는, 클라이언트 장치에 제공될 콘텐트 패턴을 선택할 수 있다(예컨대, 제3자는 클라이언트 장치에 제공될 다수의 콘텐트 패턴을 클라이언트 장치들의 위치에 기초하여 식별한다).
일반적으로, 어떤 실시예에서, 요청 서버(404)는 클라이언트 장치(또는 클라이언트 장치의 사용자)가 상기 선택된 콘텐트의 콘텐트 식별을 요청할 확률에 기초하여 클라이언트 장치에 제공될 콘텐트 패턴을 선택한다. 예를 들면, 발표된 새로운 또는 인기있는 노래에 대해, 또는 인식 서버(402)가 과거에 급증한 콘텐트 식별 요청을 받은 것에 대해, 요청 서버(404)는, 클라이언트 장치가 인식 서버(402)와 통신할 필요 없이 자체 콘텐트 식별을 수행할 수 있도록, 상기 노래들의 콘텐트 패턴을 클라이언트 장치에 제공할 수 있다. 이것은 클라이언트 장치에서 자체 콘텐트 식별을 실행함으로써 콘텐트 식별이 더욱 신속하게 수행될 수 있도록 할 뿐만 아니라 인식 서버(402)로부터 트래픽을 분담킬 수 있다.
여기서 설명된 실시예 방법들을 사용할 때, 모든 콘텐트 식별 처리는 한정된 세트의 콘텐트에 대해 클라이언트 장치에서 수행될 수 있다. 예를 들면, 홍보를 위해서, 상기 홍보의 콘텐트에 관련된 콘텐트 패턴이 클라이언트 장치에 제공될 수 있으며, 클라이언트 장치가 연속 인식 모드에서 동작하도록 구성되고 이 한정된 세트의 콘텐트를 식별하는 것이 가능할 수도 있다.
지금까지 본 발명의 다양한 측면들과 실시예들이 개시되었지만, 다른 측면들과 실시예들이 당업자에게 명백할 것이다. 전술한 다양한 측면들과 실시예들은 단지 설명을 위한 것이고 한정하려는 의도는 없으며 본 발명의 진정한 범위 및 사상은 첨부된 특허청구범위의 청구항들에 의해 표시된다. 다수의 수정 및 변경이 본 발명의 범위와 사상을 벗어나지 않으면서 이루어질 수 있음은 당업자에게 명백할 것이다. 상기 열거한 것들 외에, 본 발명의 범위에 속하는 기능적으로 균등한 방법 및 장치들이 전술한 설명으로부터 당업자에게 명백할 것이다. 그와 같은 수정 및 변경은 첨부된 청구항들의 범위 내에 속하는 것으로 해석되어야 한다.
전술한 실시예들에 대해서 다양한 수정, 변형 및 변경이 이루어질 수 있기 때문에, 전술한 설명과 첨부한 도면에 개시된 모든 사항들은 한정하려는 의도가 아닌 예를 들어 설명하는 것으로 해석되어야 한다.

Claims (32)

  1. 데이터 스트림 내 콘텐트를 식별하는 방법에 있어서,
    클라이언트 장치에서 연속 데이터 스트림을 수신하는 단계; 및
    상기 클라이언트 장치에서, 상기 클라이언트 장치에 저장된 콘텐트 패턴을 기초로 상기 데이터 스트림 내 콘텐트의 콘텐트 식별을 실질적으로 연속해서 수행하는 단계; 및
    명령의 수신에 기초하여, 상기 클라이언트 장치가 상기 데이터 스트림 내 콘텐트의 정체(identity)를 결정하기 위해 서버에 의뢰하는 단계;를 포함하고,
    상기 콘텐트 패턴은 콘텐트 조각들을 식별하기 위한 정보를 포함하는, 콘텐트 식별 방법.
  2. 제 1 항에 있어서,
    상기 연속 데이터 스트림이 미디어 콘텐트를 포함하는지 결정하는 단계;
    상기 결정에 기초하여, 상기 클라이언트 장치에서 상기 데이터 스트림 내 콘텐트의 콘텐트 식별을 연속 수행하는 단계;를 추가로 포함하는, 콘텐트 식별 방법.
  3. 제 2 항에 있어서,
    상기 데이터 스트림 내 콘텐트가 미디어 콘텐트를 포함하고 상기 클라이언트 장치에서 식별되지 않으면, 상기 클라이언트 장치가 통지를 제공하는 단계; 및
    상기 통지의 사용자 선택을 수신하면 상기 클라이언트 장치는 상기 데이터 스트림 내 콘텐트의 정체를 결정하기 위해 상기 서버에 의뢰하는 단계;를 추가로 포함하는, 콘텐트 식별 방법.
  4. 제 1 항에 있어서,
    상기 데이터 스트림 내 콘텐트가 상기 클라이언트 장치에 저장된 콘텐트 패턴들 중 임의의 패턴과 일치하는지 결정하는 단계를 추가로 포함하는, 콘텐트 식별 방법.
  5. 제 1 항에 있어서,
    상기 데이터 스트림 내 콘텐트의 콘텐트 식별을 연속 수행하는 단계는 사용자 명령 없이 상기 콘텐트 식별을 수행하는 것을 포함하는, 콘텐트 식별 방법.
  6. 제 1 항에 있어서,
    상기 클라이언트 장치에서 1개 이상의 콘텐트 패턴을 수신하는 단계; 및
    응답하여, 상기 클라이언트 장치에서 상기 데이터 스트림 내 콘텐트의 콘텐트 식별을 연속 수행하는 명령을 상기 서버로부터 수신하는 단계를 추가로 포함하는, 콘텐트 식별 방법.
  7. 제 1 항에 있어서,
    상기 클라이언트 장치에서 1개 이상의 콘텐트 패턴을 수신하는 단계를 추가로 포함하고,
    상기 1개 이상의 콘텐트 패턴은 사용자의 프로파일과 상호 관련되어 있는, 콘텐트 식별 방법.
  8. 제 1 항에 있어서,
    상기 클라이언트 장치에서 1개 이상의 콘텐트 패턴을 수신하는 단계를 추가로 포함하고,
    상기 1개 이상의 콘텐트 패턴은 상기 클라이언트 장치의 위치와 관련되어 있는, 콘텐트 식별 방법.
  9. 제 1 항에 있어서,
    상기 클라이언트 장치에서 1개 이상의 콘텐트 패턴을 수신하는 단계를 추가로 포함하고,
    상기 1개 이상의 콘텐트 패턴은 상기 클라이언트 장치 또는 상기 서버에 의해 이전에 식별된 콘텐트와 관련이 있는, 콘텐트 식별 방법.
  10. 제 1 항에 있어서,
    상기 클라이언트 장치에서 1개 이상의 콘텐트 패턴을 수신하는 단계를 추가로 포함하고,
    상기 1개 이상의 콘텐트 패턴은 상기 클라이언트 장치에 저장된 미디어 콘텐트와 관련이 있는, 콘텐트 식별 방법.
  11. 제 1 항에 있어서,
    상기 클라이언트 장치에서 1개 이상의 콘텐트 패턴을 수신하는 단계를 추가로 포함하고,
    상기 1개 이상의 콘텐트 패턴은 콘텐트 식별 이력에 관계된 콘텐트 조각들의 인기도를 표시하는 통계 프로파일에 기초하여 선택되는 , 콘텐트 식별 방법.
  12. 제 1 항에 있어서,
    상기 클라이언트 장치에서 1개 이상의 콘텐트 패턴을 수신하는 단계를 추가로 포함하고,
    상기 1개 이상의 콘텐트 패턴은 제3자에 의해 선택되는, 콘텐트 식별 방법.
  13. 제 1 항에 있어서,
    상기 클라이언트 장치가 상기 데이터 스트림 내 콘텐트를 식별하는 단계; 및
    상기 식별된 콘텐트에 기초하여, 상기 클라이언트 장치가 상기 식별된 콘텐트에 관련된 광고를 표시하는 단계;를 추가로 포함하는, 콘텐트 식별 방법.
  14. 제 1 항에 있어서,
    상기 클라이언트 장치가 상기 데이터 스트림 내 콘텐트를 식별하는 단계; 및
    상기 식별된 콘텐트에 기초하여, 상기 클라이언트 장치가 상기 식별된 콘텐트에 관련된 동기화된 미디어를 재생하는 단계;를 추가로 포함하는, 콘텐트 식별 방법.
  15. 제 1 항에 있어서,
    상기 클라이언트 장치가 상기 데이터 스트림 내 콘텐트를 식별하는 단계; 및
    상기 클라이언트 장치가 상기 식별을 검증하기 위해 상기 서버에 의뢰하는 단계;를 추가로 포함하는, 콘텐트 식별 방법.
  16. 제 1 항에 있어서,
    상기 클라이언트 장치에 저장된 콘텐트 패턴은 미디어 파일의 추출된 피처와 관련된 정보를 포함하는, 콘텐트 식별 방법.
  17. 제 1 항에 있어서,
    상기 클라이언트 장치에 저장된 콘텐트 패턴은 미디어 파일을 기술하는 시간 매핑된 피처들의 집합을 포함하는, 콘텐트 식별 방법.
  18. 컴퓨팅 장치에 의해 실행 가능한 명령들을 저장하고 컴퓨터로 읽을 수 있는 비일시적 기록매체에 있어서,
    상기 컴퓨팅 장치에서 연속 데이터 스트림을 수신하는 단계;
    상기 컴퓨팅 장치에서, 콘텐트 조각들을 식별하기 위한 정보를 포함하고 상기 컴퓨팅 장치에 저장된 콘텐트 패턴에 기초하여, 상기 데이터 스트림 내 콘텐트의 콘텐트 식별을 연속 수행하는 단계; 및
    명령 수신에 기초하여, 상기 컴퓨팅 장치는 상기 데이터 스트림 내 콘텐트의 정체를 결정하기 위해 서버에 의뢰하는 단계를 상기 컴퓨팅 장치 수행시키는 명령을 저장한, 비일시적 기록매체.
  19. 제 18 항에 있어서,
    상기 명령은,
    상기 연속 데이터 스트림이 미디어 콘텐트를 포함하는지 결정하는 단계; 및
    상기 결정에 기초하여, 상기 컴퓨팅 장치에서 상기 데이터 스트림 내 콘텐트의 콘텐트 식별을 연속 수행하는 단계를 추가로 수행하는, 비일시적 기록매체.
  20. 제 18 항에 있어서,
    상기 명령은,
    사용자의 프로파일에 관련된 콘텐트 패턴, 상기 컴퓨팅 장치의 위치와 관련된 콘텐트 패턴, 상기 컴퓨팅 장치 또는 상기 서버에 의해 이전에 식별된 콘텐트에 관련된 콘텐트 패턴, 상기 컴퓨팅 장치에 저장된 미디어 콘텐트에 관련된 콘텐트 패턴, 상기 콘텐트 식별에 관련된 콘텐트 조각들의 인기도를 표시하는 통계 프로파일에 기초하여 선택된 콘텐트 패턴으로 구성된 그룹에서 선택되는 1개 이상의 콘텐트 패턴을 상기 컴퓨팅 장치에서 수신하는 단계를 추가로 수행하는, 비일시적 기록매체.
  21. 제 18 항에 있어서,
    상기 명령은,
    상기 컴퓨팅 장치가 상기 데이터 스트림 내 콘텐트를 식별하는 단계; 및
    상기 식별된 콘텐트에 기초하여, 상기 컴퓨팅 장치가 상기 식별된 콘텐트에 관련된 광고를 표시하는 단계를 추가로 수행하는, 비일시적 기억매체.
  22. 데이터 스트림 내 콘텐트를 식별하는 시스템에 있어서,
    프로세서; 및
    컴퓨팅 장치에서 연속 데이터 스트림을 수신하는 단계; 상기 컴퓨팅 장치에서, 콘텐트의 조각들을 식별하기 위한 정보를 포함하고 상기 컴퓨팅 장치에 저장된 콘텐트 패턴에 기초하여 상기 데이터 스트림 내 콘텐트의 콘텐트 식별을 연속해서 수행하는 단계; 및 명령의 수신에 기초하여, 상기 컴퓨팅 장치는 상기 데이터 스트림 내 콘텐트의 정체를 결정하기 위해 서버에 의뢰하는 단계를 수행하기 위해 상기 프로세서에 실행 가능한 명령을 저장하는 데이터 저장소를 포함하는, 콘텐트 식별 시스템.
  23. 제 22 항에 있어서,
    상기 명령은,
    상기 연속 데이터 스트림이 미디어 콘텐트를 포함하는지 결정하는 단계; 및
    상기 결정에 기초하여, 상기 컴퓨팅 장치에서 상기 데이터 스트림 내 콘텐트의 콘텐트 식별을 연속 수행하는 단계를 추가로 수행하는, 콘텐트 식별 시스템.
  24. 제 22 항에 있어서,
    상기 명령은,
    사용자의 프로파일에 관련된 콘텐트 패턴, 상기 컴퓨팅 장치의 위치와 관련된 콘텐트 패턴, 상기 컴퓨팅 장치 또는 상기 서버에 의해 이전에 식별된 콘텐트에 관련된 콘텐트 패턴, 상기 컴퓨팅 장치에 저장된 미디어 콘텐트에 관련된 콘텐트 패턴, 상기 콘텐트 식별에 관련된 콘텐트 조각들의 인기도를 표시하는 통계 프로파일에 기초하여 선택된 콘텐트 패턴으로 구성된 그룹에서 선택되는 1개 이상의 콘텐트 패턴을 상기 컴퓨팅 장치에서 수신하는 단계를 추가로 수행하는, 콘텐트 식별 시스템.
  25. 제 22 항에 있어서,
    상기 명령은,
    상기 컴퓨팅 장치는 상기 데이터 스트림 내 콘텐트를 식별하는 단계; 및
    상기 식별된 콘텐트에 기초하여, 상기 컴퓨팅 장치는 상기 식별된 콘텐트에 관련된 광고를 표시하는 단계를 추가로 수행하는, 콘텐트 식별 시스템.
  26. 데이터 스트림 내 콘텐트를 식별하는 시스템에 있어서,
    콘텐트의 정체를 결정하는 의뢰를 클라이언트 장치로부터 수신하는 인식 서버;
    상기 클라이언트 장치가 연속 식별 모드에서 동작하도록 명령하는 요청 서버를 포함하고,
    상기 의뢰는 상기 콘텐트의 샘플을 포함하고,
    상기 클라이언트 장치는 상기 클라이언트 장치의 수신 데이터 스트림 내 콘텐트의 콘텐트 식별을 연속 식별 모드에서 연속 수행하는, 콘텐트 식별 시스템.
  27. 제 26 항에 있어서,
    상기 요청 서버는 1개 이상의 콘텐트 패턴을 상기 클라이언트 장치에 제공하고,
    상기 콘텐트 패턴은 콘텐트 조각들을 식별하기 위한 정보를 포함하는, 콘텐트 식별 시스템.
  28. 제 27 항에 있어서,
    상기 요청 서버는 사용자의 프로파일에 기초하여 상기 1개 이상의 콘텐트 패턴을 선택하는, 콘텐트 식별 시스템.
  29. 제 27 항에 있어서,
    상기 요청 서버는 상기 클라이언트 장치의 위치에 기초하여 상기 1개 이상의 콘텐트 패턴을 선택하는, 콘텐트 식별 시스템.
  30. 제 27 항에 있어서,
    상기 요청 서버는 이전 의뢰의 콘텐트 샘플에 기초하여 상기 1개 이상의 콘텐트 패턴을 선택하는, 콘텐트 식별 시스템.
  31. 제 27 항에 있어서,
    상기 요청 서버는 상기 클라이언트 장치에 저장된 미디어 콘텐트에 기초하여 상기 1개 이상의 콘텐트 패턴을 선택하는, 콘텐트 식별 시스템.
  32. 제 27 항에 있어서,
    상기 요청 서버는 상기 콘텐트 식별에 관련된 콘텐트 조각들의 인기도를 표시하는 통계 프로파일에 기초하여 상기 1개 이상의 콘텐트 패턴을 선택하는, 콘텐트 식별 시스템.
KR1020137034327A 2011-06-10 2012-06-04 데이터 스트림 내 콘텐트를 식별하는 방법 및 시스템 KR101578279B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201161495571P 2011-06-10 2011-06-10
US61/495,571 2011-06-10
PCT/US2012/040754 WO2012170353A1 (en) 2011-06-10 2012-06-04 Methods and systems for identifying content in a data stream

Publications (2)

Publication Number Publication Date
KR20140024433A true KR20140024433A (ko) 2014-02-28
KR101578279B1 KR101578279B1 (ko) 2015-12-28

Family

ID=46246272

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137034327A KR101578279B1 (ko) 2011-06-10 2012-06-04 데이터 스트림 내 콘텐트를 식별하는 방법 및 시스템

Country Status (9)

Country Link
US (1) US9256673B2 (ko)
EP (1) EP2718849A1 (ko)
JP (1) JP5833235B2 (ko)
KR (1) KR101578279B1 (ko)
CN (1) CN103797483B (ko)
BR (1) BR112013031574A2 (ko)
CA (1) CA2837725C (ko)
MX (1) MX336061B (ko)
WO (1) WO2012170353A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220035635A (ko) * 2020-09-14 2022-03-22 네이버 주식회사 음원을 검출하기 위한 전자 장치 및 그의 동작 방법

Families Citing this family (66)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7490775B2 (en) 2004-12-30 2009-02-17 Aol Llc, A Deleware Limited Liability Company Intelligent identification of multimedia content for synchronization
US7937422B1 (en) 2005-11-03 2011-05-03 Aol Inc. Digital asset hosting and distribution
US8595781B2 (en) 2009-05-29 2013-11-26 Cognitive Media Networks, Inc. Methods for identifying video segments and displaying contextual targeted content on a connected television
US10116972B2 (en) 2009-05-29 2018-10-30 Inscape Data, Inc. Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device
US10375451B2 (en) 2009-05-29 2019-08-06 Inscape Data, Inc. Detection of common media segments
US10949458B2 (en) 2009-05-29 2021-03-16 Inscape Data, Inc. System and method for improving work load management in ACR television monitoring system
US9094714B2 (en) 2009-05-29 2015-07-28 Cognitive Networks, Inc. Systems and methods for on-screen graphics detection
US9449090B2 (en) 2009-05-29 2016-09-20 Vizio Inscape Technologies, Llc Systems and methods for addressing a media database using distance associative hashing
US10192138B2 (en) 2010-05-27 2019-01-29 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
US9838753B2 (en) 2013-12-23 2017-12-05 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
US8433577B2 (en) * 2011-09-27 2013-04-30 Google Inc. Detection of creative works on broadcast media
US8893168B2 (en) 2012-02-07 2014-11-18 Turner Broadcasting System, Inc. Method and system for synchronization of dial testing and audience response utilizing automatic content recognition
US20140129571A1 (en) * 2012-05-04 2014-05-08 Axwave Inc. Electronic media signature based applications
RU2630261C2 (ru) * 2012-07-12 2017-09-06 Сони Корпорейшн Передающее устройство, способ обработки информации, программа, приемное устройство и система взаимодействия приложения
US9596386B2 (en) * 2012-07-24 2017-03-14 Oladas, Inc. Media synchronization
US20140095333A1 (en) * 2012-09-28 2014-04-03 Stubhub, Inc. System and Method for Purchasing a Playlist Linked to an Event
US9027048B2 (en) * 2012-11-14 2015-05-05 Bank Of America Corporation Automatic deal or promotion offering based on audio cues
US10366419B2 (en) 2012-11-27 2019-07-30 Roland Storti Enhanced digital media platform with user control of application data thereon
US10339936B2 (en) 2012-11-27 2019-07-02 Roland Storti Method, device and system of encoding a digital interactive response action in an analog broadcasting message
US9154841B2 (en) 2012-12-28 2015-10-06 Turner Broadcasting System, Inc. Method and system for detecting and resolving conflicts in an automatic content recognition based system
US9451048B2 (en) 2013-03-12 2016-09-20 Shazam Investments Ltd. Methods and systems for identifying information of a broadcast station and information of broadcasted content
US9384754B2 (en) 2013-03-12 2016-07-05 Comcast Cable Communications, Llc Removal of audio noise
US20150012840A1 (en) * 2013-07-02 2015-01-08 International Business Machines Corporation Identification and Sharing of Selections within Streaming Content
US9955192B2 (en) 2013-12-23 2018-04-24 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
CN106030542A (zh) 2014-02-19 2016-10-12 第三雷沃通讯有限责任公司 代理服务器故障转移和负载集群
US10178346B2 (en) 2014-03-17 2019-01-08 Microsoft Technology Licensing, Llc Highlighting unread messages
US9888207B2 (en) 2014-03-17 2018-02-06 Microsoft Technology Licensing, Llc Automatic camera selection
US9749585B2 (en) 2014-03-17 2017-08-29 Microsoft Technology Licensing, Llc Highlighting unread messages
US10284813B2 (en) 2014-03-17 2019-05-07 Microsoft Technology Licensing, Llc Automatic camera selection
US20150264309A1 (en) * 2014-03-17 2015-09-17 Microsoft Corporation Playback of Interconnected Videos
US20150301718A1 (en) * 2014-04-18 2015-10-22 Google Inc. Methods, systems, and media for presenting music items relating to media content
CN104142993B (zh) * 2014-07-30 2017-08-29 东软集团股份有限公司 基于深度特征的复杂snort规则分类方法及系统
US10762533B2 (en) * 2014-09-29 2020-09-01 Bellevue Investments Gmbh & Co. Kgaa System and method for effective monetization of product marketing in software applications via audio monitoring
AU2015355209B2 (en) 2014-12-01 2019-08-29 Inscape Data, Inc. System and method for continuous media segment identification
BR112017016123A2 (pt) 2015-01-30 2018-04-17 Inscape Data Inc servidor de correspondência para identificação de conteúdo de vídeo que é exibido por um sistema de televisão, método executado por computador, e produto de programa informático concretamente incorporado a um meio de armazenamento de leitura por máquina permanente de um dispositivo de informática
JP6691737B2 (ja) * 2015-02-26 2020-05-13 パイオニア株式会社 歌詞音声出力装置、歌詞音声出力方法、及び、プログラム
CN107949849B (zh) 2015-04-17 2021-10-08 构造数据有限责任公司 缩减大数据集中数据密度的系统和方法
US20160316261A1 (en) * 2015-04-23 2016-10-27 Sorenson Media, Inc. Automatic content recognition fingerprint sequence matching
AU2016291674B2 (en) 2015-07-16 2021-08-26 Inscape Data, Inc. Systems and methods for partitioning search indexes for improved efficiency in identifying media segments
US10080062B2 (en) 2015-07-16 2018-09-18 Inscape Data, Inc. Optimizing media fingerprint retention to improve system resource utilization
AU2016291690B2 (en) 2015-07-16 2020-08-27 Inscape Data, Inc. Prediction of future views of video segments to optimize system resource utilization
EP3323245B1 (en) 2015-07-16 2021-08-25 Inscape Data, Inc. Detection of common media segments
US9848235B1 (en) * 2016-02-22 2017-12-19 Sorenson Media, Inc Video fingerprinting based on fourier transform of histogram
US20170255387A1 (en) * 2016-03-04 2017-09-07 Intel Corporation Techniques to Cause a Content Pattern to be Stored to Memory Cells of a Memory Device
US10063917B2 (en) * 2016-03-16 2018-08-28 Sorenson Media Inc. Fingerprint layouts for content fingerprinting
CN113726518B (zh) 2016-11-24 2023-06-30 创新先进技术有限公司 在网络中发布作品的方法和装置
US10701438B2 (en) 2016-12-31 2020-06-30 Turner Broadcasting System, Inc. Automatic content recognition and verification in a broadcast chain
US10922720B2 (en) 2017-01-11 2021-02-16 Adobe Inc. Managing content delivery via audio cues
EP3349394B1 (en) * 2017-01-16 2021-11-10 Vertigo Media, Inc. System, method, and application for exchanging content in a social network environment
BR112019019430A2 (pt) 2017-04-06 2020-04-14 Inscape Data Inc sistema, método e produto de programa de computador
US10803038B2 (en) * 2017-09-13 2020-10-13 The Nielsen Company (Us), Llc Cold matching by automatic content recognition
US10264297B1 (en) * 2017-09-13 2019-04-16 Perfect Sense, Inc. Time-based content synchronization
CN108024145B (zh) * 2017-12-07 2020-12-11 北京百度网讯科技有限公司 视频推荐方法、装置、计算机设备和存储介质
US11132396B2 (en) 2017-12-15 2021-09-28 Google Llc Methods, systems, and media for determining and presenting information related to embedded sound recordings
US20220076650A1 (en) 2018-09-18 2022-03-10 Alphatheta Corporation Musical piece data comparison device, musical piece analysis data distribution server, musical piece data comparison program, and musical piece analysis data distribution program
DE102018128214A1 (de) 2018-11-12 2020-05-14 Sennheiser Electronic Gmbh & Co. Kg Verfahren und Vorrichtung zur Auswahl eines Audiodatenstroms
US10868620B2 (en) * 2018-12-26 2020-12-15 The Nielsen Company (Us), Llc Methods and apparatus for optimizing station reference fingerprint loading using reference watermarks
US11234049B2 (en) * 2019-06-24 2022-01-25 The Nielsen Company (Us), Llc Use of steganographically-encoded time information as basis to control implementation of dynamic content modification
US11212560B2 (en) * 2019-06-24 2021-12-28 The Nielsen Company (Us), Llc Use of steganographically-encoded time information as basis to establish a time offset, to facilitate taking content-related action
CN112995759A (zh) * 2019-12-13 2021-06-18 腾讯科技（北京）有限公司 互动业务处理方法、系统、装置、设备及存储介质
US11356720B2 (en) 2020-01-30 2022-06-07 Snap Inc. Video generation system to render frames on demand
US11036781B1 (en) 2020-01-30 2021-06-15 Snap Inc. Video generation system to render frames on demand using a fleet of servers
US11284144B2 (en) * 2020-01-30 2022-03-22 Snap Inc. Video generation system to render frames on demand using a fleet of GPUs
EP4096798A1 (en) 2020-01-30 2022-12-07 Snap Inc. System for generating media content items on demand
GB2597334A (en) 2020-07-17 2022-01-26 Playrcart Ltd A media player
CN116437256A (zh) * 2020-09-23 2023-07-14 华为技术有限公司 音频处理方法、计算机可读存储介质、及电子设备

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005274992A (ja) * 2004-03-25 2005-10-06 Sony Corp 楽曲識別用情報検索システム、楽曲購入システム、楽曲識別用情報取得方法、楽曲購入方法、オーディオ信号処理装置およびサーバ装置
KR20060051233A (ko) * 2004-11-02 2006-05-19 마이크로소프트 코포레이션 다중 동기화된 데이터 스트림들에 대한 데이터베이스 검색속도를 증진하기 위한 시스템 및 방법

Family Cites Families (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4450531A (en) 1982-09-10 1984-05-22 Ensco, Inc. Broadcast signal recognition system and method
US4843562A (en) 1987-06-24 1989-06-27 Broadcast Data Systems Limited Partnership Broadcast information classification system and method
US5134719A (en) 1991-02-19 1992-07-28 Mankovitz Roy J Apparatus and methods for identifying broadcast audio program selections in an FM stereo broadcast system
US5333275A (en) 1992-06-23 1994-07-26 Wheatley Barbara J System and method for time aligning speech
US5437050A (en) 1992-11-09 1995-07-25 Lamb; Robert G. Method and apparatus for recognizing broadcast information using multi-frequency magnitude detection
US5465240A (en) 1993-01-05 1995-11-07 Mankovitz; Roy J. Apparatus and methods for displaying text in conjunction with recorded audio programs
WO1994018218A1 (en) 1993-02-01 1994-08-18 Seq, Ltd. Methods and apparatus for dna sequencing
JP2986345B2 (ja) 1993-10-18 1999-12-06 インターナショナル・ビジネス・マシーンズ・コーポレイション 音声記録指標化装置及び方法
US5740230A (en) 1996-05-31 1998-04-14 Octel Communications Corporation Directory management system and method
US5918223A (en) 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
US5952597A (en) 1996-10-25 1999-09-14 Timewarp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
US6570991B1 (en) 1996-12-18 2003-05-27 Interval Research Corporation Multi-feature speech/music discrimination system
US6166314A (en) 1997-06-19 2000-12-26 Time Warp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
JPH1155201A (ja) 1997-07-29 1999-02-26 Sony Corp 情報処理装置および方法、情報処理システム、並びに伝送媒体
WO2000004676A1 (fr) 1998-07-14 2000-01-27 Sony Corporation Procede de gestion de la transmission de donnees, procede de transmission de donnees, et emetteur et recepteur de donnees
JP3925586B2 (ja) 1998-07-17 2007-06-06 ソニー株式会社 データ受信装置および方法ならびにデータ送受信システムおよび方法
US6735633B1 (en) * 1999-06-01 2004-05-11 Fast Forward Networks System for bandwidth allocation in a computer network
US6735634B1 (en) * 1999-06-10 2004-05-11 Blue Coat Systems Method for real time protocol media recording
TW495735B (en) 1999-07-28 2002-07-21 Yamaha Corp Audio controller and the portable terminal and system using the same
US7174293B2 (en) 1999-09-21 2007-02-06 Iceberg Industries Llc Audio identification system and method
US7194752B1 (en) 1999-10-19 2007-03-20 Iceberg Industries, Llc Method and apparatus for automatically recognizing input audio and/or video streams
US7444353B1 (en) * 2000-01-31 2008-10-28 Chen Alexander C Apparatus for delivering music and information
US6834308B1 (en) 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
US7853664B1 (en) 2000-07-31 2010-12-14 Landmark Digital Services Llc Method and system for purchasing pre-recorded music
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
FI20002161A (fi) 2000-09-29 2002-03-30 Nokia Mobile Phones Ltd Menetelmä ja järjestelmä melodian tunnistamiseksi
US7277766B1 (en) 2000-10-24 2007-10-02 Moodlogic, Inc. Method and system for analyzing digital audio files
US20020072982A1 (en) 2000-12-12 2002-06-13 Shazam Entertainment Ltd. Method and system for interacting with a user in an experiential environment
US20020087702A1 (en) * 2000-12-29 2002-07-04 Koichi Mori Remote contents displaying method with adaptive remote font
CN1235408C (zh) 2001-02-12 2006-01-04 皇家菲利浦电子有限公司 生成和匹配多媒体内容的散列
US7359889B2 (en) 2001-03-02 2008-04-15 Landmark Digital Services Llc Method and apparatus for automatically creating database for use in automated media recognition system
KR100820385B1 (ko) 2002-04-25 2008-04-10 랜드마크 디지털 서비시즈 엘엘씨 확실하고 불변적인 오디오 패턴 매칭방법
US20040266337A1 (en) 2003-06-25 2004-12-30 Microsoft Corporation Method and apparatus for synchronizing lyrics
US20050147256A1 (en) 2003-12-30 2005-07-07 Peters Geoffrey W. Automated presentation of entertainment content in response to received ambient audio
US7986913B2 (en) 2004-02-19 2011-07-26 Landmark Digital Services, Llc Method and apparatus for identificaton of broadcast source
US8688248B2 (en) 2004-04-19 2014-04-01 Shazam Investments Limited Method and system for content sampling and identification
EP1774348B1 (en) 2004-06-24 2018-08-08 Shazam Investments Limited Method of characterizing the overlap of two media segments
US20060112812A1 (en) 2004-11-30 2006-06-01 Anand Venkataraman Method and apparatus for adapting original musical tracks for karaoke use
US8090579B2 (en) 2005-02-08 2012-01-03 Landmark Digital Services Automatic identification of repeated material in audio signals
CN1845591A (zh) * 2005-04-06 2006-10-11 上海渐华科技发展有限公司 卡拉ok接收装置
US20070166683A1 (en) * 2006-01-05 2007-07-19 Apple Computer, Inc. Dynamic lyrics display for portable media devices
JP2008015595A (ja) * 2006-07-03 2008-01-24 Sony Corp コンテンツ選択推薦方法、サーバ、コンテンツ再生装置、コンテンツ記録装置およびコンテンツ選択推薦用プログラム
EP2070231B1 (en) 2006-10-03 2013-07-03 Shazam Entertainment, Ltd. Method for high throughput of identification of distributed broadcast content
US8005666B2 (en) 2006-10-24 2011-08-23 National Institute Of Advanced Industrial Science And Technology Automatic system for temporal alignment of music audio signal with lyrics
TWI330795B (en) 2006-11-17 2010-09-21 Via Tech Inc Playing systems and methods with integrated music, lyrics and song information
US20080196575A1 (en) 2007-02-16 2008-08-21 Recordare Llc Process for creating and viewing digital sheet music on a media device
US20090083281A1 (en) 2007-08-22 2009-03-26 Amnon Sarig System and method for real time local music playback and remote server lyric timing synchronization utilizing social networks and wiki technology
US8400961B1 (en) * 2007-08-27 2013-03-19 Qurio Holdings, Inc. Wireless multimedia brokerage service for real time content provisioning
US8645993B2 (en) * 2008-05-07 2014-02-04 Qualcomm Incorporated Methods and apparatuses for directing recipients of video content items to interesting video content items
US8452586B2 (en) 2008-12-02 2013-05-28 Soundhound, Inc. Identifying music from peaks of a reference sound fingerprint
US8869184B2 (en) * 2008-12-19 2014-10-21 At&T Intellectual Property I, Lp Sharing behavioral patterns between devices
GB2467324B (en) 2009-01-28 2014-03-26 Norwell Sa Device, system and method for measurement of media consumption in digital media terminals
US8291328B2 (en) 2009-03-24 2012-10-16 Disney Enterprises, Inc. System and method for synchronizing a real-time performance with a virtual object
US8548613B2 (en) 2009-04-20 2013-10-01 Disney Enterprises, Inc. System and method for an interactive device for use with a media device
US8311950B1 (en) * 2009-10-01 2012-11-13 Google Inc. Detecting content on a social network using browsing patterns
US20110203006A1 (en) * 2010-02-15 2011-08-18 Openwave Systems Inc. Method and system for delivering closed-audience content to a closed mobile audience
WO2011140269A1 (en) 2010-05-04 2011-11-10 Shazam Entertainment Ltd. Methods and systems for processing a sample of a media stream
US9280598B2 (en) 2010-05-04 2016-03-08 Soundhound, Inc. Systems and methods for sound recognition
CA2798072C (en) 2010-05-04 2017-02-14 Shazam Entertainment Ltd. Methods and systems for synchronizing media
US9159338B2 (en) 2010-05-04 2015-10-13 Shazam Entertainment Ltd. Systems and methods of rendering a textual animation
US8543395B2 (en) 2010-05-18 2013-09-24 Shazam Entertainment Ltd. Methods and systems for performing synchronization of audio with corresponding textual transcriptions and determining confidence values of the synchronization
MX341124B (es) * 2011-06-08 2016-08-09 Shazam Entertainment Ltd Métodos y sistemas para realizar comparaciones de datos recibidos y proporcionar un servicio de seguimiento con base en las comparaciones.

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005274992A (ja) * 2004-03-25 2005-10-06 Sony Corp 楽曲識別用情報検索システム、楽曲購入システム、楽曲識別用情報取得方法、楽曲購入方法、オーディオ信号処理装置およびサーバ装置
KR20060051233A (ko) * 2004-11-02 2006-05-19 마이크로소프트 코포레이션 다중 동기화된 데이터 스트림들에 대한 데이터베이스 검색속도를 증진하기 위한 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220035635A (ko) * 2020-09-14 2022-03-22 네이버 주식회사 음원을 검출하기 위한 전자 장치 및 그의 동작 방법

Also Published As

Publication number Publication date
KR101578279B1 (ko) 2015-12-28
US20120317240A1 (en) 2012-12-13
CA2837725A1 (en) 2012-12-13
WO2012170353A1 (en) 2012-12-13
CN103797483A (zh) 2014-05-14
JP5833235B2 (ja) 2015-12-16
JP2014519660A (ja) 2014-08-14
CN103797483B (zh) 2017-02-22
US9256673B2 (en) 2016-02-09
MX2013014476A (es) 2014-08-01
CA2837725C (en) 2017-07-11
BR112013031574A2 (pt) 2018-04-24
EP2718849A1 (en) 2014-04-16
MX336061B (es) 2016-01-07

Similar Documents

Publication Publication Date Title
KR101578279B1 (ko) 데이터 스트림 내 콘텐트를 식별하는 방법 및 시스템
US10003664B2 (en) Methods and systems for processing a sample of a media stream
US20120191231A1 (en) Methods and Systems for Identifying Content in Data Stream by a Client Device
US9251796B2 (en) Methods and systems for disambiguation of an identification of a sample of a media stream
JP6060155B2 (ja) 受信データの比較を実行しその比較に基づいて後続サービスを提供する方法及びシステム
US9451048B2 (en) Methods and systems for identifying information of a broadcast station and information of broadcasted content
KR20140038374A (ko) 클라이언트 장치에 의해 데이터 스트림 내 콘텐트를 식별하는 방법 및 시스템

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181115

Year of fee payment: 4