KR20150006896A - 미디어의 동기화 방법 및 시스템 - Google Patents

미디어의 동기화 방법 및 시스템 Download PDF

Info

Publication number
KR20150006896A
KR20150006896A KR1020147036572A KR20147036572A KR20150006896A KR 20150006896 A KR20150006896 A KR 20150006896A KR 1020147036572 A KR1020147036572 A KR 1020147036572A KR 20147036572 A KR20147036572 A KR 20147036572A KR 20150006896 A KR20150006896 A KR 20150006896A
Authority
KR
South Korea
Prior art keywords
media
sample
time
media stream
stream
Prior art date
Application number
KR1020147036572A
Other languages
English (en)
Other versions
KR101582436B1 (ko
Inventor
에이버리 리춘 왕
라훌 포워
윌리엄 마이클 밀스
크리스토퍼 자크 펜로즈 바튼
필립 조르주 잉겔브레슈트
디라지 샹카르 무커르지
Original Assignee
샤잠 엔터테인먼트 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 샤잠 엔터테인먼트 리미티드 filed Critical 샤잠 엔터테인먼트 리미티드
Publication of KR20150006896A publication Critical patent/KR20150006896A/ko
Application granted granted Critical
Publication of KR101582436B1 publication Critical patent/KR101582436B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005—Non-interactive screen display of musical or status data
    • G10H2220/011—Lyrics displays, e.g. for karaoke applications

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

미디어를 동기화시키는 시스템 및 방법이 제공된다. 미디어 렌더링 소스에 의해 렌더링 되고 있는 미디어 스트림의 샘플을 캡처하기 위해 클라이언트 디바이스가 사용된다. 클라이언트 디바이스는 샘플의 샘플링 시간에 대응하는 미디어 스트림 내의 위치를 지시하는 시간 오프셋, 및 선택적으로 미디어 샘플의 기준 속도에 기초하여 미디어 스트림이 미디어 렌더링 소스에 의해 렌더링 되고 있는 속도를 지시하는 시간척도 비율을 결정하기 위해 샘플을 위치 식별 모듈에 보낸다. 클라이언트 디바이스는 현재 시간, 미디어 샘플의 타임스탬프, 시간 오프셋, 및 선택적으로 시간척도 비율을 사용하여 실시간 오프셋을 계산한다. 클라이언트 디바이스는 그 다음에 미디어 렌더링 소스에 의해 렌더링 되고 있는 미디어 스트림에 동기하도록 실시간 오프셋에 대응하는 위치에서 제2 미디어 스트림을 렌더링한다.

Description

미디어의 동기화 방법 및 시스템{METHODS AND SYSTEMS FOR SYSCHRONIZING MEDIA}
본 발명은 미디어 정보 검색 및 미디어 동기화에 관한 것이다. 더욱 상세하게는, 본 발명은 예를 들면 가라오케 분야에서 음악 정보 검색 및 텍스트 표기(textual transcription) 또는 가사 동기화에 관한 것이다. 본 발명은 또한 다른 형태들의 미디어의 동기화에 관한 것이다.
음악 가사 디스플레이 시스템과 같은 동기화된 미디어는 통상 음악 재생 장치에 동작 가능하게 연결되고 그것에 의해 제어되는 가사 디스플레이 장치를 포함한다. 이들 시스템에서, 음악 재생 장치는 현재 재생되는 음악 오디오 트랙에서 현재 시간 위치를 알고 있다. 음악 오디오 시간 위치는 가사 디스플레이 장치에 제공된다. 가사 디스플레이 장치는 사용자가 음악 오디오와 함께 즐기도록 대응하는 가사 텍스트 위치를 판정하고 상기 대응하는 가사 텍스트를 제공한다.
기존의 동기화된 미디어(예컨대, 가사) 시스템은 공유된 물리적 외각 내에 음악 재생 장치를 포함하는 시스템의 일체로서 종종 설계되거나 컴퓨터 프로그램과 같은 공유 제어 메커니즘에 의해 제어되는 가사 재생 장치를 통상 갖는다. 예를 들면, 카페, 레스토랑, 차량, 상점 등에서 임의의 환경 또는 주변의 음악 소스와 조우하는 음악 청취자는 상기 임의의 환경 또는 주변의 소스에 있는 음악 재생 장치가 일체형 가사 디스플레이 장치에 동작가능하게 접속되어 있지 않으면 동기화된 미디어(예컨대, 가사)를 즐길 방법이 없을 것이다.
일 측면으로서, 미디어를 동기화하는 방법이 제공된다. 상기 방법은 클라이언트 디바이스가 미디어 샘플의 샘플링 시간에 대응하는 타임스탬프(timestamp)와 관련되는 미디어 렌더링 소스에 의해 렌더링 되는 미디어 스트림의 미디어 샘플을 수신하는 단계를 포함한다. 상기 방법은 또한 상기 미디어 샘플의 샘플링 시간에 대응하는 상기 미디어 스트림 내의 시간 위치를 지시하는 시간 오프셋을 결정하는 단계, 및 현재 시간을 지시하는 실시간 타임스탬프, 상기 미디어 샘플의 타임스탬프, 상기 시간 오프셋, 및 상기 시간척도 비율을 사용하여 실시간 오프셋을 계산하는 단계를 포함한다. 상기 방법은 또한 상기 클라이언트 디바이스가 상기 미디어 렌더링 소스에 의해 렌더링 되는 미디어 스트림에 동기화되도록 상기 실시간 오프셋에 대응하는 위치에서 제2 미디어 스트림을 제공하는 단계를 포함한다.
또 다른 측면으로서, 미디어를 동기화하는 방법이 제공된다. 상기 방법은 클라이언트 디바이스가 미디어 렌더링 소스에 의해 렌더링 되는 노래의 오디오 샘플을 위치 식별 모듈에 송신하는 단계를 포함한다. 오디오 샘플은 상기 오디오 샘플의 샘플링 시간에 대응하는 타임스탬프와 관련된다. 상기 방법은 또한 클라이언트 디바이스가 오디오 샘플의 상기 샘플링 시간에 대응하는 노래 내의 시간 위치를 지시하는 시간 오프셋을 상기 위치 식별 모듈로부터 수신하는 단계를 포함한다. 상기 방법은 또한 현재 시간을 지시하는 실시간 타임스탬프, 상기 미디어 샘플의 타임스탬프, 상기 시간 오프셋, 및 상기 시간척도 비율을 사용하여 실시간 오프셋을 계산하는 단계, 상기 노래의 텍스트 가사를 수신하는 단계, 및 클라이언트 디바이스가 상기 미디어 렌더링 소스에 의해 렌더링 되는 노래에 동기화되도록 상기 실시간 오프셋에 대응하는 위치에서 상기 텍스트 가사를 제공하는 단계를 포함한다.
또 다른 측면으로서, 컴퓨팅 디바이스에 기능들을 수행시키고 컴퓨팅 디바이스에 의해 실행 가능한 명령들을 저장한 비일시적인 컴퓨터 판독가능한 매체가 제공된다. 상기 기능들은 클라이언트 디바이스가 미디어 렌더링 소스에 의해 렌더링 되는 노래의 오디오 샘플을 위치 식별 모듈에 송신하는 기능을 포함한다. 오디오 샘플은 상기 오디오 샘플의 샘플링 시간에 대응하는 타임스탬프(timestamp)와 관련된다. 상기 기능들은 또한 상기 클라이언트 디바이스가 노래의 상기 오디오 샘플의 샘플링 시간에 대응하는 상기 샘플의 시간 위치를 지시하는 시간 오프셋을 상기 위치 식별 모듈로부터 수신하는 기능을 포함한다. 상기 기능들은 또한 현재 시간을 지시하는 실시간 타임스탬프, 상기 미디어 샘플의 타임스탬프, 상기 시간 오프셋, 및 상기 시간척도 비율을 사용하여 실시간 오프셋을 계산하는 기능, 상기 노래의 텍스트 가사를 수신하는 기능; 및 상기 클라이언트 디바이스가 상기 미디어 렌더링 소스에 의해 렌더링 되는 노래에 동기화되도록 상기 실시간 오프셋에 대응하는 위치에서 상기 텍스트 가사를 제공하는 기능을 포함한다.
또 다른 측면으로서, 본 명세서에 설명된 방법들을 수행하는 실시예 디바이스들 또는 시스템들이 제공된다.
전술한 요약은 단지 설명을 위한 것이고 제한하려는 의도는 없다. 전술한 구체적인 측면들, 실시예들, 및 특징들에 추가하여, 추가의 측면들, 실시예들, 및 특징들은 첨부된 도면과 다음 상세한 설명을 참조하여 명백해질 것이다.
도 1은 미디어 콘텐츠를 식별하고, 식별된 미디어 콘텐츠와 데이터를 동기화시키는 시스템의 일 실시예를 도시하고,
도 2는 미디어 스트림을 동기화시키는 방법의 실시예의 흐름도이고,
도 3a 및 도 3b는 미디어 콘텐츠 및 미디어 샘플들의 시간 오프셋을 식별하고, 상기 식별된 콘텐츠와 데이터를 동기화시키는 시스템의 실시예들을 도시하고,
도 4는 미디어 렌더링 소스에 의해 렌더링 되는 노래에 가사를 동기화시키는 방법의 실시예의 흐름도이고,
도 5는 음악 정보의 실시예를 도시하고,
도 6은 미디어 콘텐츠 및 미디어 샘플들의 시간 오프셋을 식별하고, 상기 식별된 콘텐츠와 데이터를 동기화시키는 시스템의 또 다른 실시예를 도시한다.
이하의 상세한 설명에서, 본 명세서의 일부를 구성하는 첨부 도면들을 참조한다. 도면에서, 유사한 부호들은 문맥이 달리 지시하지 않는 한 통상 유사한 구성요소를 식별한다. 상세한 설명, 도면 및 청구항들에서 기술된 실시예는 한정하는 것을 의도하지 않는다. 다른 실시예들이 이용될 수 있으며, 본 명세서에서 제시된 주제의 범위 또는 사상을 벗어나지 않으면서 다른 변경이 이루어질 수 있다. 본 명세서와 도면에서 일반적으로 기술되는 본 발명의 측면들은 본 명세서에서 명시적으로 고려된 다양한 상이한 구성들로 배열, 치환, 결합, 분리 및 설계될 수 있다.
실시예들에서, 미디어를 동기화시키는 시스템들 및 방법들이 제공된다. 미디어 렌더링 소스에 의해 렌더링 되는 미디어 스트림의 샘플을 캡처하기 위해 클라이언트 디바이스가 사용될 수 있다. 클라이언트 디바이스는 기준 시간 클럭을 사용하여 캡처되는 상기 미디어 샘플의 샘플링 시간에 대응하는 타임스탬프를 결정할 수 있다. 샘플링 시간은 바람직하게는 시작이지만, 미디어 샘플의 종료, 중간 또는 다른 미리 결정된 시간일 수 있다. 클라이언트 디바이스는 미디어 샘플의 샘플링 시간에 대응하는 상기 미디어 스트림 내의 시간 위치를 지시하는 시간 오프셋을 결정하기 위해, 및 선택적으로, 미디어 스트림의 기준 속도에 기초하여 미디어 스트림이 미디어 렌더링 소스에 의해 렌더링 되는 속도를 지시하는 시간척도 비율(timescale ratio)을 결정하기 위해 상기 미디어 샘플을 위치 식별 모듈에 송신할 수 있다. 클라이언트 디바이스는 현재 시간을 지시하는 실시간 타임스탬프, 상기 미디어 샘플의 타임스탬프, 상기 시간 오프셋, 및 상기 시간척도 비율을 사용하여 실시간 오프셋을 계산할 수 있다. 클라이언트 디바이스는 그 다음에 미디어 렌더링 소스에 의해 렌더링 되는 미디어 스트림에 동기화되도록 상기 실시간 오프셋에 대응하는 위치에서 제2 미디어 스트림을 제공할 수 있다. 여기 설명된 시스템들 및 방법들은 예를 들면 제1 미디어 스트림의 캡처된 샘플들에 기초하여 제2 미디어 스트림의 동기화된 재생을 제어하기 위해 수행될 수 있다. 다른 실시예들에서, 클라이언트 디바이스는 미디어 렌더링 소스로부터 미디어 스트림 또는 레코딩을 수신하기 위해 마이크로폰을 포함한다. 클라이언트 디바이스는 또한 미디어 스트림을 수신하기 위해 비디오 카메라, 진동 센서, 라디오 수신기, 네트워크 인터페이스 등의 어느 것이라도 포함할 수 있다.
일 실시예에서, 상기 시스템들 및 방법들은 재생된 음악에 대응하는 타이밍 정보를 결정하기 위해 음악 재생 장치(배경 음악(ambient music)을 재생하는 장치)에 동작가능하게 접속되지 않은 모바일 정보 검색장치를 사용하여 주변에서 재생하는 음악에 동기화된 가사를 디스플레이하기 위해 사용될 수 있다. 음악 재생장치로부터의 타이밍 정보는 필요하지 않다. 상기 음악 정보 검색장치는 재생 음악을 식별하고, 그에 반응하여 예를 들면 사용자 개입 없이 상기 음악 내 현재 시점에 동기화된 대응하는 가사를 검색하여 디스플레이하도록 구성될 수 있다.
이제 도면을 참조하면, 도 1은 미디어 콘텐츠를 식별하고 식별된 미디어 콘텐츠와 데이터를 동기화시키는 시스템의 일 실시예를 도시한다. 상기 시스템은 미디어 스트림으로부터의 미디어 콘텐츠를 임의의 알려진 방식으로 렌더링 및 제시하는 미디어 렌더링 소스(102)를 포함한다. 미디어 스트림은 미디어 렌더링 소스(102)에 저장되거나, 아날로그 또는 디지털 방송과 같은 외부 소스로부터 수신될 수 있다. 일 실시예에서, 미디어 렌더링 소스(102)는 라디오 방송국 또는 미디어 스트림(예컨대, 오디오 및/또는 비디오) 및/또는 다른 정보를 방송하는 TV 콘텐츠 공급자일 수 있다. 미디어 렌더링 소스(102)는 또한 오디오 미디어를 재생하거나, 녹화된 또는 실시간 형식으로 비디오 미디어를 디스플레이하는 임의의 타입의 장치일 수 있다. 대안적인 실시예에서, 미디어 렌더링 소스(102)는 예를 들면 오디오 소스 및/또는 비디오 소스로서 라이브 공연을 포함할 수 있다.
미디어 렌더링 소스(102)는, 예를 들면 그래픽 디스플레이, 오디오 스피커, MIDI 악기, 애니마트로닉 인형(animatronic puppet) 등, 또는 예를 들면 미디어 렌더링 소스(102)에 의해 렌더링 되는 임의의 다른 종류의 제시물을 통해 미디어 스트림을 제공 또는 제시할 수 있다.
클라이언트 디바이스(104)는 미디어 수신기(106)를 포함하는 샘플 캡처 모듈을 통해서 미디어 렌더링 소스(102)로부터의 미디어 스트림의 렌더링을 수신한다. 도 1에서, 미디어 수신기(106)는 안테나로 도시되어 있고, 미디어 렌더링 소스(102)는 미디어 스트림을 무선으로 클라이언트 디바이스(104)에 브로드캐스팅한다. 그러나 미디어 스트림의 형태에 따라, 미디어 렌더링 소스(102)는 무선 또는 유선 통신 기술을 사용하여 미디어를 렌더링할 수 있다.
다른 실시예에서, 클라이언트 디바이스(104)는 미디어 렌더링 소스(102)로부터 미디어 스트림 또는 레코딩을 수신하기 위해 마이크로폰, 비디오 카메라, 진동 ㅅ센서, 라디오 수신기, 네트워크 인터페이스 등 어느 것이라도 포함할 수 있다. 구체적인 예로서, 미디어 렌더링 소스(102)는 음악을 연주하고, 클라이언트 디바이스(104)는 상기 음악의 샘플을 수신하기 위해 마이크로폰을 포함할 수 있다.
클라이언트 디바이스(104)는 미디어 스트림의 렌더링을 수신하기 위한 것 외에는, 미디어 렌더링 소스(102)에 동작상 접속되지 않을 수 있다. 이 방식에서, 클라이언트 디바이스(104)는 미디어 렌더링 소스(102)에 의해 제어되지도 않고, 클라이언트 디바이스(104)는 미디어 렌더링 소스(102)의 일체 부분이 아닐 수 있다. 도 1에 도시된 예에서, 클라이언트 디바이스(104)는 미디어 렌더링 소스(102)와 별개의 개체이다.
클라이언트 디바이스(104)는 렌더링 된 미디어 스트림의 미디어 샘플을 캡처한다. 이것은 이용자 개입 없이 자동으로 일어나거나 사용자가 버튼 또는 다른 애플리케이션을 작동시켜 샘플 캡처를 개시함으로써 실행될 수 있다. 예를 들면, 클라이언트 장치(104)의 사용자는 버튼을 눌러 마이크로폰을 통한 오디오의 디지털 샘플을 10초 동안 기록하거나, 또는 카메라를 사용하여 정지 이미지 또는 비디오 시퀀스를 캡처할 수 있다.
클라이언트 디바이스(104)는 휴대 전화, 무선 휴대 전화, PDA(personal data assistane), PMP(personal media player) 장치, 무선 웹-워치(web-watch) 장치, 개인용 헤드셋 장치, 전용장치, 또는 전술한 기능들 중 하나 이상을 포함하는 하이브리드 장치와 같은 소형 폼 팩터 휴대형(또는 모바일) 전자장치의 일부로서 구현될 수 있다. 클라리언트 디바이스(104)는 또한 랩탑 컴퓨터와 랩탑이 아닌 컴퓨터 구성 모두를 포함하는 개인용 컴퓨터로서 구현될 수 있다. 클라이언트 디바이스(104)는 또한 더 큰 장치 또는 시스템의 구성요소일 수도 있다.
클라이언트 디바이스(104)는 식별을 위해 미디어 렌더링 소스(102)에 의해 렌더링 된 미디어 샘플의 부분들을 캡처하도록 동작된다. 일 예로서, 클라이언트 디바이스(104)는 위치 식별 모듈(110)과 선택적인 콘텐츠 식별 모듈(112)을 포함하는 서버(108)에 동작가능하게 접속된다. 도 1은 서버(108)가 위치 식별 모듈(110)과 콘텐츠 식별 모듈(112) 모두를 포함하는 것으로 도시하고 있지만, 예를 들면 위치 식별 모듈(110)과 콘텐츠 식별 모듈(112)의 적어도 하나는 서버(108)로부터 분리된 별도의 개체가 될 수도 있다. 대안으로, 위치 식별 모듈(110)과 콘텐츠 식별 모듈(112) 모두 동일한 개체이거나, 위치 식별 모듈(110)과 콘텐츠 식별 모듈(112) 두 모듈의 기능들이 동일한 개체에 의해 수행될 수도 있다. 또한, 위치 식별 모듈(110)과 콘텐츠 식별 모듈(112)은 클라이언트 디바이스(104)에 위치되거나, 도 1에 도시된 것과 같이, 네트워크를 통해 클라이언트 디바이스(104)에 연결된 원격 서버에 있을 수도 있다.
서버(108)는 클라이언트 디바이스(104)로부터 (유선 또는 무선 접속을 통해) 미디어 샘플을 수신하며, 위치 식별 모듈(110)은 그 순간에 캡처되는 미디어 샘플에 기초하여 미디어 스트림 내 미디어 샘플의 시간 오프셋을 지시하는 대응하는 추정된 시간 위치(TS)를 식별한다. TS는 또한, 어떤 예에서는, 미디어 스트림의 시작부터 경과된 시간의 양일 수 있다.
콘텐츠 식별 모듈(112)은 또한 수신된 미디어 샘플에 대해 콘텐츠 식별을 선택적으로 수행할 수도 있다. 콘텐츠 식별은, 정체가 아직 알려지지 않은 경우, 미디어 스트림, 예컨대 음악 사운드트랙 내 콘텐츠를 식별한다. 콘텐츠 식별 모듈(112)은 예를 들면, 영국 런던의 샤잠 엔터테인먼트(Shazam Entertainment), 미국 캘리포니아주 에머리빌의 그레이스노트(Gracenote), 또는 미국 캘리포니아주 새너제이의 멜로디스(Melodis)에 의해 제공된 것과 같은 미디어 샘플 정보 검색시스템들에 사용되거나 또는 포함될 수 있다. 이 서비스들은 환경 오디오의 샘플들을 수신하고, 오디오 샘플의 음악 콘텐츠를 식별하고, 및 트랙 이름, 아티스트(artist), 앨범, 아트워크(artwork), 바이오그래피(biography), 디스코그래피(discography), 콘서트 티켓 등을 포함하는 음악에 대한 정보를 이용자에게 제공한다.
이 점에서, 콘텐츠 식별 모듈(112)은 미디어 서치 엔진(114)을 포함하고 또한 상기 수신된 미디어 샘플 내의 미디어 콘텐츠를 식별하기 위해 상기 수신된 미디어 샘플과 저장된 정보를 비교하기 위해 기준 미디어 콘텐츠 오브젝트들 및 레코딩들, 예를 들면, 음악 사운드트랙, 비디오 클립, 영화, 및 TV 쇼에 색인을 다는 미디어 레코딩 DB(116)를 포함하거나 액세스한다. 미디어 스트림 내의 미디어 오브젝트가 일단 식별되면, 정체 정보(identity information)와 다른 메타데이터(metadata)가 클라이언트 디바이스(104)에 통지된다.
메타데이터는 또한, 월드 와이드 웹상의 관련 콘텐츠의 열람(browsing), 탐색(exploring), 발견(discovering)을 촉진하는 외에, 음악 레코딩물, 비디오, 콘서트 티켓, 및 보너스 콘텐츠의 구입, 프리뷰 및 북마크의 제안, 추천, 광고를 포함하는 다른 관련 콘텐츠 및 서비스에 대한 하이퍼링크 및 데이터를 포함할 수 있다.
대안으로, 클라이언트 디바이스(104)는 미디어 렌더링 소스(102)로부터 미디어 스트림의 샘플을 캡처하고, 상기 미디어 샘플의 지문을 생성하기 위해 샘플에 대한 초기 피처 추출 처리를 수행한다. 클라이언트 디바이스(104)는 그 다음에 지문 정보를 위치 식별 모듈(110)과 콘텐츠 식별 모듈(112) 중 적어도 하나에 보낼 수 있을 것이며, 상기 모듈들은 지분 정보만을 기초로 상기 샘플에 관한 정보를 식별한다. 이 방식에서, 더 많은 연산 또는 식별 처리가, 예를 들면 위치 식별 모듈(110) 또는 콘텐츠 식별 모듈(112)이 아니라 클라이언트 디바이스(104)에서 수행되는 것이 가능하다.
전술한 것처럼, 미디어 레코딩 DB(116)는 많은 미디어 콘텐츠 오브젝트들을 포함하고, 그 각각은 고유 식별자(예컨대, sound_ID)에 의해 식별될 수 있다. 미디어 레코딩 DB(116)은 각각의 레코딩을 위해 오디오 또는 비디오 파일들과 같은 실제 미디어 콘텐츠를 반드시 저장하지 않을 수도 있는데, 이는 다른 곳으로부터 상기 파일들을 검색하는데 sound_ID가 사용될 수 있기 때문이다. 그러나, DB(116)는 어떤 실시예에서는 미디어 콘텐츠 파일을 저장할 수 있다. 미디어 콘텐츠 DB 인덱스는 아주 클 수도 있으며, 예를 들면 수백만 또는 심지어 수십억의 파일들에 대한 인덱스를 포함한다. 새로운 콘텐츠는 DB 인덱스에 점점 추가될 수 있다.
미디어 레코딩 DB(116)는 또한 각각의 저장된 비디오, 오디오, 또는 미디어 파일에 대한 정보, 또는 각각의 저장된 미디어 인덱스에 대한 정보를 포함할 수 있다. 예를 들면, 아티스트 이름, 노래의 길이, 노래의 가사, 가사의 라인 또는 단어들에 대한 시간 인덱스, 앨범 아트워크, 또는 파일 대한 다른 식별 또는 관련 정보와 같은 파일에 대한 정보를 표시하는 메타데이터가 각 파일에 저장될 수 있다.
도 1의 시스템은 캡처된 미디어 샘플들의 시간 오프셋들이 식별되는 것을 가능하게 하고 또한 저장된 정보에 기초하여 미디어 샘플들이 식별되도록 한다. 도 1은 주어진 구성을 갖는 시스템을 도시하고 있지만, 시스템 내의 구성요소들은 다른 방식으로 정렬될 수도 있다. 예를 들면, 미디어 서치 엔진(114)이 콘텐츠 식별 모듈(112)과 분리되거나, 미디어 샘플 처리가 클라이언트 디바이스(104) 또는 서버(108)에서 일어날 수도 있다. 따라서, 여기서 설명된 구성들은 단지 예시적인 것이며, 다수의 대안적인 구성들이 사용될 수 있다.
도 1의 시스템과 특히 위치 식별 모듈(110)은 미디어 스트림 내의 미디어 샘플들의 시간 오프셋들을 식별할 수 있다. 선택사항으로서, 상기 시스템은 콘텐츠 식별 모듈(112)을 사용하여 미디어 스트림 내의 미디어의 샘플들을 사용하여 미디어 스트림의 콘텐츠를 식별하기 위해 사용될 수 있다.
미디어 콘텐츠 오브젝트의 DB를 사용하여 미디어 샘플들의 피처들과 미디어 샘플들의 전자계산 콘텐츠 식별을 수행하는 다양한 미디어 샘플 식별 기법들이 당해 기술분야에서 알려져 있다. 다음 미국 특허 및 공개는 미디어 인식 기법을 위한 가능한 예를 설명하며, 각각은 참조에 의해 본 명세서에 포함된다: 미국 특허 제4,843,562호 (발명의 명칭: Broadcast Information Classification System and Method"; 미국 특허 제4,450,531호 (발명의 명칭: Broadcast Signal Recognition System and Method"; 미국 특허출원 공개 제2008/0263360호 (발명의 명칭: Generating and Matching Hashes of Multimedia Content"; 미국 특허 제7,627,477호 (발명의 명칭: Robust and Invariant Audio Pattern Matching); 미국 특허출원 공개 제2007/0143777호 (발명의 명칭: Method and Apparatus for Identification of Broadcast Source"; 미국 특허 제6,990,453호 (발명의 명칭: System and Methods for Recognizing Sound and Music Signals in High Noise and Distortion"; 미국 특허 제5,918,223호 (발명의 명칭: Method and Article of Manufacturing for Content-Based Analysis, Storage, Retrieval, and Segmentation of Audio Information".
요약하면, 미디어 레코딩을 식별하는 것은 미디어 레코딩을 수신하고 그 미디어 레코딩을 샘플링함으로써 시작한다. 상기 레코딩은 각각의 합성 상관 세그먼트에 대해 상관 함수 피크를 획득하기 위해 디지털화 정규화 기준 신호 세그먼트와 서로 관련되어, 상관 함수 피크들 사이의 간격이 미리 결정된 한계 내에 있을 때 인식 신호를 제공하며, 상관 함수 피크들과 일치하는 RMS 파워 값들의 패턴이, 예를 들면 미국 특허 제4,450,531호에 언급된 것과 같이, 디지털화된 기준 신호 세그먼트들로부터의 RMS 파워 값들의 패턴의 미리 결정된 한계 내에 부합한다. 이와 같이 매칭 미디어 콘텐츠가 식별된다. 또한, 미디어 콘텐츠에서 미디어 레코딩의 매칭 위치는, 예를 들면 상관 피크들의 오프셋 외에 매칭 상관 세그먼트의 위치에 의해 주어진다.
또 다른 예에서, 일반적으로, 미디어 콘텐츠는 미디어 샘플의 특성 또는 지문을 식별하거나 연산하고 상기 지문들을 미리 식별된 지문들과 비교함으로써 식별 가능하다. 지문이 연산되는 샘플 내 특정 위치들은 샘플의 재생 가능한 포인트들에 종속한다. 그와 같은 재생 가능하게 계산할 수 있는 위치들은 "랜드마크(landmarks)"로 지칭된다. 랜드마크의 샘플 내 위치는 샘플 자체에 의해 결정 가능하다. 즉, 샘플 품질에 좌우되고 재생 가능하다. 다시 말해서, 동일하거나 유사한 랜드마크들이 프로세스가 반복될 때마다 동일한 신호에 대해 계산될 수 있다. 랜드마킹 스킴은 초당 약 5 내지 10개의 사운드 레코딩의 랜드마크를 표시할 수 있다; 그러나 랜드마킹 밀도는 미디어 레코딩 내 활동 양에 좌우된다. 파워 기준(Power Norm)으로 알려진 하나의 랜드마킹 기법은 레코딩 내 다수의 시점에서 순간 파워를 계산하고 극대점을 선택하는 것이다. 이것을 행하는 한 방법은 파형을 직접적으로 정류하고 여과함으로써 엔벨로프(envelope)를 계산하는 것이다. 또 다른 방법은 신호의 힐버트(Hilbert) 변환(구적(quadrature))을 계산하고 원래 신호와 힐버트 변환의 제곱 크기들의 합을 사용하는 것이다. 랜드마크를 계산하는 다른 방법들 역시 사용될 수 있다.
일단 랜드마크들이 계산되면, 레코딩의 각 랜드마크 시점에서 또는 부근에서 지문이 계산된다. 랜드마크에 대한 피처의 근접은 사용된 지문채취 방법에 의해 정해진다. 어떤 경우에 있어서는, 피처가 랜드마크에 명확히 대응하고 이전의 또는 후속의 랜드마크에 대응하지 않는 경우 피처가 랜드마크에 근접한 것으로 간주된다. 다른 경우에 있어서, 피처들은 다수의 인접한 랜드마크들에 대응한다. 지문은 일반적으로 상기 시점에서 또는 시점 부근에서 레코딩의 피처들의 세트를 요약하는 값 또는 값들의 세트이다. 일 실시예에서, 각 지문은 다수 피처들의 해시함수인 단일 수치이다. 지문의 다른 예는 스펙트럼 슬라이스(spectral slice) 지문, 멀티-슬라이스 지문, LPC 계수, 셉스트럴(cepstral) 계수, 및 스펙트로그램 피크의 주파수 성분들을 포함한다.
지문은 신호에 대한 임의의 타입의 디지털 신호 처리 또는 주파수 해석에 의해 연산될 수 있다. 일 실시예에서, 스펙트럼 슬라이스(slice) 지문을 생성하기 위해, 주파수 해석이 각각의 랜드마크 시점의 주위에서 수행되어 상위 몇 개의 스펙트럼 피크들을 추출한다. 그러면 지문 값은 가장 강한 스펙트럼 피크의 단일 주파수 값이 될 것이다. 오디오 샘플의 특성 또는 지문을 연산하는 것에 대한 더 많은 정보를 위해, 미국 특허 제6,990,453호(발명의 명칭: System and Methods for Recognizing Sound and Music Signals in High Noise and Distortion)을 참조할 수 있으며, 이 특허문헌의 전체 내용은 참조를 위해 본 명세서에 포함된다.
이와 같이, 콘텐츠 식별 모듈(112)은 샘플을 수신하고 그 샘플의 지문을 연산할 수 있다. 콘텐츠 식별 모듈(112)은 추가의 인식 엔진들과 통신함으로써 지문을 계산할 수 있다. 레코딩을 식별하기 위해, 콘텐츠 식별 모듈(112)은 그 다음, 가장 큰 수의 선형적으로 관련된 대응을 갖는 또는 특성 지문들의 상대적 위치가 샘플의 동일한 지문들의 상대적인 위치와 가장 밀접하게 매칭하는 파일을 찾기(locate) 위해 미디어 레코딩 DB(126) 내 파일들과 대등한 지문들 사이의 대응을 생성함으로써 샘플의 지문들과 알려진 오디오 트랙들의 지문을 매칭하기 위해 미디어 레코딩 DB(116)에 액세스하는 것이 가능하다. 즉, 랜드마크 쌍들 사이의 선형적 대응이 식별되고, 세트들은 선형적으로 관련되는 쌍들의 수에 따라 스코어를 얻는다. 선형적 대응은, 통계적으로 유의미한 수의 대응하는 샘플 위치들 및 파일 위치들이 실질적으로 동일한 선형 방정식으로 예를 들면 허용된 공차(tolerance) 내에서 기술될 수 있는 경우, 일어날 수 있다. 통계적으로 가장 높은 유의미한 스코어(score)를 갖는, 즉 가장 큰 수의 선형적으로 관련된 대응들을 갖는 세트의 파일은 승리 파일이고, 매칭 미디어 파일로 간주된다.
미디어 스트림 내의 콘텐츠를 식별하는 기법의 또 다른 예로서, 국지화된(localized) 매칭 기법을 사용하여 그 콘텐츠를 식별하기 위해 미디어 샘플이 분석될 수 있다. 예를 들면, 일반적으로, 2개의 미디어 샘플들 사이의 관계는 각각의 샘플들로부터 도출된 최초의 어떤 매칭 지문 오브젝트에 의해 특징지어질 수 있다. 각각의 특정 위치에서 발생하는 한 세트의 지문 오브젝트들은 각각의 미디어 샘플에 대해 생성된다. 각각의 위치는 각각의 미디어 샘플의 콘텐츠에 따라 결정되고 각각의 지문 오브젝트는 각각의 특정 위치에서 또는 그 근처에서 하나 이상의 로컬 피처들을 규정한다. 그 다음 각 쌍의 매칭된 지문 오브젝트들에 대해 상대 값이 결정된다. 그 다음 상대 값의 히스토그램이 생성된다. 만일 통계적으로 유의미한 피크가 발견되면, 2개의 미디어 샘플들은 실질적으로 매칭하는 것으로 규정될 수 있다. 또한, 원시 오디오 트랙과 비교하여 오디오 샘플이 얼마나 고속화 또는 저속화되었는지를 나타내는 시간 스트레치 비율(time stretch ratio)이 결정될 수 있다. 이 방법의 더욱 상세한 설명에 대해, 미국 특허 제7,627,477호(발명의 명칭: Robust and Invariant Audio Pattern Matching)를 참조할 수 있으며, 이 특허문헌의 전체 내용은 참조를 위해 본 명세서에 포함된다.
또한, 전술한 공개문헌에서 설명된 시스템 및 방법들은 미디어 샘플의 정체보다 많은 것을 반환할 수 있다. 예를 들면, 미국 특허 제6,990,453호에 기재된 방법을 사용하는 것은 식별된 오디오 트랙과 관련된 메타데이터에 추가하여, 식별된 미디어 스트림의 추정 위치(TS)라고 지칭되는, 식별된 샘플의 시작으로부터 미디어 샘플의 상대 시간 오프셋(RTO: relative time offset)을 반환할 수 있다. 레코딩의 상대 시간 오프셋을 결정하기 위해, 샘플들의 지문은 지문들이 매칭되는 원시 파일들의 지문들과 비교될 수 있다. 각각의 지문은 주어진 시간에 일어나며, 따라서 샘플을 식별하기 위해 지문을 매칭한 후, 제1 지문(샘플 내 매칭 지문의)과 저장된 원시 파일의 제1 지문과의 사이의 시간 차이가 샘플의 시간 오프셋, 예를 들면 노래에서 시간 양이 될 것이다. 따라서, 샘플이 취해지는 상대 시간 오프셋(예컨대, 노래에서 67초)이 결정될 수 있다. RTO를 결정하기 위해 다른 정보가 사용될 수도 있다. 예를 들면, 히스토르램 피크의 위치는 기준 레코딩의 시작으로부터 샘플 레코딩의 시작까지의 시간 오프셋으로 간주될 수 있다.
다른 형태의 콘텐츠 식별 역시 미디어 샘플의 타입에 따라 수행될 수 있다. 예를 들면, 비디오 스트림(예컨대, 영화) 내 위치를 식별하기 위해 비디오 식별 알고리즘이 사용될 수 있다. 비디오 식별 알고리즘의 예는 Oostveen, J.등의 Lecture Notes in Computer Science, 2314 (2002, 3. 11)의 117-128 페이지에 기재된 "Feature Extraction and a Database Strategy for Video Fingerprinting"을 참조할 수 있으며, 그 전체 내용은 참조를 위해 본 명세서에 포함된다. 예를 들면, 비디오에서 비디오 샘플의 위치는 어느 비디오 프레임이 식별되었는지 결정함으로써 도출될 수 있다. 비디오 스트림을 식별하기 위해, 미디어 샘플의 프레임들은 행과 열의 그리드(grid)로 분할될 수 있으며, 그리드의 각 블록에 대해서, 픽셀들의 휘도 값들의 평균이 계산된다. 그리드의 각 블록에 대해 지문 비트들을 도출하기 위해 공간 필터가 상기 계산된 평균 휘도 값들에 적용될 수 있다. 지문 비트들은 프레임을 유일하게 식별하기 위해 사용될 수 있으며, 알려진 미디어를 포함하는 DB의 지문 비트들에 비교 또는 매칭될 수 있다. 프레임으로부터 추출된 지문 비트들은 서브-지문으로 지칭될 것이며, 지문 블록은 연속 프레임들로부터의 고정된 수의 서브-지문들이다. 서브-지문들과 지문 블록들을 사용하여, 비디오 샘플들의 식별이 수행될 수 있다. 미디어 샘플이 어떤 프레임을 포함했는지에 기초하여, 비디오에서의 위치(예컨대, 시간 오프셋)가 결정될 수 있다.
또한, 예컨대 워터마킹(watermarking) 방법을 사용하여, 다른 형태의 콘텐츠 및/또는 위치 식별이 역시 수행될 수 있다. 미디어 스트림이 임베디드 워터마크들을 가끔(at intervals) 갖고, 각각의 워터마크가 워터마크의 시간 또는 위치를 직접 또는 예를 들면 DB를 통해 간접으로 지정하도록하는 워터마킹 방법이 시간 오프셋을 결정하기 위해 위치 식별 모듈(110)에 의해 사용될 수 있다. 대안으로, 만일 미디어 스트림이 시간 또는 위치 오프셋 값을 직접 또는 간접으로 표시하는 임베디드 워터마크들을 포함한다면, 클라이언트 디바이스(104)는 위치 식별 모듈(110)과의 통신 없이 렌더링 되는 미디어의 샘플의 시간 오프셋을 결정할 수 있다.
콘텐츠 식별 모듈(112)의 기능들을 구현하기 위한 전술한 콘텐츠 식별 방법 예들 각각에서, 식별 프로세스의 부산물이 미디어 스트림 내 미디어 샘플의 시간 오프셋일 수 있다(예컨대, 식별된 미디어 스트림의 추정 위치(TS)). 따라서, 이 경우들에 있어서, 위치 식별 모듈(110)이 콘텐츠 식별 모듈(112)과 동일하거나, 위치 식별 모듈(110)의 기능들이 콘텐츠 식별 모듈(112)에 의해 수행될 수 있다.
따라서, 사용자는 클라이언트 디바이스(104)로부터의 위치 식별 조회를 위치 식별 모듈(110)에 보낼 수 있고, 이것은 본 명세서에서 설명된 기법들 중 어느 것을 사용하여 콘텐츠에 관련된 정보를 클라이언트 디바이스(104)에 반환하고, 선택사항으로, 콘텐츠 식별 모듈(112)은 콘텐츠를 식별하기 위해 액세스 될 수 있다. 본 명세서에서 설명된 실시예들은 임의의 타입의 미디어 스트림, 예를 들면 미리-레코딩된 또는 라이브 음악, 오디오, 비디오, 오디오 및 비디오의 조합, 또는 미디어 스트림 내 위치들의 타임라인을 추종하는 임의의 다른 종류의 미디어 또는 이벤트 시퀀스에 적용된다. 실시예들은 또한 예를 들면, CD, DVD, 압축 디지털 미디어, MIDI 파일, 애니메이션 시퀀스, 제어 시퀀스, 스크립트, 슬라이드 쇼 등과 같은 임의의 포맷의 미디어 스트림에 적용된다.
다른 실시예들에서, 클라이언트 디바이스(104) 또는 서버(108)는, 그 다음에 미디어 스트림 라이브러리 DB(118)를 추가로 액세스하여 상기 샘플링된 미디어에 대응하는 미디어 스트림을 선택하고 클라이언트 디바이스(104)에 의해 렌더링 되도록 클라이언트 디바이스(104)에 반환한다. 미디어 스트림 라이브러리 DB(118)는 클라이언트 디바이스(104) 또는 서버(108)에 위치되거나, 대안으로 클라이언트 디바이스(104)와 서버(108) 중 적어도 하나가 네트워크를 통해 미디어 스트림 라이브러리 DB(118)에 접속될 수 있다. 도 1에서, 미디어 스트림 라이브러이 DB(118)는 예를 들어 서버(108)에 연결되는 것으로 도시되어 있다. 또한, 미디어 스트림 라이브러리 DB(118) 내의 정보, 또는 미디어 스트림 라이브러리 DB(118) 자체는 미디어 레코딩 DB(116)에 포함될 수 있다.
미디어 샘플에 대응하는 미디어 스트림 라이브러리 DB(118) 내의 미디어 스트림은 클라이언트 디바이스(104)의 사용자에 의해 수동으로 선택되거나, 클라이언트 디바이스(104)에 의해 프로그램적으로 선택되거나, 예컨대 콘텐츠 식별 모듈(112)에 의해 결정된 미디어 샘플의 정체를 기초로 서버(108)에 의해 선택될 수 있다. 선택된 미디어 스트림은 미디어 샘플과 상이한 종류의 미디어일 수 있고, 미디어 렌더링 소스(102)에 의해 렌더링 되는 미디어에 동기화될 수 있다. 예를 들면, 미디어 샘플는 음악일 수 있고, 상기 선택된 미디어 스트림은, 음악에 동기화될 수 있는, 가사, 음악 스코어, 기타 태블러처(guitar tablature), 음악 반주, 비디오, 애니마트로닉 인형 댄스(animatronic puppet dance), 애니메이션 시퀀스 등일 수 있다. 클라이언트 디바이스(104)는 미디어 샘플에 대응하는 상기 선택된 미디어 스트림을 수신하고, 미디어 렌더링 소스(102)에 의해 렌더링 되는 미디어와 동기하여 상기 선택된 미디어 스트림을 렌더링할 수 있다.
미디어 렌더링 소스(102)에 의해 렌더링 되는 미디어의 추정 시간 위치는 위치 식별 모듈(110)에 의해 결정될 수 있고 선택된 미디어 스트림을 렌더링할 선택된 미디어 스트림 내의 대응하는 위치를 결정하기 위해 사용될 수 있다. 클라이언트 디바이스(104)는 그 다음에 미디어 렌더링 소스(102)에 의해 렌더링 되는 미디어에 동기하여 선택된 미디어 스트림을 렌더링 및 제시할 수 있다.
클라이언트 디바이스(104)는 2개의 미디어 스트림들 사이에 정확한 동기화를 보장하기 위해 위치 추적 모듈(120)을 포함할 수 있다. 클라이언트 디바이스(104)가 미디어 샘플을 캡처하도록 기동되는 때, 클라이언트 디바이스(104)의 기준 클럭으로부터 타임스탬프(T0)가 기록된다. 임의의 시간 t에서, 추정된 실시간 미디어 스트림 위치(Tr(t))는 서버(108)로부터 수신된 식별된 미디어 스트림의 추정 위치(TS)와 타임스탬프의 시간 이후 경과시간의 합으로부터 결정된다. 즉,
Figure pat00001
Tr(t)는 기준점, 예를 들면 미디어 스트림의 시작부터 현재 렌더링 되는 미디어 스트림의 실시간 위치까지의 경과된 시간의 양이다. 따라서, TS(즉, 미디어 스트림의 시작부터 상기 기록된 샘플에 기초한 미디어 스트림의 위치까지의 추정 경과 시간의 양)을 사용하면, Tr(t)는 계산될 수 있다. Tr(t)는 그 다음에 미디어 렌더링 소스(102)에 의해 렌더링 되는 미디어에 동기하여(실질적으로 동기하여) 상기 선택된 미디어 스트림을 제시하기 위해 클라이언트 디바이스(104)에 의해 사용될 수 있다. 예를 들면, 클라이언트 디바이스(104)는 시간 위치(Tr(t))에서, 또는 Tr(t) 시간 양이 경과한 위치에서 상기 선택된 미디어 스트림의 렌더링을 시작할 수 있다.
상기 위치 추적은 여러 가지 이유로 동기가 깨질 수 있다. 일 실시예에서, 미디어 스트림은 예기치 않은 속도로 미디어 렌더링 소스(102)에 의해 렌더링 될 수 있다. 예를 들면, 만일 음악 레코딩이 조정되지 않은 턴테이블 또는 CD 플레이어에서 재생되었다, 음악 레코딩은 기대되는 기준 속도보다 더 빠르게 또는 더 느리게, 또는 저장된 기준 미디어 스트림과 상이한 방식으로 재생될 수 있다. 또는, 때로는 DJ가 예를 들면 다수의 트랙에 걸쳐 템포를 매칭하는 것과 같이 특정 효과를 달성하기 위해 의도적으로 음악 레코딩의 속도를 변경할 수 있다. 그와 같은 경우에, 추정된 위치 Tr(t)는 t가 증가함에 따라 부정확하게 될 수 있고, 결과적으로, 선택된 미디어 스트림은 동기를 상실할 수 있다. 기준 속도의 예로서, CD 플레이어는 초당 44100 샘플들이 렌더링 되는 것이 기대되고; 45 RPM 비닐 레코드는 턴테이블에서 분당 45 회전으로 재생하는 것이 기대되며; NTSC 비디오 스트림은 초당 60 프레임으로 재생하는 것이 예상된다.
어떤 실시예에서는, 선택된 미디어 스트림이 미디어 렌더링 소스(102)에 의해 렌더링 되는 미디어와 동기를 상실하는 것을 완화 또는 방지하기 위해, 추정된 위치 Tr(t)가 속도 조정 비율(R)에 따라 조정될 수 있다. 예를 들면, 미국 특허 제7,627,477호(발명의 명칭: Robust and invariant audio pattern matching)에 기재된 방법들은 미디어 샘플, 식별된 미디어 스트림의 추정 위치(TS), 및 속도 비율(R)을 식별하기 위해 수행될 수 있으며, 상기 문헌의 전체 내용은 참조를 위해 본 명세서에 포함된다.
속도 비율(R)을 추정하기 위해, 매칭 지문들의 가변 부분들의 크로스-주파수(cross-frequency) 비율이 계산되며, 주파수는 시간에 반비례하므로, 크로스-시간 비율은 크로스-주파수 비율의 역수이다. 크로스-속도 비율(R)은 크로스-주파수 비율이다(예컨대, 크로스-시간 비율의 역수).
더욱 구체적으로, 전술한 방법들을 사용하면, 2개의 오디오 샘플들간의 관계는, 샘플들의 시간-주파수 스펙트로그램을 생성하고(예컨대, 각 프레임 내 주파수 빈(bins)을 생성하기 위해 푸리에 변환을 연산함), 상기 스펙트로그램의 로컬 에너지 피크들을 식별함으로써, 규정될 수 있다. 상기 로컬 에너지 피크들과 관련된 정보가 추출되고 지문 오브젝트들의 목록에 요약되며, 그 각각은 선택적으로 위치 필드, 가변 성분, 및 비가변 성분을 포함할 수 있다. 각각의 오디오 샘플들의 스펙트로그램으로부터 도출된 어떤 지문 오브젝트들은 그 다음에 매칭될 수 있다. 매칭된 지문 오브젝트들의 각 쌍에 대해 상대 값이 결정되며, 이것은 예를 들면, 각 오디오 샘플들의 파라미터 값들의 대수의 몫(quotient) 또는 차이가 될 수 있다.
일 실시예에서, 스펙트럼 피크들의 로컬 쌍들이 미디어 샘플의 스펙트로그램으로부터 선택되고, 각각의 로컬 쌍은 지문을 포함한다. 마찬가지로, 스펙트럼 피크들의 로컬 쌍들이 알려진 미디어 스트림의 스펙트로그램으로부터 선택되고, 각 로컬 쌍은 지문을 포함한다. 샘플과 알려진 미디어 스트림 사이의 매칭 지문들이 결정되고, 샘플과 미디어 스트림 각각에 대한 스펙트럼 피크들 사이의 시간 차이가 계산된다. 예를 들면, 샘플의 2개의 피크 사이의 시간 차이가 결정되고 알려진 미디어 스트림의 2개의 피크 사이의 시간 차이와 비교된다. 이들 2개 시간 차이의 비율이 결정되고 그와 같은 비율(예컨대, 지문들의 매칭 쌍들로부터 추출된)을 포함하는 히스토그램이 생성될 수 있다. 히스토그램의 피크는 실제 속도 비율(예컨대, 기준 미디어 파일이 렌더링 되는 기준 속도와 비교한 미디어 렌더링 소스(102)가 미디어를 재생하는 속도 사이의 비율)로 결정될 수 있다. 따라서, 속도 비율(R)의 추정은, 예를 들면, 히스토그램에서 피크를 발견함으로써 얻어질 수 있으며, 히스토그램의 피크는 2개의 오디오 샘플들 사이의 관계를 상대 피치(pitch)로서, 또는 선형적 스트레치의 경우에 상대적 재생(playback) 속도로서 규정한다.
대안으로, 상대 값은 샘플과 알려진 미디어 스트림으로부터 매칭 지문들의 주파수 값들로부터 결정될 수 있다. 예를 들면, 한 쌍의 샘플들의 스펙트로그램의 피크의 앵커 포인트(anchor point)의 주파수 값이 결정되고 미디어 스트림의 한 쌍의 스펙트로그램 피크들의 앵커 포인트의 주파수 값과 비교된다. 이 2개의 주파수 값들의 비율이 결정될 수 있고 (예컨대, 지문들 매칭 쌍들로부터 추출된) 그와 같은 비율들을 포함하는 히스토그램이 생성될 수 있다. 히스토그램의 피크는 실제 속도 비율(R)로서 결정될 수 있다.
Figure pat00002
상기 식에서, f sample 및 f stream 은, 미국 특허 제7,627,477호에서 기재된 것과 같이 매칭 지문들의 가변 주파수 값이며, 이 특허문헌의 전체 내용은 참조를 위해 본 명세서에에 포함된다.
따라서, 전역 상대 값(예컨대, 속도 비율(R))은 2개의 오디오 샘플들로부터 대응하는 가변 성분들을 사용하여 매칭 지문 오브젝트들로부터 추정될 수 있다. 가변 성분은 각각의 지문 오브젝트의 위치에 가까운 로컬 피처로부터 결정된 주파수 값일 수 있다. 속도 비율(R)은 주파수 또는 델타 시간들의 비율이거나, 또는 2개의 오디오 샘플들 사이의 매핑을 기술하기 위해 사용된 전역 파라미터의 추정치를 제공하는 어떤 다른 함수일 수 있다. 속도 비율(R)은 예를 들면 상대적 재생 속도이 추정치로 간주될 수 있다.
속도 비율(R)은 또한 다른 방법들을 사용하여 추정될 수 있다. 예를 들면, 미디어의 복수의 샘플들이 캡처될 수 있고, k번째 샘플에 대해 기준 클럭 시간 T0(k)에서 복수의 추정된 미디어 스트림 위치들 TS(k)를 획득하기 위해 각 샘플에 대해 콘텐츠 식별이 수행될 수 있다. 그러면, R은 다음식으로 추정될 수 있다:
Figure pat00003
R을 시변하는 것으로 나타내기 위해, 다음 식이 사용될 수 있다:
Figure pat00004
따라서, 속도 비율(R)은 미디어가 미디어 렌더링 소스(102)에 의해 렌더링 되는 속도를 결정하기 위해 일정 시간(a span of time)에 대해 추정된 시간 위치(TS)들을 사용하여 계산될 수 있다.
속도 비율(R)을 사용하여, 실시간 미디어 스트림 위치의 추정치가 다음식에 의해 계산될 수 있다:
Figure pat00005
실시간 미디어 스트림 위치는 미디어 샘플의 시간 위치를 표시한다. 예를 들어, 만일 미디어 샘플이 4분의 길이를 갖는 노래의 것이라면, 그리고 Tr(t)가 1분이라면, 상기 노래의 1분이 경과된 것을 표시한다.
도 1의 시스템은 불연속 검출 모듈(122)을 추가로 포함할 수 있고, 이것은 클라이언트 디바이스(104) 및/또는 서버(108) 내에 포함되거나 불연속 검출 모듈(122)의 기능들이 예를 들면 클라이언트 디바이스(104)의 구성요소들 및/또는 서버(108)의 구성요소들에 의해 선택적으로 수행될 수 있다. 대안으로, 도 1에 도시된 것과 같이, 불연속 검출 모듈(122)은 예를 들면 무선 또는 유선 통신 기술을 사용하여 클라이언트 디바이스(104) 및/또는 서버(108)와 통신하는 별도의 개체일 수 있다.
불연속 검출 모듈(122)는 미디어 렌더링 소스(102)에 의해 렌더링 되는 미디어 스트림이 예기치 않게 인터럽트되는 지를 검출한다. 이것은 예를 들면, 미디어 렌더링 소스(102)에서 채널이 변경되거나, 또는 누군가 미디어 스트림의 재생(playout)을 중지하거나 미디어 스트림의 다른 위치로 건너뛰는 경우에 발생할 수 있다. 만일 미디어 스트림 라이브러리 DB(118)로부터 선택된 미디어 스트림이 계속해서 재생되는 경우라면, 두 미디어 스트림들은 동기를 상실하거나 연결 해지될 수 있다. 불연속 검출 모듈(122)은 선택된 미디어 스트림을 중지하거나 두 미디어 스트림의 재동기화를 시도한다. 이와 같이, 불연속 검출 모듈(122)은 선택된 미디어 스트림이 미디어 렌더링 소스(102)에 의해 렌더링 되는 미디어 스트림과 동기하여 렌더링 되는지 여부를 검증한다.
불연속 검출 모듈(122) 기능은 속도 비율(R)을 계산하기 위해 예시적인 방법으로서 전술한 주기적인 위치 및/또는 콘텐츠 식별 샘플링을 수행함으로써 구현될 수 있고, 따라서 불연속 검출 모듈(122)은 서버(108)와 통신한다. 어떤 시점에서, 콘텐츠 식별이 더 이상 성공적이지 않거나 시그너처 파일들이 미디어 스트림과 매칭 피처들을 포함하지 않으면, 미디어 렌더링 소스(102)에 의해 렌더링 되는 미디어 스트림은 중지되었거나 인터럽트 되었다. 또는, 만일 상이한 미디어 스트림이 식별되면 아마도 채널의 변경이나, 새로운 트랙의 재생 등이 있을 수 있다.
미디어 렌더링 소스(102)에 의해 렌더링 되는 미디어 스트림 내 불연속을 판정하기 위해, 불연속 검출 모듈(122)은 클라이언트 디바이스(104)로부터 주기적으로 미디어 샘플들을 수신하고 미디어 샘플들에 대해 지문 추출을 수행하는 것이 가능하다. 불연속 검출 모듈(122)은 또한 미디어 스트림 전체에 걸쳐 기준 미디어 스트림의 다수의 지문들을 포함하는 정렬 파일을 포함하는 정보를 위치 식별 모듈(110)로부터 수신할 수 있다. 불연속 검출 모듈(122)은 그 다음 상기 주기적으로 수신된 미디어 샘플들로부터 상기 추출된 지문들을 상기 정렬 파일 내 지문들과 비교하여 미디어 렌더링 소스(102)에 의해 렌더링 되는 미디어 스트림이 인터럽트되었는지 여부를 판정한다. 눈에 띄는 지문 매치가 발견되지 않는 경우, 불연속 검출 모듈(122)은 미디어 스트림이 인터럽트되었거나 종료된 것으로 판정할 수 있다.
지문 매칭은 또한, 예를 들면 전술한 또는 미국 특허 제6,990,453호에 기재된 방법들을 사용하여 수행될 수 있다.
또한, 불연속 검출 모듈(122)은 (콘텐츠 식별 모듈(112)로부터) 미디어 스트림의 콘텐츠 식별의 지식을 가질 수 있고, 따라서 미디어 스트림의 지문들의 파일을 수신할 수 있다. 불연속 검출 모듈(122)은 미리 결정된 시간들에서 샘플들 내 특정 지문들이 나타나기를 예상할 것이며, 만일 예상된 지문들이 보이지 않으면, 불연속이 판정될 것이다. 예를 들어, 만일 미리 결정된 지문 매치들이 없이 특정 시간의 양이 경과된 경우, 불연속이 판정될 수 있다.
불연속 타입을 판정하는 즉시, 불연속 검출 모듈(122)은 여러 가지 중 하나를 수행할 수 있다. 일 실시예에서, 속도 드리프트(speed drift)의 검출에 기초하여, 불연속 검출 모듈(122)은 미디어 스트림의 재동기화를 수행하기 위해 속도 비율(R)을 조정하는 것이 가능하다. 또 다른 실시예에서, 큰 불연속의 검출에 기초하여, 불연속 검출 모듈(122)은 위치 식별 모듈(110)을 사용하여 미디어 스트림을 재정렬함으로써 미디어 스트림들의 재동기화를 수행하는 것이 가능하다. 또 다른 실시예에서, 불연속 검출 모듈(122)은 동기화를 위해 새로운 미디어 스트림을 검출하고 상기 새로운 스트림 내 새로운 위치 및 상이한 매칭된 미디어 스트림을 선택하기 위해 콘텐츠 식별 모듈(112)을 사용하는 것이 가능하다. 또 다른 실시예에서, 위치 및/또는 콘텐츠 식별이 실패하는 경우, 불연속 검출 모듈(122)은 상기 선택된 미디어의 렌더링을 중지하도록 클라이언트 디바이스(104)에 지시할 수 있다.
클라이언트 디바이스(104)는 예를 들면, 불연속 검출 모듈(122)로부터 통지를 수신한 후 상기 선택된 미디어 스트림의 디스플레이를 중지하거나 미디어 렌더링 소스(102)로부터 렌더링 되는 새로운 미디어 스트림에 동기화된 미디어 스트림 라이브러리 DB(118)로부터 선택된 새로운 미디어 스트림을 변경하여 디스플레이한다.
이와 같이 대안으로, 불연속 검출 모듈(122)은 미디어 렌더링 소스(102)에 의해 렌더링 되는 미디어와 미디어 스트림 라이브러리 DB(118)로부터 선택된 미디어 스트림의 정렬에 대한 갱신을 수행하거나 또는 갱신을 수행하도록 클라이언트 디바이스(104)에 지시할 수 있다. 불연속 검출 모듈(122)은, 상기 선택된 미디어가 미디어 렌더링 소스(102)에 의한 상기 미디어 스트림의 렌더링과 재정렬 및 동기화되도록 클라이언트 디바이스(104)에서 상기 선택된 미디어의 렌더링을 조정할 오프셋 값을, 시그너처 파일과 지문 매치들의 오정렬에 기초하여 결정한다.
대안으로, 만일 불연속 검출 모듈(122)이 시그너처 파일 내 지문들에 대한 매칭 지문들을 주기적으로 수신된 미디어 샘플들로부터 더 이상 식별하지 못하면, 불연속 검출 모듈(122)은 미디어 렌더링 소스(102)에 의해 렌더링 되는 미디어와 미디어 스트림 라이브러리 DB(118)로부터 선택된 미디어의 재동기화를 수행하도록 클라이언트 디바이스(104)에 통지한다. 이를 위해서, 클라이언트 디바이스(104)는, 상기 미디어의 새로운 샘플을 캡처하고 그 새로운 샘플을 위치 식별 모듈(110)에 보내 시간 오프셋을 결정하는 방법을 재수행할 수 있다.
또한, 대안으로, 지문 매치들의 계속된 부존재에 기초하여, 불연속 검출 모듈(122)은, 예를 들어 만일 위치 식별 모듈(110)이 일치하는 시간 오프셋을 검출하지 못하면, 미디어 스트림이 더 이상 렌더링 되고 있지 않은 것으로 판정하고, 따라서 예를 들면, 상기 선택된 미디어의 렌더링을 중지하거나 새로운 콘텐츠 식별을 수행하도록 클라이언트 디바이스(104)에 지시한다. 클라이언트 디바이스(104)는 미디어 렌더링 소스(102)에 의해 렌더링 되는 새로운 미디어 스트림을 식별하기 위해 콘텐츠 식별 모듈(112)에 상기 새로운 샘플을 보낼 수 있다. 만일 식별된 미디어 스트림이 변경된 경우라면 클라이언트 디바이스(104)는 클라이언트 디바이스(104)에 동기하여 렌더링 될 미디어 샘플에 대응하여 새로운 미디어 스트림을 미디어 스트림 라이브러리 DB(118)로부터 선택할 수 있다.
도 2는 미디어 스트림들을 동기화시키는 방법(200)의 일 실시예의 흐름도를 도시한다. 여기서 설명된 다른 프로세스들 및 방법들에 있어서, 상기 흐름도는 본 실시예의 하나의 가능한 실행의 기능 및 동작을 보여준다. 이와 관련하여, 각 블록은, 프로세스의 특정한 논리 기능들 또는 절차들을 실행하기 위해 프로세서에 의해 실행 가능한 하나 이상의 명령들을 포함하는 프로그램 코드의 일부, 모듈, 또는 세그먼트를 나타낼 수 있다. 프로그램 코드는 유형의 컴퓨터-판독 가능한 매체, 예를 들면 디스크 또는 하드 드라이브를 포함하는 저장장치를 포함하는 임의의 타입의 제품에 저장될 수 있다. 컴퓨터 판독 가능한 매체는 예를 들면 레지스터 메모리, 프로세서 캐시 및 RAM(random access memory)와 같이 단기간 동안 데이터를 저장하는 일시적이지 않은(non-transitory) 컴퓨터 판독 가능한 매체를 포함할 수 있다. 컴퓨터 판독 가능한 매체는 또한 ROM(read only memory), 광 또는 자기 디스크, CD-ROM과 같은 보조 또는 영구 저장장치와 같은 일시적이지 않은 매체를 포함할 수 있다. 컴퓨터 판독 가능한 매체는 임의의 다른 휘발성 또는 비휘발성 저장 시스템들일 수 있다. 컴퓨터 판독 가능한 매체는 예를 들면 컴퓨터 판독 가능한 저장 매체로서 간주될 수 있다.
또한, 도 2의 각 블록은 프로세스의 특정한 논리 기능들을 수행하도록 배선된 회로를 나타낼 수 있다. 대안의 실행들이 본 발명의 실시예들의 범위 내에 포함되고, 그 기능들은 당업자에 의해 이해될 수 있는 것과 같이 수반되는 기능에 따라 실질적으로 동시에 또는 역순으로 실행되는 것을 포함하여, 도면에서 도시되거나 여기서 설명된 순서를 벗어나 실행될 수 있다.
처음에, 블록 202에서, 클라이언트 디바이스는 미디어 렌더링 소스에 의해 렌더링 되는 미디어 스트림의 미디어 샘플을 수신한다. 클라이언트 디바이스는 미디어 스트림이 렌더링 되고 있을 때 미디어 샘플을 기록함으로써 미디어 샘플을 수신할 수 있다. 미디어 샘플은 상기 미디어 샘플의 샘플링 시간에 대응하는 타임스탬프와 관련되거나 그것을 갖느다. 예를 들면, 클라이언트 디바이스는 렌더링 되는 미디어 스트림의 샘플을 캡처하고, 클라이언트 디바이스상의 클럭에 기초하여 샘플이 기록되는 시간을 기록할 수 있다.
그 다음 블록(204)에 도시된 것과 같이 미디어 샘플의 샘플링 시간에 대응하는 상기 미디어 스트림 내의 시간 위치를 지시하는 미디어 샘플의 시간 오프셋이 결정될 수 있다. 예를 들면, 클라이언트 디바이스는 미디어 샘플의 식별과 시간 오프셋을 반환하는 위치 식별 모듈에 미디어 스트림의 샘플을 보낸다. 대안으로, 클라이언트 디바이스는 시간 오프셋을 결정할 수 있다.
선택사항으로, 그 다음에, 블록(206)에 도시된 것과 같이, 미디어 스트림이 미디어 렌더링 소스에 의해 렌더링 되는 속도를 미디어 스트림의 기준 속도에 기초하여 지시하는 시간척도 비율이 결정된다. 시간척도 비율은 클라이언트 디바이스에 의해 결정되거나, 또는 서버에 의해 결정되어 클라이언트 디바이스에 반환될 수 있다. 시간척도 비율은 미디어 스트림들을 동기화시키기 위해 필요하지 않지만; 시간척도 비율은 어떤 실시예들에서는 포함될 수 있다.
현재 시간을 지시하는 실시간 오프셋이, 블록(208)에 도시된 것과 같이, 실시간 타임스탬프, 미디어 샘플의 타임스탬프, 시간 오프셋, 및 선택사항으로 시간척도 비율을 사용하여 결정된다.
클라이언트 디바이스는 그 다음에, 블록(210)에 도시된 것과 같이, 미디어 렌더링 소스에 의해 렌더링 되는 미디어 스트림에 동기화되도록 실시간 오프셋에 대응하는 위치에서 제2 미디어 스트림을 제공할 수 있다. 클라이언트 디바이스는 제2 미디어 스트림을 수신하고, 미디어 렌더링 소스에 의해 렌더링 되는 미디어 스트림의 정체에 기초하여, 예를 들면 클라이언트 디바이스(예컨대, 로컬 저장장치) 또는 DB로부터 제2 미디어 스트림을 수신할 수 있다. 제2 미디어 스트림은 미디어 렌더링 소스에 의해 렌더링 되는 미디어 스트림에 관련되고, 미디어 스트림의 콘텐츠 식별에 기초하여 선택될 수 있다. 어떤 실시예들에서, 제2 미디어 스트림은 식별된 미디어 스트림에 대응하는 가사일 수 있다. 제2 미디어 스트림은 대안으로 영화, 사운드트랙, 가사, 텍스트, 비디오 클립, 사진, 슬라이드쇼, 문서 등과 같은 임의의 타입의 미디어 스트림일 수 있다.
일 실시예에서, 방법(200)은 제1 디바이스의 노래 가사의 디스플레이를 제2 디바이스 또는 미디어 렌더링 소스에 의해 재생되고 있는 노래에 동기화시키기 위해 수행될 수 있다. 따라서 제2 디바이스의 사용자는 식별된 배경 음악에 대응하는 가사를 실시간으로 볼 수 있다. 가사 텍스트는 배경 음악에 동기되는 시간상 위치에서 디스플레이될 수 있다. 일 실시예에서, 가사 텍스트는 노래 가사가 불려지는 시간에 가사 텍스트가 디스플레이되도록 노래가 제2 디바이스에 의해 재생될 때 제1 디바이스의 디스플레이에서 스크롤(scroll) 될 수 있다.
이 실시예에서, 정보 전달 이벤트를 사용자에게 기동하는 시스템 및 방법이 제공된다. 임의의 미디어 렌더링 소스, 예를 들면 집에서 인기있는 노래의 상업용 라디오 방송을 청취하는 사용자는 방송되는 인기있는 노래를 따라 부르는 것에 흥미를 가질 수 있고, 따라서 노래 가사를 얻고 싶어할 수 있다. 모바일(또는 셀룰러) 폰, 비디오 레코더, 카메라, PDA, 또는 팜 패드(palm pad)와 같은 샘플링 장치를 사용하여, 사용자는 미디어 렌더링 소스의 샘플을 캡처하고 그것을 예를 들면 서비스 제공자에게 전송한다. 샘플을 전송하기 위해, 사용자는 서비스에 액세스하기 위해 미리 정해진 전화번호를 다이얼하고, 그 다음에 오디오 신호의 소스(예컨대, 사용자의 홈 스테레오의 스피커)의 가정 거리 내에 전화 송수화기를 유지하여 환경 샘플을 캡처한다. 이 예에서, 경험적 환경은 사용자 홈 스테레오에서 재생되는 음악을 포함한다. 대안으로, 사용자는 연주되는 음악의 샘플을 기록하기 위해 샘플링 디바이스를 사용할 수 있고, 그 샘플을 서버에 보낼 수 있다.
서비스 제공자 또는 서버에 의해 채용된 시스템은 인식 엔진(recognition engin)을 사용하여 상기 캡처된 샘플을 DB 내의 음악 레코딩들과 비교하여 노래를 식별하고 그에 의해 사용자를 위해 원하는 이벤트를 작동한다. 이 실시예에서, 상기 작동된 이벤트는 상기 캡처된 샘플로부터 인식된 노래에 대응하는 가사 정보를 사용자에게 전달하는 것이다.
원하는 노래 가사를 사용자에게 전달하는 이벤트 수행은 실시간 모드와 지연 모드에서 다수의 상이한 방법들로 수행될 수 있다. 실시간 모드에서, 가사 데이터는 노래가 방송될 때 사용자가 노래를 부르면서 적시에 가사를 읽을 수 있도록 전달된다. 따라서, 캡처된 샘플에 대응하는 노래의 가사는 DB로부터 읽혀지고 서비스 제공자에 의해 텍스트를 디스플레이할 수 있는 사용자 장치에 전송된다.
디스플레이 장치와 사용자 선호에 따라서, 가사의 실시간 전달이, 상대적으로 큰 부분 또는 전체 가사 데이터가 한 번에 다운로드 되는 일괄 배열(batch arrangement)로 전송되거나, 또는 가사 데이터가 노래에 자동으로 동기화되고 노래가 진행되면서 사용자에게 조각 조각으로 전송되는 분리된 배열(discrete arrangement)로 전송될 수 있다. 일괄 전달을 위해, 사용자가 (방송에서 가수에 의해 불리거나 말해지는 가사보다 먼저 적절한 시간 간격으로 가사가 디스플레이되도록) 부르고 있는 노래에 가사의 디스플레이를 동기화시키는 것을 선택하거나, 또는 어떤 응용에서는, 사용자 장치가 일괄 전송의 동기화를 수행하도록 구성될 수 있다. 서비스 제공자는 가사 데이터를 전송하여 사용자 또는 사용자 장치에 의한 어떤 행위도 필요 없이 자동으로 방송 노래에 동기화시킬 수 있다. 그와 같은 자동 동기화는 상기 인식된 노래 내에서 캡처된 샘플의 시간적 위치를 도출함으로써 구현되며, 그러면 가사는 예를 들면 노래가 진행될 때 조각으로 사용자 장치에 전송될 수 있다.
이벤트 수행의 지연 모델은 노래가 방송된 후 어느 시점에 상기 샘플된 노래에 대응하는 가사의 전달을 포함한다. 실시간 모드와 동일한 전달 방법들이 메일, 택배, 및 팩스 전송과 같이 더 시간이 걸리는 것으로 규정되는 전달 방법들과 함께 사용될 수 있다.
일 실시예에서, 가사 전달을 추가로 제어하거나 트랜잭션 이벤트와 같은 추가의 이벤트들을 작동시키기 위해 음성 또는 터치 톤(DTMF 톤)에 의해 추가의 사용자 입력이 수집될 수 있다. 예를 들면, 캡처 장치 또는 전달 장치, 전화, 및 텍스트-디스플레이 장치 각각을 통해 사용자와 상호작용함으로써, 서비스 제공자는 가사가 필요한 식별된 노래 및 방송을 포함하는 레코드 앨범을 획득하도록 사용자에게 구매 옵션들을 제공할 수 있다.
도 3a 및 도 3b는 미디어를 식별하고, 식별된 미디어 콘텐츠와 데이터를 동기화시키는 시스템의 또 다른 실시예를 도시한다. 도 3a의 시스템에서, 미디어 콘텐츠는 노래일 수 있고, 시스템은 클라이언트 디바이스(304)를 사용하여 임의의 미디어 렌더링 소스(302)에 의해 렌더링 되는 노래의 샘플을 캡처하고, 상기 샘플의 시간 오프셋을 식별한 다음 클라이언트 디바이스(304)에 노래의 가사의 동기화된 디스플레이를 제공한다.
미디어 렌더링 소스(302)는 임의의 형태를 가질 수 있다. 도 3a의 실시예들은 라디오 및 TV, 미리-기록된 오디오 및 비디오(예컨대, 테이프, CD, DVD, MP3 등), 인터넷상 및 컴퓨터-기반 시스템상의 미디어를 포함한다. 다른 예들로는 전화, 주변 환경으로부터의 감각 자극, 및 단독으로 또는 함께 전형적인 미디어 렌더링 소스를 형성하는 요소들의 다른 구성소자들을 포함한다.
클라이언트 디바이스(304)는 미디어 렌더링 소스(302)로부터 노래의 샘플을 캡처하기 위해 사용될 수 있다. 클라이언트 디바이스(304)는 샘플을 기록하기 위해 마이크로폰 또는 다른 구성소자를 포함할 수 있다. 클라이언트 디바이스(304)는 그 다음에 샘플을 무선 또는 유선 통신에 의해 서버(306)로 보낼 수 있다. 도 3a의 실시예에서, 클라이언트 디바이스(304)는 무선 통신 네트워크(도시되지 않음)를 통해 서버(306)와 통신한다. 무선 통신 네트워크는 예를 들면 셀룰러 무선 네트워크, WLAN(wireless local area network) 또는 WiFi 네트워크, 블루투스 네트워크 또는 다른 WPAN(wireless personal area network), WMAN(wireless metropolitan area network), 또는 WWAN(wireless wide area network)와 같은 임의의 무선 네트워크일 수 있다.
서버(306)는 위치 식별 모듈(308)과 콘텐츠 식별 모듈(310)을 포함한다. 그러나, 위치 식별 모듈(308)과 콘텐츠 식별 모듈(310)의 적어도 하나는 별도의 개체이거나, 또는 대안으로, 위치 식별 모듈(308)과 콘텐츠 식별 모듈(310) 모두 동일한 개체이거나, 위치 식별 모듈(308)과 콘텐츠 식별 모듈(310) 두 모듈의 기능들이 동일한 개체에 의해 수행될 수도 있다.
서버(306)는 클라이언트 디바이스(304)로부터 미디어 샘플을 수신하고 여기서 설명된 방법들 중 어느 것을 사용하여 콘텐츠 식별을 수행한다. 서버(306)는 상기 샘플을 노래들의 알려진 샘플들에 비교하기 위해 노래 DB(312)에 액세스할 수 있다. 서버(306)는 그 다음에 상기 식별된 노래의 가사를 검색하기 위해 가사 DB(314)를 액세스할 수 있다.
그 다음에 상기 노래에 대한 정보와 노래의 모든 가사를 포함하는 일괄 파일(batch file)이 도 3b에 도시된 것과 같이 클라이언트 디바이스(304)에 보내진다. 상기 정보의 일부는, 클라이언트 디바이스(304)가 실시간 미디어 스트림 추정 위치(Tr(t))를 계산하기 위해 사용할 수 있는 상기 식별된 미디어 스트림의 추정 위치(TS)를 포함할 수 있다. 상기 식별된 미디어 스트림의 추정 위치(TS)는 오디오 샘플의 시작에 대응하는 식별된 오디오 트랙 길이 내의 시간이다. 가사는 가사의 라인 또는 단어마다 미디어 스트림 시간 위치들에 대한 정보를 포함하는 시간-주석 달린 가사(316)일 수 있다. 일 실시예에서, 가사는 상기 주석들을 포함하는 시간 필드들을 포함하는 XML 파일에 포함되거나, 또는 상기 시간 정보는 다른 방법으로 가사 내에 삽입될 수 있다. 그러면 클라이언트 디바이스(304)는, 가사의 텍스트가 미디어 렌더링 소스(302)에 의해 렌더링 되는 가사와 동기하여(예컨대, 동일한 시간에 또는 대략 동일한 시간에) 디스플레이 되도록, 시간 위치(Tr(t))에서 가사를 렌더링하는 것이 가능하다.
대안으로, 서버(306)는 노래의 모든 가사를 클라이언트 디바이스(304)에 하나의 파일로 보내지 않고, 오히려 미디어 렌더링 소스(302)에 의해 렌더링 되는 노래와 동기하여 클라이언트 디바이스(304)에 가사를 스트리밍 한다. 상기 가사는, 클라이언트 디바이스(304)가 미디어 렌더링 소스(302)에 의해 렌더링 되는 가사와 동기하여 가사를 수신하고 및 디스플레이할 시간을 갖도록 상기 가사가 미디어 렌더링 소스(302)에 의해 렌더링 되기 바로 전에 클라이언트 디바이스(304)에 보내질 수 있다.
도 4는 미디어 렌더링 소스에 의해 렌더링 되고 있는 노래에 가사를 동기화시키는 방법(400)의 일 실시예의 흐름도를 도시한다. 최초로, 블록(402)에서, 클라이언트 디바이스는 미디어 렌더링 소스에 의해 렌더링 되고 있는 노래의 오디오 샘플을 위치 식별 모듈에 보낸다. 오디오 샘플은 오디오 샘플의 샘플링 시간에 대응하는 타임스탬프(T0)를 갖거나 그것에 관련된다. 클라이언트 디바이스는 오디오 샘플의 샘플링 시간에 대응하는 노래 내의 시간 위치를 지시하는 상기 샘플의 시간 오프셋(TS)과, 선택적으로, 블록(404)에서와 같이, 상기 노래가 미디어 렌더링 소스에 의해 렌더링 되고 있는 속도를 노래의 기준 속도에 기초하여 지시하는 시간척도 비율(R)을 위치 식별 모듈로부터 수신할 것이다. 시간척도 비율은 노래의 기준 속도와 비교하여 노래의 렌더링의 차이를 정정하기 위해 선택적으로 사용될 수 있다. 이와 같이, 시간척도 비율은 노래 내 시간 드리프트(drift)를 보상하기 위해 사용될 수 있다.
그 다음에 클라이언트 디바이스는 현재 시간을 지시하는 실시간 타임스탬프, 오디오 샘플의 타임스탬프, 시간 오프셋, 및 선택사항으로 상기 시간척도 비율을 사용하여 실시간 오프셋을 계산한다.
클라이언트 디바이스는 블록(408)에서와 같이 노래의 텍스트 가사를 수신할 것이다. 상기 가사는 가사의 라인의 그룹들에 대해, 각 라인에 대해, 또는 단어들에 대해 시간 태그(tag)들을 포함하는 시간-주석 달린 가사일 수 있다. 상기 시간 태그들은 (예컨대, 경과된 시간 양에 대응하여) 노래에서 가사가 불려지는 시간 위치를 지시할 수 있다. 그 다음에 클라이언트 디바이스는, 블록(410)에서와 같이, 미디어 렌더링 소스에 의해 렌더링 되고 있는 노래에 동기되도록 실시간 오프셋에 대응하는 위치에서 텍스트 가사를 렌더링하는 것이 가능하다. 클라이언트 디바이스는 스크롤 방식으로 가사를 렌더링할 수 있고, 따라서 텍스트 가사는 가사를 부를 때에 디스플레이된다. 또한, 가사는 가사를 부를 때 이따금 하이라이트되고, 어느 가사를 부르는지 지시하기 위해 포인터가 사용되거나, 예를 들면 단어들을 부르고 있는 시간(또는 실질적으로 동일한 시간)에 부르고 있는 가사의 단어들을 지시하기 위해 다른 방법들이 사용될 있다. 이와 관련하여, 클라이언트 디바이스는 애니메이션된 방식으로 가사를 렌더링할 수 있다. 즉, 단어들을 (예컨대, 동기하여) 부르고 있을 때 때때로 가사의 단어들이 디스플레이되거나, 또는 모든 또는 더 많은 단어들이 부르고 있을 때 디스플레이되지만 예를 들면 애니메이션된 방식으로 강조된다. 가사를 디스플레이하기 위해 임의의 타입의 애니메이션이 사용될 수 있다.
클라이언트 디바이스는 시간 오프셋들의 갱신을 수신하기 위해 다른 또는 나중 시간 주기에서 추가의 샘플들을 위치 식별 모듈에 보낼 수 있다. 이런 방식으로, 클라이언트 디바이스는 가사가 예를 들면 시간에 대해 동기하여 디스플레이하고 있는 것을 검증할 수 있다. 클라이언트 디바이스는, 예를 들어 만일 연주자가 템포를 늦추거나, 노래에 어떤 방해가 있는 경우와 같이, 노래의 렌더링에서 있을 수 있는 변경에 매칭하는 것을 보장하기 위해 갱신된 시간 오프셋 위치들에서 가사를 디스플레이할 수 있다.
방법(400)을 사용하면, 사용자 디바이스(예컨대, 이동전화)는 임의의 타입의 미디어 렌더링 소스에 의해 렌더링 되고 있는 음악의 샘플을 기록하고, 그 다음에 사용자 디바이스에 디스플레이하기 위해 노래에 가사를 동기화시키는 것이 가능하다. 이와 같이 사용자 디바이스는 예를 들면 라이브 노래방 기기처럼 동작될 수 있다.
또 다른 실시예에서, 방법(200)은 제1 디바이스상의 음악 정보(예컨대, 기타 태블러처 또는 종래의 표기 또는 음악 게임 포맷)의 디스플레이를 제2 디바이스 또는 미디어 렌더링 소스에 의해 재생되는 노래에 동기화시키기 위해 사용될 수 있다.
따라서 제1 디바이스의 사용자는 식별된 배경 음악에 대응하는 음악 정보를 실시간을 볼 수 있다. 음악 정보는 배경 음악과 동기하는 시간적 위치에서 디스플레이될 수 있다. 일 실시예에서, 음악 정보가 렌더링 되고 있을 때에 상기 음악 정보가 디스플레이되는 방식으로 상기 노래가 제2 디바이스에 의해 재생되고 있을 때 상기 정보는 제1 디바이스의 디스플레이에서 스크롤될 수 있다.
도 5는 종래의 악보(502), 기타 태블러처(504), 또는 다른 음악 표기들을 포함하는 음악 정보의 예들을 도시한다. 상기 음악 정보는 각각의 라인에 대한 시간 시퀀스를 지시하는 시간-주석 달린 음악 파일들로서 사용자의 디바이스에 제공될 수 있다. 그러면 사용자의 디바이스는 음악이 재생될 때 음악에 동기하여 음악 정보를 디스플레이할 수 있다. 이것은 사용자가 듣고 있는 노래와 함께 동기하여 연주하는 것을 가능하게 한다.
표기/태블러처의 동기화는 음악 소스에 의해 렌더링 되고 있는 음악에 맞추어 상기 기보법/태블러처를 디스플레이하기 위해 오디오 인식을 사용하고, 음악가가 실시간으로 음악과 함께 연주하는 것을 가능하게 하는 방법을 제공한다. 이것은 예를 들면 음악을 배우는 많은 음악가들이 라디오의 음악이나 다른 좋아하는 노래와 함께 연주하기를 원하는 경우 음악가에게 유용하다. 동기화된 표기/태블러처를 통해 음악가는 음악으로 안내될 수 있고 악보를 들은 노래 내의 포인트에서 무엇을 연주할 지 지시될 수 있다.
또 다른 실시예에서, 음악가는 악기로(예컨대, 기타, 피아노, 목관악기, 미디(midi) 장치 등) 음악을 연주하고, 본 명세서에서 설명된 방법을 사용하여, 상기 음악가가 연주하고 있는 노래가 식별될 수 있다. 또한, 상기 노래의 음악 정보(예컨대, 기타 태블러처/종래 표기/음악 게임 포맷)는 디바이스에 반환되고 음악가의 디바이스에서 디스플레이될 수 있다. 상기 음악 표기는 노래가 음악가에 의해 노래가 연주될 때 상기 노래에 동기하여 디스플레이될 수 있다.
이 동기화 방법의 예는 음악가에 의해 연주되는 음악을 식별하기 위해 오디오 인식을 사용하며, 그 다음 음악에 맞추어 표기/태블러처를 동기화시킨다. 이것은 음악을 배울 때 많은 연주자들이 노래의 시작은 알지만, 노래의 나머지는 모르기 때문에 음악가들에게 도움이 될 수 있다. 또한, 이것은 (음악이 음악가의 디바이스에서 노래를 통해 이동할 때) 연주를 중단했다 시작할 필요 없이 음악을 배우고 음악책의 페이지를 넘기는 것을 가능하게 한다.
또 다른 실시예에서, 여기서 설명된 방법들은 제1 디바이스의 영화 또는 뮤직 비디오의 디스플레이를 제2 디바이스 또는 미디어 렌더링 소스에 의해 재생되고 있는 미디어(예컨대, 사운드트랙 또는 노래)에 동기화시키기 위해 수행될 수 있다. 따라서 제1 디바이스의 사용자는 식별된 배경 음악에 대응하는 뮤직 비디오를 실시간으로 볼 수 있다. 뮤직 비디오는 배경 음악과 동기하는 시간 위치에서 디스플레이될 수 있다.
또 다른 실시예에서, 미디어 스트림은 비디오 스트림이고, 제2 미디어 스트림은 상기 비디오 스트림의 사운드트랙일 수 있다. 추가로, 또는 대안으로서, 상기 미디어 스트림은 사운드트랙이고, 제2 미디어 스트림은 영화일 수 있다.
또 다른 실시예에서, 제2 미디어 스트림은 제1 미디어 스트림의 대체 버젼( 예를 들면, 다른 언어의 버젼)일 수 있다. 또는 제2 미디어 스트림은 제1 미디어 스트림과 다른 분해능(예를 들면, HD(high definition) 또는 7.1 채널 서라운드 사운드)을 가질 수 있으며, 그리하여 제2 미디어 스트림을 동기화시킴으로써, 제1 미디어 스트림의 고품질 버젼이 제공될 수 있다.
도 6은 미디어 콘텐츠를 식별하고 미디어를 식별된 미디어 콘텐츠와 동기화시키는 시스템의 또 다른 예를 도시한다. 도 6의 시스템에서, 미디어 콘텐츠는 노래일 수 있고, 시스템은 클라이언트 디바이스(304)를 사용하여 랜덤 미디어 렌더링 소스(602)에 의해 렌더링 되는 노래의 샘플을 캡처하고, 시간 오프셋을 식별하고 및 선택적으로 노래를 식별하며, 후속적으로 상기 노래의 뮤직 비디오의 동기화된 디스플레이를 클라이언트 디바이스(604)에 제공한다.
클라이언트 디바이스(604)는 미디어 렌더링 소스(602)로부터 노래의 샘플을 캡처하고, 그 샘플을 서버(606)에 보내며, 상기 서버는 위치 식별 모듈(608)과 콘텐츠 식별 모듈(610)을 포함한다(상기 식별 모듈들 각각은 예를 들면 동일한 개체이거나 별도의 개체일 수 있다). 위치 식별 모듈(608)은 클라이언트 디바이스(604)로부터 샘플을 수신하고, 샘플의 시간 오프셋을 결정한다. 콘텐츠 식별 모듈(610)은 설명된 방법들 중 어느 것을 사용하여 콘텐츠 식별을 선택적으로 수행할 수 있다. 콘텐츠 식별 모듈(610)은 노래 DB(612)를 액세스하여 상기 샘플과 알려진 노래들의 샘플을 비교하고, 샘플을 식별하고, 상기 식별된 샘플에 대한 정보를 검색할 수 있다. 콘텐츠 식별 모듈(610)은 그 다음에 상기 식별된 노래의 뮤직 비디오를 검색하기 위해 영화 DB(614)를 액세스할 수 있다.
위치 식별 모듈(08)은 추정된 실시간 미디어 스트림 위치(Tr(t))를 계산하기 위해 사용될 수 있는 식별된 미디어 스트림의 추정 위치(TS)를 클라이언트 디바이스(604)에 반환할 것이다. 식별된 미디어 스트림의 추정 위치(TS)는 상기 오디오 샘플의 시작에 대응하는 상기 식별된 오디오 트랙의 길이 내의 시간이다. 상기 뮤직 비디오는 예를 들면 프레임마다 또는 프레임들의 그룹마다 미디어 스트림 시간 위치들에 대한 정보를 포함하는 시간-주석 달린 비디오일 수 있다. 클라이언트 디바이스(604)는 서버(606)로부터 뮤직 비디오를 수신하고, 그 다음에 미디어 렌더링 소스(602)에 의해 렌더링 되고 있는 노래와 동기하여(예를 들면, 동일하거나 거의 동일한 시간에) 상기 뮤직 비디오가 디스플레이되도록 시간 위치(Tr(t))에서 뮤직 비디오를 렌더링할 수 있다.
지금까지 본 발명의 다양한 측면들과 실시예들이 개시되었지만, 다른 측면들과 실시예들이 당업자에게 명백할 것이다. 전술한 다양한 측면들과 실시예들은 단지 설명을 위한 것이고 한정하려는 의도는 없으며 본 발명의 진정한 범위 및 사상은 첨부된 특허청구범위의 청구항들에 의해 표시된다. 다수의 수정 및 변경이 본 발명의 범위와 사상을 벗어나지 않으면서 이루어질 수 있음은 당업자에게 명백할 것이다. 상기 열거한 것들 외에, 본 발명의 범위에 속하는 기능적으로 균등한 방법 및 장치들이 전술한 설명으로부터 당업자에게 명백할 것이다. 그와 같은 수정 및 변경은 첨부된 청구항들의 범위 내에 속하는 것으로 해석되어야 한다.

Claims (46)

  1. 클라이언트 디바이스에 있어서,
    미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림의 미디어 샘플을 수신하는 미디어 수신기, 및
    상기 미디어 샘플의 샘플링 시간에 대응하는 상기 미디어 스트림 내의 시간 위치를 지시하는 시간 오프셋, 및 상기 미디어 스트림의 기준 속도에 기초하여 상기 미디어 스트림이 상기 미디어 렌더링 소스에 의해 렌더링되는 속도와 관련되는 시간척도 비율(timescale ratio)을 수신하고; 및 현재 시간을 지시하는 실시간 타임스탬프, 상기 미디어 샘플의 타임스탬프, 상기 시간 오프셋, 및 상기 시간척도 비율을 사용하여 실시간 오프셋을 결정하는 프로세서를 포함하고,
    상기 클라이언트 디바이스는 상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림에 동기화되도록 상기 실시간 오프셋에 대응하는 위치에서 제2 미디어 스트림을 렌더링하고,
    상기 미디어 샘플은 상기 미디어 샘플의 샘플링 시간에 대응하는 타임스탬프(timestamp)와 관련되는, 클라이언트 디바이스.
  2. 제 1 항에 있어서,
    상기 프로세서는 하기 수학식에 의해 실시간 오프셋을 결정하고,
    T r (t) = T S + R(t-T 0 )
    상기 수학식에서, Tr(t)는 실시간 오프셋이고, TS는 미디어 샘플의 샘플링 시간에 대응하는 미디어 스트림 내의 시간 위치를 지시하는 시간 오프셋이고, R은 시간척도 비율이고, t는 실시간 타임스탬프이며, T0는 미디어 샘플의 타임스탬프인, 클라이언트 디바이스.
  3. 제 1 항에 있어서,
    상기 미디어 스트림은 노래이고,
    상기 제2 미디어 스트림은 상기 노래의 텍스트 가사인, 클라이언트 디바이스.
  4. 서버와 클라이언트 디바이스를 포함하고, 미디어를 동기화하는 시스템으로서,
    상기 서버는 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림의 미디어 샘플을 수신하되, 상기 미디어 샘플의 샘플링 시간에 대응하는 상기 미디어 스트림 내의 시간 위치를 지시하는 시간 오프셋을 결정하고, 상기 미디어 스트림의 기준 속도에 기초하여 상기 미디어 스트림이 상기 미디어 렌더링 소스에 의해 렌더링되는 속도와 관련되는 시간척도 비율(timescale ratio)을 결정하고,
    상기 미디어 샘플은 상기 미디어 샘플의 샘플링 시간에 대응하는 타임스탬프와 관련되고,
    상기 클라이언트 디바이스는 상기 서버로부터 상기 시간 오프셋과 상기 시간척도 비율을 수신하고, 현재 시간을 지시하는 실시간 타임스탬프, 상기 미디어 샘플의 타임스탬프, 상기 시간 오프셋, 및 상기 시간척도 비율을 사용하여 실시간 오프셋을 결정하고, 및 상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림에 동기화되도록 상기 실시간 오프셋에 대응하는 위치에서 제2 미디어 스트림을 렌더링하는, 미디어를 동기화하는 시스템.
  5. 제 4 항에 있어서,
    상기 클라이언트 디바이스는,
    상기 미디어 샘플을 기록하고;
    상기 미디어 샘플을 상기 서버에 송신하고; 및
    상기 서버로부터 상기 시간 오프셋을 수신하는, 미디어를 동기화하는 시스템
  6. 제 4 항에 있어서,
    상기 클라이언트 디바이스는 하기 수학식에 의해 실시간 오프셋을 결정하며,
    T r (t) = T S + R(t-T 0 )
    상기 수학식에서, Tr(t)는 실시간 오프셋이고, TS는 미디어 샘플의 샘플링 시간에 대응하는 미디어 스트림 내의 시간 위치를 지시하는 시간 오프셋이고, R은 시간척도 비율이고, t는 실시간 타임스탬프이고, T0는 미디어 샘플의 타임스탬프인, 미디어를 동기화하는 시스템.
  7. 제 4 항에 있어서,
    상기 서버는,
    상기 미디어 스트림의 복수의 샘플들을 시간에 걸쳐 수신하고;
    각각의 샘플에 대해 시간 오프셋을 결정하고; 및
    하기 수학식에 의해 상기 시간척도 비율(Rk)을 결정하며,
    Figure pat00006

    상기 수학식에서, TS(k)는 시간 k에서 시간 오프셋이고, T0(k)는 시간 k에서 상기 미디어 샘플의 타임스탬프인, 미디어를 동기화하는 시스템.
  8. 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림의 미디어 샘플을 수신하는 단계;
    상기 미디어 샘플과 잠재적으로 매칭하는 복수의 미디어 레코딩을 컴퓨팅 디바이스에 의해 결정하는 단계; 및
    상기 복수의 미디어 레코딩 중 하나에 대한 피처 정보를 포함하는 정렬 파일을 상기 컴퓨팅 디바이스에 의해 클라이언트 디바이스로 제공하는 단계를 포함하고,
    상기 복수의 미디어 레코딩 중 하나의 정렬 파일내 피처는 미리 결정된 시간에서 미디어 스트림내에서 나타날 것으로 예측되는, 방법.
  9. 제 8 항에 있어서,
    상기 복수의 미디어 레코딩의 피처가 상기 미디어 샘플의 피처에 대하여 가지는 시간적 대응에 기초하여 상기 미디어 샘플에 대한 잠재적 매칭인 복수의 미디어 레코딩을 결정하는 단계를 추가로 포함하는, 방법.
  10. 제 8 항에 있어서,
    상기 미디어 샘플의 상기 미디어 스트림으로의 타임 오프셋을 가리키는 시간 위치에 기초하여 상기 미디어 샘플에 잠재적인 매칭이 되는 복수의 미디어 레코딩을 결정하는 단계를 추가로 포함하는, 방법.
  11. 제 8 항에 있어서,
    상기 정렬 파일은 상기 미디어 레코딩에 상기 미디어 샘플의 콘텐트가 존재하는 시각 이후에 상기 미디어 레코딩에서의 랜드마크 시간 위치에서 발생하는 복수의 미디어 레코딩의 주어진 미디어 레코딩의 복수의 지문을 포함하는, 방법.
  12. 제 8 항에 있어서,
    상기 미디어 샘플의 랜드마크 쌍과 지문을 식별하기 위해 대응하는 랜드마크에서 미디어 샘플의 복수의 지문을 결정하는 단계, 및
    상기 미디어 레코딩의 랜드마크 쌍과 지문을 상기 미디어 샘플의 랜드마크 쌍과 지문에 비교하는 것에 기초하여 상기 미디어 샘플에 잠재적으로 매칭하는 복수의 미디어 레코딩을 결정하는 단계를 추가로 포함하는, 방법
  13. 제 8 항에 있어서,
    상기 복수의 미디어 레코딩으로부터 상기 미디어 샘플에 대한 매치를 결정하는 단계, 및
    미리 결정된 시간들에서 상기 미디어 스트림에 나타날 것으로 예측되는 매칭의 피처에 대한 정보를 포함하는 매칭의 정렬 파일을 제공하는 단계를 추가로 포함하는, 방법.
  14. 제 8 항에 있어서,
    상기 미디어 샘플을 수신하는 단계는 상기 클라이언트 디바이스로부터 상기 미디어 샘플을 수신하는 단계를 포함하는, 방법.
  15. 제 8 항에 있어서,
    상기 미디어 샘플을 수신하는 단계는 상기 미디어 샘플의 부분들을 시간에 걸쳐 점증적으로 수신하는 단계를 포함하고,
    상기 방법은,
    매칭 미디어 레코딩을 식별하는데 모호성이 없는 충분한 데이터가 수신될 때까지, 시간에 걸쳐 수신된 미디어 샘플의 피처에 대한 상기 미디어 레코딩의 피처의 시간적 대응에 기초하여, 상기 복수의 미디어 레코딩 중 어느 것이 상기 미디어 샘플에 대한 잠재적인 매칭인지를 계속하여 결정하는 단계를 추가로 포함하는, 방법.
  16. 제 8 항에 있어서,
    상기 미디어 샘플을 수신하는 단계는 상기 미디어 샘플의 부분들을 시간에 걸쳐 점증적으로 수신하는 단계를 포함하고,
    상기 방법은,
    미디어 레코딩이 시간적 대응의 문턱값을 가지는 것으로 발견될 때까지, 시간에 걸쳐 수신된 미디어 샘플의 피처에 대한 상기 미디어 레코딩의 피처의 시간적 대응에 기초하여, 상기 복수의 미디어 레코딩 중 어느 것이 상기 미디어 샘플에 대한 잠재적인 매칭인지를 계속하여 결정하는 단계를 추가로 포함하는, 방법.
  17. 제 8 항에 있어서,
    상기 미디어 샘플을 수신하는 단계는 상기 미디어 샘플의 부분들을 시간에 걸쳐 점증적으로 수신하는 단계를 포함하고,
    상기 방법은,
    상기 미디어 샘플의 모호성없는 식별에 기초하여 상기 미디어 샘플에 대한 매칭을 가리키는 정보를 제공하는 단계를 추가로 포함하는, 방법.
  18. 컴퓨팅 디바이스에 의해 실행가능한 명령들을 기록한, 컴퓨터로 판독가능한 기록매체에 있어서,
    상기 명령들은 컴퓨팅 디바이스로 하여금
    미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림의 미디어 샘플을 수신하는 단계;
    상기 미디어 샘플과 잠재적으로 매칭하는 복수의 미디어 레코딩을 결정하는 단계; 및
    상기 복수의 미디어 레코딩 중 하나에 대한 피처 정보를 포함하는 정렬 파일을 클라이언트 디바이스로 제공하는 단계를 실행시키고,
    상기 복수의 미디어 레코딩 중 하나의 정렬 파일내 피처는 미리 결정된 시간에서 미디어 스트림내에서 나타날 것으로 예측되는, 컴퓨터로 판독가능한 기록매체.
  19. 제 18 항에 있어서,
    상기 명령들은 상기 복수의 미디어 레코딩의 피처가 상기 미디어 샘플의 피처에 대하여 가지는 시간적 대응에 기초하여 상기 미디어 샘플에 대한 잠재적 매칭인 복수의 미디어 레코딩을 결정하는 단계를 추가로 실행시키는, 컴퓨터로 판독가능한 기록매체.
  20. 제 18 항에 있어서,
    상기 명령들은,
    상기 미디어 샘플의 상기 미디어 스트림으로의 타임 오프셋을 가리키는 시간 위치에 기초하여 상기 미디어 샘플에 잠재적인 매칭이 되는 복수의 미디어 레코딩을 결정하는 단계를 추가로 실행시키는, 컴퓨터로 판독가능한 기록매체.
  21. 제 18 항에 있어서,
    상기 정렬 파일은 상기 미디어 레코딩에 상기 미디어 샘플의 콘텐트가 존재하는 시각 이후에 상기 미디어 레코딩에서 랜드마크 시간 위치에서 발생하는 복수의 미디어 레코딩의 주어진 미디어 레코딩의 복수의 지문을 포함하는, 방법.
  22. 제 18 항에 있어서,
    상기 명령들은,
    상기 미디어 샘플의 랜드마크 쌍과 지문을 식별하기 위해 대응하는 랜드마크에서 미디어 샘플의 복수의 지문을 결정하는 단계, 및
    상기 미디어 레코딩의 랜드마크 쌍과 지문을 상기 미디어 샘플의 랜드마크 쌍과 지문에 비교하는 것에 기초하여 상기 미디어 샘플에 잠재적으로 매칭하는 복수의 미디어 레코딩을 결정하는 단계를 추가로 실행시키는, 컴퓨터로 판독가능한 기록매체.
  23. 제 18 항에 있어서,
    상기 명령들은,
    상기 복수의 미디어 레코딩으로부터 상기 미디어 샘플에 대한 매칭을 결정하는 단계, 및
    미리 결정된 시간에서 상기 미디어 스트림에 나타날 것으로 예측되는 매칭의 피처에 대한 정보를 포함하는 매칭의 정렬 파일을 제공하는 단계를 추가로 실행시키는, 컴퓨터로 판독가능한 기록매체.
  24. 제 18 항에 있어서,
    상기 미디어 샘플을 수신하는 단계는 상기 클라이언트 디바이스로부터 상기 미디어 샘플을 수신하는 단계를 포함하는, 컴퓨터로 판독가능한 기록매체.
  25. 제 18 항에 있어서,
    상기 미디어 샘플을 수신하는 단계는 상기 미디어 샘플의 부분들을 시간에 걸쳐 점증적으로 수신하는 단계를 포함하고,
    상기 명령들은,
    미디어 샘플을 식별하는데 모호성이 없는 충분한 데이터가 수신될 때까지, 시간에 걸쳐 수신된 미디어 샘플의 피처에 대한 상기 미디어 레코딩의 피처의 시간적 대응에 기초하여, 상기 복수의 미디어 레코딩 중 어느 것이 상기 미디어 샘플에 대한 잠재적인 매칭인지를 계속하여 결정하는 단계를 추가로 실행시키는, 컴퓨터로 판독가능한 기록매체.
  26. 제 18 항에 있어서,
    상기 미디어 샘플을 수신하는 단계는 상기 미디어 샘플의 부분들을 시간에 걸쳐 점증적으로 수신하는 단계를 포함하고,
    상기 명령들은,
    미디어 레코딩이 시간적 대응의 문턱값을 가지는 것으로 발견될 때까지, 시간에 걸쳐 수신된 미디어 샘플의 피처에 대한 상기 미디어 레코딩의 피처의 시간적 대응에 기초하여, 상기 복수의 미디어 레코딩 중 어느 것이 상기 미디어 샘플에 대한 잠재적인 매칭인지를 계속하여 결정하는 단계를 추가로 실행시키는, 컴퓨터로 판독가능한 기록매체.
  27. 제 18 항에 있어서,
    상기 미디어 샘플을 수신하는 단계는 상기 미디어 샘플의 부분들을 시간에 걸쳐 점증적으로 수신하는 단계를 포함하고,
    상기 명령들은,
    상기 미디어 샘플의 모호성없는 식별에 기초하여 상기 미디어 샘플에 대한 매칭을 가리키는 정보를 제공하는 단계를 추가로 실행시키는, 컴퓨터로 판독가능한 기록매체.
  28. 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림의 미디어 샘플을 클라이언트 디바이스에 의해 컴퓨팅 디바이스로 전송하는 단계;
    클라이언트 디바이스에서, 상기 미디어 샘플과 잠재적으로 매칭하는 복수의 미디어 레코딩 중 하나에 대한 피처 정보를 포함하는 정렬 파일을 수신하는 단계; 및
    상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림이 상기 정렬 파일의 미디어 레코딩에 매칭하는지를 결정하는 단계를 포함하고,
    상기 정렬 파일은 미리 결정된 시간에서 미디어 스트림내에서 나타날 것으로 예측되는 미디어 레코딩의 피처를 포함하는, 방법.
  29. 제 28 항에 있어서,
    상기 정렬 파일은 상기 미디어 레코딩에 상기 미디어 샘플의 콘텐트가 존재하는 시각 이후에 상기 미디어 레코딩에서의 시간 위치에서 발생하는 복수의 미디어 레코딩의 주어진 미디어 레코딩의 복수의 지문을 포함하는, 방법.
  30. 제 28 항에 있어서,
    상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림이 상기 정렬 파일의 미디어 레코딩에 매칭하는지를 결정하는 단계는 상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림이 인터럽팅되었는지를 결정하는 단계를 포함하는, 방법.
  31. 제 28 항에 있어서,
    상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림이 상기 정렬 파일의 미디어 레코딩에 매칭하는지를 결정하는 단계는 상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림이 종료되었는지를 결정하는 단계를 포함하는, 방법.
  32. 제 28 항에 있어서,
    상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림이 상기 정렬 파일의 미디어 레코딩에 매칭하는지를 결정하는 단계는 상기 정렬 파일내의 예측되는 지문이 상기 미디어 스트림에서 더이상 보이지 않는지를 결정하는 단계를 포함하는, 방법.
  33. 제 28 항에 있어서,
    미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림의 추가 미디어 샘플을 수신하는 단계를 추가로 포함하고;
    상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림이 상기 정렬 파일의 미디어 레코딩에 매칭하는지를 결정하는 단계는 상기 추가 미디어 샘플의 피처가 상기 정렬 파일의 상기 미디어 레코딩의 피처에 대하여 시간적 대응을 가지는지를 결정하는 단계를 포함하는, 방법.
  34. 제 28 항에 있어서,
    상기 정렬 파일의 미디어 레코딩과 상기 미디어 스트림의 사이에서 미리 결정된 지문 매칭없이 경과하는 시간량에 기초하여, 불연속이 존재하는 것을 결정하는, 방법.
  35. 제 34 항에 있어서,
    상기 불연속이 존재하는 것에 기초하여, 상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림의 새로운 미디어 샘플을 상기 컴퓨팅 디바이스로 전송하는 단계를 추가로 포함하는, 방법.
  36. 제 28 항에 있어서,
    상기 클라이언트 디바이스가 상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림에 동기하여 제 2 미디어 스트림을 렌더링하는 단계, 및
    상기 정렬 파일의 미디어 레코딩에 대한 상기 미디어 스트림의 정렬에 기초하여, 상기 미디어 스트림에 대한 상기 제 2 미디어 스트림의 렌더링 사이에서의 동기를 결정하는 단계를 추가로 포함하는, 방법.
  37. 제 36 항에 있어서,
    상기 정렬 파일의 미디어 레코딩에 대한 상기 미디어 스트림의 정렬에 기초하여, 상기 미디어 스트림에 대한 상기 제 2 미디어 스트림의 렌더링 사이에서의 동기를 결정하는 단계는 상기 미디어 스트림의 기준 속도에 기초하여 미디어 스트림이 미디어 렌더링 소스에 의해 렌더링되는 속도와 관련된 시간척도 비율(timescale ratio)을 결정하는 단계를 포함하는, 방법.
  38. 제 28 항에 있어서,
    상기 미디어 스트림의 기준 속도에 기초하여 미디어 스트림이 미디어 렌더링 소스에 의해 렌더링되는 속도와 관련된 시간척도 비율을 결정하는 단계;
    상기 정렬 파일의 미디어 레코딩에 대한 상기 미디어 스트림의 매칭에서 시간 드리프트(drift)를 보상하는 시간척도 비율에 기초하여, 상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림이 상기 정렬 파일의 미디어 레코딩에 매칭하는지를 결정하는 단계를 추가로 포함하는, 방법.
  39. 제 28 항에 있어서,
    상기 클라이언트 디바이스가 상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림에 동기하여 제 2 미디어 스트림을 렌더링 하는 단계, 및
    상기 정렬 파일의 미디어 레코딩에 대한 상기 미디어 스트림의 비정렬(mis-alignment)에 기초하여 상기 미디어 스트림에 대한 제 2 미디어 스트림의 렌더링 사이에 동기화의 인터럽션을 결정하는 단계를 추가로 포함하는, 방법.
  40. 제 39 항에 있어서,
    상기 인터럽션에 기초하여 상기 제 2 미디어 스트림의 렌더링을 중지하는 단계를 추가로 포함하는, 방법.
  41. 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림의 미디어 샘플을 클라이언트 디바이스에 의해 컴퓨팅 디바이스로 전송하는 단계;
    클라이언트 디바이스에서, 상기 미디어 샘플과 잠재적으로 매칭하는 복수의 미디어 레코딩 중 하나에 대한 피처 정보를 포함하는 정렬 파일을 수신하는 단계; 및
    상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림을 상기 정렬 파일의 미디어 레코딩과 비교하여, 상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림이 인터럽팅되었는지를 결정하는 단계를 포함하고,
    상기 정렬 파일은 미리 결정된 시간에서 미디어 스트림내에서 나타날 것으로 예측되는 미디어 레코딩의 피처를 포함하는, 방법.
  42. 제 41 항에 있어서,
    상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림이 상기 정렬 파일의 미디어 레코딩에 매칭하는지를 결정하는 단계를 추가로 포함하는, 방법.
  43. 제 41 항에 있어서,
    상기 미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림이 종료되었는지를 결정하는 단계를 추가로 포함하는, 방법.
  44. 제 41 항에 있어서,
    상기 정렬 파일내의 예측되는 지문이 상기 미디어 스트림에 더이상 보이지 않는지를 결정하는 단계를 추가로 포함하는, 방법.
  45. 제 41 항에 있어서,
    상기 정렬 파일은 상기 미디어 레코딩에 상기 미디어 샘플의 콘텐트가 존재하는 시각 이후에 상기 미디어 레코딩에서의 시간 위치에서 발생하는 복수의 미디어 레코딩의 주어진 미디어 레코딩의 복수의 지문을 포함하는, 방법.
  46. 제 41 항에 있어서,
    미디어 렌더링 소스에 의해 렌더링되는 미디어 스트림의 추가 미디어 샘플을 수신하는 단계, 및
    상기 추가 미디어 샘플의 피처가 상기 정렬 파일의 상기 미디어 레코딩의 피처에 대하여 시간적 대응을 가지는지를 결정하는 단계를 추가로 포함하는, 방법.
KR1020147036572A 2010-05-04 2011-05-04 미디어의 동기화 방법 및 시스템 KR101582436B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US33101510P 2010-05-04 2010-05-04
US61/331,015 2010-05-04
PCT/US2011/035197 WO2011140221A1 (en) 2010-05-04 2011-05-04 Methods and systems for synchronizing media

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020127031632A Division KR101490576B1 (ko) 2010-05-04 2011-05-04 미디어의 동기화 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20150006896A true KR20150006896A (ko) 2015-01-19
KR101582436B1 KR101582436B1 (ko) 2016-01-04

Family

ID=44370697

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020147036572A KR101582436B1 (ko) 2010-05-04 2011-05-04 미디어의 동기화 방법 및 시스템
KR1020127031632A KR101490576B1 (ko) 2010-05-04 2011-05-04 미디어의 동기화 방법 및 시스템

Family Applications After (1)

Application Number Title Priority Date Filing Date
KR1020127031632A KR101490576B1 (ko) 2010-05-04 2011-05-04 미디어의 동기화 방법 및 시스템

Country Status (6)

Country Link
US (4) US8996380B2 (ko)
EP (2) EP2567331B1 (ko)
KR (2) KR101582436B1 (ko)
CN (2) CN105843968A (ko)
CA (2) CA2943957C (ko)
WO (1) WO2011140221A1 (ko)

Families Citing this family (209)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9313359B1 (en) * 2011-04-26 2016-04-12 Gracenote, Inc. Media content identification on mobile devices
US9367544B2 (en) * 2008-06-18 2016-06-14 Gracenote, Inc. Method for efficient database formation and search on media devices acting synchronously with television programming
US9390167B2 (en) 2010-07-29 2016-07-12 Soundhound, Inc. System and methods for continuous audio matching
US8433431B1 (en) 2008-12-02 2013-04-30 Soundhound, Inc. Displaying text to end users in coordination with audio playback
US9026102B2 (en) 2010-03-16 2015-05-05 Bby Solutions, Inc. Movie mode and content awarding system and method
KR101582436B1 (ko) * 2010-05-04 2016-01-04 샤잠 엔터테인먼트 리미티드 미디어의 동기화 방법 및 시스템
US9159338B2 (en) * 2010-05-04 2015-10-13 Shazam Entertainment Ltd. Systems and methods of rendering a textual animation
US10515523B2 (en) 2010-07-21 2019-12-24 D-Box Technologies Inc. Media recognition and synchronization to a motion signal
US9047371B2 (en) 2010-07-29 2015-06-02 Soundhound, Inc. System and method for matching a query against a broadcast stream
GB201017174D0 (en) * 2010-10-12 2010-11-24 Muvemedia Ltd System and method for delivering multilingual video or film sound tracks or multilingual spoken or sung dialog for synchronization and playback
US8762852B2 (en) * 2010-11-04 2014-06-24 Digimarc Corporation Smartphone-based methods and systems
US10019995B1 (en) 2011-03-01 2018-07-10 Alice J. Stiebel Methods and systems for language learning based on a series of pitch patterns
US11062615B1 (en) 2011-03-01 2021-07-13 Intelligibility Training LLC Methods and systems for remote language learning in a pandemic-aware world
US9035163B1 (en) 2011-05-10 2015-05-19 Soundbound, Inc. System and method for targeting content based on identified audio and multimedia
US20120315014A1 (en) * 2011-06-10 2012-12-13 Brian Shuster Audio fingerprinting to bookmark a location within a video
KR101578279B1 (ko) 2011-06-10 2015-12-28 샤잠 엔터테인먼트 리미티드 데이터 스트림 내 콘텐트를 식별하는 방법 및 시스템
US9063935B2 (en) * 2011-06-17 2015-06-23 Harqen, Llc System and method for synchronously generating an index to a media stream
US20130065213A1 (en) * 2011-09-13 2013-03-14 Harman International Industries, Incorporated System and method for adapting audio content for karaoke presentations
US8433577B2 (en) * 2011-09-27 2013-04-30 Google Inc. Detection of creative works on broadcast media
CN102419998B (zh) * 2011-09-30 2013-03-20 广州市动景计算机科技有限公司 一种音频处理方法及系统
JP6057504B2 (ja) * 2011-10-12 2017-01-11 アルパイン株式会社 電子装置、出力制御方法および出力制御プログラム
US9462340B1 (en) * 2011-10-13 2016-10-04 Trevor Mathurin Voice/manual activated and integrated audio/video multi-media, multi-interface system
US9715581B1 (en) * 2011-11-04 2017-07-25 Christopher Estes Digital media reproduction and licensing
JP2013117688A (ja) * 2011-12-05 2013-06-13 Sony Corp 音響処理装置、音響処理方法、プログラム、記録媒体、サーバ装置、音響再生装置および音響処理システム
US10986399B2 (en) 2012-02-21 2021-04-20 Gracenote, Inc. Media content identification on mobile devices
US9292894B2 (en) * 2012-03-14 2016-03-22 Digimarc Corporation Content recognition and synchronization using local caching
US10957310B1 (en) 2012-07-23 2021-03-23 Soundhound, Inc. Integrated programming framework for speech and text understanding with meaning parsing
US9117374B2 (en) * 2012-09-19 2015-08-25 Google Inc. Automatically generating quiz questions based on displayed media content
US9173023B2 (en) * 2012-09-25 2015-10-27 Intel Corporation Multiple device noise reduction microphone array
US20140149861A1 (en) * 2012-11-23 2014-05-29 Htc Corporation Method of displaying music lyrics and device using the same
AU2013361460A1 (en) * 2012-12-18 2015-07-16 Vadio, Inc. System and method for providing matched multimedia video content
US20140196070A1 (en) * 2013-01-07 2014-07-10 Smrtv, Inc. System and method for automated broadcast media identification
US9344759B2 (en) * 2013-03-05 2016-05-17 Google Inc. Associating audio tracks of an album with video content
US20140259043A1 (en) * 2013-03-11 2014-09-11 General Instrument Corporation Gathering and using information regarding viewers' familiarity with media-content items
US9232296B2 (en) * 2013-05-15 2016-01-05 Gn Resound A/S Method and apparatus for transmitting wireless audio streams
US9679053B2 (en) 2013-05-20 2017-06-13 The Nielsen Company (Us), Llc Detecting media watermarks in magnetic field data
WO2015006933A1 (en) * 2013-07-17 2015-01-22 Telefonaktiebolaget L M Ericsson(Publ) Seamless playback of media content using digital watermarking
US9542488B2 (en) 2013-08-02 2017-01-10 Google Inc. Associating audio tracks with video content
US20150046166A1 (en) * 2013-08-12 2015-02-12 Htc Corporation Methods and systems for music information management
US9864782B2 (en) * 2013-08-28 2018-01-09 AV Music Group, LLC Systems and methods for identifying word phrases based on stress patterns
US9380383B2 (en) 2013-09-06 2016-06-28 Gracenote, Inc. Modifying playback of content using pre-processed profile information
US10754511B2 (en) 2013-11-20 2020-08-25 Google Llc Multi-view audio and video interactive playback
US9507849B2 (en) 2013-11-28 2016-11-29 Soundhound, Inc. Method for combining a query and a communication command in a natural language computer system
US9292488B2 (en) 2014-02-01 2016-03-22 Soundhound, Inc. Method for embedding voice mail in a spoken utterance using a natural language processing computer system
FR3017224B1 (fr) * 2014-02-04 2017-07-21 Michael Brouard Procede de synchronisation d'une partition musicale avec un signal audio
US9311639B2 (en) 2014-02-11 2016-04-12 Digimarc Corporation Methods, apparatus and arrangements for device to device communication
US11295730B1 (en) 2014-02-27 2022-04-05 Soundhound, Inc. Using phonetic variants in a local context to improve natural language understanding
EP2916241A1 (en) * 2014-03-03 2015-09-09 Nokia Technologies OY Causation of rendering of song audio information
WO2015133944A1 (en) * 2014-03-04 2015-09-11 Telefonaktiebolaget L M Ericsson (Publ) Method and apparatus for obtaining identification information for musical pieces
CN103853836B (zh) * 2014-03-14 2017-01-25 广州酷狗计算机科技有限公司 一种基于音乐指纹特征的音乐检索方法及系统
US10331736B2 (en) * 2014-03-21 2019-06-25 Sonos, Inc. Facilitating streaming media access via a media-item database
CN104951155B (zh) * 2014-03-31 2019-05-17 宸盛光电有限公司 电容式触控装置及其制作方法
US20150302086A1 (en) 2014-04-22 2015-10-22 Gracenote, Inc. Audio identification during performance
US9564123B1 (en) 2014-05-12 2017-02-07 Soundhound, Inc. Method and system for building an integrated user profile
US9449640B2 (en) * 2014-06-03 2016-09-20 Glenn Kreisel Media device turntable
US9905233B1 (en) 2014-08-07 2018-02-27 Digimarc Corporation Methods and apparatus for facilitating ambient content recognition using digital watermarks, and related arrangements
KR101644619B1 (ko) * 2014-08-22 2016-08-01 주식회사 문화방송 시간 동기화 시스템 및 그 방법
US9275682B1 (en) * 2014-09-26 2016-03-01 A9.Com, Inc. Video content alignment
US20160189694A1 (en) * 2014-10-08 2016-06-30 Richard Lynn Cowan Systems and methods for generating presentation system page commands
US20160110068A1 (en) * 2014-10-15 2016-04-21 Sean VOGT Systems and methods to enhance user experience in a live event
US20160149956A1 (en) * 2014-11-21 2016-05-26 Whip Networks, Inc. Media management and sharing system
JP6467887B2 (ja) * 2014-11-21 2019-02-13 ヤマハ株式会社 情報提供装置および情報提供方法
EP3026668A1 (en) * 2014-11-27 2016-06-01 Thomson Licensing Apparatus and method for generating visual content from an audio signal
US9363562B1 (en) 2014-12-01 2016-06-07 Stingray Digital Group Inc. Method and system for authorizing a user device
CN112261446B (zh) * 2015-01-30 2023-07-18 夏普株式会社 上报信息的方法
US10216277B2 (en) * 2015-02-25 2019-02-26 Immersion Corporation Modifying haptic effects for slow motion
US9954570B2 (en) 2015-03-30 2018-04-24 Glenn Kreisel Rotatable device
CN104966527B (zh) * 2015-05-27 2017-04-19 广州酷狗计算机科技有限公司 K歌处理方法、装置以及k歌处理系统
GB2538994B (en) * 2015-06-02 2021-09-15 Sublime Binary Ltd Music generation tool
US20170034263A1 (en) * 2015-07-30 2017-02-02 Amp Me Inc. Synchronized Playback of Streamed Audio Content by Multiple Internet-Capable Portable Devices
KR20170027551A (ko) * 2015-09-02 2017-03-10 삼성전자주식회사 전자 장치 및 그의 제어 방법
CN107852523B (zh) * 2015-09-30 2021-01-19 苹果公司 用于在终端之间同步媒体渲染的方法、终端和设备
CN106653067B (zh) * 2015-10-28 2020-03-17 腾讯科技（深圳）有限公司 一种信息处理方法及终端
KR102450840B1 (ko) * 2015-11-19 2022-10-05 엘지전자 주식회사 전자 기기 및 전자 기기의 제어 방법
US9516373B1 (en) 2015-12-21 2016-12-06 Max Abecassis Presets of synchronized second screen functions
US9596502B1 (en) 2015-12-21 2017-03-14 Max Abecassis Integration of multiple synchronization methodologies
CN108604252B (zh) 2016-01-05 2022-12-16 六科股份有限公司 具有基于信道改变的触发特征的计算系统
US9811314B2 (en) 2016-02-22 2017-11-07 Sonos, Inc. Metadata exchange involving a networked playback system and a networked microphone system
US10097919B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Music service selection
US9965247B2 (en) 2016-02-22 2018-05-08 Sonos, Inc. Voice controlled media playback system based on user profile
US9848235B1 (en) * 2016-02-22 2017-12-19 Sorenson Media, Inc Video fingerprinting based on fourier transform of histogram
US10095470B2 (en) 2016-02-22 2018-10-09 Sonos, Inc. Audio response playback
US10142754B2 (en) 2016-02-22 2018-11-27 Sonos, Inc. Sensor on moving component of transducer
US9947316B2 (en) 2016-02-22 2018-04-17 Sonos, Inc. Voice control of a media playback system
US10264030B2 (en) 2016-02-22 2019-04-16 Sonos, Inc. Networked microphone device control
WO2017143440A1 (en) 2016-02-25 2017-08-31 Amp Me Inc. Synchronizing playback of digital media content
JP6801225B2 (ja) 2016-05-18 2020-12-16 ヤマハ株式会社 自動演奏システムおよび自動演奏方法
US9978390B2 (en) 2016-06-09 2018-05-22 Sonos, Inc. Dynamic player selection for audio signal processing
US10515292B2 (en) * 2016-06-15 2019-12-24 Massachusetts Institute Of Technology Joint acoustic and visual processing
US10148722B2 (en) 2016-07-04 2018-12-04 Znipe Esports AB Methods and nodes for synchronized streaming of a first and a second data stream
SE541208C2 (en) * 2016-07-04 2019-04-30 Znipe Esports AB Methods and nodes for synchronized streaming of a first and a second data stream
US10134399B2 (en) 2016-07-15 2018-11-20 Sonos, Inc. Contextualization of voice inputs
US10152969B2 (en) 2016-07-15 2018-12-11 Sonos, Inc. Voice detection by multiple devices
US10061761B2 (en) * 2016-07-22 2018-08-28 International Business Machines Corporation Real-time dynamic visual aid implementation based on context obtained from heterogeneous sources
CN107666638B (zh) * 2016-07-29 2019-02-05 腾讯科技（深圳）有限公司 一种估计录音延迟的方法及终端设备
US10115400B2 (en) 2016-08-05 2018-10-30 Sonos, Inc. Multiple voice services
US9959448B2 (en) 2016-08-19 2018-05-01 Google Llc Multi-step sequence alignment
CN106340286B (zh) * 2016-09-27 2020-05-19 华中科技大学 一种通用的实时乐器演奏评价系统
US9942678B1 (en) 2016-09-27 2018-04-10 Sonos, Inc. Audio playback settings for voice interaction
US9743204B1 (en) 2016-09-30 2017-08-22 Sonos, Inc. Multi-orientation playback device microphones
GB201617409D0 (en) 2016-10-13 2016-11-30 Asio Ltd A method and system for acoustic communication of data
GB201617408D0 (en) 2016-10-13 2016-11-30 Asio Ltd A method and system for acoustic communication of data
US10181323B2 (en) 2016-10-19 2019-01-15 Sonos, Inc. Arbitration-based voice recognition
MX2019004388A (es) * 2016-10-21 2019-07-15 Sony Corp Aparato de recepcion, aparato de transmision y metodo de procesamiento de datos.
US10922720B2 (en) 2017-01-11 2021-02-16 Adobe Inc. Managing content delivery via audio cues
GB201704636D0 (en) 2017-03-23 2017-05-10 Asio Ltd A method and system for authenticating a device
US11183181B2 (en) 2017-03-27 2021-11-23 Sonos, Inc. Systems and methods of multiple voice services
CN106997388A (zh) * 2017-03-30 2017-08-01 宁波亿拍客网络科技有限公司 一种图像及非图像标记方法、设备及应用方法
US10958966B2 (en) * 2017-03-31 2021-03-23 Gracenote, Inc. Synchronizing streaming media content across devices
US10740613B1 (en) 2017-04-20 2020-08-11 Digimarc Corporation Hybrid feature point/watermark-based augmented reality
US10166472B2 (en) * 2017-05-04 2019-01-01 Shazam Investments Ltd. Methods and systems for determining a reaction time for a response and synchronizing user interface(s) with content being rendered
GB2565751B (en) 2017-06-15 2022-05-04 Sonos Experience Ltd A method and system for triggering events
US10475449B2 (en) 2017-08-07 2019-11-12 Sonos, Inc. Wake-word detection suppression
US10048930B1 (en) 2017-09-08 2018-08-14 Sonos, Inc. Dynamic computation of system response volume
US10446165B2 (en) 2017-09-27 2019-10-15 Sonos, Inc. Robust short-time fourier transform acoustic echo cancellation during audio playback
US10621981B2 (en) 2017-09-28 2020-04-14 Sonos, Inc. Tone interference cancellation
US10051366B1 (en) 2017-09-28 2018-08-14 Sonos, Inc. Three-dimensional beam forming with a microphone array
US10482868B2 (en) 2017-09-28 2019-11-19 Sonos, Inc. Multi-channel acoustic echo cancellation
US20190104335A1 (en) * 2017-09-29 2019-04-04 Theater Ears, LLC Theater ears audio recognition & synchronization algorithm
US10466962B2 (en) 2017-09-29 2019-11-05 Sonos, Inc. Media playback system with voice assistance
US10158907B1 (en) * 2017-10-10 2018-12-18 Shazam Investments Ltd. Systems and methods for performing playout of multiple media recordings based on a matching segment among the recordings
US10129575B1 (en) * 2017-10-25 2018-11-13 Shazam Entertainment Limited Methods and systems for determining a latency between a source and an alternative feed of the source
CN107948623A (zh) * 2017-11-16 2018-04-20 湖南海翼电子商务股份有限公司 投影仪及其音乐关联信息显示方法
CN109903745B (zh) * 2017-12-07 2021-04-09 北京雷石天地电子技术有限公司 一种生成伴奏的方法和系统
US10880650B2 (en) 2017-12-10 2020-12-29 Sonos, Inc. Network microphone devices with automatic do not disturb actuation capabilities
US10818290B2 (en) 2017-12-11 2020-10-27 Sonos, Inc. Home graph
GB2570634A (en) 2017-12-20 2019-08-07 Asio Ltd A method and system for improved acoustic transmission of data
US10715855B1 (en) * 2017-12-20 2020-07-14 Groupon, Inc. Method, system, and apparatus for programmatically generating a channel incrementality ratio
JP7362649B2 (ja) * 2017-12-22 2023-10-17 ネイティブウェーブス ゲーエムベーハー 追加信号を一次信号に同期させる方法
US11343614B2 (en) 2018-01-31 2022-05-24 Sonos, Inc. Device designation of playback and network microphone device arrangements
JP7243026B2 (ja) * 2018-03-23 2023-03-22 ヤマハ株式会社 演奏解析方法、演奏解析装置およびプログラム
CN108513174A (zh) * 2018-03-30 2018-09-07 合肥联宝信息技术有限公司 一种信息处理方法及电子设备
US11297369B2 (en) 2018-03-30 2022-04-05 Apple Inc. Remotely controlling playback devices
US10993274B2 (en) 2018-03-30 2021-04-27 Apple Inc. Pairing devices by proxy
US11175880B2 (en) 2018-05-10 2021-11-16 Sonos, Inc. Systems and methods for voice-assisted media content selection
US10847178B2 (en) 2018-05-18 2020-11-24 Sonos, Inc. Linear filtering for noise-suppressed speech detection
US10692496B2 (en) * 2018-05-22 2020-06-23 Google Llc Hotword suppression
US10959029B2 (en) 2018-05-25 2021-03-23 Sonos, Inc. Determining and adapting to changes in microphone performance of playback devices
CN108763182B (zh) * 2018-05-25 2020-12-25 腾讯音乐娱乐科技（深圳）有限公司 渲染歌词的方法和装置
US10681460B2 (en) 2018-06-28 2020-06-09 Sonos, Inc. Systems and methods for associating playback devices with voice assistant services
US10614857B2 (en) * 2018-07-02 2020-04-07 Apple Inc. Calibrating media playback channels for synchronized presentation
US10623800B2 (en) * 2018-07-16 2020-04-14 Gracenote, Inc. Dynamic control of fingerprinting rate to facilitate time-accurate revision of media content
US11483785B2 (en) 2018-07-25 2022-10-25 Trulli Engineering, Llc Bluetooth speaker configured to produce sound as well as simultaneously act as both sink and source
US10915292B2 (en) 2018-07-25 2021-02-09 Eagle Acoustics Manufacturing, Llc Bluetooth speaker configured to produce sound as well as simultaneously act as both sink and source
US11076035B2 (en) 2018-08-28 2021-07-27 Sonos, Inc. Do not disturb feature for audio notifications
US10461710B1 (en) 2018-08-28 2019-10-29 Sonos, Inc. Media playback system with maximum volume setting
US10587430B1 (en) 2018-09-14 2020-03-10 Sonos, Inc. Networked devices, systems, and methods for associating playback devices based on sound codes
US10878811B2 (en) 2018-09-14 2020-12-29 Sonos, Inc. Networked devices, systems, and methods for intelligently deactivating wake-word engines
US10743068B2 (en) * 2018-09-17 2020-08-11 International Business Machines Corporation Real time digital media capture and presentation
US10897637B1 (en) 2018-09-20 2021-01-19 Amazon Technologies, Inc. Synchronize and present multiple live content streams
US10863230B1 (en) * 2018-09-21 2020-12-08 Amazon Technologies, Inc. Content stream overlay positioning
US11024331B2 (en) 2018-09-21 2021-06-01 Sonos, Inc. Voice detection optimization using sound metadata
US10811015B2 (en) 2018-09-25 2020-10-20 Sonos, Inc. Voice detection optimization based on selected voice assistant service
US11100923B2 (en) 2018-09-28 2021-08-24 Sonos, Inc. Systems and methods for selective wake word detection using neural network models
US11451931B1 (en) 2018-09-28 2022-09-20 Apple Inc. Multi device clock synchronization for sensor data fusion
US10692518B2 (en) 2018-09-29 2020-06-23 Sonos, Inc. Linear filtering for noise-suppressed speech detection via multiple network microphone devices
US11899519B2 (en) 2018-10-23 2024-02-13 Sonos, Inc. Multiple stage network microphone device with reduced power consumption and processing load
EP3654249A1 (en) 2018-11-15 2020-05-20 Snips Dilated convolutions and gating for efficient keyword spotting
US11183183B2 (en) 2018-12-07 2021-11-23 Sonos, Inc. Systems and methods of operating media playback systems having multiple voice assistant services
US11132989B2 (en) 2018-12-13 2021-09-28 Sonos, Inc. Networked microphone devices, systems, and methods of localized arbitration
CN109769124A (zh) * 2018-12-13 2019-05-17 广州华多网络科技有限公司 混流方法、装置、电子设备及存储介质
US10602268B1 (en) 2018-12-20 2020-03-24 Sonos, Inc. Optimization of network microphone devices using noise classification
US11126344B2 (en) * 2019-01-22 2021-09-21 Facebook, Inc. Systems and methods for sharing content
US11315556B2 (en) 2019-02-08 2022-04-26 Sonos, Inc. Devices, systems, and methods for distributed voice processing by transmitting sound data associated with a wake word to an appropriate device for identification
US10867604B2 (en) 2019-02-08 2020-12-15 Sonos, Inc. Devices, systems, and methods for distributed voice processing
CN109935234B (zh) * 2019-02-22 2020-02-07 东莞理工学院 一种对录音鉴定来源设备的方法
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
US20200296316A1 (en) 2019-03-11 2020-09-17 Quibi Holdings, LLC Media content presentation
CN110459233B (zh) * 2019-03-19 2022-02-11 深圳壹秘科技有限公司 语音的处理方法、装置和计算机可读存储介质
CN110267081B (zh) * 2019-04-02 2021-01-22 北京达佳互联信息技术有限公司 直播流处理方法、装置、系统、电子设备及存储介质
US11120794B2 (en) 2019-05-03 2021-09-14 Sonos, Inc. Voice assistant persistence across multiple network microphone devices
US11675563B2 (en) * 2019-06-01 2023-06-13 Apple Inc. User interfaces for content applications
US11487815B2 (en) * 2019-06-06 2022-11-01 Sony Corporation Audio track determination based on identification of performer-of-interest at live event
US10586540B1 (en) 2019-06-12 2020-03-10 Sonos, Inc. Network microphone device with command keyword conditioning
US11361756B2 (en) 2019-06-12 2022-06-14 Sonos, Inc. Conditional wake word eventing based on environment
US11200894B2 (en) 2019-06-12 2021-12-14 Sonos, Inc. Network microphone device with command keyword eventing
US11138969B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US11138975B2 (en) 2019-07-31 2021-10-05 Sonos, Inc. Locally distributed keyword detection
US10871943B1 (en) 2019-07-31 2020-12-22 Sonos, Inc. Noise classification for event detection
US11189286B2 (en) 2019-10-22 2021-11-30 Sonos, Inc. VAS toggle based on device orientation
KR20210051319A (ko) * 2019-10-30 2021-05-10 엘지전자 주식회사 인공 지능 장치
IT201900020626A1 (it) * 2019-11-08 2021-05-08 M Live Srl Sistema elettronico per la sincronizzazione di eventi con il suono di una composizione musicale fra un dispositivo elettronico di riproduzione ed una pluralità di dispositivi elettronici mobili collegati al dispositivo elettronico di riproduzione per mezzo di una rete di telecomunicazioni a media-lunga distanza e relativo metodo di sincronizzazione
WO2021101577A1 (en) * 2019-11-19 2021-05-27 Google Llc Methods, systems, and media for rights management of embedded sound recordings using composition clustering
US11200900B2 (en) 2019-12-20 2021-12-14 Sonos, Inc. Offline voice control
CN111243065B (zh) * 2019-12-26 2022-03-11 浙江大学 一种语音信号驱动的脸部动画生成方法
US11562740B2 (en) 2020-01-07 2023-01-24 Sonos, Inc. Voice verification for media playback
US11556307B2 (en) 2020-01-31 2023-01-17 Sonos, Inc. Local voice data processing
US11308958B2 (en) 2020-02-07 2022-04-19 Sonos, Inc. Localized wakeword verification
CN113364932B (zh) * 2020-03-04 2022-09-06 浙江宇视科技有限公司 水印的添加方法、装置、存储介质及设备
US11086586B1 (en) * 2020-03-13 2021-08-10 Auryn, LLC Apparatuses and methodologies relating to the generation and selective synchronized display of musical and graphic information on one or more devices capable of displaying musical and graphic information
US11727919B2 (en) 2020-05-20 2023-08-15 Sonos, Inc. Memory allocation for keyword spotting engines
US11308962B2 (en) 2020-05-20 2022-04-19 Sonos, Inc. Input detection windowing
US11482224B2 (en) 2020-05-20 2022-10-25 Sonos, Inc. Command keywords with input detection windowing
GB2597334A (en) * 2020-07-17 2022-01-26 Playrcart Ltd A media player
US11698771B2 (en) 2020-08-25 2023-07-11 Sonos, Inc. Vocal guidance engines for playback devices
US11988784B2 (en) 2020-08-31 2024-05-21 Sonos, Inc. Detecting an audio signal with a microphone to determine presence of a playback device
SE2030332A1 (en) * 2020-11-06 2022-05-07 Aakerfeldt Erik Seamless multiplayer experience
US11984123B2 (en) 2020-11-12 2024-05-14 Sonos, Inc. Network device interaction by range
CN112669798B (zh) * 2020-12-15 2021-08-03 深圳芒果未来教育科技有限公司 一种对音乐信号主动跟随的伴奏方法及相关设备
US20220224994A1 (en) * 2021-01-12 2022-07-14 Musixmatch Method and system for navigating tags on time-synchronized content
US11551700B2 (en) 2021-01-25 2023-01-10 Sonos, Inc. Systems and methods for power-efficient keyword detection
EP4285247A1 (en) 2021-01-29 2023-12-06 Apple Inc. User interfaces and associated systems and processes for sharing portions of content items
US11481185B1 (en) * 2021-06-04 2022-10-25 Musixmatch S.P.A. Method and system for tagging and navigating through performers and other information on time-synchronized content
US11831943B2 (en) 2021-10-26 2023-11-28 Apple Inc. Synchronized playback of media content
WO2023131498A1 (en) * 2022-01-04 2023-07-13 Signify Holding B.V. Extracting a color palette from music video for generating light effects
US20240078078A1 (en) * 2022-09-07 2024-03-07 Signglasses, Llc Augmented audio overlay
US20240112689A1 (en) * 2022-10-04 2024-04-04 Roblox Corporation Synthesizing audio for synchronous communication
WO2024096905A1 (en) * 2022-11-02 2024-05-10 Collegenet, Inc. Method and system for annotating and organizing asynchronous communication within a group
US11977834B1 (en) 2022-11-02 2024-05-07 Collegenet, Inc. Method and system for annotating and organizing asynchronous communication within a group

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060246408A1 (en) * 2005-04-06 2006-11-02 Shanghai Multak Technology Development Co., Ltd. Receiver device for karaoke
US20080115655A1 (en) * 2006-11-17 2008-05-22 Via Technologies, Inc. Playback systems and methods with integrated music, lyrics and song information
US20090083281A1 (en) * 2007-08-22 2009-03-26 Amnon Sarig System and method for real time local music playback and remote server lyric timing synchronization utilizing social networks and wiki technology

Family Cites Families (130)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4230990C1 (en) * 1979-03-16 2002-04-09 John G Lert Jr Broadcast program identification method and system
US4450531A (en) 1982-09-10 1984-05-22 Ensco, Inc. Broadcast signal recognition system and method
US4746994A (en) * 1985-08-22 1988-05-24 Cinedco, California Limited Partnership Computer-based video editing system
US4739398A (en) * 1986-05-02 1988-04-19 Control Data Corporation Method, apparatus and system for recognizing broadcast segments
US4843562A (en) 1987-06-24 1989-06-27 Broadcast Data Systems Limited Partnership Broadcast information classification system and method
AU633828B2 (en) * 1988-12-05 1993-02-11 Ricos Co., Ltd. Apparatus for reproducing music and displaying words
US5267351A (en) * 1989-12-22 1993-11-30 Avid Technology, Inc. Media storage and retrieval system
US5136655A (en) * 1990-03-26 1992-08-04 Hewlett-Pacard Company Method and apparatus for indexing and retrieving audio-video data
US5210820A (en) * 1990-05-02 1993-05-11 Broadcast Data Systems Limited Partnership Signal recognition system and method
CA2085887A1 (en) * 1990-06-21 1991-12-22 Kentyn Reynolds Method and apparatus for wave analysis and event recognition
US5134719A (en) 1991-02-19 1992-07-28 Mankovitz Roy J Apparatus and methods for identifying broadcast audio program selections in an FM stereo broadcast system
FR2681997A1 (fr) * 1991-09-30 1993-04-02 Arbitron Cy Procede et dispositif d'identification automatique d'un programme comportant un signal sonore.
US5999173A (en) * 1992-04-03 1999-12-07 Adobe Systems Incorporated Method and apparatus for video editing with video clip representations displayed along a time line
US5436653A (en) * 1992-04-30 1995-07-25 The Arbitron Company Method and system for recognition of broadcast segments
US5333275A (en) * 1992-06-23 1994-07-26 Wheatley Barbara J System and method for time aligning speech
ATE260486T1 (de) * 1992-07-31 2004-03-15 Ibm Auffindung von zeichenketten in einer datenbank von zeichenketten
US5437050A (en) 1992-11-09 1995-07-25 Lamb; Robert G. Method and apparatus for recognizing broadcast information using multi-frequency magnitude detection
US5634020A (en) * 1992-12-31 1997-05-27 Avid Technology, Inc. Apparatus and method for displaying audio data as a discrete waveform
US5465240A (en) 1993-01-05 1995-11-07 Mankovitz; Roy J. Apparatus and methods for displaying text in conjunction with recorded audio programs
IL108497A0 (en) 1993-02-01 1994-05-30 Seq Ltd Methods and apparatus for dna sequencing
US5903317A (en) * 1993-02-14 1999-05-11 Orad Hi-Tech Systems Ltd. Apparatus and method for detecting, identifying and incorporating advertisements in a video
US5506932A (en) * 1993-04-16 1996-04-09 Data Translation, Inc. Synchronizing digital audio to digital video
JP2986345B2 (ja) * 1993-10-18 1999-12-06 インターナショナル・ビジネス・マシーンズ・コーポレイション 音声記録指標化装置及び方法
US5581658A (en) * 1993-12-14 1996-12-03 Infobase Systems, Inc. Adaptive system for broadcast program identification and reporting
US5764852A (en) * 1994-08-16 1998-06-09 International Business Machines Corporation Method and apparatus for speech recognition for distinguishing non-speech audio input events from speech audio input events
US5900908A (en) * 1995-03-02 1999-05-04 National Captioning Insitute, Inc. System and method for providing described television services
US6505160B1 (en) * 1995-07-27 2003-01-07 Digimarc Corporation Connected audio and other media objects
US7562392B1 (en) * 1999-05-19 2009-07-14 Digimarc Corporation Methods of interacting with audio and ambient music
US5765132A (en) * 1995-10-26 1998-06-09 Dragon Systems, Inc. Building speech models for new words in a multi-word utterance
ATE250801T1 (de) * 1996-03-08 2003-10-15 Motorola Inc Verfahren und gerät zum erkennen von geräuschsignalproben aus einem geräusch
US5991737A (en) * 1996-03-11 1999-11-23 Connexus Corporation Automated consumer response to publicly broadcast information
US5801685A (en) * 1996-04-08 1998-09-01 Tektronix, Inc. Automatic editing of recorded video elements sychronized with a script text read or displayed
US5740230A (en) 1996-05-31 1998-04-14 Octel Communications Corporation Directory management system and method
US5822729A (en) * 1996-06-05 1998-10-13 Massachusetts Institute Of Technology Feature-based speech recognizer having probabilistic linguistic processor providing word matching based on the entire space of feature vectors
US5661665A (en) * 1996-06-26 1997-08-26 Microsoft Corporation Multi-media synchronization
US7346472B1 (en) 2000-09-07 2008-03-18 Blue Spike, Inc. Method and device for monitoring and analyzing signals
US5728960A (en) * 1996-07-10 1998-03-17 Sitrick; David H. Multi-dimensional transformation systems and display communication architecture for musical compositions
US5918223A (en) 1996-07-22 1999-06-29 Muscle Fish Method and article of manufacture for content-based analysis, storage, retrieval, and segmentation of audio information
JP3299890B2 (ja) * 1996-08-06 2002-07-08 ヤマハ株式会社 カラオケ採点装置
US5721827A (en) * 1996-10-02 1998-02-24 James Logan System for electrically distributing personalized information
US5952597A (en) 1996-10-25 1999-09-14 Timewarp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
US5925843A (en) * 1997-02-12 1999-07-20 Virtual Music Entertainment, Inc. Song identification and synchronization
US5884267A (en) * 1997-02-24 1999-03-16 Digital Equipment Corporation Automated speech alignment for image synthesis
US5987525A (en) * 1997-04-15 1999-11-16 Cddb, Inc. Network delivery of interactive entertainment synchronized to playback of audio recordings
US6611537B1 (en) * 1997-05-30 2003-08-26 Centillium Communications, Inc. Synchronous network for digital media streams
US5898119A (en) * 1997-06-02 1999-04-27 Mitac, Inc. Method and apparatus for generating musical accompaniment signals, and method and device for generating a video output in a musical accompaniment apparatus
US6166314A (en) 1997-06-19 2000-12-26 Time Warp Technologies, Ltd. Method and apparatus for real-time correlation of a performance to a musical score
US5869783A (en) * 1997-06-25 1999-02-09 Industrial Technology Research Institute Method and apparatus for interactive music accompaniment
JPH1155201A (ja) 1997-07-29 1999-02-26 Sony Corp 情報処理装置および方法、情報処理システム、並びに伝送媒体
WO1999027681A2 (en) * 1997-11-25 1999-06-03 Motorola Inc. Audio content player methods, systems, and articles of manufacture
US6336093B2 (en) * 1998-01-16 2002-01-01 Avid Technology, Inc. Apparatus and method using speech recognition and scripts to capture author and playback synchronized audio and video
US6173287B1 (en) * 1998-03-11 2001-01-09 Digital Equipment Corporation Technique for ranking multimedia annotations of interest
DE69908226T2 (de) * 1998-03-19 2004-03-25 Tomonari Sonoda Vorrichtung und Verfahren zum Wiederauffinden von Melodien
US6201176B1 (en) * 1998-05-07 2001-03-13 Canon Kabushiki Kaisha System and method for querying a music database
KR100641594B1 (ko) 1998-07-14 2006-11-06 소니 가부시끼 가이샤 데이터 전달 제어 방법, 데이터 전송 방법, 데이터 송신장치, 수신 장치
JP3925586B2 (ja) 1998-07-17 2007-06-06 ソニー株式会社 データ受信装置および方法ならびにデータ送受信システムおよび方法
US6016166A (en) * 1998-08-31 2000-01-18 Lucent Technologies Inc. Method and apparatus for adaptive synchronization of digital video and audio playback in a multimedia playback system
US6243676B1 (en) * 1998-12-23 2001-06-05 Openwave Systems Inc. Searching and retrieving multimedia information
US6473778B1 (en) * 1998-12-24 2002-10-29 At&T Corporation Generating hypermedia documents from transcriptions of television programs using parallel text alignment
US6185527B1 (en) * 1999-01-19 2001-02-06 International Business Machines Corporation System and method for automatic audio content analysis for word spotting, indexing, classification and retrieval
US6353172B1 (en) * 1999-02-02 2002-03-05 Microsoft Corporation Music event timing and delivery in a non-realtime environment
US7006967B1 (en) * 1999-02-05 2006-02-28 Custom Speech Usa, Inc. System and method for automating transcription services
US6272461B1 (en) * 1999-03-22 2001-08-07 Siemens Information And Communication Networks, Inc. Method and apparatus for an enhanced presentation aid
US6434520B1 (en) * 1999-04-16 2002-08-13 International Business Machines Corporation System and method for indexing and querying audio archives
US6502194B1 (en) * 1999-04-16 2002-12-31 Synetix Technologies System for playback of network audio material on demand
US6378132B1 (en) * 1999-05-20 2002-04-23 Avid Sports, Llc Signal capture and distribution system
TW495735B (en) 1999-07-28 2002-07-21 Yamaha Corp Audio controller and the portable terminal and system using the same
JP3371132B2 (ja) * 1999-08-25 2003-01-27 コナミ株式会社 ゲーム装置、ゲーム装置の制御方法、及び、そのゲーム装置で使用するコンピュータ読取可能な記憶媒体
US7174293B2 (en) * 1999-09-21 2007-02-06 Iceberg Industries Llc Audio identification system and method
US7194752B1 (en) * 1999-10-19 2007-03-20 Iceberg Industries, Llc Method and apparatus for automatically recognizing input audio and/or video streams
DE19948974A1 (de) * 1999-10-11 2001-04-12 Nokia Mobile Phones Ltd Verfahren zum Erkennen und Auswählen einer Tonfolge, insbesondere eines Musikstücks
US6469749B1 (en) * 1999-10-13 2002-10-22 Koninklijke Philips Electronics N.V. Automatic signature-based spotting, learning and extracting of commercials and other video content
US6993245B1 (en) * 1999-11-18 2006-01-31 Vulcan Patents Llc Iterative, maximally probable, batch-mode commercial detection for audiovisual content
US6606744B1 (en) * 1999-11-22 2003-08-12 Accenture, Llp Providing collaborative installation management in a network-based supply chain environment
US7257536B1 (en) * 1999-11-23 2007-08-14 Radiant Systems, Inc. Audio request interaction system
US6678680B1 (en) * 2000-01-06 2004-01-13 Mark Woo Music search engine
US6577346B1 (en) * 2000-01-24 2003-06-10 Webtv Networks, Inc. Recognizing a pattern in a video segment to identify the video segment
US6389467B1 (en) * 2000-01-24 2002-05-14 Friskit, Inc. Streaming media search and continuous playback system of media resources located by multiple network addresses
US7444353B1 (en) 2000-01-31 2008-10-28 Chen Alexander C Apparatus for delivering music and information
US7010485B1 (en) * 2000-02-03 2006-03-07 International Business Machines Corporation Method and system of audio file searching
US6834308B1 (en) * 2000-02-17 2004-12-21 Audible Magic Corporation Method and apparatus for identifying media content presented on a media playing device
US6260011B1 (en) * 2000-03-20 2001-07-10 Microsoft Corporation Methods and apparatus for automatically synchronizing electronic audio files with electronic text files
US6453252B1 (en) * 2000-05-15 2002-09-17 Creative Technology Ltd. Process for identifying audio content
US7343553B1 (en) * 2000-05-19 2008-03-11 Evan John Kaye Voice clip identification method
US7149686B1 (en) * 2000-06-23 2006-12-12 International Business Machines Corporation System and method for eliminating synchronization errors in electronic audiovisual transmissions and presentations
US7853664B1 (en) * 2000-07-31 2010-12-14 Landmark Digital Services Llc Method and system for purchasing pre-recorded music
US6990453B2 (en) 2000-07-31 2006-01-24 Landmark Digital Services Llc System and methods for recognizing sound and music signals in high noise and distortion
KR20020043239A (ko) 2000-08-23 2002-06-08 요트.게.아. 롤페즈 콘텐트 아이템, 클라이언트 시스템 및 서버 시스템의렌더링을 향상시키는 방법
FI20002161A (fi) 2000-09-29 2002-03-30 Nokia Mobile Phones Ltd Menetelmä ja järjestelmä melodian tunnistamiseksi
US7277766B1 (en) 2000-10-24 2007-10-02 Moodlogic, Inc. Method and system for analyzing digital audio files
US6721706B1 (en) * 2000-10-30 2004-04-13 Koninklijke Philips Electronics N.V. Environment-responsive user interface/entertainment device that simulates personal interaction
US20020072982A1 (en) * 2000-12-12 2002-06-13 Shazam Entertainment Ltd. Method and system for interacting with a user in an experiential environment
CN1235408C (zh) 2001-02-12 2006-01-04 皇家菲利浦电子有限公司 生成和匹配多媒体内容的散列
US7062442B2 (en) * 2001-02-23 2006-06-13 Popcatcher Ab Method and arrangement for search and recording of media signals
DK1504445T3 (da) 2002-04-25 2008-12-01 Landmark Digital Services Llc Robust og invariant lydmönster-matching
US6766523B2 (en) 2002-05-31 2004-07-20 Microsoft Corporation System and method for identifying and segmenting repeating media objects embedded in a stream
US7461392B2 (en) 2002-07-01 2008-12-02 Microsoft Corporation System and method for identifying and segmenting repeating media objects embedded in a stream
WO2004004351A1 (en) 2002-07-01 2004-01-08 Microsoft Corporation A system and method for providing user control over repeating objects embedded in a stream
EP1398931B1 (en) * 2002-09-06 2006-05-03 Sony Deutschland GmbH Synchronous play-out of media data packets
US20040266337A1 (en) 2003-06-25 2004-12-30 Microsoft Corporation Method and apparatus for synchronizing lyrics
US7788696B2 (en) * 2003-10-15 2010-08-31 Microsoft Corporation Inferring information about media stream objects
JP4933899B2 (ja) 2004-02-19 2012-05-16 ランドマーク、ディジタル、サーヴィセズ、エルエルシー 放送源の識別のための方法および装置
US20050228663A1 (en) * 2004-03-31 2005-10-13 Robert Boman Media production system using time alignment to scripts
US7836389B2 (en) * 2004-04-16 2010-11-16 Avid Technology, Inc. Editing system for audiovisual works and corresponding text for television news
US7433819B2 (en) * 2004-09-10 2008-10-07 Scientific Learning Corporation Assessing fluency based on elapsed time
US7574451B2 (en) * 2004-11-02 2009-08-11 Microsoft Corporation System and method for speeding up database lookups for multiple synchronized data streams
US20060112812A1 (en) 2004-11-30 2006-06-01 Anand Venkataraman Method and apparatus for adapting original musical tracks for karaoke use
JP5329968B2 (ja) 2005-11-10 2013-10-30 サウンドハウンド インコーポレイテッド 非テキストベースの情報を記憶し、検索する方法
US20070166683A1 (en) 2006-01-05 2007-07-19 Apple Computer, Inc. Dynamic lyrics display for portable media devices
US7623755B2 (en) * 2006-08-17 2009-11-24 Adobe Systems Incorporated Techniques for positioning audio and video clips
US8005666B2 (en) 2006-10-24 2011-08-23 National Institute Of Advanced Industrial Science And Technology Automatic system for temporal alignment of music audio signal with lyrics
CN101212690B (zh) * 2006-12-26 2011-04-20 中兴通讯股份有限公司 多媒体视音频流唇音同步的调测方法
US20080196575A1 (en) 2007-02-16 2008-08-21 Recordare Llc Process for creating and viewing digital sheet music on a media device
US7733214B2 (en) 2007-08-22 2010-06-08 Tune Wiki Limited System and methods for the remote measurement of a person's biometric data in a controlled state by way of synchronized music, video and lyrics
CN101136875A (zh) * 2007-09-11 2008-03-05 武汉虹旭信息技术有限责任公司 即时通信软件中多媒体文件同步回放的方法
US8205148B1 (en) * 2008-01-11 2012-06-19 Bruce Sharpe Methods and apparatus for temporal alignment of media
US8143508B2 (en) * 2008-08-29 2012-03-27 At&T Intellectual Property I, L.P. System for providing lyrics with streaming music
US9390167B2 (en) 2010-07-29 2016-07-12 Soundhound, Inc. System and methods for continuous audio matching
US8452586B2 (en) * 2008-12-02 2013-05-28 Soundhound, Inc. Identifying music from peaks of a reference sound fingerprint
US8291328B2 (en) 2009-03-24 2012-10-16 Disney Enterprises, Inc. System and method for synchronizing a real-time performance with a virtual object
US8548613B2 (en) 2009-04-20 2013-10-01 Disney Enterprises, Inc. System and method for an interactive device for use with a media device
US20100299131A1 (en) * 2009-05-21 2010-11-25 Nexidia Inc. Transcript alignment
US20110258211A1 (en) 2010-04-18 2011-10-20 Kalisky Ofer System and method for synchronous matching of media samples with broadcast media streams
US9275141B2 (en) * 2010-05-04 2016-03-01 Shazam Entertainment Ltd. Methods and systems for processing a sample of a media stream
US9159338B2 (en) * 2010-05-04 2015-10-13 Shazam Entertainment Ltd. Systems and methods of rendering a textual animation
US9280598B2 (en) 2010-05-04 2016-03-08 Soundhound, Inc. Systems and methods for sound recognition
KR101582436B1 (ko) * 2010-05-04 2016-01-04 샤잠 엔터테인먼트 리미티드 미디어의 동기화 방법 및 시스템
JP5907511B2 (ja) * 2010-06-09 2016-04-26 アデルフォイ リミテッド オーディオメディア認識のためのシステム及び方法
US9047371B2 (en) 2010-07-29 2015-06-02 Soundhound, Inc. System and method for matching a query against a broadcast stream
US8737679B2 (en) 2011-07-12 2014-05-27 M/S. Amagi Media Labs Pvt. Ltd. System and method for seamless content insertion on network content using audio-video fingerprinting and watermarking

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060246408A1 (en) * 2005-04-06 2006-11-02 Shanghai Multak Technology Development Co., Ltd. Receiver device for karaoke
US20080115655A1 (en) * 2006-11-17 2008-05-22 Via Technologies, Inc. Playback systems and methods with integrated music, lyrics and song information
US20090083281A1 (en) * 2007-08-22 2009-03-26 Amnon Sarig System and method for real time local music playback and remote server lyric timing synchronization utilizing social networks and wiki technology
KR20090080890A (ko) * 2008-01-22 2009-07-27 튠위키 인크. 실시간 로컬 음악 재생 및 원격 서버 가사 타이밍 동기화 방법

Also Published As

Publication number Publication date
KR101490576B1 (ko) 2015-02-11
KR101582436B1 (ko) 2016-01-04
EP2567331B1 (en) 2018-07-18
KR20130023267A (ko) 2013-03-07
WO2011140221A1 (en) 2011-11-10
US8996380B2 (en) 2015-03-31
US20140360343A1 (en) 2014-12-11
CN102959544A (zh) 2013-03-06
CA2943957A1 (en) 2011-11-10
US20130243205A1 (en) 2013-09-19
EP2567331A1 (en) 2013-03-13
US8686271B2 (en) 2014-04-01
CA2798072C (en) 2017-02-14
US20110276334A1 (en) 2011-11-10
US8816179B2 (en) 2014-08-26
CA2943957C (en) 2017-10-03
US20110276333A1 (en) 2011-11-10
US9251796B2 (en) 2016-02-02
EP3418917B1 (en) 2022-08-17
CN102959544B (zh) 2016-06-08
CN105843968A (zh) 2016-08-10
CA2798072A1 (en) 2011-11-10
EP3418917A1 (en) 2018-12-26

Similar Documents

Publication Publication Date Title
KR101582436B1 (ko) 미디어의 동기화 방법 및 시스템
US9159338B2 (en) Systems and methods of rendering a textual animation
US10003664B2 (en) Methods and systems for processing a sample of a media stream
JP5833235B2 (ja) データストリームのコンテンツを識別する方法及びシステム
JP6060155B2 (ja) 受信データの比較を実行しその比較に基づいて後続サービスを提供する方法及びシステム
CN118044206A (zh) 事件源内容和远程内容同步

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20191127

Year of fee payment: 5