KR102207075B1 - 모션 비디오를 갖는 음악 서비스 - Google Patents

모션 비디오를 갖는 음악 서비스 Download PDF

Info

Publication number
KR102207075B1
KR102207075B1 KR1020207001487A KR20207001487A KR102207075B1 KR 102207075 B1 KR102207075 B1 KR 102207075B1 KR 1020207001487 A KR1020207001487 A KR 1020207001487A KR 20207001487 A KR20207001487 A KR 20207001487A KR 102207075 B1 KR102207075 B1 KR 102207075B1
Authority
KR
South Korea
Prior art keywords
audio content
content
motion video
data
primary audio
Prior art date
Application number
KR1020207001487A
Other languages
English (en)
Other versions
KR20200009128A (ko
Inventor
마르쿠스 케이. 크리머
Original Assignee
그레이스노트, 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 그레이스노트, 인코포레이티드 filed Critical 그레이스노트, 인코포레이티드
Publication of KR20200009128A publication Critical patent/KR20200009128A/ko
Application granted granted Critical
Publication of KR102207075B1 publication Critical patent/KR102207075B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4532—Management of client data or end-user data involving end-user characteristics, e.g. viewer profile, preferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439—Processing of audio elementary streams
    • H04N21/4394—Processing of audio elementary streams involving operations for analysing the audio stream, e.g. detecting features or characteristics in audio streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages
    • H04N21/8113—Monomedia components thereof involving special audio data, e.g. different tracks for different languages comprising music, e.g. song in MP3 format

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Information Transfer Between Computers (AREA)
  • User Interface Of Digital Computer (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)

Abstract

오디오 컨텐츠와 함께 모션 비디오 컨텐츠를 제공하는 기술이 개시된다. 일부 예시적인 실시예들에서, 컴퓨터 구현 시스템은, 프라이머리 오디오 컨텐츠를 수신하는 동작; 프라이머리 오디오 컨텐츠와 적어도 하나의 레퍼런스 오디오 컨텐츠의 비교에 기초하여, 적어도 하나의 레퍼런스 오디오 컨텐츠가 미리 결정된 유사성 임계값을 만족하는지를 결정하는 동작; 적어도 하나의 레퍼런스 오디오 컨텐츠 각각의 것에 대해, 모션 비디오 컨텐츠가 적어도 하나의 레퍼런스 오디오 컨텐츠 중 하나와 관련되어 저장되고 프라이머리 오디오 컨텐츠와 관련되어 저장되지 않은 것에 기초하여, 모션 비디오 컨텐츠를 식별하는 동작; 및 식별된 모션 비디오 컨텐츠가 디바이스 상의 프라이머리 오디오 컨텐츠의 프레젠테이션과 동시에 디바이스 상에 디스플레이되게 하는 동작을 포함하는 동작들을 수행하도록 구성된다.

Description

모션 비디오를 갖는 음악 서비스{MUSIC SERVICE WITH MOTION VIDEO}
관련 출원에 대한 상호 참조
본원은 2017년 3월 31일자로 출원된 미국 특허 출원 제15/475,488호에 대한 우선권을 주장하며, 이 문헌은 그 전체 내용이 참조로서 본 명세서에 포함된다.
기술 분야
본원은 일반적으로 데이터 처리 기술 분야에 관한 것이며, 다양한 실시예들에서, 오디오 컨텐츠와 함께 모션 비디오 컨텐츠를 제공하는 방법 및 시스템에 관한 것이다.
오디오 컨텐츠의 프레젠테이션은 종종 대응하는 모션 비디오 컨텐츠가 부족하다. 모션 비디오 컨텐츠의 프레젠테이션과 오디오 컨텐츠와 같은 프레젠테이션을 결합하는 것은 어떤 모션 비디오 컨텐츠를 사용하는지 및 어떠한 방법으로 모션 비디오 컨텐츠를 오디오 컨텐츠와 결합하는지를 결정하는 것을 포함하며 이에 한정되지 않는 다수의 기술적 과제를 제시한다.
본 발명의 일부 실시예들은 예로서 도시된 것으로서 첨부 도면들의 도시에 제한되지 않으며, 도면들에서 유사한 참조 번호들은 유사한 요소들을 나타낸다.
도 1은 일부 예시적인 실시예들에 따른, 오디오 컨텐츠와 함께 모션 비디오 컨텐츠를 제공하기에 적합한 네트워크 환경을 나타내는 블록도이다.
도 2는 일부 예시적인 실시예들에 따른, 프라이머리 오디오 컨텐츠와 복수의 레퍼런스 오디오 컨텐츠의 비교를 도시한 것이다.
도 3a 내지 도 3b는 일부 예시적인 실시예들에 따른, 모션 비디오 컨텐츠와 프라이머리 오디오 컨텐츠의 동기화를 나타내는 개념도이다.
도 4a 내지 도 4b는 일부 예시적인 실시예들에 따른, 상이한 모션 비디오 컨텐츠들과 프라이머리 오디오 컨텐츠의 동기화를 나타내는 개념도이다.
도 5는 일부 예시적인 실시예들에 따른, 오디오 컨텐츠와 함께 모션 비디오 컨텐츠를 제공하는 방법을 나타내는 흐름도이다.
도 6은 일부 예시적인 실시예들에 따른, 모션 비디오 컨텐츠가 디바이스 상의 오디오 컨텐츠의 프레젠테이션과 동시에 디바이스 상에 디스플레이되게 하는 방법을 나타내는 흐름도이다.
도 7은 일부 예시적인 실시예들에 따른, 모바일 디바이스를 나타내는 블록도이다.
도 8은 일부 예시적인 실시예들에 따른, 본 명세서에 설명된 방법들이 실행될 수 있는 예시적인 컴퓨터 시스템의 블록도이다.
오디오 컨텐츠와 함께 모션 비디오 컨텐츠를 제공하는 예시적인 방법들 및 시스템들이 개시된다. 이하의 설명에서는, 설명의 목적으로, 예시적인 실시예들의 완전한 이해를 제공하기 위해 다수의 특정 세부 사항들이 설명된다. 그러나, 본 실시예들이 이러한 특정 세부 사항들 없이도 실시될 수 있음이 당업자에게는 명백할 것이다.
일부 예시적인 실시예들에서, 컴퓨터 구현 방법은, 프라이머리 오디오 컨텐츠(primary audio content)를 수신하는 단계; 프라이머리 오디오 컨텐츠와 적어도 하나의 레퍼런스 오디오 컨텐츠(reference audio content)의 비교에 기초하여, 적어도 하나의 레퍼런스 오디오 컨텐츠가 미리 결정된 유사성 임계값을 만족하는지를 결정하는 단계; 적어도 하나의 레퍼런스 오디오 컨텐츠 각각의 것에 대해, 모션 비디오 컨텐츠(motion video content)가 적어도 하나의 레퍼런스 오디오 컨텐츠 중 하나와 관련되어 저장되고 프라이머리 오디오 컨텐츠와 관련되어 저장되지 않은 것에 기초하여, 모션 비디오 컨텐츠를 식별하는 단계; 및 식별된 모션 비디오 컨텐츠가 디바이스 상의 프라이머리 오디오 컨텐츠의 프레젠테이션과 동시에 디바이스 상에 디스플레이되게 하는 단계를 포함한다. 일부 예시적인 실시예들에서, 프라이머리 오디오 컨텐츠는 음악을 포함한다.
일부 예시적인 실시예들에서, 비교는 프라이머리 오디오 컨텐츠의 핑거프린트 데이터(fingerprint data)와 적어도 하나의 레퍼런스 오디오 컨텐츠의 핑거프린트 데이터의 비교를 포함한다.
일부 예시적인 실시예들에서, 모션 비디오 컨텐츠를 식별하는 것은 디바이스와 관련된 사용자의 프로파일에 더 기초한다.
일부 예시적인 실시예들에서, 식별된 모션 비디오 컨텐츠가 디바이스 상의 프라이머리 오디오 컨텐츠의 프레젠테이션과 동시에 디바이스 상에 디스플레이되게 하는 단계는, 적어도 하나의 레퍼런스 오디오 컨텐츠의 데이터를 프라이머리 오디오 컨텐츠의 데이터와 동기화하는 단계; 및 적어도 하나의 레퍼런스 오디오 컨텐츠의 데이터와 프라이머리 오디오 컨텐츠의 데이터의 동기화에 기초하여, 식별된 모션 비디오 컨텐츠와 프라이머리 오디오 컨텐츠를 동기화하는 단계를 포함한다. 일부 예시적인 실시예들에서, 적어도 하나의 레퍼런스 오디오 컨텐츠의 데이터와 프라이머리 오디오 컨텐츠의 데이터를 동기화하는 것은, 적어도 하나의 레퍼런스 오디오 컨텐츠의 핑거프린트 데이터와 프라이머리 오디오 컨텐츠의 핑거프린트 데이터의 비교에 기초하는 것이다.
일부 예시적인 실시예들에서, 적어도 하나의 레퍼런스 오디오 컨텐츠는 적어도 2개의 레퍼런스 오디오 컨텐츠를 포함하고, 적어도 2개의 레퍼런스 오디오 컨텐츠 각각의 것은 상이한 모션 비디오 컨텐츠와 관련되어 저장되고, 식별된 모션 비디오 컨텐츠는 상이한 모션 비디오 컨텐츠 각각의 일부를 포함한다.
본 명세서에 개시된 방법들 또는 실시예들은 하나 이상의 모듈들(예를 들어, 하드웨어 모듈들 또는 소프트웨어 모듈들)을 갖는 컴퓨터 시스템으로서 구현될 수 있다. 이러한 모듈들은 컴퓨터 시스템의 하나 이상의 프로세서들에 의해 실행될 수 있다. 본 명세서에 개시된 방법들 또는 실시예들은 하나 이상의 프로세서들에 의해 실행될 때, 하나 이상의 프로세서들이 명령어들을 수행하게 하는 머신 판독가능 매체에 저장된 명령어들로서 구현될 수 있다.
도 1은 일부 예시적인 실시예들에 따른, 오디오 컨텐츠와 함께 모션 비디오 컨텐츠를 제공하기에 적합한 네트워크 환경(100)을 도시하는 블록도이다. 네트워크 환경(100)은 컨텐츠 프로바이더(110), 하나 이상의 디바이스들(130) 및 하나 이상의 데이터 소스들(140)(예를 들어, 데이터 소스(140-1) 내지 데이터 소스(140-N))을 포함하며, 이들 모두는 네트워크(120)를 통해 서로 통신적으로 커플링된다. 컨텐츠 프로바이더(110), 디바이스(들)(130) 및 데이터 소스(들)(140)는 각각 도 8과 관련하여 후술되는 바와 같이, 컴퓨터 시스템에서 전체적으로 또는 부분적으로 구현될 수 있다.
또한 도 1에는 사용자(132)가 도시되어 있다. 사용자(132)는 인간 사용자(예를 들어, 인간), 머신 사용자(예를 들어, 디바이스(130)와 상호 작용하도록 소프트웨어 프로그램에 의해 구성된 컴퓨터), 또는 이들의 임의의 적절한 조합(예를 들어, 머신의 보조를 받는 사람 또는 인간에 의해 감독되는 머신). 사용자(132)는 네트워크 환경(100)의 일부가 아니지만, 디바이스(130)와 관련되며 디바이스(130)의 사용자일 수 있다. 예를 들어, 디바이스(130)는 데스크탑 컴퓨터, 차량 컴퓨터, 태블릿 컴퓨터, 내비게이션 장치, 휴대용 미디어 장치 또는 사용자(132)에 속하는 스마트 폰일 수 있다.
도 1에 도시된 머신, 프로바이더, 모듈, 데이터베이스, 디바이스 또는 데이터 소스 중 임의의 것은 해당 머신, 프로바이더, 모듈, 데이터베이스, 디바이스 또는 데이터 소스에 대해 본 명세서에서 설명되는 기능들 중 하나 이상을 수행하기 위한 특수 목적 컴퓨터가 되도록 소프트웨어에 의해 수정(예를 들어, 구성 또는 프로그래밍)되는 컴퓨터에서 구현될 수 있다. 예를 들어, 본 명세서에서 설명되는 방법들 중 하나 이상을 구현할 수 있는 컴퓨터 시스템이 도 8과 관련하여 아래에서 논의된다. 본 명세서에서 사용되는 "데이터베이스"는 데이터 저장 리소스이며, 텍스트 파일, 테이블, 스프레드 시트, 관계형 데이터베이스(예를 들어, 객체-관계형 데이터베이스), 트리플 스토어, 계층적 데이터 저장소, 또는 이들의 적절한 조합으로서 구조화된 데이터를 저장할 수 있다. 또한, 도 1에 도시된 데이터베이스, 디바이스 또는 데이터 소스 중의 임의의 둘 이상이 단일 머신으로 결합될 수 있으며, 임의의 단일 데이터베이스, 디바이스 또는 데이터 소스에 대해 본 명세서에서 설명되는 기능들은 다수의 데이터베이스, 디바이스, 또는 데이터 소스로 세분화될 수 있다.
네트워크(120)는 머신들, 데이터베이스들 및 디바이스들 사이에서의 통신 또는 이들 중에서의 통신을 가능하게 하는 임의의 네트워크일 수 있다. 따라서, 네트워크(120)는 유선 네트워크, 무선 네트워크(예를 들어, 모바일 또는 셀룰러 네트워크), 또는 이들의 임의의 적절한 조합일 수 있다. 네트워크(120)는 사설 네트워크, 공공 네트워크(예를 들어, 인터넷), 또는 이들의 임의의 적절한 조합을 구성하는 하나 이상의 부분을 포함할 수 있다. 따라서, 네트워크(120)는 근거리 통신망(LAN), 광역 통신망(WAN), 인터넷, 이동 전화 네트워크(예를 들어, 셀룰러 네트워크), 유선 전화 네트워크(예를 들어, POTS(plain old telephone system) 네트워크), 무선 데이터 네트워크(예를 들어, WiFi 네트워크 또는 WiMax 네트워크), 또는 이들의 임의의 적절한 조합을 포함하는 하나 이상의 부분을 포함할 수 있다. 네트워크(190)의 임의의 하나 이상의 부분은 전송 매체를 통해 정보를 통신할 수 있다. 본 명세서에서 사용되는 "전송 매체"는 머신에 의해 실행되는 명령어들을 저장, 인코딩 또는 반송할 수 있는 임의의 무형의 매체를 포함하며, 그러한 소프트웨어의 통신을 용이하게 하기 위한 디지털 또는 아날로그 통신 신호들 또는 다른 무형의 매체를 포함하는 것으로 간주되어야 한다.
컨텐츠 프로바이더(110)는 디바이스(130)와 같은 디바이스들에게 오디오 컨텐츠 및 비디오 컨텐츠를 제공하도록 구성되는 컴퓨터 시스템을 포함한다. 일부 예시적인 실시예들에서, 컨텐츠 프로바이더(110)는 레퍼런스 결정 모듈(112), 비디오 식별 모듈(114), 프레젠테이션 모듈(116) 및 하나 이상의 데이터베이스들(118) 중의 하나 이상의 것에 대한 임의의 조합을 포함한다. 일부 예시적인 실시예들에서, 모듈들(112, 114 및 116) 및 데이터베이스(들)(118)는 메모리 및 적어도 하나의 프로세서를 갖는 머신에 상주한다. 일부 예시적인 실시예들에서, 모듈들(112, 114 및 116) 및 데이터베이스(들)(118)는 동일한 머신 상에 상주하는 반면, 다른 예시적인 실시예들에서, 모듈들(112, 114 및 116) 및 데이터베이스(들)(118) 중 하나 이상은 네트워크(120)와 같은 네트워크를 통해 서로 통신하는 별도의 원격 머신들 상에 상주한다.
일부 예시적인 실시예들에서, 레퍼런스 결정 모듈(112)은 프라이머리 오디오 컨텐츠를 수신하도록 구성된다. 오디오 컨텐츠는 단일 노래 레코딩과 같은, 음악을 포함할 수 있다. 그러나, 다른 타입들의 오디오 컨텐츠가 또한 본 발명의 범위 내에 있는 것으로 고려된다. 일부 예시적인 실시예들에서, 레퍼런스 결정 모듈(112)은 프라이머리 오디오 컨텐츠와 레퍼런스 오디오 컨텐츠의 비교에 기초하여, 미리 결정된 유사성 임계값을 만족시키는 적어도 하나의 레퍼런스 오디오 컨텐츠를 식별하거나, 또는 결정하도록 구성된다. 예를 들어, 레퍼런스 결정 모듈(112)은 미리 결정된 유사성 임계값을 만족시키는 레퍼런스 오디오 컨텐츠에 대한 데이터베이스(들)(118) 상에 저장된 복수의 레퍼런스 오디오 컨텐츠를 검색할 수 있다. 추가적으로 또는 대안적으로, 레퍼런스 결정 모듈(112)은 미리 결정된 유사성 임계값을 만족시키는 레퍼런스 오디오 컨텐츠에 대한 하나 이상의 외부 데이터 소스들(140)을 검색할 수 있다. 외부 데이터 소스들(140)은 컨텐츠 프로바이더(110)와 별개이고 독립적인 데이터 소스들을 포함할 수 있다.
일부 예시적인 실시예들에서, 프라이머리 오디오 컨텐츠와 레퍼런스 오디오 컨텐츠의 비교는 프라이머리 오디오 컨텐츠의 데이터와 레퍼런스 오디오 컨텐츠의 데이터의 비교를 포함한다. 비교되는 데이터는 대응하는 오디오 컨텐츠를 고유하게 식별하거나 특징화하는 핑거프린트 데이터를 포함할 수 있다. 도 2는 일부 예시적인 실시예들에 따른, 프라이머리 오디오 컨텐츠와 복수의 레퍼런스 오디오 컨텐츠의 비교를 도시한 것이다. 도 2에서는, 프라이머리 오디오 컨텐츠(210)의 핑거프린트 데이터(212)가 복수의 레퍼런스 오디오 컨텐츠(220)(예를 들어, 레퍼런스 오디오 컨텐츠(220-1, …, 레퍼런스 오디오 컨텐츠(220-N))의 복수의 핑거프린트 데이터(222)(예를 들어, 핑거프린트 데이터(222-1), …, 핑거프린트 데이터(222-N))와 비교된다. 일부 예시적인 실시예들에서, 각각의 비교는 프라이머리 오디오 컨텐츠와 레퍼런스 오디오 컨텐츠 사이의 유사성 레벨을 나타내는 대응하는 통계 데이터를 생성한다. 이러한 통계 데이터의 일례는 비트 에러율(bit error rate)이다. 그러나, 다른 통계 데이터도 본 발명의 범위 내에 있는 것으로 고려된다. 일부 예시적인 실시예들에서, 레퍼런스 결정 모듈(112)은 레퍼런스 오디오 컨텐츠(220)에 대응하는 통계 데이터가 미리 결정된 임계값을 만족하는지를 결정한다.
일부 예시적인 실시예들에서, 레퍼런스 결정 모듈(112)은 프라이머리 오디오 컨텐츠(210)의 핑거프린트 데이터(212)와 레퍼런스 오디오 컨텐츠(220)의 핑거프린트 데이터(222) 사이의 정확한 핑거프린트 매칭을 미리 결정된 임계값으로서 사용하도록 구성된다. 예를 들어, 레퍼런스 결정 모듈(112)은 복수의 레퍼런스 오디오 컨텐츠(220)를 검색하여 (예를 들어, 압축 또는 잡음이 있는) 한 버전의 오디오 레코딩을 열화되지 않은 동일한 오디오 레코딩의 버전에 매칭시킬 수 있다.
일부 예시적인 실시예들에서, 레퍼런스 결정 모듈(112)은 프라이머리 오디오 컨텐츠(210)의 핑거프린트 데이터(212)와 레퍼런스 오디오 컨텐츠(220)의 핑거프린트 데이터(222) 사이의 퍼지(fuzzy) 핑거프린트 매칭을 미리 결정된 임계값으로서 사용하도록 구성된다. 예를 들어, 레퍼런스 결정 모듈(112)은 복수의 레퍼런스 오디오 컨텐츠(220)를 검색하여 노래(또는 연극 공연, 나레이션 등)의 레코딩을 동일한 노래(또는 연극 공연, 나레이션 등)의 다른 공연 또는 레코딩에 매칭시킬 수 있다.
일부 예시적인 실시예들에서, 레퍼런스 결정 모듈(112)은 프라이머리 오디오 컨텐츠(210)의 코드, 리듬 특징, 악기 시작 등과 같은 오디오 특성과, 미리 결정된 임계값으로서의 레퍼런스 오디오 컨텐츠(220)의 그러한 오디오 특성 사이의 매칭을 사용하도록 구성된다. 예를 들어, 레퍼런스 결정 모듈(112)은 복수의 레퍼런스 오디오 컨텐츠(220)를 검색하여, 2개의 상이한 노래의 리듬 특징들 사이의 높은 유사성 레벨의 결정에 기초하여 2개의 상이한 노래를 매칭시키는 것과 같은, 상이한 오디오 레코딩들의 오디오 특성들 사이의 특정 유사성 레벨에 기초하여 하나의 오디오 레코딩을 다른 오디오 레코딩과 매칭시킬 수 있다.
일부 예시적인 실시예들에서, 유사성 임계값을 만족시키는 것으로 결정된 하나 이상의 레퍼런스 오디오 컨텐츠(220)에 대해, 비디오 식별 모듈(114)은 모션 비디오 컨텐츠가 레퍼런스 오디오 컨텐츠와 관련되어 저장되어 있고 프라이머리 오디오 컨텐츠와 관련되어 저장되어 있지 않은 것에 기초하여 모션 비디오 컨텐츠를 식별한다. 일부 예시적인 실시예들에서, 비디오 식별 모듈(114)은 프라이머리 오디오 컨텐츠와 식별된 모션 비디오 컨텐츠의 조합이 프레젠테이션될 디바이스(130)와 관련된 사용자(132)의 프로파일에 또한 기초하여 모션 비디오 컨텐츠를 식별하도록 구성된다. 일부 예시적인 실시예들에서는, 사용자 프로파일들이 데이터베이스(들)(118)에 저장된다. 사용자(132)의 프로파일은 사용자(132)에 의해 청취된 오디오 컨텐츠의 이력, 사용자(132)가 오디오 컨텐츠의 특정 타입 또는 카테고리를 좋아하다는 표시, 오디오 컨텐츠의 구매 이력, 사용자(132)에 의해 시청된 모션 비디오 컨텐츠의 이력, 사용자(132)가 모션 비디오의 특정 타입 또는 카테고리를 좋아하다는 표시, 및 사용자(132)에 관한 통계 정보(예를 들어, 성별, 연령, 지리적 위치) 중 하나 이상에 대한 임의의 조합을 포함할 수 있다. 특정 타입의 오디오 컨텐츠 또는 특정 타입의 비디오 컨텐츠에 대한 잠재적 선호도를 나타내는 다른 타입의 정보가 또한 사용자(132)의 프로파일에 포함될 수도 있다. 여러 상이한 모션 비디오 컨텐츠들이 유사성 임계값을 만족하는 시나리오들에서, 비디오 식별 모듈(114)은 이 사용자(132)의 프로파일을 사용하여, 사용자(132)와 가장 관련성이 높은 모션 비디오 컨텐츠의 결정에 기초하여 하나 이상의 모션 비디오 컨텐츠를 선택할 수 있다.
일부 예시적인 실시예들에서, 프레젠테이션 모듈(116)은 비디오 식별 모듈(114)에 의해 식별되는 모션 비디오 컨텐츠가, 디바이스(132) 상의 프라이머리 오디오 컨텐츠의 프레젠테이션과 동시에 디바이스(130) 상에 디스플레이되게 하도록 구성된다. 따라서 프라이머리 오디오 컨텐츠가 노래를 포함하는 일부 예시적인 실시예들에서, 컨텐츠 프로바이더(110)는 컨텐츠 프로바이더(110)가 뮤직 비디오를 저장하고 있었던 노래에 대한 뮤직 비디오를 동적으로 생성한다.
일부 예시적인 실시예들에서, 프레젠테이션 모듈(116)은 레퍼런스 오디오 컨텐츠의 데이터를 프라이머리 오디오 컨텐츠의 데이터와 동기화한 다음, 레퍼런스 오디오 컨텐츠의 데이터와 프라이머리 오디오 컨텐츠의 데이터의 동기화에 기초하여, 식별된 모션 비디오 컨텐츠를 프라이머리 오디오 컨텐츠와 동기화하도록 구성된다. 일부 예시적인 실시예들에서, 레퍼런스 오디오 컨텐츠의 데이터와 프라이머리 오디오 컨텐츠의 데이터의 동기화는, 레퍼런스 오디오 컨텐츠의 핑거프린트 데이터와 프라이머리 오디오 컨텐츠의 핑거프린트 데이터의 비교에 기초한다.
도 3a 내지 도 3b는 일부 예시적인 실시예들에 따른, 모션 비디오 컨텐츠와 프라이머리 오디오 컨텐츠의 동기화를 나타내는 개념도이다. 도 3a에서, 프라이머리 오디오 컨텐츠(210)는 오디오 세그먼트들(310-1, 310-2, 310-3 및 310-4)로 구성되는 것으로 도시되고, 레퍼런스 오디오 컨텐츠(220)는 오디오 세그먼트들(320-1, 320-2, 320-3, 및 320-4)로 구성되는 것으로 도시된다. 레퍼런스 오디오 컨텐츠(220)는 또한 비디오 세그먼트(322-1, 322-2, 322-3 및 322-4)로 구성되는 것으로 도시된 모션 비디오 컨텐츠(320)와 관련하여 저장되는 것으로 도시되어 있다. 다른 세그먼테이션 구성들이 또한 본 발명의 범위 내에 있는 것으로 고려된다. 도 3a에서, 프라이머리 오디오 컨텐츠(210)의 오디오 세그먼트들(310) 및 레퍼런스 오디오 컨텐츠(220)의 오디오 세그먼트들(320)은 프레젠테이션 모듈(116)이 그들과 동기화하는 결과로서의 각각의 타임 스탬프들에 부합되게 시간 도메인을 따라 정렬된다. 유사하게, 모션 비디오 컨텐츠(320)의 비디오 세그먼트들(322)은 그것과 관련된 레퍼런스 오디오 컨텐츠(220)의 오디오 세그먼트들(320)에 맞춰 정렬된다.
도 3b에서는, 모션 비디오 컨텐츠(320)의 비디오 세그먼트들(322)과 레퍼런스 오디오 컨텐츠(220)의 오디오 세그먼트들(320)과의 동기화뿐만 아니라, 레퍼런스 오디오 컨텐츠(220)의 오디오 세그먼트들(320)과 프라이머리 오디오 컨텐츠(210)의 오디오 세그먼트들(310)과의 동기화를 사용하여, 프레젠테이션 모듈(116)은 모션 비디오 컨텐츠(320)의 비디오 세그먼트들(322)을 프라이머리 오디오 컨텐츠(210)의 오디오 세그먼트들(310)과 동기화한다.
일부 예시적인 실시예들에서, 복수의 상이한 레퍼런스 오디오 컨텐츠들과 관련된 복수의 상이한 모션 비디오 컨텐츠들 중의 일부가 프라이머리 오디오 컨텐츠와 결합된다. 도 4a 내지 도 4b는 일부 예시적인 실시예들에 따른, 상이한 모션 비디오 컨텐츠들을 프라이머리 오디오 컨텐츠와 동기화하는 것을 나타내는 개념도이다. 도 4a에서는, 도 3a와 유사하게, 프라이머리 오디오 컨텐츠(210)가 오디오 세그먼트들(310-1, 310-2, 310-3 및 310-4)로 구성되는 것으로 도시되고, 레퍼런스 오디오 컨텐츠(220)가 오디오 세그먼트들(320-1, 320-2, 320-3 및 320-4)로 구성되는 것으로 도시된다. 레퍼런스 오디오 컨텐츠(220)는 또한 비디오 세그먼트들(322-1, 322-2, 322-3 및 322-4)로 구성되는 것으로 도시된 모션 비디오 컨텐츠(320)와 관련하여 저장되는 것으로 도시되어 있다. 프라이머리 오디오 컨텐츠(210)의 오디오 세그먼트들(310) 및 레퍼런스 오디오 컨텐츠(220)의 오디오 세그먼트들(320)은 프레젠테이션 모듈(116)이 그들과 동기화하는 결과로서의 각각의 타임 스탬프들에 부합되게 시간 도메인을 따라 정렬된다. 유사하게, 모션 비디오 컨텐츠(320)의 비디오 세그먼트들(322)은 그것과 관련된 레퍼런스 오디오 컨텐츠(220)의 오디오 세그먼트들(320)에 맞춰 정렬된다.
또한, 도 4a에서, 다른 레퍼런스 오디오 컨텐츠(420)는 오디오 세그먼트들(420-1, 420-2, 420-3 및 420-4)로 구성되는 것으로 도시되어 있다. 레퍼런스 오디오 컨텐츠(420)는 또한 비디오 세그먼트들(422-1, 422-2, 422-3, 422-4)로 구성되는 것으로 도시된 모션 비디오 컨텐츠(420)와 관련하여 저장되는 것으로 도시되어 있다. 레퍼런스 오디오 컨텐츠(420)의 오디오 세그먼트들(420-1, 420-2, 420-3, 및 420-4) 및 비디오 세그먼트들(422-1, 422-2, 422-3, 및 422-4)은 프라이머리 오디오 컨텐츠(210)의 오디오 세그먼트들(310-1, 310-2, 310-3, 및 310-4)에 맞춰 정렬된다.
이러한 동기화들을 사용하여, 프레젠테이션 모듈(116)은 모션 비디오 컨텐츠(320)의 일부 및 모션 비디오 컨텐츠(420)의 일부로부터 모션 비디오 컨텐츠(425)를 생성한다. 결과적으로, 비디오 세그먼트(322-1)는 오디오 세그먼트(310-1)와 동기화되고, 비디오 세그먼트(322-2)는 오디오 세그먼트(310-2)와 동기화되고, 비디오 세그먼트(422-3)는 오디오 세그먼트(310-3)와 동기화되고, 비디오 세그먼트(422-4)는 오디오 세그먼트(310-4)와 동기화된다.
일부 예시적인 실시예들에서, 프레젠테이션 모듈(116)은 프라이머리 오디오 컨텐츠(210)의 오디오 세그먼트들(310)과 레퍼런스 오디오 컨텐츠(220)의 오디오 세그먼트들(320) 사이의 정확한 핑거프린트 매칭에 기초하여, 프라이머리 오디오 컨텐츠(210)의 오디오 세그먼트들(310)을 레퍼런스 오디오 컨텐츠(220)의 오디오 세그먼트들(320)과 동기화하도록 구성된다. 예를 들어, 프레젠테이션 모듈(116)은 (예를 들어, 압축 또는 잡음이 있는) 한 버전의 오디오 레코딩과 열화되지 않은 동일한 오디오 레코딩의 버전 사이의 매칭에 기초하여, 프라이머리 오디오 컨텐츠(210)의 오디오 세그먼트들(310)을 레퍼런스 오디오 컨텐츠(220)의 오디오 세그먼트들(320)과 동기화할 수 있다.
일부 예시적인 실시예들에서, 프레젠테이션 모듈(116)은 프라이머리 오디오 컨텐츠(210)의 오디오 세그먼트들(310)과 레퍼런스 오디오 컨텐츠(220)의 오디오 세그먼트들(320) 사이의 퍼지 핑거프린트 매칭에 기초하여, 프라이머리 오디오 컨텐츠(210)의 오디오 세그먼트들(310)을 레퍼런스 오디오 컨텐츠(220)의 오디오 세그먼트들(320)과 동기화하도록 구성된다. 예를 들어, 프레젠테이션 모듈(116)은 노래(또는 연극 공연, 나레이션 등)의 레코딩과 동일한 노래(또는 연극 공연, 나레이션 등)의 다른 공연 또는 레코딩의 매칭에 기초하여, 프라이머리 오디오 컨텐츠(210)의 오디오 세그먼트들(310)을 레퍼런스 오디오 컨텐츠(220)의 오디오 세그먼트들(320)과 동기화할 수 있다.
일부 예시적인 실시예들에서, 프레젠테이션 모듈(116)은 프라이머리 오디오 컨텐츠(210)의 오디오 세그먼트들(310)의 코드, 리듬 특징, 악기 시작 등과 같은 오디오 특성과, 레퍼런스 오디오 컨텐츠(220)의 오디오 세그먼트들(320)의 그러한 오디오 특성 사이의 매칭을 사용하여, 프라이머리 오디오 컨텐츠(210)의 오디오 세그먼트들(310)을 레퍼런스 오디오 컨텐츠(220)의 오디오 세그먼트들(320)과 동기화하도록 구성된다. 예를 들어, 프레젠테이션 모듈(116)은 2개의 상이한 노래의 리듬 특징들 사이의 높은 유사성 레벨의 결정에 기초하여 2개의 상이한 노래를 동기화하는 것과 같은, 상이한 오디오 레코딩들의 오디오 특성들 사이의 특정 유사성 레벨에 기초하여, 프라이머리 오디오 컨텐츠(210)의 오디오 세그먼트들(310)을 레퍼런스 오디오 컨텐츠(220)의 오디오 세그먼트들(320)과 동기화할 수 있다.
일부 예시적인 실시예들에서, 비디오 식별 모듈(114) 및 프레젠테이션 모듈(116)은 상이한 모션 비디오 컨텐츠를 식별하여 동일한 프라이머리 오디오 컨텐츠와 동시에 동기화 및 디스플레이함으로써, 동일한 프라이머리 오디오 컨텐츠에 대한 비디오 경험을 하나의 재생으로부터 다음 재생으로 변경하도록 구성된다. 예를 들어, 하나의 프레젠테이션으로부터 다음 프레젠테이션까지의 하나 이상의 비디오 세그먼트 또는 하나의 장면을 유지하면서, 하나의 비디오 세그먼트 또는 하나의 장면을 다른 비디오 세그먼트 또는 다른 장면으로 교체하는 것에 의해서, 프라이머리 오디오 컨텐츠의 하나의 프레젠테이션으로부터 다음 프레젠테이션으로의 비디오 경험 변화는 부분적인 것일 수 있다. 대안적으로, 프라이머리 오디오 컨텐츠의 하나의 프레젠테이션으로부터 다음 프레젠테이션으로의 비디오 경험의 변화는, 예를 들어 프라이머리 오디오 컨텐츠의 프레젠테이션에 사용되는 모든 비디오 세그먼트를 프라이머리 오디오 컨텐츠의 후속 프레젠테이션을 위해 완전히 다른 비디오 세그먼트로 교체함으로써 완료될 수 있다. 예를 들어, 하나의 날짜에 대한 어떤 노래의 전체 라이브 공연을 다루는 비디오 컨텐츠가 프라이머리 오디오 컨텐츠와 동시에 동기화되어 디스플레이될 수 있으며, 이어서 후속 날짜에 대한 스튜디오(예를 들어, 라이브 공연과 다름)에서의 동일한 노래의 전체 공연을 다루는 비디오 컨텐츠가 그 노래의 전체 라이브 공연을 다루는 비디오 컨텐츠 대신에, 동일한 프라이머리 오디오 컨텐츠와 동시에 동기화되어 디스플레이될 수 있다. 이러한 비디오 경험의 변화는 검출된 비디오 컨텐츠의 인기도 변화(예를 들어, 그날그날의 비디오 컨텐츠의 총 YouTube 조회수의 변화)에 기초한 것이거나, 프라이머리 오디오 컨텐츠와 함께 비디오 컨텐츠를 제공받는 사용자에 대하여 검출된 선호도 또는 행동 변화(예를 들어, YouTube 비디오 컨텐츠에 대한 사용자 시청 습관의 변화)에 기초한 것이거나, 또는 무작위한 것일 수 있다. 다른 팩터들이 하나의 프레젠테이션에서 다른 프레젠테이션으로 비디오 컨텐츠를 변경시키는데 사용될 수 있는 것으로 고려된다.
도 5는 일부 예시적인 실시예들에 따른, 오디오 컨텐츠와 함께 모션 비디오 컨텐츠를 제공하는 방법(500)을 나타내는 흐름도이다. 방법(500)은 하드웨어(예를 들어, 회로, 전용 로직, 프로그램 가능 로직, 마이크로 코드 등), 소프트웨어(예를 들어, 처리 장치에서 실행되는 명령어들), 또는 이들의 조합을 포함할 수 있는 처리 로직에 의해 수행될 수 있다. 하나의 예시적인 실시예에서, 방법(500)은 도 1의 컨텐츠 프로바이더(110), 또는 하나 이상의 그 컴포넌트들 또는 모듈들의 임의의 조합에 의해 수행된다.
동작 510에서, 컨텐츠 프로바이더(110)는 프라이머리 오디오 컨텐츠를 수신한다. 일부 예시적인 실시예들에서, 프라이머리 오디오 컨텐츠는 음악(예를 들어, 노래)을 포함한다. 동작 520에서, 컨텐츠 프로바이더(110)는 프라이머리 오디오 컨텐츠를 적어도 하나의 레퍼런스 오디오 컨텐츠와 비교하는 것에 기초하여, 적어도 하나의 레퍼런스 오디오 컨텐츠가 미리 결정된 유사성 임계값을 만족시키는 것으로 판정한다. 일부 예시적인 실시예들에서, 이 비교는 프라이머리 오디오 컨텐츠의 핑거프린트 데이터를 적어도 하나의 레퍼런스 오디오 컨텐츠의 핑거프린트 데이터와 비교하는 것을 포함한다. 동작 530에서, 적어도 하나의 레퍼런스 오디오 컨텐츠 각각에 대해, 컨텐츠 프로바이더(110)는 모션 비디오 컨텐츠가 적어도 하나의 레퍼런스 오디오 컨텐츠 중 하나와 관련되어 저장되어 있고 프라이머리 오디오 컨텐츠와 관련되어 저장되어 있지 않은 것에 기초하여 모션 비디오 컨텐츠를 식별한다. 일부 예시적인 실시예들에서, 모션 비디오 컨텐츠의 식별은 또한 그 디바이스와 관련된 사용자의 프로파일에 기초한다. 동작 540에서, 컨텐츠 프로바이더(110)는 식별된 모션 비디오 컨텐츠가 디바이스 상의 프라이머리 오디오 컨텐츠의 프레젠테이션과 동시에 디바이스 상에 디스플레이되게 한다. 본 발명에서 설명된 다른 특징들 중 임의의 것이 방법(500)에 통합될 수 있는 것으로 고려된다.
도 6은 일부 예시적인 실시예들에 따른, 디바이스 상의 오디오 컨텐츠의 프레젠테이션과 동시에 모션 비디오 컨텐츠가 디바이스 상에 디스플레이되게 하는 방법(600)을 도시하는 흐름도이다. 방법(600)은 하드웨어(예를 들어, 회로, 전용 로직, 프로그램 가능 로직, 마이크로 코드 등), 소프트웨어(예를 들어, 처리 장치에서 실행되는 명령어들) 또는 이들의 조합을 포함할 수 있는 처리 로직에 의해 수행될 수 있다. 하나의 예시적인 실시예에서, 방법(600)은 도 1의 컨텐츠 프로바이더(110), 또는 하나 이상의 그 컴포넌트들 또는 모듈들의 임의의 조합에 의해 수행된다.
동작 610에서, 컨텐츠 프로바이더는 적어도 하나의 레퍼런스 오디오 컨텐츠의 데이터를 프라이머리 오디오 컨텐츠의 데이터와 동기화시킨다. 동작 620에서, 컨텐츠 프로바이더(110)는 적어도 하나의 레퍼런스 오디오 컨텐츠의 데이터와 프라이머리 오디오 컨텐츠의 데이터의 동기화에 기초하여, 식별된 모션 비디오 컨텐츠를 프라이머리 오디오 컨텐츠와 동기화한다. 일부 예시적인 실시예들에서, 적어도 하나의 레퍼런스 오디오 컨텐츠의 데이터와 프라이머리 오디오 컨텐츠의 데이터의 동기화는, 적어도 하나의 레퍼런스 오디오 컨텐츠의 핑거프린트 데이터와 프라이머리 오디오 컨텐츠의 핑거프린트 데이터의 비교에 기초한다. 본 발명에서 설명된 다른 특징들 중 임의의 것이 방법(600)에 통합될 수 있는 것으로 고려된다.
예시적인 모바일 디바이스
도 7은 예시적인 실시예에 따른, 모바일 디바이스(700)를 도시하는 블록도이다. 모바일 디바이스(700)는 프로세서(702)를 포함할 수 있다. 프로세서(702)는 모바일 디바이스(700)에 적합한 다양한 상이한 타입의 상업용 프로세서(예를 들어, XScale 아키텍처 마이크로 프로세서, MIPS(Microprocessor without Interlocked Pipeline Stages) 아키텍처 프로세서, 또는 다른 타입의 프로세서)일 수 있다. 랜덤 액세스 메모리(RAM), 플래시 메모리 또는 다른 타입의 메모리와 같은 메모리(704)는, 통상적으로 프로세서(702)에 액세스 가능하다. 메모리(704)는 사용자에게 LBS를 제공할 수 있는 모바일 위치 가능 애플리케이션과 같은 애플리케이션 프로그램들(708)뿐만 아니라 운영 체제(OS)(706)를 저장하도록 구성될 수 있다. 프로세서(702)는 직접 또는 적절한 중개 하드웨어를 통해, 디스플레이(710)에 및 키패드, 터치 패널 센서, 마이크로폰 등과 같은 하나 이상의 입/출력(I/O) 장치들(712)에 연결될 수 있다. 유사하게, 일부 실시예들에서, 프로세서(702)는 안테나(716)와 인터페이스하는 송수신기(714)에 커플링될 수 있다. 송수신기(714)는 모바일 디바이스(700)의 특성에 따라, 셀룰러 네트워크 신호, 무선 데이터 신호, 또는 다른 타입의 신호를 안테나(716)를 통해 송신 및 수신하도록 구성될 수 있다. 또한, 일부 구성들에서, GPS 수신기(718)가 또한 안테나(716)를 이용하여 GPS 신호를 수신할 수 있다.
모듈, 컴포넌트 및 로직
특정 실시예들은 본 명세서에서 로직 또는 다수의 컴포넌트, 모듈 또는 메커니즘을 포함하는 것으로 설명된다. 모듈들은 소프트웨어 모듈들(예를 들어, 머신 판독가능 매체 또는 전송 신호에 구현된 코드) 또는 하드웨어 모듈을 구성할 수 있다. 하드웨어 모듈은 특정 동작들을 수행할 수 있는 유형의 유닛이며 특정 방식으로 구성 또는 배열될 수 있다. 예시적인 실시예들에서, 하나 이상의 컴퓨터 시스템들(예를 들어, 독립형, 클라이언트 또는 서버 컴퓨터 시스템) 또는 컴퓨터 시스템의 하나 이상의 하드웨어 모듈들(예를 들어, 프로세서 또는 프로세서 그룹)이 본 명세서에 설명된 바와 같은 특정 동작들을 수행하도록 동작하는 하드웨어 모듈로서 소프트웨어(예를 들어, 애플리케이션 또는 애플리케이션 부분)에 의해 구성될 수 있다.
다양한 실시예들에서, 하드웨어 모듈은 기계적으로 또는 전자적으로 구현될 수 있다. 예를 들어, 하드웨어 모듈은 특정 동작들을 수행하기 위해 영구적으로 구성되는 전용 회로 또는 로직(예를 들어, FPGA(field-programmable gate array) 또는 ASIC(application-specific integrated circuit)과 같은 특수 목적 프로세서)을 포함할 수 있다. 하드웨어 모듈은 또한 특정 동작들을 수행하기 위해 소프트웨어에 의해 일시적으로 구성되는 프로그램 가능 로직 또는 회로(예를 들어, 범용 프로세서 또는 다른 프로그램 가능 프로세서 내에 포함됨)를 포함할 수 있다. 기계적으로, 전용으로 그리고 영구적으로 구성된 회로 또는 일시적으로 구성된 회로(예를 들어, 소프트웨어에 의해 구성된)에서 하드웨어 모듈을 구현하는 결정은 비용 및 시간 고려 사항들에 의해 이루어질 수 있음을 이해할 것이다.
따라서, "하드웨어 모듈"이라는 용어는 본 명세서에 설명되는 특정 동작들을 수행하기 위해 및/또는 특정 방식으로 동작하는 물리적으로 구성되거나, 영구적으로 구성되거나(예를 들어, 하드 와이어되는) 또는 일시적으로 구성되는(예를 들어, 프로그래밍되는) 엔티티인, 유형의 엔티티를 포함하는 것으로 이해되어야 한다. 하드웨어 모듈들이 일시적으로 구성되는(예를 들어, 프로그래밍되는) 실시예들을 고려하면, 각각의 하드웨어 모듈들은 임의의 하나의 시간 인스턴스에서 구성되거나 인스턴스화될 필요가 없다. 예를 들어, 하드웨어 모듈들이 소프트웨어를 사용하여 구성되는 범용 프로세서를 포함하는 경우, 이 범용 프로세서는 상이한 시간들에서 각각 다른 하드웨어 모듈들로서 구성될 수 있다. 따라서, 소프트웨어는 예를 들어, 어떤 시간 인스턴스에서 특정 하드웨어 모듈을 구성하고 다른 시간 인스턴스에서 다른 하드웨어 모듈을 구성하도록 프로세서를 구성할 수 있다.
하드웨어 모듈들은 다른 하드웨어 모듈들과 정보를 송수신할 수 있다. 따라서, 설명된 하드웨어 모듈들은 통신적으로 커플링된 것으로 간주될 수 있다. 복수의 이러한 하드웨어 모듈들이 동시에 존재하는 경우, 통신들은 하드웨어 모듈들을 연결하는 (예를 들어, 적절한 회로 및 버스를 통한) 신호 전송을 통해 달성될 수 있다. 복수의 하드웨어 모듈들이 상이한 시간들에서 구성되거나 인스턴스화되는 실시예들에서, 이러한 하드웨어 모듈들 간의 통신들은 예를 들어 복수의 하드웨어 모듈들이 액세스하는 메모리 구조들에서의 정보 저장 및 검색을 통해 달성될 수 있다. 예를 들어, 하나의 하드웨어 모듈이 일 동작을 수행하고 그 동작의 출력을 통신적으로 커플링된 메모리 장치에 저장할 수 있다. 이후에, 다른 하드웨어 모듈이 메모리 장치에 액세스하여, 저장된 출력을 검색하고 처리할 수 있다. 또한 하드웨어 모듈들은 입력 또는 출력 디바이스들과의 통신을 시작할 수 있으며 리소스에서 작동할 수 있다(예를 들어, 정보 수집).
본 명세서에서 설명되는 예시적인 방법들의 다양한 동작들은, 적어도 부분적으로, (예를 들어, 소프트웨어에 의해) 일시적으로 구성되거나 관련 동작들을 수행하도록 영구적으로 구성되는 하나 이상의 프로세서에 의해 수행될 수 있다. 일시적으로 구성되든 또는 영구적으로 구성되든, 이러한 프로세서들은 하나 이상의 동작들 또는 기능들을 수행하도록 동작하는 프로세서 구현 모듈들을 구성할 수 있다. 본 명세서에서 언급된 모듈들은, 일부 예시적인 실시예들에서, 프로세서 구현 모듈들을 포함할 수 있다.
유사하게, 본 명세서에서 설명되는 방법들은 적어도 부분적으로 프로세서로 구현될 수 있다. 예를 들어, 방법의 동작들 중 적어도 일부는 하나 이상의 프로세서들 또는 프로세서 구현 모듈들에 의해 수행될 수 있다. 특정 동작들의 수행은 단일 머신 내에 상주할뿐만 아니라 여러 머신들에 분배되어 있는 하나 이상의 프로세서들 사이에 분산될 수 있다. 일부 예시적인 실시예들에서, 프로세서 또는 프로세서들은 단일 위치(예를 들어, 가정 환경, 사무실 환경 또는 서버 팜 내)에 위치될 수 있는 한편, 다른 실시예들에서는 프로세서들이 다수의 위치들에 분산될 수 있다.
하나 이상의 프로세서들은 또한 "클라우드 컴퓨팅" 환경 또는 "SaaS(software as a service)"로서 관련 동작들의 수행을 지원하도록 동작할 수 있다. 예를 들어, 적어도 일부 동작들은 컴퓨터 그룹(프로세서들을 포함하는 머신들의 예로서)에 의해 수행될 수 있으며, 이 동작들은 네트워크 및 하나 이상의 적절한 인터페이스들(예를 들어, API들)을 통해 액세스 가능하다.
예시적인 실시예들은 디지털 전자 회로, 또는 컴퓨터 하드웨어, 펌웨어, 소프트웨어 또는 이들의 조합으로 구현될 수 있다. 예시적인 실시예들은 컴퓨터 프로그램 제품, 예를 들어, 정보 캐리어, 예를 들어 데이터 처리 장치(예컨대, 프로그램 가능 프로세서, 컴퓨터 또는 여러 컴퓨터)에 의해 실행되거나 그 동작을 제어하기 위한 머신 판독가능 매체에 유형적으로 구현되는 컴퓨터 프로그램을 사용하여 구현될 수 있다.
컴퓨터 프로그램은 독립형 프로그램으로서 또는 모듈, 서브루틴 또는 컴퓨팅 환경에서의 사용을 위해 적합한 다른 유닛으로서 포함하는, 컴파일 언어 또는 인터프리팅 언어를 포함하는 임의의 형태의 프로그래밍 언어로 작성될 수 있다. 컴퓨터 프로그램은 하나의 컴퓨터 또는 한 사이트의 여러 컴퓨터에서 실행되거나 여러 사이트에 분산되어 통신 네트워크로 상호 연결되어 배포될 수 있다.
예시적인 실시예들에서, 동작들은 입력 데이터에 대하여 작동하여 출력을 생성함으로써 기능들을 수행하기 위해 컴퓨터 프로그램을 실행하는 하나 이상의 프로그램 가능 프로세서들에 의해 수행될 수 있다. 방법 동작들은 또한 특수 목적 논리 회로(예를 들어, FPGA 또는 ASIC)로서 구현될 수 있는 예시적인 실시예들에 의해 수행될 수 있으며, 이것의 장치에 의해 수행될 수도 있다.
컴퓨팅 시스템은 클라이언트들 및 서버들을 포함할 수 있다. 클라이언트와 서버는 일반적으로 서로 멀리 떨어져 있으며, 통상적으로 통신 네트워크를 통해 상호 작용한다. 클라이언트와 서버의 관계는 각 컴퓨터들에서 실행되고 서로 클라이언트-서버 관계를 갖는 컴퓨터 프로그램들에 의해 발생한다. 프로그램 가능한 컴퓨팅 시스템을 배치하는 실시예들에서, 하드웨어 및 소프트웨어 아키텍처 모두가 고려할 가치가 있다는 것을 이해할 것이다. 구체적으로, 영구적으로 구성되는 하드웨어(예를 들어, ASIC), 일시적으로 구성되는 하드웨어(예를 들어, 소프트웨어와 프로그램 가능 프로세서의 조합) 또는 영구적 및 일시적으로 구성되는 하드웨어들의 조합에서 특정 기능을 구현할지 여부의 선택은 설계 선택이 될 수 있다는 것을 이해할 것이다. 아래에서는 다양한 예시적인 실시예들에서 배치될 수 있는 하드웨어(예를 들어, 머신) 및 소프트웨어 아키텍처들에 대해 설명한다.
도 8은 예시적인 실시예에 따라, 머신이 본 명세서에서 설명된 방법들 중 하나 이상을 수행하게 하기 위한 명령어들(824)이 실행될 수 있는 컴퓨터 시스템(800)의 예시적인 형태의 머신에 대한 블록도이다. 대안적인 실시예들에서, 머신은 독립형 디바이스로서 동작하거나 다른 머신들에 연결(예를 들어, 네트워크로 연결)될 수 있다. 네트워크로 연결된 배치에서, 머신은 서버-클라이언트 네트워크 환경에서 서버 또는 클라이언트 머신의 역할로 작동하거나, 또는 피어 투 피어(또는 분산) 네트워크 환경에서 피어 머신으로 작동할 수 있다. 머신은 PC(personal computer), 태블릿 PC, 셋탑 박스(STB), PDA(Personal Digital Assistant), 휴대폰, 웹 어플라이언스, 네트워크 라우터, 스위치 또는 브리지, 또는 해당 머신이 수행할 액션들을 지정하는 명령어들(순차적 또는 다른 방식)을 실행할 수 있는 임의의 머신일 수 있다. 또한, 단일 머신만이 도시되어 있지만, "머신"이라는 용어는 또한 본 명세서에서 설명된 방법들 중의 하나 이상을 수행하기 위해 명령어 세트(또는 복수 세트들)를 개별적으로 또는 공동으로 실행하는 임의의 머신들의 집합을 포함하는 것으로 간주된다.
예시적인 컴퓨터 시스템(800)은 버스(808)를 통해 서로 통신하는 프로세서(802)(예를 들어, 중앙 처리 장치(CPU), 그래픽 처리 장치(GPU) 또는 둘 다), 메인 메모리(804) 및 정적 메모리(806)를 포함한다. 컴퓨터 시스템(800)은 비디오 디스플레이 유닛(810)(예를 들어, 액정 디스플레이(LCD) 또는 음극선관(CRT))을 더 포함할 수 있다. 컴퓨터 시스템(800)은 또한 문자숫자 입력 디바이스(812)(예를 들어, 키보드), 사용자 인터페이스(UI) 내비게이션(또는 커서 제어) 디바이스(814)(예를 들어, 마우스), 디스크 드라이브 유닛(816), 신호 생성 디바이스(818)(예를 들어, 스피커) 및 네트워크 인터페이스 디바이스(820)를 포함한다.
디스크 드라이브 유닛(816)은 본 명세서에서 설명된 방법들 또는 기능들 중 하나 이상에 의해 구현되거나 이용되는 하나 이상의 데이터 구조 세트 및 명령어들(824)(예를 들어, 소프트웨어)이 저장되는 머신 판독가능 매체(822)를 포함한다. 명령어들(824)은 또한 컴퓨터 시스템(800), 메인 메모리(804) 및 프로세서(802)가 또한 머신 판독가능 매체를 구성함으로써 메인 메모리(804) 내에 및/또는 프로세서(802) 내에 완전히 또는 적어도 부분적으로 상주할 수 있다. 명령어들(824)은 또한 정적 메모리(806) 내에 완전히 또는 적어도 부분적으로 상주할 수 있다.
머신 판독가능 매체(822)가 예시적인 실시예에서 단일 매체인 것으로 도시되어 있지만, "머신 판독가능 매체"라는 용어는 하나 이상의 명령어들(824) 또는 데이터 구조들을 저장하는 단일 매체 또는 복수의 매체(예를 들어, 중앙식 또는 분산식 데이터베이스, 및/또는 관련 캐시들 및 서버들)를 포함할 수 있다. "머신 판독가능 매체"라는 용어는 또한 머신에 의해 실행되는 명령어들을 저장, 인코딩 또는 반송할 수 있고 머신이 본 실시예들의 방법들 중 하나 이상을 수행하게 하는, 또는 그러한 명령어들에 의해 이용되거나 이와 관련되는 데이터 구조들을 저장, 인코딩 또는 반송할 수 있는, 임의의 유형의 매체를 포함하는 것으로 이해되어야 한다. "머신 판독가능 매체"라는 용어는 따라서 솔리드-스테이트 메모리, 광학 및 자기 매체를 포함하며 이에 제한되지 않는다. 머신 판독가능 매체의 특정 예들로는 예를 들어 반도체 메모리 장치들(예를 들어, EPROM(Erasable Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 및 플래시 메모리 장치들)을 포함하는 비휘발성 메모리; 내부 하드 디스크 및 착탈식 디스크와 같은 자기 디스크; 광 자기 디스크; 및 CD-ROM(compact disc-read-only memory) 및 디지털 다용도 디스크(또는 디지털 비디오 디스크) 판독 전용 메모리(DVD-ROM) 디스크를 포함한다.
명령어들(824)은 전송 매체를 사용하여 통신 네트워크(826)를 통해 추가로 송신 또는 수신될 수 있다. 명령어들(824)은 네트워크 인터페이스 디바이스(820) 및 복수의 공지된 전송 프로토콜들(예를 들어, HTTP) 중 어느 하나를 사용하여 송신될 수 있다. 통신 네트워크들의 예로는 LAN, WAN, 인터넷, 이동 전화 네트워크, POTS 네트워크 및 무선 데이터 네트워크(예를 들어, WiFi 및 WiMAX 네트워크)를 포함한다. "전송 매체"라는 용어는 머신에 의해 실행하기 위한 명령어들을 저장, 인코딩 또는 반송할 수 있는 임의의 무형의 매체를 포함하는 것으로 간주되며, 그러한 소프트웨어의 통신을 용이하게 하기 위한 디지털 또는 아날로그 통신 신호들 또는 다른 무형의 매체를 포함한다.
실시예가 특정 예시적인 실시예들을 참조하여 설명되었지만, 본 발명의 보다 광범위한 사상 및 범위를 벗어나지 않고 이들 실시예에 대한 다양한 수정 및 변경이 이루어질 수 있음은 명백할 것이다. 따라서, 본 명세서 및 도면은 제한적인 의미가 아니라 예시적인 것으로 간주되어야 한다. 본 명세서의 일부를 형성하는 첨부된 도면들은 본 발명이 실시될 수 있는 특정 실시예들을 제한이 아닌 예시의 방법에 의해 도시한 것이다. 예시된 실시예들은 당업자가 본 명세서에 개시된 교시들을 실시할 수 있도록 충분히 상세하게 설명되어 있다. 본 발명의 범위를 벗어나지 않고 구조적 및 논리적 대체 및 변경이 이루어질 수 있도록 다른 실시예들이 이용되고 이로부터 도출될 수 있다. 그러므로, 본 상세한 설명이 제한적인 의미로 간주되어서는 안되며, 다양한 실시예들의 범위는 첨부된 청구 범위 및 그러한 청구 범위가 부여되는 전체 범위의 등가물에 의해서만 정의된다.
특정 실시예들이 여기에 도시되고 설명되었지만, 동일한 목적을 달성하기 위해 산출되는 임의의 구성이 도시된 특정 실시예들을 대체할 수 있음을 이해해야 한다. 본 발명은 다양한 실시예들의 임의의 및 모든 적응 또는 변형을 포함하는 것으로 의도된다. 상기 실시예들과 본 명세서에서 구체적으로 설명되지 않은 다른 실시예들의 조합은 상기 설명을 검토할 때 당업자에게 명백할 것이다.

Claims (20)

  1. 컴퓨터 구현 방법으로서,
    프라이머리 오디오 컨텐츠(primary audio content)를 수신하는 단계;
    적어도 하나의 하드웨어 프로세서에 의해서, 상기 프라이머리 오디오 컨텐츠와 적어도 하나의 레퍼런스 오디오 컨텐츠(reference audio content)의 비교에 기초하여, 상기 적어도 하나의 레퍼런스 오디오 컨텐츠가 미리 결정된 유사성 임계값을 만족하는지를 결정하는 단계;
    상기 적어도 하나의 레퍼런스 오디오 컨텐츠 각각의 것에 대해, 모션 비디오 컨텐츠(motion video content)가 상기 적어도 하나의 레퍼런스 오디오 컨텐츠 중 하나와 관련되어 저장되고 상기 프라이머리 오디오 컨텐츠와 관련되어 저장되지 않은 것에 기초하여, 상기 모션 비디오 컨텐츠를 식별하는 단계; 및
    식별된 상기 모션 비디오 컨텐츠가 디바이스 상의 상기 프라이머리 오디오 컨텐츠의 프레젠테이션과 동시에 상기 디바이스 상에 디스플레이되게 하는 단계
    를 포함하는, 컴퓨터 구현 방법.
  2. 제 1 항에 있어서,
    상기 프라이머리 오디오 컨텐츠는 음악을 포함하는, 컴퓨터 구현 방법.
  3. 제 1 항에 있어서,
    상기 비교는 상기 프라이머리 오디오 컨텐츠의 핑거프린트 데이터(fingerprint data)와 상기 적어도 하나의 레퍼런스 오디오 컨텐츠의 핑거프린트 데이터의 비교를 포함하는, 컴퓨터 구현 방법.
  4. 제 1 항에 있어서,
    상기 모션 비디오 컨텐츠를 식별하는 것은 상기 디바이스와 관련된 사용자의 프로파일에 더 기초하는, 컴퓨터 구현 방법.
  5. 제 1 항에 있어서,
    식별된 상기 모션 비디오 컨텐츠가 상기 디바이스 상의 상기 프라이머리 오디오 컨텐츠의 프레젠테이션과 동시에 상기 디바이스 상에 디스플레이되게 하는 단계는,
    상기 적어도 하나의 레퍼런스 오디오 컨텐츠의 데이터를 상기 프라이머리 오디오 컨텐츠의 데이터와 동기화하는 단계; 및
    상기 적어도 하나의 레퍼런스 오디오 컨텐츠의 데이터와 상기 프라이머리 오디오 컨텐츠의 데이터의 동기화에 기초하여, 식별된 상기 모션 비디오 컨텐츠와 상기 프라이머리 오디오 컨텐츠를 동기화하는 단계
    를 포함하는, 컴퓨터 구현 방법.
  6. 제 5 항에 있어서,
    상기 적어도 하나의 레퍼런스 오디오 컨텐츠의 데이터와 상기 프라이머리 오디오 컨텐츠의 데이터를 동기화하는 것은, 상기 적어도 하나의 레퍼런스 오디오 컨텐츠의 핑거프린트 데이터와 상기 프라이머리 오디오 컨텐츠의 핑거프린트 데이터의 비교에 기초하는 것인, 컴퓨터 구현 방법.
  7. 제 1 항에 있어서,
    상기 적어도 하나의 레퍼런스 오디오 컨텐츠는 적어도 2개의 레퍼런스 오디오 컨텐츠를 포함하고, 상기 적어도 2개의 레퍼런스 오디오 컨텐츠 각각의 것은 상이한 모션 비디오 컨텐츠와 관련되어 저장되고, 식별된 상기 모션 비디오 컨텐츠는 상기 상이한 모션 비디오 컨텐츠 각각의 일부를 포함하는, 컴퓨터 구현 방법.
  8. 시스템으로서,
    적어도 하나의 프로세서; 및
    실행될 때, 상기 적어도 하나의 프로세서로 하여금 동작들을 수행하게 하는 실행 가능 명령어들을 저장하는 비일시적 컴퓨터 판독가능 매체를 포함하며, 상기 동작들은,
    프라이머리 오디오 컨텐츠를 수신하는 동작;
    상기 프라이머리 오디오 컨텐츠와 적어도 하나의 레퍼런스 오디오 컨텐츠의 비교에 기초하여, 상기 적어도 하나의 레퍼런스 오디오 컨텐츠가 미리 결정된 유사성 임계값을 만족하는지를 결정하는 동작;
    상기 적어도 하나의 레퍼런스 오디오 컨텐츠 각각의 것에 대해, 모션 비디오 컨텐츠가 상기 적어도 하나의 레퍼런스 오디오 컨텐츠 중 하나와 관련되어 저장되고 상기 프라이머리 오디오 컨텐츠와 관련되어 저장되지 않은 것에 기초하여, 상기 모션 비디오 컨텐츠를 식별하는 동작; 및
    식별된 상기 모션 비디오 컨텐츠가 디바이스 상의 상기 프라이머리 오디오 컨텐츠의 프레젠테이션과 동시에 상기 디바이스 상에 디스플레이되게 하는 동작
    을 포함하는, 시스템.
  9. 제 8 항에 있어서,
    상기 프라이머리 오디오 컨텐츠는 음악을 포함하는, 시스템.
  10. 제 8 항에 있어서,
    상기 비교는 상기 프라이머리 오디오 컨텐츠의 핑거프린트 데이터와 상기 적어도 하나의 레퍼런스 오디오 컨텐츠의 핑거프린트 데이터의 비교를 포함하는, 시스템.
  11. 제 8 항에 있어서,
    상기 모션 비디오 컨텐츠를 식별하는 것은 상기 디바이스와 관련된 사용자의 프로파일에 더 기초하는, 시스템.
  12. 제 8 항에 있어서,
    식별된 상기 모션 비디오 컨텐츠가 상기 디바이스 상의 상기 프라이머리 오디오 컨텐츠의 프레젠테이션과 동시에 상기 디바이스 상에 디스플레이되게 하는 동작은,
    상기 적어도 하나의 레퍼런스 오디오 컨텐츠의 데이터를 상기 프라이머리 오디오 컨텐츠의 데이터와 동기화하는 동작; 및
    상기 적어도 하나의 레퍼런스 오디오 컨텐츠의 데이터와 상기 프라이머리 오디오 컨텐츠의 데이터의 동기화에 기초하여, 식별된 상기 모션 비디오 컨텐츠와 상기 프라이머리 오디오 컨텐츠를 동기화하는 동작
    을 포함하는, 시스템.
  13. 제 12 항에 있어서,
    상기 적어도 하나의 레퍼런스 오디오 컨텐츠의 데이터와 상기 프라이머리 오디오 컨텐츠의 데이터를 동기화하는 것은, 상기 적어도 하나의 레퍼런스 오디오 컨텐츠의 핑거프린트 데이터와 상기 프라이머리 오디오 컨텐츠의 핑거프린트 데이터의 비교에 기초하는 것인, 시스템.
  14. 제 8 항에 있어서,
    상기 적어도 하나의 레퍼런스 오디오 컨텐츠는 적어도 2개의 레퍼런스 오디오 컨텐츠를 포함하고, 상기 적어도 2개의 레퍼런스 오디오 컨텐츠 각각의 것은 상이한 모션 비디오 컨텐츠와 관련되어 저장되고, 식별된 상기 모션 비디오 컨텐츠는 상기 상이한 모션 비디오 컨텐츠 각각의 일부를 포함하는, 시스템.
  15. 적어도 하나의 프로세서에 의해 실행될 때, 상기 적어도 하나의 프로세서로 하여금 동작들을 수행하게 하는 명령어들의 세트를 유형적으로 구현하는, 비일시적 머신 판독가능 저장 매체로서, 상기 동작들은,
    프라이머리 오디오 컨텐츠를 수신하는 동작;
    적어도 하나의 하드웨어 프로세서에 의해서, 상기 프라이머리 오디오 컨텐츠와 적어도 하나의 레퍼런스 오디오 컨텐츠의 비교에 기초하여, 상기 적어도 하나의 레퍼런스 오디오 컨텐츠가 미리 결정된 유사성 임계값을 만족하는지를 결정하는 동작;
    상기 적어도 하나의 레퍼런스 오디오 컨텐츠 각각의 것에 대해, 모션 비디오 컨텐츠가 상기 적어도 하나의 레퍼런스 오디오 컨텐츠 중 하나와 관련되어 저장되고 상기 프라이머리 오디오 컨텐츠와 관련되어 저장되지 않은 것에 기초하여, 상기 모션 비디오 컨텐츠를 식별하는 동작; 및
    식별된 상기 모션 비디오 컨텐츠가 디바이스 상의 상기 프라이머리 오디오 컨텐츠의 프레젠테이션과 동시에 상기 디바이스 상에 디스플레이되게 하는 동작
    을 포함하는, 비일시적 머신 판독가능 저장 매체.
  16. 제 15 항에 있어서,
    상기 비교는 상기 프라이머리 오디오 컨텐츠의 핑거프린트 데이터와 상기 적어도 하나의 레퍼런스 오디오 컨텐츠의 핑거프린트 데이터의 비교를 포함하는, 비일시적 머신 판독가능 저장 매체.
  17. 제 15 항에 있어서,
    상기 모션 비디오 컨텐츠를 식별하는 것은 상기 디바이스와 관련된 사용자의 프로파일에 더 기초하는, 비일시적 머신 판독가능 저장 매체.
  18. 제 15 항에 있어서,
    식별된 상기 모션 비디오 컨텐츠가 상기 디바이스 상의 상기 프라이머리 오디오 컨텐츠의 프레젠테이션과 동시에 상기 디바이스 상에 디스플레이되게 하는 동작은,
    상기 적어도 하나의 레퍼런스 오디오 컨텐츠의 데이터를 상기 프라이머리 오디오 컨텐츠의 데이터와 동기화하는 동작; 및
    상기 적어도 하나의 레퍼런스 오디오 컨텐츠의 데이터와 상기 프라이머리 오디오 컨텐츠의 데이터의 동기화에 기초하여, 식별된 상기 모션 비디오 컨텐츠와 상기 프라이머리 오디오 컨텐츠를 동기화하는 동작
    을 포함하는, 비일시적 머신 판독가능 저장 매체.
  19. 제 18 항에 있어서,
    상기 적어도 하나의 레퍼런스 오디오 컨텐츠의 데이터와 상기 프라이머리 오디오 컨텐츠의 데이터를 동기화하는 것은, 상기 적어도 하나의 레퍼런스 오디오 컨텐츠의 핑거프린트 데이터와 상기 프라이머리 오디오 컨텐츠의 핑거프린트 데이터의 비교에 기초하는 것인, 비일시적 머신 판독가능 저장 매체.
  20. 제 15 항에 있어서,
    상기 적어도 하나의 레퍼런스 오디오 컨텐츠는 적어도 2개의 레퍼런스 오디오 컨텐츠를 포함하고, 상기 적어도 2개의 레퍼런스 오디오 컨텐츠 각각의 것은 상이한 모션 비디오 컨텐츠와 관련되어 저장되고, 식별된 상기 모션 비디오 컨텐츠는 상기 상이한 모션 비디오 컨텐츠 각각의 일부를 포함하는, 비일시적 머신 판독가능 저장 매체.
KR1020207001487A 2017-03-31 2018-03-30 모션 비디오를 갖는 음악 서비스 KR102207075B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US15/475,488 2017-03-31
US15/475,488 US10462512B2 (en) 2017-03-31 2017-03-31 Music service with motion video
PCT/US2018/025392 WO2018183841A1 (en) 2017-03-31 2018-03-30 Music service with motion video

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020197028691A Division KR102069106B1 (ko) 2017-03-31 2018-03-30 모션 비디오를 갖는 음악 서비스

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020217001757A Division KR102242226B1 (ko) 2017-03-31 2018-03-30 모션 비디오를 갖는 음악 서비스

Publications (2)

Publication Number Publication Date
KR20200009128A KR20200009128A (ko) 2020-01-29
KR102207075B1 true KR102207075B1 (ko) 2021-01-26

Family

ID=63671266

Family Applications (7)

Application Number Title Priority Date Filing Date
KR1020217020969A KR102312686B1 (ko) 2017-03-31 2018-03-30 모션 비디오를 갖는 음악 서비스
KR1020207001487A KR102207075B1 (ko) 2017-03-31 2018-03-30 모션 비디오를 갖는 음악 서비스
KR1020217001757A KR102242226B1 (ko) 2017-03-31 2018-03-30 모션 비디오를 갖는 음악 서비스
KR1020197028691A KR102069106B1 (ko) 2017-03-31 2018-03-30 모션 비디오를 갖는 음악 서비스
KR1020217032260A KR102426468B1 (ko) 2017-03-31 2018-03-30 모션 비디오를 갖는 음악 서비스
KR1020217011024A KR102275586B1 (ko) 2017-03-31 2018-03-30 모션 비디오를 갖는 음악 서비스
KR1020227025797A KR102540087B1 (ko) 2017-03-31 2018-03-30 모션 비디오를 갖는 음악 서비스

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020217020969A KR102312686B1 (ko) 2017-03-31 2018-03-30 모션 비디오를 갖는 음악 서비스

Family Applications After (5)

Application Number Title Priority Date Filing Date
KR1020217001757A KR102242226B1 (ko) 2017-03-31 2018-03-30 모션 비디오를 갖는 음악 서비스
KR1020197028691A KR102069106B1 (ko) 2017-03-31 2018-03-30 모션 비디오를 갖는 음악 서비스
KR1020217032260A KR102426468B1 (ko) 2017-03-31 2018-03-30 모션 비디오를 갖는 음악 서비스
KR1020217011024A KR102275586B1 (ko) 2017-03-31 2018-03-30 모션 비디오를 갖는 음악 서비스
KR1020227025797A KR102540087B1 (ko) 2017-03-31 2018-03-30 모션 비디오를 갖는 음악 서비스

Country Status (6)

Country Link
US (5) US10462512B2 (ko)
EP (1) EP3603089A4 (ko)
JP (3) JP6876825B2 (ko)
KR (7) KR102312686B1 (ko)
CN (2) CN110476433B (ko)
WO (1) WO2018183841A1 (ko)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10462512B2 (en) * 2017-03-31 2019-10-29 Gracenote, Inc. Music service with motion video
US11455497B2 (en) * 2018-07-23 2022-09-27 Accenture Global Solutions Limited Information transition management platform
KR102215256B1 (ko) * 2019-11-18 2021-02-15 주식회사 인공지능연구원 동기화된 음성과 동작을 지원하는 멀티미디어 저작 장치 및 그 방법
KR20230037385A (ko) * 2021-09-09 2023-03-16 삼성전자주식회사 동영상을 촬영하는 전자 장치 및 그 동작 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150373231A1 (en) 2014-06-23 2015-12-24 Adobe Systems Incorporated Video synchronization based on an audio cue

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1354318A1 (en) * 2000-12-22 2003-10-22 Muvee Technologies Pte Ltd System and method for media production
DE10133333C1 (de) * 2001-07-10 2002-12-05 Fraunhofer Ges Forschung Verfahren und Vorrichtung zum Erzeugen eines Fingerabdrucks und Verfahren und Vorrichtung zum Identifizieren eines Audiosignals
DE602004008936T2 (de) * 2003-07-25 2008-06-19 Koninklijke Philips Electronics N.V. Verfahren und einrichtung zur erzeugung und erkennung von fingerabdrücken zur synchronisierung von audio und video
KR100686521B1 (ko) * 2005-09-23 2007-02-26 한국정보통신대학교 산학협력단 비디오 및 메타데이터의 통합을 위한 비디오 멀티미디어응용 파일 형식의 인코딩/디코딩 방법 및 시스템
US20100027663A1 (en) * 2008-07-29 2010-02-04 Qualcomm Incorporated Intellegent frame skipping in video coding based on similarity metric in compressed domain
US8887190B2 (en) * 2009-05-28 2014-11-11 Harris Corporation Multimedia system generating audio trigger markers synchronized with video source data and related methods
US8843584B2 (en) * 2011-06-02 2014-09-23 Google Inc. Methods for displaying content on a second device that is related to the content playing on a first device
US20160277808A1 (en) 2011-08-08 2016-09-22 Lei Yu System and method for interactive second screen
CA2843766A1 (en) 2011-08-16 2013-02-21 Destiny Software Productions Inc. Script-based video rendering
US8717499B2 (en) 2011-09-02 2014-05-06 Dialogic Corporation Audio video offset detector
KR20130055748A (ko) * 2011-11-21 2013-05-29 한국전자통신연구원 콘텐츠 추천 시스템 및 방법
JP2013131871A (ja) * 2011-12-20 2013-07-04 Sharp Corp 編集装置、遠隔制御装置、テレビジョン受像機、特定音声信号、編集システム、編集方法、プログラム、および、記録媒体
US9609395B2 (en) * 2012-03-26 2017-03-28 Max Abecassis Second screen subtitles function
EP2868109B1 (en) * 2012-06-28 2016-08-17 Google, Inc. Generating a sequence of audio fingerprints at a set top box
US9596386B2 (en) * 2012-07-24 2017-03-14 Oladas, Inc. Media synchronization
JP5725309B2 (ja) * 2013-07-29 2015-05-27 ブラザー工業株式会社 カラオケ投稿システム、カラオケ装置及び複合動画作成方法
US20150301718A1 (en) * 2014-04-18 2015-10-22 Google Inc. Methods, systems, and media for presenting music items relating to media content
US20160065641A1 (en) * 2014-08-28 2016-03-03 Beau Ner Chesluk Global Distribution Model
US20160066064A1 (en) * 2014-08-28 2016-03-03 Dozo LLP Clip Start Point
US20160165227A1 (en) 2014-12-04 2016-06-09 Arris Enterprises, Inc. Detection of audio to video synchronization errors
US10521672B2 (en) * 2014-12-31 2019-12-31 Opentv, Inc. Identifying and categorizing contextual data for media
JP2017038152A (ja) * 2015-08-07 2017-02-16 ヤマハ株式会社 映像処理装置および映像処理方法
EP3142118A1 (en) 2015-09-10 2017-03-15 Luis Solsona Sagrado Synchronizing audio and video components of an audio-visual transmission signal
US10462512B2 (en) * 2017-03-31 2019-10-29 Gracenote, Inc. Music service with motion video

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20150373231A1 (en) 2014-06-23 2015-12-24 Adobe Systems Incorporated Video synchronization based on an audio cue

Also Published As

Publication number Publication date
EP3603089A4 (en) 2020-10-21
KR20190117772A (ko) 2019-10-16
JP2020512789A (ja) 2020-04-23
EP3603089A1 (en) 2020-02-05
KR20210010647A (ko) 2021-01-27
JP2023063298A (ja) 2023-05-09
KR102069106B1 (ko) 2020-01-22
US20210120304A1 (en) 2021-04-22
US11770578B2 (en) 2023-09-26
JP7227298B2 (ja) 2023-02-21
KR102426468B1 (ko) 2022-07-29
JP2021122125A (ja) 2021-08-26
KR102275586B1 (ko) 2021-07-12
US10462512B2 (en) 2019-10-29
CN112616081A (zh) 2021-04-06
CN110476433B (zh) 2020-12-18
KR102242226B1 (ko) 2021-04-21
KR102540087B1 (ko) 2023-06-05
US20200014971A1 (en) 2020-01-09
KR20200009128A (ko) 2020-01-29
US20240048793A1 (en) 2024-02-08
US11240551B2 (en) 2022-02-01
KR20220109482A (ko) 2022-08-04
KR102312686B1 (ko) 2021-10-15
JP6876825B2 (ja) 2021-05-26
US20180288471A1 (en) 2018-10-04
KR20210125612A (ko) 2021-10-18
US10897644B2 (en) 2021-01-19
US20220132203A1 (en) 2022-04-28
KR20210088014A (ko) 2021-07-13
WO2018183841A1 (en) 2018-10-04
CN110476433A (zh) 2019-11-19
KR20210044316A (ko) 2021-04-22

Similar Documents

Publication Publication Date Title
KR102207075B1 (ko) 모션 비디오를 갖는 음악 서비스
US11520610B2 (en) Crowdsourced on-boarding of digital assistant operations
CN109845278B (zh) 动态地修改用于变化数据的执行环境
US8699862B1 (en) Synchronized content playback related to content recognition
US10838746B2 (en) Identifying parameter values and determining features for boosting rankings of relevant distributable digital assistant operations
US10349137B2 (en) Device and method for recommending content and sound source
US11184419B2 (en) Retrieval and playout of media content
CN110019934A (zh) 识别视频的相关性
US10986408B1 (en) Systems and methods for recommending linear content
US10834236B2 (en) Server-driven custom context menus
WO2024043921A1 (en) Ephemeral learning and/or federated learning of audio-based machine learning model(s) from stream(s) of audio data generated via radio station(s)

Legal Events

Date Code Title Description
A107 Divisional application of patent
E701 Decision to grant or registration of patent right
A107 Divisional application of patent
GRNT Written decision to grant