KR20130131365A - 멜로디 식별을 이용한 미디어 권한 관리 - Google Patents

멜로디 식별을 이용한 미디어 권한 관리 Download PDF

Info

Publication number
KR20130131365A
KR20130131365A KR20137014873A KR20137014873A KR20130131365A KR 20130131365 A KR20130131365 A KR 20130131365A KR 20137014873 A KR20137014873 A KR 20137014873A KR 20137014873 A KR20137014873 A KR 20137014873A KR 20130131365 A KR20130131365 A KR 20130131365A
Authority
KR
South Korea
Prior art keywords
composition
fingerprint
ownership
melody
audio
Prior art date
Application number
KR20137014873A
Other languages
English (en)
Other versions
KR101489107B1 (ko
Inventor
데이비드 지 킹
조지 살렘
일링 수 왕
매튜 와이즈만
Original Assignee
구글 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 구글 인코포레이티드 filed Critical 구글 인코포레이티드
Publication of KR20130131365A publication Critical patent/KR20130131365A/ko
Application granted granted Critical
Publication of KR101489107B1 publication Critical patent/KR101489107B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/18—Legal services
    • G06Q50/184—Intellectual property management
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63H—TOYS, e.g. TOPS, DOLLS, HOOPS OR BUILDING BLOCKS
    • A63H5/00—Musical or noise- producing devices for additional toy effects other than acoustical
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/10—Protecting distributed programs or content, e.g. vending or licensing of copyrighted material ; Digital rights management [DRM]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/02—Marketing; Price estimation or determination; Fundraising
    • G06Q30/0241—Advertisements
    • G06Q30/0273—Determination of fees for advertising
    • G06Q30/0274—Split fees
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q40/00—Finance; Insurance; Tax strategies; Processing of corporate or income taxes
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L63/00—Network architectures or network communication protocols for network security
    • H04L63/20—Network architectures or network communication protocols for network security for managing network security; network security policies in general
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/462—Content or additional data management, e.g. creating a master electronic program guide from data received from the Internet and a Head-end, controlling the complexity of a video stream by scaling the resolution or bit-rate based on the client capabilities
    • H04N21/4627—Rights management associated to the content
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121—Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131—Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • G10H2240/141—Library retrieval matching, i.e. any of the steps of matching an inputted segment or phrase with musical database contents, e.g. query by humming, singing or playing; the steps may include, e.g. musical analysis of the input, musical feature extraction, query formulation, or details of the retrieval process
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00—Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171—Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/181—Billing, i.e. purchasing of data contents for use with electrophonic musical instruments; Protocols therefor; Management of transmission or connection time therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Strategic Management (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Technology Law (AREA)
  • Development Economics (AREA)
  • Multimedia (AREA)
  • Computer Security & Cryptography (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Human Resources & Organizations (AREA)
  • General Health & Medical Sciences (AREA)
  • Primary Health Care (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Operations Research (AREA)
  • Game Theory and Decision Science (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Storage Device Security (AREA)

Abstract

컨텐츠 인식 시스템은 미디어 시스템과 함께 동작하여 호스팅된 미디어 컨텐츠 및 그 호스팅된 컨텐츠에 연관된 소유권을 식별한다. 작곡물들이 기존에 알려진 어떤 레코딩물과도 매치하지 않는 경우라 하더라도, 컨텐츠 인식 시스템은 멜로디 인식을 적용함으로써 호스팅된 미디어 컨텐츠에 구현된 이러한 작곡물들을 식별할 수 있다. 이에 따라, 컨텐츠 인식 시스템은 예컨대, 호스팅된 미디어 컨텐츠에 구현된 녹음 커버 연주들 및 녹음 라이브 연주들을 효과적으로 감지할 수 있다. 식별이 이루어지고 나면, 소유권 정보가 결정되고 미디어 호스팅 서비스가 이 보호된 컨텐츠의 수익 창출 또는 차단 등 해당 컨텐츠에 연관된 적절한 권한 관리 방침들을 실행할 수 있다.

Description

멜로디 식별을 이용한 미디어 권한 관리{MEDIA RIGHTS MANAGEMENT USING MELODY IDENTIFICATION}
본 발명은 일반적으로 미디어 공유에 관한 것이며, 더욱 상세하게는 미디어 컨텐츠 소유권의 실행에 관한 것이다.
일반적으로, “레코딩물(sound recording)”은 유형의 기록매체에 저장된 특정한 음악 연주를 의미하며, 상기 기록매체로는 광 디스크(예컨대, CD, DVD), 자기 디스크, 또는 테이프, 솔리드 스테이트 메모리(예컨대, 메모리 카드), 또는 다른 지속적인, 유형의 기록매체 등이 있다. 음악 산업에서, 레코딩물들은 통상 음반 회사들, 즉, 녹음 아티스트들을 영입, 개발, 및 관리하고, 레코딩물들의 영업, 홍보, 생산, 제조, 및 배포를 관장하는 회사들에 의해 생산되고 배포된다. 다른 개체들이 그 권한을 가질 수도 있지만, 통상 이러한 음반 회사들이 저작권법 하에서 자신들이 생산한 레코딩물들에 대해 다양한 권한을 갖는다. 레코딩물 소유권은 나라마다 달라질 수 있으므로, 일부 예시들에서는, 둘 이상의 음반 회사들 또는 다른 개체들이 단일 레코딩물에 대한 소유권을 가질 수 있다.
레코딩물과 대조적으로, “작곡물(composition)”은 일반적으로 음악(즉, 노래)의 원곡을 의미하며, 상기 작곡물은 상기 원곡을 연주하는 하나의 특정 레코딩물에 한정되지 않는다. 예컨대, 곡 창작자에 의해 창작된 특정 작곡물에 대해, 해당 곡 창작자에 의한 스튜디오 레코딩물, 녹음된 라이브 연주, 및 다른 아티스트에 의해 녹음된 커버 연주가 있을 수 있으며, 이들 각각은 서로 구분되는 레코딩물일 것이다. 다른 개체들이 그 권한을 가질 수도 있지만, 통상적으로 작곡물에 대한 소유권은 로열티를 징수하여 곡 창작자들에게 분배하는 음악 제조자들에게 주어진다. (일부 경우들에서는, 음악 제조자가 음반 회사이다).
대부분의 음반 회사들은 자신들의 레코딩물들 사용에 따른 로열티를 직접 징수한다. 반면, 창작자들 및 음악 제조자들은 통상 자신들의 작곡물들 사용에 따른 로열티를 ASCAP, BMI, SESAC와 같은 저작권 징수 대행기관(또는 “흥행권(performance right) 단체”)을 통해 징수한다. 국제적인 공연들에 대해, 국제적 징수 협회들은 통상 권리 보유자를 대신하여 로열티 지불액을 징수할 책임이 있다. 일부 실시예들에서는, 둘 이상의 제조자들 또는 다른 개체들이 단일 작곡물에 대한 소유권을 갖는다. 또한, 작곡물 소유권은 나라별로 다양할 수 있다.
미디어 호스팅 서비스는 대중적인 시청을 위한 멀터미디어 컨텐츠(예컨대, 음악 컨텐츠 및 비디오 컨텐츠)를 업로드할 수 있게 하는 것으로서, 최근 점점 더 인기를 끌고 있다. 호스팅되는(hosted) 미디어 컨텐츠의 양이 계속해서 증가함에 따라, 호스팅된 미디어 컨텐츠에 동반한 소유권 관리가 호스팅 서비스에서 점점 더 큰 난제가 되어 왔다. 오디오 또는 비디오 파일에 포함된 음악 컨텐츠에 있어서, 예컨대, 곡 창작자, 제조자, 및 음반 회사는 그 미디어 컨텐츠에 대한 권한을 가질 수 있는 상이한 개체들의 일부분일 뿐이다. 저작권 보유자들에게 적절한 비용이 지불되기 위해서는, 미디어 컨텐츠가 정확히 식별되어야 한다. 그러나, 통상 방송되기 전에 컨텐츠가 식별되는 텔레비전 및 라디오 환경과 달리, 미디어 호스팅 서비스는 초기에 식별되기 않기도 하는 사용자가 제공한 미디어 컨텐츠를 주로 처리한다. 이러한 미디어 컨텐츠를 일일이 직접 식별하는 것은 미디어 호스팅 사이트들이 매일 수천 또는 수만의 신규 미디어 업로드를 수신하는 경우 과도한 부담이 되며, 전통적인 자동화 메커니즘들은 현대의 미디어 호스팅 서비스를 위해 요구되는 강건성(robustness) 및 확장성(scalability)이 부족하다. 미디어 업로드들이 라이브 연주들 또는 커버 연주들을 포함하되, 상기 연주들이 미디어 호스팅 서비스에 알려져 있는 어떤 레코딩물과도 정확히 매치하지 않고, 상기 연주들의 컨텐츠가 연관되고 업로드된 메타데이터로 식별되지 않는 경우, 이러한 식별 문제는 매우 더 복잡해진다. 따라서, 저작권 보유자들에 대한 정확한 로열티 지불을 용이하게 하기 위해, 알려진 작곡물들의 신규 레코딩물들을 식별하기 위한 방법이 요구된다.
컨텐츠 인식 시스템은 미디어 호스팅 서비스에 업로드된 미디어 파일들에 연관된 소유권을 결정한다. 또한, 컨텐츠 인식 시스템은 기존에 알려진 레코딩물들을 식별하는 것 이외에도, 기존에 알려진 레코딩물들과 정확히 매치하지 않는 녹음된 라이브 연주 또는 커버 연주로 구현된 작곡물들(예컨대, 노래들)을 유익하게 식별한다. 컨텐츠 인식 시스템이 작곡물들 및/또는 레코딩물들을 식별하고 나면, 상기 컨텐츠 인식 시스템은 그 작곡물들 및/또는 레코딩물들에 동반한 소유권 정보를 결정할 수 있다.
작곡물에 동반한 소유권 정보를 식별하기 위하여, 지문감식 모듈은 오디오 클립에 대한 멜로디 지문(melody fingerprint)을 생성한다. 멜로디 지문은 키(key), 기악편성(instrumentation), 예술적 해석 또는 연주, 혹은 녹음 방법이나 결함(artifacts)에 따라서도 변하지 않는 특징들을 추출함으로써 오디오 클립으로 구현된 작곡물의 멜로디를 표현한다. 따라서, 음악 연주, 녹음, 및 프로세싱에서의 차이는 실질적으로 멜로디 지문에 영향을 미치지 않는다.
이후, 컨텐츠 인식 시스템은 참조 데이터베이스에서 입력 멜로디 지문과 매치하는 참조 멜로디 지문을 질의한다(query). 참조 데이터베이스는 참조 레코딩물 세트로 구현된 작곡물들의 참조 멜로디 지문들을 저장한다. 참조 데이터베이스에서 각 참조 멜로디 지문은 작곡물에 대한 소유권을 갖는 적어도 하나의 개체를 지정하는 작곡물 소유권 정보와 연관되며, 상기 작곡물은 상기 참조 멜로디 지문이 만들어진 참조 레코딩물로 구현된다. 참조 데이터베이스에서 입력 멜로디 지문과 매치하는 참조 멜로디 지문을 찾아내는 것에 응답하여, 컨텐츠 인식 시스템은 상기 매칭 참조 멜로디 지문과 연관하여 작곡물 소유권 정보를 결정한다.
레코딩물에 동반한 소유권을 식별하기 위하여, 컨텐츠 인식 시스템은 오디오 클립에 대한 오디오 지문(audio fingerprint)을 생성한다. 전술한 멜로디 지문들과 달리, 오디오 지문들은 일반적으로 특정 레코딩물 고유의 것이며, 통상적으로 연주, 녹음, 및 프로세싱 면에서의 차이에 따라 달라지므로, 동일 작곡물의 상이한 레코딩물들 간의 차이를 구별하는데 사용될 수 있다. 이어서, 컨텐츠 인식 시스템은 참조 데이터베이스에서 상기 오디오 지문에 매치하는 참조 오디오 지문을 질의한다. 참조 데이터베이스에서 상기 오디오 지문에 대한 매칭 참조 오디오 지문을 찾아내는 것에 응답하여, 컨텐츠 인식 시스템은 매칭 참조 오디오 지문을 만들어낸 레코딩물과 연관하여 소유권 정보를 결정한다.
(작곡물에 대응하는)멜로디 지문 또는 (레코딩물에 대응하는)오디오 지문과의 매치가 발견되는 경우, 컨텐츠 인식 시스템은 소유권을 관리하는 호스팅 서비스에 소유권 및 사용 방침 정보를 제공한다. 예컨대, 소유권 방침은 미디어 호스팅 서비스가 오디오 클립을 포함한 미디어 파일에 대한 액세스를 차단하여야 함을 나타낼 수 있다. 혹은, 소유권 방침은 미디어 호스팅 서비스가 오디오 클립을 포함한 미디어 파일에서 수익을 창출하여야 함을 나타낼 수 있다. 이러한 옵션 하에서, 미디어 호스팅 서비스는 수익 창출이 요구된 미디어 파일과 함께 광고를 배치하고, 그 광고로부터 생성된 수익을 컨텐츠 소유자와 분배할 수 있다. 다른 실시예들에서, 소유권 방침은 호스팅 서비스가 오디오 클립을 포함한 미디어 파일을 통계적으로 사용하여야 함을 나타낼 수 있다.
멜로디 지문의 참조 데이터베이스를 생성하기 위해, 컨텐츠 인식 시스템은 작곡물과 작곡물 소유권 메타데이터가 포함된 참조 레코딩물을 수신하며, 상기 작곡물 소유권 메타데이터는 해당 작곡물에 대한 소유권을 갖는 하나 이상의 개체를 나타낸다. 지문감식 모듈은 참조 레코딩물로부터 멜로디 지문을 생성한다. 이어서, 컨텐츠 인식 시스템은 멜로디 지문과 그에 연관된 작곡물 소유권 메타데이터를 참조 데이터베이스에 저장한다.
마찬가지로, 오디오 지문들로 이루어지는 참조 데이터베이스를 생성하기 위하여, 컨텐츠 인식 시스템은 참조 레코딩물로부터 오디오 지문을 생성하고, 생성된 오디오 지문과 연관된 작곡물 소유권 메타데이터를 참조 데이터베이스에 저장한다.
본 명세서에서 모든 특징들과 장점들을 설명하는 것은 아니며, 특히 통상의 기술자는 도면들, 상세한 설명 및 청구범위를 고려하여 많은 추가적인 특징들과 장점들을 명백히 알 수 있을 것이다. 또한, 본 명세서에서 사용되는 언어는 주로 판독의 용이성 및 설명을 목적으로 선택된 것이므로, 발명의 대상을 한정하거나 제한하기 위해 선택된 것이 아님을 유의하여야 한다.
도 1은 미디어 호스팅 서비스와 함께 동작하는 컨텐츠 인식 시스템의 일 실시예를 나타낸다.
도 2는 오디오 지문 참조 데이터베이스와 멜로디 지문 참조 데이터베이스를 생성하는 프로세스의 일 실시예를 나타낸 순서도다.
도 3은 기존의 작곡물에 연관된 다양한 메타데이터를 표시하는 그래픽 인터페이스의 일 실시예이다.
도 4는 기존의 레코딩물에 연관된 다양한 메타데이터를 표시하는 그래픽 인터페이스의 일 실시예이다.
도 5는 미디어 컨텐츠에 동반한 소유권 정보를 식별하고 소유자을 대신하여 청구내역들을 생성하는 프로세스의 일 실시예를 나타낸 순서도이다.
도 6은 호스팅되는 미디어 컨텐츠에 연관된 소유권 방침을 구현하는 프로세스의 일 실시예를 나타낸 순서도이다.
도 7은 컨텐츠 소유자를 대신하여 생성한 청구내역에 연관된 다양한 메타데이터를 표시하는 그래픽 인터페이스의 일 실시예이다.
도면들은 단지 설명을 목적으로 본 발명의 다양한 실시예들을 나타낸다. 통상의 기술자는 후술하는 논의로부터 본 명세서에서 설명하는 본 발명의 원리에서 벗어나지 않고서 본 명세서에 개시된 구조들 및 방법들의 대체 실시예들이 채용될 수 있음을 쉽게 인지할 수 있을 것이다.
개요 ( Overview )
컨텐츠 인식 시스템은 미디어 호스팅 서비스에 업로드된 사용자가 제공한 컨텐츠(예컨대, 비디오 및/또는 오디오 파일들)에 포함된 레코딩물들과 작곡물들을 자동으로 식별한다. 여기서 사용된 것처럼, “레코딩물”과 “작곡물”은 저작권법 등과 같은 법에 의해 보호되는 각각의 작품이다. 레코딩물들과 작곡물들을 둘 다 자동 식별함으로써, 컨텐츠 인식 시스템은 음반 회사에 의해 발매된 작곡물의 마스터 레코딩물들(예컨대, 스튜디오 레코딩물)과, 커버 연주, 최근 발매 버전, 대체 버전(예컨대, 어쿠스틱 버전) 또는 라이브 연주 장면 등과 같은 작곡물의 임의의 다른 레코딩물들 둘 다의 사용을 인식할 수 있다. 미디어 컨텐츠가 식별되고 나면, 미디어 호스팅 서비스는 컨텐츠 소유자들을 대신하여 소유권을 관리하고 수익 창출(monetize)할 수 있다. 이에 따라, 예컨대, 미디어 호스팅 서비스는 소유자들을 대신하여 미디어 컨텐츠를 자동으로 인식하고 차단하거나, 미디어 컨텐츠와 함께 타겟 광고를 배치하여 컨텐츠 소유자들에게 로열티를 분배함으로써 미디어 컨텐츠의 수익을 창출할 수 있다.
모든 업로드된 미디어 컨텐츠를 수동으로 검토하는 것은 상당히 비현실적이기 때문에, 대규모의 미디어 권한 호스팅 및 관리 솔루션들에 대해서는, 반드시는 아니지만, 미디어 컨텐츠를 자동으로 인식하는 것이 유리하다. 또한, 사람들이 미디어 호스팅 서비스에 업로드될 수 있는, 가능한 모든 작곡물들 또는 레코딩물들에 연관된 소유권을 기억하는 것은 어렵거나 불가능하다. 미디어 호스팅 서비스는 효율적이고 확장 가능한 방식으로 레코딩물들과 작곡물들을 자동 인식함으로써, 권리 보유자들에게 요구되는 수동 조작량을 최소화한다. 이러한 자동 인식은 매일 수천 또는 수만 개의 신규 사용자가 제공한 미디어 업로드들을 수신할 수 있는, 높은 트래픽을 갖는 미디어 호스팅 서비스들에게 특히 유리하다. 결과적으로 저작권이 있는 작품의 전반적 사용과 동일 작품에 대한 로열티의 지불에서 효율성이 향상되고, 그로 인해 이러한 레코딩물들과 작곡물들의 저작권 보유자들을 이롭게 한다.
시스템 설계 ( System Architecture )
도 1은 사용자-제공 미디어 컨텐츠에 동반한 소유권을 자동 식별하는 컴퓨팅 환경(100)의 일 실시예를 나타낸다. 컴퓨팅 환경은 미디어 호스팅 서비스(110), 컨텐츠 인식 시스템(130), 사용자 클라이언트(150) 및 컨텐츠 소유자 클라이언트(170)를 포함한다. 다른 구성들에서, 컴퓨팅 환경(100)은 상이하거나 추가적인 구성요소들을 포함할 수 있다. 클라이언트들은 네트워크(미도시)를 통해 서비스(110)와 통신한다. 본 실시예의 관련 측면들이 불분명해지는 것을 피하기 위하여, 공지된 구성요소들을 반드시 도시하지는 않았다.
미디어 호스팅 서비스(110)는 사용자들이 오디오 및 비디오 파일들과 같은 미디어 컨텐츠를 업로드, 공유 및 시청할 수 있도록 구성된다. 일 실시예에서, 사용자들은 사용자 클라이언트(150)에서 실행되는 웹 브라우저를 통해 액세스 가능한 미디어 호스팅 웹 사이트를 통해 미디어 호스팅 서비스(110)와 상호 연동된다. 사용자 클라이언트(150)를 이용함으로써, 사용자들은 사용자가 제공한 미디어(151)를 미디어 호스팅 서비스(110)에 업로드하고/하거나 (예컨대, 네트워크 상에서 이루어지는 온라인 인터페이스를 통해)미디어 호스팅 서비스(110)에 의해 호스팅되는 사용자가 요청한 미디어(153)를 시청할 수 있다. 미디어 호스팅 서비스(110)는 컨텐츠 인식 시스템(130)을 사용하여 미디어 호스팅 서비스(110)에 의해 호스팅된 미디어 컨텐츠에 동반한 소유권 및 방침들을 식별한다. 설명된 바와 같이, 컨텐츠 인식 시스템(130)은 미디어 호스팅 서비스(110)로부터 오디오 클립(141)을 수신하고 그에 대응하는 소유권 정보(143)를 반환한다.
일 실시예에서, 미디어 호스팅 서비스(110)는 수집 서버(ingest server, 112), 미디어 서버(114), 권한 관리 엔진(116), 광고 관리 모듈(118), 컨텐츠 데이터베이스(120) 및 광고 데이터베이스(122)를 포함한다. 다른 실시예들에서, 미디어 호스팅 서비스(110)는 상이한 또는 추가적인 모듈들을 포함할 수 있다.
수집 서버(112)는 사용자 클라이언트(150)로부터 사용자가 제공한 미디어(151)(예컨대, 오디오 및 비디오 파일들)를 수신한다. 수집 서버(112)는 사용자가 제공한 미디어(151)에서 오디오 및/또는 비디오 프로세싱을 선택적으로 수행하여, 예컨대, 사용자가 제공한 미디어(151)를 표준화된 포맷으로 암호화한다. 업로드가 이루어지고 나면, 사용자가 제공한 미디어 컨텐츠(151)가 컨텐츠 데이터베이스(120)에 저장된다. 사용자 클라이언트(150)를 사용함으로써, 사용자는 컨텐츠 데이터베이스(120)에 미리 저장된 호스팅된 미디어 컨텐츠의 시청을 요청할 수 있다. 요청이 있으면, 미디어 서버(114)는 사용자가 시청할 수 있도록 컨텐츠 데이터베이스(120)로부터 사용자 클라이언트(150)로 사용자가 요청한 미디어(153)를 스트리밍한다.
광고 데이터베이스(122)는 사용자가 요청한 미디어(153)에 대응하여 배치시킬 광고 컨텐츠를 저장한다. 광고 컨텐츠는 이미지, 비디오, 오디오, 텍스트, 하이퍼링크, 또는 이들 포맷을 조합한 형태일 수 있다. 광고 관리 모듈(118)은 광고 데이터베이스(122)에 저장된 광고 컨텐츠에 대한 액세스를 관리하고, 특정 사용자가 요청한 미디어(153)에 연관되기 위한 광고 컨텐츠를 결정한다. 일 실시예에서, 광고 관리 모듈(118)은 사용자가 요청한 미디어(153)에 포함된 레코딩물 및/또는 사용자가 요청한 미디어(153)에서 실행된 작곡물의 식별정보 및/또는 사용자가 요청한 미디어(153)에 연관된 소유권 정보를 기초로 광고들을 선택한다. 예컨대, 광고 관리 모듈(118)이 한 음반 회사의 웹 사이트로의 하이퍼링크를 포함한 광고를 선택할 수 있는데 이때, 상기 음반 회사는 사용자가 요청한 미디어(153)에 포함된 레코딩물에 대한 소유권을 가진다. 뿐만 아니라, 다른 실시예들에서, 광고 컨텐츠는 사용자가 지정한 정보 및 환경설정(preferences)과 같은 다른 요소들을 기초로 선택될 수 있다.
권한 관리 엔진(116)은 컨텐츠 데이터베이스(120)에 저장된 미디어 컨텐츠와 연관된 소유권 방침들을 관리 및 실행한다. 예컨대, 일 실시예에서, 컨텐츠 소유자들은 “추적(track)”, “수익 창출(monetize)”, 또는 “차단(block)”과 같은 미디어 아이템과 연관된 소유권 방침을 설정할 수 있다. 컨텐츠 소유자가 컨텐츠 차단을 선택하는 경우, 권한 관리 엔진(116)은 컨텐츠 데이터베이스(120)에서 컨텐츠를 삭제하거나, 그렇지 않으면 사용자 클라이언트(150)가 그 컨텐츠를 액세스하지 못하게 한다. 컨텐츠 소유자가 컨텐츠의 수익 창출을 선택하는 경우, 광고 관리 모듈(118)이 사용자가 요청한 미디어(153)와 함께 광고들을 제공하도록 구성되고, 권한 관리 엔진(116)은 해당 광고들로부터 생성된 로열티를 컨텐츠 소유자들에게 제공하기 위한 단계들을 작동시키며, 여기서 통상 이 단계들은 미디어 호스팅 서비스와 컨텐츠 소유자 간의 라이센스 계약을 기초로 한다. 컨텐츠 소유자가 컨텐츠 추적을 선택한 경우, 컨텐츠와 관련된 통계가 추적되고(예컨대, 시청 횟수), 권한 관리 엔진(116)이 컨텐츠 소유자들에게 추적된 통계를 제공한다.
미디어 호스팅 서비스(110)는 컨텐츠 인식 시스템(130)을 사용하여 미디어 호스팅 서비스(110)가 호스팅하는 미디어 컨텐츠에 동반한 소유권을 식별한다. 설명된 바와 같이, 컨텐츠 인식 시스템(130)은 미디어 호스팅 서비스(130)로부터 오디오 클립(141)을 수신하고, 그에 대응하는 소유권 정보(143)를 반환한다. 또한, 컨텐츠 인식 시스템(130)은 컨텐츠 소유자들(예컨대, 음반 회사들 및/또는 제조자들)이 컨텐츠 소유자 클라이언트(170)를 통해 소유권 메타데이터(161)와 참조 레코딩물들(163)을 제공할 수 있도록 한다. 참조 레코딩물들(163)과 소유권 메타데이터(161)는 컨텐츠 소유자들이 자신들의 소유권을 실행하고자 하는 미디어 컨텐츠(예컨대, 레코딩물들 또는 작곡물들)에 대응한다. 컨텐츠 인식 시스템(130)은 오디오 클립들(141)을 하나 이상의 참조 레코딩물들(163)에 매치하여, 매치가 이루어지면 대응하는 소유권 정보(143)를 반환한다.
일 실시예에서, 컨텐츠 인식 시스템(130)은 수집 서버(132), 멜로디 지문감식 모듈(134), 오디오 지문감식 모듈(136), 색인화 모듈(138), 매칭 모듈(140), 멜로디 ID 참조 데이터베이스(142), 오디오 ID 참조 데이터베이스(144) 및 소유권 데이터베이스(146)를 포함한다. 다른 실시예들에서, 컨텐츠 인식 시스템은 상이한 또는 추가적인 모듈들을 포함할 수 있다.
수집 서버(132)는 컨텐츠 소유자 클라이언트(170)로부터 참조 레코딩물들(163)과 소유권 메타데이터(161)를 수신한다. 참조 레코딩물들은 음반 회사 또는 다른 개체가 소유권을 갖는 레코딩물들이다. 통상적으로 제조자 또는 다른 개체도 레코딩물에 포함된 작곡물에 대한 소유권을 갖는다. 참조 레코딩물들(163)은 임의 타입의 오디오 코덱(예컨대, AAC, HE-AAC, MP3, FLAC, ALAC, OGG, WMA 등)으로 암호화된 오디오 파일을 포함할 수 있고, 오디오 파일 전체(예컨대, 완전한 음악 연주 레코딩물) 또는 오디오 파일 일부일 수 있다. 수집 서버(132)는 참조 레코딩물(163)에 대하여 오디오 프로세싱을 선택적으로 수행하여, 예컨대, 참조 레코딩물(163)을 표준화된 포맷으로 암호화한다. 소유권 메타데이터(161)는 통상적으로 텍스트-기반 파일을 포함하며, 상기 텍스트-기반 파일은 참조 레코딩물(163) 및 컨텐츠 소유자들에 관한 식별정보를 저장한다. 소유권 메타데이터(161)는 예컨대, 아티스트, 제목, 장르, 제조자 등의 다양한 카테고리들 또는 분야들로 조직될 수 있다.
수집 서버(132)는 미디어 호스팅 서비스(110)로부터 오디오 클립들(141)도 수신하도록 구성된다. 참조 레코딩물들(163)과 마찬가지로, 오디오 클립들(141)은 임의 타입의 오디오 코덱으로 암호화된 오디오 파일들을 포함할 수 있고, 각 레코딩물은 오디오 파일 전체 또는 오디오 파일 일부일 수 있다. 혹은, 오디오 클립들(141)은 비디오 파일들의 오디오 부분들(또는 비디오 파일들의 일부분들)을 포함할 수 있다. 수집 서버(132)는 오디오 클립들(141)에 대하여 오디오 프로세싱을 선택적으로 수행하여, 예컨대, 오디오 파일들(141)을 표준화된 포맷으로 암호화하거나 비디오 파일들의 오디오 부분들을 추출할 수 있다.
오디오 지문감식 모듈(136)은 컨텐츠 소유자들이 제공하는 참조 레코딩물들(163)에 대한 참조 오디오 지문들(“오디오 ID 파일들”로도 지칭됨)을 생성한다. 오디오 지문감식 모듈(136)은 음반 회사 또는 다른 개체가 소유하는 특정 레코딩물을 고유하게 표현하는 오디오 지문들을 생성하도록 구성된다. 오디오 지문은 참조 레코딩물(163)의 오디오 특성을, 다른 오디오 지문들과 효과적으로 비교 및 매치될 수 있는 포맷으로 간결하게 나타낸다. 마찬가지로, 오디오 지문감식 모듈(136)은 미디어 호스팅 서비스(110)로부터 수신된 오디오 클립들(141)에 대한 오디오 지문들을 생성하여, 수신된 오디오 지문들이 참조 오디오 지문들과 비교될 수 있도록 한다.
멜모리 지문감식 모듈(134)은 컨텐츠 소유자들에 의해 제공되는 참조 레코딩물들에 대한 참조 멜로디 지문들(“멜로디 ID 파일들”로도 지칭됨)을 생성한다. 멜로디 지문들은 작곡물의 멜로디를 기초로 작곡물(다양한 스튜디오 레코딩물들, 라이브 연주 레코딩물들, 또는 커버 연주들을 포함함)을 고유하게 나타내도록 설계된다. 멜로디 지문 감식은 참조 레코딩물의 멜로디적 특성을, 다른 멜로디 지문들과 효과적으로 비교 및 매치될 수 있는 포맷으로 간결하게 나타낸다. 특정한 연주 레코딩물을 고유하게 나타내는 오디오 지문과는 대조적으로, 멜로디 지문은 연주되는 작곡물의 멜로디를 대신 나타내며, 키(key), 기악편성(instrumentation), 암호화 포맷, 그리고 다른 공연, 녹음에 대한 변형과 프로세싱 변형이 멜로디 지문의 특징에 실질적으로 영향을 미치지 않게 하는 방식으로 나타낸다. 따라서, 특정 작곡물의 라이브 연주에 대한 멜로디 지문이 그 작곡물의 스튜디오 레코딩물에 대한 멜로디 지문과 매치하는 반면, 라이브 및 스튜디오 연주들에 대한 오디오 지문들은 매치하지 않을 것이다. 마찬가지로, 멜로디 지문감식 모듈(134)은 미디어 호스팅 서비스(110)로부터 수신된 오디오 클립들(141)에 대한 멜로디 지문들을 생성한다.
일 실시예에서, 멜로디 지문감식 모듈(134)은 오디오 클립(141) 내의 상이한 시점들 간에 일어나는 음정 시퀀스(a sequence of pitch intervals)를 감지하여 간결하게 나타낸다. 음정 시퀀스 표현을 이용한 멜로디 지문감식은 미국특허출원 제12/826,623호 “발명자: Richard Lyon, 발명이 명칭 : Intervalgram Representation of Audio for Melody Recognition”에 보다 자세히 설명되어 있으며, 이 내용은 본 명세서에서 참조로서 통합된다. 이러한 일 실시예에서, 오디오 클립(141)이 먼저 프로세싱되어 SAI(Stabilized Auditory Image)를 생성한다. SAI는 인간의 청각 시스템이 사운드를 처리하여 나타내는 방법을 시뮬레이션하도록 설계된 청각 모델을 사용하여 오디오 클립(141)을 나타낸다. SAI를 사용함으로써, 오디오 클립(141)을 대표하는 특징들이 추출될 수 있으며, 상기 특징들은 인간의 귀에 의해 인지되는 오디오 특징들에 대한 특성이다. 예컨대, 입력 오디오 클립(141)에서 인지되는 주요한 음악적 톤들(musical tones)은 입력 오디오 파일(141)을 통해 일정한 시간 간격마다 추출될 수 있다. 이러한 추출된 톤들은 주로 입력 오디오 클립을 제작하는데 사용된 특정한 기악편성, 녹음 파라미터들, 암호화, 또는 프로세싱에 대하여 독립적이다. 예컨대, 각 추출된 톤은 음계 내의 12음 중 하나에 대응할 수 있다. 혹은, 보다 세밀한 음계가 사용될 수 있다(예컨대, 12음 대신 옥타브당 가능한 36톤). 따라서, 입력 오디오 클립(141)은 오디오 클립(141)에서 일어나는 인지 가능한 톤 시퀀스를 포함하는 표현으로 간소화된다. 상기 표현을 키에 따라 변하지 않는 것으로 변환하기 위하여, 추출된 톤 시퀀스를 추가로 프로세싱하여 시간적으로 연속되는 톤들 간의 음정(예컨대, 전체 및 또는 절반-단계의 수)을 결정한다. 이러한 음정 시퀀스는 음악적 키에 따라 변하지 않는 멜로디 지문을 형성한다. 또한, 멜로디 지문은 실질적으로 기악편성, 박자변화, 그리고 다른 연주, 녹음 및 프로세싱 차이들에 따라 변하지 않는다. 멜로디 지문 표현으로 인해 컨텐츠 인식 시스템은 작곡물의 참조 레코딩물을 찾을 수 있게 되며, 상기 참조 레코딩물은 현재 저작권법이 동일한 작곡물을 구현하는 것으로 인지할 만큼 상기 작곡물과 충분히 유사한 것이다. 따라서, 예컨대, 멜로디 지문들은 한 작곡물의 라이브 연주들 및/또는 커버 연주들을 그 작곡물의 상이한 참조 레코딩물에 정확히 매치시키는데 사용될 수 있다.
색인화 모듈(108)은 오디오 ID 데이터베이스(144) 및 멜로디 ID 데이터베이스(142)에 각각 저장된 참조 오디오 지문들과 참조 멜로디 지문들에 색인을 생성한다. 다양한 종류의 색인 기법들이 이용될 수 있으나, 일반적으로는, 색인 기법이 오디오 클립(141)에 대한 입력 지문과 참조 데이터베이스(142, 144) 내 참조 지문들의 비교 및 매치 효율성을 향상시킬 수 있도록 설계된다. 일 실시예에서, 색인화 모듈(138)은 LSH(locality sensitive hashing) 밴드 색인 기법을 적용한다. LSH 밴드 색인화에서, 참조 데이터베이스들(142, 144)에 있는 참조 지문들은 고유한 고정된 길이의 바이트를 갖는 시퀀스 세트(즉, “색인 키”)에 의해 색인이 생성되며, 일 실시예에서 상기 시퀀스는 4 바이트 폭이 된다. 각 색인 키(즉, 고유한 4-바이트 시퀀스)를 이용해, LSH 색인은 특정한 바이트의 시퀀스를 포함하는 참조 데이터베이스들(142, 144)에 있는 모든 참조 지문들에 대한 포인터들을 저장한다. 따라서, 예컨대, 참조 지문들 A, D, 및 X 각각이 4-바이트 시퀀스 {A5 B1 43 67}를 포함하는 경우, LSH 색인은 색인 키 {A5 B1 43 67}와 연관된 참조 데이터베이스들(142, 144) 상의 참조 지문들 A, D, 및 X의 위치에 대한 포인터들을 저장한다. LSH 색인은 입력 레코딩물의 지문으로부터 얻어지는 색인 키와 함께 쿼리(query)될 수 있으며, 특정한 인덱스 키를 포함한 참조 데이터베이스들(142, 144)에 저장된 각각의 참조 오디오 클립의 지문에 대한 포인터를 반환할 수 있다. LSH 밴드 색인화는 참조 데이터베이스들(142, 144) 상의 참조 지문들에 대하여 색인을 생성하기 위한 색인화 기법의 일례일 뿐이다. 다른 대체 실시예들에서, 색인화 모듈(138)은 상이한 색인화 기법에 따라 참조 지문들에 대하여 색인을 생성할 수 있다.
매칭 모듈(140)은 오디오 클립(141)을 나타내는 오디오 및 멜로디 지문들(ID 파일들)을 참조 데이터베이스들(142, 144)에 있는 참조 오디오 및 멜로디 지문들과 비교하여 오디오 클립(141)과 최적으로 매치하는 참조 레코딩물 및/또는 참조 작곡물을 결정한다. 매치 결과를 기초로, 각기 다른 작동들이 따르게 된다.
첫째, 오디오 ID 매치는 오디오 클립(141)이 참조 레코딩물들 중 하나에 매치함을 의미한다. 오디오 ID 매치는 또한 오디오 클립(141)으로 구현된 작곡물이 참조 레코딩물로 구현된 작곡물과 매치함을 의미한다. 따라서, 오디오 ID 매치로, 매칭 모듈(140)은 통상적으로 레코딩물과 작곡물 소유권 둘 다를 식별한다.
둘째, 오디오 ID 매치가 없는 멜로디 ID 매치는, 매치하는 레코딩물은 없으나 오디오 클립(141)에 포함된 작곡물이 참조 레코딩물들 중 적어도 하나에 포함된 작곡물과 매치함을 의미한다. 예컨대, 멜로디 ID 매치는 참조 데이터베이스가 작곡물의 상이한 레코딩물(예컨대, 스튜디오 레코딩물)을 포함하고 있는 반면, 오디오 클립(141)이 해당 작곡물의 커버 연주 또는 라이브 연주를 포함하는 경우에 발생할 수 있다. 따라서, 오디오 ID 매치가 없는 멜로디 ID 매치에 대하여, 상기 매칭 모듈은 통상적으로 작곡물 소유권만을 식별하고, 어떤 레코딩물 소유권도 식별하지 않는다.
매칭 모듈(140)은 전술한 결과를 기초로, 오디오 클립(141)에 대한 소유권을 갖는 식별된 개체들을 지칭하는 소유권 정보(143)를 출력한다. 이러한 프로세스는 도 5와 관련하여 보다 자세히 후술한다.
전술한 것처럼, 매칭 모듈(140)은 오디오 클립(141)에 대한 입력 지문과, 참조 데이터베이스들(142, 144)에 있는 하나 이상의 참조 지문들 간의 매치를 결정한다. 매치 판단의 효율성을 향상시키기 위해, 매칭 모듈(140)은 통상적으로 색인화 모듈(138)과 함께 동작하여, 오디오 클립(141)에 대한 지문과 매치할 가능성이 가장 높은 후보 참조 지문을 먼저 찾는다. 예컨대, LSH 밴드 색인화를 사용하는 일 실시예에서, 색인화 모듈(138)은 오디오 클립(141)에 대한 입력 지문을 색인 키 세트로서 제공되는 복수의 밴드들(예컨대, 4 바이트 광밴드들)로 분할한다. 색인화 모듈(138)은 이러한 색인 키들을 LSH 밴드 색인을 질의하는데 사용되며, LSH 밴드 색인은 포인터 세트를 적어도 하나의 인덱스 키들을 포함하는 참조 데이터베이스(142, 144)의 후보 참조 지문으로 반환한다. 후보 참조 지문 세트가 식별되고 나면, 매칭 모듈(140)이 입력 지문과 각 후보 참조 지문 간의 매칭 메트릭(match metric)을 계산한다. 매칭 메트릭은 매칭 품질(예컨대, 점수, 거리, 가능성, 또는 다른 측정치)에 관한 메트릭 수치를 제공한다. 예컨대, 일 실시예에서, 매칭 메트릭은 오디오 클립(141)용 지문과 참조 데이터베이스들(142, 144)에 있는 하나 이상의 후보 참조 지문들 간의 유클리드 거리 또는 마하라노비스(Mahalanobis) 거리이다. 오디오 클립(141)용 지문과 후보 참조 지문 간의 계산된 유클리드 또는 마하라노비스 거리가 임계값보다 작을 경우 해당 후보 참조 지문이 오디오 클립(141)용 지문과 매치하는 것으로 간주된다.
대체 실시예들에서, 색인화 모듈(138) 또는 매칭 모듈(140)은 하나 이상의 지문감식 모듈들(134, 136) 대신에 컨텐츠 인식 시스템(130)의 외부에 있는 지문 소스로부터 오디오 클립(141)의 지문 표현을 수신할 수 있다. 이러한 실시예들에서, 지문감식 모듈들(134, 136)은 생략되고, 수집 서버(132)는 오디오 클립(141) 대신 오디오 클립(141)을 대표하는 지문들을 수신하도록 구성된다.
멜로디 ID 참조 데이터베이스(142)는 복수의 참조 레코딩물들에 대한 참조 멜로디 지문들을 저장하며, 각 참조 멜로디 지문은 특정 작곡물을 대표한다. 마찬가지로, 오디오 ID 참조 데이터베이스(144)는 복수의 참조 레코딩물들에 대해 참조 오디오 지문들을 저장하며, 각 참조 오디오 지문은 특정 레코딩물을 대표한다.
소유권 데이터베이스(146)는 참조 레코딩물들(163)에 포함된 참조 레코딩물들 및/또는 작곡물들에 연관된 소유권을 식별하기 위한 소유권 메타데이터를 저장한다. 소유권 데이터베이스(146)에 저장된 소유권 메타데이터의 예시들은 도 3-4를 참조로하여 보다 상세히 후술될 것이다. 또한, 소유권 메타데이터는 소유권 방침들을 포함하며, 상기 소유권 방침들은 컨텐츠 소유자가 레코딩물 및/또는 작곡물 (예컨대, 차단, 추적, 또는 수익 창출)과 연관된 권한을 적어도 어떻게 실행하기 원하는지에 대하여 나타낸다. 상이한 소유권 방침들 간의 취급 프로세스는 도 6을 참조로 보다 상세히 후술할 것이다.
다른 실시예에서, 오디오 클립들(141)에 대해 생성된 오디오 및/또는 멜로디 지문들은 멜로디 ID 참조 데이터베이스(142) 및 오디오 ID 참조 데이터베이스(144) 상에 추가적인 참조 지문들로서 저장될 수 있다. 이러한 방식으로, 컨텐츠 소유자들은 특정 작곡물의 추가적인 레코딩물들 또는 특정 레코딩물의 추가적인 예시들을 제공함으로써 참조 데이터베이스들(142, 144)을 보완할 수 있다.
미디어 호스팅 서비스(110)와 컨텐츠 인식시스템(130)의 다양한 각각의 구성요소들(혹은, 모듈들), 예컨대, 수집 서버(112), 미디어 서버(114), 권한 관리 엔진(116), 광고 관리 시스템(118), 수집 서버(132), 멜로디 지문감식 모듈(134), 오디오 지문감식 모듈(136), 색인화 모듈(138), 및 매칭 모듈(140)은, CPU, 메모리, 네트워크 인터페이스, 주변 인터페이스들, 및 다른 잘 알려져 있는 구성요소들을 포함하는 하나 이상의 컴퓨터들을 갖는 서버-급의 컴퓨터 시스템의 일부로서 구현된다. 상기 컴퓨터들은 바람직하게 운영체제(예컨대, LINUX)를 자체적으로 운영하며, 일반적으로 고성능 CPU들, 1G 이상의 메모리, 그리고 100G 이상의 디스크 저장부를 갖는다. 물론, 상기 구성요소들에 필요한 데이터베이스가 대규모가 아닐 경우는 개인 및 핸드헬드 컴퓨터들을 포함하는 다른 타입의 컴퓨터들이 사용될 수 있고, 향후 보다 강력한 컴퓨터들이 개발될 것으로 예상되는 바, 이들이 본 명세서의 설명에 따라 구성될 수도 있을 것이다. 일반적으로, 해당 모듈들은 컴퓨터로 판독가능한 매체(예컨대, 하드 디스크)에 저장된 컴퓨터로 실행가능한 프로그램 명령들을 포함한다. 동작 시에, 컴퓨터로 실행가능한 프로그램 명령들은 메모리에 로드되어 시스템의 일부로서 포함된 하나 이상의 프로세서들에 의해 실행된다. 컴퓨터로 실행가능한 프로그램 명령들이 본 명세서에서 설명하는 다양한 동작들을 실행하도록 구성된 경우, 범용 컴퓨터는 특정한 컴퓨터가 되며, 관련 분야의 통상의 기술자들이 이해할 수 있는 바와 같이, 그러한 컴퓨터에 의해 저장된 특정한 기능과 데이터는 기초 능력과는 다른 방식으로 구성되며, 근원적인 운영체제 및 하드웨어 로직에 의해 제공될 수 있다. 예컨대, 미디어 호스팅 서비스(110)의 일례는, YOUTUBE™ 웹사이트이다; 뿐만 아니라, 알려져 있는 다른 미디어 호스팅 시스템들이 본 명세서에서 개시된 설명에 따라 동작하도록 적용될 수 있다. 여기서 설명하는 미디어 호스팅 서비스(110)과 컨텐츠 인식 시스템(130)에서 거론된 구성요소들은 본 발명의 일 실시예를 나타내며, 다른 실시예들이 그외 또는 다르게 명명된 구성요소들을 포함할 수 있음을 이해할 수 있을 것이다. 그리고, 다른 실시예들은 본 명세서에서 설명하는 구성요소들을 생략하고/생략하거나 상기 모듈들 간에 설명된 기능을 서로 상이한 방식으로 분배할 수 있다. 또한, 하나 이상의 구성요소에 기인한 기능들이 단일 구성요소로 통합될 수 있다.
명확한 설명을 위해 단일 미디어 호스팅 서비스(110)만이 도시되었으나, 임의 개수의 상이한 미디어 호스팅 서비스들(110)이 컨텐츠 인식 시스템(130)을 사용하도록 적용될 수 있다. 다른 대체 실시예들에서, 컨텐츠 인식 시스템(130)은 미디어 호스팅 서비스(110)의 한 구성요소로서 통합될 수 있다. 또한, 미디어 호스팅 서비스(110)는 많은 상이한 사용자 클라이언트들(150)과 연동될 수 있다. 마찬가지로, 컨텐츠 인식 시스템(130)은 임의 개수의 컨텐츠 소유자 클라이언트들(170)과 연동될 수 있다. 또한, 단일 클라이언트가 사용자 클라이언트(150) 및 컨텐츠 소유자 클라이언트(170) 둘 다로서 사용될 수 있을 것이다.
일 실시예에서, 미디어 호스팅 서비스(110)는 미디어 호스팅 서비스(110)의 업로드 흐름의 일부로서 오디오 클립들(141)을 컨텐츠 인식 시스템(130)에 제공한다. 이에 따라, 당해 실시예에서, 사용자가 제공한 미디어 컨텐츠(151)는 컨텐츠 데이터베이스(120)에 저장되기 전에, 그와 동시에, 혹은 그 직후에 식별되고, 소유권 데이터베이스(146)에 포함된 소유권 메타데이터마다 허용된 범위 내에서 다른 사용자에 의한 다운로드나 시청을 위해 상기 미디어 컨텐츠(151)가 액세스할 수 있게 된다. 다른 실시예에서, 컨텐츠 인식 시스템(130)은 컨텐츠 데이터베이스(120)에 미리 저장된 컨텐츠의 레거시 스캐닝(legacy scanning)을 수행하도록 구성된다. 예컨대, 당해 실시예는 컨텐츠 인식 시스템(130)이 호스팅된 컨텐츠에 동반한 소유권을 식별할 수 있도록 하며, 상기 호스팅된 컨텐츠는 컨텐츠 인식 시스템(130)이 처음 사용되기 전(예컨대, 미디어 호스팅 서비스(110)가 컨텐츠 인식 시스템(130)에 대한 액세스를 획득하기 전)에 존재한 것이다. 또한, 레거시 스캐닝은 신규 참조 레코딩물들(163)에 따라 컨텐츠 데이터베이스(120)와 연관된 소유권 정보 및 사용 방침들을 갱신하는데 유용하며, 끊임없이 변화하는 소유권 메타데이터(161)가 컨텐츠 미디어 시스템(130)에 적용되도록 한다.
동작 및 사용( Operation and Use )
도 2는 컨텐츠 인식 시스템(130)이 참조 데이터베이스들(142, 144, 146)을 생성하기 위해 수행하는 프로세스의 일 실시예를 나타낸다. 컨텐츠 인식 시스템(130)은 컨텐츠 소유자 클라이언트(170)를 통해 컨텐츠 소유자로부터, 참조 레코딩물(163) 및/또는 (요구된 소유권 방침들을 포함하는) 상기 레코딩물에 대응하는 소유권 메타데이터(161)를 수신한다(202). 일부 예시들에서, 참조 레코딩물(163) 및/또는 소유권 메타데이터(161)의 일부만이 단일 컨텐츠 소유자에 의해 제공된다. 예컨대, 제조자는 참조 레코딩물을 제공하지 않고 작곡물과 연관된 소유권 메타데이터만을 제공할 수 있다. 다른 예시들에서, 음반 회사는 최초 작곡물에 대한 소유권을 갖는 제조자(들)을 식별하지 않고서 레코딩물에 관한 소유권 정보를 제공할 수 있다. 또 다른 예시들에서, 컨텐츠 소유자는 잔여 소유권을 가지는 다른 개체들을 반드시 식별할 필요없이 작곡물에 대한 일부 소유권(예컨대, 50% 지분)만을 가짐을 나타낼 수 있다. 단편적 정보를 조립하기 위하여, 컨텐츠 인식 시스템(130)은 수신된 정보를 상호 연관시키고(204), 상기 정보를 항목 세트로 조합하며, 상기 각 항목은 단일 레코딩물 또는 작곡물에 대응한다. 또한, 작곡물 항목들은 해당 작곡물을 포함하는 하나 이상의 레코딩물 항목들에 연계될 수 있다. 통상적으로, 상호 연관은 부분적인 정보 제출과 공통되는 다양한 메타데이터 필드들(예컨대, 곡명, 아티스트 명, 식별 번호 등)을 매칭함으로써 수행된다.
오디오 지문감식 모듈(136)은 참조 레코딩물에 대한 참조 오디오 지문을 생성하고(206), 생성된 참조 오디오 지문을 레코딩물 소유권 메타데이터와 연관하여 저장한다(208). 멜로디 지문감식 모듈(134)은 참조 레코딩물로 구현된 작곡물을 표현하는 참조 멜로디 지문을 생성하고(210), 대응하는 작곡물 소유권 메타데이터와 생성된 참조 멜로디 지문을 연관하여 저장한다(212). 이어서, 컨텐츠 인식 시스템(130)은 제공된 각 참조 레코딩물에 대하여 참조 오디오 지문과 참조 멜로디 지문 둘 다를 제작한다.
도 3은 작곡물과 연관된 소유권 메타데이터 항목의 일례를 나타내는 그래픽 인터페이스이다. 이러한 그래픽 인터페이스는 예컨대, 컨텐츠 인식 시스템(130)의 관리자, 미디어 호스팅 서비스(110), 그리고 혹은 컨텐츠 소유자가 이용할 수 있다. 혹은, 도 3에 나타난 일부 혹은 전체 메타데이터가 내부적으로만 사용되고, 그에 따라 그래픽 인터페이스로 표시되지 않을 수도 있다.
소유권 메타데이터는 복수의 카테고리들로 분할될 수 있으며, 상기 각 카테고리는 서로 상이한 식별 필드들을 포함한다. 예컨대, 당해 실시예에서, 소유권 메타데이터는 메타데이터(Metadata, 302), 소유권 정보(Ownership Information, 304), 권한(Rights, 306), 관련 상품(Related Assets, 308), 및 참조 컨텐츠(Reference Content, 130) 카테고리들로 분류될 수 있다. 메타데이터 카테고리(302)는 작곡물을 식별하기 위한 다양한 필드들을 제공하며, 예컨대, 이 필드들은 식별 필드(예컨대, CMS 상품 ID), 타입(예컨대, 작곡물 또는 레코딩물), 공급자(즉, 참조 데이터를 제출했던 개체), 소스, 고객 ID, 첨부(즉, 제출날짜/시간), ISWC, 제목, 카테고리, 및 창작자들을 포함한다. 도시된 것처럼, 일부 필드를 비워 해당 정보가 현재까지 알려지지 않았거나 불완전함을 나타낼 수 있다.
소유권 정보 카테고리(304)는 작곡물에 대한 소유권을 가지는 개체들, 소유권을 적용하는 나라들(소유권이 나라마다 상이할 수 있기 때문에), 소유권의 비율 또는 지분(일부 나라들에서는 소유권이 하나 이상의 개체에 분산될 수 있기 때문에)을 식별한다. 도시된 예시에서, 소유권 정보는 “A 제조자”가 미국에서 작곡물의 66.66%를 소유하고, “B 제조자”가 미국에서 해당 작곡물의 33.34%를 소유함을 나타낸다.
권한 카테고리(306)는 컨텐츠 소유자들에 의해 선택된 소유권 방침들(“소유자 방침(Owner Policy)”)이 알려진 경우 이를 표시하며, 해당 방침은 호스팅 서비스에 의해 실제로 적용된다(“적용되는 방침(Applied Policy)”). 전술한 것처럼, 방침들은 예컨대, 수익 창출, 추적, 또는 차단을 포함한다. 권한 카테고리(306)는 보는 사람이 “청구내역 매치(Match Claim)”(도면에서 선택된 것으로 나타나 있음) 또는 “청구내역 포함(Embed Claim)”(미도시)을 선택할 수 있게 하는 드롭-다운 박스(307)를 포함한다. “청구내역 매치”가 선택되는 경우(도시된 것처럼) 표시되는 소유권 방침들은 매칭 작곡물이 인식된 경우 선택되고/선택되거나 적용되는 방침들이다. 도시된 예시에서, 소유자들은 “시청자의 위치가 미국인 경우 수익 창출(및 추적)(Monetize (and track) if Location of the viewer is the United States)”을 선택하였고, 호스팅 서비스도 동일 방침을 적용하고 있다. 혹은, 드롭 다운 박스(307)에서 “청구내역 포함(Embed Claim)”이 선택된 경우, 소유권 방침들이 해당 작곡물을 포함한 레코딩물들에 대하여 표시된다. 이는 예컨대, 레코딩물을 소유한 음반사가 추적 또는 수익 창출을 고르더라도 제조자가 사용을 차단할 수 있도록 한다.
관련 상품 카테고리(308)는 작곡물을 포함하는 다른 상품(예컨대, 레코딩물들)을 식별한다. 도시된 예시에서, 관련 상품 카테고리는 그 작곡물을 구현한 레코딩물(“Composition in A Major”)을 식별한다.
참조 컨텐츠 카테고리(310)는 만약 참조 레코딩물들이 있다면, 작곡물의 컨텐츠 소유자들에 의해 제공된 참조 레코딩물들을 식별한다. 당해 예시에서는, 어떠한 제조자들도 작곡물의 대표 참조 레코딩물을 제공하지 않았다. 그러나, 임의의 관련 상품(예컨대, “Composition in A Major”의 제목이 붙은 관련 레코딩물)에 대한 참조 레코딩물의 위치가 알려진 경우, 작곡물은 작곡물 매치를 결정하기 위한 목적으로 여전히 해당 참조 레코딩물에 연계될 수 있다. 도 3에 도시된 항목은 단지 작곡물에 대한 메타데이터 항목의 일례이다. 다른 실시예들에서, 항목들은 상이한 카테고리들, 필드들, 데이터, 및 조직화된 구조들을 가질 수 있다.
도 4는 참조 레코딩물과 연관된 소유권 메타데이터 항목의 일례를 도시한 그래픽 인터페이스이다. 도 3에 나타난 작곡물 소유권 메타데이터와 마찬가지로, 레코딩물 소유권 메타데이터는 내부적으로만 사용되고, 그로 인해 그래픽 인터페이스에 표시되지 않을 수 있다. 레코딩물 소유권 메타데이터는 복수의 카테고리들로 분할되며, 상기 각 카테고리는 상이한 식별 필드들을 포함한다. 예컨대, 당해 실시예에서, 소유권 메타데이터는 메타데이터(Metadata, 402), 소유권 정보(Ownership Information, 404), 관련 상품(Related Assets, 408) 및 참조 컨텐츠(Reference Content , 410) 카테고리들로 분류된다.
메타데이터 카테고리(402)는 참조 레코딩물을 식별하기 위한 다양한 정보를 제공하고, 전술한 작곡물 메타데이터와 동일한 많은 필드들을 포함한다. 덧붙여, 메타데이터 카테고리(402)는 예컨대, 장르, 음반사, 오디오 ISRC, UPC, 및 Grid 등, 레코딩물들에 특화된 일부 필드들을 포함할 수 있다.
소유권 정보 카테고리(404)는 레코딩물에 대한 소유권을 가지는 하나 이상의 개체들을 나타낸다. 당해 예시에서, “A 음반사”는 레코딩물을 전세계적으로 소유한다. 관련 상품 카테고리(408)는 레코딩물이 구현하는 다른 상품(예컨대, 작곡물들)을 식별한다. 도시된 예시에서, 레코딩물은 도 3과 관련해 전술한 작곡물 “Composition in A Major”을 포함한다.
참조 컨텐츠 카테고리(410)는 레코딩물과 연관된 하나 이상의 참조 레코딩물들을 식별한다. 도시된 실시예에서, 소유자(A 음반사)는 두 개의 상이한 참조 레코딩물들을 제공하였으며, 상기 두 개의 상이한 참조 레코딩물들은 컨텐츠 인식 시스템(130)에 의해 사용되어 레코딩물을 식별할 수 있는 것이다. 각 참조 레코딩물에 대하여 다양한 식별 필드들이 제공되며, 예컨대, 참조 ID, 날짜(즉, 제출날짜/시간), 타입(오디오 또는 비디오), 공급자(즉, 제출 개체), 상태(활성화 또는 비활성화)가 이에 포함된다. 도 4에 도시된 항목은 단지 레코딩물에 대한 메타데이터 항목의 일례이다. 다른 실시예들에서, 항목들은 상이한 카테고리들, 필드들, 데이터, 및 조직화된 구조들을 가질 수 있다.
도 5는 컨텐츠 인식 시스템(130)이 오디오 클립(141)과 연관된 소유권 정보(143)를 결정하기 위해 수행하는 프로세스를 도시한 순서도다. 컨텐츠 인식 시스템(130)은 오디오 클립(141)을 수신하여(502), 수신된 오디오 클립(141)을 나타내는 오디오 지문(즉, 오디오 ID 파일)을 생성한다(504). 이어서, 컨텐츠 인식 시스템(130)이 오디오 클립(141)에 대한 오디오 지문이 오디오 ID 데이터베이스(144)에 있는 참조 오디오 지문과 매치하는지 여부를 결정한다(506). 오디오 지문 매치가 검출되면, 레코딩물의 컨텐츠 소유자들을 대신하여 청구내역을 생성한다(508). 오디오 지문 매치에 대해서는, 통상적으로 레코딩물 소유자(통상적으로 음반회사)와 작곡물 소유자(통상적으로 제조사) 모두를 대신하여 청구내역이 생성된다. 전술한 것처럼, 클립(141)으로부터 생성된 오디오 지문이 참조 오디오 지문과 매치하는 경우, 매치에 의해 레코딩물의 소유권과 상기 레코딩물에 포함된 작곡물의 소유권 둘 다를 결정할 수 있게 된다.
오디오 지문 매치가 발견되지 않는 경우, 컨텐츠 인식 시스템(130)은 오디오 클립(141)에 있는 근원적인 멜로디를 나타내는 멜로디 지문을 생성한다(510). 이어서, 컨텐츠 인식 시스템(130)은 입력 오디오 클립(141)에 대한 멜로디 지문이 멜로디 ID 데이터베이스(142) 상의 참조 멜로디 지문과 매치하는지 여부를 결정한다(512). 매치가 검출되면, 오디오 클립(141)에 포함된 작곡물의 컨텐츠 소유자들을 대신하여 청구내역이 생성된다(514). 그러나, 오디오 ID 매치가 검출되지 않는 경우, 오디오 클립(141)에 포함된 레코딩물의 소유자를 대신한 어떤 청구내역도 생성될 수 없다.
오디오 ID 및 멜로디 ID모두가 검출되지 않는 경우, 컨텐츠 인식 시스템(130)에 오디오 클립(141)과 관련한 매치가 존재하지 않는 것이므로 (516), 어떤 청구내역도 생성되지 않는다.
효율성을 위해서, 506 단계에서 오디오 ID 매치가 검출되는 경우에는, 일반적으로 멜로디 지문들을 생성 및 비교하는 510-514 단계가 불필요하다. 그 대신, 레코딩물 매치가 인식된 경우, 일반적으로 레코딩물 메타데이터로부터 근원적인 작곡물이 결정될 수 있으며, 상기 레코딩물 메타데이터로 예로는 레코딩물에 포함된 작곡물을 식별하는 관련 상품 메타데이터(408)가 있을 수 있다. 다른 실시예들에서는, 매치가 인식된 경우라 하더라도, 오디오 지문과 멜로디 지문 모두 생성될 수 있다.
대체 실시예들에서, 오디오 및 멜로디 지문 매칭은 모든 입력 오디오 클립(141)에 대하여 수행된다. 이러한 실시예에서, 최적으로 매치하는 오디오 및 멜로디 지문들의 강도가 오디오 지문 및/또는 멜로디 지문 매치를 결정하는데 고려된다. 예컨대, 동일한 참조 레코딩물에 대한 강한(높은 신뢰성의) 멜로디 지문 매치가 존재하는 경우, 다른 약한(낮은 신뢰성의) 오디오 지문 매치의 신뢰성이 증대될 수 있다. 이러한 방식으로, 오디오 지문들만의 비교로 매치가 불분명한 경우라 하더라도, 오디오 지문 매치를 인식할 수 있다. 일반적으로, 최적으로 매치하는 오디오 및 멜로디 지문들에서 검출되는 메트릭(metric)들에 가중치가 적용될 수 있고, 이러한 가중치가 적용된 메트릭들을 조합하는 다양한 방식들이 최적으로 매치하는 오디오 및/또는 멜로디 지문을 매칭 오디오 및/또는 멜로디 지문으로 고려할지 여부를 결정하는 데에 적용될 수 있다.
컨텐츠 소유자들을 대신하여 생성된 청구내역들은 식별된 미디어 컨텐츠와 연관되어 있는 소유권 방침들을 적용시킨다. 도 6은 (예컨대, 권한 관리 엔진(116)에 의해 실행되어) 생성된 청구내역을 기초로 소유권 방침들을 실행하는 방법의 일예를 나타낸다. 권한 관리 엔진(116)은 소유권 데이터베이스(146)에 있는 소유권 정보를 액세스함으로써, 컨텐츠 인식 시스템(130)에 의해 식별된 미디어 컨텐츠에 대한 소유권 방침들을 식별한다(602). 권한 관리 엔진(116)이 소유자들의 100%가 컨텐츠의 수익 창출을 요청한 것으로 결정한 경우(604), 권한 관리 엔진(116)은 상기 컨텐츠의 수익을 창출하고 컨텐츠 소유자들 간의 수익을 비례적으로 분배하기 위한 단계들을 실행한다(606). 수익 분배를 포함한 수익 창출 방침의 세부내용들은, 통상적으로 미디어 호스팅 서비스와 하나 이상의 컨텐츠 소유자들 간의 라이센스 계약에 의해 좌우된다. 통상적으로, 컨텐츠의 수익을 창출하는 것은 사용자가 요청한 컨텐츠와 함께 타겟 광고들을 스트리밍하는 것을 포함하며, 분배를 위해 광고주들로부터 생성된 수익의 적어도 일부분을 컨텐츠 소유자들에게 할당하는 것을 포함한다. 대신에, 권한 관리 엔진(116)이 소유자들의 100%보다 적은 인원이 컨텐츠의 수익 창출을 요구한다고 판단한 경우, 이어서, 권한 관리 엔진(116)은 다음으로 적어도 하나의 소유자가 컨텐츠의 차단을 요청하는지 여부를 판단한다(608). 적어도 하나의 소유자가 컨텐츠 차단을 요청한 경우, 해당 컨텐츠는 차단된다(610). 차단은 해당 컨텐츠를 컨텐츠 데이터베이스(120)에서 삭제하거나, 사용자 클라이언트(150)가 해당 컨텐츠를 액세스하지 못하도록 하는 것을 포함한다. 컨텐츠 차단을 요청한 소유자는 없지만, 적어도 하나의 소유자가 컨텐츠의 수익 창출을 요청하지 못한 경우, 권한 관리 엔진(116)은 컨텐츠 사용을 추적하여 소유자들에게 추적한 데이터를 제공할 것이다(612). 추적은 통상적으로 컨텐츠에 대한 사용자 요구와 관련된 통계를 수집하는 것과, 이러한 통계를 컨텐츠 소유자들에게 제공하는 것을 포함한다.
도 7은 업로드된 미디어 컨텐츠를 식별하는 것에 응답하여 권한 관리 엔진(116)에 의해 생성된 청구내역 메타데이터의 예시들을 나타낸 그래픽 인터페이스이다. 상기 메타데이터는 사용자가 업로드한 미디어 컨텐츠가 “Composition in A Major”의 라이브 연주 장면을 포함하고 있음을 나타낸다. 사용자가 제공한 컨텐츠에 정확히 매치하는 레코딩물은 없으나(즉, 오디오 ID 매치가 검출되지 않았으나), 컨텐츠 인식 시스템은 사용자가 제공한 컨텐츠의 멜로디가 종래의 작곡물 “Composition in A Major”의 멜로디 지문과 매치한다는 판단을 하였다. 생성된 청구내역에 대한 메타데이터는 소유권 정보 및 연관된 청구내역 방침들뿐만 아니라, 사용자가 요청한 컨텐츠 및 매치된 작곡물에 동반된 다양한 정보를 포함한다. 도 7에 도시된 메타데이터는 단지 생성된 청구내역에 대한 메타데이터 항목의 일례이다. 다른 실시예들에서, 상이하거나 추가적인 메타데이터가 추가될 수 있다.
따라서, 컨텐츠 인식 시스템(130)은 미디어 호스팅 서비스(110)와 함께 효과적으로 동작하여, 호스팅된 미디어 컨텐츠를 식별하고, 소유권을 결정하며, 소유권을 실행하기 위해 필요 방침들을 적용한다. 또한, 시스템은 그들의 미디어 컨텐츠에 대한 수익을 창출하는 플랫폼을 제공함으로써 컨텐츠 소유자들에게 이익을 준다. 플랫폼은 시청할 수 있는 미디어 컨텐츠의 값비싼 라이브러리에 액세스할 수 있게 하므로, 결과적으로, 상기 시스템이 미디어 호스팅 서비스의 사용자들에게 이익을 제공한다.
종래의 시스템들과 달리, 컨텐츠 인식 시스템은 호스팅된 미디어 컨텐츠에 포함된 작곡물들을 효율적으로 식별하기 위해, 멜로디 인식을 효과적으로 활용한다. 따라서, 컨텐츠 인식 시스템은 예컨대, 이전에 알려지지 않거나 공지되지 않은 연주로 구현되며 커버 레코딩물과 라이브 레코딩물을 포함하는 종래의 작곡물을 인식할 수 있다. 그 결과, 컨텐츠 인식 시스템은 호스팅된 미디어 컨텐츠에 대한 소유권을 실행하는 문제에 대하여 효율적이고 확장 가능한 해법을 제공한다.
본 발명은 제한된 수의 실시예들에 관하여 세부적으로 설명하였다. 통상의 기술자들은 본 발명이 다른 실시예들로 추가적으로 실현될 수 있음을 이해할 것이다. 먼저, 구성요소들을 특정한 명칭으로 명명한 것, 용어의 대문자 사용(capitalization), 속성, 데이터 구조 또는 다른 임의의 프로그래밍 또는 구조적 측면은 필수적이거나 중대한 것이 아니며, 본 발명을 구현하는 메커니즘들 또는 그 특징들은 상이한 명칭들, 포맷들, 또는 프로토콜들을 가질 수 있다. 또한, 시스템은 기술된 것과 상이한 하드웨어 및 소프트웨어 조합을 통해 구현될 수 있다. 또한, 본 명세서에서 설명된 다양한 시스템 구성요소들 간의 특정한 기능 분할은 단지 설명을 위한 것으로, 필수적인 것이 아니다; 단일 시스템 구성요소에 의해 수행되는 기능들은 다중 구성요소들에 의해 대신 수행될 수 있고, 다중 구성요소들에 의해 수행되는 기능들은 단일 구성요소에 의해 대신 수행될 수 있다.
전술한 설명의 일부분들은 동작 정보들의 알고리즘과 상징적인 표현들 측면에서 본 발명의 특징을 제시한다. 이러한 알고리즘적 설명들과 표현들은 다른 분야의 기술자들에게 자신들의 작업의 본질을 가장 효율적으로 전달하기 위하여, 관련 분야의 통상의 기술자들에 의해 사용되는 수단이다. 기능적으로 또는 논리적으로 기술되었더라도, 이러한 동작들은 메모리에 저장된 컴퓨터 프로그램들에 의해 구현되고, 하나 이상의 프로세서들에 의해 실행되는 것으로 이해된다. 또한, 동작들의 이러한 배열을 모듈이나 코드 장치들로 나타내는 것은 때때로 편의상 이용될 수도 있으며 이러한 것이 일반성을 상실하는 것은 아니다.
본 발명의 논의에서 특별히 다르게 기술하지 않는 한, 본 명세서를 통해, “프로세싱(processing)” 또는 “컴퓨팅(computing)” 또는 “계산(calculating)” 또는 “결정, 판단(determining)” 또는 “표시(displaying)” 등과 같은 용어들을 이용한 설명들은 컴퓨터 시스템, 또는 유사한 전자 컴퓨팅 장치의 행동 및 프로세스들을 나타내는 것으로서, 상기 행동 및 프로세스들은 컴퓨터 시스템 메모리들 또는 레지스터들 또는 다른 이러한 정보 저장, 전달 또는 표시 장치들 내에서 물리적인(전자적인) 수량으로 표현되는 데이터를 조작 및 변환하는 것이다.
본 발명의 일부 측면들은 본 명세서에서 알고리즘 형태로 설명된 프로세스 단계들 및 명령들을 포함한다. 본 발명의 프로세스 단계들 및 명령들은 소프트웨어, 펌웨어 또는 하드웨어로 구현될 수 있고, 소프트웨어로 구현되는 경우, 상기 소프트웨어는 다운로드되어, 실시간 네트워크 동작 시스템들에 의해 사용되는 상이한 플랫폼들에 저장되어 동작될 수 있다.
본 발명은 또한 본 명세서에 개시된 동작들을 수행하는 장치에 관한 것이다. 상기 장치는 특히 필요한 목적들을 위해 구성되거나, 해당 컴퓨터에 저장된 컴퓨터 프로그램에 의해 선택적으로 활성화 또는 재구성된 범용 컴퓨터를 포함할 수 있다. 이러한 컴퓨터 프로그램은 컴퓨터 판독가능 기록매체에 저장될 수 있으며, 상기 컴퓨터 판독가능 기록매체로는, 각각이 컴퓨터 시스템 버스에 결합되는, 플로피 디스크, 광학 디스크, CD ROM, 자기 디스크, ROM(read-only memory), RAM(random access memory), EPROM, EEPROM, 자기 또는 광학 카드, ASIC(application specific integrated circuit), 또는 전자적인 명령들을 저장하기에 적합한 임의 타입의 매체를 예로 들 수 있으나, 반드시 이에 한정되는 것은 아니다. 또한, 본 명세서에서 언급되는 컴퓨터들은 단일 프로세서를 포함하거나, 향상된 컴퓨팅 능력을 위해 다중 프로세서 디자인을 채용한 구조일 수 있다.
본 명세서에 제시된 알고리즘들과 표시들은 임의의 특정 컴퓨터 또는 다른 장치와 본질적으로 관련되지는 않는다. 또한, 다양한 범용 시스템들이 본 명세서의 설명에 따른 프로그램들과 함께 사용될 수 있으며, 또는 필요한 방법 단계들을 수행하기 위해 더욱 전문화된 장치를 이용하는 것이 더욱 편리할 수도 있을 것이다. 이러한 다양한 시스템들에 대해 필수적인 구조는 전술한 상세한 설명으로부터 분명해질 것이다.
마지막으로, 본 명세서에서 사용되는 언어는 판독의 용이함과 설명의 목적으로 선택된 것이며, 발명의 대상을 특정하거나 제한하지 않는다. 따라서, 본 발명의 개시는 설명을 의도할 뿐, 본 발명의 범위를 한정하지 않는다.

Claims (34)

  1. 오디오 클립을 포함한 입력 미디어 파일을 수신하는 단계;
    상기 오디오 클립에 대한 입력 멜로디 지문을 생성하는 단계로서, 상기 입력 멜로디 지문은 상기 오디오 클립에 구현된 제1 작곡물의 멜로디를 나타내는 것으로, 상기 작곡물의 연주를 실행 또는 기록하는데 사용되는 파라미터들에 영향을 받지 않는 것인, 상기 오디오 클립에 대한 상기 입력 멜로디 지문을 생성하는 단계;
    참조 데이터베이스에서 상기 입력 멜로디 지문과 매치하는 참조 멜로디 지문을 질의하는 단계로서, 상기 참조 데이터베이스에 있는 상기 각 참조 멜로디 지문은 참조 레코딩물로 구현된 작곡물의 멜로디를 나타내는 것인, 상기 참조 데이터베이스에서 상기 입력 멜로디 지문과 매치하는 상기 참조 멜로디 지문을 질의하는 단계; 및
    상기 입력 멜로디 지문에 대한 매칭 참조 멜로디 지문이 검출되는 경우, 상기 매칭 참조 멜로디 지문에 연관된 소유권 정보로부터 상기 제1 작곡물에 대한 소유권 정보를 결정하는 단계를 포함하는, 작곡물에 대한 소유권을 결정하는 컴퓨터로 구현된 방법.
  2. 제1항에 있어서,
    상기 작곡물의 연주를 실행하거나 기록하는데 사용되는 상기 파라미터들은 상기 작곡물이 연주되는 키(key), 상기 작곡물을 연주하는데 사용되는 악기, 또는 상기 오디오 클립을 만드는데 사용되는 기악편성을 포함하는, 작곡물에 대한 소유권을 결정하는 컴퓨터로 구현된 방법.
  3. 제1항에 있어서,
    상기 매칭 멜로디 지문과 연관되며 상기 작곡물에 연관된 소유권 방침을 결정하는 단계를 더 포함하는, 작곡물에 대한 소유권을 결정하는 컴퓨터로 구현된 방법.
  4. 제3항에 있어서,
    상기 소유권 방침을 상기 입력 미디어 파일을 호스팅하는 미디어 호스팅 서비스로 제공하는 단계를 더 포함하는, 작곡물에 대한 소유권을 결정하는 컴퓨터로 구현된 방법.
  5. 제3항에 있어서,
    상기 소유권 방침이 상기 작곡물에 대한 소유권 지분을 갖는 적어도 하나의 개체가 상기 작곡물에 대한 액세스를 차단하기를 원함을 나타내는 경우, 상기 입력 미디어 파일에 대한 액세스를 차단하는 단계를 더 포함하는, 작곡물에 대한 소유권을 결정하는 컴퓨터로 구현된 방법.
  6. 제3항에 있어서,
    상기 소유권 방침이 상기 작곡물에 대한 소유권 지분을 갖는 모든 개체가 상기 작곡물에 대한 수익 창출을 원함을 나타내는 경우, 상기 입력 미디어 파일의 수익을 창출하는 단계를 더 포함하는, 작곡물에 대한 소유권을 결정하는 컴퓨터로 구현된 방법.
  7. 제6항에 있어서,
    상기 입력 미디어 파일의 수익을 창출하는 단계는,
    상기 미디어 호스팅 서비스의 사용자로부터 상기 입력 미디어 파일에 대한 요청을 수신하는 단계;
    상기 입력 미디어 파일과 함께 제공될 광고를 선택하는 단계;
    상기 입력 미디어 파일을 상기 선택된 광고와 함께 상기 사용자에게 제공하는 단계; 및
    상기 광고로부터 생성된 수익을 상기 작곡물의 컨텐츠 소유자에게 분배하는 단계를 포함하는, 작곡물에 대한 소유권을 결정하는 컴퓨터로 구현된 방법.
  8. 제3항에 있어서,
    상기 소유권 방침이 상기 작곡물에 대한 소유권 지분을 갖는 개체들 중 상기 작곡물에 대한 액세스 차단을 원하는 개체가 없고 상기 작곡물의 수익 창출을 원하지 않는 적어도 하나의 개체가 있음을 나타내는 경우, 상기 입력 미디어 파일을 추적하는 단계를 더 포함하는, 작곡물에 대한 소유권을 결정하는 컴퓨터로 구현된 방법.
  9. 제1항에 있어서,
    상기 입력 미디어 파일은 비디오 클립을 포함하고, 상기 오디오 클립은 상기 비디오 클립의 오디오 트랙을 포함하는, 작곡물에 대한 소유권을 결정하는 컴퓨터로 구현된 방법.
  10. 오디오 클립을 포함한 입력 미디어 파일을 수신하는 단계;
    상기 오디오 클립에 구현된 제1 작곡물의 제1 레코딩물을 나타내는 입력 오디오 지문을 생성하는 단계;
    참조 데이터베이스에서 상기 입력 오디오 지문과 매치하는 참조 오디오 지문을 질의하는 단계로서, 상기 참조 데이터베이스에 있는 상기 각 참조 오디오 지문은 작곡물을 구현하는 레코딩물을 나타내는 것이며, 상기 참조 데이터베이스에서 상기 입력 오디오 지문과 매치하는 참조 오디오 지문을 질의하는 단계; 및
    상기 입력 오디오 지문에 대한 매칭 참조 오디오 지문이 검출되는 경우, 상기 매칭 참조 오디오 지문에 연관된 소유권 정보로부터 상기 제1 레코딩물에 대한 소유권 정보를 결정하는 단계;
    상기 입력 오디오 지문에 대한 매칭 참조 오디오 지문이 검출되지 않는 경우,
    입력 멜로디 지문은 상기 제1 작곡물의 멜로디를 나타내는 것으로, 상기 제1 작곡물의 연주를 실행 또는 기록하는데 사용되는 파라미터들에 따라 변하지 않는 것이며, 상기 오디오 클립에 대한 상기 입력 멜로디 지문을 생성하는 단계;
    참조 데이터베이스에 있는 각 참조 멜로디 지문은 참조 레코딩물에 구현된 작곡물의 멜로디를 나타내는 것이며, 상기 참조 데이터베이스에서 상기 입력 멜로디 지문과 매치하는 참조 멜로디 지문을 질의하는 단계; 및
    상기 입력 멜로디 지문에 대한 매칭 참조 멜로디 지문이 검출되는 경우, 상기 매칭 참조 멜로디 지문에 연관된 소유권 정보로부터 상기 제1 작곡물에 대한 소유권 정보를 결정하는 단계;
    를 포함하는, 레코딩물에 대한 소유권을 결정하는 컴퓨터로 구현된 방법.
  11. 제10항에 있어서,
    상기 입력 오디오 지문에 대한 참조 오디오 지문이 검출되는 경우,
    상기 매칭 참조 오디오 지문에 연관된 소유권 정보로부터 상기 제1 작곡물에 대한 소유권 정보를 결정하는 단계를 더 포함하는, 레코딩물에 대한 소유권을 결정하는 컴퓨터로 구현된 방법.
  12. 제10항에 있어서,
    상기 매칭 참조 멜로디 지문은 상기 작곡물의 제1 녹음 연주로부터 획득되며, 상기 매칭 오디오 지문은 상기 제1 녹음 연주와 상이한 상기 작곡물의 제2 녹음 연주로부터 획득되는, 레코딩물에 대한 소유권을 결정하는 컴퓨터로 구현된 방법.
  13. 오디오 작곡물 소유권에 대한 검색가능 참조 데이터베이스를 생성하는 컴퓨터로 구현된 방법에 있어서,
    작곡물을 구현한 참조 레코딩물과, 상기 작곡물에 대한 소유권을 가지는 하나 이상의 개체들을 나타내는 작곡물 소유권 정보를 수신하는 단계;
    멜로디 지문을 상기 참조 레코딩물로부터 생성하는 단계로서, 상기 멜로디 지문은 상기 작곡물의 연주를 실행 또는 기록하는데 사용되는 파라미터들에 영향을 받지 않는 방식으로 상기 참조 레코딩물에 구현된 상기 작곡물의 멜로디를 나타내는 것인, 상기 멜로디 지문을 상기 참조 레코딩물로부터 생성하는 단계; 및
    상기 멜로디 지문과 상기 연관된 작곡물 소유권 정보를 상기 검색가능 참조 데이터베이스에 저장하는 단계를 포함하는, 상기 컴퓨터로 구현된 방법.
  14. 제13항에 있어서,
    상기 멜로디 지문은 상기 작곡물이 연주되는 키, 상기 참조 레코딩물을 제작하는데 사용되는 악기, 또는 상기 참조 레코딩물을 기록하는데 사용되는 기악편성에 따라 변하지 않는, 상기 컴퓨터로 구현된 방법.
  15. 제13항에 있어서,
    상기 참조 레코딩물을 나타내는 오디오 지문을 생성하는 단계;
    상기 참조 레코딩물에 대한 소유권을 가지는 하나 이상의 개체들을 나타내는 참조 레코딩물 소유권 정보를 수신하는 단계; 및
    상기 오디오 지문과 상기 연관된 참조 레코딩물 소유권 정보를 상기 검색가능 참조 데이터베이스에 저장하는 단계를 더 포함하는, 상기 컴퓨터로 구현된 방법.
  16. 제13항에 있어서,
    상기 작곡물 소유권 정보는 상기 참조 레코딩물로 구현된 상기 작곡물의 식별된 곡명과 작곡자를 포함하는, 상기 컴퓨터로 구현된 방법.
  17. 제13항에 있어서,
    상기 작곡물 소유권 정보는 소유권 방침을 더 포함하되, 상기 소유권 방침은 사용자가 업로드한 미디어에 동반한 소유권을 실행하는 방법을 나타내며, 상기 사용자가 업로드한 미디어는 상기 참조 멜로디 지문과 매치하는 멜로디 지문을 갖는 것인, 상기 컴퓨터로 구현된 방법.
  18. 프로세서; 및
    상기 프로세서와 연결되어, 상기 프로세서로 하여금,
    오디오 클립을 포함한 입력 미디어 파일을 수신하는 단계;
    상기 오디오 클립에 대한 입력 멜로디 지문을 생성하는 단계로서, 상기 입력 멜로디 지문은 상기 오디오 클립에 구현된 제1 작곡물의 멜로디를 나타내는 것으로, 상기 작곡물의 연주를 실행 또는 기록하는데 사용되는 파라미터들에 영향을 받지 않는 것인, 상기 오디오 클립에 대한 상기 입력 멜로디 지문을 생성하는 단계;
    참조 데이터베이스에서 상기 입력 멜로디 지문과 매치하는 참조 멜로디 지문을 질의하는 단계로서, 상기 참조 데이터베이스에 있는 상기 각 참조 멜로디 지문은 참조 레코딩물로 구현된 작곡물의 멜로디를 나타내는 것인, 상기 참조 데이터베이스에서 상기 입력 멜로디 지문과 매치하는 참조 멜로디 지문을 질의하는 단계; 및
    상기 입력 멜로디 지문에 대한 매칭 참조 멜로디 지문이 검출되는 경우, 상기 매칭 참조 멜로디 지문에 연관된 소유권 정보로부터 상기 제1 작곡물에 대한 소유권 정보를 결정하는 단계;
    를 수행하게 하는 명령을 저장하는 메모리;
    를 포함하는, 작곡물에 대한 소유권을 결정하는 시스템.
  19. 제18항에 있어서,
    상기 작곡물의 연주를 실행 또는 기록하는데 사용되는 상기 파라미터들은 상기 작곡물이 연주되는 키, 상기 작곡물을 연주하는데 사용되는 악기, 또는 상기 오디오 클립을 만드는데 사용되는 기악편성을 포함하는, 작곡물에 대한 소유권을 결정하는 시스템.
  20. 제18항에 있어서,
    상기 메모리는 상기 프로세서로 하여금 상기 매칭 멜로디 지문과 연관되며 상기 작곡물에 연관된 소유권 방침을 결정하게 하는 명령들을 더 저장하는, 작곡물에 대한 소유권을 결정하는 시스템.
  21. 제20항에 있어서,
    상기 메모리는 상기 프로세서로 하여금 상기 소유권 방침을 상기 입력 미디어 파일을 호스팅하는 미디어 호스팅 서비스로 제공하게 하는, 명령들을 더 저장하는, 작곡물에 대한 소유권을 결정하는 시스템.
  22. 제20항에 있어서,
    상기 소유권 방침이 상기 작곡물에 대한 소유권 지분을 갖는 적어도 하나의 개체가 상기 작곡물에 대한 액세스를 차단하기를 원함을 나타내는 경우, 상기 메모리는 상기 프로세서로 하여금 상기 입력 미디어 파일에 대한 액세스를 차단하게 하는 명령들을 더 저장하는, 작곡물에 대한 소유권을 결정하는 시스템.
  23. 제20항에 있어서,
    상기 소유권 방침이 상기 작곡물에 대한 소유권 지분을 갖는 모든 개체가 상기 작곡물에 대한 수익 창출을 원함을 나타내는 경우, 상기 메모리는 상기 프로세서로 하여금 상기 입력 미디어 파일의 수익을 창출하게 하는 명령들을 더 저장하는, 작곡물에 대한 소유권을 결정하는 시스템.
  24. 제23항에 있어서,
    상기 프로세서로 하여금 상기 입력 미디어 파일의 수익을 창출하게 하는 상기 메모리에 저장된 명령들은,
    상기 프로세서로 하여금,
    상기 미디어 호스팅 서비스의 사용자로부터 상기 입력 미디어 파일에 대한 요청을 수신하는 단계;
    상기 입력 미디어 파일과 함께 제공될 광고를 선택하는 단계;
    상기 입력 미디어 파일을 상기 선택된 광고와 함께 상기 사용자에게 제공하는 단계; 및
    상기 광고로부터 생성된 수익을 상기 작곡물의 컨텐츠 소유자에게 분배하는 단계
    를 수행하게 하는 상기 메모리에 저장된 명령들을 더 포함하는, 작곡물에 대한 소유권을 결정하는 시스템.
  25. 제20항에 있어서,
    상기 소유권 방침이 상기 작곡물에 대한 소유권 지분을 갖는 개체들 중 상기 작곡물에 대한 액세스 차단을 원하는 개체가 없고 상기 작곡물의 수익 창출을 원하지 않는 적어도 하나의 개체가 있음을 나타내는 경우, 상기 메모리는 상기 프로세서로 하여금 상기 입력 미디어 파일을 추적하게 하는 명령들을 더 저장하는, 작곡물에 대한 소유권을 결정하는 시스템.
  26. 제18항에 있어서,
    상기 입력 미디어 파일은 비디오 클립을 포함하고, 상기 오디오 클립은 상기 비디오 클립의 오디오 트랙을 포함하는, 작곡물에 대한 소유권을 결정하는 시스템.
  27. 프로세서; 및
    상기 프로세서에 연결되어, 상기 프로세서로 하여금,
    오디오 클립을 포함한 입력 미디어 파일을 수신하는 단계;
    상기 오디오 클립에 구현된 제1 작곡물의 제1 레코딩물을 나타내는 입력 오디오 지문을 생성하는 단계;
    참조 데이터베이스에서 상기 입력 오디오 지문과 매치하는 참조 오디오 지문을 질의하는 단계로서, 상기 참조 데이터베이스에 있는 각 참조 오디오 지문은 작곡물을 구현하는 레코딩물을 나타내는 것인, 상기 참조 데이터베이스에서 상기 참조 오디오 지문을 질의하는 단계; 및
    상기 입력 오디오 지문에 대한 매칭 참조 오디오 지문이 검출되는 경우, 상기 매칭 참조 오디오 지문에 연관된 소유권 정보로부터 상기 제1 레코딩물에 대한 소유권 정보를 결정하는 단계;
    상기 입력 오디오 지문에 대한 매칭 참조 오디오 지문이 검출되지 않는 경우,
    입력 멜로디 지문은 상기 제1 작곡물의 멜로디를 나타내는 것으로, 상기 제1 작곡물의 연주를 실행 또는 기록하는데 사용되는 파라미터들에 따라 변하지 않는 것이며, 상기 오디오 클립에 대한 상기 입력 멜로디 지문을 생성하는 단계;
    참조 데이터베이스에 있는 각 참조 멜로디 지문은 참조 레코딩물에 구현된 작곡물의 멜로디를 나타내는 것이며, 상기 참조 데이터베이스에서 상기 입력 멜로디 지문과 매치하는 참조 멜로디 지문을 질의하는 단계; 및
    상기 입력 멜로디 지문에 대한 매칭 참조 멜로디 지문이 검출되는 경우, 상기 매칭 참조 멜로디 지문에 연관된 소유권 정보로부터 상기 제1 작곡물에 대한 소유권 정보를 결정하는 단계;
    를 수행하게 하는 명령을 저장하는 메모리;
    를 포함하는, 레코딩물에 대한 소유권을 결정하는 시스템.
  28. 제27항에 있어서,
    상기 입력 오디오 지문에 대한 참조 오디오 지문이 검출되는 경우, 상기 매칭 참조 오디오 지문에 연관된 소유권 정보로부터 상기 제1 작곡물에 대한 소유권 정보를 결정하는 단계를 더 포함하는, 레코딩물에 대한 소유권을 결정하는 시스템.
  29. 제27항에 있어서,
    상기 매칭 참조 멜로디 지문은 상기 작곡물의 제1 녹음 연주로부터 획득되며, 상기 매칭 오디오 지문은 상기 제1 녹음 연주와 상이한 상기 작곡물의 제2 녹음 연주로부터 획득되는, 레코딩물에 대한 소유권을 결정하는 시스템.
  30. 오디오 작곡물 소유권에 대한 검색가능 참조 데이터베이스를 생성하는 시스템에 있어서,프로세서; 및
    상기 프로세서에 연결되어, 상기 프로세서로 하여금,
    작곡물을 구현한 참조 레코딩물과, 상기 작곡물에 대한 소유권을 가지는 하나 이상의 개체들을 나타내는 작곡물 소유권 정보를 수신하는 단계;
    멜로디 지문을 상기 참조 레코딩물로부터 생성하는 단계로서, 상기 멜로디 지문은 상기 작곡물의 연주를 실행 또는 기록하는데 사용되는 파라미터들에 영향을 받지 않는 방식으로 상기 참조 레코딩물에 구현된 상기 작곡물의 멜로디를 나타내는 것이며, 상기 멜로디 지문을 상기 참조 레코딩물로부터 생성하는 단계; 및
    상기 멜로디 지문과 상기 연관된 작곡물 소유권 정보를 상기 검색가능 참조 데이터베이스에 저장하는 단계;
    를 수행하게 하는 명령을 저장하는 메모리;
    를 포함하는, 상기 시스템.
  31. 제30항에 있어서,
    상기 멜로디 지문은 상기 작곡물이 연주되는 키, 상기 참조 레코딩물을 제작하는데 사용되는 악기, 또는 상기 참조 레코딩물을 기록하는데 사용되는 기악편성에 따라 변하지 않는, 상기 시스템.
  32. 제30항에 있어서,
    상기 메모리는 상기 프로세서로 하여금,
    상기 참조 레코딩물을 나타내는 오디오 지문을 생성하는 단계;
    상기 참조 레코딩물에 대한 소유권을 가지는 하나 이상의 개체들을 나타내는 참조 레코딩물 소유권 정보를 수신하는 단계; 및
    상기 오디오 지문과 상기 연관된 참조 레코딩물 소유권 정보를 상기 검색가능 참조 데이터베이스에 저장하는 단계;
    를 수행하게 하는 명령을 더 저장하는, 상기 시스템.
  33. 제30항에 있어서,
    상기 작곡물 소유권 정보는 상기 참조 레코딩물로 구현된 상기 작곡물의 식별된 곡명과 작곡자를 포함하는, 상기 시스템.
  34. 제30항에 있어서,
    상기 작곡물 소유권 정보는 소유권 방침을 더 포함하되, 상기 소유권 방침은 사용자가 업로드한 미디어에 동반한 소유권을 실행하는 방법을 나타내며, 상기 사용자가 업로드한 미디어는 상기 참조 멜로디 지문과 매치하는 멜로디 지문을 갖는 것인, 상기 시스템.
KR20137014873A 2010-11-12 2011-11-10 멜로디 식별을 이용한 미디어 권한 관리 KR101489107B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/945,216 US8584197B2 (en) 2010-11-12 2010-11-12 Media rights management using melody identification
US12/945,216 2010-11-12
PCT/US2011/060169 WO2012064945A2 (en) 2010-11-12 2011-11-10 Media rights management using melody identification

Publications (2)

Publication Number Publication Date
KR20130131365A true KR20130131365A (ko) 2013-12-03
KR101489107B1 KR101489107B1 (ko) 2015-02-03

Family

ID=46048630

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20137014873A KR101489107B1 (ko) 2010-11-12 2011-11-10 멜로디 식별을 이용한 미디어 권한 관리

Country Status (7)

Country Link
US (2) US8584197B2 (ko)
EP (1) EP2638520A4 (ko)
JP (1) JP5726317B2 (ko)
KR (1) KR101489107B1 (ko)
CN (1) CN103314389B (ko)
CA (1) CA2817340A1 (ko)
WO (1) WO2012064945A2 (ko)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101983403B (zh) 2008-07-29 2013-05-22 雅马哈株式会社 演奏相关信息输出装置、具有演奏相关信息输出装置的系统、以及电子乐器
JP5782677B2 (ja) * 2010-03-31 2015-09-24 ヤマハ株式会社 コンテンツ再生装置および音声処理システム
US10409850B2 (en) * 2011-03-02 2019-09-10 T-Mobile Usa, Inc. Preconfigured media file uploading and sharing
EP2573761B1 (en) 2011-09-25 2018-02-14 Yamaha Corporation Displaying content in relation to music reproduction by means of information processing apparatus independent of music reproduction apparatus
US9715581B1 (en) * 2011-11-04 2017-07-25 Christopher Estes Digital media reproduction and licensing
JP5494677B2 (ja) 2012-01-06 2014-05-21 ヤマハ株式会社 演奏装置及び演奏プログラム
US9684715B1 (en) * 2012-03-08 2017-06-20 Google Inc. Audio identification using ordinal transformation
US8735708B1 (en) 2012-10-28 2014-05-27 Google Inc. System and method for synchronizing tag history
US9336360B1 (en) 2013-03-14 2016-05-10 Kobalt Music Group Limited Analysis and display of a precis of global licensing activities
US10319040B1 (en) 2013-03-14 2019-06-11 Ktech Services Limited Control of the generation and display of royalty administration and rights management data based on the user's rights of access
USD773492S1 (en) 2013-03-15 2016-12-06 Kobalt Music Group Limited Display screen with a graphical user interface
USD773490S1 (en) 2013-03-15 2016-12-06 Kobalt Music Group Limited Display screen with a graphical user interface
US10397626B2 (en) * 2013-03-15 2019-08-27 Ipar, Llc Systems and methods for providing access to rights holder defined video clips
USD773491S1 (en) 2013-03-15 2016-12-06 Kobalt Music Group Limited Display screen with a graphical user interface
KR102255152B1 (ko) * 2014-11-18 2021-05-24 삼성전자주식회사 가변적인 크기의 세그먼트를 전송하는 컨텐츠 처리 장치와 그 방법 및 그 방법을 실행하기 위한 컴퓨터 프로그램
US9704488B2 (en) * 2015-03-20 2017-07-11 Microsoft Technology Licensing, Llc Communicating metadata that identifies a current speaker
US11107173B2 (en) * 2016-02-10 2021-08-31 SoundExchange, Inc. Usage data management system and method
US11042927B2 (en) * 2016-04-21 2021-06-22 Skye Peters Electronic marketplace for creative works
US10003847B2 (en) 2016-04-22 2018-06-19 Google Llc Watch-time clustering for improving video searches, selection and provision
GB2556023B (en) * 2016-08-15 2022-02-09 Intrasonics Sarl Audio matching
US10713296B2 (en) 2016-09-09 2020-07-14 Gracenote, Inc. Audio identification based on data structure
US10803119B2 (en) 2017-01-02 2020-10-13 Gracenote, Inc. Automated cover song identification
US20180322901A1 (en) * 2017-05-03 2018-11-08 Hey Platforms DMCC Copyright checking for uploaded media
US10713335B2 (en) * 2017-08-28 2020-07-14 Visa International Service Association System, method, and apparatus for detecting unlicensed performances of copyrighted creative works
JP7090098B2 (ja) * 2017-10-31 2022-06-23 Ｌｉｎｅ株式会社 情報処理方法、情報処理装置及びプログラム
CN110322886A (zh) * 2018-03-29 2019-10-11 北京字节跳动网络技术有限公司 一种音频指纹提取方法及装置
US11550878B2 (en) * 2018-04-13 2023-01-10 Dubset Media Holdings, Inc. Media content processing techniques for rights and clearance management
US11025354B2 (en) 2019-07-19 2021-06-01 Ibiquity Digital Corporation Targeted fingerprinting of radio broadcast audio
WO2021101577A1 (en) 2019-11-19 2021-05-27 Google Llc Methods, systems, and media for rights management of embedded sound recordings using composition clustering
US11615772B2 (en) * 2020-01-31 2023-03-28 Obeebo Labs Ltd. Systems, devices, and methods for musical catalog amplification services
CN116259292B (zh) * 2023-03-23 2023-10-20 广州资云科技有限公司 基调和音阶的识别方法、装置、计算机设备和存储介质

Family Cites Families (84)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4506580A (en) * 1982-02-02 1985-03-26 Nippon Gakki Seizo Kabushiki Kaisha Tone pattern identifying system
US4999773A (en) * 1983-11-15 1991-03-12 Manfred Clynes Technique for contouring amplitude of musical notes based on their relationship to the succeeding note
US4896576A (en) * 1987-07-30 1990-01-30 Casio Computer Co., Ltd. Accompaniment line principal tone determination system
JP2638816B2 (ja) 1987-07-30 1997-08-06 カシオ計算機株式会社 伴奏ライン基音決定装置
JPH01159697A (ja) * 1987-12-17 1989-06-22 Matsushita Electric Ind Co Ltd 音声認識装置
JP2969527B2 (ja) * 1990-03-27 1999-11-02 日通工株式会社 メロディ認識装置及びそれに使用されるメロディ情報抽出装置
US5451709A (en) * 1991-12-30 1995-09-19 Casio Computer Co., Ltd. Automatic composer for composing a melody in real time
US6122403A (en) * 1995-07-27 2000-09-19 Digimarc Corporation Computer system linked by using information in data objects
JPH1115468A (ja) * 1997-05-01 1999-01-22 N T T Data:Kk 楽曲検索方法、楽曲検索装置、楽曲検索システム、及び記録媒体
US6766946B2 (en) * 1997-10-16 2004-07-27 Dentsu, Inc. System for granting permission of user's personal information to third party
JP2000036781A (ja) * 1998-07-17 2000-02-02 Sony Corp 著作権管理装置、著作物配信装置および著作物配信受信システム
US6389403B1 (en) 1998-08-13 2002-05-14 International Business Machines Corporation Method and apparatus for uniquely identifying a customer purchase in an electronic distribution system
US6912528B2 (en) * 2000-01-18 2005-06-28 Gregg S. Homer Rechargeable media distribution and play system
JP2001265779A (ja) * 2000-03-16 2001-09-28 Hitachi Ltd 音響検索方法
CN100538701C (zh) * 2000-07-31 2009-09-09 兰德马克数字服务公司 用于从媒体样本辨认媒体实体的方法
US7085613B2 (en) 2000-11-03 2006-08-01 International Business Machines Corporation System for monitoring audio content in a video broadcast
US6574594B2 (en) * 2000-11-03 2003-06-03 International Business Machines Corporation System for monitoring broadcast audio content
US7043473B1 (en) 2000-11-22 2006-05-09 Widevine Technologies, Inc. Media tracking system and method
DE10058811A1 (de) * 2000-11-27 2002-06-13 Philips Corp Intellectual Pty Verfahren zur Identifizierung von Musikstücken
US7072867B2 (en) * 2000-11-30 2006-07-04 International Business Machines Corporation System and method for third party logging server
US7266704B2 (en) * 2000-12-18 2007-09-04 Digimarc Corporation User-friendly rights management systems and methods
JP2002269276A (ja) 2001-01-05 2002-09-20 Sony Corp 著作物管理方法および装置
US20030088686A1 (en) * 2001-01-19 2003-05-08 Jennings Charles A. System and method for streaming media
JP2002259609A (ja) * 2001-03-05 2002-09-13 Sony Corp 権利処理促進装置、権利処理促進方法、権利処理促進プログラムおよび記録媒体
US7363278B2 (en) * 2001-04-05 2008-04-22 Audible Magic Corporation Copyright detection and protection system and method
DE60236161D1 (de) * 2001-07-20 2010-06-10 Gracenote Inc Automatische identifizierung von klangaufzeichnungen
KR20040076288A (ko) 2002-02-05 2004-08-31 마츠시타 덴끼 산교 가부시키가이샤 분산형 ｉｐｍｐ 장치의 메시징 및 ｍｐｅｇ ｉｐｍｐ콘텐츠에 권리를 싣는 방법
US7502945B2 (en) 2002-06-28 2009-03-10 Microsoft Corporation Using a flexible rights template to obtain a signed rights label (SRL) for digital content in a rights management system
US7249060B2 (en) 2002-08-12 2007-07-24 Paybyclick Corporation Systems and methods for distributing on-line content
EP1573462A2 (en) * 2002-10-28 2005-09-14 Gracenote, Inc. Personal audio recording system
US20060065102A1 (en) * 2002-11-28 2006-03-30 Changsheng Xu Summarizing digital audio data
US7308573B2 (en) 2003-02-25 2007-12-11 Microsoft Corporation Enrolling / sub-enrolling a digital rights management (DRM) server into a DRM architecture
DE10313875B3 (de) * 2003-03-21 2004-10-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Analysieren eines Informationssignals
US7323629B2 (en) * 2003-07-16 2008-01-29 Univ Iowa State Res Found Inc Real time music recognition and display system
JP4212446B2 (ja) * 2003-09-30 2009-01-21 ヤマハ株式会社 カラオケ装置
JP2005115164A (ja) * 2003-10-09 2005-04-28 Denso Corp 楽曲検索装置
US20050086052A1 (en) * 2003-10-16 2005-04-21 Hsuan-Huei Shih Humming transcription system and methodology
JP2005141413A (ja) * 2003-11-05 2005-06-02 Sony Corp 情報処理装置及びその情報処理方法、並びにデータ通信システム及びデータ通信方法
EP1687803A4 (en) * 2003-11-21 2007-12-05 Agency Science Tech & Res METHOD AND APPARATUS FOR MATCHING AND REPRESENTING MELODIES FOR EXTRACTING MUSIC
WO2005079510A2 (en) 2004-02-17 2005-09-01 Auditude.Com, Inc. Generation of a media content database by correlating repeating media content in media streams
US20050197724A1 (en) * 2004-03-08 2005-09-08 Raja Neogi System and method to generate audio fingerprints for classification and storage of audio clips
ATE510271T1 (de) * 2004-03-26 2011-06-15 Nokia Corp Mobilstation und schnittstelle, ausgelegt für merkmalextraktion aus einer eingangs-media-probe
JP4333455B2 (ja) 2004-04-09 2009-09-16 ソニー株式会社 コンテンツ再生装置，プログラム及びコンテンツ再生制御方法
KR20060019096A (ko) * 2004-08-26 2006-03-03 주식회사 케이티 허밍 기반의 음원 질의/검색 시스템 및 그 방법
KR100676863B1 (ko) * 2004-08-31 2007-02-02 주식회사 코난테크놀로지 음악 검색 서비스 제공 시스템 및 방법
US20060095323A1 (en) 2004-11-03 2006-05-04 Masahiko Muranami Song identification and purchase methodology
US8660961B2 (en) * 2004-11-18 2014-02-25 Contentguard Holdings, Inc. Method, system, and device for license-centric content consumption
EP1785891A1 (en) * 2005-11-09 2007-05-16 Sony Deutschland GmbH Music information retrieval using a 3D search algorithm
US7711837B2 (en) * 2005-12-13 2010-05-04 Microsoft Corporation Transmission of business rules to portable devices
AP2008004559A0 (en) * 2005-12-30 2008-08-31 World Charity Division License Genius adaptive design
KR100749045B1 (ko) * 2006-01-26 2007-08-13 삼성전자주식회사 음악 내용 요약본을 이용한 유사곡 검색 방법 및 그 장치
SE528839C2 (sv) * 2006-02-06 2007-02-27 Mats Hillborg Melodigenerator
US7555464B2 (en) * 2006-03-01 2009-06-30 Sony Corporation Multiple DRM management
US20070217648A1 (en) 2006-03-02 2007-09-20 Thomas Muehlbauer Fingerprinting Digital Media Content
US20070220592A1 (en) 2006-03-02 2007-09-20 Thomas Muehlbauer Comparing Media Files Against Database Content
US8324492B2 (en) 2006-04-21 2012-12-04 Vergence Entertainment Llc Musically interacting devices
US20070265969A1 (en) * 2006-05-15 2007-11-15 Apple Computer, Inc. Computerized management of media distribution agreements
US7707224B2 (en) * 2006-11-03 2010-04-27 Google Inc. Blocking of unlicensed audio content in video files on a video hosting website
EP2080303A4 (en) * 2006-11-03 2013-07-03 Google Inc CONTENT MANAGEMENT SYSTEM
US20080228578A1 (en) 2007-01-25 2008-09-18 Governing Dynamics, Llc Digital rights management and data license management
KR20090000217A (ko) 2007-02-02 2009-01-07 홍현일 온라인을 통한 저작권관리 방법과 저작권관리 시스템
US7979464B2 (en) * 2007-02-27 2011-07-12 Motion Picture Laboratories, Inc. Associating rights to multimedia content
CN101271457B (zh) * 2007-03-21 2010-09-29 中国科学院自动化研究所 一种基于旋律的音乐检索方法及装置
US8283546B2 (en) * 2007-03-28 2012-10-09 Van Os Jan L Melody encoding and searching system
US20080240490A1 (en) * 2007-03-30 2008-10-02 Microsoft Corporation Source authentication and usage tracking of video
KR100862616B1 (ko) * 2007-04-17 2008-10-09 한국전자통신연구원 인덱스 정보를 이용한 오디오 핑거프린트 검색 시스템 및방법
TW200926033A (en) * 2007-07-18 2009-06-16 Steven Kays Adaptive electronic design
US20090037558A1 (en) 2007-08-03 2009-02-05 Infoflows Corporation Digital content management system and methods
US8084677B2 (en) * 2007-12-31 2011-12-27 Orpheus Media Research, Llc System and method for adaptive melodic segmentation and motivic identification
DE102008013172B4 (de) * 2008-03-07 2010-07-08 Neubäcker, Peter Verfahren zur klangobjektorientierten Analyse und zur notenobjektorientierten Bearbeitung polyphoner Klangaufnahmen
JP2009244567A (ja) * 2008-03-31 2009-10-22 Brother Ind Ltd メロディライン特定システムおよびプログラム
US20090307409A1 (en) * 2008-06-06 2009-12-10 Apple Inc. Device memory management
US20100023328A1 (en) * 2008-07-28 2010-01-28 Griffin Jr Paul P Audio Recognition System
US8276184B2 (en) * 2008-08-05 2012-09-25 International Business Machines Corporation User-centric resource architecture
CN101493918A (zh) * 2008-10-21 2009-07-29 深圳市牧笛科技有限公司 在线音乐盗版监控方法和系统
US8364657B2 (en) 2008-10-31 2013-01-29 Disney Enterprises, Inc. System and method for providing media content
US8751494B2 (en) * 2008-12-15 2014-06-10 Rovi Technologies Corporation Constructing album data using discrete track data from multiple sources
CN102405495B (zh) 2009-03-11 2014-08-06 谷歌公司 使用稀疏特征对信息检索进行音频分类
US8168876B2 (en) * 2009-04-10 2012-05-01 Cyberlink Corp. Method of displaying music information in multimedia playback and related electronic device
CN102474366A (zh) * 2009-08-12 2012-05-23 英国电讯有限公司 通信系统
US8049093B2 (en) * 2009-12-30 2011-11-01 Motorola Solutions, Inc. Method and apparatus for best matching an audible query to a set of audible targets
CN102236685A (zh) * 2010-05-07 2011-11-09 盛乐信息技术（上海）有限公司 一种基于音频指纹技术的本地音乐信息重获方法
US8158870B2 (en) * 2010-06-29 2012-04-17 Google Inc. Intervalgram representation of audio for melody recognition
US8495086B2 (en) * 2010-10-21 2013-07-23 International Business Machines Corporation Verifying licenses of musical recordings with multiple soundtracks

Also Published As

Publication number Publication date
US9142000B2 (en) 2015-09-22
US20140040088A1 (en) 2014-02-06
JP5726317B2 (ja) 2015-05-27
CN103314389B (zh) 2016-07-06
JP2014503871A (ja) 2014-02-13
CA2817340A1 (en) 2012-05-18
CN103314389A (zh) 2013-09-18
KR101489107B1 (ko) 2015-02-03
EP2638520A4 (en) 2014-05-21
EP2638520A2 (en) 2013-09-18
WO2012064945A2 (en) 2012-05-18
US8584197B2 (en) 2013-11-12
US20120123831A1 (en) 2012-05-17
WO2012064945A3 (en) 2012-07-05

Similar Documents

Publication Publication Date Title
KR101489107B1 (ko) 멜로디 식별을 이용한 미디어 권한 관리
US9396312B2 (en) Syndication including melody recognition and opt out
US8627500B2 (en) Methods and apparatus for sharing, transferring and removing previously owned digital media
US20160188979A1 (en) Method and system for audio-video signal processing
US20110015968A1 (en) Automated media and content reporting system for broadcast media
KR20110055698A (ko) 컬렉션 프로필을 기반으로 한 통신을 위한 컬렉션 프로필 생성 장치 및 방법
US20170116694A1 (en) System and method for monitoring a digital work
US20210049509A1 (en) Blockchain-based method and apparatus for rewarding work performer
US11954147B1 (en) Methods, systems, and media for tracking content items
US20130339154A1 (en) System and method for assembling personalized offers
US12141882B2 (en) Methods, systems, and media for rights management of embedded sound recordings using composition clustering
KR20070074225A (ko) 콘텐츠와 콘텐츠를 활용하는 프로그램의 판매 및 판매된콘텐츠를 통합관리하고 사용할 수 있도록 지원하는전자상거래 시스템에 관한 구현방법
Rosenblatt THE GLOBAL DIGITAL MUSIC LANDSCAPE
US20140279978A1 (en) Mass customization of media and statistical projection from mass customized media

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20130610

Patent event code: PA01051R01D

Comment text: International Patent Application

A201 Request for examination
A302 Request for accelerated examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20131105

Comment text: Request for Examination of Application

PA0302 Request for accelerated examination

Patent event date: 20131105

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

PG1501 Laying open of application
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140314

Patent event code: PE09021S01D

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20140710

Patent event code: PE09021S01D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20141114

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20150127

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20150127

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20180110

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20180110

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20190111

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20190111

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20210115

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20230112

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20240110

Start annual number: 10

End annual number: 10