KR100676863B1 - 음악 검색 서비스 제공 시스템 및 방법 - Google Patents

음악 검색 서비스 제공 시스템 및 방법 Download PDF

Info

Publication number
KR100676863B1
KR100676863B1 KR20040068870A KR20040068870A KR100676863B1 KR 100676863 B1 KR100676863 B1 KR 100676863B1 KR 20040068870 A KR20040068870 A KR 20040068870A KR 20040068870 A KR20040068870 A KR 20040068870A KR 100676863 B1 KR100676863 B1 KR 100676863B1
Authority
KR
South Korea
Prior art keywords
music
information
query
search
user
Prior art date
Application number
KR20040068870A
Other languages
English (en)
Other versions
KR20060020114A (ko
Inventor
박만수
임상혁
양승현
신동호
신형주
Original Assignee
주식회사 코난테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코난테크놀로지 filed Critical 주식회사 코난테크놀로지
Priority to KR20040068870A priority Critical patent/KR100676863B1/ko
Publication of KR20060020114A publication Critical patent/KR20060020114A/ko
Application granted granted Critical
Publication of KR100676863B1 publication Critical patent/KR100676863B1/ko

Links

Images

Abstract

본 발명은 사용자의 단말기에 입력된 질의 음악 신호 또는 메타 정보에 기초하여, 소정의 음악 검색 서버로부터 사용자가 원하는 음악 컨텐츠를 검색하여 그 검색 결과를 사용자에게 제공하기 위한 시스템 및 방법에 관한 것이다.
본 발명에 따른 음악 검색 서비스 제공 시스템은 사용자의 단말기와 음악 검색 서버를 연결하는 인터넷을 통하여 음악 검색 서비스를 제공하기 위한 시스템에 있어서, 상기 사용자 단말기는 사용자로부터 질의 음악 신호를 입력받기 위한 제1 입력 수단, 상기 질의 음악 신호로부터 멜로디 패턴을 생성하는 멜로디 패턴 생성 수단, 상기 멜로디 패턴에 기초하여 질의 정보를 생성하는 질의 구성 수단을 포함하고, 상기 음악 검색 서버는 상기 인터넷을 통하여 상기 사용자 단말기로부터 상기 생성된 질의 정보를 수신하는 검색 요구 수신부, 상기 질의 정보와 연관된 음악을 식별할 수 있는 색인 정보를 포함하는 색인 수단, 상기 색인 정보에 대응하는 음악 컨텐츠 정보를 저장하는 데이터베이스, 및 상기 수신한 질의 정보와 연관된 색인 정보를 상기 색인 수단으로부터 식별하고, 상기 식별된 색인 정보와 연관된 음악 컨텐츠 정보를 상기 데이터베이스로부터 검색하는 검색 수행 수단을 포함하는 것을 특징으로 하는 음악 검색 서비스 제공 시스템이 제공 된다.
본 발명에 따르면, 음악 검색에 있어서, 메타 정보 및 질의 음악 신호를 각각 또는 동시에 음악 검색에 사용함으로써, 보다 정밀한 검색 결과를 획득하는 효과를 갖는다. 또한, 사용자 단말기에서 음악 검색 서버로 질의 음악 신호를 송신하 기 이전에 오디오 신호 설정 제어를 자동으로 수행함으로써, 검색의 정확도를 보다 향상시키고, 음악을 구성하는 별도의 구간별로 색인 정보에 기초하여 검색함으로써, 사용자에게 보다 유용한 음악 검색 정보를 제공하며, 소량의 질의 정보의 전송을 통하여, 네트워크의 전송량을 줄이고, 음악 검색 서버의 부하를 감소시킨다.
멀티 모달, 음악 검색, 사운드 장치 제어, 메타 정보, 패턴 매칭, 멜로디 패턴

Description

음악 검색 서비스 제공 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING MUSIC SEARCH SERVICE}
도 1은 본 발명에 따른 음악 검색 서비스 제공 시스템의 네트워크 구성도를 도시한 도면이다.
도 2는 본 발명에 따른 음악 검색 서비스 제공 시스템의 내부 구성을 나타낸 블록도이다.
도 3a는 제1 입력 수단을 통한 질의 음악 신호의 입력에 있어서, 입력 형태를 선택하기 위하여 사용자에게 제공되는 화면을 도시한 것이다.
도 3b는 오디오 신호 설정 제어 수단의 자동 설정의 일례로 볼륨 콘트롤러의 자동 설정을 도시한 도면이다.
도 3c 내지 도 3d는 오디오 신호 설정 제어 수단의 자동 설정의 일례로서 녹음 콘트롤러의 자동 설정을 도시한 도면이다.
도 4는 본 발명에 따른 오디오 신호 설정 제어 수단에서 수행되는 신호 설정 흐름을 도시한 도면이다.
도 5는 본 발명에 따른 멜로디 패턴 생성 수단의 상세한 구성을 구체적으로 도시한 도면이다.
도 6a는 본 발명의 바람직한 일실시예에 따른 색인 수단의 데이터베이스 구 조를 도시한 도면이다.
도 6b는 본 발명의 바람직한 일실시예에 따른 음악 컨텐츠의 데이터베이스 구조를 도시한 도면이다.
도 6c는 사용자가 입력한 질의 음악 신호 및 메타 정보에 기초하여 검색된 음악 컨텐츠의 결과를 사용자 단말기로 디스플레이 하는 일례를 도시한 도면이다.
도 7은 본 발명의 멜로디 패턴의 생성에 대한 일례로서, 피치 히스토그램을 이용한 멜로디 패턴 생성을 도시한 도면이다.
도 8은 검색 수행 수단에서 질의 정보 구성에 따른 검색 수행 절차를 도시한 도면이다.
도 9는 본 발명에 따른 음악 검색 서비스 제공 방법의 흐름을 도시한 흐름도이다.
도 10은 본 발명에 따른 음악 검색 서비스 제공 방법을 수행하는데 채용될 수 있는 범용 컴퓨터 장치의 내부 블록도이다.
<도면의 주요 부분에 대한 부호의 설명>
200 : 사용자 단말기
210 : 제1 입력 수단
220 : 제2 입력 수단
230 : 오디오 신호 설정 제어 수단
240 : 멜로디 패턴 생성 수단
250 : 질의 구성 수단
201 : 음악 검색 서버
260 : 검색 요구 수신부
270 : 검색 수행 수단
280 : 색인 수단
290 : 데이터베이스
본 발명은 사용자의 단말기에 입력된 질의 음악 신호 또는 메타 정보에 기초하여, 소정의 음악 검색 서버로부터 사용자가 원하는 음악 컨텐츠를 검색하여 그 검색 결과를 사용자에게 제공하기 위한 시스템 및 방법에 관한 것이다.
최근, 초고속 데이터 통신망의 발달로 많은 사람들이 인터넷을 이용하고 있으며, 이러한 인터넷 이용의 증대와 함께 다양한 멀티미디어 데이터를 제공하는 서비스가 생겨나게 되었다. 가장 대표적인 멀티미디어 데이터 서비스 중의 하나인 음악 제공 서비스 역시 수많은 웹사이트의 등장과 함께 다양한 유틸리티의 개발로 활발하게 발전을 거듭하고 있다. 일반적으로, 음악을 제공하는 웹사이트는 사용자가 지정한 음악을 전송하는 기본적인 기능 이외에 사용자가 원하는 음악을 검색하는 기능도 추가로 제공하고 있다.
음악 검색을 위하여 사용자는 자신이 검색하고자 하는 음악과 연관된 가사, 가수 이름, 장르, 발표 연도를 포함하는 텍스트 기반의 정보를 입력하게 된다. 그 러나, 텍스트 기반의 검색 방법은 사용자에게 있어 음악에 관한 텍스트 정보가 기억나지 않거나 모르는 경우 또는 극히 일부분만을 기억하는 경우에는 사용할 수가 없다는 문제를 가지고 있다. 이에, 실제 음악 신호 자체를 검색에 이용하는 음악 내용을 기반으로 하는 검색 방법의 도입이 필요하게 되었다.
내용 기반 음악 검색 방식은 사용자가 기억하고 있는 텍스트 정보가 불확실한 경우에 활용될 수 있다. 이러한 내용 기반 음악 검색 방법은 사용자가 내용을 단편적으로 기억하는 멜로디를 흥얼거리는 허밍(Humming) 방식과 음악 신호 자체를 질의로 사용하는 방식으로 나누어 질 수 있다. 음악 신호 자체는 마이크를 통해 외부로부터 오디오 신호가 입력되거나, 사용자 단말기 내부의 음악 신호로부터 획득하는 경우로 세분화될 수 있다. 상기 허밍(Humming) 방식의 경우는 음악의 멜로디 정보를 이용하여 스트링 기반의 유사도 매칭을 통해 미디(MIDI) 형식의 음악을 기반으로 하는 검색 방식이 사용되기도 한다.
그러나, 일반적인 대중 음악의 경우 단 선율이 아닌 복합 선율로 이루어져 있고, 가수의 목소리도 포함되어 있어서, 미디 형식으로 정확히 변환하기에는 기술적인 제약이 따르고, 기존의 방대한 양의 음악 데이터를 미디 형식으로 다시 제작하기도 어렵다. 또한, 사용자가 기억하는 음악의 허밍(Humming) 방식의 멜로디는 정확성이 결여된 경우가 대부분이다. 따라서, 텍스트 기반 및 내용 기반의 검색 방법 모두 제각기 단점을 안고 있기에 어느 하나의 방식을 택할 경우 사용자가 원하는 음악을 효과적으로 검색하여 제공할 수 없다는 한계를 안고 있다.
또다른 문제점으로서, 마이크 입력을 필요로 하는 종래의 방법에 있어서, 사 운드 장치들의 요소가 주파수 특성에 영향을 주어 오디오 신호 왜곡의 원인이 된다. 일례로, 스피커가 다채널로 구성되어 우퍼와 같이 주파수 특성에 영향을 주는 경우이거나, 스피커 볼륨이 너무 크거나 마이크와 스피커의 거리가 근접하여 PCM 형식에서 소정의 입력 레벨의 범위를 초과하는 경우이거나, 또는 배경 잡음이 마이크로 입력 되는 경우에는 상기의 방식을 음악 검색에 사용하는 것은 많은 기술적 제약이 따른다.
또다른 문제점으로서, 종래의 음악 검색 방법은 사용자 단말기로부터 검색 서비스를 제공하는 소정의 웹서버로 검색하고자 하는 오디오 데이터(예를 들어 오디오 신호 자체)를 직접 전송하게 됨으로써, 데이터 전송량의 증가에 따른 네트워크의 과부하 및 서버의 처리 용량에 부담을 야기하는 문제점을 안고 있다.
본 발명은 상기와 같은 종래기술을 개선하기 위해 안출된 것으로서, 음악 검색에 있어서, 메타 정보 및 질의 음악 신호를 각각 또는 동시에 음악 검색에 사용함으로써, 보다 정밀한 검색 결과를 획득하기 위한 것을 목적으로 한다.
본 발명의 다른 목적은, 사용자 단말기에서 음악 검색 서버로 질의 음악 신호를 송신하기 이전에 오디오 신호 설정 제어를 자동으로 수행함으로써, 검색의 정확도를 보다 향상시키는 것이다.
본 발명의 또다른 목적은, 음악을 구성하는 별도의 구간별로 색인 정보에 기초하여 검색함으로써, 사용자에게 보다 유용한 음악 검색 정보를 제공하는 것이다.
본 발명의 또다른 목적은, 소량의 질의 정보의 전송을 통하여, 네트워크의 전송량을 줄이고, 음악 검색 서버의 부하를 감소시키는 것이다.
상기의 목적을 이루고 종래기술의 문제점을 해결하기 위하여, 사용자의 단말기와 음악 검색 서버를 연결하는 인터넷을 통하여 음악 검색 서비스를 제공하기 위한 시스템에 있어서, 상기 사용자 단말기는 사용자로부터 질의 음악 신호를 입력받기 위한 제1 입력 수단, 상기 질의 음악 신호로부터 멜로디 패턴을 생성하는 멜로디 패턴 생성 수단; 상기 멜로디 패턴에 기초하여 질의 정보를 생성하는 질의 구성 수단을 포함하고, 상기 음악 검색 서버는 상기 인터넷을 통하여 상기 사용자 단말기로부터 상기 생성된 질의 정보를 수신하는 검색 요구 수신부, 상기 질의 정보와 연관된 음악을 식별할 수 있는 색인 정보를 포함하는 색인 수단, 상기 색인 정보에 대응하는 음악 컨텐츠 정보를 저장하는 데이터베이스, 및 상기 수신한 질의 정보와 연관된 색인 정보를 상기 색인 수단으로부터 식별하고, 상기 식별된 색인 정보와 연관된 음악 컨텐츠 정보를 상기 데이터베이스로부터 검색하는 검색 수행 수단 을 포함하는 것을 특징으로 하는 음악 검색 서비스 제공 시스템이 제공 된다.
또한, 사용자의 단말기와 음악 검색 서버를 연결하는 인터넷을 통하여 음악 검색 서비스를 제공하기 위한 방법에 있어서, 소정의 음악을 식별할 수 있는 색인 정보 및 상기 색인 정보에 상응하는 음악 컨텐츠 정보를 데이터베이스에 저장하고 유지하는 단계, 사용자로부터 질의 음악 신호 및 메타 정보를 입력받는 단계; 상기 질의 음악 신호로부터 멜로디 패턴을 생성하는 단계, 상기 멜로디 패턴 및 상기 메타 정보에 기초하여 질의 정보를 생성하는 단계, 상기 인터넷을 통하여 상기 사용 자 단말기로부터 상기 생성된 질의 정보를 상기 음악 검색 서버로 전송하는 단계, 상기 데이터베이스로부터 상기 질의 정보와 연관된 음악을 식별할 수 있는 색인 정보를 식별하는 단계; 상기 식별된 색인 정보에 대응하는 음악 컨텐츠 정보를 상기 데이터베이스로부터 검색하는 단계; 및 상기 검색된 음악 컨텐츠 정보를 상기 사용자 단말기로 전송하는 단계를 포함하는 것을 특징으로 하는 음악 검색 서비스 제공 방법이 제공 된다.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 음악 검색 서비스 제공 시스템 및 방법에 대하여 상세히 설명한다.
도 1은 본 발명에 따른 음악 검색 서비스 제공 시스템의 네트워크 구성도를 도시한 도면이다.
도 1에서 보는 바와 같이, 사용자 단말기는 인터넷 등의 통신망을 통하여, 소정의 음악 검색 서버와 연결되어 있다. 사용자는 사용자 단말기로 질의 음악 신호 또는 메타 정보를 입력한다. 상기 질의 음악 신호는 사용자 단말기에서 소정의 레벨 구간 이내로 신호의 크기가 먼저 조정되고, 조정된 신호로부터 멜로디 패턴이 추출되며, 추출된 멜로디 패턴을 메타 정보와 조합하여 질의 정보 형태로 음악 검색 서버로 전송 된다. 질의 정보를 수신한 음악 검색 서버는 멜로디 패턴에 기초하여, 색인 데이터베이스를 검색하고, 사용자로부터 수신한 질의 정보에 해당하는 검색 결과로서 음악 컨텐츠 정보를 사용자 단말기로 송신한다. 사용자 단말기는 상기 수신한 검색 결과를 사용자에게 음악 컨텐츠 정보의 형태로 디스플레이 한다.
상기 사용자 단말기라 함은 유무선 통신이 가능한 컴퓨터 단말기 또는 통신 단말기를 포함하고, 상기 질의 음악 신호는 사용자 단말기에서 재생되는 내부 음원의 캡쳐, 마이크를 통한 외부 음원의 녹음 또는 사전에 녹음하거나 일부 잘려진 파일 클립을 포함한다.
도 2는 본 발명에 따른 음악 검색 서비스 제공 시스템의 내부 구성을 나타낸 블록도이다.
도 2에서 보는 바와 같이, 본 발명에 따른 음악 검색 서비스 제공 시스템은 크게 사용자 단말기 및 음악 검색 서버를 포함한다.
먼저 사용자 단말기(200)는 제1 입력 수단(210), 제2 입력 수단(220), 오디오 신호 설정 제어 수단(230), 멜로디 패턴 생성 수단(240), 질의 구성 수단(250)을 포함한다. 이하, 각 구성요소 별로 그 기능을 상술하기로 한다.
사용자는 사용자 단말기로 상기 질의 음악 신호 또는 메타 정보를 입력하며, 상기 질의 음악 신호는 제1 입력 수단(210)을 통하여 입력된다.
본 발명에 따르면 제1 입력 수단(210) 이외에도, 제2 입력 수단(220)을 추가로 더 포함할 수 있으며 이러한 제2 입력 수단(220)을 통하여 메타 정보를 사용자로부터 입력 받게 된다. 따라서, 제1 입력 수단으로부터 입력된 질의 음악 신호에 추가하여 메타 정보를 함께 검색어로 활용할 수 있게 함으로써, 검색 정확도를 더욱 높일 수 있게 된다.
메타 정보라 함은 검색하고자 하는 음악 컨텐츠의 제목, 가수 이름, 가사, 발표 연도, 앨범명, 장르 중에서 적어도 하나 이상을 포함하며, 텍스트 형태를 가질 수 있다. 메타 정보의 입력을 위하여 제2 입력 수단(220)은 사용자에게 메타 정보를 입력 받을 수 있는 인터페이스 화면을 제공할 수 있다.
도 3a는 제1 입력 수단(210)을 통한 질의 음악 신호의 입력에 있어서, 입력 형태를 선택하기 위하여 사용자에게 제공되는 화면을 도시한 것이다. 본 발명에 따르면, 질의 음악 신호는 단말기 외부 또는 내부로부터 사용자의 선택에 의하여 자유로이 입력될 수 있다.
도 3a에서 보는 바와 같이, 사용자가 마이크를 선택한 경우(301), 질의 음악 신호 입력에 있어서 마이크를 통한 외부의 음원 신호가 입력된다. 상기 외부의 음원 신호라 함은, 사용자 단말기의 외부로부터 발생하는 음원으로서, 외부의 라디오, 텔레비전 컴퓨터 등의 외부 단말기로부터 발생하는 음원 신호를 포함한다.
사용자가 단말기 내부의 사운드를 선택한 경우(302), 사용자 단말기 내부 내부에서 재생되는 다양한 형태의 음원 신호에 기초하여 사운드 신호가 캡쳐되어, 질의 음악 신호가 생성된다. 일례로서, 컴퓨터 단말기에서 발생하는 특정 웹사이트의 배경음악, VOD, 비디오 파일, 인터넷 방송을 포함하는 내부의 음원 신호로부터 질의 음악 신호를 캡쳐할 수 있다.
또한, 질의 음악 신호의 형태로 파일 형태의 입력을 선택한 경우(303), 사전에 미리 녹음 하거나, 일부 잘려진 파일 클립을 포함하는 음악 파일 형태의 입력에 기초하여 검색을 수행한다. 상기 입력 형태(303)의 경우, 사전에 녹음 하기 때문에 오디오 신호 설정의 동작이 필요 없다.
오디오 신호 설정 제어 수단(230)은 제1 입력 수단을 통하여 입력된 상기 질의 음악 신호에 대하여, 사용자가 마이크를 통하여 외부로부터 획득하거나 사용자 단말기 내부에서 재생되는 음원 신호로부터 캡쳐하는 경우에 발생 가능한 오류를 최소화하기 위하여 자동으로 설정된다.
도 3b는 오디오 신호 설정 제어 수단(230)의 자동 설정의 일례로 볼륨 콘트롤러의 자동 설정을 도시한 도면이다.
도 3b에서 보는 바와 같이, 상기 사용자 단말기에서 마이크와 스피커가 동시에 사용될 경우에 발생할 수 있는 '삐~' 하는 잡음을 방지하기 위한 목적으로, 마이크 음소거('OFF')를 셋팅(304)하여 상기 마이크와 상기 스피커의 충돌을 방지할 수 있다.
도 3c 내지 도 3d는 오디오 신호 설정 제어 수단(230)의 자동 설정의 일례로서 녹음 콘트롤러의 자동 설정을 도시한 도면이다.
질의 음악 신호가 일반적인 웨이브 형식의 입력 레벨의 최대치를 초과하는 경우 질의 음악 신호가 클리핑(CLIPPING)되어 신호의 왜곡이 발생할 수 있고, 또 달리 신호의 크기가 미약한 경우에는 상대적으로 잡음의 영향이 커짐으로써 멜로디 패턴 생성시 왜곡이 발생하게 된다. 이에 본 발명에 따르면, 오디오 신호 설정 제어 수단(230)을 통하여 오디오 신호의 크기를 적정 레벨로 자동으로 조정함으로써 멜로디 패턴의 왜곡을 방지하게 된다.
일례로서, 도 3c에서 보는 바와 같이, 마이크 입력시 소정의 레벨 구간에서 신호의 크기가 미약(305)하다고 판단된 경우, 녹음 콘트롤러(306)의 마이크 입력 레벨의 볼륨이 상향 조정되고(너무 미약한 경우 고급 기능에서, 마이크 부스트 기능을 선택 함으로써 대략 20dB 정도 상향 가능), 이에 따라 소정의 레벨 구간에서 신호의 크기가 일정 레벨 이상으로 증폭된다(307). 결론적으로 신호대 잡음비(S/N)가 향상되어 신호의 왜곡이 줄어든다. 또한, 도 3d에서 보는 바와 같이, 내부 음악 사운드 입력시 소정의 레벨 구간의 크기를 벗어난 신호(308)는 웨이브 출력 믹스의 볼륨이 하향 조정 (309)되어 적절한 레벨 구간에서 신호의 크기가 일정 레벨 이하로 축소된다(310). 본 발명에 따른 바람직한 일례로서, 16비트 PCM 형식의 신호인 경우 유효 최대 신호 크기 구간으로서 [8,000, 20,000] 을 설정할 수 있다.
도 4는 본 발명에 따른 오디오 신호 설정 제어 수단(230)에서 수행되는 신호 설정 흐름을 도시한 도면이다.
도 4에서 보는 바와 같이, 오디오 신호 설정 제어 수단은 음원 신호에 있어서, 입력 형태를 설정(410)하고, 다음으로, 적절한 출력 레벨의 질의 음악 신호를 얻기 위해, 1초 미만의 Xc(t)를 이용하여, 볼륨 제어(420)를 수행하고, 일정 레벨의 크기를 유지한다. 마지막으로, Xq(t)를 이용하여, 44.1kHz의 샘플링 비(sampling rate), 모노(mono), 16 비트의 양자화 레벨을 갖는 디지털 신호 형식의 X(n)으로 변환한다(430). 이 때, 일정 레벨을 유지하도록 출력 신호를 조정함으로써 PCM(Pulse Code Modulation) 형식의 출력 레벨이 최대값을 벗어나 신호가 왜곡되는 것을 방지할 수 있게 된다. 또한, 질의 음악 신호의 크기가 너무 작거나 마이크의 종류나 특성에 따라 입력 레벨이 작은 경우에는 오디오 특징 벡터의 변별도를 낮추는 요인을 제거함으로써 검색 정확도를 높일 수 있다. 일례로서, 안정적인 출력 레벨의 최대 크기는 8,000에서 20,000사이이다.
도 2의 멜로디 패턴 생성 수단(240)은 상기 오디오 신호 설정 제어 수단(230)으로부터 신호 크기가 자동 설정되고 디지털 양자화된 질의 음악 신호를 수신 받아서, 이를 이용하여 소정의 멜로디 패턴을 생성하게 된다.
본 발명에 따른 일례로서, 벡터 형태의 패턴 또는 인접 프레임의 특징 벡터간의 상대적 크기를 비트열로 표현한 핑거프린트 기반의 멜로디 패턴을 생성할 수 있다. 또다른 실시예로서, 음악 검색이나 워터 마킹에 사용되는 핑거프린트, 음성 인식에 널리 사용되는(MFCC, LPC 계수 등), MPEG 7에서 정의된 일반적인 오디오 특징, 및 음의 높낮이에 해당하는 피치 중에서 적어도 하나 이상의 방법으로 멜로디 패턴을 생성할 수 있다.
도 5는 본 발명에 따른 멜로디 패턴 생성 수단(240)의 상세한 구성을 구체적으로 도시한 도면이다. 도 5에서 보는 바와 같이, 멜로디 패턴 생성 수단(240)은 전처리부(510), 특징 추출부(520), 및 멜로디 패턴 생성부(530)를 포함할 수 있다. 이하, 각 구성요소의 기능을 상술하기로 한다.
먼저, 오디오 신호 설정 제어 수단(230)으로부터 수신되는 질의 음악 신호 X(n)을 전처리부(510)를 통해 특정 주파수 밴드나 불필요한 신호를 제거한다. 일례로, 일반적인 오디오 특징을 추출하기 위해, 고주파 영역을 강조하거나, 불필요한 신호를 분리하여 제거하거나, 음원 출력 장치에 의한 채널 특성을 제거하거나, 또는 비하모닉 프레임을 제거하는 역할을 수행한다.
상기 전처리 과정을 거친 후 특징 추출부(520)에서 오디오 특징을 추출한다. 오디오 특징 추출의 일례로 음악 검색이나 오디오 워터마킹에 사용되는 핑거프린 트, 음성 인식에서 사용되는 특징(MFCC, LPC 계수 등), MPEG7에 정의된 일반적인 오디오 특징, 또는 멜로디를 표현할 수 있는 음의 높낮이에 해당하는 피치(pitch)중에서 적어도 하나 이상의 방법을 사용한다. 추출된 오디오 특징들을 이용하여 멜로디 패턴 생성 부(530)에서는 멜로디 패턴을 생성한다. 일례로서, 발생 가능한 피치 후보를 기반으로 히스토그램을 생성하여 확률 분포 패턴을 생성하거나 또는 일반적인 오디오 특징들을 벡터양자화(VQ)에 적용하여 히스토그램을 생성하여 확률분포 패턴을 생성하기도 한다. 또다른 실시예로서, 핑거프린트처럼 인접 프레임이나 인접 분석 구간의 특징 벡터의 상대적인 차이를 이용하여 비트열로 멜로디 패턴을 생성하기도 한다. 또달리, 상기 언급된 오디오 특징을 벡터 양자화를 이용하여 특정 문자열 코드로 변환하여 멜로디 패턴을 생성할 수도 있다.
도 2의 제2 입력 수단(220)은 메타 정보를 수신한다. 텍스트 형태를 기반으로 하는 메타 정보는 사용자가 음악 컨텐츠의 극히 일부분만을 사용하여 음악 컨텐츠를 검색함에 있어서, 다수의 검색 결과를 획득하며, 신속한 검색 결과를 획득할 수 있다는 장점을 가지고 있다.
질의 구성 수단(250)은 상기 질의 음악 신호의 멜로디 패턴에 기초하여 질의 정보를 생성하고 생성된 질의 정보를 통신망을 통하여 음악 검색 서버(210)로 전송하게 된다.
또다른 실시예로서, 본 발명에 따른 음악 서비스 제공 시스템이 제2 입력 수단(220)을 구비하는 경우, 질의 구성 수단(250)은 멀티 플렉서를 사용하여, OR 게이트의 입력 방식으로 제1 입력 수단에 추가하여 제2 입력 수단으로부터 메타 정보 를 선택적으로 수신하도록 구성할 수 있다. 질의 구성 수단(250)은 멜로디 패턴 생성 수단(240)에 의해서 생성되는 멜로디 패턴 및 제2 입력 수단(220)으로부터 수신되는 메타 정보를 조합하여 질의 정보를 생성한다.
이와 같이 본 발명에 따르면, 사용자로부터 입력된 검색 신호를 통신망을 통하여 바로 서버로 전달하지 않고, 단말기 내에 위치한 오디오 신호 설정 제어 수단(230) 및 멜로디 패턴 생성 수단(240)을 이용하여 질의 음악 신호로부터 멜로디 패턴을 추출하여 전송하게 됨으로써 통신망의 데이터 부하를 현저히 감소시킬 수 있게 된다. 또한, 단말기에서 질의 음악 신호를 서버로 전송하여 서버단에서 멜로디 패턴을 생성하는 경우 단말기(예를 들어, 전화기) 자체에 내장된 코덱(CODEC) 등의 장치로 말미암아 검색 오디오 신호가 일부 주파수 대에서 변형을 초래하게 되므로 궁극적으로 사용자가 처음 입력한 검색 신호가 그대로 서버로 전달될 수 없게 되어 검색 오류 또는 검색의 정확도를 저하시키는 문제가 발생할 수 있다. 그러나, 본 발명에 따르면, 단말기 단에서 사용자가 입력한 검색 신호를 프로세싱하여 멜로디 패턴을 생성함으로써 이러한 문제점을 해결하고 보다 충실한 검색이 될 수 있다.
도 2의 음악 검색 서버(201)는 검색 요구 수신부(260), 검색 수행 수단(270), 색인 수단(280), 및 데이터베이스(290)를 포함한다.
검색 요구 수신부(260)는 질의 정보를 상기 사용자 단말기(200)로부터 수신하고, 이를 검색 수행 수단(270)으로 전달하게 된다.
색인 수단(280)은 질의 정보와 연관된 음악을 식별할 수 있는 색인 정보를 포함한다.
도 6a는 본 발명의 바람직한 일실시예에 따른 색인 수단의 데이터베이스 구조를 도시한 도면이다.
도 6a에서 보는 바와 같이, 본 발명에 따른 색인 수단의 데이터베이스는 색인 정보를 멜로디 패턴 색인(610) 및 메타 정보 색인으로 나누어서 저장하고 있으며, 이를 위하여 멜로디 패턴 색인 데이터베이스(610) 및 메타 정보 색인 데이터베이스(620)를 포함한다.
멜로디 패턴 색인 데이터베이스(610)는 멜로디 패턴 샘플(일례로서, 멜로디 패턴 샘플의 파형) 및 이에 상응하는 색인 정보를 저장한다. 일례로 상기 멜로디 패턴 샘플은 복수의 멜로디 패턴 샘플로서 하나의 곡에 대하여 구간 별로 색인되어 구성될 수 있다(예를 들어, 곡명 ID, 특정 구간 ID를 포함할 수 있으며, 도 6a에서는 편의상 한 곡당 하나의 멜로디 패턴 샘플에 대해서만 도시한다). 따라서, 질의 정보로서 수신한 멜로디 패턴을 멜로디 패턴 샘플과 비교함으로써(또는 매칭시킴으로써), 비교 결과에 따라 그에 상응하는 색인 정보를 멜로디 패턴 색인 데이터베이스(610)를 참조하여 검색할 수 있다. 메타 정보 색인 데이터베이스(620)는 색인어 및 이에 상응하는 색인 정보(곡명)를 저장한다. 따라서, 질의 정보로서 수신한 메타 정보와 색인어를 비교함으로써, 비교 결과에 따라 그에 상응하는 색인 정보를 메타 정보 색인 데이터베이스를 참조하여 검색할 수 있다.
색인 수단은 입력된 질의 정보에 기초하여 색인 정보들의 유사도를 판단하며, 유사도에 따라 유사한 순서대로 소정의 개수에 상응하는 색인 정보를 검색할 수 있다.
도 2의 데이터베이스(290)는 색인 수단(270)의 색인 정보에 대응하는 음악 컨텐츠 정보를 저장한다. 상기 데이터베이스로부터 검색된 음악 컨텐츠 정보가 사용자의 단말기로 전송된다.
도 6b는 본 발명의 바람직한 일실시예에 따른 음악 컨텐츠의 데이터베이스 구조를 도시한 도면이다.
도 6b에서 보는 바와 같이, 데이터베이스는 색인 정보(예를 들어, 곡명) 및 이에 상응하는 음악 컨텐츠 정보로서 개인 식별 정보(ID), 장르, 곡명, 가수, 앨범명, 발매일, 가사, 파일의 경로(URL)을 포함한다. 앞서의 색인 수단(270)에서 검색한 색인 정보에 기초하여 상기 데이터베이스를 참조함으로써 음악 컨텐츠 정보를 찾아낼 수 있다.
본 발명에 따른 색인 수단(270)의 또다른 일례로서, 하나의 음악에 대해서 전체적으로 복수의 구간으로 분할하고, 상기 분할된 구간마다 각각의 구간을 식별할 수 있는 구간 색인 정보(일종의 구간 식별자)를 저장하도록 구성할 수 있다. 즉, 음악의 전 곡에 대해서는 물론이고, 사용자가 검색하고자 하는 특정 구간에 대해서도 구간별로 검색이 가능하도록 할 수 있다. 이에, 데이터베이스(290)는 음악 컨텐츠 정보를 상기 구간 색인 정보에 상응하는 음악 구간 정보로 분할하여 저장하도록 구성할 수 있다.
검색 수행 수단(270)은 검색 요구 수신부(260)를 통하여 수신된 질의 정보에 기초하여, 질의 정보와 연관된 색인 정보를 색인 수단(280)으로부터 식별하고, 식별된 색인 정보와 연관된 음악 컨텐츠 정보를 데이터베이스(290)로부터 검색하여 추출한다.
도 6c는 사용자가 입력한 질의 음악 신호 및 메타 정보에 기초하여 검색된 음악 컨텐츠의 결과를 사용자 단말기로 디스플레이 하는 일례를 도시한 도면이다.
도 6c에서 보는 바와 같이, 메타 정보로서 '그녀'를 입력하고, 사용자 단말기 내부에서 재생되는 음원 신호에 기초한 질의 음악 신호를 전송하기 위하여 "PC-SOUND" 아이콘을 클릭하고 사용자 단말기 내부에서 재생되는 음원 신호 일부 또는 전체를 캡쳐하여 상기 음악 검색 서버로 송신하여 검색한 결과, 음악 검색 서버로부터 상기 '그녀'에 상응하는 음악 컨텐츠 정보를 수신한다. 음악 컨텐츠 정보는 곡명, 가수명, 장르, 앨범명, 발매일, 가사를 포함하는 음악 컨텐츠 정보를 포함할 수 있다. 또한, 상기 메타 정보 및 질의 음악 신호에 상응하는 음악 컨텐츠 정보로서 복수의 정보들이 검색될 수 있으며, 이러한 복수의 음악 컨텐츠 정보는 유사도에 기초하여 정렬되어 사용자에게 제공될 수 있다. 일례로, 도 6c에 도시한 바와 같이 검색된 제1 음악 컨텐츠 정보(곡명: 그녀가 나를 보네)의 유사도가 90%, 제2 음악 컨텐츠 정보(곡명: 사람은 없다)의 유사도가 70%, 제3 음악 컨텐츠 정보(곡명: 너의 결혼식)의 유사도가 80%일 경우에 제1, 제3, 제2 음악 컨텐츠 정보의 순서로 정렬된다.
검색 수행 수단(270)이 멜로디 패턴에 기초하여 색인 정보를 찾기 위하여 수행하는 멜로디 패턴 매칭은 특징 벡터간의 거리 함수, 확률 분포 윤곽선(contour) 패턴 비교, GMM(Gaussian Mixture Model)이나 HMM(Hidden Markov Model)과 같은 확률분포 모델 비교가 사용될 수 있다. 상기에 언급된 핑거프린트처럼 인접 분석구간 의 상대적인 크기를 기반으로 비트열로 멜로디 패턴을 생성한 경우에는 검색 후보 구간에 대해 누적 BER(Bit Error Rate)을 기반으로 검색을 수행하기도 한다.
도 7은 본 발명의 멜로디 패턴의 생성에 대한 일례로서, 피치 히스토그램을 이용한 멜로디 패턴 생성을 도시한 도면이다.
도 7에서 보는 바와 같이 질의 음악 신호의 구성 단위인 오디오 프레임에 대하여, 대역폭(밴드 패스) 영역의 주파수 성분을 필터링한다(S710). 본 발명의 일례에 따른 밴드 패스 영역은 4kHz~12kHz의 주파수 성분을 포함하고, 멜로디 패턴 생성 수단은 상기 질의 음악 신호에 대하여, 밴드 패스 영역의 주파수 성분에 해당하는 신호를 필터링 한다. 단계(S720)에서는 상기 필터링된, 오디오 신호의 자기 상관 관계 값에 기초하여 피치를 검출한다. 검출된 피치가 하모닉 프레임일 경우(S730) 멜로디 패턴을 갱신(S740)하고, 일치하지 않을 경우 다시 처음 단계로 돌아가서 다음의 오디오 프레임에 대하여, 상기 단계(S710)를 수행한다.
도 8은 검색 수행 수단(270)에서 질의 정보 구성에 따른 검색 수행 절차를 도시한 도면이다. 이하, 도 8을 참고로 하여, 검색 수행 절차를 상세히 설명하기로 한다.
질의 정보가 질의 음악 신호의 멜로디 패턴만 포함할 경우, 데이터베이스(850)로부터 멜로디 패턴의 유사도를 판단하고, 매칭되는 색인 정보를 검색한다(820).
메타 정보가 질의 정보에 추가로 포함된 경우, 먼저 메타 정보 색인 데이터베이스로부터 메타 정보의 유사도를 판단하고, 메타 정보에 매칭되는 복수의 색인 정보를 먼저 검색한다(830). 이어서, 상기 검색된 복수의 색인 정보 내에서 다시 멜로디 패턴에 기초하여 유사도를 판단하여 최종적으로 원하는 색인 정보를 검색할 수 있다(840). 통상의 경우 메타 정보에 기반한 검색 시간이 멜로디 패턴에 기반한 검색 시간보다 적게 소요될 것이므로, 상술한 방법에 따르면 메타 정보에 기초한 검색을 먼저 수행하여 검색 범위를 먼저 적절히 한정하고, 상기 한정된 검색 범위 내에서 멜로디 패턴에 기초한 검색을 수행함으로써 전체적으로 검색에 소요되는 수행 시간을 줄일 수 있다는 장점이 있다. 또한, 종래의 질의 음악 신호에만 기초한 검색 시보다 메타 정보 검색을 선행함으로써 검색의 불확실성을 1차적으로 먼저 제거하여 전체적으로 검색의 정확도를 향상시킬 수 있다는 이점을 얻을 수 있다.
본 발명에 따르면, 메타 정보 및 멜로디 패턴을 혼합한 검색 방법의 또다른 실시예로서, 각각의 검색에 소정의 가중치를 부여할 수 있다. 예를 들어, 메타 정보에 기반한 검색의 가중치를 0.9로, 멜로디 패턴에 기반한 검색의 가중치를 0.1로 각각 설정한 경우, 메타 정보에 해당하는 검색 결과의 유사도가 90%, 멜로디 패턴에 기반한 검색 결과의 유사도가 70%라면, 최종적으로 검색된 색인 정보의 유사도는
(0.9 * 90%) + (0.1 * 70%) = 88 %
로 결정할 수 있다. 일례로서, 상기 가중치는 사용자의 선택에 따라 자유로이 결정될 수 있다. 예를 들어, 사용자가 찾고자 하는 음악의 가사(메타 정보의 일례)를 정확히 알고 있다고 나름대로 자신하는 경우 사용자가 메타 정보 검색의 가중치를 평상시보다 높게 선택할 수 있도록 하고, 또달리 메타 정보가 불확실한 경우 가중치를 낮출 수 있도록 하여 궁극적으로 사용자 스스로 검색의 정확도를 높일 수 있을 것이다. 이와 같이, 유사도에 대한 가중치를 양자의 검색에 적절히 배분토록 함으로써 궁극적으로 검색의 정확도를 더욱 높일 수 있는 효과를 얻을 수 있다.
도 9는 본 발명에 따른 음악 검색 서비스 제공 방법의 흐름을 도시한 흐름도이다.
먼저, 단계(S901)에서 사용자로부터 제1 입력 수단 또는 제2 입력 수단을 통하여 질의 음악 신호 또는 메타 정보를 수신한다.
다음으로 단계(S902)에서 단계(S901)에서 질의 음악 신호가 포함되어 있는 경우 질의 음악 신호를 추출 하고, 단계(S903)에서 메타 정보가 포함되어 있는 경우 메타 정보를 추출한다. 추출된 메타 정보는 질의 정보로 생성 되기 위하여 질의 구성 수단으로 전달된다.
단계(S904)에서 단계(S902)에서 추출된 질의 음악 신호를 사용자의 제1 입력 수단으로 입력하는 방식에 따라, 자동 제어 한다. 마이크를 통한 외부 음원에 대한 출력 신호와 음악 방송, 배경 음악, 비디오, VOD를 포함하는 사용자 단말기 내부의 음악 재생 장치로부터 재생되는 내부 음원 신호의 장치적 특성에 기초하여, 오디오 신호 설정 제어 수단에 의하여 신호의 크기 등이 자동 제어 된다.
단계(S905)에서, 단계(S904)를 거친 질의 음악 신호에 대하여, 멜로디 패턴을 생성한다.
상기 메타 정보와 상기 질의 음악 신호를 하나의 질의 정보로 생성하고, 음 악 검색 서버로 송신한다(S906). 질의 정보를 수신한 음악 검색 서버는 질의 정보를 분석하고, 질의 음악 신호와 메타 정보를 분리한다(S907).
단계(S908)에서 색인 정보 데이터베이스를 검색한다. 색인 정보 데이터베이스는 메타 정보 색인 또는 멜로디 패턴 색인을 포함할 수 있다. 이 때, 상기 질의 음악 신호의 멜로디 패턴 또는 메타 정보에 가중치를 부여할 수 있다(S909).
또한, 본 발명에 따른 음악 검색 서비스 제공 시스템은 음악에 있어서 소정의 구간별로 멜로디 패턴을 사전에 추출하여, 구간 색인 정보로 식별하고, 상기 색인 정보 데이터베이스에 저장할 수 있다. 즉, 음악의 일부분을 사용자가 마이크 또는 사용자 단말기 내부의 음원 신호로써, 멜로디 패턴을 추출하고, 음악 검색 서버에 질의 정보 형태로 송신하면, 상기 멜로디 패턴 색인에서 상기 멜로디 패턴과 노래의 메타 정보의 정보에 기초하여, 상기 음악의 일부분을 포함하는 음악 컨텐츠를 검색한다.
상기의 단계로 상기 메타 정보 또는 멜로디 패턴에 기초하여, 검색된 음악 컨텐츠를 유사도 순서로 곡명을 교집합하여, 그에 따른 음악 컨텐츠를 추출하고, 사용자 단말기로 송신한다(S910). 사용자 단말기는 상기 음악 컨텐츠를 수신하고, 디스플레이 한다(S911).
도 9와 연관하여 상세히 설명하지 않은 구성들에 대해서는, 앞서의 음악 검색서비스 제공 시스템과 관련된 실시예들에서 설명한 내용들이 그대로 적용될 수 있으므로, 상세한 설명은 여기서 생략하기로 한다.
도 10은 본 발명에 따른 음악 검색 서비스 제공 방법을 수행하는데 채용될 수 있는 범용 컴퓨터 장치의 내부 블록도이다.
컴퓨터 장치(1000)는 램(RAM: Random Access Memory)(1020)과 롬(ROM: Read Only Memory)(1030)을 포함하는 주기억장치와 연결되는 하나 이상의 프로세서(1010)를 포함한다. 프로세서(1010)는 중앙처리장치(CPU)로 불리기도 한다. 본 기술분야에서 널리 알려져 있는 바와 같이, 롬(1030)은 데이터(data)와 명령(instruction)을 단방향성으로 CPU에 전송하는 역할을 하며, 램(1020)은 통상적으로 데이터와 명령을 양방향성으로 전송하는 데 사용된다. 램(1020) 및 롬(1030)은 컴퓨터 판독 가능 매체의 어떠한 적절한 형태를 포함할 수 있다. 대용량 기억장치(Mass Storage)(1040)는 양방향성으로 프로세서(1010)와 연결되어 추가적인 데이터 저장 능력을 제공하며, 상기된 컴퓨터 판독 가능 기록 매체 중 어떠한 것일 수 있다. 대용량 기억장치(1040)는 프로그램, 데이터 등을 저장하는데 사용되며, 통상적으로 주기억장치보다 속도가 느린 하드 디스크와 같은 보조기억장치이다. CD 롬(1060)과 같은 특정 대용량 기억장치가 사용될 수도 있다. 프로세서(1010)는 비디오 모니터, 트랙볼, 마우스, 키보드, 마이크로폰, 터치스크린 형 디스플레이, 카드 판독기, 자기 또는 종이 테이프 판독기, 음성 또는 필기 인식기, 조이스틱, 또는 기타 공지된 컴퓨터 입출력장치와 같은 하나 이상의 입출력 인터페이스(1050)와 연결된다. 마지막으로, 프로세서(1010)는 네트워크 인터페이스(1070)를 통하여 유선 또는 무선 통신 네트워크에 연결될 수 있다. 이러한 네트워크 연결을 통하여 상기된 방법의 절차를 수행할 수 있다. 상기된 장치 및 도구는 컴퓨터 하드웨어 및 소프트웨어 기술 분야의 당 업자에게 잘 알려져 있다.
상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있다.
지금까지 본 발명에 따른 구체적인 실시예에 관하여 설명하였으나, 본 발명의 범위에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능함은 물론이다.
그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며, 후술하는 특허 청구의 범위뿐 아니라 이 특허 청구의 범위와 균등한 것들에 의해 정해져야 한다.
이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허 청구 범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
본 발명에 따르면, 음악 검색에 있어서, 메타 정보 및 질의 음악 신호를 각각 또는 동시에 음악 검색에 사용함으로써, 보다 정밀한 검색 결과를 획득하는 효과를 갖는다.
본 발명에 따르면, 사용자 단말기에서 음악 검색 서버로 질의 음악 신호를 송신하기 이전에 오디오 신호 설정 제어를 자동으로 수행함으로써, 검색의 정확도를 보다 향상시킨다.
본 발명에 따르면, 음악을 구성하는 별도의 구간별로 색인 정보에 기초하여 검색함으로써, 사용자에게 보다 유용한 음악 검색 정보를 제공한다.
본 발명에 따르면, 소량의 질의 정보의 전송을 통하여, 네트워크의 전송량을 줄이고, 음악 검색 서버의 부하를 감소시킨다.

Claims (12)

  1. 사용자의 단말기와 음악 검색 서버를 연결하는 인터넷을 통하여 음악 검색 서비스를 제공하기 위한 시스템에 있어서,
    상기 사용자 단말기는
    사용자로부터 질의 음악 신호를 입력받기 위한 제1 입력 수단;
    상기 사용자로부터 메타 정보를 입력받기 위한 제2 입력 수단;
    상기 질의 음악 신호의 크기를 소정 레벨 구간 이내로 조정하는 오디오 신호 설정 제어 수단;
    상기 조정된 질의 음악 신호로부터 멜로디 패턴을 생성하는 멜로디 패턴 생성 수단;
    상기 멜로디 패턴 및 상기 메타 정보를 조합하여 상기 질의 정보를 생성하는 질의 구성 수단;
    을 포함하고,
    상기 음악 검색 서버는
    상기 인터넷을 통하여 상기 사용자 단말기로부터 상기 생성된 질의 정보를 수신하는 검색 요구 수신부;
    상기 질의 정보와 연관된 음악을 식별할 수 있는 색인 정보를 포함하는 색인 수단;
    상기 색인 정보에 대응하는 음악 컨텐츠 정보를 저장하는 데이터베이스; 및
    상기 메타 정보에 기초하여 제1차 색인 정보를 식별하고, 상기 멜로디 패턴에 기초하여 제2차 색인 정보를 식별하고, 상기 제1차 색인 정보의 유사도 및 상기 제2차 색인 정보의 유사도를 소정의 가중치에 기초하여 분배하여 음악 컨텐츠 정보를 상기 데이터베이스로부터 검색하는 검색 수행 수단
    을 포함하는 것을 특징으로 하는 음악 검색 서비스 제공 시스템.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 질의 음악 신호는 외부 마이크를 통한 외부 음원 신호에 기초하여 입력되거나 상기 사용자 단말기 내부의 음원 신호에 기초하여 생성되거나 또는 사전에 녹음 되거나 잘려진 파일 조각을 포함하는 파일 형태의 입력 신호인 것을 특징으로 하는 음악 검색 서비스 제공 시스템.
  5. 제1항에 있어서,
    상기 색인 수단은 메타 정보 색인 및 멜로디 패턴 색인을 나누어서 포함하고,
    상기 검색 수행 수단은 상기 메타 정보 색인 및 상기 멜로디 패턴 색인으로부터 색인 정보를 구분하여 검색하는 것을 특징으로 하는 음악 검색 서비스 제공 시스템.
  6. 제1항에 있어서,
    상기 메타 정보는 상기 음악과 연관된 제목, 가사, 가수 이름, 장르, 발표 연도 중에서 적어도 하나 이상을 포함하는 것
    을 특징으로 하는 음악 검색 서비스 제공 시스템.
  7. 제1항에 있어서,
    상기 검색 수행 수단은 상기 메타 정보에 기초하여 제1차 색인 정보를 식별하고, 상기 멜로디 패턴에 기초하여 상기 제1차 색인 정보 중에서 제2차 색인 정보를 식별하는 것
    을 특징으로 하는 음악 검색 서비스 제공 시스템.
  8. 삭제
  9. 제1항에 있어서,
    상기 가중치는 상기 사용자의 선택에 의하여 결정되는 것
    을 특징으로 하는 음악 검색 서비스 제공 시스템.
  10. 제1항에 있어서,
    상기 색인 정보는 상기 음악을 구성하는 복수의 구간 별로 식별할 수 있는 구간 색인 정보를 포함하고,
    상기 음악 컨텐츠 정보는 상기 구간 색인 정보에 상응하는 음악 구간 정보를 포함하는 것을 특징으로 하는 음악 검색 서비스 제공 시스템.
  11. 사용자의 단말기와 음악 검색 서버를 연결하는 인터넷을 통하여 음악 검색 서비스를 제공하기 위한 방법에 있어서,
    소정의 음악을 식별할 수 있는 색인 정보 및 상기 색인 정보에 상응하는 음악 컨텐츠 정보를 데이터베이스에 저장하고 유지하는 단계;
    사용자로부터 질의 음악 신호 및 메타 정보를 입력받는 단계;
    상기 사용자로부터 메타 정보를 입력 받는단계;
    상기 질의 음악 신호의 크기를 소정 레벨 구간 이내로 조정하는 단계;
    상기 조정된 질의 음악 신호로부터 멜로디 패턴을 생성하는 단계;
    상기 멜로디 패턴 및 상기 메타 정보에 기초하여 질의 정보를 생성하는 단계;
    상기 인터넷을 통하여 상기 사용자 단말기로부터 상기 생성된 질의 정보를 상기 음악 검색 서버로 전송하는 단계;
    상기 데이터베이스로부터 상기 질의 정보와 연관된 음악을 식별할 수 있는 색인 정보를 식별하는 단계;
    상기 메타 정보에 기초하여 제1차 색인 정보를 식별하고, 상기 멜로디 패턴에 기초하여 제2차 색인 정보를 식별하고, 상기 제1차 색인 정보의 유사도 및 상기 제2차 색인 정보의 유사도를 소정의 가중치에 기초하여 분배하여 음악 컨텐츠 정보를 상기 데이터베이스로부터 검색하는 단계; 및
    상기 검색된 음악 컨텐츠 정보를 상기 사용자 단말기로 전송하는 단계
    를 포함하는 것을 특징으로 하는 음악 검색 서비스 제공 방법.
  12. 제11항의 방법을 실행 시키기 위한 프로그램을 기록한 컴퓨터 판독 가능한 기록매체.
KR20040068870A 2004-08-31 2004-08-31 음악 검색 서비스 제공 시스템 및 방법 KR100676863B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20040068870A KR100676863B1 (ko) 2004-08-31 2004-08-31 음악 검색 서비스 제공 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20040068870A KR100676863B1 (ko) 2004-08-31 2004-08-31 음악 검색 서비스 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20060020114A KR20060020114A (ko) 2006-03-06
KR100676863B1 true KR100676863B1 (ko) 2007-02-02

Family

ID=37127305

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20040068870A KR100676863B1 (ko) 2004-08-31 2004-08-31 음악 검색 서비스 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100676863B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100786342B1 (ko) 2007-01-30 2007-12-17 (주) 프람트 사용자 동적 정보를 이용한 콘텐츠의 검색 방법
KR20150072513A (ko) * 2013-12-19 2015-06-30 주식회사 엘지유플러스 커스터마이즈 음원생성을 위한 장치와 시스템 및 커스터마이즈 음원 생성 방법

Families Citing this family (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100785453B1 (ko) * 2006-03-14 2007-12-13 주식회사 코난테크놀로지 오디오 데이터 정보 제공 시스템 및 그 방법
KR20070098469A (ko) * 2006-03-29 2007-10-05 한국전자통신연구원 메타데이터를 이용한 멀티미디어 검색 장치 및 방법
KR101243235B1 (ko) * 2006-08-03 2013-03-14 인텔 코포레이션 음원 컨텐츠 정보 제공 시스템 및 그 방법
KR100892463B1 (ko) * 2006-11-23 2009-04-10 (주)케이티에프테크놀로지스 음원 정보 제공 기능을 가지는 휴대용 단말기 및 휴대용 단말기의 음원 정보 제공 방법
KR100916310B1 (ko) * 2007-06-05 2009-09-10 주식회사 코난테크놀로지 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법
KR100929980B1 (ko) * 2007-10-22 2009-12-04 에스케이텔레콤 주식회사 입력 패턴을 이용한 음원 검색시스템 및 방법
KR101504522B1 (ko) * 2008-01-07 2015-03-23 삼성전자 주식회사 음악 저장/검색 장치 및 방법
KR100890993B1 (ko) * 2008-06-17 2009-03-31 케이티하이텔 주식회사 지능형 음악정보 검색 시스템과 검색 방법
US8713068B2 (en) 2009-06-11 2014-04-29 Yahoo! Inc. Media identification system with fingerprint database balanced according to search loads
KR101615262B1 (ko) 2009-08-12 2016-04-26 삼성전자주식회사 시멘틱 정보를 이용한 멀티 채널 오디오 인코딩 및 디코딩 방법 및 장치
US8584197B2 (en) * 2010-11-12 2013-11-12 Google Inc. Media rights management using melody identification
US8584198B2 (en) 2010-11-12 2013-11-12 Google Inc. Syndication including melody recognition and opt out
KR101368420B1 (ko) * 2011-05-02 2014-03-04 백희천 음악 검색 서비스를 제공하는 방법 및 시스템
US20120296458A1 (en) * 2011-05-18 2012-11-22 Microsoft Corporation Background Audio Listening for Content Recognition
KR20140011509A (ko) * 2012-06-21 2014-01-29 (주)휴맥스 단말 장치, 재생되는 음원과 관련된 정보를 취득하는 방법 및 시스템, 재생되는 음원과 관련된 정보를 디스플레이하는 방법
WO2014039106A1 (en) * 2012-09-10 2014-03-13 Google Inc. Answering questions using environmental context
KR102135069B1 (ko) * 2013-10-29 2020-07-17 주식회사 엘지유플러스 음원정보 검색 시스템, 방송출력단말기 및 그 음원정보 출력방법, 음원검색서버 및 그 음원정보 검색방법
EP3559868A1 (en) 2017-03-24 2019-10-30 Google LLC Device placement optimization with reinforcement learning
CN112015942A (zh) * 2020-08-28 2020-12-01 上海掌门科技有限公司 音频处理方法和装置
CN113593609B (zh) * 2021-08-03 2024-02-09 杭州网易云音乐科技有限公司 乐曲识别方法、装置、电子设备及计算机可读存储介质
KR102651201B1 (ko) * 2022-01-13 2024-03-26 주식회사 킨트 음악 매칭 시스템 및 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030034656A (ko) * 2001-10-26 2003-05-09 김종광 음악의 통계적 성질을 이용한 음악데이터베이스 구축 방법및 음악정보 검색 방법
KR20030067377A (ko) * 2002-02-08 2003-08-14 엘지전자 주식회사 멜로디 기반 음악 검색방법과 장치
KR20040000798A (ko) * 2002-06-25 2004-01-07 엘지전자 주식회사 음악 데이터의 점진적 분할 방법과 음악 데이터 검색방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030034656A (ko) * 2001-10-26 2003-05-09 김종광 음악의 통계적 성질을 이용한 음악데이터베이스 구축 방법및 음악정보 검색 방법
KR20030067377A (ko) * 2002-02-08 2003-08-14 엘지전자 주식회사 멜로디 기반 음악 검색방법과 장치
KR20040000798A (ko) * 2002-06-25 2004-01-07 엘지전자 주식회사 음악 데이터의 점진적 분할 방법과 음악 데이터 검색방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
1020030034656

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100786342B1 (ko) 2007-01-30 2007-12-17 (주) 프람트 사용자 동적 정보를 이용한 콘텐츠의 검색 방법
KR20150072513A (ko) * 2013-12-19 2015-06-30 주식회사 엘지유플러스 커스터마이즈 음원생성을 위한 장치와 시스템 및 커스터마이즈 음원 생성 방법
KR102229955B1 (ko) * 2013-12-19 2021-03-19 주식회사 엘지유플러스 커스터마이즈 음원생성을 위한 장치와 시스템 및 커스터마이즈 음원 생성 방법

Also Published As

Publication number Publication date
KR20060020114A (ko) 2006-03-06

Similar Documents

Publication Publication Date Title
KR100676863B1 (ko) 음악 검색 서비스 제공 시스템 및 방법
US10497378B2 (en) Systems and methods for recognizing sound and music signals in high noise and distortion
Cano et al. Robust sound modeling for song detection in broadcast audio
KR101578279B1 (ko) 데이터 스트림 내 콘텐트를 식별하는 방법 및 시스템
JP5142769B2 (ja) 音声データ検索システム及び音声データの検索方法
CN101778233B (zh) 数据处理装置以及数据处理方法
CN1998044B (zh) 音频信号分类方法和系统
CN102959544A (zh) 用于同步媒体的方法和系统
US20090132074A1 (en) Automatic segment extraction system for extracting segment in music piece, automatic segment extraction method, and automatic segment extraction program
KR101100191B1 (ko) 멀티미디어 재생장치와 이를 이용한 멀티미디어 자료검색방법
US9224385B1 (en) Unified recognition of speech and music
KR20030059503A (ko) 사용자별 선호도에 따른 맞춤형 음악 서비스 시스템 및 방법
CN109271501A (zh) 一种音频数据库的管理方法及系统
JPH11282857A (ja) 音声検索装置および記録媒体
KR100916310B1 (ko) 오디오 신호처리 기반의 음악 및 동영상간의 교차 추천 시스템 및 방법
KR20010037652A (ko) 오디오 색인화 장치 및 그 방법과 그를 이용한 오디오 검색 시스템 및 그 방법
Hellmuth et al. Advanced audio identification using MPEG-7 content description
JPH08249343A (ja) 音声情報取得装置及び音声情報取得方法
KR100378047B1 (ko) 전화를 이용한 노래의 선택 및 검색방법
JP2009103945A (ja) 映像コンテンツ処理装置およびプログラム
KR100967125B1 (ko) 네트워크 휴대용 장치에서의 특징 추출
JP3565261B2 (ja) データ検索方法、情報提供システム、および記録媒体
Burred An objective approach to content-based audio signal classification
Gruhne Robust audio identification for commercial applications
Song An Automatic Commercial Search Application for TV Broadcasting Using Audio Fingerprinting

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20130103

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20140110

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20150102

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20160104

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20170105

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20180111

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20190108

Year of fee payment: 13

FPAY Annual fee payment

Payment date: 20191127

Year of fee payment: 14