KR20080082022A - Likelihood measurement apparatus and method based on music characteristics and music recommendation system and method using its - Google Patents

Likelihood measurement apparatus and method based on music characteristics and music recommendation system and method using its Download PDF

Info

Publication number
KR20080082022A
KR20080082022A KR1020070011725A KR20070011725A KR20080082022A KR 20080082022 A KR20080082022 A KR 20080082022A KR 1020070011725 A KR1020070011725 A KR 1020070011725A KR 20070011725 A KR20070011725 A KR 20070011725A KR 20080082022 A KR20080082022 A KR 20080082022A
Authority
KR
South Korea
Prior art keywords
music
feature information
user
similarity
feature
Prior art date
Application number
KR1020070011725A
Other languages
Korean (ko)
Inventor
윤정현
김휘용
이희경
이한규
홍진우
김상호
김회린
김성탁
Original Assignee
한국전자통신연구원
한국정보통신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원, 한국정보통신대학교 산학협력단 filed Critical 한국전자통신연구원
Publication of KR20080082022A publication Critical patent/KR20080082022A/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/635Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually

Abstract

A device and a method for measuring similarity based on feature of music, and a music recommendation system and method using the same are provided to calculate the similarity in an Internet or digital broadcasting environment based on the feature of the preferred music of a user and recommend the music effectively to the user based on the similarity. A music feature extractor(131) extracts feature information, which is at least one of rhythm or tone feature information, reflecting characteristics of music. A music feature information database(132) stores the extracted feature information in a feature vector row. A similarity calculator(133) calculates similarity between music by comparing a music list(16) extracted based on genre/singer information of the current queried music(14) of a user with the feature information of the current queried music or accumulative feature information of the past queried music. An updater updates the feature information of the current queried music to the accumulative feature information of the past queried music. A music recommender generates and provides a recommendation list in high similarity order depending on a similarity calculation result.

Description

음악 특성 기반 유사도 측정 장치 및 그 방법과 그를 이용한 음악 추천 시스템 및 그 방법{Likelihood measurement apparatus and method based on music characteristics and music recommendation system and method using its}Likelihood measurement apparatus and method based on music characteristics and music recommendation system and method using its

도 1 은 본 발명에 따른 음악 특성 기반 유사도 측정 장치 및 그를 이용한 음악 추천 시스템의 일실시예 구성도, 1 is a configuration diagram of an apparatus for measuring similarity based on music characteristics according to the present invention and a music recommendation system using the same;

도 2 는 본 발명에 따른 음악 특성 기반 유사도 측정 방법 및 그를 이용한 음악 추천 과정을 보여주는 일실시예 설명도,2 is an explanatory diagram illustrating a music characteristic-based similarity measuring method and a music recommendation process using the same according to the present invention;

도 3 은 본 발명에 따른 음악 추천 방법에 대한 일실시예 흐름도, 3 is a flow chart of an embodiment of a music recommendation method according to the present invention;

도 4 는 본 발명에 이용되는 음악 특징정보가 저장된 텍스트 파일의 구성 예시도, 4 is an exemplary configuration diagram of a text file in which music feature information used in the present invention is stored;

도 5 는 본 발명에 이용되는 사용자 선호 질의 음악의 리스트 형식을 보여주는 설명도이다. 5 is an explanatory diagram showing a list format of user preference query music used in the present invention.

* 도면의 주요 부분에 대한 부호 설명* Explanation of symbols on the main parts of the drawing

11 : 리스트 추출부 12 : 음악 DB11: list extraction unit 12: music DB

13 : 유사도 측정 장치 14 : 질의 원곡 음악13: similarity measuring device 14: quality original music

15 : 사용자 과거 질의 내역 정보 16 : 음악 추천 곡 목록15: user past query history information 16: music recommendation song list

본 발명은 음악 특성 기반 유사도 측정 장치 및 그 방법과, 그를 이용한 음악 추천 시스템 및 그 방법에 관한 것으로, 보다 상세하게는 인터넷 또는 디지털 방송 환경에서 사용자 선호 음악의 특성(리듬, 음색 등)에 기반하여 유사도를 계산하고 이를 바탕으로 효과적으로 음악을 추천할 수 있는 음악 특성 기반 유사도 측정 장치 및 그 방법과, 그를 이용한 음악 추천 시스템 및 그 방법에 관한 것이다.The present invention relates to an apparatus and method for measuring similarity based on music characteristics, and a music recommendation system and method using the same. More specifically, the present invention relates to a music preference system based on the characteristics (rhythm, tone, etc.) of user preferred music in the Internet or digital broadcasting environment. The present invention relates to a music characteristic-based similarity measuring apparatus and method thereof, and a music recommendation system using the same, and method for calculating music similarity and effectively recommending music based thereon.

디지털 음악 데이터베이스(DB)가 점점 증가하고 있고 이에 따라 효과적인 디지털 음악 검색, 자동 음악 요약, 음악 추천 시스템에 대한 수요 역시 커지고 있으며, 특히 상업적인 가치를 창출할 수 있는 음악 자동 추천 시스템에 대한 수요가 늘어나고 있다. Digital music databases are growing and the demand for effective digital music retrieval, automatic music summaries, and music recommendation systems is growing, and in particular, the demand for automated music recommendation systems that can generate commercial value is growing. .

음악 추천을 위한 일반적인 방법으로, 사용자들이 기 청취한 곡의 분포 패턴을 이용해서 추천하거나, 음악 간의 유사도를 단순하게 비교하여 추천하기도 한다. As a general method for recommending music, a user may recommend using a distribution pattern of previously listened music, or simply compare similarities between music.

전자의 경우, 사용자들의 음악 다운로드 목록을 서로 비교하여 동일한 곡들의 다운로드가 많이 겹치는 사용자 집단을 추출할 수 있다. 이를 토대로 취향이 비슷한 사용자 집단의 전체 다운로드/스트리밍 목록을 구성한 후, 이 목록과 비교하여 사용자 목록에 없는 곡을 해당 사용자에게 추천한다. 이때, 사용자의 음악 다운 로드 목록을 토대로 집단을 구성할 수도 있지만, 신호처리 기술을 이용하여 사용자가 보유한 또는 다운로드한 음악의 분위기를 기쁨, 슬픔, 쾌활함 등으로 간단하게 분류하여 사용자의 보유 음악의 분위기 분포도를 계산할 수 있다. 이를 토대로 사용자의 취향을 집단화하여 같은 취향을 가진 집단의 보유 음악을 같은 집단의 다른 사용자에게 추천할 수도 있다. In the former case, the music download list of the users may be compared with each other to extract a user group in which downloads of the same songs overlap a lot. Based on this, a complete list of downloads / streamings of a similar user group is constructed, and then compared to this list, the song is not recommended to the user list. In this case, the group may be configured based on the user's music download list, but the user's music mood may be simply classified into joy, sadness, and cheerfulness by using the signal processing technology. The distribution can be calculated. Based on this, users' tastes may be grouped to recommend music held by a group having the same taste to other users of the same group.

이와 같은 '사용자 기 청취 곡 또는 다운로드 곡 목록을 통해 사용자 집단화를 통해 음악을 추천하는 방식'은, 예를 들면 A라는 사용자의 보유 또는 기 청취 곡의 분포가 사용자B의 보유 또는 기 청취 곡의 분포와 유사하다고 가정했을 때, 사용자B의 새로운 청취 곡을 사용자A에게 추천하거나 음악의 분위기를 단순하게 분류한 후에 이를 토대로 추천하는 방식이다. Such a method of recommending music through user grouping through a user's existing listening song or a list of downloaded songs is, for example, a user's possession of A or a distribution of existing listening songs is maintained by User B or distribution of existing listening songs. Assuming that is similar to, a new listening song of user B is recommended to user A, or simply classified based on the mood of music.

따라서, 이러한 방식은 사용자가 선호하는 음악의 취향을 일부 반영할 수도 있겠지만, 궁극적으로는 사용자가 선호하는 음악의 특성(예로서, 리듬, 음색 등)으로 추천하는 것이 아니라, 사용자가 이미 청취했거나 다운로드한 음악의 분포를 이용하여 다른 사용자가 선택한 음악을 추천하므로, 그 정확도가 매우 떨어지게 되며, 사용자가 선호하는 음악의 특성(예로서, 리듬, 음색 등)을 제대로 반영할 수 없게 되는 문제점이 있다. 또한, 사용자 보유 음악들의 분위기를 단순히 4개 또는 5개의 카테고리로 분류하여 이의 분포도로 사용자들을 집단화하여 서로 간의 보유 음악을 추천하는 방식은 음악 분위기의 애매성(ambiguity)과 다양성에 따라 그 정확도가 상당히 떨어지게 되는 문제점이 있다. Thus, this approach may reflect some of the user's preferences for music, but ultimately, rather than recommend it as a user's preferred music characteristic (eg, rhythm, timbre, etc.), the user has already listened or downloaded. Since the music selected by the other user is recommended by using the distribution of one music, the accuracy is very low, and there is a problem in that the characteristics of the music preferred by the user (eg, rhythm, tone, etc.) cannot be properly reflected. In addition, the manner in which the user-owned music is simply classified into four or five categories and the users are grouped in the distribution thereof to recommend the music held by each other is highly accurate according to the ambiguity and diversity of the music atmosphere. There is a problem falling.

한편, 후자의 경우는 음악 신호로부터 하위 레벨(예로서, 에너지, 피크값 등 과 같은 신호의 물리적 레벨)의 특징 벡터를 추출하여 음악 간의 유사도를 계산하게 된다. 이처럼, 음악 간의 유사도를 구하여 유사 음악을 추천하는 방식의 경우, 사용자 질의 음악과 유사한 음악을 추천함으로써, 사용자의 선호도(preference)를 반영할 수 있다는 장점이 있지만, 하위 레벨(예로서, 에너지, 피크값 등과 같은 신호의 단순한 물리적 레벨)의 특징 벡터를 추출하여 처리하기 때문에 그 정확도가 떨어지게 되는 문제점이 있다.In the latter case, the similarity between music is calculated by extracting feature vectors of lower levels (for example, physical levels of signals such as energy and peak values) from the music signal. As described above, in the case of recommending similar music by finding similarity between music, there is an advantage that the user's preference can be reflected by recommending music similar to user's query, but the lower level (for example, energy, peak) Since a feature vector of a simple physical level of a signal such as a value is extracted and processed, the accuracy is lowered.

하지만, 사용자의 선호 의사는 곡 특성 자체에 바탕을 두고 있는 경우가 많으므로 음악 특성을 효과적으로 파악하여 사용자 질의 음악 또는 사용자 과거 질의 음악들의 특성 패턴과 유사한 음악을 검색하여 추천하는 것이 보다 효과적일 것이다. 따라서, 디지털 음악의 리듬, 음색 등과 관련된 음악 특성을 특징 벡터 열로 추출하여 사용자 질의 음악의 특성 또는 사용자 과거 질의 음악들의 누적 특성 패턴과 유사한 음악들을 음악 데이터베이스에서 검색하여 추천할 수 있는 음악 특성 기반의 음악 추천 시스템이 절실히 요구된다. However, since the user's preferred intention is often based on the song characteristics itself, it may be more effective to grasp the music characteristics and to search for and recommend music similar to the characteristic patterns of the user's query music or the user's past queries. Accordingly, music characteristics based on music characteristics, which can extract music characteristics related to rhythm and tone of digital music, etc. into feature vector sequences, and search for and recommend music similar to cumulative characteristic patterns of music of user query or user's past query in music database. Recommendation system is desperately needed.

본 발명은 상기 요구에 부응하기 위하여 제안된 것으로, 인터넷 또는 디지털 방송 환경에서 사용자 선호 음악의 특성(리듬, 음색 등)에 기반하여 유사도를 계산하고 이를 바탕으로 효과적으로 음악을 추천할 수 있는 음악 특성 기반 유사도 측정 장치 및 그 방법과, 그를 이용한 음악 추천 시스템 및 그 방법을 제공하는데 그 목적이 있다.The present invention has been proposed in order to meet the above demands, and based on the characteristics of music that can calculate the similarity based on the characteristics (rhythm, tone, etc.) of the user's preferred music in the Internet or digital broadcasting environment It is an object of the present invention to provide a similarity measuring apparatus and method, a music recommendation system using the same, and a method thereof.

본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.Other objects and advantages of the present invention can be understood by the following description, and will be more clearly understood by the embodiments of the present invention. Also, it will be readily appreciated that the objects and advantages of the present invention may be realized by the means and combinations thereof indicated in the claims.

상기 목적을 달성하기 위한 본 발명은, 음악 간의 유사도를 측정하는 장치에 있어서, 음악의 특성을 반영하는 특징 정보를 추출하기 위한 음악 특징 추출 수단; 상기 추출된 특징 정보를 특징 벡터 열로 저장하고 있는 음악 특징 정보 저장 수단; 및 사용자 질의 음악에 대한 장르/가수 정보를 바탕으로 추출된 음악 리스트와 사용자 현재 질의 음악의 특징 정보 및/또는 사용자 과거 질의 음악들의 누적 특징 정보를 비교하여, 음악 간의 유사도를 계산하기 위한 유사도 계산 수단을 포함하여 이루어진 것을 특징으로 한다. According to an aspect of the present invention, there is provided an apparatus for measuring similarity between music, comprising: music feature extraction means for extracting feature information reflecting characteristics of music; Music feature information storage means for storing the extracted feature information as a feature vector sequence; And similarity calculation means for calculating the similarity between the music by comparing the extracted music list based on genre / singer information on the user query music with the feature information of the user's current query music and / or the cumulative feature information of the user's past query music. Characterized in that consisting of.

또한, 본 발명은, 상기 사용자 현재 질의 음악의 특징 정보를 상기 사용자 과거 질의 음악들의 누적 특징 정보에 갱신하기 위한 갱신 수단을 더 포함하여 이루어진 것을 특징으로 한다. The present invention may further comprise updating means for updating the feature information of the user's current query music to the cumulative feature information of the user's past query music.

또한, 상기 유사도 계산 결과에 따라, 상기 음악 리스트 중 유사도가 높은 곡 순으로 소정 개수 만큼 추천 목록을 생성하여 제공하기 위한 음악 추천 수단을 더 포함하여 이루어진 것을 특징으로 한다. The method may further include music recommendation means for generating and providing a recommendation list by a predetermined number in order of the song having the highest similarity according to the similarity calculation result.

한편, 본 발명은, 음악 간의 유사도를 측정하는 방법에 있어서, 음악의 특성 을 반영하는 특징 정보를 추출하는 단계; 및 사용자 질의 음악에 대한 장르/가수 정보를 바탕으로 추출된 음악 리스트와 사용자 현재 질의 음악의 특징 정보 및/또는 사용자 과거 질의 음악들의 누적 특징 정보를 비교하여, 음악 간의 유사도를 계산하는 단계를 포함하여 이루어진 것을 특징으로 한다. On the other hand, the present invention, a method for measuring the similarity between music, the step of extracting feature information reflecting the characteristics of the music; And comparing the extracted music list with the feature information of the user's current query music and / or the cumulative feature information of the user's past query music based on the genre / singer information on the user query music, and calculating the similarity between the music. Characterized in that made.

또한, 본 발명은, 상기 사용자 현재 질의 음악의 특징 정보를 상기 사용자 과거 질의 음악들의 누적 특징 정보에 누적 저장하는 단계를 더 포함하여 이루어진 것을 특징으로 한다. The present invention may further include accumulating and storing feature information of the user's current query music in cumulative feature information of the user's past query music.

또한, 본 발명은, 상기 유사도 계산 결과에 따라, 상기 음악 리스트 중 유사도가 높은 곡 순으로 소정 개수 만큼 추천 목록을 생성하여 제공하는 단계를 더 포함하여 이루어진 것을 특징으로 한다. The present invention may further include generating and providing a recommendation list for a predetermined number of songs in the order of high similarity among the music lists according to the similarity calculation result.

다른 한편, 본 발명은, 음악 추천 시스템에 있어서, 음악의 특성을 반영하는 특징 정보를 추출하기 위한 음악 특징 추출 수단; 상기 추출된 특징 정보를 특징 벡터 열로 저장하고 있는 음악 특징 정보 저장 수단; 사용자 질의 음악에 대한 장르/가수 정보를 바탕으로 음악 리스트를 추출하기 위한 리스트 추출 수단; 상기 추출된 음악 리스트와 사용자 현재 질의 음악의 특징 정보 및/또는 사용자 과거 질의 음악들의 누적 특징 정보를 비교하여, 음악 간의 유사도를 계산하기 위한 유사도 계산 수단; 및 상기 유사도 계산 결과에 따라, 상기 음악 리스트 중 유사도가 높은 곡 순으로 소정 개수 만큼 추천 목록을 생성하여 제공하기 위한 음악 추천 수단을 포함하여 이루어진 것을 특징으로 한다. On the other hand, the present invention provides a music recommendation system comprising: music feature extraction means for extracting feature information reflecting a characteristic of music; Music feature information storage means for storing the extracted feature information as a feature vector sequence; List extracting means for extracting a music list based on genre / singer information on user query music; Similarity calculation means for comparing the extracted music list with the feature information of the user's current query music and / or the cumulative feature information of the user's past query music to calculate the similarity between the music; And music recommendation means for generating and providing a recommendation list by a predetermined number in the order of high similarity among the music lists according to the similarity calculation result.

또한, 본 발명은, 상기 사용자 현재 질의 음악의 특징 정보를 상기 사용자 과거 질의 음악들의 누적 특징 정보에 갱신하기 위한 갱신 수단을 더 포함하여 이루어진 것을 특징으로 한다. The present invention may further comprise updating means for updating the feature information of the user's current query music to the cumulative feature information of the user's past query music.

또 다른 한편, 본 발명은, 음악 추천 방법에 있어서, 음악의 특성을 반영하는 특징 정보를 추출하는 단계; 사용자 질의 음악에 대한 장르/가수 정보를 바탕으로 음악 리스트를 추출하는 단계; 상기 추출된 음악 리스트와 사용자 현재 질의 음악의 특징 정보 및/또는 사용자 과거 질의 음악들의 누적 특징 정보를 비교하여, 음악 간의 유사도를 계산하는 단계; 및 상기 유사도 계산 결과에 따라, 상기 음악 리스트 중 유사도가 높은 곡 순으로 소정 개수 만큼 추천 목록을 생성하여 제공하는 단계를 포함하여 이루어진 것을 특징으로 한다. On the other hand, the present invention, in the music recommendation method, the step of extracting feature information reflecting the characteristics of the music; Extracting a music list based on genre / singer information about a user query music; Calculating similarity between music by comparing the extracted music list with feature information of user current query music and / or cumulative feature information of user past query music; And generating and providing a recommendation list by a predetermined number in the order of the song having the highest similarity among the music lists according to the result of the similarity calculation.

또한, 본 발명은, 상기 사용자 현재 질의 음악의 특징 정보를 상기 사용자 과거 질의 음악들의 누적 특징 정보에 누적 저장하는 단계를 더 포함하여 이루어진 것을 특징으로 한다. The present invention may further include accumulating and storing feature information of the user's current query music in cumulative feature information of the user's past query music.

본 발명은 인터넷 또는 디지털 방송 환경에서 음악을 사용자에게 효과적으로 추천해 주기 위하여, 사용자의 질의 원곡 또는 사용자 과거 질의 내역으로부터 음악 데이터의 특징을 분석하고 유사도를 계산하여, 이를 바탕으로 음악을 추천(노래 추천)하는 것이다. The present invention analyzes the characteristics of the music data from the original query or the user's past query history in order to effectively recommend the music to the user in the Internet or digital broadcasting environment, and calculates the similarity, based on this recommend the music (song recommendation) )

즉, 본 발명은 리듬, 음색 등과 같은 상위 레벨의 음악 특성에 기반을 두어 유사도를 계산하고, 이를 바탕으로 음악 추천 시스템을 구축하여 사용자에게 효과적으로 음악을 추천한다. 또한, 사용자 선호 내역이 누적되어 저장됨으로써, 사용자 취향(선호)을 고려한 추천 서비스가 가능하다.That is, the present invention calculates the similarity based on the upper level music characteristics such as rhythm, timbre, etc., and builds a music recommendation system based on this, and recommends music effectively to the user. In addition, by accumulating and storing user preferences, a recommendation service in consideration of user preference (preferred) is possible.

이와 같이 사용자의 선호 의사가 표명된 음악의 특징을 추출하여 이용(즉, 사용자 선호 음악 특성에 따라 음악을 추천)함으로써 보다 효과적이고 개인화된 맞춤형 음악 추천이 가능하게 된다. 이는 인터넷이나 디지털 방송환경에서 개인화된 음악 추천 서비스를 위해 효과적인 도구가 될 수 있으며, 다가오는 맞춤형 서비스 시대에 좋은 역할을 할 것으로 기대된다. In this way, by extracting and using the characteristics of the music expressed by the user's preferred intention (that is, recommending the music according to the user's preferred music characteristics), a more effective and personalized personalized music recommendation is possible. This can be an effective tool for personalized music recommendation services in the Internet or digital broadcasting environment, and is expected to play a good role in the coming customized service era.

상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.The above objects, features and advantages will become more apparent from the following detailed description taken in conjunction with the accompanying drawings, whereby those skilled in the art may easily implement the technical idea of the present invention. There will be. In addition, in describing the present invention, when it is determined that the detailed description of the known technology related to the present invention may unnecessarily obscure the gist of the present invention, the detailed description thereof will be omitted. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1 은 본 발명에 따른 음악 특성 기반 유사도 측정 장치 및 그를 이용한 음악 추천 시스템의 일실시예 구성도이다. 1 is a configuration diagram of an apparatus for measuring similarity based on music characteristics according to the present invention and a music recommendation system using the same.

도 1에 도시된 바와 같이, 본 발명에 따른 음악 특성 기반 유사도 측정 장치는, 음악의 특성을 반영하는 특징 정보(상위 레벨의 음악 특성을 나타내는 리듬 혹은 음색 특징 정보 중 하나임)를 추출하기 위한 음악 특징 추출부(131)와, 추출된 특징 정보(리듬, 음색 등)를 특징 벡터 열로 저장하고 있는 음악 특징정보 데이터베이스(132)와, 사용자 질의 음악에 대한 장르/가수 정보를 바탕으로 추출된 음악 리스트와 사용자 현재 질의 음악의 특징 정보(질의 원곡 음악(14)으로부터 추출된 음악 특성 정보) 및/또는 사용자 과거 질의 음악들의 누적 특징 정보(사용자 과거 질의 내역 정보(15)로부터 추출된 음악 특성 정보)를 비교하여, 음악 간의 유사도를 계산하기 위한 유사도 계산부(133)를 포함한다. As shown in FIG. 1, the apparatus for measuring a similarity based on music characteristics according to the present invention includes a music feature for extracting feature information (which is one of rhythm or timbre feature information indicating a music characteristic of a higher level) reflecting the music characteristic. A music feature information database 132 that stores the extracted feature information (rhythm, timbre, etc.) as a feature vector sequence, a music list extracted based on genre / singer information about user query music; Compare characteristic information of the user's current query music (music characteristic information extracted from the original query music 14) and / or cumulative characteristic information of the user's past query music (music characteristic information extracted from the user's past query history information 15) And a similarity calculator 133 for calculating the similarity between the music.

여기서, '사용자 현재 질의 음악의 특징 정보'라 함은, 사용자가 음악A를 청취한 후 음악 추천을 요청(음악 추천 아이콘 클릭)한 경우 해당 음악A의 곡명(song title), 또는 사용자가 직접 입력한 음악A의 곡명(song title)을 갖는 음악A의 리듬 혹은 음색 특성을 나타내는 특징 벡터를 의미한다. Here, 'characteristic information of the user's current query music' refers to a song title of the corresponding music A, or a user directly inputting a music recommendation after the user listens to the music A (click the music recommendation icon). A feature vector representing a rhythm or timbre characteristic of music A having a song title of one music A. FIG.

또한, '사용자 과거 질의 음악들의 누적 특징 정보'라 함은, 사용자의 질의 횟수 또는 특정 곡을 청취/다운로드한 횟수 등이 사용자별로 누적 저장된 음악들(A, B, C, D...)의 리듬 혹은 음색 특성을 나타내는 특징 벡터를 의미한다. 따라서, '사용자 현재 질의 음악의 특징 정보'를 바탕으로 유사도를 계산한 경우, 해당 '사용자 현재 질의 음악의 특징 정보'는 '사용자 과거 질의 음악들의 누적 특징 정보'에 누적되어 음악 장르(genre)/가수(artist)별로 누적되어 저장된다. In addition, the "cumulative feature information of user's past query music" means that the number of user's queries or the number of times of listening / downloading a specific song, etc. of the user's cumulative stored music (A, B, C, D ...) A feature vector representing rhythm or timbre characteristics. Therefore, when the similarity is calculated based on the 'characteristic information of the user's current query music', the 'characteristic information of the user's current query music' is accumulated in the 'cumulative characteristic information of the user's historical query music'. It is accumulated and stored for each artist.

이와 같은 리듬, 음색 등과 같은 상위 레벨의 음악 특성에 기반을 두어 유사도를 계산하는 유사도 측정 장치를 바탕으로 음악 추천 시스템을 구성하면, 음악의 특성을 반영하는 특징 정보(상위 레벨의 음악 특성을 나타내는 리듬 혹은 음색 특징 정보 중 하나임)를 추출하기 위한 음악 특징 추출부(131)와, 추출된 특징 정보(리듬, 음색 등)를 특징 벡터 열로 저장하고 있는 음악 특징정보 데이터베이스(132)와, 사용자 질의 음악에 대한 장르/가수 정보를 바탕으로 음악 리스트를 추출하기 위한 리스트 추출부(11)와, 추출된 음악 리스트와 사용자 현재 질의 음악의 특징 정보(질의 원곡 음악(14)으로부터 추출된 음악 특성 정보) 및/또는 사용자 과거 질의 음악들의 누적 특징 정보(사용자 과거 질의 내역 정보(15)로부터 추출된 음악 특성 정보)를 비교하여, 음악 간의 유사도를 계산하기 위한 유사도 계산부(133)와, 유사도 계산 결과에 따라, 음악 리스트 중 유사도가 높은 곡 순으로 소정 개수 만큼 추천 목록(장르/가수별 음악 추천 곡 목록(16))을 생성하여 제공하기 위한 음악 추천부(도면에 도시되지 않음)를 포함한다. 이때, 만약 사용자 현재 질의 음악의 특징 정보를 바탕으로 유사도를 계산한 경우, 해당 사용자 현재 질의 음악의 특징 정보를 사용자 과거 질의 음악들의 누적 특징 정보에 음악 장르(genre)/가수(artist)별로 누적 저장(갱신)하기 위한 갱신부(미 도시됨)를 더 포함한다. When the music recommendation system is constructed based on the similarity measuring device that calculates the similarity based on the high level music characteristics such as rhythm and tone, the feature information reflecting the characteristics of the music (rhythm indicating the high level music characteristics) Or a music feature extraction unit 131 for extracting one of the tone feature information, a music feature information database 132 storing the extracted feature information (rhythm, tone, etc.) as a feature vector sequence; A list extracting unit 11 for extracting a music list based on the genre / singer information for the user, feature information of the extracted music list and the user's current query music (music characteristic information extracted from the query original song music 14), and / Or compares the cumulative characteristic information of the user's past query music (music characteristic information extracted from the user's past query history information 15), Similarity calculation unit 133 for calculating the similarity between and generates a recommendation list (list of music recommendation songs by genre / singer by genre / singer 16) by a predetermined number of songs in the order of high similarity according to the similarity calculation result. A music recommendation portion (not shown) to provide. In this case, if the similarity is calculated based on the feature information of the user's current query music, the feature information of the user's current query music is accumulated and stored by the music genre / artist in the cumulative feature information of the user's past query music. And an updater (not shown) for (update).

그럼, 본 발명에 따른 음악 추천 시스템의 동작을 보다 구체적으로 살펴보기로 한다. Then, the operation of the music recommendation system according to the present invention will be described in more detail.

본 발명의 음악 추천 서비스는, 디지털 방송 또는 인터넷 환경에서 사용자가 음악A를 청취한 후 음악 추천을 요청(음악 추천 아이콘 클릭)하면 해당 음악A의 곡명(song title), 장르(genre), 가수(artist) 정보 등으로 구성된 메타데이터가 서버로 전달되거나, 사용자가 직접 질의어로 입력한 음악A의 곡명(song title) 혹은 장르(genre) 혹은 가수(artist) 정보가 서버로 전달됨으로써 개시된다. In the music recommendation service of the present invention, when a user requests music recommendation (click the music recommendation icon) after listening to music A in a digital broadcasting or Internet environment, the music title, genre, and singer of the music A Metadata composed of artist information or the like is transmitted to the server, or the song title, genre, or artist information of music A directly input by the user as a query is transmitted to the server.

즉, 디지털 방송 또는 인터넷 환경에서 어떤 음악에 대해 사용자가 선호 의사(장르(genre)/가수(artist) 입력 또는 곡명(song title) 선택/입력 등)를 표명할 수 있고, 해당 곡의 메타데이터가 서버로 전달될 수 있다. 이때, 메타데이터는 음악의 장르, 가수, 곡명 등의 정보를 포함하고 있고, 사용자 선호 곡의 메타데이터 는 사용자의 선호 의사가 일어날 때마다 서버에 전달될 수도 있고, 일정 기간마다 리스트(도 5 참조)로 서버에 전달될 수도 있다. 이때, 사용자 선호 질의 음악의 리스트 형식은 도 5와 같으며, 사용자 ID, 가수(artist), 곡명(song title), 장르(genre), 사용자 선호도(user preference) 등으로 구성된다. In other words, in a digital broadcasting or Internet environment, a user may express his / her preferred intention (genre / artist input or song title selection / entry) for a certain music, and metadata of the song may be Can be delivered to the server. In this case, the metadata includes information such as music genre, singer, song name, and the like. The metadata of the user's favorite song may be delivered to the server whenever a user's favorite intention occurs. May be passed to the server. In this case, the list format of the user preference query music is shown in FIG. 5 and is composed of a user ID, an artist, a song title, a genre, a user preference, and the like.

그러나, 전술한 바와 같이 사용자가 직접 곡명을 입력하거나, 질의 조건으로 음악의 장르 혹은 가수에 관한 정보를 입력하는 것 역시 가능하다. 이 경우, 클라이언트에서 서버로 메타데이터가 전달되는 것이 아니라, 질의어(검색 조건)만이 서버로 전달될 것이다. 다만, 사용자가 직접 곡명을 입력하는 경우에 있어서, 클라이언트에서 해당 곡의 메타데이터가 존재하면 해당 곡의 메타데이터를 서버로 전송하지만, 그렇지 않은 경우에는 질의어(검색 조건)가 서버로 전달한다. However, as described above, it is also possible for a user to directly input a song name or to input information regarding a music genre or a singer as a query condition. In this case, only the query (search condition) will be sent to the server, not the metadata from the client to the server. However, in the case where the user directly inputs the song name, if the metadata of the song exists in the client, the metadata of the song is transmitted to the server. Otherwise, the query (search condition) is transmitted to the server.

따라서, 사용자가 음악의 장르(genre) 혹은 가수(artist) 정보를 직접 입력하거나, 음악의 곡명(song title)을 선택 혹은 직접 입력하는 경우에도, 서버에서는 사용자 선호의 장르(genre) 혹은 가수(artist) 정보를 알 수 있게 된다. Therefore, even when a user directly enters genre or artist information of a music, or selects or directly enters a song title of a music, the server may generate a user's favorite genre or artist. Information is available.

이후, 서버의 리스트 추출부(11)에서는 음악 DB(12)로부터 해당 장르(genre) 혹은 가수(artist)에 해당하는 곡들을 추출하여 음악 리스트(비교 대상 음악들의 집합체)를 생성한다. 예를 들면, '댄스(dance)' 장르에 해당하는 곡들 전부 혹은 가수 '이효리'의 곡들 전부를 음악 DB(12)에서 선별하여 음악 리스트를 생성한다. 따라서, 음악 리스트는 사용자가 음악 추천 아이콘을 통해 선택 또는 직접 입력한 해당 곡명의 장르 혹은 가수가 부르는 곡들의 전체 리스트, 또는 사용자가 직접 질의어(검색 조건)로 입력한 해당 장르 혹은 가수가 부르는 곡들의 전체 리스트를 의 미한다. Thereafter, the list extracting unit 11 of the server extracts songs corresponding to the genre or artist from the music DB 12 to generate a music list (a collection of comparison target music). For example, all of the songs corresponding to the 'dance' genre or all the songs of the singer 'Hyo-ri' are selected from the music DB 12 to generate a music list. Therefore, the music list is a list of songs of the genre or singer of the corresponding song name that the user selects or directly inputs through the music recommendation icon, or the songs of the genre or singer that the user directly enters as a query (search condition). It means the entire list.

즉, 리스트 추출부(11)에서는 메타데이터의 장르/가수 정보를 통해 질의 음악의 장르 또는 질의 음악의 가수에 해당하는 곡만을 음악 DB(12)에서 선별하거나, 사용자가 직접 입력한 질의어(곡명 혹은 장르 혹은 가수)에 해당하는 질의 음악의 장르 또는 질의 음악의 가수에 해당하는 곡만을 음악 DB(12)에서 선별한다. That is, the list extracting unit 11 selects only songs corresponding to the genre of the query music or the singer of the query music through the genre / singer information of the metadata from the music DB 12, or the query word (the song name or The music DB 12 selects only the songs corresponding to the genre of the quality music or the singer of the quality music.

이후, 유사도 측정 장치(13)에서는 리스트 추출부(11)에서 추출된 음악 리스트(비교 대상 음악들의 집합체)를 사용자 현재 질의 음악의 특징 정보(질의 원곡 음악(14)으로부터 추출된 음악 특성 정보) 및/또는 사용자 과거 질의 음악들의 누적 특징 정보(사용자 과거 질의 내역 정보(15)로부터 추출된 음악 특성 정보)와 비교하여 음악 간의 유사도를 계산한다. 이때, 음악의 특성을 나타내는 리듬, 음색 등의 특징 정보는 기본적으로 미리 추출되어 음악 특징정보 DB(132)에 텍스트 파일로 저장되어 있지만, 실시간으로 추출될 수도 있음에 유의하여야 한다. Thereafter, the similarity measuring apparatus 13 converts the music list (collection of comparison target music) extracted by the list extraction unit 11 into the feature information of the user's current query music (music characteristic information extracted from the original song music 14 of the query) and / Or similarity between the music is calculated by comparing the cumulative characteristic information of the user past query music (music characteristic information extracted from the user past query history information 15). At this time, the feature information such as rhythm, tone, etc. representing the characteristics of the music is basically extracted in advance and stored in the music feature information DB 132 as a text file, it should be noted that may be extracted in real time.

따라서, 사용자가 음악의 곡명(song title)을 선택 혹은 직접 입력한 경우, 해당 음악의 특징 정보(즉, 질의 원곡 음악(14)으로부터 추출된 음악 특성 정보)와 음악 리스트 상의 각 곡의 특징 정보를 비교하여 유사도를 계산(음악 간의 유사도 측정)하게 된다. Therefore, when the user selects or directly inputs a song title of the music, feature information of the corresponding music (that is, music characteristic information extracted from the original query music 14) and feature information of each song on the music list are displayed. The similarity is calculated (measurement of similarity between music).

만약, 사용자가 음악의 장르(genre) 혹은 가수(artist) 정보를 직접 입력한 경우, 해당 사용자의 ID 및 선호도를 바탕(사용자별 과거 질의 내역 DB를 참조)으로 한 음악의 특징 정보(즉, 사용자 과거 질의 내역 정보(DB)(15)로부터 추출된 음악 특성 정보)와 음악 리스트 상의 각 곡의 특징 정보를 비교하여 유사도를 계산 (음악 간의 유사도 측정)하게 된다. If the user directly enters genre or artist information of the music, the characteristic information of the music based on the user's ID and preference (refer to the user's past query history DB), that is, the user The similarity is calculated (measurement of similarity between music) by comparing the feature information of each piece of music on the music list with music feature information extracted from past query history information (DB) 15.

즉, 사용자가 질의어(검색 조건)로 음악의 곡명(song title)을 선택 혹은 직접 입력한 경우에는 해당 음악의 특징 정보(사용자 현재 질의 음악의 특징 정보)를 비교 대상의 음악 리스트 상의 각 곡의 특징 정보와 비교하고, 질의어(검색 조건)으로 음악의 장르(genre) 혹은 가수(artist) 정보를 직접 입력한 경우에는 사용자 ID와 선호도를 바탕으로 한 사용자 과거 질의 음악들의 누적 특징 정보를 비교 대상의 음악 리스트 상의 각 곡의 특징 정보와 비교하여, 음악 간의 유사도를 계산하게 된다. That is, when the user selects or directly inputs a song title as a query (search condition), the feature information of the music (the feature information of the user's current query music) is compared with the feature of each song on the music list to be compared. Compared with the information, and when the genre or artist information of the music is directly entered as a query (search condition), the cumulative characteristic information of the user's past query music based on the user ID and the preference is compared. The similarity between the music is calculated by comparing with the feature information of each song on the list.

이후, 유사도 계산 결과에 따라, 최종적으로 각 장르별, 가수별로 유사도가 높은 순으로 음악 추천 목록(16)을 텍스트 파일로 생성하고, 사용자의 최근 질의 음악의 특징 벡터를 사용자별 과거 질의 특징 벡터 정보(사용자별 과거 질의 내역 DB)에 누적하여 저장한다. Then, according to the result of the similarity calculation, the music recommendation list 16 is finally generated as a text file in order of high similarity for each genre and artist, and the feature vector information of the user's recent query music is obtained from the user's past query feature vector information ( It accumulates and stores it in the DB of past query history by user.

이러한 일련의 과정이 도 3에 도시되어 있다. This series of steps is shown in FIG.

도 3을 통해 정리해 보면, 사용자 질의 음악의 메타데이터(음악의 장르, 곡명, 가수)가 존재할 경우에는(301), 그 메타데이터를 이용하여 음악 DB(12)에서 장르별, 가수별로 음악 리스트를 선별하고(304), 메타데이터가 존재하지 않을 경우에는 기존의 존재하는 음악 검색 알고리즘으로 질의 곡명 혹은 가수 혹은 장르 정보를 찾아(303) 음악 DB(12)에서 장르별, 가수별로 음악 리스트를 선별하게 된다(304). 이때, 사용자의 ID 정보에 대해서는 서버에서 기본적으로 알고 있는 사항이다. 따라서, 서버에서는 사용자별 과거 질의 내역 정보(DB)를 유사도 계산시 이 용 가능한 것이다. Referring to FIG. 3, when metadata (genre of music, song name, and singer) of user query music exists (301), the music list is selected by genre and singer in the music DB 12 using the metadata. If there is no metadata (304), the searched song name or singer or genre information is searched for by the existing music search algorithm (303). The music DB 12 selects music lists by genres and singers ( 304). At this time, the server's ID information is basically known to the server. Therefore, the server can use the historical query history information (DB) for each user when calculating the similarity.

이후, 선별된 음악들(비교 대상 음악들의 리스트)과 질의 원곡의 음악 특성 또는 사용자 과거 질의 음악들의 누적 특성과 유사도를 계산하여(305), 유사도가 가장 높은 곡부터 미리 정해진 음악 개수만큼 추천 목록(음악 추천 목록)을 생성하여 사용자에게 제공하게 된다(307). 이때, 가장 최근 사용자 질의 음악 특성은 사용자 과거 질의 음악 특성에 누적하여 저장하게 된다(306).Then, the similarity and the cumulative characteristics of the selected music (list of comparison target music) and the original music of the query or the user's past query music is calculated (305), and the recommendation list (the predetermined number of songs starting from the highest similarity music) The music recommendation list) is generated and provided to the user (307). In this case, the most recent user query music characteristics are accumulated and stored in the user past query music characteristics (306).

그럼, 음악 특성을 반영하는 특징 정보의 추출 과정을 보다 상세하게 살펴보기로 한다. Next, a process of extracting feature information reflecting music characteristics will be described in more detail.

모든 음원은 미리 특징이 추출되어 텍스트 파일로 저장된다. 이때, 텍스트 파일은 도 4에 도시된 바와 같이 해당 곡 정보와 그 곡의 음악 특성을 나타내는 특징 벡터가 저장되어 있다. All sound sources are pre-extracted and saved as text files. In this case, as shown in FIG. 4, the text file stores corresponding song information and a feature vector indicating a music characteristic of the song.

본 발명에서는 음악 특성을 나타내기 위해 음악 심리학에서 중요하게 여기는 리듬 특성, 음색 특성을 특징 벡터에 반영한다. 인간이 음악을 들을 때 리듬, 음색의 특징이 음악의 분위기를 결정짓는데 가장 기본적이고 중요하다는 것을 음악 심리학의 많은 연구 결과가 말해주고 있다. 따라서, 본 발명에서는 음악의 특성을 나타내는 특징 벡터를 추출하여 음악 간의 유사도를 계산하게 된다. In the present invention, the rhythm characteristic and the timbre characteristic important in music psychology are reflected in the feature vector in order to represent the musical characteristic. Many studies of music psychology say that the characteristics of rhythm and timbre are the most fundamental and important when determining the mood of music when humans listen to music. Therefore, in the present invention, the similarity between the music is calculated by extracting the feature vector representing the music characteristic.

먼저, 리듬 특징 추출을 위해서는, 어쿠스틱(acustic) 신호를 디지털화하여 이산 푸리에 변환을 수행한 후에 주파수 밴드별로 온셋 시퀀스(onset sequence)를 검출한 후 이를 자기 상관함수를 이용하여 리듬 특징을 추출할 수 있다. 여기서, 온셋 시퀀스(onset sequence)란, 오디오 신호의 비트의 강약을 알 수 있는 중요한 척도로, 신호의 비트 강약의 흐름을 보여주는 시퀀스(sequence)라고 볼 수 있다. First, in order to extract a rhythm feature, an acoustic signal may be digitized to perform a discrete Fourier transform, and then an onset sequence for each frequency band may be detected, and then the rhythm feature may be extracted using an autocorrelation function. . Here, the onset sequence is an important measure of the strength and weakness of the bit of the audio signal, and can be regarded as a sequence showing the flow of the bit strength and weakness of the signal.

참고적으로, 오디오 신호에서 온셋 시퀀스(onset sequence)를 검출하는 과정을 살펴보면, 먼저 온셋 시퀀스 검출을 위해 오디오 신호를 일정 프레임으로 나누고, 각 프레임에 대해 이산 푸리에 변환을 수행하면 프레임별로 주파수 인덱스별 에너지를 구할 수 있게 된다. 그리고, 주파수 인덱스별로 시간 축에 대해서 저주파 대역 필터링을 한 후 일종의 온셋 커브 검출(onset curve detection) 필터인 "Canny operator"를 이용하여 다시 필터링을 한다. 이때 사용되는 "Canny operator"는 영상 신호 처리 분야에서 에지 검출(edge detection)을 위한 필터로 이미 잘 알려져 있다. For reference, in the process of detecting an onset sequence from an audio signal, first, the audio signal is divided into predetermined frames to detect the onset sequence, and if a discrete Fourier transform is performed for each frame, the energy for each frequency index for each frame Will be available. The low frequency band filtering is performed on the time axis for each frequency index, and then filtered again using a "Canny operator", which is a kind of onset curve detection filter. The "Canny operator" used at this time is well known as a filter for edge detection in the field of image signal processing.

그리고, 각 주파수 인덱스별로 양의 값을 갖는 온셋(onset)들을 모두 더해 하나의 온셋 시퀀스(onset sequence)를 얻게 된다. 이는 다시 중간값(median) 필터링을 통하여 최종적으로 온셋 시퀀스(onset sequence)를 얻게 된다. 이 시퀀스를 통해 리듬 특징 벡터를 추출하게 된다. In addition, one onset sequence is obtained by adding all onsets having positive values for each frequency index. This results in an onset sequence through median filtering. This sequence extracts the rhythm feature vector.

첫 번째 차원의 값은 전체 프레임당 온셋(onset)의 평균값을 의미한다. 두 번째 차원의 값은 온셋(onset)의 개수의 정도를 의미하며, 3, 4번째 차원의 값은 온셋 시퀀스(onset sequence)를 자기상관 함수를 이용하여 자기 상관 결과의 극대값들의 평균값과 극소값들의 평균값을 구한 것이다. The value of the first dimension means the average value of onset per entire frame. The value of the second dimension means the degree of the number of onsets, and the value of the 3rd and 4th dimension means the average value of the local maxima and the local minima of the autocorrelation result using the onset sequence using the autocorrelation function. Is obtained.

이외에도 리듬 특징 벡터 추출 방식으로는 다양한 방식이 존재할 수 있다. In addition, various methods may exist as a rhythm feature vector extraction method.

한편, 음악의 음색 특성을 추출하기 위해서는, 음악신호를 일정 길이의 프레임으로 나누어 각 프레임별로 MFCC(Mel-frequency cepstral coefficients), LPC(Linear predictive coding), LPCC(Linear predictive cepstral coefficients) 같은 특징 벡터를 추출하여 이용할 수 있다. MFCC, LPCC, LPC 등은 디지털 신호처리 분야 또는 음성 인식 분야에서 잘 알려져 있다. On the other hand, in order to extract the tone characteristics of music, the music signal is divided into frames having a predetermined length, and feature vectors such as mel-frequency cepstral coefficients (MFCC), linear predictive coding (LPC), and linear predictive cepstral coefficients (LPCC) are obtained for each frame. It can be extracted and used. MFCC, LPCC, LPC and the like are well known in the field of digital signal processing or speech recognition.

본 발명에서는 MFCC, LPCC 또는 LPC 같은 특징 벡터를 음악의 음색을 나타내는 특징 벡터로 사용한다. In the present invention, a feature vector such as MFCC, LPCC or LPC is used as a feature vector representing a tone of music.

MFCC의 경우, 인간의 청각 특성을 모델링하여 음성 또는 음악 신호의 특징을 반영하는데 그 기술의 유용성이 이미 잘 알려져 있다. LPCC, LPC 또한 신호의 개략적인 주파수 스펙트럼을 모델링함으로써 그 기술의 효과가 많이 알려져 있다. 이런 특징 벡터를 프레임별로 구한 후 벡터 열의 평균과 분산을 특징 벡터로 할 수 있으며, 단순히 벡터 열의 평균을 특징 벡터로 할 수도 있다. In the case of MFCC, the usefulness of the technique is well known to model human auditory characteristics to reflect the characteristics of speech or musical signals. LPCC and LPC are also well known for their effects by modeling the rough frequency spectrum of signals. After the feature vectors are obtained for each frame, the average and variance of the vector columns may be used as feature vectors, or the average of the vector columns may be used as feature vectors.

이렇게 음악의 특성이 반영된 특징 벡터는 도 4에 도시된 바와 같이 텍스트 파일로 저장될 수 있다. 이때, 저장 형식은 다양하게 변형될 수 있으나, 특징 벡터의 해당하는 곡명과 가수 등의 정보를 알 수 있어야 한다. 이렇게 구한 특징 벡터들을 하나의 벡터 열로 모아 유클리디안(Euclidean) 거리 척도 또는 코사인 거리 척도로 계산하여 음악 간의 유사도를 계산할 수 있다. 이때 사용되는 유클리디안 또는 코사인 거리척도 방식은 공학과 수학의 여러 분야에서 이미 잘 알려진 방식으로서, 벡터 열 간의 유사도 또는 거리를 측정하는데 유용하게 쓰이고 있다. The feature vector reflecting the characteristics of the music may be stored as a text file as shown in FIG. 4. In this case, the storage format may be modified in various ways, but information on a corresponding song name and singer of the feature vector should be known. The feature vectors obtained as described above can be collected in a single vector sequence and calculated on the Euclidean distance scale or the cosine distance scale to calculate the similarity between music. The Euclidean or cosine distance scale method used at this time is well known in various fields of engineering and mathematics, and is useful for measuring similarity or distance between vector columns.

한편, 가장 최근 사용자 질의 음악 특성을 사용자 과거 질의 음악 특성에 누적하는 방식에 대해 보다 상세하게 살펴보기로 한다. Meanwhile, the method of accumulating the most recent user query music characteristics to the user past query music characteristics will be described in detail.

사용자 질의 음악 특성은 각 질의 음악의 특징이 사용자별로 누적되어 저장 되게 된다. 이때, 도 5에 도시된 바와 같이 사용자 질의 회수 또는 특정 곡을 들은 회수 등을 이용하여 사용자별 과거 질의 음악 특징 벡터가 누적 저장된다. 예를 들면, 리스트(도 5)의 각 곡의 특징 벡터 요소에 사용자 질의 회수를 곱한 후 더하는 식으로 모든 곡들의 벡터값을 요소별로 더한 후 각 값을 리스트의 곡 수로 나누어 사용자별 과거 질의 음악 특징이 누적되어 저장될 수 있다. 또한, 사용자별 과거 질의 음악 특징은 음악 장르/가수별로 누적되어 저장될 수도 있다.In the user query music feature, the feature of each query music is accumulated and stored for each user. At this time, as shown in FIG. 5, the user's past query music feature vector is cumulatively stored by using the number of user queries or the number of times a specific song is listened to. For example, by adding the number of user queries to the feature vector elements of each song in the list (FIG. 5) and adding them, the vector values of all the songs are added by element, and then each value is divided by the number of songs in the list. May be accumulated and stored. In addition, the user's past query music features may be accumulated and stored for each music genre / singer.

상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.As described above, the method of the present invention may be implemented as a program and stored in a recording medium (CD-ROM, RAM, ROM, floppy disk, hard disk, magneto-optical disk, etc.) in a computer-readable form. Since this process can be easily implemented by those skilled in the art will not be described in more detail.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.The present invention described above is capable of various substitutions, modifications, and changes without departing from the technical spirit of the present invention for those skilled in the art to which the present invention pertains. It is not limited by the drawings.

상기와 같은 본 발명은, 인터넷, 디지털 방송 환경에서 사용자의 선호 의사가 표명된 음악의 특성을 음악 레벨의 특징을 추출하여 이용함으로써 보다 효과적이고 개인화된 맞춤형 음악 추천을 가능하게 되어, 온라인 음악 서비스 산업이나 디지털 방송 환경에서의 T-commerce 분야에 유용하게 활용될 수 있는 효과가 있다. As described above, the present invention enables more effective and personalized personalized music recommendation by extracting and using the characteristics of the music level expressed by the user's preferred intention in the Internet and digital broadcasting environment. However, there is an effect that can be usefully used in the T-commerce field in a digital broadcasting environment.

Claims (24)

음악 간의 유사도를 측정하는 장치에 있어서, In the device for measuring the similarity between music, 음악의 특성을 반영하는 특징 정보를 추출하기 위한 음악 특징 추출 수단;Music feature extraction means for extracting feature information reflecting the characteristics of the music; 상기 추출된 특징 정보를 특징 벡터 열로 저장하고 있는 음악 특징 정보 저장 수단; 및 Music feature information storage means for storing the extracted feature information as a feature vector sequence; And 사용자 질의 음악에 대한 장르/가수 정보를 바탕으로 추출된 음악 리스트와 사용자 현재 질의 음악의 특징 정보 및/또는 사용자 과거 질의 음악들의 누적 특징 정보를 비교하여, 음악 간의 유사도를 계산하기 위한 유사도 계산 수단Similarity calculation means for calculating the similarity between music by comparing the extracted music list based on genre / singer information about the user query music with the feature information of the user's current query music and / or the cumulative feature information of the user's past query music 을 포함하는 음악 특성 기반 유사도 측정 장치. Music characteristic-based similarity measuring device comprising a. 제 1 항에 있어서, The method of claim 1, 상기 사용자 현재 질의 음악의 특징 정보를 상기 사용자 과거 질의 음악들의 누적 특징 정보에 갱신하기 위한 갱신 수단Updating means for updating the feature information of the user's current query music to the cumulative feature information of the user's past query music 을 더 포함하는 음악 특성 기반 유사도 측정 장치.Music characteristic-based similarity measuring device further comprising. 제 1 항에 있어서, The method of claim 1, 상기 유사도 계산 결과에 따라, 상기 음악 리스트 중 유사도가 높은 곡 순으 로 소정 개수 만큼 추천 목록을 생성하여 제공하기 위한 음악 추천 수단Music recommendation means for generating and providing a recommendation list by a predetermined number of songs in the order of high similarity according to the similarity calculation result; 을 더 포함하는 음악 특성 기반 유사도 측정 장치. Music characteristic-based similarity measuring device further comprising. 제 1 항 내지 제 3 항 중 어느 한 항에 있어서, The method according to any one of claims 1 to 3, 상기 특징 정보는, The feature information, 상위 레벨의 음악 특성을 나타내는 리듬 혹은 음색 특징 정보 중 적어도 하나인 것을 특징으로 하는 음악 특성 기반 유사도 측정 장치. And at least one of rhythm or tone characteristic information indicating a higher level music characteristic. 제 4 항에 있어서, The method of claim 4, wherein 상기 리듬 특징 정보는, The rhythm feature information, 어쿠스틱(acustic) 신호를 디지털화하여 이산 푸리에 변환을 수행한 후에, 주파수 밴드별로 온셋 시퀀스(onset sequence)를 검출한 후, 이를 자기 상관함수를 이용하여 추출된 음악의 리듬 특성을 나타내는 특징 벡터인 것을 특징으로 하는 음악 특성 기반 유사도 측정 장치. After performing a discrete Fourier transform by digitizing an acoustic signal, detecting an onset sequence for each frequency band, and using the autocorrelation function, it is a feature vector representing the rhythm characteristics of the extracted music. A similarity measurement apparatus based on music characteristics. 제 4 항에 있어서, The method of claim 4, wherein 상기 음색 특징 정보는, The tone feature information, 음악 신호를 소정 길이의 프레임으로 나누어, 각 프레임별로 추출된 MFCC(Mel-Frequency Cepstral Coefficients), 혹은 LPC(Linear Predictive Coding), 혹은 LPCC(Linear Predictive Cepstral Coefficients) 중 하나의 음악의 음색 특성을 나타내는 특징 벡터인 것을 특징으로 하는 음악 특성 기반 유사도 측정 장치. The music signal is divided into frames having a predetermined length, and the characteristics of the tone characteristics of one of music, such as Mel-Frequency Cepstral Coefficients (MFCC), Linear Predictive Coding (LPC), or Linear Predictive Cepstral Coefficients (LPCC), extracted for each frame Music characteristic-based similarity measuring device, characterized in that the vector. 제 4 항에 있어서, The method of claim 4, wherein 상기 유사도 계산 수단은,The similarity calculation means, 특징 벡터들을 하나의 벡터 열로 모아 유클리디안 거리 척도 혹은 코사인 거리 척도 중 하나로 계산하여 음악 간의 유사도를 계산하는 것을 특징으로 하는 음악 특성 기반 유사도 측정 장치. A music characteristic-based similarity measuring device, characterized in that the similarity between music is calculated by collecting feature vectors into one vector column and calculating one of the Euclidean distance scale or the cosine distance scale. 음악 간의 유사도를 측정하는 방법에 있어서, In the method of measuring the similarity between music, 음악의 특성을 반영하는 특징 정보를 추출하는 단계; 및 Extracting feature information reflecting the characteristics of music; And 사용자 질의 음악에 대한 장르/가수 정보를 바탕으로 추출된 음악 리스트와 사용자 현재 질의 음악의 특징 정보 및/또는 사용자 과거 질의 음악들의 누적 특징 정보를 비교하여, 음악 간의 유사도를 계산하는 단계Calculating the similarity between the music by comparing the extracted music list based on genre / singer information on the user query music with the feature information of the user's current query music and / or the cumulative feature information of the user's past query music; 를 포함하는 음악 특성 기반 유사도 측정 방법. Music characteristic-based similarity measurement method comprising a. 제 8 항에 있어서, The method of claim 8, 상기 사용자 현재 질의 음악의 특징 정보를 상기 사용자 과거 질의 음악들의 누적 특징 정보에 누적 저장하는 단계Accumulating and storing feature information of the user's current query music in cumulative feature information of the user's past query music; 를 더 포함하는 음악 특성 기반 유사도 측정 방법.Music characteristic-based similarity measurement method further comprising. 제 9 항에 있어서, The method of claim 9, 상기 누적 저장하는 과정은, The cumulative storage process, 모든 곡들의 벡터값을 요소별로 더한 후 각 값을 리스트의 곡 수로 나누어 사용자별 과거 질의 음악 특징을 누적 저장하는 것을 특징으로 하는 음악 특성 기반 유사도 측정 방법.A method of measuring similarity based on music characteristics, characterized by adding vector values of all songs by elements and dividing each value by the number of songs in the list to accumulate and store music characteristics of past queries for each user. 제 8 항에 있어서, The method of claim 8, 상기 유사도 계산 결과에 따라, 상기 음악 리스트 중 유사도가 높은 곡 순으로 소정 개수 만큼 추천 목록을 생성하여 제공하는 단계Generating and providing a recommendation list by a predetermined number in order of songs having high similarity among the music lists according to the similarity calculation result; 를 더 포함하는 음악 특성 기반 유사도 측정 방법. Music characteristic-based similarity measurement method further comprising. 제 8 항 내지 제 11 항 중 어느 한 항에 있어서, The method according to any one of claims 8 to 11, 상기 특징 정보는, The feature information, 상위 레벨의 음악 특성을 나타내는 리듬 혹은 음색 특징 정보 중 적어도 하나인 것을 특징으로 하는 음악 특성 기반 유사도 측정 방법. And at least one of rhythm or tone characteristic information indicating a higher level music characteristic. 제 12 항에 있어서, The method of claim 12, 상기 리듬 특징 정보는, The rhythm feature information, 어쿠스틱(acustic) 신호를 디지털화하여 이산 푸리에 변환을 수행한 후에, 주파수 밴드별로 온셋 시퀀스(onset sequence)를 검출한 후, 이를 자기 상관함수를 이용하여 추출된 음악의 리듬 특성을 나타내는 특징 벡터인 것을 특징으로 하는 음악 특성 기반 유사도 측정 방법. After performing a discrete Fourier transform by digitizing an acoustic signal, detecting an onset sequence for each frequency band, and using the autocorrelation function, it is a feature vector representing the rhythm characteristics of the extracted music. Music characteristic-based similarity measurement method. 제 13 항에 있어서, The method of claim 13, 상기 온셋 시퀀스(onset sequence)를 검출하는 과정은, The process of detecting the onset sequence, 오디오 신호를 소정 프레임으로 나누고, 각 프레임에 대해 이산 푸리에 변환을 수행하여 프레임별 주파수 인덱스별 에너지를 구한 후, 주파수 인덱스별로 시간축에 대해서 저주파 대역 필터링을 한 후 온셋 커브 검출 필터를 이용하여 필터링 하며, 각 주파수 인덱스별로 양의 값을 갖는 온셋(onset)들을 모두 더해 하나의 온셋 시퀀스를 얻어, 이를 다시 중간값 필터링을 통하여 온셋 시퀀스를 얻는 것을 특징으로 하는 음악 특성 기반 유사도 측정 방법. After dividing the audio signal into predetermined frames, performing Discrete Fourier Transform on each frame to find the energy per frequency index for each frame, low frequency band filtering is performed on the time axis for each frequency index, and then filtered using the onset curve detection filter. A method of measuring similarity based on music characteristics, characterized in that a single onset sequence is obtained by adding all onsets having a positive value for each frequency index, and again obtaining an onset sequence through median filtering. 제 12 항에 있어서, The method of claim 12, 상기 음색 특징 정보는, The tone feature information, 음악 신호를 소정 길이의 프레임으로 나누어, 각 프레임별로 추출된 MFCC(Mel-Frequency Cepstral Coefficients), 혹은 LPC(Linear Predictive Coding), 혹은 LPCC(Linear Predictive Cepstral Coefficients) 중 하나의 음악의 음색 특성을 나타내는 특징 벡터인 것을 특징으로 하는 음악 특성 기반 유사도 측정 방법. The music signal is divided into frames having a predetermined length, and the characteristics of the tone characteristics of one of music, such as Mel-Frequency Cepstral Coefficients (MFCC), Linear Predictive Coding (LPC), or Linear Predictive Cepstral Coefficients (LPCC), extracted for each frame Music characteristic-based similarity measurement method characterized in that the vector. 제 15 항에 있어서, The method of claim 15, 상기 음색 특징 벡터는, The tone feature vector is 벡터 열의 평균과 분산, 혹은 벡터 열의 평균값 중 하나인 것을 특징으로 하는 음악 특성 기반 유사도 측정 방법. A method of measuring similarity based on music characteristics, characterized in that it is one of an average and a variance of a vector sequence, or an average value of a vector sequence. 음악 추천 시스템에 있어서, In the music recommendation system, 음악의 특성을 반영하는 특징 정보를 추출하기 위한 음악 특징 추출 수단;Music feature extraction means for extracting feature information reflecting the characteristics of the music; 상기 추출된 특징 정보를 특징 벡터 열로 저장하고 있는 음악 특징 정보 저장 수단; Music feature information storage means for storing the extracted feature information as a feature vector sequence; 사용자 질의 음악에 대한 장르/가수 정보를 바탕으로 음악 리스트를 추출하기 위한 리스트 추출 수단; List extracting means for extracting a music list based on genre / singer information on user query music; 상기 추출된 음악 리스트와 사용자 현재 질의 음악의 특징 정보 및/또는 사용자 과거 질의 음악들의 누적 특징 정보를 비교하여, 음악 간의 유사도를 계산하기 위한 유사도 계산 수단; 및 Similarity calculation means for comparing the extracted music list with the feature information of the user's current query music and / or the cumulative feature information of the user's past query music to calculate the similarity between the music; And 상기 유사도 계산 결과에 따라, 상기 음악 리스트 중 유사도가 높은 곡 순으로 소정 개수 만큼 추천 목록을 생성하여 제공하기 위한 음악 추천 수단Music recommendation means for generating and providing a recommendation list for a predetermined number of songs in the order of high similarity according to the similarity calculation result; 을 포함하는 음악 추천 시스템. Music recommendation system comprising a. 제 17 항에 있어서, The method of claim 17, 상기 사용자 현재 질의 음악의 특징 정보를 상기 사용자 과거 질의 음악들의 누적 특징 정보에 갱신하기 위한 갱신 수단Updating means for updating the feature information of the user's current query music to the cumulative feature information of the user's past query music 을 더 포함하는 음악 추천 시스템.Music recommendation system that includes more. 제 17 항 또는 제 18 항에 있어서, The method of claim 17 or 18, 상기 특징 정보는, The feature information, 상위 레벨의 음악 특성을 나타내는 리듬 혹은 음색 특징 정보 중 적어도 하나인 것을 특징으로 하는 음악 추천 시스템. Music recommendation system, characterized in that at least one of the rhythm or tone feature information indicating the upper level music characteristics. 제 19 항에 있어서, The method of claim 19, 상기 리듬 특징 정보는, 어쿠스틱(acustic) 신호를 디지털화하여 이산 푸리에 변환을 수행한 후에, 주파수 밴드별로 온셋 시퀀스(Onset sequence)를 검출한 후, 이를 자기 상관함수를 이용하여 추출된 음악의 리듬 특성을 나타내는 특징 벡터이며, The rhythm feature information is obtained by performing digital Fourier transform by digitizing an acoustic signal, detecting an onset sequence for each frequency band, and then using the autocorrelation function to extract the rhythm characteristic of the extracted music. Is a feature vector that represents 상기 음색 특징 정보는, 음악 신호를 소정 길이의 프레임으로 나누어 각 프레임별로 추출된 MFCC(Mel-Frequency Cepstral Coefficients), 혹은 LPC(Linear Predictive Coding), 혹은 LPCC(Linear Predictive Cepstral Coefficients) 중 적어도 하나의 음악의 음색 특성을 나타내는 특징 벡터인 것을 특징으로 하는 음악 추천 시스템. The tone characteristic information may include at least one piece of music: Mel-Frequency Cepstral Coefficients (MFCC), Linear Predictive Coding (LPC), or Linear Predictive Cepstral Coefficients (LPCC) extracted by dividing a music signal into frames having a predetermined length. A music recommendation system, characterized in that it is a feature vector indicative of the tone characteristics. 음악 추천 방법에 있어서, In the music recommendation method, 음악의 특성을 반영하는 특징 정보를 추출하는 단계; Extracting feature information reflecting the characteristics of music; 사용자 질의 음악에 대한 장르/가수 정보를 바탕으로 음악 리스트를 추출하는 단계; Extracting a music list based on genre / singer information about a user query music; 상기 추출된 음악 리스트와 사용자 현재 질의 음악의 특징 정보 및/또는 사용자 과거 질의 음악들의 누적 특징 정보를 비교하여, 음악 간의 유사도를 계산하는 단계; 및 Calculating similarity between music by comparing the extracted music list with feature information of user current query music and / or cumulative feature information of user past query music; And 상기 유사도 계산 결과에 따라, 상기 음악 리스트 중 유사도가 높은 곡 순으로 소정 개수 만큼 추천 목록을 생성하여 제공하는 단계Generating and providing a recommendation list by a predetermined number in order of songs having high similarity among the music lists according to the similarity calculation result; 를 포함하는 음악 추천 방법. Music recommendation method comprising a. 제 21 항에 있어서, The method of claim 21, 상기 사용자 현재 질의 음악의 특징 정보를 상기 사용자 과거 질의 음악들의 누적 특징 정보에 누적 저장하는 단계Accumulating and storing feature information of the user's current query music in cumulative feature information of the user's past query music; 를 더 포함하는 음악 추천 방법.Music recommendation method further comprising. 제 21 항 또는 제 22 항에 있어서, The method of claim 21 or 22, 상기 특징 정보는, The feature information, 상위 레벨의 음악 특성을 나타내는 리듬 혹은 음색 특징 정보 중 적어도 하나인 것을 특징으로 하는 음악 추천 방법. Music recommendation method characterized in that at least one of the rhythm or sound feature information indicating the music characteristics of the upper level. 제 23 항에 있어서, The method of claim 23, 상기 리듬 특징 정보는, 어쿠스틱(acustic) 신호를 디지털화하여 이산 푸리에 변환을 수행한 후에, 주파수 밴드별로 온셋 시퀀스(Onset sequence)를 검출한 후, 이를 자기 상관함수를 이용하여 추출된 음악의 리듬 특성을 나타내는 특징 벡터이며, The rhythm feature information is obtained by performing digital Fourier transform by digitizing an acoustic signal, detecting an onset sequence for each frequency band, and then using the autocorrelation function to extract the rhythm characteristic of the extracted music. Is a feature vector that represents 상기 음색 특징 정보는, 음악 신호를 소정 길이의 프레임으로 나누어 각 프레임별로 추출된 MFCC(Mel-Frequency Cepstral Coefficients), 혹은 LPC(Linear Predictive Coding), 혹은 LPCC(Linear Predictive Cepstral Coefficients) 중 적어도 하나의 음악의 음색 특성을 나타내는 특징 벡터인 것을 특징으로 하는 음악 추천 방법. The tone characteristic information may include at least one piece of music: Mel-Frequency Cepstral Coefficients (MFCC), Linear Predictive Coding (LPC), or Linear Predictive Cepstral Coefficients (LPCC) extracted by dividing a music signal into frames having a predetermined length. A music recommendation method characterized in that it is a feature vector representing the tone characteristics of the music.
KR1020070011725A 2006-12-27 2007-02-05 Likelihood measurement apparatus and method based on music characteristics and music recommendation system and method using its KR20080082022A (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20060135399 2006-12-27
KR1020060135399 2006-12-27

Publications (1)

Publication Number Publication Date
KR20080082022A true KR20080082022A (en) 2008-09-11

Family

ID=40021465

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070011725A KR20080082022A (en) 2006-12-27 2007-02-05 Likelihood measurement apparatus and method based on music characteristics and music recommendation system and method using its

Country Status (1)

Country Link
KR (1) KR20080082022A (en)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150112048A (en) * 2014-03-25 2015-10-07 서강대학교산학협력단 music-generation method based on real-time image
KR102218201B1 (en) * 2020-09-01 2021-02-23 주식회사 비젼코스모 Intelligent sound system apparatus and operating method thereof
CN113010728A (en) * 2021-04-06 2021-06-22 金宝贝网络科技(苏州)有限公司 Song recommendation method, system, intelligent device and storage medium
KR20210130081A (en) * 2020-04-21 2021-10-29 (주)드림어스컴퍼니 Method and Apparatus for Generating Recommended Playlists
KR102538680B1 (en) * 2022-07-12 2023-06-01 뉴튠(주) Method and Apparatus for Searching Similar Music Based on Music Attributes Using Artificial Neural Network
KR102643081B1 (en) * 2022-09-22 2024-03-04 뉴튠(주) Method and apparatus for providing audio mixing interface and playlist service using real-time communication

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150112048A (en) * 2014-03-25 2015-10-07 서강대학교산학협력단 music-generation method based on real-time image
KR20210130081A (en) * 2020-04-21 2021-10-29 (주)드림어스컴퍼니 Method and Apparatus for Generating Recommended Playlists
KR102218201B1 (en) * 2020-09-01 2021-02-23 주식회사 비젼코스모 Intelligent sound system apparatus and operating method thereof
CN113010728A (en) * 2021-04-06 2021-06-22 金宝贝网络科技(苏州)有限公司 Song recommendation method, system, intelligent device and storage medium
KR102538680B1 (en) * 2022-07-12 2023-06-01 뉴튠(주) Method and Apparatus for Searching Similar Music Based on Music Attributes Using Artificial Neural Network
KR102643081B1 (en) * 2022-09-22 2024-03-04 뉴튠(주) Method and apparatus for providing audio mixing interface and playlist service using real-time communication

Similar Documents

Publication Publication Date Title
Logan et al. A Music Similarity Function Based on Signal Analysis.
KR100838674B1 (en) Audio fingerprinting system and method
US8805657B2 (en) Music searching methods based on human perception
JP5565374B2 (en) Device for changing the segmentation of audio works
JP5907511B2 (en) System and method for audio media recognition
US8489606B2 (en) Music search apparatus and method using emotion model
US20070282860A1 (en) Method and system for music information retrieval
EP1895505A1 (en) Method and device for musical mood detection
US20070162497A1 (en) Searching in a melody database
EP2273384A1 (en) A method and a system for identifying similar audio tracks
JP2004534274A (en) Method and system for displaying music information on a digital display for use in content-based multimedia information retrieval
KR101057919B1 (en) How to recommend customized music through analyzing playlists of users
Yoshii et al. Automatic Drum Sound Description for Real-World Music Using Template Adaptation and Matching Methods.
Logan et al. A content-based music similarity function
US20170054779A1 (en) Media Feature Determination for Internet-based Media Streaming
JP2009516286A (en) User profile generation and filtering method
JP2008515010A (en) Apparatus and method for specifying various segment classes
KR20080082022A (en) Likelihood measurement apparatus and method based on music characteristics and music recommendation system and method using its
WO2014096832A1 (en) Audio analysis system and method using audio segment characterisation
JP5345783B2 (en) How to generate a footprint for an audio signal
CN109271501B (en) Audio database management method and system
JP4597919B2 (en) Acoustic signal feature extraction method, extraction device, extraction program, recording medium recording the program, acoustic signal search method, search device, search program using the features, and recording medium recording the program
KR20140129443A (en) Adaptive music recommendation system and method
CN113066512A (en) Buddhism music recognition method, device, equipment and storage medium
US20040158437A1 (en) Method and device for extracting a signal identifier, method and device for creating a database from signal identifiers and method and device for referencing a search time signal

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application