KR101170208B1

KR101170208B1 - System and method for music recommendation

Info

Publication number: KR101170208B1
Application number: KR1020080083474A
Authority: KR
Inventors: 김병만; 이종인
Original assignee: 금오공과대학교 산학협력단
Priority date: 2008-08-26
Filing date: 2008-08-26
Publication date: 2012-07-31
Also published as: KR20100024769A

Abstract

본 발명은 음악추천 시스템 및 방법에 관한 것이다. The present invention relates to a music recommendation system and method.

더욱 상세하게는 음악을 제공받고 추천된 음악을 출력하며, 청취자의 사용자정보를 제공하여 상기 음악을 구조적으로 분석하고, 분석된 음악의 구조적 특징을 추출하며, 상기 음악의 구조 및 특징의 분석결과를 상기 사용자정보에 기초하여 모델링하고, 상기 모델링 결과에 대응하는 음악을 추천하는 음악추천 시스템 및 방법에 관한 것이다. More specifically, the music is provided and the recommended music is output, the user information of the listener is provided to structurally analyze the music, the structural features of the analyzed music are extracted, and the analysis results of the structure and the characteristics of the music are analyzed. And a music recommendation system and method for modeling based on the user information and recommending music corresponding to the modeling result.

본 발명은 청취자에게 음악을 추천함에 있어서, 청취자의 기분이나 심리상태와 같은 청취자의 개인정보와 더불어 주위환경이나 날씨와 같은 외부조건 등을 포함하여 청취자의 상황에 가장 알맞은 음악을 신속하게 추천할 수 있고, 새로운 음악이 출시되었을 때 상기 음악의 특징을 파악하는 시간을 최소화하여 보다 신속하고 효과적으로 추천음악을 선택할 수 있다. 이에 더하여, 분석하고자 하는 음악의 각 특징에 따른 분류가 용이해짐에 따라, 다양한 음악들의 데이터베이스화를 통한 분류 및 통계자료의 제공이 가능해진다. According to the present invention, in recommending music to the listener, it is possible to quickly recommend the music most suitable for the listener's situation, including external conditions such as the surrounding environment and weather, as well as the listener's personal information such as the listener's mood or mental state. In addition, when new music is released, it is possible to select recommended music more quickly and effectively by minimizing the time to grasp the characteristics of the music. In addition, as the classification according to the characteristics of the music to be analyzed becomes easy, it is possible to provide classification and statistical data through the database of various music.

음원, 음악, 사용자정보, 음악추천, 모델링, 프로파일 Sound recording, music, user information, music recommendation, modeling, profile

Description

System and method for music recommendation}

인간의 삶을 좀 더 풍요롭고 여유롭게 해주는 것 중의 하나는 바로 음악청취이다. 남녀노소뿐만 아니라, 재력이 많거나 적어도 청취자의 흥을 돋워 더욱 기분 좋게 하거나 때로는 슬픔을 달래주는 위로의 역할을 하는 것이 바로 음악이 하는 일이다.One of the things that makes human life richer and more relaxing is listening to music. Not only men and women of all ages, it is music that plays a role of comfort that is rich or at least invigorating the listeners to make them feel better or sometimes sorrow.

이러한 이유로 사람들이 선호하는 취미활동 중에 하나가 바로 음악청취이다.For this reason, one of the people's favorite hobbies is listening to music.

하지만 세대가 급격하게 변화함에 따라 하루가 다르게 다양한 스타일의 음악들이 물밀듯이 쏟아지고 있다. 이와 같은 상황으로 인하여. 청취자가 좋아하는 스 타일의 음악임에도 불구하고, 새로 생겨난 음악에 대한 정보부족으로 인하여 청취자가 좋아하는 스타일의 음악을 듣지 못하는 문제점이 발생하고 있다. However, as the generation changes radically, different styles of music are pouring in every day. Due to such a situation. Despite the music of the style that the listener likes, there is a problem that the listener cannot listen to the music of the favorite style due to the lack of information on the newly created music.

한편, 컴퓨팅 기술이 점차 발전함에 따라 컴퓨터는 사용자의 명령수신에 의한 수동적인 역할에서 벗어나 사용자의 상황을 인지하고 사용자가 필요로 하는 항목을 미리 파악하여 보다 능동적 또는 지능적으로 추천하는 추천시스템 기술 또한 현재 많은 연구가 진행 중이다. On the other hand, as the computing technology is gradually developed, the computer system, which is not passive role by receiving the user's command, recognizes the user's situation, identifies the user's needs in advance, and recommends the system to recommend more actively or intelligently. Many studies are in progress.

예를 들어, 차를 운전하는 운전자가 현재 몹시 흥분되어 있는 상태라면, 추천시스템을 통해 조용한 분위기의 음악을 추천하여 운전자에게 들려줌으로써, 운전자의 상태를 차분히 가라앉힐 수 있다. 뿐만 아니라, 비가 내리는 경우라면 추천시스템을 통해 비 내리는 상황에 어울리는 음악을 추천하여 들려줌으로써 사용자의 만족도를 높일 수도 있다. For example, if a driver driving a car is currently very excited, the recommendation system can calm down the driver's condition by recommending quiet music to the driver. In addition, if it is raining through the recommendation system can increase the user's satisfaction by recommending and listening to music suitable for the raining situation.

이에 따라, 사용자의 상황을 인지하고, 그에 따라 사용자가 필요로 하는 항목을 추천하기 위한 다양한 추천방법이 제안되고 있다. Accordingly, various recommendation methods for recognizing the user's situation and recommending items required by the user have been proposed.

상기 추천방법의 종류에 대해 살펴보면 내용기반 필터링 방법과 협력 필터링 방법 및 상기 내용기반 필터링 방법과 상기 협력 필터링 방법을 결합한 혼합필터링 방법 등이 존재한다. As to the types of the recommendation methods, there are a content-based filtering method, a cooperative filtering method, and a hybrid filtering method combining the content-based filtering method and the cooperative filtering method.

이 때 추천하고자하는 항목이 음악인 경우, 음악에 대한 내용을 자동으로 추출하기가 어려운 관계로 내용기반 필터링 방법 보다는 협력필터링 방법을 통해 청취자의 상황은 고려하지 않은 채, 해당 음악에 대한 타인의 평가정보에만 기초하여 음악을 추천하는 경우가 많았다. 하지만 상기 협력필터링 방법을 통한 추천방법은 사용자 수와 항목 수가 증가함에 따라 계산량이 증가되고, 평가 데이터의 부족으로 추천 질이 떨어지거나 아예 추천이 불가한 상황이 발생될 수 있다는 문제점이 발생하게 되었다. At this time, if the item to be recommended is music, it is difficult to automatically extract the content of music, so it is difficult to extract the contents of music automatically. Often based only on music recommendations. However, the recommendation method through the cooperative filtering method has a problem that the calculation amount increases as the number of users and items increases, and the quality of recommendation may be degraded due to lack of evaluation data or a situation in which recommendation is not possible at all.

이와 같은 문제로 인하여 여러 추천방법 중 내용기반 필터링 방법에 기초한 추천방법에 따른 추천시스템의 필요성이 대두하게 되었다. Due to this problem, the necessity of recommendation system according to the recommendation method based on the content-based filtering method has emerged.

이와 같은 문제점을 해결하기 위해서 본 발명은 청취자의 상황정보에 따른 음악추천이 가능한 음악추천 시스템 및 방법을 제공하는데 그 목적이 있다. In order to solve such a problem, an object of the present invention is to provide a music recommendation system and method capable of recommending music according to the situation information of a listener.

이에 더하여, 음악특징의 파악시간이 감소하여 특징별 음악분류가 용이해지는 음악추천 시스템 및 방법을 제공하는 데 그 목적이 있다. In addition, it is an object of the present invention to provide a music recommendation system and method that reduces the grasp time of music features to facilitate music classification by features.

상기와 같은 목적을 달성하기 위해서, 본 발명에 의한, 적어도 한 명 이상의 사용자에게 복수의 음악을 출력하여 제공하고, 상기 각 음악들에 대한 분위기 또는 감정상태를 표현하는 복수 개의 단어를 입력받는 입출력장치; 상기 입력된 복수 개의 단어가 위치하는 음의 안정화(Valance)와 자극의 강도(Arousal)를 나타내도록 X축과 Y축으로 기설정된 AV차트 내 AV좌표를 측정하고, 상기 복수 개의 단어에 각각 해당하는 AV좌표간 X축과 Y축의 위치벡터에 대응하는 복수 개의 AV계수를 획득하여 사용자 취향의 예측 모델링을 생성하고, 복수의 추천 음악들에 대한 음향을 추출한 후 상기 사용자 취향의 예측 모델링에 적용하여 추천 음악들의 AV 계수를 획득하고, 상기 복수 개의 AV 계수와 추천 음악들의 AV 계수의 유사도를 비교 판단하여 소정값 이상의 유사도를 갖는 추천 음악을 추천하는 서버; 상기 생성된 사용자 취향의 예측 모델링을 저장하는 사용자정보저장장치;를 포함한다.
여기서, 특히 상기 서버는 상기 입출력장치로 입력된 복수의 음악들의 각 음악에 대한 복수 개의 단어가 위치하는 AV차트 내 AV좌표를 X축과 Y축에 대응하여 각각 측정하고, 측정한 복수 개의 단어에 대한 복수 개의 AV좌표 간에 벡터연산을 수행하여 복수 개의 AV계수를 획득하는 AV계수검색부; 상기 복수의 음악들의 각 음악에 대한 복수 개의 AV계수와 상기 입출력장치로 입력된 각 사용자정보를 상호 대응하도록 매칭시켜 프로파일 형태로 저장하여 각 사용자 취향 예측 모델링을 생성하는 AV계수모델링부; 상기 프로파일 형태로 저장된 사용자 취향 예측 모델링과 복수의 추천 음악들에 대한 AV계수간 유사도를 판단한 유사도연산값을 측정한 후, 가장 높은 유사도연산값에 해당하는 AV계수를 갖는 음악을 추천하는 음악추천부; 를 포함한다.
여기서, 특히 상기 AV차트는 음의 안정화와 자극의 강도를 나타내는 복수 개의 단어들이 서로 동일한 물리적 거리를 갖도록 X-Y 좌표 상에 배치되는 점에 그 특징이 있다.
본 발명의 특징에 따른 음악추천 방법은 입출력장치가 복수의 음악들 및 음악을 청취하고자 하는 사용자의 사용자정보를 입력받는 음악수신단계; 상기 입출력장치가 상기 음악들을 출력하고, 상기 사용자로부터 상기 출력한 각 음악의 분위기 또는 감정상태를 나타내는 복수 개의 단어를 입력받는 단어수신단계; 서버가 음의 안정화(Valance)와 자극의 강도(Arousal)를 나타내도록 기설정된 AV차트 내 상기 입출력장치가 입력받은 상기 복수 개의 단어가 위치한 X축과 Y축의 AV좌표를 측정하고, 상기 복수 개의 단어에 각각 해당하는 AV좌표간 X축과 Y축의 위치벡터에 대응하여, 각 음악에 대한 복수 개의 AV계수를 획득하는 AV계수연산단계; 상기 서버가 복수 개의 AV계수와 상기 사용자정보를 서로 대응하도록 매칭시켜 프로파일형태로 사용자 취향의 예측 모델링을 생성하여 저장하는 AV계수모델링단계; 복수의 추천 음악들에 대한 음향 특징을 추출하여 상기 사용자 취향의 예측 모델링에 적용하여 추천 음악들에 대한 AV 계수를 획득하는 단계; 상기 사용자 취향의 예측 모델링에 저장된 AV계수와 상기 추천 음악들의 AV 계수의 유사도를 판단하여 소정 이상의 유사도를 갖는 해당 추천 음악을 추천하는 음악추천단계;를 포함한다.
여기서, 특히 상기 AV차트는 음의 안정화와 자극의 강도를 나타내는 복수 개의 단어들이 서로 동일한 물리적 거리를 갖도록 좌표 상에 배치되는 점에 그 특징이 있다. In order to achieve the above object, the input and output device according to the present invention, outputs and provides a plurality of music to at least one user, and receives a plurality of words representing the mood or emotional state for each of the music ; The AV coordinates in the AV chart preset on the X-axis and the Y-axis are measured to represent the negative stability and the intensity of the stimulus in which the plurality of input words are located, and respectively correspond to the plurality of words. Acquire predictive modeling of user preferences by acquiring a plurality of AV coefficients corresponding to position vectors of X and Y axes between AV coordinates, extract sound for a plurality of recommended music, and then apply the predictive modeling of user preferences to recommend them. A server for acquiring AV coefficients of musics, comparing and comparing similarities between the plurality of AV coefficients and AV coefficients of recommended music to recommend recommended music having a similarity or more than a predetermined value; And a user information storage device for storing the generated predictive modeling of the user's taste.
In this case, in particular, the server measures AV coordinates in an AV chart in which a plurality of words of each piece of music input to the input / output device are located corresponding to the X-axis and the Y-axis, respectively. An AV coefficient searcher for performing a vector operation between a plurality of AV coordinates for obtaining a plurality of AV coefficients; An AV coefficient modeling unit configured to match the plurality of AV coefficients of each of the plurality of pieces of music with each user information inputted to the input / output device so as to correspond to each other, and store the result in a profile form to generate each user's taste prediction modeling; Music recommendation unit for recommending music having the AV coefficient corresponding to the highest similarity calculation value after measuring the similarity calculation value to determine the similarity between the user preference prediction modeling stored in the profile form and the AV coefficient for a plurality of recommended music ; .
In particular, the AV chart is characterized in that a plurality of words representing sound stabilization and stimulus intensity are arranged on XY coordinates to have the same physical distance from each other.
According to an aspect of the present invention, there is provided a music recommendation method comprising: a music reception step in which an input / output device receives a plurality of musics and user information of a user who wants to listen to music; A word reception step of receiving, by the input / output device, the music and receiving a plurality of words representing the mood or emotional state of each of the output music from the user; The server measures AV coordinates of the X-axis and the Y-axis in which the plurality of words received by the input / output device are located in the AV chart, which is set so as to indicate negative stability and arousal, and the plurality of words are measured. An AV coefficient calculating step of acquiring a plurality of AV coefficients for each music, corresponding to the position vectors of the X and Y axes between AV coordinates corresponding to An AV coefficient modeling step of the server matching and matching the plurality of AV coefficients with the user information to generate and store predictive modeling of user preferences in a profile form; Extracting acoustic features of a plurality of recommended music and applying the same to predictive modeling of the user's taste to obtain AV coefficients for the recommended music; And a music recommendation step of determining the similarity between the AV coefficients stored in the predictive modeling of the user's taste and the AV coefficients of the recommended music, and recommending the corresponding recommended music having a predetermined or more similarity.
In particular, the AV chart is characterized in that a plurality of words representing sound stabilization and stimulus intensity are arranged on coordinates to have the same physical distance from each other.

삭제delete

상술한 바와 같이 본 발명인 음악추천 시스템 및 방법은 청취자에게 음악을 추천함에 있어, 청취자의 기분, 심리상태와 더불어 주위환경, 날씨의 외부조건 등을 포함하여 청취자의 상황에 가장 알맞은 음악을 신속하게 추천할 수 있는 효과가 있다. As described above, the present inventor's music recommendation system and method promptly recommends the music most suitable for the listener's situation, including the listener's mood, mental state, surrounding environment, weather conditions, etc. in recommending the music to the listener. It can work.

또한, 새로운 음악이 출시되었을 때 상기 음악의 특징을 파악하는 시간을 최소화하여 보다 신속하고 효과적으로 추천음악을 선택할 수 있는 효과가 있다. In addition, when the new music is released, it is possible to minimize the time to grasp the characteristics of the music to select the recommended music more quickly and effectively.

이에 더하여, 분석하고자 하는 음악의 각 특징에 따른 분류가 용이할 수 있는 효과가 있다. 따라서 다양한 음악들의 데이터베이스화를 통한 분류 및 통계자료의 제공이 가능하도록 하는 효과가 있다. In addition, there is an effect that can be easily classified according to each feature of the music to be analyzed. Therefore, it is effective to provide classification and statistical data through the database of various music.

본 발명에 따른 음악추천 시스템 및 방법에 대한 예는 다양하게 적용될 수 있으며, 이하에서는 첨부된 도면을 참조하여 바람직한 실시예에 대해 설명하기로 한다. Examples of the music recommendation system and method according to the present invention can be variously applied, and hereinafter, preferred embodiments will be described with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 음악추천 시스템에 관한 블록도이다.1 is a block diagram of a music recommendation system according to an exemplary embodiment of the present invention.

도 1에 도시된 바와 같이, 음악추천 시스템은 입출력장치(100)와 사용자정보 저장장치(200)와 서버(300)를 포함한다. As shown in FIG. 1, the music recommendation system includes an input / output device 100, a user information storage device 200, and a server 300.

상기 입출력장치(100)는, 음악을 제공받고, 상기 서버(300)로부터 제공된 추천음악을 출력한다. The input / output device 100 receives music and outputs recommended music provided from the server 300.

상기 사용자정보 저장장치(200)는, 상기 입출력장치(100)로부터 입력된 청취 자의 상황을 나타내는 사용자정보를 저장하고, 상기 서버(300)로 상기 저장된 사용자 정보를 제공한다. The user information storage device 200 stores user information indicating a situation of a listener input from the input / output device 100, and provides the stored user information to the server 300.

상기 서버(300)는, 음악분석수단(310)과 음악추천수단(330)을 포함한다.The server 300 includes a music analysis means 310 and a music recommendation means 330.

상기 음악분석수단(310)은, 구조분석부(312)와 특징추출부(314)와 AV계수 검색부(316) 및 AV계수 모델링부(318)를 포함한다. The music analyzing unit 310 includes a structure analyzing unit 312, a feature extracting unit 314, an AV coefficient searching unit 316, and an AV coefficient modeling unit 318.

상기 구조분석부(312)는 이하, 도 2를 참조하여 좀 더 자세히 설명하고자 한다. The structure analysis unit 312 will be described in more detail below with reference to FIG. 2.

상기 구조분석부(312)는, 구조분석모듈(312a)과 반복구간 탐색모듈(312b)과 반복악절 생성모듈(312c) 및 반복악절 구조정보 출력모듈(312d)을 포함한다.The structure analysis unit 312 includes a structure analysis module 312a, a repeat section search module 312b, a repeat section generation module 312c, and a repeat section structure information output module 312d.

상기 구조분석모듈(312a)은 소악절경계 탐색구간(312a_1)과 간주구간 탐색구간(312a_2)을 포함한다.The structural analysis module 312a includes a microscopic boundary search section 312a_1 and a considered section search section 312a_2.

상기 소악절경계 탐색구간(312a_1)은, 상기 입출력장치(100)로부터 수신한 음악을 구성하는 각 소악절들의 경계범위를 탐색한다. The subtle boundary search section 312a_1 searches for a boundary range of each subtle section constituting music received from the input / output device 100.

상기 간주구간 탐색구간(312a_2)은, 상기 소악절경계 탐색구간(312a_1)으로부터 경계범위가 탐색된 소악절에 대해 간주구간의 존재여부를 확인한다. The considered section search section 312a_2 confirms the existence of the considered section with respect to the section of the section where the boundary range is searched from the section of the minute section search section 312a_1.

상기 반복구간 탐색모듈(312b)은, 크로마 벡터 추출구간(312b_1)과 유사도 측정구간(312b_2) 및 반복구간 연결구간(312b_3)을 포함한다.The repetition section search module 312b includes a chroma vector extraction section 312b_1, a similarity measurement section 312b_2, and a repeating section connection section 312b_3.

상기 크로마 벡터 추출구간(312b_1)은, 상기 음악의 전 구간에서 크로마벡터를 추출한다. The chroma vector extraction section 312b_1 extracts a chroma vector from all sections of the music.

상기 유사도 측정구간(312b_2)은, 상기 크로마 벡터 추출구간(312b_1)으로부 터 추출된 크로마 벡터를 프레임 크기별로 그룹화하여 각 그룹간의 유사도를 측정한다.The similarity measurement section 312b_2 measures the similarity between groups by grouping chroma vectors extracted from the chroma vector extraction section 312b_1 by frame size.

상기 반복구간 연결구간(312b_3)은, 상기 유사도 측정구간(312b_2)에서 측정된 유사도에 기초하여 그룹간을 서로 연결한다. The repeating section connection section 312b_3 connects the groups to each other based on the similarity measured in the similarity measuring section 312b_2.

상기 반복악절 생성모듈(312c)은, 상기 반복구간 탐색모듈(312b)로부터 탐색된 반복구간과 상기 구조분석모듈로부터 출력된 소악절을 음악의 기본 구성단위로 재편성하고, 재편성된 반복악절을 출력한다. The repeated section generation module 312c reorganizes the repeated section searched from the repeating section search module 312b and the small section output from the structural analysis module into a basic structural unit of music, and outputs the rearranged repeated section.

상기 반복악절 구조정보 출력모듈(312d)은, 상기 반복악절 생성모듈(312c)로부터 출력된 반복악절의 구조정보를 출력한다. The repeating section structure information output module 312d outputs the structure information of the repeating section output from the repeating section generation module 312c.

상기 특징추출부(314)는 상기 구조분석부(312)에서 분석된 각 반복악절의 특징을 추출한다. The feature extractor 314 extracts a feature of each repeated section analyzed by the structure analyzer 312.

상기 AV계수 검색부(316)는 각 반복악절에 따른 분위기 및 감정을 표현하는 단어를 적어도 하나 선택하고, 선택된 단어의 위치좌표를 벡터연산하고, 연산데이터인 AV계수를 출력한다. The AV coefficient search unit 316 selects at least one word representing mood and emotion according to each repetitive passage, vector-operates the position coordinates of the selected word, and outputs an AV coefficient as calculation data.

상기 AV계수 모델링부(318)는, 상기 AV계수 검색부(316)로부터 출력된 AV계수와 상기 사용자정보 저장장치(200)로부터 수신한 사용자정보를 매핑하여 모델링한다. 구체적으로, 사용자에게 복수의 음악을 제공하고 음악을 듣고 느낀 분위기에 따른 AV 계수를 획득하여 각 사용자에 따른 사용자 취향 예측 모델링을 생성한다. 즉, 사용자 취향 예측 모델링을 통해 사용자 각각의 음향 특징과 AV 값 간의 상관 관계를 학습하게 된다.
상기 음악추천수단(330)은, 프로파일 구성부(332)와 상기 음악추천부(334) 및 사용자정보 확장부(336)를 포함한다. The AV coefficient modeling unit 318 models the AV coefficients output from the AV coefficient retrieving unit 316 by mapping the user information received from the user information storage device 200. In detail, a plurality of pieces of music are provided to the user, and AV coefficients corresponding to the moods of listening to the music are obtained to generate a user taste prediction model according to each user. That is, the correlation between the acoustic characteristics of each user and the AV value is learned through the user taste prediction modeling.
The music recommendation means 330 includes a profile configuration unit 332, the music recommendation unit 334, and a user information extension unit 336.

삭제delete

상기 프로파일 구성부(332)는, 상기 사용자정보 저장장치(200)로부터 수신된 사용자정보와 상기 음악분석수단(310)의 AV계수 검색부(316)로부터 출력된 AV계수를 매핑 후, 모델링하여 사용자 프로파일을 구성한다. The profile configuration unit 332 maps the user information received from the user information storage device 200 and the AV coefficients output from the AV coefficient search unit 316 of the music analysis means 310, and then models the user. Configure the profile.

상기 음악추천부(334)는, 상기 프로파일 구성부(332)로부터 제공된 사용자 프로파일에 기초하여, 사용자가 선호하는 음악을 추천한다. The music recommendation unit 334 recommends music preferred by the user based on the user profile provided from the profile configuration unit 332.

상기 사용자정보 확장부(336)는, 상기 프로파일 구성부(332)로 제공된 사용자정보를 포함하며, 보다 상위수준에 해당하는 사용자정보로 매핑하여 확장한다. The user information expansion unit 336 includes the user information provided to the profile configuration unit 332 and maps and expands the user information corresponding to a higher level.

상기 음악분석수단(310)의 AV계수 검색부(316)에서 사용되는 각 반복악절에 따른 분위기 및 감정을 나타내기 위한 AV좌표를 도 3을 통해 살펴보도록 한다. The AV coordinates for representing the mood and emotion according to each repetitive section used in the AV coefficient search unit 316 of the music analysis means 310 will be described with reference to FIG. 3.

도 3에 도시된 바와 같이, 음악을 청취자가 청취할 때, 상기 청취자가 느낄 수 있는 자극의 강도(Arousal)와 상기 음원을 구성하는 각 음들의 안정화(Valence)를 기준으로 하여 AV좌표를 구성한다. 상기 AV좌표는 기쁨, 편안함, 슬픔, 분노 등의 네 종류의 분위기 및 감정을 나타내는 단어들을 각 영역별로 나누어 위치시킨다. 이 때, 상기 단어들은 서로 동일한 간격을 두고 상기 AV 좌표 상에 위치된다.As shown in FIG. 3, when the listener listens to music, the AV coordinates are configured based on the intensity of the stimulus that the listener can feel and the stabilization of each sound constituting the sound source. . The AV coordinates divide words representing four kinds of moods and emotions such as joy, comfort, sadness, anger, and the like into each area. At this time, the words are located on the AV coordinates at equal intervals from each other.

상기 AV좌표 상에 위치하는 각 단어들은 도 3을 통해 표기된 바와 같은 기쁨, 편안함, 슬픔, 분노 외의 다른 종류에 해당하는 단어들로 변경도 가능하다. Each word located on the AV coordinates may be changed to words corresponding to other types of joy, comfort, sadness, and anger as indicated through FIG. 3.

이하, 도 4를 통해 음악추천방법에 대해 살펴보기로 한다. Hereinafter, a music recommendation method will be described with reference to FIG. 4.

도 4에 도시된 바와 같이, 음악 및 청취자의 사용자정보 중 적어도 하나를 수신한다(S301).As shown in FIG. 4, at least one of music and user information of a listener is received (S301).

상기 수신한 음악을 소악절로 나누고, 상기 소악절에 대한 구조분석을 수행하며, 상기 구조분석의 결과에 기초하여 반복악절을 추출한다(S302).The received music is divided into small sections, structural analysis of the small sections is performed, and repetitive sections are extracted based on the result of the structural analysis (S302).

상기 반복악절을 구성하는 음색, 리듬, 세기, 박자 등의 특징에 해당하는 특징데이터 추출한다(S303).Characteristic data corresponding to the characteristics of the tone, rhythm, strength, time signature, etc. constituting the repeated passages are extracted (S303).

각 반복악절에 따른 분위기 및 감정을 나타내는 단어를 자극의 강도(Arousal)와 음의 안정화(Valence)를 기준으로 작성된 AV좌표 상에서 추출하고, 추출된 단어의 위치좌표를 벡터연산하고, 연산데이터는 AV계수를 출력한다(S304).The words representing the mood and emotion according to each repetitive section are extracted from the AV coordinates created based on the stimulus intensity and the stability of the stimulus, and the vector coordinates of the extracted position coordinates are calculated. The coefficient is output (S304).

앞서 추출된 상기 반복악절의 특징데이터와 상기 추출된 분위기 및 감정을 나타내는 단어의 AV계수를 모델링한다(S305).The AV coefficients of the words representing the extracted feature data and the extracted mood and emotion are modeled (S305).

또한, 상기 청취자의 사용자정보와 상기 추출된 분위기 및 감정을 나타내는 단어의 AV계수를 프로파일한다(S306). In addition, the AV information of the user information of the listener and the words representing the extracted mood and emotion are profiled (S306).

상기 프로파일에 기초하여, 사용자 상황에 따른 음악을 추천한다(S307).Based on the profile, music according to the user situation is recommended (S307).

이에 더하여, 상기 프로파일에 저장된 사용자정보를 포함하며, 상기 사용자정보보다 상위수준에 해당하는 사용자정보가 더 확장될 수 있다(S308).In addition, user information stored in the profile may be included, and user information corresponding to a higher level than the user information may be further expanded (S308).

이하, 도 5를 통해 본 발명의 실시예인 음악추천방법에 대해 자세히 살펴보도록 한다. Hereinafter, the music recommendation method according to an embodiment of the present invention will be described in detail with reference to FIG. 5.

도 5에 도시된 바와 같이, 음악과 청취자의 사용자정보가 수신된다(S401). 상기 음악의 구조분석을 위해 상기 음악을 구성하는 소악절의 경계 탐색을 수행한다(S402). As shown in FIG. 5, music and user information of a listener are received (S401). In order to analyze the structure of the music, a boundary search of the sub-section that constitutes the music is performed (S402).

상기 소악절의 경계 탐색과정을 보다 자세히 살펴보면 다음과 같다. Looking at the boundary detection process of the minute section in more detail as follows.

일반적인 곡이 4분의 4박자임을 고려하여, 8개의 박자구간을 소악절 간격으로 판정한다. 이후, 상기 소악절의 경계점을 탐색한다. 일반적으로 소악절의 내부 에는 가사 부분이 존재하고, 소악절의 경계부분에는 다음 가사를 위해 잠시 숨을 고르며, 사람의 음성이 작아지는 특성이 있다. 이러한 특성을 이용하여, 상기 소악절 경계점에 사람의 음성변화를 확인하는 다시 말해, 주파수 대역의 에너지 변화를 감지하는 방법을 사용하여 소악절의 경계를 탐색할 수 있다. Considering that the general song is four quarters of time, eight beat intervals are determined at intervals of subtle passages. Thereafter, the boundary point of the minute passage is searched for. In general, there is a lyrics part inside the subclause, and at the boundary of the subclause, take a short breath for the next lyrics, and the voice of the person becomes smaller. By using such a characteristic, the boundary of the subclause may be searched by using the method of detecting a change in the voice of a person at the boundary point of the subclause.

이 때, 탐색된 상기 소악절은 간주구간 또한 포함하고 있다. At this time, the searched minute section also includes the considered section.

음악 중 간주구간은 가사 없이 연주로만 이루어져 있어서, 곡 전 범위에 걸쳐 비슷한 멜로디 성향을 가지게 된다. 따라서 이러한 간주구간은 음악을 구간 별로 나누어 성향을 체크하고자 하는 본 발명에 있어서, 정확한 성향 체크를 방해하는 요소이므로, 구간 별 성향 체크 전 미리 제거해야 할 대상이 된다. The deemed section of the music consists only of performances without lyrics, and thus has a similar melody inclination over the entire range of the song. Therefore, in the present invention to check the propensity to divide the music by the section, the deemed section is an element that prevents accurate propensity check, it is a target to be removed before the propensity check for each section.

그리하여, 상기 음악 내 소악절 경계 탐색이 완료되고, 상기 소악절 내 간주부분이 포함되어 있는지 확인하기 위해 상기 소악절에 대한 간주구간을 탐색한다(S403). 상기 간주구간의 탐색과정(S403)을 좀 더 자세히 살펴보면 다음과 같다. Thus, in order to confirm whether the music section boundary search within the music is completed and the considered part is included in the music section, the section of the music section is searched for (S403). Looking at the search process (S403) in the considered section in more detail as follows.

본 간주구간의 탐색과정(S403)은 악기의 연주로만 구성된 간주구간이 음성과 악기의 연주가 함께 이루어진 부분보다 음향적 안정성이 높다는 특성과, 음성부분이 제거되어있다는 특징을 이용하도록 한다. 음향의 특징 중 음의 안정된 정도를 판별하는 특징으로 많이 사용되는 것이 ZCR(Zero Crossing Rate)이다. ZCR의 이러한 특징으로 인하여, 악기연주로만 이루어진 구간은 ZCR값이 낮게 연속되고 따라서, 상기 구간이 간주구간임을 판단한다. 뿐만 아니라, 앞서 소악절경계 탐색과정에서 사용되었던 음성 주파수 대역의 에너지 정보도 함께 사용되어, 에너지가 낮게 연속되는 구간 또한 간주구간이라 판단한다. The search process (S403) of the deemed section makes use of the characteristic that the deemed section composed only of the performance of the instrument has a higher acoustic stability than the portion in which the voice and the instrument play together, and the feature that the speech portion is removed. Among the features of sound, ZCR (Zero Crossing Rate) is widely used as a feature to determine the stable degree of sound. Due to this feature of the ZCR, a section consisting only of musical instruments is judged to have a low ZCR value and thus the section is considered a section. In addition, the energy information of the voice frequency band, which has been used in the process of searching for the microceretic boundary, is also used, so that the section with low energy is also considered to be a considered section.

이와 같이, 상기 음악의 구조분석이 완료되고, 상기 음악에 대한 반복구간을 탐색한다. As such, the structural analysis of the music is completed, and the repetition section for the music is searched for.

상기 음악 내 비슷한 멜로디로 이루어진 반복구간을 탐색하고자, 전체 옥타브의 같은 음의 집합의 에너지 분산정보를 포함하는 크로마 벡터를 사용하여 크로마 벡터를 추출한다(S404). 상기 음악 내 전 구간의 크로마 벡터를 추출하기 위해 상기 음악의 전 구간을 250ms 크기인 프레임 단위로 나누어 상기 크로마 벡터를 계산한다. In order to search for a repetition section composed of similar melodies in the music, a chroma vector is extracted using a chroma vector including energy dispersion information of the same negative set of all octaves (S404). In order to extract the chroma vectors of all the sections in the music, the chroma vectors are calculated by dividing the entire sections of the music by frame units having a size of 250 ms.

이와 같이 추출된 크로마 벡터를 특정시간별 예를 들면, 5초 간격으로 전체 크기의 4분의 3 정도를 중첩시키며, 각각을 그룹화 한다. 각각의 그룹들에 있어서, 상기 그룹간의 유사도를 계산한다(S405). 따라서 각 그룹간의 유사도 계산값을 얻고, 각 그룹 간을 연결한다(S406). 이로써, 상기 음악 내 반복구간의 탐색과정의 수행동작이 완료된다. The extracted chroma vectors are superimposed about three quarters of the total size at specific time intervals, for example, at five second intervals, and are grouped. In each group, the similarity between the groups is calculated (S405). Therefore, the similarity calculation value between each group is obtained, and each group is connected (S406). As a result, the operation of searching for the repeating section in the music is completed.

이 후, 앞서 수행된 상기 간주구간을 제외한 소악절과 반복구간을 기초하여 반복악절을 생성하고, 상기 반복악절의 구조를 분석하는 과정이 수행된다(S407).Subsequently, a repeating section is generated based on the small section and the repeating section except for the considered section, and the process of analyzing the structure of the repeating section is performed (S407).

상기 간주구간을 제외한 소악절과 반복구간은, 일반적인 음악의 기본 구성단위와 같이 이루어져 있지 않기 때문에, 청취자가 듣기에 매끄럽지 않을 수도 있다. 이로 인해, 청취자가 곡에 대한 정확한 평가를 내리기 어려운 부분이 존재할 수 있게 되므로, 청취자의 원활한 곡 평가를 위해 상기 간주구간을 제외한 소악절과 반복구간을 일반적인 음악의 기본 구성단위로 재편성할 필요가 있다. Minor sections and repetition sections other than the above considered sections are not composed of the basic structural units of general music, and thus may not be smooth to the listener. As a result, there may be a part where it is difficult for the listener to make an accurate evaluation of the song, and thus, it is necessary to reorganize the subsection and the repetition section excluding the considered section into basic structural units of general music in order to smoothly evaluate the song.

따라서 상기 간주구간을 제외한 소악절과 반복구간을 각각 분할 및 병합하 여, 반복악절로 재편성하고 상기 반복악절을 출력한다. Therefore, the subsection and the repetition section excluding the considered section are divided and merged, respectively, and reorganized into repetition sections and the repetition section is output.

상기 출력된 반복악절에 대한 특징을 추출한다(S408). 상기 반복악절에 대한 특징은 크게 음색, 리듬, 세기, 박자 등이 포함될 수 있다. 이와 같이, 각 반복악절에 따른 특징에 대해 일일이 추출하는 것은 분석하고자 하는 음악의 장르 분류 및 분위기 판정 모두에 사용되어 질 수 있고, 각각의 다양한 특징들의 조합에 대한 성능평가를 한 후, 성능이 좋은 부분집합을 파악하고 이를 바탕으로 음악의 내용을 표현하기 위해서이다. The feature for the output repeated section is extracted (S408). Features for the repetitive section may include a tone, rhythm, strength, time signature and the like. In this way, the extraction of the characteristics according to each repetitive passage can be used for both genre classification and mood determination of the music to be analyzed, and after performing performance evaluation for each combination of various characteristics, To understand the subset and express the content of music based on it.

앞서 음악을 구성하는 반복악절에 대한 특징 추출이 수행되었다면, 이하에서는 상기 반복악절에 대한 청취자의 느낌이 추출된다. If feature extraction has been performed on the repeated passages constituting the music, a listener's feeling of the repeated passages is extracted below.

음의 안정화(Valence)와 자극의 강도(Arousal)를 X축과 Y축으로 하는 AV좌표 상에 분위기 또는 감정을 나타낼 수 있는 단어들을 각각 동일하게 일정한 거리를 유지한 채 위치시킨다. 청취자에게 상기 반복악절을 청취하도록 하고 청취한 느낌에 해당하는 단어들을 상기 AV좌표 상에서 추출하도록 하여, 상기 추출된 단어들을 수신한다(S409). Words that can express mood or emotion are placed on the AV coordinates of the negative stabilization and the stimulus intensity on the X-axis and the Y-axis with the same constant distance. A listener is allowed to listen to the repeated passage and words corresponding to the sense of hearing are extracted on the AV coordinates to receive the extracted words (S409).

상기 수신한 단어들이 위치한 AV 좌표 상의 위치좌표에 대하여, 벡터연산한 후, 연산데이터인 AV계수를 출력한다(S410). 즉, 상기 입력된 복수 개의 단어가 위치하는 음의 안정화(Valance)와 자극의 강도(Arousal)를 나타내도록 X축과 Y축으로 기설정된 AV차트 내 AV좌표를 측정하고, 상기 복수 개의 단어에 각각 해당하는 AV좌표간 X축과 Y축의 위치벡터에 대응하는 복수 개의 AV계수를 획득하여 사용자 취향의 예측 모델링을 생성한다.
상기 출력된 AV계수와 앞서 추출한 반복악절의 특징을 나타낸 특징데이터 간의 관계를 모델링한다(S411). 이와 같은 모델링 과정을 통해 각각의 청취자가 새로운 음악에 대해 얼마의 AV계수를 부여할지를 예측할 수 있게 된다. 뿐만 아니라, 각 반복악절에 대한 AV계수를 계산하여, 상기 반복악절이 이루는 음악에 대한 전체적인 느낌 및 AV계수를 유추할 수 있게 된다. After the vector operation is performed on the position coordinates on the AV coordinates at which the received words are located, an AV coefficient which is operation data is output (S410). That is, the AV coordinates in the AV chart preset in the X-axis and the Y-axis are measured so as to represent the negative stability and the intensity of the stimulus where the plurality of input words are located. A plurality of AV coefficients corresponding to the position vectors of the X-axis and Y-axis between the corresponding AV coordinates are obtained to generate predictive modeling of user preference.
A relationship between the output AV coefficient and the feature data representing the feature of the repeated section extracted earlier is modeled (S411). Through this modeling process, it is possible to predict how much AV coefficient each listener will give to new music. In addition, by calculating the AV coefficient for each repeated section, it is possible to infer the overall feeling and AV coefficient for the music made by the repeated section.

삭제delete

이에 더하여, 청취자의 사용자정보에 따른 각 반복악절별 분위기 및 감정을 나타내는 단어들과 상기 사용자정보를 매핑하여 프로파일화하고, 상기 프로파일을 저장한다(S412). In addition, the user information is mapped and profiled with words representing mood and emotion for each repeated section according to the user information of the listener, and the profile is stored (S412).

앞서 수신한 청취자의 사용자정보는 시간대, 장소, 시즌, 날씨, 성별, 나이대, 사용자 감정 등의 요소를 포함하여 청취자의 상황에 따른 사용자정보로 사용할 수 있다. 이 때, 상기 프로파일은 청취자가 가지고 있는 상황정보와 상기 상황정보에 따라 청취자가 선호하는 음악의 AV계수의 쌍을 집합으로 표현될 수 있다. The previously received listener's user information may be used as user information according to the listener's situation, including elements such as time zone, place, season, weather, gender, age, and user emotion. In this case, the profile may be represented as a set of pairs of contextual information owned by the listener and AV coefficients of music preferred by the listener according to the contextual information.

따라서 상기 프로파일로부터 저장된 음악의 AV계수와 청취자의 현재의 상황정보를 유사도함수를 사용하여 연산하고, 연산값을 내림차순으로 정렬하여 상위값을 갖는 음악을 청취자에게 추천한다(S413). Accordingly, the AV coefficient of the music stored from the profile and the current situation information of the listener are calculated using the similarity function, the operation values are sorted in descending order, and the music having the higher value is recommended to the listener (S413).

이에 더하여, 청취자 외에 전문가들에게 상황정보를 제공하고, 상기 상황정보에 맞는 음악을 추천하게 하며, 이렇게 추천된 음악 또한 프로파일화하여, 상기 프로파일을 저장한다.In addition, it provides context information to experts other than the listener, recommends music suitable for the context information, and also profiles the recommended music to store the profile.

또는 상기 프로파일화 과정 시 사용된 청취자의 사용자정보에 있어서, 확장여부를 선택할 수 있다(S414). Or in the user information of the listener used in the profiling process, it is possible to select whether to expand (S414).

상기 사용자정보에의 확장을 원하는 경우라면(S415), 퍼지이론 등을 통해 상기 프로파일 과정 시 사용되었던 사용자정보에 대하여 좀 더 일반적인 범위로 확대할 수 있다. 물론, 확대된 사용자정보는 상기 사용자정보를 포함하고 있으며, 상기 사용자정보보다 상위수준의 정보를 포함할 수 있다. If it is desired to extend the user information (S415), the fuzzy theory may be used to expand the user information used in the profiling process to a more general range. Of course, the expanded user information includes the user information, and may include higher level information than the user information.

바람직한 실시 예에 따른 본 발명인 음악 추천시스템 및 방법은 청취자의 사용자정보에 따른 음악추천이 가능할 수 있다. Music recommendation system and method of the present invention according to a preferred embodiment can be recommended music according to the user information of the listener.

이에 더하여, 각 음악의 특징 파악을 위해 사람이 직접 파악하는 번거로움에서 벗어나 시스템을 통해 음악의 특징 파악이 가능함으로써 특징 파악의 소요시간이 줄어들 수 있으며, 따라서 각 특징에 따른 음악분류가 용이해진다는 장점이 있다. In addition, it is possible to reduce the time required for the feature identification by allowing the system to grasp the characteristics of the music through the system to avoid the hassle of human grasping for the characteristics of each music, thus facilitating the classification of music according to each characteristic. There is an advantage.

이상 본 발명에 의한 음악추천 시스템 및 방법에 대하여 설명하였다. 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. The music recommendation system and method according to the present invention have been described above. It will be understood by those skilled in the art that the technical features of the present invention may be embodied in other specific forms without departing from the spirit or essential characteristics thereof.

그러므로 이상에서 기술한 실시예는 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야하고, 본 발명의 범위는 전술한 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다. Therefore, the above-described embodiments are to be understood in all respects as illustrative and not restrictive, and the scope of the present invention is indicated by the following claims rather than the foregoing description, and the meanings of the claims and All changes or modifications derived from the scope and the equivalent concept should be construed as being included in the scope of the present invention.

도 1은 본 발명의 실시예에 따른 음악추천 시스템에 관한 블록도이고, 1 is a block diagram of a music recommendation system according to an embodiment of the present invention;

도 2는 상기 음악추천 시스템의 구조분석부에 관한 블록도이고,2 is a block diagram of a structural analysis unit of the music recommendation system;

도 3은 상기 음악추천 시스템의 AV계수 검색부에서 사용되는 AV좌표이고,3 is an AV coordinate used in the AV coefficient search unit of the music recommendation system,

도 4는 본 발명의 실시예에 따른 음악추천 방법에 관한 순서도이고,4 is a flowchart illustrating a music recommendation method according to an embodiment of the present invention;

도 5는 본 발명의 실시예에 따른 음악추천 방법에 관한 흐름도이다. 5 is a flowchart illustrating a music recommendation method according to an embodiment of the present invention.

***도면의 주요부분에 대한 부호의 설명****** Explanation of symbols for main parts of drawing ***

100: 입출력장치 200: 사용자정보 저장장치100: input and output device 200: user information storage device

300: 서버 310: 음악분석수단300: server 310: music analysis means

330: 음악추천수단 312: 구조분석부330: music recommendation means 312: structural analysis unit

314: 특징추출부 316: AV계수 검색부314: feature extraction unit 316: AV coefficient search unit

318: AV계수 모델링부 332: 프로파일 구성부318: AV coefficient modeling unit 332: Profile component

334: 음악추천부 336: 사용자정보 확장부 334: music recommendation unit 336: user information expansion unit

Claims

An input / output device for outputting and providing a plurality of music to at least one user and receiving a plurality of words representing an atmosphere or an emotional state for each of the music;

The AV coordinates in the AV chart preset on the X-axis and the Y-axis are measured to represent the negative stability and the intensity of the stimulus in which the plurality of input words are located, and respectively correspond to the plurality of words. Acquire predictive modeling of user preferences by acquiring a plurality of AV coefficients corresponding to position vectors of X and Y axes between AV coordinates, extract sound for a plurality of recommended music, and then apply the predictive modeling of user preferences to recommend them. A server for acquiring AV coefficients of musics, comparing and comparing similarities between the plurality of AV coefficients and AV coefficients of recommended music to recommend recommended music having a similarity or more than a predetermined value;

A user information storage device for storing the predictive modeling of the generated user preferences;

Music recommendation system comprising a.

The method of claim 1,

The server is

The AV coordinates in the AV chart in which a plurality of words of each of the plurality of pieces of music input to the input / output device are located are respectively measured corresponding to the X-axis and the Y-axis, and between the plurality of AV coordinates of the plurality of measured words. An AV coefficient searcher for performing a vector operation to obtain a plurality of AV coefficients;

An AV coefficient modeling unit configured to match the plurality of AV coefficients of each of the plurality of pieces of music with each user information inputted to the input / output device so as to correspond to each other, and store the result in a profile form to generate each user's taste prediction modeling;

Music recommendation unit for recommending music having the AV coefficient corresponding to the highest similarity calculation value after measuring the similarity calculation value to determine the similarity between the user preference prediction modeling stored in the profile form and the AV coefficient for a plurality of recommended music ;

Music recommendation system comprising a.

3. The method of claim 2,

The AV chart is

And a plurality of words representing sound stabilization and stimulus intensity are arranged on the X-Y coordinates to have the same physical distance from each other.

delete

A music receiving step in which the input / output device receives a plurality of pieces of music and user information of a user who wants to listen to the music;

A word reception step of receiving, by the input / output device, the music and receiving a plurality of words representing the mood or emotional state of each of the output music from the user;

The server measures AV coordinates of the X-axis and the Y-axis in which the plurality of words received by the input / output device are located in the AV chart, which is set so as to indicate negative stability and arousal, and the plurality of words are measured. An AV coefficient calculating step of acquiring a plurality of AV coefficients for each music, corresponding to the position vectors of the X and Y axes between AV coordinates corresponding to

An AV coefficient modeling step of the server matching and matching the plurality of AV coefficients with the user information to generate and store predictive modeling of user preferences in a profile form;

Extracting acoustic features of a plurality of recommended music and applying the same to predictive modeling of the user's taste to obtain AV coefficients for the recommended music;

A music recommendation step of determining a similarity between the AV coefficient stored in the predictive modeling of the user's taste and the AV coefficient of the recommended music, and recommending the corresponding recommended music having a predetermined or more similarity;

Music recommendation method comprising a.

12. The method of claim 11,

The AV chart is

And a plurality of words representing sound stabilization and stimulus intensity are arranged on coordinates to have the same physical distance from each other.

delete