KR20120021174A - Apparatus and method for music search using emotion model - Google Patents

Apparatus and method for music search using emotion model Download PDF

Info

Publication number
KR20120021174A
KR20120021174A KR1020110053785A KR20110053785A KR20120021174A KR 20120021174 A KR20120021174 A KR 20120021174A KR 1020110053785 A KR1020110053785 A KR 1020110053785A KR 20110053785 A KR20110053785 A KR 20110053785A KR 20120021174 A KR20120021174 A KR 20120021174A
Authority
KR
South Korea
Prior art keywords
emotion
music
model
coefficient
types
Prior art date
Application number
KR1020110053785A
Other languages
Korean (ko)
Other versions
KR101593961B1 (en
Inventor
이승재
김정현
김성민
서영호
서용석
박지현
이상광
이정호
윤영석
유원영
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/220,838 priority Critical patent/US8489606B2/en
Publication of KR20120021174A publication Critical patent/KR20120021174A/en
Application granted granted Critical
Publication of KR101593961B1 publication Critical patent/KR101593961B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/632—Query formulation
    • G06F16/634—Query by example, e.g. query by humming
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

PURPOSE: A music searching apparatus using an emotion model and method thereof are provided to recommend desired music to a user by using the emotion model created by similarity between emotion types. CONSTITUTION: A music database(170) stores sound source data and an AV(Arousal-Valence) coefficient. An emotion model creation unit(150) creates an emotion classification model by using the probability diffusion of the groups for an AV coefficient plane. A music searching unit(130) classifies the emotion type based on input information, detects an AV coefficient range, and searches the music corresponding to the AV coefficient range in a music data base.

Description

감정 모델을 이용한 음악 검색 장치 및 방법{APPARATUS AND METHOD FOR MUSIC SEARCH USING EMOTION MODEL}Apparatus and method for music search using emotion model {APPARATUS AND METHOD FOR MUSIC SEARCH USING EMOTION MODEL}

본 발명은 감정 모델을 이용한 음악 검색 장치 및 방법에 관한 것이다. 보다 상세하게, 본 발명은 감정 유형들간의 유사도에 따라 생성된 감정 모델을 이용하여 음악을 검색하는 장치 및 방법에 관한 것이다.The present invention relates to a music retrieval apparatus and method using an emotion model. More specifically, the present invention relates to an apparatus and method for searching for music using an emotion model generated according to the similarity between emotion types.

정보량의 급격한 증가로 인해 정보를 검색, 분류 및 추천하는 기술에 대한 수요가 증가하고 있다. 특히, 음악과 같이 파일의 수는 수천, 수만 곡을 넘는 경우, 원하는 음악을 검색 및 추천하기 위한 기술이 요구된다.Due to the rapid increase in the amount of information, there is an increasing demand for technology for searching, classifying and recommending information. In particular, when the number of files such as music exceeds thousands or tens of thousands of songs, a technique for searching for and recommending desired music is required.

종래에는 음악을 검색 및 추천하기 위해 장르 정보와 가수 정보를 이용하였다. 장르는 음악을 그 형식이나 특징을 통해 분류하는 것으로 가장 널리 쓰이고 있다. 가수 정보는 가수의 음악적 성향을 중심으로 유사한 가수간의 분류를 통해 검색과 추천이 가능하다. 하지만, 이를 위해서는 장르에 대한 사전 정보가 필요하고, 가수를 기반으로 검색하기 위해서는 가수 이름, 유사한 음악적 성향의 가수 이름 혹은 해당 가수들이 부른 노래를 알아야 하는 불편함이 있다.Conventionally, genre information and singer information are used to search and recommend music. The genre is most widely used to classify music by its form or characteristics. Singer information can be searched and recommended through classification between similar singers based on the musical propensity of singers. However, this requires prior information about the genre, and in order to search based on a singer, it is inconvenient to know the singer's name, the singer's name of similar musical propensity, or the songs sung by the singers.

본 발명의 목적은, 감정 유형들간의 유사도에 따라 생성된 감정 모델을 이용하여 음악을 검색하기 위해 감정 모델을 이용한 음악 검색 장치 및 방법을 제공하는 것이다.It is an object of the present invention to provide a music retrieval apparatus and method using an emotion model to search for music using an emotion model generated according to similarity between emotion types.

본 발명의 특징에 따른 감정 모델을 이용한 음악 검색 장치는 음악 데이터베이스, 감정 모델 생성부 및 음악 검색부를 포함한다. 음악 데이터베이스는 다수의 음악들에 대한 음원 데이터와, 각 음악의 AV 계수를 저장한다. 감정 모델 생성부는 서로 다른 감정 유형들을 복수 개의 그룹들로 분류하고, AV 계수 평면에 대한 복수 개의 그룹들 각각의 확률 분포를 이용하여 감정 분류 모델을 생성한다. 음악 검색부는 음악 검색 요청이 수신되면 사용자로부터 입력된 정보를 이용하여 감정 유형을 식별하고, 감정 분류 모델을 이용하여 식별된 감정 유형에 대응되는 AV 계수를 지정하기 위한 AV 계수 범위를 검출하며, 음악 데이터베이스에서 AV 계수 범위에 대응되는 음악을 검색한다.A music retrieval apparatus using an emotion model according to an aspect of the present invention includes a music database, an emotion model generator, and a music retrieval unit. The music database stores sound source data for a plurality of music and AV coefficients of each music. The emotion model generator classifies different emotion types into a plurality of groups, and generates an emotion classification model using a probability distribution of each of the plurality of groups with respect to the AV coefficient plane. When the music search request is received, the music searcher identifies an emotion type by using information input from the user, and detects an AV coefficient range for designating an AV coefficient corresponding to the identified emotion type by using an emotion classification model. Search for music corresponding to the AV coefficient range in the database.

이때, 감정 모델 생성부는 서로 다른 감정 유형들간의 유사도를 이용하여 서로 다른 감정 유형들을 복수 개의 그룹들로 분류한다.In this case, the emotion model generator classifies different emotion types into a plurality of groups by using similarity between different emotion types.

또한, 감정 모델 생성부는 서로 다른 감정 유형들에 각각 대응되는 복수 개의 칼럼 벡터들간의 유사도를 산출하여 산출된 유사도에 따라 서로 다른 감정 유형들을 복수 개의 그룹들로 분류한다.In addition, the emotion model generator may calculate similarity between a plurality of column vectors corresponding to different emotion types, and classify different emotion types into a plurality of groups according to the calculated similarity.

또한, 감정 모델 생성부는 서로 다른 감정 유형들 각각의 AV 계수를 이용하여 복수 개의 그룹들 각각의 확률 분포를 산출한다.Also, the emotion model generator calculates a probability distribution of each of the plurality of groups by using AV coefficients of different emotion types.

또한, 감정 모델 생성부는 AV 계수 평면에 대한 서로 다른 감정 유형들 각각의 확률 분포를 이용하여 복수 개의 그룹들 각각의 확률 분포를 산출한다.Also, the emotion model generator calculates a probability distribution of each of the plurality of groups using the probability distribution of each of the different emotion types with respect to the AV coefficient plane.

또한, 음악 데이터베이스는 회귀 분석을 통해 각 음악의 AV 계수를 산출한다.The music database also calculates the AV coefficient of each music through regression analysis.

또한, 음악 검색부는 검색된 음악에 대한 음악 리스트를 생성한다.In addition, the music search unit generates a music list for the found music.

본 발명의 특징에 따른 감정 모델을 이용한 음악 검색 방법은 음악 검색 요청에 따라 수신된 식별 정보에 대응되는 감정 유형을 식별하는 단계, 식별된 감정 유형을 포함하는 그룹을 감정 분류 모델에서 식별하는 단계, 식별된 그룹의 확률 분포에 따라 검색하고자 하는 음악의 AV 계수를 지정하기 위한 AV 계수 범위를 검출하는 단계, 데이터베이스에 저장된 음악들 각각의 AV 계수를 이용하여 AV 계수 범위에 대응되는 음악을 검색하는 단계, 그리고 검색된 음악에 대한 음악 리스트를 생성하는 단계를 포함한다.According to an aspect of the present invention, a music search method using an emotion model includes: identifying an emotion type corresponding to identification information received according to a music search request; identifying a group including the identified emotion type in an emotion classification model; Detecting an AV coefficient range for designating an AV coefficient of music to be searched according to the probability distribution of the identified group, and searching for a music corresponding to the AV coefficient range by using the AV coefficient of each of music stored in a database And generating a music list for the found music.

이때, 감정 분류 모델에서 식별하는 단계는 식별된 감정 유형을 포함하는 그룹을 서로 다른 감정 유형들간의 유사도에 따라 서로 다른 감정 유형들을 복수 개의 그룹들로 분류한 감정 분류 모델에서 식별한다.In this case, the identifying in the emotion classification model identifies a group including the identified emotion type in an emotion classification model in which different emotion types are classified into a plurality of groups according to similarities between different emotion types.

또한, 감정 분류 모델은 서로 다른 감정 유형들에 각각 대응되는 복수 개의 칼럼 벡터들간의 유사도에 따라 서로 다른 감정 유형들을 복수 개의 그룹들로 분류하여 생성된다.In addition, the emotion classification model is generated by classifying different emotion types into a plurality of groups according to similarities between a plurality of column vectors respectively corresponding to different emotion types.

또한, 감정 유형을 식별하는 단계는 AV 좌표를 포함하는 식별 정보에 대응된다.In addition, identifying the emotion type corresponds to identification information including AV coordinates.

또한, 감정 유형을 식별하는 단계는 미리 정해진 예제 그림을 포함하는 식별 정보에 대응되는 감정 유형을 식별한다.In addition, identifying the emotion type identifies an emotion type corresponding to identification information including a predetermined example picture.

본 발명의 특징에 따르면, 감정 유형들간의 유사도에 따라 생성된 감정 분류 모델을 이용함으로써 사용자의 의도에 맞는 음악을 검색하여 사용자가 원하는 분위기의 음악을 추천해 줄 수 있는 효과가 있다.According to an aspect of the present invention, by using the emotion classification model generated according to the similarity between emotion types, there is an effect that the user can recommend music of a desired mood by searching for music suitable for the user's intention.

또한, 본 발명의 특징에 따르면, AV 계수를 고려하여 생성된 감정 분류 모델을 이용하여 복합적인 감정 유형에 대응되는 음악을 검색하여 제공할 수 있는 효과가 있다.In addition, according to an aspect of the present invention, it is possible to search for and provide music corresponding to a complex emotion type by using an emotion classification model generated by considering AV coefficients.

또한, 본 발명의 특징에 따르면, AV 좌표 선택 또는 예제 그림들과 같은 간단한 인터페이스를 이용하여 간단한 입력을 통해 사용자에게 음악 검색 서비스를 제공할 수 있는 효과가 있다.In addition, according to an aspect of the present invention, it is possible to provide a music search service to a user through a simple input using a simple interface such as AV coordinate selection or example pictures.

도 1은 본 발명의 실시 예에 따른 음악 검색 장치의 구성을 도시한 도면이다.
도 2는 본 발명의 실시 예에 따른 감정 분류 모델 생성 방법을 도시한 도면이다.
도 3은 본 발명의 실시 예에 따른 감정 유형들에 대한 분포 행렬을 도시한 도면이다.
도 4는 본 발명의 실시 예에 따른 AV 계수 평면을 도시한 도면이다.
도 5는 본 발명의 실시 예에 따른 감정 분류 모델의 특정 그룹에 대한 확률 분포 모델을 AV 계수 평면에 도시한 도면이다.
도 6은 본 발명의 실시 예에 따른 특정 감정 유형에 대한 확률 분포 모델을 AV 계수 평면에 도시한 도면이다.
도 7은 본 발명의 실시 예에 따른 감정 표현 모델을 표로 나타낸 도면이다.
도 8은 본 발명의 실시 예에 따른 음악 검색 방법을 도시한 도면이다.
도 9는 본 발명의 실시 예에 따른 사용자 인터페이스에서 제공하는 예제 그림을 도시한 도면이다.
도 10은 본 발명의 제1 실시 예에 따른 예제 그림의 입력을 도시한 도면이다.
도 11은 본 발명의 제2 실시 예에 따른 예제 그림의 입력을 도시한 도면이다.1 is a diagram illustrating a configuration of a music search apparatus according to an exemplary embodiment of the present invention.
2 is a diagram illustrating a method for generating an emotion classification model according to an embodiment of the present invention.
3 is a diagram illustrating a distribution matrix for emotion types according to an embodiment of the present invention.
4 is a diagram illustrating an AV coefficient plane according to an exemplary embodiment of the present invention.
FIG. 5 is a diagram illustrating a probability distribution model for a specific group of an emotion classification model according to an embodiment of the present invention, in an AV coefficient plane.
FIG. 6 illustrates a probability distribution model for a specific emotion type in an AV coefficient plane according to an embodiment of the present invention.
7 is a table showing an emotional expression model according to an embodiment of the present invention.
8 is a diagram illustrating a music search method according to an embodiment of the present invention.
9 is a diagram illustrating an example picture provided by a user interface according to an exemplary embodiment of the present invention.
10 is a diagram illustrating an input of an example picture according to the first embodiment of the present invention.
11 is a diagram illustrating an input of an example picture according to a second embodiment of the present invention.

본 발명을 첨부된 도면을 참고하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 고지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 해당 기술분야에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. Here, the repeated description, the notification function that may unnecessarily obscure the gist of the present invention, and the detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more completely explain the present invention to those skilled in the art. Accordingly, the shape and size of elements in the drawings may be exaggerated for clarity.

이제, 도면을 참고하여 본 발명의 실시 예에 따른 감정 모델을 이용한 음악 검색 장치 및 방법에 대해 설명한다.
Now, a music search apparatus and method using an emotion model according to an embodiment of the present invention will be described with reference to the drawings.

먼저, 도 1을 참고하여 본 발명의 실시 예에 따른 음악 검색 장치에 대해 설명한다.First, a music search apparatus according to an exemplary embodiment of the present invention will be described with reference to FIG. 1.

도 1은 본 발명의 실시 예에 따른 음악 검색 장치의 구성을 도시한 도면이다.1 is a diagram illustrating a configuration of a music search apparatus according to an exemplary embodiment of the present invention.

도 1에 도시된 바와 같이, 본 발명의 실시 예에 따른 음악 검색 장치(100)는 사용자로부터 음악 검색 요청이 수신되면 음악 검색 결과로 해당 요청에 대응되는 음악들에 대한 리스트를 제공하며, 사용자 인터페이스(110), 음악 검색부(130), 감정 모델 생성부(150) 및 음악 데이터베이스(database, DB)(170)를 포함한다.As shown in FIG. 1, when a music search request is received from a user, the music search apparatus 100 provides a list of music corresponding to the request as a music search result, and a user interface. 110, a music search unit 130, an emotion model generator 150, and a music database (DB) 170.

사용자 인터페이스(110)는 사용자로부터 음악 검색 요청을 수신하고, 수신된 음악 검색 요청에 대응되는 음악들에 대한 음악 리스트를 사용자에게 제공한다. 여기서, 사용자 인터페이스(110)는 음악 검색 요청을 수신할 때 사용자로부터 감정 유형을 식별하기 위한 식별 정보를 입력 받을 수 있다. 이때, 사용자 인터페이스(110)는 미리 주어진 예제 그림을 통해 식별 정보를 입력 받을 수 있고, 감정의 긍정 또는 부정의 정도(Valence)를 감정의 강도(Arousal)로 표현하는 에이브이 좌표(Arousal-Valence coordinate, 이하에서는 'AV 좌표'라고도 함)를 식별 정보로 입력 받을 수 있으며, 음악 샘플을 식별 정보로 입력 받을 수 있다.The user interface 110 receives a music search request from the user and provides the user with a music list for music corresponding to the received music search request. Here, the user interface 110 may receive identification information for identifying an emotion type from a user when receiving a music search request. In this case, the user interface 110 may receive identification information through a given example picture, and the Avingal coordinates (Arousal-Valence coordinate, Hereinafter, also referred to as 'AV coordinates' may be input as identification information, music samples may be input as identification information.

음악 검색부(130)는 사용자의 음악 검색 요청에 따라 입력된 식별 정보로부터 감정 유형을 식별하고, 감정 모델 생성부(150)와 연동하여 식별된 감정 유형에 대응되는 에이브이 계수(Arousal-Valence coefficient, 이하에서는 'AV 계수'라고도 함)를 검출하며, 음악 데이터베이스(170)에서 검출된 AV 계수에 대응되는 음악을 검색한다. 여기서, 음악 검색부(130)는 검색된 음악들에 대한 음악 리스트를 생성할 수 있다.The music search unit 130 identifies the emotion type from the identification information input according to the music search request of the user, and interlocks with the emotion model generation unit 150 to determine the Aveal-Valence coefficient, Hereinafter, also referred to as 'AV coefficients', the music corresponding to the AV coefficients detected in the music database 170 is searched for. Here, the music search unit 130 may generate a music list for the found music.

감정 모델 생성부(150)는 복수 개의 음악들로부터 인간이 느끼는 감정 유형들을 행렬로 표현한 분포 행렬을 이용하여 유사한 감정 유형을 그룹으로 분류한 감정 분류 모델을 생성하고, 생성된 감정 분류 모델을 이용하여 특정 감정 유형에 대응되는 AV 계수의 범위를 검출한다. 여기서, 감정 모델 생성부(150)는 검출된 AV 계수의 범위를 음악 검색부(130)에 제공할 수 있다.The emotion model generator 150 generates an emotion classification model that classifies similar emotion types into groups using a distribution matrix expressing emotion types that a human feels from a plurality of music as a matrix, and uses the generated emotion classification model. Detects a range of AV coefficients corresponding to a particular emotion type. Here, the emotion model generator 150 may provide the music search unit 130 with a range of the detected AV coefficients.

음악 데이터베이스(170)는 다수의 음악들에 대한 음원 데이터와, 각 음악의 제목, 가수, 장르, 앨범명, 출시년도, 재생횟수, 해시값, AV 계수 및 오디오 핑거프린트(audio fingerprint) 등을 저장한다. The music database 170 stores sound source data for a plurality of songs, titles, singers, genres, album names, release years, playback counts, hash values, AV coefficients, audio fingerprints, and the like of each music. do.

이때, 음악 데이터베이스(170)는 메시지 다이제스트 알고리즘 5(Message-Digest algorithm 5, MD5)와 같은 해시 함수를 이용하여 각 음악의 해시값을 산출할 수 있다.In this case, the music database 170 may calculate a hash value of each music by using a hash function such as message-digest algorithm 5 (MD5).

또한, 음악 데이터베이스(170)는 각 음악에 대한 멜주파수 켑스트럴 계수(Mel-Frequency Cepstral Coefficient, 이하에서는 'MFCC'라고도 함), 옥타브 기반 스펙트럼 콘트라스트(Octave-based Spectral Contrast, 이하에서는 'OSC'라고도 함), 에너지, 템포(tempo) 등을 이용한 회귀 분석(regression analysis)을 통해 각 음악의 AV 계수를 산출할 수 있다.The music database 170 also includes Mel-Frequency Cepstral Coefficient (hereinafter referred to as MFCC), Octave-based Spectral Contrast, and `` OSC '' for each music. AV coefficient of each music may be calculated through regression analysis using energy, tempo, and the like.

또한, 음악 데이터베이스(170)는 각 음악에 대한 특징을 압축된 형태로 추출하여 각 음악의 오디오 핑거프린트를 생성할 수 있다.In addition, the music database 170 may generate an audio fingerprint of each music by extracting features of each music in a compressed form.

여기서, 음악 데이터베이스(170)는 각 음악의 해시값 또는 오디오 핑거프린트를 이용하여 음원 데이터에서 해당 음악을 식별할 수 있다.
Here, the music database 170 may identify the music from the sound source data using the hash value or the audio fingerprint of each music.

다음, 도 2를 참고하여 본 발명의 실시 예에 따른 감정 분류 모델을 생성하는 방법에 대해 설명한다.Next, a method of generating an emotion classification model according to an embodiment of the present invention will be described with reference to FIG. 2.

도 2는 본 발명의 실시 예에 따른 감정 분류 모델 생성 방법을 도시한 도면이다.2 is a diagram illustrating a method for generating an emotion classification model according to an embodiment of the present invention.

도 2에 도시된 바와 같이, 먼저, 감정 모델 생성부(150)는 복수 개의 음악들로부터 인간이 느끼는 감정 유형들을 행렬로 표현한 분포 행렬로부터 감정 유형들 각각에 대한 칼럼 벡터(Column Vector)를 생성하여 감정 유형들에 각각 대응되는 칼럼 벡터들을 생성한다(S100).As shown in FIG. 2, first, the emotion model generator 150 generates a column vector for each emotion type from a distribution matrix representing a feeling type that a human feels from a plurality of music in a matrix. Column vectors corresponding to the emotion types are respectively generated (S100).

다음, 감정 모델 생성부(150)는 두 벡터들 사이의 유사도를 나타내는 코사인 유사도(Cosine Similarity)를 측정하여 칼럼 벡터들간의 유사도를 산출한다(S110). 여기서, 감정 모델 생성부(150)는 칼럼 벡터들간의 유사도를 이용하여 칼럼 벡터들에 각각 대응되는 감정 유형들간의 유사도를 추정할 수 있다. 이때, 감정 모델 생성부(150)는 두 벡터들간 각도의 코사인을 계산하여 두 벡터들 사이의 코사인 유사도를 측정할 수 있다.Next, the emotion model generator 150 calculates a similarity between column vectors by measuring cosine similarity indicating the similarity between two vectors (S110). Here, the emotion model generator 150 may estimate the similarity between emotion types corresponding to the column vectors using the similarity between the column vectors. At this time, the emotion model generator 150 may calculate the cosine similarity between the two vectors by calculating the cosine of the angle between the two vectors.

이후, 감정 모델 생성부(150)는 칼럼 벡터들간의 유사도에 따라 감정 유형들을 복수 개의 그룹들로 분류하여 복수 개의 그룹들을 생성한다(S120). 여기서, 감정 모델 생성부(150)는 칼럼 벡터들간의 유사도에 따라 유사한 감정 유형들을 동일한 그룹으로 분류할 수 있다.Thereafter, the emotion model generator 150 generates a plurality of groups by classifying the emotion types into a plurality of groups according to the similarity between the column vectors (S120). Here, the emotion model generator 150 may classify similar emotion types into the same group according to the similarity between the column vectors.

다음, 감정 모델 생성부(150)는 각 감정 유형에 대응되는 AV 계수들을 이용하여 에이브이 계수 평면(Arousal-Valence coefficient plane, 이하에서는 'AV 계수 평면'이라고도 함)에 대한 복수 개의 그룹들 각각의 확률 분포를 산출한다(S130). 여기서, 감정 모델 생성부(150)는 AV 계수 평면에 대한 감정 유형들 각각의 확률 분포를 산출한 후, 감정 유형들 각각의 확률 분포를 이용하여 복수 개의 그룹들 각각의 확률 분포를 산출할 수 있다.Next, the emotion model generator 150 uses the AV coefficients corresponding to each emotion type to determine the probability of each of the plurality of groups with respect to the AV-A coefficient plane (also referred to as an AV coefficient plane). The distribution is calculated (S130). Here, the emotion model generator 150 may calculate a probability distribution of each of the emotion types with respect to the AV coefficient plane, and then calculate a probability distribution of each of the plurality of groups by using the probability distribution of each of the emotion types. .

이후, 감정 모델 생성부(150)는 복수 개의 그룹들 각각의 확률 분포를 이용하여 유사한 감정 유형을 그룹으로 분류한 감정 분류 모델을 생성한다(S140).
Thereafter, the emotion model generator 150 generates an emotion classification model classifying similar emotion types into groups using probability distributions of the plurality of groups (S140).

다음, 도 3을 참고하여 본 발명의 실시 예에 따른 복수 개의 음악들로부터 인간이 느끼는 감정 유형들을 행렬로 표현한 분포 행렬에 대해 설명한다.Next, referring to FIG. 3, a distribution matrix representing a type of emotions that a human feels from a plurality of music according to an exemplary embodiment of the present invention is described as a matrix.

도 3은 본 발명의 실시 예에 따른 감정 유형들에 대한 분포 행렬을 도시한 도면이다.3 is a diagram illustrating a distribution matrix for emotion types according to an embodiment of the present invention.

도 3에 도시된 바와 같이, 분포 행렬(200)은 복수 개의 음악들(210)로부터 인간이 느끼는 복수 개의 감정 유형들(220)을 행렬로 표현한 행렬이다. As shown in FIG. 3, the distribution matrix 200 is a matrix representing a plurality of emotion types 220 that a human feels from the plurality of music 210.

구체적으로, 분포 행렬(200)은 M 개의 음악들 즉, 제1 음악(S1), 제2 음악(S2), 제3 음악(S3), 제4 음악(S4), 제M-1 음악(SM-1) 및 제M 음악(SM)에 대해 N 개의 감정 유형들 즉, 제1 감정 유형(A1), 제2 감정 유형(A2), 제3 감정 유형(A3), 제N-1 감정 유형(AN-1) 및 제N 감정 유형(AN)의 검출 횟수를 나타낸다.Specifically, the distribution matrix 200 includes M pieces of music, that is, the first music S 1 , the second music S 2 , the third music S 3 , the fourth music S 4 , and the M-th. N emotion types for the first music S M-1 and the Mth music S M , namely, the first emotion type A 1 , the second emotion type A 2 , and the third emotion type A 3 ), The N-th emotion type A N-1 and the N-th emotion type A N.

분포 행렬(200)은 제1 음악(S1)에 대해 제2 감정 유형(A2)이 1번 검출되고, 제3 감정 유형(A3)이 3번 검출된 경우이다.The distribution matrix 200 is a case where the second emotion type A 2 is detected once for the first music S 1 and the third emotion type A 3 is detected three times.

분포 행렬(200)은 제2 음악(S2)에 대해 제N 감정 유형(AN)이 2번 검출된 경우이다.The distribution matrix 200 is a case where the Nth emotion type A N is detected twice for the second music S 2 .

분포 행렬(200)은 제3 음악(S3)에 대해 제1 감정 유형(A1)이 1번 검출되고, 제2 감정 유형(A2)이 4번 검출되며, 제3 감정 유형(A3)이 7번 검출된 경우이다.Distribution matrix 200 is the third music (S 3) a first emotion is detected and the type (A 1) is 1, the second emotion type (A 2) is detected four times for the third emotion type (A 3 ) Is detected 7 times.

분포 행렬(200)은 제4 음악(S4)에 대해 제1 감정 유형(A1)이 12번 검출된 경우이다.The distribution matrix 200 is a case where the first emotion type A 1 is detected 12 times for the fourth music S 4 .

분포 행렬(200)은 제M-1 음악(SM-1)에 대해 제1 감정 유형(A1)이 4번 검출되고, 제N-1 감정 유형(AN-1)이 23번 검출된 경우이다.The distribution matrix 200 detects the first emotion type A 1 four times and the N-1 emotion type A N-1 23 times for the M-1 music S M-1 . If it is.

분포 행렬(200)은 제M 음악(SM)에 대해 제N 감정 유형(AN)이 1번 검출된 경우이다.
The distribution matrix 200 is a case where the Nth emotion type A N is detected once for the Mth music S M.

다음, 도 4를 참고하여 본 발명의 실시 예에 따른 AV 계수 평면에 대해 설명한다.Next, an AV coefficient plane according to an embodiment of the present invention will be described with reference to FIG. 4.

도 4는 본 발명의 실시 예에 따른 AV 계수 평면을 도시한 도면이다.4 is a diagram illustrating an AV coefficient plane according to an exemplary embodiment of the present invention.

도 4에 도시된 바와 같이, AV 계수 평면(300)은 좌표평면의 가로축이 감정의 긍정 또는 부정의 정도(Valence)를 나타내고, 세로축이 감정이 정도(Arousal)를 나타낸다.As shown in FIG. 4, the AV coefficient plane 300 has a horizontal axis of a coordinate plane indicating a positive or negative degree of emotion, and a vertical axis of the coordinate plane shows an emotional degree.

AV 계수 평면(300)에서, AV 좌표는 가로축의 값이 -1부터 1까지의 값을 가질 수 있고, 세로축의 값이 -1부터 1까지의 값을 가질 수 있다.
In the AV coefficient plane 300, the AV coordinates may have values of -1 to 1 on the horizontal axis and values of -1 to 1 on the vertical axis.

다음, 도 5를 참고하여 본 발명의 실시 예에 따른 감정 모델 생성부가 감정 분류 모델의 특정 그룹에 대한 확률 분포 모델을 생성하는 방법에 대해 설명한다.Next, a method of generating a probability distribution model for a specific group of an emotion classification model according to an embodiment of the present invention will be described with reference to FIG. 5.

도 5는 본 발명의 실시 예에 따른 감정 분류 모델의 특정 그룹에 대한 확률 분포 모델을 AV 계수 평면에 도시한 도면이다.FIG. 5 is a diagram illustrating a probability distribution model for a specific group of an emotion classification model according to an embodiment of the present invention, in an AV coefficient plane.

도 5에 도시된 바와 같이, 감정 모델 생성부(150)는 특정 그룹에 대응되는 AV 계수들을 AV 계수 평면에 AV 좌표(410)로 표시하고, AV 계수 평면에 표시된 다수의 AV 좌표(410)를 이용하여 해당 그룹에 대한 확률 분포 모델(400)을 모델링할 수 있다. 예를 들어, 확률 분포 모델(400)은 '신나는', '경쾌한', '흥겨운', '즐거운' 등과 같은 감정 유형들을 포함하는 그룹을 모델링한 것에 해당할 수 있다.As shown in FIG. 5, the emotion model generator 150 displays AV coefficients corresponding to a specific group in the AV coefficient plane as AV coordinates 410, and displays a plurality of AV coordinates 410 displayed in the AV coefficient plane. By using the probability distribution model 400 for the group can be modeled. For example, the probability distribution model 400 may correspond to modeling a group including emotion types such as 'exciting', 'light', 'happy', 'fun', and the like.

여기서, 감정 모델 생성부(150)는 AV 계수 평면에 표시된 다수의 AV 좌표(410)를 확률 밀도 함수(Probability Density Function)로 나타내어 해당 그룹에 대한 확률 분포 모델(400)을 생성할 수 있다.Here, the emotion model generator 150 may generate a probability distribution model 400 for the corresponding group by representing a plurality of AV coordinates 410 displayed on the AV coefficient plane as a probability density function.

이때, 확률 분포 모델(400)은 확률 분포값에 따라 복수 개의 영역으로 구분될 수 있으며, 확률 분포 모델(400)의 중심 영역으로 갈수록 확률 분포값이 높을 수 있다.In this case, the probability distribution model 400 may be divided into a plurality of regions according to the probability distribution value, and the probability distribution value may be higher toward the center region of the probability distribution model 400.

또한, AV 좌표(410)는 AV 계수 평면에서 감정의 긍정 또는 부정의 정도(Valence)를 나타내는 가로축의 값이 -1부터 1까지의 값을 가질 수 있고, 감정의 정도(Arousal)를 나타내는 세로축의 값이 -1부터 1까지의 값을 가질 수 있다.
In addition, the AV coordinates 410 may have values of -1 to 1 on the horizontal axis indicating the degree of emotion positive or negative in the AV coefficient plane, and represent the degree of emotion (Arousal). The value can range from -1 to 1.

다음, 도 6을 참고하여 본 발명의 실시 예에 따른 감정 모델 생성부가 특정 그룹의 감정 유형들에 대한 확률 분포 모델을 생성하는 방법에 대해 설명한다.Next, a method of generating a probability distribution model for emotion types of a specific group by the emotion model generator according to an embodiment of the present invention will be described with reference to FIG. 6.

도 6은 본 발명의 실시 예에 따른 특정 감정 유형에 대한 확률 분포 모델을 AV 계수 평면에 도시한 도면이다.FIG. 6 illustrates a probability distribution model for a specific emotion type in an AV coefficient plane according to an embodiment of the present invention.

도 6에 도시된 바와 같이, 감정 모델 생성부(150)는 특정 그룹의 제1 감정 유형에 대응되는 AV 계수들을 AV 계수 평면에 제1 AV 좌표(511)로 표시하고, AV 계수 평면에 표시된 다수의 제1 AV 좌표(511)를 이용하여 제1 감정 유형에 대한 제1 확률 분포 모델(510)을 모델링할 수 있다. 예를 들어, 제1 확률 분포 모델(510)은 '경쾌한'에 대응되는 제1 감정 유형을 모델링한 것에 해당할 수 있다.As shown in FIG. 6, the emotion model generator 150 displays AV coefficients corresponding to the first emotion type of a specific group as first AV coordinates 511 on the AV coefficient plane, and displays a plurality of AV coefficients corresponding to the first coefficient type on the AV coefficient plane. The first probability distribution model 510 for the first emotion type may be modeled using the first AV coordinates 511. For example, the first probability distribution model 510 may correspond to a model of a first emotion type corresponding to 'light'.

여기서, 감정 모델 생성부(150)는 AV 계수 평면에 표시된 다수의 제1 AV 좌표(511)를 확률 밀도 함수(probability density function)로 나타내어 제1 감정 유형에 대한 제1 확률 분포 모델(510)을 생성할 수 있다.Here, the emotion model generator 150 represents a plurality of first AV coordinates 511 displayed on the AV coefficient plane as a probability density function, thereby representing the first probability distribution model 510 for the first emotion type. Can be generated.

이때, 제1 확률 분포 모델(510)은 확률 분포값에 따라 복수 개의 영역으로 구분될 수 있으며, 제1 확률 분포 모델(510)의 중심 영역으로 갈수록 확률 분포값이 높을 수 있다.In this case, the first probability distribution model 510 may be divided into a plurality of regions according to the probability distribution value, and may have a higher probability distribution value toward the center region of the first probability distribution model 510.

또한, 제1 AV 좌표(511)는 AV 계수 평면에서 감정의 긍정 또는 부정의 정도(Valence)를 나타내는 가로축의 값이 -1부터 1까지의 값을 가질 수 있고, 감정의 정도(Arousal)를 나타내는 세로축의 값이 -1부터 1까지의 값을 가질 수 있다.In addition, the first AV coordinates 511 may have a value in the horizontal axis indicating a positive or negative Valence in the AV coefficient plane from -1 to 1, and indicates an emotional level. The value of the vertical axis may have a value from -1 to 1.

감정 모델 생성부(150)는 특정 그룹의 제2 감정 유형에 대응되는 AV 계수들을 AV 계수 평면에 제2 AV 좌표(521)로 표시하고, AV 계수 평면에 표시된 다수의 제2 AV 좌표(521)를 이용하여 제2 감정 유형에 대한 제2 확률 분포 모델(520)을 모델링할 수 있다. 예를 들어, 제2 확률 분포 모델(520)은 '신나는'에 대응되는 제2 감정 유형을 모델링한 것에 해당할 수 있다.The emotion model generator 150 displays the AV coefficients corresponding to the second emotion type of the specific group as the second AV coordinates 521 on the AV coefficient plane, and the plurality of second AV coordinates 521 displayed on the AV coefficient plane. The second probability distribution model 520 for the second emotion type may be modeled using. For example, the second probability distribution model 520 may correspond to a model of a second emotion type corresponding to 'exciting'.

여기서, 감정 모델 생성부(150)는 AV 계수 평면에 표시된 다수의 제2 AV 좌표(521)를 확률 밀도 함수(probability density function)로 나타내어 제2 감정 유형에 대한 제2 확률 분포 모델(520)을 생성할 수 있다.Here, the emotion model generator 150 represents a plurality of second AV coordinates 521 displayed on the AV coefficient plane as a probability density function to generate a second probability distribution model 520 for the second emotion type. Can be generated.

이때, 제2 확률 분포 모델(520)은 확률 분포값에 따라 복수 개의 영역으로 구분될 수 있으며, 제2 확률 분포 모델(520)의 중심 영역으로 갈수록 확률 분포값이 높을 수 있다.In this case, the second probability distribution model 520 may be divided into a plurality of regions according to the probability distribution value, and the probability distribution value may be higher toward the center region of the second probability distribution model 520.

또한, 제2 AV 좌표(521)는 AV 계수 평면에서 감정의 긍정 또는 부정의 정도(Valence)를 나타내는 가로축의 값이 -1부터 1까지의 값을 가질 수 있고, 감정의 정도(Arousal)를 나타내는 세로축의 값이 -1부터 1까지의 값을 가질 수 있다.
In addition, the second AV coordinates 521 may have a value from -1 to 1 on a horizontal axis indicating a degree of emotion positive or negative in the AV coefficient plane, indicating a degree of emotion (Arousal). The value of the vertical axis may have a value from -1 to 1.

다음, 도 7을 참고하여 본 발명의 실시 예에 따른 유사한 감정 유형을 그룹으로 분류한 감정 분류 모델에 대해 설명한다.Next, an emotion classification model in which similar emotion types are classified into groups according to an embodiment of the present invention will be described with reference to FIG. 7.

도 7은 본 발명의 실시 예에 따른 감정 표현 모델을 표로 나타낸 도면이다.7 is a table showing an emotional expression model according to an embodiment of the present invention.

도 7에 도시된 바와 같이, 감정 표현 모델(600)은 유사한 감정 유형들을 동일한 그룹으로 분류하여 생성되는 복수 개의 그룹들을 포함한다. 예를 들어, 감정 표현 모델(600)은 K 개의 그룹들 즉, 제1 그룹(G1), 제2 그룹(G2) 및 제K 그룹(GK)을 포함할 수 있다.As shown in FIG. 7, the emotion expression model 600 includes a plurality of groups generated by classifying similar emotion types into the same group. For example, the emotional expression model 600 may include K groups, that is, the first group G 1 , the second group G 2 , and the K-th group G K.

감정 표현 모델(600)은 그룹별로 복수 개의 감정 유형들을 포함한다. 예를 들어, 제1 그룹(G1)은 제1 감정 유형(A1), 제6 감정 유형(A6) 및 제12 감정 유형(A12)을 포함할 수 있고, 제2 그룹(G2)은 제7 감정 유형(A7), 제14 감정 유형(A14), 제4 감정 유형(A4), 제36 감정 유형(A36) 및 제38 감정 유형(A38)을 포함할 수 있으며, 제K 그룹(GK)은 제23 감정 유형(A23) 및 제N-3 감정 유형(AN-3)을 포함할 수 있다.The emotion expression model 600 includes a plurality of emotion types for each group. For example, the first group G 1 may include a first emotion type A 1 , a sixth emotion type A 6 , and a twelfth emotion type A 12 , and a second group G 2. ) May include a seventh emotion type (A 7 ), a fourteenth emotion type (A 14 ), a fourth emotion type (A 4 ), a 36th emotion type (A 36 ), and a 38th emotion type (A 38 ) The K-th group G K may include a twenty-third emotion type A 23 and an N- th emotion type A N-3 .

감정 표현 모델(600)은 그룹별로 포함된 감정 유형의 검출 횟수를 포함한다. 예를 들어, 제1 그룹(G1)은 제1 감정 유형(A1)이 20번 검출되고, 제6 감정 유형(A6)이 3번 검출되며, 제12 감정 유형(A12)이 14번 검출될 수 있다. 또한, 제2 그룹(G2)은 제7 감정 유형(A7)이 4번 검출되고, 제14 감정 유형(A14)이 12번 검출되고, 제4 감정 유형(A4)이 78번 검출되고, 제36 감정 유형(A36)이 43번 검출되며, 제38 감정 유형(A38)이 12번 검출될 수 있다. 또한, 제K 그룹(GK)은 제23 감정 유형(A23)이 97번 검출되고, 제N-3 감정 유형(AN-3)이 12번 검출될 수 있다.The emotion expression model 600 includes the number of detection of emotion types included in each group. For example, in the first group G 1 , the first emotion type A 1 is detected 20 times, the sixth emotion type A 6 is detected three times, and the twelfth emotion type A 12 is 14. Can be detected once. In addition, the second group G 2 detects the seventh emotion type A 7 four times, detects the fourteenth emotion type A 14 12 times, and detects the fourth emotion type A 4 78 times. The 36th emotion type A 36 may be detected 43 times, and the 38th emotion type A 38 may be detected 12 times. In addition, in the K-th group G K , the 23rd emotion type A 23 may be detected 97 times, and the N-3th emotion type A N-3 may be detected 12 times.

감정 표현 모델(600)은 복수 개의 그룹들에 각각 대응되는 복수 개의 그룹 확률 분포들을 포함한다. 예를 들어, 제1 그룹(G1)은 제1 그룹 확률 분포(pdf(G1))를 가질 수 있고, 제2 그룹(G2)은 제2 그룹 확률 분포(pdf(G2))를 가질 수 있으며, 제K 그룹은 제K 그룹 확률 분포(pdf(GK))를 가질 수 있다.The emotional expression model 600 includes a plurality of group probability distributions respectively corresponding to the plurality of groups. For example, the first group G 1 may have a first group probability distribution pdf (G 1 ), and the second group G 2 may have a second group probability distribution pdf (G 2 ). The K-th group may have a K-th group probability distribution pdf (G K ).

감정 표현 모델(600)은 각 그룹에 포함된 감정 유형 별 확률 분포를 포함한다. 예를 들어, 제1 그룹(G1)의 제1 감정 유형(A1)은 제1 확률 분포(pdf(A1))를 가질 수 있고, 제6 감정 유형(A6)은 제6 확률 분포(pdf(A6))를 가질 수 있으며, 제12 감정 유형(A12)은 제12 확률 분포(pdf(A12))를 가질 수 있다.The emotion expression model 600 includes a probability distribution for each emotion type included in each group. For example, the first emotion type A 1 of the first group G 1 may have a first probability distribution pdf (A 1 ) and the sixth emotion type A 6 may have a sixth probability distribution. (pdf (A 6 )), and the twelfth emotion type A 12 may have a twelfth probability distribution pdf (A 12 ).

또한, 제2 그룹(G2)의 제7 감정 유형(A7)은 제7 확률 분포(pdf(A7))를 가질 수 있고, 제14 감정 유형(A14)은 제14 확률 분포(pdf(A14))를 가질 수 있고, 제4 감정 유형(A4)은 제4 확률 분포(pdf(A4))를 가질 수 있고, 제36 감정 유형(A36)은 제36 확률 분포(pdf(A36))를 가질 수 있으며, 제38 감정 유형(A38)은 제38 확률 분포(pdf(A38))를 가질 수 있다.In addition, the seventh emotion type A 7 of the second group G 2 may have a seventh probability distribution pdf (A 7 ), and the fourteenth emotion type A 14 may have a fourteenth probability distribution (pdf). (A 14 )), the fourth emotion type (A 4 ) may have a fourth probability distribution (pdf (A 4 )), and the 36th emotion type (A 36 ) may have a 36th probability distribution (pdf (A 36 )), and the 38th emotion type (A 38 ) may have a 38th probability distribution (pdf (A 38 )).

또한, 제K 그룹(GK)의 제23 감정 유형(A23)은 제23 확률 분포(pdf(A23))를 가질 수 있으며, 제N-3 감정 유형(AN-3)은 제N-3 확률 분포(pdf(AN-3))를 가질 수 있다.
Further, the 23rd emotion type A 23 of the Kth group G K may have a 23rd probability distribution pdf (A 23 ), and the N-3th emotion type A N-3 may be the Nth -3 probability distribution (pdf (A N-3 )).

다음, 도 8을 참고하여 본 발명의 실시 예에 따른 음악 검색 방법에 대해 설명한다.Next, a music search method according to an embodiment of the present invention will be described with reference to FIG. 8.

도 8은 본 발명의 실시 예에 따른 음악 검색 방법을 도시한 도면이다.8 is a diagram illustrating a music search method according to an embodiment of the present invention.

도 8에 도시된 바와 같이, 먼저, 사용자 인터페이스(110)는 사용자로부터 감정 유형을 식별하기 위한 식별 정보와 함께 음악 검색 요청을 수신한다(S200). 여기서, 사용자는 특정 감정 유형에 대응되는 음악을 제공받기 위해 AV 계수 평면에서 AV 좌표를 지정하거나, 미리 주어진 예제 그림들에서 하나 이상을 선택하여 식별 정보를 입력할 수 있다.As shown in FIG. 8, first, the user interface 110 receives a music search request together with identification information for identifying an emotion type from a user (S200). Here, the user may designate AV coordinates in the AV coefficient plane in order to receive music corresponding to a specific emotion type, or input identification information by selecting one or more from preliminary example pictures.

다음, 음악 검색부(130)는 수신된 식별 정보에 대응되는 감정 유형을 식별한다(S210). 여기서, 음악 검색부(130)는 식별 정보로 AV 좌표가 입력되면 해당 AV 계수 평면에서 미리 정해진 영역별 감정 유형에 따라 해당 AV 좌표에 대응되는 감정 유형을 식별할 수 있고, 특정 예제 그림이 선택되면 선택된 예제 그림에 따라 미리 정해진 감정 유형을 식별할 수 있다.Next, the music search unit 130 identifies the emotion type corresponding to the received identification information (S210). Here, when the AV coordinates are input as identification information, the music search unit 130 may identify the emotion type corresponding to the AV coordinates according to a predetermined emotion type for each region in the AV coefficient plane. You can identify a predetermined emotion type according to the selected example picture.

이후, 음악 검색부(130)는 감정 모델 생성부(150)에 저장된 감정 분류 모델에서 식별된 감정 유형을 포함하는 그룹을 식별하여 식별된 그룹의 확률 분포에 따라 검색하고자 하는 음악의 AV 계수를 지정하기 위한 AV 계수 범위를 검출한다(S220).Thereafter, the music search unit 130 identifies a group including an emotion type identified in the emotion classification model stored in the emotion model generation unit 150 and designates an AV coefficient of music to be searched according to the probability distribution of the identified group. The AV coefficient range for detection is detected (S220).

다음, 음악 검색부(130)는 음악 데이터베이스(170)에 저장된 음악들 각각의 AV 계수를 이용하여 검출된 AV 계수 범위에 대응되는 음악을 검색한다(S230).Next, the music search unit 130 searches for music corresponding to the detected AV coefficient range by using AV coefficients of the music stored in the music database 170 (S230).

이후, 음악 검색부(130)는 검색된 음악에 대한 음악 리스트를 생성한다(S240).Thereafter, the music search unit 130 generates a music list for the found music (S240).

다음, 사용자 인터페이스(110)는 생성된 음악 리스트를 사용자에게 제공한다(S250).
Next, the user interface 110 provides the generated music list to the user (S250).

다음, 도 9 내지 도 11을 참고하여 본 발명의 실시 예에 따른 사용자가 사용자 인터페이스에서 제공하는 예제 그림을 통해 식별 정보를 입력하는 방법에 대해 설명한다.Next, a method of inputting identification information through an example picture provided by a user interface according to an embodiment of the present invention will be described with reference to FIGS. 9 through 11.

도 9는 본 발명의 실시 예에 따른 사용자 인터페이스에서 제공하는 예제 그림을 도시한 도면이다.9 is a diagram illustrating an example picture provided by a user interface according to an exemplary embodiment of the present invention.

도 9에 도시된 바와 같이, 사용자 인터페이스(110)는 서로 다른 감정 유형에 대응되는 예제 그림들을 포함하는 시각적 인터페이스(700)를 사용자에게 제공할 수 있다.As shown in FIG. 9, the user interface 110 may provide a user with a visual interface 700 including example pictures corresponding to different emotion types.

즉, 사용자는 시각적 인터페이스(700)를 통해 예제 그림들 중 하나 이상을 선택함으로써 특정 감정 유형에 대응되는 음악의 검색을 요청할 수 있다.That is, the user may request a search for music corresponding to a specific emotion type by selecting one or more of the example pictures through the visual interface 700.

도 10은 본 발명의 제1 실시 예에 따른 예제 그림의 입력을 도시한 도면이다.10 is a diagram illustrating an input of an example picture according to the first embodiment of the present invention.

도 10에 도시된 바와 같이, 사용자는 터치 스크린(800)에 직접 예제 그림(810)을 그려 감정 유형을 식별하기 위한 식별 정보를 입력할 수 있다. 예를 들어, 예제 그림(810)은 '사랑스러운'과 같은 감정 유형에 대응될 수 있다.As shown in FIG. 10, a user may draw an example picture 810 directly on the touch screen 800 and input identification information for identifying an emotion type. For example, the example picture 810 may correspond to an emotion type such as 'lovely'.

여기서, 사용자 인터페이스(110)는 예제 그림(810)의 크기에 따라 감정의 정도(Arousal)를 판단할 수 있다.Here, the user interface 110 may determine the degree of emotion based on the size of the example picture 810.

도 11은 본 발명의 제2 실시 예에 따른 예제 그림의 입력을 도시한 도면이다.11 is a diagram illustrating an input of an example picture according to a second embodiment of the present invention.

도 11에 도시된 바와 같이, 사용자는 터치 스크린(900)에 복수 개의 예제 그림들(910, 920)을 그려 감정 유형을 식별하기 위한 식별 정보를 입력할 수 있다. 예를 들어, 제1 예제 그림(910)은 '인기곡'에 대응될 수 있고, 제2 예제 그림(920)은 '사랑스러운'과 같은 감정 유형에 대응될 수 있다.As illustrated in FIG. 11, a user may input identification information for identifying an emotion type by drawing a plurality of example pictures 910 and 920 on the touch screen 900. For example, the first example figure 910 may correspond to a 'popular song', and the second example figure 920 may correspond to an emotion type such as 'lovely'.

여기서, 사용자는 예제 그림을 변경할 수 있고, 변경시에는 기존 감정 표현을 유지하거나 사용자가 입력을 통해 추가 또는 변경할 수 있다.
Here, the user can change the example picture, and when the change is made, the user can keep the existing emotional expression or the user can add or change the input.

이상에서와 같이 도면과 명세서에서 최적의 실시 예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, an optimal embodiment has been disclosed in the drawings and specification. Although specific terms have been used herein, they are used only for the purpose of describing the present invention and are not used to limit the scope of the present invention as defined in the meaning or claims. Therefore, those skilled in the art will understand that various modifications and equivalent other embodiments are possible therefrom. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

100: 음악 검색 장치
110: 사용자 인터페이스
130: 음악 검색부
150: 감정 모델 생성부
170: 음악 데이터베이스
200: 분포 행렬
300: AV 계수 평면
400: 확률 분포 모델
410: AV 좌표
510: 제1 확률 분포 모델
511: 제1 AV 좌표
520: 제2 확률 분포 모델
521: 제2 AV 좌표
600: 감정 표현 모델
700: 시각적 인터페이스
800, 900: 터치 스크린
810: 예제 그림
910: 제1 예제 그림
920: 제2 예제 그림100: music search device
110: user interface
130: music search unit
150: emotion model generator
170: music database
200: distribution matrix
300: AV coefficient plane
400: probability distribution model
410: AV coordinates
510: First probability distribution model
511: first AV coordinate
520: second probability distribution model
521: second AV coordinates
600: emotional expression model
700: visual interface
800, 900: touch screen
810: Example Picture
910: first example figure
920: second example figure

Claims (12)

다수의 음악들에 대한 음원 데이터와, 각 음악의 AV 계수를 저장하는 음악 데이터베이스;
서로 다른 감정 유형들을 복수 개의 그룹들로 분류하고, AV 계수 평면에 대한 상기 복수 개의 그룹들 각각의 확률 분포를 이용하여 감정 분류 모델을 생성하는 감정 모델 생성부; 및
음악 검색 요청이 수신되면 사용자로부터 입력된 정보를 이용하여 감정 유형을 식별하고, 상기 감정 분류 모델을 이용하여 식별된 감정 유형에 대응되는 AV 계수를 지정하기 위한 AV 계수 범위를 검출하며, 상기 음악 데이터베이스에서 상기 AV 계수 범위에 대응되는 음악을 검색하는 음악 검색부를 포함하는 감정 모델을 이용한 음악 검색 장치.A music database for storing sound source data for a plurality of music and AV coefficients of each music;
An emotion model generator for classifying different emotion types into a plurality of groups and generating an emotion classification model using a probability distribution of each of the plurality of groups with respect to an AV coefficient plane; And
When a music search request is received, an emotion type is identified using information input from a user, an AV coefficient range for designating an AV coefficient corresponding to the identified emotion type is detected using the emotion classification model, and the music database And a music searcher for searching for music corresponding to the AV coefficient range. 청구항 1에 있어서,
상기 감정 모델 생성부는
상기 서로 다른 감정 유형들간의 유사도를 이용하여 상기 서로 다른 감정 유형들을 상기 복수 개의 그룹들로 분류하는 감정 모델을 이용한 음악 검색 장치.The method according to claim 1,
The emotion model generator
And a emotion model for classifying the different emotion types into the plurality of groups using similarity between the different emotion types. 청구항 2에 있어서,
상기 감정 모델 생성부는
상기 서로 다른 감정 유형들에 각각 대응되는 복수 개의 칼럼 벡터들간의 유사도를 산출하여 산출된 유사도에 따라 상기 서로 다른 감정 유형들을 상기 복수 개의 그룹들로 분류하는 감정 모델을 이용한 음악 검색 장치.The method according to claim 2,
The emotion model generator
And a emotion model for classifying the different emotion types into the plurality of groups according to the similarity calculated by calculating similarity between a plurality of column vectors respectively corresponding to the different emotion types. 청구항 1에 있어서,
상기 감정 모델 생성부는
상기 서로 다른 감정 유형들 각각의 AV 계수를 이용하여 상기 복수 개의 그룹들 각각의 확률 분포를 산출하는 감정 모델을 이용한 음악 검색 장치.The method according to claim 1,
The emotion model generator
A music search apparatus using an emotion model for calculating a probability distribution of each of the plurality of groups by using the AV coefficient of each of the different emotion types. 청구항 4에 있어서,
상기 감정 모델 생성부는
상기 AV 계수 평면에 대한 상기 서로 다른 감정 유형들 각각의 확률 분포를 이용하여 상기 복수 개의 그룹들 각각의 확률 분포를 산출하는 감정 모델을 이용한 음악 검색 장치.The method of claim 4,
The emotion model generator
And a probability model of each of the plurality of groups using a probability distribution of each of the different emotion types with respect to the AV coefficient plane. 청구항 1에 있어서,
상기 음악 데이터베이스는
회귀 분석을 통해 상기 각 음악의 AV 계수를 산출하는 감정 모델을 이용한 음악 검색 장치.The method according to claim 1,
The music database is
A music retrieval apparatus using an emotion model for calculating the AV coefficient of each of the music through the regression analysis. 청구항 1에 있어서,
상기 음악 검색부는
검색된 음악에 대한 음악 리스트를 생성하는 감정 모델을 이용한 음악 검색 장치.The method according to claim 1,
The music search unit
A music retrieval apparatus using an emotion model for generating a music list for the retrieved music. 음악 검색 요청에 따라 수신된 식별 정보에 대응되는 감정 유형을 식별하는 단계;
식별된 감정 유형을 포함하는 그룹을 감정 분류 모델에서 식별하는 단계;
식별된 그룹의 확률 분포에 따라 검색하고자 하는 음악의 AV 계수를 지정하기 위한 AV 계수 범위를 검출하는 단계;
데이터베이스에 저장된 음악들 각각의 AV 계수를 이용하여 상기 AV 계수 범위에 대응되는 음악을 검색하는 단계; 및
검색된 음악에 대한 음악 리스트를 생성하는 단계를 포함하는 감정 모델을 이용한 음악 검색 방법.Identifying an emotion type corresponding to the received identification information according to the music search request;
Identifying in the emotion classification model a group comprising the identified emotion type;
Detecting an AV coefficient range for designating an AV coefficient of music to be searched according to the probability distribution of the identified group;
Retrieving music corresponding to the AV coefficient range using AV coefficients of each of music stored in a database; And
Music search method using the emotion model comprising the step of generating a music list for the found music. 청구항 8에 있어서,
상기 감정 분류 모델에서 식별하는 단계는
상기 식별된 감정 유형을 포함하는 그룹을 서로 다른 감정 유형들간의 유사도에 따라 상기 서로 다른 감정 유형들을 복수 개의 그룹들로 분류한 상기 감정 분류 모델에서 식별하는 감정 모델을 이용한 음악 검색 방법.The method according to claim 8,
Identifying in the emotion classification model is
And a group including the identified emotion type in the emotion classification model classifying the different emotion types into a plurality of groups according to similarities between different emotion types. 청구항 9에 있어서,
상기 감정 분류 모델은
상기 서로 다른 감정 유형들에 각각 대응되는 복수 개의 칼럼 벡터들간의 유사도에 따라 상기 서로 다른 감정 유형들을 복수 개의 그룹들로 분류하여 생성되는 감정 모델을 이용한 음악 검색 방법.The method according to claim 9,
The emotion classification model
The music search method using the emotion model is generated by classifying the different emotion types into a plurality of groups according to the similarity between the plurality of column vectors respectively corresponding to the different emotion types. 청구항 8에 있어서,
상기 감정 유형을 식별하는 단계는
AV 좌표를 포함하는 상기 식별 정보에 대응되는 감정 유형을 식별하는 감정 모델을 이용한 음악 검색 방법.The method according to claim 8,
Identifying the emotion type
A music search method using an emotion model for identifying an emotion type corresponding to the identification information including AV coordinates. 청구항 8에 있어서,
상기 감정 유형을 식별하는 단계는
미리 정해진 예제 그림을 포함하는 상기 식별 정보에 대응되는 감정 유형을 식별하는 감정 모델을 이용한 음악 검색 방법.The method according to claim 8,
Identifying the emotion type
A music search method using an emotion model for identifying an emotion type corresponding to the identification information including a predetermined example picture.
KR1020110053785A 2010-08-31 2011-06-03 Apparatus and method for music search using emotion model KR101593961B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/220,838 US8489606B2 (en) 2010-08-31 2011-08-30 Music search apparatus and method using emotion model

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020100084965 2010-08-31
KR20100084965 2010-08-31

Publications (2)

Publication Number Publication Date
KR20120021174A true KR20120021174A (en) 2012-03-08
KR101593961B1 KR101593961B1 (en) 2016-02-15

Family

ID=46129610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110053785A KR101593961B1 (en) 2010-08-31 2011-06-03 Apparatus and method for music search using emotion model

Country Status (1)

Country Link
KR (1) KR101593961B1 (en)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015125983A1 (en) * 2014-02-18 2015-08-27 한양대학교 에리카산학협력단 Mood-based music service system and method
US9183840B2 (en) 2012-07-11 2015-11-10 Electronics And Telecommunications Research Institute Apparatus and method for measuring quality of audio
WO2017131272A1 (en) * 2016-01-29 2017-08-03 (주)지앤씨인터렉티브 Musical emotion analysis system and emotion analysis method using same
US9990413B2 (en) 2014-12-09 2018-06-05 Hyundai Motor Company Method and device for generating music playlist
CN108648767A (en) * 2018-04-08 2018-10-12 中国传媒大学 A kind of popular song emotion is comprehensive and sorting technique

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101170208B1 (en) * 2008-08-26 2012-07-31 금오공과대학교 산학협력단 System and method for music recommendation

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9183840B2 (en) 2012-07-11 2015-11-10 Electronics And Telecommunications Research Institute Apparatus and method for measuring quality of audio
WO2015125983A1 (en) * 2014-02-18 2015-08-27 한양대학교 에리카산학협력단 Mood-based music service system and method
US9990413B2 (en) 2014-12-09 2018-06-05 Hyundai Motor Company Method and device for generating music playlist
WO2017131272A1 (en) * 2016-01-29 2017-08-03 (주)지앤씨인터렉티브 Musical emotion analysis system and emotion analysis method using same
CN108648767A (en) * 2018-04-08 2018-10-12 中国传媒大学 A kind of popular song emotion is comprehensive and sorting technique
CN108648767B (en) * 2018-04-08 2021-11-05 中国传媒大学 Popular song emotion synthesis and classification method

Also Published As

Publication number Publication date
KR101593961B1 (en) 2016-02-15

Similar Documents

Publication Publication Date Title
US8489606B2 (en) Music search apparatus and method using emotion model
US11461388B2 (en) Generating a playlist
Cheng et al. On effective location-aware music recommendation
US8170702B2 (en) Method for classifying audio data
US8321456B2 (en) Generating metadata for association with a collection of content items
US7805389B2 (en) Information processing apparatus and method, program and recording medium
US9317568B2 (en) Popularity of content items
US9576050B1 (en) Generating a playlist based on input acoustic information
EP1895505A1 (en) Method and device for musical mood detection
KR101637282B1 (en) Method and device for generating music playlist
TWI396105B (en) Digital data processing method for personalized information retrieval and computer readable storage medium and information retrieval system thereof
KR20130059237A (en) Method and appratus for searching recommended music using emotional information of music
CN109920409B (en) Sound retrieval method, device, system and storage medium
KR20090033750A (en) Method and apparatus for recommending playlist of contents
Wang et al. Towards time-varying music auto-tagging based on cal500 expansion
KR20120021174A (en) Apparatus and method for music search using emotion model
Benetos et al. Characterisation of acoustic scenes using a temporally-constrained shift-invariant model
Hyung et al. Utilizing context-relevant keywords extracted from a large collection of user-generated documents for music discovery
Yang et al. Mr. Emo: Music retrieval in the emotion plane
Gurjar et al. Comparative Analysis of Music Similarity Measures in Music Information Retrieval Systems.
JP5344756B2 (en) Information processing apparatus, information processing method, and program
CN109802987B (en) Content push method for display device, push device and display equipment
Lee et al. Smoodi: Mood-based music recommendation player
US10489450B1 (en) Selecting soundtracks
KR101520572B1 (en) Method and apparatus for multiple meaning classification related music

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190125

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20200128

Year of fee payment: 5