KR20190073045A - Apparatus for recommending music, method thereof and computer recordable medium storing program to perform the method - Google Patents

Apparatus for recommending music, method thereof and computer recordable medium storing program to perform the method Download PDF

Info

Publication number
KR20190073045A
KR20190073045A KR1020170174309A KR20170174309A KR20190073045A KR 20190073045 A KR20190073045 A KR 20190073045A KR 1020170174309 A KR1020170174309 A KR 1020170174309A KR 20170174309 A KR20170174309 A KR 20170174309A KR 20190073045 A KR20190073045 A KR 20190073045A
Authority
KR
South Korea
Prior art keywords
user
music
emotion
data
situation
Prior art date
Application number
KR1020170174309A
Other languages
Korean (ko)
Other versions
KR102083466B1 (en
Inventor
정우주
Original Assignee
정우주
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정우주 filed Critical 정우주
Priority to KR1020170174309A priority Critical patent/KR102083466B1/en
Publication of KR20190073045A publication Critical patent/KR20190073045A/en
Application granted granted Critical
Publication of KR102083466B1 publication Critical patent/KR102083466B1/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63Querying
    • G06F16/635Filtering based on additional data, e.g. user or group profiles
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

The present invention relates to an apparatus for recommending music, a method thereof, and a computer-readable record medium recorded with a program performing the method. Provided in the present invention are an apparatus for recommending music comprising: a storage module to store a music preference profile; a communications module communicating with a user device to receive user data from the user device; a sensitivity derivation unit deriving from the user data music sensitivity which is sensitivity expressed by the music being played at the user device; a circumstance derivation unit deriving a user circumstance which is a circumstance experienced by a user at a point when the music is being listened; an emotion derivation unit deriving a user emotion which is an emotion felt by the user from the user data at a point when the music is being listened; and a profile generation unit generating the music preference profile by inter-mapping the music sensitivity, user circumstance, and user emotion in a three-dimensional graph. The present invention also provides a method of for recommending music, and a computer-readable record medium recorded with a program to perform the method.

Description

음악을 추천하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체{Apparatus for recommending music, method thereof and computer recordable medium storing program to perform the method} BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a device for recommending music, a method therefor, and a computer-readable storage medium storing a program for performing the method.

본 발명은 음악 추천 기술에 관한 것으로, 보다 상세하게는, 음악 감성, 사용자 감정 및 사용자 상황을 고려하여 음악을 추천하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체에 관한 것이다. The present invention relates to music recommendation technology, and more particularly, to a device for recommending music in consideration of music emotion, user emotion, and user situation, a method therefor, and a computer readable recording medium storing a program Media.

대표적인 예로, 스마트 폰(Smart Phone)과 같은 스마트 엔드 휴대 기기가 대중화됨에 따라 사용자는 수많은 디지털 미디어에 대한 접근이 용이해졌고, 이에 따라 효과적인 정보 검색 및 추천 방식의 필요성이 증가하고 있다. 특히, 음악을 추천하는데 있어서 해당 사용자에게 적합한 음악을 추천할 수 있는 방식에 대한 요구가 증가하고 있다. As a representative example, the popularity of smart-end portable devices such as Smart Phones has made it easier for users to access a large number of digital media, thereby increasing the need for effective information retrieval and recommendation methods. In particular, there is a growing demand for a method for recommending music suitable for a user in recommending music.

한국공개특허 제2014-0111152호 2014년 09월 18일 공개 (명칭: 음악추천 시스템 및 방법)Korea Publication No. 2014-0111152 Published on September 18, 2014 (Name: Music recommendation system and method)

본 발명의 목적은 사용자 감정 및 사용자 상황을 고려하여 음악을 추천하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공함에 있다. An object of the present invention is to provide an apparatus for recommending music in consideration of user's emotions and user's situation, a method therefor, and a computer-readable recording medium on which a program for performing the method is recorded.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 음악을 추천하기 위한 장치는 음악 선호 프로파일을 저장하기 위한 저장모듈과, 사용자장치와 통신하여 상기 사용자장치로부터 사용자 데이터를 수신하는 통신모듈과, 상기 사용자 데이터로부터 상기 사용자장치에서 재생되는 음악이 표현하는 감성인 음악 감성을 도출하는 감성도출부와, 상기 음악을 청취하는 시점에 사용자가 겪고 있는 상황인 사용자 상황을 도출하는 상황도출부와, 상기 사용자 데이터로부터 상기 음악을 청취하는 시점에 사용자가 느끼는 감정인 사용자 감정을 도출하는 감정도출부와, 상기 음악 감성, 상기 사용자 상황 및 상기 사용자 감정을 3차원 그래프에 상호 매핑하여 상기 음악 선호 프로파일을 생성하는 프로파일생성부를 포함한다. According to another aspect of the present invention, there is provided an apparatus for recommending music comprising a storage module for storing a music preference profile, a communication module for communicating with the user device and receiving user data from the user device, And a user interface unit for inputting a user's preference to the user apparatus based on the user's preference. The user's preference information may include a user's preference, An emotion derivation unit for deriving emotional user emotions felt by the user at the time of listening to the music from the user data, and a music preference profile mapping unit for mapping the music emotion, the user situation, And a profile generating unit.

상기 통신모듈을 통해 상기 사용자장치로부터 상기 사용자장치로부터 음악 추천 요청 시점의 사용자 데이터를 수신하고, 상기 수신된 사용자 데이터를 이용하여 상기 상황도출부를 통해 상기 음악 추천 요청 시점에 사용자가 겪고 있는 상황인 사용자 상황을 도출하며, 상기 감정도출부를 통해 상기 음악 추천 요청 시점에 사용자가 느끼는 감정인 사용자 감정을 도출하고, 상기 선호 음악 프로파일의 3차원 그래프 상에서 상기 도출된 사용자 상황 및 사용자 감정에 대응하는 음악 감성을 도출하여, 도출된 음악 감성과 유사도가 소정 범위 이내인 적어도 하나의 음악을 추천 음악으로 선정하는 음악추천부를 더 포함한다. And a controller for receiving user data at the time of requesting a music recommendation from the user apparatus through the communication module and transmitting the music recommendation message to a user who is in a situation that the user is experiencing at the time of requesting the music recommendation through the situation deriving unit, Deriving a feeling of a user who is feeling at the time of requesting the music recommendation through the emotion derivation unit and deriving musical emotion corresponding to the derived user situation and user emotion on the three dimensional graph of the preferred music profile And a music recommendation unit that selects at least one music having similarity and similarity within a predetermined range as the recommended music.

상기 사용자 데이터는 상기 음악의 조음, 조성 및 템포 중 적어도 하나를 포함하는 음악 감성 데이터를 포함하며, 상기 감성도출부는 상기 음악 감성 데이터로부터 감성의 세기를 표현하는 흥분도(Arousal) 및 긍정과 부정의 정도를 나타내는 유의성(Valence)을 정규화된 수치로 도출하고, 상기 흥분도 및 상기 유의성 각각의 수치에 따라 상기 음악 감성을 결정하는 것을 특징으로 한다. Wherein the user data includes music emotion data including at least one of articulation, composition, and tempo of the music, and the emotion derivation unit includes an emotion generating unit for generating emotion based on excitation (Arousal) expressing emotion intensity from the music emotion data, The degree of the emotion is determined as a normalized value, and the sensibility of the music is determined according to the respective values of the excitement and the significance.

상기 사용자 데이터는 상기 사용자장치의 위치 정보, 상기 사용자장치의 관성 정보 및 상기 사용자장치의 위치의 날씨 정보 및 시간 정보 중 적어도 하나를 포함하는 사용자 환경 데이터를 포함하며, 상기 상황도출부는 상기 사용자 환경 데이터를 기초로 상기 사용자 상황을 도출하는 것을 특징으로 한다. Wherein the user data includes user environment data including at least one of location information of the user device, inertia information of the user device, weather information of the location of the user device, and time information, And derives the user status based on the user status.

상기 사용자 데이터는 사용자의 생체 신호 정보 및 사용자의 기기 조작 정보 중 적어도 하나를 포함하는 사용자 감정 데이터를 포함하며, 상기 감정도출부는 상기 사용자 감정 데이터를 기초로 상기 사용자 감정을 도출하는 것을 특징으로 한다. Wherein the user data includes user emotion data including at least one of user's bio-signal information and user's device operation information, and the emotion derivation unit derives the user emotion based on the user emotion data.

상술한 바와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 추천서버의 음악을 추천하기 위한 방법은 사용자장치로부터 사용자 데이터를 수신하는 단계와, 상기 사용자 데이터로부터 상기 사용자장치에서 재생되는 음악이 표현하는 감성인 음악 감성을 도출하는 단계와, 상기 음악을 청취하는 시점에 사용자가 겪고 있는 상황인 사용자 상황을 도출하는 단계와, 상기 사용자 데이터로부터 상기 음악을 청취하는 시점에 사용자가 느끼는 감정인 사용자 감정을 도출하는 단계와, 상기 음악 감성, 상기 사용자 상황 및 상기 사용자 감정을 3차원 그래프에 상호 매핑하여 상기 음악 선호 프로파일을 생성하는 단계를 포함한다. According to another aspect of the present invention, there is provided a method of recommending music in a recommendation server, the method comprising: receiving user data from a user device; The method comprising the steps of: deriving musical emotions as emotions to be expressed; deriving a user situation as a user is experiencing at the time of listening to the music; And generating the music preference profile by mapping the music emotion, the user situation, and the user emotion to a three-dimensional graph.

또한, 상기 음악을 추천하기 위한 방법은 상기 사용자장치로부터 음악 추천 요청을 수신하는 단계와, 상기 음악 추천 요청 시점의 사용자 데이터를 수신하는 단계와, 상기 수신된 사용자 데이터를 이용하여 상기 음악 추천 요청 시점에 사용자가 겪고 있는 상황인 사용자 상황 및 상기 음악 추천 요청 시점에 사용자가 느끼는 감정인 사용자 감정을 도출하는 단계와, 상기 선호 음악 프로파일의 3차원 그래프 상에서 상기 도출된 사용자 상황 및 사용자 감정에 대응하는 음악 감성을 도출하는 단계와, 상기 도출된 음악 감성과 유사도가 소정 범위 이내인 적어도 하나의 음악을 추천 음악으로 선정하는 단계와, 상기 선정된 추천 음악을 상기 사용자장치로 전송하는 단계를 더 포함한다. The method of recommending music may further include receiving a music recommendation request from the user device, receiving user data at the time of requesting the music recommendation, A step of deriving an emotional user emotion felt by the user at the time of requesting the music recommendation and a user situation which is a situation that the user is experiencing at the time of the music recommendation; Selecting at least one piece of music having similarity to the derived music sensibility within a predetermined range as recommended music, and transmitting the selected recommended music to the user device.

또한, 상술한 바와 같은 목적을 달성하기 위한 본 발명의 다른 견지에 따르면, 전술한 본 발명의 바람직한 실시예에 따른 음악을 추천하기 위한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체를 제공한다. According to another aspect of the present invention, there is provided a computer-readable recording medium having recorded thereon a program for performing a method for recommending music according to a preferred embodiment of the present invention .

상술한 바와 같은 본 발명에 따르면, 사용자가 겪고 있는 상황, 사용자 느끼고 있는 감정에 적합한 음악 감성을 가지는 음악을 추천할 수 있다. 이에 따라, 사용자에게 새로운 사용자 경험(UX: User eXperience)을 제공할 수 있다. According to the present invention as described above, it is possible to recommend music having a music sensibility suitable for a situation experienced by a user and an emotion felt by a user. Accordingly, a new user experience (UX: User experience) can be provided to the user.

도 1은 본 발명의 실시예에 따른 음악을 추천하기 위한 시스템을 설명하기 위한 도면이다.
도 2는 본 발명의 실시예에 따른 선호 음악 프로파일을 구축하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 선호 음악 프로파일로부터 추천 음악을 도출하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 음악을 추천하기 위한 평가서버의 구성을 설명하기 위한 블록도이다.
도 5는 본 발명의 실시예에 따른 음악을 추천하기 위한 사용자장치의 구성을 설명하기 위한 블록도이다.
도 6은 본 발명의 실시예에 따른 선호 음악 프로파일을 생성하는 방법을 설명하기 위한 흐름도이다.
도 7은 본 발명의 실시예에 따른 음악을 추천하기 위한 방법을 설명하기 위한 흐름도이다.
1 is a diagram for explaining a system for recommending music according to an embodiment of the present invention.
FIG. 2 is a diagram for explaining a method of constructing a preferred music profile according to an embodiment of the present invention.
3 is a diagram for explaining a method for deriving a recommended music from a preferred music profile according to an embodiment of the present invention.
4 is a block diagram for explaining a configuration of an evaluation server for recommending music according to an embodiment of the present invention.
5 is a block diagram illustrating a configuration of a user apparatus for recommending music according to an embodiment of the present invention.
6 is a flowchart illustrating a method of generating a preferred music profile according to an exemplary embodiment of the present invention.
7 is a flowchart illustrating a method for recommending music according to an embodiment of the present invention.

본 발명의 상세한 설명에 앞서, 이하에서 설명되는 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념으로 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시예에 불과할 뿐, 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. Prior to the detailed description of the present invention, the terms or words used in the present specification and claims should not be construed as limited to ordinary or preliminary meaning, and the inventor may designate his own invention in the best way It should be construed in accordance with the technical idea of the present invention based on the principle that it can be appropriately defined as a concept of a term to describe it. Therefore, the embodiments described in the present specification and the configurations shown in the drawings are merely the most preferred embodiments of the present invention, and are not intended to represent all of the technical ideas of the present invention. Therefore, various equivalents It should be understood that water and variations may be present.

이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다. 이때, 첨부된 도면에서 동일한 구성 요소는 가능한 동일한 부호로 나타내고 있음을 유의해야 한다. 또한, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략할 것이다. 마찬가지의 이유로 첨부 도면에 있어서 일부 구성요소는 과장되거나 생략되거나 또는 개략적으로 도시되었으며, 각 구성요소의 크기는 실제 크기를 전적으로 반영하는 것이 아니다. Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings. Note that, in the drawings, the same components are denoted by the same reference symbols as possible. Further, the detailed description of known functions and configurations that may obscure the gist of the present invention will be omitted. For the same reason, some of the elements in the accompanying drawings are exaggerated, omitted, or schematically shown, and the size of each element does not entirely reflect the actual size.

먼저, 본 발명의 실시예에 따른 음악을 추천하기 위한 시스템에 대해서 설명하기로 한다. 도 1은 본 발명의 실시예에 따른 음악을 추천하기 위한 시스템을 설명하기 위한 도면이다. 도 2는 본 발명의 실시예에 따른 선호 음악 프로파일을 구축하는 방법을 설명하기 위한 도면이다. 도 3은 본 발명의 실시예에 따른 선호 음악 프로파일로부터 추천 음악을 도출하는 방법을 설명하기 위한 도면이다. First, a system for recommending music according to an embodiment of the present invention will be described. 1 is a diagram for explaining a system for recommending music according to an embodiment of the present invention. FIG. 2 is a diagram for explaining a method of constructing a preferred music profile according to an embodiment of the present invention. 3 is a diagram for explaining a method for deriving a recommended music from a preferred music profile according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 실시예에 따른 음악 추천 시스템은 추천서버(100) 및 사용자장치(200)를 포함한다. 추천서버(100)는 사용자장치(200)의 사용자에게 음악을 추천하는 서비스를 제공한다. 이러한 서비스를 제공하기 위하여 추천서버(100)는 웹 서버, 애플리케이션 서버 및 데이터베이스 서버의 기능을 포함한다. 추천서버(100)는 상술한 기능을 물리적으로 하나 장치 혹은 2 이상의 장치를 통해 구현될 수 있다. Referring to FIG. 1, a music recommendation system according to an embodiment of the present invention includes a recommendation server 100 and a user device 200. The recommendation server 100 provides a service for recommending music to the user of the user device 200. [ In order to provide such a service, the recommendation server 100 includes functions of a web server, an application server, and a database server. The recommendation server 100 may be realized by physically combining the above functions with one apparatus or two or more apparatuses.

사용자장치(200)는 사용자가 사용하는 장치이며, 사용자의 요청에 따라 추천서버(100)로부터 음악을 추천 받고, 추천 받은 음악을 재생한다. 사용자장치(200)는 핸드-헬드(hand-held) 기기이거나, 웨어러블(wearable) 기기가 될 수 있다. 대표적으로, 핸드-헬드 기기는 스마트폰을 예시할 수 있다. 웨어러블 기기는 스마트와치를 대표적으로 예시할 수 있다. 음악을 추천 받기 위하여 사용자장치(200)는 사용자 데이터를 추천서버(100)에 제공할 수 있다. 이를 위하여, 한 명의 사용자는 하나 또는 2 이상의 사용자장치(200)를 사용할 수 있다. 예컨대, 한 명의 사용자가 스마트폰 하나만을 이용하거나, 한 명의 사용자가 스마트폰 및 스마트와치를 모두 사용할 수 있다. The user device 200 is a device used by a user. The user device 200 is recommended by the recommendation server 100 according to a user's request, and plays the recommended music. The user device 200 may be a hand-held device or a wearable device. Typically, a hand-held device may illustrate a smartphone. A wearable device can exemplarily represent a SmartWatch. The user device 200 may provide the recommendation server 100 with user data in order to receive the music recommendation. To this end, one user may use one or more user devices 200. For example, a single user may use only one smartphone, or one user may use both a smartphone and a smart watch.

도 2를 참조하면, 음악을 추천하기 위한 준비 과정으로 추천서버(100)는 사용자의 경험으로부터 사용자가 선호하는 음악을 프로파일링한 음악 선호 프로파일을 생성한다. 예컨대, 사용자는 슬픈 감정이 있을 때, 운동을 하며, 쾌활한 음악을 청취하는 것을 선호할 수 있다. 혹은, 사용자가 출퇴근 중일 때, 우울한 감정을 가지고 있는 상황에서 잔잔한 음악을 듣는 것을 선호할 수 있다. 따라서 추천서버(100)는 사용자 상황, 사용자 감정 및 음악 감성을 상호 매핑하여 음악 선호 프로파일을 생성한다. 여기서, 음악 감성은 음악이 표현하는 감성을 의미한다. 사용자 감정은 사용자가 느끼는 감정을 의미한다. 또한, 사용자 상황은 사용자가 겪고 있는 상황을 나타낸다. Referring to FIG. 2, as a preparation process for recommending music, the recommendation server 100 generates a music preference profile that profiles a user's favorite music from a user's experience. For example, the user may prefer to exercise and to listen to cheerful music when there is sad feelings. Alternatively, when the user is in commute, he or she may prefer to listen to calm music in situations with depressed feelings. Therefore, the recommendation server 100 generates a music preference profile by mapping the user's situation, the user's emotion, and the musical sensibility to each other. Here, music sensibility means emotion expressed by music. User emotion means emotion that the user feels. Also, the user situation indicates a situation that the user is experiencing.

음악 선호 프로파일을 생성하기 위하여 추천서버(100)는 사용자가 사용자장치(200)를 통해 음악을 청취할 때마다 사용자장치(200)가 수집한 복수의 사용자 데이터를 수신하고, 수신된 사용자 데이터로부터 음악 감성, 사용자 상황 및 사용자 감정을 도출한다. 여기서, 사용자 데이터는 사용자의 사용자장치(200)로부터 수집할 수 있는 각 종 데이터를 의미한다. 사용자 데이터는 해당 음악의 선호도를 도출하기 위한 원곡 런타임 대비 음악 재생 시간, 음악 재생 혹은 정지 조작 기록 등의 선호도 데이터, 음악 감성을 도출하기 위한 음악의 조음, 조성 및 템포 등의 음악 감성 데이터, 사용자 상황을 도출하기 위한 위치 정보, 관성 센서 정보, 날씨 정보, 시간 정보 등의 사용자 상황 데이터 및 사용자 감정을 도출하기 위한 사용자의 심박수, 땀 배출 정도 등을 측정한 생체 신호 정보 및 사용자가 사용자장치(200)를 조작함에 따라 발생하는 기기 조작 정보 등의 사용자 감정 데이터를 포함한다. 따라서 추천서버(100)는 도 2에 도시된 바와 같이, 사용자 데이터로부터 도출된 음악 감성, 사용자 상황 및 사용자 감정을 3차원 그래프에 매핑시켜 선호 음악 프로파일을 생성한다. In order to create a music preference profile, the recommendation server 100 receives a plurality of pieces of user data collected by the user device 200 every time the user listens to music through the user device 200, Emotion, user situation and user emotion. Herein, the user data means each kind of data that can be collected from the user device 200 of the user. The user data includes music preference data such as a music reproduction time relative to the original music runtime for deriving the preference of the music, music preference data such as music reproduction or stop operation record, music emotion data such as articulation, composition and tempo of music for deriving music emotion, User condition data such as position information, inertial sensor information, weather information, and time information for deriving user's emotions, bio-signal information obtained by measuring the user's heart rate, sweat discharge level, etc., And user operation data such as device operation information generated as the user operates the operation unit. Therefore, as shown in FIG. 2, the recommendation server 100 creates a favorite music profile by mapping the music emotion derived from the user data, the user's situation, and the user's emotions to a three-dimensional graph.

도 3을 참조하면, 선호 음악 프로파일을 생성한 상태에서 사용자장치(100)로부터 음악 추천 요청이 있으면, 추천서버(100)는 사용자장치(200)가 수집한 사용자 데이터를 수신하고, 사용자 데이터로부터 사용자 상황 및 사용자 감정을 도출한다. 그런 다음, 추천서버(100)는 도출된 사용자 상황 및 사용자 감정을 선호 음악 프로파일의 3차원 그래프 상에 매핑하여 선호 음악 프로파일의 3차원 그래프 상에서 상기 도출된 사용자 상황 및 사용자 감정에 대응하는 음악 감성을 도출하고, 도출된 음악 감성과 유사도가 소정 범위(M) 이내인 추천 음악(m, a, b, c, d, e)을 도출한다. 이에 따라, 추천서버(100)는 도출된 추천 음악(m, a, b, c, d, e)을 사용자장치(200)에 제공할 수 있다. Referring to FIG. 3, if there is a music recommendation request from the user device 100 in a state in which the preferred music profile is generated, the recommendation server 100 receives the user data collected by the user device 200, The situation and the user's feelings are derived. Then, the recommendation server 100 maps the derived user situation and user's emotions on the three-dimensional graph of the preferred music profile to generate music emotion corresponding to the derived user situation and user emotion on the three-dimensional graph of the preferred music profile And derives the recommended music m, a, b, c, d, e having the similarity and similarity within the predetermined range (M). Accordingly, the recommendation server 100 can provide the derived recommended music m, a, b, c, d, and e to the user device 200. [

그러면, 본 발명의 실시예에 따른 음악을 추천하기 위한 추천서버(100)의 구성에 대해서 보다 상세하게 설명하기로 한다. 도 4는 본 발명의 실시예에 따른 음악을 추천하기 위한 평가서버의 구성을 설명하기 위한 블록도이다. 도 4를 참조하면, 본 발명의 실시예에 따른 음악을 추천하기 위한 추천서버(100)는 통신모듈(110), 저장모듈(120) 및 제어모듈(130)을 포함한다. Hereinafter, the configuration of the recommendation server 100 for recommending music according to the embodiment of the present invention will be described in more detail. 4 is a block diagram for explaining a configuration of an evaluation server for recommending music according to an embodiment of the present invention. Referring to FIG. 4, a recommendation server 100 for recommending music according to an embodiment of the present invention includes a communication module 110, a storage module 120, and a control module 130.

통신모듈(110)은 네트워크를 통해 사용자장치(200)와 통신하기 위한 것이다. 통신모듈(110)은 제어모듈(130)의 제어에 따라 사용자장치(200)로부터 사용자 데이터를 수신하거나, 사용자장치(200)에 추천 음악을 제공한다. 통신모듈(110)은 네트워크를 통해 데이터를 송수신하기 위해 송신되는 신호를 변조하고, 수신되는 신호를 복조하는 모뎀(Modem)을 포함할 수 있다. 이러한 통신모듈(110)은 제어모듈(130)로부터 전달 받은 데이터, 예컨대, 추천 음악을 네트워크를 통해 사용자장치(200)로 전송할 수 있다. 또한, 통신모듈(110)은 수신되는 데이터, 예컨대, 사용자 데이터를 제어모듈(130)로 전달할 수 있다. The communication module 110 is for communicating with the user device 200 via the network. The communication module 110 receives user data from the user device 200 under the control of the control module 130 or provides the recommended music to the user device 200. The communication module 110 may include a modem for modulating a signal transmitted to transmit / receive data through a network, and for demodulating the received signal. The communication module 110 may transmit data received from the control module 130, for example, recommended music, to the user device 200 through the network. In addition, the communication module 110 may transmit the received data, for example, user data to the control module 130.

저장모듈(120)은 추천서버(100)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행한다. 예컨대, 저장모듈(120)은 음악 감성, 사용자 상황 및 사용자 감정을 도출하기 위한 애플리케이션, 사용자 선호 프로파일을 생성하기 위한 애플리케이션 등을 저장할 수 있다. 또한, 저장모듈(120)은 사용자에게 제공하기 위한 음악 파일, 생성된 사용자 선호 프로파일 등을 저장할 수 있다. 저장모듈(120)에 저장되는 각 종 데이터는 사용자의 조작에 따라 등록, 삭제, 변경, 추가될 수 있다. The storage module 120 stores programs and data necessary for the operation of the recommendation server 100. For example, the storage module 120 may store music emotion, an application for deriving user conditions and user emotions, an application for generating a user preference profile, and the like. In addition, the storage module 120 may store a music file to be provided to the user, a generated user preference profile, and the like. Each kind of data stored in the storage module 120 can be registered, deleted, changed or added according to the operation of the user.

제어모듈(130)은 추천서버(100)의 전반적인 동작 및 추천서버(100)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 제어모듈(130)은 중앙처리장치(CPU: Central Processing Unit), 디지털신호처리기(DSP: Digital Signal Processor) 등이 될 수 있다. The control module 130 may control the overall operation of the recommendation server 100 and the signal flow between the internal blocks of the recommendation server 100 and may perform a data processing function for processing the data. The control module 130 may be a central processing unit (CPU), a digital signal processor (DSP), or the like.

제어모듈(130)은 감성도출부(131), 상황도출부(133), 감정도출부(135), 프로파일생성부(137) 및 음악추천부(139)를 포함한다. 감성도출부(131)는 통신모듈(110)을 통해 수신된 사용자 데이터를 기초로 음악 감성을 도출할 수 있다. 상황도출부(133)는 통신모듈(110)을 통해 수신된 사용자 데이터를 기초로 사용자 상황을 도출할 수 있다. 감정도출부(135)는 통신모듈(110)을 통해 수신된 사용자 데이터를 기초로 사용자 감정을 도출할 수 있다. 프로파일생성부(137)는 통신모듈(110)을 통해 수신된 사용자 데이터를 기초로 사용자가 선호하는 음악인지 여부를 판단하고, 사용자가 선호하는 음악인 경우, 감성도출부(131), 상황도출부(133) 및 감정도출부(135)가 도출한 음악 감성, 사용자 상황 및 사용자 감정을 3차원 그래프 상에 매핑하여 선호 음악 프로파일을 구성한다. 음악추천부(139)는 통신모듈(110)을 통해 사용자의 음악 추천 요청이 있는 시점에 상황도출부(133)를 통해 사용자 상황을 도출하고, 감정도출부(135)를 통해 사용자 감정을 도출한 후, 도출된 사용자 상황 및 사용자 감정을 선호 음악 프로파일의 3차원 그래프 상에 매핑하여 선호 음악 프로파일의 3차원 그래프 상에서 소정 범위(M) 내의 추천 음악(m, a, b, c, d, e)을 도출한다. 그런 다음, 음악추천부(139)는 도출된 추천 음악(m, a, b, c, d, e 중 적어도 하나)을 통신모듈(110)을 통해 사용자장치(200)로 전송한다. 이러한 제어모듈(130)의 동작은 아래에서 더 상세하게 설명될 것이다. The control module 130 includes a emotion derivation unit 131, a situation derivation unit 133, a feeling derivation unit 135, a profile generation unit 137, and a music recommendation unit 139. The emotion derivation unit 131 can derive musical emotion based on the user data received through the communication module 110. [ The situation derivation unit 133 can derive the user situation based on the user data received through the communication module 110. [ The emotion derivation unit 135 can derive the user emotion based on the user data received through the communication module 110. [ The profile generation unit 137 determines whether the music is the user's favorite music based on the user data received through the communication module 110. If the music is the user's favorite music, the profile generation unit 137 generates the emotion derivation unit 131, 133 and the emotion derivation unit 135 on the three-dimensional graph to constitute a preferred music profile. The music recommendation unit 139 derives the user's situation through the situation derivation unit 133 at the time of the user's music recommendation request through the communication module 110 and outputs the user's emotion through the emotion derivation unit 135 (M, a, b, c, d, e) in a predetermined range (M) on a three-dimensional graph of the preferred music profile by mapping the derived user conditions and user emotions on a three- . Then, the music recommendation unit 139 transmits the derived recommended music (at least one of m, a, b, c, d, and e) to the user device 200 through the communication module 110. The operation of this control module 130 will be described in more detail below.

그러면, 본 발명의 실시예에 따른 심리 평가를 위한 사용자장치(200)의 구성에 대해서 보다 상세하게 설명하기로 한다. 도 5는 본 발명의 실시예에 따른 음악을 추천하기 위한 사용자장치의 구성을 설명하기 위한 블록도이다. 도 5를 참조하면, 본 발명의 실시예에 따른 사용자장치(200)는 통신부(210), 카메라부(220), 위치정보부(230), 센서부(240), 오디오부(250), 입력부(260), 표시부(270), 저장부(280) 및 제어부(290)를 포함한다. The configuration of the user device 200 for psychological evaluation according to an embodiment of the present invention will now be described in more detail. 5 is a block diagram illustrating a configuration of a user apparatus for recommending music according to an embodiment of the present invention. 5, a user apparatus 200 according to an exemplary embodiment of the present invention includes a communication unit 210, a camera unit 220, a position information unit 230, a sensor unit 240, an audio unit 250, 260, a display unit 270, a storage unit 280, and a control unit 290.

통신부(210)는 사용자장치(200) 간 통신 혹은 추천서버(100)와의 통신을 위한 수단이다. 통신부(210)는 예컨대, NFC(Near Field Communication), 블루투스(Bluetooth), 지그비(ZigBee), IrDA(Infrared Data Association) 등의 통신 방식을 이용하여 다른 사용자장치(200)와 통신할 수 있다. 통신부(210)는 네트워크를 통해 추천서버(100)와 통신할 수 있다. 통신부(210)는 송신되는 신호의 주파수를 상승 변환 및 증폭하는 RF(Radio Frequency) 송신기(Tx) 및 수신되는 신호를 저 잡음 증폭하고 주파수를 하강 변환하는 RF 수신기(Rx)를 포함할 수 있다. 그리고 통신부(210)는 송신되는 신호를 변조하고, 수신되는 신호를 복조하는 모뎀(Modem)을 포함할 수 있다. 통신부(210)는 제어부(290)로부터 전송되는 데이터, 예컨대, 사용자 데이터를 전달받아 네트워크를 통해 추천서버(100)로 전송한다. 또한, 통신부(210)는 수신되는 메시지, 예컨대, 추천 음악을 제어부(290)로 전달한다. The communication unit 210 is a means for communication between the user devices 200 or communication with the recommendation server 100. [ The communication unit 210 can communicate with other user devices 200 using a communication method such as NFC (Near Field Communication), Bluetooth, ZigBee, or IrDA (Infrared Data Association). The communication unit 210 can communicate with the recommendation server 100 via the network. The communication unit 210 may include an RF (Radio Frequency) transmitter (Tx) for up-converting and amplifying the frequency of a transmitted signal, and an RF receiver (Rx) for low-noise amplifying the received signal and down-converting the frequency. The communication unit 210 may include a modem for modulating the transmitted signal and demodulating the received signal. The communication unit 210 receives data transmitted from the control unit 290, for example, user data, and transmits the received data to the recommendation server 100 through the network. In addition, the communication unit 210 delivers the received message, for example, the recommended music to the control unit 290.

카메라부(220)는 영상을 촬영하기 위한 것으로, 적어도 이미지 센서를 포함한다. 이미지 센서는 피사체에서 반사되는 빛을 입력받아 전기신호로 변환하며, CCD(Charged Coupled Device), CMOS(Complementary Metal-Oxide Semiconductor) 등을 기반으로 구현될 수 있다. 카메라부(220)는 아날로그-디지털 변환기(Analog to Digital Converter)를 더 포함할 수 있으며, 이미지 센서에서 출력되는 아날로그 신호를 디지털 신호로 변환하여 제어부(290)로 출력할 수 있다. The camera unit 220 is for capturing an image, and includes at least an image sensor. The image sensor receives light reflected from a subject and converts the light into an electrical signal. The image sensor can be implemented based on a CCD (Charge Coupled Device) or a CMOS (Complementary Metal-Oxide Semiconductor). The camera unit 220 may further include an analog-to-digital converter, and may convert the analog signal output from the image sensor to a digital signal and output the digital signal to the controller 290.

위치정보부(230)는 GPS 신호를 수신하기 위한 것이다. 예컨대, 위치정보부(230)는 지속적으로 GPS 위성 등으로부터 GPS 신호를 수신하여, 수신된 GPS 신호로부터 위치 정보를 도출한다. 도출된 위치 정보는 제어모듈(290)에 전달된다. 이러한 위치 정보는 위도, 경도, 고도 등의 좌표가 될 수 있다. The location information unit 230 is for receiving GPS signals. For example, the location information unit 230 continuously receives a GPS signal from a GPS satellite or the like, and derives location information from the received GPS signal. The derived location information is transmitted to the control module 290. Such location information may be coordinates such as latitude, longitude, and altitude.

센서부(240)는 서로 다른 복수의 센서를 통해 서로 다른 복수의 사용자 데이터를 수집한다. 이러한 센서는 MEMS(Micro Electro-Mechanical Systems)로 구현될 수 있다. 센서부(240)는 가속도 센서(Accelerometer), 자이로 센서(Gyroscope) 등의 적어도 하나의 관성 센서를 포함할 수 있다. 센서부(240)는 관성 센서를 통해 사용자장치(200)의 이동 속도를 비롯하여 가속도, 변위 등의 관성 정보를 감지할 수 있다. 또한, 센서부(240)는 사용자의 생체 신호를 수집하기 위한 적어도 하나의 생체신호센서를 포함한다. 일례로, 센서부(240)는 사용자의 속목(손목) 부분의 혈관에서 관찰되는 혈류량을 통해 사용자의 심박수를 측정하는 심박센서, 웨어러블 기기인 경우 사용자장치(200)를 착용한 부위, 혹은 핸드-헬드 기기인 경우 사용자가 사용자장치(200)를 파지한 손 부분에서 감지되는 땀 등을 측정하는 땀 센서 등과 같은 생체신호센서를 포함할 수 있다. 센서부(240)는 감지된 관성 정보 혹은 생체 신호 정보를 포함하는 사용자 데이터를 제어부(290)에 제공한다. The sensor unit 240 collects a plurality of different user data through a plurality of different sensors. Such a sensor can be implemented by MEMS (Micro Electro-Mechanical Systems). The sensor unit 240 may include at least one inertial sensor such as an accelerometer, a gyroscope, or the like. The sensor unit 240 can sense inertial information such as acceleration and displacement as well as the moving speed of the user device 200 through the inertial sensor. In addition, the sensor unit 240 includes at least one living body signal sensor for collecting the user's living body signal. For example, the sensor unit 240 may include a heart rate sensor for measuring a heart rate of a user through a blood flow rate observed in a blood vessel of a user's wrist (wrist) portion, a region where the user device 200 is worn in case of a wearable device, And a sweat sensor for measuring sweat or the like sensed by a user's hand holding the user device 200 when the handheld device is a handheld device. The sensor unit 240 provides the control unit 290 with user data including sensed inertial information or biological signal information.

오디오부(250)는 마이크(MIC) 및 스피커(SPK)를 포함한다. 오디오부(250)는 마이크(MIC)를 통해 사용자의 음성을 입력받고, 입력된 음성을 제어부(290)에 제공한다. 또한, 오디오부(250)는 제어부(290)로부터 제공되는 음악을 스피커(SPK)를 통해 출력한다. The audio unit 250 includes a microphone MIC and a speaker SPK. The audio unit 250 receives the voice of the user through the microphone (MIC) and provides the input voice to the control unit 290. Also, the audio unit 250 outputs the music provided from the control unit 290 through the speaker SPK.

입력부(260)는 사용자장치(200)를 제어하기 위한 사용자의 키 조작을 입력받고 입력 신호를 생성하여 제어부(290)에 전달한다. 입력부(260)는 사용자장치(200)를 제어하기 위한 각 종 키들을 포함할 수 있다. 입력부(260)는 표시부(270)가 터치스크린으로 이루어진 경우, 각 종 키들의 기능이 표시부(270)에서 이루어질 수 있으며, 터치스크린만으로 모든 기능을 수행할 수 있는 경우, 입력부(260)는 생략될 수도 있다. The input unit 260 receives user's key operation for controlling the user device 200, generates an input signal, and transmits the input signal to the control unit 290. The input unit 260 may include various kinds of keys for controlling the user device 200. In the case where the display unit 270 is a touch screen, the functions of the various keys can be performed on the display unit 270. In the case where all functions can be performed only by the touch screen, the input unit 260 is omitted It is possible.

표시부(270)는 사용자장치(200)의 메뉴, 입력된 데이터, 기능 설정 정보 및 기타 다양한 정보를 사용자에게 시각적으로 제공한다. 표시부(270)는 사용자장치(200)의 부팅 화면, 대기 화면, 메뉴 화면, 등의 화면을 출력하는 기능을 수행한다. 이러한 표시부(270)는 액정표시장치(LCD, Liquid Crystal Display), 유기 발광 다이오드(OLED, Organic Light Emitting Diodes), 능동형 유기 발광 다이오드(AMOLED, Active Matrix Organic Light Emitting Diodes) 등으로 형성될 수 있다. 한편, 표시부(270)는 터치스크린으로 구현될 수 있다. 이러한 경우, 표시부(270)는 터치센서를 포함한다. 터치센서는 사용자의 터치 입력을 감지한다. 터치센서는 정전용량 방식(capacitive overlay), 압력식, 저항막 방식(resistive overlay), 적외선 감지 방식(infrared beam) 등의 터치 감지 센서로 구성되거나, 압력 감지 센서(pressure sensor)로 구성될 수도 있다. 상기 센서들 이외에도 물체의 접촉 또는 압력을 감지할 수 있는 모든 종류의 센서 기기가 본 발명의 터치센서로 이용될 수 있다. 터치센서는 사용자의 터치 입력을 감지하고, 감지 신호를 발생시켜 제어부(290)로 전송한다. 특히, 표시부(270)가 터치스크린으로 이루어진 경우, 입력부(260) 기능의 일부 또는 전부는 표시부(270)를 통해 이루어질 수 있다. The display unit 270 visually provides a menu of the user device 200, input data, function setting information, and various other information to the user. The display unit 270 displays a screen such as a boot screen, a standby screen, a menu screen, and the like of the user device 200. The display unit 270 may be formed of a liquid crystal display (LCD), an organic light emitting diode (OLED), an active matrix organic light emitting diode (AMOLED), or the like. Meanwhile, the display unit 270 may be implemented as a touch screen. In this case, the display unit 270 includes a touch sensor. The touch sensor senses the user's touch input. The touch sensor may be constituted by a touch sensing sensor such as a capacitive overlay, a pressure type, a resistive overlay, or an infrared beam, or may be constituted by a pressure sensor . In addition to the above sensors, all kinds of sensor devices capable of sensing contact or pressure of an object can be used as the touch sensor of the present invention. The touch sensor senses the touch input of the user, generates a sensing signal, and transmits the sensing signal to the controller 290. Particularly, when the display unit 270 is a touch screen, some or all of the functions of the input unit 260 may be performed through the display unit 270.

저장부(280)는 사용자장치(200)의 동작에 필요한 프로그램 및 데이터를 저장하는 역할을 수행한다. 특히, 저장부(280)는 음악 파일, 음악 재생을 위한 애플리케이션 등을 저장할 수 있다. 저장부(280)에 저장되는 각 종 데이터는 사용자의 조작에 따라, 삭제, 변경, 추가될 수 있다. The storage unit 280 stores programs and data necessary for the operation of the user apparatus 200. In particular, the storage unit 280 may store music files, applications for playing music, and the like. Each kind of data stored in the storage unit 280 can be deleted, changed, or added according to a user's operation.

제어부(290)는 사용자장치(200)의 전반적인 동작 및 사용자장치(200)의 내부 블록들 간 신호 흐름을 제어하고, 데이터를 처리하는 데이터 처리 기능을 수행할 수 있다. 또한, 제어부(290)는 기본적으로, 사용자장치(200)의 각 종 기능을 제어하는 역할을 수행한다. 제어부(290)는 중앙처리장치(CPU: Central Processing Unit), 디지털신호처리기(DSP: Digital Signal Processor) 등을 예시할 수 있다. 제어부(290)는 음악 재생 시, 위치정보부(230), 센서부(240), 오디오부(250), 입력부(260) 및 표시부(270) 중 적어도 하나를 통해 사용자 데이터를 수집하고, 통신부(210)를 통해 수집된 사용자 데이터를 추천서버(100)로 전송한다. 그러면, 추천서버(100)는 선호 음악 프로파일을 생성할 것이다. 또한, 제어부(290)는 추천 음악 요청 시, 위치정보부(230), 센서부(240), 오디오부(250), 입력부(260) 및 표시부(270) 중 적어도 하나를 통해 사용자 데이터를 수집하고, 통신부(210)를 통해 수집된 사용자 데이터를 추천서버(100)로 전송한다. 그러면, 추천서버(100)는 선호 음악 프로파일을 통해 추천 음악을 도출할 것이다. 제어부(290)는 통신부(210)를 통해 추천서버(100)가 도출한 추천 음악을 수신하고, 수신된 음악을 재생할 수 있다. 이러한 제어부(290)의 동작에 대해서는 아래에서 더 상세하게 설명될 것이다. The controller 290 may control the overall operation of the user device 200 and the signal flow between the internal blocks of the user device 200 and may perform a data processing function for processing the data. The control unit 290 basically controls various functions of the user device 200. The control unit 290 may be a central processing unit (CPU), a digital signal processor (DSP), or the like. The control unit 290 collects user data through at least one of the position information unit 230, the sensor unit 240, the audio unit 250, the input unit 260, and the display unit 270, To the recommendation server 100. The recommendation server 100 transmits the collected user data to the recommendation server 100. [ Then, the recommendation server 100 will generate a preferred music profile. The control unit 290 collects user data through at least one of the position information unit 230, the sensor unit 240, the audio unit 250, the input unit 260, and the display unit 270, And transmits the user data collected through the communication unit 210 to the recommendation server 100. Then, the recommendation server 100 will derive the recommended music through the preferred music profile. The control unit 290 receives the recommended music derived from the recommendation server 100 through the communication unit 210 and can reproduce the received music. The operation of this controller 290 will be described in more detail below.

다음으로, 본 발명의 실시예에 따른 음악을 추천하기 위한 방법에 대해서 설명하기로 한다. 본 발명의 실시예에 따르면, 음악을 추천하기 위해 선호 음악 프로파일을 생성한다. 먼저, 선호 음악 프로파일을 생성하는 방법에 대해서 설명하기로 한다. 도 6은 본 발명의 실시예에 따른 선호 음악 프로파일을 생성하는 방법을 설명하기 위한 흐름도이다. Next, a method for recommending music according to an embodiment of the present invention will be described. According to an embodiment of the present invention, a preferred music profile is created to recommend music. First, a method of generating a preferred music profile will be described. 6 is a flowchart illustrating a method of generating a preferred music profile according to an exemplary embodiment of the present invention.

사용자장치(200)의 제어부(290)는 S110 단계에서 음악을 재생하는 중이라고 가정한다. 이때, 제어부(290)는 S120 단계에서 위치정보부(230), 센서부(240), 오디오부(250), 입력부(260) 및 표시부(270) 중 적어도 하나를 통해 사용자 데이터를 수집하고, S130 단계에서 통신부(210)를 통해 수집된 사용자 데이터를 추천서버(100)로 전송한다. The control unit 290 of the user device 200 assumes that music is being reproduced in step S110. At this time, the controller 290 collects user data through at least one of the position information unit 230, the sensor unit 240, the audio unit 250, the input unit 260 and the display unit 270 in step S120, The recommendation server 100 transmits the user data collected through the communication unit 210 to the recommendation server 100.

여기서, 사용자 데이터는 해당 음악의 선호도를 도출하기 위한 원곡 런타임 대비 음악 재생 시간, 음악 재생 혹은 정지 조작 기록 등의 선호도 데이터, 음악 감성을 도출하기 위한 음악의 조음, 조성 및 템포 등의 음악 감성 데이터, 사용자 상황을 도출하기 위한 위치 정보, 관성 센서 정보, 날씨 정보, 시간 정보 등의 사용자 상황 데이터 및 사용자 감정을 도출하기 위한 사용자의 심박수, 땀 배출 정도 등을 측정한 생체 신호 정보 및 사용자가 사용자장치(200)를 조작함에 따라 발생하는 기기 조작 정보 등의 사용자 감정 데이터를 포함한다. Here, the user data may include music preference data such as a music reproduction time relative to the original music runtime for deriving a preference of the music, music data such as musical composition data such as musical composition, composition and tempo for deriving musical emotion, User's situation data such as position information, inertial sensor information, weather information, time information for deriving a user situation, bio-signal information obtained by measuring the user's heart rate and sweat discharge level for deriving user's feeling, 200, and the like, such as device operation information.

추천서버(100)는 통신모듈(110)을 통해 사용자 데이터를 수신하면 선호 음악 프로파일을 생성하는 절차를 수행한다. 먼저, 프로파일생성부(137)는 S140 단계에서 원곡 런타임 대비 음악 재생 시간, 음악 재생 혹은 정지 조작 기록 등의 선호도 데이터로부터 음악의 선호도를 도출하여 해당 음악의 선호 여부를 판단한다. 해당 음악의 일부만 듣고 재생을 멈추거나, 음악 재생 애플리케이션의 실행을 종료시키는 등의 경우, 해당 음악의 선호가 없는 것으로 판단하고, 해당 음악을 이용한 선호 음악 프로파일을 생성하는 절차를 수행하지 않고 종료한다. 만약, 원곡 런타임 대비 소정 시간 이상 음악을 청취하였다면 해당 음악의 선호가 있는 것으로 판단하여 해당 음악을 이용한 선호 음악 프로파일을 생성하는 절차를 계속한다. When the recommendation server 100 receives user data through the communication module 110, the recommendation server 100 performs a procedure of generating a preferred music profile. First, in step S140, the profile generating unit 137 determines the preference of the music from the preference data such as the music reproduction time, the music reproduction or the stop operation record relative to the original music runtime to determine whether or not the music is preferred. In the case of stopping the reproduction of the music and ending the execution of the music reproduction application, it is determined that there is no preference of the music, and the process is terminated without generating a preferred music profile using the music. If the user has listened to the music for a predetermined time or more with respect to the original music runtime, it is determined that there is a preference of the music, and the procedure for generating the preferred music profile using the music continues.

해당 음악을 선호하는 것으로 판단하면, 감성도출부(131)는 S150 단계에서 사용자 데이터 중 음악 감성 데이터로부터 사용자장치(200)에서 재생된 음악이 표현하는 감성인 음악 감성을 도출한다. 여기서, 음악 감성 데이터는 음악의 시간 영역 신호의 특성 및 주파수 영역 신호의 특성으로부터 도출되는 복수의 파라미터 중 적어도 하나를 포함한다. 이러한 복수의 파라미터는 예컨대, 음색, 조음, 조성, 템포 등을 예시할 수 있다. 이때, 감성도출부(131)는 음악 감성 데이터로부터 감성의 세기를 표현하는 흥분도(Arousal) 및 긍정과 부정의 정도를 나타내는 유의성(Valence)을 정규화된 수치로 도출한다. 예컨대, 템포의 빠르기에 따라 흥분도를 결정할 수 있다. 즉, 템포가 빠를수록 흥분도가 높은 것으로 하여 그 수치를 도출할 수 있다. If it is determined that the music is preferred, the emotion derivation unit 131 derives music emotion, which is emotion expressed by the music reproduced in the user device 200, from the music emotion data in the user data in step S150. Here, the music emotion data includes at least one of a plurality of parameters derived from a characteristic of a time-domain signal of music and a characteristic of a frequency-domain signal. Such a plurality of parameters may exemplify tone color, articulation, composition, tempo, and the like. At this time, the emotional derivation unit 131 derives the arousal expressing the emotion intensity from the music emotion data and the significance indicating the degree of affirmation and negation as normalized values. For example, the degree of excitement can be determined according to the tempo. That is, the higher the tempo, the higher the excitability is, so that the value can be derived.

또한, 예컨대, 음악의 주파수 영역의 특성에 따라 음색을 도출하며, 그 음색은 주파수 크기에 따라 감정의 긍정의 정도에서부터 부정의 정도로 정규화하고, 수치화할 수 있다. 이에 따라, 음악의 주파수 영역의 특성에 따라 도출되는 음색으로부터 유의성(Valence)의 수치를 도출할 수 있다. 그리고 감성도출부(131)는 흥분도 및 유의성 각각의 수치에 따라 음악 감성을 결정한다. 본 발명의 실시예에 따른 음악 감성 각각은 미리 결정된 흥분도 및 유의성의 수치의 범위를 가진다. 예컨대, 음악 감성은 유사한 순서대로 'calm', 'excited', 'happy', 'pleased', 'relaxed', 'peaceful', 'sleepy', 'sad', 'bored', 'nervous' 및 'angry'를 포함할 수 있다. Further, for example, a tone color is derived according to the characteristics of the frequency domain of the music, and the tone color can be normalized and quantified from the affirmation degree of affirmation to the degree of negative according to the frequency magnitude. Accordingly, the value of the valence can be derived from the tone color derived from the characteristics of the frequency domain of the music. Then, the emotion derivation unit 131 determines the music emotion according to the respective values of the excitement degree and the significance. Each of the music emotions according to embodiments of the present invention has a range of numerical values of predetermined excitement and significance. For example, music emotion can be expressed in similar order as 'calm', 'excited', 'happy', 'pleased', 'relaxed', 'peaceful', 'sleepy', 'sad', 'bored', 'nervous' '.

다음으로, 상황도출부(133)는 S160 단계에서 사용자 데이터 중 사용자 상황 데이터를 이용하여 음악을 청취하는 시점에 사용자가 겪고 있는 상황인 사용자 상황을 도출한다. 사용자 환경 데이터는 사용자장치(200)의 위치 정보, 사용자장치(200)의 관성 정보, 사용자장치(200)의 위치의 날씨 정보 및 시간 정보 중 적어도 하나를 포함한다. 상황도출부(133)는 사용자 환경 데이터를 기초로 사용자 상황을 도출한다. 예컨대, 시간 정보는 아침 시간이며, 위치 정보는 지하철 노선을 따라 이동하며, 관성 정보를 통해 사용자장치(200)의 속도가 지하철의 속도와 같다면, 사용자 상황을 출근 중인 것으로 도출할 수 있다. 다른 예로, 시간 정보는 저녁 시간이며, 위치 정보는 체육관이고, 관성 정보가 규칙적으로 반복되는 움직임을 나타낸다면, 사용자 상황은 체육관에서 운동중인 것으로 도출할 수 있다. Next, in step S160, the context derivation unit 133 derives a user situation, which is a situation that the user is experiencing at the time of listening to the music using the user context data of the user data. The user environment data includes at least one of location information of the user device 200, inertia information of the user device 200, weather information of the location of the user device 200, and time information. The situation derivation unit 133 derives the user situation based on the user environment data. For example, the time information is in the morning time, the location information moves along the subway line, and if the speed of the user device 200 is equal to the speed of the subway through the inertia information, the user situation can be derived from the work. As another example, if the time information is the evening time, the location information is the gym, and the inertia information indicates a regular repetitive motion, the user situation can be derived from being exercised in the gym.

다음으로, 감정도출부(135)는 S170 단계에서 사용자 데이터 중 사용자 감정 데이터로부터 음악을 청취하는 시점에 사용자가 느끼는 감정인 사용자 감정을 도출한다. 사용자 감정 데이터는 사용자의 생체 신호 정보 및 사용자의 기기 조작 정보 중 적어도 하나를 포함한다. 예컨대, 맥박, 땀의 배출 여부 등의 생체 신호 정보를 통해 사용자가 음악을 들으며 느끼는 감정을 도출하거나, 음악을 들으며 사용자가 사용자장치(200)에 입력하는 정보인 사용자의 기기 조작 정보를 통해 음악에 대한 사용자의 감정을 도출할 수 있다. 따라서 감정도출부(135)는 사용자 감정 데이터를 기초로 사용자 감정을 도출할 수 있다. Next, in step S170, the emotion derivation unit 135 derives the emotion user emotion that the user feels at the time of listening to the music from the user emotion data of the user data. The user emotion data includes at least one of the user's bio-signal information and the user's device operation information. For example, the user may derive emotions felt by the user through the bio-signal information such as pulse or sweat discharge, or may listen to the music and listen to the music through the user's device operation information, The user's feelings can be derived. Therefore, the emotion derivation unit 135 can derive the user emotion based on the user emotion data.

전술한 바와 같이, 음악 감성, 사용자 상황 및 사용자 감정이 도출되면, 프로파일생성부(137)는 S180 단계에서 음악 감성, 사용자 상황 및 사용자 감정을 도 2에 도시된 바와 같이, 3차원 그래프에 상호 매핑하여 음악 선호 프로파일을 생성한다. As described above, when the music emotion, the user situation, and the user emotion are derived, the profile generating unit 137 mutually maps the music emotion, the user situation, and the user emotion into a three-dimensional graph as shown in FIG. 2 Thereby generating a music preference profile.

전술한 S110 단계 내지 S180 단계는 반복하여 수행되며, 이에 따라, 음악 선호 프로파일의 신뢰도가 향상될 수 있다. 예컨대, 이러한 음악 선호 프로파일을 통해 특정 사용자가 혼자 집에 있는 상황에서, 지루('bored')한 기분일 때, 경쾌한('excited') 음악을 듣는지 혹은 슬픈('sad') 음악을 듣는지 여부를 알 수 있다. The above-described steps S110 to S180 are repeated so that the reliability of the music preference profile can be improved. For example, such a music preference profile can be used to determine whether a particular user is alone at home, listening to music that is 'excited' or sad when it is 'bored' Able to know.

그러면, 이러한 음악 선호 프로파일을 기초로 음악을 추천하기 위한 방법에 대해서 설명하기로 한다. 도 7은 본 발명의 실시예에 따른 음악을 추천하기 위한 방법을 설명하기 위한 흐름도이다. Hereinafter, a method for recommending music based on the music preference profile will be described. 7 is a flowchart illustrating a method for recommending music according to an embodiment of the present invention.

도 7을 참조하면, 사용자장치(200)의 제어부(290)는 S210 단계에서 사용자의 조작에 따라 통신부(210)를 통해 추천서버(100)로 음악 추천 요청 메시지를 전송한다. Referring to FIG. 7, the control unit 290 of the user device 200 transmits a music recommendation request message to the recommendation server 100 through the communication unit 210 according to the user's operation in step S210.

추천서버(100) 제어모듈(130)의 음악추천부(139)는 통신모듈(110)을 통해 음악 추천 요청 메시지를 수신하면, S220 단계에서 통신모듈(110)을 통해 사용자장치(200)에 사용자 데이터를 요청한다. Recommendation Server 100 Upon receiving the music recommendation request message through the communication module 110, the music recommendation unit 139 of the control module 130 transmits the music recommendation request message to the user device 200 through the communication module 110 in step S220. Request data.

사용자장치(200)의 제어부(290)가 통신부(210)를 통해 사용자 데이터 요청을 수신하면, S230 단계에서 위치정보부(230), 센서부(240), 오디오부(250), 입력부(260) 및 표시부(270) 중 적어도 하나를 통해 사용자 데이터를 수집하고, S240 단계에서 통신부(210)를 통해 수집된 사용자 데이터를 추천서버(100)로 전송한다. The control unit 290 of the user device 200 receives the user data request through the communication unit 210. In step S230, the position information unit 230, the sensor unit 240, the audio unit 250, the input unit 260, And transmits the collected user data to the recommendation server 100 through the communication unit 210 in step S240.

추천서버(100)는 통신모듈(110)을 통해 사용자 데이터를 수신하면 음악 추천 절차를 시작한다. 먼저, 상황도출부(133)는 S250 단계에서 사용자 데이터 중 사용자 상황 데이터를 이용하여 음악 추천 요청 시점에 사용자가 겪고 있는 상황인 사용자 상황을 도출한다. 사용자 환경 데이터는 사용자장치(200)의 위치 정보, 사용자장치(200)의 관성 정보, 사용자장치(200)의 위치의 날씨 정보 및 시간 정보 중 적어도 하나를 포함한다. 상황도출부(133)는 사용자 환경 데이터를 기초로 사용자 상황을 도출한다. When the recommendation server 100 receives the user data through the communication module 110, the recommendation server 100 starts the music recommendation procedure. First, the context derivation unit 133 derives a user situation, which is a situation that the user is experiencing at the time of requesting a music recommendation, using the user context data of the user data in step S250. The user environment data includes at least one of location information of the user device 200, inertia information of the user device 200, weather information of the location of the user device 200, and time information. The situation derivation unit 133 derives the user situation based on the user environment data.

다음으로, 감정도출부(135)는 S260 단계에서 사용자 데이터 중 사용자 감정 데이터로부터 음악 추천 요청 시점에 사용자가 느끼는 감정인 사용자 감정을 도출한다. 사용자 감정 데이터는 사용자의 생체 신호 정보 및 사용자의 기기 조작 정보 중 적어도 하나를 포함한다. 따라서 감정도출부(135)는 사용자 감정 데이터를 기초로 사용자 감정을 도출할 수 있다. Next, in step S260, the emotion derivation unit 135 derives an emotional user emotion that the user feels at the time of requesting the music recommendation from the user emotion data in the user data. The user emotion data includes at least one of the user's bio-signal information and the user's device operation information. Therefore, the emotion derivation unit 135 can derive the user emotion based on the user emotion data.

전술한 바와 같이, 음악 추천 요청 시점의 사용자 상황 및 사용자 감정이 도출되면, 추천음악부(139)는 S270 단계에서 사용자 상황 및 사용자 감정을 기초로 추천 음악을 도출한다. 이때, 도 3을 참조하면, 추천음악부(139)는 선호 음악 프로파일의 3차원 그래프 상에서 사용자 상황 및 사용자 감정에 대응하는 음악 감성을 도출하고, 도출된 음악 감성과 유사도가 소정 범위(M) 이내인 적어도 하나의 음악을 추천 음악(m, a, b, c, d, e 중 적어도 하나)으로 선정한다. 보다 자세히, 도 3을 참조하면, 추천음악부(139)는 선호 음악 프로파일의 3차원 그래프 상에서 사용자 상황 및 사용자 감정에 대응하는 음악 감성을 가지는 기준 음악(m)을 도출하고, 도출된 기준 음악(m)의 음악 감성의 흥분도(Arousal) 및 유의성(Valence)의 수치와의 차이를 통해 유사도를 산출하여, 유사도가 소정 범위(M) 이내인 적어도 하나의 음악을 추천 음악(m, a, b, c, d, e 중 적어도 하나)으로 선정한다. As described above, when the user situation and the user's feeling at the time of requesting the music recommendation are derived, the recommendation music unit 139 derives the recommended music based on the user's situation and the user's feeling at step S270. 3, the recommendation music unit 139 derives the music emotion corresponding to the user's situation and the user emotion on the three-dimensional graph of the preferred music profile, and determines whether or not the derived music emotion and similarity are within a predetermined range (M) (At least one of m, a, b, c, d, and e) of at least one music. More specifically, referring to FIG. 3, the recommendation music unit 139 derives a reference music m having music emotion corresponding to a user situation and a user emotion on a three-dimensional graph of a preferred music profile, and outputs the derived reference music m (M, a, b, b) of at least one music whose similarity is within a predetermined range (M) by calculating the similarity through the difference between the values of the arousal and the valence c, at least one of d and e).

추천 음악이 선정되면, 추천음악부(139)는 S280 단계에서 통신모듈(110)을 통해 추천 음악을 사용자장치(200)로 전송한다. 사용자장치(200)의 제어부(290)는 통신부(210)를 통해 추천 음악을 수신하고, 수신된 추천 음악을 재생하여 오디오부(250)를 통해 출력한다. 이에 따라, 사용자는 현재 자신이 처한 환경 및 자신이 느끼는 감정에 적합한 음악을 청취할 수 있다. When the recommended music is selected, the recommended music unit 139 transmits the recommended music to the user device 200 through the communication module 110 in step S280. The control unit 290 of the user device 200 receives the recommended music through the communication unit 210 and reproduces the received recommended music to output through the audio unit 250. [ Accordingly, the user can listen to the music suitable for the current environment and the emotion felt by the user.

한편, 앞서 설명된 본 발명의 실시예에 따른 음악 추천을 위한 방법들은 다양한 컴퓨터수단을 통하여 판독 가능한 프로그램 형태로 구현되어 컴퓨터로 판독 가능한 기록매체에 기록될 수 있다. 여기서, 기록매체는 프로그램 명령, 데이터 파일, 데이터구조 등을 단독으로 또는 조합하여 포함할 수 있다. 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 예컨대 기록매체는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광 기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함한다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 와이어뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 와이어를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다. Meanwhile, the methods for recommending music according to the embodiment of the present invention described above may be implemented in a form of a program readable by various computer means and recorded in a computer-readable recording medium. Here, the recording medium may include program commands, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on a recording medium may be those specially designed and constructed for the present invention or may be available to those skilled in the art of computer software. For example, the recording medium may be a magnetic medium such as a hard disk, a floppy disk and a magnetic tape, an optical medium such as a CD-ROM or a DVD, a magneto-optical medium such as a floppy disk magneto-optical media, and hardware devices that are specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions may include machine language wires such as those produced by a compiler, as well as high-level language wires that may be executed by a computer using an interpreter or the like. Such a hardware device may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 이와 같이, 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 균등론에 따라 다양한 변화와 수정을 가할 수 있음을 이해할 것이다. While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made without departing from the spirit of the invention and the scope of the appended claims.

100: 추천서버 110: 통신모듈
120: 저장모듈 130: 제어모듈
131: 감성도출부 133: 상황도출부
135: 감정도출부 137: 프로파일생성부
139: 음악추천부 200: 사용자장치
210: 통신부 220: 카메라부
230: 위치정보부 240: 센서부
250: 오디오부 260: 입력부
270: 표시부 280: 저장부
290: 제어부
100: recommended server 110: communication module
120: storage module 130: control module
131: Sensibility deriving part 133: Situation deriving part
135: emotion derivation unit 137: profile generation unit
139: music recommendation unit 200: user equipment
210: communication unit 220: camera unit
230: position information section 240: sensor section
250: audio part 260: input part
270: display unit 280: storage unit
290:

Claims (8)

음악을 추천하기 위한 장치에 있어서,
음악 선호 프로파일을 저장하기 위한 저장모듈;
사용자장치와 통신하여 상기 사용자장치로부터 사용자 데이터를 수신하는 통신모듈; 및
상기 사용자 데이터로부터 상기 사용자장치에서 재생되는 음악이 표현하는 감성인 음악 감성을 도출하는 감성도출부;
상기 음악을 청취하는 시점에 사용자가 겪고 있는 상황인 사용자 상황을 도출하는 상황도출부;
상기 사용자 데이터로부터 상기 음악을 청취하는 시점에 사용자가 느끼는 감정인 사용자 감정을 도출하는 감정도출부; 및
상기 음악 감성, 상기 사용자 상황 및 상기 사용자 감정을 3차원 그래프에 상호 매핑하여 상기 음악 선호 프로파일을 생성하는 프로파일생성부;를 포함하는 것을 특징으로 하는 음악을 추천하기 위한 장치.
An apparatus for recommending music,
A storage module for storing a music preference profile;
A communication module for communicating with a user device and receiving user data from the user device; And
A emotion derivation unit for deriving a music emotion that is emotional expressed by music played on the user device from the user data;
A situation derivation unit for deriving a user situation as a user is experiencing at the time of listening to the music;
An emotion derivation unit for deriving emotional user emotions felt by the user at the time of listening to the music from the user data; And
And a profile generator for generating the music preference profile by mapping the music emotion, the user situation, and the user emotion to a three-dimensional graph.
제1항에 있어서,
상기 통신모듈을 통해 상기 사용자장치로부터 상기 사용자장치로부터 음악 추천 요청 시점의 사용자 데이터를 수신하고, 상기 수신된 사용자 데이터를 이용하여 상기 상황도출부를 통해 상기 음악 추천 요청 시점에 사용자가 겪고 있는 상황인 사용자 상황을 도출하며, 상기 감정도출부를 통해 상기 음악 추천 요청 시점에 사용자가 느끼는 감정인 사용자 감정을 도출하고, 상기 선호 음악 프로파일의 3차원 그래프 상에서 상기 도출된 사용자 상황 및 사용자 감정에 대응하는 음악 감성을 도출하여, 도출된 음악 감성과 유사도가 소정 범위 이내인 적어도 하나의 음악을 추천 음악으로 선정하는 음악추천부;를 더 포함하는 것을 특징으로 하는 음악을 추천하기 위한 장치.
The method according to claim 1,
And a controller for receiving user data at the time of requesting a music recommendation from the user apparatus through the communication module and transmitting the music recommendation message to a user who is in a situation that the user is experiencing at the time of requesting the music recommendation through the situation deriving unit, Deriving a feeling of a user who is feeling at the time of requesting the music recommendation through the emotion derivation unit and deriving musical emotion corresponding to the derived user situation and user emotion on the three dimensional graph of the preferred music profile And a music recommendation unit for selecting at least one music having similarity to the derived music sensibility within a predetermined range as a recommended music.
제2항에 있어서,
상기 사용자 데이터는 상기 음악의 시간 영역 신호의 특성 및 주파수 영역 신호의 특성으로부터 도출되는 복수의 파라미터 중 적어도 하나를 포함하는 음악 감성 데이터를 포함하며,
상기 감성도출부는 상기 음악 감성 데이터로부터 감성의 세기를 표현하는 흥분도(Arousal) 및 긍정과 부정의 정도를 나타내는 유의성(Valence)을 정규화된 수치로 도출하고, 상기 흥분도 및 상기 유의성 각각의 수치에 따라 상기 음악 감성을 결정하는 것을 특징으로 하는 음악을 추천하기 위한 장치.
3. The method of claim 2,
Wherein the user data includes music emotion data including at least one of a plurality of parameters derived from a characteristic of a time domain signal of the music and a characteristic of a frequency domain signal,
Wherein the emotion derivation unit derives the excitivity representing the intensity of emotion from the music emotion data and the value representing the degree of affirmation and negation as a normalized value, And determining the sensibility of the music according to the music score.
제2항에 있어서,
상기 사용자 데이터는 상기 사용자장치의 위치 정보, 상기 사용자장치의 관성 정보 및 상기 사용자장치의 위치의 날씨 정보 및 시간 정보 중 적어도 하나를 포함하는 사용자 환경 데이터를 포함하며,
상기 상황도출부는 상기 사용자 환경 데이터를 기초로 상기 사용자 상황을 도출하는 것을 특징으로 하는 음악을 추천하기 위한 장치.
3. The method of claim 2,
Wherein the user data includes user environment data including at least one of location information of the user device, inertia information of the user device, and weather information and time information of a location of the user device,
Wherein the context derivation unit derives the user context based on the user environment data.
제2항에 있어서,
상기 사용자 데이터는 사용자의 생체 신호 정보 및 사용자의 기기 조작 정보 중 적어도 하나를 포함하는 사용자 감정 데이터를 포함하며,
상기 감정도출부는 상기 사용자 감정 데이터를 기초로 상기 사용자 감정을 도출하는 것을 특징으로 하는 음악을 추천하기 위한 장치.
3. The method of claim 2,
Wherein the user data includes user emotion data including at least one of user's bio-signal information and user's device operation information,
Wherein the emotion derivation unit derives the user emotion based on the user emotion data.
추천서버의 음악을 추천하기 위한 방법에 있어서,
사용자장치로부터 사용자 데이터를 수신하는 단계;
상기 사용자 데이터로부터 상기 사용자장치에서 재생되는 음악이 표현하는 감성인 음악 감성을 도출하는 단계;
상기 음악을 청취하는 시점에 사용자가 겪고 있는 상황인 사용자 상황을 도출하는 단계;
상기 사용자 데이터로부터 상기 음악을 청취하는 시점에 사용자가 느끼는 감정인 사용자 감정을 도출하는 단계; 및
상기 음악 감성, 상기 사용자 상황 및 상기 사용자 감정을 3차원 그래프에 상호 매핑하여 상기 음악 선호 프로파일을 생성하는 단계;를 포함하는 것을 특징으로 하는 음악을 추천하기 위한 방법.
1. A method for recommending music in a recommendation server,
Receiving user data from a user device;
Deriving musical emotion that is emotional expressed by music played on the user apparatus from the user data;
Deriving a user situation that a user is experiencing at the time of listening to the music;
Deriving a user emotion as an emotion felt by the user at the time of listening to the music from the user data; And
And generating the music preference profile by mapping the music emotion, the user situation, and the user emotion to a three-dimensional graph.
제6항에 있어서,
상기 사용자장치로부터 음악 추천 요청을 수신하는 단계;
상기 음악 추천 요청 시점의 사용자 데이터를 수신하는 단계;
상기 수신된 사용자 데이터를 이용하여 상기 음악 추천 요청 시점에 사용자가 겪고 있는 상황인 사용자 상황 및 상기 음악 추천 요청 시점에 사용자가 느끼는 감정인 사용자 감정을 도출하는 단계;
상기 선호 음악 프로파일의 3차원 그래프 상에서 상기 도출된 사용자 상황 및 사용자 감정에 대응하는 음악 감성을 도출하는 단계;
상기 도출된 음악 감성과 유사도가 소정 범위 이내인 적어도 하나의 음악을 추천 음악으로 선정하는 단계; 및
상기 선정된 추천 음악을 상기 사용자장치로 전송하는 단계;를 더 포함하는 것을 특징으로 하는 음악을 추천하기 위한 방법.
The method according to claim 6,
Receiving a music recommendation request from the user device;
Receiving user data at the music recommendation time point;
Deriving a user situation, which is a situation that a user is experiencing at the time of requesting the music recommendation, using the received user data, and an emotional user emotion felt by the user at the time of requesting the music recommendation;
Deriving musical emotion corresponding to the derived user situation and user emotion on the three-dimensional graph of the preferred music profile;
Selecting at least one piece of music having similarity to the derived music emotion within a predetermined range as recommended music; And
And transmitting the selected recommended music to the user device. ≪ RTI ID = 0.0 > 11. < / RTI >
제6항 또는 제7항에 따른 음악을 추천하기 위한 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체. A computer-readable recording medium having recorded thereon a program for performing a method for recommending music according to claim 6 or 7.
KR1020170174309A 2017-12-18 2017-12-18 Apparatus for recommending music, method thereof and computer recordable medium storing program to perform the method KR102083466B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170174309A KR102083466B1 (en) 2017-12-18 2017-12-18 Apparatus for recommending music, method thereof and computer recordable medium storing program to perform the method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170174309A KR102083466B1 (en) 2017-12-18 2017-12-18 Apparatus for recommending music, method thereof and computer recordable medium storing program to perform the method

Publications (2)

Publication Number Publication Date
KR20190073045A true KR20190073045A (en) 2019-06-26
KR102083466B1 KR102083466B1 (en) 2020-03-27

Family

ID=67105340

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170174309A KR102083466B1 (en) 2017-12-18 2017-12-18 Apparatus for recommending music, method thereof and computer recordable medium storing program to perform the method

Country Status (1)

Country Link
KR (1) KR102083466B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102212638B1 (en) * 2019-08-21 2021-02-04 건국대학교 글로컬산학협력단 System and method for recommending music
KR102297403B1 (en) * 2020-02-25 2021-09-01 공주대학교 산학협력단 Apparatus for recommending music and recording medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130059237A (en) * 2011-11-28 2013-06-05 한국전자통신연구원 Method and appratus for searching recommended music using emotional information of music
KR20140111152A (en) 2013-03-08 2014-09-18 공주대학교 산학협력단 Music recommendation system and method thereof
KR101570430B1 (en) * 2014-08-11 2015-11-20 엘지전자 주식회사 Wearble device and operation method thereof

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130059237A (en) * 2011-11-28 2013-06-05 한국전자통신연구원 Method and appratus for searching recommended music using emotional information of music
KR20140111152A (en) 2013-03-08 2014-09-18 공주대학교 산학협력단 Music recommendation system and method thereof
KR101570430B1 (en) * 2014-08-11 2015-11-20 엘지전자 주식회사 Wearble device and operation method thereof

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102212638B1 (en) * 2019-08-21 2021-02-04 건국대학교 글로컬산학협력단 System and method for recommending music
KR102297403B1 (en) * 2020-02-25 2021-09-01 공주대학교 산학협력단 Apparatus for recommending music and recording medium

Also Published As

Publication number Publication date
KR102083466B1 (en) 2020-03-27

Similar Documents

Publication Publication Date Title
US20220091816A1 (en) Wireless Earpiece with a Passive Virtual Assistant
US11241789B2 (en) Data processing method for care-giving robot and apparatus
US10313779B2 (en) Voice assistant system for wireless earpieces
US20210034176A1 (en) Devices and Methods for Sharing User Interaction
US20180060031A1 (en) Voice assistant for wireless earpieces
CN103329067B (en) Bio signal is related to the operation mode of a device
US10205814B2 (en) Wireless earpiece with walkie-talkie functionality
WO2016092912A1 (en) Program and information processing system
CN109256146B (en) Audio detection method, device and storage medium
US10176255B2 (en) Mobile terminal, recommendation system, and recommendation method
EP3540603B1 (en) Reproduction terminal and reproduction method
CN111524501B (en) Voice playing method, device, computer equipment and computer readable storage medium
JP7067484B2 (en) Information processing equipment, information processing methods, programs, and information processing systems
CN103036691A (en) Selective special audio communication
CN104133851A (en) Audio similarity detecting method, audio similarity detecting device and electronic equipment
KR20180126474A (en) System, terminal device, method and recording medium
KR20180096182A (en) Electronic device and method for controlling the same
JP2018025855A (en) Information processing server, information processing device, information processing system, information processing method, and program
KR102083466B1 (en) Apparatus for recommending music, method thereof and computer recordable medium storing program to perform the method
JP2021177418A (en) Method of providing electronic device with interpretation function and ear set device
CN110830368A (en) Instant messaging message sending method and electronic equipment
JP6375597B2 (en) Network system, server, program, and training support method
WO2019069529A1 (en) Information processing device, information processing method, and program
JPWO2016052501A1 (en) User interface device, program, and content notification method
JP2018085015A (en) Content reproducing device, content reproducing system, and content reproducing method

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant