KR101637282B1 - 음악 플레이리스트 생성방법, 및 음악 플레이리스트 생성장치 - Google Patents

음악 플레이리스트 생성방법, 및 음악 플레이리스트 생성장치 Download PDF

Info

Publication number
KR101637282B1
KR101637282B1 KR1020140175826A KR20140175826A KR101637282B1 KR 101637282 B1 KR101637282 B1 KR 101637282B1 KR 1020140175826 A KR1020140175826 A KR 1020140175826A KR 20140175826 A KR20140175826 A KR 20140175826A KR 101637282 B1 KR101637282 B1 KR 101637282B1
Authority
KR
South Korea
Prior art keywords
value
music
emotion
physical property
vector
Prior art date
Application number
KR1020140175826A
Other languages
English (en)
Other versions
KR20160069784A (ko
Inventor
정우철
최영우
Original Assignee
현대자동차 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차 주식회사 filed Critical 현대자동차 주식회사
Priority to KR1020140175826A priority Critical patent/KR101637282B1/ko
Priority to US14/721,567 priority patent/US9990413B2/en
Priority to CN201510399221.5A priority patent/CN105677690B/zh
Publication of KR20160069784A publication Critical patent/KR20160069784A/ko
Application granted granted Critical
Publication of KR101637282B1 publication Critical patent/KR101637282B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28—Databases characterised by their database models, e.g. relational or object models
    • G06F16/284—Relational databases
    • G06F16/285—Clustering or classification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/63—Querying
    • G06F16/638—Presentation of query results
    • G06F16/639—Presentation of query results using playlists
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
    • G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10009—Improvement or modification of read or write signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10009—Improvement or modification of read or write signals
    • G11B20/10018—Improvement or modification of read or write signals analog processing for digital recording or reproduction
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/102—Programmed access in sequence to addressed parts of tracks of operating record carriers
    • G11B27/105—Programmed access in sequence to addressed parts of tracks of operating record carriers of operating discs

Abstract

음악 플레이리스트 생성방법은, 전체 곡을, 감정벡터(mood vector)가 부여된 샘플 곡(sample song)인 제1 곡과, 감성벡터가 부여되지 않는 신규 곡(new song)인 제2 곡으로 분할하는 단계와, 제2 곡의 감정 벡터를, 제2 곡의 물리적 속성값과 가장 유사한 물리적 속성값을 가지는 제1 곡의 감정벡터로 설정하는 단계와, 감정 벡터가 설정된 제2 곡과, 제1 곡을 병합하여 감정벡터를 가지는 전체 곡을 포함하는 음악 플레이리스트를 생성하는 단계를 포함한다.

Description

음악 플레이리스트 생성방법, 및 음악 플레이리스트 생성장치{Method and device for generating music playlist}
본 발명은 음악 플레이리스트 생성장치 관련 기술에 관한 것으로서, 보다 상세하게는, 샘플 곡(sample song)의 음향학적(acoustical) 속성 분석을 활용하여 감정 메타 모델(mood meta model)을 생성하고 상기 생성된 감정 메탈 모델을 이용하여 신규 곡(new song)의 음악 속성(감정 속성)을 분류하는 음악 플레이리스트 생성방법 및 음악 플레이리스트 생성장치에 관한 것이다.
눈, 비, 또는 안개 등의 날씨 조건이 좋지 않은 경우 운전자는 맑은 날씨 조건에 비해 더욱 긴장하여 운전하게 된다. 그리고 정체 구간에서 운전자는 가속과 감속을 반복하여야 하므로 정속 주행시보다 더욱 긴장할 수밖에 없다. 그리고 운전시간이 길어질수록 운전자의 피로가 누적되고, 이에 따른 스트레스가 발생하게 된다. 그리고 운전자의 운전 습관이나 사고 위험 등에 대처하기 위하여 급정거를 반복하게 되는 경우도 운전자에게 스트레스로 작용할 수 있다.
이와 같이, 운전자는 차량을 운행하는 동안 차량의 주행 환경에 따라 적지 않은 스트레스를 받게 된다. 운전자의 스트레스 증가는 단순히 운전자의 피로 증가를 유발할 뿐만 아니라 사고 위험을 증가시키는 요인이 될 수 있다. 운전자는 차량 운전 중에 적절히 자신의 스트레스를 해소할 필요가 있다.
운전 중인 운전자의 스트레스 해소에 도움을 주는 대표적인 장치가 오디오 장치이다. 운전자는 운전 중에 오디오 장치를 통해 라디오를 듣거나 저장매체에 저장되어 있는 음악을 들으면서 운전 중에 발생하는 스트레스를 줄일 수 있다. 운전자는 자신의 기분, 즉 스트레스 상태에 어울리는 음악을 들음으로써 스트레스를 더욱 줄일 수 있다.
또한 정보량의 급격한 증가로 인해 정보를 검색, 분류 및 추천하는 기술에 대한 수요가 증가하고 있다. 특히, 음악과 같이 파일의 수가 수천, 수만 곡을 넘는 경우, 원하는 음악을 검색 및 추천하기 위한 기술이 요구된다.
음악을 검색 및 추천하기 위해, 장르(genre) 정보와 가수 정보를 이용할 수 있다. 장르는 음악을 그 형식이나 특징을 통해 분류하는 것으로 가장 널리 쓰이고 있다. 가수 정보는 가수의 음악적 성향을 중심으로 유사한 가수간의 분류를 통해 검색과 추천이 가능할 수 있다.
이 배경기술 부분에 기재된 사항은 발명의 배경에 대한 이해를 증진하기 위하여 작성된 것으로서, 이 기술이 속하는 분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술이 아닌 사항을 포함할 수 있다.
본 발명이 해결하려는 기술적 과제(목적)는, 샘플 곡(sample song)의 음향학적 속성 분석을 통해 감정 메타 모델을 생성하고 상기 생성된 감정 메탈 모델을 이용하여 신규 곡(new song)의 감정 속성을 설정할 수 있는 음악 플레이리스트 생성방법 및 그 생성장치를 제공하는 것이다.
상기 과제를 해결(달성)하기 위하여, 본 발명의 실시예에 따른 음악 플레이리스트 생성방법은, 전체 곡(song)을, 감정벡터(mood vector)가 부여된 샘플 곡(sample song)인 제1 곡과, 감성벡터가 부여되지 않는 신규 곡(new song)인 제2 곡으로 분할하는 단계; 상기 제2 곡의 감정 벡터를, 상기 제2 곡의 물리적 속성값과 가장 유사한 물리적 속성값을 가지는 상기 제1 곡의 감정벡터로 설정하는 단계; 및 상기 감정 벡터가 설정된 제2 곡과, 상기 제1 곡을 병합하여 감정벡터를 가지는 전체 곡을 포함하는 음악 플레이리스트를 생성하는 단계를 포함할 수 있다.
상기 물리적 속성값은 MFCC(Mel-frequency cepstral coefficient) 벡터값일 수 있다. 상기 물리적 속성값은, 스케일(scale), 평균 에너지(Average Energy), 리듬(Rhythm), 배음(Harmonics), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality) 중 적어도 하나를 포함할 수 있다.
상기 분할하는 단계는, 상기 제1 곡인 음원 파일을 입력하는 단계 상기 입력된 음원 파일을 분석하여 상기 음원 파일의 스케일(scale), 평균 에너지(average Energy), 배음(Harmonics), 리듬(Rhythm), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality) 중 적어도 하나를 포함하는 물리적 속성값을 계산하는 단계; 상기 물리적 속성값을 동일한 스케일(scale)로 정규화(normalization)하는 단계; 상기 정규화된 물리적 속성값 중 적어도 하나를 이용하여 상기 제1 곡의 감정 벡터에 대응되는 감정 메타 속성값이 배치되는 감정 평면 상의 위치를 나타내는 제1 위치값을 계산하는 단계; 상기 제1 위치값을 계산하기 위한 물리적 속성값을 제외한 물리적 속성값 중 적어도 하나를 이용하여 상기 감정 평면 상의 위치를 나타내는 제2 위치값을 계산하는 단계; 및 상기 제1 위치값 및 상기 제2 위치값을 가지는 음원 파일을 상기 감정 평면에 위치시켜 상기 음원 파일이 상기 감정 메타 속성값을 가지도록 설정하는 단계를 포함할 수 있다.
상기 제1 위치값을 계산하는 단계는, 상기 정규화된 물리적 속성값들 중 스케일 값, 평균 에너지 값, 리듬 값, 및 배음(Harmonics) 값의 합을 계산하고, 상기 제1 위치값에 포함되는 상기 계산된 합을 상기 감정 평면의 중심으로부터의 거리로 설정하는 단계를 포함하고, 상기 제2 위치값을 계산하는 단계는, 상기 정규화된 물리적 속성값들 중 빠르기(tempo) 값, 명료도(Articulation) 값, 강도(Intensity) 값, 및 조성(Tonality) 값의 합을 계산하고, 상기 제2 위치값에 포함되는 상기 계산된 합을 상기 감정 평면의 X축을 기준으로 회전하는 각도로 설정하는 단계를 포함하고, 상기 감정 메타 속성값을 가지도록 설정하는 단계는, 상기 거리 및 상기 각도를 가지는 음원 파일을 상기 감정 평면에 위치시켜 상기 음원 파일이 상기 감정 메타 속성값을 가지도록 설정하는 단계를 포함할 수 있다.
상기 제1 곡의 감정벡터로 설정하는 단계는, 상기 제2 곡인 신규 음원 파일을 입력하는 단계; 상기 입력된 신규 음원 파일을 분석하여 상기 음원 파일의 스케일(scale), 평균 에너지(average Energy), 배음(Harmonics), 리듬(Rhythm), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality) 중 적어도 하나를 포함하는 물리적 속성값을 계산하는 단계; 상기 물리적 속성값을 동일한 스케일(scale)로 정규화(normalization)하는 단계; 및 상기 정규화된 신규 음원 파일의 물리적 속성값과 상기 제1 곡인 음원 파일의 물리적 속성값을 비교하여 상기 제2 곡의 감정 벡터를 설정하는 단계를 포함할 수 있다.
상기 과제를 해결하기 위하여, 본 발명의 실시예에 따른 음악 플레이리스트 생성장치는, 샘플 곡인 제1 곡과, 신규 곡인 제2 곡을 수신하는 수신부; 상기 수신부에 수신된 제1 곡 및 제2 곡을 각각 분석하여 물리적 속성값을 계산하고, 상기 제1 곡의 물리적 속성값을 이용하여 상기 제1 곡의 감정 벡터를 계산하는 분석부; 상기 제2 곡의 물리적 속성값과 상기 제1 곡의 물리적 속성값을 비교하여 상기 제2 곡의 물리적 속성값과 가장 유사한 물리적 속성값을 가지는 상기 제1 곡을 구하고 상기 구한 제1 곡의 감정 벡터를 상기 제2 곡의 감정벡터로 설정하는 비교부; 및 상기 계산된 감정 벡터를 가지는 제1 곡과 상기 설정된 감정벡터를 가지는 제2 곡을 조합하여 음악 플레이리스트를 생성하는 생성부;를 포함할 수 있다.
상기 물리적 속성값은 MFCC(Mel-frequency cepstral coefficient) 벡터값일 수 있다. 상기 물리적 속성값은, 스케일(scale), 평균 에너지(Average Energy), 리듬(Rhythm), 배음(Harmonics), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality) 중 적어도 하나를 포함할 수 있다.
상기 분석부는, 상기 제1 곡인 음원 파일을 분석하여 상기 음원 파일의 스케일(scale), 평균 에너지(average Energy), 배음(Harmonics), 리듬(Rhythm), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality) 중 적어도 하나를 포함하는 물리적 속성값을 계산하고, 상기 물리적 속성값을 동일한 스케일(scale)로 정규화(normalization)하고, 상기 정규화된 물리적 속성값 중 적어도 하나를 이용하여 상기 제1 곡의 감정 벡터에 대응되는 감정 메타 속성값이 배치되는 감정 평면 상의 위치를 나타내는 제1 위치값을 계산하고, 상기 제1 위치값을 계산하기 위한 물리적 속성값을 제외한 물리적 속성값 중 적어도 하나를 이용하여 상기 감정 평면 상의 위치를 나타내는 제2 위치값을 계산하고, 상기 제1 위치값 및 상기 제2 위치값을 가지는 음원 파일을 상기 감정 평면에 위치시켜 상기 음원 파일이 상기 감정 메타 속성값을 가지도록 설정할 수 있다.
상기 분석부는, 상기 정규화된 물리적 속성값들 중 스케일 값, 평균 에너지 값, 리듬 값, 및 배음(Harmonics) 값의 합을 계산하고 상기 제1 위치값에 포함되는 상기 계산된 합을 상기 제1 곡의 감정 벡터에 대응되는 감정 속성 값이 배치되는 감정 평면의 중심으로부터의 거리로 설정하고, 상기 정규화된 물리적 속성값들 중 빠르기(tempo) 값, 명료도(Articulation) 값, 강도(Intensity) 값, 및 조성(Tonality) 값의 합을 계산하고 상기 제2 위치값에 포함되는 상기 계산된 합을 상기 감정 평면의 X축을 기준으로 회전하는 각도로 설정하고, 상기 거리 및 상기 각도를 가지는 음원 파일을 상기 감정 평면에 위치시켜 상기 음원 파일이 상기 감정 속성 값을 가지도록 설정할 수 있다.
상기 비교부는, 상기 제2 곡인 신규 음원 파일을 분석하여 상기 음원 파일의 스케일(scale), 평균 에너지(average Energy), 배음(Harmonics), 리듬(Rhythm), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality) 중 적어도 하나를 포함하는 물리적 속성값을 계산하고, 상기 물리적 속성값을 동일한 스케일(scale)로 정규화(normalization)하고, 상기 정규화된 신규 음원 파일의 물리적 속성값과 상기 제1 곡인 음원 파일의 물리적 속성값을 비교하여 상기 제2 곡의 감정 벡터를 설정할 수 있다.
전술한 본 발명의 실시예에 따르면, 음악 플레이리스트 생성방법 및 생성장치는, 샘플 곡(sample song)의 음향학적 속성 분석을 통해 감정 메타 모델을 생성하고 상기 생성된 감정 메탈 모델(emotion meta model)을 이용하여 신규 곡(new song)의 감정 속성을 설정할 수 있으므로, 신규 곡의 감정 속성을 빠르게 설정할 수 있다.
또한 본 발명에 따른 음악 플레이리스트 생성방법 및 생성장치는 추가 연산을 통한 신규 곡의 감정 벡터값 산출이 필요하지 않으므로, 신규 곡의 감정 속성을 빠르게 부여할 수 있다.
본 발명의 상세한 설명에서 사용되는 도면을 보다 충분히 이해하기 위하여, 각 도면의 간단한 설명이 제공된다.
도 1은 음악 데이터 선곡방법의 예를 설명하는 도면이다.
도 2는 본 발명의 실시예에 따른 음악 플레이리스트의 생성방법을 설명하는 도면이다.
도 3은 도 2에 도시된 음악 플레이리스트 생성방법의 실시예를 설명하는 흐름도(flow chart)이다.
도 4는 도 3에 도시된 음원파일 분석 결과에 따른 음원 파일(sound source file)의 예를 나타내는 도표(table)이다.
도 5는 도 3에 도시된 감정 메타 모델링의 예를 설명하는 도면이다.
도 6은 도 2에 도시된 음악 플레이리스트 생성방법의 실시예를 설명하는 흐름도(flow chart)이다.
도 7은 도 6에 도시된 음원파일 분석 결과에 따른 신규 음원 파일의 예를 나타내는 도표(table)이다.
도 8은 도 6에 도시된 대표 감정 음악 속성을 가진 음원 파일의 예를 나타내는 도표(table)이다.
도 9는 본 발명의 실시예에 따른 음악 플레이리스트 생성 장치를 설명하는 블락 다이어그램(block diagram)이다.
본 발명, 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는, 본 발명의 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용이 참조되어야 한다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예를 설명하는 것에 의해, 본 발명을 상세히 설명한다. 본 발명을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 각 도면에 제시된 동일한 참조 부호는 동일한 구성 요소를 나타낼 수 있다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 이 명세서에서, “포함하다” 또는 “가지다” 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 용어들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자(통상의 기술자)에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
차량 주행 중 운전자가 가장 먼저 하는 일은, 라디오(radio)를 켜거나 차량 내 오디오(audio)를 활용하여 음악을 듣는 일일 수 있다. 차량은 음악을 듣기에 가장 최적화된 환경을 제공하고 이를 통하여 운전자는 즐거움을 느낄 수 있다. 그러나 차량에서 원하는 음악을 듣는 것은 어려울 수 있다. 원하는 음악을 듣기 위해서는, 개인(운전자)은 CD(compact disc) 또는 음원(sound source)을 구매하여 직접 들어야 한다.
이러한 번거로움(수고)을 해결하기 위해, 차량에서 운전자(차량 사용자)의 현재 주행 상황과 어울리고 운전자가 좋아하는 음악을 청취할 수 있는 기술이 필요할 수 있다.
도 1은 음악 데이터 선곡방법의 예를 설명하는 도면이다.
상기 음악 데이터의 선곡 방법은, 위치 좌표값의 변환 값을 활용한 음악 데이터 선곡 방법일 수 있다. 상기 위치 좌표값의 변환 값은, 모든 음악(Songs)을 분류하기 위해 자동 분류부(Automated Classification unit)에서 사용될 수 있다.
도 1을 참고하면, 상기 음악 데이터 선곡(selection) 방법은, Human Classification unit(인간 분류부)을 통해 샘플(sample) 음악을 전문가(expert) 집단이 설정한 음악 카테고리(category)로 1차 분류한다. 음악 데이터 선곡 방법은 모든 음악(Songs)을 상기 전문가 집단이 설정한 음악 카테고리를 기준으로 모든 음악(songs)의 속성(attribute)을 재 분류하여 데이터베이스(Classified Songs)에 저장한 후 해당 음악을 기준으로 Playlist Generator(플레이리스트 생성기)을 통해 플레이리스트를 생성할 수 있다.
도 2는 본 발명의 실시예에 따른 음악 플레이리스트의 생성방법을 설명하는 도면이다.
상기 음악 플레이리스트의 생성방법(100)은, 예를 들어, 도 9에 도시된 음악 플레이리스트 생성장치(400)에 의해 수행(실행)될 수 있다. 음악 플레이리스트 생성방법(100)은 음악 추천(recommendation) 서비스 관련 기술에 관한 것으로서, 스트리밍(streaming) 기반 온라인(online) 음악 서비스에서 음악의 감정 속성을 활용하여 차량에서 사용될 수 있는 추천 음악 리스트(list)(130)를 생성할 수 있다.
도 2를 참조하면, 음악 플레이리스트 생성방법(100)은, 전체 곡(105)에 포함된 초기 샘플곡(Sample Songs)(110)을 분석하여 감정 속성(mood vector)을 가진 곡(110)으로 1차 분류할 수 있다. 그 후, 음악 플레이리스트 생성방법(100)은, 샘플 곡(110)을 제외한 전체 곡(105)에 포함되는 신규 곡(New Songs)(115)의 속성을 물리적으로 분석하여 물리적 특징(feature) 값(물리적 속성값)을 추출한 후에 해당 값들을 샘플 곡(105)의 감정 메타(또는 감정 속성)(meta-mood)와 1차로 매칭(matching)시켜 모든 음악(105)에 감정메타 데이터를 추가할 수 있다. 음악 플레이리스트 생성방법(100)은, 사용자(또는 차량의 운전자)가 복수의 감정 메타를 선택했을 경우, 해당 감정 메타와 유의성(유사성)이 높은 값을 가진 음악들이 자동으로 플레이리스트(playlist)를 구성하도록 하는 것에 의해, 사용자가 선택한 감정 영역에 해당되는 플레이리스트(playlist, 재생목록)(130)를 제공할 수 있다.
감성모드 벡터 값(mood vector)이 부여되지 않은 새로운 곡(115)의 경우, 이 곡과 유사도(Similarity)가 가장 높은 샘플곡(Sample Song)의 감정 벡터(Mood Vector)를 이용하여 새로 추가되는 신규 곡(115)의 감정 벡터(Mood Vector) 값이 결정될 수 있다.
음악 플레이리스트 생성방법(100)에 대하여 부연하여 설명하면 다음과 같다.
전체 곡(전체 음악 또는 전체 음원)(105)은 감정벡터(mood vector)(또는 감성벡터)가 부여(설정)된 샘플 곡(sample song)(110)인 제1 곡과, 샘플 곡을 제외한 감정벡터가 부여되지 않는 나머지 신규 곡(new song)(115)인 제2 곡으로 분할(partition)(또는 분류)될 수 있다. 상기 분할은 도 9의 제어부(430)에 의해 수행될 수 있다.
신규 감정벡터 구하기 단계(120)에 따르면, 신규 곡(115)의 감정벡터는, 샘플 곡(110)에 포함된 감정벡터를 참조하여 계산될 수 있다. 부연하여 설명하면, 제2 곡(115)의 감정 벡터는, 아래의 [수학식]과 같이, 제2 곡(115)의 물리적 속성값과 가장 유사한 물리적 속성값을 가지는 제1 곡(110)의 감정벡터로 설정(부여)될 수 있다. 상기 물리적 속성값은 MFCC(Mel-frequency cepstral coefficient) 벡터값일 수 있고, 스케일(scale), 평균 에너지(Average Energy), 리듬(Rhythm), 배음(Harmonics), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality) 중 적어도 하나(적어도 어느 하나)를 포함할 수 있다.
[수학식]
Figure 112014119688956-pat00001
상기 [수학식]에서, m(n)은 신규 곡 집합(New Songs)(115)에 속하는 임의의 노래(n)의 감정벡터(mood vector)이고, m(s)는 샘플곡 집합(Sample Songs)(110)에 속하는 임의의 노래(s)의 감정 벡터(Mood Vector)이고, sim(s, n)은 샘플곡 집합에 속하는 임의의 노래(s)와 신규 곡 집합에 속하는 임의의 노래(n) 사이의 물리적 속성값에 관한 유사도(Similarity)를 구하는 함수일 수 있다. max는 상기 유사도 함수의 최대값을 구하도록 하는 함수를 지시(indication)하고, sqrt는 square root 함수를 지시할 수 있다.
두 노래인 신규 곡(115) 및 샘플 곡(110) 사이의 유사도(Similarity)는 MFCC(Mel-frequency cepstral coefficient) 벡터(Vector)를 이용하여 계산될 수 있다. MFCC란 멜-스케일(Mel-scale)로 표현된 음성 신호의 주파수별 파워(power) 스펙트럼의 형태를 정현파 성분으로 나타낸 것으로, 음원파일의 음색(timbre)을 정의하는 특성값을 의미할 수 있다.
신규 감정벡터 구하기 단계(120)에 의해 감정 벡터가 설정된 신규 곡인 제2 곡(125)과, 감정벡터가 부여된 제1 곡(110)은 병합되어 감정벡터를 가지는 전체 곡을 포함하는 음악 플레이리스트(130)가 생성(creation)될 수 있다.
도 3은 도 2에 도시된 음악 플레이리스트 생성방법의 실시예를 설명하는 흐름도(flow chart)이다.
상기 음악 플레이리스트 생성방법의 실시예(200)는 음악의 음향학적 속성 분석을 활용한 감정 메타 모델 생성 방법(감정 메타 모델 데이터 설정 방법)으로 언급될 수 있다.
도 3을 참고하면, 음원파일(sound source file) 입력 단계(205)에서, 감정 메타 분석을 위한 제1 곡(도 2의 110)인 음원 파일(디지털 음원 데이터)이 입력될 수 있다. 상기 음원 파일은, 예를 들어, Song1.mp3, song2.mp3, ..., songN.mp3와 같은 mp3 파일일 수 있다.
음원파일 분석 단계(210)에 따르면, 상기 입력된 개별 음원 파일이 분석되어 음원 파일에 관한 8가지의 물리적 속성들(physical attributes)이 계산(추출)될 수 있다. 상기 8개의 물리적 속성값은, 예를 들어, 제1 물리적 속성값(P1)인 스케일(Scale)(크기 또는 비트수(number of bit)), 제2 물리적 속성값(P2)인 평균 에너지(Average Energy), 제3 물리적 속성값(P3)인 리듬(Rhythm), 제4 물리적 속성값(P4)인 배음(倍音)(Harmonics)(또는 고조파), 제5 물리적 속성값(P5)인 빠르기(또는 템포)(Tempo), 제6 물리적 속성값(P6)인 명료도(Articulation), 제7 물리적 속성값(P7)인 강도(Intensity), 및 제8 물리적 속성값(P8)인 조성(Tonality)를 포함할 수 있다.
음원파일 분석 결과 단계(215)에 따르면, 상기 개별 음원 파일의 물리적 속성값이 동일한 스케일(scale)로 정규화(Normalization)될 수 있다. 상기 동일한 스케일로 정규화된 물리적 속성값을 가지는 음원파일의 예가 도 4에 도시되어 있다. 즉, 도 4는 도 3에 도시된 음원파일 분석 결과에 따른 음원 파일의 예를 나타내는 도표(table)이다.
감정 메타 모델링(modelling) 단계(220)에 따르면, 감정 메타 모델 생성을 위한 벡터값이 다음과 같이 계산될 수 있다.
상기 벡터값는, 도 5에 도시된 감정평면(감정 메타 모델) 중심으로부터의 거리와, 도 5에 도시된 감정평면의 X축을 기준으로 예를 들어 반시계 방향으로 회전하는 각도로 구성될 수 있다. 상기 감정평면 중심으로부터의 거리는, 제1 물리적 속성(P1), 제2 물리적 속성(P2), 제3 물리적 속성(P3), 및 제4 물리적 속성(P4)의 합(sum)일 수 있다. 감정평면에 위치하는 각도는 제5 물리적 속성(P5), 제6 물리적 속성(P6), 제7 물리적 속성(P7), 및 제8 물리적 속성(P8)의 합일 수 있다. 상기 두 개의 벡터 값을 통하여 각각의 노래들(음원 파일들)은 감정 평면 위의 하나의 값을 가지게 되고 해당 속성은 곡의 메타 데이터에 기록될 수 있다.
개별 속성의 벡터값을 통해 분류(재 분류)된 곡들은 동일한 또는 유사한 속성의 그룹으로 도 5 또는 도 8에 도시된 바와 같이 묶을 수 있으며 감정 평면상의 개별 속성에 대한 정의는 실험을 통해 변경될 수 있다. 도 5는 도 3에 도시된 감정 메타 모델링의 예를 설명하는 도면이다. 상기 감정 메타 모델은, Thayer의 2차원 감정 모델 기법을 사용한 모델일 수 있다. Thayer의 감정 모델은 Arousal-Valence 모델일 수 있다.
전술한 음악 플레이리스트 생성방법(200)을 부연하여 설명하면 다음과 같다.
먼저, 제1 곡(도 2의 110)인 음원 파일이 입력되고, 상기 입력된 음원 파일이 분석되어 상기 음원 파일의 스케일(scale), 평균 에너지(average Energy), 배음(Harmonics), 리듬(Rhythm), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality)을 포함하는 물리적 속성값들이 계산되며, 상기 물리적 속성값들 각각이 동일한 스케일(scale)로 정규화(normalization)될 수 있다. 본 발명의 다른 실시예에 있어서, 상기 입력된 음원 파일이 분석되어 상기 음원 파일의 스케일(scale), 평균 에너지(average Energy), 배음(Harmonics), 리듬(Rhythm), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality) 중 적어도 하나를 포함하는 물리적 속성값이 계산될 수 있다.
다음으로, 상기 정규화된 물리적 속성값들 중 스케일 값, 평균 에너지 값, 리듬 값, 및 배음(Harmonics) 값의 합이 계산하고, 제1 위치값에 포함되는 상기 계산된 합이 제1 곡(110)의 감정 벡터에 대응되는 감정 메타 속성값이 배치되는 감정 평면(감정 메타 모델)의 중심으로부터의 거리로 설정될 수 있다. 상기 정규화된 물리적 속성값들 중 빠르기(tempo) 값, 명료도(Articulation) 값, 강도(Intensity) 값, 및 조성(Tonality) 값의 합이 계산되고, 제2 위치값에 포함되는 상기 계산된 합이 상기 감정 평면의 X축을 기준으로 예를 들어 반시계 방향으로 회전하는 각도로 설정될 수 있다. 상기 음악의 감정 메타 속성값은, 도 5 또는 도 8에 도시된 바와 같이, 즐거운 감정, 신나는 감정, 또는 슬픈 감정 등일 수 있다. 상기 거리 및 상기 각도를 가지는 음원 파일이 상기 감정 평면에 위치(배치)되는 것에 의해 상기 음원 파일이 상기 감정 메타 속성값을 가지도록 설정(저장 또는 매핑(mapping))할 수 있다.
본 발명의 다른 실시예에 있어서, 상기 정규화된 물리적 속성값 중 적어도 하나를 이용하여 상기 제1 곡의 감정 벡터에 대응되는 감정 메타 속성값이 배치되는 감정 평면 상의 위치를 나타내는(지정하는) 상기 제1 위치값(예, X 좌표값)이 계산될 수 있다. 상기 제1 위치값을 계산하기 위한 물리적 속성값을 제외한(제1 위치값을 계산하기 위한 물리적 속성값과 다른) 물리적 속성값 중 적어도 하나를 이용하여 상기 감정 평면 상의 위치를 나타내는 상기 제2 위치값(예, Y 좌표값)이 계산될 수 있다. 상기 제1 위치값 및 상기 제2 위치값을 가지는 음원 파일이 상기 감정 평면에 위치되는 것에 의해 상기 음원 파일이 상기 감정 메타 속성값을 가지도록 설정될 수 있다.
도 6은 도 2에 도시된 음악 플레이리스트 생성방법의 실시예를 설명하는 흐름도(flow chart)이다.
상기 음악 플레이리스트 생성방법의 실시예(300)는 신규 곡 추가에 따른 감정 속성 분류 방법으로 언급될 수 있고 도 3을 참조하여 설명된 음악 플레이리스트 생성방법 이후에 수행되는 프로세스(process)일 수 있다. 음악 플레이리스트 생성방법(300)은 감정 속성을 가진 대표곡의 물리적 속성(도 3의 음악 플레이리스트 생성방법(200)에 의해 생성된 감정 메타 모델)과 신규 곡의 음원 파일의 물리적 속성을 비교하여 해당 신규곡에 감정 속성(감정 벡터)을 부여하는 방법일 수 있다.
도 6을 참조하면, 신규 음원파일 입력 단계(305)에서, 감정 메타 분석을 위한 제2 곡(도 2의 115)인 음원 파일이 입력될 수 있다. 상기 음원 파일은, 예를 들어, Song1.mp3, song2.mp3, ..., songN.mp3와 같은 mp3 파일일 수 있다. 설명의 편의를 위해, 상기 신규 음원파일은 도 3에 실시예에서 이용된, 분석이 완료된 음원파일이 사용될 수 있다.
음원파일 분석 단계(310)에 따르면, 신규 음원파일 입력단계(305)에서 입력된 음원 파일이 분석되어 음원 파일에 관한 8가지의 물리적 속성들이 계산될 수 있다. 상기 8개의 물리적 속성값은, 예를 들어, 제1 물리적 속성값(P1)인 스케일(Scale), 제2 물리적 속성값(P2)인 평균 에너지(Average Energy), 제3 물리적 속성값(P3)인 리듬(Rhythm), 제4 물리적 속성값(P4)인 배음(Harmonics), 제5 물리적 속성값(P5)인 빠르기(Tempo), 제6 물리적 속성값(P6)인 명료도(Articulation), 제7 물리적 속성값(P7)인 강도(Intensity), 및 제8 물리적 속성(P8)인 조성(Tonality)를 포함할 수 있다.
음원파일 분석 결과 단계(315)에 따르면, 신규 음원 파일의 물리적 속성값이 동일한 스케일(scale)로 정규화(Normalization)될 수 있다. 상기 동일한 스케일로 정규화된 물리적 속성값을 가지는 신규 음원파일의 예가 도 7에 도시되어 있다. 즉, 도 7은 도 6에 도시된 음원파일 분석 결과에 따른 신규 음원 파일의 예를 나타내는 도표(table)이다.
비교 단계(320)에 따르면, 음원파일 분석 결과에 따른 신규 음원 파일은, 도 8에 도시된 대표 감정 음악 속성을 가진 음원 파일의 예(도 3의 음악 플레이리스트 생성방법(200)에 의해 생성된 감정 메타 모델)와 비교될 수 있다. 부연하여 설명하면, 상기 정규화(normalization)된 신규 음원 파일의 물리적 속성값과 대표 감정 속성을 가지는 음원 파일의 물리적 속성값이 서로 비교될 수 있다.
감정 속성 부여 단계(325)에 따르면, 비교 단계(320)에서의 비교 결과, 특정 신규 음원 파일과, 물리적 속성이 가장 유사한 대표 감정 속성 음원 파일의 대표 감정 음악 속성이, 상기 특정 신규 음원 파일의 감정 속성으로 부여(저장)될 수 있다.
음악 플레이리스트 생성방법(300)은 전술한 바와 같이 추가 연산을 통한 감정 벡터값 산출이 불필요한 장점을 가지고 있으므로, 임베딩(Embedding) 환경에서 쉽게 사용할 수 있다.
전술한 음악 플레이리스트 생성방법(300)을 부연하여 설명하면 다음과 같다.
먼저, 제2 곡(도 2의 115)인 신규 음원 파일이 입력되고, 상기 입력된 신규 음원 파일이 분석되어 상기 음원 파일의 스케일(scale), 평균 에너지(average Energy), 배음(Harmonics), 리듬(Rhythm), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality)을 포함하는 물리적 속성값들이 계산될 수 있다. 본 발명의 다른 실시예에 있어서, 상기 입력된 신규 음원 파일이 분석되어 상기 음원 파일의 스케일(scale), 평균 에너지(average Energy), 배음(Harmonics), 리듬(Rhythm), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality) 중 적어도 하나를 포함하는 물리적 속성값이 계산될 수 있다.
다음으로, 상기 물리적 속성값들 각각이 동일한 스케일(scale)로 정규화(normalization)될 수 있다. 상기 정규화된 신규 음원 파일의 물리적 속성값과 제1 곡(110)인 음원 파일의 물리적 속성값이 비교되고 상기 비교한 결과 제2 곡(115)의 감정 벡터는 제2 곡의 물리적 속성값과 가장 유사한 물리적 속성값을 가지는 제1 곡(110)의 감정벡터로 설정될 수 있다.
전술한 본 발명의 실시예에 따른 음악의 감정 속성 분석을 통한 음악 플레이리스트 생성(제공) 방법이 다음과 같이 다시 설명될 수 있다.
샘플 곡(sample song)에 대해 1차적으로 물리적 상세 속성 분석을 통하여, 8개의 물리적 속성값에 의해 계산되는 감정 벡터 값을 가진 감정 메타(meta) 데이터(감정 속성 정보)가 샘플 곡에 부여될 수 있다.
다음으로, 샘플 곡(sample song)을 제외한 나머지 모든 음원들(신규 음원들)의 물리적 속성이 분석되어 상기 감정 벡터를 가진 샘플곡들과의 유사도 분석이 실시될 수 있다.
다음으로, 신규 곡과 감정 벡터를 가진 샘플곡 간의 연관성 분석을 통하여 가장 상관관계(유사도)가 높은 감정 벡터가 신규 곡에 추가(부여)될 수 있다. 따라서 샘플 곡과의 비교를 통해 플레이리스트에 새로 추가될 수 있는 신규 곡도 감정 속성을 가질 수 있다.
전술한 방법을 통하여 신규 곡이 추가되면 분석 속도가 빠른 음악의 유사도 비교 방식의 일종인 MFCC 분석 방식을 통해 감정 속성이 신규 곡에 빠르게 부여될 수 있다.
도 9는 본 발명의 실시예에 따른 음악 플레이리스트 생성 장치를 설명하는 블락 다이어그램(block diagram)이다.
도 9를 참조하면, 상기 음악 플레이리스트 생성 장치(400)는, 수신부(405), 분석부(410), 비교부(415), 생성부(420), 및 제어부(430)를 포함할 수 있다.
음악 플레이리스트 생성 장치(400)는 차량에 장착(설치)될 수 있다. 이 경우, 음악 플레이리스트 생성 장치(400)는 차량 오디오 재생 장치로 언급될 수 있다.
수신부(405)는 샘플곡인 제1 곡과, 신규 곡인 제2 곡을 수신할 수 있다.
분석부(410)는 수신부(405)에 수신된 제1 곡 및 제2 곡을 각각 분석하여(제1 곡 및 제2 곡 각각에 대한 오디오(audio) 신호 처리를 통해) 물리적 속성값을 계산(추출)하고, 상기 제1 곡의 물리적 속성값을 이용하여 상기 제1 곡의 감정 벡터를 계산할 수 있다. 상기 물리적 속성값은 MFCC(Mel-frequency cepstral coefficient) 벡터값일 수 있고, 스케일(scale), 평균 에너지(Average Energy), 리듬(Rhythm), 배음(Harmonics), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality) 중 적어도 하나를 포함할 수 있다.
비교부(415)는 상기 제2 곡의 물리적 속성값과 상기 제1 곡의 물리적 속성값을 비교하여 상기 제2 곡의 물리적 속성값과 가장 유사한 물리적 속성값을 가지는 상기 제1 곡을 구하고 상기 구한 제1 곡의 감정 벡터를 상기 제2 곡의 감정벡터로 설정할 수 있다. 예를 들어, 제2 곡의 물리적 속성값과 제1 곡의 물리적 속성값의 차이 값이 최소일 때, 제2 곡의 물리적 속성값과 제1 곡의 물리적 속성값은 서로 가장 유사할 수 있다.
생성부(420)는 상기 계산된 감정 벡터를 가지는 제1 곡과 상기 설정된 감정벡터를 가지는 제2 곡을 조합(combination)하여 음악 플레이리스트를 생성할 수 있다.
분석부(410)는, 상기 제1 곡인 음원 파일을 분석하여 상기 음원 파일의 스케일(scale), 평균 에너지(average Energy), 배음(Harmonics), 리듬(Rhythm), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality)을 포함하는 물리적 속성값들을 계산하고, 상기 물리적 속성값들 각각을 동일한 스케일(scale)로 정규화(normalization)하고, 상기 정규화된 물리적 속성값들 중 스케일 값, 평균 에너지 값, 리듬 값, 및 배음(Harmonics) 값의 합을 계산하고 제1 위치값에 포함되는 상기 계산된 합을 상기 제1 곡의 감정 벡터에 대응되는 감정 속성 값(감정 메타 속성값)이 배치되는 감정 평면의 중심으로부터의 거리로 설정하고, 상기 정규화된 물리적 속성값들 중 빠르기(tempo) 값, 명료도(Articulation) 값, 강도(Intensity) 값, 및 조성(Tonality) 값의 합을 계산하고 제2위치값에 포함되는 상기 계산된 합을 상기 감정 평면의 X축을 기준으로 예를 들어 반시계 방향으로 회전하는 각도로 설정하고, 상기 거리 및 상기 각도를 가지는 음원 파일을 상기 감정 평면에 위치(배치)시켜 상기 음원 파일이 상기 감정 속성 값(감정 메타 속성값)을 가지도록 설정될 수 있다.
본 발명의 다른 실시예에 있어서, 분석부(410)는,상기 제1 곡인 음원 파일을 분석하여 상기 음원 파일의 스케일(scale), 평균 에너지(average Energy), 배음(Harmonics), 리듬(Rhythm), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality) 중 적어도 하나를 포함하는 물리적 속성값을 계산하고, 상기 물리적 속성값을 동일한 스케일(scale)로 정규화(normalization)하고, 상기 정규화된 물리적 속성값 중 적어도 하나를 이용하여 상기 제1 곡의 감정 벡터에 대응되는 감정 메타 속성값이 배치되는 감정 평면 상의 위치를 나타내는 상기 제1 위치값을 계산하고, 상기 제1 위치값을 계산하기 위한 물리적 속성값을 제외한 물리적 속성값 중 적어도 하나를 이용하여 상기 감정 평면 상의 위치를 나타내는 상기 제2 위치값을 계산하고, 상기 제1 위치값 및 상기 제2 위치값을 가지는 음원 파일을 상기 감정 평면에 위치시켜 상기 음원 파일이 상기 감정 메타 속성값을 가지도록 설정할 수 있다.
비교부(415)는, 상기 제2 곡인 신규 음원 파일을 분석하여 상기 음원 파일의 스케일(scale), 평균 에너지(average Energy), 배음(Harmonics), 리듬(Rhythm), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality)을 포함하는 물리적 속성값들을 계산하고, 상기 물리적 속성값들 각각을 동일한 스케일(scale)로 정규화(normalization)하고, 상기 정규화된 신규 음원 파일의 물리적 속성값과 상기 제1 곡인 음원 파일의 물리적 속성값을 비교하여 상기 제2 곡의 감정 벡터를 설정할 수 있다.
본 발명의 다른 실시예에 있어서, 비교부(415)는, 상기 제2 곡인 신규 음원 파일을 분석하여 상기 음원 파일의 스케일(scale), 평균 에너지(average Energy), 배음(Harmonics), 리듬(Rhythm), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality) 중 적어도 하나를 포함하는 물리적 속성값을 계산하고, 상기 물리적 속성값을 동일한 스케일(scale)로 정규화(normalization)하고, 상기 정규화된 신규 음원 파일의 물리적 속성값과 상기 제1 곡인 음원 파일의 물리적 속성값을 비교하여 상기 제2 곡의 감정 벡터를 설정할 수 있다.
제어부(430)는, CPU(central processing unit)(또는 processor)의 기능을 수행하고, 수신부(405), 분석부(410), 비교부(415), 및 생성부(420)의 전체적인 동작을 제어할 수 있다. 제어부는 본 발명에 따른 음악 플레이리스트 생성방법을 수행하기 위한 일련의 명령을 포함하는 프로그램(program)을 포함할 수 있다.
본 실시예에서 사용되는 구성요소 또는 “~부(unit)” 또는 블록 또는 모듈은 메모리 상의 소정 영역에서 수행되는 태스크, 클래스, 서브 루틴, 프로세스, 오브젝트, 실행 쓰레드, 프로그램과 같은 소프트웨어(software)나, FPGA(fieldprogrammable gate array)나 ASIC(application-specific integrated circuit)과 같은 하드웨어(hardware)로 구현될 수 있으며, 또한 상기 소프트웨어 및 하드웨어의 조합으로 이루어질 수도 있다. 상기 구성요소 또는 '~부' 등은 컴퓨터로 판독 가능한 저장 매체에 포함되어 있을 수도 있고, 복수의 컴퓨터에 그 일부가 분산되어 분포될 수도 있다.
이상에서와 같이, 도면과 명세서에서 실시예가 개시되었다. 여기서, 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이며 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로 이 기술분야의 통상의 지식을 가진 자는 본 발명으로부터 다양한 변형 및 균등한 실시예가 가능하다는 점을 이해할 수 있을 것이다. 따라서 이 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
210: 음원파일 분석단계
215: 음원파일 분석결과 단계
220: 감정 메타 모델링 단계
310: 음원파일 분석단계
315: 음원파일 분석결과 단계
320: 비교단계
410: 분석부
415: 비교부

Claims (12)

  1. 음악 플레이리스트 생성방법에 있어서,
    전체 곡을, 감정벡터(mood vector)가 부여된 샘플 곡(sample song)인 제1 곡과, 감성벡터가 부여되지 않는 신규 곡(new song)인 제2 곡으로 분할하는 단계;
    상기 제2 곡의 감정 벡터를, 상기 제2 곡의 물리적 속성값과 가장 유사한 물리적 속성값을 가지는 상기 제1 곡의 감정벡터로 설정하는 단계; 및
    상기 감정 벡터가 설정된 제2 곡과, 상기 제1 곡을 병합하여 감정벡터를 가지는 전체 곡을 포함하는 음악 플레이리스트를 생성하는 단계
    를 포함하고,
    상기 분할하는 단계는,
    상기 제1 곡인 음원 파일을 입력하는 단계;
    상기 입력된 음원 파일을 분석하여 상기 음원 파일의 스케일(scale), 평균 에너지(average Energy), 배음(Harmonics), 리듬(Rhythm), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality) 중 적어도 하나를 포함하는 물리적 속성값을 계산하는 단계;
    상기 물리적 속성값을 동일한 스케일(scale)로 정규화(normalization)하는 단계;
    상기 정규화된 물리적 속성값 중 적어도 하나를 이용하여 상기 제1 곡의 감정 벡터에 대응되는 감정 메타 속성값이 배치되는 감정 평면 상의 위치를 나타내는 제1 위치값을 계산하는 단계;
    상기 제1 위치값을 계산하기 위한 물리적 속성값을 제외한 나머지 물리적 속성값 중 적어도 하나를 이용하여 상기 감정 평면 상의 위치를 나타내는 제2 위치값을 계산하는 단계; 및
    상기 제1 위치값 및 상기 제2 위치값을 가지는 음원 파일을 상기 감정 평면에 위치시켜 상기 음원 파일이 상기 감정 메타 속성값을 가지도록 설정하는 단계를 포함하는 음악 플레이리스트 생성방법.
  2. 제1항에 있어서,
    상기 물리적 속성값은 MFCC(Mel-frequency cepstral coefficient) 벡터값인 것을 특징으로 하는 음악 플레이리스트 생성방법.
  3. 삭제
  4. 삭제
  5. 제1항에 있어서,
    상기 제1 위치값을 계산하는 단계는, 상기 정규화된 물리적 속성값들 중 스케일 값, 평균 에너지 값, 리듬 값, 및 배음(Harmonics) 값의 합을 계산하고, 상기 제1 위치값에 포함되는 상기 계산된 합을 상기 감정 평면의 중심으로부터의 거리로 설정하는 단계를 포함하고,
    상기 제2 위치값을 계산하는 단계는, 상기 정규화된 물리적 속성값들 중 빠르기(tempo) 값, 명료도(Articulation) 값, 강도(Intensity) 값, 및 조성(Tonality) 값의 합을 계산하고, 상기 제2 위치값에 포함되는 상기 계산된 합을 상기 감정 평면의 X축을 기준으로 회전하는 각도로 설정하는 단계를 포함하고,
    상기 감정 메타 속성값을 가지도록 설정하는 단계는, 상기 거리 및 상기 각도를 가지는 음원 파일을 상기 감정 평면에 위치시켜 상기 음원 파일이 상기 감정 메타 속성값을 가지도록 설정하는 단계를 포함하는 것을 특징으로 하는 음악 플레이리스트 생성방법.
  6. 제5항에 있어서, 상기 제1 곡의 감정벡터로 설정하는 단계는,
    상기 제2 곡인 신규 음원 파일을 입력하는 단계;
    상기 입력된 신규 음원 파일을 분석하여 상기 음원 파일의 스케일(scale), 평균 에너지(average Energy), 배음(Harmonics), 리듬(Rhythm), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality) 중 적어도 하나를 포함하는 물리적 속성값을 계산하는 단계;
    상기 물리적 속성값을 동일한 스케일(scale)로 정규화(normalization)하는 단계; 및
    상기 정규화된 신규 음원 파일의 물리적 속성값과 상기 제1 곡인 음원 파일의 물리적 속성값을 비교하여 상기 제2 곡의 감정 벡터를 설정하는 단계를 포함하는 것을 특징으로 하는 음악 플레이리스트 생성방법.
  7. 음악 플레이리스트 생성장치에 있어서,
    샘플 곡인 제1 곡과, 신규 곡인 제2 곡을 수신하는 수신부;
    상기 수신부에 수신된 제1 곡 및 제2 곡을 각각 분석하여 물리적 속성값을 계산하고, 상기 제1 곡의 물리적 속성값을 이용하여 상기 제1 곡의 감정 벡터를 계산하는 분석부;
    상기 제2 곡의 물리적 속성값과 상기 제1 곡의 물리적 속성값을 비교하여 상기 제2 곡의 물리적 속성값과 가장 유사한 물리적 속성값을 가지는 상기 제1 곡을 구하고 상기 구한 제1 곡의 감정 벡터를 상기 제2 곡의 감정벡터로 설정하는 비교부; 및
    상기 계산된 감정 벡터를 가지는 제1 곡과 상기 설정된 감정벡터를 가지는 제2 곡을 조합하여 음악 플레이리스트를 생성하는 생성부;
    를 포함하고,
    상기 분석부는,
    상기 제1 곡인 음원 파일을 분석하여 상기 음원 파일의 스케일(scale), 평균 에너지(average Energy), 배음(Harmonics), 리듬(Rhythm), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality) 중 적어도 하나를 포함하는 물리적 속성값을 계산하고, 상기 물리적 속성값을 동일한 스케일(scale)로 정규화(normalization)하고, 상기 정규화된 물리적 속성값 중 적어도 하나를 이용하여 상기 제1 곡의 감정 벡터에 대응되는 감정 메타 속성값이 배치되는 감정 평면 상의 위치를 나타내는 제1 위치값을 계산하고, 상기 제1 위치값을 계산하기 위한 물리적 속성값을 제외한 나머지 물리적 속성값 중 적어도 하나를 이용하여 상기 감정 평면 상의 위치를 나타내는 제2 위치값을 계산하고, 상기 제1 위치값 및 상기 제2 위치값을 가지는 음원 파일을 상기 감정 평면에 위치시켜 상기 음원 파일이 상기 감정 메타 속성값을 가지도록 설정하는 음악 플레이리스트 생성장치.
  8. 제7항에 있어서,
    상기 물리적 속성값은 MFCC(Mel-frequency cepstral coefficient) 벡터값인 것을 특징으로 하는 음악 플레이리스트 생성장치.
  9. 삭제
  10. 삭제
  11. 제7항에 있어서, 상기 분석부는,
    상기 정규화된 물리적 속성값들 중 스케일 값, 평균 에너지 값, 리듬 값, 및 배음(Harmonics) 값의 합을 계산하고 상기 제1 위치값에 포함되는 상기 계산된 합을 상기 제1 곡의 감정 벡터에 대응되는 감정 속성 값이 배치되는 감정 평면의 중심으로부터의 거리로 설정하고, 상기 정규화된 물리적 속성값들 중 빠르기(tempo) 값, 명료도(Articulation) 값, 강도(Intensity) 값, 및 조성(Tonality) 값의 합을 계산하고 상기 제2 위치값에 포함되는 상기 계산된 합을 상기 감정 평면의 X축을 기준으로 회전하는 각도로 설정하고, 상기 거리 및 상기 각도를 가지는 음원 파일을 상기 감정 평면에 위치시켜 상기 음원 파일이 상기 감정 속성 값을 가지도록 설정하는 것을 특징으로 하는 음악 플레이리스트 생성장치.
  12. 제11항에 있어서, 상기 비교부는,
    상기 제2 곡인 신규 음원 파일을 분석하여 상기 음원 파일의 스케일(scale), 평균 에너지(average Energy), 배음(Harmonics), 리듬(Rhythm), 빠르기(tempo), 명료도(Articulation), 강도(Intensity), 및 조성(Tonality) 중 적어도 하나를 포함하는 물리적 속성값을 계산하고, 상기 물리적 속성값을 동일한 스케일(scale)로 정규화(normalization)하고, 상기 정규화된 신규 음원 파일의 물리적 속성값과 상기 제1 곡인 음원 파일의 물리적 속성값을 비교하여 상기 제2 곡의 감정 벡터를 설정하는 것을 특징으로 하는 음악 플레이리스트 생성장치.
KR1020140175826A 2014-12-09 2014-12-09 음악 플레이리스트 생성방법, 및 음악 플레이리스트 생성장치 KR101637282B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020140175826A KR101637282B1 (ko) 2014-12-09 2014-12-09 음악 플레이리스트 생성방법, 및 음악 플레이리스트 생성장치
US14/721,567 US9990413B2 (en) 2014-12-09 2015-05-26 Method and device for generating music playlist
CN201510399221.5A CN105677690B (zh) 2014-12-09 2015-07-09 生成音乐播放列表的方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140175826A KR101637282B1 (ko) 2014-12-09 2014-12-09 음악 플레이리스트 생성방법, 및 음악 플레이리스트 생성장치

Publications (2)

Publication Number Publication Date
KR20160069784A KR20160069784A (ko) 2016-06-17
KR101637282B1 true KR101637282B1 (ko) 2016-07-07

Family

ID=56094529

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140175826A KR101637282B1 (ko) 2014-12-09 2014-12-09 음악 플레이리스트 생성방법, 및 음악 플레이리스트 생성장치

Country Status (3)

Country Link
US (1) US9990413B2 (ko)
KR (1) KR101637282B1 (ko)
CN (1) CN105677690B (ko)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9792084B2 (en) 2015-01-02 2017-10-17 Gracenote, Inc. Machine-led mood change
US11681738B2 (en) * 2015-04-08 2023-06-20 Christopher John Allison Creative arts recommendation systems and methods
JP6839818B2 (ja) * 2017-05-17 2021-03-10 パナソニックＩｐマネジメント株式会社 コンテンツ提供方法、コンテンツ提供装置及びコンテンツ提供プログラム
US10770044B2 (en) * 2017-08-31 2020-09-08 Spotify Ab Lyrics analyzer
CN110717062B (zh) * 2018-07-11 2024-03-22 斑马智行网络(香港)有限公司 音乐搜索及车载音乐播放方法、装置、设备以及存储介质
US11275350B2 (en) 2018-11-05 2022-03-15 Endel Sound GmbH System and method for creating a personalized user environment
CN110008371A (zh) * 2019-04-16 2019-07-12 张怡卓 一种基于人脸表情识别的个性化音乐推荐方法及系统
US11681747B2 (en) 2019-11-25 2023-06-20 Gracenote, Inc. Methods and apparatus to generate recommendations based on attribute vectors
US11615772B2 (en) * 2020-01-31 2023-03-28 Obeebo Labs Ltd. Systems, devices, and methods for musical catalog amplification services
US20220365746A1 (en) * 2021-05-13 2022-11-17 Ford Global Technologies, Llc Generating a visual representation of a sound clip

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6539395B1 (en) * 2000-03-22 2003-03-25 Mood Logic, Inc. Method for creating a database for comparing music
US6748395B1 (en) * 2000-07-14 2004-06-08 Microsoft Corporation System and method for dynamic playlist of media
US7899564B2 (en) * 2004-11-09 2011-03-01 Bang & Olufsen Procedure and apparatus for generating automatic replay of recordings
US7777125B2 (en) * 2004-11-19 2010-08-17 Microsoft Corporation Constructing a table of music similarity vectors from a music similarity graph
KR100615522B1 (ko) * 2005-02-11 2006-08-25 한국정보통신대학교 산학협력단 음악 컨텐츠 분류 방법 그리고 이를 이용한 음악 컨텐츠 제공 시스템 및 그 방법
US7672916B2 (en) * 2005-08-16 2010-03-02 The Trustees Of Columbia University In The City Of New York Methods, systems, and media for music classification
US20080177773A1 (en) * 2007-01-22 2008-07-24 International Business Machines Corporation Customized media selection using degrees of separation techniques
JP4891802B2 (ja) 2007-02-20 2012-03-07 日本電信電話株式会社 コンテンツ検索・推薦方法、コンテンツ検索・推薦装置およびコンテンツ検索・推薦プログラム
US20090063971A1 (en) * 2007-08-31 2009-03-05 Yahoo! Inc. Media discovery interface
US8583615B2 (en) * 2007-08-31 2013-11-12 Yahoo! Inc. System and method for generating a playlist from a mood gradient
CN101398825B (zh) * 2007-09-29 2013-07-03 三星电子株式会社 用于快速音乐分类和检索的方法和设备
US8642872B2 (en) * 2008-03-03 2014-02-04 Microsoft Corporation Music steering with automatically detected musical attributes
US20120233164A1 (en) * 2008-09-05 2012-09-13 Sourcetone, Llc Music classification system and method
US8966394B2 (en) * 2008-09-08 2015-02-24 Apple Inc. System and method for playlist generation based on similarity data
CN101599271B (zh) * 2009-07-07 2011-09-14 华中科技大学 一种数字音乐情感的识别方法
KR101558605B1 (ko) 2009-12-03 2015-10-07 현대자동차주식회사 음악 분류 방법 및 음악 제공 시스템
JP2011221133A (ja) * 2010-04-06 2011-11-04 Sony Corp 情報処理装置、クライアント装置、サーバ装置、リスト生成方法、リスト取得方法、リスト提供方法、及びプログラム
US20110295843A1 (en) * 2010-05-26 2011-12-01 Apple Inc. Dynamic generation of contextually aware playlists
KR101593961B1 (ko) 2010-08-31 2016-02-15 한국전자통신연구원 감정 모델을 이용한 음악 검색 장치 및 방법
TWI533148B (zh) * 2011-12-13 2016-05-11 中華電信股份有限公司 具導航特性之音樂推薦系統與方法
US20140031961A1 (en) * 2012-07-26 2014-01-30 Google Inc. Method and System for Generating Location-Based Playlists
US20140067827A1 (en) * 2012-09-05 2014-03-06 Google Inc. Automatically generating music playlists based on an implicitly selected seed
KR101427926B1 (ko) 2012-12-13 2014-08-08 현대자동차 주식회사 차량의 음악 추천 시스템 및 그 방법

Also Published As

Publication number Publication date
US9990413B2 (en) 2018-06-05
US20160162565A1 (en) 2016-06-09
KR20160069784A (ko) 2016-06-17
CN105677690B (zh) 2021-02-09
CN105677690A (zh) 2016-06-15

Similar Documents

Publication Publication Date Title
KR101637282B1 (ko) 음악 플레이리스트 생성방법, 및 음악 플레이리스트 생성장치
US7805389B2 (en) Information processing apparatus and method, program and recording medium
US8489606B2 (en) Music search apparatus and method using emotion model
EP3508986A1 (en) Music cover identification for search, compliance, and licensing
US10296959B1 (en) Automated recommendations of audio narrations
KR101057919B1 (ko) 사용자들의 재생 목록 분석을 통한 맞춤형 음악 추천 방법
CN101398825B (zh) 用于快速音乐分类和检索的方法和设备
EP1929411A2 (en) Music analysis
CN103400593B (zh) 一种试听音频的方法及装置
WO2016102737A1 (en) Tagging audio data
JP4479210B2 (ja) サマリ作成用プログラム
Kostek et al. Creating a reliable music discovery and recommendation system
CN112037764A (zh) 一种音乐结构的确定方法、装置、设备及介质
Tzanetakis Song-specific bootstrapping of singing voice structure
WO2016102738A1 (en) Similarity determination and selection of music
US20180173400A1 (en) Media Content Selection
Abreu et al. Computer-aided musical orchestration using an artificial immune system
Krey et al. Music and timbre segmentation by recursive constrained K-means clustering
KR20120021174A (ko) 감정 모델을 이용한 음악 검색 장치 및 방법
Nagavi et al. Content based audio retrieval with MFCC feature extraction, clustering and sort-merge techniques
West et al. Incorporating machine-learning into music similarity estimation
Vatolkin et al. Partition based feature processing for improved music classification
Ding et al. Late fusion for acoustic scene classification using swarm intelligence
Lai Automatic music classification model based on instantaneous frequency and CNNs in high noise environment
Vatolkin et al. Evaluation of audio feature groups for the prediction of arousal and valence in music

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20190627

Year of fee payment: 4