KR20240038503A - 배경음악 매칭 장치, 드로잉 데이터에 대응되는 배경음악을 매칭하는 방법 및 컴퓨터 프로그램 - Google Patents

Abstract

본 명세서에서 개시되는 실시예들은, 배경음악 매칭 장치, 드로잉 데이터에 대응되는 배경음악을 매칭하는 방법 및 컴퓨터 프로그램을 제시하는데 목적이 있다. 또한, 본 명세서에서 개시되는 실시예들은, 드로잉 데이터의 속성값과 배경음악의 속성값 사이의 상관 관계를 이용하여, 드로잉 데이터에 대응하는 배경음악을 매칭하는데 목적이 있다. 또한, 본 명세서에서 개시되는 실시예들은, 드로잉 데이터의 속성값과, 사용자의 감정 상태를 고려하여 드로잉 데이터에 대응하는 배경음악을 매칭하는데 목적이 있다. 또한, 본 명세서에서 개시되는 실시예들은, 드로잉 데이터의 속성값과, 사용자의 감정 상태를 고려하여 배경음악을 편집하는데 목적이 있다. 또한, 본 명세서에서 개시되는 실시예들은, 드로잉 데이터가 드로잉되는 과정을 재생하면서 배경음악이 플레이되는 시청각 컨텐츠를 생성하는데 목적이 있다.

Description

배경음악 매칭 장치, 드로잉 데이터에 대응되는 배경음악을 매칭하는 방법 및 컴퓨터 프로그램{Background music matching device, method for matching background music corresponding to drawing data, and computer program}

본 개시의 실시예들은, 배경음악 매칭 장치, 드로잉 데이터에 대응되는 배경음악을 최적화하는 방법 및 컴퓨터 프로그램에 관한 것으로, 드로잉 데이터의 속성 값들을 기초로 배경음악을 매칭하여 새로운 시청각 컨텐츠를 생성하는 점을 특징으로 한다.

최근에는 태블릿 노트, 디지털 장치들의 활용과 보급이 급증하여 디지털 그림판으로 그림을 그리는 것이 일반적이다. 디지털 그림판에서 그려진 그림은 전자 장치를 통해서 디스플레이될 수 있다.

디지털 그림판에 그려진 재생 가능한 그림(Replay-able Drawing)은 소정의 배경음악과 함께 제공될 수 있다. 디지털 그림판에 그려진 재생 가능한 그림이 가진 특성에 최적화된 배경 음악과 함께 조합하여 출력된다면, 재생 가능한 그림이 가지는 대체 불가능한(NFT-able) 디지털 컨텐츠로서의 가치는 상승할 수 있다.

재생되는 그림(Replayed Drawing Process, DRP)은 (i)그림 자체가 가진 특성과 (ii)그림이 내포한 감정적인 특징을 포함할 수 있다. (ii)와 관련하여, 그림 그리는 과정의 다양한 터치 이벤트의 속성에 기반한 특성(OCEANS) 도출 알고리즘은 국내 출원 10-2020-012329에 개시된 바와 같다.

배경음악 역시 (i) 음악 자체가 가진 특성과, (ii) 음악이 내포한 감정적 특성이 있다. (ii)와 관련하여, 개인의 감정적 특성(OCEANS)과 음악 장르 별 선호도 사이의 상관 관계, 상관 관계 분석은 선행문헌 ‘Musical Preferences Predict Personality: Evidence From Active Listening and Facebook Likes (Volume 29, issue 7, 2018.3.27 출간)’에 개시된 바와 같다.

그런데, 재생되는 그림의 감정적 특성과 배경음악의 감정적 특성 사이의 상관 관계를 고려하여 재생되는 그림에 적합한 배경음악을 선별하여 제공할 필요성이 대두되고 있다.

본 명세서에서 개시되는 실시예들은, 배경음악 매칭 장치, 드로잉 데이터에 대응되는 배경음악을 매칭하는 방법 및 컴퓨터 프로그램을 제시하는데 목적이 있다.

또한, 본 명세서에서 개시되는 실시예들은, 드로잉 데이터의 속성값과 배경음악의 속성값 사이의 상관 관계를 이용하여, 드로잉 데이터에 대응하는 배경음악을 매칭하는데 목적이 있다.

또한, 본 명세서에서 개시되는 실시예들은, 드로잉 데이터의 속성값과, 사용자의 감정 상태를 고려하여 드로잉 데이터에 대응하는 배경음악을 매칭하는데 목적이 있다.

또한, 본 명세서에서 개시되는 실시예들은, 드로잉 데이터의 속성값과, 사용자의 감정 상태를 고려하여 배경음악을 편집하는데 목적이 있다.

또한, 본 명세서에서 개시되는 실시예들은, 드로잉 데이터가 드로잉되는 과정을 재생하면서 배경음악이 플레이되는 시청각 컨텐츠를 생성하는데 목적이 있다.

또한, 본 명세서에서 개시되는 실시예들은, 재생되는 그림(드로잉 데이터)와 배경음악이 가진 각각의 속성값과 감정적 특성 사이의 매칭 알고리즘을 통해 RDP(Replay-able Drawing Process) 라이브러리와 배경음악 라이브러리에 존재하는 수 많은 컨텐츠들 중 가능한 최적의 RDP와 배경음악 조합을 도출하고 디지털 컨텐츠의 창출과 NFT-ability를 도모하는데 목적이 있다.

본 개시의 실시예들에 따른 배경음악 매칭 방법은, 배경음악 매칭 장치가, 드로잉 데이터를 수신하는 단계; 상기 배경음악 매칭 장치가, 상기 드로잉 데이터로부터 드로잉 데이터의 속성값들을 산출하는 단계; 상기 배경음악 매칭 장치가, 상기 드로잉 데이터의 속성값들에 감정 상태에 대한 상관 계수를 적용하여 상기 드로잉 데이터의 감정 상태를 결정하는 단계; 상기 배경음악 매칭 장치가, 상기 드로잉 데이터의 속성값들, 또는 상기 드로잉 데이터의 감정 상태를 고려하여 상기 드로잉 데이터와 대응 관계를 가지는 배경음악을 결정하는 단계; 및 상기 배경음악 매칭 장치가, 상기 드로잉 데이터를 디스플레이하는 컨텐츠에 상기 배경음악을 삽입한 새로운 컨텐츠를 생성하는 단계;를 더 포함할 수 있다.

상기 드로잉 데이터를 디스플레이하는 컨텐츠는, 상기 드로잉 데이터가 드로잉되는 과정을 디스플레이하는 컨텐츠일 수 있다.

상기 드로잉 데이터와 대응 관계를 가지는 배경음악은, 상기 드로잉 데이터의 속성값들의 상관 계수들과 기 설정된 제1 기준 차이값 미만의 차이인 상관계수를 가지는 속성값들로 설정되는 배경음악일 수 있다.

상기 드로잉 데이터와 대응 관계를 가지는 배경음악은, 상기 드로잉 데이터의 감정 상태와 기 설정된 제2 기준 차이값 미만의 차이인 감정 상태를 가지는 배경음악일 수 있다.

상기 드로잉 데이터와 대응 관계를 가지는 배경음악은, 상기 드로잉 데이터의 창작자의 감정 상태와 기 설정된 제3 기준 차이값 미만의 차이인 창작자의 감정 상태를 가지는 배경음악일 수 있다.

본 개시의 실시예들에 따르면, 상기 배경음악 매칭 장치가 상기 드로잉 데이터와 대응 관계를 가지는 배경음악의 속성값들을, 상기 드로잉 데이터의 감정 상태 중에서, 가장 높은 순위를 가지는 유형값을 더 높이는 방향으로 변경하여 상기 배경음악을 편집하는 단계를 더 포함할 수 있다.

본 개시의 실시예들에 따른 배경음악 매칭 장치가, 통신부, 컴퓨터 판독 가능한 메모리, 및 프로세서를 포함하고, 상기 프로세서가, 드로잉 데이터를 수신하고, 상기 드로잉 데이터로부터 드로잉 데이터의 속성값들을 산출하며, 상기 드로잉 데이터의 속성값들에 감정 상태에 대한 상관 계수를 적용하여 상기 드로잉 데이터의 감정 상태를 결정하고, 상기 드로잉 데이터의 속성값들, 또는 상기 드로잉 데이터의 감정 상태를 고려하여 상기 드로잉 데이터와 대응 관계를 가지는 배경음악을 결정하며, 상기 드로잉 데이터를 디스플레이하는 컨텐츠에 상기 배경음악을 삽입한 새로운 컨텐츠를 생성할 수 있다.

본 발명의 실시예에 따른 컴퓨터 프로그램은 컴퓨터를 이용하여 본 발명의 실시예에 따른 방법 중 어느 하나의 방법을 실행시키기 위하여 매체에 저장될 수 있다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.

전술한 것 외의 다른 측면, 특징, 이점이 이하의 도면, 특허청구범위 및 발명의 상세한 설명으로부터 명확해 질 것이다.

전술한 과제 해결 수단 중 어느 하나에 의하면, 배경음악 매칭 장치, 드로잉 데이터에 대응되는 배경음악을 매칭하는 방법 및 컴퓨터 프로그램을 제시할 수 있다.

또한, 드로잉 데이터의 속성값과 배경음악의 속성값 사이의 상관 관계를 이용하여, 드로잉 데이터에 대응하는 배경음악을 매칭할 수 있다.

또한, 드로잉 데이터의 속성값과, 사용자의 감정 상태를 고려하여 드로잉 데이터에 대응하는 배경음악을 매칭할 수 있다.

또한, 드로잉 데이터의 속성값과, 사용자의 감정 상태를 고려하여 배경음악을 편집할 수 있다.

또한, 드로잉 데이터가 드로잉되는 과정을 재생하면서 배경음악이 플레이되는 시청각 컨텐츠를 생성할 수 있다.

도 1은, 본 개시의 실시예들에 따른, 배경음악 매칭 장치(100)의 블록도이다.
도 2는, 배경음악 매칭부(140)의 블록도이다.
도 3은, 본 개시의 실시예들에 따른, 드로잉 데이터에 대응하는 배경음악을 결정하는 방법의 흐름도이다.
도 4는, 본 개시의 실시예에 따른, 드로잉 데이터 및 배경 음악의 상관 계수들 사이의 대응 관계를 판단하는 방법의 흐름도이다.
도 5는 본 개시의 실시예들에 따른 배경음악을 편집하는 방법의 흐름도이다.
도 6은 본 개시의 실시예들에 따른, 드로잉 데이터의 속성값들, 감정 상태의 유형값들, 배경음악의 속성값들, 감정 상태의 유형값들의 예시 도면이다.
도 7은 복수의 드로잉 데이터들과 배경음악들 사이의 매칭 관계를 도식적으로 나타낸 도면이다.
도 8은, 본 개시의 실시예들에 따라서, 드로잉 데이터가 재생되는 화면을 시계열적으로 표현하고 드로잉 데이터의 속성값을 기반으로 한 감정 상태의 유형값을 OCEANS 지수로 테이블 화 한 도면이다.
도 9는 본 개시의 실시예들에 따른, 배경음악의 편집 과정의 흐름도이다.
도 10은 본 개시의 실시예들에 따른, 드로잉 데이터의 속성값들과 배경음악의 속성값들 사이의 대응 관계(ADR)의 예시 도면이다.
도 11은, 본 개시의 실시예들에 따른, 드로잉 데이터의 RGB 비율과, 배경음악의 Bass/treble 비율 값 사이의 주파수 (파장)을 기준으로 한 상관 관계에 대한 예시 도면이다.

이하 첨부된 도면들에 도시된 본 발명에 관한 실시예를 참조하여 본 발명의 구성 및 작용을 상세히 설명한다.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 본 발명의 효과 및 특징, 그리고 그것들을 달성하는 방법은 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세히 설명하기로 하며, 도면을 참조하여 설명할 때 동일하거나 대응하는 구성 요소는 동일한 도면부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

본 명세서에서 “학습”, “러닝” 등의 용어는 인간의 교육 활동과 같은 정신적 작용을 지칭하도록 의도된 것이 아닌 절차에 따른 컴퓨팅(computing)을 통하여 기계 학습(machine learning)을 수행함을 일컫는 용어로 해석한다.

이하의 실시예에서, 제1, 제2 등의 용어는 한정적인 의미가 아니라 하나의 구성 요소를 다른 구성 요소와 구별하는 목적으로 사용되었다.

이하의 실시예에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

이하의 실시예에서, 포함하다 또는 가지다 등의 용어는 명세서상에 기재된 특징, 또는 구성요소가 존재함을 의미하는 것이고, 하나 이상의 다른 특징들 또는 구성요소가 부가될 가능성을 미리 배제하는 것은 아니다.

도면에서는 설명의 편의를 위하여 구성 요소들이 그 크기가 과장 또는 축소될 수 있다. 예컨대, 도면에서 나타난 각 구성의 크기 및 두께는 설명의 편의를 위해 임의로 나타내었으므로, 본 발명이 반드시 도시된 바에 한정되지 않는다.

어떤 실시예가 달리 구현 가능한 경우에 특정한 공정 순서는 설명되는 순서와 다르게 수행될 수도 있다. 예를 들어, 연속하여 설명되는 두 공정이 실질적으로 동시에 수행될 수도 있고, 설명되는 순서와 반대의 순서로 진행될 수 있다.

본 명세서에서, 상관 관계는, 상관 계수(correlation)와 대체 가능한 것일 수 있다.

본 명세서에서, 드로잉 데이터는, 드로잉 과정에서, 생성된 데이터로, 드로잉의 도구로 만들어진 시간별 좌표값들을 포함할 수 있다. 드로잉 데이터는, 발생한 터치 이벤트(터치 시작, 터치 이동, 터치 종료, 정지, 터치 취소 등)와 관련된 다양한 데이터들을 밀리 세컨트(milliseconds) 단위 이하의 시간 단위로 추출하고 각 이벤트가 발생한 절대적 시간을 0 내지 100%의 상대적 시계열 상으로 측정되어 생성될 수 있다.

본 명세서에서, 터치 이벤트는 디지털 디바이스 상에서 손가락 또는 터치펜, 마우스, 조이스틱 등의 도구로 이루어진 입력을 시작해서 최종적으로 종결될 때까지의 모든 이벤트를 말한다.

붓, 획 등의 좌표값, 시간값, 포인트(붓, 획)의 지름, 포인트의 색상, 필압값, 정지 시간값, 붓/획 등의 경사값 등의 드로잉 데이터의 속성값이 추출될 수 있다.

본 명세서에서, 드로잉 데이터의 속성값은, 붓, 획 등의 좌표값, 시간값, 포인트(붓, 획)의 지름, 포인트의 색상, 필압값, 정지 시간값, 획 시간값, 획 경사값, 드로잉 데이터의 평균 획 속도 및 속도의 편차값, 평균 획 두께 및 두께의 편차값, 평균 필압 및 필압의 편차값, 획 빈도값(총 획수/총 시간), 공간 점유율, 공간 편중도, 색상 다양성(사용된 색상의 개수, 각 색상의 비율), 평균 명도값, 평균 채도값, 평균 원색도값, 쉼 비율(쉼 시간/전체시간), 창작자의 국적, 창작자의 성별, 창작자의 연령, 그림의 주체 등을 포함할 수 있다. 여기서, 획은, 드로잉 데이터에 포함된 터치, 스트로크, 드로잉 도구로 만드는 모든 것 중 하나를 말할 수 있다.

여기서, 공간 점유율은, 드로잉 데이터에 의해 점유된 비율과 대응되는 수치 값일 수 있다. 공간 점유율은, 점유 픽셀의 필압 값, 점유 픽셀의 색상 값, 점유 픽셀의 점유 시간값, 점유 픽셀까지의 거리 값 등을 기초로 산출된 값일 수 있다. 공간 점유율은, 점유 픽셀의 필압 값, 색상 값, 점유 시간값 중 적어도 하나에 비례하거나, 점유 픽셀까지의 거리 값에 반비례한 값일 수 있다. 공간 점유율은, 점유 픽셀에 대한 획수에 비례할 수 있다.

본 명세서에서, 배경음악의 속성값은, 배경음악의 단조(minor)와 장조(major)의 비율, 반음과 온음의 비율, 템포 및 박자, 배경음악의 평균 음 고저 및 음 고저의 편차 값, 평균 음량값 및 음량값의 편차값, 트랙의 수, 음 고저 및 음량의 범위, 음량의 고저 좌우 밸런스 값, 사용되는 악기의 종류와 수, 고음(treble)과 저음(bass)의 음량 비율, 무음(mute)의 비율(mute 시간/전체 시간), 창작자의 국적, 창작자의 성별, 창작자의 연령, 음악 제목 등을 포함할 수 있다.

본 명세서에서, 드로잉 데이터의 감정 상태는 드로잉 데이터의 속성값들에 기초하여 결정되는 것일 수 있다. 드로잉 데이터의 감정 상태는, 창작자가 입력한 데이터에 기초하여 결정될 수 있다. 드로잉 데이터의 감정 상태는, 창작자가 입력한 감정어 데이터에 기초하여 결정될 수 있다. 여기서, 감정 상태는, 드로잉 데이터의 속성값들에 대한 관계식, 속성값들과의 상관 계수 등에 의해 산출될 수 있다. 여기서, 상관 계수는, 감정 상태의 긍정 지수와 민감 지수, OCEANS, 즉 개방성(Openness), 통제성(Control), 외향성(Extraversion), 친화성(Agreeableness), 신경성(Neuroticism), 지구력 (Stamina) 중 적어도 하나의 유형값들에 대한 상관 계수를 포함할 수 있다.

본 명세서에서는, 배경음악의 감정 상태는 배경음악의 속성값에 기초하여 결정된 것일 수 있다. 배경음악의 감정 상태는, 배경음악을 통해서 발생될 것으로 예상되는 감정 상태를 말하며, 배경음악의 속성값들과 배경음악의 감정 상태를 통해 획득된 관계식, 속성값들과의 상관 계수 등에 의해 산출될 수 있다. 여기서, 상관 계수는, 감정 상태의 긍정 지수와 민감 지수, OCEANS, 즉 개방성(Openness), 통제성(Control), 외향성(Extraversion), 친화성(Agreeableness), 신경성(Neuroticism), 지구력 (Stamina) 중 적어도 하나의 유형값들에 대한 상관 계수를 포함할 수 있다.

본 명세서에서, 관계식 또는 상관 계수는, 반복적인 분석 과정, 또는 반복적인 학습 과정을 통해서 획득되는 것일 수 있다.

여기서, 상관 계수는, 상관관계 분석에서 두 변수 간에 선형 관계의 정도를 수량화하는 측도를 말하며, 보다 구체적으로는 피어슨 적률 상관관계(Pearson Product-moment correlation), 스피어만 상관관계(spearman correlation) 등이 있을 수 있다.

본 명세서에서, 사용자의 감정 상태는, 하나 이상의 유형값들을 포함하고, 개방성(Openness, O), 통제성(sense of control, C), 외향성(Extroversion, E), 친화성(Agreeableness, A), 신경성(Neuroticism, N), 지구력(Stamina, S) 등의 유형값들을 포함할 수 있다. 사용자의 감정 상태는, 사용자가 입력한 감정어 데이터, 감정 상태값(우울한 정도, 즐거운 정도, 의욕 정도, 스트레스 정도) 등에 따라서 결정될 수 있다. 사용자의 감정 상태는, 사용자에 의해 생성된 드로잉 데이터, 사용자에 의해 선택된 배경음악, 사용자에 의해 선택된 드로잉 데이터 등에 기초하여 결정될 수 있다.

본 명세서에서, 배경음악의 감정 상태는, 하나 이상의 유형값들을 포함하고, 개방성(Openness, O), 통제성(sense of control, C), 외향성(Extroversion, E), 친화성(Agreeableness, A), 신경성(Neuroticism, N), 지구력(Stamina, S) 등의 유형값들을 포함할 수 있다.

본 명세서에서, 감정 상태는, 사람의 마음에서 일어나는 느낌이나 기분에 대한 것으로, 사용자에 의해 입력된 데이터를 기초로 산출될 수 있다.

본 명세서에서, 사용자의 감정 상태는, 사용자에 의해 생성된 드로잉 데이터의 속성값에 의해 결정되거나, 사용자에 의해 입력된 감정어 데이터에 의해 결정되거나, 사용자에 의해 선택된 배경음악의 속성값에 의해 결정될 수 있으나, 이에 한정되지 않고, 사용자에 의해 입력된 애플리케이션에 대한 설정값, 환경 변수(조도, 날씨, 등) 등에 의해 결정될 수 있다. 감정 상태는, 기계 학습에 의해 학습된 모델에 의해 결정될 수 있다. 기계 학습에 의해 학습된 모델은, 드로잉 데이터의 속성값과, 드로잉 데이터의 창작자의 감정 상태를 입력으로 하여 학습된 모델일 수 있다. 기계 학습에 의해 학습된 모델은, 배경음악의 속성값과 배경음악의 선택자의 감정 상태를 입력으로 하여 학습된 모델일 수 있다. 기계 학습에 의해 학습된 모델은, 애플리케이션에 대한 설정값, 환경 변수 등과 사용자의 감정 상태를 입력으로 하여 학습된 모델일 수 있다.

여기서, 기계 학습이란, 기본적으로 알고리즘을 이용해 데이터를 분석하고 분석을 통해 학습하며, 학습한 내용을 기반으로 판단이나, 예측을 하는 것으로, 궁극적으로는 의사 결정 기준에 따라 구체적인 지침을 소프트웨어에 직접 코딩해 놓는 것이 아닌, 대량의 데이터와 알고리즘을 통해 컴퓨터 그 자체를 학습시켜 작업 수행 방법을 익히는 것을 말할 수 있다.

본 명세서에서, 기계 학습에 의해 학습된 모델은, 배경음악 매칭 장치에 의해 생성될 수 있으나, 별도의 장치를 통해서 생성될 수 있다. 배경음악 매칭 장치(100)는, 기계 학습에 의해 학습된 모델을, 주기적으로 획득할 수 있다.

도 1은, 본 개시의 실시예들에 따른, 배경음악 매칭 장치(100)의 블록도이다.

본 개시의 실시예들에 따른 배경음악 매칭 장치(100)는 도 1에서는 하나의 장치로 구현되어 있으나, 분산 서버, 분산 시스템으로 하나 이상의 컴퓨팅 장치로 구현될 수 있다. 프로세서(110)는 배경음악 매칭부(140)를 판독하여 이에 따른 데이터 처리를 수행할 수 있다. 통신부(120)는 배경음악 매칭부(140)의 제어에 따라 필요한 데이터를 송수신할 수 있다. 통신부(110)는 네트워크를 통해 외부의 장치와 통신하기 위한 기능을 제공할 수 있다.

메모리(130)는 RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device) 일 수 있다.

본 개시의 실시예들에 따른 배경음악 매칭부(140)는 드로잉 데이터를 고려하여, 드로잉 데이터에 대응하는 배경음악을 매칭할 수 있다. 배경음악 매칭부(140)는, 기 저장된 배경음악들 중에서, 드로잉 데이터에 대응하는 배경음악을 선별할 수 있다. 배경음악 매칭부(140)는, 사용자에 의해 선택된 배경음악을 드로잉 데이터에 최적화되도록 배경음악의 속성값들을 편집하여 재 생성할 수 있다.

본 개시의 실시예들에 따른 배경음악 매칭부(140)는, 드로잉 데이터의 속성값과, 배경음악의 속성값 사이의 상관 관계(상관 계수, correlation)를 이용하여 드로잉 데이터에 대응하는 배경음악을 매칭시킬 수 있다. 여기서, 드로잉 데이터의 속성값의 상관 관계는 속성값과 감정 상태 사이의 상관 관계일 수 있다. 또한, 배경음악의 속성값의 상관 관계는, 속성값과 감정 상태 사이의 상관 관계일 수 있다. 즉, 배경음악 매칭부(140)는, 드로잉 데이터의 속성값과 감정 상태 사이의 상관 계수와 유사한 상관 계수를 가지는 배경음악의 속성값을 결정하고, 이러한 배경음악의 속성값으로 표현되는(가지는, 포함하는) 배경음악을 결정할 수 있다. 보다 구체적으로, 배경음악 매칭부(140)는, 드로잉 데이터의 감정 상태를 산출하고, 드로잉 데이터의 감정 상태와 높은 상관 관계(상관 계수, correlation)를 가지는 속성값을 결정하며, 상관 관계(상관 계수, correlation)와 유사한 상관 관계를 가지는 배경음악의 하나 이상의 속성값을 판단할 수 있다. 배경음악 매칭 장치(100)는, 판단된 배경음악의 하나 이상의 속성값을 기초로 드로잉 데이터에 대응하는 배경음악을 선별(결정)할 수 있다. 여기서, 상관 관계, 또는 상관 계수는, 속성값들과, 감정 상태의 각 유형값에 대해서 산출되는 값일 수 있다. 예를 들어, 붓 속도의 변화라는 속성값은, 감정 상태의 긍정 지수, 민감 지수, 개방성, 통제성, 외향성, 친화성, 신경성, 지구력 중 적어도 하나의 유형값들에 대한 상관 계수를 가질 수 있다.

본 개시의 실시예들에 따르면, 배경음악 매칭부(140)는, 등록된 드로잉 데이터들에 대해서, 대응되는 배경음악들을 미리 선별하여 드로잉 데이터와 배경음악의 짝을 저장할 수 있다.

본 개시의 실시예들에 따르면, 배경음악 매칭부(140)는 드로잉 데이터에 대응하는 배경음악을 결정하고, 드로잉 데이터를 재생시키는 동영상에 배경음악이 재생되는 새로운 컨텐츠를 생성할 수 있다. 드로잉 데이터를 재생시키는 동영상은, 드로잉 데이터가 드로잉되는 과정의 동영상이거나, 드로잉 데이터를 디스플레이하는 동영상일 수 있다.

배경음악 매칭부(140)는, 기 등록된 배경음악들 중에서, 드로잉 데이터의 속성값을 기초로, 드로잉 데이터의 속성값들의 상관 계수들과 대응되는 속성값들을 가지는 배경음악을 결정할 수 있다. 배경음악 매칭부(140)는, 결정한 배경음악을 드로잉 데이터에 최적화되도록 배경음악의 단조(minor)와 장조(major), 온음과 반음의 비율, 템포, 박자, 음 높이, 음량값, 음량의 고저 좌우 밸런스, 음량 레인지, 무음(mute) 율, 고음(treble)과 저음(bass) 사이의 음량 비율 등의 속성값들을 편집하여 새로운 배경음악을 재 생성할 수 있다. 편집의 대상이 되는 속성값들은 배경음악의 속성값들 중에서 일부 일 수 있다.

배경음악 매칭부(140)는, 드로잉 데이터의 속성값과, 배경음악의 속성값 사이의 상관 관계를 기초로 드로잉 데이터에 대응하는 배경음악을 결정할 수 있다.

도 2는, 배경음악 매칭부(140)의 블록도이다.

드로잉 데이터 분석부(141)는, 드로잉 데이터를 수신하여, 드로잉 데이터의 속성값들을 산출할 수 있다. 드로잉 데이터에 포함된 데이터가 드로잉 데이터의 속성값 자체일 수 있다. 드로잉 데이터 분석부(141)는 드로잉 데이터의 속성값을 산술적인 값으로 변환하여 생성할 수 있다. 또한, 드로잉 데이터 분석부(141)는, 드로잉 데이터의 속성값들을 수신할 수 있다. 드로잉 데이터 분석부(141)는, 드로잉 데이터와 관련하여 창작자에 대한 정보를 수신할 수 있다. 창작자에 대한 정보는, 창작자의 감정 상태, 창작자에 의해 생성된 드로잉 데이터들의 감정 상태들 등을 포함할 수 있다.

드로잉 데이터 분석부(141)는, 드로잉 데이터의 감정 상태를 판단할 수 있다. 드로잉 데이터 분석부(141)는, 드로잉 데이터의 속성값들에 기 저장된 상관 계수를 적용하여 드로잉 데이터의 감정 상태를 판단할 수 있다. 드로잉 데이터 분석부(141)는, 드로잉 데이터의 창작자에 대한 정보를 기초로 창작자의 감정 상태를 판단할 수 있다. 창작자의 국적, 나이, 성별과 드로잉 데이터의 속성값들을 이용하여 창작자의 감정 상태를 판단할 수 있다.

배경음악 분석부(142)는, 복수의 배경음악들에 대해서 각각의 속성값들을 산출 또는 획득할 수 있다. 배경음악 분석부(142)는, 복수의 배경음악들 각각에 대해서 기 저장된 상관 계수를 적용하여 배경음악들의 감정 상태들을 판단할 수 있다. 배경음악 분석부(142)는, 배경음악의 창작자에 대한 정보를 기초로 창작자의 감정 상태를 판단할 수 있다. 창작자의 국적, 나이, 성별과 배경음악의 속성값들을 이용하여 창작자의 감정 상태를 판단할 수 있다.

관계 산출부(143)는, 드로잉 데이터의 제1 속성값에 대한 제1 상관 계수와, 배경음악의 제2 속성값에 대한 제2 상관 계수 사이의 제3 상관 계수를 산출할 수 있다. 여기서, 제1 상관 계수는, 제1 속성값과 감정 상태의 각 유형값들 사이의 관련 정도들을 조합한 값이고, 제2 상관 계수는, 제2 속성값과 감정 상태의 각 유형값들 사이의 관련 정도들을 조합한 값일 수 있다. 제3 상관 계수는, 제1 상관 계수와 제2 상관 계수 사이의 유사한 정도를 표현한 값일 수 있다. 제3 상관 계수는, 제1 상관 계수와 제2 상관 계수의 비율 일 수 있으며, 1에 가까울수록 제1 속성값과, 제2 속성값이 대응 관계가 있는 것으로 판단할 수 있다. 기 설정된 기준값, 예를 들어, 0.5 이상의 상관 계수를 가지는 속성값들이 대응 관계가 있는 것으로 판단될 수 있으나 이에 한정되지 않고 다양한 값들의 상관 계수로 대응 관계를 판단할 수 있다. 또는, 제1 상관 계수와, 제2 상관 계수 사이의 차이 값이 기준 차이값 미만인 경우, 드로잉 데이터의 속성값과 배경음악의 속성값 사이에 대응 관계가 있다고 판단할 수 있다. 관계 산출부(143)는 드로잉 데이터의 속성값들과 대응 관계인 속성값들을 포함하는 배경음악을 드로잉 데이터와 대응 관계가 있는 배경음악으로 결정할 수 있다.

관계 산출부(143)는 상기의 과정을 통해서, 드로잉 데이터의 각 속성값과 배경음악의 각 속성값 사이의 대응 관계를 가지는 세트를 추출할 수 있다.

선택적 실시예에서, 관계 산출부(143)는, 드로잉 데이터의 감정 상태와 배경음악의 감정 상태 사이의 유사한 정도를 가지고 대응 관계를 가지는 세트를 추출할 수 있다. 관계 산출부(143)는, 드로잉 데이터의 속성값들로부터 드로잉 데이터의 감정 상태를 결정하고, 배경음악의 속성값들로부터 배경음악의 감정 상태를 결정한 후, 드로잉 데이터의 감정 상태 및 배경음악의 감정 상태 사이의 유사한 정도를 산출할 수 있다. 관계 산출부(143)는, 유사한 정도가 기 설정된 기준 차이값 이내인 경우, 드로잉 데이터 및 배경음악을 대응 관계를 가지는 세트를 추출할 수 있다. 감정 상태들 사이의 유사한 정도는, 감정 상태의 유형값들 사이의 차이 값들을 기초로 결정될 수 있다. 드로잉 데이터의 유형값들과 배경음악의 유형값들 사이의 차이 값들의 평균값이 기 설정된 기준 차이값인 0.1 미만인 경우, 드로잉 데이터와 배경음악 사이에 대응 관계가 있다고 추출할 수 있다.

감정 상태들 사이의 유사한 정도는, 감정 상태의 유형값들 중에서, 가장 높은 순위의 유형값의 일치 여부 또는 유형값들 사이의 차이값으로 결정될 수 있다. 예를 들어, 드로잉 데이터의 감정 상태 중에서, 신경성이 가장 높다면, 신경성이 높은 배경음악과 대응 관계가 있다고 할 수 있다. 이런 경우, 드로잉 데이터의 신경성과 배경음악의 신경성 사이의 차이 값이 기 설정된 기준 차이값인 0.1 미만인 경우, 드로잉 데이터와 배경음악 사이에 대응 관계가 있다고 추출할 수 있다.

선택적 실시예에서, 관계 산출부(143)는, 드로잉 데이터의 창작자와 배경음악의 창작자 사이의 유사한 정도를 가지고 대응 관계를 가지는 세트를 추출할 수 있다. 드로잉 데이터의 창작자의 국적, 나이, 성별과 유사한 창작자에 의한 배경음악을 검색하고, 드로잉 데이터와 배경음악 사이에 대응 관계가 있다고 판단할 수 있다. 또는, 관계 산출부(143)는 드로잉 데이터의 창작자의 감정 상태와 배경음악의 창작자의 감정 상태 사이의 유사한 정도를 기초로 대응 관계를 추출할 수 있다. 감정 상태들 사이의 유사한 정도는, 상기의 설명과 동일하다.

배경음악 검색부(144)는, 드로잉 데이터와 대응 관계를 가지는 배경음악을 결정할 수 있다. 드로잉 데이터와 대응 관계를 가지는 배경음악은 드로잉 데이터와 감정 상태 사이의 유사성을 가지거나, 창작자 사이의 유사성을 가지거나 창작자의 감정 상태 사이의 유사성을 가지는 것일 수 있으나 이에 한정되지 않을 수 있다.

선택적 실시예에서, 배경음악 검색부(144)는, 드로잉 데이터와 대응 관계를 가지는 배경음악의 속성값들을 결정하고, 배경음악의 속성값들을 포함하는 배경음악을 검색할 수 있다. 드로잉 데이터와 대응 관계를 가지는 배경음악의 속성값은, 드로잉 데이터의 속성값들의 상관 계수들과 기 설정된 기준값 이상의 상관 계수를 가지는 것일 수 있다. 여기서, 속성값들의 상관 계수는, 속성값들과 감정 상태의 유형값들 사이의 관련되는 정도로 산출된 값을 말할 수 있다.

선택적 실시예에서, 배경음악 검색부(144)는, 사용자에 의해 선택된 배경음악의 속성값들을, 드로잉 데이터와 대응되도록 편집할 수 있다. 편집할 때에는, 속성값들과 감정 상태 사이의 상관 계수를 기초로 편집할 속성값과 편집할 정도를 결정할 수 있다. 예를 들어, 드로잉 데이터의 ‘색상의 다양성’이 높은 경우(사용되는 색상의 수가 기 설정된 기준값 이상인 경우), ‘색상의 다양성’과 대응 관계를 가지는 배경음악의 하나 이상의 속성값을 판단하고, 하나 이상의 속성값을, 예를 들면 화음의 가미나 악기 수의 증가 등과 같이, 색상의 다양성의 증가 방향과 동일한 방향으로 편집할 수 있다. ‘색상의 다양성’과 대응 관계를 가지는 배경음악의 속성값은, ‘색상의 다양성’이 감정 상태의 유형값들의 상관 계수와 유사한 상관 계수를 가지는 속성값일 수 있다. 유사한 상관 계수는, 상관계수들 사이의 차이 값이 기 설정된 기준 차이값 미만인 것을 말한다.

드로잉 데이터는 대응 관계를 가지는 하나 이상의 배경음악과 연계되어 저장될 수 있다. 기 등록된 드로잉 데이터들에 대해서 대응되는 배경음악들에 대한 정보가 미리 생성될 수 있다.

배경음악 제공부(145)는, 요청 신호에 따라서, 드로잉 데이터를 디스플레이 하는 동안에 드로잉 데이터와 대응되는 배경음악을 플레이 시킬 수 있다.

컨텐츠 생성부(146)는, 드로잉 데이터를 디스플레이하는 컨텐츠에 드로잉 데이터와 대응되는 배경음악이 삽입된 컨텐츠를 생성할 수 있다. 여기서, 드로잉 데이터와 대응되는 배경음악은, 드로잉 데이터와 대응 관계를 가지는 배경음악일 수 있다. 드로잉 데이터와 대응되는 배경음악은, 배경음악 검색부(144)에 의해 결정된 것, 또는 배경음악 검색부(144)에 의해 편집된 것일 수 있다. 여기서, 드로잉 데이터를 디스플레이하는 컨텐츠는 드로잉 데이터의 드로잉 과정이 시계열적으로 재생되는 컨텐츠이거나, 드로잉 데이터의 완성 드로잉이 디스플레이되는 컨텐츠 일 수 있다. 배경음악이 삽입된 컨텐츠는 대체 불가능한 컨텐츠로 변환될 수 있다.

도 3은, 본 개시의 실시예들에 따른, 드로잉 데이터에 대응하는 배경음악을 결정하는 방법의 흐름도이다.

S110에서는, 배경음악 매칭 장치(100)는, 드로잉 데이터를 수신할 수 있다.

S120에서는, 배경음악 매칭 장치(100)는, 드로잉 데이터의 속성값들을 산출할 수 있다. 배경음악 매칭 장치(100)는, 좌표값, 시간값, 포인트의 지름, 포인트의 색상, 필압값, 정지 시간값, 획 시간값, 획 경사값, 드로잉 데이터의 평균 획 속도 및 속도의 편차값, 평균 획 두께 및 두께의 편차값, 평균 필압 및 필압의 편차값, 획 빈도값(총 획수/총 시간), 공간 점유율, 공간 편중도, 색상 다양성(사용된 색상의 개수, 각 색상의 비율), 평균 명도값, 평균 채도값, 평균 원색도값, 쉼 비율(쉼 시간/전체시간), 창작자의 국적, 창작자의 성별, 창작자의 연령, 그림의 주체 등의 속성값들을 드로잉 데이터로부터 산출할 수 있다. 배경음악 매칭 장치(100)는, 드로잉 데이터의 속성값들을 기초로 드로잉 데이터의 감정 상태를 분석할 수 있다. 드로잉 데이터의 감정 상태는, 속성값들의 상관 계수들을 기초로 산출될 수 있다. 예를 들어, 드로잉 데이터의 제1 내지 제3 속성값이 있는 경우, 드로잉 데이터의 감정 상태는, 제1 속성값에 의한 감정 상태, 제2 속성값에 의한 감정 상태, 제3 속성값에 의한 감정 상태의 평균값, 또는 가중 평균값으로 결정될 수 있다. 감정 상태는 감정 상태의 유형값들을 포함할 수 있다.

S130에서는, 배경음악 매칭 장치(100)는, 드로잉 데이터의 속성값들, 감정 상태를 고려하여, 드로잉 데이터와 대응 관계를 가지는 배경음악을 결정할 수 있다.

배경음악 매칭 장치(100)는, 드로잉 데이터의 제1 속성값에 대한 제1 상관 계수와, 배경음악의 제2 속성값에 대한 제2 상관 계수 사이의 제3 상관 계수를 산출할 수 있다. 여기서, 제1 상관 계수는, 제1 속성값과 감정 상태의 각 유형값들 사이의 관련 정도들을 조합한 값이고, 제2 상관 계수는, 제2 속성값과 감정 상태의 각 유형값들 사이의 관련 정도들을 조합한 값일 수 있다. 제3 상관 계수는, 제1 상관 계수와 제2 상관 계수 사이의 유사한 정도를 표현한 값일 수 있다. 제3 상관 계수는, 제1 상관 계수와 제2 상관 계수의 비율 일 수 있으며, 1에 가까울수록 제1 속성값과, 제2 속성값이 대응 관계가 있는 것으로 판단할 수 있다. 기 설정된 기준값, 예를 들어, 0.5 이상의 상관 계수를 가지는 속성값들이 대응 관계가 있는 것으로 판단될 수 있으나, 이에 한정되지 않고 다양한 기준값으로 대응 관계의 유무를 판단할 수 있다.

배경음악 매칭 장치(100)는, 상기의 과정을 통해서, 드로잉 데이터의 각 속성값과 배경음악의 각 속성값 사이의 대응 관계를 가지는 세트를 추출할 수 있다.

선택적 실시예에서, 배경음악 매칭 장치(100)는, 드로잉 데이터의 감정 상태와 배경음악의 감정 상태 사이의 유사한 정도를 가지고 대응 관계를 가지는 세트를 추출할 수 있다. 배경음악 매칭 장치(100)는, 드로잉 데이터의 속성값들로부터 드로잉 데이터의 감정 상태를 결정하고, 배경음악의 속성값들로부터 배경음악의 감정 상태를 결정한 후, 드로잉 데이터의 감정 상태 및 배경음악의 감정 상태 사이의 유사한 정도를 산출할 수 있다. 배경음악 매칭 장치(100)는, 유사한 정도가 기 설정된 기준 차이값 이내인 경우, 드로잉 데이터 및 배경음악을 대응 관계를 가지는 세트를 추출할 수 있다. 감정 상태들 사이의 유사한 정도는, 감정 상태의 유형값들 사이의 차이 값들을 기초로 결정될 수 있다. 드로잉 데이터의 유형값들과 배경음악의 유형값들 사이의 차이 값들의 평균값이 기 설정된 기준 차이값인 0.1 미만인 경우, 드로잉 데이터와 배경음악 사이에 대응 관계가 있다고 추출할 수 있다.

감정 상태들 사이의 유사한 정도는, 감정 상태의 유형값들 중에서, 가장 높은 순위의 유형값의 일치 여부 또는 유형값들 사이의 차이값으로 결정될 수 있다. 예를 들어, 드로잉 데이터의 감정 상태 중에서, 신경성이 가장 높다면, 신경성이 높은 배경음악과 대응 관계가 있다고 할 수 있다. 이런 경우, 드로잉 데이터의 신경성과 배경음악의 신경성 사이의 차이 값이 기 설정된 기준 차이값인 0.1 미만인 경우, 드로잉 데이터와 배경음악 사이에 대응 관계가 있다고 추출할 수 있다.

선택적 실시예에서, 배경음악 매칭 장치(100)는, 드로잉 데이터의 창작자와 배경음악의 창작자 사이의 유사한 정도를 가지고 대응 관계를 가지는 세트를 추출할 수 있다. 드로잉 데이터의 창작자의 국적, 나이, 성별과 유사한 창작자에 의한 배경음악을 검색하고, 드로잉 데이터와 배경음악 사이에 대응 관계가 있다고 판단할 수 있다. 또는, 배경음악 매칭 장치(100)는, 드로잉 데이터의 창작자의 감정 상태와 배경음악의 창작자의 감정 상태 사이의 유사한 정도를 기초로 대응 관계를 추출할 수 있다. 감정 상태들 사이의 유사한 정도는, 상기의 설명과 동일하다.

도 4는, 본 개시의 실시예에 따른, 드로잉 데이터 및 배경 음악의 상관 계수들 사이의 대응 관계를 판단하는 방법의 흐름도이다.

S210에서는, 배경음악 매칭 장치(100)는 드로잉 데이터가 생성되는 동안에 실시간으로 드로잉 데이터의 제1 속성값들을 획득할 수 있다.

S220에서는, 배경음악 매칭 장치(100)는 드로잉 데이터의 제1 속성값들에 대한 제1 상관 계수들을 산출할 수 있다.

S230에서는, 배경음악 매칭 장치(100)는 제1 상관 계수들과 기 설정된 기준값 이상의 상관 계수를 가지는 배경음악의 제2 속성값들을 결정할 수 있다. 배경음악 매칭 장치(100)는, 제1 속성값들과 드로잉 데이터의 감정 상태에 대한 제1 상관 계수들을 산출할 수 있다. 배경음악 매칭 장치(100)는 제1 상관 계수들과 유사한 제2 상관 계수를 가지는 배경음악의 제2 속성값들을 결정할 수 있다. 제2 상관 계수는, 제1 상관 계수와의 비율이 기 설정된 기준값 이상인 값일 수 있다. 배경음악 매칭 장치(100)는 등록된 배경음악들 중에서, 제2 속성값을 가지는 배경음악을 드로잉 데이터에 대응하는 배경음악으로 결정할 수 있다.

예를 들어, 드로잉 데이터의 제1 속성값들에 대한 상관 계수들 중에서, 드로잉 데이터의 감정 상태인 개방성과의 높은 상관 계수를 가지는 속성값의 종류를 추출하고, 개방성과의 높은 상관 계수를 가지는 속성값과 같이 개방성과의 높은 상관 계수를 가지는 배경음악의 속성값의 종류를 결정할 수 있다. 상기와 같이, 개방성과의 높은 상관 계수를 가지는 배경음악의 속성값의 종류에 대해서, 속성값의 크기가, 드로잉 데이터의 개방성의 값을 도출할 수 있는 정도인 배경음악을 결정할 수 있다. 여기서, 높은 상관 계수를 가진다는 것은, 양의 값이면서 기 설정된 기준값, 예를 들어 0.5 이상의 상관 계수를 가지는 것을 말할 수 있으나 이에 한정되지 않고 다양한 기준값으로 판단할 수 있다.

S240에서는, 배경음악 매칭 장치(100)는 드로잉 데이터에 대응하는 배경음악을 드로잉 데이터와 함께 제공할 수 있다.

배경음악 매칭 장치(100)는 드로잉 데이터와 배경음악을 하나의 컨텐츠로 생성할 수 있다.

도 5는 본 개시의 실시예들에 따른 배경음악을 편집하는 방법의 흐름도이다.

S310에서는, 배경음악 매칭 장치(100)는 드로잉 데이터에 대응하는 배경음악을 검출할 수 있다.

S320에서는, 배경음악 매칭 장치(100)는 배경음악의 제3 속성값들을 드로잉 데이터의 제4 속성값들에 대한 대응 관계를 더 높이는 방향으로 배경음악의 제4 속성값들을 제5 속성값들로 편집할 수 있다.

배경음악 매칭 장치(100)는 배경음악의 제3 속성값들 중에서, 드로잉 데이터의 감정 상태(emotional state)를 결정하는 속성값의 상관 계수와 유사한 상관 계수를 가지는 제5 속성값의 종류(attribute)를 결정하고, 제5 속성값의 크기(value)를 변경할 수 있다.

드로잉 데이터의 감정 상태(emotional state)를 결정하는 속성값은 드로잉 데이터의 감정 상태의 유형값을 결정하는 속성값일 수 있다. 예를 들어, 드로잉 데이터의 감정 상태가, 통제성이 높고, 개방성이 낮다면, 통제성을 높이는 상관 계수(양의 상관 계수면서 큰 값)를 가지는 속성값 또는 개방성을 낮추는 상관 계수(음의 상관 계수면서 큰 값)를 가지는 속성값을 드로잉 데이터의 감정 상태(emotional state)를 결정하는 속성값으로 결정할 수 있다.

S330에서는, 배경음악 매칭 장치(100)는 드로잉 데이터와 제5 속성값의 배경음악을 새로운 컨텐츠로 재 생성할 수 있다.

도 6은 본 개시의 실시예들에 따른, 드로잉 데이터의 속성값들, 감정 상태의 유형값들, 배경음악의 속성값들, 감정 상태의 유형값들의 예시 도면이다.

도 6에 도시된 바와 같이, 드로잉 데이터는 획/붓의 속도 값, 속도의 편차값, 획/붓의 평균 두께 값, 두께의 편차값, 획/붓의 평균 필압값, 필압의 편차값, 획/붓 빈도값(=총 획수/총 시간), 공간 점유율, 공간 편중도, 사용되는 색상의 다양성(색상의 개수), 사용되는 색상의 평균 명도/채도/원색도, 쉼 비율(=쉼시간/전체시간), 창작자의 국적, 창작자의 성별, 창작자의 연령, 그림의 주제의 속성값들(AD1)을 포함할 수 있다. 그림의 주제는, 불편한 그것, 버리고 싶은 것, 지편성, 싫어하는 음식, 로또 맞은 나 등과 같이 다양한 주제들 중에 하나 일 수 있다.

드로잉 데이터의 감정 상태(ED1)는, 긍정 지수와 민감 지수, OCEANS, 즉 개방성(Openness), 통제성(Control), 외향성(Extraversion), 친화성(Agreeableness), 신경성(Neuroticism), 지구력 (Stamina) 등의 유형값들에 대한 값을 표현할 수 있다. 각 유형값은, 0부터 100까지의 퍼센트의 값으로 표현될 수 있다.

배경음악은 단조(minor)와 장조(major), 온음과 반음의 비율, 템포 및 박자, 음 높이의 평균값 및 편차값, 음량의 평균값 및 편차값, 트랙의 수, 음 높이의 범위, 음량의 범위, 음량의 좌우 밸런스, 음악에 사용되는 악기의 다양성(악기의 개수), 고음(treble)과 저음(bass) 사이의 음량 비율, mute 율(=mute/전체 시간), 창작자의 국적, 창작자의 성별, 창작자의 연령, 음악의 제목 등의 속성값들(AD2)을 포함할 수 있다.

배경음악의 감정 상태(ED2)는 음악 장르에 따른 감정 지수, 주 사용 악기에 따른 긍정 지수와 민감 지수, OCEANS, 즉 개방성(Openness), 통제성(Control), 외향성(Extraversion), 친화성(Agreeableness), 신경성(Neuroticism), 지구력 (Stamina) 등의 유형값들을 포함할 수 있다. 배경음악의 감정 상태 주에서, 감정 지수는 음악 장르에 의해서 결정되는 것으로, 음악 장르와 감정 지수 사이의 상관 계수를 이용하여 산출될 수 있다. 배경음악의 민감 지수는, 주 사용 악기에 의해서 결정되는 것으로, 주 사용 악기와 민감 지수 사이의 상관 계수를 이용하여 산출될 수 있다.

도 7은 복수의 드로잉 데이터들과 배경음악들 사이의 매칭 관계를 도식적으로 나타낸 도면이다.

도 7에 도시된 바와 같이, 배경음악 매칭 장치(100)는, 드로잉 데이터들을 저장하는 RDP (Replay-able Drawing Process) 라이브러리와 배경음악들을 저장하는 BGM (Background Music) 라이브러리를 포함할 수 있다. 또는, 배경음악 매칭 장치(100)는, RDP 라이브러리에 대한 링크와 BGM 라이브러리에 대한 링크를 저장할 수 있다. 배경음악 매칭 장치(100)는, 드로잉 데이터의 감정 상태와 배경음악의 감정 상태 사이의 유사 여부를 기초로 드로잉 데이터와 배경음악 사이의 대응 관계를 미리 판단할 수 있다. 예를 들어, RDP01은 BGM16과 대응관계를 가지고, RDP02는 BGM09와 대응 관계를 가지는 것으로 미리 등록할 수 있다. 배경음악 매칭 장치(100)는 RDP 라이브러리와 BGM 라이브러리 사이의 대응 관계를 이용하여, 드로잉 데이터와 배경음악이 결합된 새로운 컨텐츠를 생성할 수 있다.

도 8은, 본 개시의 실시예들에 따라서, 드로잉 데이터가 재생되는 화면을 시계열적으로 표현한 도면이다.

드로잉 데이터는, 드로잉 데이터의 완성품인 DS을 포함하고, DS1, DS2, DS3, DS4, DS5, DS6, 등과 시계열의 드로잉 데이터를 더 포함할 수 있다.

드로잉 데이터에 대해서는, MS와 같은 감정 상태의 테이블을 포함할 수 있다. DS의 드로잉 데이터의 감정 상태는 개방성 O(14%), 통제성 C(75%), 외향성 E(46%), 친화성 A(69%), 신경성 N(80%), 지구력 S(32%) 등 일 수 있다. 추가적으로, 드로잉 데이터의 감정 상태는, 긍정 지수 또는 민감 지수 등의 유형값들을 더 포함할 수 있다.

드로잉 데이터의 감정 상태의 유형값들은, 높은 순서대로의 순위 값을 더 포함할 수 있다. 배경음악의 감정 상태의 유형값들도, 높은 순서대로의 순위 값을 더 포함할 수 있다.

드로잉 데이터의 속성값들의 상관 계수에 대해서, 대응 관계의 속성값을 배경음악의 속성값들 중에서 결정할 때, 속성값이 감정 상태의 유형값들 중에서, 높은 순위의 유형값에 대한 상관 계수가 높은 것을 우선적으로 고려할 수 있다. 즉, 도 8에서는, 신경성의 순위가 가장 높으므로, 신경성에 대한 상관 계수가 높은 속성값의 종류를 고려하여 배경음악을 결정할 수 있다. 신경성에 대한 상관 계수가 높은 속성값의 종류가 신경성을 높게 하는 크기를 가지는 배경음악을 드로잉 데이터와 대응되는 배경음악으로 결정할 수 있다.

또는, 신경성을 높게, 배경음악의 속성값을 변경하여 배경음악을 재 생성할 수 있다.

도 9는 본 개시의 실시예들에 따른, 배경음악의 편집 과정의 흐름도이다.

S410에서는, 배경음악 매칭 서버(100)는, 드로잉 데이터들과 배경음악 데이터들 사이의 대응 관계를 생성할 수 있다.

S420에서는, 배경음악 매칭 서버(100)는, 제1 드로잉 데이터와 제1 배경음악 데이터의 그룹을 결정할 수 있다.

S430에서는, 배경음악 매칭 서버(100)는, 제1 드로잉 데이터가 생성되는 동안에 획득된 속성값들을 시계열로 배열되는 컨텐츠를 생성할 수 있다.

S440에서는, 배경음악 매칭 서버(100)는 제1 드로잉 데이터의 감정 상태를 고려하여 제1 배경음악 데이터의 속성값들을 변경, 편집하여, 제2 배경음악 데이터를 생성할 수 있다.

S450에서는, 배경음악 매칭 서버(100)는 제1 드로잉 데이터와 제2 배경음악 데이터 사이의 대응 관계를 다시 한번 산출할 수 있다. 배경음악 매칭 서버(100)는 제1 드로잉 데이터의 감정 상태에 대한 상관 계수와 제2 배경음악의 감정 상태에 대한 상관 계수 사이의 상관 계수가 클수록, 대응 관계가 있는 것으로 판단될 수 있다.

S460에서는, 배경음악 매칭 서버(100)는 대응 관계가 기 설정된 기준값 이상인지 여부를 판단할 수 있다.

S465에서는, 배경음악 매칭 서버(100)는 대응 관계가 기 설정된 기준값 미만인 경우, 제1 드로잉 데이터의 감정 상태를 고려하여 제2 배경음악 데이터의 속성값들을 변경, 편집하여 제3 배경음악 데이터를 다시 생성할 수 있다.

S470에서는, 배경음악 매칭 서버(100)는 대응 관계가 기 설정된 기준값 이상인 경우, 배경음악 데이터의 편집 과정을 종료할 수 있다.

도 10은 본 개시의 실시예들에 따른, 드로잉 데이터의 속성값들과 배경음악의 속성값들 사이의 대응 관계(ADR)의 예시 도면이다.

드로잉 데이터의 붓 속도의 변화값(DAD1)은 배경음악의 BPM의 조정(BAD1), 배경음악의 Cord 조정(BAD5)과 대응 관계가 있을 수 있다. 드로잉 데이터의 붓 속도의 변화값(DAD1)의 감정 상태에 대한 상관 계수는 배경음악의 BPM의 조정(BAD1)의 감정 상태에 대한 상관 계수 및 배경음악의 Cord 조정(BAD5)의 감정 상태에 대한 상관 계수와 유사할 수 있다.

드로잉 데이터의 붓 필입과 두께의 변화값(DAD2)은 배경음악의 음량의 조정(BAD2)과 대응 관계가 있을 수 있다. 드로잉 데이터의 붓 필입과 두께의 변화값(DAD2)의 감정 상태에 대한 상관 계수는 배경음악의 음량의 조정(BAD2)의 감정 상태에 대한 상관 계수와 유사할 수 있다.

드로잉 데이터의 붓 속도와 두께의 변동폭(DAD3)은 배경음악의 음 높이의 변동폭과 음량의 변동폭의 조정(BAD3)과 대응 관계가 있을 수 있다. 드로잉 데이터의 붓 속도와 두께의 변동폭(DAD3)의 감정 상태에 대한 상관 계수는 배경음악의 음 높이의 변동폭과 음량의 변동폭의 조정(BAD3)의 감정 상태에 대한 상관 계수와 유사할 수 있다.

드로잉 데이터의 붓 터치의 그림판 좌우 이동 정도(DAD4)는 배경음악의 좌우 음량 밸런스 조정(BAD4)과 대응 관계가 있을 수 있다. 드로잉 데이터의 붓 터치의 그림판 좌우 이동 정도(DAD4)의 감정 상태에 대한 상관 계수는 배경음악의 좌우 음량 밸런스 조정(BAD4)의 감정 상태에 대한 상관 계수와 유사할 수 있다.

드로잉 데이터의 붓 터치의 그림판 상하 이동 정도(DAD5)는 배경음악의 cord 조정(BAD5)과의 대응 관계가 있을 수 있다. 드로잉 데이터의 붓 터치의 그림판 상하 이동 정도(DAD5)의 감정 상태에 대한 상관 계수는 배경음악의 cord 조정(BAD5)의 감정 상태에 대한 상관 계수와 유사할 수 있다.

드로잉 데이터의 사용되는 색상의 R/G/B의 변동(DAD6)은 주파수 (파장)의 변동을 가져옴을 이유로 배경음악의 고음(treble)과 저음(bass) 음량 조정(BAD6), 악기 구성의 조정(BAD7)과 대응 관계가 있을 수 있다. 드로잉 데이터의 사용되는 색상의 R/G/B의 변동(DAD6)의 감정 상태에 대한 상관 계수는 배경음악의 고음(treble)과 저음(bass) 음량 조정(BAD6)의 감정 상태에 대한 상관 계수, 악기 구성의 조정(BAD7)의 감정 상태에 대한 상관 계수와 유사할 수 있다.

드로잉 데이터의 사용되는 색상의 명도/채도의 변동(DAD7)은 배경음악 고음(treble)과 저음(bass) 음량 조정(BAD6) 및 배경음악의 사용되는 악기 구성의 조정(BAD8)과 대응 관계가 있을 수 있다. 드로잉 데이터의 사용되는 색상의 명도/채도의 변동(DAD7)의 감정 상태에 대한 상관 계수는 배경음악 고음(treble)과 저음(bass) 음량 조정(BAD6)의 감정 상태에 대한 상관 계수 및 배경음악의 사용되는 악기 구성의 조정(BAD8)의 감정 상태에 대한 상관 계수와 유사할 수 있다.

드로잉 데이터의 사용되는 색상의 다양성(개수) 변화(DAD8)는 배경음악의 사용되는 악기의 수 조정(BAD9)과 대응 관계가 있을 수 있다. 드로잉 데이터의 사용되는 색상의 다양성(개수) 변화(DAD8)의 감정 상태에 대한 상관 계수는 배경음악의 사용되는 악기의 수 조정(BAD9)의 감정 상태에 대한 상관 계수와 유사할 수 있다.

드로잉 데이터의 붓 터치 간 쉼(pause) 시간(DAD9)은 배경음악의 음 간 무음(mute) 구간 조정(BAD9)과 대응 관계가 있을 수 있다. 드로잉 데이터의 붓 터치 간 쉼(pause) 시간(DAD9)의 감정 상태에 대한 상관 계수는 배경음악의 음 간 무음(mute) 구간 조정(BAD9)의 감정 상태에 대한 상관 계수와 유사할 수 있다.

드로잉 데이터의 지우기(erase)와 뒤로 가기 속성값(DAD10)은 배경음악의 특정 사운드 이펙트(sound effect) 삽입(BAD10)과 대응 관계가 있을 수 있다. 드로잉 데이터의 지우기(erase)와 뒤로 가기 속성값(DAD10)의 감정 상태에 대한 상관 계수는 배경음악의 특정 사운드 이펙트(sound effect) 삽입(BAD10)의 감정 상태에 대한 상관 계수와 유사할 수 있다.

도 11은, 본 개시의 실시예들에 따른, 드로잉 데이터의 원색 비율과, 배경음악의 고음(treble)과 저음(bass) 비율 값 사이의 주파수 (파장) 상관 관계에 대한 예시 도면이다.

주파수가 낮을수록 (파장이 길수록) RGB 중 R (빨강)의 비중과 Bass의 비율이 높아지고, 주파수가 높을수록 B (파랑)의 비중과 Treble의 비율이 높아짐을 설명한다.

이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 어플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

100: 배경음악 매칭 장치 110: 프로세서
120: 통신부 130: 메모리
140: 배경음악 매칭부

Claims (13)

1. 배경음악 매칭 장치가, 드로잉 데이터를 수신하는 단계;
   상기 배경음악 매칭 장치가, 상기 드로잉 데이터로부터 드로잉 데이터의 속성값들을 산출하는 단계;
   상기 배경음악 매칭 장치가, 상기 드로잉 데이터의 속성값들에 감정 상태에 대한 상관 계수를 적용하여 상기 드로잉 데이터의 감정 상태를 결정하는 단계;
   상기 배경음악 매칭 장치가, 상기 드로잉 데이터의 속성값들, 또는 상기 드로잉 데이터의 감정 상태를 고려하여 상기 드로잉 데이터와 대응 관계를 가지는 배경음악을 결정하는 단계; 및
   상기 배경음악 매칭 장치가, 상기 드로잉 데이터를 디스플레이하는 컨텐츠에 상기 배경음악을 삽입한 새로운 컨텐츠를 생성하는 단계;를 더 포함하는, 배경음악 매칭 방법.
2. 제1항에 있어서,
   상기 드로잉 데이터를 디스플레이하는 컨텐츠는,
   상기 드로잉 데이터가 드로잉되는 과정을 재생 디스플레이하는 컨텐츠인, 배경음악 매칭 방법.
3. 제1항에 있어서,
   상기 드로잉 데이터와 대응 관계를 가지는 배경음악은,
   상기 드로잉 데이터의 속성값들의 상관 계수들과 기 설정된 제1 기준 차이값 미만의 차이인 상관계수를 가지는 속성값들로 설정되는 배경음악인, 배경음악 매칭 방법.
4. 제1항에 있어서,
   상기 드로잉 데이터와 대응 관계를 가지는 배경음악은,
   상기 드로잉 데이터의 감정 상태와 기 설정된 제2 기준 차이값 미만의 차이인 감정 상태를 가지는 배경음악인, 배경음악 매칭 방법.
5. 제1항에 있어서,
   상기 드로잉 데이터와 대응 관계를 가지는 배경음악은,
   상기 드로잉 데이터의 창작자의 감정 상태와 기 설정된 제3 기준 차이값 미만의 차이인 창작자의 감정 상태를 가지는 배경음악인, 배경음악 매칭 방법.
6. 제1항에 있어서,
   상기 배경음악 매칭 장치가 상기 드로잉 데이터와 대응 관계를 가지는 배경음악의 속성값들을, 상기 드로잉 데이터의 감정 상태 중에서, 가장 높은 순위를 가지는 유형값을 더 높이는 방향으로 변경하여 상기 배경음악을 편집하는 단계를 더 포함하는, 배경음악 매칭 방법.
7. 통신부, 컴퓨터 판독 가능한 메모리, 및 프로세서를 포함하고,
   상기 프로세서가,
   드로잉 데이터를 수신하고,
   상기 드로잉 데이터로부터 드로잉 데이터의 속성값들을 산출하며,
   상기 드로잉 데이터의 속성값들에 감정 상태에 대한 상관 계수를 적용하여 상기 드로잉 데이터의 감정 상태를 결정하고,
   상기 드로잉 데이터의 속성값들, 또는 상기 드로잉 데이터의 감정 상태를 고려하여 상기 드로잉 데이터와 대응 관계를 가지는 배경음악을 결정하며,
   상기 드로잉 데이터를 디스플레이하는 컨텐츠에 상기 배경음악을 삽입한 새로운 컨텐츠를 생성하는, 배경음악 매칭 장치.
8. 제7항에 있어서,
   상기 드로잉 데이터를 재생 디스플레이하는 컨텐츠는,
   상기 드로잉 데이터가 드로잉되는 과정을 디스플레이하는 컨텐츠인, 배경음악 매칭 장치.
9. 제7항에 있어서,
   상기 드로잉 데이터와 대응 관계를 가지는 배경음악은,
   상기 드로잉 데이터의 속성값들의 상관 계수들과 기 설정된 제1 기준 차이값 미만의 차이인 상관계수를 가지는 속성값들로 설정되는 배경음악인, 배경음악 매칭 장치.
10. 제7항에 있어서,
    상기 드로잉 데이터와 대응 관계를 가지는 배경음악은,
    상기 드로잉 데이터의 감정 상태와 기 설정된 제2 기준 차이값 미만의 차이인 감정 상태를 가지는 배경음악인, 배경음악 매칭 장치.
11. 제7항에 있어서,
    상기 드로잉 데이터와 대응 관계를 가지는 배경음악은,
    상기 드로잉 데이터의 창작자의 감정 상태와 기 설정된 제3 기준 차이값 미만의 차이인 창작자의 감정 상태를 가지는 배경음악인, 배경음악 매칭 장치.
12. 제7항에 있어서,
    상기 프로세서가,
    상기 드로잉 데이터와 대응 관계를 가지는 배경음악의 속성값들을, 상기 드로잉 데이터의 감정 상태 중에서, 가장 높은 순위를 가지는 유형값을 더 높이는 방향으로 변경하여 상기 배경음악을 편집하는, 배경음악 매칭 장치.
13. 컴퓨터를 이용하여 제1항 내지 제6항 중 어느 한 항의 방법을 실행시키기 위하여 컴퓨터 판독 가능한 저장 매체에 저장된 컴퓨터 프로그램.
    

Images