KR102443177B1 - 음악 추천을 위한 이미지 기반 분위기 키워드 추출방법 - Google Patents

Abstract

색상 정보에 대응되는 문자 키워드를 1대1로 맵핑하는 제1단계; 이미지 전체를 적어도 하나 이상의 서브영역으로 분할하고, 각 서브영역의 평균적 색상을 추출하는 제2단계; 평균적 색상에 대응되는 문자 키워드를 매칭한 후, 이미지 전체에 대한 분위기 키워드를 선정하는 제3단계; 및 분위기 키워드를 기반으로 음악을 선곡하는 제4단계;를 포함하는, 음악 추천을 위한 이미지 기반 분위기 키워드 추출방법을 제공한다.

Description

음악 추천을 위한 이미지 기반 분위기 키워드 추출방법{Image-based mood keyword extraction method for music recommendation}

본 발명은 음악 추천 방법에 관한 것으로서, 특히 사용자가 특정 이미지를 제시하면, 해당 이미지에 적합한 음악을 추천함으로써 이미지에 적합한 감상 환경을 제공하는 음악 추천을 위한 이미지 기반 분위기 키워드 추출방법에 관한 것이다.

예술은 현대인의 삶을 윤택하고 풍요롭게 만드는 데 일조한다. 예술 작품의 대부분은 특히 이미지를 포함하는 시각 예술 작품들이다. 이런 이미지(image) 및 관련 작품은 그 자체로서 가치를 인정 받고 있다. 한편, 예술 작품은 미술관, 전시관 등에서 활발하게 대중에게 공개되고 있다. 최근 SNS(Social Network Service)의 보급과 발전으로 인해, 젊은 층을 중심으로 시각 예술 작품에 대한 관람객이 증가하는 추세이다.

미술관을 비롯한 전시회 주최 측은 관람객의 편안한 관람을 위해 주로 차분하고 안정적인 배경 음악을 제공한다. 하지만, 일부 미술 작품의 경우 관람 공간에서 울려 퍼지는 배경 음악과 미스매칭될 수 있다. 그 결과, 관람객은 이질적인 느낌으로 인해 오히려 작품 감상이 방해가 되어, 작품에 제대로 몰입하지 못하는 경우가 발생한다.

따라서, 본 발명은 미술 작품에 포함되는 이미지의 특성을 분석하고 이를 기반으로 적절한 음악을 추천함으로써, 관람객이 미술 작품을 감상하는 데 있어 적절한 무드(mood)와 함께 몰입할 수 있는 환경을 마련하고자 한다.

대한민국 등록특허 제10-1896193호 이미지를 음악으로 변환하는 방법(method for converting image into music) 대한민국 등록특허 제10-2089207호 이미지에 기초한 음악 재생 방법 및 이를 수행하기 위한 프로그램을 제공하는 서버(method of playing image into music and server supplying program for performing the same)

본 발명의 실시예는 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 시각적 미술 작품(예술 작품 등)에 포함되는 이미지를 이용하여, 이미지가 전달하는 무드(mood)를 파악하고 이를 토대로 음악을 추천하는 방법을 제공하고자 한다.

또한, 이미지에 대응되는 분위기 키워드에 기반하여 음악을 선곡하고자 한다. 또한, 특정 공간에서 미술 작품 등을 감상하는 관람객의 미술 작품에 대한 몰입도를 향상시키고자 한다.

또한, 이미지의 색상 정보에서 객관적으로 추출되는 정보를 기준으로 음악 선곡의 객관성을 보장하고자 한다. 또한, 미술 작품의 이미지에서 주요 포인트가 제공하는 분위기를 적절하게 반영하여 음악을 선곡하고자 한다.

본 발명의 실시예는 상기와 같은 과제를 해결하고자, 색상 정보에 대응되는 문자 키워드를 1대1로 맵핑하는 제1단계; 이미지 전체를 적어도 하나 이상의 서브영역으로 분할하고, 각 서브영역의 평균적 색상을 추출하는 제2단계; 평균적 색상에 대응되는 문자 키워드를 매칭한 후, 이미지 전체에 대한 분위기 키워드를 선정하는 제3단계; 및 분위기 키워드를 기반으로 음악을 선곡하는 제4단계;를 포함하는, 음악 추천을 위한 이미지 기반 분위기 키워드 추출방법을 제공한다.

상기 제1단계에서,

색상 정보는 색조(h), 채도(s) 및 명도(v)의 조합으로 구성되며, 색조(h), 채도(s) 및 명도(v)는 각각 미리 설정되는 범위를 갖도록 구분되는 것이 바람직하다.

상기 제1단계에서,

문자 키워드는 분위기와 관련되는 문자 키워드 그룹 내에서 선택되는 어느 하나인 것을 특징으로 하는 것이 바람직하다.

상기 제2단계에서,

서브영역은 이미지의 모양에 따라 균등 분할되어 형성되는 것이 바람직하다.

상기 제3단계에서,

분위기 키워드는 문자 키워드의 빈출 횟수에 따라, 대표 키워드와 보조 키워드의 한 조합으로 이루어지는 것이 바람직하다.

빈출 횟수는 각 문자 키워드에 대응되는 서브영역의 위치와 서브영역 내에 특정 피사체가 존재하는지 여부를 반영하여 가중치를 부여하여 산정되는 것이 바람직하다.

분위기 키워드는 관리자에 의해 수정 가능한 것이 바람직하다.

이상에서 살펴본 바와 같은 본 발명의 과제해결 수단에 의하면 다음과 같은 사항을 포함하는 다양한 효과를 기대할 수 있다. 다만, 본 발명이 하기와 같은 효과를 모두 발휘해야 성립되는 것은 아니다.

본 발명의 일 실시예에 따른 음악 추천을 위한 분위기 키워드 추출방법은 이미지에 대응되는 분위기 키워드를 기준으로 음악을 선곡할 수 있다.

분위기 키워드는 미술 작품에서 특히 미술 작품을 통해 표현되는 이미지의 색상 정보를 활용할 수 있는 바, 특정 공간에서 미술 작품을 감상하는 관람객의 미술 작품에 대한 몰입도를 향상시킬 수 있다.

분위기 키워드는 이미지의 색상 정보에서 객관적으로 추출되는 바 음악 선곡의 객관성을 보장할 수 있다.

분위기 키워드는 서브영역에 대한 가중치를 반영하는 바, 미술 작품에서 주요 포인트가 전달하는 분위기를 적절하게 반영시킬 수 있다.

도 1은 본 발명의 일 실시예에 따른 이미지 기반 키워드 추출 방법에 대한 흐름도.
도 2는 일 실시예에 따른 이미지가 분할되어 서브영역이 형성된 것을 보여주는 도면.
도 3은 색상에 따른 색조, 채도 및 명도를 보여주는 도면.
도 4는 이미지에 따라 추천되는 음악을 보여주는 도면.

본 개시의 구성 및 효과를 충분히 이해하기 위하여, 첨부한 도면을 참조하여 본 개시의 바람직한 실시예들을 설명한다. 그러나 본 개시는 이하에서 개시되는 실시예들에 한정되는 것이 아니라, 여러 가지 형태로 구현될 수 있고 다양한 변경을 가할 수 있다. 이하, 본 발명을 설명함에 있어서 관련된 공지 기능에 대하여 이 분야의 기술자에게 자명한 사항으로서 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략한다.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용될 수 있다. 예를 들어, 본 개시의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다. 본 개시의 실시예들에서 사용되는 용어들은 다르게 정의되지 않는 한, 해당 기술 분야에서 통상의 지식을 가진 자에게 통상적으로 알려진 의미로 해석될 수 있다.

이하, 도면을 참조하여 본 발명의 구체적인 실시예를 상세히 설명한다.

도 1은 본 발명의 일 실시예에 따른 이미지 기반 키워드 추출 방법에 대한 흐름도이고, 도 2는 일 실시예에 따른 이미지가 분할되어 서브영역이 형성된 것을 보여주는 도면이며, 도 3은 색상에 따른 색조, 채도 및 명도를 보여주는 도면이고, 도 4는 이미지에 따라 추천되는 음악을 보여주는 도면이다.

도 1 내지 도 4를 참조하면 본 발명에 따른 이미지 기반 분위기 키워드 추출방법은 제1단계 내지 제4단계를 포함할 수 있다. 여기서, 이미지는 미술관, 전시관 등 특정 공간 내에 배치, 배열되는 작품에 포함되는 것을 의미한다. 예를 들어, 이미지는 전시 중인 미술 작품일 수 있다. 이 때, 이미지는 다양한 색상 정보를 포함할 수 있다. 따라서, 일 실시예에 다른 이미지는 컬러 색상을 포함하는 것이 바람직하다. 한편, 이미지는 후술할 관리자의 선택에 따라 제공될 수 있다.

분위기는 이미지의 어느 일 장면 또는 전체 장면에서 느껴지는 기분으로 정의될 수 있다. 이런 분위기는 다소 주관적 성질을 갖고 있으나, 본 발명의 일 실시예에서 분위기는 색상 정보에 기반하는 객관적인 수치 데이터를 통해 구분되는 키워드 중의 어느 하나를 의미한다.

먼저, 제1단계는 색상 정보에 대응되는 문자 키워드를 1대1로 맵핑하는 단계이다.(S10) 일 실시예에 따른 색상 정보는 색조(h), 채도(s) 및 명도(v)의 조합으로 구성된다. 색조(h), 채도(s), 명도(v)는 각각 Hue, Saturation, Value를 의미한다.

색조(h)는 채도(s), 명도(v)와 더불어 색의 세 가지 속성 중 하나로서, 빨강, 노랑, 초록, 파랑, 보라 등의 유채색을 종류별로 나눌 수 있도록 구별되는 특성을 말한다. 색조는 0°내지 360°범위 내의 값을 갖는다.

채도(s)는 색상의 진하고 엷음을 의미한다. 채도는 원색에 가까울수록 높은 값을 갖는다. 즉, 순색의 경우 동일 색상에서 가장 높은 채도를 갖는다. 한편, 흰색과 검은색은 채도가 없기 때문에 '무채색'이라 불린다. 채도는 0% 내지 100% 범위 내의 값을 갖는다.

명도(v)은 색상에서 어두운 느낌과 밝은 느낌을 제공하는 값이다. 명도는 0% 내지 100% 범위 내의 값을 갖는다.

일 실시예에 따른 색상 정보는 색조(h), 채도(s) 및 명도(v)는 각각 미리 설정되는 범위를 갖도록 구분되는 것으로 지정된다. 따라서, 색상 정보의 일 실시예는 다음과 같다.

(색상 정보 -> 색조(h) : h1 ~ h2, 채도(s) : s1 ~ s2, 명도(v) : v1 ~ v2)

동일 색상에 대한 색상 정보는 3가지 색상 요소에 대한 각 수치가 모두 일치한다. 그리고, 유사 색상에 대한 색상 정보는 3가지 색상 요소 중 적어도 어느 하나에 대한 수치가 다르다. 한편, 본 발명의 일 실시예에 따른 색상 정보는 3가지 색상 요소 중 적어도 어느 하나 이상에 대한 수치 범위가 중첩되지 않는 경우 서로 다른 색상인 것으로 지정되는 것이 바람직하다. 즉, 서로 다른 색상 정보는 색조(h), 채도(s) 및 명도(v) 중 어느 하나 이상에 대해 그 수치 범위가 완전하게 일치되지 않는 것을 의미한다.

제1단계에서, 문자 키워드는 분위기와 관련되는 문자 키워드 그룹 내에서 선택되는 어느 하나일 수 있다. 이 때, 문자 키워드는 예를 들어, 차가운, 강렬한, 따뜻한, 평화로운, 피폐한, 활기찬, 우울한, 엄숙한, 슬픈, 비통한, 명상에 잠긴, 낙관적인, 시적인, 목가적인, 사색적인 등 특히, 분위기를 나타내는 단어로 한정하는 것이 바람직하다.

예를 들어, "차가운"인 경우, 색조(h)는 180 내지 250, 채도(s)는 b1 내지 b2, 명도(v)는 c1 내지 c2이고, "강렬한"인 경우, 색조(h)는 0 내지 20 이거나 330 내지 360, 채도(s)는 b3 내지 b4, 명도(v)는 c3 내지 c4이다. "따뜻한"인 경우, 색조(h)는 21 내지 60이고, 채도(s)는 b5 내지 b6, 명도(v)는 c5 내지 c6이며, "평화로운"인 경우, 색조(h)는 30 내지 200이고 채도(s)는 b7 내지 b8, 명도(v)는 51 내지 100 이다. 여기서, b1, b2 등과 c1, c2 등은 모두 0 내지 100 이하의 값이다.

일 실시예에 따라, 문자 키워드에 의해 선정되는 음악은 이미지가 전시 중인 전시 공간 등에서 플레이된다. 이는, 전시 공간에서 미술 작품에 포함되는 시각적 이미지를 감상 중인 관람객의 몰입도 등을 향상시킬 수 있는 환경을 제공한다. 문자 키워드에 1대1로 맵핑되는 색상 정보는 문자 키워드의 개수를 고려하여 색조(h), 채도(s) 및 명도(v)에 대한 수치 범위가 조절될 수 있다.

그 다음, 제2단계는 이미지 전체를 적어도 하나 이상의 서브영역으로 분할하고, 각 서브영역의 평균적 색상을 추출하는 단계이다.(S20) 여기서, 서브영역은 이미지의 모양에 따라 균등 분할될 수 있다. 한편, 이미지는 직사각형, 정사각형, 원, 삼각형 등 다양한 모양을 갖을 수 있다. 이미지의 모양에 따라 관리자에 의해 적절하게 사각형 계열로 조정될 수 있다.

예를 들어, 이미지가 직사각형인 경우, 이미지는 가로x세로가 2x2의 영역으로 분할될 수 있다. 그 결과, 총 4개의 서브영역이 생성된다. 이와 달리, 이미지는 가로x세로가 3x3, 4x4 등의 보다 세분화된 영역으로 분할될 수 있다. 한편, 서브영역은 복수 개의 단위셀에 대한 집합으로 형성될 수 있다. 이 때, 평균적 색상은 단위셀 각각에 대한 색상을 추출한 후, 그 평균값을 통해 결정된다. 색상은 색조(h), 채도(s) 및 명도(v)에 대한 수치로 특정될 수 있다. 따라서, 평균적 색상은 색조(h), 채도(s) 및 명도(v)에 대한 각 수치로 특정될 수 있다. 한편, 평균적 색상의 일 실시예는 다음과 같다.

평균적 색상 -> 색조(h) : ha, 채도(s) : sa, 명도(v) : va

(여기서, ha는 0°내지 360°범위 내의 값을 갖는다. sa 및 va는 0% 내지 100% 범위 내의 값을 갖는다.) 이를 통해, 각 서브영역의 평균적 색상을 추출할 수 있다.

이와 달리, 서브영역은 특정 피사체를 기준으로 일부 병합될 수 있다. 여기서, 특정 피사체는 미리 설정될 수 있다. 특정 피사체가 존재하는 경우, 특정 피사체를 포함하는 서브영역이 모두 병합되어 단일 병합서브영역을 형성할 수 있다. 이 때, 평균적 색상은 병합서브영역에서 추출될 수 있다.

이와 달리, 각 단위셀에 대한 색상은 RGB 값에서 변환되는 색조(h), 채도(s) 및 명도(v)에 대한 각 수치일 수 있다. 예를 들어, 디스플레이 장치(모니터 등)에서 표현되거나, 디스플레이 장치(카메라 등)를 통해 얻어지는 이미지의 경우 특히 RGB 값으로 표현될 수 있다. 이 때, RGB 값으로 표현되는 이미지는 색조(h), 채도(s) 및 명도(v)에 대한 각 수치로 변환시키는 것이 바람직하다. RGB 값을 HSV 값으로 변환하는 방법은 공지된 기술 중 어느 하나를 사용할 수 있다.

제3단계는 평균적 색상에 대응되는 문자 키워드를 매칭한 후, 이미지 전체에 대한 분위기 키워드를 선정하는 단계이다.(S30) 이를 위해, 먼저 평균적 색상에 대응되는 색상 정보를 매칭한다. 구체적으로, 색조(h), 채도(s) 및 명도(v)에 대한 각 수치가 어느 일 색상 정보를 구성하는 색조 범위, 채도 범위, 명도 범위에 모두 포함되는 경우 평균적 색상에 대응되는 색상 정보로 매칭된다.

단일 이미지에서 문자 키워드는 서브영역의 개수를 초과할 수 없다. 한편, 분위기 키워드는 문자 키워드의 빈출 횟수에 따라, 대표 키워드와 보조 키워드의 한 조합으로 이루어진다. 즉, 분위기 키워드는 대표 키워드와 보조 키워드의 한 쌍으로 구성될 수 있다.

대표 키워드는 문자 키워드의 빈출 횟수가 가장 많은 즉, 최다 문자 키워드이다. 보조 키워드는 차순위 최다 문자 키워드이다. 여기서, 빈출 횟수는 각 문자 키워드에 대응되는 서브영역의 위치와 서브영역 내에 특정 피사체가 존재하는지 여부를 반영하여 가중치를 부여하여 산정될 수 있다. 일 실시예는 이미지의 각 코너에 배치되는 서브영역의 가중치를 0.5로, 이미지의 중앙에 배치되는 서브영역의 가중치를 1.5로 부여할 수 있다. 또한, 특정 피사체가 존재하는 경우 예를 들어, 가중치를 2로 부여할 수 있다. 이와 달리, 특정 피사체가 존재하는 경우, 이를 포함하는 병합서브영역에 대한 가중치를 2로 부여할 수 있다.

한편, 분위기 키워드는 관리자에 의해 수정 가능할 수 있다. 관리자는 미술관 등에서 근무하는 큐레이터 등 미술 작품에 조예가 있는 담당자를 의미한다. 관리자는 미술 작품의 객관적 정보와 미술 작품이 전달하는 주관적 정보에 기반하여 분위기 키워드를 문자 키워드 그룹 내에서 선택하여 수정할 수 있다.

다음으로 제4단계는 분위기 키워드를 기반으로 음악을 선곡하는 단계이다.(S40) 분위기 키워드는 한 쌍의 문자 키워드로 구성된다. 여기서, 음악에는 태그가 설정될 수 있다. 태그는 대표 키워드와 보조 키워드의 조합으로 형성될 수 있다. 태그는 예를 들어, (차가운, 조화로운) 형태일 수 있다.

이를 통해, 본 발명의 일 실시예는 미술 작품에서 특히 미술 작품을 통해 표현되는 이미지의 색상 정보를 활용할 수 있는 바, 특정 공간에서 미술 작품을 감상하는 관람객의 미술 작품에 대한 몰입도를 향상시킬 수 있다. 또한, 음악 선곡의 객관성을 보장할 수 있다.

이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명하였으나, 본 발명의 범위는 이와 같은 특정 실시예에만 한정되는 것은 아니며, 특허청구범위에 기재된 범주 내에서 적절하게 변경 가능한 것이다.

Claims (7)

1. 색상 정보에 대응되는 문자 키워드를 1대1로 맵핑하는 제1단계;
   이미지 전체를 적어도 하나 이상의 서브영역으로 분할하고, 각 서브영역의 평균적 색상을 추출하는 제2단계;
   평균적 색상에 대응되는 문자 키워드를 매칭한 후, 이미지 전체에 대한 분위기 키워드를 선정하는 제3단계; 및
   분위기 키워드를 기반으로 음악을 선곡하는 제4단계;를 포함하며,
   상기 제1단계에서, 색상 정보는 색조(h), 채도(s) 및 명도(v)의 조합으로 구성되며, 색조(h), 채도(s) 및 명도(v)는 각각 미리 설정되는 범위를 갖도록 구분되고, (색조(h) : h1 ~ h2, 채도(s) : s1 ~ s2, 명도(v) : v1 ~ v2)
   평균적 색상은 색조(h), 채도(s) 및 명도(v)에 대한 각 수치로 특정되며,
   상기 제3단계에서 평균적 색상에 대한 각 수치가 색상 정보를 구성하는 색조(h) 범위, 채도(s) 범위, 명도(v) 범위에 모두 포함되는 경우, 평균적 색상에 대응되는 색상 정보로 매칭되고,
   상기 제3단계에서, 분위기 키워드는 문자 키워드의 빈출 횟수에 따라, 최다 문자 키워드인 대표 키워드와 차순위 최다 문자 키워드인 보조 키워드의 한 조합으로 이루어지되, 빈출 횟수는 각 문자 키워드에 대응되는 서브영역의 위치와 서브영역 내에 특정 피사체가 존재하는지 여부를 반영하여 가중치를 부여하여 산정되는 것을 특징으로 하는 음악 추천을 위한 이미지 기반 분위기 키워드 추출방법.
   
2. 삭제
3. 제1항에 있어서, 상기 제1단계에서,
   문자 키워드는 분위기와 관련되는 문자 키워드 그룹 내에서 선택되는 어느 하나인 것을 특징으로 하는, 음악 추천을 위한 이미지 기반 분위기 키워드 추출방법.
   
4. 제1항에 있어서, 상기 제2단계에서,
   서브영역은 이미지의 모양에 따라 균등 분할되어 형성되는, 음악 추천을 위한 이미지 기반 분위기 키워드 추출방법.
   
5. 삭제
6. 삭제
7. 제1항에 있어서,
   분위기 키워드는 관리자에 의해 수정 가능한 것을 특징으로 하는, 음악 추천을 위한 이미지 기반 분위기 키워드 추출방법.

Images