KR102294528B1

KR102294528B1 - 영상 기반 작곡 장치 및 방법

Info

Publication number: KR102294528B1
Application number: KR1020200121509A
Authority: KR
Inventors: 김민수; 김형찬
Original assignee: 김형찬; 김민수
Priority date: 2020-07-03
Filing date: 2020-09-21
Publication date: 2021-08-27
Also published as: WO2022005253A1

Abstract

영상 기반 작곡 장치가 개시된다. 본 발명의 일 실시예에 따른 영상 기반 작곡 장치는 영상을 분석하여 음악을 작곡하는 영상 기반 작곡 장치로서, 소스 영상이 입력되는 영상 입력부; 소스 영상 중에서 작곡의 대상이 되는 작곡 범위를 설정하는 범위 설정부; 작곡 범위를 하나 이상의 마디 단위로 구분하고, 마디 단위를 하나 이상의 기본 단위로 분할하는 단위 분할부; 기본 단위의 색 정보를 도출하여 가시광선의 진동수 영역 중 색 정보에 대응되는 가시광선 진동수를 설정하는 제 1 진동수 설정부; 가시광선 진동수와 배음 관계에 있는 가청 진동수를 설정하는 제 2 진동수 설정부 및 기본 단위의 가청 진동수에 대응되는 음을 기본 단위의 배치 순서를 따라 배열함으로써 마디 단위의 음계를 구성하는 작곡부를 포함한다.

Description

영상 기반 작곡 장치 및 방법{IMAGE-BASED COMPOSITION DEVICE AND METHOD}

본 발명은 영상 기반 작곡 장치 및 방법에 관한 것으로, 보다 상세하게는, 시각적 영상을 기초로 하여 자동으로 음악을 작곡하는 영상 기반 작곡 장치 및 방법에 관한 것이다.

작곡이란 음악의 구성요소인 주선율을 만드는 작업으로서, 이러한 작곡 작업을 자동으로 수행하는 자동 작곡 기술이 제안된 바 있다. 이러한 자동 작곡 기술은 음악 작곡을 위해 떠오른 악상을 기록하는 것을 자동으로 수행하여 작곡능력이 부족한 사람들이 쉽게 작곡을 할 수 있도록 도와줄 수 있다.

그러나 종래에 제시되었던 자동 작곡 기술들은 실질적인 작곡을 하는 것이 아니라, 단순한 음악 파편들을 조합하는 것에 불과하거나, 또는 서로 연관 관계가 없는 음을 단순히 나열하여 음계를 구성하는 등 음악적 법칙을 기반으로 하지 않는 이유로, 고품질의 결과물을 제공하기 어려운 면이 있다.

한편, 작곡자가 작곡의 모티브를 얻는 과정을 살펴보면, 인상 깊은 시각적 이미지로부터 악상을 떠올리는 경우가 자주 있다. 이것은 예술의 영역에 속하는 작곡의 경우 작곡자의 감정을 기반으로 작곡이 이루어지는 것을 고려하였을 때, 비록 시각과 청각은 서로 다른 감각을 담당하긴 하나, 작곡자로 하여금 유사한 감정을 일으키기도 하기 때문이다.

따라서, 자동 작곡 기술을 이용하여 보다 체계적이고 의미 있는 작곡 결과물을 얻기 위해서는 자연계에 존재하는 법칙을 이용하면서도, 작곡자가 작곡의 모티브를 얻는 과정을 모사할 수 있는 자동 작곡 장치가 필요하다.

대한민국 등록특허공보 제 10-1191907호

본 발명의 일 실시예는 시각적 영상을 기초 자료로 하여 자동으로 음악을 작곡하는 영상 기반 작곡 장치 및 방법을 제공하고자 한다.

본 발명의 일 실시예는 작곡에 대한 지식이 없는 일반인도 어려움 없이 작곡을 수행할 수 있는 영상 기반 작곡 장치 및 방법을 제공하고자 한다.

본 발명의 일 실시예는 배음의 법칙을 이용하여 작곡을 수행할 수 있는 영상 기반 작곡 장치 및 방법을 제공하고자 한다.

본 발명의 일 실시예는 사용자에게 유희적 요소를 전달할 수 있는 영상 기반 작곡 장치 및 방법을 제공하고자 한다.

본 발명의 일 측면에 따르면, 영상을 분석하여 음악을 작곡하는 영상 기반 작곡 장치로서, 소스 영상이 입력되는 영상 입력부; 상기 소스 영상 중에서 작곡의 대상이 되는 작곡 범위를 설정하는 범위 설정부; 상기 작곡 범위를 하나 이상의 마디 단위로 구분하고, 상기 마디 단위를 하나 이상의 기본 단위로 분할하는 단위 분할부; 상기 기본 단위의 색 정보를 도출하여 가시광선의 진동수 영역 중 상기 색 정보에 대응되는 가시광선 진동수를 설정하는 제 1 진동수 설정부; 상기 가시광선 진동수와 배음 관계에 있는 가청 진동수를 설정하는 제 2 진동수 설정부 및 상기 기본 단위의 상기 가청 진동수에 대응되는 음을 상기 기본 단위의 배치 순서를 따라 배열함으로써 상기 마디 단위의 음계를 구성하는 작곡부를 포함하는, 영상 기반 작곡 장치가 제공된다.

이 때, 상기 제 1 진동수 설정부가 상기 색 정보를 도출하는 것은 상기 기본 단위에 대하여 공지의 색 분류 체계 중 적어도 하나의 색을 대응시키는 것을 의미할 수 있다.

이 때, 상기 제 1 진동수 설정부는 상기 기본 단위에 대하여 상기 공지의 색 분류 체계 중 복수의 색이 대응되는 경우, 상기 복수의 색 중 가장 다수의 색을 선택하여 대응시킬 수 있다.

이 때, 상기 공지의 색 분류 체계는 색상(Hue) 및 색조(Tone)에 따라 색을 분류한 IRI Hue & Tone 120 이며, 상기 제 1 진동수 설정부는 상기 가시광선의 진동수 영역을 상기 색상 별로 구분하고, 상기 색상 별로 구분된 상기 가시광선의 진동수 영역을 상기 색상의 색조 별로 세분화하여 상기 가시광선 진동수를 설정할 수 있다.

이 때, 제 1 진동수 설정부와 상기 제 2 진동수 설정부는 상기 색 정보가 무채색인 기본 단위에 대하여 상기 가시광선 진동수와 상기 가청 진동수를 설정하지 않도록 형성되며, 상기 작곡부는 상기 색 정보가 무채색인 기본 단위에 대하여 상기 음을 대신하여 쉼표를 배열할 수 있다.

이 때, 상기 작곡부는 상기 음계에 동일한 음이 연속될 경우 연속되는 복수의 음을 합쳐 하나의 장음으로 구성할 수 있다.

이 때, 상기 작곡부는 상기 하나 이상의 마디 단위에 대하여 개별적으로 구성된 상기 하나 이상의 음계를 서로 연결하여 상기 음악을 작곡할 수 있다.

이 때, 상기 작곡부는 상기 하나 이상의 음계를 상기 마디 단위의 위치에 따라 순차적으로 연결하여 상기 음악을 작곡할 수 있다.

이 때, 상기 작곡부는 사용자에 의하여 선택된 방향을 따라 상기 하나 이상의 음계를 순차적으로 연결하여 상기 음악을 작곡할 수 있다.

이 때, 작곡부가 작곡한 상기 음악을 사용자가 들을 수 있는 형태로 출력하는 출력부를 더 포함할 수 있다.

본 발명의 다른 일 측면에 따르면, 영상 기반 작곡 장치를 이용하여 음악을 작곡하는 영상 기반 작곡 방법으로서, 상기 영상 기반 작곡 장치에 소스 영상을 입력하는 단계; 상기 영상 기반 작곡 장치가 상기 소스 영상 중에서 작곡의 대상이 되는 작곡 범위를 설정하는 단계; 상기 영상 기반 작곡 장치가 상기 작곡 범위를 하나 이상의 마디 단위로 구분하고, 상기 마디 단위를 하나 이상의 기본 단위로 분할하는 단계; 상기 영상 기반 작곡 장치가 상기 기본 단위의 색 정보를 도출하여 가시광선의 진동수 영역 중 상기 색 정보에 대응되는 가시광선 진동수를 설정하는 단계; 상기 영상 기반 작곡 장치가 상기 가시광선 진동수와 배음 관계에 있는 가청 진동수를 설정하는 단계 및 상기 영상 기반 작곡 장치가 상기 기본 단위의 상기 가청 진동수에 대응되는 음을 배열함으로써 상기 마디 단위의 음계를 구성하는 단계를 포함하는, 영상 기반 작곡 방법이 제공된다.

본 발명의 일 실시예에 따른 영상 기반 작곡 장치는 제 1 진동수 설정부에 의해 영상에 포함된 색 정보를 도출하고, 이를 기초로 하여 가시광선 진동수를 설정하고, 제 2 진동수 설정부에 의해 상기 가시광선 진동수와 배음관계에 있는 가청 진동수를 설정함으로써 자연계에 존재하는 배음의 법칙을 적용하여 체계적으로 작곡 작업을 수행할 수 있다.

본 발명의 일 실시예에 따른 영상 기반 작곡 장치는 작곡 과정이 자동으로 수행되면서도, 사용자가 작곡 범위의 설정 및 마디 단위의 연결 순서 등을 설정할 수 있도록 형성되어 사용자가 전문지식 없이도 예술적 성취감을 느낄 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상 기반 작곡 장치의 구성을 블록도 형태로 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 영상 기반 작곡 장치에서 각 마디 단위의 음계가 구성되는 것을 설명하기 위한 도면이다.
도 3은 가시광선의 색상 별 진동수의 범위를 나타낸 도면이다.
도 4는 음계를 구성하는 음 별 가청 진동수를 나타낸 도면이다.
도 5는 공지의 색 분류 체계 중 색상(Hue) 및 색조(Tone)에 따라 색을 분류한 IRI Hue & Tone 120을 도시한 도면이다.
도 6은 가시광선의 진동수 영역을 색상의 색조 별로 세분화하여 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 영상 기반 작곡 방법의 순서도이다.

이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.

본 개시의 일부 실시예는 기능적인 블록 구성들 및 다양한 처리 단계들로 나타내어질 수 있다. 이러한 기능 블록들의 일부 또는 전부는, 특정 기능들을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다. 예를 들어, 본 개시의 기능 블록들은 하나 이상의 마이크로프로세서들에 의해 구현되거나, 소정의 기능을 위한 회로 구성들에 의해 구현될 수 있다. 또한, 예를 들어, 본 개시의 기능 블록들은 다양한 프로그래밍 또는 스크립팅 언어로 구현될 수 있다. 기능 블록들은 하나 이상의 프로세서들에서 실행되는 알고리즘으로 구현될 수 있다. 또한, 본 개시는 전자적인 환경 설정, 신호 처리, 및/또는 데이터 처리 등을 위하여 종래 기술을 채용할 수 있다. “매커니즘”, “요소”, “수단” 및 “구성”등과 같은 용어는 넓게 사용될 수 있으며, 기계적이고 물리적인 구성들로서 한정되는 것은 아니다.

본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 시각적 이미지를 모티브로 하여 청각으로 인식할 수 있는 음악을 작곡할 수 있는 장치로서, 작곡에 대한 전문적인 지식이 없는 사용자도 이미지 제공 만으로 자동적으로 영상을 분석하여 음악을 작곡할 수 있는 장치이다. 특히 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 작곡시 주파수와 가청 주파수 사이의 배음의 법칙을 이용함으로써, 자연 법칙을 이용하여 음악을 작곡할 수 있는 장치이다.

이하, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)의 주요 구성에 대하여 보다 상세히 설명하도록 한다.

도 1은 본 발명의 일 실시예에 따른 영상 기반 작곡 장치의 구성을 블록도 형태로 도시한 도면이다. 도 2는 본 발명의 일 실시예에 따른 영상 기반 작곡 장치에서 각 마디 단위의 음계가 구성되는 것을 설명하기 위한 도면이다. 도 3은 가시광선의 색상 별 진동수의 범위를 나타낸 도면이다. 도 4는 음계를 구성하는 음 별 가청 진동수를 나타낸 도면이다. 도 5는 공지의 색 분류 체계 중 색상(Hue) 및 색조(Tone)에 따라 색을 분류한 IRI Hue & Tone 120을 도시한 도면이다. 도 6은 가시광선의 진동수 영역을 색상의 색조 별로 세분화하여 도시한 도면이다.

도 1을 참조하면, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 영상 입력부(10), 범위 설정부(20), 단위 분할부(30), 제 1 진동수 설정부(40), 제 2 진동수 설정부(50) 및 작곡부(60)를 포함한다.

본 발명의 일 실시예에서, 영상 입력부(10)는 사용자에 의해 선택된 임의의 소스 영상을 입력 받을 수 있다.

이 때, 소스 영상은 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)의 작곡 재료가 되는 기초 자료로서, 픽셀 단위로 구성되며 컴퓨터에 의해 인식될 수 있다.

일례로 소스 영상은 정지 상태의 이미지(프레임) 또는 복수의 프레임으로 구성된 동영상을 포함할 수 있다. 또한, 소스 영상은 카메라를 포함한 이미지 센서에 의해 촬영된 실사 이미지는 물론 컴퓨터 그래픽 기술에 의해 제작된 가상 이미지를 모두 포함할 수 있다. 또한, 소스 영상은 과거에 미리 촬영되거나 제작되어 미리 저장된 형태의 영상일 수도 있고, 작곡 시점에 이미지 센서에 의해 즉시 촬영되어 영상 입력부(10)로 전송된 영상일 수도 있다.

본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 영상 입력부(10)로부터 전달받은 소스 영상에 대하여 작곡 범위를 설정하기 위한 범위 설정부(20)를 포함한다.

보다 상세하게, 도 2를 참조하면, 범위 설정부(20)는 다양한 형상과 색상으로 구성된 소스 영상의 전체 영역 중에서 작곡의 대상으로 이용될 적어도 일부 영역을 선택할 수 있다. 이 때, 범위 설정부(20)는 소스 영상의 전체 영역 중 일부가 아닌 전체 영역을 선택할 수도 있다.

본 발명의 일 실시예에서 범위 설정부(20)가 작곡 범위를 설정한다는 것의 의미는 사용자에 의해 임의로 작곡 범위가 설정되거나, 또는 프로그램 형태의 알고리즘에 의해 자동적으로 범위가 설정되는 것을 모두 포함할 수 있다.

그 중, 만약 사용자에 의해 임의로 작곡 범위가 설정되는 경우, 범위 설정부(20)는 모니터 또는 스마트폰 화면 등 공지의 디스플레이 장치를 통해 시각화되는 이미지 위에 작곡 범위 설정을 위한 영역 지정 수단(A)을 표시해 줄 수 있다. 이러한 영역 지정 수단(A)은 비제한적인 일례로서, 컴퓨터의 마우스 장치 또는 사용자의 손가락을 통해 발생된 입력 신호에 따라 그 크기가 축소되거나 확대될 수 있으며, 위치가 변경될 수도 있다.

만약, 범위 설정부(20)가 정해진 알고리즘에 의해 자동적으로 작곡 범위를 설정하는 경우, 범위 설정부(20)는 전체 이미지 영역 중에서 색상의 구성이 다채로운 일부 영역, 색상의 명도 또는 채도가 가장 높은 일부 영역, 형상의 변화가 빈번한 일부 영역 등을 선택하도록 형성될 수 있다. 다만, 상술한 일부 영역은 일례에 불과하며, 범위 설정부(20)는 작곡 범위를 설정하는 다양한 알고리즘을 가질 수 있다.

다시 도 2를 참조하면, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 선택된 작곡 범위를 복수의 마디 단위로 구분하고, 다시 마디 단위를 하나 이상의 기본 단위(B)로 분할하는 단위 분할부(30)를 포함한다.

본 발명의 일 실시예에서, 단위 분할부(30)는 범위 설정부(20)에 설정된 작곡 범위를 복수의 마디 단위로 구획할 수 있다. 여기서, 단위 분할부(30)가 작곡 범위를 구획하는 것은, 하나의 음악이 복수의 마디를 포함하며 음계를 구성하듯이, 전체 작곡 범위에 대해서도 음계를 구성하는 기본 단위인 마디에 대응되는 단위 영역을 매칭시키기 위함이다. 즉, 마디 단위는 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)가 작곡 작업을 수행하는 기본 단위로 기능할 수 있다.

이 때, 단위 분할부(30)는 바람직하게는 4개, 8개, 12개,??,4n 개 등과 같이 총 마디 단위의 개수가 4의 배수가 되도록 작곡 영역을 분할할 수 있다. 이것은 통상의 음악에서 마디의 개수는 4n 개로 구성되는 것에서 착안한 것으로, 추후 음계가 완성되었을 때, 일반적인 음악과 비교하여 이질감이 느껴지지 않도록 하기 위함이다. 그러나, 이것은 단위 분할부(30)가 작곡 단위를 마디 단위로 구획하는 방법의 일례에 불과하며, 이에 제한되는 것은 아님을 밝혀 둔다.

그리고, 단위 분할부(30)는 단일한 마디 단위를 다시 복수의 기본 단위(B)로 분할할 수 있다. 여기서, 기본 단위(B)란 음계를 구성하는 최소 단위인 음표 또는 쉼표에 대응되는 단위 영역을 의미하며, 추후 이를 기초로 하여 특정 이미지 영역이 음표로 변환될 수 있다.

구체적으로, 도 2를 참조하면, 단일한 마디 범위는 복수 개의 기본 단위(도 2의 경우 64개의 기본 단위(B)로 분할됨)로 나뉘어 각각이 개별적으로 음표로 변환될 수 있다. 다만, 도 2에서는 마디 단위를 격자 무늬 형태로 분할한 것으로 도시되었으나, 이는 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)의 단위 분할부(30)가 기본 단위(B)를 생성하는 일 예시에 불과하며, 필요에 따라 기본 단위(B)는 작곡 범위의 수평(가로) 방향 또는 수직(세로) 방향 중 어느 한 방향만을 선택하여 해당 방향을 따라 서로 평행하도록 분할될 수도 있으며, 곡선 형태를 이용하여 분할될 수도 있다.

이 때, 개별 기본 단위(B)는 일례로, 도 2에 도시된 바와 같이 64분 음표로 변환될 수 있다. 즉, 도 2의 경우, 64개의 64분 음표가 모여서 하나의 마디의 음계를 구성할 수 있다. 여기서 개별 기본 단위(B)로부터 변환될 개별 64분 음표의 음 높이는 후술될 제 1 진동수 설정부(40) 및 2 진동수 설정부(50)가 해당 기본 단위(B)의 색 정보를 분석함으로써 추후 정해질 수 있다. 이에 대해서는 제 1 진동수 설정부(40) 및 2 진동수 설정부(50)와 관련된 설명을 통해 자세히 기술하기로 한다.

그러나, 기본 단위(B)가 64분 음표로 변환되는 것은 본 발명의 일 실시예에 불과하며, 사용자의 설정에 따라 32분 음표, 16분 음표 또는 8분 음표 등으로 변환되도록 할 수도 있다. 또한 개별 기본 단위는 전술한 바와 같이 모두 동일한 음 길이를 가지도록 변환되거나, 이와는 달리 개별 기본 단위의 특징을 반영하여 서로 상이한 음길이를 가지도록 변환될 수도 있다.

이상에서는 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)가 작곡을 수행하기 위해 하나의 이미지를 복수의 기본 단위(B)로 분할하는 것에 대하여 설명하였다. 아래에서는 이와 같이 분할된 기본 단위(B)가 어떻게 음계로 변환되는지에 대하여 자세히 기술하도록 한다.

본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 기본 단위(B)의 색(color)에 대응되는 가시광선 진동수 범위(이하 "가시광선 진동수")를 설정하는 제 1 진동수 설정부(40)를 포함한다.

구체적으로, 가시광선은 빛 가운데 인간에 의해 시각적 인지가 가능한 영역을 의미하는 것으로서, 도 3을 참조하면, 가시광선은 각각의 색(color) 정보 별로 고유의 파장과 진동수가 가진다. 이를 기초로 하여, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)의 제 1 진동수 설정부(40)는 기본 단위(B)에 대하여 이미지 분석을 수행하여 기본 단위가 가지고 있는 색 정보를 도출한 후, 이에 대응되는 진동수 영역을 설정할 수 있다.

일례로, 제 1 진동수 설정부(40)가 특정 기본 단위의 색 정보를 분석하였는데, 상기 특정 기본 단위의 색 정보가 빨간색으로 확인되는 경우, 제 1 진동수 설정부(40)는 해당 기본 단위에 대하여 405 내지 480 THz의 가시광선 진동수를 설정할 수 있다.

한편, 본 발명의 일 실시예에서, 제 1 진동수 설정부(40)가 기본 단위(B)의 색 정보를 도출하는 것은 기본 단위(B)에 대하여 공지의 색 분류 체계 중 적어도 하나의 색을 대응시키는 것을 의미할 수 있다.

도 5를 참조하면, 공지의 색 분류 체계의 일례로서, 색상(Hue) 및 색조(Tone)에 따라 색을 분류한 IRI Hue & Tone 120를 들 수 있다. 즉, 제 1 진동수 설정부(40)는 IRI Hue & Tone 120에 의한 120가지의 색 중 어느 하나의 색을 특정하여 해당 기본 단위에 대응시킬 수 있으며, 이렇게 대응된 색이 해당 기본 단위의 색 정보가 될 수 있다.

본 발명의 일 실시예에서, 제 1 진동수 설정부(40)가 색 정보를 분석하는 방법은 공지의 방법에 의할 수 있다. 일례로, 기본 단위(B)에 포함된 픽셀의 RGB(Red, Green, Blue) 정보 또는 CMYK(Cyan, Magenta, Yellow and Ke(Black)) 정보를 이용하는 방법 등 다양한 방법으로 이루어질 수 있으며, 공지된 색 정보 추출 프로그램을 이용할 수 있다.

본 발명의 일 실시예에서, 만약 단일 기본 단위가 복수의 픽셀로 구성되고, 픽셀 단위로 색 정보를 도출할 경우, 해당 기본 단위에 대해서는 공지의 색 분류 체계 중 복수의 색 정보가 대응될 수 있을 것이다. 이 경우, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)의 제 1 진동수 설정부(40)는 상기 복수의 색 정보 중 가장 다수의 색을 하나 선택하여 대응시킬 수 있다.

본 발명의 일 실시예에서, 제 1 진동수 설정부(40)가 공지의 색 분류 체계 중 IRI Hue & Tone 120에 따라 가시광선 진동수를 설정하는 과정을 구체적인 예시와 함께 살펴보면 다음과 같다.

일례로, 소정 기본 단위의 색상 정보가 빨간색(RED)일 경우, 이에 대응되는 가시광선 진동수는 앞서 설명한 바와 같이 405 내지 480 THz 일 수 있다. 그러나, IRI Hue & Tone 120은 하나의 색상(color)을 색조(tone)에 따라 11가지로 분류하고 있으므로, 앞서 설명한 빨간색의 가시광선 진동수 범위도 11개의 구간으로 분할될 수 있을 것이다. 도 6은 이와 같이 빨간색의 가시광선 진동수 범위를 색조에 따라 11개의 구간으로 분할하는 것을 도시하고 있다.

즉, 본 발명의 일 실시예에서, 제 1 진동수 설정부(40)가 IRI Hue & Tone 120의 색 분류 체계에 따를 경우, 제 1 진동수 설정부(40)는 전체 가시광선의 진동수 영역을 색상(color) 별로 구분하고, 색상 별로 구분된 가시광선 진동수 영역을 다시 해당 색상의 색조(tone) 별로 세분화하여 가시광선 진동수를 설정할 수 있을 것이다.

보다 구체적인 설명을 위한 일 예시로서, 공지의 색 정보 추출 프로그램이 RGB 정보를 분석하여, 소정 기본 단위(B)가 IRI Hue & Tone 120의 120가지 색 중 색상이 빨간색(Red)이고 색조가 선명한(vivid) 색조에 해당되는 것으로 확인하였을 경우, 도 6을 참조하면, 제 1 진동수 설정부(40)는 상기 색 정보에 대응되는 가시광선 진동수 범위로서, 405.2 내지 412 THz 를 매칭 시킬 수 있다.

본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 제 1 진동수 설정부(40)에 의해 설정된 상기 가시광선 진동수와 대응 관계에 있는 가청 진동수를 설정하는 제 2 진동수 설정부(50)를 포함한다.

이 때, 제 2 진동수 설정부(50)는 가시광선 진동수와 배음 관계에 있는 가청 진동수를 선택하여 대응시킬 수 있다. 여기서, 배음(倍音, harmonic overtones 또는 harmonics)이란, 기초음 위의 각 상음의 진동수가 기초음의 진동수에 대해서 정수배(整數倍)가 되는 것을 의미한다. 보다 상세하게, 도 4를 참조하면, 라(A)음의 진동수 대역을 살펴보면, 제 1 옥타브부터 차례로, 55.00, 110.00, 220.00, 440.00, ??. 3520.00 등 서로 정수배의 관계에 있는 것을 알 수 있다.

본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 자연계의 가청 진동수 사이에 존재하는 배음의 법칙을 가시광선 진동수의 영역까지 확장, 적용하기 위한 것으로서, 이를 통해 배음의 법칙이 적용된 작곡 작업을 자동으로 수행할 수 있다.

구체적인 설명을 위한 일례로서, 도 4 및 도 6을 참조하면, 만약 제 1 진동수 설정부(40)에 의해 소정 기본 단위에 대하여 439.2 내지 446 THz의 가시광선 주파수가 설정되었을 경우(즉, 기본 단위의 색상이 빨간색이고, 색조가 라이트 그레이시(light grayish, lgr)인 경우), 제 2 진동수 설정부(50)는 해당 기본 단위의 가청 진동수로서 라음(A, 4옥타브)을 설정할 수 있다. 이것은 라음(A, 4옥타브)의 진동수인 440Hz와, 가시광선 진동수 범위 439.2 내지 446 THz 내에 존재하는 440THz인 가시광선 진동수가 서로 배음의 관계에 있기 때문이다. (440Hz를 10의 12 제곱배 하였을 경우, 440THz에 이를 수 있음)

이러한 배음의 관계를 고려하였을 때, 공지의 색 분류 체계 중 IRI Hue & Tone 120 적용에 따른 장점을 확인할 수 있다.

구체적으로, 색 정보를 단순하게 도 3과 같이 색상에 따라 7가지 색으로만 분류하였을 경우, 단일한 색상에 대한 가시광선 진동수의 범위가 매우 넓어지게 된다. 따라서, 하나의 가시광선 진동수에 대응되는 가청 주파수가 복수로 존재하게 되는 단점이 있다. 일례로, 빨간색의 진동수 405 내지 480 THz에는 솔#(G#, 415Hz), 라(A, 440Hz), 라#(A#, 466.16Hz)와 같이 복수의 음이 대응될 수 있으므로, 단일한 음을 선택할 수 없는 문제가 발생한다.

그러나, IRI Hue & Tone 120와 같은 세분화된 색 분류 체계에 의할 경우, 가시광선 주파수의 범위를 세부적으로 분할함에 따라 하나의 가시광선 주파수에 대하여 단일한 가청 주파수(음)을 일대일 대응시킬 수 있는 것이다.

한편, 본 발명의 일 실시예에서, 제 2 진동수 설정부(50)는 기본 단위의 색 정보가 무채색으로 확인되는 경우, 해당 기본 단위에 대해서는 가시광선 진동수와 가청 진동수를 설정하지 않을 수 있다. 이것은 가시광선 진동수 범위의 경우, 무채색에 대응되는 진동수 범위가 존재하지 않는 것을 해결하기 위한 것이다. 또한 후술할 작곡부(60)의 경우, 이러한 기본 단위에 대해서는 음표 대신 쉼표를 배열하여 음악을 완성할 수 있다.

본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 가청 진동수에 대응되는 음을 배열함으로써 음계를 완성하는 작곡부(60)를 포함할 수 있다.

이 때, 다시 도 2를 참조하면, 작곡부(60)는 마디 범위 내에 위치하는 기본 단위(B)의 배치 순서에 따라 해당 음을 순차적으로 배열할 수 있다. 이 때, 기본 단위의 배치 순서에 따라 음을 순차적으로 배열한다는 것의 의미는 마디 범위의 수평(가로) 방향 또는 수직(세로) 방향을 따라 서로 인접한 기본 단위(B)에 대응되는 음을 연속적으로 배치하는 것을 의미한다.

한편, 작곡부(60)는 음을 기본 단위의 배치 순서에 따라 순차적으로 배치하지 않고, 각각 인접하여 존재하지 않는 기본 단위에 해당되는 음을 차례로 배열함으로써 음계를 완성할 수도 있다.

이와 관련하여, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 상기 작곡부(60)가 기본 단위의 배치 순서에 따라 음을 배열할 지 또는 임의의 순서에 따라 음을 배열할 지 여부를 사용자가 선택 가능하도록 형성될 수 있다.

한편, 본 발명의 일 실시예에서, 작곡부(60)는 동일한 음이 연속될 경우, 연속되는 음은 병합하여 하나의 장음으로 구성할 수 있다. 이를 통해 작곡부(60)는 단일한 음길이가 아닌, 다양한 음길이의 음표로 구성된 다채로운 음계를 완성할 수 있다.

본 발명의 일 실시예에서, 작곡부(60)는 복수의 마디 단위에 대하여 각각 개별적으로 구성된 복수의 음계를 서로 연결함으로써, 하나의 음악을 작곡할 수 있다.

이 때, 작곡부(60)는 복수의 마디 단위로부터 형성된 음계를 연결함에 있어서, 마디 단위에서 개별 음을 배열할 때와 유사하게, 작곡 범위 내 각각의 마디 단위의 배치 순서를 고려하여 순차적으로 연결하거나 또는 임의의 순서에 따라 음을 배열할 수 있을 것이다.

만약 작곡부(60)가 마디 단위를 순차적으로 연결하는 경우, 수평(가로) 또는 수직(세로) 등 다양한 순서가 고려될 수 있음은 물론이며, 사용자가 이러한 연결 방향을 선택할 수 있도록 작곡부(60)를 형성할 수 있을 것이다.

본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)는 작곡부(60)에 의해 완성된 음악을 사용자가 들을 수 있는 형태로 출력하는 출력부(70)를 더 포함할 수 있다. 이 때, 출력부(70)는 스피커, 헤드폰, 이어폰 등 공지의 음악 출력 수단을 포함할 수 있으며, 상기 출력부(70)를 통해서 사용자는 자신이 선택한 작곡 범위에 대하여 완성된 음악을 감상할 수 있다.

이하 본 발명의 일 실시예에 따른 영상 기반 작곡 장치(1)를 이용하여 음악을 작곡하는 방법(이하 영상 기반 작곡 방법)을 종합적으로 설명한다.

도 7은 본 발명의 일 실시예에 따른 영상 기반 작곡 방법의 순서도이다.

도 7를 참조하면, 본 발명의 일 실시예에 따른 영상 기반 작곡 방법은, 상술한 영상 기반 작곡 장치(1)에 의해 수행될 수 있다.

먼저, 영상 입력부(10)에 소스 영상을 입력하면(S10) 범위 설정부(20)가 해당 소스 영상 중에서 작곡의 대상이 되는 작곡 범위를 설정할 수 있다. (S20) 이 때, 전체 소스 영상을 작곡 범위로 설정할 수도 있음은 물론이다. 다음으로 단위 분할부(30)가 작곡 범위를 하나 이상의 마디 단위로 구분한 후, 다시 마디 단위를 하나 이상의 기본 단위로 분할할 수 있다.(S30) 그리고, 제 1 진동수 설정부(40)가 분할된 기본 단위의 색 정보를 도출함으로써, 가시광선의 진동수 영역 중 해당 색 정보에 대응되는 가시광선 진동수를 설정할 수 있다.(S40) 그 후, 제 2 진동수 설정부(50)가 가시광선 진동수와 배음 관계에 있는 가청 진동수를 설정하면(S50) 이를 전달 받은 작곡부(60)가 기본 단위의 가청 진동수에 대응되는 음을 배열함으로써 마디 단위의 음계를 구성할 수 있다.(S60)

한편, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치 및 방법은 바람직한 실시 형태로서, 스마트폰에 탑재된 상태로 실시될 수 있다. 이 때, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치 및 방법의 각 구성은 스마트폰을 실행하는 다양한 개수의 하드웨어 및/또는 소프트웨어 구성들로 구현될 수 있다.

살펴본 바와 같이, 본 발명의 일 실시예에 따른 영상 기반 작곡 장치를 통해 사용자는 영상 제공만으로도 다채로운 음계를 스스로 작곡할 수 있다. 또한 본 발명의 일 실시예에 따른 영상 기반 작곡 장치는 단순하게 서로 관련 없는 음계를 무작위로 배치하는 것이 아니라, 자연계에 존재하는 배음의 법칙을 이용하여 즉, 분할된 영상이 가진 고유의 진동수 정보 만을 기초로 하여 상기 분할된 영상을 배음 관계에 있는 가청 진동수에 대응시켜 작곡함으로써, 사용자는 보다 체계적인 작곡 작업을 경험할 수 있으며, 아름다운 선율의 음악을 창작할 수 있다.

이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시 예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시 예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.

1 영상 기반 작곡 장치 10 영상 입력부
20 범위 설정부 30 단위 분할부
40 제 1 진동수 설정부 50 제 2 진동수 설정부
60 작곡부 70 출력부
A 영역 지정 수단 B 기본 단위

Claims

영상을 분석한 후, 가청 진동수 사이에 존재하는 배음의 법칙을 가시광선 진동수의 영역까지 확장 및 적용하여 음악을 작곡하는 영상 기반 작곡 장치로서,
소스 영상이 입력되는 영상 입력부;
상기 소스 영상 중에서 작곡의 대상이 되는 작곡 범위를 설정하는 범위 설정부;
상기 작곡 범위를 하나 이상의 마디 단위로 구분하고, 상기 마디 단위를 하나 이상의 기본 단위로 분할하는 단위 분할부;
상기 기본 단위의 색 정보를 도출하여 가시광선의 진동수 영역 중 상기 색 정보에 대응되는 가시광선 진동수를 설정하는 제 1 진동수 설정부;
상기 가시광선 진동수와 배음 관계에 있는 가청 진동수를 설정하는 제 2 진동수 설정부 및
상기 기본 단위의 상기 가청 진동수에 대응되는 음을 상기 기본 단위의 배치 순서를 따라 배열함으로써 상기 마디 단위의 음계를 구성하는 작곡부를 포함하고,
상기 범위 설정부는 상기 소스 영상 중에서, 형상의 변화 정도 또는 상기 색 정보의 변화 정도를 분석하고, 상기 형상의 변화 또는 상기 색 정보의 변화가 가장 빈번한 일부 영역을 상기 작곡 범위로 설정하는 알고리즘에 의해 자동적으로 상기 작곡 범위를 설정하고,
상기 제 1 진동수 설정부가 상기 색 정보를 도출하는 것은, 상기 기본 단위의 RGB 정보를 분석하여 상기 기본 단위에 대하여, 색상(Hue) 및 색조(Tone)에 따라 색을 분류한 IRI Hue & Tone 120를 구성하는 120가지의 색 중에서 하나의 색을 대응시키는 것을 의미하고,
상기 제 1 진동수 설정부는,
상기 가시광선의 진동수 영역을 상기 IRI Hue & Tone 120를 구성하는 10가지 색상 별로 10개의 진동수 영역으로 분할하고, 상기 10개의 진동수 영역에 대하여 각각 상기 IRI Hue & Tone 120를 구성하는 11가지 색조 별로 분할함으로써, 상기 가시광선의 진동수 영역을 110개의 영역으로 구분한 후, 상기 기본 단위의 색 정보가 유채색일 경우, 상기 기본 단위의 상기 색 정보에 기초하여 상기 110개의 가시광선 진동수 영역 중 어느 하나를 일대일 대응시키고, 상기 기본 단위의 색 정보가 무채색일 경우, 상기 가시광선 진동수를 설정하지 않도록 형성되고,
상기 제 2 진동수 설정부는,
상기 색 정보가 유채색인 기본 단위에 대하여 상기 110개의 가시광선 진동수 영역 중 상기 색 정보에 일대일 대응되는 어느 하나의 가시광선 진동수 영역과 상기 배음 관계에 있는 상기 가청 진동수를 단일하게 설정하고, 상기 색 정보가 무채색인 기본 단위에 대하여 상기 가청 진동수를 설정하지 않도록 형성되고,
상기 작곡부는 상기 색 정보가 무채색인 기본 단위에 상기 음을 대신하여 쉼표를 배열하고,
상기 배음 관계는 상기 가시광선 진동수가 상기 가청 진동수의 정수배가 되는 것을 의미하고, 상기 제 2 진동수 설정부는 상기 배음 관계에 있는 상기 가청 진동수를 단일하게 설정함에 있어서 전체 기본 단위에 대하여 동일한 크기의 정수배를 적용하는 것을 특징으로 하는, 영상 기반 작곡 장치.
삭제
제 1 항에 있어서,
상기 제 1 진동수 설정부는 상기 기본 단위에 대하여 상기 IRI Hue & Tone 120의 색 분류 체계 중 복수의 색이 대응되는 경우, 상기 복수의 색 중 가장 다수의 색을 선택하여 대응시키는 영상 기반 작곡 장치.
삭제
삭제
제 1 항에 있어서,
상기 작곡부는 상기 음계에 동일한 음이 연속될 경우 연속되는 복수의 음을 합쳐 하나의 장음으로 구성하는 영상 기반 작곡 장치.
제 1 항에 있어서,
상기 작곡부는 상기 하나 이상의 마디 단위에 대하여 개별적으로 구성된 상기 하나 이상의 음계를 서로 연결하여 상기 음악을 작곡하는 영상 기반 작곡 장치.
제 7 항에 있어서,
상기 작곡부는 상기 하나 이상의 음계를 상기 마디 단위의 위치에 따라 순차적으로 연결하여 상기 음악을 작곡하는 영상 기반 작곡 장치.
제 8 항에 있어서,
상기 작곡부는 사용자에 의하여 선택된 방향을 따라 상기 하나 이상의 음계를 순차적으로 연결하여 상기 음악을 작곡하는 영상 기반 작곡 장치.
제 7 항에 있어서,
상기 작곡부가 작곡한 상기 음악을 사용자가 들을 수 있는 형태로 출력하는 출력부를 더 포함하는 영상 기반 작곡 장치.
삭제