KR101657975B1 - 모바일 앱 기반의 실시간 영상의 배경음악 생성방법 - Google Patents

Abstract

본 발명은 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 관한 것으로, (a) 모바일 장치의 움직임 속도를 측정하고, 상기 측정된 속도에 따라 상기 모바일 장치가 촬영된 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계; (b) 상기 모바일 장치가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계; (c) 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계; 및 (d) 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프를 연속적으로 재생하는 단계를 포함한다.
이와 같이, 본 발명은 사용자의 실시간 시각적 경험을 색, 형태, 움직임의 분석을 통해 추측하여 음악적 경험으로 바꾸어 주는 실시간 영상 배경음악 생성 어플리케이션 서비스를 제공한다.

Description

모바일 앱 기반의 실시간 영상의 배경음악 생성방법{music-generation method based on real-time image}

본 발명은 실시간 비디오 소니피케이션을 이용하여 음악 생성 모바일 어플리케이션을 기반으로 하는 배경음악 생성방법에 관한 것이다.

디지털 이미지를 사운드로 바꾸는 연구는 오래 전부터 행해져 왔다. 이전의 소니피케이션(sonification) 관련 선행 연구의 경우, 영상(image)을 음향(sound)으로 변환할 때에 동작추적(motion tracking)을 이용해 얻은 데이터를 통해 소리를 만들거나, 색의 세가지 요소인 Hue, Saturation, Brightness data를 통해 사운드를 만들어 냈었다. 이러한 연구에서는 데이터를 사운드로 치환하는 것 자체에 중점을 두어 음악적인 미의 추구보다는 그 매핑 자체가 의미를 지녔다.

또한 많은 수의 예술가들이 음악을 제작하는 데 있어서 소니피케이션(sonification)을 이용하였는데 그러한 방법 중에는 반음계를 활용하여 이미지의 색상과 음악을 매핑하거나 이미지와 시간 도메인간의 관계를 이용하여 음악을 만드는 방법도 있었다.

그리고 종래의 매핑 방법을 통한 소니피케이션 기법과 더불어 음악 자체의 생성을 위한 다양한 작곡 또는 생성방법 들이 다양하게 제안 되어져 왔다. 그 예로, 대한민국 등록특허 제10-0762079호에서는 행들(rows)과 열들(columns)에 소정의 옥타브 범위에 해당하는 톤(tone, 음높이)들을 순차적으로 배열하고 각각의 행과 열의 교차지점에 열에 대응되는 톤이 생성될 확률값을 배치한 톤 데이터 테이블을 이용하는 자동 음악 작곡방법을 제안한다.

즉, 상기 종래의 발명은 입력 신호에 응답하여 임의의 톤(tone)을 출력하는 단계, 출력된 톤과 톤 데이터 테이블을 이용하여 다음에 생성될 톤을 결정하는 단계 및 다음 입력 신호에 응답하여 다음에 생성될 톤을 출력하는 단계를 포함하는 것을 특징으로 한다. 여기서 행에 배치된 톤들은 이전에 생성된 톤을 나타내고, 열들에 배치된 톤들은 다음에 생성될 톤을 나타낸다

그러나, 이와 같은 종래의 발명은 사용자 단말기로부터 발생되는 타이핑 신호나 특정 신호에 따라 음악이 자동으로 작곡되고, 단순히 음조(tone) 테이블을 매핑하여 음악을 작곡 또는 생성한다는 점에서, 실시간 영상에 알맞도록 다양하고 깊이 있는 배경 음악을 생성하여 제공하기가 어렵다는 문제점이 있다.

대한민국 등록특허 제10-0762079호 (등록일자: 2007년 09월 19일)

상술한 문제를 해결하고자 하는 본 발명의 과제는 실시간으로 영상의 색상과 형태를 분석하고 사용자의 움직임 속도를 측정하여, 사용자가 시각적으로 경험하고 있는 상황에 맞게 음악 모티프 데이타베이스(musical motif database)로부터 적절한 모티프들을 찾아 연속적으로 연결함으로써 실시간 영상에 알맞는 배경음악을 생성하는 방법을 제공하고자 함이다.

상술한 과제를 해결하고자 하는 본 발명의 제1 특징은 (a) 모바일 장치의 움직임 속도를 측정하고, 상기 측정된 속도에 따라 상기 모바일 장치가 촬영된 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계; (b) 상기 모바일 장치에 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계; (c) 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계; 및 (d) 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프를 연속적으로 재생하는 단계를 포함한다.

여기서, 상기 (a) 단계에서, 상기 움직임 속도는 상기 모바일 장치에 내장된 GPS 및/또는 모션센서로부터 측정되는 것이 바람직하고, 상기 (a) 단계에서, 상기 측정된 속도에 따라 미리 디자인된 다수의 비트 중 어느 하나를 선택하여 상기 실시간 영상에 대응되는 배경음악의 리듬으로 결정하는 것이 바람직하다.

또한, 바람직하게는 상기 (b) 단계는, 상기 우울함을 회색계열 또는 채도 및 명도가 낮은 붉은 계열로 하는 색상과, 상기 활기참을 채도 및 명도가 높은 붉은 계열 또는 채도 및 명도가 높은 푸른 계열로 하는 색상과, 상기 고요함을 낮은 푸른 계열 또는 흰색과 검은색으로 하는 색상으로 분류하고, 각각의 색상에 따른 색조, 명도 및 채도 값이 결정되어 상기 색상 그룹을 형성하는 것일 수 있다.

또한, 상기 색상 그룹은 각각에 5개의 화성 패턴으로 구성된 것이 바람직하고, 상기 (c) 단계는, 상기 실시간 영상을 퓨리에 변환하여 퓨리에 영상을 생성하는 단계; 상기 퓨리에 영상에서 중심으로부터 서로 다른 반경을 갖는 5개의 원형 섹터로 구분하는 단계; 각각의 원형 섹터별 주파수 에너지 비율을 산출하고, 상기 주파수 에너지 비율에 따라 미리 구분된 5개의 주파수 대역의 음량 크기를 산출하는 단계; 상기 산출된 각 음량 크기에 따라 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계를 포함하는 것이 바람직하다.

더하여, 상기 5개의 주파수 대역은, 60Hz, 230Hz, 910Hz, 3.6KHz 및 14KHz 인 것이 바람직하고, 상기 (d) 단계에서, 상기 모티프 DB는, 리듬과 화성에 따라 분류되고, 8마디로 이루어진 모티프 다수개의 모티프로 구성되며, 각 모티프는 4마디 마다 개별적으로 독립되어 디자인된 것이 바람직하며, 상기 모티프가 연속적으로 재생되는 경우, 최소한 4마디의 모티프가 종료된 후, 다른 모티프로 변경되어 재생되는 것이 바람직하다.

그리고 본 발명의 제2 특징은 (a) 배경음악 생성 어플리케이션의 카메라 촬영을 실행하고, 촬영되는 실시간 영상을 배경음악 생성 서버로 전송하는 단계; (b) 모바일 장치의 움직임 속도 값을 측정하는 단계; (c) 상기 배경음악 생성서버가 상기 모바일 속도 값을 수신받고, 상기 속도 값에 따라 수신된 상기 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계; (d) 상기 배경음악 생성서버가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계; (e) 상기 배경음악 생성서버가 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계; (f) 상기 배경음악 생성서버가 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프가 재생되도록 배경음악을 생성하는 단계; 및 (g) 상기 생성된 배경음악 모티프를 상기 모바일 장치로 전송하여 배경음악을 실시간으로 재생하는 단계를 포함한다.

여기서, 상기 (c) 단계에서, 상기 측정된 속도에 따라 미리 디자인된 다수의 비트 중 어느 하나를 선택하여 상기 실시간 영상에 대응되는 배경음악의 리듬으로 결정하는 것이 바람직하고, 상기 (d) 단계는, 상기 우울함을 회색계열 또는 채도 및 명도가 낮은 붉은 계열로 하는 색상과, 상기 활기참을 채도 및 명도가 높은 붉은 계열 또는 채도 및 명도가 높은 푸른 계열로 하는 색상과, 상기 고요함을 낮은 푸른 계열 또는 흰색과 검은색으로 하는 색상으로 분류하고, 각각의 색상에 따른 색조, 명도 및 채도 값이 결정되어 상기 색상 그룹을 형성하는 것이 바람직하다.

또한, 상기 색상 그룹은 각각에 5개의 화성 패턴으로 구성된 것이 바람직하다. 상기 (e) 단계는, 상기 실시간 영상을 퓨리에 변환하여 퓨리에 영상을 생성하는 단계; 상기 퓨리에 영상에서 중심으로부터 서로 다른 반경을 갖는 5개의 원형 섹터로 구분하는 단계; 각각의 원형 섹터별 주파수 에너지 비율을 산출하고, 상기 주파수 에너지 비율에 따라 미리 구분된 5개의 주파수 대역의 음량 크기를 산출하는 단계; 상기 산출된 각 음량 크기에 따라 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계를 포함하는 것이 바람직하다.

더하여, 바람직하게는 상기 5개의 주파수 대역은, 60Hz, 230Hz, 910Hz, 3.6KHz 및 14KHz 인 것일 수 있고, 상기 (f) 단계에서, 상기 모티프 DB는, 리듬과 화성에 따라 분류되고, 8마디로 이루어진 모티프 다수개의 모티프로 구성되며, 각 모티프는 4마디 마다 개별적으로 독립되어 디자인된 것일 수 있으며, 상기 모티프가 연속적으로 재생되는 경우, 최소한 4마디의 모티프가 종료된 후, 다른 모티프로 변경되어 재생되는 것일 수 있다.

이와 같이, 본 발명은 사용자의 실시간 시각적 경험을 색, 형태, 움직임의 분석을 통해 음악적 경험으로 바꾸어 주는 실시간 영상 배경음악 생성 어플리케이션 서비스를 제공한다.

그리고, 본 발명은 실시간으로 들어오는 데이터를 종래의 방법처럼 완전히 알고리즘만을 사용해서 '사운드'로 치환하는 것이 아니라, 전문 작곡자가 모티프(motif) 데이타베이스를 미리 디자인하도록 하고, 알고리즘의 실행시 시각적 경험에 어울릴 것으로 추측되는 적절한 모티프들을 선택하게 하여 음악적 미를 지니는 음악을 생성하여 재생하는 방법을 제공하게 된다는 점에서 큰 장점이 있다.

또한, 본 발명은 모티프 데이타베이스와 독립적으로 작용하므로 일반인부터 전문 작곡자까지 본인만의 모티프 데이타베이스를 디자인하고 공유 또는 서비스할 수 있는 확장 가능성이 있고, 이때 모든 모티프간의 연결이 더욱 자연스럽게 되도록 일반인도 쉽게 모티프를 디자인하게 해주는 시스템적인 방법을 제공하는 것도 가능하여, 관련된 다양한 서비스를 제공할 수 있는 장점이 있다.

도 1은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법의 흐름을 나타낸 도면이고,
도 2는 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법의 모식도이고,
도 3은 본 발명의 실시예에 따른 배경음악 생성방법에 적용되는 GPS를 이용한 사용자 움직임 속도 측정 모식도이고,
도 4는 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 감정에 따른 색과 화성의 분류를 나타내는 모식도이고,
도 5는 본 발명의 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 영상의 대표색상에 따른 화성 결정의 예시를 나타낸 모식도이고,
도 6은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 음조 결정을 위한 이미지와 퓨리에 변환을 예시한 사진이고,
도 7은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 퓨리에변환 이미지와 배경음악 음조(tone)의 매핑을 나타낸 모식도이고,
도 8은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 한 모티프가 다른 모티프로 이어져 재생되는 과정을 나타내는 모식도이다.

본 발명의 이점 및 특징, 그리고 그것을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 통해 설명될 것이다. 그러나 본 발명은 여기에서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 단지, 본 실시예들은 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여 제공되는 것이다.

도면들에 있어서, 본 발명의 실시예들은 도시된 특정 형태로 제한되는 것이 아니며 명확성을 기하기 위하여 과장된 것이다. 또한 명세서 전체에 걸쳐서 동일한 참조번호로 표시된 부분들은 동일한 구성요소를 나타낸다.

본 명세서에서 "및/또는"이란 표현은 전후에 나열된 구성요소들 중 적어도 하나를 포함하는 의미로 사용된다. 또한, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 또한, 명세서에서 사용되는 "포함한다" 또는 "포함하는"으로 언급된 구성요소, 단계, 동작 및 소자는 하나 이상의 다른 구성요소, 단계, 동작, 소자 및 장치의 존재 또는 추가를 의미한다.

이하에서 본 발명의 바람직한 실시예를 도면을 참조하여 상세히 설명하기로 한다.

도 1은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법의 흐름을 나타낸 도면이고, 도 2는 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법의 모식도이다.

도 1 및 도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 실시간 영상의 배경음악 생성방법은, (a) 모바일 장치의 움직임 속도를 측정하고, 상기 측정된 속도에 따라 상기 모바일 장치가 촬영된 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계(S100); (b) 상기 모바일 장치에 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계(S200); (c) 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계(S300); 및 (d) 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프를 연속적으로 재생하는 단계(S400)를 포함하여 구성된다.

이와 같이 본 발명은 사용자가 시각적으로 경험하고 있는 상황을 음악 도메인으로 매핑하여 음악 도메인에서 그 상황을 경험하도록 바꿔주는 모바일 어플리케이션(이하 "앱"이라 한다.)을 이용한 실시간 영상의 배경음악 재생방법이다. 즉, 사용자의 시각적 경험을 추측하기 위해서 스마트폰을 이용하여 카메라로부터 입력되는 실시간 영상과 움직임 속도를 검출하여 사용자의 현재 시각적 경험에 어울릴 것으로 판단되는 음악 모티프(musical motif) 들을 미리 디자인한 모티프 데이타베이스(motif database)에서 찾아 연결함으로써 음악을 생성하는 방법을 제안한다.

그리고 본 발명의 실시예는 리듬(rythem), 화성(harmony) 및 음조(tone)의 세가지 요소는 사용자의 움직 속도와 실시간으로 들어오는 영상의 색상과 형태의 특징을 분석하여 각각 결정된다.

이와 같이 본 발명의 실시예는 세상을 시각이 아닌 청각으로 경험하게 하며 임의의 사운드가 아닌 전문 작곡자가 일정한 시간 길이를 가지는 음악 조각 (musical pieces)들을 디자인하고 알고리즘이 그 조각들을 맞추게 한다는 점에서 알고리즘이 순간 순간의 사운드를 합성하게 하는 대부분의 종래의 방식과 구별되는 특징이 있다.

도 2에 나타낸 바와 같이, 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법의 시스템 플로우를 살펴보면, 실시간 카메라 영상과 GPS 등의 좌표를 분석하여 이에 따른 적절한 음악을 생성한다. 카메라로부터 들어오는 영상으로부터 추출된 대표 색정보(dominant color)는 생성될 음악의 화성을 결정하며, 영상의 퓨리에 변환을 통해 추출된 형태 정보는 음악의 톤을 결정하며, 마지막으로 GPS 정보를 통해 검출된 사용자의 이동 속도는 생성될 음악의 리듬을 결정하게 된다.

(a) 단계로서(S100), 실시간 영상의 배경음악 리듬을 결정하는 방법을 살펴보면 다음과 같다.

생성될 음악의 요소 중 리듬을 결정하는 가장 자연적인 요소는 사용자의 움직임 속도라고 할 수 있다. 본 발명의 실시예에서는 생성되는 음악의 리듬은 사용자의 움직임 속도에 의해 결정되는데 이를 위해서 스마트 폰에 탑재된 GPS 장치 등을 이용한다. 도 3 및 [표 1]에 나타낸 바와 같이, 그 빠르기가 5가지 범위로 나누어져 있으며, 측정된 속도에 따라 5가지 종류의 미리 디자인된 비트 중에 한 가지가 결정되어 사용된다. 도 3은 본 발명의 실시예에 따른 배경음악 생성방법에 적용되는 GPS 장치를 이용한 사용자 움직임 속도 측정 모식도이고, [표 1]은 사용자 움직임 속도에 따른 배경음악 리듬 결정을 위한 비트 테이블이다.

속도(m/s)	비트
0 ~ 2
2 ~ 4
4 ~ 6
6 ~ 8
8 ~ 10

그리고, 본 발명의 실시예에서는 사용자의 속도를 측정하기 위해, 모바일 장치내에 내장된 GPS 장치를 이용하는 것도 가능하고, 모션센서를 통해 모바일 장치의 속도를 측정하는 것도 가능하다. 여기서 모션센서는 자이로센서, 기울기 센서 등을 포함하는 것이 바람직하다. 또한, 모바일 장치는 스마트폰, 테블릿 PC 및 PDA 등 휴대가 용이한 모바일 컴퓨팅 장치면 모두 가능하다.

(b) 단계로서(S200), 실시간 영상의 배경음악 화성(harmony)을 결정하는 방법을 살펴보면 다음과 같다.

음악의 분위기를 결정하는 대표적인 요소는 화성으로서 이미지 도메인을 구성하는 요소 중 가장 관련된 요소는 색상이라고 할 수 있다. 그러므로 본 발명의 실시예에서 생성되는 음악의 화성은 실시간으로 받는 영상으로부터 추출된 대표 색상 값을 이용하여 결정된다. 인간의 여러 감정을 우울함, 활기참, 고요함 세가지로 나누고, 각각의 감정을 도 4에 나타낸 바와 같이 6개의 색 그룹과 매핑시킨다. 도 4는 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 감정에 따른 색과 화성의 분류를 나타내는 모식도이다.

각각의 색 그룹은 5개의 화성 패턴을 지니며 이 화성들 중 하나가 임의로 결정되어 사용된다. [표 2]는 본 발명의 실시예에서 사용되어진 각 감정과 HSB(Hue, Saturation, Brightness) 색 그룹간의 구체적인 매핑 디자인을 보여준다. 이러한 색과 감정간의 매핑 디자인에서 모든 색깔이 반드시 하나의 감정 그룹으로 매핑되도록 디자인한다.

도 5는 본 발명의 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 영상의 대표색상에 따른 화성 결정의 예시를 나타낸 모식도이다.

도 5는 실시간으로 들어온 영상의 대표 색상을 파악해서 화성을 결정하는 예를 보여주는 것으로, 이 예제에서 이미지의 대표 색상은 활기찬 분위기에 해당하는 Bright Blue & Green 그룹으로 판별이 되고 이에 따라 그에 속한 5개의 화성 중 하나가 임의로 결정이 되어 음악 생성에 사용되어 진다. 카메라에 비치는 영상의 대표 색상 값이 속하는 범위가 달라질 경우에 다른 범위에 속하는 화성이 사용되게 된다.

(C) 단계로서(S300), 실시간 영상의 배경음악 음조(tone)를 결정하는 방법을 살펴보면 다음과 같다.

도 6은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 음조 결정을 위한 이미지와 퓨리에 변환을 예시한 사진이다. 도 6에 나타낸 바와 같이, 본 발명의 실시예에서는 영상 속 형태(Shape)의 특징을 퓨리에 변환을 이용하여 검출하여 음악의 음조(tone)로 매핑한다. 즉, 실시간 영상 속 형태의 특징은 한 영상에 포함된 물체들을 구성하는 선의 개수에 따른 복잡도와 비슷한 형태의 반복도를 기준으로 상기 복잡도에서 선의 개수가 소정 개수보다 작거나 상기 반복도에서 소정 개수보다 높으면 중심부로서 저주파 에너지의 양을, 상기 복잡도에서 선의 개수가 소정 개수보다 높거나 상기 반복도에서 소정 개수보다 낮으면 가장자리에서 고주파 에너지의 양을 표시하는 방식으로 퓨리에 변환하여 퓨리에 영상을 생성할 수 있다. 가령, 퓨리에 변환을 통한 영상처리를 하게 되면 도 6과 같은 이미지를 얻게 되는데, 중심부는 저주파 에너지의 양을, 가장자리는 고주파 에너지의 양을 알려주므로 도 6과 같이 뚜렷한 많은 선들로 구성된 영상과 그렇지 않은 (예, 하늘, 바다 등) 영상간 구별을 가능하게 하여 준다.
또한, 상기 퓨리에 영상에서 중심으로부터 서로 다른 반경을 갖는 복수 개의 원형 섹터로 구분하고, 각각의 원형 섹터별 주파수 에너지 비율을 산출하고, 상기 주파수 에너지 비율에 따라 미리 구분된 상기 원형 섹터의 개수에 대응되는 주파수 대역의 음량 크기를 산출하고, 상기 산출된 각 음량 크기에 따라 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정할 수 있는데, 도 7에서 자세히 설명한다.

도 7은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 퓨리에 변환 이미지와 배경음악 음조(tone)가 매핑을 나타낸 모식도이다.

도 7에 나타낸 바와 같이, 중심점을 기준으로 다섯 가지 섹터로 범위를 나눈 다음 각 섹터내의 에너지 값을 각각 합산한 후 그 값의 비율에 의해 실시간으로 생성되는 음악의 60Hz, 230Hz, 910Hz, 3.6KHz, 14KHz 주파수 대역의 음량 크기 비율를 결정하게 함으로써 본 음악 생성 시스템의 이퀄라이저(equalizer) 기능을 수행하게 된다.

(d) 단계로서(S400), 실시간 영상의 각 요소를 배경음악으로 합성 연속 재생하는 방법을 살펴보면 다음과 같다.

상술한 바와 같이 리듬, 화성 및 음조 값이 결정되면, 이 세가지 정보를 이용하여 음악을 생성하여 재생하게 된다. 결정된 리듬과 화성 정보에 따라 모티프 데이타베이스(DB)로부터 하나의 음악 모티프가 선택이 되며, 음조(tone) 정보는 선택된 모티프가 재생될 때 이퀄라이저(equalizer)에서 이용된다.

모티프 데이터베이스는 180개의 8마디로 이루어진 모티프들로 구성되어 있다. 하지만 각각의 모티프는 4마디 마다 독립성을 지니게 디자인 하여 각각의 모티프가 연속적으로 선택되서 재생될 때 반드시 최소한 4마디가 완전히 재생되고 다른 모티프로 바뀔 수 있도록 하였다. 이렇게 함으로써 각 모티프에게 충분한 음악적 특성을 부여함과 동시에 영상이 바뀔 때 음악이 부자연스럽게 끊기는 것을 막고 모티프들이 자연스럽게 연결되서 음악을 생성할 수 있게 하였다.

음악 생성 시, 다른 모티프로의 변환은 오직 새로 들어온 영상 정보가 기존의 정보와 다르며 그 지속 시간이 일정 시간 이상일 경우로 제한한다. 즉, 모바일 장치의 일시적인 흔들림은 노이즈로 분류하고 음악으로의 매핑을 하지 않음으로써 음악이 부자연스럽게 계속해서 바뀌는 것을 막는다. 도 8은 본 발명의 실시예에 따른 모바일 앱 기반의 실시간 영상의 배경음악 생성방법에 적용되는 한 모티프가 다른 모티프로 이어져 재생되는 과정을 나타내는 모식도이다.

그리고, 본 발명의 실시예에 또 다른 실시예로서, 모바일 앱 기반의 실시간 영상의 배경음악 생성방법은, (a) 배경음악 생성 어플리케이션의 카메라 촬영을 실행하고, 촬영되는 실시간 영상을 배경음악 생성 서버로 전송하는 단계; (b) 모바일 장치의 움직임 속도 값을 측정하는 단계; (c) 상기 배경음악 생성서버가 상기 모바일 속도 값을 수신받고, 상기 속도 값에 따라 수신된 상기 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계; (d) 상기 배경음악 생성서버가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계; (e) 상기 배경음악 생성서버가 상기 실시간 영상을 퓨리에 변환하여 생성된 형태 정보를 이용하여, 다수의 주파수 대역의 음량 크기의 비율을 산출하고 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계; (f) 상기 배경음악 생성서버가 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프가 재생되도록 배경음악을 생성하는 단계; 및 (g) 상기 생성된 배경음악 모티프를 상기 모바일 장치로 전송하여 배경음악을 실시간으로 재생하는 단계를 포함하여 구성된다.(도시하지 않음)

본 발명의 실시예는 도 1의 실시예와 달리, 모바일 장치와 배경음악 생성서버간 인터넷 통신을 이용한 시스템을 이용하는 것으로, 모바일 장치에서 촬영된 영상을 실시간으로 상기 배경음악 생성서버로 전송하고, 배경음악 생성서버에서 상술한 음악 생성방법으로 음악을 생성하여 모바일 장치로 다시 실시간으로 전송하여 상기 모바일 장치에서 상기 음악을 재생하는 방법을 예시한다.

영상 및 소리 데이터를 인터넷을 통해 실시간을 송수신해야 한다는 점에서 데이터 처리 로드가 많고 데이터 전송속도에 영향을 받게 되지만, 최근 모바일 기기 발달과 인터넷 망의 처리속도가 매우 빨라져 상술한 시스템 및 방법을 적용하기에 충분하고, 배경음악 생성서버를 통해 사용자들에 커뮤니케이션 서비스 등 관련된 다양한 서비스를 용이하게 제공할 수 있다는 점에서 큰 장점이 있다.

이와 같이, 시각과 청각은 인간은 오감 중 인간의 대부분의 경험을 결정하는 가장 중요한 인지 기관으로 두 기관이 인지하는 것 사이에 서로 연결 부분이 있을 때 생기는 공감각(synesthesia)은 더 나은 경험을 하도록 도와주기 때문에, 본 발명에서는 사용자의 실시간 시각적 경험을 색, 형태, 움직임의 분석을 통해 추측하여 음악적 경험으로 바꾸어 주는 실시간 모바일 어플리케이션 서비스를 제안하는 것이다.

그리고 본 발명은 실시간으로 들어오는 데이터를 완전히 알고리즘만을 사용해서 '사운드'로 치환하는 것이 아니라, 전문 작곡자가 모티프(motif) 데이타베이스를 미리 디자인하도록 하고, 알고리즘이 실행시 시각적 경험에 어울릴 것으로 추측되는 적절한 모티프들을 선택하게 하여 음악적 미를 지니는 음악을 생성하여 재생하는 방법을 제공하게 된다는 점에서 특징이 있다.

또한, 본 발명은 모티프 데이타베이스와 독립적으로 작용하므로 일반인부터 전문 작곡자까지 본인만의 모티프 데이타베이스를 디자인하고 공유 또는 판매하게 할 수 있는 확장 가능성을 지닌다. 이때 모든 모티프간의 연결이 더욱 자연스럽게 되도록 일반인도 쉽게 모티프를 디자인하게 해주는 시스템적인 방법을 제공하는 것도 가능하다.

이상의 설명에서 본 발명은 특정의 실시 예와 관련하여 도시 및 설명하였지만, 특허청구범위에 의해 나타난 발명의 사상 및 영역으로부터 벗어나지 않는 한도 내에서 다양한 개조 및 변화가 가능 하다는 것을 당 업계에서 통상의 지식을 가진 자라면 누구나 쉽게 알 수 있을 것이다.

Claims (17)

1. (a) 모바일 장치의 움직임 속도를 측정하고, 상기 측정된 속도에 따라 미리 디자인된 다수의 비트 중 어느 하나를 선택하여 상기 모바일 장치가 촬영된 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계;
   (b) 상기 모바일 장치가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계;
   (c) 상기 실시간 영상 속 형태의 특징을 상기 형태를 구성하는 선의 개수에 따른 복잡도와 비슷한 형태의 반복도를 기준으로, 중심부는 저주파 에너지의 양을, 가장자리는 고주파 에너지의 양을 표시하는 방식으로 퓨리에 변환하여 퓨리에 영상을 생성하고, 상기 퓨리에 영상에서 중심으로부터 서로 다른 반경을 갖는 복수 개의 원형 섹터로 구분하고, 각각의 원형 섹터별 주파수 에너지 비율을 산출하고, 상기 주파수 에너지 비율에 따라 미리 구분된 상기 원형 섹터의 개수에 대응되는 주파수 대역의 음량 크기를 산출하고, 상기 산출된 각 음량 크기에 따라 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계; 및
   (d) 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 각 4마디 마다 독립성을 갖는 8마디로 이루어진 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프를 연속적으로 재생하고, 상기 음악 모티프가 연속적으로 재생되는 경우 최소한 4마디의 모티프가 종료된 후 다른 모티프로의 변환은 신규 영상 정보가 기존 영상 정보와 다르고 상기 신규 영상 정보의 지속시간이 소정 시간 이상일 경우에만 상기 배경음악을 생성하는 단계를 포함하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
2. 제1항에 있어서,
   상기 (a) 단계에서,
   상기 움직임 속도는 상기 모바일 장치에 내장된 GPS 및/또는 모션센서로부터 측정되는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
   
3. 제1항 또는 제2항에 있어서,
   상기 (b) 단계는,
   상기 우울함을 회색계열 또는 채도 및 명도가 낮은 붉은 계열로 하는 색상과, 상기 활기참을 채도 및 명도가 높은 붉은 계열 또는 채도 및 명도가 높은 푸른 계열로 하는 색상과, 상기 고요함을 낮은 푸른 계열 또는 흰색과 검은색으로 하는 색상으로 분류하고, 각각의 색상에 따른 색조, 명도 및 채도 값이 결정되어 상기 색상 그룹을 형성하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
4. 제3항에 있어서,
   상기 색상 그룹은 각각에 5개의 화성 패턴으로 구성된 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
5. 제1항에 있어서,
   상기 복수 개의 원형 섹터는 5개로 설정되고,
   5개의 주파수 대역은, 60Hz, 230Hz, 910Hz, 3.6KHz 및 14KHz 인 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
6. (a) 배경음악 생성 어플리케이션의 카메라 촬영을 실행하고, 촬영되는 실시간 영상을 배경음악 생성 서버로 전송하는 단계;
   (b) 모바일 장치의 움직임 속도 값을 측정하는 단계;
   (c) 상기 배경음악 생성서버가 상기 모바일 속도 값을 수신받고, 상기 수신된 속도 값에 따라 미리 디자인된 다수의 비트 중 어느 하나를 선택하여 상기 모바일 장치가 촬영된 실시간 영상에 대응되는 배경음악의 리듬(rhythm)을 결정하는 단계;
   (d) 상기 배경음악 생성서버가 미리 저장된 인간 감정에서 우울함(gloomy), 활기참(cheerful) 및 고요함(silent)에 대응하여 색조, 채도 및 명도값에 따라 분류된 다수의 색상 그룹의 화성(harmony) 패턴에서, 상기 실시간 영상으로부터 추출된 대표 색상값에 따라 상기 화성 패턴 중 어느 하나를 상기 실시간 영상에 대응되는 배경음악의 화성(harmony)으로 결정하는 단계;
   (e) 상기 배경음악 생성서버가 상기 실시간 영상 속 형태의 특징을 상기 형태를 구성하는 선의 개수에 따른 복잡도와 비슷한 형태의 반복도를 기준으로, 중심부는 저주파 에너지의 양을, 가장자리는 고주파 에너지의 양을 표시하는 방식으로 퓨리에 변환하여 퓨리에 영상을 생성하고, 상기 퓨리에 영상에서 중심으로부터 서로 다른 반경을 갖는 복수 개의 원형 섹터로 구분하고, 각각의 원형 섹터별 주파수 에너지 비율을 산출하고, 상기 주파수 에너지 비율에 따라 미리 구분된 상기 원형 섹터의 개수에 대응되는 주파수 대역의 음량 크기를 산출하고, 상기 산출된 각 음량 크기에 따라 상기 실시간 영상에 대응되는 배경음악의 음조(tone)를 결정하는 단계;
   (f) 상기 배경음악 생성서버가 상기 결정된 리듬과 화성에 따라 상기 모바일 디바이스의 모티프 DB로부터 각 4마디 마다 독립성을 갖는 8마디로 이루어진 하나의 음악 모티프를 선택하고, 상기 결정된 음조에 따른 이콸라이저(equalizer) 값으로 상기 음악 모티프를 연속적으로 재생하고, 상기 음악 모티프가 연속적으로 재생되는 경우 최소한 4마디의 모티프가 종료된 후 다른 모티프로의 변환은 신규 영상 정보가 기존 영상 정보와 다르고 상기 신규 영상 정보의 지속시간이 소정 시간 이상일 경우에만 상기 배경음악을 생성하는 단계; 및
   (g) 상기 생성된 배경음악 모티프를 상기 모바일 장치로 전송하여 배경음악을 실시간으로 재생하는 단계를 포함하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
7. 제6항에 있어서,
   상기 (d) 단계는,
   상기 우울함을 회색계열 또는 채도 및 명도가 낮은 붉은 계열로 하는 색상과, 상기 활기참을 채도 및 명도가 높은 붉은 계열 또는 채도 및 명도가 높은 푸른 계열로 하는 색상과, 상기 고요함을 낮은 푸른 계열 또는 흰색과 검은색으로 하는 색상으로 분류하고, 각각의 색상에 따른 색조, 명도 및 채도 값이 결정되어 상기 색상 그룹을 형성하는 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
8. 제7항에 있어서,
   상기 색상 그룹은 각각에 5개의 화성 패턴으로 구성된 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
9. 제6항에 있어서,
   상기 복수 개의 원형 섹터는 5개로 설정되고,
   5개의 주파수 대역은, 60Hz, 230Hz, 910Hz, 3.6KHz 및 14KHz 인 것을 특징으로 하는 모바일 앱 기반의 실시간 영상의 배경음악 생성방법.
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제
16. 삭제
17. 삭제

Images