KR20010076489A - 센서를 이용한 가상 연주장치 및 그 방법 - Google Patents

Abstract

본 발명은 사용자의 동작을 감지하여 그에 맞는 미디음을 생성하는 센서를 이용한 가상 연주장치 및 그 방법에 관한 것이다.

본 발명에 따른 센서를 이용한 가상연주장치는, 저장된 곡 중에서 연주할 곡을 선택하는 선택부; 사용자가 두드리는 탭의 세기와 빠르기를 감지하는 탭센서; 상기 선택된 곡의 멜로디에 따른 반주를 생성하며 제어신호에 따라 템포와 음의 세기를 제어하여 출력하는 음악연주부; 상기 연주되는 곡의 현재의 음악정보를 그랙픽으로 시각화하여 디스플레이하는 그래픽 디스플레이부; 및 상기 선택신호를 유입하여 상기 메모리에 해당 곡의 데이터를 리드하여 음악연주부에 출력하며, 상기 센서신호를 유입하여 상기 음악연주부와 그래픽 디스플레이부를 제어하는 중앙제어부를 구비함을 특징으로 한다.

본 발명에 의하면 디스플레이되는 그래픽 화면에 따라 연주곡의 멜로디에 맞추어 사용자가 탭을 두드림으로써 멜로디에 따라 자동으로 반주가 출력되어 해당 곡을 손쉽게 연주할 수 있으며, 연주되는 곡의 빠르기와 볼륨, 멜로디 음의 높이 등이 각 객체로서 입체적으로 시각화되어 나타남으로써 보다 흥미를 갖고 연주할 수 있다

Description

센서를 이용한 가상 연주장치 및 그 방법{Virtual musical performance apparatus and method thereof using sensor}

본 발명은 가상연주장치에 관한 것으로서, 특히 사용자의 동작을 감지하여 그에 맞는 미디음을 생성하는 센서를 이용한 가상 연주장치 및 그 방법에 관한 것이다.

일반적으로 음악을 연주하기 위해서는 직접 실제 물리적인 악기를 사용하여 연주하는 방법이 있고, 원래 녹음되어 있는 음악을 믹서를 사용하여 변형시켜 연주하는 방법이 있다. 또한, 미디(MIDI: musical instrument digital interface)악기나 전자악기를 사용해서 연주하는 다양한 방법이 있다.

실제 악기를 사용하는 경우에는 연주자가 연주하고자 하는 악보에 따라 정확한 동작으로 악기에 어떤 힘을 가했을 때 악기와 연주자와의 상호작용에 의해 음악이 연주된다. 믹서 등을 사용하는 경우에는 녹음된 음악이나 소리의 일정 부분들을 주파수나 진폭 등을 변화시켜서 변조된 음으로 새로운 음악 소리를 창출한다. 여기서, 전자악기나 미디악기는 기존의 악기와 유사한 인터페이스 예컨대, 피아노나 바이올린 같은 모양과 같은 인터페이스를 가지고 있는 반면에 그 작동은 전자적으로 이루어진다.

이러한 전자피아노 또는 이와 유사한 전자악기를 통하여 원하는 대로 음악을 연주하기 위해서는, 피아노나 전자악기와 기본 구성이 동일한 악기를 잘 연주할 수 있거나, 혹은 오케스트라를 동원하여 지휘를 할 수 있는 실제의 음악적 연주능력과 실력이 요구된다. 따라서, 악기 연주를 전문적으로 배운 연주자나 각별한 노력을 가지고 배운 사람을 제외하고는 일반적으로 악기를 연주한다는 것은 매우 어려운 일이다.

또한, 다른 방법으로는 직접적인 연주실력이 없더라도 컴퓨터나 신세사이저에서 미디나 전자음악관련 소프트웨어를 실행시키고 미리 저장된 곡중에서 선택하여 원하는 대로 편집하여 연주하는 방법이 있다. 그러나 현재 미디관련 소프트웨어는 연주하는 동안에 실시간에 연주곡을 다양하고 쉽게 변형되도록 하는 기능을 제공하지 않고 있다. 또한, 현재 미디 관련 소프트웨어는 음악의 청각적인 면 이외에는 디스플레이지원이 미미한 실정이며, 실시간으로 음악을 따라 하는 기존 오락기기로는 비트매니어나 댄스 댄스 리볼루션 등이 있으나 이러한 오락기기들은 음악에 맞춰서 정해진 동작을 하는 것으로 비교적 사용자의 수동적인 요소가 요구된다.

이에 따라, 음악을 변형시키는 능동적인 주체로서, 사용자의 동작에 따라 해당 곡의 빠르기, 각 음의 높낮이 및 멜로디, 음세기, 각 음표의 진행 등이 바뀌어 연주되어 악기를 숙련되게 다루지 못하더라고, 사용자가 감정과 약간의 박자를 맞출 수 있는 능력만 있다면 상당히 복잡한 음악을 연주하는 기분을 청각뿐만 아니라 시각적으로 느낄 수 있도록 하는 다양한 연주장치가 요구되었다.

본 발명은 상술한 요구에 부응하여 창출된 것으로서, 사용자가 행동에 따라 선택된 곡의 빠르기, 각 음의 높낮이, 멜로디 음세기 등이 반영되어 연주되고, 3차원 그래픽영상으로 디스플레이시켜 음악을 실제 연주하는 기분을 청각뿐만 아니라 시각적으로 느낄 수 있도록 하는 센서를 이용한 가상 연주장치와 방법을 제공하는 데 목적이 있다.

도 1은 본 발명에 의한 센서를 이용한 가상연주장치의 블록도이다.

도 2는 도 1에 도시된 장치에서의 가상 연주과정을 나타내는 흐름도이다.

도 3은 도 1의 탭센서의 작동에 따라 음악연주부에서 반주가 출력되는 것을 설명하기 위한 악보이다.

도 4는 도 1의 디스플레이부에서 연주되는 곡의 템포와 볼륨 등의 음악정보를 가상공간의 우주에 대응시켜 디스플레이한 일실시예의 화면이다.

<도면의 주요 부분에 대한 부호설명>

10 ... 선택부, 12 ... 탭센서

14 ... 헤드트랙센서, 16 ... 데이터 글러브

18 ... 메모리, 20 ... 중앙제어부

22 ... 음악연주부, 24 ... 스피커

26 ... 그래픽제어부, 28 ... 디스플레이부.

상기의 목적을 달성하기 위한 본 발명에 의한 소정의 곡을 사용자의 탭 동작을 감지하는 센서 또는 키보드, 태블릿(tablet), 타치 스크린 등에 따라 상기 곡에 대한 연주음을 출력시키고 시각적인 영상으로 변화시켜 연주하는 가상연주방법에 있어서,

사용자가 상기 곡의 멜로디에 대응하여 두드리는 탭 동작과, 데이터 글러브를 통한 동작을 감지하는 과정;

상기 탭 동작이 감지되면 상기 선택된 곡의 멜로디에 대한 반주를 생성하고, 상기 데이터 글러브 감지신호에 따라 연주곡의 템포와 볼륨을 제어하여 연주하는 과정; 및

상기 선택곡의 멜로디 음의 높이와 템포, 탭의 세기, 볼륨크기를 나타내는 객체들을 화면상에서 크기와 빠르기의 변화로서 사용자가 연주하기에 도움을 줄 수 있도록 시각화하여 디스플레이하는 과정을 포함함을 특징으로 한다.

상기 디스플레이는 입체적으로 디스플레이됨을 특징으로 한다.

사용자의 탭 동작을 감지하는 센서에 따라 곡의 연주와 시각적인 영상으로 변화시켜 연주하는 가상연주장치는,

멜로디 데이터(MEDI)의 연주곡을 저장하는 메모리;

상기 저장된 곡 중에서 연주할 곡을 선택하는 선택부;

사용자가 두드리는 탭의 세기와 빠르기를 감지하는 탭센서;

상기 선택된 곡의 멜로디에 따른 반주를 생성하며 제어신호에 따라 템포와 음의 세기를 제어하여 출력하는 음악연주부;

상기 연주되는 곡의 현재의 음악정보를 그랙픽으로 시각화하여 디스플레이하는 그래픽 디스플레이부; 및

상기 선택신호를 유입하여 상기 메모리에 해당 곡의 데이터를 리드하여 음악연주부에 출력하며, 상기 센서신호를 유입하여 상기 음악연주부와 그래픽 디스플레이부를 제어하는 중앙제어부를 구비함을 특징으로 한다.

사용자의 머리 움직임에 따라 입체적으로 디스플레이하기 위한 헤드트랙센서를 더 구비할 수 있다.

상기 그래픽 디스플레이부는 HMD(head mounted display)나, 프로젝터, 모니터 또는 LCD(liquid crystal display)화면으로 디스플레이함을 특징으로 한다.

사용자의 손 동작에 따라 연주곡의 볼륨과 템포를 조정하기 위해 센서신호를 상기 중앙제어부에 출력하는 데이터 글러브를 더 구비함을 특징으로 한다.

이하, 첨부 도면을 참조하여 본 발명의 실시예를 설명하기로 한다.

도 1은 본 발명에 의한 센서를 이용한 가상연주장치의 블록도이다.

도 1에 도시된 장치는 연주곡의 멜로디 데이터를 저장하는 메모리(18); 사용자가 연주하고자 원하는 곡을 메모리(18)에서 선택하기 위한 선택부(10), 멜로디에 따라 사용자가 손가락으로 두들기는 촉감의 세기와 빠르기를 감지하는 탭센서(12), 출력되는 연주곡의 템포와 볼륨을 제어하기 위한 데이터 글러브(data glove)(16), 사용자의 머리움직임을 감지하기 위한 헤드트랙센서(14), 헤드트랙센서(14)에 의한 머리위치정보에 따라 사용자의 관점을 달리하여 3차원 그래픽으로 디스플레이하는 디스플레이부(28), 헤드트랙센서(14)와 데이터 글러브(16), 탭센서(12)에서 감지되는 탭핑의 세기에 따라 연주되는 곡의 템포와 볼륨의 크기를 나타내는 객체를 그래픽으로 시각화하여 HMD(head mounted display) 등에 입체적으로 디스플레이하는 그래픽제어부(26), 탭센서(12)에서 감지되는 탭신호에 따라 선택된 곡의 미디음을 출력하는 음악연주부(22)와 선택신호를 유입하여 상기 메모리에 해당 곡의 데이터를 리드하여 음악연주부에 출력하며, 상기 센서신호를 유입하여 상기 음악연주부(22)와 그래픽제어부(26)를 제어하는 중앙제어부(20)를 구비한다.

도 2는 도 1에 도시된 장치에서의 가상 연주과정을 나타내는 흐름도이다.

도 2의 흐름도를 참조하여 개괄적으로 동작을 구분하여 보면, 사용자가 메모리(18)에 멜로디 데이터가 저장된 곡들 중에서 연주하고자 하는 곡을 선택부(10)를 통하여 선택하는 30단계와, 센서를 감지하는 단계로서 선택된 연주곡의 멜로디에 맞추어 사용자가 한 손으로 두드리는 탭의 감지와, 사용자 머리의 위치, 사용자의 다른 쪽 손에 장착한 데이터 글러브(16)의 손동작 움직임을 감지하는 32단계와, 탭신호에 따라 선택된 곡의 해당 멜로디에 대한 반주곡을 생성함과 동시에 데이터 글러브(16)에 의한 손동작 감지신호에 따라 연주되는 곡의 템포와 볼륨을 조절하는 34단계, 멜로디의 음높이와 32단계에서 감지된 탭의 빠르기에 따라 대응하여 변하는 객체를 화면상에 디스플레이하며 헤드트랙센서(14)에 따라 사용자의 관점에서 입체적으로 디스플레이하는 36단계로 구분된다.

세부적인 동작을 살펴보면 중앙제어부(20)는 선택부(10)의 선택신호에 따라 해당 곡을 메모리(18)로부터 리드하여 음악연주부(22)에 출력한다. 사용자가 연주되는 곡의 멜로디에 따라 탭센서(12)를 소정의 세기와 빠르기로 사용자의 감정에따라 변화를 주어 두드리면 중앙제어부(20)는 센서신호에 따라 음악연주부(22)와 그래픽제어부(26)를 제어한다. 음악연주부(22)에서는 탭센서(12)에서 감지된 탭신호에 따라 선택된 곡의 멜로디에 맞추어 반주를 출력하며 탭센서(12)에서 감지된 세기와 따라 연주곡의 멜로디음의 세기를 제어한다.

도 3은 연주되는 곡의 주 멜로디 트랙에 맞추어 탭센서(12)를 두드릴 때 각 탭에 따라서 음악연주부(22)에서 자동으로 반주가 출력되는 것을 설명하기 위한 악보이다. 여기서, 참조부호 37, 39는 사용자가 두드리는 제1탭과 제3탭에 따라 출력되는 각각의 반주트랙을 나타내고 참조부호 38은 제2탭에서 반주가 없는 경우를 나타내며 손가락으로 탭센서(12)를 두들김으로서 해당 멜로디를 진행시키고 생성된 반주트랙을 자동으로 연주한다. 멜로디가 연주되는 트랙인데 멜로디가 연주되어야 할 시점마다 손가락으로 탭센서(12)를 두들기면 멜로디가 연주되고 반주는 자동적으로 따라서 연주된다. 그리고, 반주가 끝난 후에 다음 멜로디를 연주하기 위한 손가락 입력이 들어오기를 기다리면서 연주는 멈추게 되며, 멜로디 연주가 원래 속도보다 느리게 나오면 반주도 멜로디에 맞추어서 대기상태가 된다. 또한, 사용자가 멜로디에 대한 탭동작이 너무 빨라서 반주가 나오는 도중에 멜로디 음을 연주하려고 하면 연주되지 않고 제 시간에 맞추어서 연주된다. 이때, 연주되는 음악의 템포를 빠르게 하거나 느리게 하는 것은 데이터 글러브(16)를 올리거나 내려서 제어한다. 중앙제어부(20)는 데이터 글러브(16)에서 감지된 신호에 따라 음악연주부(22)를 제어한다.

한편, 그래픽제어부(26)는 멜로디의 음 높이와 빠르기를 시각적으로 형상화하여 그래픽의 각 객체 움직임의 빠르기를 제어하고, 두들김의 세기에 따라 객체의 사이즈를 제어하여 사용자가 장착한 디스플레이부(28)에 입체적으로 디스플레이한다. 따라서, 사용자가 멜로디와 취향에 따라 손가락으로 두들기는 시점과 세기를 반영한 입체적인 화면을 사용자가 볼 수 있다.

헤드트랙센서(14)는 사용자의 머리에 장착되어 사용자의 머리 움직임 정보를 중앙제어부(20)에 전송하면, 중앙제어부(20)는 그래픽제어부(26)를 제어하여 사용자가 머리 움직임에 따라 입체적으로 연주되는 음악정보가 디스플레이되도록 한다.

또한, 중앙제어부(20)는 데이터 글러브(16)를 착용한 사용자가 주먹을 쥐었다가 펴는 정도의 감지신호를 유입하여 음악연주부(22)에서 출력되는 연주곡의 볼륨이 작게 또는 크게 되도록 제어한다.

도 4는 도 1의 디스플레이부에서 연주되는 곡의 템포와 볼륨 등의 정보를 가상공간의 우주에 대응시켜 디스플레이한 일실시예의 화면이다.

도 4에서, 우주 천체를 배경으로 하여 지구(42)를 중심으로 주위의 작은 소행성들이 위치하여 연주곡의 템포, 볼륨 등 연주되는 음악의 정보를 나타낸다. 지구(42)의 크기는 현재 연주되는 음악의 볼륨으로 표현되며, 볼륨이 커질수록 지구(42)의 크기는 커지며, 작아지면 지구(42)의 크기가 작게 디스플레이된다. 화면 상부에 위치한 행성(40)은 현재 연주되는 음의 높이를 나타내고, 행성(43)은 이미 연주된 음들을 나타내며, 행성(44)은 현재의 멜로디 음을 나타내며 멜로디 음이 다음 멜로디 음을 나타내는 행성(46)까지 사이에 연결되어 위치한 행성들은 다음 음이 연주될 시점까지 해당 행성들의 칼라가 순차적으로 바뀜으로써 사용자는 다음음이 연주될 시점을 쉽게 알 수 있다.

도 1에 도시된 장치에서 각 센서는 RS-232C 프로토콜을 이용하여 중앙제어부(20)와 접속되며, 주요 구성요소를 컴퓨터와 사운드 확장카드를 이용하여 구현될 수 있으며 선택부(10)는 컴퓨터의 키보드나 태블릿(tablet), 타치스크린 등으로서 대체할 수 있다. 또한, 일종의 음악정보교류를 위한 프로토콜(API)을 이용하는 모듈간의 통신방법을 이용하면 기존의 음악연주시스템과 연결하여 실행시킬 수 있다. 또한, 본 발명으로부터 디스플레이를 HMD 대신에 LCD(liquid crystal display)로 하고 볼륨조정버튼과 탭센서(12)를 연주기 본체에 장착시키면 간단한 휴대용연주장치 등과 같은 다양한 변형 실시예가 가능한다.

기존의 악기 연주를 배우기 위해서는 많은 시간과 노력이 필요하지만, 본 발명에 의하면 디스플레이되는 그래픽 화면에 따라 연주곡의 멜로디에 맞추어 사용자가 탭을 두드림으로써 멜로디에 따라 자동으로 반주가 출력되어 해당 곡을 손쉽게 연주할 수 있으며, 연주되는 곡의 빠르기와 볼륨, 멜로디 음의 높이 등이 각 객체로서 입체적으로 시각화되어 나타남으로써 보다 흥미를 갖고 연주할 수 있다. 이는 유아 및 악기에 대한 훈련이 부족한 사람들이 쉽게 연주할 수 기능을 제공한다.

Claims (7)

1. 소정의 곡을 사용자의 탭 동작을 감지하는 센서 또는 키보드, 태블렛(tablet), 타치 스크린 등에 따라 상기 곡에 대한 연주음을 출력시키고 시각적인 영상으로 변화시켜 연주하는 가상연주방법에 있어서,

   사용자가 상기 곡의 멜로디에 대응하여 두드리는 탭 동작과, 데이터 글러브를 통한 동작을 감지하는 과정;

   상기 탭 동작이 감지되면 상기 선택된 곡의 멜로디에 대한 반주를 생성하여 연주하는 과정; 및

   사용자가 연주하기에 도움을 줄 수 있도록 상기 선택곡의 멜로디 음의 높이와 템포, 탭의 세기, 볼륨크기에 대한 정보를 각 음과 대응되는 객체들의 크기와 빠르기의 변화로서 화면상에 시각화하여 디스플레이하는 과정을 포함함을 특징으로 하는 센서를 이용한 가상연주방법.
2. 제1항에 있어서, 데이터 글러브 감지신호에 따라 연주곡의 템포와 볼륨을 제어하는 과정을 더 포함함을 특징으로 하는 센서를 이용한 가상 연주방법.
3. 제1항에 있어서,

   상기 디스플레이하는 과정은 입체적으로 디스플레이됨을 특징으로 하는 센서를 이용한 가상 연주장치.
4. 멜로디 데이터의 연주곡을 저장하는 메모리;

   상기 저장된 곡 중에서 연주할 곡을 선택하는 선택부;

   사용자가 두드리는 탭의 세기와 빠르기를 감지하는 탭센서;

   상기 선택된 곡의 멜로디에 따른 반주를 생성하며 제어신호에 따라 템포와 음의 세기를 제어하여 출력하는 음악연주부;

   상기 연주되는 곡의 현재의 음악정보를 그랙픽으로 시각화하여 디스플레이하는 그래픽 디스플레이부; 및

   상기 선택신호를 유입하여 상기 메모리에 해당 곡의 데이터를 리드하여 음악연주부에 출력하며, 상기 센서신호를 유입하여 상기 음악연주부와 그래픽 디스플레이부를 제어하는 중앙제어부를 구비함을 특징으로 하는 센서를 이용한 가상 연주장치.
5. 제3항에 있어서, 사용자의 머리 움직임에 따라 입체적으로 디스플레이하기 위한 헤드트랙센서를 더 구비함을 특징으로 센서를 이용한 가상 연주장치.
6. 제3항에 있어서, 상기 그래픽 디스플레이부는 HMD(head mounted display)로 디스플레이함을 특징으로 하는 센서를 이용한 가상 연주장치.
7. 제3항에 있어서, 사용자의 손 동작에 따라 연주곡의 볼륨과 템포를 조정하기 위해 센서신호를 상기 중앙제어부에 출력하는 데이터 글러브를 더 구비함을 특징으로 하는 센서를 이용한 가상 연주장치.