KR101907276B1

KR101907276B1 - 악기연주 연습 시스템 및 악기연주 지원 방법

Info

Publication number: KR101907276B1
Application number: KR1020160175480A
Authority: KR
Inventors: 최정; 오규환; 백재순
Original assignee: 아주대학교산학협력단
Priority date: 2016-12-21
Filing date: 2016-12-21
Publication date: 2018-10-12
Also published as: KR20180072182A

Abstract

사용자의 악기 연주에 따라 발생하는 신호를 수신하고, 신호의 세기와 길이를 임계값과 비교함으로써 정상적인 연주에 해당하는지 판단하고, 수신된 신호의 배음 구조를 분석하여 연주 데이터를 생성하고, 수신된 신호의 배음 구조에 따라 연주 데이터를 처리할지 여부를 결정하고, 연주 데이터를 기저장된 악보 데이터와 비교함으로써 사용자의 연주가 정확한지 판단하고, 사용자의 연주를 평가한 결과를 사용자에게 제공하는 악기연주 연습 시스템 및 악기연주 지원 방법이 개시된다.

Description

악기연주 연습 시스템 및 악기연주 지원 방법{SYSTEM FOR PRACTICING MUSICAL INSTRUMENT AND METHOD FOR SUPPORTING THE PRACTICE}

본 발명은 악기연주를 연습하기 위한 시스템과 악기연주 지원 방법에 관한 것으로, 더욱 상세하게는 사용자의 악기연주 연습 과정을 지원하여 연주 실력을 향상시키기 위한 시스템 및 그 시스템을 이용하여 악기연주를 지원하는 방법에 관한 것이다.

일반적으로, 악기연주를 배우기 위해서는 전문가에게 직접 교습을 받거나 스스로 연습하는 방법들을 생각해볼 수 있다. 악기연주를 위한 개인 교습 또는 학원 수업을 위해서는 비용이 상당히 소요되어, 점차적으로 스스로 연주하며 실력향상을 도모하는 연주자들이 늘고 있다.

그러나, 연주 실력을 향상시키기 위해서는 꾸준한 반복연습이 중요하지만 스스로 연주하며 연습하는 것은 항상 정해진 장소에서 연습이 이루어지게 되어 흥미 유발의 정도가 낮다는 단점이 있다. 또한, 혼자서 연습하는 경우 연주를 평가해줄 상대방이나 상급자가 없어 연습이 정상적으로 되고 있는지에 대해 확신하기가 어렵다. 특히, 혼자서 연습하는 경우 자신의 연주에서 실수가 발생하더라도 어떠한 부분에서 실수했는지 정확히 인식하기 어렵기 때문에, 연습하는 시간에 비해 연주실력 향상이 미미하다는 한계가 있다.

또한, 전통적인 주입식 음악 교육 방식이나 일차원적인 학습 방식으로는 연주자의 꾸준한 연습을 유도하기 어려워, 저학년 아동들이나 연주 초보자들이 흥미를 쉽게 잃어 연주 연습을 꾸준하게 유지하는 것이 매우 어렵다.

이에 따라, 연습자의 흥미를 지속적으로 유발하는 악기연주 연습 시스템에 대한 요구는 날로 증대되는 상황이다.

한국공개특허공보 제10-2011-0122520호 "뮤직 에듀테인먼트 시스템" (2011.11.10. 공개) 일본공개특허공보 특개2002-182804호 "정보 재생 장치” (2002.06.28. 공개)

본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 사용자의 흥미를 유발할 수 있도록 개선된 악기연주 연습 시스템을 제안하는 것이다.

본 발명의 또 다른 목적은 사용자의 악기 연주를 즉각적으로 분석하여 정확도를 판별함으로써 사용자에게 효율적인 피드백을 제공하는 것이다.

본 발명에서 이루고자 하는 기술적 목적들은 이상에서 언급한 사항들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 이하 설명할 본 발명의 실시 예들로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 고려될 수 있다.

상기 기술적 과제를 해결하기 위한 악기연주 연습 시스템은, 사용자의 악기 연주에 따라 발생하는 신호를 수신하는 입력부, 수신된 신호의 세기와 길이를 임계값과 비교함으로써 정상적인 연주에 해당하는지 판단하는 제1 필터링부, 제1 필터링부에 의해 정상적인 연주로 평가되면, 수신된 신호의 배음 구조를 분석하여 연주 데이터를 생성하는 주파수 분석부, 수신된 신호의 배음 구조가 사용자가 연주하는 악기의 배음 구조와 일치하는지 여부에 따라 연주 데이터를 처리할지 여부를 결정하는 제2 필터링부, 연주 데이터를 처리할 것으로 결정되는 경우, 연주 데이터를 기저장된 악보 데이터와 비교함으로써 사용자의 연주가 정확한지 판단하는 연주 평가부 및 사용자의 연주를 평가한 결과를 사용자에게 제공하는 출력부를 포함한다.

발생하는 신호는 실제 악기 연주에 따른 아날로그 신호일 수 있다.

발생하는 신호가 가상 악기 연주에 따른 디지털 신호인 경우, 입력부가 수신한 신호는 제1 필터링부, 주파수 분석부 및 제2 필터링부를 거치지 않고 연주 평가부에 의해 처리될 수 있다.

연주 평가부는 연주 데이터의 음정, 박자, 길이 및 연주 속도를 악보 데이터와 비교하여 사용자의 연주가 정확한지 판단하며, 연주 데이터의 음정, 박자, 길이 및 연주 속도 중 적어도 하나가 악보 데이터와 일치하지 않는 경우 사용자의 연주를 부정확한 것으로 판단할 수 있다.

출력부는 사용자의 연주를 평가한 결과를 어플리케이션 상의 캐릭터를 이용하여 출력할 수 있다.

출력부는 사용자의 연주를 평가한 결과를 악보의 마디 단위로 출력할 수 있다.

상기 기술적 과제를 해결하기 위한 악기연주 지원 방법은, 사용자의 악기 연주에 따라 발생하는 신호를 수신하는 단계, 수신된 신호의 세기와 길이를 임계값과 비교함으로써 정상적인 연주에 해당하는지 판단하는 단계, 판단 결과 정상적인 연주로 평가되면, 수신된 신호의 배음 구조를 분석하여 연주 데이터를 생성하는 단계, 수신된 신호의 배음 구조가 사용자가 연주하는 악기의 배음 구조와 일치하는지 여부에 따라 연주 데이터를 처리할지 여부를 결정하는 단계, 연주 데이터를 처리할 것으로 결정되는 경우, 연주 데이터를 기저장된 악보 데이터와 비교함으로써 사용자의 연주가 정확한지 판단하는 단계, 및 사용자의 연주를 평가한 결과를 사용자에게 출력하는 단계를 포함한다.

본 발명의 실시 예들에 따르면 다음과 같은 효과를 기대할 수 있다.

첫째로, 개선된 악기연주 연습 시스템을 제안함으로써 사용자의 연습 과정에 대한 흥미를 지속적으로 유발하여, 사용자의 연주 실력 향상을 도모할 수 있다.

둘째로, 사용자에게 연주 정확도를 출력하는 방식을 개선함으로써 사용자가 연주에 대한 즉각적인 피드백을 제공받을 수 있을 뿐 아니라 스스로 꾸준한 연습을 할 수 있게끔 동기부여를 할 수 있다.

본 발명의 실시 예들에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 이하의 본 발명의 실시 예들에 대한 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 도출되고 이해될 수 있다. 즉, 본 발명을 실시함에 따른 의도하지 않은 효과들 역시 본 발명의 실시 예들로부터 당해 기술분야의 통상의 지식을 가진 자에 의해 도출될 수 있다.

이하에 첨부되는 도면들은 본 발명에 관한 이해를 돕기 위한 것으로, 상세한 설명과 함께 본 발명에 대한 실시 예들을 제공한다. 다만, 본 발명의 기술적 특징이 특정 도면에 한정되는 것은 아니며, 각 도면에서 개시하는 특징들은 서로 조합되어 새로운 실시 예로 구성될 수 있다.
도 1은 제안하는 실시 예에 따라 동작하는 악기연주 연습 시스템의 구성을 도시하는 블록도이다.
도 2는 제안하는 실시 예에 따른 악기연주 연습 시스템의 동작 과정을 설명하는 도면이다.
도 3은 제안하는 실시 예에 따른 악기연주 연습 시스템의 구체적인 동작 과정을 설명하는 도면이다.
도 4는 제안하는 실시 예에 따른 악기연주 연습 시스템의 구체적인 동작 과정을 설명하는 도면이다.
도 5는 제안하는 실시 예에 따른 악기연주 연습 시스템의 결과 출력 화면을 예로 들어 설명하는 도면이다.
도 6은 제안하는 실시 예에 따른 악기연주 연습 시스템의 결과 출력 화면을 예로 들어 설명하는 도면이다.
도 7은 제안하는 실시 예에 따른 악기연주 지원 방법의 동작 과정을 설명하는 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.

본 발명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 명세서 전체에서 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, "그 중간에 다른 소자를 사이에 두고" 연결되어 있는 경우도 포함한다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명한다.

도 1은 제안하는 실시 예에 따라 동작하는 악기연주 연습 시스템의 구성을 도시하는 블록도이다. 제안하는 실시 예에 따른 악기연주 연습 시스템(1000)은 입력부(110), 제1 필터링부(120), 주파수 분석부(130), 제2 필터링부(140), 연주 평가부(150), 출력부(160), 저장부(170) 및 제어부(180)를 포함한다. 다만, 제안하는 실시 예에 따른 악기연주 연습 시스템(1000)은 도 1에 도시된 구성만을 포함하는 것은 아니며, 그 기능과 동작을 위해 다른 범용적인 구성을 더 포함할 수 있다.

악기연주 연습 시스템(1000)은 스스로 연습하는 사용자의 연주를 감지하고 연주의 정확도를 평가함으로써 사용자의 악기연주 실력 향상을 지원하며, 평가된 결과를 가공하여 출력함으로써 사용자의 악기연주 연습의 흥미를 유발시켜 꾸준한 연습을 유도할 수 있다.

이하에서는 악기연주 연습 시스템(1000)의 도시된 구성요소들을 각각 구체적으로 설명한다.

먼저, 입력부(110)는 악기연주 연습 시스템(1000)의 외부로부터 사용자의 연주에 따라 발생하는 신호를 수신한다. 외부로부터 발생하는 신호는 사용자가 연주하는 실제 악기에 의해 발생하는 아날로그 신호가 될 수 있으며, 사용자가 디지털 디바이스를 통해서 가상의 악기를 연주하는 경우 디지털 신호가 될 수도 있다.

또한, 입력부(110)는 어쿠스틱 입력 모듈(112) 및 미디 입력 모듈(114)을 포함한다. 어쿠스틱 입력 모듈(112)은 앞서 설명했듯이 사용자가 실제 악기(예를 들어, 피아노, 기타, 드럼 등)를 연주함으로써 발생하는 아날로그 신호를 수신하며, 미디 입력 모듈(114)은 사용자가 다른 디지털 디바이스의 어플리케이션을 통해서 연주를 연습하는 경우 디지털 디바이스에 의해 생성된 디지털 신호(예를 들어, 미디 신호)를 수신한다.

실제 악기에 의해 발생하는 아날로그 신호와 디지털 디바이스에 의해 발생하는 디지털 신호는 그 감지 방식과 처리 방식이 상이하기 때문에, 입력부(110)는 두 개의 서로 다른 모듈을 통해서 각각의 신호들을 처리한다.

이어서, 제1 필터링부(120), 주파수 분석부(130), 제2 필터링부(140)의 구체적인 동작을 설명한다. 미디 입력 모듈(114)에 의해 디지털 신호가 수신된 경우 디지털 데이터는 연주 평가부(150)에 의해 간단히 처리될 수 있기 때문에, 이하에서는 어쿠스틱 입력 모듈(112)에 의해 아날로그 신호가 수신된 경우를 먼저 예로 들어 설명한다.

제1 필터링부(120)는 1차적으로 아날로그 신호를 필터링함으로써 아날로그 신호에 대한 튜닝 과정을 수행한다. 이러한 1차적 필터링 과정은 특정 음의 길이에 대한 임계값과 소리 크기에 대한 임계값을 미리 설정해두고, 수신되는 신호가 임계값을 만족하지 못하는 경우 이를 버리거나 폐기하는 과정을 의미한다. 예를 들어, 일정 길이 이하의 신호가 수신되거나 일정 크기 이하의 신호가 수신되는 경우, 제1 필터링부(120)는 수신된 신호를 잡음으로 인식하고 버린다. 이러한 임계값은 미리 설정된 값으로, 주변 환경에 따라 사용자가 조절하거나 시스템 자체적으로 변경될 수 있다.

이어서, 주파수 분석부(130)는 제1 필터링부(120)에 의해 전달된 신호의 주파수를 분석하는 과정을 통해 신호의 배음 구조를 분석한다. 배음 구조라 함은 연주에 따라 발생된 신호의 기음과 배음들을 구성을 의미하며, 주파수 분석부(130)는 입력되는 신호의 주파수를 분류함으로써 기음과 배음에 해당하는 신호들을 각각 분리해낸다. 주파수 분석부(130)는 기음의 음정(pitch), 주파수, 크기에 대해 분석하며 기음에 대한 배음들 각각의 음정, 주파수, 크기에 대해서도 분석한다.

제2 필터링부(140)는 주파수 분석부(130)에 의해 배음구조가 분석되면, 분석된 배음 구조를 실제 악기 연주의 배음 구조와 비교함으로써 특정 악기의 연주가 맞는지 최종적으로 확인한다. 예를 들어, 사용자가 피아노를 연주하는 경우 제2 필터링부(140)는 사용자의 연주에 따라 발생된 신호의 배음 구조를 미리 저장된 피아노 연주의 배음 구조와 비교함으로써 해당 연주가 피아노 연주가 맞는지 확인한다. 미리 악기연주 연습 시스템(1000)에 입력된 특정 악기의 배음 구조와 실제 연주 신호를 분석한 배음 구조가 일치하지 않는 경우, 제2 필터링부(140)는 처리된 신호를 버리거나 폐기한다.

이어서, 연주 평가부(150)는 제2 필터링부(140)에 의해 처리된 결과를 미리 저장된 악보 데이터와 비교한다. 악보 데이터는 후술할 저장부(170)에 미리 저장될 수 있으며, 연주 평가부(150)는 분석된 연주 신호의 음정, 길이, 박자, 연주 속도를 미리 저장된 악보와 비교함으로써 현재 연주가 정확한 연주인지 판단한다.

연주 평가부(150)는 사용자의 연주를 정확한 연주라고 판단하거나 부정확한 연주라고 판단하며, 부정확한 연주라고 판단된 경우 연주의 음정, 길이, 박자, 연주 속도 중에서 어떠한 부분이 부정확한지에 대해서도 분석한다. 연주 평가부(150)가 평가한 결과는 사용자에게 피드백하기 위해 출력부(160)로 전달된다.

출력부(160)는 악기연주 연습 시스템(1000)이 분석 처리한 결과를 외부로 출력한다. 출력부(160)는 음향 출력부(162)와 디스플레이부(164)를 포함하며, 음향 출력부(162)는 청각적인 신호를 출력함으로써 사용자에게 피드백을 제공한다. 예를 들어, 출력부(160)는 음향 출력부(162)를 통해서 사용자가 연주하는 신호를 그대로 피드백해줄 수 있으며, 사용자의 연주를 평가한 결과가 정확하거나 부정확하다고 판단된 경우 그에 해당하는 효과음이나 비프(beep)음을 출력할 수도 있다. 또는, 음향 출력부(162)는 특정 악보에 해당하는 음악을 실제로 연주하여 사용자에게 들려줄 수도 있다.

또한, 출력부(160)는 디스플레이부(164)를 통해서 사용자에게 시각적인 피드백을 제공할 수도 있다. 예를 들어, 디스플레이부(164)는 소정의 어플리케이션을 통해서 사용자의 연주가 정확하거나 부정확함을 시각적으로 출력할 수도 있으며, 결과의 출력은 특정 악보의 마디 단위로 수행될 수 있다. 예를 들어, 사용자가 특정 악보(예를 들어, 하농)를 연주하는 과정에서 한 마디는 8 개의 음으로 구성되기 때문에, 디스플레이부(164)는 각각의 음에 대한 연주를 평가하여 결과를 출력할 수도 있고, 8 개의 음에 해당하는 한 마디의 연주가 완료되면 해당 마디의 연주를 평가하여 결과를 출력할 수도 있다.

구체적으로는 후술하겠지만, 디스플레이부(164)는 사용자에게 흥미를 유발할 수 있도록 악보마다 매칭되는 캐릭터를 등장시킬 수도 있다.

이어서, 저장부(170)는 악기연주 연습 시스템(1000)에서 처리되는 데이터, 신호, 알고리즘, 어플리케이션, 프로그램 등을 저장한다. 또한, 저장부(170)는 앞서 설명했듯이 특정 악기의 연주를 평가하기 위하여 해당 악기의 배음 구조에 대한 데이터를 미리 저장할 수도 있으며, 연주의 대상이 되는 악보를 미리 저장할 수도 있다.

제어부(180)는 악기연주 연습 시스템(1000)의 동작을 전반적으로 제어한다. 제어부(180)는 입력부(110), 제1 필터링부(120), 주파수 분석부(130), 제2 필터링부(140), 연주 평가부(150), 출력부(160) 및 저장부(170)들이 서로 연계하여 동작할 수 있게끔 관리하며, 나아가 악기연주 연습 시스템(1000)이 사용자의 연주에 따라 동작할 수 있게끔 구성요소들을 제어한다.

이하에서는 도 1에서 설명한 내용들에 기초하여, 악기연주 연습 시스템의 실제 동작 과정을 구체적으로 설명한다.

도 2는 제안하는 실시 예에 따른 악기연주 연습 시스템의 동작 과정을 설명하는 도면이다. 사용자는 실제 악기를 연주하거나 디지털 디바이스 상의 어플리케이션을 실행함으로써 가상의 악기를 연주할 수도 있다. 실제 악기를 연주하는 경우 아날로그 신호가 발생하며, 악기연주 연습 시스템은 어쿠스틱 입력 모듈을 통해서 수신된 아날로그 신호를 처리한다. 반면에, 가상의 악기를 연주하는 경우 디지털 신호가 발생하며, 악기연주 연습 시스템은 미디 입력 모듈을 통해서 수신된 디지털 신호를 처리한다(210).

이어서, 악기연주 연습 시스템은 수신된 신호를 처리한 결과를 미리 저장된 악보 데이터와 비교함으로써 사용자의 연주를 평가한다(220). 연주 평가 과정은 연주 신호의 음정, 길이, 박자, 연주 속도 중 적어도 하나를 악보 데이터와 비교하는 과정을 통해 수행될 수 있으며, 이러한 평가 결과가 모두 만족한다면 사용자의 연주가 정확한 연주로 결정되고 어느 하나라도 불만족한다면 사용자의 연주는 부정확한 연주로 결정될 수 있다.

악기연주 연습 시스템은 사용자의 연주 평과 결과를 출력한다(230). 이러한 출력은 시각적인 결과 및 청각적인 결과로써 출력될 수 있으며, 예를 들어 악기연주 연습 시스템은 스마트폰에 설치된 어플리케이션을 통해서 결과를 출력할 수도 있다. 악기연주 연습 시스템은 어플리케이션 상의 캐릭터를 이용하여 결과를 출력함으로써 사용자에게 흥미를 유발할 수도 있으며, 구체적으로는 도 5 및 도 6을 통해 설명한다.

도 3 및 도 4는 제안하는 실시 예에 따른 악기연주 연습 시스템의 구체적인 동작 과정을 설명하는 도면이다. 도 3은 실제 악기 연주에 따른 아날로그 신호를 처리하는 과정을, 도 4는 가상의 악기 연주에 따른 디지털 신호를 처리하는 과정을 각각 도시한다.

먼저 도 3을 설명하면, 악기연주 연습 시스템은 실제 악기 연주에 따른 아날로그 신호를 입력 수단(예를 들어, 어쿠스틱 입력 모듈)을 통해서 전달 받는다(310). 이어서, 악기연주 연습 시스템은 수신되는 입력 신호의 크기(또는, 세기)와 길이를 각각의 임계값과 비교함으로써 수신 신호를 1차적으로 필터링한다(320). 이러한 1차 필터링 과정은 신호의 크기에 대한 임계값과 신호의 길이에 대한 임계값을 미리 설정해두는 과정이 선행되며, 임계값들은 연주의 주변 환경에 따라 자동적으로 변경되거나 사용자의 조작에 따라 수동적으로 변경될 수도 있다.

악기연주 연습 시스템은 수신된 신호에 대한 1차 필터링을 통과한 결과에 대하여, 수신된 신호의 주파수 분석 과정을 수행한다(330). 주파수 분석 과정은 PD(Pure Data) 라이브러리의 특정 객체(예를 들어, fiddle 객체)를 이용함으로써 수행될 수 있으며, 이산 하틀리 변환(DHT)을 응용함으로써 수행될 수도 있다. 주파수 분석 과정이 수행되는 도중에 윈도우 사이즈, 배음 수 등이 변경될 수 있으며, 최적의 결과를 얻기 위한 튜닝이 함께 수행될 수 있다.

악기연주 연습 시스템은 수신 신호의 주파수 분석을 수행한 결과 신호의 배음 구조를 획득한다(340, 350). 배음 구조는 앞서 설명했듯이 기음과 기음에 대한 배음들로 구성되기 때문에, 악기연주 연습 시스템은 수신된 신호에서 기음의 음정, 주파수, 크기에 대해 분석하며(340), 배음들에 대해서도 마찬가지로 음정, 주파수, 크기에 대해 분석한다(350). 복수의 배음들의 음정은 배음들이 구성하는 하모닉스로 이해될 수도 있다.

이어서, 악기연주 연습 시스템은 분석된 배음 구조에 대해 2차 필터링 과정을 수행한다(미도시). 2차 필터링 과정은 처리된 배음 구조와 실제 악기의 음색이 갖는 미리 저장된 배음 구조를 비교함으로써, 처리된 신호가 실제 악기 연주 신호와 일치하는지 확인한다. 2차 필터링을 거친 결과가 일치하는 것으로 확인되는 경우에만 해당 결과가 연주 평가 과정의 대상이 된다.

도 4에서, 악기연주 연습 시스템은 가상의 악기 연주에 따른 디지털 신호를 입력 수단(예를 들어, 미디 입력 모듈)을 통해 전달받으며, 디지털 신호의 경우 별도의 주파수 분석 과정이 필요 없기 때문에 곧바로 연주 평가 과정이 수행될 수 있다.

도 5 및 도 6은 제안하는 실시 예에 따른 악기연주 연습 시스템의 결과 출력 화면을 예로 들어 설명하는 도면이다.

앞서 도 3 및 도 4에서 설명한 일련의 과정을 거쳐, 악기연주 연습 시스템은 수신된 신호로부터 연주 데이터를 추출한다. 악기연주 연습 시스템은 추출된 연주 데이터를 기저장된 악보 데이터와 비교함으로써 사용자의 연주가 정확한지 부정확한지 평가한다.

한편, 연주 평가 결과를 단순히 출력하는 것만으로는 사용자의 지속적인 악기연주 연습을 유도하기 어렵다. 이는, 악기연주 연습 과정은 비슷한 패턴의 연주를 꾸준히 반복해야 하기 때문에 사용자에게 따분하게 느껴지는 경우가 많이 발생하기 때문이다.

따라서, 제안하는 실시 예에 따른 악기연주 연습 시스템은 연주 평가 결과를 어플리케이션 상의 캐릭터를 이용하여 출력함으로써, 사용자에게 흥미를 유발하고 지속적인 연습을 유도하여 실력향상을 도모하고자 한다.

도 5는 제안하는 일 실시 예에 따라 캐릭터를 이용하여 연주 평가 결과를 출력하는 화면을 도시한다. 연주 악보마다 다른 캐릭터가 설정될 수 있으며, 사용자의 정확한 연주가 반복될 때마다 성장하여 사용자에게 연주 동기를 부여한다. 사용자가 정확한 연주를 수행했다고 판단하면, 악기연주 연습 시스템은 캐릭터에게 먹이를 주며 캐릭터를 성장시켜, 시각적인 결과로써 사용자에게 보상을 제공한다.

이러한 실시 예에 따라 캐릭터를 활용하는 방식은 악보의 마디 단위로 수행될 수 있다. 즉, 사용자가 한 마디 전체를 정확하게 연주했을 때만 캐릭터가 성장할 수 있으며, 한 마디의 연주 중 일부가 부정확하다면 다시 한 마디를 정확하게 연주해야 캐릭터가 성장할 수 있다. 물론, 각 음 단위로 캐릭터의 변화를 주도록 구현될 수 있음은 당연하다.

도 6은 제안하는 또 다른 실시 예에 따라 캐릭터를 이용하는 화면을 도시한다. 악기연주 연습 시스템은 각 악보 및/또는 챕터마다 서로 다른 캐릭터를 설정해둘 수 있음은 앞서 설명한 바 있다. 한편, 사용자의 지속적인 연습을 유도하기 위해, 악기연주 연습 시스템은 몇일 내지 몇주가 지나면 캐릭터의 성장 정도가 줄어들게끔 출력함으로써 사용자가 해당 악보를 재연습하게끔 유도할 수 있다. 무분별한 반복 연주를 방지하기 위해, 소정 횟수 이상 정확히 연주한 악보(610)에 대해서는 더 이상 성장 정도를 줄이지 않게끔 구현될 수도 있다.

또한, 사용자가 난이도를 점차 증가하며 연주를 연습할 수 있도록, 저난이도의 악보나 챕터는 완주한 이후에 고난이도의 악보나 챕터가 해금되게끔 구현될 수도 있다.

도 7은 제안하는 실시 예에 따른 악기연주 지원 방법의 동작 과정을 설명하는 흐름도이다. 도 7에서는 앞서 설명한 악기연주 연습 시스템에 의해 수행되는 악기연주 지원 방법을 시계열적인 흐름에 따라 도시한다. 따라서, 도 7에서 구체적으로 도시되거나 설명되지 않더라도 앞서 도 1 내지 도 6에서 설명한 실시 예들이 도 7의 악기연주 지원 방법에도 적용될 수 있다.

먼저, 악기연주 연습 시스템은 사용자에게 평가 결과를 제공하기 위한 수단인 어플리케이션을 동작시킨다(S710). 어플리케이션은 다양한 형태의 디바이스(예를 들어, 스마트폰, 노트북, 데스크탑 컴퓨터, PDA, 태블릿 PC 등의 디지털 디바이스) 상에서 실행될 수 있다.

이어서, 악기연주 연습 시스템은 어플리케이션을 통해 수신될 사용자 입력을 대기하며(S720), 사용자가 자신이 연주할 특정 악보(또는, 챕터)를 선택하는 경우 사용자의 악보 선택 입력을 수신한다(S730). 마찬가지로, 악기연주 연습 시스템은 사용자가 실제 악기를 연주하거나 다른 디지털 디바이스를 악기연주 연습 시스템과 연결시켜 가상 악기를 연주할 것을 결정하는 경우, 사용자가 입력모드를 선택하는 입력을 수신한다(S740).

사용자가 특정 악보를 선택하고 입력모드를 선택하여 해당 악기(실제 악기 또는 가상 악기)를 연주하기 시작하면, 악기연주 연습 시스템은 사용자의 연주에 따라 생성되는 아날로그 신호(실제 악기의 경우) 또는 디지털 신호(가상 악기의 경우)를 분석하고 처리하여 사용자의 연주를 평가한다. 또한, 악기연주 연습 시스템은 사용자의 연주를 평가한 결과를 어플리케이션 상에 출력하여, 사용자에게 공감각적인 피드백을 제공한다(S750).

이상에서는 사용자가 악보를 선택한 이후에 해당 악보의 연주를 평가하는 것으로 설명하였다. 그러나, 이와는 달리 사용자가 악보를 선택하지 않고 연주를 시작하더라도, 악기연주 연습 시스템은 자체적으로 저장된 악보 중에서 현재 연주가 어떠한 악보에 해당하는 것인지 감지할 수도 있다. 이에 따라, 악기연주 연습 시스템은 사용자의 연주에 맞는 악보와 캐릭터를 자동적으로 불러와 사용자에게 출력할 수도 있다.

한편, 상술한 방법은, 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터 판독 가능 매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터 판독 가능 매체에 여러 수단을 통하여 기록될 수 있다. 본 발명의 다양한 방법들을 수행하기 위한 실행 가능한 컴퓨터 코드를 포함하는 저장 디바이스를 설명하기 위해 사용될 수 있는 프로그램 저장 디바이스들은, 반송파(carrier waves)나 신호들과 같이 일시적인 대상들은 포함하는 것으로 이해되지는 않아야 한다. 상기 컴퓨터 판독 가능 매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, DVD 등)와 같은 저장 매체를 포함할 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시 예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

사용자의 연주를 평가하는 악기연주 연습 시스템에 있어서,
상기 사용자의 악기 연주에 따라 발생하는 신호를 수신하는 입력부;
상기 수신된 신호의 세기와 길이를 임계값과 비교하고, 상기 임계값 이하의 신호들은 잡음으로 인식하여 폐기함으로써 상기 수신된 신호에서 잡음과 정상적인 연주 신호를 분리하여 정상적인 연주 신호 여부를 판단하는 제1 필터링부;
상기 제1 필터링부에 의해 정상적인 연주 신호로 평가되면, 상기 제1 필터링부를 통하여 전달된 신호의 주파수 분석 과정을 통해 배음 구조를 분석하여 연주 데이터를 생성하는 주파수 분석부;
상기 전달된 신호의 배음 구조가 상기 사용자가 연주하는 악기의 배음 구조와 일치하는지 여부에 따라 상기 연주 데이터를 처리할지 여부를 결정하는 제2 필터링부;
상기 연주 데이터를 처리할 것으로 결정되는 경우, 상기 연주 데이터를 기저장된 악보 데이터와 비교함으로써 상기 사용자의 연주가 정확한지 판단하는 연주 평가부; 및
상기 사용자의 연주를 평가한 결과를 상기 사용자에게 제공하는 출력부를 포함하고,
상기 주파수 분석 과정은, PD(Pure Data) 라이브러리의 소정의 객체를 이용하거나 이산 하틀리 변환(DHT)을 응용함으로써 수행되며,
상기 배음 구조의 분석은, 주파수 분석부가 상기 제1 필터링부를 통하여 전달된 신호의 주파수를 분류함으로써 기음과 상기 기음에 대한 배음들에 해당하는 신호들을 각각 분리하고, 상기 분리된 기음 및 배음들에 대한 음정, 주파수, 크기를 각각 분석하여 배음 구조를 분석하는 것이며,
상기 출력부는 사용자의 연주를 평가한 결과를 효과음이나 비프(beep)음으로 출력하기 위한 음향 출력부 및 상기 사용자의 연주를 평가한 결과를 악보의 마디 단위로 시각적으로 출력하기 위한 디스플레이부를 포함하며,
상기 출력부는 상기 사용자의 연주를 평가한 결과를 상기 악보마다 다르게 설정된 어플리케이션 상의 캐릭터를 이용하여 출력하고,
상기 사용자에 의해 상기 악보의 한 마디 전체가 정확히 연주된 것으로 평가되는 경우에만 상기 캐릭터의 성장이 가능하고, 상기 사용자의 지속적인 연습 유도를 위해 소정의 시간동안 상기 연주 신호가 수신되지 않는 경우에는 상기 캐릭터의 성장 정도가 감소하는 것을 특징으로 하는 악기연주 연습 시스템.
제1항에 있어서,
상기 발생하는 신호는 실제 악기 연주에 따른 아날로그 신호인 것인, 악기연주 연습 시스템.
제1항에 있어서,
상기 발생하는 신호가 가상 악기 연주에 따른 디지털 신호인 경우, 상기 입력부가 수신한 신호는 상기 제1 필터링부, 상기 주파수 분석부 및 상기 제2 필터링부를 거치지 않고 상기 연주 평가부에 의해 처리되는 것인, 악기연주 연습 시스템.
제1항에 있어서,
상기 연주 평가부는 상기 연주 데이터의 음정, 박자, 길이 및 연주 속도를 상기 악보 데이터와 비교하여 상기 사용자의 연주가 정확한지 판단하며, 상기 연주 데이터의 음정, 박자, 길이 및 연주 속도 중 적어도 하나가 상기 악보 데이터와 일치하지 않는 경우 상기 사용자의 연주를 부정확한 것으로 판단하는 것인, 악기연주 연습 시스템.
삭제
삭제
사용자의 연주를 평가하는 악기연주 연습 시스템이 상기 사용자의 악기연주를 지원하는 방법에 있어서,
상기 사용자의 악기 연주에 따라 발생하는 신호를 수신하는 단계;
상기 수신된 신호의 세기와 길이를 임계값과 비교하고, 상기 임계값 이하의 신호들은 잡음으로 인식하여 폐기함으로써 상기 수신된 신호에서 잡음과 정상적인 연주 신호를 분리하여 정상적인 연주 신호 여부를 판단하는 단계;
상기 판단 결과 정상적인 연주 신호로 평가되면, 제1 필터링부를 통하여 전달된 신호의 주파수 분석 과정을 통해 배음 구조를 분석하여 연주 데이터를 생성하는 단계;
상기 전달된 신호의 배음 구조가 상기 사용자가 연주하는 악기의 배음 구조와 일치하는지 여부에 따라 상기 연주 데이터를 처리할지 여부를 결정하는 단계;
상기 연주 데이터를 처리할 것으로 결정되는 경우, 상기 연주 데이터를 기저장된 악보 데이터와 비교함으로써 상기 사용자의 연주가 정확한지 판단하는 단계; 및
상기 사용자의 연주를 평가한 결과를 상기 사용자에게 출력하는 단계를 포함하고,
상기 주파수 분석 과정은, PD(Pure Data) 라이브러리의 소정의 객체를 이용하거나 이산 하틀리 변환(DHT)을 응용함으로써 수행되며,
상기 배음 구조의 분석은, 주파수 분석부가 상기 제1 필터링부를 통하여 전달된 신호의 주파수를 분류함으로써 기음과 상기 기음에 대한 배음들에 해당하는 신호들을 각각 분리하고, 상기 분리된 기음 및 배음들에 대한 음정, 주파수, 크기를 각각 분석하여 배음 구조를 분석하는 것이며,
상기 출력하는 단계는 사용자의 연주를 평가한 결과를 효과음이나 비프(beep)음으로 출력하는 단계 및 상기 사용자의 연주를 평가한 결과를 악보의 마디 단위로 시각적으로 출력하는 단계를 포함하며,
상기 출력하는 단계는 상기 사용자의 연주를 평가한 결과를 상기 악보마다 다르게 설정된 어플리케이션 상의 캐릭터를 이용하여 출력하고,
상기 사용자에 의해 상기 악보의 한 마디 전체가 정확히 연주된 것으로 평가되는 경우에만 상기 캐릭터의 성장이 가능하고, 상기 사용자의 지속적인 연습 유도를 위해 소정의 시간동안 상기 연주 신호가 수신되지 않는 경우에는 상기 캐릭터의 성장 정도가 감소하는 것을 특징으로 하는 악기연주 지원 방법.
제7항에 있어서,
상기 발생하는 신호는 실제 악기 연주에 따른 아날로그 신호인 것인, 악기연주 지원 방법.
제7항에 있어서,
상기 발생하는 신호가 가상 악기 연주에 따른 디지털 신호인 경우, 상기 수신된 신호는 상기 정상적인 연주에 해당하는지 판단하는 단계, 상기 연주 데이터를 생성하는 단계, 상기 연주 데이터를 처리할지 여부를 결정하는 단계를 거치지 않고 처리되는 것인, 악기연주 지원 방법.
제7항에 있어서,
상기 사용자의 연주가 정확한지 판단하는 단계는, 상기 연주 데이터의 음정, 박자, 길이 및 연주 속도를 상기 악보 데이터와 비교하여 상기 사용자의 연주가 정확한지 판단하며, 상기 연주 데이터의 음정, 박자, 길이 및 연주 속도 중 적어도 하나가 상기 악보 데이터와 일치하지 않는 경우 상기 사용자의 연주를 부정확한 것으로 판단하는 것인, 악기연주 지원 방법.
삭제
삭제