KR102569219B1

KR102569219B1 - 악기 연주 추적 시스템 및 방법

Info

Publication number: KR102569219B1
Application number: KR1020220067890A
Authority: KR
Inventors: 송대건; 박재우; 김찬중; 박웅찬
Original assignee: 클레브레인 주식회사
Priority date: 2022-06-03
Filing date: 2022-06-03
Publication date: 2023-08-22
Also published as: WO2023234614A1

Abstract

본 발명은 악기 연주 추적 시스템 및 방법에 관한 것으로, 보다 구체적으로 연주자가 악기로 연주하고자 하는 곡의 악보를 디스플레이 상에 표시하고, 연주자의 상기 악기 연주에 대한 연주 데이터를 생성하는 디바이스 및 상기 연주 데이터에 기초하여 상기 악보 상에서의 연주위치를 추적하는 적어도 하나의 프로세서를 포함하고, 악기 연주 플랫폼을 지원하는 모바일 어플리케이션을 운용하는 어플리케이션 서버를 포함하고, 상기 적어도 하나의 프로세서는, 상기 디스플레이 상에 표시된 상기 악보 중에서 상기 연주 데이터를 포함하는 다수 개의 마디를 랜드마크 마디로 인식하는 랜드마크 마디 인식부, 상기 연주 데이터와 랜드마크 마디 내 임의의 마디에 대한 음의 빈도와 길이를 포함하는 중요정보를 추출하는 중요정보 추출부, 상기 연주 데이터의 중요정보와 상기 랜드마크 마디 내 임의의 마디의 중요정보를 대상으로 유사도를 산출하는 유사도 산출부 및 상기 연주위치를 시각적으로 확인하기 용이하도록 상기 유사도에 따라 상기 임의의 마디 내 음계를 상기 디스플레이 상에서 활성화 하는 활성화부를 포함하는 것을 특징으로 하는 악기 연주 추적 시스템 및 방법에 관한 것이다.

Description

악기 연주 추적 시스템 및 방법 {Instrument Performance Tracking Systems and Methods}

본 발명은 악기 연주 추적 시스템 및 방법에 관한 것으로, 보다 구체적으로 실시간으로 획득되는 연주 데이터를 이용하여 악보 상에서 연주 위치를 추적하고, 악보를 자동으로 전환하는 악기 연주 추적 시스템 및 방법에 관한 것이다.

오늘날 사람들은 단순히 음악을 듣는 것이 아니라, 직접 악기를 배우고 연주하고 싶어 한다. 능숙한 악기 연주를 위해서는 악기소리를 내는 기본적인 방법부터 이를 응용하여 복잡한 음계로 이루어진 악보를 연주하는 방법까지 강사에게 레슨을 받거나 독학으로 깨우쳐야하는 과정이 필요하다.

그러나 강사에게 레슨을 받는 것은 규칙적으로 교습시간을 내야하고 값비싼 교습비용을 지불해야한다. 독학으로 악기를 배우는 것은 최초에 무엇부터 연습해야할지 모르고 자신의 정확한 실력을 판단하기 어려움으로 지신의 실력보다 어려운 연습으로 악기연주 배움에 쉽게 좌절감을 느끼거나 실력향상에 한계를 느끼게 되는 문제점이 발생하게 된다.

최근에는 어떠한 전자장치도 없는 기본적인 악기가 내는 아날로그 형식의 소리를 디지털화하거나 디지털 피아노 등 연주자의 운지위치에 따라 기 저장된 디지털 음원 데이터를 출력하는 전자악기 및 가상의 그래픽에서 연주자의 입력에 따라 기 저장된 디지털 음원 데이터를 출력하는 가상악기의 연주데이터를 통해서 연주자의 연주 실력을 분석하거나 연주 위치를 추적하는 기술이 연구되고 있는 추세이다.

이와 관련하여, 관련문헌 1은 연주 패턴 분석 기반 맞춤형 트레이닝 프로그램 제공 장치 및 방법에 관한 것으로, 음파 분석을 통해 악기 연주자의 연주 패턴을 분석할 수 있다. 관련문헌 2는 음악 연주 교습을 위한 컴퓨터 기반 시스템은 입력장치로 생성된 학생의 테스트 데이터를 프로세서 장치 내 참조 데이터를 기반으로 분석하고, 적절한 응답을 학생에게 제공함으로써 악기 연주법을 배울 수 있도록 도울 수 있다. 다만, 관련문헌 1 내지 2는 연주자의 학습에 초점이 맞춰져 있어, 연주자가 연습하고자 하는 곡의 악보 상에서 실시간으로 연주되고 있는 위치를 파악하거나 실제 연주에 도움이 될 수 있는 서비스를 제공하지 못하는 문제점이 있다.

대한민국 공개특허공보 제10-2016-0101355호 대한민국 공개특허공보 제10-2011-0127644호

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로 연주자의 현재 연주가 악보 상의 연주위치를 정확하게 추적할 수 있도록 디바이스로부터 연주 데이터를 획득하고, 연주 데이터를 포함하는 다수 개의 마디를 랜드마크 마디로 인식하고, 연주 데이터와 랜드마크 마디 내 임의의 마디의 중요정보를 추출하고, 중요정보를 비교하여 유사도를 산출하고, 유사도에 따라 음계를 디스플레이 상에서 활성화 하는 악기 연주 추적 시스템 및 방법을 얻고자 하는 것을 목적으로 한다.

또한, 본 발명의 목적은 연주자가 악기를 연주하는 동안에 악보를 넘겨야 하는 문제를 해소하고 연주자의 편의성이 향상되도록 상기 랜드마크 마디 상에서 상기 활성화부로부터 활성화된 음계의 위치에 따라 상기 디스플레이 상에서 표시되는 악보를 전환하는 악기 연주 추적 시스템 및 방법을 제공하는 것이다.

본 발명이 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 본 발명의 기재로부터 당해 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있다.

상기 목적을 달성하기 위하여, 본 발명의 악기 연주 추적 시스템은 연주자가 악기로 연주하고자 하는 곡의 악보를 디스플레이 상에 표시하고, 연주자의 상기 악기 연주에 대한 연주 데이터를 생성하는 디바이스; 및 상기 연주 데이터에 기초하여 상기 악보 상에서의 연주위치를 추적하는 적어도 하나의 프로세서를 포함하고, 악기 연주 플랫폼을 지원하는 모바일 어플리케이션을 운용하는 어플리케이션 서버;를 제공한다.

본 발명의 상기 적어도 하나의 프로세서는, 상기 디스플레이 상에 표시된 상기 악보 중에서 상기 연주 데이터를 포함하는 다수 개의 마디를 랜드마크 마디로 인식하는 랜드마크 마디 인식부; 상기 연주 데이터와 랜드마크 마디 내 임의의 마디에 대한 음의 빈도와 길이를 포함하는 중요정보를 추출하는 중요정보 추출부; 상기 연주 데이터의 중요정보와 상기 랜드마크 마디 내 임의의 마디의 중요정보를 대상으로 유사도를 산출하는 유사도 산출부; 및 상기 연주위치를 시각적으로 확인하기 용이하도록 상기 유사도에 따라 상기 임의의 마디를 상기 디스플레이 상에서 활성화 하는 활성화부;를 제공하는 것을 특징으로 한다.

상기 목적을 달성하기 위하여, 본 발명의 악기 연주 추적 방법은 랜드마크 마디 인식부에 의하여, 디바이스의 디스플레이 상에 표시된 악보 중에서 상기 디바이스로부터 생성된 연주 데이터를 포함하는 다수 개의 마디가 랜드마크 마디로 인식되는 랜드마크 마디 인식단계; 중요정보 추출부에 의하여, 상기 연주 데이터와 랜드마크 마디 내 임의의 마디에 대한 음의 빈도와 길이를 포함하는 중요정보가 추출되는 중요정보 추출단계; 유사도 산출부에 의하여, 상기 연주 데이터의 중요정보와 상기 랜드마크 마디가 대상이 되어 유사도가 산출되는 유사도 산출단계; 및 활성화부에 의하여, 연주위치를 시각적으로 확인하기 용이하도록 상기 유사도에 따라 상기 임의의 마디가 상기 디스플레이상에서 활성화 되는 활성화 단계;를 제공한다.

이상과 같이 본 발명에 의하면, 디바이스로부터 연주 데이터를 획득하고, 연주 데이터를 포함하는 다수 개의 마디를 랜드마크 마디로 인식하고, 연주 데이터와 랜드마크 마디 내 임의의 마디의 중요정보를 추출하고, 중요정보를 비교하여 유사도를 산출하고, 유사도에 따라 음계를 디스플레이 상에서 활성화함으로써, 연주자의 현재 연주가 악보 상의 연주위치를 정확하게 추적할 수 있는 효과가 있다.

또한, 본 발명은 상기 랜드마크 마디 상에서 상기 활성화부로부터 활성화된 음계의 위치에 따라 상기 디스플레이 상에서 표시되는 악보를 전환함으로써, 연주자가 악기를 연주하는 동안에 악보를 넘겨야 하는 문제를 해소하고 연주자의 편의성이 향상되는 효과가 있다.

또한, 본 발명은 일반적으로 연주자가 악보를 인식하는 기본 단위인 마디에 대하여 유사도 계산을 수행하고 마디단위로 활성화함으로써, 종래와 같이 현재 연주위치가 음 단위(note-wise)만으로 활성화되지 않고 마디 단위(measure-wise)로 활성화될 수 있고, 이에 따라 디스플레이상에 음 단위로 활성화되는 것에 비해 화면 변화가 상당히 적어 연주자에게 혼란을 주지 않으면서 현재 연주위치가 직관적으로 정확하게 인식될 수 있도록 하는 효과가 있다. 더불어, 디스플레이상에 음 단위로 활성화되는 것에 비해 마디 단위로 활성화되는 속도가 조금 더 빠르거나 느리게 움직이더라도 연주자에게 큰 혼란을 주지 않는 효과가 있다.

또한, 종래기술은 연주자가 악보의 가장 처음부터 연주를 해야만 연주자의 현재 연주위치를 인식할 수 있었던데 반해, 본 발명은 디스플레이 상에 표시된 악보 내 모든 마디의 유사도를 산출함으로써, 연주자가 악보의 가장 처음부터 또는 연주하고자 하는 마디에서 2-3마디 이전의 마디부터 미리 연주할 필요 없이 디스플레이상에 표시된 악보 내 어떤 마디를 연주해도 현재 연주위치를 추적할 수 있고, 이에 따라 연주자의 연주 편의성이 향상되는 효과가 있다.

본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 상세한 설명 및 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.

도 1은 본 발명의 악기 연주 추적 시스템 구성도이다.
도 2는 본 발명의 일실시예에 따라 랜드마크 마디와 활성화된 음계와 마디를 표시한 도면이다.
도 3은 본 발명의 일실시예에 따른 시퀀스 매칭(Sequence Matching)을 표시한 도면이다.
도 4는 본 발명의 일실시예에 따른 두 시퀀스 간의 유클라디안 거리 연산법(a)과 동적 시간 변환(DTW) 기법(b)을 표시한 도면이다.
도 5는 본 발명의 일실시예에 따른 연주 데이터에 대한 중요정보(a)와 랜드마크 마디 내 임의의 마디에 대한 중요정보(b)를 통해서 산출된 유사도를 표시한 도면이다.
도 6은 본 발명의 일실시예에 따라 디스플레이 상에서 악보가 전환되기 전(a)과 전환된 후(b)를 표시한 도면이다.
도 7은 본 발명의 일실시예에 따라 시간에 대한 활성화된 마디를 표시한 도면이다.
도 8은 본 발명의 악기 연주 추적 방법 흐름도이다.

본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.

다르게 정의되지 않는 한 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

악기 연주 추적 시스템

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 1은 본 발명의 악기 연주 추적 시스템 구성도이다. 도 2는 본 발명의 일실시예에 따라 랜드마크 마디와 활성화된 음계와 마디를 표시한 도면이다. 도 3은 본 발명의 일실시예에 따른 시퀀스 매칭(Sequence Matching)을 표시한 도면이다. 도 4는 본 발명의 일실시예에 따른 두 시퀀스 간의 유클라디안 거리 연산법(a)과 동적 시간 변환(DTW) 기법(b)을 표시한 도면이다. 도 5는 본 발명의 일실시예에 따른 연주 데이터에 대한 중요정보(a)와 랜드마크 마디 내 임의의 마디에 대한 중요정보(b)를 통해서 산출된 유사도를 표시한 도면이다. 도 6은 본 발명의 일실시예에 따라 디스플레이(110) 상에서 악보가 전환되기 전(a)과 전환된 후(b)를 표시한 도면이다. 도 7은 본 발명의 일실시예에 따라 시간에 대한 활성화된 마디를 표시한 도면이다.

우선 도 1을 보면, 본 발명의 악기 연주 추적 시스템은 연주자가 악기로 연주하고자 하는 곡의 악보를 디스플레이(110) 상에 표시하고, 연주자의 상기 악기 연주에 대한 연주 데이터를 생성하는 디바이스(100) 및 상기 연주 데이터에 기초하여 상기 악보 상에서의 연주위치를 추적하는 적어도 하나의 프로세서(210)를 포함하고, 악기 연주 플랫폼을 지원하는 모바일 어플리케이션을 운용하는 어플리케이션 서버(200)를 포함한다.

다시 말하면, 상기 디바이스(100)는 임베디드 운영 체제가 내장되어 인터넷 네트워크상에서 상기 모바일 어플리케이션의 설치가 가능하고, 상기 어플리케이션 서버(200)와 악기 중 적어도 하나와 유무선 통신이 가능하고, 연주자의 입력을 터치 및 입력부를 통해서 입력받을 수 있고, 연주자가 연주하고자 하는 곡의 악보가 충분히 표시되기 용이하게 소정의 크기를 갖는 디스플레이(110)를 포함할 수 있다. 예컨대, 스마트폰, 태블릿PC, 개인 데스크톱, 노트북, 터치패드 등일 수 있다.

여기서, 상기 악기는 그랜드 피아노, 어쿠스틱 기타 등 어떠한 전자장치도 없이 연주자의 운지법에 따라서 아날로그 형식의 소리를 내는 악기일 수 있다. 그러면 상기 디바이스(100)는 구비된 마이크(120)를 통해서 소리를 입력받은 후 주파수 대역 변환 기술이나 자동 채보 기술을 통해 디지털화 하여 상기 연주 데이터를 생성할 수 있다. 여기서, 자동 채보 기술은 아날로그 형식의 소리를 음계와 음 길이 등을 시간 순으로 바(bar) 형식으로 나열하는 것을 말한다.

또는, 상기 악기는 디지털 피아노, 일렉기타 등 연주자의 운지위치에 따라 기 저장된 디지털 음원을 출력하는 전자악기 및 피아노, 기타, 드럼 등의 형상을 하는 가상의 그래픽에서 연주자의 터치입력에 따라 기 저장된 디지털 음원을 출력하는 악기일 수 있다. 그러면 상기 디바이스(100)는 USB 단자를 통해서 해당 악기와 유선으로 연결되어 미디(MIDI) 신호를 입력받을 수 있고, 상기 미디(MIDI) 신호가 상기 연주 데이터일 수 있다. 또는 미디(MIDI) 신호가 일부 가공되어 상기 연주 데이터를 생성할 수 있다. 여기서, 상기 미디(MIDI) 신호는 디지털 악기와 컴퓨터, 디지털 악기와 디지털 악기끼리 주고받을 수 있는 규칙화된 신호 체계 표준이다.

상기 어플리케이션 서버(200)는 디바이스(100)에 설치된 모바일 어플리케이션과 통신을 수행하여 연주자가 제공받고자 하는 서비스와 관련된 데이터를 주고받을 수 있다. 예컨대, 상기 어플리케이션 서버(200)는 모바일 어플리케이션 내 서비스의 질을 향상시키기 위해서 데이터의 가공방식 및 UI/UX 사용자 인터페이스를 수정한다면, 이러한 데이터를 인터넷 네트워크상에서 임베디드 운영 체제에 직접 또는 간접적으로 접근하여 상기 모바일 어플리케이션에 수정된 내용이 연주자별 상기 디바이스(100)에 반영되도록 할 수 있다.

또한, 상기 어플리케이션 서버(200)는 상기 적어도 하나의 프로세서(210)에 따라서 상기 디바이스(100)로부터 생성되는 연주 데이터를 가공할 수 있고, 가공된 연주 데이터를 통해서 다양한 서비스를 제공할 수 있다. 보다 구체적으로, 상기 적어도 하나의 프로세서(210)는 랜드마크 마디 인식부(211), 중요정보 추출부(212), 유사도 산출부(213) 및 활성화부(214)를 포함한다.

우선, 상기 랜드마크 마디 인식부(211)는 상기 디스플레이(110) 상에 표시된 상기 악보 중에서 상기 연주 데이터를 포함하는 다수 개의 마디를 랜드마크 마디로 인식한다.

임의의 곡을 연주하기 위해서는 다수 페이지에 작성된 악보가 필요하다. 일반적으로, 악보는 음표, 음계, 연주방식을 표시한 보조표시 등 악보 작성법에 따라 작성된 것으로, 한 페이지에 프린트될 수 있는 악보의 양은 한정되어 있다. 이와 동일하게 상기 디스플레이(110)의 크기와 악보 작성법에 따라서, 상기 디스플레이(110)는 전체 악보 중 부분 악보만을 표시할 수 있다. 예컨대, 상기 디스플레이(110)는 표시되는 악보의 비율을 연주자별로 적절하게 조절하더라도 악보의 2줄 내지 4줄 정도만 표시할 수 있다.

다시 말하면, 상기 랜드마크 마디는 도 2와 같이 다수 개의 마디를 포함하는 줄을 여러 개 포함할 수 있다. 여기서, 마디는 악보 상에서 세로줄과 세로줄 사이를 의미하고, 곡의 가장 작은 단위이다.

이때, 상기 랜드마크 마디 인식부(211)는 상기 연주 데이터가 상기 디스플레이(110) 상에 표시된 상기 악보 내에 있다고 판단하는 것이 가장 바람직하다. 도 2의 본 발명의 일실시예에 따르면 상기 랜드마크 마디 인식부(211)는 상기 디스플레이(110)의 최상단에 표시된 악보부터 3줄까지 상기 랜드마크 마디로 인식할 수 있다. 상기 랜드마크 마디는 도 2에서 악보 상에 소정의 투명도를 갖는 초록색으로 표시되어 있다. 상기 연주 데이터가 상기 디스플레이(110) 상에 표시되어 있지 않다면, 상기 디바이스(100)는 연주자의 스크롤 및 터치 등의 방식의 입력을 통해서 상기 연주 데이터가 상기 디스플레이(110) 상에 표시되도록 할 수 있다.

이는, 전체 악보를 대상으로 현재 연주자가 연주하고 있는 연주위치를 추적하게 되면 데이터 처리 시간 및 용량이 상당히 많이 소비되게 된다. 본 발명은 연주자가 악기 연주를 위해서 악보를 필수적으로 응시해야하는 상황을 활용하여 연주자의 연주위치를 추적하는 대상을 전체 악보에서 상기 랜드마크 마디로 축소할 수 있고, 이에 따라 데이터 처리 시간 및 용량을 줄일 수 있는 현저한 효과가 있다.

다음으로, 상기 중요정보 추출부(212)는 상기 연주 데이터와 랜드마크 마디 내 임의의 마디에 대한 음의 빈도와 길이를 포함하는 중요정보를 추출한다.

상기 중요정보 추출부(212)는 상기 연주 데이터의 중요정보와 상기 임의의 마디에 대한 중요정보를 각각 추출할 수 있고, 중요정보를 추출하는 방식은 동일하다. 가장 바람직하게, 상기 중요정보 추출부(212)는 상기 연주 데이터와 상기 랜드마크 마디 내 임의의 마디를 각각 시간에 대한 음의 높낮이로 표시된 시퀀스(Sequence)로 변환할 수 있다. 그리고 상기 중요정보 추출부(212)는 상기 시간에 대한 음의 높낮이로 표시된 시퀀스(Sequence)에서 음의 빈도, 음 길이, 음계 등을 상기 중요정보로 추출할 수 있다.

다음으로, 상기 유사도 산출부(213)는 상기 연주 데이터의 중요정보와 상기 랜드마크 마디 내 임의의 마디의 중요정보를 대상으로 유사도를 산출한다. 가장 바람직하게, 상기 유사도 산출부(213)는 서브시퀀스 매칭(Subsequence matching)과 동적 시간 변환(Dynamic Time Warping; DTW)을 수행함으로써, 상기 유사도를 산출할 수 있다.

우선, 상기 유사도 산출부(213)는 서브시퀀스 매칭(Subsequence matching) 기법을 이용하여 중요정보를 비교함으로써, 상기 랜드마크 마디 내에서 상기 연주 데이터가 해당하는 부분을 유추할 수 있다.

도 3의 (a)를 보면, 상기 서브시퀀스 매칭(Subsequence matching) 기법은 두 시퀀스(Sequence)에서 임의의 하나의 시퀀스가 또 다른 시퀀스에서 해당되는 부분을 찾는데 용이한 알고리즘이다. 상기 유사도 산출부(213)는 시간복잡도가 적어 아주 빠른 속도로 서브시퀀스 매칭(Subsequence matching)을 수행하는 SPRING 알고리즘을 이용하는 것이 가장 바람직하다.

보다 구체적으로 도 3의 (b)를 보면, 시퀀스 X가 상기 연주 데이터의 중요정보를 포함하고, 시퀀스 Y가 상기 임의의 마디의 중요정보를 포함할 수 있다. 이때, 상기 연주 데이터의 중요정보를 포함하는 시퀀스 X와 상기 임의의 마디의 중요정보를 포함하는 시퀀스 Y는 각각 시작지점과 종료지점이 파악된 상태이다. 그리고 상기 유사도 산출부(213)는 상기 서브시퀀스 매칭(Subsequence matching) 기법을 이용하여 비교함으로써, 상기 연주 데이터의 중요정보가 상기 임의의 마디의 중요정보에서 동일한 부분이 있는지에 대한 동일부분 존재여부와 동일부분 존재위치를 확인하거나, 완전히 일치하지 않더라도 유사한 부분이 있는지에 대한 유사부분 존재여부와 유사부분 존재위치를 확인할 수 있다. 결과적으로, 시퀀스 Y에서 시퀀스 X와 동일하거나 유사한 부분을 서브시퀀스 Y’라고 지칭할 수 있다.

다음으로, 상기 유사도 산출부(213)는 상기 서브시퀀스 매칭(Subsequence matching) 기법으로부터 도출된 상기 시퀀스 X와 서브시퀀스 Y’ 각각의 중요정보에서 음의 빈도를 나타낸 히스토그램 간의 유클라디안 거리(Euclidean Distance)를 연산함으로써, 음의 빈도에 대한 유사도를 산출할 수 있다.

예컨대, 상기 서브시퀀스 매칭(Subsequence matching) 기법이 이용되어 도출된 시퀀스 X의 음의 빈도에 대한 히스토그램 값은 [0.1, 0.2, 0.3, 0.2, 0.2]이고, 서브시퀀스 Y’의 음의 빈도에 대한 히스토그램 값은 [0.6, 0.1, 0.1, 0.1, 0.1] 이라면, 상기 유사도 산출부(213)는 유클라디안 거리(Euclidean Distance) 연산법에 따라 (0.6-0.1)²+(0.1-0.2)²+(0.1-0.3)²+(0.1-0.2)²+(0.1-0.2)²로 연산한 후 루트한 값인 0.57을 음의 빈도에 대한 유사도로 도출할 수 있다. 이때, 유클라디안 거리가 0이면 시퀀스 X와 서브시퀀스 Y’ 간 음의 빈도가 동일한 것으로 판단될 수 있고, 0에 가까울수록 시퀀스 X와 서브시퀀스 Y’ 간 음의 빈도에 대한 유사도가 높은 것으로 판단될 수 있다.

다만 도 4의 (a)를 보면, 유클라디안 거리(Euclidean Distance) 연산법은 시간대별로 단순히 비교하게 됨으로, 완전히 일치하게 연주한 것에 대해서 높은 유사도를 산출할 수 있으나 연주자의 구조적 연주실수, 즉흥연주 등에 대해서는 낮은 유사도를 산출하게 되는 기술적 한계가 있다. 본 발명은 유클라디안 거리(Euclidean Distance) 연산법의 상술한 기술적 한계를 극복하고, 연주자의 구조적 연주실수, 즉흥연주에도 유연하게 대응하여 악보에서 해당하는 부분이 정상적으로 활성화될 수 있도록 하고자 한다.

다음으로, 상기 유사도 산출부(213)는 동적 시간 변환(DTW) 기법을 이용하여 상기 서브시퀀스 매칭(Subsequence matching) 기법으로부터 도출된 상기 시퀀스 X와 서브시퀀스 Y’ 간 음 길이에 대한 유사도를 산출할 수 있다.

도 4의 (b)를 보면, 상기 동적 시간 변환(DTW) 기법은 두 시퀀스를 단순 비교하는 것이 아니라 시퀀스의 일부분을 임의적으로 늘이거나 줄이는 시간 변환(Time-Warping)을 통해 두 시퀀스가 최대한 유사하게 보이도록 하는 최적의 경로(Optimal path)를 찾을 수 있다. 이때, 동적 시간 변환(DTW) 기법은 두 시퀀스의 길이가 길면 길수록 최적의 경로를 찾기 위해 Cost-Matrix 상의 모든 연산을 수행해야 함으로 연산 속도가 느려지게 되는데, 상기 유사도 산출부(213)는 시퀀스 X와 시퀀스 Y’ 가 해당하는 Cost-Matrix 상의 연산만을 수행하여 최적의 경로(Optimal path)를 찾으면 됨으로 연산량이 적어 높은 연산 속도로 음의 길이에 대한 유사도를 산출할 수 있다.

따라서 도 5의 일실시예를 보면, 상기 유사도 산출부(213)는 유클라디안 거리(Euclidean distance) 측정법을 통해서 음의 빈도에 대한 유사도를 0.09로 산출할 수 있고, 동적 시간 변환(DTW)을 통해서 음의 길이에 대한 유사도를 0.05로 산출할 수 있다. 그리고 상기 유사도 산출부(213)는 산출된 두 유사도를 합산한 0.14를 최종 유사도로 도출할 수 있다. 이때, 유사도 값이 적을수록 유사한 것으로 판단될 수 있다.

따라서 종래기술은 연주자가 악보의 가장 처음부터 연주를 해야만 연주자의 현재 연주위치를 인식할 수 있었던데 반해, 본 발명은 디스플레이(110) 상에 표시된 악보 내 모든 마디 즉, 상기 랜드마크 마디의 유사도를 모두 산출함으로써, 연주자가 악보의 가장 처음부터 또는 연주하고자 하는 마디에서 2-3마디 이전의 마디부터 미리 연주할 필요 없이 디스플레이(110)상에 표시된 악보 내 어떤 마디를 연주해도 현재 연주위치를 추적할 수 있고, 이에 따라 연주자의 연주 편의성이 향상되는 현저한 효과가 있다.

다음으로, 상기 활성화부(214)는 상기 연주위치를 시각적으로 확인하기 용이하도록 상기 유사도에 따라 상기 임의의 마디를 상기 디스플레이(110) 상에서 활성화 한다.

가장 바람직하게, 상기 활성화부(214)는 기 학습된 SVM(Support Vector Machine) 모델로부터 획득한 유사도 기준수치와 상기 최종 유사도를 비교하고, 상기 최종 유사도가 상기 기준수치 이하이면 상기 연주 데이터가 랜드마크 마디 내 임의의 마디인 것으로 판단할 수 있다.

한편, 상기 SVM 모델은 불특정 다수로부터 임의의 마디가 연주되었다고 판단되는 Positive 데이터와 연주되지 않았다고 판단되는 Negative 데이터로 학습될 수 있다.

예컨대, 상기 SVM 모델로부터 획득한 상기 기준수치가 0.33이고 상기 최종 유사도가 0.14라면, 상기 활성화부(214)는 상기 최종 유사도인 0.14가 상기 기준수치보다 적으므로 상기 연주 데이터인 시퀀스 X는 상기 랜드마크 마디 내 임의의 마디인 시퀀스 Y’와 유사하다고 판단할 수 있고, 연주자는 상기 랜드마크 마디 내 임의의 마디를 연주했다고 판단할 수 있다. 그리고 상기 활성화부(214)는 해당 마디와 해당 마디에 포함된 음계 중 적어도 하나를 상기 디스플레이(110) 상에서 활성화할 수 있다.

반대로, 상기 SVM 모델로부터 획득한 상기 기준수치가 0.33이고 상기 최종 유사도가 0.36이라면 상기 활성화부(214)는 상기 최종 유사도인 0.36이 상기 기준수치 0.33 보다 큼으로 상기 연주 데이터인 시퀀스 X는 상기 랜드마크 마디 내 임의의 마디인 시퀀스 Y’와 유사하지 않을 것으로 판단할 수 있고, 해당 음계 또는 마디를 상기 디스플레이(110) 상에서 활성화하지 않을 수 있다.

다시 도 2를 보면, 상기 랜드마크 마디에서 상기 활성화부(214)를 통해서 활성화된 음계와 마디가 진한 초록색으로 표시되어 있는 것을 확인할 수 있다. 따라서 본 발명은 일반적으로 연주자가 악보를 인식하는 기본 단위인 마디에 대하여 유사도 계산을 수행하고 마디단위로 활성화함으로써, 종래와 같이 현재 연주위치가 음 단위(note-wise)만으로 활성화되지 않고 마디 단위(measure-wise)로 활성화될 수 있고, 이에 따라 디스플레이(110)상에 음 단위만으로 활성화되는 것에 비해 화면 변화가 상당히 적어 연주자에게 혼란을 주지 않으면서 현재 연주위치가 직관적으로 정확하게 인식될 수 있도록 하는 효과가 있다. 더불어, 디스플레이(110)상에 음 단위로 활성화되는 것에 비해 마디 단위로 활성화되는 속도가 조금 더 빠르거나 느리게 움직이더라도 연주자에게 큰 혼란을 주지 않는 효과가 있다.

또한, 연주자는 상기 디스플레이(110) 상에 표시된 악보 상에서 자신이 현재 연주하고 있는 연주위치를 시각적으로 확인할 수 있고 연주동안 어떠한 제스쳐도 취하지 않고 온전히 연주만으로도 자동 악보 전환이 가능하여 연주에 보다 집중할 수 있는 현저한 효과가 있다.

다음으로, 상기 어플리케이션 서버(200)는, 상기 활성화부(214)를 통해서 활성화된 상기 임의의 마디와 상기 임의의 마디에 포함된 음계 중 적어도 하나를 저장하는 데이터베이스(220)를 더 포함하고, 상기 유사도 산출부(213)는, 상기 활성화부(214)로부터 반복적으로 활성화되지 않도록 상기 데이터베이스(220)에 기 저장된 상기 임의의 마디와 상기 임의의 마디에 포함된 음계 중 적어도 하나를 유사도 산출대상에서 제외하는 것을 특징으로 한다.

다시 말하면, 상기 적어도 하나의 프로세서(210)는 연주자가 현재 연주하고 있는 음계와 마디들을 계속적으로 활성화하기 위해서 상술한 과정들을 반복할 수 있다. 반복되는 기간은 상기 적어도 하나의 프로세서(210)에 기 설정된 기간에 따라서 상이할 수 있다. 예컨대, 0.4초가 반복되는 시간으로 설정되어 있다면 상기 적어도 하나의 프로세서(210)는 0초, 0.4초 0.8초 ... 순으로 반복해서 상기 랜드마크 마디 인식부(211), 중요정보 추출부(212), 유사도 산출부(213) 및 활성화부(214) 중 적어도 하나를 동작시킬 수 있다.

예컨대, 0초 및 0.4초에 상기 활성화부(214)는 상기 랜드마크 마디에서 A음계 및 B음계를 각각 활성화할 수 있다. 그리고 0.8초에 상기 유사도 산출부(213)는 상기 데이터베이스(220)로부터 기 저장된 A음계 및 B음계를 확인한 후 유사도 산출대상에서 제외하고 유사도를 산출할 수 있다. 즉, 상기 유사도 산출부(213)는 A음계 및 B음계에 대한 중요정보를 상기 유사도 산출 시 제외할 수 있다. 만약, A음계 및 B음계가 모여 임의의 마디를 형성한다면, 상기 데이터베이스(220)는 마디 단위로 저장할 수 있다.

이에 따라, 연주자가 이미 연주하고 지나간 음계와 마디에 대해서 반복적으로 활성화되는 것을 방지할 수 있고 정확도를 향상시킬 수 있고, 상기 유사도 산출부(213)가 연산해야하는 대상을 줄일 수 있어 연산속도를 증가시키고 연산부하를 낮출 수 있는 현저한 효과가 있다.

다음으로, 본 발명의 상기 적어도 하나의 프로세서(210)는, 연주자의 편의성이 향상되도록 상기 랜드마크 마디 상에서 상기 활성화부(214)로부터 활성화된 마디의 위치에 따라 상기 디스플레이(110) 상에서 표시되는 악보를 전환하는 악보 전환부(215)를 더 포함할 수 있다.

상술한 바와 같이 상기 디스플레이(110) 상에서 표시되는 악보는 곡의 전체 악보 중에 일부이다. 본 발명의 일실시예에 따르면 상기 디스플레이(110) 상에서 상기 악보는 2줄 내지 4줄이 표시되므로 반드시 연주자가 연주하는 중에 악보를 넘겨야하는 상황이 발생하게 된다. 본 발명의 상기 악보 전환부(215)는 연주자가 연주하는 도중에 악보를 넘겨야하는 상황에서 자동적으로 악보가 전환되어 연주가 끊이지 않도록 하는 것을 목적으로 한다.

도 6을 보면서 일실시예를 설명해보면, 임의의 악보에 파란색과 초록색으로 랜드마크 마디가 표시되어 있다. 즉, 상기 랜드마크 마디 인식부(211)로부터 2줄의 상기 랜드마크 마디가 인식된 것이다. 그리고 파란색으로 표시된 랜드마크 마디는 연주자가 이미 연주하고 지나간 마디이고, 동시에 상기 활성화부(214)로부터 기 활성화된 마디이다. 이후에 상기 악보 전환부(215)는 상기 활성화부(214)로부터 활성화된 마디가 초록색으로 표시된 5개의 마디 중에 3번째 마디라면, 상기 파란색으로 표시된 랜드마크 마디가 이미 연주자에 의하여 연주된 것으로 판단하고 상기 디스플레이(110) 상에 표시되지 않도록 ‘위로 밀기’ 형식으로 전환할 수 있다. 그리고 다음 악보 줄이 상기 디스플레이(110) 상에 표시될 수 있다. 한편, 전환되는 형식은 ‘위로 밀기’ 뿐만 아니라, ‘옆으로 밀기’, ‘페이지 밀기’ 등 다양한 형식으로 전환될 수 있다. 그리고 악보 전환부(215)로부터 악보가 전환되고자 하는 마디의 위치는 악보 전환부(215)의 설정에 따라 상이할 수 있다. 즉, 특정한 전환 형식 및 마디의 위치에 한정되지 않는 것이 가장 바람직하다.

다음으로, 상기 활성화부(214)는, 상기 랜드마크 마디에서 다수 개의 마디를 동시에 활성화 한다면, 상기 랜드마크 마디 내에서 최우선하는 하나의 마디를 활성화 하는 것을 특징으로 한다. 또한, 이미 활성화된 마디는 상술한 바와 같이 데이터베이스(220)에 저장되어 상기 유사도 산출부(213)의 유사도 산출대상에서 제외되기 때문에, 반복적으로 활성화되는 마디 없이 순서대로 연주자의 연주를 추적하고 연주 맥락을 용이하게 파악할 수 있는 현저한 효과가 있다.

예컨대, 도 7을 보면 상기 디바이스(100)에서 상기 모바일 어플리케이션이 활성화 되고, 연주자가 연주하고자 하는 곡의 악보가 처음으로 상기 디스플레이(110) 상에 표시되었을 때, A마디, B마디, C마디, D마디 및 A’마디를 포함하는 상기 랜드마크 마디가 인식될 수 있다. 이때, A마디와 A’마디는 위치만 상이할 뿐 음계 및 음표가 모두 동일하거나 유사한 마디이다. 상기 활성화부(214)는 상기 연주 데이터에 따라서 A마디와 A’마디를 동시에 활성화할 수 있고, 이 중에서 상기 랜드마크 마디 상에서 최우선하는 A마디를 우선적으로 활성화할 수 있다.

가장 바람직하게, 상기 활성화부(214)는 연주자가 악보를 순서대로 읽고 연주하는 습성을 이용하여 상기 강화학습 기반으로 연주 맥락을 추론할 수 있다. 강화학습을 이용하면 딥러닝 기술 또는 동적 시간 변환(DTW) 기법 보다 내부 알고리즘을 조정하기 용이하고 보상함수를 통해 인과관계를 파악하기 용이하기 때문이다.

다시 말하면, 상기 활성화부(214)는 강화학습 모델 학습 시 마디 내에서 잘못된 운지로 음을 잘못 누르거나 음을 반복해서 연주하거나 음을 빼놓고 연주하는 등의 연주자의 실수와 일부 마디를 뛰어넘거나(Jump) 이미 연주한 마디로 돌아가서(Backward jump) 연주하거나 반복해서 연주(Repeat)하는 등의 연주로부터 입력된 연주 데이터를 통해서 활성화된 마디가 연주자가 의도한 연주위치에 가까울수록 높은 리워드를 줄 수 있다. 따라서 인과관계를 파악하여 연주 맥락을 용이하게 파악할 수 있는 현저한 효과가 있다. 그리고 상기 강화학습 모델은 유사도에 대하여 동작하기 때문에 여러 종류의 악기에 대해서 각각 학습할 필요 없이 한 번의 학습만으로 여러 종류의 악기 연주에 대한 연주 맥락을 파악할 수 있는 현저한 효과가 있다.

악기 연주 추적 방법

이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세히 설명하기로 한다. 도 8은 본 발명의 악기 연주 추적 방법 흐름도이다.

도 8을 보면, 본 발명의 악기 연주 추적 방법은 랜드마크 마디 인식단계(S100), 중요정보 추출단계(S200), 유사도 산출단계(S300) 및 활성화 단계(S400)를 포함한다.

보다 구체적으로, 상기 랜드마크 마디 인식단계(S100)는 랜드마크 마디 인식부(211)에 의하여, 디바이스(100)의 디스플레이(110) 상에 표시된 악보 중에서 상기 디바이스(100)로부터 생성된 연주 데이터를 포함하는 다수 개의 마디가 랜드마크 마디로 인식된다.

본 발명의 가장 바람직하게, 상기 디바이스(100)에 모바일 어플리케이션이 활성화된 상태로 연주자가 연주한 악기의 소리 또는 신호가 입력된 상태에서 진행되는 일련의 과정들이다.

악기는 그랜드 피아노, 어쿠스틱 기타 등 어떠한 전자장치도 없이 연주자의 운지법에 따라서 아날로그 형식의 소리를 내는 악기일 수 있다. 그러면 상기 디바이스(100)는 구비된 마이크(120)를 통해서 소리를 입력받은 후 주파수 대역 변환 기술이나 자동 채보 기술을 통해 디지털화 하여 상기 연주 데이터를 생성할 수 있다. 여기서, 자동 채보 기술은 아날로그 형식의 소리를 음계와 음 길이 등을 시간 순으로 바(bar) 형식으로 나열하는 것을 말한다. 즉, 상기 랜드마크 마디 인식단계(S100)는 상기 디바이스(100)에 입력된 악기의 소리로부터 생성된 상기 연주 데이터가 획득될 수 있다.

또는, 상기 악기는 디지털 피아노, 일렉기타 등 연주자의 운지위치에 따라 기 저장된 디지털 음원을 출력하는 전자악기 및 피아노, 기타, 드럼 등의 형상을 하는 가상의 그래픽에서 연주자의 터치입력에 따라 기 저장된 디지털 음원을 출력하는 악기일 수 있다. 그러면 상기 디바이스(100)는 USB 단자를 통해서 해당 악기와 유선으로 연결되어 미디(MIDI) 신호를 입력받을 수 있고, 상기 미디(MIDI) 신호가 상기 연주 데이터일 수 있다. 또는 미디(MIDI) 신호가 일부 가공되어 상기 연주 데이터를 생성할 수 있다. 여기서, 상기 미디(MIDI) 신호는 디지털 악기와 컴퓨터, 디지털 악기와 디지털 악기끼리 주고받을 수 있는 규칙화된 신호 체계 표준이다. 즉, 상기 랜드마크 마디 인식단계(S100)는 상기 디바이스(100)에 입력된 악기의 MIDI 신호 그 자체 또는 상기 디바이스(100)에 입력된 후 일부 가공된 MIDI 신호가 연주 데이터로 획득될 수 있다.

또한, 임의의 곡을 연주하기 위해서는 다수 페이지에 작성된 악보가 필요하다. 일반적으로, 악보는 음표, 음계, 연주방식을 표시한 보조표시 등 악보 작성법에 따라 작성된 것으로, 한 페이지에 프린트될 수 있는 악보의 양은 한정되어 있다. 이와 동일하게 상기 디스플레이(110)의 크기와 악보 작성법에 따라서, 상기 디스플레이(110)는 전체 악보 중 부분 악보만을 표시할 수 있다. 예컨대, 상기 디스플레이(110)는 표시되는 악보의 비율을 연주자별로 적절하게 조절하더라도 악보의 2줄 내지 4줄 정도만 표시할 수 있다.

이때, 상기 랜드마크 마디 인식단계(S100)는 상기 연주 데이터가 상기 디스플레이(110) 상에 표시된 상기 악보 내에 있다고 판단되는 것이 가장 바람직하다. 만약 상기 연주 데이터가 상기 디스플레이(110) 상에 표시되어 있지 않다면, 상기 디바이스(100)에 연주자의 스크롤 및 터치 등의 방식의 입력을 통해서 상기 연주 데이터가 상기 디스플레이(110) 상에 표시되는 것이 가장 바람직하다. 이는, 전체 악보가 대상이 되어 현재 연주자가 연주하고 있는 연주위치가 추적되면 데이터 처리 시간 및 용량이 상당히 많이 소비되게 된다. 본 발명은 연주자가 악기 연주를 위해서 악보를 필수적으로 응시해야하는 상황을 활용함으로써, 연주자의 연주위치가 추적되는 대상이 전체 악보에서 상기 랜드마크 마디로 축소될 수 있고, 이에 따라 데이터 처리 시간 및 용량이 줄어들 수 있는 현저한 효과가 있다.

또한, 상기 랜드마크 마디는 다수 개의 마디를 포함하는 줄을 여러 개 포함할 수 있다. 여기서, 마디는 악보 상에서 세로줄과 세로줄 사이를 의미하고, 곡의 가장 작은 단위이다. 즉, 상기 랜드마크 마디는 상기 연주 데이터를 기준으로 상기 연주 데이터를 포함하는 마디 및 연주 데이터를 포함하지 않는 마디가 악보 상 앞뒤로 연결된 다수 개의 마디를 포함하고, 다수 개의 마디가 모여 상기 디스플레이(110) 상에서 여러 개의 줄로 표시될 수 있다. 도 2의 일실시예에 따르면 상기 랜드마크 마디 인식단계(S100)는 상기 디스플레이(110)의 최상단에 표시된 악보부터 3줄까지 상기 랜드마크 마디로 인식될 수 있다. 상기 랜드마크 마디는 도 2에서 악보 상에 소정의 투명도를 갖는 초록색으로 표시되어 있다.

다음으로, 상기 중요정보 추출단계(S200)는 중요정보 추출부(212)에 의하여, 상기 연주 데이터와 랜드마크 마디 내 임의의 마디에 대한 음의 빈도와 길이를 포함하는 중요정보가 추출된다.

상기 중요정보 추출단계(S200)는 상기 연주 데이터의 중요정보와 상기 임의의 마디에 대한 중요정보가 각각 추출될 수 있고, 중요정보가 추출되는 방식은 동일하다. 가장 바람직하게, 상기 중요정보 추출단계(S200)는 상기 연주 데이터와 상기 랜드마크 마디 내 임의의 마디가 각각 시간에 대한 음의 높낮이로 표시된 시퀀스(Sequence)로 변환될 수 있다. 그리고 상기 중요정보 추출단계(S200)는 상기 시간에 대한 음의 높낮이로 표시된 시퀀스(Sequence)에서 음의 빈도, 음 길이, 음계 등이 상기 중요정보로 추출될 수 있다.

다음으로, 상기 유사도 산출단계(S300)는 유사도 산출부(213)에 의하여, 상기 연주 데이터의 중요정보와 상기 랜드마크 마디가 대상이 되어 유사도가 산출된다. 가장 바람직하게, 상기 유사도 산출단계(S300)는 서브시퀀스 매칭(Subsequence matching)과 동적 시간 변환(Dynamic Time Warping; DTW)이 수행됨으로써, 상기 유사도가 산출될 수 있다.

우선, 상기 유사도 산출단계(S300)는 서브시퀀스 매칭(Subsequence matching) 기법이 이용되어 중요정보가 비교됨으로써, 상기 랜드마크 마디 내에서 상기 연주 데이터가 해당하는 부분이 유추될 수 있다.

도 3의 (a)를 보면, 상기 서브시퀀스 매칭(Subsequence matching) 기법은 두 시퀀스(Sequence)에서 임의의 하나의 시퀀스가 또 다른 시퀀스에서 해당되는 부분을 찾는데 용이한 알고리즘이다. 상기 유사도 산출단계(S300)는 시간복잡도가 적어 아주 빠른 속도로 서브시퀀스 매칭(Subsequence matching)을 수행하는 SPRING 알고리즘이 이용되는 것이 가장 바람직하다.

보다 구체적으로 도 3의 (b)를 보면, 시퀀스 X가 상기 연주 데이터의 중요정보를 포함하고, 시퀀스 Y가 상기 임의의 마디의 중요정보를 포함할 수 있다. 이때, 상기 연주 데이터의 중요정보를 포함하는 시퀀스 X와 상기 임의의 마디의 중요정보를 포함하는 시퀀스 Y는 각각 시작지점과 종료지점이 파악된 상태이다. 그리고 상기 유사도 산출단계(S300)는 상기 서브시퀀스 매칭(Subsequence matching) 기법이 이용되어 비교됨으로써, 상기 연주 데이터의 중요정보가 상기 임의의 마디의 중요정보에서 동일한 부분이 있는지에 대한 동일부분 존재여부와 동일부분 존재위치가 확인되거나, 완전히 일치하지 않더라도 유사한 부분이 있는지에 대한 유사부분 존재여부와 유사부분 존재위치가 확인될 수 있다. 결과적으로, 시퀀스 Y에서 시퀀스 X와 동일하거나 유사한 부분을 서브시퀀스 Y’라고 지칭할 수 있다.

다음으로, 상기 유사도 산출단계(S300)는 상기 서브시퀀스 매칭(Subsequence matching) 기법으로부터 도출된 상기 시퀀스 X와 서브시퀀스 Y’ 각각의 중요정보에서 음의 빈도를 나타낸 히스토그램 간의 유클라디안 거리(Euclidean Distance)가 연산됨으로써, 음의 빈도에 대한 유사도가 산출될 수 있다.

예컨대, 상기 서브시퀀스 매칭(Subsequence matching) 기법이 이용되어 도출된 시퀀스 X의 음의 빈도에 대한 히스토그램 값은 [0.1, 0.2, 0.3, 0.2, 0.2]이고, 서브시퀀스 Y’의 음의 빈도에 대한 히스토그램 값은 [0.6, 0.1, 0.1, 0.1, 0.1] 이라면, 상기 유사도 산출단계(S300)는 유클라디안 거리(Euclidean Distance) 연산법에 따라 (0.6-0.1)²+(0.1-0.2)²+(0.1-0.3)²+(0.1-0.2)²+(0.1-0.2)²로 연산되 후 루트한 값인 0.57이 음의 빈도에 대한 유사도로 도출될 수 있다. 이때, 유클라디안 거리가 0이면 시퀀스 X와 서브시퀀스 Y’ 간 음의 빈도가 동일한 것으로 판단될 수 있고, 0에 가까울수록 시퀀스 X와 서브시퀀스 Y’ 간 음의 빈도에 대한 유사도가 높은 것으로 판단될 수 있다.

다만 도 4의 (a)를 보면, 유클라디안 거리(Euclidean Distance) 연산법은 시간대별로 단순히 비교하게 됨으로, 완전히 일치하게 연주한 것에 대해서 높은 유사도가 산출될 수 있으나 연주자의 구조적 연주실수, 즉흥연주 등에 대해서는 낮은 유사도가 산출되는 기술적 한계가 있다. 본 발명은 유클라디안 거리(Euclidean Distance) 연산법의 상술한 기술적 한계를 극복하고, 연주자의 구조적 연주실수, 즉흥연주에도 유연하게 대응하여 악보에서 해당하는 부분이 정상적으로 활성화될 수 있도록 하고자 한다.

다음으로, 상기 유사도 산출단계(S300)는 동적 시간 변환(DTW) 기법이 이용되어 상기 서브시퀀스 매칭(Subsequence matching) 기법으로부터 도출된 상기 시퀀스 X와 서브시퀀스 Y’ 간 음 길이에 대한 유사도가 산출될 수 있다.

도 4의 (b)를 보면, 상기 동적 시간 변환(DTW) 기법은 두 시퀀스를 단순 비교하는 것이 아니라 시퀀스의 일부분을 임의적으로 늘이거나 줄이는 시간 변환(Time-Warping)을 통해 두 시퀀스가 최대한 유사하게 보이도록 하는 최적의 경로(Optimal path)를 찾을 수 있다. 이때, 동적 시간 변환(DTW) 기법은 두 시퀀스의 길이가 길면 길수록 최적의 경로를 찾기 위해 Cost-Matrix 상의 모든 연산을 수행해야 함으로 연산 속도가 느려지게 되는데, 상기 유사도 산출단계(S300)는 시퀀스 X와 시퀀스 Y’ 가 해당하는 Cost-Matrix 상의 연산만을 수행하여 최적의 경로(Optimal path)를 찾으면 됨으로 연산량이 적어 높은 연산 속도로 음의 길이에 대한 유사도가 산출될 수 있다.

따라서 도 5의 일실시예를 보면, 상기 유사도 산출단계(S300)는 유클라디안 거리(Euclidean distance) 측정법을 통해서 음의 빈도에 대한 유사도가 0.09로 산출될 수 있고, 동적 시간 변환(DTW)을 통해서 음의 길이에 대한 유사도가 0.05로 산출될 수 있다. 그리고 상기 유사도 산출단계(S300)는 산출된 두 유사도를 합산한 0.14가 최종 유사도로 도출될 수 있다. 이때, 유사도 값이 적을수록 유사한 것으로 판단될 수 있다.

다음으로, 상기 활성화 단계(S400)는 활성화부(214)에 의하여, 연주위치를 시각적으로 확인하기 용이하도록 상기 유사도에 따라 상기 임의의 마디가 상기 디스플레이(110) 상에서 활성화 된다.

가장 바람직하게, 상기 활성화 단계(S400)는 기 학습된 SVM(Support Vector Machine) 모델로부터 획득한 유사도 기준수치와 상기 최종 유사도가 비교되고, 상기 최종 유사도가 상기 기준수치 이하이면 상기 연주 데이터가 랜드마크 마디 내 임의의 마디인 것으로 판단될 수 있다.

예컨대, 상기 SVM 모델로부터 획득한 상기 기준수치가 0.33이고 상기 최종 유사도가 0.14라면, 상기 활성화 단계(S400)는 상기 최종 유사도인 0.14가 상기 기준수치보다 적으므로 상기 연주 데이터인 시퀀스 X는 상기 랜드마크 마디 내 임의의 마디인 시퀀스 Y’와 유사하다고 판단될 수 있고, 연주자가 상기 랜드마크 마디 내 임의의 마디를 연주했다고 판단될 수 있다. 그리고 상기 활성화 단계(S400)는 해당 마디 또는 음계를 상기 디스플레이(110) 상에서 활성화될 수 있다.

반대로, 상기 SVM 모델로부터 획득한 상기 기준수치가 0.33이고 상기 최종 유사도가 0.36이라면 상기 활성화 단계(S400)는 상기 최종 유사도인 0.36이 상기 기준수치 0.33 보다 큼으로 상기 연주 데이터인 시퀀스 X는 상기 랜드마크 마디 내 임의의 마디인 시퀀스 Y’와 유사하지 않을 것으로 판단될 수 있고, 해당 음계 또는 마디가 상기 디스플레이(110) 상에서 활성화되지 않을 수 있다.

다시 도 2를 보면, 상기 랜드마크 마디에서 상기 활성화 단계(S400)를 통해서 활성화된 음계와 마디가 진한 초록색으로 표시되어 있는 것을 확인할 수 있다. 따라서 본 발명은 일반적으로 연주자가 악보를 인식하는 기본 단위인 마디에 대하여 유사도 계산을 수행하고 마디단위로 활성화함으로써, 종래와 같이 현재 연주위치가 음 단위(note-wise)만으로 활성화되지 않고 마디 단위(measure-wise)로 활성화될 수 있고, 이에 따라 디스플레이(110)상에 음 단위만으로 활성화되는 것에 비해 화면 변화가 상당히 적어 연주자에게 혼란을 주지 않으면서 현재 연주위치가 직관적으로 정확하게 인식될 수 있도록 하는 효과가 있다. 더불어, 디스플레이(110)상에 음 단위로 활성화되는 것에 비해 마디 단위로 활성화되는 속도가 조금 더 빠르거나 느리게 움직이더라도 연주자에게 큰 혼란을 주지 않는 효과가 있다.

한편, 본 발명의 악기 연주 추적 방법은 데이터베이스(220)에 의하여, 상기 활성화단계(S400)를 통해서 활성화된 상기 임의의 마디와 상기 임의의 마디에 포함된 음계 중 적어도 하나가 저장되는 저장단계(S500)를 더 포함할 수 있다. 그리고 상기 유사도 산출단계(S300)는 상기 활성화단계(S400)로부터 반복적으로 활성화되지 않도록 상기 저장단계(S500)로부터 저장된 상기 임의의 마디와 상기 임의의 마디에 포함된 음계 중 적어도 하나가 유사도 산출대상에서 제외되는 것을 특징으로 한다.

다시 말하면, 본 발명은 연주자가 현재 연주하고 있는 음계와 마디들이 계속적으로 활성화되기 위해서 상기 랜드마크 마디 인식단계(S100), 중요정보 추출단계(S200), 유사도 산출단계(S300) 및 활성화 단계(S400)들이 반복될 수 있다. 반복되는 기간은 적어도 하나의 프로세서(210)에 기 설정된 기간에 따라서 상이할 수 있다. 예컨대, 0.4초가 반복되는 시간으로 설정되어 있다면 최초의 단계인 상기 랜드마크 마디 인식단계(S100)가 필두가 되어 0초, 0.4초 0.8초... 순으로 모든 과정이 순차적으로 반복될 수 있고, 결과적으로 상기 활성화 단계(S400)로부터 활성화 되는 음계와 마디들이 다수 개 발생할 수 있다.

예컨대, 상기 활성화단계(S400)는 0초 및 0.4초에 상기 랜드마크 마디에서 A음계 및 B음계가 각각 활성화될 수 있다. 그리고 0.8초에 상기 유사도 산출단계(S300)는 상기 데이터베이스(220)로부터 기 저장된 A음계 및 B음계가 확인된 후 유사도 산출대상에서 제외되고, A음계 및 B음계가 제외된 유사도 산출대상에서 유사도가 산출될 수 있다. 즉, 상기 유사도 산출단계(S300)는 A음계 및 B음계에 대한 중요정보가 상기 유사도 산출 시 제외될 수 있다. 만약, A음계 및 B음계가 모여 임의의 마디가 형성된다면, 상기 저장단계(S500)는 마디 단위로 활성화된 다수 개의 음계가 저장될 수 있다.

이에 따라, 본 발명은 연주자가 이미 연주하고 지나간 음계와 마디에 대해서 반복적으로 활성화되는 것을 방지할 수 있고 정확도를 향상시킬 수 있고, 상기 유사도 산출단계(S300)로부터 연산되어야 하는 대상을 줄일 수 있어 연산속도를 증가시키고 연산부하를 낮출 수 있는 현저한 효과가 있다.

다음으로, 본 발명의 악기 연주 추적 방법은 악보 전환부(215)에 의하여, 연주자의 편의성이 향상되도록 상기 랜드마크 마디 상에서 상기 활성화단계(S400)로부터 활성화된 음계의 위치에 따라 상기 디스플레이(110) 상에서 표시되는 악보가 전환되는 악보 전환단계(S600)를 더 포함할 수 있다.

상술한 바와 같이 상기 디스플레이(110) 상에서 표시되는 악보는 곡의 전체 악보 중에 일부이다. 본 발명의 일실시예에 따르면 상기 디스플레이(110) 상에서 상기 악보는 2줄 내지 4줄이 표시되므로 반드시 연주자가 연주하는 중에 악보를 넘겨야하는 상황이 발생하게 된다. 본 발명의 악보 전환단계(S600)는 연주자가 연주하는 도중에 악보를 넘겨야하는 상황에서 자동적으로 악보가 전환되어 연주가 끊이지 않도록 하는 것을 목적으로 한다.

도 6을 보면, 임의의 악보에 파란색과 초록색으로 랜드마크 마디가 표시되어 있다. 즉, 상기 랜드마크 마디 인식단계(S100)로부터 2줄의 상기 랜드마크 마디가 인식된 것이다. 그리고 파란색으로 표시된 랜드마크 마디는 연주자가 이미 연주하고 지나간 마디이고, 동시에 상기 활성화단계(S400)로부터 활성화된 마디이다. 이때, 상기 악보 전환단계(S600)는 상기 활성화단계(S400)로부터 활성화된 마디가 초록색으로 표시된 5개의 마디 중에 3번째 마디라면, 상기 파란색으로 표시된 랜드마크 마디가 이미 연주자에 의하여 연주된 것으로 판단되어 상기 디스플레이(110) 상에 표시되지 않도록 ‘위로 밀기’ 형식으로 악보가 전환될 수 있다. 그리고 다음 악보 줄이 상기 디스플레이(110) 상에 표시될 수 있다. 한편, 상기 악보 전환단계(S600)는 전환되는 형식으로 ‘위로 밀기’ 뿐만 아니라, ‘옆으로 밀기’, ‘페이지 밀기’ 등 다양한 형식으로 악보를 전환시킬 수 있다. 그리고 상기 악보 전환단계(S600)로부터 악보를 전환시키고자 하는 음계의 위치는 상기 악보 전환부(215)의 설정에 따라 상이할 수 있다. 즉, 특정한 전환 형식 및 음계의 위치에 한정되지 않는 것이 가장 바람직하다.

다음으로, 상기 활성화단계(S400)는, 상기 랜드마크 마디에서 다수 개의 마디가 동시에 활성화 된다면, 상기 랜드마크 마디 내에서 최우선하는 하나의 마디가 활성화 되는 것을 특징으로 한다. 또한, 이미 활성화된 마디는 상술한 바와 같이 상기 저장단계(S500)로부터 상기 데이터베이스(220)에 저장되어 반복회귀되는 상기 유사도 산출단계(S300)의 유사도 산출대상에서 제외되기 때문에, 반복적으로 활성화되는 마디 없이 순서대로 연주자의 연주를 추적하고 연주 맥락을 용이하게 파악할 수 있는 현저한 효과가 있다.

예컨대, 도 7을 보면 상기 디바이스(100)에서 상기 모바일 어플리케이션이 활성화 되고, 연주자가 연주하고자 하는 곡의 악보가 처음으로 상기 디스플레이(110) 상에 표시되었을 때, A마디, B마디, C마디, D마디 및 A’마디를 포함하는 상기 랜드마크 마디가 인식될 수 있다. 이때, A마디와 A’마디는 위치만 상이할 뿐 음계 및 음표가 모두 동일하거나 유사한 마디이다. 이때, 상기 활성화단계(S400)는 상기 연주 데이터에 따라서 A마디와 A’마디가 동시에 활성화될 수 있고, 이 중에서 상기 랜드마크 마디 상에서 최우선하는 A마디가 우선적으로 활성화될 수 있다.

가장 바람직하게, 상기 활성화단계(S400)는 연주자가 악보를 순서대로 읽고 연주하는 습성이 이용되어 상기 강화학습 기반으로 연주 맥락이 추론될 수 있다. 강화학습이 이용되면 딥러닝 기술 또는 동적 시간 변환(DTW) 기법 보다 내부 알고리즘이 조정되기 용이하고 보상함수를 통해 인과관계가 파악되기 용이하기 때문이다.

다시 말하면, 상기 활성화단계(S400)는 강화학습 모델 학습 시 마디 내에서 잘못된 운지로 음을 잘못 누르거나 음을 반복해서 연주하거나 음을 빼놓고 연주하는 등의 연주자의 실수와 일부 마디를 뛰어넘거나(Jump) 이미 연주한 마디로 돌아가서(Backward jump) 연주하거나 반복해서 연주(Repeat)하는 등의 연주로부터 입력된 연주 데이터를 통해서 활성화된 마디가 연주자가 의도한 연주위치에 가까울수록 높은 리워드를 줄 수 있다. 따라서 인과관계를 파악하여 연주 맥락을 용이하게 파악할 수 있는 현저한 효과가 있다. 그리고 상기 강화학습 모델은 유사도에 대하여 동작하기 때문에 여러 종류의 악기에 대해서 각각 학습할 필요 없이 한 번의 학습만으로 여러 종류의 악기 연주에 대한 연주 맥락을 파악할 수 있는 현저한 효과가 있다.

종래 페달이나 카메라 등의 센서를 이용하여 연주자의 제스처를 통해 악보를 전환하는 기술도 있으나 피아노 등 페달이 따로 있는 악기 연주 시 적용하는데 기술적 한계가 있는 기술이고, 악기 연주 시 복잡한 연주 중에 악보 전환을 위해 타이밍에 주의를 기울여야함으로 악기 연주에 온전히 집중하지 못하는 불편함이 있다. 그리고 기 설정된 시간에 악보가 자동으로 전환이 되거나 특정 음을 정확이 연주했을 때 자동으로 전환되도록 하는 기술이 있으나, 이는 연주자의 실수나 즉흥연주에는 대응하지 못하여 실전성이 부족한 기술적 한계가 존재한다.

이상과 같이 본 발명에 의하면, 현재 연주와 악보 간의 유사도 산출을 통해서 현재 연주가 악보 상에서 위치하는 연주위치를 정확하게 추적하고 자동으로 악보를 전환할 수 있는 현저한 효과가 있다. 그리고 연주자의 연주 데이터와 임의의 마디 간의 유사도가 낮아 자동 넘김이 발생하지 않았더라도 마디의 활성화 여부에 따라서 어느 마디를 제대로 연주하지 못했는지 용이하게 파악할 수 있는 현저한 효과가 있다. 그리고 악보 전체를 대상으로 유사도를 산출하는 것이 아닌 랜드마크 마디 내에서 유사도를 산출함으로 불필요한 연산을 줄일 수 있고 실시간 연주에 빠르게 대응할 수 있다. 그리고 연주자의 연주 실수 또는 즉흥연주에도 불구하고 신속하고 강건성 있게 대응하여 악보 상에서 위치하는 연주위치를 정확하게 추적할 수 있는 현저한 효과가 있다.

실시예들은 하드웨어, 소프트웨어, 펌웨어, 미들웨어, 마이크로코드, 하드웨어 기술 언어, 또는 이들의 임의의 조합에 의해 구현될 수 있다. 소프트웨어, 펌웨어, 미들웨어 또는 마이크로코드로 구현되는 경우, 필요한 작업을 수행하는 프로그램 코드 또는 코드 세그먼트들은 컴퓨터 판독 가능 저장 매체에 저장되고 하나 이상의 프로세서에 의해 실행될 수 있다.

그리고 본 명세서에 설명된 주제의 양태들은 컴퓨터에 의해 실행되는 프로그램 모듈 또는 컴포넌트와 같은 컴퓨터 실행 가능 명령어들의 일반적인 맥락에서 설명될 수 있다. 일반적으로, 프로그램 모듈 또는 컴포넌트들은 특정 작업을 수행하거나 특정 데이터 형식을 구현하는 루틴, 프로그램, 객체, 데이터 구조를 포함한다. 본 명세서에 설명된 주제의 양태들은 통신 네트워크를 통해 링크되는 원격 처리 디바이스들에 의해 작업들이 수행되는 분산 컴퓨팅 환경들에서 실시될 수도 있다. 분산 컴퓨팅 환경에서, 프로그램 모듈들은 메모리 저장 디바이스들을 포함하는 로컬 및 원격 컴퓨터 저장 매체에 둘 다에 위치할 수 있다.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 으로 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

100.. 디바이스
110.. 디스플레이
120.. 마이크
200.. 어플리케이션 서버
210.. 적어도 하나의 프로세서
211.. 랜드마크 마디 인식부
212.. 중요정보 추출부
213.. 유사도 산출부
214.. 활성화부
215.. 악보 전환부
220.. 데이터베이스

Claims

연주자가 악기로 연주하고자 하는 곡의 악보를 디스플레이 상에 표시하고, 연주자의 상기 악기 연주에 대한 연주 데이터를 생성하는 디바이스; 및
상기 연주 데이터에 기초하여 상기 악보 상에서의 연주위치를 추적하는 적어도 하나의 프로세서를 포함하고, 악기 연주 플랫폼을 지원하는 모바일 어플리케이션을 운용하는 어플리케이션 서버;를 포함하고,
상기 적어도 하나의 프로세서는,
상기 디스플레이 상에 표시된 상기 악보 중에서 최상단에 표시된 악보 줄부터 미리 정해진 개수의 악보 줄 내의 다수 개의 마디를 랜드마크 마디로 인식하는 랜드마크 마디 인식부;
상기 연주 데이터와 랜드마크 마디 내 임의의 마디에 대한 음의 빈도와 길이를 포함하는 중요정보를 추출하는 중요정보 추출부;
상기 연주 데이터의 중요정보와 상기 랜드마크 마디 내 임의의 마디의 중요정보를 대상으로 유사도를 산출하는 유사도 산출부; 및
상기 연주위치를 시각적으로 확인하기 용이하도록 상기 유사도에 따라 상기 임의의 마디를 상기 디스플레이 상에서 활성화 하는 활성화부;를 포함하는 것을 특징으로 하는 악기 연주 추적 시스템.
제 1항에 있어서,
상기 어플리케이션 서버는,
상기 활성화부를 통해서 활성화된 상기 임의의 마디와 상기 임의의 마디에 포함된 음계 중 적어도 하나를 저장하는 데이터베이스;를 더 포함하고,
상기 유사도 산출부는,
상기 활성화부로부터 반복적으로 활성화되지 않도록 상기 데이터베이스에 기 저장된 상기 임의의 마디와 상기 임의의 마디에 포함된 음계 중 적어도 하나를 유사도 산출대상에서 제외하는 것을 특징으로 하는 악기 연주 추적 시스템.
제 1항에 있어서,
상기 적어도 하나의 프로세서는,
연주자의 편의성이 향상되도록 상기 랜드마크 마디 상에서 상기 활성화부로부터 활성화된 마디의 위치에 따라 상기 디스플레이 상에서 표시되는 악보를 전환하는 악보 전환부;를 더 포함하는 것을 특징으로 하는 악기 연주 추적 시스템.
제 1항에 있어서,
상기 활성화부는,
상기 랜드마크 마디에서 다수 개의 마디를 동시에 활성화 한다면, 상기 랜드마크 마디 내에서 최우선하는 하나의 마디를 활성화 하는 것을 특징으로 하는 악기 연주 추적 시스템.
랜드마크 마디 인식부에 의하여, 디바이스의 디스플레이 상에 표시된 악보 중에서 최상단에 표시된 악보 줄부터 미리 정해진 개수의 악보 줄 내의 다수 개의 마디가 랜드마크 마디로 인식되는 랜드마크 마디 인식단계;
중요정보 추출부에 의하여, 상기 디바이스로부터 생성된 연주 데이터와 랜드마크 마디 내 임의의 마디에 대한 음의 빈도와 길이를 포함하는 중요정보가 추출되는 중요정보 추출단계;
유사도 산출부에 의하여, 상기 연주 데이터의 중요정보와 상기 랜드마크 마디가 대상이 되어 유사도가 산출되는 유사도 산출단계; 및
활성화부에 의하여, 연주위치를 시각적으로 확인하기 용이하도록 상기 유사도에 따라 상기 임의의 마디가 상기 디스플레이상에서 활성화 되는 활성화 단계;를 포함하는 악기 연주 추적 방법.