KR102564330B1 - 사운드 인식 기반의 전자 악보 자동 넘김 장치 - Google Patents

Abstract

본 발명에 따른 사운드 인식 기반의 전자 악보 자동 넘김 장치는, 전자 악보를 출력하는 디스플레이 및 연주 음을 입력받는 마이크를 구비한 본체; 복수의 페이지와, 상기 페이지에 기록된 음표 및 쉼표를 포함하는 구성요소를 포함하는 전자 악보를 저장한 악보 DB와, 상기 연주 음의 음표를 파악하여 상기 전자 악보에서 현재 연주되고 있는 위치인 연주 위치를 추적하는 연주 위치 추적 모듈과, 상기 페이지에 대한 연주가 끝나기 전에 상기 전자 악보를 다음 페이지로 넘기기 위한 여분 시간인 딜레이 타임을 설정하는 딜레이 타임 설정 모듈과, 상기 연주 위치와 상기 페이지에서 연주되지 않은 잔여 음표의 수, 상기 딜레이 타임에 따라 상기 전자 악보를 다음 페이지로 넘김 처리하는 자동 넘김 모듈을 포함하는 컨트롤러;를 포함하는 것을 특징으로 한다.

Description

사운드 인식 기반의 전자 악보 자동 넘김 장치{Electronic score automatic turning device based on sound recognition}

본 발명은 사운드 인식 기반의 전자 악보 자동 넘김 장치에 관한 것으로서, 보다 상세히 설명하면 연주자가 전자 악보를 연주하는 연주 음을 기반으로 전자 악보 상에서 현재 연주 중인 위치를 추적하고, 전자 악보의 해당 페이지의 연주가 끝나기 전에 자동으로 페이지 넘김을 수행할 수 있도록 한, 신규하고 진보한 사운드 인식 기반의 전자 악보 자동 넘김 장치에 관한 것이다.

일반적으로, 종이악보의 경우 여러 악보책에서 발췌하여 연습하거나 연주할 때는 여러 권의 악보책을 가지고 다녀야 하므로 대단히 무겁고 불편하였으며, 연주 중에는 악보를 매번 넘기면서 연주를 진행해야 하므로 매우 불편하였다.

즉, 대부분의 악기가 두 손을 모두 사용해야 하는데 악보를 넘기기 위해 잠깐이라도 한 손을 사용하게 되면 곧 연주가 중단되는 것을 의미하므로 연주자 입장에서는 악보를 넘겨야 한다는 부담감 때문에 연주에 전념할 수 없다는 문제점이 있었다.

상기한 문제점을 해결하기 위해 컴퓨터, 노트북 등을 이용한 전자악보를 생각해 볼 수 있는 데, 최근에는 인터넷의 보급이 크게 확산되면서 출판물을 데이터의 형태로 인터넷을 통하여 보급하는 전자출판이 부각되고 있으며, 이러한 추세는 음악이나 악보에도 확산되는 추세이다.

이러한 전자악보를 보다 편하게 이용하기 위한 선행기술로서, 대한민국 공개특허공보 제 10-2000-0013438호에 ‘전자악보 시스템 및 그 제어방법’이 개시되어 있다.

상기 선행기술은 연주자가 데이터화된 악보를 손을 사용하지 않는 대신 발(페달)을 이용하여 악보를 넘기고 페이지를 검색하는 전자악보 시스템 및 그 제어방법을 개시하고 있다.

그러나 이러한 장치에서도 연주자는 여전히 신체의 일부를 사용하여 악보를 넘겨야 하므로 연주에 집중하기가 곤란하고 더구나, 연주를 위해 발을 사용하여야 하는 악기, 예를 들면, 피아노, 파이프올겐 등과 같은 건반악기의 경우나 마칭밴드(marching band) 연주 시에는 상기한 시스템을 사용할 수 없는 문제점이 있다.

따라서 상술한 바와 같은 문제점을 해결하기 위해, 신체적 조작 없이도 연주 음의 추적을 통해 자동으로 연주를 인식하여 전자 악보의 페이지를 넘길 수 있는, 신규하고 진보한 전자 악보 자동 넘김 장치를 개발할 필요성이 대두되는 실정이다.

한국 공개특허 제 10-2000-0013438호

본 발명은 연주 음을 입력받아 이를 인식하고, 그를 기반으로 연주 위치를 추적하여 악보의 해당 페이지가 끝나기 전에 자동으로 페이지 넘김을 수행하는 전자 악보 넘김 장치를 제공하는 것을 주요 목적으로 한다.

본 발명의 다른 목적은, 사용자의 간단한 제스처만으로 페이지 넘김을 수행할 수 있도록 하는 것이다.

본 발명의 또 다른 목적은, 사용자가 취하는 제스처 사이의 시간 간격을 기반으로 사용자에게 최적화된 페이지 넘김 타이밍을 설정하는 것이다.

상기 목적을 달성하기 위하여, 사운드 인식 기반의 전자 악보 자동 넘김 장치로서, 전자 악보를 출력하는 디스플레이 및 연주 음을 입력받는 마이크를 구비한 본체; 복수의 페이지와, 상기 페이지에 기록된 음표 및 쉼표를 포함하는 구성요소를 포함하는 전자 악보를 저장한 악보 DB와, 상기 연주 음의 음표를 파악하여 상기 전자 악보에서 현재 연주되고 있는 위치인 연주 위치를 추적하는 연주 위치 추적 모듈과, 상기 페이지에 대한 연주가 끝나기 전에 상기 전자 악보를 다음 페이지로 넘기기 위한 여분 시간인 딜레이 타임을 설정하는 딜레이 타임 설정 모듈과, 상기 연주 위치와 상기 페이지에서 연주되지 않은 잔여 음표의 수, 상기 딜레이 타임에 따라 상기 전자 악보를 다음 페이지로 넘김 처리하는 자동 넘김 모듈을 포함하는 컨트롤러;를 포함하는 것을 특징으로 한다.

나아가, 상기 본체는, 상기 디스플레이의 일 측에 구비된 카메라를 포함하며, 상기 컨트롤러는, 상기 카메라를 기반으로 연주자가 고개를 움직이는 제스처를 인식하는 제스처 인식 모듈을 포함하고, 상기 자동 넘김 모듈은, 상기 제스처가 인식됨에 따라 상기 전자 악보를 다음 페이지로 넘김 처리하는 제스처 기반 넘김부를 포함하는 것을 특징으로 한다.

더하여, 상기 딜레이 타임 설정 모듈은, 상기 전자 악보에 대한 연주 시작 시점부터 연주 종료 시점까지 인식된 상기 제스처 사이의 시간 간격을 파악하는 시간 간격 파악부와, 상기 시간 간격을 기반으로 상기 전자 악보의 페이지 별로 상기 딜레이 타임을 차등 설정하는 딜레이 타임 설정부를 포함하는 것을 특징으로 한다.

본 발명의 사운드 인식 기반의 전자 악보 자동 넘김 장치에 따르면,

1) 전자 악보를 보고 연주를 수행하는 연주자가 페이지를 넘기기 위해 별도의 마우스, 키보드, 터치 패널 등을 이용하지 않아도 연주되지 않은 음표의 수와 딜레이 타임을 기반으로 자동으로 페이지 넘김을 가능케 하여 보다 편리하게 악기 연주를 수행할 수 있고,

2) 연산된 연주 완료 예상 시간 및 설정된 딜레이 타임에 의해 페이지가 넘겨지는 속도보다 빠르게 페이지를 넘기고 싶은 경우, 특정 방향으로 고개를 움직이는 제스처를 취하여 전자 악보를 다음 페이지로 빠르게 넘길 수 있으며,

3) 제스처 인식 시간 간격을 기반으로 페이지마다 딜레이 타임을 차등 설정하여 연주에 긴 시간이 소요되는 페이지의 경우 딜레이 타임을 짧게 설정하여, 해당 페이지의 연주 완료 예상 시간과 가깝게 페이지가 넘어가게 함으로써 해당 페이지의 숙지 및 연주가 충분히 이루어질 수 있도록 한 효과가 있다.

도 1은 본 발명의 전자 악보 자동 넘김 장치를 도시한 개념도.
도 2는 본 발명의 전자 악보의 본체의 구성을 나타낸 블록도.
도 3은 본 발명의 컨트롤러의 구성을 도시한 블록도.
도 4는 본 발명의 전자 악보에 연주 위치를 표시한 개념도.
도 5는 본 발명의 전자 악보에 사용자 주시 위치를 표시한 개념도.
도 6은 제스처 사이의 시간 간격의 예시를 나타낸 개념도.

이하 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세하게 설명하도록 한다. 첨부된 도면은 축척에 의하여 도시되지 않았으며, 각 도면의 동일한 참조 번호는 동일한 구성 요소를 지칭한다.

도 1은 본 발명의 전자 악보 자동 넘김 장치를 도시한 개념도이며, 도 2는 본 발명의 전자 악보의 본체의 구성을 나타낸 블록도이다.

도 1, 2를 참조하여 설명하면, 본 발명의 전자 악보 자동 넘김 장치는 본체(100) 및 컨트롤러(200)를 포함하는 것을 특징으로 한다.

여기서 본체(100)는 디스플레이(110)를 포함하여 전자 악보를 출력할 수 있는 것으로, 바람직하게는 태블릿PC나 소형 넷북, PDA, 노트북과 유사한 무선이동단말기일 수 있으며, 본체(100)는 디지털 형태로 저장된 전자 악보를 출력할 수 있는 것이라면 제한을 두지 않는다.

나아가 본체(100)의 경우 일 측에 구비된 마이크(120)를 통해 연주자가 해당 전자 악보를 보고 악기를 연주한 연주 음을 입력받을 수 있으며, 이를 통해 전자 악보 자동 넘김이 가능할 뿐 아니라 연주 음에 대한 녹음 기능을 제공할 수 있다.

더하여 디스플레이(110)의 일 측에는 아이트래커(130)(eye-tracker)가 구비될 수 있어 아이트래커(130)를 매개로 하여 연주자가 주시하고 있는 눈동자 추적을 통해, 전자 악보 상에서 연주자가 바라보고 있는 위치를 파악하여 전자 악보의 페이지를 넘길 수 있으며, 이에 대해서 보다 상세한 설명은 후술하기로 한다.

또한 디스플레이(110)의 일 측에는 카메라(140)가 더 구비될 수 있어 카메라(140)를 매개로 연주자가 취하는 제스처의 촬영 및 인식이 가능하며, 후술하겠으나 이와 같은 제스처 인식을 통해 전자 악보의 페이지 넘김을 수행하는 것 역시 가능함은 물론이다.

나아가 이와 같은 본체(100)에 출력되는 전자 악보는 복수의 페이지를 포함하여 페이지 넘김이 필요한 것이며, 각각의 페이지에는 음표 및 쉼표를 포함하는 악보의 구성요소가 포함되어 있다. 더불어 바람직하게 악보의 구성요소는 음자리표, 조표, 박자표, 템포 기호, 셈여림 기호 등을 포함할 수 있어, 악보를 구성하는 오선지에 음자리표, 조표, 박자표, 음표, 쉼표, 템포 기호, 셈여림 기호 등이 표시된 것이라 할 수 있다.

컨트롤러(200)는 본체(100)를 통해 입력된 연주자의 연주 음을 파악하여 전자 악보 상에서 연주자가 현재 연주 중인 위치인 연주 위치를 추적하고, 특정 페이지에 대한 연주가 완료되기 전에 전자 악보를 다음 페이지로 넘김 처리하는 기능을 제공한다.

즉 본 발명의 전자 악보 자동 넘김 장치에 있어 전자 악보에 대한 자동 넘김 기능을 수행하는 것이 곧 컨트롤러(200)라 할 수 있으며, 이러한 컨트롤러(200)는 바람직하게 본체(100)의 일 측, 바람직하게는 본체(100)를 구성하는 하우징 내부에 탑재되는 것이라 할 수 있다.

나아가 컨트롤러(200)는 본체(100)에 대한 on/off 제어, 디스플레이(110)의 밝기 제어, 마이크(120)의 볼륨 제어 등을 수행하도록 본체(100)에 포함된 다양한 구성 요소 및 기능에 대한 제어 역할을 수행할 수 있는 제어부의 역할을 겸할 수도 있다.

이러한 컨트롤러(200)는 서버PC 및 네트워크 통신망 등을 함께 포함할 수 있는 것으로, 중앙처리장치(CPU) 및 메모리와 하드디스크와 같은 저장수단을 구비한 하드웨어 기반에서 중앙처리장치에서 수행될 수 있는 프로그램, 즉 소프트웨어가 설치되어 이 소프트웨어를 실행할 수 있는데 이러한 소프트웨어에 대한 일련의 구체적 구성을 '모듈' 및 '부', '파트' 등의 구성단위로써 후술할 예정이다.

이러한 '모듈' 또는 '부' 또는 '인터페이스' 또는 ‘파트’ 등 의 구성은 컨트롤러(200)의 저장수단에 설치 및 저장된 상태에서 CPU 및 메모리를 매개로 실행되는 소프트웨어 또는 FPGA 내지 ASIC과 같은 하드웨어의 일 구성을 의미한다.

이때, '모듈' 또는 '부', '인터페이스'라는 구성은 하드웨어에 한정되는 의미는 아니고, 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.

일 예로서 '모듈' 또는 '부' 또는 '인터페이스'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다.

이러한 '모듈' 또는 '부' 또는 '인터페이스'에서 제공되는 기능은 더 작은 수의 구성요소들 및 '부' 또는'모듈'들로 결합되거나 추가적인 구성요소들과 '부' 또는 '모듈'들로 더 분리될 수 있다.

더불어, 컨트롤러(200)는 적어도 하나의 프로세서를 포함하는 모든 종류의 하드웨어 장치를 의미하는 것이고, 실시예에 따라 해당 하드웨어 장치에서 동작하는 소프트웨어적 구성도 포괄하는 의미로서 이해될 수 있다.

이하, 이러한 구성을 기반으로 본 발명의 사운드 인식 기반의 전자 악보 자동 넘김 장치에 포함된 컨트롤러(200)의 구성을 보다 세부적으로 설명하면 다음과 같다.

도 3은 본 발명의 컨트롤러의 구성을 도시한 블록도이며, 도 4는 본 발명의 전자 악보에 연주 위치를 표시한 개념도이다.

도 3, 4를 참조하여 설명하면 본 발명의 컨트롤러(200)는 악보 DB(210), 연주 위치 추적 모듈(220), 딜레이 타임 설정 모듈(230), 자동 넘김 모듈(240)을 포함하는 것을 특징으로 한다.

악보 DB(210)는 전자 악보를 저장한 것으로, 상술한 바와 같이 음표, 쉼표, 음자리표, 조표, 박자표, 템포 기호, 셈여림 기호를 포함하는 악보의 구성요소를 포함한 전자 악보를 저장하는 것이다. 나아가 악보 DB(210)에 저장되는 전자 악보의 형식은 Finale, Niff, SMDL, MIDI, ScoreML 또는 MusicXML 등 종래의 다양한 전자 악보의 형식을 취할 수 있으며 어떠한 제한도 두지 않는다.

연주 위치 추적 모듈(220)은 본체(100)에 구비된 마이크(120)를 통해 입력된 연주 음의 음표를 파악하여 전자 악보에서 현재 연주되고 있는 위치인 연주 위치를 추적하는 기능을 수행한다.

연주 음의 음표가 파악되면 파악된 음표를 기반으로 멜로디(음의 높낮이의 변화가 리듬과 연결되어 하나의 음악적 통합으로 형성되는 음의 흐름)를 파악할 수 있는데, 이와 같이 멜로디가 파악되면 전자 악보 상에서 현재 어느 위치를 연주 중인지를 파악할 수 있는 것이다.

즉 파악된 멜로디는 이미 연주가 끝난 부분이며, 연주가 이루어져야 하는 위치가 곧 현재 연주되고 있는 위치인 연주 위치가 되는 것이다. 예를 들어‘도도솔솔라라솔’이 연주되어야 하는 전자 악보의 음표이며, 현재 ‘도도솔솔’까지 연주 음의 음표가 파악된 경우 현재의 연주 위치는 ‘라’가 된다.

여기서 보다 바람직하게는 상술한 전자 악보의 구성요소, 즉 음표, 쉼표, 음자리표, 조표, 박자표, 템포 기호, 셈여림 기호를 기반으로 연주 위치를 추적할 수 있어, 연주 음의 음표 및 멜로디를 파악하고, 이를 전자 악보의 구성요소와 비교 처리하여 보다 정확하게 현재 연주 위치를 추적하는 것이 가능하다.

딜레이 타임 설정 모듈(230)은 현재 연주자가 연주 중인 페이지에 대한 연주를 다 마치기 전에 전자 악보를 다음 페이지로 미리 넘기기 위한 여분 시간인 딜레이 타임을 설정하는 기능을 수행한다.

일반적으로 악기 연주를 수행할 때에는, 본인이 연주 중인 부분보다 뒷 부분의 악보를 미리 확인하며 연주를 수행해야만 연주 전에 미리 다음 악보를 파악할 수 있어, 끊김 없는 연주가 가능하다.

즉 전자 악보의 특정 페이지를 연주 중인 경우, 다음 페이지를 끊김없이 연주하기 위해서는 해당 페이지에 대한 연주를 다 마치기 전에 미리 페이지를 넘겨 다음 페이지에 적힌 악보 내용에 대한 숙지가 이루어져야 하는 것이다.

따라서 해당 페이지에 대한 연주가 완료되기 전에 미리 페이지를 넘기도록, 여분 시간인 딜레이 타임을 설정하여 미리 페이지를 넘기도록 하는 것이 가능하다. 여기서 딜레이 타임은 바람직하게 해당 페이지 연주 완료 10초 전, 20초 전, 30초 전과 같이 설정될 수 있으며, 연주자에 의해 딜레이 타임이 설정될 수 있다.

여기서 딜레이 타임이 상대적으로 길게 설정되는 경우, 연주 완료 예상 시점을 길게 남겨둔 상태에서 페이지가 넘어가므로 상대적으로 빠르게 페이지를 넘기게 되는 것이며, 딜레이 타임이 상대적으로 짧게 설정되는 경우, 연주 완료 예상 시점을 짧게 남겨둔 상태에서 페이지가 넘어가므로 상대적으로 느리게 페이지를 넘기게 되는 것이라 할 수 있다.

자동 넘김 모듈(240)은 기본적으로 자동 넘김부(241)를 포함하여, 현재 연주 위치와 페이지에서 연주되지 않은 잔여 음표의 수, 딜레이 타임에 따라 전자 악보를 다음 페이지로 넘김 처리하는 기능을 수행한다.

상술한 연주 위치 추적 모듈(220)을 통해 연주 음의 음표를 파악하여 연주된 멜로디를 파악하고 현재 연주 위치의 추적을 수행하면, 연재되지 않은 잔여 음표의 수가 파악되며, 동시에 연주 음의 음표 파악을 통해 연주자가 해당 악보를 연주 중인 빠르기(bpm, 템포)의 측정이 이루어지면 해당 전자 악보의 템포 대비 연주자의 템포를 비교 처리할 수 있어 해당 페이지의 연주 완료까지 몇 초가 남았는지를 파악할 수 있게 된다.

일 예로 해당 페이지를 연주하는데 약 90초가 걸리며 현재 해당 페이지의 연주 위치가 약 40초 소요 시점인 경우, 연주 완료 예상 시간은 50초 후로 산출될 수 있다.

따라서 상술한 연주 위치와 연주되지 않은 잔여 음표의 수를 기반으로 해당 페이지에 대한 연주 완료 예상 시간을 실시간으로 파악하고, 딜레이 타임과 연주 완료 예상 시간이 일치하는 시점에 전자 악보를 다음 페이지로 넘김 처리하는 것이다.

예를 들어 연주 완료 예상 시간이 50초 후로 산출되고 딜레이 타임이 해당 페이지 연주 완료 30초 전인 경우, 연주 완료 예상 시간 산출 시점부터 20초 후 (딜레이 타임에 도달하는 순간)에 전자 악보를 다음 페이지로 넘김 처리하는 것이다.

여기서 전자 악보의 다음 페이지 넘김 처리는 본체(100)에 구비된 디스플레이(110)에 전자 악보의 다음 페이지를 출력하는 방식으로 이루어질 수 있으며, 이는 가로 방향의 페이지 넘김(전자책의 페이지 넘김)과 같이 이루어질 수도 있고, 혹은 세로 방향 스크롤을 통한 페이지 넘김이 이루어질 수도 있다.

이와 같은 본 발명의 전자 악보 자동 넘김 장치에 따르면, 전자 악보를 보고 연주를 수행하는 연주자가 페이지를 넘기기 위해 별도의 마우스, 키보드, 터치 패널 등을 이용하지 않아도 연주되지 않은 음표의 수와 딜레이 타임을 기반으로 자동으로 페이지 넘김을 가능케 하여 보다 편리하게 악기 연주를 수행할 수 있다.

나아가 딜레이 타임의 경우 연주자의 성향에 맞게 설정될 수 있어, 연주자의 개인 성향에 맞는 악보 넘김 속도의 제어가 가능할 수 있어 보다 연주자에게 최적화된 악보 자동 넘김을 가능케 할 수 있다.

도 5는 본 발명의 전자 악보에 사용자 주시 위치를 표시한 개념도이다.

도 5를 참조하여 설명하면, 본 발명의 본체(100)는 디스플레이(110)의 일 측에 구비된 아이트래커(130)를 포함할 수 있다고 하였다. 여기서 아이트래커(130)는 디스플레이(110)의 일 측에 구비된 카메라(140) 또는 아이트래킹 센서를 통해 구현될 수 있는 것으로, 연주자의 안구의 움직임을 촬영하여 추적할 수 있는 것을 특징으로 한다.

보다 상세히 설명하면 아이트래커(130)는 디스플레이(110)의 일 측에 구비되어 연주자의 눈동자 영상을 촬영할 수 있으며, 이를 통해 눈동자의 움직임을 감지하여 위치를 추적할 수 있다.

이때 눈동자 움직임 감지 및 위치 추적의 일 예인 비디오 분석 방식에 대해 설명하면, 실시간으로 카메라(140) 이미지를 분석하여 연주자의 눈동자, 그중에서도 동곡의 움직임을 검출하고 각막에 반사된 고정 위치를 기준으로 시선의 방향을 계산할 수 있다.

나아가 이와 같이 아이트래커(130)가 구비되는 경우 아이트래커(130)를 통해 파악된 사용자 주시 위치를 기반으로 페이지 넘김을 수행하는 것이 가능한데, 이를 위해 컨트롤러(200)는 먼저 트래킹 모듈(250)을 포함할 수 있다.

트래킹 모듈(250)은 아이트래커(130)를 기반으로 전자 악보에서의 연주자의 눈동자의 위치 및, 눈동자의 위치와 대응되는 음표의 위치인 사용자 주시 위치를 파악하는 기능을 수행한다.

상술한 설명을 통해 아이트래커(130)를 기반으로 촬영된 눈동자 영상에서 외곽선 검출을 통해 사용자의 안구를 인식할수 있으며, 이를 통해 안구가 응시하는 좌표, 즉 전자 악보에서의 연주자의 눈동자의 위치를 파악할 수 있으며, 나아가 해당 눈동자의 위치와 대응되는 전자 악보에서의 음표의 위치인 사용자 주시 위치의 파악이 가능하다.

따라서 현재 사용자가 전자 악보의 특정 페이지에서 어떤 음표를 바라보고 있는지가 판단 가능한데, 이 경우 자동 넘김 모듈(240)에 포함될 수 있는 시선 기반 넘김부(242)는 사용자 주시 위치에 따라 전자 악보를 다음 페이지로 넘김 처리하는 기능을 제공할 수 있다.

시선 기반 넘김부(242)는 사용자 주시 위치를 기반으로 전자 악보를 다음 페이지로 넘김 처리하는 것으로, 만약에 사용자 주시 위치가 전자 악보 특정 페이지의 마지막 음표인 경우, 전자 악보를 다음 페이지로 넘김 처리하는 것이다.

악기 연주 시에는 본인이 연주하는 지점보다 앞선, 이후에 연주해야할 음표를 미리 바라보고 숙지하는 것이 일반적이므로, 연주자가 전자 악보의 특정 페이지의 마지막 음표를 이미 바라봤다는 것은 해당 페이지의 악보 내용 숙지를 완료했다는 의미가 된다.

따라서 사용자 주시 위치가 전자 악보의 특정 페이지 마지막 음표인 경우, 전자 악보를 다음 페이지로 넘김 처리하여 사용자가 다음 페이지의 악보를 숙지하도록 할 수 있다.

이에 따라 상술한 자동 넘김 모듈(240)의 기본 구성인 자동 넘김부(241)를 통한 넘김 처리 속도보다 연주자의 악보 숙지 속도가 빠른 경우, 시선 기반 넘김부(242)를 통해 연주자의 시선에 맞춰 악보 넘김이 가능하므로, 빠르게 악보를 파악하는 연주자의 속도에 맞춘 개별 페이지 넘김 역시 가능할 수 있다.

또 다른 예로서, 상술한 본체(100)는 디스플레이(110)의 일 측에 구비된 카메라(140)를 포함할 수 있는데, 이러한 카메라(140)는 연주자의 안면을 촬영할 수 있어 연주자의 안면을 촬영한 안면 영상을 촬영할 수 있다.

나아가 카메라(140)를 통해 안면 영상을 획득할 수 있는 경우, 컨트롤러(200)에 추가적으로 포함될 수 있는 제스처 인식 모듈(260)은 카메라(140)를 통해 촬영된 연주자의 안면 영상을 기반으로 연주자가 고개를 움직이는 제스처를 인식할 수 있다.

여기서 제스처(gesture)라 함은 연주자가 나타내는 특정한 몸짓을 의미하는 것으로, 본 발명에서의 제스처는 연주자가 고개를 특정 방향으로 움직이는 것을 의미한다. 여기서 특정 방향은 왼쪽 또는 오른쪽일 수 있는데, 여기서 어떤 방향의 제스처를 통해 페이지를 넘김 처리할 것인지는 연주자에 의해 설정받을 수 있다.

따라서 연주자가 설정한 방향으로의 고개의 움직임인 제스처를 인식하게 되는 것인데, 이는 연주자의 안면 영상에서 외곽선을 인식하여 안면의 외곽 형태를 파악하고, 인식된 안면 외곽 형태 내에서 눈, 코, 입의 형태를 파악한 다음, 해당 눈, 코, 입이 특정 방향으로 이동하는지를 파악함으로써 제스처 인식이 가능해진다.

나아가 이와 같은 제스처 인식 모듈(260)을 통해 연주자가 특정 방향으로 고개를 움직이는 제스처가 인식되는 경우, 자동 넘김 모듈(240)에 포함될 수 있는 제스처 기반 넘김부(243)는 제스처가 인식됨에 따라 전자 악보를 다음 페이지로 넘김 처리할 수 있다.

이 역시 연주자가 본 발명을 통해 연산된 연주 완료 예상 시간 및 설정된 딜레이 타임에 의해 페이지가 넘겨지는 속도보다 빠르게 페이지를 넘기고 싶은 경우, 특정 방향으로 고개를 움직이는 제스처를 취하여 전자 악보를 다음 페이지로 빠르게 넘길 수 있는 것이다.

도 6은 제스처 사이의 시간 간격의 예시를 나타낸 개념도이다.

도 6을 참조하여 설명하면, 상술한 제스처 인식 모듈(260)을 통해 인식된 제스처 사이의 시간 간격을 기반으로 딜레이 타임을 설정하는 것도 가능한데, 이를 위해 딜레이 타임 설정 모듈(230)은 시간 간격 파악부(231)와 딜레이 타임 설정부(232)를 포함할 수 있다.

시간 간격 파악부(231)는 특정한 전자 악보에 대한 연주 시작 시점부터 연주 종료 시점까지 인식된 모든 제스처 사이의 시간 간격을 파악하는 기능을 수행한다.

첫 번째 제스처의 시간 간격은 도 6에서 나타난 바와 같이 연주 시작 시점부터 첫 번째 제스처가 생성되기까지의 시간을 의미하고, 그 후로는 다음 제스처와 직전 제스처 사이의 시간이 된다.

따라서 각각의 제스처가 생성되기까지 얼마나 오랜 시간이 걸렸는지를 시간 간격으로서 파악하고, 이를 통해 해당 연주자가 일반적으로 특정 페이지의 연주가 이루어지기까지 얼마나 시간이 걸리는지를 파악할 수 있다.

나아가 이는 특정 전자 악보의 연주가 반복적으로 이루어지는 경우 보다 정확한 판별이 가능한데, 도 6에서와 같이 특정한 전자 악보에 대한 연주를 반복적으로 파악하는 경우 제스처 사이의 시간 간격 역시 반복적으로 파악될 수 있어, 이의 평균을 구하는 경우 특정한 전자 악보의 특정 페이지를 연주하는데 해당 연주자가 얼마정도의 시간을 소요하는지를 패턴화하여 파악할 수 있다.

딜레이 타임 설정부(232)는 시간 간격을 기반으로 전자 악보의 페이지 별로 딜레이 타임을 차등 설정하는 기능을 수행한다.

예를 들어 전자 악보가 총 5페이지로 이루어져 있고, 첫 번째 제스처(1->2페이지)까지의 시간 간격이 30초, 두 번째 제스처(2->3페이지)까지의 시간 간격이 40초, 세 번째 제스처(3->4페이지)까지의 시간 간격이 35초, 네 번째 제스처(4->5페이지)까지의 시간 간격이 25초라고 가정한다.

이때 판단할 수 있는건 2번째 페이지의 연주가 가장 오래 걸리며, 4번째 페이지의 연주가 가장 짧게 이루어진다는 것이다. 따라서 이 경우 딜레이 타임이 동일하게 설정되는 것이 아닌, 빠르게 연주가 가능한 4->5페이지 사이의 딜레이 타임은, 즉 2번째 페이지에서 자동 넘김을 수행하기 위해 설정되는 딜레이 타임은 상대적으로 길게 설정되어 빠르게 페이지 넘김을 수행할 수 있고, 느리게 연주되는 2->3페이지 사이의 딜레이 타임은 상대적으로 짧게 설정되어 상대적으로 느리게 페이지 넘김을 수행할 수 있다.

이는 악기 연주 시 일정한 속도가 유지되지 않고 특정 페이지의 연주에 긴 시간이 소요되는 경우 해당 부분에서 소화해야 할 음표의 수가 많거나 박자를 소화하기 어려운 경우, 혹은 연주자가 느끼기에 난이도가 높아 소화가 힘든 부분, 혹은 박자 자체가 갑자기 느리게 변주되어 천천히 연주를 수행해야하 는 부분일 수 있다.

따라서 이러한 페이지에서 빠르게 페이지가 넘겨지는 경우 악보 숙지가 이루어지기 전에 페이지가 넘겨질 수 있어, 연주자가 원활한 연주를 수행하기 어려울 수 있다.

그러므로 이처럼 연주에 긴 시간이 소요되는 페이지의 경우 딜레이 타임을 짧게 설정하여, 해당 페이지의 연주 완료 예상 시간과 가깝게 페이지가 넘어가게 함으로써 해당 페이지의 숙지 및 연주가 충분히 이루어질 수 있도록 한다.

반대로 악기 연주 시 일정한 속도가 유지되지 않고 특정 페이지의 연주에 상대적으로 짧은 시간이 소요되는 경우 해당 부분에서 소화해야 할 음표의 수가 상대적으로 적거나, 혹은 연주자가 느끼기에 난이도가 쉬워 연습시 빠르게 넘어가게 되거나, 혹은 박자 자체가 갑자기 빠르게 변주되어 빠르게 연주를 수행해야 하는 부분일 수 있다.

따라서 이러한 페이지에서 느리게 페이지가 넘겨지는 경우 다음 악보를 빠르게 파악하고 빠르게 연주를 수행해야 하는 연주자에 맞추지 못하고 이전 페이지의 악보가 출력될 수 있어, 연주가 끊길 우려가 존재한다.

그러므로 이처럼 연주에 짧은 시간이 소요되는 페이지의 경우 딜레이 타임을 길게 설정하여, 해당 페이지의 연주 완료 예상 시간보다 먼저, 이르게 페이지가 넘어가게 함으로써 빠르게 다음 페이지를 파악할 수 있도록 하는 것이다.

다시 말해, 연주자에 의해 기본적인 딜레이 타임이 설정된 상태에서 연주에 긴 시간이 소요되는 페이지(시간 간격이 긴 페이지)는 딜레이 타임을 상대적으로 짧게 줄이고, 연주에 짧은 시간이 소요되는 페이지(시간 간격이 짧은 페이지)는 딜레이 타임을 상대적으로 길게 설정할 수 있도록 하여 페이지 별 딜레이 타임의 차등 설정을 가능케 한다.

따라서 특정한 전자 악보라도 페이지 별 음표의 수, 페이지 별로 연주자가 느끼는 난이도, 또는 템포에 맞춘, 또는 연주자가 느끼는 난이도에 맞춰 패턴화된 딜레이 타임 설정이 가능해져 해당 곡에, 그리고 연주자에 맞춘 딜레이 타임 설정을 가능케 할 수 있다.
지금까지 설명한 바와 같이, 본 발명에 따른 사운드 인식 기반의 전자 악보 자동 넘김 장치의 구성 및 작용을 상기 설명 및 도면에 표현하였지만 이는 예를 들어 설명한 것에 불과하여 본 발명의 사상이 상기 설명 및 도면에 한정되지 않으며, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 다양한 변화 및 변경이 가능함은 물론이다.

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

삭제

100 : 본체 110 : 디스플레이
120 : 마이크 130 : 아이트래커
140 : 카메라 200 : 컨트롤러
210 : 악보 DB 220 : 연주 위치 추적 모듈
230 : 딜레이 타임 설정 모듈 231 : 시간 간격 파악부
232 : 딜레이 타임 설정부 240 : 자동 넘김 모듈
241 : 자동 넘김부 242 : 시선 기반 넘김부
243 : 제스처 기반 넘김부 250 : 트래킹 모듈
260 : 제스처 인식 모듈

Claims (8)

1. 사운드 인식 기반의 전자 악보 자동 넘김 장치로서,
   전자 악보를 출력하는 디스플레이 및 연주 음을 입력받는 마이크와 상기 디스플레이의 일 측에 구비된 카메라를 구비한 본체;
   복수의 페이지와, 상기 페이지에 기록된 음표 및 쉼표를 포함하는 구성요소를 포함하는 전자 악보를 저장한 악보 DB와,
   상기 연주 음의 음표를 파악하여 상기 전자 악보에서 현재 연주되고 있는 위치인 연주 위치를 추적하는 연주 위치 추적 모듈과,
   상기 페이지에 대한 연주가 끝나기 전에 상기 전자 악보를 다음 페이지로 넘기기 위한 여분 시간인 딜레이 타임을 설정하는 딜레이 타임 설정 모듈과,
   상기 카메라를 기반으로 연주자가 고개를 움직이는 제스처를 인식하는 제스처 인식 모듈과,
   상기 연주 위치와 상기 페이지에서 연주되지 않은 잔여 음표의 수, 상기 딜레이 타임에 따라 상기 전자 악보를 다음 페이지로 넘김 처리하는 것으로서, 상기 제스처가 인식됨에 따라 상기 전자 악보를 다음 페이지로 넘김 처리하는 제스처 기반 넘김부를 포함하는 자동 넘김 모듈을 포함하는 컨트롤러;를 포함하고,
   상기 딜레이 타임 설정 모듈은,
   상기 전자 악보에 대한 연주 시작 시점부터 연주 종료 시점까지 인식된 상기 제스처 사이의 시간 간격을 파악하는 시간 간격 파악부와, 상기 시간 간격을 기반으로 상기 전자 악보의 페이지 별로 상기 딜레이 타임을 차등 설정하는 딜레이 타임 설정부를 포함하는 것을 특징으로 하는, 전자 악보 자동 넘김 장치.
2. 제 1항에 있어서,
   상기 구성요소는,
   음자리표, 조표, 박자표, 템포 기호, 셈여림 기호를 더 포함하며,
   상기 연주 위치 추적 모듈은,
   상기 전자 악보 및 상기 연주 음의 구성요소를 기반으로 상기 연주 위치를 추적하는 것을 특징으로 하는, 전자 악보 자동 넘김 장치.
3. 제 1항에 있어서,
   상기 본체는,
   상기 디스플레이의 일 측에 구비된 아이트래커를 포함하며,
   상기 컨트롤러는,
   상기 아이트래커를 기반으로 상기 전자 악보에서의 연주자의 눈동자의 위치 및, 상기 눈동자의 위치와 대응되는 음표의 위치인 사용자 주시 위치를 파악하는 트래킹 모듈을 포함하며,
   상기 자동 넘김 모듈은,
   상기 사용자 주시 위치에 따라 상기 전자 악보를 다음 페이지로 넘김 처리하는 시선 기반 넘김부를 포함하는 것을 특징으로 하는, 전자 악보 자동 넘김 장치.
4. 삭제
5. 삭제
6. 삭제
7. 삭제
8. 삭제