KR101841033B1

KR101841033B1 - 악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템, 장치, 방법, 및 컴퓨터 판독가능 기록매체

Info

Publication number: KR101841033B1
Application number: KR1020160119551A
Authority: KR
Inventors: 전대영; 김연수; 김영민; 오경석
Original assignee: 주식회사 잼이지
Priority date: 2016-09-19
Filing date: 2016-09-19
Publication date: 2018-05-08
Also published as: WO2018052272A1; CN109983534A

Abstract

본 발명에 따르는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법은, (a) 연주 어플리케이션이 실행된 후, 연주 인터페이스를 실행하는 단계; (b) 사용자 단말의 외부로부터 발생된 연주음을 인식하는 단계; (c) 상기 연주음과 사용자가 연주해야 할 타겟음을 비교하는 단계; 및 (d) 비교 결과에 따라, 상기 연주음과 타겟음의 일치도를 상기 연주 인터페이스 상에 표시하는 단계;를 포함하며, 상기 연주 인터페이스는, 사용자 단말에 의해 선택된 음악의 악보, 상기 악보의 오선 상에서 상기 타겟음의 정보를 알려주는 연주바 및 악기를 연주하는 연주 수단의 움직임 방향이나 호흡 타이밍을 알려주는식별자를 포함한다.

Description

악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템, 장치, 방법, 및 컴퓨터 판독가능 기록매체{SYSTEM, DEVICE, METHOD AND COMPUTER READABLE STORAGE MEDIUM FOR PROVIDING PERFORMANCE GUIDING INFORMATION BASED ON PERFORMED NOTE OF INSTRUMENT}

본 발명은 악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템, 장치, 방법, 및 컴퓨터 판독가능 기록매체에 관한 기술이다.

스마트폰이 등장하고, 어플리케이션의 개발이 활성화되면서, 악기 연주 분야와 관련된 기술 영역에서도 많은 어플리케이션이 등장하였다.

예를 들어, 튜닝 어플리케이션이 있다. 기존의 튜닝 어플리케이션은 스마트폰의 마이크를 통하여 악기의 소리를 수신하고, 튜닝 대상 현의 기준음과 비교하여 악기의 튜닝을 가이드해주는 기능을 제공해준다.

그리고, 피아노 어플리케이션이 있다. 피아노 어플리케이션은 화면의 하단에 건반이 배치되어 있고, 상단에서 하단으로 특정 객체가 내려 올 때 특정 객체와 건반이 마주치는 순간 건반을 터치할 경우, 해당 음이 발생되도록 하여, 사용자로 하여금 아주 쉽게 연주를 가이드해주는 기능을 제공한다.

다만, 튜닝 어플리케이션은 악기를 튜닝하는 정도까지의 기능밖에 제공하지 못한다. 또한, 튜닝 어플리케이션의 악기의 연주음 인식 원리는 사운드 인식에 기초하므로, 주변환경이 매우 시끄럽거나 노이즈가 많은 경우 인식 정확도가 떨어진다는 문제가 있다. 또한, 피아노 어플리케이션의 경우, 어플리케이션 상에 표시된 가상의 피아노를 연주하는 것으로서, 피아노를 전혀 연주할 줄 모르는 사용자들이 쉽게 이용할 수 있도록 제공되는 어플리케이션이므로, 실제 악기를 연주하고자 하는 고차원적인 니즈가 있는 사용자들의 욕구를 충족시켜주기는 어렵다.

즉, 실제 악기를 특정 곡에 맞추어 연주함에 따라, 그 곡을 정확하게 연주하고 있는지 또는 어떠한 방식으로 해야 정확한 연주가 가능한지에 대한 가이드 정보를 제공해주는 어플리케이션은 종래에 공개되어 있지 않은 실정이다.

본 발명은 악기의 연주음 인식을 기반으로 특정 곡의 실제 악보와 연주음을 매칭비교한 후 이에 대한 피드백을 실시간으로 사용자에게 제공함으로써, 사용자에게 연주 가이드 정보를 제공하기 위한 방법 및 장치, 시스템을 제공하는 것을 목적으로 한다.

또한, 본 발명은 악기의 일 단에 고정되어 연주음을 인식할 수 있는 튜닝 보조 장치를 제공하여, 연주음 인식의 속도 및 정확도를 개선할 수 있도록 한다.

본 발명의 제 1 실시예에 따르는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법은, (a) 연주 어플리케이션이 실행된 후, 연주 인터페이스를 실행하는 단계; (b) 사용자 단말의 외부로부터 발생된 연주음을 인식하는 단계; (c) 상기 연주음과 사용자가 연주해야 할 타겟음을 비교하는 단계; 및 (d) 비교 결과에 따라, 상기 연주음과 타겟음의 일치도를 상기 연주 인터페이스 상에 표시하는 단계;를 포함하며, 상기 연주 인터페이스는, 사용자 단말에 의해 선택된 음악의 악보, 상기 악보의 오선 상에서 상기 타겟음의 정보를 알려주는 연주바 및 악기를 연주하는 연주 수단의 움직임 방향이나 호흡 타이밍을 알려주는 식별자를 포함한다.

본 발명의 제 2 실시예에 따르는, 악기 연주음 인식 기반의 연주 가이드 정보 제공장치는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법을 수행하기 위한 프로그램이 저장된 메모리; 및 상기 프로그램을 수행하는 프로세서; 를 포함하며, 상기 프로세서는, 상기 프로그램의 실행에 따라, 연주 어플리케이션이 실행된 후, 연주 인터페이스를 실행하고, 사용자 단말의 외부로부터 발생된 연주음을 인식하며, 상기 연주음과 사용자가 연주해야 할 타겟음을 비교하고, 비교 결과에 따라, 상기 연주음과 타겟음의 일치도를 상기 연주 인터페이스 상에 표시하며, 상기 연주 인터페이스는, 사용자 단말에 의해 선택된 음악의 악보, 상기 악보의 오선 상에서 상기 타겟음의 정보를 알려주는 연주바 및 악기를 연주하는 연주 수단의 움직임 방향이나 호흡 타이밍을 알려주는 식별자를 포함한다.

또한, 본 발명의 제 3 실시예에 따르는, 악기 연주음 인식 기반의 연주 가이드 정보 제공시스템은, 악기의 일 단에 고정되어, 악기의 연주에 따른 진동을 감지하고, 진동수값에 대응하는 연주음의 정보를 추출하며, 상기 연주음의 정보를 사용자 단말로 무선통신을 통해 전송하는 튜닝 보조 장치; 및 상기 사용자 단말에 설치가능한 연주 어플리케이션과 연동되어 연주 정보 및 결제 정보에 대한 인터렉션을 수행하는 서버;를 포함하며, 상기 연주 어플리케이션은, 연주 인터페이스를 실행한 후, 상기 튜닝 보조장치로부터 연주음을 수신하고, 상기 연주음과 사용자가 연주해야 할 타겟음을 비교하며, 비교 결과에 따라, 상기 연주음과 타겟음의 일치도를 상기 연주 인터페이스 상에 표시하고, 상기 연주 인터페이스는, 상기 사용자 단말에 의해 선택된 음악의 악보, 상기 악보의 오선 상에서 상기 타겟음의 정보를 알려주는 연주바 및 악기를 연주하는 연주 수단의 움직임 방향이나 호흡 타이밍을 알려주는 식별자를 포함한다.

본 발명에 따르는 악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템은 튜닝 보조 장치를 통해 악기의 진동값을 기반으로 연주음을 인식하므로, 정확한 인식이 가능하다. 또한, 튜닝 보조 장치에서 진동값을 기반으로 연주음에 대한 정보를 모두 파악한 후, 사용자 단말의 어플리케이션으로 전송하므로, 어플리케이션의 연산 부하가 적게 걸리게 되어, 사용자의 연주 정확도를 실시간으로 표시하는 데에 걸리는 지연시간(latency)을 최소화할 수 있다. 또한, 현악기에 대해서는 활 동작이나 스트로킹 동작을 가이드하기 위한 식별자 및 관악기에 대해서는 호흡의 길이 및 박자를 가이드하기 위한 식별자를 제공함으로써, 다양한 악기에 적용가능하도록 하여 범용성을 향상시킬 수 있다.

도 1은 본 발명의 일 실시예에 따르는, 악기 연주음 인식 기반의 연주 가이드 정보 제공 시스템의 구조도이다.
도 2는 본 발명의 일 실시예에 따르는 튜닝 보조 장치와 사용자 단말의 구조에 대한 블록도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따르는 사용자 단말에 설치된 연주 어플리케이션의 튜닝 인터페이스의 일 예이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따르는 연주 어플리케이션의 연주 인터페이스의 일 예이다.
도 5a 내지 도 5c는 본 발명의 일 실시예에 따르는 연주 어플리케이션의 관악기 연주시 가이드를 제공하기 위한 인터페이스의 일 예이다.
도 6a 내지 도 6d는 본 발명의 일 실시예에 따르는 연주 어플리케이션의 관악기 연주에 대한 피드백을 제공하는 인터페이스의 일 예이다.
도 7은 본 발명의 일 실시예에 따르는 악기 연주음 인식 기반의 연주 가이드 정보 제공 방법을 설명하기 위한 순서도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.

이하에서 언급되는 "사용자 단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), LTE(Long Term Evolution) 통신 기반 단말, 스마트폰, 태블릿 PC 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다. 또한, "네트워크"는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.

이하, 도면을 참조하여, 본 발명의 일 실시예를 구체적으로 설명하도록 한다.

도 1을 참조하면, 본 발명의 일 실시예에 따르는 시스템은 튜닝 보조 장치(100), 사용자 단말(200) 및 서버(300)를 포함한다.

튜닝 보조 장치(100)는 악기의 일 단에 고정되어, 악기에서 발생되는 진동을 센싱하고, 센싱된 진동에 대응하는 연주음의 성분을 식별하는 장치이다. 이때, 연주음의 성분이란 연주된 음의 음계 정보, 음이름 정보 및 음의 길이 정보 중 적어도 하나를 포함할 수 있다. 튜닝 보조 장치(100)는 식별된 연주음의 성분을 사용자 단말(200)(즉, 모바일 장치)로 전송할 수 있다.

튜닝 보조 장치(100)가 인식하는 진동은 악기 사용자의 움직임이나 주변의 소음에 의한 진동으로부터 센싱될 수도 있다. 이러한 경우는 악기에서 연주되는 것이 아니므로 오류로 판단하여야 하므로, 튜닝 보조 장치(100)는 센싱된 진동을 임계값과 비교하여 연주음의 범위 외의 진동에 대해서는 연주음의 성분을 식별하기 위한 동작을 생략할 수도 있다. 이를 통해 튜닝 보조 장치(100)는 튜닝 보조 장치(100)에서 소비되는 전력을 최소화할 수 있다.

사용자 단말(200)에는 연주 어플리케이션이 설치되어 있을 수 있다. 연주 어플리케이션은 튜닝 기능과 연주 게임 기능을 포함한다. 튜닝 기능과 연주 게임 기능이 실행됨에 있어서, 연주 어플리케이션은 튜닝 보조 장치(100)로부터 수신된 연주음의 성분을 수신하여, 튜닝의 정확도 또는 연주의 정확도를 판단하고 사용자가 정확한 연주를 할 수 있도록 가이드 정보를 제공할 수 있다.

서버(300)는 사용자 단말(200)에 설치된 어플리케이션과 통신을 수행하면서, 어플리케이션으로 악보 정보 등과 같은 업데이트 정보를 제공하거나, 어플리케이션을 이용하는 사용자의 이용 패턴을 분석하거나, 특정 유료 서비스의 경우 결제 과정을 거친 후에야 진행될 수 있도록 결제에 관한 정보를 제공한다.

이하, 도 2를 참조하여, 본 발명의 일 실시예에 따르는 연주 가이드 정보를 제공하기 위한 튜닝 보조 장치(100)와 사용자 단말(200)의 동작을 구체적으로 설명한다.

튜닝 보조 장치(100)와 연주 어플리케이션이 설치된 사용자 단말(200)은 악기 연주음 인식 기반 연주 가이드 정보 제공을 위한 프로그램(또는 어플리케이션)이 저장된 메모리와 위 프로그램을 실행하는 프로세서를 포함하여 구성될 수 있다. 여기서 프로세서는 메모리에 저장된 프로그램의 실행에 따라 다양한 기능을 수행할 수 있는데, 각 기능에 따라 프로세서에 포함되는 세부 구성요소들을 튜닝 보조 장치(100)의 경우 진동 감지부(110), 연주음 검출부(120) 및 통신부(130)로 나타낼 수 있으며, 사용자 단말(200)의 경우 통신부(130), 튜닝부(220), 연주 게임 제공부(230)로 나타낼 수 있다.

먼저, 튜닝 보조 장치(100)에 대하여 구체적으로 설명한다.

진동 감지부(110)는 악기로부터 발생된 진동을 센싱하는 센서부(미도시)로 구성된다. 센서부는 피에조(piezo) 효과 방식의 압전 센서(또는 압전 소자)로 구현될 수 있다.

연주음 검출부(120)는 특정음의 시작을 감지하는 온셋 디텍터 및 진동수를 측정하여 소리의 피치(pitch)를 감지하는 피치 검출부를 포함할 수 있다.

한편, 일 실시예에 따라 센서부는 연주음 검출부(120)의 제어에 의해, 압전 센서를 이용하여 기 설정된 음을 출력할 수도 있다. 예를 들어, 센서부는 턴-온 동작, 턴-오프 동작, 사용자 단말(200)과의 통신 연결 동작 중 적어도 하나가 실행되면 기 설정된 음을 출력할 수 있다. 이때 기 설정된 음은 동작 별로 상이할 수 있다.

연주음 검출부(120)는 진동 감지부(110)로부터 제공받은 진동의 크기(또는 소리의 피치) 에 기초하여, 대응하는 연주음의 성분을 식별한다. 이때 연주음 검출부(120)는 튜닝 보조 장치(100)에서 소비되는 전력을 최소화하기 위하여, 임계값 보다 크거나 같은(또는 초과하는) 것에 대해서만 연주음의 성분을 식별할 수 있다.

구체적으로 연주음 검출부(120)는 센서부로부터 제공받은 진동의 크기를 임계값과 비교하는 비교기(미도시), 및 비교기의 비교 결과에 기초하여 임계값보다 크거나 같은(또는 초과하는) 진동에 대응하는 연주음의 성분을 식별하는 컨트롤러(controller)(미도시)를 더 포함할 수 있다. 여기서 임계값은, 이전에 식별된 연주음들의 진동크기의 평균값일 수 있다. 또는 임계값은, 악기의 의해 발생 가능한 최저 진동크기 및 최고 진동크기 중 적어도 하나에 의해 결정될 수 있다. 또는 임계값은 튜닝 보조 장치(100)의 제조 과정에서 설정되거나 사용자에 의해 설정될 수도 있다.

예를 들어, 비교기는 진동의 크기가 임계값보다 크거나 같으면(또는 초과하면), 컨트롤러로 기 약속된 동작 개시 신호를 제공함으로써, 컨트롤러가 동작하도록 할 수 있다. 반면에 비교기는 진동의 크기가 임계값보다 작으면(또는 작거나 같으면), 컨트롤러로 기 약속된 동작 개시 신호를 제공하지 않음으로써 컨트롤러가 동작하지 않도록 할 수 있다.

컨트롤러는 튜닝 보조 장치(100)의 전반적인 동작을 제어하며, 진동에 대응하는 연주음의 성분을 식별하기 위한 적어도 하나의 프로세서(processor)(미도시) 및/또는 마이크로 프로세서(micro-processor, 미도시)를 포함할 수 있다. 여기서 연주음의 성분은, 연주음의 음계 정보, 음이름 정보 및 음의 길이 정보 중 적어도 하나를 포함할 수 있다.

컨트롤러는 기 저장된 음계 정보, 음이름 정보 등에 기초하여, 진동의 진동수에 매칭하는 연주음의 성분을 결정할 수 있다.

또한, 연주음 검출부(120)는 전술한 비교기 및 컨트롤러 이외에, ADC(analog-digital converter)를 더 포함할 수 있다.

ADC는 비교기로부터의 활성화 신호에 의해 활성화되며, 진동에 대응하는 디지털 신호를 생성할 수 있다. 또한 ADC는 컨트롤러와 연결되어, 생성된 디지털 신호를 컨트롤러로 제공할 수 있다.

구체적으로 비교기는 진동의 크기가 임계값보다 크거나 같으면(또는 초과하면), ADC로 활성화 신호를 제공할 수 있다. ADC는 튜닝 보조 장치(100)가 턴-온(turn-on)되는 경우라도 비활성 상태로 동작하며, 비교기로부터 활성화 신호가 제공되면 활성 상태로 전환될 수 있다. 여기서 비활성 상태는 전원으로부터 최저 전력만을 공급받는 상태일 수 있으며, 실시예에 따라 슬립 모드(sleep mode), 저전력 모드 또는 대기 모드(standby mode)로 지칭될 수도 있다.

ADC는 진동에 대응하는 디지털 신호를 컨트롤러로 제공한 후 다시 비활성 상태로 전환될 수 있다.

한편, 비교기에 의해 ADC가 활성 상태로 전환되는 것으로 설명하였으나, 이에 제한되지 않는다. 일 실시예에 따라 비교기는 진동의 크기와 임계값을 비교한 결과에 따라, ADC 및 컨트롤러로 활성화 신호를 제공할 수도 있다. 이 경우, 컨트롤러는 튜닝 보조 장치(100)가 턴-온 된 후 비활성 상태로 동작할 수 있으며, 활성화 신호에 의해 활성 상태로 전환될 수 있다. 여기서, 활성화 신호는 전술한 동작 개시 신호와 동일할 수 있으며, 별개의 신호일 수도 있다.

통신부(130)는 튜닝 보조 장치(100)가 사용자 단말(200) 및 기타 장치와 통신하게 하는 적어도 하나의 모듈을 포함할 수 있다. 예를 들어, 블루투스 모듈, BLE(Bluetooth Low Energy) 모듈, NFC(near field communication) 모듈, WLAN(와이파이) 모듈, 지그비(Zigbee) 모듈, 적외선(IrDA, infrared data association) 모듈, WFD(Wi-Fi Direct) 모듈, UWB(ultra wideband) 모듈, Ant+ 모듈 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.

이하, 사용자 단말(200)의 동작에 대해 구체적으로 설명하도록 한다.

먼저, 사용자 단말(200)에서는 사용자의 입력에 따라 연주 어플리케이션이 실행될 수 있다. 연주 어플리케이션은 크게 두 가지 기능, 즉, 튜닝과 연주 게임 기능을 포함할 수 있다.

사용자 단말(200)이 사용자로부터 튜닝 실행에 대한 입력을 받은 경우, 튜닝 인터페이스를 실행한다. 한편, 사용자 단말(200)이 사용자로부터 연주 실행에 대한 입력을 받은 경우, 연주 인터페이스를 실행할 수 있다.

통신부(210)는 튜닝 보조 장치(100)로부터 악기에서 연주된 연주음을 수신할 수 있다. 수신된 연주음은 연주 어플리케이션 상에 실행된 기능에 따라 상이한 용도로 활용될 수 있다.

튜닝부(220)는 튜닝 인터페이스를 제공하고, 통신부(210)로부터 전달받은 연주음을 기초로 악기의 튜닝을 가이드한다.

튜닝 인터페이스는 도 3a 및 도 3b와 같은 형태로 구현될 수 있다. 구체적으로, 튜닝 인터페이스는 현재 연주된 음과 대상 음과의 비교 데이터를 표시함으로써 사용자에게 튜닝 가이드를 제공해주는 튜닝가이드 영역(410)을 포함하도록 구성된다. 예를 들어, 현악기의 경우, 사용자는 도 3a와 같이 악기의 헤드 영역(420)에 표시된 왼쪽의 G 에 대응하는 현을 지정함으로써 대상 음을 선택한 후, 손가락으로 악기의 해당 현을 튕길 수 있다. 튜닝 인터페이스는 악기의 일 단에 고정된 튜닝 보조 장치(100)로부터 튕겨진 현에 대한 연주음을 수신하고 대상 음 G와 비교한다. 만약 연주음이 대상 음에 조금 못 미치는 경우, 도 3a와 같이 빨간색 표시와 대상 음과의 차이("-10" 표시)가 튜닝 가이드 영역(410)에 표시된다. 사용자는 이러한 차이를 인식하고 현을 조이는 영역을 조금 더 조인 후 다시 튕기는 것과 같은 방식으로 현을 조절하면, 도 3b와 같이 튜닝 가이드 영역(410)에 녹색으로 타겟음과 일치한다는 식별표시가 나타나게 될 수 있다.

연주 게임 제공부(230)는 연주 인터페이스를 제공하고, 통신부(210)로부터 전달받은 연주음을 기초로 특정 음악의 연주에 대한 가이드 정보를 사용자에게 제공한다.

연주 게임 제공부(230)가 제공하는 연주 인터페이스는 도 4a와 같은 형태로 구현될 수 있다. 구체적으로, 연주 인터페이스는, 악보 표시 영역, 식별자(510), 연주바(520), 네비게이션바(550)를 포함한다.

악보 표시 영역은 특정 음악이나 곡에 대한 오선(즉, 5선) 형태의 악보를 표시하며, 음자리표와 음계표, 음표, 박자표 등 연주에 필요한 모든 식별정보를 표시한다.

식별자(510)는 악기를 연주하는 연주 수단의 움직임 방향이나 호흡 타이밍을 알려주는 수단이다. 식별자(510)는 연주바 내에서 이동할 수도 있으나, 연주바를 벗어나는 영역까지 이동하도록 구현될 수도 있다.

연주바(520)는 악보의 오선 상에서 사용자가 연주해야할 타겟음의 정보를 알려주는 수단이다. 사용자 단말의 화면이 작을 경우, 연주바(520)의 화면 상의 위치가 고정되고 악보의 오선이 연주바(520)를 지나가는 형태로 연주바(520)가 연주 타이밍을 알려줄 수 있다. 또는, 사용자 단말의 화면이 큰 경우, 악보의 오선이 고정되어 있고, 연주바(520)가 악보의 오선 상을 이동하는 형태로 연주 타이밍을 알려줄 수도 있다. 연주바(520)는 도 4a와 같이 악보의 오선과 수직한 방향으로 생성된다. 그리고 연주바(520)는 각각의 음표의 머리와 대응하는 폭 및 오선 영역을 커버할 수 있는 높이로 형성된다. 다만, 반드시 이에 제한되는 것은 아니며 연주바(520)의 폭이나 크기 등은 다른 형태로도 구현될 수도 있다. 또한, 연주바(520)는 악보 위의 타겟음에 대응하는 음표가 명백히 표시되도록 투명한 색상으로 표시될 수 있다.

또한, 식별자(510)는, 악기가 현악기일 경우, 현악기의 연주 수단이 현의 위치를 기준으로 움직여야 할 방향을 알려주는 것으로서, 음악의 박자에 맞게 악보의 오선의 상, 하 방향으로 움직이도록 구현된다. 즉, 바이올린이나 첼로의 경우 활이라는 연주 수단을 현 위에서 상, 하 방향이나 좌, 우 방향으로 스트로킹하면서 연주되며, 기타(guitar)의 경우 손가락이나 초크를 상, 하 방향으로 스트로킹하면서 연주되며, 트럼펫과 같은 관악기의 경우 연주자의 입으로 호흡의 길이나 입바람의 강약을 조절하면서 연주되는 데, 이때 식별자(510)는 스트로킹 방향이나 호흡의 타이밍(또는 길이)에 대한 가이드라인을 제시해줄 수 있다.

도 4b를 참조하면, 도 4b는 도 4a의 상태에서 소정의 시간이 지난 후의 음악 연주상태를 나타내는 악보이다. 이때, 오선 악보의 이동에 의해 연주바(520)와 식별자(510)의 위치가 달라진 것을 확인할 수 있다. 식별자(510)는 상, 하로 움직이기만 하고 연주바(520)가 우측 방향으로 음악의 재생에 따라 이동하게 되는데, 식별자(510)의 상, 하 움직임과 연주바(520)의 우측 움직임을 종합하면, 식별자(510)는 사인(sine) 곡선(530)과 같은 궤적으로 악보 위를 이동하게 된다. 즉, 사인 곡선(530)에서 곡선이 상승하는 방향은 스트로킹을 위로 해야함을 알려주는 것이며, 하강하는 방향은 스트로킹을 아래로 해야함을 알려주는 것이라 할 수 있다.

한편, 악기가 현악기인 경우, 악기의 중심부에서 연주 수단으로 스트로킹함과 동시에 악기의 헤드 부근 영역에서 손가락으로 현을 운지하는 동작이 동시에 수행되어야만 한다. 식별자(510)와 연주바(520)는 악기의 중심부에 대한 연주동작을 가이드해준다. 이때, 연주 인터페이스의 상단 우측에 표시된 "손가락 번호"라는 토글 버튼이 클릭될 경우, 손가락으로 운지해야하는 악기의 영역에 대한 운지동작의 가이드 정보가 음표의 머리 상에 제공될 수 있다.

구체적으로, 토클 버튼이 클릭될 경우, 음표의 머리에 사용자가 운지해야할 현의 번호(540)가 표시될 수 있다. 이를 통해 사용자는 현악기 연주를 위한 모든 가이드 정보를 확인하고 이를 연주에 활용할 수 있다.

네비게이션바(550)는 일 영역에 전체 악보 중 연주 구간, 미리 정의된 구간 및 현재 연주되고 있는 마디 위치 중 적어도 하나를 표시한다. 즉, 네비게이션바(550)는 전체 악보의 연주 구간을 표시함과 동시에 현재 연주되고 있는 마디 위치를 별도의 위치식별자(510)(미도시)를 통해 표시할 수 있다. 위치식별자(510)는 음악의 재생에 따라 네비게이션바(550) 위에서 이동하도록 구성된다. 또한, 사용자가 전체 악보 중 일부 구간만 지정하여 연주를 하고자 할 경우, 특정 구간을 지정할 수도 있는데, 네비게이션바(550)는 이러한 특정 구간의 범위를 표시할 수도 있다.

상술한 바와 같은 연주 인터페이스가 실행될 경우, 사용자 단말(200)에서는 악기의 연주여부와 무관하게 해당하는 음악이 재생되고, 연주바(520)와 식별자(510)가 악보 위를 이동한다.

사용자는 이를 보고 악기를 연주하게 된다. 연주될 때마다 악기의 일 단에 고정된 튜닝 보조 장치(100)는 악기의 진동으로부터 연주음을 검출하게 되며, 사용자 단말(200)은 튜닝 보조 장치(100)로부터 연주음의 정보를 수신하게 된다. 그리고, 연주음과 타겟음을 비교한 후 일치도를 연주 인터페이스 상에 표시한다. 예를 들어, 도 4b의 경우, perfect! 또는 Bad와 같은 문구와 함께 별도의 식별표시를 나타낼 수 있다. 식별표시는 타겟음의 음표의 머리의 색상이 변화되도록 하는 것일 수 있다. 또는, 식별표시는 타겟음의 음표의 머리 부근에 소정 시간 동안 나타났다가 사라지도록 설정되는 것일 수도 있다. 이와 같이 사용자가 한 방향으로 이동하는 악보를 보면서 순간적으로 눈에 띄는 식별표시를 쉽게 확인할 수 있게 되어, 자신이 연주를 정확하게 하고 있는지를 한눈에 알아볼 수 있게 한다.

한편, 관악기의 경우, 현악기와는 다른 방식으로 가이드정보가 제공될 수도 있다.

구체적으로, 호흡 가이드 모드와 박자 가이드 모드가 제공될 수 있다. 호흡 가이드 모드에서는 식별자(510)를 통하여 연주자의 들숨과 날숨 포인트를 알려줄 수 있다. 박자 가이드 모드에서는 별도의 식별표시를 통해 오선 상에 박자 정보를 알려줄 수 있다.

연주 인터페이스에 포함된 식별자(510)는 관악기를 연주하는 사용자의 호흡의 단위 및 길이를 나타내도록 움직일 수 있다. 식별자(510)는 연주바(520) 내의 일 단에 위치하는 특정 시점부터 움직이기 시작하여, 연주바(520)가 이동함에 따라 다른 위치로 이동한 후 최초의 위치로 돌아왔을 때까지의 움직임을 1회의 호흡으로 표시할 수 있다. 예를 들면, 도 5a의 경우, 4/4박자표 부근의 시점부터 마디가 전환되는 시점까지의 식별자(510)의 움직임(710)이 1회의 호흡으로 규정될 수 있다. 이때, 포물선 곡선을 그리며 오선의 아랫 방향으로 내려가는 움직임은 들숨을 의미하는 것이며, 뾰족하게 오선의 윗방향으로 올라가는 움직임은 날숨을 의미하는 것이다. 도 5a 및 도 5b를 참조하면, 음악마다 호흡 타이밍은 다르게 규정될 수 있으므로, 이러한 식별자(510)의 움직임은 다르게 설정될 수 있다. 도 5a는 식별자(510)를 통해 마디마다 호흡해야 함을 나타내고 있으며, 도 5b는 2마디동안 숨을 들이쉬지 않고 연속적으로 연주한 후 숨을 내쉬어야함을 나타내고 있다.

또한, 식별자(510)는 호흡의 길이에 따라, 식별자(510)가 상, 하로 이동하는 영역의 범위가 달라질 수 있다. 관악기의 호흡의 종류를 살펴보면, "텅잉"은 혀를 입천장에 붙여서 내쉬는 숨을 막고 있다가 열면서 혀를 아래쪽으로 붙이면서 "투~"와 같은 소리로 음이 끝날 때까지 발생시키고, 다시 혀를 입천장에 붙여 호흡을 막아 "~웃!"과 같은 소리로 명료하게 종료함으로써 소리를 내는 호흡기법이다. 슬러는 긴 호흡으로 둘 이상의 음표에 대해 지속적으로 소리를 내는 호흡기법이다.

식별자(510)의 움직임은 호흡 가이드 모드와 박자 가이드 모드에서 달라질 수 있다. 호흡 가이드 모드에서는 식별자(510)의 포물선 동작이 호흡을 의미하지만, 박자 가이드 모드에서는 식별자(510)의 포물선 동작이 텅잉을 의미한다. 도 5a 및 도 5b는 호흡 가이드 모드에서의 동작을 나타내고 있으며, 도 5c는 박자 가이드 모드에서의 동작을 나타내고 있다..

한편, 관악기의 경우, 박자 가이드 모드에서, 튜닝 보조 장치(100)로부터 수신한 연주음의 길이와 박자가 타겟음의 정보와 상이한 경우, 악보의 음표 부근의 영역에 별도의 오류 표시를 제공할 수 있다. 예를 들어, 텅잉을 해야 했으나, 슬러로 연주하였을 경우, 도 6a와 같은 T 형태의 오류표시(610)를 제공할 수 있다. 반대로, 슬러로 연주해야했으나, 텅잉으로 연주하였을 경우, 여러 개의 음표를 서로 연결하는 기존의 슬러 표시(620)가 다른 색상으로 변환되어 하이라이트 될 수 있다.

또한, 악보 상에서 V는 1박자를 의미하도록 표현될 수 있다. 즉, 도 6c에서 각 4분음표는 1박자로 연주해야함을 나타내고 있다. 만약 2분음표라면 VV로 표시되어야 하며, 붓점이 붙어 있는 4분음표의 경우 V＼로 표시될 수 있으며, 3/4박자의 온음표는 VVV로 표시될 수 있다. 다만, 이는 일 예일 뿐이며 다양한 형태로 표시될 수 있다.

만약 1박자를 기준으로 연주를 해야 했으나, 박자가 빨랐을 경우, 도 6d와 같이 ◀ 형상의 오류표시를 제공하고, 박자가 느렸을 경우, ▶ 형상의 오류표시(640)를 제공할 수 있다.

그리고, 연주 게임 제공부(230)는 사용자 단말(200)에서 한 곡의 음악의 연주가 완료된 경우, 연주 정확도, 연습시간, 현재까지의 연주한 곡의 개수, 연주 최고점수, 친구들의 연주시간, 상기 연주 어플리케이션에 접속한 시간, 날짜 별 연주 시간 중 적어도 하나를 나타내는 분석 인터페이스를 제공할 수도 있다.

연주 정확도의 경우, 연주음과 타겟음 간의 일치도를 분석한 결과를 종합하여 산출될 수 있으며, 100%가 최고점인 것을 기준으로 산출될 수 있다. 또한, 같은 곡에 대해서 누적된 이전의 연주 정확도 데이터가 있는 경우, 현재 연주 정확도와 이전의 연주 정확도를 비교하는 데이터를 제공함으로써, 사용자에게 얼마나 연습 실력이 성장하였는지를 한눈에 쉽게 보여줄 수도 있다.

또한, 각 연주마다 연주 정확도 등을 기준으로 점수가 부여되는데, 사용자의 다른 친구들과의 데이터 공유기능이 포함되어 있어, 사용자는 다른 친구들의 연주시간, 점수 획득 현황 등을 확인할 수도 있다.

한편, 곡의 구매, 연주 게임을 실행할 수 있는 횟수에 관한 티켓 구매 등은 결제 모듈을 통해서 수행될 수 있으며, 서버(300)와 어플리케이션의 연동을 통해 진행될 수 있다.

한편, 추가 실시예로서, 튜닝 보조 장치(100) 기반으로 연주음을 인식하지 않고, 마이크 기반으로 연주음을 인식할 수도 있다. 이러한 경우, 어플리케이션 내에서 사운드 인식-> 사운드에 대응하는 연주음의 정보 검출 과정을 수행해야만 한다. 그러나, 튜닝 보조 장치(100)를 사용할 경우, 튜닝 보조 장치(100)로부터 바로 연주음의 정보를 수신하므로, 마이크의 경우와 같은 과정들을 수행할 필요가 없다. 즉, 어플리케이션의 부하가 줄어들게 되고, 이는 연산속도 증가를 가져오게 되므로, 실시간으로 연주음을 인식하고, 연주음과 타겟음과의 일치도를 제공해줄 수 있다.

이하, 도 7을 참조하여, 본 발명의 일 실시예에 따르는 악기 연주음 인식 기반의 연주 가이드 정보 제공방법에 대하여 구체적으로 설명한다.

먼저, 튜닝 보조 장치(100)는 사용자 단말(200)과 무선 통신 연결된다(S110). 무선 통신은 블루투스일 수 있다.

사용자 단말(200)에서는 연주 어플리케이션의 연주 인터페이스가 실행된 상태에서, 특정 곡에 대한 사용자 단말(200)의 입력이 발생될 경우, 해당 곡의 사운드를 재생함과 동시에 악보를 디스플레이 할 수 있다(S120).

사용자는 연주 인터페이스에서 표시되는 정보에 맞추어 악기를 연주할 수 있다.

튜닝 보조 장치(100)는 악기의 진동을 감지하고(S130), 진동의 진동값에 대응하는 연주음을 검출한다(S140).

그리고 튜닝 보조 장치(100)는 연주음 정보를 사용자 단말(200)로 전송한다(S150).

사용자 단말(200)은 타겟음과 수신한 연주음 간의 박자 및 음 성분이 동일한지 판단한다(S160).

그리고 동일한 정도를 악보 상에 표시함으로써, 사용자가 정확히 올바르게 연주하고 있는지를 보여줄 수 있다(S170).

한 곡의 연주가 종료되면, 연주 정확도를 계산하여 사용자에게 제공할 수도 있다(S180).

본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

100: 튜닝 보조 장치 20: 사용자 단말
300: 서버

Claims

사용자 단말에 의해 수행되는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법에 있어서,
(a) 연주 어플리케이션이 실행된 후, 연주 인터페이스를 실행하는 단계;
(b) 사용자 단말의 외부로부터 발생된 연주음을 인식하는 단계;
(c) 상기 연주음의 성분과 사용자가 연주해야 할 타겟음을 비교하는 단계; 및
(d) 비교 결과에 따라, 상기 연주음과 타겟음의 일치도를 상기 연주 인터페이스 상에 표시하는 단계;를 포함하며,
상기 (b) 단계는,
악기의 일 부분에 고정된 튜닝 보조 장치로부터 상기 악기의 연주음의 정보를 블루투스 무선통신을 통해 수신하는 단계를 포함하며,
상기 튜닝 보조 장치는,
악기의 연주에 따른 진동을 측정하여, 상기 진동에 대응하는 소리의 피치를 감지하여 연주음의 성분을 식별하며, 상기 연주음의 성분을 상기 사용자 단말로 전송하되,
상기 연주음의 성분은 음의 음계 정보, 음이름 정보 및 음의 길이 정보 중 적어도 하나를 포함하는 정보로서, 악보 상의 각 음표와 비교될 수 있는 디지털 신호값이며, 상기 디지털 신호값은 상기 튜닝 보조 장치에서 측정된 진동의 아날로그 신호값으로부터 도출된 값이고,
상기 연주 인터페이스는,
사용자 단말에 의해 선택된 음악의 악보, 상기 악보의 오선 상에서 상기 타겟음의 정보를 알려주기 위하여 상기 악보의 오선에 대한 상대적인 이동을 수행하는 연주바 및 악기를 연주하는 연주 수단의 움직임 방향이나 호흡 타이밍을 상기 악보의 오선 상에서 알려주는 식별자를 포함하며,
상기 식별자는,
현악기의 연주 수단이 현의 위치를 기준으로 움직여야 할 방향을 알려주는 것으로서, 상기 음악의 박자에 맞게 상기 연주바 상에서 상기 악보의 오선의 상, 하 방향으로 움직임에 따라 포물선으로 움직이되, 상기 식별자의 상, 하 방향 움직임은 사용자가 스트로킹해야 할 상, 하 방향과 대응되는 것이며,
상기 일치도는,
악기가 연주되는 동안 실시간으로 상기 타겟음의 음표의 머리의 부근에 별도 식별표시의 형태로 제공되되, 음표 단위마다 제공되는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
제 1 항에 있어서,
상기 (a) 단계는,
상기 연주 어플리케이션이 실행된 후,
사용자 단말로부터 연주 실행에 대한 입력을 받은 경우, 상기 연주 인터페이스를 실행하고,
상기 사용자 단말로부터 악기 튜닝 실행에 대한 입력을 받은 경우, 튜닝 인터페이스를 실행하는 단계를 포함하되,
상기 튜닝 인터페이스는 상기 사용자 단말로부터 튜닝 대상 음을 선택받은 후, 상기 연주음과 튜닝 대상 음을 비교하여 튜닝완료 여부를 알려주도록 구성되는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
제 1 항에 있어서,
상기 (b) 단계는,
상기 사용자 단말의 마이크를 통하여 사운드를 수신하고, 상기 사운드를 분석하여 악기의 연주음을 인식하는 단계를 포함하는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
삭제
삭제
제 1 항에 있어서,
상기 연주바는,
상기 악보의 오선과 수직한 방향으로 형성되되, 상기 악보 위의 음표가 나타나도록 투명한 색상으로 표시되는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
삭제
제 1 항에 있어서,
상기 악기가 현악기인 경우, 상기 연주 수단은 활 또는 연주자의 손 중 어느 하나이고,
상기 악기가 관악기인 경우, 상기 연주 수단은 연주자의 입인 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
제 1 항에 있어서,
상기 연주 인터페이스는,
토글 버튼에 대한 상기 사용자 단말의 입력이 발생될 경우, 상기 악보 상의 음표의 머리에 사용자가 운지해야 할 현의 번호를 표시하는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
제 1 항에 있어서,
상기 연주 인터페이스는,
일 영역에 전체 악보 중 연주 구간, 미리 정의된 구간 및 현재 연주되고 있는 마디 위치 중 적어도 하나를 표시하는 네비게이션바를 포함하는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
제 1 항에 있어서,
상기 (d) 단계는,
상기 타겟음의 음표의 머리의 색상 변화 및 상기 타겟음의 음표의 머리 부근에 소정 시간 동안 나타났다가 사라지도록 설정되는 식별표시를 이용하여 상기 일치도를 표시하는 단계를 포함하는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
제 1 항에 있어서,
상기 악기가 관악기인 경우,
상기 연주 인터페이스의 식별자는,
관악기를 연주하는 사용자의 호흡의 단위 및 길이를 나타내도록 움직이는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
제 12 항에 있어서,
상기 식별자는,
상기 연주바 내의 일 단에 위치하는 특정 시점부터, 상기 연주바가 이동함에 따라 다른 위치로 이동한 후 최초의 위치로 돌아왔을 때까지의 움직임을 1회의 호흡으로 표시하는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
제 13 항에 있어서,
상기 식별자는,
상기 호흡의 길이에 따라, 상기 식별자가 상, 하로 이동하는 영역의 범위가 달라지는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
제 14 항에 있어서,
상기 식별자는,
상기 1회의 호흡이 슬러인 경우와 텅잉인 경우 상이한 범위로 움직이는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
제 12 항에 있어서,
상기 (d) 단계는,
상기 관악기의 연주음의 길이와 박자가 상기 타겟음의 정보와 상이한 경우,
상기 악보의 음표 부근의 영역에 별도의 오류 표시를 제공하는 단계를 포함하는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
제 1 항에 있어서,
(e) 상기 사용자 단말에서 한 곡의 음악의 연주를 완료한 후, 연주 정확도, 연습시간, 현재까지의 연주한 곡의 개수, 연주 최고점수, 친구들의 연주시간, 상기 연주 어플리케이션에 접속한 시간, 날짜 별 연주 시간 중 적어도 하나를 나타내는 분석 인터페이스를 제공하는 단계를 더 포함하는, 악기 연주음 인식 기반의 연주 가이드 정보 제공방법.
악기 연주음 인식 기반의 연주 가이드 정보 제공장치에 있어서,
악기 연주음 인식 기반의 연주 가이드 정보 제공방법을 수행하기 위한 프로그램이 저장된 메모리; 및
상기 프로그램을 수행하는 프로세서; 를 포함하며,
상기 프로세서는, 상기 프로그램의 실행에 따라,
연주 어플리케이션이 실행된 후, 연주 인터페이스를 실행하고,
사용자 단말의 외부에 위치하며 악기의 일 부분에 고정된 튜닝 보조 장치로부터 상기 악기의 연주음의 정보를 블루투스 무선통신을 통해 수신하여 악기로부터 발생된 연주음을 인식하며,
상기 연주음의 성분과 사용자가 연주해야 할 타겟음을 비교하고,
비교 결과에 따라, 상기 연주음과 타겟음의 일치도를 상기 연주 인터페이스 상에 표시하되,
상기 튜닝 보조 장치는,
악기의 연주에 따른 진동을 측정하여, 상기 진동에 대응하는 소리의 피치를 감지하여 연주음의 성분을 식별하며, 상기 연주음의 성분을 상기 사용자 단말로 전송하되,
상기 연주음의 성분은 음의 음계 정보, 음이름 정보 및 음의 길이 정보 중 적어도 하나를 포함하는 정보로서, 악보 상의 각 음표와 비교될 수 있는 디지털 신호값이며, 상기 디지털 신호값은 상기 튜닝 보조 장치에서 측정된 진동의 아날로그 신호값으로부터 도출된 값이고,
상기 연주 인터페이스는,
사용자 단말에 의해 선택된 음악의 악보, 상기 악보의 오선 상에서 상기 타겟음의 정보를 알려주기 위하여 상기 악보의 오선에 대한 상대적인 이동을 수행하는 연주바 및 악기를 연주하는 연주 수단의 움직임 방향이나 호흡 타이밍을 상기 악보의 오선 상에서 알려주는 식별자를 포함하며,
상기 식별자는,
현악기의 연주 수단이 현의 위치를 기준으로 움직여야 할 방향을 알려주는 것으로서, 상기 음악의 박자에 맞게 상기 연주바 상에서 상기 악보의 오선의 상, 하 방향으로 움직임에 따라 포물선으로 움직이되, 상기 식별자의 상, 하 방향 움직임은 사용자가 스트로킹해야 할 상, 하 방향과 대응되는 것이며,
상기 일치도는,
악기가 연주되는 동안 실시간으로 상기 타겟음의 음표의 머리의 부근에 별도 식별표시의 형태로 제공되되, 음표 단위마다 제공되는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공장치.
악기 연주음 인식 기반의 연주 가이드 정보 제공시스템에 있어서,
악기의 일 단에 고정되어, 악기의 연주에 따른 진동을 감지하고, 진동수에 대응하는 연주음의 정보를 추출하며, 상기 연주음의 정보를 사용자 단말로 블루투스 무선통신을 통해 전송하는 튜닝 보조 장치; 및
상기 사용자 단말에 설치가능한 연주 어플리케이션과 연동되어 연주 정보 및 결제 정보에 대한 인터렉션을 수행하는 서버;를 포함하며,
상기 연주 어플리케이션은,
연주 인터페이스를 실행한 후, 상기 튜닝 보조장치로부터 연주음을 수신하고, 상기 연주음과 사용자가 연주해야 할 타겟음을 비교하며, 비교 결과에 따라, 상기 연주음과 타겟음의 일치도를 상기 연주 인터페이스 상에 표시하고,
상기 튜닝 보조 장치는,
악기의 연주에 따른 진동을 측정하여, 상기 진동에 대응하는 소리의 피치를 감지하여 연주음의 성분을 식별하며, 상기 연주음의 성분을 상기 사용자 단말로 전송하되,
상기 연주음의 성분은 음의 음계 정보, 음이름 정보 및 음의 길이 정보 중 적어도 하나를 포함하는 정보로서, 악보 상의 각 음표와 비교될 수 있는 디지털 신호값이며, 상기 디지털 신호값은 상기 튜닝 보조 장치에서 측정된 진동의 아날로그 신호값으로부터 도출된 값이고,
상기 연주 인터페이스는,
상기 사용자 단말에 의해 선택된 음악의 악보, 상기 악보의 오선 상에서 상기 타겟음의 정보를 알려주기 위하여 상기 악보의 오선에 대한 상대적인 이동을 수행하는 연주바 및 악기를 연주하는 연주 수단의 움직임 방향이나 호흡 타이밍을 상기 악보의 오선 상에서 알려주는 식별자를 포함하며,
상기 식별자는,
현악기의 연주 수단이 현의 위치를 기준으로 움직여야 할 방향을 알려주는 것으로서, 상기 음악의 박자에 맞게 상기 연주바 상에서 상기 악보의 오선의 상, 하 방향으로 움직임에 따라 포물선으로 움직이되, 상기 식별자의 상, 하 방향 움직임은 사용자가 스트로킹해야 할 상, 하 방향과 대응되는 것이며,
상기 일치도는,
악기가 연주되는 동안 실시간으로 상기 타겟음의 음표의 머리의 부근에 별도 식별표시의 형태로 제공되되, 음표 단위마다 제공되는 것인, 악기 연주음 인식 기반의 연주 가이드 정보 제공시스템.
제1항 내지 제3항, 제6항 및 제8항 내지 제17항 중 어느 한 항에 따르는 악기 연주음 인식 기반의 연주 가이드 정보 제공방법을 수행하기 위한 컴퓨터 프로그램이 기록된 컴퓨터 판독가능 기록매체.