KR102228019B1 - 증강현실을 이용한 기타 운지 학습 시스템 - Google Patents

Abstract

본원의 일 측면에 따른 증강현실을 이용한 기타 운지 학습 시스템은 기타 영상을 촬영하는 카메라 모듈; 입력 모듈; 증강현실 영상이 출력되는 디스플레이 모듈; 증강현실을 이용한 기타 운지 학습 프로그램이 탑재된 메모리; 및 프로그램을 실행하는 프로세서를 포함한다. 기타는 복수의 스트링을 포함하고 지판의 일측에 증강현실 마커가 부착된 것이고, 프로세서는 기타 운지 학습 프로그램의 실행에 따라, 기타 영상에서 증강현실 마커를 인식하고, 증강현실 마커를 기초로 지판 상의 스트링 영역 및 프렛 영역을 추출하여 원본 이미지로 저장하고, 입력 모듈을 통해 입력 받은 악보 파일에서 곡의 박자, 운지 또는 주법이 포함된 연주 정보를 추출하고, 추출된 연주 정보를 이용하여 지판에서 운지해야 하는 위치 및 탄현해야 하는 스트링을 알려주는 표준 운지 이미지를 생성하고, 표준 운지 이미지와 원본 이미지를 중첩시킨 증강현실 영상을 생성하고, 생성된 증강현실 영상을 디스플레이 모듈을 통해 출력하는 것을 특징으로 한다.

Description

증강현실을 이용한 기타 운지 학습 시스템{GUITAR LEARNING SYSTEM USING AUGMENTED REALITY}

본 발명은 증강 현실을 이용하여 사용자가 쉽게 기타를 학습할 수 있는 기타 운지 학습 시스템에 관한 것이다.

기타는 적당한 가격, 휴대성 및 접근 편의성으로 대중들에게 많은 관심을 받는 악기 중 하나이다. 하지만 복수개의 현을 가지고 있으며 정확한 운지법에 의해 연주를 해야 하기 때문에 일반인의 경우 복잡한 악보를 해석하는것 뿐 아니라 현의 어느 위치를 를 짚어야 하는지 운지를 도출하는 과정에 어려움을 느낄 수 있다.

악기 연주 학습 장치와 관련하여, 피아노의 경우 악보를 해석하면 연주되어야 하는 건반이 직관적으로 대응되므로, 악보 해석 없이 스마트 단말, 디스플레이 또는 증강현실 기술을 이용하여 연주해야 하는 건반을 빠르게 파악할 수 있도록 피아노 레슨을 보조하는 장치에 대한 기술들이 개시되어 있다.

다만 기타의 경우 악보를 해석한 이후에도 어떤 운지를 선택할 것인지 고민하는 단계가 더 필요하여 초보자가 기타를 학습하는데 진입장벽을 크게 느낄 수 있다.

대한민국 공개특허공보 제10-2016-0059738호 (발명의 명칭: 피아노 교습 서비스 제공 방법 및 이를 기록한 기록매체)

본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서 증강현실 기술을 기타 학습에 적용하여 원하는 악보파일을 입력하면 사용자에게 운지와 박자를 디스플레이를 통해 제공함으로써, 악보 해석 및 운지에 익숙하지 않은 초보자도 연주가 가능하도록 하는 기타 운지 학습 시스템을 제공하고자 한다.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 해결하기 위한 기술적 수단으로서, 본 개시의 제 1측면에 따른 기타 운지 학습 시스템은, 기타 영상을 촬영하는 카메라 모듈; 입력 모듈; 증강현실 영상이 출력되는 디스플레이 모듈; 증강현실을 이용한 기타 운지 학습 프로그램이 탑재된 메모리; 및 프로그램을 실행하는 프로세서를 포함한다. 또한 기타 운지 학습 시스템은, 기타는 복수의 스트링을 포함하고 지판의 일측에 증강현실 마커가 부착된 것이고, 프로세서는 기타 운지 학습 프로그램의 실행에 따라, 기타 영상에서 증강현실 마커를 인식하고, 증강현실 마커를 기초로 지판 상의 스트링 영역 및 프렛 영역을 추출하여 원본 이미지로 저장하고, 입력 모듈을 통해 입력 받은 악보 파일에서 곡의 박자, 운지 또는 주법이 포함된 연주 정보를 추출하고, 추출된 연주 정보를 이용하여 지판에서 운지해야 하는 위치 및 탄현해야 하는 스트링을 알려주는 표준 운지 이미지를 생성하고, 표준 운지 이미지와 원본 이미지를 중첩시킨 증강현실 영상을 생성하고, 생성된 증강현실 영상을 디스플레이 모듈을 통해 출력하는 증강현실을 이용한 기타 운지 학습 시스템이다.

본 개시의 제 2측면에 따른 증강현실을 이용한 기타 운지 학습 시스템에 의해 수행되는 기타 운지 학습 방법은, 카메라 모듈을 통해 촬영된 복수의 스트링을 포함하고 지판의 일측에 증강현실 마커가 부착된 기타 영상에서 증강현실 마커를 인식하는 단계; 증강현실 마커를 기초로 지판 상의 스트링 영역 및 프렛 영역을 추출하여 원본 이미지로 저장하는 단계; 입력 모듈을 통해 입력된 악보 파일에서 곡의 박자, 운지 또는 주법이 포함된 연주 정보를 추출하는 단계; 추출된 연주 정보를 이용하여 지판에서 운지해야 하는 위치 및 탄현해야 하는 스트링을 알려주는 표준 운지 이미지와 표준 운지 이미지에 따라 연주된 음원 데이터를 생성하는 단계; 표준 운지 이미지와 원본 이미지를 중첩시킨 증강현실 영상을 생성하는 단계; 생성된 증강현실 영상을 디스플레이 모듈을 통해 출력하는 단계; 및 음원 데이터는 스피커 모듈로 출력하는 단계를 수행하여 기타 운지 학습을 가능하게 한다.

전술한 본원의 과제 해결 수단에 의하면, 본 발명의 일 실시예에 따른 증강현실을 이용한 기타 운지 학습 시스템은 자신이 원하는 악보 파일을 이용해 실력에 맞는 기타 학습을 진행할 수 있고, 기존 기타 학습에는 사용되지 않던 노트 형식을 적용하여 사용자에게 직관적이고 단순한 방식으로 운지와 박자를 알려줄 수 있다.

도 1은 본 발명의 일 실시예에 따른 기타의 구성 및 명칭을 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강현실을 이용한 기타 운지 학습 시스템의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 증강현실을 이용한 기타 운지 학습 방법의 절차를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 증강현실을 이용한 기타 운지 학습 시스템의 표준 운지 이미지 중 핑거 노트와 홀노트를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 증강현실을 이용한 기타 운지 학습 시스템의 표준 운지 이미지 중 오픈 스트링 연주인 경우 핑거 노트를 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 증강현실을 이용한 기타 운지 학습 시스템에서 박자 또는 탄현 시기를 표시하는 방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 증강현실을 이용한 기타 운지 학습 시스템에서 기타 또는 증강현실 마커 위치 교정을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 증강현실을 이용한 기타 운지 학습 시스템의 실행 결과를 도시한 도면이다.

아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다.

본원 명세서 전체에서, 어떤 부재가 다른 부재 “상에” 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.

본 명세서에 있어서 '핑거 노트'는 기타의 지판에서 사용자가 짚어야 하는 위치인 운지를 알려주는 지판 영역에 표시되는 노트를 의미하며, '홀 노트'는 어떤 줄을 탄현해야 하는지 알려주는 기타 홀의 영역에 표시되는 노트를 의미하고, '오픈 스트링 노트'는 탄현해야 하는 개방현을 알려주는 노트를 의미한다. '폴링 노트'는 대기 영역에서 지판 위로 이동하여 박자 또는 탄현하는 시기를 알려주는 노트이다. '대기 영역'은 증강현실 영상에서 기타 지판의 상부 영역으로 사용자가 용이하게 식별할 수 있도록 불투명하게 표시 될 수 있다.

이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 적용되는 기타의 구성을 설명하기 위한 도면이다.

도 1에 도시된 바와 같이, 기타(100)는 지판(110), 프렛(120), 홀(130), 스트링(140)을 포함한다. 또한 증강현실을 이용한 기타 운지 학습 시스템에서 기타(100)는 증강현실 마커(150)를 더 포함할 수 있다.

지판(110)은 프렛과 너트가 있는 넥의 일부분이며 손가락과 맞닿는 부분으로, 지판상에서 스트링을 눌러서 스트링이 울리는 길이를 조절하여 음의 높낮이를 조절할 수 있다. 다른 명칭으로는 핑거보드, 프렛보드로 불릴 수 있다.

프렛(120)은 음쇠라고도 불리며, 지판(110) 위에 반음 간격으로 이격되어 돌출되어 있는 쇠이다. 운지 중에 프렛(120)에 손가락이 가까워 지면 줄의 울림이 저하 된다. 본 발명에서는 프렛(120)을 반음 간격을 표시하는 기준점으로 역할을 이용하므로, 프렛(120)이 없는 경우에도 가상의 기준점을 상정하여 동일하게 실시 될 수 있다. 기타에 따라서는 지판에 프렛(120)이 없는 경우도 있으나, 이 경우 가상의 기준점에 마커 등을 활용하여 가상의 기준점을 설정할 수 있고, 본 발명은 프렛(120)의 유무에 관계없이 실시될 수 있다.

홀(130)은 기타(100)에서 스트링(140)의 진동으로 인한 소리가 기타 본체의 울림통으로 들어가 소리가 울리게 한다. 본 발명에서는 탄현하는 위치를 표시하기 위한 기준으로 홀을 지칭하나, 탄현은 홀(130) 외의 부분에서도 이루어 질 수 있다.

스트링(140)은 줄, 현 등으로도 불린다. 본 발명에서는 6개의 스트링(140)을 가지는 기타를 기준으로 설명하고 있지만, 스트링(140)의 개수는 다양할 수 있다.

증강현실 마커(150)는 컴퓨터가 인식할 수 있도록 만든 규칙성을 가진 디지털 표식으로, 본 발명에서는 기타의 위치를 인식하고 지판 위에 표준 운지 이미지 등을 정확한 위치에 표시하기 위한 역할을 한다. 증강현실 마커(150)는 도 1에서 도시된 바와 같이 기타 바디 상판 중 지판에 근접한 부분에 부착되거나, 기타 헤드 일면에 부착 될 수 있으며, 특정 위치에 한정되지 않는다. 본 발명은 증강현실 마커(150)가 복수 개 사용될 수 있고, 증강현실 마커(150) 없이 기타의 이미지 자체를 인식하여 실시 될 수도 있다.

이러한 기타(100)는 클래식 기타, 통기타, 전기 기타 등 다양한 기타를 포함할 수 있다. 또한, 본 발명의 실시예에서는 기타(100)에 한정되지 않고, 우쿨렐레, 류트, 만돌린뿐 아니라 가야금, 거문고 등 다양한 형태의 발현악기에 확대 적용될 수 있다.

도 2는 본 발명의 일 실시예에 따른 증강현실을 이용한 기타 운지 학습 시스템의 구성을 도시한 블록도이다.

도시된 바와 같이, 기타 운지 학습 시스템(200)은 카메라 모듈(210), 입력 모듈(220), 디스플레이 모듈(230), 스피커 모듈(240), 프로세서(250) 및 메모리(260)를 포함할 수 있다.

카메라 모듈(210)은 웹 카메라 등 독립된 카메라 일 수 있고, 휴대폰, 태블릿PC, 랩탑 등에 내장된 카메라 일 수도 있다.

입력 모듈(220)은 파일 입출력 장치 등에 연결되어 악보 데이터를 입력 받는 모듈로 통신모듈의 기능을 포함할 수 있다. 상기 악보 데이터는 ASCII 텍스트일 수 있으며, ASCII 외의 형식으로 작성된 악보의 경우 데이터 형식을 변환하는 과정을 거쳐 사용될 수 있다.

입력 모듈(220)은 키보드, 마우스 등의 입력장치를 포함할 수 있다. 이를 통해 속도 조절, 구간 이동, 일시 정지 등의 기능을 사용할 수 있다.

디스플레이 모듈(230)은 영상을 출력하는 모듈이며 증강현실 영상을 출력한다. 디스플레이 모듈(230)은 TV, 모니터, 태블릿PC 화면과 같은 평면 디스플레이뿐 아니라 머리 착용 디스플레이(Head Mounted Display), 스마트 안경 등 다양한 형태의 디스플레이를 포함한다.

스피커 모듈(240)은 노트북, 휴대폰, 태블릿PC 등에 내장된 스피커이거나 별도의 스피커로 구성될 수 있다. 스피커 모듈(240)은 악보파일에서 추출한 음원 데이터를 출력할 수 있다.

프로세서(250)는 메모리(260)에 저장된 프로그램을 실행하되, 증강현실을 이용한 기타 운지 학습 프로그램의 실행에 따라 다음과 같은 처리를 수행한다.

프로세서(250)는 카메라 모듈(210)을 통해 기타연주자 및 증강현실 마커(150)가 부착된 기타(100) 영상을 촬영하고, 기타 영상에서 증강현실 마커(150)를 인식한 후 이를 기준으로 기타 지판(110)의 위치를 계산하고, 스트링(140)과 프렛(120) 위치를 구분할 수 있다.

프로세서(250)는 입력모듈(220)을 통해 ASCII 형식 등으로 저장된 악보 파일을 받고, 곡의 박자, 운지 또는 주법이 포함된 연주 정보를 추출한다. 추출된 연주 정보는 노트 큐(Note Queue)에 저장될 수 있다. 추가적으로 키보드와 같은 입력모듈(220)을 통해 속도 조절, 구간 이동, 일시 정지 등의 입력을 받아 노트를 조작할 수 있다.

프로세서(250)는 미리 계산한 지판(110) 위치에 노트 큐(Note Queue)의 정보를 가져와서 그래픽 이미지인 표준 운지 이미지를 만들고, 여기에 카메라 모듈(210)을 통해 촬영한 원본 이미지를 합쳐 증강현실 영상을 생성할 수 있다. 또한 노트 큐(Note Queue)의 정보를 이용하여 음원데이터를 스피커 모듈(240)을 통해 출력할 수 있다. 동시에 여러 음을 출력하는 경우, 주 선율인 가장 높은 음만 출력할 수 있다. 프로세서(250)가 수행하는 각각의 동작에 대해서는 추후 보다 상세히 살펴보기로 한다.

이러한 프로세서(250)는 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이 크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

메모리(260)에는 증강현실을 이용한 기타 운지 학습 프로그램이 저장된다. 이러한 메모리(260)에는 기타 운지 학습 시스템(200)의 구동을 위한 운영 체제나 기타 운지 학습 프로그램의 실행 과정에서 발생되는 여러 종류가 데이터가 저장된다.

이때, 메모리(260)는 전원이 공급되지 않아도 저장된 정보를 계속 유지하는 비휘발성 저장장치 및 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치를 통칭하는 것이다.

또한, 메모리(260)는 프로세서(250)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행할 수 있다. 여기서, 메모리(260)는 저장된 정보를 유지하기 위하여 전력이 필요한 휘발성 저장장치 외에 자기 저장 매체(magnetic storage media) 또는 플래시 저장 매체(flash storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.

도 3은 본 발명의 일 실시예에 따른 증강현실을 이용한 기타 운지 학습 방법의 절차를 설명하기 위한 도면이다.

카메라 모듈(210)을 통해 기타 연주자 및 증강현실 마커(150)가 부착된 기타영상을 촬영한다(S310). 상기 기타 영상에서 상기 증강현실 마커(150)를 인식한 후(S330), 인식된 증강현실 마커(150)를 기준으로 기타 지판(110)의 위치를 계산하고 스트링(140)과 프렛(120) 위치를 구분해 놓는다(S340).

카메라 모듈(210)을 통해 촬영된 기타 영상에 대한 RGB 이미지(Image)를 얻고, 해당 이미지 프레임(Image frame)에서 설정해 둔 증강현실 마커(150)를 찾는다. 이때, 증강현실 마커(150)를 인식하기 위해 ARToolkit5를 사용할 수 있고, 6D Marker Pose를 찾아 상대 좌표계를 얻을 수 있다. ARToolkit은 증강현실 어플리케이션을 개발하기 위한 오픈 소스 컴퓨터 추적 라이브러리이며, 본 발명에서 증강현실 마커(150)를 인식하고 증강현실 영상을 합성하는 등 발명을 구현하기 위해 활용 할 수 있다. 오픈소스 라이브러리 외에도 상업용 라이브러리 등 다른 개발환경을 이용하여 구현할 수도 있다. 상대 좌표계를 기준으로 기타 지판의 위치를 계산하고 스트링과 프렛 위치를 구분해 놓는다.

입력모듈(220)을 통해 ASCII 형식 등으로 저장된 악보 파일을 받고(S410), 곡의 박자, 운지 또는 주법이 포함된 연주 정보를 추출한다(S430). 추가적으로 키보드와 같은 입력모듈(220)을 통해 속도 조절, 구간 이동, 일시 정지 등의 입력을 받아 노트를 조작할 수도 있다(S420). 추출된 데이터는 노트 큐(Note Queue)에 저장될 수 있다(S440).

미리 계산한 지판(110) 위치에 노트 큐(Note Queue)의 정보를 가져와서 그래픽 이미지인 표준 운지 이미지를 만들고(S350), 여기에 카메라 모듈(210)을 통해 촬영한 원본 이미지를 합쳐 증강현실 영상을 생성할 수 있다(S360). 그래픽 이미지를 만드는 과정에서 오픈 그래픽 라이브러리(OpenGL)를 이용할 수 있다. 생성된 증강현실 영상은 디스플레이 모듈(230)을 통해 출력된다(S370). 또한 노트 큐(Note Queue)의 정보를 이용하여 음원데이터를 생성하고(S450) 스피커 모듈(240)을 통해 출력할 수 있다(S460). 동시에 여러 음을 출력하는 경우 주 선율인 가장 높은 음만 출력할 수도 있다.

원본 이미지는 카메라 모듈(210)을 통해 촬영된 편집되지 않은 기타 영상일 수 있으나, 사용자가 인식하기 용이하도록 기타 부분만을 편집한 영상이 사용될 수도 있다.

도 4는 본 발명의 일 실시예에 따른 증강현실을 이용한 기타 운지 학습 시스템의 표준 운지 이미지 중 핑거 노트와 홀노트를 설명하기 위한 도면이다.

도4a는 지판에서 사용자가 짚어야 하는 위치인 운지를 알려주는 핑거 노트를 표시한 도면이다. 본 발명의 일 실시예에 따르면 핑거 노트를 표시할 때 스트링(140)별 구분이 용이하도록 줄에 따라 빨강, 주황, 상아, 초록, 파랑, 보라로 색상을 다르게 표시하고 흰색 테두리를 추가해 가시성을 높였으나 핑거 노트의 색상 또는 이미지는 이에 한정되지 않고 다양한 형태로 표시될 수 있다. 또한 현재 운지와 다음 운지를 구분하기 위해 운지 순서에 따라 투명도를 달리 할 수 있다. 도4a 에서는 현재 운지는 투명도 0%, 다음 운지는 투명도 70%, 세번째 운지는 투명도 85%로 표시되어 있다

도 4b는 본 발명의 일 실시예에 따른 홀 노트의 스트링을 설명하는 도면이다. 사용자는 탄현하는 위치인 홀 영역에서 각 스트링별로 다른 색상으로 표시된 홀 노트를 보고 탄현해야 하는 스트링을 직관적으로 인식할 수 있다. 홀 노트 또한 핑거 노트와 마찬가지로 스트링에 따라 색상 또는 이미지를 다르게 하여 표시될 수 있다.

도 5는 본 발명의 일 실시예에 따른 증강현실을 이용한 기타 운지 학습 시스템에서 오픈 스트링 연주시 핑거 노트를 설명하기 위한 도면이다.

오픈 스트링 연주(개방현 연주)의 경우, 짚어야 하는 운지 없이 줄을 탄현하는 것이다. 도5a에 도시된 바와 같이 기타의 지판 바깥쪽 헤드 부분에 오픈 스트링 노트를 표시할 수 있고, 도5b에 도시된 바와 같이 기타 헤드와 지판 사이 접합부에 있는 너트부터 3번 프렛까지 긴 이미지를 사용하여 오픈 스트링 노트를 표시할 수도 있다. 도 5c의 경우 오픈 스트링 노트는 기타 헤드와 지판 사이 접합부에 있는 너트부터 9번 프렛까지 긴 이미지를 표시한다. 도 5c의 오픈 스트링 노트가 긴 너비로 인해 분별하기 쉽고, 다른 노트들의 위치와 상관없이 인식하기 용이하므로 본 발명에서는 도5c의 방법으로 오픈 스트링 노트를 표시하나 다른 방법으로 표시하는 것도 가능하다.

도 6은 본 발명의 일 실시예에 따른 증강현실을 이용한 기타 운지 학습 시스템에서 박자 또는 탄현 시기를 표시하는 방법을 설명하기 위한 도면이다. 핑거 노트는 운지 위치를 알려주기 위해 지판 위 연주 영역에 표시된 이미지이며, 폴링 노트는 박자 또는 탄현 시기를 표시하기 위해 대기 영역에서 연주 영역으로 이동하는 이미지이다. 대기 영역은 연주영역인 지판의 상단에 표시 될 수 있고, 다른 영역과 구별하기 위해 반투명 색상으로 표시 될 수 있다.

도 6a의 경우 간접적 폴링 노트 표시방식으로, 지판 위에 가상의 막대를 표시하고, 핑거 노트가 가상의 막대로 이동하여 박자를 알려주는 방식이다.

도 6b의 경우 직접적 폴링 노트 표시방식으로, 대기 영역에 있던 폴링 노트가 지판 위 연주 영역으로 직접 이동하여 박자를 알려주는 방식이다. 폴링 노트가 핑거 노트와 겹쳐지는 시점을 기준으로 박자 또는 탄현 시기를 인식할 수 있다. 다만 다가 오는 복수의 핑거 노트가 겹쳐져 보일 수 있으므로, 현재 핑거 노트를 제외한 핑거 노트의 투명도를 다르게 표시하여 현재 핑거 노트를 쉽게 인식할 수 있다. 또한, 폴링 노트와 핑거 노트를 연결하는 얇은 선을 추가로 표시하여 폴링 노트가 이동할 때 생기는 거리감의 혼란을 방지할 수 있다.

도 7은 본 발명의 일 실시예에 따른 증강현실을 이용한 기타 운지 학습 시스템에서 기타 또는 증강현실 마커 위치 교정을 설명하기 위한 도면이다.

하나의 증강현실 마커를 기준으로 지판의 위치를 계산하는 경우 오차가 발생할 수 있다. 이를 해결하기 위해 증강현실 영상에 6색의 막대 이미지를 표시하고 이를 기타 너트 부분에 겹치도록 자세 및 증강현실 마커 위치를 교정하여 정확한 지판의 위치를 계산할 수 있다. 정확한 지판 위치를 계산하기 위해 복수의 증강현실 마커를 사용하거나 카메라 모듈을 통해 입력된 영상에서 기타 부분을 추출하여 지판 영역을 파악하는 것도 가능하다.

도 7에서는 6색의 막대 이미지가 기타 너트 부분에 겹치도록 교정되어 노트들이 정확한 위치에 표시된다. 이로써, 사용자 편의를 위해 증강현실 영상이 출력되는 공간을 반투명하게 구분해서 표시할 수 있다.

도 8은 본 발명의 일 실시예에 따른 증강현실을 이용한 기타 운지 학습 시스템의 실행 결과를 도시한 도면이다.

한편, 본 발명의 일 실시예에 따른 기타 운지 학습 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.

전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.

100: 기타
110: 지판
120: 프렛
130: 홀
140: 스트링
150: 마커
200: 기타 운지 학습 시스템
210: 카메라 모듈
220: 입력 모듈
230: 디스플레이 모듈
240: 스피커 모듈
250: 프로세서
260: 메모리

Claims (16)

1. 기타 영상을 촬영하는 카메라 모듈;
   입력 모듈;
   증강현실 영상이 출력되는 디스플레이 모듈;
   증강현실을 이용한 기타 운지 학습 프로그램이 탑재된 메모리; 및
   상기 프로그램을 실행하는 프로세서를 포함하고,
   상기 기타는 복수의 스트링을 포함하고 지판의 일측에 증강현실 마커가 부착된 것이고,
   상기 프로세서는 상기 기타 운지 학습 프로그램의 실행에 따라,
   상기 기타 영상에서 상기 증강현실 마커를 인식하고, 상기 증강현실 마커를 기초로 상기 지판 상의 스트링 영역 및 프렛 영역을 추출하여 원본 이미지로 저장하고,
   상기 입력 모듈을 통해 입력 받은 악보 파일에서 곡의 박자, 운지 또는 주법이 포함된 연주 정보를 추출하고,
   상기 추출된 연주 정보를 이용하여 지판에서 운지해야 하는 위치 및 탄현해야 하는 스트링을 알려주는 표준 운지 이미지를 생성하고,
   상기 표준 운지 이미지와 상기 원본 이미지를 중첩시킨 증강현실 영상을 생성하고, 상기 생성된 증강현실 영상을 상기 디스플레이 모듈을 통해 출력하며,
   상기 표준 운지 이미지는
   상기 원본 이미지의 홀 영역에서 탄현해야 하는 스트링의 위치를 알려주기 위해 기설정된 홀 노트를 표시하는 것이고,
   상기 연주 정보에 기초하여 상기 홀 노트는 스트링 별로 서로 다른 색상으로 해당 스트링 영역에 표시한 것인
   증강 현실을 이용한 기타 운지 학습 시스템.
2. 제1항에 있어서,
   상기 표준 운지 이미지는
   상기 원본 이미지의 프렛 영역에서 짚어야 하는 프렛이 있는 경우, 상기 프렛 상에 기설정된 핑거 노트를 표시하는 것이고,
   짚어야 하는 프렛이 없는 오픈 스트링 연주인 경우 기설정된 복수의 프렛 상에 걸치도록 설정된 길이를 가지는 핑거 노트를 표시하는 것인
   증강 현실을 이용한 기타 운지 학습 시스템.
3. 제2항에 있어서,
   상기 핑거 노트는 스트링 별로 서로 다른 색상으로 해당 스트링 영역에 운지 위치를 표시한 것인
   증강 현실을 이용한 기타 운지 학습 시스템.
4. 삭제
5. 제 2항에 있어서,
   상기 핑거 노트는 운지 순서에 따라 색상의 투명도가 다르게 되어 운지 위치를 표시하는 것인
   증강 현실을 이용한 기타 운지 학습 시스템.
6. 제 2 항에 있어서,
   상기 연주 정보에 기초하여 운지 시점을 표시하기 위해,
   대기영역에 표시된 폴링 노트를 연주되는 곡의 박자를 기초로 하여 기설정된 속도로 연주영역으로 이동시켜 운지 시점에 운지해야 하는 위치에 표시된 상기 핑거 노트와 중복되도록 표시하는 것인
   증강 현실을 이용한 기타 운지 학습 시스템.
7. 제 1 항에 있어서,
   상기 디스플레이 모듈은 헤드 마운트 표시장치를 포함하는 증강 현실을 이용한 기타 운지 학습 시스템.
8. 제 1 항에 있어서,
   상기 기타 영상에서 상기 증강현실 마커를 인식하고 난 후, 상기 원본 이미지를 저장하기 전에,
   디스플레이 모듈에 기설정된 기준 이미지를 표시하고, 기설정된 기준 이미지가 기설정된 기타 위치에 겹쳐지도록 기타 또는 증강현실 마커 위치를 교정하는
   증강 현실을 이용한 기타 운지 학습 시스템.
9. 제1항에 있어서,
   스피커 모듈을 더 포함하고,
   상기 추출된 연주 정보를 이용하여 상기 표준 운지 이미지에 따라 연주된 음원 데이터를 생성하고,
   상기 음원 데이터는 상기 스피커 모듈로 출력하는
   증강현실을 이용한 기타 운지 학습 시스템.
10. 증강현실을 이용한 기타 운지 학습 시스템에 의해 수행되는 기타 운지 학습 방법에 있어서,
    (a) 카메라 모듈을 통해 촬영된 기타 영상에서 상기 기타를 인식하는 단계;
    (b) 인식한 상기 기타의 위치를 기초로 지판 상의 스트링 영역 및 프렛 영역을 추출하여 원본 이미지로 저장하는 단계;
    (c) 입력 모듈을 통해 입력된 악보 파일에서 곡의 박자, 운지 또는 주법이 포함된 연주 정보를 추출하는 단계;
    (d) 상기 추출된 연주 정보를 이용하여 지판에서 운지해야 하는 위치 및 탄현해야 하는 스트링을 알려주는 표준 운지 이미지와 상기 표준 운지 이미지에 따라 연주된 음원 데이터를 생성하는 단계;
    (e) 상기 표준 운지 이미지와 상기 원본 이미지를 중첩시킨 증강현실 영상을 생성하는 단계;
    (f) 상기 생성된 증강현실 영상을 디스플레이 모듈을 통해 출력하는 단계; 및
    (g) 상기 음원 데이터는 스피커 모듈로 출력하는 단계를 포함하고,
    상기 표준 운지 이미지는
    상기 원본 이미지의 홀 영역에서 탄현해야 하는 스트링의 위치를 알려주기 위해 기설정된 홀 노트를 표시하는 것이고,
    상기 연주 정보에 기초하여 상기 홀 노트는 스트링 별로 서로 다른 색상으로 해당 스트링 영역에 표시한 것인
    증강 현실을 이용한 기타 운지 학습 방법.
11. 제10항에 있어서,
    상기 표준 운지 이미지는
    상기 원본 이미지의 프렛 영역에서 짚어야 하는 프렛이 있는 경우, 상기 프렛 상에 기설정된 핑거 노트를 표시하는 것이고,
    짚어야 하는 프렛이 없는 오픈 스트링 연주인 경우 기설정된 복수의 프렛 상에 걸치도록 설정된 길이를 가지는 핑거 노트를 표시하는 것이고,
    상기 핑거 노트는 스트링 별로 서로 다른 색상으로 해당 스트링 영역에 운지 위치를 표시한 것인
    증강 현실을 이용한 기타 운지 학습 방법.
12. 삭제
13. 제 11항에 있어서,
    상기 핑거 노트는 운지 순서에 따라 색상의 투명도를 다르게 하여 운지 위치를 표시하는 것인
    증강 현실을 이용한 기타 운지 학습 방법.
14. 제 11 항에 있어서,
    상기 연주 정보에 기초하여 운지 시점을 표시하기 위해,
    대기영역에 표시된 폴링 노트를 연주되는 곡의 박자를 기초로 하여 기설정된 속도로 연주영역으로 이동시켜 운지 시점에 운지해야 하는 위치에 표시된 상기 핑거 노트와 중복되도록 표시하는 것인
    증강 현실을 이용한 기타 운지 학습 방법.
15. 제 10 항에 있어서,
    상기 디스플레이 모듈은 헤드 마운트 표시장치를 포함하는 증강 현실을 이용한 기타 운지 학습 방법.
16. 제 10 항에 있어서,
    상기 (a)단계 후 상기 (b)단계 전에,
    디스플레이 모듈에 기설정된 기준 이미지를 표시하고, 기설정된 기준 이미지가 기설정된 기타 위치에 겹쳐지도록 기타 위치를 교정하는 단계를 더 포함하는
    증강 현실을 이용한 기타 운지 학습 방법.

Images