KR102397471B1 - 애플리케이션과 연동되어 전통음악 자가학습이 가능한 디지털 악기 시스템 - Google Patents

애플리케이션과 연동되어 전통음악 자가학습이 가능한 디지털 악기 시스템 Download PDF

Info

Publication number
KR102397471B1
KR102397471B1 KR1020200107383A KR20200107383A KR102397471B1 KR 102397471 B1 KR102397471 B1 KR 102397471B1 KR 1020200107383 A KR1020200107383 A KR 1020200107383A KR 20200107383 A KR20200107383 A KR 20200107383A KR 102397471 B1 KR102397471 B1 KR 102397471B1
Authority
KR
South Korea
Prior art keywords
instrument
smartphone
digital
learner
performance
Prior art date
Application number
KR1020200107383A
Other languages
English (en)
Other versions
KR20220026662A (ko
Inventor
도상인
도남원
허주철
박재욱
권오민
Original Assignee
주식회사 다이나톤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 다이나톤 filed Critical 주식회사 다이나톤
Priority to KR1020200107383A priority Critical patent/KR102397471B1/ko
Publication of KR20220026662A publication Critical patent/KR20220026662A/ko
Application granted granted Critical
Publication of KR102397471B1 publication Critical patent/KR102397471B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0008—Associated control or indicating means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/0482—Interaction with lists of selectable items, e.g. menus
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/02—Boards or like means for providing an indication of notes
    • G09B15/023—Electrically operated
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/091—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith
    • G10H2220/096—Graphical user interface [GUI] specifically adapted for electrophonic musical instruments, e.g. interactive musical displays, musical instrument icons or menus; Details of user interactions therewith using a touch screen
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/221—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another
    • G10H2220/241—Keyboards, i.e. configuration of several keys or key-like input devices relative to one another on touchscreens, i.e. keys, frets, strings, tablature or staff displayed on a touchscreen display for note input purposes

Abstract

애플리케이션과 연동되어 전통음악 자가학습이 가능한 디지털 악기 시스템은, 국악모드로 진입할 경우 미리 설정된 복수의 국악악기 중에서 어느 하나를 선택하여 연주를 제어하거나, 내장된 미디음원을 재생하거나 외부 데이터를 전송받아 재생하는 디지털 악기와, 유선 또는 무선 네트워크를 통해 디지털 악기와 접속되어 데이터를 상호 간에 교환함에 있어서, 디지털 악기의 동작 상태를 실시간으로 전송받아 표시하고, 디지털 악기의 동작설정을 제어하는 애플리케이션이 설치되는 학습자 스마트폰과, 학습자 스마트폰의 애플리케이션으로 국악 커리큘럼에 따른 실습 데이터를 전송하는 지도자 스마트폰을 포함하여 구성되는 것을 특징으로 한다.

Description

애플리케이션과 연동되어 전통음악 자가학습이 가능한 디지털 악기 시스템{Digital instrument system that enables self-learning of traditional music by linking with the application}
본 발명은 디지털 악기에 관한 것으로서, 더 상세하게는 스마트폰의 애플리케이션과 연동되어 전통음악의 자가학습이 가능한 디지털 악기 시스템에 관한 것이다.
디지털 악기는 하드웨어에 저장된 디지털 사운드를 이용하기 때문에 조율할 필요가 없고 다른 장치들과 호환하여 사용할 수 있으며, 특히, 일반 피아노(아날로그 피아노)의 소리와는 다른 여러 형태의 사운드와 바이올린, 드럼, 색소폰 등 여러 악기의 사운드를 내장하고 있는 장점에 의하여 교육, 학습, 연습, 취미 등의 분야에 많이 활용되고 있다.
특히, 디지털 피아노는 건반을 누를 때 물리적, 기계적인 작용에 의해 내부의 현을 때려서 소리를 내는 일반 피아노와는 달리 전기 스위치 작동에 의한 전자음을 발생시키는 악기로서 사운드를 일반 피아노와 거의 흡사하게 복제한 건반 악기이다.
디지털 피아노는 피아노 기능만을 수행하기 보다는 다양한 악기의 사운드를 내장하고 있어, 사용자가 원하는 악기를 선택한 후 이를 연주하는 기능을 가지고 있다.
하지만, 종래의 디지털 피아노에 내장된 다양한 악기들을 연주하는 기능은 매우 기본적인 연주만 가능하다. 특히, 국악기 등을 이용하여 전통음악을 연주하는 기능은 대체로 호기심 충족 차원의 용도에 그치고 있다.
KR 10-2017-0068916 A
본 발명은 상기와 같은 기술적 과제를 해결하기 위해 제안된 것으로, 최신 유무선통신 기술을 통해 실물전자악기와 모바일 앱이 연결된 전통음악 자가학습이 가능한 디지털 악기 시스템을 제공한다.
상기 문제점을 해결하기 위한 본 발명의 일 실시예에 따르면, 국악모드로 진입할 경우 미리 설정된 복수의 국악악기 중에서 어느 하나를 선택하여 연주를 제어하거나, 내장된 미디음원을 재생하거나 외부 데이터를 전송받아 재생하는 디지털 악기와, 유선 또는 무선 네트워크를 통해 디지털 악기와 접속되어 데이터를 상호 간에 교환함에 있어서, 디지털 악기의 동작 상태를 실시간으로 전송받아 표시하고, 디지털 악기의 동작설정을 제어하는 애플리케이션이 설치되는 학습자 스마트폰을 포함하는 디지털 악기 시스템이 제공된다.
또한, 본 발명에 포함되는 학습자 스마트폰의 애플리케이션은, 디지털 악기에서 국악악기가 선택되어 연주될 때, 선택된 국악악기의 연주를 함께 제어할 수 있는 연주메뉴를 터치 스크린에 표시하고 터치 스크린의 터치 제어에 따라 디지털 악기에서 선택된 국악악기의 연주가 제어되는 것을 특징으로 한다.
또한, 본 발명에 포함되는 학습자 스마트폰의 애플리케이션은, 디지털 악기에서 연주할 수 있는 복수의 국악악기 중에서 현악기가 선택될 경우, 선택된 국악악기의 연주를 함께 제어할 수 있는 연주메뉴를 터치 스크린에 표시함에 있어서, 연주메뉴는, 조절각도를 조절하여 꺾기, 농현 잔농현 및 추성/퇴성 중 어느 하나를 조절할 수 있도록 구성되는 제어 조이스틱과, 뜯기, 튕기기, 구르기, 구르고막기 및 막기를 선택할 수 있는 복수의 제1 버튼과, 악기변경, 경기Eb/남도C, 이중연음, 자유연음, 느린연음, 빠른연음을 선택할 수 있는 복수의 제2 버튼을 포함하는 것을 특징으로 한다.
또한, 본 발명의 다른 실시예에 따르면, 국악모드로 진입할 경우 미리 설정된 복수의 국악악기 중에서 어느 하나를 선택하여 연주를 제어하거나, 내장된 미디음원을 재생하거나 외부 데이터를 전송받아 재생하는 디지털 악기와, 유선 또는 무선 네트워크를 통해 디지털 악기와 접속되어 데이터를 상호 간에 교환함에 있어서, 디지털 악기의 동작 상태를 실시간으로 전송받아 표시하고, 디지털 악기의 동작설정을 제어하는 애플리케이션이 설치되는 학습자 스마트폰과, 학습자 스마트폰의 애플리케이션으로 국악 커리큘럼에 따른 실습 데이터를 전송하는 지도자 스마트폰을 포함하는 것을 특징으로 하는 디지털 악기 시스템이 제공된다.
또한, 본 발명에 포함되는 학습자 스마트폰의 애플리케이션은, 실습 데이터가 수신되면, 실습 데이터에 포함된 국악악기의 연주를 제어할 수 있는 연주메뉴를 터치 스크린에 표시하고 터치 스크린의 터치 제어에 따라 연주가 제어되되, 디지털 악기에서도 선택된 국악악기의 연주가 자동 연동되어 제어되는 것을 특징으로 한다.
또한, 본 발명에 포함되는 학습자 스마트폰의 애플리케이션은, 실습 데이터가 수신되면, 실습 데이터에 포함된 국악악기의 연주를 제어할 수 있는 연주메뉴를 터치 스크린에 표시하고 터치 스크린의 터치 제어에 따라 연주가 제어되되, 연주메뉴는, 조절각도를 조절하여 꺾기, 농현 잔농현 및 추성/퇴성 중 어느 하나를 조절할 수 있도록 구성되는 제어 조이스틱과, 뜯기, 튕기기, 구르기, 구르고막기 및 막기를 선택할 수 있는 복수의 제1 버튼과, 악기변경, 경기Eb/남도C, 이중연음, 자유연음, 느린연음, 빠른연음을 선택할 수 있는 복수의 제2 버튼을 포함하는 것을 특징으로 한다.
본 발명의 실시예에 따른 디지털 악기 시스템은 도제적 환경에서 구전심수를 유일한 교육방법론으로 하여 전승되는 기존 국악교육 프로그램을 혁신하고 최신 유무선통신 기술을 통해 실물전자악기와 모바일앱이 연결된 환경의 디지털 악기 시스템을 구현한다.
도 1은 본 발명의 실시예에 따른 디지털 악기 시스템(1)의 개념도
도 2는 디지털 악기 시스템(1)의 제1 예시도
도 3은 디지털 악기 시스템(1)의 제2 예시도
도 4는 국악악기의 연주를 제어할 수 있는 연주메뉴의 예시도
도 5는 국악악기의 연주를 제어할 수 있는 연주메뉴의 다른 예시도
도 6은 지도자의 스마트폰에서 전송되는 실습 데이터의 예시도
도 7은 실습 데이터를 실습하면서 촬영된 실습동영상의 예시도
이하, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 정도로 상세히 설명하기 위하여, 본 발명의 실시예를 첨부한 도면을 참조하여 설명하기로 한다.
도 1은 본 발명의 실시예에 따른 디지털 악기 시스템(1)의 개념도이고, 도 2는 디지털 악기 시스템(1)의 제1 예시도이고, 도 3은 디지털 악기 시스템(1)의 제2 예시도이다.
본 실시예에 따른 디지털 악기 시스템(1)은 제안하고자 하는 기술적인 사상을 명확하게 설명하기 위한 간략한 구성만을 포함하고 있다.
도 1 내지 도 3을 참조하면, 디지털 악기 시스템(1)은 디지털 악기(100), 학습자 스마트폰(200) 및 지도자 스마트폰(300)을 포함하여 구성된다.
상기와 같이 구성되는 디지털 악기 시스템(1)의 주요동작을 살펴보면 다음과 같다.
디지털 악기(100)는 국악모드로 진입할 경우 미리 설정된 복수의 국악악기 중에서 어느 하나를 선택하여 연주를 제어하거나, 내장된 미디음원을 재생하거나 외부 데이터를 전송받아 재생한다.
학습자 스마트폰(200)은 유선 또는 무선 네트워크를 통해 디지털 악기(100)와 접속되어 데이터를 상호 간에 교환하는데, 디지털 악기(100)의 동작 상태를 실시간으로 전송받아 표시하고, 디지털 악기(100)의 동작설정을 제어하는 애플리케이션이 설치된다.
지도자 스마트폰(300)은 학습자 스마트폰(200)의 애플리케이션으로 국악 커리큘럼에 따른 실습 데이터를 전송하고, 학습자 스마트폰(200)의 애플리케이션으로부터 실습완료 데이터를 회신 받아 다시 교정된 실습 데이터를 전송함으로써, 교육효과를 향상시킬 수 있다.
즉, 제안된 애플리케이션과 연동되어 전통음악 자가학습이 가능한 디지털 악기 시스템(1)은 하드웨어-애플리케이션통합형 국악 자가학습 서비스 플랫폼으로서, Contents(국악커리큘럼) + Device(디지털피아노) + Network(APP, BLE;OTG)의 유기적 구성으로 이루어진다.
국악기 및 국악곡용 PPM - PPM 패턴(pattern), 프레이즈(phrase), 모티프(motif) - 데이터베이스 모델링 및 매핑알고리즘이 적용된다. 패턴프레이즈 추출 데이터는 악기별 평균 100건 이상이고, 현악5종(가야금, 해금, 아쟁, 거문고, 양금), 관악5종(대금, 소금, 피리, 태평소, 단소), 타악5종(꽹과리, 장구, 징, 북, 난타북), 성악2종(남성, 여성)을 선택하여 연주할 수 있다.
<표 1>
Figure 112020089571411-pat00001
<표 2>
Figure 112020089571411-pat00002
<표 3>
Figure 112020089571411-pat00003
표 1 내지 표 3을 참조하면, 디지털 악기(100) 및 학습자 스마트폰(200)에서 선택할 수 있는 음원 구성은, 고용량 피아노 1종, 피아노 음색 외(GM) 30~40종, 국악기 음색 10종이다. 각 악기별로 주법 Function 구현 별 구분 Key로 활용할 MOD값을 설정하고, 악기별 주법 구현 시 MOD 값에 따른 음색 Layer를 불러오는 형태로 각 악기의 음색 구현한다.
자동반주(Auto accompaniment)기능을 변형하여, 고품질의 국악 장단 패턴을 적용하고, 국악 장단 패턴을 통해, PPM 악구 미디 데이터 및 오디오 파일 활용 가능하다.
도 4는 국악악기의 연주를 제어할 수 있는 연주메뉴의 예시도이다.
도 4를 참조하면, 디지털 악기(100) 및 학습자 스마트폰(200)은 히든 기능(Hidden Function)을 통해 국악모드로 진입하고, 국악의 특색을 살리기 위한 조작부의 주법 Option을 설정할 수 있다.
국악기별 건반을 주법부 / 연주부의 구역을 나눠, 국악기별 Bass부의 Function 건반 지정(MOD)하고, 주법부와 연주부의 동시 타건으로 악기별 음색 Data와 주법 Data를 동시 출력할 수도 있다.
참고적으로 연주메뉴는 애플리케이션에 표시되는 사용자 인터페이스일 뿐만 아니라, 디지털 악기(100)에 물리적으로 구현된 사용자 인터페이스로써 정의될 수 있다. 애플리케이션에 표시되는 사용자 인터페이스(연주메뉴)와, 디지털 악기(100)에 물리적으로 구현된 사용자 인터페이스(연주메뉴)는 동일할 수도 있고 각각 다르게 구현될 수도 있다.
한편, 제안된 디지털 악기 시스템(1)에서 학습자 스마트폰(200)의 애플리케이션은, 디지털 악기(100)에서 국악악기가 선택되어 연주될 때, 선택된 국악악기의 연주를 함께 제어할 수 있는 연주메뉴를 터치 스크린에 표시하고 터치 스크린의 터치 제어에 따라 디지털 악기(100)에서 선택된 국악악기의 연주가 제어된다.
즉, 사용자는 학습자 스마트폰(200)의 애플리케이션과 디지털 악기(100)에서 국악악기를 동시에 이용하여 연주를 진행할 수 있다. 따라서 디지털 악기(100)에 적용되지 않은 확장기능 및 확장연주기능을 학습자 스마트폰(200)의 애플리케이션을 통해 구현할 수 있다.
도 5는 국악악기의 연주를 제어할 수 있는 연주메뉴의 다른 예시도이다.
도 5를 참조하면, 연주메뉴는 애플리케이션에 표시되는 사용자 인터페이스일 뿐만 아니라, 디지털 악기(100)에 물리적으로 구현된 사용자 인터페이스로써 정의될 수 있다. 애플리케이션에 표시되는 사용자 인터페이스(연주메뉴)와, 디지털 악기(100)에 물리적으로 구현된 사용자 인터페이스(연주메뉴)는 동일할 수도 있고 각각 다르게 구현될 수도 있다.
학습자 스마트폰(200)은 지도자 스마트폰(300)으로부터 실습 데이터가 수신되면, 실습 데이터에 포함된 국악악기의 연주를 제어할 수 있는 연주메뉴를 터치 스크린에 표시하고 터치 스크린의 터치 제어에 따라 연주가 제어되는 동시에 디지털 악기(100)에서도 선택된 국악악기의 연주가 자동 연동되어 제어될 수 있다.
학습자 스마트폰의 애플리케이션은, 디지털 악기(100)에서 연주할 수 있는 복수의 국악악기 중에서 현악기가 선택되거나, 현악기용 실습 데이터가 수신되면 실습 데이터에 포함된 국악악기의 연주를 제어할 수 있는 연주메뉴를 터치 스크린에 표시하고 터치 스크린의 터치 제어에 따라 연주가 제어된다.
이때, 디지털 악기(100)에 물리적으로 구현된 연주메뉴와, 학습자 스마트폰(200)의 애플리케이션에서 표시되는 연주메뉴는, 조절각도를 조절하여 꺾기, 농현 잔농현 및 추성/퇴성 중 어느 하나를 조절할 수 있도록 구성되는 제어 조이스틱과,
뜯기, 튕기기, 구르기, 구르고막기 및 막기를 선택할 수 있는 복수의 제1 버튼과,
악기변경, 경기Eb/남도C, 이중연음, 자유연음, 느린연음, 빠른연음을 선택할 수 있는 복수의 제2 버튼을 포함하여 구성된다.
참고적으로, 디지털 악기(100)는, 터치 스크린을 더 포함하며, 터치 스크린의 터치 제어에 따라 연주를 제어할 수도 있다. (터치 스크린에 학습자 스마트폰(200)에 표시되는 연주메뉴가 동일하게 표시되거나, 특정 버튼이 표시될 수 있음)
디지털 악기(100)가 특히 가야금을 재생할 때의 상태 및 동작은 다음과 같이 정의된다.
- 꺽기(왼손주법)
버튼을 누르면 꺽기 미디 파일이 자동재생되며, 누르면 끝까지 한번 재생된다. 연주 채널 연주 포트는 CH1, PORT1으로 정의됨, 빠르기는 미디파일의 설정 빠르기 120으로 설정된다. 굵은 농현/전농현과 동시에 재생되지는 않는다.
- 막기(왼손주법)
초기 전원 턴온시, 연주채널은 CTRL 64, 127로 정의된다. 버튼을 누르면 CTRL 64, 0 정의되고, 떼면 CTRL 64, 127로 정의된다.
- 장농현(왼손주법)
버튼을 누르는 동안 잔농현 미디 파일이 반복재생된다., 누르는 즉시 재생이시작되며, 버튼에서 손을 떼면 파일/패턴 재생이 멈추고 Pitch Bend Whell 값을 0으로 설정한다. 빠르기는 미디파일 설정빠르기 250으로 설정되며, 굵은 농현, 전농현 및 꺽기는 동시에 재생되지 않는다.
- 굵은 농현(왼손주법)
버튼을 누르는 동안 잔농현 미디파일이 반복재생된다. 누르는 즉시 재싱되며, 버튼에서 손을 떼면 파일/패턴 재생이 멈추고 Pitch bend wheel 값을 0으로 설정한다. 빠르기는 미디파일 설정빠르기 250으로 설정되며, 굵은 농현, 전농현 및 꺽기는 동시에 재생되지 않는다.
한편, 뜯기(기본 연주법)은 음색번호 #10 bank0 버튼을 누르면 해당음색을 설정 후 홀드되며, 튕기기(기본연주법) 음색번호 #11 bank0 버튼을 누르면 해당음색 설정 후 홀드된다.
꺽기(왼손주법)은 음색번호#12 bank0 버튼을 누르면 해당음색 설정 후 손을 떼면 뜯기로 돌아간다. 떨기(왼손주법)은 음색번호 #13bank0 버턴을 누르면 해당음색 설정 후 손을 떼면 뜯기로 돌아간다. 구르기(왼손주법)은 음색번호 #14bank0 버턴을 누르면 해당음색 설정 후 손을 떼면 뜯기로 돌아간다. 또한 구르고 막기(왼손주법)은 음색번호 #15bank0 버튼을 누르면 해당음색 설정 후 손을 떼면 뜯기로 돌아간다.
디지털 악기 시스템(1)의 부가적인 기능을 설명하면 다음과 같다.
디지털 악기(100)는 내장된 미디음원을 재생하거나 외부 데이터를 전송받아 재생하도록 구성된다.
스마트폰(200)은 무선 또는 유선 네트워크를 통해 디지털 악기(100)와 접속되어 데이터를 상호 간에 교환할 수 있도록 구성된다. 본 실시예에서 디지털 악기(100)와 스마트폰(200)은 USB OTG(Universal Serial Bus On-The-Go) 또는 블루투스 통신을 통해 접속된다.
참고적으로, USB OTG(Universal Serial Bus On-The-Go)는 호스트 장치의 개입없이 PDA나 MP3 플레이어, 휴대폰과 같은 포터블 장치들 간에서도 동작될 수 있도록 수정된 USB 규격이다. 즉, 주변기기들 간의 점대점 통신이 가능하도록 각 장치가 제한적인 범위 내에서 호스트 기능을 수행할 수 있게 하는 HNP(Host Negotiation Protocol)와 장치들의 배터리 전력소모를 줄이기 위해 상대방 기기의 요청이 있을 경우에만 연결을 유지하는 SRP(Session Request Protocol) 등 두 가지 프로토콜이 추가되었다. 전송 속도는 LS(low speed) 모드(1.5Mbps), FS(full speed) 모드(12Mbps)로 사용된다.
스마트폰(200)과 디지털 악기(100)가 USB OTG를 통해 접속될 경우, 무선 네트워크와는 달리 별도의 인증 절차 없이 스마트폰(200)의 애플리케이션을 통해 디지털 악기(100)를 제어할 수 있도록 구성된다.
참고적으로 스마트폰(200)과 디지털 악기(100)가 USB OTG를 통해 접속될 때 디지털 악기(100)의 전력소모율에 따라 USB OTG 케이블을 통한 스마트폰(200)의 충전전류가 자동 조절되도록 구성될 수 있다.
즉, 디지털 악기(100)의 제어부는 디지털 악기(100)가 구동될 때 소모되는 전류에 따라 스마트폰(200)에 공급할 수 있는 충전전류를 단계적으로 자동설정할 수 있다. 예를 들어 0.5A 내지 2A의 충전전류를 스마트폰(200)에 공급할 수 있는데, 디지털 악기(100)의 구동전류가 많이 필요 할수록 충전전류의 크기가 자동 감소하도록 동작한다.
스마트폰(200)은 디지털 악기(100)의 동작 상태를 실시간으로 전송받아 표시하고, 디지털 악기(100)의 동작설정을 제어하는 애플리케이션이 설치되어 있다. 사용자는 애플리케이션을 이용하여 디지털 악기(100)의 상태를 제어하거나 설정을 변경할 수 있다.
예를 들어 스마트폰(200)의 애플리케이션은, 디지털 악기(100)의 마스터볼륨, 선곡, 악기변경, 리듬, 템포, 메트로놈, 건반분할, 건반 레이어, 이퀄라이저 및 리버브 기능을 원격에서 설정할 수 있다.
이와 같이 디지털 악기(100)와 스마트폰(200)이 무선통신 또는 유선 케이블로 연동되어 상호 간에 데이터를 교환할 수 있으므로, 디지털 악기(100)에 내장되지 않은 새로운 음원을 스마트폰(200)을 통해 제공하거나 기존에 내장된 음원을 변경하거나 삭제할 수 있어 활용도가 높아지는 장점이 있다.
한편, 스마트폰(200)은 데이터 서버에 저장된 미디음원을 검색한 후, 디지털 악기(100)로 전송할 수 있다. 따라서 디지털 악기(100)의 데모파일 등이 업데이트 될 경우, 제조사에서는 데이터 서버에 새로운 데이터를 업로드만 하더라도, 사용자가 스마트폰(200)의 애플리케이션을 활용하여 새로운 데이터를 다운로드 한 후, 디지털 악기(100)에 적용할 수 있다.
또한, 스마트폰(200)의 애플리케이션은 디지털 악기(100)와 동일한 건반을 터치 스크린에 표시하고 사용자가 터치 스크린의 건반을 터치할 경우, 터치된 상태를 디지털 악기(100)로 전송하여 디지털 악기(100)에서 터치한 음원을 재생하는 동작이 진행될 수 있다.
즉, 스마트폰(200)의 애플리케이션에서 건반을 연주하면 음원이 디지털 악기(100)에서 재생된다. 또한, 스마트폰(200)의 애플리케이션에서 바이올린 등과 같은 타 악기를 표시하고 사용자가 터치 스크린을 통해 연주할 경우 음원이 디지털 악기(100)에 전송되어 디지털 악기(100)에서 재생될 수 있다. 이와 반대로 디지털 악기(100)의 건반에서 연주되는 음원이 스마트폰(200)에서 재생되도록 설정될 수도 있다.
또한, 스마트폰(200)의 애플리케이션은 디지털 악기(100)의 건반에 의해 연주되는 데이터를 실시간으로 저장하여 관리할 수 있다.
또한, 스마트폰(200)의 애플리케이션은, 디지털 악기(100)의 건반에 의해 연주되는 데이터와, 디지털 악기(100)를 연주하는 연주자의 동영상을 실시간으로 저장하여 관리할 수 있다.
특히 스마트폰(200)의 애플리케이션은 디지털 악기(100)를 연주하는 연주자의 손가락을 촬영한 후, 왼손 및 오른손의 각 손가락을 객체인식하여, 터치 스크린에 악보와 함께 건반을 누르는 각 손가락의 위치를 표시할 수 있다.
또한, 제1 사용자가 디지털 악기(100)의 건반을 연주하고, 제2 사용자가 스마트폰(200)의 터치 스크린에 표시되는 건반을 연주할 경우 - 동일한 악보를 연주한다고 가정함 -,
스마트폰(200)의 애플리케이션은 제1 사용자와 제2 사용자의 연주의 차이를 터치 스크린에 시각적으로 표시하여 서로 비교할 수 있는 정보를 제공할 수도 있다.
또한, 스마트폰(200)의 애플리케이션은 디지털 악기(100)에 외부 미디음원을 전송하고 외부 미디음원에 대한 악보를 표시하되, 디지털 악기(100)의 페달의 동작에 연동되어 표시되는 악보의 페이지가 변경될 수 있다.
즉, 사용자가 스마트폰(200)의 애플리케이션에 표시되는 악보를 보면서, 디지털 악기(100)의 건반을 연주하다가, 디지털 악기(100)의 페달을 밟으면 다음 페이지의 악보로 전환되는 동작이 이루어진다.
또한, 스마트폰(200)의 애플리케이션을 이용하여 임의의 악보를 영상 촬영할 경우, 촬영된 영상이 데이터 서버로 전송된다. 이때, 데이터 서버는 악보를 영상 인식하여 가장 유사한 악보 데이터들과 매칭작업을 진행하고, 유사도를 백분율로 표시한 후 복수의 악보 데이터를 스마트폰(200)로 전송한다.
스마트폰(200)의 애플리케이션에 전송된 복수의 악보 데이터는 사용자의 선택에 의해서 디지털 악기(100)로 전송되어 디지털 악기(100)의 디스플레이에 전송되거나, 스마트폰(200)의 애플리케이션에 표시되면서 디지털 악기(100)의 페달의 동작에 의해 악보의 페이지가 전환되는 동작이 이루어진다.
한편, 상술한 바와 같이, 스마트폰(200)의 애플리케이션에 표시되는 악보는, 기본적으로 디지털 악기(100)의 페달의 동작에 의해 페이지가 전환되는데, 인식보조모드가 설정될 경우 스마트폰(200)에서 디지털 악기(100)의 연주음을 인식하여 페이지 전환을 보조할 수 있다. 사용자가 페달을 연속적으로 누를 경우 자동인식모드에 의한 페이지 전환은 자동 해제되고 이전 페이지로 자동 복귀한다.
스마트폰(200)의 애플리케이션은 악보의 각 페이지 마다 초반영역, 중반영역, 후반영역의 식별 멜로디에 대한 정보를 저장하고 있으므로,
스마트폰(200)으로 입력되는 디지털 악기(100)의 연주음을 인식한 후, 페이지별 식별 멜로디와의 비교를 통해서 현재 페이지를 구분한다. 각각의 식별 멜로디는 페이지 정보까지 포함하고 있으므로, 이웃하지 않은 페이지의 식별 멜로디가 모두 동일하더라도 현재 페이지를 기준으로 페이지를 구분할 수 있다.
또한, 스마트폰(200)의 애플리케이션이 연주자의 손가락을 인식하는 방식의 예시를 설명하면 다음과 같다.
본원발명의 스마트폰(200)의 애플리케이션은 손가락을 영상 인식할 때, 소정의 크기로 설정된 탐색 윈도우 내의 픽셀 값의 변화를 감지하여 손가락의 위치 변화를 검출한다.
특히, 손을 원형이라고 가정한 후, 원의 중심점을 기준으로 반지름의 특정 비율만큼 거리 기준을 설정하여 직사각형 모양의 탐색 윈도우의 크기(세로방향 길이)를 조절할 수 있으므로, 각 손가락의 길이를 고려하여 탐색 윈도우의 크기를 효율적으로 조절할 수 있다.
즉, 탐색 윈도우의 크기가 너무 클 경우, 영상처리를 할 영역이 과도하게 커질 수 있으므로, 손가락의 길이에 따라 탐색 윈도우의 크기(세로방향 길이)를 조절함으로써 처리속도를 빠르게 할 수 있다.
또한, 원의 방정식에 따라 특정 각도만큼 탐색 윈도우를 이동시키고 복수의 탐색 윈도우를 이웃하게 나열시킨 후, 각 탐색 윈도우 내에 픽셀 변화값이 특정 값 이상일 경우 손가락이 이동한 것으로 결정할 수 있다.
즉, 본원발명은 각 손가락의 현재위치 주변으로 복수의 탐색 윈도우를 이웃하게 나열시킨 후, 각 탐색 윈도우의 픽셀 값 변화량을 인식하는 방식이므로, 인식영역이 상대적으로 작아져서 빠른 영상처리가 가능하다.
손가락의 위치를 검출할 때 위치가 초기화가 되어 있으면 계속해서 손가락의 위치를 트레킹하고, 초기화가 되어 있지 않으면 예측상태에서 손가락의 위치를 트레킹하는 방식을 사용한다.
즉, 초기화가 되어 있다는 것은 바로 직전에 손가락의 위치가 확인된 상태에서 다시 시작하는 것을 의미하므로, 탐색 윈도우를 초기화 위치 주변에 작은 면적으로 배치할 수 있어 영상처리 할 영역이 감소하여 처리속도가 빨라지는 장점이 있다.
또한, 초기화가 되어 있지 않다는 것은, 바로 직전에 손가락의 위치가 확인되지 않은 상태인데, 모든 영역을 탐색하지 않고 탐색 윈도우를 예측 되는 위치에만 배치하여 영상처리 할 영역을 감소시킬 수 있는 장점이 있다.
상술한 손가락 위치 검출방식은 피아노 뿐만 아니라 국악 악기를 연주할 때도 적용될 수 있다.
도 6은 지도자의 스마트폰에서 전송되는 실습 데이터의 예시도이고, 도 7은 실습 데이터를 실습하면서 촬영된 실습동영상의 예시도이다.
도 6 및 도 7을 참조하면, 지도자 스마트폰(300)은 학습자 스마트폰(200)의 애플리케이션으로 국악 커리큘럼에 따른 실습 데이터를 전송하고, 학습자 스마트폰(200)의 애플리케이션으로부터 실습 데이터를 회신 받아 다시 교정된 실습 데이터를 전송함으로써, 교육효과를 향상시킬 수 있다.
이때, 사용자(학생)는 학습자 스마트폰(200)의 애플리케이션을 통해 실습 데이터를 디지털 악기(100)를 통해 연주하는 과정을 동영상 촬영하여 지도자 스마트폰(300)으로 전송할 수 있다.
이때, 촬영된 동영상으로 지도자 스마트폰(300)으로 직접 전송되거나, 유튜브 등과 같은 SNS 사이트를 통해 상호 간 또는 그룹 간 공유될 수 있다.
본 발명의 실시예에 따른 디지털 악기 시스템은 도제적 환경에서 구전심수를 유일한 교육방법론으로 하여 전승되는 기존 국악교육 프로그램을 혁신하고 최신 유무선통신 기술을 통해 실물전자악기와 모바일앱이 연결된 환경의 디지털 악기 시스템을 구현한다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 디지털 악기
200 : 학습자 스마트폰
300 : 지도자 스마트폰

Claims (6)

  1. 국악모드로 진입할 경우 미리 설정된 복수의 국악악기 중에서 어느 하나를 선택하여 연주를 제어하거나, 내장된 미디음원을 재생하거나 외부 데이터를 전송받아 재생하는 디지털 악기; 및
    유선 또는 무선 네트워크를 통해 상기 디지털 악기와 접속되어 데이터를 상호 간에 교환함에 있어서, 상기 디지털 악기의 동작 상태를 실시간으로 전송받아 표시하고, 상기 디지털 악기의 동작설정을 제어하는 애플리케이션이 설치되는 학습자 스마트폰;을 포함하고,
    상기 학습자 스마트폰과 상기 디지털 악기가 USB OTG(Universal Serial Bus On-The-Go) 케이블을 통해 상호 간에 접속될 때, 상기 디지털 악기의 전력소모율에 따라 USB OTG 케이블을 통한 상기 학습자 스마트폰의 충전전류가 자동 조절되고,
    상기 학습자 스마트폰의 애플리케이션은 상기 디지털 악기를 연주하는 연주자의 손가락을 촬영한 후, 왼손 및 오른손의 각 손가락을 객체인식하여, 터치 스크린에 악보와 함께 건반을 누르는 각 손가락의 위치를 표시하고,
    상기 학습자 스마트폰에서 상기 디지털 악기의 연주음을 인식하여 악보의 페이지를 자동 전환함에 있어서, 페이지별 식별 멜로디와의 비교를 통해서 현재 페이지를 구분하는 것을 특징으로 하는 디지털 악기 시스템.
  2. 제1항에 있어서,
    상기 학습자 스마트폰의 애플리케이션은,
    상기 디지털 악기에서 국악악기가 선택되어 연주될 때, 선택된 국악악기의 연주를 함께 제어할 수 있는 연주메뉴를 상기 터치 스크린에 표시하고 상기 터치 스크린의 터치 제어에 따라 상기 디지털 악기에서 선택된 국악악기의 연주가 제어되는 것을 특징으로 하는 디지털 악기 시스템.
  3. 제1항에 있어서,
    상기 학습자 스마트폰의 애플리케이션은,
    상기 디지털 악기에서 연주할 수 있는 상기 복수의 국악악기 중에서 현악기가 선택될 경우,
    선택된 국악악기의 연주를 함께 제어할 수 있는 연주메뉴를 상기 터치 스크린에 표시함에 있어서,
    상기 연주메뉴는, 조절각도를 조절하여 꺾기, 농현 잔농현 및 추성/퇴성 중 어느 하나를 조절할 수 있도록 구성되는 제어 조이스틱과, 뜯기, 튕기기, 구르기, 구르고막기 및 막기를 선택할 수 있는 복수의 제1 버튼과, 악기변경, 경기Eb/남도C, 이중연음, 자유연음, 느린연음, 빠른연음을 선택할 수 있는 복수의 제2 버튼을 포함하는 것을 특징으로 하는 디지털 악기 시스템.
  4. 국악모드로 진입할 경우 미리 설정된 복수의 국악악기 중에서 어느 하나를 선택하여 연주를 제어하거나, 내장된 미디음원을 재생하거나 외부 데이터를 전송받아 재생하는 디지털 악기;
    유선 또는 무선 네트워크를 통해 상기 디지털 악기와 접속되어 데이터를 상호 간에 교환함에 있어서, 상기 디지털 악기의 동작 상태를 실시간으로 전송받아 표시하고, 상기 디지털 악기의 동작설정을 제어하는 애플리케이션이 설치되는 학습자 스마트폰; 및
    상기 학습자 스마트폰의 애플리케이션으로 국악 커리큘럼에 따른 실습 데이터를 전송하는 지도자 스마트폰;을 포함하고,
    상기 학습자 스마트폰과 상기 디지털 악기가 USB OTG(Universal Serial Bus On-The-Go) 케이블을 통해 상호 간에 접속될 때, 상기 디지털 악기의 전력소모율에 따라 USB OTG 케이블을 통한 상기 학습자 스마트폰의 충전전류가 자동 조절되고,
    상기 학습자 스마트폰의 애플리케이션은 상기 디지털 악기를 연주하는 연주자의 손가락을 촬영한 후, 왼손 및 오른손의 각 손가락을 객체인식하여, 터치 스크린에 악보와 함께 건반을 누르는 각 손가락의 위치를 표시하고,
    상기 학습자 스마트폰에서 상기 디지털 악기의 연주음을 인식하여 악보의 페이지를 자동 전환함에 있어서, 페이지별 식별 멜로디와의 비교를 통해서 현재 페이지를 구분하는 것을 특징으로 하는 디지털 악기 시스템.
  5. 제4항에 있어서,
    상기 학습자 스마트폰의 애플리케이션은,
    상기 실습 데이터가 수신되면, 상기 실습 데이터에 포함된 국악악기의 연주를 제어할 수 있는 연주메뉴를 상기 터치 스크린에 표시하고 상기 터치 스크린의 터치 제어에 따라 연주가 제어되되,
    상기 디지털 악기에서도 선택된 국악악기의 연주가 자동 연동되어 제어되는 것을 특징으로 하는 디지털 악기 시스템.
  6. 제4항에 있어서,
    상기 학습자 스마트폰의 애플리케이션은,
    상기 실습 데이터가 수신되면, 상기 실습 데이터에 포함된 국악악기의 연주를 제어할 수 있는 연주메뉴를 상기 터치 스크린에 표시하고 상기 터치 스크린의 터치 제어에 따라 연주가 제어되되,
    상기 연주메뉴는, 조절각도를 조절하여 꺾기, 농현 잔농현 및 추성/퇴성 중 어느 하나를 조절할 수 있도록 구성되는 제어 조이스틱과, 뜯기, 튕기기, 구르기, 구르고막기 및 막기를 선택할 수 있는 복수의 제1 버튼과, 악기변경, 경기Eb/남도C, 이중연음, 자유연음, 느린연음, 빠른연음을 선택할 수 있는 복수의 제2 버튼을 포함하는 것을 특징으로 하는 디지털 악기 시스템.
KR1020200107383A 2020-08-25 2020-08-25 애플리케이션과 연동되어 전통음악 자가학습이 가능한 디지털 악기 시스템 KR102397471B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200107383A KR102397471B1 (ko) 2020-08-25 2020-08-25 애플리케이션과 연동되어 전통음악 자가학습이 가능한 디지털 악기 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200107383A KR102397471B1 (ko) 2020-08-25 2020-08-25 애플리케이션과 연동되어 전통음악 자가학습이 가능한 디지털 악기 시스템

Publications (2)

Publication Number Publication Date
KR20220026662A KR20220026662A (ko) 2022-03-07
KR102397471B1 true KR102397471B1 (ko) 2022-05-13

Family

ID=80817512

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200107383A KR102397471B1 (ko) 2020-08-25 2020-08-25 애플리케이션과 연동되어 전통음악 자가학습이 가능한 디지털 악기 시스템

Country Status (1)

Country Link
KR (1) KR102397471B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012078594A (ja) * 2010-10-01 2012-04-19 Gen Miyagi ソルフェージュ学習システム、ソルフェージュ学習提供サーバ、及びプログラム
KR101850875B1 (ko) * 2016-11-28 2018-04-23 주식회사 다이나톤 다양한 연주모드를 갖는 디지털 국악기
JP2018159770A (ja) * 2017-03-22 2018-10-11 ヤマハ株式会社 電子楽器制御端末、電子楽器制御システム、電子楽器制御プログラムおよび電子楽器制御方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101777204B1 (ko) 2015-12-10 2017-09-11 주식회사 영창뮤직 스마트폰을 이용한 디지털 피아노 녹음장치

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012078594A (ja) * 2010-10-01 2012-04-19 Gen Miyagi ソルフェージュ学習システム、ソルフェージュ学習提供サーバ、及びプログラム
KR101850875B1 (ko) * 2016-11-28 2018-04-23 주식회사 다이나톤 다양한 연주모드를 갖는 디지털 국악기
JP2018159770A (ja) * 2017-03-22 2018-10-11 ヤマハ株式会社 電子楽器制御端末、電子楽器制御システム、電子楽器制御プログラムおよび電子楽器制御方法

Also Published As

Publication number Publication date
KR20220026662A (ko) 2022-03-07

Similar Documents

Publication Publication Date Title
US9558727B2 (en) Performance method of electronic musical instrument and music
JP4328828B2 (ja) 携帯型和音出力装置、コンピュータプログラムおよび記録媒体
WO2014079186A1 (zh) 音频文件制作方法及终端设备
US8431809B1 (en) Electronic music display
JP2008524656A (ja) 同期化されたプレゼンテーションを伴う楽譜捕捉および同期化されたオーディオパフォーマンス用のシステムおよび方法
CN101278334A (zh) 合奏系统
US9177484B2 (en) Apparatus and method of supporting communication and performance among a group of musicians
WO2017028686A1 (zh) 一种信息处理方法、终端设备及计算机存储介质
JP2014130187A (ja) カラオケ装置
CN105489209A (zh) 一种电声乐器节奏可控的方法及其对卡拉ok的改进
KR102397471B1 (ko) 애플리케이션과 연동되어 전통음악 자가학습이 가능한 디지털 악기 시스템
KR102244293B1 (ko) 모바일 기기와 연동되는 디지털 피아노 시스템
CN203812192U (zh) 具乐器演奏功能的空中飞鼠
CN101551997A (zh) 一种乐曲辅助学习系统
CN201397672Y (zh) 乐曲学习系统
JP2016206490A (ja) 表示制御装置、電子楽器およびプログラム
JP5969421B2 (ja) 楽器音出力装置及び楽器音出力プログラム
JP5847048B2 (ja) ピアノロール型譜表示装置、ピアノロール型譜表示プログラム、及びピアノロール型譜表示方法
KR100650890B1 (ko) 음악 연주 장치를 가지는 이동통신 단말기 및 그단말기에서의 음악 연주 방법
KR100841047B1 (ko) 곡 데이터 편집 기능 및 mp3기능이 내장된 휴대용 플레이어
CN214752917U (zh) 电子乐器
CN101552002B (zh) 一种媒体播放装置及媒体操作方法
CN201397671Y (zh) 媒体播放设备
CN211555452U (zh) 一种超轻便midi乐器
CN101551999A (zh) 一种自动翻页装置

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant