KR101790998B1 - 악보전환방법 및 악보전환장치 - Google Patents

악보전환방법 및 악보전환장치 Download PDF

Info

Publication number
KR101790998B1
KR101790998B1 KR20160157228A KR20160157228A KR101790998B1 KR 101790998 B1 KR101790998 B1 KR 101790998B1 KR 20160157228 A KR20160157228 A KR 20160157228A KR 20160157228 A KR20160157228 A KR 20160157228A KR 101790998 B1 KR101790998 B1 KR 101790998B1
Authority
KR
Grant status
Grant
Patent type
Prior art keywords
switching
method
music
score
device
Prior art date
Application number
KR20160157228A
Other languages
English (en)
Inventor
이성호
Original Assignee
이성호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Grant date

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10GAIDS FOR MUSIC; SUPPORTS FOR MUSICAL INSTRUMENTS; OTHER AUXILIARY DEVICES OR ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS
    • G10G1/00Means for the representation of music
    • G10G1/02Chord or note indicators, fixed or adjustable, for keyboard of fingerboards
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING; COUNTING
    • G06KRECOGNITION OF DATA; PRESENTATION OF DATA; RECORD CARRIERS; HANDLING RECORD CARRIERS
    • G06K9/00Methods or arrangements for reading or recognising printed or written characters or for recognising patterns, e.g. fingerprints
    • G06K9/00006Acquiring or recognising fingerprints or palmprints

Abstract

본 발명은 스마트폰과 같은 전자기기에서 보여지는 악보를 연주자의 연주음에 따라 자동으로 전환시켜주는 악보전환방법 및 악보전환장치와 관련되며,실시예로 일정기간 동안에 입력된 연주음악으로부터 상기 연주음악의 고유 특성을 나타내는 핑거프린트를 산출하는 단계, 상기 핑거프린트와 미리 저장된 핑거프린트를 대비하여 양자의 유사도를 측정하는 단계 및 상기 유사도의 측정 결과가 미리 설정한 기준을 만족하면, 화면에 표시되는 악보를 상기 미리 저장된 핑거프린트와 짝지어진 악보위치로 전환시키는 단계를 포함하는 악보전환방법 및 이를 구현하는 악보전환장치를 제시한다.

Description

악보전환방법 및 악보전환장치{Switching Method of music score and device thereof}

본 발명은 스마트폰과 같은 전자기기에서 보여지는 악보를 연주자의 연주음에 따라 자동으로 전환시켜주는 악보전환방법 및 악보전환장치와 관련된다.

연주자가 다루는 악기는 대개 양손을 사용하는 것이고, 경우에 따라 사지를 전부 사용하기도 한다. 연주자가 악보를 넘기려면 연주가 잠시 중단되어야 하므로, 연주 중 악보를 넘기는 행위는 연주자에게 매우 번거롭다.

한편 디스플레이 수단을 구비하여 시각적 표출이 가능한 휴대용 전자기기는 널리 보급되어 있다. 이러한 휴대용 전자기기에 통신 기능이 부가됨으로써, 인터넷 등을 통해 임의의 악보를 쉽게 입수하고, 화면으로 보면서 연주가 가능하다.

휴대용 전자기기에서 악보를 자동으로 넘겨줌으로써 연주자의 편의성을 향상시키려는 시도가 있었다. 대표적인 예가 타이머를 이용하여, 일정 시간이 지나면 다음의 악보를 보여주는 식으로 화면이 전환되는 것이다. 이러한 종래의 기술은 악보를 넘길 시간을 정확하게 계산하기 위해 연주속도를 정확히 설정해야 하는 번거로움이 있다. 또 동일한 악보가 주어지더라도 연주자의 숙련도, 성향 등에 따라 해당 악보에 대한 연주속도가 다르다는 점과, 보여진 악보의 마지막 부분에서 사용자마다 다음 악보로 넘기는 타이밍이 조금씩 다르다는 점을 반영하지 못하는 한계가 있다.

대한민국 공개특허 제20-2013-0004408호 (2012.07.16) 대한민국 공개특허 제10-2014-0102332호 (2014.08.22)

본 발명은 악보의 전환을 연주자의 연주음과 연동시키는 방법을 제공한다. 이러한 연동의 결과로 연주자는 악보를 넘기기 위한 조작 없이 바뀐 악보를 참고하여 연주를 이어나갈 수 있도록 하고자 한다.

그 외 본 발명의 세부적인 목적은 이하에 기재되는 구체적인 내용을 통하여 이 기술분야의 전문가나 연구자에게 자명하게 파악되고 이해될 것이다.

위 과제를 해결하기 위하여 본 발명은 실시예로, 일정기간 동안에 입력된 연주음악으로부터 상기 연주음악의 고유 특성을 나타내는 핑거프린트를 산출하는 단계, 상기 핑거프린트와 미리 저장된 핑거프린트를 대비하여 양자의 유사도를 측정하는 단계 및 상기 유사도를 측정한 결과가 미리 설정한 기준을 만족하면, 화면에 표시되는 악보를 상기 미리 저장된 핑거프린트와 짝지어진 악보위치로 전환시키는 단계를 포함하는 악보전환방법을 제시한다.

또한 전자기기를 통하여 표출되는 악보를 전환시키는 방법에 있어서, 연주자에 의한 상기 전자기기의 조작에 따라 변경된 악보위치와, 상기 조작 직전의 연주음악을 분석한 핑거프린트를 포함하는 전환기록을 생성하고, 상기 전환기록을 저장하는 단계와, 이후 연주자에 의한 연주음악을 분석하여 산출한 핑거프린트와 상기 전환기록에 저장된 핑거프린트를 대비하고, 양자가 미리 설정된 기준 이상으로 유사한 것으로 판단되면, 저장된 악보위치에 따라 연주자에게 제공되는 악보를 전환시키는 단계를 포함하는 악보전환방법을 제시한다.

나아가 상기 전환기록은 상기 조작 직전의 연주음악에 의한 상기 핑거프린트, 상기 조작으로 변경된 악보위치 및 상기 조작 직전에 표출되고 있던 현재악보위치를 포함할 수 있다.

또한 미리 저장된 핑거프린트 중 복수가, 상기 연주음악으로부터 산출된 핑거프린트와 미리 설정된 기준 이상으로 유사한 것으로 검출되면, 검출된 각 핑거프린트와 짝지어진 악보위치에 따른 복수의 악보가 상기 전자기기에서 함께 표출될 수 있다.

또한 상기 악보위치는 하나의 악보 이미지를 저장하고 있는 각 파일, 악보 이미지가 복수로 분할된 각 부분, 악보의 이미지가 일부 겹쳐지도록 복수로 분할된 각 부분 및 이들의 조합 중 하나를 포함할 수 있다.

또한 악보를 표출시키는 악보표출부, 상기 악보를 전환시키는 조작명령을 입력받는 조작부, 연주음악을 입력받는 입력부, 상기 입력부로 들어온 연주음악으로부터 연주 특성을 분석한 핑거프린트를 생성하는 특성분석부, 상기 조작부를 통해 악보표출부에서 이전된 악보위치와, 조작명령이 입력된 당시의 상기 특성분석부의 핑거프린트로 전환기록을 생성하여 저장하는 기록생성부, 상기 특성분석부에서 산출된 핑거프린트를 상기 기록생성부에서 저장해둔 핑거프린트와 대비하는 검색부 및 상기 검색부의 결과에 따라 상기 기록생성부에 핑거프린트와 짝지어 기록되었던 악보위치를 읽어들여 표출할 악보 위치를 특정하고, 상기 악보표출부로 특정된 결과를 전달하는 전환부를 포함하는 악보전환장치를 제시한다.

본 발명의 실시예에 따르면, 연주자는 악보를 넘기기 위한 전자기기의 조작 없이 악보를 넘길 수 있어 편리함이 증대된다.

그 외 본 발명의 효과들은 이하에 기재되는 구체적인 내용을 통하여, 또는 본 발명을 실시하는 과정 중에 이 기술분야의 전문가나 연구자에게 자명하게 파악되고 이해될 것이다.

도 1은 본 발명의 실시예에 따른 악보전환장치의 구성을 나타낸 블록도.
도 2는 본 발명의 실시예에 따른 연주음악의 조각을 추출하는 방법과 관련된 도면.
도 3은 본 발명의 실시예에 따른 악보 전환의 예를 나타낸 도면.
도 4는 본 발명의 실시예에 따른 전환기록과 검색부의 작동을 나타낸 도면.
도 5는 본 발명의 다른 실시예에 따른 전환기록과 검색부의 작동을 나타낸 도면.

이하 첨부된 도면을 참고하여 본 발명에 따른 악보전환방법 및 악보전환장치의 구성, 기능 및 작용을 설명한다. 단, 도면들에 걸쳐 동일하거나 유사한 구성요소에 대한 도면번호는 통일하여 사용하기로 한다. 또한 도 4와 도 5에서 악보와 악보위치에 대한 표기는 동일하게 영문자 대문자를 사용하기로 한다.

첨부된 도면은 본 발명의 적용된 실시예를 나타낸 것으로, 본 발명의 기술적 사상을 첨부된 도면을 통하여 제한 해석해서는 아니된다. 이 기술분야에 속하는 전문가의 견지에서 도면에 도시된 일부 또는 전부가 발명의 실시를 위하여 필연적으로 요구되는 형상, 모양, 순서가 아니라고 해석될 수 있다면, 이는 청구범위에 기재된 발명을 한정하지 아니한다.

본 발명의 설명에 있어서, "악보"는 연주자가 연주함에 있어 참조할 수 있는 수단이다. 악보는 전통적으로 사용되는 오선지에 음표 등을 기입한 이미지로 제공될 수 있으며, 이러한 오선지를 대체하여 사용되는 코드표, 운지표 등 다양한 형태가 될 수 있다. 또한 표출되는 악보의 형태는 기본적으로 화면을 통해 제시되는 이미지이지만, 경우에 따라 소리나 점자 등으로 대체될 수 있다.

"전자기기"는 악보를 표출할 수 있는 장치이다. 악보를 이미지 형태로 제공하려는 경우에 전자기기는 디스플레이 화면을 구비한다. 또한 전자기기는 연주음악을 입력받기 위한 마이크, 입력된 연주음악을 분석하기 위한 연산수단을 구비한다. 이러한 전자기기는 스마트폰, 휴대용 태블릿 등 다양한 종류를 포함한다.

"연주음악"은 연주자가 발성 또는 악기를 통해 실제로 낸 소리를 의미한다.

"연주 특성"은 어느 연주음악과 다른 연주음악을 구분하는 고유한 특성을 의미한다. 연주 특성은 연주음악을 다양한 전자적 수단으로 분석함으로써 얻어진다. 이러한 연주 특성을 포함하는 데이터를 "핑거프린트"라 한다.

"악보위치"는 연주자에게 제공되는 악보를 특정하기 위한 것이다. 예를 들어, 이미지 1장당 하나의 이미지 파일로 이루어진 악보의 경우에, 악보위치는 각 파일을 가리키는 값으로 제공될 수 있다. 또는 1장의 이미지로 이루어진 악보를 복수로 분할하여 연주자에게 그 일부를 표출할 경우, 악보위치는 분할된 악보의 좌상단의 좌푯값이 될 수 있다. 이렇듯 악보위치는 어느 악보의 어디 부분을 사용자게 표출할 것인지를 결정짓는 수단으로써, 사용자가 임의로 표출시킨 악보로부터 추출될 수 있다.

본 발명의 실시예에 따른 악보전환장치는 악보표출부, 조작부, 입력부, 특성분석부, 기록생성부, 검색부 및 전환부를 포함한다.

악보표출부는 악보를 사용자에게 표출하는 것으로, 예를 들어 시각적 표출을 위한 디스플레이 유닛이 될 수 있다. 또 다른 예로 악보를 음성이나 특정 사운드로 전환하여 소리로 들려주는 장치나, 시각장애인을 위하여 촉감을 통해 정보를 전달하는 장치 등이 사용될 수 있다. 이렇듯 악보표출부는 사용자에게 악보에 기재된 내용을 전달하고자 한 모든 장치가 사용될 수 있다.

조작부는 사용자가 직접 악보를 전환시킬 수 있게 하는 수단이다. 예를 들어 악보를 넘기기 위한 누름 버튼, 발로 밟아 사용하는 발판 스위치 등이 될 수 있다. 또한 악보표출부가 터치 스크린으로 이루어진 경우에, 터치 스크린이 조작부가 될 수 있다. 조작부는 전자기기에 부속되어 있거나, 전자기기와 연결되어 사용되는 부수적인 장치가 될 수 있다.

입력부는 연주음악을 입력받는 수단으로, 예를 들어 마이크를 사용할 수 있다.

특성분석부는 입력부로 들어온 연주음악으로부터 연주 특성을 분석하여 핑거프린트를 생성한다. 핑거프린트는 연주음악의 고유한 특성을 전산 처리하여 산출한 결과이다. 핑거프린트를 생성하는데 있어, 연주의 음파 신호를 변환시키는 방법을 사용할 수 있으며, 예를 들어 Mel 주파수 캡스트럼(MFCC, Mel-frequency cepstral coefficient) 웨블릿(wavelet), 인공신경망(artifical neural network) 등 이미 공지된 다양한 수단이 사용될 수 있다.

기록생성부는 조작부를 통해 전환된 악보위치와, 조작명령이 입력된 당시의 핑거프린트를 한 쌍으로 짝지어 전환기록을 생성하고, 이 전환기록을 메모리에 저장한다.

검색부는 특성분석부에서 산출된 핑거프린트를 기록생성부가 저장해둔 핑거프린트와 대비한다. 여기서 대비는 양 핑거프린트의 유사도 측정 방식으로 할 수 있다.

전환부는 검색부에서 양 핑거프린트가 어느 수준으로 가깝거나 동일하다고 판단된 결과를 근거로, 기록생성부에 저장된 악보위치를 읽어들여 표출할 악보 위치를 특정하고, 특정된 결과를 악보표출부로 전달함으로써 악보표출부에서 악보가 전환되도록 한다.

이러한 구성의 악보전환장치의 작동과 효과를 아래의 악보전환방법과 함께 설명한다.

본 발명의 실시예에 따른 악보전환방법은 악보를 연주자에게 표출시키는 전자기기를 사용한다.

악보전환방법은 크게 두 부분으로 구분되는데, 첫째 사용자가 악보를 넘기는 조작을 하였을 때에 연주음악의 연주 특성과 넘긴 악보 위치를 저장하여, 어느 연주음악이 연주되었을 때에 어디로 악보가 전환되었는지를 기록하는 단계와, 둘째 연주자가 연주한 연주음악을 위 첫째 단계에서 기록된 연주음악과 대비하고, 양자가 동일하거나 일정 수준 이상으로 유사한 것으로 인정되면 지정된 악보 위치로 악보를 전환시키는 단계이다.

첫 번째의 기록하는 단계는 미리 전문가에 의해 작성되어 사용자(연주자)에게 제공될 수도 있다. 이 경우, 전문가는 미리 정해진 악보에 근거하여 특정 연주음악이 연주된 이후 어디로 악보를 전환 시킬지에 대한 정보들을 생성하여, 데이터베이스를 완성하고, 이를 사용자가 전자기기에 다운로드 받아 사용할 수 있다.

이와 달리, 사용자가 직접 첫 번째 단계를 수행할 수 있는데, 이로써 사전 데이터베이스 작성이 안된 악보를 자동 전환시킬 수 있고, 사용자가 보유한 전자기기에 적합한 악보의 크기 조절(화면 사이즈 및 개인의 취향에 따라 달라질 수 있음)이 가능하며, 악보의 전환 위치 등을 개인 맞춤별로 설정할 수 있는 등의 차별화된 장점을 가지게 된다.

두 번째 단계를 통해 연주자는 악보를 넘기기 위한 조작을 생략하고, 악기 연주에 집중할 수 있게 된다. 특히 연주 시간이 긴 음악을 연주함에 있어서, 악보 넘기기 위한 조작을 생략하여 얻어지는 효과가 크다.

첫 번째 단계와 두 번째 단계는 악보전환장치에서 운영되는 각 프로그램으로 제공될 수 있으며, 첫 번째 단계의 프로그램과 두 번째 단계의 프로그램은 동시에 구동될 수 있다.

바람직한 실시예에서, 연주자에 의한 전환기록의 생성 및 기록과, 연주음악에 의한 악보 전환 작동이, 하나의 프로그램 구동으로써 수행될 수 있다.

연주자의 입장에서는 자신의 악기를 연주하면서 악보를 넘기는 조작을 하여 첫 번째 단계를 수행하고, 또한 악보에 따라 연주를 진행함에 따라 두 번째 단계에 따라 악보의 자동 전환이 이루어져 새로운 악보를 제시받게 된다. 이후로도 연주자는 새로이 조작부를 조작하거나(첫 번째 단계가 수행됨), 자신의 특정 부분의 연주를 통해 또 새로운 악보를 제공받을 수 있다(두 번째 단계가 수행됨).

본 발명의 실시예에서, 연주 중 언제, 어디로 악보를 전환시킬지는 연주자에 의해 연주되고 있는 연주음악에 따라 결정된다. 전술한 첫 번째 단계는, 연주자에 의한 전자기기의 조작에 따라 변경된 악보위치와 함께 조작 직전의 연주음악을 분석한 핑거프린트를 저장하여 전환기록을 생성하는 것이다. 생성된 전환기록은 향후 연주자의 연주음악과 대비하여 언제, 어디로 악보를 전환 시킬지에 대한 판단 자료가 된다.

악보전환장치에 구비된 입력부를 통해 연주음악을 실시간으로 입력받는다.

도 2에는 연주음악과 전환기록의 생성과정을 간략히 도시하고 있다. 도면에서 가로선은 시간의 흐름을 나타내고 있으며, 연주음악은 파형으로 나타낼 수 있다.

미리 정해진 간격에 따라 연주음악은 일정 시간 단위로 나뉜다. 예를 들어 매 초(.. t2, t3, t4, t5, t6, t7 ..)마다 과거 5초(d)간 입력된 연주음악을 처리할 연주음악의 조각으로 취급할 수 있다. 도면에서는 t3 부터 t7 시점에서 일정 시간 간격(d)로 나뉜 연주음악의 조각을 도시하고 있다.

이러한 연주음악의 조각들을 셈플링하는 간격과, 각 조각의 시간 등은 처리할 데이터의 크기나 연산수단의 능력에 따라 달리 설정될 수 있다.

또한 셈플링된 연주음악의 조각들에 대하여 노이즈 제거, 증폭 등 다음의 처리를 위한 전처리가 이루어질 수 있다.

연주음악의 조각들은 특성분석부로 전달되어 각 조각마다 연주 특성이 분석된 핑거프린트가 생성된다. 핑거프린트는 기록생성부와, 검색부로 전달된다.

이러한 특성분석부의 작동은, 악보전환장치가 작동하는 동안 지속적으로 이루어질 수 있다.

기록생성부는 조작부에서 이루어진 사용자의 조작을 이벤트로 받아들여 작동하게 된다.

사용자가 조작부를 통해 이벤트를 발생시키면, 그 결과로 악보표출부에서 악보의 전환이 이루어진다. 예를 들어 터치 스크린에서 악보 넘김 버튼을 눌러 다음 장의 악보로 넘기거나, 스크롤하여 아래 또는 위의 악보로 전환시킬 수 있다.

사용자의 조작명령은 통상 이벤트 함수로 처리될 수 있다. 이벤트 함수가 발생한 시점을 기준으로 하여 가장 최근의 핑거프린트를 특정할 수 있다. 특정된 핑거프린트와 함께 조작부를 통하여 전환된 악보를 특정하는 악보위치를 짝지어 전환기록을 생성한다.

여기서 악보위치는 한 장의 악보 이미지를 저장하고 있는 각 파일, 악보 이미지가 복수로 분할된 각 부분, 악보의 이미지가 일부 겹쳐지도록 복수로 분할된 각 부분 및 이들의 조합 중 하나를 포함할 수 있다.

도 3을 참고하여, 구체적으로 살펴보면, 먼저 도 3의 (a)에서 악보가 이미지 파일 포맷으로 저장되어 있고, 각 파일마다 1장의 악보가 들어있는 경우에, 악보위치는 각 파일(music1.jpg, music2.jpg, music3.jpg ..)을 가리키는 값으로 취급될 수 있다.

도 3의 (b)는 한 장의 이미지로 이루어진 악보가 4개로 분할되어, 한 번에 한 부분씩 사용자에게 제공되는 경우와 관련된다. 대개의 전자기기는 휴대성을 이유로 디스플레이 유닛의 사이즈가 기존 종이 악보에 비하여 작다. 작은 화면을 통해 종이 악보가 전부 표출되면 기호나 표시 등이 지나치게 작아 시인성이 크게 떨어지므로, 연주자는 적정한 수준으로 확대하여 보기를 원하게 된다. 이때, 확대한 수준에 따라 1장의 이미지가 다수로 분할될 수 있다.

이렇게 분할된 각 부분은, 해당 부분의 좌상단 좌푯값이나, 이미지의 중앙 좌푯값 등이 분할된 각 부분의 악보위치로 취할 수 있다. 또한 좌푯값에 더하여 원본 대비 확대나 축소한 비율 등이 악보위치에 더 포함될 수 있다.

도 3의 (c)는 길이가 긴 악보 이미지와 관련된다. 연주자는 스크롤을 조작하거나 터치 스크린을 드래그 조작하여, 의도한 위치로 악보를 상하 이동시킬 수 있다. 이러한 상하 이동의 결과로 전환된 악보는 전환 전의 악보와 일부 겹쳐질 수도 있다. 이 경우에도 표출된 악보의 좌상단 좌푯값 등을, 악보위치로 특정할 수 있다. 도면에서는 악보의 전환이 상하 스크롤에 의한 것으로 한정하고 있으나, 악보는 좌우 방향으로 이동하거나 확대 또는 축소될 수 있다.

또한 도 3의 (a), (b) 및 (c)에서 도시한 악보의 전환 방식이 조합될 수 있다.

나아가 악보위치는, 음악 파일에 대한 태그 정보와 마찬가지로, 다양한 정보를 더 포함할 수 있다. 예를 들어, 악보위치는 악보를 저장한 파일의 명칭, 해당 파일에 접근하기 위한 참조 주소, 악보의 형태, 표출된 악보의 시작점, 악보의 출처 등을 더 포함할 수 있다.

다시 도 1을 참고하면, 연주자가 복수 회에 걸쳐 악보를 전환시킴으로써, 복수의 전환기록이 생성되고, 이들 전환기록은 메모리에 저장된다.

다른 실시예로 전환기록을 생성함에 있어서, 조작부의 조작 직전의 연주음악에 의한 핑거프린트, 조작으로 변경된 악보위치뿐만 아니라, 조작 직전에 표출되고 있던 현재악보위치를 전환기록에 더 포함시킬 수 있다. 이러한 전환기록은 표출되는 악보의 전후에 대한 정보를 더 포함하게 된다.

이러한 전환기록은 비휘발성 메모리에 저장될 수 있으며, 다른 장치로 이전될 수 있다.

두 번째 단계에서는 기록생성부에 의해 저장된 전환기록이 사용된다.

먼저 연주자는 악보전환장치를 활성화시키고, 선택한 첫 번째 악보를 보면서 연주를 시작하게 된다.

연주음악은 입력부를 통해 악보전환장치로 입력되고, 특성분석부에서 분석되어 시간의 흐름에 따라 핑거프린트가 생성된다. 생성된 핑거프린트는 검색부로 전달된다.

검색부는 특성생성부에서 전달된 핑거프린트(이하 '현재의 핑거프린트'라 함)와, 기록생성부에서 미리 저장해 둔 각 전환기록의 핑거프린트(이하 '기록된 핑거프린트'라 함)를 대비하고, 그 결과를 전환부로 전달한다. 이때, 현재의 핑거프린트와 복수의 기록된 핑거프린트는 공지된 탐색 방법을 통해 대비될 수 있다. 여기서 탐색 방법으로는 해싱(hashing), 탐색 트리, 블룸 필터링(bloom filtering) 등의 공지된 다양한 방법이 사용될 수 있다.

현재의 핑거프린트와 기록된 핑거프린트의 대비는, 유사도 측정으로 이루어질 수 있다. 그 결괏값이 어떤 임계치 이상인지 여부에 따라 현재의 핑거프린트와 기록된 핑거프린트가 사실상 동일한지 여부를 판단할 수 있다.

여기서 유사도 측정은 두 핑거프린트에 대한 내적(dot product), 기하거리(geometric distance), 히든 마코프 모델(hidden Markov model), 베이지언 확률(Bayesian Probabilty) 등 유사도를 측정하는 다양한 기존 방식 중 하나를 채택할 수 있다.

유사도 측정은 연주자가 매번 완벽히 동일하게 연주하지 아니하더라도, 기존에 연주하였던 연주음악과 현재의 연주음악의 관계를 효과적으로 특정 지을 수 있게 한다. 예를 들어, 표출된 악보의 말미에서 다소의 음정불안, 조옮김 차이, 연주속도의 차이 등의 사소한 실수가 있더라도 해당 연주음악을 입력받아, 이를 근거로 악보 전환이 이루어질 수 있게 한다.

유사도 측정 결과, 현재의 핑거프린트가 기록된 핑거프린트와 다른 것으로 판단되면, 현재의 핑거프린트를 무시하고, 다음에 전달될 핑거프린트를 대기한다.

반면 유사도 측정 결과, 현재의 핑거프린트가 기록된 핑거프린트와 일정 수준 이상으로 유사하다고 판단되는 경우, 즉 양 핑거프린트가 미리 설정된 기준 이상으로 유사한 것으로 판단되면, 그 기록된 핑거프린트가 속한 전환기록을 전환부로 알리게 된다.

전환부는 검색부에 의해 호출되며, 검출된 기록된 핑거프린트와, 이 핑거프린트와 짝지어진 악보위치를 불러들인다. 읽어들인 악보위치에 따라 연주자에게 제공될 악보를 특정하고, 이를 악보표출부로 전송함으로써 악보를 전환시킨다.

이때, 악보의 전환 방식은 다양할 수 있다. 예를 들어, 현재의 악보를 새로운 악보로 완전히 대체하는 방식, 화면을 분할하여 현재의 악보와 함께 새로운 악보를 일정 시간 동안 함께 보여주는 방식, 새로운 악보의 연주가 시작되는 부분부터 서서히 넓어지면서 기존 악보를 덮어 가리는 형태로 보여주는 방식 등이 있다.

또한 조작부에는 전환되기 직전의 악보로 되돌리는 취소 버튼이나 조작수단이 제공될 수 있다. 나아가 악보전환장치에는 편집 모드를 통한 전환기록의 일부 또는 전부 삭제 기능, 연주음악의 셈플링 기준 설정이나 유사도를 측정하기 위한 임계치 값 등 통상적인 응용 프로그램이 구비하는 환경 관리 수단이 구비될 수 있다.

이러한 본원의 실시예는 다음과 같은 효과가 있다.

본 발명은 악보에 기재된 연주 방법을 미리 분석할 필요가 없다. 구체적으로 전술한 종래의 기술은 악보에 따른 연주 시간을 고려하여, 연주자에게 제공된 악보가 어느 정도의 시간 후에 다음으로 전환되어야 할지를 미리 결정하여야 하지만, 본 발명에서는 조작 시점의 연주음원에 근거하여 악보전환을 이룸으로써, 악보에 대한 사전의 음악적 분석이 필요 없다.

또 현재의 핑거프린트를 사용자가 먼저 연주하면서 생성해 둔 기록된 핑거프린트와 대비하는 것으로써, 악보에 기재된 음악적 정보는 활용하지 않는다.

예를 들어, 흔히 사용되는 노래 반주기는 사전에 악보를 분석하여 형성해 둔 채점 기준과 마이크로 입력된 사용자로부터의 소리를 대비하여 점수를 매기는 방식인데, 이때 채점 기준은 사전에 악보를 음악적으로 분석한 것이다.

반면에 본 발명은 사용자가 직접 생성하는 핑거프린트를 기준으로 함으로써 악보의 음악적 분석을 사용하지 않는 것이다. 즉 종래의 기술은 악보를 얼마큼 충실히 재현하였는가에 근거하고 있는 반면에, 본 발명은 연주자가 기존에 자신이 했던 연주와 얼마큼 동일하게 연주하였는지에 근거한다.

이로써 본 발명은 악보전환장치에 미리 악보를 음악적으로 분석한 연주 특성을 다운로드하여 저장할 필요가 없으며, 다수의 악곡에 대한 데이터베이스를 사전에 구축할 필요가 없다. 또 미리 만들어둔 데이터베이스를 다운로드하기 위한 대용량의 저장소나 인터넷의 연결이 필요하지 아니하며, 새로운 곡을 작곡하는 단계에서도 악보의 자동 전환이 가능하다.

또한 악보 전환 시점을 개인의 취향에 정확히 맞출 수 있다. 악보에 대한 연주자의 연주 스타일은 개인별로 다르다. 예를 들어, 개성적인 연주자는 악보를 그대로 따르지 아니하고, 독특한 자신의 스타일을 가미하여 기존의 악보를 조금씩 변화시켜 연주하곤 한다. 본 발명은 연주자 자신의 기존 연주에 반응하여 악보를 전환하는 방식을 취함으로써, 개인적 연주 스타일에 영향을 받지 않는 장점이 있다.

또한 동일한 악보를 제공하더라도 사용자에 따라 다음의 악보로 넘기는 시점은 서로 다를 수 있다. 예를 들어 어떤 사용자는 가급적 미리 넘겨 다음의 악보를 보고 싶어하고, 어떤 사용자는 다음 악보의 첫 소절을 기억하므로 나중에 악보를 넘기는 것을 선호할 수 있다. 본 발명은 과거에 연주자가 악보를 넘겼던 시점에서 악보를 전환시켜 줌으로써, 이러한 개인적 성향 차이에 대응할 수 있다.

또한 연주음악에만 의지하여 악보를 전환시킴으로써, 굳이 악보의 순서에 구속되지 아니하는 특징이 있다. 사용자는 반드시 한 곡 전부를 연주하지 아니할 수도 있으며, 다수의 악곡 중 같은 연주 특성이 있는 부분만을 골라 연주를 할 수도 있는데, 본 발명은 악보에 구속되지 아니함으로써 기존에 연주자가 선택하였던 순서와 동일하게 사용자에게 악보를 자동으로 표출할 수 있다.

추가적으로, 도 4를 참고하면, 현재의 핑거프린트와 미리 설정한 기준 이상으로 유사한 것으로 검출된 기록된 핑거프린트가 복수로 검출되는 경우에는, 검출된 각 기록된 핑거프린트와 짝지어진 각 악보위치에 근거하여 복수의 악보가 함께 표출되도록 할 수 있다.

다수의 악곡에서 특정한 연주음악이 반복되는 경향이 있다. 또 악보에는 반복된 부분을 생략하기 위해 도돌이표와 같이 악보의 특정부분으로 되돌아가 그 부분부터 다시 연주하도록 하는 기호들이 사용된다. 또한 표출된 악보의 마지막 부분을 연주하였을 때에 사용자가 2군데 이상의 위치로 악보를 이동시키려고 의도할 수 있으며, 사용자가 의도하지 아니하더라도, 유사한 것으로 검출되는 기록된 핑거프린트는 복수가 될 수 있다.

이러한 경우에 일정 유사도 이상으로 검출된 기록된 핑거프린트와 각 핑거프린트와 짝지어진 서로 다른 악보위치가 전환기록으로 저장될 수 있으며, 연주음악에 따라 검색부에서 복수의 전환기록이 해당 연주음악과 유사한 것으로 판단하고, 이를 전환부로 전송할 수 있다. 전환부는 각 전환기록의 악보위치가 가리키는 악보가 함께 악보표출부에서 표출되도록 한다. 이는 악보표출부에서 화면을 분할하여 각기 전환된 악보를 표출하는 것으로 구현될 수 있다(도 4의 (c) 참고).

도 4의 (a)는 연주자가 연주하면서 악보를 A 부터 E 까지 차례로 전환하면서 생성된 전환기록들이다. 여기서 f는 핑거프린트, 대문자 A 내지 E는 악보위치를 나타내며, r은 전환기록을 의미한다. r4, r6의 두 전환기록을 생성할 당시 저장되는 핑거프린트는 f4이다. 서로 다른 두 핑거프린트의 유사도가 기준을 만족하는 경우, 사실상 동일한 것으로 간주하여 같은 부호로 표시하기로 한다.

이후 사용자가 다시 A 부터 E 까지 순차적으로 연주한다면, 도 4의 (b)에 도시한 바와 같이, 악보 B의 말미에서의 연주음악으로부터 현재의 핑거프린트가 f4로 생성되고, 검색부는 이와 대비되는 두 전환기록 r4, r6를 탐색하게 된다. 전환부는 r4, r6 전환기록에 기록된 악보위치 C, E에 따라 악보표출부에 두 악보를 함께 표출시키게 된다. 이후 연주자가 C의 말미 부분을 연주하면, 핑거프린트 f5가 생성되고, 검색부와 전환부는 전환기록 r5를 검색하여 악보위치 D에 해당하는 악보를 표출시키게 된다.

이와 달리, 전환부는 검색부에서 전송된 전환기록 중에 현재의 핑거프린트와 유사도가 높은 순서로 정렬하여, 순위에 따라 하나의 전환기록 또는 미리 정해진 수의 전환기록을 선택하여 악보를 전환시킬 수 있다. 여기서 전환부에 의한 전환기록의 선택 기준은 최근에 저장된 이력, 최근에 사용된 순서 등 다양하게 변경될 수 있다.

한편,도 5는 본 발명의 다른 실시예로써 전환기록에 핑거프린트, 조작으로 변경된 악보위치 및 조작 직전에 표출되고 있던 현재악보위치를 포함하는 경우와 관련된다.

현재악보위치를 더 포함함에 따라, 검색부에서는 현재의 핑거프린트와 기록된 핑거프린트의 대비뿐만 아니라, 현재 표출되고 있는 악보와 전환기록에 기록된 현재악보위치를 대비할 수 있게 된다.

따라서 현재의 핑거프린트에 대응하는 기록된 핑거프린트가 복수로 검출된 경우에, 추가로 현재 표출되고 있는 악보위치와 전환기록에 기록된 현재악보위치를 대비하여 연주자가 이전에 전환시켰던 악보를 보다 정확히 선별할 수 있다.

도 5에는 구체적인 예시가 도시되어 있다. 연주자가 연주하면서 악보를 A 부터 E 까지 차례로 전환하면서 생성된 전환기록들은 도 5의 (a)와 같다. 여기서 f는 핑거프린트, 대문자 A 내지 E는 악보위치를 나타내며, r은 전환기록을 의미한다. 또한, r(f,B,A)에서 핑거프린트 A, 이전할 악보위치 B, 현재악보위치는 A이다.

이후, 도 5의 (b)에 도시한 바와 같이, 연주자가 악보 B의 말미 부분을 연주한 연주음악으로부터 현재의 핑거프린트 f4가 생성되면, 검색부는 기록된 핑거프린트가 f4인 전환기록 r4, r6를 검출하고, 전환기록이 복수이므로 현재 표출되고 있는 악보(B)와, 검출된 전환기록(r4, r6)에 기록된 현재악보위치(B, D)를 대비하여, 전환기록 r4를 선택하게 된다. 이후 전환부에는 전환기록 r4가 알려지고, 악보위치 C에 해당하는 악보가 사용자에게 표출된다.

전환기록에 핑거프린트와 이전될 악보위치만을 저장하는 도 4와 대비하여 보면, 현재 표출되고 있는 악보위치를 추가적인 전환기록 선별 조건으로 채택함으로써 연주자에게 보다 정확한 악보위치를 표출할 수 있는 장점이 있다.

Claims (6)

  1. 삭제
  2. 전자기기를 통하여 표출되는 악보를 전환시키는 방법에 있어서,
    연주자에 의한 상기 전자기기의 조작에 따라 상기 전자기기로 새로이 표출되는 악보를 특정하는 악보위치;
    상기 전자기기로 악보를 넘기는 조작하기 직전에 연주자가 발성 또는 악기를 통해 실제로 낸 소리인 연주음악을 전자적 수단으로 분석하여 연주 특성을 가지는 핑거프린트; 및
    상기 조작 직전에 표출되고 있던 현재악보위치;를
    포함하는 전환기록을 생성하고, 상기 전환기록을 저장하는 단계와,

    상기 전환기록을 저장하는 단계를 거친 이후에 연주자가 새로이 발성하거나 악기를 연주한 연주음악을 전자적 수단으로 분석하여 산출한 핑거프린트와, 상기 전환기록으로 저장되어 있는 핑거프린트를 대비하여, 양자가 임계값 이상으로 유사한 것으로 판단되면,
    상기 임계값 이상으로 유사한 것으로 판단된 핑거프린트와 함께 저장된 악보위치에 따라 연주자에게 제공되는 악보를 전환시키는 단계를 포함하고,

    상기 악보를 전환시키는 단계에서,
    임계값 이상으로 유사한 것으로 판단되어 검출된 전환기록이 복수인 경우에는,
    현재 표출되고 있는 현재악보위치와, 상기 검출된 전환기록에 포함된 현재악보위치의 동일 여부를 판단하여,
    현재 표출되고 있는 현재악보위치와 전환기록에 포함된 현재악보위치가 동일한 전환기록을 선택하고,
    상기 전환기록에 저장되어 있는 악보위치에 따라 연주자에게 제공되는 악보를 전환시키는 것을 특징으로 하는
    악보전환방법.
  3. 삭제
  4. 삭제
  5. 제2항에서,
    상기 악보위치는
    하나의 악보 이미지를 저장하고 있는 각 파일
    또는 악보 이미지가 복수로 분할된 각 부분
    또는 악보의 이미지가 일부 겹쳐지도록 복수로 분할된 각 부분인
    악보전환방법.
  6. 악보를 표출시키는 악보표출부,
    상기 악보를 전환시키는 조작명령을 입력받는 조작부,
    연주자가 발성 또는 악기를 통해 실제로 낸 소리인 연주음악을 입력받는 입력부,
    상기 입력부로 들어온 상기 연주음악을 전자적 수단으로 분석함으로써 연주 특성을 가지는 핑거프린트를 생성하는 특성분석부,
    상기 조작부를 통해 악보표출부에서 변경된 악보를 특정하는 악보위치와, 조작명령이 입력된 당시의 상기 특성분석부에서 산출된 핑거프린트 및 상기 조작명령 직전에 표출되고 있던 현재악보위치를 포함하는 전환기록을 생성하여 저장하는 기록생성부,
    연주자가 새로이 발성하거나 악기를 연주하여 생성한 연주음악을 상기 입력부로 받아들여서 상기 특성분석부에서 산출된 핑거프린트를 상기 기록생성부에서 저장해 둔 핑거프린트와 대비하는 검색부 및
    상기 검색부의 결과에 따라 상기 기록생성부에 핑거프린트와 짝지어 기록되었던 악보위치를 읽어들여 표출할 악보위치를 특정하고, 상기 악보표출부로 특정된 상기 악보위치를 전달하는 전환부를 포함하고,

    상기 전환부는
    상기 검색부에서 검색된 전환기록이 복수인 경우에는,
    현재 표출되고 있는 현재악보위치와, 상기 검색된 전환기록에 포함된 현재악보위치의 동일 여부를 판단하여,
    현재 표출되고 있는 현재악보위치와 전환기록에 포함된 현재악보위치가 동일한 전환기록을 선택하고,
    상기 전환기록에 저장되어 있는 악보위치에 따라 연주자에게 제공되는 악보를 전환시키는
    악보전환장치.
KR20160157228A 2016-11-24 2016-11-24 악보전환방법 및 악보전환장치 KR101790998B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20160157228A KR101790998B1 (ko) 2016-11-24 2016-11-24 악보전환방법 및 악보전환장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20160157228A KR101790998B1 (ko) 2016-11-24 2016-11-24 악보전환방법 및 악보전환장치

Publications (1)

Publication Number Publication Date
KR101790998B1 true KR101790998B1 (ko) 2017-11-20

Family

ID=60809205

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20160157228A KR101790998B1 (ko) 2016-11-24 2016-11-24 악보전환방법 및 악보전환장치

Country Status (1)

Country Link
KR (1) KR101790998B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003223166A (ja) * 2002-01-30 2003-08-08 Yamaha Corp 情報処理装置およびその楽譜頁変更方法、楽譜表示用プログラムおよび記録媒体

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003223166A (ja) * 2002-01-30 2003-08-08 Yamaha Corp 情報処理装置およびその楽譜頁変更方法、楽譜表示用プログラムおよび記録媒体

Similar Documents

Publication Publication Date Title
Jehan Creating music by listening
Muller et al. Signal processing for music analysis
US5488196A (en) Electronic musical re-performance and editing system
US5903867A (en) Information access system and recording system
US8352272B2 (en) Systems and methods for text to speech synthesis
Prechelt et al. An interface for melody input
US6963841B2 (en) Speech training method with alternative proper pronunciation database
US8355919B2 (en) Systems and methods for text normalization for text to speech synthesis
US8396714B2 (en) Systems and methods for concatenation of words in text to speech synthesis
US8352268B2 (en) Systems and methods for selective rate of speech and speech preferences for text to speech synthesis
US5939654A (en) Harmony generating apparatus and method of use for karaoke
US20100082349A1 (en) Systems and methods for selective text to speech synthesis
US7714222B2 (en) Collaborative music creation
US20100082329A1 (en) Systems and methods of detecting language and natural language strings for text to speech synthesis
US6856923B2 (en) Method for analyzing music using sounds instruments
Morita et al. A computer music system that follows a human conductor
US20100082328A1 (en) Systems and methods for speech preprocessing in text to speech synthesis
US20100082327A1 (en) Systems and methods for mapping phonemes for text to speech synthesis
Gillet et al. Transcription and separation of drum signals from polyphonic music
US20090114079A1 (en) Virtual Reality Composer Platform System
US5750912A (en) Formant converting apparatus modifying singing voice to emulate model voice
US6380474B2 (en) Method and apparatus for detecting performance position of real-time performance data
US5739451A (en) Hand held electronic music encyclopedia with text and note structure search
US20060150803A1 (en) System and method for music score capture and synthesized audio performance with synchronized presentation
JP2007206317A (ja) オーサリング方法、オーサリング装置およびプログラム

Legal Events

Date Code Title Description
GRNT Written decision to grant