KR20160073862A - 전자 악보 서비스 제공 방법 - Google Patents

전자 악보 서비스 제공 방법 Download PDF

Info

Publication number
KR20160073862A
KR20160073862A KR1020140182702A KR20140182702A KR20160073862A KR 20160073862 A KR20160073862 A KR 20160073862A KR 1020140182702 A KR1020140182702 A KR 1020140182702A KR 20140182702 A KR20140182702 A KR 20140182702A KR 20160073862 A KR20160073862 A KR 20160073862A
Authority
KR
South Korea
Prior art keywords
data
sound data
electronic
score
electronic musical
Prior art date
Application number
KR1020140182702A
Other languages
English (en)
Other versions
KR101667004B1 (ko
Inventor
김좌한
Original Assignee
김좌한
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김좌한 filed Critical 김좌한
Priority to KR1020140182702A priority Critical patent/KR101667004B1/ko
Publication of KR20160073862A publication Critical patent/KR20160073862A/ko
Application granted granted Critical
Publication of KR101667004B1 publication Critical patent/KR101667004B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Physics & Mathematics (AREA)
  • Auxiliary Devices For Music (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

전자 악보 서비스 제공 방법이 제공되며, 사용자 인터페이스를 통하여 전자 악보를 선택하는 선택 이벤트를 수신하는 단계, 수신된 선택 이벤트에 대응하는 전자 악보 데이터를 디스플레이하는 단계, 입력되는 소리 데이터를 음향 인식 알고리즘을 통하여 분석하는 단계, 분석된 결과 데이터에 기초하여 입력되는 소리 데이터에 대응하는 악보 위치에 표시하는 단계, 입력된 소리 데이터가 디스플레이된 전자 악보 데이터의 마지막 마디와 일치하는 경우, 전자 악보 데이터의 페이지를 자동으로 전환하는 단계를 포함한다.

Description

전자 악보 서비스 제공 방법{METHOD FOR PORVIDING ELECTRONIC MUSICAL NOTE SERVICE}
본 발명은 전자 악보 서비스 제공 방법에 관한 것이다.
최근, 스마트 단말의 보급이 급증하면서 악보를 인쇄된 프린트로 보는 사용자보다는 스마트 단말을 이용하여 악보를 보는 사용자가 늘어나고 있는데, 연주자가 스마트 단말에 디스플레이된 악보를 넘길 때 스마트 단말을 터치하거나 하는 등의 행위가 요구되어 여전히 연주자의 연주를 끊기게 하는 요소로 작용하고 있다.
이때, 악보를 자동으로 넘겨주는 방법은 손 또는 발에 의한 스위치, 터치 또는 음성 인식을 이용한 방법으로 이루어지고 있다. 이와 관련하여, 선행기술인 미국등록특허 제5,728,960호는 악보를 자동으로 넘겨주는 구성을 개시하고 있고, 한국공개특허 제2000-0072127호(2000.12.05 공개)에는, 주파수 성분을 분석한 음높이 정보에 따라 연주에 대응하는 악보의 위치를 추적하여 표시하고 악보를 자동으로 넘겨주는 방법이 개시된다.
다만, 전자의 경우 연주중에 특정한 소리나 연주자의 음성으로 페이지 넘김을 지시하게 되면, 연주와는 무관한 음의 개입으로 연주의 흐름에 지장을 줄 수 있어 그 사용이 제한적일 수 있으며, 후자의 경우 오케스트라와 같은 다중 연주나 잡음이 발생할 경우 연주에 대응하는 악보의 위치를 정확하게 추적하지 못하므로 악보를 넘기기 위해서는 여전히 사용자의 개입이 요구된다.
본 발명의 일 실시예는, TE(Teager Energy 기반의 특징 벡터를 추출하고, 전자 악보에 기 입력된 음원 데이터와 비교 및 대조함으로써, 독주는 물론 합주인 경우일지라도 잡음에 강인한 악보 자동 추적 및 페이지 전환 기능을 제공할 수 있고, 기 설정된 오차 범위를 벗어난 경우 연주자의 틀린음으로 악보상에 표시할 수 있어 연주자로 하여금 틀린음을 인지할 수 있도록 하고, 연주자의 음역 대역폭 이외의 대역폭은 잡음으로 설정함으로써 오케스트라와 같은 합주 연주에서도 연주자의 연주 위치를 정확하게 추적할 수 있는 전자 악보 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 사용자 인터페이스를 통하여 전자 악보를 선택하는 선택 이벤트를 수신하는 단계, 수신된 선택 이벤트에 대응하는 전자 악보 데이터를 디스플레이하는 단계, 입력되는 소리 데이터를 음향 인식 알고리즘을 통하여 분석하는 단계, 분석된 결과 데이터에 기초하여 입력되는 소리 데이터에 대응하는 악보 위치에 표시하는 단계, 입력된 소리 데이터가 디스플레이된 전자 악보 데이터의 마지막 마디와 일치하는 경우, 전자 악보 데이터의 페이지를 자동으로 전환하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 독주는 물론 합주인 연주일지라도, 연주자의 연주 위치를 악보상에 정확하게 표시할 수 있고, 연주자의 틀린 연주를 연주자가 인지할 수 있도록 하고, 페이지 전환 타이밍을 정확하게 파악하여 사용자의 별도의 행위가 요구되지 않도록 할 수 있다.
도 1은 본 발명의 일 실시예에 따른 전자 악보 서비스 제공 시스템을 설명하기 위한 구성도이다.
도 2는 도 1에 도시된 전자 악보 서비스 제공 단말을 설명하기 위한 블록 구성도이다.
도 3은 도 1에 도시된 전자 악보 서비스 제공 단말에서 전자 악보 서비스가 구현되는 일 실시예를 도시한 도면이다.
도 4는 도 1에 도시된 전자 악보 서비스 제공 단말에서 전자 악보 서비스가 구현되는 다른 실시예를 도시한 도면이다.
도 5는 도 1에 도시된 전자 악보 서비스 제공 단말에서 전자 악보 서비스가 구현되는 실시예를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 도 1의 전자 악보 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다.
도 7은 본 발명의 일 실시예에 따른 전자 악보 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 전자 악보 서비스 제공 시스템을 설명하기 위한 구성도이다. 도 1을 참조하면, 본 발명의 일 실시예에 따른 전자 악보 서비스 제공 시스템(1)은, 전자 악보 서비스 제공 단말(100), 전자 악보 서비스 제공 서버(300) 및 적어도 하나의 사용자 단말(400)을 포함할 수 있다. 다만, 이러한 도 1의 전자 악보 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로 도 1을 통해 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 네트워크(200)를 통하여 전자 악보 서비스 제공 단말(100)과 적어도 하나의 사용자 단말(400)은 전자 악보 서비스 제공 서버(300)에 연결될 수 있다. 그리고, 네트워크(200)를 통하여 또는 직접 전자 악보 서비스 제공 단말(100)과 적어도 하나의 사용자 단말(400)이 연결될 수 있다.
여기서, 네트워크(200)는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(200)의 일 예는, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 3G, 4G, LTE, VoLTE, Wi-Fi, Bluetooth, NFC, RFID 등이 포함되나 이에 한정되지는 않는다. 도 1에 도시된 전자 악보 서비스 제공 단말(100), 전자 악보 서비스 제공 서버(300) 및 적어도 하나의 사용자 단말(400)은, 도 1에 도시된 것들로 한정 해석되는 것은 아니다.
전자 악보 서비스 제공 단말(100)은, 전자 악보 서비스 제공 서버(300)로부터 악보를 구매하거나 또는 저장된 악보를 디스플레이하는 단말일 수 있다. 그리고, 전자 악보 서비스 제공 단말(100)은, 입력되는 연주 데이터 또는 음성 데이터를 포함하는 소리 데이터를 분석하고, 분석된 결과에 따라 현재 소리 데이터의 위치에 대응하는 악보 데이터의 위치를 파악하여 디스플레이할 수 있다. 또한, 전자 악보 서비스 제공 단말(100)은, 연주되는 현재 위치의 악보 데이터와, 연주되는 소리 데이터가 일치하지 않을 경우, 해당 위치의 음표의 외관을 다르게 표시할 수 있도록 함으로써, 사용자가 자신이 어느 부분을 틀렸는지를 확인할 수 있도록 할 수 있다. 그리고, 전자 악보 서비스 제공 단말(100)은, 적어도 하나의 사용자 인터페이스를 통하여 전자 악보 서비스를 다양하게 구현하도록 할 수 있다. 이때, 전자 악보 서비스 제공 단말(100)은, 적어도 하나의 사용자 단말(400)과 동기화되어, 적어도 하나의 사용자 단말(400)이 악보 페이지를 전환할 때, 전자 악보 서비스 제공 단말(100)의 악보 페이지도 함께 전환되도록 할 수 있다. 그리고, 전자 악보 서비스 제공 단말(400)은 악보 데이터가 디스플레이되는 페이지가 스크롤 방식으로 전환되도록 디스플레이할 수 있다. 이때, 전자 악보 서비스 제공 단말(100)은, 네트워크(200)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 랩톱(Laptop) 등을 포함할 수 있다. 또한, 전자 악보 서비스 제공 단말(100)은, 네트워크(200)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 그리고, 전자 악보 서비스 제공 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
전자 악보 서비스 제공 서버(300)는, 전자 악보 서비스 제공 단말(100) 또는 적어도 하나의 사용자 단말(400)에서 악보를 요청하는 요청 이벤트가 전송되는 경우, 전자 악보 서비스 제공 단말(100) 또는 적어도 하나의 사용자 단말(400)로 악보 데이터를 전송하는 서버일 수 있다. 그리고, 전자 악보 서비스 제공 서버(300)는, 전자 악보 서비스 프로그램 또는 어플리케이션의 업데이트가 존재하는 경우, 전자 악보 서비스 제공 단말(100) 또는 적어도 하나의 사용자 단말(400)로 업데이트 프로그램을 전송하는 서버일 수 있다. 또한, 전자 악보 서비스 제공 서버(300)는, 전자 악보 서비스 제공 단말(100)로부터 적어도 하나의 사용자 단말(400)로의 페이지 전환 동기화 신호가 전송된 경우, 전자 악보 서비스 제공 단말(100)과 적어도 하나의 사용자 단말(400)을 연결하도록 통신 채널을 형성하는 서버일 수 있다. 여기서, 전자 악보 서비스 제공 서버(300)는, 네트워크(200)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 랩톱(Laptop) 등을 포함할 수 있다.
적어도 하나의 사용자 단말(400)은, 전자 악보 서비스 제공 단말(100)과 동일하나 전자 악보 서비스 제공 단말(100)은 동기화를 요청하는 주체로, 적어도 하나의 사용자 단말(400)은 동기화를 수신하는 객체로 설명되므로 다르게 명명하기로 한다. 여기서, 적어도 하나의 사용자 단말(400)은, 전자 악보 서비스 제공 단말(100)과 함께 연주하는 사용자의 단말일 수 있으나, 그 기능은 동일하므로 중복되는 설명은 생략하기로 한다.
도 2는 도 1에 도시된 전자 악보 서비스 제공 단말을 설명하기 위한 블록 구성도이고, 도 3은 도 1에 도시된 전자 악보 서비스 제공 단말에서 전자 악보 서비스가 구현되는 일 실시예를 도시한 도면이고, 도 4는 도 1에 도시된 전자 악보 서비스 제공 단말에서 전자 악보 서비스가 구현되는 다른 실시예를 도시한 도면이고, 도 5는 도 1에 도시된 전자 악보 서비스 제공 단말에서 전자 악보 서비스가 구현되는 실시예를 도시한 도면이다.
도 2를 참조하면, 전자 악보 서비스 제공 단말(100)은, 수신부(110), 디스플레이부(120), 분석부(130), 표시부(140), 전환부(150) 및 중단 표시부(160)를 포함할 수 있다.
본 발명의 일 실시예에 따른 전자 악보 서비스 제공 서버(300) 또는 전자 악보 서비스 제공 서버(300)와 연동되어 동작하는 다른 서버(미도시)가 전자 악보 서비스 애플리케이션, 프로그램, 웹 페이지 등을 전자 악보 서비스 제공 단말(100) 및 적어도 하나의 사용자 단말(400)로 전송하면, 전자 악보 서비스 제공 단말(100) 및 적어도 하나의 사용자 단말(400)은 해당 서비스에 대한 애플리케이션, 프로그램, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 전자 악보 서비스 프로그램이 전자 악보 서비스 제공 단말(100) 및 적어도 하나의 사용자 단말(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.
이때, 네트워크(200) 연결은 전자 악보 서비스 제공 단말(100), 전자 악보 서비스 제공 서버(300) 및 적어도 하나의 사용자 단말(400)이 네트워크(200)로 연결되어 있는 단말과 통신을 위해 통신 접점에 통신 객체를 생성하는 것을 의미한다. 또한, 전자 악보 서비스 제공 서버(300)는 통신 객체를 통해 서로 데이터를 교환할 수 있다.
수신부(110)는, 사용자 인터페이스를 통하여 전자 악보를 선택하는 선택 이벤트를 수신할 수 있다. 이때, 전자 악보 서비스 제공 단말(100)은 전자 악보 서비스 제공 서버(300)에 접속하여 악보를 검색한 후 선택할 수도 있고, 기 저장된 악보를 선택할 수도 있다. 그리고, 수신부(110)는, 전자 악보를 연주하는 소리 데이터의 음역 대역폭인 스펙트럼 범위를 지정하는 이벤트를 수신할 수도 있다. 예를 들어, 바이올린을 연주하는 경우를 가정하면, 바이올린의 음역 대역폭을 지정할 수 있고, 플룻을 연주하는 경우이면, 플룻의 음역 대역폭을 지정할 수 있다. 이를 통하여, 잡음과 연주하는 소리를 구분할 수 있도록 할 수 있다. 또한, 소리 데이터가 음성 데이터인 경우, 사용자의 음성 주파수 대역을 수신하여 설정하고, 소리 데이터가 연주 데이터인 경우, 소리 데이터를 출력하는 악기의 연주 주파수 대역을 설정할 수 있다. 이때, 소리 데이터는 사용자의 음역폭에 따라 다르게 설정될 수 있도록, 수신부(110)는, 사용자로부터 음역폭을 수신하여 설정하는 단계를 더 수행할 수 있다. 또한, 악기의 종류별로 대부분 음역폭이 비슷한 것이 일반적이나, 악기의 종류가 동일하다고 하더라도 악기의 생산지, 생산년도 또는 사용년도 등 다양한 변수에 의하여 대역폭이 달라지는 경우도 발생할 수 있으므로, 수신부(110)는, 악기의 음역폭을 수신하여 설정하는 단계를 더 수행할 수도 있다.
디스플레이부(120)는, 수신된 선택 이벤트에 대응하는 전자 악보 데이터를 디스플레이할 수 있다.
분석부(130)는, 입력되는 소리 데이터를 음향 인식 알고리즘을 통하여 분석할 수 있다. 이때, 소리 데이터는, 음성 데이터 또는 연주 데이터일 수 있다. 즉, 연주자가 악보를 경우는 악기를 이용하는 경우도 있지만, 직접 노래를 부르는 경우도 있기 때문이다. 여기서, 음향 인식 알고리즘은, 입력되는 소리 데이터가 단일 소리 데이터인 경우, QBSH(Query By Singing Humming)와 모노폴릭 음원을 이용하고, 입력되는 소리 데이터가 다중 소리 데이터인 경우, 폴리토닉 음향 인식 알고리즘 및 폴리토닉 음원 데이터를 이용할 수 있다. 즉, 분석을 위해서는 분석부(130)는, 기준값인 음원 데이터를 저장하고 있어야 하는데, 단일 소리 데이터 즉 솔로 연주인 경우에는, 기준값인 음원 데이터를 모노폴릭 음원 데이터베이스를 이용할 수 있고, 오케스트라와 같은 다중 연주인 경우에는, 기준값인 음원 데이터를 폴리토닉 음원 데이터를 이용할 수 있다.
분석부(130)는, 입력되는 소리 데이터를 음향 인식 알고리즘을 통하여 분석할 때, 입력되는 소리 데이터를 TE(Teager Energy) 기반으로 특징 벡터를 추출할 수 있다. 여기서, 특징 벡터는, 파워 스펙트럼 편차(Power Spectral Deviation), 스펙트럼 에너지(Spectral Energy), 영교차율(Zero-Crossing), 선형 예측 계수(Linear Prediction Coefficient), 주기성(Periodic Measure), 포만트 형태(Formant Shape) 중 적어도 하나일 수 있다. 여기서, 특징 벡터는 잡음 레벨이 기 설정된 값 이하인 환경에서 이용될 수 있고, 잡음 성분이 빠르게 변화하는 비정상 잡음 환경에서는 이용되지 않을 수도 있다. 따라서, 낮은 SNR(Signal Noise Ratio)을 갖는 잡음 환경에서는, TE 기반의 스펙트럼 편차를 이용한 소리 검출 알고리즘을 이용할 수도 있다. 즉, TE는, TEO(Teager Operator)를 통하여 입력 신호인 소리 데이터에 포함된 잡음 성분을 제거하고, 잡음 성분이 제거된 소리 데이터의 파워 스펙트럼 편차를 추출하고, 추출한 특징 벡터를 통계적 모델 기반의 우도비(Likelihood Ratio)를 가중치 요소로 적용할 수 있다. 잡음 성분이 많은 환경에서는, TEO 기반의 특징 벡터인 파워 스펙트럼 편차(TE-Power Spectrum Deviation, TE-PSD)와 통계적 모델의 소리 존재 또는 부재에 대한 우도비(TE-likelihood ratio, TE-LR)를 이용한 소리 검출 알고리즘을 이용할 수 있다. 이를 이용할 경우, 오염된 소리 신호의 잡음 성분이 줄어들 수 있고, 기존의 PSD와 LR 특징 벡터가 잡음에 대하여 민감하게 변화할 수 있으므로, 기존의 특징 벡터에 비하여 소리와 잡음을 분류하는 특성을 보여줄 수 있다. 그리고, 분석부(130)는, 추출된 특징 벡터와 디스플레이된 전자 악보 데이터를 비교하고, 입력된 소리 데이터와 매칭되는 전자 악보 데이터에 포함된 마디 및 음표를 분석할 수 있다. 또한, 분석부(130)는, 분석된 마디의 음표가 입력된 소리 데이터와 매칭되는지의 여부를 확인할 수 있다. 여기서, 매칭되는지의 여부는, 입력된 소리 데이터가 기 설정된 음표 주파수 오차 범위를 벗어나는지의 여부로 판단할 수 있다. 그리고 나서, 분석부(130)는, 확인 결과 입력된 소리 데이터와 음표의 길이 또는 음정이 매칭되지 않는 경우, 매칭되지 않는 음표를 변환 처리할 수 있다. 여기서, 변환 처리는, 디스플레이된 음표를 기 설정된 색상, 크기 또는 굵기와 다르게 변환하여 처리할 수 있다. 예를 들어, 디스플레이된 음표를 적색 처리하여 연주자가 자신이 틀린 부분을 인지하고 반복하여 연습할 수 있도록 이루어질 수 있다. 또한, 분석부(130)는, 입력된 소리 데이터를 기 설정된 마디 단위로 분석할 수 있고, 예를 들어, 기 설정된 마디 단위는 4 마디 단위일 수 있다. 그리고, 분석부(130)는, 입력되는 소리 데이터를 음향 인식 알고리즘을 통하여 분석할 때, 입력되는 소리 데이터의 음표, 마디, 음높이, 음길이, 쉼길이 또는 박자를 확인할 수 있다. 따라서, 분석부(130)는, 연주자가 어느 부분을 더 빠르거나 느리게 연주했는지, 어느 부분의 음표를 틀리게 연주했는지, 쉼표 또는 박자를 지키지 않았는지의 여부를 분석할 수 있다.
표시부(140)는, 분석된 결과 데이터에 기초하여 입력되는 소리 데이터에 대응하는 악보 위치에 표시할 수 있다. 즉, 표시부(140)는, 분석부(130)의 분석 결과를, 현재 입력되는 소리 데이터에 대응하는 악보 위치에 표시할 수 있다. 이에 따라, 연주자가 이후에 자신의 연주 결과를 악보상으로 확인할 수 있도록 할 수 있다.
전환부(150)는, 입력된 소리 데이터가 디스플레이된 전자 악보 데이터의 마지막 마디와 일치하는 경우, 전자 악보 데이터의 페이지를 자동으로 전환할 수 있다. 대부분의 연주자들은 마지막 마디를 완주하기 전에 페이지를 넘기는데, 이에 따라 마지막 마디의 기 설정된 비율만큼 연주된 경우, 전환부(150)는 전자 악보 데이터의 페이지를 자동으로 전환할 수 있고, 스크롤 방식으로 전환되도록 디스플레이할 수 있다. 예를 들어, 마지막 마디의 80%가 연주된 경우 전환부(150)는 페이지를 자동으로 전환하도록 할 수 있다.
중단 표시부(160)는, 소리 데이터의 입력이 중단된 경우, 중단된 위치를 전자 악보 데이터에 디스플레이할 수 있다. 예를 들어, 합주를 하거나 연습을 하는 도중에 연주를 멈추는 경우, 어느 부분부터 시작을 해야 하는지를 정확하게 파악할 수 없는 경우가 발생할 수 있으므로, 사용자가 어느 마디의 어느 음표까지 연주를 하다가 멈추었는지를 자동으로 추적하여 표시할 수 있다. 그리고 나서, 표시부(140)는, 소리 데이터의 입력이 중단된 후 재입력되는 경우, 재입력되는 소리 데이터를 전자 악보 데이터와 비교한 후, 중단된 위치에서부터 입력되는 소리를 음향 인식 알고리즘을 통하여 분석하는 단계로 복귀하도록 할 수 있다. 또는, 중단 표시부(160)는, 소리 데이터가 중단되는 경우, 중단된 소리 데이터의 주파수 스펙트럼 값으로 중단된 위치를 전자 악보 데이터에 표시할 수 있고, 중단된 소리 데이터가 재시작되는 경우, 재시작한 소리 데이터와 표시된 위치로부터 매칭을 시작하여 음향 인식 알고리즘을 통하여 분석하는 단계로 복귀하도록 할 수 있다.
상술한 구성을 가지는 전자 악보 서비스 제공 단말(100)에서 실행되는 전자 악보 서비스의 일 실시예를 이하의 도 3 내지 도 5를 참조로 설명하기로 한다.
도 3을 참조하면, 전자 악보 서비스 제공 단말(100)은, Y축의 바(Bar)와, 바와 직각을 이루는 X축의 화살표를 전자 악보 상에 불투명 또는 반투명 상태로 오버레이할 수 있다. 이는, 현재 사용자의 연주 위치를 알려주는 상태바(Bar)일 수 있으며, 연주가 진행될 때 현재의 위치를 파악할 수 있도록 할 수 있다. 그리고, 음정, 박자 등이 틀린 음표를 적색 처리(F)할 수 있으며, 메트로놈(M)을 통하여 박자를 맞추도록 설정할 수도 있다. 도 4를 참조하면, (a) 연주자가 연주하여 입력되는 소리 데이터의 분석 결과, 마지막 마디를 연주하는 것으로 분석되면, (b) 스크롤 방식으로 페이지를 전환하도록 할 수 있다. 도 5를 참조하면, (a) 사용자가 전자 악보 데이터를 디스플레이한 상태에서, (b) 디스플레이된 화면을 클릭하거나 터치하면, (c) 적어도 하나의 사용자 인터페이스가 전자 악보 데이터 상에 오버레이될 수 있다. 여기서, 적어도 하나의 사용자 인터페이스는, 홈 아이콘, 설정 아이콘, 연필 아이콘, 지우개 아이콘, 음표 아이콘, 재생 아이콘, 녹음 아이콘, 메트로놈 아이콘 또는 튜너 아이콘 중 적어도 하나를 포함할 수 있다. 여기서, 홈 아이콘은, 악보를 구매하거나, 저장 또는 구매한 사용자의 악보를 표시하거나, 연주할 악기를 선택하거나, 자동으로 연주될 악기의 음원 또는 비교 대상으로의 기준 음원 데이터를 선택하거나 변환할 수 있는 메뉴를 포함할 수 있다. 이때, 홈 아이콘은 전자 악보 데이터의 좌측 상단에 오버레이될 수 있다.
설정 아이콘은, 적어도 하나의 사용자 단말(400) 중 메인 연주자 단말과 무선으로 연결하여 메인 연주자 단말의 페이지 전환과 동기화하는 메뉴를 포함할 수 있다. 예를 들어, 바이올린을 10명의 연주자가 합주를 하는데, 메인 연주자의 페이지 전환과 다른 나머지 연주자의 페이지 전환이 동기화될 필요가 있을 수 있다. 이러한 경우를 위하여, 설정 아이콘은 예를 들어 블루투스와 같은 근거리 통신을 이용하여 적어도 하나의 사용자 단말(400)과 전자 악보 서비스 제공 단말(100)을 연결하도록 할 수 있다. 그리고, 설정 아이콘은, 틀린음을 표시할 것인지의 여부, 음원 위치 검색 기능, 언어 선택 기능, 오케스트라 또는 솔로 선택 기능 또는 페이지 전환 방식, 즉 하부에서 상부 방향으로 스크롤 될 것인지 또는 우측에서 좌측으로 스크롤 될 것인지의 여부를 선택하는 기능을 포함할 수 있다. 이때, 설정 아이콘은 전자 악보 데이터의 우측 상단에 오버레이될 수 있다.
연필 아이콘은, 악보상에 색칠을 하거나 메모를 표시하는 기능을 포함할 수 있다. 그리고, 지우개 아이콘은, 연필 아이콘과는 반대로 악보의 음표를 삭제하거나 메모를 삭제하는 기능을 포함할 수 있다. 또한, 음표 아이콘은 전자 악보 데이터 상에 음표를 추가하는 기능을 포함할 수 있다. 그리고, 재생 아이콘은, 디스플레이된 전자 악보 데이터를 재생하는 기능으로, 사용자가 선택한 악기음으로 재생되도록 하는 기능을 포함할 수 있다. 또한, 녹음 아이콘은, 연주자의 연주를 녹음하고, 전자 악보 데이터의 연주와 비교 및 대조할 수 있도록 하는 기능을 제공할 수 있고, 마디 단위로 녹음이 되도록 할 수 있다.
메트로놈 아이콘은, 입력된 소리 데이터와 매칭되는 마디의 박자를 출력하는 메뉴를 포함하고, 튜너 아이콘은, 설정된 악기 데이터 또는 음성 데이터의 초기음을 출력하는 메뉴를 포함할 수 있다. 이러한 튜너 아이콘을 통하여 첫 음을 임의의 연주자가 지정하는 수고를 덜 수 있으며, 동일한 첫 음으로 모든 연주자가 악기를 튜닝할 수 있다.
(d)와 같이 사용자는 전자 악보 서비스 제공 단말(100)의 검색 기능을 이용하여, (e) 작곡가, 장르 또는 시대별로 악보를 검색하고, 검색된 전자 악보 데이터를 자신의 단말에 저장하거나 디스플레이할 수 있다.
본 발명의 일 실시예에 따른 전자 악보 서비스는, 악보상의 4 마디의 정보를 통합적으로 추출하여 연주자가 입력한 정보와 QBSH 기술을 통하여 비교 및 대조를 할 수 있다. 예를 들어, 에너지 또는 스펙트럼과 같은 로우 레벨 및 피치(Pitch), 리듬 또는 세그먼트와 같은 하이 레벨의 악보상 입력된 수치를 이용하여 비교 및 대조를 할 수 있다. 또한, 허밍 기술을 이용한 악보상 위치 확인 및 악보 자동 검색 기능을 제공하며, 오케스트라 연주시 QBSH를 이용한 연주 시점을 포착할 수 있다. 즉, 오케스트라 연주 또는 피아노 연주의 경우 여러 가지의 음을 폴리토닉 음원 형태의 전자 악보 데이터베이스를 이용함으로써 연주 위치 및 정확도 여부를 확인할 수 있도록 하고, 기타 악기 또는 솔로 연주의 경우 악보가 한 줄로 진행되도록 하고, 모노폴릭 음원 예를 들어 허밍 데이터를 전자 악보 데이터베이스로 이용함으로써 컴퓨팅 자원의 낭비를 막을 수 있다. 이때, 악기를 선택할 때 선택된 악기의 음역 대역폭 또는 스펙트럼 범위 이외의 음역대를 잡음으로 간주할 수 있다. 그리고, 틀린음이 포함된 음표는 이전 음과 이후 음으로 4 마디씩 인식하도록 하고, 4 마디씩 연주하지 않고 연주를 중단한 경우에는 마지막 입력된 스펙트럼 값으로 마지막 위치를 표시할 수 있으며, 연주를 재시작하는 경우에는 입력된 음원을 악보와 비교 및 대조 후 악보 위치를 재검색하여 확인 후 진행하도록 할 수 있다.
이와 같은 도 2 내지 도 5의 전자 악보 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 전자 악보 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 6은 본 발명의 일 실시예에 따른 도 1의 전자 악보 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 6을 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 6에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 6을 참조하면, 전자 악보 서비스 제공 단말(100)은, 악보를 구매하는 경우(S6100), 전자 악보 서비스 제공 서버(300)에 접속하여 검색하고(S6110), 다운로드 받음으로써(S6130), 전자 악보 서비스 제공 단말(100) 상에 디스플레이되도록 할 수 있다.
그리고 나서, 전자 악보 서비스 제공 단말(100)은 오케스트라 연주인지 또는 솔로 연주인지, 솔로 연주라도 피아노와 같은 다중 화성이 포함된 연주인지의 여부를 설정하게 된다(S6200). 이때, 오케스트라 또는 합주인 경우 메인 연주자와의 동기화 설정이 필요한 경우, 전자 악보 서비스 제공 단말(100)은 적어도 하나의 사용자 단말(400)과 동기화를 실시할 수 있다(S6300). 이때, 전자 악보 서비스 제공 단말(100)은, 적어도 하나의 사용자 단말(400)과의 동기화를 위하여 직접 연결을 설정할 수도 있고, 전자 악보 서비스 제공 서버(300)를 경유하여 연결을 설정할 수도 있다.
한편, 전자 악보 서비스 제공 단말(100)은 자신이 연주할 악기 또는 목소리의 주파수 대역을 선택하거나 설정하고(S6400), 사용자가 연주를 시작할 때까지 지속적으로 모니터링할 수 있다. 이때, 전자 악보 서비스 제공 단말(100)에서 소리 데이터가 입력되는 것이 감지된 경우(S6500), 오케스트라인지 또는 솔로인지에 다라, 음원 분석 알고리즘이 달라지게 되는데, 오케스트라인 경우 폴리토닉 음원 데이터베이스를 이용하고(S6610), 솔로인 경우 QBSH를 이용하여 분석을 실시하게 된다(S6630).
그리고 나서, 분석 결과에 기반하여 전자 악보 서비스 제공 단말(100)은, 현재 연주하고 있는 위치에 기반하여, 전자 악보 상의 위치를 파악하고(S6700), 기 설정된 음표와 연주된 음표가 유사한지의 여부를 파악한 후(S6800), 일치하지 않는 경우, 즉 기 설정된 오차 범위를 벗어나는 경우 전자 악보 데이터에 일치하지 않는 데이터를 표시하게 되며(S6900), 마지막 마디를 연주할 때까지 반복할 수 있다.
연주자가 마지막 마디를 연주한다고 판단한 경우(S6910), 전자 악보 서비스 제공 단말(100)은, 페이지 전환을 위한 스크롤을 시작하는데(S6930), 전자 악보 서비스 제공 단말(100)이 메인 연주자와 연계된 상태이고, 메인 연주자가 전자 악보 서비스 제공 단말(100)의 사용자가 아닌 경우, 메인 연주자의 페이지 전환이 발생할 때까지 페이지 전환을 하지 않을 수도 있다. 이때, 전자 악보 서비스 제공 단말(100)이 메인 연주자이고, 적어도 하나의 사용자 단말(400)의 연주자가 전자 악보 서비스 제공 단말(100)과 동기화된 경우인 그 역도 마찬가지이다.
상술한 단계들(S6100~S6930)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S6100~S6930)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
이와 같은 도 6의 전자 악보 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 5를 통해 전자 악보 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 7은 본 발명의 일 실시예에 따른 전자 악보 서비스 제공 방법을 설명하기 위한 동작 흐름도이다. 도 7을 참조하면, 전자 악보 서비스 제공 단말은, 사용자 인터페이스를 통하여 전자 악보를 선택하는 선택 이벤트를 수신한다(S7100).
그리고, 전자 악보 서비스 제공 단말은, 수신된 선택 이벤트에 대응하는 전자 악보 데이터를 디스플레이한다(S7200).
여기서, 전자 악보 서비스 제공 단말은, 입력되는 소리 데이터를 음향 인식 알고리즘을 통하여 분석하고(S7300), 분석된 결과 데이터에 기초하여 입력되는 소리 데이터에 대응하는 악보 위치에 표시한다(S7400).
또한, 전자 악보 서비스 제공 단말은, 입력된 소리 데이터가 디스플레이된 전자 악보 데이터의 마지막 마디와 일치하는 경우, 전자 악보 데이터의 페이지를 자동으로 전환한다(S7500).
이와 같은 도 7의 전자 악보 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 6을 통해 전자 악보 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 7을 통해 설명된 일 실시예에 따른 전자 악보 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 일 실시예에 따른 전자 악보 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 전자 악보 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (22)

  1. 전자 악보 서비스 제공 단말에서 실행되는 전자 악보 서비스 제공 방법에 있어서,
    사용자 인터페이스를 통하여 전자 악보를 선택하는 선택 이벤트를 수신하는 단계;
    상기 수신된 선택 이벤트에 대응하는 전자 악보 데이터를 디스플레이하는 단계;
    입력되는 소리 데이터를 음향 인식 알고리즘을 통하여 분석하는 단계;
    상기 분석된 결과 데이터에 기초하여 입력되는 소리 데이터에 대응하는 악보 위치에 표시하는 단계;
    상기 입력된 소리 데이터가 디스플레이된 전자 악보 데이터의 마지막 마디와 일치하는 경우, 상기 전자 악보 데이터의 페이지를 자동으로 전환하는 단계;
    를 포함하는, 전자 악보 서비스 제공 방법.
  2. 제 1 항에 있어서,
    상기 음향 인식 알고리즘은, 상기 입력되는 소리 데이터가 단일 소리 데이터인 경우, QBSH(Query By Singing Humming)와 모노폴릭 음원을 이용하고, 상기 입력되는 소리 데이터가 다중 소리 데이터인 경우, 폴리토닉 음향 인식 알고리즘 및 폴리토닉 음원 데이터를 이용하는 것인, 전자 악보 서비스 제공 방법.
  3. 제 1 항에 있어서,
    상기 입력되는 소리 데이터를 음향 인식 알고리즘을 통하여 분석하는 단계는,
    상기 입력되는 소리 데이터를 TE(Teager Energy) 기반으로 특징 벡터를 추출하는 단계;
    상기 추출된 특징 벡터와 디스플레이된 전자 악보 데이터를 비교하고, 상기 입력된 소리 데이터와 매칭되는 전자 악보 데이터에 포함된 마디 및 음표를 분석하는 단계;
    상기 분석된 마디의 음표가 입력된 소리 데이터와 매칭되는지의 여부를 확인하는 단계; 및
    상기 확인 결과 입력된 소리 데이터와 음표의 길이 또는 음정이 매칭되지 않는 경우, 상기 매칭되지 않는 음표를 변환 처리하는 단계;
    를 포함하는 것인, 전자 악보 서비스 제공 방법.
  4. 제 3 항에 있어서,
    상기 매칭되는지의 여부는, 입력된 소리 데이터가 기 설정된 음표 주파수 오차 범위를 벗어나는지의 여부로 판단하는 것인, 전자 악보 서비스 제공 방법.
  5. 제 3 항에 있어서,
    상기 변환 처리는, 상기 디스플레이된 음표를 기 설정된 색상, 크기 또는 굵기와 다르게 변환하여 처리하는 것인, 전자 악보 서비스 제공 방법.
  6. 제 3 항에 있어서,
    상기 TE는, TEO(Teager Operator)를 통하여 입력 신호인 소리 데이터에 포함된 잡음 성분을 제거하고, 상기 잡음 성분이 제거된 소리 데이터의 파워 스펙트럼 편차를 추출하고, 추출한 특징 벡터를 통계적 모델 기반의 우도비(Likelihood Ratio)를 가중치 요소로 적용하는 것인, 전자 악보 서비스 제공 방법.
  7. 제 3 항에 있어서,
    상기 특징 벡터는, 파워 스펙트럼 편차(Power Spectral Deviation), 스펙트럼 에너지(Spectral Energy), 영교차율(Zero-Crossing), 선형 예측 계수(Linear Prediction Coefficient), 주기성(Periodic Measure), 포만트 형태(Formant Shape) 중 적어도 하나인 것인, 전자 악보 서비스 제공 방법.
  8. 제 1 항에 있어서,
    상기 사용자 인터페이스를 통하여 전자 악보를 선택하는 선택 이벤트를 수신하는 단계는,
    상기 전자 악보를 연주하는 소리 데이터의 음역 대역폭인 스펙트럼 범위를 지정하는 단계
    를 포함하는 것인, 전자 악보 서비스 제공 방법.
  9. 제 1 항에 있어서,
    상기 입력된 소리 데이터는 기 설정된 마디 단위로 분석되는 것인, 전자 악보 서비스 제공 방법.
  10. 제 1 항에 있어서,
    상기 소리 데이터의 입력이 중단된 경우, 상기 중단된 위치를 상기 전자 악보 데이터에 디스플레이하는 단계
    를 더 포함하는 것인, 전자 악보 서비스 제공 방법.
  11. 제 10 항에 있어서,
    상기 소리 데이터의 입력이 중단된 후 재입력되는 경우, 재입력되는 소리 데이터를 상기 전자 악보 데이터와 비교한 후, 상기 중단된 위치에서부터 상기 입력되는 소리를 음향 인식 알고리즘을 통하여 분석하는 단계로 복귀하는 것인, 전자 악보 서비스 제공 방법.
  12. 제 1 항에 있어서,
    상기 입력되는 소리 데이터를 음향 인식 알고리즘을 통하여 분석하는 단계는,
    상기 입력되는 소리 데이터의 음표, 마디, 음높이, 음길이, 쉼길이 또는 박자를 확인하는 단계
    를 포함하는 것인, 전자 악보 서비스 제공 방법.
  13. 제 1 항에 있어서,
    상기 입력된 소리 데이터가 디스플레이된 전자 악보 데이터의 마지막 마디와 일치하는 경우, 상기 전자 악보 데이터의 페이지를 자동으로 전환하는 단계는,
    상기 전자 악보 데이터의 페이지를 스크롤 형식으로 전환하는 것을 실행함에 따라 수행되는 것인, 전자 악보 서비스 제공 방법.
  14. 제 1 항에 있어서,
    상기 소리 데이터는, 음성 데이터 또는 연주 데이터인 것인, 전자 악보 서비스 제공 방법.
  15. 제 1 항에 있어서,
    상기 소리 데이터가 음성 데이터인 경우, 사용자의 음성 주파수 대역을 수신하여 설정하고, 상기 소리 데이터가 연주 데이터인 경우, 상기 소리 데이터를 출력하는 악기의 연주 주파수 대역을 설정하는 것인, 전자 악보 서비스 제공 방법.
  16. 제 1 항에 있어서,
    상기 소리 데이터가 중단되는 경우, 상기 중단된 소리 데이터의 주파수 스펙트럼 값으로 중단된 위치를 상기 전자 악보 데이터에 표시하는 것인, 전자 악보 서비스 제공 방법.
  17. 제 16 항에 있어서,
    상기 중단된 소리 데이터가 재시작되는 경우, 상기 재시작한 소리 데이터와 상기 표시된 위치로부터 매칭을 시작하여 음향 인식 알고리즘을 통하여 분석하는 단계로 복귀하는 것인, 전자 악보 서비스 제공 방법.
  18. 제 1 항에 있어서,
    상기 전자 악보 서비스 제공 단말은 적어도 하나의 사용자 인터페이스를 상기 전자 악보 데이터 상에 오버레이(Overlay)하고,
    상기 적어도 하나의 사용자 인터페이스는, 홈 아이콘, 설정 아이콘, 연필 아이콘, 지우개 아이콘, 음표 아이콘, 재생 아이콘, 녹음 아이콘, 메트로놈 아이콘 또는 튜너 아이콘 중 적어도 하나를 포함하는 것인, 전자 악보 서비스 제공 방법.
  19. 제 18 항에 있어서,
    상기 설정 아이콘은, 적어도 하나의 사용자 단말 중 메인 연주자 단말과 무선으로 연결하여 상기 메인 연주자 단말의 페이지 전환과 동기화하는 메뉴를 포함하는 것인, 전자 악보 서비스 제공 방법.
  20. 제 18 항에 있어서,
    상기 메트로놈 아이콘은, 상기 입력된 소리 데이터와 매칭되는 마디의 박자를 출력하는 메뉴를 포함하고, 상기 튜너 아이콘은, 설정된 악기 데이터 또는 음성 데이터의 초기음을 출력하는 메뉴를 포함하는 것인, 전자 악보 서비스 제공 방법.
  21. 제 18 항에 있어서,
    상기 설정 아이콘은, 상기 입력되는 소리 데이터가 솔로 연주에 대응하는 단일 데이터인지 또는 오케스트라에 대응하는 다중 데이터인지의 여부를 선택하는 메뉴를 포함하는 것인, 전자 악보 서비스 제공 방법.
  22. 전자 악보 서비스 제공 방법을 실시하는 단말에서 동작하는 애플리케이션을 제공하는 방법에 있어서,
    상기 단말은 청구항 1 내지 청구항 21 중 어느 한 항에 기재된 방법을 실시하는 것을 특징으로 하는 애플리케이션 제공 방법.
KR1020140182702A 2014-12-17 2014-12-17 전자 악보 서비스 제공 방법 KR101667004B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140182702A KR101667004B1 (ko) 2014-12-17 2014-12-17 전자 악보 서비스 제공 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140182702A KR101667004B1 (ko) 2014-12-17 2014-12-17 전자 악보 서비스 제공 방법

Publications (2)

Publication Number Publication Date
KR20160073862A true KR20160073862A (ko) 2016-06-27
KR101667004B1 KR101667004B1 (ko) 2016-10-17

Family

ID=56344483

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140182702A KR101667004B1 (ko) 2014-12-17 2014-12-17 전자 악보 서비스 제공 방법

Country Status (1)

Country Link
KR (1) KR101667004B1 (ko)

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190004215A (ko) * 2017-07-03 2019-01-11 (주) 유지엘소프트 시창평가 시스템 및 그것을 이용한 시창평가방법
KR20190088129A (ko) * 2018-01-05 2019-07-26 박장원 전자 악기와 연동된 유저 단말을 이용한 음악 콘텐츠의 제공 방법, 장치 및 컴퓨터 판독가능 매체
KR20200024434A (ko) * 2018-08-28 2020-03-09 서미현 디지털 악보 스트리밍 시스템
KR20210028948A (ko) 2019-09-05 2021-03-15 이계연 전자악보 디스플레이 방법
KR20220165939A (ko) 2021-06-09 2022-12-16 (주) 사운드리더 Music xml 기반 편집용 전자악보 표시방법
KR102564330B1 (ko) * 2022-12-15 2023-08-07 안유림 사운드 인식 기반의 전자 악보 자동 넘김 장치
KR102571326B1 (ko) * 2022-12-15 2023-08-30 안유림 타격 기반의 진동 인식을 통한 전자 악보 자동 넘김 장치
WO2023234614A1 (ko) * 2022-06-03 2023-12-07 클레브레인 주식회사 악기 연주 추적 시스템 및 방법
EP4350684A1 (en) * 2022-09-28 2024-04-10 Yousician Oy Automatic musician assistance

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020001218A (ko) * 2000-06-27 2002-01-09 김만수 전자 악보장치 및 그것의 제어방법
KR20030076636A (ko) * 2001-01-31 2003-09-26 모토로라 인코포레이티드 전기 음성 신호와 관련된 잡음을 감소시키는 방법 및 장치
KR101051803B1 (ko) * 2010-12-16 2011-07-25 전자부품연구원 허밍 또는 노래 기반 음원 검색 방법 및 시스템
JP2014044386A (ja) * 2011-12-09 2014-03-13 Yamaha Corp 音データ処理装置及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020001218A (ko) * 2000-06-27 2002-01-09 김만수 전자 악보장치 및 그것의 제어방법
KR20030076636A (ko) * 2001-01-31 2003-09-26 모토로라 인코포레이티드 전기 음성 신호와 관련된 잡음을 감소시키는 방법 및 장치
KR101051803B1 (ko) * 2010-12-16 2011-07-25 전자부품연구원 허밍 또는 노래 기반 음원 검색 방법 및 시스템
JP2014044386A (ja) * 2011-12-09 2014-03-13 Yamaha Corp 音データ処理装置及びプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190004215A (ko) * 2017-07-03 2019-01-11 (주) 유지엘소프트 시창평가 시스템 및 그것을 이용한 시창평가방법
KR20190088129A (ko) * 2018-01-05 2019-07-26 박장원 전자 악기와 연동된 유저 단말을 이용한 음악 콘텐츠의 제공 방법, 장치 및 컴퓨터 판독가능 매체
KR20200024434A (ko) * 2018-08-28 2020-03-09 서미현 디지털 악보 스트리밍 시스템
KR20210028948A (ko) 2019-09-05 2021-03-15 이계연 전자악보 디스플레이 방법
KR20220165939A (ko) 2021-06-09 2022-12-16 (주) 사운드리더 Music xml 기반 편집용 전자악보 표시방법
WO2023234614A1 (ko) * 2022-06-03 2023-12-07 클레브레인 주식회사 악기 연주 추적 시스템 및 방법
EP4350684A1 (en) * 2022-09-28 2024-04-10 Yousician Oy Automatic musician assistance
KR102564330B1 (ko) * 2022-12-15 2023-08-07 안유림 사운드 인식 기반의 전자 악보 자동 넘김 장치
KR102571326B1 (ko) * 2022-12-15 2023-08-30 안유림 타격 기반의 진동 인식을 통한 전자 악보 자동 넘김 장치

Also Published As

Publication number Publication date
KR101667004B1 (ko) 2016-10-17

Similar Documents

Publication Publication Date Title
KR101667004B1 (ko) 전자 악보 서비스 제공 방법
US9928835B1 (en) Systems and methods for determining content preferences based on vocal utterances and/or movement by a user
US20140129235A1 (en) Audio tracker apparatus
CN104395953A (zh) 来自音乐音频信号的拍子、和弦和强拍的评估
US9224385B1 (en) Unified recognition of speech and music
JP5523774B2 (ja) オンライン音楽ゲーム提供方法及びオンライン音楽ゲームシステム
Nakamura et al. Real-time audio-to-score alignment of music performances containing errors and arbitrary repeats and skips
CN112309409A (zh) 音频修正方法及相关装置
Kitahara et al. JamSketch: Improvisation support system with GA-based melody creation from user’s drawing
KR101813704B1 (ko) 사용자 음색 분석 장치 및 음색 분석 방법
KR20200070732A (ko) 음악 콘텐츠 추천 장치
WO2019180830A1 (ja) 歌唱評価方法及び装置、プログラム
KR20220056487A (ko) 코드반주 학습서비스 제공 장치, 방법 및 프로그램
JP2005227850A (ja) 情報処理装置、情報処理方法及びプログラム
KR102165940B1 (ko) Ｃｂｍｒ 기반 음을 이용한 음악 검색 서비스 제공 시스템 및 방법
KR101482148B1 (ko) 개인화된 발음열을 이용한 그룹 매핑 데이터 생성 서버, 음성 인식 서버 및 방법
KR101546331B1 (ko) 음계를 이용한 음악 재생 방법 및 이를 이용한 음악 재생 장치
JP6177027B2 (ja) 歌唱採点システム
Salehin et al. A recommender system for music less singing voice signals
JP6736914B2 (ja) 楽曲選曲装置、カラオケシステム及び楽曲選曲用プログラム
KR20200070733A (ko) 음악 콘텐츠 추천 장치를 구비하는 음악 콘텐츠 제공 시스템
CN110400559A (zh) 一种音频合成的方法、装置及设备
KR102226210B1 (ko) 코드스코어 기반 프로그레스 바를 이용한 속도 표시 서비스 제공 방법
JP6597048B2 (ja) アライメント装置およびプログラム
JP6144592B2 (ja) 歌唱採点システム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant