KR20210058064A - 컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션 - Google Patents

컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션 Download PDF

Info

Publication number
KR20210058064A
KR20210058064A KR1020190145037A KR20190145037A KR20210058064A KR 20210058064 A KR20210058064 A KR 20210058064A KR 1020190145037 A KR1020190145037 A KR 1020190145037A KR 20190145037 A KR20190145037 A KR 20190145037A KR 20210058064 A KR20210058064 A KR 20210058064A
Authority
KR
South Korea
Prior art keywords
score
image
digital
sheet music
music
Prior art date
Application number
KR1020190145037A
Other languages
English (en)
Other versions
KR102304516B1 (ko
Inventor
서미현
Original Assignee
서미현
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서미현 filed Critical 서미현
Priority to KR1020190145037A priority Critical patent/KR102304516B1/ko
Publication of KR20210058064A publication Critical patent/KR20210058064A/ko
Application granted granted Critical
Publication of KR102304516B1 publication Critical patent/KR102304516B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G10G1/02—Chord or note indicators, fixed or adjustable, for keyboard of fingerboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding

Abstract

본 발명의 기술적 사상이 되는 컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션이 개시된다. 본 발명의 일 실시 예에 따를 때, 이미지 형태의 이미지 악보를 미디 파일 기반의 디지털 악보로 변환하는 단계; 및 상기 디지털 악보를 편곡 기능, 연주 정보 메모 기능, 악보 공유 기능 및 실시간 동기화 중 어느 하나의 서비스로 제공하는 단계;를 실행시킨다.

Description

컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션{CLOUD-BASED DIGITAL SHEET MUSIC APPLICATIONS WRITTEN TO COMPUTER-READABLE STORAGE MEDIA}
본 발명은 컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션에 관한 것이다. 구체적으로 본 발명은 디지털 악보를 서비스하는 컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션에 관한 것이다.
디지털 악보 서비스 애플리케이션은 미디 파일 형태의 디지털 악보를 이용하여 음악을 재생하고, 디지털 악보에 대한 편집 기능을 가진다. 디지털 악보는 미디 파일 형태로 전자 악기에 대한 연주 정보를 가지고, 디지털 악보 서비스 애플리케이션은 디지털 악보에 기록된 전자 악기와 연주 정보에 따라 전자음을 재생함으로써 음악을 재생한다. 디지털 악보 서비스 애플리케이션은 스마트폰 또는 컴퓨터의 단말기에 제공되어 사용자가 단말기를 통해 디지털 악보 서비스 애플리케이션의 인터페이스에 명령을 입력해서 디지털 악보 서비스 애플리케이션에서 제공하는 메뉴를 실행시킨다. 이러한 디지털 악보 서비스 애플리케이션은 디지털 악보를 이용하지만 아날로그 형태의 악보로부터 악보 정보를 추출해서 음악 재생에 활용하고 있지 못하다.
공개번호 제10-2010-0055467호, 음악 메타데이터를 이용하여 음악을 비음악 애플리케이션에 통합하는 시스템 및 방법 등록번호 제10-1531141호, 음악 재생 방법, 제3자 애플리케이션 및 장치
본 발명은 디지털 악보를 매개로 편곡 기능, 연주 정보 메모 기능, 악보 공유 기능 및 실시간 동기화 중 어느 하나의 서비스를 제공하는 컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션을 제공한다
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 문제는 청구항 제1항의 특징들을 포함하는 클라우드 기반의 디지털 악보 서비스 애플리케이션을 제공함으로써 해결된다. 따라서, 본 발명에 따라, 이미지 형태의 이미지 악보를 미디 파일 기반의 디지털 악보로 변환하는 단계; 및 상기 디지털 악보를 편곡 기능, 연주 정보 메모 기능, 악보 공유 기능 및 실시간 동기화 중 어느 하나의 서비스로 제공하는 단계;를 실행시킨다.
또한, 상기 변환하는 단계는, 이미지 형태의 이미지 악보를 인식하는 단계; 인식된 이미지 악보를 이미지 처리하여 디지털 악보로 변환하는 단계; 및 변환된 디지털 악보를 출력하는 단계;를 실행시킨다.
또한, 상기 디지털 악보로 변환하는 단계는, 상기 이미지 악보에서 악보 라인을 분할하는 단계; 분할된 악보 라인을 가지는 이미지 악보에 대해 이미지 처리를 수행하는 단계; 상기 이미지 처리가 수행된 이미지 악보에 대해 음표 인식하는 단계; 및 인식된 음표에 기반하여 미디 파일을 생성하는 단계;를 실행시킨다.
또한, 상기 분할하는 단계는, 상기 이미지 악보에 대해 바이너리 변환하는 단계; 바이너리 변환된 이미지 악보를 수평 투영하는 단계; 수평 투영된 이미지 악보에 대해 지역 분할하는 단계;를 실행시킨다.
또한, 상기 수행하는 단계는, 분할된 악보 라인을 가지는 이미지 악보에 대해 오선 라인 필터링을 수행하는 단계; 상기 오선 라인 필터링이 수행된 이미지 악보에 대해 음표 모형 보완 처리를 수행하는 단계; 및 상기 음표 모형 보완 처리가 수행된 이미지 악보에 대해 라벨링을 수행하는 단계;를 실행시킨다.
또한, 상기 음표 인식하는 단계는, 상기 이미지 처리가 수행된 이미지 악보에 대해 기둥 필터링을 하는 단계; 상기 기둥 필터링된 이미지 악보에 대해 모양 필터링을 하는 단계; 및 상기 모양 필터링된 이미지 악보에 대해 음표 위치를 분석하여 피치를 인식하는 단계;를 실행시킨다.
또한, 상기 이미지 악보의 획득은, 특정 매체에 표시된 악보를 촬영하는 단계; 악보의 기울기 또는 카메라 기울기로 촬영된 이미지 악보의 왜곡 정보를 제거하는 단계; 및 상기 왜곡 정도가 제거된 이미지 악보를 투영해서 정렬된 이미지 악보를 획득하는 단계;를 실행시킨다.
또한, 상기 디지털 악보로 변환하는 단계는, 상기 이미지 악보로부터 상기 디지털 악보로 변환됨에 있어 변환 계산 단계에서의 오류 정도를 모니터링하는 단계; 및 모니터링된 오류 정도에 대해 상기 바이너리 변환에서 이진 데이터가 차지하는 비율 또는 상기 음표 인식에서 음표 변환 실패율을 계산해서 계산된 값이 미리 설정된 임계치를 벗어나면 상기 이미지 악보의 스캔 재입력을 요청하는 단계;를 실행시킨다.
본 설명 및 청구범위 전반에 걸쳐 본 발명의 근본적인 개념들의 더 나은 이해를 위해 에 대해서만 참조되었으나, 모든 본 발명의 측면들 내에서 본 발명은 추가적인 더 나아가 실시예들을 물론 또한 포괄한다. 당해 기술 분야에 있어서 통상의 기술을 가진자에게 쉽게 명백하게, 본 발명에 따른 방법들, 장치 및 시스템들은 클라우드 기반의 디지털 악보 서비스 애플리케이션에 대해 동등하게 적용될 수 있다.
발명의 바람직한 실시예
단독으로 또는 조합으로 적용될 수 있는 본 발명의 바람직한 특징들은 부수하는 청구항들 내에서뿐만 아니라 하기 내에서 논의된다.
바람직하게는, 이미지 형태의 이미지 악보를 미디 파일 기반의 디지털 악보로 변환하는 단계; 및 상기 디지털 악보를 편곡 기능, 연주 정보 메모 기능, 악보 공유 기능 및 실시간 동기화 중 어느 하나의 서비스로 제공하는 단계;를 실행시킨다.
본 발명의 일 실시 예에 따를 때, 클라우드 기반의 디지털 악보 서비스 애플리케이션은 디지털 악보를 매개로 편곡 기능, 연주 정보 메모 기능, 악보 공유 기능 또는 실시간 동기화의 서비스를 제공함으로써 사용자가 디지털 악보 서비스 애플리케이션이 제공하는 서비스를 이용해서 디지털 악보를 활용할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 개시의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 클라우드 기반의 디지털 악보 서비스를 보인 예시도이다.
도 2는 디지털 악보 변환을 보인 예시도이다.
도 3은 편곡 기능을 보인 예시도이다.
도 4는 연주 정보 메모 기능을 보인 예시도이다.
도 5는 공유 기능, 친구 초대를 보인 예시도이다.
도 6은 서버의 구성을 보인 예시도이다.
도 7은 변환 단계를 보인 예시도이다.
도 8은 수평 투영을 보인 예시도이다.
도 9는 지역 분할을 보인 예시도이다.
도 10은 라인 제거를 보인 예시도이다.
도 11은 형태학적 처리를 보인 예시도이다.
도 12는 라벨링을 보인 예시도이다.
도 13은 음표 인식 처리 흐름도이다.
도 14는 서버와 단말기의 구성을 보인 예시도이다.
도 15는 단말기의 구성을 보인 예시도이다.
도 16은 서버의 구성을 보인 예시도이다.
실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하 첨부된 도면을 참고하여 본 개시의 실시 예를 상세히 설명하기로 한다.
도 1은 클라우드 기반의 디지털 악보 서비스를 보인 예시도이다.
클라우드, 디지털 악보 서비스(1)가 구성일 수 있고, 클라우드는 디지털 악보를 저장할 때 작업한 컴퓨터 내부에 있는 공간이 아니라 인터넷을 통하여 서버에 저장할 수 있고, 디지털 악보 서비스(1)는 클라우드 기반의 디지털 악보 서비스 애플리케이션에 접속되는 단말기에 디지털 악보를 제공할 수 있다. 디지털 악보는 클라우드 기반의 중앙 서버인 서버에 의해 관리되며 서버에 접속되는 단말기간에 공유될 수 있다.
도 2는 디지털 악보 변환을 보인 예시도이다.
디지털 악보, 변환(2)이 구성일 수 있고, 디지털 악보는 아날로그 형태의 악보로부터 변환(2)되어 생성될 수 있다. 디지털 악보 서비스 애플리케이션은 특정 매체에 표시된 악보로부터 이미지 촬영하여 이미지 처리를 통해 디지털 악보로 변환(2)할 수 있다.
도 3은 편곡 기능을 보인 예시도이다.
편곡 기능(2), 연주 성격, 수정, 편곡이 구성일 수 있고, 디지털 악보 서비스 애플리케이션은 디지털 악보에 대해 편곡 기능(2)을 제공해서 연주 성격, 수정 또는 편곡을 사용자 단말기가 이용할 수 있도록 편곡 기능 메뉴를 제공할 수 있다. 편곡 기능은 디지털 악보 서비스 애플리케이션에서 제공되며, 사용자 단말기는 디지털 악보에 대해 편곡 기능(2)을 통해 디지털 악보를 연주 성격에 맞게 수정 또는 편곡할 수 있다.
도 4는 연주 정보 메모 기능을 보인 예시도이다.
연주 정보 메모 기능(4)이 구성일 수 있고, 디지털 악보 서비스 애플리케이션은 디지털 악보에 대해 연주 정보 메모 기능(4)을 제공해서 디지털 악보에 연주 정보 메모를 남길 수 있고, 사용자 단말기는 사용자로 하여금 다른 사용자 단말기가 남긴 연주 정보 메모를 열람하도록 할 수 있다. 연주 정보 메모 기능(4)은 디지털 악보 서비스 애플리케이션에서 제공되며, 사용자 단말기는 연주 정보 메모 기능(4)을 통해 디지털 악보에 연주 정보 메모를 남기고, 다른 사용자 단말기와 공유할 수 있다.
도 5는 공유 기능, 친구 초대를 보인 예시도이다.
연주자, 악보, 공유 기능(5), 친구 초대, 실시간 동기화가 구성일 수 있고, 디지털 악보 서비스 애플리케이션을 이용하는 연주자는 디지털 악보를 공유 기능(5)을 통해 공유하고, 친구 초대 기능을 통해 연주자의 친구 단말기를 초대해서 디지털 악보를 실시간 동기화로 공유할 수 있다. 공유 기능(5)은 디지털 악보 서비스 애플리케이션에서 제공되며, 사용자 단말기는 공유 기능(5)을 이용해서 다른 사용자 단말기와 디지털 악보를 공유할 수 있다.
도 6은 서버의 구성을 보인 예시도이다.
관리자 웹 페이지, 사용자 인증, 그룹 관리, 악보 관리, 결제 관리, 변환 처리(PDF 변환, MIDI 변환), 사용자 관리, 단말기(10), 서버(20), 데이터베이스(30)가 구성일 수 있고, 관리자 웹 페이지는 관리 메뉴를 제공할 수 있고, 사용자 인증은 디지털 악보 서비스 애플리케이션에 접속되는 단말기의 사용자를 인증하고, 그룹 관리는 사용자 그룹을 관리할 수 있고, 악보 관리는 이미지 악보 또는 디지털 악보를 관리할 수 있고, 결제 관리는 서비스 이용에 따른 결제를 관리할 수 있고, 변환 처리는 이미지 악보를 디지털 악보로 변환할 수 있고, 사용자 관리는 사용자 데이터를 관리할 수 있고, 단말기(10)는 디지털 악보 서비스 애플리케이션에 접속할 수 있고, 서버(20)는 디지털 악보 서비스 애플리케이션을 운영할 수 있고, 데이터베이스(30)는 디지털 악보 서비스 애플리케이션에서 생성되는 데이터를 저장할 수 있다.
서버(20)는 임베디드 장치로 구현될 수 있고, 임베디드 장치는 컴퓨터를 포함하며, 기본 구성 요소로 프로세서, 메모리, 디스플레이를 포함하고, 상용 OS를 구비하고, OS에서 동작하는 애플리케이션 형태로 서버(20)가 구현될 수 있다. 이러한 애플리케이션은 임베디드 장치에서 요구되는 다양한 동작 환경에 따라 프로그래밍 언어를 이용한 통합 개발 환경에 의해 만들어진다. 통합 개발 환경에 사용되는 프로그래밍은 사용자와 인터페이스되는 컴퓨팅 환경에 따라 웹, 모바일 앱, 윈도우 앱으로 구분되고, 앱 종류에 맞게 웹 프로그래밍, 모바일 프로그래밍, 윈도우 프로그래밍으로 나누어진다.
서버(20)에 사용되는 웹 프로그래밍은 태그 정의로 이루어진 html과 문서 형식 정의 css가 결합되어 웹 프레임워크를 구성한다. 웹 프레임워크에서 클라이언트단의 프런트 엔드와 서버 측 프로그래밍 언어가 사용되는 백 엔드가 서로 데이터를 주고받으면서 거대한 웹 환경을 만든다. 웹 환경은 서버(20)가 동작하는 주요 무대이며, 서버(20)는 모바일 앱, 콘솔 앱 및 윈도우 앱과 웹 환경에서 통신하며 사용자에게 컴퓨팅 서비스를 제공한다.
디지털 악보 서비스 애플리케이션은 관리자 웹 페이지를 제공하여 관리자가 관리 메뉴를 통해 디지털 악보 서비스 애플리케이션을 관리할 수 있도록 한다. 관리 메뉴는 사용자 인증, 그룹 관리, 악보 관리, 결제 관리, 변환 처리, 사용자 관리 중 어느 하나 이상을 포함할 수 있다. 디지털 악보 서비스 애플리케이션에는 단말기(10)가 접속하여 이미지 악보를 디지털 악보로 변환하여 활용할 수 있고, 서버(20)는 디지털 악보 서비스 애플리케이션을 운영할 수 있다.
단말기(10)는 임베디드 장치로 구현될 수 있고, 임베디드 장치는 스마트폰을 포함하며, 기본 구성 요소로 프로세서, 메모리, 디스플레이를 포함하고, 상용 OS를 구비하고, OS에서 동작하는 애플리케이션 형태로 단말기(10)가 구현될 수 있다. 예를 들어, 스마트폰의 경우 스마트폰의 프로세서는 제어부로 동작하고, 스마트폰의 디스플레이는 표시부로 동작할 수 있다. 애플리케이션 측면에서 소프트웨어 구조는, 제어부 및 표시부를 포함할 수 있다. 이러한 애플리케이션은 임베디드 장치에서 요구되는 다양한 동작 환경에 따라 프로그래밍 언어를 이용한 통합 개발 환경에 의해 만들어진다.
도 7은 변환 단계를 보인 예시도이다.
악보 스캔, 악보 촬영, 촬영 각도, 카메라 기울기, 악보 기울기, 왜곡 정도, 투영이 구성일 수 있고, 악보 스캔은 이미지 형태의 이미지를 스캔할 수 있고, 악보 촬영은 특정 매체에 표시된 악보를 촬영할 수 있고, 촬영 각도는 카메라 기울기 또는 악보 기울기일 수 있고, 왜곡 정도는 카메라 기울기 또는 악보 기울기에 따른 이미지의 왜곡 정보일 수 있고, 투영은 왜곡된 이미지를 투영해서 정렬된 이미지를 출력할 수 있다.
디지털 악보 서비스 애플리케이션은 특정 매체에 이미지 형태로 표시된 이미지 악보를 촬영하여 스캔하고, 스캔된 이미지 악보에 대해 카메라 기울기 또는 악보 기울기에 따른 왜곡 정도를 계산하여 스캔된 이미지 악보를 투영시켜 정렬된 이미지 악보를 획득할 수 있다.
악보 변환, 악보 라인 분할, 이미지 프로세싱, 음표 인식, 인식 결과, 오류 정도 모니터링, 임계치 넘으면 악보 스캔 재입력 요청, 이진데이터가 차지하는 비율, 음표 변환 실패율이 구성일 수 있고, 악보 변환은 이미지 악보를 디지털 악보로 변환할 수 있고, 악보 라인 분할은 이미지 악보에 대해 악보 라인을 분할할 수 있고, 이미지 프로세싱은 이미지 악보에 대해 음표 모양을 처리할 수 있고, 음표 인식은 음표를 인식할 수 있고, 인식 결과는 디지털 악보를 출력할 수 있고, 오류 정도 모니터링은 악보 변환 단계에서 오류 정도를 모니터링할 수 있고, 임계치 넘으면 악보 스캔 재입력 요청은 오류 정보가 미리 설정된 임계치를 벗어나면 악보 스캔 재입력을 요청할 수 있고, 이진데이터가 차지하는 비율은 이진화를 통한 이진데이터의 비율일 수 있고, 음표 변환 실패율은 음표 인식 단계에서 음표 변환에 실패한 비율일 수 있다.
디지털 악보 서비스 애플리케이션은 이미지 악보를 디지털 악보로 변환함에 있어(40), 이미지 악보의 라인을 분할하고(41), 이미지 프로세싱을 처리하고(42), 음표를 인식하여(43) 인식 결과로 디지털 악보를 출력할 수 있다. 디지털 악보 서비스 애플리케이션은 이미지 악보가 디지털 악보로 변환하는 단계에서 오류 정도를 모니터링하고, 오류 정도의 값이 미리 설정된 임계치를 넘으면 이미지 악보의 스캔을 재입력 요청할 수 있다. 디지털 악보 서비스 애플리케이션은 오류 정도로 악보 라인 분할 단계에서의 이진 데이터가 차지하는 비율 또는 음표 인식 단계에서의 음표 변환 실패율을 계산할 수 있다. 이진 데이터가 차지하는 비율은 바이너리 변환을 통한 이진화로 이미지 악보가 이진 데이터로 변환될 때 각각의 이진 데이터의 비율이 일반적인 비율에 속하는지를 판단할 수 있고, 음표 변환 실패율은 음표 인식 단계에서 음표를 인식할 때 인식 결과가 음표로 변환되지 않고 실패하는 비율일 수 있다.
악보 라인 분할(41), 바이너리 변환, 이진화, 수평 투영, 적층, 가로 방향으로 투영, 지역 분할, 오선 라인의 높이, 간격을 인식이 구성일 수 있고, 악보 라인 분할은 악보 라인을 분할할 수 있고, 바이너리 변환은 이미지 악보를 이진화할 수 있고, 수평 투영은 이미지 악보를 가로 방향으로 투영하여 적층할 수 있고, 지역 분할은 오선 라인의 높이 또는 간격을 인식할 수 있다.
디지털 악보 서비스 애플리케이션은 이미지 악보에 대해 악보 라인을 분할할 수 있고, 악보 라인을 분할(41)함에 있어, 이미지 악보를 바이너리 변환하여 이진화하고, 수평 투영을 통해 적층해서 가로 방향으로 투영하고, 지역 분할로 오선 라인의 높이와 간격을 인식할 수 있다.
이미지 프로세싱(42), 오선 라인 필터링, 라인 제거, 형태학적 처리, 음표 모형 보완 처리, 연결된 구성요소 라벨링, 라벨링이 구성일 수 있고, 이미지 프로세싱은 오선 라인 또는 음표를 인식할 수 있고, 오선 라인 필터링은 라인을 제거하여 오선 라인을 필터링할 수 있고, 형태학적 처리는 음표 모형을 보완 처리할 수 있고, 연결된 구성요소 라벨링은 픽셀에 라벨링할 수 있다.
디지털 악보 서비스 애플리케이션은 이미지 악보에 대해 이미지 프로세싱을 처리(42)함에 있어, 오선 라인 필터링을 통해 라인을 제거하고, 형태학적 처리를 통해 음표 모형을 보완 처리하고, 연결된 구성요소 라벨링을 통해 음표 모형을 라벨링할 수 있다.
음표 인식, 기둥 필터링, 기둥 인식, 필터링, 모양 필터링, 머리, 꼬리 인식, 필터링, 피치 분석, 음표 위치 분석, 피치 인식이 구성일 수 있고, 음표 인식은 음표를 인식할 수 있고, 기둥 필터링은 기둥을 인식할 수 있고, 모양 필터링은 머리 또는 꼬리를 인식할 수 있고, 피치 분석은 음표 위치를 분석하여 피치를 인식할 수 있다.
디지털 악보 서비스 애플리케이션은 이미지 프로세싱을 마친 이미지 악보에 대해 음표 인식을 처리(43)할 수 있고, 음표를 인식함에 있어 기둥 필터링을 통해 기둥을 인식하고, 모양 필터링을 통해 머리 또는 꼬리를 인식하고, 피치 분석을 통해 음표 위치를 분석하고 피치를 인식할 수 있다.
인식 결과, MusicXML 생성, 데이터베이스 저장, 디지털 악보가 구성일 수 있고, 인식 결과는 디지털 악보를 출력할 수 있고, MusicXML은 미디 형태의 디지털 악보일 있고, 데이터베이스 저장은 데이터베이스에 디지털 악보를 저장할 수 있다.
디지털 악보 서비스 애플리케이션은 인식 결과로 디지털 악보를 출력할 수 있고, 미디 형태의 디지털 악보를 데이터베이스에 저장할 수 있다.
이미지 악보, 획득, 특정 매체, 악보, 촬영, 악보의 기울기, 카메라 기울기, 왜곡 정도, 투영, 정렬된 이미지 악보가 구성일 수 있고, 이미지 악보는 디지털 악보 서비스 애플리케이션에 의해 획득될 수 있고, 특정 매체는 종이 또는 디지털 매체일 수 있고, 악보는 악보의 기울기 또는 카메라 기울기의 왜곡 정보에 따라 촬영될 수 잇고, 투영은 왜곡된 이미지를 정렬된 이미지 악보로 출력할 수 있다.
디지털 악보 서비스 애플리케이션은 이미지 악보를 획득함에 있어, 특정 매체에 표시된 악보를 촬영하여 이미지를 획득하고, 악보의 기울기 또는 카메라 기울기에 따른 왜곡 정보를 계산하고, 왜곡 정도에 기반하여 이미지를 투영시켜 정렬된 이미지 악보를 획득할 수 있다.
이미지 악보, 디지털 악보, 변환, 변환 계산 단계, 오류 정도, 모니터링, 바이너리 변환, 이진 데이터가 차지하는 비율, 음표 인식, 음표 변환 실패율, 임계치, 이미지 악보의 스캔 재입력, 요청이 구성일 수 있다.
디지털 악보 서비스 애플리케이션은 이미지 악보를 디지털 악보로 변환함에 있어 변환 계산 단계에서 오류 정도를 모니터링할 수 있고, 변환 계산 단계 중 바이너리 변환 단계에서 이진 데이터가 차지하는 비율을 계산할 수 있고, 음표 인식 단계에서 음표 변환 실패율을 계산할 수 있다. 디지털 악보 서비스 애플리케이션은 왜곡 정도로 이진 데이터가 차지하는 비율 또는 음표 변환 실패율과 미리 설정된 임계치를 비교하여 왜곡 정도의 값이 임계치를 벗어나면 이미지 악보의 스캔 재입력을 요청할 수 있다. 요청은 디지털 악보 서비스 애플리케이션에서 요청 메시지를 표시할 수 있다.
도 8은 수평 투영을 보인 예시도이다.
수평 투영, 적층, 가로 방향으로 투영이 구성일 수 있고, 수평 투영(51)은 가로 방향으로 이미지 악보를 투영하여 이미지를 적층시킬 수 있다. 디지털 악보 서비스 애플리케이션은 이미지 악보를 수평 투영(51)하여 악보 이미지 차원을 줄여서 가로 방향으로 투영할 수 있다.
도 9는 지역 분할을 보인 예시도이다.
지역 분할(52), 오선 라인의 높이, 간격을 인식이 구성일 수 있고, 지역 분할은 오선 라인의 높이 또는 간격을 인식할 수 있다. 디지털 악보 서비스 애플리케이션은 지역 분할 단계(52)에서 오선 라인의 높이 및 간격을 인식할 수 있다. 도 4에는 오선 라인 간격과 오선 라인의 높이가 표시되어 있다.
도 10은 라인 제거를 보인 예시도이다.
오선 라인 필터링, 라인 제거(61)가 구성일 수 있고, 오선 라인 필터링은 이미지 악보에서 라인을 제거(61)할 수 있다. 디지털 악보 서비스 애플리케이션은 오선 라인 필터링을 통해 이미지 악보에서 라인을 제거(61)할 수 있다.
도 11은 형태학적 처리를 보인 예시도이다.
형태학적 처리(62), 음표 모형 보완 처리가 구성일 수 있고, 형태학적 처리는 음표 모형을 보완 처리할 수 있다. 디지털 악보 서비스 애플리케이션은 형태학적 처리(62)를 통해 음표 모형을 보완 처리할 수 있다.
도 12는 라벨링을 보인 예시도이다.
연결된 구성요소 라벨링(63), 라벨링이 구성일 수 있고, 연결된 구성요소 라벨링(63)은 픽셀에 대해 라벨링을 수행할 수 있다. 디지털 악보 서비스 애플리케이션은 연결된 구성요소 라벨링을 통해 픽셀의 연결된 구성요소를 라벨링 처리할 수 있다.
도 13은 음표 인식 처리 흐름도이다.
음표 이미지, 음표인가?, 기둥을 가지고 있나?, 꼬리를 몇 개 가지고 있나?가 구성일 수 있다. 디지털 악보 서비스 애플리케이션은 음표 인식 단계(70)에서 음표 이미지에 대해 음표인가를 결정하고, 기둥을 가지고 있나 또는 꼬리를 몇 개 가지고 있나를 결정해서 온음표, 2분음표, 4분음표, 8분음표, 16분음표를 결정할 수 있다.
도 14는 서버와 단말기의 구성을 보인 예시도이다.
서버(90), 단말기(80)가 구성일 수 있다. 서버(90)는 디지털 악보 서비스 애플리케이션을 운영하고, 단말기(80)는 서버(90)가 운영하는 디지털 악보 서비스 애플리케이션에 접속해서 이미지 악보를 디지털 악보로 변환할 수 있다.
도 15는 단말기의 구성을 보인 예시도이다.
단말기(80), 키보드(81), 프로세서(82), 통신부(83), 디스플레이(84)가 구성일 수 있다. 단말기(80)는 키보드(81)를 통해 데이터를 입력하고, 프로세서(82)는 입력된 데이터를 통신부(83)를 통해 서버(90)로 전송할 수 있고, 디스플레이(84)는 프로세서(82)가 처리한 데이터를 표시할 수 있다.
도 16은 서버의 구성을 보인 예시도이다.
서버(90), 키보드(91), 프로세서(92), 데이터베이스(93), 통신부(94), 디스플레이(95)가 구성일 수 있다. 서버(90)는 키보드를 통해 관리 명령을 프로세서(92)에 입력할 수 있고, 프로세서(92)는 관리 명령에 따라 디지털 악보 서비스 애플리케이션을 관리할 수 있고, 데이터베이스(93)는 디지털 악보 서비스 애플리케이션에 의해 생성되는 데이터를 저장할 수 있고, 통신부(94)는 프로세서(92)의 데이터를 단말기(80)로 전송할 수 있고, 디스플레이(95)는 디지털 악보 서비스 애플리케이션의 모니터링 화면을 표시할 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
1: 디지털 악보 서비스
2: 디지털 악보 변환
3: 편곡 기능
4: 연주 정보 메모 기능
5: 공유 기능
10: 단말기
20: 서버
30: 데이터베이스
40: 악보 변환
41: 악보 라인 분할
42: 이미지 프로세싱
43: 음표 인식
51: 수평 투영
52: 지역 분할
61: 라인 제거
62: 형태학적 처리
63: 라벨링
70: 음표 인식
80: 단말기
81: 키보드
82: 프로세서
83: 통신부
84: 디스플레이
90: 서버
91: 키보드
92: 프로세서
93: 데이터베이스
94: 통신부
95: 디스플레이

Claims (5)

  1. 이미지 형태의 이미지 악보를 미디 파일 기반의 디지털 악보로 변환하는 단계; 및
    상기 디지털 악보를 편곡 기능, 연주 정보 메모 기능, 악보 공유 기능 및 실시간 동기화 중 어느 하나의 서비스로 제공하는 단계;를 실행시키는, 컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션.
  2. 제 1 항에 있어서,
    상기 변환하는 단계는,
    이미지 형태의 이미지 악보를 인식하는 단계;
    인식된 이미지 악보를 이미지 처리하여 디지털 악보로 변환하는 단계; 및
    변환된 디지털 악보를 출력하는 단계;를 실행시키는, 컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션.
  3. 제 2 항에 있어서,
    상기 디지털 악보로 변환하는 단계는,
    상기 이미지 악보에서 악보 라인을 분할하는 단계;
    분할된 악보 라인을 가지는 이미지 악보에 대해 이미지 처리를 수행하는 단계;
    상기 이미지 처리가 수행된 이미지 악보에 대해 음표 인식하는 단계; 및
    인식된 음표에 기반하여 미디 파일을 생성하는 단계;를 실행시키는, 컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션.
  4. 제 3 항에 있어서,
    상기 분할하는 단계는,
    상기 이미지 악보에 대해 바이너리 변환하는 단계;
    바이너리 변환된 이미지 악보를 수평 투영하는 단계;
    수평 투영된 이미지 악보에 대해 지역 분할하는 단계;를 실행시키는, 컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션.
  5. 제 3 항에 있어서,
    상기 수행하는 단계는,
    분할된 악보 라인을 가지는 이미지 악보에 대해 오선 라인 필터링을 수행하는 단계;
    상기 오선 라인 필터링이 수행된 이미지 악보에 대해 음표 모형 보완 처리를 수행하는 단계; 및
    상기 음표 모형 보완 처리가 수행된 이미지 악보에 대해 라벨링을 수행하는 단계;를 실행시키는, 컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션.
KR1020190145037A 2019-11-13 2019-11-13 컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션 KR102304516B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190145037A KR102304516B1 (ko) 2019-11-13 2019-11-13 컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190145037A KR102304516B1 (ko) 2019-11-13 2019-11-13 컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션

Publications (2)

Publication Number Publication Date
KR20210058064A true KR20210058064A (ko) 2021-05-24
KR102304516B1 KR102304516B1 (ko) 2021-09-23

Family

ID=76152673

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190145037A KR102304516B1 (ko) 2019-11-13 2019-11-13 컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션

Country Status (1)

Country Link
KR (1) KR102304516B1 (ko)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020050594A (ko) * 2000-12-21 2002-06-27 정용우 인터넷을 통하여 악보를 공유하며 음악 교육을 제공하는컴퓨터 시스템 및 그 방법
KR20100055467A (ko) 2007-08-14 2010-05-26 소니 에릭슨 모빌 커뮤니케이션즈 에이비 음악 메타데이터를 이용하여 음악을 비음악 애플리케이션에 통합하는 시스템 및 방법
KR20120063170A (ko) * 2010-12-07 2012-06-15 한국기술교육대학교 산학협력단 악보인식시스템 및 이를 이용한 악보인식방법
KR101531141B1 (ko) 2011-12-07 2015-06-23 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 음악 재생 방법, 제3자 애플리케이션 및 장치
KR101535435B1 (ko) * 2014-06-30 2015-07-10 이엠디에스코리아 주식회사 전자 악보 제공 시스템, 그 장치 및 그 방법
KR20170058504A (ko) * 2015-11-18 2017-05-29 김준호 악보 구현 및 음원 재생 시스템 및 그 방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020050594A (ko) * 2000-12-21 2002-06-27 정용우 인터넷을 통하여 악보를 공유하며 음악 교육을 제공하는컴퓨터 시스템 및 그 방법
KR20100055467A (ko) 2007-08-14 2010-05-26 소니 에릭슨 모빌 커뮤니케이션즈 에이비 음악 메타데이터를 이용하여 음악을 비음악 애플리케이션에 통합하는 시스템 및 방법
KR20120063170A (ko) * 2010-12-07 2012-06-15 한국기술교육대학교 산학협력단 악보인식시스템 및 이를 이용한 악보인식방법
KR101531141B1 (ko) 2011-12-07 2015-06-23 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 음악 재생 방법, 제3자 애플리케이션 및 장치
KR101535435B1 (ko) * 2014-06-30 2015-07-10 이엠디에스코리아 주식회사 전자 악보 제공 시스템, 그 장치 및 그 방법
KR20170058504A (ko) * 2015-11-18 2017-05-29 김준호 악보 구현 및 음원 재생 시스템 및 그 방법

Also Published As

Publication number Publication date
KR102304516B1 (ko) 2021-09-23

Similar Documents

Publication Publication Date Title
CN110414519B (zh) 一种图片文字的识别方法及其识别装置、存储介质
CN108665742B (zh) 一种通过阅读设备进行阅读的方法与设备
JP7232293B2 (ja) 動画生成方法、装置、電子機器およびコンピュータ可読媒体
US10452920B2 (en) Systems and methods for generating a summary storyboard from a plurality of image frames
WO2020233269A1 (zh) 由2d图像重建3d模型的方法、装置、设备及存储介质
CN110008045A (zh) 微服务的聚合方法、装置、设备及存储介质
WO2021175019A1 (zh) 音视频录制引导方法、装置、计算机设备及存储介质
US10665218B2 (en) Audio data processing method and device
CN108182211B (zh) 视频舆情获取方法、装置、计算机设备及存储介质
US20230027412A1 (en) Method and apparatus for recognizing subtitle region, device, and storage medium
Rusiñol et al. Augmented songbook: an augmented reality educational application for raising music awareness
US10769247B2 (en) System and method for interacting with information posted in the media
CN110209780B (zh) 一种问题模板生成方法、装置、服务器及存储介质
US20190311746A1 (en) Indexing media content library using audio track fingerprinting
KR102304511B1 (ko) 컴퓨터로 읽을 수 있는 저장 매체에 기록된 뮤직 애플리케이션
CN114902217A (zh) 用于认证数字内容的系统
KR102304516B1 (ko) 컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션
CN113282770A (zh) 一种多媒体推荐系统及方法
CN111107443A (zh) 一种dash分片文件合并方法、终端设备及存储介质
CN114299089A (zh) 图像处理方法、装置、电子设备及存储介质
CN112597912A (zh) 一种会议内容的记录方法、装置、设备及存储介质
KR20210081308A (ko) 비디오를 처리하는 방법, 장치, 전자 기기 및 저장 매체
WO2021017302A1 (zh) 一种数据提取方法、装置、计算机系统及可读存储介质
US11182417B1 (en) Method and system for facilitating conversion of content based on user preferences
CN114341866A (zh) 同声传译方法、装置、服务器和存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant