KR102304511B1 - 컴퓨터로 읽을 수 있는 저장 매체에 기록된 뮤직 애플리케이션 - Google Patents

컴퓨터로 읽을 수 있는 저장 매체에 기록된 뮤직 애플리케이션 Download PDF

Info

Publication number
KR102304511B1
KR102304511B1 KR1020190145036A KR20190145036A KR102304511B1 KR 102304511 B1 KR102304511 B1 KR 102304511B1 KR 1020190145036 A KR1020190145036 A KR 1020190145036A KR 20190145036 A KR20190145036 A KR 20190145036A KR 102304511 B1 KR102304511 B1 KR 102304511B1
Authority
KR
South Korea
Prior art keywords
image
score
sheet music
music
note
Prior art date
Application number
KR1020190145036A
Other languages
English (en)
Other versions
KR20210058063A (ko
Inventor
서미현
Original Assignee
서미현
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서미현 filed Critical 서미현
Priority to KR1020190145036A priority Critical patent/KR102304511B1/ko
Publication of KR20210058063A publication Critical patent/KR20210058063A/ko
Application granted granted Critical
Publication of KR102304511B1 publication Critical patent/KR102304511B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10G—REPRESENTATION OF MUSIC; RECORDING MUSIC IN NOTATION FORM; ACCESSORIES FOR MUSIC OR MUSICAL INSTRUMENTS NOT OTHERWISE PROVIDED FOR, e.g. SUPPORTS
    • G10G1/00—Means for the representation of music
    • G10G1/02—Chord or note indicators, fixed or adjustable, for keyboard of fingerboards
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation

Abstract

본 발명의 기술적 사상이 되는 컴퓨터로 읽을 수 있는 저장 매체에 기록된 뮤직 애플리케이션이 개시된다. 본 발명의 일 실시 예에 따를 때, 이미지 형태의 이미지 악보를 인식하는 단계; 인식된 이미지 악보를 이미지 처리하여 디지털 악보로 변환하는 단계; 및 변환된 디지털 악보를 출력하는 단계;를 실행시킬 수 있다.

Description

컴퓨터로 읽을 수 있는 저장 매체에 기록된 뮤직 애플리케이션{MUSIC APPLICATIONS RECORDED ON COMPUTER-READABLE STORAGE MEDIA}
본 발명은 컴퓨터로 읽을 수 있는 저장 매체에 기록된 뮤직 애플리케이션에 관한 것이다. 구체적으로 본 발명은 악보를 제공하는 컴퓨터로 읽을 수 있는 저장 매체에 기록된 뮤직 애플리케이션에 관한 것이다.
뮤직 애플리케이션은 미디 파일 형태의 디지털 악보를 이용하여 음악을 재생하고, 디지털 악보에 대한 편집 기능을 가진다. 디지털 악보는 미디 파일 형태로 전자 악기에 대한 연주 정보를 가지고, 뮤직 애플리케이션은 디지털 악보에 기록된 전자 악기와 연주 정보에 따라 전자음을 재생함으로써 음악을 재생한다. 뮤직 애플리케이션은 스마트폰 또는 컴퓨터의 단말기에 제공되어 사용자가 단말기를 통해 뮤직 애플리케이션의 인터페이스에 명령을 입력해서 뮤직 애플리케이션에서 제공하는 메뉴를 실행시킨다. 이러한 뮤직 애플리케이션은 디지털 악보를 이용하지만 아날로그 형태의 악보로부터 악보 정보를 추출해서 음악 재생에 활용하고 있지 못하다.
공개번호 제10-2010-0055467호, 음악 메타데이터를 이용하여 음악을 비음악 애플리케이션에 통합하는 시스템 및 방법 등록번호 제10-1531141호, 음악 재생 방법, 제3자 애플리케이션 및 장치
본 발명은 아날로그 형태의 악보로부터 디지털 악보를 생성하는 컴퓨터로 읽을 수 있는 저장 매체에 기록된 뮤직 애플리케이션을 제공할 수 있다.
본 발명의 목적들은 이상에서 언급한 목적들로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.
본 발명의 일 측면에 따르면, 문제는 청구항 제1항의 특징들을 포함하는 뮤직 애플리케이션을 제공함으로써 해결된다. 따라서, 본 발명에 따라, 이미지 형태의 이미지 악보를 인식하는 단계; 인식된 이미지 악보를 이미지 처리하여 디지털 악보로 변환하는 단계; 및 변환된 디지털 악보를 출력하는 단계;를 실행시킨다.
또한, 상기 변환하는 단계는, 상기 이미지 악보에서 악보 라인을 분할하는 단계; 분할된 악보 라인을 가지는 이미지 악보에 대해 이미지 처리를 수행하는 단계; 상기 이미지 처리가 수행된 이미지 악보에 대해 음표 인식하는 단계; 및 인식된 음표에 기반하여 미디 파일을 생성하는 단계;를 실행시킨다.
또한, 상기 분할하는 단계는, 상기 이미지 악보에 대해 바이너리 변환하는 단계; 바이너리 변환된 이미지 악보를 수평 투영하는 단계; 및 수평 투영된 이미지 악보에 대해 지역 분할하는 단계;를 실행시킨다.
삭제
또한, 상기 음표 인식하는 단계는, 상기 이미지 처리가 수행된 이미지 악보에 대해 기둥 필터링을 하는 단계; 상기 기둥 필터링된 이미지 악보에 대해 모양 필터링을 하는 단계; 및 상기 모양 필터링된 이미지 악보에 대해 음표 위치를 분석하여 피치를 인식하는 단계;를 실행시킨다.
또한, 상기 이미지 악보의 획득은, 특정 매체에 표시된 악보를 촬영하는 단계;
악보의 기울기 또는 카메라 기울기로 촬영된 이미지 악보의 왜곡 정보를 제거하는 단계; 및 상기 왜곡 정도가 제거된 이미지 악보를 투영해서 정렬된 이미지 악보를 획득하는 단계;를 실행시킨다.
또한, 상기 변환하는 단계는, 상기 이미지 악보로부터 상기 디지털 악보로 변환됨에 있어 변환 계산 단계에서의 오류 정도를 모니터링하는 단계; 및 모니터링된 오류 정도에 대해 상기 바이너리 변환에서 이진 데이터가 차지하는 비율 또는 상기 음표 인식에서 음표 변환 실패율을 계산해서 계산된 값이 미리 설정된 임계치를 벗어나면 상기 이미지 악보의 스캔 재입력을 요청하는 단계;를 실행시킨다.
본 설명 및 청구범위 전반에 걸쳐 본 발명의 근본적인 개념들의 더 나은 이해를 위해 에 대해서만 참조되었으나, 모든 본 발명의 측면들 내에서 본 발명은 추가적인 더 나아가 실시예들을 물론 또한 포괄한다. 당해 기술 분야에 있어서 통상의 기술을 가진자에게 쉽게 명백하게, 본 발명에 따른 방법들, 장치 및 시스템들은 뮤직 애플리케이션에 대해 동등하게 적용될 수 있다.
발명의 바람직한 실시예
단독으로 또는 조합으로 적용될 수 있는 본 발명의 바람직한 특징들은 부수하는 청구항들 내에서뿐만 아니라 하기 내에서 논의된다.
바람직하게는, 이미지 형태의 이미지 악보를 인식하는 단계; 인식된 이미지 악보를 이미지 처리하여 디지털 악보로 변환하는 단계; 및 변환된 디지털 악보를 출력하는 단계;를 실행시킨다.
본 발명의 일 실시 예에 따를 때, 특정 매체에 표시된 악보로부터 디지털 악보를 생성함으로써 디지털 악보를 이용하여 음악을 재생할 수 있다.
또한, 아날로그 형태의 악보가 디지털 악보로 변환됨으로써 악보를 디지털 형태로 활용할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 일 실시 예에 따른 서버의 구성을 보인 예시도이다.
도 2는 일 실시 예에 따른 변환 단계를 보인 예시도이다.
도 3은 일 실시 예에 따른 수평 투영을 보인 예시도이다.
도 4는 일 실시 예에 따른 지역 분할을 보인 예시도이다.
도 5는 일 실시 예에 따른 라인 제거를 보인 예시도이다.
도 7은 일 실시 예에 따른 라벨링을 보인 예시도이다.
도 8은 일 실시 예에 따른 음표 인식 처리 흐름도이다.
도 9는 일 실시 예에 따른 서버와 단말기의 구성을 보인 예시도이다.
도 10은 일 실시 예에 따른 단말기의 구성을 보인 예시도이다.
도 11은 일 실시 예에 따른 서버의 구성을 보인 예시도이다.
실시 예들에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 “…부”, “…모듈” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다.
이하 첨부된 도면을 참고하여 본 발명의 실시 예를 상세히 설명하기로 한다.
도 1은 서버의 구성을 보인 예시도이다.
관리자 웹 페이지, 사용자 인증, 그룹 관리, 악보 관리, 결제 관리, 변환 처리(PDF 변환, MIDI 변환), 사용자 관리, 단말기(10), 서버(20), 데이터베이스(30)가 구성일 수 있고, 관리자 웹 페이지는 관리 메뉴를 제공할 수 있고, 사용자 인증은 뮤직 애플리케이션에 접속되는 단말기의 사용자를 인증하고, 그룹 관리는 사용자 그룹을 관리할 수 있고, 악보 관리는 이미지 악보 또는 디지털 악보를 관리할 수 있고, 결제 관리는 서비스 이용에 따른 결제를 관리할 수 있고, 변환 처리는 이미지 악보를 디지털 악보로 변환할 수 있고, 사용자 관리는 사용자 데이터를 관리할 수 있고, 단말기(10)는 뮤직 애플리케이션에 접속할 수 있고, 서버(20)는 뮤직 애플리케이션을 운영할 수 있고, 데이터베이스(30)는 뮤직 애플리케이션에서 생성되는 데이터를 저장할 수 있다.
서버(20)는 임베디드 장치로 구현될 수 있고, 임베디드 장치는 컴퓨터를 포함하며, 기본 구성 요소로 프로세서, 메모리, 디스플레이를 포함하고, 상용 OS를 구비하고, OS에서 동작하는 애플리케이션 형태로 서버(20)가 구현될 수 있다. 이러한 애플리케이션은 임베디드 장치에서 요구되는 다양한 동작 환경에 따라 프로그래밍 언어를 이용한 통합 개발 환경에 의해 만들어진다. 통합 개발 환경에 사용되는 프로그래밍은 사용자와 인터페이스되는 컴퓨팅 환경에 따라 웹, 모바일 앱, 윈도우 앱으로 구분되고, 앱 종류에 맞게 웹 프로그래밍, 모바일 프로그래밍, 윈도우 프로그래밍으로 나누어진다.
서버(20)에 사용되는 웹 프로그래밍은 태그 정의로 이루어진 html과 문서 형식 정의 css가 결합되어 웹 프레임워크를 구성한다. 웹 프레임워크에서 클라이언트단의 프런트 엔드와 서버 측 프로그래밍 언어가 사용되는 백 엔드가 서로 데이터를 주고받으면서 거대한 웹 환경을 만든다. 웹 환경은 서버(20)가 동작하는 주요 무대이며, 서버(20)는 모바일 앱, 콘솔 앱 및 윈도우 앱과 웹 환경에서 통신하며 사용자에게 컴퓨팅 서비스를 제공한다.
뮤직 애플리케이션은 관리자 웹 페이지를 제공하여 관리자가 관리 메뉴를 통해 뮤직 애플리케이션을 관리할 수 있도록 한다. 관리 메뉴는 사용자 인증, 그룹 관리, 악보 관리, 결제 관리, 변환 처리, 사용자 관리 중 어느 하나 이상을 포함할 수 있다. 뮤직 애플리케이션에는 단말기(10)가 접속하여 이미지 악보를 디지털 악보로 변환하여 활용할 수 있고, 서버(20)는 뮤직 애플리케이션을 운영할 수 있다.
단말기(10)는 임베디드 장치로 구현될 수 있고, 임베디드 장치는 스마트폰을 포함하며, 기본 구성 요소로 프로세서, 메모리, 디스플레이를 포함하고, 상용 OS를 구비하고, OS에서 동작하는 애플리케이션 형태로 단말기(10)가 구현될 수 있다. 예를 들어, 스마트폰의 경우 스마트폰의 프로세서는 제어부로 동작하고, 스마트폰의 디스플레이는 표시부로 동작할 수 있다. 애플리케이션 측면에서 소프트웨어 구조는, 제어부 및 표시부를 포함할 수 있다. 이러한 애플리케이션은 임베디드 장치에서 요구되는 다양한 동작 환경에 따라 프로그래밍 언어를 이용한 통합 개발 환경에 의해 만들어진다.
도 2는 변환 단계를 보인 예시도이다.
악보 스캔, 악보 촬영, 촬영 각도, 카메라 기울기, 악보 기울기, 왜곡 정도, 투영이 구성일 수 있고, 악보 스캔은 이미지 형태의 이미지를 스캔할 수 있고, 악보 촬영은 특정 매체에 표시된 악보를 촬영할 수 있고, 촬영 각도는 카메라 기울기 또는 악보 기울기일 수 있고, 왜곡 정도는 카메라 기울기 또는 악보 기울기에 따른 이미지의 왜곡 정보일 수 있고, 투영은 왜곡된 이미지를 투영해서 정렬된 이미지를 출력할 수 있다.
뮤직 애플리케이션은 특정 매체에 이미지 형태로 표시된 이미지 악보를 촬영하여 스캔하고, 스캔된 이미지 악보에 대해 카메라 기울기 또는 악보 기울기에 따른 왜곡 정도를 계산하여 스캔된 이미지 악보를 투영시켜 정렬된 이미지 악보를 획득할 수 있다.
악보 변환, 악보 라인 분할, 이미지 프로세싱, 음표 인식, 인식 결과, 오류 정도 모니터링, 임계치 넘으면 악보 스캔 재입력 요청, 이진데이터가 차지하는 비율, 음표 변환 실패율이 구성일 수 있고, 악보 변환은 이미지 악보를 디지털 악보로 변환할 수 있고, 악보 라인 분할은 이미지 악보에 대해 악보 라인을 분할할 수 있고, 이미지 프로세싱은 이미지 악보에 대해 음표 모양을 처리할 수 있고, 음표 인식은 음표를 인식할 수 있고, 인식 결과는 디지털 악보를 출력할 수 있고, 오류 정도 모니터링은 악보 변환 단계에서 오류 정도를 모니터링할 수 있고, 임계치 넘으면 악보 스캔 재입력 요청은 오류 정보가 미리 설정된 임계치를 벗어나면 악보 스캔 재입력을 요청할 수 있고, 이진데이터가 차지하는 비율은 이진화를 통한 이진데이터의 비율일 수 있고, 음표 변환 실패율은 음표 인식 단계에서 음표 변환에 실패한 비율일 수 있다.
뮤직 애플리케이션은 이미지 악보를 디지털 악보로 변환함에 있어(40), 이미지 악보의 라인을 분할하고(41), 이미지 프로세싱을 처리하고(42), 음표를 인식하여(43) 인식 결과로 디지털 악보를 출력할 수 있다. 뮤직 애플리케이션은 이미지 악보가 디지털 악보로 변환하는 단계에서 오류 정도를 모니터링하고, 오류 정도의 값이 미리 설정된 임계치를 넘으면 이미지 악보의 스캔을 재입력 요청할 수 있다. 뮤직 애플리케이션은 오류 정도로 악보 라인 분할 단계에서의 이진 데이터가 차지하는 비율 또는 음표 인식 단계에서의 음표 변환 실패율을 계산할 수 있다. 이진 데이터가 차지하는 비율은 바이너리 변환을 통한 이진화로 이미지 악보가 이진 데이터로 변환될 때 각각의 이진 데이터의 비율이 일반적인 비율에 속하는지를 판단할 수 있고, 음표 변환 실패율은 음표 인식 단계에서 음표를 인식할 때 인식 결과가 음표로 변환되지 않고 실패하는 비율일 수 있다.
악보 라인 분할(41), 바이너리 변환, 이진화, 수평 투영, 적층, 가로 방향으로 투영, 지역 분할, 오선 라인의 높이, 간격을 인식이 구성일 수 있고, 악보 라인 분할은 악보 라인을 분할할 수 있고, 바이너리 변환은 이미지 악보를 이진화할 수 있고, 수평 투영은 이미지 악보를 가로 방향으로 투영하여 적층할 수 있고, 지역 분할은 오선 라인의 높이 또는 간격을 인식할 수 있다.
뮤직 애플리케이션은 이미지 악보에 대해 악보 라인을 분할할 수 있고, 악보 라인을 분할(41)함에 있어, 이미지 악보를 바이너리 변환하여 이진화하고, 수평 투영을 통해 적층해서 가로 방향으로 투영하고, 지역 분할로 오선 라인의 높이와 간격을 인식할 수 있다.
이미지 프로세싱(42), 오선 라인 필터링, 라인 제거, 형태학적 처리, 음표 모형 보완 처리, 연결된 구성요소 라벨링, 라벨링이 구성일 수 있고, 이미지 프로세싱은 오선 라인 또는 음표를 인식할 수 있고, 오선 라인 필터링은 라인을 제거하여 오선 라인을 필터링할 수 있고, 형태학적 처리는 음표 모형을 보완 처리할 수 있고, 연결된 구성요소 라벨링은 픽셀에 라벨링할 수 있다.
뮤직 애플리케이션은 이미지 악보에 대해 이미지 프로세싱을 처리(42)함에 있어, 오선 라인 필터링을 통해 라인을 제거하고, 형태학적 처리를 통해 음표 모형을 보완 처리하고, 연결된 구성요소 라벨링을 통해 음표 모형을 라벨링할 수 있다.
음표 인식, 기둥 필터링, 기둥 인식, 필터링, 모양 필터링, 머리, 꼬리 인식, 필터링, 피치 분석, 음표 위치 분석, 피치 인식이 구성일 수 있고, 음표 인식은 음표를 인식할 수 있고, 기둥 필터링은 기둥을 인식할 수 있고, 모양 필터링은 머리 또는 꼬리를 인식할 수 있고, 피치 분석은 음표 위치를 분석하여 피치를 인식할 수 있다.
뮤직 애플리케이션은 이미지 프로세싱을 마친 이미지 악보에 대해 음표 인식을 처리(43)할 수 있고, 음표를 인식함에 있어 기둥 필터링을 통해 기둥을 인식하고, 모양 필터링을 통해 머리 또는 꼬리를 인식하고, 피치 분석을 통해 음표 위치를 분석하고 피치를 인식할 수 있다.
인식 결과, MusicXML 생성, 데이터베이스 저장, 디지털 악보가 구성일 수 있고, 인식 결과는 디지털 악보를 출력할 수 있고, MusicXML은 미디 형태의 디지털 악보일 수 있고, 데이터베이스 저장은 데이터베이스에 디지털 악보를 저장할 수 있다.
뮤직 애플리케이션은 인식 결과로 디지털 악보를 출력할 수 있고, 미디 형태의 디지털 악보를 데이터베이스에 저장할 수 있다.
이미지 악보, 획득, 특정 매체, 악보, 촬영, 악보의 기울기, 카메라 기울기, 왜곡 정도, 투영, 정렬된 이미지 악보가 구성일 수 있고, 이미지 악보는 뮤직 애플리케이션에 의해 획득될 수 있고, 특정 매체는 종이 또는 디지털 매체일 수 있고, 악보는 악보의 기울기 또는 카메라 기울기의 왜곡 정보에 따라 촬영될 수 잇고, 투영은 왜곡된 이미지를 정렬된 이미지 악보로 출력할 수 있다.
뮤직 애플리케이션은 이미지 악보를 획득함에 있어, 특정 매체에 표시된 악보를 촬영하여 이미지를 획득하고, 악보의 기울기 또는 카메라 기울기에 따른 왜곡 정보를 계산하고, 왜곡 정도에 기반하여 이미지를 투영시켜 정렬된 이미지 악보를 획득할 수 있다.
이미지 악보, 디지털 악보, 변환, 변환 계산 단계, 오류 정도, 모니터링, 바이너리 변환, 이진 데이터가 차지하는 비율, 음표 인식, 음표 변환 실패율, 임계치, 이미지 악보의 스캔 재입력, 요청이 구성일 수 있다.
뮤직 애플리케이션은 이미지 악보를 디지털 악보로 변환함에 있어 변환 계산 단계에서 오류 정도를 모니터링할 수 있고, 변환 계산 단계 중 바이너리 변환 단계에서 이진 데이터가 차지하는 비율을 계산할 수 있고, 음표 인식 단계에서 음표 변환 실패율을 계산할 수 있다. 뮤직 애플리케이션은 왜곡 정도로 이진 데이터가 차지하는 비율 또는 음표 변환 실패율과 미리 설정된 임계치를 비교하여 왜곡 정도의 값이 임계치를 벗어나면 이미지 악보의 스캔 재입력을 요청할 수 있다. 요청은 뮤직 애플리케이션에서 요청 메시지를 표시할 수 있다.
도 3은 수평 투영을 보인 예시도이다.
수평 투영, 적층, 가로 방향으로 투영이 구성일 수 있고, 수평 투영(51)은 가로 방향으로 이미지 악보를 투영하여 이미지를 적층시킬 수 있다. 뮤직 애플리케이션은 이미지 악보를 수평 투영(51)하여 악보 이미지 차원을 줄여서 가로 방향으로 투영할 수 있다.
도 4는 지역 분할을 보인 예시도이다.
지역 분할(52), 오선 라인의 높이, 간격을 인식이 구성일 수 있고, 지역 분할은 오선 라인의 높이 또는 간격을 인식할 수 있다. 뮤직 애플리케이션은 지역 분할 단계(52)에서 오선 라인의 높이 및 간격을 인식할 수 있다. 도 4에는 오선 라인 간격과 오선 라인의 높이가 표시되어 있다.
도 5는 라인 제거를 보인 예시도이다.
오선 라인 필터링, 라인 제거(61)가 구성일 수 있고, 오선 라인 필터링은 이미지 악보에서 라인을 제거(61)할 수 있다. 뮤직 애플리케이션은 오선 라인 필터링을 통해 이미지 악보에서 라인을 제거(61)할 수 있다.
삭제
삭제
삭제
도 7은 라벨링을 보인 예시도이다.
연결된 구성요소 라벨링(63), 라벨링이 구성일 수 있고, 연결된 구성요소 라벨링(63)은 픽셀에 대해 라벨링을 수행할 수 있다. 뮤직 애플리케이션은 연결된 구성요소 라벨링을 통해 픽셀의 연결된 구성요소를 라벨링 처리할 수 있다.
도 8은 음표 인식 처리 흐름도이다.
음표 이미지, 음표인가?, 기둥을 가지고 있나?, 꼬리를 몇 개 가지고 있나?가 구성일 수 있다. 뮤직 애플리케이션은 음표 인식 단계(70)에서 음표 이미지에 대해 음표인가를 결정하고, 기둥을 가지고 있나 또는 꼬리를 몇 개 가지고 있나를 결정해서 온음표, 2분음표, 4분음표, 8분음표, 16분음표를 결정할 수 있다.
도 9는 서버와 단말기의 구성을 보인 예시도이다.
서버(90), 단말기(80)가 구성일 수 있다. 서버(90)는 뮤직 애플리케이션을 운영하고, 단말기(80)는 서버(90)가 운영하는 뮤직 애플리케이션에 접속해서 이미지 악보를 디지털 악보로 변환할 수 있다.
도 10은 단말기의 구성을 보인 예시도이다.
단말기(80), 키보드(81), 프로세서(82), 통신부(83), 디스플레이(84)가 구성일 수 있다. 단말기(80)는 키보드(81)를 통해 데이터를 입력하고, 프로세서(82)는 입력된 데이터를 통신부(83)를 통해 서버(90)로 전송할 수 있고, 디스플레이(84)는 프로세서(82)가 처리한 데이터를 표시할 수 있다.
도 11은 서버의 구성을 보인 예시도이다.
서버(90), 키보드(91), 프로세서(92), 데이터베이스(93), 통신부(94), 디스플레이(95)가 구성일 수 있다. 서버(90)는 키보드를 통해 관리 명령을 프로세서(92)에 입력할 수 있고, 프로세서(92)는 관리 명령에 따라 뮤직 애플리케이션을 관리할 수 있고, 데이터베이스(93)는 뮤직 애플리케이션에 의해 생성되는 데이터를 저장할 수 있고, 통신부(94)는 프로세서(92)의 데이터를 단말기(80)로 전송할 수 있고, 디스플레이(95)는 뮤직 애플리케이션의 모니터링 화면을 표시할 수 있다.
한편, 상술한 방법은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다. 또한, 상술한 방법에서 사용된 데이터의 구조는 컴퓨터로 읽을 수 있는 기록매체에 여러 수단을 통하여 기록될 수 있다. 상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 램, USB, 플로피 디스크, 하드 디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.
본 실시 예와 관련된 기술 분야에서 통상의 지식을 가진 자는 상기된 기재의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 방법들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
10: 단말기
20: 서버
30: 데이터베이스
40: 악보 변환
41: 악보 라인 분할
42: 이미지 프로세싱
43: 음표 인식
51: 수평 투영
52: 지역 분할
61: 라인 제거
62: 형태학적 처리
63: 라벨링
70: 음표 인식
80: 단말기
81: 키보드
82: 프로세서
83: 통신부
84: 디스플레이
90: 서버
91: 키보드
92: 프로세서
93: 데이터베이스
94: 통신부
95: 디스플레이

Claims (5)

  1. 이미지 형태의 이미지 악보를 인식하는 단계;
    인식된 이미지 악보를 이미지 처리하여 디지털 악보로 변환하는 단계; 및
    변환된 디지털 악보를 출력하는 단계;를 실행시키되,
    상기 변환하는 단계는,
    상기 이미지 악보에서 악보 라인을 분할하는 단계;
    분할된 악보 라인을 가지는 이미지 악보에 대해 이미지 처리를 수행하는 단계;
    상기 이미지 처리가 수행된 이미지 악보에 대해 음표 인식하는 단계; 및
    인식된 음표에 기반하여 미디 파일을 생성하는 단계;를 실행시키고,
    상기 분할하는 단계는,
    상기 이미지 악보에 대해 바이너리 변환하는 단계;
    바이너리 변환된 이미지 악보를 수평 투영하는 단계;
    수평 투영된 이미지 악보에 대해 지역 분할하는 단계;를 실행시키고,
    상기 음표 인식하는 단계는,
    상기 이미지 처리가 수행된 이미지 악보에 대해 기둥 필터링을 하는 단계;
    상기 기둥 필터링된 이미지 악보에 대해 모양 필터링을 하는 단계; 및
    상기 모양 필터링된 이미지 악보에 대해 음표 위치를 분석하여 피치를 인식하는 단계;를 실행시키고,
    상기 이미지 악보의 획득은,
    특정 매체에 표시된 악보를 촬영하는 단계;
    악보의 기울기 또는 카메라 기울기로 촬영된 이미지 악보의 왜곡 정보를 제거하는 단계; 및
    상기 왜곡 정보가 제거된 이미지 악보를 투영해서 정렬된 이미지 악보를 획득하는 단계;를 실행시키고,
    상기 변환하는 단계는,
    상기 이미지 악보로부터 상기 디지털 악보로 변환됨에 있어 변환 계산 단계에서의 오류 정도를 모니터링하는 단계; 및
    모니터링된 오류 정도에 대해 상기 바이너리 변환에서 이진 데이터가 차지하는 비율 또는 상기 음표 인식에서 음표 변환 실패율을 계산해서 계산된 값이 미리 설정된 임계치를 벗어나면 상기 이미지 악보의 스캔 재입력을 요청하는 단계;를 실행시키는, 컴퓨터로 읽을 수 있는 저장 매체에 기록된 뮤직 애플리케이션.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
KR1020190145036A 2019-11-13 2019-11-13 컴퓨터로 읽을 수 있는 저장 매체에 기록된 뮤직 애플리케이션 KR102304511B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190145036A KR102304511B1 (ko) 2019-11-13 2019-11-13 컴퓨터로 읽을 수 있는 저장 매체에 기록된 뮤직 애플리케이션

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190145036A KR102304511B1 (ko) 2019-11-13 2019-11-13 컴퓨터로 읽을 수 있는 저장 매체에 기록된 뮤직 애플리케이션

Publications (2)

Publication Number Publication Date
KR20210058063A KR20210058063A (ko) 2021-05-24
KR102304511B1 true KR102304511B1 (ko) 2021-09-23

Family

ID=76152659

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190145036A KR102304511B1 (ko) 2019-11-13 2019-11-13 컴퓨터로 읽을 수 있는 저장 매체에 기록된 뮤직 애플리케이션

Country Status (1)

Country Link
KR (1) KR102304511B1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102541599B1 (ko) * 2021-07-20 2023-06-12 주식회사 휴머닛 디지털 악보 관리 시스템 및 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101535435B1 (ko) * 2014-06-30 2015-07-10 이엠디에스코리아 주식회사 전자 악보 제공 시스템, 그 장치 및 그 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090044686A1 (en) 2007-08-14 2009-02-19 Vasa Yojak H System and method of using metadata to incorporate music into non-music applications
KR101206351B1 (ko) * 2010-12-07 2012-11-29 한국기술교육대학교 산학협력단 악보인식시스템 및 이를 이용한 악보인식방법
CN103151057B (zh) 2011-12-07 2015-10-14 腾讯科技（深圳）有限公司 音乐播放方法及装置

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101535435B1 (ko) * 2014-06-30 2015-07-10 이엠디에스코리아 주식회사 전자 악보 제공 시스템, 그 장치 및 그 방법

Also Published As

Publication number Publication date
KR20210058063A (ko) 2021-05-24

Similar Documents

Publication Publication Date Title
US10452920B2 (en) Systems and methods for generating a summary storyboard from a plurality of image frames
US10671892B1 (en) Apparatuses, methods, and systems for 3-channel dynamic contextual script recognition using neural network image analytics and 4-tuple machine learning with enhanced templates and context data
CN111107422B (zh) 图像处理方法及装置、电子设备和计算机可读存储介质
CN109670477B (zh) 面向pdf表格的自动识别系统和方法
US20230027412A1 (en) Method and apparatus for recognizing subtitle region, device, and storage medium
US11665408B2 (en) System and method for identifying altered content
US20180336320A1 (en) System and method for interacting with information posted in the media
US11106827B2 (en) System and method for identifying altered content
US9940326B2 (en) System and method for speech to speech translation using cores of a natural liquid architecture system
KR102304511B1 (ko) 컴퓨터로 읽을 수 있는 저장 매체에 기록된 뮤직 애플리케이션
CN113591530A (zh) 一种视频检测方法、装置、电子设备和存储介质
Yang et al. MIDI passage retrieval using cell phone pictures of sheet music
KR102304516B1 (ko) 컴퓨터로 읽을 수 있는 저장 매체에 기록된 클라우드 기반의 디지털 악보 서비스 애플리케이션
JP6756211B2 (ja) 通信端末、音声変換方法、及びプログラム
RU2571379C2 (ru) Интеллектуальная обработка электронного документа
KR101911613B1 (ko) 뉴스 인터뷰 영상의 오버레이 텍스트 기반 인물 인덱싱 방법 및 장치
CN113822126A (zh) 图标识别方法、装置以及计算机可读存储介质
KR102636708B1 (ko) 프레젠테이션 문서에 대한 수어 발표 영상을 제작할 수 있는 전자 단말 장치 및 그 동작 방법
KR102442510B1 (ko) 문서에 대한 저장 파일 형식을 자동으로 지정하는 문서 편집 장치 및 그 동작 방법
KR102313056B1 (ko) 사용자 맞춤형 폰트의 생성에 이용되는 시트, 사용자 맞춤형 폰트를 생성하는 디바이스 및 방법
CN110163203B (zh) 字符识别方法、装置、存储介质及计算机设备
JP2021170213A (ja) 画像生成プログラム、文字認識システム、画像生成方法、画像生成装置、データ構造および文字認識モデル
US20100254606A1 (en) Method of recognizing text information from a vector/raster image
EP3797368A1 (en) System and method for identifying altered content
JP2009026293A (ja) 文書画像検索装置、方法、およびプログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant