KR20120063170A

KR20120063170A - 악보인식시스템 및 이를 이용한 악보인식방법

Info

Publication number: KR20120063170A
Application number: KR1020100124240A
Authority: KR
Inventors: 장경식; 조자인; 박대우; 임경모; 홍석원; 김지예
Original assignee: 한국기술교육대학교 산학협력단
Priority date: 2010-12-07
Filing date: 2010-12-07
Publication date: 2012-06-15
Also published as: KR101206351B1

Abstract

본 발명은 악보인식시스템 및 이를 이용한 악보인식방법에 관한 것으로, 특히 외부로부터 입력받은 악보가 포함된 영상이미지를 입력하는 입력부와 상기 입력부에서 입력된 영상을 이진화시켜 오선의 위치를 파악하며, 음표 및 음원 정보를 추출하여 저장하는 악보인식부 및 상기 악보인식부에 저장된 음표 및 음원정보를 이용해 미디파일을 형성하여 출력하는 출력부를 포함하여 구성되는 것을 특징으로 한다.
본 발명에 따르면, 스캐너를 이용하여 악보를 입력하거나 컴퓨터에 저장된 악보의 이미지를 가지고 악보인식시스템을 통해 악보를 인식하고, 인식된 악보의 음원정보를 이용하여 소리정보를 생성하여 음악을 재생할 수 있는 효과가 있다.

Description

악보인식시스템 및 이를 이용한 악보인식방법{SYSTEM AND METHOD FOR RECOGNIZING A MUSIC SCORE IMAGE}

본 발명은 악보정보를 포함하는 영상이미지에서 음원정보를 추출할 수 있는 악보인식시스템 및 이를 이용한 악보인식방법에 관한 것이다.

인류에게 있어서 노래는 오래 전부터 존재해 왔던 하나의 문화 현상이며, 개인과 사회 집단의 감정표현의 수단이자 유희의 도구였다. 노래는 음성의 범주에 속하며, 발성 기관을 통해 표현되어 언어적인 모습을 지닌다는 점에서는 일반적인 말과 비슷하지만, 음고(音高), 음량(音量), 음가(音價), 음색(音色) 등의 음악적 속성을 가지고 있으므로 일반적인 말과는 차이점이 있다. 이와 같이 사람의 노래나 악기로 연주된 음악의 음정, 박자, 가사를 인식하거나 기존의 노래 자료와 입력된 노래의 비교를 통해 곡명을 인식하는 연구인 곡조 인식(music recognition)은 음성 인지 분야 중 하나로 노래의 각 특징량을 사용하여 최종적으로 원하는 데이터의 형태로 나타내 주는 것을 말한다.

이러한 곡조 인식은 노래를 통한 교육 분야 및 여가 활동을 위한 엔터테인먼트 분야에 사용 될 수 있을 뿐만 아니라 최근에 중요시되고 있는 노래의 저작권을 보호하기 위한 표절 검사의 도구로 사용될 수도 있다. 하지만 다양한 정보 수단에 대한 컴퓨터의 성능이 발전하고 있음에도 불구하고 곡조 인식에 관한 연구는 현재까지 미미한 실정이다.

음성 처리에 있어서 곡조 인식의 한 분야인 자동 채보 시스템은 사람의 음성 및 악기로 연주된 노래로부터 음의높이(음정(音程), interval), 길이(음장(音長), duration), 가사를 인식하여 그 결과를 악보의 형태로 나타내어주는 것으로서, 기존의 음악에 익숙한 전문가가 직접 노래를 듣고 채보하는 방법에 비하여 시창자(始唱者)의 노래가 가진 음악적 특징을 시스템이 자동으로 인식하여 악보화할 수 있으므로 일반인도 쉽게 사용할 수 있다. 종래의 자동 채보 시스템으로는 연속적인 음성신호에서 추출된 특징 정보를 각각의 음표로 인식할 수 있게 하는 분할을 위하여 음소 단위로 분절된 구간을 합쳐 음절의 경계 정보로 사용하는 방법, 피치 간격마다 발생하는 음성의 최대값을 연결하여 구한 에너지 정보를 이용하여 음절 구간(segment)을 형성하는 방법 등이있다. 그러나 이러한 종래의 악보인식방법의 경우, 악보에 포함된 음원의 정보를 정확하게 인식못하거나, 한 번에 하나의 악기만을 인식하는 문제점을 가지고 있다.

본 발명은 상술한 문제를 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 스캐너를 이용하여 악보를 입력하거나 컴퓨터에 저장된 악보의 이미지를 가지고 악보인식시스템을 통해 악보를 인식하고, 인식된 악보의 음원정보를 이용하여 소리정보를 생성하여 음악을 재생할 수 있으며, 악보의 이미지를 라벨링 과정을 통해 정확하게 인식하며, 다양한 악기로 구현되는 음원의 포괄적인 인식이 가능한 악보인식시스템 및 그 방법을 제공하는 데 있다.

상술한 과제를 해결하기 위한 수단으로서, 본 발명은 외부로부터 입력받은 악보가 포함된 영상이미지를 입력하는 입력부; 상기 입력부에서 입력된 영상을 이진화시켜 오선의 위치를 파악하며, 음표 및 음원 정보를 추출하여 저장하는 악보인식부; 상기 악보인식부에 저장된 음표 및 음원정보를 이용해 미디파일을 형성하여 출력하는 출력부;를 포함하는 악보인식시스템을 제공할 수 있도록 한다.

특히, 상술한 상기 악보인식부는, 입력받은 영상이미지를 이진화된 이미지로 변환하여 오선의 위치를 추출하는 전처리부; 상기 전처리부에서 처리된 이미지에서 오선의 위치를 제거하는 라벨링개체분석부;를 포함하여 구성될 수 있다.

아울러, 상기 전처리부는, 입력되는 영상이미지에 이진화를 적용하는 이진화부; 상기 이진화부에의해 이진화된 이미지를 Sobel 함수를 통해 에지(edge)를 검출하는 에지검출부; 상기 에지검출부에서 검출된 정보를 바탕으로 허브변환을 통해 직선검출 및 각도 추출을 수행하는 허프변환부;를 포함하여 구성될 수 있다.

또한, 상기 라벨링개체분석부는, 상기 전처리부에서 변환된 영상이미지에서 오선을 지우는 작업을 수행하는 1차라벨링부; 상기 1차라벨링된 정보에서 음표 및 비음표의 여부를 분석하여 음표정보만을 추출하고 세선화하는 2차라벨링부; 상기 2차라벨링부에서 처리된 결과를 저장하는 저장부;를 포함하여 구성될 수 있다.

또한, 상기 악보인식부는, 상기 전처리부에서 검출된 각도 추출 결과에 따라 검출된 각도 만큼 원본 영상이미지를 회전하여 보정하는 이미지보정부를 더 포함하여 구성될 수 있다.

상술한 악보인식시스템을 이용하여 악보인식하는 방법은 다음과 같은 단계로 구성될 수 있다.

구체적으로는, 악보정보를 포함하는 영상이미지를 입력하는 1단계; 상기 영상이미지를 이진화시켜 오선의 위치를 파악하며, 음표 및 음원 정보를 추출하여 저장하여 악보를 인식하는 2단계; 상기 2단계에서 인식된 음표 및 음원정보를 이용해 미디파일을 형성하여 출력하는 3단계;를 포함하여 구성될 수 있다.

이 경우, 상기 2단계는, a1)입력된 영상이미지를 이진화시키는 단계; a2)상기 이진화된 이미지를 Sobel함수를 적용하여 에지를 검출하는 단계; a3)상기 에지가 검출된 이미지를 허프변환하여 직선검출 및 각도추출을 수행하는 단계; a4)처리된 이미지에서 오선의 위치를 제거하는 라벨링개체분석단계;를 포함하여 구성될 수 있다.

또한, 상술한 단계에서 상기 2단계는, 각도추출을 수행하는 a3)단계 이후, 원본 영상이미지를 검출된 각도만큼 회전하여 보정하는 단계를 더 포함하여 구성될 수 있다.

또한, 상기 2단계의 a4)단계는, 상기 전처리부에서 변환된 영상이미지에서 오선을 지우는 작업을 수행하는 1차라벨링단계;와 상기 1차라벨링된 정보에서 음표 및 비음표의 여부를 분석하여 음표정보만을 추출하고 세선화하는 2차라벨링단계; 상기 2차라벨링부에서 처리된 결과를 저장하는 단계;를 포함하여 구성될 수 있다.

본 발명에 따르면, 스캐너를 이용하여 악보를 입력하거나 컴퓨터에 저장된 악보의 이미지를 가지고 악보인식시스템을 통해 악보를 인식하고, 인식된 악보의 음원정보를 이용하여 소리정보를 생성하여 음악을 재생할 수 있는 효과가 있다.

특히, 악보의이미지를 라벨링과정을 통해 정확하게 인식하며, 다양한 악기로 구현되는 음원의 포괄적인 인식이 가능한 효과도 있다.

도 1은 본 발명에 따른 악보인식시스템의 구성을 도시한 구성도이다.
도 2는 본 발명에 따른 악보인식시스템을 구동하는 과정에 대한 순서도를 도시한 것이다.
도 3은 본 발명에 따른 전처리단계의 단계적 과정을 도시한 것이다.
도 4는 도 3에서 검출한 각도만큼 원본이미지를 보정해 주는 이미지 보정부의 기능을 도시한 것이다.
도 5에 도시된 것은 이러한 1차 라벨링 과정의 결과와 이후, 배경 및 오선을 삭제한 결과를 도시한 것이다.
도 6은 2차 라벨링과정의 결과를 도시한 이미지이다.
도 7은 음표분석 후 저장하는 과정을 도시한 이미지이다.
도 8은 악보인식에서 저장된 음의 정보를 가지고 미디파일을 생성하는 과정을 도시한 이미지이다.
도 9는 미디파일 구조에 맞추아 파일을 저장하는 과정을 도시한 이미지이다.
도 10은 본 발명에 따른 출력부의 전체 실행 흐름도를 도시한 것이다.

이하에서는 첨부한 도면을 참조하여 본 발명에 따른 구성 및 작용을 구체적으로 설명한다. 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성요소는 동일한 참조부여를 부여하고, 이에 대한 중복설명은 생략하기로 한다. 제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.

도 1은 본 발명에 따른 악보인식시스템의 구성을 도시한 구성도이다.

도시된 도면을 참조하면, 본 발명에 따른 악보인식시스템은, 외부로부터 입력받은 악보가 포함된 영상이미지를 입력하는 입력부(100)와 상기 입력부에서 입력된 영상을 이진화시켜 오선의 위치를 파악하며, 음표 및 음원 정보를 추출하여 저장하는 악보인식부(200), 그리고 상기 악보인식부(200)에 저장된 음표 및 음원정보를 이용해 미디파일을 형성하여 출력하는 출력부(300)를 포함하여 구성될 수 있다.

특히, 상기 입력부(100)는 악곡정보가 포함된 영상이미지를 본 악보인식부와 출력부를 구비한 시스템으로 입력하는 매체를 의미하며, 일례로는 스캐너를 이용하여 악보를 입력하거나 컴퓨터에 저장된 악보의 이미지를 입력하는 것으로 구성할 수 있다.

상기 악보인식부(200)는 입력되는 영상이미지에 구현된 악보에서 음표와 오선에 그려진 음의 고저, 음의 장단, 비트, 리듬 등의 음원정보를 인식하는 기능을 구현하며, 크게 입력받은 영상이미지를 이진화된 이미지로 변환하여 오선의 위치를 추출하는 전처리부(A)와 상기 전처리부에서 처리된 이미지에서 오선의 위치를 제거하는 라벨링개체분석부(B)를 포함하여 구성될 수 있다.

상기 전처리부(A)는 입력되는 영상이미지에 이진화를 적용하는 이진화부(210)와 상기 이진화부에 의해 이진화된 이미지를 Sobel 함수를 통해 에지(edge)를 검출하는 에지검출부(220), 그리고 상기 에지검출부(220)에서 검출된 정보를 바탕으로 허브변환을 통해 직선검출 및 각도 추출을 수행하는 허프변환부(230)을 포함하여 구성될 수 있다. 즉, 상기 전처리부는 이와 같은 구성을 통해 악보의 이미지를 이진화 시킨 후, 오선의 위치를 찾아내는 기능을 하게 된다.

여기에서 이진화란 영상의 각각의 픽셀 값을 0 또는 1로만 표현하는 것을 말한다. 이를 위해서, 임계값(threshold)이 필요한데, 임계값과 비교해서 임계값 이하이면 0, 임계값보다 크면 1로 처리하는 영상처리기법을 의미한다. 또한, 상기 Sobel 함수를 이용한 에지의 검출은 윤곽선을 검출하는 필터를 이용하여 윤곽선을 검출하는 것으로, 윤곽선 검출은 미분 연산자에 의한 밝기 값의 변화를 이용하여 찾아내는 것인데, 편미분 연산을 이용하여 미분 값을 구하기도 한다. Sobel Filter는 비선형 연산자로서 사용하는 Mask Window 영역에서 끝단에 속한 화소들 사이의 합의 차이를 구한 후, 이를 수평과 수직 방향에 대하여 평균 크기를 구함으로써 경계 부위를 강조하는 역할을 하며, 상기 Sobel Filter는 보통 3x3 크기의 창으로 정의되며, 잡음에 강하고 굵게 나타나는 특성을 가지고 있다. 또 수평, 수직 에지보다는 대각선 방향 에지에 민한 특성을 가지고 있다. 본 시스템에서는 허프 변환을 통해 직선을 추출해내기 위해 사용했다. 물론, 본 발명에 따른 에지의 검출은 상술한 Sobel Filter를 이용한 직접적인 계산보다는 마스크를 이용하여 빠른 계산을 하는 것으로 구현하는 것도 가능하며, 이 경우 상기 마스크의 특징은 마스크 내의 모든 픽셀의 합은 0이라는 것이다. 또한, 본 발명에서의 허프변환부에서 구현되는 허프 변환이란, 영상 내의 선이나 곡선 등이 기울기나 교점 등의 매개 변수로 표현될 수 있는 경우에 그것을 검출해 내는데 좋은 효과를 보이는 방법이다. 허프(Hough) 변환의 장점은 선이나 곡선이 완전히 연결이 되지 않아도 상대적으로 강건하다는 것이다. 이미지에서의 직선을 찾는다고 가정하면 기울기의 0, 무한대로 접근하게 되는 직교좌표계를 사용하지 않고 극좌표계를 사용하게 된다. 극좌표계의 직선의 방정식은 다음과 같다.

xcosθ + ysinθ = r

여기서 x, y가 상수가 되고 (x,y) 에대한 H[r,Θ ]의 축적 배열을 쌓아 보면 같은 직선 성분들은 축적 배열의 곡선이 교차점을 가지게 된다는 특징이 있다. 이를 이용한 직선 검출 기법이 허프 변환이다.

아울러, 상기 라벨링개체분석부(B)는 상기 전처리부에서 변환된 영상이미지에서 오선을 지우는 작업을 수행하는 1차라벨링부(250)와 상기 1차라벨링된 정보에서 음표 및 비음표의 여부를 분석하여 음표정보만을 추출하고 세선화하는 2차라벨링부(260), 그리고 상기 2차라벨링부에서 처리된 결과를 저장하는 저장부(270)를 포함하여 구성될 수 있다. 이 경우 1차 및 2차 라벨링부에서의 라벨링이란 이미지의 각 부분의 대해서 라벨(laveling)을 매기는 것으로써, 이 시스템에서는 소절 별로 나누어주는 1차 라벨링, 각각의 악보 기호와 음표를 나누어주는 2차 라벨링으로 두 번 수행된다.

또한, 상기 악보인식부(200)는, 상기 전처리부에서 검출된 각도 추출 결과에 따라 검출된 각도만큼 원본 영상이미지를 회전하여 보정하는 이미지보정부를 더 포함하여 구성될 수 있다.

이하에서는 상술한 본 발명에 따른 악보인식시스템(이하, '본 시스템'이라 한다.)을 이용하여 악보를 인식하는 방법을 도면을 참조하여 단계별로 설명하기로 한다.

도 2를 참조하면, 이는 본 발명에 따른 악보인식시스템을 구동하는 과정에 대한 순서도를 도시한 것이다.

본 발명에 따른 악보인식시스템은 크게 악보정보를 포함하는 영상이미지를 입력하는 1단계와 상기 영상이미지를 이진화시켜 오선의 위치를 파악하며, 음표 및 음원 정보를 추출하여 저장하여 악보를 인식하는 2단계, 그리고 상기 2단계에서 인식된 음표 및 음원정보를 이용해 미디파일을 형성하여 출력하는 3단계를 포함하여 구성된다.

도 2를 참조하면, 이는 도 1에서 기술한 본 발명에 따른 악보인식시스템의 구동과정을 설명하면, 우선, S 1 단계에서 악보정보를 구비한 영상을 입력하게 되면, 이후 S 2에서 전처리단계가 수행된다. 전처리단계란 본 시스템에서 전처리부에서 수행되는 과정으로, 영상이미지의 이진화과정과, 에지의 검출, 그리고 허프변환이 수행되는 과정이 순차로 수행되게 된다. 즉, 입력된 영상이미지를 이진화시키고, 상기 이진화된 이미지를 Sobel함수를 적용하여 에지를 검출하며, 상기 에지가 검출된 이미지를 허프변환하여 직선검출 및 각도추출을 수행하는 과정이 수행될 수 있다.

이하에서는 도 2를 기본적으로 참조하여, 각 도면을 참조하여 단계별 구성을 상세하게 설명하기로 한다.

도 3은 이러한 전처리단계의 단계적 과정을 도시한 것으로, (a) 영상이미지(원폰)을 (b)이진화된 이미지로 변경한 결과와 (c) 이진화된 이미지에서 Sobel 함수를 적용하여 에지를 검출한 결과를 도시하였으며, 이후 (d)에서는 허프변환을 통한 직선 및 각도를 검출한 결과를 도시하였다. 이때, Sobel Edge와 Hough 변환은 그레이스케일 이미지를 별도로 생성하여 각도 추출에만 사용하며, 오선의 위치를 찾는 것은 가로길이의 70% 이상이 검은 픽셀인 경우 오선으로 인식할 수 있도록 한다.

도 4는 도 3에서 검출한 각도만큼 원본이미지를 보정해 주는 이미지 보정부의 기능을 도시한 것이다.

(a) 즉 허프변환 결과 검출된 이미지가 일정한 각도를 가지도 틀어져 있는 경우, (b) 검출된 각도만큼 원본이미지를 회전하여 보정된 이미지를 구성하게 된다.

이후, S 3~S 7단계에서는 본 시스템의 라벨링개체분석부에서 수행되는 분석과정이 순차로 수행된다.

도 5에 도시된 것은 이러한 (a) 1차라벨링 과정의 결과와 이후, (b) 배경 및 오선을 삭제한 결과를 도시한 것이다.

즉, 전처리단계 이후에, S 3단계로 오선의 위치를 추출하고, 오선을 제거하는 과정이 수행된다. 구체적으로는 보정된 이미지를 구성한 후에는 1차라벨링과정을 통해서 오선과 같은 라벨을 가진다면 남기고, 그렇지 않다면 지우는 형식으로 필요한 정보만을 남기고 필요없는 정보는 걸러내게 된다. 또한, 음표의 연결성을 확실하게 하기 위해서 오선을 지우면서 음표가 끊어지지 않게 함이 바람직하다.

이후, S 4단계~S 7단계에서는 2차라벨링과정을 통해 음표 각각에 대한 라벨링을 실시하게 된다. 즉 음표 개체를 분석한다.

구체적으로는 도 6을 참조하면, 본 시스템의 2차 라벨링부에서 수행되는 과정으로, 우선 (a) 2차 라벨링을 통해서 음표 각각을 Labeling처리하되, (b)각각 Labeling 된 객체를 읽어 와서 음표인지 비음표인지 분석하며, 온음표나 이분음표는 비음표로 분류가 된다는 오점이 있는데 후에 템플릿 매칭을 이용해서 예외적인 처리를 수행하게 된다. (c) 또한, 음계정보의 오차를 줄이기 위해서 음표의 머리 부분을 따로 찾는다. 이 경우 침식 연산을 통해 살아남은 부분의 가로 세로 비율과 오선의 평균 간격과 크기를 비교해서 음표의 머리 부분을 잡을 수 있다. (d) 이후에는 세선화 과정을 거쳐 음표의 박자와 비음표라면 어떤 비음표인지 알아 내기 위한 과정을 완료하게 된다.

이후, 도 7에 도시된 것과 같이, 본 시스템의 저장부에서 구현되는 기능으로, 인식한 정보들을 음악연주가 가능한 형태(MIDI)로 바꾸어 저장한다. 아울러, 인식된 음표의 박자와 음계정보를 미리 약속한 테이블 표를 참조해서 저장하고 악보의 조표에 따라서 수정되는 음계에 대해서 계산을 거쳐 수정하게 된다. 여기에서 MIDI (Music Instrument Digital Interface)란, 악기 디지털 인터페이스(Music Instrument Digital Interface)를 줄인 말로 전자 악기끼리 디지털 신호를 주고받기 위해 각 신호를 규칙화한 일종의 규약으로, 악기와 컴퓨터, 악기와 악기끼리 주고받을 수 있는 언어와 통로의 신호 체계 표준이라 할 수 있다. 어떤 전자 악기(건반, 신디사이져, 모듈 등)가 이 표준에 따라 만들어졌다면, 그 전자 악기가 미디를 지원하게 된다.

도 8은 악보인식에서 저장된 음의 정보를 가지고 미디파일을 생성하는 과정을 도시한 것이다.

(a) 음의 정보텍스트 파일을 이용하여 (b) 미디파일을 생성하는 과정을 도시한 것이다. 생성되는 미디파일의 구조는 Standard Midi File의 포맷은 Midi이벤트+타이밍 정보의 구조로, 각 Midi이벤트마다 시간정보를 가지고 있으며, Note ON과 OFF은 별도 취급한다. (게이트타임(음표의 시간적 진행)으로 관리하는 타입은 아님) 덧붙여 Song, 시퀀서, 트랙구조, Tempo, 박자기호 등이 지원된다. 트랙명과 그 외의 기술 정보 등은, Midi Data와 같이 File로서 저장하며, 멀티 트랙및 멀티 시퀀서를 서포트(지원)하고 있으므로 멀티 트랙, 시퀀서를 사용하여, 사용자(User)가 Standard Midi File을 사용하여 다른 시퀀서로 전송하는 것이 가능하게 된다.

도 9는 이러한 미디파일의 구조에 맞추어 API 함수를 사용하여 파일을 저장하는 것을 도시한 것이다.

도 10은 출력부에서 생성된 미디파일을 재생하는 과정을 도시한 출력부의 작용흐름도를 도시한 것이다.

출력부는 퍼포먼스(Performance) 생성(퍼포먼스 개체는 재생 전반을 관리)하고, 세그먼트(segment) 개체의 생성( 세그먼트(segment)는, DirectMusic 의 퍼포먼스로 연주 가능한 데이터의 기본 단위, 세그먼트(segment)는, IDirectMusicSegment 인터페이스로 나타낸다.)하며, 세그먼트(segment)의 연주 및 세그먼트(segment)의 일시정지 기능을 구현할 수 있도록 한다.

전술한 바와 같은 본 발명의 상세한 설명에서는 구체적인 실시예에 관해 설명하였다. 그러나 본 발명의 범주에서 벗어나지 않는 한도 내에서는 여러 가지 변형이 가능하다. 본 발명의 기술적 사상은 본 발명의 기술한 실시예에 국한되어 정해져서는 안 되며, 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 입력부
200: 악보인식부
210: 이진화부
220: 에지검출부
230: 허프변환부
240: 이미지보정부
250: 1차라벨링부
260: 2차라벨링부
270: 저장부
300: 출력부
A: 전처리부
B: 라벨링개체분석부

Claims

외부로부터 입력받은 악보가 포함된 영상이미지를 입력하는 입력부;
상기 입력부에서 입력된 영상을 이진화시켜 오선의 위치를 파악하며, 음표 및 음원 정보를 추출하여 저장하는 악보인식부;
상기 악보인식부에 저장된 음표 및 음원정보를 이용해 미디파일을 형성하여 출력하는 출력부;
를 포함하는 악보인식시스템.
청구항 1에 있어서,
상기 악보인식부는,
입력받은 영상이미지를 이진화된 이미지로 변환하여 오선의 위치를 추출하는 전처리부;
상기 전처리부에서 처리된 이미지에서 오선의 위치를 제거하는 라벨링개체분석부;
를 포함하여 구성되는 악보인식시스템.
청구항 2에 있어서,
상기 전처리부는,
입력되는 영상이미지에 이진화를 적용하는 이진화부;
상기 이진화부에의해 이진화된 이미지를 Sobel 함수를 통해 에지(edge)를 검출하는 에지검출부;
상기 에지검출부에서 검출된 정보를 바탕으로 허브변환을 통해 직선검출 및 각도 추출을 수행하는 허프변환부;
를 포함하여 구성되는 악보인식시스템.
청구항 3에 있어서,
상기 라벨링개체분석부는,
상기 전처리부에서 변환된 영상이미지에서 오선을 지우는 작업을 수행하는 1차라벨링부;
상기 1차라벨링된 정보에서 음표 및 비음표의 여부를 분석하여 음표정보만을 추출하고 세선화하는 2차라벨링부;
상기 2차라벨링부에서 처리된 결과를 저장하는 저장부;
를 포함하는 악보인식시스템.
청구항 3 또는 4에 있어서,
상기 악보인식부는,
상기 전처리부에서 검출된 각도 추출 결과에 따라 검출된 각도 만큼 원본 영상이미지를 회전하여 보정하는 이미지보정부를 더 포함하는 것을 특징으로 하는 악보인식시스템.
악보정보를 포함하는 영상이미지를 입력하는 1단계;
상기 영상이미지를 이진화시켜 오선의 위치를 파악하며, 음표 및 음원 정보를 추출하여 저장하여 악보를 인식하는 2단계;
상기 2단계에서 인식된 음표 및 음원정보를 이용해 미디파일을 형성하여 출력하는 3단계;
를 포함하는 악보인식방법.
청구항 6에 있어서,
상기 2단계는,
a1)입력된 영상이미지를 이진화시키는 단계;
a2)상기 이진화된 이미지를 Sobel함수를 적용하여 에지를 검출하는 단계;
a3)상기 에지가 검출된 이미지를 허프변환하여 직선검출 및 각도추출을 수행하는 단계;
a4)처리된 이미지에서 오선의 위치를 제거하는 라벨링개체분석단계;
를 포함하여 구성되는 악보인식방법.
청구항 7에 있어서,
상기 2단계는,
각도추출을 수행하는 a3)단계 이후, 원본 영상이미지를 검출된 각도만큼 회전하여 보정하는 단계를 더 포함하는 악보인식방법.
청구항 8에 있어서,
상기 2단계의 a4)단계는,
상기 전처리부에서 변환된 영상이미지에서 오선을 지우는 작업을 수행하는 1차라벨링단계;와
상기 1차라벨링된 정보에서 음표 및 비음표의 여부를 분석하여 음표정보만을 추출하고 세선화하는 2차라벨링단계;
상기 2차라벨링부에서 처리된 결과를 저장하는 단계;
를 포함하여 구성되는 악보인식방법.