KR101535435B1 - 전자 악보 제공 시스템, 그 장치 및 그 방법 - Google Patents

Abstract

외부로부터 악보 이미지를 수신하는 수신부, 수신한 악보 이미지로부터 이진화 알고리즘을 이용하여 이진화된 악보 및 배경 영역을 검출하고, 이진화된 악보 이미지로부터 오선을 인식하고, 라벨링을 통하여 음 기호 및 음표를 인식하고, 음표의 위치를 파악하여 전자 악보를 생성하는 제어부, 전자 악보를 저장하는 저장부, 및 저장된 전자 악보를 송신하는 송신부를 포함하는 전자 악보 제공 장치와 전자 악보 제공 장치와 소정의 유선 또는 무선 통신을 통하여 연결 가능하고, 전자 악보 제공 장치로부터 전자 악보를 수신하여 출력하는 복수의 디스플레이 장치를 포함하는 전자 악보 제공 시스템이 개시되어 있다.

Description

전자 악보 제공 시스템, 그 장치 및 그 방법{System, method and apparatus for providing electronic music}

본 발명은 전자 악보를 제공하는 시스템, 그 장치 및 그 방법 관한 것으로, 더욱 상세하게는 악보 이미지로부터 전자 악보를 생성하여 이를 디스플레이 장치를 통하여 지휘자 또는 연주자에게 제공하는 전자 악보 제공 시스템, 그 장치 및 그 방법에 관한 것이다.

전통 교향악단의 오케스트라 연주, 오페라 공연 연주, 대형 및 소형의 관현악단 연주, 성당 및 교회의 성가 연주, 국악 연주등에는 지휘자 및 연주자들이 종이로 작성된 연주 악보를 직접 손으로 넘기면서 지휘 및 연주를 하거나, 연주 보조자(페이지 터너 : Page Turner라고 함)가 악보를 넘겨주면서 전통적인 방법으로 음악 연주 공연을 하고 있다.

이러한 전통적인 종이악보 관리 및 종이악보 넘기기 방식은 연주자들이 연주를 하는 동안 연주에 전념할 수 없을 뿐만 아니라, 악보를 잘못 넘기는 실수를 범하면 음악공연 자체를 망가트릴수 있는 위험성이 내포되어 있다. 따라서, 현재와 같은 첨단 디지털 정보화시대에 적합한 안정성 및 편리성이 뛰어난 첨단 디지털 악보 관리 시스템 및 자동 넘김 장치 개발은 수백만명에 이르는 전 세계적 음악 연주자들에게는 매우 필수적인 장비로 요구되고 있다.

이를 위해 단말기를 통하여 악보를 출력/제공하고, 악보를 적절한 타이밍에 자동으로 넘길 수 있도록 제어가능한 전자악보 시스템이 개발되고 있다.

하지만, 이러한 전자악보 시스템에서 제공하는 악보는 악보를 이미지로 인식하여 그림으로 출력제공하는 바, 이미지의 크기를 줄이거나 크게 하였을 때, 해상도의 변화에 민감하게 반응하여 사용자가 악보를 정확히 인식할 수 없는 문제점을 가지고 있다.

이러한 선행기술로는 한국공개특허 10-2008-0075298(전자 악보 제공 시스템)이 개시되어 있다.

본 발명이 해결하고자 하는 기술적 과제는 기존 종이악보를 디지털화하여 전자악보로 생성하고, 유선 또는 무선 네트워크 기반 지휘반주자형 디지털 악보 시스템을 개발하여, 종이 악보 사용을 없애고, 효율적인 디지털 악보 관리 기능과 악보 자동 넘김 시스템 및 연주 재생 시스템을 제공하는데 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 일 실시예에 따라, 전자 악보 제공 시스템은 외부로부터 악보 이미지를 수신하는 수신부, 수신한 상기 악보 이미지로부터 이진화 알고리즘을 이용하여 이진화된 악보 및 배경 영역을 검출하고, 상기 이진화된 악보 이미지로부터 오선을 인식하고, 라벨링을 통하여 음 기호 및 음표를 인식하고, 상기 음표의 위치를 파악하여 전자 악보를 생성하는 제어부, 상기 전자 악보를 저장하는 저장부, 및 상기 저장된 전자 악보를 송신하는 송신부를 포함하는 전자 악보 제공 장치; 및 상기 전자 악보 제공 장치와 소정의 유선 또는 무선 통신을 통하여 연결 가능하고, 상기 전자 악보 제공 장치로부터 상기 전자 악보를 수신하여 출력하는 복수의 디스플레이 장치를 포함한다.

상기 이진화 알고리즘은 오츠 이진화 알고리즘일 수 있다.

상기 전자 악보 제공 장치는 상기 이진화 알고리즘 및 상기 수신한 악보 이미지의 오선의 기울기를 이용하여 악보 영상을 회전함으로써 상기 이진화된 악보를 검출할 수 있다.

상기 전자 악보 제공 장치는 상기 저장된 전자 악보에 따른 연주 시간을 계산하여, 상기 연주 시간을 상기 전자 악보에 매칭하고, 상기 연주 시간에 따라 상기 전자 악보의 페이지가 자동으로 넘겨지도록 상기 전자 악보를 생성할 수 있다.

상기 복수의 디스플레이 장치 중 적어도 하나의 디스플레이 장치가 상기 전자 악보 제공 장치를 제어할 수 있다.

상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따라, 전자 악보 제공 장치는 외부로부터 악보 이미지를 수신하는 수신부; 수신한 상기 악보 이미지로부터 이진화 알고리즘을 이용하여 이진화된 악보 및 배경 영역을 검출하고, 상기 이진화된 악보 이미지로부터 오선을 인식하고, 라벨링을 통하여 음 기호 및 음표를 인식하고, 상기 음표의 위치를 파악하여 전자 악보를 생성하는 제어부; 상기 전자 악보를 저장하는 저장부; 및 상기 저장된 전자 악보를 디스플레이 장치로 송신하는 송신부를 포함한다.

상기 기술적 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따라, 전자 악보 제공 방법은 외부로부터 악보 이미지를 수신하는 단계; 수신한 상기 악보 이미지로부터 이진화 알고리즘을 이용하여 이진화된 악보 및 배경 영역을 검출하는 단계; 상기 이진화된 악보 이미지로부터 오선을 인식하는 단계; 라벨링을 통하여 음 기호 및 음표를 인식하고, 상기 음표의 위치를 파악하여 전자 악보를 생성하는 단계; 및 상기 생성된 전자 악보를 디스플레이 장치로 송신하는 단계를 포함한다.

본 발명에 의하면, 종이악보 대신 전자 악보를 제공함으로써 음악 연주자들에게는 매우 획기적인 연주 환경 기술을 제공한다. 또한, 유선 또는 무선 네트워크 환경에서 지휘자와 연주자의 최첨단 멀티 커뮤니케이션 기능을 제공할 수도 있다.

전자 악보를 디스플레이 시킨 후, 자동으로 연주자의 악보를 넘겨줌으로써 지휘자 및 연주자가 본연의 임무인 연주와 지휘에 집중 할 수 있어 고품질의 음악 공연을 관객들에게 제공할 수도 있다.

연주자들에게 실제 종이 악보와 동일한 디지털화된 악보를 뷰잉하여 보여주고, 디지털 악보를 실제 연주나 연습시 자동 및 수동으로 연주자 편의에 따라 넘겨주는 본 발명은 첨단 IT기술에 미숙한 음악 전문가들에게는 상상으로만 생각했던 연주환경을 제공하는 획기적인 음악 악보관련 우수 신기술이며, 네트워크 환경에서 오케스트라 연습효과를 극대화할 수 있다.

도 1은 본 발명의 일 실시예에 따른 전자 악보 제공 시스템에 관한 블록 다이어그램을 나타내는 도면이다.
도 2는 오츠 이진화 알고리즘을 이용하였을 때 히스토그램 상에서 임계값을 계산하는 예를 나타낸다.
도 3a 및 도 3b는 오츠 이진화 알고리즘의 결과 예를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 그레이 스케일 악보 이미지가 이진 악보 이미지로 변환된 예를 나타낸다.
도 5a 내지 도 5d는 전자 악보 제공 장치에서 사용가능한 Sobel/Prewitt 에지 마스크들를 나타낸다.
도 6a 및 도 6b는 Prewitt operator를 이용한 에지 검출 결과의 예를 나타낸다.
도 7은 라벨링 결과의 예를 나타낸다.
도 8 및 도 9는 Row-by-Row labeling 알고리즘을 나타낸다.
도 10a 내지 도 10c는 Row-by-Row labeling에 따른 결과 영상을 나타낸다.
도 11a 내지 도 11c는 Run-length labeling의 결과를 나타낸다.
도 12는 본 발명의 일 실시예에 따른 라벨링 및 후처리 결과의 예를 나타낸다.
도 13은 본 발명의 일 실시예에 따른 디지털화된 전자 악보의 예를 나타낸다.
도 14는 본 발명의 일 실시예에 따른 전자 악보 제공 방법에 관한 흐름도를 나타내는 도면이다.

첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 전자 악보 제공 시스템에 관한 블록 다이어그램을 나타내는 도면이다.

도 1을 참조하면, 전자 악보 제공 시스템(100)은 전자 악보 제공 장치(110) 및 디스플레이 장치(120)를 포함한다. 전자 악보 제공 장치(110) 및 디스플레이 장치(120)는 소정의 유선 또는 무선 통신을 통하여 서로 연결 가능하다. 디스플레이 장치(120)는 터치스크린과 같은 디스플레이를 포함할 수 있다. 또한, 디스플레이 장치(120)는 지휘자용 디스플레이 장치와 연주자용 디스플레이 장치로 구분되어 배치될 수도 있다. 이 경우, 지휘자용 디스플레이 장치는 전자 악보 제공 장치(110)를 제어할 수 있는 권한을 가질 수도 있다.

전자 악보 제공 장치(110)는 수신부(112), 제어부(114), 저장부(116) 및 송신부(118)를 포함한다.

수신부(112)는 외부로부터 악보를 포함하는 데이터, 예를 들어, 악보 이미지를 수신한다. 다른 실시예로, 전자 악보 제공 장치(110)에 포함된 촬상 장치(미도시)를 통하여 악보 데이터를 획득할 수도 있다. 또한, 수신부(112)는 디스플레이 장치(120) 또는 그 외의 전자 악보 제공 장치(110)의 제어 장치(미도시)로부터 전자 악보 제공 장치(110)에 대한 제어 정보를 수신할 수도 있다.

제어부(114)는 악보 이미지를 영상 처리하여 전자 악보 데이터로 변환한다. 먼저, 제어부(114)는 수신 또는 획득한 악보 이미지로부터 이진화 알고리즘을 이용하여 이진화된 악보 및 배경 영역을 검출한다. 이진화 알고리즘은 영상이 입력되었을 때, 악보 영역과 배경 영역으로 분할하기 위해 사용된다. 영상에서 이진화을 위한 다양한 알고리즘이 존재하지만, 본 발명의 일 실시예에서는 동적으로 임계값(threshold value)를 찾는 오츠 이진화 알고리즘(Otsu thresholding algorithm)을 사용한다. 오츠 이진화 방법은 영상의 히스토그램의 형태를 쌍봉형(binomial)이라고 가정하였을 때, 계곡점(valley)를 찾고, 그 점을 임계값을 설정하여 이진화 하는 방법이다. 즉, 영상을 두 부류의 영역으로 나눌 때 상대적으로 몰려있는 부분들을 같은 부류의 영역으로 분류하는 방법이다. 도 2는 오츠 이진화 알고리즘을 이용하였을 때 히스토그램 상에서 임계값을 계산하는 예를 나타낸다.

오츠 이진화 알고리즘에서 임계값을 찾는 방법은 통계학적인 방법을 이용한다. 전체 분산은 클래스 내 분산과 클래스간 분산의 합으로 나타날 수 있다. 분산이 클수록 분포도는 전체적으로 보았을 때 완만해질 거이고, 반대로 분산이 작아질수록 분포도는 어느 한 점 주변에 몰리게 나타날 것이다. 좋은 임계값을 구하기 위해서는 양 클래스 간의 분산이 작을수록 좋다. 클래스 간 분산은 클래스 내 분산의 역이므로, 클래스 분산의 최대값을 구하고 그 때의 임계값을 구한다.

오츠 이진화 알고리즘은 가능한 임계값 범위 내에서 임계값을 임의로 선정하였을 때 클래스간 분산(between-class variation)을 클래스내 분산(within-class variation)으로 나눈 값을 계산하여 가장 높은 값을 가지는 값을 임계값으로 선정한다.

아래 수학식 1은 클래스 내 분산 식을 나타내고, 수학식 2는 클래스 간 분산 식을 나타낸다.

수학식 1에서 N은 전체 픽셀 수를 의미한다. 임의의 임계값을 이용하였을 때 나뉜 두 집합(S1, S2) 내에서 분산값을 계산한다. n₁, n₂는 웨이트로 각 집합 내의 픽셀 개수를 전체 영상 사이즈로 나눈 값이다.

수학식 2에서 각 집합의 평균을 전체 평균과의 분산을 계산한 것을 수학식 2와 동일한 웨이트를 곱하여 누적한 것을 전체 픽셀수로 나누어 계산한다.

아래 수학식 3은 임계값 범위 내의 임의의 임계값을 정하여 클래스 간 분산을 클래스 내 분산으로 나눈 값을 계산하고 이중 최대 값을 가지는 값을 임계값으로 선정한다.

도 3a 및 도 3b는 오츠 이진화 알고리즘의 결과 예를 나타낸다. 도 3a는 원본 영상을 나타내고, 도 3b는 오츠 이진화 결과의 예를 나타낸다. 도 3a 및 도 3b에서 보이듯이 grayscale영상에서 나타나는 배경 영역과 글자 영역이 오츠 이진화 알고리즘을 통해 명확히 구분됨을 알 수 있다.

도 4는 본 발명의 일 실시예에 따른 그레이 스케일 악보 이미지가 이진 악보 이미지로 변환된 예를 나타낸다.

그 후, 제어부(114)는 악보의 오선의 기울기를 이용하여 악보 이미지를 회전함으로써 정확한 인식 결과를 제공할 수 있다. 악보의 기울기 계산은 입력된 악보가 기울어져 촬영된 경우 악보의 오선이 평행하도록 보정하기 위해 수행된다. 악보 기울기 계산을 위해 이진화된 악보 영상에 대해 에지 검출(Edge detection)을 이용하여 각 픽셀에 대한 변화량(magnitude) 및 변화 각도(orientation)를 계산하고, 이를 누적한 히스토그램(Histogram of gradients)을 계산하여 악보에 나타나는 주된 각도를 계산하기 위한 것이다. 에지 검출(Edge detection)은 각 픽셀의 주변 영역간의 변화량을 계산하는 영역 프로세싱(Area processing)의 하나이다. 에지 검출을 계산하기 위한 마스크는 sobel, prewitt, canny등 다양하다. 이 중 오선은 주로 대각선이 아닌 평행한 선으로 촬영이 되므로 위의 sobel, prewitt, canny operator들을 사용하여 마스크와 픽셀간의 컨벌루션(convolution) 계산을 통해 각 픽셀의 변화량을 계산 가능하다.

도 5a 내지 도 5d는 전자 악보 제공 장치에서 사용가능한 Sobel/Prewitt 에지 마스크들를 나타낸다.

도 5a 및 도 5c는 X축 변화량을 계산하는 Prewitt마스크 및 Sobel 마스크를 보여주며, 이때 A는 grayscale 영상이며 마스크와 영상의 convolution연산을 통해 Gx가 계산된다. 도 5b 및 도 5d는 Y축 변화량을 계산하는 Prewitt 마스크 및 Sobel 마스크를 보여주며 영상과의 컨벌루션 연산을 통해 Gy가 계산된다.

도 6a 및 도 6b는 Prewitt operator를 이용한 에지 검출 결과의 예를 나타낸다. 도 6a는 입력 영상을 나타내며, 도 6b는 출력 영상을 나타낸다.

Canny edge detection은 위의 sobel/prewitt 에지 검출법과 다르게 여러 단계를 거쳐 에지를 검출한다. 먼저 입력 영상은 가우시안 필터를 통해 스무딩이 진행된다. 이때, 단순한 2차원의 1차 미분(Roberts edge mask)을 통해 에지를 검출한다. 이때 검출되는 노이즈를 제거하기 위해 Non-maximum suppression 단계를 통해 local maxima를 선택함으로써 실제 에지 강도가 높은 에지들만 추출할 수 있다.

계산된 X축, Y축 변화량은 아래 수학식 4를 통해 각 픽셀의 변화량에 따른 크기값(G)와 변화의 각도(T)를 계산할 수 있다. 계산된 각도와 크기값은 12개의 각도의 bin을 가지는 히스토그램에 quantization되고 magitude값 만큼 누적된다. 이때 가장 높은 bin값을 가지는 각도를 오선의 각도로 추정한다.

오선의 각도를 추정한 후, 영상의 rotation을 통해 오선이 평행되도록 한다. 영상의 rotation은 geometric 연산의 하나로, 각 픽셀의 위치를 수학식 5를 이용하여 새로운 위치로 이동함으로써 전체적으로 회전을 시킬 수 있는 연산이다. 수학식 5에서 (x0, y0)는 영상의 회전축의 중심 좌표이며, (x1, y1)은 회전을 위한 각 픽셀 위치이다. (x2, y2)는 회전 연산 이후 변경된 (x1, y1)의 결과 좌표이다. (x1, y1)좌표의 픽셀값이 (x2, y2)로 이동함으로써 결과적으로 회전을 한 효과를 볼 수 있다. 이전의 각도 결과를 이용하여 오선이 평행할 수 있도록 한다.

제어부(114)는 이진화된 악보 이미지로부터 오선을 인식한다. 제어부(114)는악보 이미지에서 오선 인식은 음표의 음을 인지하기 위해 오선의 위치를 감지하고, 악보 내의 음표 및 음 기호를 추출하기 위해 필터링한다. 오선의 위치를 감지하기 위해 1) 보정된 이미지에 나타나는 픽셀을 Y축으로 누적(Profiling) 함으로써 가능하며, 2) Hough transform을 통해서 에지 검출 결과에서 나타나는 선을 잇고 각 선성분의 값에 대해 1차 함수식으로 표현함으로써 정확한 오선 검출이 가능하다.

먼저, Y축에 대해 나타나는 비배경 영역의 픽셀 개수의 분포를 보면 높은 peak값을 가지는 대부분이 오선 영역임을 알 수 있다. 이미지에서 Y축에 따라 X축에 존재하는 검정색 픽셀(비배경영역)을 누적하면 오선이 나타나는 Y축 히스토그램 값이 peak로 높게 나타난다. 따라서, 제어부(114)는 5개의 히스토그램의 peak값이 높게 나타나는 좌표를 찾아서 오선 위치로 배열에 저장한다. 이때 peak값은 Y축 누적 프로파일 히스토그램을 2차 미분하여 나타나는 local maxima를 계산하여 찾는다.

또한, Hough transform을 통해서 정확한 오선 검출이 가능하다. Hough transform은 영상에서 에지로 검출된 점들의 집합에서 가장 많이 겹치는 직선을 추출하는 변환이다. 에지로 검출된 모든 점에 대해서 연결이 가능한 직선점들을 y = ax + b로 옮김으로써 여러개의 직선들이 존재하게 되는데 이중 가장 많은 점들이 포함된 직선을 계산하여 각 오선에 해당하는 직선의 방정식들을 정확하게 추출할 수 있다.

위의 각 과정을 통해 영상에서 음표와 음기호를 추출하기 위해 오선 위치에 나타나는 Y축 영역 혹은 오선에 해당하는 직선의 방정식에 해당하는 비배경 픽셀들을 제거한다.

그 후, 제어부(114)는 이진화된 악보이미지로부터 음표를 인식한다. 악보 영상에서 음표 및 음 기호를 추출하기 위해 라벨링한다. 라벨링은 영상에서 나타나는 연결된 영역을 같은 라벨로 할당하는 기법(Connected component analysis)이다. 도 7은 라벨링 결과의 예를 나타낸다. 라벨링 기법으로 Recursive 라벨링, Row-by-Row 라벨링, Run-length 라벨링 기법등을 사용 가능하다. 또한 오선 분할로 나뉜 음표를 같은 영역으로 연결하는 후처리가 필요하다. Recursive 라벨링은 영상을 스캔하면서 비배경 픽셀이 존재하면 재귀적으로 해당 픽셀의 주변을 스캔하며 나타나는 비배경 픽셀에 대해 같은 라벨로 할당하는 방식이다. 주변을 스캔할 경우 이웃을 스캔하는 방법에 따라 four-neighborhood 혹은 eight-neighborhood 스캔 범위를 선택하여 사용가능하다. Row-by-Row 라벨링은 1) 이미지를 순서대로 스캔하면서 현재 픽셀과 이웃하는 이전 스캔 픽셀(parent pixel 중 라벨)이 존재하는 경우 같은 라벨을 할당하고, 그 외의 영역에는 다른 라벨을 할당하는(Find) 단계와 2) 실제로 연결되어 있음에도 불구하고 다른 라벨로 할당된 영역을 Union-find structure를 이용하여 연결(Union)하는 단계로 구성된다. 도 8 및 도 9는 Row-by-Row labeling 알고리즘을 나타낸다. 도 8은 현재 픽셀 주변의 parent 픽셀들이 가지는 라벨을 현재 라벨에 할당하는 Find algorithm을 나타내고, 도 9는 연결되어 있는 영역이 다른 라벨을 가지는 경우, 라벨값을 비교하여 같은 라벨로 갱신하는 알고리즘을 보여준다.

도 10a 내지 도 10c는 Row-by-Row labeling에 따른 결과 영상을 나타낸다. 도 10a는 원본 바이너리 영상을 나타내고, 도 10b는 원본 영상을 Find 단계를 거쳐 1차적으로 라벨을 매긴 결과를 보여준다. 하지만 도 10b에서 보이듯 3과 7의 영역은 같은 영역임에도 다른 라벨을 할당됨을 볼 수 있다. 이러한 경우 그림 도 10c의 왼쪽 그림과 같이 Union 단계를 거침으로써 하나의 라벨로 연결됨을 볼 수 있으며 이를 체크한 structure가 오른쪽 그림과 같이 갱신된다. Union-find structure를 통해 다르게 라벨링된 영역이 하나의 영역으로 합쳐진다.

Run-length labeling의 경우, 이미지를 순서대로 스캔하면서 1) 같은 row에서 비배경영역으로 나타나는 라벨의 시작값과 끝값을 체크한 row-start와 row-end를 체크한 구조를 생성한 뒤, 2) 이전의 체크한 row start/end를 세부적으로 row 간에 각 라벨의 column시작/끝을 체크하고, 3) 겹치는 경우 merge하여 같은 라벨로 할당하는 단계로 구성된다. 도 11a 내지 도 11c는 입력영상이 주어졌을때 각 단계의 결과의 예를 보여준다. 도 11a 내지 도 11c는 Run-length labeling의 결과를 나타낸다. 도 11a는 입력 영상을 보여준다. 도 11b는 영상을 순서대로 스캔하면서 나타나는 각 row에서 비배경영역의 시작 라벨값과 끝라벨값을 체크한 테이블을 보여준다. 도 11c는 도 11b를 세부화하여 작성한 것으로 각 라벨에 해당하는 각 row당 column의 시작과 끝을 할당한 것이며, label은 0으로 초기화 한 것을 보여준다. 도 11c의 다른 row간에 column 범위가 중첩되는 경우 label값을 같은 값으로 할당함으로써 연결된 영역끼리 같은 라벨을 할당한다.

라벨링 결과를 보게 되면, 같은 음표 및 음 기호임에도 불구하고 오선이 제거되어 다른 영역으로 분할되는 경우가 있다. 이러한 경우, 오선 높이 사이즈의 height을 가지며, 전체 width/20의 width를 가지는 window를 한칸씩 움직이면서, 라벨링 영역의 위아래로 나뉜 분할 영역은 연결한다. 분할된 영역이 연결된 결과 영상은 도 12와 같다. 도 12는 본 발명의 일 실시예에 따른 라벨링 및 후처리 결과의 예를 나타낸다.

그 후, 제어부(114)는 이진화된 악보 이미지로부터 음 기호를 인식하고 라벨링이 끝난 객체들에 대해 템플릿을 만들어 음표를 인식한다. 악보는 음자리표로 시작되기 때문에, 제어부(114)는 높은음자리표 또는 낮은음자리표가 찾아질 때까지 라벨링 객체를 검사한다. 제어부(114)는 음표 및 음기호 인식을 위해 라벨링된 영역과 저장된 템플릿과 비교를 통해 가장 유사한 음표 및 음기호로 인식한다. 제어부(114)는 템플릿과 비교를 위해 추출된 영역의 음표 및 음기호 영역은 템플릿 사이즈로 정규화된다. 정규화된 영역은 기존에 저장된 음표 및 음기호 템플릿과 가장 비슷한 음표로 매칭된다.

이를 위한 방법은 다양하며, 대표적인 예로써 Euclidean distance 수학식 6을 통해 거리값이 계산되고 가장 작은 거리값을 가지는 음표로 매칭하는 방법이 있다. 제어부(114)는 매칭된 결과에 해당하는 음표 타입과 음표의 위치를 확인하여 인식 결과를 저장부(116)에 저장한다.

그 후, 제어부(114)는 악보에서 음표 개체의 위치를 인식하여 인식된 악보를 저장부(116)에 저장한다. 외부로부터, 예를 들어, 디스플레이장치 또는 제어 장치로부터 명령을 수신하면, 제어부(114)는 송신부(118)를 통하여 전자 악보를 디스플레이장치(120)에 송신한다. 그 후, 디스플레이 장치(120)는 도 13과 같이 출력한다.

제어부(114)는 디스플레이 장치(120)에 전자 악보를 제공함에 있어서, 악보의 자동 넘김 기능을 제공할 수 있다. 이 경우, 제어부(114)는 전자 악보의 연주 시간을 계산하여 전자 악보에 매칭시켜 저장한다. 그 후, 제어부(114)는 연주 시간에 따라 전자 악보의 페이지를 자동으로 넘어갈 수 있게 전자 악보에 소정의 명령을 매칭시켜 놓는다. 물론, 디스플레이 장치(120)에서 소정의 입력, 예를 들어, 악보를 터치하는 경우, 수동으로 전자 악보의 페이지가 넘어갈 수도 있다.

제어부(114)는 연결된 디스플레이 장치(120)에 제공된 악보에 필기 기능(예를 들어, 메모 기능, 판서 기능 또는 주석 기능)을 제공할 수 있다. 디스플레이 장치(120)는 입력이 가능한 장치이다. 예를 들어, 디스플레이 장치(120)는 문자 입력이 가능한 터치식 디스플레이 기판을 구비할 수 있다. 디스플레이 장치(120)에 입력된 필기에 관한 정보를 수신부(112)가 수신하고, 제어부(114)는 수신한 필기에 관한 정보를 저장부(116)에 저장 후, 디스플레이 장치(120)로부터 호출이 있는 경우, 다시 제공할 수도 있다.

디스플레이 장치(120)는 전자 악보에 따라 연주를 하는 경우, 녹음 기능을 제공할 수 있다. 그 후, 디스플레이 장치(120)는 녹음된 데이터를 전자 악보 제공 장치(110)로 송신한다. 수신부(112)는 이를 수신하고, 제어부(114)는 수신한 녹음 데이터를 저장부(116)에 저장한다. 그 후, 디스플레이 장치(120)로부터 재생 명령을 수신하는 경우, 저장된 녹음 데이터를 송신부(118)를 통하여 디스플레이 장치(120)로 제공하고, 디스플레이 장치(120)는 이를 재생할 수 있다.

디스플레이 장치(120)는 전자 악보 제공 장치(110)에 연결하여, 저장된 전자 악보를 검색할 수도 있다.

도 14는 본 발명의 일 실시예에 따른 전자 악보 제공 방법에 관한 흐름도를 나타내는 도면이다.

도 14를 참조하면, 단계 1410에서, 전자 악보 제공 장치는 외부로부터 악보를 포함하는 데이터, 예를 들어, 악보 이미지를 수신한다. 다른 실시예로, 전자 악보 제공 장치에 포함된 촬상 장치를 통하여 악보 데이터를 획득할 수도 있다.

전자 악보 제공 장치는 악보 이미지를 영상 처리하여 전자 악보 데이터로 변환한다. 구체적으로 보면 아래와 같다.

단계 1420에서, 전자 악보 제공 장치는 수신 또는 획득한 악보 이미지로부터 이진화 알고리즘을 이용하여 이진화된 악보 및 배경 영역을 검출한다. 이진화 알고리즘은 영상이 입력되었을 때, 악보 영역과 배경 영역으로 분할하기 위해 사용된다. 영상에서 이진화을 위한 다양한 알고리즘이 존재하지만, 본 발명의 일 실시예에서는 동적으로 임계값(threshold value)를 찾는 오츠 이진화 알고리즘(Otsu thresholding algorithm)을 사용한다. 오츠 이진화 방법은 영상의 히스토그램의 형태를 쌍봉형(binomial)이라고 가정하였을 때, 계곡점(valley)를 찾고, 그 점을 임계값을 설정하여 이진화 하는 방법이다. 즉, 영상을 두 부류의 영역으로 나눌 때 상대적으로 몰려있는 부분들을 같은 부류의 영역으로 분류하는 방법이다.

오츠 이진화 알고리즘에서 임계값을 찾는 방법은 통계학적인 방법을 이용한다. 전체 분산은 클래스 내 분산과 클래스간 분산의 합으로 나타날 수 있다. 분산이 클수록 분포도는 전체적으로 보았을 때 완만해질 거이고, 반대로 분산이 작아질수록 분포도는 어느 한 점 주변에 몰리게 나타날 것이다. 좋은 임계값을 구하기 위해서는 양 클래스 간의 분산이 작을수록 좋다. 클래스 간 분산은 클래스 내 분산의 역이므로, 클래스 분산의 최대값을 구하고 그 때의 임계값을 구한다.

오츠 이진화 알고리즘은 가능한 임계값 범위 내에서 임계값을 임의로 선정하였을 때 클래스간 분산(between-class variation)을 클래스내 분산(within-class variation)으로 나눈 값을 계산하여 가장 높은 값을 가지는 값을 임계값으로 선정한다.

그 후, 전자 악보 제공 장치는 악보의 오선의 기울기를 이용하여 악보 이미지를 회전함으로써 정확한 인식 결과를 제공할 수 있다. 악보의 기울기 계산은 입력된 악보가 기울어져 촬영된 경우 악보의 오선이 평행하도록 보정하기 위해 수행된다. 악보 기울기 계산을 위해 이진화된 악보 영상에 대해 에지 검출(Edge detection)을 이용하여 각 픽셀에 대한 변화량(magnitude) 및 변화 각도(orientation)를 계산하고, 이를 누적한 히스토그램(Histogram of gradients)을 계산하여 악보에 나타나는 주된 각도를 계산하기 위한 것이다. 에지 검출(Edge detection)은 각 픽셀의 주변 영역간의 변화량을 계산하는 영역 프로세싱(Area processing)의 하나이다. 에지 검출을 계산하기 위한 마스크는 sobel, prewitt, canny등 다양하다. 이 중 오선은 주로 대각선이 아닌 평행한 선으로 촬영이 되므로 위의 sobel, prewitt, canny operator들을 사용하여 마스크와 픽셀간의 컨벌루션(convolution) 계산을 통해 각 픽셀의 변화량을 계산 가능하다.

Canny edge detection은 위의 sobel/prewitt 에지 검출법과 다르게 여러 단계를 거쳐 에지를 검출한다. 먼저 입력 영상은 가우시안 필터를 통해 스무딩이 진행된다. 이때, 단순한 2차원의 1차 미분(Roberts edge mask)을 통해 에지를 검출한다. 이때 검출되는 노이즈를 제거하기 위해 Non-maximum suppression 단계를 통해 local maxima를 선택함으로써 실제 에지 강도가 높은 에지들만 추출할 수 있다.

단계 1430에서, 전자 악보 제공 장치는 이진화된 악보 이미지로부터 오선을 인식한다. 전자 악보 제공 장치는 악보 이미지에서 오선 인식은 음표의 음을 인지하기 위해 오선의 위치를 감지하고, 악보 내의 음표 및 음 기호를 추출하기 위해 필터링한다. 오선의 위치를 감지하기 위해 1) 보정된 이미지에 나타나는 픽셀을 Y축으로 누적(Profiling) 함으로써 가능하며, 2) Hough transform을 통해서 에지 검출 결과에서 나타나는 선을 잇고 각 선성분의 값에 대해 1차 함수식으로 표현함으로써 정확한 오선 검출이 가능하다.

또한, Hough transform을 통해서 정확한 오선 검출이 가능하다. Hough transform은 영상에서 에지로 검출된 점들의 집합에서 가장 많이 겹치는 직선을 추출하는 변환이다. 에지로 검출된 모든 점에 대해서 연결이 가능한 직선점들을 y = ax + b로 옮김으로써 여러개의 직선들이 존재하게 되는데 이중 가장 많은 점들이 포함된 직선을 계산하여 각 오선에 해당하는 직선의 방정식들을 정확하게 추출할 수 있다.

위의 각 과정을 통해 영상에서 음표와 음기호를 추출하기 위해 오선 위치에 나타나는 Y축 영역 혹은 오선에 해당하는 직선의 방정식에 해당하는 비배경 픽셀들을 제거한다.

단계 1440에서, 전자 악보 제공 장치는 이진화된 악보이미지로부터 음표를 인식한다. 악보 영상에서 음표 및 음 기호를 추출하기 위해 라벨링한다. 라벨링은 영상에서 나타나는 연결된 영역을 같은 라벨로 할당하는 기법(Connected component analysis)이다. 라벨링 기법으로 Recursive 라벨링, Row-by-Row 라벨링, Run-length 라벨링 기법등을 사용 가능하다. 또한 오선 분할로 나뉜 음표를 같은 영역으로 연결하는 후처리가 필요하다. Recursive 라벨링은 영상을 스캔하면서 비배경 픽셀이 존재하면 재귀적으로 해당 픽셀의 주변을 스캔하며 나타나는 비배경 픽셀에 대해 같은 라벨로 할당하는 방식이다. 주변을 스캔할 경우 이웃을 스캔하는 방법에 따라 four-neighborhood 혹은 eight-neighborhood 스캔 범위를 선택하여 사용가능하다. Row-by-Row 라벨링은 1) 이미지를 순서대로 스캔하면서 현재 픽셀과 이웃하는 이전 스캔 픽셀(parent pixel 중 라벨)이 존재하는 경우 같은 라벨을 할당하고, 그 외의 영역에는 다른 라벨을 할당하는(Find) 단계와 2) 실제로 연결되어 있음에도 불구하고 다른 라벨로 할당된 영역을 Union-find structure를 이용하여 연결(Union)하는 단계로 구성된다.

Run-length labeling의 경우, 이미지를 순서대로 스캔하면서 1) 같은 row에서 비배경영역으로 나타나는 라벨의 시작값과 끝값을 체크한 row-start와 row-end를 체크한 구조를 생성한 뒤, 2) 이전의 체크한 row start/end를 세부적으로 row 간에 각 라벨의 column시작/끝을 체크하고, 3) 겹치는 경우 merge하여 같은 라벨로 할당하는 단계로 구성된다.

라벨링 결과를 보게 되면, 같은 음표 및 음 기호임에도 불구하고 오선이 제거되어 다른 영역으로 분할되는 경우가 있다. 이러한 경우, 오선 높이 사이즈의 height을 가지며, 전체 width/20의 width를 가지는 window를 한칸씩 움직이면서, 라벨링 영역의 위아래로 나뉜 분할 영역은 연결한다.

단계 1450에서, 전자 악보 제공 장치는 이진화된 악보 이미지로부터 음 기호를 인식하고 라벨링이 끝난 객체들에 대해 템플릿을 만들어 음표를 인식한다. 악보는 음자리표로 시작되기 때문에, 전자 악보 제공 장치는 높은음자리표 또는 낮은음자리표가 찾아질 때까지 라벨링 객체를 검사한다. 전자 악보 제공 장치는 음표 및 음기호 인식을 위해 라벨링된 영역과 저장된 템플릿과 비교를 통해 가장 유사한 음표 및 음기호로 인식한다. 전자 악보 제공 장치는 템플릿과 비교를 위해 추출된 영역의 음표 및 음기호 영역은 템플릿 사이즈로 정규화된다. 정규화된 영역은 기존에 저장된 음표 및 음기호 템플릿과 가장 비슷한 음표로 매칭된다. 이를 위한 방법은 다양하며, 대표적인 예로써 Euclidean distance를 통해 거리값이 계산되고 가장 작은 거리값을 가지는 음표로 매칭하는 방법이 있다. 전자 악보 제공 장치는 매칭된 결과에 해당하는 음표 타입과 음표의 위치를 확인하여 인식 결과를 저장한다.

그 후, 단계 1460에서, 전자 악보 제공 장치는 악보에서 음표 개체의 위치를 인식하여 인식된 악보를 저장한다. 외부로부터, 예를 들어, 디스플레이장치 또는 제어 장치로부터 명령을 수신하면, 전자 악보 제공 장치는 전자 악보를 디스플레이장치에 송신한다.

전자 악보 제공 장치는 디스플레이 장치에 전자 악보를 제공함에 있어서, 악보의 자동 넘김 기능을 제공할 수 있다. 이 경우, 전자 악보 제공 장치는 전자 악보의 연주 시간을 계산하여 전자 악보에 매칭시켜 저장한다. 그 후, 전자 악보 제공 장치는 연주 시간에 따라 전자 악보의 페이지를 자동으로 넘어갈 수 있게 전자 악보에 소정의 명령을 매칭시켜 놓는다. 물론, 디스플레이 장치에서 소정의 입력, 예를 들어, 악보를 터치하는 경우, 수동으로 전자 악보의 페이지가 넘어갈 수도 있다.

전자 악보 제공 장치는 연결된 디스플레이 장치에 제공된 악보에 필기 기능(예를 들어, 메모 기능, 판서 기능 또는 주석 기능)을 제공할 수 있다. 디스플레이 장치는 입력이 가능한 장치이다. 예를 들어, 디스플레이 장치는 문자 입력이 가능한 터치식 디스플레이 기판을 구비할 수 있다. 디스플레이 장치에 입력된 필기에 관한 정보를 전자 악보 제공 장치가 수신하고, 전자 악보 제공 장치는 수신한 필기에 관한 정보를 저장 후, 디스플레이 장치로부터 호출이 있는 경우, 다시 제공할 수도 있다.

디스플레이 장치는 전자 악보에 따라 연주를 하는 경우, 녹음 기능을 제공할 수 있다. 그 후, 디스플레이 장치는 녹음된 데이터를 전자 악보 제공 장치로 송신한다. 전자 악보 제공 장치는 이를 수신하고, 수신한 녹음 데이터를 저장한다. 그 후, 디스플레이 장치로부터 재생 명령을 수신하는 경우, 전자 악보 제공 장치는 녹음 데이터를 디스플레이 장치로 제공하고, 디스플레이 장치는 이를 재생할 수 있다.

디스플레이 장치는 전자 악보 제공 장치에 연결하여, 저장된 전자 악보를 검색할 수도 있다.

이상 설명한 바와 같은 전자 악보 제공 방법은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 매체를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등이 있다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 디스크 관리 방법을 구현하기 위한 기능적인(function) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

100: 전자 악보 제공 시스템
110: 전자 악보 제공 장치
112: 수신부 114: 제어부
116: 저장부 118: 송신부
120: 디스플레이 장치

Claims (10)

1. 외부로부터 악보 이미지를 수신하는 수신부, 수신한 상기 악보 이미지로부터 이진화 알고리즘을 이용하여 이진화된 악보 및 배경 영역을 검출하고, 상기 이진화된 악보 이미지로부터 오선을 인식하고, 라벨링을 통하여 음 기호 및 음표를 인식하고, 상기 음표의 위치를 파악하여 전자 악보를 생성하는 제어부, 상기 전자 악보를 저장하는 저장부, 및 상기 저장된 전자 악보를 송신하는 송신부를 포함하는 전자 악보 제공 장치; 및
   상기 전자 악보 제공 장치와 소정의 유선 또는 무선 통신을 통하여 연결 가능하고, 상기 전자 악보 제공 장치로부터 상기 전자 악보를 수신하여 출력하는 복수의 디스플레이 장치를 포함하고,
   상기 전자 악보 제공 장치는 상기 저장된 전자 악보에 따른 연주 시간을 계산하여, 상기 연주 시간을 상기 전자 악보에 매칭하고, 상기 연주 시간에 따라 상기 전자 악보의 페이지가 자동으로 넘겨지도록 상기 전자 악보를 생성하는 것을 특징으로 하는 전자 악보 제공 시스템.
   
2. 제 1 항에 있어서,
   상기 이진화 알고리즘은 오츠 이진화 알고리즘인 것을 특징으로 하는 전자 악보 제공 시스템.
   
3. 제 1 항에 있어서,
   상기 전자 악보 제공 장치는 상기 이진화 알고리즘 및 상기 수신한 악보 이미지의 오선의 기울기를 이용하여 악보 영상을 회전함으로써 상기 이진화된 악보를 검출하는 것을 특징으로 전자 악보 제공 시스템.
   
4. 삭제
5. 제 1 항에 있어서,
   상기 복수의 디스플레이 장치 중 적어도 하나의 디스플레이 장치가 상기 전자 악보 제공 장치를 제어하는 것을 특징으로 하는 전자 악보 제공 시스템.
   
6. 외부로부터 악보 이미지를 수신하는 수신부;
   수신한 상기 악보 이미지로부터 이진화 알고리즘을 이용하여 이진화된 악보 및 배경 영역을 검출하고, 상기 이진화된 악보 이미지로부터 오선을 인식하고, 라벨링을 통하여 음 기호 및 음표를 인식하고, 상기 음표의 위치를 파악하여 전자 악보를 생성하는 제어부;
   상기 전자 악보를 저장하는 저장부; 및
   상기 저장된 전자 악보를 디스플레이 장치로 송신하는 송신부를 포함하고,
   상기 제어부는 상기 저장된 전자 악보에 따른 연주 시간을 계산하여, 상기 연주 시간을 상기 전자 악보에 매칭하고, 상기 연주 시간에 따라 상기 전자 악보의 페이지가 자동으로 넘겨지도록 상기 전자 악보를 생성하는 것을 특징으로 하는 전자 악보 제공 장치.
   
7. 제 6 항에 있어서,
   상기 이진화 알고리즘은 오츠 이진화 알고리즘인 것을 특징으로 하는 전자 악보 제공 장치.
   
8. 제 6 항에 있어서,
   상기 제어부는 상기 이진화 알고리즘 및 상기 수신한 악보 이미지의 오선의 기울기를 이용하여 악보 영상을 회전함으로써 상기 이진화된 악보를 검출하는 것을 특징으로 전자 악보 제공 장치.
   
9. 삭제
10. 삭제

Images