KR20120047037A - 악보 이미지를 이용한 음악 재생 장치 및 방법 - Google Patents

악보 이미지를 이용한 음악 재생 장치 및 방법 Download PDF

Info

Publication number
KR20120047037A
KR20120047037A KR1020100108675A KR20100108675A KR20120047037A KR 20120047037 A KR20120047037 A KR 20120047037A KR 1020100108675 A KR1020100108675 A KR 1020100108675A KR 20100108675 A KR20100108675 A KR 20100108675A KR 20120047037 A KR20120047037 A KR 20120047037A
Authority
KR
South Korea
Prior art keywords
symbol
image
recognition
music
score
Prior art date
Application number
KR1020100108675A
Other languages
English (en)
Inventor
최중민
민은평
정선구
Original Assignee
한양대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한양대학교 산학협력단 filed Critical 한양대학교 산학협력단
Priority to KR1020100108675A priority Critical patent/KR20120047037A/ko
Publication of KR20120047037A publication Critical patent/KR20120047037A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Character Discrimination (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

악보 이미지를 이용한 음악 재생 장치 및 방법이 개시된다. 개시된 악보 이미지를 이용한 음악 재생 장치는 악보에 대한 이미지(악보 이미지)를 분석하여 상기 악보에 존재하는 기호들에 대한 이미지(기호 이미지) 및 악보라인들을 추출하는 추출부; 상기 기호 이미지들 상에 복수의 인식라인들을 설정하고, 상기 복수의 인식라인들을 따라서 상기 기호 이미지들의 픽셀값을 측정하며, 상기 측정된 픽셀값들의 변화를 이용하여 상기 기호들의 의미를 인식하는 기호 인식부; 상기 추출된 악보라인들의 위치 및 상기 인식된 기호들의 의미 중에서 적어도 하나를 이용하여 상기 악보에 대한 연주 정보를 생성하는 연주 정보 생성부; 및 상기 생성된 연주 정보에 따라 상기 악보를 음악으로 재생하는 재생부를 포함한다. 본 발명에 따르면, 기타 연주 초보자라도 악보 이미지를 통해 악보에 적힌 음악의 음정 및 박자를 쉽게 이해할 수 있게 된다.

Description

악보 이미지를 이용한 음악 재생 장치 및 방법{APPARATUS AND METHOD FOR PLAYING MUSIC USING SCORE IMAGE}
본 발명의 실시예들은 음악 재생 장치에 관한 것으로서, 더욱 상세하게는 악보에 대한 이미지를 분석하여 해당 악보를 음악으로 재생하기 위한 장치 및 방법에 관한 것이다.
기타(Guitar)는 우리생활 속에서 가장 접하기 쉬운 악기 중의 하나로서, 연주자의 기타 연주를 돕기 위해 도 1에 도시된 바와 같은 타브(TAB) 악보가 많이 사용되고 있다.
타브 악보는 기타 연주를 위한 전용 악보로써 6개의 악보라인은 기타 줄을 의미(악보라인의 번호는 기타 줄의 굵기와 비례함)하고, 악보라인 상에 위치하는 숫자들은 연주자가 누를 플랫의 위치를 의미한다. 또한, "X" 기호는 뮤트(Mute) 기호를 의미하고, 6개의 악보라인 밑의 기호들은 박자 기호를 의미한다.
그런데, 기타 연주에 익숙하지 않은 초보 연주자는 타브 악보만으로 연주정보를 파악하는데 있어 어려움이 있다. 따라서, 초보 연주자가 타브 악보를 통해 보다 쉽고 직관적으로 해당 음악의 음정 및 박자를 이해할 수 있도록 하는 장치 및 방법의 개발의 필요성이 요구되고 있다.
상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 악보의 이미지를 분석하여 해당 악보에 따른 음악을 재생할 수 있는 음악 재생 장치 및 방법을 제안하고자 한다.
본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.
상기한 목적을 달성하기 위해 본 발명의 바람직한 일실시예에 따르면, 악보에 대한 이미지(악보 이미지)를 분석하여 상기 악보에 존재하는 기호들에 대한 이미지(기호 이미지) 및 악보라인들을 추출하는 추출부; 상기 기호 이미지들 상에 복수의 인식라인들을 설정하고, 상기 복수의 인식라인들을 따라서 상기 기호 이미지들의 픽셀값을 측정하며, 상기 측정된 픽셀값들의 변화를 이용하여 상기 기호들의 의미를 인식하는 기호 인식부; 상기 추출된 악보라인들의 위치 및 상기 인식된 기호들의 의미 중에서 적어도 하나를 이용하여 상기 악보에 대한 연주 정보를 생성하는 연주 정보 생성부; 및 상기 생성된 연주 정보에 따라 상기 악보를 음악으로 재생하는 재생부를 포함하는 악보 이미지를 이용한 음악 재생 장치가 제공된다.
상기 악보는 타브(TAB) 악보일 수 있다.
상기 악보 이미지는 0 또는 1의 픽셀값을 갖는 바이너리(Binary) 형태의 이미지일 수 있다.
상기 기호 이미지 중 상기 기호가 존재하는 영역은 0의 픽셀값을 가지고, 상기 기호가 존재하지 않는 영역은 1의 픽셀값을 가질 수 있다.
상기 기호들은 음정을 표현하기 위한 숫자 기호 또는 문자 기호를 포함하는 음정 기호 및 박지를 표현하기 위한 박자 기호 중에서 적어도 하나를 포함하고, 상기 기호 인식부는 상기 복수의 인식라인들 별로 상기 픽셀값이 변화하는 횟수(인식라인 별 픽셀값 변화 횟수)를 측정하여 상기 음정 기호에 포함되는 상기 숫자 기호 또는 상기 문자 기호의 의미 및 상기 박자 기호의 의미를 인식할 수 있다.
상기 기호들과 대응되는 복수의 기준 기호들 및 상기 복수의 기준 기호들에 대해 상기 복수의 인식라인들을 따라 측정한 픽셀값의 변화 횟수(인식라인 별 픽셀값 변화 횟수)를 매칭하여 저장하는 저장부를 더 포함하되, 상기 기호 인식부는 상기 복수의 기준 기호들에 대한 인식라인 별 픽셀값 변화 횟수와 상기 측정된 인식라인 별 픽셀값 변화 횟수를 비교하여 상기 기호들의 의미를 인식할 수 있다.
상기 기호 인식부는 상기 기호 이미지가 상기 숫자 기호를 포함하는 상기 음정 기호에 대한 이미지이되, 상기 숫자 기호가 괄호 기호의 내부에 존재하는 것으로 판단한 경우, 상기 괄호 기호 내부에 존재하는 상기 숫자 기호의 의미를 인식하지 않을 수 있다.
상기 기호 이미지 중 상기 기호가 존재하는 영역은 0 또는 1의 픽셀값을 가지고, 상기 기호가 존재하지 않는 영역은 0 또는 1 중에서 상기 기호가 존재하는 영역과 다른 픽셀 값을 가지며, 상기 기호 인식부는 상기 음정 기호에 상기 괄호 기호가 포함되는지를 판단하기 위해 상기 기호 이미지의 좌측 및 우측으로부터 상기 기호 이미지의 가로 길이에 비례하는 일정 비율만큼 떨어진 위치 각각에 판단라인을 설정하되, 상기 좌측으로부터 일정 비율만큼 떨어진 위치에 존재하는 판단라인의 좌측에 상기 기호가 존재하는 영역과 대응되는 픽셀값을 가지는 픽셀이 기 설정된 제1 비율 이상 존재하며, 상기 우측으로부터 일정 비율만큼 떨어진 위치에 존재하는 판단라인의 우측에 상기 기호가 존재하는 영역과 대응되는 픽셀값을 가지는 픽셀이 기 설정된 제2 비율 이상 존재하는 경우, 상기 음정 기호에 상기 괄호 기호가 포함되는 것으로 판단할 수 있다.
상기 복수의 인식라인들은 가로 방향으로 위치하는 적어도 하나의 가로 인식라인, 세로 방향으로 위치하는 적어도 하나의 세로 인식라인 및 대각선 방향으로 위치하는 적어도 하나의 대각 인식라인 중에서 하나 이상을 포함할 수 있다.
상기 기호 이미지가 상기 음정 기호에 대한 이미지인 경우, 상기 적어도 하나의 가로 인식라인의 개수는 4개이고, 상기 적어도 하나의 세로 인식라인의 개수는 5개이며, 상기 적어도 하나의 대각 인식라인의 개수는 2개일 수 있다. 이 경우, 상기 기호 인식부는 상기 4개의 가로 인식라인들을 상기 기호 이미지의 상측으로부터 상기 기호 이미지의 세로 길이에 대해 각각 1/4, 1/3, 2/3, 3/4의 비율만큼 떨어진 위치에 설정할 수 있고, 상기 5개의 세로 인식라인들을 상기 기호 이미지의 좌측으로부터 상기 기호 이미지의 가로 길이에 대해 각각 1/5, 1/2, 2/3, 3/4, 4/5의 비율만큼 떨어진 위치에 설정할 수 있다.
상기 기호 이미지는 사각 형상이고, 상기 기호 인식부는 상기 사각 형상의 기호 이미지의 마주보는 꼭지점들을 서로 연결하도록 상기 2개의 대각 인식라인들을 설정할 수 있다.
상기 기호 이미지가 상기 박자 기호에 대한 이미지인 경우, 상기 적어도 하나의 가로 인식라인의 개수는 5개이고, 상기 적어도 하나의 세로 인식라인의 개수는 3개일 수 있다. 이 경우, 상기 기호 인식부는 상기 5개의 가로 인식라인들을 상기 기호 이미지의 상측으로부터 상기 기호 이미지의 세로 길이에 대해 각각 1/5, 2/5, 1/2, 3/5, 4/5의 비율만큼 떨어진 위치에 설정할 수 있고, 상기 기호 인식부는 상기 3개의 세로 인식라인들을 상기 기호 이미지의 좌측으로부터 상기 기호 이미지의 가로 길이에 대해 각각 1/4, 2/4, 3/4의 비율만큼 떨어진 위치에 설정할 수 있다.
상기 연주 정보는 음정 정보 및 박자 정보 중에서 적어도 하나를 포함할 수 있다.
또한, 본 발명의 다른 실시예에 따르면, 악보에 대한 이미지(악보 이미지)를 분석하여 상기 악보에 존재하는 기호들의 이미지(기호 이미지) 및 악보라인들을 추출하는 단계; 상기 기호 이미지들 상에 복수의 인식라인들을 설정하고, 상기 복수의 인식라인들을 따라서 상기 기호 이미지들의 픽셀값을 측정하며, 상기 측정된 픽셀값들의 변화를 이용하여 상기 기호들의 의미를 인식하는 단계; 상기 추출된 악보라인들의 위치 및 상기 인식된 기호들의 의미 중에서 적어도 하나를 이용하여 상기 악보에 대한 연주 정보를 생성하는 단계; 및 상기 생성된 연주 정보에 따라 상기 악보를 음악으로 재생하는 단계를 포함하는 악보 이미지를 이용한 음악 재생 방법이 제공된다.
본 발명에 따르면, 기타 연주 초보자라도 악보 이미지를 통해 악보에 적힌 음악의 음정 및 박자를 쉽게 이해할 수 있게 된다.
도 1은 타브 악보의 일례를 도시한 도면이다.
도 2는 본 발명의 일 실시예에 따른 악보 이미지를 이용한 음악 재생 장치의 상세한 구성을 도시한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 추출부가 기호 이미지 및 악보라인들을 추출하는 개념을 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 기호 인식부의 기호 인식 동작의 흐름을 전체적으로 나타낸 순서도이다.
도 5 및 도 6은 본 발명의 일 실시예에 따라서, 기호 인식부에 의해 설정되는 복수의 인식라인들의 개념을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 악보 이미지를 이용한 음악 재생 방법의 전체적인 흐름을 도시한 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
이하에서, 본 발명에 따른 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 일 실시예에 따른 악보 이미지를 이용한 음악 재생 장치 및 방법은 악보 이미지를 이용하여 음악을 재생하는데 제한 없이 적용될 수 있다.
특히, 본 발명의 일 실시예에 따른 악보 이미지를 이용한 음악 재생 장치 및 방법은 타브(TAB) 악보의 이미지를 이용하여 음악을 재생하는데 용이하게 적용될 수 있으므로, 이하에서는 설명의 편의를 위해 타브 악보의 이미지를 이용한 음악 재생 장치를 중심으로 설명하기로 한다. 그러나, 본 발명이 이에 한정되는 것은 아니다.
도 2는 본 발명의 일 실시예에 따른 악보 이미지를 이용한 음악 재생 장치(이하, "음악 재생 장치"라고 함)의 상세한 구성을 도시한 블록도이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 음악 재생 장치(200)는 이미지 로딩부(210), 추출부(220), 기호 인식부(230), 저장부(240), 연주 정보 생성부(250), 및 재생부(260)를 포함할 수 있다. 이하, 각 구성 요소 별로 그 기능을 상술하기로 한다.
이미지 로딩부(210)는 재생하고자 하는 타브 악보의 이미지를 로딩한다.
본 발명의 일 실시예에 따르면, 타브 악보의 원본 이미지가 JPG, BMP 등과 같은 컬러 이미지인 경우, 이미지 로딩부(210)는 타브 악보 이미지를 0 또는 1의 픽셀값을 갖는 바이너리(Binary) 형태의 이미지로 로딩할 수 있다.
이하에서는 설명의 편의를 위해, 이미지 로딩부(210)가 바이너리 형태의 악보 이미지를 로딩하는 것으로 가정하여 설명하기로 한다. 그러나, 본 발명이 이에 한정되는 것은 아니다.
추출부(220)는 타브 악보 이미지를 분석하여 타브 악보 상에 위치하는 기호들에 대한 이미지(기호 이미지) 및 악보라인들을 추출한다.
여기서, 기호들은 앞서 도 1에서 설명한 바와 같이 숫자 기호, 뮤트 기호와 같은 문자 기호, 박자 기호 등을 포함할 수 있다. 이 경우, 숫자 기호 및 문자 기호는 음정을 표시하기 위한 음정 기호로 사용된다.
또한, 도 1에는 도시되지 아니하였지만, 숫자 기호는 괄호 기호의 내부에 포함될 수 있다. 이렇게 내부에 숫자 기호를 포함하는 괄호 기호는 기타 연주 시 해당 기호 이미지가 존재하는 악보라인과 대응되는 기타 줄에서, 해당 숫자와 대응되는 플랫을 눌러도 되고 누르지 않아도 됨을 의미하는 기호이다.
또한, 추출된 기호 이미지는 기호가 존재하는 영역과 기호가 존재하지 않는 영역을 포함할 수 있다. 이 경우, 기호가 존재하는 영역은 0 또는 1의 픽셀값을 가지고, 기호가 존재하지 않는 영역은 0 또는 1 중에서 기호가 존재하는 영역과 다른 픽셀 값을 가질 수 있다. 이하에서는 설명의 편의를 위해, 기호가 존재하는 영역은 0의 픽셀값(검은색으로 표시)을 가지고, 기호가 존재하지 않는 영역은 1의 픽셀값(흰색으로 표시)을 가지는 것으로 가정하여 설명한다. 그러나, 본 발명이 이에 한정되는 것은 아니다.
본 발명의 일 실시예에 따르면, 추출부(220)는 도 3에 도시된 바와 같이 6개의 악보라인들로 구성된 타브 악보의 왼쪽 모서리 부분에서 처음으로 나타나는 검은색 픽셀을 검색한 후, 상기 최초의 검은색 픽셀이 검색된 지점으로부터 오른쪽 방향으로 검은색 픽셀들이 소정 횟수 동안 반복되어 검출하는 경우 이를 악보라인으로 추출할 수 있다. 이러한 악보라인의 추출은 타브 악보의 아래 방향으로 동일하게 수행될 수 있으며, 이에 따라 6개의 악보라인들이 순차적으로 추출될 수 있다.
또한, 본 발명의 일 실시예에 따르면, 추출부(220)는 각 악보라인의 최 좌측으로부터 오른쪽 방향으로 진행하면서 픽셀값을 검출하되, 검은색 픽셀의 연속적인 검출이 중단되는 지점이 존재하는 경우(즉, 흰색 픽셀이 소정 횟수 동안 검출되는 경우) 해당 악보라인 상에 기호 이미지가 위치하는 것으로 판단하고, 해당 지점에서 기 설정된 사이즈만큼의 이미지를 추출함으로써 악보라인 상에 위치하는 기호 이미지를 추출할 수 있다. 이 때, 악보라인상에 위치하는 기호 이미지는 도 3에 도시된 바와 같이 숫자 기호의 이미지, 문자 기호의 이미지 등과 같은 음정 기호의 이미지를 포함할 수 있다.
또한, 일반적으로 박자 기호는 도 3에 도시된 바와 같이 음정 기호의 수직 아래쪽의 악보라인 하단에 존재(보다 정확하게는 음정 기호의 중앙 라인과 박자 기호의 센터 라인은 동일 축 상에 존재)하므로, 본 발명의 일 실시예에 따르면, 추출부(220)는 악보라인 상에서 기호 이미지(즉, 음정 기호의 이미지)가 추출되는 경우, 음정 기호의 이미지가 위치하는 지점에서 수직 아래 방향으로 이동하여 박자 기호의 이미지를 추출할 수 있다. 이 경우, 추출부(220)는 음정 기호의 이미지가 검출된 지점에서 수직 아래쪽으로 향하는 직선과 가장 아래쪽의 악보라인이 만나는 지점으로부터 수직 아래 방향으로 악보 이미지의 픽셀값을 검출하되, 흰색 픽셀의 연속적인 검출이 중단되는 지점이 발생하는 경우(즉, 검은색 픽셀이 소정 횟수 동안 검출되는 경우) 박자 기호가 존재하는 것으로 판단하고, 해당 지점에서 기 설정된 사이즈만큼의 이미지를 추출함으로써 악보라인 외에 위치하는 박자 기호의 이미지를 추출할 수 있다.
한편, 박자 기호는 일반적으로 악보 라인들과 일정한 거리만큼 떨어져 위치하는 경우가 많으므로, 본 발명의 다른 실시예에 따르면, 추출부(220)는 악보라인들 상에서 음정 기호의 이미지가 추출되는 경우, 음정 기호의 이미지가 검출된 지점에서 수직 아래쪽으로 향하는 직선과 가장 아래쪽의 악보라인이 만나는 지점으로부터 소정의 거리만큼 떨어진 지점에서 기 설정된 사이즈만큼의 이미지를 추출함으로써 박자 기호의 이미지를 추출할 수 있다.
기호 인식부(230)는 기호 이미지들 상에 복수의 인식라인들을 설정하고, 복수의 인식라인들을 따라서 기호 이미지의 픽셀값을 측정하며, 측정된 픽셀값들의 변화를 이용하여 기호의 의미를 인식한다.
즉, 기호의 모양이 다른 경우 해당 기호 이미지 상에서 기호가 존재하는 영역(검은색 픽셀 영역)과 기호가 존재하지 않는 영역(흰색 픽셀 영역)은 서로 다른 형상을 가지게 되므로, 특정 라인을 따라 기호 이미지의 픽셀값을 측정하는 경우, 측정된 픽셀값의 변화는 서로 다를 수 있게 된다. 따라서, 기호 인식부(230)는 기호 이미지들 상의 소정의 위치에 복수의 인식라인들을 설정하고, 각 인식라인들에서 측정된 픽셀값의 변화를 이용하여 기호 이미지 상에 존재하는 기호가 어떤 의미를 갖는지를 인식한다.
본 발명의 일 실시예에 따르면, 기호 인식부(230)는 기호 이미지가 악보라인들 상에 위치하는지 여부에 기초하여 기호들이 음정 기호인지 상기 박자 기호인지를 판단하고, 복수의 인식라인들 별로 픽셀값이 변화하는 횟수(인식라인 별 픽셀값 변화 횟수)를 측정하여 음정 기호(즉, 숫자 기호 또는 문자 기호)의 의미 및 박자 기호의 의미를 인식할 수 있다.
보다 상세하게, 도 3을 참조하면 음정 기호는 악보라인 상에 위치하고, 박자 기호는 악보라인 하단에 위치함을 확인할 수 있으므로, 본 발명의 일 실시예에 따르면, 기호 인식부(230)는 기호 이미지가 악보라인들 상에 위치하는 경우 해당 기호 이미지를 음정 기호에 대한 이미지로 판단하고, 기호 이미지가 악보라인들 상에 위치하지 않는 경우 해당 기호 이미지를 박자 기호에 대한 이미지로 판단할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 저장부(240)는 악보 이미지에 포함되는 기호들과 대응되는 복수의 기준 기호들 및 복수의 기준 기호들에 대해 복수의 인식라인들을 따라 측정한 픽셀값의 변화 횟수(인식라인 별 픽셀값 변화 횟수)를 매칭하여 저장하고, 기호 인식부(230)는 복수의 기준 기호들에 대한 인식라인 별 픽셀값 변화 횟수와 상기 측정된 인식라인 별 픽셀값 변화 횟수를 비교하여 기호들의 의미를 인식할 수 있다.
이하에서는 도 4를 참조하여 기호 인식부(230)의 동작을 보다 상세히 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 기호 인식부(230)의 기호 인식 동작의 흐름을 전체적으로 나타낸 순서도이다.
도 4를 참조하면, 단계(S410)에서 기호 인식부(230)는 악보라인을 따라 좌측에서 우측으로 이동하면서 검은색 픽셀의 연속적인 검출이 중단되는 지점이 존재하는지를 검색한다.
만약, 검은색 픽셀의 연속적인 검출이 중단되는 지점이 존재하는 경우, 단계(S420)에서 기호 인식부(230)는 해당 지점에 음정 기호에 대한 이미지가 존재하는 것으로 판단하여 기 설정된 사이즈만큼 이미지를 추출하여 음정 기호의 이미지를 검출한다.
이 후, 기호 인식부(230)는 단계(S430)에서 기호 인식부(230)는 해당 음정 기호가 괄호 기호를 포함하는 음정 기호인지 여부(즉, 해당 음정 기호가 내부에 숫자 기호가 포함된 괄호 기호인지 여부)를 판단한다.
이를 위해 본 발명의 일 실시예에 따르면, 단계(S430)에서 기호 인식부(230)는 도 5의 (a)에 도시된 바와 같이 기호 이미지의 좌측 및 우측으로부터 해당 기호 이미지의 가로 길이에 비례하는 일정 비율만큼 떨어진 위치 각각에 판단라인(511, 512)을 설정할 수 있다. 일정 비율은 기호 이미지의 크기에 따라 조절 가능하다.
여기서, 기호 인식부(230)는 좌측으로부터 일정 비율만큼 떨어진 위치에 존재하는 판단라인(511)의 좌측에 검은색 픽셀이 기 설정된 제1 비율 이상 존재하며, 우측으로부터 일정 비율만큼 떨어진 위치에 존재하는 판단라인(512)의 우측에 검은색 픽셀이 기 설정된 제2 비율 이상 존재하는 경우, 음정 기호에 괄호 기호가 포함되는 것으로 판단할 수 있다. 반대로, 기호 인식부(230)는 좌측에 존재하는 판단라인(511)의 좌측에 검은색 픽셀이 기 설정된 제1 비율 미만으로 존재하며, 우측에 존재하는 판단라인(512)의 우측에 검은색 픽셀이 기 설정된 제2 비율 미만으로 존재하는 경우, 음정 기호에 괄호 기호가 포함되지 않는 것으로 판단할 수 있다.
만약, 단계(S430)에서 음정 기호에 괄호 기호가 포함된 것으로 인식된 경우, 기호 인식부(230)는 괄호 내부에 포함된 숫자 기호를 별도로 인식하지 않을 수 있다. 이는 앞서 설명한 바와 같이 내부에 숫자 기호를 포함하는 괄호 기호는 기타 연주 시 누르지 않아도 되는 플랫을 의미하는 것이므로, 음악 재생 시 연주되지 않아도 되는 부분이기 때문이다. 따라서, 기호 인식부(230)는 괄호 안의 숫자에 대해 별도의 인식을 수행하지 않음으로써 기호 인식 시 발생하는 연산량을 줄일 수 있게 된다.
반대로, 단계(S430)에서 음정 기호에 괄호 기호가 포함되지 않는 것으로 인식된 경우, 기호 인식부(230)는 단계(S440)에서 기호가 존재하는 영역만을 보다 정확하게 추출할 수 있도록(즉, 기호가 존재하지 않는 영역을 최소화하도록) 기호 이미지의 사이즈를 리사이즈(resize)한다.
이 경우, 기호 인식부(230)는 기호 이미지의 상측으로부터 아래방향 또는 기호 이미지의 하측으로부터 윗방향으로 이동하면서 픽셀값이 변화하는 지점(즉, 검은색 픽셀의 검출이 시작되는 지점)을 검색하여 기호가 존재하는 영역의 상측 경계(521) 및 하측 경계(522)를 설정하고, 기호 이미지의 중심점을 기준으로 하여 상측 경계(521) 및 하측 경계(522) 사이의 거리와 동일한 거리만큼 떨어지도록 좌측 경계(523) 및 우측 경계(524)를 설정할 수 있다. 이에 따라, 기호 이미지는 상/하/좌/우측 경계(521 내지 524)에 의해 형성되는 사각형에 의해 더 작은 크기로 리사이즈(resize)된다.
이상에서는 기호 인식부(230)가 기호의 인식에 앞서 기호 이미지를 리사이즈하는 것으로 설명하였지만, 본 발명의 다른 실시예에 따르면, 기호 인식부(230)는 리사이즈의 과정을 수행하지 않고 원래 크기의 기호 이미지를 이용하여 기호 인식을 수행할 수도 있다(즉, 단계(S430) 및 단계(S440)는 사용자의 선택에 따라 생략될 수 있다).
계속하여, 단계(S450)에서 기호 인식부(230)는 적어도 하나의 가로 인식라인, 적어도 하나의 세로 인식라인 및 적어도 하나의 대각 인식라인을 포함하는 복수의 인식라인을 이용하여 기호 이미지에 포함된 음정 기호의 의미를 인식한다.
본 발명의 일 실시예에 따르면, 기호 인식부(230)는 도 5의 (b)에 도시된 바와 같이 4개의 가로 인식라인들(0 내지 3으로 표시), 5개의 세로 인식라인들(4 내지 8로 표시) 및 2개의 대각 인식라인들(9 및 10으로 표시)을 이용하여 음정 기호(숫자 기호)의 의미를 인식할 수 있다.
이 경우, 본 연구자의 연구 결과에 따르면, 4개의 가로 인식라인들을 기호 이미지의 상측으로부터 기호 이미지의 세로 길이에 대해 각각 1/4, 1/3, 2/3, 3/4의 비율만큼 떨어진 위치에 설정하고, 5개의 세로 인식라인들을 기호 이미지의 좌측으로부터 기호 이미지의 가로 길이에 대해 각각 1/5, 1/2, 2/3, 3/4, 4/5의 비율만큼 떨어진 위치에 설정하며, 2개의 대각 인식라인들은 사각 형상의 기호 이미지의 마주보는 꼭지점들을 서로 연결하도록 설정하는 경우, 음정 기호의 인식률을 최대화할 수 있게 된다.
한편, 도 5의 (b)에 도시된 바와 같이, 세로 인식라인 중에서 1/2의 비율만큼 떨어진 위치에 설정된 세로 인식라인(5)은 음정 기호의 이미지의 중앙 부분을 지나므로, 만약 음정 기호가 숫자 기호인 경우, 기호 인식부(230)는 세로 인식라인(5)에서의 픽셀값 변화 횟수를 이용하여 해당 숫자 기호가 한자리 숫자인지 두자리 숫자인지를 파악할 수 있다. 즉, 기호 인식부(230)는 세로 인식라인(5)에서의 픽셀값 변화 횟수가 0인 경우 해당 숫자 기호를 두자리 숫자로 인식할 수 있고, 1 이상인 경우 해당 숫자 기호를 한자리 숫자로 인식할 수 있다. 기호 인식부(230)가 위와 같이 세로 인식라인(5)에서의 픽셀값 변화 횟수를 별도로 이용하여 숫자 기호의 인식을 수행하는 경우 숫자 기호에 대한 인식률을 보다 높일 수 있게 된다. 다시 말해, 측정된 숫자 기호에 대한 픽셀값 변화 횟수가 특정 한자리 숫자에 대한 인식라인 별 픽셀값 변화 횟수와도 유사하고, 특정 두자리 숫자에 대한 인식라인 별 픽셀값 변화 횟수와도 유사한 경우, 기호 인식부(230)는 세로 인식라인(5)의 픽셀값 변화 횟수를 이용하여 해당 숫자 기호를 정확하게 인식할 수 있게 된다.
아래의 표 1은 기호 인식부(230)가 도 5의 (b)에 도시된 바와 같이 숫자 기호(18)를 인식하는 경우, 각 인식라인 별 픽셀값 변화 횟수 및 이에 따라 도출되는 기호가 존재하는 영역과 11개의 인식라인들이 만나는 횟수를 정리한 표이다.
인식라인 번호 픽셀값 변화 횟수 기호가 존재하는 영역과 인식라인들이 만나는 횟수
0 4 2
1 6 3
2 6 3
3 6 3
4 2 1
5 0 0
6 6 3
7 6 3
8 6 3
9 6 3
10 6 3
기호 인식부(230)는 상기 표 1과 같은 인식라인 별 픽셀값 변화 횟수 내지 기호가 존재하는 영역과 인식라인들이 만나는 횟수를 이용하여 해당 음정 기호의 의미를 인식한다. 일례로서, 기호 인식부(230)는 앞서 설명한 기준 기호에 대한 인식라인 별 픽셀값 변화 횟수(만남 횟수)와 측정된 인식라인 별 픽셀값 변화 횟수(만남 횟수)를 비교하여 일치하는 픽셀값 변화 횟수가 가장 많은 기준 기호를 기호 이미지에 포함된 음정 기호로 인식할 수 있다.
또한, 단계(S420)과 동시에 또는 순차적으로, 기호 인식부(230)는 단계(S460)에서 해당 지점의 아래쪽으로 이동하여 악보라인들의 하단에 위치하는 박자 기호에 대한 이미지를 검출한다. 이 때, 박자 기호는 도 6의 (a)에 도시된 바와 같은 형태들을 가질 수 있다.
계속하여, 단계(S470)에서 기호 인식부(230)는 적어도 하나의 가로 인식라인, 적어도 하나의 세로 인식라인 및 적어도 하나의 대각 인식라인을 포함하는 복수의 인식라인을 이용하여 기호 이미지에 포함된 박자 기호의 의미를 인식한다.
본 발명의 일 실시예에 따르면, 단계(S470)에서 기호 인식부(230)는 도 6의 (b)에 도시된 바와 같이 5개의 가로 인식라인들(3 내지 7로 표시) 및 3개의 세로 인식라인들(0 내지 2로 표시)을 이용하여 박자 기호의 의미를 인식할 수 있다.
이 경우, 본 연구자의 연구 결과에 따르면, 5개의 가로 인식라인들을 기호 이미지의 상측으로부터 기호 이미지의 세로 길이에 대해 각각 1/5, 2/5, 1/2, 3/5, 4/5의 비율만큼 떨어진 위치에 설정하고, 3개의 세로 인식라인들은 기호 이미지의 좌측으로부터 기호 이미지의 가로 길이에 대해 각각 1/4, 2/4, 3/4의 비율만큼 떨어진 위치에 설정하는 경우, 박자 기호의 인식률을 최대화할 수 있게 된다.
아래의 표 2는 기호 인식부(230)가 도 6의 (b)에 도시된 바와 같이 박자 기호를 인식하는 경우, 각 인식라인 별 픽셀값 변화 횟수 및 이에 따라 도출되는 기호가 존재하는 영역과 8개의 인식라인들이 만나는 횟수를 정리한 표이다.
인식라인 번호 픽셀값 변화 횟수 기호가 존재하는 영역과 인식라인들이 만나는 횟수
0 2 1
1 6 3
2 6 3
3 2 1
4 2 1
5 2 1
6 2 1
7 2 1
이 경우에도 기호 인식부(230)는 상기 표 2와 같은 인식라인 별 픽셀값 변화 횟수 내지 기호가 존재하는 영역과 인식라인들이 만나는 횟수를 이용하여 해당 음정 기호의 의미를 인식한다.
정리하면, 기호 인식부(230)는 적어도 하나의 가로 인식라인, 적어도 하나의 세로 인식라인 및 적어도 하나의 대각 인식라인 중에서 하나 이상을 이용하여 기호 이미지에 포함된 음정 기호 및 박자 기호의 의미를 인식할 수 있다. 이 때, 기호 이미지에 음정 기호가 포함된 경우, 기호 인식부(230)는 11개의 인식라인들(가로 인식라인: 4개, 세로 인식라인: 5개, 대각 인식라인: 2개)을 이용하여 음정 기호의 의미를 인식하고, 기호 이미지에 박자 기호가 포함된 경우, 기호 인식부(230)는 8개의 인식라인들(가로 인식라인: 5개, 세로 인식라인: 3개)을 이용하여 박자 기호의 의미를 인식할 수 있다.
이하에서는 다시 도 2를 참조하여, 본 발명의 일 실시예에 따른 음악 재생 장치(200)에 대해 설명하기로 한다.
연주 정보 생성부(250)는 추출된 악보라인들의 위치 및 인식된 기호들의 의미 중에서 적어도 하나를 이용하여 악보에 대한 연주 정보를 생성한다. 일례로서, 연주 정보는 음정 정보 및 박자 정보 중에서 적어도 하나를 포함할 수 있다.
재생부(260)는 생성된 연주 정보에 따라 악보를 음악으로 재생하는 재생한다. 일례로서, 재생부(260)는 javax.sound.midi API를 사용하여 음악을 재생할 수 있다.
이와 같이 본 발명의 일 실시예에 따른 음악 재생 장치(200)는 악보 이미지만으로도 해당 악보를 음악으로 재생할 수 있게 되므로, 기타 연주에 능숙하지 않은 초보자라 하더라도 악보를 통해 해당 음악을 직관적으로 이해할 수 있게 된다.
도 7은 본 발명의 일 실시예에 따른 악보 이미지를 이용한 음악 재생 방법의 전체적인 흐름을 도시한 순서도이다. 이하, 각 단계 별로 수행되는 과정을 설명하기로 한다.
먼저, 단계(S710)에서는 타브 악보 이미지를 바이너리 형태의 이미지로 로딩한다.
단계(S720)에서는 타브 악보에 대한 이미지를 분석하여 타브 악보에 존재하는 기호들의 이미지(기호 이미지) 및 악보라인들을 추출한다. 이 경우, 기호 이미지는 기호가 존재하는 영역과 기호가 존재하지 않는 영역이 포함된다. 또한, 기호들은 숫자 기호, 문자 기호(뮤트 기호)와 같은 음정 기호와 박자 기호를 포함할 수 있고, 숫자 기호는 괄호 기호 내부에 포함될 수 있다.
단계(S730)에서는 기호 이미지들 상에 복수의 인식라인들을 설정하고, 복수의 인식라인들을 따라서 기호 이미지들의 픽셀값을 측정하며, 측정된 픽셀값들의 변화를 이용하여 기호들의 의미를 인식한다. 이는 기호의 모양이 다른 경우, 특정 라인을 따른 픽셀값의 변화가 다를 수 있다는 사실에 근거한 것으로서, 본 발명은 여러 개의 인식라인을 사용함으로써, 기호 인식률을 높일 수 있게 된다.
본 발명의 일 실시예에 따르면, 단계(S730)에서는 기호 이미지에 포함된 기호가 음정 기호인 경우, 11개의 인식라인들을 이용하여 음정 기호의 의미를 인식할 수 있다. 이 경우, 11개의 인식라인들은 기호 이미지의 상측으로부터 기호 이미지의 세로 길이에 대해 각각 1/4, 1/3, 2/3, 3/4의 비율만큼 떨어진 위치에 설정되는 4개의 가로 인식라인, 기호 이미지의 좌측으로부터 기호 이미지의 가로 길이에 대해 각각 1/5, 1/2, 2/3, 3/4, 4/5의 비율만큼 떨어진 위치에 설정되는 5개의 세로 인식라인 및 2개의 대각 인식라인을 포함할 수 있다.
또한, 본 발명의 일 실시예에 따르면, 단계(S730)에서는 기호 이미지에 포함된 기호가 박자 기호인 경우, 8개의 인식라인들을 이용하여 박자 기호의 의미를 인식할 수 있다. 이 경우, 8개의 인식라인들은 기호 이미지의 상측으로부터 기호 이미지의 세로 길이에 대해 각각 1/5, 2/5, 1/2, 3/5, 4/5의 비율만큼 떨어진 위치에 설정되는 5개의 가로 인식라인들 및 기호 이미지의 좌측으로부터 기호 이미지의 가로 길이에 대해 각각 1/4, 2/4, 3/4의 비율만큼 떨어진 위치에 설정되는 3개의 세로 인식라인들을 포함할 수 있다.
단계(S740)에서는 추출된 악보라인들의 위치 및 인식된 기호들의 의미 중에서 적어도 하나를 이용하여 악보에 대한 연주 정보를 생성한다. 일례로서, 연주 정보는 음정 정보 및 박자 정보 중에서 적어도 하나를 포함할 수 있다.
마지막으로, 단계(S750)에서는 생성된 연주 정보에 따라 악보를 음악으로 재생하는 재생한다.
지금까지 본 발명에 따른 음악 재생 방법의 실시예들에 대하여 설명하였고, 앞서 도 2에서 설명한 음악 재생 장치(200)에 관한 구성이 본 실시예에도 그대로 적용 가능하다. 이에, 보다 상세한 설명은 생략하기로 한다.
또한, 본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 일실시예들의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (18)

  1. 악보에 대한 이미지(악보 이미지)를 분석하여 상기 악보에 존재하는 기호들에 대한 이미지(기호 이미지) 및 악보라인들을 추출하는 추출부;
    상기 기호 이미지들 상에 복수의 인식라인들을 설정하고, 상기 복수의 인식라인들을 따라서 상기 기호 이미지들의 픽셀값을 측정하며, 상기 측정된 픽셀값들의 변화를 이용하여 상기 기호들의 의미를 인식하는 기호 인식부;
    상기 추출된 악보라인들의 위치 및 상기 인식된 기호들의 의미 중에서 적어도 하나를 이용하여 상기 악보에 대한 연주 정보를 생성하는 연주 정보 생성부; 및
    상기 생성된 연주 정보에 따라 상기 악보를 음악으로 재생하는 재생부
    를 포함하는 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  2. 제1항에 있어서,
    상기 악보는 타브(TAB) 악보인 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  3. 제1항에 있어서,
    상기 악보 이미지는 0 또는 1의 픽셀값을 갖는 바이너리(Binary) 형태의 이미지인 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  4. 제3항에 있어서,
    상기 기호 이미지 중 상기 기호가 존재하는 영역은 0의 픽셀값을 가지고, 상기 기호가 존재하지 않는 영역은 1의 픽셀값을 가지는 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  5. 제3항에 있어서,
    상기 기호들은 음정을 표현하기 위한 숫자 기호 또는 문자 기호를 포함하는 음정 기호 및 박지를 표현하기 위한 박자 기호 중에서 적어도 하나를 포함하고,
    상기 기호 인식부는
    상기 복수의 인식라인들 별로 상기 픽셀값이 변화하는 횟수(인식라인 별 픽셀값 변화 횟수)를 측정하여 상기 음정 기호에 포함되는 상기 숫자 기호 또는 상기 문자 기호의 의미 및 상기 박자 기호의 의미를 인식하는 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  6. 제5항에 있어서,
    상기 기호들과 대응되는 복수의 기준 기호들 및 상기 복수의 기준 기호들에 대해 상기 복수의 인식라인들을 따라 측정한 픽셀값의 변화 횟수(인식라인 별 픽셀값 변화 횟수)를 매칭하여 저장하는 저장부
    를 더 포함하되,
    상기 기호 인식부는
    상기 복수의 기준 기호들에 대한 인식라인 별 픽셀값 변화 횟수와 상기 측정된 인식라인 별 픽셀값 변화 횟수를 비교하여 상기 기호들의 의미를 인식하는 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  7. 제5항에 있어서,
    상기 기호 인식부는
    상기 기호 이미지가 상기 숫자 기호를 포함하는 상기 음정 기호에 대한 이미지이되, 상기 숫자 기호가 괄호 기호의 내부에 존재하는 것으로 판단한 경우,
    상기 괄호 기호 내부에 존재하는 상기 숫자 기호의 의미를 인식하지 않는 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  8. 제7항에 있어서,
    상기 기호 이미지 중 상기 기호가 존재하는 영역은 0 또는 1의 픽셀값을 가지고, 상기 기호가 존재하지 않는 영역은 0 또는 1 중에서 상기 기호가 존재하는 영역과 다른 픽셀 값을 가지며,
    상기 기호 인식부는
    상기 음정 기호에 상기 괄호 기호가 포함되는지를 판단하기 위해 상기 기호 이미지의 좌측 및 우측으로부터 상기 기호 이미지의 가로 길이에 비례하는 일정 비율만큼 떨어진 위치 각각에 판단라인을 설정하되,
    상기 좌측으로부터 일정 비율만큼 떨어진 위치에 존재하는 판단라인의 좌측에 상기 기호가 존재하는 영역과 대응되는 픽셀값을 가지는 픽셀이 기 설정된 제1 비율 이상 존재하며, 상기 우측으로부터 일정 비율만큼 떨어진 위치에 존재하는 판단라인의 우측에 상기 기호가 존재하는 영역과 대응되는 픽셀값을 가지는 픽셀이 기 설정된 제2 비율 이상 존재하는 경우, 상기 음정 기호에 상기 괄호 기호가 포함되는 것으로 판단하는 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  9. 제5항에 있어서,
    상기 복수의 인식라인들은 가로 방향으로 위치하는 적어도 하나의 가로 인식라인, 세로 방향으로 위치하는 적어도 하나의 세로 인식라인 및 대각선 방향으로 위치하는 적어도 하나의 대각 인식라인 중에서 하나 이상을 포함하는 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  10. 제9항에 있어서,
    상기 기호 이미지가 상기 음정 기호에 대한 이미지인 경우,
    상기 적어도 하나의 가로 인식라인의 개수는 4개이고, 상기 적어도 하나의 세로 인식라인의 개수는 5개이며, 상기 적어도 하나의 대각 인식라인의 개수는 2개인 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  11. 제10항에 있어서,
    상기 기호 인식부는
    상기 4개의 가로 인식라인들을 상기 기호 이미지의 상측으로부터 상기 기호 이미지의 세로 길이에 대해 각각 1/4, 1/3, 2/3, 3/4의 비율만큼 떨어진 위치에 설정하는 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  12. 제10항에 있어서,
    상기 기호 인식부는
    상기 5개의 세로 인식라인들을 상기 기호 이미지의 좌측으로부터 상기 기호 이미지의 가로 길이에 대해 각각 1/5, 1/2, 2/3, 3/4, 4/5의 비율만큼 떨어진 위치에 설정하는 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  13. 제10항에 있어서,
    상기 기호 이미지는 사각 형상이고,
    상기 기호 인식부는
    상기 사각 형상의 기호 이미지의 마주보는 꼭지점들을 서로 연결하도록 상기 2개의 대각 인식라인들을 설정하는 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  14. 제9항에 있어서,
    상기 기호 이미지가 상기 박자 기호에 대한 이미지인 경우,
    상기 적어도 하나의 가로 인식라인의 개수는 5개이고, 상기 적어도 하나의 세로 인식라인의 개수는 3개인 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  15. 제14항에 있어서,
    상기 기호 인식부는
    상기 5개의 가로 인식라인들을 상기 기호 이미지의 상측으로부터 상기 기호 이미지의 세로 길이에 대해 각각 1/5, 2/5, 1/2, 3/5, 4/5의 비율만큼 떨어진 위치에 설정하는 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  16. 제14항에 있어서,
    상기 기호 인식부는
    상기 3개의 세로 인식라인들을 상기 기호 이미지의 좌측으로부터 상기 기호 이미지의 가로 길이에 대해 각각 1/4, 2/4, 3/4의 비율만큼 떨어진 위치에 설정하는 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  17. 제1항에 있어서,
    상기 연주 정보는
    음정 정보 및 박자 정보 중에서 적어도 하나를 포함하는 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 장치.
  18. 악보에 대한 이미지(악보 이미지)를 분석하여 상기 악보에 존재하는 기호들의 이미지(기호 이미지) 및 악보라인들을 추출하는 단계;
    상기 기호 이미지들 상에 복수의 인식라인들을 설정하고, 상기 복수의 인식라인들을 따라서 상기 기호 이미지들의 픽셀값을 측정하며, 상기 측정된 픽셀값들의 변화를 이용하여 상기 기호들의 의미를 인식하는 단계;
    상기 추출된 악보라인들의 위치 및 상기 인식된 기호들의 의미 중에서 적어도 하나를 이용하여 상기 악보에 대한 연주 정보를 생성하는 단계; 및
    상기 생성된 연주 정보에 따라 상기 악보를 음악으로 재생하는 단계
    를 포함하는 것을 특징으로 하는 악보 이미지를 이용한 음악 재생 방법.
KR1020100108675A 2010-11-03 2010-11-03 악보 이미지를 이용한 음악 재생 장치 및 방법 KR20120047037A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100108675A KR20120047037A (ko) 2010-11-03 2010-11-03 악보 이미지를 이용한 음악 재생 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100108675A KR20120047037A (ko) 2010-11-03 2010-11-03 악보 이미지를 이용한 음악 재생 장치 및 방법

Publications (1)

Publication Number Publication Date
KR20120047037A true KR20120047037A (ko) 2012-05-11

Family

ID=46265927

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100108675A KR20120047037A (ko) 2010-11-03 2010-11-03 악보 이미지를 이용한 음악 재생 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20120047037A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160011326A (ko) 2014-07-21 2016-02-01 문태훈 전자 악보 편집 시스템 그 제공방법
KR20170058504A (ko) 2015-11-18 2017-05-29 김준호 악보 구현 및 음원 재생 시스템 및 그 방법
KR20190098812A (ko) * 2018-01-31 2019-08-23 전남대학교산학협력단 심층 네트워크를 이용한 악보인식 시스템 및 그 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160011326A (ko) 2014-07-21 2016-02-01 문태훈 전자 악보 편집 시스템 그 제공방법
KR20170058504A (ko) 2015-11-18 2017-05-29 김준호 악보 구현 및 음원 재생 시스템 및 그 방법
KR20190098812A (ko) * 2018-01-31 2019-08-23 전남대학교산학협력단 심층 네트워크를 이용한 악보인식 시스템 및 그 방법

Similar Documents

Publication Publication Date Title
CN102682752B (zh) 乐谱信息生成装置及其方法、乐音生成控制装置及其方法
US9821225B2 (en) Game machine, control method used in same, and non-transitory computer readable storage medium
CN108235115B (zh) 一种歌曲视频中人声区域定位的方法及终端
JP2015118640A (ja) 楽譜解析装置
JP2000227941A (ja) 手書き情報処理システムおよび方法
CN109461431B (zh) 应用于基础音乐视唱教育的视唱错误曲谱标注方法
JP5034398B2 (ja) 文字認識プログラム、文字認識方法および文字認識装置
JP4803797B2 (ja) 楽譜認識装置および楽譜認識プログラム
KR20120047037A (ko) 악보 이미지를 이용한 음악 재생 장치 및 방법
US10629173B2 (en) Musical piece development analysis device, musical piece development analysis method and musical piece development analysis program
JP5950700B2 (ja) 画像処理装置、画像処理方法及びプログラム
CN105022993B (zh) 一种基于图像识别技术的五线谱播放方法
JP6838659B2 (ja) コード情報抽出装置、コード情報抽出方法およびコード情報抽出プログラム
JP4738135B2 (ja) 楽譜認識装置および楽譜認識プログラム
CN111176544A (zh) 一种基于图像处理的多功能琴谱显示设备及图像处理方法
CN114677431A (zh) 钢琴指法识别方法及计算机可读存储介质
Deb et al. An image analysis approach for transcription of music played on keyboard-like instruments
KR102151668B1 (ko) 하이라이트 추출 방법 및 하이라이트 추출 장치
JP4839076B2 (ja) 映像中文字認識装置、映像中文字認識方法、プログラム、及び記録媒体
JP2979409B2 (ja) 楽譜認識方法及び装置
JP3792759B2 (ja) 文字認識方法とその装置
JPH06102869A (ja) 楽譜認識装置
KR20190122178A (ko) 문자 인식을 위한 영상 전처리 장치 및 방법
Kim et al. Vision-based beatmap extraction in rhythm game toward platform-aware note generation
TW200941357A (en) Recognition method for musical notation

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
N231 Notification of change of applicant
E601 Decision to refuse application