KR101459766B1 - 휴대 단말에서 자동반주 악보를 인식하는 방법 - Google Patents

휴대 단말에서 자동반주 악보를 인식하는 방법 Download PDF

Info

Publication number
KR101459766B1
KR101459766B1 KR1020080012784A KR20080012784A KR101459766B1 KR 101459766 B1 KR101459766 B1 KR 101459766B1 KR 1020080012784 A KR1020080012784 A KR 1020080012784A KR 20080012784 A KR20080012784 A KR 20080012784A KR 101459766 B1 KR101459766 B1 KR 101459766B1
Authority
KR
South Korea
Prior art keywords
pentagon
score
image
line
accompaniment
Prior art date
Application number
KR1020080012784A
Other languages
English (en)
Other versions
KR20090087384A (ko
Inventor
홍태화
손병준
김수균
조성대
이귀상
오성열
박건희
Original Assignee
삼성전자주식회사
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사, 전남대학교산학협력단 filed Critical 삼성전자주식회사
Priority to KR1020080012784A priority Critical patent/KR101459766B1/ko
Priority to US12/369,113 priority patent/US8442325B2/en
Publication of KR20090087384A publication Critical patent/KR20090087384A/ko
Application granted granted Critical
Publication of KR101459766B1 publication Critical patent/KR101459766B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04B—TRANSMISSION
    • H04B1/00—Details of transmission systems, not covered by a single one of groups H04B3/00 - H04B13/00; Details of transmission systems not characterised by the medium used for transmission
    • H04B1/38—Transceivers, i.e. devices in which transmitter and receiver form a structural unit and in which at least one part is used for functions of transmitting and receiving
    • H04B1/40—Circuits
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G06V10/273—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion removing elements interfering with the pattern to be recognised
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/28—Quantising the image, e.g. histogram thresholding for discrimination between background and foreground patterns

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Character Discrimination (AREA)
  • Auxiliary Devices For Music (AREA)
  • Image Analysis (AREA)

Abstract

외부로부터 입력받은 영상에 포함된 악보를 인식하는 방법에 있어서, 악보를 포함하는 영상에서 오선이 존재하는 영역을 검출하는 과정과, 상기 오선이 존재하는 영역과 음표기호가 존재하는 영역을 고려하여, 악보를 포함하는 영상에서 반주코드가 존재하는 영역을 검출하는 과정과, 외부로부터 입력받은 상기 영상에 포함된 악보에서, 오선을 추출 및 제거하는 과정과, 오선이 제거된 상기 영상에 포함된 악보에서 음표기호를 추출하고 인식하는 과정과, 오선이 제거된 상기 영상에 포함된 악보에서 반주코드를 추출하고 인식하는 과정과, 상기 음표기호 및 반주코드에 대응하는 음원을 재생하기 위한 데이터를 생성하는 과정을 포함한다.
악보, 영상, 인식, 오선, 제거, 히스토그램, 반주코드

Description

휴대 단말에서 자동반주 악보를 인식하는 방법{METHOD FOR RECOGNIZING A MUSIC SCORE IMAGE WITH AUTOMATIC ACCOMPANIMENT IN A MOBILE DEVICE}
본 발명은 영상에 포함된 악보를 인식하는 기술에 관한 것으로서, 특히 영상의 악보에 포함된 음표기호 및 반주코드를 정확하게 인식하는 방법에 관한 것이다.
최근에는 휴대용 단말이 보급되어 많은 사람들이 음성 또는 데이터 통신을 위하여 개인용 휴대용 단말을 사용하고 있다. 이러한 휴대용 단말은 사람들에게 개인화된 기기로 인식됨으로써, 단순히 음성 또는 데이터 통신의 용도로 사용되기보다는 MP3 플레이어, 카메라, 동영상 플레이어, 전자사전, 게임기 등과 같은 다양한 기능을 추가하여 멀티미디어 기기로 이용되고 있는 실정이다.
나아가 사용자들은 휴대용 단말에 좀 더 많은 기능을 탑재하여 휴대용 단말을 다양한 용도로 사용하기를 원하고 있다. 이러한 사용자들의 욕구에 대응하여 휴대용 단말 제조사들은 다양한 기능을 갖는 휴대용 단말을 타사의 제품과 차별화하기 위하여 많은 노력을 기울이고 있다.
한편, 최근 영상인식에 대한 기술이 발달함에 따라, 종이 상에 인쇄된 악보를 스캐너와 같은 영상 인식 장치를 통해 영상 데이터로 생성한 후, 상기 영상 데 이터로부터 악보를 추출하는 기술이 다양하게 개발되고 있다.
악보가 포함된 영상에서, 악보에 포함된 오선의 존재는 악보 기호들을 검출함에 있어서 큰 노이즈로 작용하지만, 동시에 그들을 분석하고 인식함에 있어서는 가장 중요한 정보가 된다. 따라서, 영상에 포함된 악보를 인식하는 방법에서 악보에 포함된 오선을 검출하고, 이를 제거하는 것이 가장 중요하다.
대부분의 악보 영상은 종이로 이루어진 원본을 영상인식장치를 통해 영상으로 인식받아 생성되므로, 생성된 영상에 포함된 악보가 기울어지거나 휘어지는 경우가 발생될 수 있다. 이러한 문제들을 해결하기 위해 종래에는 수직 런-길이 코딩(vertical run-length coding), Hough 변환, LAG(Line Adjacency Graph), DP 매칭 등을 적용하였다. 그러나 이러한 방법은 스캐너와 같은 영상인식장치를 사용하여 300DPI 이상으로 스캔한 악보 영상을 대상으로 하고 있어 영상의 질이 우수한 경우에만 적용이 가능하다는 한계가 있다.
휴대용 단말에 구비된 카메라를 이용하여 악보 영상을 획득할 경우, 영상의 질이 우수하지 않고, 영상을 촬영하는 위치나 각도에 따라 영상에 포함된 악보가 기울어지거나 휘어지는 등의 왜곡이 발생할 수 있다. 결국, 전술한 방법을 이용하여 휴대용 단말을 통해 획득한 영상에 포함된 악보를 인식하기가 어렵다. 이러한 한계로 인하여, 휴대용 단말에 탑재되는 악보 인식 장치는 단순한 멜로디만을 추출하도록 구현되고 있어, 사용자의 적극적인 사용을 유도하지 못한다.
따라서, 휴대용 단말에 구비된 카메라를 통해 획득한 악보 영상을 이용하여 별도의 편집프로그램 없이 직접적으로 영상에 포함된 악보를 정확하게 인식하고, 악보에 포함된 다양한 정보를 인식할 수 있는 방법이 요구된다.
본 발명은 전술한 점을 고려하여 안출된 것으로서, 영상 내에 포함된 악보의 오선을 정확하고 빠르게 제거할 수 있으며, 동시에 악보에 기재된 음표기호 및 반주코드를 포함하는 정보를 정확하게 인식할 수 있는 방법을 제공하는데 그 목적이 있다.
상기한 목적을 달성하기 위하여 본 발명에 따른 악보 영상의 인식 방법은 외부로부터 입력받은 영상에 포함된 악보를 인식하는 방법에 있어서, 악보를 포함하는 영상에서 오선이 존재하는 영역을 검출하는 과정과, 상기 오선이 존재하는 영역과 음표기호가 존재하는 영역을 고려하여, 악보를 포함하는 영상에서 반주코드가 존재하는 영역을 검출하는 과정과, 외부로부터 입력받은 상기 영상에 포함된 악보에서, 오선을 추출 및 제거하는 과정과, 오선이 제거된 상기 영상에 포함된 악보에서 음표기호를 추출하고 인식하는 과정과, 오선이 제거된 상기 영상에 포함된 악보에서 반주코드를 각각 추출하고 인식하는 과정과, 상기 음표기호 및 반주코드에 대응하는 음원을 재생하기 위한 데이터를 생성하는 과정을 포함한다.
상기 반주코드를 인식하는 과정은, 상기 반주코드를 복수의 영역으로 분할하고, 분할된 각 영역에 포함된 검은 화소의 비율에 대응하는 패턴 백터를 추출하는 과정과, 추출된 상기 패턴 백터를, 미리 정해진 패턴 백터와 매칭시켜 차이 값을 확인하는 과정과, 추출된 상기 패턴 백터와 가장 유사한 미리 정해진 패턴 백터의 반주코드를, 영상에 포함된 반주코드로 인식하는 과정을 포함한다.
추출된 상기 패턴 백터와 미리 정해진 패턴 백터의 차이 값을 확인하는 것은 하기의 수학식의 연산을 통해 수행하는 것이 바람직하다.
<수학식>
Figure 112008010511707-pat00001
여기서, x는 검출된 반주코드의 영역별 패턴 백터로서 x=[x0, x1, ... xm]이고, yk는 k번째 반주코드의 영역별 패턴 백터로서 yk=[yk 0, yk 1, ... yk m]임.
악보에 사용되는 상기 반주코드는 반주 키 및 부가코드를 포함하며, 반주 키 및 부가코드를 각각 복수의 영역으로 분할하여 패턴 백터를 추출하는 것이 바람직하다.
상기 오선을 추출 및 제거하는 과정은, 영상으로 인식된 악보의 기울기를 고려하여 길이방향으로 연속된 오선을 복수의 영역으로 분할하는 과정과, 영상의 히스토그램을 분석하여 분할된 각 영역에서 악보에 포함된 오선의 각 선을 추정하는 과정과, 추정된 상기 오선에 기초하여 악보에 포함된 오선의 각 선을 추출하는 과정과, 상기 과정에서 추출된 상기 오선의 각 선을 악보로부터 제거하는 과정을 포함한다.
오선의 각 선을 추정하는 과정은, 길이방향의 히스토그램을 이용하여 오선의 최상위 또는 최하위 선을 추정하는 과정과, 상기 최상위 또는 최하위 선의 히스토 그램의 값을 기준으로 하여 오선에 포함된 각 선을 추정하는 과정을 포함할 수 있다.
오선에 포함된 각 선 사이의 너비를 고려하여 오선에 포함된 각 선을 추정하는 것이 바람직하다.
상기 오선영역을 분할하는 과정은, 오선을 분할하기 위한 경계선의 개수를 설정하는 과정과, 상기 경계선의 개수에 대응하여 상기 오선을 길이 방향으로 균등 분할하는 과정과, 영상 내에서, 오선을 분할하는 경계선과 오선이 교차하는 점의 좌표들을 확인하여 오선의 기울기를 확인하는 과정과, 상기 기울기를 고려하여 오선을 분할할 개수를 확정하는 과정을 포함한다.
상기 오선영역을 분할하는 과정은, 오선을 분할하기 위한 경계선의 개수의 초기값을 설정하는 과정과, 상기 경계선의 개수에 대응하여 상기 오선을 길이 방향으로 균등 분할하는 과정과, 초기 값에 대응하여 오선을 분할하는 경계선과 오선이 교차하는 점의 좌표들을 확인하여 상기 점들의 거리 차를 연산하는 과정과, 연산된 거리 차의 평균값을 산정하고 상기 평균값을 미리 정해진 임계치와 비교하는 과정과, 상기 과정에서 사용된 점의 개수를 확인하여 미리 정해진 임계치와 비교하는 과정을 포함한다. 그리고, 상기 평균값이 미리 정해진 임계치보다 상대적으로 크거나, 상기 과정에서 사용된 점의 개수가 미리 정해진 임계치보다 상대적으로 작을 경우, 오선을 분할하기 위한 점들의 개수를 재 설정하고, 상기 오선을 균등분할하는 과정 및 상기 교차점들의 거리차를 확인하고 그 평균값을 연산하는 과정을 반복한다. 또한, 상기 평균값이 미리 정해진 임계치보다 상대적으로 같거나 작으면, 또 는 상기 과정에서 사용된 점의 개수가 미리 정해진 임계치보다 상대적으로 같거나 크면, 상기 과정에서 사용된 점의 개수에 대응하여 오선을 길이방향으로 균등분할 한다.
본 발명에 따른 영상 악보의 인식 방법은 많은 연산이 요구되는 별도의 기울어짐 보정을 수행하지 않으면서 휴대폰에서 촬영한 악보 영상의 오선을 제거할 수 있으며, 동시에 악보에 포함된 반주코드를 인식할 수 있다.
나아가, 별도의 기울어짐 보정을 수행하지 않음으로써, 정확하게 악보를 인식할 수 있고, 악보를 인식하는데 소요되는 시간을 감소시킬 수 있다.
또한, 상대적으로 분리가 쉽고 단순한 반주 코드를 인식함으로써, 사용자에게 연주의 완성도가 높은 음원을 제공할 수 있다.
이하 본 발명에 따른 바람직한 실시예를 첨부한 도면을 참조하여 상세히 설명한다. 하기 설명에서는 구체적인 특정 사항들이 나타나고 있는데 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐 이러한 특정 사항들이 본 발명의 범위 내에서 소정의 변형이나 혹은 변경이 이루어질 수 있음은 이 기술분야에서 통상의 지식을 가진 자에게는 자명하다 할 것이다.
도 1은 본 발명이 적용되는 휴대용 단말기의 블록 구성도로서, 본 발명에서는 디지털 영상 악보를 인식할 수 있는 다양한 장치들 중에서, 휴대용 단말기를 예로 들어 본 발명이 적용될 수 있는 하드웨어적인 기반 장치에 대해 먼저 설명하도 록 한다.
도 1을 참조하면, 디지털 영상 악보를 인식하고 영상악보의 오선을 제거할 수 있는 휴대용 단말기는 카메라(20), 영상 처리부(22), 영상악보 처리부(24)를 비롯하여, 표시부(26), 제어부(14), 메모리부(16), 키입력부(18), 무선부(10), 무선데이터 처리부(12)를 포함한다.
무선부(10)는 사용자의 음성, 문자 및 제어 데이터를 무선 신호로 변조하여 이동통신망의 기지국(미도시)으로 송신하고, 기지국으로부터 무선 신호를 수신하여 음성, 문자, 제어 데이터 등으로 복조하여 출력한다. 무선데이터 처리부(12)는 제어부(14)의 제어하에, 상기 무선부(10)에서 수신한 음성 데이터를 디코딩하여 스피커(speaker)를 통해 가청음으로 출력하며, 마이크로폰(microphone)으로부터 입력되는 사용자의 음성신호를 데이터화하여 무선부(10)로 출력하며, 무선부(10)를 통해 입력된 문자, 제어 데이터를 제어부(14)로 제공한다.
카메라(20)는 제어부(14)의 제어하에 일반적인 디지털 카메라 기능을 수행하여, 외부 촬영 대상으로부터 입력되는 가시광을 촬영하게 된다. 영상 처리부(22)는 카메라(20)에 출력되는 영상 데이터를 처리하여 적절한 포맷의 디지털 영상 데이터로 변환한다.
키입력부(18)는 사용자로부터 전화 번호 또는 문자를 입력받기 위한 장치로써, 숫자 및 문자 정보를 입력하기 위한 키들 및 각종 기능을 설정하기 위한 기능키들을 구비하며, 이의 입력 신호를 제어부(14)로 출력한다. 표시부(26)는 액정표시장치(Liquid Crystal Display: LCD) 등과 같은 표시장치로 이루어질 수 있으며, 제어부(14)의 제어하에 해당 단말기의 각종 동작 상태에 대한 메시지를 비롯하여 촬영한 디지털 영상 데이터를 표시한다.
제어부(14)는 상기 각 기능부들의 동작을 총괄적으로 제어하여 이동통신 단말기의 전반적인 동작을 제어하는 기능을 수행한다. 즉, 제어부(14)는 키입력부(18)를 통해 입력된 번호 및 메뉴 선택 신호에 따른 처리를 수행하고, 카메라(20)를 통해 외부 촬영 신호를 입력받고 그에 따른 처리를 수행하며, 카메라 촬영 영상을 비롯한 각종 동작에 필요한 영상 출력 신호를 표시부(26)를 통해 출력하게 된다. 또한, 제어부(14)는 외부로부터 영상악보의 오선 제거를 요청받아 영상악보 처리부(24)의 동작을 제어하는 기능을 수행한다. 그리고, 필요에 따라 메모리부(16)에 저장된 출력할 내용을 가지고 오거나, 또는 그 내용을 메모리부(16)에 저장한다. 메모리부(16)는 제어부(14)의 동작 관련된 다수의 프로그램과 데이터를 저장하고, 특히 제어부(14)에서 영상악보의 오선 제거를 위한 동작 프로그램 및 관련 정보들을 저장한다. 또한 휴대용 단말기의 사용시에 필요한 다양한 정보를 저장하는데 사용된다.
이러한 구성을 가지는 휴대용 단말기는 영상악보의 오선 제거 기능을 포함하여 통상적인 이동통신 서비스 관련 동작을 수행하며, 이때 상기 제어부(14)는 상기의 기능 외에도 본 발명의 특징에 따른 영상악보의 오선 제거 동작을 수행하게 된다.
특히 상기 휴대용 단말기는 본 발명의 특징에 따라 영상악보의 오선 제거 동작을 수행 시에, 카메라를 통해 촬영된 영상 또는 외부의 전자장치로부터 입력받은 악보를 포함하는 영상을 이진화하여 영상의 히스토 그램을 연산하고, 이를 기초로 하여 오선이 위치하는 영역을 추정하고, 영상 내에서 오선 및 불필요한 개체들을 제거한다. 이하 첨부 도면을 참조하여 본 발명에 따른 영상악보의 오선 제거 동작에 대해 보다 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 영상악보인식 방법을 순차적으로 도시한 흐름도이다. 도 2를 참조하면, 먼저 100단계는 영상악보에 포함된 오선을 제거하기에 앞서 미리 수행되는 단계로서, 악보가 포함된 영상을 휴대용 단말기에 구비된 메모리에 미리 저장하는 과정이다. 이와 같은 100단계는 휴대용 단말기의 내부에 구비된 카메라를 실행하여 악보를 포함하는 피사체를 촬영한 영상을 저장하거나, 유/무선 통신이 가능한 인터페이스를 통해 외부의 전자장치(예컨대, 카메라, 스캐너, 개인용 컴퓨터, 영상악보를 저장하고 관리하는 서버)로부터 영상(악보가 포함된 영상)을 수신하여 저장할 수 있다.
다음으로, 200단계는 영상 내에 포함된 픽셀의 분포를 나타내는 히스토그램을 이용하여 오선이 위치하는 영역을 검출한다. 여기서, 영상에 포함된 악보는 오선, 음표, 및 반주코드 등을 식별할 수 있으면 충분하므로, 다양한 색상으로 표현되지 않아도 무방하다. 따라서, 200단계는 우선적으로 악보가 포함된 영상을 이진화하는 것이 바람직하다. 예컨대, 상기 이진화는 악보를 포함하는 영상의 배경색(예컨대, 흰색) 및 악보에 포함된 개체의 색(예컨대, 검정색)을 고려하여 두 개의 색으로 표현하는 것 일 수 있다. 그리고, 200단계는 악보가 포함된 영상을 이진화한 후, 영상의 히스토그램을 연산하는 과정을 포함한다. 여기서, 악보가 포함된 영 상에는 오선, 음표기호, 반주코드, 가사 등을 포함하는 악보정보가 골고루 분포되어 있으므로, 악보의 폭 방향(예컨대 수직방향)의 히스토그램을 이용하여 악보가 포함된 영역을 검출하기가 용이하지 않다. 따라서, 히스토그램의 불필요한 연산 없이 오선이 포함된 영역을 정확하게 검출하기 위하여 영상 내에 포함된 악보의 길이방향(예컨대, 수평방향)에 대하여 히스토그램을 연산하는 것이 바람직하다. 또한, 200단계는 연산한 히스토그램을 고려하여 다른 영역에 비하여 상대적으로 히스토그램 값이 현저히 크게 분포되는 영역을 오선이 존재하는 영역(이하, 오선영역이라 함.)으로 간주하고, 이 영역을 오선영역으로 추출한다. 좀 더 구체적으로, 도 3a는 본 발명의 일 실시예에 따라 악보가 포함된 영상에 대한 수평방향의 히스토그램 연산 결과를 도시하고, 도 3b는 본 발명의 일 실시예에 따라 오선영역을 추출한 영상에 대한 수평방향의 히스토그램 연산 결과를 도시한다. 우선, 도 3a에 도시된 바와 같이 악보가 포함된 영상의 히스토그램을 연산한다. 그리고, 수평 히스토그램 영상에 대해 수직방향으로 연결요소를 분석(connected component analysis)하고, 각 연결요소의 데이터 런을 누적한 후, 그 누적값들 중 최대값을 기준으로 이 값의 75% 이상인 연결 영역을 오선의 영역으로 추정한다. 그리고, 추정된 오선영역 이외의 영역(즉, 제목, 가사, 작곡가 및 작사가 등)을 제거하여, 도 3b와 같이 오선영역을 추출한다.
한편, 300단계에서는 악보 내에서 반주코드가 분포되는 특성을 고려하여, 상기 반주코드가 위치한 영역을 검출한다.
일반적으로 반주코드는 오선에 포함됨 선 중, 최상부에 위치한 선과 소정의 거리를 두고 표시된다. 따라서, 악보 영상의 수평방향 히스토그램을 이용하면 이러한 거리로 인해 히스토그램 상의 공극이 발생할 수 있으며, 상기 공극을 이용하여 오선의 영역과 피아노 코드의 영역을 어느 정도 분리해 낼 수 있다. 하지만 오선의 영역 밖에 존재하는 음표 기호들로 인해 항상 두 영역 간의 명백한 공극이 발생되지 않을 수 있다. 도 4를 참조하면, 음표 기호는 음표기호 존재영역(R2) 내에 존재할 수 있으며, 반주코드는 반주코드 영역(R3) 내에 존재할 수 있다. 즉, 반주코드 존재영역(R3)은 오선영역(R1)과 겹침이 발생하지 않으며, 음표기호 존재영역(R2)과는 겹침이 발생한다. 따라서, 200단계에서 검출된 오선영역에 기초하여, 음표기호 존재영역(R2)을 설정하고, 반주코드 존재영역(R3)을 설정한다.
악보를 포함하는 영상에 대해 오선영역 검출 및 반주코드 존재영역의 검출이 완료되면 다음 단계로서 정확한 오선정보(각 라인의 위치정보, 두께, 오선 간의 간격)를 검출하고, 악보와 관련된 개체를 제외한 다른 개체들을 제거해야 한다. 그러나 일반적으로 악보 촬영으로 오선의 기울어짐이나 휘어짐이 발생할 경우, 오선영역을 정확하게 추출하기 어렵다. 이를 극복하기 위하여, 영상을 별도로 보정 하여 추출하는 것이 가능하다. 그러나, 영상을 보정하는 데에는 많은 전력과 시간이 요구된다. 따라서, 400단계는 별도의 보정없이 영상에 포함된 오선영역을 길이방향으로 분할하여 최종적으로 오선을 추출한 후, 영상에서 상기 오선을 제거하는 것이 바람직하다.
도 5는 본 발명의 일 실시예에 따른 영상악보 인식방법에서 오선영역을 제거하는 과정(400단계)의 상세 흐름도이다. 도 5를 참조하면, 400단계는 410 내지 490 단계를 포함한다. 우선 410단계에서는, 오선영역을 분할하는데 필요한 파라미터 값을 설정한다. 여기서 상기 파라미터 값은 오선영역을 몇 개의 영역으로 분할할 것인지를 나타내는 분할영역의 수, 분할에 사용되는 경계선의 수 등이 될 수 있다. 예컨대, 분할영역의 수는 하기의 수학식 1로, 분할에 사용되는 경계선의 수는 하기의 수학식 2로 연산될 수 있다.
Figure 112008010511707-pat00002
여기서, t는 순차적으로 증가되는 자연수이며, 초기값은 1이다.
Figure 112008010511707-pat00003
비록 본 발명의 실시예에서 파라미터 값을 수학식 1 및 2를 통해 예시하였으나, 본 발명이 이를 한정하는 것은 아니며, 분할영역의 수 및 분할에 사용되는 경계선의 수를 설정할 수 있으면 충분하다.
410단계를 통해 파라미터 값이 설정되면, 420단계를 통해 분할영역의 수 및 분할에 사용되는 경계선의 수를 고려하여 오선영역을 분할한다. 예컨대, 오선영역의 길이방향을 수평방향으로 가정할 경우, 도 6과 같이 오선영역의 수평방향의 폭(W)은 동일한 너비를 갖는 4개의 영역으로 분할된다. 이때, 분할에 사용된 경계선은 X1, X2, X3 이 될 수 있다.
다음으로, 430단계는 오선 및 분할에 사용된 경계선이 교차하는 점을 추출하 고, 그 점들의 영상 좌표를 확인한다. 이때, 오선에 포함된 5개의 선 중, 최상위 선 또는 최하위 선과 경계선이 교차하는 점의 좌표를 확인하는 것이 바람직하다. 그러나, 본 발명이 이를 한정하는 것은 아니며, 오선에 포함된 선 중, 선택된 어느 하나의 선과 경계선이 교차하는 점의 좌표를 확인하는 것도 가능하다.
430단계를 통해 교차점들의 좌표가 확인되면, K번째 포인트를 제외한 홀수 번째 포인트에 대해 y방향으로의 거리 차에 대한 절대값의 합을 구한다. 그리고, 모든 홀수 번째 포인트들(예컨대, 총[(K/2)-1]개)의 거리 차에 대한 평균을 연산한다(440단계). 여기서, 거리 차에 대한 절대값의 합은 하기의 수학식 3을 이용하고, 거리 차에 대한 평균은 하기의 수학식 4를 이용하여 연산할 수 있다.
Figure 112008010511707-pat00004
Figure 112008010511707-pat00005
다음으로, 450단계는 440단계에서 연산한 거리 차에 대한 평균 값을 미리 정해진 임계치(예컨대, 1.0)와 비교한다. 비교 결과, 상기 평균값이 정해진 임계치를 초과하면, 상기 파라미터에 포함된 변수(t)를 증가(455단계)시키고 410단계 내지 440단계를 반복적으로 수행한다. 반면, 비교 결과, 상기 평균값이 정해진 임계치 (예컨대, 1.0) 이하이면 410단계에서 설정된 파라미터 값에 기초하여 오선영역의 분할 개수를 확정하고, 이를 반영하여 상기 오선영역을 분할한다(460단계).
도 7 및 도 8은 본 발명의 일 실시예에 따른 영상악보 인식방법을 이용하여 서로 다른 기울기를 갖는 오선영역을 길이방향으로 분할한 결과의 일 예시도이다. 도 7은 기울어짐이 거의 없으며, 도 8은 도 7에 포함된 오선영역이 2O정도 기울어진 영상이다. 도 7의 (a)에 포함된 오선영역을 본 발명의 일 실시예에 따른 방법을 적용하여 길이방향으로 분할한 결과, (b)에 나타난 바와 같이 오선영역이 20개로 분할되었음을 알 수 있다. 마찬가지로, 도 8의 (a)에 포함된 오선영역을 본 발명의 일 실시예에 따른 방법을 적용하여 길비방향으로 분할한 결과, (b)에 나타난 바와 같이 오선영역이 24개로 분할되었음을 알 수 있다. 따라서, 본 발명의 일 실시예에 따르면, 악보영상의 기울기가 더 클수록, 오선 영역은 더 많은 영역으로 분할될 수 있으므로, 영상에 포함된 오선영역이 기울어지더라도 정확하게 오선을 추출하는 것이 가능하다.
한편, 470단계는 분할된 각 영역에서 오선에 포함된 각각의 선을 추정한다. 바람직하게, 470단계는 분할된 각 영역의 길이방향(예컨대, 수평방향)의 히스토그램을 연산한 후, 상기 히스토그램의 값이 소정의 값을 초과하는 부분을 오선에 포함된 각각의 선으로 추정할 수 있다. 즉, 470단계는 하기의 수학식 5와 같이 분할된 각 영역의 길이방향의 히스토그램(Vhist(y))을 정해진 임계치(T)와 비교하여 진행할 수 있다. 여기서, 상기 임계치(T)는 하기의 수학식 6을 연산하여 획득할 수 있다.
Figure 112008010511707-pat00006
Figure 112008010511707-pat00007
여기서, histmax는 길이방향의 히스토그램의 최대값이고, histavg는 길이방향의 히스토그램의 평균값이다.
나아가, 470단계를 통해 오선에 포함된 각각의 선을 추정하더라도, 상기 선이 악보에 포함된 겹음표(beamed node)와 같은 객체들과 겹쳐지면, 그 구분이 어려울 수 있다(도 9참조). 따라서, 본 발명의 일 실시예는 470단계를 통해 추정된 각각의 선을 영상에 포함된 다른 객체들과 분리하여 추출하는 과정을 포함한다(480단계). 480단계는 각각의 선에서 해당 픽셀 또는 그 픽셀의 상하 한 픽셀이 검은 화소인 경우의 수 L(Linej)를 하기의 수학식 7과 같이 연산한다. 그리고, 연산된 값이 분할 영역 너비의 80%보다 큰 경우만을 오선 후보영역으로 간주함으로써 이를 해결한다.
Figure 112008010511707-pat00008
여기서, XE와 XS는 각각 분할 영역의 시작점과 끝점을 나타낸다.
또한, 480단계는 오선으로 추정된 각각의 선들에 대하여, 도 10과 같이 각 오선에 대해 수평방향 히스토그램을 연산한다. 임계값(T) 이상인 처음 지점을 오선의 시작점으로 보고, 연속적으로 임계값(T) 이상인 길이를 그 오선의 두께라고 판단하여 오선의 시작점 및 너비를 계산한다.
나아가, 480단계는 오선으로 추정된 선들로부터 좀 더 정확하게 오선을 추출하기 위하여, 오선들 사이에 붙임줄 등과 같은 다른 객체가 포함되어 있는지를 확인한다. 도 11은 오선을 포함하는 악보 영상의 일 예시도이다. 도 11을 참조하면, 악보영상은 음표와 음표 사이에 붙임줄이 형성되어 있음을 확인할 수 있다. 본 발명은 오선을 n개의 등분으로 잘라서 수행하기 때문에 수평방향 히스토그램만을 이용하면 붙임줄과 오선의 구분이 어려운 문제가 발생한다. 이는 오선 간의 간격 차이를 비교하여 다음과 같이 해결한다. 도면 11과 같이 인접한 두 오선 간 간격의 합이 그 다음 오선 간격과 차이가 거의 없을 경우, ①과 ②사이에 붙임줄이 있다고 판단하고 이를 오선 후보 대상에서 제거한다. 또한, 오선 간격의 차이가 5 픽셀 이상이 되면 오선이 아니라고 판단하여 오선 후보에서 제거한다.
상기와 같은 480단계를 통해, 오선에 포함된 각각의 선의 추출을 완료한다.
나아가, 490단계에서는 480단계에서 추출된 오선을 영상으로부터 제거한다. 또한, 연결된 검은 화소의 개수가 오선 너비의 1.5배 이상이면 해당 좌표를 삭제한다. 그리고, 오선을 삭제한 후 추가적으로 잡영을 제거는 과정을 더 수행한다. 잡영을 제거하는 과정은 연결요소 분석을 이용하여 검은 화소로 연결되어 있는 요소들을 하나의 개체(object)로 묶는다. 그리고, 추출된 개체들 중 너비가 오선 간격 의 1/4보다 작으면 잡영으로 판단하고 제거한다.
이와 같은 400(410 내지 490)단계를 통해, 악보 영상에 포함된 오선이 기울어지거나 휘어지더라도 정확하게 오선을 추출하여 제거할 수 있다.
다음으로, 500단계에서는 오선이 제거된 상태의 수평 및 수직 히스토그램을 분석하여, 음표기호 존재영역에 위치한 각각의 음표 기호를 추출한다. 그리고, 추출된 각각의 상기 음표 기호를 미리 정해진 음표 패턴에 매칭시킴으로써, 추출된 각각의 상기 음표 기호를 인식한다.
그리고, 600단계에서는 오선이 제거된 상태의 수평 및 수직 히스토그램을 분석하고, 반주코드 존재영역에 위치한 각각의 반주코드를 추출한다. 그리고, 추출된 각각의 상기 반주코드를 미리 정해진 반주코드 패턴에 매칭시켜 추출된 반주 코드를 인식한다.
나아가, 이하에서는 추출된 각각의 상기 반주코드를 인식하는 과정의 바람직한 실시예를 예시한다. 본 발명의 실시예에서 상기 반주코드는 피아노 반주를 위해 삽입되는 피아노 반주 코드임을 예시한다.
우선 반주코드를 인식하기 이전에, 전처리 과정을 통해 기준이 되는 7개의 키에 대한 패턴 벡터를 미리 생성하여 저장매체에 저장한다. 이때, 악보에는 서로 다른 다양한 종류(예컨대, 고딕체, 굴림체, 바탕체 등)의 문자 중, 어느 하나의 문자가 선택적으로 사용될 수 있다. 따라서, 패턴 벡터의 신뢰성을 보장하기 위해, 서로 다른 종류의 문자에 대한 N개(예컨대, 100개)의 패턴 벡터를 연산하고, 연산된 평균값을 이용하여 각각의 키에 대한 패턴 백터를 생성하는 것이 바람직하다. 나아가, 각 키에 대한 패턴 백터는 상기 키를 N×M(예컨대, 3×4)개의 영역으로 분할하고, 분할된 각각의 상기 영역에 검은 화소가 포함되어 있는 비율을 지시하는 값일 수 있다(도 13참조).
한편, 추출된 각각의 반주코드는 N×M(예컨대, 3×4)개의 영역으로 분할하고, 분할된 각각의 상기 영역에 검은 화소가 포함되어 있는 비율에 대한 패턴 벡터를 생성한다. 그리고, 생성된 상기 패턴 백터를 미리 정해진 상기 패턴 백터와 매칭시켜 가장 유사한 값을 갖는 패턴 백터를 검출한다.
생성된 상기 패턴 백터의 N×M(예컨대, 3×4)개로 분할된 영역을 미리 정해진 상기 패턴 백터의 대응하는 영역과의 유클리디언 거리를 연산하여 검출하는 것이 바람직하다. 상기 유클리디언 거리는 하기의 수학식 8의 연산을 통해 획득할 수 있다.
Figure 112008010511707-pat00009
여기서, x는 검출된 반주 코드의 영역별 패턴 백터로서 x=[x0,x1,...xm]이고, yk는 k번째 키(즉, A,B,C,D,E,F,G)의 영역별 패턴 백터로서 yk=[yk 0,yk 1,...yk m]이다.
또한, 반주 코드에는 반주 키(즉, A,B,C,D,E,F,G)의 오른쪽에 부가코드(예컨대, #, b, m, 7 등)가 포함될 수 있다. 따라서, 반주 코드가 부가코드를 포함하는 경우, 반주코드에 구비된 부가코드는 전술한 반주 키의 검출방법과 같은 방법으로 써, 획득될 수 있다.
마지막으로, 700단계에서는 500단계를 통해 추출된 음표 기호와, 600단계를 통해 추출된 반주코드를 바탕으로 하여, 미디 포맷의 멀티 트랙을 통해 반주부분에 대한 미디 변환을 수행한다.
전술한, 영상 악보의 인식 방법에 따르면, 상대적으로 분리가 쉽고 단순한 반주 코드를 인식함으로써, 사용자에게 연주의 완성도가 높은 음원을 제공할 수 있다.
이상에서 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 수정 및 변형이 가능함은 물론이다.
도 1은 본 발명이 적용되는 휴대용 단말기의 블록 구성도
도 2는 본 발명의 일 실시예에 따른 영상악보 인식방법의 흐름도
도 3a는 본 발명의 일 실시예에 따라 악보가 포함된 영상에 대한 수평방향의 히스토그램 연산 결과의 일 예시도
도 3b는 본 발명의 일 실시예에 따라 오선영역을 추출한 영상에 대한 수평방향의 히스토그램 연산 결과의 일 예시도
도 4는 본 발명의 일 실시예에 따른 영상 악보에 포함된 각 영역을 예시하는 도면
도 5는 본 발명의 일 실시예에 따른 영상악보 인식방법에서 오선영역을 제거하는 과정의 상세 흐름도
도 6은 본 발명의 일 실시예에 따른 영상악보 인식방법에서 오선영역을 임시 분할한 악보 영상의 일 예시도
도 7은 본 발명의 일 실시예에 따른 영상악보 인식방법에서 오선영역을 길이방향으로 분할한 결과의 일 예시도
도 8은 도 7의 영상에 포함된 악보가 2O정도 기울어진 상태의 오선영역을 길이방향으로 분할한 결과의 일 예시도
도 9는 본 발명의 일 실시예에 따른 영상악보 인식방법에서 오선에 포함된 각 선을 추정하여 제거한 영상의 일 예시도
도 10은 본 발명의 일 실시예에 따라 악보가 포함된 영상 및 수평방향의 히스토그램 연산 결과와 임계치(T)의 일 예시도
도 11은 영상에 포함된 악보의 붙임줄이 포함된 영역의 일 예시도
도 12는 본 발명의 일 실시예에 따른 영상악보 인식방법에서 오선영역을 제거한 악보의 일 예시도
도 13은 본 발명의 일 실시예에 따른 영상악보 인식방법에서 분할된 반주코드의 일 예시도

Claims (9)

  1. 외부로부터 입력받은 영상에 포함된 악보를 인식하는 방법에 있어서,
    악보를 포함하는 영상에서 오선이 존재하는 영역을 검출하는 과정과,
    상기 오선이 존재하는 영역과 음표기호가 존재하는 영역을 고려하여, 악보를 포함하는 영상에서 반주코드가 존재하는 영역을 검출하는 과정과,
    외부로부터 입력받은 상기 영상에 포함된 악보에서, 오선을 추출 및 제거하는 과정과,
    오선이 제거된 상기 영상에 포함된 악보에서 음표기호를 추출하고 인식하는 과정과,
    오선이 제거된 상기 영상에 포함된 악보에서 반주코드를 추출하고 인식하는 과정과,
    상기 음표기호 및 반주코드에 대응하는 음원을 재생하기 위한 데이터를 생성하는 과정을 포함하며,
    상기 오선을 추출 및 제거하는 과정은,
    길이방향의 히스토그램을 사용하여 오선에 포함되는 복수의 선들을 추정한 후, 상기 복수의 선들 사이의 너비를 반영하여, 오선에 포함되는 선을 결정하는 과정을 포함함을 특징으로 하는 악보 인식 방법.
  2. 제1항에 있어서, 상기 반주코드를 인식하는 과정은,
    상기 반주코드를 복수의 영역으로 분할하고, 분할된 각 영역에 포함된 검은 화소의 비율에 대응하는 패턴 백터를 추출하는 과정과,
    추출된 상기 패턴 백터를, 미리 정해진 패턴 백터와 매칭시켜 차이 값을 확인하는 과정과,
    추출된 상기 패턴 백터와 가장 유사한 미리 정해진 패턴 백터의 반주코드를, 영상에 포함된 상기 반주코드로 인식하는 과정을 포함함을 특징으로 하는 악보 인식 방법.
  3. 제2항에 있어서, 추출된 상기 패턴 백터와 미리 정해진 패턴 백터의 차이 값을 확인하는 것은 하기의 수학식의 연산을 통해 수행하는 것을 특징으로 하는 악보 인식 방법.
    <수학식>
    Figure 112008010511707-pat00010
    여기서, x는 검출된 반주코드의 영역별 패턴 백터로서 x=[x0, x1, ... xm]이고, yk는 k번째 반주코드의 영역별 패턴 백터로서 yk=[yk 0, yk 1, ... yk m]임.
  4. 제2항에 있어서,
    악보에 사용되는 상기 반주코드는 반주 키 및 부가코드를 포함하며,
    반주 키 및 부가코드를 각각 복수의 영역으로 분할하여 패턴 백터를 추출하는 것을 특징으로 하는 악보 인식 방법.
  5. 제1항에 있어서, 상기 오선을 추출 및 제거하는 과정은,
    영상으로 인식된 악보의 기울기를 고려하여 길이방향으로 연속된 오선을 복수의 영역으로 분할하는 과정과,
    영상의 히스토그램을 분석하여 분할된 각 영역에서 악보에 포함된 오선의 각 선을 추정하는 과정과,
    추정된 상기 오선에 기초하여 악보에 포함된 오선의 각 선을 추출하는 과정과,
    상기 과정에서 추출된 상기 오선의 각 선을 악보로부터 제거하는 과정을 포함함을 특징으로 하는 악보 인식 방법.
  6. 제5항에 있어서, 상기 오선의 각 선을 추정하는 과정은,
    상기 길이방향의 히스토그램을 이용하여 오선의 최상위 또는 최하위 선을 추정하는 과정과,
    상기 최상위 또는 최하위 선의 히스토그램의 값을 기준으로 하여 오선에 포함된 각 선을 추정하는 과정을 포함하는 것을 특징으로 하는 악보 인식 방법.
  7. 삭제
  8. 제5항에 있어서, 상기 오선영역을 분할하는 과정은,
    오선을 분할하기 위한 경계선의 개수를 설정하는 과정과,
    상기 경계선의 개수에 대응하여 상기 오선을 길이 방향으로 균등 분할하는 과정과,
    영상 내에서, 오선을 분할하는 경계선과 오선이 교차하는 점의 좌표들을 확인하여 오선의 기울기를 확인하는 과정과,
    상기 기울기를 고려하여 오선을 분할할 개수를 확정하는 과정을 포함함을 특징으로 하는 악보 인식 방법.
  9. 제5항에 있어서, 상기 오선영역을 분할하는 과정은,
    오선을 분할하기 위한 경계선의 개수의 초기값을 설정하는 과정과,
    상기 경계선의 개수에 대응하여 상기 오선을 길이 방향으로 균등 분할하는 과정과,
    초기 값에 대응하여 오선을 분할하는 경계선과 오선이 교차하는 점의 좌표들을 확인하여 상기 점들의 거리 차를 연산하는 과정과,
    연산된 거리 차의 평균값을 산정하고 상기 평균값을 미리 정해진 임계치와 비교하는 과정과,
    상기 과정에서 사용된 점의 개수를 확인하여 미리 정해진 임계치와 비교하는 과정을 포함하며,
    상기 평균값이 미리 정해진 임계치보다 상대적으로 크거나, 상기 과정에서 사용된 점의 개수가 미리 정해진 임계치보다 상대적으로 작을 경우, 오선을 분할하기 위한 점들의 개수를 재 설정하고, 상기 오선을 균등분할하는 과정 및 상기 교차 점들의 거리차를 확인하고 그 평균값을 연산하는 과정을 반복하며,
    상기 평균값이 미리 정해진 임계치보다 상대적으로 같거나 작으면, 또는 상기 과정에서 사용된 점의 개수가 미리 정해진 임계치보다 상대적으로 같거나 크면, 상기 과정에서 사용된 점의 개수에 대응하여 오선을 길이방향으로 균등분할 하는 것을 특징으로 하는 악보 인식 방법.
KR1020080012784A 2008-02-12 2008-02-12 휴대 단말에서 자동반주 악보를 인식하는 방법 KR101459766B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020080012784A KR101459766B1 (ko) 2008-02-12 2008-02-12 휴대 단말에서 자동반주 악보를 인식하는 방법
US12/369,113 US8442325B2 (en) 2008-02-12 2009-02-11 Method for recognizing music score image with automatic accompaniment in mobile device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020080012784A KR101459766B1 (ko) 2008-02-12 2008-02-12 휴대 단말에서 자동반주 악보를 인식하는 방법

Publications (2)

Publication Number Publication Date
KR20090087384A KR20090087384A (ko) 2009-08-17
KR101459766B1 true KR101459766B1 (ko) 2014-11-10

Family

ID=40938904

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020080012784A KR101459766B1 (ko) 2008-02-12 2008-02-12 휴대 단말에서 자동반주 악보를 인식하는 방법

Country Status (2)

Country Link
US (1) US8442325B2 (ko)
KR (1) KR101459766B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200063599A (ko) 2018-11-28 2020-06-05 김태유 인간과 컴퓨터 간 상호 작용에 의한 악보 어플리케이션 제공 시스템 및 방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102402977B (zh) * 2010-09-14 2015-12-09 无锡中星微电子有限公司 从立体声音乐中提取伴奏、人声的方法及其装置
JP2012138009A (ja) * 2010-12-27 2012-07-19 Kawai Musical Instr Mfg Co Ltd 楽譜認識装置、及びコンピュータプログラム
CN102682752B (zh) * 2011-03-07 2014-11-05 卡西欧计算机株式会社 乐谱信息生成装置及其方法、乐音生成控制装置及其方法
JP5765848B2 (ja) * 2011-03-31 2015-08-19 株式会社河合楽器製作所 音再生プログラム及び音再生装置
CN104078051B (zh) * 2013-03-29 2018-09-25 南京中兴软件有限责任公司 一种人声提取方法、系统以及人声音频播放方法及装置
JP2014228628A (ja) * 2013-05-21 2014-12-08 ヤマハ株式会社 演奏記録装置
KR101506614B1 (ko) * 2013-09-05 2015-03-30 숭실대학교산학협력단 악보 인식이 가능한 이동 단말 및 그 제어방법
CN103646247B (zh) * 2013-09-26 2016-11-23 惠州学院 一种乐谱识别方法
JP6197631B2 (ja) * 2013-12-19 2017-09-20 ヤマハ株式会社 楽譜解析装置および楽譜解析方法
US9478201B1 (en) * 2013-12-31 2016-10-25 Tonara Ltd. System and method for optical music recognition
US10269392B2 (en) 2015-02-11 2019-04-23 Immersion Corporation Automated haptic effect accompaniment
CN106548168B (zh) * 2016-10-25 2019-10-18 天津大学 一种基于低秩结构的五线谱谱线检测和删除方法
CN106570508B (zh) * 2016-11-05 2020-01-24 天津大学 一种基于局部二进制模式的乐谱谱线检测与删除方法
CN106898369A (zh) * 2017-02-23 2017-06-27 上海与德信息技术有限公司 一种音乐播放方法及装置
US10665124B2 (en) * 2017-03-25 2020-05-26 James Wen System and method for linearizing musical scores
US11157553B2 (en) * 2017-05-25 2021-10-26 J.W. Pepper & Son, Inc. Sheet music search and discovery system
CN111052221B (zh) * 2017-09-07 2023-06-23 雅马哈株式会社 和弦信息提取装置、和弦信息提取方法及存储器
JP7197263B2 (ja) * 2017-10-18 2022-12-27 ヤマハ株式会社 画像解析方法およびプログラム
CN109522959A (zh) * 2018-11-19 2019-03-26 哈尔滨理工大学 一种乐谱识别分类及演奏控制方法
CN115620310B (zh) * 2022-11-30 2023-05-09 杭州网易云音乐科技有限公司 图像识别方法、模型训练方法、介质、装置及计算设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060033459A (ko) * 2004-10-15 2006-04-19 김동선 악보 바코드 생성장치 및 방법과, 악보 바코드 재생장치및 방법
KR100664677B1 (ko) 2006-03-28 2007-01-03 주식회사 디오텍 휴대용 단말기에서의 음악 컨텐츠 생성 방법
KR100697524B1 (ko) * 2004-12-29 2007-03-20 엘지전자 주식회사 영상 입력 수단이 구비된 단말기 및 μιｄｉ 파일 합성방법
KR100735444B1 (ko) * 2005-07-18 2007-07-04 삼성전자주식회사 오디오데이터 및 악보이미지 추출방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4489636A (en) * 1982-05-27 1984-12-25 Nippon Gakki Seizo Kabushiki Kaisha Electronic musical instruments having supplemental tone generating function
US5077805A (en) * 1990-05-07 1991-12-31 Eastman Kodak Company Hybrid feature-based and template matching optical character recognition system
JPH0535924A (ja) * 1991-07-31 1993-02-12 Yamaha Corp 楽譜自動認識装置
US5864631A (en) * 1992-08-03 1999-01-26 Yamaha Corporation Method and apparatus for musical score recognition with quick processing of image data
TW250558B (en) * 1993-10-20 1995-07-01 Yamaha Corp Sheet music recognition device
JPH09179559A (ja) * 1995-12-22 1997-07-11 Kawai Musical Instr Mfg Co Ltd 自動伴奏装置及び自動伴奏方法
BE1010409A6 (fr) * 1996-07-08 1998-07-07 Continental Photo Dispositif et procede d'interpretation d'une oeuvre musicale a partir de la partition.
JP3607065B2 (ja) * 1997-12-26 2005-01-05 株式会社河合楽器製作所 楽譜認識方法及び楽譜認識プログラムを記録したコンピュータ読み取り可能な記録媒体
US6046394A (en) * 1998-06-24 2000-04-04 Kabushiki Kaisha Kawai Gakki Seisakusho Music score recognizing method and computer-readable recording medium storing music score recognizing program
US7254269B2 (en) * 2000-08-31 2007-08-07 Hewlett-Packard Development Company, L.P. Character recognition system
JP2008524656A (ja) * 2004-12-15 2008-07-10 ミューズアミ，インコーポレイティド 同期化されたプレゼンテーションを伴う楽譜捕捉および同期化されたオーディオパフォーマンス用のシステムおよび方法
JP4803797B2 (ja) * 2005-10-26 2011-10-26 株式会社河合楽器製作所 楽譜認識装置および楽譜認識プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060033459A (ko) * 2004-10-15 2006-04-19 김동선 악보 바코드 생성장치 및 방법과, 악보 바코드 재생장치및 방법
KR100697524B1 (ko) * 2004-12-29 2007-03-20 엘지전자 주식회사 영상 입력 수단이 구비된 단말기 및 μιｄｉ 파일 합성방법
KR100735444B1 (ko) * 2005-07-18 2007-07-04 삼성전자주식회사 오디오데이터 및 악보이미지 추출방법
KR100664677B1 (ko) 2006-03-28 2007-01-03 주식회사 디오텍 휴대용 단말기에서의 음악 컨텐츠 생성 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200063599A (ko) 2018-11-28 2020-06-05 김태유 인간과 컴퓨터 간 상호 작용에 의한 악보 어플리케이션 제공 시스템 및 방법

Also Published As

Publication number Publication date
KR20090087384A (ko) 2009-08-17
US20090202106A1 (en) 2009-08-13
US8442325B2 (en) 2013-05-14

Similar Documents

Publication Publication Date Title
KR101459766B1 (ko) 휴대 단말에서 자동반주 악보를 인식하는 방법
KR100769836B1 (ko) 2차원 코드 인식 처리 방법, 2차원 코드 인식 처리 장치, 및 저장 매체
JP5146190B2 (ja) 文字認識装置、文字認識プログラム、および文字認識方法
KR101015663B1 (ko) 문자인식장치에서의 문자인식방법 및 그 장치
KR100664421B1 (ko) 구비된 카메라를 이용한 명함 인식을 위한 휴대용 단말기및 명함 인식 방법
KR101992153B1 (ko) 문서 영상 인식 방법, 장치 및 이를 이용한 사진 촬영 방법
JP4713107B2 (ja) 景観中文字列認識方式および装置
KR20060050729A (ko) 카메라로 촬영된 문서 영상 처리 방법과 장치
KR100965720B1 (ko) 모자이크 영상을 생성하는 방법 및 이를 위한 장치
JP4522468B2 (ja) 画像判別装置、画像検索装置、画像検索プログラムおよび記録媒体
EP1826720B1 (en) Image processing apparatus and method, computer program, and storage medium
WO2005086074A1 (ja) ２次元コード領域抽出方法、２次元コード領域抽出装置、電子機器、２次元コード領域抽出プログラム及びそのプログラムを記録した記録媒体
JP2008099149A (ja) 画像処理装置、画像処理方法および画像処理プログラム
CN112232260A (zh) 字幕区域识别方法、装置、设备及存储介质
KR101535435B1 (ko) 전자 악보 제공 시스템, 그 장치 및 그 방법
KR101412953B1 (ko) 악보 영상의 오선제거 방법
JP4163406B2 (ja) バーコード認識装置
KR100619715B1 (ko) 이동 통신 단말기를 이용한 문서 영상 촬영 방법 및 그문서 영상에서의 단어 추출방법
CN110543799A (zh) 二维码处理方法、装置、存储介质与移动终端
JP4423524B2 (ja) 標識検出装置、標識検出方法および記録媒体
CN114926829A (zh) 一种证件检测方法、装置、电子设备及存储介质
CN115382200A (zh) 一种游戏数据处理方法和装置、信号处理终端及电子设备
JP2007156918A (ja) 文字認識装置、文字認識方法、文字認識プログラム、および記録媒体
JPH1153539A (ja) 円形パターン判定方法および記録媒体
KR101506614B1 (ko) 악보 인식이 가능한 이동 단말 및 그 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20171030

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20181030

Year of fee payment: 5