KR20220073289A - 음표 인식 시스템 - Google Patents

음표 인식 시스템 Download PDF

Info

Publication number
KR20220073289A
KR20220073289A KR1020200161213A KR20200161213A KR20220073289A KR 20220073289 A KR20220073289 A KR 20220073289A KR 1020200161213 A KR1020200161213 A KR 1020200161213A KR 20200161213 A KR20200161213 A KR 20200161213A KR 20220073289 A KR20220073289 A KR 20220073289A
Authority
KR
South Korea
Prior art keywords
note
block
information
sheet music
marker
Prior art date
Application number
KR1020200161213A
Other languages
English (en)
Other versions
KR102400962B1 (ko
Inventor
홍성현
Original Assignee
주식회사 고상한형제
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 고상한형제 filed Critical 주식회사 고상한형제
Priority to KR1020200161213A priority Critical patent/KR102400962B1/ko
Publication of KR20220073289A publication Critical patent/KR20220073289A/ko
Application granted granted Critical
Publication of KR102400962B1 publication Critical patent/KR102400962B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/0033—Recording/reproducing or transmission of music for electrophonic musical instruments
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G06T7/41—Analysis of texture based on statistical description of texture
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/18—Extraction of features or characteristics of the image
    • G06V30/182—Extraction of features or characteristics of the image by coding the contour of the pattern
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Acoustics & Sound (AREA)
  • Auxiliary Devices For Music (AREA)
  • Character Discrimination (AREA)

Abstract

음표 인식 시스템 및 음표 인식 시스템을 통해 인식 가능한 악보 보드가 제공된다. 상기 시스템은 일면에 도시된 선 객체, 및 상기 선 객체의 일측 단부에 마커가 포함되어 탈부착 가능한 음표 블록가 부착되는 악보 보드; 및 상기 음표 블록이 부착된 상기 악보 보드와 대응되는 이미지 상의 상기 마커 위치를 기초로 가상의 오선을 생성하고, 상기 가상의 오선과 상기 음표 블록의 위치를 분석하여 음원재생정보를 생성하는 재생 모듈을 포함한다.

Description

음표 인식 시스템 {SYSTEM FOR RECOGNIZE MUSICAL NOTE}
본 발명은 악보 보드에 부착된 음표 블록의 위치 및 악기 블록의 종류를 인식하여 연주 가능한 신호로 변환된 음원정보를 제공하는 음표 인식 시스템에 관한 것이다.
음악은 음의 높이, 길이 등을 일정한 법칙과 형식으로 조합하여 사상과 감정을 나타내는 예술의 한 분야이다. 음악을 연주하기 위해서는 시각화된 악보가 사용되고 있는바, 악보는 오선지에 음표를 그려넣어 시각화(악보화)하게 된다.
일반적으로, 학습이나 작곡을 위해 음악을 악보화하여 사용하게 되는데, 종이 등과 같은 피인쇄물에 인쇄, 필기 등의 방법으로 음표를 그려넣은 것이 사용되고 있다. 이에 의해 음악을 시각적으로 확인할 수 있게 된다. 그러나 이와 같은 방법은 수정 등이 어려운 문제가 있다.
더욱이 이러한 악보는 종이 등의 매체를 통하여 연주자가 시각적으로만 인식하여 악기를 연주하게 되므로 쉽게 흥미를 잃게 될 수 있다.
특히, 초보 학습자인 경우 악보를 한눈에 보고 그 음정을 정확히 이해하여 따라하는 것이 어렵고, 반대로 교습자가 쳐 주는 음의 소리를 듣고 악보의 음정을 정확하게 익히는 것도 어려움은 물론, 그 습득에도 시간이 많이 소요되어 결국 중도에 학습을 포기하는 경우가 많은 문제가 있다.
또한, 유아기와 같은 어린 아이들이 음악을 배우는 것은 쉬운 일이 아니다. 특히 집중력이 약한 아이들은 악보를 이해하는데 어려움을 겪고 재미를 느끼지 못해서 쉽게 포기하기도 한다.
따라서 아이들의 흥미를 유발할 수 있는 음악 블록을 사용하여, 음악교육을 실시하기도 한다. 하지만, 이와 같은 종래의 음악 교육용 블록은, 너무 흥미만을 유발하는데 초점이 맞춰져서, 오선지에 그려진 음계 및 음표 등으로 구성되는 악보를 교육시키는데는 활용할 수 없었다.
그리고, 종래의 블록 완구는 이미 프로그래밍된 음악 컨텐츠만을 이용할 수 있으므로, 매우 한정된 음악만을 다룰 수 밖에 없다.
이를 보완하기 위하여 소프트웨어를 이용하여 컴퓨터에 악보를 입력하고 연주하는 기술이 사용되고 있고, 이러한 기술은 악보의 수정이나 편집이 용이한 일부 장점은 있으나, 종이 등의 기존 매체처럼 주로 시각에 의존하게되어 청각적으로 음의 소리가 그대로 생생하게 전달되지는 못하며, 사용 방법이 복잡하고 숙달에 많은 시간이 소요되어 불편하며, 초보 학습자가 쉽게 사용하기 곤란한 문제가 있다.
한국공개특허 제10-2010-0024700호, 2010.03.08
본 발명이 해결하고자 하는 과제는 악보 보드에 부착된 음표 블록의 위치 및 악기 블록의 종류를 인식하여 연주 가능한 신호로 변환된 음원정보를 제공하는 음표 인식 시스템 및 그 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제는 조명조건에 의해 음표 블록의 두께에 대응하여 생성된 음영을 보정하여 정확하게 재생 가능한 음원정보를 제공하는 음표 인식 시스템 및 그 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 음표 인식 시스템은, 오선지가 그려진 악보 보드; 소정의 두께로 형성되어 상기 악보 보드에 탈부착 가능한 복수의 음표 블록; 상기 악보 보드에 탈부착 가능하고 상기 복수의 음표 블록의 재생음의 종류를 결정하는 복수의 악기 블록;을 포함하고, 상기 오선지의 오선의 간격은, 상기 음표 블록의 음표 머리부의 장축 직경의 지름보다 크게 형성될 수 있다.
본 발명의 일 실시예에 있어서, 상기 악보 보드는, 상기 복수의 음표 블록 또는 상기 복수의 악기 블록이 부착된 상기 악보 보드의 영상정보를 인식하는 단말기에 의해 판독되어 상기 단말기로 음원정보를 제공할 수 있다.
본 발명의 일 실시예에 있어서, 상기 음원정보는, 상기 음표 블록의 상기 음표 머리부를 중심으로 음표 꼬리부 및 음표 기둥부의 위치를 인식하여 분석된 음계정보를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 음원정보는, 상기 오선 사이의 영역에 위치하는 상기 음표 머리부가 조명조건에 의해 상기 음표 머리부의 소정 방향으로 상기 소정의 두께에 대응되어 상기 악보 보드 상에 발생하는 음영을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 음표 머리부와 상기 음영이 결합되어 제1 인식영역을 제공하고, 상기 제1 인식영역의 상기 음영과 상기 오선과 교점이 발생하는 경우, 상기 음원정보는, 상기 제1 인식영역의 상기 음영의 일부를 제거하여 상기 제1 인식영역을 보정한 제2 인식영역을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 음원정보는, 상기 음표 머리부의 제1 최외각 곡선의 제1 곡률정보와, 상기 제1 최외각 곡선과 연결되는 상기 음영의 제2 최외각 곡선의 제2 곡률정보를 기초로, 상기 제1 인식영역을 보정한 상기 제2 인식영역을 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 음원정보는, 상기 제1 곡률정보와 상기 제2 곡률정보의 차이를 산출하여 산출된 상기 음영 위치의 밝기를 보정하여 생성된 상기 제2 인식영역을 포함할 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명의 다른 일실시예에 따른 음표 인식 방법은, 오선지가 그려진 악보 보드 상에 소정의 두께로 형성되어 탈부착 가능하게 배치되는 복수의 음표 블록을 이용하여 생성된 영상정보를 인식하는 단계; 상기 영상정보로부터 오선을 추출하고, 상기 오선을 기초로하여 상기 음표 블록의 위치를 인식하는 단계; 상기 음표 블록의 음계를 분석하여 연주 가능한 신호로 변환하여 음원정보를 생성하는 단계; 및 상기 음원정보를 재생하는 단계;를 포함하되, 상기 음표 블록의 위치를 인식하는 단계는, 조명조건에 의해 상기 음표 블록의 음표 머리부의 소정 방향으로 상기 소정의 두께에 대응되어 상기 악보 보드 상에 발생한 음영에 기초하여 상기 음표 머리부의 위치를 보정하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 영상정보를 인식하는 단계는, 상기 오선지가 그려진 상기 악보 보드 상에 소정의 두께로 형성되어 탈부착 가능하게 배치되는 복수의 악기 블록을 인식하여 상기 음표 블록의 재생음을 결정하는 악기 정보를 획득하는 단계;를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 음표 머리부의 위치를 보정하는 단계는, 상기 음표 머리부의 제1 최외각 곡선의 제1 곡률정보를 획득하는 단계; 상기 제1 최외각 곡선과 연결되는 상기 음영의 제2 최외각 곡선의 제2 곡률정보를 획득하는 단계; 및 상기 제1 곡률정보 및 상기 제2 곡률정보의 차이에 의해 상기 음영을 제거하는 단계; 를 포함할 수 있다.
본 발명의 일 실시예에 있어서, 상기 오선지의 오선의 간격은, 상기 음표 블록의 음표 머리부의 장축 직경의 지름보다 크게 형성될 수 있다.
또한, 상술한 과제를 해결하기 위한 본 발명의 또 다른 실시예에 따른 음표 인식 시스템은, 일면에 도시된 선 객체, 및 상기 선 객체의 일측 단부에 마커가 포함되어 탈부착 가능한 음표 블록가 부착되는 악보 보드; 및 상기 음표 블록이 부착된 상기 악보 보드와 대응되는 이미지 상의 상기 마커 위치를 기초로 가상의 오선을 생성하고, 상기 가상의 오선과 상기 음표 블록의 위치를 분석하여 음원재생정보를 생성하는 재생 모듈을 포함한다.
본 발명의 기타 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.
상기와 같이 구성되는 본 발명에 따르면, 탈부착 가능한 복수의 음표 블록의 조합 및 배열 순서에 따라서 다양한 음원정보를 제공할 수 있다. 이와 더불어, 복수의 악기 블록을 함께 제공하여 다양한 재생음을 가진 음원정보를 제공할 수 있다.
또한, 카메라를 이용하여 악보 보드에 부착된 음표 블록의 위치 및 악기 블록의 종류를 인식하여 연주 가능한 신호로 변환된 음원정보를 통해 제공함으로써, 시각, 촉각 및 청각을 자극하여 음악에 흥미를 유발시킬 수 있다.
또한, 악보 보드에 탈부착 가능한 복수의 음표 블록 및 복수의 악기 블록을 이용함으로써, 음표의 부착 및 제거를 통해 악보의 수정 및 편집이 용이할 수 있다. 이에 따라, 작곡 및 연주를 위한 교육용으로 용이하게 활용할 수 있다.
그리고, 조명조건에 의해 음표 블록의 두께에 대응하여 생성된 음영을 보정함으로써, 정확하게 악보를 인식할 수 있어서 정확하게 재생 가능한 음원정보를 제공할 수 있다.
또한, 악보 보드에 마커를 도입함으로써, 악보 보드 상에 도시된 오선이 일부 가려지거나 빛의 반사 등으로 인해 카메라 이미지에 식별되지 않더라도, 가상의 오선을 생성하여 정확한 오선의 위치 및 이에 따른 음표의 종류 및 음높낮이 등을 정확히 추출할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일실시예에 따른 음표 인식 시스템을 설명하기 위한 개념도이다.
도 2는 도 1에 도시된 음표 인식 시스템의 상세 구성을 설명하기 위한 도면이다.
도 3은 도 1 및 도 2에 도시된 음표 블록을 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 음표 인식 방법을 설명하기 위한 도면이다.
도 5는 도 4에 도시된 음표 블록 및 악기 블록을 탈부착하는 단계를 설명하기 위한 도면이다.
도 6은 도 4에 도시된 단말기가 영상정보를 인식하는 단계를 설명하기 위한 도면이다.
도 7은 도 4에 도시된 음표 블록의 위치 인식 및 보정단계를 설명하기 위한 상세 흐름도이다.
도 8은 도 7에 도시된 음영을 제거하는 단계를 설명하기 위한 상세 흐름도이다.
도 9는 본 발명의 다른 일실시예에 따른 음표 인식 방법을 설명하기 위한 도면이다.
도 10 내지 도 12는, 본 발명의 또 다른 실시예에 따른 음표 인식 시스템을 통해 인식 가능한 악보 보드를 설명하기 위한 도면이다.
도 13 내지 도 15는, 본 발명의 또 다른 실시예에 따른 음표 인식 시스템을 설명하기 위한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 " 포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 음표 인식 시스템을 설명하기 위한 도면이고, 도 2는 도 1에 도시된 음표 인식 시스템의 상세 구성을 설명하기 위한 도면이다. 도 3은 도 1 및 도 2에 도시된 음표 블록을 설명하기 위한 도면으로서, 도 3a는 음영과 결합된 음표 머리부가 악보 보드에 부착된 상태를 나타내는 도면이고, 도 3b는 음영과 결합된 음표 머리부에서 음영이 제거된 음표 머리가 악보 보드에 부착된 상태를 나타내는 도면이다.
도 1 및 도 2에 도시된 바와 같이, 본 발명의 일실시예인 음표 인식 시스템(1)은 악보입력장치(10), 단말기(20) 및 서버(30)를 포함할 수 있다. 이때, 서버(30)는 생략될 수 있다.
여기서, 악보입력장치(10), 단말기(20) 및 서버(30)는 무선통신망을 이용하여 실시간으로 동기화되어 데이터를 송수신할 수 있다. 무선통신망은 다양한 원거리 통신 방식이 지원될 수 있으며, 예를 들어 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTEA(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS), BLE(Bluetooth Low Energy), 지그비(Zigbee), RF(Radio Frequency), LoRa(Long Range) 등과 같은 다양한 통신 방식이 적용될 수 있으나 이에 한정되지 않으며 널리 알려진 다양한 무선통신 또는 이동통신 방식이 적용될 수도 있다. 이와 달리 악보입력장치(10), 단말기(20) 및 서버(30)는 유선 통신을 통해 데이터를 송수신할 수도 있다.
악보입력장치(10)는 악보 보드(100), 음표 블록(110) 및 악기 블록(120)을 포함할 수 있다. 본 실시예에서, 음표 블록(110) 및 악기 블록(120)은 복수개로 구성되는 것이 바람직하다. 하지만, 이에 한정하지 않을 수 있다.
악보 보드(100)는 음표 블록(110) 및 악기 블록(120)이 부착될 수 있는 공간을 제공하는 소정의 두께를 갖는 판 형태로서, 외관상의 표면에는 오선지(101)가 표시될 수 있다. 본 실시예에서 오선지(101)의 오선(1011-1015)의 간격(G)은 도 2에 도시된 도시된 바와 같이 서로 동일하게 형성되는 것이 바람직하다.
악보 보드(100)는 자성을 가지는 음표 블록(110) 및 악기 블록(120)이 용이하게 탈부착되기 위해 금속 재질로 이루어지는 것이 바람직하다. 하지만, 이에 한정하지 않고, 악보 보드(100)는 음표 블록(110) 및 악기 블록(120)이 벨크로밴드 재질로 이루어진 경우, 이에 대응하여 벨크로밴드 재질로 이루어질 수 있다.
실시예에 따라서, 악보 보드(100)는 QR 코드를 포함할 수 있다. 즉, QR 코드를 통해 프로그래밍된 음악 컨텐츠를 포함할 수 있다.
음표 블록(110)은 음표 형상으로 이루어지며 악보 보드(100)에 부착되는 블록으로써, 음표 머리부(111)와 음표 기둥부(112)와 음표 꼬리부(113)로 구성될 수 있다. 이때, 음표 블록(110)의 음표 머리부(111)의 장축 직경의 지름(D)의 크기는 오선지(101)의 오선(1011-1015)의 간격(G)보다 작게 형성될 수 있다. 이에 따라, 오선지(101)의 오선(1011-1015)의 간격(G) 사이의 영역에 음표 블록(110)이 위치하는 경우 단말기(20)가 음표 블록(110)의 음계정보를 정확하게 인식하여 정확한 음원정보가 생성될 수 있다.
음표 블록(110)은 소정의 두께를 갖도록 형성될 수 있다. 이에 따라, 악보 보드(100)에 사용자 예를 들어, 유아기와 같은 어린 아이들이 스스로 음표 블록(110)을 손쉽게 부착할 수 있다. 이와 같은 놀이 과정을 통해 시각, 촉각 및 청각을 자극하여 사용자의 두뇌개발 및 성취감을 느낄 수 있도록 도와줄 수 있다. 따라서, 사용자의 학습 능력 및 창의력을 향상시킬 수 있다.
음표 블록(110)의 종류에는 온음표, 2분음표, 4분음표, 8분음표, 16분음표 및 32분음표 등 소정의 음의 높이와 길이를 나타내는 다양한 종류의 음표들과, 온쉼표, 2분쉼표, 4분쉼표, 8분쉼표, 16분쉼표 및 32분쉼표 등의 소정의 쉼 길이를 나타내는 다양한 종류의 쉼표들과, 높은음자리표, 낮은음자리표 및 가온음자리표 등 기준음을 나타내는 음자리표, 박자표시 및 #과 b 등의 조표 등을 모두 포함할 수 있다.
음표 블록(110)은 악보 보드(100)에 용이하게 탈부착되기 위해 악보 보드(100)의 재질에 대응하는 재질로 이루어질 수 있다. 예를 들어, 자석 및 벨크로밴드 등으로 이루어질 수 있다.
악기 블록(120)은 음표 블록(110)의 재생음의 종류를 결정하는 악기 형상으로 이루어지며 악보 보드(100)에 부착되는 블록일 수 있다.
악기 블록(120)은 오선지(101) 내에 위치하도록 오선지(101) 보다 작게 형성될 수 있지만, 이에 한정하는 것은 아니다.
악기 블록(120)이 소정의 두께를 갖도록 형성될 수 있다. 이에 따라, 악보 보드(100)에 사용자 예를 들어, 유아기와 같은 어린 아이들이 스스로 악기 블록(120)을 손쉽게 부착할 수 있다. 이와 같은 놀이 과정을 통해 시각, 촉각 및 청각을 자극하여 사용자의 두뇌개발 및 성취감을 느낄 수 있도록 도와줄 수 있다. 따라서, 사용자의 학습 능력 및 창의력을 향상시킬 수 있다. 이때, 악기 블록(120)은 음표 블록(110)과 동일한 두께로 형성될 수 있지만, 이에 한정하는 것은 아니다.
악기 블록(120)의 종류에는 건반악기, 관악기, 타악기, 현악기, 전자악기, 국악기 등을 소리가 나는 모든 악기를 포함할 수 있다.
악기 블록(120)은 악보 보드(100)에 용이하게 탈부착되기 위해 악보 보드(100)의 재질에 대응하고, 음표 블록(110)과 동일한 재질로 이루어질 수 있다. 예를 들어, 자석 및 벨크로밴드 등으로 이루어질 수 있다.
이와 같은 구성의 악보입력장치(10)는 악보 보드(100)에 탈부착되는 음표 블록(110)에 의해 재생음을 결정하고, 악기 블록(120)에 의해 재생음의 종류를 결정할 수 있는 영상정보를 제공할 수 있다.
단말기(20)는 카메라가 장착된 휴대 가능한 장치로서, 본 개시에서 응용 프로그램(application program 또는 애플리케이션(application))을 이용하여 동작할 수 있으며, 이러한 응용 프로그램은 무선통신을 통해 외부서버 또는 서버(30)로부터 다운로드 될 수 있다.
이와 같은 단말기(20)는 영상촬영부(200), 통신부(210), 저장부(220), 출력부(230) 및 제어부(240)를 포함할 수 있다.
영상촬영부(200)는 단말기(200)에 구비된 카메라를 이용하여 악보입력장치(10)를 촬영하여 영상정보를 인식할 수 있다. 즉, 영상촬영부(20)는 복수의 음표 블록(110) 및 복수의 악기 블록(120)이 부착된 악보 보드(100)에 의해 생성된 영상정보를 인식할 수 있다.
실시예에 따라서, 영상촬영부(200)는 악보 보드(100)에 포함된 QR 코드를 통해 영상정보를 인식할 수 있다. 즉, QR 코드를 통해 프로그래밍된 음악 컨텐츠에 대한 영상정보를 인식할 수 있다.
통신부(210)는 악보입력장치(10)로부터 생성된 영상정보를 수신받을 수 있다.
실시예에 따라서, 통신부(210)는 서버(30)로 영상정보에 대응하는 음원정보를 전송할 수 있다.
실시예에 따라서, 통신부(210)는 영상정보를 서버(30)로 전송하고, 서버(30)로부터 영상정보에 대응하는 음원정보를 수신받을 수 있다.
저장부(220)는 악보입력장치(10)와 서버(30) 사이에 송수신되는 데이터를 저장할 수 있다. 즉, 저장부(220)는 영상정보 및 음원정보를 저장할 수 있다.
저장부(220)는 단말기(20)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 예를 들어, 저장부(220)는 단말기(20)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 단말기(20)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선통신을 통해 외부 서버로부터 다운로드 될 수 있다.
출력부(230)는 오디오로 출력하는 스피커(speaker)를 통해 생성된 음원정보를 출력할 수 있다.
실시예에 따라서, 출력부(230)는 마이크 등을 포함할 수 있다.
실시예에 따라서, 출력부(230)는 음원정보에 대응하여 색변화 또는 깜빡임 또는 영상 등을 화면을 통해 출력할 수 있다.
제어부(240)는 악보 보드(100)의 영상정보를 인식하여 영상정보에 포함된 음표 블록(110)의 위치를 인식하여 분석된 음계정보와 악기 블록(120)의 종류를 인식하여 분석된 악기정보에 따라 응원정보를 생성하여 재생할 수 있다.
여기서, 음표 블록(110)의 음표 머리부(111)의 장축 직경의 지름(D)의 크기는 오선지(101)의 오선(1011-1015)의 간격(G)보다 작게 형성되어 정확하게 제어부(240)가 영상정보로부터 음표 블록(110)의 음계정보를 인식할 수 있다. 하지만, 조명조건에 의해 빛(L)의 발생에 따라 오선(1011-1015) 사이의 영역에 위치하는 음표 머리부(111)의 빛(L)의 조사 방향과 반대방향으로 악보 보드(100) 상에 음영(114)이 발생할 수 있다. 이에, 제어부(240)는 발생하는 음영(114)을 보정하여 음표 머리부(111)의 위치가 보정된 음원정보를 생성하여 재생할 수 있다. 이때, 음영(114)은 빛(L)의 조사에 의해 음표 머리부(111), 음표 기둥부(112) 및 음표 꼬리부(113)에 대응하여 생성될 수 있다. 즉, 음영(114)은 음표 블록(110)의 형상에 따라 생성될 수 있다.
몇몇 다른 실시예에서, 제어부(240)는 음영(114)을 별도로 보정하지 않고 음영(114)의 위치, 크기 또는 형상을 고려하여 음표 머리부(111)의 위치를 산출할 수도 있다.
구체적으로, 도 3a에 도시된 바와 같이, 제어부(240)는 영상정보로부터 음표 머리부(111)와 음표 머리부(111)에 결합되어 형성된 음영(114)이 악보 보드(100)에 부착된 제1 인식영역(A)을 생성할 수 있다.
제어부(240)는 도 3b에 도시된 바와 같이, 제1 인식영역(A)의 음영(114)을 처리하여 제1 인식영역(A)을 보정한 제2 인식영역(B)을 생성할 수 있다.
더욱 구체적으로, 제어부(240)는 음표 머리부(111)에 결합되어 형성된 음영(114)이 오선(1012)과 만나는 교점(P)이 발생하는 경우, 음영(114)의 일부 또는 전체를 제거 또는 처리하여 음표 머리부(111)와 결합된 음영(114)이 오선(1012)과 교점(P)이 발생하지 않도록 음표 머리부(111)의 위치를 보정할 수 있다. 즉, 음표 머리부(111)의 최외각 곡선(1110)의 곡률정보와 음영(1114)의 최외각 곡선(1140)의 곡률 정보의 차이를 산출하여 산출된 정보를 이용하여 음영(114)을 보정하여 음표 머리부(111)에 결합되어 형성된 음영(114)이 오선(1012)과 만나지 않도록 음표 머리부(111)의 위치를 보정할 수 있다.
실시예에 따라서, 제어부(240)는 생성된 음원정보를 서버(30) 또는 외부 출력장비로 전달할 수 있다.
실시예에 따라서, 제어부(240)는 서버(30)로부터 생성된 음원정보를 수신하여 재생할 수 있다.
이와 같은 단말기(20)는 악보입력장치(10) 및 서버(30)와의 통신을 지원하는 각종 휴대 가능한 전자통신기기를 포함할 수 있다. 예를 들어, 별도의 스마트 기기로써, 스마트폰(Smart phone), PDA(Personal Digital Assistant), 테블릿(Tablet), 웨어러블 디바이스(Wearable Device, 예를 들어, 워치형 단말기(Smartwatch), 글래스형 단말기(Smart Glass), HMD(Head Mounted Display)등 포함) 및 각종 IoT(Internet of Things) 단말과 같은 다양한 단말을 포함할 수 있지만 이에 한정하는 것은 아니다.
이와 같은 구조의 단말기(20)는 복수의 음표 블록(110) 및/또는 복수의 악기 블록(120)이 부착된 악보 보드(100)의 영상정보를 인식하여, 조명조건에 의해 음표 블록의 두께에 대응하여 생성된 음영을 보정하여 정확하게 재생 가능한 음원정보를 생성 및 재생할 수 있다.
서버(30)는 데이터송수신부(300), 데이터베이스부(310), 데이터출력부(320) 및 관리제어부(330)를 포함할 수 있다.
데이터송수신부(300)는 영상정보를 단말기(20)로부터 수신하고, 영상정보에 대응되는 음원정보를 단말기(20)로 전송할 수 있다.
데이터베이스부(310)는 무선통신망을 통해 단말기(20)와 송수신되는 데이터를 저장할 수 있다. 데이터베이스부(310)는 서버(30)의 다양한 기능을 지원하는 데이터를 저장할 수 있다. 데이터베이스부(310)는 서버(30)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션(application)), 서버(30)의 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는, 무선통신을 통해 외부 서버로부터 다운로드 될 수 있다.
데이터출력부(320)는 음원정보를 스피커를 통해 출력할 수 있다.
실시예에 따라서, 데이터출력부(320)는 음원정보에 대응하여 색변화 또는 깜빡임 또는 영상 등을 화면을 통해 출력할 수 있다.
실시예에 따라서, 데이터출력부(320)는 단말기(20) 또는 서버(30)가 음원정보를 생성하는 단계를 화면을 통해 출력할 수 있다.
관리제어부(330)는 영상정보에 대응되는 음원정보를 생성할 수 있다. 여기서, 음원정보를 생성하는 방법은 단말기(20)의 제어부(240)와 동일하게 동작할 수 있다.
이와 같은 서버(30)는 하드웨어 회로(예를 들어, CMOS 기반 로직 회로), 펌웨어, 소프트웨어 또는 이들의 조합에 의해 구현될 수 있다. 예를 들어, 다양한 전기적 구조의 형태로 트랜지스터, 로직게이트 및 전자회로를 활용하여 구현될 수 있다.
이와 같은 구조를 갖는 본 발명의 일실시예에 따른 음표 인식 시스템(1)을 이용한 음표 인식 방법은 다음과 같다. 도 4는 본 발명의 일실시예에 따른 음표 인식 방법을 설명하기 위한 도면이고, 도 5는 도 4에 도시된 음표 블록 및 악기 블록을 탈부착하는 단계를 설명하기 위한 도면이며, 도 6은 도 4에 도시된 단말기가 영상정보를 인식하는 단계를 설명하기 위한 도면이다.
우선, 도 4에 도시된 바와 같이, 악보입력장치(10)는 악보 보드(100)에 복수의 음표 블록(110) 및 복수의 악기 블록(120)이 탈부착된 영상정보를 제공할 수 있다(S100). 예를 들어 도 5에 도시된 바와 같이, 악보입력장치(10)는 악보 보드(100)에 탈부착되는 음표 블록(110)에 의해 재생음을 결정하고, 악기 블록(120)에 의해 재생음의 종류를 결정할 수 있는 영상정보를 제공할 수 있다.
다음으로, 단말기(20)는 영상정보를 카메라를 이용하여 음표 블록(110) 및 악기 블록(120)이 조합되어 배열된 영상정보를 인식할 수 있다(S110).
예를 들어, 도 6에 도시된 바와 같이, 스마트 기기를 통해서 영상정보를 인식할 수 있다.
다음으로, 단말기(20)는 영상정보에 포함된 음표 블록(110)의 위치를 인식 및 보정할 수 있다(S120). 영상정보에 포함된 음표 블록(110)의 위치를 인식 및 보정하는 단계는 도 7 및 도 8을 참조하여 더욱 상세히 후술하도록 한다.
다음으로, 단말기(20)는 영상정보에 포함된 악기 블록(120)의 종류를 인식하여 악기 정보를 획득할 수 있다(S130). 이때, 단말기(20)는 음표 블록(110)에 대응하여 위치하는 악기 블록(120)을 인식하여 음표 블록(110)의 재생음을 결정할 수 있다. 예를 들어, 도 5에 도시된 바와 같이, 제1 마디 및 제2 마디에서 음원정보는 바이올린으로 재생되고, 제3 마디 및 제4 마디에서 음원정보는 피아노로 재생될 수 있다.
여기서, 영상정보에 포함된 악기 블록(120)의 종류를 인식하여 악기 정보를 획득하는 단계는 음표 블록(110)의 위치를 인식 및 보정하는 단계보다 선행될 수 있다. 이와 달리 S120 및 S130 단계는 동시에 수행될 수도 있다.
다음으로, 단말기(20)는 영상정보를 인식하여 영상정보에 포함된 음표 블록(110)의 위치를 인식하여 분석된 음계정보와 악기 블록(120)의 종류를 인식하여 분석된 악기정보에 따라 응원정보를 생성하여(S140), 출력장치를 통해 음원정보를 재생할 수 있다(S150). 즉, 단말기(20)는 음표 블록(110)의 음표 머리부(111)를 중심으로 음표 기둥부(112) 및 음표 꼬리부(113)위치를 인식하여 분석된 음계정보와, 음표 블록(110)에 대응하여 위치하는 악기 블록(120)을 인식하여 음원정보를 생성 및 재생할 수 있다. 이에 따라, 단말기(20)는 악보 보드(100)에 탈부착 가능한 복수의 음표 블록(110) 및 복수의 악기 블록(120)의 조합 및 배열 순서에 따라 생성된 영상정보로부터 다양한 음원정보를 제공할 수 있다.
도 7은 도 4에 도시된 음표 블록의 위치 인식 및 보정단계를 설명하기 위한 상세 흐름도이고, 도 8은 도 7에 도시된 음영을 제거하는 단계를 설명하기 위한 상세 흐름도이다. 본 실시예에서, 도 7 및 도 8에 의해 수행되는 동작은 단말기(20)에 의해서 수행되는 경우로 한정하여 설명한다. 하지만, 이에 한정하지 않는다.
도 7을 참조하면, 단말기(20)는 영상정보로부터 추출된 오선(1011-1015)을 기준으로 음표 블록(110)의 위치를 인식할 수 있다(S200).
구체적으로, 단말기(20)는 오선을 추출하기 위해서, 영상정보를 판독하여 이미지 크기를 조정(Resize Image)하여 이진화(binzrization)된 악보를 이미지 파일로 저장한 후, 이진화된 악보로부터 y축 히스토그램(histogram y-axis) 및 x축 히스토그램(histogram x-axis)을 이용하여 검출된 직선을 세선화(thinning)하여 오선(1011-1015)을 추출할 수 있다. 단말기(20)는 추출된 오선(1011-1015)을 기준으로 오선지(101)에 위치하는 음표 블록(110)의 위치를 인식할 수 있다.
다음, 단말기(20)는 인식된 영상정보에 음영(114)이 포함되는지 판단하여(S210), 음영(114)이 인식되는 경우, 도 3에 도시된 바와 같이 음표 머리부(111)와 음영(114)이 결합된 제1 인식영역(A)을 인식할 수 있다(S220).
다음, 단말기(20)는 제1 인식영역(A)으로부터 음영(114)과 오선(1011-1015)과 교점(P)이 발생하는지 판단할 수 있다. 음영(114)과 오선(1012) 사이에 교점(P)이 발생하는 경우(S230), 단말기(20)는 제1 인식영역(A)의 음영(114)을 제거하여 음표 머리부(111)의 위치를 보정할 수 있다(S240).
구체적으로 도 8을 참조하여, 제1 인식영역(A)의 음영(114)을 제거하여 음표 머리부(111)의 위치를 보정하는 단계(S240)를 살펴보면, 단말기(20)는 제1 인식영역(A)으로부터 음표 머리부(111)의 제1 최외각 곡선(1110)의 제1 곡률정보를 획득할 수 있다(S300).
다음, 단말기(20)는 제1 최외각 곡선(1110)과 연결되는 음영(114)의 제2 최외각 곡선(1140)의 제2 곡률정보를 획득할 수 있다(S310).
다음, 단말기(20)는 제1 곡률정보와 상기 제2 곡률정보의 차이를 산출할 수 있다(S320).
다음, 단말기(20)는 산출된 값에 따라 음표 머리부(111)의 음영(114) 위치의 밝기를 보정하여 음영(114)이 제거된 제2 인식영역(B)을 생성할 수 있다(S330).
본 실시예에서, 제1 인식영역(A)의 음영(114)의 제거하는 부분은 음영(114)과 오선(1011-1015)과 교점(P)이 발생하는 부분 즉, 음영(114)의 일부만을 제거할 수 있다. 하지만, 이에 한정하지 않고, 발생된 음영(114)을 모두 제거할 수 있다.
구체적으로, 이진화된 악보에서 음표 블록(110)을 검출하기 위해 필요한 음표 블록(110)을 샘플링(sampling)하여 일정 배열을 갖도록 저장한 후, 상기 샘플링된 음표 블록(110)을 기준으로 제1 인식영역(A)에 포함된 음영(114)과 결합된 음표 머리부(111)를 비교하여(note comparing), 음표 블록(110)이 정확한 음정으로 표시(note display)되도록 음영(114)을 모두 제거하여 채널 변경(change channel)을 통해 음표 블록(110)의 음계가 정확하게 표시될 수 있다(scale display). 이때, 영상정보의 채널은 세선화된 GRAY 채널에서 음계가 표시될 수 있는 RGB 채널로 변경되는 것이 바람직하다.
다음으로, 단말기(20)는 제1 인식영역(A)의 보정에 의해 음표 머리부(111)의 위치가 보정된 제2 인식영역(B)을 확인할 수 있다(S250).
다음으로, 단말기(20)는 음표 머리부(111)의 위치가 보정된 제2 인식영역(B)을 통해 음표 블록(110)의 음표 머리부(110)를 중심으로 음표 기둥부(112) 및 음표 꼬리부(113)의 위치를 인식하여 음계정보를 분석 할 수 있다(S260).
한편, 음영(114)이 인식되지 않고(S210), 음영(114)과 오선(1012) 사이에 교점(P)이 발생하지 않는 경우(S230), 단말기(20)는 영상정보에 포함된 음표 블록(110)의 위치를 인식하여 음계정보를 분석할 수 있다.
다음으로, 단말기(20)는 분석된 음계정보와 분석된 악기정보에 따라 응원정보를 생성하여 재생할 수 있다.
도 9는 본 발명의 다른 일실시예에 따른 음표 인식 방법을 설명하기 위한 도면이다. 도 9에서는 음원정보를 서버(30)에서 생성하는 경우를 한정하여 설명한다.
우선, 도 9에 도시된 바와 같이, 악보입력장치(10)는 악보 보드(100)에 복수의 음표 블록(110) 및 복수의 악기 블록(120)이 탈부착된 영상정보를 제공할 수 있다(S400).
다음으로, 단말기(20)는 영상정보를 카메라를 이용하여 음표 블록(110) 및 악기 블록(120)이 조합되어 배열된 영상정보를 인식할 수 있다(S410).
다음으로, 서버(30)는 단말기(20)로부터 영상정보를 획득할 수 있다(S420).
다음으로, 서버(30)는 영상정보에 포함된 음표 블록(110)의 위치를 인식 및 보정할 수 있다(S420). 영상정보에 포함된 음표 블록(110)의 위치를 인식 및 보정하는 단계는 도 7 및 도 8을 참조하여 단말기(20)와 동일하게 수행할 수 있다. 이에 구체적인 설명은 생략한다.
다음으로, 서버(30)는 영상정보에 포함된 악기 블록(120)의 종류를 인식하여 악기 정보를 획득할 수 있다(S440). 이때, 서버(30)는 음표 블록(110)에 대응하여 위치하는 악기 블록(120)을 인식하여 음표 블록(110)의 재생음을 결정할 수 있다. 여기서, 영상정보에 포함된 악기 블록(120)의 종류를 인식하여 악기 정보를 획득하는 단계는 음표 블록(110)의 위치를 인식 및 보정하는 단계보다 선행될 수 있다. 이와 달리 S430 및 S440 단계는 동시에 수행될 수도 있다.
다음으로, 서버(30)는 영상정보를 인식하여 영상정보에 포함된 음표 블록(110)의 위치를 인식하여 분석된 음계정보와 악기 블록(120)의 종류를 인식하여 분석된 악기정보에 따라 응원정보를 생성하여(S450), 응원정보를 단말기(20)로 전송할 수 있다. 이에 따라, 서버(30)는 악보 보드(100)에 탈부착 가능한 복수의 음표 블록(110) 및 복수의 악기 블록(120)의 조합 및 배열 순서에 따라 생성된 영상정보로부터 다양한 음원정보를 제공할 수 있다.
다음으로, 단말기(20)는 서버(30)로부터 수신된 음원정보를 출력장치를 통해 재생할 수 있다(S460).
이와 달리, 서버(30)는 생성된 음원정보를 음원정보를 출력장치를 통해 재생할 수 있다.
도 10 내지 도 12는, 본 발명의 또 다른 실시예에 따른 음표 인식 시스템을 통해 인식 가능한 악보 보드를 설명하기 위한 도면이다.
본 발명의 또 다른 실시예에 따른 악보 보드(100)는, 일면에 도시된 선 객체(101), 및 선 객체(101)의 일측 단부에 마커(130)가 포함된다.
도 10에 도시된 바와 같이 선 객체(101)의 왼쪽 일측에 마커(130)가 구비될 수 있으나, 이에 한정되는 것은 아니며, 도 11에 도시된 바와 같이, 마커(130)는 선 객체(101)의 양측 단부에 각각 구비되고, 선 객체(101)는 양측 단부의 마커(130a, 130b) 사이에 배치될 수도 있다. 도 10 및 도 11에서 선 객체(101)는 오선 형태일 수 있으나 이에 한정되는 것은 아니며, 도 12와 같이 악보 보드(100)는 예를 들어, 단선 형태 또는 블록 형태 등 다양한 형태의 선 객체(101)를 포함할 수도 있다.
마커(130)는 선 객체(101)의 일측 또는 양측에 배치되고, 재생 모듈 또는 재생 모듈을 포함하는 디바이스, 예를 들어 사용자의 단말기(20)인 스마트 디바이스 등을 통해 인식되어, 선 객체(101)와 무관하게 가상의 오선을 생성하고, 후술하는 음표 블록(120)의 위치를 측정하여 이에 대응하는 음원을 재생하도록 할 수 있다. 이에 대해서는 후술한다. 앞선 실시예와 같이, 단말기(20)는 서버(30)와 통신할 수 있으며, 단말기(20)가 서버(30)로 악보 보드(100)를 촬영한 이미지를 전송할 수 있고, 이미지를 분석하기 위한 재생 모듈은 서버(30)에 포함될 수 있으나, 이에 한정되는 것은 아니며, 후술하는 재생 모듈은 서버(30)가 아닌 단말기(20)에 포함될 수도 있다. 또한, 재생 모듈은 악보 보드(100)의 일부 또는 연결된 장치로 구성될 수도 있다.
도 13 내지 도 15는, 본 발명의 또 다른 실시예에 따른 음표 인식 시스템을 설명하기 위한 도면이다.
음표 인식 시스템은, 일면에 도시된 선 객체(101), 및 선 객체(101)의 단부에 마커(130a, 130b)가 포함되어 탈부착 가능한 음표 블록(120)이 부착되는 악보 보드(100)를 포함한다.
악보 보드(100)의 일면에는 탈부착 가능한 음표 블록(110)이 부착될 수 있다. 음표 블록(110)과 악보 보드(100)이 서로 탈부착 될 수 있도록, 일측 또는 양측에 탈부착을 위한 접착부재가 포함될 수 있으며, 별도의 접착부재 없이 자성체가 포함되어 자력에 의해 부착 또는 탈거될 수도 있다.
몇몇 다른 실시예에서, 악보 보드(100)는 자성체의 변화를 감지하는 센싱 수단(미도시)을 포함할 수 있으며, 음표 블록(110)이 부착된 제1 지점과, 부착되지 않은 제2 지점의 측정값의 차이를 이용하여, 음표 블록(110)이 부착된 좌표의 위치를 계산할 수도 있다. 이와 같이 전자적으로 측정된 음표 블록(110)의 부착 위치는 후술하는 재생 모듈(미도시)로 제공되어 소정의 음원으로 재생될 수 있다. 이 경우에는 마커(130)는 생략될 수 있으며, 음표 블록(110)이 부착되는 위치 좌표를 자체적으로 산출하여 악보 보드(100)와 연결된 재생 모듈(미도시)을 통해 음원을 재생할 수도 있다.
이전 실시예들과 마찬가지로, 악기 블록(120)을 악보 보드(100)의 소정의 위치에 부착하면, 재생 모듈에 의해 인식되어 악기 블록(120)이 의미하는 음원과 대응되는 소리를 재생할 수 있다.
음표 인식 시스템을 구성하는 재생 모듈은, 일면에 도시된 선 객체(101), 및 선 객체(101)의 일측 단부에 마커(130)가 포함되어 탈부착 가능한 음표 블록(110)을 부착하는 악보 보드(100)와 대응되는 이미지 상의 마커(130) 위치를 기초로 음원재생정보를 생성할 수 있다.
재생 모듈은, 음원재생정보를 생성하는 과정에서, 음표 블록(120)이 부착된 악보 보드(100)와 대응되는 이미지 상의 마커(130) 위치를 기초로 가상의 오선(140)을 생성하고, 가상의 오선(140)과 음표 블록(110)의 위치를 분석할 수 있다.
마커(130)는 선 객체(101)의 양측 단부에 각각 구비될 수 있으며, 가상의 오선(140)은, 양측 단부의 마커(130a, 130b) 사이에 배치될 수 있다.
도 14에 도시된 바와 같이, 마커(130)가 포함된 악보 보드(100)를 재생 모듈 또는 재생 모듈을 포함하는 디바이스를 통해 촬영하여 생성된 이미지를 기초로, 이미지 내의 마커(130) 위치를 식별하고, 마커(130)를 기준점으로 음원재생정보를 구성하는데 필요한 가상의 오선(140) 위치 및/또는 음표 블록(110)의 재생음을 결정할 수 있다.
마커(130)는 증강현실 마커(ArUco)일 수 있으며, 오선 한 줄 당 하나 또는 한 쌍의 마커(130)가 오선 양 끝단에 존재할 수도 있으나 이에 한정되는 것은 아니며, 정밀도 및 측정 위치의 확대/축소 등 필요에 따라 마커(130)의 개수는 변경될 수도 있다.
마커(130)를 인식하고, 이를 기초로 악보 보드(100) 내의 음표 블록(110)과 악기 블록(120)을 식별하여 음원재생정보를 구성하고 이를 기초로 소정의 음악을 재생하는 재생 모듈은 소프트웨어 형태로 구현되어 소정의 디바이스에서 실행될 수 있으나, 이에 한정되는 것은 아니며, 재생 모듈은 마커(130)를 식별하기 위한 이미지 인식부(미도시)를 포함하여 독립적인 장치로 구성될 수도 있으며, 사용자의 휴대폰 등 휴대형 스마트 디바이스 등의 장치에 어플리케이션 형태로 설치되어 동작할 수도 있다.
재생 모듈은, 마커(130)를 인식하여 관심지역(ROI; Region of Interest)을 산출한 후 투영 변환(Perspective Warping)을 통해 획득한 이미지를 평면화할 수 있다.
도 15에 도시된 바와 같이, 재생 모듈은 딥러닝 기술을 활용하여 음표 블록(110)의 위치를 구하고 음표, 쉼표, 조표 등의 블록의 종류를 구분할 수 있고, 객체 인식(Object Detection) 모델, 예를 들어 Yolov4 등의 모델을 이용하여 사진 상의 객체를 바운딩 박스(Bounding Box)를 생성하고 이를 라벨링 할 수 있다.
객체 인식 모델은, 각 음표 블록(110)의 종류, x좌표, y좌표, 높이, 너비를 예측할 수 있으며, 종류는 다양한 종류의 음표와, 쉼표, 조표 등 여러 종류 중에 하나로 구분할 수 있다.
마커(130)를 통해 산출한 가상의 오선(140) 위치와, 위의 객체 인식 모델에서 구한 음표 블록(110)의 위치를 바탕으로, 재생 모듈은 악보를 재구성할 수 있으며, 이미지 상에서 선 객체, 즉 악보 보드(100) 상에 도시된 오선이 명확히 인식되지 않더라도, 마커(130)의 위치를 통해 구현된 가상의 오선(140)으로 인해 오선의 위치를 정확히 인식할 수 있다.
도 3, 도 3a 및 도 3b를 참고한 이전 실시예에서와 마찬가지로, 가상의 오선(140)을 구성하는 선의 간격은, 음표 블록(110)의 음표 머리부(111)의 장축 직경의 지름보다 크게 형성될 수 있다. 또한, 악보 보드(100)를 촬영한 이미지는, 가상의 오선(140) 사이의 영역에 위치하는 음표 블록(110)의 음표 머리부(111)가 조명조건에 의해 음표 머리부(111)의 소정 방향으로 소정의 두께에 대응되어 악보 보드(100) 상에 발생하는 음영(114)을 포함할 수 있다. 이 때, 재생 모듈은, 이미지 상에서, 음표 머리부(111)와 음영(114)이 결합되어 생성된 제1 인식영역(A)을 식별하여, 제1 인식영역(A)의 음영(114)과 가상의 오선(140)과 교점이 발생하는 경우, 제1 인식영역(A)의 음영(114)의 일부를 제거하여 제1 인식영역(A)을 보정한 제2 인식영역(B)을 인식할 수 있다. 또한, 이미지는, 음표 머리부(111)의 제1 최외각 곡선(1110)의 제1 곡률정보와, 제1 최외각 곡선(1110)과 연결되는 음영(114)의 제2 최외각 곡선(1140)의 제2 곡률정보를 기초로, 제1 인식영역(A)을 보정한 제2 인식영역(B)을 포함할 수 있다. 또한, 이미지는, 제1 곡률정보와 제2 곡률정보의 차이를 산출하여 산출된 음영 위치의 밝기를 보정하여 생성된 제2 인식영역(B)을 포함할 수 있다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
10 : 악보입력장치
20 : 단말기
30 : 서버

Claims (10)

  1. 일면에 도시된 선 객체, 및 상기 선 객체의 일측 단부에 마커가 포함되어 탈부착 가능한 음표 블록가 부착되는 악보 보드; 및,
    상기 음표 블록이 부착된 상기 악보 보드와 대응되는 이미지 상의 상기 마커 위치를 기초로 가상의 오선을 생성하고, 상기 가상의 오선과 상기 음표 블록의 위치를 분석하여 음원재생정보를 생성하는 재생 모듈을 포함하는, 음표 인식 시스템.
  2. 제1항에 있어서,
    상기 마커는 상기 선 객체의 양측 단부에 각각 구비되고,
    상기 가상의 오선은, 상기 양측 단부의 상기 마커 사이에 배치되는, 음표 인식 시스템.
  3. 제1항에 있어서,
    상기 가상의 오선을 구성하는 선의 간격은, 상기 음표 블록의 음표 머리부의 장축 직경의 지름보다 크게 형성되는, 음표 인식 시스템.
  4. 제1항에 있어서,
    상기 이미지는,
    상기 가상의 오선 사이의 영역에 위치하는 상기 음표 블록의 음표 머리부가 조명조건에 의해 상기 음표 머리부의 소정 방향으로 상기 소정의 두께에 대응되어 상기 악보 보드 상에 발생하는 음영을 포함하고,
    상기 재생 모듈은,
    상기 이미지 상에서, 상기 음표 머리부와 상기 음영이 결합되어 생성된 제1 인식영역을 식별하여, 상기 제1 인식영역의 상기 음영과 상기 가상의 오선과 교점이 발생하는 경우, 상기 제1 인식영역의 상기 음영의 일부를 제거하여 상기 제1 인식영역을 보정한 제2 인식영역을 인식하는, 음표 인식 시스템.
  5. 제4항에 있어서,
    상기 이미지는,
    상기 음표 머리부의 제1 최외각 곡선의 제1 곡률정보와, 상기 제1 최외각 곡선과 연결되는 상기 음영의 제2 최외각 곡선의 제2 곡률정보를 기초로, 상기 제1 인식영역을 보정한 상기 제2 인식영역을 포함하는, 음표 인식 시스템.
  6. 제5항에 있어서,
    상기 이미지는,
    상기 제1 곡률정보와 상기 제2 곡률정보의 차이를 산출하여 산출된 상기 음영 위치의 밝기를 보정하여 생성된 상기 제2 인식영역을 포함하는, 음표 인식 시스템.
  7. 일면에 도시된 선 객체, 및 상기 선 객체의 일측 단부에 마커가 포함되어 탈부착 가능한 음표 블록을 부착하는 악보 보드와 대응되는 이미지 상의 상기 마커 위치를 기초로 음원재생정보를 생성하는 재생 모듈;을 포함하는, 음표 인식 시스템.
  8. 제7항에 있어서,
    상기 재생 모듈은,
    상기 이미지 상의 상기 마커 위치를 기초로 가상의 오선을 생성하고, 상기 가상의 오선과 상기 음표 블록의 위치를 분석하여 음원재생정보를 생성하는, 음표 인식 시스템.
  9. 제8항에 있어서,
    상기 마커는 상기 선 객체의 양측 단부에 각각 구비되고,
    상기 가상의 오선은, 상기 양측 단부의 상기 마커 사이에 배치되는, 음표 인식 시스템.
  10. 일면에 도시된 선 객체, 및 상기 선 객체의 일측 단부에 마커가 포함되어 탈부착 가능한 음표 블록가 부착되고, 상기 마커는 상기 선 객체의 양측 단부에 각각 구비되어, 상기 선 객체는 상기 양측 단부의 상기 마커 사이에 배치되는, 음표 인식 시스템을 통해 인식 가능한 악보 보드.
KR1020200161213A 2020-11-26 2020-11-26 음표 인식 시스템 KR102400962B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200161213A KR102400962B1 (ko) 2020-11-26 2020-11-26 음표 인식 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200161213A KR102400962B1 (ko) 2020-11-26 2020-11-26 음표 인식 시스템

Publications (2)

Publication Number Publication Date
KR20220073289A true KR20220073289A (ko) 2022-06-03
KR102400962B1 KR102400962B1 (ko) 2022-06-23

Family

ID=81982708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200161213A KR102400962B1 (ko) 2020-11-26 2020-11-26 음표 인식 시스템

Country Status (1)

Country Link
KR (1) KR102400962B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100024700A (ko) 2008-08-26 2010-03-08 주식회사 펀앤뮤직 악보 보드 및 이를 포함하는 악보 연주 시스템
JP2012020459A (ja) * 2010-07-14 2012-02-02 Casio Computer Co Ltd 走査型印刷装置、印刷方法、及び印刷制御プログラム
KR101446903B1 (ko) * 2013-05-30 2014-10-22 코이안(주) 인터랙티브 악보 연주 시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100024700A (ko) 2008-08-26 2010-03-08 주식회사 펀앤뮤직 악보 보드 및 이를 포함하는 악보 연주 시스템
JP2012020459A (ja) * 2010-07-14 2012-02-02 Casio Computer Co Ltd 走査型印刷装置、印刷方法、及び印刷制御プログラム
KR101446903B1 (ko) * 2013-05-30 2014-10-22 코이안(주) 인터랙티브 악보 연주 시스템

Also Published As

Publication number Publication date
KR102400962B1 (ko) 2022-06-23

Similar Documents

Publication Publication Date Title
US8866846B2 (en) Apparatus and method for playing musical instrument using augmented reality technique in mobile terminal
KR101378493B1 (ko) 영상 데이터에 동기화된 텍스트 데이터 설정 방법 및 장치
US20180082606A1 (en) Apparatus to detect, analyze, record, and display audio data, and method thereof
US20120304847A1 (en) System and Method for Musical Game Playing and Training
US20210104169A1 (en) System and method for ai based skill learning
CN101149812A (zh) 基于纸面书写的互动信息服务方法、服务系统及互动读物
KR20190084809A (ko) 전자 장치 및 전자 장치에 의한 자막 표현 방법
TW201314638A (zh) 具虛擬實境擴充功能的點讀裝置
CN105957424A (zh) 一种投影式钢琴指引系统及控制方法
CN101604486A (zh) 基于计算机语音识别技术的乐器弹奏跟练方法
CN111105776A (zh) 有声播放装置及其播放方法
CN111968675A (zh) 一种基于手部识别的弦乐器音符比对系统及其使用方法
KR102400962B1 (ko) 음표 인식 시스템
KR20120034486A (ko) 음악교습에 사용되는 건반장치
CN111178042B (zh) 一种数据处理方法、装置及计算机存储介质
US20210319715A1 (en) Information processing apparatus, information processing method, and program
JP2006133521A (ja) 語学学習機
US9916770B2 (en) Methods and systems for tactile code interpretation
KR100317478B1 (ko) 실시간 음악 교습 시스템 및 그 시스템에서의 음악 정보 처리방법
KR102030833B1 (ko) 악기 학습용 장치 및 이를 이용한 악기 학습 서비스 제공 방법
KR20130058384A (ko) 휴대용 드럼연주시스템
CN114332877A (zh) 一种基于深度学习的印刷体古筝简谱识别方法及系统
KR20040107245A (ko) 문자 인식 장치를 이용하여 사용자로부터의 입력 데이터를처리하는 방법 및 이를 이용한 인터랙티브 원격 교육 방법
JPH06332443A (ja) 楽譜認識装置
JP2010217977A (ja) 情報読取出力装置