KR100317478B1 - 실시간 음악 교습 시스템 및 그 시스템에서의 음악 정보 처리방법 - Google Patents

실시간 음악 교습 시스템 및 그 시스템에서의 음악 정보 처리방법 Download PDF

Info

Publication number
KR100317478B1
KR100317478B1 KR1019990034820A KR19990034820A KR100317478B1 KR 100317478 B1 KR100317478 B1 KR 100317478B1 KR 1019990034820 A KR1019990034820 A KR 1019990034820A KR 19990034820 A KR19990034820 A KR 19990034820A KR 100317478 B1 KR100317478 B1 KR 100317478B1
Authority
KR
South Korea
Prior art keywords
information
music
sound information
sound
musical
Prior art date
Application number
KR1019990034820A
Other languages
English (en)
Other versions
KR20010018740A (ko
Inventor
주천우
황재훈
김광민
Original Assignee
주천우
김광민
황재훈
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주천우, 김광민, 황재훈 filed Critical 주천우
Priority to KR1019990034820A priority Critical patent/KR100317478B1/ko
Publication of KR20010018740A publication Critical patent/KR20010018740A/ko
Application granted granted Critical
Publication of KR100317478B1 publication Critical patent/KR100317478B1/ko

Links

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G09B15/02—Boards or like means for providing an indication of notes

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)

Abstract

본 발명은 실시간 음악 교습 시스템 및 그 시스템에서의 음악 정보 처리 방법에 관한 것으로, 특히 마이크로폰이나 영상 스캐너를 통해 입력되는 음악 정보를 입력받아 실제 악보와 비교함으로써, 다양한 악기에 대한 실시간적인 교습이 가능하도록 한 실시간 음악 교습 시스템 및 그 시스템에서의 음악 정보 처리 방법에 관한 것이다.
종래의 음악 교습 시스템은 미디 기반의 악기에 대한 비실시간적인 음악 교습만이 가능하고, 이를 위해 별도의 악보가 필요하다는 단점이 있었으며, 이에 따라 최신 곡이나 대중적으로 알려지지 않은 곡에 대한 악보를 구하기 어려워 해당되는 음악 교습을 실시할 수 없다는 단점이 있었다.
본 발명은 마이크로폰을 통해 입력되는 음향 정보나 영상 스캐너를 통해 악보 정보를 입력받아 현재 연주되는 악기, 음정, 음계 및 박자에 대한 정보를 추출하여 악보를 편집함과 동시에 현재 연주되는 악보를 실제 악보와 비교하여 이를 시각적으로 표시해 줌으로써, 별도의 악보없이도 다양한 악기에 대한 실시간적인 음악 교습이 가능해 진다.

Description

실시간 음악 교습 시스템 및 그 시스템에서의 음악 정보 처리 방법{Real-Time Music Training System And Music Information Processing Method In That System}
본 발명은 실시간 음악 교습 시스템 및 그 시스템에서의 음악 정보 처리 방법에 관한 것으로, 특히 마이크로폰이나 영상 스캐너를 통해 입력되는 음악 정보를 입력받아 실제 악보와 비교함으로써, 다양한 악기에 대한 실시간적인 교습이 가능하도록 한 실시간 음악 교습 시스템 및 그 시스템에서의 음악 정보 처리 방법에 관한 것이다.
일반적으로, 음악 교습 분야에 있어서 인간은 기본적으로 심리 음향적 모델(psychoacousic model)에 기반하여 음의 음정과 강약 및 박자 또는 화음 등을 인지하게 된다. 즉, 신호 처리적인 측면에서 볼 때, 인간은 자신의 귀로 대역 통과 필터링되는 음의 주파수와 해당 주파수의 에너지 및 길이를 감지하여 각각의 음에 대한 정보를 획득하는 것이다.
이때, 인간의 청각 특성은 음을 각 대역으로 분해 인식하는 분해 해상도가 제한적이며, 특히, 음을 악보에 기록하기 위한 각종 기호 즉, 쉼표, 음표, 박자,강세 등은 인간이 특정 기준에 대해 정의한 심볼이기 때문에 음을 듣고 악보를 작성하거나, 악보를 보고 이를 이해하여 그에 대한 음을 발생시키는 능력은 자연적으로 습득되는 것이 아니고, 후천적으로 부단한 교습에 의해 습득될 수 있는 것이다.
이에 따라, 음악 교습은 통상 많은 노력과 시간이 소요되고, 특히, 아동들과 같이 교습 능력과 집중도가 고도하지 않은 피교습자의 경우에는 많은 노력을 들이고도 원하는 교육 효과를 달성하기 어려운 문제가 있다.
이와 같이 충분한 교습 효과를 달성할 수 없는 이유는 음악 교습의 특수성에 기인하기도 하지만 음악 교습 기자재의 열악함에도 찾을 수 있다.
따라서, 최근에 PC(Personal Computer)를 이용한 음악 교습 시스템이 개발되고 있는데, 이는 기저장된 곡과 해당 곡에 대해 기저장된 교수법에 따라 교습해야만 하므로, 실제 곡이 연주되는 상황과 다르게 교습이 진행되고 있다.
그리고, MIDI(Musical Instrument Digital Interface) 기반의 신디사이져(전자 올겐 또는 키보드)를 요구하므로, 다른 악기에 대한 교습이 이루어지지 않았다.
또한, 해당 음악 교습 시스템은 단순한 멀티미디어 저작 도구에 의해 구현되기 때문에 대부분 시각적인 교육 위주이며, 소정 곡에 대한 연주를 위해 별도로 악보를 구입해야만 했다.
즉, 음악은 시간 영역에서 발생한 신호이기 때문에 저장 매체를 이용하지 않고는 기록 보존이 어려운 관계로 이를 기호적으로 표현하고 전달하며, 기록 및 유지의 용이성을 확보할 수 있는 악보를 제작하게 되는데, 해당 곡이 새로 발표된 최신 곡이거나 대중적으로 알려지지 않은 곡인 경우에는 연주를 위한 악보를 구입하기 어려웠다.
한편, 종래 음악 교습 시스템을 이용한 교습은 제공되고 있는 악보에 의존하므로, 실제 곡과 다른 경우도 발생하는데, 예를 들면, 실제 공연과는 달리 초보자들을 위해 재편성한 악보의 경우에는 해당 음악 교습 시스템을 이용한 교습에 따라 최상의 연주를 수행하더라도 실제 공연과 같은 음악을 연주하는 것은 불가능했다.
즉, 종래에는 실시간으로 연주되는 악기에 대한 음정, 박자 등을 인식하여 음악 교습에 이용할 수 있는 기능을 수행하지 못했다.
전술한 바와 같이, 종래의 음악 교습 시스템은 미디 기반의 악기에 대한 비실시간적인 음악 교습만이 가능하고, 이를 위해 별도의 악보가 필요하다는 단점이 있었으며, 이에 따라 최신 곡이나 대중적으로 알려지지 않은 곡에 대한 악보를 구하기 어려워 해당되는 음악 교습을 실시할 수 없다는 단점이 있었다.
본 발명은 전술한 바와 같은 문제점을 해결하기 위한 것으로 그 목적은, 마이크로폰을 통해 입력되는 음향 정보나 영상 스캐너를 통해 악보 정보를 입력받아 현재 연주되는 악기, 음정, 음계 및 박자에 대한 정보를 추출하여 악보를 편집함과 동시에 현재 연주되는 악보를 실제 악보와 비교하여 이를 시각적으로 표시해 줌으로써, 별도의 악보없이도 다양한 악기에 대한 실시간적인 음악 교습이 가능하도록 하는데 있다.
도 1은 본 발명에 따른 실시간 음악 교습 시스템의 구성 블록도.
도 2는 본 발명에 따른 실시간 음악 교습 시스템의 음향 정보 처리 동작 순서도.
도 3은 도 2에 있어, 신호 처리부의 디지털 음향 정보에 대한 전처리 동작 순서도.
도 4는 도 2에 있어, 음악 정보 처리부의 복음 분석 동작 순서도.
도 5는 도 2에 있어, 음악 정보 처리부의 단음 분석 동작 순서도.
도 6은 본 발명에 따른 실시간 음악 교습 시스템의 악보 정보 처리 동작 순서도.
도 7은 도 6에 있어, 음악 정보 처리부의 스캐닝된 악보 정보에 대한 미디 파일 변환 동작 순서도.
도 8은 일반적인 악보의 일부를 예시한 도면.
* 도면의 주요 부분에 대한 부호의 설명 *
11 : 음악 정보 입력부 12 : A/D 변환부
13 : 신호 처리부 14 : DPRAM
15 : 음악 정보 처리부 16 : 디스플레이부
상술한 바와 같은 목적을 달성하기 위한 본 발명의 특징은, 아날로그 형태의 음향 정보나 스캐닝된 악보 정보를 입력받아 전달하는 음악 정보 입력부와; 상기 아날로그 형태의 음향 정보를 디지털 음향 정보로 변환하는 A/D 변환부와; 상기 디지털 음향 정보에 대한 주파수 분석을 통해 악기 음만을 추출하는 전처리 기능을 수행하는 신호 처리부와; 상기 신호 처리부에 의해 전처리된 PCM 형태의 음향 정보를 저장하는 DPRAM과; 연주되는 악기와 음정 및 박자에 대한 정보나, 악보의 구성 및 레이아웃과 음표 및 기호와 문자 정보를 전달받아 해당되는 음악적 기호를 이용하여 시각적으로 표시해 주는 디스플레이부와; 상기 DPRAM으로부터 전처리된 음향 정보를 판독 및 분석하여 인식한 악기와 음정 및 박자에 대한 정보 또는 상기 스캐닝된 악보 정보를 분석하여 전체 악보에 대한 구성 및 레이아웃과 음표 및 기호와 문자에 대한 정보를 데이터베이스에 저장함과 동시에 상기 디스플레이부로 전달하는 음악 정보 처리부를 포함하는데 있다.
본 발명의 다른 특징은, 마이크로폰을 통해 악기 소리와 같은 음향 정보가 입력받아 디지털 음향 정보로 변환하는 과정과; 상기 디지털 음향 정보에 대한 주파수 분석을 통해 주변의 소음 및 잡음에서 악기 음만을 추출하는 전처리를 수행하여 DPRAM에 저장하는 과정과; 상기 DPRAM으로부터 전처리된 음향 정보를 실시간적으로 판독 및 분석하여 복음 및 단음 분석을 수행하는 과정과; 현재 연주되는 악기를 추출함과 동시에 해당 음의 음정과 음계 및 박자에 대한 정보를 추출하는 과정과; 추출한 악기와, 음의 음정과 음계 및 박자에 대한 정보를 데이터베이스에 저장함과 동시에 디스플레이부 전달하여 해당되는 음악적 기호로 표시하는 과정을 포함하는데 있다.
나아가, 상기 디지털 음향 정보에 대한 전처리를 수행하여 DPRAM에 저장하는 과정은, 상기 디지털 음향 정보를 플로팅 포인트로 변환하여 소정 데이터 어레이에 기록하는 단계와; 상기 데이터 어레이가 모두 채워졌는지를 확인하는 단계와; 상기 데이터 어레이가 모두 채워진 경우 플로팅 포인트로 변환한 음향 정보를 대기중인 데이터 어레이에 기록함과 동시에 상기 데이터 어레이에 채워진 플로팅 포인트로 변환된 음향 정보에 대한 주파수 분석을 통해 악기 음만을 추출하는 전처리를 수행하는 과정과; 전처리된 음향 정보를 DPRAM에 저장하는 단계를 더 포함하는 것을 특징으로 한다.
본 발명의 또 다른 특징은, 영상 스캐너를 통해 스캐닝된 악보 정보를 입력받아 전체 악보의 구성 및 레이아웃을 인식하는 과정과; 각 음표 및 해당 음표를 제외한 각종 기호나 문자 정보를 인식하는 과정과; 인식된 전체 악보의 구성 및 레이아웃과 각 음표 및 각종 기호나 문자 정보를 미디 파일로 변환하는 과정과; 변환한 미디 파일을 데이터베이스에 저장함과 동시에 디스플레이부로 전달하여 해당되는 음악적 기호로 표시하는 과정을 포함하는데 있다.
또한, 상기 스캐닝된 악보 정보를 미디 파일로 변환하는 과정은, 이미지 스캐닝된 비트 맵 형태의 악보 정보를 흑백 영상으로 변환하기 위해 이진화를 수행하는 단계와; 이진화된 악보 정보로부터 오선지와 직선을 검출하는 단계와; 상기 오선지와 직선을 검출하고 남은 여분의 악보 정보인 객체를 복원하는 단계와; 복원한 각 객체마다 갖고 있는 크기나 구조적인 특징에 대한 최적 웨이트를 추정하여 각 객체에 대한 정보를 검출하는 단계와; 검출한 오선지와 직선 및 객체에 대한 정보를 미디 파일로 변환하는 단계를 더 포함하는 것을 특징으로 한다.
이하, 본 발명에 따른 실시예를 첨부한 도면을 참조하여 상세하게 설명하면 다음과 같다.
본 발명에 따른 실시간 음악 교습 시스템은 첨부한 도면 도 1에 도시한 바와 같이 음악 정보 입력부(11)와, A/D(Analog/Digital) 변환부(12)와, 신호 처리부(13)와, DPRAM(Dual Port RAM, 14)과, 음악 정보 처리부(15) 및 디스플레이부(16)를 구비하여 이루어진다.
해당 음악 정보 입력부(11)는 악기 소리와 같은 음악 정보(즉, 음향 정보)를 마이크로폰을 통해 입력받아 A/D 변환부(12)에 전달하거나, 영상 스캐너에 의해 스캐닝된 악보와 같은 음악 정보(즉, 악보 정보)를 음악 정보 처리부(15)에 전달한다.
해당 A/D 변환부(12)는 아날로그 형태의 음향 정보를 디지털 음향 정보로 변환하여 신호 처리부(13)로 전달하며, 해당 신호 처리부(13)는 디지털 음향 정보에 대한 주파수 분석을 통해 악기 음만을 추출하는 전처리 기능을 수행하여 그 결과를 DPRAM(14)에 저장시킨다.
해당 DPRAM(14)은 실시간 음악 교습을 위해 신호 처리부(13)와 음악 정보 처리부(15)에 의해 동시 제어가 가능한 메모리로서, 해당 신호 처리부(13)에 의해 전처리된 PCM(Pulse Code Modulation) 형태의 음향 정보를 저장한다.
해당 음악 정보 처리부(15)는 DPRAM(14)으로부터 전처리된 음향 정보를 판독 및 분석하여 현재 연주되고 있는 악기의 종류와, 연주되는 음의 음정과 음계 및 해당 음이 지속되는 박자등을 인식하고, 인식한 악기와 음정 및 박자에 대한 정보를 악보 편집 및 작곡이 가능하도록 데이터베이스(도면에 도시되어 있지 않음)에 저장함과 동시에 디스플레이부(16)로 전달한다.
또한, 해당 음악 정보 처리부(15)는 음악 정보 입력부(11)로부터 전달받은 스캐닝된 악보 정보를 분석하여 전체 악보에 대한 구성 및 레이아웃(lay-out)을 인식하고, 각 음표 및 해당 음표를 제외한 각종 기호와 문자를 인식하며, 인식한 악보의 구성 및 레이아웃과 음표 및 기호와 문자에 대한 정보를 악보 편집 및 작곡이 가능하도록 미디 파일 형태로 데이터베이스에 저장함과 동시에 디스플레이부(16)로 전달한다.
해당 디스플레이부(16)는 음악 정보 처리부(15)로부터 전달되는 악기와 음정 및 박자에 대한 정보나, 악보의 구성 및 레이아웃과 음표 및 기호와 문자 정보를 분석하여 해당되는 음악적 기호를 이용하여 시각적으로 표시해 준다.
이때, 해당 음악적 기호를 이용한 표시 방법으로는 악보 오선지상의 각 음정에 발광 다이오드나 램프 등과 같은 발광 수단을 구비하여 표시해 주는 방법과 브라운관을 이용하여 표시해 주는 방법을 적용할 수 있다.
이것은 피교습자가 다양한 악기를 이용하여 연주한 악보와 실제 악보상의 음정 및 박자를 비교하여 실시간적으로 평가할 수 있도록 하는 편의성을 제공하게 된다.
이와 같이 구성된 본 발명에 따른 실시간 음악 교습 시스템의 음악 정보 처리 동작을 설명하면 다음과 같다.
첫째로, 해당 실시간 음악 교습 시스템의 음향 정보 처리 동작을 첨부한 도면 도 2를 참조하여 설명하면, 음악 정보 입력부(11)의 마이크로폰을 통해 악기 소리와 같은 음향 정보가 입력되는 경우 A/D 변환부(12)에서 입력된 아날로그 형태의 음향 정보를 디지털 음향 정보로 변환한 후(스텝 S21, S22), 신호 처리부(13)로 전달하게 된다.
그러면, 해당 신호 처리부(13)는 전달받은 디지털 음향 정보에 대한 주파수 분석을 통해 주변의 소음 및 잡음에서 악기 음만을 추출하는 전처리를 수행한 후(스텝 S23), 해당 전처리된 음향 정보를 DPRAM(14)에 저장하게 된다(스텝 S24).
이때, 음악 정보 처리부(15)는 DPRAM(14)으로부터 전처리된 음향 정보를 실시간적으로 판독 및 분석하여 현재 연주되고 있는 악기의 종류와 연주되는 음의 음정과 음계 및 해당 음이 지속되는 박자등을 확인하는 복음(두 개 이상의 악기에 의해 연주되는 음) 및 단음(연주되는 악기중에서 가장 주가되는 하나의 악기에 의해 연주되는 음) 분석을 수행하게 된다(스텝 S25).
이에, 해당 음악 정보 처리부(15)는 복음 및 단음 분석 결과로 현재 연주되는 악기를 추출함과 동시에 해당 음의 음정과 음계 및 박자에 대한 정보를 추출하게 되고(스텝 S26), 추출한 악기와, 음의 음정과 음계 및 박자에 대한 정보를 데이터베이스에 저장함과 동시에 디스플레이부(16)로 전달하게 되는데(스텝 S27), 이때, 해당 정보를 데이터베이스에 저장함에 따라 초보자 위주로 편성된 기존 악보의 단점을 극복하여 실제 연주되는 음악에 맞는 악보를 편집할 수 있게 된다.
또한, 해당 디스플레이부(16)는 음악 정보 처리부(15)로부터 전달되는 악기와 음정 및 박자에 대한 정보를 분석하여 해당되는 음악적 기호를 이용하여 실시간적으로 표시해 줌으로써(스텝 S28), 새로운 음악의 경우 악보 출하를 기다려야 하는 불편함과 기존의 키보드를 이용한 악보 입력에 따른 수고를 덜 수 있게 된다.
여기서, 상술한 신호 처리부(13)의 디지털 음향 정보에 대한 전처리 동작을 첨부한 도면 도 3을 참조하여 보다 상세하게 설명하면, 해당 신호 처리부(13)는 A/D 변환부(12)로부터 전달받은 디지털 음향 정보 즉, 14비트 양자화된 음향 정보를 플로팅 포인트(floating point)로 변환하여(스텝 S31), 소정 데이터 어레이(Data Array)에 기록하게 된다(스텝 S32).
그리고, 해당 데이터 어레이가 모두 채워졌는지를 확인하여(스텝 S33), 해당 데이터 어레이가 모두 채워진 경우 해당 신호 처리부(13)는 플로팅 포인트로 변환한 음향 정보를 대기중인 데이터 어레이에 기록하게 된다.
이와 동시에, 해당 신호 처리부(13)는 현재 데이터 어레이에 채워진 플로팅 포인트로 변환된 음향 정보에 대한 주파수 분석을 수행하여(스텝 S34), 주변의 소음 및 잡음에서 악기 음만을 추출하는 전처리를 수행한 후(스텝 S35), 해당 전처리된 음향 정보를 DPRAM(14)에 저장하게 된다(스텝 S36).
이후, 해당 데이터 어레이가 모두 채워졌는지를 확인하는 스텝 S33으로 귀환하여 반복 동작을 수행함으로써, 해당 음악 정보 입력부(11)의 마이크로폰을 통해 입력되는 음향 정보로부터 현재 연주되는 악기 음만을 추출한 음향 정보 즉, 전처리된 음향 정보를 DPRAM(14)에 저장할 수 있게 된다.
또한, 상술한 실시간 음악 교습 시스템의 음향 정보 처리 동작에 있어서, 해당 음악 정보 처리부(15)의 복음 및 단음 분석 동작을 설명하면 다음과 같다.
먼저, 해당 음악 정보 처리부(15)의 복음 분석 동작은 첨부한 도면 도 4와 같이 수행되는데, 해당 DPRAM(14)으로부터 판독한 전처리된 음향 정보 즉, PCM(Pulse Code Modulation) 형태의 전처리된 음향 정보를 주파수 영역의 음향 정보로 변환한 후(스텝 S41), 해당되는 주파수 스펙트럼으로 표시하게 된다(스텝 S42).
그리고, 해당 음악 정보 처리부(15)는 주파수 스펙트럼으로 표시된 전처리된 음향 정보의 정규화(Normalize)를 위한 최대값을 산출한 후(스텝 S43), 해당 최대값을 기준으로 연주된 음이 존재하는지를 확인하게 된다(스텝 S44).
이때, 연주된 음이 존재하는 경우 복음 검출을 위한 임계값을 기준으로 해당 음이 복음에 해당되는 음계값인지를 확인하여(스텝 S45), 해당 복음에 해당되는 음계값이 아닌 경우 스텝 S44로 귀환하여 반복 동작을 수행하게 된다.
그런데, 스텝 S45에서 해당 복음에 해당되는 음계값인 경우 현재의 음향 정보를 연주되고 있는 다양한 악기의 종류와 연주되는 음의 음정과 음계 및 박자 등을 추정하여(스텝 S46), 데이터 맵에 저장하게 된다(스텝 S47).
다음으로, 해당 음악 정보 처리부(15)의 단음 분석 동작은 첨부한 도면 도 5와 같이 수행되는데, 해당 DPRAM(14)으로부터 판독한 전처리된 음향 정보 즉, PCM(Pulse Code Modulation) 형태의 전처리된 음향 정보를 주파수 영역의 음향 정보로 변환한 후(스텝 S51), 해당되는 주파수 스펙트럼으로 표시하게 된다(스텝 S52).
그리고, 해당 음악 정보 처리부(15)는 주파수 스펙트럼으로 표시된 전처리된 음향 정보의 정규화(Normalize)를 위한 최대값을 산출한 후(스텝 S53), 해당 최대값을 기준으로 연주된 음이 존재하는지를 확인하게 된다(스텝 S54).
이때, 연주된 음이 존재하는 경우 단음 검출을 위한 임계값을 기준으로 해당 음이 단음에 해당되는 음계값인를 확인하여(스텝 S55), 해당 단음에 해당되는 음계값이 아닌 경우 스텝 S54로 귀환하여 반복 동작을 수행하게 된다.
그런데, 스텝 S55에서 해당 단음에 해당되는 음계값인 경우 현재의 음향 정보를 연주되고 있는 악기의 종류와 연주되는 음의 음정과 음계 및 박자 등을 추정하여(스텝 S56), 데이터 맵에 저장하게 된다(스텝 S57).
둘째로, 해당 실시간 음악 교습 시스템의 악보 정보 처리 동작을 첨부한 도면 도 6을 참조하여 설명하면, 해당 음악 정보 입력부(11)는 영상 스캐너를 통해 스캐닝된 악보 정보를 입력받은 후(스텝 S61), 음악 정보 처리부(15)로 전달한다.
이에, 해당 음악 정보 처리부(15)는 전달받은 스캐닝된 악보 정보를 분석하여 전체 악보의 구성 및 레이아웃을 인식함과 동시에 각 음표 및 해당 음표를 제외한 각종 기호나 문자 정보를 인식한 후(스텝 S62), 미디 파일 형태로 변환하여(스텝 S63), 데이터베이스에 저장함과 동시에 디스플레이부(16)로 전달하게 되는데(스텝 S64), 이때, 해당 스캐닝된 악보 정보를 미디 파일 형태로 데이터베이스에 저장함에 따라 악보 편집 및 작곡 등에 이용할 수 있게 된다.
또한, 해당 디스플레이부(16)는 음악 정보 처리부(15)로부터 전달되는 악보의 구성 및 레이아웃과 음표 및 기호와 문자 정보를 분석하여 해당되는 음악적 기호를 이용하여 실시간적으로 표시해 줌으로써(스텝 S65), 기존의 키보드를 이용한 악보 입력에 따른 수고를 덜 수 있게 된다.
여기서, 해당 음악 정보 처리부(15)의 스캐닝된 악보 정보에 대한 미디 파일 변환 동작을 첨부한 도면 도 7을 참조하여 보다 상세하게 설명하면 다음과 같다.
먼저, 음악 정보 입력부(11)의 영상 스캐너에 의해 이미지 스캐닝된 비트 맵(bit map) 형태의 악보 정보가 음악 정보 처리부(15)로 전달되면, 해당 음악 정보 처리부(15)는 전달받은 비트 맵 형태의 스캐닝된 악보 정보인 컬러 영상을 흑백 영상으로 변환하기 위해 이진화를 수행한 후(스텝 S71), 이진화된 악보 정보로부터 오선지와 직선을 검출하게 된다.
여기서, 직선이라 함은 첨부된 예시도면 도 8에 있어, 각 음표의 머리(3)를 제외한 꼬리(4)를 의미한다.
즉, 해당 음악 정보 처리부(15)는 이진화된 악보 정보로부터 오선지(5)를 검출하고(스텝 S72), 검출한 오선지(5)가 실제 오선지인지를 검증한 후(스텝 S73), 직선(4)을 검출하게 되는데(스텝 S74), 이때, 해당 오선지(5)와 직선(4)을 검출하고 남은 여분의 악보 정보가 손실되는 것을 방지하기 위해 퍼지 벌레 검색을 통한 악보 복원을 수행하여, 해당 오선지(5)와 직선(4) 외의 문자(2)를 포함한 음악적기호(1, 3)인 객체를 복원하게 된다(스텝 S75).
이후, 해당 음악 정보 처리부(15)는 복원한 각 객체마다 갖고 있는 크기나 구조적인 특징에 대한 최적 웨이트를 유전 알고리즘을 이용하여 추정해서 각 객체에 대한 정보를 검출하게 된다(스텝 S76).
이에 따라, 해당 음악 정보 처리부(15)는 스캐닝된 악보 정보로부터 검출한 오선지와 직선 및 해당 객체에 대한 정보를 미디 파일 형태로 변환하게 된다(스텝 S77).
또한, 본 발명에 따른 실시간 음악 교습 시스템은 마이크로폰 및 영상 스캐너로 음향 및 악보 정보를 손쉽게 추출해내어 실시간으로 교습을 수행할 수 있으며, 다양한 악기에 대한 교습이 가능해 지고, 실제 연주되는 상황한 동일한 상황에서 연주된 악보와 실제 악보를 실시간으로 비교하여 평가 및 지도할 수 있게 된다.
한편, 본 발명에 따른 실시예는 상술한 것으로 한정되지 않고, 본 발명과 관련하여 통상의 지식을 가진자에게 자명한 범위내에서 여러 가지의 대안, 수정 및 변경하여 실시할 수 있는데, 예를 들어, 예비 연주자들을 위한 교습용 시스템, 전문 연주자들을 위한 연주자 시스템, CD(Compact Disk)와 마이크로폰을 이용한 악보 인식 시스템, 청음과 악보 인식을 통한 작곡 시스템, 작곡과 접목된 하드 레코딩 시스템, 악보 인식을 통한 출판 시스템, 실시간 교습 시스템 등에 적용하여 실시할 수 있다.
이상과 같이, 본 발명은 마이크로폰을 통해 입력되는 음향 정보나 영상 스캐너를 통해 악보 정보를 입력받아 현재 연주되는 악기, 음정, 음계 및 박자에 대한 정보를 추출하여 악보를 편집함과 동시에 현재 연주되는 악보를 실제 악보와 비교하여 이를 시각적으로 표시해 줌으로써, 별도의 악보없이도 다양한 악기에 대한 실시간적인 음악 교습이 가능해 진다.

Claims (7)

  1. 아날로그 형태의 음향 정보나 스캐닝된 악보 정보를 입력받아 전달하는 음악 정보 입력부와; 상기 아날로그 형태의 음향 정보를 디지털 음향 정보로 변환하는 A/D 변환부와; 상기 디지털 음향 정보에 대한 주파수 분석을 통해 악기 음만을 추출하는 전처리 기능을 수행하는 신호 처리부와; 상기 신호 처리부에 의해 전처리된 PCM 형태의 음향 정보를 저장하는 DPRAM과; 연주되는 악기와 음정 및 박자에 대한 정보나, 악보의 구성 및 레이아웃과 음표 및 기호와 문자 정보를 전달받아 해당되는 음악적 기호를 이용하여 시각적으로 표시해 주는 디스플레이부와; 상기 DPRAM으로부터 전처리된 음향 정보를 판독 및 분석하여 인식한 악기와 음정 및 박자에 대한 정보 또는 상기 스캐닝된 악보 정보를 분석하여 전체 악보에 대한 구성 및 레이아웃과 음표 및 기호와 문자에 대한 정보를 데이터베이스에 저장함과 동시에 상기 디스플레이부로 전달하는 음악 정보 처리부를 포함하는 것을 특징으로 하는 실시간 음악 교습 시스템.
  2. 마이크로폰을 통해 악기 소리와 같은 음향 정보가 입력받아 디지털 음향 정보로 변환하는 과정과; 상기 디지털 음향 정보에 대한 주파수 분석을 통해 주변의 소음 및 잡음에서 악기 음만을 추출하는 전처리를 수행하여 DPRAM에 저장하는 과정과; 상기 DPRAM으로부터 전처리된 음향 정보를 실시간적으로 판독 및 분석하여 복음 및 단음 분석을 수행하는 과정과; 현재 연주되는 악기를 추출함과 동시에 해당 음의 음정과 음계 및 박자에 대한 정보를 추출하는 과정과; 추출한 악기와, 음의 음정과 음계 및 박자에 대한 정보를 데이터베이스에 저장함과 동시에 디스플레이부 전달하여 해당되는 음악적 기호로 표시하는 과정을 포함하는 것을 특징으로 하는 실시간 음악 교습 시스템에서의 음악 정보 처리 방법.
  3. 제 2항에 있어서,
    상기 디지털 음향 정보에 대한 전처리를 수행하여 DPRAM에 저장하는 과정은, 상기 디지털 음향 정보를 플로팅 포인트로 변환하여 소정 데이터 어레이에 기록하는 단계와; 상기 데이터 어레이가 모두 채워졌는지를 확인하는 단계와; 상기 데이터 어레이가 모두 채워진 경우 플로팅 포인트로 변환한 음향 정보를 대기중인 데이터 어레이에 기록함과 동시에 상기 데이터 어레이에 채워진 플로팅 포인트로 변환된 음향 정보에 대한 주파수 분석을 통해 악기 음만을 추출하는 전처리를 수행하는 과정과; 전처리된 음향 정보를 DPRAM에 저장하는 단계를 더 포함하는 것을 특징으로 하는 실시간 음악 교습 시스템에서의 음악 정보 처리 방법.
  4. 제 2항에 있어서,
    상기 전처리된 음향 정보에 대한 복음 및 단음 분석을 수행하는 과정은, 상기 DPRAM으로부터 판독한 PCM 형태의 전처리된 음향 정보를 주파수 영역의 음향 정보로 변환하여 주파수 스펙트럼으로 표시하는 단계와; 상기 주파수 스펙트럼으로 표시된 전처리된 음향 정보의 정규화를 위한 최대값을 산출하여 연주된 음이 존재하는지를 확인하는 단계와; 연주된 음이 존재하는 경우 복음 검출을 위한 임계값을 기준으로 확인된 복음에 해당되는 음계값에 대한 다양한 악기의 종류와 음의 음정과 음계 및 박자 등을 추정하여 데이터 맵에 저장하는 단계를 더 포함하는 것을 특징으로 하는 실시간 음악 시스템에서의 음악 정보 처리 방법.
  5. 제 2항에 있어서,
    상기 전처리된 음향 정보에 대한 복음 및 단음 분석을 수행하는 과정은, 상기 DPRAM으로부터 판독한 PCM 형태의 전처리된 음향 정보를 주파수 영역의 음향 정보로 변환하여 주파수 스펙트럼으로 표시하는 단계와; 상기 주파수 스펙트럼으로 표시된 전처리된 음향 정보의 정규화를 위한 최대값을 산출하여 연주된 음이 존재하는지를 확인하는 단계와; 연주된 음이 존재하는 경우 단음 검출을 위한 임계값을 기준으로 확인된 단음에 해당되는 음계값에 대한 다양한 악기의 종류와 음의 음정과 음계 및 박자 등을 추정하여 데이터 맵에 저장하는 단계를 더 포함하는 것을 특징으로 하는 실시간 음악 시스템에서의 음악 정보 처리 방법.
  6. 영상 스캐너를 통해 스캐닝된 악보 정보를 입력받아 전체 악보의 구성 및 레이아웃을 인식하는 과정과; 각 음표 및 해당 음표를 제외한 각종 기호나 문자 정보를 인식하는 과정과; 인식된 전체 악보의 구성 및 레이아웃과 각 음표 및 각종 기호나 문자 정보를 미디 파일로 변환하는 과정과; 변환한 미디 파일을 데이터베이스에 저장함과 동시에 디스플레이부로 전달하여 해당되는 음악적 기호로 표시하는 과정을 포함하는 것을 특징으로 하는 실시간 음악 시스템에서의 음악 정보 처리 방법.
  7. 제 6항에 있어서,
    상기 스캐닝된 악보 정보를 미디 파일로 변환하는 과정은, 이미지 스캐닝된 비트 맵 형태의 악보 정보를 흑백 영상으로 변환하기 위해 이진화를 수행하는 단계와; 이진화된 악보 정보로부터 오선지와 직선을 검출하는 단계와; 상기 오선지와 직선을 검출하고 남은 여분의 악보 정보인 객체를 복원하는 단계와; 복원한 각 객체마다 갖고 있는 크기나 구조적인 특징에 대한 최적 웨이트를 추정하여 각 객체에 대한 정보를 검출하는 단계와; 검출한 오선지와 직선 및 객체에 대한 정보를 미디 파일로 변환하는 단계를 더 포함하는 것을 특징으로 하는 실시간 음악 교습 시스템에서의 음악 정보 처리 방법.
KR1019990034820A 1999-08-21 1999-08-21 실시간 음악 교습 시스템 및 그 시스템에서의 음악 정보 처리방법 KR100317478B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990034820A KR100317478B1 (ko) 1999-08-21 1999-08-21 실시간 음악 교습 시스템 및 그 시스템에서의 음악 정보 처리방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990034820A KR100317478B1 (ko) 1999-08-21 1999-08-21 실시간 음악 교습 시스템 및 그 시스템에서의 음악 정보 처리방법

Publications (2)

Publication Number Publication Date
KR20010018740A KR20010018740A (ko) 2001-03-15
KR100317478B1 true KR100317478B1 (ko) 2001-12-22

Family

ID=19608196

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990034820A KR100317478B1 (ko) 1999-08-21 1999-08-21 실시간 음악 교습 시스템 및 그 시스템에서의 음악 정보 처리방법

Country Status (1)

Country Link
KR (1) KR100317478B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011052905A2 (ko) * 2009-10-28 2011-05-05 Chung Young Il 절대음감 학습 방법/장치, 전자악기 및 음원 처리 장치

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002221181A1 (en) * 2000-12-05 2002-06-18 Amusetec Co. Ltd. Method for analyzing music using sounds of instruments
KR100455751B1 (ko) * 2001-12-18 2004-11-06 어뮤즈텍(주) 연주악기의 소리정보를 이용한 음악분석장치
KR100732557B1 (ko) * 2005-03-09 2007-06-27 정연진 이미지 형태로 저장된 사운드 파일을 재생하는 방법과 이를이용한 사운드 재생 시스템
KR100814781B1 (ko) * 2006-06-09 2008-03-26 주식회사 인스모바일 게임을 통한 음정 교육 서비스 장치 및 그 방법
KR101459324B1 (ko) 2013-08-28 2014-11-07 이성호 음원 평가방법 및 이를 이용한 음원의 평가장치

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011052905A2 (ko) * 2009-10-28 2011-05-05 Chung Young Il 절대음감 학습 방법/장치, 전자악기 및 음원 처리 장치
WO2011052905A3 (ko) * 2009-10-28 2011-09-01 Chung Young Il 절대음감 학습 방법/장치, 전자악기 및 음원 처리 장치
KR101074766B1 (ko) 2009-10-28 2011-10-19 정영일 절대음감 학습 방법/장치, 전자악기 및 음원 처리 장치

Also Published As

Publication number Publication date
KR20010018740A (ko) 2001-03-15

Similar Documents

Publication Publication Date Title
US5889224A (en) Karaoke scoring apparatus analyzing singing voice relative to melody data
US7605322B2 (en) Apparatus for automatically starting add-on progression to run with inputted music, and computer program therefor
US7189912B2 (en) Method and apparatus for tracking musical score
US6856923B2 (en) Method for analyzing music using sounds instruments
US7368652B2 (en) Music search system and music search apparatus
US5939654A (en) Harmony generating apparatus and method of use for karaoke
US7335834B2 (en) Musical composition data creation device and method
JP2007256617A (ja) 楽曲練習装置および楽曲練習システム
CN113836344A (zh) 个性化歌曲文件生成方法和装置、音乐演唱设备
KR100317478B1 (ko) 실시간 음악 교습 시스템 및 그 시스템에서의 음악 정보 처리방법
JP2007264569A (ja) 検索装置、制御方法及びプログラム
CN112634841B (zh) 一种基于声音识别的吉他谱自动生成方法
JP2008040259A (ja) 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
CN111627409B (zh) 一种钢琴弹奏的教学辅助系统
JP2008040260A (ja) 楽曲練習支援装置、動的時間整合モジュールおよびプログラム
JP2001324987A (ja) カラオケ装置
JP6954780B2 (ja) カラオケ装置
KR20130058384A (ko) 휴대용 드럼연주시스템
JP2007225916A (ja) オーサリング装置、オーサリング方法およびプログラム
US20220415289A1 (en) Mobile App riteTune to provide music instrument players instant feedback on note pitch and rhythms accuracy based on sheet music
JPS60221786A (ja) 歌唱指導装置
WO2022172732A1 (ja) 情報処理システム、電子楽器、情報処理方法および機械学習システム
JP5847049B2 (ja) 楽器音出力装置
JPS6237791B2 (ko)
CN118155591A (zh) 一种具有引导和评估功能的智能钢琴教学方法及系统

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee