KR20070000133A - 음악 교습 시스템 - Google Patents

Abstract

본 발명은 자율학습이 가능한 대화형 멀티미디어 음악교육 시스템을 제공한다. 학습자가 악보를 선택하면 컴퓨터에 프로그램화 된 연주 데이터가 재생되면서 악보의 흐름을 나타낸다. 컴퓨터 화면에 표시되는 악보를 보면서 학습자가 악기를 연주하면 연주한 악기음을 녹음하고 파일로 저장한다. 디지털신호처리 기술을 이용하여 저장된 연주 데이터를 컴퓨터에 프로그램화 된 연주 데이터와 비교하여 음정 및 박자의 정확도를 분별하고 오차범위를 벗어나는 부분을 표시해준다. 본 발명은 학습자에게 연주음의 오차를 인지하도록 하여 취약부분을 반복학습하게 함으로써 정확한 연주를 할 수 있는 능력을 습득하도록 하는 멀티미디어 음악 교육 시스템이다.

Description

음악 교습 시스템{system for musical education}

본 발명은 대화형 멀티미디어 음악교육 시스템으로 보다 상세하게는 학습자가 컴퓨터를 매개로 하여 연주한 악기음을 샘플링하고, 샘플링된 악기음에 STFT(Short Time Fourier Transform)를 적용하여 학습자의 연주에서 음정과 박자의 정확도를 분별하여 음높이와 박자를 악보에 맞게 정확하게 연주할 수 있도록 하는 반복학습 시스템이다.

이 시스템은 인지적 학습능력 향상을 위한 교육공학적 측면에서 사용자와 컴퓨터의 상호작용을 통해 학습되는 음악교육의 가장 중요한 핵심이라고 할 수 있다.

음악교육용 시장은 다른 교육용 시장과는 달리 학습자의 이탈이 매우 적으며 학습의 지속성과 연속성을 가지고 있다는 장점이 있다. 음악은 학습의 성취동기가 명확하고 재미있게 즐긴다는 측면에서 다른 교육용 시장과는 달리 양질의 고객을 지속적으로 확보할 수 있다.

본 발명의 음악교육용 시스템은 제도권 교육만을 목표로 하고 있는 것은 아니며, 어느 정도의 경제적인 안정을 가진 3, 40대의 청장년층도 그 대상으로 포함한다.

특히 이 계층은 과거에 이루지 못했던 문화적 욕구는 강하지만 바쁜 사회생활로 인한 시간적 제약으로 언제 어디서나 학습이 가능한 컴퓨터를 활용하는 교육용 매체가 가장 적합하다.

본 발명은 학습자가 학원이나 스승의 도움 없이 컴퓨터를 이용하여 스스로 학습할 음악을 선택하고 자신의 실력을 비교 분석된 수치를 통해 판단하여 교정하는 자율적인 학습을 할 수 있는 음악 교육 시스템을 제공하는 데 그 목적이 있다.

본 발명이 이루고자 하는 또 다른 기술적 과제는 화면에 표시되는 악보를 보면서 학습자가 연주를 하면 디지털신호처리 기술을 이용하여 음정과 박자를 분별하여 학습자에게 이를 인지하도록 하여 취약부분을 반복학습하게 함으로써 최종적으로 정확한 연주를 할 수 있는 능력을 습득하도록 하는 데 그 목적이 있다.

본 발명은 학습자가 모니터에서 컬러링되는 악보의 흐름에 따라 내장된 음원의 반주와 함께 연주를 진행하고 그 연주는 컴퓨터에 입력되어 음정과 박자의 체크모듈에서 체크되어지고 오차범위를 벗어나는 부분은 다른 색으로 컬러링되어 취약부분의 피드백이 가능하게 구성돼 있다. 본 발명은 학습자가 연주한 악기음을 샘플링하고 샘플링된 악기음에 Short Time Fourier Transform을 적용하여 음정의 정확도를 분별하는 것으로 학습자의 연주에서 박자의 정확도를 분별하는 기술을 복합적으로 적용하여 음높이와 박자를 악보에 맞게 정확하게 연주할 수 있도록 하는 반복학습 시스템을 제공한다.

도 1은 본 발명의 전체 시스템의 기능별 구성도로써. 도시한 바와 같이

사용자의 선택에 따라 현재 연주되어야 할 부분을 표시, Check Process부(20)에서 출력된 평가 결과 표시, 틀린 부분을 악보 상에 표시토록 하는 악보표시부(10)와;

저장매체부(40)에서 저장된 연주 데이터와 실제 악기 연주의 데이터를 비교하여 음높이와 박자의 틀린 부분을 체크하는 Check Process부(20)와;

저장매체부(40)에서 저장된 평가 결과를 표시하는 연주평가부(30)와;

프로그램된 연주 데이터와 실제 악기 연주 데이터를 저장하고 Check Process부(20)에서 출력된 평가 결과를 저장하는 저장매체부(40)와;

사용자가 연주하는 연주 데이터를 사운드카드를 통해 입력하고 저장되어 있는 연주 데이터를 재생해주는 입출력부(50)와;

입출력부(50)에서 입력된 연주 데이터를 녹음하고 저장되어 있는 반주음 및 녹음 데이터를 재생해 주는 신호처리부(60)를 포함하여 구성한다.

악보표시부(10)에서는 컴퓨터 화면에 악보를 표시하며 매시간 연주할 부분을 각 음표에 색깔로 구분하여 표시(11)하여 준다. 또한 시간정보와 음높이 정보는 연주평가 후에 박자분별 및 음높이 체크의 기준으로 활용(21)된다. 연주 종료 후 녹음된 연주음 재생 시에는 악보와 다르게 연주된 부분을 별도 표시(12)해준다.

신호처리부(60)에서는 연주자에게 선택적으로 헤드셋(51)을 통해 반주음을 재생(61)해주며 학습자가 연주한 악기음을 마이크(53)를 통해 녹음(62)하고 파일로 저장(43)하면서 STFT 기반으로 음높이를 분석(22)한다. 매시간의 음높이 분석 정보는 시간정보와 함께 저장(42)되며 연주평가부(31)에도 전달된다.

Check Process 부분(20)은 STFT를 이용하여 악보표시부(10)에서 제공된 연주할 음의 음높이 및 시간 정보(21)와 신호처리부(60)에서 분석된 매시간에 연주된 음의 음높이 정보(43)를 비교(22)하고 현재의 데이터 시작부분부터 마지막까지의 시간동안 오차범위 이내에 음정이 입력되었는지를 확인(22), 저장(42)하며 연주 종료 후 연주의 수준을 판별하여 표시(12)해준다. 박자의 정확도를 체크하기 위해서는 반주음에 포함된 시간기준신호를 STFT로 검출하여 매 10m/sec마다 분석되어 나오는 음높이 정보의 비교를 통해 박자 정확도를 체크한다.

연주 평가부분(30)에서는 연주 종료 후 녹음된 연주를 재생하면서 실제 악보와 다르게 연주된 부분을 표시(12)하여 사용자가 연주하고 있는 연주 데이터와 연주 대상인 악보 데이터를 동시에 관찰하고 틀린 부분을 인식하도록 도와준다.

도 2는 본 발명의 동작순서를 나타낸 플로우챠트로써,

운지법을 선택하면 각 음에 따른 악기 운지법을 설명하는 운지법 출력단계(210)와 곡명을 선택하면 곡명 선택 메뉴가 디스플레이 되는 단계(220)와 운지표를 선택하면 음에 대한 운지법을 악보 상에 보여주는 운지표 출력단계(230)와 곡듣기를 선택하면 선택된 곡에 해당하는 연주음을 재생해주는 연주곡 출력단계(240)와 반주와 함께 연주를 선택하면 선택된 곡의 반주음과 학습자의 연주음을 비교하여 틀린 지점을 표시해주는 평가단계(250)를 포함하여 이루어진다.

상기에서 운지법 출력단계(210)는 음 선택 메뉴가 디스플레이되는 단계(211)와 상기단계(211)에서 선택된 음에 대한 운지법이 출력되는 단계(212)로 이루어진다.

운지표 출력단계(230)는 선택된 악보의 각각의 음에 대한 운지법을 악보 상에 한번에 보여주는 운지표 출력단계(231)로 이루어진다.

연주곡 출력단계(240)는 선택된 곡에 해당하는 프로그램된 연주 데이터를 재생해주는 연주곡 출력단계(241)로 이루어진다.

평가단계(250)는 반주음을 재생해 주는 해당곡 반주음 출력단계(251)와 학습자의 연주음을 분석하여 악보에 표시하는 사용자 연주음 악보 표시단계(252)와 연주 종료 후 상기단계(251, 252)의 연주음을 비교하여 잘못 연주된 부분을 악보 상에 디스플레이 하는 오연주된 부분 표시단계(253)로 이루어진다.

상술한 바와 같이 본 발명은 디지털신호처리 기술을 이용하여 음정과 박자를 분별하여 학습자로 하여금 연주에 있어서 틀리는 부분을 쉽게 감지하여 자신의 실력을 판단하고 취약부분을 반복학습하게 함으로써 최종적으로 정확한 연주를 할 수 있는 능력을 습득하는 효과를 제공한다.

도 1은 본 발명의 전체 시스템의 기능별 구성도이다.

도 2는 본 발명의 동작 순서를 개략적으로 도시한 플로우 챠트다.

<도면의 주요부분에 대한 부호의 설명>

10 : 악보표시부

20 : Check Process

30 : 연주평가부

40 : 저장매체부

50 : 입출력부

51 : 헤드셋

52 : 마이크

60 : 신호처리부

Claims (9)

1. 마이크를 통해 녹음되는 실제 악기 연주 데이터의 시간정보 및 음높이를 추출하고 저장매체부에 저장된 연주 데이터를 청각적으로 재생하는 신호처리부와;

   각 곡에 대하여 연주 데이터와 평가 결과를 저장하는 저장매체부와;

   상기 저장매체부에서 저장된 연주 데이터와 실제 악기 연주의 데이터를 비교하여 일치하지 않는 부분을 체크하는 Check Process부와;

   상기 Check Process부에서 체크되어 저장매체부에 저장된 평가 결과를 표시하는 연주평가부와;

   사용자의 선택에 따라 연주 대상 악보를 출력하고 저장매체부에 저장된 평가 결과에 따라 연주음의 악보 상태 표시, 연주 중 틀린 부분을 악보 상에 표시토록 하는 악보표시부를 포함하여 구성함을 특징으로 하는 음악 교습 시스템.
2. 제 1 항에 있어서, 상기 저장매체부는

   연주 데이터 재생에 필요한 기본음 데이터를 더 포함하는 것을 특징으로 하는 음악 교습 시스템.
3. 제 1 항 또는 제 2 항에 있어서, 상기 저장매체부는

   시디롬 타이틀과 같은 독립된 보조기억장치에 내장되는 것을 특징으로 하는 음악 교습 시스템.
4. 제 1 항에 있어서, 상기 악보표시부는

   실제 악기 연주 데이터 상태를 악보형태로 표시하고 연주 데이터의 기본음을 악보로 표시하며, 기본 연주 데이터와 실제 악기 연주 데이터의 음정 및 박자가 일치하지 않을 경우 이를 표시하는 수단을 더 포함하는 것을 특징으로 하는 음악 교습 시스템.
5. 연주곡을 선택하면 저장된 연주 데이터를 표시하고 출력하는 연주곡 출력단계와;

   운지법을 선택하면 선택된 음의 운지법을 디스플레이 해주는 운지법 출력단계와;

   운지표를 선택하면 선택된 곡의 악보상에 각 음의 운지법을 디스플레이 해주는 운지표 출력단계와;

   평가를 선택하면 기본 연주 데이터와 학습자의 악기 연주 데이터를 비교하여 틀린 지점을 표시해주는 평가단계를 포함하여 이루어지는 것을 특징으로 하는 음악 교습 시스템.
6. 제 5 항에 있어서, 연주곡 출력단계는,

   상기 단계에서 곡명을 선택하면 해당 악기의 해당 곡에 대한 악보를 모니터 상에 출력시키는 단계와;

   스피커를 통해 해당곡을 출력시키는 단계로 이루어짐을 특징으로 하는 음악 교습 시스템.
7. 제 5 항에 있어서, 운지법 출력단계는,

   상기 단계에서 음을 선택하면 해당 음의 운지법을 화면에 표시하는 단계로 이루어짐을 특징으로 하는 음악 교습 시스템.
8. 제 5 항에 있어서, 운지표 출력단계는,

   상기 단계에서 곡명을 선택하면 해당 곡의 운지법을 화면에 악보형태로 표시하는 단계로 이루어짐을 특징으로 하는 음악 교습 시스템.
9. 제 5 항에 있어서, 상기 평가단계는,

   상기 단계에서 곡명 선택이 완료되면 표시화면에 해당 곡의 악보를 표시하는 단계와;

   현재 연주가 진행되어야 할 부분을 악보에서 표시하는 단계와;

   학습자가 연주하는 연주 데이터를 분석하여 악보에 표시하는 단계와;

   연주 종료 후 잘못 연주된 부분을 표시하는 단계로 이루어짐을 특징으로 하는 음악 교습 시스템.