KR102481267B1 - 선택곡 보정 기능을 지원하는 청각 장애인 음악 교육 장치, 방법 및 프로그램 - Google Patents

Abstract

선택곡 보정 기능을 지원하는 청각 장애인 음악 교육 장치, 방법 및 프로그램이 개시된다. 음악 교육 장치는, 적어도 하나의 프로세서(processor); 및 상기 적어도 하나의 프로세서가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함하고, 상기 적어도 하나의 프로세서는, 음성 데이터를 수신하고, 수신된 음성 데이터와 대응되는 음정 및 크기에 대한 텍스트 데이터, 이미지 데이터 및 진동 제어신호 중 적어도 하나를 제공한다.

Description

선택곡 보정 기능을 지원하는 청각 장애인 음악 교육 장치, 방법 및 프로그램{APPARATUS, METHOD AND PROGRAM FOR MUSIC EDUCATION FOR THE HEARING IMPAIRED SUPPORTING FUCTION OF CORRECTING THE SELECTED MUSIC}

본 발명은 선택곡 보정 기능을 지원하는 청각 장애인 음악 교육 장치, 방법 및 프로그램에 관한 것이다.

음악을 인지하는데 있어서 대부분 영향을 끼치는 감각은 청각이다. 따라서, 청각장애가 있는 사람들에게 음악은 상대적으로 접하기 어려운 매체다.

학생들을 가르치는 교육과정에는 음악과목이 필수적으로 포함되어 있는 경우가 많으며, 대다수 청각이 정상적인 학생을 주 대상으로 개발된 교육방법만을 이용해 학생들을 가르치고 있다. 다만, 상기 교육방법을 이용해 청각장애인을 가르치는 경우, 정상적인 교육이 이루어지기 어렵다.

또한, 비대면 교육이 증가되는 추세인데, 비대면 교육을 통해 음악교육을 진행하는 경우, 청각 이외의 감각에 의존하여 학습하는 청각 장애인에 대한 정상적인 교육이 이루어지기 어렵다.

또한, 청각 이외의 감각을 통해 청각 장애인에게 음악을 인지하게 하는 장치들이 개발되고 있으나, 상대적으로 높은 가격으로 인해 접근성이 떨어지는 문제가 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 진동 및 시각 데이터를 통해 청각 장애인에게 음정, 음의 세기 및 박자를 학습시킬 수 있는 음악 교육 장치를 제공하는 데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은, 진동 및 시각 데이터를 통해 청각 장애인에게 음정, 음의 세기 및 박자를 학습시킬 수 있는 음악 교육 방법을 제공하는 데 있다.

상기와 같은 문제점을 해결하기 위한 본 발명의 또 다른 목적은, 진동 및 시각 데이터를 통해 청각 장애인에게 음정, 음의 세기 및 박자를 학습시킬 수 있는 음악 교육 프로그램을 제공하는 데 있다.

상기 목적을 달성하기 위한 본 발명의 일 측면은, 진동 및 시각 데이터를 활용한 청각 장애인 음악 교육 장치를 제공한다.

또한, 상기 음악 교육 장치는, 적어도 하나의 프로세서(processor); 및 상기 적어도 하나의 프로세서가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함한다.

또한, 상기 적어도 하나의 프로세서는, 음성 데이터를 수신하고, 수신된 음성 데이터와 대응되는 음정 및 크기에 대한 텍스트 데이터, 이미지 데이터 및 진동 제어신호 중 적어도 하나를 제공한다.

또한, 상기 진동 제어신호는 진동수 데이터 및 크기 데이터를 포함하고, 상기 진동수 데이터는 서로 다른 복수의 진동수 중 어느 하나를 포함하고, 상기 크기 데이터는 서로 다른 복수의 음의 크기 중 어느 하나를 포함하며, 상기 진동수 데이터 및 상기 크기 데이터의 조합은 서로 다른 복수의 음정과 대응될 수 있다.

또한, 상기 음악 교육 장치는 복수의 영역 각각에 배치된 진동 모듈을 포함하는 진동 장치와 통신 가능하게 연결되고, 상기 진동 제어신호는 서로 다른 복수의 음정과 대응되는 위치 데이터 및 서로 다른 복수의 음의 크기와 대응되는 크기 데이터를 포함하고, 상기 위치 데이터는 상기 복수의 영역 중 어느 하나의 영역의 위치를 포함할 수 있다.

또한, 상기 진동 제어신호는 서로 다른 복수의 옥타브와 대응되는 진동수 데이터를 포함하고, 상기 진동수 데이터는 복수의 진동수 중 어느 하나의 진동수를 포함할 수 있다.

또한, 상기 음악 교육 장치는 복수의 영역 각각에 배치된 복수의 진동 모듈을 포함하는 진동 장치와 통신 가능하게 연결되고, 상기 진동 제어신호는 서로 다른 복수의 음정과 대응되는 제1 위치 데이터 및 서로 다른 복수의 음의 크기와 대응되는 제2 위치 데이터를 포함하고, 상기 제1 위치 데이터는 상기 복수의 영역 중 어느 하나의 영역의 위치를 포함하고, 상기 제2 위치 데이터는 상기 복수의 진동 모듈 중 어느 하나의 위치를 포함할 수 있다.

또한, 상기 복수의 진동 모듈은 일 측에서 상기 일 측의 반대편 타 측을 향하여 배열되고, 상기 일 측에서 상기 타 측을 향할수록 대응되는 음의 크기가 증가할 수 있다.

또한, 상기 적어도 하나의 프로세서는, 상기 음성 데이터가 적어도 하나의 옥타브의 모든 음과 매칭됐는지 판단하고, 매칭된 경우, 상기 적어도 하나의 옥타브에 대한 음정 데이터 및 기 설정된 크기 데이터와 대응되는 텍스트 데이터, 이미지 데이터 및 진동 제어신호 중 적어도 하나를 제공할 수 있다.

또한, 상기 적어도 하나의 프로세서는, 중복을 허용하는 복수의 음정, 크기 및 박자로 구성된 악보에 관한 텍스트 데이터, 이미지 데이터, 동영상 데이터 및 진동 제어신호 중 적어도 하나를 제공하고, 상기 음성 데이터와 대응되는 음정 및 크기에 대한 텍스트 데이터, 이미지 데이터 및 진동 제어신호 중 적어도 하나를 제공하며, 상기 악보에 관한 텍스트 데이터, 이미지 데이터, 동영상 데이터 및 진동 제어신호 중 적어도 하나와 상기 음성 데이터와 대응되는 음정 및 크기에 대한 텍스트 데이터, 이미지 데이터 및 진동 제어신호 중 적어도 하나를 비교하여 평가 점수를 도출하며, 상기 평가 점수에 기초하여 추천곡을 산출할 수 있다.

또, 상기 목적을 달성하기 위한 본 발명의 다른 측면은, 컴퓨터에 의해 수행되는, 진동 및 시각 데이터를 활용한 청각 장애인 음악 교육 방법을 제공한다.

상기 음악 교육 방법은, 음성 데이터를 수신하는 단계; 및 수신된 음성 데이터와 대응되는 음정 및 크기에 대한 텍스트 데이터, 이미지 데이터 및 진동 제어신호 중 적어도 하나를 제공하는 단계를 포함하고, 상기 진동 제어신호는 진동수 데이터 및 크기 데이터를 포함하고, 상기 진동수 데이터는 서로 다른 복수의 진동수 중 어느 하나를 포함하고, 상기 크기 데이터는 서로 다른 복수의 음의 크기 중 어느 하나를 포함하며, 상기 진동수 데이터 및 상기 크기 데이터의 조합은 서로 다른 복수의 음정과 대응된다.

이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 장치 및 상기 방법을 실행하기 위한 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공될 수 있다.

상기와 같은 본 발명에 진동 및 시각 데이터를 활용한 청각 장애인 음악 교육 장치를 이용할 경우에는, 촉각 및 시각을 이용하여 음의 음정, 크기 및 박자를 학습시킬 수 있다.

또한, 상대적으로 비용이 낮은 진동 발생 장치를 이용하거나 음악 교육 장치에서 발생될 수 있는 진동을 이용해 학습하므로, 학습에 소요되는 비용이 절감되어 접근성이 높은 장점이 있다.

또한, 음정, 크기 및 박자 중 적어도 하나에 대한 평가 점수에 기초하여 매칭된 추천곡에 대한 학습이 제공될 수 있어 학습의 효과가 증대되는 장점이 있다.

또한, 선택된 곡이 음정, 크기 및 박자 중 적어도 하나에 대한 평가 점수에 기초하여 보정되고, 보정된 곡에 대한 학습이 제공될 수 있어 학습의 효과가 증대되는 장점이 있다.

도 1은 일 실시예에 따른 청각 장애인을 위한 음악 교육 장치에 대한 개요도다.
도 2는 도 1에 따른 음악 교육 장치의 기능적 모듈을 예시적으로 나타낸 블록도다.
도 3은 도 2에 따른 음성 데이터 변환부에서 생성된 진동의 일 실시예를 도시하는 도면이다.
도 4는 도 2에 따른 음성 데이터 변환부에서 생성된 진동의 다른 실시예를 도시하는 도면이다.
도 5는 도 2에 따른 음성 데이터 변환부에서 생성된 진동의 또 다른 실시예를 도시하는 도면이다.
도 6은 도 2에 따른 음 학습부의 기능을 설명하기 위한 개념도다.
도 7은 도 2에 따른 음 학습부의 기능을 설명하기 위한 개념도다.
도 8은 도 2에 따른 음 학습부의 기능을 설명하기 위한 개념도다.
도 9는 도 2에 따른 음 학습부의 기능을 설명하기 위한 개념도다.
도 10은 도 2에 따른 음 학습 평가부의 기능을 설명하기 위한 개념도다.
도 11은 도 1에 따른 음악 교육 장치를 이용한 음악 교육 방법의 과정을 도시하는 흐름도다.
도 12는 도 11에 따른 음 학습 단계(S10)의 과정을 도시하는 흐름도다.
도 13은 도 11에 따른 곡 선택 단계(S60)의 과정을 도시하는 흐름도다.
도 14는 도 1에 따른 음악 교육 장치의 하드웨어 구성을 예시적으로 나타낸 도면이다.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.

제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 일 실시예에 따른 청각 장애인을 위한 음악 교육 장치(100)에 대한 개요도다.

도 1을 참조하면, 음악 교육 장치(100)는 청각 장애인의 음악 교육을 위한 진동 및 시각 데이터 중 적어도 하나를 사용자(200)에게 제공할 수 있다.

음악 교육 장치(100)는 기 설정된 주파수 범위의 진동을 발생시키도록 구성된 출력 인터페이스 장치를 포함할 수 있다. 또한, 음악 교육 장치(100)는 음악 교육 장치(100)와 통신 가능하게 연결된 디바이스가 기 설정된 주파수 범위의 진동을 발생시키도록 제어할 수 있다.

음악 교육 장치(100)는 청각 장애인의 음악 교육을 위해 이미지, 텍스트 및 동영상 중 적어도 하나를 포함하는 시각 데이터를 디스플레이하는 출력 인터페이스 장치를 포함할 수 있다. 또한, 음악 교육 장치(100)는 음악 교육 장치(100)와 통신 가능하게 연결된 디바이스가 기 설정된 주파수 범위의 진동을 발생시키도록 제어할 수 있다.

또, 음악 교육 장치(100)는 사용자(200)의 발화에 의해 발생되는 아날로그 형태의 음성 데이터를 수신할 수 있다.

음악 교육 장치(100)는 아날로그 형태의 음성 데이터를 감지할 수 있도록 구성된 입력 인터페이스 장치를 포함할 수 있다. 또한, 음악 교육 장치(100)는, 음악 교육 장치(100)와 통신 가능하게 연결되고 아날로그 형태의 음성 데이터를 감지할 수 있도록 구성된 디바이스를 통해 음성 데이터를 수신할 수 있다.

또, 음악 교육 장치(100)는 아날로그 형태의 음성 데이터를 디지털 데이터로 변환하고, 변환된 디지털 데이터에 기초하여 진동 제어신호를 생성할 수 있다.

음악 교육 장치(100)는 진동 제어신호에 기초하여 진동할 수 있다. 또한, 음악 교육 장치(100)는 음악 교육 장치(100)와 통신 가능하게 연결된 디바이스에 진동 제어신호를 전송하고, 해당 디바이스가 진동하도록 제어할 수도 있다.

또, 음악 교육 장치(100)는 변환된 디지털 데이터에 기초하여 및 시각 데이터 제어신호를 생성할 수 있다.

음악 교육 장치(100)는 시각 데이터 제어신호에 기초하여 시각 데이터를 생성할 수 있다. 또한, 음악 교육 장치(100)는 음악 교육 장치(100)와 통신 가능하게 연결된 디바이스에 시각 데이터 제어신호를 전송할 수 있다.

도 2는 도 1에 따른 음악 교육 장치(100)의 기능적 모듈을 예시적으로 나타낸 블록도다. 또한, 도 3 내지 도 9는 음악 교육 장치(100)의 기능적 모듈의 동작에 대해 설명하기 위한 개념도다.

이하에서는, 도 2 내지 도 10을 참조하여, 음악 교육 장치(100)의 기능적 모듈에 대해 설명한다.

도 2를 참조하면, 음악 교육 장치(100)는 음성 데이터 변환부(101), 음 학습부(102), 음 학습 평가부(103), 추천곡 학습부(104) 및 선택곡 학습부(105)를 포함한다. 음성 데이터 변환부(101), 음 학습부(102), 음 학습 평가부(103), 추천곡 학습부(104) 및 선택곡 학습부(105)를 적어도 하나의 프로세서로 구성될 수 있다.

음성 데이터 변환부(101)는 사용자로부터 수신한 아날로그 형태의 음성 데이터를 디지털 데이터로 변환하고, 변환된 디지털 데이터에 기초하여 진동 제어신호 및 시각 데이터 제어신호 중 적어도 하나를 생성한다.

일 실시예에서, 진동 제어신호는 음정과 관련된 제1 위치 데이터 및 음의 크기와 관련된 제1 크기 데이터를 포함할 수 있다. 제1 위치 데이터는 각각이 서로 다른 음정과 대응되는 복수의 위치 중 적어도 하나의 위치에 대한 정보를 포함할 수 있다. 제1 크기 데이터는 서로 다른 복수의 세기 중 어느 하나에 대한 정보를 포함할 수 있다. 또한, 음의 크기와 관련하여 제1 크기 데이터가 아닌 제2 위치 데이터를 포함할 수 있다. 제2 위치 데이터는 각각이 서로 다른 복수의 세기와 대응되는 복수의 위치 중 적어도 하나의 위치에 대한 정보를 포함할 수 있다.

도 3을 참조하면, 음악 교육 장치(100)는 손의 복수의 영역에 진동모듈이 부착된 디바이스와 통신 가능하게 연결된다. 각각의 영역에 부착된 진동모듈은 기 설정된 옥타브에 포함된 음과 매칭된다. 학습하는 음의 영역을 도, 레, 미, 파, 솔, 라 및 시로 설정한 경우, 7개의 영역과 각각 매칭되도록 진동모듈이 매칭된다. 다만, 이에 한정되는 것은 아니며, 다양한 개수의 영역이 설정될 수 있다. 제1 위치 데이터는 7개의 영역 중 어느 하나의 영역에 대한 정보를 포함한다. 또한, 도시되지 않은 실시예에서, 각 영역에는 하나의 진동모듈이 배치될 수 있으며, 기 설정된 음의 크기에 대응되는 크기의 진동을 발생시킨다. 즉, 제1 크기 데이터가 약 진동, 중 진동, 강 진동으로 분류되는 경우, 강 진동이 중 진동에 비해 상대적으로 강한 크기의 진동이다.

다시 도 3을 참조하면, 각각의 영역에는 복수 개의 진동모듈이 배치된다. 각 영역에 배치된 복수 개의 진동모듈은 기 설정된 음의 크기와 매칭된다. 도시된 실시예에서, 새끼 손가락 영역에는 3개의 진동모듈이 배치되고, 3개의 진동모듈은 기 설정된 3개의 음의 크기와 매칭된다. 이 경우, 제2 위치 데이터는 3개의 진동 모듈 중 어느 하나의 위치에 대한 정보를 포함할 수 있다. 또한, 모든 영역은 각각의 영역에 배치된 복수의 진동모듈이 어느 한 측에서 반대편 타 측을 향하여 배열될 수 있다. 복수의 진동모듈의 배열방향이 통일됨으로서 사용자가 음정을 시각 및 촉각과 매칭하여 인지하는 효과가 극대화될 수 있다.

또 다른 실시예에서, 진동 제어신호는 음정과 관련된 제1 위치 데이터, 음정과 관련된 제1 진동수 데이터, 음의 크기와 관련된 제1 크기 데이터를 포함할 수 있다. 제1 위치 데이터는 각각이 서로 다른 음정과 대응되는 복수의 위치 중 적어도 하나의 위치에 대한 정보를 포함할 수 있다. 제1 진동수 데이터는 각각이 서로 다른 옥타브와 대응되는 복수의 진동수 중 적어도 하나의 진동수에 대한 정보를 포함할 수 있다. 제1 크기 데이터는 서로 다른 복수의 세기 중 어느 하나에 대한 정보를 포함할 수 있다. 또한, 음의 크기와 관련하여 제1 크기 데이터가 아닌 제2 위치 데이터를 포함할 수 있다. 제2 위치 데이터는 각각이 서로 다른 복수의 세기와 대응되는 복수의 위치 중 적어도 하나의 위치에 대한 정보를 포함할 수 있다.

도 4를 참조하면, 도 3의 경우 서로 다른 옥타브가 서로 다른 디바이스를 통해 인식되는 것과 달리, 도 4에 따른 디바이스는 동일한 위치의 진동모듈이 서로 다른 옥타브를 표현할 수 있다. 제1 진동수 데이터가 서로 다른 옥타브 중 어느 하나의 옥타브와 대응되는 진동수에 대한 정보를 포함한다. 도시된 실시예에서, 1옥타브는 진동 1회, 2 옥타브는 진동 2회, 3옥타브는 진동 3회로 분류될 수 있다. 다만, 이에 한정되는 것은 아니며 다양한 진동수로 옥타브가 표현될 수 있다. 즉, 도 4에 따른 디바이스는 제1 위치 데이터, 제1 크기 데이터 및 제1 진동수 데이터를 포함하는 진동 제어신호에 의해 제어될 수 있다. 또한, 도 4에 따른 디바이스는 제1 위치 데이터, 제2 위치 데이터 및 제1 진동수 데이터를 포함하는 진동 제어신호에 의해 제어될 수 있다.

또 다른 실시 예에서, 진동 제어신호는 음정과 관련된 제1 진동수 데이터 및 제1 크기 데이터를 포함할 수 있다. 제1 진동수 데이터는 서로 다른 복수의 진동수에 대한 정보를 포함하며, 제1 크기 데이터는 서로 다른 복수의 세기에 대한 정보를 포함한다. 제1 진동수 데이터 및 제1 크기 데이터의 조합은 각각이 서로 다른 음정 중 적어도 하나와 매칭된다.

도 5를 참조하면, 음악 교육 장치(100)는 진동을 발생시킬 수 있도록 구성된 출력 인터페이스 장치를 포함한다. 출력 인터페이스 장치는 기 설정된 범위에 포함된 진동수와 기 설정된 범위에 포함된 음의 크기의 조합을 통해 기 설정된 범위의 음정을 표현한다. 도시된 실시예에서, 진동수 1 내지 6과 크기 1 내지 4의 조합은 1옥타브 도부터 3옥타브 시까지의 음정과 매칭된다. 다만, 이에 한정되는 것은 아니며, 다양한 범위의 조합과 다양한 범위의 음정이 매칭될 수 있다. 출력 인터페이스 장치는 제1 진동수 데이터 및 제1 크기 데이터의 조합을 포함하는 진동 제어신호에 의해 제어될 수 있다.

일 실시예에서, 시각 데이터 제어신호는 변환된 디지털 데이터와 매칭되는 음정 및 크기에 대한 텍스트 데이터 및 변환된 디지털 데이터와 매칭되는 음정 및 크기에 대한 이미지 데이터를 포함할 수 있다.

다시 도 2를 참조하면, 음 학습부(102)는 청각장애인 사용자가 발화한 음성과 대응되는 음정 및 크기에 대해 인지할 수 있도록 사용자에게 음 인식 데이터를 제공한다.

음 인식 데이터는 사용자가 발화한 음성과 대응되는 음정 및 크기에 대한 텍스트 데이터 및 이미지 데이터 중 적어도 하나를 포함할 수 있다.

또한, 음 인식 데이터는 사용자가 발화한 음성과 대응되는 음정 및 크기에 대한 진동 제어신호를 포함할 수 있다.

사용자가 발화하는 경우, 음성 데이터 변환부(101)에서 시각 데이터 제어신호 및 진동 제어신호를 생성하고, 음 학습부(102)는 시각 데이터 제어신호에 기초하여 사용자가 발화한 음성과 대응되는 음정 및 크기에 대한 텍스트 데이터 및 이미지 데이터 중 적어도 하나를 생성한다. 생성된 텍스트 데이터 및 이미지 데이터 중 적어도 하나는 음악 교육 장치(100)에 포함된 출력 인터페이스 장치 또는 음악 교육 장치(100)와 통신 가능하게 연결된 디바이스에 의해 디스플레이된다. 생성된 진동 제어신호는 음악 교육 장치(100)에 포함된 출력 인터페이스 장치 또는 음악 교육 장치(100)와 통신 가능하게 연결된 디바이스에 의해 진동으로 변환된다.

사용자가 발화한 음성과 대응되는 음의 음정 및 크기가 진동, 텍스트 데이터 및 이미지 데이터로 제공되므로 사용자가 자신이 발화한 음성의 음정 및 크기에 대해 인지할 수 있다.

도 6을 참조하면, 음 인식 데이터에 포함된 텍스트 정보 및 이미지 정보가 예시적으로 도시된다. 텍스트 정보는 옥타브, 음정, 주파수 및 크기를 포함할 수 있다. 이미지 정보는 음계에서 음정의 위치를 나타내는 이미지 및 디바이스에서 매칭되는 진동모듈의 위치를 나타내는 이미지를 포함할 수 있다.

다시 도 2를 참조하면, 음 학습부(102)는 사용자에게 음 학습 데이터를 제공할 수 있다.

음 학습 데이터는 기 설정된 범위의 음정 중 어느 하나, 및 기 설정된 범위의 크기 중 어느 하나에 해당하는 음에 대한 텍스트 데이터, 이미지 데이터 및 진동 중 적어도 하나를 포함할 수 있다.

음 학습 데이터에 포함된 텍스트 데이터, 이미지 데이터 및 진동 중 적어도 하나에 대해 인지한 사용자가 이와 매칭되는 음성을 발화하면, 음 학습부(102)가 발화된 음성과 대응되는 음정 및 크기에 대한 텍스트 데이터, 이미지 데이터 및 진동 중 적어도 하나를 사용자에게 제공한다.

발화된 음성과 대응되는 음정 및 크기에 대한 텍스트 데이터, 이미지 데이터 및 진동 중 적어도 하나는 음 학습 데이터와 동시에 제공될 수 있다.

이를 통해, 사용자가 정답과 본인의 음성을 시각 및 촉각을 통해 비교할 수 있다. 결과적으로, 사용자가 시각 및 촉각을 통해 음정 및 크기에 대해 점차적으로 학습할 수 있다.

도 7을 참조하면, 음 학습 데이터에 포함된 텍스트 정보 및 이미지 정보가 예시적으로 도시된다. 텍스트 정보는 문제로 제시된 옥타브 및 음정, 사용자의 음성과 대응되는 음정 및 크기를 포함할 수 있다. 이미지 정보는 음계에서 문제로 제시된 음정 및 사용자의 음성과 대응되는 음정의 위치를 나타내는 이미지, 디바이스에서 문제로 제시된 음정 및 사용자의 음성과 대응되는 음정과 매칭되는 진동모듈의 위치를 나타내는 이미지를 포함할 수 있다.

다시 도 2를 참조하면, 음 학습부(102)는 청각장애인 사용자가 박자를 인식할 수 있도록 사용자에게 박자 인식 데이터를 제공한다.

박자 인식 데이터는 기 설정된 박자 중 적어도 하나에 관한 텍스트 데이터, 이미지 데이터, 동영상 데이터 및 진동 제어신호 중 적어도 하나를 포함한다.

사용자는 음악 교육 장치(100)에 포함된 출력 인터페이스 장치 또는 음악 교육 장치(100)와 통신 가능하게 연결된 디바이스를 통해 기 설정된 박자 중 적어도 하나에 관한 텍스트 데이터, 이미지 데이터, 동영상 데이터 및 진동을 제공받는다. 이를 통해, 사용자가 기 설정된 박자 중 적어도 하나에 대해 인식할 수 있다.

도 8을 참조하면, 박자 인식 데이터에 포함된 텍스트 정보, 이미지 정보 및 동영상 정보가 예시적으로 도시된다. 텍스트 정보는 문제로 제시된 박자에 대한 정보를 포함한다. 이미지 정보는 문제로 제시된 박자와 매칭된 악보를 포함할 수 있다. 동영상 정보는 매칭된 악보와 오버랩되어 시간의 흐름을 나타내는 애니메이션을 포함할 수 있다.

다시 도 2를 참조하면, 음 학습부(102)는 사용자에게 박자 학습 데이터를 제공할 수 있다.

박자 학습 데이터는 기 설정된 박자 중 적어도 하나에 관한 텍스트 데이터, 이미지 데이터 및 동영상 데이터 중 적어도 하나를 포함한다.

박자 학습 데이터에 포함된 텍스트 데이터, 이미지 데이터 및 동영상 데이터 중 적어도 하나에 대해 인지한 사용자가 이와 매칭되도록 음성을 발화하면, 음 학습부(102)가 발화된 음성과 대응되는 음정 및 크기에 대한 텍스트 데이터, 이미지 데이터 및 진동 중 적어도 하나를 사용자에게 제공한다.

발화된 음성과 대응되는 음정 및 크기에 대한 텍스트 데이터, 이미지 데이터 및 진동 중 적어도 하나는 박자 학습 데이터와 동시에 제공될 수 있다.

이를 통해, 사용자가 정답과 본인의 박자(음성)를 시각 및 촉각을 통해 비교할 수 있다. 결과적으로, 사용자가 시각 및 촉각을 통해 박자에 대해 점차적으로 학습할 수 있다.

도 9를 참조하면, 박자 학습 데이터에 포함된 텍스트 정보, 이미지 정보 및 동영상 정보가 예시적으로 도시된다.

다시 도 2를 참조하면, 음 학습 평가부(103)는 사용자가 음 학습부(102)를 통해 학습한 음정, 크기 및 박자 중 적어도 하나에 대해 평가할 수 있는 평가 데이터를 사용자에게 제공한다.

평가 데이터는 중복을 허용하는 복수의 음정, 세기 및 박자로 구성된 악보에 관한 텍스트 데이터, 이미지 데이터, 동영상 데이터 및 진동 제어신호 중 적어도 하나를 포함할 수 있다.

평가 데이터에 포함된 텍스트 데이터, 이미지 데이터, 동영상 데이터 및 진동 제어신호 중 적어도 하나에 대해 인지한 사용자가 이와 매칭되는 음성을 발화하면, 음 학습 평가부(103)가 발화된 음성과 대응되는 음정 및 크기에 대한 텍스트 데이터, 이미지 데이터 및 진동 중 적어도 하나를 사용자에게 제공한다.

평가 데이터에 포함된 관한 텍스트 데이터, 이미지 데이터, 동영상 데이터 및 진동 제어신호 중 적어도 하나와 발화된 음성과 대응되는 음정 및 크기에 대한 텍스트 데이터, 이미지 데이터 및 진동 중 적어도 하나가 동시에 제공될 수 있다.

도 10을 참조하면, 평가 데이터에 포함된 관한 텍스트 데이터, 이미지 데이터, 동영상 데이터 및 진동 제어신호 중 적어도 하나와 발화된 음성과 대응되는 음정 및 크기에 대한 텍스트 데이터, 이미지 데이터 및 진동 중 적어도 하나가 동시에 제공되는 과정이 예시적으로 도시된다.

또한, 음 학습 평가부(103)는 평가 데이터에 포함된 음정과 발화된 음성과 대응되는 음정을 비교하여 음정 평가 점수를 산출한다. 음 학습 평가부(103)는 평가 데이터에 포함된 음의 크기와 발화된 음성과 대응되는 음의 크기를 비교하여 크기 평가 점수를 산출한다. 음 학습 평가부(103)는 평가 데이터에 포함된 박자와 발화된 음성과 대응되는 박자를 비교하여 박자 평가 점수를 산출한다. 산출된 평가 점수는 텍스트 데이터에 포함되어 사용자에게 제공될 수 있다.

다시 도 2를 참조하면, 추천곡 학습부(104)는 산출된 평가 점수에 기초하여 추천곡을 산출하고, 산출된 추천곡에 대한 추천곡 학습 데이터를 사용자에게 제공한다.

추천곡 학습 데이터는 추천곡에 포함된 복수의 음정, 세기 및 박자로 구성된 악보에 관한 텍스트 데이터, 이미지 데이터, 동영상 데이터 및 진동 제어신호 중 적어도 하나를 포함할 수 있다.

추천곡 학습 데이터에 포함된 텍스트 데이터, 이미지 데이터, 동영상 데이터 및 진동 제어신호 중 적어도 하나에 대해 인지한 사용자가 이와 매칭되는 음성을 발화하면, 추천곡 학습부(104)가 발화된 음성과 대응되는 음정 및 크기에 대한 텍스트 데이터, 이미지 데이터 및 진동 중 적어도 하나를 사용자에게 제공한다.

추천곡 학습 데이터에 포함된 관한 텍스트 데이터, 이미지 데이터, 동영상 데이터 및 진동 제어신호 중 적어도 하나와 발화된 음성과 대응되는 음정 및 크기에 대한 텍스트 데이터, 이미지 데이터 및 진동 중 적어도 하나가 동시에 제공될 수 있다.

선택곡 학습부(105)는 사용자로부터 선택곡을 수신한다. 음악 교육 장치(100)는 사용자로부터 선택곡에 대한 선택을 수신할수 있도록 구성된 입력 인터페이스 장치를 포함한다.

일 실시예에서, 음악 교육 장치(100)는 초등학교, 중학교, 고등학교 교육 과정에 대한 제1 선택, 선택된 교육과정의 학년에 대한 제2 선택, 선택된 학년의 교재에 대한 제3 선택, 선택된 교재에 포함된 곡에 대한 제4 선택을 수신할 수 있다.

선택곡 학습부(105)는 선택곡에 대한 선택곡 학습 데이터를 사용자에게 제공한다.

선택곡 학습 데이터는 선택곡에 포함된 복수의 음정, 세기 및 박자로 구성된 악보에 관한 텍스트 데이터, 이미지 데이터, 동영상 데이터 및 진동 제어신호 중 적어도 하나를 포함할 수 있다.

일 실시예에서, 선택곡 학습부(105)는 선택곡에 포함된 복수의 음정, 세기 및 박자와 사용자의 음정 평가 점수, 크기 평가 점수 및 박자 평가 점수를 비교하고, 비교 결과에 기초하여 선택곡에 포함된 복수의 음정, 세기 및 박자를 보정할 수 있다.

선택곡 학습 데이터에 포함된 텍스트 데이터, 이미지 데이터, 동영상 데이터 및 진동 제어신호 중 적어도 하나에 대해 인지한 사용자가 이와 매칭되는 음성을 발화하면, 선택곡 학습부(105)가 발화된 음성과 대응되는 음정 및 크기에 대한 텍스트 데이터, 이미지 데이터 및 진동 중 적어도 하나를 사용자에게 제공한다.

선택곡 학습 데이터에 포함된 관한 텍스트 데이터, 이미지 데이터, 동영상 데이터 및 진동 제어신호 중 적어도 하나와 발화된 음성과 대응되는 음정 및 크기에 대한 텍스트 데이터, 이미지 데이터 및 진동 중 적어도 하나가 동시에 제공될 수 있다.

다음으로, 도 11 내지 도 13을 참조하여, 본 발명의 일 실시예에 다른 음악 교육 방법(S1)의 과정에 대해 구체적으로 설명한다.

도 11을 참조하면, 음악 교육 장치(100)가 사용자가 음정, 크기 및 박자 중 적어도 하나에 대한 학습을 수행할 수 있도록 음 학습을 제공한다(S10).

도 12를 참조하면, 음 학습을 제공하는 단계(S10)의 구체적인 흐름이 도시된다.

먼저, 음악 교육 장치(100)가 사용자의 음성 데이터를 수신한다(S11).

사용자의 음성 데이터가 수신되면, 음악 교육 장치(100)는 수신된 음성 데이터가 적어도 하나의 옥타브의 모든 음과 매칭됐는지 판단한다(S12).

적어도 하나의 옥타브의 모든 음과 매칭된 경우, 음악 교육 장치(100)는 매칭된 옥타브 중 적어도 하나의 옥타브에 대한 음정 및 크기 학습을 제공한다(S13).

일 실시예에서, 수신된 음성 데이터가 1 옥타브 및 2 옥타브의 도, 레, 미, 파, 솔, 라 및 시와 매칭된 경우, 음악 교육 장치(100)는 1 옥타브 및 2 옥타브 중 적어도 하나에 대한 음정 및 크기 학습을 제공한다. 음정 및 크기 학습에 대한 설명은 음 학습부(102)에 대한 설명에 갈음한다.

사용자가 적어도 하나의 옥타브의 음정에 대해서 인지한 상태에서 음정 및 크기에 대한 학습을 제공하므로, 학습의 효과가 향상될 수 있다.

음악 교육 장치(100)가 사용자에게 박자 학습을 제공한다(S14). 박자 학습에 대한 설명은 음 학습부(102)에 대한 설명에 갈음한다.

다시 도 11을 참조하면, 음 학습이 완료되면, 음악 교육 장치(100)가 사용자에게 음 학습 평가를 제공한다(S20). 음 학습 평가에 대한 설명은 음 학습 평가부(103)에 대한 설명에 갈음한다.

음 학습 평가가 완료되면, 음악 교육 장치(100)는 곡 추천 여부에 대해 판단한다(S30).

곡 추천이 수행되는 경우, 음악 교육 장치(100)가 사용자의 음정 평가 점수, 크기 평가 점수 및 박자 평가 점수에 기초하여 추천곡을 산출한다(S40).

일 실시예에서, 사용자의 음역대 정보, 음정 평가 점수, 크기 평가 점수 및 박자 평가 점수에 기초하여 추천곡을 산출할 수 있다.

다른 실시예에서, 음역대, 음정, 크기 및 박자에 대한 사용자의 선호도 정보에 기초하여 서로 다른 가산계수를 산출하고, 사용자의 음역대 정보, 음정 평가 점수, 크기 평가 점수 및 박자 평가 점수와 곡의 매칭도에 서로 다른 가산계수를 곱한 값을 서로 합산할 수 있다. 합산된 값이 가장 높은 곡이 추천곡으로 선정될 수 있다.

추천곡이 산출되면, 음악 교육 장치(100)가 사용자에게 추천곡 학습을 제공한다(S50). 추천곡 학습에 대한 설명은 추천곡 학습부(104)에 대한 설명에 갈음한다.

곡 추천이 수행되지 않는 경우, 음악 교육 장치(100)는 사용자로부터 선택곡을 수신한다(S60).

도 13을 참조하면, 음악 교육 장치(100)의 선택곡 수신 단계(S60)의 일 실시예가 도시된다.

음악 교육 장치(100)는 사용자로부터 선택곡을 수신한다(S61).

음악 교육 장치(100)는 사용자의 음역대 정보, 음정 평가 점수, 크기 평가 점수 및 박자 평가 점수를 선택곡과 비교하고(S62), 오차 범위 이상인 것이 존재하는 경우(S63), 비교 결과에 기초하여 선택곡을 보정할 수 있다(S63).

일 실시예에서, 사용자의 음역대보다 선택곡의 음역대가 높은 경우, 사용자의 음역대에 맞추어 선택곡의 음역대를 보정할 수 있다. 예를 들어, 선택곡에 사용되는 박자에 대한 사용자의 박자 평가 점수가 낮은 경우, 선택곡의 재생속도(템포)가 느려지도록 보정할 수 있다.

사용자의 능력에 맞춰 선택곡을 보정함으로써, 선택곡에 대한 학습 효과가 향상될 수 있다.

다시 도 11을 참조하면, 음악 교육 장치(100)는 사용자에게 선택곡 학습을 제공한다(S70). 선택곡 학습에 대한 설명은 선택곡 학습부(105)에 대한 설명에 갈음한다.

일 실시예에서, 음악 교육 장치(100)는 선택곡의 악보를 마디별로 분할하고, 분할된 마디 중 음정 평가 점수, 크기 평가 점수 및 박자 평가 점수 중 적어도 하나가 기 설정된 오차 범위 이상인 마디를 선별한다. 음악 교육 장치(100)는 선별된 마디를 모두 포함하는 선별 학습 데이터를 생성하고, 선별 학습 데이터에 기초하여 사용자에게 선별 학습을 제공할 수 있다.

도 14는 도 1에 따른 음악 교육 장치(100)의 하드웨어 구성을 예시적으로 나타낸 도면이다.

도 14를 참조하면, 음악 교육 장치(100)는, 적어도 하나의 프로세서(110) 및 상기 적어도 하나의 프로세서(110)가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함할 수 있다.

상기 적어도 하나의 동작은 전술한 음악 교육 장치(100)의 구성부들(101~105)이나 기타 기능 또는 동작 방법을 포함할 수 있다.

여기서 적어도 하나의 프로세서(110)는 중앙 처리 장치(central processing unit, CPU), 그래픽 처리 장치(graphics processing unit, GPU), 또는 본 발명의 실시예들에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(120) 및 저장 장치(160) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다.

예를 들어, 메모리(120)는 읽기 전용 메모리(read only memory, ROM) 및 랜덤 액세스 메모리(random access memory, RAM) 중 하나일 수 있고, 저장 장치(160)는, 플래시메모리(flash-memory), 하드디스크 드라이브(HDD), 솔리드 스테이트 드라이브(SSD), 또는 각종 메모리 카드(예를 들어, micro SD 카드) 등일 수 있다.

또한, 음악 교육 장치(100)는, 무선 네트워크를 통해 통신을 수행하는 송수신 장치(transceiver)(130)를 포함할 수 있다. 또한, 음악 교육 장치(100)는 입력 인터페이스 장치(140), 출력 인터페이스 장치(150), 저장 장치(160) 등을 더 포함할 수 있다. 음악 교육 장치(100)에 포함된 각각의 구성 요소들은 버스(bus, 170)에 의해 연결되어 서로 통신을 수행할 수 있다.

음악 교육 장치(100)의 예를 들면, 통신 가능한 데스크탑 컴퓨터(desktop computer), 랩탑 컴퓨터(laptop computer), 노트북(notebook), 스마트폰(smart phone), 태블릿 PC(tablet PC), 모바일폰(mobile phone), 스마트 워치(smart watch), 스마트 글래스(smart glass), e-book 리더기, PMP(portable multimedia player), 휴대용 게임기, 네비게이션(navigation) 장치, 디지털 카메라(digital camera), DMB(digital multimedia broadcasting) 재생기, 디지털 음성 녹음기(digital audio recorder), 디지털 음성 재생기(digital audio player), 디지털 동영상 녹화기(digital video recorder), 디지털 동영상 재생기(digital video player), PDA(Personal Digital Assistant) 등일 수 있다.

본 발명에 따른 방법들은 다양한 컴퓨터 수단을 통해 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위해 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

컴퓨터 판독 가능 매체의 예에는 롬(ROM), 램(RAM), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다. 프로그램 명령의 예에는 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 적어도 하나의 소프트웨어 모듈로 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

또한, 상술한 방법 또는 장치는 그 구성이나 기능의 전부 또는 일부가 결합되어 구현되거나, 분리되어 구현될 수 있다.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (1)

1. 선택곡 보정 기능을 지원하는 청각 장애인 음악 교육 장치로서,
   적어도 하나의 프로세서(processor); 및
   상기 적어도 하나의 프로세서가 적어도 하나의 동작(operation)을 수행하도록 지시하는 명령어들(instructions)을 저장하는 메모리(memory)를 포함하고,
   상기 적어도 하나의 동작은,
   사용자로부터 음성 데이터를 수신하는 동작;
   수신된 음성 데이터의 음정 및 크기에 대응하는 텍스트 데이터, 이미지 데이터 및 진동 제어신호 중 적어도 하나를 생성하는 동작; 및
   생성된 상기 텍스트 데이터 및 상기 이미지 데이터 중 적어도 하나를 상기 사용자에게 표시하거나, 상기 진동 제어신호에 대응하는 진동을 상기 사용자에게 제공하는 동작을 포함하고,
   상기 음악 교육 장치는, 복수의 영역들 각각에 배치된 복수의 진동 모듈들을 포함하는 진동 장치와 통신 가능하게 연결되고,
   상기 진동 제어신호는, 서로 다른 복수의 음정들과 대응되는 위치 데이터 및 서로 다른 복수의 음의 크기들과 대응되는 크기 데이터를 포함하고,
   상기 위치 데이터는, 상기 복수의 영역들 중 어느 하나의 영역의 위치를 지시하고,
   상기 음악 교육 장치는, 상기 사용자의 복수의 영역들 각각에 배치된 복수의 진동 모듈들을 포함하는 진동 장치와 통신 가능하게 연결되고,
   상기 진동 제어신호는, 서로 다른 복수의 음정들과 대응되는 위치 데이터 및 서로 다른 복수의 음의 크기들과 대응되는 크기 데이터를 포함하고,
   상기 위치 데이터는, 상기 복수의 영역들 중 어느 하나의 영역의 위치를 지시하고,
   상기 적어도 하나의 동작은,
   상기 사용자의 학습에 따른 음정 평가 점수, 크기 평가 점수, 및 박자 평가 점수를 사용자에 의해 선택된 선택곡과 비교하는 동작; 및
   비교 결과에 따라 오차 범위 이상인 점수가 존재하는 경우, 상기 선택곡을 보정하는 동작;을 포함하고,
   상기 선택곡을 보정하는 동작은,
   상기 선택곡에 사용되는 박자에 대응하는 상기 박자 평가 점수가 오차 범위 이상인 경우, 상기 선택곡의 재생속도가 느려지도록 보정하는 동작을 포함하는, 음악 교육 장치.

Images