KR20020030515A - 발음교정을 이용한 언어학습 시스템 및 그 방법 - Google Patents

Abstract

1. 청구범위에 기재된 발명이 속하는 기술분야

본 발명은 발음교정을 이용한 언어학습 시스템 및 그 방법에 관한 것임.

2. 발명이 해결하려고 하는 기술적 과제

본 발명은, 사용자의 발음과 원어민의 발음을 음성 특성 파라미터를 기준으로 비교 분석하여 그 비교 분석 결과 및 발음 교정 방안을 사용자에게 제시함으로써 신속/용이하게 정확한 발음으로 언어를 습득할 수 있게 하는 발음교정을 이용한 언어학습 시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있음.

3. 발명의 해결 방법의 요지

본 발명은,언어 학습 시스템에 있어서, 사용자의 선택에 따라 상기 사용자에게 학습 대상이 되는 문장과 상기 문장의 원어민(Native Speaker) 발음을 제공하기 위한 출력 수단; 상기 사용자로부터 상기 출력 수단에 의하여 제공된 문장에 대한 발음을 입력받아 전처리 수단으로 전송하기 위한 입력 수단; 학습 대상 문장 및 상기 문장에 대한 원어민 발음을 저장하기 위한 저장 수단; 상기 입력 수단을 통하여 입력된 음성에 대하여 문장 단위로 시작점과 끝점을 검출하고 상기 검출된 문장 마다 소정의 분석단위로 절단하여 음성 특성 파라미터 추출 수단으로 전송하고, 상기 사용자에 의하여 음성으로 입력된 문장에 대한 원어민의 발음을 상기 저장 수단으로부터 가지고 와서 상기 음성 특성 파라미터로 전달하기 위한 전(前)처리 수단;상기 절단된 사용자의 음성 및 해당 원어민의 발음에 대하여 특성 파라미터를 추출하기 위한 음성 특성 파라미터 추출부; 및 상기 사용자의 음성과 해당 원어민의 발음에 대한 음성 특성 파라미터을 상기 소정의 분석단위별로 비교분석하여 상기 사용자에게 비교분석 결과를 제공하기 위한 비교분석 수단을 포함함.

4. 발명의 중요한 용도

본 발명은 언어 학습 등에 이용됨.

Description

발음교정을 이용한 언어학습 시스템 및 그 방법{APPARATUS AND ITS METHOD FOR STUDING LANGUAGE USING THE CORRECTION OF PRONUNCIATION}

본 발명은 언어 학습 시스템 및 그 방법에 관한 것으로서, 특히 사용자의 발음과 원어민의 발음을 음성 특성 파라미터를 기준으로 비교 분석하여 그 비교 분석 결과 및 발음 교정 방안을 사용자에게 제시함으로써 신속/용이하게 정확한 발음으로 언어를 습득할 수 있게 하는 발음교정을 이용한 언어학습 시스템 및 그 방법과상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

종래의 영어회화 학습교재는 인쇄본과 테이프(tape)를 이용한 듣기 기능만을 제공함으로써 사용자가 자신의 발음이 정확한지, 또는 원어민(native speaker)과의 차이는 어느 정도인지를 비교할 수 없다는 문제점이 있었다.

또한, 종래의 언어 교육 방법은 일방적(one-way)으로 전달하는 방식이기 때문에 학습효과가 낮다는 문제점이 있었다.

본 발명은, 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로서, 사용자의 발음과 원어민의 발음을 음성 특성 파라미터를 기준으로 비교 분석하여 그 비교 분석 결과 및 발음 교정 방안을 사용자에게 제시하는 발음교정을 이용한 언어학습 시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.

도 1 은 본 발명에 따른 발음교정을 이용한 언어학습 시스템의 일실시예 구성도.

도 2 는 본 발명에 따른 발음교정을 이용한 언어학습 시스템이 사용자에게 제공하는 일실시예 화면 구성도.

도 3 은 본 발명에 따른 발음교정을 이용한 언어학습 방법에 대한 일실시예 흐름도.

상기 목적을 달성하기 위한 본 발명은, 언어 학습 시스템에 있어서, 사용자의 선택에 따라 상기 사용자에게 학습 대상이 되는 문장과 상기 문장의 원어민(Native Speaker) 발음을 제공하기 위한 출력 수단; 상기 사용자로부터 상기 출력 수단에 의하여 제공된 문장에 대한 발음을 입력받아 전처리 수단으로 전송하기 위한 입력 수단; 학습 대상 문장 및 상기 문장에 대한 원어민 발음을 저장하기 위한 저장 수단; 상기 입력 수단을 통하여 입력된 음성에 대하여 문장 단위로 시작점과 끝점을 검출하고 상기 검출된 문장 마다 소정의 분석단위로 절단하여 음성 특성 파라미터 추출 수단으로 전송하고, 상기 사용자에 의하여 음성으로 입력된 문장에 대한 원어민의 발음을 상기 저장 수단으로부터 가지고 와서 상기 음성 특성 파라미터로 전달하기 위한 전(前)처리 수단; 상기 절단된 사용자의 음성 및 해당 원어민의 발음에 대하여 특성 파라미터를 추출하기 위한 음성 특성 파라미터 추출부; 및 상기 사용자의 음성과 해당 원어민의 발음에 대한 음성 특성 파라미터을 상기 소정의 분석단위별로 비교분석하여 상기 사용자에게 비교분석 결과를 제공하기 위한 비교분석 수단을 포함한다.

그리고, 본 발명은, 언어 학습 시스템에 적용되는 언어 학습 방법에 있어서, 사용자의 선택에 따라, 저장된 학습 대상이 되는 문장과 상기 문장의 원어민(Native Speaker) 발음을 상기 사용자에게 제공하여, 상기 사용자로부터 상기 제공된 문장에 대한 발음을 입력받는 제 1 단계; 상기 제 1 단계에서 입력받은 사용자의 음성에 대하여 문장 단위로 시작점과 끝점을 검출하여 상기 검출된 문장마다 소정의 분석단위로 절단하는 제 2 단계; 상기 사용자의 입력 음성과 해당 원어민의 발음에 대하여 상기 제 2 단계에서 절단된 소정의 분석단위마다 음성 특성 파라미터를 추출하는 제 3 단계; 및 상기 제 3 단계에서 추출된 상기 사용자의 입력음성과 해당 원어민의 발음에 대한 음성 특성 파라미터을 상기 소정의 분석단위별로 비교분석하여 상기 사용자에게 비교분석 결과를 제공하는 제 4 단계를 포함한다.

또한, 본 발명은, 발음교정을 통한 언어학습을 위하여, 프로세서를 구비한 언어 학습 시스템에, 사용자의 선택에 따라, 저장된 학습 대상이 되는 문장과 상기 문장의 원어민(Native Speaker) 발음을 상기 사용자에게 제공하여, 상기 사용자로부터 상기 제공된 문장에 대한 발음을 입력받는 제 1 기능; 상기 제 1 기능에서 입력받은 사용자의 음성에 대하여 문장 단위로 시작점과 끝점을 검출하여 상기 검출된 문장마다 소정의 분석단위로 절단하는 제 2 기능; 상기 사용자의 입력 음성과 해당 원어민의 발음에 대하여 상기 제 2 기능에서 절단된 소정의 분석단위마다 음성 특성 파라미터를 추출하는 제 3 기능; 및 상기 제 3 기능에서 추출된 상기 사용자의 입력음성과 해당 원어민의 발음에 대한 음성 특성 파라미터을 상기 소정의 분석단위별로 비교분석하여 상기 사용자에게 비교분석 결과를 제공하는 제 4 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.

도 1 은 본 발명에 따른 발음교정을 이용한 언어학습 시스템의 일실시예 구성도이다.

출력부(100)는 사용자의 선택에 따라 사용자에게 학습 대상이 되는 문장과 해당 문장의 원어민(Native Speaker) 발음을 제공하며, 사용자의 요구가 있으면 사용자의 입력 음성을 출력하여 준다.

사용자 음성 입력부(101)(예를 들면, 마이크 등)는 사용자가 출력부(100)를통하여 화면상단(201)에 텍스트 형식으로 나타나는 영어회화 내용을 시청하면서, 자신의 음성과 원어민(native speaker)의 음성을 비교하기 위해서, 녹음버튼(202)을 이용하여 마이크를 통해 사용자의 음성을 입력받는다

전(前)처리부(103)는 사용자 음성 입력부(101)를 통하여 입력/녹음된 사용자 음성과 데이터베이스(102)에 사전에 저장된 원어민의 음성을 비교하는 기능을 수행하며, 또한 게인(gain) 조정을 통하여 사용자로부터 음성을 왜곡없이 입력받으며, 배경 잡음도 제거한다. 그리고, 전처리부(103)은 데이터베이스(102)에 저장되어 있는 문장을 출력부(100)를 통하여 사용자에게 제공한다.

또한, 전처리부(103)는 음성의 특징을 분석하기 위해 음성을 일정하게 자르는데, 이 과정에 적용되는 시작점/끝점 검출 기술은 사용자 음성 입력부(101)를 통해 입력되는 신호 중에서 사용자가 말하는 구간만을 찾아내기 위해서 필요한 기술로서, 이런 기술을 적용하면 사용자가 별도의 조작없이 단순히 원하는 때에 말을 하면, 자동적으로 음성 구간을 추출하여 재생하여 준다.

음성 특성 파라미터 검출부(104)는 사용자의 입력 음성(발음)과 원어민의 발음을 비교하기 위하여 음성의 특성 파라미터를 추출한다. 여기서, 음성 특성 파라미터에는 피치(Pitch)), 에너지, 포만트(Formant) 성분 등이 있다.

먼저, 피치 성분 분석부(105)는 사용자의 음성(발음)을 분석하여 사용자에게 발음한 문장의 높낮이, 길이, 강세, 억양 등을 비교하여 제공하여, 사용자가 자신의 발음의 문제점을 파악하도록 한다. 여기서, 피치는 음성 구간 중에서 음의 높낮이와 속도에 따라서 서서히 변하는데, 본 발명은 피치 파라미터를 추정하는 많은알고리즘들 중에서 AMDF 방식과 median smoothing 과정을 포함한 변형된 AMDF 방식을 사용한다.

에너지 성분 추출부(106)는 음성 신호의 에너지를 구하는데, 여기서 에너지는 발음한 문장 중에서 사용자가 어느 부분을 강조하였는지를 알 수 있도록 하며, 피치 분석의 결과를 보조하는 역할을 한다. 에너지 성분을 추출하는 과정은 분석 프레임별로 평균자승을 구함으로써 수행한다.

포만트(Formant) 성분 추출부(107)는 단어의 발음을 비교하기 위해 사용되는 음성 특성 파라미터인 포만트 성분을 추출한다. 짧은 단어의 경우에는 피치 정보로 유사도를 측정하는 것은 매우 어려우므로, 음성의 주파수 특성을 나타내는 포만트 정보를 이용하게 된다. 포만트는 peak-picking 방식을 통해 프레임별로 구해진다.

특성 파라미터 정합 및 유사도 측정부(108)은 DTW(Dynamic Time Warping) 기술을 사용하여 사용자와 원어민의 발음 유사도를 비교하기 전에 두 음성의 길이와 패턴을 정합시킨다. 예를 들어, 원어민의 발음 문장은 5초인 반면에 사용자가 너무 빨리 발음하여 3초 안에 똑같은 문장을 발음했다면, 단순히 그대로 문장 비교하면 아무리 발음이 정확하더라도 좋지 않은 비교결과를 초래하기 때문에, 문장 비교 전에 DTW 기술을 이용하여 두 문장의 길이를 적절히 정합시킨다. 또한 DTW(Dynamic Time Warping) 분석부는 음성 특성 파라미터 검출부(104)에서 구한 특성 파라미터들도 DTW 알고리즘을 거쳐 길이와 패턴을 정합하며, 두 문장 사이의 유사도를 측정한다.

평가결과 및 교정방법 제시부(109)는 상기의 음성신호처리 과정을 거쳐 구해진 음성 특성 파라미터를 비교하여 사용자 입력음성(발음)과 원어민의 음성(발음)이 얼마나 유사한지를 시청각적으로 제공한다. 여기서, 제공되는 내용은 두 음성의 피치, 에너지, 포만트 등 특성 파라미터들을 보기 쉽게 사용자 화면(205)을 통하여 디스플레이(display)하고, 차이가 많이 나는 부분의 발음을 지적한다. 또한, 화면 하단의 다이얼로그 박스(208)를 통해 사용자 발음의 문제점을 텍스트 형식으로 서술하여 교정이 가능하게 한다.

사용자는 평가결과 및 교정방법 제시부(109)가 제시하는 결과를 토대로 자신의 발음의 문제를 파악하고, 평가결과 및 교정방법 제시부(109)가 제시하는 교정방법을 통해 무한 반복적으로 상기 과정(100 내지 109) 되풀이 하면서 발음을 교정하게 된다.

데이터베이스(102)에는 사용자의 발음의 정확도를 비교하는 기준을 제공하는 것으로서, 원어민의 발음을 미리 저장하며, 또한 사용자에게 학습자료로 제공하는 문장과 사용자 음성 입력부(101)를 통하여 입력된 사용자의 음성을 저장한다.

한편, 교육기관에서 학내망 교육 시스템에 적용할 경우에는, 온라인으로 강사의 발음 문장을 녹음하여 전처리부(103)로 전송하여 사용한다.

사용자가 자신의 음성과 원어민의 음성을 청취하기 위해, 화면상의 "202"를 클릭함으로써 출력부(예를 들면, 스피커, 헤드폰 등)(100)를 통해 사용자 또는 원어민의 음성을 출력시켜 준다. 그리고 출력부(100)는 음성의 왜곡을 방지하기 위해 게인(gain)을 조절할 수 있다.

도 2 는 본 발명에 따른 발음교정을 이용한 언어학습 시스템이 사용자에게제공하는 일실시예 화면 구성도이다.

"201"은 사용자가 발음할 수 있도록 사용자에게 영어문장을 제공하는 부분, "202"는 사용자의 발음과 데이터베이스로 구축된 원어민의 발음을 청취할 수 있도록 하는 기능키, "203"은 사용자가 음성을 입력할 수 있도록 하는 기능키, "204"는 두 발음의 피치, 에너지, 포만트 등의 음성 특성 파라미터 비교를 통해 발음의 정확도를 측정결과를 시각적으로 볼 수 있도록 하는 기능키, "205"는 "204"에 의하여 사용자에게 제공되는 발음의 정확도 측정 결과를 사용자에게 제공하는 부분, "206"은 원어민의 발음속도를 조절할 수 있게 하는 기능키, "207"은 발음을 교정 방법을 텍스트로 제시할 수 있게 하는 기능키, "208"은 "207"에 의하여 제시되는 발음 교정 방법이 제시되는 부분, "209"는 발음을 비교할 때 그 단위를 단어/어절/문장전체로 선택할 수 있게 하는 기능키를 나타낸다.

도 3 은 본 발명에 따른 발음교정을 이용한 언어학습 방법에 대한 일실시예 흐름도이다.

사용자에게 영어 문장을 제시하여(301), 그 제시된 문장의 발음을 사용자로부터 마이크 등을 통하여 실시간적으로 입력받으면(302), wavelet 변환을 이용하여 입력된 사용자의 음성의 시작점과 끝점(즉, 사용자가 발음한 하나의 문장의 시작점과 끝점)을 검출한 후, 검출된 시작점과 끝점을 이용하여 사용자가 발음한 문장을 분석단위(예를 들면, 단어, 어절 등)로 절단한다.

사용자에 의하여 입력된 문장 발음과 데이터베이스에 저장되어 있는 원어민의 음성(발음)에서 분석단위마다 음성 특성 파라미터(피치, 에너지, 포만트 등)를추출한다. 즉, 억양을 구하기 위해 AMDF 방식을 응용하여 피치 성분을 검출하고, 주파수 특성을 구하기 위하여 포만트 검출하며, 음성의 강세를 구하기 위하여 에너지를 검출한다.

이후, 사용자의 발음과 원어민의 발음을 분석단위마다 비교하기 위하여 두 발음을 정합한 후, 추출된 특성 파라미터를 이용하여 두 발음을 비교분석하여 그 비교 분석 결과와 교정 방안을 사용자에게 제공한다(304).

그러면, 사용자는 비교 분석결과와 교정 방안에 따라 다시 발음을 하고, 그 발음에 대하여 상기의 과정에 의한 평가를 받는 과정을 반복 수행함으로써 원어민에 가까운 또는 원어민과 같은 발음을 할 수 있다.

상기에서 설명한 발음교정을 이용한 언어학습 시스템 및 그 방법은 단일 시스템에 의하여 구현하거나 또는 서버로 구축하여 인터넷 등 통신망을 통하여 사용자에게 언어 학습 서비스를 제공하는 것이 가능하다.

이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 있어 본 발명의 기술적 사상을 벗어나지 않는 범위내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 한정되는 것이 아니다.

상기한 바와 같은 본 발명은, 음성신호처리 기술과 컴퓨터의 멀티미디어 기능을 적용하여 사용자에게 자신의 발음과 원어민 발음과의 비교 결과를 시청각적으로 제공하고, 또한 발음교정 방법을 제시함으로써, 사용자가 신속/용이하게 발음을 교정할 수 있게 하는 효과가 있다.

또한, 온라인 학습망 네트웍과 연동함으로써 실시간으로 강사와 수강생들 사이에 상호작용에 의한 언어 학습이 가능하게 함으로써, 사용자의 영어 학습효과와 활용성을 향상시키고, 영어회화교육을 위해 투자되는 막대한 지출을 최소화하며, 절대적으로 부족한 영어회화 강사를 대처함으로써 교육의 폭을 확대할 수 있는 효과가

있다.

Claims (7)

1. 언어 학습 시스템에 있어서,

   사용자의 선택에 따라 상기 사용자에게 학습 대상이 되는 문장과 상기 문장의 원어민(Native Speaker) 발음을 제공하기 위한 출력 수단;

   상기 사용자로부터 상기 출력 수단에 의하여 제공된 문장에 대한 발음을 입력받아 전처리 수단으로 전송하기 위한 입력 수단;

   학습 대상 문장 및 상기 문장에 대한 원어민 발음을 저장하기 위한 저장 수단;

   상기 입력 수단을 통하여 입력된 음성에 대하여 문장 단위로 시작점과 끝점을 검출하고 상기 검출된 문장 마다 소정의 분석단위로 절단하여 음성 특성 파라미터 추출 수단으로 전송하고, 상기 사용자에 의하여 음성으로 입력된 문장에 대한 원어민의 발음을 상기 저장 수단으로부터 가지고 와서 상기 음성 특성 파라미터로 전달하기 위한 전(前)처리 수단;

   상기 절단된 사용자의 음성 및 해당 원어민의 발음에 대하여 특성 파라미터를 추출하기 위한 음성 특성 파라미터 추출부; 및

   상기 사용자의 음성과 해당 원어민의 발음에 대한 음성 특성 파라미터을 상기 소정의 분석단위별로 비교분석하여 상기 사용자에게 비교분석 결과를 제공하기 위한 비교분석 수단

   을 포함하는 발음교정을 이용한 언어학습 시스템.
2. 제 1 항에 있어서,

   상기 전(前)처리 수단의 소정의 분석단위는,

   상기 사용자의 선택에 따라 단어, 어절, 또는 문장 단위인 것을 특징으로 하는 발음교정을 이용한 언어학습 시스템.
3. 제 1 항 또는 제 2 항에 있어서,

   상기 음성 특성 파리미터 추출부의 특성 파라미터는,

   피치(Pitch), 에너지(Energy), 및 포만트(Formant)인 것을 특징으로 하는 발음교정을 이용한 언어학습 시스템.
4. 언어 학습 시스템에 적용되는 언어 학습 방법에 있어서,

   사용자의 선택에 따라, 저장된 학습 대상이 되는 문장과 상기 문장의 원어민(Native Speaker) 발음을 상기 사용자에게 제공하여, 상기 사용자로부터 상기 제공된 문장에 대한 발음을 입력받는 제 1 단계;

   상기 제 1 단계에서 입력받은 사용자의 음성에 대하여 문장 단위로 시작점과 끝점을 검출하여 상기 검출된 문장마다 소정의 분석단위로 절단하는 제 2 단계;

   상기 사용자의 입력 음성과 해당 원어민의 발음에 대하여 상기 제 2 단계에서 절단된 소정의 분석단위마다 음성 특성 파라미터를 추출하는 제 3 단계; 및

   상기 제 3 단계에서 추출된 상기 사용자의 입력음성과 해당 원어민의 발음에 대한 음성 특성 파라미터을 상기 소정의 분석단위별로 비교분석하여 상기 사용자에게 비교분석 결과를 제공하는 제 4 단계

   를 포함하는 발음교정을 이용한 언어학습 방법.
5. 제 4 항에 있어서,

   상기 제 2 단계의 소정의 분석단위는,

   상기 사용자의 선택에 따라 단어, 어절, 또는 문장 단위인 것을 특징으로 하는 발음교정을 이용한 언어학습 방법.
6. 제 4 항 또는 제 5 항에 있어서,

   상기 제 3 단계의 음성 특성 파라미터는,

   피치(Pitch), 에너지(Energy), 및 포만트(Formant)인 것을 특징으로 하는 발음교정을 이용한 언어학습 방법.
7. 발음교정을 통한 언어학습을 위하여, 프로세서를 구비한 언어 학습 시스템에,

   사용자의 선택에 따라, 저장된 학습 대상이 되는 문장과 상기 문장의 원어민(Native Speaker) 발음을 상기 사용자에게 제공하여, 상기 사용자로부터 상기 제공된 문장에 대한 발음을 입력받는 제 1 기능;

   상기 제 1 기능에서 입력받은 사용자의 음성에 대하여 문장 단위로 시작점과 끝점을 검출하여 상기 검출된 문장마다 소정의 분석단위로 절단하는 제 2 기능;

   상기 사용자의 입력 음성과 해당 원어민의 발음에 대하여 상기 제 2 기능에서 절단된 소정의 분석단위마다 음성 특성 파라미터를 추출하는 제 3 기능; 및

   상기 제 3 기능에서 추출된 상기 사용자의 입력음성과 해당 원어민의 발음에 대한 음성 특성 파라미터을 상기 소정의 분석단위별로 비교분석하여 상기 사용자에게 비교분석 결과를 제공하는 제 4 기능

   을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.