KR20020087709A

KR20020087709A - 어학 발음 학습장치

Info

Publication number: KR20020087709A
Application number: KR1020010026659A
Authority: KR
Inventors: 오원록
Original assignee: 오원록
Priority date: 2001-05-16
Filing date: 2001-05-16
Publication date: 2002-11-23

Abstract

본 발명에 따른 어학발음 학습장치는 표본음성 데이터를 저장하는 표본음성 저장부, 사용자의 학습음성을 입력받는 음성입력부, 상기 표본음성과 상기 음성입력부를 통해 입력되는 학습음성의 특징 파라미터(켑스트럼, 인토네이션, 강세)를 검출하는 음성처리부, 상기 음성처리부에서 검출된 표본음성과 학습음성의 특징 파라미터를 각각 표시하는 디스플레이부, 사용자 선택사항을 입력하기 위한 사용자 입력부, 및 상기 각 구성요소들을 제어하며, 상기 사용자 입력부를 통해 입력되는 사용자의 지시에 따라 상기 표본음성 저장부에서 읽은 표본음성과 상기 음성입력부를 통해 입력되는 학습음성을 상기 음성처리부로 전달하여 처리하도록 하고, 상기 음성처리부에서 처리된 음성 데이터를 상기 디스플레이부로 전달하는 중앙처리장치를 포함하여 구성되는 것을 특징으로 한다.

Description

어학 발음 학습장치{A LANGUAGE TRAINING SYSTEM}

본 발명은 어학 발음 학습을 위한 장치를 제공하기 위한 것으로, 외국어 발음을 위한 조력자 없이 학습자가 혼자서 정확하게 외국어 발음 학습을 할 수 있게 한 것이다.

상기와 같은 필요에 의해 외국어 학습에 관한 종래기술로서 한국 공개 특허 제 2000-0049703호가 게시되어 있다.

한국 공개 특허 제 2000-0049703호는 인터넷상에서 외국어 회화학습 시스템을 구현하기 위한 것으로서, 미리 준비된 표본 음성신호와 학습자가 음성으로 입력한 음성신호를 음성신호 비교값 산출장치에 의하여 음의 고저, 액센트, 신호의 패턴을 비교함으로써 학습자가 정해진 회화문을 정확하게 구사하였는지를 평가하여 그 결과를 학습자에게 알려주기 위한 방법이다.

상기 종래기술은 단순히 표본 음성신호의 패턴과 학습자의 입력음성의 패턴만을 비교하여 학습자의 학습음성이 "정확하다" 또는 "부정확하다"와 같이 학습자의 수준을 개략적으로 판별하여 알려준다. 따라서 학습자의 학습음성이 표본음성과 비교하여 어떤 부분이 잘못되었는지를, 즉 학습음성 파형은 표본음성 파형과 비교하여 어떻게 다른지, 학습음성의 인토네이션은 표본음성의 인토네이션과 비교하여 어떻게 다른지, 학습음성의 강세는 표본음성의 강세와 비교하여 어떻게 다른지를정확하게 알려주지 못하며, 학습자의 학습진도가 어느 정도인지를 세분하여 알려주지 못하는 단점이 있다. 또한 표본음성과 학습음성의 차이점을 시각적으로 보여주지 못하는 단점이 있다.

본 발명은 상기와 같은 문제점을 해결하기 위한 것으로서, 표본음성과 학습음성에 대하여 특징 파라미터별(켑스트럼,인토네이션,강세)로 비교하고, 그 차이점을 튜터창,유저창, 연결창을 통해 시각적으로 보여주며, 특징 파라미터별로 비교한 차이점에 의하여 평가점수를 산출하고, 그 평가점수를 점수창을 통해 시각적으로 보여주기 위한 어학발음 학습장치를 제공함에 있다.

본 발명의 또 다른 목적은 인터넷을 통한 상기와 같은 어학발음 학습장치를 이용한 어학학습 서비스 시스템을 제공하기 위함에 있다.

상기 목적을 달성하기 위하여 본 발명에 따른 어학발음 학습장치는 표본음성 데이터를 저장하고 있는 표본음성 저장부, 사용자의 학습음성을 입력받는 음성입력부, 상기 표본음성과 상기 음성입력부를 통해 입력되는 학습음성의 특징 파라미터

(켑스트럼, 인토네이션, 강세)를 검출하는 음성처리부, 상기 음성처리부에서 검출된 표본음성과 학습음성의 특징 파라미터를 각각 표시하는 디스플레이부, 사용자선택사항을 입력하기 위한 사용자 입력부, 및 상기 각 구성요소들을 제어하며, 상기 사용자 입력부를 통해 입력되는 사용자의 지시에 따라 상기 표본음성 저장부에서 읽은 표본음성과 상기 음성입력부를 통해 입력되는 학습음성을 상기 음성처리부로 전달하여 처리하도록 하고, 상기 음성처리부에서 처리된 음성 데이터를 상기 디스플레이부로 전달하는 중앙처리장치를 포함하여 구성되는 것을 특징으로 한다.

또한 상기 음성처리부는 상기 표본음성과 학습음성의 특징 파라미터를 검출하는 특징 파라미터 검출부, 상기 특징 파라미터 검출부에서 검출한 표본음성과 학습음성의 특징 파라미터를 비교하여 각 특징 파라미터별로 두 음성의 차이값을 산출하는 패턴매칭부, 상기 패턴매칭부에서 산출된 특징 파라미터별 차이값에 일정 가중치를 부여하는 가중치 부여부, 및 상기 가중치가 부여된 값을 소정의 점수대역으로 정규화하는 정규화부를 포함하여 구성되는 것을 특징으로 한다.

또한 상기 특징 파라미터 검출부는 표본음성과 학습음성에 대한 켑스트럼을 검출하는 켑스트럼 검출부, 인토네이션을 검출하는 피치검출부와, 강세를 검출하는 피크치 검출부로 구성되어 있으며, 상기 패턴매칭부는 상기 특징 파라미터 검출부로부터 검출된 표본음성과 학습음성의 켑스트럼에 대한 차이값을 산출하기 위한 동적시간 워핑부와 상기 동적시간 워핑부를 거친 두 음성의 켑스트럼 차이값과 상기 켑스트럼 차이값을 이용하여 다른 특징 파라미터에 대한 차이값을 산출하는 차이값 산출부로 구성되어 있으며, 상기 가중치부여부는 상기 패턴매칭부로부터 산출된 차이값을 뉴럴네트워크를 통하여 산출된 가중치를 상기 차이값에 부여하는 수단으로 구성되어 있으며, 상기 정규화부는 상기 가중치 부여부에서 산출된 특징 파라미터별 차이값을 소정의 점수대역으로 정규화하는 수단으로 구성되어 있는 것을 특징으로 한다.

또한 상기 음성처리부는 디지털신호 프로세스(DSP) 칩으로 통합 구현되는 것을 특징으로 한다.

또한 상기 중앙처리장치는 상기 음성처리부에서 검출된 표본음성의 특징 파라미터를 표시하는 튜터창, 상기 음성처리부에서 검출된 학습음성의 특징 파라미터를 표시하는 유저창, 및 상기 표본음성에 대한 켑스트럼과 상기 학습음성에 대한 켑스트럼의 시간대별 대응관계를 표시하는 연결창이 상기 디스플레이부의 한 화면에 동시에 나타나도록 처리하는 기능을 포함하여 구성되는 것을 특징으로 한다.

또한 상기 중앙처리장치는 상기 디스플레이부의 화면에 상기 정규화부에서 산출한 점수를 표시하는 점수창이 함께 나타나도록 처리하는 기능을 포함하는 것을 특징으로 한다.

또한 본 발명에 따른 인터넷을 통한 어학발음 학습 서비스 시스템은 상기 시스템을 구성하고 통제하며, 어학발음 학습 프로그램을 실행하는 서버, 상기 서버에연결되어 있으며 회원에 대한 소정의 자료를 저장하고 있는 회원관리 데이터 베이스, 상기 서버에 연결되어 있으며 표본음성 데이터를 저장하고 있는 표본음성 데이터 베이스, 상기 서버에 연결되어 있으며 재생되는 표본음성과 학습음성 데이터를 저장하는 메모리부, 인터넷을 통하여 상기 서버에 연결되어 있는 회원 컴퓨터, 상기 회원 컴퓨터에 연결되어 있으며 회원의 학습음성을 입력하는 음성입력부, 상기 회원 컴퓨터에 연결되어 있으며 표본음성과 학습음성을 음성으로 출력하는 음성출력부, 상기 회원 컴퓨터와 연결되어 있으며 상기 표본음성과 학습음성에 대한 특징 파라미터(인토네이션,강세) 및 회원의 학습평가 점수를 표시하는 모니터를 포함하여 구성되어 있으되, 상기 표본음성과 학습음성에 대하여 특징 파라미터를 검출하고, 학습평가 점수를 산출하는 어학학습 기능부가 상기 서버에 내장되어 있는 것을 특징으로 한다.

또한 상기 서버는 상기 어학학습 기능부에서 검출된 표본음성의 특징 파라미터를 표시하는 튜터창, 상기 어학학습 기능부에서 검출된 학습음성의 특징 파라미터를 표시하는 유저창, 및 상기 표본음성에 대한 켑스트럼과 상기 학습음성에 대한 켑스트럼의 시간대별 대응관계를 표시하는 연결창이 상기 모니터의 한 화면에 동시에 나타나도록 처리하는 기능을 포함하여 구성되는 것을 특징으로 한다.

또한 상기 서버는 상기 어학학습 기능부에서 산출된 평가점수를 표시하는 점수창이 상기 모니터의 화면에 나타나도록 처리하는 기능을 포함하여 구성되는 것을특징으로 한다.

도 1은 본 발명에 따른 어학발음 학습장치의 시스템 구성도,

도 1a는 본 발명에 따른 메뉴창 화면의 구성도,

도 1b는 본 발명에 따른 학습창 화면의 구성도,

도 2는 본 발명에 따른 음성처리부의 바람직한 실시예를 도시한 블록도,

도 3은 음성처리부에서 특징 파라미터 검출부의 상세한 실시예를 도시한

블록도,

도 4는 특징 파라미터 검출부에서 검출된 특징 파라미터를 설명하기 위한

음성 그래프,

도 4a는 도 4에 제시된 음성파형에 대한 피치를 나타낸 그래프,

도 5는 학습음성과 표본음성이 동일한 속도로 발음된 경우의 연결창의

구성도,

도 5a는 학습음성이 표본음성보다 느린 속도로 발음된 경우의 연결창

구성도,

도 6은 본 발명에 따른 어학발음 학습방법을 나타낸 순서도,

도 6a는 도 6에 연결되는 어학발음 학습방법을 나타낸 순서도,

도 7은 인터넷을 통한 어학발음 학습 서비스 시스템 구성도,

도 8은 표본모드를 선택한 경우의 인터넷을 통한 어학발음 학습 서비스

순서를 나타낸 순서도,

도 8a는 학습모드를 선택한 경우의 인터넷을 통한 어학발음 학습 서비스

순서를 나타낸 순서도이다.

<도면의 주요부분에 대한 부호의 설명>

1 : 저장매체 드라이버 2 : 음성입력부

3 : 음성처리부 4 : 음성출력부

5 : 사용자 입력부 8 : 디스플레이부

9 : 보조기억장치 10 : 중앙처리장치

11 : 메뉴창 16 : 튜터창

17 : 유저창 18 : 연결창

19 : 점수창 23 : 특징 파라미터 검출부

24 : 패턴매칭부 26 : 가중치 부여부

27 : 정규화부

이하 본 발명의 바람직한 실시예에 따른 어학 발음 학습장치에 대하여 첨부된 도면을 참조하여 상세히 설명한다.

도 1은 본 발명에 따른 어학 발음 학습장치의 시스템 구조를 도시한 것이다.

도 1을 참조하면 본 발명에 의한 어학 발음 학습장치는 표본음성을 저장한 저장매체를 구동하여 표본음성을 재생하는 저장매체 드라이버(1)와, 학습자의 학습음성을 입력하는 음성입력부(2)와, 상기 음성입력부로부터 입력되는 학습음성과 상기 저장매체 드라이버로부터 재생되는 표본음성에 대한 특징 파라미터(켑스트럼,인토네이션,강세)를 검출하고 평가점수를 산출하는 음성처리부(3)와, 상기 음성처리부로부터 출력되는 표본음성과 학습음성을 음성으로 출력하는 음성출력부(4)와, 키보드 또는 마우스로 구성되어 있는 학습자 입력부(5)를 통하여 입력되는 학습자 입력신호를 처리하는 입출력인터페이스(6)와, 상기 음성처리부로부터 검출된 표본음성과 학습음성에 대한 특징 파라미터를 저장하는 메모리부(7)와, 상기 음성처리부로부터 검출된 표본음성과 학습음성에 대한 특징 파라미터와 평가점수를 표시하는 디스플레이부(8)와, 상기 구성요소들에 대한 작동 프로그램인 어학발음 학습 프로그램을 저장하고 있는 보조기억장치(9)와, 상기 어학발음 학습 프로그램에 의하여구성요소들을 제어하는 중앙처리장치(10)로 구성되어 있다. 상기 표본음성은 하드디스크나 플로피디스크로 구성되어 있는 보조기억장치(9) 내에서 음성 데이터의 파일로 저장될 수 있으며, 상기 저장매체 드라이버(1)에 의하여 재생되는 CD 형태로 존재할 수도 있다. 또한 상기 음성처리부(3)는 디지털 신호 프로세스(DSP) 칩으로 통합되어 구현되는 것이 바람직하다.

상기와 같이 구성되어 있는 어학 발음 학습장치에서, 사용자 입력부(5)를 통해 보조기억장치(9)에 저장되어 있는 어학발음 학습 프로그램이 선택되면, 중앙처리장치(10)에 의해 어학발음 학습 프로그램이 로딩되어 실행된다.

상기 어학발음 학습 프로그램이 로딩되면, 도 1a에서 도시된 실시예와 같이 어학학습을 위한 메뉴창(11)이 디스플레이부(8)에 표시되고 그 메뉴창(11)에는 표본모드(12)와 학습모드(13)가 표시된다. 상기 표본모드(12)는 표본음성만을 재생하게 하며, 학습모드(13)는 표본음성과 학습음성을 비교하고, 그 비교결과를 학습창에 표시하게 한다. 또한 메뉴창(11)의 소정영역에는 표본음성 구동모드(14)가 표시된다. 즉, 보조기억장치(9)에 저장되어 있는 표본음성과 저장매체 드라이버(1)에 의하여 재생되는 CD 형태로 저장되어 있는 표본음성의 구동에 필요한 메뉴가 표시된다.

도 1b에서의 실시예와 같이 학습창(15)은 튜터창(16), 유저창(17), 연결창

(18) 및 점수창(19)으로 구분되어 있다. 상기 튜터창(16)은 표본음성에 대한 인토네이션 및 강세가 표시되는 창이며, 유저창(17)은 학습음성에 대한 인토네이션 및 강세가 표시되는 창이다. 연결창(18)은 상기 튜터창(16)과 유저창(17)에 표시되는 두 음성에 대한 시간대별 대응관계가 표시되는 창이다. 또한 점수창(19)은 상기 표본음성과 학습음성을 켑스트럼,인토네이션 및 강세로 세분화하여 특징 파라미터별로 구분하여 비교한 학습자의 학습수준이 점수로 표시되는 창이다. 또한 상기 점수창(19)에는 상기 특징 파라미터별로 구분한 학습자의 학습점수을 종합한 점수가 표시될 수도 있다.

위에서 설명한 바와같이 어학 발음 학습장치는 사용자 입력부(5)를 통하여 상기 메뉴창(11)에 표시된 소정의 키를 누름으로써 해당모드가 실행된다. 상기 표본모드(12)나 학습모드(13)를 선택한 후, 표본음성 구동모드(14)의 선택에 의하여 표본음성 재생을 설정하게 되고, 이 설정된 표본음성은 상기 음성처리부(3)를 통하여 음성출력부(4)로 출력한다. 또한 상기 표본음성은 중앙처리장치(10)를 경유하여 메모리부(7)에 저장된다.

한편, 음성입력부(2)를 통하여 입력되는 학습음성은 음성처리부(3)를 통하여 음성출력부(4)로 출력되며, 아날로그 상태인 학습음성은 상기 음성처리부에서 디지털 음성신호로 변환되어 중앙처리장치(10)를 경유하여 메모리부(7)에 저장된다. 상기 메모리부(7)에 저장되어 있는 표본음성은 중앙처리장치(10)를 통하여 디스플레이부(8)상의 튜터창(16)에 표시되며, 학습음성은 유저창(17)에 표시되며, 상기 두 음성의 시간대별 대응관계는 연결창(18)에 표시된다. 또한 상기 표본음성과 학습음성을 비교하여 산출한 평가점수는 점수창(19)에 표시되어 학습자는 자신의 학습음성과 표본음성의 인토네이션, 강세를 시각적으로 비교하면서 어학 발음 학습을 할 수 있으며, 점수창(19)에 표시되는 평가점수를 보면서 현재 자신의 발음 수준을 알 수 있다.

도 2는 음성처리부에 관한 바람직한 실시예의 블록도로서, 이를 참조하여 음성처리부(3)의 기능을 상세하게 설명하기로 한다.

도 2를 참조하면, 상기 음성처리부(3)는 끝점검출이 용이하도록 잡음성분을 없애주는 저역차단필터(20)와, 상기 저역차단필터(20)를 통과한 음성데이터의 앞.뒤 끝점 위치를 검출하는 끝점 검출부(21)와, 상기 끝점 검출부(21)에서 검출된 끝점 정보에 의해 음성처리부(3)로 입력된 음성데이터의 앞.뒤를 절단하는 무음제거부(22)와, 상기 무음제거부(22)에 의해 앞.뒤 끝점이 제거된 음성데이터에 대한 특징 파라미터를 검출하는 특징 파라미터 검출부(23)와, 상기 특징 파라미터 검출부(23)로부터 검출된 특징 파라미터와 표준음성의 특징 파라미터에 대하여 동적시간 워핑(Dyamic Time Wraping: DTW)에 의해 차이값을 산출하는 패턴매칭부(24)와, 상기 동적시간 워핑에 의하여 산출된 특징 파라미터에 대한 차이값을 이용하여 각 특징 파라미터에 대한 가중치를 산출하는 뉴럴네트워크(25)와, 상기 뉴럴네트워크에 의하여 산출된 가중치를 상기 패턴매칭부(24)에 의하여 산출된 차이값에 부여하는 가중치 부여부(26)와, 상기 가중치 부여부(26)에 의하여 결정된 특징 파라미터에 대한 점수를 0에서 100까지의 점수로 정규화하는 정규화부(27)로 구성하는 것이 바람직하다.

도 3을 참조하여 특징 파라미터 검출부(23)의 상세한 실시예를 설명하기로 한다.

도 2의 저역필터, 무음제거부(22)를 거친 음성 데이터는 특징 파라미터 검출부(23)에서 표본음성과 학습음성에 대한 특징 파라미터 중에서 그 특징에 가장 큰 영향을 미치는 켑스트럼, 인토네이션 및 강세로 구분되어 검출된다. 상기 특징 파라미터 검출부(23)는 제 1특징 파라미터 검출부(28)와 제 2특징 파라미터 검출부(32)로 구성되어 있다. 상기 제 1 특징 파라미터(28)에서는 학습음성에 대한 특징 파라미터를 검출하는데, 학습음성의 켑스트럼을 검출하는 제 1 켑스트럼검출부(29)와, 인토네이션을 검출하는 제 1피치검출부(30)와, 강세를 검출하는 제 1피크치검출부(31)로 구성되어 있다. 또한 상기 제 2 특징 파라미터 검출부(32)에서는 표본음성에 대한 특징 파라미터를 검출하는데, 표본음성의 켑스트럼을 검출하는 제 2켑스트럼검출부(33)와, 인토네이션을 검출하는 제 2 피치검출부(34)와, 강세를 검출하는 제 2 피크치검출부(35)로 구성되어 있다.

상기 제 1,2 피치검출부(30,34)에서 검출된 각 음성에 대한 피치는 피치와 피치 사이의 값에 인터폴레이션을 수행한 후 인토네이션을 추출하여 상기 학습음성에 대한 인토네이션은 유저창(17)에 표시하며, 상기 표본음성에 대한 인토네이션은 튜터창(16)에 표시한다. 또한 제 1,2 피크치 검출부(31,35)에서는 각 음성에 대한 피크치를 검출하여, 여러개의 피크치중 최고값을 제 1강세, 그 다음을 제 2강세, 그 다음을 제 3강세로 하여 학습음성에 대한 강세는 유저창(17)에 표시하며, 표본음성에 대한 강세는 튜터창(16)에 표시한다.

상기 제 1,2 켑스트럼 검출부(29,33)에서 검출된 학습음성과 표본음성에 대한 켑스트럼은 동적시간 워핑부(36)를 거쳐 두 음성에 대한 켑스트럼 차이값산출부

(37-1)에 의하여 켑스트럼 차이값을 산출한다. 또한 상기 동적시간 워핑부에서 출력되는 데이터는 제 1,2 피치 검출부(30,34)에서 검출된 학습음성과 표본음성에 대한 인토네이션과 함께 인토네이션 차이값 산출부(37-2)로 입력되어 두 음성에 대한 인토네이션 차이값을 산출하며, 상기 동적시간 워핑부에서 출력되는 데이터는 제 1,2 피크치 검출부(31,35)에서 검출된 학습음성과 표본음성에 대한 강세와 함께 강세 차이값 산출부(37-3)로 입력되어 두 음성에 대한 강세 차이값을 산출한다.

상기 각 파라미터에 대한 차이값은 뉴럴네트워크(25)를 거쳐 가중치 산출부

(38)에 입력되고 가중치 산출부(38)는 각각의 파라미터에 대한 가중치를 산출한다. 그러면 가중치 부여부(26)는 상기 특징 파라미터에 대한 차이값을 산출하는 차이값 산출부(37)에서 구한 차이값 값에 가중치 부여부(26)에 의해 상기 가중치 산출부

(38)에서 산출한 가중치를 부여하여 각 파라미터에 대한 점수를 산출하며, 그 점수를 정규화부(27)에서 정규화하여 점수창(19)에 표시될 특징 파라미터별 점수를 산출한다.

도 4는 본 발명에 따른 특징 파라미터를 설명하기 위한 음성 그래프로서,

임의의 음성에 대한 파형(40), 인토네이션 그래프(41), 강세 그래프(42)가 도시되어 있다.

상기 파형(40)은 원래의 학습음성 또는 학습음성 데이터이며, 파형 검출부

(미도시)에서 검출되며, 상기 인토네이션 그래프(41)는 피치검출부(30,34)에 의하여 검출되며, 상기 강세 그래프(42)는 피크치 검출부(31,35)에 의하여 검출된다.

인간의 음성은 발성원리에 따라 그 패턴이 반복적으로 나타나는 소리의 높낮이 현상이 나타나게 되는데 이러한 특징은 잡음에서는 없는 음성의 독특한 특성이다. 상기 음성의 반복적으로 나타나는 소리의 높낮이 현상에 의하여 피치 검출부

(30,34)에서 피치를 검출하게 된다. 만약 상기 피치 검출부(30,34)에서 검출된 피치가 도 4a에 도시된 것과 같은 피치 그래프라고 하면, 그 그래프 영역중에서 중간에 끊어지는 부분을 부드럽게 연결하는 인터폴레이션 수단(도시하지 않음)에 의하여 도 4에 도시된 것과 같은 인토네이션 그래프(41)를 구하게 된다.

한편, 상기 피치(43)를 이용한 분산을 구하고, 학습음성의 분산과 표본음성의 분산의 비를 구하면, 그 분산의 비에 의하여 유창성 또는 명료도를 검출할 수 있다. 상기 음성피치에 대한 분산을 구하면, 그 음성의 인토네이션 모양을 구할 수있는데, 학습음성과 표본음성에 대한 인토네이션 모양이 비슷할수록 분산의 비는 1에 가깝게 되며, 분산의 비가 1에 가까울수록 유창하게 외국어를 구사하는 것이다.

도 4에 있어서 강세 그래프(42)는 음성에 대한 피크치를 나타낸 것으로 5개의 봉우리가 있다. A 부분은 최고 피크치로 가장 강하게 발음된 부분이며, 제 1강세이다. B 부분은 두번째로 강하게 발음된 부분으로 제 2 강세를 나타낸다.

도 5는 학습음성과 표본음성이 동일한 속도로 발성된 경우의 연결창의 상태를 도시한 것이다.

연결창(18)에는 튜터창(16)과 유저창(17)의 연결관계가 직선의 막대모양에 의하여 표시된다. 학습자의 음의 빠르기를 산출하기 위하여 학습음성과 표본음성의 음의 길이를 동적시간 워핑에 의하여 결정한다. 두 음성의 길이를 비교하기 위해서는 양자간의 프레임별 연결관계를 매칭시킨다. 그러면, 양자간의 시간차에 의하여 발음의 시간대별 연결관계를 알 수 있다. 상기 시간대별 연결관계는 연결창(18)을 통하여 표시된다. 또한 상기 시간대별 연결관계는 학습자의 수준을 나타내는 점수의 한 요소로 될 수도 있다.

도 5에서와 같이, 학습음성과 표본음성이 동일한 속도로 발음된 경우에는 표본음성의 하나의 프레임에 학습음성의 하나의 프레임이 연결되며, 연결창(18)에는 수직의 막대모양이 표시된다.

만약 학습음성이 느리게 발음되면 표본음성의 하나의 프레임에 학습음성의 두 프레임 또는 세 프레임이 연결될 수 있다. 이 경우에는 연결창에 도 5a에서와 같이 상부의 간격보다 하부의 간격이 더 넓은 빗살무늬 모양의 선이 표시된다.

도 6은 본 발명에 따른 어학발음 학습방법을 나타낸 순서도이다.

본 발명에 따른 어학 발음 학습프로그램이 로딩되어 중앙처리장치에서 어학발음 학습프로그램이 수행되면, 표본음성만을 재생하는 표본모드와 재생되는 표본음성과 학습음성을 비교하여 학습수준을 평가하는 학습모드를 구비한 메뉴창이 표시된다(S1). 학습자의 선택에 의하여 표본음성을 재생하기 위한 표본모드가 선택되면(S2), 학습자에 의하여 표본음성이 저장되어 있는 저장매체를 구동하기 위한 구동모드와 함께 재생구간이 선택된다(S3). 상기 저장매체의 재생구간이 선택되어 그 선택된 표본음성이 재생되면(S4) 그 표본음성은 음성출력부를 통하여 소리로 출력된다(S5). 또한, 상기 소리로 출력됨과 동시에 표본음성에 대한 인토네이션, 강세를 검출하여(S6), 튜터창에 상기 표본음성에 대한 인토네이션, 강세의 그래프가 표시된다(S7).

그러나, 상기 메뉴창에서 학습자의 선택에 의하여 학습모드가 선택되면(S8), 학습자에 의하여 표본음성이 저장되어 있는 저장매체를 구동하기 위한 구동모드와 함께 재생구간이 선택된다(S9). 상기 저장매체의 재생구간이 선택되어 그 선택된 표본음성이 재생되면(S10) 그 표본음성은 음성출력부를 통해 음성으로 출력됨(S11)

과 동시에 표본음성에 대한 켑스트럼, 인토네이션, 강세가 검출된다(S12). 표본음성에 대한 켑스트럼, 인토네이션, 강세에 대한 데이터는 메모리부에 저장되며(S13)상기 표본음성에 대한 인토네이션, 강세에 대한 데이터는 튜터창에 그래프로서 표시된다(S14).

또한, 음성입력부를 통하여 학습자의 학습음성이 입력되면(S15), 학습음성은 음성출력부를 통하여 음성으로 출력됨(S16)과 동시에 학습음성에 대한 켑스트럼, 인토네이션, 강세가 검출된다(S17). 상기 학습음성에 대한 켑스트럼, 인토네이션,강세에 대한 데이터는 메모리부에 저장되며(S18), 상기 학습음성에 대한 인토네이션, 강세에 대한 데이터는 유저창에 그래프로서 표시된다(S19).

상기 메모리부에 저장되어 있는 표본음성과 학습음성에 대한 켑스트럼 데이터는 도 6a에서와 같이 동적시간 워핑 처리되고(S20), 상기 동적시간 워핑 처리에 의하여 산출한 차이값에 의하여 평가점수를 산출하고(S21) 그 점수를 점수창에 표시한다(S22). 또한 상기 표본음성과 학습음성에 대한 켑스트럼 데이터의 동적시간 워핑에 의하여(S20), 두 음성간의 발음의 시간차를 산출하게 되는데(S23), 그 시간 차이는 연결창을 통하여 표시된다(S24).

도 7은 인터넷을 통한 어학발음 학습 서비스 시스템 구성도이다.

도 7은 본 발명에 따른 인터넷을 통한 어학발음 학습 서비스 시스템이 다수의 회원들과 연결될 수 있도록 구성되어 있는 시스템을 도시한 것이다.

인터넷을 통한 어학발음 학습 서비스 시스템은 그 시스템을 구성하고 통제하며, 어학발음 학습 프로그램을 실행하는 서버(50)와, 상기 서버(50)에 내장되어 있으며, 상기 어학발음 학습 프로그램에 의하여 어학발음 학습기능을 수행하는 어학학습기능부(51)와, 상기 서버(50)에 연결되어 있으며 회원(미도시)에 대한 필요한 자료를 저장하는 회원관리 데이터베이스(52)와, 상기 서버(50)에 연결되어 있으며 표본음성 데이터를 저장하고 있는 표본음성 데이터 베이스(52)와, 상기 서버에 연결되어 있으며 재생되는 표본음성과 회원의 학습음성을 저장하는 메모리부(54)와, 인터넷(55)을 통하여 상기 서버(50)에 연결되어 있는 회원의 컴퓨터(56)와, 상기 컴퓨터(56)와 연결되어 있으며 회원의 선택사항이 입력되는 키보드(58)와, 상기 컴퓨터(56)와 연결되어 있으며 회원의 학습음성을 입력하는 마이크(59)와, 상기 컴퓨터(65)와 연결되어 있으며 학습음성과 표본음성을 출력하는 스피커(60)와, 상기 컴퓨터(56)에 연결되어 있으며 상기 서버(50)로부터 제공되는 표본음성과 학습음성에 대한 특징 파라미터와 회원의 학습수준을 표시하는 모니터(57)로 구성되어 있다. 한편, 상기 어학발음 학습 프로그램에 의하여 어학발음 학습기능을 수행하는 어학학습기능부(51)는 상기 서버(50)의 부하는 줄이기 위하여 회원 컴퓨터(56) 내에 설치될 수도 있다.

상기와 같이 구성되어 있는 인터넷을 통한 어학발음 학습 서비스 시스템에있어서 상기 어학학습 기능부(51)는 표본음성과 학습음성에 대한 특징 파라미터(켑스트럼, 인토네이션, 강세)를 검출하고, 두 음성에 대한 켑스트럼 데이터를 동적시간 워핑 수단을 거치게 하여 두 음성에 대한 켑스트럼 차이값을 산출하고, 상기 동적시간 워핑 수단에서 출력되는 데이터를 이용하여 다른 특징 파라미터(인토네이션, 강세)의 차이값을 산출하여 회원의 학습 평가점수를 산출한다. 또한 두 음성 의 시간대별 대응관계를 검출하여 표본음성에 대한 학습음성의 상대적 발음속도를 산출한다.

도 8은 인터넷을 통한 어학발음 학습 서비스의 일실시예를 도시한 것이다.

도 8은 인터넷을 통한 어학발음 학습 서비스 중에서 회원이 표본모드를 선택한 경우의 일실시예를 나타낸 것이다.

회원이 표본모드를 선택하는 경우의 상세한 어학학습 서비스 순서를 살펴보면, 회원이 자신의 컴퓨터(56)를 통해 인터넷(55)에 연결하여 어학발음 학습 서비스 시스템을 구성하고, 그 시스템을 통제하는 서버(50)에 연결하여 소정의 회원정보를 입력함으로써 로그인 단계를 거친다(S100). 상기 회원의 컴퓨터(56)에 의하여 입력되는 회원정보에 의하여 서버(50)는 회원정보 데이터베이스에 저장되어 있는 회원정보와 비교하여 회원인증을 단계를 거치고(S101), 회원인증단계를 거친 회원에게는 회원 컴퓨터(56)를 경유하여 모니터(57)에 표본모드, 학습모드 및 표본음성 재생 구간이 설정되어 있는 메뉴창을 제공한다(S102).

상기 모니터(57)에 표시된 메뉴창에서 키보드(58)를 통하여 회원에 의하여 표본모드와 함께 표본음성 재생구간이 선택되면(S103), 회원의 선택사항은 상기 서버(50)를 경유하여 표본음성 데이터 베이스에 전달되어 선택된 표본음성 데이터는 상기 서버(50)로 전달된다(S104). 상기 선택된 표본음성 데이터는 서버(50)에 내장되어 있는 어학학습 기능부(51)에 의하여 재생되어(S105), 인터넷(55)을 통하여 회원 컴퓨터(56)를 경유하여 스피커(60)에서 음성으로 출력된다(S106). 또한 상기 어학학습 기능부(51)에서는 재생되는 표본음성에 대한 인토네이션, 강세를 검출하여

(S107) 회원컴퓨터(56)를 경유하여 모니터(57)화면의 튜터창에 표시한다(S108).

도 8a는 인터넷을 통한 어학발음 학습 서비스 중에서 도 8의 S103 단계에서 학습모드가 선택된 경우의 실시예를 나타낸 것이다.

도 8의 S102 단계에서 모니터(57)에 표본모드,학습모드 및 표본음성 재생구간이 설정되어 있는 메뉴창이 제공되는 S102 단계 이후, 회원에 의하여 학습모드와 함께 표본음성 재생구간이 선택되면(S109), 회원 선택사항은 상기 서버(50)를 경유하여 표본음성 데이터베이스에 전달되어 선택된 표본음성 데이터는 상기 서버(50)로 전달된다(S110). 상기 선택된 표본음성 데이터는 서버(50)에 내장되어 있는 어학학습 기능부(51)에 의하여 재생되어(S111), 인터넷(55)을 통하여 회원컴퓨터(56)

를 경유하여 스피커(60)에서 음성으로 출력된다(S112). 또한 상기 어학학습 기능부

(51)에 의해 재생되는 표본음성에 대한 켑스트럼, 인토네이션, 강세가 검출되고

(S113), 그 중에서 인토네이션, 강세는 회원 컴퓨터(56)를 경유하여 모니터(57)화면의 튜터창에 표시되며(S114), 상기 표본음성에 대한 켑스트럼, 인토네이션, 강세는 메모리부(54)에 저장된다(S115).

상기 표본음성에 대한 음성처리가 완료된 후, 회원 컴퓨터(56)에 연결되어 있는 마이크(60)를 통하여 학습음성이 입력되면 회원컴퓨터(56)를 경유하여 스피커(60)로 음성으로 출력됨과 동시에 상기 서버(50)로 입력된다(S116). 상기 서버(50)로 입력된 학습음성은 어학학습 기능부(51)에 의하여 켑스트럼, 인토네이션, 강세가 검출되고(S117) 그 중에서 인토네이션, 강세는 회원 컴퓨터(56)를 경유하여 모니터(57) 화면의 유저창에 표시되며(S118), 상기 학습음성에 대한 켑스트럼, 인토네이션, 강세는 메모리부(54)에 저장된다(S119).

상기 메모리부(51)에 저장되어 있는 표본음성 및 학습음성에 대한 켑스트럼데이터는 상기 어학학습 기능부(51)에서 동적시간 워핑 수단을 거치게 된다(S120). 상기 두 음성의 켑스트럼에 대한 동적시간 워핑에 의하여 두 음성 파형의 시간대별 대응관계(시간차)가 산출되고(S121), 그 대응관계는 모니터(57) 화면의 연결창에 표시된다(S122). 또한 상기 S120 단계를 거쳐 두 음성에 대한 켑스트럼 차이값과 상기 동적시간 워핑 수단에서 출력되는 데이터를 이용하여 인토네이션 차이값 및 강세 차이값을 산출하고 그 값에 의하여 회원의 평가점수가 산출된다(S123). 상기

회원의 평가점수는 모니터(57) 화면의 점수창에 표시된다(S124).

상기에서 설명한 바와 같이 본 발명에 의한 어학 발음 학습장치는 표본음성과 학습음성에 대한 인토네이션 및 강세를 시각적으로 보여주고, 두 음성에 대한

차이점과 평가점수를 시각적으로 보여줌으로써 외부의 도움없이 학습자 혼자서 어학발음 학습을 할 수 있게 한다. 또한 인터넷을 통하여 어학발음 학습 서비스를 제공하여 다수인에게 혼자서 어학발음 학습을 할 수 있게 함으로써 외국어를 배우는데 지출되는 많은 비용을 절감할 수 있게 한다.

Claims

표본음성 데이터를 저장하는 표본음성 저장부;

사용자의 학습음성을 입력받는 음성입력부;

상기 표본음성과 상기 음성입력부를 통해 입력되는 학습음성의 특징 파라미터(켑스트럼, 인토네이션, 강세)를 검출하는 음성처리부;

상기 음성처리부에서 검출된 표본음성과 학습음성의 특징 파라미터를 각각 표시하는 디스플레이부;

사용자 선택사항을 입력하기 위한 사용자 입력부; 및

상기 각 구성요소들을 제어하며, 상기 사용자 입력부를 통해 입력되는 사용자의 지시에 따라 상기 표본음성 저장부에서 읽은 표본음성과 상기 음성입력부를 통해 입력되는 학습음성을 상기 음성처리부로 전달하여 처리하도록 하고, 상기 음성처리부에서 처리된 음성 데이터를 상기 디스플레이부로 전달하는 중앙처리장치를 포함하여 구성되는 것을 특징으로 하는 어학발음 학습장치.
제 1 항에 있어서, 상기 음성처리부는 상기 표본음성과 학습음성의 특징 파라미터를 검출하는 특징 파라미터 검출부;

상기 특징 파라미터 검출부에서 검출한 표본음성과 학습음성의 특징 파라미터를 비교하여 각 특징 파라미터별로 두 음성의 차이값을 산출하는 패턴매칭부;

상기 패턴매칭부에서 산출된 특징 파라미터별 차이값에 일정 가중치를 부여하는 가중치 부여부; 및

상기 가중치가 부여된 값을 소정의 점수대역으로 정규화하는 정규화부를 포함하여 구성되는 것을 특징으로 하는 어학발음 학습장치.
제 2 항에 있어서, 상기 특징 파라미터 검출부는 표본음성과 학습음성에 대한 켑스트럼을 검출하는 켑스트럼 검출부, 인토네이션을 검출하는 피치검출부, 강세를 검출하는 피크치 검출부로 구성되어 있으며, 상기 패턴매칭부는 상기 특징 파라미터 검출부로부터 검출된 표본음성과 학습음성의 켑스트럼에 대한 차이값을 산출하기 위한 동적시간 워핑부, 상기 동적시간 워핑부를 거친 두 음성의 켑스트럼 차이값과 상기 켑스트럼 차이값을 이용하여 다른 특징 파라미터(인토네이션, 강세)에 대한 차이값을 산출하는 차이값 산출부로 구성되어 있으며, 상기 가중치부여부는 상기 패턴매칭부로부터 산출된 차이값을 뉴럴네트워크를 통하여 산출된 가중치를 상기 차이값에 부여하는 수단으로 구성되어 있으며, 상기 정규화부는 상기 가중치 부여부에서 산출된 특징 파라미터별 차이값을 소정의 점수대역으로 정규화하는 수단으로 구성되어 있는 것을 특징으로 하는 어학발음 학습장치.
제 1 항 또는 제 2항에 있어서, 상기 음성처리부는 디지털신호 프로세스

(DSP) 칩으로 통합 구현되는 것을 특징으로 하는 어학발음 학습장치.
제 1 항에 있어서, 상기 중앙처리장치는 상기 음성처리부에서 검출된 표본음성의 특징 파라미터(인토네이션, 강세)를 표시하는 튜터창, 상기 음성처리부에서 검출된 학습음성의 특징 파라미터(인토네이션, 강세)를 표시하는 유저창, 및 상기 표본음성에 대한 켑스트럼과 상기 학습음성에 대한 켑스트럼의 시간대별 대응관계

(시간차)를 표시하는 연결창이 상기 디스플레이부의 한 화면에 동시에 나타나도록 처리하는 기능을 포함하여 구성되는 것을 특징으로 하는 어학발음 학습장치.
제 1 항 또는 제 5 항에 있어서, 상기 중앙처리장치는 상기 디스플레이부의 화면에 상기 정규화부에서 산출한 점수를 표시하는 점수창이 함께 나타나도록 처리하는 기능을 포함하는 것을 특징으로 하는 어학발음 학습장치.
시스템을 구성하고 통제하며, 어학발음 학습 프로그램을 실행하는 서버;

상기 서버에 연결되어 있으며 회원에 대한 소정의 자료를 저장하고 있는 회원관리 데이터 베이스;

상기 서버에 연결되어 있으며 표본음성 데이터를 저장하고 있는 표본음성 데이터 베이스;

상기 서버에 연결되어 있으며 재생되는 표본음성과 학습음성 데이터를 저장하는 메모리부;

인터넷을 통하여 상기 서버에 연결되어 있는 회원 컴퓨터;

상기 회원 컴퓨터에 연결되어 있으며 회원의 학습음성을 입력하는 음성입력부;

상기 회원 컴퓨터에 연결되어 있으며 표본음성과 학습음성을 음성으로 출력하는 음성출력부;

상기 회원 컴퓨터와 연결되어 있으며 상기 표본음성과 학습음성에 대한 특징 파라미터(인토네이션,강세) 및 회원의 학습평가 점수를 표시하는 모니터를 포함하여 구성되어 있으되, 상기 표본음성과 학습음성에 대하여 특징 파라미터를 검출하고, 학습평가 점수를 산출하는 어학학습 기능부가 상기 서버에 내장되어 있는 것을 특징으로 하는 인터넷을 통한 어학발음 학습 서비스 시스템.
제 7 항에 있어서, 상기 서버는 상기 어학학습 기능부에서 검출된 표본음성의 특징 파라미터(인토네이션, 강세)를 표시하는 튜터창; 상기 어학학습 기능부에서 검출된 학습음성의 특징 파라미터(인토네이션, 강세)를 표시하는 유저창; 및 상기 표본음성에 대한 켑스트럼과 상기 학습음성에 대한 켑스트럼의 시간대별 대응관계를 표시하는 연결창이 상기 모니터의 한 화면에 동시에 나타나도록 처리하는 기능을 포함하여 구성되는 것을 특징으로 하는 인터넷을 통한 어학발음 학습 서비스 시스템.
제 7 항에 있어서, 상기 서버는 상기 어학학습 기능부에서 산출된 평가점수를 표시하는 점수창이 상기 모니터의 화면에 나타나도록 처리하는 기능을 포함하여 구성되는 것을 특징으로 하는 인터넷을 통한 어학발음 학습 서비스 시스템.