KR100499854B1 - 음소별 오류유형 검출시스템 및 방법과 이를 적용한발음교정 시스템 및 방법 - Google Patents
음소별 오류유형 검출시스템 및 방법과 이를 적용한발음교정 시스템 및 방법 Download PDFInfo
- Publication number
- KR100499854B1 KR100499854B1 KR10-2002-0019809A KR20020019809A KR100499854B1 KR 100499854 B1 KR100499854 B1 KR 100499854B1 KR 20020019809 A KR20020019809 A KR 20020019809A KR 100499854 B1 KR100499854 B1 KR 100499854B1
- Authority
- KR
- South Korea
- Prior art keywords
- phoneme
- error type
- voice
- pronunciation
- database
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 23
- 238000012937 correction Methods 0.000 claims abstract description 36
- 238000000605 extraction Methods 0.000 claims abstract description 18
- 238000001514 detection method Methods 0.000 claims description 18
- 238000012217 deletion Methods 0.000 claims description 2
- 230000037430 deletion Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000003780 insertion Methods 0.000 claims description 2
- 230000037431 insertion Effects 0.000 claims description 2
- 238000012549 training Methods 0.000 claims description 2
- 238000010586 diagram Methods 0.000 description 4
- 230000009897 systematic effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Tourism & Hospitality (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Computational Linguistics (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Human Computer Interaction (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Data Mining & Analysis (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Human Resources & Organizations (AREA)
- Marketing (AREA)
- Primary Health Care (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
녹음된 음성파일에 근거하여 기설정된 발음기호 단위로 오류유형이 결정되어 정해진 오류유형별 음성인식 모형이 은닉 마르코프 모델 파일 형태로 저장되는 음성 오류유형 데이터베이스와, 상기 음성파일로부터 음소구간의 시간 프레임을 포함하는 문법정보를 갖는 문법정보 데이터베이스를 구비하며, 학습자로부터 발음교정 단어를 선택받는 단어 선택모듈; 선택된 단어의 발음을 입력받아 문법정보 데이터베이스 및 음성 오류유형 데이터베이스를 참조하여 음소구간을 자동으로 추출함과 동시에 추출된 음소구간별로 음소유형을 분석하는 음소구간 추출 및 분석모듈; 및 음소 분석모듈로부터 제공된 음소유형에 근거하여 음소구간별로 음성 오류유형 데이터베이스로부터 대응하는 오류유형을 검출하는 제어모듈을 포함하는 음성인식을 이용한 음소별 오류유형 검출 시스템이 개시된다. 따라서, 외국어를 발음할 때 나타나는 음소별 오류유형을 미리 분류하여 두고, 학습자로부터 특정단어에 대한 발음이 입력되면, 잘못 발음된 음소를 자동으로 체크하여 줌으로써 발음의 문제점을 정확히 제시할 수 있다는 이점이 있다.
Description
본 발명은 음소별 오류유형 검출 시스템과 이를 적용한 발음교정 시스템 및 방법에 관한 것으로, 보다 상세하게는 단어별 음성 오류유형 데이터베이스를 구비하고 발화 단어를 음소구간 별로 분석하여 오류유형을 검출하며, 분석결과에 의해 음성 오류유형 데이터베이스로부터 일치하는 오류유형을 추출하여 정해진 교정지침을 제공하여 발음을 교정하도록 하는 음소별 오류유형 검출 시스템과 이를 적용한 발음교정 시스템 및 방법에 관한 것이다.
음성인식기술(speech recognition technology)이란 인간의 음성을 컴퓨터가 분석하여 이를 인식하거나 이해하는 기술을 말하는 것으로, 인간의 음성이 발음에 따른 입 모양과 혀의 위치변화로 특정한 주파수를 갖게 되는 것을 이용하며, 음성을 전기신호로 변환하고 이 전기신호로부터 음성신호의 주파수 특징을 추출해 발음을 인식하게 된다.
이러한 음성인식기술은 외국어, 특히 영어의 발음 학습용으로 자주 이용되고 있다.
그러나, 음성인식기술을 이용한 일반적인 학습시스템은 원어민의 발음과 발화자의 발음의 유사도만을 측정하는 수준에 머물러 있어서 발음의 체계적인 교정지도가 어렵다는 문제가 있다.
더욱이, 학습자가 원인과 방법을 이해하지 못하고 무작정 원어민의 발음을 듣고 따라하기만 하는 것으로는 교정지도라 할 수 없다.
따라서, 체계적인 지도를 위하여 조음 음성학적 지식이 적용되어 발음 교육용으로 특화된 발음교정 시스템이 요구되고 있다.
본 발명은 이러한 종래의 문제점을 해결하기 위하여 제시되는 것으로, 본 발명의 목적은 화자의 발음에 대해 음소구간을 나누고 각 음소구간별로 분석하여 오류유형을 검출하는 오류유형 검출시스템 및 검출방법을 제공하는데 있다.
본 발명의 다른 목적은 상기의 검출시스템 및 검출방법을 이용하여 적절한 교정지침을 제시하여 화자의 발음을 효과적으로 교정할 수 있는 발음교정시스템 및 교정방법을 제공하는데 있다.
본 발명의 다른 목적과 특징은 이하에 서술되는 실시예를 통하여 보다 명확하게 이해될 것이다.
본 발명에서는 녹음된 음성파일에 근거하여 기설정된 발음기호 단위로 오류유형이 결정되어 정해진 오류유형별 음성인식 모형이 은닉 마르코프 모델 파일 형태로 저장되는 음성 오류유형 데이터베이스와, 상기 음성파일로부터 음소구간의 시간 프레임을 포함하는 문법정보를 갖는 문법정보 데이터베이스를 구비한다.본 발명의 제 1 실시예에 따르면, 학습자로부터 발음교정 단어를 선택받는 단어 선택모듈; 선택된 단어의 발음을 입력받아 문법정보 데이터베이스 및 음성 오류유형 데이터베이스를 참조하여 음소구간을 자동으로 추출함과 동시에 추출된 음소구간별로 음소유형을 분석하는 음소구간 추출 및 분석모듈; 및 음소 분석모듈로부터 제공된 음소유형에 근거하여 음소구간별로 음성 오류유형 데이터베이스로부터 대응하는 오류유형을 검출하는 제어모듈을 포함하는 음성인식을 이용한 음소별 오류유형 검출 시스템이 개시된다.
바람직하게, 음소 분석모듈은 음소구간별로 음소유형을 확률로 표시하며, 제어모듈은 가장 높은 확률을 갖는 음소유형에 대응하는 오류유형을 검출한다.
본 발명의 제 2 실시예에 따르면, 학습자로부터 발음교정 단어를 선택받는 단어 선택모듈; 선택된 단어의 발음을 입력받아 문법정보 데이터베이스 및 음성 오류유형 데이터베이스를 참조하여 음소구간을 자동으로 추출함과 동시에 추출된 음소구간별로 음소유형을 분석하는 음소구간 추출 및 분석모듈; 음소구간 추출모듈로부터 추출된 음소구간별로 발화자의 발음과 원어민에 의한 기준발음을 비교하여 차이를 검출하는 발음비교모듈; 발음비교모듈에 의해 제공된 차이를 교정하기 위한 교정지침을 교정지침 데이터베이스로부터 검출하는 교정지침 제공모듈; 및 발음비교모듈로부터 검출하여 제공된 차이에 근거하여 교정지침 제공모듈로 하여금 대응하는 교정지침을 제공하도록 하는 제어모듈을 포함하는 음성인식을 이용한 발음 교정시스템이 개시된다.
본 발명의 제 3 실시예에 따르면, 학습자에 의해 단어를 선택하는 단계; 선택된 단어를 발음하여 입력하는 단계; 선택된 단어의 발음을 입력받아 문법정보 데이터베이스 및 음성 오류유형 데이터베이스를 참조하여 음소구간을 자동으로 추출함과 동시에 추출된 음소구간별로 음소유형을 분석하는 단계; 및 분석된 음소별 음소유형으로부터 음성 오류유형 데이터베이스를 참조하여 오류유형을 검출하는 단계를 포함하는 음성인식을 이용한 음소별 오류유형 검출방법이 제공된다.
바람직하게, 음소별 음소유형은 확률로 표시되며, 가장 높은 확률을 갖는 음소유형에 대응하는 오류유형을 추출하여 검출한다.
본 발명의 제 4 실시예에 따르면, 학습자에 의해 단어를 선택하는 단계; 선택된 단어를 발음하여 입력하는 단계; 선택된 단어의 발음을 입력받아 문법정보 데이터베이스 및 음성 오류유형 데이터베이스를 참조하여 음소구간을 자동으로 추출함과 동시에 추출된 음소구간별로 음소유형을 분석하는 단계; 분석된 음소별 음소유형으로부터 음성 오류유형 데이터베이스를 참조하여 오류유형을 검출하는 단계; 및 오류유형에 대응하는 교정지침을 교정지침 데이터베이스로부터 추출하여 제공하는 음성인식을 이용한 음소별 발음교정방법이 제공된다.
본 발명의 제 5 실시예에 따르면, 학습자에 의해 단어를 선택하는 단계; 선택된 단어를 발음하여 입력하는 단계; 선택된 단어의 발음을 입력받아 문법정보 데이터베이스 및 음성 오류유형 데이터베이스를 참조하여 음소구간을 자동으로 추출함과 동시에 추출된 음소구간별로 음소유형을 분석하는 단계; 분석된 음소별 음소유형과 기준발음을 비교하여 음소별 차이를 검출하는 단계; 및 차이에 대응하는 교정지침을 교정지침 데이터베이스로부터 추출하여 제공하는 음성인식을 이용한 음소별 발음교정방법이 제공된다.
바람직하게, 교정지침은 음소 삽입, 음소 삭제 또는 음소 대치의 형태로 제공될 수 있다.
또한, 바람직하게, 단어는 다양한 음소유형을 고르게 분포할 수 있도록 일정한 개수로 선정되며, 별도의 녹음 및 훈련 과정 없이 문법정보 데이터베이스만 수정하여 단어를 새로이 추가할 수 있다.
또한, 화자의 발음과 기준발음을 비교하는 경우에는 추출된 음소구간별로 청취하면서 비교할 수 있다.
이하, 첨부된 도면을 참조하여 본 발명의 실시예들을 상세하게 설명한다. 이 실시예들에서는 설명의 편의를 위해 발음교정 대상을 영어로 한정한다.
본 발명에 적용되는 음성 오류유형 데이터베이스는 오류유형별로 훈련된 음성인식 모형을 포함하고 있다.
먼저, 음성 오류유형 데이터베이스를 제작하는 방법을 설명하면 다음과 같다.
우선 음성인식 모형을 위한 대상단어를 선정한다. 이 때, 여러 음소 유형이 고르게 분포할 수 있도록 단어를 가령, 200개 정도를 선정한다. 여기서 200개로 한정한 것은 하나의 예로써, 실제로 여러 음소가 골고루 포함되는 한정된 단어들에 대해 음성데이터를 수집하여 음소별로 훈련하면 모든 음소유형이 생성될 수 있으므로 이를 기초로 문법정보만을 변경하면, 수십만 단어까지 인식 가능하게 확장할 수 있다.
이어 각각의 단어에 대해 다수자의 발음을 녹음하여 음성파일을 생성한다. 예를 들어, 600명 정도의 발음을 녹음한다면, 200 × 600 = 120,000 개의 음성파일, 예컨대, WAV 파일이 형성된다.
녹음된 각각의 발음의 일부에 대해 음소구간을 수동으로 구획하고, 구획된 각 음소별로 발음기호를 표기한다. 발음기호는 사전에 설정되며, 필요에 따라 적절한 개수로 설정할 수 있다.
예를 들어, 이 실시예에서는 다음과 같이 발음기호를 정할 수 있다.AA, AE, AH, AO, AW, AY, B, CH, D, DH, EH, ER, EY, F, G, HH, IH, IY
삭제
JH, K, L, M, N, NG, OW, OY, P, R, S, SH, T, TH, UH, UW, V, W, Y, Z, ZH
이와 같이 발음의 종류 및 기호가 정해지면, 각각의 발음기호에 대한 오류유형이 설정된다. 이 오류유형은 수집한 음성 데이터베이스에 대해 음성학 전문가가 판단하여 오류유형의 개수와 종류를 정의한다. 예를 들어, 'A'의 장모음 'AA'에 대해서는 다음과 같은 오류유형 정해질 수 있다.- AAa: AA -> AH
삭제
- AAb: AA -> AO
- AAc: AA -> AE
- AAd: AA -> OW
- AAe: AA -> AW
- AAs: 강세오류
- AAt: 나머지 오류
이와 같이, 각각의 단어에 대한 다수자의 발음에 대해 기설정된 발음기호 단위로 오류유형이 결정되면, 오류유형별 음성인식 모형이 정해진다. 이와 같은 오류유형별 음성인식 모형은 HMM(Hidden Markov Model) 파일 형태로 저장되며, 본 발명에서는 이해를 편하게 하기 위하여 음성 오류유형 데이터베이스로 표현한다.
또한, 녹음된 각 단어의 음성파일로부터 음소구간의 시간 프레임 등의 문법정보를 갖는 문법정보 데이터베이스가 형성된다.
또한, 이와 함께 각각의 오류유형에 대한 교정지침이 제시되며, 예를 들어, "입을 크게 벌린다", "혀를 입 천정에 붙인다" 등과 같은 텍스트정보가 준비되거나 이에 대응하는 동영상 정보가 준비될 수 있다. 준비된 교정지침들은 교정지침 데이터베이스에 저장되어 관리된다.
도 1은 본 발명에 따른 음소별 오류유형 검출시스템의 구성을 나타내는 기능 블록도이다.
도시된 바와 같이, 단어선택모듈(20), 음소구간 추출 및 분석모듈(30), 및 제어모듈(10)을 포함하며, 음성 오류유형 데이터베이스(100), 교정지침 데이터베이스(110) 및 문법정보 데이터베이스(120)가 구축되어 있다.
단어 선택모듈(20)은 학습자로부터 발음교정 단어를 선택받는다. 즉, 단어 선택모듈(20)은 문법정보 데이터베이스(120)로부터 음소구간 정보를 갖는 기설정된 단어들을 학습자에게 제공하여 선택하도록 한다.
음소구간 추출 및 분석모듈(30)은 단어 선택모듈(20)로부터 선택된 단어의 발음을 입력받아 음소구간을 자동으로 추출한다. 즉, 선택된 단어에 대해 문법정보 데이터베이스(120) 및 음성 오류유형 데이터베이스(100)를 참조하여 음소구간 정보의 검출 및 음소유형의 분석이 자동으로 동시에 수행된다.
또한, 제어모듈(10)은 단어 선택모듈(20)로부터 단어를 통보 받아 음소구간 추출 및 분석모듈(30)이 입력된 단어의 음소구간을 문법정보에 의해 자동으로 추출함과 동시에 음소유형을 분석하도록 하며, 분석된 음소유형에서 음성 오류유형 데이터베이스(100)로부터 대응하는 오류유형을 검출한다.
이와 같은 구성을 갖는 음소별 오류유형 검출시스템의 동작을 설명한다. 설명의 편의를 위하여 도 2에 도시된 플로우 챠트와 도 5에 도시된 화면 인터페이스를 참고한다. 또한, 음소별 오류유형 검출시스템은 어플리케이션의 형태로 컴퓨터 시스템에 설치될 수 있다.
학습자는 도 5에 도시된 바와 같이, 음소별 오류유형 검출시스템이 제공하는 화면 인터페이스에서 단어 선택모듈(20)이 문법정보 데이터베이스(120)를 참조하여 제공하는 지정단어 리스트로부터 대상 단어를 선택한다(단계 S10).
단어를 선택한 후, 컴퓨터 시스템에 연결된 음성 입력장치, 예를 들어, 마이크로폰을 통하여 선택된 단어를 발음하여 입력한다(단계 S20).
입력된 발음은 음소구간 추출 및 분석모듈(30)에 의해 음소구간(153)이 자동적으로 추출된다. 이때, 음소구간 정보는, 상기한 바와 같이, 문법정보 데이터베이스(120)와 녹음된 각 단어의 음성파일로부터 분석된 음소구간의 시간 프레임(153) 등을 참조하여 알 수 있다.
이와 동시에 음소구간 추출 및 분석모듈(30)은 음소구간별로 음소유형을 분석한다(단계 S30). 즉, 도 5에 도시된 바와 같이, 'afternoon'에서 첫 번째 음소의 발음은 'AE'이고, 순차적으로 각각의 음소가 'F', 'T', 'ER', 'N', 'UW', 'N'로 발음되는 것으로 분석된다.
이어 제어모듈(10)은 음소구간 추출 및 분석모듈(30)로부터 제공된 분석결과에 근거하여 음성 오류유형 데이터베이스(100)로부터 대응하는 오류유형을 검출한다(단계 S40). 즉, 음소 분석모듈(40)에 의해 발음 'AA'에 대해서 관련되는 오류유형의 확률이, 예를 들어, 각각 'AAa'가 60%, 'AAb'가 30%, 그리고 'AAe'가 20% 정도로 분석되었다고 가정하면, 제어모듈(10)은 이러한 분석결과에 근거하여 음성 오류유형 데이터베이스(100)로부터 오류유형이 'AAa', 즉 'A' 장모음이 'AH'로 발음된 오류인 것으로 판단한다.
이와 같은 방법으로 전체 음소에 대해 오류유형을 검출한다.
이와 같이, 외국어를 발음할 때 나타나는 음소별 오류유형을 미리 분류하여 두고, 학습자로부터 특정단어에 대한 발음이 입력되면, 잘못 발음된 음소를 자동으로 체크하여 줌으로써 발음의 문제점을 정확히 제시할 수 있다는 이점이 있다.
도 3은 도 1의 음소별 오류유형 검출시스템을 적용하여 발화자의 발음을 교정하기 위한 교정시스템의 구성을 나타내는 기능 블록도이다.
도시된 바와 같이, 단어선택모듈(20), 음소구간 추출 및 분석모듈(30), 발음비교모듈(50), 교정지침 제공모듈(60) 및 제어모듈(10)을 포함하며, 음성 오류유형 데이터베이스(100), 교정지침 데이터베이스(110) 및 문법정보 데이터베이스(120)가 구축되어 있다.
상기한 바와 같이, 단어 선택모듈(20)은 문법정보 데이터베이스(120)로부터 음소구간 정보를 갖는 기설정된 단어들을 학습자에게 제공하여 선택하도록 하고, 음소구간 추출 및 분석모듈(30)은 단어 선택모듈(20)로부터 선택된 단어에 대해 문법정보 데이터베이스(120)와 음성오류유형데이터베이스(100)를 참조하여 음소구간 정보를 자동으로 검출함과 동시에 음소유형을 분석한다.
발음비교모듈(50)은 음소구간 추출 및 분석모듈(30)로부터 추출된 발화자의 음소구간 및 오류유형 분석 결과와 원어민에 의한 기준발음을 비교하여 차이를 검출한다.
교정지침 제공모듈(60)은 발음비교모듈(50)에 의해 제공된 차이를 교정하기 위한 교정지침을 교정지침 데이터베이스(110)로부터 검출하여 제공한다.
또한, 제어모듈(10)은 발음비교모듈(50)로부터 검출하여 제공된 차이에 근거하여 교정지침 제공모듈(60)로 하여금 대응하는 교정지침을 제공하도록 한다.
이와 같은 구성을 갖는 교정시스템에 적용되는 교정방법에 대해 도 4의 플로우 챠트를 참조하여 설명한다.
학습자는 음소별 오류유형 검출시스템이 제공하는 화면 인터페이스에서 단어 선택모듈(20)이 문법정보 데이터베이스(120)를 참조하여 제공하는 지정단어 리스트로부터 대상 단어를 선택한다(단계 S10).
단어를 선택한 후, 컴퓨터 시스템에 연결된 음성 입력장치, 예를 들어, 마이크로폰을 통하여 선택된 단어를 발음하여 입력한다(단계 S20).
입력된 발음은 음소구간 추출 및 분석모듈(30)에 의해 음소구간(153)이 자동적으로 추출됨과 동시에 음소 유형이 분석된다(단계 S30). 이때, 음소구간 정보는, 상기한 바와 같이, 문법정보 데이터베이스(120)와 녹음된 각 단어의 음성파일로부터 분석된 음소구간의 시간 프레임 및 음성 오류유형 데이터베이스(100) 등을 참조하여 알 수 있다.
예를 들어, 도 5에 도시된 바와 같이, 'afternoon'에서 첫 번째 음소의 발음은 'AE'이고, 순차적으로 각각의 음소가 'F', 'T', 'ER', 'N', 'UW', 'N'로 발음되는 것으로 분석된다.
본 발명에 따르면, 음소유형이 분석된 후에는 2가지 형태의 교정지침이 제공된다.
첫 번째는, 상기한 바와 같이, 각각의 음소에 대응하는 오류유형을 검출하고(단계 S70), 검출된 오류유형에 대응하는 교정지침을 교정지침 데이터베이스(110)로부터 추출하여 제공한다(단계 S80).
도 5를 참조하면, 화자의 발음(170)을 분석하여 인식된 패턴(154)은 'AE2 F1 T ERd N UW1 N'으로써, 발음된 단어 'afternoon'에 대한 문법정보 데이터베이스(120)로부터 'F1', 'ER0'가 오류음소임을 추출하여 기준발음의 음소인 각각 'F'와 'ERd'에 대응하는 교정지침으로 "F가 P로 발음되었으며, R이 발음되지 않았습니다" 등을 제공한다.
두 번째는 화자의 녹음된 발음의 음소를 분석한 결과, 전혀 다른 음소로 대체되거나, 새로운 음소가 삽입되거나 또는 음소가 삭제된 경우이다. 이 경우에는 오류유형의 검출이 불가하므로 원어민의 기준발음과의 비교를 통해 차이를 찾는 것이 더 바람직하다.
따라서, 분석된 화자의 발음을 원어민의 기준발음과 비교하여 차이를 찾는다(단계 S50). 바람직하게, 화자의 발음과 기준발음을 비교하는 경우에는 추출된 음소구간별로 들어보고 비교할 수 있다.
차이가 추출되면, 교정지침 데이터베이스(110)를 참조하여 해당하는 교정지침을 제공한다(단계 S60).
예를 들어, 'afternoon'에 대한 원어민의 기준발음의 인식패턴 'AE2 F T ER0 N UW1 N'이고, 화자의 발음패턴이 'AE2 T T ERd N NW1'이라고 가정하면, 제2음소 'T'는 전혀 다른 음소로 대치되었고, 제7음소는 삭제된 상태이다.
따라서, 이에 대응하는 교정지침. 예를 들어, "첫 번째 'F'의 발음은 'T'로 잘못 발음되었습니다. 'F'로 정확히 발음하십시오", "마지막 'N'는 발음되지 않았습니다" 등의 교정지침을 제시하며, 바람직하게 정확한 발음과 발음시 입 모양 등을 동영상으로 제공할 수 있다.
이상에서는 본 발명의 바람직한 실시예를 중심으로 설명하였지만, 당업자의 수준에서 다양한 변경을 가할 수 있음은 물론이다. 이러한 변경은 본 발명의 정신을 벗어나지 않는 범위내에서 본 발명에 속하는 것은 당연하다.
이상에서 설명한 바와 같이, 본 발명에 따르면 여러 가지의 이점을 갖는다.
먼저, 외국어를 발음할 때 나타나는 음소별 오류유형을 미리 분류하여 두고, 학습자로부터 특정단어에 대한 발음이 입력되면, 잘못 발음된 음소를 자동으로 체크하여 줌으로써 발음의 문제점을 정확히 제시할 수 있다는 이점이 있다. 이는 종래에 있어서 특징점을 추출하여 발성음을 비교하여 유사도만을 측정하는 기술과는 근본적으로 구별된다.
또한, 음소별 오류분석을 통하여 음소 단위로 적절한 교정지침을 텍스트 정보와 동영상 정보를 통하여 제공함으로써 화자의 입장에서는 오류발음에 대해 정확하게 교정할 수 있는 이점이 있다.
도 1은 본 발명에 따른 음소별 오류유형 검출시스템의 구성을 나타내는 기능 블록도이다.
도 2는 본 발명에 따른 음소별 오류유형 검출방법을 설명하는 프로우챠트이다.
도 3은 본 발명에 따른 음소별 발음교정시스템의 구성을 나타내는 기능 블록도이다.
도 4는 본 발명에 따른 음소별 발음교정방법을 설명하는 프로우챠트이다.
도 5는 본 발명의 음소별 오류유형 검출시스템이 제공하는 화면 인터페이스를 나타내는 화면 캡쳐이다.
Claims (10)
- 녹음된 음성파일에 근거하여 기설정된 발음기호 단위로 오류유형이 결정되어 정해진 오류유형별 음성인식 모형이 은닉 마르코프 모델 파일 형태로 저장되는 음성 오류유형 데이터베이스와, 상기 음성파일로부터 음소구간의 시간 프레임을 포함하는 문법정보를 갖는 문법정보 데이터베이스를 구비하며,학습자로부터 발음교정 단어를 선택받는 단어 선택모듈;상기 선택된 단어의 발음을 입력받아 상기 문법정보 데이터베이스 및 음성 오류유형 데이터베이스를 참조하여 음소구간을 자동으로 추출함과 동시에 음소유형을 분석하는 음소구간 추출 및 분석모듈; 및상기 음소 분석모듈로부터 제공된 음소유형에 근거하여 상기 음소구간별로 음성 오류유형 데이터베이스로부터 대응하는 오류유형을 검출하는 제어모듈을 포함하는 음성인식을 이용한 음소별 오류유형 검출 시스템.
- 제 1 항에 있어서, 상기 음소구간 추출 및 분석모듈은 상기 음소구간별로 음소유형을 확률로 표시하며, 상기 제어모듈은 가장 높은 확률을 갖는 음소유형에 대응하는 오류유형을 검출하는 음성인식을 이용한 음소별 오류유형 검출 시스템.
- 녹음된 음성파일에 근거하여 기설정된 발음기호 단위로 오류유형이 결정되어 정해진 오류유형별 음성인식 모형이 은닉 마르코프 모델 파일 형태로 저장되는 음성 오류유형 데이터베이스와, 상기 음성파일로부터 음소구간의 시간 프레임을 포함하는 문법정보를 갖는 문법정보 데이터베이스를 구비하며,학습자로부터 발음교정 단어를 선택받는 단어 선택모듈;상기 선택된 단어의 발음을 입력받아 상기 문법정보 데이터베이스 및 음성 오류유형 데이터베이스를 참조하여 음소구간을 자동으로 추출함과 동시에 음소유형을 분석하는 음소구간 추출 및 분석모듈;상기 음소구간 추출 및 분석모듈로부터 추출되고 음소구간별로 분석된 발화자의 발음과 원어민에 의한 기준발음을 비교하여 차이를 검출하는 발음비교모듈;상기 발음비교모듈에 의해 제공된 차이를 교정하기 위한 교정지침을 교정지침 데이터베이스로부터 검출하는 교정지침 제공모듈; 및상기 발음비교모듈로부터 검출하여 제공된 차이에 근거하여 상기 교정지침 제공모듈로 하여금 대응하는 교정지침을 제공하도록 하는 제어모듈을 포함하는 음성인식을 이용한 발음 교정시스템.
- 녹음된 음성파일에 근거하여 기설정된 발음기호 단위로 오류유형이 결정되어 정해진 오류유형별 음성인식 모형이 은닉 마르코프 모델 파일 형태로 저장되는 음성 오류유형 데이터베이스와, 상기 음성파일로부터 음소구간의 시간 프레임을 포함하는 문법정보를 갖는 문법정보 데이터베이스를 구비하는 발음교정 시스템에 적용되며,학습자에 의해 단어를 선택하는 단계;상기 선택된 단어를 발음하여 입력하는 단계;상기 입력된 발음에 대해 상기 문법정보 데이터베이스 및 음성 오류유형 데이터베이스를 참조하여 음소구간을 자동적으로 추출함과 동시에 음소유형을 분석하는 단계; 및상기 분석된 음소별 음소유형으로부터 음성 오류유형 데이터베이스를 참조하여 오류유형을 검출하는 단계를 포함하는 음성인식을 이용한 음소별 오류유형 검출방법.
- 제 4 항에 있어서, 상기 음소별 음소유형은 확률로 표시되며, 가장 높은 확률을 갖는 음소유형에 대응하는 오류유형을 추출하여 검출하는 음성인식을 이용한 음소별 오류유형 검출 방법.
- 녹음된 음성파일에 근거하여 기설정된 발음기호 단위로 오류유형이 결정되어 정해진 오류유형별 음성인식 모형이 은닉 마르코프 모델 파일 형태로 저장되는 음성 오류유형 데이터베이스와, 상기 음성파일로부터 음소구간의 시간 프레임을 포함하는 문법정보를 갖는 문법정보 데이터베이스를 구비하는 발음교정 시스템에 적용되며,학습자에 의해 단어를 선택하는 단계;상기 선택된 단어를 발음하여 입력하는 단계;상기 입력된 발음에 대해 문법정보 상기 데이터베이스 및 음성 오류유형 데이터베이스를 참조하여 음소구간을 자동적으로 추출함과 동시에 음소유형을 분석하는 단계;상기 분석된 음소별 음소유형으로부터 음성 오류유형 데이터베이스를 참조하여 오류유형을 검출하는 단계; 및상기 오류유형에 대응하는 교정지침을 교정지침 데이터베이스로부터 추출하여 제공하는 음성인식을 이용한 음소별 발음교정방법.
- 녹음된 음성파일에 근거하여 기설정된 발음기호 단위로 오류유형이 결정되어 정해진 오류유형별 음성인식 모형이 은닉 마르코프 모델 파일 형태로 저장되는 음성 오류유형 데이터베이스와, 상기 음성파일로부터 음소구간의 시간 프레임을 포함하는 문법정보를 갖는 문법정보 데이터베이스를 구비하는 발음교정 시스템에 적용되며,학습자에 의해 단어를 선택하는 단계;상기 선택된 단어를 발음하여 입력하는 단계;상기 입력된 발음에 대해 상기 문법정보 데이터베이스 및 음성 오류유형 데이터베이스를 참조하여 음소구간을 자동적으로 추출함과 동시에 음소유형을 분석하는 단계;상기 분석된 음소별 음소유형과 기준발음을 비교하여 음소별 차이를 검출하는 단계; 및상기 차이에 대응하는 교정지침을 교정지침 데이터베이스로부터 추출하여 제공하는 음성인식을 이용한 음소별 발음교정방법.
- 제 7 항에 있어서, 상기 교정지침은 음소 삽입, 음소 삭제 또는 음소 대치의 형태로 제공되는 음성인식을 이용한 음소별 발음교정방법.
- 제 7 항에 있어서, 상기 단어는 다양한 음소유형을 고르게 분포할 수 있도록 일정한 개수로 선정되며, 별도의 녹음 및 훈련 과정 없이 상기 문법정보 데이터베이스만 수정하여 단어를 새로이 추가할 수 있는 음성인식을 이용한 음소별 발음교정방법.
- 제 7 항에 있어서, 상기 화자의 발음과 기준발음을 비교하는 경우에는 상기 추출된 음소구간별로 청취하면서 비교하는 음성인식을 이용한 음소별 발음교정방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0019809A KR100499854B1 (ko) | 2002-04-11 | 2002-04-11 | 음소별 오류유형 검출시스템 및 방법과 이를 적용한발음교정 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR10-2002-0019809A KR100499854B1 (ko) | 2002-04-11 | 2002-04-11 | 음소별 오류유형 검출시스템 및 방법과 이를 적용한발음교정 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20030081537A KR20030081537A (ko) | 2003-10-22 |
| KR100499854B1 true KR100499854B1 (ko) | 2005-07-08 |
Family
ID=32378639
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR10-2002-0019809A KR100499854B1 (ko) | 2002-04-11 | 2002-04-11 | 음소별 오류유형 검출시스템 및 방법과 이를 적용한발음교정 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR100499854B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100877343B1 (ko) | 2007-08-20 | 2009-01-07 | 임영남 | 외국어 학습용 대화형 로봇 및 로봇을 이용한 외국어 학습 방법 |
| KR101181928B1 (ko) | 2011-07-18 | 2012-09-11 | 포항공과대학교 산학협력단 | 문법오류 검출 장치 및 이를 이용한 문법오류 검출 방법 |
Families Citing this family (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101048214B1 (ko) * | 2008-12-30 | 2011-07-08 | 주식회사 케이티 | 소셜 러닝 및 시맨틱 기술을 응용한 발음 교정 서비스 장치 |
| KR101142985B1 (ko) * | 2009-07-10 | 2012-05-08 | 주식회사 케이티 | 발음 교정 장치 및 이를 이용하여 통화기반의 외국어 사전학습 서비스를 제공하는 시스템 |
| KR101283271B1 (ko) * | 2011-10-21 | 2013-07-11 | 포항공과대학교 산학협력단 | 어학 학습 장치 및 어학 학습 방법 |
| KR102207812B1 (ko) * | 2019-02-18 | 2021-01-26 | 충북대학교 산학협력단 | 발화 장애인들 및 외국인의 보편적 의사소통을 위한 음성 개선 방법 |
| CN111292769A (zh) * | 2020-03-04 | 2020-06-16 | 苏州驰声信息科技有限公司 | 一种口语发音的纠音方法、系统、装置、存储介质 |
| CN111816203A (zh) * | 2020-06-22 | 2020-10-23 | 天津大学 | 基于音素级分析抑制音素影响的合成语音检测方法 |
| CN112562723B (zh) * | 2020-11-30 | 2022-08-19 | 腾讯科技（深圳）有限公司 | 发音准确度确定方法、装置、存储介质和电子设备 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0612090A (ja) * | 1992-06-26 | 1994-01-21 | Nec Corp | 音声学習方式 |
| JPH1063287A (ja) * | 1996-08-21 | 1998-03-06 | Brother Ind Ltd | 発音訓練装置 |
| US5857173A (en) * | 1997-01-30 | 1999-01-05 | Motorola, Inc. | Pronunciation measurement device and method |
| JP2000181333A (ja) * | 1998-12-21 | 2000-06-30 | Nippon Telegr & Teleph Corp <Ntt> | 発音訓練支援装置、その方法及びプログラム記録媒体 |
| JP2001282098A (ja) * | 2000-03-30 | 2001-10-12 | Atr Ningen Joho Tsushin Kenkyusho:Kk | 外国語学習装置、外国語学習方法および媒体 |
| KR20020067870A (ko) * | 2001-02-19 | 2002-08-24 | 보이스미디어텍(주) | 음성인식 기술을 이용한 영어 발음 학습 방법 및 시스템 |
-
2002
- 2002-04-11 KR KR10-2002-0019809A patent/KR100499854B1/ko not_active IP Right Cessation
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH0612090A (ja) * | 1992-06-26 | 1994-01-21 | Nec Corp | 音声学習方式 |
| JPH1063287A (ja) * | 1996-08-21 | 1998-03-06 | Brother Ind Ltd | 発音訓練装置 |
| US5857173A (en) * | 1997-01-30 | 1999-01-05 | Motorola, Inc. | Pronunciation measurement device and method |
| JP2000181333A (ja) * | 1998-12-21 | 2000-06-30 | Nippon Telegr & Teleph Corp <Ntt> | 発音訓練支援装置、その方法及びプログラム記録媒体 |
| JP2001282098A (ja) * | 2000-03-30 | 2001-10-12 | Atr Ningen Joho Tsushin Kenkyusho:Kk | 外国語学習装置、外国語学習方法および媒体 |
| KR20020067870A (ko) * | 2001-02-19 | 2002-08-24 | 보이스미디어텍(주) | 음성인식 기술을 이용한 영어 발음 학습 방법 및 시스템 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100877343B1 (ko) | 2007-08-20 | 2009-01-07 | 임영남 | 외국어 학습용 대화형 로봇 및 로봇을 이용한 외국어 학습 방법 |
| KR101181928B1 (ko) | 2011-07-18 | 2012-09-11 | 포항공과대학교 산학협력단 | 문법오류 검출 장치 및 이를 이용한 문법오류 검출 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20030081537A (ko) | 2003-10-22 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109036464B (zh) | 发音检错方法、装置、设备及存储介质 | |
| US8818813B2 (en) | Methods and system for grammar fitness evaluation as speech recognition error predictor | |
| US10319250B2 (en) | Pronunciation guided by automatic speech recognition | |
| US7277851B1 (en) | Automated creation of phonemic variations | |
| KR102191425B1 (ko) | 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법 | |
| US8744856B1 (en) | Computer implemented system and method and computer program product for evaluating pronunciation of phonemes in a language | |
| CN106297800B (zh) | 一种自适应的语音识别的方法和设备 | |
| KR102212332B1 (ko) | 외국어 교육을 위한 발음 정확도 평가 장치 및 방법 | |
| Witt et al. | Language learning based on non-native speech recognition. | |
| US20060229870A1 (en) | Using a spoken utterance for disambiguation of spelling inputs into a speech recognition system | |
| US20090048832A1 (en) | Speech-to-text system, speech-to-text method, and speech-to-text program | |
| JP2005208643A (ja) | ユーザ訂正を用いた自動音声認識学習のためのシステムおよび方法 | |
| JPH0423799B2 (ko) | ||
| US11810471B2 (en) | Computer implemented method and apparatus for recognition of speech patterns and feedback | |
| JP2011002656A (ja) | 音声認識結果修正候補検出装置、音声書き起こし支援装置、方法及びプログラム | |
| Wightman et al. | The aligner: Text-to-speech alignment using Markov models | |
| CN113793593B (zh) | 适用于语音识别模型的训练数据生成方法及设备 | |
| JP2002132287A (ja) | 音声収録方法および音声収録装置および記憶媒体 | |
| KR100499854B1 (ko) | 음소별 오류유형 검출시스템 및 방법과 이를 적용한발음교정 시스템 및 방법 | |
| US20020152068A1 (en) | New language context dependent data labeling | |
| CN114373481A (zh) | 发音检错方法及装置、发音检错模型的训练方法及装置 | |
| Kyriakopoulos et al. | Automatic detection of accent and lexical pronunciation errors in spontaneous non-native English speech | |
| CN113362817A (zh) | 声音识别纠错装置、声音识别纠错方法以及声音识别纠错程序 | |
| Kawai et al. | A method for measuring the intelligibility and nonnativeness of phone quality in foreign language pronunciation training | |
| KR102299269B1 (ko) | 음성 및 스크립트를 정렬하여 음성 데이터베이스를 구축하는 방법 및 장치 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20130701 Year of fee payment: 9 |
|
| FPAY | Annual fee payment |
Payment date: 20140701 Year of fee payment: 10 |
|
| FPAY | Annual fee payment |
Payment date: 20150709 Year of fee payment: 11 |
|
| LAPS | Lapse due to unpaid annual fee |