KR20070098094A - 타 언어권 화자 음성에 대한 음성 인식시스템의 성능향상을 위한 발음 특성에 기반한 음향모델 변환 방법 및이를 이용한 장치 - Google Patents

타 언어권 화자 음성에 대한 음성 인식시스템의 성능향상을 위한 발음 특성에 기반한 음향모델 변환 방법 및이를 이용한 장치 Download PDF

Info

Publication number
KR20070098094A
KR20070098094A KR1020060029321A KR20060029321A KR20070098094A KR 20070098094 A KR20070098094 A KR 20070098094A KR 1020060029321 A KR1020060029321 A KR 1020060029321A KR 20060029321 A KR20060029321 A KR 20060029321A KR 20070098094 A KR20070098094 A KR 20070098094A
Authority
KR
South Korea
Prior art keywords
acoustic model
pronunciation
speaker
triphone
voice
Prior art date
Application number
KR1020060029321A
Other languages
English (en)
Other versions
KR100815115B1 (ko
Inventor
김홍국
오유리
윤재삼
Original Assignee
광주과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 광주과학기술원 filed Critical 광주과학기술원
Priority to KR1020060029321A priority Critical patent/KR100815115B1/ko
Priority to US12/225,801 priority patent/US8515753B2/en
Priority to PCT/KR2007/001573 priority patent/WO2007114605A1/en
Publication of KR20070098094A publication Critical patent/KR20070098094A/ko
Application granted granted Critical
Publication of KR100815115B1 publication Critical patent/KR100815115B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/065—Adaptation
    • G10L15/07—Adaptation to the speaker
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/14—Speech classification or search using statistical models, e.g. Hidden Markov Models [HMMs]
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Probability & Statistics with Applications (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 타 언어권 화자 음성에 대한 인식성능 향상을 위하여 음향모델 변환 기법의 제공에 있다. 음향모델을 적응시키기 위하여 먼저 타 언어권 화자 음성을 분석하여 변이 발음을 조사한다. 그 후 타 언어권 화자 음성의 변이 발음을 바탕으로 음향모델의 학습과정 중 상태공유단계에서 음향모델을 변환한다. 음향모델을 변환하는 본 발명과 기존의 음향모델 적응기법을 결합함으로써 보다 좋은 인식성능 향상을 얻을 수 있다. 본 발명은 타 언어권 화자 음성에 대한 인식성능 향상뿐 아니라, 원어민 화자 음성에 대한 인식성능의 저하를 줄이는 효과를 보인다.
음성인식, 타 언어권 화자 음성 인식, 데이터 기반 발음 분석, 결정 트리, 음향모델 변환, 음향모델 적응, 상태 공유

Description

타 언어권 화자 음성에 대한 음성 인식시스템의 성능 향상을 위한 발음 특성에 기반한 음향모델 변환 방법 및 이를 이용한 장치{An Acoustic Model Adaptation Method Based on Pronunciation Variability Analysis for Foreign Speech Recognition and apparatus thereof}
도 1은 원어민 영어 음성으로 학습된 음성 인식시스템에서 타 언어권 화자의 음성에 대한 인식성능의 영향을 나타내는 도면.
도 2는 연속 음성인식시스템의 구성을 나타내는 도면.
도 3은 음향모델을 타 언어권 화자 음성으로 재학습하였을 때 원어민 화자의 음성에 대한 인식성능의 영향을 나타내는 도면.
도 4는 음향모델을 타 언어권 화자 음성으로 적응하였을 때 원어민 화자의 음성과 타 언어권 화자의 음성에 대한 평균 인식성능의 영향을 나타내는 도면.
도 5는 본 발명의 일 실시예에 따른 타 언어권 화자 음성에 대한 인식성능 향상을 위한 음향모델 변환 과정을 나타내는 도면.
도 6은 본 발명의 일 실시예에 따른 타 언어권 화자 음성에 대한 발음 변이 분석 단계에서 얻은 모음에 대한 단음 오인식 행렬을 나타내는 도면.
도 7은 본 발명의 일 실시예에 따른 타 언어권 화자 음성에 대한 발음 변이 분석 단계에서 얻은 자음에 대한 단음 오인식 행렬을 나타내는 도면.
도 8은 본 발명의 일 실시예에 따른 타 언어권 화자 음성에 대한 발음 변이 분석 단계에서 얻은 단음 오인식 행렬 중 변이 발음만을 나타내는 도면.
도 9는 본 발명의 일 실시예에 따른 음성 인식시스템의 음향모델 학습 과정 중 상태공유기법을 나타내는 도면.
도 10은 본 발명의 일 실시예에 따른 변환된 음향모델에 대한 성능평가를 나타내는 도면.
도 11은 본 발명의 일 실시예에 따른 음향모델 변환기법과 기존의 음향모델 적응기법을 결합하였을 때 음성 인식시스템의 성능평가를 나타내는 도면.
본 발명은 타 언어권 화자 음성에 대한 음성 인식시스템의 성능 향상을 위한 발음 특성에 기반한 음향모델 변환 방법 및 이를 이용한 장치에 관한 것으로써, 특히 타 언어권 화자의 음성에 대한 인식 성능 향상을 위하여 음성 인식시스템의 음향모델을 변환하는 방법에 관한 것이다.
일반적으로 음성인식시스템은 원어민의 음성으로 학습 되므로, 원어민 음성에 대하여 최적화되어 있다. 그러므로 원어민에 의한 음성 인식성능은 좋은 반면, 타 언어권 화자에 의한 음성 인식성능은 크게 저하된다. 도 1은 이에 대한 예로서, 영어 음성인식시스템에서 한국인 화자의 영어 발음에 대한 인식성능의 영향을 보여준다. 즉, 원어민 영어 화자에 의한 학습용 영어 음성데이터로 학습된 영어 음성인식시스템에서, 원어민 화자에 의한 평가용 영어 음성데이터를 인식시킬 경우 4.21%의 단어 오인식률을 보이나 한국인 화자에 의한 평가용 영어 음성데이터를 인식시킬 경우 39.22%의 단어 오인식률로 크게 인식성능이 저하됨을 알 수 있다.
타 언어권 화자에 의한 음성 인식성능을 개선하기 위하여, 타 언어권 화자에 의한 학습용 음성데이터로 인식시스템을 학습시키는 방법이 있다. 그러나 타 언어권 화자에 의한 음성 인식시스템 학습용 음성데이터베이스는 일반적으로 충분하지 않다. 현재, 구축되어 있는 한국인 화자에 의한 음성 인식시스템 학습용 영어 음성데이터베이스는 음성정보기술산업지원센터에서 제공하는 '한국인의 영어 발화음성' 등이 있다.
연속 음성인식시스템은 도 2와 같이 크게 두 개의 모듈(특징벡터 추출 모듈, 음성인식 모듈)과 세 개의 모델(음향모델, 발음모델, 언어모델)로 구성된다. 다시 말해, 연속 음성인식시스템에 음성 입력이 들어오면, 입력된 음성에서 특징벡터 추출 모듈을 통하여 특징벡터가 추출된다. 일반적으로 음성인식시스템을 생성하기 위하여 12차 멜-켑스트럼(MFCC), 로그에너지, 이에 대한 1차, 2차 미분계수를 특징벡터로 사용한다. 음성으로부터 추출된 특징벡터는 음성인식 모듈에서 음향모델, 발음모델, 언어모델 등을 찾는다. 그러므로 타 언어권 화자 음성에 대한 음성 인식시스템의 성능 개선에 대한 연구를 음향모델론적 관점, 발음모델론적 관점, 언어모델론적 관점으로 분류할 수 있다. 본 발명에서는 음향모델론적 관점을 고려대상으로 한다.
음향모델론적 관점에서는 타 언어권 화자 음성에 대한 인식성능을 향상시키기 위하여 음성 인식시스템의 음향모델을 변환한다. 이는 타 언어권 화자 음성으로 음향모델을 재학습하는 방법과, 타 언어권 화자 음성을 이용하여 음향모델에 적응하는 방법으로 크게 나뉜다. 먼저, 음향모델을 재학습하는 방법은 일반적으로 많은 양의 타 언어권 화자 음성을 필요로 할 뿐 아니라, 이 방법은 타 언어권 화자 음성에 대한 인식성능은 향상시키지만, 원어민 화자 음성에 대한 음성인식은 크게 저하한다.
도 3은 한국인 화자 영어음성으로 음향모델이 재학습되었을 때의 인식성능에 대한 예를 나타낸다. 즉, 한국인 화자 영어음성으로 재학습된 음향모델로 인식하였을 때, 한국인 화자 영어음성에 대한 단어 오인식률은 26.87%로 인식성능이 약 31.49% 향상되나, 원어민 화자 영어음성에 대한 단어 오인식률은 42.07%로 인식성능이 약 899.29% 저하됨을 보인다. 결과적으로 한국인 화자 영어음성과 원어민 화자 영어음성에 대한 평균 단어 오인식률이 34.47%로 인식성능이 약 58.71% 저하됨을 알 수 있다. 그러므로 타 언어권 화자 음성으로 음향모델을 재학습하는 방법을 사용하는 대신, 타 언어권 화자 음성을 이용하여 음향모델에 적응하는 방법이 주로 쓰인다. 대표적인 음향모델 적응 방법으로 maximum likelihood linear regression (MLLR), maximum a posteriori (MAP) 등이 있다.
도 4에서 원어민 화자 영어음성으로 학습된 음향모델에 MLLR과 MAP 적응 기법을 적용하였을 때의 한국인 화자 영어음성과 원어민 화자 영어음성에 대한 평균 인식성능에 대한 예를 나타낸다. 여기서 원어민 화자 영어음성에 대한 인식성능은 음향모델 적응기법을 적용하지 않았을 때와 적용하였을 때 모두 유사하므로 평균 인식성능만을 한다. MAP를 적용하였을 경우 단어 오인식률이 9.80%로 인식성능이 약 54.88%가 향상되었고, MLLR을 적용하였을 경우 단어 오인식률이 12.81%로 인식성능이 약 41.02%가 향상되었다. MLLR과 MAP를 결합하여 사용하였을 경우 단어 오인식률이 10.26%로 인식성능이 약 52.72% 향상되었다. 이로부터 MAP, MLLR 등 음향모델 적응기법을 적용하였을 때 원어민 화자 영어음성과 타 언어권 화자 영어음성의 평균 인식성능이 향상됨을 알 수 있다.
그러나 수십 년에 걸친 음성 인식시스템의 인식성능 개선에 대한 노력에도 불구하고 음성 인식시스템을 실생활에 적용하기 위해서는 여전히 인식성능의 향상이 필요하다.
본 발명은 상기와 같은 문제점을 해결하기 위해서 안출된 것으로서, 그 목적은 음성 인식시스템에 있어 원어민 화자 음성에 대한 인식성능 저하는 줄이면서 타 언어권 화자 음성에 대한 인식성능을 향상시키기 위해 타 언어권 화자 음성의 변이 발음 분석을 바탕으로 음향모델을 변환하는 방법 및 장치를 제공하는 데 있다.
상기와 같은 목적을 달성하기 위하여 본 발명의 음향모델 변환 기법은 타 언 어권 화자 음성에 대한 발음 분석을 통하여 타 언어권 화자의 변이 발음을 조사하는 발음 변이 분석 단계; 및 상기 분석된 변이 발음을 이용하여 타 언어권 화자 음성에 적합하도록 음향모델을 변환하는 단계를 포함한다.
본 발명에서 상기 발음 변이 분석단계는 원어민 화자 음성으로 학습된 음성인식시스템을 생성하는 단계; 상기 음성인식시스템에 타 언어권 화자음성을 인식시킨 후 단음 오인식 행렬을 생성하는 단계; 및 상기 단음 오인식 행렬을 분석하여 발음 변이를 얻는 단계를 포함하는 것이 바람직하다.
본 발명에서 상기 원어민 화자 음성으로 학습된 음성인식시스템을 생성하는 단계는 원어민 화자에 의한 학습용 데이터를 이용하여 단음기반 음향모델을 생성하는 단계; 트라이폰기반 음향모델로 확장한 후 원어민 화자에 의한 학습용 데이터로 음향모델을 학습시키는 단계; 상태공유기법을 사용하여 트라이폰기반 음향모델의 수를 줄이는 단계; 및 상기 상태 공유된 트라이폰기반 음향모델의 혼합 밀도를 증가시키는 단계를 포함하는 것이 바람직하다.
본 발명에서 상기 원어민 화자 음성으로 학습된 음성인식시스템을 생성하는 단계에서 트라이폰기반 음향모델로 확장한 후 원어민 화자에 의한 학습용 데이터로 음향모델을 학습시키는 단계는 트라이폰(a-b+c)의 중심 단음(b)와 같은 모든 트라이폰기반 음향모델들이 결정트리의 부모노드에 위치하는 단계; 상기 부모노드에 놓인 트라이폰기반 음향모델들이 결정질문을 통하여 각각 해당하는 종말단 노드에 위치하는 단계; 및 상기 종말단 노드에 위치한 트라이폰기반 음향모델들이 하나의 대표음향모델로 공유되는 단계를 포함하는 것이 바람직하다.
본 발명에서 상기 단음 오인식 행렬은 열 목차는 인식되어야 할 발음이고, 행 목차는 타언어권 화자 음성에 의한 인식된 발음인 것이 바람직하다.
본 발명에서 상기 인식결과를 분석하여 발음 변이를 얻는 방법은 상기 오인식 행렬의 요소들 중 큰 값을 가지는 요소를 취하는 것이 바람직하다.
본 발명에서 상기 분석된 변이 발음을 이용하여 타 언어권 화자 음성에 적합하도록 음향모델을 변환하는 단계는 원어민 화자에 의한 학습용 음성데이터를 이용하여 단음 기반 음향모델을 생성한 후, 트라이폰기반 음향모델을 생성하는 단계; 상기 생성된 트라이폰기반 음향모델을 타 언어권 화자에 대한 발음변이여부 존재에 따라 공유하는 단계; 및 상기 상태 공유된 트라이폰기반 음향모델의 혼합 밀도를 증가시키는 단계를 포함하는 것이 바람직하다.
본 발명에서 상기 타 언어권 화자에 의한 발음 변이가 존재하지 않는 경우에는 상기 원어민 화자 음성으로 학습된 음성인식시스템을 생성하는 단계에서 사용한 상태공유과정을 이용하는 것이 바람직하다.
본 발명에서 상기 타 언어권 화자에 의한 발음 변이가 존재하는 경우에는 상태 공유시키려는 단음을 중심 단음(b)으로 가지는 모든 트라이폰기반 음향모델들뿐만 아니라, 상태 공유시키려는 단음에 대한 타 언어권 화자에 의한 변이 발음(b')을 중심 단음(b')으로 가지는 모든 트라이폰기반 음향모델들을 부모노드에 위치시키는 단계; 및 상기 부모노드에 놓인 트라이폰기반 음향모델들은 결정질문을 통하여 각각 해당하는 종말단 노드에 놓이고, 하나의 대표 음향모델로 공유되는 단계를 포함하는 것이 바람직하다.
이하, 본 발명의 바람직한 실시예를 첨부한 도면을 참조하여 설명하기로 한다. 하기의 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 한해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하며, 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 공지 기능 및 구성에 대한 상세한 설명은 생략한다.
타 언어권 화자 음성에 대한 인식성능의 향상으로, 타 언어권 화자 음성에 대한 발음 분석을 통하여 타 언어권 화자의 변이 발음을 조사한다. 그 후, 분석된 변이 발음을 이용하여 타 언어권 화자 음성에 적합하도록 음향모델을 변환하는 기법을 사용한다. 그러므로 본 발명은 타 언어권 화자 음성에 대한 발음 변이 분석 단계와 이를 바탕으로 하여 음향모델을 변환하는 단계로 나뉜다.
● 타 언어권 화자 음성에 의한 발음 변이 분석단계
본 발명의 타 언어권 화자 음성에 대한 발음 변이 분석 단계는 데이터를 기반으로 한 분석으로, 타 언어권 화자 음성의 발음을 분석하여 발음 변이를 조사하는 과정이며 도 5의 단계 501과 함께 상세히 설명한다. 이 단계는 원어민 화자 음성으로 학습된 음성인식시스템을 생성하는 과정, 음성인식시스템에 타 언어권 화자 음성을 인식시킨 후 단음 오인식 행렬을 생성하는 과정, 인식결과를 분석하여 발음 변이를 얻는 과정으로 나뉜다. 이 단계를 위하여 원어민 화자에 의한 학습용 음성데이터와 타 언어권 화자에 의한 개발용 음성데이터가 사용된다.
연속음성 인식시스템을 생성하기 위하여 원어민 화자 음성으로 음향모델을 학습하는 과정은 단계 503 내지 506과 같다. 다시 말해, 원어민 화자에 의한 학습용 데이터를 이용하여 단계 503과 같이 단음기반 음향모델을 생성한다. 연속 음성인식시스템에서는 일반적으로 트라이폰기반 음향모델을 사용하므로 단음기반 음향모델을 단계 504와 같이 트라이폰기반 음향모델로 확장한 후 원어민 화자에 의한 학습용 데이터로 음향모델을 학습시킨다. 일반적으로 트라이폰기반 음향모델을 학습하기 위하여 충분한 학습용 데이터를 구하기 어려우므로, 단계 505와 같이 상태 공유기법을 이용하여 트라이폰기반 음향모델의 수를 줄인다. 데이터기반 상태공유기법, 결정트리를 이용한 상태 공유기법 등이 있는데, 본 발명에서는 결정트리를 이용한 상태 공유기법을 사용한다.
일반적인 결정트리를 기반으로 한 상태 공유기법은 다음과 같은 과정을 거친다. 첫 번째로, 트라이폰(a-b+c)의 중심 단음(b)가 같은 모든 트라이폰기반 음향모델들이 결정트리의 부모노드에 놓인다. 두 번째로, 부모노드에 놓은 트라이폰기반 음향모델들은 결정질문을 통하여 각각 해당하는 종말단 노드에 놓인다. 마지막으로, 종말단 노드에 모인 트라이폰기반 음향모델들은 하나의 대표 음향모델로 공유된다. 도 9의 901은 트라이폰의 중심단음이 /P/인 트라이폰기반 음향모델들을 상태 공유시키는 예를 나타낸다.
상태 공유된 음향모델에 단계 506과 같이 혼합 밀도를 증가시켜 음향모델을 최종적으로 학습시켜 음향모델을 완성시킨다.
원어민 화자 음성으로 학습된 음성 인식시스템에 단계 507의 과정과 같이 타 언어권 화자에 의한 개발용 음성데이터를 단음 기반으로 인식시킨다. 단계 508에서는 단음 기반으로 인식된 결과를 이용하여 단음 오인식 행렬을 생성하고 이를 바탕으로 타 언어권 화자 음성에 대한 발음 변이를 분석한다. 먼저, 단음 오인식 행렬은 인식결과로부터 인식되어야할 발음과 인식된 발음 사이의 관계를 나타낸다. 여기서는 가장 많이 오인식된 발음이 타 언어권 화자 음성으로부터 빈번히 범해지는 발음 변이 발음이라는 가정을 바탕으로 한다.
본 발명에서 사용하는 단음 오인식 행렬에 대한 상세한 설명은 다음과 같다. 오인식 행렬의 열 목차는 인식되어야할 발음이고 행 목차는 타 언어권 화자 음성에 의해 인식된 발음이다. 오인식 행렬의 요소에 대한 값은 인식되어야하는 발음에 대한 인식된 발음의 비율로서 상대적 빈도이다. 즉, 인식되어야하는 발음에 대하여 인식된 발음의 횟수를 계산한 후, 개발용 집합에서 인식되어야할 발음의 총 개수로 나누어 정규화하여 얻어진 빈도이다. 예를 들여, 단음 EH가 30번 발음되어야 하고 타 언어권 화자에 의하여 EH가 10번 AE로 인식되었다고 가정한다. 이 경우 오인식 행렬의 요소는 아래와 같이 계산된다.
Figure 112006022686273-PAT00001
도 6과 도 7은 한국인 화자의 영어음성을 원어민 화자의 영어음성으로 학습된 음성인식시스템에 인식시킨 후 얻은 결과로부터 단음 오인식 행렬을 생성한 예로서 각각 모음에 대한 단음 오인식 행렬과 자음에 대한 단음 오인식 행렬을 나타낸다. 여기서 모든 단음은 대문자 알파벳으로 구성된 ARPAbet으로 표기되었다.
마지막으로 단음 오인식 행렬로부터 타 언어권 화자에 의한 변이 발음은 오인식 행렬의 대각선 성분이 아닌 요소들 중 큰 값을 가지는 요소를 취함으로써 정해진다. 본 발명에서는 큰 값에 대한 기준치를 실험적으로 구하였으며, 모음과 자음에 대하여 각각 0.13와 0.16로 정한다. 도 6과 도 7의 단음 오인식 행렬에서 어둡게 음영 처리된 요소가 각각 모음과 자음에 대하여 기준치보다 큰 것으로서, 한국인 화자에 의한 영어 음성에 대한 발음 변이들을 나타낸다. 도 6과 도 7의 단음 오인식 행렬을 분석함으로써 얻어진 6개의 발음 변이들(/CH/→/T/, /IH/→/IY/, /OY/→/IY/, /ER/→/R/, /UH/→/OW/, /EH/→/AE/)만을 골라내어, 도 8의 단음 오인식 행렬과 같이 요약할 수 있다. 본 발명에서 사용한 타 언어권 화자에 의한 데이터기반 발음 변이 분석은 다른 사람의 연구 결과로부터 언어학적 지식을 기반으로 한 발음 변이 분석과 상관관계가 큼을 알 수 있었다.
● 타 언어권 화자 음성의 인식성능 향상을 위한 음향모델 변환 단계
타 언어권 화자 음성의 인식성능 향상을 위한 음향모델 변환 기법을 적용한 음향모델 생성은 타 언어권 화자에 의한 발음 변이를 바탕으로 하여 상태 공유 기 법에서 음향모델 변환하는 부분이 주요한 과정으로, 이를 위한 전체 과정이 도 5의 단계 502와 함께 상세히 설명한다. 타 언어권 화자에 의한 발음 변이 분석을 위하여 언어학 등 전문지식을 사용하거나, 상기에서 설명한 데이터기반 방식 등을 사용 가능하다.
단계 502에서 나타내어져 있는 것처럼, 원어민 화자에 의한 학습용 음성데이터를 이용하여 단음기반 음향모델을 생성한 후, 트라이폰기반 음향모델을 생성하는 단계 503과 단계 504의 과정은 기존의 음향모델을 학습시키는 과정과 동일하다. 단계 504의 결과로 얻은 트라이폰기반 음향모델은 단계 505와 유사하게 단계 509의 상태 공유과정을 거친다. 단계 505와는 달리, 단계 509의 상태 공유과정에서는 트라이폰(a-b+c)의 중심단음(b)에 대하여 타 언어권 화자에 대한 발음 변이(b→b')가 존재하지 않는 경우와 타 언어권 화자에 대한 발음 변이(b→b')가 존재하는 경우를 다르게 고려한다.
첫 번째로, 타 언어권 화자에 의한 발음 변이가 존재하지 않는 경우, 도면 505에서 사용한 상태 공유과정을 사용한다.
두 번째로, 타 언어권 화자에 의한 발음 변이(b→b')가 존재하는 경우 상태 공유시키려는 단음을 중심 단음(b)으로 가지는 모든 트라이폰기반 음향모델들뿐 아니라, 상태 공유시키려는 단음에 대한 타 언어권 화자에 의한 변이 발음(b')를 중심 단음(b')으로 가지는 모든 트라이폰기반 음향모델들이 결정트리의 부모노드에 놓인다. 그 후, 부모노드에 놓인 트라이폰기반 음향모델들은 결정질문을 통하여 각각 해당하는 종말단 노드에 놓이고, 하나의 대표 음향모델로 공유된다.
도 9의 902는 상태 공유시키려는 단음 /IH/가 타 언어권 화자에 의하여 /IY/로 발음 변이를 가지는 경우 트라이폰기반 음향모델들을 상태 공유시키는 예로서, 중심단음이 /IH/인 트라이폰기반 음향모델들과 중심단음이 /IY/인 트라이폰기반 음향모델들이 결정트리의 부모노드에 놓임을 나타낸다. 상태 공유된 트라이폰기반 음향모델은 단계 510의 과정에서 혼합 밀도가 증가되는데 이 과정은 단계 506의 과정과 동일하다. 상태 공유된 트라이폰기반 음향모델의 혼합 밀도를 증가시키는 도 510의 과정에 대한 결과로 생성된 음향 모델이 본 발명의 기법에 의하여 학습된 최종적인 음향모델이 된다.
단계 511의 과정은 타 언어권 화자에 의한 음성 인식성능을 향상시키기 위한 본 발명의 기법으로 학습된 음향모델에 MLLR, MAP 등 기존의 음향모델 적응기법을 결합하는 과정이다. 단계 511의 과정은 타 언어권 화자 음성에 대한 인식성능을 보다 더 향상시키기 위한 선택적 과정이다.
● 본 발명의 음향모델 변환 기법의 성능 평가
먼저, 원어민 화자 음성으로 학습된 음향모델에 본 발명의 기법을 적용하였을 때 인식 성능을 평가하고, 그 후 본 발명의 기법과 기존의 음향모델 적응기법(MAP, MLLR, MAP와 MLLR의 결합 등)을 결합하였을 때 인식 성능을 평가한다.
도 10은 한국인의 영어 음성을 위한 영어음성 인식시스템에 본 발명의 기법을 적용하였을 때 인식성능의 예를 나타낸다. 여기서는 본 발명의 음향모델 변환 기법을 적용하기 위하여 한국인의 영어 발음에 대한 분석으로 도 6, 도 7, 도 8을 통하여 얻은 6개의 발음 변이들, /CH/→/T/, /IH/→/IY/, /OY/→/IY/, /ER/→/R/, /UH/→/OW/, /EH/→/AE/을 사용하였다. 다시 말해, 본 발명의 기법을 음향모델의 학습과정에 적용하였을 때 한국인 화자 영어음성에 대한 단어 오인식률은 33.18%로 인식성능이 약 15.40% 향상되고, 원어민 화자 영어음성에 대한 단어 오인식률은 4.70%로 인식성능 저하가 크지 않다. 결과적으로 본 발명을 음향모델 생성에 적용하였을 때 한국인 화자와 원어민 화자의 평균 단어 오인식률은 18.94%로 인식성능이 약 12.80% 향상됨을 알 수 있다.
도 11은 한국인의 영어 음성을 위한 영어음성 인식시스템에 본 발명과 기존의 음향모델 적응기법(MAP, MLLR, MAP와 MLLR의 결합 등)을 결합하여 적용하였을 때 인식성능의 예를 나타낸다. 여기서는 한국인 화자와 원어민 화자 영어음성에 대한 인식성능을 보기로 한다. 본 발명의 기법으로 학습된 음향모델에 MAP를 적용하였을 경우 단어 오인식률이 9.73%로 인식성능이 약 55.20% 향상되고, 본 발명의 기법으로 학습된 음향모델에 MLLR을 적용하였을 경우 단어 오인식률이 10.30%로 인식성능이 약 45.62% 향상된다. 또한, 본 발명의 기법으로 학습된 음향모델에 MLLR과 MAP를 결합하여 적용하였을 경우 단어 오인식률이 9.31%로 인식성능이 약 57.14% 향상된다. 마지막으로 도 11로부터, 본 발명의 기법으로 학습된 음향모델에 MLLR과 MAP을 결합하여 적용하였을 때 가장 좋은 인식성능을 보임을 알 수 있다.
상기와 같이, 본 발명의 바람직한 실시예를 참조하여 설명하였지만 해당 기 술 분야의 숙련된 당업자라면 하기의 특허청구범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
상술한 바와 같이 본 발명에 따르면, 타 언어권 화자 음성에 대한 음성 인식시스템의 성능 향상의 제공이 가능하고, 본 발명은 원어민 화자 음성에 대한 음성 인식시스템의 성능 저하를 감소시킬 수 있다.
그리고 데이터 기반으로 타 언어권 화자 음성의 발음 변이를 분석함으로써 이를 위한 인적 노력을 줄일 수 있다.
또한, 데이터 기반으로 타 언어권 화자 음성의 발음 변이를 분석함으로써 타 언어권 화자에 대한 지식이 부족한 상황에서 발음 변이 분석을 가능하게 하고, 기존의 방식과의 결합으로 보다 높은 음성인식 성능 향상을 제공할 수 있다.

Claims (10)

  1. 타 언어권 화자 음성에 대한 발음 분석을 통하여 타 언어권 화자의 변이 발음을 조사하는 발음 변이 분석 단계; 및
    상기 분석된 변이 발음을 이용하여 타 언어권 화자 음성에 적합하도록 음향모델을 변환하는 단계를 포함하는 음향모델 변환 기법.
  2. 제 1항에 있어서,
    상기 발음 변이 분석단계는
    원어민 화자 음성으로 학습된 음성인식시스템을 생성하는 단계;
    상기 음성인식시스템에 타 언어권 화자음성을 인식시킨 후 단음 오인식 행렬을 생성하는 단계; 및
    상기 단음 오인식 행렬을 분석하여 발음 변이를 얻는 단계를 포함하는 것을 특징으로 하는 음향모델 변환 기법.
  3. 제 2항에 있어서,
    원어민 화자 음성으로 학습된 상기 음성인식시스템을 생성하는 단계는
    원어민 화자에 의한 학습용 데이터를 이용하여 단음기반 음향모델을 생성하는 단계;
    트라이폰기반 음향모델로 확장한 후 원어민 화자에 의한 학습용 데이터로 음 향모델을 학습시키는 단계;
    상태공유기법을 사용하여 트라이폰기반 음향모델의 수를 줄이는 단계; 및
    상기 상태 공유된 트라이폰기반 음향모델의 혼합 밀도를 증가시키는 단계를 포함하는 것을 특징으로 하는 음향모델 변환 기법.
  4. 제 3항에 있어서,
    상기 트라이폰기반 음향모델로 확장한 후 원어민 화자에 의한 학습용 데이터로 음향모델을 학습시키는 단계는
    트라이폰(a-b+c)의 중심 단음(b)와 같은 모든 트라이폰기반 음향모델들이 결정트리의 부모노드에 위치하는 단계;
    상기 부모노드에 놓인 트라이폰기반 음향모델들이 결정질문을 통하여 각각 해당하는 종말단 노드에 위치하는 단계; 및
    상기 종말단 노드에 위치한 트라이폰기반 음향모델들이 하나의 대표음향모델로 공유되는 단계를 포함하는 것을 특징으로 하는 음향모델 변환 기법.
  5. 제 2항에 있어서,
    상기 단음 오인식 행렬은 열 목차는 인식되어야 할 발음이고, 행 목차는 타언어권 화자 음성에 의한 인식된 발음인 것을 특징으로 하는 음향모델 변환 기법.
  6. 제 2항에 있어서,
    상기 인식결과를 분석하여 발음 변이를 얻는 방법은 상기 오인식 행렬의 요소들 중 큰 값을 가지는 요소를 취하는 것을 특징으로 하는 음향모델 변환 기법.
  7. 제 1항에 있어서,
    상기 분석된 변이 발음을 이용하여 타 언어권 화자 음성에 적합하도록 음향모델을 변환하는 단계는
    원어민 화자에 의한 학습용 음성데이터를 이용하여 단음 기반 음향모델을 생성한 후, 트라이폰기반 음향모델을 생성하는 단계;
    상기 생성된 트라이폰기반 음향모델을 타 언어권 화자에 대한 발음변이여부 존재에 따라 공유하는 단계; 및
    상기 상태 공유된 트라이폰기반 음향모델의 혼합 밀도를 증가시키는 단계를 포함하는 것을 특징으로 하는 음향모델 변환 기법.
  8. 제 7항에 있어서,
    상기 타 언어권 화자에 의한 발음 변이가 존재하지 않는 경우에는 상기 원어민 화자 음성으로 학습된 음성인식시스템을 생성하는 단계에서 사용한 상태공유과정을 이용하는 것을 특징으로 하는 음향모델 변환 기법.
  9. 제 7항에 있어서,
    상기 타 언어권 화자에 의한 발음 변이가 존재하는 경우에는
    상태 공유시키려는 단음을 중심 단음(b)으로 가지는 모든 트라이폰기반 음향모델들뿐만 아니라, 상태 공유시키려는 단음에 대한 타 언어권 화자에 의한 변이 발음(b')을 중심 단음(b')으로 가지는 모든 트라이폰기반 음향모델들을 부모노드에 위치시키는 단계; 및
    상기 부모노드에 놓인 트라이폰기반 음향모델들은 결정질문을 통하여 각각 해당하는 종말단 노드에 놓이고, 하나의 대표 음향모델로 공유되는 단계를 포함하는 것을 특징으로 하는 음향모델 변환 기법.
  10. 제 1항 내지 제 9항 중 어느 한 항에 의한 방법에 의해 생성된 음향모델을 이용하여 타 언어권 화자 음성을 인식하는 장치.
KR1020060029321A 2006-03-31 2006-03-31 타 언어권 화자 음성에 대한 음성 인식시스템의 성능향상을 위한 발음 특성에 기반한 음향모델 변환 방법 및이를 이용한 장치 KR100815115B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020060029321A KR100815115B1 (ko) 2006-03-31 2006-03-31 타 언어권 화자 음성에 대한 음성 인식시스템의 성능향상을 위한 발음 특성에 기반한 음향모델 변환 방법 및이를 이용한 장치
US12/225,801 US8515753B2 (en) 2006-03-31 2007-03-30 Acoustic model adaptation methods based on pronunciation variability analysis for enhancing the recognition of voice of non-native speaker and apparatus thereof
PCT/KR2007/001573 WO2007114605A1 (en) 2006-03-31 2007-03-30 Acoustic model adaptation methods based on pronunciation variability analysis for enhancing the recognition of voice of non-native speaker and apparatuses thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060029321A KR100815115B1 (ko) 2006-03-31 2006-03-31 타 언어권 화자 음성에 대한 음성 인식시스템의 성능향상을 위한 발음 특성에 기반한 음향모델 변환 방법 및이를 이용한 장치

Publications (2)

Publication Number Publication Date
KR20070098094A true KR20070098094A (ko) 2007-10-05
KR100815115B1 KR100815115B1 (ko) 2008-03-20

Family

ID=38563845

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060029321A KR100815115B1 (ko) 2006-03-31 2006-03-31 타 언어권 화자 음성에 대한 음성 인식시스템의 성능향상을 위한 발음 특성에 기반한 음향모델 변환 방법 및이를 이용한 장치

Country Status (3)

Country Link
US (1) US8515753B2 (ko)
KR (1) KR100815115B1 (ko)
WO (1) WO2007114605A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140059454A (ko) * 2012-11-08 2014-05-16 한국전자통신연구원 음향 모델 생성 방법 및 그 장치
KR101424193B1 (ko) * 2007-12-10 2014-07-28 광주과학기술원 타 언어권 화자음성에 대한 음성인식 시스템의 성능 향상을위한 비직접적 데이터 기반 발음변이 모델링 시스템 및방법

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8321427B2 (en) * 2002-10-31 2012-11-27 Promptu Systems Corporation Method and apparatus for generation and augmentation of search terms from external and internal sources
WO2009078256A1 (ja) * 2007-12-18 2009-06-25 Nec Corporation 発音変動規則抽出装置、発音変動規則抽出方法、および発音変動規則抽出用プログラム
US8296141B2 (en) * 2008-11-19 2012-10-23 At&T Intellectual Property I, L.P. System and method for discriminative pronunciation modeling for voice search
US9484019B2 (en) 2008-11-19 2016-11-01 At&T Intellectual Property I, L.P. System and method for discriminative pronunciation modeling for voice search
JP5326892B2 (ja) * 2008-12-26 2013-10-30 富士通株式会社 情報処理装置、プログラム、および音響モデルを生成する方法
US8392189B2 (en) * 2009-09-28 2013-03-05 Broadcom Corporation Speech recognition using speech characteristic probabilities
TWI391915B (zh) * 2009-11-17 2013-04-01 Inst Information Industry 語音變異模型建立裝置、方法及應用該裝置之語音辨識系統和方法
GB2478314B (en) * 2010-03-02 2012-09-12 Toshiba Res Europ Ltd A speech processor, a speech processing method and a method of training a speech processor
US9652999B2 (en) * 2010-04-29 2017-05-16 Educational Testing Service Computer-implemented systems and methods for estimating word accuracy for automatic speech recognition
US9262941B2 (en) * 2010-07-14 2016-02-16 Educational Testing Services Systems and methods for assessment of non-native speech using vowel space characteristics
US8756062B2 (en) * 2010-12-10 2014-06-17 General Motors Llc Male acoustic model adaptation based on language-independent female speech data
KR101294882B1 (ko) 2011-09-28 2013-08-08 포항공과대학교 산학협력단 복수의 답을 생성하기 위한 기계 학습 방법 및 장치
JP5753769B2 (ja) * 2011-11-18 2015-07-22 株式会社日立製作所 音声データ検索システムおよびそのためのプログラム
WO2015057907A2 (en) 2013-10-16 2015-04-23 Interactive Intelligence Group, Inc. System and method for learning alternate pronunciations for speech recognition
US9837070B2 (en) 2013-12-09 2017-12-05 Google Inc. Verification of mappings between phoneme sequences and words
US9613140B2 (en) * 2014-05-16 2017-04-04 International Business Machines Corporation Real-time audio dictionary updating system
KR102069699B1 (ko) * 2016-01-18 2020-01-23 한국전자통신연구원 음성인식 장치 및 방법
US10446136B2 (en) * 2017-05-11 2019-10-15 Ants Technology (Hk) Limited Accent invariant speech recognition
KR101943520B1 (ko) * 2017-06-16 2019-01-29 한국외국어대학교 연구산학협력단 비원어민의 영어 말하기 발음의 자동평가 시스템 및 이를 이용한 평가방법
US10923123B2 (en) * 2019-03-08 2021-02-16 Motorola Mobility Llc Two-person automatic speech recognition training to interpret unknown voice inputs

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4931950A (en) * 1988-07-25 1990-06-05 Electric Power Research Institute Multimedia interface and method for computer system
JPH075892A (ja) * 1993-04-29 1995-01-10 Matsushita Electric Ind Co Ltd 音声認識方法
US5664059A (en) * 1993-04-29 1997-09-02 Panasonic Technologies, Inc. Self-learning speaker adaptation based on spectral variation source decomposition
US5497373A (en) * 1994-03-22 1996-03-05 Ericsson Messaging Systems Inc. Multi-media interface
US5680509A (en) * 1994-09-27 1997-10-21 International Business Machines Corporation Method and apparatus for estimating phone class probabilities a-posteriori using a decision tree
US5864810A (en) * 1995-01-20 1999-01-26 Sri International Method and apparatus for speech recognition adapted to an individual speaker
US6029124A (en) * 1997-02-21 2000-02-22 Dragon Systems, Inc. Sequential, nonparametric speech recognition and speaker identification
US6085160A (en) * 1998-07-10 2000-07-04 Lernout & Hauspie Speech Products N.V. Language independent speech recognition
US6253181B1 (en) * 1999-01-22 2001-06-26 Matsushita Electric Industrial Co., Ltd. Speech recognition and teaching apparatus able to rapidly adapt to difficult speech of children and foreign speakers
US6912499B1 (en) 1999-08-31 2005-06-28 Nortel Networks Limited Method and apparatus for training a multilingual speech model set
KR100405061B1 (ko) 2000-03-10 2003-11-10 문창호 언어 학습장치 및 그것의 언어 분석방법
US6912498B2 (en) * 2000-05-02 2005-06-28 Scansoft, Inc. Error correction in speech recognition by correcting text around selected area
KR100362292B1 (ko) * 2001-02-19 2002-11-23 보이스미디어텍(주) 음성인식 기술을 이용한 영어 발음 학습 방법 및 시스템
KR20020087709A (ko) * 2001-05-16 2002-11-23 오원록 어학 발음 학습장치
US7668718B2 (en) * 2001-07-17 2010-02-23 Custom Speech Usa, Inc. Synchronized pattern recognition source data processed by manual or automatic means for creation of shared speaker-dependent speech user profile
US6941264B2 (en) * 2001-08-16 2005-09-06 Sony Electronics Inc. Retraining and updating speech models for speech recognition
KR20030064116A (ko) * 2002-01-25 2003-07-31 주식회사 엠티컴 음성 분석 방법 및 그 시스템
AU2003295682A1 (en) * 2002-11-15 2004-06-15 Voice Signal Technologies, Inc. Multilingual speech recognition
KR100487718B1 (ko) 2002-12-20 2005-05-03 한국전자통신연구원 영역 외 코퍼스를 이용한 영역 종속적 훈련 코퍼스 보강시스템 및 그 방법
KR100542757B1 (ko) * 2003-10-02 2006-01-20 한국전자통신연구원 음운변이 규칙을 이용한 외래어 음차표기 자동 확장 방법및 그 장치
KR100573870B1 (ko) * 2003-10-15 2006-04-26 한국전자통신연구원 대화체 연속음성인식을 위한 의사형태소 기반다중발음사전 구축 방법 및 그 시스템과 이를 이용한대화체 음성인식 방법
KR20040073291A (ko) * 2004-01-08 2004-08-19 정보통신연구진흥원 외국어 발음 평가 시스템 및 그 평가 방법
US20060064177A1 (en) * 2004-09-17 2006-03-23 Nokia Corporation System and method for measuring confusion among words in an adaptive speech recognition system
GB2424742A (en) * 2005-03-31 2006-10-04 Ibm Automatic speech recognition
US7805301B2 (en) * 2005-07-01 2010-09-28 Microsoft Corporation Covariance estimation for pattern recognition
US7584097B2 (en) * 2005-08-03 2009-09-01 Texas Instruments Incorporated System and method for noisy automatic speech recognition employing joint compensation of additive and convolutive distortions

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101424193B1 (ko) * 2007-12-10 2014-07-28 광주과학기술원 타 언어권 화자음성에 대한 음성인식 시스템의 성능 향상을위한 비직접적 데이터 기반 발음변이 모델링 시스템 및방법
KR20140059454A (ko) * 2012-11-08 2014-05-16 한국전자통신연구원 음향 모델 생성 방법 및 그 장치

Also Published As

Publication number Publication date
US20090119105A1 (en) 2009-05-07
US8515753B2 (en) 2013-08-20
WO2007114605A1 (en) 2007-10-11
KR100815115B1 (ko) 2008-03-20

Similar Documents

Publication Publication Date Title
KR100815115B1 (ko) 타 언어권 화자 음성에 대한 음성 인식시스템의 성능향상을 위한 발음 특성에 기반한 음향모델 변환 방법 및이를 이용한 장치
Ghai et al. Literature review on automatic speech recognition
US10319250B2 (en) Pronunciation guided by automatic speech recognition
O’Shaughnessy Automatic speech recognition: History, methods and challenges
Morgan Deep and wide: Multiple layers in automatic speech recognition
Minematsu Mathematical evidence of the acoustic universal structure in speech
CN105261246B (zh) 一种基于大数据挖掘技术的英语口语纠错系统
Lal et al. Cross-lingual automatic speech recognition using tandem features
Ghai et al. Analysis of automatic speech recognition systems for indo-aryan languages: Punjabi a case study
US20070294082A1 (en) Voice Recognition Method and System Adapted to the Characteristics of Non-Native Speakers
US11935523B2 (en) Detection of correctness of pronunciation
Ahsiah et al. Tajweed checking system to support recitation
Nanavare et al. Recognition of human emotions from speech processing
Tachibana et al. A style adaptation technique for speech synthesis using HSMM and suprasegmental features
Tóth et al. Cross-lingual Portability of MLP-Based Tandem Features--A Case Study for English and Hungarian
Theera-Umpon et al. Phoneme and tonal accent recognition for Thai speech
Yilmaz et al. Automatic assessment of children's reading with the FLaVoR decoding using a phone confusion model
Ong et al. Malay language speech recogniser with hybrid hidden markov model and artificial neural network (HMM/ANN)
Manjunath et al. Automatic phonetic transcription for read, extempore and conversation speech for an Indian language: Bengali
Cahyaningtyas et al. Synthesized speech quality of Indonesian natural text-to-speech by using HTS and CLUSTERGEN
Johnson et al. Comparison of algorithms to divide noisy phone sequences into syllables for automatic unconstrained English speaking proficiency scoring
Kumar et al. Development of speaker-independent automatic speech recognition system for Kannada language
Wester Pronunciation variation modeling for Dutch automatic speech recognition
EP3718107B1 (en) Speech signal processing and evaluation
Cincarek et al. Development of preschool children subsystem for ASR and Q&A in a real-environment speech-oriented guidance task

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Publication of correction
FPAY Annual fee payment

Payment date: 20121211

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131211

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141218

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20160404

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20161219

Year of fee payment: 10

LAPS Lapse due to unpaid annual fee