KR100319448B1 - 속도변환을 이용한 대화형 언어 교습 시스템 및 그 방법 - Google Patents

속도변환을 이용한 대화형 언어 교습 시스템 및 그 방법 Download PDF

Info

Publication number
KR100319448B1
KR100319448B1 KR1019990050791A KR19990050791A KR100319448B1 KR 100319448 B1 KR100319448 B1 KR 100319448B1 KR 1019990050791 A KR1019990050791 A KR 1019990050791A KR 19990050791 A KR19990050791 A KR 19990050791A KR 100319448 B1 KR100319448 B1 KR 100319448B1
Authority
KR
South Korea
Prior art keywords
listening
speed
listener
matching
result
Prior art date
Application number
KR1019990050791A
Other languages
English (en)
Other versions
KR20010046852A (ko
Inventor
최환진
박동인
Original Assignee
강수웅
주식회사 보이스텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 강수웅, 주식회사 보이스텍 filed Critical 강수웅
Priority to KR1019990050791A priority Critical patent/KR100319448B1/ko
Publication of KR20010046852A publication Critical patent/KR20010046852A/ko
Application granted granted Critical
Publication of KR100319448B1 publication Critical patent/KR100319448B1/ko

Links

Classifications

    • GPHYSICS
    • G09EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09BEDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00Electrically-operated educational appliances
    • G09B5/04Electrically-operated educational appliances with audible presentation of the material to be studied
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10LSPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00Speech recognition
    • G10L15/08Speech classification or search
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • G11B20/10527Audio or video recording; Data buffering arrangements
    • G11B2020/10537Audio or video recording
    • G11B2020/10546Audio or video recording specifically adapted for audio data
    • G11B2020/10555Audio or video recording specifically adapted for audio data wherein the frequency, the amplitude, or other characteristics of the audio signal is taken into account

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 속도변환을 이용한 대화형 언어 교습 시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은 원음의 기본 주파수와 음색을 유지하면서 속도를 조절하므로써, 학습자가 원음을 좀 더 잘 청취할 수 있도록 한 대화형 언어 교습 시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 청취자와 정합하기 위한 정합 수단; 상기 청취자로부터 청취 속도를 조절하기 위한 조건을 설정받기 위한 속도 설정 수단; 청취 문제 등을 저장하기 위한 제1 저장 수단; 상기 제1 저장 수단에서 청취 문제를 검색하여 상기 설정된 청취 속도 조건에 따라 시간축 상에서 파형 복사/삭제를 통해 파형을 늘려주거나 줄이는 방식으로 플레이 속도를 조절하기 위한 속도 조절 수단; 상기 청취자가 청취한 결과를 입력받아 청취 정합을 위한 전처리를 수행하기 위한 전처리 수단; 및 상기 전처리된 청취 결과와 정답과의 동적정합을 수행하여 청취 정합도를 구하여 알려주기 위한 비교 및 정합 수단을 포함한다.
4. 발명의 중요한 용도
본 발명은 외국어 청취 학습 등에 이용됨.

Description

속도변환을 이용한 대화형 언어 교습 시스템 및 그 방법{Interactive language tutoring system and method using speed control}
본 발명은 모국어가 아닌 외국어를 효과적으로 학습하기 위한 대화형 언어 교습 시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것으로, 특히 외국어를 학습하고자 하는 학습자들의 효과적인 청취이해(Listening Comprehension)를 위해서 속도조절 기능을 사용하여 효과적인 청취학습을 수행하는 대화형 언어 교습 시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.
기존에 만들어진 녹음된 음성을 늘리거나 줄이기 위해서 사용되는 제품으로는 위콤(http://www.wicompro.com)사의 닥터위콤과 프로자이너(http://www.prosigner.com)의 'LC(Listening Comprehension) 마법사'등이 있다. 위콤사의 닥터위콤은 약 30%정도의 속도 지연이 가능하며, 프로자이너의 LC 마법사의 경우에는 몇 백 %까지 속도를 느리게 하거나 빠르게 할 수 있다.
그러나, 상기와 같은 종래 방법은, 속도를 늘리거나 줄일 경우에 원래 발성음의 기본음 높이인 기본 주파수가 변경되므로써 본래 음성이 변조되어 버리는 문제점이 있었다. 이러한 문제로 인해서 속도가 늘어나거나 줄어든 소리를 청취자가 제대로 들을 수 없으므로, 적절한 청취가 이루어지기 어려워 청취학습의 효과가 떨어지는 문제점이 있었다.
아울러, 상기와 같은 종래 방법은, 채첨 방식 등과의 결합이 없이 단지 LC만을 하고 그 결과를 받아쓰는 정도로 되어 있다. 따라서, 상기 종래 방법은, 적절한 평가 시스템을 가지고 있지 못하므로써, 학습자의 청취 정도를 평가할 수 없는 문제점이 있었다.
본 발명은 상기 문제점을 해결하기 위하여 안출된 것으로, 원음의 기본 주파수와 음색을 유지하면서 속도를 조절하므로써, 학습자가 원음을 좀 더 잘 청취할 수 있도록 한 대화형 언어 교습 시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
즉, 본 발명은, 청취대상 소리(음성포함)의 피치와 음색의 변경없이 배속에 따라 시간축 상에서 파형 복사/삭제를 통해 파형을 늘려주거나 줄이는 방식으로 음성의 속도만을 조절하여 연음이나 약화 등으로 인하여 잘 청취되지 않는 부분들을청취할 수 있도록 하기 위한 대화형 언어 교습 시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 그 목적이 있다.
또한, 본 발명은, 청취대상 소리(음성포함)의 피치와 음색의 변경없이 배속에 따라 시간축 상에서 파형 복사/삭제를 통해 파형을 늘려주거나 줄이는 방식으로 음성의 속도만을 조절하여 원음을 보다 더 잘 청취할 수 있도록 하고, 청취 결과에 기반하여 원래 문장과 받아 쓴 문장과의 정합을 통해서 청취자가 쉽게 혼동하거나 잘못 알아듣는 단어나 구/문 등을 효과적으로 추출하여 재청취 학습을 수행하므로써 학습자의 청취력을 배가시킬 수 있도록 한 대화형 언어 교습 시스템 및 그 방법과 상기 방법을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는데 다른 목적이 있다.
도 1 은 본 발명에 따른 속도변환을 이용한 대화형 언어 교습 시스템의 일실시예 구성도.
도 2 는 본 발명에 따른 속도변환을 이용한 대화형 언어 교습 방법에 대한 일실시예 흐름도.
도 3 은 본 발명에 따른 속도변환을 위한 인터페이스부에 대한 일실시예 설명도.
도 4 는 본 발명에 따른 속도변환에 따라 오디오 파형을 늘리거나 줄이는 과정에 대한 일실시예 상세 흐름도.
도 5 는 본 발명에 따른 청취정합도 계산 과정에 대한 일실시예 상세 흐름도.
도 6 은 본 발명에 따른 문장 단위의 정합 과정에 대한 일실시예 상세 설명도.
도 7a 및 도 7b 는 본 발명에 따른 청취율에 기반한 재청취 문장 추출 과정에 대한 일실시예 상세 흐름도.
* 도면의 주요 부분에 대한 부호의 설명
11 : 사용자 인터페이스부 12 : 사용자 속도 설정부
13 : 속도 조절 엔진 14 : LC 문제 데이터베이스
15 : 받아쓰기 처리부
16 : 입력된 문장과 정답 문장의 비교 정합부
17 : 재청취 문장 추출부 18 : 성적/단어장 데이터베이스
상기 목적을 달성하기 위한 본 발명의 장치는, 속도변환을 이용한 대화형 언어 교습 시스템에 있어서, 청취자와 정합하기 위한 정합 수단; 상기 청취자로부터 청취 속도를 조절하기 위한 조건을 설정받기 위한 속도 설정 수단; 청취 문제 등을 저장하기 위한 제1 저장 수단; 상기 제1 저장 수단에서 청취 문제를 검색하여 상기 설정된 청취 속도 조건에 따라 시간축 상에서 파형 복사/삭제를 통해 파형을 늘려주거나 줄이는 방식으로 플레이 속도를 조절하기 위한 속도 조절 수단; 상기 청취자가 청취한 결과를 입력받아 청취 정합을 위한 전처리를 수행하기 위한 전처리 수단; 및 상기 전처리된 청취 결과와 정답과의 동적정합을 수행하여 청취 정합도를 구하여 알려주기 위한 비교 및 정합 수단을 포함하는 것을 특징으로 한다.
또한, 상기 본 발명의 장치는, 상기 비교 및 정합 수단에서 정합한 결과중 오인식 결과에 따라 재청취 학습을 위한 재청취 자료를 상기 제1 저장 수단에서 자동적으로 추출하기 위한 재청취 문장 추출 수단; 및 상기 비교 및 정합 수단에서 구한 성적 및 상기 추출한 재청취 자료 등을 저장하기 위한 제2 저장 수단을 더 포함하는 것을 특징으로 한다.
한편, 본 발명의 방법은, 속도변환을 이용한 대화형 언어 교습 시스템에 적용되는 대화형 언어 교습 방법에 있어서, 청취자로부터의 입력 내용이 청취 결과인지 조건 선택인지를 판단하는 제 1 단계; 상기 제 1 단계의 판단 결과, 조건 선택이면 청취 문제 파일을 로딩하여 청취 속도 조건에 따라 청취 대상 소리의 피치와 음색의 변경없이 시간축 상에서 파형 복사/삭제를 통해 파형을 늘려주거나 줄이는 방식으로 음성의 속도를 조절하여 상기 청취자에게 들려주는 제 2 단계; 및 상기 제 1 단계의 판단 결과, 청취 결과이면 전처리를 수행한 청취 결과와 정답과의 동적정합(dynamic programming)을 수행하여 청취 정합도를 구하여 상기 청취자에게 알려주는 제 3 단계를 포함하는 것을 특징으로 한다.
또한, 상기 본 발명의 방법은, 상기 정합한 결과중 오인식 결과에 따라 재청취 학습을 위한 재청취 자료를 자동적으로 추출하여 상기 청취자에게 들려주는 제 4 단계를 더 포함하는 것을 특징으로 한다.
한편, 본 발명은, 속도변환을 이용하여 대화형 언어 교습을 수행하기 위하여, 대화형 언어 교습 시스템에, 청취자로부터의 입력 내용이 청취 결과인지 조건 선택인지를 판단하는 제 1 기능; 상기 제 1 기능에서의 판단 결과, 조건 선택이면 청취 문제 파일을 로딩하여 청취 속도 조건에 따라 청취 대상 소리의 피치와 음색의 변경없이 시간축 상에서 파형 복사/삭제를 통해 파형을 늘려주거나 줄이는 방식으로 음성의 속도를 조절하여 상기 청취자에게 들려주는 제 2 기능; 및 상기 제 1 기능에서의 판단 결과, 청취 결과이면 전처리를 수행한 청취 결과와 정답과의 동적정합(dynamic programming)을 수행하여 청취 정합도를 구하여 상기 청취자에게 알려주는 제 3 기능을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
또한, 상기 본 발명은, 상기 정합한 결과중 오인식 결과에 따라 재청취 학습을 위한 재청취 자료를 자동적으로 추출하여 상기 청취자에게 들려주는 제 4 기능을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
현재 외국어 구사가 현대인들에게 있어서 필수적인 항목이 되어가고 있는 현실에서 능숙한 외국어를 구사하기에 앞서서 외국인이 발성한 내용을 제대로 이해할 수 있는 것이 필요하다. 이를 위해서 본 발명에서는 외국어를 모국어로 하는 발성자가 발성한 음성을 디지털화하고, 이를 컴퓨터 등을 통해서 발성음의 피치(pitch)와 음색의 변화는 거의없이 발성음의 속도만을 자유자재로 조절하므로써, 인터넷 또는 데스크톱 환경 등에서 청취자가 청취 능력을 배양할 수 있도록 하고자 한다. 즉, 본 발명은 음성이 갖는 고유의 피치와 음색을 유지한 채, 음성 고유의 속도만을 늘리거나 줄이는 음성변환 소프트웨어를 사용하여 언어학습의 청취이해를 돕도록 하고자 한다.
이를 위하여 본 발명에서는 음성 속도변환 소프트웨어를 인터넷을 위한 플러그인 형태나 컴퓨터 등에서 사용할 수 있는 어플리케이션으로 작성하여 언어청취를 위한 시스템을 구성한다.
이러한 대화형 언어 교습 시스템에서 제공되는 지문은 부분적으로 빈칸으로 되어 있으며, 사용자는 제공되는 지문과 함께 들을 수 있는 플러그인이나 어플리케이션을 사용해서 받아쓸 음성자료를 청취하면서 지문의 빈칸을 채운다. 이때, 사용자는 청취속도를 조절하면서 받아쓰기를 진행해 나갈 수 있다.
이러한 청취 결과로서 사용자가 입력한 빈칸의 내용에 대해서 원래의 정답에 해당되는 단어, 구 또는 문장과 동적정합(dynamic programming)을 수행한다. 이러한 정합은 구나 문장까지 확장되는 텍스트 정합을 위한 루틴으로 정합된 문장들에 대해서 단어수준의 삽입(insert), 삭제(delete) 및 대치(substitute)된 단어들의 개수와 백분률로 표시되는 단어, 구 또는 문장의 정확도(word/phrase/sentence accuracy)를 계산하고, 이 결과를 사용자에게 알려준다.
이때, 오인식된 범주에 속하는 단어나 구/절 또는 문장에 대응되는 단어, 구/절 또는 문장들을 포함하는 청취 예시문장들 중에서 오인식이 발생한 환경과 유사한 환경을 가지는 예시문장을 선택하여 청취학습을 위한 청취자료를 자동적으로 생성한다. 이를 위해서 삽입, 삭제 및 대치의 세 가지로 나뉘어서 청취학습을 위한 자료를 청취자가 선택할 수 있도록 한다.
이때, 대치나 삽입된 단어의 재청취를 위해서 수집해야 할 구/문장들의 경우에는 해당 오류를 유발한 환경이 매우 중요하다. 이러한 오류의 경우에 오류가 발생한 좌/우측의 단어들을 함께 고려하여 좌/우 환경이 동시에 만족되는 구나 문장만을 추출한다. 만일, 좌/우를 만족하는 것이 없을 경우에는 좌 또는 우측의 한쪽이라도 일치하면 그러한 단어들을 포함하는 환경의 구나 문장들을 추출하여 재청취를 위한 문장세트를 완성하게 된다.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1 은 본 발명에 따른 속도변환을 이용한 대화형 언어 교습 시스템의 일실시예 구성도로서, 표현층(Presentation Layer), 처리층(Mainipulation Layer) 및 관리층(Management layer)으로 나누어진다.
먼저, 표현층은 다양한 형태로 입력된 오디오 자료를 사용할 수 있도록 사용자에게 그래픽기반 사용자 인터페이스(GUI: Graphic User Interface)를 제공해주며, 자신에게 알맞도록 청취속도를 조절할 수 있도록 하는 층이다.
반면, 처리층은 청취결과로서 청취자가 입력한 단어나 문장, 구 등을 입력받아서 정답과 정합(matching)하는 과정을 수행한다. 이 과정에서 단어 청취율(word accuracy for Listening), 구나 문장 청취율(phrase/sentence accuracy for Listening)을 표시해 준다.
이 부분은 청취자가 청취된 음성에 대해서 받아쓰기를 수행한 후, 동적 정합법(dynamic programming)에 기반하여 청취하여야 할 단어, 구, 문장 등을 정합하고 정합의 결과로써 단어 인식율, 문장/구의 인식율, 그리고 단어수준에서의 대치(substitution), 삭제(deletion), 삽입(insertion) 등의 오류를 청취자에게 알려준다. 이처럼 처리층은 크게 사용자의 청취 정합도를 계산하는 부분과 결과를 표시하는 부분 및 성적을 출력하는 부분 등 두개의 부분으로 나뉘어진다.
마지막으로, 관리층에서는 사용자가 제대로 청취하지 못한 단어/구/절 등을 중심으로 청취자의 재학습을 위해 관련문제들을 재조합하는 역할을 수행한다.
상기 각 층의 구성을 좀 더 상세히 살펴보면 다음과 같다.
본 발명에 따른 속도변환을 이용한 대화형 언어 교습 시스템은, 청취 능력을 배양하고자 하는 청취자와 인터넷 또는 데스크톱 컴퓨터 환경 등을 통하여 정합하기 위한 사용자 인터페이스부(11), 상기 사용자 인터페이스부(11)를 통하여 그래픽 사용자 인터페이스를 제공하여 상기 청취자로부터 대상문장/문제선택, 속도선택, 입력모드선택 및 구간선택 등과 같이 청취 대상과 청취 속도를 조절하기 위한 조건을 설정받는 사용자 속도 설정부(12), 청취 문제 및 그에 따른 콘텐츠(Contents) 등을 저장하기 위한 LC 문제 데이터베이스(14), 상기 청취 대상을 상기 LC 문제 데이터베이스(14)에서 검색하여 상기 청취 구간/속도 조건에 따라 상기 청취대상 소리(음성포함)의 피치와 음색의 변경없이 시간축 상에서 파형 복사/삭제를 통해 파형을 늘려주거나 줄이는 방식으로 음성의 속도만을 조절하여 상기 청취자에게 들려주기 위한 속도 조절 엔진(13), 상기 청취자가 청취 속도를 조절하면서 플러그인이나 어플리케이션을 사용해서 음성자료를 청취하면서 지문의 빈칸을 채운 결과를 입력받아 청취 정합을 위한 전처리를 수행하는 받아쓰기 처리부(15) 및 전처리된 청취 결과와 원래 정답과의 동적정합(dynamic programming)을 수행하여 단어 인식율, 문장/구의 인식율 및 단어수준에서의 대치(substitution), 삭제(deletion), 삽입(insertion) 등의 오류 등에 대한 청취 정합도를 계산하여 청취자에게 알려주는 비교 및 정합부(16)를 포함한다.
또한, 본 발명에 따른 속도변환을 이용한 대화형 언어 교습 시스템은, 오인식된 범주에 속하는 단어나 구/절 또는 문장에 대응되는 단어, 구/절 또는 문장들을 포함하는 청취 예시문장들 중에서 오인식이 발생한 환경과 유사한 환경을 가지는 예시문장을 상기 LC 문제 데이터베이스(14)에서 추출하여 재청취 학습을 위한 재청취 자료를 자동적으로 생성하는 재청취 문장 추출부(17) 및 상기 계산한 성적, 상기 오류가 발생한 단어 및 상기 추출한 재청취 문장 등을 저장하기 위한 성적/단어장 데이터베이스(18)를 더 포함한다.
다음으로, 상기 각 구성요소의 전체적인 동작을 도 2 를 참조하여 살펴보면 다음과 같다.
도 2 는 본 발명에 따른 속도변환을 이용한 대화형 언어 교습 방법에 대한 일실시예 흐름도로서, 청취자가 사용자 인터페이스의 지원을 받아 자신이 입력한 청취 결과에 대한 청취율을 계산하고 재학습을 수행할 수 있도록 하는 과정(28 내지 32)과, 다양하게 입력된 오디오 자료 등을 사용하며 청취 속도를 조절할 수 있도록 하는 과정(23 내지 27)을 포함한다.
그 과정을 상세히 살펴보면, 먼저 청취 능력을 배양하고자 하는 청취자가 인터넷 또는 데스크톱 컴퓨터 환경 등을 통하여 입력한 내용을 수신하여(21) 그 내용이 음성자료를 청취하면서 지문의 빈칸을 채운 청취 결과인지 대상문장/문제선택, 속도선택, 입력모드선택 및 구간선택 등과 같은 조건 선택인지를 판단한다(22).
상기 판단 결과(22), 조건 선택이면 선택된 조건의 종류를 판단하여(23) 입력모드선택 등이면 해당 입력모드에 따라 오디오 자료 등을 입력받는 등의 처리를 수행하고(24), 대상문장/문제선택, 속도선택 및 구간선택 등과 같이 청취 대상과 청취 속도를 조절하기 위한 조건이면 청취 문제 및 그에 따른 콘텐츠(Contents) 등을 저장하기 위한 LC 문제 데이터베이스(14)로부터 청취 대상의 원래 음성 파일을 로딩하여(25) 상기 청취 구간/속도 조건에 따라 상기 청취대상 소리(음성포함)의 피치와 음색의 변경없이 시간축 상에서 파형 복사/삭제를 통해 파형을 늘려주거나 줄이는 방식으로 음성의 속도만을 조절하여(26) 상기 청취자에게 들려준다(27).
상기 판단 결과(22), 상기 청취자가 청취 속도를 조절하면서 플러그인이나 어플리케이션을 사용해서 음성자료를 청취하면서 지문의 빈칸을 채운 결과이면, 청취 정합을 위한 전처리를 수행한 후에(28) 전처리된 청취 결과와 원래 정답과의 동적정합(dynamic programming)을 수행하여 단어 인식율, 문장/구의 인식율 및 단어수준에서의 대치(substitution), 삭제(deletion), 삽입(insertion) 등의 오류 등에 대한 청취 정합도를 계산하여(29) 청취자에게 알려준다(30). 이후, 오인식된 범주에 속하는 단어나 구/절 또는 문장에 대응되는 단어, 구/절 또는 문장들을 포함하는 청취 예시문장들 중에서 오인식이 발생한 환경과 유사한 환경을 가지는 예시문장을 상기 LC 문제 데이터베이스(14)에서 추출하여 재청취 학습을 위한 재청취 문장세트를 자동적으로 생성하여(31) 청취자에게 들려준다(32).
도 3 은 본 발명에 따른 속도변환을 위한 인터페이스부에 대한 일실시예 설명도이다.
본 발명에 따른 인터페이스부는 크게 네 가지 기능들로 구분되어 있다.
첫 번째가 오디오의 연주를 제어하는 기능으로 순방향, 역방향 및 연주(play) 기능을 갖는다.
두 번째는 속도조절 기능으로 100%를 정상적인 연주속도라고 가정할 때, 최대 5배에서 최소 0.1배까지의 속도조절이 가능하다.
세 번째 부분은 입력모드를 결정하는 것으로, 인(In)은 '라인-인(Line-In)'을 의미하는 것으로 녹음기나 엠피쓰리(MP3) 플레이어 등의 외부기기로부터 입력을 받을 경우에 사용되며, 파일(File)은 디지털화된 오디오 파일을 로딩하기 위해서 사용된다. 마이크(MIC)는 마이크로폰(microphone)으로부터 입력을 받을 경우에 사용된다.
마지막으로 구간 반복을 위한 마크-업(mark-up)이 사용된다. 이러한 부분들은 청취 중 잘 들리지 않은 부분들을 따로 관리하기 위해서 사용된다.
도 4 는 본 발명에 따른 속도변환에 따라 오디오 파형을 늘리거나 줄이는 개념을 설명하기 위한 일실시예 흐름도이다.
먼저, 청취자가 입력한 청취 속도 조절값을 수신하여(41) 청취 속도 조절값(배속)에 따라 청취대상 소리(음성포함)의 피치와 음색의 변경없이 시간축 상에서 파형 복사/삭제를 통해 파형을 늘려주거나 줄이는 방식(PSOLA 합성 방식)으로 음성의 속도만을 조절하고(42) 이후 청취자에게 배속을 변경할 것인지를 확인하여(43) 배속을 변경하면 청취 속도 조절값을 수신하는 과정(41)부터 반복 수행한다..
도 5 는 본 발명에 따른 청취정합도 계산 과정에 대한 일실시예 흐름도이다.
먼저, 청취자에 의해 입력된 텍스트 형태의 단어/구/절/문장과 같은 청취 결과를 수신하면(51) 정답을 구성하는 텍스트 형태의 단어/구/절/문장을 LC 문제 데이터베이스(14)에서 로딩하여(52) 동적 프로그래밍(dynamic programming)에 의하여 청취 결과와 원래 정답과의 정합을 수행하여 단어/구/절/문장의 인식율 및 단어수준에서의 대치/삭제/삽입율 등과 같은 오류에 대한 청취 정합도를 계산한다(53).
즉, 청취 결과로서 청취자가 입력한 단어/구/절/문장과 원래 청취 대상의 단어/구/절/문장단위의 청취율 계산을 위해서 동적 프로그래밍(DP: Dynamic Programming)을 사용하여 단어에 기반한 청취율을 계산한다. 동적 프로그래밍(DP)에 의해서 정합된 결과의 일예를 살펴보면 아래의 도 6 과 같다.
도 6 은 본 발명에 따른 문장 단위의 정합 과정에 대한 일실시예 설명도이다.
상기 청취 정합 과정을 통해서 삭제오류(deletion error), 대치오류(substitution error) 및 삽입오류(insertion error)와 같은 3개의 오류들이 나타나게 된다.
먼저, 삭제 오류는 제대로 인식되어야 하는 단어가 청취자가 받아쓴 문장 안의 적절한 위치에서 발견되지 않는 오류를 말한다. 이러한 오류는 청취자가 해당 단어를 전혀 알아듣지 못했음을 의미하는 것으로, 해당 단어를 알지 못하는 경우와알고 있었으나 제대로 듣지 못한 경우의 두 가지로 나뉘어진다. 첫 번째 경우에는 청취 후 단어제시를 통해서 단어를 알고 있는지의 여부를 확인하면 된다. 두 번째 경우에는 해당 단어를 포함하는 문장을 반복적으로 청취할 수 있도록 해야 한다. 삭제오류는 가장 중요한(mission-critical) 오류로서, 청취자의 청취능력을 향상시키기 위해서 반드시 다루어져야 하는 오류이다. 이러한 오류를 타입-I(Type-I) 오류라고 정의한다.
두 번째 오류로는 대치오류가 있다. 이 오류는 해당 단어를 다른 단어로 오인식하는 경우로서, 단어간의 발성이 유사하거나 문장내의 문맥상에서 혼동되는 경우에 발생된다. 이러한 경우에는 혼동된 단어가 들어있는 문장과 오인식된 단어를 비교하면서 청취하도록 제시하는 것이 오류를 보정하는 좋은 방법이다. 아울러, 청취자에 의존적인 대치오류 단어 리스트를 제시하므로써, 단어간의 혼동을 스스로 제거할 수 있을 것이다. 이러한 오류를 타입-II(Type-II) 오류라고 정의한다.
마지막 오류로 삽입오류가 있다. 이 오류는 청취자가 하나의 단어를 몇 개로 분리된 단어로 인식한 경우에 해당되는 것으로, 타입-II(Type-II) 오류와 마찬가지로 청취상의 혼동에 따라서 발생되는 오류이다.
이러한 오류 가운데서 가장 중요하게 다루어져야 하는 오류는 타입-I(Type-I)에 해당되는 삭제오류이고, 그 다음으로 타입-II(Type-II)에 속하는 오류인 삽입오류와 대치오류가 중요하다. 다루어질 오류의 중요도를 표시(왼쪽이 중요도가 크다)하면 아래의 (수학식 1)과 같다.
삭제오류 > 삽입오류 > 대치오류
이러한 오류에 기반하여 청취자의 청취율을 계산하는 식은 아래의 (수학식2)와 같다.
그리고, 청취 구/문장에 대한 오인식 청취율은 아래의 (수학식3)과 같다.
여기서, C는 제대로 인식된 단어의 개수, D는 삭제오류 단어의 개수, I는 삽입된 단어의 개수, 마지막으로 S는 대치오류의 개수를 각각 나타낸다. 상기와 같은 (수학식2) 및 (수학식3)에 입각해서 사용자의 청취율을 정량화한다.
한편, 관리층은 사용자별 학습과정을 관리하는 부분으로, 청취자의 청취결과를 바탕으로 대치되거나 삽입, 삭제된 단어나 구문들을 중심으로 이들에 대해서 재청취를 할 수 있도록 관리하는 부분을 포함한다. 관리층은 크게 두 부분으로 나뉘어지는데 첫 번째 부분은 현재의 청취결과를 바탕으로 오인식된 단어나 구문을 포함하는 문장들만을 추출하여 다시 청취할 수 있도록 해주는 부분이고, 두 번째 부분은 오인식된 단어나 구문을 포함하는 청취문장들을 청취를 위한 문제들을 모아둔 문제은행의 데이터베이스로부터 추출하여 청취학습을 할 수 있도록 하는 부분이다.
이때, 문제은행으로부터 재청취 학습을 위해서 오인식되거나 제대로 알아듣지 못한 단어/구/문장을 추출하는 알고리즘을 상세히 살펴보면 다음과 같다. 타입-I(Type-I)에 속하는 삭제오류의 경우와 타입-II(Type-II)에 속하는 대치 및 삽입오류에 대해서 각각 자동적으로 재청취 문장들을 문제은행으로부터 추출하는 과정을 중심으로 설명한다.
도 7a 및 7b 는 본 발명에 따른 청취율에 기반한 재청취 문장 추출 과정에 대한 일실시예 흐름도이다.
타입-I(Type-I)의 경우에는 삭제오류가 발생된 단어들이 청취자가 모르는 단어인지 또는 제대로 청취하지 못한 단어인지를 식별하기 위해서 먼저 삭제오류된 단어들을 청취자에게 제시한다(71,72). 이러한 과정을 통해서 알지 못하는 단어에 대한 단어장을 자동적으로 생성해준다(73). 다음으로, 삭제된 단어/구/문장들을 갖는 문장을 LC 문제 데이터베이스(14)로부터 추출하여(74) 이들로 구성된 재청취를 위한 문제들을 자동 생성하여 출력한다(75).
다음으로, 타입-II(Type-II)의 경우에는 삽입 또는 대치된 단어들에 의해서 발생된 오류로서, 먼저 대치/삽입된 단어 리스트를 추출하여(81) 대치되었거나 삽입된 단어들과 정상적으로 청취되어야 하는 단어들을 대응해서 표시하는 대치 및 삽입오류에 대한 단어장을 자동적으로 생성한다(82). 이러한 과정을 통해서 잘못 들은 단어들의 오류를 실제적으로 줄일 수 있게 된다. 대치나 삽입된 단어/구/문장을 포함하는 문제들을 자동적으로 생성하기 위해서 각기 다른 방법을 사용한다.
대치나 삽입된 경우의 단어장을 구성하는 예 'there -> their'는 'their'로 청취할 것을 'there'로 받아쓰기를 할 경우에 오인식된 것을 보여주고 있다. 대치나 삽입된 단어의 경우에 재청취를 위해서 수집해야 할 구/문장들의 경우에는 해당 오류를 유발한 환경 또한 중요하다. 이러한 오류의 경우에는 삭제오류와는 달리, 오류가 발생한 좌/우측의 단어들을 함께 고려하여 좌/우 환경이 동시에 만족되는 구나 문장만을 LC 문제 데이터베이스(14)로부터 추출한다. 만일, 좌/우를 동시에 만족하는 구나 문장이 없을 경우에는 좌 또는 우측의 한쪽이라도 일치하면 그러한 단어들을 포함하는 환경의 구나 문장들을 추출하여(83) 재청취를 위한 문장세트를 자동으로 생성하여 출력한다(84).
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
상기와 같은 본 발명은 다음과 같은 효과가 있다.
첫째, 외국어 청취학습을 효과적으로 수행할 수 있다. 원래 외국인이 발성한 음성을 최고 0.1배까지 저속으로 늦추어 주므로써, 외국인의 발성을 한 음절씩 효과적으로 알아들을 수 있으며, 특히 연음에 의한 소리의 변화를 쉽게 청취할 수 있다.
둘째, 음성 고유의 피치와 음색저하는 거의없이 음성의 속도만을 조절하므로써, 효과적으로 외국어 발성을 위한 반복학습을 할 수 있다.
셋째, 단순히 청취하는 것 이외에 지문을 받아쓰도록 하므로써, 학습효과를 배가시킬 수 있다. 특히, 청취자가 잘 알아듣지 못하는 단어를 포함하는 지문들을 계속해서 재청취하도록 하므로써, 잘 들리지 않는 단어나 구문들에 대한 청취가 가능해진다.
넷째, 청취자의 청취능력에 따라서 자동적으로 재청취를 위한 문제들을 추출한다. 청취자가 흔히 틀리거나 잘 알아듣지 못하는 단어들을 중심으로 구성된 지문들을 자동적으로 청취용 데이터베이스에서 추출하여 재학습할 수 있도록 하므로써, 청취자의 학습능력을 향상시킬 수 있게 된다.

Claims (15)

  1. 속도변환을 이용한 대화형 언어 교습 시스템에 있어서,
    청취자와 정합하기 위한 정합 수단;
    상기 청취자로부터 청취 속도를 조절하기 위한 조건을 설정받기 위한 속도 설정 수단;
    청취 문제 등을 저장하기 위한 제1 저장 수단;
    상기 제1 저장 수단에서 청취 문제를 검색하여 상기 설정된 청취 속도 조건에 따라 시간축 상에서 파형 복사/삭제를 통해 파형을 늘려주거나 줄이는 방식으로 플레이 속도를 조절하기 위한 속도 조절 수단;
    상기 청취자가 청취한 결과를 입력받아 청취 정합을 위한 전처리를 수행하기 위한 전처리 수단; 및
    상기 전처리된 청취 결과와 정답과의 동적정합을 수행하여 청취 정합도를 구하여 알려주기 위한 비교 및 정합 수단
    을 포함하는 속도변환을 이용한 대화형 언어 교습 시스템.
  2. 제 1 항에 있어서,
    상기 비교 및 정합 수단에서 정합한 결과중 오인식 결과에 따라 재청취 학습을 위한 재청취 자료를 상기 제1 저장 수단에서 자동적으로 추출하기 위한 재청취문장 추출 수단; 및
    상기 비교 및 정합 수단에서 구한 성적 및 상기 추출한 재청취 자료 등을 저장하기 위한 제2 저장 수단
    을 더 포함하는 속도변환을 이용한 대화형 언어 교습 시스템.
  3. 제 2 항에 있어서,
    상기 재청취 문장 추출 수단은,
    상기 비교 및 정합 수단에서 정합한 결과중 오인식된 범주에 속하는 단어나 구/절 또는 문장에 대응되는 단어, 구/절 또는 문장들을 포함하는 청취 예시문장들 중에서 오인식이 발생한 환경과 유사한 환경을 가지는 예시문장을 상기 제1 저장 수단에서 추출하여 재청취 학습을 위한 재청취 자료를 자동적으로 생성하는 것을 특징으로 하는 속도변환을 이용한 대화형 언어 교습 시스템.
  4. 제 1 항 내지 제 3 항중 어느 한 항에 있어서,
    상기 정합 수단은,
    상기 청취자와 인터넷 또는 데스크톱 컴퓨터 환경을 통하여 정합하는 것을 특징으로 하는 속도변환을 이용한 대화형 언어 교습 시스템.
  5. 제 1 항 내지 제 3 항중 어느 한 항에 있어서,
    상기 속도 설정 수단은,
    상기 정합 수단을 통하여 상기 청취자로부터 대상문장/문제선택, 속도선택, 입력모드선택 및 구간선택 등과 같이 청취 대상과 청취 속도를 조절하기 위한 조건을 설정받는 것을 특징으로 하는 속도변환을 이용한 대화형 언어 교습 시스템.
  6. 제 1 항 내지 제 3 항중 어느 한 항에 있어서,
    상기 비교 및 정합 수단은,
    상기 전처리된 청취 결과와 원래 정답과의 동적정합(dynamic programming)을 수행하여 단어 청취율 및 오인식 청취율 등과 같은 청취 정합도를 계산하여 청취자에게 알려주는 것을 특징으로 하는 속도변환을 이용한 대화형 언어 교습 시스템.
  7. 제 6 항에 있어서,
    상기 단어 청취율 = 100 x와 같이 구하고, 상기 오인식 청취율 = 100 x와 같이 구하는 것을 특징으로 하는 속도변환을 이용한 대화형언어 교습 시스템.
    (여기서, C는 제대로 인식된 단어의 개수, D는 삭제오류 단어의 개수, I는 삽입된 단어의 개수, S는 대치오류의 개수를 각각 나타냄)
  8. 속도변환을 이용한 대화형 언어 교습 시스템에 적용되는 대화형 언어 교습 방법에 있어서,
    청취자로부터의 입력 내용이 청취 결과인지 조건 선택인지를 판단하는 제 1 단계;
    상기 제 1 단계의 판단 결과, 조건 선택이면 청취 문제 파일을 로딩하여 청취 속도 조건에 따라 청취 대상 소리의 피치와 음색의 변경없이 시간축 상에서 파형 복사/삭제를 통해 파형을 늘려주거나 줄이는 방식으로 음성의 속도를 조절하여 상기 청취자에게 들려주는 제 2 단계; 및
    상기 제 1 단계의 판단 결과, 청취 결과이면 전처리를 수행한 청취 결과와 정답과의 동적정합(dynamic programming)을 수행하여 청취 정합도를 구하여 상기 청취자에게 알려주는 제 3 단계
    를 포함하는 속도변환을 이용한 대화형 언어 교습 방법.
  9. 제 8 항에 있어서,
    상기 정합한 결과중 오인식 결과에 따라 재청취 학습을 위한 재청취 자료를 자동적으로 추출하여 상기 청취자에게 들려주는 제 4 단계
    를 더 포함하는 속도변환을 이용한 대화형 언어 교습 방법.
  10. 제 9 항에 있어서,
    상기 제 4 단계는,
    상기 정합한 결과중 오인식된 범주에 속하는 단어나 구/절 또는 문장에 대응되는 단어, 구/절 또는 문장들을 포함하는 청취 예시문장들 중에서 오인식이 발생한 환경과 유사한 환경을 가지는 예시문장을 추출하여 재청취 학습을 위한 재청취 자료를 자동적으로 생성하여 상기 청취자에게 들려주는 것을 특징으로 하는 속도변환을 이용한 대화형 언어 교습 방법.
  11. 제 8 항 내지 제 10 항중 어느 한 항에 있어서,
    상기 제 2 단계는,
    선택된 조건의 종류를 판단하는 제 5 단계;
    상기 제 5 단계의 판단 결과, 입력모드선택이면 해당 입력모드에 따라 오디오 자료를 입력받는 제 6 단계; 및
    상기 제 5 단계의 판단 결과, 대상문장/문제선택, 속도선택 및 구간선택과같이 청취 대상과 청취 속도를 조절하기 위한 조건이면 청취 대상의 원래 음성 파일을 로딩하여 상기 청취 구간/속도 조건에 따라 상기 청취 대상 소리의 피치와 음색의 변경없이 시간축 상에서 파형 복사/삭제를 통해 파형을 늘려주거나 줄이는 방식으로 음성의 속도를 조절하여 상기 청취자에게 들려주는 제 7 단계
    를 포함하는 속도변환을 이용한 대화형 언어 교습 방법.
  12. 제 8 항 내지 제 10 항중 어느 한 항에 있어서,
    상기 제 1 단계에서 상기 청취자로부터의 입력 내용을 인터넷 또는 데스크톱 컴퓨터 환경을 통하여 입력받는 것을 특징으로 하는 속도변환을 이용한 대화형 언어 교습 방법.
  13. 제 8 항 내지 제 10 항중 어느 한 항에 있어서,
    상기 제 3 단계에서 청취 정합도중 단어 청취율 = 100 x와 같이 구하고, 오인식 청취율 = 100 x와 같이 구하는 것을 특징으로 하는 속도변환을 이용한 대화형 언어 교습 방법.
    (여기서, C는 제대로 인식된 단어의 개수, D는 삭제오류 단어의 개수, I는 삽입된 단어의 개수, S는 대치오류의 개수를 각각 나타냄)
  14. 속도변환을 이용하여 대화형 언어 교습을 수행하기 위하여, 대화형 언어 교습 시스템에,
    청취자로부터의 입력 내용이 청취 결과인지 조건 선택인지를 판단하는 제 1 기능;
    상기 제 1 기능에서의 판단 결과, 조건 선택이면 청취 문제 파일을 로딩하여 청취 속도 조건에 따라 청취 대상 소리의 피치와 음색의 변경없이 시간축 상에서 파형 복사/삭제를 통해 파형을 늘려주거나 줄이는 방식으로 음성의 속도를 조절하여 상기 청취자에게 들려주는 제 2 기능; 및
    상기 제 1 기능에서의 판단 결과, 청취 결과이면 전처리를 수행한 청취 결과와 정답과의 동적정합(dynamic programming)을 수행하여 청취 정합도를 구하여 상기 청취자에게 알려주는 제 3 기능
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
  15. 제 14 항에 있어서,
    상기 정합한 결과중 오인식 결과에 따라 재청취 학습을 위한 재청취 자료를 자동적으로 추출하여 상기 청취자에게 들려주는 제 4 기능
    을 더 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1019990050791A 1999-11-16 1999-11-16 속도변환을 이용한 대화형 언어 교습 시스템 및 그 방법 KR100319448B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1019990050791A KR100319448B1 (ko) 1999-11-16 1999-11-16 속도변환을 이용한 대화형 언어 교습 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1019990050791A KR100319448B1 (ko) 1999-11-16 1999-11-16 속도변환을 이용한 대화형 언어 교습 시스템 및 그 방법

Publications (2)

Publication Number Publication Date
KR20010046852A KR20010046852A (ko) 2001-06-15
KR100319448B1 true KR100319448B1 (ko) 2002-01-04

Family

ID=19620273

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019990050791A KR100319448B1 (ko) 1999-11-16 1999-11-16 속도변환을 이용한 대화형 언어 교습 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR100319448B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100389451B1 (ko) * 1999-10-13 2003-06-27 주식회사 코스모탄 저장된 질의/응답문의 재생을 통한 학습 보조 장치
KR101073677B1 (ko) * 2009-12-02 2011-10-14 주식회사 소리자바 속기 입력 장치 및 이를 포함하는 속기 입력 시스템

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030049791A (ko) * 2001-12-17 2003-06-25 변성환 언어학습장치, 언어학습방법 및 저장매체
KR20040002158A (ko) * 2002-06-29 2004-01-07 인벤텍 코오포레이션 동적으로 실행속도 조정 가능한 대화 연습 시스템과 그 방법
KR100777225B1 (ko) * 2007-01-02 2007-11-28 (주)아이에스이영어사 강제 반복 청취를 통한 영어 리스닝 능력 향상 시스템
KR100817432B1 (ko) * 2007-01-31 2008-03-27 한국과학기술원 문서 확장에 의한 음성 자료의 고속 검색 방법 및 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100389451B1 (ko) * 1999-10-13 2003-06-27 주식회사 코스모탄 저장된 질의/응답문의 재생을 통한 학습 보조 장치
KR101073677B1 (ko) * 2009-12-02 2011-10-14 주식회사 소리자바 속기 입력 장치 및 이를 포함하는 속기 입력 시스템

Also Published As

Publication number Publication date
KR20010046852A (ko) 2001-06-15

Similar Documents

Publication Publication Date Title
Brown Listening to spoken English
EP0986802B1 (en) Reading and pronunciation tutor
Broersma Perception of familiar contrasts in unfamiliar positions
US6853971B2 (en) Two-way speech recognition and dialect system
US6263308B1 (en) Methods and apparatus for performing speech recognition using acoustic models which are improved through an interactive process
JP5664978B2 (ja) 学習支援システム及び学習支援方法
US7153139B2 (en) Language learning system and method with a visualized pronunciation suggestion
Van Heuven et al. Speech rate as a secondary prosodic characteristic of polarity questions in three languages
US20050255431A1 (en) Interactive language learning system and method
WO2004063902B1 (en) Speech training method with color instruction
US20040176960A1 (en) Comprehensive spoken language learning system
CN111739556A (zh) 一种语音分析的系统和方法
KR20190041105A (ko) 학습자의 문장입력 및 음성입력을 이용한 학습 시스템 및 그 방법
KR100319448B1 (ko) 속도변환을 이용한 대화형 언어 교습 시스템 및 그 방법
Gao et al. Which phonetic features should pronunciation Instructions focus on? An evaluation on the accentedness of segmental/syllable errors in L2 speech
Bengrait Analysis of Algerian students english intonation deviations with the employment of speech analyzer and praat programmes
Alfaifi Syllabification of coda consonant clusters in Najdi and Hijazi Arabic
Rohena-Madrazo Perceptual assimilation of occluded voiced stops by Spanish listeners
Tran Ngoc et al. Testing perceptual flexibility in speech through the categorization of whistled Spanish consonants by French speakers
JP2006139162A (ja) 語学学習装置
Bőhm et al. Listeners recognize speakers’ habitual utterance final voice quality
WO2020113830A1 (zh) 一种辅助外语学习的方法以及可读存储介质
Filighera et al. Towards A Vocalization Feedback Pipeline for Language Learners
Jones A reliable past or a reliable pest? Testing canonical stimuli in speech perception research
Alzi’abi Exploring Arab EFL learners’ production of weak-form words

Legal Events

Date Code Title Description
A201 Request for examination
N231 Notification of change of applicant
E701 Decision to grant or registration of patent right
N231 Notification of change of applicant
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee