KR101145440B1 - 음성인식 기술을 이용한 외국어 말하기 평가 방법 및 시스템 - Google Patents

음성인식 기술을 이용한 외국어 말하기 평가 방법 및 시스템 Download PDF

Info

Publication number
KR101145440B1
KR101145440B1 KR1020100012142A KR20100012142A KR101145440B1 KR 101145440 B1 KR101145440 B1 KR 101145440B1 KR 1020100012142 A KR1020100012142 A KR 1020100012142A KR 20100012142 A KR20100012142 A KR 20100012142A KR 101145440 B1 KR101145440 B1 KR 101145440B1
Authority
KR
South Korea
Prior art keywords
foreign language
evaluation
learner
voice
module
Prior art date
Application number
KR1020100012142A
Other languages
English (en)
Other versions
KR20110092622A (ko
Inventor
김남수
한창우
김성수
강신재
Original Assignee
서울대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 서울대학교산학협력단 filed Critical 서울대학교산학협력단
Priority to KR1020100012142A priority Critical patent/KR101145440B1/ko
Publication of KR20110092622A publication Critical patent/KR20110092622A/ko
Application granted granted Critical
Publication of KR101145440B1 publication Critical patent/KR101145440B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/18—Speech classification or search using natural language modelling
    • G10L15/1807—Speech classification or search using natural language modelling using prosody or stress
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/75—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 for modelling vocal tract parameters

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Computational Linguistics (AREA)
  • Acoustics & Sound (AREA)
  • Business, Economics & Management (AREA)
  • Signal Processing (AREA)
  • Artificial Intelligence (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 음성인식 기술을 이용한 외국어 말하기 평가 방법 및 시스템에 관한 것으로서, 보다 구체적으로는 (1) 원어민의 음성 및 학습자의 음성을 입력받는 음성 입력 모듈/단계; (2) 상기 음성 입력 모듈/단계에서 입력된 원어민 및 학습자의 음성을 평가에 적합하도록 전처리하는 전처리 모듈/단계; 및 (3) 상기 전처리 모듈/단계에서 전처리된 원어민 및 학습자의 음성을 이용하여, 학습자의 외국어 말하기 능력을 평가하는 외국어 말하기 평가 모듈/단계를 포함하는 것을 그 구성상의 특징으로 한다.
본 발명의 음성인식 기술을 이용한 외국어 말하기 평가 방법 및 시스템에 따르면, 원어민의 발음과 학습자의 발음을 음성인식 기술을 이용하여 비교 분석함으로써, 외국어 발음에 대한 객관적인 평가가 가능하다. 특히, 성도 길이 정규화를 통해 학습자의 불필요한 습관 등에 의한 요소를 제거하고 성별 및 연령에 따른 요소를 제거함으로써, 보다 정확한 평가가 가능하다. 또한, 부단위 인식을 이용한 핵심어 검출 기술을 이용함으로써 서술형 답안의 평가가 가능하다.

Description

음성인식 기술을 이용한 외국어 말하기 평가 방법 및 시스템{A METHOD AND SYSTEM FOR ESTIMATING FOREIGN LANGUAGE SPEAKING USING SPEECH RECOGNITION TECHNIQUE}
본 발명은 외국어 말하기 평가 방법 및 시스템에 관한 것으로서, 특히 음성인식 기술을 이용한 외국어 말하기 평가 방법 및 시스템에 관한 것이다.
최근 들어 인터넷의 발달과 교역량의 확대로 세계의 여러 나라 사람들을 만날 기회가 확대되었고, 특히 기업에서 외국인 바이어 등을 업무상으로 만날 일이 많아지면서 외국어에 대한 수요가 끊임없이 늘고 있다. 이와 같이 외국인과 만날 일이 늘어나면서 종래 독해 위주의 외국어 교육과 달리 회화 중심의 외국어 교육이 각광받고 있다. 일반적으로 외국어 말하기 및 회화 학습 방법은 주로 어학 학원에 가서 외국인 강사에게 직접 배우는 것이다. 그러나 학원에 가는 방법은 시간 제약과 비용에 관한 문제가 있고, 외국인 강사에게 직접 배우는 경우에도 피드백을 구하기가 쉽지 않다. 따라서 시간과 비용 문제를 해결하고 적절한 피드백을 얻을 수 있는 외국어 학습 방법이 있다면 시간과 비용적인 측면에서 효율적일 것이다.
최근 들어 음성인식 기술의 발달과 더불어 이를 외국어 교육에 적용하려는 시도가 많이 이루어지고 있다. 그 중에서도 근래에 많이 시도되고 있는 방법은, 은닉 마르코프 모델(Hidden Markov Model, 이하 ‘HMM’이라 함)을 이용하는 방법이다. 이때, 음성인식 시스템에서는, 주파수 차감법, 음원 분리 기술, 잡음 필터링 기술 등의 전처리 과정을 거친 음성 신호에 대하여 시스템에서 정의한 프레임 단위로 특징벡터를 추출하고, 추출된 특징벡터를 이용하여 이후의 신호 처리를 하게 된다. 기존의 외국어 말하기 평가 방법 및 시스템은, HMM 인식기를 이용하여 평가하고자 하는 단위에 대한 정확도를 측정하는 것이 전부였다. 왜냐하면, 화자의 발음의 다른 요소(길이, 에너지, 억양, 강세 등)를 특징벡터에 반영하지 못하였기 때문이다. 즉, 단지 단순하게 문장을 따라 읽고 이에 대한 평가를 HMM 인식기를 통하여 얻은 결과를 토대로 평가하는 수준이었다. 그러나 실질적으로 한국어와 달리 외국어에서 의미 전달의 중요한 축을 담당하는 것이 길이, 에너지, 억양, 강세 등의 요소이다. 예를 들어, 중국어에서는 억양과 관계있는 성조에 의해 그 의미가 완전히 바뀌기도 하고, 영어권 언어에서는 강세가 의미 전달에 있어서 중요한 부분을 담당한다.
기존 외국어 말하기 평가 방법 및 시스템의 또 다른 문제점은, 정답이 한 가지로 제약된 경우에만 쓸 수 있다는 점이다. 컴퓨터 기반의 외국어 말하기 평가를 위해서는, 답이 하나인 경우뿐만 아니라 확장된 문장 내에 답이 존재하는 경우에도 정답으로 허용할 수 있어야 한다. 기존의 시스템은 이런 방식에 대한 구체적인 해결책을 제안하지 못하였다.
본 발명은 기존에 제안된 방법들의 상기와 같은 문제점들을 해결하기 위해 제안된 것으로서, 원어민의 발음과 학습자의 발음을 음성인식 기술을 이용하여 비교 분석함으로써, 외국어 발음에 대한 객관적인 평가가 가능한 외국어 말하기 평가 방법 및 시스템을 제공하는 것을 그 목적으로 한다.
또한, 성도 길이 정규화를 통해 학습자의 불필요한 습관 등에 의한 요소를 제거하고 성별 및 연령에 따른 요소를 제거함으로써, 보다 정확한 평가가 가능한 외국어 말하기 평가 방법 및 시스템을 제공하는 것을 다른 목적으로 한다.
뿐만 아니라, 부단위 인식을 이용한 핵심어 검출 기술을 이용함으로써 서술형 답안의 평가가 가능한 외국어 말하기 평가 방법 및 시스템을 제공하는 것을 또 다른 목적으로 한다.
상기한 목적을 달성하기 위한 본 발명의 특징에 따른, 음성인식 기술을 이용한 외국어 말하기 평가 시스템은,
(1) 원어민의 음성 및 학습자의 음성을 입력받는 음성 입력 모듈;
(2) 상기 음성 입력 모듈에서 입력된 원어민 및 학습자의 음성을 평가에 적합하도록 전처리하는 전처리 모듈; 및
(3) 상기 전처리 모듈에서 전처리된 원어민 및 학습자의 음성을 이용하여, 학습자의 외국어 말하기 능력을 평가하는 외국어 말하기 평가 모듈을 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 원어민의 음성은, 상기 음성 입력 모듈에 의해 입력받는 대신에, 내장된 원어민의 음성 자료를 이용할 수 있다.
바람직하게는, 상기 전처리 모듈은,
상기 음성 입력 모듈에서 입력된 원어민 및 학습자의 음성의 성도 길이를 정규화하는 성도 길이 정규화부를 포함할 수 있다.
바람직하게는, 상기 전처리 모듈은,
상기 음성 입력 모듈로부터 입력된 원어민 및 학습자의 음성에 대하여, 각각 적어도 하나 이상의 말하기 평가에 적합한 특징벡터를 추출하는 특징벡터 추출부를 포함할 수 있다.
더욱 바람직하게는, 상기 특징벡터 추출부는,
특징벡터로서, 에너지 스펙트럼, 억양 정보, MFCC 중 적어도 하나 이상을 추출할 수 있다.
더욱 바람직하게는, 상기 외국어 말하기 평가 모듈은,
상기 특징벡터 추출부에서 추출된 특징벡터와, 사전에 데이터베이스로 구축된 외국어 음향모델 및 외국어 언어모델 자료를 이용할 수 있다.
더욱 바람직하게는, 상기 외국어 말하기 평가 모듈은,
발음의 강세를 평가하는 강세 평가부;
특징벡터의 피치 곡선을 이용하여 발음의 억양을 평가하는 억양 평가부;
발음의 정확성을 평가하는 정확성 평가부;
발음의 길이를 평가하는 길이 평가부; 및
상기 4가지 평가 자료를 종합하여 평가하는 발음종합평가부로 구성되는 발음 평가 모듈을 포함할 수 있다.
더욱 바람직하게는, 상기 외국어 말하기 평가 모듈은,
특정 핵심어를 정답으로 설정하는 핵심어 설정부;
상기 전처리 모듈에서 전처리된 학습자의 음성에 대하여, 상기 핵심어 설정부에서 설정된 핵심어 포함 여부를 검출하는 핵심어 검출부;
상기 핵심어 검출부에서 검출된 핵심어를 이용하여 논리 연산을 수행하는 논리 연산부; 및
상기 논리 연산부에서 수행된 연산 결과를 이용하여 학습자의 서술형 답안을 평가하는 서술형 답안 평가부로 구성된 서술형 답안 평가 모듈을 포함할 수 있다.
더더욱 바람직하게는, 상기 핵심어 검출부는,
부단위 인식을 이용하여, 상기 전처리된 학습자의 음성에 대하여 상기 핵심어의 포함 여부를 결정할 수 있다.
바람직하게는, 학습자에 대한 외국어 말하기 평가 결과를 출력하는 결과 출력 모듈을 더 포함할 수 있다.
바람직하게는, 외국어 말하기 평가 결과에 기초하여, 학습자에게 학습에 대한 피드백을 제공하는 피드백 제공 모듈을 더 포함할 수 있다.
상기한 목적을 달성하기 위한 본 발명의 또 다른 특징에 따른, 음성인식 기술을 이용한 외국어 말하기 평가 방법은,
(1) 원어민의 음성 및 학습자의 음성을 입력받는 음성 입력 단계;
(2) 상기 음성 입력 모듈에서 입력된 원어민 및 학습자의 음성을 평가에 적합하도록 전처리하는 전처리 단계; 및
(3) 상기 전처리 모듈에서 전처리된 원어민 및 학습자의 음성을 이용하여, 학습자의 외국어 말하기 능력을 평가하는 외국어 말하기 평가 단계를 포함하는 것을 그 구성상의 특징으로 한다.
바람직하게는, 상기 외국어 말하기 평가 단계는,
상기 전처리 단계에서 추출된 특징벡터와, 사전에 데이터베이스로 구축된 외국어 음향모델 및 외국어 언어모델 자료를 이용하며,
학습자의 입력 음성에 대하여 발음의 강세, 억양, 정확성, 길이를 평가하여 학습자의 발음을 평가하는 발음 평가 단계; 및
부단위 인식을 이용한 핵심어 검출 기술에 의하여 학습자의 서술 답안을 평가하는 서술 답안 평가 단계 중 적어도 하나 이상의 단계를 포함할 수 있다.
본 발명의 음성인식 기술을 이용한 외국어 말하기 평가 방법 및 시스템에 따르면, 원어민의 발음과 학습자의 발음을 음성인식 기술을 이용하여 비교 분석함으로써, 외국어 발음에 대한 객관적인 평가가 가능하다. 특히, 성도 길이 정규화를 통해 학습자의 불필요한 습관 등에 의한 요소를 제거하고 성별 및 연령에 따른 요소를 제거함으로써, 더욱 정확한 평가가 가능하다. 또한, 부단위 인식을 이용한 핵심어 검출 기술을 이용함으로써 서술형 답안의 평가가 가능하다.
도 1은 본 발명의 일실시예에 따른 외국어 말하기 평가 시스템의 전체 구성을 나타내는 도면.
도 2는 본 발명의 일실시예에 따른 외국어 말하기 평가 시스템에서, 전처리 모듈(200)의 구성을 나타내는 도면.
도 3은 본 발명의 일실시예에 따른 외국어 말하기 평가 시스템에서, 외국어 말하기 평가 모듈(700)의 구성을 나타내는 도면.
도 4는 본 발명의 일실시예에 따른 외국어 말하기 평가 시스템에서, 외국어 말하기 평가 모듈(700) 중 발음 평가 모듈(710)의 세부 구성을 나타내는 도면.
도 5는 본 발명의 일실시예에 따른 외국어 말하기 평가 시스템에서, 외국어 말하기 평가 모듈(700) 중 서술형 답안 평가 모듈(730)의 세부 구성을 나타내는 도면.
이하에서는 첨부된 도면들을 참조하여, 본 발명에 따른 실시예에 대하여 상세하게 설명하기로 한다.
도 1은 본 발명의 일실시예에 따른 외국어 말하기 평가 시스템의 전체 구성을 나타내는 도면이다. 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 외국어 말하기 평가 시스템은, 원어민의 음성 및 학습자의 음성을 입력받는 음성 입력 모듈(100), 음성 입력 모듈(100)에서 입력된 원어민 및 학습자의 음성을 평가에 적합하도록 전처리하는 전처리 모듈(200), 및 전처리 모듈(200)에서 전처리된 원어민 및 학습자의 음성을 이용하여, 학습자의 외국어 말하기 능력을 평가하는 외국어 말하기 평가 모듈(700)을 포함한다. 또한, 도 1에 도시된 바와 같이, 본 발명의 일실시예에 따른 외국어 말하기 평가 시스템은, 외국어 음향 모델(400), 외국어 언어 모델(500), 콘텐츠(600)를 이용할 수 있으며, 학습자에 대한 외국어 말하기 평가 결과를 출력하는 결과 출력 모듈(800), 및 외국어 말하기 평가 결과에 기초하여, 학습자에게 학습에 대한 피드백을 제공하는 피드백 제공 모듈(900)을 더 포함할 수 있다. 본 발명에서 제안하고 있는 외국어 말하기 평가 시스템은, 내장형 시스템(embedded system) 등에도 적용할 수 있으며, 웹 기반의 플랫폼에서도 동작이 가능하다. 이는 다양한 확장성을 가진 시스템임을 뜻한다.
음성 입력 모듈(100)은, 원어민의 음성 및 학습자의 음성을 입력받는 역할을 한다. 음성 입력 모듈(100)에서 사용될 수 있는 음성 입력 장치는, 사람의 음성을 실시간으로 입력 받거나 비슷한 역할을 할 수 있는 모든 것이 가능하며, 예컨대 마이크 등이 사용될 수 있다. 원어민의 음성은 음성 입력 모듈(100)에 의해 입력받는 대신에, 내장된 원어민의 음성 자료를 이용할 수도 있다. 즉, 이미 시스템에 데이터베이스 형태로 저장되어 있는 원어민의 음성 자료를 학습자의 외국어 말하기 평가를 위한 기준으로 사용할 수도 있다.
전처리 모듈(200)은, 음성 입력 모듈(100)에서 입력된 원어민 및 학습자의 음성을 평가에 적합하도록 전처리하는 역할을 한다. 전처리 모듈(200)은, 불필요한 잡음 제거, 및 음성 향상의 기능을 수행할 뿐만 아니라, 성도 길이 정규화와 특징벡터 추출 기능을 수행한다.
도 2는 본 발명의 일실시예에 따른 외국어 말하기 평가 시스템에서, 전처리 모듈(200)의 구성을 나타내는 도면이다. 도 2에 도시된 바와 같이, 본 발명의 일실시예에 따른 전처리 모듈(200)은, 잡음 제거부(210), 음성 향상부(230), 성도 길이 정규화부(250), 특징 벡터 추출부(270)를 포함할 수 있다.
잡음 제거부(210)는, 입력 장치의 특성 혹은 외부 환경에 의한 잡음을 제거하는 역할을 한다. 잡음 제거 방법으로는, 단순하게 필터를 이용한 노이즈 제거 방법부터 통계적 모델을 기반으로 잡음을 모델링하는 방법까지 다양한 방법들이 사용될 수 있다.
음성향상부(230)는, 사람 음성에 적합한 신호 대역을 향상시키는 등의 역할을 한다.
성도 길이 정규화부(250)는, 음성 입력 모듈(100)에서 입력된 원어민 및 학습자의 음성의 성도 길이를 정규화하는 역할을 한다. 즉, 성도 길이 정규화부(250)는, 기존의 일반적인 잡음 제거 기능에 더하여 학습자만의 독특한 특징, 습관 등에 의한 요소를 제거해주는 기능을 한다. 예를 들어, 학습자가 어린 아이이고 원어민의 발음 모델이 성인을 기준으로 한 것이라면, 이에 대해 적절한 보정 및 정규화가 필요하며 이에 대한 해법 중 하나가 성도 길이 정규화 방법이다. 성도 길이 정규화 방법에는, 음성 길이를 정규화해 주는 것뿐만이 아니라, 억양, 강세 등을 보정하는 기능을 포함할 수 있다.
특징벡터 추출부(270)는, 음성 입력 모듈(100)로부터 입력된 원어민 및 학습자의 음성에 대하여, 각각 적어도 하나 이상의 말하기 평가에 적합한 특징벡터를 추출하는 역할을 한다. 이때, 특징벡터 추출부(270)에서 추출되는 특징벡터로서는, 에너지 스펙트럼, 억양 정보, MFCC 중 적어도 하나 이상이 포함될 수 있다.
외국어 말하기 평가 모듈(700)은, 전처리 모듈(200)에서 전처리된 원어민 및 학습자의 음성을 이용하여, 학습자의 외국어 말하기 능력을 평가하는 역할을 한다. 도 1에 도시된 바와 같이, 외국어 말하기 평가 모듈(700)은, 전처리 모듈(200)의 특징벡터 추출부(270)에서 추출된 특징벡터와, 사전에 데이터베이스로 구축된 외국어 음향모델(400) 및 외국어 언어모델(500) 자료를 이용하여, 학습자의 외국어 말하기 능력을 평가한다.
도 3은 본 발명의 일실시예에 따른 외국어 말하기 평가 시스템에서, 외국어 말하기 평가 모듈(700)의 구성을 나타내는 도면이다. 도 3에 도시된 바와 같이, 외국어 말하기 평가 모듈(700)은, 학습자의 발음을 평가하는 발음 평가 모듈(710), 학습자의 서술형 답안을 평가하는 서술형 답안 평가 모듈(730)로 구성될 수 있다. 발음 평가 모듈(710), 서술형 답안 평가 모듈(730)의 세부 구성에 대해서는 도 4 및 도 5를 참조하여 단락을 바꾸어 이하에서 상세히 설명하기로 한다.
도 4는 본 발명의 일실시예에 따른 외국어 말하기 평가 시스템에서, 외국어 말하기 평가 모듈(700) 중 발음 평가 모듈(710)의 세부 구성을 나타내는 도면이다. 도 4에 도시된 바와 같이, 발음 평가 모듈(710)은, 발음의 강세를 평가하는 강세 평가부(711), 특징벡터의 피치 곡선을 이용하여 발음의 억양을 평가하는 억양 평가부(713), 발음의 정확성을 평가하는 정확성 평가부(715), 발음의 길이를 평가하는 길이 평가부(717), 및 상기 4가지 평가 자료를 종합하여 평가하는 발음종합평가부(719)로 구성될 수 있다. 억양 평가부(713)에서, 억양 곡선은 발성자 간의 발성 속도에 따라 길이가 다르기 때문에 보정해 줄 필요가 있으며, 무성음의 억양을 찾는 것은 유성음에 비해서 어렵기 때문에 적절한 보간법이 적용될 필요가 있다. 정확성 평가부(715)에서는 DTW나 HMM 기법을 적용하여 발성의 명료성을 비교하여 평가하며, 길이 평가부(717)에서는 시스템에서 원하는 단위별로 길이의 적절성을 평가한다. 발음종합평가부(719)에서의 전체적인 평가는, 통계적 기법에 의한 발음 모델, 머신 러닝 기법, 특정한 법칙 등 평가가 가능한 모든 방법이 이용될 수 있다.
도 5는 본 발명의 일실시예에 따른 외국어 말하기 평가 시스템에서, 외국어 말하기 평가 모듈(700) 중 서술형 답안 평가 모듈(730)의 세부 구성을 나타내는 도면이다. 도 5에 도시된 바와 같이, 서술형 답안 평가 모듈(730)은, 특정 핵심어를 정답으로 설정하는 핵심어 설정부(731), 학습자의 음성에 대하여, 핵심어 설정부(731)에서 설정된 핵심어 포함 여부를 검출하는 핵심어 검출부(733), 핵심어 검출부(733)에서 검출된 핵심어를 이용하여 논리 연산을 수행하는 논리 연산부(735), 및 논리 연산부(735)에서 수행된 논리 연산 결과를 이용하여 학습자의 서술형 답안을 평가하는 서술형 답안 평가부(737)로 구성될 수 있다. 실시예에 따라서는, 핵심어 설정부(731)에서 핵심어를 설정하는 대신에 기존에 데이터베이스로 저장되어 있는 핵심어를 이용하여 핵심어를 설정할 수도 있다. 특히, 핵심어 검출부(733)는, 부단위 인식을 이용하여, 학습자의 음성에 대하여 핵심어의 포함 여부를 결정할 수 있다. 서술형 답안 평가 모듈(730)은 단답형 문제, 그림 설명, 외국어 이야기 만들기와 같은 문제에 적용될 수 있는 구성요소로서, 이러한 문제들은 정답이 제한적이지 않은 경우가 대부분이다. 그래서 본 발명에서는 핵심어를 정답으로 설정하고 핵심어 검출을 실시함으로써 이와 같은 문제에도 대응할 수 있게 하였다. 핵심어 검출부(733)는 학습자 음성의 특징벡터, 외국어 음향모델 자료, 외국어 언어모델 자료를 이용하여 핵심어 검출을 수행하게 되며, 논리 연산부(735)는 이렇게 얻어진 핵심어들과 콘텐츠 제공 모듈(600)에서 제공되는 자료로 논리적 연산을 수행하여 평가에 필수적인 기초 작업을 완료하며, 마지막으로 서술형 답안 평가부(737)에서 논리 연산부(735)의 자료를 이용하여 학습자의 서술형 답안에 대한 평가를 수행한다.
사전에 모아놓은 음성 데이터베이스를 이용하여 만든 외국어 음향모델(Acoustic Model; 400) 및 외국어 언어모델(Language Model; 500)은 외국어 말하기 평가 모듈(700)에 의해 외국어 말하기 평가에 이용된다.
음향모델을 어떻게 설계하느냐에 따라 인식기 성능에 지대한 영향을 미치기 때문에, 음향모델을 잘 설계하는 것이 매우 중요하다. 음향모델 설계에 있어서는 적절한 단위를 설정하는 것이 중요한데, 이는 단위에 따라서 음향 모델의 크기 및 인식 속도가 크게 차이가 날 수 있기 때문이다. 처음 인식 시스템이 나왔을 때는 단어 단위의 인식 시스템이 주를 이루었는데, 단어 단위인 경우 어휘의 확장성이 좋지 않고 어휘 사전에 없는 단어에 대해서 적절하게 대처하지 못한다는 단점이 있기 때문에 최근에는 음소, 음절 단위를 이용한 인식 시스템도 많이 활용되고 있다.
대화체 음성 인식으로 갈수록 음향모델뿐만 아니라 언어모델에 대한 중요성도 증가하기 때문에 언어모델을 잘 설계하는 것이 시스템의 성능에 있어서 중요한 부분이다. 언어모델의 경우, 학습하고자 하는 외국어에 대한 문법 법칙을 만들 수도 있으나, 실질적으로 언어에 대한 법칙을 만드는 것이 쉽지 않기 때문에 확률 기반의 N-gram 모델이 많이 사용되고 있다. 단어에 대해 예를 들면, N-gram 모델에서는 현재 나온 단어는 사전에 나온 N-1개의 단어에 의해 조건부 확률로 표시될 수 있다. 빈도가 낮은 경우 매우 낮은 확률 값을 갖기 때문에 고려해야 하는 경우의 수에서 제외시킬 수 있다. 모든 경우의 수를 고려하여 인식 시스템을 구성하는 것은 시스템을 비효율적으로 하기 때문에 언어 모델은 시스템의 목적에 맞게 구성할 필요가 있다.
콘텐츠 제공 모듈(600)은 외국어 학습 및 외국어 말하기 평가에 필요한 콘텐츠를 제공하는 역할을 한다. 콘텐츠 제공 모듈(600)에서는 학습에 필요한 기본적인 정보를 담고 있는데, 구체적으로는 문제, 답, 해설, 그림 등 외국어 학습에 도움이 되는 기본적인 사항을 콘텐츠로서 포함하고 있다.
결과 출력 모듈(800)은, 학습자에 대한 외국어 말하기 평가 결과를 출력하는 역할을 한다. 결과 출력 모듈(800)은, 학습자가 인지할 수 있는 모든 장치를 이용하여 학습자에게 정보를 제공할 수 있다. 예를 들면, 모니터를 통하여 그래프로 표시하고 강세를 체크하여 보여줄 있으며, 혹은 스피커를 통하여 원어민의 음성과 학습자의 음성을 비교하여 출력할 수 있다.
피드백 제공 모듈(900)은, 외국어 말하기 평가 결과에 기초하여, 학습자에게 학습에 대한 피드백을 제공하는 역할을 한다. 즉, 피드백 제공 모듈(900)은, 학습자에게 부족한 부분이나 잘한 부분에 대해 설명해주고 학습자가 외국어 말하기를 능동적으로 배울 수 있도록 도와주는 기능을 제공한다. 예를 들면, 평가 결과를 바탕으로 부족한 부분을 지적해 주고, 필요한 경우 학습자에게 재발음을 요청하도록 구성할 수 있다. 이때 학습자는 마이크 등의 음성 입력 모듈(100)을 통하여 직접 음성을 재입력할 수도 있고, 기타 입력장치(키보드, 마우스 등)를 통하여 대응을 할 수도 있다.
이상 설명한 본 발명은 본 발명이 속한 기술분야에서 통상의 지식을 가진 자에 의하여 다양한 변형이나 응용이 가능하며, 본 발명에 따른 기술적 사상의 범위는 아래의 특허청구범위에 의하여 정해져야 할 것이다.
100: 음성 입력 모듈
200: 전처리 모듈
400: 외국어 음향모델 입력 모듈
500: 외국어 언어모델 입력 모듈
600: 콘텐츠 제공 모듈
700: 외국어 말하기 평가 모듈
800: 결과 출력 모듈
900: 피드백 모듈

Claims (8)

  1. 음성인식 기술을 이용하여 외국어 말하기를 평가하는 시스템에 있어서,
    (1) 원어민의 음성 및 학습자의 음성을 입력받는 음성 입력 모듈;
    (2) 상기 음성 입력 모듈에서 입력된 원어민 및 학습자의 음성을 평가에 적합하도록 전처리하는 전처리 모듈; 및
    (3) 상기 전처리 모듈에서 전처리된 원어민 및 학습자의 음성을 이용하여, 학습자의 외국어 말하기 능력을 평가하는 외국어 말하기 평가 모듈을 포함하며,
    상기 전처리 모듈은,
    상기 음성 입력 모듈에서 입력된 원어민 및 학습자의 음성의 성도 길이를 정규화하는 성도 길이 정규화부를 포함하는 것을 특징으로 하는, 음성인식 기술을 이용한 외국어 말하기 평가 시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 전처리 모듈은,
    상기 음성 입력 모듈로부터 입력된 원어민 및 학습자의 음성에 대하여, 각각 에너지 스펙트럼, 억양 정보, MFCC 중 적어도 하나 이상의 말하기 평가용 특징벡터를 추출하는 특징벡터 추출부를 포함하는 것을 특징으로 하는, 음성인식 기술을 이용한 외국어 말하기 평가 시스템.
  4. 제1항에 있어서, 상기 외국어 말하기 평가 모듈은,
    발음의 강세를 평가하는 강세 평가부;
    특징벡터의 피치 곡선을 이용하여 발음의 억양을 평가하는 억양 평가부;
    발음의 정확성을 평가하는 정확성 평가부;
    발음의 길이를 평가하는 길이 평가부; 및
    상기 4가지 평가 자료를 종합하여 평가하는 발음종합평가부로 구성되는 발음 평가 모듈을 포함하는 것을 특징으로 하는, 음성인식 기술을 이용한 외국어 말하기 평가 시스템.
  5. 제1항에 있어서, 상기 외국어 말하기 평가 모듈은,
    특정 핵심어를 정답으로 설정하는 핵심어 설정부;
    상기 전처리 모듈에서 전처리된 학습자의 음성에 대하여, 상기 핵심어 설정부에서 설정된 핵심어 포함 여부를 검출하는 핵심어 검출부;
    상기 핵심어 검출부에서 검출된 핵심어를 이용하여 논리 연산을 수행하는 논리 연산부; 및
    상기 논리 연산부에서 수행된 연산 결과를 이용하여 학습자의 서술형 답안을 평가하는 서술형 답안 평가부로 구성된 서술형 답안 평가 모듈을 포함하는 것을 특징으로 하는, 음성인식 기술을 이용한 외국어 말하기 평가 시스템.
  6. 제5항에 있어서, 상기 핵심어 검출부는,
    부단위 인식을 이용하여, 상기 전처리된 학습자의 음성에 대하여 상기 핵심어의 포함 여부를 결정하는 것을 특징으로 하는, 음성인식 기술을 이용한 외국어 말하기 평가 시스템.
  7. 제1항에 있어서,
    외국어 말하기 평가 결과에 기초하여, 학습자에게 학습에 대한 피드백을 제공하는 피드백 제공 모듈을 더 포함하는 것을 특징으로 하는, 음성인식 기술을 이용한 외국어 말하기 평가 시스템.
  8. 음성인식 기술을 이용하여 외국어 말하기를 평가하는 방법에 있어서,
    (1) 원어민의 음성 및 학습자의 음성을 입력받는 음성 입력 단계;
    (2) 상기 음성 입력 단계에서 입력된 원어민 및 학습자의 음성을 평가에 적합하도록 전처리하는 전처리 단계; 및
    (3) 상기 전처리 단계에서 전처리된 원어민 및 학습자의 음성을 이용하여, 학습자의 외국어 말하기 능력을 평가하는 외국어 말하기 평가 단계를 포함하되,
    상기 외국어 말하기 평가 단계는,
    학습자의 입력 음성에 대하여 발음의 강세, 억양, 정확성, 길이를 평가하여 학습자의 발음을 평가하는 발음 평가 단계; 및
    부단위 인식을 이용한 핵심어 검출 기술에 의하여 학습자의 서술 답안을 평가하는 서술 답안 평가 단계 중 적어도 하나 이상의 단계를 포함하는 것을 특징으로 하는, 음성인식 기술을 이용한 외국어 말하기 평가 방법.
KR1020100012142A 2010-02-09 2010-02-09 음성인식 기술을 이용한 외국어 말하기 평가 방법 및 시스템 KR101145440B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100012142A KR101145440B1 (ko) 2010-02-09 2010-02-09 음성인식 기술을 이용한 외국어 말하기 평가 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100012142A KR101145440B1 (ko) 2010-02-09 2010-02-09 음성인식 기술을 이용한 외국어 말하기 평가 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20110092622A KR20110092622A (ko) 2011-08-18
KR101145440B1 true KR101145440B1 (ko) 2012-05-15

Family

ID=44929433

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100012142A KR101145440B1 (ko) 2010-02-09 2010-02-09 음성인식 기술을 이용한 외국어 말하기 평가 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR101145440B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102585031B1 (ko) 2022-11-25 2023-10-06 주식회사 에듀템 실시간 외국어 발음 평가시스템 및 방법

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101283271B1 (ko) * 2011-10-21 2013-07-11 포항공과대학교 산학협력단 어학 학습 장치 및 어학 학습 방법
KR102052031B1 (ko) * 2016-11-02 2019-12-04 한국전자통신연구원 발음평가 방법 및 상기 방법을 이용하는 발음평가 시스템
KR102414626B1 (ko) * 2020-10-26 2022-06-30 주식회사 에듀템 외국어 발음 훈련 및 평가 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050074298A (ko) * 2004-01-08 2005-07-18 정보통신연구진흥원 외국어 발음 평가 시스템 및 외국어 발음 평가 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20050074298A (ko) * 2004-01-08 2005-07-18 정보통신연구진흥원 외국어 발음 평가 시스템 및 외국어 발음 평가 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102585031B1 (ko) 2022-11-25 2023-10-06 주식회사 에듀템 실시간 외국어 발음 평가시스템 및 방법

Also Published As

Publication number Publication date
KR20110092622A (ko) 2011-08-18

Similar Documents

Publication Publication Date Title
CN105845134B (zh) 自由朗读题型的口语评测方法及系统
Hu et al. A new DNN-based high quality pronunciation evaluation for computer-aided language learning (CALL).
Franco et al. EduSpeak®: A speech recognition and pronunciation scoring toolkit for computer-aided language learning applications
Gruhn et al. Statistical pronunciation modeling for non-native speech processing
US20180137109A1 (en) Methodology for automatic multilingual speech recognition
Lei et al. Dialect classification via text-independent training and testing for Arabic, Spanish, and Chinese
Lee et al. An information-extraction approach to speech processing: Analysis, detection, verification, and recognition
Vicsi et al. Using prosody to improve automatic speech recognition
Wang et al. Towards automatic assessment of spontaneous spoken English
Yanagita et al. Neural iTTS: Toward synthesizing speech in real-time with end-to-end neural text-to-speech framework
Fu et al. Automatic assessment of English proficiency for Japanese learners without reference sentences based on deep neural network acoustic models
Keshet Automatic speech recognition: A primer for speech-language pathology researchers
Sefara et al. HMM-based speech synthesis system incorporated with language identification for low-resourced languages
Lee Speech translation
KR101145440B1 (ko) 음성인식 기술을 이용한 외국어 말하기 평가 방법 및 시스템
Larabi-Marie-Sainte et al. A new framework for Arabic recitation using speech recognition and the Jaro Winkler algorithm
Alkhatib et al. Building an assistant mobile application for teaching arabic pronunciation using a new approach for arabic speech recognition
Kabashima et al. Dnn-based scoring of language learners’ proficiency using learners’ shadowings and native listeners’ responsive shadowings
Yilmaz et al. Automatic assessment of children's reading with the FLaVoR decoding using a phone confusion model
Al-Bakeri et al. ASR for Tajweed rules: integrated with self-learning environments
Harere et al. Quran recitation recognition using end-to-end deep learning
Mu et al. Japanese Pronunciation Evaluation Based on DDNN
Baker et al. Historical development and future directions in speech recognition and understanding
Wang et al. Phoneme set design for speech recognition of English by Japanese
Wang et al. Second language speech recognition using multiple-pass decoding with lexicon represented by multiple reduced phoneme sets

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150430

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160128

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170421

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180425

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190902

Year of fee payment: 8