KR20150015126A - 외국어 유창성 평가 시스템 및 방법 - Google Patents

외국어 유창성 평가 시스템 및 방법 Download PDF

Info

Publication number
KR20150015126A
KR20150015126A KR1020130090723A KR20130090723A KR20150015126A KR 20150015126 A KR20150015126 A KR 20150015126A KR 1020130090723 A KR1020130090723 A KR 1020130090723A KR 20130090723 A KR20130090723 A KR 20130090723A KR 20150015126 A KR20150015126 A KR 20150015126A
Authority
KR
South Korea
Prior art keywords
foreign language
feedback
pronunciation
utterance
fluency
Prior art date
Application number
KR1020130090723A
Other languages
English (en)
Other versions
KR101491919B1 (ko
Inventor
이근배
강세천
방지수
Original Assignee
포항공과대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 포항공과대학교 산학협력단 filed Critical 포항공과대학교 산학협력단
Priority to KR20130090723A priority Critical patent/KR101491919B1/ko
Publication of KR20150015126A publication Critical patent/KR20150015126A/ko
Application granted granted Critical
Publication of KR101491919B1 publication Critical patent/KR101491919B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/10—Speech classification or search using distance or distortion measures between unknown speech and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/02—Feature extraction for speech recognition; Selection of recognition unit
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L2015/086—Recognition of spelled words
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Electrically Operated Instructional Devices (AREA)
  • Machine Translation (AREA)

Abstract

외국어 학습을 위한 외국어 유창성 평가 시스템 및 방법이 개시된다. 외국어 유창성 평가 시스템은 제공된 텍스트 및 상기 텍스트에 대응되는 사용자 발화로부터, 발음, 강세, 끊어 읽기 중 하나를 포함하는 단어 수준 피드백을 생성하는 피드백 생성부와 단어 수준 피드백을 기반으로 기초 자질을 생성하여 사용자의 외국어 발화에 대한 유창성 평가 결과를 생성하는 유창성 결과 생성부를 포함한다. 따라서, 상기와 같은 외국어 유창성 평가 시스템 및 방법을 사용할 경우에는 단어 수준의 피드백과 유창성 평가 결과를 동시에 제공받음으로써 효과적으로 외국어 학습을 할 수 있다.

Description

외국어 유창성 평가 시스템 및 방법{SYSTEM FOR ASSESSING PROFICIENCY OF FOREIGN LANGUAGE AND METHOD THEREOF}
본 발명은 외국어 학습에 관한 것으로, 더욱 상세하게는 외국어 학습을 위해 사용자의 외국어 발화에 따른 유창성을 평가하는 시스템 및 방법에 관한 것이다.
국제화, 세계화 시대가 도래하여 사회 각 분야에서 외국어의 필요성과 중요성이 증가함에 따라 문법, 어휘와 같은 의미 파악 중심식 학습 방법과 더불어 의사 소통 기능으로써의 외국어 구사능력이 필수적으로 요구되고 있다.
그리하여 빠르고 쉬우며, 효과적으로 외국어를 습득할 수 있도록 돕는 다양한 외국어 학습 장치, 시스템 및 방법이 상용화되어 있다.
종래의 전자 사전과 같은 외국어 학습 장치는 개별 단어나 단어들의 연결을 위주로 쉽고 빠르게 의미를 파악할 수 있으나, 외국어의 정확한 발음, 리듬, 억양, 강세 등과 같은 발화 요소의 학습이 어려워 외국인과의 의사 소통을 위한 학습이 어렵다는 문제가 있다.
종래의 사용자의 의도 및 발화 상황에 따른 적절한 표현을 추출하여 사용자에게 제공하는 외국어 학습 장치 역시 실질적인 의사 소통을 위한 피드백을 제공할 수 없어, 유창하게 외국어를 구사하기 위한 학습에는 제약이 있다.
또한, 기존의 외국어 유창성 평가 연구들은 수치적 자질 추출에 의존했기 때문에 학습자에게 올바른 외국어 유창성 피드백을 제공할 수 없다는 문제가 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 목적은, 사용자에게 발음, 강세, 끊어 읽기 중 하나를 포함하는 단어 수준 피드백을 제공하고, 이를 기반으로 유창성을 평가하여 제공함으로써 외국어 학습을 효과적으로 수행할 수 있도록 하는 외국어 유창성 평가 시스템을 제공하는데 있다.
또한, 본 발명의 다른 목적은, 문법, 어휘, 발음, 운율 등의 학습 진행과 더불어 외국어 발화에 대한 정확한 유창성 평가를 제공하는 외국어 유창성 평가 방법을 제공하는데 있다.
상기 목적을 달성하기 위한 본 발명의 일 측면에 따른 외국어 유창성 평가 시스템은, 제공된 텍스트 및 텍스트에 대응되는 사용자 발화로부터, 발음, 강세, 끊어 읽기 중 하나를 포함하는 단어 수준 피드백을 생성하는 피드백 생성부와 단어 수준 피드백을 기반으로 사용자 발화에 대한 유창성 평가 결과를 생성하는 유창성 결과 생성부를 포함한다.
여기서, 피드백 생성부는, 제공된 텍스트에 상응하는 외국어 전문가의 발화를 훈련 말뭉치에서 추출하여 발음을 예측하고, 제공된 텍스트에 대응되는 사용자의 발화를 분석하여 발음을 검출하여, 예측된 발음과 검출된 발음의 차이를 획득하고, 발음의 차이에 상응하는 단어 수준의 피드백을 생성하는 발음 피드백부를 포함할 수 있다.
여기서, 피드백 생성부는, 제공된 텍스트에 상응하는 외국어 전문가의 발화를 훈련 말뭉치에서 추출하여 강세를 예측하고, 제공된 텍스트에 대응되는 사용자의 발화를 분석하여 강세를 검출하여, 예측된 강세와 검출된 강세의 차이를 획득하고, 강세의 차이에 상응하는 단어 수준의 피드백을 생성하는 강세 피드백부를 포함할 수 있다.
여기서, 피드백 생성부는, 제공된 텍스트에 상응하는 외국어 전문가의 발화를 훈련 말뭉치에서 추출하여 끊어 읽기를 예측하고, 제공된 텍스트에 대응되는 사용자의 발화를 분석하여 끊어 읽기를 검출하여, 예측된 끊어 읽기와 검출된 끊어 읽기의 차이를 획득하고, 끊어 읽기의 차이에 상응하는 단어 수준의 피드백을 생성하는 끊어 읽기 피드백부를 포함할 수 있다.
여기서, 유창성 결과 생성부는, 피드백 생성부에 의해 생성된 발음, 강세, 끊어 읽기 중 하나를 포함하는 단어 수준 피드백을 기반으로, 제공된 텍스트의 각 단어에 대한 발음 오류, 강세 오류, 끊어 읽기 오류 중 하나를 포함하는 오류를 기록하는 기초 자질 생성부를 포함할 수 있다.
여기서, 기초 자질 생성부는, 기록된 발음 오류, 강세 오류, 끊어 읽기 오류 중 하나를 포함하는 오류를 기반으로 제공된 텍스트의 전체 단어 수에 대한, 발음 관점에서의 올바로 발화된 단어 수의 비율과 틀리게 발음된 단어 수의 비율, 강세 관점에서의 올바로 발화된 단어 수의 비율과 틀리게 발음된 단어 수의 비율, 끊어 읽기 관점에서의 올바로 발화된 단어 수의 비율과 틀리게 발음된 단어 수의 비율 중 한 쌍의 비율을 포함하는 기초 자질을 생성할 수 있다.
여기서, 유창성 결과 생성부는, 외국어 전문가에 의해 발화된 텍스트를 훈련 데이터로 하여 기계 학습한 분석 결과인 훈련 말뭉치를 기반으로, 기초 자질 생성부에서 생성된 기초 자질을 훈련하여 외국어 유창성 평가 결과를 생성하는 유창성 평가부를 포함할 수 있다.
여기서, 외국어 유창성 평가 시스템은, 피드백 생성부에 의해 생성된 발음 피드백, 강세 피드백, 끊어 읽기 피드백 중 하나를 사용자에게 제공하는 피드백 제공부를 더 포함할 수 있다.
여기서, 외국어 유창성 평가 시스템은, 유창성 결과 생성부에 의해 생성된 유창성 평가 결과를 사용자에게 제공하는 유창성 평가 결과 제공부를 더 포함할 수 있다.
또한, 디지털 신호 처리가 가능한 정보 처리 장치에서 수행되는 외국어 유창성 평가 방법에 있어서, 텍스트 및 텍스트에 대응되는 사용자 발화를 제공받는 단계, 제공받은 텍스트와 발화를 기반으로 발화문장에 대한 단어 수준 피드백을 생성하는 단계 및 단어 수준 피드백을 기반으로 기초 자질을 생성하고 외국어 전문가의 발화를 기록한 훈련 말뭉치와의 비교를 통하여 사용자의 외국어 발화에 대한 유창성 평가 결과를 생성하는 단계를 포함한다.
상기와 같은 본 발명에 따른 외국어 유창성 평가 시스템 및 방법에 따르면, 외국어 발화에 대한 발음, 강세, 끊어 읽기 중 하나를 포함하는 단어 수준의 구체적인 피드백을 사용자에게 제공함으로써 사용자는 효과적으로 외국어를 학습할 수 있다.
또한, 피드백을 기반으로 외국어의 유창성을 동시에 평가하여 제공하기 때문에, 사용자는 신뢰성이 높은 외국어 유창성 평가 결과를 제공받을 수 있다.
도 1은 본 발명의 일 실시예에 따른 외국어 유창성 평가 시스템을 설명하는 블록도이다.
도 2는 본 발명의 일 실시예에 따른 발음 피드백을 설명하는 예시도이다.
도 3은 본 발명의 일 실시예에 따른 강세 피드백을 설명하는 예시도이다.
도 4는 본 발명의 일 실시예에 따른 끊어 읽기 피드백을 설명하는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 외국어 유창성 평가 방법을 설명하는 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 본 발명에 실시예에서, 외국어 학습을 위한 외국어 유창성 평가 시스템 및 방법은 하나의 서버를 포함하여 구현되거나, 하나의 서버와 다수의 사용자 단말이 포함될 수 있다.
적어도 하나의 서버와 다수의 사용자 단말은 직접적으로 연결될 수도 있고, 유선 또는 무선 네트워크를 통하여 상호 연결될 수 있다.
여기서 사용자 단말은 스마트폰(Smart Phone), 태블릿 PC, PMP(Portable Multimedia Player), PDA(Personal Digital Assistant), 노트북, PC(Personal Computer) 등과 같이 서버와의 통신이 가능하고, 텍스트와 발화를 인식할 수 있는 센서 및 정보 처리 기능을 구비한 단말을 포함할 수 있으나 이에 한정되는 것은 아니다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 실시예에 따른 외국어 유창성 평가 시스템을 설명하는 개념도이다.
도 1을 참조하면, 외국어 유창성 평가 시스템(100)은, 피드백 생성부(30) 및 유창성 결과 생성부(40)를 포함하여 구성될 수 있다.
또한, 외국어 학습을 위한 외국어 유창성 평가 시스템(100)은 훈련 말뭉치(50), 유창성 평가 결과 제공부(60) 및 피드백 제공부(70)를 더 포함하여 구성될 수 있다.
외국어 유창성 평가 시스템(100)은 텍스트(10)가 주어지면 훈련 말뭉치(50) 데이터베이스에서 텍스트(10)에 상응하는 분석 결과를 추출하고, 텍스트(10)에 상응하는 사용자의 발화(20)를 제공받아, 훈련 말뭉치(50)에서 추출한 분석 결과와 사용자의 발화(20) 분석 결과를 비교하여 단어 수준의 피드백을 제공하거나, 피드백을 기초 자질로 기계 학습하여 외국어 유창성 평가 결과를 제공함으로써 사용자로 하여금 외국어의 학습을 효과적으로 수행할 수 있도록 할 수 있다.
텍스트(10)는, 분리하여 자립적으로 쓸 수 있거나 그 말 뒤에 붙어서 문법적 기능을 나타내는 단어와 단어들의 조합으로 이루어진 문장과 같은 모든 형태의 글이나 문서를 포함할 수 있으나, 이에 한정되는 것은 아니다.
훈련 말뭉치(50)는, 모든 텍스트(10)에 상응하는 외국어 전문가의 발화에 대한 발화 분석 결과를 저장할 수 있다. 여기서, 발화 분석은 발화를 형성하는 각각의 음의 길이(duration) 정보, 음의 세기(intensity) 정보, 음의 피치(pitch) 정보 및 멜주파수켑스트럼계수(Mel Frequency Cepstral Coefficient: MFCC) 정보 중 하나를 포함하는 자질을 훈련 데이터로 하여 기계학습을 통하여 발화에 대한 분석 정보를 생성하는 것을 특징으로 할 수 있다.
피드백 생성부(30)는 발음 피드백부(31), 강세 피드백부(33) 및 끊어 읽기 피드백부(35) 중 하나를 포함할 수 있다.
피드백 생성부(30)는 학습을 위해 주어진 텍스트(10)로 예측한 외국어 전문가의 발화 정보와 텍스트(10)에 상응하는 사용자 발화(20)의 분석 검출 결과를 비교하여 단어 수준의 피드백을 생성하는 기능을 수행할 수 있다.
발음 피드백부(31)는 사용자에게 텍스트(10)가 주어지면 발음을 예측하기 위해 이와 상응하는 발화 자질을 훈련 말뭉치(50) 데이터베이스에서 추출하고 사용자 발화(20)에서 발음 정보를 검출하여, 예측된 발음과 검출된 발음을 비교하여 발음에 대한 단어 수준의 피드백을 생성하는 기능을 수행할 수 있다.
강세 피드백부(33)는 사용자에게 텍스트(10)가 주어지면 강세를 예측하기 위해 이와 상응하는 발화 자질을 훈련 말뭉치(50) 데이터베이스에서 추출하고 사용자 발화(20)에서 강세 정보를 검출하여, 예측된 강세와 검출된 강세를 비교하여 강세에 대한 단어 수준의 피드백을 생성하는 기능을 수행할 수 있다.
끊어 읽기 피드백부(35)는 사용자에게 텍스트(10)가 주어지면 끊어 읽기를 예측하기 위해 이와 상응하는 발화 자질을 훈련 말뭉치(50) 데이터베이스에서 추출하고 사용자 발화(20)에서 끊어 읽기 정보를 검출하여, 예측된 끊어 읽기와 검출된 끊어 읽기를 비교하여 끊어 읽기에 대한 단어 수준의 피드백을 생성하는 기능을 수행할 수 있다.
피드백 생성부(30)에서 생성된 단어 수준의 피드백은 피드백 제공부(70)에 의해 사용자에게 제공될 수 있다.
예를 들어, "The movie has a new title."의 문장은 발음 피드백(31)에 의해 "The"의 "Th" 발음과 "has"의 "s" 발음에서 오류가 발생했다는 피드백을 생성하여 오류 단어와 오류 정보에 대한 피드백을 사용자에게 제공할 수 있다.
이는 발음 피드백부뿐만 아니라 강세 피드백부와 끊어 읽기 피드백부에서 생성하여 제공되는 피드백 정보에도 적용시킬 수 있다.
유창성 결과 생성부(40)는 기초 자질 생성부(41) 및 유창성 평가부(43)를 포함할 수 있다.
유창성 결과 생성부(40)는 피드백 생성부(30)에 의해 생성된 단어 수준의 피드백을 기초 자질로 하여 유창성 평가 결과를 생성하는 기능을 수행할 수 있다.
기초 자질 생성부(41)는 피드백 생성부(30)에 의해 생성된 발음 피드백, 강세 피드백, 끊어 읽기 피드백 중 하나를 포함하는 피드백을 기초로, 주어진 텍스트의 각 단어에 대한 발음 오류, 강세 오류, 끊어 읽기 오류 중 하나를 포함하는 오류를 기록할 수 있다.
오류를 기반으로 주어진 텍스트의 전체 단어 수에 대한, 발음 관점에서 올바로 발화된 단어 수의 비율과 틀리게 발음된 단어 수의 비율, 강세 관점에서 올바로 발화된 단어 수의 비율과 틀리게 발음된 단어 수의 비율, 끊어 읽기 관점에서 올바로 발화된 단어 수의 비율과 틀리게 발음된 단어 수의 비율 중 한 쌍을 포함하는 기초 자질을 생성하는 기능을 수행할 수 있다.
예를 들어, 주어진 텍스트 "The movie has a new title"은 6개의 단어 조합으로 이루어진 문장이며 피드백 생성부(30)의 강세 피드백부(33)에 의해 "has"와 "new" 부분의 강세에 오류가 있음을 피드백 받을 수 있다.
이를 기초 자질 생성부(41)에서 기록한 후 올바르게 발화된 비율과 틀리게 발화된 비율을 계산한다. 즉, 올바르게 발화된 비율은 6개의 단어 중 4개이므로 약 0.67이고 틀리게 발화된 비율은 6개의 단어 중 2개이므로 약 0.33이다.
유창성 평가부(43)은 기초 자질 생성부(41)에 의해 생성된 기초 자질과 훈련 말뭉치(50)의 외국어 전문가 발화에 대한 훈련 말뭉치를 기계 학습 기반의 분류기를 기반으로 기계 학습하여 외국어 유창성 평가 결과를 생성하는 기능을 수행할 수 있다.
여기서, 기계 학습 기반의 분류기는 나이브 베이지안(Nave Bayesian) 분류기, 귀납적 의사결정-트리(Inductive decision-tree) 분류기, 신경망(Neural Network) 분류기 등이 사용될 수 있으나 이에 한정되는 것은 아니다.
유창성 평가부(43)에서 생성된 유창성 평가 결과는 유창성 평가 결과 제공부(60)에 의해 사용자에게 제공할 수 있다.
도 2는 본 발명의 실시예에 따른 강세 피드백을 설명하는 예시도이다.
도 2를 참조하면, 외국어 전문가의 발화를 분석한 결과(a)에서 각각의 음절에 대한 음의 피치(pitch) 정보, 음의 길이(duration) 정보, 음의 세기(intensity) 정보 및 멜주파수켑스트럼계수(Mel Frequency Cepstral Coefficient: MFCC) 중 적어도 하나를 이용하여 발음을 추출할 수 있다.
도 2(b)에 표시된 예문 "The movie has a new title"에서 외국어 전문가에 의해 예측된 발음은 "dh ah(The) muw v iy(movie) hh ae z(has) ah(a) n y uw(new) t ay t ah l(title)"로 추출되고, 사용자 발화 분석 결과가 "th ah(The) muw v iy(movie) hh ae -(has) aa(a) n y um(new) - ay - ah l(title)"으로 검출되었을 때, 예측된 발음(200)과 검출된 발음(202)의 상관 관계를 파악하여 발음 피드백을 생성하고 사용자에게 제공할 수 있다.
도 3은 본 발명의 실시예에 따른 강세 피드백을 설명하는 예시도이다.
도 3을 참조하면, 외국어 전문가의 발화를 분석한 결과(a)에서 각각의 음절에 대한 음의 피치(pitch) 정보, 음의 길이(duration) 정보, 음의 세기(intensity) 정보 및 멜주파수켑스트럼계수(Mel Frequency Cepstral Coefficient: MFCC) 중 적어도 하나를 이용하여 강세를 추출할 수 있다.
예를 들면, 도 3의 (b)에서 외국어 전문가에 의해 발화된 예문 "The movie has a new title"을 발화 분석 한 결과, 음의 피치(pitch)값이 높은 movie, new 및 title에 강세가 있음을 예측할 수 있다.
또한, 사용자의 발화를 분석한 결과, movie, has 및 title에 강세가 있음을 검출할 수 있다. 예측된 강세(300)와 검출된 강세(302)의 상관 관계를 파악하여 사용자에게 피드백을 생성하고 사용자에게 제공할 수 있다.
도 4는 본 발명의 실시예에 따른 끊어 읽기 피드백을 설명하는 예시도이다.
도 4을 참조하면, 외국어 전문가의 발화를 분석한 결과(a)에서 각각의 음절에 대한 음의 피치 정보, 음의 길이 정보, 음의 세기 정보 및 멜주파수켑스트럼계수 중 적어도 하나를 이용하여 끊어 읽기를 예측하고 사용자의 발화에서 끊어 읽기를 검출하여, 예측된 끊어 읽기(400)와 검출된 끊어 읽기(402)의 상관 관계를 파악함으로써 끊어 읽기 피드백을 생성하고 사용자에게 제공할 수 있다.
도 5는 본 발명의 실시예에 따른 외국어 유창성 평가 방법을 설명하는 흐름도이다.
도 5를 참조하면, 외국어 학습을 위한 외국어 유창성 평가 방법은, 텍스트와 텍스트에 대응되는 사용자 발화를 제공받는 단계(S100), 예측된 외국어 전문가 발화 분석 결과와 검출된 사용자의 발화를 분석 결과를 비교하여 단어 수준의 피드백을 생성하는 단계(S200), 이 피드백을 기반으로 오류를 기록하는 단계(S300), 기초 자질을 생성하는 단계(S302) 및 외국어 유창성 평가 결과를 생성하는 단계(S304)를 포함할 수 있다.
외국어 유창성 평가 방법은, 학습을 위해 제공되는 텍스트 및 텍스트에 대응하는 사용자의 발화를 제공받는다(S100).
여기서 텍스트는, 분리하여 자립적으로 쓸 수 있거나 그 말 뒤에 붙어서 문법적 기능을 나타내는 단어와 단어들의 조합으로 이루어진 문장과 같은 모든 형태의 글이나 문서를 포함할 수 있으나, 이에 한정되지는 않는다.
제공받은 텍스트를 입력하면 발화를 예측하기 위해 이에 상응하는 외국어 전문가의 발화 분석 결과가 추출되고 검출된 사용자의 발화 분석 결과와의 비교를 통해 발음, 강세, 끊어 읽기 중 하나를 포함하는 단어 수준의 피드백을 제공한다(S200).
여기서, 외국어 전문가의 발화 분석 및 사용자의 발화 분석은 음의 길이, 음의 세기 및 음의 피치값 중 적어도 하나를 사용하여 기계 학습할 수 있으나 이에 한정되지는 않는다.
생성된 발음, 강세, 끊어 읽기 중 하나를 포함하는 단어 수준의 피드백은 사용자에게 제공되거나(S400), 외국어 유창성 평가를 위한 기초 자질로 사용될 수 있다.
생성된 발음, 강세, 끊어 읽기 중 하나를 포함하는 단어수준의 피드백을 통해 제공된 텍스트의 오류를 기록한다(S300).
기록된 오류에서 텍스트의 전체 단어 수에 대한 올바로 발화된 발음의 비율과 틀리게 발화된 발음 비율, 올바로 발화된 강세 비율과 틀리게 발화된 강세 비율 및 올바로 발화된 끊어 읽기 비율과 틀리게 발화된 끊어 읽기 비율 중 한 쌍을 포함하는 기초 자질을 생성할 수 있다(S302).
생성된 기초 자질과 데이터베이스에 기록되어 있는 외국어 전문가의 훈련 말뭉치를 기계 학습 기반의 분류기를 기반으로 기계 학습하여 외국어 유창성 평가 결과를 생성한다(S304).
기계 학습 기반의 분류기는 나이브 베이지안(Nave Bayesian) 분류기, 귀납적 의사결정-트리(Inductive decision-tree) 분류기, 신경망(Neural Network) 분류기 등이 사용될 수 있으나 이에 한정되는 것은 아니다.
외국어 유창성 평가 결과는 단어 수준의 피드백과 함께 사용자에게 제공될 수 있다(S400).
상기 본 발명에서는 실험을 통해, 외국어 유창성 평가 결과와 외국어 전문가의 외국어 유창성 평가 결과 사이의 일치도가 60% 정도로 나타나고 있음을 확인했다.
반면, 외국어 전문가 사이에서의 외국어 유창성 평가의 일치도가 60~70% 정도임을 감안했을 때, 실험 결과로 얻어진 외국어 유창성 평가 결과는 실제의 외국어 학습 사용이 가능함을 보여준다.
상술한 바와 같이 본 발명에 따른 외국어 유창성 평가 시스템 및 방법에 따르면, 외국어 발화에 대한 발음, 강세, 끊어 읽기 중 하나를 포함하는 단어 수준의 구체적인 피드백을 사용자에게 제공함으로써 사용자는 효과적으로 외국어를 학습할 수 있다.
또한, 피드백을 기반으로 외국어의 유창성을 동시에 평가하여 제공하기 때문에, 사용자는 신뢰성이 높은 외국어 유창성 평가 결과를 제공받을 수 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
10: 텍스트 20: 발화
30: 피드백 생성부 31: 발음 피드백부
33: 강세 피드백부 35: 끊어 읽기 피드백부
40: 유창성 결과 생성부 41: 기초 자질 생성부
43: 유창성 평가부 50: 훈련말뭉치
60: 유창성 평가 결과 제공부 70: 피드백 제공부
100: 외국어 유창성 평가 시스템 200: 예측된 발음
202: 검출된 발음 300: 예측된 강세
302: 검출된 강세 400: 예측된 끊어 읽기
402: 검출된 끊어 읽기

Claims (17)

  1. 제공된 텍스트 및 상기 텍스트에 대응되는 사용자 발화로부터, 발음, 강세, 끊어 읽기 중 하나를 포함하는 단어 수준 피드백을 생성하는 피드백 생성부; 및
    상기 단어 수준 피드백을 기반으로 상기 사용자 발화에 대한 유창성 평가 결과를 생성하는 유창성 결과 생성부를 포함하는 외국어 유창성 평가 시스템.
  2. 청구항 1에 있어서,
    상기 피드백 생성부는,
    상기 제공된 텍스트에 상응하는 외국어 전문가의 발화를 훈련 말뭉치에서 추출하여 발음을 예측하고, 상기 제공된 텍스트에 대응되는 상기 사용자의 발화를 분석하여 발음을 검출하여, 상기 예측된 발음과 검출된 발음의 차이를 획득하고, 상기 발음의 차이에 상응하는 단어 수준의 피드백을 생성하는 발음 피드백부를 포함하는 것을 특징으로 하는 외국어 유창성 평가 시스템.
  3. 청구항 1에 있어서,
    상기 피드백 생성부는,
    상기 제공된 텍스트에 상응하는 외국어 전문가의 발화를 훈련 말뭉치에서 추출하여 강세를 예측하고, 상기 제공된 텍스트에 대응되는 상기 사용자의 발화를 분석하여 강세를 검출하여, 상기 예측된 강세와 검출된 강세의 차이를 획득하고, 상기 강세의 차이에 상응하는 단어 수준의 피드백을 생성하는 강세 피드백부를 포함하는 것을 특징으로 하는 외국어 유창성 평가 시스템.
  4. 청구항 1에 있어서,
    상기 피드백 생성부는,
    상기 제공된 텍스트에 상응하는 외국어 전문가의 발화를 훈련 말뭉치에서 추출하여 끊어 읽기를 예측하고, 상기 제공된 텍스트에 대응되는 상기 사용자의 발화를 분석하여 끊어 읽기를 검출하여, 상기 예측된 끊어 읽기와 검출된 끊어 읽기의 차이를 획득하고, 상기 끊어 읽기의 차이에 상응하는 단어 수준의 피드백을 생성하는 끊어 읽기 피드백부를 포함하는 것을 특징으로 하는 외국어 유창성 평가 시스템.
  5. 청구항 1에 있어서,
    상기 유창성 결과 생성부는,
    상기 피드백 생성부에 의해 생성된 발음, 강세, 끊어 읽기 중 하나를 포함하는 단어 수준 피드백을 기반으로, 상기 제공된 텍스트의 각 단어에 대한 발음 오류, 강세 오류, 끊어 읽기 오류 중 하나를 포함하는 오류를 기록하는 기초 자질 생성부를 포함하는 것을 특징으로 하는 외국어 유창성 평가 시스템.
  6. 청구항 5에 있어서,
    상기 기초 자질 생성부는,
    상기 기록된 발음 오류, 강세 오류, 끊어 읽기 오류 중 하나를 포함하는 오류를 기반으로 상기 제공된 텍스트의 전체 단어 수에 대한, 발음 관점에서의 올바로 발화된 단어 수의 비율과 틀리게 발음된 단어 수의 비율, 강세 관점에서의 올바로 발화된 단어 수의 비율과 틀리게 발음된 단어 수의 비율, 끊어 읽기 관점에서의 올바로 발화된 단어 수의 비율과 틀리게 발음된 단어 수의 비율 중 한 쌍의 비율을 포함하는 기초 자질을 생성하는 것을 특징으로 하는 외국어 유창성 평가 시스템.
  7. 청구항 6에 있어서,
    상기 유창성 결과 생성부는,
    외국어 전문가에 의해 발화된 텍스트를 훈련 데이터로 하여 기계 학습한 분석 결과인 훈련 말뭉치를 기반으로, 상기 기초 자질 생성부에서 생성된 기초 자질을 훈련하여 외국어 유창성 평가 결과를 생성하는 유창성 평가부를 포함하는 것을 특징으로 하는 외국어 유창성 평가 시스템.
  8. 청구항 1에 있어서,
    상기 외국어 유창성 평가 시스템은,
    상기 피드백 생성부에 의해 생성된 발음 피드백, 강세 피드백, 끊어 읽기 피드백 중 하나를 사용자에게 제공하는 피드백 제공부를 더 포함하는 것을 특징으로 하는 외국어 유창성 평가 시스템.
  9. 청구항 1에 있어서,
    상기 외국어 유창성 평가 시스템은,
    상기 유창성 결과 생성부에 의해 생성된 유창성 평가 결과를 사용자에게 제공하는 유창성 평가 결과 제공부를 더 포함하는 것을 특징으로 하는 외국어 유창성 평가 시스템.
  10. 디지털 신호 처리가 가능한 정보 처리 장치에서 수행되는 외국어 유창성 평가 방법에 있어서,
    텍스트 및 상기 텍스트에 대응되는 사용자 발화를 제공받는 단계;
    상기 제공받은 텍스트와 발화를 기반으로 발화문장에 대한 단어 수준 피드백을 생성하는 단계; 및
    상기 단어 수준 피드백을 기반으로 사용자 발화의 유창성을 평가하는 유창성 결과를 생성하는 단계를 포함하는 외국어 유창성 평가 방법.
  11. 청구항 10에 있어서,
    상기 단어 수준 피드백을 생성하는 단계는,
    상기 제공된 텍스트에 상응하는 외국어 전문가의 발화를 훈련 말뭉치에서 추출하여 발음을 예측하고, 상기 제공된 텍스트에 대응되는 상기 사용자의 발화를 분석하여 발음을 검출하여, 상기 예측된 발음과 검출된 발음의 차이를 획득하고, 상기 발음의 차이에 상응하는 단어 수준의 피드백을 생성하는 단계를 포함하는 것을 특징으로 하는 외국어 유창성 평가 방법.
  12. 청구항 10에 있어서,
    상기 단어 수준 피드백을 생성하는 단계는,
    상기 제공된 텍스트에 상응하는 외국어 전문가의 발화를 훈련 말뭉치에서 추출하여 강세를 예측하고, 상기 제공된 텍스트에 대응되는 상기 사용자의 발화를 분석하여 강세를 검출하여, 상기 예측된 강세와 검출된 강세의 차이를 획득하고, 상기 강세의 차이에 상응하는 단어 수준의 피드백을 생성하는 단계를 포함하는 것을 특징으로 하는 외국어 유창성 평가 방법.
  13. 청구항 10에 있어서,
    상기 단어 수준 피드백을 생성하는 단계는,
    상기 제공된 텍스트에 상응하는 외국어 전문가의 발화를 훈련 말뭉치에서 추출하여 끊어 읽기를 예측하고, 상기 제공된 텍스트에 대응되는 상기 사용자의 발화를 분석하여 끊어 읽기를 검출하여, 상기 예측된 끊어 읽기와 검출된 끊어 읽기의 차이를 획득하고, 상기 끊어 읽기의 차이에 상응하는 단어 수준의 피드백을 생성하는 단계를 포함하는 것을 특징으로 하는 외국어 유창성 평가 방법.
  14. 청구항 10에 있어서,
    상기 유창성 결과를 생성하는 단계는,
    상기 발음, 강세, 끊어 읽기 중 하나를 포함하는 단어 수준 피드백을 기반으로, 발음 오류, 강세 오류, 끊어 읽기 오류 중 하나를 포함하는 오류를 기록하는 단계를 포함하는 것을 특징으로 하는 외국어 유창성 평가 방법.
  15. 청구항 10에 있어서,
    상기 유창성 결과를 생성하는 단계는,
    상기 기록된 발음 오류, 강세 오류 및 끊어 읽기 오류 중 하나를 포함하는 오류를 기반으로 상기 제공된 텍스트의 전체 단어 수에 대한, 발음 관점에서의 올바로 발화된 단어 수의 비율과 틀리게 발음된 단어 수의 비율, 강세 관점에서의 올바로 발화된 단어 수의 비율과 틀리게 발음된 단어 수의 비율, 끊어 읽기 관점에서의 올바로 발화된 단어 수의 비율과 틀리게 발음된 단어 수의 비율 중 한 쌍을 포함하는 기초 자질을 생성하는 단계를 포함하는 것을 특징으로 하는 외국어 유창성 평가 방법.
  16. 청구항 10에 있어서,
    상기 유창성 결과를 생성하는 단계는,
    외국어 전문가에 의해 발화된 텍스트를 훈련 데이터로 하여 기계 학습한 분석 결과인 훈련 말뭉치를 기반으로, 상기 생성된 기초 자질을 훈련하여 외국어 유창성 평가 결과를 생성하는 단계를 포함하는 것을 특징으로 하는 외국어 유창성 평가 방법.
  17. 청구항 10에 있어서,
    상기 외국어 유창성 평가 방법은,
    상기 단어 수준 피드백과 유창성 결과를 제공하는 단계를 더 포함하는 외국어 유창성 평가 방법.
KR20130090723A 2013-07-31 2013-07-31 외국어 유창성 평가 시스템 및 방법 KR101491919B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR20130090723A KR101491919B1 (ko) 2013-07-31 2013-07-31 외국어 유창성 평가 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20130090723A KR101491919B1 (ko) 2013-07-31 2013-07-31 외국어 유창성 평가 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150015126A true KR20150015126A (ko) 2015-02-10
KR101491919B1 KR101491919B1 (ko) 2015-02-23

Family

ID=52571711

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130090723A KR101491919B1 (ko) 2013-07-31 2013-07-31 외국어 유창성 평가 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101491919B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102388948B1 (ko) * 2021-08-17 2022-04-21 이경순 음성 시각화 기술을 활용한 언어 유창성 평가 방법 및 시스템
KR102585031B1 (ko) * 2022-11-25 2023-10-06 주식회사 에듀템 실시간 외국어 발음 평가시스템 및 방법

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004279799A (ja) * 2003-03-17 2004-10-07 Univ Waseda 発話評価装置及び発話評価方法
KR100570262B1 (ko) * 2003-12-11 2006-04-12 주식회사 언어과학 발음의 유창성을 평가하는 방법
KR101188982B1 (ko) * 2011-07-20 2012-10-08 포항공과대학교 산학협력단 외국어 학습을 위한 강세 학습 시스템 및 방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102388948B1 (ko) * 2021-08-17 2022-04-21 이경순 음성 시각화 기술을 활용한 언어 유창성 평가 방법 및 시스템
KR102585031B1 (ko) * 2022-11-25 2023-10-06 주식회사 에듀템 실시간 외국어 발음 평가시스템 및 방법

Also Published As

Publication number Publication date
KR101491919B1 (ko) 2015-02-23

Similar Documents

Publication Publication Date Title
US10319250B2 (en) Pronunciation guided by automatic speech recognition
Li et al. Spoken language recognition: from fundamentals to practice
US20180137109A1 (en) Methodology for automatic multilingual speech recognition
KR102191425B1 (ko) 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법
KR101590724B1 (ko) 음성 인식 오류 수정 방법 및 이를 수행하는 장치
KR101056080B1 (ko) 음운 기반의 음성 인식 시스템 및 방법
CN104464751B (zh) 发音韵律问题的检测方法及装置
US9129596B2 (en) Apparatus and method for creating dictionary for speech synthesis utilizing a display to aid in assessing synthesis quality
Middag et al. Robust automatic intelligibility assessment techniques evaluated on speakers treated for head and neck cancer
CN109584906A (zh) 口语发音评测方法、装置、设备及存储设备
CN110503956A (zh) 语音识别方法、装置、介质及电子设备
KR101460447B1 (ko) 외국어 학습을 위한 억양 학습 장치 및 방법
KR101491919B1 (ko) 외국어 유창성 평가 시스템 및 방법
Vadapalli et al. Significance of word-terminal syllables for prediction of phrase breaks in text-to-speech systems for Indian languages.
Alkhatib et al. Building an assistant mobile application for teaching arabic pronunciation using a new approach for arabic speech recognition
Zhang et al. Phonetic RNN-transducer for mispronunciation diagnosis
Lin et al. Improving L2 English rhythm evaluation with automatic sentence stress detection
Kabashima et al. Dnn-based scoring of language learners’ proficiency using learners’ shadowings and native listeners’ responsive shadowings
KR101188982B1 (ko) 외국어 학습을 위한 강세 학습 시스템 및 방법
KR20130050132A (ko) 오류 발음 검출을 위한 단말 및 음성 인식 장치, 그리고 그의 음향 모델 학습 방법
Mote et al. Tactical language detection and modeling of learner speech errors: The case of Arabic tactical language training for American English speakers
Tong et al. Context Aware Mispronunciation Detection for Mandarin Pronunciation Training.
Bang et al. An automatic feedback system for English speaking integrating pronunciation and prosody assessments
KR100979561B1 (ko) 대화형 언어 학습 장치
Qian et al. Improving native language (l1) identifation with better vad and tdnn trained separately on native and non-native english corpora

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee