KR20170108622A - 영어 말하기의 운율 및 유창성 평가 장치 및 그 방법 - Google Patents

영어 말하기의 운율 및 유창성 평가 장치 및 그 방법 Download PDF

Info

Publication number
KR20170108622A
KR20170108622A KR1020160032817A KR20160032817A KR20170108622A KR 20170108622 A KR20170108622 A KR 20170108622A KR 1020160032817 A KR1020160032817 A KR 1020160032817A KR 20160032817 A KR20160032817 A KR 20160032817A KR 20170108622 A KR20170108622 A KR 20170108622A
Authority
KR
South Korea
Prior art keywords
fluency
accent
evaluation
intonation
sentence
Prior art date
Application number
KR1020160032817A
Other languages
English (en)
Inventor
이윤경
박전규
오유리
이윤근
전형배
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160032817A priority Critical patent/KR20170108622A/ko
Publication of KR20170108622A publication Critical patent/KR20170108622A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/01—Assessment or evaluation of speech recognition systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/005—Language recognition
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/04—Segmentation; Word boundary detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/28—Constructional details of speech recognition systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Machine Translation (AREA)

Abstract

본 발명은 영어 말하기의 운율 및 유창성 평가 장치 및 그 방법에 관한 것으로, 본 발명의 일실시예에 따른 영어 말하기의 운율 및 유창성 평가 장치는, 음성신호로부터 인식된 발화문장의 '구문별 문장종류별 억양 및 강세 패턴'을 추출하기 위한 문장 분석부; 상기 음성신호로부터 추출된 억양 및 강세의 형태 정보와, 상기 '구문별 문장종류별 억양 및 강세 패턴'을 기반으로 측정된 억양 및 강세 점수를 이용하여 운율 평가를 수행하기 위한 운율 평가부; 상기 음성신호로부터 통계적 유창성 특징 요소를 추출하기 위한 통계적 특징 추출부; 및 상기 운율 평가 결과와 상기 통계적 유창성 특징 요소에 따라 유창성을 평가하기 위한 유창성 평가부;를 포함한다.

Description

영어 말하기의 운율 및 유창성 평가 장치 및 그 방법{APPARATUS AND METHOD FOR RATING PROSODY AND FLUENCY OF ENGLISH TALK}
본 발명은 영어 말하기의 운율 및 유창성 평가 장치 및 그 방법에 관한 것으로서, 보다 구체적으로는 '억양 및 강세의 형태정보'와 '억양 및 강세 패턴을 이용한 억양 및 강세 점수'를 이용하여 운율 평가를 수행한 후, 운율 평가 결과와 통계적 유창성 특징 요소를 이용한 전체적인 유창성 평가를 수행함으로써, 일관성 있는 운율 평가와 유창성 평가를 자동으로 제공하기 위한, 영어 말하기의 운율 및 유창성 평가 장치 및 그 방법에 관한 것이다.
영어 말하기를 평가하는 방법은 크게 두 가지가 있다. 하나는 사람에 의한 평가(human rater)이고, 다른 하나는 기계에 의한 평가(machine rater)이다. 전자는 평가자의 경험과 배경지식 등에 따라 발화자의 의도와 문장의 질적인 부분까지 평가할 수 있지만, 평가자 주관에 따라 편향적인 결과를 가져올 수 있다. 특히, 사람에 의한 평가는 시간과 환경에 좌우되어 평가 결과가 달라질 수 있으며, 평가 시간도 많이 소요될 수 있다. 더욱이 사람에 의한 평가는 동일 평가자 환경에서도 상황에 따라 평가 결과가 달라질 수 있다.
반면에, 후자는 빠른 시간에 일관적인 평가를 수행할 수 있지만, 신뢰도 있는 평가 기준이 마련될 필요가 있다.
한편, 영어 문장은 평서문, 의문문 등의 문장 유형, 끊어 읽기 단위, 구문 등에 따라 주요한 억양 패턴이 달라진다. 또한, 영어 문장은 강세 위치와 강세 패턴(즉, 주 강세 패턴, 부 강세 패턴)도 운율, 단어, 문장에 따라 맞춰야 한다.
영어 활용의 유창성은 운율 평가를 수행하여 이루어진다. 즉, 레퍼런스(reference)가 되는 문장이 있는 경우에는, 레퍼런스 문장과 비교하여 억양 및 강세점수를 측정하여 운율 평가를 수행한다. 반면에, 레퍼런스가 되는 문장이 없는 경우(즉, 일반적인 말하기 평가 환경)에는, 레퍼런스 문장에 대한 억양 및 강세 패턴을 생성한 후 운율 평가를 수행한다.
동일 문장에 대해서도 주요한 억양 패턴 및 강세 패턴을 제외하고, 발화하는 사람에 따라 다른 형태의 억양 곡선과 강세가 나타날 수 있다.
또한, 동일한 발화자가 동일한 문장을 발화하는 경우라도 발화 문장별로 세부적인 억양 그래프와 강세 정도가 다르게 나타난다. 이로 인해, 억양 그래프 및 강세 정보는 전체 문장과 비교하여 점수를 측정할 때 정확도가 떨어지며 오류가 발생한다.
따라서, 영어 말하기 평가는 신뢰도 있는 평가 기준을 마련한 후 빠른 시간에 일관된 평가를 수행하는 방식이 필요한 실정이다.
본 발명은 상기와 같은 필요에 의해 창출된 것으로서, '억양 및 강세의 형태정보'와 '억양 및 강세 패턴을 이용한 억양 및 강세 점수'를 이용하여 운율 평가를 수행한 후, 운율 평가 결과와 통계적 유창성 특징 요소를 이용한 전체적인 유창성 평가를 수행함으로써, 일관성 있는 운율 평가와 유창성 평가를 자동으로 제공하기 위한, 영어 말하기의 운율 및 유창성 평가 장치 및 그 방법을 제공하는데 그 목적이 있다.
전술한 목적을 달성하기 위하여, 본 발명의 영어 말하기의 운율 및 유창성 평가 장치는, 음성신호로부터 인식된 발화문장의 '구문별 문장종류별 억양 및 강세 패턴'을 추출하기 위한 문장 분석부; 상기 음성신호로부터 추출된 억양 및 강세의 형태 정보와, 상기 '구문별 문장종류별 억양 및 강세 패턴'을 기반으로 측정된 억양 및 강세 점수를 이용하여 운율 평가를 수행하기 위한 운율 평가부; 상기 음성신호로부터 통계적 유창성 특징 요소를 추출하기 위한 통계적 특징 추출부; 및 상기 운율 평가 결과와 상기 통계적 유창성 특징 요소에 따라 유창성을 평가하기 위한 유창성 평가부;를 포함한다.
본 발명은 '억양 및 강세의 형태정보'와 '억양 및 강세 패턴을 이용한 억양 및 강세 점수'를 이용하여 운율 평가를 수행한 후, 운율 평가 결과와 통계적 유창성 특징 요소를 이용한 전체적인 유창성 평가를 수행함으로써, 일관성 있는 운율 평가와 유창성 평가를 자동으로 제공할 수 있다.
또한, 본 발명은 다양한 외국어 발화 환경에서 운율 평가 또는 유창성 평가를 수행하는 경우에, 발화자의 단어 또는 문장의 발화에 대해 자동으로 운율 및 유창성 평가를 수행하거나 피드백을 제공할 수 있다.
또한, 본 발명은 음성신호로부터 '억양 및 강세'와 '통계적 유창성 특징 요소'를 추출한 후 이들 정보를 이용하여 음성 신호에 대한 억양 및 강세 점수, 운율 점수, 유창성 점수를 자동으로 측정할 수 있다.
도 1은 본 발명에 따른 영어 말하기의 운율 및 유창성 평가 장치에 대한 도면이다.
도 2는 상기 도 1의 운율 평가부에 대한 도면이다.
도 3은 본 발명의 일실시예에 따른 영어 말하기의 운율 및 유창성 평가 방법에 대한 도면이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 것이며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 용이하게 이해할 수 있도록 제공되는 것이며, 본 발명은 청구항의 기재에 의해 정의된다. 한편, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 또는 "포함하는(comprising)"은 언급된 구성요소, 단계, 동작 및/또는 소자 이외의 하나 이상의 다른 구성요소, 단계, 동작 및/또는 소자의 존재 또는 추가를 배제하지 않는다.
도 1은 본 발명에 따른 영어 말하기의 운율 및 유창성 평가 장치에 대한 도면이고, 도 2는 상기 도 1의 운율 평가부에 대한 도면이다.
도 1 및 도 2에 도시된 바와 같이, 본 발명에 따른 영어 말하기의 운율 및 유창성 평가 장치(이하 "영어 말하기 평가 장치"라 함, 100)는, 영어 말하기 평가에서 학습자 또는 발화자가 영어 문장을 발화했을 때, 문장 종류와 구문에 따른 주요한 운율 정보를 모델링하고 운율 평가와 유창성 평가를 자동으로 수행함으로써, 영어 말하기를 자동으로 평가한다.
이를 위해, 영어 말하기 평가 장치(100)는 음성 입력부(110), 음성 인식부(120), 발화문장 분석부(130), 운율 평가부(140), 통계적 특징 추출부(150), 유창성 평가부(150)를 포함한다.
음성 입력부(110)는 마이크로폰을 통해 발화자의 음성신호를 입력받는다. 이때, 음성 입력부(110)는 음성신호의 노이즈 제거, 디지털 변조 등과 같은 일반적인 음성신호 처리를 수행한다.
음성 인식부(120)는 통상의 음성인식 방식을 통해 음성신호를 인식한 후, 텍스트 형식의 음성인식 결과(즉, 음성 인식 문장)를 저장한다.
문장 분석부(130)는 음성 인식부(120)로부터 전달된 음성 인식 문장을 구문 분석기와 형태소 분석기를 이용하여 문장 구조 및 문장 종류에 대한 정보를 분석한다. 이때, 문장 분석부(130)는 문장 구조 및 문장 종류에 따라 음성 인식 문장에 대한 주요한 억양 및 강세 패턴 정보를 계산한다.
다시 말해, 문장 분석부(130)는 구문별, 문장 종류별 억양 및 강세 패턴을 모델링한다. 이는 억양과 강세 점수 측정을 위한 레퍼런스(reference)를 생성하기 위해 필요한 과정이다.
도 2를 참조하면, 운율 평가부(140)는 억양 및 강세 패턴의 형태정보 계산, 억양 및 강세 점수 측정, 그리고 운율 평가를 수행한다.
이를 위해, 운율 평가부(140)는 억양 및 강세 추출부(141), 형태정보 추출부(142), 점수 측정부(143), 운율 평가 수행부(144)를 포함한다.
억양 및 강세 추출부(141)는 음성 입력부(110)로부터 입력된 음성신호로부터 억양 및 강세 정보를 추출한다.
형태정보 추출부(142)는 억양 및 강세 패턴의 형태정보를 계산한다. 여기서, 형태정보 추출부(142)는 음성신호로부터 추출된 억양 정보로부터 억양의 변동 형태 정보, 음성신호로부터 추출된 강세 정보로부터 강세의 변동 형태 정보, 리듬 정보 등을 추출한다. 여기서, 억양의 변동 형태 정보는 변동 횟수, 변동폭, 평균 변동 횟수, 평균 변동폭 등이 있으며, 강세의 변동 형태 정보는 주 강세 패턴, 부 강세 패턴 등이 있다.
점수 측정부(143)는 문장 분석부(130)에 의해 추출된 구문별, 문장 종류별 억양 및 강세 패턴을 레퍼런스로 이용하여, 음성신호로부터 추출된 억양 및 강세 정보에 대한 억양 및 강세 점수를 측정한다.
운율 평가 수행부(144)는 점수 측정부(143)에 의해 측정된 억양 및 강세 점수, 형태정보 추출부(142)에 의해 추출된 형태 정보를 이용하여 발화 문장에 대한 운율 평가를 수행한다.
통계적 특징 추출부(150)는 음성 입력부(110)로부터 입력된 음성신호에 대해 발화 속도, 묵음 구간 길이, 평균 정지(pause) 길이 등의 통계적인 유창성 특징 요소를 추출한다.
유창성 평가부(160)는 운율 평가부(140)로부터 획득된 운율 평가 점수와 통계적 특징 추출부(150)로부터 추출된 유창성 특징 요소를 이용하여 유창성 평가를 수행한다. 이때, 유창성 평가부(160)는 발화 문장에 대한 유창성 점수를 계산한다.
이와 같이, 영어 말하기 평가 장치(100)는 문장 분석을 통한 운율 평가 결과와 통계적 유창성 특징 요소를 이용하여 발화 문장에 대한 유창성 평가를 수행함으로써 효율적이고 일관성 있는 윤율 평가 및 유창성 평가를 자동으로 수행할 수 있다.
또한, 영어 말하기 평가 장치(100)는 다양한 외국어 발화 환경에서 운율 평가 또는 유창성 평가를 수행하는 경우에, 운율 평가부(140) 및 유창성 평가부(160)를 이용하여 발화자의 단어 또는 문장의 발화에 대해 자동으로 운율 및 유창성 평가를 수행하거나 피드백을 제공할 수 있다.
또한, 영어 말하기 평가 장치(100)는 음성신호로부터 '억양 및 강세'와 '통계적 유창성 특징 요소'를 추출한 후 이들 정보를 이용하여 음성 신호에 대한 억양 및 강세 점수, 운율 점수, 유창성 점수를 자동으로 측정할 수 있다.
도 3은 본 발명의 일실시예에 따른 영어 말하기의 운율 및 유창성 평가 방법에 대한 도면이다.
도 3에 도시된 바와 같이, 영어 말하기 평가 장치(100)는 발화자에 의해 음성신호가 입력되면(S301), 자동 음성 인식기를 이용하여 음성인식한다(S302).
이후, 영어 말하기 평가 장치(100)는 구문 분석기 및 형태소 분석기를 이용하여 문장 구조 및 종류 정보를 추정한다(S303). 이때, 영어 말하기 평가 장치(100)는 구문별, 문장종류별 억양 및 강세 패턴을 추출한다(S304). 이는 영어 말하기 평가 장치(100)가 음성 인식 결과를 이용하여 구문별, 문장 종류별 억양 및 강세 패턴을 모델링하는 것을 의미한다.
한편, 영어 말하기 평가 장치(100)는 음성신호로부터 억양 및 강세 정보를 추출한다(S305). 이때, 영어 말하기 평가 장치(100)는 추출된 억양 및 강세 정보로부터 형태 정보를 추출한다(S306).
그리고, 영어 말하기 평가 장치(100)는 구문 분석기 및 형태소 분석기를 이용해 생성된 억양 및 강세 패턴(즉, 구문별 문장 종류별 억양 및 강세 패턴)과 음성신호로부터 추출된 억양 및 강세 정보를 이용하여 억양 및 강세 점수를 측정한다(S307).
그런 다음, 영어 말하기 평가 장치(100)는 '억양 및 강세 점수'와 '억양 및 강세의 형태 정보'를 이용하여 운율 평가를 수행한다(S308). 이때, 영어 말하기 평가 장치(100)는 음성신호로부터 통계적인 유창성 요소 특징을 추출한다(S309).
이후, 영어 말하기 평가 장치(100)는 운율 평가 결과와 통계적 유창성 요소 특징을 이용하여 전체적인 유창성 평가를 수행한다(S310).
이상 바람직한 실시예와 첨부도면을 참조하여 본 발명의 구성에 관해 구체적으로 설명하였으나, 이는 예시에 불과한 것으로 본 발명의 기술적 사상을 벗어나지 않는 범주 내에서 여러 가지 변형이 가능함은 물론이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 안되며 후술하는 특허청구의 범위뿐만 아니라 이 특허청구의 범위와 균등한 것들에 의해 정해져야 한다.
110 : 음성 입력부 120 : 음성 인식부
130 : 문장 분석부 140 : 운율 평가부
141 : 억양 및 강세 추출부 142 : 형태정보 추출부
143 : 점수 측정부 144 : 운율 평가 수행부
150 : 통계적 특징 추출부 160 : 유창성 평가부

Claims (1)

  1. 음성신호로부터 인식된 발화문장의 '구문별 문장종류별 억양 및 강세 패턴'을 추출하기 위한 문장 분석부;
    상기 음성신호로부터 추출된 억양 및 강세의 형태 정보와, 상기 '구문별 문장종류별 억양 및 강세 패턴'을 기반으로 측정된 억양 및 강세 점수를 이용하여 운율 평가를 수행하기 위한 운율 평가부;
    상기 음성신호로부터 통계적 유창성 특징 요소를 추출하기 위한 통계적 특징 추출부; 및
    상기 운율 평가 결과와 상기 통계적 유창성 특징 요소에 따라 유창성을 평가하기 위한 유창성 평가부;
    를 포함하는 영어 말하기의 운율 및 유창성 평가 장치.
KR1020160032817A 2016-03-18 2016-03-18 영어 말하기의 운율 및 유창성 평가 장치 및 그 방법 KR20170108622A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160032817A KR20170108622A (ko) 2016-03-18 2016-03-18 영어 말하기의 운율 및 유창성 평가 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160032817A KR20170108622A (ko) 2016-03-18 2016-03-18 영어 말하기의 운율 및 유창성 평가 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR20170108622A true KR20170108622A (ko) 2017-09-27

Family

ID=60036596

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160032817A KR20170108622A (ko) 2016-03-18 2016-03-18 영어 말하기의 운율 및 유창성 평가 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR20170108622A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220015074A (ko) 2020-07-30 2022-02-08 주식회사 에이치투케이 강화학습 기반의 유아 한글 수준별 진단 평가 장치 및 방법
KR20220015075A (ko) 2020-07-30 2022-02-08 주식회사 에이치투케이 강화학습 기반의 유아 한글 맞춤형 커리큘럼 생성 장치 및 방법
KR20220086923A (ko) * 2020-12-17 2022-06-24 최효준 영어 발음 자동 평가 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220015074A (ko) 2020-07-30 2022-02-08 주식회사 에이치투케이 강화학습 기반의 유아 한글 수준별 진단 평가 장치 및 방법
KR20220015075A (ko) 2020-07-30 2022-02-08 주식회사 에이치투케이 강화학습 기반의 유아 한글 맞춤형 커리큘럼 생성 장치 및 방법
KR20220086923A (ko) * 2020-12-17 2022-06-24 최효준 영어 발음 자동 평가 시스템 및 방법

Similar Documents

Publication Publication Date Title
Arias et al. Automatic intonation assessment for computer aided language learning
KR102052031B1 (ko) 발음평가 방법 및 상기 방법을 이용하는 발음평가 시스템
EP2387031B1 (en) Methods and systems for grammar fitness evaluation as speech recognition error predictor
Shahin et al. Tabby Talks: An automated tool for the assessment of childhood apraxia of speech
Shahin et al. The automatic detection of speech disorders in children: Challenges, opportunities, and preliminary results
CN103714826B (zh) 面向声纹鉴定的共振峰自动匹配方法
Rao Application of prosody models for developing speech systems in Indian languages
Middag et al. Robust automatic intelligibility assessment techniques evaluated on speakers treated for head and neck cancer
Tong et al. Subspace Gaussian mixture model for computer-assisted language learning
KR20170108622A (ko) 영어 말하기의 운율 및 유창성 평가 장치 및 그 방법
Ghanem et al. Pronunciation features in rating criteria
Chen et al. Text-independent phoneme segmentation combining egg and speech data
CN114627896A (zh) 语音评测方法、装置、设备及存储介质
Korkmaz et al. Classification of Turkish vowels based on formant frequencies
Czap et al. Intensity feature for speech stress detection
Remes et al. Objective evaluation measures for speaker-adaptive HMM-TTS systems
KR20080018658A (ko) 사용자 선택구간에 대한 음성비교 시스템
Adi et al. Interlanguage of Automatic Speech Recognition
Yuan et al. Detection of questions in Chinese conversational speech
Ishi Perceptually-related F0 parameters for automatic classification of phrase final tones
Kraljevski et al. Comparison of forced-alignment speech recognition and humans for generating reference VAD
Wang A machine learning assessment system for spoken english based on linear predictive coding
Ishi et al. Using prosodic and voice quality features for paralinguistic information extraction
Trang et al. Prosodic phrasing modeling for Vietnamese TTS using syntactic information
Yamashita et al. Automatic scoring for prosodic proficiency of English sentences spoken by Japanese based on utterance comparison