KR102388948B1 - 음성 시각화 기술을 활용한 언어 유창성 평가 방법 및 시스템 - Google Patents

음성 시각화 기술을 활용한 언어 유창성 평가 방법 및 시스템 Download PDF

Info

Publication number
KR102388948B1
KR102388948B1 KR1020210108296A KR20210108296A KR102388948B1 KR 102388948 B1 KR102388948 B1 KR 102388948B1 KR 1020210108296 A KR1020210108296 A KR 1020210108296A KR 20210108296 A KR20210108296 A KR 20210108296A KR 102388948 B1 KR102388948 B1 KR 102388948B1
Authority
KR
South Korea
Prior art keywords
voice information
user
information
voice
language fluency
Prior art date
Application number
KR1020210108296A
Other languages
English (en)
Inventor
이경순
Original Assignee
이경순
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이경순 filed Critical 이경순
Priority to KR1020210108296A priority Critical patent/KR102388948B1/ko
Application granted granted Critical
Publication of KR102388948B1 publication Critical patent/KR102388948B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/69—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for evaluating synthetic or decoded voice signals
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L17/00—Speaker identification or verification
    • G10L17/06—Decision making techniques; Pattern matching strategies
    • G10L17/08—Use of distortion metrics or a particular distance between probe pattern and reference templates
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/02—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using spectral analysis, e.g. transform vocoders or subband vocoders
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/26—Pre-filtering or post-filtering

Abstract

본 발명은 언어 유창성 평가 방법 및 시스템에 관한 것으로, 원어민 화자의 음성을 바탕으로 사용자의 음성 정보를 수신하는 단계; 상기 사용자의 음성 정보에 대응되어 서버에서 생성된 기준 음성 정보를 수신하는 단계; 상기 기준 음성 정보 및 상기 사용자의 음성 정보를 시각적으로 변환하는 단계; 상기 변환된 기준 음성 정보 및 사용자의 음성 정보를 매칭하는 단계; 및 상기 매칭된 기준 음성 정보 및 사용자의 음성 정보의 유사도를 기설정된 알고리즘에 의해서 수치화하는 단계를 포함한다.

Description

음성 시각화 기술을 활용한 언어 유창성 평가 방법 및 시스템{LANGUAGE FLUENCY EVALUATION METHOD AND SYSTEM USING SPEECH VISUALIZATION TECHNOLOGY}
본 발명은 음성 시각화 기술을 활용한 언어 유창성 평가 방법 및 시스템에 관한 것으로서, 보다 상세하게는 사용자의 음성 정보를 수신하여, 원어민 발음과 비교하여 시각적으로 표시하는 방법 및 시스템에 관한 것이다.
또한, 본 발명은 시각적으로 사용자의 음성을 표시함으로써 원어민의 발음에 가까운 발음을 효율적으로 학습할 수 있는 방법 및 시스템에 관한 것이다.
국내 영어 사교육 시장은 약 7조 규모로, 초중고 영어 사교육 시장 규모는 약 5조 4천억원, 영유아 및 성인 교육은 약 1조 5천억원 규모로 추정된다.
높은 영어 교육비 지출에도 불구하고 영어 유창성 지수는 전세계 국가별 평가기준 ‘중간 등급’에 머무르고 있다.
이러한 이유로는 기존 영어 교육 과정이 독해(reading) 및 청해(listening) 중심으로 구성되어 있어 체계적인 말하기(speaking) 교육이 이루어지지 않았고, 말하기의 특성상 일방향적 교육 및 자습만으로는 일정 수준 이상에 도달하기 어렵기 때문이다.
최근에는 외국어 학습 이론과 기술의 발달로 인하여 효율적으로 외국어 말하기를 학습할 수 있는 다양한 모델들이 등장하고 있다.
다만, 학습자의 음성을 평가하는 방법이 평가자의 주관적인 판단에 의존하는 경우가 많이 있어, 보다 체계적이고 객관적인 방법으로 학습자의 말하기 수준을 평가하고, 개선할 수 있는 방법에 대한 수요가 증가하고 있다.
따라서, 본 발명에서는 사용자의 음성을 시각적으로 표시하고, 기준 음성과 시각적으로 비교하여, 억양(intonation)과 강세(accent)를 교정하는 외국어 학습 방법에 대하여 개시하기로 한다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사용자에게 원어민의 기준의 억양 및 강세를 학습할 수 있는 환경을 제공한다.
또한, 본 발명에 따를 때 사용자는 영어뿐만 아니라, 다양한 언어를 원어민의 발음으로 학습할 수 있다.
또한, 본 발명에 따를 때, 사용자는 원어민의 기준 억양과 사용자의 억양에 차이가 있는 경우, 시스템으로부터 교정이 필요한 부분을 안내 받을 수 있다.
또한, 본 발명에 따를 때, 사용자의 음성을 사용자 단말에 시각적으로 표시함으로써, 사용자가 억양 및 강세를 쉽게 확인할 수 있다.
본 발명의 일 실시예는 언어 유창성 평가 방법에 관한 것으로, 사용자의 음성 정보를 수신하는 단계; 상기 사용자의 음성 정보에 대응되어, 원어민 화자의 음성을 바탕으로 서버에서 생성된 기준 음성 정보를 수신하는 단계; 상기 기준 음성 정보 및 상기 사용자의 음성 정보를 시각적으로 변환하는 단계; 상기 변환된 기준 음성 정보 및 사용자의 음성 정보를 매칭하는 단계; 및 상기 매칭된 기준 음성 정보 및 사용자의 음성 정보의 유사도를 기설정된 알고리즘에 의해서 수치화하는 단계를 포함한다.
또한, 상기 기준 음성 정보 및 상기 사용자의 음성 정보를 시각적으로 변환하는 단계는, 시간의 변화에 따라 음성 신호의 주파수(frequency)와 진폭(amplitude) 변화를 시각화하여, 상기 시각화한 이미지를 심층 신경망(Deep Neural Network; DNN) 방식으로 학습하여 필터링한다.
바람직하게는, 상기 기준 음성 정보를 기준으로 하여, 사용자의 음성 정보의 음색의 높이 및 말하기 속도를 정규화 처리를 통해 상기 기준 음성 정보와 비교 가능한 형태로 변환한다.
또한, 상기 기준 음성 정보 및 사용자의 음성 정보를 매칭하는 단계는, 발화 시작점을 기준으로, 발화 속도 및 높낮이를 정규화하여 유사도를 판단할 수 있는 정보로 변환하는 단계를 포함한다.
또한, 상기 수치화된 유사도 정보에 기초하여, 사용자 단말에 사용자의 음성 정보 중에서 훈련이 필요한 정보를 제공하는 단계를 더 포함할 수 있다.
본 발명의 다른 일 실시예는, 언어 유창성 평가 시스템에 관한 것으로, 원어민 화자의 음성을 바탕으로 서버에서 생성된 기준 음성 정보 및 사용자의 음성 정보를 수신하는 음성 정보 저장부; 상기 기준 음성 정보 및 상기 사용자의 음성 정보를 시작적으로 변환하는 시각화 변환부; 상기 변환된 기준 음성 정보 및 사용자의 음성 정보를 매칭하는 음성 매칭부; 및 상기 매칭된 기준 음성 정보 및 사용자의 음성 정보의 유사도를 기설정된 알고리즘에 의해서 수치화하는 유창성 평가부를 포함한다.
또한, 상기 시각화 변환부는, 시간의 변화에 따라 음성 신호의 변화량 또는 주파수를 시각화하여, 심층 신경망(Deep Neural Network; DNN) 방식으로 학습하여 필터링한다.
바람직하게는, 상기 시각화 변환부는, 상기 기준 음성 정보를 기준으로 하여, 사용자의 음성 정보의 음색의 높이 및 말하기 속도를 변환한다.
또한, 상기 음성 매칭부는, 발화 시작점을 기준으로 하는 정규화 과정을 통해서 유사도를 판단할 수 있는 정보로 변환한다.
또한, 상기 수치화된 유사도 정보에 기초하여, 사용자 단말에 사용자의 음성 정보 중에서 훈련이 필요한 정보를 제공하는 피드백부를 더 포함할 수 있다.
본 발명은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 사용자에게 원어민의 기준 음성과 유사한 억양과 강세를 학습할 수 있는 환경을 제공한다.
또한, 본 발명에 따를 때 사용자는 영어뿐만 아니라, 다양한 언어를 원어민의 발음으로 학습할 수 있다.
또한, 본 발명에 따를 때, 사용자는 원어민의 기준 음성과 사용자의 음성에 차이가 있는 경우, 서버로부터 교정이 필요한 부분을 안내받을 수 있다.
또한, 본 발명에 따를 때, 사용자의 음성을 사용자 단말에 시각적으로 표시함으로써, 사용자가 억양 및 강세를 쉽게 확인할 수 있다.
도 1은 본 발명의 일 예에 따르는 언어 유창성 평가 방법을 설명하기 위한 도면이다.
도 2는 본 발명의 일 예에 따르는 언어 유창성 평가 방법을 나타내는 순서도이다.
도 3 내지 도 5는 본 발명의 일 예에 따르는 음성 시각화를 설명하기 위한 도면들이다.
도 6 내지 도 8은 본 발명의 일 예에 따르는 기준 음성 정보 및 사용자의 음성 정보를 매칭하는 과정을 나타내는 도면들이다.
도 9는 본 발명의 다른 일 예에 따르는 언어 유창성 평가 방법을 나타내는 순서도이다.
도 10은 본 발명의 일 예에 따르는 서버의 구조를 개념적으로 나타내는 블록도이다.
도 11은 본 발명의 다른 일 예에 따르는 서버의 구조를 개념적으로 나타내는 블록도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
이하에서 언급되는 "사용자 단말"은 네트워크를 통해 서버나 타 단말에 접속할 수 있는 컴퓨터나 휴대용 단말기로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(Web Browser)가 탑재된 노트북, 데스크톱(desktop), 랩톱(laptop) 등을 포함하고, 휴대용 단말기는 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet), LTE(Long Term Evolution) 통신 기반 단말, 스마트폰, 태블릿 PC, 스마트워치 등과 같은 모든 종류의 핸드헬드(Handheld) 무선 통신 장치를 포함할 수 있다. 또한, “네트워크”는 근거리 통신망(Local Area Network; LAN), 광역 통신망(Wide Area Network; WAN) 또는 부가가치 통신망(Value Added Network; VAN) 등과 같은 유선 네트워크나 이동 통신망(mobile radio communication network) 또는 위성 통신망 등과 같은 모든 종류의 무선 네트워크로 구현될 수 있다.
본 발명에서 기준 음성 정보는, 복수의 원어민의 발화(speaking)를 분석하고 학습하여 일정한 기준으로 정규화한 음성 정보로서, 유창성 평가에서 기준이 되는 음성 정보이다.
본 발명에서 사용자의 음성 정보는, 유창성 평가의 대상이 되는 음성 정보로서, 사용자 단말을 통해 입력된 음성 정보이다.
도 1은 본 발명의 일 예에 따르는 언어 유창성 평가 방법을 설명하기 위한 도면이다.
최근에는 언어 유창성을 평가하는 과정에서 채점자의 주관적인 평가 요소에서 발생하는 편차를 최소화하기 위하여 일정한 기준으로 언어 유창성을 평가하기 위한 다양한 기술들이 개발되고 있다.
특히, 복수의 원어민 발화(speaking) 정보를 학습하여 원어민 발화에 대한 표준 모델을 생성하여, 표준 모델과 사용자의 음성 정보를 비교함으로써 보다 객관화된 기준을 가지고 언어 유창성을 평가하고 있다.
언어 유창성을 평가하기 위해서는 억양(intonation), 강세(accent)뿐만 아니라, 다양한 언어적 요소를 비교 분석할 수 있으며, 발화 속도, 조음 속도, 발화 시간 비율, 연속 발화 평균 길이, 빈 묵음 빈도, 빈 묵음 평균 길이 등의 음성학적 요소를 분석하여 언어 유창성을 비교 분석할 수 있다.
따라서, 언어 유창성을 평가하는 다양한 요소를 복합적으로 비교 분석하여야 하지만, 이에 대한 기준은 평가자마다 가중치를 다르게 부여할 수 있는 모호함이 있다.
따라서, 최근에는 스마트폰과 같은 사용자 단말(100)에서 사용자의 음성 정보를 입력받아, 이를 서버(200)에서 기준 음성 정보와 유사도를 판단함으로써 수치화된 값으로서 언어 유창성을 평가하는 방법이 상용화되고 있다.
이와 함께, 사용자가 사용자 단말에 쉽게 접근할 수 있는 환경이기 때문에, 원어민 발화(speaking)와의 시각적 비교를 통해서, 사용자 측면에서 즉각적으로 발음, 억양, 강세 등을 교정할 수 있게 되었다.
본 개시에서는 사용자 단말(100)을 통해 입력된 사용자 음성 정보와 기준 음성 정보와의 언어 유창성 평가하는 방법 및 시스템에 대하여 구체적으로 개시하기로 한다.
도 2는 본 발명의 일 예에 따르는 언어 유창성 평가 방법을 나타내는 순서도이다.
사용자는 사용자 단말에 평가 문장(예, We are starting a new project)을 발화하여 음성 입력할 수 있으며, 서버는 사용자 단말로부터 사용자 음성 정보를 수신한다(S210).
서버는 사용자 음성 정보를 문장으로 STT(Speech to Text) 변환할 수 있으며, 서버는 사용자 음성 정보에 대응되어 원어민 화자의 음성을 바탕으로 서버에서 생성된 기준 음성 정보를 수신한다(S210).
서버는 평가 문장(예, We are starting a new project)을 서버에서 동작하는 TTS(Text to Speech) API 모듈을 통해서 음성 정보로 생성할 수 있다.
다수의 평가 문장들이 서버의 TTS API 모듈을 통해 기준 음성 정보로서 저장되어 있을 수 있다. 예를 들어, 동일한 평가 문장(We are starting a new project)이더라도 원어민마다 서로 다를 수 있으며, 미국 원어민 억양, 강세와 영국 원어민 억양, 강세는 서로 상이할 수 있다. 보다 구체적으로는 미국 서부 원어민 억양, 강세와 미국 동부 원어민 억양, 강세가 일부 상이할 수 있다.
따라서, 언어 유창성 평가 방법에서는 어떠한 원어민 대상 그룹의 음성 정보를 기준 음성 정보로 설정하여 TTS 변환할 것인지 명확하게 정의하고 평가하는 것을 전제로 설명한다.
본 발명에서의 억양(intonation) 및 강세(accent)는 하기 표 1과 같이 설명할 수 있다.
분석의 목표 분석 요소 분석 요소의 해석 분석의 결과물
억양
(Intonation) 		주파수(Frequency) 주파수가 높으면 음이 높음,
음의 높고 낮음으로 억양을 추출		 상대적인
높낮이
강세
(Accent) 		데시벨 (Decibel)　
및 주파수 (Frequency)		 데시벨이 높으면 음의 크기가 큼,
음의 크기 혹은 높이가 클 때 강세
상기와 같이, 서버에서 사용자 음성 정보 및 기준 음성 정보를 수신하는 것은 순서에 대해서도 변경이 가능하다.
앞서 단계 S210 및 S220의 경우, 사용자의 음성에 따라 문장으로 변환되고, 해당 문장을 원어민의 기준 음성으로 변환하여 수신하는 것으로써, 사용자의 유창성을 평가함에 있어서 모든 문장에 적용이 가능하다는 유리한 효과를 가진다.
이와 반대로, 서버에 기저장된 평가 문장 중에서 사용자가 따라 읽은 평가 문장 정보에 대한 사용자 음성 정보를 수신하고, 평가 문장에 대한 기준 음성 정보를 생성하는 것 또한 가능하다.
이러한 경우, 사용자의 음성 정보를 먼저 수신하는 전자의 경우보다, 평가 문장의 정확성이 보다 높아지는 유리한 효과를 가진다. 음성 정보를 수신하는 순서에 따라 장단점을 가지기 때문에 평가의 목적, 정확도 등에 따라 선택할 수 있다.
서버의 음성 정보 저장부는 기준 음성 정보 및 사용자 음성 정보를 음성 정보로서 저장할 수 있으며, 서버의 시각화 변환부는 주파수 및 신호의 크기 분석을 통하여 시간의 변화에 따른 그래프의 형식의 이미지로 변환할 수 있다(S230).
보다 구체적으로는, 서버의 시각화 변환부는 상기 음성정보를 바탕으로 웨이브폼 (waveform)과 스펙트로그램(spectrogram) 형태의 이미지를 생성할 수 있다. 서버는 상기 스펙트로그램으로 시각화된 정보 내에서 유의미한(meaningful) 구간의 피치(pitch) 변화를 분석할 수 있다.
서버의 음성 매칭부는 변환된 기준 음성 정보 및 사용자의 음성 정보를 매칭한다(S240). 기준 음성 정보 및 사용자 음성 정보를 매칭하기 위해서는 발화가 시작되는 시점을 조정하는 과정, 양 음성 정보 간의 발화 속도의 차이를 조정하는 과정, 발화를 하지 않는 휴지 구간(pause)를 조정하는 과정, 양 음성 정보 간의 음높이 차이를 조정(shift)하는 과정 등 상호 비교할 수 있는 정보의 형태로 변환하는 과정을 포함한다.
서버의 유창성 평가부는 매칭된 기준 음성 정보 및 사용자의 음성 정보의 유사도를 기설정된 알고리즘에 의해서 수치화하여 출력한다(S250).
사용자는 언어 유창성에 대한 결과값을 확인함으로써, 언어 유창성에 대한 평가가 완료된다.
도 3 내지 도 5는 본 발명의 일 예에 따르는 음성 시각화를 설명하기 위한 도면들이다.
도 3에 도시된 바와 같이, 서버는 웨이브폼(waveform)을 통해 시간의 변화에 따른 진폭(amplitude)의 크기를 시각화 하는 방식으로 음성 정보를 이미지로 변환할 수 있다. 예를 들어 평가 문장(예, We are starting a new project)을 TTS(Text to Speech) API를 사용하여 음성 파일로 변환할 수 있으며, 이러한 음성 정보로부터 웨이브폼을 추출할 수 있다.
서버는 도 4에 도시된 바와 같이, 웨이브폼(waveform)을 변환하여, 스펙트로그램(spectrogram)의 형식으로 음성 정보를 시각화할 수 있으며, 도 5에 도시된 바와 같이, 심층 신경망(Deep Neural Network; DNN) 기반의 추론 및 신뢰도 기반의 필터링을 통해, 단일선을 생성한다. 즉, 피치(pitch)를 트레킹(tracking)하여 억양 및 강세를 선의 형태로 추출할 수 있다.
서버는 하기의 표 2에서 정리한 것과 같이, 음성을 시각화하는 개념을 설명할 수 있다.
시각화자료 가로축 세로축 범주 보조 설명
스펙트로그램
(Spectrogram)		 시간
(Time)		 주파수
(Frequency) 		데시벨
(Decibel)		 각 주파수에 대한
음의 크기를 보여주는 이미지 자료
웨이브폼
(Waveform)		 시간
(Time)		 신호의 크기
(Amplitude)		 - 신호의 크기를 보여주며
후처리를 보조하는 자료
도 6 내지 도 8은 본 발명의 일 예에 따르는 기준 음성 정보 및 사용자의 음성 정보를 매칭하는 과정을 나타내는 도면들이다.
도 6에 도시된 바와 같이, 사용자가 평가 문장(We are starting a new project)을 발화하여 생성한 음성 정보는 시간 변화에 따른 그래프의 형식으로 변환되며, 억양 및 강세를 확인할 수 있는 형태로 표현된다.
도 6에 도시된 바와 같이 기준 음성 정보 및 사용자 음성 정보가 동일한 시간 구간(x축)에 표시되며, 도 7에 도시된 바와 같이, 음성 정보 간의 피치의 차이가 표시될 수 있다.
또한, 도 8에 도시된 것과 같이, 음성 정보 간의 피치의 차이가 시간 구간 별 영역(area)으로 표시가 가능하기 때문에 서버는 사용자가 평가 문장을 발화하기 전후의 음성 정보에 대해서 신뢰도 기반 필터링을 통해서 평가 문장에 대한 발화 구간을 추출할 수 있으며, 동일한 평가 문장을 TTS 변환한 기준 음성 정보를 시각화한 정보와 함께 표시함으로써 사용자가 비교가 가능하게 할 수 있다.
또한, 서버는 하기의 수학식 1과 같이 사용자의 유창성을 수치화할 수 있다.
Figure 112021094624282-pat00001
S = 평가점수(score)
Base = 기준음성의 피치
User = 사용자 음성의 피치
T = 전체발화시간
t = 발화시점 중 t번째 단위시간
이 때, 기준 음성 정보 및 사용자 음성 정보 간에 시각화된 정보는 비교 분석이 가능한 형태로 조정(shift 또는 offset)될 수 있다. 음성마다 음의 고저, 음색의 차이 등이 존재하기 때문에 이를 정규화하는 과정을 수행할 수 있다.
서버는 사용자 단말에 음성을 시각적으로 표시할 수 있도록 음성 정보를 전송할 수 있으며, 사용자는 기준 음성 정보와 사용자 본인의 음성 정보 간의 억양, 강세 등의 차이를 통해서 기준 음성 정보와 유사도가 높은 형태로 발화를 교정할 수 있다.
도 9는 본 발명의 다른 일 예에 따르는 언어 유창성 평가 방법을 나타내는 순서도이다.
도 9의 S910 내지 S950은 앞서 도 2의 S210 내지 S250과 동일하므로 자세한 설명은 생략하기로 한다.
서버의 피드백부는 수치화된 유사도 정보에 기초하여, 사용자 단말에 사용자의 음성 정보 중에서 훈련이 필요한 정보를 제공할 수 있다(S960).
앞서 도 2에서의 설명이 사용자의 언어 유창성을 평가하는 목적이라면, 도 9의 피드백부는 사용자의 발화 음성이 기준 음성 정보와 유사한 형태가 될 수 있도록 언어 학습 정보를 제공하는 것이 목적이라는 점에서 차이가 있다.
따라서, 서버는 사용자의 음성 정보가 기준 음성 정보와 유사할 수 있도록 억양, 강세 등을 시각적으로 안내할 수 있으며, 사용자는 서버에서 제공되는 정보에 따라 발화함으로써, 점차 원어민의 기준 음성 정보와 유사해지는 효과를 가진다.
도 10은 본 발명의 일 예에 따르는 서버의 구조를 개념적으로 나타내는 블록도이다.
본 발명의 일 예에 따르는 서버(200)는 음성 정보 저장부(210), 시각화 변환부(220), 음성 매칭부(230) 및 유창성 평가부(240)를 포함한다. 미도시되었지만, 전원부, 통신부, 입출력부, 제어부를 더 포함할 수 있다.
본 발명의 일 예에 따르는 음성 정보 저장부(210)는 원어민 화자의 음성을 바탕으로 서버에서 생성된 기준 음성 정보를 저장한다. 서버는 평가 문장을 TTS(Text to Speech) API를 통해서 원어민 화자의 기준 음성 정보로 생성할 수 있으며, 이러한 기준 음성 정보를 저장할 수 있다. 서버는 경우에 따라서 원어민 화자의 발음으로 입력한 기준 음성 정보를 저장할 수도 있다.
본 발명의 일 예에 따르는 음성 정보 저장부(210)는 사용자의 단말을 통해서 입력된 사용자의 음성 정보를 저장한다. 음성 정보 저장부(210)는 사용자 단말의 음성 입력 기능을 통해서 입력된 사용자 음성 정보를 기준 음성 정보와 함께 저장할 수 있으며, 사용자의 고유 ID, 평가 문장의 식별 번호, 상기 입력 음성의 고유 식별 번호 등과 함께 데이터베이스(DB)화 하여 저장할 수 있다.
본 발명의 일 예에 따르는 시각화 변환부(220)는 주파수(frequency) 및 진폭 (amplitude) 분석을 통하여 시간의 변화에 따른 그래프의 형식으로 시각화할 수 있다.
시각화 변환부(220)는 웨이브폼(waveform)과 스펙트로그램(spectrogram)으로 변환하여 시각화된 정보로 변환 생성할 수 있다. 서버는 시각화된 정보 내에서 유의미한(meaningful) 구간의 피치(pitch) 변화를 분석할 수 있다.
본 발명의 일 예에 따르는 음성 매칭부(230)는, 변환된 기준 음성 정보 및 사용자의 음성 정보를 매칭한다. 기준 음성 정보 및 사용자 음성 정보를 매칭하기 위해서는 발화가 시작되는 시점을 조정하는 과정, 양 음성 정보 간의 발화 속도의 차이를 조정하는 과정, 발화를 하지 않는 휴지 구간(pause)를 조정하는 과정, 양 음성 정보 간의 음높이 차이를 조정(shift)하는 과정 등 상호 비교할 수 있는 정보의 형태로 변환하는 과정을 포함한다.
본 발명의 일 예에 따르는 유창성 평가부(240)는 매칭된 기준 음성 정보 및 사용자의 음성 정보의 유사도를 기설정된 알고리즘에 의해서 수치화하여 출력한다.
사용자는 언어 유창성에 대한 결과값을 확인함으로써, 언어 유창성에 대한 평가가 완료된다.
도 11은 본 발명의 다른 일 예에 따르는 서버의 구조를 개념적으로 나타내는 블록도이다.
본 발명의 다른 일 예에 따르는 서버(200)는 수치화된 유사도 정보에 기초하여, 사용자 단말에 사용자의 음성 정보 중에서 훈련이 필요한 정보를 제공하는 피드백부(250)를 더 포함할 수 있다.
앞서 도 10에서의 설명이 사용자의 언어 유창성을 평가하는 목적이라면, 도 11의 피드백부(250)는 사용자의 발화 음성이 기준 음성 정보와 유사한 형태가 될 수 있도록 언어 학습 정보를 제공하는 것이 목적이라는 점에서 차이가 있다.
따라서, 피드백부(250)는 사용자의 음성 정보가 기준 음성 정보와 유사할 수 있도록 억양 및 강세 등을 시각적으로 안내할 수 있으며, 사용자는 서버에서 제공되는 정보에 따라 발화함으로써, 점차 원어민의 기준 음성 정보와 유사해지는 효과를 가진다.
본 발명의 일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 사용자 단말
200 : 서버

Claims (10)

  1. 언어 유창성 평가 방법에 있어서,
    사용자 단말에 입력된 사용자의 음성 정보를 서버에서 수신하는 단계;
    상기 사용자의 음성 정보를 평가 문장으로서 STT 변환하고, 상기 평가 문장을 원어민 화자의 음성을 바탕으로 서버에서 생성된 기준 음성 정보를 수신하는 단계;
    상기 기준 음성 정보 및 상기 사용자의 음성 정보를 시각적으로 변환하는 단계;
    상기 변환된 기준 음성 정보 및 사용자의 음성 정보를 매칭하는 단계; 및
    상기 매칭된 기준 음성 정보 및 사용자의 음성 정보의 유사도를 기설정된 알고리즘에 의해서 수치화하는 단계;
    를 포함하고,
    상기 매칭하는 단계는
    상기 변환된 기준 음성 정보 및 사용자의 음성 정보의 발화 시점, 발화 속도, 휴지 구간, 음높이 차이를 조정하여 매칭하는 것을 특징으로 하는, 언어 유창성 평가 방법.
  2. 제1항에 있어서,
    상기 기준 음성 정보 및 상기 사용자의 음성 정보를 시각적으로 변환하는 단계는,
    시간의 변화에 따라 음성 신호의 주파수(frequency) 및 진폭(amplitude)의 변화를 시각화하여, 심층 신경망(Deep Neural Network; DNN) 방식으로 학습하여 필터링하는 것을 특징으로 하는, 언어 유창성 평가 방법.
  3. 제2항에 있어서,
    상기 기준 음성 정보를 기준으로 하여, 사용자의 음성 정보의 음색의 높이 및 말하기 속도를 변환하는 것을 특징으로 하는, 언어 유창성 평가 방법.
  4. 제1항에 있어서,
    상기 기준 음성 정보 및 사용자의 음성 정보를 매칭하는 단계는,
    발화 시작점을 기준으로 하는 정규화 과정을 통해서 유사도를 판단할 수 있는 정보로 변환하는 단계를 포함하는, 언어 유창성 평가 방법.
  5. 제1항에 있어서,
    상기 수치화된 유사도 정보에 기초하여, 사용자 단말에 사용자의 음성 정보 중에서 훈련이 필요한 정보를 제공하는 단계를 더 포함하는, 언어 유창성 평가 방법.
  6. 언어 유창성 평가 시스템에 있어서,
    사용자 단말에 입력된 사용자의 음성 정보 및 상기 사용자의 음성 정보에 대응되어 평가 문장으로서 STT 변환하고, 상기 평가 문장을 원어민 화자의 음성을 바탕으로 서버에서 생성된 기준 음성 정보를 수신하는 음성 정보 저장부;
    상기 기준 음성 정보 및 상기 사용자의 음성 정보를 시작적으로 변환하는 시각화 변환부;
    상기 변환된 기준 음성 정보 및 사용자의 음성 정보를 매칭하는 음성 매칭부; 및
    상기 매칭된 기준 음성 정보 및 사용자의 음성 정보의 유사도를 기설정된 알고리즘에 의해서 수치화하는 유창성 평가부;
    를 포함하고,
    상기 음성 매칭부는,
    상기 변환된 기준 음성 정보 및 사용자의 음성 정보의 발화 시점, 발화 속도, 휴지 구간, 음높이 차이를 조정하여 매칭하는 것을 특징으로 하는, 언어 유창성 평가 시스템.
  7. 제6항에 있어서,
    상기 시각화 변환부는,
    시간의 변화에 따라 음성의 주파수(frequency) 및 진폭(amplitude)의 변화를 시각화하여, 심층 신경망(Deep Neural Network; DNN) 방식으로 학습하여 필터링하는 것을 특징으로 하는, 언어 유창성 평가 시스템.
  8. 제7항에 있어서,
    상기 시각화 변환부는,
    상기 기준 음성 정보를 기준으로 하여, 사용자의 음성 정보의 음색의 높이 및 말하기 속도를 변환하는 것을 특징으로 하는, 언어 유창성 평가 시스템.
  9. 제6항에 있어서,
    상기 음성 매칭부는,
    발화 시작점을 기준으로 하는 정규화 과정을 통해서 유사도를 판단할 수 있는 정보로 변환하는 것을 특징으로 하는, 언어 유창성 평가 시스템.
  10. 제6항에 있어서,
    상기 수치화된 유사도 정보에 기초하여, 사용자 단말에 사용자의 음성 정보 중에서 훈련이 필요한 정보를 제공하는 피드백부를 더 포함하는, 언어 유창성 평가 시스템.
KR1020210108296A 2021-08-17 2021-08-17 음성 시각화 기술을 활용한 언어 유창성 평가 방법 및 시스템 KR102388948B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210108296A KR102388948B1 (ko) 2021-08-17 2021-08-17 음성 시각화 기술을 활용한 언어 유창성 평가 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210108296A KR102388948B1 (ko) 2021-08-17 2021-08-17 음성 시각화 기술을 활용한 언어 유창성 평가 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR102388948B1 true KR102388948B1 (ko) 2022-04-21

Family

ID=81437542

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210108296A KR102388948B1 (ko) 2021-08-17 2021-08-17 음성 시각화 기술을 활용한 언어 유창성 평가 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102388948B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102621451B1 (ko) * 2023-02-01 2024-01-04 박상은 사용자 맞춤형 목소리 트레이닝 서비스 제공 방법, 장치 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140079677A (ko) * 2012-12-19 2014-06-27 주홍찬 언어 데이터 및 원어민의 발음 데이터를 이용한 연음 학습장치 및 방법
KR20150015126A (ko) * 2013-07-31 2015-02-10 포항공과대학교 산학협력단 외국어 유창성 평가 시스템 및 방법
KR20190012419A (ko) * 2017-07-27 2019-02-11 한국전자통신연구원 발화 유창성 자동 평가 시스템 및 방법
KR20190041105A (ko) * 2017-10-12 2019-04-22 주식회사 스터디맥스 학습자의 문장입력 및 음성입력을 이용한 학습 시스템 및 그 방법
KR20210079512A (ko) * 2019-12-20 2021-06-30 주식회사 에듀템 외국어 학습평가장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140079677A (ko) * 2012-12-19 2014-06-27 주홍찬 언어 데이터 및 원어민의 발음 데이터를 이용한 연음 학습장치 및 방법
KR20150015126A (ko) * 2013-07-31 2015-02-10 포항공과대학교 산학협력단 외국어 유창성 평가 시스템 및 방법
KR20190012419A (ko) * 2017-07-27 2019-02-11 한국전자통신연구원 발화 유창성 자동 평가 시스템 및 방법
KR20190041105A (ko) * 2017-10-12 2019-04-22 주식회사 스터디맥스 학습자의 문장입력 및 음성입력을 이용한 학습 시스템 및 그 방법
KR20210079512A (ko) * 2019-12-20 2021-06-30 주식회사 에듀템 외국어 학습평가장치

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102621451B1 (ko) * 2023-02-01 2024-01-04 박상은 사용자 맞춤형 목소리 트레이닝 서비스 제공 방법, 장치 및 시스템

Similar Documents

Publication Publication Date Title
US11527174B2 (en) System to evaluate dimensions of pronunciation quality
CN110648690B (zh) 一种音频评测方法及服务器
US20180012613A1 (en) Phonetic posteriorgrams for many-to-one voice conversion
KR102191425B1 (ko) 인터랙티브 캐릭터 기반 외국어 학습 장치 및 방법
US20170084268A1 (en) Apparatus and method for speech recognition, and apparatus and method for training transformation parameter
US10468016B2 (en) System and method for supporting automatic speech recognition of regional accents based on statistical information and user corrections
US20140350934A1 (en) Systems and Methods for Voice Identification
Wassink et al. Uneven success: automatic speech recognition and ethnicity-related dialects
US8447603B2 (en) Rating speech naturalness of speech utterances based on a plurality of human testers
US11810471B2 (en) Computer implemented method and apparatus for recognition of speech patterns and feedback
US11068659B2 (en) System, method and computer program product for determining a decodability index for one or more words
Foulkes et al. Three steps forward for predictability. Consideration of methodological robustness, indexical and prosodic factors, and replication in the laboratory
KR102444012B1 (ko) 말 장애 평가 장치, 방법 및 프로그램
Proença et al. Automatic evaluation of reading aloud performance in children
KR102388948B1 (ko) 음성 시각화 기술을 활용한 언어 유창성 평가 방법 및 시스템
Asano Discriminating non-native segmental length contrasts under increased task demands
KR20210071713A (ko) 스피치 스킬 피드백 시스템
Wahyutama et al. Performance comparison of open speech-to-text engines using sentence transformer similarity check with the Korean language by foreigners
Kabashima et al. Dnn-based scoring of language learners’ proficiency using learners’ shadowings and native listeners’ responsive shadowings
KR102583434B1 (ko) 음성 상담의 품질 평가 방법 및 시스템
KR20160104243A (ko) 적어도 하나의 의미론적 유닛의 집합을 음성을 이용하여 개선하기 위한 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
CN114446304A (zh) 语音交互方法、数据处理方法、装置和电子设备
KR20200011160A (ko) 음성 인식 기술을 이용한 지능형 끝말잇기 단어 학습 방법
CN113726962B (zh) 服务质量的评价方法、装置、电子设备以及存储介质
KR102610360B1 (ko) 발화 보이스에 대한 레이블링 방법, 그리고 이를 구현하기 위한 장치

Legal Events

Date Code Title Description
GRNT Written decision to grant