KR20210112891A - 음성 파형을 기초로 한 영어 말하기 평가 방법 - Google Patents

음성 파형을 기초로 한 영어 말하기 평가 방법 Download PDF

Info

Publication number
KR20210112891A
KR20210112891A KR1020200028500A KR20200028500A KR20210112891A KR 20210112891 A KR20210112891 A KR 20210112891A KR 1020200028500 A KR1020200028500 A KR 1020200028500A KR 20200028500 A KR20200028500 A KR 20200028500A KR 20210112891 A KR20210112891 A KR 20210112891A
Authority
KR
South Korea
Prior art keywords
voice waveform
user
evaluating
amplitude
voice
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020200028500A
Other languages
English (en)
Other versions
KR102361102B1 (ko
Inventor
김주혁
이승명
Original Assignee
김주혁
이승명
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김주혁, 이승명 filed Critical 김주혁
Priority to KR1020200028500A priority Critical patent/KR102361102B1/ko
Publication of KR20210112891A publication Critical patent/KR20210112891A/ko
Application granted granted Critical
Publication of KR102361102B1 publication Critical patent/KR102361102B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/04—Electrically-operated educational appliances with audible presentation of the material to be studied

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명의 실시예에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법은, 사용자 단말로부터 말하기 지문에 대한 사용자 음성을 수신하는 단계와, 사용자 음성을 분석하는 단계와, 사용자 음성에서 음성 파형을 생성하는 단계와, 사용자의 음성 파형에서 진폭의 피크 값을 가지는 시간 값들을 추출하는 단계와, 말하기 지문에 대한 미리 저장된 원어민의 음성 파형에서 진폭의 피크 값을 가지는 시간 값들을 추출하는 단계와, 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 사용자의 음성 파형과 원어민의 음성 파형을 매핑하여 평가하는 단계를 포함한다.

Description

음성 파형을 기초로 한 영어 말하기 평가 방법{ENGLISH SPEAKING EVALUATION METHOD BASED ON SPEECH WAVEFORM}
본 발명은 음성 파형을 기초로 한 영어 말하기 평가 방법에 관한 것이다.
영어 말하기를 평가하는 방법은 크게 사람에 의한 평가와 기계에 의한 평가로 구분할 수 있다. 사람에 의한 평가는 평가자의 경험과 배경지식 등에 따라 평가 대상자의 의도와 문장의 질적인 부분까지 평가할 수 있지만, 평가자의 주관에 따라 때때로 객관적이지 않은 결과를 가져올 수 있다. 특히, 사람에 의한 평가는 평가자가 누구인지, 동일 평가자라 하더라도 평가하는 시간과 그 환경에 따라 평가 결과가 달라질 수 있으며, 평가 시간도 많이 소요될 수 있다.
기계에 의한 평가는 시간과 환경의 제약없이, 빠른 시간에 일관적인 평가를 수행할 수 있지만, 보다 신뢰도 있는 평가를 위한 기준이 필요하다.
위 기재된 내용은 오직 본 발명의 기술적 사상들에 대한 배경 기술의 이해를 돕기 위한 것이며, 따라서 그것은 본 발명의 기술 분야의 당업자에게 알려진 선행 기술에 해당하는 내용으로 이해될 수 없다.
본 발명의 실시예는 사용자가 시간과 환경의 제약 없이, 빠른 시간에 신뢰도 높은 영어 말하기 실력을 평가받을 수 있는 음성 파형을 기초로 한 영어 말하기 평가 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위하여 본 발명의 실시예에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법은, 사용자 단말로부터 말하기 지문에 대한 사용자 음성을 수신하는 단계와; 상기 사용자 음성을 분석하는 단계와; 상기 사용자 음성에서 음성 파형을 생성하는 단계와; 상기 사용자의 음성 파형에서 진폭의 피크 값을 가지는 시간 값들을 추출하는 단계와; 상기 말하기 지문에 대한 미리 저장된 원어민의 음성 파형에서 진폭의 피크 값을 가지는 시간 값들을 추출하는 단계와; 상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계를 포함한다.
상기 음성 파형을 기초로 한 영어 말하기 평가 방법은, 상기 평가 결과를 기초로 상기 사용자 등급을 계산하는 단계와; 상기 사용자 단말로 상기 사용자의 평가 결과와 상기 사용자 등급을 제공하는 단계를 더 포함할 수 있다.
상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는, 상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 단어(word) 매핑 및 문장(sentence) 매핑하여 평가하는 단계를 포함할 수 있다.
상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 단어(word) 매핑 및 문장(sentence) 매핑하여 평가하는 단계는, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형의 워드 매핑에서 사라지는 단어를 기준으로 연음 처리를 분석하여 상기 사용자의 발음을 평가하는 단계를 포함할 수 있다.
상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는, 상기 사용자의 음성 파형의 연음 처리와 상기 원어민의 음성 파형의 연음 처리를 비교하여 상기 사용자의 발음을 평가하는 단계를 포함할 수 있다.
상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는, 상기 사용자의 음성 파형의 끊어 읽기와 상기 원어민의 음성 파형의 끊어 읽기를 비교하여 상기 사용자의 발음을 평가하는 단계를 포함할 수 있다.
상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형의 진폭 값이 사리지는 시간을 기준으로 끊어 읽기를 분석하여 상기 사용자의 발음을 평가하는 단계를 포함할 수 있다.
상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는, 상기 사용자의 음성 파형의 단어 억양과 상기 원어민의 음성 파형의 단어 억양을 비교하여 상기 사용자의 억양을 평가하는 단계를 포함할 수 있다.
상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는, 상기 사용자의 음성 파형의 문장 억양과 상기 원어민의 음성 파형의 문장 억양을 비교하여 상기 사용자의 억양을 평가하는 단계를 포함할 수 있다.
상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는, 상기 말하기 지문의 쉼표와 접속어 주변 단어의 진폭 값들의 추세를 기준으로 단어 억양을 분석하여 상기 사용자의 억양을 평가하는 단계를 포함할 수 있다.
상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는, 상기 말하기 지문의 문장 마지막 단어의 진폭 값들의 추세를 기준으로 문장 억양을 분석하여 상기 사용자의 억양을 평가하는 단계를 포함할 수 있다.
상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는, 상기 사용자의 음성 파형의 단어 강세, 문장 강세와 상기 원어민의 음성 파형의 단어, 문장 강세를 비교하여 상기 사용자의 강세를 평가하는 단계를 포함할 수 있다.
상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는, 상기 말하기 지문의 단어 별 진폭의 피크 값이 존재하는 상대적 시간을 기준으로 단어 강세를 분석하여 상기 사용자의 강세를 평가하는 단계를 포함할 수 있다.
상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는, 상기 말하기 지문의 문장 내 단어들 중 진폭의 최대 피크 값이 포함된 단어를 기준으로 문장 강세를 분석하여 상기 사용자의 강세를 평가하는 단계를 포함할 수 있다.
이와 같은 본 발명의 실시예에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법에 의하면 인공지능 및 딥러닝을 이용하고 사용자의 음성 파형을 분석하여 영어 말하기 실력을 평가함으로써, 사용자는 시간과 환경의 제약 없이, 빠른 시간에 신뢰도 높은 영어 말하기 실력을 평가받을 수 있다. 또한, 사용자가 VR/AR 기기를 활용하는 경우, 사용자가 영어 말하기 시험장에서 시험을 치르는 환경을 체험할 수 있게 함으로써, 사용자는 실제 영어 말하기 시험에서 더 좋은 결과를 얻는 효과를 거둘 수 있다.
도 1은 본 발명의 일 실시예에 따른 영어 말하기 평가 시스템을 개략적으로 나타낸 구성도이다.
도 2는 본 발명의 일 실시예에 따른 도 1의 사용자 단말의 구성을 개략적으로 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 도 1의 서비스 서버의 구성을 개략적으로 나타낸 도면이다.
도 4는 본 발명의 일 실시예에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법을 나타낸 순서도이다.
도 5 내지 도 8은 본 발명의 일 실시예에 따른 도 4의 음성 파형을 기초로 한 영어 말하기 평가 방법을 설명하기 위한 도면이다.
아래의 서술에서, 설명의 목적으로, 다양한 실시예들의 이해를 돕기 위해 많은 구체적인 세부 내용들이 제시된다. 그러나, 다양한 실시예들이 이러한 구체적인 세부 내용들 없이 또는 하나 이상의 동등한 방식으로 실시될 수 있다는 것은 명백하다. 다른 예시들에서, 잘 알려진 구조들과 장치들은 다양한 실시예들을 불필요하게 이해하기 어렵게 하는 것을 피하기 위해 블록도로 표시된다.
도면에서, 레이어들, 필름들, 패널들, 영역들 등의 크기 또는 상대적인 크기는 명확한 설명을 위해 과장될 수 있다. 또한, 동일한 참조 번호는 동일한 구성 요소를 나타낸다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 그러나, 만약 어떤 부분이 다른 부분과 "직접적으로 연결되어 있다”*고 서술되어 있으면, 이는 해당 부분과 다른 부분 사이에 다른 소자가 없음을 의미할 것이다. "X, Y, 및 Z 중 적어도 어느 하나", 그리고 "X, Y, 및 Z로 구성된 그룹으로부터 선택된 적어도 어느 하나"는 X 하나, Y 하나, Z 하나, 또는 X, Y, 및 Z 중 둘 또는 그 이상의 어떤 조합 (예를 들면, XYZ, XYY, YZ, ZZ) 으로 이해될 것이다. 여기에서, "및/또는"은 해당 구성들 중 하나 또는 그 이상의 모든 조합을 포함한다.
여기에서, 첫번째, 두번째 등과 같은 용어가 다양한 소자들, 요소들, 지역들, 레이어들, 및/또는 섹션들을 설명하기 위해 사용될 수 있지만, 이러한 소자들, 요소들, 지역들, 레이어들, 및/또는 섹션들은 이러한 용어들에 한정되지 않는다. 이러한 용어들은 하나의 소자, 요소, 지역, 레이어, 및/또는 섹션을 다른 소자, 요소, 지역, 레이어, 및 또는 섹션과 구별하기 위해 사용된다. 따라서, 일 실시예에서의 첫번째 소자, 요소, 지역, 레이어, 및/또는 섹션은 다른 실시예에서 두번째 소자, 요소, 지역, 레이어, 및/또는 섹션이라 칭할 수 있다.
"아래", "위" 등과 같은 공간적으로 상대적인 용어가 설명의 목적으로 사용될 수 있으며, 그렇게 함으로써 도면에서 도시된 대로 하나의 소자 또는 특징과 다른 소자(들) 또는 특징(들)과의 관계를 설명한다. 이는 도면 상에서 하나의 구성 요소의 다른 구성 요소에 대한 관계를 나타내는 데에 사용될 뿐, 절대적인 위치를 의미하는 것은 아니다. 예를 들어, 도면에 도시된 장치가 뒤집히면, 다른 소자들 또는 특징들의 "아래"에 위치하는 것으로 묘사된 소자들은 다른 소자들 또는 특징들의 "위"의 방향에 위치한다. 따라서, 일 실시예에서 "아래" 라는 용어는 위와 아래의 양방향을 포함할 수 있다. 뿐만 아니라, 장치는 그 외의 다른 방향일 수 있다 (예를 들어, 90도 회전된 혹은 다른 방향에서), 그리고, 여기에서 사용되는 그런 공간적으로 상대적인 용어들은 그에 따라 해석된다.
여기에서 사용된 용어는 특정한 실시예들을 설명하는 목적이고 제한하기 위한 목적이 아니다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다 고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 다른 정의가 없는 한, 여기에 사용된 용어들은 본 발명이 속하는 분야에서 통상적인 지식을 가진 자에게 일반적으로 이해되는 것과 같은 의미를 갖는다.
도 1은 본 발명의 일 실시예에 따른 영어 말하기 평가 시스템을 개략적으로 나타낸 구성도이다.
도 1을 참조하면, 영어 말하기 평가 시스템은 사용자 단말(10), 네트워크(20) 및 서비스 서버(30)를 포함하고, 사용자 단말(10)과 서비스 서버(30)는 네트워크(20)를 통해 연결되어 영어 말하기 평가에 필요한 모든 데이터 및 정보를 송수신한다. 실시예로서, 영어 말하기 평가 시스템은 사용자 인증을 위한 정보와 미리 저장된 원어민의 음성 정보를 저장하는 데이터베이스(40)를 포함할 수 있다.
사용자 단말(10)은 사용자가 사용자 단말(10)에 설치된 영어 말하기 평가 프로그램 또는 어플리케이션을 실행하여 영어 말하기 평가를 시작하는 경우, 네트워크(20)를 통해 서비스 서버(30)로 사용자 인증을 요청한다. 사용자 단말(10)은 영어 말하기 평가가 시작되면, 사용자의 설문조사에 따른 답변을 포함하는 사용자 입력을 서비스 서버(30)로 전송하고, 서비스 서버(30)와 영어 말하기 평가에 필요한 모든 데이터 및 정보를 수신하여 사용자에게 보여준다.
사용자 단말(10)은 네트워크(20)에 연결되어 데이터를 송수신할 수 있는 이동통신단말기를 대표적인 예로서 설명하지만 단말기는 이동통신단말기에 한정된 것이 아니고, 모든 정보 통신기기, 멀티미디어 단말기, 유선/무선 단말기, 고정형 단말기 및 IP(Internet Protocol) 단말기 등의 다양한 단말기를 포함할 수 있다. 또한, 단말기는 VR(Virtual Reality) 기기, AR(Augmented Reality) 기기, 휴대폰, PMP(Portable Multimedia Player), MID(Mobile Internet Device), 스마트폰(Smart Phone), 데스크톱(Desktop), 태블릿 컴퓨터(Tablet PC), 노트북(Note book), 넷북(Net book), 서버(Server) 및 정보통신 기기 등과 같은 다양한 이동통신 사양을 갖는 모바일(Mobile) 단말기를 포함할 수 있다.
네트워크(20)는 다양한 형태의 통신망이 이용될 수 있으며, 예컨대, 무선랜(WLAN, Wireless LAN), 블루투스, 와이파이(Wi-Fi), 와이브로(Wibro), 와이맥스(Wimax), 고속하향패킷접속(HSDPA, High Speed Downlink Packet Access) 등의 무선 통신방식 또는 이더넷(Ethernet), xDSL(ADSL, VDSL), HFC(Hybrid Fiber Coax), FTTC(Fiber to The Curb), FTTH(Fiber To The Home) 등의 유선 통신방식이 이용될 수 있다. 한편, 네트워크(20)는 상기에 제시된 통신방식에 한정되는 것은 아니며, 상술한 통신 방식 이외에도 기타 널리 공지되었거나 향후 개발될 모든 형태의 통신 방식을 포함할 수 있다.
서비스 서버(30)는 사용자 단말(10)과 네트워크(20)를 통해 영어 말하기 평가에 필요한 모든 데이터 및 정보를 송수신하여 영어 말하기 평가 서비스를 제공한다.
본 발명의 일 실시예에서, 서비스 서버(30)는 사용자 단말(10)로부터 영어 말하기 평가 시작을 위한 사용자 인증 요청을 수신하여 사용자 로그인 과정을 수행한다. 실시예로서, 서비스 서버(30)는 영어 말하기 평가에 필요한 런칭 모듈을 제공할 수 있다. 실시예로서, 영어 말하기 평가가 시작되면, 서비스 서버(30)는 사용자의 설문조사에 따른 답변을 포함하는 사용자 입력을 사용자 단말(10)로부터 수신하여 사용자의 영어 말하기 평가에 필요한 데이터 및 정보를 송신할 수 있다.
실시예로서, 사용자 단말(10)은 하나 이상의 기능 모듈을 포함할 수 있고, 서비스 서버(30)는 사용자 단말(10)의 하나 이상의 기능 모듈에서 입력 받은 정보들을 수신하여 처리할 수 있다. 실시예로서, 하나 이상의 기능 모듈에서 입력 받은 정보들은 사용자 식별 정보와 사용자 음성 정보를 포함할 수 있다.
서비스 서버(30)는 영어 말하기 평가 서비스 제공자가 운영하는 서버를 포함할 수 있다. 실시예로서, 파고다, 해커스, 민병철, YBM, 시원스쿨과 같은 영어 말하기 평가 서비스 제공자가 운영하는 서버를 포함할 수 있다.
데이터베이스(40)는 사용자 인증을 위한 정보를 포함한 영어 말하기 평가를 위해 필요한 모든 정보를 저장한다. 실시예로서, 데이터베이스(40)는 사용자 인증을 위한 정보와 미리 저장된 원어민의 음성 정보가 저장될 수 있다.
도 2는 본 발명의 일 실시예에 따른 도 1의 사용자 단말의 구성을 개략적으로 나타낸 도면이다.
도 2를 참조하면, 사용자 단말(10)은 하나 이상의 기능 모듈을 포함한다. 실시예로서, 사용자 단말(10)은 디스플레이 모듈(110), 오디오 모듈(120), 입력 모듈(130), 센서 모듈(140), 카메라 모듈(150), 및 통신 모듈(160)을 포함할 수 있다.
디스플레이 모듈(110)은 사용자에게 눈에 보이는 표시를 제공하기 위한 어느 적절한 스크린 또는 영사 시스템을 포함할 수 있다. 실시예로서, 디스플레이 모듈(110)은 VR 기기에 포함되는 HMD(Head Mounted Display)를 포함할 수 있다.
오디오 모듈(120)은 사용자에게 오디오 제공을 위한 임의의 적절한 오디오 컴포넌트(audio component)를 포함할 수 있다. 실시예로서, 오디오 모듈(120)은 스피커 및/또는 마이크를 포함할 수 있다.
입력 모듈(130)은 사용자의 입력 또는 명령을 주는 사용자 인터페이스일 수 있다. 실시예로서, 입력 모듈(130)은 버튼, 키패드, 다이얼, 클릭휠, 터치 패드 또는 터치 스크린 등으로 구현될 수 있다.
센서 모듈(140)은 사용자의 위치, 환경 등의 정보를 센싱하는 센서를 포함할 수 있다. 실시예로서, 센서 모듈(140)은 지자기장의 변화를 감지하는 마그네틱 센서를 포함할 수 있다.
카메라 모듈(150)은 정지 이미지 및 동영상을 포착하거나 촬영할 수 있는 장치를 포함할 수 있다. 실시예로서, 카메라 모듈(150)은 이미지 센서, 렌즈, ISP(image signal processor) 및 플래시 중 적어도 하나를 포함할 수 있다.
통신 모듈(160)은 서비스 서버(30)와 네크워크(20)를 통해 통신하기 위한 모듈을 말하는 것으로, 사용자 단말(10)에 내장될 수 있다. 실시예로서, 통신 모듈(160)은 이동 통신 모듈, 무선 인터넷 모듈, 근거리 통신 모듈 중 적어도 하나를 포함할 수 있다.
도 3은 본 발명의 일 실시예에 따른 도 1의 서비스 서버의 구성을 개략적으로 나타낸 도면이다.
도 3을 참조하면, 서비스 서버(30)는 통신부(310), 저장부(320), 및 제어부(330)를 포함한다.
통신부(310)는 사용자 단말(10)과 네트워크(20)를 통하여 데이터를 주고 받는다.
저장부(320)는 서비스 서버(30)의 동작을 위한 데이터 및 프로그램을 저장한다. 실시예로서, 저장부(320)는 사용자 단말(10)로부터 입력 받은 정보들 및 영어 말하기 평가를 위해 필요한 정보들을 저장하여 데이터베이스(40)와 같은 역할을 할 수 있다. 즉, 저장부(320)는 사용자 인증을 위한 정보와 미리 저장된 원어민의 음성 정보가 저장될 수 있다.
제어부(330)는 사용자 단말(10)로부터 음성을 수신하여 음성 파형을 생성하고, 생성된 음성 파형을 분석하여 분석한 결과를 기초로 사용자의 영어 말하기 실력을 평가한다. 실시예로서, 제어부(330)는 인공지능 음성인식 모듈(331), 자연어 분석 딥러닝 모듈(332), 평가 모듈(333), 및 등급 계산 모듈(334)를 포함할 수 있다.
인공지능 음성인식 모듈(331)은 사용자 단말(10)로부터 음성을 수신하여 인공지능 음성인식 기술(STT: Speech-To-Text)을 적용하여 텍스트를 생성한다. 실시예로서, 인공지능 음성인식 모듈(331)은 사용자 단말(10)로부터 음성을 수신하여 음성 파형을 생성할 수 있다.
자연어 분석 딥러닝 모듈(332)은 인공지능 음성인식 모듈(331)에서 생성된 텍스트 구문을 자연어 분석 딥러닝 모델을 통해 분석한다. 실시예로서, 자연어 분석 딥러닝 모듈(332)은 인공지능 음성인식 모듈(331)에서 생성된 음성 파형을 분석할 수 있다. 실시예로서, 자연어 분석 딥러닝 모듈(332)은 사용자의 음성 파형에서 진폭의 피크 값을 가지는 시간 값들을 추출하고, 말하기 지문에 대한 미리 저장된 원어민의 음성 파형에서 진폭의 피크 값을 가지는 시간 값들을 추출할 수 있다.
평가 모듈(333)은 자연어 분석 딥러닝 모듈(332)에서 분석된 결과를 기초로 사용자의 영어 말하기 실력을 평가한다. 실시예로서, 평가 모듈(333)은 자연어 분석 딥러닝 모듈(332)에서 추출된 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가할 수 있다.
본 발명에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법의 일 실시예에 따르면, 평가 모듈(333)은 사용자의 음성 파형을 기초로 사용자의 발음, 억양 및 강세 중 적어도 하나를 평가한다.
등급 계산 모듈(334)은 평가 모듈(333)에서 평가된 결과를 기초로 사용자 등급을 계산한다.
도 4는 본 발명의 일 실시예에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법을 나타낸 순서도이다.
본 발명에 따른 영어 말하기 평가 방법을 위하여, 사용자 단말 내에 설치된 영어 말하기 평가 프로그램 또는 어플리케이션이 사용자에 의해 실행된다. 사용자 단말에서 영어 말하기 평가 프로그램 또는 어플리케이션이 실행되면, 서비스 서버는 사용자 단말로 영어 말하기 평가를 위한 문제를 제공할 수 있다. 실시예로서, 문제는 설문조사에서 선택한 항목의 주제, 돌발 주제, 및 롤플레이 유형의 문제 중 적어도 하나를 포함할 수 있다.
본 발명에 따른 영어 말하기 평가 방법을 위하여, 영어 말하기 평가를 위한 문제의 제공은 문제 은행 방식을 포함할 수 있다. 실시예로서, 문제 은행 방식은, 데이터베이스에 문제를 유형을 구분하여 사전 등록하는 문제 은행 등록, 문제의 앞 단에 덧붙여질 수 있는 문구를 상황을 구분하여 사전 등록하는 문제 Prefix 등록, 및 문제의 뒷 단에 덧붙여질 수 있는 문구를 상황을 구분하여 사전 등록하는 문제 Postfix 등록을 포함하는 문제 은행 구성 단계와, 설문/돌발/롤플레이 유형 중 문제 유형을 선택하는 문제 유형 선정, 영화, 음악과 같은 주제를 선정하는 문제 주제 선정, 문제 Prefix, 문제 본문 및 문제 Postfix를 조합하여 문제 유형, 문제 주제에 맞추어 문장을 자동 구성하는 문제 문장 구성, 및 사용자 단말에 이미지, 영상 및 사운드 중 적어도 하나를 출력하는 문제 출력을 포함하는 문제 출제 단계를 포함할 수 있다.
도 4를 참조하면, 서비스 서버는 사용자 단말로부터 말하기 지문에 대한 사용자 음성을 수신하고(S10), 사용자를 평가하기 위해, 사용자 음성을 분석한다(S20). 서비스 서버는 사용자 음성에서 음성 파형을 생성한 후(S30), 사용자의 음성 파형에서 진폭의 피크 값을 가지는 시간 값들을 추출하고(S40), 말하기 지문에 대한 미리 저장된 원어민의 음성 파형에서 진폭의 피크 값을 가지는 시간 값들을 추출한다(S50).
서비스 서버는 사용자를 평가하기 위해, 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 사용자의 음성 파형과 원어민의 음성 파형을 매핑(mapping)하여 평가한다(S60). 실시예로서, 서비스 서버는 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 사용자의 음성 파형과 원어민의 음성 파형을 단어(word) 매핑 및 문장(sentence) 매핑하여 평가할 수 있다. 실시예로서, 서비스 서버는 사용자의 발음, 억양 및 강세 중 적어도 하나를 평가할 수 있다.
일 실시예로서, 서비스 서버는 평가 결과를 기초로 사용자 등급을 계산하고, 사용자 단말로 사용자의 평가 결과와 사용자 등급을 제공할 수 있다.
본 발명에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법의 일 실시예에 따르면, 서비스 서버는 사용자의 음성 파형의 연음 처리와 원어민의 음성 파형의 연음 처리를 비교하여 사용자의 발음을 평가할 수 있다. 실시예로서, 서비스 서버는 사용자의 음성 파형과 원어민의 음성 파형의 워드 매핑에서 사라지는 단어를 기준으로 연음 처리를 분석하여 사용자의 발음을 평가할 수 있다. 실시예로서, 서비스 서버는 사용자의 음성 파형의 끊어 읽기와 원어민의 음성 파형의 끊어 읽기를 비교하여 사용자의 발음을 평가할 수 있다. 실시예로서, 사용자의 음성 파형과 원어민의 음성 파형의 진폭 값이 사리지는 시간을 기준으로 끊어 읽기를 분석하여 사용자의 발음을 평가할 수 있다.
본 발명에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법의 일 실시예에 따르면, 서비스 서버는 사용자의 음성 파형의 단어 억양과 원어민의 음성 파형의 단어 억양을 비교하여 상기 사용자의 억양을 평가할 수 있다. 실시예로서, 서비스 서버는 사용자의 음성 파형의 문장 억양과 원어민의 음성 파형의 문장 억양을 비교하여 상기 사용자의 억양을 평가할 수 있다. 실시예로서, 서비스 서버는 말하기 지문의 쉼표와 접속어 주변 단어의 진폭 값들의 추세를 기준으로 단어 억양을 분석하여 사용자의 억양을 평가할 수 있다. 실시예로서, 서비스 서버는 말하기 지문의 문장 마지막 단어의 진폭 값들의 추세를 기준으로 문장 억양을 분석하여 사용자의 억양을 평가할 수 있다.
본 발명에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법의 일 실시예에 따르면, 서비스 서버는 사용자의 음성 파형의 단어 강세, 문장 강세와 원어민의 음성 파형의 단어, 문장 강세를 비교하여 사용자의 강세를 평가할 수 있다. 실시예로서, 서비스 서버는 말하기 지문의 단어 별 진폭의 피크 값이 존재하는 상대적 시간을 기준으로 단어 강세를 분석하여 사용자의 강세를 평가할 수 있다. 실시예로서, 서비스 서버는 말하기 지문의 문장 내 단어들 중 진폭의 최대 피크 값이 포함된 단어를 기준으로 문장 강세를 분석하여 사용자의 강세를 평가할 수 있다.
도 5 내지 도 8은 본 발명의 일 실시예에 따른 도 4의 음성 파형을 기초로 한 영어 말하기 평가 방법을 설명하기 위한 도면이다.
도 5는 본 발명에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법을 위하여 사용자에게 제공되는 말하기 지문의 일 예이다.
도 6은 본 발명에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법에서 미리 저장된 원어민의 음성 파형을 보여주는 도면이다.
도 7은 본 발명에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법에서, 사용자 음성을 분석하여 생성된 사용자의 음성 파형을 보여주는 도면이다.
도 8은 본 발명에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법에서 음성 파형의 진폭에 따른 시간 값들을 기준으로 도 5의 사용자에게 제공되는 말하기 지문과 도 6의 원어민의 음성 파형과 도 7의 사용자의 음성 파형이 매핑된 일 실시예이다. 실시예로서, 본 발명에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법은 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로 도 5의 사용자에게 제공되는 말하기 지문과 도 6의 원어민의 음성 파형과 도 7의 사용자의 음성 파형을 매핑시킬 수 있다.
본 발명의 일 실시예에 따르면, 서비스 서버는 매핑된 사용자의 음성 파형과 원어민의 음성 파형이 유사할수록, 사용자의 말하기 실력이 좋은 것으로 판단하여 평가 점수를 높게 매길 수 있다. 실시예로서, 서비스 서버는 매핑된 사용자의 음성 파형과 원어민의 음성 파형을 비교하여 사용자의 발음, 억양 및 강세 중 적어도 하나를 평가할 수 있다.
본 발명에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법의 일 실시예에 따르면, 서비스 서버는 사용자의 음성 파형의 연음 처리와 원어민의 음성 파형의 연음 처리를 비교하여 사용자의 발음을 평가할 수 있다. 실시예로서, 서비스 서버는 사용자의 음성 파형과 원어민의 음성 파형의 워드 매핑에서 사라지는 단어를 기준으로 연음 처리를 분석하여 사용자의 발음을 평가할 수 있다. 실시예로서, 서비스 서버는 사용자의 음성 파형의 끊어 읽기와 원어민의 음성 파형의 끊어 읽기를 비교하여 사용자의 발음을 평가할 수 있다. 실시예로서, 사용자의 음성 파형과 원어민의 음성 파형의 진폭 값이 사리지는 시간을 기준으로 끊어 읽기를 분석하여 사용자의 발음을 평가할 수 있다. 서비스 서버는 매핑된 사용자의 음성 파형과 원어민의 음성 파형의 연음 처리와 끊어 읽기가 유사할수록, 사용자의 발음 실력이 좋은 것으로 판단하여 평가 점수를 높게 매길 수 있다.
본 발명에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법의 일 실시예에 따르면, 서비스 서버는 사용자의 음성 파형의 단어 억양과 원어민의 음성 파형의 단어 억양을 비교하여 상기 사용자의 억양을 평가할 수 있다. 실시예로서, 서비스 서버는 사용자의 음성 파형의 문장 억양과 원어민의 음성 파형의 문장 억양을 비교하여 상기 사용자의 억양을 평가할 수 있다. 실시예로서, 서비스 서버는 말하기 지문의 쉼표와 접속어 주변 단어의 진폭 값들의 추세를 기준으로 단어 억양을 분석하여 사용자의 억양을 평가할 수 있다. 실시예로서, 서비스 서버는 말하기 지문의 문장 마지막 단어의 진폭 값들의 추세를 기준으로 문장 억양을 분석하여 사용자의 억양을 평가할 수 있다. 서비스 서버는 매핑된 사용자의 음성 파형과 원어민의 음성 파형의 단어 억양과 문장 억양이 유사할수록, 사용자의 억양 실력이 좋은 것으로 판단하여 평가 점수를 높게 매길 수 있다.
본 발명에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법의 일 실시예에 따르면, 서비스 서버는 사용자의 음성 파형의 단어 강세, 문장 강세와 원어민의 음성 파형의 단어, 문장 강세를 비교하여 사용자의 강세를 평가할 수 있다. 실시예로서, 서비스 서버는 말하기 지문의 단어 별 진폭의 피크 값이 존재하는 상대적 시간을 기준으로 단어 강세를 분석하여 사용자의 강세를 평가할 수 있다. 실시예로서, 서비스 서버는 말하기 지문의 문장 내 단어들 중 진폭의 최대 피크 값이 포함된 단어를 기준으로 문장 강세를 분석하여 사용자의 강세를 평가할 수 있다. 서비스 서버는 매핑된 사용자의 음성 파형과 원어민의 음성 파형의 단어 강세와 문장 강세가 유사할수록, 사용자의 강세 실력이 좋은 것으로 판단하여 평가 점수를 높게 매길 수 있다.
전술한 바와 같은 본 발명의 실시예들에 따르면, 본 발명의 일 실시예에 따른 음성 파형을 기초로 한 영어 말하기 평가 방법에 의하면 인공지능 및 딥러닝을 이용하고 사용자의 음성 파형을 분석하여 영어 말하기 실력을 평가함으로써, 사용자는 시간과 환경의 제약 없이, 빠른 시간에 신뢰도 높은 영어 말하기 실력을 평가받을 수 있게 한다. 또한, 사용자가 VR/AR 기기를 활용하는 경우, 사용자가 영어 말하기 시험장에서 시험을 치르는 환경을 체험할 수 있게 함으로써, 사용자는 실제 영어 말하기 시험에서 더 좋은 결과를 얻는 효과를 거둘 수 있다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.
10: 사용자 단말 20: 네트워크
30: 서비스 서버 40: 데이터베이스

Claims (14)

  1. 사용자 단말로부터 말하기 지문에 대한 사용자 음성을 수신하는 단계;
    상기 사용자 음성을 분석하는 단계;
    상기 사용자 음성에서 음성 파형을 생성하는 단계;
    상기 사용자의 음성 파형에서 진폭의 피크 값을 가지는 시간 값들을 추출하는 단계;
    상기 말하기 지문에 대한 미리 저장된 원어민의 음성 파형에서 진폭의 피크 값을 가지는 시간 값들을 추출하는 단계; 및
    상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계를 포함하는 음성 파형을 기초로 한 영어 말하기 평가 방법.
  2. 제 1항에 있어서,
    상기 평가 결과를 기초로 상기 사용자 등급을 계산하는 단계; 및
    상기 사용자 단말로 상기 사용자의 평가 결과와 상기 사용자 등급을 제공하는 단계를 더 포함하는 음성 파형을 기초로 한 영어 말하기 평가 방법.
  3. 제 1항에 있어서,
    상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는,
    상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 단어(word) 매핑 및 문장(sentence) 매핑하여 평가하는 단계를 포함하는 음성 파형을 기초로 한 영어 말하기 평가 방법.
  4. 제 3항에 있어서,
    상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 단어(word) 매핑 및 문장(sentence) 매핑하여 평가하는 단계는,
    상기 사용자의 음성 파형과 상기 원어민의 음성 파형의 워드 매핑에서 사라지는 단어를 기준으로 연음 처리를 분석하여 상기 사용자의 발음을 평가하는 단계를 포함하는 음성 파형을 기초로 한 영어 말하기 평가 방법.
  5. 제 1항에 있어서,
    상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는,
    상기 사용자의 음성 파형의 연음 처리와 상기 원어민의 음성 파형의 연음 처리를 비교하여 상기 사용자의 발음을 평가하는 단계를 포함하는 음성 파형을 기초로 한 영어 말하기 평가 방법.
  6. 제 1항에 있어서,
    상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는,
    상기 사용자의 음성 파형의 끊어 읽기와 상기 원어민의 음성 파형의 끊어 읽기를 비교하여 상기 사용자의 발음을 평가하는 단계를 포함하는 음성 파형을 기초로 한 영어 말하기 평가 방법.
  7. 제 1항에 있어서,
    상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는,
    상기 사용자의 음성 파형과 상기 원어민의 음성 파형의 진폭 값이 사리지는 시간을 기준으로 끊어 읽기를 분석하여 상기 사용자의 발음을 평가하는 단계를 포함하는 음성 파형을 기초로 한 영어 말하기 평가 방법.
  8. 제 1항에 있어서,
    상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는,
    상기 사용자의 음성 파형의 단어 억양과 상기 원어민의 음성 파형의 단어 억양을 비교하여 상기 사용자의 억양을 평가하는 단계를 포함하는 음성 파형을 기초로 한 영어 말하기 평가 방법.
  9. 제 1항에 있어서,
    상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는,
    상기 사용자의 음성 파형의 문장 억양과 상기 원어민의 음성 파형의 문장 억양을 비교하여 상기 사용자의 억양을 평가하는 단계를 포함하는 음성 파형을 기초로 한 영어 말하기 평가 방법.
  10. 제 1항에 있어서,
    상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는,
    상기 말하기 지문의 쉼표와 접속어 주변 단어의 진폭 값들의 추세를 기준으로 단어 억양을 분석하여 상기 사용자의 억양을 평가하는 단계를 포함하는 음성 파형을 기초로 한 영어 말하기 평가 방법.
  11. 제 1항에 있어서,
    상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는,
    상기 말하기 지문의 문장 마지막 단어의 진폭 값들의 추세를 기준으로 문장 억양을 분석하여 상기 사용자의 억양을 평가하는 단계를 포함하는 음성 파형을 기초로 한 영어 말하기 평가 방법.
  12. 제 1항에 있어서,
    상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는,
    상기 사용자의 음성 파형의 단어 강세, 문장 강세와 상기 원어민의 음성 파형의 단어, 문장 강세를 비교하여 상기 사용자의 강세를 평가하는 단계를 포함하는 음성 파형을 기초로 한 영어 말하기 평가 방법.
  13. 제 1항에 있어서,
    상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는,
    상기 말하기 지문의 단어 별 진폭의 피크 값이 존재하는 상대적 시간을 기준으로 단어 강세를 분석하여 상기 사용자의 강세를 평가하는 단계를 포함하는 음성 파형을 기초로 한 영어 말하기 평가 방법.
  14. 제 1항에 있어서,
    상기 음성 파형의 진폭의 피크 값을 가지는 시간 값들을 기준으로, 상기 사용자의 음성 파형과 상기 원어민의 음성 파형을 매핑(mapping)하여 평가하는 단계는,
    상기 말하기 지문의 문장 내 단어들 중 진폭의 최대 피크 값이 포함된 단어를 기준으로 문장 강세를 분석하여 상기 사용자의 강세를 평가하는 단계를 포함하는 음성 파형을 기초로 한 영어 말하기 평가 방법.
KR1020200028500A 2020-03-06 2020-03-06 음성 파형을 기초로 한 영어 말하기 평가 방법 Active KR102361102B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200028500A KR102361102B1 (ko) 2020-03-06 2020-03-06 음성 파형을 기초로 한 영어 말하기 평가 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200028500A KR102361102B1 (ko) 2020-03-06 2020-03-06 음성 파형을 기초로 한 영어 말하기 평가 방법

Publications (2)

Publication Number Publication Date
KR20210112891A true KR20210112891A (ko) 2021-09-15
KR102361102B1 KR102361102B1 (ko) 2022-02-09

Family

ID=77793641

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200028500A Active KR102361102B1 (ko) 2020-03-06 2020-03-06 음성 파형을 기초로 한 영어 말하기 평가 방법

Country Status (1)

Country Link
KR (1) KR102361102B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140068292A (ko) * 2012-11-22 2014-06-09 (주)케이믹글로벌 말소리 유창성 향상을 위한 훈련 학습 시스템
KR20140079677A (ko) * 2012-12-19 2014-06-27 주홍찬 언어 데이터 및 원어민의 발음 데이터를 이용한 연음 학습장치 및 방법
KR101487006B1 (ko) * 2013-11-13 2015-01-29 (주)위버스마인드 연음법칙이 적용되는 발음의 발음교정을 실시하는 외국어 학습장치 및 그 학습방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140068292A (ko) * 2012-11-22 2014-06-09 (주)케이믹글로벌 말소리 유창성 향상을 위한 훈련 학습 시스템
KR20140079677A (ko) * 2012-12-19 2014-06-27 주홍찬 언어 데이터 및 원어민의 발음 데이터를 이용한 연음 학습장치 및 방법
KR101487006B1 (ko) * 2013-11-13 2015-01-29 (주)위버스마인드 연음법칙이 적용되는 발음의 발음교정을 실시하는 외국어 학습장치 및 그 학습방법

Also Published As

Publication number Publication date
KR102361102B1 (ko) 2022-02-09

Similar Documents

Publication Publication Date Title
US8478578B2 (en) Mobile speech-to-speech interpretation system
US11145222B2 (en) Language learning system, language learning support server, and computer program product
US9613140B2 (en) Real-time audio dictionary updating system
US20240296753A1 (en) System and method for artificial intelligence-based language skill assessment and development using avatars
KR102337754B1 (ko) 평가 함수를 적용한 영어 말하기 평가 방법
CN109784128A (zh) 具有文本及语音处理功能的混合现实智能眼镜
KR102410110B1 (ko) 한국어 학습 서비스 제공 방법
WO2021159734A1 (zh) 一种数据处理方法、装置、设备及介质
JP6625772B2 (ja) 検索方法及びそれを用いた電子機器
KR102196917B1 (ko) 영어 말하기 평가 시스템 및 방법
KR101637975B1 (ko) 말하기 자동평가 시스템, 그 방법 및 장치
KR20200000215A (ko) 스피치 코칭 서비스 제공 시스템 및 방법
KR102312993B1 (ko) 인공신경망을 이용한 대화형 메시지 구현 방법 및 그 장치
KR20200113675A (ko) 대사를 캐릭터별 상이한 목소리로 변환하여 전달하는 웹툰 동영상 생성 방법
KR20130052800A (ko) 음성 인식 서비스를 제공하는 장치 및 그의 오류 발음 검출 능력 향상을 위한 음성 인식 방법
KR102361102B1 (ko) 음성 파형을 기초로 한 영어 말하기 평가 방법
KR20220140304A (ko) 학습자의 음성 명령을 인식하는 화상 학습 시스템 및 그 방법
CN115206342A (zh) 一种数据处理方法、装置、计算机设备及可读存储介质
WO2020149621A1 (ko) 영어 말하기 평가 시스템 및 방법
Seymour et al. Your voice is my passport
CN111091821B (zh) 一种基于语音识别的控制方法及终端设备
KR20120042490A (ko) 어학 발음 평가 시스템 및 평가 방법
KR102220926B1 (ko) 영어 문장 생성 시스템 및 방법
KR20200108261A (ko) 음성 인식 수정 시스템
KR20190102484A (ko) 음성 인식 수정 시스템

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20200306

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20210630

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20220126

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20220207

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20220207

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20250130

Start annual number: 4

End annual number: 4