KR20210074580A - 사용자의 말하기 능력을 평가하는 방법 및 시스템 - Google Patents

사용자의 말하기 능력을 평가하는 방법 및 시스템 Download PDF

Info

Publication number
KR20210074580A
KR20210074580A KR1020190165393A KR20190165393A KR20210074580A KR 20210074580 A KR20210074580 A KR 20210074580A KR 1020190165393 A KR1020190165393 A KR 1020190165393A KR 20190165393 A KR20190165393 A KR 20190165393A KR 20210074580 A KR20210074580 A KR 20210074580A
Authority
KR
South Korea
Prior art keywords
user
level
score
evaluating
information
Prior art date
Application number
KR1020190165393A
Other languages
English (en)
Other versions
KR102335081B1 (ko
Inventor
임세라
Original Assignee
주식회사 마블러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 마블러스 filed Critical 주식회사 마블러스
Priority to KR1020190165393A priority Critical patent/KR102335081B1/ko
Publication of KR20210074580A publication Critical patent/KR20210074580A/ko
Application granted granted Critical
Publication of KR102335081B1 publication Critical patent/KR102335081B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/04—Speaking
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B7/00—Electrically-operated teaching apparatus or devices working with questions and answers

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Economics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명의 사용자의 말하기 능력을 평가하는 방법은 사용자의 평가된 레벨에 해당하는 제1 문제를 제공하는 단계; 상기 제1 문제에 대한 음성 정보를 수신하는 단계; 상기 음성 정보를 분석하여 상기 제1 문제에 대한 점수를 산출하는 단계; 상기 산출된 점수에 따라 상기 사용자의 레벨을 재평가하는 단계; 및 연속적인 평가에 따른 상기 사용자의 레벨 변화 추이에 따라 추가 문제를 제공할 것인지 여부를 결정하는 단계를 포함한다.

Description

사용자의 말하기 능력을 평가하는 방법 및 시스템{METHOD AND SYSTEM FOR EVALUATING SPEAKING SKILL OF USER}
본 발명은 사용자의 말하기 능력을 평가하는 방법 및 시스템에 관한 것으로, 보다 자세하게 인공지능을 이용하여 실시간으로 사용자의 말하기 능력을 평가하여 사용자의 레벨을 산출하는 방법 및 시스템에 관한 것이다.
사용자의 언어 능력, 특히 사용자의 외국어 능력을 평가하는 다양한 방식이 존재한다. 그리고 사람에 의한 평가 방식이 아니라 시스템에 의해 사용자의 외국어 능력을 자동으로 평가하는 방식이 개발되어 널리 이용되고 있다.
다만, 기존의 외국어 능력 평가 방식은 텍스트 위주의 평가로 제한되는 경향이 있으며, 대다수의 평가 방식이 맞고 틀리는 것을 명확히 가릴 수 있는 객관식 위주의 평가 방식에 머물러 있는 경우가 많다. 예컨대, 사용자의 어휘 능력을 평가하거나 사용자의 독해 능력을 평가하거나 사용자의 듣기 능력을 평가하기 위해 자동화된 평가 방식이 이용되는 경우가 있다.
이렇게 평가 방식과 평가 영역에 제한이 되는 이유는 주관식 위주의 평가 방식은 맞고 틀리고의 정량적인 평가가 아닌 정성적인 평가가 이루어져야 하기 때문에 명확한 평가 기준을 세우는 것이 어렵기 때문이다.
말하기 능력의 평가 역시 정성적인 평가가 필요하기 때문에, 사람에 의해 평가되는 것으로 인식되고 있다. 따라서 말하기 능력을 자동화하여 평가하는 시스템이 갖춰져 있지 않기 때문에, 말하기 능력을 평가받고자 하는 사용자는 매번 비싼 시험료를 지불해야만 하는 상황에 처해있다.
공개특허공보 10-2012-007404(2012년 01월 20일 공개)
본 발명이 해결하고자 하는 과제는 평가 과정에서 사람의 개입을 최소화하여 자동화된 시스템을 통해 사용자의 말하기 능력을 평가하는 방법 및 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 다른 과제는 사용자의 평가 상황에 따라 제공되는 문제의 수를 달리함으로써 평가의 정확도를 높일 수 있는 사용자의 말하기 능력을 평가하는 방법 및 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 또 다른 과제는 인공지능을 이용하여 특정 문제의 평가를 위한 기준 점수를 지속적으로 조정하는 사용자의 말하기 능력을 평가하는 방법 및 시스템을 제공하는 것이다.
본 발명이 해결하고자 하는 과제들은 이상에서 언급된 과제로 제한되지 않으며, 언급되지 않은 또 다른 과제들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
상술한 과제를 해결하기 위한 본 발명의 일 실시예에 따른 사용자의 말하기 능력을 평가하는 방법은 사용자의 평가된 레벨에 해당하는 제1 문제를 제공하는 단계; 상기 제1 문제에 대한 음성 정보를 수신하는 단계; 상기 음성 정보를 분석하여 상기 제1 문제에 대한 점수를 산출하는 단계; 상기 산출된 점수에 따라 상기 사용자의 레벨을 재평가하는 단계; 및 연속적인 평가에 따른 상기 사용자의 레벨 변화 추이에 따라 추가 문제를 제공할 것인지 여부를 결정하는 단계를 포함한다.
본 발명에 따르면 평가 과정에서 사람의 개입을 최소화하여 자동화된 시스템을 통해 사용자의 말하기 능력을 평가할 수 있고, 이를 통해 공인된 말하기 능력 평가 시험에 응시하는 경우 받을 수 있는 레벨을 예측할 수 있다.
또한, 본 발명에 따르면 사용자의 평가 상황에 따라 제공되는 문제의 수를 달리함으로써 사용자의 말하기 능력에 대한 평가의 정확도를 높일 수 있다.
또한, 본 발명에 따르면 인공지능을 이용하여 특정 문제의 평가를 위한 기준 점수를 지속적으로 조정함으로써 정성적인 평가 과정에서 객관성을 담보하여 사용자의 말하기 능력에 대한 평가의 정확도를 높일 수 있다.
또한, 본 발명에 따르면 언어적인 요소 이외에 영상 정보에 기초하여 비언어적인 요소를 고려하여 사용자의 말하기 능력을 평가할 수 있다.
본 발명의 효과들은 이상에서 언급된 효과로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 사용자의 말하기 능력을 평가하는 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 사용자의 말하기 능력을 평가하는 방법의 순서도이다.
도 3은 도 2의 단계 S100을 구체화한 순서도이다.
도 4는 도 2의 단계 S200을 구체화한 순서도이다.
도 5는 도 4의 단계 S230을 구체화한 순서도이다.
도 6은 도 4의 단계 S240을 구체화한 순서도이다.
도 7은 도 4의 단계 S240을 설명하기 위한 참조도이다.
도 8은 도 2의 단계 S300의 참조도이다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나, 본 발명은 이하에서 개시되는 실시예들에 제한되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술 분야의 통상의 기술자에게 본 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 "포함한다(comprises)" 및/또는 "포함하는(comprising)"은 언급된 구성요소 외에 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다. 명세서 전체에 걸쳐 동일한 도면 부호는 동일한 구성 요소를 지칭하며, "및/또는"은 언급된 구성요소들의 각각 및 하나 이상의 모든 조합을 포함한다. 비록 "제1", "제2" 등이 다양한 구성요소들을 서술하기 위해서 사용되나, 이들 구성요소들은 이들 용어에 의해 제한되지 않음은 물론이다. 이들 용어들은 단지 하나의 구성요소를 다른 구성요소와 구별하기 위하여 사용하는 것이다. 따라서, 이하에서 언급되는 제1 구성요소는 본 발명의 기술적 사상 내에서 제2 구성요소일 수도 있음은 물론이다.
다른 정의가 없다면, 본 명세서에서 사용되는 모든 용어(기술 및 과학적 용어를 포함)는 본 발명이 속하는 기술분야의 통상의 기술자에게 공통적으로 이해될 수 있는 의미로 사용될 수 있을 것이다. 또한, 일반적으로 사용되는 사전에 정의되어 있는 용어들은 명백하게 특별히 정의되어 있지 않는 한 이상적으로 또는 과도하게 해석되지 않는다.
이하, 도 1 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 사용자의 말하기 능력을 평가하는 방법 및 시스템을 설명한다. 도 1은 본 발명의 일 실시예에 따른 사용자의 말하기 능력을 평가하는 시스템의 구성도이고, 도 2는 본 발명의 일 실시예에 따른 사용자의 말하기 능력을 평가하는 방법의 순서도이고, 도 3은 도 2의 단계 S100을 구체화한 순서도이고, 도 4는 도 2의 단계 S200을 구체화한 순서도이도, 도 5는 도 4의 단계 S230을 구체화한 순서도이고, 도 6은 도 4의 단계 S240을 구체화한 순서도이고, 도 7은 도 4의 단계 S240을 설명하기 위한 참조도이고, 도 8은 도 2의 단계 S300의 참조도이다.
본 발명의 일 실시예에 따른 사용자의 말하기 능력을 평가하는 방법 및 시스템은 사용자의 외국어 말하기 능력을 평가하기 위해 사용될 수 있음은 물론 사용자의 모국어 말하기 능력을 평가하기 위해 사용될 수도 있다. 즉, 평가 대상이 되는 언어는 제한이 없으며, 미리 설정될 수 있으며, 변경될 수도 있다.
도 1을 참조하여 사용자의 말하기 능력을 평가하는 환경을 설명한다. 여기서, 평가 서버(200)는 사용자의 말하기 능력을 평가하는 시스템이고, 평가 서버(200)에 의해 본 발명의 실시예들에 따른 사용자의 말하기 능력을 평가하는 방법이 수행될 수 있다.
도 1(a)를 참조하면, 평가 서버(200)는 사용자 단말(100)을 통해 사용자에게 문제를 제공하고 사용자는 사용자 단말(100)을 통해 문제를 확인하고 해당 문제에 대한 음성 정보를 사용자 단말(100)에 제공할 수 있다. 사용자 단말(100)은 사용자로부터 수집된 음성 정보를 평가 서버(200)에 전송하고, 평가 서버(200)는 사용자의 음성 정보에 기초하여 사용자의 말하기 능력에 대한 레벨을 평가할 수 있다.
사용자 단말(100)은 사용자에게 문제를 제공하기 위해 스피커(미도시) 또는 디스플레이(미도시)를 포함하거나, 외부 스피커(미도시) 또는 외부 디스플레이(미도시)와 유선 또는 무선으로 연결되어 외부 스피커(미도시) 또는 외부 디스플레이(미도시)를 통해 사용자에게 문제를 제공할 수도 있다.
몇몇 실시예에서 사용자 단말(100)은 카메라(미도시)를 포함하거나 외부 카메라(미도시)와 연결되어 사용자에 대한 영상 정보를 수집하고, 수집된 영상 정보를 평가 서버(200)에 전송할 수 있다. 평가 서버(200)는 음성 정보 이외에 영상 정보를 더 고려하여 사용자의 말하기 능력에 대한 레벨을 평가할 수 있으며, 영상 정보에는 예컨대 사용자의 안면 이미지 정보가 포함될 수 있지만 이에 제한되지 않는다.
한편, 사용자 단말(100)은 스마트폰이나 태블릿 PC일 수 있지만, 이에 제한되지 않으며, 사용자 단말(100)과 평가 서버(200) 사이의 통신 방식은 유선 또는 무선 방식이라면 제한없이 이용될 수 있다.
도 1(b)를 참조하면, 사용자가 헤드 마운트 디스플레이(110)를 착용할 수 있으며, 사용자 단말(100)은 헤드 마운트 디스플레이(110)와 유선 또는 무선으로 연결되어 헤드 마운트 디스플레이(100)를 통해 사용자에게 문제를 제공하고 사용자로부터 음성 정보 또는 영상 정보 등을 수집할 수 있다.
도 2 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 사용자의 말하기 능력을 평가하는 방법을 설명한다.
도 2를 참조하면, 본 실시예에 따른 사용자의 말하기 능력을 평가하는 방법은 사전 조사에 기반하여 문제를 제공하기 전 사용자의 말하기 능력에 대한 레벨을 평가하는 단계(S100), 문제 제공에 따라 사용자의 말하기 능력에 대한 레벨을 평가하는 단계(S200) 및 사용자의 말하기 능력을 최종 평가 및 분석하고 리포팅하는 단계(S300)를 포함할 수 있다. 다만, 몇몇 실시예에서 본 실시예에 따른 사용자의 말하기 능력을 평가하는 방법은 도 2에 도시된 단계보다 상대적으로 적은 단계를 포함하거나 상대적으로 많은 단계를 포함할 수도 있다.
우선, 도 2를 참조하면 사전 조사에 기반하여 문제를 제공하기 전 사용자의 말하기 능력에 대한 레벨을 평가하는 단계(S100)는 사용자의 말하기 능력을 평가하기 위해 사용자에게 어떠한 수준의 문제를 제공할 것인지를 결정하는 단계이다. 이를 위해, 평가 서버(200)는 사용자에게 문제를 제공하기 전에 사용자에 대하여 직간접적으로 사전 조사를 진행한다.
도 3을 참조하면, 사전 조사에 기반하여 문제를 제공하기 전 사용자의 말하기 능력에 대한 레벨을 평가하는 단계(S100)는 사용자에 대하여 직간접적으로 사전 조사를 하는 단계(S110)와 사전 조사에 기반하여 사용자의 말하기 능력에 대한 레벨을 평가하는 단계(S120)를 포함할 수 있다.
사용자에 대하여 직간접적으로 사전 조사를 하는 단계(S110)로서, 평가 서버(200)는 사용자에 대한 직접적인 사전 조사를 수행할 수 있으며, 사용자 단말(100)을 통해 사용자에게 사전 조사 문항을 제공하고 사용자로부터 해당 문항에 대한 답변을 수신하여 분석할 수 있다. 평가 서버(200)는 사전 조사 문항에 대한 답변을 통해 예컨대 사용자의 나이, 거주 지역, 거주 기간, 학습 집중 분야 및 SNS 정보 중 적어도 하나의 정보를 얻을 수 있다.
평가 서버(200)는 사용자의 나이, 거주 지역, 거주 기간 및 학습 집중 분야에 대한 정보를 분석함으로써 사용자가 평가 대상이 되는 언어를 사용하는 지역에 얼마나 거주를 했는지, 평가 대상이 되는 언어를 어느 정도 학습을 하였는지 여부에 대하여 예측을 할 수 있으며, 예측 결과를 사용자의 말하기 능력에 대한 레벨을 평가할 때 반영할 수 있다.
이 밖에, 평가 서버(200)는 사용자에 대한 간접적인 사전 조사를 수행할 수도 있다. 예컨대, 직접적인 사전 조사를 통해 얻은 사용자의 SNS 정보를 이용하여, 평가 서버(200)는 사용자의 SNS의 콘텐츠에 대한 스크래핑 또는 크롤링을 통해 할 수 있다. 그리고 평가 서버(200)는 스크래핑 또는 크롤링된 콘텐츠를 분석하여 사용자의 나이, 거주 지역, 거주 기간 및 학습 집중 분야에 대한 보충 정보를 도출할 수 있을 뿐 아니라, 사용자가 평가 대상이 되는 언어를 어느 정도의 수준으로 구사하는지, 얼마나 자주 사용하는지 등에 대한 정보를 도출하고, 도출된 정보를 사용자의 말하기 능력에 대한 레벨을 평가할 때 반영할 수 있다.
그리고 사전 조사에 기반하여 사용자의 말하기 능력에 대한 레벨을 평가하는 단계(S120)로서, 평가 서버(200)는 문제를 제공하기 전, 사용자의 나이, 거주 지역, 거주 기간, 학습 집중 분야 및 SNS 정보 중 적어도 하나에 기초하여 사용자의 말하기 능력에 대한 레벨을 평가할 수 있다. 즉, 평가 서버(200)는 직간접적인 사전 조사를 통해 도출된 정보에 기초하여 레벨을 평가할 수 있다.
본 실시예에 따른 사용자의 말하기 능력에 대한 레벨을 평가하는 방법에 따르면, 사전 조사 과정에서 SNS 정보를 이용하여 직접적인 사전 조사 결과에 대하여 검증하거나 직접적인 사전 조사 결과를 보완하는 정보를 얻을 수 있기 때문에, 사용자에게 문제를 제공하기 전 사용자의 말하기 능력에 대한 레벨을 높은 정확도로 산출할 수 있다.
여기서, 말하기 능력에 대한 레벨은 1, 2, 3과 같이 숫자로 레벨이 부여될 수 있지만, 이에 제한되지 않고 초급, 중급, 상급과 같은 방식으로 레벨이 부여될 수도 있다.
이어서, 도 2를 참조하면 문제 제공에 따라 사용자의 말하기 능력에 대한 레벨을 평가하는 단계(S200)에서 사전 조사를 통해 평가된 레벨에 해당하는 문제를 사용자에게 제공하고 해당 문제에 대한 음성 정보를 수신하여 분석함으로써 사용자의 말하기 능력에 대한 레벨을 정확하게 평가할 수 있다. 문제 제공에 따라 사용자의 말하기 능력에 대한 레벨을 평가하는 단계(S200)의 구체적인 단계는 도 4에 도시된다.
도 4를 참조하면 평가 서버(200)는 사용자의 평가된 레벨에 해당하는 문제를 제공할 수 있다(S210).
사전 조사에 기반하여 문제를 제공하기 전 사용자의 말하기 능력에 대한 레벨을 평가하는 단계(S100) 이후에 수행되는 문제를 제공하는 단계에서, 평가 서버(200)는 사전 조사에 기반하여 평가된 레벨에 해당하는 문제를 사용자 단말(100)에 제공할 수 있다. 그리고 추가 문제를 제공할 것인지 여부를 결정하는 단계(S250) 또는 추가 카테고리를 제공할 것인지 여부를 결정하는 단계(S270) 이후에 수행되는 문제를 제공하는 단계에서, 평가 서버(200)는 해당 상황에서 사용자에 대하여 평가된 레벨에 해당하는 문제를 사용자 단말(100)에 제공할 수 있다. 이를 위해, 평가 서버(200)는 각 레벨마다 해당 레벨에 매칭되는 문제 데이터베이스를 포함할 수 있다.
평가 서버(200)가 제공하는 문제의 카테고리는 문장 번역 카테고리, 사진 묘사 카테고리 및 음성 대화 카테고리 중 어느 하나일 수 있지만, 카테고리는 이에 제한되지 않는다.
문장 번역 카테고리는 주어진 문장을 미리 정해진 시간 내에 평가 대상이 되는 언어로 음성 번역하는 것일 수 있다. 이를 위해 주어진 문장은 평가 대상이 되는 언어와 다른 종류의 언어로 제공될 수 있으며, 예컨대 사용자에게 친숙한 종류의 언어(모국어 등)로 주어진 문장이 제공될 수 있지만 이에 제한되지 않는다.
사진 묘사 카테고리는 주어진 사진을 미리 정해진 시간 내에 평가 대상이 되는 언어를 이용하여 음성으로 묘사하는 것일 수 있다.
음성 대화 카테고리는 평가 대상이 되는 언어를 이용하여 자유롭게 대화하는 것일 수 있으며, 이를 위해 평가 서버(200)는 대화 상대방의 영상(picture, image) 및 음성을 사용자 단말(100)에 제공할 수 있다.
이어서, 도 4를 참조하면 평가 서버(200)는 문제에 대한 정보를 수신할 수 있다(S220).
구체적으로, 평가 서버(200)는 문제에 대한 음성 정보를 수신할 수 있다. 즉, 평가 서버(200)는 제공된 문제에 대하여 사용자의 반응으로서 사용자의 음성 정보를 수신할 수 있다. 몇몇 실시예에서 평가 서버(200)는 문제에 대한 음성 정보 이외에 영상 정보를 더 수신할 수도 있다.
이어서, 도 4를 참조하면 평가 서버(200)는 문제에 대한 점수를 산출할 수 있다(S230).
예컨대, 평가 서버(200)는 음성 정보를 분석하여 문제에 대한 점수를 산출할 수 있으며, 몇몇 실시예에서 평가 서버(200)는 음성 정보 및 영상 정보를 분석하여 문제에 대한 점수를 산출할 수도 있다. 문제에 대한 점수를 산출하는 단계(S230)의 구체적인 단계는 도 5에 도시된다.
도 5를 참조하면 평가 서버(200)는 음성 정보를 STT(Speech To Text) 엔진을 이용하여 텍스트 정보로 변경하고(S232), 텍스트 정보가 미리 정해진 개수 이상의 유효한 단어 정보를 포함하는지 확인할 수 있다(S233). 만약 텍스트 정보에 포함된 유효한 단어 정보가 미리 정해진 개수보다 적은 경우, 평가 서버(200)는 해당 문제에 대하여 사용자에게 재응답을 요구할 수 있다.
이어서, 도 5를 참조하면 텍스트 정보가 미리 정해진 개수 이상의 유효한 단어를 포함하는 경우, 평가 서버(200)는 텍스트 정보를 문제에 대하여 미리 정해진 답변과 비교하여 매칭되는 정도에 따라 제1 점수를 산출할 수 있다(S234).
말하기 능력을 평가하는 것이 주관적이고 정성적인 평가이기는 하지만, 평가 결과를 점수화하기 위해 평가 서버(200)는 해당 문제에 대하여 미리 정해진 답변을 저장하고 있으며, 우선 텍스트 정보와 미리 정해진 답변과 비교하여 정확히 일치되는 사항에 대하여 점수를 부여함으로써 제1 점수를 산출할 수 있다. 다만, 주관식 평가의 특성 상 정확히 일치하지 않는 부분이 많을 것이기 때문에 평가 서버(200)는 후술하는 단계를 진행한다.
여기서, 미리 정해진 답변을 각 문제마다 1개로 정해진 것은 아니며, 각 문제마다 복수의 미리 정해진 답변이 존재할 수 있으며, 평가 서버(200)는 평가 과정의 정보를 이용하여 미리 정해진 답변을 지속적으로 갱신하여 관리할 수 있다. 평가 서버(200)는 텍스트 정보에 포함된 유효한 단어를 기반으로 해당 유효한 단어를 조합하여 나올 수 있는 맥락에 적합한 답변을 복수의 미리 정해진 답변 중에서 추출한 후, 추출된 미리 정해진 답변과 텍스트 정보를 비교할 수 있다. 따라서 추출된 미리 정해진 답변은 복수의 미리 정해진 답변 중 맥락에 가장 적합한 답변일 수 있다.
이어서, 도 5를 참조하면 평가 서버(200)는 텍스트 정보에 미리 정해진 핵심 표현 또는 핵심 문장 구조가 포함된 정도에 따라 제2 점수를 산출할 수 있다(S235). 구체적으로, 평가 서버(200)는 텍스트 정보에 미리 정해진 핵심 표현/단어 또는 핵심 문장 구조가 포함되었는지 여부를 파악함으로써 정확히 일치되지 않더라도 미리 정해진 답변에 근접하게 표현된 사항에 대하여 점수를 부가할 수 있다.
한편, 미리 정해진 핵심 표현/단어, 핵심 문장 구조는 고정되어 있는 것은 아니고, 평가 서버(200)는 평가 과정의 정보를 이용하여 미리 정해진 핵심 표현/단어, 핵심 문장 구조를 지속적으로 갱신하여 관리할 수 있다.
이어서, 도 5를 참조하면 평가 서버(200)는 제1 점수 및 제2 점수를 이용하여 문제에 대한 점수를 산출할 수 있다(S236).
몇몇 실시예에서 평가 서버(200)는 텍스트 정보에 기초하여 산출되는 말의 빠르기 정보와 사용자 단말(100)에 문제 제공 후 사용자로부터 음성 정보가 입력된 시간에 기초한 답변의 즉시성 정보에 기초하여 제3 점수를 산출할 수 있으며, 문제에 대한 점수를 산출하는 단계(S236)에서 제1 점수 내지 제3 점수를 이용하여 문제에 대한 점수를 산출할 수 있다.
몇몇 실시예에서 평가 서버(200)는 텍스트 정보에 잘못된 문장 구조가 포함되어 있거나, 핵심 문법이 틀리게 표현되어 있거나, 핵심 단어가 누락되었는지 여부에 기초하여 제4 점수를 산출할 수 있으며, 문제에 대한 점수를 산출하는 단계(S236)에서 제1 및 제2 점수에서 제4 점수를 차감시켜 문제에 대한 점수를 산출하거나, 제1 내지 제3 점수에서 제4 점수를 차감시켜 문제에 대한 점수를 산출할 수 있다.
이어서, 도 4를 참조하면 평가 서버(200)는 산출된 점수에 따라 사용자의 레벨을 재평가할 수 있다(S240). 산출된 점수에 따라 사용자의 레벨을 재평가하는 단계(S240)의 구체적인 단계는 도 6에 도시된다.
도 6을 참조하면 평가 서버(200)는 산출된 점수를 해당 문제에 대한 기준 점수와 비교하고(S241), 산출된 점수가 레벨 상승 구간, 레벨 유지 구간 및 레벨 하강 구간 중 어느 구간에 속하는지 확인하여 사용자의 레벨을 변경 또는 유지할 수 있다(S245).
예컨대, 도 7을 참조하면 해당 문제에 대하여 레벨 상승 구간, 레벨 유지 구간 및 레벨 하강 구간을 나누는 기준 점수가 미리 정해져 있으며, 산출된 점수에 따라 현재 사용자의 평가된 레벨을 변경하거나 유지할 수 있다. 여기서, 말하기 능력을 평가하는 것은 정오가 명확한 것이 아니기 때문에, 본 실시예에 따른 말하기 능력을 평가하는 방법에서 레벨 상승 구간, 레벨 유지 구간 및 레벨 하강 구간 각각에 대하여 범위를 설정하였다.
여기서, 본 실시예에 따른 말하기 능력을 평가하는 방법은 주관식 평가의 객관성을 담보하기 위해, 특정한 문제에 대하여 레벨 상승 구간, 레벨 유지 구간 및 레벨 하강 구간을 구획하는 기준 점수를 지속적으로 조정한다.
구체적으로, 도 4를 참조하면 본 실시예에 따른 말하기 능력을 평가하는 방법은 문제에 대한 산출된 점수를 반영하여 머신 러닝 알고리즘을 적용하여 문제에 대한 기준 점수를 조정하는 단계(S231)를 포함한다. 즉, 특정한 문제에 대하여 점수가 산출될 때마다 해당 정보를 반영하여 머신 러닝 알고리즘을 적용하여 문제에 대한 기준 점수를 조정할 수 있다. 예컨대, 특정한 문제에 대하여 높은 점수가 지속적으로 산출된다면 해당 문제는 상대적으로 쉬운 문제이기 때문에, 레벨 상승 구간, 레벨 유지 구간 및 레벨 하강 구간을 구획하는 기준 점수가 높아질 수 있다. 즉, 특정한 문제에 대한 점수 분포가 정규 분포를 따라지 않고 비정상적인 분포를 보이는 경우, 평가 서버(200)는 이를 조정하기 위해 기준 점수를 조정할 수 있다.
따라서 서로 다른 사용자가 특정한 문제에 대하여 서로 다른 시점에 점수를 획득한 경우, 어느 하나의 사용자는 레벨이 유지되고 다른 하나의 사용자는 레벨이 변경되는 등 서로 다르게 레벨이 평가될 수 있다.
몇몇 실시예에서, 문제에 대한 산출된 점수를 반영하여 머신 러닝 알고리즘을 적용하여 문제에 대한 기준 점수를 조정하는 단계(S231)에서 평가 서버(200)는 평가 기준을 조정함으로써 기준 점수를 조정하는 것과 같은 효과를 얻을 수 있다. 예컨대, 평가 서버(200)는 평가 과정의 정보를 이용하여 미리 정해진 답변을 지속적으로 갱신하여 관리할 수 있고, 평가 서버(200)는 평가 과정의 정보를 이용하여 미리 정해진 핵심 표현/단어, 핵심 문장 구조를 지속적으로 갱신하여 관리할 수 있다
이어서, 도 4를 참조하면 평가 서버(200)는 연속적인 평가에 따른 사용자의 레벨 변화 추이에 따라 추가 문제를 제공할 것인지 여부를 결정할 수 있다(S250).
본 실시예에 따른 말하기 능력을 평가하는 방법에 따르면, 각 문제를 풀 때마다 사용자의 레벨이 변경될 수 있다. 따라서 사용자에게 일률적으로 미리 정해진 개수의 문제만을 제공한다면, 사용자의 레벨을 정확히 평가하기 어려울 수 있다. 예컨대, 평가 대상인 언어에 대하여 상당한 말하기 능력을 가지고 있지만, 사전 조사에서 정보 부족으로 인하여 낮은 레벨을 부여받은 사용자가 있는 경우, 3개의 문제만을 사용자에게 제공하기로 되었다면 해당 사용자는 3개의 문제를 잘 풀더라도 고작 레벨을 3단계 밖에 높일 수 없게 되어, 레벨이 더욱 상승할 여지가 있음에도 불구하고 문제가 제공되지 않아 본인 능력에 비해 상대적으로 낮은 레벨에 머무를 가능성이 있다.
이러한 단점을 보완하기 위해 평가 서버(200)는 연속적인 평가에 따른 사용자의 레벨 변화 추이를 분석하여 추가 문제를 제공할 것인지 여부를 판단한다. 예컨대, 평가 서버(200)는 사용자의 레벨에 대한 재평가 결과 레벨 변화가 없는 경우 추가 문제의 제공이 필요없는 것으로 결정할 수 있으며, 사용자의 레벨에 대한 재평가 결과 레벨 변화가 있는 경우 추가 문제의 제공이 필요한 것으로 결정할 수 있다.
따라서 본 실시예에 따른 말하기 능력을 평가하는 방법에 따르면, 사용자의 레벨 변화 추이에 따라 사용자마다 서로 다른 개수의 문제를 제공받을 수 있으며, 이를 통해 사용자의 말하기 능력을 정확하게 평가할 수 있다.
이어서, 도 4를 참조하면 평가 서버(200)는 추가 문제의 제공이 필요없는 것으로 결정된 경우, 사용자의 재평가된 레벨을 사용자의 최종 레벨로 평가할 수 있다(S260).
여기서, 평가 서버(200)는 추가 문제의 제공이 필요없는 것으로 결정된 경우, 사용자의 재평가된 레벨을 사용자의 특정 카테고리에 대한 최종 레벨로 평가할 수 있다. 예컨대, 사용자에게 제공된 문제가 제1 카테고리에 포함되는 문제이고, 추가 문제의 제공이 필요없는 것으로 결정된 경우, 평가 서버(200)는 사용자의 재평가된 레벨을 제1 카테고리와 관련하여 사용자의 최종 레벨로 평가할 수 있다.
다만, 추가 문제의 제공이 필요한 것으로 결정된 경우, 평가 서버(200)는 재평가된 레벨에 해당하는 문제를 사용자 단말(100)에 제공할 수 있다(S210).
이어서, 도 4를 참조하면 평가 서버(200)는 추가 카테고리에 대한 문제를 제공할 것인지 여부를 결정할 수 있다(S270).
전술한 바와 같이, 평가 서버(200)가 제공하는 문제의 카테고리는 문장 번역 카테고리, 사진 묘사 카테고리 및 음성 대화 카테고리과 같이 다양한 카테고리를 포함할 수 있으며, 각각의 카테고리는 사용자의 말하기 능력을 평가하려는 초점이 상이하므로, 정확한 평가를 위해 평가 서버(200)는 다양한 카테고리에 해당하는 문제를 사용자 단말(100)에 제공하며, 하나의 카테고리에 대한 평가가 끝난 이후 다른 카테고리에 대한 평가를 진행한다.
따라서 추가 카테고리에 대한 문제를 제공하는 것으로 결정된 경우, 평가 서버(200)는 사용자의 재평가된 레벨을 제1 카테고리와 관련하여 사용자의 최종 레벨로 평가한 이후, 제2 카테고리에 포함되는 문제를 사용자 단말(100)에 제공할 수 있다. 다만, 제2 카테고리에 포함되는 문제는 사용자의 재평가된 레벨에 해당하는 문제일 수 있다.
여기서, 제1 카테고리는 문장 번역, 사진 묘사 및 음성 대화 중 어느 하나이고, 제2 카테고리는 문장 번역, 사진 묘사 및 음성 대화 중 다른 하나일 수 있다.
이어서, 도 2를 참조하면 추가 카테고리에 대한 문제를 제공하지 않는 것으로 결정된 경우, 평가 서버(200)는 사용자의 말하기 능력을 최종 평가 및 분석하고 리포팅 할 수 있다(S300).
예컨대, 평가 서버(200)는 제1 카테고리의 최종 레벨과 제2 카테고리의 최종 레벨을 고려하여 말하기 능력과 관련하여 사용자의 최종 레벨을 결정할 수 있다.
그리고 도 8을 참조하면, 리포팅 결과로서 공인 시험 점수에 대한 예측 결과, 사용자의 점수 및 레벨 및 평가 대상인 언어와 관련된 피드백을 제공할 수 있지만, 이에 제한되지 않는다.
본 발명의 실시예와 관련하여 설명된 방법 또는 알고리즘의 단계들은 하드웨어로 직접 구현되거나, 하드웨어에 의해 실행되는 소프트웨어 모듈로 구현되거나, 또는 이들의 결합에 의해 구현될 수 있다. 소프트웨어 모듈은 RAM(Random Access Memory), ROM(Read Only Memory), EPROM(Erasable Programmable ROM), EEPROM(Electrically Erasable Programmable ROM), 플래시 메모리(Flash Memory), 하드 디스크, 착탈형 디스크, CD-ROM, 또는 본 발명이 속하는 기술 분야에서 잘 알려진 임의의 형태의 컴퓨터 판독가능 기록매체에 상주할 수도 있다.
이상, 첨부된 도면을 참조로 하여 본 발명의 실시예를 설명하였지만, 본 발명이 속하는 기술분야의 통상의 기술자는 본 발명이 그 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 제한적이 아닌 것으로 이해해야만 한다.
100: 사용자 단말 110: 헤드 마운트 디스플레이
200: 평가 서버

Claims (12)

  1. 사용자의 평가된 레벨에 해당하는 제1 문제를 제공하는 단계;
    상기 제1 문제에 대한 음성 정보를 수신하는 단계;
    상기 음성 정보를 분석하여 상기 제1 문제에 대한 점수를 산출하는 단계;
    상기 산출된 점수에 따라 상기 사용자의 레벨을 재평가하는 단계; 및
    연속적인 평가에 따른 상기 사용자의 레벨 변화 추이에 따라 추가 문제를 제공할 것인지 여부를 결정하는 단계
    를 포함하는 사용자의 말하기 능력을 평가하는 방법.
  2. 제1항에 있어서,
    추가 문제의 제공이 필요없는 것으로 결정된 경우, 상기 사용자의 재평가된 레벨을 사용자의 최종 레벨로 평가하는 단계
    를 더 포함하는 사용자의 말하기 능력을 평가하는 방법.
  3. 제2항에 있어서,
    추가 문제를 제공할 것인지 여부를 결정하는 단계에서,
    상기 사용자의 레벨에 대한 재평가 결과 레벨 변화가 없는 경우 추가 문제의 제공이 필요없는 것으로 결정하는 것인, 사용자의 말하기 능력을 평가하는 방법.
  4. 제1항에 있어서,
    상기 제1 문제는 제1 카테고리에 포함되는 문제이고,
    추가 문제의 제공이 필요없는 것으로 결정된 경우, 상기 사용자의 재평가된 레벨을 상기 제1 카테고리와 관련하여 사용자의 최종 레벨로 평가하는 단계와,
    상기 제2 카테고리에 포함되는 제2 문제를 제공하는 단계로서, 상기 제2 문제는 상기 사용자의 재평가된 레벨에 해당하는 문제인 것인, 제2 문제를 제공하는 단계
    를 더 포함하는 사용자의 말하기 능력을 평가하는 방법.
  5. 제4항에 있어서,
    상기 제1 카테고리는 문장 번역, 사진 묘사 및 음성 대화 중 어느 하나이고,
    상기 제2 카테고리는 문장 번역, 사진 묘사 및 음성 대화 중 다른 하나인 것인, 사용자의 말하기 능력을 평가하는 방법.
  6. 제4항에 있어서,
    상기 제1 카테고리의 최종 레벨과 상기 제2 카테고리의 최종 레벨을 고려하여 상기 사용자의 최종 레벨을 결정하는 단계
    를 더 포함하는 것인, 사용자의 말하기 능력을 평가하는 방법.
  7. 제1항에 있어서,
    상기 산출된 점수에 따라 상기 사용자의 레벨을 재평가하는 단계는,
    상기 산출된 점수를 상기 제1 문제에 대한 기준 점수와 비교하고,
    상기 산출된 점수가 레벨 상승 구간, 레벨 유지 구간 및 레벨 하강 구간 중 어느 구간에 속하는지 확인하여 상기 사용자의 레벨을 변경 또는 유지하는 것인, 사용자의 말하기 능력을 평가하는 방법.
  8. 제7항에 있어서,
    상기 제1 문제에 대한 상기 산출된 점수를 반영하여 머신 러닝 알고리즘을 적용하여 상기 제1 문제에 대한 기준 점수를 조정하는 단계
    를 더 포함하는 사용자의 말하기 능력을 평가하는 방법.
  9. 제1항에 있어서,
    상기 제1 문제에 대한 음성 정보를 수신하는 단계에서, 상기 음성 정보 이외에 영상 정보를 더 수신하고,
    상기 음성 정보를 분석하여 상기 제1 문제에 대한 점수를 산출하는 단계에서, 상기 음성 정보 및 상기 영상 정보를 분석하여 상기 제1 문제에 대한 점수를 산출하는 것인, 사용자의 말하기 능력을 평가하는 방법.
  10. 제1항에 있어서,
    상기 제1 문제를 제공하기 전, 상기 사용자의 나이, 거주 지역, 거주 기간, 학습 집중 분야 및 SNS 정보 중 적어도 하나에 기초하여 상기 사용자의 말하기 능력에 대한 레벨을 평가하는 단계
    를 더 포함하는 것인, 사용자의 말하기 능력을 평가하는 방법.
  11. 제1항에 있어서,
    상기 음성 정보를 분석하여 상기 제1 문제에 대한 점수를 산출하는 단계는,
    상기 음성 정보를 STT 엔진을 이용하여 텍스트 정보로 변경하고,
    상기 텍스트 정보가 미리 정해진 개수 이상의 유효한 단어 정보를 포함하는지 확인하고,
    상기 텍스트 정보가 미리 정해진 개수 이상의 유효한 단어를 포함하는 경우, 상기 텍스트 정보를 상기 제1 문제에 대하여 미리 정해진 답변과 비교하여 매칭되는 정도에 따라 제1 점수를 산출하고,
    상기 텍스트 정보에 미리 정해진 핵심 표현 또는 핵심 문장 구조가 포함된 정도에 따라 제2 점수를 산출하고,
    상기 제1 점수 및 상기 제2 점수를 이용하여 상기 제1 문제에 대한 점수를 산출하는 것을 포함하고,
    상기 미리 정해진 답변, 미리 정해진 핵심 표현 및 미리 정해진 핵심 문장 구조는 갱신되는 것인, 사용자의 말하기 능력을 평가하는 방법.
  12. 제11항에 있어서,
    상기 텍스트 정보에 기초하여 산출되는 말의 빠르기 정보와 상기 제1 문제 제공 후 상기 음성 정보가 입력된 시간에 기초한 답변의 즉시성 정보에 기초하여 제3 점수를 산출하고,
    상기 제1 점수 내지 상기 제3 점수를 이용하여 상기 제1 문제에 대한 점수를 산출하는 것을 포함하는 것인, 사용자의 말하기 능력을 평가하는 방법.
KR1020190165393A 2019-12-12 2019-12-12 사용자의 말하기 능력을 평가하는 방법 및 시스템 KR102335081B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190165393A KR102335081B1 (ko) 2019-12-12 2019-12-12 사용자의 말하기 능력을 평가하는 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190165393A KR102335081B1 (ko) 2019-12-12 2019-12-12 사용자의 말하기 능력을 평가하는 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20210074580A true KR20210074580A (ko) 2021-06-22
KR102335081B1 KR102335081B1 (ko) 2021-12-03

Family

ID=76600485

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190165393A KR102335081B1 (ko) 2019-12-12 2019-12-12 사용자의 말하기 능력을 평가하는 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102335081B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102406561B1 (ko) * 2021-12-08 2022-06-09 주식회사 세븐포인트원 완공률이 향상된 인공지능 콜 기반의 치매 검사 방법 및 서버
WO2023192821A1 (en) * 2022-04-01 2023-10-05 Yoodli, Inc. Communication skills training

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010044657A (ko) * 2001-03-14 2001-06-05 김선래 말하기 능력 평가 시스템
KR20030027990A (ko) * 2001-09-27 2003-04-08 주식회사 아이티엔방송 음성 인식 시스템을 이용한 인터넷 영어 능력 평가 시스템및 그 방법
KR20070024918A (ko) * 2005-08-31 2007-03-08 김유신 가상 공간에서 화상 커뮤니케이션 서비스 제공 장치 및방법
KR20070066761A (ko) * 2005-12-22 2007-06-27 이동수 문법 없이 배우는 언어학습과 언어 감각들의 테스트와 훈련방법 및 시스템
KR20100031877A (ko) * 2008-09-16 2010-03-25 주식회사 엔씨소프트 통신망을 이용한 영어학습 진행 시스템과 그 방법, 가상 공간에서의 ｎｐｃ 구동 방법
KR20120007404A (ko) 2010-07-14 2012-01-20 주식회사 언어과학 어휘 레벨 추정방법

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20010044657A (ko) * 2001-03-14 2001-06-05 김선래 말하기 능력 평가 시스템
KR20030027990A (ko) * 2001-09-27 2003-04-08 주식회사 아이티엔방송 음성 인식 시스템을 이용한 인터넷 영어 능력 평가 시스템및 그 방법
KR20070024918A (ko) * 2005-08-31 2007-03-08 김유신 가상 공간에서 화상 커뮤니케이션 서비스 제공 장치 및방법
KR20070066761A (ko) * 2005-12-22 2007-06-27 이동수 문법 없이 배우는 언어학습과 언어 감각들의 테스트와 훈련방법 및 시스템
KR20100031877A (ko) * 2008-09-16 2010-03-25 주식회사 엔씨소프트 통신망을 이용한 영어학습 진행 시스템과 그 방법, 가상 공간에서의 ｎｐｃ 구동 방법
KR20120007404A (ko) 2010-07-14 2012-01-20 주식회사 언어과학 어휘 레벨 추정방법

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102406561B1 (ko) * 2021-12-08 2022-06-09 주식회사 세븐포인트원 완공률이 향상된 인공지능 콜 기반의 치매 검사 방법 및 서버
WO2023192821A1 (en) * 2022-04-01 2023-10-05 Yoodli, Inc. Communication skills training

Also Published As

Publication number Publication date
KR102335081B1 (ko) 2021-12-03

Similar Documents

Publication Publication Date Title
Bosker et al. The perception of fluency in native and nonnative speech
CN103559892B (zh) 口语评测方法及系统
KR20130128716A (ko) 어학 학습 시스템 및 학습 방법
US11881010B2 (en) Machine learning for video analysis and feedback
US11507888B2 (en) Training method and device for machine translation model and storage medium
US9652999B2 (en) Computer-implemented systems and methods for estimating word accuracy for automatic speech recognition
CN103559894A (zh) 口语评测方法及系统
RU2720359C1 (ru) Способ и оборудование распознавания эмоций в речи
KR102335081B1 (ko) 사용자의 말하기 능력을 평가하는 방법 및 시스템
US20200051451A1 (en) Short answer grade prediction
JP2020047234A (ja) データ評価方法、装置、機器及び読み取り可能な記憶媒体
US20230176911A1 (en) Task performance adjustment based on video analysis
US11361754B2 (en) Method and system for speech effectiveness evaluation and enhancement
Wang Detecting pronunciation errors in spoken English tests based on multifeature fusion algorithm
KR20220009164A (ko) 대화기반 정신장애선별방법 및 그 장치
CN112052686A (zh) 一种用户交互式教育的语音学习资源推送方法
KR20180005876A (ko) 음성데이터 기반 인성평가를 통한　인공지능형 개인신용평가 및 분석　시스템 및 방법
CN115116474A (zh) 口语评分模型训练方法、评分方法、装置及电子设备
CN114841157A (zh) 基于数据分析的线上互动方法、系统、设备及存储介质
JP7064413B2 (ja) 言語識別モデルを用いた発音評価プログラム、装置及び方法
KR100773733B1 (ko) 인터넷을 통한 언어능력 평가방법
Bortlík Czech accent in English: Linguistics and biometric speech technologies
TWI725535B (zh) 語音互動探知使用者行為與屬性特徵之方法
CN116578692B (zh) 基于大数据的ai智能服务计算方法
Inceoglu et al. Monitoring student behavior in autonomous automatic speech recognition-based pronunciation practice

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant