KR102556797B1 - 인공지능 모델 기반 외국어 말하기 능력에 대한 자동 평가 및 사용자 맞춤형 외국어 교육 콘텐츠 큐레이션 서비스 제공 방법, 장치 및 시스템 - Google Patents

Abstract

본 발명의 일실시예는 인공지능 모델을 기반으로 외국어 말하기 평가 시 피시험자들이 제출한 답안을 자동으로 채점하고, 채점된 점수를 기반으로 피시험자가 부족한 영역들을 집중적으로 학습할 수 있도록 외국어 교육 콘텐츠를 큐레이션하여 제공할 수 있는, 인공지능 모델 기반 외국어 말하기 능력에 대한 자동 평가 및 사용자 맞춤형 외국어 교육 콘텐츠 큐레이션 서비스 제공 방법, 장치 및 시스템에 관한 것이다.

Description

인공지능 모델 기반 외국어 말하기 능력에 대한 자동 평가 및 사용자 맞춤형 외국어 교육 콘텐츠 큐레이션 서비스 제공 방법, 장치 및 시스템{METHOD, APPARATUS AND SYSTEM FOR AUTOMATICALLY EVALUATING FOREIGN LANGUAGE SPEAKING ABILITY BASED ON ARTIFICIAL INTELLIGENCE MODEL AND PROVIDING USER-CUSTOMIZED FOREIGN LANGUAGE EDUCATION CONTENT CURATION SERVICE}

아래 실시예들은 인공지능 모델을 기반으로 외국어 말하기 평가 시 피시험자들이 제출한 답안을 자동으로 채점하고, 채점된 점수를 기반으로 피시험자가 부족한 영역들을 집중적으로 학습할 수 있도록 외국어 교육 콘텐츠를 큐레이션하여 제공할 수 있는, 인공지능 모델 기반 외국어 말하기 능력에 대한 자동 평가 및 사용자 맞춤형 외국어 교육 콘텐츠 큐레이션 서비스 제공 방법, 장치 및 시스템에 관한 것이다.

오래전부터 외국어 학습에 관한 관심도는 매우 높았으며, 시대에 따라 외국어 학습 중 중요하게 평가되는 영역이 변화해오고 있다.

2010년대 이전의 시대에서는 외국어, 특히 영어 학습 시 독해와 관련한 능력이 중요하게 여겨졌으며, 대학수학능력시험 등 다양한 곳에서 독해능력 위주의 시험이 수행되어 왔다.

그러나 2010년대 후반 이후에는 독해력이 뛰어나더라도 실질적인 외국어 활용 능력이 낮다는 문제점이 제기됨에 따라, 각종 입사시험 등에서는 독해와 관련한 시험 점수 요구 조건을 폐기하고 스피킹(말하기) 시험 점수만을 요구하는 경우가 증가해왔다.

다만, 현재 수행되고 있는 스피킹 시험들은 피시험자가 제출한 음성 답안을 평가자가 직접 청취하고 이를 기반으로 점수를 평가하고 있어서, 평가자들의 작업기간에 따라 점수 산출에 소정의 시간이 소요되고, 평가에 개인의 주관적 판단이 개입될 수밖에 없다는 한계점이 있었다.

KR 10-0628983 B KR 10-2296878 B

본 발명의 일실시예가 해결하고자 하는 과제는, 전술한 종래 외국어 말하기 평가의 한계점을 극복하기 위하여, 외국어 말하기 평가의 채점을 인공지능을 기반으로 자동화하고, 평가된 점수를 기반으로 피시험자에게 부족한 영역을 보다 집중적으로 학습할 수 있도록 콘텐츠를 큐레이션하여 제공할 수 있는, 인공지능 모델 기반 외국어 말하기 능력에 대한 자동 평가 및 사용자 맞춤형 외국어 교육 콘텐츠 큐레이션 서비스 제공 방법, 장치 및 시스템을 제공하는 것이다.

일실시예에 따르면, 장치에 의해 수행되는 인공지능 모델 기반 외국어 말하기 능력에 대한 자동 평가 및 사용자 맞춤형 외국어 교육 콘텐츠 큐레이션 서비스 제공 방법에 있어서, 제1 사용자에 대한 외국어 말하기 발문(發問)별로 답문(答問)을 녹취하는 단계; 녹취된 답문 소리 데이터를 기반으로 음성을 분석하여 답문 텍스트 데이터를 생성하는 단계; 상기 외국어 말하기 발문별로, 상기 답문 텍스트 데이터의 제1 점수를 평가하는 단계; 상기 외국어 말하기 발문별로, 상기 답문 소리 데이터의 제2 점수를 평가하는 단계; 제1 인공지능 모델에 기반하여, 상기 외국어 말하기 발문별 제1 점수 및 제2 점수로부터 상기 제1 사용자에 대한 학습 우선도를 산출하는 단계; 상기 학습 우선도를 기반으로, 상기 제1 사용자에 대한 상기 외국어 말하기 학습용 추천 콘텐츠를 추출하는 단계; 및 상기 외국어 말하기 학습용 추천 콘텐츠를 디스플레이하는 단계;를 포함하는, 인공지능 모델 기반 외국어 말하기 능력에 대한 자동 평가 및 사용자 맞춤형 외국어 교육 콘텐츠 큐레이션 서비스 제공 방법을 제공한다.

또한, 상기 제1 점수를 평가하는 단계는: 상기 외국어 말하기 발문별로 기 입력된 다수개의 제1 예시 답안과 상기 답문 텍스트 데이터의 제1 유사도를 평가하는 단계; 제2 인공지능 모델에 기반하여, 상기 외국어 말하기 발문 및 제1 예시 답안으로부터 다수개의 제2 예시 답안을 생성하는 단계; 상기 외국어 말하기 발문별로 생성된 다수개의 제2 예시 답안과 상기 답문 텍스트 데이터의 제2 유사도를 평가하는 단계; 상기 외국어 말하기 발문별로 다수개의 상기 제1 예시 답안을 병합하여 생성된 제3 예시 답안과 상기 답문 텍스트 데이터의 제3 유사도를 평가하는 단계; 상기 외국어 말하기 발문의 [문제 유형 및 핵심 소재]에 따라 지정된 유사도별 가중치를 반영하여, 상기 외국어 말하기 발문별로 평가된 상기 제1 유사도, 제2 유사도 및 제3 유사도를 기반으로 제4 유사도를 산출하는 단계; 및 상기 제4 유사도를 기반으로 제1 점수를 산출하는 단계;를 포함할 수 있다.

그리고, 상기 제2 점수를 평가하는 단계는: 상기 답문 텍스트 데이터로부터 제1 단어들을 구분하는 단계; 상기 답문 소리 데이터로부터, 상기 제1 단어에 대응하는 부분인 단어 소리 데이터들을 구분하는 단계; 소정의 단어 데이터베이스로부터, 상기 제1 단어에 대응하는 제1 음절 및 제1 엑센트를 불러오는 단계; 상기 단어 소리 데이터로부터 제2 음절들을 구분하는 단계; 상기 단어 소리 데이터마다 구분된 상기 제2 음절 중, 강세되어 발음된 제2 엑센트를 추출하는 단계; 상기 제1 음절 및 제2 음절을 대응시켜, 상기 제1 엑센트 및 제2 엑센트가 서로 대응되는지 비교하는 단계; 및 상기 제1 엑센트 및 제2 엑센트의 대응 여부를 기반으로, 상기 제2 점수를 산출하는 단계;를 포함하고, 상기 제2 엑센트를 추출하는 단계는: 상기 단어 소리 데이터의 제1 진폭 및 제1 파장을 출력한 제1 그래프를 생성하는 단계; 상기 제1 진폭들에 대한 제곱평균제곱근 값을 기반으로 제2 진폭을 산출하는 단계; 절대값이 상기 제2 진폭을 초과하는 상기 제1 진폭들을 제3 진폭으로 지정하는 단계; 상기 제3 진폭들에 대한 제곱평균제곱근 값을 기반으로 제4 진폭을 산출하는 단계; 상기 제4 진폭을 초과하는 제1 진폭들을, 제5 진폭으로 지정하는 단계; 및 상기 제5 진폭에 대응하는 제2 음절들을 제3 엑센트로 지정하는 단계;를 포함하여, 상기 제1 엑센트 및 제2 엑센트가 서로 대응되는지 비교하는 단계를: 상기 제3 엑센트 각각을 제2 엑센트에 대입하여 반복 수행함으로써, 적어도 하나의 제3 엑센트가 상기 제1 엑센트에 대응되는 경우에 상기 제1 엑센트 및 제2 엑센트가 서로 대응되는 것으로 판정하고, 상기 제1 엑센트 및 제2 엑센트가 서로 대응되는지 비교하는 단계는: 상기 제1 파장을 상기 제2 음절의 수만큼 분할한 제2 파장을 구분하는 단계; 상기 제2 파장 중, 상기 제5 진폭이 위치한 제2 파장인 제3 파장을 지정하는 단계; 상기 제3 파장이 제2 파장 중 몇 번째 제2 파장인지 카운트하는 단계; 및 ① 상기 제3 파장의 위치가, 상기 제1 엑센트의 제1 음절에서의 위치에 대응하는 경우, 상기 제1 엑센트 및 제2 엑센트가 서로 대응되는 것으로 판정하고, ② 상기 제3 파장의 위치가, 상기 제1 엑센트의 제1 음절에서의 위치에 대응하지 않는 경우, 상기 제1 엑센트 및 제2 엑센트가 서로 대응되지 않는 것으로 판정하는 단계;를 포함할 수 있다.

아울러, 상기 답문 텍스트 데이터를 생성하는 단계는: 상기 외국어 말하기에 대응하는 제1 언어로 상기 답문 소리 데이터를 인식하여, 제1 텍스트를 생성하는 단계; 상기 외국어 말하기에 대응하지 않는 제2 언어로 상기 답문 소리 데이터를 인식하여, 제2 텍스트를 생성하는 단계; 및 상기 제2 텍스트를 제1 언어로 번역하여 제3 텍스트를 생성하는 단계;를 포함하고, 상기 제1 점수를 평가하는 단계는: 상기 외국어 말하기 발문별로, 상기 제1 텍스트를 기반으로 제3 점수를 산출하는 단계; 상기 외국어 말하기 발문별로, 상기 제3 텍스트를 기반으로 제4 점수를 산출하는 단계; 및 상기 외국어 말하기 발문별로, 상기 제3 점수 및 제4 점수 중 높게 평가된 점수를 제1 점수로 지정하는 단계;를 포함하고, 상기 제1 사용자에 대한 학습 우선도를 산출하는 단계는: 상기 외국어 말하기 발문별로 지정된 내용 점수 대비 상기 제1 점수인 제1 지수를 산출하는 단계; 상기 외국어 말하기 발문별로 지정된 발음 점수 대비 상기 제2 점수인 제2 지수를 산출하는 단계; 및 상기 제1 지수 및 제2 지수를 기반으로, 발음 학습 콘텐츠 및 내용 학습 콘텐츠의 학습 비율인 학습 우선도를 산출하는 단계;를 포함하고, 상기 외국어 말하기 학습용 추천 콘텐츠를 추출하는 단계는: 상기 학습 우선도를 기반으로, 발음 학습 콘텐츠와 내용 학습 콘텐츠의 배치 레이아웃을 결정하는 단계; 상기 제1 지수의 합계를 기반으로, 제1 지수가 제1 기준 지수보다 낮은 내용 학습 콘텐츠를 선정하는 단계; 상기 제2 지수의 합계를 기반으로, 제2 지수가 제2 기준 지수보다 낮은 발음 학습 콘텐츠를 선정하는 단계; 및 상기 배치 레이아웃에, 선정된 상기 내용 학습 콘텐츠 및 발음 학습 콘텐츠를 배치하는 단계;를 포함할 수 있다.

또한, 상기 제1 점수를 평가하는 단계는: 상기 제1 사용자들 전체에 대해 상기 답문 텍스트 데이터의 제5 점수를 평가하는 단계; 상기 제5 점수를 기반으로, 상기 답문 텍스트 데이터들을 군집화하는 단계; 답문 텍스트 데이터의 군집 중, 상기 제5 점수가 가장 높은 제1 군집에 대하여 제1 가점을 부여하는 단계; 상기 답문 텍스트 데이터의 군집 중, 상기 제5 점수가 두 번째로 높은 제2 군집에 대하여 제2 가점을 부여하는 단계; 상기 답문 텍스트 데이터의 군집 중, 상기 제5 점수가 세 번째로 높은 제3 군집에 대하여 제3 가점을 부여하는 단계; 및 상기 답문 텍스트 데이터의 군집별 상기 제5 점수에, 상기 제1 가점 내지 제3 가점을 반영하여 제1 점수를 산출하는 단계;를 포함할 수 있다.

일실시예에 따른 방법 및 장치는 하드웨어와 결합되어 상술한 방법들 중 어느 하나의 항의 방법을 실행시키기 위하여 매체에 저장된 컴퓨터 프로그램에 의해 제어될 수 있다.

일실시예에 따르면, 외국어(영어) 말하기 평가의 음성 답안을 자동으로 평가할 수 있다.

또한, 자동으로 평가된 점수를 기반으로, 피시험자(사용자)에게 부족한 영역을 집중적으로 학습할 수 있도록 학습용 콘텐츠를 큐레이션하여 제공할 수 있다.

그리고, 외국어 말하기 능력을 발문에 적합한 내용을 대답했는지와 정확한 발음으로 대답했는지로 구분하여 평가할 수 있다.

아울러, 소정의 절차에 따라 발음 점수와 내용 점수를 평가함으로써, 인공지능 모델을 기반으로 평가된 점수의 신뢰성을 향상시킬 수 있다.

도 1은 본 발명의 일실시예에 따른 인공지능 모델 기반 외국어 말하기 능력에 대한 자동 평가 및 사용자 맞춤형 외국어 교육 콘텐츠 큐레이션 서비스 제공 방법을 나타낸 순서도이다.
도 2는 본 발명의 일실시예에 따른 인공지능 모델 기반 외국어 말하기 능력에 대한 자동 평가 및 사용자 맞춤형 외국어 교육 콘텐츠 큐레이션 서비스 제공 방법의 제1 점수를 평가하는 단계를 나타낸 순서도이다.
도 3은 본 발명의 일실시예에 따른 인공지능 모델 기반 외국어 말하기 능력에 대한 자동 평가 및 사용자 맞춤형 외국어 교육 콘텐츠 큐레이션 서비스 제공 방법의 제2 엑센트를 추출하는 단계를 설명하기 위한 제1 그래프의 예시이다.
도 4는 본 발명의 일실시예에 따른 인공지능 모델 기반 외국어 말하기 능력에 대한 자동 평가 및 사용자 맞춤형 외국어 교육 콘텐츠 큐레이션 서비스 제공 방법의 답문 텍스트 데이터를 생성하는 단계를 설명하기 위한 예시이다.
도 5는 본 발명의 일실시예에 따른 인공지능 모델 기반 외국어 말하기 능력에 대한 자동 평가 및 사용자 맞춤형 외국어 교육 콘텐츠 큐레이션 서비스 제공 방법의 제1 점수를 평가하는 단계를 설명하기 위한 답문 텍스트 데이터의 군집의 예시이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.

인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 규칙(Rule) 기반의 스마트 시스템과 달리 기계가 스스로 학습하고 판단하는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙 기반의 스마트 시스템은 점차 심층 학습(Deep Learning) 기반 인공지능 시스템으로 대체되고 있다.

인공지능 기술은 기계 학습 및 기계 학습을 활용한 요소기술들로 구성된다. 기계 학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 심층 학습 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.

인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.

일반적으로 기계 학습 알고리즘을 실생활에 적용하기 위해서는 기계 학습의 기본 방법론의 특성상 Trial and Error 방식으로 학습을 수행하게 된다. 특히, 심층 학습의 경우 수십만 번의 반복 실행을 필요로 한다. 이를 실제 물리적인 외부 환경에서 실행하기는 불가능하여 대신 실제 물리적인 외부 환경을 컴퓨터상에서 가상으로 구현하여 시뮬레이션을 통해 학습을 수행한다.

본 발명의 일실시예에서는 '외국어(제1 언어)'로서 '영어'를, 후술하는 제2 언어로서 '한국어'를 사용하였으며, 인공지능 모델의 학습에 따라 다른 언어 등에도 적용 가능하다.

일실시예에 따르면, 장치에 의해 수행되는 인공지능 모델 기반 외국어 말하기 능력에 대한 자동 평가 및 사용자 맞춤형 외국어 교육 콘텐츠 큐레이션 서비스 제공 방법에 있어서, 제1 사용자에 대한 외국어 말하기 발문(發問)별로 답문(答問)을 녹취하는 단계; 녹취된 답문 소리 데이터를 기반으로 음성을 분석하여 답문 텍스트 데이터를 생성하는 단계(S200); 상기 외국어 말하기 발문별로, 상기 답문 텍스트 데이터의 제1 점수를 평가하는 단계(S300); 상기 외국어 말하기 발문별로, 상기 답문 소리 데이터의 제2 점수를 평가하는 단계(S400); 제1 인공지능 모델에 기반하여, 상기 외국어 말하기 발문별 제1 점수 및 제2 점수로부터 상기 제1 사용자에 대한 학습 우선도를 산출하는 단계(S500); 상기 학습 우선도를 기반으로, 상기 제1 사용자에 대한 상기 외국어 말하기 학습용 추천 콘텐츠를 추출하는 단계(S600); 및 상기 외국어 말하기 학습용 추천 콘텐츠를 디스플레이하는 단계(S700);를 포함하는, 인공지능 모델 기반 외국어 말하기 능력에 대한 자동 평가 및 사용자 맞춤형 외국어 교육 콘텐츠 큐레이션 서비스 제공 방법을 제공한다.

제1 사용자에 대한 외국어 말하기 발문(發問)별로 답문(答問)을 녹취하는 단계;에서는, 피시험자인 제1 사용자 각각에 대한 답문을 음성파일로 녹취한다.

이 때, 상기 '외국어 말하기 발문'이란, 시험에서 출제된 문제의 각 문항을 의미할 수 있다.

녹취된 답문 소리 데이터를 기반으로 음성을 분석하여 답문 텍스트 데이터를 생성하는 단계(S200);에서는, 소정의 인공지능 모델을 활용하여 음성으로부터 녹취록을 자동으로 생성하고, 이를 텍스트로 변환하여 소정의 데이터베이스에 저장할 수 있다.

상기 외국어 말하기 발문별로, 상기 답문 텍스트 데이터의 제1 점수를 평가하는 단계(S300);에서는, 발문별로 적절한 내용을 응답하였는지를 평가하는 점수인 제1 점수(내용 점수)를 평가한다.

상기 외국어 말하기 발문별로, 상기 답문 소리 데이터의 제2 점수를 평가하는 단계(S400);에서는, 발문별로 적절한 발음으로 응답하였는지를 평가하는 점수인 제2 점수(발음 점수)를 평가한다.

제1 인공지능 모델에 기반하여, 상기 외국어 말하기 발문별 제1 점수 및 제2 점수로부터 상기 제1 사용자에 대한 학습 우선도를 산출하는 단계(S500);에서는, 상기 제1 사용자마다 발음과 내용 중 상대적으로 더 부족한 부분을 집중적으로 학습할 수 있도록, 제1 사용자에게 부족한 영역이 무엇인지 나타내는 지표인 학습 우선도를 산출한다.

학습 우선도를 산출하는 구체적인 과정은 후술한다.

상기 학습 우선도를 기반으로, 상기 제1 사용자에 대한 상기 외국어 말하기 학습용 추천 콘텐츠를 추출하는 단계(S600);에서는, 제1 사용자에게 맞추어 발음 관련 학습 콘텐츠와 내용 관련 학습 콘텐츠를 추출한다.

예를 들어, 학습 우선도가 발음 3, 내용 7로 산출된 경우, 발음 학습 콘텐츠를 30%, 내용 학습 콘텐츠를 70% 포함하여 최종 콘텐츠를 디스플레이할 수 있다.

이 때, 내용 학습 콘텐츠를 70%에는, 상기 발문별 제1 점수를 기반으로, 내용 카테고리별 분량을 달리하는 콘텐츠들이 포함될 수 있다.

예를 들어, 총 비율 70%의 내용 학습 콘텐츠 중, 20%는 여행과 관련된 콘텐츠를, 30%는 음식과 관련된 콘텐츠를, 20%는 지도 설명과 관련된 콘텐츠를 포함하여, 최종 콘텐츠가 발음 학습 콘텐츠 30%, 여행 내용 학습 콘텐츠 20%, 음식 내용 학습 콘텐츠 30%, 지도 설명 내용 학습 콘텐츠 20%로 구성되도록 제공될 수 있다.

상기 외국어 말하기 학습용 추천 콘텐츠를 디스플레이하는 단계(S700);에서는, 상기 제1 사용자의 단말장치 또는 제1 사용자의 계정 정보에 상기 외국어 말하기 학습용 추천 콘텐츠를 송신하여 표기함으로써 학습할 수 있도록 돕는다.

또한, 상기 제1 점수를 평가하는 단계(S300)는: 상기 외국어 말하기 발문별로 기 입력된 다수개의 제1 예시 답안과 상기 답문 텍스트 데이터의 제1 유사도를 평가하는 단계(S310); 제2 인공지능 모델에 기반하여, 상기 외국어 말하기 발문 및 제1 예시 답안으로부터 다수개의 제2 예시 답안을 생성하는 단계(S320); 상기 외국어 말하기 발문별로 생성된 다수개의 제2 예시 답안과 상기 답문 텍스트 데이터의 제2 유사도를 평가하는 단계(S330); 상기 외국어 말하기 발문별로 다수개의 상기 제1 예시 답안을 병합하여 생성된 제3 예시 답안과 상기 답문 텍스트 데이터의 제3 유사도를 평가하는 단계(S340); 상기 외국어 말하기 발문의 [문제 유형 및 핵심 소재]에 따라 지정된 유사도별 가중치를 반영하여, 상기 외국어 말하기 발문별로 평가된 상기 제1 유사도, 제2 유사도 및 제3 유사도를 기반으로 제4 유사도를 산출하는 단계(S350); 및 상기 제4 유사도를 기반으로 제1 점수를 산출하는 단계(S360);를 포함할 수 있다.

상기 외국어 말하기 발문별로 기 입력된 다수개의 제1 예시 답안과 상기 답문 텍스트 데이터의 제1 유사도를 평가하는 단계(S310);에서는, 발문별로 기 입력된 다수개의 제1 예시 답안들 각각을 상기 답문 텍스트 데이터와 비교하여 다수개의 제1 유사도를 산출한다.

제2 인공지능 모델에 기반하여, 상기 외국어 말하기 발문 및 제1 예시 답안으로부터 다수개의 제2 예시 답안을 생성하는 단계(S320);에서는, 발문별로 기 입력된 다수개의 제1 예시 답안들을 학습하고, 소정의 자연어 생성 모델을 기반으로 다수개의 제2 예시 답안을 생성한다.

상기 외국어 말하기 발문별로 생성된 다수개의 제2 예시 답안과 상기 답문 텍스트 데이터의 제2 유사도를 평가하는 단계(S330);에서는, 자연어 생성 모델을 기반으로 생성된 상기 제2 예시 답안들과, 상기 답문 텍스트 데이터와의 유사도를 산출한다.

상기 외국어 말하기 발문별로 다수개의 상기 제1 예시 답안을 병합하여 생성된 제3 예시 답안과 상기 답문 텍스트 데이터의 제3 유사도를 평가하는 단계(S340);에서는, 발문별로 기 입력된 다수개의 제1 예시 답안들을 모두 이어붙여서 생성된 단일한 제3 예시 답안을 상기 답문 텍스트 데이터와 비교하여 제3 유사도를 산출한다.

상기 외국어 말하기 발문의 [문제 유형 및 핵심 소재]에 따라 지정된 유사도별 가중치를 반영하여, 상기 외국어 말하기 발문별로 평가된 상기 제1 유사도, 제2 유사도 및 제3 유사도를 기반으로 제4 유사도를 산출하는 단계(S350);에서는, 발문의 특성에 따라 미리 지정된 유사도별 가중치를 기반으로, 최종 값인 제4 유사도를 산출한다.

예를 들어, 평가된 제1 유사도 값이 30, 평가된 제2 유사도 값이 16, 평가된 제3 유사도 값이 20이고, 제1 유사도의 가중치가 40%, 제2 유사도의 가중치가 35%, 제3 유사도의 가중치가 25%인 경우, 최종 값인 제4 유사도는 22.6으로 산출될 수 있다(30 * 40% + 16 * 35% + 20 * 25% = 22.6).

여기서, 상기 '문제 유형'이란, 예를 들어 '사진을 보고 설명하기', '대화를 듣고 응답하기' 등일 수 있다. 보다 구체적인 예를 들면, 토익 스피킹의 파트 1 내지 파트 5를 각각 하나의 문제 유형으로써 취급할 수 있다.

상기 '핵심 소재'란, 발문의 주된 소재를 의미한다. 예를 들어, 여행, 음식, 학습, 운동, 길 설명, 동물 등의 소재일 수 있다.

이후, 상기 제4 유사도를 기반으로 제1 점수를 산출하는 단계(S360);에 따라, 내용 점수인 제1 점수를 상기 제4 유사도를 기반으로 산출할 수 있다.

그리고, 상기 제2 점수를 평가하는 단계(S400)는: 상기 답문 텍스트 데이터로부터 제1 단어들을 구분하는 단계; 상기 답문 소리 데이터로부터, 상기 제1 단어에 대응하는 부분인 단어 소리 데이터들을 구분하는 단계; 소정의 단어 데이터베이스로부터, 상기 제1 단어에 대응하는 제1 음절 및 제1 엑센트를 불러오는 단계; 상기 단어 소리 데이터로부터 제2 음절들을 구분하는 단계; 상기 단어 소리 데이터마다 구분된 상기 제2 음절 중, 강세되어 발음된 제2 엑센트를 추출하는 단계; 상기 제1 음절 및 제2 음절을 대응시켜, 상기 제1 엑센트 및 제2 엑센트가 서로 대응되는지 비교하는 단계; 및 상기 제1 엑센트 및 제2 엑센트의 대응 여부를 기반으로, 상기 제2 점수를 산출하는 단계;를 포함할 수 있다.

상기 답문 텍스트 데이터로부터 제1 단어들을 구분하는 단계;에서는, 인식된 답문 텍스트 데이터들로부터 단어들을 분리하여 식별할 수 있다.

예를 들어, 답문 텍스트 데이터에 'I want to travel to America'라는 문장이 인식되었다면, 이를 'I', 'want', 'to', 'travel', 'to', 'America'로 구분할 수 있다.

상기 답문 소리 데이터로부터, 상기 제1 단어에 대응하는 부분인 단어 소리 데이터들을 구분하는 단계;에서는, 상기 제1 단어에 대응하는 부분들을 구분할 수 있다.

예를 들어, 답문 소리 데이터의 3.07초 내지 3.70초 사이에 포함된 'I'를 발음하는 구간과, 3.70초 내지 4.36초 사이에 포함된 'want'를 포함하는 구간, 4.36초 내지 4.91초 사이에 포함된 'to'를 발음하는 구간 등을 구분할 수 있다.

소정의 단어 데이터베이스로부터, 상기 제1 단어에 대응하는 제1 음절 및 제1 엑센트를 불러오는 단계;에서는 소정의 단어 데이터베이스에 미리 구축된 단어별 음절 및 엑센트(강세) 정보를 읽어올 수 있다.

상기 단어 소리 데이터로부터 제2 음절들을 구분하는 단계;에서는, 상기 제1 단어에 대응하는 단어 소리 데이터들을 기반으로, 각 단어의 음절인 제2 음절들을 구분할 수 있다.

상기 단어 소리 데이터마다 구분된 상기 제2 음절 중, 강세되어 발음된 제2 엑센트를 추출하는 단계;에서는, 상기 단어 소리 데이터의 파형을 분석하여 강세되어 발음된 제2 음절을 확인할 수 있다.

상기 제1 음절 및 제2 음절을 대응시켜, 상기 제1 엑센트 및 제2 엑센트가 서로 대응되는지 비교하는 단계;에서는, 단어사전(데이터베이스)을 기반으로 원래 강세되어 발음되어야하는 음절이 올바로 강세되어 발음되었는지를 확인한다.

예를 들어, 단어 소리 데이터 중 'America'부분을 'a', 'me', 'ri', 'ka'의 제2 음절로 구분하고, 이 중 'me'의 'e'에 제2 엑센트가 발음되었는지를 판단할 수 있다.

상기 제1 엑센트 및 제2 엑센트의 대응 여부를 기반으로, 상기 제2 점수를 산출하는 단계;에서는, 강세가 올바른 음절에서 발음되었는지를 기반으로 발음 점수를 평가할 수 있다.

이 때, 답문 소리 데이터에 포함된 전체 단어 대비 올바로 발음된 단어의 비율을 기반으로 상기 제2 점수가 산출될 수 있다.

상기 제2 엑센트를 추출하는 단계는: 상기 단어 소리 데이터의 제1 진폭 및 제1 파장을 출력한 제1 그래프를 생성하는 단계; 상기 제1 진폭들에 대한 제곱평균제곱근 값을 기반으로 제2 진폭(A2)을 산출하는 단계; 절대값이 상기 제2 진폭(A2)을 초과하는 상기 제1 진폭들을 제3 진폭으로 지정하는 단계; 상기 제3 진폭들에 대한 제곱평균제곱근 값을 기반으로 제4 진폭(A4)을 산출하는 단계; 상기 제4 진폭(A4)을 초과하는 제1 진폭들을, 제5 진폭(A5)으로 지정하는 단계; 및 상기 제5 진폭(A5)에 대응하는 제2 음절들을 제3 엑센트로 지정하는 단계;를 포함할 수 있다.

먼저, 도 3에 도시된 바와 같이, 단어 소리 데이터의 파형을 제1 그래프 형태로 출력한다.

이후, 상기 단어 소리 데이터의 파형을 구성하는 제1 진폭들에 대한 제곱평균제곱근(RMS) 값을 기반으로 제2 진폭(A2)(기준값)을 산출한다.

그 다음으로, 상기 제2 진폭(A2)을 초과하는 제1 진폭들만을 필터링하여 제3 진폭들을 지정한다.

여기서 다시 상기 제3 진폭들에 대해 제곱평균제곱근 값을 계산하여 제4 진폭(A4)을 산출하고, 제4 진폭(A4)을 초과하는 제1 진폭(또는 제3 진폭)들을 제5 진폭(A5)으로 지정한다.

한편, 상기 제1 엑센트 및 제2 엑센트가 서로 대응되는지 비교하는 단계를: 상기 제3 엑센트 각각을 제2 엑센트에 대입하여 반복 수행함으로써, 적어도 하나의 제3 엑센트가 상기 제1 엑센트에 대응되는 경우에 상기 제1 엑센트 및 제2 엑센트가 서로 대응되는 것으로 판정할 수 있다.

도 3을 참조하면, 4개의 제5 진폭(A5)이 지정되며, 4개의 제5 진폭(A5)에 대응하는 제2 음절들을 제3 엑센트로 지정한다. 예를 들어, 1, 2, 3번째 제5 진폭(A5)이 2번째 음절이고, 4번째 제5 진폭(A5)이 4번째 음절일 때, 제2 엑센트가 2번째 음절이라면 4번째 제5 진폭(A5)은 무시하고 해당 단어가 올바로 발음된 것으로 판정할 수 있다.

상기 제1 엑센트 및 제2 엑센트가 서로 대응되는지 비교하는 단계는: 상기 제1 파장을 상기 제2 음절의 수만큼 분할한 제2 파장을 구분하는 단계; 상기 제2 파장 중, 상기 제5 진폭(A5)이 위치한 제2 파장인 제3 파장을 지정하는 단계; 상기 제3 파장이 제2 파장 중 몇 번째 제2 파장인지 카운트하는 단계; 및 ① 상기 제3 파장의 위치가, 상기 제1 엑센트의 제1 음절에서의 위치에 대응하는 경우, 상기 제1 엑센트 및 제2 엑센트가 서로 대응되는 것으로 판정하고, ② 상기 제3 파장의 위치가, 상기 제1 엑센트의 제1 음절에서의 위치에 대응하지 않는 경우, 상기 제1 엑센트 및 제2 엑센트가 서로 대응되지 않는 것으로 판정하는 단계;를 포함할 수 있다.

도 3을 참조하면, 제2 음절의 수(도 3에서 4개)로 제1 파장을 제2 파장으로 구분하고, 그 중 제5 진폭(A5)이 위치한 두 번째 및 네 번째 제2 파장인 제3 파장을 지정한다.

이후, 상기 제3 파장의 위치가 두 번째 및 네 번째임을 기반으로, 각 제3 파장이 각각 두 번째 음절(도 3에서의 2음절) 및 네 번째 음절(도 3에서의 4음절)인 것으로 판단하고, 이를 제1 엑센트의 제1 음절에서의 위치와 비교한다.

예를 들어 제1 엑센트가 제1 음절에서 두 번째 음절이라면 도 3의 예시에서 제2 엑센트가 제1 엑센트와 서로 대응하는 것으로 판정할 수 있다.

아울러, 상기 답문 텍스트 데이터를 생성하는 단계(S200)는: 상기 외국어 말하기에 대응하는 제1 언어로 상기 답문 소리 데이터를 인식하여, 제1 텍스트(T1)를 생성하는 단계; 상기 외국어 말하기에 대응하지 않는 제2 언어로 상기 답문 소리 데이터를 인식하여, 제2 텍스트(T2)를 생성하는 단계; 및 상기 제2 텍스트(T2)를 제1 언어로 번역하여 제3 텍스트(T3)를 생성하는 단계;를 포함할 수 있다.

상기 외국어 말하기에 대응하는 제1 언어로 상기 답문 소리 데이터를 인식하여, 제1 텍스트(T1)를 생성하는 단계;에서는, 평가 대상 외국어인 제1 언어, 예를 들어 영어로 제1 텍스트(T1)를 생성할 수 있다.

상기 외국어 말하기에 대응하지 않는 제2 언어로 상기 답문 소리 데이터를 인식하여, 제2 텍스트(T2)를 생성하는 단계;에서는, 평가 대상자인 제1 사용자의 모국어, 예를 들어 한국어로 제2 텍스트(T2)를 생성할 수 있다.

상기 제2 텍스트(T2)를 제1 언어로 번역하여 제3 텍스트(T3)를 생성하는 단계;에서는, 제2 언어인 한국어로 인식된 제2 텍스트(T2)를 번역기 API에 입력하여 제1 언어인 제3 텍스트(T3)로 변환할 수 있다.

도 4를 참조하면, 일반적인 영어 응답은 제1 텍스트(T1)와 같이 인식될 수 있다.

다만, 발음이 상대적으로 좋지 않은 제1 사용자들의 응답은 음성-텍스트 변환 모델에 의해 올바르게 인식되지 않을 수도 있으므로, 이를 대비하여 영어 응답을 한국어인 것으로 인식하여 제2 텍스트(T2)를 별도로 생성한다.

이후, 제2 텍스트(T2)를 번역 API를 기반으로 영문으로 전환하고, 전환된 영문인 제3 텍스트(T3)를 생성하여 이를 기반으로도 제1 점수를 평가함으로써, 내용 평가에 관한 신뢰성을 향상시킬 수 있다.

상기 제1 점수를 평가하는 단계(S300)는: 상기 외국어 말하기 발문별로, 상기 제1 텍스트(T1)를 기반으로 제3 점수를 산출하는 단계; 상기 외국어 말하기 발문별로, 상기 제3 텍스트(T3)를 기반으로 제4 점수를 산출하는 단계; 및 상기 외국어 말하기 발문별로, 상기 제3 점수 및 제4 점수 중 높게 평가된 점수를 제1 점수로 지정하는 단계;를 포함할 수 있다.

내용 평가의 경우, 발음의 우수성이 아니라 단순히 올바르고 정확한 내용을 응답했는지의 여부만을 평가하는 것이므로, 변환되어 생성된 제3 텍스트(T3)를 평가한 점수나 제1 텍스트(T1)를 평가한 점수 중 높은 점수를 제1 사용자의 점수인 것으로 평가한다.

상기 제1 사용자에 대한 학습 우선도를 산출하는 단계(S500)는: 상기 외국어 말하기 발문별로 지정된 내용 점수 대비 상기 제1 점수인 제1 지수를 산출하는 단계; 상기 외국어 말하기 발문별로 지정된 발음 점수 대비 상기 제2 점수인 제2 지수를 산출하는 단계; 및 상기 제1 지수 및 제2 지수를 기반으로, 발음 학습 콘텐츠 및 내용 학습 콘텐츠의 학습 비율인 학습 우선도를 산출하는 단계;를 포함할 수 있다.

예를 들어, 1번 지문에 배정된 내용 점수가 20점, 발음 점수가 10점이고, 상기 제1 사용자의 제1 점수가 15점, 제2 점수가 7점이라면, 제1 지수는 15 / 20 = 0.75, 제2 지수는 7 / 10 = 0.7로 산출될 수 있다. 이 때, 상대적으로 제1 지수가 더 높게 산출되었으므로, 제1 사용자가 발음에 대한 학습을 더 수행해야한다고 판단하고 발음 학습 콘텐츠를 집중적으로 큐레이션할 수 있다.

상기 외국어 말하기 학습용 추천 콘텐츠를 추출하는 단계(S600)는: 상기 학습 우선도를 기반으로, 발음 학습 콘텐츠와 내용 학습 콘텐츠의 배치 레이아웃을 결정하는 단계; 상기 제1 지수의 합계를 기반으로, 제1 지수가 제1 기준 지수보다 낮은 내용 학습 콘텐츠를 선정하는 단계; 상기 제2 지수의 합계를 기반으로, 제2 지수가 제2 기준 지수보다 낮은 발음 학습 콘텐츠를 선정하는 단계; 및 상기 배치 레이아웃에, 선정된 상기 내용 학습 콘텐츠 및 발음 학습 콘텐츠를 배치하는 단계;를 포함할 수 있다.

상기 배치 레이아웃은, 학습 대상 콘텐츠들이 배치될 위치/개수를 의미할 수 있다.

예를 들어, 하루에 10개의 콘텐츠를 학습하도록 제공되는 경우, 지정된 10 칸의 배치 레이아웃에 상기 내용 학습 콘텐츠 및 발음 학습 콘텐츠를 배치할 수 있다.

각 발문별로 산출된 제1 지수 및 제2 지수들을 각각 합산하여, 제1 지수의 합계 및 제2 지수의 합계를 산출하고, 이를 기반으로 우선순위를 결정한다.

이후, 각 발문별로 산출된 제1 지수 또는 제2 지수를 기반으로, 상기 제1 사용자가 특히 어떤 내용(카테고리)에 취약한지, 어떤 단어의 발음에 취약한지 등을 판단하여 내용 학습 콘텐츠 및 발음 학습 콘텐츠를 선정 및 배치할 수 있다.

또한, 상기 제1 점수를 평가하는 단계(S300)는: 상기 제1 사용자들 전체에 대해 상기 답문 텍스트 데이터의 제5 점수를 평가하는 단계; 상기 제5 점수를 기반으로, 상기 답문 텍스트 데이터들을 군집화하는 단계; 답문 텍스트 데이터의 군집 중, 상기 제5 점수가 가장 높은 제1 군집에 대하여 제1 가점을 부여하는 단계; 상기 답문 텍스트 데이터의 군집 중, 상기 제5 점수가 두 번째로 높은 제2 군집에 대하여 제2 가점을 부여하는 단계; 상기 답문 텍스트 데이터의 군집 중, 상기 제5 점수가 세 번째로 높은 제3 군집에 대하여 제3 가점을 부여하는 단계; 및 상기 답문 텍스트 데이터의 군집별 상기 제5 점수에, 상기 제1 가점 내지 제3 가점을 반영하여 제1 점수를 산출하는 단계;를 포함할 수 있다.

상기와 같이, 평가된 점수를 군집화하여 점수의 등급별로 소정의 가점을 부여함으로써, 점수 평가의 신뢰성을 향상시킬 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

T1 : 제1 텍스트
T2 : 제2 텍스트
T3 : 제3 텍스트
C1 : 제1 군집
C2 : 제2 군집
C3 : 제3 군집
C4 : 제4 군집
C5 : 제5 군집
A2 : 제2 진폭
A4 : 제4 진폭
A5 : 제5 진폭
S100 : 발문별로 답문을 녹취하는 단계
S200 : 답문 텍스트 데이터를 생성하는 단계
S300 : 제1 점수를 평가하는 단계
S310 : 제1 유사도를 평가하는 단계
S320 : 제2 예시 답안을 생성하는 단계
S330 : 제2 유사도를 평가하는 단계
S340 : 제3 유사도를 평가하는 단계
S350 : 제4 유사도를 산출하는 단계
S360 : 제4 유사도를 기반으로 제1 점수를 산출하는 단계
S400 : 제2 점수를 평가하는 단계
S500 : 제1 사용자에 대한 학습 우선도를 산출하는 단계
S600 : 외국어 말하기 학습용 추천 콘텐츠를 추출하는 단계
S700 : 외국어 말하기 학습용 추천 콘텐츠를 디스플레이하는 단계

Claims (3)

1. 장치에 의해 수행되는 인공지능 모델 기반 외국어 말하기 능력에 대한 자동 평가 및 사용자 맞춤형 외국어 교육 콘텐츠 큐레이션 서비스 제공 방법에 있어서,
   제1 사용자에 대한 외국어 말하기 발문(發問)별로 답문(答問)을 녹취하는 단계;
   녹취된 답문 소리 데이터를 기반으로 음성을 분석하여 답문 텍스트 데이터를 생성하는 단계;
   상기 외국어 말하기 발문별로, 상기 답문 텍스트 데이터의 제1 점수를 평가하는 단계;
   상기 외국어 말하기 발문별로, 상기 답문 소리 데이터의 제2 점수를 평가하는 단계;
   제1 인공지능 모델에 기반하여, 상기 외국어 말하기 발문별 제1 점수 및 제2 점수로부터 상기 제1 사용자에 대한 학습 우선도를 산출하는 단계;
   상기 학습 우선도를 기반으로, 상기 제1 사용자에 대한 상기 외국어 말하기 학습용 추천 콘텐츠를 추출하는 단계; 및
   상기 외국어 말하기 학습용 추천 콘텐츠를 디스플레이하는 단계;를 포함하되,
   상기 외국어 말하기 학습용 추천 콘텐츠는: 상기 학습 우선도를 기반으로 발음 학습 콘텐츠 및 내용 학습 콘텐츠의 비율이 결정되고,
   상기 제1 점수를 평가하는 단계는:
   상기 외국어 말하기 발문별로 기 입력된 다수개의 제1 예시 답안과 상기 답문 텍스트 데이터의 제1 유사도를 평가하는 단계;
   제2 인공지능 모델에 기반하여, 상기 외국어 말하기 발문 및 제1 예시 답안으로부터 다수개의 제2 예시 답안을 생성하는 단계;
   상기 외국어 말하기 발문별로 생성된 다수개의 제2 예시 답안과 상기 답문 텍스트 데이터의 제2 유사도를 평가하는 단계;
   상기 외국어 말하기 발문별로 다수개의 상기 제1 예시 답안을 병합하여 생성된 제3 예시 답안과 상기 답문 텍스트 데이터의 제3 유사도를 평가하는 단계;
   상기 외국어 말하기 발문의 [문제 유형 및 핵심 소재]에 따라 지정된 유사도별 가중치를 반영하여, 상기 외국어 말하기 발문별로 평가된 상기 제1 유사도, 제2 유사도 및 제3 유사도를 기반으로 제4 유사도를 산출하는 단계; 및
   상기 제4 유사도를 기반으로 제1 점수를 산출하는 단계;를 포함하고,
   상기 제2 점수를 평가하는 단계는:
   상기 답문 텍스트 데이터로부터 제1 단어들을 구분하는 단계;
   상기 답문 소리 데이터로부터, 상기 제1 단어에 대응하는 부분인 단어 소리 데이터들을 구분하는 단계;
   소정의 단어 데이터베이스로부터, 상기 제1 단어에 대응하는 제1 음절 및 제1 엑센트를 불러오는 단계;
   상기 단어 소리 데이터로부터 제2 음절들을 구분하는 단계;
   상기 단어 소리 데이터마다 구분된 상기 제2 음절 중, 강세되어 발음된 제2 엑센트를 추출하는 단계;
   상기 제1 음절 및 제2 음절을 대응시켜, 상기 제1 엑센트 및 제2 엑센트가 서로 대응되는지 비교하는 단계; 및
   상기 제1 엑센트 및 제2 엑센트의 대응 여부를 기반으로, 상기 제2 점수를 산출하는 단계;를 포함하고,
   상기 제2 엑센트를 추출하는 단계는:
   상기 단어 소리 데이터의 제1 진폭 및 제1 파장을 출력한 제1 그래프를 생성하는 단계;
   상기 제1 진폭들에 대한 제곱평균제곱근 값을 기반으로 제2 진폭을 산출하는 단계;
   절대값이 상기 제2 진폭을 초과하는 상기 제1 진폭들을 제3 진폭으로 지정하는 단계;
   상기 제3 진폭들에 대한 제곱평균제곱근 값을 기반으로 제4 진폭을 산출하는 단계;
   상기 제4 진폭을 초과하는 제1 진폭들을, 제5 진폭으로 지정하는 단계; 및
   상기 제5 진폭에 대응하는 제2 음절들을 제3 엑센트로 지정하는 단계;를 포함하여,
   상기 제1 엑센트 및 제2 엑센트가 서로 대응되는지 비교하는 단계를:
   상기 제3 엑센트 각각을 제2 엑센트에 대입하여 반복 수행함으로써, 적어도 하나의 제3 엑센트가 상기 제1 엑센트에 대응되는 경우에 상기 제1 엑센트 및 제2 엑센트가 서로 대응되는 것으로 판정하고,
   상기 제1 엑센트 및 제2 엑센트가 서로 대응되는지 비교하는 단계는:
   상기 제1 파장을 상기 제2 음절의 수만큼 분할한 제2 파장을 구분하는 단계;
   상기 제2 파장 중, 상기 제5 진폭이 위치한 제2 파장인 제3 파장을 지정하는 단계;
   상기 제3 파장이 제2 파장 중 몇 번째 제2 파장인지 카운트하는 단계; 및
   ① 상기 제3 파장의 위치가, 상기 제1 엑센트의 제1 음절에서의 위치에 대응하는 경우, 상기 제1 엑센트 및 제2 엑센트가 서로 대응되는 것으로 판정하고, ② 상기 제3 파장의 위치가, 상기 제1 엑센트의 제1 음절에서의 위치에 대응하지 않는 경우, 상기 제1 엑센트 및 제2 엑센트가 서로 대응되지 않는 것으로 판정하는 단계;를 포함하고,
   상기 답문 텍스트 데이터를 생성하는 단계는:
   상기 외국어 말하기에 대응하는 제1 언어로 상기 답문 소리 데이터를 인식하여, 제1 텍스트를 생성하는 단계;
   상기 외국어 말하기에 대응하지 않는 제2 언어로 상기 답문 소리 데이터를 인식하여, 제2 텍스트를 생성하는 단계; 및
   상기 제2 텍스트를 제1 언어로 번역하여 제3 텍스트를 생성하는 단계;를 포함하고,
   상기 제1 점수를 평가하는 단계는:
   상기 외국어 말하기 발문별로, 상기 제1 텍스트를 기반으로 제3 점수를 산출하는 단계;
   상기 외국어 말하기 발문별로, 상기 제3 텍스트를 기반으로 제4 점수를 산출하는 단계; 및
   상기 외국어 말하기 발문별로, 상기 제3 점수 및 제4 점수 중 높게 평가된 점수를 제1 점수로 지정하는 단계;를 포함하고,
   상기 제1 사용자에 대한 학습 우선도를 산출하는 단계는:
   상기 외국어 말하기 발문별로 지정된 내용 점수 대비 상기 제1 점수인 제1 지수를 산출하는 단계;
   상기 외국어 말하기 발문별로 지정된 발음 점수 대비 상기 제2 점수인 제2 지수를 산출하는 단계; 및
   상기 제1 지수 및 제2 지수를 기반으로, 발음 학습 콘텐츠 및 내용 학습 콘텐츠의 학습 비율인 학습 우선도를 산출하는 단계;를 포함하고,
   상기 외국어 말하기 학습용 추천 콘텐츠를 추출하는 단계는:
   상기 학습 우선도를 기반으로, 발음 학습 콘텐츠와 내용 학습 콘텐츠의 배치 레이아웃을 결정하는 단계;
   상기 제1 지수의 합계를 기반으로, 제1 지수가 제1 기준 지수보다 낮은 내용 학습 콘텐츠를 선정하는 단계;
   상기 제2 지수의 합계를 기반으로, 제2 지수가 제2 기준 지수보다 낮은 발음 학습 콘텐츠를 선정하는 단계; 및
   상기 배치 레이아웃에, 선정된 상기 내용 학습 콘텐츠 및 발음 학습 콘텐츠를 배치하는 단계;를 포함하는,
   인공지능 모델 기반 외국어 말하기 능력에 대한 자동 평가 및 사용자 맞춤형 외국어 교육 콘텐츠 큐레이션 서비스 제공 방법
   
   
2. 삭제
3. 삭제