WO2022250171A1

WO2022250171A1 - 교육적 요소를 예측하는 사전학습 모델링 시스템 및 방법

Info

Publication number: WO2022250171A1
Application number: PCT/KR2021/006427
Authority: WO
Inventors: 최영덕; 이영남; 조중현; 백진언; 신동민; 이시우; 차영민; 김병수; 허재위
Original assignee: (주)뤼이드
Priority date: 2021-05-24
Filing date: 2021-05-24
Publication date: 2022-12-01
Also published as: US20240221523A1

Abstract

본 발명의 실시 예에 따른, 사전학습된 인공지능 모델을 이용해 교육적 요소를 예측하는 사전학습 모델링 시스템은, 사용자 단말로부터 오프라인 사용자의 동작에 따른 상호작용 요소를 수신하고, 교육 컨텐츠의 인공지능 요소를 상기 상호작용 요소와 교육적 요소로 구분하고, 상기 상호작용 요소와 상기 교육적 요소의 교집합으로써, 사용자가 개별 문제를 풀이할 때마다 자동으로 수집될 수 있는 정보인 평가 요소를 통해 사전학습을 수행하는 사전학습 수행부, 상기 사전학습을 마친 인공지능 모델에 대하여, 예측하고자 하는 교육적 요소에 따라 추가학습 동작을 수행하는 미세조정 수행부 및 상기 미세조정이 완료된 인공지능 모델을 기초로, 상기 교육적 요소 중 상기 사용자가 개별 문제를 풀이할 때마다 자동으로 수집되는 정보량이 적거나 자동으로 수집될 수 없어 상기 사용자로부터 별도로 입력받아야 하는 정보인 시험 점수, 등급, 자격 여부 및 상기 사용자가 동일한 문제를 다시 풀었을 때 맞았는지 여부를 나타내는 복습 정보 중 하나 이상을 예측하는 교육적 요소 예측부를 포함한다.

Description

교육적 요소를 예측하는 사전학습 모델링 시스템 및 방법

본 발명은 사전 학습된 인공지능 모델을 이용해 교육적 요소를 예측하는 사전학습 모델링 시스템 및 방법에 관한 것이다. 구체적으로, 본 발명은 유저의 문제풀이와 관련된 데이터를 인공지능 모델에 사전학습(pre-training) 시키고, 이를 예측하고자 하는 교육적 요소에 맞게 미세조정(fine-tuning)하여, 보다 향상된 정확도를 가지는 사전학습 모델링 시스템 및 방법에 관한 것이다.

최근 인터넷과 전자장치의 활용이 각 분야에서 활발히 이루어지며 교육 환경 역시 빠르게 변화하고 있다. 특히, 다양한 교육 매체의 발달로 학습자는 보다 폭넓은 학습 방법을 선택하고 이용할 수 있게 되었다. 그 중에서도 인터넷을 통한 교육 서비스는 시간적, 공간적 제약을 극복하고 저비용의 교육이 가능하다는 이점 때문에 주요한 교수 학습 수단으로 자리매김하게 되었다.

이러한 온라인 교육 서비스는 다양한 모델의 인공지능과 접목하여 기존에 오프라인 교육 환경에서는 불가능했던 임의의 문제에 대한 사용자의 정답 확률을 예측하여 보다 효율적인 학습 컨텐츠를 제공할 수 있게 되었다.

그러나 인공지능 모델이 수집 가능한 문제풀이 데이터로부터 직접적으로 예측할 수 있는 정답 확률과는 달리, 시험 점수나 등급은 이를 직접적으로 예측하기 위한 실제 시험점수 데이터가 턱없이 부족하고, 그 마저도 오프라인을 통해 소량으로 수집할 수밖에 없어 정답 확률 예측과 비교하여 정확도가 떨어진다는 문제가 존재하였다.

또한 사용자가 온라인 학습 중간에 학습을 종료할 확률인 이탈율이나 이전에 틀렸던 문제를 다시 풀었을 때 맞혔는지에 관한 복습 정보도 인공지능 모델에 의해 자동적으로 수집되는 정보지만, 수집되는 데이터양이 턱없이 부족하거나 산발적으로 존재하여, 이들 데이터로 학습된 인공지능 모델을 통해서는 높은 정확도로 예측할 수 없다는 문제가 존재하였다.

본 발명은 전술한 문제를 해결하기 위한 발명으로, 본 발명은 교육 컨텐츠에서 유저와 인공지능 모델 간의 상호작용을 통해 생성되는 정보 중 교육학적 평가의 도구로 사용될 수 있는 요소로써 평가 요소를 정의하고, 이를 이용해 인공지능 모델을 학습시킴으로써, 불필요한 학습 데이터의 제거로 감소된 노이즈를 가지고 정확도가 증가된 사전학습 모델링 시스템 및 방법을 제공하는 것을 목적으로 한다.

본 발명은 평가 요소를 이용하여 사전 학습(pre-training)된 후 예측하고자 하는 교육적 요소에 따라 미세조정(fine-tuning)된 인공지능 모델을 통해, 학습 데이터의 부족으로 교육적 요소를 정확하게 예측할 수 없는 문제를 해결할 수 있는 사전학습 모델링 시스템 및 방법을 제공하는 것을 목적으로 한다.

본 발명의 실시 예에 따른, 사전학습된 인공지능 모델을 이용해 교육적 요소를 예측하는 사전학습 모델링 시스템은, 사용자 단말로부터 오프라인 사용자의 동작에 따른 상호작용 요소를 수신하고, 교육 컨텐츠의 인공지능 요소를 상기 상호작용 요소와 교육적 요소로 구분하고, 상기 상호작용 요소와 상기 교육적 요소의 교집합으로써, 사용자가 개별 문제를 풀이할 때마다 자동으로 수집될 수 있는 정보인 평가 요소를 통해 사전학습을 수행하는 사전학습 수행부, 사전학습을 마친 인공지능 모델에 대하여, 예측하고자 하는 교육적 요소에 따라 추가학습 동작을 수행하는 미세조정 수행부 및 미세조정이 완료된 인공지능 모델을 기초로, 교육적 요소 중 상기 사용자가 개별 문제를 풀이할 때마다 자동으로 수집되는 정보량이 적거나 자동으로 수집될 수 없어 상기 사용자로부터 별도로 입력받아야 하는 정보인 시험 점수, 등급, 자격 여부 및 상기 사용자가 동일한 문제를 다시 풀었을 때 맞았는지 여부를 나타내는 복습 정보 중 하나 이상을 예측하는 교육적 요소 예측부를 포함한다. 상기 사전학습 모델링 시스템은 유저의 문제풀이와 관련된 데이터를 인공지능 모델에 사전학습 시키고, 이를 예측하고자 하는 교육적 요소에 맞게 미세조정하여, 보다 향상된 정확도를 갖는다.

본 발명의 실시 예에 따른, 사전학습된 인공지능 모델을 이용해 교육적 요소를 예측하는 사전학습 모델링 방법은, 사용자 단말로부터 오프라인 사용자의 동작에 따른 상호작용 요소를 수신하고, 상호작용 요소 중 교육학적 평가의 도구로 사용될 수 있는 평가 요소를 통해 사전학습 단계, 사전학습을 마친 인공지능 모델에 대하여, 예측하고자 하는 교육적 요소에 따라 추가학습 동작을 수행하는 미세조정 단계 및 미세조정이 완료된 인공지능 모델을 기초로 교육적 요소를 예측하는 단계를 포함한다. 상기 사전학습 모델링 방법은 유저의 문제풀이와 관련된 데이터를 인공지능 모델에 사전학습 시키고, 이를 예측하고자 하는 교육적 요소에 맞게 미세조정하여, 보다 향상된 정확도를 갖는다.

본 발명의 실시 예에 따른 사전학습 모델링 시스템 및 방법에 따르면, 교육 컨텐츠에서 유저와 인공지능 모델 간의 상호작용을 통해 생성되는 정보 중 교육학적 평가의 도구로 사용될 수 있는 요소로써 평가 요소를 정의하고, 이를 이용해 인공지능 모델을 학습시킴으로써, 불필요한 학습 데이터의 제거로 감소된 노이즈를 가지고 향상된 정확도를 가질 수 있다.

본 발명의 실시 예에 따른 사전학습 모델링 시스템 및 방법에 따르면, 평가 요소를 이용하여 사전 학습(pre-training)된 후 예측하고자 하는 교육적 요소에 따라 미세조정(fine-tuning)된 인공지능 모델을 통해, 학습 데이터의 부족으로 교육적 요소를 정확하게 예측할 수 없는 문제를 해결할 수 있다.

도 1은 본 발명의 실시 예에 따른, 사전학습 모델링 시스템을 설명하기 위한 도면이다.

도 2는 본 발명의 실시 예에 따른, 상호작용 요소, 교육적 요소, 평가 요소를 설명하기 위한 도면이다.

도 3은 본 발명의 실시 예에 따른, 상호작용 요소로부터 교육적 요소를 예측하는 동작을 설명하기 위한 도면이다.

도 4는 본 발명의 실시 예에 따른, 사전학습과 미세조정을 설명하기 위한 도면이다.

도 5는 본 발명의 실시 예에 따른, 사전학습 모델링 방법을 설명하기 위한 순서도이다.

전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다.

도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용되며, 명세서 및 특허청구의 범위에 기재된 모든 조합은 임의의 방식으로 조합될 수 있다. 그리고 다른 식으로 규정하지 않는 한, 단수에 대한 언급은 하나 이상을 포함할 수 있고, 단수 표현에 대한 언급은 또한 복수 표현을 포함할 수 있음이 이해되어야 한다.

본 명세서에서 사용되는 용어는 단지 특정 예시적 실시 예들을 설명할 목적을 가지고 있으며 한정할 의도로 사용되는 것이 아니다. 본 명세서에서 사용된 바와 같은 단수적 표현들은 또한, 해당 문장에서 명확하게 달리 표시하지 않는 한, 복수의 의미를 포함하도록 의도될 수 있다. 용어 "및/또는," "그리고/또는"은 그 관련되어 나열되는 항목들의 모든 조합들 및 어느 하나를 포함한다. 용어 "포함한다", "포함하는", "포함하고 있는", "구비하는", "갖는", "가지고 있는" 등은 내포적 의미를 갖는 바, 이에 따라 이러한 용어들은 그 기재된 특징, 정수, 단계, 동작, 요소, 및/또는 컴포넌트를 특정하며, 하나 이상의 다른 특징, 정수, 단계, 동작, 요소, 컴포넌트, 및/또는 이들의 그룹의 존재 혹은 추가를 배제하지 않는다. 본 명세서에서 설명되는 방법의 단계들, 프로세스들, 동작들은, 구체적으로 그 수행 순서가 확정되는 경우가 아니라면, 이들의 수행을 논의된 혹은 예시된 그러한 특정 순서로 반드시 해야 하는 것으로 해석돼서는 안 된다. 추가적인 혹은 대안적인 단계들이 사용될 수 있음을 또한 이해해야 한다.

또한, 각각의 구성요소는 각각 하드웨어 프로세서로 구현될 수 있고, 위 구성요소들이 통합되어 하나의 하드웨어 프로세서로 구현될 수 있으며, 또는 위 구성요소들이 서로 조합되어 복수 개의 하드웨어 프로세서로 구현될 수도 있다.

도 1을 참조하면, 본 발명의 실시 예에 따른 사전학습 모델링 시스템(50)은 사용자 단말(100), 서비스 서버(200)를 포함할 수 있다.

사용자 단말(100)은 유저에게 문제를 제공하고 유저의 문제풀이 결과를 수신하여 서비스 서버(200)에 제공할 수 있다. 사용자 단말(100)은 스마트폰, 테블릿 PC 등으로 구현될 수 있다.

사전학습 모델링 장치(200)는 사용자 단말(100)로부터 문제풀이 결과를 수신하고, 이를 기초로 인공지능 모델을 학습시켜 사용자 맞춤형 교육 컨텐츠를 제공하기 위한 수단으로써 다양한 교육적 요소의 예측을 수행할 수 있다

종래 인공지능 모델은 유저의 문제풀이 결과를 수집하여 정오답 확률을 예측하고 이를 기초로 간접적으로 사용자의 시험 점수를 예측하였다. 사용자가 문제를 풀이하면 해당 문제의 정오답 여부는 자동으로 기록되기 때문에 개별 문제에 대한 유저의 정오답 확률은 문제풀이 결과만으로 예측이 가능하였다.

그러나 시험 점수, 등급, 자격 여부, 복습 여부와 같은 정보는 유저가 문제를 풀이할 때마다 자동으로 기록되는 정보가 아니거나 수집되는 정보량이 적기 때문에 문제풀이 결과를 통해 간접적으로 예측할 수밖에 없다는 한계가 존재한다.

구체적으로, 시험 점수는 오프라인 상에서 유저가 실제로 받았던 시험 점수를 입력 받아야 하며 그 데이터도 풀이한 문제 수에 비하면 턱없이 부족하다. 유저가 동일한 문제를 다시 풀었을 때 맞았는지 여부인 복습 정보 또한 단기간에 수집될 수 있는 정보가 아니고 동일한 문제에 대한 풀이 결과를 일정기간 이후 다시 수신해야 되기 때문에 수집될 수 있는 데이터 양에 한계를 가진다.

본 발명의 실시 예에 따른 사전학습 모델링 시스템(50)은, 유저의 문제풀이 데이터를 인공지능 모델에 사전학습(pre-training) 시키고, 이를 예측하고자 하는 교육적 요소에 맞게 미세조정(fine-tuning)하여, 보다 향상된 정확도로 교육적 요소를 예측할 수 있다.

사전학습에는 적어도 하나의 평가 요소가 학습 데이터로 사용될 수 있다. 평가 요소는 교육 컨텐츠에서 유저와 인공지능 모델 간의 상호작용을 통해 생성되는 정보 중 교육학적 평가의 도구로 사용될 수 있는 요소일 수 있다. 평가 요소는 도 2를 통해 설명될 수 있다.

도 2를 참조하면, 교육 컨텐츠 인공지능 요소는 상호작용 요소, 교육적 요소 및 평가 요소를 포함할 수 있다.

상호작용 요소는 인공지능 모델과 유저의 상호 작용에 따라 수집되는 정보로, 오프라인 사용자의 동작에 따라 인공지능 모델에 수집되는 정보일 수 있다. 상호작용 요소는 문제 선택 정보, 시작 시간, 비활성화 시간, 플랫폼 정보, 지불 정보, 이벤트 정보, 가장 긴 답변 선택 여부, 정답 여부, 시간 내 풀이 정보, 이탈율, 소요 시간, 수강 완료 정보, 복습 정보를 포함할 수 있다. 다만 상호작용 요소는 이에 한정되지 않으며, 오프라인 사용자의 동작에 따라 인공지능 모델이 수집할 수 있는 정보를 모두 포함할 수 있다.

교육적 요소는 학습과 관계가 있는 정보로서, 사용자가 풀이한 문제, 문제풀이 결과 또는 풀이 과정에서 수집된 정보를 포함할 수 있다. 예를 들어, 교육적 요소는 시험 점수, 등급, 자격 여부, 정답 여부, 시간 내 풀이 정보, 이탈율, 소요 시간, 수강 완료 정보, 복습 정보를 포함할 수 있다.

평가 요소는 교육 컨텐츠에서 유저와 인공지능 모델 간의 상호작용을 통해 생성되는 정보 중 교육학적 평가의 도구로 사용될 수 있는 정보일 수 있다. 평가 요소는 상호작용 요소와 교육적 요소의 교집합으로 이해될 수 있다. 실시 예에서 평가 요소는 정답 여부, 시간 내 풀이 정보, 이탈율, 소요 시간, 수강 완료 정보, 복습 정보를 포함할 수 있으나 이에 한정되지 않는다.

문제 선택 정보는 인공지능 모델이 제공한 문제를 사용자가 풀었는지에 관한 정보일 수 있다. 시작 시간은 사용자가 해당 문제를 풀이하기 시작한 시간에 관한 정보일 수 있다. 비활성화 시간은 학습 도중 사용자가 동작하지 않은 기간에 관한 정보일 수 있다. 플랫폼 정보는 사용자가 웹 또는 앱 중 어디서 학습하였는 지와 같은 온라인 학습환경에 관한 정보일 수 있다. 지불 정보는 사용자가 유료 컨텐츠를 구매하였는지 여부에 관한 정보일 수 있다. 이벤트 정보는 사용자가 학습 도중 어플리케이션 이벤트로 이동하였는지에 관한 정보일 수 있다. 가장 긴 답변 선택 여부는 사용자가 설명이 가장 긴 보기지문을 선택하였는지 여부에 관한 정보일 수 있다.

정답 여부는 사용자가 주어진 문제를 맞혔는지에 관한 정보일 수 있다. 시간 내 풀이 정보는 제한된 시간 내에 문제 풀이를 완료했는지 여부에 관한 정보일 수 있다. 이탈율은 사용자가 학습 도중 학습을 종료했는지 여부에 관한 정보일 수 있다. 소요 시간은 사용자가 주어진 문제를 풀이하는데 소요된 시간에 관한 정보일 수 있다. 수강 완료 정보는 사용자가 강의를 끝까지 수강하였는지에 관한 정보일 수 있다. 복습 정보는 이전에 푼 문제를 다시 풀었을 때 맞혔는지에 관한 정보일 수 있다.

시험 점수는 문제 유형(토익, 토플, TEPS, SAT, 대학수학능력시험, …)에 따라 실제 시험에서 받는 점수에 관한 정보일 수 있다. 등급은 전술한 문제 유형에 따라 평가된 학습 수준에 관한 정보일 수 있다. 자격 여부는 기준 점수에 따라 자격 여부가 판단되는 시험에서 사용자가 자격을 획득했는지에 관한 정보일 수 있다.

다시 도 1에 대한 설명으로 돌아가면, 본 발명의 실시 예에 따른 사전학습 모델링 장치(200)는 사전학습 수행부(210), 미세조정 수행부(220), 교육적 요소 예측부(230)를 포함할 수 있다.

사전학습 수행부(210)는 사용자 단말(100)로부터 오프라인 사용자의 동작에 따른 상호작용 요소를 수신하고 사전학습을 수행할 수 있다.

구체적으로, 사전학습 수행부(210)는 상호작용 요소 중에서 예측하고자 하는 교육적 요소에 따라, 인공지능 모델을 사전학습 시킬 학습 데이터인 평가 요소를 결정한 뒤 인공지능 모델의 사전학습을 수행할 수 있다. 사전학습에 사용될 학습 데이터는 학습 평가 요소일 수 있다.

상호작용 요소 중 무엇을 평가 요소로 결정할지는 예측하고자 하는 교육적 요소에 따라 상이하게 결정될 수 있고, 평가 요소 중 무엇을 사전 교육에 사용될 학습 평가 요소로 결정할지 또한 예측하고자 하는 교육적 요소에 따라 상이하게 결정될 수 있다.

실시 예에서, 학습 평가 요소는 하나 이상의 평가 요소를 조합해가며 교육적 요소를 예측한 결과와 실제값을 비교한 결과에 따라 결정할 수 있다. 예를 들어, 비교 결과 가장 높은 정확도를 보이는 평가 요소의 조합을 학습 평가 요소로 결정할 수 있다.

도 1을 참조하면, 사전학습 수행부(210)는 학습 평가 요소를 결정한 뒤 사전학습을 수행할 수 있다. 사전학습은 예측하고자 하는 데이터의 학습 데이터 양이 부족할 때, 예측에 필요한 학습양을 맞추기 위해 관련 있는 학습 데이터 또는 노이즈로 인공지능 모델을 학습시키는 동작일 수 있다.

'시험 점수'를 예측하기 위해 '정답 여부', '시간 내 풀이 정보'를 학습 평가 요소로 결정한 경우를 예시할 수 있다. 이때 인공지능 모델은 사전학습을 통해 동일한 학습 데이터(시험 점수)로 학습되지 않더라도, 관련 있는 데이터(정답 여부, 시간 내 풀이 정보)로 사전학습됨으로써 교육적 요소(시험 점수)의 예측이 가능한 상태를 가질 수 있다.

미세조정 수행부(220)는 사전학습을 마친 인공지능 모델을 예측하고자 하는 교육적 요소에 따라 추가학습 시키는 동작일 수 있다. 미세조정 수행부(220)는 사전학습을 통해 고정된 가중치를 가지는 인공지능 모델에 추가 데이터를 학습시켜 가중치를 업데이트할 수 있다.

추가 데이터는 예측하고자 하는 교육적 요소에 따라 상이할 수 있다. 실시 예에 따라, 추가 데이터는 학습 평가 요소와 비교하여 예측하고자 하는 교육적 요소와 관련성이 더 높은 데이터일 수도 있고, 과적합을 막기 위해 의도적으로 관련성이 낮은 데이터를 포함시킬 수도 있다.

다른 실시 예에서, 추가 데이터는 예측하고자 하는 교육적 요소에 대한 학습 데이터일 수 있다. 위의 예에서, 사전학습 단계에서 '정답 여부', '시간 내 풀이 정보'로 학습된 후, 미세조정 단계에서는 '시험 점수'에 대한 데이터만을 추가 데이터로써 인공지능 모델을 추가 학습시킬 수 있다.

교육적 요소 예측부(230)는 미세조정이 완료된 인공지능 모델을 기초로 교육적 요소를 예측할 수 있다. 위의 예에서, 교육적 요소 예측부(230)는 '정답 여부', '시간 내 풀이 정보'로 사전학습 및 미세조정 거쳐 고정된 가중치를 가지는 인공지능 모델을 기초로 '시험 점수'를 예측하게 된다.

문제풀이 데이터로부터 직접적으로 예측할 수 있는 정답 확률과는 달리, 시험 점수나 등급은 이를 직접적으로 예측하기 위한 실제 시험점수 데이터가 턱없이 부족하고, 그 마저도 오프라인을 통해 소량으로 수집할 수밖에 없어 정답 확률 예측과 비교하여 정확도가 떨어진다는 문제가 존재하였다.

본 발명의 실시 예에 따른 사전학습 모델링 시스템(50)에 따르면, 한정된 자원을 가지는 교육 분야에서 관련 있는 평가 요소로 사전학습/미세조정된 인공지능 모델을 통해, 학습 데이터가 부족한 교육적 요소를 보다 높은 정확도로 예측할 수 있다.

도 3을 참조하면, 도 3은 '시작 시간', '정답 확률', '시간 내 풀이 정보', '복습 정보'로 사전학습된 인공지능 모델로부터 시험 점수를 예측(A1, A2, A3, A4)하고, '시작 시간', '정답 확률'로 사전학습된 인공지능 모델로부터 '복습 정보'를 예측(B1, B2)하는 것을 일례로 도시하고 있다.

도 3에 도시된 바와 같이, 본 발명의 실시 예에 따른 인공지능 모델은, 평가 요소(정답 확률, 시간 내 풀이 정보, 복습 정보) 뿐만 아니라, 평가 요소가 아닌 상호작용 요소(시작 시간)로도 사전학습을 수행할 수 있다.

또한, 본 발명의 실시 예에 따른 인공지능 모델은, 평가 요소가 아닌 교육적 요소(시험 점수) 뿐만 아니라, 평가 요소인 교육적 요소(복습 정보)도 사전학습된 인공지능 모델을 통해 예측(B1, B2)할 수 있다.

또한, 본 발명의 실시 예에 따른 인공지능 모델은, 사전학습된 인공지능 모델을 통해 예측(B1, B2)된 교육적 요소(복습 정보)를, 다시 다른 교육적 요소(시험 점수)를 예측(A4)하기 위한 사전학습의 학습 데이터로 사용할 수도 있다.

사전학습에 사용되는 인공지능 요소와 사전학습된 인공지능 모델을 통해 예측되는 교육적 요소는 평가 요소에 속하는지 여부와 무관하게 결정될 수 있다. 다만 '시작 시간'과 같이 교육적 요소가 아닌 상호작용 요소는 한정된 자원을 가지는 교육 분야에서 자원을 효율적으로 사용하기 위한 것과 관련이 적고 불필요한 학습 데이터로써 노이즈를 증가시킬 수 있다.

따라서 본 발명의 실시 예에 따른 사전학습 모델링 시스템(50)은, 교육 컨텐츠에서 유저와 인공지능 모델 간의 상호작용을 통해 생성되는 정보 중 교육학적 평가의 도구로 사용될 수 있는 요소로써 평가 요소를 정의하고, 이를 이용해 인공지능 모델을 학습시킴으로써, 불필요한 학습 데이터의 제거로 노이즈를 감소시키고 정확도를 증가시킬 수 있는 효과가 있다.

도 4를 참조하면, 사전학습(pre-training) 단계에서 복수의 상호작용 요소를 시퀀스로 입력 받고 임베딩을 수행할 수 있다. 임베딩은 사용자가 입력한 표현이나 형태가 다르더라도, 연관성을 계산, 수치를 통해 이를 나타내면서 단어, 문장, 글의 의미를 작성하는 동작일 수 있다.

상호작용 요소의 임베딩은 N번 수행되고, 각 레이어에서 교육적 요소의 예측 결과에 따라 가중치를 조정해가면서 사전학습이 수행된다. 도 4에는 사전학습에 사용되는 교육적 요소로 정답 확률 또는 시간 내 풀이 정보가 도시되었지만, 그 외에도 이탈율, 소요 시간, 수강 완료 정보, 복습 정보 등 다양한 교육적 요소를 이용해 사전학습이 수행될 수 있다.

사전학습을 통해 결정된 가중치는 미세조정(fine-tuning)을 위한 기초로 사용될 수 있다. 미세조정 단계에서, 인공지능 모델은 예측하고자 하는 교육적 요소에 따라 추가학습을 통해 다시 가중치를 조정할 수 있다.

도 4의 예에서, 인공지능 모델은 정답 확률과 시간 내 풀이정보로 사전학습 되며, 이후 미세조정을 거쳐 1) 시험 점수 예측, 2) 복습 정보 예측을 위한 모델로 사용되게 된다.

사전학습 되는 학습 평가 요소는 적어도 하나 이상의 다양한 평가 요소들의 조합으로 결정될 수 있다. 실시 예에서, 정답 확률과 시간 내 풀이 정보의 평가 요소가 있을 때, 1) 시험 점수 예측의 경우 정답 확률과 시간 내 풀이 정보를 모두 반영하여 사전학습 했을 때 가장 높은 정확도를 가졌으며, 2) 복습 정보 예측의 경우 정답 확률만 반영하여 사전학습 했을 때 가장 높은 정확도를 가졌다.

사전학습과 미세조정을 마친 인공지능 모델은 고정된 가중치를 갖게 되고, 인공지능 모델은 이를 기초로 교육적 요소를 예측할 수 있다.

도 5를 참조하면, S510 단계에서 교육 컨텐츠의 인공지능 요소는 상호작용 요소, 교육적 요소, 평가 요소로 구분될 수 있다. 각 요소의 구분은 문제 유형(토익, 토플, TEPS, SAT, 대학수학능력시험, …)에 따라, 또는 인공지능 예측의 목적에 따라 상이하게 결정될 수 있다.

S520 단계에서, 사전학습 모델링 시스템(50)은 예측하고자 하는 교육적 요소에 따라, 인공지능 모델을 사전학습 시킬 학습 데이터인 학습 평가 요소를 결정할 수 있다.

학습 평가 요소는 평가 요소가 아닌 상호작용 요소가 될 수도 있지만, 이 경우 불필요한 노이즈가 증가될 수 있다. 따라서, 본 발명의 실시 예에 따른 인공지능 교육 방법은, 평가 요소 중에 학습 평가 요소를 결정하고 사전학습을 위한 학습 데이터로 사용할 수 있다.

학습 평가 요소의 결정은 예측하고자 하는 교육적 요소에 따라 상이한 평가 요소의 조합으로 결정될 수 있다. 일 실시 예에서, 시험 점수 예측의 경우 정답 확률, 시간 내 풀이 정보로 인공지능 모델을 사전학습 할 수 있으며, 복습 정보 예측의 경우 정답 확률로 인공지능 모델을 사전학습 할 수 있다.

S530 단계에서, 사전학습 모델링 시스템(50)은 학습 평가 요소로 인공지능 모델의 사전학습을 수행하고, S540 단계에서 예측하고자 하는 교육적 요소에 따라, 사전학습된 인공지능 모델의 미세조정을 수행할 수 있다.

미세조정은 사전학습을 마친 인공지능 모델을 예측하고자 하는 교육적 요소에 따라 추가학습 시키는 동작일 수 있다. 미세조정은 사전학습을 통해 고정된 가중치를 가지는 인공지능 모델에 추가 데이터를 학습시켜 가중치를 업데이트하는 동작일 수 있다.

S540 단계에서, 사전학습 모델링 시스템(50)은 사전학습 및 미세조정이 완료된 인공지능 모델을 기초로 교육적 요소를 예측할 수 있다.

본 명세서와 도면에 개시된 본 발명의 실시 예들은 본 발명의 기술 내용을 쉽게 설명하고 본 발명의 이해를 돕기 위해 특정 예를 제시한 것뿐이며, 본 발명의 범위를 한정하고자 하는 것은 아니다. 여기에 개시된 실시 예들 이외에도 본 발명의 기술적 사상에 바탕을 둔 다른 변형 예들이 실시 가능하다는 것은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 자명한 것이다.

상술한 바와 같은 사전학습된 인공지능 모델을 이용해 교육적 요소를 예측하는 사전학습 모델링 시스템 및 방법은 온라인 교육 서비스 분야에 적용하는 것이 가능하다.

Claims

사전학습된 인공지능 모델을 이용해 교육적 요소를 예측하는 사전학습 모델링 시스템에 있어서,

사용자 단말로부터 오프라인 사용자의 동작에 따른 상호작용 요소를 수신하고, 교육 컨텐츠의 인공지능 요소를 상기 상호작용 요소와 교육적 요소로 구분하고, 상기 상호작용 요소와 상기 교육적 요소의 교집합으로써, 사용자가 개별 문제를 풀이할 때마다 자동으로 수집될 수 있는 정보인 평가 요소를 통해 사전학습을 수행하는 사전학습 수행부;

상기 사전학습을 마친 인공지능 모델에 대하여, 예측하고자 하는 교육적 요소에 따라 추가학습 동작을 수행하는 미세조정 수행부; 및

상기 미세조정이 완료된 인공지능 모델을 기초로, 상기 교육적 요소 중 상기 사용자가 개별 문제를 풀이할 때마다 자동으로 수집되는 정보량이 적거나 자동으로 수집될 수 없어 상기 사용자로부터 별도로 입력받아야 하는 정보인 시험 점수, 등급, 자격 여부 및 상기 사용자가 동일한 문제를 다시 풀었을 때 맞았는지 여부를 나타내는 복습 정보 중 하나 이상을 예측하는 교육적 요소 예측부;를 포함하는 사전학습 모델링 시스템.
제1항에 있어서,

상기 사전학습 수행부는,

상기 예측하고자 하는 교육적 요소에 따라, 상기 평가 요소 중에서 상기 인공지능 모델을 사전학습 시킬 학습 데이터인 학습 평가 요소를 결정하고, 상기 학습 평가 요소를 기초로 사전학습을 수행하는 사전학습 모델링 시스템.
제2항에 있어서,

상기 학습 평가 요소는,

적어도 하나 이상의 상기 평가 요소를 조합하여 상기 교육적 요소를 예측한 결과와 실제값을 비교한 결과에 따라 결정하는 사전학습 모델링 시스템.
제3항에 있어서,

상기 미세조정 수행부는,

상기 사전학습을 통해 고정된 가중치를 가지는 인공지능 모델에 추가 데이터를 학습시켜 상기 가중치를 업데이트하고,

상기 추가 데이터는,

상기 예측하고자 하는 교육 데이터에 따라 상이하게 결정되거나 또는 상기 예측하고자 하는 교육적 요소에 대한 학습 데이터로 결정되는 사전학습 모델링 시스템.
제1항에 있어서,

상기 예측하고자 하는 교육적 요소는,

시험 점수, 등급, 자격 여부 및 복습 정보 중 하나 이상을 포함하고,

상기 평가 요소는,

정답 여부, 시간 내 풀이 정보, 이탈율, 소요 시간, 수강 완료 정보 및 복습 정보 중 하나 이상을 포함하는 사전학습 모델링 시스템.
제1항에 있어서,

상기 교육적 요소 예측부는,

평가 요소인 교육적 요소를 상기 사전학습된 인공지능 모델을 통해 예측하거나 또는 상기 사전학습된 인공지능 모델을 통해 예측된 교육적 요소를 다시 다른 교육적 요소를 예측하기 위한 사전학습의 학습 데이터로 사용하는 사전학습 모델링 시스템.
사전학습된 인공지능 모델을 이용해 교육적 요소를 예측하는 사전학습 모델링 방법에 있어서,

사용자 단말로부터 오프라인 사용자의 동작에 따른 상호작용 요소를 수신하고, 상기 상호작용 요소 중 교육학적 평가의 도구로 사용될 수 있는 평가 요소를 통해 사전학습 단계;

상기 사전학습을 마친 인공지능 모델에 대하여, 예측하고자 하는 교육적 요소에 따라 추가학습 동작을 수행하는 미세조정 단계; 및

상기 미세조정이 완료된 인공지능 모델을 기초로 상기 교육적 요소를 예측하는 단계를 포함하는 사전학습 모델링 방법.