KR102313561B1 - 가상 튜터 로봇을 이용한 비대면 언어평가 제공 방법 및 장치 - Google Patents
가상 튜터 로봇을 이용한 비대면 언어평가 제공 방법 및 장치 Download PDFInfo
- Publication number
- KR102313561B1 KR102313561B1 KR1020210021125A KR20210021125A KR102313561B1 KR 102313561 B1 KR102313561 B1 KR 102313561B1 KR 1020210021125 A KR1020210021125 A KR 1020210021125A KR 20210021125 A KR20210021125 A KR 20210021125A KR 102313561 B1 KR102313561 B1 KR 102313561B1
- Authority
- KR
- South Korea
- Prior art keywords
- face
- learner
- language
- learning
- providing device
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 16
- 238000004891 communication Methods 0.000 claims abstract description 24
- 238000011156 evaluation Methods 0.000 claims description 272
- 238000013519 translation Methods 0.000 claims description 72
- 230000004044 response Effects 0.000 claims description 57
- 238000004458 analytical method Methods 0.000 claims description 46
- 238000013503 de-identification Methods 0.000 claims description 34
- 230000002996 emotional effect Effects 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 18
- 239000000284 extract Substances 0.000 claims description 17
- 230000014509 gene expression Effects 0.000 claims description 12
- 238000012937 correction Methods 0.000 claims description 6
- 230000008520 organization Effects 0.000 claims description 3
- 230000014616 translation Effects 0.000 claims 23
- 230000008451 emotion Effects 0.000 description 110
- 238000010801 machine learning Methods 0.000 description 25
- 238000010586 diagram Methods 0.000 description 21
- 239000000463 material Substances 0.000 description 17
- 239000003795 chemical substances by application Substances 0.000 description 11
- 230000000694 effects Effects 0.000 description 11
- 239000008186 active pharmaceutical agent Substances 0.000 description 10
- 238000005516 engineering process Methods 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 238000013461 design Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 7
- 230000008859 change Effects 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 6
- 230000006397 emotional response Effects 0.000 description 5
- 238000012360 testing method Methods 0.000 description 5
- 230000008909 emotion recognition Effects 0.000 description 4
- 238000005070 sampling Methods 0.000 description 4
- 208000019901 Anxiety disease Diseases 0.000 description 3
- 230000036506 anxiety Effects 0.000 description 3
- 238000013145 classification model Methods 0.000 description 3
- 238000001914 filtration Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000007935 neutral effect Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000001149 cognitive effect Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000000306 recurrent effect Effects 0.000 description 2
- 239000012925 reference material Substances 0.000 description 2
- 239000013589 supplement Substances 0.000 description 2
- 239000000725 suspension Substances 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- 230000009118 appropriate response Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 238000003672 processing method Methods 0.000 description 1
- 239000000047 product Substances 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000011218 segmentation Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 238000012038 vulnerability analysis Methods 0.000 description 1
- 230000003442 weekly effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/109—Time management, e.g. calendars, reminders, meetings or time accounting
-
- G06Q50/30—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
- H04L51/02—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail using automatic reactions or user delegation, e.g. automatic replies or chatbot-generated messages
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- Operations Research (AREA)
- Educational Technology (AREA)
- Entrepreneurship & Innovation (AREA)
- Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Educational Administration (AREA)
- Economics (AREA)
- Data Mining & Analysis (AREA)
- Quality & Reliability (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Electrically Operated Instructional Devices (AREA)
Abstract
가상 튜터 로봇을 이용한 비대면 언어평가 제공 방법 및 장치를 개시한다.
본 실시예는 비대면 수업에 있어서, 강의자와 학습자 간의 소통을 보완하는 가상 튜터 로봇(Virtual Tutor Robot)을 이용하여 텍스트 정보를 수집하고, 수집된 텍스트 정보에 대한 문법에 대한 오류를 검출한 후 수치화한 점수를 산출하고, 텍스트 정보와 함께 점수를 학습하여 언어평가 결과를 출력하도록 하는 가상 튜터 로봇을 이용한 비대면 언어평가 제공 방법 및 장치를 제공한다.
본 실시예는 비대면 수업에 있어서, 강의자와 학습자 간의 소통을 보완하는 가상 튜터 로봇(Virtual Tutor Robot)을 이용하여 텍스트 정보를 수집하고, 수집된 텍스트 정보에 대한 문법에 대한 오류를 검출한 후 수치화한 점수를 산출하고, 텍스트 정보와 함께 점수를 학습하여 언어평가 결과를 출력하도록 하는 가상 튜터 로봇을 이용한 비대면 언어평가 제공 방법 및 장치를 제공한다.
Description
본 발명의 일 실시예는 가상 튜터 로봇을 이용한 비대면 언어평가 제공 방법 및 장치에 관한 것이다.
이하에 기술되는 내용은 단순히 본 실시예와 관련되는 배경 정보만을 제공할 뿐 종래기술을 구성하는 것이 아니다.
네트워크를 기반으로 한 원격 교육은 학교에서 교실 교육을 대처하기 위한 수단으로 사용되어 왔다. 원격 교육은 참여하는 학생 수를 제한하지 않고, 학생들이 집 또는 외부 공간에서 수업에 참석할 수 있도록 한다.
일반적인 원격 교육에서의 평가는 학생들과 선생님 간에는 제한된 상호작용만이 가능하다. 예컨대, 온라인으로 평가에서, 평가 참가자의 모니터 밖 환경 설정이나 상태를 파악하지 못한다. 제한된 상호작용 환경에는, 교재 활용 여부, 구글링이나 보조자료의 활용 여부, 다른 평가 참여자와의 협력 여부, 대리 시험, 외부 도우미 등을 제어하기 어렵다. 또한 평가시간 중에 디바이스나 소프트웨어의 조작적 실수 또는 네트워크 끊김 상황에 따라 전체 시험을 무응시 상태로 만들 수 있어 학생들에게 불안과 불평을 유발시킨다.
더불어, COVID-19에 대응하기 위하여 대학에서 등교에 의한 집합 평가를 지양하고 원격 평가나 과제물 활용 평가를 실시하고 있다.
상용화된 화상 강의(회의) 솔루션은 기술적인 발전에도 불구하고 소프트웨어, 하드웨어 또는 네트워크 장애로 인해 품질 저하 및 딜레이로 인해 원활한 전송에 한계가 있다. 또한, 학습의 공정한 평가적인 측면에서 평가 환경 처리 기능 미제공, 불필요한 채팅이나 파일 공유의 무분별한 사용으로 교수자와 학습자 모두에게 혼란을 초래하는 문제가 있다.
종래의 회원 간의 학습 기술은 한국공개특허 제10-2010-0003683호에 개시되어 있다.
종래의 회원 간의 학습 기술은 한국공개특허 제10-2010-0003683호에 개시되어 있다.
본 실시예는 비대면 수업에 있어서, 강의자와 학습자 간의 소통을 보완하는 가상 튜터 로봇(Virtual Tutor Robot)을 이용하여 텍스트 정보를 수집하고, 수집된 텍스트 정보에 대한 문법에 대한 오류를 검출한 후 수치화한 점수를 산출하고, 텍스트 정보와 함께 점수를 학습하여 언어평가 결과를 출력하도록 하는 가상 튜터 로봇을 이용한 비대면 언어평가 제공 방법 및 장치를 제공하는 데 목적이 있다.
본 실시예의 일 측면에 의하면, 강의자 단말기로부터 입력받은 강의 계획서를 기반으로 학습 과제별 비대면 개인 채팅방 및 과제별 비대면 그룹 채팅방을 개설하는 채팅방 개설부; 학습 과제별 상기 비대면 개인 채팅방 및 상기 비대면 그룹 채팅방 내에 학습자 단말기와 함께 가상 튜터 로봇을 참여시키고, 상기 가상 튜터 로봇을 이용하여 상기 학습 단말기로부터 입력되는 텍스트 정보를 수집하는 수집부; 상기 텍스트 정보에 대해 문법이 틀린 문장의 오류를 수정하는 문법오류수정(GEC: Grammar Error Correction) 또는 틀린 부분을 감지하는 문법오류검출(GED: Grammar Error Detection)을 수행한 오류 검출 결과를 생성하고, 상기 오류 검출 결과를 수치화하여 문법 정확도 점수로 출력하는 오류 검출부; 상기 텍스트 정보와 상기 점수를 입력받아 학습한 학습 결과를 생성하는 학습부; 상기 학습 결과를 반영하여 상기 텍스트 정보에 대한 자연어 질의를 실시간으로 이해한 자연어 이해결과를 생성하고, 상기 자연어 이해결과를 기반으로 언어평가 결과를 출력하는 지능형 대화 솔루션 제공부;를 포함하는 것을 특징으로 하는 비대면 언어평가 제공 시스템을 제공한다.
본 실시예의 다른 측면에 의하면, 채팅방 개설부에서 강의자 단말기로부터 입력받은 강의 계획서를 기반으로 학습 과제별 비대면 개인 채팅방 및 과제별 비대면 그룹 채팅방을 개설하는 과정; 수집부에서 학습 과제별 상기 비대면 개인 채팅방 및 상기 비대면 그룹 채팅방 내에 학습자 단말기와 함께 가상 튜터 로봇을 참여시키고, 상기 가상 튜터 로봇을 이용하여 상기 학습 단말기로부터 입력되는 텍스트 정보를 수집하는 과정; 오류 검출부에서 상기 텍스트 정보에 대해 문법이 틀린 문장의 오류를 수정하는 문법오류수정(GEC: Grammar Error Correction) 또는 틀린 부분을 감지하는 문법오류검출(GED: Grammar Error Detection)을 수행한 오류 검출 결과를 생성하고, 상기 오류 검출 결과를 수치화하여 문법 정확도 점수로 출력하는 과정; 학습부에서 상기 텍스트 정보와 상기 점수를 입력받아 학습한 학습 결과를 생성하는 과정; 지능형 대화 솔루션 제공부에서 상기 학습 결과를 반영하여 상기 텍스트 정보에 대한 자연어 질의를 실시간으로 이해한 자연어 이해결과를 생성하고, 상기 자연어 이해결과를 기반으로 언어평가 결과를 출력하는 과정;을 포함하는 것을 특징으로 하는 비대면 언어평가 제공 방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 비대면 수업에 있어서, 강의자와 학습자 간의 소통을 보완하는 가상 튜터 로봇(Virtual Tutor Robot)을 이용하여 텍스트 정보를 수집하고, 수집된 텍스트 정보에 대한 문법에 대한 오류를 검출한 후 수치화한 점수를 산출하고, 텍스트 정보와 함께 점수를 학습하여 언어평가 결과를 출력하도록 하는 효과가 있다.
본 실시예에 의하면, 실시간 학생들의 언어실력을 점검하여 피드백을 제공하고, 지속적인 학습결과의 분석트랙킹을 진행함으로, 1회성 평가를 벗어나 언어실력의 증거기반 예상치를 제공하는 비형식 평가(Informal Evaluation)의 표준점을 제공하는 효과가 있다.
도 1은 본 실시예에 따른 비대면 언어평가 제공 시스템을 나타낸 도면이다.
도 2는 본 실시예에 따른 비대면 언어평가 제공장치를 개략적으로 나타낸 도면이다.
도 3은 본 실시예에 따른 가상 튜터 로봇을 이용한 수업중 학습자 그룹 채팅을 나타낸 도면이다.
도 4는 본 실시예에 따른 가상 튜터 로봇을 이용한 질의 그룹핑 및 강의 참고 자료에 대한 학습 보조를 나타낸 도면이다.
도 5는 본 실시예에 따른 가상 튜터 로봇을 이용한 조별 과제에 대한 학습 보조를 나타낸 도면이다.
도 6은 본 실시예에 따른 가상 튜터 로봇을 이용한 수업 관련 활동 및 퀴즈 제공을 나타낸 도면이다.
도 7은 본 실시예에 따른 가상 튜터 로봇을 이용하여 강의자에게 수업 알람을 발생하는 화면을 나타낸 도면이다.
도 8은 본 실시예에 따른 문법 오류 검출을 위한 점수 체계를 나타낸 도면이다.
도 9는 본 실시예에 따른 언어 번역시 정확도를 학습한 모델을 설명하기 위한 도면이다.
도 10은 본 실시예에 따른 가상 튜터 로봇 솔루션 커스터마이징을 나타낸 도면이다.
도 11은 본 실시예에 따른 개체명 분석을 태그와 분류를 나타낸 도면이다.
도 2는 본 실시예에 따른 비대면 언어평가 제공장치를 개략적으로 나타낸 도면이다.
도 3은 본 실시예에 따른 가상 튜터 로봇을 이용한 수업중 학습자 그룹 채팅을 나타낸 도면이다.
도 4는 본 실시예에 따른 가상 튜터 로봇을 이용한 질의 그룹핑 및 강의 참고 자료에 대한 학습 보조를 나타낸 도면이다.
도 5는 본 실시예에 따른 가상 튜터 로봇을 이용한 조별 과제에 대한 학습 보조를 나타낸 도면이다.
도 6은 본 실시예에 따른 가상 튜터 로봇을 이용한 수업 관련 활동 및 퀴즈 제공을 나타낸 도면이다.
도 7은 본 실시예에 따른 가상 튜터 로봇을 이용하여 강의자에게 수업 알람을 발생하는 화면을 나타낸 도면이다.
도 8은 본 실시예에 따른 문법 오류 검출을 위한 점수 체계를 나타낸 도면이다.
도 9는 본 실시예에 따른 언어 번역시 정확도를 학습한 모델을 설명하기 위한 도면이다.
도 10은 본 실시예에 따른 가상 튜터 로봇 솔루션 커스터마이징을 나타낸 도면이다.
도 11은 본 실시예에 따른 개체명 분석을 태그와 분류를 나타낸 도면이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 비대면 언어평가 제공 시스템을 나타낸 도면이다.
본 실시예에 따른 비대면 언어평가 제공 시스템은 비대면 언어평가 제공장치(110), 학습자 단말기(130), 강의자 단말기(140)를 포함한다. 비대면 언어평가 제공 시스템에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
비대면 언어평가 제공장치(110)는 하드웨어적으로 통상적인 웹서버(Web Server) 또는 네트워크 서버와 동일한 하드웨어 모듈을 포함한다. 비대면 언어평가 제공장치(110)는 웹서버 또는 네트워크 서버의 형태로 구현될 수 있다.
비대면 언어평가 제공장치(110)는 일반적으로 인터넷과 같은 개방형 컴퓨터 네트워크를 경유하여 불특정 다수 클라이언트 또는 다른 서버와 통신한다. 비대면 언어평가 제공장치(110)는 클라이언트 또는 다른 웹서버의 작업수행 요청에 대응하는 작업 결과를 도출하여 제공하는 컴퓨터 시스템, 컴퓨터 소프트웨어(웹서버 프로그램)를 의미한다.
비대면 언어평가 제공장치(110)는 전술한 웹서버 프로그램 이외에, 웹서버상에서 동작하는 일련의 응용 프로그램(Application Program) 또는 장치 내부에 구축되어 있는 각종 데이터베이스를 포함하는 넓은 개념으로 이해되어야 할 것이다.
비대면 언어평가 제공장치(110)는 강의자 단말기(140)로부터 강의 자료, 강의 보조자료를 수신한 후 학습 스케쥴에 따라 학습자 단말기(130)로 강의 자료, 강의 보조자료를 전달한다. 비대면 언어평가 제공장치(110)는 학습 스케쥴에 따라 강의자 단말기(140)로 강의 자료를 요청한다. 비대면 언어평가 제공장치(110)는 강의자 단말기(140)로부터 강의 자료, 강의 보조자료를 수신한다.
비대면 언어평가 제공장치(110)는 학습 스케쥴에 따라 학습자 단말기(130)로 강의 자료, 강의 보조자료를 학습자 단말기(130)의 개인별 또는 그룹별로 제공한다. 비대면 언어평가 제공장치(110)는 학습 스케쥴에 따라 강의를 진행하도록 하고, 가상 튜터 로봇(120)을 이용하여 강의별 채팅 정보를 수집한다.
비대면 언어평가 제공장치(110)는 과제별 그룹 채팅방 내에서 학습자 단말기(130)와 가상 튜터 로봇(120) 간의 의사소통을 하면서 입력받은 텍스트의 문맥에 따라 학습자의 감정 변화를 파악한다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 멀티 턴 상황에서 변화하는 감정을 이해한다. 비대면 언어평가 제공장치(110)는 계층적 RNN(Recurrent Neural Network)를 이용하여 학습자 단말기(130)와 가상 튜터 로봇(120) 간의 의사소통을 하면서 입력받은 텍스트의 문맥에 따라 변화하는 감정 상태를 이해한다.
비대면 언어평가 제공장치(110)는 과제별 그룹 채팅방 내에 외국어 텍스트가 입력된 경우, 네트워크로 연결된 번역모듈을 이용하여 외국어 텍스트를 한국어 텍스트로 번역한 후 학습 데이터를 이용한다. 비대면 언어평가 제공장치(110)는 번역 모듈을 이용하여 기계학습으로 번역을 수행한 경우, 번역한 한국어 텍스트에 노이즈가 포함되거나, 상황, 문맥에 따른 완벽한 번역 문장이 아닐 수 있다. 비대면 언어평가 제공장치(110)는 한국어 특화 토크나이징 모듈이 결합된 언어 모델을 기반으로 번역된 문장의 품질을 향상시켜서 학습 데이터로 이용한다.
비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 제공하기 위한 서비스 환경으로 학습 내용, 학습 참여자의 수준, 대화의 주제 등에 따라 대화의 내용이 유동적으로 변화하므로 대화에서 능동적으로 감성을 표현해야 하기 위해 감성 요소를 7개의 감성(중립, 분노, 공포, 혐오, 행복, 슬픔, 놀람)으로 분류하고 대화 상황을 온톨로지 트리를 이용하여 체계화한다.
비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 비대면 개인 채팅방 및 비대면 그룹 채팅방 내에서 수집한 대화 텍스트(Text), 음성(Voice)을 저장한다. 비대면 언어평가 제공장치(110)는 수집한 텍스트, 음성을 분석하여 학습자의 감정 정보를 7개의 감성(중립, 분노, 공포, 혐오, 행복, 슬픔, 놀람)으로 분류한다.
비대면 언어평가 제공장치(110)는 분류된 감성 정보를 학습정서(Academic Emotion)의 4개 영역(성취 정서(Achievement Emotion), 인식론적 정서(Epistemic Emotion), 토픽 정서(Topic Emotion), 사회적 정서(Social Emotion))으로 재매핑한다.
비대면 언어평가 제공장치(110)는 감성 정보를 기반으로 확인한 성취 정서(Achievement Emotion), 인식론적 정서(Epistemic Emotion), 토픽 정서(Topic Emotion), 사회적 정서(Social Emotion) 중 하나 이상의 정보를 기반으로 학습성취, 도전학습, 주제학습, 상호작용 상의 불편사항을 인지한다. 비대면 언어평가 제공장치(110)는 불편사항을 기반으로 학습 가이드를 진행한다.
비대면 언어평가 제공장치(110)는 학습정서(Academic Emotion)로 “어렵다”, “흥미롭다”, “생소하다”, “이상하다”, “어, 왜 이렇지?” 등의 정서 표현과 “적극적 질문”, “과제 미제출” 등의 학습 인지적 활동을 포함한 수업 중 발생하는 학습자의 정서를 인지한다.
비대면 언어평가 제공장치(110)는 분류된 감성 정보를 성취 정서(Achievement Emotion), 인식론적 정서(Epistemic Emotion), 토픽 정서(Topic Emotion), 사회적 정서(Social Emotion) 중 하나 이상의 정서에 매핑하여 학습정서를 파악한다.
성취 정서(Achievement Emotion)는 학습 성취 활동 결과에 따른 성공, 실패에 대한 감정을 의미한다. 다시 말해, 비대면 언어평가 제공장치(110)는 성취 활동으로 인한 성공 또는 실패에 대한 감정을 성취 정서로 분류한다. 비대면 언어평가 제공장치(110)는 학습의 즐거운 감정, 성공과 관련된 희망/자부심 감정, 실패에 대한 불안한 감정을 성취 정서로 분류한다.
인식론적 정서(Epistemic Emotion)는 새로운 과제에 대한 놀라움, 호기심, 혼란/좌절 이후 문제가 해결되었을 때 기쁨과 같이 인지적 활동으로 인해 발생하는 학습 과정에 대한 감정을 의미한다. 다시 말해, 비대면 언어평가 제공장치(110)는 새롭고, 비일상적 지식 학습 과정에서 발생하는 감정을 인식론적 정서로 분류한다. 비대면 언어평가 제공장치(110)는 새로운 과제에 대한 놀라운 감정, 호기심에 대한 감정, 두려운 감정, 혼란한 감정을 인식론적 정서로 분류한다.
토픽 정서(Topic Emotion)는 수업에서 제시된 긍정/부정적인 주제에 자신의 감정을 투영한 감정을 의미한다. 다시 말해, 비대면 언어평가 제공장치(110)는 수업에서 제시된 주제와 관련된 감정을 토픽 정서로 분류한다. 비대면 언어평가 제공장치(110)는 자료에 묘사된 인물의 감정에 공감, 긍정/부정하는 감정 모두를 토픽 정서로 분류한다.
사회적 정서(Social Emotion)는 수업, 강의자, 학습자와의 상호작용에서 발생하는 감정을 의미한다. 다시 말해, 비대면 언어평가 제공장치(110)는 수업, 강의자, 동료와 관련된 상호작용, 그룹 학습에서의 감정을 사회적 정서로 분류한다. 비대면 언어평가 제공장치(110)는 사랑, 동정, 동경, 존경, 경멸, 시기, 분노, 사회적 불안에 대한 감정을 사회적 정서로 분류한다.
비대면 언어평가 제공장치(110)는 학습 분석(Learning Analytics)을 수행하여 문장검사, 문장 쓰기 연습, 데일리 퀴즈, FLEX 등 학습자에게 제공되는 자료와 학습자 정보, 활동, 학습이력, 성향 등을 종합해 취약점 분석 및 문제를 추천한다.
비대면 언어평가 제공장치(110)는 오디오 채팅(Audio Chat)으로 사용자 음성 기반, 보이스톡으로 플랫폼 내에서 음성 대화를 지원한다.
비대면 언어평가 제공장치(110)는 지능형 대화 서비스를 위한 NLU(Natural Language Understanding) 기술을 가상 튜터 로봇(120)에 적용한다. 비대면 언어평가 제공장치(110)는 학습자와 강의자 간의 소통을 위한 실시간 피드백을 가상 튜터 로봇(120)에 반영한다.
비대면 언어평가 제공장치(110)는 학습자와 챗봇 대화를 위한 NLG(Natural Language Generation) 기술을 가상 튜터 로봇(120)에 적용한다. 비대면 언어평가 제공장치(110)는 학습 그룹과 교육자 소통을 위한 실시간 피드백을 가상 튜터 로봇(120)에 반영한다. 비대면 언어평가 제공장치(110)는 학습 그룹과 챗봇 대화를 위한 NLG 기술을 가상 튜터 로봇(120)에 적용한다.
비대면 언어평가 제공장치(110)는 비대면 학습 환경에 학습자 불안감을 해결하기 위해, 과제별 그룹 채팅방 내에 입력된 텍스트의 문맥 중 “어렵다”, “흥미롭다”, “생소하다”, “이상하다”, “어, 왜 이렇지?” 등의 정서 표현과 “적극적 질문”, “과제 미제출” 등 학습자의 정서를 파악한다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 학습자의 반응을 파악하고, 획득한 정서 데이터를 분석하여 강의자 단말기(140)로 전송한다. 강의자 단말기(140)는 정서 데이터를 기반으로 강의 내용을 설계하거나 보완하는 자료로 활용할 수 있다.
비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 학습자 단말기(130)로 비대면 학습 후 퀴즈를 제공하여 학습자의 이해 수준을 파악함과 동시에, 학습자가 추가적인 질문이 가능하도록 유도한다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 학습자들이 편안하게 질의할 수 있도록 한다.
비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 개인 학습 지도뿐 아니라 학습자 그룹을 지도한다. 비대면 언어평가 제공장치(110)는 학습자 그룹 속에서 “다른 학습자의 반응을 근거로 학습자 본인이 나의 수준을 직간접적으로 파악”할 수 있도록 돕는다. 비대면 언어평가 제공장치(110)는 학습자 본인이 스스로의 수준을 파악하는 것과 동시에 가상 튜터 로봇(120)을 이용하여 학습자 정서를 파악한다. 비대면 언어평가 제공장치(110)는 감성에 기반을 둔 반응을 분석하여 학습자의 보다 적극적인 활동을 독려한다.
비대면 언어평가 제공장치(110)는 학습자 대화 문맥, 학습자별 특성을 고려한 기계학습 기반으로 감성을 인지한다. 비대면 언어평가 제공장치(110)는 학습자별 특성 정보를 임베딩한 정서적 응답을 기반으로 모델 구현하고 학습한다. 비대면 언어평가 제공장치(110)는 감성 추론기를 이용하여 멀티 에이전트 시스템에서 에이전트 간 상호작용으로 발생하는 사건에 따라 감성을 추론한다. 비대면 언어평가 제공장치(110)는 학습자 개인마다 발생한 상황의 해석에 따라 달라지도록 하며, 학습자의 상황별 해석에 따라 각 개인의 목표, 예상, 학습을 적응적으로 조절한다. 비대면 언어평가 제공장치(110)는 각각 학습자 관점에 따라 다른 내부모델(예컨대, 현재 총 24개의 감성 형태)을 가지도록 한다.
비대면 언어평가 제공장치(110)는 학습자의 상호작용과 정서적 요인을 증대시키기 위한 소셜 에이전트 매칭 기술을 이용하여 학습자별 특성을 고려한 소셜 그룹을 생성한다. 비대면 언어평가 제공장치(110)는 학습자 특성 분류, 프로파일 분석(Profile Analyzer), 프로파일 학습(Profile Learner), 필터링(Filtering)의 단계를 거쳐서 생성된 소셜 그룹을 추천한다.
비대면 언어평가 제공장치(110)는 학습자의 특성을 분류하기 위해 학생 정보(성별, 나이, 지역, 전공, 이수과목, 성적), 관심사 정보(일반적인 관심사 정보, 자기소개), 기계 학습 정보(참여도, 질의응답, 감성인지)를 취득한다. 비대면 언어평가 제공장치(110)는 프로파일 분석을 위해 "학생정보"를 규칙 기반으로 분류한다. 비대면 언어평가 제공장치(110)는 "관심사 정보"를 기계학습 기반으로 분류한다.
비대면 언어평가 제공장치(110)는 프로파일 학습을 위해 프로파일 분석에서 분류된 정보와 학습자의 감성 인지 정보를 기계학습 기반으로 학습한다. 비대면 언어평가 제공장치(110)는 필터링을 위해 학습된 정보를 규칙 및 기계학습 기반으로 분류하여 추천한다. 비대면 언어평가 제공장치(110)는 추천된 매칭 그룹의 피드백을 프로파일 학습으로 지속적으로 학습하여 학습자의 정서, 감성을 충족하는 행동을 활성화하도록 한다.
비대면 언어평가 제공장치(110)는 개인 학습 및 그룹 학습을 위한 가상 튜터 로봇(120)을 제공한다.
1단계로 비대면 언어평가 제공장치(110)는 수집된 데이터에 대해 데이터 비식별화를 수행한다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 제공할 때, 이용자가 인지하지 못한 상태 과도하게 수집되는 개인정보침해를 방지하기 위해 과제별 개인 채팅방, 과제별 그룹 채팅방으로부터 수집된 정보에 대해 데이터 비식별화를 수행한다.
비대면 언어평가 제공장치(110)는 수동 또는 자동으로 데이터 비식별화를 수행한다. 비대면 언어평가 제공장치(110)는 수동으로 클라우드 화상회의 내 질의-응답 데이터 수집, 비식별화 가이드라인 구축, 직원들에게 데이터 비식별화 교육, 비식별화 가이드라인을 이용한 해당 데이터 수동 치환 및 마스킹(Masking) 영역으로 설정하여 비식별화를 수행한다. 비대면 언어평가 제공장치(110)는 자동으로 정규 표현식을 이용한 중요 개인 정보(이메일, 전화번호, 아이디, 비밀번호 등) 패턴 매칭, 개체명 사전 및 인식기를 통한 비식별 대상(회사명, 기관명, 줄임말, 축약어 등) 추출, 기계학습 기반 비식별 후보로 설정하여 비식별화를 수행한다.
2단계로 비대면 언어평가 제공장치(110)는 실시간 자연어 질의 이해하여 지능형 교육용 대화 솔루션을 제공한다. 비대면 언어평가 제공장치(110)는 지능형 교육용 대화 솔루션을 제공하기 위해 학습자 질의 도메인, 의도 분류, 실시간 학습자 유사 질의 탐색이 필요하다. 비대면 언어평가 제공장치(110)는 학습자 질의 도메인 및 의도 분류 체계를 설계한다. 비대면 언어평가 제공장치(110)는 대화 문맥을 고려한 학습자 질의 심층을 이해한다. 비대면 언어평가 제공장치(110)는 학습자별 특성을 고려한 학습자 질의 심층을 이해한다. 비대면 언어평가 제공장치(110)는 학습자 질의 도메인 및 의도 분류 모델 학습 및 분류기 개발로 학습자 질의 도메인 및 의도 분류를 완성한다.
비대면 언어평가 제공장치(110)는 실시간 학습자 유사 질의를 탐색한다. 비대면 언어평가 제공장치(110)는 학습자 질의가 입력으로 주어지면 학습된 분류 모델과 한국어 특화 토크나이징 모듈이 적재된 검색 엔진을 통해 몇 초 이내로 입력 질의문의 의미적 특징값을 추출한다. 비대면 언어평가 제공장치(110)는 기계학습 기반 학습자 질의 유사도(similarity)를 측정한다. 비대면 언어평가 제공장치(110)는 측정된 유사도 값을 기준으로 특정 기준값(threshold)과 비교한다. ④ 비대면 언어평가 제공장치(110)는 해당 기준값보다 낮은 경우, 미리 정의한 도메인 및 의도 분류 체계에 없는 경우로 간주하고 학습자와의 대화를 통해 유사 질의 추론 후, 유사 질의 사례별로 묶어 실시간 DB화한다. 비대면 언어평가 제공장치(110)는 해당 기준값보다 크거나 같은 경우, 미리 정의한 도메인 및 의도 분류 체계에 있는 경우로 간주하여 실시간 유사 질의 DB에서 미리 정의한 카테고리와 관련된 질의로 인덱싱한다. 비대면 언어평가 제공장치(110)는 해당 기준값은 여러 번의 성능 평가를 통해 산출된 최적값으로 설정한다.
3단계로 비대면 언어평가 제공장치(110)는 학습자-강의자 소통을 위한 실시간 피드백을 반영한다. 비대면 언어평가 제공장치(110)는 학습자에 대한 응답을 기반으로 학습자 특성 및 반응 분석을 생성한다. 비대면 언어평가 제공장치(110)는 학습자 특성 및 반응 분석을 기반으로 피드백 정보를 교육 정보에 실시간 반영한다.
비대면 언어평가 제공장치(110)는 학습자 응답에 대한 학습자 특성 및 반응 분석을 생성한다. 비대면 언어평가 제공장치(110)는 학습자 질의에 대해 응답을 제공함에 따라 나타나는 학습자 반응에서 의미있는 특징인 강의 내 중요 개념 또는 학습자가 느끼는 강의 난이도(교육 정도) 등을 추출한다. 비대면 언어평가 제공장치(110)는 실시간 데이터 베이스에서 학습 유형(해당 학습자의 개인 또는 그룹 인지 여부), 선호 언어(해당 학습자가 사용하는 언어), 선호 개념(학습자가 선호하는 개념 및 내용)으로 학습자별 특성을 파악한다. 비대면 언어평가 제공장치(110)는 교육 정도 제공을 위한 템플릿 기반 피드백 정보를 생성하고, 실시간 강의자에게 학습자들의 교육 정도 반영한다.
4단계로 비대면 언어평가 제공장치(110)는 학습자-챗봇 대화를 위한 자연어 응답을 생성한다. 비대면 언어평가 제공장치(110)는 응답 생성 기술을 이용하여 질의응답 제공을 위한 템플릿 기반 선질문 및 응답 관련 목적 대화 생성과 학습자와의 정서적 소통을 위한 기계학습 기반으로 일반 대화를 생성한다.
비대면 언어평가 제공장치(110)는 질의응답 제공을 위한 템플릿 기반 선질문 및 응답 관련 목적 대화를 생성한다. 비대면 언어평가 제공장치(110)는 대화 문맥과 학습자별 특성을 고려한 선질문을 통한 추가 대응 정보를 수집한다. 비대면 언어평가 제공장치(110)는 질의 사례별 대응 템플릿을 정의한다. 비대면 언어평가 제공장치(110)는 정서적 소통을 위한 기계학습 기반 일반 대화를 생성한다.
비대면 언어평가 제공장치(110)는 대화 문맥과 학습자별 특성을 고려한 기계학습 기반으로 응답 문장 생성 모델을 구현하고 학습한다. 비대면 언어평가 제공장치(110)는 기계학습 기반 감정 분석기를 통한 대화 내 문맥적 감정 상태를 파악한다. 비대면 언어평가 제공장치(110)는 기계학습 기반 학습자별 특성 정보를 임베딩한다. 비대면 언어평가 제공장치(110)는 정서적 소통을 위한 기계학습 기반 정서적인 응답 생성 모델을 구현하고 학습한다.
학습자 단말기(130)와 강의자 단말기(140)는 사용자의 키 조작에 따라 네트워크를 경유하여 음성 또는 데이터 통신을 수행하는 전자 기기를 의미한다. 학습자 단말기(130)와 강의자 단말기(140)는 네트워크를 경유하여 비대면 언어평가 제공장치(110)와 통신하기 위한 프로그램 또는 프로토콜을 저장하기 위한 메모리, 해당 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비한다.
학습자 단말기(130)와 강의자 단말기(140)는 스마트폰(Smart Phone), 태블릿(Tablet), 랩톱(Laptop), 개인용 컴퓨터(PC: Personal Computer), 개인 휴대 단말기(PDA: Personal Digital Assistant), 휴대형 멀티미디어 플레이어(PMP: Portable Multimedia Player), 무선 통신 단말기(Wireless Communication Terminal), 미디어 플레이어 등과 같은 전자 기기일 수 있다.
학습자 단말기(130)와 강의자 단말기(140)는 각종 기기 또는 유무선 네트워크와 통신을 수행하기 위한 통신 모뎀 등의 통신 장치, 각종 프로그램과 데이터를 저장하기 위한 메모리, 프로그램을 실행하여 연산 및 제어하기 위한 마이크로프로세서 등을 구비하는 다양한 장치이다. 적어도 일 실시예에 따르면, 메모리는 램(Random Access Memory: RAM), 롬(Read Only Memory: ROM), 플래시 메모리, 광 디스크, 자기 디스크, 솔리드 스테이트 디스크(Solid State Disk: SSD) 등의 컴퓨터로 판독 가능한 기록/저장매체일 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 명세서상에 기재된 동작과 기능을 하나 이상 선택적으로 수행하도록 프로그램될 수 있다. 적어도 일 실시예에 따르면, 마이크로프로세서는 전체 또는 부분적으로 특정한 구성의 주문형반도체(Application Specific Integrated Circuit: ASIC) 등의 하드웨어로써 구현될 수 있다.
도 2는 본 실시예에 따른 비대면 언어평가 제공장치를 개략적으로 나타낸 도면이다.
본 실시예에 따른 비대면 언어평가 제공장치(110)는 채팅방 개설부(210), 수집부(220), 비식별화부(222), 지능형 대화 솔루션 제공부(224), 피드백 반영부(226), 자연어 응답부(228), 분석부(230), 사용자 패턴 생성부(240), 감성 분류부(250), 질의 내용 요약부(260), 비대면 수업 지원부(270)를 포함한다. 비대면 언어평가 제공장치(110)에 포함된 구성요소는 반드시 이에 한정되는 것은 아니다.
비대면 언어평가 제공장치(110)에 포함된 각 구성요소는 장치 내부의 소프트웨어적인 모듈 또는 하드웨어적인 모듈을 연결하는 통신 경로에 연결되어 상호 간에 유기적으로 동작할 수 있다. 이러한 구성요소는 하나 이상의 통신 버스 또는 신호선을 이용하여 통신한다.
도 2에 도시된 비대면 언어평가 제공장치(110)의 각 구성요소는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 소프트웨어적인 모듈, 하드웨어적인 모듈 또는 소프트웨어와 하드웨어의 결합으로 구현될 수 있다.
채팅방 개설부(210)는 강의자 단말기(140)로부터 입력받은 강의 계획서를 기반으로 학습 과제별 비대면 개인 채팅방 및 과제별 비대면 그룹 채팅방을 개설한다.
수집부(220)는 학습 과제별 비대면 개인 채팅방 및 비대면 그룹 채팅방 내에 학습자 단말기(130)와 함께 가상 튜터 로봇(120)을 참여시킨다. 수집부(220)는 가상 튜터 로봇(120)을 이용하여 비대면 개인 채팅방 및 비대면 그룹 채팅방으로부터 입력되는 텍스트 정보를 수집한다.
번역부(221)는 수집부(220)에서 수집한 텍스트 정보 내에 언어를 기 설정된 다른 언어로 번역한 번역문을 출력한다.
비식별화부(222)는 텍스트 정보에 대해 데이터 비식별화를 수행한 비식별화 정보를 생성한다. 비식별화부(222)는 자동 비식별화가 선택되면, 일차적으로 텍스트 정보로부터 정규 표현식을 이용하여 이메일, 전화번호, 아이디, 비밀번호 중 적어도 하나 이상을 포함하는 중요 개인 정보를 제1 비식별화 대상으로 선정한다. 비식별화부(222)는 이차적으로 텍스트 정보로부터 패턴 매칭, 개체명 사전 및 인식기를 이용하여 회사명, 기관명, 줄임말 및 축약어 중 적어도 하나 이상을 포함하는 제2 비식별화 대상으로 선정한다. 비식별화부(222)는 제1 비식별화 대상, 제2 비식별화 대상에 대한 비식별화를 수행한다.
비식별화부(222)는 수동 비식별화가 선택되면, 텍스트 정보로부터 수동 비식별화 명령에 따라 기 구축된 비식별화 가이드라인을 기반으로 수동 치환된 데이터에 대해서만 비식별화 대상으로 선정하여 비식별화를 수행한다.
오류 검출부(223)는 텍스트 정보에 대해 문법이 틀린 문장의 오류를 수정하는 문법오류수정(GEC: Grammar Error Correction) 또는 틀린 부분을 감지하는 문법오류검출(GED: Grammar Error Detection)을 수행한 오류 검출 결과를 생성한다. 오류 검출부(223)는 오류 검출 결과를 수치화하여 문법 정확도 점수로 출력한다.
학습부(225)는 텍스트 정보와 수치화된 점수를 입력받아 학습한 학습 결과를 생성한다. 학습부(225)는 외부로부터 입력받은 텍스트 정보 내에 언어와 번역문 간의 제1 번역 정확도 평가 점수와 내부 번역 모델로부터 입력받은 텍스트 정보 내에 언어와 번역문 간의 제2 번역 정확도 평가 점수를 기반으로 학습 결과를 생성한다.
학습부(225)는 제1 번역 정확도 평가 점수가 기 설정된 제1 임계치 이하이거나 제2 번역 정확도 평가 점수가 기 설정된 제1 기준 레벨 이하인 경우, 잘못된 번역으로 인지하여 학습을 수행한다.
학습부(225)는 제1 번역 정확도 평가 점수가 제1 임계치를 초과하고 기 설정된 제2 임계치 이하이거나 제2 번역 정확도 평가 점수가 제1 기준 레벨을 초과하고 기 설정된 제2 기준 레벨 이하인 경우, 번역문의 의미가 원문과 다른 것으로 인지하여 학습을 수행한다.
학습부(225)는 제1 번역 정확도 평가 점수가 제2 임계치를 초과하고 기 설정된 제3 임계치 이하이거나 제2 번역 정확도 평가 점수가 제2 기준 레벨을 초과하고 기 설정된 제3 기준 레벨 이하인 경우, 치명적인 실수를 포함한 번역으로 인지하여 학습을 수행한다.
학습부(225)는 제1 번역 정확도 평가 점수가 제3 임계치를 초과하고 기 설정된 제4 임계치 이하이거나 제2 번역 정확도 평가 점수가 제3 기준 레벨을 초과하고 기 설정된 제4 기준 레벨 이하인 경우, 문맥이 이해가 가능하며 의미 전달이 가능하나 오타, 문법 오류를 포함하고 있는 것으로 인지하여 학습을 수행한다.
학습부(225)는 제1 번역 정확도 평가 점수가 제4 임계치를 초과하고 기 설정된 제5 임계치 이하이거나 제2 번역 정확도 평가 점수가 제4 기준 레벨을 초과하고 기 설정된 제5 기준 레벨 이하인 경우, 번역된 문장의 의미를 보존하고 있는 번역으로 인지하여 학습을 수행한다.
학습부(225)는 제1 번역 정확도 평가 점수가 제5 임계치를 초과하고 기 설정된 제6 임계치 이하이거나 제2 번역 정확도 평가 점수가 제5 기준 레벨을 초과하고 기 설정된 제6 기준 레벨 이하인 경우, 완벽한 번역으로 인지하여 학습을 수행한다.
지능형 대화 솔루션 제공부(224)는 지능형 대화 솔루션을 기반으로 비식별화 정보에 대한 자연어 질의를 실시간으로 이해한 자연어 이해결과를 생성한다. 지능형 대화 솔루션 제공부(224)는 자연어 이해결과를 기반으로 언어평가 결과를 출력한다. 지능형 대화 솔루션 제공부(224)는 비식별화 정보에 대해 학습자 질의 도메인, 의도 분류, 실시간 학습자 유사 질의 탐색을 수행하는 지능형 대화 솔루션을 제공한다.
지능형 대화 솔루션 제공부(224)는 비식별화 정보를 학습자 질의 도메인 및 의도 분류 체계에 따라 분류한 분류 정보를 생성한다. 지능형 대화 솔루션 제공부(224)는 분류 정보 내의 대화 문맥을 고려하여 학습자 질의를 심층 이해한 자연어 심층 이해결과를 자연어 이해결과에 반영한다. 지능형 대화 솔루션 제공부(224)는 분류 정보를 기반으로 학습자별 특성을 고려하여 학습자 질의를 심층 이해한 학습자 심층 이해결과를 자연어 이해결과에 반영한다. 지능형 대화 솔루션 제공부(224)는 분류 정보, 자연어 심층 이행결과, 학습 심층 이해결과를 학습하여 학습자 질의 도메인 및 의도 분류 체계를 완성한다.
지능형 대화 솔루션 제공부(224)는 실시간 학습자 유사 질의를 탐색하기 위해 비식별화 정보 내의 학습자 질의가 입력으로 주어지면 학습된 분류 모델과 한국어 특화 토크나이징 모듈이 적재된 검색 엔진을 이용하여 기 설정된 시간(몇 초) 이내로 입력 질의문의 의미적 특징값을 추출한다.
지능형 대화 솔루션 제공부(224)는 의미적 특징값을 기계학습 기반으로 학습자 질의 유사도(Similarity) 값을 측정한다. 지능형 대화 솔루션 제공부(224)는 유사도 값을 기준으로 특정 기준값(threshold)과 비교한 비교 결과를 생성한다.
지능형 대화 솔루션 제공부(224)는 비교결과가 특정 기준값보다 낮은 경우, 기 정의한 도메인 및 의도 분류 체계에 미존재하는 것으로 간주하여 학습자와의 대화를 이용하여 유사 질의를 추론한 후 유사 질의를 사례별로 묶어서 실시간으로 DB화하여 자연어 이해결과에 반영한다.
지능형 대화 솔루션 제공부(224)는 비교결과가 특정 기준값보다 크거나 동일한 경우, 기 정의한 도메인 및 의도 분류 체계에 존재하는 것으로 간주하여 실시간 유사 질의 DB에서 기 정의한 카테고리와 관련된 질의로 인덱싱하여 자연어 이해결과를 생성한다. 지능형 대화 솔루션 제공부(224)는 특정 기준값을 반복 수행한 성능 평가를 기반으로 산출된 최적값으로 설정한다.
피드백 반영부(226)는 자연어 이해결과를 기반으로 비대면 개인 채팅방 및 비대면 그룹 채팅방 내에 참여한 학습자와 강의자 간의 소통에 필요한 실시간 피드백 정보로 출력한다.
피드백 반영부(226)는 자연어 이해결과를 기반으로 학습자 질의에 대한 응답을 추출한다. 피드백 반영부(226)는 학습자의 질의에 대한 응답에 대응하는 학습자 특성 및 반응 분석 결과 생성한다. 피드백 반영부(226)는 학습자 특성 및 반응 분석 결과를 학습자와 강의자 간의 피드백 정보에 반영하여 출력하도록 한다.
피드백 반영부(226)는 자연어 이해결과 중 학습자에 대한 질의에 대한 응답을 추출한다. 피드백 반영부(226)는 학습자 질의에 대한 응답 중 의미를 갖는 강의 내 중요 개념을 추출한다. 피드백 반영부(226)는 의미를 갖는 강의 내 중요 개념을 기반으로 학습자가 느끼는 강의 난이도, 교육 정도를 산출한다. 피드백 반영부(226)는 실시간 데이터베이스로부터 추출된 해당 학습자의 개인 또는 그룹 인지 여부에 따른 학습 유형, 해당 학습자가 사용하는 언어를 기반으로 한 선호 언어, 학습자가 선호하는 선호 개념을 기반으로 학습자별 특성을 파악한다. 피드백 반영부(226)는 학습자별 특성마다 학습자가 느끼는 강의 난이도, 교육 정도를 반영하여 학습자와 강의자 간의 피드백 정보를 출력한다.
자연어 응답부(228)는 자연어 이해결과를 기반으로 비대면 개인 채팅방 및 비대면 그룹 채팅방 내에 참여한 학습자와 챗봇 간의 대화를 위해 학습자 질의에 대한 자연어 응답을 생성한 후 가상 튜터 로봇(120)을 이용하여 출력하도록 한다.
자연어 응답부(228)는 자연어 이해결과를 기반으로 학습자 질의에 대한 템플릿 기반 선질문과 응답 관련 목적 대화 지문을 생성한다. 자연어 응답부(228)는 템플릿 기반 선질문과 응답 관련 목적 대화 지문을 응답 생성 기술에 적용한 후 학습자와의 정서적 소통을 위한 기계학습으로 학습한 일반 대화 지문을 생성한다. 자연어 응답부(228)는 일반 대화 지문을 자연어 응답에 반영한다.
자연어 응답부(228)는 템플릿 기반 선질문 및 응답 관련 목적 대화를 생성하기 위해 자연어 이해결과 내에서 대화 문맥과 학습자별 특성을 고려한 선질문을 이용하여 추가 대응 정보를 수집한다. 자연어 응답부(228)는 추가 대응 정보를 기반으로 질의 사례별 대응 템플릿을 정의한다.
자연어 응답부(228)는 일반 대화 지문을 생성하기 위해 자연어 이해결과 내에서 대화 문맥과 학습자별 특성을 고려한 기계학습 기반으로 응답 문장 생성 모델을 구현한다. 자연어 응답부(228)는 기계학습 기반 감정 분석기를 이용하여 자연어 이해결과의 대화 내 문맥적 감정 상태를 파악한다. 자연어 응답부(228)는 기계학습 기반 학습자별 특성 정보를 임베딩한다. 자연어 응답부(228)는 정서적 소통을 위한 기계학습 기반 정서적 응답 생성 모델을 구현한다. 자연어 응답부(228)는 응답 문장 생성 모델, 문맥적 감정 상태, 학습자별 특성 정보, 정서적 응답 생성 모델을 기반으로 자연어 응답을 생성한다.
분석부(230)는 비대면 개인 채팅방 및 비대면 그룹 채팅방으로부터 수집된 텍스트 정보를 분석한 분석결과를 생성한다. 분석부(230)는 비대면 개인 채팅방 및 비대면 그룹 채팅방으로부터 수집된 텍스트 정보가 외국어 텍스트인 경우, 네트워크로 연결된 번역모듈을 이용하여 외국어 텍스트를 한국어 텍스트로 번역한 번역문을 생성한 후 번역문을 학습 데이터로서 분석한다. 분석부(230)는 번역문에 대해 한국어 특화 토크나이징 모듈이 결합된 언어 모델을 적용하여 상황, 문맥에 따른 오역을 교정한다.
사용자 패턴 생성부(240)는 분석결과를 기반으로 학습자별 사용자 패턴을 생성한다. 사용자 패턴 생성부(240)는 분석결과를 기반으로 출석율, 과제 수행률, 학습 시간 중 적어도 하나 이상의 학습 패턴을 산출한다. 사용자 패턴 생성부(240)는 분석결과를 기반으로 관심 분야, 적극성, 집중도 중 적어도 하나 이상의 학습 성향을 산출한다. 사용자 패턴 생성부(240)는 분석결과를 기반으로 성취도, 취약 분야, 우수 분야 중 적어도 하나 이상의 학습 성과를 산출한다. 사용자 패턴 생성부(240)는 학습 패턴, 학습 성향, 학습 성과를 조합하여 사용자 패턴을 생성한다.
사용자 패턴 생성부(240)는 비대면 개인 채팅방으로부터 입력되는 개인 텍스트 정보를 분석한 분석결과를 기반으로 개인 학습자 패턴을 생성한다. 사용자 패턴 생성부(240)는 비대면 그룹 채팅방으로부터 입력되는 그룹 텍스트 정보를 분석한 분석결과를 기반으로 그룹 학습자 패턴을 생성한다. 비대면 수업 지원부(270)는 개인 학습자 패턴과 임계치 이상으로 동일한 패턴을 갖는 그룹 학습 패턴을 갖는 비대면 그룹 채팅방을 추출한다.
감성 분류부(250)는 분석결과를 기반으로 감성 정보를 분류한다. 감성 분류부(250)는 분석결과에 포함된 긍정 단어, 중립 단어, 부정 단어의 빈도를 기반으로 사용자 감성을 긍정과 부정으로 분류한다. 감성 분류부(250)는 사용자 감성이 긍정인 경우 세부 감성으로 행복, 만족으로 분류한다. 감성 분류부(250)는 사용자 감성이 부정인 경우, 세부 감성으로 분노, 괴로움으로 분류한다.
감성 분류부(250)는 분석결과를 기반으로 텍스트 정보에 포함된 단어의 빈도수를 측정한 결과를 기반으로 중요도를 산출한다. 감성 분류부(250)는 중요도를 기반으로 후 감성 어휘 목록을 구축한다. 감성 분류부(250)는 감성 어휘 목록별 감성지수를 산출하여 감성 어휘를 이용한 감성사전을 구축한다.
감성 분류부(250)는 분석결과를 기반으로 텍스트 정보 내에 입력되는 자주 사용하는 단어, 이모지, 해시태그 중 적어도 하나 이상을 분석한다. 감성 분류부(250)는 감성 사전에 존재하는 감성 어휘와 매칭하여 감성 정보를 분류한다.
감성 분류부(250)는 비대면 개인 채팅방 및 비대면 그룹 채팅방 내에서 입력된 영상 데이터에서 객체를 검출한다. 감성 분류부(250)는 영상 데이터 내 객체의 얼굴 영역을 검출한다. 감성 분류부(250)는 얼굴 영역에서 표정을 인식한 후 표정의 변화를 인지한다 감성 분류부(250)는 비대면 개인 채팅방 및 비대면 그룹 채팅방 내에서 입력된 오디오 데이터의 파장 변화를 인지한다. 감성 분류부(250)는 표정의 변화, 파장 변화, 분석결과를 기반으로 학습자별 정서 및 감성 정보를 분류한다.
감성 분류부(250)는 비대면 개인 채팅방 및 비대면 그룹 채팅방 내에서 가상 튜터 로봇(120)과 학습자 간의 의사소통을 하면서 입력받은 텍스트의 문맥에 따라 학습자의 감정 변화를 계층적 RNN(Recurrent Neural Network)를 이용하여 파악한다.
감성 분류부(250)는 비슷한 원인에 의해 결과로 생성되는 감성 군집으로 유형화한다. 감성 분류부(250)는 감성 군집을 대상으로 사건, 개체 및 에이전트별로 감성을 평가한다. 감성 분류부(250)는 감성을 평가할 때, 에이전트의 목표와 관련된 사건의 만족도, 에이전트, 다른 에이전트의 행위에 대한 승인 정도, 에이전트의 태도에서 관련된 대상을 좋아하는지 여부에 관한 평가를 수행하여 감성의 강도를 계산한다. 감성 분류부(250)는 감성의 강도를 기반으로 주어진 상황의 해석에 따라 특정 감성으로 분류한다.
감성 분류부(250)는 분석결과를 기반으로 학습자 대화 문맥, 학습자별 특성을 고려한 기계학습 기반으로 감성을 인지한다. 감성 분류부(250)는 학습자별 특성 정보를 임베딩한 정서적 응답을 기반으로 모델을 구현한 후 학습한다.
감성 분류부(250)는 감성 추론기를 이용하여 멀티 에이전트 시스템에서 에이전트 간 상호작용으로 발생하는 사건에 따라 감성을 추론한다. 감성 분류부(250)는 학습자 개인마다 발생한 상황의 해석에 따라 달라지도록 하며, 학습자의 상황별 해석에 따라 각 개인의 목표, 예상, 학습을 적응적으로 조절한다. 감성 분류부(250)는 각각 학습자 관점에 따라 서로 다른 내부 감성 모델(예컨대, 현재 총 24개의 감성 형태)을 생성한다.
질의 내용 요약부(260)는 분석결과를 기반으로 텍스트 정보 중 질의 내용만을 추출한다. 질의 내용 요약부(260)는 질의 내용 중 중복 내용을 확인하여 중복 질의 내용을 하나의 질의로 취합한 질의 취합 데이터를 생성한다. 질의 내용 요약부(260)는 질의 취합 데이터 중 기 설정된 문장 길이 이상을 갖는 문장을 선별한 후 기 설정된 문장 또는 단어 수 이내로 요약한 질의 요약 데이터를 생성한다.
비대면 수업 지원부(270)는 가상 튜터 로봇(120)을 이용하여 분석결과, 학습자별 사용자 패턴 및 감성 정보를 기반으로 비대면 수업을 지원하도록 한다. 비대면 수업 지원부(270)는 가상 튜터 로봇(120)을 이용하여 질의 요약 데이터를 강의자 단말기(140)로 전달한다.
비대면 수업 지원부(270)는 분석결과를 기반으로 학습자별 문장 입력 횟수, 문장 길이, 텍스트 내용을 기반으로 학습 참여도를 산출한다. 비대면 수업 지원부(270)는 학습 참여도를 기반으로 참여율이 가장 적은 학습자를 추출한다. 비대면 수업 지원부(270)는 학습 과제별로 가상 튜터 로봇(120)을 이용하여 참여율이 가장 적은 학습자에 대응하는 학습자 단말기로 학습 참여 독려 메시지를 전송한다.
비대면 수업 지원부(270)는 분석결과를 기반으로 텍스트 정보 중 수업외 내용만을 추출한다. 비대면 수업 지원부(270)는 수업외 내용을 분석하여 도움 또는 지원을 필요로 하는 문장만을 선별한다. 비대면 수업 지원부(270)는 도움 또는 지원을 필요로 하는 문장에 대응하는 카테고리를 선정한다. 비대면 수업 지원부(270)는 해당 카테고리(도움 또는 지원을 필요로 하는 문장에 대응하는 카테고리)에 대응하는 수업외 지원 정보(예컨대, 아르바이트 정보)를 추출한다. 비대면 수업 지원부(270)는 가상 튜터 로봇(120)을 이용하여 도움 또는 지원을 필요로 하는 문장을 입력한 학습자 단말기(130)로 수업외 지원 정보를 전송하도록 한다.
비대면 수업 지원부(270)는 가상 튜터 로봇(120)을 이용하여 비대면 개인 채팅방에 존재하는 개인 학습자에 대응하는 학습자 단말기(130)로 개인 학습자 패턴과 임계치 이상으로 동일한 패턴을 갖는 그룹 학습 패턴을 갖는 비대면 그룹 채팅방의 참여를 추천한다.
비대면 수업 지원부(270)는 가상 튜터 로봇(120)을 이용하여 기 정의한 대표적인 감성에 따라 학습자의 감성을 인지하여 질의 상황의 해석에 맞는 적절한 응답과 정서적 표현을 생성한다.
비대면 수업 지원부(270)는 지능형 대화 서비스를 위해 NLU(Natural Language Understanding) 기술을 가상 튜터 로봇(120)에 적용하여, 가상 튜터 로봇(120)이 학습자와 강의자 간의 소통을 위한 실시간 피드백을 제공하도록 한다. 비대면 수업 지원부(270)는 지능형 대화 서비스를 위해 NLG(Natural Language Generation) 기술을 가상 튜터 로봇(120)에 적용하여, 학습자와 가상 튜터 로봇(120) 간의 소통을 위한 실시간 피드백을 제공하도록 한다.
비대면 수업 지원부(270)는 분석결과를 기반으로 텍스트 정보 내에 정서적 표현(어렵다”, “흥미롭다”, “생소하다”, “이상하다”, “어, 왜 이렇지?”, “적극적 질문”, “과제 미제출”)을 추출한다. 비대면 수업 지원부(270)는 정서적 표현을 분석한 정서 데이터를 강의자 단말기(140)로 전송하여, 강의자 단말기(140)에서 정서 데이터를 기반으로 강의 내용을 설계하거나 보완하도록 한다.
비대면 수업 지원부(270)는 가상 튜터 로봇(120)을 이용하여 학습자 단말기(130)로 비대면 학습 후 퀴즈를 제공하여 학습자의 이해 수준을 파악함과 동시에, 학습자가 추가적인 질문이 가능하도록 유도한다.
비대면 수업 지원부(270)는 가상 튜터 로봇(120)을 이용하여 개인 학습 지도뿐 아니라 학습자 그룹을 지도하며, 학습자 그룹 속에서 다른 학습자의 반응을 근거로 학습자 본인이 자신의 수준을 직간접적으로 파악하도록 한다.
비대면 수업 지원부(270)는 학습자 본인이 스스로 자신의 수준을 파악하는 것과 동시에 가상 튜터 로봇(120)을 이용하여 학습자 정서를 파악한다. 비대면 수업 지원부(270)는 학습자 정서를 기반으로 학습자의 적극적인 활동을 독려한다.
비대면 수업 지원부(270)는 학습자의 상호작용과 정서적 요인을 증대시키기 위한 소셜 에이전트 매칭 기술을 이용하여 학습자별 특성을 고려한 소셜 그룹을 생성한다. 비대면 수업 지원부(270)는 학습자 특성 분류, 프로파일 분석(Profile Analyzer), 프로파일 학습(Profile Learner), 필터링(Filtering)의 단계를 거쳐서 생성된 소셜 그룹을 비대면 개인 채팅방에 존재하는 개인 학습자에게 추천한다.
비대면 수업 지원부(270)는 학습자의 특성을 분류하기 위해 성별, 나이, 지역, 전공, 이수과목, 성적 중 적어도 하나 이상을 포함하는 학생 정보, 일반적인 관심사 정보, 자기소개 중 적어도 하나 이상을 포함하는 관심사 정보, 참여도, 질의응답, 감성인지 중 적어도 하나 이상을 포함하는 기계 학습 정보를 취득한다. 비대면 수업 지원부(270)는 학생 정보를 규칙 기반으로 분류한다. 비대면 수업 지원부(270)는 관심사 정보를 기계학습 기반으로 분류하는 프로파일 분석을 수행한다.
비대면 수업 지원부(270)는 프로파일 분석 과정에서 분류된 정보와 학습자의 감성 인지 정보를 기계학습 기반으로 프로파일 학습을 수행한다. 비대면 수업 지원부(270)는 프로파일 학습을 수행한 정보를 규칙 및 기계학습 기반으로 필터링한다.
도 3은 본 실시예에 따른 가상 튜터 로봇을 이용한 수업중 학습자 그룹 채팅을 나타낸 도면이다.
도 3에 도시된 바와 같이, 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 수업 중 질의 내용을 수집한다.
비대면 언어평가 제공장치(110)는 학습 스케쥴에 따라 학습자 단말기(130)로 강의 자료, 강의 보조자료를 학습자 단말기(130)의 개인별 또는 그룹별로 제공한다. 비대면 언어평가 제공장치(110)는 학습 스케쥴에 따라 강의를 진행하도록 하고, 가상 튜터 로봇(120)을 이용하여 강의별 채팅 정보를 수집한다.
비대면 언어평가 제공장치(110)는 학습자 시나리오로서, 가상 튜터 로봇(120)을 이용하여 수업 중 그룹 채팅으로 자유롭게 학생들의 토론을 지원한다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 학습자들이 그룹 채팅에서 나누었던 대화를 기반으로 질의를 그룹핑하여 강의자 단말기(140)로 전달한다.
도 4는 본 실시예에 따른 가상 튜터 로봇을 이용한 질의 그룹핑 및 강의 참고 자료에 대한 학습 보조를 나타낸 도면이다.
도 4에 도시된 바와 같이, 비대면 언어평가 제공장치(110)는 강의자 시나리오로서, 가상 튜터 로봇(120)을 이용하여 매주차 강의에서 일어난 학생 그룹 질의를 강의자 단말기(140)로 전달한다.
비대면 언어평가 제공장치(110)는 수집된 강의별 채팅 정보를 분석하여 채팅 분석 결과를 생성한 후 채팅 분석 결과 중 질의 내용만을 추출한다. 비대면 언어평가 제공장치(110)는 질의 내용 중 중복 내용을 확인하고, 중복 질의 내용을 하나의 질의로 취합한 질의 취합 데이터를 생성한다. 비대면 언어평가 제공장치(110)는 질의 취합 데이터 중 기 설정된 길이 이상을 갖는 문장을 선별한 후 기 설정된 문장 또는 단어 수 이내로 요약한 질의 요약 데이터를 생성한다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 질의 요약 데이터를 강의자 단말기(140)로 전달한다.
강의자 단말기(140)는 가상 튜터 로봇(120)으로부터 질의 요약 데이터 수신한 후 남은 강의를 진행하는 데 참조할 수 있다. 강의자 단말기(140)는 휴강 안내를 가상 튜터 로봇(120)에게 전달할 수 있다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)으로부터 휴강 안내 정보를 수신한 후 해당 과제별 채팅방으로 전달한다.
도 5는 본 실시예에 따른 가상 튜터 로봇을 이용한 조별 과제에 대한 학습 보조를 나타낸 도면이다.
도 5에 도시된 바와 같이, 비대면 언어평가 제공장치(110)는 학습자 시나리오로서, 수업 외 조별과제를 지원한다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 이번 학기 조별과제 수행을 위하여, 축적된 학생 데이터를 토대로 팀을 구성하고 활동 시작을 알린다.
비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 학습 과제에 대응하는 조장, 조원을 선별한다. 비대면 언어평가 제공장치(110)는 조장, 조원에 대응하는 학습자 단말기(130)를 선별한 후 하나의 그룹 채팅방으로 초대한다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 조장과 조원들과 합의하여 역할별 과제를 수행하도록 과제 수행을 보조한다.
비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 그룹 채팅방 내에서 참여가 저조한 팀원을 독려한다. 비대면 언어평가 제공장치(110)는 조별 그룹 채팅 정보를 취합하여 분석한다. 비대면 언어평가 제공장치(110)는 채팅 분석 결과를 기반으로 그룹 채팅 내에서 참여율이 가장 적은 조원을 추출한다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 참여율이 가장 적은 학습자에 대응하는 학습자 단말기(130)로 학습 참여 독려 메시지를 전송한다.
예컨대, 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 그룹 채팅방 내에서 기 설정된 시간(예컨대, 약 12 시간) 동안 아무런 멘트를 입력하지 않는 학습자를 선별한다. 비대면 언어평가 제공장치(110)는 선별된 참여 저조 팀원으로 참여 독려 메시지를 전송한다.
비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 그룹 채팅방 내에 시험에 대한 안내를 전송한다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 그룹 채팅방 내에 시험에 대한 공지를 전송한다.
도 6은 본 실시예에 따른 가상 튜터 로봇을 이용한 수업 관련 활동 및 퀴즈 제공을 나타낸 도면이다.
도 6에 도시된 바와 같이, 비대면 언어평가 제공장치(110)는 학습자 시나리오로서, 수업 외 지원을 수행한다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 학사 일정 안내, 스터디 정보 등 학교 생활에 필요한 사항들을 종합 지원한다.
비대면 언어평가 제공장치(110)는 조별 그룹 채팅방마다 학습 스케쥴에 따라 강의 자료, 강의 보조자료를 전달한다. 비대면 언어평가 제공장치(110)는 학습 스케쥴에 따라 해당 강의일이 도래하기 기 설정된 일정(예컨대, 3일) 전에 강의 자료 안내 멘트를 조별 그룹 채팅방으로 전달한다.
비대면 언어평가 제공장치(110)는 학습 스케쥴에 따라 해당 강의일 도래하기 기 설정된 일정(예컨대, 2일) 전에 강의 목차 내용을 조별 그룹 채팅방으로 전달한다. 비대면 언어평가 제공장치(110)는 학습 스케쥴에 따라 해당 강의일이 도래하기 기 설정된 일정(예컨대, 1일) 전에 강의 자료, 강의 보조자료를 전달한다.
비대면 언어평가 제공장치(110)는 조별 그룹 채팅 정보를 분석한다.
비대면 언어평가 제공장치(110)는 수집된 조별 그룹 채팅 정보를 분석한 채팅 분석 결과 중 수업외 내용만을 추출한다. 비대면 언어평가 제공장치(110)는 수업외 내용을 분석하여 도움 또는 지원을 필요로 하는 문장을 선별한다. 비대면 언어평가 제공장치(110)는 도움 또는 지원을 필요로 하는 문장의 내용을 확인한다. 비대면 언어평가 제공장치(110)는 도움 또는 지원을 필요로 하는 문장에 대응하는 카테고리를 선별한다. 비대면 언어평가 제공장치(110)는 해당 카테고리에 대응하는 수업외 지원 정보(예컨대, 아르바이트 정보)를 추출한다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 도움 또는 지원을 필요로 하는 문장을 입력한 학습자 단말기(130)로 수업외 지원 정보를 전송한다.
비대면 언어평가 제공장치(110)는 조별 그룹 채팅 정보를 분석한다. 비대면 언어평가 제공장치(110)는 수집된 조별 그룹 채팅 정보를 분석한 채팅 분석 결과를 생성한다. 비대면 언어평가 제공장치(110)는 채팅 분석 결과를 기반으로 그룹 채팅에 참여하지 않은 개인 학습자를 선별한다. 비대면 언어평가 제공장치(110)는 그룹 채팅에 참여하지 않은 개인 학습자로 스터디 그룹을 추천하거나 채팅 그룹을 추천하는 메시지를 전송하는 정서적인 케어를 수행한다.
비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 조별 그룹 채팅방으로 강의 주차별 퀴즈(과제)를 출력한다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 조별 그룹 채팅방으로 주차별 퀴즈 마감일을 공지한다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 조별 그룹 채팅방 참여한 학습자 단말기(130)로부터 퀴즈에 대응하는 답안(과제 결과물)을 입력받는다. 비대면 언어평가 제공장치(110)는 학습자 단말기(130)로부터 수신된 퀴즈에 대응하는 답안(과제 결과물)에 대한 정답을 확인한 후 개인 채팅방으로 채점 결과를 전송한다. 비대면 언어평가 제공장치(110)는 채점 결과에 틀린 문제에 대한 해설을 볼 수 있는 링크를 첨부한다.
비대면 언어평가 제공장치(110)는 수업과 연관된 과제 및 퀴즈 등 활동에 대한 학습자의 참여를 독려한다. 비대면 언어평가 제공장치(110)는 객관식 과제를 자동 채점하여 결과를 학습자에게 즉시 제공한다. 비대면 언어평가 제공장치(110)는 학습자들이 입력한 주관식 과제를 취합한 후 강의자에게 전달한다.
도 7은 본 실시예에 따른 가상 튜터 로봇을 이용하여 강의자에게 수업 알람을 발생하는 화면을 나타낸 도면이다.
도 7에 도시된 바와 같이, 비대면 언어평가 제공장치(110)는 강의자 시나리오로서, 강의자에게 수업 알람을 발생시킨다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 강의자로 하여금 수업이 있음을 인지하고 사전 준비를 할 수 있도록 지원한다.
비대면 언어평가 제공장치(110)는 학습 스케쥴에 따라 강의가 시작하기 전에 알림을 강의자 단말기(140)로 전송한다. 비대면 언어평가 제공장치(110)는 강의 계획서를 기반으로 이번 차수 강의 내용을 림을 강의자 단말기(140)로 전송한다. 비대면 언어평가 제공장치(110)는 전차 진도를 파악한 후 강의자 단말기(140)로 전송한다.
비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 강의자 단말기(140)로 진도 상황을 안내한다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 강의자 단말기(140)로 이번 차수 강의 내용을 요약해서 전달한다. 비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 강의자 단말기(140)로 마지막 강의 내용을 캡쳐하여 전달한다.
비대면 언어평가 제공장치(110)는 가상 튜터 로봇(120)을 이용하여 강의자가 수업을 편안하게 진행할 수 있도록 도와준다.
도 8은 본 실시예에 따른 문법 오류 검출을 위한 점수 체계를 나타낸 도면이다.
비대면 언어평가 제공장치(110)는 문법이 틀린 문장의 오류를 수정하는 문법오류수정(GEC: Grammar Error Correction) 또는 틀린 부분을 감지하는 문법오류검출(GED: Grammar Error Detection)을 수행한다. 비대면 언어평가 제공장치(110)는 문법이 틀린 문장의 오류를 점수(예컨대, 0~100점, 0~5점)화하여 사용자에게 학습 능력 수준을 판단한다.
비대면 언어평가 제공장치(110)는 문법 오류 처리(GEH: Grammar Error Handling)를 위해 문법이 틀린 문장의 오류를 수정하는 문법 오류 수정(GEC) 또는 틀린 부분을 검출하는 문법 오류 감지(GED)를 수행한다. 비대면 언어평가 제공장치(110)는 문법 오류 처리(GEH)를 위해 통계기반 기계번역모델, Seq-to-Seq 형태의 신경망 모델을 이용한다. 비대면 언어평가 제공장치(110)는 외국어교육 시 교정된 정보(정답)의 제공하기 보다 학습자가 작성한 문장에 대한 점수나 잘못된 부분 표시(해설) 제공한다.
비대면 언어평가 제공장치(110)는 검출된 문법 오류를 분석한다.
예컨대, 비대면 언어평가 제공장치(110)는 제1언어와 제2언어 간의 번역된 문장에 대한 문법 오류를 분석하여 점수화할 수 있다. 비대면 언어평가 제공장치(110)는 50~150자의 병렬 데이터를 기준으로, 문장을 토대로 사람이 0~100 척도의 번역 품질을 평가하도록 한 데이터를 수집한다.
비대면 언어평가 제공장치(110)는 사람이 평가한 번역 품질을 점수로 수집한다. 비대면 언어평가 제공장치(110)는 도 8에 도시된 바와 같이, 제1언어와 제2언어 간의 번역된 문장에 대해 사람이 평가한 점수를 기반으로 다른 언어인 제3언어와 제4언어 간의 점수 체계를 설계한다.
비대면 언어평가 제공장치(110)는 제1언어와 제2언어 간의 번역된 문장에 대해 사람이 평가한 점수가 0 ~ 10점이면, 잘못 번역으로 인지하고, 제3언어와 제4언어 간의 점수 체계를 0점으로 설계하고, 잘못된 번역으로 인지한다.
비대면 언어평가 제공장치(110)는 제1언어와 제2언어 간의 번역된 문장에 대해 사람이 평가한 점수가 11 ~ 29점이면, 전체적인 의미가 소스와 다른것으로 인지하고, 제3언어와 제4언어 간의 점수 체계를 1점으로 설계하고, 번역의 의미가 원문과 다름으로 인지한다.
비대면 언어평가 제공장치(110)는 제1언어와 제2언어 간의 번역된 문장에 대해 사람이 평가한 점수가 30 ~ 50점이면, 큰 실수가 있는 번역으로 인지하고, 제3언어와 제4언어 간의 점수 체계를 2점으로 설계하고, 큰 실수가 있는 번역으로 인지한다.
비대면 언어평가 제공장치(110)는 제1언어와 제2언어 간의 번역된 문장에 대해 사람이 평가한 점수가 51 ~ 69점이면, 이해할 수 있고 소스의 전체적인 의미를 전달하지만 오타나 문법 오류가 포함된 번역으로 인지하고, 제3언어와 제4언어 간의 점수 체계를 3점으로 설계하고, 이해할 수 있고 의미 전달이 되지만 오타나 문법 오류가 포함된 번역으로 인지한다.
비대면 언어평가 제공장치(110)는 제1언어와 제2언어 간의 번역된 문장에 대해 사람이 평가한 점수가 70 ~ 90점이면, 소스 문장의 의미를 밀접하게 보존하는 번역으로 인지하고, 제3언어와 제4언어 간의 점수 체계를 4점으로 설계하고, 번역된 문장의 의미를 잘 보존하고 있는 번역으로 인지한다.
비대면 언어평가 제공장치(110)는 제1언어와 제2언어 간의 번역된 문장에 대해 사람이 평가한 점수가 91 ~ 100점이면, 완벽한 번역으로 인지하고, 제3언어와 제4언어 간의 점수 체계를 5점으로 설계하고, 완벽한 번역으로 인지한다.
도 9는 본 실시예에 따른 언어 번역시 정확도를 학습한 모델을 설명하기 위한 도면이다.
비대면 언어평가 제공장치(110)는 제1언어와 제2언어 간의 번역된 문장에 대해 학습 결과를 MLQE 데이터셋으로 이용한다. 비대면 언어평가 제공장치(110)는 제1언어와 제2언어 간의 번역된 문장에 평가한 결과 정확도(10% 오차)와 피어슨 상관계수로 산출한다. 여기서, 피어슨 상관관계는 높을수록 사람의 평가와 비슷함을 의미한다.
비대면 언어평가 제공장치(110)는 도 9에 도시된 바와 같이, 모델을 크게 3가지로 도출한다.
비대면 언어평가 제공장치(110)는 기본 모델에 스케쥴러 추가한 경우, 제2언어와 제3 언어를 입력한 후 정확도가 300점대로 출력되면서 오답에 대한 처리가 가능하다. 비대면 언어평가 제공장치(110)는 기본 모델에 스케쥴러 추가한 경우, 정확도로 56.67%가 산출되고, 피어슨 상관계수로 61.73이 산출된다.
비대면 언어평가 제공장치(110)는 코사인 모델에 네거티브 샘플링을 포함한 경우, 사람의 평가 점수와 더 유사한 결과가 도출되며, 제2언어와 제3언어를 입력하면 100점 이내 점수가 출력된다. 비대면 언어평가 제공장치(110)는 코사인 모델에 네거티브 샘플링을 포함한 경우, 정확도로 54.66%가 산출되고, 피어슨 상관계수로 64.21이 산출된다.
비대면 언어평가 제공장치(110)는 소프트 코사인 모델에 네거티브 샘플링을 포함한 경우, 코사인 유사도 모델을 계량해서 피어슨 상관 계수를 높인 모델이 생성되나 정확도가 다서 낮아진다. 비대면 언어평가 제공장치(110)는 소프트 코사인 모델에 네거티브 샘플링을 포함한 경우, 정확도로 54.13%가 산출되고, 피어슨 상관계수로 65.46이 산출된다.
도 10은 본 실시예에 따른 가상 튜터 로봇 솔루션 커스터마이징을 나타낸 도면이다.
비대면 언어평가 제공장치(110)는 강의 중 놓친 내용이나 과제 수행, 평가를 위한 그룹 또는 개인 학습지원, 시험범위나 강의 오픈 날짜 등의 학교생활을 지원한다. 비대면 언어평가 제공장치(110)는 학습지원을 위해 팀플/과제를 지원하는 소셜(Social) 지원과 언어학습 향상을 위한 문장 쓰기, 퀴즈와 같이 스스로 학습하는 개인(Personal) 지원으로 구분할 수 있다.
비대면 언어평가 제공장치(110)는 비대면 수업 서비스를 이용하여 학교생활지원, 학습지원, 정서적 지원을 수행한다. 비대면 언어평가 제공장치(110)는 학습자의 워딩과 액션을 기반으로 학습한 결과를 기반으로 챗봇을 제어하여 사용자가 쉽게 접근 및 대화할 수 있도록 한다. 비대면 언어평가 제공장치(110)는 1:1, 1:N, N:N 대화 지원을 위해 챗봇 RASA Engine Framework를 서비스 도메인에 적합하도록 커스터마이징한다.
비대면 언어평가 제공장치(110)는 지능형 교육용 대화 서비스 APIs를 제공한다. 비대면 언어평가 제공장치(110)는 언어분석 및 전처리 API로 입력한 자연어 문장에 대하여 형태소 분석기(KoNLPy)와 토큰화기(SentencePiece Tokenizer)를 수행한 결과를 API로 제공한다. 비대면 언어평가 제공장치(110)는 불용어, 특수문자 등의 노이즈를 제거하여 간결하게 문장을 정리한다.
비대면 언어평가 제공장치(110)는 도메인, 카테고리, 의도 분류 API를 제공한다. 비대면 언어평가 제공장치(110)는 도메인, 카테고리, 의도 분류 API로 입력문장에서 답할 수 있는 문장인지 여부를 판단하기 위한 도메인 분류, 대화의 처리 방법을 구분하기 위한 카테고리 종류 분류, 사용자의 구체적인 의도를 파악하기 위한 의도를 분류한다.
도 11은 본 실시예에 따른 개체명 분석을 태그와 분류를 나타낸 도면이다.
비대면 언어평가 제공장치(110)는 개체명 분석 API를 제공한다. 비대면 언어평가 제공장치(110)는 도 11에 도시된 바와 같이, 개체명 분석 API로 입력된 문장에서 별도 처리해야 할 정보를 추출하기 위한 API로 세부분류 개체명에 따라 도메인에 맞게 분석한다.
비대면 언어평가 제공장치(110)는 학습 기반 응답 생성 API를 제공한다. 비대면 언어평가 제공장치(110)는 학습 기반 응답 생성 API로 입력된 문장의 카테고리에 따라 사용자의 의도를 분석한 정보를 기반으로 응답을 생성한다.
비대면 언어평가 제공장치(110)는 질의 도메인 및 의도 분류의 정확도를 개선한다. 비대면 언어평가 제공장치(110)는 대화 데이터를 분석하여 문장의 길이가 짧고 개체명(인명/기관명/상품명등 고유 명사, 지명/주소 등 공간적 표현, 날짜/시간 등 시간적 표현)을 확인하고, 확인 결과를 기반으로 자체 문장의 의도를 결정한다.
비대면 언어평가 제공장치(110)는 개체명 인식 정확도를 기반으로 챗봇 품질 지표로 인식한다. 비대면 언어평가 제공장치(110)는 사전 학습된 언어 모델을 활용한 개체명 인식 모델을 생성한다. 비대면 언어평가 제공장치(110)는 샘플 평가를 이용하여 모델의 조사 분절, 이름 인식을 수행한다. 비대면 언어평가 제공장치(110)는 개체명 인식을 별도 처리, 입력 문장 단순화로 텍스트에 대한 카테고리 분류한다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
110: 비대면 언어평가 제공장치
120: 가상 튜터 로봇
130: 학습자 단말기
140: 강의자 단말기
210: 채팅방 개설부
220: 수집부
222: 비식별화부
224: 지능형 대화 솔루션 제공부
226: 피드백 반영부
228: 자연어 응답부
230: 분석부
240: 사용자 패턴 생성부
250: 가성 분류부
260: 질의 내용 요약부
270: 비대면 수업 지원부
120: 가상 튜터 로봇
130: 학습자 단말기
140: 강의자 단말기
210: 채팅방 개설부
220: 수집부
222: 비식별화부
224: 지능형 대화 솔루션 제공부
226: 피드백 반영부
228: 자연어 응답부
230: 분석부
240: 사용자 패턴 생성부
250: 가성 분류부
260: 질의 내용 요약부
270: 비대면 수업 지원부
Claims (6)
- 강의자 단말기로부터 입력받은 강의 계획서를 기반으로 학습 과제별 비대면 개인 채팅방 및 과제별 비대면 그룹 채팅방을 개설하는 채팅방 개설부;
학습 과제별 상기 비대면 개인 채팅방 및 상기 비대면 그룹 채팅방 내에 학습자 단말기와 함께 가상 튜터 로봇을 참여시키고, 상기 가상 튜터 로봇을 이용하여 상기 학습자 단말기로부터 입력되는 텍스트 정보를 수집하는 수집부;
상기 텍스트 정보에 대해 문법이 틀린 문장의 오류를 수정하는 문법오류수정(GEC: Grammar Error Correction) 또는 틀린 부분을 감지하는 문법오류검출(GED: Grammar Error Detection)을 수행한 오류 검출 결과를 생성하고, 상기 오류 검출 결과를 수치화하여 문법 정확도 점수로 출력하는 오류 검출부;
상기 텍스트 정보와 상기 점수를 입력받아 학습한 학습 결과를 생성하는 학습부;
상기 학습 결과를 반영하여 상기 텍스트 정보에 대한 자연어 질의를 실시간으로 이해한 자연어 이해결과를 생성하고, 상기 자연어 이해결과를 기반으로 언어평가 결과를 출력하는 지능형 대화 솔루션 제공부;
일차적으로 상기 텍스트 정보로부터 정규 표현식을 이용하여 이메일, 전화번호, 아이디, 비밀번호 중 적어도 하나 이상을 포함하는 중요 개인 정보를 제1 비식별화 대상으로 선정하고, 이차적으로 상기 텍스트 정보로부터 패턴 매칭, 개체명 사전 및 인식기를 이용하여 회사명, 기관명, 줄임말 및 축약어 중 적어도 하나 이상을 포함하는 제2 비식별화 대상으로 선정하고, 상기 제1 비식별화 대상, 상기 제2 비식별화 대상에 대한 비식별화를 수행한 비식별화 정보를 생성하는 비식별화부;
상기 자연어 이해결과를 기반으로 상기 비대면 개인 채팅방 및 상기 비대면 그룹 채팅방 내에 참여한 학습자와 강의자 간의 소통에 필요한 실시간 피드백 정보로 출력하며, 상기 자연어 이해결과를 기반으로 학습자 질의에 대한 응답을 추출하고, 상기 학습자의 질의에 대한 응답에 대응하는 학습자 특성 및 반응 분석 결과 생성하고, 상기 학습자 특성 및 반응 분석 결과를 상기 학습자와 강의자 간의 상기 피드백 정보에 반영하여 출력하도록 하는 피드백 반영부; 및
상기 자연어 이해결과를 기반으로 상기 비대면 개인 채팅방 및 상기 비대면 그룹 채팅방 내에 참여한 학습자와 챗봇 간의 대화를 위해 학습자 질의에 대한 자연어 응답을 생성한 후 상기 가상 튜터 로봇을 이용하여 출력하도록 하며, 상기 자연어 이해결과를 기반으로 상기 학습자 질의에 대한 템플릿 기반 선질문과 응답 관련 목적 대화 지문을 생성한 후 상기 템플릿 기반 선질문과 상기 응답 관련 목적 대화 지문을 응답 생성에 적용한 후 학습자와의 정서적 소통을 위한 기계학습으로 학습한 일반 대화 지문을 생성하고, 상기 일반 대화 지문을 상기 자연어 응답에 반영하는 자연어 응답부
를 포함하되, 상기 지능형 대화 솔루션 제공부는 상기 비식별화 정보를 상기 학습자 질의 도메인 및 의도 분류 체계에 따라 분류한 분류 정보를 생성하며, 상기 분류 정보 내의 대화 문맥을 고려하여 학습자 질의를 심층 이해한 자연어 심층 이해결과를 상기 자연어 이해결과에 반영하고, 상기 분류 정보를 기반으로 학습자별 특성을 고려하여 학습자 질의를 심층 이해한 학습자 심층 이해결과를 상기 자연어 이해결과에 반영하고, 상기 분류 정보, 상기 자연어 심층 이해결과, 상기 학습자 심층 이해결과를 학습하여 상기 학습자 질의 도메인 및 상기 의도 분류 체계를 완성하는 것을 특징으로 하는 비대면 언어평가 제공 시스템. - 제1항에 있어서,
상기 텍스트 정보 내에 언어를 기 설정된 다른 언어로 번역한 번역문을 출력하는 번역부를 추가로 포함하며,
상기 학습부는 외부로부터 입력받은 상기 텍스트 정보 내에 언어와 상기 번역문 간의 제1 번역 정확도 평가 점수와 내부 번역 모델로부터 입력받은 상기 텍스트 정보 내에 언어와 상기 번역문 간의 제2 번역 정확도 평가 점수를 기반으로 상기 학습 결과를 생성하는 것을 특징으로 하는 비대면 언어평가 제공 시스템. - 제2항에 있어서,
상기 학습부는,
상기 제1 번역 정확도 평가 점수가 기 설정된 제1 임계치 이하이거나 상기 제2 번역 정확도 평가 점수가 기 설정된 제1 기준 레벨 이하인 경우, 잘못된 번역으로 인지하여 학습을 수행하며,
상기 제1 번역 정확도 평가 점수가 상기 제1 임계치를 초과하고 기 설정된 제2 임계치 이하이거나 상기 제2 번역 정확도 평가 점수가 상기 제1 기준 레벨을 초과하고 기 설정된 제2 기준 레벨 이하인 경우, 번역문의 의미가 원문과 다른 것으로 인지하여 학습을 수행하는 것을 특징으로 하는 비대면 언어평가 제공 시스템. - 제3항에 있어서,
상기 학습부는,
상기 제1 번역 정확도 평가 점수가 상기 제2 임계치를 초과하고 기 설정된 제3 임계치 이하이거나 상기 제2 번역 정확도 평가 점수가 상기 제2 기준 레벨을 초과하고 기 설정된 제3 기준 레벨 이하인 경우, 치명적인 실수를 포함한 번역으로 인지하여 학습을 수행하며,
상기 제1 번역 정확도 평가 점수가 상기 제3 임계치를 초과하고 기 설정된 제4 임계치 이하이거나 상기 제2 번역 정확도 평가 점수가 상기 제3 기준 레벨을 초과하고 기 설정된 제4 기준 레벨 이하인 경우, 문맥이 이해가 가능하며 의미 전달이 가능하나 오타, 문법 오류를 포함하고 있는 것으로 인지하여 학습을 수행하는 것을 특징으로 하는 비대면 언어평가 제공 시스템. - 제4항에 있어서,
상기 학습부는,
상기 제1 번역 정확도 평가 점수가 상기 제4 임계치를 초과하고 기 설정된 제5 임계치 이하이거나 상기 제2 번역 정확도 평가 점수가 상기 제4 기준 레벨을 초과하고 기 설정된 제5 기준 레벨 이하인 경우, 번역된 문장의 의미를 보존하고 있는 번역으로 인지하여 학습을 수행하며,
상기 제1 번역 정확도 평가 점수가 상기 제5 임계치를 초과하고 기 설정된 제6 임계치 이하이거나 상기 제2 번역 정확도 평가 점수가 상기 제5 기준 레벨을 초과하고 기 설정된 제6 기준 레벨 이하인 경우, 완벽한 번역으로 인지하여 학습을 수행하는 것을 특징으로 하는 비대면 언어평가 제공 시스템. - 제1항에 있어서,
상기 지능형 대화 솔루션 제공부는,
상기 비식별화 정보에 대해 학습자 질의 도메인, 의도 분류, 실시간 학습자 유사 질의 탐색을 수행하는 상기 지능형 대화 솔루션을 제공하는 것을 특징으로 하는 비대면 언어평가 제공 시스템.
Applications Claiming Priority (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200157965 | 2020-11-23 | ||
| KR20200157965 | 2020-11-23 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR102313561B1 true KR102313561B1 (ko) | 2021-10-18 |
| KR102313561B9 KR102313561B9 (ko) | 2022-06-10 |
Family
ID=78271394
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210021125A KR102313561B1 (ko) | 2020-11-23 | 2021-02-17 | 가상 튜터 로봇을 이용한 비대면 언어평가 제공 방법 및 장치 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102313561B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102507925B1 (ko) * | 2022-06-28 | 2023-03-10 | 주식회사 보인정보기술 | 한국어 교정 서비스 제공 방법 및 이러한 방법을 수행하는 장치 |
| KR102607095B1 (ko) | 2023-08-22 | 2023-11-29 | 장정완 | 인공지능에 기초한 맞춤형 대화 영어 학습 시스템 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20100003683A (ko) * | 2008-07-01 | 2010-01-11 | 나인타임즈(주) | 인스턴트메신저를 이용한 외국어 훈련 서비스 제공 방법 및시스템 |
| US20140335497A1 (en) * | 2007-08-01 | 2014-11-13 | Michael Gal | System, device, and method of adaptive teaching and learning |
| KR20150117914A (ko) * | 2014-04-11 | 2015-10-21 | 주식회사 솔트룩스 | 다수 사용자 참여형 언어 학습 시스템 |
| KR20180046342A (ko) * | 2017-03-15 | 2018-05-08 | 주식회사 네오픽시스 | 번역을 위한 서버 및 번역 방법 |
| KR20190079253A (ko) * | 2017-12-27 | 2019-07-05 | 한국항공대학교산학협력단 | 대화형 인공지능을 위한 다중 에이전트 시스템 |
-
2021
- 2021-02-17 KR KR1020210021125A patent/KR102313561B1/ko active IP Right Grant
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20140335497A1 (en) * | 2007-08-01 | 2014-11-13 | Michael Gal | System, device, and method of adaptive teaching and learning |
| KR20100003683A (ko) * | 2008-07-01 | 2010-01-11 | 나인타임즈(주) | 인스턴트메신저를 이용한 외국어 훈련 서비스 제공 방법 및시스템 |
| KR20150117914A (ko) * | 2014-04-11 | 2015-10-21 | 주식회사 솔트룩스 | 다수 사용자 참여형 언어 학습 시스템 |
| KR20180046342A (ko) * | 2017-03-15 | 2018-05-08 | 주식회사 네오픽시스 | 번역을 위한 서버 및 번역 방법 |
| KR20190079253A (ko) * | 2017-12-27 | 2019-07-05 | 한국항공대학교산학협력단 | 대화형 인공지능을 위한 다중 에이전트 시스템 |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102507925B1 (ko) * | 2022-06-28 | 2023-03-10 | 주식회사 보인정보기술 | 한국어 교정 서비스 제공 방법 및 이러한 방법을 수행하는 장치 |
| KR102607095B1 (ko) | 2023-08-22 | 2023-11-29 | 장정완 | 인공지능에 기초한 맞춤형 대화 영어 학습 시스템 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102313561B9 (ko) | 2022-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Bibauw et al. | Discussing with a computer to practice a foreign language: Research synthesis and conceptual framework of dialogue-based CALL | |
| Alaa et al. | Assessment and ranking framework for the English skills of pre-service teachers based on fuzzy Delphi and TOPSIS methods | |
| Lynch et al. | Listening | |
| KR102313561B1 (ko) | 가상 튜터 로봇을 이용한 비대면 언어평가 제공 방법 및 장치 | |
| Maicher et al. | Artificial intelligence in virtual standardized patients: Combining natural language understanding and rule based dialogue management to improve conversational fidelity | |
| KR102299563B1 (ko) | 가상 조교 로봇을 이용한 비대면 수업 제공 방법 및 장치 | |
| Dang et al. | A study of English listening strategies applied by English non-majored students at Tay Do University, Vietnam | |
| Simanjutak | Learning specific academic vocabulary using MALL: experience from computer science students | |
| Kavanagh et al. | Disrupting Microaggressions in P–16 Classrooms: A Facilitated Workshop Approach Using Critical Case Analysis | |
| Solak | Revolutionizing Language Learning: How ChatGPT and AI are changing the Way We Learn Languages. | |
| Whitty | Exploring the complexity of'can','could'and'be able to'through corpus analysis and classroom-and coursebook-based investigation | |
| Roberts et al. | Using verbal protocol to examine construction of meaning from social studies texts | |
| Ishler | The listening strategies of Tunisian university EFL learners: A strategy based approach to listening to oral English texts | |
| Memarian | The use of request strategies in English by Iranian graduate students: A case study | |
| Jensen | Corrective feedback to spoken errors in adult ESL classrooms | |
| Cahyani et al. | Investigating English Teachers’ Communicative Strategies and Learning Feedback in Constructing Classroom Discourses of EFL Learners | |
| Peñeda et al. | Filipino Students’ Perceptions of Factors Affecting Their Academic Performance in School: A Qualitative Study | |
| Krivich | Learner strategies when listening to teacher talk in EMI settings | |
| Alt | A human factors approach to synchronous online English language teaching | |
| Purnaningtyas et al. | English Tasks For Communicative Competence Development: A Content Analysis Of When English Rings A Bell For Junior High School Based on Curriculum 2013 | |
| Gosser Duncan | Not afraid to give it a go and make mistakes: What do teachers perceive as the factors that motivate students to speak English in and outside of the classroom? | |
| Taguchi | Collecting and Analyzing L2 Pragmatics Data | |
| Sarwat et al. | Distinctive Role Of Bilingualism In English As Second Language (ESL) Context At Intermediate Level | |
| Marroquin Pinto | Additional language learning: effective approaches to supporting newcomers learning English in British Columbia and Spanish in Chile | |
| Data et al. | 9 Collecting and Analyzing L2 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| G170 | Re-publication after modification of scope of protection [patent] | ||
| G170 | Re-publication after modification of scope of protection [patent] |