KR20200119358A - 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템 - Google Patents

인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템 Download PDF

Info

Publication number
KR20200119358A
KR20200119358A KR1020190029597A KR20190029597A KR20200119358A KR 20200119358 A KR20200119358 A KR 20200119358A KR 1020190029597 A KR1020190029597 A KR 1020190029597A KR 20190029597 A KR20190029597 A KR 20190029597A KR 20200119358 A KR20200119358 A KR 20200119358A
Authority
KR
South Korea
Prior art keywords
lecture
toefl
scoring
data
answer
Prior art date
Application number
KR1020190029597A
Other languages
English (en)
Inventor
송다훈
조현상
Original Assignee
(주) 데이터뱅크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 데이터뱅크 filed Critical (주) 데이터뱅크
Priority to KR1020190029597A priority Critical patent/KR20200119358A/ko
Publication of KR20200119358A publication Critical patent/KR20200119358A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/2219—Large Object storage; Management thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G09B19/06—Foreign languages
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Evolutionary Computation (AREA)
  • Databases & Information Systems (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템이 제공되며, 토플의 리딩 및 리스닝을 포함한 객관식 문제와, 스피킹 및 라이팅을 포함한 주관식 문제에 대한 답을 번호 선택, 텍스트 및 음성으로 제공하고, 제공한 답 중 오답 데이터에 기반하여 추천된 강의 데이터를 수신하는 적어도 하나의 학생 단말, 적어도 하나의 학생 단말로부터 수신된 객관식 문제에 대한 번호 선택형 답과 기 저장된 답을 비교하여 오답을 체크하는 체크부, 기 구축된 빅데이터 및 인공지능에 기반하여 주관식 문제에 대한 텍스트형 답 및 음성형 답을 채점하는 자동채점부, 체크부에서 체크된 객관식 문제의 오답과, 자동채점부의 채점결과에 기반하여 적어도 하나의 학생 단말의 취약점을 분석하는 분석부, 분석된 취약점을 입력값으로 기 저장된 강의를 검색하여 적어도 하나의 학생 단말로 추천 강의를 제공하는 제공부를 포함하는 토플 강의 추천 서비스 제공 서버를 포함한다.

Description

인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템{SYSTEM FOR PROVIDING TOFEL COURSE RECOMMENDATION SERVICE USING ARTIFICIAL INTELLIGENCE MACHINE LEARNING BASED AUTOMATIC EVALUATION}
본 발명은 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 방법에 관한 것으로, 빅데이터를 이용하여 답안을 자동으로 실시간 채점 및 분석하고, 분석결과에 따라 취약점을 보완할 수 있는 강의를 추천하는 플랫폼을 제공한다.
토플(Test Of English as a Foreign Language, TOEFL)은 미국 ETS(Educational Testing Service)의 주관하에 치르는 영어 능력 시험으로, 영어를 모국어로 하지 않는 사람들을 대상으로 영어 구사능력을 평가하여 해당 응시자가 영어권 대학에서 수학할 수 있는지를 판단하는 척도로 활용되는 시험이다. 물론 대학별로 필요 여부의 차이는 있지만, 각종 대학 입학이나 기업체 채용에서 영어 능력의 척도로 사용되며, 많은 사람이 매년 토플 시험을 보고 있다. 특히, 영어 교육의 열기가 뜨거운 한국에서 토플의 수요는 세계 국가 중 다섯 손가락 안에 꼽히고 있으며, 토익이 구직자들의 공통 시험이라면, 토플은 미국 유학생들의 공통 시험이라고 할 수 있다.
이때, 언어영역의 답안지를 자동으로 채점하는 방법이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국공개특허 제2014-0052266호(2014년05월07일 공개)에는, 문제에 대하여 입력되는 평가 대상 문장에 대한 구문 및 의미 분석을 통하여 평가 대상 문장의 주제와 유형을 추출하고, 추출된 주제와 유형을 기반으로 평가 대상 문장을 주어, 서술어, 목적어를 포함하는 RDF 모델 형태의 의미 표현으로 생성하고, 기 저장된 RDF 모델 형태의 기준 데이터의 의미 표현과 RDF 모델 형태의 평가 대상 문장의 의미 표현을 비교하여, 해당 문제의 내용 조건에 대한 충족 여부를 평가함으로써, 언어 영역에 대한 자동 평가가 가능하고, RDF 기반의 정확한 일치도를 통해 자동채점이 가능한 구성이 개시되어 있다.
다만, 상술한 구성은 각각의 시험마다 추출, 생성, 비교 및 평가의 과정이 반복되어야 하기 때문에 다수의 학생의 시험을 바로 실시간으로 채점하여 피드백을 줄 수 없다. 또한, 다양한 유형의 시험평가 등의 파라미터가 반영되어 있지 않아 유연한 결과를 도출해내기 어렵고, 일치도만을 이용하여 채점을 하기 때문에 자연어의 복잡성에서 드러나게 되는 어휘변형이 존재하는 답안을 제대로 채점을 할 수가 없어 오류가 발생하게 되고, 다시 사람이 재검수를 해야 하는 등의 문제점이 있었다.
본 발명의 일 실시예는, 외국어평가, 특히 토플시험에서 주어지는 객관식 문제 및 주관식 문제에 대한 답안을 수집하여 빅데이터를 구축하고, 구축된 빅데이터를 채점 결과를 이용하여 훈련시킴으로써 이후 학생의 답안 데이터가 수신되는 경우, 이를 질의(Query)로 입력하여 그 결과인 채점 결과를 쉽고 빠르며 정확하게 얻어낼 수 있고, 더 나아가 채점 결과에 따라 학생이 부족한 부분의 강의를 들을 수 있도록, 취약점을 분석하여 필요한 강의를 추천해줄 수 있는, 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 토플의 리딩 및 리스닝을 포함한 객관식 문제와, 스피킹 및 라이팅을 포함한 주관식 문제에 대한 답을 번호 선택, 텍스트 및 음성으로 제공하고, 제공한 답 중 오답 데이터에 기반하여 추천된 강의 데이터를 수신하는 적어도 하나의 학생 단말, 적어도 하나의 학생 단말로부터 수신된 객관식 문제에 대한 번호 선택형 답과 기 저장된 답을 비교하여 오답을 체크하는 체크부, 기 구축된 빅데이터 및 인공지능에 기반하여 주관식 문제에 대한 텍스트형 답 및 음성형 답을 채점하는 자동채점부, 체크부에서 체크된 객관식 문제의 오답과, 자동채점부의 채점결과에 기반하여 적어도 하나의 학생 단말의 취약점을 분석하는 분석부, 분석된 취약점을 입력값으로 기 저장된 강의를 검색하여 적어도 하나의 학생 단말로 추천 강의를 제공하는 제공부를 포함하는 토플 강의 추천 서비스 제공 서버를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 외국어평가, 특히 토플시험에서 주어지는 객관식 문제 및 주관식 문제에 대한 답안을 수집하여 빅데이터를 구축하고, 구축된 빅데이터를 채점 결과를 이용하여 훈련시킴으로써 이후 학생의 답안 데이터가 수신되는 경우, 이를 질의(Query)로 입력하여 그 결과인 채점 결과를 쉽고 빠르며 정확하게 얻어낼 수 있고, 더 나아가 채점 결과에 따라 학생이 부족한 부분의 강의를 들을 수 있도록, 취약점을 분석하여 필요한 강의를 추천해줄 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 토플 강의 추천 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 중 객관식 문제를 채점하는 일 실시예를 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 중 객관식 문제를 채점하는 일 실시예를 설명하기 위한 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템(1)은, 적어도 하나의 학생 단말(100), 토플 강의 추천 서비스 제공 서버(300), 적어도 하나의 채점 단말(400)을 포함할 수 있다. 다만, 이러한 도 1의 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 학생 단말(100)은 네트워크(200)를 통하여 토플 강의 추천 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 토플 강의 추천 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 학생 단말(100), 적어도 하나의 채점 단말(400)과 연결될 수 있다. 또한, 적어도 하나의 채점 단말(400)은, 네트워크(200)를 통하여 토플 강의 추천 서비스 제공 서버(300)와 연결될 수 있다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5th Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
적어도 하나의 학생 단말(100)은, 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 객관식 문제 또는 주관식 문제가 포함된 공인영어시험 등에 응시하는 학생의 단말일 수 있다. 여기서, 공인영어시험은, TOFEL일 수 있지만 이에 한정되지는 않는다. 또한, 공인영어시험이라고 기재했지만, 객관식 및 주관식이 포함된 시험이라면 그 종류는 본 발명의 일 실시예에 적용될 수 있으므로, 공인영어시험으로 한정되진 않는다. 이때, 적어도 하나의 학생 단말(100)은, 객관식 문제에 대한 답을 토플 강의 추천 서비스 제공 서버(300)로 전송하고, 오답으로 기재한 문제를 분석한 결과와, 이에 맞는 강의를 추천받는 단말일 수 있다. 그리고, 적어도 하나의 학생 단말(100)은, 주관식 문제에 대한 답을 음성 또는 텍스트의 형식으로 토플 강의 추천 서비스 제공 서버(300)로 전송하고, 토플 강의 추천 서비스 제공 서버(300)로부터 채점한 결과와, 이에 기반하여 추천된 강의목록을 수신하는 단말일 수 있다.
여기서, 적어도 하나의 학생 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 학생 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 학생 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
토플 강의 추천 서비스 제공 서버(300)는, 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 토플 강의 추천 서비스 제공 서버(300)는, 적어도 하나의 채점 단말(400)로부터 수신된 채점 결과를 빅데이터로 수집하고, 수집된 빅데이터를 기계학습으로 훈련하여 자동채점 알고리즘을 구축하는 서버일 수 있다. 그리고, 토플 강의 추천 서비스 제공 서버(300)는, 각 객관식 문제 및 주관식 문제에 각각에 해당 문제에서 요구되는 기본개념 등을 메타데이터로 저장하여 데이터베이스화하는 서버일 수 있다. 또한, 토플 강의 추천 서비스 제공 서버(300)는, 적어도 하나의 학생 단말(100)로부터 수집된 객관식 답안 데이터 및 주관식 답안 데이터를 자동채점 알고리즘으로 채점하고, 오답처리되거나 점수가 낮게 부여된 문제의 메타데이터를 추출하고, 추출된 메타데이터를 취약점 키워드로 설정하는 서버일 수 있다. 그리고, 토플 강의 추천 서비스 제공 서버(300)는, 기 저장된 강의 리스트에 태깅된 태그와, 취약점 키워드를 비교하여 유사도를 검색하고, 취약점 키워드와 동일한 태그를 가진 강의, 또는 취약점 키워드와 유사한 태그를 가진 강의를 추출하여 학생 단말(100)로 추천 강의 리스트로 전송하는 서버일 수 있다. 또한, 토플 강의 추천 서비스 제공 서버(300)는, 적어도 하나의 학생 단말(100)로부터 수신된 추천 강의에 대한 피드백을 다시 빅데이터에 훈련 데이터로 입력하여 기계학습을 진행하는 서버일 수 있다.
여기서, 토플 강의 추천 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
적어도 하나의 채점 단말(400)은, 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 채점자의 단말일 수 있다. 그리고, 적어도 하나의 채점 단말(400)은 주관식 문제를 기 설정된 채점기준에 따라 채점한 후, 점수를 부여하여 토플 강의 추천 서비스 제공 서버(300)로 전송하는데, 점수가 깎인 채점기준을 함께 매핑하여 토플 강의 추천 서비스 제공 서버(300)로 전송하는 단말일 수 있다.
여기서, 적어도 하나의 채점 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 채점 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 채점 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 2는 도 1의 시스템에 포함된 토플 강의 추천 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따른 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 2를 참조하면, 토플 강의 추천 서비스 제공 서버(300)는, 체크부(310), 자동채점부(320), 분석부(330), 제공부(340), 빅데이터화부(350)를 포함할 수 있다.
본 발명의 일 실시예에 따른 토플 강의 추천 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 학생 단말(100), 및 적어도 하나의 채점 단말(400)로 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 학생 단말(100), 및 적어도 하나의 채점 단말(400)은, 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 학생 단말(100), 및 적어도 하나의 채점 단말(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.
도 2를 참조하면, 체크부(310)는, 적어도 하나의 학생 단말(100)로부터 수신된 객관식 문제에 대한 번호 선택형 답과 기 저장된 답을 비교하여 오답을 체크할 수 있다. 이를 위해, 적어도 하나의 학생 단말(100)은, 토플의 리딩 및 리스닝을 포함한 객관식 문제에 대한 답을 번호 선택으로 제공할 수 있다. 예를 들어, 토플(TOFEL)은 객관식 문제와 주관식 문제가 존재하는데, 객관식 문제는 다시 리딩(Reading)과 리스닝(Listening) 문제로 나뉘어 진다. 이때, 리딩은 36문제 내지 46문제이고, 리스닝은 34 내지 51문제인데, 리딩의 경우 점수를 산출할 때 문항별 점수의 단순합으로 계산하지 않는다. 즉, 리딩 지문이 3세트가 나왔다고 해서 1 세트당 정확히 10점이 되진 않는다는 뜻이다. 문항당 1점이란 말은 채점이 정답(1)과 오답(0)으로 된다는 의미이며, 실제 점수를 산출할 때는 문항반응이론(IRT) Rasch 모형이나 3모수 로지스틱 모형에 의해 정오반응이 다시 능력치로 계산된다. 이때, 차트나 카테고리 문항이 2~4점으로 책정되는 이유는, 이들의 문항 난이도가 높기 때문이다. 결국, 문항 난이도가 높은 것을 많이 맞힐 수 있다면 문항 난이도 만큼의 점수를 획득하는 식으로 채점을 하는 것이다. 여기서, Rasch 모형의 수학식 표현을 보면, 능력치 스탯이 문항 난이도가 얼마나 높은 걸 맞힐 수 있는지에 의해 결정되는 식이기 때문에 가장 어려운 문항까지 맞춰야 고득점을 받을 수 있다. Rasch 모형을 비롯해 모든 문항 반응 이론 능력치는 소수점을 포함한 한 자리 숫자로 계산되는데, 척도화(scaling)를 수행하여 임의의 만점 점수를 만들어 낸다. 한편, 리스닝 문제는, 4지선다형만 나오지 않고 5지선다형도 존재하며, 5지선다에 2~3개를 고르는 문제 뿐만 아니라 6지선다에 3개를 고르는 문제도 있다. 여기서, 리스닝 문제도 리딩 문제와 각 항목당 책정된 점수로 점수를 부여하는 것이 아니라, 상대평가로 진행될 수 있고, 실제로 2개 틀려도 스코어는 35/36로 산출될 수 있다. 상술한 구성들은 공개된 기술이므로 상세한 설명은 생략하기로 한다.
자동채점부(320)는, 기 구축된 빅데이터 및 인공지능에 기반하여 주관식 문제에 대한 텍스트형 답 및 음성형 답을 채점할 수 있다. 이를 위해, 적어도 하나의 학생 단말(100)은, 토플의 스피킹(Speaking) 및 라이팅(Writing)을 포함한 주관식 문제에 대한 답을 음성 및 텍스트로 각각 제공할 수 있다. 예를 들어, 토플에서 스피킹(말하기) 문제는, 지문을 듣고 응시자가 응답을 하는 방식으로 진행되는데, 현재 채점방식은 3명의 채점위원이 0점~4점까지 평점을 매긴 후, 30점 만점으로 변환하여 채점한다. 이때, 강세, 억양, 유창함이 채점 항목에 포함되어 있으나, 이에 한정되지는 않는다. 이에 따라, 본 발명의 일 실시예에서 자동으로 채점하기 위해서는, 우선 음성으로 발화된 문장을 텍스트로 변환하고, 변환된 텍스트에서 각 평가항목에 따라 문장을 평가하며, 음성 신호를 이용하여 강세, 억양 및 유창함(끊기지 않고 말하는 정도) 등을 분석하는 경우, 자동으로 채점하는 것이 가능해진다.
한편, 토플에서 텍스트형은 소요시간 50분에 통합형 및 독립형 각각 1문제씩 출제되는데, 현재 채점방식은, 말하기와 마찬가지로 3명의 채점위원이 0점~5점 스케일로 점수를 매긴 후 30점 만점으로 변환해 채점하고, 특히 주제에서 벗어나는 말을 하는 경우 off topic이라 하여 전체 점수에서 10점을 감점시킨다. 이 외에도 요약문의 전개와 구성뿐만 아니라 적절한 어휘 및 문법 사용 여부, 내용의 정확성 등의 요소를 평가하여 채점한다. 즉, 전반적인 글의 전개와 구성, 적절한 어휘의 선택과 명확한 문법 사용 여부, 효과적으로 주제와 문제를 서술하고, 명료하게 적합한 설명, 예시 및 세부사항을 사용하여 체계적이고 자연스럽게 구성되고 전개되도록 하고, 일관성, 연속성, 통일성 등의 항목이 나누어 채점될 수 있다.
이때, 주관식 문제에 대한 자동채점에 대한 방법으로는, 자동채점 알고리즘 또는 프로그램을 이용할 수 있으며, 자동채점 알고리즘 또는 프로그램은, 통계적 접근 방식에 따라 회귀분석에 근거한 프로그램, 자연어 처리를 기반으로 한 프로그램, 잠재의미분석에 근거한 프로그램, 베이지안 방법에 근거한 프로그램이 이용될 수 있다. 개념 기반 채점 프로그램과, 다문장을 기술하는 수필 형식의 답안에 대해 기계학습 방법을 이용하는 프로그램을 이용할 수도 있다. 이때, 전자의 경우, 자연언어 처리를 기반으로 한 대표적인 영작문 자동채점 프로그램으로, 학생 답안이 의미 측면에서 정답과 얼마나 유사한가를 평가하여 점수를 부여하는 자동채점을 수행할 수 있다. 후자의 경우, 정답의 의미와 답안의 의미의 유사성을 판단할 수 있도록 설계될 수 있고, 특정 교과목의 이해 정도를 평가할 수 있도록 구현될 수 있다. 이러한 프로그램을 사용하여 자동채점을 실시하기 위해서는 먼저 출제자가 제공한 정답 문장에서 정규화된 개념만을 추출하여 정답 모델을 구축해야 한다. 이때, 구축된 정답 개념은 실제 문장에서 다양한 형태로 나타날 수 있고, 하나의 개념이 다양한 형태의 문장으로 나타나는 것을 바꾸어 말하기라 하며, 바꾸어 말하기를 통해 표현된 다양한 변형 형태에 내재되어 있는 핵심 개념을 추출하여 정답모델과 비교하고 채점을 수행할 수 있다.
그리고, 자동채점 프로그램은, 채점자가 채점할 때 사용하는 채점 기준표를 XML 형식의 정답 템플릿 파일로 기술하여 컴퓨터 기반으로 채점을 수행할 수도 있고, 채점 기준표를 작성하고 빅데이터를 학습시킨 후, 학생 답안을 채점할 수도 있으며, 채점 결과를 축적하고 기계학습을 이용하여 인공지능으로 실시간 채점을 하여 그 결과를 피드백하는 방식으로 구성될 수도 있다. 덧붙여서, 자동채점부(320)는, 주관식 문제에 대하여 음성으로 제공된 답을 음성발화를 인식한 후 STT(Speaking To Text)를 이용하여 텍스트로 변환하고, 변환된 텍스트를 기준으로 기 저장된 정답 템플릿(Template)을 이용하여 채점을 수행할 수도 있다.
분석부(330)는, 체크부(320)에서 체크된 객관식 문제의 오답과, 자동채점부(320)의 채점결과에 기반하여 적어도 하나의 학생 단말(100)의 취약점을 분석할 수 있다. 이때, 분석부(330)는, 오답이 발생한 객관식 문제 및 주관식 문제에 기 매핑되어 저장된 메타데이터를 추출하고, 추출된 메타데이터를 취약점을 반영하는 키워드로 설정할 수 있다.
제공부(340)는, 분석된 취약점을 입력값으로 기 저장된 강의를 검색하여 적어도 하나의 학생 단말(100)로 추천 강의를 제공할 수 있다. 이에 따라, 적어도 하나의 학생 단말(100)은, 제공한 답 중 오답 데이터에 기반하여 추천된 강의 데이터를 수신할 수 있다. 여기서, 기 저장된 강의는, 강의의 특징을 설명하는 태그가 태깅된 강의일 수 있다. 이때, 제공부(340)는, 분석된 취약점이 입력값으로 수신된 경우, 취약점에 대응하는 키워드와 태그를 비교하여 기 설정된 유사도를 초과하면, 유사도가 초과된 태그가 태깅된 강의를 추천 강의 리스트에 포함시켜 업데이트할 수 있다.
즉, 학습 시스템에서는 한 가지 콘텐츠가 다양한 학생들에게 제공되고, 기초 지식이 각각 다른 학생들이 같은 콘텐츠를 수강하므로 강의 콘텐츠가 효율적으로 전달되지 않으며, 해당 교육 콘텐츠의 내용을 모두 알고 있는 학생에게는 강의 수강이 의미없는 반복일 뿐이고，기초 지식이 없는 학생은 어려운 강의를 제대로 수강하지 못하게 될 수 있다. 이에 따라, 본 발명은 객관식 문제 및 주관식 문제에 대한 답변을 정확히 분석하여, 각 학생마다 필요한 강의를 수강할 수 있도록 해주는 것을 목표로 한다.
이를 위해, 제공부(340)는 각 강의 콘텐츠를 데이터베이스화할 때 강의 콘텐츠가 무엇을 설명하고 있는지를 알려주는 태그 뿐만 아니라, 해당 난이도도 함께 태깅할 수 있도록 하고, 주관식 문제 및 객관식 문제에도 난이도가 함께 메타데이터로 매핑될 수 있도록 한다. 학생에게 전달되는 강의 콘텐츠는 복수의 레벨로 나누어진 난이도로 구분될 수 있다. 예를 들어, BE 동사를 설명하는 강의 콘텐츠 A가 존재한다고 가정하면, 강의 콘텐츠는 레벨 1(쉬움) 콘텐츠-레벨 2(중간) 콘텐츠-레벨 3(어려움) 콘텐츠 등으로 분리될 수 있다. 실제로 설명을 하는데 있어서 처음에는 기본개념을 설명하고, 심화 개념을 그 다음에 설명하며, 최종적으로 응용 개념을 설명하는 것이 일반적이기 때문에 상술한 방법으로 나누지만, 다른 방법을 이용할 수도 있음은 자명하다. 또한, 각 레벨도 3 개의 레벨에 한정되지 않고 실시예에 따라 증감될 수 있다.
이때, BE 동사, 레벨 1의 메타데이터가 태깅된 문제를 틀린 학생이 존재한다고 가정한다. 여기서, 해당 학생은 상술한 강의 콘텐츠 중 레벨 1 부분을 수강해야 한다. 반대로, BE 동사, 레벨 3의 메타데이터가 태깅된 문제를 틀린 학생이 존재한다고 가정하면, 해당 학생은 상술한 강의 콘텐츠 중 레벨 3 부분을 수강해야 한다. 이렇게 각 강의를 레벨이나 개념에 따라서 모듈화(분할, 분리)를 하고, 각 학생이 부족한 취약점만을 조합하여 학생의 시간낭비를 줄여주고, 학습효과는 높여줄 수 있다. 예를 들어, 레벨 2의 강의 콘텐츠를 배정받는 학생은 기본적으로 레벨 1, 2의 강의 모듈을 배정 받는데 학생이 레벨 3과 관련된 문제를 맞춘 경우, 레벨 2의 강의 콘텐츠는 모두 알고 있다고 가정하고 해당 레벨 단계의 강의 콘텐츠를 제공하지 않을 수 있다. 알고 있는 내용을 다시 강의 하는 것보다 학생이 모르는 내용을 강의 하는 것이 일반적으로 학생들에게 더 도움이 되기 때문이다.
이때, 제공부(340)는 취약점을 분석하고 강의를 추천하기 위하여, 연관관계 분석을 통해 빈발 출현 키워드쌍을 추출하고 이를 근거로 전체 키워드 간 네트워크를 구축함으로써，중심 키워드 및 연계 키워드를 구축할 수 있다. 또한, 제공부(340)는 퍼지 관계 및 퍼지합성의 개념을 적용시켜서 강의 추천 결정을 하는데 필요한 정보를 제공할 수도 있고, 각 강의 콘텐츠를 대표하는 개념별로 그룹화함으로써 추천을 위해 강의를 검색할 때, 모든 문서를 검색할 필요가 없도록 할 수도 있다. 그리고, 제공부(340)는 학생 단말(100)에서 치른 시험 결과 및 강의 로그 데이터를 수집하여, 학생을 노드(node)로 설정하고, 해당 학생이 치른 시험과 수강한 강의를 연결선(edge)로 이은 토플 준비 네트워크를 구성할 수도 있다. 이러한 방법을 바탕으로 통계적 접근법을 기초로 하여 수강했던 강의, 치뤘던 시험 간의 관계정보를 이용하여 적극적으로 강의를 추천할 수 있는 시스템이 구축될 수 있다. 마지막으로, 제공부(340)는 군집화 기법과 XML 기반의 서비스 기술표준인 WSDL의 의미적 가치를 이용하여 다수의 웹 서비스를 군집화하는 프레임워크를 이용할 수도 있다. 이 방법은 특정 도메인에 과도하게 치중한 온톨로지를 피하며 웹 서비스들 간의 의미론적 관계를 시각화할 수 있다.
빅데이터화부(350)는, 적어도 하나의 채점 단말(400)로부터 수신된 주관식 문제에 대한 텍스트형 답 및 음성형 답의 채점 결과를 수집하고, 수집된 로우 데이터((Raw Data)를 병렬 및 분산하여 저장하고, 저장된 로우 데이터 내에 포함된 비정형(Unstructed) 데이터, 정형(Structured) 데이터 및 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시하고, 전처리된 데이터를 데이터 마이닝(Data Mining) 기계학습(Machine Learning)으로 트레이닝하여 빅데이터를 구축할 수 있다. 이때, 기계학습은, 지도 학습(Supervised Learning), 반지도 학습(Semi-Supervised Learning), 비지도 학습(Unsupervised Learning), 및 강화 학습(Reinforcement Learning) 중 어느 하나 또는 적어도 하나의 조합일 수 있다. 그리고, 데이터 마이닝은, 전처리된 데이터 간의 내재된 관계를 탐색하여 클래스가 알려진 훈련 데이터 셋을 학습시켜 새로운 데이터의 클래스를 예측하는 분류(Classification) 또는 클래스 정보 없이 유사성을 기준으로 데이터를 그룹짓는 군집화(Clustering)를 수행하는 것을 포함할 수 있다. 여기서, 빅데이터의 구축을 위해, 적어도 하나의 채점 단말(400)은, 스피킹 및 라이팅을 포함한 주관식 문제를 수신하고, 스피킹 및 라이팅을 채점한 결과 데이터를 토플 강의 추천 서비스 제공 서버(300)로 전송할 수 있다.
이하, 상술한 도 2의 토플 강의 추천 서비스 제공 서버의 구성에 따른 동작 과정을 도 3을 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.
도 3을 참조하면, (a) 토플 강의 추천 서비스 제공 서버(300)는 적어도 하나의 채점 단말(400)로부터 수집된 채점 결과 등의 데이터를 수집하여 빅데이터를 구축하고, (b) 이를 기계학습을 통하여 그 다음 답안지가 입력된 경우 주관식 답안을 채점할 수 있을 정도로 훈련을 진행한다. 그리고, (c) 학생의 객관식 답안 및 주관식 답안이 입력된 경우, 토플 강의 추천 서비스 제공 서버(300)는 기 저장된 답안, 기 설정된 평가방법, 항목, 점수 환산 방법 등에 기초하여 채점을 진행하고, (d) 분석 결과를 토대로 취약점을 추출하고, 추출된 취약점을 보완해줄 수 있는 강의를 검색하여 학생 단말(100)로 전송한다.
이와 같은 도 2 및 도 3의 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 4는 본 발명의 일 실시예에 따른 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 중 객관식 문제를 채점하는 일 실시예를 설명하기 위한 도면이고, 도 5는 본 발명의 일 실시예에 따른 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 중 객관식 문제를 채점하는 일 실시예를 설명하기 위한 도면이다.
도 4를 참조하면, 각각의 문제는 메타데이터를 포함하고 있고, 이는 복수일 수 있다. 예를 들어, 하나의 문항에 포함된 개념이 현재분사라면, 현재분사라는 단어가 메타데이터로 해당 문항에 매핑되어 저장될 수 있다. 그리고, 토플 강의 추천 서비스 제공 서버(300)는, 객관식 문제를 채점할 때, 학생 답안과 정답을 비교하여 채점하되, 오답이 발생된 문항의 메타데이터를 추출하고, 이를 취약점의 검색어로 설정한 후에 키워드(검색어)를 이용하여 기 구축된 데이터베이스와 비교하고, 동일 또는 유사한 태그를 가지는 강의를 추출함으로써 학생에게 적합한 강의를 추천해줄 수 있다.
도 5를 참조하면, 하나의 문제는 복수개의 테스크(Task)를 포함하고, 이를 만족해야 높은 점수를 받을 수 있으며, 그렇지 않은 경우 낮은 점수를 면치 못한다. 이때, 객관식 문제와 다른 점은 자연어가 각 학생의 어휘실력이나 배경지식에 따라 서로 다르게 표현될 수 있고 다양한 방향으로 전개가 될 수 있기 때문에 인공지능 채점이 어려워지는데, 이를 위하여 본 발명은, 상술한 바와 같이 자동채점 프로그램을 이용할 수 있다. 이때, 각 항목별로 채점을 수행하는 것을 제외하면 나머지 프로세스는 도 4와 동일하므로 설명은 생략하기로 한다.
예를 들어, 개념답안생성모듈로 문항정보를 생성하고, 수동으로 기준점수가 부여된 학습용 학생답안과 전문가의 정보입력을 통해 자동채점과 관련된 문항정보를 담고 있는 문항정보파일을 생성하며, 자질추출모듈과 채점모델생성모듈을 이용하여 학습 모델을 생성할 수 있다. 그리고, 언어처리기를 통해 학습용 학생 답안을 분석하고, 분석된 학생의 답안으로부터 자질추출기를 이용하여 기계학습에 사용할 자질을 추출한다. 이렇게 생성된 학생답안의 자질과 문항정보파일은 채점모델생성모듈의 채점모델생성기가 학습모델과 최적조합을 생성하기 위해 사용할 수 있다. 마지막으로 학생들의 답안을 자동채점하기 위해 자질추출모듈과 답안채점모듈이 사용될 수 있는데, 자질추출모듈은 자동채점을 수행할 학생의 답안을 분석하고 자질을 추출한다. 추출된 자질을 학습모델에 적용하여 자동채점 점수를 생성하고 최적조합과 문항정보파일을 이용하여 몇 가지 예외사항적용과 최적조합을 통해 최종 채점결과를 생성할 수 있다. 이하, 각 모듈에 대하여 상세히 설명한다.
자질추출모듈은 학생 답안으로부터 자동채점에 필요한 자질을 추출할 수 있다. 자질추출모듈은 언어처리기와 자질추출기로 구성된다. 언어처리기는 입력 답안에 대한 언어분석 결과와 분석과정에서 검출된 답안의 각종 오류정보를 출력하고, 언어처리기의 출력은 자질추출기의 입력으로 사용될 수 있다. 자질추출기에서 추출되는 자질은 두 부류로 나눌 수 있다. 첫 번째는, 개념답안 후보단어 자질로, 수동으로 기채점된 학생 답안 중 고득점 답안들을 대상으로 언어처리기를 통한 분석을 수행할 수 있다. 수행 결과 각 답안에서 기능어와 일부 불용어(stop word)를 제외한 단어의 원형을 복원하여 개념답안 후보단어 자질로 이용할 수 있고, 이 자질은 개념답안생성모듈에서 사용할 수 있다. 두 번째는, 자동채점 자질로, 자동채점 대상인 수험생의 답안을 언어처리기를 통해 분석을 수행할 수 있다. 답안의 언어처리 결과와 문항정보파일에 있는 개념답안 집합, 문제 정보 등을 이용하여 자동채점을 위한 자질을 추출할 수 있다.
이때, 자질을 추출할 때 고려되어야 하는 파라미터는 아래와 같다.
복잡도(perplexity)는 본래 언어모델(Language model)의 성능을 측정하기 위해 개발되었는데, 수집된 문장을 학습 데이터(트레이닝 데이터)와 테스트 데이터로 나누어 학습데이터로 언어모델을 생성하고, 언어모델에 테스트 데이터를 적용했을 때, 테스트 문장이 생성될 확률이 높을수록 작은 값을 가지도록 설계된 평가도구이다. 이를 이용하여 언어모델에 어떤 문장을 입력하여 그 문장이 올바른 문장인지 아닌지 판단할 수 있다. 복잡도 계산을 위한 언어모델은 British Academic Written English Corpus(BAWE) 코퍼스로부터 추출된 5-gram을 이용하여 생성할 수 있으나 이에 한정되는 것은 아니다.
답안에 사용된 아무런 의미 없는 노이즈(noise) 단어는 철자 오류나 띄어쓰기 오류와는 의미가 다르기 때문에 노이즈 단어를 제대로 인식해야 한다. 비속어의 사용여부와 노이즈 단어의 사용여부를 철자오류와 구분해서 자동채점의 자질로 사용할 수 있다. 오류 문장도 자동채점의 자질로 사용할 수 있는데, 오류 문장을 분석할 수 있는 구문 규칙을 작성하는 일은 매우 어렵고, 오류를 많이 포함하고 있는 문장의 경우 구문 분석이 완료되지 못하고 중간에 실패하게 되는 경우가 많다. 이러한 경우 구문 오류 검출이 전혀 이루어지지 못하기 때문에 오류가 없는 문장으로 간주되는 경우가 발생할 수 있다. 따라서, 일반적인 구문오류와, 완전히 비문법적 단어 나열과 같은 오류를 구분하여 자질로 이용할 수 있고, 비문법적 단어 나열 오류는 일반적인 구문분석기가 아닌 유한상태 오토마타(finite state automata)를 이용하여 검출할 수도 있다. 또한, 미완성으로 끝나는 문장 오류도 상술한 자질과 구분하도록 할 수도 있다. 상술한 세 개 모두 구문오류 관련 자질이지만 표현하는 오류의 심각성은 서로 다를 수 있는데, 세 자질을 구분하여 설정하였기 때문에 자동 채점에 미치는 영향을 다르게 반영할 수 있다.
채점모델생성모듈은 학습용 학생답안의 영역별 채점 점수와 답안에서 추출한 채점 자질, 문항정보파일을 이용하여 각 채점영역별로 학습모델을 구축하고 모델의 최적조합을 결정할 수 있다. 이때, 본 발명의 일 실시예에서는, 하나의 기계학습 알고리즘을 사용하지 않고 다수 개의 기계학습 알고리즘을 동시에 사용할 수도 있다. 그 이유는, 채점영역이나 수집되는 학습데이터가 가질 수 있는 특성에 유연하게 대처하여 가장 좋은 성능을 나타낼 수 있기 때문이다. 이때, 기계학습 알고리즘은, SMO, BayesNetwork, Multilayer Perceptron 등이 이용될 수 있으나 이에 한정되지는 않는다. 이렇게 조합을 하는 경우, 시험의 난이도나 학습데이터의 질에 따른 모델 생성의 유연성을 높일 수 있다.
기계학습 알고리즘에는 학습 시 설정해주어야 하는 파라미터값이 있다. 각 알고리즘의 특성과 채점 영역, 학습 데이터의 성향에 따라 최적의 결과를 도출하는 파라미터 값이 다를 수 있다. 그렇기 때문에 가장 적절한 파라미터값을 자동으로 결정하기 위하여 채점모델생성 단계에서 다음과 같은 작업을 수행한다. 기계학습 알고리즘의 각 파라미터의 속성에 따라 최소값, 최대값을 결정하고, 그 사이의 값을 일정 간격으로 생성하여 파라미터 값들의 조합을 생성한다. 각 파라미터 조합에 대하여 채점모델생성의 학습 데이터를 크로스 유효성 검사를 수행하고, 가장 좋은 결과를 나타낸 파라미터 조합을 이용하여 입력된 학습 데이터의 채점모델을 생성할 수 있다. 파라미터 최적화 프로세스는 기계학습 알고리즘이 학습을 수행할 때마다 수행될 수 있다.
기계학습 알고리즘마다 특성이 다르고, 채점영역별로 채점기준이 다르며 시행된 시험의 경향과 준비된 학습 데이터의 성향이 다를 수 있기 때문에 하나의 기계학습 알고리즘만을 사용하는 것보다 여러 알고리즘의 조합한 결과가 더 나은 성능을 발휘할 수 있다. 학습모델 생성을 위해 입력된 데이터를 같은 크기를 가지는 데이터 셋으로 나누고, 조합 테스트 데이터 및 조합 학습 데이터로 구분한다. 그리고, 복수의 기계학습 알고리즘에 대한 가능한 조합을 생성하고, 조합 학습 데이터로 각 기계학습 알고리즘을 학습하고, 조합 테스트 데이터를 이용하여 기계학습 알고리즘별 예측 점수를 생성한다. 이렇게 생성된 예측점수를 각각의 조합에 적용하여 조합점수를 결정할 수 있다. 그리고, 데이터 셋에서 예측에 사용되지 않은 데이터 셋 하나를 조합 테스트 데이터로 선정하고 나머지 데이터 셋을 조합 학습 데이터 셋으로 선정하여 반복함으로써, 최적조합을 결정할 수 있다. 상술한 방법 이외에도 기계학습과 인공지능 기반으로 자동채점 알고리즘이 구성될 수 있으며, 상술한 방법에 한정되지 않고 다양한 실시예에 따라 변형가능함은 자명하다 할 것이다.
이와 같은 도 4 및 5의 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 3을 통해 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 5를 통해 설명된 일 실시예에 따른 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시예에 따른 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims (7)

  1. 토플의 리딩 및 리스닝을 포함한 객관식 문제와, 스피킹 및 라이팅을 포함한 주관식 문제에 대한 답을 번호 선택, 텍스트 및 음성으로 제공하고, 상기 제공한 답 중 오답 데이터에 기반하여 추천된 강의 데이터를 수신하는 적어도 하나의 학생 단말;
    상기 적어도 하나의 학생 단말로부터 수신된 상기 객관식 문제에 대한 번호 선택형 답과 기 저장된 답을 비교하여 오답을 체크하는 체크부, 기 구축된 빅데이터 및 인공지능에 기반하여 상기 주관식 문제에 대한 텍스트형 답 및 음성형 답을 채점하는 자동채점부, 상기 체크부에서 체크된 객관식 문제의 오답과, 상기 자동채점부의 채점결과에 기반하여 상기 적어도 하나의 학생 단말의 취약점을 분석하는 분석부, 상기 분석된 취약점을 입력값으로 기 저장된 강의를 검색하여 상기 적어도 하나의 학생 단말로 추천 강의를 제공하는 제공부를 포함하는 토플 강의 추천 서비스 제공 서버;
    를 포함하는 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템.
  2. 제 1 항에 있어서,
    상기 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템은,
    상기 스피킹 및 라이팅을 포함한 주관식 문제를 수신하고, 상기 스피킹 및 라이팅을 채점한 결과 데이터를 상기 토플 강의 추천 서비스 제공 서버로 전송하는 적어도 하나의 채점 단말;
    을 더 포함하는 것을 특징으로 하는 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템.
  3. 제 2 항에 있어서,
    상기 토플 강의 추천 서비스 제공 서버는,
    상기 적어도 하나의 채점 단말로부터 수신된 상기 주관식 문제에 대한 텍스트형 답 및 음성형 답의 채점 결과를 수집하고, 상기 수집된 로우 데이터((Raw Data)를 병렬 및 분산하여 저장하고, 상기 저장된 로우 데이터 내에 포함된 비정형(Unstructed) 데이터, 정형(Structured) 데이터 및 반정형 데이터(Semi-structured)를 정제하고, 메타 데이터로 분류를 포함한 전처리를 실시하고, 상기 전처리된 데이터를 데이터 마이닝(Data Mining) 기계학습(Machine Learning)으로 트레이닝하여 빅데이터를 구축하는 빅데이터화부;
    를 더 포함하고,
    상기 기계학습은, 지도 학습(Supervised Learning), 반지도 학습(Semi-Supervised Learning), 비지도 학습(Unsupervised Learning), 및 강화 학습(Reinforcement Learning) 중 어느 하나 또는 적어도 하나의 조합인 것을 특징으로 하는 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템
  4. 제 3 항에 있어서,
    상기 데이터 마이닝은, 상기 전처리된 데이터 간의 내재된 관계를 탐색하여 클래스가 알려진 훈련 데이터 셋을 학습시켜 새로운 데이터의 클래스를 예측하는 분류(Classification) 또는 클래스 정보 없이 유사성을 기준으로 데이터를 그룹짓는 군집화(Clustering)를 수행하는 것을 포함하는 것을 특징으로 하는 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템.
  5. 제 1 항에 있어서,
    상기 자동채점부는,
    상기 주관식 문제에 대하여 음성으로 제공된 답을 음성발화를 인식한 후 STT(Speaking To Text)를 이용하여 텍스트로 변환하고, 상기 변환된 텍스트를 기준으로 기 저장된 정답 템플릿(Template)을 이용하여 채점을 수행하는 것을 특징으로 하는 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템.
  6. 제 1 항에 있어서,
    상기 분석부는,
    상기 오답이 발생한 객관식 문제 및 주관식 문제에 기 매핑되어 저장된 메타데이터를 추출하고, 상기 추출된 메타데이터를 취약점을 반영하는 키워드로 설정하는 것을 특징으로 하는 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템.
  7. 제 6 항에 있어서,
    상기 기 저장된 강의는, 상기 강의의 특징을 설명하는 태그가 태깅된 강의이고,
    상기 제공부는,
    상기 분석된 취약점이 입력값으로 수신된 경우, 상기 취약점에 대응하는 키워드와 상기 태그를 비교하여 기 설정된 유사도를 초과하면, 상기 유사도가 초과된 태그가 태깅된 강의를 추천 강의 리스트에 포함시켜 업데이트하는 것을 특징으로 하는 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템.
KR1020190029597A 2019-03-15 2019-03-15 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템 KR20200119358A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190029597A KR20200119358A (ko) 2019-03-15 2019-03-15 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190029597A KR20200119358A (ko) 2019-03-15 2019-03-15 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템

Publications (1)

Publication Number Publication Date
KR20200119358A true KR20200119358A (ko) 2020-10-20

Family

ID=73025211

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190029597A KR20200119358A (ko) 2019-03-15 2019-03-15 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템

Country Status (1)

Country Link
KR (1) KR20200119358A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329437A (zh) * 2020-10-21 2021-02-05 交通银行股份有限公司 一种智能客服语音质检评分方法、设备及存储介质
CN113657089A (zh) * 2021-08-20 2021-11-16 西安电子科技大学 一种英语阅读理解辅助出题方法及系统
KR102339793B1 (ko) * 2021-05-28 2021-12-16 주식회사 애자일소다 Han 기반의 상품 추천 장치 및 방법
CN114329040A (zh) * 2021-10-28 2022-04-12 腾讯科技（深圳）有限公司 音频数据处理方法、装置、存储介质、设备及程序产品
KR102412378B1 (ko) 2021-07-01 2022-06-23 (주)뤼이드 사용자에게 교육 효과가 최대화되는 웹페이지를 추천하는 방법, 장치, 및 시스템
KR102476578B1 (ko) * 2022-01-17 2022-12-13 (주)플레이스터디 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법 및 그 시스템
KR102571826B1 (ko) 2022-07-14 2023-08-29 (주)뤼이드 사용자의 검색 정보에 기초하여 웹 페이지를 추천하는 방법, 장치, 및 시스템
KR20230160655A (ko) 2022-05-17 2023-11-24 (주)에듀윌 문제 풀이 라이브 영상과 정답 연상 키워드를 이용한 객관식 시험 채점 방법

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112329437A (zh) * 2020-10-21 2021-02-05 交通银行股份有限公司 一种智能客服语音质检评分方法、设备及存储介质
CN112329437B (zh) * 2020-10-21 2024-05-28 交通银行股份有限公司 一种智能客服语音质检评分方法、设备及存储介质
KR102339793B1 (ko) * 2021-05-28 2021-12-16 주식회사 애자일소다 Han 기반의 상품 추천 장치 및 방법
KR102412378B1 (ko) 2021-07-01 2022-06-23 (주)뤼이드 사용자에게 교육 효과가 최대화되는 웹페이지를 추천하는 방법, 장치, 및 시스템
KR20230005752A (ko) 2021-07-01 2023-01-10 (주)뤼이드 사용자에게 교육 효과가 최대화되는 웹페이지를 추천하는 방법, 장치, 및 시스템
CN113657089A (zh) * 2021-08-20 2021-11-16 西安电子科技大学 一种英语阅读理解辅助出题方法及系统
CN114329040A (zh) * 2021-10-28 2022-04-12 腾讯科技（深圳）有限公司 音频数据处理方法、装置、存储介质、设备及程序产品
CN114329040B (zh) * 2021-10-28 2024-02-20 腾讯科技（深圳）有限公司 音频数据处理方法、装置、存储介质、设备及程序产品
KR102476578B1 (ko) * 2022-01-17 2022-12-13 (주)플레이스터디 딥러닝 손글씨 인식을 통한 주관식 답안 자동 채점 방법 및 그 시스템
KR20230160655A (ko) 2022-05-17 2023-11-24 (주)에듀윌 문제 풀이 라이브 영상과 정답 연상 키워드를 이용한 객관식 시험 채점 방법
KR102571826B1 (ko) 2022-07-14 2023-08-29 (주)뤼이드 사용자의 검색 정보에 기초하여 웹 페이지를 추천하는 방법, 장치, 및 시스템

Similar Documents

Publication Publication Date Title
Deriu et al. Survey on evaluation methods for dialogue systems
KR20200119358A (ko) 인공지능 기계학습 기반 자동채점을 이용한 토플 강의 추천 서비스 제공 시스템
Sukkarieh et al. Automarking: using computational linguistics to score short ‚free− text responses
Correia et al. Automatic generation of cloze question stems
Nandini et al. Automatic assessment of descriptive answers in online examination system using semantic relational features
US20150079554A1 (en) Language learning system and learning method
KR20220120253A (ko) 인공지능 기반 논술 자동 채점 시스템
Shibani et al. Assessing the language of chat for teamwork dialogue
Nguyen et al. Iterative design and classroom evaluation of automated formative feedback for improving peer feedback localization
KR101635144B1 (ko) 텍스트 시각화와 학습자 말뭉치를 이용한 언어학습 시스템
Lalata et al. A sentiment analysis model for faculty comment evaluation using ensemble machine learning algorithms
Chan et al. Question-answering dialogue system for emergency operations
Fonseca et al. Automatically grading brazilian student essays
US10691900B2 (en) Adaptable text analytics platform
Rokade et al. Automated grading system using natural language processing
KR20140060379A (ko) 문장타입 분류에 의한 작문 평가 장치 및 방법
Nicoll et al. Giving feedback on feedback: An assessment of grader feedback construction on student performance
Sijimol et al. Handwritten short answer evaluation system (HSAES)
Kumar et al. Discovering the predictive power of five baseline writing competences
Al-Ghezi et al. Automatic speaking assessment of spontaneous L2 Finnish and Swedish
Ibrahim et al. Improved Automated Essay Grading System Via Natural Language Processing and Deep Learning
Shiva Shankar et al. Digital report grading using NLP feature selection
Pathak et al. Essay Rating System Using Machine Learning
Al-Abri et al. A scheme for extracting information from collaborative social interaction tools for personalized educational environments
Willis et al. Identifying domain reasoning to support computer monitoring in typed-chat problem solving dialogues

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
X091 Application refused [patent]
AMND Amendment
E90F Notification of reason for final refusal
X601 Decision of rejection after re-examination