KR102398417B1 - 학습분석 표준모델을 기반으로 멀티모달 학습 데이터를 수집 및 분석하는 시스템 - Google Patents

학습분석 표준모델을 기반으로 멀티모달 학습 데이터를 수집 및 분석하는 시스템 Download PDF

Info

Publication number
KR102398417B1
KR102398417B1 KR1020210108151A KR20210108151A KR102398417B1 KR 102398417 B1 KR102398417 B1 KR 102398417B1 KR 1020210108151 A KR1020210108151 A KR 1020210108151A KR 20210108151 A KR20210108151 A KR 20210108151A KR 102398417 B1 KR102398417 B1 KR 102398417B1
Authority
KR
South Korea
Prior art keywords
learning
data
event information
analysis
learner
Prior art date
Application number
KR1020210108151A
Other languages
English (en)
Inventor
조용상
Original Assignee
주식회사 아이스크림에듀
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 아이스크림에듀 filed Critical 주식회사 아이스크림에듀
Priority to KR1020210108151A priority Critical patent/KR102398417B1/ko
Application granted granted Critical
Publication of KR102398417B1 publication Critical patent/KR102398417B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • G06Q50/20Education
    • G06Q50/205Education administration or guidance
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/3089Monitoring arrangements determined by the means or processing involved in sensing the monitored data, e.g. interfaces, connectors, sensors, probes, agents
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/30Monitoring
    • G06F11/32Monitoring with visual or acoustical indication of the functioning of the machine
    • G06F11/324Display of status information
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/901Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/904Browsing; Visualisation therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90Details of database functions independent of the retrieved data types
    • G06F16/95Retrieval from the web
    • G06F16/953Querying, e.g. by the use of web search engines
    • G06F16/9535Search customisation based on user profiles and personalisation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/167Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44Arrangements for executing specific programs
    • G06F9/451Execution arrangements for user interfaces
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/54Interprogram communication
    • G06F9/542Event management; Broadcasting; Multicasting; Notifications
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Educational Administration (AREA)
  • Quality & Reliability (AREA)
  • Educational Technology (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Ophthalmology & Optometry (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • General Business, Economics & Management (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Electrically Operated Instructional Devices (AREA)

Abstract

본 발명은 학습자의 제1 단말과 교사의 제2 단말을 원격 연결하여 비대면 환경에서의 멀티모달 학습 데이터를 수집 및 분석하는 시스템에 있어서, 상기 학습자의 생체변화에 대한 제1 이벤트 정보를 실시간으로 검출하는 센서부; 상기 제1,2 단말 및 웹, 외부 서버와 네트워크를 구축하여 통신하면서 상기 제1 단말로부터 상기 학습자의 학습활동에 대한 제2 이벤트 정보를 획득하고, 상기 제1,2 이벤트 정보의 데이터를 미리 지정된 학습역량 측정기준 데이터와 상호 매칭시켜 임의의 멀티모달 분석정보를 생성하며, 상기 생성된 멀티모달 분석정보에 따라 미리 설정된 알림신호를 출력하는 제어부; 및 상기 제1,2 단말에 구비되어, 상기 제어부로부터 출력된 알림신호에 따라 임의의 화면 상에 시각적으로 디스플레이하는 알림부를 포함하고,
상기 제어부는, 상기 웹 또는 외부 서버로부터 제공되는 2개의 학습분석 표준모델을 기반으로 상기 제1,2 이벤트 정보의 데이터를 수집하는 것을 특징으로 하여, 학습분석과 관련하여 보다 고도화된 데이터 수집체계 시스템을 기대할 수 있고, 보다 정확하고 효율적인 학습분석 및 학습진단이 가능해지면서, 이에 대한 맞춤형 학습처방까지 달성할 수 있는 효과가 있다.

Description

학습분석 표준모델을 기반으로 멀티모달 학습 데이터를 수집 및 분석하는 시스템{A SYSTEM THAT COLLECTS AND ANALYZES MULTI-MODAL LEARNING DATA BASED ON LEARNING ANALYTICS STANDARD MODEL}
본 발명은 학습자의 다양한 학습과정을 상황/맥락 그대로 기록하고 수집하는 학습관련 국제표준 기반의 데이터 수집체계를 고도화하고, 학습관련 행동과 비정형화된 행동을 연계한 멀티모달 데이터 네트워크가 구축되도록 한 구성을 통해 보다 정확하고 효율적인 학습분석 및 학습진단이 가능해지면서, 이에 대한 맞춤형 학습처방까지 달성할 수 있는 학습분석 표준모델을 기반으로 멀티모달 학습 데이터를 수집 및 분석하는 시스템에 관한 것이다.
일반적으로, 인공지능(AI) 비서는 사용자가 발화하는 명령어의 의도를 파악해서 수행하고, 주변기기를 제어하는 음성 인터페이스의 편리성이 주요 특징인 반면, 인공지능 튜터링 시스템은 학습자에게 교사 및 강사의 개입이 필요한 상황을 스스로 파악하여 상황에 맞는 진단과 처방을 제공하는 맥락 중심의 능동적인 반응이 주요 특징이다.
현재, 이러한 인공지능 튜터링에 대한 기술이 포함된 국내 에듀테크(Education Technology)시장은 확대되고 있으나 그 성장세는 세계시장 대비 낮고, 영세사업자 비중이 높다.
예컨대, 소수의 대형사업자들에게 매출이 집중되는 한편, 전체 사업자 수의 절반을 차지하는 영세사업자의 매출은 1.6%에 불과해 산업 내 양극화가 존재하고, 이를 해결하기 위해 대형 에듀테크 기업은 기존 에듀테크 스타트업을 인수하여 인공지능 기술, 로봇기술을 활용한 서비스를 출시하며, 유망 에듀테크 스타트업을 직접 발굴 및 지원하며 새로운 기회를 모색하고 있다.
이에 따라, 에듀테크 스타트업은 기술력을 바탕으로 맞춤형 학습 서비스, 게임기반 학습, 외국어 교육, 코딩 교육 등 다양한 분야에서 성장하고 있으며, 학습자의 성취도, 학습이력 등 빅데이터를 분석해 능력을 진단하고 맞춤형 학습을 제공하는 AI(인공지능) 활용이 가장 두드러지게 나타나고 있다.
특히, 최근 코로나19로 인해 개학이 연기되고, 비대면 교육에 대한 관심이 높아짐에 따라 업계는 에듀테크 확산을 위해 발빠르게 대처하고 있으며, 국내 교육서비스 및 에듀테크 스타트업은 코로나19로 영향을 받는 학생들에게 자사 서비스 무료 이용 혜택을 주며 고객 유치에 나서고 있다.
앞으로도, 세계 에듀테크 시장규모가 2025년 3,420억 달러로 예상되어 2018년 1,530억 달러 대비 2배 이상 확대될 것이며, 기업가치가 10억 달러 이상인 상장기업도 100개 이상으로 크게 늘어날 전망이다.
이러한 가운데, 종래 상용화되었던 맞춤형 학습 기술들은 학습 콘텐츠 간의 연계에 의존하거나, 틀린 문제의 개수를 단순하게 세어서 취약한 개념을 진단하는 정도에 그쳐, 학습자의 학습역량 진단이 정교하지 않은 문제점이 존재하였다.
즉, 개인화된 맞춤형 학습을 제공하고자 하는 경우에도, 정확하지 않은 학습역량 진단에 근거하게 됨으로써, 맞춤형 학습 시스템의 효율성 및 신뢰성을 확보하지 못하는 한계점이 있었다.
또한, 학습 데이터를 수집하기 위한 구체적인 기준근거가 다소 미흡하여, 학습관련 데이터의 수집체계 시스템이 다소 낮은 수준에 머물러있는 단점이 있었다.
따라서, 상기와 같은 종래기술의 문제점 해소를 위해 보다 고도화된 데이터 수집체계를 적용하여 보다 정확하고 효율적으로 학습자의 학습역량을 분석하고, 진단하는 것은 물론, 나아가, 학습자에게 보다 신뢰도 높은 맞춤형 학습처방을 가이드할 수 있는 학습분석 표준을 기반으로 하는 멀티모달 학습 데이터의 수집 및 분석 시스템에 대한 니즈가 높아지는 실정이다.
대한민국 등록특허공보 제10-2056822호(발명의 명칭: 학습 서비스 제공 방법 및 그 장치)
따라서, 본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로서, 학습자의 다양한 학습과정을 상황/맥락 그대로 기록하고 수집하는 학습관련 국제표준 기반의 데이터 수집체계를 고도화하고, 학습관련 행동과 비정형화된 행동을 연계한 멀티모달 데이터 네트워크가 구축되도록 한 구성을 통해 보다 정확하고 효율적인 학습분석 및 학습진단이 가능해지면서, 이에 대한 맞춤형 학습처방까지 달성할 수 있는 학습분석 표준모델을 기반으로 멀티모달 학습 데이터를 수집 및 분석하는 시스템을 제공하는데 목적이 있다.
다만, 본 발명에서 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 기술적 수단인 본 발명의 일 실시예에 따른 학습자의 제1 단말과 교사의 제2 단말을 원격 연결하여 비대면 환경에서의 멀티모달 학습 데이터를 수집 및 분석하는 시스템에 있어서, 상기 학습자의 생체변화에 대한 제1 이벤트 정보를 실시간으로 검출하는 센서부; 상기 제1,2 단말 및 웹, 외부 서버와 네트워크를 구축하여 통신하면서 상기 제1 단말로부터 상기 학습자의 학습활동에 대한 제2 이벤트 정보를 획득하고, 상기 제1,2 이벤트 정보의 데이터를 미리 지정된 학습역량 측정기준 데이터와 상호 매칭시켜 임의의 멀티모달 분석정보를 생성하며, 상기 생성된 멀티모달 분석정보에 따라 미리 설정된 알림신호를 출력하는 제어부; 및 상기 제1,2 단말에 구비되어, 상기 제어부로부터 출력된 알림신호에 따라 임의의 화면 상에 시각적으로 디스플레이하는 알림부를 포함할 수 있고, 상기 제어부는, 상기 웹 또는 외부 서버로부터 제공되는 2개의 학습분석 표준모델을 기반으로 상기 제1,2 이벤트 정보의 데이터를 수집할 수 있다.
또한, 상기 2개의 학습분석 표준모델은, 학습활동을 행동모델로 정의한 IMS Global Learning Consortium의 IMS Caliper Analytics 표준과, IEEE에서 관리하는 이벤트의 구문규칙을 정의한 xAPI(Experience Application Programming Interface) 표준일 수 있고, 상기 IMS Caliper Analytics 표준은, 상기 제2 이벤트 정보에 적용될 수 있으며, 상기 xAPI 표준은, 상기 제1 이벤트 정보에 적용될 수 있다.
또한, 상기 제어부는, 상기 이벤트 정보를 데이터화하는 데이터 생성부; 상기 데이터 생성부에 의해 생성된 상기 이벤트 정보의 데이터를 상기 학습분석 표준모델을 기반으로 수집하여 기록하고, 상기 제2 단말에 의해 미리 지정된 학습역량 측정기준 데이터를 저장하고 관리하는 데이터 베이스부; 상기 데이터 베이스부에 기록되는 상기 이벤트 정보의 데이터를 시간의 흐름에 따라 비교 분석하여 변화값을 산출하고, 상기 산출된 변화값을 상기 학습역량 측정기준 데이터와 매칭시켜 임의의 멀티모달 분석정보를 생성하는 데이터 분석부; 및 상기 데이터 분석부로부터 생성된 멀티모달 분석정보에 대응하는 알림신호가 출력되도록 제어하는 알림신호 출력부를 포함할 수 있고, 상기 데이터 베이스부에는, 상기 이벤트 정보의 데이터가 실시간으로 축적 및 갱신될 수 있다.
또한, 상기 센서부는, 상기 학습자를 촬영하는 이미지 센서일 수 있고, 상기 제1 이벤트 정보는, 상기 학습자의 안면, 안구, 동공, 눈꺼풀 중 적어도 어느 하나의 이미지일 수 있으며, 상기 센서부로부터 제1 이벤트 정보가 검출될 경우, 상기 데이터 생성부는, 미리 저장된 이미지 프로세싱 프로그램을 통해 상기 제1 이벤트 정보의 픽셀값을 데이터로 가질 수 있다.
또한, 상기 센서부는, 상기 학습자의 음성을 감지하는 음성센서를 더 포함할 수 있고, 상기 제1 이벤트 정보는, 상기 학습자의 억양, 발음, 목소리 높낮이와 크기 중 적어도 어느 하나의 음향을 더 포함할 수 있다.
또한, 상기 알림부는, 상기 제1 단말에 구비되어, 상기 제어부로부터 출력된 알림신호에 따라 미리 설정된 음향을 출력하는 음향출력부를 더 포함할 수 있고, 상기 음성센서 및 음향출력부는, 음성인식 SDK(인터페이스)를 탑재할 수 있다.
또한, 상기 제2 이벤트 정보는, 상기 학습자의 콘텐츠별 소비량, 학습시간, 문항별 풀이시간, 정오답 여부 중 적어도 어느 하나일 수 있다.
또한, 상기 멀티모달 분석정보는, 상기 제2 이벤트 정보 데이터와 상기 학습역량 측정기준 데이터의 상호 매칭을 통해 분석가능한 학습자의 이해(성취)수준, 취약점, 학습성향(패턴), 콘텐츠별 선호도, 심리검사결과 중 적어도 하나의 학습결과에 대한 단일분석 데이터; 상기 제1 이벤트 정보 데이터와 상기 제2 이벤트 정보 데이터, 그리고 상기 학습역량 측정기준 데이터의 상호 매칭을 통해 분석가능한 학습자의 학습집중도, 콘텐츠별 집중도, 학습자세(태도), 학습진행중 정서상태 중 적어도 하나의 학습반응에 대한 혼합분석 데이터; 및 상기 단일분석 데이터와 상기 혼합분석 데이터, 그리고 상기 학습역량 측정기준 데이터의 상호 매칭을 통해 분석가능한 학습자의 인성, 학업포기 위험도, 추천 비교과 학습, 추천 체험학습 프로그램, 추천 진로, 추천 적성, 추천 콘텐츠, 추천 학습스케줄(학습일정), 추천 학습량, 추천 시험문항, 추천 상담항목 중 적어도 하나의 맞춤형 학습진단/치료 및 가이드에 대한 심층분석 데이터를 포함할 수 있다.
또한, 상기 제어부는, 상기 데이터 베이스부와 별도로 구비되고, 상기 학습자가 제1 단말을 이용하여 개별적으로 직접 입력하는 개별 기록정보를 저장하며, 상기 저장된 개별 기록정보를 기반으로 임의의 데이터 세트가 생성되도록 하는 보조 데이터 베이스부를 더 포함할 수 있고, 상기 알림신호 출력부는, 상기 학습자에 의해 상기 제1 단말을 이용한 정보추출 요청신호가 입력되면, 상기 보조 데이터 베이스부로부터 생성된 데이터 세트에 대응하는 알림신호가 출력되도록 제어하여, 상기 알림부가 상기 출력된 알림신호에 따라 임의의 화면 상에 시각적으로 디스플레이하도록 할 수 있다.
또한, 상기 개별 기록정보는, 상기 학습자 본인의 상기 웹/외부 서버를 통한 온라인에서의 소셜네트워크 활동기록, 오프라인에서의 학교 활동기록 및 체험학습 활동기록 중 적어도 어느 하나의 활동기록에 대한 데이터일 수 있다.
본 발명은 2개의 학습분석 표준모델을 기반으로 새로운 데이터 수집체계를 모델링하고, 모델링된 수집체계를 적용하여 학습자 상태에 따라 실시간 변화하는 생체에 대한 데이터와 학습활동에 대한 데이터를 동시에 수집하는 멀티모달 데이터 네트워크 환경을 구축하며, 학습역량 측정을 위한 기준 데이터를 수집된 데이터들과 상호 매칭시켜 멀티모달 분석정보를 생성하는 구성을 통해 학습분석과 관련하여 보다 고도화된 데이터 수집체계 시스템을 기대할 수 있고, 보다 정확하고 효율적인 학습분석 및 학습진단이 가능해지면서, 이에 대한 맞춤형 학습처방까지 달성할 수 있는 효과가 있다.
또한, 본 발명에 따르면, 학습역량 측정기준 데이터를 활용하여, 하나의 이벤트 정보만을 분석한 단일분석 데이터, 2개의 이벤트 정보 데이터를 함께 매칭시켜 분석한 혼합분석 데이터, 단일분석 데이터와 혼합분석 데이터를 함께 매칭시켜 분석한 심층분석 데이터를 획득하는 제어부의 구성을 통해 학습자에 대한 보다 심층적인 진단과 분석이 이루어질 수 있고, 이에 따라, 보다 신뢰도 높은 학습처방 가이드 시스템을 기대할 수 있다.
또한, 본 발명에 따르면, 학습자가 직접 자신만의 정보 저장소를 마련할 수 있도록 제어부에 클라우드 서버 구성을 따르는 보조 데이터 베이스부를 더 구성함으로써, 본인의 다양한 학습관련 활동을 보조 데이터 베이스부에 기록하면서 실시간으로 자신의 학습성장변화를 모니터링할 수 있는 장점이 있다.
또한, 본 발명에 따르면, 학습 이벤트 데이터 표준을 준수하는 학습관리플랫폼(LMS)에 학습자의 행동모델과 생체정보를 활용한 이상행동 탐지 기술을 SaaS형 서비스로 제공할 수 있다.
다만, 본 발명에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 실시예에 따른 학습분석 표준모델을 기반으로 멀티모달 학습 데이터를 수집 및 분석하는 시스템의 외부구성 및 사용예를 나타낸 도면.
도 2는 상기 멀티모델 학습 데이터 수집/분석 시스템의 전자적인 구성을 개략적으로 나타낸 블록도.
도 3은 상기 멀티모델 학습 데이터 수집/분석 시스템에서 제어부의 구성을 나타낸 블록도.
도 4는 2개의 학습분석 표준모델을 기반으로 제1,2 이벤트 정보의 데이터가 구분 수집되는 예시를 나타낸 표.
도 5는 2개의 학습분석 표준모델을 변환하여 새롭게 모델링한 가이드 표준이 담긴 문서의 표지 및 변환 표준의 매핑 규칙에 대한 예시를 나타낸 도면.
도 6은 고도화된 학습 데이터 수집체계에 따른 학습분석 워크플로우의 정의를 나타낸 도면.
도 7은 실시간 대규모 학습관련 이벤트 정보의 처리를 위해 "(주)아이스크림에듀" 에서 제안하는 빅데이터 아키텍처를 나타낸 도면.
도 8은 상기 제1,2 이벤트 정보의 데이터의 상호 매칭으로 형성되는 멀티모달 데이터 네트워크의 연계 환경을 개념적으로 나타낸 도면.
도 9는 상기 제1,2 이벤트 정보의 데이터 조합을 의미하는 멀티모달 데이터를 활용하여 데이터를 증강시키는 기술을 예시적으로 나타낸 도면.
도 10은 본 발명과 관련하여, 멀티모달 분석정보가 알림부에 디스플레이되는 일례를 나타낸 사용예시도.
도 11은 본 발명과 관련하여, 상기 멀티모달 분석정보에 기반이 되는 하드스킬과 소프트스킬에 대한 설명을 개념적으로 나타낸 도면.
도 12는 도 11에 따른 상기 소프트스킬 관련 사용자의 군집별 특성 분석을 개념적으로 나타낸 도면.
이하에서는, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명에 관한 설명은 구조적 내지 기능적 설명을 위한 실시예에 불과하므로, 본 발명의 권리범위는 본문에 설명된 실시예에 의하여 제한되는 것으로 해석되어서는 아니 된다. 즉, 실시예는 다양한 변경이 가능하고 여러 가지 형태를 가질 수 있으므로 본 발명의 권리범위는 기술적 사상을 실현할 수 있는 균등물들을 포함하는 것으로 이해되어야 한다. 또한, 본 발명에서 제시된 목적 또는 효과는 특정 실시예가 이를 전부 포함하여야 한다거나 그러한 효과만을 포함하여야 한다는 의미는 아니므로, 본 발명의 권리범위는 이에 의하여 제한되는 것으로 이해되어서는 아니 될 것이다.
본 발명에서 서술되는 용어의 의미는 다음과 같이 이해되어야 할 것이다.
"제1", "제2" 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하기 위한 것으로, 이들 용어들에 의해 권리범위가 한정되어서는 아니 된다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결될 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다고 언급된 때에는 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 한편, 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함하는 것으로 이해되어야 하고, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
여기서 사용되는 모든 용어들은 다르게 정의되지 않는 한, 본 발명이 속하는 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한 이상적이거나 과도하게 형식적인 의미를 지니는 것으로 해석될 수 없다.
도 1은 본 발명의 실시예에 따른 학습분석 표준모델을 기반으로 멀티모달 학습 데이터를 수집 및 분석하는 시스템의 외부구성 및 사용예를 나타낸 도면이고, 도 2는 상기 멀티모델 학습 데이터 수집/분석 시스템의 전자적인 구성을 개략적으로 나타낸 블록도이며, 도 3은 상기 멀티모델 학습 데이터 수집/분석 시스템에서 제어부의 구성을 나타낸 블록도이고, 도 4는 2개의 학습분석 표준모델을 기반으로 제1,2 이벤트 정보의 데이터가 구분 수집되는 예시를 나타낸 표이며, 도 5는 2개의 학습분석 표준모델을 변환하여 새롭게 모델링한 가이드 표준이 담긴 문서의 표지 및 변환 표준의 매핑 규칙에 대한 예시를 나타낸 도면이고, 도 6은 고도화된 학습 데이터 수집체계에 따른 학습분석 워크플로우의 정의를 나타낸 도면이며, 도 7은 실시간 대규모 학습관련 이벤트 정보의 처리를 위해 "(주)아이스크림에듀" 에서 제안하는 빅데이터 아키텍처를 나타낸 도면이고, 도 8은 상기 제1,2 이벤트 정보의 데이터의 상호 매칭으로 형성되는 멀티모달 데이터 네트워크의 연계 환경을 개념적으로 나타낸 도면이며, 도 9는 상기 제1,2 이벤트 정보의 데이터 조합을 의미하는 멀티모달 데이터를 활용하여 데이터를 증강시키는 기술을 예시적으로 나타낸 도면이고, 도 10은 본 발명과 관련하여, 멀티모달 분석정보가 알림부에 디스플레이되는 일례를 나타낸 사용예시도이며, 도 11은 본 발명과 관련하여, 상기 멀티모달 분석정보에 기반이 되는 하드스킬과 소프트스킬에 대한 설명을 개념적으로 나타낸 도면이고, 도 12는 도 11에 따른 상기 소프트스킬 관련 사용자의 군집별 특성 분석을 개념적으로 나타낸 도면이다.
도 1 및 도 2에 도시한 바와 같이, 본 발명에 따른 학습분석 표준모델을 기반으로 멀티모달 학습 데이터를 수집 및 분석하는 시스템(100)은 제1 단말(110), 제2 단말(120), 센서부(130), 웹(140), 외부 서버(150), 제어부(160) 및 알림부(170)를 포함하여 구성할 수 있다.
단, 도 1 및 도 2에 도시된 구성요소들이 본 발명을 위해 필수적인 최소한의 구성일뿐, 이보다 더 부가적인 구성요소들을 갖는 멀티모달 학습 데이터 수집/분석 시스템이 구현될 수 있다.
상기 제1 단말(110)은 키보드, 패드, 마우스 등 다양한 공지의 입력기기(미도시)를 포함하여 구성된 것으로, 본 발명의 바람직한 실시예에 따르면, 학습자(L)에게 위치하여 상기 학습자(L)의 후술될 제2 이벤트 정보(E2)가 웹(140), 외부 서버(150) 및 제어부(160)에 입력되도록 하는 입력환경을 제공한다.
또한, 상기 제2 단말(120)은 상술한 제1 단말(110)과 원격 통신할 수 있도록 구성된 것으로, 그 구성요소는 상기 제1 단말(110)과 동일하게 가질 수 있으며, 본 발명에 따르면, 교사(T)에게 위치하여 상기 교사(T)가 후술될 학습도 평가 데이터(D2)를 상기 웹(140), 외부 서버(150) 및 제어부(160)에 입력시킬 수 있는 입력환경을 제공한다.
여기서, 상기 제1,2 단말(110, 120)은 복수개로 구성될 수도 있으며, 바람직하게는, 태블릿이 적용될 수 있으나, 이에 한정되지 않고, PC, 스마트폰 등이 적용될 수도 있다.
이러한 상기 제1,2 단말(110, 120)의 구성은 일반적으로 게재된 통상의 단말장치에 해당하므로, 세부 구성은 도면에 미도시 하였음은 물론, 그에 대한 더 구체적인 설명은 생략하기로 한다.
상기 센서부(130)는 학습자(L)의 제1 이벤트 정보(E1)를 실시간으로 검출하는 기능을 수행하는 것으로서, 상기 학습자(L)의 신체에 대한 움직임을 감지할 수 있도록 상기 제1 단말(110)에 위치시키는 것이 바람직하다.
즉, 본 발명에서 상기 제1 이벤트 정보(E1)는 학습자(L)의 생체변화에 대한 정보를 의미할 수 있고, 상기 센서부(130)는 학습자(L)의 모습, 상태를 촬영하는 이미지 센서인 것이 바람직하며, 이에 따라, 상기 제1 이벤트 정보(E1)는 학습자(L)의 안면, 안구, 동공, 눈꺼풀 중 적어도 어느 하나의 이미지가 될 수 있다.
이때, 상기 센서부(130)는 CMOS형 카메라 또는 CCD 카메라가 바람직하나, 이에 한정되지 않고, 스피드돔 카메라, 핀홀 카메라, 팬틸트줌 카메라 등이 사용될 수도 있으며, 이는 본 발명의 기술적 범위 내에서 해당관련분야의 통상지식을 가진 당업자에 의해 다양하게 변경설계될 수 있다.
나아가, 상기 센서부(130)는 야간에도 촬영이 가능하도록 적외선 카메라가 부가적으로 구비될 수도 있다.
한편, 상기 센서부(130)는 학습자(L)의 억양, 발음, 목소리 높낮이와 크기 등 음향과 관련된 생체변화정보까지도 검출할 수 있도록 상기 학습자(L)의 음성을 감지하는 음성센서(131)를 더 포함하여 구성할 수도 있다.
이때, 상기 음성센서(131)는 음성을 전기신호로 변환하는 음성인식 SDK(인터페이스)가 탑재되도록 구성한 마이크로폰(microphone) 모듈인 것이 바람직하고, 그 종류는 카본형, 리본(벨로시티)형, 동전(다이나믹)형, 압전(크리스탈)형, 콘덴서형 등 음성을 감지할 수 있는 본 발명의 기술적 범위 내에서 당업자가 자유롭게 취급 사용할 수 있다.
상기 웹(140)은 텍스트, 그래픽, 이미지, 음향, 비디오 등 다양한 멀티미디어를 지원할 수 있도록 구성된 인터넷 서비스로서, 본 발명에 따르면, 상기 제1,2 단말(110, 120)과 연결되어 상기 제1,2 단말(110, 120)을 각각 이용하는 학습자(L) 및 교사(T)에게 다양한 공지의 교육용 콘텐츠가 제공되도록 구성할 수 있다.
상기 외부 서버(150)는 상술한 웹(140)에 대응되도록 구성되어 상기 제1,2 단말(110, 120), 웹(140) 및 제어부(160)와 네트워크를 형성하는 것이 바람직하고, 상기 웹(140)과 연동하여 제어부(160)에 미리 설정된 프로그램을 서비스하는 기능을 수행한다.
여기서, 상기 프로그램은 교육과 관련된 각종 데이터로 이루어진 교육용 프로그램일 수 있으며, 이는 공지의 기술로서, 해당관련분야의 통상지식을 가진 당업자에 의해 자유롭게 변경설계될 수 있음은 물론이다.
상기 제어부(160)는 웹(140) 및 외부 서버(150)에 대응되는 교육용 프로그램을 형성하면서 상기 제1,2 이벤트 정보(E1, E2)에 따라 능동적으로 반응하여, 상기 제1 단말(110)을 사용하는 학습자(L)에게는 학습역량 자가진단 및 학습진행 가이드 환경을, 상기 제2 단말(120)을 사용하는 교사(T)에게는 상기 학습자(L)의 학습역량에 대한 심층분석 및 학습처방 가이드 환경을 제공하기 위한 학습역량 측정용 제어서버로서, 바람직하게는, 상기 제1,2 단말(110, 120), 웹(140) 및 외부 서버(150)와 네트워크를 구축하여 상호 통신하도록 구성되는 것이 바람직하다.
이러한 상기 제어부(160)는 본 발명에 따르면, 상기 제1 단말(110)로부터 입력되어 상기 웹(140) 및 외부 서버(150)를 통해 서비스되는 제2 이벤트 정보(E2)를 획득하고, 상기 제1,2 이벤트 정보(E1, E2)의 데이터(D1)를 미리 지정된 학습역량 측정기준 데이터(D2)와 상호 매칭시켜 임의의 멀티모달 분석정보(I)를 생성하며, 상기 생성된 멀티모달 분석정보(I)에 따라 미리 설정된 알림신호를 출력하는 기능을 수행하는데, 더 구체적으로는, 데이터 생성부(161), 데이터 베이스부(162), 보조 데이터 베이스부(163), 데이터 분석부(164) 및 알림신호 출력부(165)를 포함하여 구성될 수 있다.
여기서, 상기 제2 이벤트 정보(E2)는 학습자(L)의 학습활동에 의해 발생가능한 정보로서, 상기 학습자(L)의 콘텐츠별 소비량, 학습시간, 문항별 풀이시간, 정오답 여부 중 적어도 어느 하나인 것이 바람직하다.
또한, 상기 제어부(160)는 본 발명의 바람직한 실시예에 의하면, 도 4 및 도 5를 참조하여, 상기 웹(140) 또는 외부 서버(150)로부터 제공되는 2개의 학습분석 표준모델을 기반으로 상기 제1,2 이벤트 정보(E1, E2)의 데이터(D1)를 수집하도록 구성될 수 있다.
이때, 상기 2개의 학습분석 표준모델은 IMS Caliper Analytics 표준과 xAPI(Experience Application Programming Interface) 표준인 것이 바람직하다.
좀 더 구체적으로, 상기 IMS Caliper Analytics 표준은 이러닝(e-learning) 시스템에 대한 국제규격을 정의하는 비영리 국제 회원 조직인 IMS 글로벌 학습 컨소시엄(Instructional Management System Global Learning Consortium, IMS GLC)이 학습활동을 행동모델로 정의한 것으로, 교육기관이 학습활동을 잘 이해하고 시각화하기 위해 디지털 자료에서 학습 데이터를 수집할 수 있게 하는 표준이다.
이러한 상기 IMS Caliper Analytics 표준은 본 발명에 따르면, 상기 제2 이벤트 정보(E2)에 적용되는 것이 바람직하다.
또한, 상기 xAPI 표준은 미국 전자학습 표준 연구개발기관인 ADL(Advanced Distributed Learning)에서 제정한 스콤(SCORM) 표준의 후속으로서, IEEE에서 관리하는 이벤트의 구문규칙을 정의한 것이고, 좀 더 구체적으로는, 스마트폰, 증강현실, 게임 등 다양한 매체를 활용하는 전자학습(이러닝, e-learning) 환경에서 학습자 경험 데이터를 정의하여 서로 다른 학습 시스템 간에 데이터를 상호 교환하기 위한 응용 프로그램 인터페이스(API) 표준을 일컫는다.
이러한 상기 xAPI 표준은 스콤 표준을 적용한 시스템 및 콘텐츠일 경우만 호환이 되었던 스콤 표준과는 달리, xAPI 표준이 적용되지 않은 학습 관리 시스템(LMS)과 학습 도구 등과도 데이터를 주고받을 수 있어 다양한 학습 활동 데이터(학습 시간, 진도율 등)를 추적 관리할 수 있는 특징이 있으며, 본 발명에 따르면, 상기 제1 이벤트 정보(E1)에 적용되는 것이 바람직하다.
상술한 바와 같이, 상기 2개의 학습분석 표준모델을 활용한 학습 데이터 수집체계는 도 6의 결과와 같은 학습분석 워크플로우를 도출할 수 있고, 이러한 상기 학습분석 표준모델을 기반으로 실시간 대규모로 수집가능한 제1,2 이벤트 정보는 정보처리를 위해 도 7에 나타낸 바와 같은 빅데이터 아키텍처가 적용될 수 있다.
이하에서는, 도 3을 참조하여, 상술한 제어부(160)의 구체적인 구성에 대하여 설명하기로 한다.
상기 데이터 생성부(161)는 전술한 이벤트 정보(E1, E2)를 후술될 데이터 베이스부(162)가 인식가능하게 변환하는 기능을 수행하는 것으로, 상기 이벤트 정보(E1, E2)를 데이터화하여 임의의 이벤트 정보 데이터(D1)를 생성하도록 구성될 수 있다.
예컨대, 상기 센서부(130)로부터 제1 이벤트 정보(E1')가 검출되고, 이 제1 이벤트 정보(E1')가 상기 학습자(L)의 이미지일 경우, 상기 데이터 생성부(161)는 미리 저장된 이미지 프로세싱 프로그램을 통해 상기 제1 이벤트 정보(E1')의 픽셀값을 데이터로 갖도록 구성할 수 있다.
즉, 이때, 이벤트 정보 데이터(D1')는 픽셀값인 것이다.
여기서, 상기 이미지 프로세싱 프로그램은 픽셀을 분석하여 백터로 정의된 화소들의 물체 및 신체부위의 색상, 음영, 위치, 크기 등을 인식하거나, 물체 또는 신체부위의 경계선 및 윤곽선 등의 에지, 윤곽에 근사하는 선분, 곡선 등을 구하여 인식할 수도 있고, 상기 이미지 내에 존재하는 모서리점을 포함한 불변인 특징점을 추출하여 인식을 수행할 수도 있다.
이러한 이미지 프로세싱 프로그램은 일반적인 공지의 기술로서, 해당관련분야의 통상지식을 가진 당업자에 의해 다양한 변경설계가 가능함은 물론이다.
한편, 상기 센서부(130)로부터 제1 이벤트 정보(E1")가 검출되고, 이 제1 이벤트 정보(E1")가 상기 학습자(L)의 음성일 경우, 상기 데이터 생성부(161)는 미리 저장된 사운드 프로세싱 프로그램을 통해 상기 제1 이벤트 정보(E1")의 음파값을 데이터로 갖도록 구성할 수도 있다.
즉, 이때의 이벤트 정보 데이터(D1")는 음파값이 된다.
여기서, 상기 사운드 프로세싱 프로그램 또한, 일반적으로 게재된 통상의 공지기술이므로, 이에 한정되지 않고, 성문인식 프로그램, 주파수 분석 프로그램 등 다양한 공지의 음향처리 프로그램이 적용될 수 있으며, 본 발명에 따른 상기 음성센서(131)의 음성인식 SDK(인터페이스)가 적용될 수도 있다.
상기 데이터 베이스부(162)는 데이터 생성부(161)에 의해 생성된 상기 이벤트 정보(E1, E2)의 데이터(D1)를 상기 학습분석 표준모델을 기반으로 수집하여 기록하고, 상기 제2 단말(120)에 의해 미리 지정된 학습역량 측정기준 데이터(D2)를 저장하고 관리하도록 구성된다.
예컨대, 상기 학습역량 측정기준 데이터(D2)는 실시간 단위적으로 변화하는 이벤트 정보 데이터(D1)에 대응되도록 구성하여, 상기 학습자(L)의 다양한 학습부문에 대한 학습역량 측정 및 진단, 그리고 상기 측정/진단결과에 따라 요구되는 학습처방 및 치료 등의 향후 학습관리(가이드)를 위한 지표가 되는 데이터로서, 상기 교사(T)가 사용하는 제2 단말(120)의 입력기기(미도시)를 통해 입력되면서 미리 지정될 수 있으며, 상기 웹(140) 및 외부 서버(150)에도 입력되어 미리 지정될 수 있다.
또한, 상기 학습역량 측정기준 데이터(D2)는 상술한 이벤트 정보 데이터(D1)와 관련하여 미리 설정된 통계 알고리즘에 의해 실시간 변형, 축적, 갱신가능하게 상기 데이터 베이스부(162)에 저장될 수 있다.
이러한 상기 데이터 베이스부(162)에는 본 발명에 의하면, 상기 이벤트 정보 데이터(D1)도 실시간으로 축적 및 갱신될 수 있다.
즉, 상기 학습역량 측정기준 데이터(D2)는 딥러닝 기술에 기반하여 처리될 수 있고, 상기 딥러닝 기술은 데이터를 군집화하거나 분류하는 통계 알고리즘을 통해 지속적으로 축적되는 데이터 자료들의 변형, 갱신으로 자체적 강화학습을 수행하도록 구성된 인공지능 데이터 처리기술로서, 이는 통상적으로 게재된 공지의 기술이므로, 더 구체적인 설명은 생략하기로 한다.
이때, 상기 학습역량 측정기준 데이터(D2)는 학습과정에서 발생하는 학습행동과 패턴, 교과 이해수준, 학습량의 기간별 총량과 패턴, 성적의 통계적 분포 및 추이와 원인 그리고 그에 대한 처방 등을 정량화한 데이터, 학습 3종(학습전략, 학습동기, 학습 부적응), 진로/적성 1종(흥미, 적성), 성격/인성 4종(대인 환경, 학업 스트레스, 자존감, 정서행동) 총 8종의 정서에 대한 진단검사 유형을 기록한 데이터 등을 포함하는 것이 바람직하다.
이러한 상기 학습역량 측정기준 데이터(D2)는 본 발명에 따르면, 상기 IMS Caliper Analytics 표준 기반으로 정량화될 수 있고, 상기 웹(140) 또는 외부 서버(150)에서 현재 상용화되고 있는 AI 분석 서비스 프로그램 "홈런 AI 생활기록부" 의 공유를 통해 추출될 수도 있으며, 본 발명의 기술적 범위 내에서 해당관련분야의 당업자에 의해 다양하게 변경설계가 가능함은 물론이다.
상기 홈런 AI 생활기록부는 (주)아이스크림에듀에서 제공하는 학습 분석 서비스로서, 상기 IMS Global Learning Consortium에서 상기 IMS Caliper Analytics 1.1 표준 인증을 받았으며, 학습자(L)의 학습현황, 학습패턴, 공부습관 등을 분석하여 월별로 요약하여 e포트폴리오 형태의 시각적 자료로 학습자(L) 및 교사(T)에게 제공하는 기술이다.
상기 보조 데이터 베이스부(163)는 학습자(L)가 상기 제1 단말(110)을 이용하여 개별적으로 직접 입력하는 개별 기록정보를 저장하며, 상기 저장된 개별 기록정보를 기반으로 임의의 데이터 세트가 생성되도록 하는 구성으로, 바람직하게는, 상기 데이터 베이스부(162)와 별도로 구비되어 클라우드 서버 기능을 수행한다.
여기서, 상기 개별 기록정보는 학습자(L) 본인의 상기 웹(140)/외부 서버(150)를 통한 온라인에서의 소셜네트워크 활동기록, 오프라인에서의 학교 활동기록 및 체험학습 활동기록 중 적어도 어느 하나의 활동기록에 대한 데이터인 것이 바람직하다.
상기 데이터 분석부(164)는 데이터 베이스부(162)에 기록되는 상기 이벤트 정보 데이터(D1)를 시간의 흐름에 따라 비교 분석하여 변화값을 산출하고, 상기 산출된 변화값을 상기 학습역량 측정기준 데이터(D2)와 매칭시켜 임의의 멀티모달 분석정보(I)를 생성하도록 구성될 수 있다.
예컨대, 도 8을 참조하면서, 본 발명에 따른 상기 데이터 분석부(164)의 실시예를 각각 구분하여 설명하면 다음과 같다.
제1 실시예로는, 상기 데이터 분석부(164)에서 이벤트 정보 데이터(D1) 중 어느 하나의 콘텐츠 소비량의 변화값에 대응하여 상기 학습자(L)의 동공 픽셀 위치값의 변화값이 지속적으로 산출되는 경우, 상기 데이터 분석부(164)는 학습자(L)가 "해당 콘텐츠에 집중하고 있다" 고 판단할 수 있으며, 이에 대응하는 상기 학습역량 측정기준 데이터(D2)를 매칭시켜 상기 멀티모달 분석정보(I)를 생성할 수 있다.
제2 실시예로는, 상기 데이터 분석부(164)에서 이벤트 정보 데이터(D1) 중 어느 하나의 콘텐츠 소비량의 변화값은 지속적으로 산출되나, 상기 학습자(L)의 신체 일부 중 적어도 하나에 대한 픽셀 위치값의 변화값이 산출되지 않는(변화값 = 0) 경우, 상기 데이터 분석부(164)는 학습자(L)의 "자리이탈" 로 판단할 수 있으며, 이에 대응하는 상기 학습역량 측정기준 데이터(D2)를 매칭시켜 상기 멀티모달 분석정보(I)를 생성할 수 있다.
제3 실시예로는, 상기 데이터 분석부(164)에서 이벤트 정보 데이터(D1) 중 어느 하나의 콘텐츠 소비량의 변화값은 지속적으로 산출되나, 상기 학습자(L)의 동공 픽셀 위치값의 변화값이 산출되지 않는(변화값 = 0) 경우와, 상기 이벤트 정보 데이터(D1) 중 어느 하나의 콘텐츠 소비량의 변화값은 지속적으로 산출되나, 상기 학습자(L)의 동공 또는 안면에 대한 픽셀 위치값의 변화값이 미리 설정된 객체위치 픽셀값(화면상의 객체 이미지 위치 픽셀값)의 영역을 초과하여 산출되는 경우, 상기 데이터 분석부(164)는 학습자(L)의 "집중도 하락" 으로 판단할 수 있으며, 이에 대응하는 상기 학습역량 측정기준 데이터(D2)를 매칭시켜 상기 멀티모달 분석정보(I)를 생성할 수 있다.
제4 실시예로는, 상기 데이터 분석부(164)에서 이벤트 정보 데이터(D1) 중 어느 하나의 콘텐츠 소비량의 변화값에 대응하여 상기 학습자(L)의 안면 픽셀 위치값의 변화값이 지속적으로 산출되나, 상기 학습자(L)의 안구 픽셀 크기값의 변화값이 일정시점 기준으로 불규칙하게 산출되거나, 상기 학습자(L)의 동공 픽셀 위치값의 변화값이 일정시간 산출되지 않는 경우, 상기 데이터 분석부(164)는 학습자(L)의 "졸음 상태" 로 판단할 수 있으며, 이에 대응하는 상기 학습역량 측정기준 데이터(D2)를 매칭시켜 상기 멀티모달 분석정보(I)를 생성할 수 있다.
제5 실시예로는, 상기 데이터 분석부(164)에서 이벤트 정보 데이터(D1) 중 어느 하나의 콘텐츠 소비량의 변화값은 지속적으로 산출되나, 상기 학습자(L)의 눈, 입 윤곽에 대한 픽셀 위치값의 변화값과, 상기 학습자(L)의 안면 픽셀에 대한 음영값 또는 색상값의 변화값과, 상기 학습자(L)의 음성에 대한 음파값의 변화값 중 적어도 하나가 일정기간의 평균 변화값 영역에서 벗어나 산출되는 경우, 상기 데이터 분석부(164)는 해당 콘텐츠에 대한 상기 학습자(L)의 "즐거운 상태, 흥미로운 상태" 또는 "우울 상태, 분노 상태" 등을 판단할 수 있으며, 이에 대응하는 상기 학습역량 측정기준 데이터(D2)를 매칭시켜 상기 멀티모달 분석정보(I)를 생성할 수 있다.
즉, 상기 데이터 분석부(164)는 시계열 분석기능을 갖도록 구성될 수 있으며, 상기 도 8에 나타낸 바와 같이, 상기 제1,2 이벤트 정보(E1, E2)에 대한 시계열 분석과, 상기 제1,2 이벤트 정보(E1, E2) 간 매칭 조합을 이루는 멀티모달 데이터에 대한 상기 학습역량 측정기준 데이터(D2)의 부가 매칭을 통해 학습성과 측정, 학습집중도 측정, 스트레스 측정, 정서상태 측정, 톤/표정 매너 진단, 기본감성 측정, 사회감성 변화측정, 기본감성 및 사회감성의 영향도 측정, 정서 간 영향도 측정, 관계성 정량화 기준 측정 등 학습자의 학습에 대해 보다 심층적이고 풍부하게 측정 및 진단한 데이터, 즉, 상기 멀티모달 분석정보(I)를 생성하게 되는 것이다.
이때, 상기 제1,2 이벤트 정보(E1, E2) 간 매칭 조합을 이루는 멀티모달 데이터는 도 9에 나타낸 바와 같은 데이터 증강기술에 활용될 수 있으며, 상기 멀티모달 분석정보(I)는 도 11 및 도 12에 도시된 바와 같이, 상기 학습자(L)의 하드스킬과 소프트스킬이 그 기반이 될 수 있다.
여기서, 상기 멀티모달 분석정보(I)는 더 바람직한 실시예에 따르면, 단일분석 데이터, 혼합분석 데이터 및 심층분석 데이터를 포함하여 구성될 수 있다.
상기 단일분석 데이터는 제2 이벤트 정보(E2)의 데이터와 상기 학습역량 측정기준 데이터(D2)의 상호 매칭을 통해 분석가능한 학습자(L)의 이해(성취)수준, 취약점, 학습성향(패턴), 콘텐츠별 선호도, 심리검사결과 중 적어도 하나의 학습결과에 대한 데이터를 포함할 수 있다.
또한, 상기 혼합분석 데이터는 제1 이벤트 정보(E1)의 데이터와 상기 제2 이벤트 정보(E2)의 데이터, 그리고 상기 학습역량 측정기준 데이터(D2)의 상호 매칭을 통해 분석가능한 학습자(L)의 학습집중도, 콘텐츠별 집중도, 학습자세(태도), 학습진행중 정서상태 중 적어도 하나의 학습반응에 대한 데이터를 포함할 수 있다.
나아가, 상기 심층분석 데이터는 상술한 단일분석 데이터와 및 혼합분석 데이터, 그리고 상기 학습역량 측정기준 데이터(D2)의 상호 매칭을 통해 분석가능한 학습자(L)의 인성, 학업포기 위험도, 추천 비교과 학습, 추천 체험학습 프로그램, 추천 진로, 추천 적성, 추천 콘텐츠, 추천 학습스케줄(학습일정), 추천 학습량, 추천 시험문항, 추천 상담항목 중 적어도 하나의 맞춤형 학습진단/치료 및 가이드에 대한 데이터를 포함할 수 있다.
상술한 바와 같이 구성되는 상기 멀티모달 분석정보(I)는 후술될 알림부(170)에 도 10과 같은 일례로 디스플레이될 수 있고, 이는 하나의 실시예일뿐, 이에 한정되지는 않으며, 본 발명의 기술적 범위 내에서 다양한 형태로 디스플레이되도록 구성될 수 있다.
상기 알림신호 출력부(165)는 상술한 데이터 분석부(164)로부터 생성된 상기 멀티모달 분석정보(I)에 대응하는 알림신호가 출력되도록 제어하는 구성으로, 바람직하게는, 상기 알림부(170)에 텍스트 또는 이미지의 형태로 표시가능한 알림신호를 출력한다.
또한, 상기 알림신호 출력부(165)는 본 발명에 의하면, 상기 학습자(L)에 의해 제1 단말(110)을 이용한 정보추출 요청신호가 입력되면, 상기 보조 데이터 베이스부(163)로부터 생성된 데이터 세트에 대응하는 알림신호가 출력되도록 제어하여, 상기 알림부(170)가 상기 출력된 알림신호에 따라 임의의 화면 상에 시각적으로 디스플레이하도록 할 수 있다.
상기 알림부(170)는 제어부(160)의 상기 알림신호 출력부(165)로부터 출력되는 알림신호에 따라 미리 설정된 텍스트와 이미지를 임의의 화면 상에 시각적으로 디스플레이하는 것으로, 바람직하게는, 상기 학습자(L)의 제1 단말(110), 상기 교사(T)의 제2 단말(120)에 각각 구비되도록 구성하는 것이 바람직하다.
이러한 상기 알림부(170)는 액정 디스플레이(liquid crystal display, LCD), 박막 트랜지스터 액정 디스플레이(thin film transistor-liquid crystal display, TFT LCD), 유기 발광 다이오드(organic light-emitting diode, OLED), 플렉시블 디스플레이(flexible display), 3차원 디스플레이(3D display) 중에서 적어도 하나를 포함하여 구성될 수 있다.
또한, 상기 알림부(170)는 제어부(160)의 상기 알림신호 출력부(165)로부터 출력되는 알림신호에 따라 미리 설정된 음향을 출력하는 음향출력부(171)를 더 포함할 수 있다.
상기 음향출력부(171)는 제1 단말(110)에 구비되는 것이 바람직하고, 본 발명에 따르면, 상기 음성센서(131)와는 개별적으로 음성인식 SDK(인터페이스)를 탑재할 수도 있다.
즉, 상기 음성센서(131) 및 음향출력부(171)는 공지의 AI 스피커 구성을 취할 수 있으며, 나아가, 본 발명과의 구성 간 연결관계에 의해 AI 튜터모듈을 구성할 수 있게 된다.
또한, 상기 음성센서(131) 및 음향출력부(171)는 각각 탑재된 음성인식 SDK(인터페이스)를 통해 멀티턴이 가능한 프로세스가 이루어질 수 있으며, 상기 음성인식 SDK(인터페이스)를 통해 전사된 학습자(L)의 음성에 대한 비정형 데이터(텍스트)를 상기 데이터 베이스부(162)에 축적할 수도 있다.
더불어, 상기 음성센서(131) 및 음향출력부(171)는 다국어 지원이 가능하도록 구글 또는 아마존의 음성인식 SDK, 네이버 클로바 API 등 다양한 공지의 글로벌 음성인식 SDK/API가 적용될 수 있다.
나아가, 본 발명의 바람직한 실시예에 따른 도면에서는, 상기 음성센서(131) 및 음향출력부(171)를 상기 제1 단말(110)에 위치 및 구비되도록 한 것으로 도시하였으나, 이에 한정되지 않고, 상기 교사(T)에게도 그 기능이 일부 제공되도록 상기 제2 단말(120)에도 위치 및 구비되도록 구성할 수 있으며, 이는 본 발명에서의 도면에서는 생략(미도시)하였다.
상술한 바와 같이 개시된 본 발명의 바람직한 실시예들에 대한 상세한 설명은 당업자가 본 발명을 구현하고 실시할 수 있도록 제공되었다. 상기에서는 본 발명의 바람직한 실시예들을 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 본 발명의 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 예를 들어, 당업자는 상술한 실시예들에 기재된 각 구성을 서로 조합하는 방식으로 이용할 수 있다. 따라서, 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다.
본 발명은 본 발명의 정신 및 필수적 특징을 벗어나지 않는 범위에서 다른 특정한 형태로 구체화될 수 있다. 따라서, 상기의 상세한 설명은 모든 면에서 제한적으로 해석되어서는 아니 되고 예시적인 것으로 고려되어야 한다. 본 발명의 범위는 첨부된 청구항의 합리적 해석에 의해 결정되어야 하고, 본 발명의 등가적 범위 내에서의 모든 변경은 본 발명의 범위에 포함된다. 본 발명은 여기에 나타난 실시형태들에 제한되려는 것이 아니라, 여기서 개시된 원리들 및 신규한 특징들과 일치하는 최광의 범위를 부여하려는 것이다. 또한, 특허청구범위에서 명시적인 인용 관계가 있지 않은 청구항들을 결합하여 실시예를 구성하거나 출원 후의 보정에 의해 새로운 청구항으로 포함할 수 있다.
100 : 멀티모달 학습 데이터 수집/분석 시스템
110 : 제1 단말 120 : 제2 단말
130 : 센서부 131 : 음성센서
140 : 웹 150 : 외부 서버
160 : 제어부 161 : 데이터 생성부
162 : 데이터 베이스부 163 : 보조 데이터 베이스부
164 : 데이터 분석부 165 : 알림신호 출력부
170 : 알림부 171 : 음향출력부
E1 : 제1 이벤트 정보 E2 : 제2 이벤트 정보
D1 : 이벤트 정보 데이터 D2 : 학습역량 측정기준 데이터
I : 멀티모달 분석정보 L : 학습자
T : 교사

Claims (10)

  1. 학습자의 제1 단말과 교사의 제2 단말을 원격 연결하여 비대면 환경에서의 멀티모달 학습 데이터를 수집 및 분석하는 시스템에 있어서,
    상기 학습자의 생체변화에 대한 제1 이벤트 정보를 실시간으로 검출하는 센서부;
    상기 제1,2 단말 및 웹, 외부 서버와 네트워크를 구축하여 통신하면서 상기 제1 단말로부터 상기 학습자의 학습활동에 대한 제2 이벤트 정보를 획득하고, 상기 제1,2 이벤트 정보의 데이터를 미리 지정된 학습역량 측정기준 데이터와 상호 매칭시켜 임의의 멀티모달 분석정보를 생성하며, 상기 생성된 멀티모달 분석정보에 따라 미리 설정된 알림신호를 출력하는 제어부; 및
    상기 제1,2 단말에 구비되어, 상기 제어부로부터 출력된 알림신호에 따라 임의의 화면 상에 시각적으로 디스플레이하는 알림부를 포함하고,
    상기 제어부는,
    상기 웹 또는 외부 서버로부터 제공되는 2개의 학습분석 표준모델을 기반으로 상기 제1,2 이벤트 정보의 데이터를 수집하는 것을 특징으로 하며,
    상기 2개의 학습분석 표준모델은,
    학습활동을 행동모델로 정의한 IMS Global Learning Consortium의 IMS Caliper Analytics 표준과, IEEE에서 관리하는 이벤트의 구문규칙을 정의한 xAPI(Experience Application Programming Interface) 표준인 것을 특징으로 하고,
    상기 IMS Caliper Analytics 표준은,
    상기 제2 이벤트 정보에 적용되는 것을 특징으로 하며,
    상기 xAPI 표준은,
    상기 제1 이벤트 정보에 적용되는 것을 특징으로 하고,
    상기 제어부는,
    상기 이벤트 정보를 데이터화하는 데이터 생성부;
    상기 데이터 생성부에 의해 생성된 상기 이벤트 정보의 데이터를 상기 학습분석 표준모델을 기반으로 수집하여 기록하고, 상기 제2 단말에 의해 미리 지정된 학습역량 측정기준 데이터를 저장하고 관리하는 데이터 베이스부;
    상기 데이터 베이스부에 기록되는 상기 이벤트 정보의 데이터를 시간의 흐름에 따라 비교 분석하여 변화값을 산출하고, 상기 산출된 변화값을 상기 학습역량 측정기준 데이터와 매칭시켜 임의의 멀티모달 분석정보를 생성하는 데이터 분석부; 및
    상기 데이터 분석부로부터 생성된 멀티모달 분석정보에 대응하는 알림신호가 출력되도록 제어하는 알림신호 출력부를 포함하며,
    상기 데이터 베이스부에는,
    상기 이벤트 정보의 데이터가 실시간으로 축적 및 갱신되는 것을 특징으로 하고,
    상기 센서부는,
    상기 학습자를 촬영하는 이미지 센서인 것을 특징으로 하며,
    상기 제1 이벤트 정보는,
    상기 학습자의 안면, 안구, 동공, 눈꺼풀 중 적어도 어느 하나의 이미지인 것을 특징으로 하고,
    상기 센서부로부터 제1 이벤트 정보가 검출될 경우,
    상기 데이터 생성부는,
    미리 저장된 이미지 프로세싱 프로그램을 통해 상기 제1 이벤트 정보의 픽셀값을 데이터로 갖는 것을 특징으로 하며,
    상기 센서부는,
    상기 학습자의 음성을 감지하는 음성센서를 더 포함하는 것을 특징으로 하고,
    상기 제1 이벤트 정보는,
    상기 학습자의 억양, 발음, 목소리 높낮이와 크기 중 적어도 어느 하나의 음향을 더 포함하는 것을 특징으로 하며,
    상기 알림부는,
    상기 제1 단말에 구비되어, 상기 제어부로부터 출력된 알림신호에 따라 미리 설정된 음향을 출력하는 음향출력부를 더 포함하는 것을 특징으로 하고,
    상기 음성센서 및 음향출력부는,
    음성인식 SDK(인터페이스)를 탑재한 것을 특징으로 하며,
    상기 제2 이벤트 정보는,
    상기 학습자의 콘텐츠별 소비량, 학습시간, 문항별 풀이시간, 정오답 여부 중 적어도 어느 하나인 것을 특징으로 하고,
    상기 멀티모달 분석정보는,
    상기 제2 이벤트 정보 데이터와 상기 학습역량 측정기준 데이터의 상호 매칭을 통해 분석가능한 학습자의 이해(성취)수준, 취약점, 학습성향(패턴), 콘텐츠별 선호도, 심리검사결과 중 적어도 하나의 학습결과에 대한 단일분석 데이터;
    상기 제1 이벤트 정보 데이터와 상기 제2 이벤트 정보 데이터, 그리고 상기 학습역량 측정기준 데이터의 상호 매칭을 통해 분석가능한 학습자의 학습집중도, 콘텐츠별 집중도, 학습자세(태도), 학습진행중 정서상태 중 적어도 하나의 학습반응에 대한 혼합분석 데이터; 및
    상기 단일분석 데이터와 상기 혼합분석 데이터, 그리고 상기 학습역량 측정기준 데이터의 상호 매칭을 통해 분석가능한 학습자의 인성, 학업포기 위험도, 추천 비교과 학습, 추천 체험학습 프로그램, 추천 진로, 추천 적성, 추천 콘텐츠, 추천 학습스케줄(학습일정), 추천 학습량, 추천 시험문항, 추천 상담항목 중 적어도 하나의 맞춤형 학습진단/치료 및 가이드에 대한 심층분석 데이터를 포함하는 것을 특징으로 하는 학습분석 표준모델을 기반으로 멀티모달 학습 데이터를 수집 및 분석하는 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제 1 항에 있어서,
    상기 제어부는,
    상기 데이터 베이스부와 별도로 구비되고, 상기 학습자가 제1 단말을 이용하여 개별적으로 직접 입력하는 개별 기록정보를 저장하며, 상기 저장된 개별 기록정보를 기반으로 임의의 데이터 세트가 생성되도록 하는 보조 데이터 베이스부를 더 포함하는 것을 특징으로 하고,
    상기 알림신호 출력부는,
    상기 학습자에 의해 상기 제1 단말을 이용한 정보추출 요청신호가 입력되면, 상기 보조 데이터 베이스부로부터 생성된 데이터 세트에 대응하는 알림신호가 출력되도록 제어하여, 상기 알림부가 상기 출력된 알림신호에 따라 임의의 화면 상에 시각적으로 디스플레이하도록 하는 것을 특징으로 하는 학습분석 표준모델을 기반으로 멀티모달 학습 데이터를 수집 및 분석하는 시스템.
  10. 제 9 항에 있어서,
    상기 개별 기록정보는,
    상기 학습자 본인의 상기 웹 또는 외부 서버를 통한 온라인에서의 소셜네트워크 활동기록, 오프라인에서의 학교 활동기록 및 체험학습 활동기록 중 적어도 어느 하나의 활동기록에 대한 데이터인 것을 특징으로 하는 학습분석 표준모델을 기반으로 멀티모달 학습 데이터를 수집 및 분석하는 시스템.
KR1020210108151A 2021-08-17 2021-08-17 학습분석 표준모델을 기반으로 멀티모달 학습 데이터를 수집 및 분석하는 시스템 KR102398417B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020210108151A KR102398417B1 (ko) 2021-08-17 2021-08-17 학습분석 표준모델을 기반으로 멀티모달 학습 데이터를 수집 및 분석하는 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210108151A KR102398417B1 (ko) 2021-08-17 2021-08-17 학습분석 표준모델을 기반으로 멀티모달 학습 데이터를 수집 및 분석하는 시스템

Publications (1)

Publication Number Publication Date
KR102398417B1 true KR102398417B1 (ko) 2022-05-16

Family

ID=81799562

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210108151A KR102398417B1 (ko) 2021-08-17 2021-08-17 학습분석 표준모델을 기반으로 멀티모달 학습 데이터를 수집 및 분석하는 시스템

Country Status (1)

Country Link
KR (1) KR102398417B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102507074B1 (ko) * 2022-09-02 2023-03-07 (주)모션어드바이저 학습정보 제공 시스템
WO2024025225A1 (ko) * 2022-07-27 2024-02-01 주식회사 에이블에듀테크 뉴럴 네트워크를 이용한 학습 관리 방법 및 장치
KR102636580B1 (ko) * 2022-10-20 2024-02-16 주식회사 아이스크림에듀 스마트 기기 기반의 자기주도학습 역량 측정용 평가 서비스 제공 시스템
KR102636581B1 (ko) * 2022-10-20 2024-02-16 주식회사 아이스크림에듀 자기주도학습 유형별 진단 및 처방 서비스 제공 시스템

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120065111A (ko) * 2010-12-10 2012-06-20 박찬시 몰입도 평가 기반 맞춤형 온라인 학습 방법 및 시스템
JP2018032276A (ja) * 2016-08-25 2018-03-01 株式会社内田洋行 教育学習活動支援システム
KR20190109992A (ko) * 2018-03-19 2019-09-27 주식회사 지노테크 효율적 화상강의와 동영상 학습환경을 지원하는 자동 튜터 에이전트 운영 시스템 및 그 구동방법
KR102056822B1 (ko) 2017-05-04 2019-12-17 주식회사 매스프레소 학습 서비스 제공 방법 및 그 장치
KR20200122627A (ko) * 2019-04-18 2020-10-28 주식회사 아이스크림미디어 온라인 기반의 참여 학습 제공 시스템 및 방법
KR102258234B1 (ko) * 2020-02-27 2021-05-31 주식회사 아이스크림에듀 인공지능 가정교사 인터페이스가 적용된 맞춤형 학습 방법 및 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20120065111A (ko) * 2010-12-10 2012-06-20 박찬시 몰입도 평가 기반 맞춤형 온라인 학습 방법 및 시스템
JP2018032276A (ja) * 2016-08-25 2018-03-01 株式会社内田洋行 教育学習活動支援システム
KR102056822B1 (ko) 2017-05-04 2019-12-17 주식회사 매스프레소 학습 서비스 제공 방법 및 그 장치
KR20190109992A (ko) * 2018-03-19 2019-09-27 주식회사 지노테크 효율적 화상강의와 동영상 학습환경을 지원하는 자동 튜터 에이전트 운영 시스템 및 그 구동방법
KR20200122627A (ko) * 2019-04-18 2020-10-28 주식회사 아이스크림미디어 온라인 기반의 참여 학습 제공 시스템 및 방법
KR102258234B1 (ko) * 2020-02-27 2021-05-31 주식회사 아이스크림에듀 인공지능 가정교사 인터페이스가 적용된 맞춤형 학습 방법 및 시스템

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024025225A1 (ko) * 2022-07-27 2024-02-01 주식회사 에이블에듀테크 뉴럴 네트워크를 이용한 학습 관리 방법 및 장치
KR102507074B1 (ko) * 2022-09-02 2023-03-07 (주)모션어드바이저 학습정보 제공 시스템
KR102636580B1 (ko) * 2022-10-20 2024-02-16 주식회사 아이스크림에듀 스마트 기기 기반의 자기주도학습 역량 측정용 평가 서비스 제공 시스템
KR102636581B1 (ko) * 2022-10-20 2024-02-16 주식회사 아이스크림에듀 자기주도학습 유형별 진단 및 처방 서비스 제공 시스템

Similar Documents

Publication Publication Date Title
KR102398417B1 (ko) 학습분석 표준모델을 기반으로 멀티모달 학습 데이터를 수집 및 분석하는 시스템
KR102383458B1 (ko) 학습결과에 대한 관리를 지원하는 능동형 인공지능 튜터링 시스템
US10643487B2 (en) Communication and skills training using interactive virtual humans
Ciolacu et al. Education 4.0-Artificial Intelligence assisted higher education: early recognition system with machine learning to support students' success
CN107480872B (zh) 一种基于数据交换网络的在线教学考评系统及方法
TW201830354A (zh) 採用面部追蹤和情緒檢測的互動式自我調整培訓學習管理系統和相關方法
Almohammadi et al. A type-2 fuzzy logic recommendation system for adaptive teaching
WO2014061015A1 (en) Speech affect analyzing and training
Hoque et al. Rich nonverbal sensing technology for automated social skills training
KR20220135846A (ko) 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템
CN108564073A (zh) 一种课堂环境中学生情绪识别方法及装置
Santos et al. MAMIPEC-affective modeling in inclusive personalized educational scenarios
Faisal et al. Towards a reference model for sensor-supported learning systems
lonita Ciolacu et al. Education 4.0: an adaptive framework with artificial intelligence, raspberry Pi and wearables-innovation for creating value
Villegas-Ch et al. Identification of emotions from facial gestures in a teaching environment with the use of machine learning techniques
KR102330159B1 (ko) 수업 행동 패턴 분석을 통한 온라인 수업 집중도 평가 시스템 및 그 평가 방법
CN117037552A (zh) 智慧课堂交互系统及方法
KR102447488B1 (ko) 학습자의 오감을 극대화할 수 있는 반응형 디지털 교재 서비스 제공 시스템
KR102468551B1 (ko) 학습평가를 지원하는 능동형 인공지능 튜터링 시스템 및 이의 제어방법
Cherner et al. AI-powered presentation platforms for improving public speaking skills: Takeaways and suggestions for improvement
KR102383457B1 (ko) 교수와 학습을 지원하는 능동형 인공지능 튜터링 시스템 및 이의 제어방법
Daily et al. EngageMe: Designing a Visualization Tool Utilizing Physiological Feedback to Support Instruction.
KR102465768B1 (ko) 개인화 맞춤형 학습분석 제공 시스템
Brawner Modeling learner mood in realtime through biosensors for intelligent tutoring improvements
Inceoglu et al. Analyzing nonverbal corrective feedback

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant