KR20220136292A - 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템 - Google Patents

Abstract

본 발명은, 학습자용 응용 프로그램(Application program); 교사용 응용 프로그램; 상기 학습자용 및 상기 교사용 응용 프로그램과 연동되며 자기주도학습의 제공을 위한 서비스 운영을 담당하는 운영 서버를 포함하는 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템으로서, 상기 운영 서버는, 수집된 상기 안면 인식 데이터에 기반한 학습자의 감성 분석이 이루어진 경우, 분석된 감성 분석 데이터에 기반하여 학습자의 학습 상태를 모니터링 및 분석하고, 학습 상태 분석 결과에 기반하여 학습자 별로 학습 활동을 강화시킬 수 있는 개인화된 학습 처방을 제공하는 학습자 분석 및 케어 시스템이 제공될 수 있다.

Description

감성 분석 기술을 활용한 학습자 분석 및 케어 시스템{LEARNER ANALYSIS AND CARE SYSTEM USING EMOTIONAL ANALYSIS TECHNOLOGY}

본 발명은 얼굴 영상에 기반한 안면 인식 기술을 통해 획득되는 학습자의 감성 분석 데이터를 이용하여 학습자의 학습 상태 및 활동을 종합적으로 모니터링 및 분석하고 이에 따라 해당 학습자의 학습 활동을 강화시킬 수 있는 학습 처방을 제공하는 학습자 분석 및 케어 시스템에 관한 것이다.

최근 다양한 보고서들에 따르면 향후 교육 시장의 패러다임은 스마트 러닝(Smart Learning)으로 변화될 것을 예고하고 있다. 한국산업기술진흥원(KIAT)의 보고서("미국 거점산업기술 정책분석보고_스마트 기기 보급에 따른 교육 시장의 변화")에 따르면 향후 교육 시장은 1990년대 이전의 오프라인 교육 방식에서 인터넷의 보급에 따라 온라인 상에서 이루어지는 이러닝(e-learning) 방식을 넘어서, 온라인/모바일 기술 기반의 교육과 오프라인 상의 면대면(face to face) 교육을 혼합한 오프라인-온라인 통합형의 Blended type의 스마트 러닝으로 진화할 것이라고 예측하고 있다.

그러나 현재까지 소위 스마트 러닝을 표방하며 상용화하여 제공되는 많은 온라인 교육 서비스 및 출시된 모바일 앱(App)은 오프라인 상에서의 교육 방식을 그대로 온라인에서 구현하는 단순한 이러닝 수준에 머물고 있거나, 상술한 스마트 러닝이 갖는 핵심적 속성들-즉, 자기주도(S : Self-directed), 흥미유도(M : Motivated), 개인 수준 맞춤형(A : Adaptive), 풍부한 콘텐츠(R : Resource free), 다양한 IT 기술(모바일 기술, 클라우드 컴퓨팅 기술, 빅데이터 처리 기술 등)과의 기술 융합(T : Technology embedded)-을 구현해내는데 분명한 한계가 있었다. 또한 현재까지의 스마트 러닝 표방 기술들은 온라인/모바일 기술 기반의 교육과 오프라인 상의 면대면(face to face) 교육을 혼합한 진정한 오프라인-온라인 통합형(즉, Blended type) 교육 모델을 구현해내지 못하고 있다.

상술한 한계를 넘어서고자, 국내외의 교육 관련 업체들은 개인화된 맞춤형 학습 제공 및 학습 효과 향상을 위해 다양한 서비스 고도화를 지속적으로 진행하고 있다. 이러한 서비스 고도화는, AI(인공지능) 기술을 교육에 접목하거나, 텍스트 기반의 학습 데이터 이외에 음성, 시선, 표정 등의 멀티 모달 데이터를 교육에 활용하는 서비스 등으로 진화하고 있다. 멀티 모달 데이터(multi-modal data)란, 음성, 시선, 표정, 생체신호, 행동 등 사용자로부터 취득할 수 있는 다양한 데이터를 의미한다.

그러나 이러한 서비스 고도화 노력에도 불구하고, 아직까지 학습자로부터 취득될 수 있는 다양한 종류의 멀티 모달 데이터의 분석 결과(특히, 이중에서도 안면 인식을 통해 획득되는 감성 분석 결과)를 이용하여 학습자의 학습 상태 및 활동을 종합적으로 진단하고 학습자 별로 학습 활동을 강화시킬 수 있는 개인화된 학습 처방을 제공하는 시스템은 아직 구체적으로 제안되지 못하고 있는 실정이다.

본 발명은 상술한 문제점을 해결하기 위해 도출된 것으로서, 얼굴 영상에 기반한 안면 인식 기술을 통해 획득되는 학습자의 감성 분석 데이터를 이용하여 학습자의 학습 상태 및 활동을 종합적으로 모니터링 및 분석하고, 이에 따라 학습자 별로 학습 활동을 강화시킬 수 있는 개인화된 학습 처방을 제공하는 학습자 분석 및 케어 시스템의 구현 방법을 제공하고자 한다.

본 발명의 일 측면에 따르면, 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템으로서, 학습자 단말에 설치되어 자기주도학습을 제공하는 학습자용 응용 프로그램(Application program); 웹(Web) 접속 또는 앱(App) 접속을 통해, 자기주도학습을 진행하는 학습자와의 커뮤니케이션 또는 해당 학습자를 대상으로 한 코칭 및 관리를 가능하게 하는 교사용 응용 프로그램; 상기 학습자용 및 상기 교사용 응용 프로그램과 연동되며 자기주도학습의 제공을 위한 서비스 운영을 담당하는 운영 서버를 포함하되,

상기 운영 서버는, 수집된 상기 안면 인식 데이터에 기반한 학습자의 감성 분석이 이루어진 경우, 분석된 감성 분석 데이터에 기반하여 학습자의 학습 상태를 모니터링 및 분석하고, 학습 상태 분석 결과에 기반하여 학습자 별로 학습 활동을 강화시킬 수 있는 개인화된 학습 처방을 제공하는 것을 특징으로 하는, 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템이 제공될 수 있다.

본 발명의 실시예에 따른 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템에 의하면, 얼굴 영상에 기반한 안면 인식 기술을 통해 획득되는 학습자의 감성 분석 데이터를 이용하여 학습자의 학습 상태 및 활동을 종합적으로 모니터링 및 분석함으로써, 학습자 별로 학습 활동을 강화시킬 수 있는 개인화된 학습 처방을 제공할 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템의 전반적 시스템 구성 예를 개념적으로 도시한 도면.
도 2 및 도 3은 본 발명의 실시예에 따른 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템의 세부 구현 흐름을 설명하기 위한 도면.
도 4는 도 3에 도시된 세부 구현 흐름 중 학습 전의 학습자 케어 방법의 일 예를 도시한 도면.
도 5는 도 3에 도시된 세부 구현 흐름 중 학습 중 및 학습 후의 학습자 케어 방법의 일 예를 도시한 도면.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.

또한, 명세서 전체에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다. 또한, 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하나 이상의 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로 구현될 수 있음을 의미한다.

이하, 첨부된 도면들을 참조하여 본 발명의 실시예를 상세히 설명한다.

[전체 시스템 구성]

도 1은 본 발명의 실시예에 따른 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템의 전반적 시스템 구성 예를 개념적으로 도시한 도면이다. 이하, 도 1을 참조하여, 본 발명의 전체 시스템 구성에 관하여 설명하기로 한다.

도 1을 참조하면, 본 발명의 실시예에 따른 학습 분석 시스템은, 복수의 학습자 단말(100-1, 100-2, … 100-n, 이하 도면번호 100으로 통칭함); 적어도 하나의 교사 단말(200); 학습자 단말(100)과 교사 단말(200)와 네트워크 연동되며, 본 발명의 실시예에 따른 학습 분석 시스템의 구현을 위해 회원 DB(Database), 학습 콘텐츠 DB 등을 포함하거나 해당 DB들과 연동하여 구동되는 운영 서버(300)를 포함하여 구현될 수 있다.

여기서, 학습자 단말(100)로는 각종 단말기(예를 들어, 데스크탑, 노트북, 태블릿 PC 등)가 이용될 수 있으며, 또한 학습자 단말(100)에는 본 발명의 실시예에 따른 학습자용 응용 프로그램이 설치될 수 있다. 학습자용 응용 프로그램은, 웹(Web) 버전으로 구현될 수도 있고 모바일 앱(App)으로 구현될 수 있다. 학습자용 응용 프로그램은, 학습자가 소정의 디지털 학습 콘텐츠를 이용하여 자기주도학습을 하는데 이용되는 것이며, 본 발명과 관련된 주요 기능은 이후 후술하기로 한다.

교사 단말(200) 또한 각종 단말기가 이용될 수 있으며, 교사 단말(200)에는 웹(Web) 접속 또는 앱(App) 접속을 통해, 자기주도학습을 진행하는 학습자와의 커뮤니케이션 또는 해당 학습자를 대상으로 한 코칭 및 관리를 가능하게 하는 교사용 응용 프로그램이 설치될 수 있다.

운영 서버(300)는 학습자용 응용 프로그램을 통해 수집되는 각종 데이터들(예를 들어, 각 학생의 진도별 학습 데이터, 학습 시간 데이터, 앱 사용/등록 데이터 등등)을 저장하고, 각 학습자들에 관한 모니터링이 가능하도록 교사용 응용 프로그램과 해당 데이터들을 연동 및 가시화시키며, 다양한 학습 콘텐츠의 제공 및 회원 관리 등을 수행하는 역할을 한다. 특히, 운영 서버(300)는 본 발명과 관련하여 안면 인식 기술을 활용한 감성 분석 기반의 다양한 학습 활동 및 상태를 분석과 학습 처방을 하게 되는데, 본 발명과 관련된 주요 기능은 이후 후술하기로 한다.

도 1의 개념도에서는 서비스 운영을 위해 단 1개의 운영 서버가 운용되는 것과 같이 도시하였지만, 이는 도면 도시의 편의를 위한 것에 불과하며, 시스템 설계 방식에 따라서 다양한 변형이 가능함은 자명하다. 예를 들어, 운영 서버(300)의 역할 및 기능에 따라 필요한 경우 회원 DB 서버, 학습 콘텐츠 DB 서버, 학습 분석 서버, 관리 서버 등과 같이 세분화되어 운용될 수도 있을 것이다.

이하, 도 2 ~ 도 5를 참조하여, 본 발명의 실시예에 따른 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템에 관한 세부 구현 방법에 대하여 설명하기로 한다.

여기서, 도 2 및 도 3은 본 발명의 실시예에 따른 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템의 세부 구현 흐름을 설명하기 위한 도면이고, 도 4는 도 3에 도시된 세부 구현 흐름 중 학습 전의 학습자 케어 방법의 일 예를 도시한 도면이며, 도 5는 도 3에 도시된 세부 구현 흐름 중 학습 중 및 학습 후의 학습자 케어 방법의 일 예를 도시한 도면이다.

인지과학(뇌과학) 측면에서 볼 때, 감정은 신경시스템과 관련된 마음의 상태로서 이성적 의사결정에 결정적인 영향을 미치는 요소에 해당한다. 또한 학습자의 감정은 생각, 행동, 학습 과정의 기본 배경이 되며, 학습으로 가는 온오프(on-off) 스위치의 역할을 하게 된다. 따라서, 부정적인 정서를 최소화하고 긍정적인 정서를 극대화하는 것이 학습 과정에서의 뇌의 인지적 처리(고차원적 사고)를 활성화시키는데 도움이 된다.

다수의 연구결과에 따르면, 위와 같은 관점에서, 학업 성취도가 낮은 학생은 일반적인 학생에 비해 긍정적인 정서가 낮고 부정적인 정서가 높은 경향성을 보인다. 학습자의 부정적인 정서 및 감정은 인지 정보 처리를 위한 작동을 방해하여, 궁극적으로 학업 성취도에 부정적인 영향을 끼치기 때문이다. 이와 같이 감정은 학습자의 주의, 동기, 학습 전략 사용에 매우 큰 영향을 미치므로, 긍정적인 정서 및 감정은 학습과 기억 작용의 강화를 위해 필수적 요소라 할 수 있다.

상술한 바와 같이, 학습자의 학습 효과를 높이기 위해서는 학습자의 감정 조절 전략이 매우 중요한 바, 본 발명은 학습자의 멀티 모달 데이터(특히, 학습자의 안면 인식을 통해 획득되는 학습자의 얼굴 표정 또는/및 심장박동 데이터)에 근거하여 학습자의 감정 및 상태를 모니터링 및 분석하고, 해당 분석 결과에 근거하여 학습 전 단계에서는 학습자의 부정적인 정서가 긍정적인 정서로 전환되도록 유도함으로써 학습자가 긍정적인 정서인 상태에서 학습을 진행할 수 있도록 하고, 학습 중인 단계에서는 학습자가 해당 학습에 집중도를 높일 수 있도록 케어하며, 학습이 완료된 학습 후 단계에서는 학습자가 느낀 감정과 관련된 5가지 상태 지수를 도출하고 이를 개인화된 학습 처방을 제공함으로써, 해당 학습자의 학습 활동의 효과를 강화시키는 것을 목적으로 한다.

이에 따라, 본 발명의 시스템에 의하면, 도 2에 도시된 바와 같이, 전술한 도 1의 운영 서버(300)와 감성 인식 엔진을 통해서 감정 분석, 상태 지수 분석이 이루어지며, 이와 같이 분석된 결과는 감성 분석 결과 리포트(즉, 도 2의 Emotional A.I 결과 분석 리포트)로서 작성되고, 해당 리포트는 학습자, 교사, 학부모 간에 정보 공유된다.

이하, 본 발명의 시스템을 통한 각 단계(즉, 학습 전 단계, 학습 중인 단계, 학습 후 단계)에서의 케어 및 처방 방법에 관하여 도 3 ~ 도 5를 참조하여 차례로 설명한다.

[학습 전 학습자 케어 방법]

도 3 및 도 4를 참조할 때, 학습 전 단계에서, 본 발명의 시스템은, 학습자의 감정 상태의 진단 및 케어를 통해서 학습 동기를 부여하고 해당 학습자가 보다 긍정적인 마인드로 학습을 시작할 수 있도록 유도하기 위해, 학습 전의 학습자의 감정 상태를 분석하여 분석된 감성 상태에 따라 서로 다른 메시지 및 정서 강화 조치를 실행한다.

상술한 감정 상태 분석의 사전 단계로서, 학습자가 디지털 학습을 위해 해당 앱(APP)에 로그인한 경우, 학습자용 응용 프로그램은, 카메라와 연동하여 해당 학습자의 얼굴 영상을 획득한다.

일 예로, 학습자 로그인 과정을 통해 디지털 학습 앱(APP)이 실행되는 경우, 학습자용 응용 프로그램은, 상기 앱 실행과 연동하여 학습자 단말에 탑재된 또는 연결된 카메라의 동작이 자동 실행되도록 처리하고, 카메라를 통해 촬영된 학습자의 얼굴 영상을 획득할 수 있다. 이때, 획득된 학습자의 얼굴 영상은 상술한 감정 상태 분석용 이미지로서 활용되며, 메모리에 저장될 수 있다.

다른 예로, 상술한 학습자 로그인 과정 자체가 통상적인 ID/Password에 의하지 않고 안면 인식을 통한 로그인 과정으로 구현되는 경우, 학습자용 응용 프로그램은, 상기 안면 인식 로그인 과정에서 획득된 학습자의 얼굴 영상을 상술한 감성 상태 분석용 이미지로서 그대로 활용할 수도 있다.

감정 상태 분석의 사전 단계로서 획득되는 상술한 학습자의 얼굴 영상은, 카메라에 의해 실시간 촬영된 복수 개의 영상이 이용될 수 있다. 이와 같은 경우 복수 개의 얼굴 영상 중 대표적인 영상 1개를 추출하여 감정 상태 분석용 이미지로서 활용할 수도 있고, 그 복수 개의 얼굴 영상 전체가 감정 상태 분석용 이미지로서 활용될 수도 있다. 복수 개의 얼굴 영상 전체가 감정 상태 분석용 이미지로서 활용되더라도, 향후 소정의 안면 인식 기법의 적용에 따라 가장 우세하게 도출되는 감정을 학습자의 감정으로 선택하면 무방하기 때문이다.

또한, 향후 안면 인식 결과의 정확성을 담보하기 위해, 학습자용 응용 프로그램은, 학습자의 얼굴 영상을 획득하는 과정에서, 해당 학습자가 자신의 얼굴이 앱 화면 내의 소정의 가이드 윈도우(Guide window)(도 4 참조) 내에 위치하도록 안내할 수 있다.

상술한 바와 같이 학습자의 얼굴 영상의 획득되면, 학습자용 응용 프로그램은 해당 얼굴 영상을 운영 서버(300)로 전송하고, 이에 따라 운영 서버(300)는 수신된 얼굴 영상을 감성 인식 엔진으로 전달하여 감성 인식 엔진에서 해당 얼굴 영상에 관한 안면 인식이 실행될 수 있도록 한다(도 3 참조). 다만, 시스템 구현 방식에 따라, 도 3의 프로세스에서와 달리, 학습자용 응용 프로그램이 학습자의 얼굴 영상을 직접 감성 인식 엔진으로 전송함으로써, 감성 인식 엔진을 통한 해당 얼굴 영상에 관한 안면 인식이 실행될 수도 있음은 물론이다. 이후, 감성 인식 엔진에서 실행된 안면 인식 결과에 따른 해당 학습자의 감정 상태에 관한 정보는 다시 운영 서버(300)로 전달된다.

도 2 및 도 3에서는, 운영 서버(300)와 감성 인식 엔진이 서로 독립된 주체로 표현 및 도시되고 있지만, 감성 인식 엔진의 기능은 운영 서버(300) 내에 통합하여 구현될 수 있다. 또한 감성 인식 엔진의 기능에 따른 연산 처리 부담을 앱(APP) 단위에서 커버할 수 있는 경우라면, 상기 감성 인식 엔진의 기능은 상술한 학생용 응용 프로그램 내에 통합하여 구현될 수도 있다. 또 다른 예로, 감성 인식 엔진의 기능 중 일부(예를 들어, 해당 얼굴 영상에서 안면 인식용 특징점 데이터 추출)은 상술한 학생용 응용 프로그램에서 직접 담당하고, 나머지 기능(예를 들어, 안면 인식용 특징점 데이터를 이용한 해당 학습자의 감정 상태 도출)은 본래의 감성 인식 엔진에서 실행하도록 구현될 수도 있을 것이다. 본 발명은 위에서 설명한 다양한 실시예를 모두 포함하는 것이나, 설명의 편의 및 집중을 위해, 이하에서는 도 3의 실시예를 중심으로만 본 발명을 설명하기로 한다.

본 발명에서, 얼굴 영상의 안면 인식을 통해 이와 관련된 감정을 도출하는 기술로는, 공지의 기술이 그대로 이용되거나 해당 공지 기술을 기반으로 일부 변형된 기술이 이용될 수 있다.

예를 들어, 공지 기술인 한국등록특허 제10-1823611호(특허권자 : 주식회사 감성과학연구센터 / 특허명칭 : AU 기반의 감성 표정 정보 추출 방법)에 의하면, 안면 인식 기술을 적용하여 무표정에 대비되는 총 7가지의 감정 표정(감정 상태)로서, 공포(fear), 놀람(surprise), 혐오(disgust), 슬픔(sad), 분노(anger), 행복(happy), 비웃음(contempt)을 구분하는 기술이 개시되고 있다.

다른 예로, 공지 기술인 한국공개특허 제2019-0123371호(출원인 : ㈜트라이스 / 발명명칭 : 안면이미지를 기반한 감정 인식 방법 및 인공지능 학습 방법)에서도, 안면 이미지의 표정을 분석 및 추적함으로써, 안면 이미지의 최종 감정 상태로서, 무표정에 대비되는 총 6가지 감정(분노, 혐오, 두려움, 행복, 슬픔, 놀람)을 구분하는 기술이 개시되고 있다.

다만, 본 발명의 핵심은 안면 인식 기법 그 자체 또는 안면 인식을 통해 감정을 구분/추출해내는 기법 그 자체에 있는 것이 아니라, 추후 설명될 본 출원인만의 고유의 학습자 케어 및 처방 방법론에 있다. 즉, 안면 인식의 최종적인 결과물로서 구분(분류)된 감정 정보를 본 출원인만의 고유의 학습자 케어 및 처방 방법론에 소정의 기준 요소로서 활용할 뿐인 바, 어떠한 상용 또는 공지의 기법(이와 유사하거나 일부 변형된 기법을 포함함)이 상술한 감성 인식 엔진에 기술 적용되던 간에 무방하다 할 것이다.

대신에, 본 발명에서는, 운영 서버(300)가, 감성 인식 엔진을 통해 최종 도출된(분류된) 감정을 긍정적 감정 및 부정적 감정 중 어느 하나로 분류한다.

본 발명의 실시예에서, 긍정적 감정으로는 행복, 놀람, 무표정(일반적인 보통 표정)이 여기에 해당할 수 있고, 부정적 감정으로는 슬픔, 분노(화남), 두려움(공포), 혐오(역겨움)이 여기에 해당할 수 있다. 다만, 시스템 설계 방식에 따라서, 무표정은 위와 다르게 부정적 감정으로 맵핑시킬 수도 있고, 이중 어디에도 해당되지 않는 것으로 처리할 수 있다.

이에 따라, 운영 서버(300)는, 해당 학습자의 학습 전 단계의 감정 상태가 상술한 긍정적 감정에 해당된다고 판별되는 경우, 그러한 긍정적인 감정을 유지거나 학습을 더욱 독려할 수 있는 내용을 갖는 메시지(이하, 격려 메시지)가 해당 학습자의 학습 화면(본 학습이 시작되기 전의 화면)에 표출되도록 처리한다(도 3 및 도 4 참조).

반면, 해당 학습자의 학습 전 단계의 감정 상태가 상술한 부정적 감정에 해당된다고 판별되는 경우, 운영 서버(300)는, 그러한 부정적인 감정을 긍정적으로 전환할 수 있도록 환기하거나 유도하는 내용을 갖는 메시지(이하, 환기용 메시지)가 메시지가 해당 학습자의 학습 화면(본 학습이 시작되기 전의 화면)에 표출되도록 처리할 수 있다. 또는 이와 별개로 도 3 및 도 4에 도시된 바와 같이 부정적인 감정을 누그러뜨려 보다 편안한 정서를 갖고 학습 준비를 할 수 있도록 해당 학습자의 정서를 안정 또는 강화시키는 영상(이하, 환기용 영상, 도 4의 마음 강화 영상 참조)이 해당 학습자의 학습 시작 전 화면을 통해 플레이될 수 있도록 영상 송출을 할 수도 있다.

이상에서는 긍정적인 감정을 지속시키거나 또는 부정적인 감정을 긍정적인 감정으로 전환시키기 위한 방법으로서 메시지 표출 또는 영상 송출의 방식을 주로 설명하였지만, 이외에도 정서 환기 유도 얼럿창(alert popup/window), 효과 플래쉬, 해당 감정을 대표하는 표정 이모티콘 등과 같은 다양한 시청각적 방식이 활용될 수 있음은 물론이다. 본 명세서에서는 설명의 편의 및 집중을 위해, 이들을 통틀어 시청각 얼럿이라고 통칭하기로 한다.

또한, 상술한 바와 같은 격려 메시지 및 환기용 메시지는, 긍정적 감정 및 부정적 감정 상태에 따라 동일한 메시지로 화면 표출되는 것 보다, 세부 감정(즉, 행복, 놀람, 무표정, 슬픔, 분노, 두려움, 혐오 등)에 맞춰 맞춤형 메시지 내용을 갖는 것이 바람직하다. 이는 인공지능 챗봇 기반으로 설계 구현될 수 있다.

또한, 도 3 및 도 4에서는, 부정적 감정 상태인 경우에 한하여 환기용 영상이 송출되는 경우만을 예시하였지만, 긍정적 감정 상태인 경우에도 해당 감정 상태가 과도하게 지속되는 것으로 판별되는 경우(일 예로, 놀람의 감정이 매우 강하게 나타나는 것으로 판별되는 경우)에도 환기용 영상이 송출되도록 시스템 설계될 수도 있다.

[학습 중 학습자 케어 방법]

도 3 및 도 5를 참조할 때, 본 발명의 시스템에 의할 때, 학습 중 학습자의 집중력 하락, 화면 이탈 등을 판별하여 해당 학습자의 학습 상태를 유지시킬 수 있다.

이를 위해, 운영 서버(300)는, 학습자의 얼굴 영상을 통한 안면 인식 결과를 반영하였을 때의 학습 상태 판별 결과에 의할 때, 해당 학습자의 집중도가 사전 지정된 기준치 이하로 떨어지는 것으로 확인되는 경우(또한 그와 같은 미집중 상태가 소정 시간(ex. 20초 등) 이상 지속되는 경우), 학습자의 주의를 환기시킬 수 있도록 유도하는 상술한 바와 같은 다양한 시청각적 효과(즉, 시청각 얼럿)가 해당 학습자에게 제공되도록 처리할 수 있다. 이때, 해당 학습자가 집중 상태에 있는지, 미집중 상태에 있는지에 관한 판별 방법에 관해서는 후술할 5가지의 상태 지수 중 "집중 지수"에 관한 설명을 통해 명확히 이해할 수 있을 것인 바, 여기에서는 그 상세한 설명은 생략한다.

위와 유사하게, 화면 이탈 케이스(보다 정확하게는 자리 이탈에 따른 학습 이탈)에서도 운영 서버(300)는 상술한 시청각 얼럿을 제공할 수 있다. 예를 들어, 운영 서버(300)는, 학습자를 촬영하고 있는 영상에서 해당 학습자의 안면이 인식되지 않는 경우, 도 5에서와 같은 시청각 알럿이 제공되도록 처리할 수 있고, 이와 더불어 해당 학습 콘텐츠에 따른 학습 화면이 중지되도록 처리할 수 있다.

이상에서는 도 3 및 도 5를 참조하여 학습 중 미집중 상태에 있거나 학습 이탈한 케이스에 대해서만 설명하였지만, 본 발명의 실시예에 따슨 학습 중 단계에서의 케어 방법은, 안면 인식을 통한 감정 분석 결과에 따라, 해당 학습자가 학습 도중에 상술한 바와 같은 부정적 감정을 갖게 되는 케이스(예를 들어, 학습 전 상태에서는 긍정적 감정을 가졌거나 긍정적 감정 상태로 전환되었다가, 학습이 이루어지고 있는 중간에 부정적 감정(ex. 두려움 등)으로 다시 전환되고 해당 상태가 소정 시간 이상 지속되는 경우 등)에도 동일 유사하게 적용될 수 있음은 물론이다. 이외에도, 안면 인식 분석 결과에 따라 졸음 상태로 판단될 때에도 상술한 학습 케어 과정이 동일 유사하게 적용될 수 있다.

또한, 본 발명의 실시예에 의하면, 학습 중인 단계에서 상술한 바와 같은 학습 케어가 필요한 경우, 운영 서버(300)는 해당 사실을 교사용 응용 프로그램으로 전달(알람)함으로써, 교사가 해당 학습자의 학습 과정에 개입하거나 관리할 수 있도록 할 수 있다(도 3 참조).

상태 지수 도출

또한, 본 발명의 실시예에 의할 때, 운영 서버(300)는, 학습 중에 해당 학습자에게 나타나는 반응에 기초하여 해당 학습자의 학습 상태를 판별하기 위한 복수의 상태 지수를 도출할 수 있다. 이와 관련하여 도 3의 실시예에서는, 상기 상태 지수로서, 행복 지수, 불안 지수, 긴장 지수, 집중 지수, 몰입 지수를 예시하고 있다.

위와 같은 상태 지수를 도출하기 위해 운영 서버(300)는 감성 인식 엔진으로부터 분석된 정보를 이용하게 되는데, 이때 상태 지수 도출의 근거가 되는 분석 정보로는 앞서 설명한 감정 상태 정보 및 후술할 심박수 정보가 활용될 수 있다. 경우에 따라서, 감정 상태 정보, 심박수 정보 이외에도, 안면 인식 결과에 근거하여 분석되는 안면 움직임 정도, 표정 변화 정도, 눈 깜박임 정도, 동공 추적에 따른 시선 이동 정보 등이 더 활용될 수도 있다.

생체 정보로서 심박수 정보는, 심전도 센서, 마이크로웨이브 도플러 센서, UWB 레이더 센서 등을 통해서도 획득될 수 있다. 다만, 본 발명의 실시예에서는, 학습자의 얼굴 영상에 기반한 안면 인식 기술을 통해서 추출(보다 정확하게는 추정)된 심박수 정보를 이용한다. 이때, 얼굴 영상의 안면 인식을 통해 심박수를 획득하는 기술로는, 공지의 기술이 그대로 이용되거나 해당 공지 기술을 기반으로 일부 변형된 기술이 이용될 수 있다.

예를 들어, 공지 기술인 한국등록특허 제10-2176001호(특허권자 : 한국전자통신연구원 / 특허명칭 : 생체 정보측정 장치 및 측정방법) 및 한국등록특허 제10-1787828호(특허권자 : 주식회사 제론헬스케어 / 특허명칭 : 스킨컬러 필터를 이용한 심박수 측정시스템)에 의하면, 안면 인식 기술을 적용하여 얼굴 피부색의 픽셀값을 이용하여 심박수를 추출하는 기술이 개시되고 있다.

다른 예로, 공지 기술인 한국등록특허 제10-2215557호(특허권자 : ㈜감성과학연구센터 / 특허명칭 : 얼굴 색상과 떨림을 이용한 카메라 기반 심박 측정 방법 및 시스템) 에서도, 안면 영상의 색상 변화 및 안면 떨림에 기초하여 심박수를 추정하는 기술이 개시되고 있다.

다만, 본 발명의 핵심은, 앞서도 설명한 바와 유사한 취지에서, 안면 인식 기법 그 자체 또는 안면 영상을 통해 심박수를 추출(추정)해내는 기법 그 자체에 있는 것이 아니라, 본 출원인만의 고유의 학습자 케어 및 처방 방법론에 있는 것으로서, 안면 영상 분석을 통한 최종적인 결과물로서 추정된 심박수 정보를 본 출원인만의 고유의 학습자 케어 및 처방 방법론에 소정의 기준 요소로서 활용할 뿐인 바, 어떠한 상용 또는 공지의 기법(이와 유사하거나 일부 변형된 기법을 포함함)이 상술한 감성 인식 엔진에 기술 적용되던 간에 무방하다 할 것이다.

이에 따라, 운영 서버(300)는 각각의 상태 지수를 다음과 같은 기준으로 산출할 수 있다. 다만, 후술하는 상태 지수 도출 기준은 일 예시이며, 이와 다른 기준이 도입될 수도 있음을 먼저 명확히 해둔다. 또한, 상태 지수를 도출하는 후술할 기준 중 일부는 복수 개의 상태 지수에 공통적으로 병립 적용 가능할 수도 있는 바, 이러한 케이스에서는 동일 시점의 학습자의 상태가 2개 이상의 상태 지수로서 표현(예를 들어, 긴장 상태이면서 집중하고 있는 상태로 표현 등)되는 경우도 발생 가능하다 할 것이다.

상태 지수 중 행복 지수는, 감성 인식 엔진을 통해 분석된 감정 상태에 기반할 때, 전술한 긍정적 감정 상태가 지속되는 정도(예를 들어, 긍정적 감정 상태가 해당 학습 중에 나타나는 빈도 또는 비율 등)를 계산함으로써 산출할 수 있다. 다른 예로, 긍정적 감정 상태 중에서도 특히 기쁨에 해당하는 감정이 지속되는 정도만을 기준으로 행복 지수를 산출하는 방식이 적용될 수도 있다.

상태 지수 중 불안 지수는, 감성 인식 엔진을 통해 분석된 감정 상태에 기반할 때, 전술한 부정적 감정 상태가 지속되는 정도(예를 들어, 부정적 감정 상태가 해당 학습 중에 나타나는 빈도 또는 비율 등)를 계산함으로써 산출할 수 있다. 다른 예로, 부정적 감정 상태인 슬픔, 분노, 혐오, 두려움 각각에 대응되는 표정 변화가 불규칙하게 반복되는 경우를 불안한 상태로 판별하고, 그 빈도 또는 비율에 따라 불안 지수를 산출할 수도 있다. 이때, 동공 추적 결과에 따른 동공의 흔들림 정도 또는 눈 깜빡임 정도 등을 불안 지수 산출에 함께 반영할 수도 있다.

상태 지수 중 긴장 지수는, 감성 인식 엔진을 통해 분석된 심박수에 기반할 때, 심박수가 해당 학습자의 평균 심박수 이상으로 상승하는 정도(빈도 또는 비율, 이하 동일함)룰 계산함으로써 산출할 수 있다. 다만, 심박수 상승은 다양한 자극에 의해 발생될 수 있는 것이므로, 해당 학습자의 감정 상태 정보를 함께 반영(예를 들어, 두려움에 해당하는 감정이면서 심박수가 상승하는 경우)하여 긴장 지수를 산출할 수도 있음은 물론이다.

상태 지수 중 집중 지수는, 감성 인식 엔진을 통해 분석된 심박수에 기반할 때, 해당 학습자가 각성 상태에 있는 것으로 판별되는 경우로 산출될 수 있다. 이때, 각성 상태는 다음과 같이 판단할 수 있다. 일 예로, 심박수 기준으로 각성 상태와 이완 상태를 구별하고 있는데, 심박수가 낮아 시전 지정된 기준치(이완 상태 판별용 기준 심박수) 이하로 떨어지는 경우를 이완 상태로 정의하는 경우, 이완 상태가 아닌 경우(즉, 상기 이완 상태 판별용 기준 심박수를 넘어선 심박수인 경우) 또는 사전 지정된 각성 상태 판별용 기준 심박수 이상의 심박수를 갖는 경우를 각성 상태로 판단할 수 있다. 또한 이때에도 안면 인식 결과에 따른 표정 변화를 함께 반영하여, 표정 변화의 변동폭이 사전 지정된 허용 범위 내에서 유지되는 경우이면서 각성 상태인 경우에 한하여 해당 학습자가 집중하고 있는 상태인 것으로 판단할 수도 있을 것이다.

상술한 기준에 따른 집중 상태가 소정 시간 이상 지속되는 경우를 몰입 상태로 판단할 수 있다. 따라서 상태 지수 중 몰입 지수는, 집중 상태의 지속 정도(빈도, 비율, 또는 지속 시간 등)에 따라 산출될 수 있다.

상술한 바와 같이 각각 산출된 상태 지수는 도 2, 도 3 및 도 5에 도시된 바와 같이 감성 분석 결과 리포트(즉, Emotional A.I 결과 분석 리포트)에 포함되어, 향후 학습자, 교사, 학부모 간에 정보 공유된다. 또한, 산출된 상태 지수는, 해당 학습자의 학습 활동 분석, 개인화된 맞춤형 학습 처방에 활용되게 된다.

체감 난이도 도출

또한 본 발명의 실시예에 의할 때, 운영 서버(300)는, 학습 중인 단계에서 해당 학습자가 체감하는 체감 난이도를 도출할 수 있다. 이를 위해, 운영 서버(300)는, 상술한 바와 같은 감정 상태 분석 및 상태 판별 결과를 해당 학습자의 학습 과정의 단계별로(예를 들어, 학습 레벨 별, 학습 레슨 별, 학습 주제별, 학습 문항 별로) 통계화하여 기록함으로써, 체감 난이도 산출에 활용할 수 있다. 이때, 체감 난이도는 상(어려움)/중(보통)/하(쉬움) 등으로 구분될 수 있다.

일 예로, 특정 학습 단계에서의 학습자의 심박수를 기준으로, 각성 상태로 판단되는 경우라면 해당 시점의 학습의 체감 난이도는 쉬움으로 판별하고, 이완 상태로 판단되는 경우라면 해당 시점의 학습의 체감 난이도는 어려움으로 판별할 수 있다. 이는 각성 상태를 학습에 집중하는 긍정적인 학습 상태로 보아 낮은 체감 난이도와 매칭하고, 이완 상태를 학습에 집중하지 않는 부정적인 학습 상태(예를 들어, 지루함 등)로 보아 높은 체감 난이도와 매칭하는 방식인 것이다. 이러한 기준에 의할 때, 각성 상태 및 이완 상태 중 어디에도 해당하지 않는 중간 심박수인 경우 보통 체감 난이도로 매칭할 수 있다.

다른 예로, 특정 학습 단계에서의 학습자의 감정 상태를 기준으로, 긍정적 감정 상태가 지속되는 경우를 체감 난이도 쉬움으로 판별하고, 부정적 감정 상태가 지속되는 경우를 체감 난이도 어려움으로 판별하며, 이외의 경우(즉, 감정 상태가 긍적적이거나 부정적인 어느 한쪽으로 지속되지 않지는 않는 경우)를 체감 난이도 보통으로 판별할 수 있다.

또 다른 예로, 심박수 및 감정 상태를 함께 고려하는 기준으로 체감 난이도를 산출할 수도 있다. 예를 들어, 심박수 기준에 따른 각성 상태 및 이완 상태는 각각 수직축 상단 및 하단에 대응되고, 감정 기준에 따른 긍정적 감정 상태 및 부정적 감정 상태는 각각 수평축의 우단 및 좌단에 대응되도록 4분면 상에 맵핑되어 있다. 따라서, 일 예로, 각성 상태이면서 긍정적 감정 상태인 경우(4분면 중 1사분면)를 체감 난이도 보통으로 판별하고, 이완 상태이면서 긍정적 감정 상태인 경우(4분면 중 4사분면) 또는 이완 상태이면서 부정적 감정 상태인 경우(4분면 중 3사분면)를 체감 난이도 낮음으로 판별하며, 각성 상태이면서 부정적 감정 상태인 경우(4분면 중 2사분면)를 체감 난이도 어려움으로 판별하는 방식 등이 활용될 수 있다.

다만, 상술한 체감 난이도 산출 기준들은 일 예시에 불과하며, 시스템 설계자에 의해 다양하게 변형될 수 있는 바, 위 예시를 통해 설명된 기준만이 본 발명에 적용될 수 있는 것은 아니며, 다양한 변형례가 존재할 수 있음은 물론이다. 또한, 상술한 기준들과 함께, 학습자 안면 인식 결과에 따른 부가 정보(예를 들어, 찡그리는 표정을 보인다거나, 표정 변화가 없다거나, 동공이 흔들린다거나 등등)도 체감 난이도 산출에 함께 활용될 수도 있다.

본 발명의 실시예에 따를 때, 운영 서버(300)는 상술한 바와 같은 기준들 중 선택된 기준에 따라 체감 난이도를 산출하되, 향후 학습자가 해당 학습을 완료하였을 때 해당 학습자가 실제로 느낀 체감 난이도에 관한 설문을 작성하거나 질의에 응답하도록 처리함으로써, 이때 응답된 실제 체감 난이도와 산출된 체감 난이도 간의 매칭 정확도를 계산하는 방법으로 체감 난이도 산출 기준을 변경 또는 갱신할 수 있다. 이를 위해 인공지능 딥러닝 기법이 적용될 수 있다. 또한, 산출 기준의 변경 또는 갱신 과정에 해당 학습자의 학습 성취도 정보도 함께 참조할 수 있다. 이에 의할 때, 체감 난이도 산출의 정확도를 높일 수 있음은 물론, 해당 학습자의 특성 및 학습 패턴에 맞춘 개인화된 체감 난이도 산출(즉, 해당 학습자에 특화된 체감 난이도 산출 기준의 도출)이 가능하다.

운영 서버(300)는, 체감 난이도 정보를 활용함으로써, 해당 학습자의 학습 커리큘럼, 학습 레벨, 학습 레슨, 학습 문항을 해당 난이도에 맞춰 조정하거나 다시 설계하는 방식으로 해당 학습자에 개인화된 학습 처방을 제공할 수 있다.

또한 상술한 감정 상태 분석 결과, 상태 지수 분석 결과, 체감 난이도 분석 결과 등은 교사에게 전달됨으로써, 교사가 해당 학습자에 관한 맞춤형 코칭을 진행할 수 있게 된다.

[학습 후 학습자 처방 방법]

본 발명의 시스템에 의할 때, 해당 학습자의 학습 완료 후, 운영 서버(300)는, 학습 중 학습자가 가장 많이 나타낸 감정(이하, 이를 대표 감정이라 명명함)에 대응되는 학습자 얼굴 영상(예를 들어, 대표 감정에 대응되는 다수의 얼굴 표정 중 가장 빈도가 높았던 표정에 관한 얼굴 영상)을 화면 상에 표출할 수 있다(도 3 및 도 5 참조).

이때, 운영 서버(300)는 대표 감정 영상을 화면 상에 표출함과 함께, 해당 학습자의 학습 상태에 맞는 격려 메시지를 표출할 수 있다. 이를 위해, 운영 서버(300)는, 해당 학습자의 학습 전 감정 상태와 학습 중 대표 감정을 대조하여, 학습 전과 후의 감정 상태의 변화에 대응되는 학습 독려 메시지를 화면 표출한다. 예를 들어, 학습 전 감정 상태가 부정적 감정 상태이고 학습 중 대표 감정이 행복인 경우, "오늘 학습은 정말 훌륭했어!"와 같은 학습 독려 메시지를, 학습 전 감정 상태가 긍정적 감정 상태이고 학습 중 대표 감정이 두려움인 경우, "오늘 공부하느라 스트레스 많이 받았지? 잘하고 있어!"와 같은 학습 독려 메시지를 화면 표출할 수 있다.

또한, 운영 서버(300)는, 상술한 상태 지수를 포함하는 해당 분석 결과가 리포트로서 취합되어 학습자, 교사, 학부모에게 제공되도록 한다. 이때, 상기 상태 지수는 도 5에 도시된 바와 같이, 5가지 상태 지수에 관한 시간적 추이 변화 그래프, 상대적 점유 그래프 등의 형태로 시각화하여 리포트에 포함될 수 있다.

또한, 운영 서버(300)는, 상술한 감정 상태 분석, 상태 지수 분석, 체감 난이도 분석 결과를 개별적 또는 통합적으로 반영하여 해당 학습자에 개인화된 학습자 분석 및 맞춤형 학습 처방을 제공할 수 있다. 학습자 분석 및 맞춤형 학습 처방의 구체적 예는 다음과 같다.

운영 서버(300)는, 학습자의 선호 활동에 관한 정보(즉, 선호 학습 영역 및 비선호 학습 영역)를 추출 및 분석할 수 있다. 일 예로, 운영 서버(300)는, 감정 상태 분석 결과에 기반하여, 학습자의 감정 상태가 긍정적 감정(특히, 행복)으로 나타났던 학습 영역을 선호 학습 영역으로 추출하고, 부정적 감정으로 나타났던 학습 영역을 비선호 학습 영역으로 추출할 수 있다. 다른 예로, 운영 서버(300)는, 감정 상태 분석 결과 및 상태 지수 분석 결과에 기반하여, 일일 학습 과정에서 '집중 시간이 길고, 몰입도가 높고, 긍정적인 감정이 표현된 학습 영역'을 선호 학습 영역으로 추출하고, '집중 시간이 짧고, 몰입도가 낮고, 부정적 감정이 표현된 학습 영역'을 비선호 학습 영역으로 추출할 수 있다.

또한, 운영 서버(300)는, 상태 지수 분석 결과 중 긴장 지수 또는/및 불안 지수에 근거하여 해당 학습자의 학업 스트레스, 학업 불안 등과 같은 정서를 진단할 수 있다.

또한, 운영 서버(300)는, 상술한 바와 같이, 학습 문항별, 학습 영역별, 학습 과정 별로 해당 학습자가 느끼는 체감 난이도 정보에 기초하여, 해당 학습자의 학습 커리큘럼, 학습 레벨, 학습 레슨, 학습 문항을 해당 난이도에 맞춰 조정하거나 다시 설계하는 방식으로 해당 학습자에 개인화된 학습 처방을 제공할 수 있다.

또한, 운영 서버(300)는, 학습자 개인별 집중 및 몰입 시간에 대한 데이터를 일별/주별/월별/연도별로 통계화하여 제공할 수 있다. 또한, 연령대별/진도별/학습시간별로의 집중/몰입 및 감정상태에 관한 데이터도 통계화하여 제공할 수 있다.

또한, 운영 서버(300)는, 해당 학습자의 감정 상태의 시간적 변화를 대표 감정을 기준으로 주간/월간 등의 단위로 추적하여, 해당 학습자의 학습활동의 강점은 강화하고, 약점은 보완할 수 있는 피드백을 유형화하여, 해당 학습자, 학부모, 교사에게 제공할 수 있다.

또한, 운영 서버(300)는, 해당 학습자의 감정 상태, 상태 지수, 체감 난이도 등에 기반하여, 비교 대상 집단(일 예로, 동일 연령대, 동일 레벨, 또는 고성취도의 학습자 그룹 등)과의 패턴 비교를 통해서, 해당 학습자에 필요한 보완/강화 요소를 도출할 수도 있다.

이상에서는 본 발명의 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 쉽게 이해할 수 있을 것이다.

Claims (4)

1. 학습자 단말에 설치되어 자기주도학습을 제공하는 학습자용 응용 프로그램(Application program); 웹(Web) 접속 또는 앱(App) 접속을 통해, 자기주도학습을 진행하는 학습자와의 커뮤니케이션 또는 해당 학습자를 대상으로 한 코칭 및 관리를 가능하게 하는 교사용 응용 프로그램; 상기 학습자용 및 상기 교사용 응용 프로그램과 연동되며 자기주도학습의 제공을 위한 서비스 운영을 담당하며, 수집된 안면 인식 데이터에 기반한 학습자의 감성 분석에 따른 감성 분석 데이터 및 상기 안면 인식 데이터에 기반한 심박 분석에 따른 심박수 정보에 기반하여 학습자의 학습 상태를 모니터링 및 분석하고, 학습 상태 분석 결과에 기반하여 학습자 별로 학습 활동을 강화시킬 수 있는 개인화된 학습 처방을 제공하는 운영 서버;를 포함하는, 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템.
   
2. 제1항에 있어서,
   상기 운영 서버는,
   상기 감성 분석 데이터가 행복, 놀람, 무표정 중 어느 하나의 감정 데이터에 해당하는 경우 상기 학습자가 긍정적 감정 상태에 있는 것으로 분류하고, 상기 감성 분석 데이터가 슬픔, 분노, 두려움, 혐오 중 어느 하나의 감정 데이터에 해당하는 경우 상기 학습자가 부정적 감정 상태에 있는 것으로 분류하며,
   상기 안면 인식 데이터에 기반한 학습자의 감성 분석을 상기 학습자의 학습 전(前) 단계 및 학습 중(中) 단계 별로 각각 수행하고,
   상기 안면 인식 데이터에 기반한 학습자의 감성 분석을 학습 전(前) 단계에 수행하여, 상기 학습 전(前) 단계의 감정 상태가 상기 긍정적 감정 상태에 해당된다고 판별되는 경우 긍정적 감정이 유지되도록 하는 격려용 시청각 얼럿이 학습 시작 전 화면을 통해서 제공될 수 있도록 처리하고, 상기 학습 전(前) 단계의 감정 상태가 상기 부정적 감정 상태에 해당된다고 판별되는 경우 부정적 감정이 긍정적 감정으로 전환될 수 있도록 환기하거나 유도하는 환기용 시청각 얼럿이 학습 시작 전 화면을 통해서 제공될 수 있도록 처리하며,
   상기 안면 인식 데이터에 기반한 학습자의 감성 분석 및 심박 분석을 학습 중(中) 단계에 수행하여, 상기 학습자의 학습 상태에 관한 사전 정의된 상태 지수로서 행복 지수, 불안 지수, 긴장 지수, 집중 지수, 몰입 지수를 산출하고, 산출된 상태 지수를 시각화한 학습 분석 리포트를 생성하며,
   상기 학습자의 학습 완료 후(後), 학습 중(中) 단계에서 해당 학습자가 가장 많이 나타낸 감정 데이터를 대표 감정으로 선정하여, 학습 중(中) 단계에서 수집된 안면 인식 데이터 중에서 상기 대표 감정에 대응되는 학습자의 대표 얼굴 영상을 추출하여 학습 완료 후 화면 상에 표출되도록 처리하고,
   상기 학습자의 학습 완료 후(後), 상기 학습자의 학습 전(前) 단계의 감정 상태와 학습 중(中) 단계의 상기 대표 감정 간을 대조하여, 학습 전(前) 단계와 학습 중(中) 단계의 감정 상태 변화에 추종하는 사전 지정된 학습 독려 메시지를 생성하고, 상기 학습 독려 메시지가 상기 대표 얼굴 영상과 함께 상기 학습 완료 후 화면 상에 표출되도록 처리하고,
   상기 행복 지수는, 해당 학습자의 학습 중, 상기 긍정적 감정 상태가 지속되는 빈도 또는 비율을 계산함으로써 산출되고,
   상기 불안 지수는, 해당 학습자의 학습 중, 상기 부정적 감정 상태가 지속되는 빈도 또는 비율을 계산함으로써 산출되거나, 또는 상기 부정적 감정 상태에 대응되는 표정 변화가 불규칙하게 반복되는 빈도 또는 비율을 계산함으로써 산출되며,
   상기 긴장 지수는, 해당 학습자의 학습 중, 상기 심박수 정보가 학습자의 평균 심박수 이상으로 상승하는 빈도 또는 비율을 계산함으로써 산출되고,
   상기 집중 지수는, 해당 학습자의 학습 중, 상기 심박수 정보를 기준으로 해당 심박수가 사전 정의된 기준치 이상인 각성 상태의 심박수를 갖는 빈도 또는 비율을 계산함으로써 산출되며,
   상기 몰입 지수는, 해당 학습자의 학습 중, 상기 집중 지수에 해당하는 집중 상태가 소정 시간 이상 지속될 때를 기준으로 한 몰입 상태의 빈도, 비율 또는 지속 시간을 계산함으로써 산출되는 것을 특징으로 하는, 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템.
   
3. 제2항에 있어서,
   상기 운영 서버는,
   상기 감정 상태 및 상기 심박수 정보에 근거하여, 해당 학습자가 해당 학습을 수행하는 중에 느끼는 체감 난이도를 도출하되,
   상기 각성 상태이면서 상기 긍정적 감정 상태인 경우를 체감 난이도 보통으로 판별하고, 상기 각성 상태가 아닌 이완 상태이면서 상기 긍정적 감정 상태인 경우를 체감 난이도 낮음으로 판별하며, 상기 각성 상태이면서 상기 부정적 감정 상태인 경우를 체감 난이도 어려움으로 판별하며,
   상기 학습자의 학습 완료된 후(後), 학습자의 선호 활동에 관한 정보를 추출하는 과정에서, 상기 감정 상태 분석 결과 및 상기 상태 지수 분석 결과에 기반하여, 집중 시간이 길고, 몰입도가 높고, 긍정적인 감정이 표현된 학습 영역을 선호 학습 영역으로 추출하고, 집중 시간이 짧고, 몰입도가 낮고, 부정적 감정이 표현된 학습 영역을 비선호 학습 영역으로 추출하는 것을 특징으로 하는, 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템.
   
4. 제3항에 있어서,
   상기 운영 서버는,
   학습 문항별, 학습 영역별, 학습 과정 별로, 해당 학습자가 느끼는 상기 체감 난이도 정보에 기초하여, 해당 학습자의 학습 커리큘럼, 학습 레벨, 학습 레슨, 학습 문항을 해당 난이도에 맞춰 조정하는 것을 특징으로 하는, 감성 분석 기술을 활용한 학습자 분석 및 케어 시스템.
   

Images