KR102439446B1 - 인공지능 기반 학습 관리 시스템 - Google Patents

Abstract

본 발명은 인공지능 기반 학습 관리 시스템에 관한 것으로서, 본 발명에 따른 인공지능 기반 학습 관리 시스템은 학습자 단말기, 관리자 단말기 및 운영 서버를 포함하는데, 상기 학습자 단말기는 학습자 카메라 및 학습자 디스플레이를 포함하며, 상기 학습자 카메라에 의해 촬영된 학습 영상을 상기 운영 서버로 전송하고, 상기 운영 서버는 상기 학습 영상을 분석하여 영상분석결과를 도출하는 영상분석모듈을 포함하며, 상기 운영 서버는 상기 영상분석결과와 상기 학습 영상을 상기 관리자 단말기로 전송하고, 상기 관리자 단말기는 관리자 디스플레이를 포함하며, 상기 관리자 디스플레이에는 상기 학습 영상과 상기 영상분석결과가 표출된다.

Description

인공지능 기반 학습 관리 시스템{LEARNING MANAGEMENT SYSTEM BASED ON ARTIFICIAL INTELLIGENCE}

본 발명은 인공지능 기반 학습 관리 시스템에 관한 것으로서, 보다 상세하게는 인공지능기술을 이용하여 학습자의 학습 영상 및 학습자의 집중도를 분석하고 분석결과를 학습자, 관리자 또는 교수자에게 알려 학습자가 학습 또는 수업에 집중하도록 함으로써 효율적인 학습이 이뤄지도록 하는 인공지능 기반 학습 관리 시스템에 관한 것이다.

지역사회 전반에 걸쳐 코로나19 확진자가 확산됨에 따라 대면 수업에서 원격 수업으로 전환하는 학교들이 지속적으로 증가하고 있는 상황이다. 원격 수업 운영 방식은 교사와 학생이 동시에 접속해 화상 수업을 진행하는 '실시간 쌍방향 수업', 이미 녹화한 강의를 학생들이 듣고 댓글을 달면 교사가 피드백하는 '콘텐츠 활용 중심 수업', 과제를 내주면 학생이 자기 주도적으로 학습하는 '과제수행 중심 수업' 등 학교별 여건에 따라 선택적으로 진행되고 있다.

이러한 교수학습의 전반적 과정을 통합적으로 운영하고 관리하기 위해 여러 기능을 갖는 학습 관리 시스템(Learning Management System: LMS)이 도입되고 있는 상황인데, 이러한 종래의 LMS는 출결 여부(강의실 입장과 퇴장), 강의 재생 시간 등으로 학습 참여 여부를 확인하기 때문에 학습자의 학습 집중도를 확인할 수 없어 학습의 질 저하 문제가 대두되고 있으나 교육청에서는 '실시간 쌍방향 수업'을 지속적으로 권고하고 있는 상황이다.

이와 관련하여, 실시간 원격 수업 시 가장 많이 활용하는 Zoom meetings, MS Teams, Google meet 등의 화상 미팅 솔루션의 경우 교육용이 아닌 회의용 서비스라는 한계가 있음에도 불구하고 적합한 실시간 원격 수업 교실 공간의 부재로 해외 기업이 제공하는 서비스를 사용할 수 밖에 없는 상황이다. 그러나 이러한 화상 미팅 솔루션도 입장 기록과 접속 시간으로 학습 참여 여부를 측정할 수 밖에 없는 이유로 집중도가 떨어지거나 학습 공간을 이탈하는 학습자가 발생하는데 이에 대한 마땅한 해결책이 없는 실정이다.

한편, 현재 학급당 학생 수는 평균 20 내지 25명 내외로 원격 수업 환경에서 교사 1명이 모든 학생들을 지도하는 데 어려움이 있고, 이 외에도 학습 격차로 인한 K자형 교육 양극화, 학습 결손 등의 문제가 심화되고 있다. 그럼에도, 코로나19 사태로 미래 교육시스템의 도입이 앞당겨지고 있으며 온라인 수업, 챗봇 서비스 제공 등 공교육 부문에서의 원격 수업에 대한 혁신적인 교육시스템 기술의 필요성이 극대화되고 있는 상황이고, 교육부는 코로나19 종식 후에도 미래 교육 뉴노멀(New Normal)의 일환으로 초·중·고교 수업에 원격 수업과 대면 수업을 병행하는 블렌디드 러닝(Blended learning)을 지속할 것으로 밝히고 있어, 이와 관련된 서비스 개발이 필수적인 실정이다.

대한민국특허청 공개특허공보 제10-2013-0134049호 대한민국특허청 등록특허공보 제10-2141135호

상술한 문제점을 해결하기 위한 본 발명의 목적은 인공지능기술을 이용하여 학습자의 학습 영상을 영상분석하고 이를 기초로 학습자의 집중도를 산출한 뒤 산출된 결과를 시스템의 관리자, 교수자 또는 학습자에게 전달함으로써 학습자의 수업 참여도를 개선하고 집중도를 향상시켜 학습의 질을 개선하도록 하는 인공지능 기반 학습 관리 시스템을 제공하는 것이다.

본 발명의 다른 목적은 인공지능기술을 이용하여 학습자의 학습량을 산출하고 목표 학습량 대비 달성율을 산출하며 산출된 달성율이 기 설정된 값 이상인 학습자에게 보상을 줌으로써 학습자의 수업 참여도를 개선하고 집중도를 향상시켜 학습의 질을 개선하도록 하는 인공지능 기반 학습 관리 시스템을 제공하는 것이다.

상술한 목적을 달성하기 위하여, 본 발명의 일 실시예에 따른 인공지능 기반 학습 관리 시스템은 학습자 단말기, 관리자 단말기 및 운영 서버를 포함하는 인공지능 기반 학습 관리 시스템으로서, 상기 학습자 단말기는 학습자 카메라 및 학습자 디스플레이를 포함하며, 상기 학습자 카메라에 의해 촬영된 학습 영상을 상기 운영 서버로 전송하고, 상기 운영 서버는 상기 학습 영상을 분석하여 영상분석결과를 도출하는 영상분석모듈을 포함하며, 상기 운영 서버는 상기 영상분석결과와 상기 학습 영상을 상기 관리자 단말기로 전송하고, 상기 관리자 단말기는 관리자 디스플레이를 포함하며, 상기 관리자 디스플레이에는 상기 학습 영상과 상기 영상분석결과가 표출될 수 있다.

바람직하게는, 상기 운영 서버는 상기 영상분석결과를 기초로 학습자의 집중도를 분석하는 집중도분석모듈을 더 포함하고, 상기 운영 서버는 상기 집중도를 상기 관리자 단말기 및 상기 학습자 단말기에 전송하며, 상기 학습자 디스플레이에는 상기 집중도가 표출되고, 상기 관리자 단말기에는 학습자별 상기 집중도가 표출될 수 있다.

바람직하게는, 상기 집중도분석모듈은 학습자별 영상분석결과를 기초로 복수의 학습자가 속한 클래스 전체의 클래스 집중도를 분석하고, 상기 클래스 집중도가 기 설정된 값 이하인 경우 상기 클래스 집중도를 상기 관리자 단말기 및 상기 학습자 단말기에 전송하며, 상기 학습자 디스플레이 및 상기 관리자 디스플레이에는 상기 클래스 집중도가 표출될 수 있다.

바람직하게는, 상기 운영 서버는 학습자의 학습량을 산출하고, 목표 학습량 대비 달성율을 산출하는 학습관리모듈을 더 포함하고, 상기 운영 서버는 상기 학습량과 상기 달성율을 상기 학습자 단말기에 전송하며, 상기 학습자 디스플레이에는 상기 학습량과 상기 달성율이 표출되고, 상기 학습관리모듈은 상기 달성율이 기 설정된 값 이상인 경우 시스템 이용 비용의 일부분이 환급되도록 결제 서버에 요청할 수 있다.

본 발명의 다른 일 실시예에 따른 인공지능 기반 학습 관리 시스템은 학습자 단말기, 교수자 단말기 및 운영 서버를 포함하는 인공지능 기반 학습 관리 시스템으로서, 상기 학습자 단말기는 학습자 카메라 및 학습자 디스플레이를 포함하며, 상기 학습자 카메라에 의해 촬영된 학습 영상을 상기 운영 서버로 전송하고, 상기 운영 서버는 상기 학습 영상을 분석하여 영상분석결과를 도출하는 영상분석모듈, 상기 영상분석결과를 기초로 학습자의 집중도를 분석하는 집중도분석모듈, 및 학습자의 학습량을 산출하고 목표 학습량 대비 달성율을 산출하는 학습관리모듈을 포함하며, 상기 운영 서버는 상기 집중도, 상기 학습량 및 상기 달성율을 상기 교수자 단말기로 전송하고, 상기 교수자 단말기는 교수자 디스플레이를 포함하며, 상기 교수자 디스플레이에는 학습자별 상기 집중도, 상기 학습량 및 상기 달성율이 표출될 수 있다.

본 발명은 인공지능기술을 이용하여 학습자의 학습 영상을 영상분석하고 이를 기초로 학습자의 집중도를 산출한 뒤 산출된 결과를 시스템의 관리자, 교수자 또는 학습자에게 전달함으로써 학습자의 수업 참여도를 개선하고 집중도를 향상시켜 학습의 질을 개선하도록 하는 인공지능 기반 학습 관리 시스템을 제공할 수 있다.

본 발명은 인공지능기술을 이용하여 학습자의 학습량을 산출하고 목표 학습량 대비 달성율을 산출하며 산출된 달성율이 기 설정된 값 이상인 학습자에게 보상을 줌으로써 학습자의 수업 참여도를 개선하고 집중도를 향상시켜 학습의 질을 개선하도록 하는 인공지능 기반 학습 관리 시스템을 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반 학습 관리 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 다른 일 실시예에 따른 집중도분석모듈을 포함하는 인공지능 기반 학습 관리 시스템의 구성을 나타낸 도면이다.
도 3은 본 발명의 다른 일 실시예에 따른 학습관리모듈을 포함하는 인공지능 기반 학습 관리 시스템의 구성을 나타낸 도면이다.
도 4는 본 발명의 다른 일 실시예에 따른 교수자와 학습자가 참여하는 실시간 원격 수업 시 활용되는 인공지능 기반 학습 관리 시스템의 구성을 나타낸 도면이다.
도 5는 본 발명의 다른 일 실시예에 따른 영상분석모듈, 집중도분석모듈 및 학습관리모듈이 관리자 단말기 또는 교수자 단말기에 구성되는 인공지능 기반 학습 관리 시스템의 구성을 나타낸 도면이다.
도 6은 본 발명의 다른 일 실시예에 따른 영상채팅서버를 더 포함하는 인공지능 기반 학습 관리 시스템의 구성을 나타낸 도면이다.
도 7은 본 발명의 다른 일 실시예에 따른 클라우드 서버를 더 포함하는 인공지능 기반 학습 관리 시스템의 구성을 나타낸 도면이다.
도 8은 본 발명의 다른 일 실시예에 따른 학업 스케줄을 다양한 형태의 UI(User Interface)로 구성하는 과정을 나타낸 도면이다.

이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성 요소들에 참조 부호를 부가함에 있어서, 동일한 구성 요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다.

그리고 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.

또한, 본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제1, 제2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다.

도 1 내지 도 8을 참조하여, 본 발명의 일 실시예에 따른 인공지능 기반 학습 관리 시스템의 구성 및 동작에 대하여, 이하 설명한다.

도 1은 본 발명의 일 실시예에 따른 인공지능 기반 학습 관리 시스템(이하, '본 학습 관리 시스템'이라 칭함)의 구성을 나타낸 도면이다.

도 1을 참조하면, 본 학습 관리 시스템은 학습자 단말기(100), 관리자 단말기(200) 및/또는 운영 서버(300)를 포함할 수 있다. 그리고, 운영 서버(300)는 영상분석모듈(310)을 포함할 수 있다.

학습자 단말기(100)와 관리자 단말기(200)는 스마트폰, 태블릿, PC 등에 해당할 수 있고, 학습자 단말기(100)는 학습자가 사용하는 기기 그리고, 관리자 단말기(200)는 본 학습 관리 시스템의 관리자가 사용하는 기기를 의미할 수 있다. 학습자 단말기(100)와 관리자 단말기(200)는 카메라 및/또는 디스플레이를 포함할 수 있다.

학습자 단말기(100)에 포함되는 학습자 카메라는 학습자가 학습하고 있는 모습을 나타내는 학습 영상을 촬영하고, 학습자 단말기(100)는 촬영된 학습 영상을 운영 서버(300)로 전송한다. 이때, 학습자 카메라는 학습자의 얼굴과 손이 영상에 포함되도록 설치되어 학습자 카메라가 촬영한 학습 영상에는 학습자의 얼굴과 손이 포함될 수 있다.

운영 서버(300)에 포함되는 영상분석모듈(310)은 학습자 단말기(100)로부터 수신한 학습 영상을 분석하여 영상분석결과를 도출한다. 구체적으로, 영상분석모듈(310)은 학습 영상에서 학습자의 얼굴과 손을 검출하고 학습 영상 내 학습자의 얼굴과 손의 위치를 영상분석결과로 도출한다. 또는, 영상분석모듈(310)은 검출된 학습자의 얼굴과 손의 위치가 표시된 학습 영상을 생성한다. 이후, 운영 서버(300)는 영상분석결과 및 학습 영상을 관리자 단말기(200)로 전송한다. 이때, 관리자 단말기(200)로 전송되는 학습 영상은 학습자 단말기(100)로부터 수신한 원본 영상일 수 있고 또는, 영상분석결과가 표시된 가공된 학습 영상일 수 있다.

관리자 단말기(200)는 운영 서버(300)로부터 수신한 영상분석결과 및/또는 학습 영상을 관리자 단말기(200)에 포함된 관리자 디스플레이에 표출할 수 있다. 관리자는 관리자 디스플레이에 표출된 학습 영상에 표시된 영상분석결과를 기초로 집중도가 낮은 학습자를 검출할 수 있고, 관리자 단말기(200)를 통해 집중도가 낮은 학습자의 학습자 단말기(100)에 채팅, 문자 메시지 등을 전송하여 수업에 집중할 것을 경고할 수 있다. 예를 들어, 관리자 디스플레이에 표출된 학습 영상에 학습자의 얼굴 표시가 존재하지 않는 경우 관리자는 해당 학습자가 수업 공간을 이탈한 것으로 판단할 수 있고, 학습 영상에 학습자의 얼굴 표시는 존재하지만 손 표시가 존재하지 않는 경우 관리자는 해당 학습자가 수업에 집중하고 있지 않은 것으로 판단할 수 있다. 이 두 경우 모두, 해당 학습자는 집중도가 낮은 학습자로 검출될 수 있다.

도 2는 집중도분석모듈을 더 포함하는 본 학습 관리 시스템의 구성을 나타낸 도면이다.

도 2를 참조하면, 운영 서버(300)는 집중도분석모듈(320)을 더 포함할 수 있다.

집중도분석모듈(320)은 학습자 단말기(100)로부터 수신한 학습 영상과 영상분석모듈(310)에 의해 도출된 영상분석결과를 기초로 학습자의 집중도를 분석할 수 있다. 그리고, 집중도분석모듈(320)은 분석된 학습자의 집중도를 관리자 단말기(200) 및/또는 학습자 단말기(100)로 전송한다.

구체적으로, 영상분석모듈(310)은 학습 영상 내 학습자의 손과 얼굴의 위치를 검출하는 것에 더하여, 학습자 단말기(100)로부터 실시간으로 전송되는 학습 영상의 시간에 따른 프레임을 비교함으로써 학습자의 움직임 패턴을 검출하고 이를 영상분석결과로 도출할 수 있다.

영상분석모듈(310)에 의해 도출된 영상분석결과는 집중도분석모듈(320)로 전달되고, 집중도분석모듈(320)은 먼저 수업 시간 정보(수업 시작시간, 종료시간, 쉬는시간 등)를 기초로 학습자의 학습 상황이 수업 중인지, 수업 중이 아닌지, 또는 쉬는 시간인지를 판단한다. 이때, 수업 시간 정보는 운영 서버에 기 저장되어 있을 수 있다. 집중도분석모듈(320)은 학습자의 학습 상황이 수업 중인 경우에 집중도 분석을 개시한다.

집중도분석모듈(320)은 영상분석모듈(310)로부터 검출되어 전달되는 학습자의 움직임 패턴을 메모리에 기 저장된 기준 움직임 패턴과 비교함으로써, 학습자의 집중도를 분석할 수 있다. 즉, 운영 서버(300)에 포함되는 메모리에는 집중도가 낮을 때 나타나는 기준 움직임 패턴이 저장돼 있고, 이러한 기준 움직임 패턴과 일치하는 움직임 패턴을 가진 학습 영상을 도출하고 도출된 학습 영상에 대한 학습자를 집중도가 낮은 학습자로 검출함으로써 학습자의 집중도가 분석되는 것이다.

영상분석모듈(310)과 집중도분석모듈(320)은 기계학습모델을 이용하여 영상을 분석하고 집중도를 분석할 수 있다. 즉, 영상분석모듈(310)은 기계학습모델에 기초하여 학습 영상 내 학습자의 손과 얼굴의 위치를 검출할 수 있고, 기계학습모델에 기초하여 학습 영상 내 학습자의 움직임 패턴을 검출할 수 있다. 집중도분석모듈(320)은 기계학습모델에 기초하여 학습 영상 내 학습자의 움직임 패턴과 기준 움직임 패턴을 비교하고 일치 여부를 판단하여 학습자의 집중도를 분석할 수 있다. 집중도분석모듈(320)에 의해 분석되어 도출되는 집중도는 움직임 패턴의 일치여부를 기준으로 '집중력 저하 상태' 또는 '집중 상태'로 표현되거나, 움직임 패턴의 유사도를 기준으로 퍼센티지 형태로 표현될 수 있다.

이때, 기계학습모델은 운영 서버(300)에 포함되는 프로세서 또는 메모리에 삽입될 수 있다. 기계학습모델은 기계학습 알고리즘의 하나인 심층 신경망(Deep Neural Network, DNN), 합성곱 신경망(Convolutional Neural Network, CNN), 순환 신경망(Recurrent Neural Network, RNN) 등을 포함할 수 있고, 이에 한정되지 않는다.

심층 신경망(Deep Neural Network, DNN)은 입력층(input layer)과 출력층(output layer) 사이에 여러 개의 은닉층(hidden layer)들로 이뤄진 인공신경망(Artificial Neural Network, ANN)이다. 심층 신경망(DNN)은 일반적인 인공신경망과 마찬가지로 복잡한 비선형 관계(non-linear relationship)들을 모델링할 수 있다. 예를 들어, 물체 식별 모델을 위한 심층 신경망 구조에서는 각 물체가 영상의 기본적 요소들의 계층적 구성으로 표현될 수 있다. 이때, 추가 계층들은 점진적으로 모인 하위 계층들의 특징들을 규합시킬 수 있다. 심층 신경망의 이러한 특징은, 비슷하게 수행된 인공신경망에 비해 더 적은 수의 유닛(unit, node)들만으로도 복잡한 데이터를 모델링할 수 있게 해준다.

합성곱신경망(CNN)은 최소한의 전처리(preprocess)를 사용하도록 설계된 다계층 퍼셉트론(multilayer perceptrons)의 한 종류이다. 합성곱 신경망(CNN)은 하나 또는 여러개의 합성곱 계층과 그 위에 올려진 일반적인 인공 신경망 계층들로 이루어져 있으며, 가중치와 통합 계층(pooling layer)들을 추가로 활용한다. 이러한 구조 덕분에 합성곱 신경망(CNN)은 2차원 구조의 입력 데이터를 충분히 활용할 수 있다. 다른 딥 러닝 구조들과 비교해서, 합성곱 신경망(CNN)은 영상, 음성 분야 모두에서 좋은 성능을 보여준다. 합성곱 신경망(CNN)은 또한 표준 역전달을 통해 훈련될 수 있다. 합성곱 신경망(CNN)은 다른 피드포워드 인공신경망 기법들보다 쉽게 훈련되는 편이고 적은 수의 매개변수를 사용한다는 이점이 있다.

딥 러닝에서는 합성곱 심층 신뢰 신경망(Convolutional Deep Belief Network, CDBN)이 개발되었는데, 기존 합성곱 신경망(CNN)과 구조적으로 매우 비슷해서, 2차원 구조를 잘 이용할 수 있으며 그와 동시에 심층 신뢰신경망(Deep Belief Network, DBN)에서의 선훈련에 의한 장점도 취할 수 있다. 합성곱 심층 신뢰 신경망(CDBN)은 다양한 영상과 신호 처리 기법에 사용될 수 있는 일반적인 구조를 제공하며 CIFAR와 같은 표준 이미지 데이터에 대한 여러 벤치마크 결과에 사용되고 있다.

순환 신경망(Recurrent Neural Network, RNN)은 인공신경망을 구성하는 유닛 사이의 연결이 다이렉티드 사이클(directed cycle)을 구성하는 신경망을 말한다. 순환 신경망은 임의의 입력을 처리하기 위해 신경망 내부의 메모리를 활용할 수 있다. 이러한 특성에 의해 순환 신경망은 필기체 인식(Handwriting recognition)과 같은 분야에 활용되고 있고, 높은 인식률을 나타낸다.

한편, 영상분석모듈(310) 및/또는 집중도분석모듈(320)의 영상분석결과 또는 집중도분석결과에 대한 변경 사항은 관리자 단말기(200) 또는 운영 서버(300)에 포함되는 입/출력 인터페이스를 통해 입력될 수 있고, 운영 서버(300)는 입력된 변경 사항을 반영하여 기계학습모델을 추가로 학습시키거나 기계학습모델을 변경하거나 업데이트할 수 있다.

학습자 디스플레이에는 집중도분석모듈(320)에 의해 도출된 집중도가 표출되고, 관리자 디스플레이에는 집중도분석모듈(320)에 의해 도출된 학습자별 집중도가 표출될 수 있다. 또는, 운영 서버(300)는 집중도분석모듈(320)에 의해 도출된 집중도가 '집중력 저하 상태'에 해당하거나 기 설정된 퍼센티지 이하의 값(예를 들어, 50% 이하)을 갖는 학습자의 학습자 단말기(100)에만 도출된 집중도를 전송할 수 있다.

관리자 단말기(200) 및/또는 운영 서버(300)는 집중도가 '집중력 저하 상태'에 해당하거나 기 설정된 퍼센티지 이하의 값(예를 들어, 50% 이하)을 갖는 학습자의 학습자 단말기(100)에 알림메시지를 전송할 수 있다.

또한, 집중도분석모듈(320)은 학습자별 영상분석결과를 기초로 복수의 학습자가 속한 클래스 전체의 클래스 집중도를 분석하고, 클래스 집중도가 기 설정된 값 이하인 경우 클래스 집중도를 관리자 단말기(200) 및/또는 학습자 단말기(100)에 전송할 수 있다. 이때, 집중도분석모듈(320)은 클래스(수업)에 속한 학습자 각각의 집중도를 분석한 뒤, 집중도가 '집중력 저하 상태'인 학습자의 수와 해당 클래스에 속한 전체 학습자의 수의 백분율을 클래스 집중도로 산출한다. 예를 들어, 전체 10명의 학습자가 속한 클래스에서 '집중력 저하 상태'인 학습자의 수가 5명인 경우, 클래스 집중도는 50%가 되는 것이다. 그리고, 기 설정된 기준 값이 80%이고 클래스 집중도가 50%라면, 집중도분석모듈(320)은 클래스 집중도 및/또는 수업에 집중시킬 것/집중할 것을 안내하는 알림메시지를 관리자 단말기(200) 및/또는 학습자 단말기(100)에 전송하여 디스플레이를 통해 표출되도록 할 수 있다.

도 3은 학습관리모듈을 더 포함하는 본 학습 관리 시스템의 구성을 나타낸 도면이다.

도 3을 참조하면, 운영 서버(300)는 학습관리모듈(330)을 더 포함할 수 있다.

학습관리모듈(330)은 학습자의 학습량을 산출하고, 목표 학습량 대비 달성율을 산출할 수 있다. 운영 서버(300)는 학습관리모듈(330)에 의해 산출된 학습량과 달성율을 학습자 단말기(100)에 전송하며, 학습자 단말기(100)의 학습자 디스플레이에는 본인의 학습량과 달성율이 표출된다.

학습관리모듈(330)은 학습 영상의 전체 시간에서 집중력 저하 상태가 지속되던 시간을 뺀 시간인 실제 학습 시간을 학습량으로 산출할 수 있다. 이때, 집중력 저하 상태가 지속되던 시간은 집중도분석모듈(320)의 분석 결과 '집중력 저하 상태'의 집중도를 가졌던 프레임의 개수를 학습 영상의 프레임레이트(시간당 프레임 개수)로 나눔으로써 산출될 수 있는데 집중도분석모듈(320) 또는 학습관리모듈(330)에 의해 산출될 수 있다.

학습관리모듈(330)은 학습자 단말기(100)로부터 목표 학습량을 미리 입력받을 수 있다. 학습관리모듈(330)은 산출된 학습량을 미리 입력받은 목표 학습량으로 나눠 달성율을 산출할 수 있다. 이때, 학습관리모듈(330)은 학습량과 달성율을 시간별, 일별, 주별, 월별, 연별로 산출하고 학습자 단말기(100)에 전송할 수 있고, 학습자 디스플레이에는 학습량과 달성율이 시간별, 일별, 주별, 월별, 연별로 정리되어 표출될 수 있다.

학습관리모듈(330)은 학습자가 집중력 있게 공부한 시간(학습자가 '집중 상태'에 있었던 시간)의 학습 영상의 첫 프레임을 시간별, 일별, 주별, 월별, 연별로 정리하여 데이터화할 수 있고 이를 학습자 단말기(100)에 전송하여 학습자 디스플레이에 표출되도록 할 수 있다.

한편, 학습관리모듈(330)은 산출된 달성율이 기 설정된 값 이상인 경우 시스템 이용 비용의 일부분이 환급되도록 결제 서버에 요청할 수 있고, 요청을 받은 결제 서버는 학습자 단말기(100)에 비용 일부분을 환급할 수 있다.

본 발명의 다른 일 실시예에 따르면, 운영 서버(300)은 학습자세정확도분석모듈(미도시)을 더 포함할 수 있다. 학습자세정확도분석모듈은 기계학습모델에 기초하여 학습자 단말기(100)로부터 수신한 학습 영상을 학습 대상을 기준으로 라벨링한다. 예를 들어, 피아노 연주에 대한 학습 영상, 맨손 운동에 대한 학습 영상, 컴퓨터 타이핑에 대한 학습 영상, 필기에 대한 학습 영상, 태권도 자세에 대한 학습 영상으로 라벨링하고 라벨링된 학습 영상마다 특징 벡터를 추출한다. 이후, 학습자세정확도분석모듈은 기계학습모델에 기초하여 라벨링된 학습 영상을 라벨(기준)에 따라 분류하여 데이터셋을 생성한다. 이후, 학습자세정확도분석모듈은 기계학습모델에 기초하여 학습 영상(피아노 연주, 태권도 자세에 대한 영상 등)을 관리자 단말기(200) 또는 후술할 교수자 단말기(500)에 의해 기 입력되어 메모리부에 기 저장된 예제 영상과 비교하여 학습자세의 매칭 정확도를 분석할 수 있다.

즉, 학습자세정확도분석모듈은, 기계학습모델에 기초하여, 학습자 단말기(100)로부터 수신한 학습 영상을 라벨링하고 특징 벡터를 추출한 뒤, 해당 학습 영상과 같은 카테고리로 라벨링된 예제 영상을 찾고 그 에제 영상의 특징 벡터와 학습 영상에서 추출된 특징 벡터를 비교하여 매칭(일치) 정확도를 판단한 뒤 판단 결과를 관리자 단말기(200) 또는 교수자 단말기(500)에 전송한다.

본 발명의 다른 일 실시예에 따르면, 운영 서버(300)는 분석영역한정모듈(미도시)을 더 포함할 수 있다.

분석영역한정모듈은 학습자 단말기(100)로부터 수신한 학습 영상에서 영상 분석의 대상이 되는 영역을 한정하는 기능을 할 수 있다. 구체적으로, 분석영역한정모듈은 기계학습모델을 이용하여 전송되는 학습 영상에 대해 객체가 새롭게 출현할 영역을 추론하여 영상분석모듈(310) 및/또는 집중도분석모듈(320)로 하여금 분석의 대상이 되는 객체에 대한 인식을 빠르게 수행하기 위한 모듈이다. 이때, 객체는 학습 영상에 포함되는 학습자의 얼굴, 팔, 손, 어깨, 다리 등이 이에 해당할 수 있다. 즉, 학습 영상에 대해 새롭게 객체가 출현할 후보 영역을 한정하고, 그 한정된 영상 부분에만 객체 인식을 수행하고, 수행된 객체 인식 결과와 이전 객체 인식 결과를 통합함으로써, 객체 인식을 빠르게 수행할 수 있다.

운영 서버(300)는 객체를 인식하기 위한 학습 영상을 획득하고, 미리 학습된 기계학습모델을 이용하여 학습 영상에서 객체 출현 영역을 예측하고, 그 예측된 객체 출현 영역을 이용하여 학습 영상에서 객체를 인식한다.

분석영역한정모듈은 학습 영상의 각 프레임에 대해 객체가 신규로 출현한 제1 영역과 객체가 신규로 출현하지 않은 제2 영역이 구별되는 객체 출현 영역 데이터셋을 생성할 수 있다. 분석영역한정모듈은 학습 영상의 각 프레임에 대해 객체 인식을 수행하여 프레임별로 객체 정보를 이용해 객체 추적을 수행하여 객체의 식별 정보와 위치 정보를 산출하고, 그 산출된 프레임별 객체의 식별 정보 및 위치 정보를 이용하여 객체가 신규로 출현한 영역과 객체가 신규로 출현하지 않은 영역을 구별하는 레이블이 저장된 객체 출현 영역 데이터셋을 생성할 수 있다. 예를 들면, 분석영역한정모듈은 프레임별로 특정 객체가 처음 등장한 영역에 대해서 레이블을 생성할 수 있다. 분석영역한정모듈은 생성된 객체 출현 영역 데이터셋을 이용하여 객체가 출현하는 영역의 공통적인 특징을 추출하고, 그 추출된 객체가 출현하는 영역의 공통적인 특징을 기계학습모델에 학습시킬 수 있다. 분석영역한정모듈은 새로운 객체가 출현할 후보 영역을 추론하고, 그 추론된 후보 영역의 공통적인 특징을 상기 기계학습모델에 학습시킬 수 있다. 분석영역한정모듈은 생성된 객체 출현 영역 데이터셋에서 학습 영상의 복수의 픽셀을 슈퍼 픽셀로 클러스터링하고, 그 클러스터링된 슈퍼 픽셀 단위인 슈퍼 픽셀 세그먼테이션으로 객체의 신규 출현 영역이 예측되도록 기계학습모델을 학습시킬 수 있다. 분석영역한정모듈은 첫 번째 프레임에 대해서 전체 화면에서 객체를 인식하고, 두 번째 프레임부터 객체 인식이 수행되는 영역을 상기 예측된 객체 출현 영역으로 제한하여 객체 인식을 수행할 수 있다. 분석영역한정모듈은 학습 영상에서 이전의 객체 출현 영역이 예측된 이전 프레임과 현재 프레임 간의 누적 이동값을 이용하여 객체 출현 영역을 업데이트할 수 있다. 분석영역한정모듈은 누적 이동값이 기설정된 임계치를 이하이면 누적 이동값을 이용하여 객체 출현 영역을 업데이트하고, 누적 이동값이 기설정된 임계치를 초과하면 영상에서 객체 출현 영역을 다시 예측할 수 있다. 분석영역한정모듈은 이전 프레임에서 객체가 인식되지 않은 부분에 대한 모션벡터의 평균을 누적하여 누적 모션벡터를 계산하고, 그 계산된 누적 모션벡터를 이용하여 이전 프레임과 현재 프레임 간의 누적 이동값을 산출할 수 있다.

도 4는 교수자와 학습자가 참여하는 실시간 원격 수업 시 활용되는 인공지능 기반 학습 관리 시스템의 구성을 나타낸 도면이다.

도 4를 참조하면, 본 학습 관리 시스템은 학습자 단말기(400), 교수자 단말기(500) 및/또는 운영 서버(600)를 포함할 수 있다.

학습자 단말기(400)는 학습자 카메라 및/또는 학습자 디스플레이를 포함하며, 학습자 카메라에 의해 촬영된 학습 영상을 운영 서버로 전송할 수 있다.

운영 서버(600)는 학습 영상을 분석하여 영상분석결과를 도출하는 영상분석모듈(610), 영상분석결과를 기초로 학습자의 집중도를 분석하는 집중도분석모듈(620) 및/또는 학습자의 학습량을 산출하고 목표 학습량 대비 달성율을 산출하는 학습관리모듈(630)을 포함할 수 있다. 운영 서버(600)는 집중도분석모듈(620)과 학습관리모듈(630)에 의해 산출된 집중도, 학습량 및/또는 달성율을 교수자 단말기(500)로 전송할 수 있다.

교수자 단말기(500)는 교수자 디스플레이를 포함하며, 교수자 디스플레이에는 학습자별 집중도, 학습량 및/또는 달성율이 표출될 수 있다.

도 1 내지 도 3의 학습 관리 시스템은 학습자가 자율학습을 하거나 비실시간 콘텐츠에 의한 수업에 참여하고 있는 상황에 대한 실시예인 반면, 도 4의 학습 관리 시스템은 교수자와 학습자가 실시간 쌍방향 원격 수업을 하고 있는 상황에 대한 실시예이다. 도 1 내지 도 3의 실시예 대비 도 4의 실시예에서는 관리자 단말기(200)가 교수자 단말기(500)로 대체되었으며, 도 1 내지 도 3의 실시예에서의 관리자 단말기(200)의 기능을 교수자 단말기(500)가 모두 수행할 수 있다. 나아가, 본 도면에서의 운영 서버(600), 영상분석모듈(610), 집중도분석모듈(620), 학습관리모듈(630), 학습자 단말기(400)는 도 1 내지 도 3의 실시예에서 동일한 이름을 갖는 구성들과 동일한 기능을 수행할 수 있고 따라서 이에 대한 상세한 설명은 전술한 도 1 내지 도 3에서의 설명으로 대체한다.

도 5는 영상분석모듈, 집중도분석모듈 및 학습관리모듈이 관리자 단말기 또는 교수자 단말기에 구성되는 인공지능 기반 학습 관리 시스템의 구성을 나타낸 도면이다.

도 5를 참조하면, 영상분석모듈(310), 집중도분석모듈(320) 및/또는 학습관리모듈(330)은 관리자 단말기(200) 또는 교수자 단말기(도면에는 200으로 식별표시)에 포함될 수 있다.

본 실시예에 따르면, 관리자/교수자 단말기(200)는 학습자 단말기(100)로부터 학습 영상을 운영 서버(300)를 거쳐 전달받은 뒤, 학습 영상에 대한 영상분석, 집중도분석, 학습량/달성율분석 등을 수행하고, 그 분석결과를 운영 서버(300)에 전송하고, 운영 서버(300)는 전송된 분석결과를 학습자 단말기(100)에 전송한다.

이로써, 학습자 단말기(100)에는 데이터 처리에 대한 부담을 주지 않는 방식으로, 운영 서버(300)의 데이터 처리 부담을 관리자/교수자 단말기(200)에 분산시켜, 본 학습 관리 시스템의 주요 기능은 그대로 수행될 수 있도록 한다.

도 6은 영상채팅서버를 더 포함하는 인공지능 기반 학습 관리 시스템의 구성을 나타낸 도면이다.

도 6을 참조하면, 본 학습 관리 시스템은 영상채팅서버(700)를 더 포함할 수 있다.

영상채팅서버(700)는 관리자 단말기(200) 및/또는 교수자 단말기와, 학습자 단말기(100) 사이의 음성 데이터 및/또는 텍스트 데이터의 통신을 중개할 수 있다. 관리자 단말기(200) 및/또는 교수자 단말기와, 학습자 단말기(100) 사이에 송수신되는 음성 데이터 및/또는 텍스트 데이터는 운영 서버(300)를 거치지 않고 영상채팅서버(700)를 거쳐 전송되고 수신된다. 이처럼, 음성 데이터 및/또는 텍스트 데이터의 통신 데이터 처리를 운영 서버(300)로부터 분리함으로써 운영 서버(300)의 영상 분석에 대한 처리 속도를 향상시키면서 동시에 음성 데이터 및/또는 텍스트 데이터의 송수신 속도를 개선할 수 있다.

도 7은 클라우드 서버를 더 포함하는 인공지능 기반 학습 관리 시스템의 구성을 나타낸 도면이다.

도 7을 참조하면, 본 학습 관리 시스템은 학습자 단말기(100), 관리자/교수자 단말기(200), 운영 서버(300), 영상채팅서버(700) 및/또는 클라우드 서버(800)를 포함할 수 있다.

전술한 실시예에서 설명한 영상분석모듈(310), 집중도분석모듈(320) 및/또는 학습관리모듈(330)은 별도의 클라우드 서버(800)에 포함된다. 본 실시예에 따르면, 학습자 단말기(100)는 학습 영상을 운영 서버(300)로 전송하고, 운영 서버(300)는 학습자 단말기(100)로부터 수신한 학습 영상을 그대로 클라우드 서버(800)에 전송한다. 이후, 클라우드 서버(800)에 포함된 영상분석모듈(310), 집중도분석모듈(320) 및/또는 학습관리모듈(330)은 영상분석, 집중도분석, 학습량/달성율분석 등을 수행하고 분석결과를 관리자/교수자 단말기(200) 및/또는 운영 서버(300)에 전송한다. 그리고, 운영 서버(300)는 클라우드 서버(800)로부터 수신한 분석결과를 학습자 단말기(100)에 전송한다.

이로써, 운영 서버(300)는 본 학습 관리 시스템의 운영만을 위한 데이터 처리에 집중할 수 있어, 시스템 전체적인 처리 속도가 향상될 수 있다.

도 8은 본 학습 관리 시스템에 의해 학습자 또는 관리자로부터 업로드되는 학업 스케줄이 다양한 형태의 UI(User Interface)로 구성되는 과정을 나타낸 도면이다.

도 8을 참조하면, 학습자 단말기(100) 및/또는 관리자/교수자 단말기(200, 500)는 학습자의 시간에 따른 학업 스케줄을 운영 서버(300) 및/또는 클라우드 서버(800)로 전송한다(S100).

운영 서버(300) 및/또는 클라우드 서버(800) 내 학습관리모듈(330)은 영상분석모듈(310) 및/또는 집중도분석모듈(320)의 분석결과를 기초로 학습자의 학습량을 산출하고 전송된 학업 스케줄의 달성여부 및/또는 달성율을 산출한다(S200).

S200 단계에서 산출된 정보는 UI구성모듈(미도시, 운영 서버(300) 및/또는 클라우드 서버(800)에 포함될 수 있고, 별도의 서버로 구성될 수 있음)로 전송되고, UI구성모듈은 산출된 학습량, 달성여부 및/또는 달성율을 다양한 형태의 UI로 구성한다(S300). 이때, UI는 디스플레이에 표출되는 화면 구성을 나타낸다. 예를 들어, UI구성모듈에 의해 구성된 UI에는, 시간 단위가 속이 빈 원의 형태로 구성되고 이러한 원이 시간에 따라 하트모양으로 형성되며, 목표 학습량이 달성된 시간에 해당하는 원의 속은 완전히 채워지고, 달성율에 따라 원의 일부가 채워지는 방식으로 구성될 수 있다.

S300 단계에서 구성된 UI는 학습자 단말기(100) 및/또는 관리자/교수자 단말기(200)의 디스플레이에 표출된다.

한편, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media)에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 프로세서의 제어 하에 다른 구성요소들을 이용하여 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.

또한, 본 발명의 일 실시예에 따르면, 이상에서 설명된 다양한 실시예들은 소프트웨어(software), 하드웨어(hardware) 또는 이들의 조합을 이용하여 컴퓨터(computer) 또는 이와 유사한 장치로 읽을 수 있는 기록 매체 내에서 구현될 수 있다. 일부 경우에 있어 본 명세서에서 설명되는 실시예들이 프로세서 자체로 구현될 수 있다. 소프트웨어적인 구현에 의하면, 본 명세서에서 설명되는 절차 및 기능과 같은 실시예들은 별도의 소프트웨어 모듈들로 구현될 수 있다. 소프트웨어 모듈들 각각은 본 명세서에서 설명되는 하나 이상의 기능 및 동작을 수행할 수 있다.

한편, 상술한 다양한 실시예들에 따른 기기의 프로세싱 동작을 수행하기 위한 컴퓨터 명령어(computer instructions)는 비일시적 컴퓨터 판독 가능 매체(non-transitory computer-readable medium)에 저장될 수 있다. 이러한 비일시적 컴퓨터 판독 가능 매체에 저장된 컴퓨터 명령어는 특정 기기의 프로세서에 의해 실행되었을 때 상술한 다양한 실시예에 따른 기기에서의 처리 동작을 특정 기기가 수행하도록 한다. 비일시적 컴퓨터 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 비일시적 컴퓨터 판독 가능 매체의 구체적인 예로는, CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등이 있을 수 있다.

또한, 상술한 다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.

이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 개시에 속하는 기술분야에서 통상의 지식을 가진 자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어서는 안될 것이다.

100, 400: 학습자 단말기 200: 관리자 단말기
300, 600: 운영 서버 500: 교수자 단말기
310, 610: 영상분석모듈 320, 620: 집중도분석모듈
330, 630: 학습관리모듈 700: 영상채팅서버
800: 클라우드 서버

Claims (5)

1. 학습자 단말기, 관리자 단말기 및 운영 서버를 포함하는 인공지능 기반 학습 관리 시스템으로서,
   상기 학습자 단말기는, 학습자 카메라 및 학습자 디스플레이를 포함하며, 상기 학습자 카메라에 의해 촬영된 학습 영상을 상기 운영 서버로 전송하고,
   상기 운영 서버는, 상기 학습 영상을 분석하여 영상분석결과를 도출하는 영상분석모듈을 포함하며, 상기 운영 서버는 상기 영상분석결과와 상기 학습 영상을 상기 관리자 단말기로 전송하고,
   상기 관리자 단말기는, 관리자 디스플레이를 포함하며, 상기 관리자 디스플레이에는 상기 학습 영상과 상기 영상분석결과가 표출되고,
   상기 운영 서버는,
   상기 영상분석결과를 기초로 학습자의 집중도를 분석하는 집중도분석모듈; 및
   학습자의 학습량을 산출하고, 목표 학습량 대비 달성율을 산출하는 학습관리모듈을 더 포함하되,
   상기 학습자 카메라는,
   학습자의 얼굴 및 손이 영상에 포함되도록 설치되어 학습자 카메라가 촬영한 학습 영상에는 학습자의 얼굴 및 손을 포함하는 객체가 포함되고,
   상기 영상분석모듈은,
   상기 학습 영상에서 학습자의 얼굴 및 손을 검출하고, 학습 영상 내 학습자의 얼굴의 위치, 손의 위치 및 상기 학습 영상의 시간에 따른 프레임을 비교하고 학습자의 움직임 패턴을 검출하여 영상분석결과로 도출하며, 상기 영상분석결과를 상기 집중도분석모듈로 송신하고,
   상기 집중도분석모듈은,
   상기 학습자의 학습 상황이 수업 중인지 판단한 후, 상기 학습자의 학습 상황이 수업 중인 경우, 상기 집중도를 분석하고,
   상기 학습관리모듈은,
   학습 영상의 전체 시간에서 집중력 저하 상태가 지속되던 시간의 차를 통해 실제 학습 시간을 상기 학습량으로 산출하고,
   상기 집중력 저하 상태가 지속되던 시간은,
   집중력 저하 상태의 집중도를 가졌던 프레임의 개수를 학습 영상의 프레임레이트로 나눔으로써 산출되고,
   상기 학습관리모듈은,
   학습자가 집중력 있게 공부한 시간의 학습 영상의 첫 프레임을 시간별, 일별, 주별, 월별 및 연별로 정리한 데이터를 생성하며, 생성한 상기 데이터를 상기 학습자 단말기로 송신하여 상기 학습자 디스플레이에 표출되도록 하고,
   상기 운영 서버는,
   상기 학습자 단말기로부터 수신한 상기 학습 영상에서 영상 분석의 대상이 되는 영역을 한정하는 분석영역한정모듈을 더 포함하고,
   상기 분석영역한정모듈은,
   상기 학습 영상의 각 프레임에 대해 객체 인식을 수행하여 프레임별로 객체 정보를 이용해 객체 추적을 수행하여 객체의 식별 정보와 위치 정보를 산출하고, 상기 산출된 프레임별 객체의 식별 정보 및 객체의 위치 정보를 이용하여 상기 객체가 신규로 출현한 영역과 상기 각 프레임과 상기 각 프레임의 이전 프레임을 비교하여 상기 객체가 신규로 출현하지 않은 영역을 구별하는 레이블이 저장된 객체 출현 영역 데이터셋을 생성하고;
   상기 학습 영상의 각 프레임에 대해 상기 생성된 객체 출현 영역 데이터셋을 이용하여, 상기 객체가 신규로 출현하는 영역의 공통적인 특징을 추출하고, 상기 추출된 객체가 출현하는 영역의 공통적인 특징을 기계학습모델에 학습시키며;
   상기 학습 영상의 각 프레임에 대해 상기 생성된 객체 출현 영역 데이터셋을 이용하여, 새로운 객체가 출현할 후보 영역을 추론하고, 상기 추론된 후보 영역의 공통적인 특징을 상기 기계학습모델에 학습시키며;
   상기 생성된 객체 출현 영역 데이터셋을 이용하여 상기 학습 영상의 각 프레임에서 상기 객체가 출현하는 영역에 대응되는 복수의 픽셀을 슈퍼 픽셀로 클러스터링하고, 상기 클러스터링된 슈퍼 픽셀 단위인 슈퍼 픽셀 세그먼테이션으로 상기 객체의 신규 출현 영역이 예측되도록 상기 기계학습모델에 학습시키고;
   상기 학습 영상의 첫 번째 프레임에 대해서는 전체 화면에서 상기 객체를 인식하고, 두 번째 프레임부터는 객체 인식이 수행되는 영역을 상기 예측된 객체의 신규 출현 영역으로 제한하여 객체 인식을 수행하고;
   상기 학습 영상에서 객체 출현 영역이 예측된 이전 프레임과 현재 프레임 간의 누적 이동값을 이용하여 상기 예측된 객체의 신규 출현 영역을 업데이트하고;
   상기 누적 이동값이 기 설정된 임계치 이하이면 누적 이동값을 이용하여 객체 출현 영역을 업데이트하고, 누적 이동값이 기 설정된 임계치를 초과하면 상기 학습 영상에서 객체 출현 영역을 다시 예측하며;
   이전 프레임에서 객체가 인식되지 않은 부분에 대한 모션벡터의 평균을 누적하여 누적 모션벡터를 계산하고, 상기 계산된 누적 모션벡터를 이용하여 이전 프레임과 현재 프레임 간의 상기 누적 이동값을 산출하여;
   상기 영상분석모듈 및 상기 집중도분석모듈의 객체에 대한 인식을 빠르게 수행하도록 하는 것을 특징으로 하는, 인공지능 기반 학습 관리 시스템.
2. 청구항 1에 있어서,
   상기 운영 서버는 상기 집중도를 상기 관리자 단말기 및 상기 학습자 단말기에 전송하며,
   상기 학습자 디스플레이에는 상기 집중도가 표출되고, 상기 관리자 단말기에는 학습자별 상기 집중도가 표출되는, 인공지능 기반 학습 관리 시스템.
3. 청구항 1에 있어서,
   상기 집중도분석모듈은 학습자별 영상분석결과를 기초로 복수의 학습자가 속한 클래스 전체의 클래스 집중도를 분석하고, 상기 클래스 집중도가 기 설정된 값 이하인 경우 상기 클래스 집중도를 상기 관리자 단말기 및 상기 학습자 단말기에 전송하며,
   상기 학습자 디스플레이 및 상기 관리자 디스플레이에는 상기 클래스 집중도가 표출되는, 인공지능 기반 학습 관리 시스템.
4. 청구항 1에 있어서,
   상기 운영 서버는 상기 학습량과 상기 달성율을 상기 학습자 단말기에 전송하며,
   상기 학습자 디스플레이에는 상기 학습량과 상기 달성율이 표출되고,
   상기 학습관리모듈은 상기 달성율이 기 설정된 값 이상인 경우 시스템 이용 비용의 일부분이 환급되도록 결제 서버에 요청하는, 인공지능 기반 학습 관리 시스템.
5. 학습자 단말기, 교수자 단말기 및 운영 서버를 포함하는 인공지능 기반 학습 관리 시스템으로서,
   상기 학습자 단말기는 학습자 카메라 및 학습자 디스플레이를 포함하며, 상기 학습자 카메라에 의해 촬영된 학습 영상을 상기 운영 서버로 전송하고,
   상기 운영 서버는 상기 학습 영상을 분석하여 영상분석결과를 도출하는 영상분석모듈, 상기 영상분석결과를 기초로 학습자의 집중도를 분석하는 집중도분석모듈, 및 학습자의 학습량을 산출하고 목표 학습량 대비 달성율을 산출하는 학습관리모듈을 포함하며,
   상기 운영 서버는 상기 집중도, 상기 학습량 및 상기 달성율을 상기 교수자 단말기로 전송하고,
   상기 교수자 단말기는 교수자 디스플레이를 포함하며, 상기 교수자 디스플레이에는 학습자별 상기 집중도, 상기 학습량 및 상기 달성율이 표출되되,
   상기 학습자 카메라는,
   학습자의 얼굴 및 손이 영상에 포함되도록 설치되어 학습자 카메라가 촬영한 학습 영상에는 학습자의 얼굴 및 손을 포함하는 객체가 포함되고,
   상기 영상분석모듈은,
   상기 학습 영상에서 학습자의 얼굴 및 손을 검출하고, 학습 영상 내 학습자의 얼굴의 위치, 손의 위치 및 상기 학습 영상의 시간에 따른 프레임을 비교하고 학습자의 움직임 패턴을 검출하여 영상분석결과로 도출하며, 상기 영상분석결과를 상기 집중도분석모듈로 송신하고,
   상기 집중도분석모듈은,
   상기 학습자의 학습 상황이 수업 중인지 판단한 후, 상기 학습자의 학습 상황이 수업 중인 경우, 상기 집중도를 분석하고,
   상기 학습관리모듈은,
   학습 영상의 전체 시간에서 집중력 저하 상태가 지속되던 시간의 차를 통해 실제 학습 시간을 상기 학습량으로 산출하고,
   상기 집중력 저하 상태가 지속되던 시간은,
   집중력 저하 상태의 집중도를 가졌던 프레임의 개수를 학습 영상의 프레임레이트로 나눔으로써 산출되고,
   상기 학습관리모듈은,
   학습자가 집중력 있게 공부한 시간의 학습 영상의 첫 프레임을 시간별, 일별, 주별, 월별 및 연별로 정리한 데이터를 생성하며, 생성한 상기 데이터를 상기 학습자 단말기로 송신하여 상기 학습자 디스플레이에 표출되도록 하고,
   상기 운영 서버는,
   상기 학습자 단말기로부터 수신한 상기 학습 영상에서 영상 분석의 대상이 되는 영역을 한정하는 분석영역한정모듈을 더 포함하고,
   상기 분석영역한정모듈은,
   상기 학습 영상의 각 프레임에 대해 객체 인식을 수행하여 프레임별로 객체 정보를 이용해 객체 추적을 수행하여 객체의 식별 정보와 위치 정보를 산출하고, 상기 산출된 프레임별 객체의 식별 정보 및 객체의 위치 정보를 이용하여 상기 객체가 신규로 출현한 영역과 상기 각 프레임과 상기 각 프레임의 이전 프레임을 비교하여 상기 객체가 신규로 출현하지 않은 영역을 구별하는 레이블이 저장된 객체 출현 영역 데이터셋을 생성하고;
   상기 학습 영상의 각 프레임에 대해 상기 생성된 객체 출현 영역 데이터셋을 이용하여, 상기 객체가 신규로 출현하는 영역의 공통적인 특징을 추출하고, 상기 추출된 객체가 출현하는 영역의 공통적인 특징을 기계학습모델에 학습시키며;
   상기 학습 영상의 각 프레임에 대해 상기 생성된 객체 출현 영역 데이터셋을 이용하여, 새로운 객체가 출현할 후보 영역을 추론하고, 상기 추론된 후보 영역의 공통적인 특징을 상기 기계학습모델에 학습시키며;
   상기 생성된 객체 출현 영역 데이터셋을 이용하여 상기 학습 영상의 각 프레임에서 상기 객체가 출현하는 영역에 대응되는 복수의 픽셀을 슈퍼 픽셀로 클러스터링하고, 상기 클러스터링된 슈퍼 픽셀 단위인 슈퍼 픽셀 세그먼테이션으로 상기 객체의 신규 출현 영역이 예측되도록 상기 기계학습모델에 학습시키고;
   상기 학습 영상의 첫 번째 프레임에 대해서는 전체 화면에서 상기 객체를 인식하고, 두 번째 프레임부터는 객체 인식이 수행되는 영역을 상기 예측된 객체의 신규 출현 영역으로 제한하여 객체 인식을 수행하고;
   상기 학습 영상에서 객체 출현 영역이 예측된 이전 프레임과 현재 프레임 간의 누적 이동값을 이용하여 상기 예측된 객체의 신규 출현 영역을 업데이트하고;
   상기 누적 이동값이 기 설정된 임계치 이하이면 누적 이동값을 이용하여 객체 출현 영역을 업데이트하고, 누적 이동값이 기 설정된 임계치를 초과하면 상기 학습 영상에서 객체 출현 영역을 다시 예측하며;
   이전 프레임에서 객체가 인식되지 않은 부분에 대한 모션벡터의 평균을 누적하여 누적 모션벡터를 계산하고, 상기 계산된 누적 모션벡터를 이용하여 이전 프레임과 현재 프레임 간의 상기 누적 이동값을 산출하여;
   상기 영상분석모듈 및 상기 집중도분석모듈의 객체에 대한 인식을 빠르게 수행하도록 하는 것을 특징으로 하는, 인공지능 기반 학습 관리 시스템.

Images