KR102114207B1 - 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법 - Google Patents

Abstract

본 발명은 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법에 관한 것으로, 본 발명에 따른 시스템은 교사의 음성 정보, 교사의 움직임에 따른 교사 모션 정보 및 교사의 시점에서 촬영되는 교사 시점 영상을 생성하여 전송하는 교사 단말부, 학생의 음성 정보, 학생의 움직임에 따른 학생 모션 정보 및 학생의 시점에서 촬영되는 학생 시점 영상을 생성하여 전송하는 학생 단말부, 교사의 음성 정보 및 상기 교사의 움직임에 따른 모션 정보에 기초하여 생성되는 가상 현실 기반 학습 영상을 학생 시점 영상에 합성하여 학생 단말에 제공하는 교육 서버를 포함한다. 교육 서버는 학생의 학습 상태에 따라 보조 학습 콘텐츠를 인공지능 기반으로 선택하여 제공하는 인공지능 학습 보조부를 포함할 수 있다. 본 발명에 의하면 학습에 참여하는 학생의 학습 상태에 따라 보조 학습 콘텐츠를 인공지능 기반으로 선택하여 제공함으로써 보다 효율적인 수업이 이루어질 수 있도록 지원할 수 있는 효과가 있다.

Description

인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법{Learning Support System And Method Using Augmented Reality And Virtual reality based on Artificial Intelligence}

본 발명은 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법에 관한 것으로서, 보다 상세하게는 학생의 학습 상태에 따라 보조 학습 콘텐츠를 인공지능 기반으로 선택하여 제공함으로써 보다 효율적인 수업이 이루어질 수 있도록 지원하는 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법에 관한 것이다.

현재 인터넷 및 이를 지원하는 다양한 통신 기기의 발전과 더불어 다양한 온라인 학습 시스템이 제공되고 있으며, 이를 통해 교사는 원격에서 교육 대상자에 대하여 다양한 학습 프로그램을 제공할 수 있다.

그러나 기존의 온라인 학습 시스템의 경우 대부분 단순 프로그램의 일방적인 전달이거나 어플리케이션 또는 웹 기반 대화형 학습 서비스 정도에 그치고 있어 주의가 산만한 교육 대상자의 지속적인 관심을 얻기가 어려워 학습 효과가 낮은 한계가 있다.

또한, 실재 선생님이 등장하여 온라인으로 실시간 학생들을 보면서 수업을 진행하는 온라인 화상 학습 서비스 기술도 존재하지만 이는 단순히 오프라인 학습을 온라인으로 전환한 정도이며, 부가 서비스는 전자 칠판이나 디지털 컨텐츠를 보조 학습 도구로 활용하는 수준이어서 이 역시 학생의 관심을 지속적으로 얻기 어려우며, 주의가 산만한 학생들의 주목을 지속시키기 어려운 한계가 있다.

즉, 기존의 온라인 학습 시스템은 교사의 학생에 대한 일방적인 정보 전달에 그치고 있으며, 이에 따라 학생들이 쉽게 피로감을 느끼고 학습에 흥미를 잃게 되는 문제점이 있다.

최근 이러한 문제점을 해결하기 위해 가상 현실과 증강 현실을 이용한 온라인 학습 시스템 및 방법에 관한 발명이 개시되었으나, 여전히 학습에 참여하는 학생의 학습 이해도와 학습 집중도 등에 대해서 교사에게 수업 중에 정보를 제공하여 보다 효율적인 수업이 이루어질 수 있도록 지원하는 방법에 대해서는 여전히 제시하고 있지 못하는 상황이다.

한국등록특허 제1,788,248호

본 발명은 상기와 같은 상황을 고려하여 창안된 것으로서, 본 발명의 기술적 과제는 학습에 참여하는 학생의 학습 상태에 따라 보조 학습 콘텐츠를 인공지능 기반으로 선택하여 제공함으로써 보다 효율적인 수업이 이루어질 수 있도록 지원하는 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템 및 방법에 관한 것이다.

상기한 기술적 과제를 해결하기 위한 본 발명에 따른 시스템은 교사의 음성 정보, 교사의 움직임에 따른 교사 모션 정보 및 교사의 시점에서 촬영되는 교사 시점 영상을 생성하여 전송하는 교사 단말부, 학생의 음성 정보, 학생의 움직임에 따른 학생 모션 정보 및 학생의 시점에서 촬영되는 학생 시점 영상을 생성하여 전송하는 학생 단말부, 상기 교사의 음성 정보 및 상기 교사의 움직임에 따른 모션 정보에 기초하여 생성되는 가상 현실 기반 학습 영상을 상기 학생 시점 영상에 합성하여 상기 학생 단말에 제공하는 교육 서버를 포함한다.

상기 교육 서버는 상기 학생의 학습 상태에 따라 보조 학습 콘텐츠를 인공지능 기반으로 선택하여 상기 교육 서버를 통해 제공하는 인공지능 학습 보조부를 포함한다.

상기 인공지능 학습 보조부는, 학생의 학습 레벨에 따라 난이도가 다른 문제를 상기 보조 학습 콘텐츠로 제공할 수 있다.

상기 인공지능 학습 보조부는, 상기 교사가 출제한 문제에 대해 수업에 참가한 학생 중 미리 정해진 비율 이상의 학생이 오답을 하면, 상기 교사 단말부에 상기 교사가 출제한 문제보다 난이도가 낮은 문제를 추천할 수 있다.

상기 인공지능 학습 보조부는, 상기 학생의 학습 상태에 따라 수업에 참가한 학생을 대신한 질문 또는 추가 설명을 요청하는 메시지를 상기 교사 단말부에 출력되게 할 수 있다.

상기 교육 서버는, 상기 교사의 음성이 입력되는 동안, 가상 현실 기반 학습 영상이나 상기 보조 학습 콘텐츠의 오디오 출력을 멈추거나 미리 정해진 기준 이하의 볼륨 레벨로 낮추어 출력시킬 수 있다.

상기 인공지능 학습 보조부는, 수업에 참가한 학생별로 수업중 실시간으로 학생의 학습 레벨을 평가하기 위한 문제를 출제할 수 있다.

상기 인공지능 학습 보조부는, 수업에 참가한 전체 학생의 학습 이해도를 산출하여 미리 정해진 기준 이상인 경우, 수업 중의 교육 상황을 녹화한 데이터를 이용하여 학습 콘텐츠를 생성할 수 있다.

상기한 기술적 과제를 해결하기 위한 본 발명에 따른 방법은, 교사 단말부가 교사의 음성 정보, 교사의 움직임에 따른 교사 모션 정보 및 교사의 시점에서 촬영되는 교사 시점 영상을 생성하여 전송하는 단계, 학생 단말부가 학생의 음성 정보, 학생의 움직임에 따른 학생 모션 정보 및 학생의 시점에서 촬영되는 학생 시점 영상을 생성하여 전송하는 단계, 교육 서버가 상기 교사의 음성 정보 및 상기 교사의 움직임에 따른 모션 정보에 기초하여 생성되는 가상 현실 기반 학습 영상을 상기 학생 시점 영상에 합성하여 상기 학생 단말에 제공하는 단계, 그리고 인공지능 학습 보조부가 상기 학생의 학습 상태에 따라 보조 학습 콘텐츠를 인공지능 기반으로 선택하여 상기 교육 서버를 통해 제공할 수 있다.

본 발명에 의하면 학습에 참여하는 학생의 학습 상태에 따라 보조 학습 콘텐츠를 인공지능 기반으로 선택하여 제공함으로써 보다 효율적인 수업이 이루어질 수 있도록 지원할 수 있는 효과가 있다.

도 1은 본 발명에 따른 증강 현실과 가상 현실을 이용한 학습 지원 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명에 따른 교사 단말부의 세부 구성을 나타낸 블록도이다.
도 3은 본 발명에 따른 학생 단말부의 세부 구성을 나타낸 블록도이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 실시 예를 상세하게 설명한다. 본 발명의 구성 및 그에 따른 작용 효과는 이하의 상세한 설명을 통해 명확하게 이해될 것이다.

도 1은 본 발명에 따른 증강 현실과 가상 현실을 이용한 학습 지원 시스템의 구성을 나타낸 블록도이다.

도 1을 참고하면, 본 발명에 따른 증강 현실과 가상 현실을 이용한 학습 지원 시스템은 교사 단말부(100), 학생 단말부(200) 및 교육 서버(300)를 포함할 수 있다. 교육 서버(300)는 인공지능 학습 보조부(310)를 포함할 수 있다.

교사 단말부(100), 학생 단말부(200) 및 교육 서버(300)는 통신망(10)을 통해 각종 정보 및 데이터를 교환할 수 있다.

도 1에서는 설명의 편의 상 하나의 교사 단말부(100)와 하나의 학생 단말부(200)만을 도시하였으나, 다수의 교사 단말부(100)와 다수의 학생 단말부(200)가 통신망(10)을 통해 교육 서버(300)와 연결되어 각종 정보 및 데이터를 교환하면서 교사들과 학생들이 수업을 할 수 있도록 지원할 수 있다.

통신망(10)은 구내 정보 통신망(local area network:LAN), 도시권 통신망(metropolitan area network:MAN), 광역 통신망(wide area network:WAN), 인터넷 등을 가리지 않고, 통신 방식도 유선, 무선을 가리지 않으며 어떠한 통신 방식이라도 상관없다.

교사 단말부(100)는 교사의 음성 정보, 교사의 움직임에 따른 교사 모션 정보 및 교사의 시점에서 촬영되는 교사 시점 영상을 생성하여 통신망(10)을 통해 교육 서버(300)로 전송할 수 있다.

학생 단말부(200)는 학생의 음성 정보, 학생의 움직임에 따른 학생 모션 정보 및 학생의 시점에서 촬영되는 학생 시점 영상을 생성하여 통신망(10)을 통해 교육 서버(300)로 전송할 수 있다.

교육 서버(300)는 가상현실과 증강현실을 기반으로 한 교육콘텐츠를 제공함과 동시에 시나리오에 기반하여 교사 및 학생 개개인의 모션을 수용하고, 그에 따라 수업 중인 교육콘텐츠의 상태를 변화시킴으로써 증강 현실과 가상 현실을 이용한 학습 지원을 지원할 수 있다.

구체적으로 교육 서버(300)는 교사의 음성 정보 및 교사의 움직임에 따른 모션 정보에 기초하여 생성되는 가상 현실 기반 학습 영상을 학생 시점 영상에 합성하여 학생 단말부(200)에 제공하고, 학생의 학습 상태에 대한 정보를 교사 시점 영상에 합성하여 교사 단말부(100)에 제공할 수 있다.

교육 서버(300)는 학생 단말부(200)와 연동하여 교실에 학생이 출석하였는지 확인하고, 학생 단말부(200)를 통해 수업 중에 수집되는 학생의 모션 정보를 기초로 학생의 학습 상태에 대한 정보를 산출하여, 이를 교사 단말부(100)에 제공할 수 있다.

인공지능 학습 보조부(310)는 수업에 참여하고 있는 학생의 학습 상태에 따라 보조 학습 콘텐츠를 인공지능 기반으로 선택하여 교육 서버(300)를 통해 제공할 수 있다.

학생의 학습 상태는 학습 이해도와 학습 집중도를 포함할 수 있다. 교육 서버(300)에서 학생의 학습 상태를 산출하여 교사 단말부(100)에 제공하는 동작과, 인공지능 학습 보조부(310)에서 보조 학습 콘텐츠를 인공지능 기반으로 선택하여 제공하는 동작에 대해서는 아래에서 보다 자세히 설명한다.

도 2는 본 발명에 따른 교사 단말부의 세부 구성을 나타낸 블록도이다.

도 2를 참고하면, 교사 단말부(100)는 제1 마이크(110), 제1 관성 센서(120), 제1 카메라(130), 제1 스피커(140), 제1 디스플레이부(150), 제1 통신부(160) 및 제1 제어부(170) 등을 포함할 수 있다.

제1 마이크(110)는 교사의 음성 정보를 획득하는 기능을 수행한다. 교사는 음성으로 가상현실과 증강현실을 기반으로 한 교육콘텐츠를 통한 수업을 진행할 수 있으며, 필요한 경우 학생을 지정하거나 전체 학생에게 학습 이해도 등을 평가하기 위한 문제 등을 출제할 수 있다. 물론 교사는 특정한 모션을 취하거나, 교사 단말부(100)에 구비되는 키보드, 키패드, 버튼 등의 사용자 입력 수단을 통해서 수업을 진행하고, 학습 이해도 등을 평가하기 위한 문제 등을 출제할 수도 있다.

제1 관성 센서(120)는 자이로 센서나 가속도 센서 등을 포함하고, 교사가 취하는 움직임 정보를 획득하는 기능을 수행한다. 앞서 설명한 것과 같이 교사는 특정한 움직임 등을 취하여 가상현실과 증강현실을 기반으로 한 교육콘텐츠를 통한 수업을 진행할 수 있다. 예컨대 화학 수업의 경우 화면에 가상으로 보여지는 비이커와 스포이드를 이용하여 화학 실험을 하기 위한 움직임 등을 취하면, 수업에 참여한 교사 단말부(100)와 학생 단말부(200)의 화면에 가상현실과 증강현실을 기반으로 한 화학 실험 콘텐츠에 해당하는 영상이 제공됨으로써, 교사와 학생은 실제로 화학 실험을 하는 것으로 느낄 수 있다. 가상현실과 증강현실을 기반으로 한 교육콘텐츠를 이용한 수업에 대해서는 이미 다양한 공지된 내용이 있으므로 여기서 자세한 설명은 생략한다.

제1 카메라(130)는 교사의 시점에서 영상을 촬영하는 기능을 수행한다.

제1 스피커(140)는 교육콘텐츠 실행에 따라 발생하는 효과음이나, 학생 단말부(200)를 통해 획득되는 학생의 음성 등을 출력할 수 있다.

제1 디스플레이부(150)는 가상현실과 증강현실을 기반으로 한 교육콘텐츠를 화면에 출력하는 기능을 수행한다. 제1 디스플레이부(150)는 컴퓨터 모니터 화면으로 구현될 수도 있으나, 입체감있게 영상을 재생할 수 있는 스마트 안경이나 헤드업 디스플레이 등으로 구현될 수도 있다.

제1 통신부(160)는 교사 단말부(100)가 통신망(10)을 통해 외부 장치들, 예컨대 학생 단말부(200)나 교육 서버(300)와 각종 정보 및 데이터를 교환할 수 있도록 지원하는 기능을 수행한다.

제1 제어부(170)는 교사 단말부(100)의 전체적인 동작을 제어하는 기능을 수행한다.

교사 단말부(100)는 헤드업 디스플레이 장치에 앞서 설명한 모든 구성 요소, 제1 마이크(110), 제1 관성 센서(120), 제1 카메라(130), 제1 스피커(140), 제1 디스플레이부(150), 제1 통신부(160) 및 제1 제어부(170) 등이 포함되게 구현할 수 있다.

또는 실시예에 따라서 제1 마이크(110), 제1 관성 센서(120), 제1 카메라(130), 제1 스피커(140), 제1 디스플레이부(150)는 헤드업 디스플레이 장치에 구비되고, 제1 통신부(160) 및 제1 제어부(170)는 스마트폰, 태블릿 PC 등과 같은 정보 통신 단말로 구현될 수도 있다. 물론 제1 마이크(110), 제1 관성 센서(120), 제1 카메라(130), 제1 스피커(140), 제1 디스플레이부(150) 중 일부만 헤드업 디스플레이 장치에 구비되고, 예컨대 제1 관성 센서(120)는 손목 등에 채워지는 스마트 밴드 등으로 구현되는 것도 가능하다. 한편 교사 단말부(100)가 서로 분리되어 있는 복수의 장치로 구현되는 경우 각 장치 사이에는 블루투스, 와이파이 등의 근거리 무선 통신을 통해 각종 정보 및 데이터를 교환할 수 있다.

도 3는 본 발명에 따른 학생 단말부의 세부 구성을 나타낸 블록도이다.

도 3을 참고하면, 학생 단말부(200)는 제2 마이크(210), 제2 관성 센서(220), 제2 카메라(230), 제2 스피커(240), 제2 디스플레이부(250), 제2 통신부(260) 및 제2 제어부(270) 등을 포함할 수 있다.

제2 마이크(210)는 학생의 음성 정보를 획득하는 기능을 수행한다. 학생은 음성으로 가상현실과 증강현실을 기반으로 한 교육콘텐츠를 통한 수업에 참여할 수 있으며, 수업 중 교사가 출제한 문제에 대한 정답을 제출할 수 있다. 물론 학생은 특정한 모션을 취하거나, 학생 단말부(200)에 구비되는 키보드, 키패드, 버튼 등의 사용자 입력 수단을 통해서 수업에 참여하고, 학습 이해도 등을 평가하기 위한 문제 등에 대한 정답을 제출할 수도 있다.

제2 관성 센서(220)는 자이로 센서나 가속도 센서 등을 포함하고, 학생이 취하는 움직임 정보를 획득하는 기능을 수행한다. 앞서 설명한 것과 같이 학생도 교사와 마찬가지로 특정한 움직임 등을 취하여 가상현실과 증강현실을 기반으로 한 교육콘텐츠를 통한 수업에 참여할 수 있다.

제2 카메라(230)는 학생의 시점에서 영상을 촬영하는 기능을 수행한다.

제2 스피커(240)는 교육콘텐츠 실행에 따라 발생하는 효과음이나, 교사 단말부(100)를 통해 획득되는 교사의 음성 또는 다른 학생 단말부에서 획득된 다른 학생의 음성 등을 출력할 수 있다.

제2 디스플레이부(250)는 가상현실과 증강현실을 기반으로 한 교육콘텐츠를 화면에 출력하는 기능을 수행한다. 제2 디스플레이부(250)는 컴퓨터 모니터 화면으로 구현될 수도 있으나, 입체감있게 영상을 재생할 수 있는 스마트 안경이나 헤드업 디스플레이 등으로 구현될 수도 있다.

제2 통신부(260)는 학생 단말부(200)가 통신망(10)을 통해 외부 장치들, 예컨대 교사 단말부(100)나 교육 서버(300)와 각종 정보 및 데이터를 교환할 수 있도록 지원하는 기능을 수행한다.

제2 제어부(270)는 학생 단말부(200)의 전체적인 동작을 제어하는 기능을 수행한다.

학생 단말부(200)도 교사 단말부(100)와 마찬가지로 헤드업 디스플레이 장치에 앞서 설명한 모든 구성 요소 등이 포함되게 구현되거나, 일부 구성 요소는 헤드업 디스플레이, 스마트 안경 또는 스마트 밴드 등과 같은 웨어러블 디바이스에 구비되고, 다른 구성 요소는 스마트폰이나 태블릿 PC 등과 같은 정보 통신 단말에 구비되게 구현할 수도 있다.

다시 도 1을 참고하면, 교육 서버(300)는 교사 단말부(100)에서 문제가 출제된 시점을 기준으로 미리 정해진 시간 이전과 이후 동안에 학생 단말부(200)에서 전송되는 학생 모션 정보와, 출제된 문제에 대한 학생의 정답 여부를 학습 데이터로 학습하여, 해당 학생의 학생 모션 정보에 기초한 학습 이해도 산출 모델을 생성할 수 있다. 문제 출제 여부는 교사가 음성으로 문제를 출제한 것을 음성 인식을 통해 인식하는 방식으로 구현할 수 있다. 물론 교사가 특정 학생을 지명하여 문제를 출제한 경우 어느 학생에게 문제가 출제되었는지를 인식할 수도 있다. 그리고 학생이 정답을 제출하면, 교사가 그에 대한 피드백으로 '정답' 또는 '오답' 등을 입력함으로써 학생의 정답 여부를 확인할 수 있다. 한편 교사 단말부(100)에서 마이크가 아닌 다른 사용자 입력 수단을 통해 교사가 미리 준비되어 있던 문제를 시각적으로 또는 녹음된 음성을 통해 출제하는 것도 가능하다.

교육 서버(300)는 학기 초 등 특정 기간에 학생 별로 학습 이해도 산출 모델을 생성하기 위한 학습을 수행할 수 있으며, 물론 학습이 이루어진 후에도 보다 학습 이해도 산출 모델의 정확도를 높이기 위해서 지속적인 학습을 수행하도록 구현될 수도 있다.

앞서 설명한 학습 이해도를 산출하는 가장 간단한 기준은, 학생이 문제 출제 전후에 정답을 맞춘 경우에 취하는 모션 패턴과 정답을 맞추지 못한 경우에 취하는 모션 패턴들을 학습함으로써, 학생의 학습 이해도가 현재 높은지 또는 낮은지 등을 산출할 수 있다. 따라서 학생이 충분히 이해하지 못하고 있는 상태에서 수동적으로 수업에 참여하고 있는지 등을 파악하는데 도움이 된다.

교육 서버(300)는 학생의 학습 이해도를 실시간으로 산출하여 교사 시점 영상에 합성하여 교사 단말부(100)에 제공할 수 있다. 특히 교육 서버(300)는 교사 시점 영상에 학습 이해도가 산출된 학생이 포함된 경우 학습 이해도를 교사 시점 영상에 합성하여 제공하도록 구현하는 것도 가능하다. 즉 교사 시점 여앙에 포함된 학생 얼굴의 주변에 해당 학생의 학습 이해도를 함께 표시되게 함으로써 교사는 현재 해당 학생의 학습 이해도를 바로 쉽게 파악하고, 그에 맞추어 해당 학생의 학습 이해도를 높이기 위해서 필요한 질문을 하거나, 보충 설명을 제공하는 것이 가능하다. 또한 이 경우 제공되는 질문이나 보충 설명은 해당 학생의 학생 단말부(200)의 화면에만 표시되거나 음성으로 출력되게 하는 것도 가능하다.

교육 서버(300)는 교사 단말부(100)에 학생의 학습 집중도를 실시간으로 산출하여 교사 시점 영상에 합성하여 제공할 수 있다. 특히 교육 서버(300)는 교사 시점 영상에 학습 집중도가 미리 정해진 기준 이하로 산출된 학생에 대한 정보를 합성하여 제공할 수 있다.

교육 서버(300)는 교사 단말부(100)로부터 특정 학생의 학습 집중도에 대한 지적이 입력된 시점을 기준으로 미리 정해진 시간 이전 동안에 해당 학생의 학생 단말부(200)에서 전송되는 학생 모션 정보를 학습 데이터로 학습하여, 해당 학생의 학생 모션 정보에 기초한 학습 집중도 산출 모델을 생성할 수도 있다. 예컨대 교사가 특정 학생의 학습 집중도가 떨어진 것으로 판단된 경우 음성으로 '홍길동 수업에 더 집중하자' 등의 멘트를 입력할 수 있다. 교육 서버(300)는 음성 인식을 통해 '홍길동' 학생의 학습 집중도가 떨어진 것으로 판단하고, 교사의 지적 시점으로부터 일정 시간 이전 동안 전송된 학생 모션 정보를 학습 데이터로 맵핑하여 저장할 수 있다.

앞서 설명한 학습 잡중도를 산출하는 가장 간단한 기준은, 학생이 교사로부터 학습 집중도가 낮다고 지적된 시점으로부터 미리 정해진 시간 이전 동안 보였던 모션 패턴들을 학습함으로써, 학생의 학습 집중도가 현재 높은지 또는 낮은지 등을 산출할 수 있다. 이와 같이 학생의 학습 집중도를 객관적인 학생 모션 정보를 통해 파악하여 제공함으로써, 교사는 학생의 학습 집중도 파악에 들이는 노력을 교육콘텐츠에 따른 학습 진행에 보다 집중할 수 있다.

이하에서는 인공지능 학습 보조부(310)에서 수업에 참여하고 있는 학생의 학습 상태에 따라 보조 학습 콘텐츠를 인공지능 기반으로 선택하여 제공하는 동작에 대해 자세히 설명한다.

인공지능 학습 보조부(310)는 수업에 참가한 학생의 학습 레벨에 따라 난이도가 다른 문제를 선택하여 보조 학습 콘텐츠로 제공할 수 있다. 예를 들어, 수업에 참여하는 학생 A, 학생 B, 학생 C 등의 학습 레벨이 서로 다른 경우, 인공지능 학습 보조부(310)는 각 학생의 학습 레벨에 맞추어 학생별로 다른 문제를 선택하여 교육 서버(300)를 통해 각 학생의 학생 단말부(200)에 제공할 수 있다.

여기서 학습 레벨은 위에서 언급한 현재 수업 중인 내용에 대한 이해도를 나타내는 학습 이해도와는 다르다. 학습 레벨은 해당 학생의 학습 역량을 의미한다. 즉 특정 콘텐츠를 제공했을 때 이를 해당 학생이 소화해낼 수 있는 정도를 등급화한 것으로 이해될 수 있다. 따라서 학습 레벨은 수업에 참가한 학생의 과거 성적, 현재 진행 중인 수업에서의 학습 이해도를 고려하여 정해질 수 있다. 또는 인공지능 학습 보조부(310)는 수업에 참가한 학생별로 수업중 실시간으로 학생의 학습 레벨을 평가하기 위한 일련의 문제를 출제하고, 학생의 문제에 대한 답변을 기초로 해당 학생의 학습 레벨을 조정할 수도 있다.

인공지능 학습 보조부(310)는 교사가 출제한 문제에 대해 수업에 참가한 학생 중 미리 정해진 비율 이상의 학생이 오답을 하면, 교사 단말부(100)에 교사가 출제한 문제보다 난이도가 낮은 문제를 추천할 수도 있다. 이를 위해 교육 서버(300)는 다양한 난이도의 문제를 데이터베이스화하여 저장할 수 있다.

인공지능 학습 보조부(310)는 학생의 학습 상태에 따라 수업에 참가한 학생을 대신한 질문 또는 추가 설명을 요청하는 메시지를 교사 단말부(100)에 출력되게 할 수도 있다. 교사에게 질문을 하는 것을 부끄러워하거나 수동적인 성향을 가진 학생의 경우 수업 중에 궁금한 점이 있는 경우에도 질문을 하지 못하는 경우가 있다. 인공지능 학습 보조부(310)는 교육 서버(300)를 통해 수집된 학생의 학습 태도 등을 학습하여 학생의 성향을 파악하고, 수업 진행 중에 해당 학생을 대신하여 질문 또는 추가 설명을 요청할 수도 있다.

한편 교육 서버(300)는 교사 단말부(100)에 교사의 음성이 입력되는 동안, 가상 현실 기반 학습 영상이나 보조 학습 콘텐츠의 오디오 출력을 멈추거나 미리 정해진 기준 이하의 볼륨 레벨로 낮추어 학생 단말부(200)에 출력시킬 수 있다. 또한 여러 학생으로부터 음성을 통한 질문이 동시에 또는 일부 구간이 중첩되게 발생하면, 교육 서버(300)는 학생의 음성 질문을 교사 단말부(100)에 중첩되는 구간없이 전달되도록 처리할 수도 있다.

한편 인공지능 학습 보조부(310)는, 수업에 참가한 전체 학생의 학습 이해도를 산출하여 미리 정해진 기준 이상인 경우, 수업 중의 교육 상황을 녹화한 데이터를 이용하여 학습 콘텐츠를 생성할 수도 있다. 가령 특정 학습 주제를 가지고 이루어진 수업에서 전체 학생의 학습 이해도가 미리 정해진 기준 이상으로 좋으면, 인공지능 학습 보조부(310)는 해당 수업 시간의 교육 상황을 녹화한 데이터로부터 교사의 질문 내용, 학생의 답변 내용, 교사의 수업 진행 방식 등에 대한 데이터를 분석하고, 이를 기초로 새로운 보조 학습 콘텐츠를 생성할 수도 있다. 보다 자세하게는 특정 학습 주제에 대해 학습 이해도가 낮은 학생에게, 교사에 의해 추가적으로 이루어진 설명 내용에 따라 학생의 학습 이해도가 높아진 것으로 분석되면, 추가적으로 이루어진 설명 내용을 보조 학습 콘텐츠로 생성할 수 있다.

본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 지금까지 설명한 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

10: 통신망
100: 교사 단말부
200: 학생 단말부
300: 교육 서버
310: 인공지능 학습 보조부

Claims (14)

1. 교사의 음성 정보, 교사의 움직임에 따른 교사 모션 정보 및 교사의 시점에서 촬영되는 교사 시점 영상을 생성하여 전송하는 교사 단말부,
   학생의 음성 정보, 학생의 움직임에 따른 학생 모션 정보 및 학생의 시점에서 촬영되는 학생 시점 영상을 생성하여 전송하는 학생 단말부, 및
   상기 교사의 음성 정보 및 상기 교사의 움직임에 따른 모션 정보에 기초하여 생성되는 가상 현실 기반 학습 영상을 상기 학생 시점 영상에 합성하여 상기 학생 단말에 제공하고, 상기 학생의 학습 상태에 대한 정보를 상기 교사 시점 영상에 합성하여 제공하며, 상기 교사 단말부에서 문제가 출제된 시점을 기준으로 미리 정해진 시간 이전과 이후 동안에 상기 학생 단말부에서 전송되는 상기 학생 모션 정보와 상기 출제된 문제에 대한 상기 학생의 정답 여부를 학습 데이터로 학습하여, 상기 학생 모션 정보에 기초한 학습 이해도 산출 모델을 생성하고, 상기 교사 단말부로부터 상기 학생의 학습 집중도에 대한 지적이 입력된 시점을 기준으로 미리 정해진 시간 이전 동안에 상기 학생 단말부에서 전송되는 상기 학생 모션 정보를 학습 데이터로 학습하여 상기 학생 모션 정보에 기초한 학습 집중도 산출 모델을 생성하는 교육 서버를 포함하고,
   상기 교육 서버는,
   상기 학생의 학습 상태에 따라 보조 학습 콘텐츠를 선택하여 상기 교육 서버를 통해 제공하며, 상기 학생의 학습 상태에 따라 수업에 참가한 학생을 대신한 질문 또는 추가 설명을 요청하는 메시지를 상기 교사 단말부에 출력되게 하는 인공지능 학습 보조부를 포함하는 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템.
2. 제 1 항에서,
   상기 인공지능 학습 보조부는,
   학생의 학습 레벨에 따라 난이도가 다른 문제를 상기 보조 학습 콘텐츠로 제공하는 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템.
3. 제 1 항에서,
   상기 인공지능 학습 보조부는,
   상기 교사가 출제한 문제에 대해 수업에 참가한 학생 중 미리 정해진 비율 이상의 학생이 오답을 하면, 상기 교사 단말부에 상기 교사가 출제한 문제보다 난이도가 낮은 문제를 추천하는 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템.
4. 삭제
5. 제 1 항에서,
   상기 교육 서버는,
   상기 교사의 음성이 입력되는 동안, 가상 현실 기반 학습 영상이나 상기 보조 학습 콘텐츠의 오디오 출력을 멈추거나 미리 정해진 기준 이하의 볼륨 레벨로 낮추어 출력시키는 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템.
6. 제 1 항에서,
   상기 인공지능 학습 보조부는,
   수업에 참가한 학생별로 수업중 실시간으로 학생의 학습 레벨을 평가하기 위한 문제를 출제하는 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템.
7. 제 1 항에서,
   상기 인공지능 학습 보조부는,
   수업에 참가한 전체 학생의 학습 이해도를 산출하여 미리 정해진 기준 이상인 경우, 수업 중의 교육 상황을 녹화한 데이터를 이용하여 학습 콘텐츠를 생성하는 인공지능 기반 증강 현실과 가상 현실을 이용한 학습 지원 시스템.
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제

Images