KR20220086298A - 학습 집중도 확인 방법, 이를 구현한 장치 및 프로그램 - Google Patents

Abstract

본 발명은 학습 집중도 확인 장치가 학습자의 학습 집중도를 확인하는 방법으로서, 학습자 단말에 재생되는 동영상 콘텐츠를 수집하여 일정 주기에 따라 캡처본을 생성하여 이미지로 저장하는 단계, 임의의 시점에서 동영상 콘텐츠의 재생을 일시 정지 시키고, 하나의 실시간 캡처본을 포함하는 복수 개의 이미지가 나열된 화면으로 학습자 단말의 화면을 전환시키는 단계, 학습자 단말로부터 하나의 이미지를 선택받으면, 선택된 이미지와 실시간 캡처본이 일치하는 지 확인하는 단계, 그리고 선택된 이미지가 실시간 캡처본과 일치하면 일시 정지된 시점에서부터 동영상 콘텐츠를 재생시키고, 일치하지 않으면 동영상 콘텐츠의 재생을 초기화시키는 단계를 포함한다.

Description

학습 집중도 확인 방법, 이를 구현한 장치 및 프로그램{METHOD FOR RECOGNIZING LEARN-CONCENTRATION, AND APPARATUS AND PROGRAM IMPLEMENTING THE SAME}

동영상을 통한 학습 과정에서의 학습 집중도 확인 기술이 제공된다.

최근 교육 패러다임이 강사와 학습생이 오프라인에서 대면하는 수업 방식에서 인터넷 등과 같은 네트워크를 통해 온라인 수업 방식으로 대체되고 있다.

다만, 오프라인 수업 방식에서는 면대면 교육으로 강사가 학습자의 학습 태도, 집중 상태 등을 확인하며 주의력이나 집중력을 높게 유지할 수 있도록 피드백을 제공하지만, 온라인 수업 방식에서는 일방적으로 재생되는 스트리밍 방식의 수업을 제공하기 때문에 학습자의 학습 태도를 확인하기 어렵다.

특히, 온라인 수업 방식은 학습자의 학습 태도, 학습 성취도와는 무관하게 영상이 재생가능하며, 재생되는 시간에 따라 진도 현황이 체크된다.

이에 따라 온라인 수업 방식에서도 일정한 퀴즈 또는 문제를 제공하고 이를 통해 학습자의 학습 성취도를 확인하고자 하지만, 이러한 퀴즈 또는 문제는 일반적으로 정형화되어 있기 때문에 학습자간의 공유가 가능하기 때문에 실질적인 학습자의 성취도나 집중도를 확인하기 어렵다.

이에 따라 3D 교육 콘텐츠를 생성하여 집중도를 향상시키거나 별도의 카메라를 통해 촬영한 학습자를 분석하여 성취도 또는 집중도를 확인하는 기술들이 개발되고 있다.

다만, 이러한 구성들은 3D 교육 콘텐츠 개발이나 학습자의 영상을 분석하기 위한 고도의 프로그램을 제작하기 위해 많은 시간과 비용이 소요되며, 3D 콘텐츠를 디스플레이하는 기기나 카메라 등 별도의 장비들이 필요하다.

또한, 실제 강의의 내용에 대한 학습자의 집중도나 학습 성취도를 추정하는데 한계가 있다.

그러므로 별도의 강의 내용에 대한 수정이나 다른 추가적인 장비없이도, 제공되는 동영상 강의 화면에 기초하여 학습자의 학습 집중도를 확인할 수 있는 기술이 요구된다.

관련 선행문헌으로 한국등록특허 제 0990338호는 "동영상 강의 시스템 및 방법"을 개시한다.

한국등록특허 제 0990338호

본 발명의 한 실시예는 학습 동영상에 기초하여 생성한 하나 이상의 캡처본에 기초하여 현재 학습하고 있는 캡처본의 선택 여부를 통해 학습자의 학습 집중도를 추정하는 학습 집중도 확인 장치 및 그 방법을 제공하는 것이다.

상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 본 발명에 따른 실시예가 사용될 수 있다.

*청구항이 기재됩니다.

본 발명의 한 실시예에 따르면 실제 동영상 콘텐츠에 대한 수정이나, 동영상 콘텐츠에 포함된 실제 교육 내용을 추출하여 신규 작업을 진행하지 않더라도 학습자가 학습 중인 동영상 콘텐츠의 캡처본을 선택하게 함으로써, 학습 내용에 기초하여 학습자의 학습 집중도를 확인할 수 있다.

본 발명의 한 실시예에 따르면 랜덤한 시점에서 이벤트를 생성하여 제공하고,학습자로부터 상이한 피드백 정보를 수신하면, 해당 동영상 콘텐츠의 재생을 초기화함으로써 동영상 콘텐츠에 대한 영상 집중도를 향상시킬 수 있으며, 영상의 기억력을 증진시킬 수 있다.

본 발명의 한 실시예에 따르면 정형화된 진도 체크나 퀴즈를 제공하지 않고 학습하는 동영상에 기초하여 학습자마다 랜덤하게 이벤트를 제공함으로써, 실제 학습자의 학습 집중도를 향상시킬 수 있다.

도 1은 본 발명의 한 실시예에 따른 이러닝 시스템을 나타낸 예시도이다.
도 2는 본 발명의 한 실시예에 따른 학습자의 집중도 확인 장치를 포함하는 교육 서버 장치를 나타낸 구성도이다.
도 3은 본 발명의 한 실시예에 따른 집중도 확인 장치의 학습 집중도 확인 방법을 나타낸 순서도이다.
도 4는 본 발명의 한 실시예에 캡처 화면을 생성하는 과정을 나타낸 순서도이다.
도 5 는 본 발명의 한 실시예에 따른 학습자의 입력에 기초하여 학습 집중도를 확인하는 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 한 실시예에 따른 학습자의 잘못된 입력에 기초하여 학습 동영상의 재생을 초기화하는 과정을 설명하기 위한 예시도이다.
도7은 본 발명의 한 실시예에 따른 컴퓨팅 장치의 하드웨어 구성도이다.

첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.

또한, 명세서에 기재된 "…부", "…기", "…모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.

프로그램은 컴퓨터 판독 가능한 저장 매체에 저장되는 소프트웨어로서, 본 발명의 동작을 실행하는 명령어들(instructions) 및 데이터를 포함한다. 프로그램은 컴퓨팅 장치에 설치되고, 컴퓨팅 장치에서 실행되며, 통신망을 통해 지정된 서버 또는 단말과 통신한다.

본 발명에서 설명하는 컴퓨팅 장치는 적어도 하나의 프로세서, 메모리 장치, 통신 장치 등을 포함하는 하드웨어로 구성되고, 지정된 장소에 하드웨어와 결합되어 실행되는 프로그램이 저장된다. 하드웨어는 본 발명의 방법을 실행할 수 있는 구성과 성능을 가진다. 프로그램은 도면들을 참고로 설명한 본 발명의 동작 방법을 구현한 명령어(instructions)를 포함하고, 프로세서와 메모리 장치 등의 하드웨어와 결합하여 본 발명을 실행한다.

본 명세서에서 "전송 또는 제공"은 직접적인 전송 또는 제공하는 것뿐만 아니라 다른 장치를 통해 또는 우회 경로를 이용하여 간접적으로 전송 또는 제공도 포함할 수 있다.

본 명세서에서 캡처본이란 동영상 콘텐츠를 정지된 이미지로 저장한 것을 의미하며, 캡처본과 이미지는 동일한 개념이지만, 설명의 편의상 실시간으로 캡처된 정지 이미지를 실시간 캡처본으로 설명하고, 저장된 캡처본을 이미지로 설명한다.

도 1은 본 발명의 한 실시예에 따른 이러닝 시스템을 나타낸 예시도이다.

도 1에 도시한 바와 같이, 이러닝 시스템은 교육 콘텐츠를 제공하는 교육 서버 장치(100)와 수신한 교육 콘텐츠를 디스플레이하는 학습자 단말(200) 그리고 교육 서버 장치(100)에 설치되어 교육 콘텐츠에 대한 집중도를 확인하는 집중도 확인 장치(300)를 포함하고, 교육 서버 장치(100)와 학습자 단말(200)들은 네트워크를 통해 연결되어 데이터를 송수신한다.

여기서, 네트워크는 유선 통신 네트워크, 근거리 또는 원거리 무선 통신 네트워크, 이들이 혼합된 네트워크 등 데이터를 전달하는 모든 형태의 통신 네트워크를 포함할 수 있다.

교육 서버 장치(100)는 다수 개의 교육 콘텐츠를 관리하며, 접속된 학습자 단말(200)로 선택된 교육 콘텐츠를 재생할 수 있도록 스트리밍 서비스를 제공한다.

여기서, 교육 콘텐츠는 교육과 관련된 다양한 동영상 기반의 콘텐츠를 의미한다.

또한, 교육 서버 장치(100)는 학습자 단말(200)을 통해 인증 정보를 처리하며, 학습자의 ID, 인증 정보, 학습자 단말(200)의 접속 정보 등을 수집하여 재생하는 교육 콘텐츠의 정보, 수강 기록, 집중도 확인 정보 등을 기록하여 관리할 수 있다.

학습자 단말(200)은 교육 콘텐츠를 수신하여 학습을 수행하는 학습자가 구비한 단말이다. 학습자 단말(200)은 교육 서버 장치(100)에 접속하여 재생하고자 하는 동영상을 선택하여 재생하고, 교육 콘텐츠에 기초하여 발생되는 피드백 요청에 따라 학습자로부터 입력받은 신호를 교육 서버 장치(100)로 전달한다.

상세하게는 학습자 단말(200)은 선택한 교육 콘텐츠를 수신하여 재생하는 일련의 동작들을 구현하며, 교육 콘텐츠를 재생하는 과정에서 인터럽트(interrupt)되는 상황에 따라 화면을 변경하고 그에 따른 학습자 피드백을 수신하여 전달할 수 있다.

학습자 단말(200)은 각각 메모리 수단, 프로세서를 구비함으로써 연산 처리 능력을 갖춘 단말기를 통칭하는 것이며, 예를 들어, 태블릿 PC(Tablet PC), 랩톱(Laptop), 개인용 컴퓨터(PC, Personal Computer), 스마트폰(Smart Phone), 개인 정보 단말기(PDA, Personal Digital Assistant), 이동통신 단말기(Mobile Communication Terminal) 및 노트북(NoteBook) 등의 다양한 단말을 포함할 수 있다.

집중도 확인 장치(300)는 교육 서버 장치(100)가 실시간으로 학습자 단말(200)에 제공하는 교육 콘텐츠에 기초하여 해당 교육 콘텐츠를 제공하는 중간에 인터럽트하여 학습자의 학습 집중도를 확인한다.

집중도 확인 장치(300)는 학습자 단말(200)에서 재생되는 교육 콘텐츠에 대해서 동일 시점으로 해당 교육 콘텐츠를 수집하여 일정한 간격으로 교육 콘텐츠의 스크린 캡처(screen capture)하는 방식으로 캡처본들을 생성한다. 이때, 집중도 확인 장치(300)는 각 교육 콘텐츠에 대해서 일정한 간격으로 스크린 캡처를 수행하여 이미지 데이터베이스를 구축할 수 있다.

집중도 확인 장치(300)는 생성한 캡처본 중에서 현재 학습하고 있는 동영상의 화면을 선택하도록 하여, 학습자가 선택한 캡처본과 현재 학습 중인 동영상 화면의 일치 여부를 통해 학습자의 학습 집중도를 확인할 수 있다.

이러한 집중도 확인 장치(300)는 컴퓨팅 장치에 의해 실행되도록 각 동작 방법들을 실행하는 명령어들을 포함하는 프로그램으로 구현이 가능하며, 교육 서버 장치(100) 또는 학습자 단말(200)에 설치될 수 있다.

예를 들어, 집중도 확인 장치(300)는 학습자 단말(200)에 설치되어 학습자 단말(200)내에서 재생되는 교육 콘텐츠를 통해 캡처본을 생성하고, 이벤트 트리거 신호에 의해 교육 컨텐츠 재생 화면에서 이벤트로 생성한 화면으로 전환한 후, 실시간 캡처본을 선택받아 학습자의 학습 집중도를 확인할 수 있다. 또한 이벤트에 대응하는 학습자로부터의 피드백 신호에 교육 콘텐츠 재생 일시 정지, 교육 콘텐츠 재생 요청, 그리고 교육 콘텐츠 재생 초기화 등의 제어 신호를 전송할 수 있다.

또는 USB와 같은 이동식 저장 장치에 프로그램화된 집중도 확인 장치(300)를 저장하고, 해당 이동식 저장 장치를 학습자 단말(200)에 연결하여 프로그램화된 집중도 확인 장치(300)가 실행함으로써 앞서 설명한 동일한 방식으로 실시간으로 교육 콘텐츠를 학습하는 학습자의 학습 집중도를 확인할 수 있다.

이와 같은 구현 방식은 추후에 실제 교육 환경에 기초하여 변경 및 설정이 가능하다.

이하에서는 집중도 확인 장치(300)가 교육 서버 장치(100) 내에 설치된 상황으로 설명하지만 반드시 이에 한정하는 것은 아니다.

참고로, 설명의 편의를 위해, 집중도 확인 장치(300) 또는 집중도 확인 프로그램을 동작의 주체로 설명하거나, 설치된 집중도 확인 프로그램을 실행하는 교육 서버 장치(100)를 동작의 주체로 설명할 수 있다.

이하에서는 도 2를 이용하여 교육 서버에 설치된 집중도 확인 장치에 대해서 상세하게 설명한다.

도 2는 본 발명의 한 실시예에 따른 집중도 확인 장치가 설치된 교육 서버를 나타낸 구성도이다.

도 2에 도시한 바와 같이, 교육 서버 장치(100)는 복수 개의 동영상 콘텐츠(110), 동영상 콘텐츠(110)를 접속된 학습자 단말(200)에 제공하는 스트리밍 제어 모듈(120), 그리고 집중도 확인 장치(300)를 포함한다.

그리고 집중도 확인 장치(300)는 동영상 캡처 모듈(310), 이미지 대조 모듈(320), 이벤트 생성 모듈(330) 그리고 이벤트 제어 모듈(340)을 포함한다.

설명을 위해, 동영상 캡처 모듈(310), 이미지 대조 모듈(320), 이벤트 생성 모듈(330) 그리고 이벤트 제어 모듈(340)로 명명하여 부르나, 이들은 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치이다. 여기서, 동영상 캡처 모듈(310), 이미지 대조 모듈(320), 이벤트 생성 모듈(330) 그리고 이벤트 제어 모듈(340)은 하나의 컴퓨팅 장치에 구현되거나, 별도의 컴퓨팅 장치에 분산 구현될 수 있다. 별도의 컴퓨팅 장치에 분산 구현된 경우, 동영상 캡처 모듈(310), 이미지 대조 모듈(320), 이벤트 생성 모듈(330) 그리고 이벤트 제어 모듈(340)은 통신 인터페이스를 통해 서로 통신할 수 있다. 컴퓨팅 장치는 본 발명을 수행하도록 작성된 소프트웨어 프로그램을 실행할 수 있는 장치이면 충분하다.

동영상 콘텐츠(110)는 교육 서버 장치(100)가 제공하는 교육 콘텐츠를 나타내며, 스트리밍 제어 모듈(120)은 동영상 콘텐츠(110)를 학습자 단말(200)에 제공하는 과정에서 집중도 확인 장치(300)에 의해 생성된 이벤트에 기초하여 동영상 콘텐츠(110)의 재생을 제어할 수 있다.

동영상 콘텐츠(110)가 학습자 단말(200)에 전달되어 재생되면, 동시에 동영상 캡처 모듈(310)에서 해당 동영상 콘텐츠(110)를 수집하여 미리 설정된 시간 간격으로 동영상의 이미지를 캡처한다.

동영상 캡처 모듈(310)은 학습자 단말(200)에서 재생되는 동영상 콘텐츠(110)에 대해서 디스플레이되는 이미지를 캡처한다. 예를 들어, 스크린샷(screenshot)과 같이, 동영상 콘텐츠(110)가 디스플레이 되는 화면에 보이는 그대로의 이미지를 캡처할 수 있다. 여기서, 캡처본은 동영상 정지 이미지로, 각 픽셀마다의 색상 정보 그리고 동영상 콘텐츠 상에서의 재생 시점을 포함한다.

동영상 캡처 모듈(310)은 학습자 단말(200)에서 재생되는 동영상 콘텐츠(110)의 재생 시간과 동일하게 실시간으로 캡처본을 생성할 수도 있고, 학습자 단말(200)에서 동영상 콘텐츠(110)가 재생되는 동시에 전체 동영상 콘텐츠(110)에 대한 캡처본을 생성할 수 있다.

예를 들어, 동영상 캡처 모듈(310)은 동영상 콘텐츠(110)가 약 10분 동안 스트리밍되면, 약 10분동안 재생된 동영상 콘텐츠(110)에 대한 캡처본을 생성할 수 있다.

한편, 동영상 캡처 모듈(310)은 동영상 콘텐츠(110)가 스트리밍되는 시점이나 또는 이전 시점에서 동영상 콘텐츠(110)의 전체 영상을 수집하여 미리 설정된 주기에 기초하여 다수의 캡처본을 생성할 수 있다.

동영상 캡처 모듈(310)은 일정한 간격으로 화면을 캡처하여 캡처본을 생성하면, 해당 캡처본을 캡처된 시간을 함께 이미지로 임시 저장한다. 이때, 동영상 캡처 모듈(310)은 캡처본에 대해 각 픽셀 색상 정보를 추출하여 함께 저장할 수 있다.

그리고 이미지 대조 모듈(320)은 동영상 캡처 모듈(310)이 생성한 캡처본에 대해서 하나 이상의 기준 이미지를 선택하고, 선택한 기준 이미지와 이외의 캡처본간에 이미지를 비교한다.

다시 말해, 이미지 대조 모듈(320)은 기준 이미지과 캡처본의 픽셀별 색상 정보에 기초하여 유사도를 산출하고, 산출된 유사도가 임계치보다 낮은 경우, 해당 캡처본을 연동되는 이미지 데이터베이스(DB)에 저장한다.

이때, 이미지 대조 모듈(320)은 산출된 유사도가 임계치와 같거나 높은 경우, 캡처본과 해당 데이터를 삭제한다.

이처럼 이미지 대조 모듈(320)은 동영상 캡처 모듈(310)에서 생성한 캡처본들 간에 유사도에 기초하여 유사한 캡처본에 대해서는 삭제하여 캡처본 데이터베이스를 생성한다.

또한 이미지 대조 모듈(320)은 이벤트 발생 후, 학습자 단말(200)로부터 선택된 이미지와 실시간 캡처본을 비교하여 일치 여부를 판단할 수 있다.

이벤트 생성 모듈(330)은 학습자 단말(200)로 동영상 콘텐츠(110)가 재생되는 동안 임의의 시점에서 하나 이상의 이벤트를 생성한다.

여기서 이벤트는 학습자가 동영상 콘텐츠(110)를 학습함에 있어 학습 집중도를 확인하기 위한 이벤트이며, 이벤트 생성 모듈(330)은 랜덤하게 설정된 시점에 기초하여 발생되는 이벤트 생성 트리거 신호에 기초하여 이벤트를 생성한다.

다만, 이벤트 생성 모듈(330)은 저장된 이미지가 최소 3개 이상이 저장되어 있는 시점 이후부터 이벤트를 생성할 수 있다.

이벤트 생성 모듈(330)은 이미지 캡처 모듈(310)이 실시간 캡처본을 생성하는 동시에 실시간 캡처본과 함께 이전 시점에서 데이터베이스에 저장한 이미지(캡처본)들을 나열하여 학습자로부터 하나의 이미지를 선택받도록 요청하는 이벤트 화면을 생성한다.

그리고 이벤트 제어 모듈(340)은 이벤트 생성 모듈(330)에서 이벤트가 생성되는 동시에 스트리밍 제어 모듈(120)로 동영상 콘텐츠(110)의 일시 정지 요청 신호를 전송한다.

그리고 이벤트 제어 모듈(340)은 생성한 이벤트 화면을 학습자 단말(200)에 표시하고, 학습자 단말(200)로부터 선택된 이미지를 수신하여 이미지 대조 모듈(320)에 전달한다.

그리고 이벤트 제어 모듈(340)은 학습자 단말(200)로부터 수신한 피드백 정보에 기초하여 학습 집중도를 확인하고 그에 따른 동영상 콘텐츠(110)의 재생 요청 신호를 전달한다.

상세하게는 이벤트 제어 모듈(340)은 이미지 대조 모듈(320)로부터 수신한 일치 여부에 기초하여 동영상 콘텐츠(110)의 재생 또는 초기화를 요청하는 신호를 스트리밍 제어 모듈(120)에 전송할 수 있다.

이때, 이벤트 제어 모듈(340)은 스트리밍 제어 모듈(120)을 통해 학습자 단말(200)과의 통신을 수행할 수 있으며, 별도의 통신 모듈(미도시함)이 구비된 경우, 학습자 단말(200)과 개별적인 통신을 수행할 수 있다.

또한, 이벤트 제어 모듈(340)은 별도의 데이터베이스에 이벤트 결과를 학습자 고유 ID, 학습자 단말(200)의 접속 정보등과 함께 저장할 수 있다.

이때, 발생되는 이벤트에 기초하여 동일한 동영상 콘텐츠(110)의 초기화가 일정 횟수 이상으로 반복되는 경우, 이벤트 제어 모듈(340)은 별도의 알림 메시지를 생성하여 학습자 단말(200)에 제공할 수 있다.

이하에서 도 3 및 4를 이용하여 집중도 확인 장치(300)가 학습자 단말(200)로 제공되는 동영상 콘텐츠에 대해 실시간으로 생성한 캡처본에 기초하여 학습자의 학습 집중도 확인 방법에 대해서 상세하게 설명한다.

도 3은 본 발명의 한 실시예에 따른 학습 집중도 확인 방법을 나타낸 순서도이다.

도 3에 도시한 바와 같이, 집중도 확인 장치(300)는 교육 서버 장치(100)로부터 학습자 단말(200)로 제공하는 동영상 콘텐츠(110)를 수집한다(S110). 그리고 집중도 확인 장치(300)는 일정 주기로 동영상 콘텐츠의 이미지 캡처 후 임시 저장한다(S120).

이때, 집중도 확인 장치(300)는 학습자 단말(200)에서 재생 중인 동영상 콘텐츠(110)를 수집하며, 학습자 단말(200)에 표시되는 화면 이미지와 동일한 이미지들을 수집할 수 있다.

예를 들어, 집중도 확인 장치(300)는동영상 콘텐츠(110)의 전체 재생 시간에서 수집하고자 하는 이미지 개수를 나눈 시간의 간격을 일정 주기로 설정하거나 미리 설정된 N 시간에 기초하여 N시간 간격을 일정 주기로 설정할 수 있다. (N은 자연수)

상세하게는 30분의 전체 재생 시간에서 수집하고자 하는 이미지 개수가 10개 라면, 약 3분 간격으로 캡처본을 생성할 수 있다.

다음으로 집중도 확인 장치(300)는 일정 주기로 생성한 캡처본에 대해 각 픽셀별 색상 정보를 추출하여 임시 저장한다.

이때, 집중도 확인 장치(300)는 캡처본, 해당 캡처본의 픽셀별 색상 정보, 캡처본이 동영상 콘텐츠 상에서의 재생 시점 정보 등을 함께 임시 저장할 수 있다.

그리고 집중도 확인 장치(300)는 이전 시점에서 생성한 이미지 중에서 선택된 기준 이미지와 생성된 캡처본간에 유사도를 산출하여 유사도가 임계치 이상인 경우에만 이미지 데이터에 생성된 캡처본을 저장할 수 있다. 여기서 유사도는 각각 픽셀별 색상 정보가 일치하는 비율에 기초하여 산출된다.

다음으로 집중도 확인 장치(300)는 이벤트 생성 여부를 확인한다(S130).

집중도 확인 장치(300)는 랜덤하게 설정된 시점에 기초하여 발생되는 이벤트 생성 트리거 신호를 감지하여 이벤트 발생 여부를 확인할 수 있다.

집중도 확인 장치(300)는 실시간으로 캡처본을 생성하여 임시 저장함에 있어서, 이벤트 발생되기 전까지 다시 S110 단계로 회귀하여 학습자 단말(200)에 재생되는 동영상 콘텐츠에 대한 캡처본을 생성한다.

반면에 이벤트 생성 트리거 신호가 감지되면, 집중도 확인 장치(300)는 실시간 캡처본을 생성하고 동영상 콘텐츠 일시정지 요청한다(S140).

집중도 확인 장치(300)는 생성한 실시간 캡처본에서부터 동영상 콘텐츠가 일시 정지하도록 교육 서버 장치(100)로 요청한다.

이때, 집중도 확인 장치(300)는 해당 동영상 콘텐츠 제공을 일시 정지하고, 학습자 단말(200)에서 해당 동영상 콘텐츠의 영상을 페이드 아웃(fade out,FO) 되도록 하는 제어 신호를 교육 서버 장치(100)로 전달할 수 있다.

그러면, 교육 서버 장치(100)는 해당 제어 신호에 기초하여 학습자 단말(200)에 제공하는 동영상 콘텐츠의 화면을 이벤트 화면으로 전환할 수 있다.

이때, 교육 서버 장치(100)는 해당 동영상 콘텐츠 화면을 최소 시간 이상 표시한 후, 다른 화면으로 전환할 수 있다. 다시 말해 해당 동영상 콘텐츠 화면을 학습자가 인식할 수 있는 시간이 지난 후에 이벤트 화면으로 전환할 수 있다.

다음으로 집중도 확인 장치(300)는 실시간 캡처본을 포함하여 이벤트를 생성하고, 해당 이벤트를 사용자 단말에 제공한다(S150).

집중도 확인 장치(300)는 실시간 캡처본과, 실시간 캡처본 이전 시점에서의 재생 시점을 가지는 이미지들 중에서 복수 개를 추출하여 서로 상이한 이미지들을 랜덤하게 배치되는 이벤트 화면을 생성할 수 있다.

여기서, 집중도 확인 장치(300)는 실시간 캡처본을 포함하여 상이한 이미지들이 3개 이상이 되도록 복수 개의 이미지들을 선택함에 있어서, 이벤트 생성때마다 선택하는 이미지들의 개수도 상이하게 설정가능하다.

예를 들어, 동영상 콘텐츠를 재생하는 전체 시간 중에서 M번의 이벤트가 발생하는 경우, 각 이벤트마다 배치되는 캡처본의 개수, 종류 등이 상이하게 생성 가능하다. (M은 자연수)

집중도 확인 장치(300)는 복수의 이미지들이 임의의 순서로 배치되어 있는 화면을 학습자 단말(200)에 제공하는 이벤트를 생성하면, 교육 서버 장치(100)를 통해 학습자 단말(200)에 제공하거나 별도로 구비된 통신 모듈을 통해 직접 학습자 단말(200)에 제공할 수 있다.

다음으로 집중도 확인 장치(300)는 학습자 단말로부터 이벤트에 대한 피드백 정보를 수신한다(S160).

집중도 확인 장치(300)는 학습자 단말(200)로부터 배치된 이미지들 중에서 하나의 이미지를 직접 선택받거나, 이미지들마다 할당된 번호를 입력받을 수 있다. 이러한 입력 방법은 생성되는 화면에 기초하여 각 달리 설정가능하다.

그리고 집중도 확인 장치(300)는 실시간 캡처본과 피드백 정보가 일치하는지 확인한다(S170).

집중도 확인 장치(300)는 실시간 캡처본과 복수개의 이미지를 배치하여 화면을 생성하는 과정에서 해당 실시간 캡처본의 화면 위치 정보 또는 실시간 캡처본에 할당된 번호 등을 별도로 기록할 수 있다.

이를 통해 사용자로부터 입력받은 피드백 정보가 기록된 정보에 해당하는지를 확인하여 일치 여부를 판단할 수 있다.

또는 집중도 확인 장치(300)는 피드백 정보에 해당하는 캡처본과 실시간 캡처본을 비교하여 일치 여부를 판단할 수 있다. 여기서, 집중도 확인 장치(300)는 캡처본의 픽셀별 색상 정보에 기초하여 유사도가 제2 임계치 이상인 경우, 두 캡처본이 일치한다고 판단할 수 있다.

확인 결과, 실시간 캡처본과 피드백 정보가 일치하지 않는 경우, 집중도 확인 장치(300)는 교육 서버 장치(100)로 동영상 콘텐츠의 재생 중지 후 초기 화면으로 재생 요청한다(S180).

집중도 확인 장치(300)는 이벤트 발생 직전의 화면과 동일한 캡처본을 선택받지 못하는 경우, 학습자가 동영상 콘텐츠에 대해 집중하고 있지 않다고 판단하여 동영상 콘텐츠의 재생을 초기화되도록 한다.

이에 따라 교육 서버 장치(100)는 동영상 콘텐츠를 정지하고, 초기 화면에서부터 다시 재생되도록 할 수 있다.

한편, 초기화는 동영상 콘텐츠의 최초 시작 영상으로 회귀하는 것을 의미하지만, 집중도 확인 장치(300)는 별도로 회귀하여 재생되는 시점을 설정할 수 있다.

예를 들어, 이벤트가 생성되어 첫번째 이벤트에 대해서는 학습자가 일치하는 캡처본을 선택하고, 두번째 이벤트에 대해서는 일치하지 않은 캡처본을 선택한 경우, 중도 확인 장치(300)는 첫번째 이벤트에 대응하는 시점으로 동영상 콘텐츠를 회귀하여 재생하도록 설정도 가능하다.

한편, 실시간 캡처본과 피드백 정보가 일치한 경우 집중도 확인 장치(300)는 교육 서버 장치(100)로 일시정지된 동영상 콘텐츠에 연이어 동영상 재생 요청한다(S190).

집중도 확인 장치(300)는 이벤트를 제공한 시점에 대한 동영상 콘텐츠의 재생 시점과 이벤트에 대한 피드백 결과를 함께 별도의 데이터베이스에 저장할 수 있다.

이러한 피드백 결과는 어느 지점에서 학습자가 집중도가 떨어지는 지에 대한 분석 자료가 될 수 있으며, 추후 학습자의 학습 태도, 진도 체크, 교육 성취도 또는 학습 집중도를 평가하기 위한 자료로 활용될 수 있다.

이하에서는 도 4를 이용하여 도 3의 S120 단계를 보다 상세하게 설명한다.

도 4는 본 발명의 한 실시예에 캡처본을 생성하는 과정을 나타낸 순서도이다.

집중도 확인 장치(300)는 캡처본에서 각 픽셀별 색상정보 추출하여 임시 저장한다(S121). 그리고 집중도 확인 장치(300)는 기준 이미지를 선택하고, 임시 저장된 캡처본(또는 실시간 저장된 캡처본)과 픽셀별 색상 정보에 기초하여 유사도 산출한다(S122).

여기서, 기준 이미지는 유사도를 산출하고자 하는 캡쳐본의 재생 시점에 비해 직전 시점에서 캡처된 이미지로 선택하거나 별도로 지정된 하나 이상의 이미지일 수 있다. 그리고 캡처본은 실시간으로 캡처된 정지 이미지로 캡처 후 임시 저장된 캡처본을 의미한다. 이때, 반드시 임시 저장될 필요는 없고, 생성됨도 동시에 저장된 이미지들과 유사도를 산출할 수 있다.

또한, 집중도 확인 장치(300)는 전체 픽셀에서 유사도를 산출하거나 일정 영역을 한정하여 비교할 수 있다. 예를 들어, 동영상 콘텐츠가 이미지의 가장자리에서 동일한 프레임 테마를 반복하여 가지는 경우, 해당 프레임 영역을 제외한 영역을 설정하여 설정된 영역에서의 픽셀별 색상 정보를 비교할 수 있다.

이러한 구성은 추후에 관리자에 의해 용이하게 설정 및 변경이 가능하다.

다음으로 집중도 확인 장치(300)는 산출된 유사도가 임계치 이상인지 확인한다(S123).

집중도 확인 장치(300)는 픽셀별 색상 정보가 일치하는 픽셀의 수를 검색하여 유사도를 산출 할 수 있다.

예를 들어 집중도 확인 장치(300)는 전체 픽셀의 수에 기초하여 약 30% 이상의 픽셀별 색상 정보가 일치하는 경우를 확인할 수 있다. 이와 같이, 임계치 값은 약 30% 와 같이 전체 픽셀에 기초하여 비율 값으로 설정가능하며, 동영상 콘텐츠의 종류, 특성 또는 학습 집중도에 따른 난이도를 적용하고자 하는 경우와 같이, 적용되는 조건이나 환경에 따라 관리아제 의해 용이하게 설정 및 변경 가능하다.

이에 임계치 이상의 유사도를 가지는 경우, 집중도 확인 장치(300)는 캡처본 삭제한다(S124).

다시 말해, 집중도 확인 장치(300)는 캡처 시점이 상이하지만 동일한 이미지 프레임을 가지는 캡처본들이나 동일하지는 않지만 차이점이 매우 미비하여 분별하기 어려운 캡처본들을 유사도를 통해 필터링할 수 있다.

반면, 임계치 미만의 유사도를 가지는 경우, 집중도 확인 장치(300)는 캡처본을 데이터베이스에 저장한다(S125).

집중도 확인 장치(300)는 기준 이미지와 상이한 캡처본에 대해서 이미지 프레임, 동영상 재생 시점, 픽셀별 색상 정보 등을 포함하여 데이터베이스에 저장할 수 있다.

한편, 집중도 확인 장치(300)는 기준 이미지와 캡처본을 일대일로 비교하지 않고, 저장된 이미지들의 픽셀별 색상 정보들을 테이블에 저장하고, 해당 테이블의 데이터와 캡처본의 픽셀별 색상 정보를 비교할 수 있다. 이러한 경우, 저장된 모든 기준 이미지들과 캡처본과 일정 비율 이상의 유사도를 가지는 지 빠르게 비교할 수 있다. 이에 집중도 확인 장치(300)는 캡처본의 픽셀별 색상 정보가 테이블의 데이터와 비교하여 임계치 이상의 유사한 캡처본이 있는 경우 해당 캡처본을 삭제하고, 임계치 이상의 유사한 캡처본이 없는 경우, 데이터베이스에 저장할 수 있다.

이처럼 집중도 확인 장치(300)는 동영상 콘텐츠에서 서로 상이한 이미지들을 저장하여 이벤트 발생 트리거 신호에 기초하여 이벤트 화면을 생성할 수 있다.

한편, 집중도 확인 장치(300)가 동영상 콘텐츠의 전체 영상에 대해서 미리 이미지 데이터를 생성한 경우, 앞서 설명한 도 2의 S110 단계에서 바로 S130 단계로 진행되어 S140 단계에서는 미리 저장된 이미지 데이터베이스에서 이미지들 선택하여 이벤트 화면을 생성할 수 있다.

이하에서는 도 5와 6을 이용하여 학습자의 입력에 기초하여 학습 집중도를 확인하고 확인된 학습 집중도에 기초하여 학습 동영상을 제공하는 과정에 대해서 상세하게 설명한다.

도 5 는 본 발명의 한 실시예에 따른 학습자의 입력에 기초하여 학습 집중도를 확인하는 과정을 설명하기 위한 예시도이고, 도 6은 본 발명의 한 실시예에 따른 학습자의 잘못된 입력에 기초하여 학습 동영상의 재생을 초기화하는 과정을 설명하기 위한 예시도이다.

도 5의 (a)는 현재 시점에서 실시간으로 제공되고 있는 동영상 콘텐츠를 도시한 학습자 단말(200)의 화면이고, (b)는 이벤트 화면으로 전환된 학습자 단말(200)의 화면이며, (c)는 이벤트 결과에 기초하여 도시한 학습자 단말(200)의 화면이다.

교육 서버 장치(100)는 랜덤한 시점 또는 미리 설정된 시점에서 학습 동영상을 일시 정지(pause)하고 해당 화면에 대한 실시간 캡처본을 생성한다. 그리고 도 5의 (b)와 같이 동영상 콘텐츠에서 실시간 캡처본을 포함하는 다수개의 이미지로 구성된 이벤트 화면으로 학습자 단말(200)의 화면을 전환한다.

이때, 학습자 단말(200)로부터 입력받은 하나의 이미지를 수신하면, 수신한 이미지와 실시간 캡처본이 서로 일치하는 지 확인한다.

이에, 화면에 나열된 이미지들에서 학습하고 있는 동영상 화면인 실시간 캡처본을 선택하는 경우, 교육 서버 장치(100)는 학습자가 학습 집중도가 높다고 판단하여 도 5의 (c)와 같이, 일시 정지된 시점에서부터 교육 콘텐츠를 재생하도록 한다.

한편, 도 6의 (a)는 현재 시점에서 실시간으로 제공되고 있는 동영상 콘텐츠를 도시한 학습자 단말(200)의 화면이고, (b)는 이벤트 화면으로 전환된 학습자 단말(200)의 화면이며, (c)는 이벤트 결과에 기초하여 도시한 학습자 단말(200)의 화면이다.

도 6에서와 같이, 학습자 단말(200)로부터 실시간 캡처본이 아닌 다른 이미지를 선택받으면, 집중도 확인 장치(300)는 학습 집중도가 낮으므로 해당 콘텐츠를 재학습하기 위해 해당 동영상 콘텐츠를 초기화하여 처음부터 재생하도록 제어한다.

도 7은 본 발명의 한 실시예에 컴퓨팅 장치의 하드웨어 구성도이다.

도 7을 참고하면, 동영상 캡처 모듈(310), 이미지 대조 모듈(320), 이벤트 생성 모듈(330) 그리고 이벤트 제어 모듈(340)은 적어도 하나의 프로세서에 의해 동작하는 컴퓨팅 장치(400)에서, 본 발명의 동작을 실행하도록 기술된 명령들(instructions)이 포함된 프로그램을 실행한다.

컴퓨팅 장치(400)의 하드웨어는 적어도 하나의 프로세서(410), 메모리(420), 스토리지(430), 통신 인터페이스(440)를 포함할 수 있고, 버스를 통해 연결될 수 있다. 이외에도 입력 장치 및 출력 장치 등의 하드웨어가 포함될 수 있다. 컴퓨팅 장치(400)는 프로그램을 구동할 수 있는 운영 체제를 비롯한 각종 소프트웨어가 탑재될 수 있다.

프로세서(410)는 컴퓨팅 장치(400)의 동작을 제어하는 장치로서, 프로그램에 포함된 명령들을 처리하는 다양한 형태의 프로세서(410)일 수 있고, 예를 들면, CPU(Central Processing Unit), MPU(Micro Processor Unit), MCU(Micro Controller Unit), GPU(Graphic Processing Unit) 등 일 수 있다. 메모리(420)는 본 발명의 동작을 실행하도록 기술된 명령들이 프로세서(410)에 의해 처리되도록 해당 프로그램을 로드한다. 메모리(420)는 예를 들면, ROM(read only memory), RAM(random access memory) 등 일 수 있다. 스토리지(430)는 본 발명의 동작을 실행하는데 요구되는 각종 데이터, 프로그램 등을 저장한다. 통신 인터페이스(440)는 유/무선 통신 모듈일 수 있다.

본 발명에 따르면 실제 동영상 콘텐츠에 대한 수정이나, 동영상 콘텐츠에 포함된 실제 교육 내용을 추출하여 신규 작업을 진행하지 않더라도 학습자가 학습 중인 동영상 콘텐츠의 캡처본을 선택하게 함으로써, 학습 내용에 기초하여 학습자의 학습 집중도를 확인할 수 있다.

또한 랜덤한 시점에서 이벤트를 생성하여 제공하고, 학습자로부터 상이한 피드백 정보를 수신하면, 해당 동영상 콘텐츠의 재생을 초기화함으로써 동영상 콘텐츠에 대한 영상 집중도를 향상시킬 수 있으며, 영상의 기억력을 증진시킬 수 있다.

그리고 정형화된 진도 체크나 퀴즈를 제공하지 않고 학습하는 동영상에 기초하여 학습자마다 랜덤하게 이벤트를 제공함으로써, 실제 학습자의 학습 집중도를 향상시킬 수 있다.

이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기준 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (12)

1. 학습 집중도 확인 장치가 학습자의 학습 집중도를 확인하는 방법으로서,
   학습자 단말에 재생되는 동영상 콘텐츠를 수집하여 일정 주기에 따라 캡처본을 생성하여 이미지로 저장하는 단계,
   임의의 시점에서 상기 동영상 콘텐츠의 재생을 일시 정지 시키고, 하나의 실시간 캡처본을 포함하는 복수 개의 이미지가 나열된 화면으로 상기 학습자 단말의 화면을 전환시키는 단계,
   상기 학습자 단말로부터 하나의 이미지를 선택받으면, 선택된 이미지와 상기 실시간 캡처본이 일치하는 지 확인하는 단계, 그리고
   상기 선택된 이미지가 상기 실시간 캡처본과 일치하면 일시 정지된 시점에서부터 상기 동영상 콘텐츠를 재생시키고, 일치하지 않으면 상기 동영상 콘텐츠의 재생을 초기화시키는 단계
   를 포함하는 학습 집중도 확인 방법.
   
2. 제1항에서,
   상기 이미지로 저장하는 단계는,
   상기 캡처본을 생성하면, 이전 시점에서 생성한 이미지 중에서 하나 이상의 기준 이미지를 선택하고, 상기 기준 이미지와 상기 캡처본 간에 유사도가 임계치 이상이면 상기 캡처본을 제거하고, 상기 유사도가 임계치 미만이면, 상기 캡처본을 이미지로 저장하는 학습 집중도 확인 방법.
   
3. 제2항에서,
   상기 이미지로 저장하는 단계는,
   상기 기준 이미지과 상기 캡처본에서 각각 픽셀별 색상 정보를 추출하고, 상기 픽셀별 색상 정보가 일치하는 비율에 기초하여 유사도를 산출하는 학습 집중도 확인 방법.
   
4. 제1항에서,
   상기 학습자 단말의 화면을 전환시키는 단계는,
   임의의 시점에서 이벤트 발생 트리거 신호가 발생하면, 저장된 이미지들 중에서 실시간 캡처본 이전 시점에서 재생 시점을 가지는 이미지들을 복수 개 선택하여, 상기 실시간 캡처본과 랜덤하게 배치되는 화면을 생성하는 학습 집중도 확인 방법.
   
5. 제4항에서,
   상기 동영상 콘텐츠의 재생을 초기화시키는 단계는,
   상기 동영상 콘텐츠의 초기화면으로 재생을 초기화시키거나 이전 시점에서 학습자 단말로부터 일치하는 실시간 캡처본을 선택받은 경우, 선택한 시점으로 재생으로 초기화시키는 학습 집중도 확인 방법.
   
6. 제1항에서,
   상기 이미지로 저장하는 단계는,
   상기 동영상 콘텐츠의 전체 영상을 수집하여 각 캡처본의 재생 시점을 포함하는 복수 개의 캡처본을 생성하는 학습 집중도 확인 방법.
   
7. 컴퓨팅 장치에 의해 실행되고, 컴퓨터 판독 가능한 기록 매체에 저장되는 프로그램으로서,
   임의의 시점에서 학습자 단말에 재생되는 동영상 콘텐츠에 대한 실시간 캡처본을 생성하면, 상기 동영상 콘텐츠의 재생을 일시 정지 시키고, 상기 실시간 캡처본을 포함하는 복수개의 이미지들이 나열된 화면으로 상기 학습자 단말의 화면을 전환시키는 단계,
   상기 학습자 단말로부터 하나의 이미지를 선택받으면, 선택된 이미지와 상기 실시간 캡처본이 일치하는 지 확인하는 단계, 그리고
   상기 선택된 캡처본과 상기 실시간 캡처본이 일치하면 일시 정지된 시점에서부터 상기 동영상 콘텐츠를 재생시키고, 일치하지 않으면 상기 동영상 콘텐츠의 재생을 초기화시키는 단계
   를 실행하는 명령들을 포함하는 프로그램.
   
8. 제7항에서,
   상기 임의의 시점 이전에 동영상 콘텐츠에 기초하여 일정 주기에 따라 캡처본들을 생성하고, 생성한 캡처본을 상기 동영상 콘텐츠에서의 재생 시점과 연계하여 이미지로 저장하는 단계
   를 실행하는 명령들을 더 포함하는 프로그램.
   
9. 제8항에서,
   상기 이미지로 저장하는 단계는,
   상기 캡처본들 중에서 하나 이상의 기준 캡처본을 선택하고, 상기 기준 캡처본과 캡처본간에 유사도가 임계치 이상이면 상기 캡처본을 제거하고, 상기 유사도가 임계치 미만이면, 상기 캡처본을 이미지로 저장하는 프로그램.
   
10. 제9항에서,
    상기 이미지로 저장하는 단계는,
    상기 기준 캡처본과 상기 캡처본에서 각각 픽셀별 색상 정보를 추출하고, 상기 픽셀별 색상 정보가 일치하는 비율에 기초하여 유사도를 산출하는 프로그램.
    
11. 제7항에서,
    상기 학습자 단말의 화면을 전환시키는 단계는,
    임의의 시점에서 이벤트 발생 트리거 신호가 발생하면, 실시간 캡처본 이전 시점의 재생 시점을 가지는 저장된 이미지들을 중에서 랜덤으로 복수 개 선택하고, 상기 실시간 캡처본과 선택한 복수 개의 이미지들을 랜덤하게 배치되는 화면을 생성하는 프로그램.
    
12. 제11항에서,
    상기 일치하는 지 확인하는 단계는,
    일정 시간 내에 상기 학습자 단말로부터 하나의 이미지를 선택받지 못하면, 상기 학습자 단말로부터의 선택이 상기 실시간 캡처본이 일치하지 않은 것으로 판단하는 프로그램.

Images