KR20100016696A - 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스스케줄링방법 - Google Patents

Abstract

본 발명은 얼굴분석기법을 이용하여 학습자의 인증 및 학습상태를 실시간으로 분석하여 이를 기반으로 학습자마다 맞춤형의 학습코스를 계획하여 효율성 있는 가상강의가 이뤄지도록 한 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스 스케줄링방법에 관한 것으로서, 본 발명은 입력영상의 모든 프레임별로 얼굴영상을 분석하여 각각의 프레임에 학습상태를 부여하는 순간학습상태와 일정구간의 프레임들의 순간학습상태와 머리의 움직임정보를 고려하여 전체학습상태를 분석하되, 상기 순간학습상태는 얼굴영역에 대한 검출유무, 눈과 입의 검출유무, 시선집중유무, 눈 크기가 70%이상인지 여부, 눈 크기가 30%이하인지 여부에 따라 학습상태를 집중, 산만, 졸음, 수면, 이탈의 5가지 중 하나로 판별하고, 상기 전체학습상태는 일정 구간에 대해 나타나는 순간학습상태 열을 인간의 행동패턴과 반응시간을 고려하여 보정하고, 보정된 순간학습상태의 빈도수를 계산하여 백분율로 나타내며, 순간학습상태의 백분율과 교수자의 시선응시 유도에 대한 반응여부를 조합하여 결정하는 특징이 있다.

순간학습, 전체학습, 집중, 졸음

Description

가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스 스케줄링방법{Student learning attitude analysis systems in virtual lecture}

본 발명은 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스 스케줄링방법에 관한 것으로서, 더욱 상세하게는 얼굴분석기법을 이용하여 학습자의 인증 및 학습상태를 실시간으로 분석하여 이를 기반으로 학습자마다 맞춤형의 학습코스를 계획하여 효율성 있는 가상강의가 이뤄지도록 한 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스 스케줄링방법에 관한 것이다.

최근 통신 및 네트워크 기술과 멀티미디어 기술의 발전에 힘입어 인터넷은 정치, 경제, 교육, 문화 등 여러 가지 새로운 응용분야를 창출하고 있다. 이 중에서 교육분야의 인터넷 응용은 매우 획기적인 발전을 하고 있다. 특히, 웹을 기반으로 한 가상대학은 시간과 공간적인 제약을 받지 않고, 교육 수요자의 필요에 의한 선별적 학습이 가능하다는 장점이 부각되면서 교육의 새로운 형태로 자리 잡아가고 있다.

이러한 가상대학은 많은 장점에도 불구하고 여러 가지 문제점을 가지고 있다. 즉, 학습자와 교수자 사이의 상호 작용이 원활하지 못하므로서 학습 효율이 떨 어지고, 인터넷과 같은 열린 통신망을 이용하기 때문에 평가와 관리 등에 있어서 많은 문제 들이 나타난다.

최근 교육공학분야에서도 가상강의에 대한 질적인 저하 요인으로서 새로운 학습형태에 따른 부작용으로 인해 나타나는 학습효과 저하와 학습자의 성공적인 상호작용을 촉진하는 전략의 결여, 그리고 비 동기화된 학습자에 대한 배려 부족 등이 보고되고 있다. 특히 면대면 강의에서는 교수자에 의해 학습 과정의 난이도나 학습자의 상태를 고려하여 집중도를 학습시간 중 지속적으로 유도할 수 있으나, 온라인 가상강의에서는 그러한 과정에 대한 배려가 없는 것이 현 실정이다.

일반적으로 가상강의의 한계점은 교수자와 학습자 사이의 쌍방향성 정보교환의 부재에 의해 나타난다. 이는 면대면 강의에서는 학습자의 학습상태에 대한 교수자의 학습 감독기능이 있으나 온라인강의에서는 학습 감독기능에 관한 적절한 대체수단을 갖지 못하기 때문이라 생각할 수 있다. 그러므로 온라인강의에 학습감독기능을 부가할 수 있다면 학습자의 학습상태에 따라 적응적으로 반응하는 학습효율이 높은 온라인 가상강의를 실현할 수 있을 것이다.

본 발명은 온라인 가상강의에서 면대면 강의처럼 학습자의 학습상태를 확인하기 위해서는 학습자의 학습영상을 통해 학습상태를 분석하는 방법이 필요하게 된다. 이를 위해서는 웹 카메라를 통해 입력된 학습자의 학습영상에 대한 영상처리가 이루어져야 하며, 처리된 영상에 대해 적절한 학습상태 평가방법이 도입된 학습상 태 분석시스템이 필요하게 된다. 이에 따라 본 발명에서는 얼굴분석을 통한 가상대학 학습자의 학습상태 분석시스템을 제안한다.

본 발명의 제안된 시스템에서는 눈의 움직임을 토대로 학습자의 졸음 여부를 판단하고, 머리의 움직임을 토대로 시선 집중여부를 판단한다. 눈의 움직임과 머리의 움직임 추출은 학습자의 학습영상을 이용한 얼굴영역 검출로 이루어진다. 얼굴영역검출은 피부색을 이용한 검출방법을 사용한다. 얼굴영역검출을 통해 나타난 눈의 크기와 머리의 움직임을 추적하여 학습상태를 파악하고, 강의집중 여부를 분석한다. 강의집중 여부는 얼굴검출 유무, 눈과 입의 검출 유무, 시선집중 유무, 눈 크기 등을 판단하여 이를 평가기준으로 한다. 제안된 시스템은 순간학습상태분석과 전체학습상태분석으로 나누어 학습상태를 분석하고, 이를 기반으로 학습자의 학습상태에 적합한 컨텐츠, 학습자료 및 교수전략 등을 제공하는 맞춤형의 학습코스 스케줄링방법을 구현하는 것이 본 발명의 목적이다.

본 발명은 입력영상의 모든 프레임별로 얼굴영상을 분석하여 각각의 프레임에 학습상태를 부여하는 순간학습상태와 일정구간의 프레임들의 순간학습상태와 머리의 움직임정보를 고려하여 전체학습상태를 분석하되, 상기 순간학습상태는 얼굴영역에 대한 검출유무, 눈과 입의 검출유무, 시선집중유무, 눈 크기가 70%이상인지 여부, 눈 크기가 30%이하인지 여부에 따라 학습상태를 집중, 산만, 졸음, 수면, 이탈의 5가지 중 하나로 판별하고, 상기 전체학습상태는 일정 구간에 대해 나타나는 순간학습상태 열을 인간의 행동패턴과 반응시간을 고려하여 보정하고, 보정된 순간 학습상태의 빈도수를 계산하여 백분율로 나타내며, 순간학습상태의 백분율과 교수자의 시선응시 유도에 대한 반응여부를 조합하여 결정하는 특징이 있다.

본 발명은 온라인 가상강에서 학습감독기능 및 수강자의 능동적인 강의를 구현한 것으로서, 수강자 인증 및 학습태도 모니터링과 같은 통제요인인 학습감독권을 부여하기 위해 얼굴영상을 이용한 수강자 인증 시스템을 구현하였고, 학습태도를 분석하는 시스템을 완성하였다.

본 발명의 학습태도분석시스템은 졸음상태를 인식하기 위해 눈꺼풀의 움직임을 이용하였고 시선집중여부의 판단을 위해 머리의 상하 움직임을 추적하여 학습태도를 파악하고 이를 토대로 강의 집중 여부를 분석하며, 강의집중 여부를 판단하는 평가기준은 얼굴검출 유무, 눈과 입의 검출 유무, 시선집중 유무 및 눈 크기를 토대로 하여 집중, 산만, 졸음, 수면 및 이탈의 5가지 학습태도를 순간학습태도로 분류하고 전체 학습태도는 상기 순간학습태도와 교수자의 시선집중유도를 조합하여 집중, 산만, 졸음 및 수면의 4가지 학습태도로 분류하여 이를 토대로 수강자별 맞춤형 강의가 이뤄지는 효과가 있다.

본 발명은 가상대학 수강생들의 학습 효율을 극대화 시킬 수 있으며, 학습상태를 평가에 반영할 수 있어, 문제풀이에만 의존하던 가상대학의 평가 방법을 다양화하는 효과도 얻을 수 있고, 학습감독 기능을 통해 학습자의 불성실한 학습활동을 방지할 수 있으며, 어느 정도 일정한 범위의 학습성과를 기대할 수 있는 등의 효과가 있다.

이하 본 발명의 바람직한 실시예를 첨부 도면에 따라 상세히 설명하면 다음과 같다.

도 1은 본 발명 한 실시예의 수강자 등록 및 인증 시스템의 개념도 로써, 본 발명은 가상강의에 학습감독권의 기능을 부여하기 위해 얼굴영상을 이용한 학습자 인증시스템을 구현하고, 학습상태 분석시스템을 제안한다. 아울러 교수자와 학습자 사이의 상호작용을 부여하기 위해, 학습자의 학습상태에 따라 능동적으로 강의가 진행될 수 있는 교수-학습모델을 제안한다.

먼저 학습자 인증에 있어서는 아이디와 패스워드 방식의 인증과 더불어 얼굴영상을 이용한 학습자 인증시스템을 구현하였다. 얼굴영상을 이용한 인증시스템을 구현함으로써 타인에 의한 대리학습을 방지하여 온라인 학습의 신뢰성 및 법적 분쟁의 소지도 줄일 수 있다. 얼굴 인증시스템에서 얼굴 영역 검출은 실시간 처리를 위해 얼굴구성의 사전지식을 이용한 평균 얼굴색상의 색채히스토그램을 이용한다. 또한 얼굴인증을 위해서는 얼굴부위별 영역의 평균 히스토그램에 의해 개개인의 고유특징을 추출하고, 컬러히스토그램 교차법(Color Histogram Intersection : CHI)을 사용한다.

가상대학의 운영서버는 위의 방법으로 학습자의 얼굴영상을 등록하기 위하여 카메라나 스케너를 통해 얼굴영상을 입력받아 특징을 추출한 후 학사 운영서버에 데이터베이스화하여 등록 처리한다.

학습자는 가상대학에 접속하여 수강할 때 인증을 위해 자신의 모니터 앞에 놓인 CCD 카메라를 통하여 얼굴인증을 실시한다. 얼굴인증은 학습자의 얼굴 특징을 추출하여 특징값 즉, 눈과 입의 위치 값을 기반으로 눈과 입, 코의 명암 텍스쳐 분포도를 계산하여 운영서버에 DB화된 자신의 특징값과 매핑을 통하여 인증을 실시한다.

학습자 인증이 완료되면 본격적으로 가상강의가 진행되는데, 본 발명은 가상강의 도중 학습자의 상태를 영상으로 실시간 파악하여 학습상태를 분석하는 모델을 제시하기 위한 것으로서, 아래의 단계별로 본 발명이 구성된다.

1. 학습상태 분석을 위한 눈과 머리 움직임 검출방법

도 2는 본 발명 한 실시예의 학습상태 분석시스템의 개념도 로써, 본 발명에서는 학습상태 분석을 위해 눈과 머리의 움직임을 이용한다. 눈 움직임은 학습자의 학습상태를 결정하는 중요한 요소로 사용된다. 즉 눈 움직임을 통해 집중, 산만, 졸음, 수면 및 이탈의 5가지 학습상태를 결정하게 된다. 또한 머리 움직임은 강의를 하는 교수자의 시선집중 유도에 따라 학습자의 반응을 평가할 수 있는 척도가 된다. 즉 머리의 3차원 운동 중에서 상하운동은 학습상태 평가를 위한 중요한 요소이다. 따라서 이러한 학습상태평가를 위해서는 얼굴영상에 있어서 눈과 머리의 움직임 검출이 필요하게 된다.

1-1. 눈 움직임 검출방법

눈 움직임을 검출하기 위해서는 먼저 입력된 얼굴영역을 대상으로 얼굴의 구성요소 중 눈과 입의 위치와 영역을 추출해야 한다. 입력영상은 개인차 및 카메라 의 촬영 각도와 거리 및 조명 등에 의해 여러 가지로 변화한다. 또한 입력영상의 화질에 잡음이 삽입된 경우는 색상 성분이 불안정하기 때문에 피부색이 정확하게 추출될 수 없는 경우와 너무 작은 얼굴에서는 정확히 추출될 수 없는 경우가 발생된다.

<눈, 입 위치 및 영역 검출>

입력된 얼굴영상에 대해 먼저 얼굴의 기본 특징인 눈을 추출하고 다음으로 입을 추출한다. 여기서는 조명의 영향과 너무 밝거나 어두운 영상, 또는 어느 한편으로 치우쳐 있는 영상을 개선하는데 유효한 히스토그램 균일화 방법을 사용한다. 즉 명도 값의 분포를 모두 같도록 수정함으로써 전체적인 영상의 명도 밸런스를 같도록 개선하는 전 처리를 수행한다. 이러한 전 처리를 위해서 먼저 명암 영상에 대하여 이진화를 수행하며, 눈이나 눈썹 그리고 코 입 부분이 상대적으로 어둡다는 이진화 특성을 이용하여 영역을 추출한다.

눈을 추출하기 위해서는 명암 영상에서 계곡을 구하기 위해서 식(1)와 같이 x축으로 투영(projection)한다.

------------- (1)

여기서 f(x,y)는 이진화 영상, H(x)는 x축 투영을 나타낸다.

투영된 영상에서 두 봉우리(눈, 입)를 추출하고 판단한다. 이러한 추출을 위해서는 영상을 획득할 때 주어지는 수평 중심축을 중심을 위로 이동하면서 투영된 최대의 봉우리를 찾는다. 찾는 봉우리의 위치 값을 눈의 수평위치 축으로 정한다. 다음으로 눈의 위치를 판단하기 위하여 눈의 수평축을 기준으로 일정한 크기의 마스크를 적용하여 좌에서 우로 입력할 때 주어진 수직 중심축까지 이동하면서 최대의 검은 화소의 영역을 좌측 눈의 위치로 결정한다. 다음으로 수직 중심축에서 우로 이동하면서 같은 방법을 적용하여 우측 눈의 위치를 결정한다. 여기서 8×8 마스크는 얼굴의 면적을 적용할 때의 크기(100×100)를 기준으로 눈의 크기를 결정하였다. 다음으로 수평 기준선을 중심으로 아래로 이동하면서 최대의 봉우리를 찾으며 이때 찾은 위치를 입의 수평축으로 결정한다. 그리고 입의 가로 크기는 봉우리의 높이로 정한다.

<눈 크기 검출>

눈 크기는 학습상태의 평가에서 졸음 여부를 판단하는 가장 중요한 요소이다. 따라서 눈 크기를 측정하기 위해 앞서 검출된 눈 영역에 대해서 운영자 서버에 등록된 얼굴영상의 홍채 부분과 흰자위 부분의 색 정보를 이용하여 좌우의 눈 영역을 추출한다. 이렇게 추출된 좌우 눈 영역의 단축 거리를 평균하여 눈 크기로 결정한다. 이때 수면상태의 영상에서는 눈꺼풀이 완전히 닫아져 있기 때문에 눈 영역이 검출되지 않는 경우도 있다. 그러므로 눈 영역이 검출되지 않을 때에는 눈 크기를 0으로 설정한다. 그리고 학습자에 대한 최대 눈 크기는 학습자 인증을 위해서 등록된 얼굴영상에 나타난 눈 크기를 사용한다. 이는 학습자인증을 위해 등록된 얼굴영상은 전문적 사진사에 의해 촬영된 증명사진이거나 웹 카메라로 촬영된 사진이기 때문에 정규화 된 것이다.

<눈 크기 보정>

눈 크기는 학습자가 같은 상태의 눈 크기를 유지하고 있을지라도 학습자와 웹 카메라의 거리에 의해 그 값이 다르게 나타난다. 뿐만 아니라 같은 눈의 크기를 유지하고 있다 하더라도 머리가 웹 카메라를 정면으로 바라보면 가장 크게 나타나고, 고개를 숙이거나, 하늘을 바라보면 기울어진 각도에 비례하여 눈의 크기가 작게 나타난다.

따라서 안정적인 학습상태를 얻기 위해서는 최대 눈 크기를 고정된 값을 사용해서는 안 되고, 학습자세에 따라 최대 눈 크기를 보정할 필요가 있다.

이를 위해 먼저 학습자와 웹 카메라의 거리변화에 따른 최대 눈 크기의 보정은 졸음이나 모니터, 그리고 책상 위의 교재를 보기 위해 움직이는 Y축 회전에서는 X축의 값은 변화가 없기 때문에 등록된 얼굴영상과 입력된 얼굴영상의 양 눈 사이의 비례관계를 기준으로 입력영상의 최대 눈 크기를 보정한다. 학습자 인증을 위해서 등록된 얼굴영상의 양 눈 사이의 거리를 DX, 입력된 영상의 양 눈 사이의 거리를DX₁,라 하고 등록된 얼굴영상의 최대 눈 크기를 E라 하면 입력영상에 적용될 보정된 최대 눈 크기 E₁ 은 다음과 같이 나타낼 수 있다.

---------------(2)

다음으로 머리 움직임으로 인한 최대 눈 크기의 보정은 눈과 입사이의 거리와 최대 눈 크기의 비례관계를 이용하여 계산할 수 있다. 식(2)에 의해 보정된 눈과 입사이의 거리를 DY₁, 입력된 영상의 눈과 입사이의 거리를 DY라 하고 식(2)에 의해 보정된 등록된 얼굴영상의 최대 눈 크기를 E₁라 하면 입력영상에 적용될 보정된 최대 눈 크기 E₂ 는 다음과 같이 나타낼 수 있다.

-----------(3)

이렇게 학습자와 웹 카메라의 거리와 머리움직임에 대한 보정을 한 E₂ 를 사용하여 입력된 영상의 눈 크기가 최대 눈 크기의 몇 퍼센트 인지를 평가한다.

1-2. 머리 움직임 검출방법

일반적으로 면대면 강의에 있어서 학습자들은 강의를 하는 교수자나 칠판, 스크린 그리고 책상에 있는 교재를 주시한다. 이러한 행동은 교수자의 강의 형태에 따라 그 경향이 다소 다르게 나타난다. 멀티미디어를 사용한 강의의 경우 학습자가 스크린을 주시하는 비중이 높아지며, 판서가 많은 강의의 경우 칠판과 책상을 교대로 주시하는 머리의 운동이 아주 많게 된다. 또한 판서가 별로 없고 교재나 미리 제시된 강의노트의 설명을 위주로 하는 경우는 일반적으로 고개를 떨어뜨려 책상을 주시하는 비중이 커지게 된다. 그러나 이러한 세 가지 경우 모두 교수자가 시선을 유도하는 행동을 하게 되면 거의 대부분의 학습자의 시선은 교수자에게 모아지게 된다. 면대면 강의에서 이러한 시선을 모으는 행동은 교수자에 따라, 강의 내용에 따라, 혹은 강의실 환경에 따라 다양한 방법들을 사용하고 있다.

머리 움직임의 검출은 교수자의 시선집중 유도에 대해 학습자의 반응을 검사하는 방법으로서 졸음에 의한 머리의 상하운동, 그리고 강의시간 동안 학습자가 강 의수단이 되는 컴퓨터 모니터를 주시하는 시간 등을 실시간 영상처리 기법을 이용하여 조사한다.

머리의 3차원적인 움직임은 X축의 회전에 의한 상하운동, Y축의 회전에 의한 좌우운동, Z축의 회전에 의한 좌우 회전을 측정하여 알 수 있다. X축의 회전에 의한 상하운동은 양 눈의 중점과 입의 중점과의 거리로 각각 결정한다. 상하운동 중에서 학습상태 평가를 위한 의미 있는 운동은 크게 세 가지로 분류할 수 있다. 첫째, 졸음에 의해 나타나는 상하운동은 약간의 머리의 꾸벅임으로 나타나고, 졸음상태가 진행됨에 따라 꾸벅이는 각도가 커지고, 꾸벅이는 간격이 길어진다. 두 번째로 머리를 숙이는 운동은 테이블에 있는 교재를 참고하기 위해 머리를 숙이는 운동이거나 졸음 내지 수면에 의해 나타나는 머리 숙임이다. 이것은 동일한 형태로 나타나지만 눈 크기를 비교하면 쉽게 구분할 수 있다. 세 번째로 고개를 드는 행위로 이것은 화면 응시를 위한 행동이거나 졸음 내지 수면상태에서 각성상태로 복귀하는 과정에 나타난다. 그러므로 머리의 상하운동은 학습자의 3차원 운동 중에서 학습상태 평가를 위한 가장 중요한 운동이라고 할 수 있다. Y축의 회전에 의한 좌우운동과 Z축의 회전에 의한 좌우 회전은 일부 졸음이나 수면 등에 나타나기도 하지만 학습자의 학습자세에 의해 나타나는 경우가 더 많기 때문에 학습상태의 평가에는 많은 영향을 미치지는 않는다.

이렇게 측정된 3차원 운동정보는 실제의 움직임을 정확히 검출했다고는 할 수 없지만 실시간처리를 위한 계산 량의 축소와 시선 집중에 대한 판단근거만 제공하면 되기 때문에 적절한 방법이라 생각된다.

머리의 X축에 의한 상하운동을 측정하는 방법은 다음과 같다.

동일한 크기의 얼굴일지라도 얼굴의 회전 각도에 따라 화면상에 나타나는 크기는 달라진다. 얼굴이 카메라와 직각일 때 얼굴영상에 나타난 얼굴의 거리를y_n , 얼굴과 카메라의 각도가 45도일 때 얼굴영상에 나타난 얼굴의 거리를 y_r 이라 하면, 45도 회전에 의해 화면상에서 줄어든 얼굴의 거리를 백분율로 나타내면 다음과 같다.

------------(4)

머리 움직임을 이용한 시선집중 유무의 판단은 웹 카메라의 방향을 기준으로 위로 25도 머리를 들면 화면을 응시하는 것이고, 아래로 25도 머리를 숙이면 책상의 교재를 인식하는 것으로 기준을 정하고, 시선응시에 대한 임계값은 20도를 사용하였다. 시선 응시에 반응하여 카메라의 정면방향에서 20도 머리를 올렸을 경우 정면에서의 얼굴 거리에 비해 8%정도의 얼굴 거리 감소가 발생했다. 식(4)에 의해 보정된 등록된 얼굴영상의 눈과 입사이의 거리인 DY₁ 에 비해 입력된 영상의 눈과 입사이의 거리인 DY가 8% 이상 줄어들게 되면 학습자가 화면을 응시하고 있다는 기준으로 삼았다.

2. 눈과 머리 움직임에 따른 졸음상태의 평가방법

도 3은 본 발명 한 실시예의 졸음상태 평가를 위한 눈감은 시간 측정도로써, 졸음상태를 감지하기 위해 눈 크기를 실시간 감시하여 눈 크기가 최대 눈 크기의 100%~70% 사이의 영역을 눈을 뜨고 있는 개안영역, 30%~0% 사이는 눈을 감고 있는 폐안영역, 그리고 70%~30%의 사이는 눈이 약간 닫혀 진 상태로써 졸음상태, 눈의 피로 및 눈 깜박임 중간에 나타나는 중간영역으로 구분하였다.

일반적으로 졸음이 나타날 때의 특징을 눈 크기와 연관 지어 생각해 보면 개안영역 지속시간은 감소하고, 폐안영역 지속시간, 중간영역 지속시간, 눈 깜박임 주기는 점차 증가하는 경향을 보인다.

졸음상태의 분석은 모든 프레임별로 얼굴영상을 분석하여 각각의 프레임에 졸음상태를 부여하는 순간졸음상태의 평가와 일정 구간의 프레임들의 순간졸음상태 정보를 고려하여 구간별 전체졸음상태를 결정한다.

순간졸음상태는 프레임간의 상관을 고려하지 않고 프레임별로 얻어진 각각의 정지영상에 대해 눈동자의 크기가 어느 영역에 있는가를 판별하고 이것을 평균 눈 깜박임 주기 동안 누적하여 폐안영역에 머무는 시간이 기준을 초과할 때 졸음으로 판별하는 비교적 간단한 알고리즘을 사용하여 이루어진다.

전체졸음상태는 일반적으로 졸음이 나타나지 않는 구간, 다시 말하면 학습 개시 후 5분정도의 각성상태에서 눈 깜박임 운동을 감시하여 개안영역 누적시간과 눈 깜박임 횟수를 산출하고 이후에 나타나는 모든 프레임의 5분간의 개안영역 누적시간이 초기 각성시의 누적시간의 상태를 비교하여 전체졸음상태를 결정한다.

3. 학습상태 평가방법

온라인 강의에서 학습자의 학습상태를 파악하는 것은 매우 중요한 의미를 갖는다. 면대면 강의에서와 같이 교수자가 학습자의 학습상태를 알면 그에 따라 적절한 조치를 취함으로써 학습 성취도를 높일 수 있다. 따라서 학습자의 학습상태를 파악하기 위해서 본 발명에서는 학습상태를 순간학습상태와 전체학습상태로 나누어 평가하였다. 여기서 순간학습상태는 입력영상의 모든 프레임별로 얼굴영상을 분석하여 각각의 프레임에 학습상태를 부여하여 결정하는 것을 의미하고, 전체학습상태는 일정 구간의 프레임들의 순간학습상태와 머리의 움직임정보를 고려하여 결정하는 것을 의미한다.

3-1. 순간학습상태의 평가방법

도 4는 본 발명 한 실시예의 순간학습상태 결정 흐름도로써, 순간학습상태는 매 영상 프레임마다 판정해야 하기 때문에 눈의 크기만을 비교하는 비교적 간단한 알고리즘을 사용하여 이루어진다. 순간학습상태를 결정짓는 요인으로는 얼굴영역에 대한 검출유무, 눈과 입의 검출유무, 시선집중유무, 눈 크기가 70%이상인가의 기준, 눈 크기가 30%이하인가의 기준으로 나눈다. 따라서 학습상태평가를 위한 5가지 기준을 이용하여 동영상에서 얻어진 모든 프레임에 대해 집중, 산만, 졸음, 수면, 이탈의 5가지의 학습상태 중 하나로 판별한다.

여기서 집중 상태는 학습자가 깨어있는 상태에서 성실히 강의를 수강하는 상태를 의미한다. 산만 상태는 깨어있는 상태에 있지만 화면을 응시하지 않는 상태를 나타내고, 졸음 상태는 눈이 약간 감겨있고 눈이 감겨있는 상태가 지속되는 시간이 길어지거나 화면을 응시하지 않고 눈이 계속 감겨있는 상태를 나타낸다. 그리고 이 탈 상태는 입력된 영상에서 얼굴영역을 검출할 수 없는 상태를 의미한다.

3-2. 전체학습상태 평가방법

전체학습상태는 일정 구간에 대해 나타나는 순간학습상태 열을 인간의 행동패턴과 반응시간을 고려하여 보정하고, 보정된 순간학습상태의 빈도수를 계산하여 백분율로 나타낸다. 이렇게 얻어진 순간학습상태의 백분율과 시선응시 유도에 대한 반응여부를 조합하여 전체학습상태를 결정한다. 즉, 전체학습상태는 순간학습상태를 나열하여 시간축 상의 연관성에 의해 순간학습상태를 보정한 후 소 강의에서 나타나는 모든 프레임의 순간학습상태의 빈도를 백분율로 계산하고, 시선 응시 유도에서의 반응결과를 바탕으로 집중, 산만, 졸음, 수면의 4가지로 판단한다. 여기서 순간학습상태의 보정은 프레임별로 얻어진 순간학습상태를 인간의 행동패턴과 반응시간을 고려하여 다음과 같이 보정한다.

첫째, 5초 이내의 자리 이탈은 일어나기 힘들고, 자리 이탈의 판별조건이 되는 얼굴영역 검출이 안 되는 경우는 수면 시 영상에 얼굴의 피부색이 아닌, 머리만 보이기 때문에 시간 축 상의 5초 이내의 지속시간을 갖는 이탈로 판명된 순간학습상태를 모두 수면으로 바꾼다.

둘째, 순간학습상태가 집중으로 나타나는 프레임 열 사이에 존재하는 10프레임 미만의 다른 상태는 모두 집중으로 바꾼다. 이것은 집중 상태에서도 나타나는 정기적인 눈 깜박임에 의해 졸음이나, 수면으로 판정되는 순간학습상태를 집중으로 바꾸는 것을 의미한다.

셋째, 순간학습상태가 졸음으로 판별된 구간내의 5초 이하의 수면은 모두 졸 음으로 바꾼다.

이상과 같은 3가지 보정방법에 의해 순간학습상태 열을 만들고, 전체 소주제별 강의에서 각각의 순간학습상태의 빈도수를 계산하여 백분율로 나타낸 다음, 시선응시 유도에 대한 반응여부를 조합하여 전체학습상태를 결정한다. 이것을 아래 도표에 나타낸다.

전체학습태도	판별조건
수면	- 수면이 20%를 넘는 경우 - 수면+졸음이 30%를 넘고 시선유도에 반응하지 않은 경우 - 수면+졸음이 50%이상이고 시선유도에 반응한 경우
졸음	- 수면+졸음이 10% ∼ 30%이고 시선유도에 반응하지 않은경우 - 수면+졸음이 30% ∼ 50% 이고 시선유도에 반응한 경우
산만	- 산만이 50%가 넘는 경우 - 산만이 20% ∼ 50%이고 졸음이 30% 이상인 경우
집중	- 나머지 경우

4. 학습상태에 따른 지능형 학습과정 설계 방법

4-1. 가상강의의 구성방법

학습상태평가를 위한 가상강의는 학습자의 학습상태에 능동적으로 반응하는 강의가 이루어져야하기 때문에 종래의 가상강의와는 다르게 제작되어야 한다.

일반적인 면대면 강의에서는 교수자가 학습자의 상태를 정확히 파악할 수 있기 때문에 졸음이나 집중력 분산이 감지될 때는 적절한 방법을 통해서 주위를 환기시키고 다양한 방법으로 학습효율을 최대화 하고 있다. 그러나 온라인 가상강의에서는 학습자의 학습상태를 피드백 받지 못하기 때문에 학습자의 상태와 관계없이 정해진 순서에 의해 쉼없이 강의가 진행되는 것이 일반적이다. 이러한 강의에서 학습자는 일시정지를 통해서 강의를 일시적으로 중단시키는 소극적인 형태로 강의 진 행에 참여할 수밖에 없다. 그리고 학습자는 일반적으로 50분 단위로 이루어지는 강의의 전 과정에 항상 집중하기는 쉽지 않고, 더욱이 강의 중간에 졸음이나 집중력 분산 등의 요인에 의해 강의 내용 중 일부분은 쉽게 이해되지 않는 부분이 발생하고 이러한 점을 보완하기 위해 같은 내용을 여러 번 반복하여 수강하는 등의 문제점을 야기한다. 그러나 가상강의에서도 학습자의 상태를 정확히 파악할 수 있다면 학습자의 상태에 맞게 강의를 조절할 수 있기 때문에 면대면 강의에서 증명된 최대의 학습효과를 기대할 수 있다.

도 5는 본 발명 한 실시예의 학습태도에 따른 후속강의 편성 흐름도로써, 본 발명에서는 학습상태에 능동적으로 반응하는 가상강의를 만들기 위해서 강의의 내용을 하나의 파일로 작성하지 않고 소주제별로 나누어 작성한다. 즉 모든 강의는 소주제별로 평균 5분정도의 주강의(MC: Main Content)로 작성하고, 같은 주제에 대한 보충강의(SC: Sub Content)와 평가문제(EC: Examination Content)를 각각 작성한다. 그리고 학습자의 긴장을 완화시키고 졸음상태를 벋어나기 위해 유머(HC: Humour Content) 등을 파일로 작성한다. 그리고 강의 집중도를 파악하기 위해 소주제 별로 하나 이상의 시선유도 행위를 강의에 첨가한다.

이렇게 작성된 소강의들은 학습자의 학습상태에 따라 정해진 방식에 의해 재조합되어 가상강의가 이루어진다. 즉, 각각의 소강의에 대한 전체학습상태가 우수한 경우(졸음이 없고, 집중도가 높은 경우)에는 주강의만 진행되기 때문에 기존의 가상강의와 별다른 차이점이 없게 된다. 그러나 특정 소주제에 대한 강의 부분에 정도가 심한 졸음상태가 존재하면, 졸음상태를 벗어나기 위한 유머나 시사문제를 내보내고 해당 강의는 자동으로 반복 강의된다. 그리고 약간의 졸음이나 집중력분산이 일어난 경우는 소주제별 평가를 통해 학습 성취도를 검사하고, 그 결과에 따라 반복 강의를 할 것인지 보충강의를 할 것인지를 자동 결정한다. 그리고 수면상태가 일정시간 이상 지속되거나 학습장소를 이탈하는 시간이 길어질 경우에는 학습자의 현재 강의단계를 서버에 저장하고 강의를 강제종료시킨다.

그러므로 본 발명에서 제안한 학습상태에 능동적으로 반응하는 가상강의는 강의 시간이 고정되어있지 않고, 학습자의 학습상태에 따라 강의시간이 제각기 달라진다. 다시 말하면, 학습상태가 양호한 학습자의 경우 가장 짧은 강의를 듣게 되고, 학습상태가 불량한 학생의 경우는 가장 긴 강의를 듣게 된다. 따라서 각 과정별로 학습자의 수강시간은 학습자의 학습 성취도를 평가하는 평가수단으로도 활용될 수 있다.

4-2. 학습상태에 따른 지능형 학습과정 설계 방법

도 6은 본 발명 한 실시예의 학습코스 스케줄링방법의 흐름도로써, 학습자의 학습상태에 능동적으로 반응하는 지능형 학습과정 설계는 가상강의 중간에 순간학습상태를 기반으로 학습효율이 떨어진다고 판명되는 학습자에게 경고를 주거나 강의를 종료하는 방법과 전체학습상태를 기반으로 다음에 이루어질 강의의 형태를 결정하는 두 가지 방법으로 이루어진다. 학습자에 대한 경고는 순간학습상태를 기반으로 실시간으로 계수되는 졸음 누적 횟수를 조사하여 임계값 이상에 도달할 때에 강의를 일시 중지시키고 미리 준비된 경고음을 내보내고, 학습자의 마우스 조작에 의해 학습을 재개하게 하여 졸음상태를 벋어날 수 있는 방법을 제공하였다. 또한 실시간으로 계수되는 이탈 누적횟수를 조사하여 임계값 이상에 도달하면 강의를 종료하고, 다음 학습을 위해 현재의 학습단계를 저장하고 사용자 로그아웃 되도록 하였다. 전체학습상태에 의해 결정되는 후속강의는 미리 결정되지 않고 학습자의 전체학습상태에 따라 가변적으로 이루어진다. 즉, 사용자가 강의에 집중하고 있을 때는 다음 주강의로 이어지지만 산만이나, 졸음, 수면으로 판별되었을 때는 충분한 학습이 이루어지지 않았다고 생각되어 후속 강의를 졸음을 몰아내기 위한 시사나 유머를 내보낸다든지, 보조강의를 내보내거나, 강의 내용에 대한 이해도를 평가하기 위해 평가강의를 내보낼 수도 있다.

도 1은 본 발명 한 실시예의 수강자 등록 및 인증 시스템의 개념도

도 2는 본 발명 한 실시예의 학습상태 분석시스템의 개념도

도 3은 본 발명 한 실시예의 졸음상태 평가를 위한 눈감은 시간 측정도

도 4는 본 발명 한 실시예의 순간학습상태 결정 흐름도

도 5는 본 발명 한 실시예의 학습태도에 따른 후속강의 편성 흐름도

도 6은 본 발명 한 실시예의 학습코스 스케줄링방법의 흐름도

Claims (5)

1. 학습자의 얼굴영상을 히스토그램 균일화방법으로 전처리한 뒤 얼굴영역과 얼굴 구성요소(눈, 입)를 추출하고, 눈의 크기 및 머리의 움직임을 검출하여 학습상태를 분석하는 시스템에 있어서,

   입력영상의 모든 프레임별로 얼굴영상을 분석하여 각각의 프레임에 학습상태를 부여하는 순간학습상태와 일정구간의 프레임들의 순간학습상태와 머리의 움직임정보를 고려하여 전체학습상태를 분석하되,

   상기 순간학습상태는 얼굴영역에 대한 검출유무, 눈과 입의 검출유무, 시선집중유무, 눈 크기가 70%이상인지 여부, 눈 크기가 30%이하인지 여부에 따라 학습상태를 집중, 산만, 졸음, 수면, 이탈의 5가지 중 하나로 판별하고,

   상기 전체학습상태는 일정 구간에 대해 나타나는 순간학습상태 열을 인간의 행동패턴과 반응시간을 고려하여 보정하고, 보정된 순간학습상태의 빈도수를 계산하여 백분율로 나타내며, 순간학습상태의 백분율과 교수자의 시선응시 유도에 대한 반응여부를 조합하여 결정함을 특징으로 하는 가상강의의 학습상태 분석시스템.
2. 제 1 항에 있어서,

   상기 순간학습상태에서 학습자세에 따라 카메라와의거리 변화로 발생되는 입력영상의 최대 눈 크기와 머리의 움직임을 검출하고, 이를 등록된 얼굴영상의 최대 눈 크기와 비교하여 70%이상일 경우 집중으로 판단함을 특징으로 하는 가상강의의 학습상태 분석시스템.
3. 제 2 항에 있어서,

   상기 전체학습상태에서 수강자의 머리 움직임 반응은 졸음에 의한 머리의 상하 움직임과 화면을 응시하기 위한 머리의 상하 움직임으로 구별되며, 이때 눈의 크기와 비교하여 교수자의 시선집중 유도에 대한 수강자의 머리움직임에 따라 집중 또는 졸음유무가 판별되도록 한 것을 특징으로 하는 가상강의의 학습상태 분석시스템.
4. 제 3 항에 있어서,

   얼굴영상 프레임간의 상관을 고려하지 않고 프레임별로 얻어진 각각의 정지영상에 대해 눈동자의 크기가 어느 영역에 있는가를 판별하고 이것을 평균 눈 깜박임 주기 동안 누적하여 폐안영역에 머무는 시간이 기준을 초과할 때 순간졸음상태로 판별하고,

   학습 개시 후 5분의 각성상태에서 눈 깜박임 운동을 감시하여 개안영역 누적시간과 눈 깜박임 횟수를 산출하고 이후에 나타나는 모든 프레임의 5분간의 개안영역 누적시간이 초기 각성시의 누적시간의 상태와 비교하여 전체졸음상태를 결정함을 특징으로 하는 가상강의 학습상태 분석시스템.
5. 제 1 항 내지 제 4 항의 학습상태 분석시스템을 이용하여 학습코스를 스케줄 링하되,

   가상강의 내용을 소주제별로 평균 5분의 주강의, 상기 주강의에 대한 보충강의 및 평가문제를 작성하고,

   상기 주강의 별로 하나 이상의 시선유도 행위를 강의에 첨가하여 강의 집중여부를 파악할 수 있도록 하였으며,

   학습상태가 집중으로 판별되면 주강의만 진행되고, 졸음이나 산만으로 판별되면 보충강의 및 평가문제를 진행시켜 학습성취도를 높이고 이를 학습과정에 대한 평가의 수단으로 사용하는 것을 특징으로 하는 가상강의의 학습코스 스케줄링방법.

Images