KR102266479B1 - 온라인 학습 능력 분석을 위한 시선 추적 방법, 장치 및 시스템 - Google Patents

Abstract

일실시에에 따르면, 장치에 의해 수행되는, 온라인 학습 능력을 분석하기 위해 시선을 추적하는 방법에 있어서, 사용자 단말에서 학습 시작 메뉴가 선택되면, 온라인 상으로 제공되는 학습 콘텐츠가 상기 사용자 단말의 화면에 표시되도록 제어하는 단계; 상기 사용자 단말에 장착된 카메라를 통해 획득된 사용자의 얼굴 영상에서 상기 사용자의 좌측 및 우측 눈 영역을 인식하는 단계; 상기 눈 영역 각각에서 눈동자들의 위치를 확인하는 단계; 상기 눈 영역 각각의 크기 및 상기 눈동자들의 크기를 기반으로, 상기 사용자와 상기 사용자 단말 간의 이격 거리를 산출하는 단계; 상기 눈동자들의 위치 및 상기 이격 거리에 기초하여, 상기 사용자의 시선이 상기 화면 내에 위치하는지 여부를 확인하는 단계; 상기 사용자의 시선이 상기 화면 내에 위치하고 있는 상태에서, 상기 사용자의 시선이 고정되어 이동하지 않는 눈동자 체류 시간이 미리 설정된 기준 시간 보다 큰 것으로 확인되면, 상기 사용자의 시선이 상기 화면 내에서 어느 지점을 주시하고 있는 것으로 판정하는 단계; 상기 눈동자들의 위치 및 상기 이격 거리에 기초하여, 상기 사용자의 시선이 상기 화면 내에서 제1 지점을 주시하고 있는 것으로 판단하는 단계; 상기 학습 콘텐츠의 강의 영상이 표시되는 제1 영역에 상기 제1 지점이 위치하는지 여부를 확인하는 단계; 및 상기 제1 영역에 상기 제1 지점이 위치하는 것으로 확인되면, 상기 강의 영상의 재생이 유지되도록 제어하는 단계를 포함하는, 온라인 학습 능력 분석을 위한 시선 추적 방법이 제공된다.

Description

온라인 학습 능력 분석을 위한 시선 추적 방법, 장치 및 시스템 {METHOD, DEVICE AND SYSTEM FOR EYE TRACKING FOR ANALYZING ABILITY OF ONLINE LEARNING}

아래 실시예들은 온라인 학습 능력을 분석하기 위해 시선을 추적하는 기술에 관한 것이다.

최근 사회적으로 보건 안전 문제가 대두됨에 따라 일선 교육 현장에서 비대면 온라인 수업을 통해 정규 교육을 실시하고 있다. 기존 대면 교육으로부터 갑작스러운 전환으로 인하여 교사와 학생들 모두 상당한 혼란을 겪고 있는 실정이다.

온라인 수업 관련 시스템의 구축이 신속하게 진행되어 수업 진행은 가능하게 되었으나, 기존 대면 교육과 같은 교육 효과를 거두고 있지 못하고 있는 상황에서 온라인 수업의 질적 개선 방안에 대한 요구가 늘고 있다.

특히, 비대면으로 수업이 진행됨에 따라 학생이 수업 내용을 이해하고 있는지, 집중을 하여 수강하고 있는지 등 교사와 학생 간 의사소통 및 피드백이 원활하게 이루어지고 있지 않다.

따라서, 비대면 수업 환경에서도 교사와 학생 간에 원활한 의사소통 및 피드 백을 통해 교육 효과를 개선할 수 있는 방안이 요구된다. 발명의 배경이 되는 기술을 기재하고 있는 선행기술문헌으로 한국 특허출원공개공보 제10-2015-0081172호(2015.7.13) 등이 있다.

일실시예에 따르면, 사용자의 얼굴 영상에서 사용자의 좌측 및 우측 눈 영역을 인식하고, 눈 영역 각각에서 눈동자들의 위치를 확인하고, 눈 영역 각각의 크기 및 눈동자들의 크기를 기반으로, 사용자와 사용자 단말 간의 이격 거리를 산출하고, 눈동자들의 위치 및 이격 거리에 기초하여, 사용자의 시선이 화면 내에 위치하는지 여부를 확인하고, 사용자의 시선이 화면 내에 위치하고 있는 상태에서, 사용자의 시선이 고정되어 이동하지 않는 눈동자 체류 시간이 기준 시간 보다 큰 것으로 확인되면, 사용자의 시선이 화면 내에서 어느 지점을 주시하고 있는 것으로 판정하고, 눈동자들의 위치 및 이격 거리에 기초하여 사용자의 시선이 화면 내에서 제1 지점을 주시하고 있는 것으로 판단하는 온라인 학습 능력 분석을 위한 시선 추적 방법, 장치 및 시스템을 제공하기 위한 것을 그 목적으로 한다.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 명확하게 이해될 수 있을 것이다.

일실시예에 따르면, 장치에 의해 수행되는, 온라인 학습 능력을 분석하기 위해 시선을 추적하는 방법에 있어서, 사용자 단말에서 학습 시작 메뉴가 선택되면, 온라인 상으로 제공되는 학습 콘텐츠가 상기 사용자 단말의 화면에 표시되도록 제어하는 단계; 상기 사용자 단말에 장착된 카메라를 통해 획득된 사용자의 얼굴 영상에서 상기 사용자의 좌측 및 우측 눈 영역을 인식하는 단계; 상기 눈 영역 각각에서 눈동자들의 위치를 확인하는 단계; 상기 눈 영역 각각의 크기 및 상기 눈동자들의 크기를 기반으로, 상기 사용자와 상기 사용자 단말 간의 이격 거리를 산출하는 단계; 상기 눈동자들의 위치 및 상기 이격 거리에 기초하여, 상기 사용자의 시선이 상기 화면 내에 위치하는지 여부를 확인하는 단계; 상기 사용자의 시선이 상기 화면 내에 위치하고 있는 상태에서, 상기 사용자의 시선이 고정되어 이동하지 않는 눈동자 체류 시간이 미리 설정된 기준 시간 보다 큰 것으로 확인되면, 상기 사용자의 시선이 상기 화면 내에서 어느 지점을 주시하고 있는 것으로 판정하는 단계; 상기 눈동자들의 위치 및 상기 이격 거리에 기초하여, 상기 사용자의 시선이 상기 화면 내에서 제1 지점을 주시하고 있는 것으로 판단하는 단계; 상기 학습 콘텐츠의 강의 영상이 표시되는 제1 영역에 상기 제1 지점이 위치하는지 여부를 확인하는 단계; 및 상기 제1 영역에 상기 제1 지점이 위치하는 것으로 확인되면, 상기 강의 영상의 재생이 유지되도록 제어하는 단계를 포함하는, 온라인 학습 능력 분석을 위한 시선 추적 방법이 제공된다.

상기 온라인 학습 능력 분석을 위한 시선 추적 방법은, 상기 화면의 좌측 상단에 설정된 제1 구역에 상기 사용자의 시선을 유도하는 알림 메시지가 표시되도록 제어하는 단계; 상기 사용자의 시선이 상기 제1 구역을 주시하고 있는 것으로 판정되면, 상기 제1 구역을 주시할 때 획득된 상기 사용자의 얼굴 영상을 분석하여, 상기 눈 영역 각각에서 상기 눈동자들이 위치하고 있는 제1 눈동자 좌표를 추출하는 단계; 상기 화면의 우측 상단에 설정된 제2 구역에 상기 사용자의 시선을 유도하는 알림 메시지가 표시되도록 제어하는 단계; 상기 사용자의 시선이 상기 제2 구역을 주시하고 있는 것으로 판정되면, 상기 제2 구역을 주시할 때 획득된 상기 사용자의 얼굴 영상을 분석하여, 상기 눈 영역 각각에서 상기 눈동자들이 위치하고 있는 제2 눈동자 좌표를 추출하는 단계; 상기 화면의 좌측 하단에 설정된 제3 구역에 상기 사용자의 시선을 유도하는 알림 메시지가 표시되도록 제어하는 단계; 상기 사용자의 시선이 상기 제3 구역을 주시하고 있는 것으로 판정되면, 상기 제3 구역을 주시할 때 획득된 상기 사용자의 얼굴 영상을 분석하여, 상기 눈 영역 각각에서 상기 눈동자들이 위치하고 있는 제3 눈동자 좌표를 추출하는 단계; 상기 화면의 우측 하단에 설정된 제4 구역에 상기 사용자의 시선을 유도하는 알림 메시지가 표시되도록 제어하는 단계; 상기 사용자의 시선이 상기 제4 구역을 주시하고 있는 것으로 판정되면, 상기 제4 구역을 주시할 때 획득된 상기 사용자의 얼굴 영상을 분석하여, 상기 눈 영역 각각에서 상기 눈동자들이 위치하고 있는 제4 눈동자 좌표를 추출하는 단계; 상기 화면의 정중앙에 설정된 제5 구역에 상기 사용자의 시선을 유도하는 알림 메시지가 표시되도록 제어하는 단계; 및 상기 사용자의 시선이 상기 제5 구역을 주시하고 있는 것으로 판정되면, 상기 제5 구역을 주시할 때 획득된 상기 사용자의 얼굴 영상을 분석하여, 상기 눈 영역 각각에서 상기 눈동자들이 위치하고 있는 제5 눈동자 좌표를 추출하는 단계를 더 포함하며, 상기 제1 지점을 주시하고 있는 것으로 판단하는 단계는, 상기 제1 지점을 주시할 때 획득된 상기 사용자의 얼굴 영상을 분석하여, 상기 눈 영역 각각에서 상기 눈동자들이 위치하고 있는 현재 눈동자 좌표를 추출하는 단계; 및 상기 현재 눈동자 좌표와 상기 제1 눈동자 좌표, 상기 제2 눈동자 좌표, 상기 제3 눈동자 좌표, 상기 제4 눈동자 좌표 및 상기 제5 눈동자 좌표를 비교하여, 상기 화면 내에서 상기 제1 지점의 좌표를 추출하는 단계를 포함할 수 있다.

상기 온라인 학습 능력 분석을 위한 시선 추적 방법은, 상기 제1 영역에 상기 제1 지점이 위치하는 것으로 확인되면, 상기 제1 지점을 주시할 때 획득된 상기 사용자의 얼굴 영상을 분석하여, 상기 눈 영역 각각에서 상기 눈동자들의 현재 동공 크기를 확인하는 단계; 데이터베이스에 미리 등록된 상기 사용자의 동공 크기인 제1 동공 크기를 획득하는 단계; 상기 현재 동공 크기와 상기 제1 동공 크기 간의 차이가 오차 범위 이내로 확인되면, 상기 학습 콘텐츠에 대한 집중도가 보통인 것으로 분석하는 단계; 상기 현재 동공 크기와 상기 제1 동공 크기 간의 차이가 오차 범위를 벗어나 상기 현재 동공 크기가 상기 제1 동공 크기 보다 작은 것으로 확인되면, 상기 학습 콘텐츠에 대한 집중도가 매우 우수한 것으로 분석하는 단계; 및 상기 현재 동공 크기와 상기 제1 동공 크기 간의 차이가 오차 범위를 벗어나 상기 현재 동공 크기가 상기 제1 동공 크기 보다 큰 것으로 확인되면, 상기 학습 콘텐츠에 대한 집중도가 낮아 산만한 것으로 분석하는 단계를 더 포함할 수 있다.

상기 온라인 학습 능력 분석을 위한 시선 추적 방법은, 상기 제1 영역에 상기 제1 지점이 위치하지 않는 것으로 확인되면, 상기 사용자의 상태를 한눈팔기 상태로 판단하는 단계; 상기 제1 영역에 상기 제1 지점이 위치하는 것으로 확인되면, 상기 눈 영역 각각에서 상기 눈동자들이 차지하고 있는 현재 눈동자 비율을 확인하는 단계; 상기 현재 눈동자 비율이 미리 설정된 제1 비율 보다 높은 것으로 확인되면, 상기 사용자의 상태를 집중 상태로 판단하는 단계; 상기 현재 눈동자 비율이 상기 제1 비율 보다 낮고 미리 설정된 제2 비율 보다 높은 것으로 확인되면, 상기 사용자의 상태를 졸음엄습 상태로 판단하는 단계; 상기 현재 눈동자 비율이 상기 제2 비율 보다 낮고 0이 아닌 것으로 확인되면, 상기 사용자의 상태를 비몽사몽 상태로 판단하는 단계; 및 상기 현재 눈동자 비율이 0으로 확인되면, 상기 사용자의 상태를 수면 상태로 판단하는 단계를 더 포함할 수 있다.

상기 온라인 학습 능력 분석을 위한 시선 추적 방법은, 상기 제1 지점에 사용자의 시선이 상기 기준 시간 이상 머문 것으로 확인되면, 상기 사용자의 시선이 상기 제1 지점에 고정되어 있는 것을 통해 상기 사용자의 시선에 대한 고정 요소를 분석하는 단계; 상기 사용자의 시선이 상기 제1 지점을 벗어나 제2 지점으로 이동한 것이 확인되면, 상기 사용자의 시선이 상기 제1 지점에서 상기 제2 지점으로 도약한 것을 통해 상기 사용자의 시선에 대한 도약 요소를 분석하는 단계; 상기 사용자의 시선이 상기 제2 지점을 벗어나 제3 지점으로 이동한 것이 확인되면, 상기 제1 지점, 상기 제2 지점 및 상기 제3 지점을 연결한 시선의 경로를 통해 상기 사용자의 시선에 대한 주사 경로 요소를 분석하는 단계; 상기 사용자의 시선이 상기 제3 지점을 벗어나 상기 제1 지점으로 다시 이동한 것이 확인되면, 세부 특징 탐지를 위해 상기 제1 지점으로 시선이 되돌아 온 것을 통해 상기 사용자의 시선에 대한 재방문 요소를 분석하는 단계; 및 상기 고정 요소, 상기 도약 요소, 상기 주사 경로 요소 및 상기 재방문 요소를 기초로, 상기 사용자의 시선을 추적하는 단계를 더 포함할 수 있다.

상기 온라인 학습 능력 분석을 위한 시선 추적 방법은, 강의실 내에 배치된 복수의 사용자 단말 각각에 설정된 목표 온도 및 목표 습도를 확인하는 단계; 상기 복수의 사용자 단말 각각과 연결된 복수의 항온항습기 각각의 동작을 제어하여, 상기 복수의 사용자 단말 각각에서 측정된 온도가 상기 목표 온도를 유지하도록 조절하고, 상기 복수의 사용자 단말 각각에서 측정된 습도가 상기 목표 습도를 유지하도록 조절하는 단계; 상기 복수의 사용자 단말 별로 미리 설정된 기간 동안 상기 목표 온도 및 상기 목표 습도를 유지하도록 조절된 조절 횟수를 확인하는 단계; 상기 조절 횟수가 기준 범위 내에 있는 것으로 확인된 제1 사용자 단말을 이상이 없는 정상 상태로 분류하고, 상기 조절 횟수가 기준 범위를 벗어나는 것으로 확인된 제2 사용자 단말을 이상이 있는 비정상 상태로 분류하는 단계; 상기 제2 사용자 단말이 비정상 상태로 분류되면, 상기 제2 사용자 단말의 비정상 상태에 대한 알림 메시지가 관리자 단말로 전송되도록 제어하는 단계; 상기 제2 사용자 단말의 조절 횟수가 기준 범위의 최소값 보다 작은 것으로 확인되면, 상기 제2 사용자 단말을 비정상 상태에서 유휴 상태로 분류하고, 상기 제2 사용자 단말의 조절 횟수가 기준 범위의 최대값 보다 큰 것으로 확인되면, 상기 제2 사용자 단말을 비정상 상태에서 과부하 상태로 분류하는 단계; 상기 제2 사용자 단말이 유휴 상태로 분류되면, 상기 제2 사용자 단말의 유휴 상태에 대한 알림 메시지가 상기 관리자 단말로 전송되도록 제어하고, 상기 제2 사용자 단말이 과부하 상태로 분류되면, 상기 제2 사용자 단말의 과부하 상태에 대한 알림 메시지가 상기 관리자 단말로 전송되도록 제어하는 단계; 상기 제2 사용자 단말의 유휴 상태가 미리 설정된 제4 기준 시간 이상으로 지속된 것이 확인되면, 상기 제2 사용자 단말을 자리 교체 대상 단말로 분류하고, 상기 제2 사용자 단말의 과부하 상태가 상기 제4 기준 시간 이상으로 지속된 것이 확인되면, 상기 제2 사용자 단말을 수리 대상 단말로 분류하는 단계; 및 상기 제2 사용자 단말이 자리 교체 대상 단말로 분류되면, 상기 제2 사용자 단말에 대한 자리 교체가 필요한 것을 알려주는 알림 메시지가 상기 관리자 단말로 전송되도록 제어하고, 상기 제2 사용자 단말이 수리 대상 단말로 분류되면, 상기 제2 사용자 단말에 대한 수리가 필요한 것을 알려주는 알림 메시지가 상기 관리자 단말로 전송되도록 제어하는 단계를 더 포함할 수 있다.

일실시예에 따르면, 시선 추적과 교육 자료의 분석을 통해, 사용자의 학습 능력을 실시간으로 체크할 수 있으며, 이를 바탕으로 사용자의 학습 능력을 진단하거나, 사용자에 따라 맞춤형 교육을 제공할 수 있는 효과가 있다.

한편, 실시예들에 따른 효과는 이상에서 언급한 것으로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 아래의 기재로부터 해당 기술 분야의 통상의 지식을 가진 자에게 명확히 이해될 수 있을 것이다.

도 1은 일실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.
도 2는 일실시예에 따른 온라인 학습 능력을 분석하기 위해 시선을 추적하는 과정을 설명하기 위한 순서도이다.
도 3은 일실시예에 따른 눈동자 좌표를 추출하는 과정을 설명하기 위한 도면이다.
도 4는 일실시예에 따른 눈동자의 위치에 따라 사용자의 시선이 어느 부분을 주시하고 있는지 판정하는 과정을 설명하기 위한 도면이다.
도 5는 일실시예에 따른 동공 크기를 통해 집중도를 분석하는 과정을 설명하기 위한 순서도이다.
도 6은 일실시예에 따른 동공 크기에 따라 집중도를 판단하는 과정을 설명하기 위한 도면이다.
도 7은 일실시예에 따른 눈동자 비율을 통해 학습 상태를 판단하는 과정을 설명하기 위한 순서도이다.
도 8은 일실시예에 따른 현재 눈동자 비율에 따라 학습 상태를 판단하는 과정을 설명하기 위한 도면이다.
도 9는 일실시예에 따른 사용자의 시선을 추적하는 과정을 설명하기 위한 도면이다.
도 10은 일실시예에 따른 사용자의 시선을 추적한 결과를 설명하기 위한 도면이다.
도 11은 시선 추적 기술을 활용하여 온라인 학습 능력을 향상시키기 위한 과정을 설명하기 위한 순서도이다.
도 12는 일실시예에 따른 객체의 주시 시간을 통해 학습 상태를 분석하는 과정을 설명하기 위한 순서도이다.
도 13은 일실시예에 따른 객체의 도약 순서를 통해 학습 상태를 분석하는 과정을 설명하기 위한 순서도이다.
도 14는 일실시예에 따른 학습 완료 시 다음 페이지가 표시되도록 제어하는 과정을 설명하기 위한 순서도이다.
도 15는 일실시예에 따른 교육 자료의 제1 페이지에 포함된 객체들의 표시를 제어하는 과정을 설명하기 위한 도면이다.
도 16은 일실시예에 따른 사용자 단말의 상태를 분류하는 과정을 설명하기 위한 순서도이다.
도 17은 일실시예에 따른 장치의 구성의 예시도이다.

이하에서, 첨부된 도면을 참조하여 실시예들을 상세하게 설명한다. 그러나, 실시예들에는 다양한 변경이 가해질 수 있어서 특허출원의 권리 범위가 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 실시예들에 대한 모든 변경, 균등물 내지 대체물이 권리 범위에 포함되는 것으로 이해되어야 한다.

실시예들에 대한 특정한 구조적 또는 기능적 설명들은 단지 예시를 위한 목적으로 개시된 것으로서, 다양한 형태로 변경되어 실시될 수 있다. 따라서, 실시예들은 특정한 개시형태로 한정되는 것이 아니며, 본 명세서의 범위는 기술적 사상에 포함되는 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어를 다양한 구성요소들을 설명하는데 사용될 수 있지만, 이런 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 해석되어야 한다. 예를 들어, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.

실시예에서 사용한 용어는 단지 설명을 목적으로 사용된 것으로, 한정하려는 의도로 해석되어서는 안된다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 실시예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 실시예의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.

실시예들은 퍼스널 컴퓨터, 랩톱 컴퓨터, 태블릿 컴퓨터, 스마트 폰, 텔레비전, 스마트 가전 기기, 지능형 자동차, 키오스크, 웨어러블 장치 등 다양한 형태의 제품으로 구현될 수 있다.

도 1은 일실시예에 따른 시스템의 구성을 개략적으로 나타낸 도면이다.

도 1을 참조하면, 일실시예에 따른 시스템은 통신망을 통해 서로 통신 가능한 복수의 사용자 단말(100) 및 장치(200)를 포함할 수 있다.

먼저, 통신망은 유선 및 무선 등과 같이 그 통신 양태를 가리지 않고 구성될 수 있으며, 서버와 서버 간의 통신과 서버와 단말 간의 통신이 수행되도록 다양한 형태로 구현될 수 있다.

복수의 사용자 단말(100) 각각은 데스크탑 컴퓨터, 노트북, 태블릿, 스마트폰 등일 수 있다. 바람직하게, 도 1과 같이, 제1 사용자 단말(110), 제2 사용자 단말(120), 제3 사용자 단말(130) 등은 스마트폰일 수 있으며, 실시예에 따라 달리 채용될 수도 있다. 복수의 사용자 단말(100) 각각은 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 복수의 사용자 단말(100)은 장치(200)와 유무선으로 통신하도록 구성될 수 있다.

복수의 사용자 단말(100) 각각은 장치(200)를 이용하여 서비스를 제공하는 자 내지 단체가 운영하는 웹 페이지에 접속되거나, 장치(200)를 이용하여 서비스를 제공하는 자 내지 단체가 개발·배포한 애플리케이션이 설치될 수 있다. 복수의 사용자 단말(100) 각각은 웹 페이지 또는 애플리케이션을 통해 장치(200)와 연동될 수 있다.

복수의 사용자 단말(100) 각각은 장치(200)에서 제공하는 웹 페이지, 애플리케이션을 등을 통해 장치(200)로 접속할 수 있다.

장치(200)는 장치(200)를 이용하여 서비스를 제공하는 자 내지 단체가 보유한 자체 서버일수도 있고, 클라우드 서버일 수도 있고, 분산된 노드(node)들의 p2p(peer-to-peer) 집합일 수도 있다. 장치(200)는 통상의 컴퓨터가 가지는 연산 기능, 저장/참조 기능, 입출력 기능 및 제어 기능을 전부 또는 일부 수행하도록 구성될 수 있다. 장치(200)는 추론 기능을 수행하는 적어도 하나 이상의 인공 신경망을 구비할 수 있다. 장치(200)는 복수의 사용자 단말(100)과 유무선으로 통신하도록 구성될 수 있다.

장치(200)는 온라인 학습 교육을 위한 학습 콘텐츠가 제공될 수 있도록 플랫폼을 제공할 수 있으며, 학습 콘텐츠를 복수의 사용자 단말(100)로 제공할 수 있다. 여기서, 학습 콘텐츠는 강의 영상 및 교육 자료로 구성될 수 있다.

한편, 설명의 편의를 위해 도 1에서는 복수의 사용자 단말(100) 중 제1 사용자 단말(110), 제2 사용자 단말(120) 및 제3 사용자 단말(130)만을 도시하였으나, 단말들의 수는 실시예에 따라 얼마든지 달라질 수 있다. 장치(200)의 처리 용량이 허용하는 한, 단말들의 수는 특별한 제한이 없다.

일실시예에 따르면, 시스템은 시선 추적 기술을 활용하여, 사용자가 보고있는 위치를 추적할 수 있다. 예를 들어, 시스템은 사용자의 눈동자를 촬영하는 촬영 장치와 학습 콘텐츠를 표시하는 단말의 화면, 촬영 장치의 카메라를 통해 촬영된 영상에서 학습 콘텐츠에 대한 사용자 눈동자들의 위치 및 방향을 추출하여 학습 콘텐츠 상의 위치를 측정할 수 있으며, 이를 통해 사용자의 시선을 추적할 수 있다.

일실시예에 따르면, 시스템은 사용자의 시선을 촬영하는 카메라와 같은 시선 추적 장치와 학습 콘텐츠를 제공하는 디스플레이 장치를 포함할 수 있다. 카메라는 사용자 단말의 기본 카메라 또는 별도의 촬영 장치일 수 있다. 예를 들어, 시선 추적 장치는 제1 사용자 단말(110)에 구비된 카메라로 구현될 수 있으며, 제1 사용자 단말(110)에 별도의 측정 장치를 추가하여 시선 추적의 정확도를 더 높일 수 있다. 별도의 시선 추적 장치는 3개의 카메라로 구성될 수 있으며, 중앙에 설치된 메인 카메라를 통해 시선을 추적하고, 양측에 설치된 보조 카메라를 통해 보정을 수행하여, 시선 추적의 정밀성을 높일 수 있다.

시선추적 기술을 활용하여 제1 사용자 단말(110)의 카메라 위치, 제1 사용자 단말(110)의 화면에 표시된 학습 콘텐츠의 위치, 온라인 학습을 수행하고 있는 사용자의 시선 위치를 파악하고, 3가지 위치를 측정 및 분석하여 사용자의 시선이 학습 콘텐츠 상의 어느 지점에 머무르고, 해당 지점에 얼마 동안 머무르는지 시간을 측정하고, 시선의 이동을 벡터 분석하여 데이터를 획득할 수 있다.

제1 사용자 단말(110)의 카메라 위치는 고정된 상태이고, 장치(200)를 통해 제공되는 학습 콘텐츠 상의 영상, 이미지, 텍스트 등도 미리 설정된 위치 포인트 값이 존재하므로, 사용자의 눈동자를 삼각측법 등을 통해 추적하여 정확하게 측정할 수 있다. 사용자의 시선이 특정 포인트에 머무르는 시간, 이동 속도 등을 벡터값으로 하여 실시간 측정할 수 있다.

학습 콘텐츠는 강의 영상과 교육 자료로 구성될 수 있으며, 교육 자료는 문자, 이미지 등의 객체들이 페이지 별로 어디에 배치되어 있는지, 어느 부분이 중요한지, 어느 부분이 어려운 부분인지, 어느 부분에서 어느 부분으로 도약해야 하는지 순서 등 관련 정보가 미리 설정될 수 있다.

시스템은 학생의 시선이 어느 특정 포인트에 오랜 시간 머무르는 경우, 그 해당 포인트를 어려워한다고 분석할 수 있으며, 또는 학습에 집중하지 않는 것으 로 분석할 수도 있다. 학습내용 상 시선의 도약 순서가 정해져 있는데, 학생의 시선이 이와 다르게 이동하는 경우, 학생이 학습내용을 따라오지 못 하는 것으로 분석할 수 있다. 학생의 시선이 특정 포인트를 반복적으로 이동하는 경우, 해당 부분에 대해서 어려워 한다거나 재확인하는 것으로 분석할 수 있다.

이처럼, 시선 추적과 교육 자료의 분석을 통해, 사용자의 학습 능력을 실시간으로 체크할 수 있으며, 이를 바탕으로 사용자의 학습 능력을 진단하거나, 사용자에 따라 맞춤형 교육을 제공할 수 있다. 예를 들어, 특정 페이지에서 학생이 어려워하는 것으로 분석되는 경우, 이어서 보다 난이도가 쉬운 페이지를 제시할 수 있으며, 사용자가 집중하지 못했던 페이지들만 추려서 재교육을 제안할 수도 있다.

이를 통해, 빅데이터 기반 인공지능 기술로 읽기 학습 능력 수준을 분석하여 정확도가 높고 정량화 및 객관화된 학습 능력 수준의 상태를 분석할 수 있다. 또한, 독서를 통해 풍부한 어휘력과 표현력 등의 습득과 창의 융합 시대에 필수 요소인 상상력과 사고의 확장이 가능해지도록 학습(인지) 레벨 제시 및 추천 도서 자동 제공이 가능하다.

미세한 움직임으로 측정이 어려운 눈동자를 정확하게 추적하여 독서 상태를 실시간으로 정확하게 파악할 수 있어, 인공 지능 기반 시선 추적 기술을 이용하여 자기 주도 학습 시스템 구축이 가능하며, 3D 얼굴 인식용 빅데이터 수집 장치 및 알고리즘을 통해 생체 인식의 정확성을 높일 수 있어 시선 추적 시스템 적용 시 눈동자의 위치를 읽어 어느 부분을 주시하고 있는지를 판단할 수 있다. 특히, 한 지점에서 시선이 잠시 머무는 ‘고정(Fixation)’과 시선이 급격히 이동하는 ‘도약(Saccade)’, 시선의 경로인 ‘주사경로(Scan path)’, 세부 특징 탐지를 위해 시선이 특정지점으로 되돌아오는 ‘재방문(Revisit)’ 4가지 분석 요소를 중점으로 시선 추적이 가능할 수 있다.

도 2는 일실시예에 따른 온라인 학습 능력을 분석하기 위해 시선을 추적하는 과정을 설명하기 위한 순서도이다.

도 2를 참조하면, 먼저, S201 단계에서, 장치(200)는 제1 사용자 단말(110)에서 학습 시작 메뉴가 선택되면, 온라인 상으로 제공되는 학습 콘텐츠가 제1 사용자 단말(110)의 화면에 표시되도록 제어할 수 있다.

구체적으로, 장치(200)는 제1 사용자 단말(110)에 로그인된 사용자 계정을 통해 사용자 정보를 확인하고, 확인된 사용자 정보를 통해 사용자에게 제공되는 학습 콘텐츠를 선정할 수 있다. 제1 사용자 단말(110)은 장치(200)에서 제공하는 학습 전용 홈페이지에 접속할 수 있으며, 해당 홈페이지 상에서 학습 시작 메뉴가 선택되면, 장치(200)는 학습 콘텐츠를 제1 사용자 단말(110)로 제공하여, 학습 콘텐츠가 제1 사용자 단말(110)의 화면에 표시되도록 제어할 수 있다.

S202 단계에서, 장치(200)는 제1 사용자 단말(110)에 장착된 카메라를 통해 사용자의 얼굴 영상을 획득할 수 있다.

구체적으로, 제1 사용자 단말(110)은 화면에 학습 콘텐츠가 표시되면, 카메라를 통해 사용자의 얼굴을 촬영하여 사용자의 얼굴 영상을 획득할 수 있으며, 획득된 사용자의 얼굴 영상을 장치(200)로 전송할 수 있다.

S203 단계에서, 장치(200)는 사용자의 얼굴 영상에서 사용자의 좌측 및 우측 눈 영역을 인식할 수 있다.

구체적으로, 장치(200)는 사용자의 얼굴 영상을 분석하여, 사용자의 좌측 및 우측 눈이 위치하고 있는 영역을 파악할 수 있으며, 이를 통해, 사용자의 좌측 눈이 위치하고 있는 영역과 사용자의 우측 눈이 위치하고 있는 영역을 각각 인식할 수 있다.

S204 단계에서, 장치(200)는 인식된 눈 영역 각각에서 눈동자들의 위치를 확인할 수 있다.

구체적으로, 장치(200)는 좌측 눈 영역에서 좌측 눈동자가 어느 부분에 위치하는지 확인할 수 있고, 우측 눈 영역에서 우측 눈동자가 어느 부분에 위치하는지 확인할 수 있다.

S205 단계에서, 장치(200)는 눈 영역 각각의 크기 및 눈동자들의 크기를 기반으로, 사용자와 제1 사용자 단말(110) 간의 이격 거리를 산출할 수 있다.

구체적으로, 장치(200)는 좌측 눈 영역의 크기 및 우측 눈 영역의 크기를 비교하여, 사용자가 제1 사용자 단말(110)의 화면을 똑바로 쳐다보고 있는지 판단할 수 있으며, 좌측 눈 영역의 크기와 우측 눈 영역의 크기의 차이가 오차범위 이내로 있는 것으로 확인되면, 사용자가 제1 사용자 단말(110)의 화면을 똑바로 쳐다보고 있는 것으로 확인할 수 있다. 사용자가 제1 사용자 단말(110)의 화면을 똑바로 쳐다보고 있는 상태에서, 장치(200)는 좌측 눈 영역에서 좌측 눈동자가 차지하고 있는 크기 또는 우측 눈 영역에서 우측 눈동자가 차지하고 있는 크기를 확인하여, 사용자와 제1 사용자 단말(110) 간의 이격 거리를 산출할 수 있다. 이를 위해, 장치(200)는 사용자의 눈동자 크기를 거리 별로 미리 등록한 상태에서, 눈동자가 제1 크기로 확인되면, 제1 크기에 대응하는 거리를 사용자와 제1 사용자 단말(110) 간의 이격 거리로 산출할 수 있다. 예를 들어, 사용자 눈동자의 크기가 1cm로 확인된 경우, 사용자와 제1 사용자 단말(110) 간의 이격 거리는 30cm로 산출되고, 사용자 눈동자가 2cm로 확인된 경우, 사용자와 제1 사용자 단말(110) 간의 이격 거리는 20cm로 산출될 수 있다. 즉, 눈동자의 크기가 클수록 사용자와 제1 사용자 단말(110) 간의 이격 거리는 더 작은 수치로 산출될 수 있다.

S206 단계에서, 장치(200)는 눈동자들의 위치 및 이격 거리에 기초하여, 사용자의 시선이 향하는 위치를 확인할 수 있다.

구체적으로, 장치(200)는 눈 영역 각각에서 눈동자들이 어느 방향에 치우쳐서 위치하는 것을 확인하여 벡터 방향을 설정하고, 사용자와 제1 사용자 단말(110) 간의 이격 거리를 통해 벡터 크기를 설정하고, 벡터 방향 및 벡터 크기를 이용하여 사용자의 시선이 향하는 위치를 예측하여 확인할 수 있다.

S207 단계에서, 장치(200)는 사용자의 시선이 제1 사용자 단말(110)의 화면 내에 위치하는지 여부를 확인할 수 있다. 즉, 장치(200)는 사용자의 시선이 향하는 위치를 통해 사용자의 시선이 제1 사용자 단말(110)의 화면 내에 위치하는지 여부를 확인할 수 있다.

S207 단계에서 사용자의 시선이 제1 사용자 단말(110)의 화면 내에 위치하지 않는 것으로 확인되면, S206 단계로 되돌아가, 장치(200)는 사용자의 시선이 제1 사용자 단말(110)의 화면 내에 위치하는지 여부를 다시 확인할 수 있다.

S207 단계에서 사용자의 시선이 제1 사용자 단말(110)의 화면 내에 위치하는 것으로 확인되면, S208 단계에서, 장치(200)는 사용자 시선이 고정되어 이동하지 않는 눈동자 체류 시간이 미리 설정된 기준 시간 보다 큰지 여부를 확인할 수 있다. 여기서, 기준 시간은 실시예에 따라 상이하게 설정될 수 있다.

구체적으로, 장치(200)는 사용자 시선이 특정 지점에 고정된 상태에서 이동하지 않는 눈동자 체류 시간을 측정할 수 있으며, 눈동자 체류 시간이 기준 시간을 비교하여 눈동자 체류 시간이 기준 시간 보다 더 큰지 여부를 확인할 수 있다.

S208 단계에서 눈동자 체류 시간이 기준 시간 보다 크지 않은 것으로 확인되면, S206 단계로 되돌아가, 장치(200)는 사용자의 시선이 제1 사용자 단말(110)의 화면 내에 위치하는지 여부를 다시 확인할 수 있다.

S208 단계에서 눈동자 체류 시간이 기준 시간 보다 큰 것으로 확인되면, S209 단계에서, 장치(200)는 사용자의 시선이 제1 사용자 단말(110)의 화면 내에서 어느 지점을 주시하고 있는 것으로 판정하고, 사용자 눈동자들의 위치 및 이격 거리에 기초하여 사용자의 시선이 제1 사용자 단말(110)의 화면 내에서 제1 지점을 주시하고 있는 것으로 판단할 수 있다.

예를 들어, 사용자가 제1 사용자 단말(110)의 화면 내에서 제1 지점을 1초 동안 쳐다본 경우, 장치(200)는 제1 지점에 대한 눈동자 체류 시간을 1초로 측정하고, 1초가 기준 시간 보다 크지 않은 것으로 확인되어 사용자가 제1 지점을 아직 주시하고 있지 않은 것으로 판단할 수 있다. 이후, 사용자가 제1 사용자 단말(110)의 화면 내에서 제1 지점을 2초 동안 쳐다본 경우, 장치(200)는 제1 지점에 대한 눈동자 체류 시간을 2초로 측정하고, 2초가 기준 시간 보다 큰 것으로 확인되어 사용자가 제1 지점을 주시하고 있는 것으로 판단할 수 있다.

S210 단계에서, 장치(200)는 학습 콘텐츠의 강의 영상이 표시되는 제1 영역에 제1 지점이 위치하는지 여부를 확인할 수 있다.

구체적으로, 학습 콘텐츠가 강의 영상 및 교육 자료로 구성되어 있는 경우, 장치(200)는 학습 콘텐츠를 제1 사용자 단말(110)로 제공할 수 있으며, 제1 사용자 단말(110)의 화면 중 일부분인 제1 영역에 학습 콘텐츠의 강의 영상이 표시되고, 제1 사용자 단말(110)의 화면 중 다른 부분인 제2 영역에 학습 콘텐츠의 교육 자료가 표시될 수 있다. 이때, 강의 영상과 교육 자료가 함께 제공되는 경우, 제1 사용자 단말(110)의 화면은 제1 영역과 제2 영역으로 구분되어 표시되고, 강의 진도에 따라 강의 영상만 표시되는 경우, 제1 영역이 제1 사용자 단말(110)의 전체 화면으로 확장되어 표시되고, 강의 진도에 따라 교육 자료만 표시되는 경우, 제2 영역이 제1 사용자 단말(110)의 전체 화면으로 확장되어 표시될 수 있다.

S210 단계에서 제1 영역에 제1 지점이 위치하는 것으로 확인되면, S211 단계에서, 장치(200)는 강의 영상의 재생이 유지되도록 제어할 수 있다. 즉, 장치(200)는 강의 영상이 재생되고 있는 제1 영역에 사용자의 시선이 머무르고 있는 것으로 확인되면, 강의 영상의 재생이 계속 유지되도록 제어할 수 있다.

S210 단계에서 제1 영역에 제1 지점이 위치하고 있지 않은 것으로 확인되면, S212 단계에서, 장치(200)는 강의 영상의 재생이 정지되도록 제어할 수 있다. 즉, 장치(200)는 강의 영상이 재생되고 있는 제1 영역에 사용자의 시선이 머무르고 있지 않은 것으로 확인되면, 강의 영상의 재생이 정지되도록 제어할 수 있다.

도 3은 일실시예에 따른 눈동자 좌표를 추출하는 과정을 설명하기 위한 도면이다.

도 3을 참조하면, 먼저, 장치(200)는 제1 사용자 단말(110)의 화면의 좌측 상단에 설정된 제1 구역에 사용자의 시선을 유도하는 알림 메시지가 표시되도록 제어할 수 있다. 즉, 장치(200)는 제1 구역을 쳐다볼 것을 알려주는 알림 메시지가 제1 구역에 표시되도록 제어할 수 있다.

장치(200)는 사용자의 시선이 제1 구역을 주시하고 있는 것으로 판정되면, 제1 구역을 주시할 때 획득된 사용자의 얼굴 영상을 분석하여, 눈 영역 각각에서 눈동자들의 위치하고 있는 제1 눈동자 좌표를 추출할 수 있다.

구체적으로, 장치(200)는 사용자가 제1 구역을 기준 시간 이상 쳐다본 것으로 확인되면, 사용자의 시선이 제1 구역을 주시하고 있는 것으로 판정하고, 제1 구역을 주시할 때 획득된 사용자의 얼굴 영상을 분석하여, 눈 영역 각각에서 눈동자들이 어느 방향에 치우쳐서 위치하는 것을 확인하여 벡터 값을 산출하고, 산출된 벡터 값을 통해 제1 눈동자 좌표를 추출할 수 있다. 즉, 사용자가 좌측 상단을 쳐다볼 때의 눈동자 위치를 통해 제1 눈동자 좌표를 추출할 수 있다.

장치(200)는 제1 사용자 단말(110)의 화면의 우측 상단에 설정된 제2 구역에 사용자의 시선을 유도하는 알림 메시지가 표시되도록 제어할 수 있다. 즉, 장치(200)는 제2 구역을 쳐다볼 것을 알려주는 알림 메시지가 제2 구역에 표시되도록 제어할 수 있다.

장치(200)는 사용자의 시선이 제2 구역을 주시하고 있는 것으로 판정되면, 제2 구역을 주시할 때 획득된 사용자의 얼굴 영상을 분석하여, 눈 영역 각각에서 눈동자들의 위치하고 있는 제2 눈동자 좌표를 추출할 수 있다.

구체적으로, 장치(200)는 사용자가 제2 구역을 기준 시간 이상 쳐다본 것으로 확인되면, 사용자의 시선이 제2 구역을 주시하고 있는 것으로 판정하고, 제2 구역을 주시할 때 획득된 사용자의 얼굴 영상을 분석하여, 눈 영역 각각에서 눈동자들이 어느 방향에 치우쳐서 위치하는 것을 확인하여 벡터 값을 산출하고, 산출된 벡터 값을 통해 제2 눈동자 좌표를 추출할 수 있다. 즉, 사용자가 우측 상단을 쳐다볼 때의 눈동자 위치를 통해 제2 눈동자 좌표를 추출할 수 있다.

장치(200)는 제1 사용자 단말(110)의 화면의 좌측 하단에 설정된 제3 구역에 사용자의 시선을 유도하는 알림 메시지가 표시되도록 제어할 수 있다. 즉, 장치(200)는 제3 구역을 쳐다볼 것을 알려주는 알림 메시지가 제3 구역에 표시되도록 제어할 수 있다.

장치(200)는 사용자의 시선이 제3 구역을 주시하고 있는 것으로 판정되면, 제3 구역을 주시할 때 획득된 사용자의 얼굴 영상을 분석하여, 눈 영역 각각에서 눈동자들의 위치하고 있는 제3 눈동자 좌표를 추출할 수 있다.

구체적으로, 장치(200)는 사용자가 제3 구역을 기준 시간 이상 쳐다본 것으로 확인되면, 사용자의 시선이 제3 구역을 주시하고 있는 것으로 판정하고, 제3 구역을 주시할 때 획득된 사용자의 얼굴 영상을 분석하여, 눈 영역 각각에서 눈동자들이 어느 방향에 치우쳐서 위치하는 것을 확인하여 벡터 값을 산출하고, 산출된 벡터 값을 통해 제3 눈동자 좌표를 추출할 수 있다. 즉, 사용자가 좌측 하단을 쳐다볼 때의 눈동자 위치를 통해 제3 눈동자 좌표를 추출할 수 있다.

장치(200)는 제1 사용자 단말(110)의 화면의 우측 하단에 설정된 제4 구역에 사용자의 시선을 유도하는 알림 메시지가 표시되도록 제어할 수 있다. 즉, 장치(200)는 제4 구역을 쳐다볼 것을 알려주는 알림 메시지가 제4 구역에 표시되도록 제어할 수 있다.

장치(200)는 사용자의 시선이 제4 구역을 주시하고 있는 것으로 판정되면, 제4 구역을 주시할 때 획득된 사용자의 얼굴 영상을 분석하여, 눈 영역 각각에서 눈동자들의 위치하고 있는 제4 눈동자 좌표를 추출할 수 있다.

구체적으로, 장치(200)는 사용자가 제4 구역을 기준 시간 이상 쳐다본 것으로 확인되면, 사용자의 시선이 제4 구역을 주시하고 있는 것으로 판정하고, 제4 구역을 주시할 때 획득된 사용자의 얼굴 영상을 분석하여, 눈 영역 각각에서 눈동자들이 어느 방향에 치우쳐서 위치하는 것을 확인하여 벡터 값을 산출하고, 산출된 벡터 값을 통해 제4 눈동자 좌표를 추출할 수 있다. 즉, 사용자가 우측 하단을 쳐다볼 때의 눈동자 위치를 통해 제4 눈동자 좌표를 추출할 수 있다.

장치(200)는 제1 사용자 단말(110)의 화면의 정중앙에 설정된 제5 구역에 사용자의 시선을 유도하는 알림 메시지가 표시되도록 제어할 수 있다. 즉, 장치(200)는 제5 구역을 쳐다볼 것을 알려주는 알림 메시지가 제5 구역에 표시되도록 제어할 수 있다.

장치(200)는 사용자의 시선이 제5 구역을 주시하고 있는 것으로 판정되면, 제5 구역을 주시할 때 획득된 사용자의 얼굴 영상을 분석하여, 눈 영역 각각에서 눈동자들의 위치하고 있는 제5 눈동자 좌표를 추출할 수 있다.

구체적으로, 장치(200)는 사용자가 제5 구역을 기준 시간 이상 쳐다본 것으로 확인되면, 사용자의 시선이 제5 구역을 주시하고 있는 것으로 판정하고, 제5 구역을 주시할 때 획득된 사용자의 얼굴 영상을 분석하여, 눈 영역 각각에서 눈동자들이 어느 방향에 치우쳐서 위치하는 것을 확인하여 벡터 값을 산출하고, 산출된 벡터 값을 통해 제5 눈동자 좌표를 추출할 수 있다. 즉, 사용자가 정중앙을 쳐다볼 때의 눈동자 위치를 통해 제5 눈동자 좌표를 추출할 수 있다.

장치(200)는 학습 콘텐츠를 제공하기 전에 제1 눈동자 좌표, 제2 눈동자 좌표, 제3 눈동자 좌표, 제4 눈동자 좌표 및 제5 눈동자 좌표를 미리 추출하여 사용자 정보로 등록할 수 있다.

장치(200)는 학습 콘텐츠 제공 이후, 사용자의 시선이 제1 사용자 단말(110)의 화면 내에서 제1 지점을 주시하고 있는 것으로 판단할 때, 제1 지점을 주시할 때 획득된 사용자의 얼굴 영상을 분석하여, 눈 영역 각각에서 눈동자들의 위치하고 있는 현재 눈동자 좌표를 추출할 수 있다.

구체적으로, 장치(200)는 사용자가 제1 지점을 기준 시간 이상 쳐다본 것으로 확인되면, 사용자의 시선이 제1 지점을 주시하고 있는 것으로 판정하고, 제1 지점을 주시할 때 획득된 사용자의 얼굴 영상을 분석하여, 눈 영역 각각에서 눈동자들이 어느 방향에 치우쳐서 위치하는 것을 확인하여 벡터 값을 산출하고, 산출된 벡터 값을 통해 현재 눈동자 좌표를 추출할 수 있다. 즉, 사용자가 제1 지점을 쳐다볼 때의 눈동자 위치를 통해 현재 눈동자 좌표를 추출할 수 있다.

장치(200)는 현재 눈동자 좌표와 제1 눈동자 좌표, 제2 눈동자 좌표, 제3 눈동자 좌표, 제4 눈동자 좌표 및 제5 눈동자 좌표를 비교하여, 제1 사용자 단말(110)의 화면 내에서 제1 지점의 좌표를 추출할 수 있다.

구체적으로 장치(200)는 현재 눈동자 좌표와 제1 눈동자 좌표, 제2 눈동자 좌표, 제3 눈동자 좌표, 제4 눈동자 좌표 및 제5 눈동자 좌표를 비교하여, 현재 눈동자 좌표가 제1 눈동자 좌표와 가까울수록 제1 지점의 좌표를 좌측 상단의 위치로 추출하고, 현재 눈동자 좌표가 제2 눈동자 좌표와 가까울수록 제1 지점의 좌표를 우측 상단의 위치로 추출하고, 현재 눈동자 좌표가 제3 눈동자 좌표와 가까울수록 제1 지점의 좌표를 좌측 하단의 위치로 추출하고, 현재 눈동자 좌표가 제4 눈동자 좌표와 가까울수록 제1 지점의 좌표를 우측 하단의 위치로 추출하고, 현재 눈동자 좌표가 제5 눈동자 좌표와 가까울수록 제1 지점의 좌표를 정중앙의 위치로 추출할 수 있다.

도 4는 일실시예에 따른 눈동자의 위치에 따라 사용자의 시선이 어느 부분을 주시하고 있는지 판정하는 과정을 설명하기 위한 도면이다.

먼저, 도 4의 (a)에 도시된 바와 같이, 사용자의 눈동자가 눈 영역에서 기준 범위 보다 우측 방향으로 치우쳐서 위치하고 있는 것으로 확인되면, 사용자의 시선이 좌측 부분을 주시하고 있는 것으로 판정할 수 있다.

도 4의 (b)에 도시된 바와 같이, 사용자의 눈동자가 눈 영역에서 기준 범위 내에 위치하고 있는 것으로 확인되면, 사용자의 시선이 중심 부분을 주시하고 있는 것으로 판정할 수 있다.

도 4의 (c)에 도시된 바와 같이, 사용자의 눈동자가 눈 영역에서 기준 범위 보다 좌측 방향으로 치우쳐서 위치하고 있는 것으로 확인되면, 사용자의 시선이 우측 부분을 주시하고 있는 것으로 판정할 수 있다.

도 5는 일실시예에 따른 동공 크기를 통해 집중도를 분석하는 과정을 설명하기 위한 순서도이다.

도 5를 참조하면, 먼저, S501 단계에서, 장치(200)는 제1 영역에 제1 지점이 위치하는 것으로 확인되면, 제1 지점을 주시할 때 획득된 사용자의 얼굴 영상을 분석할 수 있다.

S502 단계에서, 장치(200)는 사용자의 얼굴 영상을 분석하여, 눈 영역 각각에서 눈동자들의 현재 동공 크기를 확인할 수 있다.

S503 단계에서, 장치(200)는 데이터베이스에 미리 등록된 사용자의 동공 크기인 제1 동공 크기를 획득할 수 있다. 이를 위해, 장치(200)의 데이터베이스에는 사용자의 동공 크기인 제1 동공 크기가 미리 저장되어 등록될 수 있다.

S504 단계에서, 장치(200)는 현재 동공 크기와 제1 동공 크기 간의 차이가 오차 범위 이내인지 여부를 확인할 수 있다.

구체적으로, 장치(200)는 현재 획득된 얼굴 영상의 눈 영역에서 현재 동공이 차지하고 있는 크기와 미리 등록된 얼굴 영상의 눈 영역에서 제1 동공이 차지하고 있는 크기를 비교하여, 현재 동공 크기와 제1 동공 크기 간의 차이가 오차 범위 이내인지 여부를 확인할 수 있다. 이때, 현재 획득된 얼굴 영상의 눈 영역과 미리 등록된 얼굴 영상의 눈 영역의 크기가 일치하도록 두 개의 얼굴 영상 중 적어도 하나의 크기를 조절한 후, 현재 동공 크기와 제1 동공 크기를 비교할 수 있다.

S504 단계에서 현재 동공 크기와 제1 동공 크기 간의 차이가 오차 범위 이내로 확인되면, S505 단계에서, 장치(200)는 학습 콘텐츠에 대한 집중도가 보통인 것으로 분석할 수 있다. 즉, 현재 동공 크기가 미리 등록된 제1 동공 크기와 유사한 것으로 확인되면, 학습 콘텐츠에 대한 집중도가 보통으로 분석될 수 있다.

S504 단계에서 현재 동공 크기와 제1 동공 크기 간의 차이가 오차 범위를 벗어나는 것으로 확인되면, S506 단계에서, 장치(200)는 현재 동공 크기가 제1 동공 크기 보다 작은지 여부를 확인할 수 있다.

S506 단계에서 현재 동공 크기가 제1 동공 크기 보다 작은 것으로 확인되면, S507 단계에서, 장치(200)는 학습 콘텐츠에 대한 집중도가 매우 우수한 것으로 분석할 수 있다. 즉, 현재 동공 크기가 미리 등록된 제1 동공 크기 보다 더 작은 것으로 확인되면, 학습 콘텐츠에 대한 집중도가 매우 우수로 분석될 수 있다.

S506 단계에서 현재 동공 크기가 제1 동공 크기 보다 큰 것으로 확인되면, S508 단계에서, 장치(200)는 학습 콘텐츠에 대한 집중도가 낮아 산만한 것으로 분석할 수 있다. 즉, 현재 동공 크기가 미리 등록된 제1 동공 크기 보다 더 큰 것으로 확인되면, 학습 콘텐츠에 대한 집중도가 낮음으로 분석될 수 있다.

도 6은 일실시예에 따른 동공 크기에 따라 집중도를 판단하는 과정을 설명하기 위한 도면이다.

먼저, 도 6의 (a)에 도시된 바와 같이, 사용자의 눈 영역에서 인식된 눈동자의 현재 동공 크기가 미리 등록된 제1 동공 크기 보다 더 작은 것으로 확인되면, 사용자의 집중도가 매우 우수한 것으로 분석될 수 있다.

도 6의 (b)에 도시된 바와 같이, 사용자의 눈 영역에서 인식된 눈동자의 현재 동공 크기가 미리 등록된 제1 동공 크기와 유사한 것으로 확인되면, 사용자의 집중도가 보통인 것으로 분석될 수 있다.

도 6의 (c)에 도시된 바와 같이, 사용자의 눈 영역에서 인식된 눈동자의 현재 동공 크기가 미리 등록된 제1 동공 크기 보다 더 큰 것으로 확인되면, 사용자의 집중도가 산만하여 낮은 것으로 분석될 수 있다.

도 7은 일실시예에 따른 눈동자 비율을 통해 학습 상태를 판단하는 과정을 설명하기 위한 순서도이다.

도 7을 참조하면, 먼저, S701 단계에서, 장치(200)는 사용자의 시선이 제1 사용자 단말(110)의 화면 내에서 제1 지점을 주시하고 있는 것으로 판단할 수 있다.

S702 단계에서, 장치(200)는 제1 영역에 제1 지점이 위치하는지 여부를 확인할 수 있다.

S702 단계에서 제1 영역에 제1 지점이 위치하지 않는 것으로 확인되면, S703 단계에서, 장치(200)는 사용자의 상태를 한눈팔기 상태로 판단할 수 있다.

S702 단계에서 제1 영역에 제1 지점이 위치하는 것으로 확인되면, S704 단계에서, 장치(200)는 눈 영역 각각에서 눈동자들이 차지하고 있는 현재 눈동자 비율을 확인할 수 있다.

구체적으로, 장치(200)는 좌측 눈 영역에서 좌측 눈동자가 차지하고 있는 좌측 눈동자 비율을 추출하고, 우측 눈 영역에서 우측 눈동자가 차지하고 있는 우측 눈동자 비율을 추출한 후, 좌측 눈동자 비율과 우측 눈동자 비율의 평균을 현재 눈동자 비율로 확인할 수 있다.

S705 단계에서, 장치(200)는 현재 눈동자 비율이 미리 설정된 제1 비율 보다 높은지 여부를 확인할 수 있다. 여기서, 제1 비율은 실시예에 따라 상이하게 설정될 수 있다.

S705 단계에서 현재 눈동자 비율이 제1 비율 보다 높은 것으로 확인되면, S706 단계에서, 장치(200)는 사용자의 상태를 집중 상태로 판단할 수 있다. 예를 들어, 현재 눈동자 비율이 90%이고, 제1 비율이 70%인 경우, 사용자의 상태가 집중 상태로 판단될 수 있다.

S705 단계에서 현재 눈동자 비율이 제1 비율 보다 낮은 것으로 확인되면, S707 단계에서, 장치(200)는 현재 눈동자 비율이 미리 설정된 제2 비율 보다 높은지 여부를 확인할 수 있다. 여기서, 제2 비율은 제1 비율 보다 낮은 값으로 설정될 수 있다.

S707 단계에서 현재 눈동자 비율이 제2 비율 보다 높은 것으로 확인되면, S708 단계에서, 장치(200)는 사용자의 상태를 졸음엄습 상태로 판단할 수 있다. 예를 들어, 현재 눈동자 비율이 50%이고, 제1 비율이 70%이고, 제2 비율이 40%인 경우, 사용자의 상태가 졸음엄습 상태로 판단될 수 있다.

S707 단계에서 현재 눈동자 비율이 제2 비율 보다 낮은 것으로 확인되면, S709 단계에서, 장치(200)는 현재 눈동자 비율이 0인지 여부를 확인할 수 있다.

S709 단계에서 현재 눈동자 비율이 0이 아닌 것으로 확인되면, S710 단계에서, 장치(200)는 사용자의 상태를 비몽사몽 상태로 판단할 수 있다. 예를 들어, 현재 눈동자 비율이 20%이고, 제2 비율이 40%인 경우, 사용자의 상태가 비몽사몽 상태로 판단될 수 있다.

S709 단계에서 현재 눈동자 비율이 0으로 확인되면, S711 단계에서, 장치(200)는 사용자의 상태를 수면 상태로 판단할 수 있다. 예를 들어, 현재 눈동자 비율이 0%인 경우, 사용자의 상태가 수면 상태로 판단될 수 있다.

도 8은 일실시예에 따른 현재 눈동자 비율에 따라 학습 상태를 판단하는 과정을 설명하기 위한 도면이다.

먼저, 도 8의 (a)에 도시된 바와 같이, 사용자의 시선이 중심이 아닌 다른 부분을 보고 있는 것으로 확인되면, 사용자의 상태가 한눈팔기 상태로 판단될 수 있다.

도 8의 (b)에 도시된 바와 같이, 사용자의 시선이 중심 부분을 쳐다보고 있으면서, 현재 눈동자 비율이 제1 비율 보다 높은 것으로 확인되면, 사용자의 상태가 집중 상태로 판단될 수 있다.

도 8의 (c)에 도시된 바와 같이, 사용자의 시선이 중심 부분을 쳐다보고 있으면서 현재 눈동자 비율이 제1 비율 보다 낮지만 제2 비율 보다 높은 것으로 확인되면, 사용자의 상태가 졸음엄습 상태로 판단될 수 있다.

도 8의 (d)에 도시된 바와 같이, 사용자의 시선이 중심 부분을 쳐다보고 있으면서, 현재 눈동자 비율이 제2 비율 보다 낮은 것으로 확인되면, 사용자의 상태가 비몽사몽 상태로 판단될 수 있다.

도 8의 (e)에 도시된 바와 같이, 사용자의 현재 눈동자 비율이 0으로, 사용자의 시선이 어느 부분을 보고 있는지 확인되지 않으면, 사용자의 상태가 수면 상태로 판단될 수 있다.

도 9는 일실시예에 따른 사용자의 시선을 추적하는 과정을 설명하기 위한 도면이다.

먼저, 도 9의 (a)에 도시된 바와 같이, 장치(200)는 제1 지점에 사용자의 시선이 기준 시간 이상 머무른 것으로 확인되면, 사용자의 시선이 제1 지점에 고정되어 있는 것을 통해 사용자의 시선에 대한 고정 요소를 분석할 수 있다. 즉, 한 지점에서 시선이 잠시 머무는 것인 ‘고정(Fixation)’ 요소가 분석될 수 있다.

도 9의 (b)에 도시된 바와 같이, 장치(200)는 사용자의 시선이 제1 지점을 벗어나 제2 지점으로 이동한 것이 확인되면, 사용자의 시선이 제1 지점에서 제2 지점으로 도약한 것을 통해 사용자의 시선에 대한 도약 요소를 분석할 수 있다. 즉, 시선이 순간적으로 이동하는 것인 ‘도약(Saccade)’ 요소가 분석될 수 있다.

도 9의 (c)에 도시된 바와 같이, 장치(200)는 사용자의 시선이 제1 지점을 벗어나 제2 지점으로 이동하고 제2 지점을 벗어나 제3 지점으로 이동하고 제3 지점을 벗어나 제4 지점으로 이동한 것이 확인되면, 제1 지점, 제2 지점, 제3 지점 및 제4 지점을 연결한 시선의 경로를 통해 사용자의 시선에 대한 주사 경로 요소를 분석할 수 있다. 즉, 시선의 이동 경로인 ‘주사경로(Scan path)’가 분석될 수 있다.

도 9의 (d)에 도시된 바와 같이, 장치(200)는 사용자의 시선이 제1 지점을 벗어나 제2 지점으로 이동하고 제2 지점을 벗어나 제3 지점으로 이동한 후, 제3 지점을 벗어나 제1 지점으로 다시 이동한 것이 확인되면, 세부 특정 탐지를 위해 제1 지점으로 시선이 되돌아 온 것을 통해 사용자의 시선에 대한 재방문 요소를 분석할 수 있다. 즉, 세부 특징 탐지를 위해 시선이 특정 지점으로 되돌아오는 것인 ‘재방문(Revisit)’ 요소가 분석될 수 있다.

장치(200)는 고정 요소, 도약 요소, 주사 경로 요소 및 재방문 요소를 기초로, 사용자의 시선을 추적할 수 있다.

도 10은 일실시예에 따른 사용자의 시선을 추적한 결과를 설명하기 위한 도면이다.

도 10에 도시된 바와 같이, 장치(200)는 사용자의 시선을 추적하여, 사용자가 제1 사용자 단말(110)의 화면 상에서 어느 지점을 집중하여 주시하는지 분석하고, 어느 지점에서 어느 지점으로 시선이 이동하는지 분석할 수 있다.

도 11은 시선 추적 기술을 활용하여 온라인 학습 능력을 향상시키기 위한 과정을 설명하기 위한 순서도이다.

도 11을 참조하면, 먼저, S1101 단계에서, 장치(200)는 제1 사용자 단말(110)에서 학습 시작 메뉴가 선택되면, 온라인 상으로 제공되는 학습 콘텐츠가 제1 사용자 단말(110)의 화면에 표시되도록 제어할 수 있다.

S1102 단계에서, 장치(200)는 제1 사용자 단말(110)에 장착된 카메라를 통해 획득된 사용자의 얼굴 영상에서 사용자의 눈을 인식할 수 있다.

S1103 단계에서, 장치(200)는 인식된 눈에서 확인된 눈동자의 위치를 기반으로, 사용자의 시선이 제1 사용자 단말(110)의 화면 내에서 어느 지점을 주시하고 있는지 판단할 수 있으며, 예를 들어, 사용자의 시선이 제1 사용자 단말(110)의 화면 내에서 제1 지점을 주시하고 있는 것으로 판단될 수 있다.

S1104 단계에서, 장치(200)는 사용자의 시선이 제1 지점을 주시하고 있는 것으로 판단되면, 학습 콘텐츠의 강의 영상이 표시되는 제1 영역에 제1 지점이 위치하는지 여부를 확인할 수 있다.

S1104 단계에서 제1 영역에 제1 지점이 위치하는 것으로 확인되면, S1105 단계에서, 장치(200)는 강의 영상의 재생이 유지되도록 제어할 수 있다. 즉, 장치(200)는 강의 영상이 재생되고 있는 제1 영역에 사용자의 시선이 머무르고 있는 것으로 확인되면, 강의 영상의 재생이 계속 유지되도록 제어할 수 있다.

S1104 단계에서 제1 영역에 제1 지점이 위치하지 않는 것으로 확인되면, S1106 단계에서, 장치(200)는 사용자의 시선이 제1 영역을 벗어난 이탈 시간을 측정할 수 있다.

S1107 단계에서, 장치(200)는 이탈 시간이 미리 설정된 제1 기준 시간 보다 긴지 여부를 확인할 수 있다. 여기서, 제1 기준 시간은 실시예에 따라 상이하게 설정될 수 있다.

S1107 단계에서 이탈 시간이 제1 기준 시간 보다 짧은 것으로 확인되면, S1104 단계로 되돌아가, 장치(200)는 제1 영역에 제1 지점이 위치하는지 여부를 다시 확인할 수 있다.

S1107 단계에서 이탈 시간이 제1 기준 시간 보다 긴 것으로 확인되면, S1108 단계에서, 장치(200)는 제1 지점에 제1 영역의 시선을 유도하는 알림 메시지가 표시되도록 제어할 수 있다. 즉, 장치(200)는 사용자의 시선이 제1 영역을 벗어난 이탈 시간이 제1 기준 시간 보다 긴 것으로 확인되면, 사용자의 시선이 머무르고 있는 지점에 제1 영역을 쳐다볼 것을 안내하는 알림 메시지가 표시되도록 제어할 수 있다.

S1109 단계에서, 장치(200)는 이탈 시간이 미리 설정된 제2 기준 시간 보다 긴지 여부를 확인할 수 있다. 여기서, 제2 기준 시간은 제1 기준 시간 보다 더 길게 설정될 수 있다.

S1109 단계에서 이탈 시간이 제2 기준 시간 보다 짧은 것으로 확인되면, S1104 단계로 되돌아가, 장치(200)는 제1 영역에 제1 지점이 위치하는지 여부를 다시 확인할 수 있다.

S1109 단계에서 이탈 시간이 제2 기준 시간 보다 긴 것으로 확인되면, S1110 단계에서, 장치(200)는 강의 영상의 재생이 정지되도록 제어할 수 있다. 즉, 장치(200)는 사용자의 시선이 제1 영역을 벗어난 이탈 시간이 제2 기준 시간 보다 긴 것으로 확인되면, 제1 영역에서 강의 영상의 재생이 정지되도록 제어할 수 있다.

도 12는 일실시예에 따른 객체의 주시 시간을 통해 학습 상태를 분석하는 과정을 설명하기 위한 순서도이다.

도 12를 참조하면, 먼저, S1201 단계에서, 장치(200)는 사용자의 시선이 제1 사용자 단말(110)의 화면 내에서 제1 지점을 주시하고 있는 것으로 판단할 수 있다.

S1202 단계에서, 장치(200)는 제1 지점이 제2 영역에 위치하는지 여부를 확인할 수 있다.

구체적으로, 학습 콘텐츠가 강의 영상 및 교육 자료로 구성되어 있는 경우, 장치(200)는 학습 콘텐츠를 제1 사용자 단말(110)로 제공할 수 있으며, 제1 사용자 단말(110)의 화면 중 일부분인 제1 영역에 학습 콘텐츠의 강의 영상이 표시되고, 제1 사용자 단말(110)의 화면 중 다른 부분인 제2 영역에 학습 콘텐츠의 교육 자료가 표시될 수 있으며, 장치(200)는 사용자의 시선이 주시하고 있는 제1 지점이 제2 영역에 위치하는지 여부를 확인할 수 있다.

S1202 단계에서 제2 영역에 제1 지점이 위치하는 것으로 확인되면, S1203 단계에서, 장치(200)는 교육 자료의 객체 별로 설정된 소요 시간을 획득할 수 있다. 예를 들어, 장치(200)는 교육 자료에 제1 객체, 제2 객체 및 제3 객체가 포함되어 있는 경우, 제1 객체, 제2 객체 및 제3 객체를 제2 영역에 표시되도록 제어하고, 제2 영역에 사용자의 시선이 머무르고 있는 것으로 확인되면, 제1 객체, 제2 객체 및 제3 객체 각각에 설정된 소요 시간을 획득할 수 있다. 이를 위해, 장치(200)의 데이터베이스에는 교육 자료의 객체 별로 설정된 소요 시간이 저장되어 있을 수 있다.

S1204 단계에서, 장치(200)는 사용자의 시선이 제1 객체에 머무르고 있는 것으로 확인되면, 제1 객체에 사용자의 시선이 머무른 주시 시간을 측정할 수 있다. 즉, 사용자의 시선이 주시하고 있는 제1 지점이 제1 객체가 표시된 위치인 경우, 제1 객체를 주시하기 위해 제1 객체가 표시된 위치에 시선이 고정된 주시 시간을 측정할 수 있다.

S1205 단계에서, 장치(200)는 제1 객체의 주시 시간과 제1 객체의 소요 시간 간의 차이가 오차 범위 이내인지 여부를 확인할 수 있다.

S1205 단계에서 제1 객체의 주시 시간과 제1 객체의 소요 시간 간의 차이가 오차 범위 이내로 확인되면, S1206 단계에서, 장치(200)는 제1 객체를 집중하여 학습한 것으로 분석할 수 있다. 즉, 제1 객체의 주시 시간과 제1 객체의 소요 시간이 유사한 것으로 확인되면, 제1 객체를 집중하여 학습한 것으로 분석될 수 있다.

S1205 단계에서 제1 객체의 주시 시간과 제1 객체의 소요 시간 간의 차이가 오차 범위를 벗어나는 것으로 확인되면, S1207 단계에서, 장치(200)는 제1 객체의 주시 시간이 제1 객체의 소요 시간 보다 짧은지 여부를 확인할 수 있다.

S1207 단계에서 제1 객체의 주시 시간이 제1 객체의 소요 시간 보다 짧은 것으로 확인되면, S1208 단계에서, 장치(200)는 제1 객체를 집중하지 않고 지나친 것으로 분석할 수 있다. 즉, 제1 객체의 주시 시간이 제1 객체의 소요 시간 보다 더 짧은 것으로 확인되면, 제1 객체를 집중하지 않고 학습한 것으로 분석될 수 있다.

S1207 단계에서 제1 객체의 주시 시간이 제1 객체의 소요 시간 보다 긴 것으로 확인되면, S1209 단계에서, 장치(200)는 제1 객체의 학습을 어려워한 것으로 분석할 수 있다. 즉, 제1 객체의 주시 시간이 제1 객체의 소요 시간 보다 더 긴 것으로 확인되면, 제1 객체의 학습을 어려워한 것으로 분석될 수 있다.

도 13은 일실시예에 따른 객체의 도약 순서를 통해 학습 상태를 분석하는 과정을 설명하기 위한 순서도이다.

도 13을 참조하면, 먼저, S1301 단계에서, 장치(200)는 사용자의 시선이 제1 사용자 단말(110)의 화면 내에서 제1 지점을 주시하고 있는 것으로 판단할 수 있다.

S1302 단계에서, 장치(200)는 제1 지점이 제2 영역에 위치하는지 여부를 확인할 수 있다.

S1302 단계에서 제2 영역에 제1 지점이 위치하는 것으로 확인되면, S1303 단계에서, 장치(200)는 교육 자료의 객체 별로 설정된 도약 순서를 획득할 수 있다. 예를 들어, 장치(200)는 교육 자료에 제1 객체, 제2 객체 및 제3 객체가 포함되어 있는 경우, 제1 객체 이후 도약 순서로 제2 객체를 획득하고, 제2 객체 이후 도약 순서로 제3 객체를 획득할 수 있다. 이를 위해, 장치(200)의 데이터베이스에는 교육 자료의 객체 별로 설정된 도약 순서가 저장되어 있을 수 있다.

S1304 단계에서, 장치(200)는 사용자의 시선이 어느 객체에 머무르는지 판단할 수 있다.

S1305 단계에서, 장치(200)는 사용자의 시선이 교육 자료의 객체들 중 어느 하나인 제1 객체에 머무르는지 여부를 판단할 수 있다.

S1305 단계에서 사용자의 시선이 제1 객체에 머무르지 않는 것으로 판단되면, S1304 단계로 되돌아가, 장치(200)는 사용자의 시선이 어느 객체에 머무르는지 다시 판단할 수 있다.

S1305 단계에서 사용자의 시선이 제1 객체에 머무른 것으로 판단되면, S1306 단계에서, 장치(200)는 제1 객체 이후 도약 순서를 확인할 수 있다. 이때, 장치(200)는 제1 객체 이후 도약 순서인 제2 객체와 제2 객체 이후 도약 순서인 제3 객체를 확인할 수 있으며, 제1 객체, 제2 객체 및 제3 객체는 제2 영역에서 같이 표시되고 있는 상태일 수 있다.

S1307 단계에서, 장치(200)는 사용자의 시선을 추적하여 어느 객체에서 어느 객체로 도약하여, 사용자의 시선이 이동하는지 확인할 수 있다.

S1308 단계에서, 장치(200)는 사용자의 시선을 추적한 결과, 사용자의 시선이 제1 객체, 제2 객체 및 제3 객체 순으로 이동한 것을 확인할 수 있다.

S1309 단계에서, 장치(200)는 사용자의 시선이 제1 객체, 제2 객체 및 제3 객체 순으로 이동한 것이 확인되면, 교육 자료의 학습 내용을 집중해서 따라오고 있는 것으로 분석할 수 있다. 즉, 교육 자료에 미리 정해진 순서에 따라 사용자의 시선이 이동한 것으로 확인되면, 교육 자료의 학습 내용을 집중해서 잘 따라오고 있는 것으로 분석될 수 있다.

S1310 단계에서, 장치(200)는 사용자의 시선을 추적한 결과, 사용자의 시선이 제1 객체 및 제3 객체 순으로 이동한 것을 확인할 수 있다.

S1311 단계에서, 장치(200)는 사용자의 시선이 제1 객체 및 제3 객체 순으로 이동한 것이 확인되면, 교육 자료의 학습 내용을 집중해서 따라오지 못하고 있는 것으로 분석할 수 있다. 즉, 교육 자료에 미리 정해진 순서와 상관없이 사용자의 시선이 이동한 것으로 확인되면, 교육 자료의 학습 내용을 따라오지 못하고 있는 것으로 분석될 수 있다.

S1312 단계에서, 장치(200)는 사용자의 시선을 추적한 결과, 사용자의 시선이 제1 객체, 제2 객체 및 제1 객체 순으로 이동한 것을 확인할 수 있다.

S1313 단계에서, 장치(200)는 사용자의 시선이 제1 객체, 제2 객체 및 제1 객체 순으로 이동한 것이 확인되면, 제1 객체의 학습을 어려워한 것으로 분석할 수 있다. 즉, 제1 객체에 대한 시선이 재방문한 것으로 확인되면, 제1 객체의 학습을 어려워하는 것으로 분석될 수 있다.

도 14는 일실시예에 따른 학습 완료 시 다음 페이지가 표시되도록 제어하는 과정을 설명하기 위한 순서도이다.

도 14를 참조하면, 먼저, S1401 단계에서, 장치(200)는 교육 자료의 제1 페이지에 포함된 제1 객체, 제2 객체 및 제3 객체를 확인할 수 있다. 장치(200)는 데이터베이스로부터 획득된 교육 자료를 페이지 별로 확인할 수 있으며, 제1 페이지에 포함되어 있는 제1 객체, 제2 객체 및 제3 객체를 확인할 수 있다.

S1402 단계에서, 장치(200)는 교육 자료의 제1 페이지에 포함된 제1 객체, 제2 객체 및 제3 객체가 제2 영역에 표시되도록 제어할 수 있다.

S1403 단계에서, 장치(200)는 사용자의 시선이 객체 별로 머무른 시간을 측정할 수 있다. 사용자의 시선이 제1 객체에 머무르고 있는 경우, 장치(200)는 사용자의 시선이 제1 객체에 머무른 시간을 측정할 수 있다.

S1404 단계에서, 장치(200)는 제1 객체에 사용자의 시선이 제3 기준 시간 이상 머물렀는지 여부를 확인할 수 있다. 여기서, 제3 기준 시간은 실시예에 따라 상이하게 설정될 수 있다.

S1404 단계에서 제1 객체에 사용자의 시선이 제3 기준 시간 이상 머무른 것으로 확인되면, S1405 단계에서 장치(200)는 제1 객체의 학습을 완료한 것으로 분석할 수 있다.

S1404 단계에서 제1 객체에 사용자의 시선이 제3 기준 시간 이상 머무르지 않은 것으로 확인되면, S1406 단계에서 장치(200)는 제1 객체의 학습을 완료하지 않은 것으로 분석할 수 있다.

제1 객체의 학습을 완료하지 않은 것으로 분석되면, S1403 단계로 되돌아가, 사용자의 시선이 객체 별로 머무른 시간을 다시 측정할 수 있다.

제1 객체의 학습을 완료한 것으로 분석되면, S1407 단계에서, 장치(200)는 제1 객체, 제2 객체 및 제3 객체의 학습이 완료되었는지 여부를 확인할 수 있다.

제1 객체의 학습만 완료되고 제2 객체 및 제3 객체의 학습이 완료되지 않았으므로, S1409 단계에서 장치(200)는 제1 페이지에 대한 학습을 완료하지 않은 것으로 분석할 수 있다.

제1 페이지에 대한 학습을 완료하지 않은 것으로 분석되면, S1403 단계로 되돌아가, 사용자의 시선이 객체 별로 머무른 시간을 다시 측정할 수 있다. 사용자의 시선이 제1 객체에서 제2 객체로 이동하여 제2 객체에 사용자의 시선이 머무르고 있는 경우, 장치(200)는 사용자의 시선이 제2 객체에 머무른 시간을 측정할 수 있다.

S1404 단계에서, 장치(200)는 제2 객체에 사용자의 시선이 제3 기준 시간 이상 머물렀는지 여부를 확인할 수 있다.

S1404 단계에서 제2 객체에 사용자의 시선이 제3 기준 시간 이상 머무른 것으로 확인되면, S1405 단계에서 장치(200)는 제2 객체의 학습을 완료한 것으로 분석할 수 있다.

제2 객체의 학습을 완료한 것으로 분석되면, S1407 단계에서, 장치(200)는 제1 객체, 제2 객체 및 제3 객체의 학습이 완료되었는지 여부를 확인할 수 있다.

제1 객체 및 제2 객체까지 학습이 완료되고 제3 객체의 학습이 완료되지 않았으므로, S1409 단계에서 장치(200)는 제1 페이지에 대한 학습을 완료하지 않은 것으로 분석할 수 있다.

제1 페이지에 대한 학습을 완료하지 않은 것으로 분석되면, S1403 단계로 되돌아가, 사용자의 시선이 객체 별로 머무른 시간을 다시 측정할 수 있다. 사용자의 시선이 제2 객체에서 제3 객체로 이동하여 제3 객체에 사용자의 시선이 머무르고 있는 경우, 장치(200)는 사용자의 시선이 제3 객체에 머무른 시간을 측정할 수 있다.

S1404 단계에서, 장치(200)는 제3 객체에 사용자의 시선이 제3 기준 시간 이상 머물렀는지 여부를 확인할 수 있다.

S1404 단계에서 제3 객체에 사용자의 시선이 제3 기준 시간 이상 머무른 것으로 확인되면, S1405 단계에서 장치(200)는 제3 객체의 학습을 완료한 것으로 분석할 수 있다.

제3 객체의 학습을 완료한 것으로 분석되면, S1407 단계에서, 장치(200)는 제1 객체, 제2 객체 및 제3 객체의 학습이 완료되었는지 여부를 확인할 수 있다.

제1 객체, 제2 객체 및 제3 객체의 학습이 완료된 것으로 확인되면, S1408 단계에서, 장치(200)는 제1 페이지에 대한 학습을 완료한 것으로 분석할 수 있다.

제1 페이지에 대한 학습이 완료된 것으로 분석되면, S1410 단계에서, 장치(200)는 제2 페이지가 제2 영역에 표시되도록 제어할 수 있다.

예를 들어, 학습 콘텐츠의 제1 페이지에 제1 객체, 제2 객체 및 제3 객체가 포함되어 있고, 학습 콘텐츠의 제2 페이지에 제4 객체, 제5 객체 및 제6 객체가 포함되어 있는 경우, 장치(200)는 제1 객체, 제2 객체 및 제3 객체의 학습이 완료되어 제1 페이지에 대한 학습을 완료한 것으로 분석되면, 제1 객체, 제2 객체 및 제3 객체가 더 이상 제2 영역에 표시되지 않도록 제어하고, 제4 객체, 제5 객체 및 제6 객체가 새로 제2 영역에 표시되도록 제어할 수 있다.

도 15는 일실시예에 따른 교육 자료의 제1 페이지에 포함된 객체들의 표시를 제어하는 과정을 설명하기 위한 도면이다.

먼저, 제1 사용자 단말(110)에서 학습 시작 메뉴가 선택되면, 도 15의 (a)에 도시된 바와 같이, 장치(200)는 제1 객체, 제2 객체 및 제3 객체가 제2 영역에 표시되도록 제어할 수 있다. 제1 객체, 제2 객체 및 제3 객체는 교육 자료의 제1 페이지에 포함되어 있으며, 장치(200)는 교육 자료의 제1 페이지를 제1 사용자 단말(110)의 화면에서 제2 영역에 표시되도록 제어할 수 있다.

사용자의 시선이 주시하고 있는 것으로 판단된 제1 지점이 제2 영역에 위치하는 것으로 확인되면, 도 15의 (b)에 도시된 바와 같이, 장치(200)는 제1 객체가 강조 표시되도록 제어할 수 있다. 즉, 사용자의 시선이 제2 영역에 머무르는 것으로 확인되면, 가장 먼저 학습될 제1 객체가 강조되어 표시될 수 있다.

제1 객체의 학습이 완료되어 사용자의 시선이 제1 객체를 벗어난 것으로 확인되면, 도 15의 (c)에 도시된 바와 같이, 장치(200)는 제2 객체가 강조 표시되도록 제어할 수 있다. 즉, 사용자의 시선이 제1 객체를 벗어나는 것으로 확인되면, 제1 객체 이후 학습될 제2 객체가 강조되어 표시될 수 있다.

사용자의 시선이 제2 객체로 이동한 것이 확인되면, 도 15의 (d)에 도시된 바와 같이, 장치(200)는 제1 객체가 더 이상 제2 영역에 표시되지 않도록 제어할 수 있다. 즉, 사용자의 시선이 제2 객체에 머무르는 것으로 확인되면, 제1 객체가 표시되지 않을 수 있다.

제2 객체의 학습이 완료되어 사용자의 시선이 제2 객체를 벗어난 것으로 확인되면, 도 15의 (e)에 도시된 바와 같이, 장치(200)는 제3 객체가 강조 표시되도록 제어할 수 있다. 즉, 사용자의 시선이 제2 객체를 벗어나는 것으로 확인되면, 제2 객체 이후에 학습될 제3 객체가 강조되어 표시될 수 있다.

사용자의 시선이 제3 객체로 이동한 것이 확인되면, 도 15의 (f)에 도시된 바와 같이, 장치(200)는 제2 객체가 더 이상 제2 영역에 표시되지 않도록 제어할 수 있다. 즉, 사용자의 시선이 제3 객체에 머무르는 것으로 확인되면, 제2 객체가 표시되지 않을 수 있다.

제3 객체의 학습이 완료되어 사용자의 시선이 제3 객체를 벗어난 것으로 확인되면, 도 15의 (g)에 도시된 바와 같이, 장치(200)는 제1 페이지에 대한 학습 완료 메시지가 제2 영역에 표시되도록 제어할 수 있다. 즉, 제1 객체, 제2 객체 및 제3 객체에 대한 학습이 완료되면, 제1 페이지에 대한 학습 완료 메시지가 표시될 수 있으며, 제1 페이지에 대한 학습 완료 메시지가 일정 기간 표시된 이후 제2 영역에 제2 페이지에 포함된 객체들이 표시될 수 있다.

도 16은 일실시예에 따른 사용자 단말의 상태를 분류하는 과정을 설명하기 위한 순서도이다.

일실시예에 따르면, 시스템은 복수의 사용자 단말(100), 장치(200) 이외에 센서 그룹 및 항온항습기를 더 포함할 수 있다.

시스템은 강의실 내에 배치되어 있는 복수의 사용자 단말(100)을 포함할 수 있으며, 예를 들어, 제1 사용자 단말(110), 제2 사용자 단말(120) 및 제3 사용자 단말(130)이 강의실 내에 배치되어 있는 경우, 제1 사용자 단말(110)에 대응하여 제1 센서 그룹 및 제1 항온항습기가 더 포함되고, 제2 사용자 단말(120)에 대응하여 제2 센서 그룹 및 제2 항온항습기가 더 포함되고, 제3 사용자 단말(130)에 대응하여 제3 센서 그룹 및 제3 항온항습기가 더 포함될 수 있다.

복수의 사용자 단말(100) 각각은 내부 공기의 온도 및 습도를 측정하는 센서 그룹을 포함할 수 있다. 예를 들어, 제1 사용자 단말(110)은 제1 사용자 단말(110)의 내부 공기의 온도 및 습도를 측정하는 제1 센서 그룹을 포함하고, 제2 사용자 단말(120)은 제2 사용자 단말(120)의 내부 공기의 온도 및 습도를 측정하는 제2 센서 그룹을 포함할 수 있다.

복수의 센서 그룹 각각은 온도를 측정하는 온도 센서와 습도를 측정하는 습도 센서를 포함할 수 있다.

복수의 사용자 단말(100)에는 복수의 항온항습기가 각각 연결될 수 있으며, 예를 들어, 제1 사용자 단말(110)에는 제1 항온항습기가 연결되어 있고, 제2 사용자 단말(120)에는 제2 항온항습기가 연결될 수 있다.

제1 항온항습기는 제1 사용자 단말(110)에 설정된 목표 온도를 유지하도록 공기를 가열 또는 냉각시킬 수 있으며, 제1 사용자 단말(110)에 설정된 목표 습도를 유지하도록 공기를 가습 또는 감습시킬 수 있다.

마찬가지로, 제2 항온항습기는 제2 사용자 단말(120)에 설정된 목표 온도를 유지하도록 공기를 가열 또는 냉각시킬 수 있으며, 제2 사용자 단말(120)에 설정된 목표 습도를 유지하도록 공기를 가습 또는 감습시킬 수 있다.

일실시예에 따르면, 제1 사용자 단말(110)에 설정된 목표 온도와 제2 사용자 단말(120)에 설정된 목표 온도는 자동으로 동일하게 설정될 수 있으며, 사용자 설정에 따라 각각의 목표 온도가 상이하게 설정될 수도 있다.

또한, 제1 사용자 단말(110)에 설정된 목표 습도와 제2 사용자 단말(120)에 설정된 목표 습도는 자동으로 동일하게 설정될 수 있으며, 사용자 설정에 따라 각각의 목표 습도가 상이하게 설정될 수도 있다.

장치(200)는 시스템에 포함된 제1 사용자 단말(110), 제2 사용자 단말(120), 제1 센서 그룹, 제2 센서 그룹, 제1 항온항습기 및 제2 항온항습기 각각의 동작이 정상적으로 수행되도록 제어할 수 있다.

장치(200)는 제1 항온항습기 및 제2 항온항습기 각각의 동작을 제어하여, 제1 사용자 단말(110) 및 제2 사용자 단말(120) 각각에서 측정된 온도가 목표 온도를 유지하도록 조절하고, 제1 사용자 단말(110) 및 제2 사용자 단말(120) 각각에서 측정된 습도가 목표 습도를 유지하도록 조절할 수 있다. 이때, 제1 센서 그룹은 제1 사용자 단말(110)의 온도 및 습도를 측정할 수 있으며, 제2 센서 그룹은 제2 사용자 단말(120)의 온도 및 습도를 측정할 수 있다.

한편, 일실시예에 따르면, 장치(200)는 제1 센서 그룹에서 측정된 온도를 확인하여, 제1 사용자 단말(110)에 설정된 목표 온도를 유지하도록 제1 사용자 단말(110)와 연결된 제1 항온항습기의 동작을 제어하고, 제1 센서 그룹에서 측정된 습도를 확인하여, 제1 사용자 단말(110)에 설정된 목표 습도를 유지하도록 제1 항온항습기의 동작을 제어할 수 있다.

또한, 장치(200)는 제2 센서 그룹에서 측정된 온도를 확인하여, 제2 사용자 단말(120)에 설정된 목표 온도를 유지하도록 제2 사용자 단말(120)와 연결된 제2 항온항습기의 동작을 제어하고, 제2 센서 그룹에서 측정된 습도를 확인하여, 제2 사용자 단말(120)에 설정된 목표 습도를 유지하도록 제2 항온항습기의 동작을 제어할 수 있다.

일실시예에 따르면, 장치(200)는 제1 센서 그룹에서 측정된 온도와 제1 사용자 단말(110)에 설정된 목표 온도의 차이인 제1 온도 차이값을 산출하고, 제1 온도 차이값이 기준치 보다 큰 것으로 확인되면, 제1 사용자 단말(110)와 연결된 제1 항온항습기가 동작되도록 제어할 수 있다.

예를 들어, 장치(200)는 제1 센서 그룹에서 측정된 온도가 30℃로 확인되고, 제1 사용자 단말(110)에 설정된 목표 온도가 25℃로 확인되는 경우, 제1 온도 차이값으로 5℃를 산출할 수 있으며, 기준치가 3℃로 설정되어 있는 경우, 온도 변화가 필요하기 때문에 제1 항온항습기가 동작되도록 제어할 수 있다.

또한, 장치(200)는 제2 센서 그룹에서 측정된 온도와 제2 사용자 단말(120)에 설정된 목표 온도의 차이인 제2 온도 차이값을 산출하고, 제2 온도 차이값이 기준치 보다 큰 것으로 확인되면, 제2 사용자 단말(120)와 연결된 제2 항온항습기가 동작되도록 제어할 수 있다.

일실시예에 따르면, 장치(200)는 강의실 내에 배치된 복수의 사용자 단말(100) 각각에 설정된 목표 온도 및 목표 습도를 확인할 수 있다.

장치(200)는 복수의 사용자 단말(100) 각각과 연결된 복수의 항온항습기 각각의 동작을 제어하여, 복수의 사용자 단말(100) 각각에서 측정된 온도가 목표 온도를 유지하도록 조절하고, 복수의 사용자 단말(100) 각각에서 측정된 습도가 목표 습도를 유지하도록 조절할 수 있다.

S1601 단계에서, 장치(200)는 복수의 사용자 단말(100) 별로 미리 설정된 기간 동안 목표 온도 및 목표 습도를 유지하도록 조절된 조절 횟수를 확인할 수 있다.

예를 들어, 장치(200)는 제1 사용자 단말(110)에 온도 변화가 필요한 경우, 제1 항온항습기가 동작되도록 제어하여, 제1 사용자 단말(110)이 목표 온도를 유지하도록 조절할 수 있으며, 일주일 동안 제1 사용자 단말(110)이 목표 온도를 유지하기 위해 조절된 조절 횟수를 산출하여 확인할 수 있다.

S1602 단계에서, 장치(200)는 조절 횟수가 기준 범위 내에 있는지 여부를 확인할 수 있다.

S1602 단계에서 조절 횟수가 기준 범위 내에 있는 것으로 판단되면, S1603 단계에서, 장치(200)는 조절 횟수가 기준 범위 내에 있는 것으로 확인된 사용자 단말을 이상이 없는 정상 상태로 분류할 수 있다.

예를 들어, 기준 범위가 10회 이상, 20회 이하로 설정되어 있는 경우, 장치(200)는 제1 사용자 단말(110)의 조절 횟수가 15회로 확인되면, 제1 사용자 단말(110)을 정상 상태로 분류할 수 있다.

S1602 단계에서 조절 횟수가 기준 범위를 벗어나는 것으로 판단되면, S1604 단계에서, 장치(200)는 조절 횟수가 기준 범위를 벗어나는 것으로 확인된 사용자 단말을 이상이 있는 비정상 상태로 분류할 수 있다.

예를 들어, 기준 범위가 10회 이상, 20회 이하로 설정되어 있는 경우, 장치(200)는 제2 사용자 단말(120)의 조절 횟수가 5회로 확인되면, 제2 사용자 단말(120)을 비정상 상태로 분류할 수 있으며, 제2 사용자 단말(120)의 조절 횟수가 25회로 확인되면, 제2 사용자 단말(120)을 비정상 상태로 분류할 수도 있다.

S1605 단계에서, 장치(200)는 비정상 상태로 분류된 제2 사용자 단말(120)의 조절 횟수가 기준 범위의 최소값 보다 작은지 여부를 확인할 수 있다.

S1605 단계에서 제2 사용자 단말(120)의 조절 횟수가 기준 범위의 최소값 보다 작은 것으로 확인되면, S1606 단계에서, 장치(200)는 제2 사용자 단말(120)을 비정상 상태에서 유휴 상태로 분류할 수 있다.

예를 들어, 기준 범위가 10회 이상, 20회 이하로 설정되어 있는 경우, 장치(200)는 제2 사용자 단말(120)의 조절 횟수가 5회로 확인되어, 기준 범위의 최소값인 10회 보다 조절 횟수가 작은 것으로 확인되면, 제2 사용자 단말(120)을 유휴 상태로 분류할 수 있다.

S1605 단계에서 제2 사용자 단말(120)의 조절 횟수가 기준 범위의 최소값 보다 작지 않은 것으로 확인되면, 제2 사용자 단말(120)의 조절 횟수가 기준 범위를 벗어나 있기 때문에, 장치(200)는 제2 사용자 단말(120)의 조절 횟수가 기준 범위의 최대값 보다 큰 것으로 확인할 수 있으며, 제2 사용자 단말(120)의 조절 횟수가 기준 범위의 최대값 보다 큰 것으로 확인되면, S1607 단계에서, 장치(200)는 제2 사용자 단말(120)을 비정상 상태에서 과부하 상태로 분류할 수 있다.

예를 들어, 기준 범위가 10회 이상, 20회 이하로 설정되어 있는 경우, 장치(200)는 제2 사용자 단말(120)의 조절 횟수가 25회로 확인되어, 기준 범위의 최대값인 20회 보다 조절 횟수가 큰 것으로 확인되면, 제2 사용자 단말(120)을 과부하 상태로 분류할 수 있다.

제2 사용자 단말(120)이 유효 상태로 분류되면, S1608 단계에서, 장치(200)는 제2 사용자 단말(120)의 유휴 상태가 제4 기준 시간 이상으로 지속되었는지 여부를 확인할 수 있다. 여기서, 제4 기준 시간은 실시예에 따라 상이하게 설정될 수 있다.

S1608 단계에서 제2 사용자 단말(120)의 유휴 상태가 제4 기준 시간 이상으로 지속된 것이 확인되면, S1610 단계에서, 장치(200)는 제2 사용자 단말(120)을 자리 교체 대상 단말로 분류할 수 있다.

예를 들어, 제2 사용자 단말(120)의 유휴 상태가 1달 이상으로 지속된 것이 확인되면, 장치(200)는 제2 사용자 단말(120)을 자리 교체 대상 단말로 분류할 수 있다.

제2 사용자 단말(120)이 과부하 상태로 분류되면, S1609 단계에서, 장치(200)는 제2 사용자 단말(120)의 과부하 상태가 제4 기준 시간 이상으로 지속되었는지 여부를 확인할 수 있다.

S1609 단계에서 제2 사용자 단말(120)의 과부하 상태가 제4 기준 시간 이상으로 지속된 것이 확인되면, S1611 단계에서, 장치(200)는 제2 사용자 단말(120)을 수리 대상 단말로 분류할 수 있다.

예를 들어, 제2 사용자 단말(120)의 과부하 상태가 1달 이상으로 지속된 것이 확인되면, 장치(200)는 제2 사용자 단말(120)을 수리 대상 단말로 분류할 수 있다.

S1612 단계에서, 장치(200)는 제1 사용자 단말(110) 및 제2 사용자 단말(120)에 대한 상태 알림 메시지가 관리자 단말로 전송되도록 제어할 수 있다.

S1603 단계에서 제1 사용자 단말(110)이 정상 상태로 분류되면, 장치(200)는 제1 사용자 단말(110)이 이상이 없는 정상 상태인 것을 알려주는 상태 알림 메시지가 관리자 단말로 전송되도록 제어할 수 있다.

S1604 단계에서 제2 사용자 단말(120)이 비정상 상태로 분류되면, 장치(200)는 제2 사용자 단말(120)이 이상이 있는 비정상 상태인 것을 알려주는 상태 알림 메시지가 관리자 단말로 전송되도록 제어할 수 있다.

S1606 단계에서 제2 사용자 단말(120)이 유휴 상태로 분류되고, S1608 단계에서 유휴 상태가 제4 기준 시간 이상으로 지속되지 않은 것이 확인되면, 장치(200)는 제2 사용자 단말(120)이 비정상 상태에서 유휴 상태인 것을 알려주는 상태 알림 메시지가 관리자 단말로 전송되도록 제어할 수 있다.

S1607 단계에서 제2 사용자 단말(120)이 과부하 상태로 분류되고, S1609 단계에서 과부하 상태가 기준 시간 이상으로 지속되지 않은 것이 확인되면, 장치(200)는 제2 사용자 단말(120)이 비정상 상태에서 과부하 상태인 것을 알려주는 상태 알림 메시지가 관리자 단말로 전송되도록 제어할 수 있다.

S1610 단계에서 제2 사용자 단말(120)이 자리 교체 대상 단말로 분류되면, 장치(200)는 제2 사용자 단말(120)의 유휴 상태에 대한 지속 기간이 오래되어, 제2 사용자 단말(120)에 대한 자리 교체가 필요한 것을 알려주는 알림 메시지가 관리자 단말로 전송되도록 제어할 수 있다.

S1611 단계에서 제2 사용자 단말(120)이 수리 대상 단말로 분류되면, 장치(200)는 제2 사용자 단말(120)의 과부하 상태에 대한 지속 기간이 오래되어, 제2 사용자 단말(120)에 대한 수리가 필요한 것을 알려주는 알림 메시지가 관리자 단말로 전송되도록 제어할 수 있다.

도 17은 일실시예에 따른 장치의 구성의 예시도이다.

일실시예에 따른 장치(200)는 프로세서(210) 및 메모리(220)를 포함한다. 프로세서(210)는 도 1 내지 도 16을 참조하여 전술된 적어도 하나의 장치들을 포함하거나, 도 1 내지 도 16을 참조하여 전술된 적어도 하나의 방법을 수행할 수 있다. 장치(200)를 이용하는 자 또는 단체는 도 1 내지 도 16을 참조하여 전술된 방법들 일부 또는 전부와 관련된 서비스를 제공할 수 있다.

메모리(220)는 전술된 방법들과 관련된 정보를 저장하거나 전술된 방법들을 구현하는 프로그램을 저장할 수 있다. 메모리(220)는 휘발성 메모리 또는 비휘발성 메모리일 수 있다.

프로세서(210)는 프로그램을 실행하고, 장치(200)를 제어할 수 있다. 프로세서(210)에 의하여 실행되는 프로그램의 코드는 메모리(220)에 저장될 수 있다. 장치(200)는 입출력 장치(도면 미 표시)를 통하여 외부 장치(예를 들어, 퍼스널 컴퓨터 또는 네트워크)에 연결되고, 유무선 통신을 통해 데이터를 교환할 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

이상과 같이 실시예들이 비록 한정된 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기를 기초로 다양한 기술적 수정 및 변형을 적용할 수 있다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 청구범위의 범위에 속한다.

Claims (5)

1. 장치에 의해 수행되는, 온라인 학습 능력을 분석하기 위해 시선을 추적하는 방법에 있어서,
   사용자 단말에서 학습 시작 메뉴가 선택되면, 온라인 상으로 제공되는 학습 콘텐츠가 상기 사용자 단말의 화면에 표시되도록 제어하는 단계;
   상기 사용자 단말에 장착된 카메라를 통해 획득된 사용자의 얼굴 영상에서 상기 사용자의 좌측 및 우측 눈 영역을 인식하는 단계;
   상기 눈 영역 각각에서 눈동자들의 위치를 확인하는 단계;
   상기 눈 영역 각각의 크기 및 상기 눈동자들의 크기를 기반으로, 상기 사용자와 상기 사용자 단말 간의 이격 거리를 산출하는 단계;
   상기 눈동자들의 위치 및 상기 이격 거리에 기초하여, 상기 사용자의 시선이 상기 화면 내에 위치하는지 여부를 확인하는 단계;
   상기 사용자의 시선이 상기 화면 내에 위치하고 있는 상태에서, 상기 사용자의 시선이 고정되어 이동하지 않는 눈동자 체류 시간이 미리 설정된 기준 시간 보다 큰 것으로 확인되면, 상기 사용자의 시선이 상기 화면 내에서 어느 지점을 주시하고 있는 것으로 판정하는 단계;
   상기 눈동자들의 위치 및 상기 이격 거리에 기초하여, 상기 사용자의 시선이 상기 화면 내에서 제1 지점을 주시하고 있는 것으로 판단하는 단계;
   상기 학습 콘텐츠의 강의 영상이 표시되는 제1 영역에 상기 제1 지점이 위치하는지 여부를 확인하는 단계; 및
   상기 제1 영역에 상기 제1 지점이 위치하는 것으로 확인되면, 상기 강의 영상의 재생이 유지되도록 제어하는 단계
   를 포함하고,
   상기 온라인 학습 능력을 분석하기 위해 시선을 추적하는 방법은,
   강의실 내에 배치된 상기 사용자 단말을 포함하는 복수의 사용자 단말 각각에 설정된 목표 온도 및 목표 습도를 확인하는 단계;
   상기 복수의 사용자 단말 각각과 연결된 복수의 항온항습기 각각의 동작을 제어하여, 상기 복수의 사용자 단말 각각에서 측정된 온도가 상기 목표 온도를 유지하도록 조절하고, 상기 복수의 사용자 단말 각각에서 측정된 습도가 상기 목표 습도를 유지하도록 조절하는 단계;
   상기 복수의 사용자 단말 각각에 미리 설정된 기간 동안 상기 목표 온도 및 상기 목표 습도를 유지하도록 조절된 조절 횟수를 확인하는 단계;
   상기 사용자 단말이 상기 조절 횟수가 기준 범위 내에 있는 것으로 확인되면, 상기 사용자 단말을 이상이 없는 정상 상태로 분류하고, 사용자 단말이 상기 조절 횟수가 기준 범위를 벗어나는 것으로 확인되면, 상기 사용자 단말을 이상이 있는 비정상 상태로 분류하는 단계;
   상기 사용자 단말이 비정상 상태로 분류되면, 상기 사용자 단말의 비정상 상태에 대한 알림 메시지가 관리자 단말로 전송되도록 제어하는 단계;
   상기 사용자 단말의 조절 횟수가 기준 범위의 최소값보다 작은 것으로 확인되면, 상기 사용자 단말을 비정상 상태에서 유휴 상태로 분류하고, 상기 사용자 단말의 조절 횟수가 기준 범위의 최대값보다 큰 것으로 확인되면, 상기 사용자 단말을 비정상 상태에서 과부하 상태로 분류하는 단계;
   상기 사용자 단말이 유휴 상태로 분류되면, 상기 사용자 단말의 유휴 상태에 대한 알림 메시지가 상기 관리자 단말로 전송되도록 제어하고, 상기 사용자 단말이 과부하 상태로 분류되면, 상기 사용자 단말의 과부하 상태에 대한 알림 메시지가 상기 관리자 단말로 전송되도록 제어하는 단계;
   상기 사용자 단말의 유휴 상태가 미리 설정된 기준 시간 이상으로 지속된 것이 확인되면, 상기 사용자 단말을 자리 교체 대상 단말로 분류하고, 상기 사용자 단말의 과부하 상태가 상기 기준 시간 이상으로 지속된 것이 확인되면, 상기 사용자 단말을 수리 대상 단말로 분류하는 단계; 및
   상기 사용자 단말이 자리 교체 대상 단말로 분류되면, 상기 사용자 단말에 대한 자리 교체가 필요한 것을 알려주는 알림 메시지가 상기 관리자 단말로 전송되도록 제어하고, 상기 사용자 단말이 수리 대상 단말로 분류되면, 상기 사용자 단말에 대한 수리가 필요한 것을 알려주는 알림 메시지가 상기 관리자 단말로 전송되도록 제어하는 단계
   를 더 포함하는, 온라인 학습 능력 분석을 위한 시선 추적 방법.
2. 제1항에 있어서,
   상기 화면의 좌측 상단에 설정된 제1 구역에 상기 사용자의 시선을 유도하는 알림 메시지가 표시되도록 제어하는 단계;
   상기 사용자의 시선이 상기 제1 구역을 주시하고 있는 것으로 판정되면, 상기 제1 구역을 주시할 때 획득된 상기 사용자의 얼굴 영상을 분석하여, 상기 눈 영역 각각에서 상기 눈동자들이 위치하고 있는 제1 눈동자 좌표를 추출하는 단계;
   상기 화면의 우측 상단에 설정된 제2 구역에 상기 사용자의 시선을 유도하는 알림 메시지가 표시되도록 제어하는 단계;
   상기 사용자의 시선이 상기 제2 구역을 주시하고 있는 것으로 판정되면, 상기 제2 구역을 주시할 때 획득된 상기 사용자의 얼굴 영상을 분석하여, 상기 눈 영역 각각에서 상기 눈동자들이 위치하고 있는 제2 눈동자 좌표를 추출하는 단계;
   상기 화면의 좌측 하단에 설정된 제3 구역에 상기 사용자의 시선을 유도하는 알림 메시지가 표시되도록 제어하는 단계;
   상기 사용자의 시선이 상기 제3 구역을 주시하고 있는 것으로 판정되면, 상기 제3 구역을 주시할 때 획득된 상기 사용자의 얼굴 영상을 분석하여, 상기 눈 영역 각각에서 상기 눈동자들이 위치하고 있는 제3 눈동자 좌표를 추출하는 단계;
   상기 화면의 우측 하단에 설정된 제4 구역에 상기 사용자의 시선을 유도하는 알림 메시지가 표시되도록 제어하는 단계;
   상기 사용자의 시선이 상기 제4 구역을 주시하고 있는 것으로 판정되면, 상기 제4 구역을 주시할 때 획득된 상기 사용자의 얼굴 영상을 분석하여, 상기 눈 영역 각각에서 상기 눈동자들이 위치하고 있는 제4 눈동자 좌표를 추출하는 단계;
   상기 화면의 정중앙에 설정된 제5 구역에 상기 사용자의 시선을 유도하는 알림 메시지가 표시되도록 제어하는 단계; 및
   상기 사용자의 시선이 상기 제5 구역을 주시하고 있는 것으로 판정되면, 상기 제5 구역을 주시할 때 획득된 상기 사용자의 얼굴 영상을 분석하여, 상기 눈 영역 각각에서 상기 눈동자들이 위치하고 있는 제5 눈동자 좌표를 추출하는 단계를 더 포함하며,
   상기 제1 지점을 주시하고 있는 것으로 판단하는 단계는,
   상기 제1 지점을 주시할 때 획득된 상기 사용자의 얼굴 영상을 분석하여, 상기 눈 영역 각각에서 상기 눈동자들이 위치하고 있는 현재 눈동자 좌표를 추출하는 단계; 및
   상기 현재 눈동자 좌표와 상기 제1 눈동자 좌표, 상기 제2 눈동자 좌표, 상기 제3 눈동자 좌표, 상기 제4 눈동자 좌표 및 상기 제5 눈동자 좌표를 비교하여, 상기 화면 내에서 상기 제1 지점의 좌표를 추출하는 단계를 포함하는,
   온라인 학습 능력 분석을 위한 시선 추적 방법.
3. 제1항에 있어서,
   상기 제1 영역에 상기 제1 지점이 위치하는 것으로 확인되면, 상기 제1 지점을 주시할 때 획득된 상기 사용자의 얼굴 영상을 분석하여, 상기 눈 영역 각각에서 상기 눈동자들의 현재 동공 크기를 확인하는 단계;
   데이터베이스에 미리 등록된 상기 사용자의 동공 크기인 제1 동공 크기를 획득하는 단계;
   상기 현재 동공 크기와 상기 제1 동공 크기 간의 차이가 오차 범위 이내로 확인되면, 상기 학습 콘텐츠에 대한 집중도가 보통인 것으로 분석하는 단계;
   상기 현재 동공 크기와 상기 제1 동공 크기 간의 차이가 오차 범위를 벗어나 상기 현재 동공 크기가 상기 제1 동공 크기 보다 작은 것으로 확인되면, 상기 학습 콘텐츠에 대한 집중도가 매우 우수한 것으로 분석하는 단계; 및
   상기 현재 동공 크기와 상기 제1 동공 크기 간의 차이가 오차 범위를 벗어나 상기 현재 동공 크기가 상기 제1 동공 크기 보다 큰 것으로 확인되면, 상기 학습 콘텐츠에 대한 집중도가 낮아 산만한 것으로 분석하는 단계를 더 포함하는,
   온라인 학습 능력 분석을 위한 시선 추적 방법.
4. 제1항에 있어서,
   상기 제1 영역에 상기 제1 지점이 위치하지 않는 것으로 확인되면, 상기 사용자의 상태를 한눈팔기 상태로 판단하는 단계;
   상기 제1 영역에 상기 제1 지점이 위치하는 것으로 확인되면, 상기 눈 영역 각각에서 상기 눈동자들이 차지하고 있는 현재 눈동자 비율을 확인하는 단계;
   상기 현재 눈동자 비율이 미리 설정된 제1 비율 보다 높은 것으로 확인되면, 상기 사용자의 상태를 집중 상태로 판단하는 단계;
   상기 현재 눈동자 비율이 상기 제1 비율 보다 낮고 미리 설정된 제2 비율 보다 높은 것으로 확인되면, 상기 사용자의 상태를 졸음엄습 상태로 판단하는 단계;
   상기 현재 눈동자 비율이 상기 제2 비율 보다 낮고 0이 아닌 것으로 확인되면, 상기 사용자의 상태를 비몽사몽 상태로 판단하는 단계; 및
   상기 현재 눈동자 비율이 0으로 확인되면, 상기 사용자의 상태를 수면 상태로 판단하는 단계를 더 포함하는,
   온라인 학습 능력 분석을 위한 시선 추적 방법.
5. 제1항에 있어서,
   상기 제1 지점에 사용자의 시선이 상기 기준 시간 이상 머문 것으로 확인되면, 상기 사용자의 시선이 상기 제1 지점에 고정되어 있는 것을 통해 상기 사용자의 시선에 대한 고정 요소를 분석하는 단계;
   상기 사용자의 시선이 상기 제1 지점을 벗어나 제2 지점으로 이동한 것이 확인되면, 상기 사용자의 시선이 상기 제1 지점에서 상기 제2 지점으로 도약한 것을 통해 상기 사용자의 시선에 대한 도약 요소를 분석하는 단계;
   상기 사용자의 시선이 상기 제2 지점을 벗어나 제3 지점으로 이동한 것이 확인되면, 상기 제1 지점, 상기 제2 지점 및 상기 제3 지점을 연결한 시선의 경로를 통해 상기 사용자의 시선에 대한 주사 경로 요소를 분석하는 단계;
   상기 사용자의 시선이 상기 제3 지점을 벗어나 상기 제1 지점으로 다시 이동한 것이 확인되면, 세부 특징 탐지를 위해 상기 제1 지점으로 시선이 되돌아 온 것을 통해 상기 사용자의 시선에 대한 재방문 요소를 분석하는 단계; 및
   상기 고정 요소, 상기 도약 요소, 상기 주사 경로 요소 및 상기 재방문 요소를 기초로, 상기 사용자의 시선을 추적하는 단계를 더 포함하는,
   온라인 학습 능력 분석을 위한 시선 추적 방법.

Images