KR102245319B1 - 원격지 학습자의 집중도를 분석하는 시스템 - Google Patents

원격지 학습자의 집중도를 분석하는 시스템 Download PDF

Info

Publication number
KR102245319B1
KR102245319B1 KR1020200154043A KR20200154043A KR102245319B1 KR 102245319 B1 KR102245319 B1 KR 102245319B1 KR 1020200154043 A KR1020200154043 A KR 1020200154043A KR 20200154043 A KR20200154043 A KR 20200154043A KR 102245319 B1 KR102245319 B1 KR 102245319B1
Authority
KR
South Korea
Prior art keywords
face
screen
concentration
learner
analyzing
Prior art date
Application number
KR1020200154043A
Other languages
English (en)
Inventor
이대규
최양진
이상훈
Original Assignee
주식회사 서경산업
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 서경산업 filed Critical 주식회사 서경산업
Priority to KR1020200154043A priority Critical patent/KR102245319B1/ko
Application granted granted Critical
Publication of KR102245319B1 publication Critical patent/KR102245319B1/ko

Links

Images

Classifications

    • G06K9/00221
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06K9/00597
    • G06K9/4652
    • G06K9/481
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/46Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469Contour-based spatial representations, e.g. vector-coding
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/40Extraction of image or video features
    • G06V10/56Extraction of image or video features relating to colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Ophthalmology & Optometry (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 원격지 학습자의 집중도를 분석하는 시스템에 관한 것이다.
구체적으로는, 카메라모듈을 통해 촬영된 영상매체를 이용하여, 학습자의 얼굴을 검출하고, 검출된 얼굴을 기반하여 얼굴방향을 분석하고, 얼굴이 화면을 향하고 있는지 분석함으로써, 학습자가 실제로 화면을 응시하고 있는지 분석하여, 원격지에 존재하는 학습자의 학습 집중도를 분석하는, 원격지 학습자의 집중도를 분석하는 시스템에 관한 것이다.

Description

원격지 학습자의 집중도를 분석하는 시스템{SYSTEM FOR ANALYSIS A CONCENTRATION OF LEARNER}
본 발명은 원격지 학습자의 집중도를 분석하는 시스템에 관한 것이다.
구체적으로는, 카메라모듈을 통해 촬영된 영상매체를 이용하여, 학습자의 얼굴을 검출하고, 검출된 얼굴을 기반하여 얼굴방향을 분석하고, 얼굴이 화면을 향하고 있는지 분석함으로써, 학습자가 실제로 화면을 응시하고 있는지 분석하여, 원격지에 존재하는 학습자의 학습 집중도를 분석하는, 원격지 학습자의 집중도를 분석하는 시스템에 관한 것이다.
교사 10명 중 8명이 코로나 사태로 등교 수업 대신 진행한 원격 수업으로 학습 격차가 커졌다고 보는 것으로 조사됐다.
교육부 산하 한국교육학술정보원(KERIS)은 이런 내용을 포함한 보고서를 21일 공개했다. 보고서엔 7월 29일~8월 1일 초·중·고교 교사 5만1021명, 초·중·고생 42만5446명, 초·중·고생 자녀를 둔 학부모 38만922명 등 총 85만7389명을 설문조사한 내용이 담겼다.
보고서에 따르면 원격 수업 이후 학생 간 학습 격차 발생 여부를 묻는 질문에 교사의 79%가 “격차가 커졌다”고 답했다. 그 이유로 교사들은 ‘학생의 자기 주도적 학습 능력 차이'(64.9%)를 가장 많이 꼽았다. 이를 해소하기 위한 방안으론 ‘등교수업을 통한 오프라인 보충지도’(37%) 등을 제시했다.
그간 학부모들이 원격 수업에 교사와 학생 간 소통이 없다고 지적했던 문제도 드러났다. 교사들이 지난 1학기 중 가장 많이 활용한 원격 수업 형태는 ‘콘텐츠 중심 수업’(45.1%)이었다. 실시간 쌍방향 수업 비율은 14.8%에 불과했다.
중·고생 학부모의 절반 이상(52.3%)은 원격 수업에 만족하지 못한다고 했고, 초등생 학부모의 46%는 “자녀의 원격 수업을 돕는 데 부담을 느낀다”고 했다.
이러한 문제점들을 극복하고자, 원격 학습시 얼굴 검출과 검출된 얼굴을 분석하여 학습자가 학습에 집중하고 있는지를 분석하고자 한다.
해당 기술은 영상매체를 이용한 학습자의 영상분석으로 집중도를 분석하고 그 분석된 정보로 기존의 학습자 정보인식 데이터를 통해 학습자의 유형을 산출하는데 도움을 주고자 한다.
관련된 기술로서, 등록특허공보 제10-1887626호의 안면 데이터 기반 집중도 분석 시스템 및 그 방법이 기재되어 있다.
상기 기술은, 온라인 교육 등을 위한 글, 사진 또는 동영상을 시청하기 위해 단말기 화면을 바라보는 사용자의 영상(안면 데이터)을 처리하여 획득한 다수의 샘플 동공좌표를 캘리브레이션하여, 영상분석영역을 최대집중영역, 집중영역, 및 비집중영역으로 구분하고, 캘리브레이션단계 이후 획득한 다수의 동공좌표가 상기 다수의 영역 중 어느 영역에 속하는지 판단하여 집중도를 분석함으로써, 해당 사용자의 수강 태도 파악이 가능한 안면 데이터 기반 집중도 분석 시스템 및 그 방법을 제공한다.
또한, 공개특허공보 제10-2016-0139221호의 집중도 평가시스템이 기재되어 있다.
상기 기술은, 영상컨텐츠를 시청하는 피평가자(A)의 집중도를 평가하기 위한 집중도 평가시스템에 있어서, 피평가자(A)의 시청모습을 촬영한 영상데이터를 수신하는 영상입력부(110)와, 상기 영상데이터를 영상분석하여 영상내에서 피평가자(A)의 신체를 대상으로 하는 객체를 추출하는 객체추출부(120)와, 상기 객체의 신체 움직임을 추적하여 움직임값을 산출하는 신체추적부(131), 상기 객체상에서 얼굴부위를 추출하고 얼굴의 움직임을 추적하여 얼굴의 움직임값을 산출하는 얼굴추적부(132) 또는, 상기 객체상에서 얼굴의 동공부위를 추출하고 동공의 움직임을 추적하여 움직임값을 산출하는 동공추적부(133) 중 어느 하나의 추적부를 포함하는 집중판단요소 산출부(130) 및, 신체의 움직임값, 얼굴의 움직임값 또는 동공의 움직임값 중 어느 하나 이상의 움직임값과 기설정된 기준데이터간의 비교를 통해 단위시간당 변화하는 움직임대비 집중도에 대한 평가점수를 측정하여 상기 피평가자(A)에 대한 집중도 평가데이터를 산정하는 집중도평가부(140)를 포함하는 집중도 평가장치(100);를 포함하는 집중도 평가시스템이 제공된다.
또한, 공개특허공보 제10-2019-0056520호에는 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법이 기재되어 있다.
상기 기술은, 운전자의 눈 깜박임 상태, 전방 주시 상태 외에도 얼굴 표정으로부터 파악한 가수면 상태와 운전자의 얼굴 특징을 검출하여 파악한 운전자의 감정 상태로부터 운전자의 전방 집중도를 판별하는 방법 및 이를 적용한 시스템이 제공된다. 본 전방 집중도 분석 방법은 운전자의 눈 깜박임 상태를 판별하는 단계; 운전자의 눈 깜박임 상태가 정상이면, 운전자의 전방 주시 상태를 판별하는 단계; 운전자의 전방 주시 상태가 정상이면, 운전자의 감정 상태를 파악하는 단계; 및 파악된 감정 상태로부터 운전자의 전방 집중도를 판별하는 단계;를 포함한다.
또한, 공개특허공보 제10-2010-0016696호에는 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스스케줄링방법이 기재되어 있다.
상기 기술은, 얼굴분석기법을 이용하여 학습자의 인증 및 학습상태를 실시간으로 분석하여 이를 기반으로 학습자마다 맞춤형의 학습코스를 계획하여 효율성 있는 가상강의가 이뤄지도록 한 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스 스케줄링방법에 관한 것으로서, 입력영상의 모든 프레임별로 얼굴영상을 분석하여 각각의 프레임에 학습상태를 부여하는 순간학습상태와 일정구간의 프레임들의 순간학습상태와 머리의 움직임정보를 고려하여 전체학습상태를 분석하되, 상기 순간학습상태는 얼굴영역에 대한 검출유무, 눈과 입의 검출유무, 시선집중유무, 눈 크기가 70%이상인지 여부, 눈 크기가 30%이하인지 여부에 따라 학습상태를 집중, 산만, 졸음, 수면, 이탈의 5가지 중 하나로 판별하고, 상기 전체학습상태는 일정 구간에 대해 나타나는 순간학습상태 열을 인간의 행동패턴과 반응시간을 고려하여 보정하고, 보정된 순간학습상태의 빈도수를 계산하여 백분율로 나타내며, 순간학습상태의 백분율과 교수자의 시선응시 유도에 대한 반응여부를 조합하여 결정하는 특징이 있다.
등록특허공보 제10-1887626호(2018.08.10. 공고) 공개특허공보 제10-2016-0139221호(2016.12.07.) 공개특허공보 제10-2019-0056520호(2019.05.27.) 공개특허공보 제10-2010-0016696호(2010.02.16.)
본 발명의 목적은, 카메라모듈을 통해 촬영된 영상매체를 이용하여, 학습자의 얼굴을 검출하고, 검출된 얼굴을 기반하여 얼굴방향을 분석하고, 얼굴이 화면을 향하고 있는지 분석함으로써, 학습자가 실제로 화면을 응시하고 있는지 분석하여, 원격지에 존재하는 학습자의 학습 집중도를 분석하는, 원격지 학습자의 집중도를 분석하는 시스템을 제공하는데 있다.
상술된 목적을 달성하기 위하여 안출된 것으로, 본 발명에 따른 원격지 학습자의 집중도를 분석하는 시스템은,
카메라모듈과; 상기 카메라모듈로부터 영상을 수신하여 분석을 수행하는 집중도 분석모듈;을 포함하는 원격지 학습자의 집중도를 분석하는 시스템에 있어서,
상기 집중도분석모듈은,
상기 카메라모듈로부터 영상을 수신하는 영상수신부와;
상기 영상수신부로부터 수신된 영상 중에서 얼굴을 검출하는 얼굴검출부와;
상기 얼굴검출부를 통해 검출된 얼굴정보를 기반으로 해당 얼굴의 방향을 분석하여 분석의 기준방향을 설정하는 얼굴방향분석부와;
상기 얼굴방향분석부를 통해 분석된 소정의 방향을 가지는 얼굴정보를 대상으로 해당 얼굴의 크기를 분석하는 얼굴크기분석부와;
상기 얼굴크기분석부를 통해 분석된 해당 얼굴의 크기와 화면의 사이즈, 그리고 상기 화면에서부터 얼굴까지의 거리를 기반으로 해당 얼굴이 화면으로부터 벗어났는지를 분석하여 집중도를 분석하는 집중도분석부;를 포함하여 구성된 것을 특징으로 한다.
이때, 상기 얼굴검출부는,
상기 영상수신부를 통해 수신된 영상 중에서 YUV(YCrCb) Color Model에 기반하여 피부검출을 수행하여 후보군을 검출하고, 후보군에서 특징 벡터(Feature vector)를 생성한 후, 얼굴 인식 모델과 비교하여 얼굴을 검출하는 것을 특징으로 한다.
또한, 상기 얼굴방향분석부는,
상기 얼굴검출부를 통해 검출된 얼굴의 특징 벡터(Feature vector) 중, 눈, 코 및 입의 끝부분에 해당하는 특징점(Feature)을 검출하고, 각 특징점 간의 거리를 이용하여 얼굴의 방향을 검출함으로써,
사람마다 화면을 응시하는 방향이 다르고, 카메라의 설치영역이 각기 다른 경우에 대비하여, 얼굴의 대칭정도 분석을 통해 얼굴이 화면을 응시할 때 향하는 방향의 기준을 결정하는 것을 특징으로 한다.
또한, 얼굴크기분석부는,
상기 얼굴검출부를 통해 검출된 얼굴의 특징 벡터를 기반하여 얼굴요소(Element)의 사이즈를 분석하되,
아래 <계산식 1>의 계산으로 화면길이(Sc)를 산출하는 것을 특징으로 한다.
<계산식 1>
Figure 112020123343552-pat00001
이때, Hx는 카메라의 전체 가로 해상도(Pixel)로서 데이터베이스에 기저장되어 있을 수 있다. 또한, Ex는 학습자의 눈 가로 크기(Pixel)이고, Avr(Ec) 일반 사람의 평균 눈 크기(Cm)이며, Sc는 화면의 길이(Cm)를 의미함.
또한, 상기 얼굴크기분석부는,
산출된 화면길이(Sc)를 기반으로, 얼굴에서부터 화면까지 떨어진 거리정보인 D를 <계산식 2>에 기반하여 산출하는 것을 특징으로 한다.
<계산식 2>
Figure 112020123343552-pat00002
또한, 상기 집중도분석부는,
산출된 거리정보(D)를 이용하여 학습자의 얼굴이 화면을 응시하고 있는지 분석하되,
화면을 응시하고 있는지 분석은,
<계산식 3>을 통해 화면을 기준으로 학습자의 얼굴이 틀어진 각도(A)를 산출하는 것을 특징으로 한다.
<계산식 3>
Figure 112020123343552-pat00003
또한, 상기 집중도분석부는,
상기 각도(A)가 소정의 범위 내에 있는 경우 화면에 집중하고 있는 것으로 분석하는 것을 특징으로 한다.
본 발명에 따른 원격지 학습자의 집중도를 분석하는 시스템에 의하면, 카메라모듈을 통해 촬영된 영상매체를 이용하여, 학습자의 얼굴을 검출하고, 검출된 얼굴을 기반하여 얼굴방향을 분석하고, 얼굴이 화면을 향하고 있는지 분석함으로써, 학습자가 실제로 화면을 응시하고 있는지 분석하여, 원격지에 존재하는 학습자의 학습 집중도를 분석할 수 있어서, 원격지에서 원격학습을 시청하는 학습자의 집중여부를 확인할 수 있게 되는 효과를 가진다.
나아가서는, 분석된 정보를 기반으로 학습자의 학습유형(버릇, 행동 등)을 판단하여 더 맞춤화된 학습을 제공할 수 있는 장점을 가지게 된다.
도 1은 본 발명에 따른 원격지 학습자의 집중도를 분석하는 시스템을 블록도로 나타낸 것이다.
도 2는 본 발명에 따른 원격지 학습자의 집중도를 분석하는 시스템 중 얼굴검출부의 기능을 나타낸 것이고, 도 3은 얼굴방향분석부의 기능을 나타낸 것이며, 도 4는 얼굴크기분석부의 기능을 나타낸 것이다.
본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 안되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다.
이하, 도면을 참조하여 설명하기에 앞서, 본 발명의 요지를 드러내기 위해서 필요하지 않은 사항 즉 통상의 지식을 가진 당업자가 자명하게 부가할 수 있는 공지 구성에 대해서는 도시하지 않거나, 구체적으로 기술하지 않았음을 밝혀둔다.
본 발명은 원격지 학습자의 집중도를 분석하는 시스템에 관한 것이다.
구체적으로는, 카메라모듈을 통해 촬영된 영상매체를 이용하여, 학습자의 얼굴을 검출하고, 검출된 얼굴을 기반하여 얼굴방향을 분석하고, 얼굴이 화면을 향하고 있는지 분석함으로써, 학습자가 실제로 화면을 응시하고 있는지 분석하여, 원격지에 존재하는 학습자의 학습 집중도를 분석하는, 원격지 학습자의 집중도를 분석하는 시스템에 관한 것이다.
도 1은 본 발명에 따른 원격지 학습자의 집중도를 분석하는 시스템을 블록도로 나타낸 것이다.
첨부된 도면의 도 1에 따른 본 발명을 화면 일측에 물리적으로 결합되어 설치된 카메라모듈과; 상기 카메라모듈로부터 영상을 수신하여 분석을 수행하는 집중도 분석모듈;을 포함한다.
상기 집중도분석모듈은, 상기 카메라모듈로부터 영상을 수신하는 영상수신부와; 상기 영상수신부로부터 수신된 영상 중에서 얼굴을 검출하는 얼굴검출부와; 상기 얼굴검출부를 통해 검출된 얼굴정보를 기반으로 해당 얼굴의 방향을 분석하여 분석의 기준방향을 설정하는 얼굴방향분석부와; 상기 얼굴방향분석부를 통해 분석된 소정의 방향을 가지는 얼굴정보를 대상으로 해당 얼굴의 크기를 분석하는 얼굴크기분석부와; 상기 얼굴크기분석부를 통해 분석된 해당 얼굴의 크기와 화면의 사이즈, 그리고 상기 화면에서부터 얼굴까지의 거리를 기반으로 해당 얼굴이 화면으로부터 벗어났는지를 분석하여 집중도를 분석하는 집중도분석부;를 포함하여 구성된다.
이때, 상기 화면은 노트북 및 데스크탑 등의 화면을 의미할 수 있고, 일예로서 스마트단말기의 화면을 의미할 수도 있다.
또한, 집중도분석모듈은 데이터베이스를 별도로 구비하여 해당 화면의 크기를 미리 저장하도 있도록 할 수 있다.
이러한 집중도분석모듈은 응용프로그램(App) 또는 소프트웨어(S/W) 등 다양하게 해석될 수 있고, 도면에 도시되지 않았지만 카메라모듈 및 집중도분석모듈 외에도 얼굴에서부터 화면까지의 거리를 측정하기 위한 적외선 또는 초음파를 이용하는 거리측정모듈을 더 포함할 수도 있다.
이때, 화면이 스마트단말기의 화면인 경우, 해당 단말기에 구비된 거리측정모듈을 사용하도록 할 수도 있다.
상기 얼굴검출부는, 수신된 영상 중에서 YUV(YCrCb) Color Model에 기반하여 피부검출을 수행하여 후보군을 검출하고, 후보군에서 특징 벡터(Feature vector)를 생성한 후, 얼굴 인식 모델과 비교하여 얼굴을 검출하도록 한다.
즉, 특징 벡터(Feature vector) 간 유사도를 비교하는 방식으로 얼굴을 검출할 수 있는데, 이는 첨부된 도면의 도 2를 참조할 수 있다.
상기 얼굴방향분석부는, 상기 얼굴검출부를 통해 검출된 얼굴의 특징 벡터(Feature vector) 중, 눈, 코 및 입의 끝부분에 해당하는 특징점(Feature)을 검출하고, 각 특징점 간의 거리를 이용하여 얼굴의 방향을 검출한다.
이는 사람마다 화면을 응시하는 방향이 다를 수 있고, 카메라의 설치 영역에 따라서도 화면 응시의 방향이 다를 수 있으므로, 첨부된 도면의 도 3과 같이 눈, 코 및 입의 끝부분을 기준으로 대칭정도를 분석하여 얼굴이 화면을 응시할 때 향하는 방향의 기준을 결정한다.
상기 얼굴크기분석부는, 상기 얼굴검출부를 통해 검출된 얼굴의 특징 벡터를 기반하여 얼굴요소(Element)의 사이즈를 분석할 수 있는데, 눈, 코 및 입에 따른 사이즈는 픽셀에 기반한다.
또한, 첨부된 도면의 도 4와 같이 눈 크기에 기반하여 학습자의 눈 가로 크기(Ex)를 가지고 <계산식 1>의 계산으로 화면길이(Sc)를 산출하도록 할 수 있다.
<계산식 1>
Figure 112020123343552-pat00004
이때, Hx는 카메라의 전체 가로 해상도(Pixel)로서 데이터베이스에 기저장되어 있을 수 있다. 또한, Ex는 학습자의 눈 가로 크기(Pixel)이고, Avr(Ec) 일반 사람의 평균 눈 크기(Cm)이며, Sc는 화면의 길이(Cm)를 의미한다.
이때, 화면길이의 정의는 화면으로부터 송출되는 영상이 가지는 최대의 범위 중, 가로길이를 의미한다.
카메라의 전체 가로 해상도 : Hx (Pixel)
눈 가로 크기 Pixel : Ex (Pixel)
일반사람의 평균 눈 크기 : Avr(Ec) (Cm)
화면 길이 : Sc (Cm)
이렇게 화면 길이인 Sc가 산출되면, 산출된 화면 길이에 기반으로 얼굴에서부터 화면까지 떨어진 거리정보인 D를 <계산식 2>를 가지고 산출할 수 있다.
Figure 112020123343552-pat00005
<계산식 2>
Figure 112020123343552-pat00006
이렇게 산출된 거리정보(D)를 이용하면 해당 학습자의 얼굴이 화면을 응시하고 있는지 분석할 수 있는데, 이는 집중도분석부에서 수행된다.
이때, 상기 집중도분석부는 학습자의 얼굴이 화면을 응시하는지 혹은 응지하지 않는지의 여부를 분석하는 것은, 위에서 산출된 거리정보(D)를 기반으로 학습자의 얼굴이 틀어진 방향의 각도범위내에 있는지 여부를 분석하는 것이다.
즉, 아래의 <계산식 3>을 이용하여 학습자의 얼굴이 틀어진 각도를 산출한다.
<계산식 3>
Figure 112020123343552-pat00007
Figure 112020123343552-pat00008
이렇게 분석된 학습자의 얼굴이 틀어진 각도(A)가 산출되면 상기 얼굴방향분석부를 통해 분석된 기준방향을 기준으로 얼마만큼 틀어졌는지 산출되고, 이러한 각도(A)를 기준으로 [표 3]과 같이 일정각도 내에 포함된다면 학습자가 화면을 응시하고 있어서 집중하고 있는 것으로 분석하고, 포함되지 않는다면 학습자가 화면을 미응시하고 있어서 비집중하고 있는 것으로 분석한다.
Figure 112020123343552-pat00009
따라서, 원격지에서 원격학습을 시청하는 학습자의 집중여부를 확인할 수 있게 되고, 나아가서는, 분석된 정보를 기반으로 학습자의 학습유형(버릇, 행동 등)을 판단하여 더 맞춤화된 학습을 제공할 수 있는 장점을 가지게 된다.
상기에서 첨부된 도면을 이용하여 서술한 것은, 본 발명의 주요 사항만을 서술한 것으로, 그 기술적 범위 내에서 다양한 설계가 가능한 만큼, 본 발명의 첨부된 도면의 구성에 한정되는 것이 아님은 자명하다.

Claims (7)

  1. 카메라모듈과; 상기 카메라모듈로부터 영상을 수신하여 분석을 수행하는 집중도 분석모듈;을 포함하는 원격지 학습자의 집중도를 분석하는 시스템에 있어서,
    상기 집중도분석모듈은,
    상기 카메라모듈로부터 영상을 수신하는 영상수신부와;
    상기 영상수신부로부터 수신된 영상 중에서 얼굴을 검출하는 얼굴검출부와;
    상기 얼굴검출부를 통해 검출된 얼굴정보를 기반으로 해당 얼굴의 방향을 분석하여 분석의 기준방향을 설정하는 얼굴방향분석부와;
    상기 얼굴방향분석부를 통해 분석된 소정의 방향을 가지는 얼굴정보를 대상으로 해당 얼굴의 크기를 분석하는 얼굴크기분석부와;
    상기 얼굴크기분석부를 통해 분석된 해당 얼굴의 크기와 화면의 사이즈, 그리고 상기 화면에서부터 얼굴까지의 거리를 기반으로 해당 얼굴이 화면으로부터 벗어났는지를 분석하여 집중도를 분석하는 집중도분석부;를 포함하여 구성되되,
    상기 얼굴검출부는,
    상기 영상수신부를 통해 수신된 영상 중에서 YUV(YCrCb) Color Model에 기반하여 피부검출을 수행하여 후보군을 검출하고, 후보군에서 특징 벡터(Feature vector)를 생성한 후, 얼굴 인식 모델과 비교하여 얼굴을 검출하고,
    상기 얼굴방향분석부는,
    상기 얼굴검출부를 통해 검출된 얼굴의 특징 벡터(Feature vector) 중, 눈, 코 및 입의 끝부분에 해당하는 특징점(Feature)을 검출하고, 각 특징점 간의 거리를 이용하여 얼굴의 방향을 검출함으로써,
    사람마다 화면을 응시하는 방향이 다르고, 카메라의 설치영역이 각기 다른 경우에 대비하여, 얼굴의 대칭정도 분석을 통해 얼굴이 화면을 응시할 때 향하는 방향의 기준을 결정하여, 사람에 따른 화면의 응시방향과 카메라의 설치영역이 달라도 원격지 학습자가 화면을 응시하고 있는지 여부를 판단할 수 있는 것을 특징으로 하는, 원격지 학습자의 집중도를 분석하는 시스템.
  2. 삭제
  3. 삭제
  4. 청구항 1에 있어서,
    얼굴크기분석부는,
    상기 얼굴검출부를 통해 검출된 얼굴의 특징 벡터를 기반하여 얼굴요소(Element)의 사이즈를 분석하되,
    아래 <계산식 1>의 계산으로 화면길이(Sc)를 산출하는 것을 특징으로 하는, 원격지 학습자의 집중도를 분석하는 시스템.
    <계산식 1>
    Figure 112021016170237-pat00010

    이때, Hx는 카메라의 전체 가로 해상도(Pixel)로서 데이터베이스에 기저장되어 있을 수 있다. 또한, Ex는 학습자의 눈 가로 크기(Pixel)이고, Avr(Ec) 일반 사람의 평균 눈 크기(Cm)이며, Sc는 화면의 길이(Cm)를 의미함.
  5. 청구항 4에 있어서,
    상기 얼굴크기분석부는,
    산출된 화면길이(Sc)를 기반으로, 얼굴에서부터 화면까지 떨어진 거리정보인 D를 <계산식 2>에 기반하여 산출하는 것을 특징으로 하는, 원격지 학습자의 집중도를 분석하는 시스템.
    <계산식 2>
    Figure 112020123343552-pat00011

  6. 청구항 5에 있어서,
    집중도분석부는,
    산출된 거리정보(D)를 이용하여 학습자의 얼굴이 화면을 응시하고 있는지 분석하되,
    화면을 응시하고 있는지 분석은,
    <계산식 3>을 통해 화면을 기준으로 학습자의 얼굴이 틀어진 각도(A)를 산출하는 것을 특징으로 하는, 원격지 학습자의 집중도를 분석하는 시스템.
    <계산식 3>
    Figure 112020123343552-pat00012

  7. 청구항 6에 있어서,
    상기 집중도분석부는,
    상기 각도(A)가 소정의 범위 내에 있는 경우 화면에 집중하고 있는 것으로 분석하는 것을 특징으로 하는, 원격지 학습자의 집중도를 분석하는 시스템.
KR1020200154043A 2020-11-17 2020-11-17 원격지 학습자의 집중도를 분석하는 시스템 KR102245319B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200154043A KR102245319B1 (ko) 2020-11-17 2020-11-17 원격지 학습자의 집중도를 분석하는 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200154043A KR102245319B1 (ko) 2020-11-17 2020-11-17 원격지 학습자의 집중도를 분석하는 시스템

Publications (1)

Publication Number Publication Date
KR102245319B1 true KR102245319B1 (ko) 2021-04-28

Family

ID=75720845

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200154043A KR102245319B1 (ko) 2020-11-17 2020-11-17 원격지 학습자의 집중도를 분석하는 시스템

Country Status (1)

Country Link
KR (1) KR102245319B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230111797A (ko) * 2022-01-19 2023-07-26 한상우 온라인 교습 서비스 제공 장치를 이용한 온라인 교습 서비스 제공 방법
CN116543446A (zh) * 2023-05-11 2023-08-04 浙江优图教育科技有限公司 一种基于ai技术的线上学习专注度识别分析方法

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100016696A (ko) 2008-08-05 2010-02-16 주식회사 리얼맨토스 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스스케줄링방법
KR20130131572A (ko) * 2012-05-24 2013-12-04 주식회사 코어셀 시청자 요소정보 생성 및 분석방법과 그 센서장치
KR20160139221A (ko) 2015-05-27 2016-12-07 노성렬 집중도 평가시스템
KR101887626B1 (ko) 2018-02-12 2018-08-10 (주)포세듀 안면 데이터 기반 집중도 분석 시스템 및 그 방법
KR20190056520A (ko) 2017-11-17 2019-05-27 전자부품연구원 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법
KR20190063690A (ko) * 2017-11-30 2019-06-10 주식회사 꿀비 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100016696A (ko) 2008-08-05 2010-02-16 주식회사 리얼맨토스 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스스케줄링방법
KR20130131572A (ko) * 2012-05-24 2013-12-04 주식회사 코어셀 시청자 요소정보 생성 및 분석방법과 그 센서장치
KR20160139221A (ko) 2015-05-27 2016-12-07 노성렬 집중도 평가시스템
KR20190056520A (ko) 2017-11-17 2019-05-27 전자부품연구원 얼굴 표정 인식 기술을 이용한 전방 집중도 분석 방법
KR20190063690A (ko) * 2017-11-30 2019-06-10 주식회사 꿀비 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템
KR101887626B1 (ko) 2018-02-12 2018-08-10 (주)포세듀 안면 데이터 기반 집중도 분석 시스템 및 그 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230111797A (ko) * 2022-01-19 2023-07-26 한상우 온라인 교습 서비스 제공 장치를 이용한 온라인 교습 서비스 제공 방법
KR102565542B1 (ko) * 2022-01-19 2023-08-11 한상우 온라인 교습 서비스 제공 장치를 이용한 온라인 교습 서비스 제공 방법
CN116543446A (zh) * 2023-05-11 2023-08-04 浙江优图教育科技有限公司 一种基于ai技术的线上学习专注度识别分析方法
CN116543446B (zh) * 2023-05-11 2023-09-29 浙江优图教育科技有限公司 一种基于ai技术的线上学习专注度识别分析方法

Similar Documents

Publication Publication Date Title
CN109685007B (zh) 用眼习惯的预警方法、用户设备、存储介质及装置
CN111652189A (zh) 一种智能化教学的学生管理系统
KR102245319B1 (ko) 원격지 학습자의 집중도를 분석하는 시스템
US10037708B2 (en) Method and system for analyzing exam-taking behavior and improving exam-taking skills
KR20100016696A (ko) 가상강의의 학습상태 분석시스템 및 이를 이용한 학습코스스케줄링방법
CN115205764B (zh) 基于机器视觉的在线学习专注度监测方法、系统及介质
Wang et al. Automated student engagement monitoring and evaluation during learning in the wild
CN111444789A (zh) 一种基于视频感应技术的近视预防方法及其系统
WO2023041940A1 (en) Gaze-based behavioural monitoring system
Pise et al. Estimation of learning affects experienced by learners: an approach using relational reasoning and adaptive mapping
TWM562459U (zh) 用於互動式線上教學的即時監控系統
Yi et al. Real time learning evaluation based on gaze tracking
CN116994465A (zh) 一种基于互联网的智能教学方法、系统及存储介质
US20230360548A1 (en) Assist system, assist method, and assist program
Rao et al. Teacher assistance system to detect distracted students in online classroom environment
Bennett et al. Looking at faces: autonomous perspective invariant facial gaze analysis
Ito et al. Detecting Concentration of Students Using Kinect in E-learning
Manousos et al. Contactless detection of facial signs related to stress: A preliminary study
US20230210364A1 (en) Eye tracking system, eye tracking method, and eye tracking program
Santoso et al. Development of an online exam security system using ensemble method
Swathi et al. Student Engagement Prediction in an E-Learning Platform
Sakthivel et al. Virtual Teaching Activity Monitor
KR102577559B1 (ko) 온라인 학습 집중도 측정 장치 및 방법
KR102591040B1 (ko) 딥러닝 기반 비대면 실시간 학습 관리 시스템
CN116996722B (zh) 一种5g网络环境下虚拟同步课堂教学系统及其工作方法

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant