KR102011887B1 - 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템 - Google Patents
동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템 Download PDFInfo
- Publication number
- KR102011887B1 KR102011887B1 KR1020170162654A KR20170162654A KR102011887B1 KR 102011887 B1 KR102011887 B1 KR 102011887B1 KR 1020170162654 A KR1020170162654 A KR 1020170162654A KR 20170162654 A KR20170162654 A KR 20170162654A KR 102011887 B1 KR102011887 B1 KR 102011887B1
- Authority
- KR
- South Korea
- Prior art keywords
- pupil
- learner
- student
- terminal
- screen
- Prior art date
Links
- 210000001747 pupil Anatomy 0.000 claims abstract description 156
- 210000001508 eye Anatomy 0.000 claims description 47
- 238000000034 method Methods 0.000 claims description 45
- 241000287181 Sturnus vulgaris Species 0.000 claims description 13
- 238000012545 processing Methods 0.000 claims description 7
- 238000012795 verification Methods 0.000 claims description 7
- 230000008569 process Effects 0.000 claims description 6
- 238000012937 correction Methods 0.000 claims description 4
- 238000010586 diagram Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 9
- 230000006870 function Effects 0.000 description 8
- 210000000746 body region Anatomy 0.000 description 7
- 238000004364 calculation method Methods 0.000 description 7
- 239000012141 concentrate Substances 0.000 description 7
- 238000012360 testing method Methods 0.000 description 5
- 230000005540 biological transmission Effects 0.000 description 3
- 238000003672 processing method Methods 0.000 description 3
- 241000282472 Canis lupus familiaris Species 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000013459 approach Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 210000004709 eyebrow Anatomy 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 239000002184 metal Substances 0.000 description 1
- 210000004080 milk Anatomy 0.000 description 1
- 239000008267 milk Substances 0.000 description 1
- 235000013336 milk Nutrition 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 210000000214 mouth Anatomy 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000036316 preload Effects 0.000 description 1
- 238000005728 strengthening Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/20—Education
- G06Q50/205—Education administration or guidance
-
- G06K9/00221—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
- G06V40/16—Human faces, e.g. facial parts, sketches or expressions
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
-
- H04N5/2257—
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Educational Administration (AREA)
- Educational Technology (AREA)
- Strategic Management (AREA)
- Tourism & Hospitality (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Health & Medical Sciences (AREA)
- Health & Medical Sciences (AREA)
- General Physics & Mathematics (AREA)
- General Business, Economics & Management (AREA)
- Primary Health Care (AREA)
- Economics (AREA)
- Marketing (AREA)
- Human Resources & Organizations (AREA)
- Multimedia (AREA)
- Oral & Maxillofacial Surgery (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Abstract
본 발명은 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템에 관한 것으로서, 더욱 상세하게는 수강자가 온라인 강의 수강 시, 동공 추적을 이용하여 수강자가 온라인 강의 화면을 응시하고 있는지 분석함으로써, 수강자가 온라인 강의를 집중해서 수강하고 있는지 감독할 수 있는 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템 및 그 방법과 이를 구현하기 위한 프로그램이 저장된 기록매체에 관한 것이다.
Description
본 발명은 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템에 관한 것으로서, 더욱 상세하게는 수강자가 온라인 강의 수강 시, 동공 추적을 이용하여 수강자가 온라인 강의 화면을 응시하고 있는지 분석함으로써, 수강자가 온라인 강의를 집중해서 수강하고 있는지 감독할 수 있는 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템 및 그 방법과 이를 구현하기 위한 프로그램이 저장된 기록매체에 관한 것이다.
이러닝(e-Learning)은 컴퓨터 기반 학습과, 인터넷상의 각종 유료학습 사이트와 같은 웹 기반학습, 가상학습을 포함하는 온라인 학습의 총칭으로서 네트워크를 중심으로 학습내용을 전달하고 학습자와 상호작용하여 학습을 촉진시키는 일련의 과정으로 정의된다.
온라인 학습은 전통적인 면대면 학습상황과는 다르게 언제 어디서 누구나 수준별 맞춤형으로 학습할 수 있다는 장점을 제공할 수 있는데, 효과적인 온라인 학습을 위해서는 학습자가 스스로 학습에 몰입할 수 있는 환경이 매우 중요하다.
그런데 현재 대부분의 온라인 학습사이트는 학습자의 학습태도와 무관하게 일방적으로 강의를 전달하는 방식으로 진행되어 학습효과가 떨어지는 문제점이 있다.
일 예로, 한국공개특허공보 제10-2011-0107454호(2011. 10. 04 공개)의 "학습 몰입 강화를 위한 온라인 학습 시스템 및 방법" 종래 기술은 수강자가 어떤 액션을 취할 때 긴장감을 부여하기 위해 자극 요소를 음향적 또는 시각적으로 제공하여 수강자가 보다 효율적으로 온라인 학습에 집중할 수 있도록 하는 것에 특징이 있다.
그러나 상기 종래 기술은 단순히 수강자에게 압박 요소만 가하는 것으로서 수강 내용에 따른 시험이나 평가를 진행할 때 비효율적이고, 수강자가 그 압박에 의해서 좋은 시험 결과나 평가를 얻을 수 없다는 부작용이 있다.
또한, 오프라인 강의에서는 교사가 학생들의 학습태도를 보면서 학생들이 학습에 집중하지 않으면 학생들이 좋아하는 이야기나 여담을 통해 집중을 유도한 후 학습을 재개하는 피드백이 가능하나, 온라인 학습의 경우 학습자의 학습태도를 모니터링 하는 수단이 없어 학업 성취도가 저하되는 문제점이 있다.
특히, 해당 온라인 강의나 회의를 본인이 직접 수강해야 함에도 불구하고 타인이 하는 경우가 빈번한데 종래 기술에는 이에 대한 효과적인 장치가 없다는 문제점이 있다.
따라서, 본 발명은 상기한 바와 같은 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은 수강자가 온라인 강의 수강 시, 동공 추적을 이용하여 수강자가 온라인 강의 화면을 응시하고 있는지 분석함으로써, 수강자가 온라인 강의를 집중해서 수강하고 있는지 감독할 수 있는 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템 및 그 방법과 이를 구현하기 위한 프로그램이 저장된 기록매체를 제공하는 것이다.
본 발명의 실시예들의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기한 바와 같은 목적을 달성하기 위한 본 발명의 일 실시예에 따른 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템은, 수강자가 온라인 강의를 수강하기 위한 수강자 단말기(110); 상기 수강자 단말기(110)에 부착되거나 스마트 기기에 구비되어 해당 수강자의 정면을 촬영하기 위한 카메라(120); 상기 카메라(120)로부터 수강자를 촬영한 영상정보(410)를 프레임 단위로 전달받고, 동공 추적을 통해 상기 수강자의 온라인 강의 수강태도를 감독하는 수강태도 감독 서버(100); 및 상기 수강태도 감독 서버(100)에서 수강자가 상기 수강자 단말기(110)의 화면을 응시하고 있지 않은 경우로 판정하는 경우, 관리자에게 이를 알려주기 위한 관리자 단말기(130); 를 포함하고, 상기 수강태도 감독 서버(100)는, 수강자가 촬영된 프레임 단위의 영상정보(410)에서 수강자의 얼굴영역을 인식하는 사각형 영역(420)을 정의하는 것을 특징으로 한다.
또한, 상기 수강태도 감독 서버(100)는 상기 사각형 영역(420)과 수강자 정보 데이터베이스(140)에 기록된 수강자 사진을 비교하는 본인확인 단계를 수행하는 것을 특징으로 한다.
또, 상기 수강태도 감독 서버(100)는 상기 사각형 영역(420)을 기준으로 한 좌표시스템에서 양쪽 눈의 형상과 명암을 영상 처리하여 양쪽 눈의 동공 좌표를 설정하는 것을 특징으로 한다.
또한, 상기 수강태도 감독 서버(100)는 수강자 단말기(110) 화면의 각 모서리에 눈동자 응시점(111)을 생성하고, 수강자가 상기 눈동자 응시점(111)을 응시할 때 양쪽 눈의 동공 좌표를 이용하여 상기 수강자 단말기(110) 화면의 크기를 산정하는 것을 특징으로 한다.
또, 상기 눈동자 응시점(111)은 한글, 알파벳, 숫자, 키보드의 특수기호에서 선택되는 어느 하나 또는 복수의 정보값으로 나타낼 수 있으며, 상기 수강자 단말기(110)의 화면 크기를 산정할 때 수강자가 상기 정보값을 응시하여 확인한 후 상기 정보값을 상기 수강자 단말기(110)에 입력하는 것을 특징으로 한다.
또한, 상기 수강태도 감독 서버(100)는 수강자가 상기 눈동자 응시점(111)을 응시할 때 수강자의 얼굴영역의 크기를 저장하고, 상기 저장된 얼굴영역의 크기와 실시간으로 촬영되는 얼굴영역의 크기를 비교하여 그 차이에 따라 상기 수강자의 동공 좌표를 수정하는 것을 특징으로 한다.
또, 상기 수강태도 감독 서버(100)는 수강자의 동공 좌표가 수강자 단말기(110) 화면 밖 영역에서 측정되는 경우, 이를 상기 관리자 단말기(130)로 알려주는 것을 특징으로 한다.
아울러, 본 발명의 일 실시예에 따른 동공 추적을 이용한 온라인 강의의 수강태도 감독 방법은, 수강자가 촬영된 프레임 단위의 영상정보(410)에서 수강자의 얼굴영역을 인식하는 사각형 영역(420)을 정의하는 단계; 수강자 본인확인 단계; 수강자 단말기(110) 화면의 크기를 산정하는 단계; 수강자의 얼굴과 카메라(120) 사이의 거리에 따라 상기 수강자의 동공 좌표를 수정하는 단계; 상기 수강자가 상기 수강자 단말기(110) 화면을 응시하고 있는지 감독하는 단계;를 포함하는 것을 특징으로 한다.
또한, 본 발명의 일 실시예에 따르면, 상기 동공 추적을 이용한 온라인 강의의 수강태도 감독 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체가 제공되는 것을 특징으로 한다.
본 발명의 일 실시예에 따른 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템 및 방법에 의하면, 수강자의 응시지점을 확인하여 수강자가 온라인 강의 화면을 정상적으로 응시하고 있는지 확인할 수 있다.
또한, 수강자가 온라인 강의 화면을 응시하지 않을 경우, 온라인 강의의 재생이 일시 중지되고 온라인 강의 화면을 응시하여야 온라인 강의가 다시 재생되어, 수강자가 반드시 온라인 강의에 집중하여야 수강을 완료할 수 있도록 할 수 있다.
또, 수강자의 온라인 강의 화면 응시시간을 측정하여 응시시간이 일정 기준시간 미만일 경우, 다음 학습이 제한되도록 하여 수강자가 단계적으로 학습하도록 할 수 있다.
또한, 영상 정보를 이용하여 온라인 강의를 수강하려는 사람이 수강 등록된 수강자인지 확인할 수 있으며, 수강 등록되지 않은 사람의 온라인 수강을 제한할 수 있다.
또, 수강자가 온라인 강의 재생 전 본인확인 절차를 수행한 후, 온라인 강의 수강 중에도 영상 정보를 통해 주기적으로 본인확인 절차를 수행하여 온라인 강의 진행 중에 수강자가 바뀌는 것을 방지할 수 있다.
또한, 관리자는 관리자 단말기를 통해 수강자가 본인이 맞는지, 수강자가 온라인 강의 화면을 응시하고 있는지를 확인할 수 있다.
도 1은 본 발명에 따른 온라인 강의의 수강태도 감독 시스템을 포함하는 온라인 강의 시스템의 일 실시예 구성도.
도 2는 본 발명의 일 실시예에 따른 온라인 강의의 수강태도 감독 방법이 적용된 수강자의 온라인 강의 수강 방법에 대한 설명도.
도 3은 본 발명의 일 실시예에 따른 영상 처리 방법에 대한 설명도.
도 4는 본 발명의 일 실시예에 따른 동공 좌표 획득 방법에 대한 설명도.
도 5는 본 발명의 일 실시예에 따른 눈동자 응시점을 이용한 모니터 크기 산정 방법에 대한 설명도.
도 6은 본 발명의 일 실시예에 따른 수강자의 얼굴과 카메라 사이의 거리에 따라 동공 좌표를 수정하는 방법에 대한 설명도.
도 7은 본 발명의 일 실시예에 따른 동공 추적을 이용한 온라인 강의의 수강태도 감독 방법에 대한 설명도.
도 8은 본 발명의 일 실시예에 따른 동공 추적을 이용한 온라인 강의 수강 방법에 대한 설명도.
도 9는 본 발명의 일 실시예에 따른 동공 추적을 이용한 온라인 강의의 수강태도 감독 방법의 흐름도.
도 2는 본 발명의 일 실시예에 따른 온라인 강의의 수강태도 감독 방법이 적용된 수강자의 온라인 강의 수강 방법에 대한 설명도.
도 3은 본 발명의 일 실시예에 따른 영상 처리 방법에 대한 설명도.
도 4는 본 발명의 일 실시예에 따른 동공 좌표 획득 방법에 대한 설명도.
도 5는 본 발명의 일 실시예에 따른 눈동자 응시점을 이용한 모니터 크기 산정 방법에 대한 설명도.
도 6은 본 발명의 일 실시예에 따른 수강자의 얼굴과 카메라 사이의 거리에 따라 동공 좌표를 수정하는 방법에 대한 설명도.
도 7은 본 발명의 일 실시예에 따른 동공 추적을 이용한 온라인 강의의 수강태도 감독 방법에 대한 설명도.
도 8은 본 발명의 일 실시예에 따른 동공 추적을 이용한 온라인 강의 수강 방법에 대한 설명도.
도 9는 본 발명의 일 실시예에 따른 동공 추적을 이용한 온라인 강의의 수강태도 감독 방법의 흐름도.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다.
반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 공정, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미가 있는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 본 발명을 더욱 상세하게 설명한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정하여 해석되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여, 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
또한, 사용되는 기술 용어 및 과학 용어에 있어서 다른 정의가 없다면, 이 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 통상적으로 이해하고 있는 의미를 가지며, 하기의 설명 및 첨부 도면에서 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 설명은 생략한다.
다음에 소개되는 도면들은 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 예로서 제공되는 것이다. 따라서, 본 발명은 이하 제시되는 도면들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 또한, 명세서 전반에 걸쳐서 동일한 참조번호들은 동일한 구성요소들을 나타낸다. 도면들 중 동일한 구성 요소들은 가능한 한 어느 곳에서든지 동일한 부호들로 나타내고 있음에 유의해야 한다.
도 1은 본 발명에 따른 온라인 강의의 수강태도 감독 시스템을 포함하는 온라인 강의 시스템의 일 실시예 구성도이다.
도 1을 참조하면, 본 발명이 적용되는 온라인 강의의 수강태도 감독 시스템은, 수강자가 온라인 강의를 수강하기 위한 수강자 단말기(110), 상기 수강자 단말기(110)에 부착되거나 스마트 기기에 구비되어 해당 수강자의 정면을 촬영하기 위한 카메라(120), 상기 카메라(120)로부터 수강자를 촬영한 영상정보(410)를 프레임 단위로 전달받고, 동공 추적을 통해 상기 수강자의 온라인 강의 수강태도를 감독하는 수강태도 감독 서버(100), 상기 수강태도 감독 서버(100)에서 수강자가 상기 수강자 단말기(110)의 화면을 응시하고 있지 않은 경우로 판정하는 경우, 관리자에게 이를 알려주기 위한 관리자 단말기(130), 수강자의 사진 및 개인정보가 저장되어 있는 수강자 정보 데이터베이스(140) 및 수강자에게 온라인 강의를 제공하기 위한 온라인 강의 서버(150)를 포함한다.
수강태도 감독 서버(100)는, 상기 영상정보를 통신망을 통해 수신하고, 수강자 외의 인물이 온라인 강의를 수강하려고 시도하거나, 수강자가 수강자 단말기의 화면을 응시하고 있지 않은 경우로 판정하는 경우, 관리자에게 알림 메시지를 송신하고, 이를 온라인 강의 서버(150)에 알려주어 온라인 강의의 재생을 중지하도록 하기 위한 송수신부(101), 상기 송수신부(101)를 통해 수신한 수강자의 영상정보 및 좌표 정보들을 저장하기 위한 저장부(102), 상기 수신한 수강자의 영상정보로부터 얼굴 영역을 포함하는 사각형 영역을 정의하기 위한 얼굴 인식부(103), 상기 사각형 영역(420)과 수강자 정보 데이터베이스(140)에 기록된 수강자 사진을 비교하여 본인확인 절차를 수행하는 본인 확인부(104), 상기 사각형 영역을 기준으로 한 좌표시스템에서 양쪽 눈의 형상과 명암을 영상 처리하여 양쪽 눈의 동공 좌표를 설정하는 동공 좌표 획득부(105), 수강자 단말기(110) 화면의 각 모서리에 눈동자 응시점(111)을 생성하고, 수강자가 상기 눈동자 응시점(111)을 응시할 때 양쪽 눈의 동공 좌표를 이용하여 상기 수강자 단말기(110) 화면의 크기를 산정하는 화면 크기 산정부(106), 수강자가 상기 눈동자 응시점(111)을 응시할 때 수강자의 얼굴영역의 크기를 저장하고, 상기 저장된 얼굴영역의 크기와 실시간으로 촬영되는 얼굴영역의 크기를 비교하여 그 차이에 따라 상기 수강자의 동공 좌표를 수정하는 동공 좌표 수정부(107), 상기 화면 크기 산정부(106)으로부터 전달받은 수강자 단말기의 화면 크기값과 실시간 동공 좌표 평균값을 비교하여 상기 수강자 단말기의 화면 크기값을 기준으로 상기 실시간 동공 좌표 평균값이 기 설정된 오차 범위를 벗어나는지 여부를 판단하기 위한 화면 응시 판단부(108) 등을 포함한다.
본 발명에서 설명하고 있는 얼굴 영역을 포함하는 사각형 영역은 논문 "Robust Real-Time Face Detection Using Face Certainty Map" (Volume 4642 of the series Lecture Notes in Computer Science pp. 29-38)에 개시된 내용에 근거하여 정의하였다.
상기 송수신부(101), 상기 저장부(102), 상기 얼굴 인식부(103), 상기 본인 확인부(104), 상기 동공 좌표 획득부(105), 상기 화면 크기 산정부(106), 상기 동공 좌표 수정부(107), 상기 화면 응시 판단부(108)는 그 중 적어도 일부가 수강태도 감독 서버(100)와 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태도 수강태도 감독 서버(100)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한 이러한 프로그램 모듈들은 수강태도 감독 서버(100)와 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
여기서, 통신 네트워크는 유선 및 무선 등과 같은 그 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 발명에서 말하는 통신 네트워크는 공지의 월드와이드웹(WWW; World Wide Web)일 수 있다.
상기 수강태도 감독 서버(100)는 통신 네트워크를 통하여 수강자 단말기(110) 및 관리자 단말기(130)와 통신하며, 수강자 단말기(110)로/로부터 또는 관리자 단말기(130)로/로부터 수강태도를 감독하는데 필요한 데이터를 전송/수신한다. 상기 수강태도 감독 서버(100)는 온라인 강의 서버의 운영 서버에 포함될 수 있다.
상기 수강자 단말기(110)는 온라인 강의를 수강하기 위해서 수강자가 통신 네트워크를 통해 온라인 강의 서버(150) 및 수강태도 감독 서버(100)에 접속한 후 통신할 수 있도록 하는 기능을 포함하는 디지털 기기로서, 개인용 컴퓨터(예를 들어, 데스크탑 컴퓨터, 노트북 컴퓨터 등), 워크스테이션, PDA, 웹 패드, 이동 전화기 등과 같이 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기라면 얼마든지 본 발명에 따른 수강자 단말기(110)로서 채택될 수 있다.
또한, 온라인 강의를 수강하는 수강자들은 휴대가 가능한 수강자 단말기(110)를 이용하여, 지하철, 버스 등 대중교통에 탑승하여 이동 시에 온라인 강의를 수강할 수 있다. 대중교통에 탑승하여 온라인 강의를 수강하고 있는 수강자는 수강자 단말기(110)를 통해 통신 네트워크로부터 탑승중인 대중교통 이동정보를 제공받을 수 있다.
예를 들어, 온라인 강의 수강 전 자신이 탑승한 대중교통에서 하차하고자 하는 목적지(정류장, 역, 정거장, 터미널 등)를 설정하여 수강자 단말기(110)에 입력할 수 있으며, 설정한 목적지에 도착하기 전의 하차 위치 또는 목적지에 도착하기 5분 전에 수강자 단말기(110)를 통해 하차 알림 메시지를 수신할 수 있다.
상기 하차 알림 메시지 기능은 온라인 강의 재생 프로그램 또는 어플리케이션에 포함된 기능일 수 있으며, 온라인 강의 재생 프로그램 외 별도의 프로그램 또는 어플리케이션 등을 설치하지 않아도 실행되어질 수 있다.
상기 하차 알림 메시지 기능은 수강자가 대중교통에 탑승하여 이동 중에 온라인 강의를 수강할 경우, 하차 안내 방송을 듣지 못하여 자신이 하차하고자 하는 목적지를 지나치는 것을 방지할 수 있으며, 온라인 강의에 더욱 집중할 수 있도록 할 수 있어 바람직하다.
또한, 상기 관리자 단말기(130)는 상기 수강태도 감독 서버(100)로부터 수강자 외의 인물이 온라인 강의를 수강하려고 시도하거나, 수강자가 수강자 단말기의 화면을 응시하고 있지 않은 경우 이에 대한 알림 메시지를 수신하는 관리자의 단말기로서, 수강자 단말기(110)와 마찬가지의 속성을 갖는다.
상기 수강자 정보 데이터베이스(140)는, 온라인 강의를 수강하는 수강자의 사진 및 개인정보가 저장된 데이터베이스로, 온라인 강의의 수강 신청 시 수강자는 본인의 사진 및 개인정보를 수강자 단말기(110) 또는 서지로 작성하여 관리자에게 제공하며, 관리자가 수강 신청을 승인하면 상기 수강자의 사진 및 개인정보가 상기 수강자 정보 데이터베이스(140)에 저장되게 된다.
상기 수강자 정보 데이터베이스(140)는 수강자가 온라인 강의를 재생하기 전에 저장된 수강자 사진을 수강태도 감독 서버(100)에 제공하여, 수강태도 감독 서버(100)가 실시간으로 촬영된 수강자 얼굴 영상정보와 상기 저장된 수강자 사진을 비교하여 수강자 본인 확인 단계를 수행할 수 있도록 한다. 또한, 상기 수강자 정보 데이터베이스(140)는 촬영된 수강자의 영상정보를 저장하고, 수강자의 사진을 업데이트하여 본인확인 단계의 정확도와 진행속도를 높일 수 있다.
상기 온라인 강의 서버(150)는 상기 수강 등록이 되지 않은 인물 또는 상기 수강자 정보 데이터베이스에 등록되어 있지 않은 인물이 온라인 강의를 수강하려 시도할 경우에, 상기 수강태도 감독 서버(100)로부터 수강자 외의 인물의 접근시도가 감지되었음을 알리는 메시지를 받으면, 상기 온라인 강의의 재생을 중지하며, 상기 관리자 단말기(130) 또는 상기 수강태도 감독 서버(100)로부터 온라인 강의를 재생해도 좋다는 메시지를 받은 후에야 온라인 강의를 재시작할 수 있다.
상기 수강자 본인확인 절차는 온라인 강의 재생 전에 반드시 수행되어지는 것이 바람직하며, 온라인 강의 재생 중에도 주기적으로 수행되어지는 것이 더욱 바람직하다.
이를 통해 수강 등록되지 않은 인물이 무단으로 온라인 강의를 수강하거나, 하나의 계정으로 여러 명이 온라인 강의를 수강하는 행위를 방지할 수 있으며, 온라인 강의의 저작권을 효과적으로 보호할 수 있게 된다. 또한, 온라인 강의 도중 제공될 수 있는 온라인 테스트에 대한 대리 시험을 방지할 수 있어 온라인 테스트의 신뢰도 및 공정성을 높일 수 있다.
또한 상기 온라인 강의 서버는(150)는, 수강자가 온라인 강의를 수강 중 수강자 단말기의 화면을 응시하고 있지 않을 시, 상기 수강태도 감독 서버(100)로부터 수강자가 온라인 강의를 응시하고 있지 않다는 알림 메시지를 받으면, 상기 온라인 강의의 재생을 중지하며, 상기 관리자 단말기(130) 또는 상기 수강태도 감독 서버(100)로부터 온라인 강의를 재생해도 좋다는 메시지를 받은 후에야 온라인 강의를 재시작할 수 있다.
이를 통해 수강자가 온라인 강의화면을 응시하지 않고 강의에 집중하지 않을 경우 온라인 강의의 진도가 진행되지 않아, 수강자가 온라인 강의의 수강을 완료하기 위해서는 반드시 온라인 강의의 화면을 응시하고 강의에 집중해야 수강완료가 되도록 할 수 있다. 수강자가 다음 단계 학습을 진행하기 위해서는 반드시 이전 학습을 완벽하게 마친 후 진행될 수 있도록 할 수 있으며, 따라서 수강자가 학습 이해도를 차근차근 상승시키며 단계적 학습이 가능하도록 할 수 있다.
상기 온라인 강의 서버(150)는 온라인 강의를 상기 수강자 단말기(110)에 스트리밍 방식으로 제공하는 것이 바람직하며, 이에 한정하는 것은 아니다.
한편, 상기 카메라(120)가 부착된 상기 수강자 단말기(110) 또는 스마트기기는, 상기 카메라(120)로부터 전달받은 영상 정보를 1차 영상 처리하여, 1차 영상 처리된 영상 정보를 프레임 단위로 상기 수강태도 감독 서버(100)로 전송할 수 있다. 이에 따라, 상기 수강태도 감독 서버(100)의 연산 속도를 빠르게 하고, 시스템 부하를 줄일 수 있다. 상기 1차 영상 처리된 영상 정보는, 그레이 스케일의 영상 데이터, 양쪽 눈의 동공 좌표 및 중간 좌표 등을 포함할 수 있다.
도 2는 본 발명의 일 실시예에 따른 온라인 강의의 수강태도 감독 방법이 적용된 수강자의 온라인 강의 수강 방법에 대한 설명도이다.
도 2를 참고하면, 수강자(200)는 수강자 단말기(110)를 통해 온라인 강의를 수강하고 있다.
수강자 단말기(110)에 부착된 카메라가 없을 경우, 스마트폰에 구비된 카메라(120)를 사용하여 온라인 강의를 수강하는 수강자의(200)의 영상정보를 수강태도 감독 서버(100)로 전송할 수 있다.
이를 위해, 카메라(120)를 구비하는 스마트폰은 상기 수강태도 감독 서버(100)로 수강자를 촬영한 영상정보를 보내기 전, 상기 수강태도 감독 서버(100)로 전송할 영상 정보의 크기 및 전송 주기 등을 제어할 수 있는 어플리케이션을 미리 설치할 수 있다.
수강자 단말기(110)에 부착된 카메라가 있는 경우에도, 수강자 단말기(110)는 상기 수강태도 감독 서버(100)로 전송할 영상 정보의 크기 및 전송 주기 등을 제어할 수 있는 어플리케이션을 미리 설치할 수 있다.
한편, 본 발명이 요구하는 카메라(120)의 성능은, 초당 프레임수는(frame per second) 20~30 fps 정도이고, 해상도는 640*480 정도이다.
한편, 수강자(200)와 카메라(120) 사이의 거리(d)는 45cm ± 5cm 정도를 권장한다. 또한, 화면에 온라인 강의가 출력되는 영역은 가로 190 mm, 세로 95 mm 정도의 크기로 화면의 정중앙에 위치되도록 디스플레이되는 것이 바람직하다.
도 3은 본 발명의 일 실시예에 따른 영상 처리 방법에 대한 설명도이다.
도 3을 참고하면, 수강자가 촬영된 프레임 단위의 영상 정보(410)는 일정 시간 간격으로 수강태도 감독 서버(100)로 전송되며, 컬러 영상으로 촬영된 영상 정보일 경우 그레이 스케일의 영상으로 변환되고, 수강자의 얼굴 영역을 포함하는 사각형 영역(420)이 정의된다.
상기 수강태도 감독 서버(100)는 상기와 같이 정의한 사각형 영역(420)과 상기 수강자 정보 데이터베이스(140)에 저장된 수강자의 사진을 비교하여, 실시간으로 촬영되고 있는 인물이 등록된 수강자인지 확인하는 절차를 수행할 수 있다. 상기 수강자 본인확인 절차는 온라인 강의 재생 전에 수행되며, 온라인 강의 재생 중에도 지속적으로 수행되어지는 것이 바람직하다.
또한 사각형 영역(420)을 기준으로 한 좌표 시스템에서 도 4에서 후술할 방법을 참고하여, 양쪽 눈의 동공 좌표(430)을 획득할 수 있다.
예를 들어, 획득된 왼쪽 동공 좌표는 (57, 64)이고, 오른쪽 동공 좌표는 (123, 66)이다.
한편, 컬러 영상에서 얼굴 영역을 포함하는 사각형 영역(420)을 먼저 정의하고, 얼굴 영역에 대해서만 그레이 스케일로 변환시켜, 동공 좌표를 획득할 수도 있다.
또한, 상기 수강자 단말기(110) 또는 카메라(120)를 구비한 스마트 기기는 상기 수강자가 촬영된 프레임 단위의 영상 정보(410)를 일정 시간 단위(예:0.5초 간격)로 상기 수강태도 감독 서버(100)로 전달할 수 있으며, 0.5초 동안에 촬영된 프레임들(약 10~15개)로부터 얻어지는 동공 좌표값의 평균값을 함께 전달할 수도 있다.
도 4는 본 발명의 일 실시예에 따른 동공 좌표 획득 방법에 대한 설명도이다.
도 4를 참조하면, 카메라(120)로부터 얻은 프레임 단위 영상 정보에서 얼굴 영역의 사각형 영역을 정의한 이후, 사각형 영역을 기준으로 한 좌표시스템에서 양쪽 눈의 형상과 명암을 영상 처리하여 양쪽 눈의 양 끝점(310, 320)을 인식하고 그 사이에 위치한 동공 영역(330, 340)의 중심점(350, 360)을 양쪽 눈의 동공 좌표로 설정한다.
한편, 상기 설명한 방법 이외에도, 다른 여러 가지 영상 처리 방법을 사용하여 양쪽 눈의 동공 좌표를 획득할 수도 있다.
도 5는 본 발명의 일 실시예에 따른 눈동자 응시점을 이용한 모니터 크기 산정 방법에 대한 설명도이다.
도 5를 참고하면, 상기 수강태도 감독 서버(100)는 온라인 강의 재생 전 상기 수강자 단말기(110) 화면의 각 모서리에 눈동자 응시점(111)을 생성하여 수강자 단말기(110)의 화면 크기를 산정 단계를 수행한다. 수강자(200)는 화면의 각 모서리에 생성된 눈동자 응시점(111)을 각각 1 내지 3초 응시하며, 상기 수강태도 감독 서버(100)는 수강자(200)가 각각의 눈동자 응시점을 응시할 때 양쪽 눈의 동공좌표를 측정하고, 이를 이용하여 수강자 단말기(110)의 화면 크기를 산정할 수 있다.
예를 들어, 상기 각 모서리 중에서 좌우의 두 모서리에 생성된 눈동자 응시점(111)에 대한 동공 좌표의 차이 값과, 상하의 두 모서리에 생성된 눈동자 응시점(111)에 대한 동공 좌표의 차이 값으로부터 상기 수강자 단말기(110) 화면의 가로 및 세로의 크기를 산정할 수 있다.
한편, 상기 수강태도 감독 서버(100)는 상기 수강자 단말기(110)의 화면 중 온라인 강의가 출력되는 부분(온라인 강의 재생 창)의 각 모서리에 눈동자 응시점(111)을 생성할 수 있으며, 상기 수강자 단말기(110)의 화면크기를 산정하는 방법과 같은 방법으로 온라인 강의가 출력되는 부분의 가로 및 세로의 크기를 산정할 수 있다.
또한, 상기 눈동자 응시점(111)은 한글, 알파벳, 숫자, 키보드의 특수기호에서 선택되는 어느 하나 또는 복수의 정보값으로 나타낼 수 있으며, 수강자(200)가 수강자 단말기(110) 화면의 각 모서리에 생성된 상기 정보값을 응시하여 확인 한 후 수강자 단말기(110)에 상기 정보값을 정확하게 입력하여야 수강자 단말기(110)의 화면 크기 산정이 완료되도록 할 수 있다. 상기 수강태도 감독 서버(100)는 수강자(200)가 상기 정보값을 응시하여 확인하는 동안 수강자(200)가 정보값을 응시할 때의 동공 좌표를 획득할 수 있으며, 획득한 동공 좌표들을 이용하여 상기 수강자 단말기(110)의 화면 크기를 산정할 수 있다.
상기와 같이 눈동자 응시점(111)을 한글, 알파벳, 숫자, 키보드의 특수기호에서 선택되는 어느 하나 또는 복수의 정보값으로 나타낼 경우 수강자는 상기 정보값을 수강자 단말기(110)에 입력하기 위해서 보다 집중하여 정보값으로 나타내어진 눈동자 응시점(111)을 응시하게 되며, 눈동자 응시점(111)을 단순히 점으로 나타낸 것보다 정확하게 수강자 단말기(110)의 화면 크기를 산정할 수 있다.
상기 정보값은 상기 수강자 단말기(110)의 화면 중 온라인 강의가 출력되는 부분(온라인 강의 재생 창)의 각 모서리에 생성될 수 있으며, 상기에 기재한 눈동자 응시점(111)을 정보값으로 나타내어 수강자 단말기(110)의 화면크기를 산정하는 방법과 같은 방법으로 온라인 강의가 출력되는 부분의 가로 및 세로의 크기를 산정할 수 있다.
수강자(200)가 상기 눈동자 응시점(111)을 응시하여 상기 수강자 단말기(110)의 화면 크기를 산정하는 과정에서, 수강자(200)가 임의로 상기 눈동자 응시점(111) 외의 지점을 응시하거나 한 곳의 눈동자 응시점(111)을 응시할 때 동공좌표가 여러 개 생성될 경우, 각각의 눈동자 응시점(111)을 응시한 후 생성되는 동공좌표로 이루어진 최소 사각형을 수강자 단말기(110)의 화면 크기로 산정할 수 있다. 이는 수강자가 임의로 수강태도 감독 서버(100)가 수강자 단말기(110)의 화면을 실제보다 더 크게 산정하도록 하는 것을 방지하기 위함이다.
도 6은 본 발명의 일 실시예에 따른 수강자의 얼굴과 카메라 사이의 거리에 따라 동공 좌표를 수정하는 방법에 대한 설명도이다.
도 6을 참고하면, 수강자(200)의 얼굴과 카메라(120) 사이의 거리에 따라 측정되는 수강자(200)의 동공좌표가 바뀌게 되며, 상기 수강태도 감독 서버(100)는 수강자(200)의 얼굴과 카메라(120) 사이의 거리에 따라 수강자(200)의 동공좌표를 캘리브레이션할 수 있다.
상기 수강태도 감독 서버(100)가 상기 수강자 단말기(110) 화면의 각 모서리에 상기 눈동자 응시점(111)을 생성하고, 수강자(200)가 상기 눈동자 응시점(111)을 응시하고 있을 때, 상기 수강태도 감독 서버(100)는 촬영되고 있는 상기 수강자(200)의 얼굴 영역 크기를 저장할 수 있다. 상기 수강태도 감독 서버(100)는 저장된 수강자(200)의 얼굴 영역 크기를 기준으로 실시간으로 촬영되는 수강자(200)의 얼굴 영역 크기를 비교하여 수강자(200)와 카메라(120) 사이의 거리를 산정할 수 있으며, 저장된 얼굴 영역의 크기와 실시간으로 촬영되는 얼굴 영역의 크기 비율에 따라 즉각적으로 동공좌표의 캘리브레이션을 수행할 수 있다.
상기 수강자(200)의 얼굴과 카메라(120)의 거리에 따라 수강자(200)의 동공좌표가 실시간으로 캘리브레이션되어 측정되므로, 수강자(200)와 카메라 사이의 거리 변화에 영향을 받지 않으며 수강자(200)가 응시하고 있는 지점을 정확히 감지할 수 있다. 특히, 수강자(200)가 대중교통에 탑승하여 수강자 단말기(110)을 손으로 파지한 채로 온라인 강의를 수강하고 있는 경우, 손의 떨림에 의해서 수강자(200) 얼굴과 카메라(120) 사이의 거리가 변화하여도 실시간으로 동공좌표의 캘리브레이션을 수행할 수 있으므로 정확한 동공 추적이 가능하다.
또한, 상기 수강태도 감독 서버(100)는 수강자(200)가 상기 눈동자 응시점(111)을 응시하고 있을 때, 촬영되고 있는 상기 수강자(200)의 신체부위 영역의 크기를 저장할 수 있다. 상기 수강태도 감독 서버(100)는 저장된 수강자(200)의 신체부위 영역의 크기를 기준으로 실시간으로 촬영되는 수강자(200)의 신체부위의 영역의 크기를 비교하여 수강자(200)와 카메라(120) 사이의 거리를 산정할 수 있으며, 저장된 신체부위 영역의 크기와 실시간으로 촬영되는 신체부위 영역의 크기 비율에 따라 즉각적으로 동공좌표의 캘리브레이션을 수행할 수 있다.
상기 수강태도 감독 서버(100)는 수강자(200)가 상기 눈동자 응시점(111)을 응시하고 있을 때, 촬영되고 있는 상기 수강자(200)의 복수의 신체부위 영역의 크기를 저장할 수 있으며, 저장된 복수의 신체부위 영역의 크기와 실시간으로 촬영되는 복수의 신체부위 영역의 크기를 비교하여 수강자(200)와 카메라(120) 사이의 거리를 산정할 수 있으며, 저장된 복수의 신체부위 영역의 크기와 실시간으로 촬영되는 복수의 신체부위 영역의 크기 비율에 따라 즉각적으로 동공좌표의 캘리브레이션을 수행할 수 있다. 상기와 같이 복수의 신체부위 영역을 저장하여 동공좌표의 캘리브레이션을 수행하는 경우, 여러 영역의 크기를 비교하여 동공좌표의 켈리브레이션을 수행하므로, 신체부위 하나만을 저장하여 동공좌표의 캘리브레이션을 수행하는 경우보다 더욱 정확하게 동공좌표를 캘리브레이션할 수 있어 바람직하다.
상기 신체부위는 촬영되고 있는 수강자의 얼굴을 포함하여 눈, 코, 입, 귀, 목젖, 눈썹 등 실시간으로 촬영되고 있는 영상 정보에 포함되는 수강자의 신체부위이며, 카메라(120) 및 수강태도 감독 서버(100)가 인식하는데 지장이 없는 한에서 다양한 신체부위를 선택할 수 있다.
예를 들어 상기 수강태도 감독 서버(100)는 수강자(200)가 상기 눈동자 응시점(111)을 응시하고 있을 때, 촬영되고 있는 상기 수강자(200)의 눈, 코, 입 중 하나 또는 복수를 선택하여 그 부위에 해당하는 영역의 크기를 저장한 후, 상기 저장된 눈, 코, 입의 크기와 실시간으로 촬영되는 눈, 코, 입의 크기를 비교하여 그 크기 비율에 따라 즉각적으로 동공좌표의 캘리브레이션을 수행할 수 있다. 이 때, 눈, 코, 입 중 한 부위만을 저장하여 동공좌표의 캘리브레이션을 수행하는 것보다, 눈, 코, 입의 크기를 모두 저장하여 실시간으로 촬영된 크기정보와 각각을 모두 비교하여 동공좌표의 캘리브레이션을 수행할 경우, 더욱 정확한 캘리브레이션이 가능하며 수강자와 카메라 사이의 거리에 의한 동공좌표의 오차를 최소화할 수 있어 바람직하다.
상기 수강태도 감독 서버(100)는 수강자(200)가 상기 눈동자 응시점(111)을 응시하고 있을 때, 촬영되고 있는 상기 수강자(200)가 착용하고 있는 액세서리, 의류의 크기를 저장할 수 있다. 상기 수강태도 감독 서버(100)는 수강자(200)가 착용하고 있는 액세서리, 의류의 저장된 크기를 기준으로 실시간으로 촬영되는 수강자(200)가 착용하고 있는 액세서리, 의류의 크기를 비교하여 수강자(200)와 카메라(120) 사이의 거리를 산정할 수 있으며, 저장된 액세서리, 의류의 크기와 실시간으로 촬영되는 액세서리, 의류의 크기 비율에 따라 즉각적으로 동공좌표의 캘리브레이션을 수행할 수 있다.
상기 액세서리는 실시간으로 촬영되고 있는 수강자가 착용한 엑세서리이며, 카메라(120) 및 수강태도 감독 서버(100)가 인식하는데 지장이 없는 한에서 다양한 액세서리를 선택할 수 있다.
상기 의류는 실시간으로 촬영되고 있는 수강자가 착용한 의류이며, 카메라(120) 및 수강태도 감독 서버(100)가 인식하는데 지장이 없는 한에서 다양한 의류를 선택할 수 있다.
도 7은 본 발명의 일 실시예에 따른 동공 추적을 이용한 온라인 강의의 수강태도 감독 방법에 대한 설명도이다.
도 7을 참고하면, 온라인 강의 재생 전 산정한 수강자 단말기(110)의 화면 크기 값을 기준으로 실시간으로 측정되고 있는 수강자(200)의 동공좌표의 평균값이 앞서 산정한 수강자 단말기(110)의 화면 밖의 지점으로 계산되어, 수강자(200)가 수강자 단말기(110)의 화면을 응시하고 있지 않고 있음이 감지되는 경우, 수강태도 감독 서버(100)는 이에 대한 알림 메시지를 관리자 단말기(130)로 전송할 수 있다.
또한 수강태도 감독 서버(100)는 상기 온라인 강의 서버(150)로 수강자(200)가 온라인 강의를 응시하고 있지 않다는 알림 메시지를 전송할 수 있으며, 상기 온라인 강의 서버(150)는 상기 온라인 강의의 재생을 중지하며, 상기 관리자 단말기(130) 또는 상기 수강태도 감독 서버(100)로부터 온라인 강의를 재생해도 좋다는 메시지를 받은 후에야 온라인 강의를 재시작할 수 있다.
또한 앞서 도 5에서 언급한 바와 같이, 상기 수강태도 감독 서버(100)는 상기 수강자 단말기(110)의 화면 중 온라인 강의가 출력되는 부분(온라인 강의 재생 창)의 각 모서리에 눈동자 응시점(111)을 생성할 수 있으며, 상기 수강자 단말기(110)의 화면크기를 산정하는 방법과 같은 방법으로 온라인 강의가 출력되는 부분의 가로 및 세로의 크기를 산정할 수 있다. 실시간으로 측정되고 있는 수강자(200)의 동공좌표의 평균값이 앞서 산정한 수강자 단말기(110)의 화면에서 온라인 강의가 출력되는 부분 밖의 지점으로 계산되어, 수강자(200)가 수강자 단말기(110)의 화면에서 온라인 강의가 출력되고 있는 부분을 응시하고 있지 않고 있음이 감지되는 경우, 수강태도 감독 서버(100)는 이에 대한 알림 메시지를 관리자 단말기(130)와 온라인 강의 서버(150)로 전송할 수 있다.
도 8은 본 발명의 일 실시예에 따른 동공 추적을 이용한 온라인 강의 수강 방법에 대한 설명도이다.
도 8을 참조하면, 수강자(200)는 온라인 강의 수강할 시, 수강자 단말기(110) 화면에 생성된 응시 버튼(112)을 응시하여 온라인 강의의 재생, 정지, 재생속도, 되감기 등을 조절할 수 있다. 상기 수강자 단말기(110) 화면에서 온라인 강의가 출력되는 창은 상기 응시 버튼(112)을 포함하여 출력될 수 있으며, 상기 수강자(200)는 상기 응시 버튼(112)의 위치, 개수 및 크기를 설정할 수 있다.
상기 응시 버튼(112)의 위치는 수강자(200)가 온라인 강의 화면을 응시할 때, 상기 응시 버튼(112)이 임의로 작동되지 않는 위치가 바람직하며, 온라인 강의가 출력되는 창의 하단에 구비되는 것이 바람직하다. 한편, 수강자(200)는 상기 응시 버튼(112)의 위치를 본인의 편리에 맞게 수강자 단말기(110)의 화면 내에서 자유롭게 위치시킬 수 있다.
상기 응시 버튼(112)은 하나 또는 복수의 개로 출력될 수 있다. 복수의 개로 출력될 경우 각 응시 버튼(112)마다 다른 기능을 수행하도록 구비될 수 있고, 상기 수강자(200)는 본인의 편리에 맞게 각 응시 버튼(112)마다 온라인 강의의 재생, 정지, 재생속도 제어, 되감기 등의 기능을 지정하여 설정할 수 있다.
상기 응시 버튼(112)은 크기는 상기 수강자(200)가 본인의 편의에 맞게 크기를 조절할 수 있도록 구비될 수 있다. 상기 수강자(200)는 상기 수강자 단말기(110)를 통해 상기 응시 버튼(112)의 가로 및 세로 길이를 지정하여 입력할 수 있으며, 상기 수강태도 감독 서버(100)는 상기 수강자(200)가 입력한 크기에 맞는 사각형을 수강자 단말기(110)의 화면에 출력하고, 상기 출력한 사각형의 각 모서리에 눈동자 응시점(111)을 생성할 수 있다. 상기 수강자(200)가 상기 눈동자 응시점(111)을 각각 응시할 때, 상기 수강태도 감독 서버(100)는 상기 수강자(200)의 동공좌표를 측정하고 이를 이용하여 사각형 모양의 응시 버튼(112)의 작동영역을 산정할 수 있다.
상기 수강태도 감독 서버(100)는 수강자(200)가 설정 가능한 상기 응시 버튼(112)의 최소 크기와 최대 크기를 제한할 수 있다. 상기 수강태도 감독 서버(100)는 상기 수강자(200)의 응시지점을 인식할 수 있는 최소 크기를 상기 응시 버튼(112)의 최소 크기로 제한할 수 있으며, 앞서 산정한 수강자 단말기(110)의 화면 크기의 10%가 넘지 않도록 상기 응시 버튼(112)의 최대크기를 제한할 수 있다.
상기 수강태도 감독 서버(100)는 수강자(200)의 동공좌표를 추적하여 상기 수강자(200)가 상기 응시 버튼(112)을 일정 시간이상 응시하고 있다고 판단되는 경우, 수강자(200)가 상기 응시 버튼(112)에 설정한 기능이 수행되도록 할 수 있다. 상기 수강자(200)는 상기 응시 버튼(112)이 작동하도록 하는 응시 시간을 설정할 수 있으며, 1.5 내지 2.5초 동안 응시 버튼(112)을 응시하였을 때 응시 버튼(112)이 작동되도록 설정하는 것이 바람직하다.
상기 응시 버튼(112)는 수강자(200)가 온라인 강의를 수강할 때, 손으로 수강자 단말기(110)를 제어하지 않아도 온라인 강의의 재생, 정지, 재생속도, 되감기 등을 제어할 수 있어 수강자(200)가 온라인 강의에 대한 집중도를 유지할 수 있도록 한다. 특히, 수강자(200)가 온라인 강의를 수강하며 노트와 펜을 이용하여 필기를 할 경우, 필기를 하며 응시 버튼(112)으로 온라인 강의를 일시중지하거나 되감는 등 온라인 강의의 재생상태를 조절할 수 있어 수강자(200)가 편리하게 필기할 수 있다.
도 9는 본 발명의 일 실시예에 따른 동공 추적을 이용한 온라인 강의의 수강태도 감독 방법의 흐름도이다.
도 9를 참조하면, 온라인 강의의 수강태도 감독 방법은, 크게 수강자가 촬영된 프레임 단위의 영상정보(410)에서 수강자의 얼굴영역을 인식하는 사각형 영역(420)을 정의하는 단계; 수강자 본인확인 단계; 수강자 단말기(110) 화면의 크기를 산정하는 단계; 수강자의 얼굴과 카메라(120) 사이의 거리에 따라 상기 수강자의 동공 좌표를 수정하는 단계; 상기 수강자가 상기 수강자 단말기(110) 화면을 응시하고 있는지 감독하는 단계;를 포함한다.
먼저, 카메라(120)로부터 영상 데이터(영상 정보)를 프레임 단위로 전달받고(S501), 상기 프레임 단위의 영상 데이터로부터 얼굴 영역을 포함하는 사각형 영역을 정의한다(S502).
이후, 상기 사각형 영역과 수강자 정보 데이터베이스(140)에 저장되어 있는 수강자 사진을 비교(S503)하여, 온라인 강의를 수강하려는 인물이 수강자 본인이 맞는지 판단한 결과(S504), 등록된 수강자가 아니면 수강자 외 인물의 접근시도로 감지하여 이를 관리자 및 온라인 강의 서버(150)에 알려주고(S505), 종료한다.
한편, 상기 판단 결과(S504), 수강자 본인이 맞는다면, 영상 처리를 통해 양쪽 눈의 동공 좌표를 설정한다(S506).
온라인 강의 시작 전, 수강자 단말기(110)의 화면 각 모서리 부분에 눈동자 응시점(111)을 생성한다(S507).
수강자가 각각의 눈동자 응시점(111)을 응시하는 동안, 수강태도 감독 서버(100)는 눈동자 응시점(111)을 응시하고 있는 수강자의 동공좌표를 측정하고, 측정된 동공좌표들의 차이 값을 이용하여 수강자 단말기(110) 화면의 크기를 산정한다(S508).
또한, 수강자가 각각의 눈동자 응시점(111)을 응시하는 동안, 수강태도 감독 서버(100)는 촬영되고 있는 수강자의 얼굴 영역의 크기를 저장하고(S509), 저장된 수강자의 얼굴 영역 크기를 기준으로 실시간으로 촬영되고 있는 수강자의 얼굴 영역 크기를 비교하여 그 비율에 따라 측정되고 있는 수강자의 동공좌표의 캘리브레이션을 즉각적으로 수행한다(S510).
이후, 실시간으로 측정되는 수강자의 동공좌표의 평균값이 앞서 산정한 수강자 단말기(110) 화면 내에서 측정되는지 계산한다. 상기 판단 결과(S511), 동공좌표의 평균값이 수강자 단말기(110)의 화면 밖의 지점에서 측정된다면, 수강자가 온라인 강의 화면을 응시하고 있지 않음을 관리자와 온라인 강의 서버(150)에 알려준다(S512).
상기 판단결과(S511), 수강자의 실시간 동공좌표가 수강자 단말기(110)의 화면 내에서 측정된다면, 지속적으로 수강자의 실시간 동공좌표를 측정하여 수강자가 수강자 단말기(110)의 화면을 응시하고 있는지 감독하며, 온라인 강의를 계속 재생하여 수강자가 수강할 수 있도록 한다(S513).
이상에서 본 발명의 일 실시예에 따른 동공 추적을 이용한 온라인 강의의 수강태도 감독 방법에 대하여 설명하였지만, 동공 추적을 이용한 온라인 강의의 수강태도 감독 방법을 구현하기 위한 프로그램이 저장된 컴퓨터 판독 가능한 기록매체 및 동공 추적을 이용한 온라인 강의의 수강태도 감독 방법을 구현하기 위한 컴퓨터 판독 가능한 기록매체에 저장된 프로그램 역시 구현 가능함은 물론이다.
즉, 상술한 동공 추적을 이용한 온라인 강의의 수강태도 감독 방법은 이를 구현하기 위한 명령어들의 프로그램이 유형적으로 구현됨으로써, 컴퓨터를 통해 판독될 수 있는 기록매체에 포함되어 제공될 수 있음을 당업자들이 쉽게 이해할 수 있을 것이다. 다시 말해, 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어, 컴퓨터 판독 가능한 기록매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 상기 컴퓨터 판독 가능한 기록매체의 예에는 하드 디스크, 플로피 디스크 및 자기테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리, USB 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 상기 컴퓨터 판독 가능한 기록매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
본 발명은 상기한 실시예에 한정되지 아니하며, 적용범위가 다양함은 물론이고, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 다양한 변형 실시가 가능한 것은 물론이다.
100 : 수강태도 감독 서버
101 : 송수신부
102 : 저장부
103 : 얼굴인식부
104 : 본인확인부
105 : 동공좌표 획득부
106 : 화면 크기 산정부
107 : 동공좌표 수정부
108 : 화면 응시 판단부
110 : 수강자 단말기
111 : 눈동자 응시점
112 : 응시 버튼
120 : 카메라
130 : 관리자 단말기
140 : 수강자 정보 데이터베이스
150 : 온라인 강의 서버
200 : 수강자
310, 320 : 양 쪽 눈의 양 끝점
330, 340 : 눈동자의 동공 영역
350, 360 : 동공 영역의 중심점
410 : 수강자가 촬영된 프레임 단위의 영상정보(그레이 스케일)
420 : 얼굴 영역이 포함된 사각형 영역
430 : 양 쪽 눈의 동공좌표
101 : 송수신부
102 : 저장부
103 : 얼굴인식부
104 : 본인확인부
105 : 동공좌표 획득부
106 : 화면 크기 산정부
107 : 동공좌표 수정부
108 : 화면 응시 판단부
110 : 수강자 단말기
111 : 눈동자 응시점
112 : 응시 버튼
120 : 카메라
130 : 관리자 단말기
140 : 수강자 정보 데이터베이스
150 : 온라인 강의 서버
200 : 수강자
310, 320 : 양 쪽 눈의 양 끝점
330, 340 : 눈동자의 동공 영역
350, 360 : 동공 영역의 중심점
410 : 수강자가 촬영된 프레임 단위의 영상정보(그레이 스케일)
420 : 얼굴 영역이 포함된 사각형 영역
430 : 양 쪽 눈의 동공좌표
Claims (13)
- 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템에 있어서,
수강자가 온라인 강의를 수강하기 위한 수강자 단말기(110);
상기 수강자 단말기(110)에 부착되거나 스마트 기기에 구비되어 해당 수강자의 정면을 촬영하기 위한 카메라(120);
상기 카메라(120)로부터 수강자를 촬영한 영상정보(410)를 프레임 단위로 전달받고, 동공 추적을 통해 상기 수강자의 온라인 강의 수강태도를 감독하는 수강태도 감독 서버(100); 및
상기 수강태도 감독 서버(100)에서 수강자가 상기 수강자 단말기(110)의 화면을 응시하고 있지 않은 경우로 판정하는 경우, 관리자에게 이를 알려주기 위한 관리자 단말기(130);
를 포함하고,
상기 수강태도 감독 서버(100)는,
수강자가 촬영된 프레임 단위의 영상정보(410)에서 수강자의 얼굴영역을 인식하는 사각형 영역(420)을 정의하고, 상기 사각형 영역(420)과 수강자 정보 데이터베이스(140)에 기록된 수강자 사진을 비교하여 본인확인 절차를 수행하고, 상기 사각형 영역(420)을 기준으로 한 좌표시스템에서 양쪽 눈의 형상과 명암을 영상 처리하여 양쪽 눈의 동공 좌표를 설정하고, 수강자 단말기(110) 화면의 각 모서리에 눈동자 응시점(111)을 생성하고, 수강자가 상기 눈동자 응시점(111)을 응시할 때 양쪽 눈의 동공 좌표를 측정하고, 상기 측정한 동공좌표들의 차이 값을 이용하여 상기 수강자 단말기(110) 화면의 크기를 산정하고, 수강자가 상기 눈동자 응시점(111)을 응시할 때 수강자의 하나 또는 복수의 신체부위의 크기를 저장하고, 상기 저장된 신체부위의 크기와 실시간으로 촬영되는 신체부위의 크기를 비교하여 그 비율에 따라 상기 수강자의 동공 좌표를 수정하는 것을 특징으로 하고,
상기 수강자 단말기(110) 화면의 크기는,
각 모서리 중에서 좌우의 두 모서리에 생성된 눈동자 응시점(111)에 대한 동공 좌표의 차이 값과, 상하의 두 모서리에 생성된 눈동자 응시점(111)에 대한 동공 좌표의 차이 값으로부터 상기 수강자 단말기(110) 화면의 가로 및 세로의 크기가 산정되는 것을 특징으로 하고,
상기 눈동자 응시점(111)은,
한글, 알파벳, 숫자, 키보드의 특수기호에서 선택되는 어느 하나 또는 복수의 정보값으로 나타낼 수 있으며, 상기 수강자 단말기(110)의 화면 크기를 산정할 때 수강자가 상기 정보값을 응시하여 확인한 후 상기 정보값이 상기 수강자 단말기(110)에 입력되는 것을 특징으로 하고,
상기 본인확인 절차는,
온라인 강의의 재생 중에도 지속적으로 수행되는 것을 특징으로 하고,
상기 수강자의 온라인 강의의 화면 응시시간을 측정하여 응시시간이 일정 기준시간 미만일 경우, 다음 단계 학습이 제한되도록 하는 것을 특징으로 하고,
상기 수강자 단말기(110)가 온라인 강의 수강 전 상기 수강자가 탑승한 대중교통에서 하차하고자 하는 목적지를 입력받으면, 설정한 목적지에 도착하기 전의 하차 위치 또는 목적지에 도착하기 5분 전에 하차 알림 메시지를 출력하는 것을 특징으로 하는 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템. - 삭제
- 삭제
- 삭제
- 삭제
- 삭제
- 제 1항에 있어서,
상기 수강태도 감독 서버(100)는,
수강자가 상기 눈동자 응시점(111)을 응시할 때 수강자의 얼굴영역의 크기를 저장하고, 상기 저장된 얼굴영역의 크기와 실시간으로 촬영되는 얼굴영역의 크기를 비교하여 그 비율에 따라 상기 수강자의 동공 좌표를 수정하는 것을 특징으로 하는 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템. - 제 1항에 있어서,
상기 수강태도 감독 서버(100)는,
수강자의 동공 좌표가 수강자 단말기(110) 화면 밖 영역에서 측정되는 경우, 이를 상기 관리자 단말기(130)로 알려주는 것을 특징으로 하는 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템. - 동공 추적을 이용한 온라인 강의의 수강태도 감독 방법에 있어서,
수강태도 감독 서버가 수강자가 촬영된 프레임 단위의 영상정보(410)에서 수강자의 얼굴영역을 인식하는 사각형 영역(420)을 정의하는 단계;
상기 수강태도 감독 서버가 상기 사각형 영역(420)과 수강자 정보 데이터베이스(140)에 기록된 수강자 사진을 비교하는 수강자 본인확인 단계;
상기 수강태도 감독 서버가 수강자 단말기(110) 화면의 크기를 산정하는 단계;
상기 수강태도 감독 서버가 수강자와 카메라(120) 사이의 거리에 따라 상기 수강자의 동공 좌표를 수정하는 단계; 및
상기 수강태도 감독 서버가 상기 수강자가 상기 수강자 단말기(110) 화면을 응시하고 있는지 감독하는 단계
를 포함하고,
상기 수강자 단말기(110) 화면의 크기를 산정하는 단계는,
상기 사각형 영역(420)을 기준으로 한 좌표시스템에서 양쪽 눈의 형상과 명암을 영상 처리하여 양쪽 눈의 동공 좌표를 설정하는 단계;
상기 수강자 단말기(110) 화면의 각 모서리에 눈동자 응시점(111)을 생성하는 단계; 및
상기 수강자가 상기 눈동자 응시점(111)을 응시할 때 양쪽 눈의 동공 좌표를 측정하고, 상기 측정한 동공좌표들의 차이 값을 이용하여 상기 수강자 단말기(110) 화면의 크기를 산정하는 단계
를 포함하는 것을 특징으로 하고,
상기 수강자 단말기(110) 화면의 크기는,
각 모서리 중에서 좌우의 두 모서리에 생성된 눈동자 응시점(111)에 대한 동공 좌표의 차이 값과, 상하의 두 모서리에 생성된 눈동자 응시점(111)에 대한 동공 좌표의 차이 값으로부터 상기 수강자 단말기(110) 화면의 가로 및 세로의 크기가 산정되는 것을 특징으로 하고,
상기 수강자와 카메라(120) 사이의 거리에 따라 상기 수강자의 동공 좌표를 수정하는 단계는,
상기 수강자가 상기 눈동자 응시점(111)을 응시할 때, 상기 수강자의 하나 또는 복수의 신체부위의 크기를 저장하는 단계; 및
상기 저장된 신체부위의 크기와 실시간으로 촬영되는 신체부위의 크기를 비교하여 그 비율에 따라 상기 수강자의 동공 좌표를 수정하는 단계
를 포함하는 것을 특징으로 하고,
상기 눈동자 응시점(111)은,
한글, 알파벳, 숫자, 키보드의 특수기호에서 선택되는 어느 하나 또는 복수의 정보값으로 나타낼 수 있으며, 상기 수강자 단말기(110)의 화면 크기를 산정할 때 수강자가 상기 정보값을 응시하여 확인한 후 상기 정보값이 상기 수강자 단말기(110)에 입력되는 것을 특징으로 하고,
상기 수강자 본인확인 단계는,
온라인 강의의 재생 중에도 지속적으로 수행되는 것을 특징으로 하고,
상기 수강태도 감독 서버는,
상기 수강자의 온라인 강의의 화면 응시시간을 측정하여 응시시간이 일정 기준시간 미만일 경우, 다음 단계 학습이 제한되도록 하는 것을 특징으로 하고,
상기 수강자 단말기(110)가 온라인 강의 수강 전 상기 수강자가 탑승한 대중교통에서 하차하고자 하는 목적지를 입력받으면, 설정한 목적지에 도착하기 전의 하차 위치 또는 목적지에 도착하기 5분 전에 하차 알림 메시지를 출력하는 것을 특징으로 하는 것을 특징으로 하는 동공 추적을 이용한 온라인 강의의 수강태도 감독 방법. - 삭제
- 삭제
- 삭제
- 제 9항에 있어서,
상기 수강자가 상기 수강자 단말기(110) 화면을 응시하고 있는지 감독하는 단계는,
상기 수강자의 동공 좌표가 수강자 단말기(110) 화면 내에서 측정되는지 확인하는 단계; 및
상기 수강자의 동공 좌표가 상기 수강자 단말기(110)의 화면 밖에서 측정되는 경우, 이를 관리자 단말기(130)로 알려주는 단계;
를 포함하는 것을 특징으로 하는 동공 추적을 이용한 온라인 강의의 수강태도 감독 방법.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170162654A KR102011887B1 (ko) | 2017-11-30 | 2017-11-30 | 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170162654A KR102011887B1 (ko) | 2017-11-30 | 2017-11-30 | 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190063690A KR20190063690A (ko) | 2019-06-10 |
| KR102011887B1 true KR102011887B1 (ko) | 2019-08-20 |
Family
ID=66848161
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170162654A KR102011887B1 (ko) | 2017-11-30 | 2017-11-30 | 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102011887B1 (ko) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111210685A (zh) * | 2020-01-08 | 2020-05-29 | 郑州市金水区大山培训学校有限公司 | 知识掌握情况的测试方法、装置和设备 |
| KR102245319B1 (ko) * | 2020-11-17 | 2021-04-28 | 주식회사 서경산업 | 원격지 학습자의 집중도를 분석하는 시스템 |
| KR102336574B1 (ko) | 2020-12-04 | 2021-12-07 | (주)매트리오즈 | 비대면 학습자의 영상 이미지를 이용하는 학습 지도 방법 및 이에 사용되는 관리 서버 |
| KR102266479B1 (ko) * | 2021-01-12 | 2021-06-17 | (주)이루미에듀테크 | 온라인 학습 능력 분석을 위한 시선 추적 방법, 장치 및 시스템 |
| KR102452100B1 (ko) * | 2021-05-24 | 2022-10-12 | 라이트하우스(주) | 뇌파 및 눈 깜빡임 기반 학습 서비스 제공 방법, 장치 및 시스템 |
| KR102609500B1 (ko) * | 2021-08-31 | 2023-12-04 | 엔에이치엔클라우드 주식회사 | 온라인 수업 학생 모니터링 방법 및 시스템 |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015029554A1 (ja) * | 2013-09-02 | 2015-03-05 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| KR101765770B1 (ko) * | 2016-02-29 | 2017-08-07 | 손부경 | 영상 처리를 이용한 온라인 시험의 부정행위 검출 시스템 및 그 방법과 이를 구현하기 위한 프로그램이 저장된 기록매체 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110107454A (ko) | 2010-03-25 | 2011-10-04 | 최영민 | 학습 몰입 강화를 위한 온라인 학습 시스템 및 방법 |
| KR102212209B1 (ko) * | 2014-04-10 | 2021-02-05 | 삼성전자주식회사 | 시선 추적 방법, 장치 및 컴퓨터 판독가능한 기록 매체 |
| KR20170085933A (ko) * | 2016-01-15 | 2017-07-25 | 한국전자통신연구원 | 비착용형 시선추적기의 응시점 보정 장치 및 방법 |
| KR20170017979A (ko) * | 2017-02-06 | 2017-02-15 | 주식회사 아이티스테이션 | 온라인 강의 수강 확인, 몰입도 판별, 수강 평가 및 수강 피드백 시스템 |
-
2017
- 2017-11-30 KR KR1020170162654A patent/KR102011887B1/ko active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2015029554A1 (ja) * | 2013-09-02 | 2015-03-05 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| KR101765770B1 (ko) * | 2016-02-29 | 2017-08-07 | 손부경 | 영상 처리를 이용한 온라인 시험의 부정행위 검출 시스템 및 그 방법과 이를 구현하기 위한 프로그램이 저장된 기록매체 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20190063690A (ko) | 2019-06-10 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102011887B1 (ko) | 동공 추적을 이용한 온라인 강의의 수강태도 감독 시스템 | |
| US11600191B2 (en) | System and method for validating honest test taking | |
| US10891873B2 (en) | Method and apparatus for monitoring learning and electronic device | |
| US20190311187A1 (en) | Computerized system and method for continuously authenticating a user's identity during an online session and providing online functionality based therefrom | |
| US10922630B2 (en) | Queuing apparatus, and queuing control method thereof | |
| KR101643975B1 (ko) | 내재된 사용자 입력 및 행동에 기초한 미디어의 동적 각색을 위한 시스템 및 방법 | |
| US10241990B2 (en) | Gesture based annotations | |
| US20230222934A1 (en) | Systems and methods for dynamic monitoring of test taking | |
| JP6636670B1 (ja) | 学習システム、学習講義提供方法、およびプログラム | |
| CN104077585B (zh) | 图像校正方法、装置及终端 | |
| US20210287561A1 (en) | Lecture support system, judgement apparatus, lecture support method, and program | |
| JP7492294B2 (ja) | 学習システム、学習講義提供方法、およびプログラム | |
| JP2023515067A (ja) | サーバとユーザデバイスとの間の対話式かつプライバシー保護通信のための方法および装置 | |
| KR20230110681A (ko) | 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 | |
| JP6787601B2 (ja) | 自閉症治療支援システム、自閉症治療支援装置、及びプログラム | |
| KR20210128054A (ko) | 향상된 수강 집중도를 확보하는 온라인 강의 시스템 | |
| KR102581415B1 (ko) | 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 ubt 시스템 및 그 방법 | |
| KR20230007970A (ko) | 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법 | |
| KR20160086618A (ko) | 온라인 강의 수강 확인, 몰입도 판별, 수강 평가 및 수강 피드백 시스템 | |
| JP2016095817A (ja) | 自動受験システム及びこれに用いる受験不正行為検出装置 | |
| KR102609500B1 (ko) | 온라인 수업 학생 모니터링 방법 및 시스템 | |
| KR102388735B1 (ko) | 메타버스 환경에서의 평가에서 이미지 데이터 처리에 기반하여 부정행위를 검출하는 방법 | |
| Akash et al. | Monitoring and Analysis of Students’ Live Behaviour using Machine Learning | |
| KR102307798B1 (ko) | Xr 디바이스를 이용하여 버츄얼 테스트의 부정 행위를 실시간으로 모니터링 하는 시스템의 제어 방법 및 어플리케이션 | |
| KR20230018887A (ko) | 딥러닝을 기초로 온라인 시험 부정행위를 탐지하는 방법 및 그 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |