KR20220023547A - 생체신호 감지를 이용한 온라인 강의 모니터링 시스템 및 그 방법 - Google Patents

생체신호 감지를 이용한 온라인 강의 모니터링 시스템 및 그 방법 Download PDF

Info

Publication number
KR20220023547A
KR20220023547A KR1020200105414A KR20200105414A KR20220023547A KR 20220023547 A KR20220023547 A KR 20220023547A KR 1020200105414 A KR1020200105414 A KR 1020200105414A KR 20200105414 A KR20200105414 A KR 20200105414A KR 20220023547 A KR20220023547 A KR 20220023547A
Authority
KR
South Korea
Prior art keywords
user
lecture content
heart rate
completion
lecture
Prior art date
Application number
KR1020200105414A
Other languages
English (en)
Inventor
정경훈
최진환
Original Assignee
정경훈
최진환
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정경훈, 최진환 filed Critical 정경훈
Priority to KR1020200105414A priority Critical patent/KR20220023547A/ko
Publication of KR20220023547A publication Critical patent/KR20220023547A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/62—Extraction of image or video features relating to a temporal dimension, e.g. time-based feature extraction; Pattern tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • General Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Business, Economics & Management (AREA)
  • Strategic Management (AREA)
  • Primary Health Care (AREA)
  • Economics (AREA)
  • Marketing (AREA)
  • Human Resources & Organizations (AREA)
  • Cardiology (AREA)
  • Biomedical Technology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • Surgery (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Biophysics (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Physiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명은 사용자 단말에 강의 콘텐츠를 제공하는 강의 콘텐츠 서버와 네트워크로 연결된 모니터링 서버에 있어서, 강의 콘텐츠가 제공되는 시점부터 사용자의 얼굴을 촬영한 이미지를 실시간으로 수집하는 영상 수집부, 이미지에서 혈류 변화가 일어나는 영역을 포함하는 하나 이상의 관심영역을 설정하고, 관심영역에서 특징점들을 추출하는 영상 분석부, 일정 시간 간격마다 특징점들을 이용하여 상기 사용자의 안면 인식을 수행하는 안면 인식부, 실시간으로 관심 영역으로부터 혈류 변화를 감지하여 맥박 신호를 검출하는 신호 검출부, 그리고 강의 콘텐츠의 재생 시간에 따른 안면 인식 결과와 검출된 맥박 신호에 기초하여 강의 콘텐츠의 사용자 수강 수료 여부를 판단하는 수료 판단부를 포함한다.

Description

생체신호 감지를 이용한 온라인 강의 모니터링 시스템 및 그 방법{ONLINE LECTURE MONITORING SYSTEM USING BIO-SIGNAL DETECTION AND METHOD THEREOF}
생체신호 감지를 이용한 온라인 강의 모니터링 기술에 관한 것이다.
온라인 강의는 네트워크 기반의 온라인 학습 환경을 통해 원격지에서도 다양한 지식과 학습 경험을 제공하는 교육 방법 중에 하나로 IT의 발전과 함께 성장하여 하나의 학습 매체로 자리잡고 있다.
이러한 온라인 강의는 한국형 온라인 공개강좌(Korean Massive Open Online Course), 저장 영사에 대한 스트리밍 교육 등 다양한 방식으로 활성화되고 있다.
특히, 온라인 강의는 시간과 공간의 물리적인 제약을 극복하여 사용자가 원하는 환경에서의 시간과 공간에서 학습이 가능하기 때문에 최근 비대면 서비스로 변화하는 사회적 동향에 적합하다.
이에 따라 사교육에 한정되었던 온라인 강의가 학점과 학위를 수여하는 공교육에서도 활용되고 있다.
다만, 온라인 강의는 강의 수강자와 강의자가 동시에 한 공간에서 교육을 진행하는 것이 아니기 때문에 온라인 강의의 실제 수강 여부를 확인하기가 어렵다.
실제 수강 여부를 확인하기 위해 온라인 강의를 수강하는 사용자의 모습을 촬영하고, 촬영된 이미지에서 사용자를 인식하는 기술이 개발되고 있지만, 주로 사용자의 얼굴 인식 또는 시선 추적에 관한 기술에 국한되어 있으며, 수강하는　사람의　얼굴이　아니더라도　사진을 이용할 경우에도 인식되기 때문에 정확한 수강 여부를 확인하는데 어려움이 있다.
그러므로 사용자를 촬영한 이미지에서 얼굴 인식뿐 아니라 생체 신호를 감지하여 해당 온라인 강의를 정상적으로 수강하였는지에 대한 모니터링 기술이 요구된다.
본 발명이 해결하고자 하는 과제는 사용자를 촬영한 이미지에서 얼굴 인식을 수행하여, 사용자 정보와 비교하여 인증함으로써 출결관리를 하는 기술을 제공하기 위한 것이다.
본 발명이 해결하고자 하는 과제는 강의를 시청하는 사용자를 실시간으로 촬영한 이미지에서 얼굴 인식과 생체 신호를 측정하고, 강의 재생 시간과 생체 신호 모니터링 시간을 매핑하여 강의 수료에 대한 지표를 제공하기 위한 것이다.
상기 과제 이외에도 구체적으로 언급되지 않은 다른 과제를 달성하는 데 사용될 수 있다.
본 발명의 하나의 실시예에 따르면, 사용자 단말에 강의 콘텐츠를 제공하는 강의 콘텐츠 서버와 네트워크로 연결된 모니터링 서버에 있어서, 강의 콘텐츠가 제공되는 시점부터 사용자의 얼굴을 촬영한 이미지를 실시간으로 수집하는 영상 수집부, 이미지에서 혈류 변화가 일어나는 영역을 포함하는 하나 이상의 관심영역을 설정하고, 관심영역에서 특징점들을 추출하는 영상 분석부, 일정 시간 간격마다 특징점들을 이용하여 사용자의 안면 인식을 수행하는 안면 인식부, 실시간으로 관심 영역으로부터 혈류 변화를 감지하여 맥박 신호를 검출하는 신호 검출부, 그리고 강의 콘텐츠의 재생 시간에 따른 안면 인식 결과와 검출된 맥박 신호에 기초하여 강의 콘텐츠의 사용자 수강 수료 여부를 판단하는 수료 판단부를 포함한다.
영상 분석부는, 실시간으로 수집되는 이미지에서 사용자의 움직임에 따른 잡음을 제거하고 설정된 관심 영역들을 추적할 수 있다.
맥박 신호 검출부는, 혈류 변화가 일어나는 영역에서 혈류 변화 성분을 심박 신호로 변환하여 심박 신호에 따른 심박수를 측정하면, 강의 컨텐츠 제공 시간 동안 측정된 심박수를 누적하여 카운트할 수 있다.
수료 판단부는, 강의 콘텐츠의 수료 기준이 되는 수강률과 사용자의 성별 또는 연령대의 최소 심박수를 이용하여 산출된 수료 기준 심박수와 심박수 누적 카운트를 비교하여 심박수 누적 카운트가 같거나 큰 값을 가지면 수강 수료의 제1 조건을 승인할 수 있다.
안면 인식부는, 추출된 특징점들과 사용자 얼굴에 대한 미리 저장된 특징점들이 매칭되면 안면 인식을 승인하고, 안면 인식을 수행한 횟수와 안면 인식 결과로 승인된 횟수를 각각 누적하여 카운트할 수 있다.
수료 판단부는, 강의 콘텐츠에 설정된 수료 기준 횟수와 안면 인식 누적 카운트를 비교하여 안면 인식 누적 카운트가 같거나 큰 값을 가지면 수강 수료의 제2 조건을 승인할 수 있다.
수료 판단부는, 제1 조건과 상기 제2 조건을 모두 승인하는 경우, 사용자 수강 수료를 인증할 수 있다.
본 발명의 다른 실시예에 따르면, 적어도 하나의 프로세서에 의해 동작하는 모니터링 서버의 동작 방법으로서, 연동하는 강의 콘텐츠 서버가 사용자 단말에 강의 콘텐츠를 제공하는 시점부터 사용자 단말로부터 촬영된 사용자의 얼굴 이미지를 실시간으로 수집하는 단계, 얼굴 이미지에서 혈류 변화가 일어나는 영역을 포함하는 하나 이상의 관심영역을 설정하고, 관심영역에서 특징점들을 추출하는 단계, 실시간으로 상기 관심 영역으로부터 혈류 변화를 감지하여 맥박 신호를 검출하는 단계, 일정 시간 간격마다 특징점들로부터 사용자의 안면 인식을 수행하는 단계, 그리고 강의 콘텐츠의 재생 시간에 따른 안면 인식 결과와 검출된 맥박 신호에 기초하여 강의 콘텐츠의 사용자 수강 수료 여부를 판단하는 단계를 포함한다.
맥박 신호를 검출하는 단계는, 맥박 신호가 0으로 검출할 수 없다고 판단되면, 심박수 측정 불가에 대한 메시지를 생성하여 강의 콘텐츠 서버로 전송하고, 강의 콘텐츠 서버는, 메시지에 대응하여 강의 콘텐츠 제공을 중단하거나 경고 메시지를 사용자 단말에 제공할 수 있다.
사용자 단말이 강의 콘텐츠 서버에 로그인을 수행하는 과정에서 사용자 단말로부터 사용자의 얼굴 이미지를 수집하는 단계, 수집한 얼굴 이미지와 사용자가 미리 등록한 얼굴 이미지를 비교하여 각각의 이미지에서 추출한 특징점들이 일치하면 안면 인식을 인증하는 단계, 그리고 안면 인식 결과를 강의 콘텐츠 서버에 전송하는 단계를 더 포함하고, 강의 콘텐츠 서버는, 안면 인식 결과에 기초하여 상기 사용자의 로그인을 승인할 수 있다.
본 발명의 하나의 실시예에 따르면, 강의를 수강하는 사용자의 얼굴 인식과 생체 신호 측정을 함께 수행함으로써, 사용자의 실제 수강 여부를 정확하게 판단할 수 있다.
본 발명의 하나의 실시예에 따르면, 강의 시간과 생체 신호 모니터링 시간을 매핑하여 수강자의 강의 수료에 대한 지표로 활용될 수 있으며, 강의 수료에 대한 신뢰성을 향상시킬 수 있다.
도 1은 본 발명의 실시예에 따른 온라인 강의 모니터링 시스템을 개략적으로 도시한 것이다.
도 2는 본 발명의 실시예에 따른 강의 콘텐츠 서버와 모니터링 서버를 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 온라인 강의 모니터링 방법을 나타낸 순서도이다.
도 4는 본 발명의 실시예에 따른 강의 수료에 대한 판단하는 구성을 나타낸 순서도이다.
도 5는 본 발명의 실시예에 따른 사용자 얼굴인식과 사용자의 생체 신호를 산출하는 과정에 대해서 설명하기 위한 예시도이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
이하 명세서 상에서 맥박 신호와 심박 신호는 동일한 의미로 혼용하여 사용하였으며, 실시간으로 변화하는 생체 신호로 대응될 수 있다.
도 1은 본 발명의 실시예에 따른 온라인 강의 모니터링 시스템을 개략적으로 도시한 것이다.
도 1에 도시한 바와 같이, 온라인 강의 모니터링 시스템은 온라인 강의를 제공하는 강의 콘텐츠 서버(100)와, 강의 콘텐츠 서버(100)로부터 온라인 강의를 제공받아 재생하는 사용자 단말(200) 그리고 강의 콘텐츠 서버(100)와 사용자 단말(200)과 통신망으로 연결되어 온라인 강의에 대한 모니터링을 수행하는 모니터링 서버(300)를 포함한다.
여기서, 통신망은 유선 통신 네트워크, 근거리 또는 원거리 무선 통신 네트워크, 이들이 혼합된 네트워크 등 데이터를 전달하는 모든 형태의 통신 네트워크를 포함할 수 있다.
그리고 강의 콘텐츠 서버(100)와 사용자 단말(200)간의 통신망과 강의 콘텐츠 서버(100)와 모니터링 서버(300)간의 통신망은 서로 상이하게 구현될 수 있다. 이러한 구성은 추후에 온라인 강의를 제공하는 환경이나 정책 등에 기초하여 관리자가 용이하게 변경 및 설정 가능하다.
강의 콘텐츠 서버(100)는 제공하고자 하는 강의 콘텐츠를 저장하고 관리하면서, 사용 권한이 있는 사용자 단말로 선택된 강의 콘텐츠를 제공하는 이 러닝(e-learning) 서버를 나타낸다.
이에 강의 콘텐츠 서버(100)는 특정 프로그램, 어플리케이션 또는 웹 페이지 등 중에서 하나 이상의 사용자 인터페이스를 제공함으로써, 사용자 단말(200) 또는 강사 단말(미도시함)과 데이터를 송수신할 수 있다.
강의 콘텐츠 서버(100)는 학원이나 사설 업체에서 운영되거나 정규 교육과정을 수행하는 교육기관, 협력 업체 등에서 운영될 수 있다.
사용자 단말(200)은 온라인 강의 콘텐츠를 재생하는 프로그램 또는 어플리케이션이 설치된 단말로, 강의를 수강하는 사용자가 소지한 단말을 나타내며, 장착된 카메라 또는 연동되는 웹 캠을 통해 강의 콘텐츠를 수강하는 사용자를 촬영한다.
사용자 단말(200)은 프로세서, 메모리, 디스플레이, 통신 모듈 등의 하드웨어를 포함하는 컴퓨팅 장치이다. 프로세서는 하드웨어들과 협력하여 어플리케이션 또는 프로그램을 구동한다. 디스플레이는 어플리케이션 또는 프로그램에서 제공하는 사용자 인터페이스 화면을 표시하고, 사용자 입력(예를 들면 터치 입력)을 수신할 수 있다. 사용자 단말(200)은 터치 입력 이외에 키보드를 통해 사용자 입력을 수신할 수 있다. 통신 모듈은 통신망에 연결된다. 통신망을 통해 어플리케이션 또는 프로그램과 강의 콘텐츠 서버(100)간에 데이터를 송수신한다.
예를 들어 사용자 단말(200)은 다양한 형태로 구현될 수 있고, 일반적으로 모바일 단말을 예로 들어 설명하나, 스마트패드와 같은 패드형 단말, 랩탑, 컴퓨터 등 각종 형태의 컴퓨터, 웨어러블 디바이스, TV 단말 등의 형태로 구현될 수 있다. 또한, 사용자 단말(200)은 카메라를 장착하고 있거나 또는 외부에 위치하는 웹 캠과 같이 촬상 장치와 연동할 수 있다.
그리고 어플리케이션 또는 프로그램은 컴퓨터 판독 가능한 저장 매체에 저장되는 소프트웨어로서, 본 발명의 동작을 실행하는 명령어들(instructions) 및 데이터를 포함한다. 어플리케이션 또는 프로그램은 사용자 단말(200)에 설치되고, 사용자 단말(200)에서 실행되며, 통신망을 통해 촬영된 이미지 및 데이터를 송수신하고, 강의 콘텐츠를 다운로드 또는 스트리밍으로 수신하여 제공할 수 있다.
모니터링 서버(300)는 강의 콘텐츠 서버(100)로부터 모니터링 요청을 수신하면, 사용자 단말(200)에 제공되는 강의 콘텐츠를 수강하는 사용자를 모니터링할 수 있다.
상세하게는 모니터링 서버(300)는 사용자 단말(200)에서 촬영된 얼굴 이미지를 실시간으로 수집하고 얼굴 이미지를 분석하여 사용자가 실제 강의를 수강하고 있는 지와 해당 강의에 대한 수료 여부를 판단할 수 있다.
그리고 모니터링 서버(300)는 판단 결과를 강의 콘텐츠 서버(100)에 전달하여, 강의 콘텐츠 서버(100)에서 사용자의 강의 완료 여부를 결정할 수 있도록 정보를 제공한다.
이외에도 모니터링 서버(300)는 사용자 단말(200)이 강의 콘텐츠 서버(100)에 로그인할 때, 사용자 단말(200)로부터 수신한 얼굴이미지를 통해 안면 인식을 수행하여 로그인 인증을 수행할 수 있다.
한편, 설명의 편의상 강의 콘텐츠 서버(100)와 모니터링 서버(300)를 별도의 구성으로 설명하고 있지만, 모니터링 서버(300)는 강의 콘텐츠 서버(100)에 포함되어 구현될 수 있다. 또한, 복수의 사용자 단말이 강의 콘텐츠 서버(100)를 통해 강의 콘텐츠를 제공받을 수 있으며, 이에 따라 다수의 사용자에 대해서 모니터링 서버(300)는 사용자마다 강의 수강을 모니터링을 수행할 수 있다.
도 2는 본 발명의 실시예에 따른 강의 콘텐츠 서버와 모니터링 서버를 나타낸 구성도이다.
도 2에 도시한 바와 같이, 강의 콘텐츠 서버(100)는 강사/사용자 등록부(110), 사용 권한 확인부(120), 강의 콘텐츠 제공부(130) 그리고 제어부(140)를 포함하며, 모니터링 서버(300)는 영상 수집부(310), 영상 분석부(320), 안면 인식부(330), 맥박신호 검출부(340), 그리고 수료 판단부(350)를 포함한다.
강의 콘텐츠 서버(100)는 강사 또는 사용자에 대해 회원 가입을 통해 아이디/비밀 번호, 이름, 전화번호, 이메일, 얼굴 이미지, 소속 등의 개인 정보를 입력받아 각 강사 DB와 사용자 DB에 저장한다.
강의 콘텐츠 서버(100)는 강사 또는 사용자의 원본 이미지와 함께, 연동되는 모니터링 서버(300)이 얼굴 이미지에서 추출한 특징점들에 대한 데이터를 저장할 수 있다.
그리고 강의 콘텐츠 서버(100)는 강사에 대해서는 별도로 영상, 이미지, 다양한 콘텐츠로 형성된 강의 콘텐츠를 입력받아 저장할 수 있다.
이때, 각 강의 콘텐츠의 재생 시간, 강의 카테고리, 수료 조건 등을 설정하여 저장될 수 있다.
예를 들어, 강의 콘텐츠가 N분의 재생 시간이면 90% 이상의 수강시 수료를 인정하는 것으로 수료 조건을 설정할 수 있다.(N은 자연수)
사용 권한 확인부(120)는 사용자 단말(200) 또는 강사 단말로부터 사용자 얼굴을 촬영한 이미지를 수신하면 연동되는 모니터링 서버(300)에 해당 이미지를 전달하고, 모니터링 서버(300)로부터 해당 이미지에서 얼굴 인식을 통해 사용자를 인증한 결과를 수신받아 사용 권한을 확인할 수 있다.
이때, 사용 권한 확인부(120)는 모니터링 서버(300)로부터 얼굴 인식 결과가 아닌, 얼굴 인식을 위한 특징점들의 데이터를 수신하는 경우, 사용자 DB 또는 강사 DB에 저장된 사용자 얼굴 이미지와 특징점들과 비교하여 일치하면 사용자의 사용 권한을 확인할 수 있다.
또는 사용 권한 확인부(120)는 사용자의 로그인을 위한 아이디/ 패스워드를 입력받으면, 저장된 사용자 DB에 검색하여 매칭되는 데이터가 확인되면 사용자의 사용 권한을 확인할 수 있다.
이처럼 사용자 사용 권한을 확인하여 로그인을 수행할 수 있다.
강의 콘텐츠 제공부(130)는 저장된 강의 콘텐츠 중에서 사용자 단말(200)로부터 선택된 강의 콘텐츠를 제공한다.
이때, 반드시 저장된 강의 콘텐츠에 한정하는 것이 아니라 강사가 실시간으로 촬영하는 강의 콘텐츠에 대해서도 제공할 수 있다.
강사가 실시간 촬영하는 강의 콘텐츠의 경우에는 강의 카테고리, 수료 조건 등을 미리 설정하고, 강의 콘텐츠로 촬영이 시작되는 시점과 끝나는 시점에서 재생 시간이 결정될 수 있다.
그리고 제어부(140)는 사용자 단말(200)로 제공되는 강의 콘텐츠의 시작 시점에 대응하여, 사용자 단말(200)의 카메라가 촬영하도록 트리거 신호를 생성하여 전송할 수 있다.
그리고 제어부(140)는 강의 콘텐츠의 재생 완료 시점까지 카메라가 촬영한 얼굴 이미지가 실시간으로 모니터링 서버(300)에 전달되도록 제어할 수 있다.
또한, 제어부(140)는 모니터링 서버(300)로부터 수강 수료에 대한 판단 결과를 수신하여 강의 수강 이력 DB에 저장하여 관리할 수 있다.
이와 같이, 강의 콘텐츠 서버(100)와 연동되는 모니터링 서버(300)의 영상 수집부(310)는 강의 콘텐츠가 제공되는 시점부터 사용자의 얼굴을 촬영한 이미지를 실시간으로 수집한다.
영상 수집부(310)는 각 사용자 단말(200)로부터 직접 촬영이미지를 수집하거나 강의 콘텐츠 서버(100)를 통해 수집할 수 있다.
그리고 영상 분석부(320)는 실시간으로 수집되는 이미지에서 사용자의 움직임에 따른 잡음을 제거하고 설정된 관심 영역들을 추적할 수 있다.
학습 과정에서 사용자의 움직임으로 인해 촬영되는 얼굴의 크기 또는 얼굴 방향이 변하거나 회전, 기울기, 조명의 변화 등으로 인해 수집되는 이미지들이 서로 상이하게 인식될 수 있다.
이에 영상 분석부(320)는 히스토그램 평활화, 이치화, 엣지 검출, 적응형 엣지 검출등 에서 하나의 이상의 방법을 이용하여 이미지에서 잡음을 포함하는 불필요한 부분을 제거하는 전처리 작업을 수행할 수 있다.
그리고 영상 분석부(320)는 이미지에서 혈류 변화가 일어나는 영역을 포함하는 하나 이상의 관심영역을 설정하고, 관심영역에서 특징점들을 추출한다.
영상 분석부(320)는 얼굴을 인식하기 위해 설정되는 영역들과 심박수를 측정하기 위해 얼굴 피부에서 미세하게 혈류 변화가 일어나는 영역들을 관심 영역으로 설정하여 각각 특징점들을 추출한다.
그리고 안면 인식부(330)는 일정 시간 간격마다 특징점들로부터 사용자의 안면 인식을 수행하고, 안면 인식이 인증되면 누적 카운트한다.
예를 들어, 안면 인식부(330)는 강의 콘텐츠가 재생되는 시간동안 랜덤으로 안면 인식을 수행하거나 1분간격으로 안면 인식을 수행할 수 있다.
이러한 설정은 추후에 관리자에 의해 용이하게 설정 가능하다.
그리고 맥박 신호 검출부(340)는 실시간으로 설정된 관심 영역으로부터 심박 신호로 변환하여 심박수를 측정하고, 심박수를 누적 카운트한다.
맥박 신호 검출부(340)는 혈류 변화가 일어나는 영역에서 혈류 변화 성분을 추정하고, 잡음을 필터링한다.
상세하게는 맥박 신호 검출부(340)는 잡음 필터링을 통해 혈류 변화 성분에서 잡음을 제거한 다음 광용적맥파(photoplethysmography, PPG) 확률 모델을 이용하여 PPG 기반의 심박 신호로 변환하고 심박수를 측정할 수 있다.
이때, 맥파 신호 검출부(340)는 움직임 추정 값과, PPG 추정 값들을 산출하여 광용적맥파(photoplethysmography, PPG) 확률 모델에 입력할 수 있다.
이외에도 맥파 신호 검출부(340)는 심박 신호 형상 모델(shape modeling) 또는 단기 모델(temporal modeling)을 이용할 수 있다.
그리고 수료 판단부(350)는 강의 콘텐츠의 재생 시간에 따른 심박수 누적 카운트와 안면 인식 누적 카운트에 기초하여 강의 콘텐츠의 사용자 수강 수료 여부를 판단한다.
이때, 심박수 누적 카운트에 기초하여 제1 조건이 생성되고, 안면 인식 누적 카운트에 기초하여 제2 조건이 생성될 수 있다.
상세하게는 수료 판단부(350)는 강의 콘텐츠의 수료 기준이 되는 수강률과 사용자 연령대 또는 성별의 심박수를 이용하여 산출된 수료 기준 심박수와 심박수 누적 카운트를 비교할 수 있다. 이때, 수료 판단부(350)는 심박수 누적 카운트가 같거나 큰 값을 가지면 수강 수료의 제1 조건을 승인한다.
일반적으로 심박수는 나이와 성별에 기초하여 횟수가 차이가 나기 때문에, 사용자의 연령대에 맞는 심박수를 기준으로 수료 기준 심박수를 산정한다.
예를 들어, 5세부터 12세인 경우, 평균 심박수가 1분에 80~90이 측정되고, 성인 남성의 경우에는 60에서 70, 성인 여성의 경우에는 70에서 80의 심박수가 측정된다.
이때, 심박수는 평균 심박수를 설정하거나 최소 심박수를 설정할 수 있으며, 사용자마다 평균 심박수를 측정하여 해당 기준값을 설정할 수도 있다.
다시 말해, 사용자가 일정 시간동안 촬영된 이미지로부터 심박수를 측정하고, 측정된 심박수를 통해 분당 심박수를 산출하고, 이를 해당 사용자에 대한 심박수 기준값으로 설정할 수 있다.
이러한 구성은 추후에 관리자에 의해 용이하게 변경 및 설정가능하다.
한편, 수료 판단부(350)는 강의 콘텐츠에 설정된 수료 기준 횟수와 안면 인식 누적 카운트를 비교하여 안면 인식 누적 카운트가 같거나 큰 값을 가지면 수강 수료의 제2 조건을 승인한다.
여기서, 수료 기준 횟수는 총 사용자의 안면 인식 횟수에 기초하여 안면 인식이 인증되는 횟수가 M%가 되는 횟수로 설정할 수 있다. (M은 자연수)
예를 들어, 수료 기준 횟수가 50% 가 되는 횟수로 설정되면, 10번의 안면 인식 수행한 상황에서 5번 이상 안면 인식이 인증되면 제2 조건을 만족한다고 판단할 수 있다.
수료 판단부(350)는 제1 조건과 제2 조건을 모두 승인하는 경우, 사용자 수강 수료를 인증할 수 있다.
이처럼, 수료 판단부(350)는 사용자의 수강 수료를 인증하면, 이를 강의 콘텐츠 서버(100)로 전송할 수 있다.
이하에서는 도 3 내지 5를 이용하여 모니터링 서버(300)의 온라인 강의를 수강하는 사용자를 모니터링하여 사용 권한을 인증하고 수강 수료를 판단하는 과정에 대해서 설명한다.
도 3은 본 발명의 실시예에 따른 온라인 강의 모니터링 방법을 나타낸 순서도이고, 도 4는 본 발명의 실시예에 따른 강의 수료에 대한 판단하는 구성을 나타낸 순서도이며, 도 5는 본 발명의 실시예에 따른 사용자 얼굴인식과 사용자의 생체 신호를 산출하는 과정에 대해서 설명하기 위한 예시도이다.
도 3에 도시한 바와 같이, 모니터링 서버(300)는 인증 요청에 따라 사용자를 촬영한 이미지를 안면 인식을 수행한다(S110).
모니터링 서버(300)는 사용자 단말(200)이 강의 콘텐츠 서버에 로그인을 수행하는 과정에서 사용자 단말(200)로부터 사용자의 얼굴 이미지를 수집할 수 있다.
이때, 사용자 단말(200)은 설치된 프로그램, 어플리케이션 또는 웹 사이트 중 하나에 접속하여 단말에 연동되는 카메라를 이용하여 촬영된 얼굴 이미지를 전송함으로써 로그인을 수행할 수 있다.
이에 대해 사용자 단말(200)에 인터페이스를 제공하는 강의 콘텐츠 서버(100)로부터 모니터링 서버(300)로 얼굴 이미지를 전송하거나 모니터링 서버(300)가 사용자 단말(200)에서 전송되는 촬영된 이미지를 수집할 수 있다.
모니터링 서버(300)는 수집한 얼굴 이미지에서 추출한 특징점들이 매칭되는 정보가 있는지 미리 저장된 사용자 DB에서 검색할 수 있다.
이에, 모니터링 서버(300)는 매칭되는 정보가 있는 경우, 안면 인식을 인증하고, 매칭되는 정보가 없는 경우에는 안면 인식을 불인증하는 결과 데이터를 생성한다.
모니터링 서버(300)는 안면 인식 결과에 기초하여 사용자 인증을 확인한다(S120).
모니터링 서버(300)는 안면 인식 결과를 연동되는 강의 콘텐츠 서버(100)에 전송하고, 강의 콘텐츠 서버(100)는 안면 인식 결과에 따라 접속 권한을 허용하여 강의 콘텐츠를 제공하거나 회원 가입 페이지를 제공할 수 있다.
다음으로 모니터링 서버(300)는 강의 콘텐츠가 제공되는 시점부터 사용자를 촬영한 이미지를 실시간으로 수집한다(S130).
모니터링 서버(300)는 강의 콘텐츠가 재생되는 시간 동안 실시간으로 사용자 얼굴을 촬영한 이미지를 수집한다.
그리고 모니터링 서버(300)는 이미지를 분석하여 이미지에서 특징점들을 추출한다(S140).
모니터링 서버(300)는 이미지에 대해서 안면 인식을 수행하기 위한 하나 이상의 관심 영역과 심박수 측정을 위한 하나 이상의 관심영역을 설정하고 각각의 관심 영역에서 특징점들을 추출할 수 있다.
그리고 모니터링 서버(300)는 미세한 혈류 변화 영역에 기초하여 사용자의 심박수를 측정하여 누적 카운트한다(S150).
모니터링 서버(300)는 혈류 변화 영역에 기초하여 혈류 변화 성분을 심박 신호로 변환하여 심박수를 측정할 수 있다.
모니터링 서버(300)는 측정된 심박수를 강의 콘텐츠가 재생되는 시간동안 누적하여 카운트한다.
한편, 모니터링 서버(300)는 측정된 심박수가 0이되거나 심박수를 측정할 수 없다고 판단되면, 심박수 측정 불가에 대한 메시지를 생성하여 강의 콘텐츠 서버(100)로 전송할 수 있다.
이때, 강의 콘텐츠 서버(100)는 수신한 메시지에 대응하여 강의 콘텐츠 제공을 중단하거나 경고 메시지를 사용자 단말(200)에 제공할 수 있다.
그리고 모니터링 서버(300)는 특정점들에 기초하여 안면 인식을 수행하며, 인증시 안면 인식 결과와 일치하면 누적 카운트한다(S160).
이때, 모니터링 서버(300)는 안면 인식을 수행하는 횟수와 인식 결과 인증된 횟수를 각각 누적하여 카운트할 수 있다.
다음으로, 강의 콘텐츠가 완료되면 모니터링 서버(300)는 강의 콘텐츠 재생 시간에 따른 심박수 누적 카운트 및 안면 인식 누적 카운트에 기초하여 수강 수료 여부 판단한다(S170).
도 4에 도시한 바와 같이, 모니터링 서버(300)는 제공된 강의 콘텐츠의 수료 기준이 되는 수강률과 사용자의 성별 또는 연령대의 최소 심박수를 이용하여 수료 기준 심박수 산출한다(S171).
여기서, 수료 기준 심박수에는 최소 심박수이외에도 평균 심박수를 이용할 수 있다.
다시 말해, 수료 기준 심박수는 재생 시간(초) x 성별 또는 연령대의 최소 심박수 x 수료 기준이 되는 수강률로 나타낼 수 있다.
예를 들어, 10분 강의 영상에서 20대 성인 남성의 기준으로 최소 심박수가 60회, 수료 기준이 되는 수강률은 70%라고 한다면, 수료 기준 심박수는 600x60x70% 로 25200 이 된다.
한편, 수료 기준 심박수는 해당 강의 콘텐츠가 등록되면서 설정된 시간과 수강률을 기준으로 성별 또는 연령대별 최소 심박수를 이용하여 성별 또는 연령대별로 미리 산출되어 테이블에 저장될 수 있다.
이에 모니터링 서버(300)는 사용자의 성별 그리고 연령대를 기준으로 해당 강의의 수료 기준 심박수를 저장된 테이블에서 검색하여 설정할 수 있다.
다음으로 모니터링 서버(300)는 강의 콘텐츠 재생 시간에 따른 수료 기준 심박수와 심박수 누적 카운트를 비교한다(S172).
이에 모니터링 서버(300)는 수료 기준 심박수보다 심박수 누적 카운트가 작은 값을 가지면 해당 강의 콘텐츠의 사용자 수강 수료를 불인증한다(S173).
반면 모니터링 서버(300)는 심박수 누적 카운트가 수료 기준 심박수와 같거나 큰 값을 가지면, 수료 기준 횟수와 안면 인식 누적 카운트를 비교한다(S174).
이에 모니터링 서버(300)는 수료 기준 횟수보다 안면 인식 누적 카운트가 작은 값을 가지면 해당 강의 콘텐츠의 사용자 수강 수료를 불인증하고(S175) 안면 인식 누적 카운트가 수료 기준 횟수와 같거나 큰 값을 가지면 최종 해당 강의 콘텐츠의 사용자 수강 수료를 인증한다(S176).
다시 말해, 모니터링 서버(300)는 심박수 누적 카운트가 수료 기준 심박수와 같거나 큰 값을 가지면서, 안면 인식 누적 카운트가 수료 기준 횟수와 같거나 큰 값을 가지면 수강을 인증할 수 있다.
그리고 모니터링 서버(300)는 사용자의 해당 강의 콘텐츠에 대한 수료 판단 결과를 별도의 데이터베이스에 저장하면서, 강의 콘텐츠 서버(100)로 전송할 수 있다.
이에 강의 콘텐츠 서버(100)는 수강 수료 판단 결과에 기초하여 강의 콘텐츠의 수강 완료 또는 미완료를 결정한다.
여기서, 데이터베이스에 저장된 판단 결과는 강의 콘텐츠 재생 시간과 함께, 추후에 해당 강의 수료에 대한 근거 자료로 활용가능하다.
한편, 설명의 편의상 S150와 S160 단계로 구분하여 설명하였지만, 해당 단계는 동시에 별도로 구현될 수 있으며, 이와 마찬가지로, S172 단계와 S174 단계는 서로 변경되어 구현될 수 있다.
도 5에 도시한 바와 같이, 사용자 얼굴을 촬영한 이미지는 시간이 변함에 따라 사용자의 움직임에 따라 변하게 된다.
이때, 모니터링 서버(300)는 설정된 관심영역들을 추적하여 설정하고, 각 관심 영역에서 움직임 또는 PPG 단서를 추정할 수 있다.
그리고 모니터링 서버(300)는 노이즈를 필터링하는 전처리 작업을 수행할 수 있다. 이에, 전처리된 관심 영역에서의 움직임 또는 PPG 단서를 이용하여 PPG 확률 모델을 통해 심박 신호를 측정할 수 있다.
그리고 모니터링 서버(300)는 측정한 심박 신호에 따라 사용자의 심박수를 측정할 수 있다.
이와 같이 본 발명에 따르면, 강의를 수강하는 사용자의 얼굴 인식과 생체 신호 측정을 함께 수행함으로써, 사용자의 실제 수강 여부를 정확하게 판단할 수 있어 강의 수료에 대한 신뢰성을 향상시킬 수 있다.
컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 매체는 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 여기서 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함된다.
이상에서 본 발명의 바람직한 하나의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (14)

  1. 사용자 단말에 강의 콘텐츠를 제공하는 강의 콘텐츠 서버와 네트워크로 연결된 모니터링 서버에 있어서,
    상기 강의 콘텐츠가 제공되는 시점부터 사용자의 얼굴을 촬영한 이미지를 실시간으로 수집하는 영상 수집부,
    상기 이미지에서 혈류 변화가 일어나는 영역을 포함하는 하나 이상의 관심영역을 설정하고, 상기 관심영역에서 특징점들을 추출하는 영상 분석부,
    일정 시간 간격마다 상기 특징점들을 이용하여 상기 사용자의 안면 인식을 수행하는 안면 인식부,
    실시간으로 상기 관심 영역으로부터 혈류 변화를 감지하여 맥박 신호를 검출하는 신호 검출부, 그리고
    상기 강의 콘텐츠의 재생 시간에 따른 안면 인식 결과와 검출된 맥박 신호에 기초하여 상기 강의 콘텐츠의 사용자 수강 수료 여부를 판단하는 수료 판단부를 포함하는 모니터링 서버.
  2. 제1항에서,
    상기 영상 분석부는,
    실시간으로 수집되는 이미지에서 사용자의 움직임에 따른 잡음을 제거하고 설정된 관심 영역들을 추적하는 모니터링 서버.
  3. 제2항에서,
    상기 맥박 신호 검출부는,
    상기 혈류 변화가 일어나는 영역에서 혈류 변화 성분을 심박 신호로 변환하여 상기 심박 신호에 따른 심박수를 측정하면, 상기 강의 컨텐츠 제공 시간 동안 측정된 심박수를 누적하여 카운트하는 모니터링 서버.
  4. 제3항에서,
    상기 수료 판단부는,
    상기 강의 콘텐츠의 수료 기준이 되는 수강률과 상기 사용자의 성별 또는 연령대의 최소 심박수를 이용하여 산출된 수료 기준 심박수와 상기 심박수 누적 카운트를 비교하여 상기 심박수 누적 카운트가 같거나 큰 값을 가지면 수강 수료의 제1 조건을 승인하는 모니터링 서버.
  5. 제4항에서,
    상기 안면 인식부는,
    추출된 상기 특징점들과 상기 사용자 얼굴에 대한 미리 저장된 특징점들이 매칭되면 상기 안면 인식을 승인하고,
    상기 안면 인식을 수행한 횟수와 상기 안면 인식 결과로 승인된 횟수를 각각 누적하여 카운트하는 모니터링 서버.
  6. 제5항에서,
    상기 수료 판단부는,
    상기 강의 콘텐츠에 설정된 수료 기준 횟수와 상기 안면 인식 누적 카운트를 비교하여 상기 안면 인식 누적 카운트가 같거나 큰 값을 가지면 수강 수료의 제2 조건을 승인하는 모니터링 서버.
  7. 제6항에서,
    상기 수료 판단부는,
    상기 제1 조건과 상기 제2 조건을 모두 승인하는 경우, 상기 사용자 수강 수료를 인증하는 모니터링 서버.
  8. 적어도 하나의 프로세서에 의해 동작하는 모니터링 서버의 동작 방법으로서,
    연동하는 강의 콘텐츠 서버가 사용자 단말에 강의 콘텐츠를 제공하는 시점부터 상기 사용자 단말로부터 촬영된 사용자의 얼굴 이미지를 실시간으로 수집하는 단계,
    상기 얼굴 이미지에서 혈류 변화가 일어나는 영역을 포함하는 하나 이상의 관심영역을 설정하고, 상기 관심영역에서 특징점들을 추출하는 단계,
    실시간으로 상기 관심 영역으로부터 혈류 변화를 감지하여 맥박 신호를 검출하는 단계,
    일정 시간 간격마다 상기 특징점들로부터 상기 사용자의 안면 인식을 수행하는 단계, 그리고
    상기 강의 콘텐츠의 재생 시간에 따른 안면 인식 결과와 검출된 맥박 신호에 기초하여 상기 강의 콘텐츠의 사용자 수강 수료 여부를 판단하는 단계를
    포함하는 동작 방법.
  9. 제8항에서,
    상기 맥박 신호를 검출하는 단계는,
    상기 맥박 신호가 0으로 검출할 수 없다고 판단되면, 심박수 측정 불가에 대한 메시지를 생성하여 상기 강의 콘텐츠 서버로 전송하고,
    상기 강의 콘텐츠 서버는,
    상기 메시지에 대응하여 강의 콘텐츠 제공을 중단하거나 경고 메시지를 사용자 단말에 제공하는 동작 방법.
  10. 제8항에서,
    상기 맥박 신호를 검출하는 단계는,
    상기 혈류 변화가 일어나는 영역에서 혈류 변화 성분을 심박 신호로 변환하고, 상기 심박 신호에 따른 심박수를 측정하면,
    상기 강의 컨텐츠 제공 시간 동안 측정된 심박수를 누적하여 카운트하는 동작 방법.
  11. 제10항에서,
    상기 사용자 수강 수료 여부를 판단하는 단계는,
    상기 강의 콘텐츠의 수료 기준이 되는 수강률과 상기 사용자의 성별 또는 연령대의 최소 심박수를 이용하여 산출된 수료 기준 심박수와 심박수 누적 카운트를 비교하여 상기 심박수 누적 카운트가 같거나 큰 값을 가지면 상기 사용자의 수강 수료를 승인하는 동작 방법.
  12. 제10항에서,
    상기 사용자의 안면 인식을 수행하는 단계는,
    상기 안면 인식을 수행한 횟수와 상기 안면 인식 결과로 승인된 횟수를 각각 누적하여 카운트하는 동작 방법.
  13. 제11항에서,
    상기 사용자 수강 수료 여부를 판단하는 단계는,
    상기 강의 콘텐츠에 설정된 수료 기준 횟수와 상기 안면 인식 누적 카운트를 비교하여 상기 안면 인식 누적 카운트가 같거나 큰 값을 가지면 상기 사용자의 수강 수료를 승인하는 동작 방법.
  14. 제8항에서,
    상기 사용자 단말이 상기 강의 콘텐츠 서버에 로그인을 수행하는 과정에서 상기 사용자 단말로부터 사용자의 얼굴 이미지를 수집하는 단계,
    수집한 얼굴 이미지와 상기 사용자가 미리 등록한 얼굴 이미지를 비교하여 각각의 이미지에서 추출한 특징점들이 일치하면 안면 인식을 인증하는 단계, 그리고
    상기 안면 인식 결과를 상기 강의 콘텐츠 서버에 전송하는 단계
    를 더 포함하고,
    상기 강의 콘텐츠 서버는, 상기 안면 인식 결과에 기초하여 로그인을 승인하는 동작 방법.
KR1020200105414A 2020-08-21 2020-08-21 생체신호 감지를 이용한 온라인 강의 모니터링 시스템 및 그 방법 KR20220023547A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200105414A KR20220023547A (ko) 2020-08-21 2020-08-21 생체신호 감지를 이용한 온라인 강의 모니터링 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200105414A KR20220023547A (ko) 2020-08-21 2020-08-21 생체신호 감지를 이용한 온라인 강의 모니터링 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20220023547A true KR20220023547A (ko) 2022-03-02

Family

ID=80815561

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200105414A KR20220023547A (ko) 2020-08-21 2020-08-21 생체신호 감지를 이용한 온라인 강의 모니터링 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20220023547A (ko)

Similar Documents

Publication Publication Date Title
US20210000404A1 (en) Systems and methods for automated recognition of bodily expression of emotion
Fenu et al. A multi-biometric system for continuous student authentication in e-learning platforms
US20180308107A1 (en) Living-body detection based anti-cheating online research method, device and system
US9082011B2 (en) Person identification using ocular biometrics with liveness detection
US9223297B2 (en) Systems and methods for identifying a user of an electronic device
JP2019522278A (ja) 身分認証方法および装置
KR102554391B1 (ko) 홍채 인식 기반 사용자 인증 장치 및 방법
CN106156578A (zh) 身份验证方法和装置
CN106068512A (zh) 用于在移动装置上验证用户的方法和设备
WO2017177903A1 (zh) 一种实时手势检测的在线验证方法及系统
CN101216884A (zh) 一种人脸认证的方法及系统
KR20180050968A (ko) 온라인 시험 관리 방법
KR20160139221A (ko) 집중도 평가시스템
US11741986B2 (en) System and method for passive subject specific monitoring
US11934508B2 (en) Systems and methods including user authentication
Feng et al. Using eye aspect ratio to enhance fast and objective assessment of facial paralysis
CN107390864B (zh) 基于眼球轨迹追踪的网络调研方法、电子设备及存储介质
KR102615709B1 (ko) 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템 및 그 방법
KR20220023547A (ko) 생체신호 감지를 이용한 온라인 강의 모니터링 시스템 및 그 방법
CN110516426A (zh) 身份认证方法、认证终端、装置及可读存储介质
CN115906028A (zh) 用户身份验证方法、装置和自助服务终端
WO2022089220A1 (zh) 图像数据处理方法、装置、设备、存储介质及产品
JP6495153B2 (ja) 同一性判定システム及び同一性判定方法
US11321433B2 (en) Neurologically based encryption system and method of use
Chang et al. WiCapose: Multi-modal fusion based transparent authentication in mobile environments

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application