KR20220084462A - 얼굴인식을 이용한 강의 출결 확인 시스템 및 그 방법 - Google Patents

얼굴인식을 이용한 강의 출결 확인 시스템 및 그 방법 Download PDF

Info

Publication number
KR20220084462A
KR20220084462A KR1020200173944A KR20200173944A KR20220084462A KR 20220084462 A KR20220084462 A KR 20220084462A KR 1020200173944 A KR1020200173944 A KR 1020200173944A KR 20200173944 A KR20200173944 A KR 20200173944A KR 20220084462 A KR20220084462 A KR 20220084462A
Authority
KR
South Korea
Prior art keywords
lecture
student
attendance
students
instructor
Prior art date
Application number
KR1020200173944A
Other languages
English (en)
Inventor
이상헌
김현덕
손명규
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020200173944A priority Critical patent/KR20220084462A/ko
Publication of KR20220084462A publication Critical patent/KR20220084462A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Evolutionary Computation (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 얼굴인식을 이용한 강의 출결 확인 시스템 및 그 방법에 관한 것이다.
본 발명에 따르면, 강의 출결 시스템을 이용한 강의 출결 확인 방법에 있어서, 강의실에 설치되어 있는 복수의 카메라를 통해 강의실 내부를 촬영하는 단계, 촬영된 복수의 영상으로부터 현재 강의실에 존재하는 복수의 수강생 각각의 얼굴을 각각의 영상별로 검출하는 단계, 상기 검출된 각각의 얼굴 영상을 전처리하고, 상기 전처리된 얼굴 영상을 기 저장되어 있는 복수의 수강생의 얼굴 영상과 비교하여 각각의 얼굴을 인식하고, 얼굴 인식 여부를 이용하여 수강생 각각의 출결여부를 확인하는 단계, 상기 인식된 각각의 얼굴에 대해 특징점(Land Mark)을 추출하고, 상기 추출된 특징점을 통해 상기 각각의 얼굴에 대한 머리 자세 추정도(Head Pose Estimation), 시선 추정도 및 졸음 추정도를 연산하는 단계, 그리고 상기 수강생별 머리 자세 추정도(X), 시선 추정도(Y) 및 졸음 추정도(Z)를 이용하여 강의 몰입도를 판단하는 단계를 포함한다.

Description

얼굴인식을 이용한 강의 출결 확인 시스템 및 그 방법{SYSTEM FOR CHECKING LECTURE ATTENDANCE USING FACE RECOGNITION AND METHOD THEREOF}
본 발명은 얼굴인식을 이용한 강의 출결 확인 시스템 및 그 방법에 관한 것으로, 수강생의 얼굴인식을 통해 해당 강의 출결 여부를 확인하고 강의의 몰입도를 향상시키기 위한 얼굴인식을 이용한 강의 출결 확인 시스템 및 그 방법에 관한 것이다.
현재 대부분의 학교 등에서는 수강생의 출결 관리를 출석부 등을 이용하여 수기로 하고 있다. 출석부를 이용한 수기 출결체크는 선생이 출석 학생의 얼굴을 확인하면서 호명하여 수행한다면 나름 정확성을 기할 수 있지만, 학생들의 얼굴을 일일이 확인하지 않는 것이 일반적이고 그렇기 때문에 대리 출석 등을 방지할 수 없는 것이 현실이다.
학생들의 출결 사항이 학점과 직결되기 때문에 수기관리로 인한 오류 및 누락 등에 의해서 학생과 선생 간의 불필요한 분쟁이 발생할 수 있고, 상기 출석부의 정보는 학교관리자와 공유가 필요한데 출석부의 분실, 오류 및 누락 등으로 인하여 이를 해결하기 위한 행정적인 문제점이 발생하는 등 다양한 문제점이 발생하고 있다.
이러한 문제점을 해결하기 위해 학교와 같이 수강생들에 대한 출결 체크가 중요한 장소에서는 각종 전자출결 시스템을 이용하여 수강생의 출결을 확인하고 있다.
이러한 무선 통신 단말기를 이용한 전자출결 시스템은, 수강생 단말기가 강의실에 설치된 무선 통신 단말기의 식별 정보를 근거리 무선 통신을 통해 획득하여 출결 인증 서버에 전송하게 되고, 수강생 단말기로부터 강의실에 설치된 무선 통신 단말기의 식별 정보, 수강생 단말기의 식별 정보 및 수강생 고유 정보를 수신한 출결 인증 서버가 수신된 정보들을 기초로 해당 수강생의 수업 시간표와 최종 비교하여 출결을 인증하는 방식이다.
하지만, 이러한 기존의 무선 통신 단말기를 이용한 전자출결 시스템은, 무선 강의실에 설치된 무선 통신 단말기의 식별 정보가 송수신됨에 따라 조건 없이 손쉽게 노출됨으로써, 수강생이 아닌 외부인 단말기의 무선 통신 단말기 식별 정보 획득을 통한 출결 인증이 가능해지는 출결 인증 시스템 악용의 문제가 발생할 수 있다.
즉, 수강생들에게 출결 인증 시스템 이용에 대한 편의성을 제공함과 동시에 전자 출결 시스템의 보안성을 향상시킬 수 있도록 하는 출결 인증 서비스 제공 방법에 대한 요구가 점차 증대되고 있으며, 상술한 문제점을 해결하기 위한 방안이 시급한 실정이다
본 발명의 배경이 되는 기술은 대한민국 등록특허 제10-1857023호(2018.05.14 공고)에 개시되어 있다.
본 발명이 이루고자 하는 기술적 과제는 수강생의 얼굴인식을 통해 해당 강의 출결 여부를 확인하고 강의의 몰입도를 향상시키기 위한 얼굴인식을 이용한 강의 출결 확인 시스템 및 그 방법을 제공하기 위한 것이다.
이러한 기술적 과제를 이루기 위한 본 발명의 실시예에 따르면, 강의 출결 시스템을 이용한 강의 출결 확인 방법에 있어서, 강의실에 설치되어 있는 복수의 카메라를 통해 강의실 내부를 촬영하는 단계, 촬영된 복수의 영상으로부터 현재 강의실에 존재하는 복수의 수강생 각각의 얼굴을 각각의 영상별로 검출하는 단계, 상기 검출된 각각의 얼굴 영상을 전처리하고, 상기 전처리된 얼굴 영상을 기 저장되어 있는 복수의 수강생의 얼굴 영상과 비교하여 각각의 얼굴을 인식하고, 얼굴 인식 여부를 이용하여 수강생 각각의 출결여부를 확인하는 단계, 상기 인식된 각각의 얼굴에 대해 특징점(Land Mark)을 추출하고, 상기 추출된 특징점을 통해 상기 각각의 얼굴에 대한 머리 자세 추정도(Head Pose Estimation), 시선 추정도 및 졸음 추정도를 연산하는 단계, 그리고 상기 수강생별 머리 자세 추정도(X), 시선 추정도(Y) 및 졸음 추정도(Z)를 이용하여 강의 몰입도를 판단하는 단계를 포함한다.
상기 복수의 수강생이 착석하고 있는 각각의 좌석에 대하여 좌석별 졸음도를 연산하는 단계, 그리고 상기 좌석별 졸음도와 수강생별 졸음 빈도를 이용하여 다음 강의에서 각각의 수강생별로 착석할 좌석을 배정하는 단계를 더 포함할 수 있다.
상기 수강생 각각의 출결여부를 확인하는 단계는, 상기 검출된 복수의 수강생 각각의 얼굴에 대한 영상을 딥러닝 알고리즘에 적용하여 상기 복수의 수강생 각각의 얼굴을 인식하여 출결여부를 확인할 수 있다,
상기 머리 자세 추정도(X)를 연산하는 단계는, 상기 추출된 특징점을 Perspective-N-Point 알고리즘에 적용하여 머리 자세에 대한 3차원 좌표를 획득하는 단계, 상기 3차원 좌표를 이용하여 강의 시간 중에서 상기 수강생이 강사 방향을 주시하는 시간(T1)과 다른 방향을 주시하는 시간(T2)을 각각 추출하는 단계, 상기 수강생이 강사 방향을 주시하는 상태에서 다른 방향을 주시하는 상태로 변경했다가 다시 강사 방향을 주시할 경우에서의 확률이 기준 확률 값보다 작은지 비교하는 단계, 상기 다시 강사 방향을 주시할 경우에서의 확률이 상기 기준 확률 값보다 작은 경우, 전체 강의 시간 대비 상기 수강생이 강사 방향을 주시하는 시간의 누적 시간 비율을 이용하여 상기 머리 자세 추정도(X)를 연산할 수 있다.
상기 시선 추정도(Y)를 연산하는 단계는, 상기 추출된 특징점을 초 해상도(Super Resolution) 알고리즘에 적용하여 상기 수강생의 눈 부분을 추출하는 단계, 상기 추출된 눈 부분을 눈동자를 시선 추정(Gaze Estimation) 알고리즘에 적용하여 눈동자의 위치 좌표를 추출하는 단계, 상기 추출된 눈동자의 위치 좌표를 이용하여 상기 수강생의 눈이 강사를 주시하는 시간(T3)과 다른 방향을 주시하는 시간(T4)을 각각 추출하는 단계, 상기 수강생이 강사 방향을 주시하는 상태에서 다른 방향을 주시하는 상태로 변경했다가 다시 강사 방향을 주시할 경우에의 확률이 기준 확률 값보다 작은지 비교하는 단계, 상기 다시 강사 방향을 주시할 경우에서의 확률이 상기 기준 확률 값보다 작은 경우, 전체 강의 시간 대비 상기 수강생이 강사를 주시하는 시간의 누적 시간 비율을 이용하여 상기 시선 추정도(Y)를 연산할 수 있다.
상기 졸음 추정도(Z)를 연산하는 단계는, 상기 추출된 특징점을 딥 러닝 알고리즘에 적용하여 상기 수강생의 눈을 감는 시간(T5)과 하품한 횟수(N)를 검출하는 단계, 상기 검출된 상기 수강생의 눈을 감는 시간(T5)과 하품한 횟수(N)를 이용하여 상기 졸음 추정도(Z)를 연산할 수 있다.
상기 강의 몰입도(A)를 판단하는 단계는, 아래의 수학식을 이용하여 상기 강의 몰입도를 연산할 수 있다.
Figure pat00001
여기서, α, β 및 δ는 상기 머리 자세 추정도(X), 시선 추정도(Y) 및 졸음 추정도(Z)의 계수이다.
상기 좌석별 졸음도를 연산하는 단계는, 해당 좌석에 복수의 수강생이 착석한 횟수대비 졸고 있는 것으로 판단된 수강생의 수를 이용하여 해당되는 좌석별 졸음도를 연산할 수 있다.
상기 좌석을 배정하는 단계는, 졸음 빈도가 높은 수강생별로 순차적으로 졸음도가 낮은 좌석을 배정할 수 있다.
본 발명의 다른 실시예에 따르면, 강의 출결 확인을 위한 강의 출결 시스템에 있어서, 강의실에 설치되어 있는 복수의 카메라를 통해 강의실 내부를 촬영하는 촬영부, 촬영된 복수의 영상으로부터 현재 강의실에 존재하는 복수의 수강생 각각의 얼굴을 각각의 영상별로 검출하는 검출부, 상기 검출된 각각의 얼굴 영상을 전처리하고, 상기 전처리된 얼굴 영상을 기 저장되어 있는 복수의 수강생의 얼굴 영상과 비교하여 각각의 얼굴을 인식하고, 얼굴 인식 여부를 이용하여 수강생 각각의 출결여부를 확인하는 출결 확인부, 상기 인식된 각각의 얼굴에 대해 특징점(Land Mark)을 추출하고, 상기 추출된 특징점을 통해 상기 각각의 얼굴에 대한 머리 자세 추정도(Head Pose Estimation), 시선 추정도 및 졸음 추정도를 연산하는 제어부, 그리고 상기 수강생별 머리 자세 추정도(X), 시선 추정도(Y) 및 졸음 추정도(Z)를 이용하여 강의 몰입도를 판단하는 몰입도 판단부를 포함한다.
이와 같이 본 발명에 따르면, 얼굴인식을 통해 다중의 수강생의 출결을 관리함으로써, 기존의 카드를 이용한 출결 확인 시스템보다 적은 비용 및 적은 장비로 서비스를 제공할 수 있다.
또한, 수강생 각각의 얼굴에 대한 머리 자세 추정도, 시선 추정도 및 졸음여부를 빅데이터화 하여 강의에 대한 몰입도를 향상시키고 강의의 질을 정확하게 평가할 수 있다.
도 1은 본 발명의 실시예에 따른 강의 출결 확인 시스템을 설명하기 위한 예시도이다.
도 2는 본 발명의 실시예에 따른 강의 출결 확인 시스템의 구성을 설명하기 위한 도면이다.
도 3은 본 발명의 실시예에 따른 강의 출결 확인 방법을 설명하기 위한 순서도이다.
도 4는 도 3의 S340 단계를 설명하기 위한 도면이다.
도 5는 본 발명의 실시예에 따른 좌석별 졸음도를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 수강생별 졸음 빈도를 설명하기 위한 예시도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시 예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
이하에서는 도 1 및 도 2를 이용하여 본 발명의 실시예에 따른 강의 출결 확인 시스템을 설명한다.
도 1은 본 발명의 실시예에 따른 강의 출결 확인 시스템을 설명하기 위한 예시도이다.
도 1에서 나타낸 것처럼 본 발명의 실시예에 따른 강의 출결 확인 시스템(100)은 강의실에 설치된 촬영영상을 수신하고 수신된 영상을 이용하여 해당 강의실에 존재하는 각각의 수강생의 출결 여부, 강의 몰입도 및 졸음 여부를 추출한다.
본 발명의 실시예에 따른 강의 출결 확인 시스템(100)은 강의실내 설치된 카메라로부터 촬영된 영상을 통하여 수강생의 얼굴 검출 및 인식, 수강생의 DB와 매칭, 전자 출력 서비스를 위한 조회 및 관리등의 기능을 수행한다.
또한, 본 발명의 실시예에 따른 강의 출결 확인 시스템(100)은 추출된 각각의 수강생의 졸음 여부를 이용하여 다음 강의에 착석할 좌석을 수강생 별로 배정할 수 있다.
도 2는 본 발명의 실시예에 따른 강의 출결 확인 시스템의 구성을 설명하기 위한 도면이다.
도 2에서 나타낸 것처럼, 본 발명의 실시예에 따른 강의 출결 확인 시스템(100)은 촬영부(110), 검출부(120), 출결 확인부(130), 제어부(140), 몰입도 판단부(150), 졸음도 연산부(160) 및 좌석 배정부(170)를 포함한다.
먼저, 촬영부(110)는 강의실에 설치되어 있는 복수의 카메라를 통해 강의실 내부를 촬영한다.
이때, 강의실의 크기에 따라 설치되는 카메라의 개수는 변경될 수 있으며, 강의실의 크기가 커질수록 더 많은 개수의 카메라를 설치할 수 있다.
다음으로, 검출부(120)는 촬영된 복수의 영상으로부터 현재 강의실에 존재하는 복수의 수강생 각각의 얼굴을 각각의 영상별로 검출한다.
다음으로, 출결 확인부(130)는 검출된 각각의 얼굴 영상을 전처리하고, 전처리된 얼굴 영상을 기 저장되어 있는 복수의 수강생의 얼굴 영상과 비교하여 각각의 얼굴을 인식하고, 얼굴 인식 여부를 이용하여 수강생 각각의 출결여부를 확인한다.
즉, 출결 확인부(130)는 전처리된 얼굴 영상과 기 저장되어 있는 해당 강의의 수강생의 얼굴 영상을 비교하여 일치율이 기준 값보다 큰 것으로 판단되면, 해당 수강생은 출석한 것으로 판단한다.
또한, 출결 확인부(130)는 해당 강의가 시작되고 일정시간이 지난 후에 촬영된 얼굴 영상을 이용하여 현재 출석이 확인된 수강생의 강의 중 이탈여부를 확인한다.
다음으로, 제어부(140)는 인식된 각각의 얼굴에 대해 특징점(Land Mark)을 추출하고, 상기 추출된 특징점을 통해 상기 각각의 얼굴에 대한 머리 자세 추정도, 시선 추정도 및 졸음 추정도를 연산한다.
여기서, 제어부(140)는 특징점을 추출하기 위해 랜드마크 인식 알고리즘을 이용할 수 있으며, 랜드마크 인식 알고리즘은 CNN(Convolutional Neural Network) 알고리즘을 이용하여 얼굴의 돌출부위를 인식하는 방법을 나타낸다.
다음으로, 몰입도 판단부(150)는 해당 강의실에 착석한 전체 수강생 대비 졸고 있는 것으로 판단된 수강생의 비율을 이용하여 강의 몰입도를 판단한다.
다음으로, 졸음도 연산부(160)는 복수의 수강생이 착석하고 있는 각각의 좌석에 대하여 좌석별 졸음도를 연산한다.
다음으로, 좌석 배정부(170)는 좌석별 졸음도와 수강생별 졸음 빈도를 이용하여 다음 강의에서 각각의 수강생별로 착석할 좌석을 배정한다.
이하에서는 도 3 내지 도 6을 이용하여 본 발명의 실시예에 따른 강의 출결 시스템을 이용한 강의 출결 확인 방법을 설명한다.
도 3은 본 발명의 실시예에 따른 강의 출결 확인 방법을 설명하기 위한 순서도이다.
도 3에서 나타낸 것처럼, 촬영부(110)는 강의실에 설치되어 있는 복수의 카메라를 통해 강의실 내부를 촬영한다(S310).
이때, 복수의 카메라는 복수의 수강생이 앉는 좌석을 중심으로 촬영한다.
또한, 카메라의 개수는 복수의 수강생 각각의 얼굴을 검출하기 위해 강의실의 전면에 설치되는 카메라의 수가 후방에 설치되는 카메라의 수보다 더 많이 설치되는 것이 바람직하다.
다음으로, 검출부(120)는 촬영된 복수의 영상으로부터 현재 강의실에 존재하는 복수의 수강생 각각의 얼굴을 각각의 영상별로 검출한다(S320).
즉, 검출부(120)는 복수의 카메라 각각으로부터 촬영된 영상 각각에 대하여 복수의 수강생 각각의 얼굴을 검출한다.
이때, 각각의 촬영된 영상은 복수의 수강생의 측면 또는 정면 영상일 수 있다.
다음으로, 출결 확인부(130)는 검출된 각각의 얼굴 영상을 전처리하고, 기 저장되어 있는 복수의 수강생의 얼굴 영상과 비교하여 각각의 얼굴을 인식하고, 얼굴 인식 여부를 이용하여 복수의 수강생 각각의 출결여부를 확인한다(S330).
여기서, 출결 확인부(130)는 검출된 복수의 수강생 각각의 얼굴에 대한 영상을 딥러닝 알고리즘에 적용하여 전처리한다.
딥러닝 알고리즘을 통하여 얼굴을 인식하는 기술은 공지된 기술이므로 이하에서는 상세한 설명은 생략한다.
즉, 출결 확인부(130)는 복수개의 카메라로 촬영된 복수의 수강생 각각의 얼굴을 딥러닝 알고리즘에 적용하여 복수의 수강생 각각의 얼굴을 하나의 얼굴로 전처리한다.
그러면, 출결 확인부(130)는 전처리된 복수의 수강생 각각의 얼굴과 기 저장되어 있는 복수의 수강생의 얼굴 영상과 비교하여 각각의 얼굴을 인식하고, 얼굴 인식 여부를 이용하여 복수의 수강생 각각의 출결여부를 확인한다.
이때, 출결 확인부(130)는 전처리된 수강생 각각의 얼굴과 기 저장되어 있는 수강생의 얼굴 영상의 일치율을 연산하고, 연산된 일치율이 기준 값 이상인 경우, 해당 수강생의 출석을 확인한다.
다음으로, 제어부(140)는 머리자세 추정도 및 시선 추정도를 획득하기 위하여 각각의 인식된 얼굴에 대한 특징점을 추출한다(S340).
도 4는 도 3의 S340 단계를 설명하기 위한 도면이다.
즉, 도 4에서 나타낸 것처럼, 제어부(140)는 각각의 수강생의 얼굴 영상 각각에 대하여 해당 얼굴의 윤곽, 돌출부위 또는 얼굴의 색이 변화되는 지점을 랜드마크 인식 알고리즘을 통하여 특징점으로 추출한다.
다음으로, 제어부(140)는 추출된 특징점을 이용하여 각각의 수강생에 대한 머리 자세 추정도를 연산한다(S350).
먼저, 제어부(140)는 추출된 특징점을 Perspective-N-Point 알고리즘에 적용하여 머리 자세에 대한 3차원 좌표를 획득한다.
여기서, Perspective-N-Point 알고리즘은 각각의 점에 대한 3차원 좌표를 획득하기 위한 알고리즘으로, 본 발명의 실시예에 따르면, 각각의 수강생의 머리에 대한 3차원 좌표를 획득하기 위해 이용한다.
다음으로, 제어부(140)는 획득한 3차원 좌표를 이용하여 강의 시간 중에서 수강생이 강사를 주시하는 시간(T1)과 다른 쪽을 주시하는 시간(T2)을 각각 추출한다.
그리고, 제어부(140)는 수강생이 강사를 주시하는 상태에서 다른 쪽을 주시하는 상태로 변경되어 다시 강사를 주시할 경우에의 확률이 기준 확률 값보다 작은지 비교한다.
이때, 다시 강사를 주시할 경우에의 확률은 전체 수강생 대비 수강생이 강사를 주시하는 상태에서 다른 쪽을 주시하는 상태로 변경되어 다시 강사를 주시하는 수강생의 비율을 의미한다.
이때, 다시 강사를 주시할 경우에의 확률이 기준 확률 값보다 작은 경우, 제어부(140)는 전체 강의 시간 대비 수강생이 강사를 주시하는 시간의 누적 시간 비율을 이용하여 머리 자세 추정도(X)를 연산한다.
여기서, 제어부(140)는 아래의 수학식 1을 이용하여 머리 자세 추정도(X)를 연산한다.
Figure pat00002
여기서, a는 머리 자세 추정도의 계수이다.
다음으로, 제어부(140)는 추출된 특징점을 이용하여 각각의 수강생에 대한 시선 추정도를 연산한다(S360).
먼저, 제어부(140)는 추출된 특징점을 초 해상도(Super Resolution) 알고리즘에 적용하여 수강생의 눈 부분을 추출한다.
이때, 초 해상도 알고리즘은 딥러닝 알고리즘을 이용하여 저 해상도의 영상을 고 해상도의 영상으로 보정하는 알고리즘으로, 본 발명의 실시예에서는 수강생 각각의 눈 부분을 추출하기 위해 사용된다.
다음으로, 제어부(140)는 추출된 눈 부분을 눈동자를 시선 추정(Gaze Estimation) 알고리즘에 적용하여 눈동자의 위치 좌표를 추출하고, 추출된 눈동자의 위치 좌표를 이용하여 수강생의 눈이 강사를 주시하는 시간(T3)과 다른 방향을 주시하는 시간(T4)을 각각 추출한다.
그러면, 제어부(140)는 수강생이 강사 방향을 주시하는 상태에서 다른 방향을 주시하는 상태로 변경했다가 다시 강사 방향을 주시할 경우에의 확률이 기준 확률 값보다 작은지 비교한다.
다음으로, 제어부(140)는 다시 강사 방향을 주시할 경우에서의 확률이 기준 확률 값보다 작은 경우, 전체 강의 시간 대비 수강생이 강사를 주시하는 시간의 누적 시간 비율을 이용하여 시선 추정도(Y)를 연산한다.
이때, 제어부(140)는 아래의 수학식 2를 이용하여 시선 추정도(Y)를 연산한다.
Figure pat00003
여기서, b는 시선 추정도(Y)의 계수이다.
다음으로, 제어부(140)는 추출된 특징점을 이용하여 각각의 수강생에 대한 졸음 추정도를 연산한다(S370).
이때, 제어부(140)는 추출된 특징점을 딥 러닝 알고리즘에 적용하여 수강생의 눈을 감는 시간(T5)과 하품한 횟수(N)를 검출하고, 검출된 수강생의 눈을 감는 시간(T5)과 하품한 횟수(N)를 이용하여 졸음 추정도(Z)를 연산한다.
여기서, 제어부(140)는 아래의 수학식 3을 이용하여 졸음 추정도(Z)를 연산한다.
Figure pat00004
여기서, c 및 d는 수강생의 눈을 감는 시간(T5)과 하품한 횟수(N) 각각의 계수이다.
다음으로, 몰입도 판단부(150)는 머리 자세 추정도(X), 시선 추정도(Y) 및 상기 졸음 추정도(Z)를 이용하여 강의 몰입도(A)를 판단한다(S380).
이때, 몰입도 판단부(150)는 아래의 수학식 4를 이용하여 강의 몰입도(A)를 연산한다.
Figure pat00005
여기서, α, β 및 δ는 상기 머리 자세 추정도(X), 시선 추정도(Y) 및 졸음 추정도(Z)의 계수이다.
다음으로, 졸음도 연산부(160)는 복수의 수강생이 착석하고 있는 각각의 좌석에 대하여 좌석별 졸음도를 연산한다(S390).
도 5는 본 발명의 실시예에 따른 좌석별 졸음도를 나타낸 도면이다.
즉, 도 5에서 나타낸 것처럼, 졸음도 연산부(160)는 각각의 좌석(a, b ?? ,l)에 대한 좌석별 졸음도를 연산한다.
이때, 졸음도 연산부(160)는 해당 좌석에 복수의 수강생이 착석한 횟수대비 졸고 있는 것으로 판단된 수강생의 수를 이용하여 좌석별 졸음도를 연산한다.
예를 들어, 해당 좌석에 앉았던 전체 수강생이 30명이었고, 이중에 12명의 수강생이 졸고 있는 것으로 연산된 경우, 해당 좌석의 졸음도는 40%로 결정된다.
다음으로, 좌석 배정부(170)는 좌석별 졸음도와 수강생별 졸음 빈도를 이용하여 다음 강의에서 각각의 수강생별로 착석할 좌석을 배정한다(S390).
도 6은 본 발명의 실시예에 따른 수강생별 졸음 빈도를 설명하기 위한 예시도이다.
즉, 좌석 배정부(170)는 도 6에서 나타낸 수강생별 졸음 빈도를 이용하여 다음 강의에서 각각의 수강생별로 착석할 좌석을 배정한다.
이때, 좌석 배정부(170)는 졸음 빈도가 높은 수강생별로 순차적으로 졸음도가 낮은 좌석을 배정한다.
예를 들어, 전체 수강생 중에서 수강생 2의 졸음 빈도가 가장 높은 경우, 좌석 배정부(170)는 다음 강의에서 착석할 좌석을 좌석(c)로 배정한다.
이와 같이 본 발명에 따르면, 얼굴인식을 통해 다중의 수강생의 출결을 관리함으로써, 기존의 카드를 이용한 출결 확인 시스템보다 적은 비용 및 적은 장비로 서비스를 제공할 수 있다.
또한, 수강생 각각의 얼굴에 대한 머리 자세 추정도, 시선 추정도 및 졸음여부를 빅데이터화하여 강의에 대한 몰입도를 향상시키고 강의의 질을 정확하게 평가할 수 있다.
본 발명은 도면에 도시된 실시 예를 참고로 설명 되었으나 이는 예시적인 것이 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 강의 출결 확인 시스템, 110: 촬영부,
120: 검출부, 130: 출결 확인부,
140: 제어부, 150: 몰입도 판단부,
160: 졸음도 연산부, 170: 좌석 배정부

Claims (18)

  1. 강의 출결 시스템을 이용한 강의 출결 확인 방법에 있어서,
    강의실에 설치되어 있는 복수의 카메라를 통해 강의실 내부를 촬영하는 단계,
    촬영된 복수의 영상으로부터 현재 강의실에 존재하는 복수의 수강생 각각의 얼굴을 각각의 영상별로 검출하는 단계,
    상기 검출된 각각의 얼굴 영상을 전처리하고, 상기 전처리된 얼굴 영상을 기 저장되어 있는 복수의 수강생의 얼굴 영상과 비교하여 각각의 얼굴을 인식하고, 얼굴 인식 여부를 이용하여 수강생 각각의 출결여부를 확인하는 단계,
    상기 인식된 각각의 얼굴에 대해 특징점(Land Mark)을 추출하고, 상기 추출된 특징점을 통해 상기 각각의 얼굴에 대한 머리 자세 추정도(Head Pose Estimation), 시선 추정도 및 졸음 추정도를 연산하는 단계, 그리고
    상기 수강생별 머리 자세 추정도(X), 시선 추정도(Y) 및 졸음 추정도(Z)를 이용하여 강의 몰입도를 판단하는 단계를 포함하는 강의 출결 확인 방법.
  2. 제1항에 있어서,
    상기 복수의 수강생이 착석하고 있는 각각의 좌석에 대하여 좌석별 졸음도를 연산하는 단계, 그리고
    상기 좌석별 졸음도와 수강생별 졸음 빈도를 이용하여 다음 강의에서 각각의 수강생별로 착석할 좌석을 배정하는 단계를 더 포함하는 강의 출결 확인 방법.
  3. 제2항에 있어서,
    상기 수강생 각각의 출결여부를 확인하는 단계는,
    상기 검출된 복수의 수강생 각각의 얼굴에 대한 영상을 딥러닝 알고리즘에 적용하여 상기 복수의 수강생 각각의 얼굴을 인식하여 출결여부를 확인하는 강의 출결 확인 방법.
  4. 제2항에 있어서,
    상기 머리 자세 추정도(X)를 연산하는 단계는,
    상기 추출된 특징점을 Perspective-N-Point 알고리즘에 적용하여 머리 자세에 대한 3차원 좌표를 획득하는 단계,
    상기 3차원 좌표를 이용하여 강의 시간 중에서 상기 수강생이 강사 방향을 주시하는 시간(T1)과 다른 방향을 주시하는 시간(T2)을 각각 추출하는 단계,
    상기 수강생이 강사 방향을 주시하는 상태에서 다른 방향을 주시하는 상태로 변경했다가 다시 강사 방향을 주시할 경우에서의 확률이 기준 확률 값보다 작은지 비교하는 단계,
    상기 다시 강사 방향을 주시할 경우에서의 확률이 상기 기준 확률 값보다 작은 경우, 전체 강의 시간 대비 상기 수강생이 강사 방향을 주시하는 시간의 누적 시간 비율을 이용하여 상기 머리 자세 추정도(X)를 연산하는 강의 출결 확인 방법.
  5. 제2항에 있어서,
    상기 시선 추정도(Y)를 연산하는 단계는,
    상기 추출된 특징점을 초 해상도(Super Resolution) 알고리즘에 적용하여 상기 수강생의 눈 부분을 추출하는 단계,
    상기 추출된 눈 부분을 눈동자를 시선 추정(Gaze Estimation) 알고리즘에 적용하여 눈동자의 위치 좌표를 추출하는 단계,
    상기 추출된 눈동자의 위치 좌표를 이용하여 상기 수강생의 눈이 강사를 주시하는 시간(T3)과 다른 방향을 주시하는 시간(T4)을 각각 추출하는 단계,
    상기 수강생이 강사 방향을 주시하는 상태에서 다른 방향을 주시하는 상태로 변경했다가 다시 강사 방향을 주시할 경우에의 확률이 기준 확률 값보다 작은지 비교하는 단계,
    상기 다시 강사 방향을 주시할 경우에서의 확률이 상기 기준 확률 값보다 작은 경우, 전체 강의 시간 대비 상기 수강생이 강사를 주시하는 시간의 누적 시간 비율을 이용하여 상기 시선 추정도(Y)를 연산하는 강의 출결 확인 방법.
  6. 제2항에 있어서,
    상기 졸음 추정도(Z)를 연산하는 단계는,
    상기 추출된 특징점을 딥 러닝 알고리즘에 적용하여 상기 수강생의 눈을 감는 시간(T5)과 하품한 횟수(N)를 검출하는 단계,
    상기 검출된 상기 수강생의 눈을 감는 시간(T5)과 하품한 횟수(N)를 이용하여 상기 졸음 추정도(Z)를 연산하는 강의 출결 확인 방법.
  7. 제2항에 있어서,
    상기 강의 몰입도(A)를 판단하는 단계는,
    아래의 수학식을 이용하여 상기 강의 몰입도를 연산하는 강의 출결 확인 방법:
    Figure pat00006

    여기서, α, β 및 δ는 상기 머리 자세 추정도(X), 시선 추정도(Y) 및 졸음 추정도(Z)의 계수이다.
  8. 제2항에 있어서,
    상기 좌석별 졸음도를 연산하는 단계는,
    해당 좌석에 복수의 수강생이 착석한 횟수대비 졸고 있는 것으로 판단된 수강생의 수를 이용하여 해당되는 좌석별 졸음도를 연산하는 강의 출결 확인 방법.
  9. 제2항에 있어서,
    상기 좌석을 배정하는 단계는,
    졸음 빈도가 높은 수강생별로 순차적으로 졸음도가 낮은 좌석을 배정하는 강의 출결 확인 방법.
  10. 강의 출결 확인을 위한 강의 출결 시스템에 있어서,
    강의실에 설치되어 있는 복수의 카메라를 통해 강의실 내부를 촬영하는 촬영부,
    촬영된 복수의 영상으로부터 현재 강의실에 존재하는 복수의 수강생 각각의 얼굴을 각각의 영상별로 검출하는 검출부,
    상기 검출된 각각의 얼굴 영상을 전처리하고, 상기 전처리된 얼굴 영상을 기 저장되어 있는 복수의 수강생의 얼굴 영상과 비교하여 각각의 얼굴을 인식하고, 얼굴 인식 여부를 이용하여 수강생 각각의 출결여부를 확인하는 출결 확인부,
    상기 인식된 각각의 얼굴에 대해 특징점(Land Mark)을 추출하고, 상기 추출된 특징점을 통해 상기 각각의 얼굴에 대한 머리 자세 추정도(Head Pose Estimation), 시선 추정도 및 졸음 추정도를 연산하는 제어부, 그리고
    상기 수강생별 머리 자세 추정도(X), 시선 추정도(Y) 및 졸음 추정도(Z)를 이용하여 강의 몰입도를 판단하는 몰입도 판단부를 포함하는 강의 출결 시스템.
  11. 제10항에 있어서,
    상기 복수의 수강생이 착석하고 있는 각각의 좌석에 대하여 좌석별 졸음도를 연산하는 졸음도 연산부, 그리고
    상기 좌석별 졸음도와 수강생별 졸음 빈도를 이용하여 다음 강의에서 각각의 수강생별로 착석할 좌석을 배정하는 좌석 배정부를 더 포함하는 강의 출결 시스템.
  12. 제11항에 있어서,
    상기 출결 확인부는,
    상기 검출된 복수의 수강생 각각의 얼굴에 대한 영상을 딥러닝 알고리즘에 적용하여 상기 복수의 수강생 각각의 얼굴을 인식하여 출결여부를 확인하는 강의 출결 시스템.
  13. 제11항에 있어서,
    상기 제어부는,
    상기 추출된 특징점을 Perspective-N-Point 알고리즘에 적용하여 머리 자세에 대한 3차원 좌표를 획득하고, 상기 3차원 좌표를 이용하여 강의 시간 중에서 상기 수강생이 강사 방향을 주시하는 시간(T1)과 다른 방향을 주시하는 시간(T2)을 각각 추출하며, 상기 수강생이 강사 방향을 주시하는 상태에서 다른 방향을 주시하는 상태로 변경했다가 다시 강사 방향을 주시할 경우에서의 확률이 기준 확률 값보다 작은지 비교하고, 상기 다시 강사 방향을 주시할 경우에서의 확률이 상기 기준 확률 값보다 작은 경우, 전체 강의 시간 대비 상기 수강생이 강사 방향을 주시하는 시간의 누적 시간 비율을 이용하여 상기 머리 자세 추정도(X)를 연산하는 강의 출결 시스템.
  14. 제11항에 있어서,
    상기 제어부는,
    상기 추출된 특징점을 초 해상도(Super Resolution) 알고리즘에 적용하여 상기 수강생의 눈 부분을 추출하고, 상기 추출된 눈 부분을 눈동자를 시선 추정(Gaze Estimation) 알고리즘에 적용하여 눈동자의 위치 좌표를 추출하며, 상기 추출된 눈동자의 위치 좌표를 이용하여 상기 수강생의 눈이 강사를 주시하는 시간(T3)과 다른 방향을 주시하는 시간(T4)을 각각 추출하고, 상기 수강생이 강사 방향을 주시하는 상태에서 다른 방향을 주시하는 상태로 변경했다가 다시 강사 방향을 주시할 경우에의 확률이 기준 확률 값보다 작은지 비교하여, 상기 다시 강사 방향을 주시할 경우에서의 확률이 상기 기준 확률 값보다 작은 경우, 전체 강의 시간 대비 상기 수강생이 강사를 주시하는 시간의 누적 시간 비율을 이용하여 상기 시선 추정도(Y)를 연산하는 강의 출결 시스템.
  15. 제11항에 있어서,
    상기 제어부는,
    상기 추출된 특징점을 딥 러닝 알고리즘에 적용하여 상기 수강생의 눈을 감는 시간(T5)과 하품한 횟수(N)를 검출하고, 상기 검출된 상기 수강생의 눈을 감는 시간(T5)과 하품한 횟수(N)를 이용하여 상기 졸음 추정도(Z)를 연산하는 강의 출결 시스템.
  16. 제11항에 있어서,
    상기 몰입도 판단부는,
    아래의 수학식을 이용하여 상기 강의 몰입도(A)를 연산하는 강의 출결 시스템:
    Figure pat00007

    여기서, α, β 및 δ는 상기 머리 자세 추정도(X), 시선 추정도(Y) 및 졸음 추정도(Z)의 계수이다.
  17. 제11항에 있어서,
    상기 졸음도 연산부는,
    해당 좌석에 복수의 수강생이 착석한 횟수대비 졸고 있는 것으로 판단된 수강생의 수를 이용하여 해당되는 좌석별 졸음도를 연산하는 강의 출결 시스템.
  18. 제11항에 있어서,
    상기 좌석 배정부는,
    졸음 빈도가 높은 수강생별로 순차적으로 졸음도가 낮은 좌석을 배정하는 강의 출결 시스템.
KR1020200173944A 2020-12-14 2020-12-14 얼굴인식을 이용한 강의 출결 확인 시스템 및 그 방법 KR20220084462A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200173944A KR20220084462A (ko) 2020-12-14 2020-12-14 얼굴인식을 이용한 강의 출결 확인 시스템 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200173944A KR20220084462A (ko) 2020-12-14 2020-12-14 얼굴인식을 이용한 강의 출결 확인 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20220084462A true KR20220084462A (ko) 2022-06-21

Family

ID=82221343

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200173944A KR20220084462A (ko) 2020-12-14 2020-12-14 얼굴인식을 이용한 강의 출결 확인 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR20220084462A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116543350A (zh) * 2023-05-24 2023-08-04 三余堂文化艺术泰州有限公司 远程教育实体教室目标分布均匀程度测量系统
KR102575307B1 (ko) * 2023-03-21 2023-09-06 (주)쿨스쿨 얼굴인식을 이용한 학생 관리 시스템 및 방법
KR102613519B1 (ko) * 2023-07-03 2023-12-12 백서현 사용자 자세 기반의 학습 집중도 관리 장치 및 방법

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102575307B1 (ko) * 2023-03-21 2023-09-06 (주)쿨스쿨 얼굴인식을 이용한 학생 관리 시스템 및 방법
CN116543350A (zh) * 2023-05-24 2023-08-04 三余堂文化艺术泰州有限公司 远程教育实体教室目标分布均匀程度测量系统
CN116543350B (zh) * 2023-05-24 2024-04-02 菲尔莱(北京)科技有限公司 远程教育实体教室目标分布均匀程度测量系统
KR102613519B1 (ko) * 2023-07-03 2023-12-12 백서현 사용자 자세 기반의 학습 집중도 관리 장치 및 방법

Similar Documents

Publication Publication Date Title
KR20220084462A (ko) 얼굴인식을 이용한 강의 출결 확인 시스템 및 그 방법
KR102596897B1 (ko) 모션벡터 및 특징벡터 기반 위조 얼굴 검출 방법 및 장치
Bhattacharya et al. Smart attendance monitoring system (SAMS): a face recognition based attendance system for classroom environment
CN101281595B (zh) 用于面部确认的装置和方法
US7127086B2 (en) Image processing apparatus and method
US7925093B2 (en) Image recognition apparatus
KR20030083510A (ko) 이용자 검증 및 데이터 베이스 자동 갱신 방법, 및 이를이용한 얼굴 인식 시스템
CN106780814A (zh) 一种教室内使用的全程自动考勤系统
KR20200068771A (ko) 딥러닝 기반 얼굴 인식 출석체크 시스템
KR102593624B1 (ko) 부정 행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법
CN108734235A (zh) 一种用于电子处方的身份识别方法及系统
US10037708B2 (en) Method and system for analyzing exam-taking behavior and improving exam-taking skills
JP2006330464A (ja) 受講状態判別装置および方法並びにプログラム
KR102581415B1 (ko) 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 ubt 시스템 및 그 방법
Kuang et al. A real-time attendance system using deep-learning face recognition
WO2022222957A1 (zh) 一种目标识别的方法和系统
KR102615709B1 (ko) 녹음 녹화 프로그램이 구비된 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정 행위를 방지하는 안면윤곽선 인식 인공 지능을 사용한 온라인 시험 시스템 및 그 방법
CN110516426A (zh) 身份认证方法、认证终端、装置及可读存储介质
CN110378261A (zh) 一种学生识别方法及装置
JP7209472B2 (ja) 情報処理システム、情報処理方法、およびプログラム
KR20220016529A (ko) 응시자 단말의 정면 카메라와 보조 카메라를 사용하여 부정행위를 방지하는 안면윤곽선 인식 인공지능을 사용한 온라인 시험 시스템 및 그 방법
CN114639130A (zh) 一种可见光活体检测方法
KR20210136771A (ko) 안면윤곽선 인식 인공지능을 사용한 ubt 시스템 및 그 방법
CN114419711B (zh) 基于ai教育系统的专注度识别方法
JP6512082B2 (ja) 講義確認システム

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application