KR20230166799A - Ai기반 영상 데이터 분석을 통한 수업자 집중도 분석 시스템 및 이의 실행 방법 - Google Patents

Ai기반 영상 데이터 분석을 통한 수업자 집중도 분석 시스템 및 이의 실행 방법 Download PDF

Info

Publication number
KR20230166799A
KR20230166799A KR1020220082310A KR20220082310A KR20230166799A KR 20230166799 A KR20230166799 A KR 20230166799A KR 1020220082310 A KR1020220082310 A KR 1020220082310A KR 20220082310 A KR20220082310 A KR 20220082310A KR 20230166799 A KR20230166799 A KR 20230166799A
Authority
KR
South Korea
Prior art keywords
instructor
concentration
class
lecturer
video
Prior art date
Application number
KR1020220082310A
Other languages
English (en)
Inventor
장원호
허준혁
김동주
황병일
Original Assignee
인플랩 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 인플랩 주식회사 filed Critical 인플랩 주식회사
Publication of KR20230166799A publication Critical patent/KR20230166799A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/20—Education
    • G06Q50/205—Education administration or guidance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B5/00—Electrically-operated educational appliances
    • G09B5/06—Electrically-operated educational appliances with both visual and audible presentation of the material to be studied
    • G09B5/065—Combinations of audio and video presentations, e.g. videotapes, videodiscs, television systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/442—Monitoring of processes or resources, e.g. detecting the failure of a recording device, monitoring the downstream bandwidth, the number of times a movie has been viewed, the storage space available from the internal hard disk
    • H04N21/44213—Monitoring of end-user related data
    • H04N21/44218—Detecting physical presence or behaviour of the user, e.g. using sensors to detect if the user is leaving the room or changes his face expression during a TV program

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Educational Technology (AREA)
  • Human Computer Interaction (AREA)
  • Educational Administration (AREA)
  • General Engineering & Computer Science (AREA)
  • Strategic Management (AREA)
  • Social Psychology (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Primary Health Care (AREA)
  • Ophthalmology & Optometry (AREA)
  • General Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

본 발명의 일 실시예에 따른 수업자 집중도 분석 서버는 오프라인 수업 공간의 천정에 오프라인 수업 공간의 전면 벽상을 향해 형성되어 있는 영상 촬영 장치에 의해 촬영된 학습 동영상을 제공하는 학습 동영상 제공부, 수업자의 집중 정보가 저장되어 있는 수업자 수업 상태 데이터베이스, 현재 수업자 동영상에서 수업자의 얼굴이 검출되었는지 여부를 판단하고, 상기 판단 결과에 따라 얼굴 방향 및 눈 상태 정보를 결정하고, 상기 결정 결과에 따라 수업자의 집중 정보를 생성하여 상기 수업자 수업 상태 데이터베이스에 저장하는 수업자 집중 확인부, 수업이 시작되면 수업자 점수를 초기화시킨 후 상기 수업자 수업 상태 데이터베이스에 저장되어 있는 수업자의 집중 정보를 기초로 상기 수업자 점수를 갱신하는 수업자 집중 점수 산출부 및 상기 수업자 점수에 따라 강의자 단말에 수업자 집중 상태를 제공하는 제어부를 포함한다.

Description

AI기반 영상 데이터 분석을 통한 수업자 집중도 분석 시스템 및 이의 실행 방법{LEARNER CONCENTRATION ANALYSIS SYSTEM THROUGH AI-BASED IMAGE DATA ANALYSIS AND METHOD PERFORMING THEREOF}
본 발명은 AI기반 영상 데이터 분석을 통한 수업자 집중도 분석 시스템 및 이의 실행 방법에 관한 것으로, 보다 구체적으로 수업자의 집중도 점수에 따라 강의자에게 해당 수업자의 집중 상태를 제공함으로써 강의자가 수업자에 대해 효과적으로 관제할 수 있도록 하는 AI기반 영상 데이터 분석을 통한 수업자 집중도 분석 시스템 및 이의 실행 방법에 관한 것이다.
최근 교육 패러다임이 강사와 학습생이 오프라인에서 대면하는 수업 방식에서 인터넷 등과 같은 네트워크를 통해 온라인 수업 방식으로 대체되고 있다.
다만, 오프라인 수업 방식에서는 면대면 교육으로 강사가 수업자의 학습 태도, 집중 상태 등을 확인하며 주의력이나 집중력을 높게 유지할 수 있도록 피드백을 제공하지만, 온라인 수업 방식에서는 일방적으로 재생되는 스트리밍 방식의 수업을 제공하기 때문에 수업자의 학습 태도를 확인하기 어렵다.
특히, 온라인 수업 방식은 수업자의 학습 태도, 학습 성취도와는 무관하게 영상이 재생가능하며, 재생되는 시간에 따라 진도 현황이 체크된다. 이에 따라 온라인 수업 방식에서도 일정한 퀴즈 또는 문제를 제공하고 이를 통해 수업자의 학습 성취도를 확인하고자 하지만, 이러한 퀴즈 또는 문제는 일반적으로 정형화되어 있기 때문에 수업자간의 공유가 가능하기 때문에 실질적인 수업자의 성취도나 집중도를 확인하기 어렵다.
이에 따라 3D 교육 콘텐츠를 생성하여 집중도를 향상시키거나 별도의 카메라를 통해 촬영한 수업자를 분석하여 성취도 또는 집중도를 확인하는 기술들이 개발되고 있다.
다만, 이러한 구성들은 3D 교육 콘텐츠 개발이나 수업자의 영상을 분석하기 위한 고도의 프로그램을 제작하기 위해 많은 시간과 비용이 소요되며, 3D 콘텐츠를 디스플레이하는 기기나 카메라 등 별도의 장비들이 필요하다.
또한, 실제 강의의 내용에 대한 수업자의 집중도나 학습 성취도를 추정하는데 한계가 있다. 그러므로 별도의 강의 내용에 대한 수정이나 다른 추가적인 장비없이도, 제공되는 동영상 강의 화면에 기초하여 수업자의 학습 집중도를 확인할 수 있는 기술이 요구된다.
본 발명은 수업자의 집중도 점수에 따라 강의자에게 해당 수업자의 집중 상태를 제공함으로써 강의자가 수업자에 대해 효과적으로 관제할 수 있도록 하는 AI기반 영상 데이터 분석을 통한 수업자 집중도 분석 시스템 및 이의 실행 방법을 제공하는 것을 목적으로 한다.
또한, 본 발명은 동일한 수업자가 강의에 참여하고 있는지 확인하여 수업자가 동일할 때에만 수업자가 관리되도록 하여 대리 수업자가 대신 강의를 수강할 수 없도록 하는 AI기반 영상 데이터 분석을 통한 수업자 집중도 분석 시스템 및 이의 실행 방법을 제공하는 것을 목적으로 한다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있고, 본 발명의 실시예에 의해 보다 분명하게 이해될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
이러한 목적을 달성하기 위한 수업자 집중도 분석 서버는 오프라인 수업 공간의 천정에 오프라인 수업 공간의 전면 벽상을 향해 형성되어 있는 영상 촬영 장치에 의해 촬영된 학습 동영상을 제공하는 학습 동영상 제공부, 수업자의 집중 정보가 저장되어 있는 수업자 수업 상태 데이터베이스, 현재 수업자 동영상에서 수업자의 얼굴이 검출되었는지 여부를 판단하고, 상기 판단 결과에 따라 얼굴 방향 및 눈 상태 정보를 결정하고, 상기 결정 결과에 따라 수업자의 집중 정보를 생성하여 상기 수업자 수업 상태 데이터베이스에 저장하는 수업자 집중 확인부, 수업이 시작되면 수업자 점수를 초기화시킨 후 상기 수업자 수업 상태 데이터베이스에 저장되어 있는 수업자의 집중 정보를 기초로 상기 수업자 점수를 갱신하는 수업자 집중 점수 산출부 및 상기 수업자 점수에 따라 강의자 단말에 수업자 집중 상태를 제공하는 제어부를 포함한다.
또한, 이러한 목적을 달성하기 위한 수업자 집중도 분석 서버에서 실행되는 수업자 집중도 분석 방법은 오프라인 수업 공간의 천정에 오프라인 수업 공간의 전면 벽상을 향해 형성되어 있는 영상 촬영 장치에 의해 촬영된 학습 동영상을 수신하여 제공하는 단계, 상기 학습 동영상을 수신하여 제공되면 수업이 시작되었다고 판단하여 수업자 점수를 초기화하는 단계, 상기 학습 동영상을 바라보는 수업자를 촬영한 현재 수업자 동영상을 이용하여 수업자의 얼굴이 검출되었는지 여부를 판단하는 단계, 상기 판단 결과에 따라 수업자의 얼굴 방향 및 수업자의 눈 상태 정보를 결정하고, 상기 결정 결과에 따라 수업자의 집중 정보를 생성하여 상기 수업자 수업 상태 데이터베이스에 저장하는 단계, 상기 수업자 수업 상태 데이터베이스에 저장되어 있는 수업자의 집중 정보를 기초로 상기 수업자 점수를 갱신하는 단계 및 상기 수업자 점수에 따라 강의자 단말에 수업자 집중 상태를 제공하는 단계를 포함한다.
전술한 바와 같은 본 발명에 의하면, 수업자의 집중도 점수에 따라 강의자에게 해당 수업자의 집중 상태를 제공함으로써 강의자가 수업자에 대해 효과적으로 관제할 수 있다는 장점이 있다.
또한 본 발명에 의하면, 동일한 수업자가 강의에 참여하고 있는지 확인하여 수업자가 동일할 때에만 수업자가 관리되도록 하여 대리 수업자가 대신 강의를 수강할 수 없도록 한다는 장점이 있다.
도 1은 본 발명의 일 실시예에 따른 AI기반 영상 데이터 분석을 통한 수업자 집중도 분석 시스템을 설명하기 위한 네트워크 구성도이다.
도 2는 본 발명의 일 실시예에 따른 수업자 집중도 분석 서버의 내부 구조를 설명하기 위한 블록도이다.
도 3은 본 발명에 따른 수업자 집중도 분석 방법의 일 실시예를 설명하기 위한 흐름도이다.
전술한 목적, 특징 및 장점은 첨부된 도면을 참조하여 상세하게 후술되며, 이에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 상세한 설명을 생략한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하기로 한다. 도면에서 동일한 참조부호는 동일 또는 유사한 구성요소를 가리키는 것으로 사용된다.
도 1은 본 발명의 일 실시예에 따른 AI기반 영상 데이터 분석을 통한 수업자 집중도 분석 시스템을 설명하기 위한 네트워크 구성도이다.
도 1을 참조하면, AI기반 영상 데이터 분석을 통한 수업자 집중도 분석 시스템은 수업자 집중도 분석 서버(100), 수업자 단말(200_1~200_N) 및 영상 촬영 장치(300)를 포함한다.
수업자 집중도 분석 서버(100)는 수업자 단말(200_1~200_N)로부터 로그인 요청 메시지를 수신하면 수업자 단말(200_1~200_N)에 수업자 인증 절차를 제공하고, 수업자 인증 절차를 통해 수업자 인증 정보(즉, 아이디 및 비밀번호)를 수신한다.
그 후, 수업자 집중도 분석 서버(100)는 수업자 정보 데이터베이스에서 수업자 인증 절차를 통해 수신된 아이디가 존재하는지 확인한다. 만일, 수업자 집중도 분석 서버(100)는 수업자 정보 데이터베이스에서 수업자 인증 절차를 통해 수신된 아이디가 존재하면, 아이디와 매칭되는 비밀번호를 추출한 후 비밀번호 및 현재 수업자 인증 절차를 통해 수신된 비밀번호가 일치하는지 여부에 따라 수업자 인증을 실행한다.
일 실시예에서, 수업자 집중도 분석 서버(100)는 수업자 정보 데이터베이스에서 추출한 아이디와 매칭되는 비밀번호 및 수업자 인증 절차를 통해 수신된 비밀번호가 일치하면 수업자 인증에 성공하였다고 판단한다. 상기에서, 수업자 집중도 분석 서버(100)는 수업자의 인증이 성공되면 수업자 점수를 100점으로 초기화할 수 있다. 이때, 수업자 점수는 수업자의 집중 여부에 따라 차감될 수 있다.
다른 일 실시예에서, 수업자 집중도 분석 서버(100)는 수업자 정보 데이터베이스에서 추출한 아이디와 매칭되는 비밀번호 및 수업자 인증 절차를 통해 수신된 비밀번호가 상이하면 수업자 인증에 실패하였다고 판단한다.
상기와 같은 과정을 통해 수업자의 인증이 완료되면 수업자 집중도 분석 서버(100)는 수업자 단말(200_1~200_N)의 접속을 허용할 수 있으며, 수업자 단말(200_1~200_N)로부터 현재 수업자 동영상을 수신한다.
그 후, 수업자 집중도 분석 서버(100)는 현재 수업자 동영상에 얼굴 검출 방법을 적용하여 얼굴이 존재하는지 여부를 판단한다.
일 실시예에서, 수업자 집중도 분석 서버(100)는 현재 수업자 동영상에 얼굴 검출 방법을 적용하여 얼굴이 검출되지 않으면 수업자가 자리에 존재하지 않는다고 판단하여 검출 수행 시간, 수업자 행위(즉, 자리 비움) 및 사용 여부(즉, 미사용)를 수업자 수업 상태 데이터베이스에 저장한다.
다른 일 실시예에서, 수업자 집중도 분석 서버(100)는 현재 수업자 동영상에 얼굴 검출 방법을 적용하여 얼굴이 검출되면 수업자가 자리에 있다고 판단하여 얼굴 방향을 확인한다.
상기의 실시예에서, 수업자 집중도 분석 서버(100)는 현재 수업자 동영상에 얼굴 검출 방법을 적용하여 얼굴이 검출되면 검출된 얼굴에 3차원 랜드 마크를 그려 코의 좌표 값을 통해 헤드 포지션 추정(Head Position Estimation) 기술을 적용하여 수업자의 얼굴 방향을 확인하고, 확인 결과에 따라 검출 수행 시간, 수업자 행위 및 사용 여부(즉, 미사용)를 수업자 수업 상태 데이터베이스에 저장한다.
이를 위해, 수업자 집중도 분석 서버(100)는 수업자의 얼굴 방향이 정면인지 또는 정면이 아닌지 여부를 검출한다.
일 실시예에서, 수업자 집중도 분석 서버(100)는 수업자의 얼굴 각도가 임계값 이상이면 수업자의 얼굴이 정면을 바라보고 있지 않다고 판단하여 검출 수행 시간, 수업자 행위 및 사용 여부(즉, 미사용)를 수업자 수업 상태 데이터베이스에 저장한다. 예를 들어, 수업자 집중도 분석 서버(100)는 수업자의 얼굴 각도가 +2°및 -2°이상인 경우 정면을 바라보고 있지 않다고 판단할 수 있다.
다른 일 실시예에서, 수업자 집중도 분석 서버(100)는 수업자의 얼굴 각도가 임계값 이하이면 수업자의 얼굴이 정면을 바라보고 있다고 판단한다. 예를 들어, 수업자 집중도 분석 서버(100)는 수업자의 얼굴 각도가 +2°및 -2°이하인 경우 정면을 바라보고 있지 않다고 판단할 수 있다.
상기의 실시예에서, 수업자 집중도 분석 서버(100)는 검출된 얼굴 상의 3차원 랜드 마크에서 눈의 좌표 값을 통해 안구면적의 비율을 산출하고, 안구면적의 비율에 따라 눈을 감고 있는지 여부를 확인하고 확인 결과에 따라 검출 수행 시간, 수업자 행위(즉, 자리 비움) 및 사용 여부(즉, 미사용)를 수업자 수업 상태 데이터베이스에 저장한다.
즉, 수업자 집중도 분석 서버(100)는 안구면적의 비율이 특정 비율 이상이면 수업자의 상태가 눈을 감고 있는 상태라고 판단하여 검출 수행 시간, 수업자 행위(즉, 졸고 있음) 및 사용 여부(즉, 미사용)를 수업자 수업 상태 데이터베이스에 저장하고, 안구면적의 비율이 특정 비율 이하이면 수업자의 상태가 눈을 뜨고 이상행동을 하지 않는다고 판단하여 검출 수행 시간, 수업자 행위(즉, 이상 없음) 및 사용 여부(즉, False)를 수업자 수업 상태 데이터베이스에 저장한다.
수업자 집중도 분석 서버(100)는 수업자 수업 상태 데이터베이스(145)에 저장된 정보를 이용하여 수업자 점수를 산출할 수 있다.
보다 구체적으로, 수업자 집중도 분석 서버(100)는 현재 수업자 동영상을 분석하고 있는 시점을 기준으로 이전 특정 시간 동안의 수업자 행위에 대한 기록을 수업자 수업 상태 데이터베이스(145)에서 추출한 후 수업자 행위의 종류에 따라 점수를 차감한 후 수업자 수업 상태 데이터베이스(145)에 저장된 사용 여부를 사용 완료로 변경한다.
일 실시예에서, 수업자 집중도 분석 서버(100)는 수업자 행위의 종류를 기초로 눈깜빡임 횟수가 1분당 30회 이상이면 수업자 점수에서 2점을 감점하고, 눈깜빡임 횟수가 1분당 60회 이상이면 수업자 점수에서 4점을 감점할 수 있다.
다른 일 실시예에서, 수업자 집중도 분석 서버(100)는 수업자 행위의 종류를 기초로 1분당 10초 이상 눈 감은 횟수가 3번 이상일 경우 수업자 점수에서 3점을 감점할 수 있다.
또 다른 일 실시예에서, 수업자 집중도 분석 서버(100)는 수업자 행위의 종류를 기초로 1분당 10초 이상 고개 돌린 횟수가 3번 이상일 경우 수업자 점수를 5점 감점할 수 있다.
또 다른 일 실시예에서, 수업자 집중도 분석 서버(100)는 수업자 행위의 종류를 기초로 5분 이상 자리 비울 경우 1분당 3점을 감점할 수 있다.
상기의 실시예에서, 수업자 집중도 분석 서버(100)는 수업자 행위의 종류가자리비움의 경우 영상 분석이 수행되는 1분마다 이전 6분 동안의 기록이 연속적으로 자리비우는 경우 수업자 점수를 3점을 감점할 수 있다.
또한, 수업자 집중도 분석 서버(100)는 수업자의 인증이 완료되면 현재 수업자 동영상 중 얼굴 이미지에서 현재 수업자 얼굴 특징을 추출하고, 현재 수업자 얼굴 특징 및 미리 구축된 수업자 얼굴 특징을 비교하는 얼굴에 대한 트래킹을 수행하여 동일한 수업자가 수업 시작부터 수업 종료까지 참여하고 있는지 여부를 확인한다.
먼저, 수업자 집중도 분석 서버(100)는 얼굴정보 데이터베이스(150)로부터 수업자 동영상의 동영상 식별자에 대한 얼굴인식정보를 검색한다. 이때, 얼굴인식정보는 이전 수업자 동영상에 등장하는 얼굴과 관련한 이전 수업자 얼굴 특징, 수업자가 이전 수업자 동영상에서 등장하는 이전 얼굴인식 시작시간 및 수업자가 이전 수업자 동영상에서 등장이 종료되는 이전 얼굴인식 종료시간을 포함한다.
그 후, 수업자 집중도 분석 서버(100)는 얼굴정보 데이터베이스(150)에서 동영상 식별자에 대응하는 얼굴인식정보를 획득하면, 이전 얼굴인식 시작시간 및 이전 얼굴인식 종료시간 사이에 추출된 이전 수업자 얼굴 특징 및 현재 수업자 얼굴 특징을 비교하여 일치하는지 여부에 대한 얼굴에 대한 트래킹을 수행한다. 이때, 트래킹은 얼굴인식 시작시간 및 얼굴인식 종료시간 사이에 해당하는 수업자 얼굴 특징 및 현재 수업자 동영상에서 추출된 수업자 얼굴 특징을 비교하여 동일한지 여부를 확인하는 과정이다.
일 실시예에서, 수업자 집중도 분석 서버(100)는 이전 얼굴인식 시작시간 및 이전 얼굴인식 종료시간 사이에 추출된 이전 수업자 얼굴 특징 및 현재 수업자 얼굴 특징이 일치하면 이전과 동일한 사용자가 수업에 참여하고 있다고 판단할 수 있다.
한편, 이전 수업자 동영상보다 현재 수업자 동영상의 길이가 더 긴 경우, 이전 얼굴인식 종료시간이 경과한 후에도 현재 수업자 동영상에서 수업자 얼굴 특징이 추출될 수 있다. 이러한 경우, 이전과 동일한 사용자가 수업에 참여하고 있다고 판단할 수 없다.
이러한 문제점을 해결하기 위해서, 수업자 집중도 분석 서버(100)는 현재 수업자 동영상이 시작되면 현재 수업자 얼굴 특징을 실시간으로 추출하여 임시 수업자 얼굴 특징으로 저장하며, 이전 얼굴인식 종료시간이 경과되면 임시 수업자 얼굴 특징 및 수업자 얼굴 특징과 동일한지 여부를 판단하여 이전과 동일한 사용자가 수업에 참여하고 있는지 트래킹할 수 있도록 한다.
수업자 집중도 분석 서버(100)는 이전과 동일한 사용자가 수업에 참여하고 있는 경우에만 학습 동영상이 수업자 단말(200_1~200_N)에 제공되도록 한다.
수업자 단말(200_1~200_N)은 수업자 집중도 분석 서버(100)로부터 원격 강의를 제공받는 수업자가 보유하는 단말이다. 이러한 수업자 단말(200_1~200_N)은 스마트폰, 테블릿 PC, 노트북, 데스크탑 등으로 구현될 수 있다.
수업자 단말(200_1~200_N)은 수업자 집중도 분석 서버(100)에 로그인 요청 메시지를 제공한 후, 수업자 집중도 분석 서버(100)로부터 수업자 인증 절차를 수신하면 수업자 인증 절차를 통해 수업자 인증 정보(즉, 아이디 및 비밀번호)를 입력하여 원격 강의 시스템(100)에 제공한다.
만일, 수업자 단말(200_1~200_N)은 수업자 집중도 분석 서버(100)에 의해 수업자 인증이 성공하였다고 판단되면 수업자 집중도 분석 서버(100)에 접속할 수 있다.
수업자 단말(200_1~200_N)은 수업자 집중도 분석 서버(100)에 접속한 후 교수자의 모습 및 오프라인 강의실 전면을 오프라인 전멱 벽상 화이트보드를 포함하는 영상 데이터를 수신하여 표시함과 동시에 수업자를 촬영한 후 수업자 동영상을 생성하여 수업자 집중도 분석 서버(100)에 제공한다.
먼저, 수업자 단말(200_1~200_N)은 수업자 동영상을 디코딩하여 프레임 이미지를 생성한 후 프레임 이미지에서 얼굴 이미지를 검출한다. 그 후, 수업자 단말(200_1~200_N)은 얼굴 이미지를 베이스 64로 인코딩하고 베이스 64로 인코딩된 얼굴 이미지를 원격 강의 서버(100)에 제공한다.
여기서, 베이스 64(base64)는 2진 데이터를 아스키 텍스트로 변환하거나 그 반대로 변환하는 인코딩 방법으로, 전자우편에 관한 규격인 MIME(Multipurpose Internet Mail Extensions)에 의해 사용되는 방법으로, 4개의 7비트 아스키 문자로 표현되도록 데이터를 3바이트씩 4개의 6비트 단위로 나누어 표현한다. 메일에서 이미지, 오디오 파일을 보낼 때 이용하는 코딩으로 모든 플랫폼에서 안보이거나 깨지는 일이 생기지 않도록 공통으로 64개 아스키 코드를 이용하여 2진 데이터를 변환하기 위해 베이스 64를 이용한다. 따라서 베이스 64로 인코딩하면 크기가 33% 커진다.
본 발명은 전체 프레임 이미지로부터 얼굴 이미지를 검출하고 베이스 64와 같은 인코딩 기법을 사용하여 얼굴 이미지를 인코딩하는 방식으로 전송되는 데이터의 양을 감소시켜 원격 강의 서버(100)로 전송함으로써, 시스템 효율성을 증가시킨다.
영상 촬영 장치(300)는 오프라인 수업 공간의 천정에 오프라인 수업 공간의 전면 벽상을 향해 형성되어 있다. 영상 촬영 장치(300)는 오프라인 화이트 보드 상의 강의 내용 및 오프라인 화이트 보드 앞에서 강의를 진행하는 교수자의 모습을 촬영하여 수업자 집중도 분석 서버(100)에 제공한다.
도 2는 본 발명의 일 실시예에 따른 수업자 집중도 분석 서버의 내부 구조를 설명하기 위한 블록도이다.
도 2를 참조하면, 수업자 집중도 분석 서버(100)는 접속 인증부(110), 수업자 로그인 정보 데이터베이스(115), 수업자 집중 확인부(120), 얼굴정보 데이터베이스 구축부(125), 수업자 얼굴 트래킹부(130), 학습 동영상 제공부(135), 수업자 집중 점수 산출부(140), 수업자 수업 상태 데이터베이스(145), 얼굴정보 데이터베이스(150) 및 제어부(155)를 포함한다.
접속 인증부(110)는 수업자 단말(200_1~200_N)로부터 로그인 요청 메시지를 수신하면 수업자 단말(200_1~200_N)에 수업자 인증 절차를 제공하고, 수업자 인증 절차를 통해 수업자 인증 정보(즉, 아이디 및 비밀번호)를 수신한다.
그 후, 접속 인증부(110)는 수업자 로그인 정보 데이터베이스(115)에서 수업자 인증 절차를 통해 수신된 아이디가 존재하는지 확인한다. 만일, 접속 인증부(110)는수업자 로그인 정보 데이터베이스(115)에서 수업자 인증 절차를 통해 수신된 아이디가 존재하면, 아이디와 매칭되는 비밀번호를 추출한 후 비밀번호 및 수업자 인증 절차를 통해 수신된 비밀번호가 일치하는지 여부에 따라 수업자 인증을 실행한다.
일 실시예에서, 접속 인증부(110)는 수업자 로그인 정보 데이터베이스(115)에서 추출한 아이디와 매칭되는 비밀번호 및 수업자 인증 절차를 통해 수신된 비밀번호가 일치하면 수업자 인증에 성공하였다고 판단한 후 판단 결과를 제어부(155)에 제공한다.
다른 일 실시예에서, 접속 인증부(110)는 수업자 로그인 정보 데이터베이스(115)에서 추출한 아이디와 매칭되는 비밀번호 및 수업자 인증 절차를 통해 수신된 비밀번호가 상이하면 수업자 인증에 실패하였다고 판단한 후 판단 결과를 제어부(155)에 제공한다.
수업자 집중 확인부(120)는 현재 수업자 동영상에 얼굴 검출 방법을 적용하여 얼굴이 존재하는지 여부를 판단한다.
일 실시예에서, 수업자 집중 확인부(120)는 현재 수업자 동영상에 얼굴 검출 방법을 적용하여 얼굴이 검출되지 않으면 수업자가 자리에 존재하지 않는다고 판단하여 검출 수행 시간, 수업자 행위(즉, 자리 비움) 및 사용 여부(즉, 미사용)를 수업자 수업 상태 데이터베이스(145)에 저장한다.
다른 일 실시예에서, 수업자 집중 확인부(120)는 현재 수업자 동영상에 얼굴 검출 방법을 적용하여 얼굴이 검출되면 수업자가 자리에 있다고 판단하여 얼굴 방향을 확인한다.
상기의 실시예에서, 수업자 집중 확인부(120)는 현재 수업자 동영상에 얼굴 검출 방법을 적용하여 얼굴이 검출되면 검출된 얼굴에 3차원 랜드 마크를 그려 코의 좌표 값을 통해 헤드 포지션 추정(Head Position Estimation) 기술을 적용하여 수업자의 얼굴 방향을 확인하고, 확인 결과에 따라 검출 수행 시간, 수업자 행위 및 사용 여부(즉, 미사용)를 수업자 수업 상태 데이터베이스(145)에 저장한다.
이를 위해, 수업자 집중 확인부(120)는 수업자의 얼굴 방향이 얼굴 방향이 정면인지 또는 정면이 아닌지 여부를 검출한다.
일 실시예에서, 수업자 집중 확인부(120)는 수업자의 얼굴 각도가 임계값 이상이면 수업자의 얼굴이 정면을 바라보고 있지 않다고 판단하여 검출 수행 시간, 수업자 행위 및 사용 여부(즉, 미사용)를 수업자 수업 상태 데이터베이스(145)에 저장한다. 예를 들어, 수업자 집중 확인부(120)는 수업자의 얼굴 각도가 +2°및 -2°이상인 경우 정면을 바라보고 있지 않다고 판단할 수 있다.
다른 일 실시예에서, 수업자 집중 확인부(120)는 수업자의 얼굴 각도가 임계값 이하이면 수업자의 얼굴이 정면을 바라보고 있다고 판단한다. 예를 들어, 수업자 집중 확인부(120)는 수업자의 얼굴 각도가 +2°및 -2°이하인 경우 정면을 바라보고 있지 않다고 판단할 수 있다.
상기의 실시예에서, 수업자 집중 확인부(120)는 검출된 얼굴 상의 3차원 랜드 마크에서 눈의 좌표 값을 통해 안구면적의 비율을 산출하고, 안구면적의 비율에 따라 눈을 감고 있는지 여부를 확인하고 확인 결과에 따라 검출 수행 시간, 수업자 행위(즉, 자리 비움) 및 사용 여부(즉, 미사용)를 수업자 수업 상태 데이터베이스(145)에 저장한다.
즉, 수업자 집중 확인부(120)는 안구면적의 비율이 특정 비율 이상이면 수업자의 상태가 눈을 감고 있는 상태라고 판단하여 검출 수행 시간, 수업자 행위(즉, 졸고 있음) 및 사용 여부(즉, 미사용)를 수업자 수업 상태 데이터베이스(145)에 저장하고, 안구면적의 비율이 특정 비율 이하이면 수업자의 상태가 눈을 뜨고 이상행동을 하지 않는다고 판단하여 검출 수행 시간, 수업자 행위(즉, 이상 없음) 및 사용 여부(즉, 미사용)를 수업자 수업 상태 데이터베이스(145)에 저장한다.
얼굴정보 데이터베이스 구축부(125)는 수업자 동영상에서 얼굴을 인식하여 해당 얼굴의 얼굴인식 시작시간을 추출하며, 상기 추출된 얼굴인식 시작시간과 동영상 식별자를 상기 얼굴인식 정보에 추가하여 상기 얼굴정보 데이터베이스(150)에 저장할 수 있다.
또한, 얼굴정보 데이터베이스 구축부(125)는 수업자 얼굴 트래킹부(130)에 의한 얼굴 트래킹이 종료되면 해당 얼굴의 얼굴인식 종료시간을 추출하며, 추출된 얼굴인식 종료시간을 상기 얼굴인식 정보에 추가하여 얼굴정보 데이터베이스(150)에 저장한다.
수업자 얼굴 트래킹부(130)는 현재 수업자 동영상 중 얼굴 이미지에서 현재 수업자 얼굴 특징을 추출하고, 현재 수업자 얼굴 특징 및 미리 구축된 수업자 얼굴 특징을 비교하는 얼굴에 대한 트래킹을 수행하여 동일한 수업자가 수업 시작부터 수업 종료까지 참여하고 있는지 여부를 확인한다.
먼저, 수업자 얼굴 트래킹부(130)는 얼굴정보 데이터베이스(150)로부터 수업자 동영상의 동영상 식별자에 대한 얼굴인식정보를 검색한다. 이때, 얼굴인식정보는 이전 수업자 동영상에 등장하는 얼굴과 관련한 이전 수업자 얼굴 특징, 수업자가 이전 수업자 동영상에서 등장하는 이전 얼굴인식 시작시간 및 수업자가 이전 수업자 동영상에서 등장이 종료되는 이전 얼굴인식 종료시간을 포함한다.
그 후, 수업자 얼굴 트래킹부(130)는 얼굴정보 데이터베이스(150)에서 동영상 식별자에 대응하는 얼굴인식정보를 획득하면, 이전 얼굴인식 시작시간 및 이전 얼굴인식 종료시간 사이에 추출된 이전 수업자 얼굴 특징 및 현재 수업자 얼굴 특징을 비교하여 일치하는지 여부에 대한 얼굴에 대한 트래킹을 수행한다.
이때, 트래킹은 얼굴인식 시작시간 및 얼굴인식 종료시간 사이에 해당하는 수업자 얼굴 특징 및 현재 수업자 동영상에서 추출된 수업자 얼굴 특징을 비교하여 동일한지 여부를 확인하는 과정이다.
일 실시예에서, 수업자 얼굴 트래킹부(130)는 이전 얼굴인식 시작시간 및 이전 얼굴인식 종료시간 사이에 추출된 이전 수업자 얼굴 특징 및 현재 수업자 얼굴 특징이 일치하면 이전과 동일한 사용자가 수업에 참여하고 있다고 판단할 수 있다.
한편, 이전 수업자 동영상보다 현재 수업자 동영상의 길이가 더 긴 경우, 이전 얼굴인식 종료시간이 경과한 후에도 현재 수업자 동영상에서 수업자 얼굴 특징이 추출될 수 있다. 이러한 경우, 이전과 동일한 사용자가 수업에 참여하고 있다고 트래킹할 수 없다.
이러한 문제점을 해결하기 위해서, 현재 수업자 동영상이 시작된 후 현재 수업자 얼굴 특징이 추출되면 임시 수업자 얼굴 특징으로 저장한다. 따라서, 수업자 얼굴 트래킹부(130)는 이전 얼굴인식 종료시간이 경과되면 임시 수업자 얼굴 특징 및 현재 수업자 얼굴 특징과 동일한지 여부를 판단하여 이전과 동일한 사용자가 수업에 참여하고 있는지 트래킹할 수 있도록 한다.
학습 동영상 제공부(135)는 제어부(155)의 제어에 따라 영상 촬영 장치(300)에 의해 촬영된 학습 동영상을 상기 수업자 단말(200_1~200_N)에 제공되도록 한다.
수업자 집중 점수 산출부(140)는 수업자 수업 상태 데이터베이스(145)에 저장된 정보를 이용하여 수업자 점수를 산출할 수 있다.
보다 구체적으로, 수업자 집중 점수 산출부(140)는 현재 수업자 동영상을 분석하고 있는 시점을 기준으로 이전 특정 시간 동안의 수업자 행위에 대한 기록을 수업자 수업 상태 데이터베이스(145)에서 추출한 후 수업자 행위의 종류에 따라 점수를 차감한 후 수업자 수업 상태 데이터베이스(145)에 저장된 사용 여부를 사용 완료로 변경한다.
일 실시예에서, 수업자 집중 점수 산출부(140)는 수업자 행위의 종류를 기초로 눈깜빡임 횟수가 1분당 30회 이상이면 수업자 점수에서 2점을 감점하고, 눈깜빡임 횟수가 1분당 60회 이상이면 수업자 점수에서 4점을 감점할 수 있다.
다른 일 실시예에서, 수업자 집중 점수 산출부(140)는 수업자 행위의 종류를기초로 1분당 10초 이상 눈 감은 횟수가 3번 이상일 경우 수업자 점수에서 3점을 감점할 수 있다.
또 다른 일 실시예에서, 수업자 집중 점수 산출부(140)는 수업자 행위의 종류를 기초로 1분당 10초 이상 고개 돌린 횟수가 3번 이상일 경우 수업자 점수를 5점 감점할 수 있다.
또 다른 일 실시예에서, 수업자 집중 점수 산출부(140)는 수업자 행위의 종류를 기초로 5분 이상 자리 비울 경우 1분당 3점을 감점할 수 있다.
상기의 실시예에서, 수업자 집중 점수 산출부(140)는 수업자 행위의 종류가자리비움의 경우 영상 분석이 수행되는 1분마다 이전 6분 동안의 기록이 연속적으로 자리비우는 경우 수업자 점수를 3점을 감점할 수 있다.
제어부(155)는 수업자 집중도 분석 서버(100)의 다른 구성 요소를 제어하여 원격 강의가 수업자 단말(200_1~200_N)에 제공되도록 한다.
먼저, 제어부(155)는 접속 인증부(110)로부터 수업자 인증 결과를 수신하면 수업자 인증 결과에 따라 학습 동영상 제공부(135)를 통해 학습 동영상이 수업자 단말(200_1~200_N)에 제공되도록 제어한다.
또한, 제어부(155)는 수업자 얼굴 트래킹부(130)에 의해 이전과 동일한 사용자가 수업에 참여하고 있다고 판단하면, 영상 촬영 장치(300)에 의해 촬영된 학습 동영상을 상기 수업자 단말에 제공되도록 학습 동영상 제공부(135)를 제어한다.
도 3은 본 발명에 따른 수업자 집중도 분석 방법의 일 실시예를 설명하기 위한 흐름도이다.
도 3을 참조하면, 수업자 집중도 분석 서버(100)는 오프라인 수업 공간의 천정에 오프라인 수업 공간의 전면 벽상을 향해 형성되어 있는 영상 촬영 장치에 의해 촬영된 학습 동영상을 수신하여 제공한다(단계 S310).
수업자 집중도 분석 서버(100)는 학습 동영상을 수신하여 제공되면 수업이 시작되었다고 판단하여 수업자 점수를 초기화한다(단계 S320).
수업자 집중도 분석 서버(100)는 학습 동영상을 바라보는 수업자를 촬영한 현재 수업자 동영상을 이용하여 수업자의 얼굴이 검출되었는지 여부를 판단한다(단계 S330).
수업자 집중도 분석 서버(100)는 판단 결과에 따라 수업자의 얼굴 방향 및 수업자의 눈 상태 정보를 결정하고(단계 S340), 상기 결정 결과에 따라 수업자의 집중 정보를 생성하여 상기 수업자 수업 상태 데이터베이스에 저장한다(단계 S350).
수업자 집중도 분석 서버(100)는 수업자 수업 상태 데이터베이스에 저장되어 있는 수업자의 집중 정보를 기초로 상기 수업자 점수를 갱신한다(단계 S360).
수업자 집중도 분석 서버(100)는 수업자 점수에 따라 강의자 단말에 수업자 집중 상태를 제공한다(단계 S370).
한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이의 균등 또는 등가적 변형 모두는 본 발명 사상의 범주에 속한다고 할 것이다.
100: 수업자 집중도 분석 서버,
110: 접속 인증부,
115: 수업자 로그인 정보 데이터베이스,
120: 수업자 집중 확인부,
125: 얼굴정보 데이터베이스 구축부,
130: 수업자 얼굴 트래킹부,
135: 학습 동영상 제공부
140: 수업자 집중 점수 산출부,
145: 수업자 수업 상태 데이터베이스,
150: 얼굴정보 데이터베이스,
155: 제어부

Claims (6)

  1. 오프라인 수업 공간의 천정에 오프라인 수업 공간의 전면 벽상을 향해 형성되어 있는 영상 촬영 장치에 의해 촬영된 학습 동영상을 제공하는 학습 동영상 제공부;
    수업자의 집중 정보가 저장되어 있는 수업자 수업 상태 데이터베이스;
    현재 수업자 동영상에서 수업자의 집중 정보를 추출하여 수업자 수업 상태 데이터베이스에 저장하는 수업자 집중 확인부;
    상기 수업자 수업 상태 데이터베이스에 저장되어 있는 수업자의 집중 정보를 기초로 상기 수업자 점수를 갱신하는 수업자 집중 점수 산출부; 및
    상기 수업자 점수에 따라 강의자 단말에 수업자 집중 상태를 제공하는 제어부를 포함하는 것을 특징으로 하는
    수업자 집중도 분석 서버.
  2. 제1항에 있어서,
    상기 수업자 집중 확인부는
    상기 현재 수업자 동영상에서 수업자의 얼굴이 검출되었는지 여부를 판단하고, 상기 판단 결과에 수업자의 집중 정보를 생성하는 것을 특징으로 하는
    수업자 집중도 분석 서버.
  3. 제2항에 있어서,
    상기 수업자 집중 확인부는
    상기 판단 결과 상기 수업자의 얼굴이 검출되면 상기 수업자의 얼굴 방향 및 눈 상태 정보에 따른 수업자의 집중 정보를 생성하는 것을 특징으로 하는
    수업자 집중도 분석 서버.
  4. 수업자 집중도 분석 서버에서 실행되는 수업자 집중도 분석 방법에 있어서,
    오프라인 수업 공간의 천정에 오프라인 수업 공간의 전면 벽상을 향해 형성되어 있는 영상 촬영 장치에 의해 촬영된 학습 동영상을 수신하여 제공하는 단계;
    상기 학습 동영상을 수신하여 제공되면 수업이 시작되었다고 판단하여 수업자 점수를 초기화하는 단계;
    현재 수업자 동영상에서 수업자의 집중 정보를 추출하여 수업자 수업 상태 데이터베이스에 저장하는 단계;
    상기 수업자 수업 상태 데이터베이스에 저장되어 있는 수업자의 집중 정보를 기초로 상기 수업자 점수를 갱신하는 단계; 및
    상기 수업자 점수에 따라 강의자 단말에 수업자 집중 상태를 제공하는 단계를 포함하는 것을 특징으로 하는
    수업자 집중도 분석 방법.
  5. 제4항에 있어서,
    상기 현재 수업자 동영상에서 수업자의 집중 정보를 추출하여 수업자 수업 상태 데이터베이스에 저장하는 단계는
    상기 학습 동영상을 바라보는 수업자를 촬영한 현재 수업자 동영상을 이용하여 수업자의 얼굴이 검출되었는지 여부를 판단하는 단계를 포함하는 것을 특징으로 하는
    수업자 집중도 분석 방법.
  6. 제5항에 있어서,
    상기 현재 수업자 동영상에서 수업자의 집중 정보를 추출하여 수업자 수업 상태 데이터베이스에 저장하는 단계는
    상기 판단 결과에 따라 수업자의 집중 정보를 생성하여 상기 수업자 수업 상태 데이터베이스에 저장하는 단계를 포함하는 것을 특징으로 하는
    수업자 집중도 분석 방법.
KR1020220082310A 2022-05-30 2022-07-05 Ai기반 영상 데이터 분석을 통한 수업자 집중도 분석 시스템 및 이의 실행 방법 KR20230166799A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020220065884 2022-05-30
KR20220065884 2022-05-30

Publications (1)

Publication Number Publication Date
KR20230166799A true KR20230166799A (ko) 2023-12-07

Family

ID=89163545

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220082310A KR20230166799A (ko) 2022-05-30 2022-07-05 Ai기반 영상 데이터 분석을 통한 수업자 집중도 분석 시스템 및 이의 실행 방법

Country Status (1)

Country Link
KR (1) KR20230166799A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102759396B1 (ko) * 2024-06-20 2025-01-24 (주)누리봄 수업집중도 분석 기능을 가진 전자칠판

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102759396B1 (ko) * 2024-06-20 2025-01-24 (주)누리봄 수업집중도 분석 기능을 가진 전자칠판

Similar Documents

Publication Publication Date Title
US10891873B2 (en) Method and apparatus for monitoring learning and electronic device
WO2016183959A1 (zh) 一种远程教育系统及其方法
CN106982224A (zh) 实时身份验证识别的方法和系统
CN109961033A (zh) 职业教育现场培训监管系统
TW202008293A (zh) 教學品質監測系統及方法
KR102223946B1 (ko) 공유영상을 활용한 온라인 화상강의 시스템
CN109035939A (zh) 一种基于vr眼镜的教学系统
KR20230166799A (ko) Ai기반 영상 데이터 분석을 통한 수업자 집중도 분석 시스템 및 이의 실행 방법
CN106023328B (zh) 在线活动签到的实现方法、装置和系统
Kachach et al. Immersive telepresence in remote education
CN111757140B (zh) 一种基于直播课堂的教学方法及装置
Mantoro et al. Analysis of the metaverse in Society 5.0 for learning systems using meta
KR20220086220A (ko) 원격 수업에서의 집중도를 체크하기 위한 방법 및 시스템
CN117440117A (zh) 一种网络智慧实训室远程教学眼动切换系统与方法
KR100989915B1 (ko) 책상형 학습 장치 및 이를 이용한 학습 방법
KR102404925B1 (ko) 학습자의 온라인 교육 참여 확인을 위한 ai 멀티포커싱 시스템 및 이의 실행 방법
CN113837010A (zh) 一种教育评估系统及方法
Masood et al. Face Monitor: An Arbitrary Approach for Facial Engagement Monitoring in Virtual Classrooms
Bahreini et al. FILTWAM-A framework for online game-based communication skills training-Using webcams and microphones for enhancing learner support
KR20020092515A (ko) 온라인 강의의 수강 인증 방법
KR20220074465A (ko) 온라인 캠스터디 수강생 학습 지도 관리 시스템 및 그 방법
KR20140110557A (ko) 영상피드백을 활용한 이러닝 시스템
KR102623534B1 (ko) 능동적 수업 참여가 가능한 원격 강의 시스템
Chunwijitra An advanced cloud-based e-learning platform for higher education for low speed internet
KR102585299B1 (ko) 영상 기반 온라인 행사 진행 시스템

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20220705

PA0201 Request for examination
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20230908

Patent event code: PE09021S01D

PG1501 Laying open of application
E90F Notification of reason for final refusal
PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20240412

Patent event code: PE09021S02D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20240812

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D