KR102550964B1 - 개인화 모델을 이용한 집중도 측정 장치 및 방법 - Google Patents

개인화 모델을 이용한 집중도 측정 장치 및 방법 Download PDF

Info

Publication number
KR102550964B1
KR102550964B1 KR1020160034623A KR20160034623A KR102550964B1 KR 102550964 B1 KR102550964 B1 KR 102550964B1 KR 1020160034623 A KR1020160034623 A KR 1020160034623A KR 20160034623 A KR20160034623 A KR 20160034623A KR 102550964 B1 KR102550964 B1 KR 102550964B1
Authority
KR
South Korea
Prior art keywords
subject
concentration
focused
learning model
information
Prior art date
Application number
KR1020160034623A
Other languages
English (en)
Other versions
KR20170110350A (ko
Inventor
윤우한
박찬규
이동진
김재홍
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160034623A priority Critical patent/KR102550964B1/ko
Publication of KR20170110350A publication Critical patent/KR20170110350A/ko
Application granted granted Critical
Publication of KR102550964B1 publication Critical patent/KR102550964B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168—Evaluating attention deficit, hyperactivity

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Developmental Disabilities (AREA)
  • Engineering & Computer Science (AREA)
  • Hospice & Palliative Care (AREA)
  • Biomedical Technology (AREA)
  • Psychiatry (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Physics & Mathematics (AREA)
  • Child & Adolescent Psychology (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Educational Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Image Analysis (AREA)

Abstract

본 발명은 시스템을 사용하는 대상이 정해져있고 주기적으로 집중도를 측정하는 경우에 좀 더 정확한 집중도 측정 결과를 제공하기 위하여, 학습, 검사 등에서 집중 여부와 관련된 측정 대상자 개인의 성향이나 패턴을 추가적으로 반영하여 집중도를 측정할 수 있는, 집중도 측정 장치 및 방법에 관한 것이다.

Description

개인화 모델을 이용한 집중도 측정 장치 및 방법{Apparatus and Method for Measuring Concentrativeness using Personalization Model}
본 발명은 학습, 검사 등에서 카메라 영상을 이용한 측정 대상자의 집중도 측정 장치 및 방법에 관한 것으로서, 특히, 개인화 모델 기술을 활용하여 측정 대상자 개인의 데이터를 기반으로 개인화 특성을 고려해 정확한 측정 집중도 측정이 가능한, 집중도 측정 장치 및 방법에 관한 것이다.
일반적인 학습, 검사 등의 집중도 측정 방법에서는, 카메라를 통해 획득한 측정 대상자에 대한 영상을 분석하여 특징을 추출하고, 사전에 대량의 데이터를 통해 학습된 분류기(Classifier)에 대입하여 대상자의 집중도를 추정한다.
그러나, 종래의 집중도 측정 방법에서는, 불특정 다수의 대상자에 대하여 집중도를 측정하므로 대상자의 특성을 고려하지 않아 부정확한 측정 결과가 나올 수 있다.
예를 들어, 온라인 수강시스템이나 CBT(Computer-based Training) 기반 적성검사시스템 등에서 측정 대상자의 ID(identifier)를 확인할 수 있고 일정 기간 지속적으로 접속하므로 대상자의 특성에 대한 데이터가 축적될 수 있지만, 이와 같은 시스템에 카메라를 이용한 집중도 측정 시스템을 연동시키는 경우, 기존과 같이 불특정 다수의 대상자에 대하여 집중도를 측정하면, 대상자의 특성에 대한 데이터가 무시되어 부정확한 측정 결과가 나올 수 있다.
따라서, 본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로, 본 발명의 목적은, 시스템을 사용하는 대상이 정해져있고 주기적으로 집중도를 측정하는 경우에 좀 더 정확한 집중도 측정 결과를 제공하기 위하여, 학습, 검사 등에서 집중 여부와 관련된 측정 대상자 개인의 성향이나 패턴을 추가적으로 반영하여 집중도를 측정할 수 있는, 집중도 측정 장치 및 방법을 제공하는 데 있다.
본 발명의 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재들로부터 당업자에게 명확하게 이해될 수 있을 것이다.
먼저, 본 발명의 특징을 요약하면, 상기의 목적을 달성하기 위한 본 발명의 일면에 따른 집중도 측정 장치는, 측정 대상자를 촬영하는 카메라로부터 대상자 영상을 입력받는 영상 입력부; 대상자 ID와 대상자의 현재 집중 여부 정보를 입력받는 대상자정보 입력부; 상기 대상자 영상을 분석하여 집중도 관련 특징 정보를 추출하는 집중도 특징 분석부; 상기 집중도 관련 특징 정보와 상기 대상자 정보에 대해 상기 대상자가 집중했을 때와 상기 대상자가 집중하지 못했을 때에 사전학습모델을 개인 모델로 적응시켜 사전학습모델 DB에 특징 정보의 사전학습모델을 미리 저장 관리하고, 상기 사전학습모델 DB을 참조하여 상기 대상자가 집중했을 때와 상기 대상자가 집중하지 못했을 때에 대한 각각의 개인화 학습 모델 정보를 생성하는 개인화부; 및 상기 각각의 개인화 학습 모델 정보의 값에 따라 상기 대상자에 대한 집중인지 또는 비집중인지 여부를 결정하는 집중도결정부를 포함한다.
상기 집중도 특징 분석부는, 상기 대상자 영상으로부터 상기 대상자의 얼굴 부분의 영상을 추출하는 얼굴 검출부; 상기 대상자의 얼굴 부분의 영상으로부터 집중도 관련 큐(Cue)(예, 얼굴 크기, 얼굴의 위치, 정면 주시여부, 회전 정도 등)를 추출하는 Cue 추출부; 상기 집중도 관련 큐를 저장소에 소정의 시간 동안 저장하는 Cue 저장부; 및 상기 저장소에 저장된 집중도 관련 큐들을 통계적 분석하여 상기 대상자가 집중했을 때와 상기 대상자가 집중하지 못했을 때에 대한 상기 집중도 관련 특징 정보를 추출하는 특징추출부를 포함할 수 있다.
상기 개인화부는, 가우시안 분포 또는 정규분포를 이루는 상기 특징 정보의 학습을 통해 상기 사전학습모델 DB를 업데이트하고, 상기 사전학습모델 DB를 참조하여 현재의 집중도 관련 특징 정보에 대해 상기 대상자가 집중했을 때의 확률값과 상기 대상자가 집중하지 못했을 때의 확률값을 상기 개인화 학습 모델 정보로서 생성할 수 있다.
본 발명의 다른 일면에 따른 집중도 측정 장치에서의 집중도 측정 방법은, 측정 대상자를 촬영하는 카메라로부터 대상자 영상을 입력받는 단계; 대상자 ID와 대상자의 현재 집중 여부 정보를 입력받는 단계; 상기 대상자 영상을 분석하여 집중도 관련 특징 정보를 추출하는 단계; 상기 집중도 관련 특징 정보와 상기 대상자 정보에 대해 상기 대상자가 집중했을 때와 상기 대상자가 집중하지 못했을 때에 사전학습모델을 개인 모델로 적응시켜 사전학습모델 DB에 특징 정보의 사전학습모델을 미리 저장 관리하고, 상기 사전학습모델 DB을 참조하여 상기 대상자가 집중했을 때와 상기 대상자가 집중하지 못했을 때에 대한 각각의 개인화 학습 모델 정보를 생성하는 단계; 및 상기 각각의 개인화 학습 모델 정보의 값에 따라 상기 대상자에 대한 집중인지 또는 비집중인지 여부를 결정하는 단계를 포함한다.
본 발명에 따른 개인화 모델을 이용한 집중도 측정 장치 및 방법에 따르면, 컴퓨터를 이용하여 어떤 작업을 수행하는 사람의 집중도를 인식할 때, 기존과 같이 사전 학습된 모델에 비해 본 발명과 같이 개인화된 모델을 만들고 이용함에 따라 좀 더 정확한 집중도 인식이 가능하다.
예를 들어, 학습이나 검사 등을 위하여 사용하는 대상이 미리 정해져있는 온라인 수강시스템이나 CBT(Computer-based Training) 기반 적성검사시스템 등과 연계하여, 주기적으로 집중도를 측정할 수 있는 시스템에서, 집중 여부와 관련된 측정 대상자 개인의 성향이나 패턴을 추가적으로 반영하여 집중도를 측정함으로써, 좀 더 정확한 집중도 측정 결과를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 개인화 모델을 이용한 집중도 측정 장치를 설명하기 위한 도면이다.
도 2는 본 발명의 일 실시예에 따른 측정 대상자의 영상 입력 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 개인화 모델을 이용한 집중도 측정 장치의 구현 방법의 일례를 설명하기 위한 도면이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1은 본 발명의 일 실시예에 따른 개인화 모델을 이용한 집중도 측정 장치(900)를 설명하기 위한 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 개인화 모델을 이용한 집중도 측정 장치(900)는, 도 2와 같이 컴퓨터(110) 앞에서 학습이나 검사 등 어떤 작업을 하는 측정 대상자에 대하여 카메라(120)로 촬영한 영상 입력을 받는 영상 입력부(100), 대상자 정보를 입력 받기 위한 대상자정보 입력부(200), 입력받은 대상자 영상을 분석하여 집중도 관련 특징을 추출하는 집중도 특징 분석부(250), 사전학습모델 DB(database)(710)을 참조해 집중도 관련 특징 정보와 대상자 정보에 대해 사전학습모델을 개인모델로 적응(Adaptation)시켜 개인화 모델 정보를 생성하는 개인화부(700), 개인화 모델 정보에 대하여 집중도를 결정하는 집중도결정부(800)을 포함한다. 도 1에서, 집중도 특징 분석부(250)는 입력받은 대상자 영상에서 대상자의 얼굴 부분을 추출하는 얼굴검출부(300), 검출된 얼굴에서 집중도 관련 큐(Cue, 단서)를 추출하는 Cue추출부(400), 추출된 Cue들을 받아 소정의 시간동안 메모리 등 저장소(510)에 저장하는 Cue저장부(500), 저장된 Cue들에서 통계적 특징을 추출하는 특징추출부(600)를 포함한다.
영상 입력부(100)는 컴퓨터(110) 앞에서 어떤 작업을 하는 측정 대상자에 대한 카메라(120) 영상 입력을 받는다. 도 2와 같이, 측정 대상자는 컴퓨터(110) 앞에서 온라인 수강시스템을 통한 학습, CBT(Computer-based Training) 기반 적성검사시스템을 통한 검사 등을 진행하면서, 해당 시스템과 연계된 집중도 측정 장치(900)를 통해 집중도를 측정받을 수 있다. 컴퓨터(110) 모니터의 상단부 등 적절한 위치에 카메라(120)가 설치될 수 있으며, 측정 대상자가 컴퓨터(110) 앞에서 해당 작업을 진행하는 동안, 카메라(120)는 측정 대상자에 대한 촬영으로 대상자 영상 데이터를 영상 입력부(100)로 제공한다.
대상자정보 입력부(200)는 대상자 정보를 입력받는다. 대상자 또는 운영자/관리자가 컴퓨터(110)를 통해 입력하는 대상자 ID, 대상자의 집중/비집중 등 현재 집중 여부에 대한 정보 등과 같은, 대상자 정보를 입력받는다.
집중도 특징 분석부(250)는 영상 입력부(100)로부터 입력받은 대상자 영상을 분석하여 집중도 관련 특징을 추출한다.
먼저, 얼굴 검출부(300)는, 영상 입력부(100)로부터 입력받은 대상자 영상으로부터 대상자의 얼굴 부분의 영상을 추출한다. 이때, Adaboost 학습기반의 분류 기법 등이 이용될 수 있다.
Cue 추출부(400)는, 얼굴 검출부(300)가 검출한 대상자의 얼굴 부분의 영상에서 얼굴 크기, 얼굴의 위치, 정면 주시여부, 회전 정도 등과 같은 집중도 관련 큐(Cue, 단서)를 추출한다. 이와 같은 비주얼 큐를 추출하기 위하여, 다양한 방법이 이용될 수 있으며, 예를 들어, 논문1, ["Distance-invariant Automatic Engagement Level Recognition using Visual Cues", International Conference on Graphic and Image Processing (ICGIP), Singapore, 2015.]가 참조될 수 있다.
Cue 저장부(500)는, Cue 추출부(400)에서 추출된 집중도 관련 Cue들을 소정의 시간(T) 동안 메모리 등 저장소(510)에 저장한다. T는 사전에 1초에서 30초 사이의 값 등으로 설정될 수 있다.
특징추출부(600)는, 저장소(510)에 저장된 Cue들을 통계적 분석하여 집중도 추정을 위한 집중도 관련 통계적 특징을 추출한다. 이와 같은 통계적 특징을 추출하기 위하여, 다양한 방법이 이용될 수 있으며, 예를 들어, 위와 같은 논문1 등이 참조될 수 있다. 이러한 집중도 관련 (통계적) 특징은, 대상자가 집중했을 때와 대상자가 집중하지 못했을 때에 대한 얼굴 크기, 얼굴의 위치, 정면 주시여부, 회전 정도 등의 통계 정보(예, 평균, 분산 등)로 이루어질 수 있다.
이와 같이, 집중도 특징 분석부(250)가 영상 입력부(100)로부터 입력받은 대상자 영상을 분석하여 집중도 관련 (통계적) 특징을 추출하면, 개인화부(700)는, 해당 집중도 관련 특징 정보와 대상자 정보에 대해 대상자가 집중했을 때와 대상자가 집중하지 못했을 때에 사전학습모델을 개인 모델로 적응(Adaptation)시켜 사전학습모델 DB(database, 데이터베이스)(710)에 특징 정보의 사전학습모델을 저장하고, 사전학습모델 DB(710) 참조해 현재의 집중도 관련 특징 정보에 대하여 대응되는 개인화 학습 모델 정보를 생성한다. 개인화 학습 모델 정보는 하기와 같이 대상자가 집중했을 때와 대상자가 집중하지 못했을 때에 대한 각각의 정보로 이루어진다.
먼저, 개인화부(700)는, 집중도 관련 특징 정보(Dinter, Dbored)와 대상자 정보(대상자 ID와 대상자의 현재 집중 여부 정보(집중/비집중 등))에 대하여, 미리 학습하여 DB(710)의 사전학습모델을 MAP(Maximum a posteriori) 개념을 이용하여 개인화시킨다. MAP 과정은, 다양한 방법이 이용될 수 있으며, 예를 들어, 논문2, ["Speaker Verification Using Adapted Gaussian Mixture Models", Digital Signal Processing, 10, pp.19-41, 2000] 등이 참조될 수 있다.
예를 들어, 대상자가 집중했을 때 특징을 Dinter, 대상자가 집중하지 못했을 때 특징을 Dbored라 하자. 이때 대상자가 집중했을 때 개인화 학습 모델
Figure 112016027942128-pat00001
과 대상자가 집중하지 못했을 때 개인화 학습 모델
Figure 112016027942128-pat00002
는, Dinter와 Dbored을 각각 이용하여 재학습됨으로써, 사전학습모델 DB(710)에 미리 업데이트되어 저장 관리된다. 여기서,
Figure 112016027942128-pat00003
을 특징(x= Dinter 혹은 Dbored)에 대한 가우시안 분포(또는 정규분포) 함수라고 할 때, Gaussian Mixture Model에 따라, 두 개인화 학습 모델(
Figure 112016027942128-pat00004
,
Figure 112016027942128-pat00005
)은 다음과 같은 [수학식1] 함수에 따라 집중/비집중 각각의 학습된 모델인자(θinter/θbored)를 이용하여 특징(x= Dinter혹은 Dbored)에 대한 확률값으로 표현될 수 있다. 여기서 wm은 N개의 미리 정의된 집중/비집중 각 모델 또는 패턴(예, 회전 각도(θ)의 정도) 중 m번째 모델 또는 패턴의 가중치이다.
[수학식1]
Figure 112016027942128-pat00006
이와 같은 MAP 과정에 따라 대상자의 ID가 i인 사람에게 개인화된 개인화 모델은, 집중/비집중 각각에서
Figure 112016027942128-pat00007
,
Figure 112016027942128-pat00008
로 표현될 수 있다.
집중도결정부(800)는, 이와 같은 개인화 학습 모델 정보
Figure 112016027942128-pat00009
,
Figure 112016027942128-pat00010
에 대하여, 실제 해당 대상자에 대한 집중도를 결정한다. 집중도결정부(800)는, 개인화 학습 모델 정보
Figure 112016027942128-pat00011
,
Figure 112016027942128-pat00012
의 각 값에 따라 대상자에 대한 집중인지 또는 비집중인지 여부를 결정할 수 있으며, 예를 들어, [수학식2]와 같이, 최종 집중도로서 집중인지(interested) 또는 비집중인지(bored) 여부를 결정할 수 있다.
[수학식2]
Figure 112016027942128-pat00013
도 3은 본 발명의 일 실시예에 따른 개인화 모델을 이용한 집중도 측정 장치(900)의 구현 방법의 일례를 설명하기 위한 도면이다. 본 발명의 일 실시예에 따른 집중도 측정 장치(900)는 하드웨어, 소프트웨어, 또는 이들의 결합으로 이루어질 수 있다. 예를 들어, 집중도 측정 장치(900)는 도 3과 같은 컴퓨팅 시스템(1000)으로 구현될 수 있다.
컴퓨팅 시스템(1000)은 버스(1200)를 통해 연결되는 적어도 하나의 프로세서(1100), 메모리(1300), 사용자 인터페이스 입력 장치(1400), 사용자 인터페이스 출력 장치(1500), 스토리지(1600), 및 네트워크 인터페이스(1700)를 포함할 수 있다. 프로세서(1100)는 중앙 처리 장치(CPU) 또는 메모리(1300) 및/또는 스토리지(1600)에 저장된 명령어들에 대한 처리를 실행하는 반도체 장치일 수 있다. 메모리(1300) 및 스토리지(1600)는 다양한 종류의 휘발성 또는 불휘발성 저장 매체를 포함할 수 있다. 예를 들어, 메모리(1300)는 ROM(Read Only Memory)(1310) 및 RAM(Random Access Memory)(1320)을 포함할 수 있다.
따라서, 본 명세서에 개시된 실시예들과 관련하여 설명된 방법 또는 알고리즘의 단계는 프로세서(1100)에 의해 실행되는 하드웨어, 소프트웨어 모듈, 또는 그 2 개의 결합으로 직접 구현될 수 있다. 소프트웨어 모듈은 RAM 메모리, 플래시 메모리, ROM 메모리, EPROM 메모리, EEPROM 메모리, 레지스터, 하드 디스크, 착탈형 디스크, CD-ROM과 같은 저장 매체(즉, 메모리(1300) 및/또는 스토리지(1600))에 상주할 수도 있다. 예시적인 저장 매체는 프로세서(1100)에 커플링되며, 그 프로세서(1100)는 저장 매체로부터 정보를 판독할 수 있고 저장 매체에 정보를 기입할 수 있다. 다른 방법으로, 저장 매체는 프로세서(1100)와 일체형일 수도 있다. 프로세서 및 저장 매체는 주문형 집적회로(ASIC) 내에 상주할 수도 있다. ASIC는 사용자 단말기 내에 상주할 수도 있다. 다른 방법으로, 프로세서 및 저장 매체는 사용자 단말기 내에 개별 컴포넌트로서 상주할 수도 있다.
상술한 바와 같이, 본 발명에 따른 개인화 모델을 이용한 집중도 측정 장치(900)에서는, 컴퓨터를 이용하여 어떤 작업을 수행하는 사람의 집중도를 인식할 때, 기존과 같이 사전 학습된 모델에 비해 본 발명과 같이 개인화된 모델을 만들고 이용함에 따라 좀 더 정확한 집중도 인식이 가능하다. 예를 들어, 학습이나 검사 등을 위하여 사용하는 대상이 미리 정해져있는 온라인 수강시스템이나 CBT(Computer-based Training) 기반 적성검사시스템 등과 연계하여, 주기적으로 집중도를 측정할 수 있는 시스템에서, 집중 여부와 관련된 측정 대상자 개인의 성향이나 패턴을 추가적으로 반영하여 집중도를 측정함으로써, 좀 더 정확한 집중도 측정 결과를 제공할 수 있다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
영상 입력부(100)
대상자정보 입력부(200)
집중도 특징 분석부(250)
얼굴검출부(300)
Cue추출부(400)
Cue저장부(500)
Cue 저장소(510)
특징추출부(600)
개인화부(700)
사전학습모델 DB(710)
집중도결정부(800)

Claims (10)

  1. 집중도 측정 장치에 있어서,
    측정 대상자를 촬영하는 카메라로부터 대상자 영상을 입력받는 영상 입력부;
    대상자 ID와 대상자의 현재 집중 여부 정보를 입력받는 대상자정보 입력부;
    상기 대상자 영상을 분석하여 집중도 관련 특징 정보를 추출하는 집중도 특징 분석부;
    상기 집중도 관련 특징 정보와 대상자 정보에 대해 상기 대상자가 집중했을 때와 상기 대상자가 집중하지 못했을 때에 사전학습모델을 개인 모델로 적응시켜 사전학습모델 DB에 특징 정보의 사전학습모델을 미리 저장 관리하고, 상기 사전학습모델 DB을 참조하여 상기 대상자가 집중했을 때에 대한 개인화 학습 모델 정보 및 상기 대상자가 집중하지 못했을 때에 대한 개인화 학습 모델 정보를 생성하는 개인화부; 및
    입력되는 대상자 영상으로부터 추출되는 집중도 관련 특징 정보에 대해 상기 대상자가 집중했을 때에 대한 개인화 학습 모델 정보를 기반으로 대상자가 집중했을 때의 확률값 및 상기 대상자가 집중하지 못했을 때에 대한 개인화 학습 모델 정보를 기반으로 대상자가 집중하지 못했을 때의 확률값을 산출하고, 산출된 대상자가 집중했을 때의 확률값 및 대상자가 집중하지 못했을 때의 확률값을 기반으로 상기 대상자의 집중 또는 비집중 여부를 결정하는 집중도결정부
    를 포함하는 것을 특징으로 하는 집중도 측정 장치.
  2. 제1 항에 있어서, 상기 집중도 특징 분석부는,
    상기 대상자 영상으로부터 상기 대상자의 얼굴 부분의 영상을 추출하는 얼굴 검출부;
    상기 대상자의 얼굴 부분의 영상으로부터 집중도 관련 큐(Cue)를 추출하는 Cue 추출부; 및
    상기 집중도 관련 큐들을 통계적 분석하여 상기 대상자가 집중했을 때와 상기 대상자가 집중하지 못했을 때에 대한 상기 집중도 관련 특징 정보를 추출하는 특징추출부를 포함하는 것을 특징으로 하는 집중도 측정 장치.
  3. 제2 항에 있어서, 얼굴 검출부는,
    Adaboost 학습기반의 분류 기법을 기반으로 얼굴 부분의 영상을 추출하는 것을 특징으로 하는 집중도 측정 장치.
  4. 제2 항에 있어서, 상기 집중도 관련 큐는,
    얼굴 크기, 얼굴의 위치, 정면 주시여부 및 회전 정도 중 적어도 하나를 포함하는 것을 특징으로 하는 집중도 측정 장치.
  5. 제2 항에 있어서, 상기 집중도 특징 분석부는,
    상기 집중도 관련 큐를 저장소에 저장하는 Cue 저장부를 더 포함하고,
    특징 추출부는,
    저장소에 저장된 집중도 관련큐들을 분석하는 것을 특징으로 하는 집중도 측정 장치.
  6. 제4 항에 있어서, 집중도 관련 특징은,
    대상자가 집중했을 때와 대상자가 집중하지 못했을 때에 대한 얼굴 크기, 얼굴의 위치, 정면 주시여부, 회전 정도 중 적어도 하나를 포함하는 집중도 관련 큐의 통계 정보로 이루어지는 것을 특징으로 하는 집중도 측정 장치.
  7. 제1 항에 있어서, 상기 개인화 학습 모델 정보는,
    상기 사전학습모델 DB를 참조하여 생성된 현재의 집중도 관련 특징 정보에 대해 상기 대상자가 집중했을 때의 확률값과 상기 대상자가 집중하지 못했을 때의 확률값인 것을 특징으로 하는 집중도 측정 장치.
  8. 제7 항에 있어서, 상기 집중도 관련 특징 정보는,
    가우시안 분포 또는 정규분포를 이루는 것을 특징으로 하는 집중도 측정 장치.
  9. 삭제
  10. 집중도 측정 장치에 의해 수행되는 집중도 측정 방법은,
    측정 대상자를 촬영하는 카메라로부터 대상자 영상을 입력받는 단계;
    대상자 ID와 대상자의 현재 집중 여부 정보를 입력받는 단계;
    상기 대상자 영상을 분석하여 집중도 관련 특징 정보를 추출하는 단계;
    상기 집중도 관련 특징 정보와 대상자 정보에 대해 상기 대상자가 집중했을 때와 상기 대상자가 집중하지 못했을 때에 사전학습모델을 개인 모델로 적응시켜 사전학습모델 DB에 특징 정보의 사전학습모델을 미리 저장 관리하고, 상기 사전학습모델 DB을 참조하여 상기 대상자가 집중했을 때에 대한 개인화 학습 모델 정보 및 상기 대상자가 집중하지 못했을 때에 대한 개인화 학습 모델 정보를 생성하는 단계; 및
    입력되는 대상자 영상으로부터 추출되는 집중도 관련 특징 정보에 대해 상기 대상자가 집중했을 때에 대한 개인화 학습 모델 정보를 기반으로 대상자가 집중했을 때의 확률값 및 상기 대상자가 집중하지 못했을 때에 대한 개인화 학습 모델 정보를 기반으로 대상자가 집중하지 못했을 때의 확률값을 산출하고, 산출된 대상자가 집중했을 때의 확률값 및 대상자가 집중하지 못했을 때의 확률값을 기반으로 상기 대상자의 집중 또는 비집중 여부를 결정하는 단계를 포함하는 것을 특징으로 하는 집중도 측정 방법.
KR1020160034623A 2016-03-23 2016-03-23 개인화 모델을 이용한 집중도 측정 장치 및 방법 KR102550964B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160034623A KR102550964B1 (ko) 2016-03-23 2016-03-23 개인화 모델을 이용한 집중도 측정 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160034623A KR102550964B1 (ko) 2016-03-23 2016-03-23 개인화 모델을 이용한 집중도 측정 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170110350A KR20170110350A (ko) 2017-10-11
KR102550964B1 true KR102550964B1 (ko) 2023-07-05

Family

ID=60139202

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160034623A KR102550964B1 (ko) 2016-03-23 2016-03-23 개인화 모델을 이용한 집중도 측정 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102550964B1 (ko)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101887626B1 (ko) 2018-02-12 2018-08-10 (주)포세듀 안면 데이터 기반 집중도 분석 시스템 및 그 방법
KR20200049262A (ko) 2018-10-31 2020-05-08 (주)포세듀 온라인 블라인드 채용 시험 제공 시스템 및 그 방법
KR20230089322A (ko) 2021-12-13 2023-06-20 주식회사우경정보기술 동작 추정과 c3d가 결합된 앙상블 기법이 적용된 아동 비대면 학습 집중도 측정 장치 및 방법
KR102486226B1 (ko) 2022-08-10 2023-01-06 김영식 항공관제장비 감시장치 및 감시방법
KR102671780B1 (ko) 2022-10-17 2024-06-03 에세라이트 주식회사 Rs-485 통신모듈을 이용한 조명제어시스템
KR102650585B1 (ko) * 2023-02-23 2024-03-26 우송대학교 산학협력단 학습자-디지털트윈 생성을 활용한 가상강의 공간의 학습관리 시스템 및 그 관리방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101602665B1 (ko) 2013-09-30 2016-03-11 김민철 온라인 상의 학습 미션을 이용한 학습관리 방법 및 이에 사용되는 학습관리 서버

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101602665B1 (ko) 2013-09-30 2016-03-11 김민철 온라인 상의 학습 미션을 이용한 학습관리 방법 및 이에 사용되는 학습관리 서버

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
("Distance-invariant Automatic Engagement Level Recognition using Visual Cues", International Conference on Graphic and Image Processing(ICGIP), Singapore, 2015)
("Speaker Verification Using Adapted Gaussian Mixture Models", Digital Signal Processing, 10, pp.19-41, 2000)

Also Published As

Publication number Publication date
KR20170110350A (ko) 2017-10-11

Similar Documents

Publication Publication Date Title
KR102550964B1 (ko) 개인화 모델을 이용한 집중도 측정 장치 및 방법
US11610394B2 (en) Neural network model training method and apparatus, living body detecting method and apparatus, device and storage medium
US11195037B2 (en) Living body detection method and system, computer-readable storage medium
US9202121B2 (en) Liveness detection
CN106557726B (zh) 一种带静默式活体检测的人脸身份认证系统及其方法
US8325981B2 (en) Human tracking apparatus, human tracking method, and human tracking processing program
KR101725651B1 (ko) 식별 장치 및 식별 장치의 제어 방법
US20160062456A1 (en) Method and apparatus for live user recognition
CN108229308A (zh) 目标对象识别方法、装置、存储介质和电子设备
US20190026606A1 (en) To-be-detected information generating method and apparatus, living body detecting method and apparatus, device and storage medium
US9704024B2 (en) Object discriminating apparatus and method
US20080175447A1 (en) Face view determining apparatus and method, and face detection apparatus and method employing the same
JP2009245314A (ja) 時系列データの識別装置および動画像への人物メタ情報付与装置
CN108875553A (zh) 人证核验的方法、装置、系统及计算机存储介质
EP3264329A1 (fr) Procede et dispositif de detection de fraude par examen a deux focales distinctes lors d'une reconnaissance automatique d'un visage
CN106446837B (zh) 一种基于运动历史图像的挥手检测方法
CN115565097A (zh) 交易场景人员行为是否合规检测方法及装置
CN110991370B (zh) 多通道信息融合atm面板遗留物检测方法
KR102160583B1 (ko) 이벤트 객체 감시장치 및 방법
Chin et al. Automated attendance capture and tracking system
Brockly et al. Human-Biometric Sensor Interaction.
CN106599764A (zh) 基于唇形特征的活体判断方法及设备
CN113705284A (zh) 攀爬识别方法、装置及摄像机
CN111753625B (zh) 一种行人检测方法、装置、设备及介质
CN105989339B (zh) 用于检测目标的方法和装置

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right