KR102174345B1

KR102174345B1 - 몰입도 측정장치 및 방법

Info

Publication number: KR102174345B1
Application number: KR1020180067704A
Authority: KR
Inventors: 이찬수; 김민현; 김진철
Original assignee: 영남대학교 산학협력단
Priority date: 2018-06-12
Filing date: 2018-06-12
Publication date: 2020-11-04
Also published as: KR20190140767A

Abstract

본 실시예는 몰입도 측정장치 및 방법를 개시한다.
본 발명의 실시예에 의하면, 영상 촬영장치로부터 수집된 영상정보를 사용자에 의해 학습된 표정인식 모델에 입력하여 흥미도 점수를 산출하고, 눈깜빡임 횟수와 사용자의 얼굴 정면응시 비율을 종합하여 집중도 점수를 산출하여 결과적으로 사용자의 관심 분야에 대한 몰입도를 판단하도록 하는 몰입도 측정장치 및 방법을 제공한다.

Description

몰입도 측정장치 및 방법{Method and Apparatus for Measuring Degree of Immersion}

본 실시예는 몰입도 측정장치 및 방법에 관한 것이다. 더욱 상세하게는, 컴퓨터를 기반으로 하는 다중지능 평가 시스템에 이용하기 위한 것으로서, 얼굴 분석을 이용한 몰입도 측정장치 및 방법에 관한 것이다.

이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.

사람의 지능을 측정하는 보편적인 방법으로 IQ 테스트가 있다. 사람의 지능은 다양한 지적 특성을 기반으로 측정되어야 하지만, IQ 테스트는 언어능력 및 수학능력에 비중을 두고 평가한다는 단점이 있다. 하워드 가드너(Howard Gardner) 교수는 인간의 지능을 8가지 영역으로 분리하고, 각 영역에 대한 검사를 수행하는 다중지능 이론을 발표하였고, 이를 기반으로 사용자의 지능을 다양한 측면에서 평가하는 다중지능 평가시스템이 개발되고 있다.

다중지능 평가의 방법으로, 일정한 문제를 제한시간 내에 해결하는 정도를 검사하는 방법이 일반적이다. 그러나 많은 연구결과에 따르면 다중지능을 획일적인 방법으로 측정해서는 정확한 다중지능을 측정할 수 없다는 것이 밝혀지고, 인간의 다양한 영역별로 분리하여 검사해야 한다는 의견이 많아지고 있다. 따라서 영역별로 분리검사를 수행하기 위해, 설문조사 또는 상담을 진행하는 검사자가 영역별로 설문조사 또는 상담을 하고, 피검사자의 답변을 분석하는 방법이 사용되고 있다.

그러나 이와 같은 설문조사 방식은 다중지능 평가 과정에서 검사자의 경험과 같은 주관적 요소가 개입될 여지가 많고, 다중지능 평가를 위한 많은 수의 전문가, 시간 및 비용이 필요하다. 또한, 언어능력이 채 발달하지 않은 유아에 대해서는 설문조사의 문항에 관한 답변이 일정하지 않아 검사결과의 신뢰도가 낮다는 문제점이 있다.

일본 공개특허공보 특개 2014-178358호 (2014.09.25) 일본 공개특허공보 특개 2005-208850 (2005.08.04)

본 발명의 실시예는, 영상 촬영장치로부터 수집된 영상정보를 사용자에 의해 학습된 표정인식 모델에 입력하여 흥미도 점수를 산출하고, 눈깜빡임 횟수와 사용자의 얼굴 정면응시 비율을 종합하여 집중도 점수를 산출하여 결과적으로 사용자의 관심 분야에 대한 몰입도를 판단하도록 하는 몰입도 측정장치 및 방법을 제공하는 데 주 목적이 있다.

본 실시예는, 영상 촬영장치가 촬영한 사용자의 영상정보를 수신하여 상기 영상정보로부터 얼굴 영역을 특정하고, 상기 얼굴 영역 내에서 얼굴표정을 감지하여 모션데이터(motion data)를 생성하는 영상처리부; 기 학습된 표정인식 모델 및 상기 모션데이터를 기반으로 상기 사용자의 흥미도 점수를 산출하여 출력하는 흥미도 판별부; 상기 얼굴 영역을 기반으로 얼굴데이터를 추출하여 상기 사용자의 집중도 점수를 산출하여 출력하는 집중도 판별부; 및 상기 흥미도 점수와 상기 집중도 점수 중 적어도 어느 하나에 기반하여 상기 사용자의 몰입도 점수를 산출하여 출력하는 몰입도 판별부를 포함하는 것을 특징으로 하는 몰입도 측정장치를 제시한다.

본 실시예의 다른 측면에 의하면, 영상 촬영장치가 촬영한 사용자의 영상정보를 수신하여 상기 영상정보로부터 얼굴 영역을 특정하고, 상기 얼굴 영역 내에서 얼굴표정을 감지하여 모션데이터(motion data)를 생성하는 과정; 기 학습된 표정인식 모델 및 상기 모션데이터를 기반으로 상기 사용자의 흥미도 점수를 산출하여 출력하는 과정; 상기 얼굴 영역을 기반으로 얼굴데이터를 추출하여 상기 사용자의 집중도 점수를 산출하여 출력하는 과정; 및 상기 흥미도 점수와 상기 집중도 점수 중 적어도 어느 하나에 기반하여 상기 사용자의 몰입도 점수를 산출하여 출력하는 과정을 포함하는 것을 특징으로 하는 몰입도 측정방법을 제시한다.

이상에서 설명한 바와 같이 본 실시예에 의하면, 사용자의 흥미도 및 집중도를 기반으로 사용자의 관심 분야에 대한 몰입도를 측정하여 다중지능 평가에 이용할 수 있다. 사용자의 영상정보를 이용하여 몰입도를 측정함으로써, 다중지능 평가를 실시할 때 언어능력의 발달이 부족한 유아에게도 이용할 수 있다.

본 실시예에 의한 몰입도 측정장치는 컴퓨터를 기반으로 하는 다중지능 평가 시스템에 이용될 수 있으며, 상담원의 능력 또는 경험 등 주관적인 요소가 개입되지 않아 객관성 및 신뢰성을 확보할 수 있는 효과가 있다.

도 1은 본 실시예에 따른 몰입도 측정장치를 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 흥미도 판별부가 사용자의 얼굴표정에 상응하는 흥미도 점수를 산출하기 위해 예시적으로 나타낸 도면이다.
도 3은 본 실시예에 따른 눈깜빡임 산출부가 눈깜빡임 횟수를 점수로 환산하기 위해 예시적으로 나타낸 도면이다.
도 4는 본 실시예에 따라 흥미도 점수를 산출하기 위한 순서도이다.
도 5는 본 실시예에 따라 집중도 점수를 산출하기 위한 순서도이다.
도 6은 본 실시예에 따른 몰입도 측정방법을 설명하기 위한 예시도이다.
도 7의 (a) 및 (b)는 본 실시예에 따른 몰입도 측정 결과화면을 도시한 예시도이다.

이하, 본 실시예들을 예시적인 도면을 이용하여 상세하게 설명한다. 본 실시예들을 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.

본 실시예에서 '포함'이라는 용어는 명세서 상에 기재된 구성요소, 특징, 단계 또는 이들을 조합한 것이 존재한다는 것이지, 하나 또는 복수 개의 구성요소나 다른 특징, 단계 또는 이들을 조합한 것의 존재 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.

본 실시예에서 '얼굴데이터'라는 용어는 영상정보에서 사용자의 표정, 눈깜빡임 및 얼굴 정면응시를 파악하기 위한 얼굴정보로서 특징점을 포함하는 개념이다.

본 실시예에서 '몰입도'라는 용어는 사용자의 흥미도 및 집중도를 종합한 것으로서, 통상의 기술자로 하여금 본 실시예를 쉽게 이해하도록 하기 위해 '몰입도'로 표기한다.

첨부된 도면을 참조하여 본 실시예를 상세하게 설명한다.

도 1은 본 실시예에 따른 몰입도 측정장치를 개략적으로 나타낸 블록 구성도이다.

본 실시예에 따른 몰입도 측정장치(100)는 영상처리부(110), 흥미도 판별부(120), 집중도 판별부(130) 및 몰입도 판별부(140)를 포함한다.

영상처리부(110)는 촬영장치(112), 얼굴특정부(114) 및 모션데이터 생성부(116)를 포함한다. 영상처리부(110)는 사용자의 영상정보를 획득 및 가공하는데, 더욱 상세하게는, 촬영장치(112)로부터 사용자의 영상정보를 획득하고, 이를 기반으로 얼굴특정부(114)에서 사용자의 얼굴 영역을 특정한 뒤 모션데이터 생성부(116)에서 모션데이터를 생성한다.

모션데이터(motion data)는 촬영된 영상 상에서 사용자의 얼굴표정을 감지하기 위한 정보로서, 조밀 모션 플로우(dense motion flow)를 기반으로 한다. 조밀 모션 플로우는 옵티컬 플로우(optical flow)를 기반으로 하여 얼굴 움직임을 감지하는 데 용이하도록 변형된 것을 말한다. 촬영장치(112)는 카메라를 포함하여 사용자의 얼굴을 촬영할 수 있는 모든 장치를 말한다. 얼굴특정부(114)는 촬영장치(112)에서 획득한 영상정보를 사용자의 표정 변화를 감지하기 용이하도록 사용자의 얼굴 영역을 특정해서 추출한다.

흥미도 판별부(120)는 얼굴표정 데이터베이스(122), 표정인식 모델학습부(124) 및 흥미도점수 출력부(126)를 포함한다. 흥미도 판별부(120)는 영상처리부(110)가 생성한 모션데이터를 표정인식 모델에 입력하여 흥미도 점수를 산출한다. 더욱 상세하게는, 다양한 얼굴표정을 저장한 데이터베이스로 표정인식 모델을 학습하고, 생성된 모션데이터를 학습된 표정인식 모델에 입력하여 사용자의 얼굴표정에 상응하는 흥미도 점수를 산출한다.

얼굴표정 데이터베이스(122)는 다양한 얼굴표정을 저장하고, 표정인식 모델학습 부(124)는 저장된 얼굴표정을 기반으로 표정인식 모델을 학습한다. 더욱 자세하게는, 얼굴표정을 학습하여 얼굴표정을 부정적인 표정, 중립적인 표정 또는 긍정적인 표정의 카테고리로 구분하고, 각각의 카테고리를 적어도 하나 이상의 단계로 구분한다. 예를 들어, 부정적인 표정은 화남, 공포, 슬픔 등 다양한 표정이 존재하므로, 부정적인 표정을 화남, 공포, 슬픔 등으로 얼굴 표정의 모션데이터 강도에 따라 구분된다. 표정인식 모델은 회귀 모델(regression model)로서, 얼굴표정 데이터베이스(122)를 이용하여 CNN(Convolutional Neural Network)으로 학습되나 반드시 이에 한정되는 것은 아니다. 한편, 흥미도점수 출력부(126)는 학습된 표정의 단계마다 저장된 점수를 기반으로, 모션데이터를 표정인식 모델에 입력하여 분석된 표정의 점수를 산출한다.

집중도 판별부(130)는 눈깜빡임 산출부(132), 정면비율 산출부(134) 및 집중도점수 출력부(136)를 포함한다. 집중도 판별부(130)는 사용자의 눈깜빡임과 얼굴의 정면응시 비율을 종합하여 집중도 점수를 산출한다. 더욱 상세하게는, 사용자의 집중도를 판단할 때 눈깜빡임 및 얼굴의 정면응시 비율이라는 두 가지 요소를 고려하고, 특정 시간 동안 눈깜빡임이 적을수록 또한 얼굴의 정면응시 비율이 높을수록 집중도가 높다고 판단한다.

눈깜빡임 산출부(132)는 조건부 신경 모델을 이용하여 특정된 얼굴 영역에 특징점을 추출하고, 특징점으로부터 사용자의 눈, 코의 위치를 추정하고 모양을 평균화하여 회전 효과(rotational effect) 및 스케일링 효과(scaling effect)를 제거한다. 히스토그램(Histogram)을 이용하여 표준화된 얼굴에서 동작 단위를 검출하고, 이를 기반으로 사용자의 눈깜빡임을 추정한다. 여기서 동작 단위란, 모션데이터가 움직인 동작의 일 단위를 말한다. 한편, 특정 시간 동안 사용자의 최소, 최대 및 평균 눈깜빡임 횟수를 추정하여 복수 개의 구간으로 나누고, 눈깜빡임이 적을수록 점수를 높게 산정한다. 점수 산정에 관해서는 도 3 및 도 5와 관련하여 후술한다.

정면비율 산출부(134)는 얼굴의 정면응시 여부를 판단하기 위해 피치(pitch), 롤(roll), 요(yaw)의 범위를 정의한다. 한편, 피치, 롤, 요의 방법으로 한정하는 아니고 얼굴의 정면응시 여부를 판단할 수 있는 다른 방법도 포함한다고 이해되어야 할 것이다. 정면비율 산출부(134)는 매 프레임 별로 얼굴의 정면 응시 여부를 판단하고, 특정 시간 동안 영상정보의 전체 프레임 중 사용자 얼굴의 정면응시 프레임 비율을 계산한 뒤 이를 점수로 환산한다. 점수 산정에 관해서는 도 5와 관련하여 후술한다.

집중도점수 출력부(136)는 눈깜빡임 산출부(132)가 산출한 점수와 정면비율 산출부(134)가 산출한 점수를 종합할 때, 정면비율 점수에 가중치를 두고 집중도 점수를 산출한다. 이는 얼굴의 정면응시를 이용할 때 눈깜빡임을 이용할 때보다 집중도를 더 정확하게 판단할 수 있는 점을 고려한 것이다. 즉, 눈깜빡임은 집중도 평가에 도움을 주는 요소이기는 하지만 정면응시 비율보다 안구 건조와 같은 개인적이고 환경적인 요인을 많이 받는다.

몰입도 판별부(140)는 산출된 흥미도 점수 및 집중도 점수 중 적어도 어느 하나를 기반으로 몰입도 점수를 산출한다. 더욱 자세하게는, 흥미도-집중도 종합부(142)가 흥미도 점수 및 집중도 점수를 종합하고, 몰입도 출력부(144)는 사용자에 의해 기 설정된 몰입도 단계를 기준으로 종합된 흥미도-집중도 점수에 상응하는 몰입도 단계를 판단한다. 몰입도 단계는 몰입도를 판단할 수 있는 지표로서, 사용자에 의해 정의될 수 있다.

도 2는 본 실시예에 따른 흥미도 판별부가 사용자의 얼굴표정에 상응하는 흥미도 점수를 산출하기 위해 예시적으로 나타낸 도면이다.

도 2를 참조하면, 표정인식 모델학습부(124)는 얼굴표정 데이터베이스(122)를 기반으로 하여 학습되고, 학습된 얼굴표정을 3가지의 얼굴표정 카테고리로 분류한다. 3가지의 얼굴표정 카테고리는 부정적인 표정, 중립적인 표정 또는 긍정적인 표정으로 구성되고, 각 카테고리는 세부적인 얼굴표정 종류로 각각 나누어진다. 예컨대, 세부적인 얼굴표정 종류는 화남, 공포, 슬픔, 놀람, 무표정, 행복 등이 있을 수 있다. 표정인식 모델학습부(124)는 학습의 결과로서 얼굴표정 종류에 상응하는 학습표정을 저장하고, 모션데이터를 입력받는다.

흥미도점수 출력부(126)는 얼굴표정 종류마다 흥미도 점수를 저장하고, 입력받은 모션데이터와 표정인식 모델학습부(124)의 학습표정을 비교하여 그에 상응하는 흥미도 점수를 출력한다. 얼굴표정 종류에 관한 흥미도 점수는 얼굴데이터의 강도(intensity) 세기를 기반으로 하여 설정된다. 더욱 상세하게는, 도 2에 예시된 바와 같이 중립적인 표정을 기준점으로 하여 긍정적인 표정과 부정적인 표정을 얼굴표정의 강도에 따라 차등하여 점수를 설정한다. 특정 시간 동안 촬영한 영상정보에서 프레임마다 부정적인 표정의 최저값은 -10점, 중립적인 표정은 0점 및 긍정적인 표정의 최고값은 10점으로 차등 설정된 점수를 추출하고, 이를 기반으로 평균점수를 계산하여 결과적으로 흥미도 점수를 산출한다. 집중도 점수와 동등한 비율로 몰입도 점수를 산출하고자 평균점수는 최저 -5점에서 최대 5점까지 10점의 차이가 나도록 계산된다. 한편, 카테고리, 얼굴표정 종류 및 흥미도 점수는 사용자에 의해 다르게 정의될 수 있다.

도 3은 본 실시예에 따른 눈깜빡임 산출부가 눈깜빡임 횟수를 점수로 환산하기 위해 예시적으로 나타낸 도면이다.

도 3을 참조하면, 눈깜빡임 산출부(132)는 눈깜빡임 횟수를 측정하여 이에 상응하는 점수로 환산한다. 더욱 자세하게는, 특정 시간 동안 사용자의 눈깜빡이는 횟수를 카운트하여 눈깜빡임의 최소, 최대 및 평균값을 계산한 뒤, 이를 기반으로 눈깜빡임 횟수 구간을 적어도 하나 이상으로 나눈다. 복수의 구간으로 나눌 때는 최소, 최대 및 평균값 외에도 최소와 평균값의 중간값을 기준점으로 설정할 수 있다. 예를 들어, 최솟값은 0, 최댓값은 63.43 및 평균값은 6.43이고, 0과 6.47의 중간값인 3.23, 6.47과 63.43의 중간값은 34.95로, 0, 3.23, 6.47, 34.95 및 63.43 값이 기준이 된다. 복수의 구간설정은 사용자에 따라 다르게 정의될 수 있다. 눈깜빡임 산출부(132)는 눈깜빡임 횟수 구간에 따른 눈깜빡임 횟수 환산점수를 설정하여 눈깜빡임 점수로 환산한다. 눈깜빡임 점수는 최저 0점에서 최대 3점이 부여될 수 있다. 눈깜빡임 점수와 얼굴 정면응시 점수의 종합은 도 5와 관련하여 후술한다.

도 4는 본 실시예에 따라 흥미도 점수를 산출하기 위한 순서도이다.

도 4에 도시한 바와 같이, 몰입도 측정장치(100)는 촬영장치(112)를 이용하여 사용자를 촬영하게 하고, 촬영된 영상정보에서 사용자의 얼굴 영역을 특정한다(S402). 모션 플로우(motion flow)를 기반으로 특정된 얼굴 영역에서 사용자의 얼굴 움직임을 감지하여 모션데이터를 생성한다(S404). 여기서 모션 플로우는, 대상의 움직임을 감지하기 위해 옵티컬 플로우(optical flow)를 변형한 것으로서, 본 실시예는 사용자의 얼굴 표정의 움직임을 감지하기 위한 조밀 모션 플로우(dense motion flow)를 기반으로 한다. 몰입도 측정장치(100)는 얼굴표정 데이터베이스(122)를 이용하여 학습한 표정인식 모델에 생성된 모션데이터를 입력한다(S406). 얼굴표정 데이터베이스(122)는 피촬영자의 다양한 표정을 저장하고, 표정인식 모델은 CNN을 기반으로 학습된다. S408에서 몰입도 측정장치(100)는 입력된 모션데이터에 상응하는 얼굴표정 종류를 특정하고, 얼굴표정 종류와 매칭되는 흥미도 점수를 출력한다. 흥미도 점수는 사용자에 의해 기 설정되고, 표정인식 모델의 실측 자료(ground truth data)로 사용된다. 흥미도 점수는 집중도 점수와의 동등한 비율로 반영되기 위해 최고점과 최저점의 차이가 10점이 나도록 설정된다.

도 4에서는 단계 S402 내지 단계 S408을 순차적으로 진행하는 것으로 기재되어 있으나, 이는 본 발명의 일 실시예의 기술적 사상을 예시적으로 설명한 것에 불과한 것이다. 본 발명의 일 실시예의 본질적인 특성에서 벗어나지 않는 범위에서, 단계 S402 내지 단계 S408 중 하나 이상의 단계를 병렬적으로 실행하는 등 다양하게 수정 및 변형하여 적용 가능하다.

도 5는 본 실시예에 따라 집중도 점수를 산출하기 위한 순서도이다.

도 5에 도시한 바와 같이, 몰입도 측정장치(100)는 촬영장치(112)를 이용하여 사용자를 촬영하고, 촬영된 영상정보에서 사용자의 얼굴 영역을 특정하고(S502), 특정된 얼굴 영역에서 특징점을 추출한다(S504). 특징점이 추출되지 않는다면 단계 S502를 반복한다. 특징점은 조건부 지역 신경필드 모델을 사용하여 추출된다. 특징점은 도 7의 (a) 및 도 7의 (b)에 도시되어 있다.

S506에서 특징점을 이용하여 사용자 또는 피촬영자의 얼굴이 정면을 응시하고 있는지 여부를 판단한다. 추출된 특징점을 기반으로 눈깜빡임 횟수와 사용자의 얼굴 정면 비율을 점수로 환산한다. 눈깜빡임 횟수를 측정하기 위해서는 사용자 얼굴의 눈, 코, 입의 추정이 선행되어야 한다. S508에서 몰입도 측정장치(100)는 특징점을 이용하여 사용자의 눈, 코, 입의 위치를 추정하고, 모양을 정규화하여 회전효과 및 스케일링 효과를 제거한다. 정규화된 얼굴 모양에서 추출된 히스토그램을 기반으로 특정 시간 동안 동작 단위로 사용자의 눈깜빡임 여부를 판단하고, 눈깜빡임 횟수를 카운트한다(S512). 여기서 동작 단위란, 모션데이터가 움직인 동작의 일 단위를 말한다.

추출된 특징점을 기반으로, 사용자 또는 피촬영자가 정면을 응시하고 있는지 여부를 판단한다(S510). 사용자 또는 피촬영자가 정면을 응시하지 않는다면 단계 S502로 되돌아가고, 정면을 응시한다면 추출된 특징점을 기반으로 사용자 또는 피촬영자의 얼굴이 정면을 보고 있는 프레임을 카운트한다(S514). 사용자의 얼굴이 정면 응시하고 있는지 여부를 판단함에 있어 롤링(rolling), 피칭(pitching), 요잉(yawing)의 범위를 정의하고, 프레임 별로 얼굴의 정면응시 여부를 판단한다. S516에서 특정 시간이 경과하면 눈깜빡임 카운트와 얼굴 정면 응시 프레임 카운트 검사를 종료한다(S516).

카운트된 눈깜빡임 횟수와 얼굴 정면 응시 프레임은 각각 점수로 환산된다(S518). 카운트된 눈깜빡임 횟수는 도 3과 관련하여 전술한 것과 같이 점수로 환산된다(S520). 몰입도 측정장치(100)는 특정 시간 동안 영상정보의 전체 프레임 중에서 얼굴의 정면응시 프레임의 비율을 계산하고, 이를 기반으로 점수로 환산한다(S522). 여기서 프레임이란 영상정보를 구성하는 정지된 각각의 이미지 데이터를 의미한다. 예를 들어, 특정 시간 동안 전체 프레임이 100장이고 정면 응시 프레임이 20장이라면 1/5의 비율을 점수로 환산하는 것을 말한다.

S524에서 몰입도 측정장치(100)는 눈깜빡임 점수와 얼굴 정면응시 점수를 합산하여 집중도 점수를 산출한다. 더욱 자세하게는, 두 점수의 단순 합이 아닌 얼굴 정면응시 점수에 가중치를 두고 집중도 점수를 산출한다. 이는 집중도 점수의 신뢰성을 높이기 위한 것으로, 집중도를 판단할 때 눈깜빡임 요소보다 얼굴 정면응시 비율이 더 높은 신뢰성을 보이는 것을 고려한 것이다. 즉, 눈깜빡임은 안구 건조 또는 미세먼지 등 개인적이거나 외부 환경적 요인이 작용하기 용이하므로 얼굴 정면응시 점수에 가중치를 둔다. 도 3을 다시 참조하면, 얼굴 정면응시 점수에 가중치를 두기 위해서 집중도 점수 총 10점 중 눈깜빡임 점수의 최고점을 3점으로 하고, 얼굴 정면응시 점수의 최고점은 7점으로 한다. 가중치를 두는 이러한 방법은 단순한 예시에 불과할 뿐, 눈깜빡임 점수와 얼굴 정면응시 점수의 차등을 줄 수 있는 방법을 모두 포함하는 것으로 이해되어야 할 것이다. 집중도 점수는 몰입도 판별 시 흥미도 점수와 동등한 비율로 반영되기 위해 흥미도 점수와 마찬가지로 10점의 차이를 둔다.

도 6은 본 실시예에 따른 몰입도 측정방법을 설명하기 위한 예시도이다.

도 6을 참조하면, 디스플레이(600) 앞에 사용자가 위치하고, 촬영장치(112)가 사용자를 촬영한다. 디스플레이(600)는 사용자의 몰입도를 측정하기 위한 영상 또는 문항을 출력한다. 각각의 영상 또는 문항은 출력되는 시간이 다르므로, 각각의 영상 또는 문항에 관한 몰입도를 동일한 기준으로 판단하기 위해 흥미도 점수 및 집중도 점수는 동일한 특정 시간을 기준으로 산정한다. 예를 들어, 한 문항에 대해서는 30초에 눈을 2번 깜빡이고, 다른 문항에 대해서는 1분에 눈을 4번 깜빡였다면, 두 문항의 눈깜빡임 점수는 동일하다고 할 수 있다.

도 7의 (a) 및 (b)는 본 실시예에 따른 몰입도 측정 결과화면을 도시한 예시도이다.

도 7의 (a)에 도시한 바와 같이, 사용자를 촬영한 결과 화면(710)에는 사용자의 얼굴에 특징점이 표시되고, 결과 화면(710)의 오른쪽 하단에는 상태표시(720)를 출력하는 부분이 존재한다. 이 특징점을 이용하여 눈깜빡임, 얼굴의 정면응시 등을 판단한다. 한편, 상태표시를 출력하는 상태 표시창(720)은 얼굴이 정면을 응시하고 있는지 여부 및 얼굴표정에 대한 정보를 포함한다.

도 7의 (b)를 참조하면, 몰입도 측정장치(100)는 얼굴의 특징점을 이용하여 사용자에 의해 기 설정된 피치, 롤, 요의 범위를 벗어난 경우 정면을 응시하지 않는다고 판단한다. 특정 시간 동안 영상의 전체 프레임 중에서 도면과 같이 정면을 응시하지 않는 프레임을 제외한 나머지 프레임은 정면을 응시하는 프레임이므로, 정면응시 비율을 계산하여 점수를 환산한다.

이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서 본 실시예들은 본 실시예의 기술적 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술적 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구항에 의해 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술적 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 몰입도 측정장치 110: 영상처리부
112: 촬영장치 114: 얼굴특정부
116: 모션데이터 생성부 120: 흥미도 판별부
122: 얼굴표정 데이터베이스 124: 표정인식 모델학습부
126: 흥미도점수 출력부 130: 집중도 판별부
132: 눈깜빡임 산출부 134: 정면비율 산출부
136: 집중도점수 출력부 140: 몰입도 판별부
142: 흥미도-집중도 종합부 144: 몰입도 출력부
600: 디스플레이 710: 결과 화면
720: 상태 표시창

Claims

영상 촬영장치가 촬영한 사용자의 영상정보를 수신하여 상기 영상정보로부터 얼굴 영역을 특정하고, 상기 얼굴 영역 내에서 얼굴 표정을 감지하여 모션데이터(motion data)를 생성하는 영상처리부;
기 학습된 표정인식 모델 및 상기 모션데이터를 기반으로 상기 사용자의 흥미도 점수를 산출하여 출력하는 흥미도 판별부;
상기 얼굴 영역을 기반으로 얼굴데이터를 추출하여 상기 사용자의 집중도 점수를 산출하여 출력하는 집중도 판별부; 및
상기 흥미도 점수와 상기 집중도 점수 중 적어도 어느 하나에 기반하여 상기 사용자의 몰입도 점수를 산출하여 출력하는 몰입도 판별부를 포함하되,
상기 표정인식 모델은 얼굴 표정의 데이터베이스를 기반으로 상기 표정인식 모델을 비지도(unsupervised) 학습한 것을 특징으로 하고,
상기 집중도 판별부는 상기 사용자의 눈깜빡임 횟수를 카운트하고 점수화하여 눈깜빡임 점수를 산출하는 눈깜빡임 산출부를 포함하되,
상기 눈깜빡임 산출부는 조건부 신경 모델을 이용하여 상기 얼굴 영역으로부터 적어도 하나의 특징점을 추출하고, 상기 사용자의 얼굴모양을 분석하고, 회전 효과(rotational effect) 또는 스케일링 효과(scaling effect)를 제거하고, 동작 단위를 이용하여 눈깜빡임 여부를 판단하고, 상기 사용자의 눈깜빡임 횟수를 카운트하여 점수로 환산하되,
상기 동작 단위는 상기 특징점의 움직임 단위로, 히스토그램(histogram)을 이용하여 검출한 것
을 특징으로 하는 몰입도 측정장치.
제 1항에 있어서,
상기 흥미도 판별부는,
얼굴표정의 데이터베이스를 기반으로 상기 표정인식 모델을 학습하여 학습된 출력값을 저장한 표정인식 모델학습부; 및
상기 표정인식 모델에 상기 모션데이터를 입력하여 상기 얼굴표정을 판단하고, 상기 얼굴표정에 상응하는 점수로 출력하는 흥미도점수 출력부
를 포함하는 것을 특징으로 하는 몰입도 측정장치.
제 2항에 있어서,
상기 표정인식 모델학습부는,
상기 데이터베이스를 기반으로 상기 표정인식 모델을 학습하여 학습된 출력값을 복수의 카테고리로 나누고, 상기 카테고리는 적어도 둘 이상의 단계로 구분되는 것을 특징으로 하는 몰입도 측정장치.
제 3항에 있어서,
상기 카테고리는,
부정적인 표정, 중립적인 표정 및 긍정적인 표정 중 어느 하나인 것을 특징으로 하는 몰입도 측정장치.
제 2항에 있어서,
상기 흥미도점수 출력부는,
상기 표정인식 모델이 구분한 단계에 상응하는 점수를 설정하고, 상기 모션데이터를 상기 표정인식 모델에 입력하여 대응되는 상기 단계의 점수를 산출하는 것을 특징으로 하는 몰입도 측정장치.
제 1항에 있어서,
상기 집중도 판별부는,
상기 사용자가 정면을 보고 있는 비율을 계산하고 점수화하여 정면비율 점수를 산출하는 정면비율 산출부; 및
상기 눈깜빡임 산출부와 상기 정면비율 산출부가 산출한 점수를 합산하는 집중도점수 출력부
를 포함하는 것을 특징으로 하는 몰입도 측정장치.
제 6항에 있어서,
상기 집중도점수 출력부는,
상기 눈깜빡임 점수 및 상기 정면비율 점수를 합산하여 상기 집중도 점수를 산출할 때, 상기 정면비율 점수에 특정 가중치를 적용하여 상기 집중도 점수를 산출하는 것을 특징으로 하는 몰입도 측정장치.
삭제
제 1항에 있어서,
상기 눈깜빡임 산출부는,
상기 눈깜빡임 횟수의 최솟값, 최댓값 및 평균값을 기준으로 복수 개의 단계로 구분하고, 상기 눈깜빡임 횟수가 적을수록 높은 점수를 획득하도록 설정하는 것을 특징으로 하는 몰입도 측정장치.
제 6항에 있어서,
상기 정면비율 산출부는,
상기 특징점을 분석하여 상기 사용자의 얼굴이 정면인지 여부를 판단하고, 촬영된 영상의 전체 프레임 중 정면이 위치하는 비율을 계산하여 점수로 환산하되, 상기 프레임은 영상정보를 구성하는 정지된 각각의 이미지 데이터인 것을 특징으로 하는 몰입도 측정장치.
제 10항에 있어서,
상기 정면비율 산출부는,
상기 영상정보의 전체 프레임을 기준으로 상기 사용자의 얼굴이 정면을 향하는 프레임을 카운트하여 평균점수로 환산하는 것을 특징으로 하는 몰입도 측정장치.
제 1항에 있어서,
상기 영상처리부는,
상기 영상정보를 획득하기 위한 촬영장치;
상기 영상정보를 기반으로 상기 얼굴 영역을 특정하는 얼굴특정부; 및
상기 얼굴특정부로부터 움직임을 감지하여 상기 모션데이터를 생성하는 모션데이터 생성부
를 포함하는 것을 특징으로 하는 몰입도 측정장치.
제 12항에 있어서,
상기 얼굴특정부는,
상기 영상정보를 픽셀(pixel) 단위로 분류하고, 상기 픽셀 단위로부터 상기 사용자의 얼굴 부위에 해당하는 얼굴 영역을 추출하는 것을 특징으로 하는 몰입도 측정장치.
제 12항에 있어서,
상기 모션데이터 생성부는,
상기 얼굴 영역에서 조밀 모션 플로우(dense motion flow)를 기반으로 상기 모션데이터를 생성하는 것을 특징으로 하는 몰입도 측정장치.
제 1항에 있어서,
상기 몰입도 판별부는,
상기 흥미도 점수와 상기 집중도 점수 중 적어도 하나에 기반하여 상기 몰입도 점수를 산출하여 출력하는 것을 특징으로 하는 몰입도 측정장치.
영상 촬영장치가 촬영한 사용자의 영상정보를 수신하여 상기 영상정보로부터 얼굴 영역을 특정하고, 상기 얼굴 영역 내에서 얼굴 표정을 감지하여 모션데이터(motion data)를 생성하는 과정;
기 학습된 표정인식 모델 및 상기 모션데이터를 기반으로 상기 사용자의 흥미도 점수를 산출하여 출력하는 과정;
상기 얼굴 영역을 기반으로 얼굴데이터를 추출하여 상기 사용자의 집중도 점수를 산출하여 출력하는 과정; 및
상기 흥미도 점수와 상기 집중도 점수 중 적어도 어느 하나에 기반하여 상기 사용자의 몰입도 점수를 산출하여 출력하는 과정을 포함하되,
상기 기 학습된 표정인식 모델은 얼굴 표정의 데이터베이스를 기반으로 상기 기 학습된 표정인식 모델을 비지도(unsupervised) 학습한 것을 특징으로 하고,
상기 집중도 점수를 산출하여 출력하는 과정은 상기 사용자의 눈깜빡임 횟수를 카운트하고 점수화하여 눈깜빡임 점수를 산출하는 눈깜빡임 산출과정을 포함하되,
상기 눈깜빡임 산출과정은 조건부 신경 모델을 이용하여 상기 얼굴 영역으로부터 적어도 하나의 특징점을 추출하고, 상기 사용자의 얼굴모양을 분석하고, 회전 효과(rotational effect) 또는 스케일링 효과(scaling effect)를 제거하고, 동작 단위를 이용하여 눈깜빡임 여부를 판단하고, 상기 사용자의 눈깜빡임 횟수를 카운트하여 점수로 환산하되,
상기 동작 단위는 상기 특징점의 움직임 단위로, 히스토그램(histogram)을 이용하여 검출한 것
을 포함하는 것을 특징으로 하는 몰입도 측정방법.
제 16항에 있어서,
상기 흥미도 점수를 산출하여 출력하는 과정은,
얼굴표정의 데이터베이스를 기반으로 상기 표정인식 모델을 학습하여 학습된 출력값을 저장하고, 상기 표정인식 모델에 상기 모션데이터를 입력하여 상기 얼굴표정을 판단하여 상기 얼굴표정에 상응하는 점수로 출력하는 것을 특징으로 하는 몰입도 측정방법.