KR20160123572A - 신체 미동 이용한 사용자의 몰입도 평가 방법 및 그 장치 - Google Patents

Abstract

사용자의 몰입도가 높은 상태임을 판단한 수 있는 경우는 다음과 같다. 그 반대의 경우, 사용자의 몰입도가 낮음을 의미한다. 사용자로부터 취득된 RRI mean의 변화량 값 (%)이 1.583% 크게 증가한 경우, 사용자로부터 취득된 n VFL (x 값)와 ln HF (y 값)의 변화량 값 (%)이 Y = 0.5614*x의 직선의 방정식 보다 위에 위치하는 경우, 상기 두 가지 룰-베이스를 만족하는 경우를 몰입도가 높은 상태로 판단하고 두 가지 중, 한 가지라도 룰-베이스를 만족하지 않는 경우 몰입도가 낮은 상태로 판단한다.

Description

신체 미동 이용한 사용자의 몰입도 평가 방법 및 그 장치{evaluation method and system for user flow or engagement by using body micro-movement}

신체 미동을 이용하여 사용자(피험자)의 몰입도를 평가하는 방법 및 장치에 대해 기술한다.

몰입(flow or engagement)은 주위의 모든 자극이나 방해물과 정신적 잡념이 차단된 상태에서 특정 대상에 대해 자신의 모든 정신을 집중하는 상태를 뜻한다 (Csikszentmihalyi, 1997). 몰입은 몰입하게 되는 대상과의 일체감을 유도하여 대상에 대한 기억력 증진 혹은 빠른 습득을 가능하게 한다. 사용자는 실제 환경이나 다양한 미디어 콘텐츠를 통해 정보를 제공 받는다. 그러나 이것은 단방향적인 정보의 제공으로 사용자가 정보를 받아들이고 습득하는 과정에 대한 이해가 고려되어 있지 않다. 사용자가 미디어 콘텐츠나 실제 환경에서 제공받는 정보에 대한 몰입의 정도는 제공되어지는 정보의 효율적인 전달과 밀접한 관련이 있다. 사용자가 제공되는 콘텐츠에 몰입하게 되면 사용자는 콘텐츠에서 제공하는 정보를 보다 효율적으로 접하고 습득하기가 용이하다. 따라서 콘텐츠의 대한 사용자의 몰입도를 높이는 것이 콘텐츠의 효과를 증대시킬 수 있는 주요한 요인이다.

사용자의 몰입도를 높이기 위해서는 우선 사용자의 몰입 정도에 대해 정량적으로 평가할 수 있는 기술의 개발이 선행 되어야 한다. 사용자의 몰입도에 대해 정량적으로 평가하는 것이 가능하다면, 콘텐츠 내용, 콘텐츠 제시 방법, 콘텐츠 제시 환경 등의 다양한 내외적 요인의 변화를 통해 사용자의 몰입도를 높이기 위한 피드백 제시가 가능하다. 이것은 사용자와 콘텐츠 사이의 양방향 인터랙션을 의미한다. 기존의 단방향 인터렉션에 비해 사용자에게 보다 효율적으로 콘텐츠의 정보를 제시할 수 있다.

Csikszentmihalyi, M. (1997). Finding flow: The psychology of engagement with everyday life. Basic Books. Ekman, P. (1972). Universal and cultural differences in facial expressions of emotions. In J.K.Cole (Ed). Nebraska symposium on motivation. Lincoln: University of Nebraska Press, 207-283. Pan, J., and tompkins, W. J. (1985). A real-time QRS detection algorithm. Biomedical Engineering, IEEE Transactions on, (3), 230-236.

본 발명은 신체 미동을 이용하여 사용자의 몰입도를 정량적으로 평가 할 수 있는 방법 및 장치를 제안 한다.

본 발명은 신체 미동으로부터 심박 정보를 추출하고 이로부터 얻어진 RRI mean과 Normaized HRV의 ln VFL와 ln HF가 몰입도를 평가하기 위한 유의미한 변수 임을 확인하였다. 사용자의 몰입도가 높은 상태임을 판단한 수 있는 경우는 다음과 같다. 그 반대의 경우, 사용자의 몰입도가 낮음을 의미한다.

1. 사용자로부터 취득된 RRI mean의 변화량 값 (%)이 1.583% 크게 증가한 경우

2. 사용자로부터 취득된 n VFL (x 값)와 ln HF (y 값)의 변화량 값 (%)이 Y = 0.5614*x의 직선의 방정식 보다 위에 위치하는 경우

3. 상기 두 가지 룰-베이스를 만족하는 경우를 몰입도가 높은 상태로 판단하고 두 가지 중, 한 가지라도 룰-베이스를 만족하지 않는 경우 몰입도가 낮은 상태로 판단한다.

도1은 본 발명의 실험 방법을 예시한다.
도2는 본 발명의 실험 절차를 예시한다.
도3은 본 발명의 몰입도 평가 방법에서, 심전도 측정 지점을 나타내 보인다.
도4는 본 발명에 몰입도 평가 방법에서, 심전도 신호 처리 절차를 예시한다.
도5는 본 발명에 따른 몰입도 평가 방법에서, 5. RRI 분석결과 (*p < .05, **p < .01, ***p < .001) 를 도시한다.
도6은 본 발명에 따른 몰입도 평가 방법에서, RRI 변화량 분석결과 (*p < .05, **p < .01, ***p < .001) 를 나타내 보인다.
도7은 본 발명에 따른 몰입도 평가 방법에서, ln VLF 분석결과 (*p < .05, **p < .01, ***p < .001)를 도시한다.
도8은 본 발명에 따른 몰입도 평가 방법에서, ln HF 분석결과 (*p < .05, **p < .01, ***p < .001) 를 도시한다.
도9는 본 발명에 따른 몰입도 평가 방법에서, ln VLF 변화량 분석결과 (*p < .05, **p < .01, ***p < .001) 를 도시한다.
도10은 본 발명에 따른 몰입도 평가 방법에서, ln HF 변화량 분석결과 (*p < .05, **p < .01, ***p < .001) 를 도시한다.
도11은 본 발명에 따른 몰입도 평가 방법에서, 각 피험자의 자율신경계 균형 분석 결과 (High engagement)를 도시한다.
도12는 본 발명에 따른 몰입도 평가 방법에서, 각 피험자의 자율신경계 균형 분석 결과 (Low engagement)를 도시한다.
도13은 본 발명에 따른 몰입도 평가방법에서, RRI 기반 몰입도 평가 룰-베이스를 예시한다.
도14는 본 발명에 따른 몰입도 평가 방법에서, ln VLF와 ln HF 기반 몰입도 평가 룰-베이스를 예시한다.
도15는 본 발명에 따른 몰입도 평가 방법에서, 몰입도 평가 통합 룰-베이스에 의한 평가방법의 흐름도이다.
도16은 본 발명에 따른 몰입도 평가 방법에서, RRI 기반 룰-베이스 정확도 검증 결과를 예시한다.
도17 본 발명에 따른 몰입도 평가 방법에서, Normalized HRV 기반 룰-베이스 정확도 검증 결과를 도시한다.

이하, 첨부된 도면을 참조하면서, 본 발명에 따라 신체 미동으로부터 심박 정보를 얻고 이로부터 얻어진 심박 정보를 이용해 사용자의 몰입도를 평가하는 방법 및 장치의 실시 예를 상세히 설명한다.

1. 실험방법

1.1 피험자

본 연구에 참여한 피험자는 상명대학교 및 대학원 재학생 30명 (남, 여 각각 15명, 평균나이: 26.24±4.2)을 대상으로 하였다. 실험에 참여한 피험자는 자율 신경계 및 심혈관계 이상이나 과거력이 없는 사람을 대상으로 진행 하였다. 실험에 참여하기 전, 자율 및 심혈관계에 영향을 끼칠 수 있는 카페인, 음주, 흡연 등을 제한하였고 충분한 수면을 통해 실험 당일 피로를 최소화할 수 있도록 하였다. 또한, 피험자로부터 연구목적을 제외하고 실험에 대한 대략적인 사항에 대해 설명한 후 자발적 참여의지에 대한 피험자 동의서를 얻었으며, 실험에 참여한 대가로 소정의 금액을 지불하여 실험에 적극적으로 참여할 수 있는 동기를 부여하였다.

1.2. 실험절차

실험에 참여한 60명의 피험자는 무작위로 한 그룹에 두 명씩 30 그룹으로 분류하였다. 각 그룹의 두 명의 피험자는 각각 리더(leader)와 팔로워(follower)로 나누어 실험을 진행하였다. 리더는 시스템에서 제시되어지는 6개의 Ekman 기본감성 (행복, 슬픔, 놀람, 혐오, 공포, 화남)에 얼굴표정을 보고 자신의 얼굴표정을 따라 도록 하였다 (Ekman, 1972). 팔로워는 리더가 짓는 얼굴표정을 쳐다보기만 하거나 따라 도록 지시하였다. 상기의 태스크는 얼굴을 마주 본 상태에서 진행하는 Face to Face 조건과 스크린을 통해 상대방을 본 상태에서 진행하는 Screen 조건으로 나누어 반복 진행하였다. 본 실험에서 스크린 조건에서 리더의 표정을 쳐다 보기만 하는 것을 몰입감이 낮은 상태 (low engagement)로 정의 하였고 Face to Face 조건에서 리더의 얼굴표정을 팔로워가 따라하는 조건을 몰입감이 높은 상태 (high engagement)로 정의 하였다. 또한, 얼굴 표정에 대해 사전에 학습하여 자연스러운 얼굴표정이 가능하도록 하기 위해 얼굴표정을 소개하는 introduction 태스크와 사전에 얼굴표정을 지어볼 수 있도록 훈련하는 practice 태스크를 포함하였다. 각 태스크 사이에는 휴식 30초가 포함되어 있으며, 얼굴 표정 사이에는 5초의 휴식이 포함 되었다. 자세한 실험 방법과 절차는 도1과 도2에 도시하였다.

1.3. 데이터 수집

본 발명은 심박정보를 신체 미동으로부터 추출한다.

본 발명에 따른 미동 데이터를 추출 하는 방법에 있어서 처리하는 순서는 아래와 같이 총 10단계를 포함한다. 도3은 단계별 동작 시나리오를 예시한다.

가. 영상입력(Audio Input) 단계(S11)

동영상 카메라로 피험자를 촬영하여 연속적인 영상 데이터를 생성한다. 이때에 촬영영역은 도3에 도시된 바와 같이 얼굴이 포함되는 상반신이다.

나. 안면 추적 또는 트랙킹(Face Tracking) 단계(S12)

상기 영상 카메라를 이용하여 입력 된 영상 데이터를 이용하여 인체의 미세한 움직임을 머리에서 추출하기 위하여 OpenCV를 이용한 안면인식을 통해 영상 정보를 분리 하도록 한다.

OpenCV(Open Computer Vision)은 C 이다. 원래는 이 개발하였으며, 우, 등의 여러 플랫폼에서 사용할 수 있다. 이러한 OpenCV는 실시간 이미지 프로세싱에 중점을 둔 라이브러리이다.

상기 OpenCV에 기반을 둔 안면 인식 시스템(facial recognition system)은 디지털 이미지를 통해 각 사람을 자동으로 식별하는 컴퓨터 지원 응용 프로그램을 말한다. 이는 살아 있는 이미지에 나타나는 선택된 얼굴 특징과 안면 데이터베이스를 서로 비교함으로써 이루어진다.

도 3에서 S12단계에서 원본 영상에 나타나는 사각형이 안면부분의 트랙킹 영역을 나타낸다. 이것은 사용자의 움직임에 대응하여 안면 부분에 대한 트랙킹이 수행된다.

다. 공간 분리(Spatial Decomposition) 단계(S13)

잘 알려진 영상의 공간 분리 기법으로 가우시안(Gaussian blur)와 다운 샘플링(down sample)을 통하여 각 주파수(Frequency)별 공간을 분리한다.

도3의 S13에 도시된 이미지가 공간 분리된 상태의 결과물이다.

위의 식에서, α 는 영상의 증폭 비율값이며, β 는 시간, 공간 주파수 대역으로 필터된 이미지의 값이며, x 는 영상의 가로축(x) 위치값이며, t 는 시간이며, δ (t)는 입력된 영상과 움직임 영상과의 혼합비율 값이며, 그리고 I' 는 움직인 이미지의 움직임 정도이다.

라. 뉴로 필터(Neuro Filter) 단계(S14)

뉴로 필터(Neuro Filter 단계)는 영상의 공간 주파수를 분리 함에 있어 일반적인 생체신호(bio signal)을 기준으로 영상으로부터 추출 할 수 있는 주파수 대역을 생체신호간 상관성이 있는 대역을 선정하여 주파수 대역을 선정하고 그 선정 된 대역의 영상 정보를 취득하는 것을 의미한다.

예를 들어, 일반적인 PPG 데이터를 신호처리 할 경우 0.4~1.3Hz 구간의 주파수 성분을 가지고 데이터 분석을 실시함으로 PPG와 유사한 신호를 영상으로부터 취득하기 위해서는 동일 대역 혹은 인근 대역의 주파수 분석을 통해 유사한 데이터를 추출한다.

마. 시간 처리(Temporal Processing) 단계(S15)

영상을 뉴로필터(Neuro Filter) 대역의 주파수 공간으로 분리한 후, 분리된 공간의 주된 성분의 주파수 대역을 시간처리(Temporal Processing)를 이용하여 차이 값을 추출하여 영상이 진행되는 동안(시간이 흐르는 동안) 해당 주파수 성분의 값을 분리하여 추출한다.

바. 재구성(Reconstruction) 단계(S16)

분리된 공간의 성분을 뉴로 필터(Neuro Filter) 대역의 주파수 성분만 시간을 이용하여 분리해내고 분리된 성분 값을 일정량의 증폭을 통해 기존 영상에 복원하여 실제 미세하게 잘 보이지 않는 움직임에 해당하는 주파수 성분의 데이터 값을 만들어 낼 수 있도록 한다.

위의 식에서, α는 영상의 증폭 비율 값이며, δ (t) 는 입력된 영상과 움직임 영상과의 혼합비율 값 이며, 그리고 λ는 이미지 공간의 파장 대역 값이다.

사. 프레임 차 평균화(Frame Difference Average) 단계(S17)

분리된 성분의 데이터 값을 매 시간(30fps 기준)마다 측정되는 영상의 움직임 데이터의 1프레임이 평균의 차이 값을 계산하여 이전 상태와 현 상태의 평균적으로 움직임의 차이 값을 계산하여 전체적인 미세 움직임의 양을 추출한다. 여기에서 1 프레임의 평균은 1프레임의 미세 움직임 양을 나타낸다.

아. 스무스 필터링(Smoothing Filter) 단계(S18)

추출 된 미세 움직임을 데이터로 추출하였을 때 움직임에 대한 노이즈가 포함되어 신호가 거칠게 일그러지거나 하여 피이크(peak) 검출에 어려움이 있어 노이즈를 제거하고 피이크 검출의 정확도를 높이는 데이터를 가공 처리한다.

위 식에서 SMA는 이동평균 값이며, SMAtoday, SMAyesterday는 서로 다른 특정일자의 이동평균 값이며, Pm 은 현재 프레임의 미동의 값이며, n은 이동평균의 윈도우 사이즈(window size)이다.

자. 슬라이딩 피크 검출(Sliding Peak Detection) 단계(S19, S20)

노이즈를 제거하고 피이크 검출을 위한 가공 처리 된 데이터를 받아 1프레임당 피이크 데이터를 30초 크기(size)의 윈도우(windows)를 기준으로 지속적으로 슬라이딩(sliding) 시켜 움직임 영향 및 데이터에 영향을 최소화 시켜 BPM(bit per minute) 신호를 추출 할 수 있도록 한다.

1.4 신호처리

위의 과정에서 취득한 PPG 신호는 QRS 검출 알고리즘을 통해 R-peak을 검출하였다 (Pan and Tompkins, 1985). 검출된 R-peak은 노이즈를 제외하고 정상 R-peak 간격의 차이를 이용해 RRI (R-peak to R-peak interval)를 추출하였다. 심장리듬패턴 (HRP, heart rhythm pattern)분석을 위해 분당 심박수 (BPM, beat per minute)는 60/RRI을 통해 계산 할 수 있고, 정상 RRI의 표준 편차를 이용해 SDNN (standard deviation normal to normal)을 추출할 수 도 있다.

위와 같은 과정을 통해 측정된 심박 정보 데이터는 QRS 검출 알고리즘을 통해 R-peak을 검출 하였다 (Pan ＆ Tomplins, 1985). 검출된 R-peak은 비정상적인 심박 간격의 데이터를 제외하고 정산인 심박 간격의 데이터를 기준으로 R-peak 사이의 시간 간격을 계산하여 RRI (R-peak to R-peak Intervals) 데이터를 취득하였다. RRI 데이터는 시계열 데이터로 변환하기 위해 2 Hz로 re-sampling 하였고 FFT (Fast Furier Transform) 분석을 통해 HRV (Heart Rate Variability) spectrum 데이터를 추출하였다. 추출된 데이터는 VLF (Very Low Frequency, 0.0033 - 0.04 Hz)대역과 HF (High Frequency, 0.15 - 0.4 Hz)대역의 각각 파워값을 계산하였고 각각의 파워값은 자연로그를 취해 ln VLF와 ln HF로 계산하였다. 계산된 값은 ln VLF와 ln HF축에 9개의 도메인으로 구성된 좌표에 플로팅하여 자율신경계 균형을 확인 하였다. 자세한 신호처리 과정은 도4에 도시된 바와 같다.

2. 실험결과

본 실험에서 Screen 조건의 Viewing expression 태스크는 Low engagement (LE)로 Face to Face 조건의 Imitation 태스크는 High engagement (HE) 로 정의 하였다. 모든 태스크 구간의 데이터는 reference 구간에 대비하여 변화량으로 계산하여 몰입도에 대한 결과를 비교하였다 (수학식 2 참조).

2.1. RRI (R-peak to R-peak Intervals)

RRI 분석 결과, HE는 reference 대비 RRI가 유의하게 증가하였고 (t = -3.099, p = .004), LE는 reference 대비 RRI가 감소하는 패턴을 보였으나 통계적으로 유의하지는 않았다 (t = 1.237, p = .226). 변화량 분석결과 HE가 LE에 비해 통계적으로 유의하게 증가하는 결과를 확인하였다 (t = 7.248, p = .000). 자세한 분석결과는 도5와 도6에 도시하였다.

2.2. 정규화된(Normalized) HRV (ln VLF ＆ ln HF)

Normalized HRV 분석 결과, HE는 reference 대비 ln VLF가 유의하게 증가하였고 (t = -7.128, p = .000), LE는 reference 대비 ln VLF가 유의하게 감소하는 결과를 확인하였다 (t = 4.026, p = .000). 자세한 분석결과는 도7에 도시하였다.

또한, HE는 reference 대비 ln HF가 유의하게 감소하였고 (t = 5.227, p = .000), LE는 reference 대비 ln HF가 유의하게 증가하는 결과를 확인하였다 (t = -5.900, p = .000). 자세한 분석결과는 도8에 도시하였다.

변화량 분석결과에서 ln VLF는 HE가 LE에 비해 통계적으로 유의하게 증가하는 결과를 확인하였고 (t = 6.312, p = .000), ln HF는 HE가 LE에 비해 통계적으로 유의하게 감소하는 결과를 확인하였다 (t = -9.092, p = .000). 자세한 분석결과는 도9와 도10에 도시하였다.

ln VLF와 ln HF를 9개의 도메인에 각 피험자의 데이터를 플로팅 시킨 결과, HE는 reference 구간에 대비하여 VLF (교감 신경계) 활성도가 감소하고 HF (부교감신경계) 활성도가 증가하는 방향으로 이동하였고 LE는 reference 구간에 대비하여 VLF (교감 신경계) 활성도가 증가하고 HF (부교감신경계) 활성도가 감소하는 방향으로 이동하였다. 자세한 분석결과는 도11과 도12에 도시하였다.

2.3. 몰입도 평가 룰-베이스 설정

몰입도 평가 룰-베이스는 변화량 분석 결과를 기준으로 설정 하였다. 각 피험자의 RRI 변화량 분석 결과를 HE와 LE 조건에 따라 플로팅한 결과는 도13에 도시된 바와 같다. 각 피험자의 데이터 중에서 HE와 LE를 구분할 수 있는 가장 큰 분별력을 갖는 지점을 임계값 (threshold)으로 설정하였다. 이에 따라, RRI의 reference 대비 변화량이 1.53 % 보다 크게 증가하는 경우를 HE, 반대의 경우를 LE로 판단하는 룰-베이스로 설정하였다.

각 피험자(사용자)의 ln VLF와 ln HF의 변화량 분석 결과를 HE와 LE 조건에 따라 플로팅한 결과는 도14에 도시된 바와 같다. 각 피험자의 데이터 중에서 HE와 LE를 구분할 수 있는 가장 큰 분별력을 갖는 지점을 임계값 (threshold)으로 설정하였다. LE와 HE 데이터 중, 가장 인접한 두 점 사이의 중간 지점과 0점을 지나는 직선의 방정식을 룰-베이스로 설정하였다 (Y = 0.56146 × X). 이에 따라, n VLF와 ln HF의 reference 대비 변화량 값이 Y = 0.56146*X의 직선보다 위에 있으면 HE, 반대의 경우를 LE로 판단하는 룰-베이스로 설정하였다.

두 개의 룰-베이스를 통합하여 몰입도를 평가하기 위한 룰-베이스를 설정하였고 통합 룰-베이스는 도15에 도시하였다.

3. 정확도 검증 결과

룰-베이스의 정확도를 검증하기 위해, 15명의 피험자가 검증 실험에 참여하였다. 룰-베이스 검증 결과, RRI 변화량을 통해 몰입도를 평가한 결과에서 HE는 15 케이스 중 15 케이스 모두 HE로 판단하였고 LE는 15 케이스 중 13 케이스를 LE로 판단하고 나머지 2 케이스는 HE로 판단하는 결과를 나타내었다. 자세한 연구 결과는 도16에 도시된 바와 같다.

Normalized HRV를 기준으로 몰입도를 평가한 결과에서 HE는 15 케이스 중 15 케이스 모두 HE로 판단하였고 LE는 15 케이스 중 14 케이스를 LE로 판단하고 나머지 1 케이스는 HE로 판단하는 결과를 나타내었다. 자세한 연구 결과는 도17에 도시된 바와 같다.

최종적으로 HE는 15 케이스 중 15 케이스 모두 HE로 판단하였으며, HE의 분류 정확도는 100%로 판단되었다 (15/15*100 = 100%). LE는 15 케이스 중 12 케이스를 LE로 판단하고 나머지 3 케이스는 HE로 판단하는 결과를 나타내었으며, LE의 분류 정확도는 80%로 판단되었다 (12/15*100 = 80%). 전체 몰입도에 대한 평가 정확도는 90%로 확인되었다 (27/30*100 = 90%).

4. 결론

본 발명은 심전도 신호를 기반으로 사용자의 몰입도를 정량적으로 평가 할 수 있는 방법을 제안하는데 그 목적이 있다. 연구 결과에 따라, RRI mean과 Normaized HRV의 ln VFL와 ln HF가 몰입도를 평가하기 위한 유의미한 변수 임을 확인하였다. 사용자의 몰입도가 높은 상태임을 판단한 수 있는 경우는 다음과 같다 (반대의 경우, 사용자의 몰입도가 낮음을 의미한다).

1. 사용자로부터 취득된 RRI mean의 변화량 값 (%)이 1.583% 크게 증가한 경우

2. 사용자로부터 취득된 n VFL (x 값)와 ln HF (y 값)의 변화량 값 (%)이 Y = 0.5614*x의 직선의 방정식 보다 위에 위차하는 경우

3. 상기 두 가지 룰-베이스를 만족하는 경우를 몰입도가 높은 상태로 판단하고 두 가지 중, 한 가지라도 룰-베이스를 만족하지 않는 경우 몰입도가 낮은 상태로 판단함

본 발명에서 제안된 사용자 몰입도 평가 방법은 미디어 매체나 실제 환경에서 사용자의 콘텐츠에 대한 몰입도를 실시간으로 평가 할 수 있다. 이는 사용자와 콘텐츠간의 단방향 인터랙션이 아닌, 콘텐츠가 사용자의 몰입 상태에 따라 다양한 피드백을 통해 사용자의 몰입도를 증가 시킬 수 있는 양방향 인터랙션을 가능하게 해 줄 것으로 기대된다. 또한, 상기의 발명은 다양한 산업분야에 적용되어 콘텐츠를 통한 좀 더 효율적인 정보제공 효과를 가능하게 할 것으로 기대된다.

Claims (11)

1. 자극에 노출된 사용자의 미세 움직임을 촬영하여 영상 데이터를 생성하는 단계;
   상기 영상 데이터를 생성하면서 피험자에 대한 안면 트랙킹(Face Tracking)을 수행하는 단계;
   상기 영상 데이터 처리를 통해 상기 피험자 안면의 미세 움직임 정보를 추출하는 단계;
   상기 미세 움직임 정보를 이용하여 심박 정보를 추출하고 상기 심박 정보로부터 RRI (R-peak to R-peak Intervals) 데이터를 취득하는 단계;
   상기 RRI 데이터로부터 HRV 데이터를 추출하고, 상기 HRV 데이터에서 소정 범위 저주파 대역(LF)과 저주파 대역(LF)에 비해 높은 고주파 대역(HF)의 파워값(HF)을 각각 계산하는 단계;
   상기 두 파워값을 이용해 상기 자극에 대한 상기 사용자의 몰입 여부를 판단하는 단계;를 포함하는 인체 미동기반 사용자 몰입도 평가 방법.
2. 제1항에 있어서,
   상기 두 파워값으로부터 자연로그 ln LF와 ln HF로 계산하고, 이 값 변화량 값을 이용해 사용자의 몰입감을 평가하는 것을 특징으로 하는 인체 미동 기반 사용자 몰입도 평가 방법.
3. 제2항에 있어서,
   RRI 데이터로부터 평균(mean)을 구하고, 이 평균(mean)의 변화량을 이용하여 상기 사용자의 몰입감을 평가하는 것을 특징으로 하는 인체 미동 기반 사용자 몰입도 평가 방법.
4. 제3항에 있어서,
   상기 RRI의 평균의 변화량(%)을 기준치 1.583% 에 비교하여 이보다 높을 때 상기 사용자의 몰입도가 높은 것으로 평가하는 것을 특징으로 하는 인체 미동 기반 사용자 몰입도 평가 방법.
5. 제2항 내지 제4항 중의 어느 한 항에 있어서,
   상기 ln FL (x 값)와 ln HF (y 값)의 변화량 값 (%)이 Y = 0.5614*x의 직선의 방정식 보다 위에 위치하는 경우, 상기 사용자의 몰입도가 높은 것을 판단하는 것을 특징으로 하는 인체 미동 기반 사용자 몰입도 평가 방법.
6. 제5항에 있어서,
   상기 미세 움직임 정보를 추출하는 단계와 심박 정보를 추출하는 단계:는
   안면 트랙킹(Face Tracking) 단계;
   공간 분리(Spatial Decomposition) 단계;
   뉴로 필터(Neuro Filter) 단계;
   시간 처리(Temporal Processing) 단계;
   재구성(Reconstruction) 단계;
   프레임 차 평균화(Frame Difference Average) 단계;
   스무스 필터(Smoothing Filter) 단계; 그리고
   슬라이딩 피이크 검출(Sliding Peak Detection) 단계;를 포함하는 것을 특징으로 하는 인체 미동 기반 사용자 몰입도 평가 방법.
7. 제1항에 있어서,
   상기 미세 움직임 정보를 추출하는 단계와 심박 정보를 추출하는 단계:는
   안면 트랙킹(Face Tracking) 단계;
   공간 분리(Spatial Decomposition) 단계;
   뉴로 필터(Neuro Filter) 단계;
   시간 처리(Temporal Processing) 단계;
   재구성(Reconstruction) 단계;
   프레임 차 평균화(Frame Difference Average) 단계;
   스무스 필터(Smoothing Filter) 단계; 그리고
   슬라이딩 피이크 검출(Sliding Peak Detection) 단계;를 포함하는 것을 특징으로 하는 인체 미동 기반 사용자 몰입도 평가 방법.
8. 제1항 내지 제4항 중의 어느 한 항에 있어서,
   상기 HRV 데이터는 상기 RRI의 리샘플링 및 FFT 분석을 통해 획득하는 것을 특징으로 하는 인체 미동 기반 사용자 몰입도 평가 방법.
9. 제1항 내지 제6항 중의 어느 한 항에 기재된 방법을 수행하는 시스템에 있어서,
   상기 영상 데이터를 생성하는 카메라;
   상기 카메라로부터의 영상 데이터를 처리하는 영상 처리부;
   상기 영상 처리부로부터의 데이터를 분석하여 상기 사용자의 몰입도를 평가하는 분석부:를 포함하는 인체 미동 기반 사용자 몰입도 평가 장치.
10. 제2항 내지 제4항 중의 어느 한 항에 있어서,
    상기 ln FL (x 값)와 ln HF (y 값)의 변화량 값 (%)이 Y = 0.5614*x의 직선의 방정식 보다 위에 위치하는 경우, 상기 사용자의 몰입도가 높은 것을 판단하는 것을 특징으로 하는 인체 미동 기반 사용자 몰입도 평가 방법.
11. 제9항에 있어서,
    상기 RRI의 평균의 변화량(%)을 기준치 1.583% 에 비교하여 이보다 높을 때 상기 사용자의 몰입도가 높은 것으로 평가하는 것을 특징으로 하는 인체 미동 기반 사용자 몰입도 평가 시스템.
    

Images