KR102389361B1 - evaluation method and system for user flow or engagement by using body micro-movement - Google Patents

evaluation method and system for user flow or engagement by using body micro-movement Download PDF

Info

Publication number
KR102389361B1
KR102389361B1 KR1020150053765A KR20150053765A KR102389361B1 KR 102389361 B1 KR102389361 B1 KR 102389361B1 KR 1020150053765 A KR1020150053765 A KR 1020150053765A KR 20150053765 A KR20150053765 A KR 20150053765A KR 102389361 B1 KR102389361 B1 KR 102389361B1
Authority
KR
South Korea
Prior art keywords
image
data
user
immersion
rri
Prior art date
Application number
KR1020150053765A
Other languages
Korean (ko)
Other versions
KR20160123572A (en
Inventor
황성택
황민철
박상인
원명주
Original Assignee
상명대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 상명대학교산학협력단 filed Critical 상명대학교산학협력단
Priority to KR1020150053765A priority Critical patent/KR102389361B1/en
Publication of KR20160123572A publication Critical patent/KR20160123572A/en
Application granted granted Critical
Publication of KR102389361B1 publication Critical patent/KR102389361B1/en

Links

Images

Classifications

    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/16Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/168Evaluating attention deficit, hyperactivity
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/02Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/11Measuring movement of the entire body or parts thereof, e.g. head or hand tremor, mobility of a limb
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/24Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316Modalities, i.e. specific diagnostic methods
    • A61B5/318Heart-related electrical modalities, e.g. electrocardiography [ECG]
    • A61B5/346Analysis of electrocardiograms
    • A61B5/349Detecting specific parameters of the electrocardiograph cycle
    • A61B5/366Detecting abnormal QRS complex, e.g. widening

Landscapes

  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Cardiology (AREA)
  • Veterinary Medicine (AREA)
  • Public Health (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Surgery (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Medical Informatics (AREA)
  • Developmental Disabilities (AREA)
  • Physiology (AREA)
  • Educational Technology (AREA)
  • Child & Adolescent Psychology (AREA)
  • Social Psychology (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Hospice & Palliative Care (AREA)
  • Dentistry (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

사용자의 몰입도가 높은 상태임을 판단한 수 있는 경우는 다음과 같다. 그 반대의 경우, 사용자의 몰입도가 낮음을 의미한다. 사용자로부터 취득된 RRI mean의 변화량 값 (%)이 1.583% 크게 증가한 경우, 사용자로부터 취득된 n VLF (x 값)와 ln HF (y 값)의 변화량 값 (%)이 Y = 0.5614*x의 직선의 방정식 보다 위에 위치하는 경우, 상기 두 가지 룰-베이스를 만족하는 경우를 몰입도가 높은 상태로 판단하고 두 가지 중, 한 가지라도 룰-베이스를 만족하지 않는 경우 몰입도가 낮은 상태로 판단한다.The cases in which it can be determined that the user's immersion level is high are as follows. In the opposite case, it means that the user's immersion level is low. When the change value (%) of the RRI mean obtained from the user increases by 1.583%, the change value (%) of n VLF (x value) and ln HF (y value) obtained from the user is a straight line of Y = 0.5614*x If it is located above the equation of , the case of satisfying the two rule-bases is judged as a high level of immersion, and if at least one of the two rules does not satisfy the rule-base, it is determined as a low level of immersion. .

Description

신체 미동 이용한 사용자의 몰입도 평가 방법 및 그 장치{evaluation method and system for user flow or engagement by using body micro-movement}Method and device for evaluating user's immersion using body micro-movements {evaluation method and system for user flow or engagement by using body micro-movement}

신체 미동을 이용하여 사용자(피험자)의 몰입도를 평가하는 방법 및 장치에 대해 기술한다.A method and apparatus for evaluating the immersion of a user (subject) using body movements will be described.

몰입(flow or engagement)은 주위의 모든 자극이나 방해물과 정신적 잡념이 차단된 상태에서 특정 대상에 대해 자신의 모든 정신을 집중하는 상태를 뜻한다 (Csikszentmihalyi, 1997). 몰입은 몰입하게 되는 대상과의 일체감을 유도하여 대상에 대한 기억력 증진 혹은 빠른 습득을 가능하게 한다. 사용자는 실제 환경이나 다양한 미디어 콘텐츠를 통해 정보를 제공 받는다. 그러나 이것은 단방향적인 정보의 제공으로 사용자가 정보를 받아들이고 습득하는 과정에 대한 이해가 고려되어 있지 않다. 사용자가 미디어 콘텐츠나 실제 환경에서 제공받는 정보에 대한 몰입의 정도는 제공되어지는 정보의 효율적인 전달과 밀접한 관련이 있다. 사용자가 제공되는 콘텐츠에 몰입하게 되면 사용자는 콘텐츠에서 제공하는 정보를 보다 효율적으로 접하고 습득하기가 용이하다. 따라서 콘텐츠의 대한 사용자의 몰입도를 높이는 것이 콘텐츠의 효과를 증대시킬 수 있는 주요한 요인이다. Flow or engagement refers to a state of concentrating all of one's mind on a specific object in a state where all surrounding stimuli, obstacles, and mental distractions are blocked (Csikszentmihalyi, 1997). Immersion induces a sense of unity with the object to be immersed in, enabling the improvement of memory or rapid acquisition of the object. Users are provided with information through a real environment or various media contents. However, this is a one-way provision of information, and the understanding of the process of receiving and acquiring information is not taken into consideration. The degree of user's immersion in media content or the information provided in the real environment is closely related to the efficient delivery of the provided information. When the user is immersed in the provided content, it is easier for the user to more efficiently access and learn the information provided by the content. Therefore, increasing the user's immersion in the content is a major factor that can increase the effect of the content.

사용자의 몰입도를 높이기 위해서는 우선 사용자의 몰입 정도에 대해 정량적으로 평가할 수 있는 기술의 개발이 선행 되어야 한다. 사용자의 몰입도에 대해 정량적으로 평가하는 것이 가능하다면, 콘텐츠 내용, 콘텐츠 제시 방법, 콘텐츠 제시 환경 등의 다양한 내외적 요인의 변화를 통해 사용자의 몰입도를 높이기 위한 피드백 제시가 가능하다. 이것은 사용자와 콘텐츠 사이의 양방향 인터랙션을 의미한다. 기존의 단방향 인터렉션에 비해 사용자에게 보다 효율적으로 콘텐츠의 정보를 제시할 수 있다. In order to increase the user's immersion, first, the development of a technology that can quantitatively evaluate the user's level of immersion must be preceded. If it is possible to quantitatively evaluate user immersion, feedback can be presented to increase user immersion through changes in various internal and external factors such as content content, content presentation method, and content presentation environment. This implies a two-way interaction between the user and the content. Content information can be presented to the user more efficiently compared to the existing one-way interaction.

Csikszentmihalyi, M. (1997). Finding flow: The psychology of engagement with everyday life. Basic Books.Csikszentmihalyi, M. (1997). Finding flow: The psychology of engagement with everyday life. Basic Books. Ekman, P. (1972). Universal and cultural differences in facial expressions of emotions. In J.K.Cole (Ed). Nebraska symposium on motivation. Lincoln: University of Nebraska Press, 207-283.Ekman, P. (1972). Universal and cultural differences in facial expressions of emotions. In J.K. Cole (Ed). Nebraska symposium on motivation. Lincoln: University of Nebraska Press, 207-283. Pan, J., and tompkins, W. J. (1985). A real-time QRS detection algorithm. Biomedical Engineering, IEEE Transactions on, (3), 230-236.Pan, J., and tompkins, W. J. (1985). A real-time QRS detection algorithm. Biomedical Engineering, IEEE Transactions on, (3), 230-236.

본 발명은 신체 미동을 이용하여 사용자의 몰입도를 정량적으로 평가 할 수 있는 방법 및 장치를 제안 한다.The present invention proposes a method and apparatus that can quantitatively evaluate a user's immersion level using body movements.

본 발명에 따른 신체 미동 기반 사용자 몰입도 평가 방법:은
자극에 노출된 사용자의 미세 움직임을 촬영하여 영상 데이터를 생성하는 단계;
상기 영상 데이터를 생성하면서 피험자에 대한 안면 트랙킹(Face Tracking)을 수행하는 단계;
상기 영상 데이터에 대한 공간 분리(Spatial Decomposition)를 포함하는 영상 데이터 처리를 수행하는 단계;
상기 영상 데이터 처리를 통해 상기 피험자 안면의 미세 움직임 정보를 추출하는 단계;
상기 미세 움직임 정보를 이용하여 심박 정보를 추출하는 단계;
상기 심박 정보로부터 RRI (R-peak to R-peak Intervals) 데이터를 취득하는 단계;
상기 RRI 데이터로부터 HRV 데이터를 추출하는 단계;
상기 HRV 데이터에서 소정 범위 저주파 대역(LF)과 저주파 대역(LF)에 비해 높은 고주파 대역(HF)의 파워값을 각각 계산하는 단계;
상기 두 파워값을 이용해 상기 자극에 대한 상기 사용자의 몰입 여부를 판단하는 단계;를 포함한다.
본 발명의 한 실시 예에 따르면, 상기 두 파워값으로부터 자연로그 ln LF와 ln HF로 계산하고, 이 값을 이용해 사용자의 몰입감을 평가할 수 있다.
본 발명의 다른 실시 예에 따르면, RRI 데이터로부터 평균(mean)을 구하고, 이 평균(mean)의 변화량을 이용하여 상기 사용자의 몰입감을 평가할 수 있다.
본 발명의 구체적인 실시 예에 따르면, 상기 RRI의 평균의 변화율(%)을 기준치 1.583% 에 비교하여 이보다 높을 때 상기 사용자의 몰입도가 높은 것으로 평가할 수 있다.
본 발명의 구체적인 실시 예에 따르면, 상기 ln LF (x 값)와 ln HF (y 값)의 변화율(%)이 Y = 0.5614*x의 직선의 방정식 보다 위에 위치하는 경우, 상기 사용자의 몰입도가 높은 것을 판단할 수 있다.
즉, 본 발명은 신체 미동으로부터 심박 정보를 추출하고 이로부터 얻어진 RRI 평균(mean)과 정규화된(Normaized) HRV의 ln LF와 ln HF가 몰입도를 평가하기 위한 유의미한 변수를 사용한다.
본 발명의 실시 예에 따르면, 상기 미세 움직임 정보를 추출하는 단계와 심박 정보를 추출하는 단계:는
안면 트랙킹(Face Tracking) 단계;
공간 분리(Spatial Decomposition) 단계;
뉴로 필터(Neuro Filter) 단계;
시간 처리(Temporal Processing) 단계;
재구성(Reconstruction) 단계;
프레임 차 평균화(Frame Difference Average) 단계;
스무스 필터(Smoothing Filter) 단계; 그리고
슬라이딩 피이크 검출(Sliding Peak Detection) 단계;를 포함할 수 있다.
본 발명의 구체적인 실시 예에 따르면, 상기 HRV 데이터는 상기 RRI의 리샘플링 및 FFT 분석을 통해 획득할 수 있다.
본 발명에 따른 신체 미동 기반 사용자 몰입도 평가 방법을 수행하는 시스템:은
상기 영상 데이터를 생성하는 카메라;
상기 카메라로부터의 영상 데이터를 처리하는 영상 처리부;
상기 영상 처리부로부터의 데이터를 분석하여 상기 사용자의 몰입도를 평가하는 분석부:를 포함할 수 있다.
Method for evaluating user immersion based on fine body movements according to the present invention: Silver
generating image data by photographing a user's micro-movements exposed to stimuli;
performing face tracking on the subject while generating the image data;
performing image data processing including spatial decomposition on the image data;
extracting fine motion information of the subject's face through the image data processing;
extracting heart rate information by using the fine motion information;
acquiring RRI (R-peak to R-peak Intervals) data from the heart rate information;
extracting HRV data from the RRI data;
calculating power values of a high frequency band (HF) higher than a predetermined range of a low frequency band (LF) and a low frequency band (LF) from the HRV data, respectively;
and determining whether the user is immersed in the stimulus using the two power values.
According to an exemplary embodiment of the present invention, natural logarithms ln LF and ln HF are calculated from the two power values, and the user's sense of immersion can be evaluated using these values.
According to another embodiment of the present invention, the user's sense of immersion may be evaluated by obtaining a mean from the RRI data and using the change amount of the mean.
According to a specific embodiment of the present invention, when the average change rate (%) of the RRI is higher than the reference value of 1.583%, it can be evaluated that the user's immersion is high.
According to a specific embodiment of the present invention, when the rate of change (%) of the ln LF (x value) and ln HF (y value) is located above the equation of the straight line of Y = 0.5614*x, the user's immersion high can be judged.
That is, in the present invention, heart rate information is extracted from body micro-movements, and the RRI mean and ln LF and ln HF of the normalized HRV obtained therefrom use significant variables to evaluate the immersion.
According to an embodiment of the present invention, the step of extracting the micro-motion information and the step of extracting the heart rate information:
Face Tracking (Face Tracking) step;
Spatial Decomposition;
Neuro Filter (Neuro Filter) step;
Temporal Processing;
Reconstruction (Reconstruction) step;
Frame difference averaging (Frame Difference Average) step;
Smoothing filter (Smoothing Filter) step; And
It may include; a sliding peak detection (Sliding Peak Detection) step.
According to a specific embodiment of the present invention, the HRV data may be obtained through resampling and FFT analysis of the RRI.
A system for performing the user immersion evaluation method based on fine body movements according to the present invention:
a camera that generates the image data;
an image processing unit for processing image data from the camera;
An analysis unit that analyzes the data from the image processing unit to evaluate the degree of immersion of the user: may include.

삭제delete

삭제delete

삭제delete

도1은 본 발명의 실험 방법을 예시한다.
도2는 본 발명의 실험 절차를 예시한다.
도3은 본 발명의 몰입도 평가 방법에서, 심전도 측정 지점을 나타내 보인다.
도4는 본 발명에 몰입도 평가 방법에서, 심전도 신호 처리 절차를 예시한다.
도5는 본 발명에 따른 몰입도 평가 방법에서, 5. RRI 분석결과 (*p < .05, **p < .01, ***p < .001) 를 도시한다.
도6은 본 발명에 따른 몰입도 평가 방법에서, RRI 변화량 분석결과 (*p < .05, **p < .01, ***p < .001) 를 나타내 보인다.
도7은 본 발명에 따른 몰입도 평가 방법에서, ln VLF 분석결과 (*p < .05, **p < .01, ***p < .001)를 도시한다.
도8은 본 발명에 따른 몰입도 평가 방법에서, ln HF 분석결과 (*p < .05, **p < .01, ***p < .001) 를 도시한다.
도9는 본 발명에 따른 몰입도 평가 방법에서, ln VLF 변화량 분석결과 (*p < .05, **p < .01, ***p < .001) 를 도시한다.
도10은 본 발명에 따른 몰입도 평가 방법에서, ln HF 변화량 분석결과 (*p < .05, **p < .01, ***p < .001) 를 도시한다.
도11은 본 발명에 따른 몰입도 평가 방법에서, 각 피험자의 자율신경계 균형 분석 결과 (High engagement)를 도시한다.
도12는 본 발명에 따른 몰입도 평가 방법에서, 각 피험자의 자율신경계 균형 분석 결과 (Low engagement)를 도시한다.
도13은 본 발명에 따른 몰입도 평가방법에서, RRI 기반 몰입도 평가 룰-베이스를 예시한다.
도14는 본 발명에 따른 몰입도 평가 방법에서, ln VLF와 ln HF 기반 몰입도 평가 룰-베이스를 예시한다.
도15는 본 발명에 따른 몰입도 평가 방법에서, 몰입도 평가 통합 룰-베이스에 의한 평가방법의 흐름도이다.
도16은 본 발명에 따른 몰입도 평가 방법에서, RRI 기반 룰-베이스 정확도 검증 결과를 예시한다.
도17 본 발명에 따른 몰입도 평가 방법에서, Normalized HRV 기반 룰-베이스 정확도 검증 결과를 도시한다.
1 illustrates the experimental method of the present invention.
Figure 2 illustrates the experimental procedure of the present invention.
3 shows an electrocardiogram measurement point in the immersion evaluation method of the present invention.
4 illustrates an electrocardiogram signal processing procedure in the immersion evaluation method according to the present invention.
5 shows 5. RRI analysis results (* p < .05, ** p < .01, *** p < .001) in the immersion evaluation method according to the present invention.
6 shows the RRI variation analysis results (* p < .05, ** p < .01, *** p < .001) in the immersion evaluation method according to the present invention.
7 shows the ln VLF analysis results (* p < .05, ** p < .01, *** p < .001) in the immersion evaluation method according to the present invention.
8 shows the ln HF analysis results (* p < .05, ** p < .01, *** p < .001) in the immersion evaluation method according to the present invention.
9 shows the results of ln VLF change analysis (* p < .05, ** p < .01, *** p < .001) in the immersion evaluation method according to the present invention.
10 shows the results of analysis of ln HF variation (* p < .05, ** p < .01, *** p < .001) in the immersion evaluation method according to the present invention.
11 shows the autonomic nervous system balance analysis result (high engagement) of each subject in the engagement evaluation method according to the present invention.
12 shows the autonomic nervous system balance analysis results (Low engagement) of each subject in the engagement evaluation method according to the present invention.
13 illustrates an RRI-based immersion evaluation rule-base in the immersion evaluation method according to the present invention.
14 illustrates an engagement evaluation rule-base based on ln VLF and ln HF in the engagement evaluation method according to the present invention.
15 is a flowchart of an evaluation method based on an immersion evaluation integrated rule-base in the immersion evaluation method according to the present invention.
16 illustrates an RRI-based rule-based accuracy verification result in the immersion evaluation method according to the present invention.
17 shows a result of verifying the accuracy of a rule-based accuracy based on a Normalized HRV in the immersion evaluation method according to the present invention.

이하, 첨부된 도면을 참조하면서, 본 발명에 따라 신체 미동으로부터 심박 정보를 얻고 이로부터 얻어진 심박 정보를 이용해 사용자의 몰입도를 평가하는 방법 및 장치의 실시 예를 상세히 설명한다.Hereinafter, an embodiment of a method and apparatus for obtaining heart rate information from body micro-movements and evaluating a user's immersion level using the heart rate information obtained therefrom according to the present invention will be described in detail with reference to the accompanying drawings.

1. 실험방법1. Experimental method

1.1 피험자1.1 Subject

본 연구에 참여한 피험자는 상명대학교 및 대학원 재학생 30명 (남, 여 각각 15명, 평균나이: 26.24±4.2)을 대상으로 하였다. 실험에 참여한 피험자는 자율 신경계 및 심혈관계 이상이나 과거력이 없는 사람을 대상으로 진행 하였다. 실험에 참여하기 전, 자율 및 심혈관계에 영향을 끼칠 수 있는 카페인, 음주, 흡연 등을 제한하였고 충분한 수면을 통해 실험 당일 피로를 최소화할 수 있도록 하였다. 또한, 피험자로부터 연구목적을 제외하고 실험에 대한 대략적인 사항에 대해 설명한 후 자발적 참여의지에 대한 피험자 동의서를 얻었으며, 실험에 참여한 대가로 소정의 금액을 지불하여 실험에 적극적으로 참여할 수 있는 동기를 부여하였다.The subjects who participated in this study were 30 students of Sangmyung University and graduate school (15 male and female each, mean age: 26.24±4.2). Subjects participating in the experiment were those who had no autonomic nervous system and cardiovascular abnormalities or a history. Before participating in the experiment, caffeine, alcohol, and smoking, which could affect the autonomic and cardiovascular system, were restricted, and fatigue was minimized on the day of the experiment through sufficient sleep. In addition, after explaining the general details of the experiment except for the research purpose from the subject, consent was obtained from the subject for voluntary participation, and the motivation to actively participate in the experiment by paying a certain amount in return for participating in the experiment was given.

1.2. 실험절차1.2. Experimental procedure

실험에 참여한 60명의 피험자는 무작위로 한 그룹에 두 명씩 30 그룹으로 분류하였다. 각 그룹의 두 명의 피험자는 각각 리더(leader)와 팔로워(follower)로 나누어 실험을 진행하였다. 리더는 시스템에서 제시되어지는 6개의 Ekman 기본감성 (행복, 슬픔, 놀람, 혐오, 공포, 화남)에 얼굴표정을 보고 자신의 얼굴표정을 따라 도록 하였다 (Ekman, 1972). 팔로워는 리더가 짓는 얼굴표정을 쳐다보기만 하거나 따라 도록 지시하였다. 상기의 태스크는 얼굴을 마주 본 상태에서 진행하는 Face to Face 조건과 스크린을 통해 상대방을 본 상태에서 진행하는 Screen 조건으로 나누어 반복 진행하였다. 본 실험에서 스크린 조건에서 리더의 표정을 쳐다 보기만 하는 것을 몰입감이 낮은 상태 (low engagement)로 정의 하였고 Face to Face 조건에서 리더의 얼굴표정을 팔로워가 따라하는 조건을 몰입감이 높은 상태 (high engagement)로 정의 하였다. 또한, 얼굴 표정에 대해 사전에 학습하여 자연스러운 얼굴표정이 가능하도록 하기 위해 얼굴표정을 소개하는 introduction 태스크와 사전에 얼굴표정을 지어볼 수 있도록 훈련하는 practice 태스크를 포함하였다. 각 태스크 사이에는 휴식 30초가 포함되어 있으며, 얼굴 표정 사이에는 5초의 휴식이 포함 되었다. 자세한 실험 방법과 절차는 도1과 도2에 도시하였다.The 60 subjects who participated in the experiment were randomly divided into 30 groups, two in each group. Two subjects in each group were divided into a leader and a follower, respectively, and the experiment was conducted. The leader saw the facial expression in the six Ekman basic emotions (happiness, sadness, surprise, disgust, fear, and anger) presented in the system and had them follow their own facial expressions (Ekman, 1972). Followers were instructed to simply look at or follow the facial expressions made by the leader. The above task was repeated by dividing it into a Face to Face condition, which is performed in a face-to-face condition, and a Screen condition, which proceeds while seeing the other party through the screen. In this experiment, just staring at the leader's expression in the screen condition was defined as low engagement, and in the Face to Face condition, the condition in which followers follow the leader's facial expression was defined as high engagement. was defined as In addition, in order to learn about facial expressions in advance to enable natural facial expressions, an introduction task to introduce facial expressions and a practice task to train facial expressions in advance were included. A 30 second break was included between each task, and a 5 second break was included between facial expressions. Detailed experimental methods and procedures are shown in FIGS. 1 and 2 .

1.3. 데이터 수집1.3. data collection

본 발명은 심박정보를 신체 미동으로부터 추출한다.The present invention extracts heart rate information from body micro-movements.

본 발명에 따른 미동 데이터를 추출 하는 방법에 있어서 처리하는 순서는 아래와 같이 총 10단계를 포함한다. 도3은 단계별 동작 시나리오를 예시한다.In the method of extracting fine movement data according to the present invention, the processing sequence includes a total of 10 steps as follows. 3 illustrates a step-by-step operation scenario.

가. 영상입력(Audio Input) 단계(S11)go. Video input (Audio Input) step (S11)

동영상 카메라로 피험자를 촬영하여 연속적인 영상 데이터를 생성한다. 이때에 촬영영역은 도3에 도시된 바와 같이 얼굴이 포함되는 상반신이다. Continuous image data is generated by photographing a subject with a video camera. In this case, the photographing area is the upper body including the face as shown in FIG. 3 .

나. 안면 추적 또는 트랙킹(Face Tracking) 단계(S12)me. Face Tracking or Tracking Step (S12)

상기 영상 카메라를 이용하여 입력 된 영상 데이터를 이용하여 인체의 미세한 움직임을 머리에서 추출하기 위하여 OpenCV를 이용한 안면인식을 통해 영상 정보를 분리 하도록 한다. In order to extract minute movements of the human body from the head using the image data input using the image camera, image information is separated through face recognition using OpenCV.

OpenCV(Open Computer Vision)은 C 이다. 원래는 이 개발하였으며, 우, 등의 여러 플랫폼에서 사용할 수 있다. 이러한 OpenCV는 실시간 이미지 프로세싱에 중점을 둔 라이브러리이다. OpenCV (Open Computer Vision) is C. Originally developed by this, it can be used on multiple platforms such as Woo, etc. This OpenCV is a library focused on real-time image processing.

상기 OpenCV에 기반을 둔 안면 인식 시스템(facial recognition system)은 디지털 이미지를 통해 각 사람을 자동으로 식별하는 컴퓨터 지원 응용 프로그램을 말한다. 이는 살아 있는 이미지에 나타나는 선택된 얼굴 특징과 안면 데이터베이스를 서로 비교함으로써 이루어진다. The OpenCV-based facial recognition system refers to a computer-aided application program that automatically identifies each person through a digital image. This is done by comparing selected facial features appearing in the live image with a facial database.

도 3에서 S12단계에서 원본 영상에 나타나는 사각형이 안면부분의 트랙킹 영역을 나타낸다. 이것은 사용자의 움직임에 대응하여 안면 부분에 대한 트랙킹이 수행된다.
In FIG. 3 , a rectangle appearing in the original image in step S12 indicates the tracking area of the face. In response to the user's movement, tracking of the facial part is performed.

다. 공간 분리(Spatial Decomposition) 단계(S13)all. Spatial Decomposition step (S13)

잘 알려진 영상의 공간 분리 기법으로 가우시안(Gaussian blur)와 다운 샘플링(down sample)을 통하여 각 주파수(Frequency)별 공간을 분리한다.As a well-known spatial separation technique for images, the space for each frequency is separated through Gaussian blur and down-sampling.

Figure 112015037135313-pat00001
Figure 112015037135313-pat00001

도3의 S13에 도시된 이미지가 공간 분리된 상태의 결과물이다. The image shown in S13 of FIG. 3 is a result of a spatially separated state.

위의 식에서, α 는 영상의 증폭 비율값이며, β 는 시간, 공간 주파수 대역으로 필터된 이미지의 값이며, x 는 영상의 가로축(x) 위치값이며, t 는 시간이며, δ (t)는 입력된 영상과 움직임 영상과의 혼합비율 값이며, 그리고 I' 는 움직인 이미지의 움직임 정도이다.
In the above equation, α is the image amplification ratio value, β is the value of the image filtered with time and spatial frequency bands, x is the horizontal axis (x) position value of the image, t is time, and δ ( t ) is It is a value of the mixing ratio between the input image and the moving image, and I' is the degree of movement of the moving image.

라. 뉴로 필터(Neuro Filter) 단계(S14) la. Neuro Filter Step (S14)

뉴로 필터(Neuro Filter 단계)는 영상의 공간 주파수를 분리 함에 있어 일반적인 생체신호(bio signal)을 기준으로 영상으로부터 추출 할 수 있는 주파수 대역을 생체신호간 상관성이 있는 대역을 선정하여 주파수 대역을 선정하고 그 선정 된 대역의 영상 정보를 취득하는 것을 의미한다.Neurofilter (Neuro Filter step) selects a frequency band that can be extracted from an image based on a general bio signal in separating spatial frequencies of an image, selects a band with correlation between bio signals, and selects a frequency band. That means acquiring the video information of the selected band.

예를 들어, 일반적인 PPG 데이터를 신호처리 할 경우 0.4~1.3Hz 구간의 주파수 성분을 가지고 데이터 분석을 실시함으로 PPG와 유사한 신호를 영상으로부터 취득하기 위해서는 동일 대역 혹은 인근 대역의 주파수 분석을 통해 유사한 데이터를 추출한다.
For example, when processing general PPG data, data analysis is performed with frequency components in the range of 0.4 to 1.3 Hz. In order to obtain a signal similar to PPG from an image, similar data is analyzed through frequency analysis of the same or neighboring bands. extract

마. 시간 처리(Temporal Processing) 단계(S15)mind. Temporal Processing Step (S15)

영상을 뉴로필터(Neuro Filter) 대역의 주파수 공간으로 분리한 후, 분리된 공간의 주된 성분의 주파수 대역을 시간처리(Temporal Processing)를 이용하여 차이 값을 추출하여 영상이 진행되는 동안(시간이 흐르는 동안) 해당 주파수 성분의 값을 분리하여 추출한다.
After dividing the image into the frequency space of the neurofilter band, the frequency band of the main component of the separated space is extracted using temporal processing to extract the difference value while the image is in progress (time flows while), the value of the corresponding frequency component is separated and extracted.

바. 재구성(Reconstruction) 단계(S16)bar. Reconstruction step (S16)

분리된 공간의 성분을 뉴로 필터(Neuro Filter) 대역의 주파수 성분만 시간을 이용하여 분리해내고 분리된 성분 값을 일정량의 증폭을 통해 기존 영상에 복원하여 실제 미세하게 잘 보이지 않는 움직임에 해당하는 주파수 성분의 데이터 값을 만들어 낼 수 있도록 한다.Only the frequency components of the Neuro Filter band are separated using time to separate the components of the separated space, and the separated component values are restored to the existing image through a certain amount of amplification, so that the frequency corresponding to the movement that is invisible in detail. Allows you to create data values of the components.

Figure 112015037135313-pat00002
Figure 112015037135313-pat00002

위의 식에서, α는 영상의 증폭 비율 값이며, δ (t) 는 입력된 영상과 움직임 영상과의 혼합비율 값 이며, 그리고 λ는 이미지 공간의 파장 대역 값이다.
In the above equation, α is the value of the amplification ratio of the image, δ ( t ) is the mixing ratio of the input image and the motion image, and λ is the value of the wavelength band of the image space.

사. 프레임 차 평균화(Frame Difference Average) 단계(S17)buy. Frame difference averaging step (S17)

분리된 성분의 데이터 값을 매 시간(30fps 기준)마다 측정되는 영상의 움직임 데이터의 1프레임이 평균의 차이 값을 계산하여 이전 상태와 현 상태의 평균적으로 움직임의 차이 값을 계산하여 전체적인 미세 움직임의 양을 추출한다. 여기에서 1 프레임의 평균은 1프레임의 미세 움직임 양을 나타낸다.By calculating the difference value of the average of one frame of motion data of the image measured every time (based on 30 fps) for the data values of the separated components, the difference between the previous state and the current state is calculated on the average of the overall fine movement. extract the amount Here, the average of one frame represents the amount of fine motion of one frame.

Figure 112015037135313-pat00003
Figure 112015037135313-pat00003

아. 스무스 필터링(Smoothing Filter) 단계(S18)Ah. Smoothing Filtering Step (S18)

추출 된 미세 움직임을 데이터로 추출하였을 때 움직임에 대한 노이즈가 포함되어 신호가 거칠게 일그러지거나 하여 피이크(peak) 검출에 어려움이 있어 노이즈를 제거하고 피이크 검출의 정확도를 높이는 데이터를 가공 처리한다.When the extracted micro-movement is extracted as data, it is difficult to detect a peak because noise about the movement is included and the signal is roughly distorted.

Figure 112015037135313-pat00004
Figure 112015037135313-pat00004

Figure 112015037135313-pat00005
Figure 112015037135313-pat00005

위 식에서 SMA는 이동평균 값이며, SMAtoday, SMAyesterday는 서로 다른 특정일자의 이동평균 값이며, Pm 은 현재 프레임의 미동의 값이며, n은 이동평균의 윈도우 사이즈(window size)이다.
In the above equation, SMA is the moving average value, SMAtoday and SMAyesterday are the moving average values of different specific days, Pm is the current frame's non-moving value, and n is the window size of the moving average.

자. 슬라이딩 피이크 검출(Sliding Peak Detection) 단계(S19, S20)ruler. Sliding Peak Detection Step (S19, S20)

노이즈를 제거하고 피이크 검출을 위한 가공 처리 된 데이터를 받아 1프레임당 피이크 데이터를 30초 크기(size)의 윈도우(windows)를 기준으로 지속적으로 슬라이딩(sliding) 시켜 움직임 영향 및 데이터에 영향을 최소화 시켜 BPM(bit per minute) 신호를 추출 할 수 있도록 한다.Removes noise and receives processed data for peak detection and continuously slides peak data per frame based on a window with a size of 30 seconds to minimize the influence of motion and data Enables extraction of BPM (bit per minute) signals.

Figure 112015037135313-pat00006
Figure 112015037135313-pat00006

1.4 신호처리1.4 Signal processing

위의 과정에서 취득한 PPG 신호는 QRS 검출 알고리즘을 통해 R-peak을 검출하였다 (Pan and Tompkins, 1985). 검출된 R-peak은 노이즈를 제외하고 정상 R-peak 간격의 차이를 이용해 RRI (R-peak to R-peak interval)를 추출하였다. 심장리듬패턴 (HRP, heart rhythm pattern)분석을 위해 분당 심박수 (BPM, beat per minute)는 60/RRI을 통해 계산 할 수 있고, 정상 RRI의 표준 편차를 이용해 SDNN (standard deviation normal to normal)을 추출할 수 도 있다.
For the PPG signal obtained in the above process, R-peak was detected through the QRS detection algorithm (Pan and Tompkins, 1985). For the detected R-peak, RRI (R-peak to R-peak interval) was extracted using the difference between normal R-peak intervals excluding noise. For heart rhythm pattern (HRP) analysis, heart rate per minute (BPM, beat per minute) can be calculated through 60/RRI, and SDNN (standard deviation normal to normal) is extracted using the standard deviation of the normal RRI. You may.

위와 같은 과정을 통해 측정된 심박 정보 데이터는 QRS 검출 알고리즘을 통해 R-peak을 검출 하였다 (Pan & Tomplins, 1985). 검출된 R-peak은 비정상적인 심박 간격의 데이터를 제외하고 정산인 심박 간격의 데이터를 기준으로 R-peak 사이의 시간 간격을 계산하여 RRI (R-peak to R-peak Intervals) 데이터를 취득하였다. RRI 데이터는 시계열 데이터로 변환하기 위해 2 Hz로 re-sampling 하였고 FFT (Fast Furier Transform) 분석을 통해 HRV (Heart Rate Variability) spectrum 데이터를 추출하였다. 추출된 데이터는 VLF (Very Low Frequency, 0.0033 - 0.04 Hz)대역과 HF (High Frequency, 0.15 - 0.4 Hz)대역의 각각 파워값을 계산하였고 각각의 파워값은 자연로그를 취해 ln VLF와 ln HF로 계산하였다. 계산된 값은 ln VLF와 ln HF축에 9개의 도메인으로 구성된 좌표에 플로팅하여 자율신경계 균형을 확인 하였다. 자세한 신호처리 과정은 도4에 도시된 바와 같다.For the heart rate information data measured through the above process, R-peak was detected through the QRS detection algorithm (Pan & Tomplins, 1985). For the detected R-peak, RRI (R-peak to R-peak Intervals) data were obtained by calculating the time interval between R-peaks based on the data of the heart rate interval, which is the settlement, except for the data of the abnormal heart rate interval. RRI data were re-sampled at 2 Hz to convert to time series data, and HRV (Heart Rate Variability) spectrum data was extracted through FFT (Fast Furier Transform) analysis. For the extracted data, the power values of the VLF (Very Low Frequency, 0.0033 - 0.04 Hz) and HF (High Frequency, 0.15 - 0.4 Hz) bands were calculated respectively. Calculated. The calculated values were plotted on coordinates composed of 9 domains on the ln VLF and ln HF axes to confirm the autonomic nervous system balance. A detailed signal processing process is shown in FIG. 4 .

2. 실험결과2. Experimental results

본 실험에서 Screen 조건의 Viewing expression 태스크는 Low engagement (LE)로 Face to Face 조건의 Imitation 태스크는 High engagement (HE) 로 정의 하였다. 모든 task(태스크) 구간의 데이터는 reference(기준) 구간의 데이터에 대비하여 변화율로 계산하여 몰입도에 대한 결과를 비교하였다.In this experiment, the viewing expression task under the screen condition was defined as low engagement (LE) and the imitation task under the face to face condition as high engagement (HE). The data of all task sections were calculated as the rate of change compared to the data of the reference section, and the results for immersion were compared.

Figure 112021085039967-pat00025
Figure 112021085039967-pat00025

2.1. RRI (R-peak to R-peak Intervals)2.1. RRI (R-peak to R-peak Intervals)

RRI 분석 결과, HE는 reference 대비 RRI가 유의하게 증가하였고 (t = -3.099, p = .004), LE는 reference 대비 RRI가 감소하는 패턴을 보였으나 통계적으로 유의하지는 않았다 (t = 1.237, p = .226). 변화량 분석결과 HE가 LE에 비해 통계적으로 유의하게 증가하는 결과를 확인하였다 (t = 7.248, p = .000). 자세한 분석결과는 도5와 도6에 도시하였다.As a result of RRI analysis, HE showed a significantly increased RRI compared to the reference ( t = -3.099, p = .004), and the LE showed a decreased RRI compared to the reference pattern, but it was not statistically significant ( t = 1.237, p = .226). As a result of analysis of the amount of change, it was confirmed that HE increased significantly compared to LE ( t = 7.248, p = .000). Detailed analysis results are shown in FIGS. 5 and 6 .

2.2. 정규화된(Normalized) HRV (ln VLF & ln HF)2.2. Normalized HRV ( ln VLF & ln HF)

Normalized HRV 분석 결과, HE는 reference 대비 ln VLF가 유의하게 증가하였고 (t = -7.128, p = .000), LE는 reference 대비 ln VLF가 유의하게 감소하는 결과를 확인하였다 (t = 4.026, p = .000). 자세한 분석결과는 도7에 도시하였다.As a result of normalized HRV analysis, HE showed a significant increase in ln VLF compared to the reference ( t = -7.128, p = .000), and LE confirmed that the ln VLF compared to the reference significantly decreased ( t = 4.026, p = .000). Detailed analysis results are shown in FIG. 7 .

또한, HE는 reference 대비 ln HF가 유의하게 감소하였고 (t = 5.227, p = .000), LE는 reference 대비 ln HF가 유의하게 증가하는 결과를 확인하였다 (t = -5.900, p = .000). 자세한 분석결과는 도8에 도시하였다.In addition, in HE, ln HF was significantly decreased compared to the reference ( t = 5.227, p = .000), and in LE, it was confirmed that ln HF was significantly increased compared to the reference ( t = -5.900, p = .000). . A detailed analysis result is shown in FIG. 8 .

변화량 분석결과에서 ln VLF는 HE가 LE에 비해 통계적으로 유의하게 증가하는 결과를 확인하였고 (t = 6.312, p = .000), ln HF는 HE가 LE에 비해 통계적으로 유의하게 감소하는 결과를 확인하였다 (t = -9.092, p = .000). 자세한 분석결과는 도9와 도10에 도시하였다.In the variation analysis results, ln VLF confirmed a statistically significant increase in HE compared to LE ( t = 6.312, p = .000), and ln HF confirmed a statistically significant decrease in HE compared to LE. ( t = -9.092, p = .000). Detailed analysis results are shown in FIGS. 9 and 10 .

ln VLF와 ln HF를 9개의 도메인에 각 피험자의 데이터를 플로팅 시킨 결과, HE는 reference 구간에 대비하여 VLF (교감 신경계) 활성도가 감소하고 HF (부교감신경계) 활성도가 증가하는 방향으로 이동하였고 LE는 reference 구간에 대비하여 VLF (교감 신경계) 활성도가 증가하고 HF (부교감신경계) 활성도가 감소하는 방향으로 이동하였다. 자세한 분석결과는 도11과 도12에 도시하였다.As a result of plotting each subject's data in 9 domains for ln VLF and ln HF, HE moved in the direction of decreasing VLF (sympathetic nervous system) activity and increasing HF (parasympathetic nervous system) activity compared to the reference section, and LE was Compared to the reference section, VLF (sympathetic nervous system) activity increased and HF (parasympathetic nervous system) activity moved in a decreasing direction. Detailed analysis results are shown in FIGS. 11 and 12 .

2.3. 몰입도 평가 룰-베이스 설정2.3. Immersion evaluation rule-base setting

몰입도 평가 룰-베이스는 변화량 분석 결과를 기준으로 설정 하였다. 각 피험자의 RRI 변화량 분석 결과를 HE와 LE 조건에 따라 플로팅한 결과는 도13에 도시된 바와 같다. 각 피험자의 데이터 중에서 HE와 LE를 구분할 수 있는 가장 큰 분별력을 갖는 지점을 임계값 (threshold)으로 설정하였다. 이에 따라, RRI의 reference 대비 변화량이 1.53 % 보다 크게 증가하는 경우를 HE, 반대의 경우를 LE로 판단하는 룰-베이스로 설정하였다.The immersion evaluation rule-base was set based on the change amount analysis result. The results of plotting the RRI variation analysis results of each subject according to the HE and LE conditions are shown in FIG. 13 . Among the data of each subject, the point having the greatest discrimination power to distinguish between HE and LE was set as a threshold. Accordingly, the case where the change in RRI compared to the reference increased by more than 1.53% was set as HE, and the opposite case was set as LE as the rule-base.

각 피험자(사용자)의 ln VLF와 ln HF의 변화량 분석 결과를 HE와 LE 조건에 따라 플로팅한 결과는 도14에 도시된 바와 같다. 각 피험자의 데이터 중에서 HE와 LE를 구분할 수 있는 가장 큰 분별력을 갖는 지점을 임계값 (threshold)으로 설정하였다. LE와 HE 데이터 중, 가장 인접한 두 점 사이의 중간 지점과 0점을 지나는 직선의 방정식을 룰-베이스로 설정하였다 (Y = 0.56146 × X). 이에 따라, n VLF와 ln HF의 reference 대비 변화량 값이 Y = 0.56146*X의 직선보다 위에 있으면 HE, 반대의 경우를 LE로 판단하는 룰-베이스로 설정하였다.The results of plotting the change amount analysis results of ln VLF and ln HF of each subject (user) according to the HE and LE conditions are shown in FIG. 14 . Among the data of each subject, the point having the greatest discrimination power to distinguish between HE and LE was set as a threshold. Among the LE and HE data, the equation of the straight line passing through the midpoint between the two most adjacent points and the zero point was set as the rule-base (Y = 0.56146 × X). Accordingly, if the value of change compared to the reference of n VLF and ln HF is above the straight line of Y = 0.56146*X, HE and the opposite case were set as LE.

두 개의 룰-베이스를 통합하여 몰입도를 평가하기 위한 룰-베이스를 설정하였고 통합 룰-베이스는 도15에 도시하였다.By integrating the two rule-bases, a rule-base for evaluating immersion was set, and the integrated rule-base is shown in FIG. 15 .

3. 정확도 검증 결과3. Accuracy Verification Results

룰-베이스의 정확도를 검증하기 위해, 15명의 피험자가 검증 실험에 참여하였다. 룰-베이스 검증 결과, RRI 변화량을 통해 몰입도를 평가한 결과에서 HE는 15 케이스 중 15 케이스 모두 HE로 판단하였고 LE는 15 케이스 중 13 케이스를 LE로 판단하고 나머지 2 케이스는 HE로 판단하는 결과를 나타내었다. 자세한 연구 결과는 도16에 도시된 바와 같다.In order to verify the accuracy of the rule-base, 15 subjects participated in the verification experiment. As a result of the rule-based verification, in the result of evaluating immersion through the amount of change in RRI, HE judged all 15 cases out of 15 cases as HE, LE judged 13 cases out of 15 cases as LE, and the remaining 2 cases were judged as HE. was shown. The detailed study results are shown in FIG. 16 .

Normalized HRV를 기준으로 몰입도를 평가한 결과에서 HE는 15 케이스 중 15 케이스 모두 HE로 판단하였고 LE는 15 케이스 중 14 케이스를 LE로 판단하고 나머지 1 케이스는 HE로 판단하는 결과를 나타내었다. 자세한 연구 결과는 도17에 도시된 바와 같다.In the results of evaluation of immersion based on normalized HRV, all 15 cases out of 15 cases in HE were judged as HE, 14 cases out of 15 cases in LE were judged as LE, and the remaining 1 case was judged as HE. The detailed study results are shown in FIG. 17 .

최종적으로 HE는 15 케이스 중 15 케이스 모두 HE로 판단하였으며, HE의 분류 정확도는 100%로 판단되었다 (15/15*100 = 100%). LE는 15 케이스 중 12 케이스를 LE로 판단하고 나머지 3 케이스는 HE로 판단하는 결과를 나타내었으며, LE의 분류 정확도는 80%로 판단되었다 (12/15*100 = 80%). 전체 몰입도에 대한 평가 정확도는 90%로 확인되었다 (27/30*100 = 90%).Finally, all 15 cases of HE were judged to be HE, and the classification accuracy of HE was judged to be 100% (15/15*100 = 100%). As for LE, 12 cases out of 15 cases were judged as LE and the remaining 3 cases were judged as HE, and the classification accuracy of LE was determined to be 80% (12/15*100 = 80%). The evaluation accuracy for the overall immersion was confirmed to be 90% (27/30*100 = 90%).

4. 결론4. Conclusion

본 발명은 심전도 신호를 기반으로 사용자의 몰입도를 정량적으로 평가 할 수 있는 방법을 제안하는데 그 목적이 있다. 연구 결과에 따라, RRI mean과 Normaized HRV의 ln VLF와 ln HF가 몰입도를 평가하기 위한 유의미한 변수 임을 확인하였다. 사용자의 몰입도가 높은 상태임을 판단한 수 있는 경우는 다음과 같다 (반대의 경우, 사용자의 몰입도가 낮음을 의미한다). It is an object of the present invention to propose a method for quantitatively evaluating a user's immersion level based on an electrocardiogram signal. According to the study results, it was confirmed that RRI mean and ln VLF and ln HF of Normaized HRV were significant variables for evaluating commitment. The cases in which it can be determined that the user's immersion level is high are as follows (in the opposite case, it means that the user's immersion level is low).

1. 사용자로부터 취득된 RRI mean의 변화량 값 (%)이 1.583% 크게 증가한 경우1. When the value of change (%) of the RRI mean obtained from the user is greatly increased by 1.583%

2. 사용자로부터 취득된 n VLF (x 값)와 ln HF (y 값)의 변화량 값 (%)이 Y = 0.5614*x의 직선의 방정식 보다 위에 위차하는 경우2. When the variation value (%) of n VLF (x value) and ln HF (y value) obtained from the user is higher than the equation of the straight line of Y = 0.5614*x

3. 상기 두 가지 룰-베이스를 만족하는 경우를 몰입도가 높은 상태로 판단하고 두 가지 중, 한 가지라도 룰-베이스를 만족하지 않는 경우 몰입도가 낮은 상태로 판단함3. A case in which the above two rule-bases are satisfied is judged as a state of high immersion, and a state of low immersion is judged when at least one of the two rule-bases is not satisfied.

본 발명에서 제안된 사용자 몰입도 평가 방법은 미디어 매체나 실제 환경에서 사용자의 콘텐츠에 대한 몰입도를 실시간으로 평가 할 수 있다. 이는 사용자와 콘텐츠간의 단방향 인터랙션이 아닌, 콘텐츠가 사용자의 몰입 상태에 따라 다양한 피드백을 통해 사용자의 몰입도를 증가 시킬 수 있는 양방향 인터랙션을 가능하게 해 줄 것으로 기대된다. 또한, 상기의 발명은 다양한 산업분야에 적용되어 콘텐츠를 통한 좀 더 효율적인 정보제공 효과를 가능하게 할 것으로 기대된다.The user immersion evaluation method proposed in the present invention can evaluate the user's immersion in content in a media medium or real environment in real time. This is not a one-way interaction between the user and the content, but the content is expected to enable a two-way interaction that can increase the user's immersion through various feedbacks according to the user's immersion state. In addition, the above invention is expected to be applied to various industrial fields to enable a more efficient information provision effect through contents.

Claims (11)

자극에 노출된 사용자의 미세 움직임을 카메라로 촬영하여 영상 데이터를 생성하는 단계;
영상 처리부에 의해 상기 영상 데이터에서 피험자에 대한 안면 트랙킹(Face Tracking)을 수행하는 단계;
안면 트랙킹에 의해 얻어진 영상 데이터에 대해 아래의 식1에 의해 주파수 별로 공간을 분리하되, 0.4~1.3Hz 범위의 주파수 대역에서 영상 데이터를 추출하는 단계;
상기 주파수 대역의 영상 데이터를 증폭하여 상기 주파수 대역의 영상 데이터를 이용해 상기 주파수 대역으로 분리된 공간의 영상을 재구성하는 단계;
분석부에 의해 상기 분리된 공간의 영상의 처리를 통해 영상의 전후 프레임 평균의 차이 값을 계산하여 상기 피험자 안면의 미세 움직임 정보를 추출하는 단계;
상기 미세 움직임 정보에 대한 슬라이딩 윈도우의 피이크 검출을 통해 심박 정보(PPG)를 추출하고 상기 심박 정보로부터 RRI (R-peak to R-peak Intervals) 데이터를 취득하는 단계;
상기 RRI 데이터로부터 RRI 변화량을 구하여 기준 데이터의 변화량에 대비한 rate of change(변화율)을 아래의 식2에 의해 계산하는 단계;
상기 RRI 데이터로부터 HRV 데이터를 추출하고, 상기 HRV 데이터에서 저주파 대역(LF)과 저주파 대역(LF)에 비해 높은 고주파 대역(HF)의 파워값을 각각 계산하는 단계; 그리고
상기 두 파워값을 이용해 상기 자극에 대한 상기 사용자의 몰입 여부를 판단하고, 상기 변화율이 1.583% 보다 높을 때 상기 사용자의 몰입도가 높은 것(High engagement, HE)으로 평가하는 평가 단계;를 포함하는, 신체 미동 기반 사용자 몰입도 평가 방법.
<식1>
Figure 112022500866126-pat00026

위 식에서,
α : 영상의 증폭 비율값
β : 시간, 공간 주파수 대역으로 필터된 이미지의 값
x : 영상의 가로축(x) 위치값
t : 시간
δ (t): 입력된 영상과 움직임 영상과의 혼합비율 값, 그리고
I' : 움직인 이미지의 움직임 정도
<식2>
Figure 112022500866126-pat00027
generating image data by photographing micro-movements of a user exposed to stimuli with a camera;
performing face tracking on the subject on the image data by an image processing unit;
Separating the space for each frequency according to Equation 1 below for the image data obtained by facial tracking, extracting the image data in a frequency band in the range of 0.4 to 1.3 Hz;
amplifying the image data of the frequency band and reconstructing an image of a space divided into the frequency band using the image data of the frequency band;
extracting micro-motion information of the subject's face by calculating a difference value between the averages of the front and rear frames of the image through the processing of the image in the separated space by the analysis unit;
extracting heart rate information (PPG) through peak detection of a sliding window with respect to the fine motion information and obtaining RRI (R-peak to R-peak Intervals) data from the heart rate information;
calculating an RRI change amount from the RRI data and calculating a rate of change compared to the change amount of the reference data by Equation 2 below;
extracting HRV data from the RRI data and calculating power values of a high frequency band (HF) higher than that of a low frequency band (LF) and a low frequency band (LF) from the HRV data; And
An evaluation step of judging whether the user is immersed in the stimulus using the two power values, and evaluating the user's engagement as high (High engagement, HE) when the change rate is higher than 1.583% , A method for evaluating user engagement based on body movement.
<Formula 1>
Figure 112022500866126-pat00026

In the above formula,
α: the value of the amplification ratio of the image
β: the value of the image filtered by the temporal and spatial frequency bands
x : the horizontal axis (x) position value of the image
t : time
δ ( t ): the value of the mixing ratio between the input image and the motion image, and
I': the degree of movement of the moved image
<Formula 2>
Figure 112022500866126-pat00027
제1항에 있어서,
상기 두 파워값으로부터 자연로그 ln LF와 ln HF를 계산하고, 이들 값의 변화량(%)을 각각 구하여,
상기 ln LF(x값)와 ln HF(y값)의 변화량(%)이 Y = 0.5614*x의 직선의 방정식 보다 위에 위치하는 경우, 상기 사용자의 몰입도가 높은 것을 판단하는 것을 특징으로 하는 신체 미동 기반 사용자 몰입도 평가 방법.
According to claim 1,
Calculate the natural log ln LF and ln HF from the two power values, and obtain the amount of change (%) of these values, respectively,
When the amount of change (%) of the ln LF (x value) and ln HF (y value) is located above the equation of the straight line of Y = 0.5614 * x, it is determined that the user's immersion level is high. A method for evaluating user engagement based on fine movements.
제2항에 있어서,
RRI 데이터로부터 평균(mean)을 구하여 및 평균(mean)의 변화율(%)을 구하고,
상기 RRI의 평균의 변화율(%)을 기준치 1.583% 에 비교하여 이보다 높을 때 상기 사용자의 몰입도가 높은 것으로 평가하는 것을 특징으로 하는 신체 미동 기반 사용자 몰입도 평가 방법.
3. The method of claim 2,
Obtaining the mean (mean) from the RRI data and obtaining the change rate (%) of the mean,
The user's immersion evaluation method based on fine body movement, characterized in that when the average change rate (%) of the RRI is compared with a reference value of 1.583% and higher than this, the user's immersion is evaluated as high.
삭제delete 삭제delete 삭제delete 삭제delete 제1항에 있어서,
상기 HRV 데이터는 상기 RRI의 리샘플링 및 FFT 분석을 통해 획득하는 것을 특징으로 하는 신체 미동 기반 사용자 몰입도 평가 방법.
According to claim 1,
The HRV data is a body micro-movement-based user immersion evaluation method, characterized in that it is obtained through the resampling of the RRI and FFT analysis.
제1항 내지 제3항 또는 제8항 중의 어느 한 항에 기재된 방법을 수행하는 시스템에 있어서,
상기 영상 데이터를 생성하는 카메라;
상기 카메라로부터의 영상 데이터를 처리하는 영상 처리부; 그리고
상기 영상 처리부로부터의 데이터를 분석하여 상기 사용자의 몰입도를 평가하는 분석부:를 포함하는 신체 미동 기반 사용자 몰입도 평가 시스템.
9. A system for carrying out the method according to any one of claims 1 to 3 or 8, comprising:
a camera that generates the image data;
an image processing unit for processing image data from the camera; And
and an analysis unit that analyzes the data from the image processing unit to evaluate the user's immersion level.
삭제delete 삭제delete
KR1020150053765A 2015-04-16 2015-04-16 evaluation method and system for user flow or engagement by using body micro-movement KR102389361B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150053765A KR102389361B1 (en) 2015-04-16 2015-04-16 evaluation method and system for user flow or engagement by using body micro-movement

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150053765A KR102389361B1 (en) 2015-04-16 2015-04-16 evaluation method and system for user flow or engagement by using body micro-movement

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020160046490A Division KR101846350B1 (en) 2016-04-15 2016-04-15 evaluation method and system for user flow or engagement by using body micro-movement

Publications (2)

Publication Number Publication Date
KR20160123572A KR20160123572A (en) 2016-10-26
KR102389361B1 true KR102389361B1 (en) 2022-04-21

Family

ID=57251628

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150053765A KR102389361B1 (en) 2015-04-16 2015-04-16 evaluation method and system for user flow or engagement by using body micro-movement

Country Status (1)

Country Link
KR (1) KR102389361B1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102467774B1 (en) * 2020-08-31 2022-11-17 주식회사 마블러스 Method and apparatus for supporting user's learning concentration

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100493714B1 (en) * 2004-11-26 2005-06-02 주식회사 메디코아 Autonomic function analyzer
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100493714B1 (en) * 2004-11-26 2005-06-02 주식회사 메디코아 Autonomic function analyzer
US20110251493A1 (en) * 2010-03-22 2011-10-13 Massachusetts Institute Of Technology Method and system for measurement of physiological parameters

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
김태민, 윤정식, 촉각기술의 온라인쇼핑 적용가능성에 관한 연구-심전도(ECG)측정에 의한 몰입도 평가-. InfoDESIGN. ISSUE20, Vol.9, No.1, pp.79~90 (February, 2010)*

Also Published As

Publication number Publication date
KR20160123572A (en) 2016-10-26

Similar Documents

Publication Publication Date Title
KR101646735B1 (en) Method and system for determining social relationship using Heart Rhythm Pattern by micro movement of body
Speth et al. Deception detection and remote physiological monitoring: A dataset and baseline experimental results
Di Lascio et al. Laughter recognition using non-invasive wearable devices
Li et al. An EEG-based multi-modal emotion database with both posed and authentic facial actions for emotion analysis
KR101816292B1 (en) evaluation method and system for user flow or engagement by using ECG
CN110811648A (en) Depression tendency evaluation system based on residual convolutional neural network
KR101846350B1 (en) evaluation method and system for user flow or engagement by using body micro-movement
KR102389361B1 (en) evaluation method and system for user flow or engagement by using body micro-movement
KR20170004549A (en) Method and system for extracting Heart Information of Frequency domain
Masui et al. Continuous estimation of emotional change using multimodal affective responses
KR20170004548A (en) Method and system for extracting heart information of time domain
KR101911891B1 (en) Reasoning Method and System of Empathic Emotion Based on Video Analysis
KR101807201B1 (en) Reasoning Method and System of Empathic Emotion Based on Video Analysis
KR101940673B1 (en) Evaluation Method of Empathy based on micro-movement and system adopting the method
KR101706740B1 (en) Method and System for determining online social relationship based on Heart Rhythm Coherence by Micro movement of body
Bonomi et al. Contactless approach for heart rate estimation for QoE assessment
Saini et al. Ldm: a systematic review on lie detection methodologies
KR20180019417A (en) Reasoning Method and System of Empathic Emotion Based on Video Analysis
Kim et al. Effects of Measurement Positions and Emotional Changes on ECG Indices: A Preliminary Study
KR101706741B1 (en) Method and system for determining online social relationship based on Heart Rhythm Pattern by micro movement of body
KR20170004511A (en) method for extracting Brain-information by using micro-movement of Body
Sahroni et al. Photoplethysmograph-based real-time emotion recognition using logistic regression with heart rate changes parameter
Lightfoot Deep affective computing with short segment ECG
Somuncuoğlu et al. Investigation on the Use of Hidden Layers, Different Numbers of Neurons and Different Activation Functions to Detect Pupil Dilation Responses to Stress
Garg et al. Non-Contact Based Method for Heart Rate Estimation and Attention Monitoring

Legal Events

Date Code Title Description
A107 Divisional application of patent
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant