KR101706741B1 - Method and system for determining online social relationship based on Heart Rhythm Pattern by micro movement of body - Google Patents
Method and system for determining online social relationship based on Heart Rhythm Pattern by micro movement of body Download PDFInfo
- Publication number
- KR101706741B1 KR101706741B1 KR1020150159684A KR20150159684A KR101706741B1 KR 101706741 B1 KR101706741 B1 KR 101706741B1 KR 1020150159684 A KR1020150159684 A KR 1020150159684A KR 20150159684 A KR20150159684 A KR 20150159684A KR 101706741 B1 KR101706741 B1 KR 101706741B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- users
- image
- hrp
- bpm
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 49
- 230000033001 locomotion Effects 0.000 title claims abstract description 26
- 238000004458 analytical method Methods 0.000 claims description 38
- 238000012545 processing Methods 0.000 claims description 25
- 238000004891 communication Methods 0.000 claims description 15
- 238000001514 detection method Methods 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 9
- 238000010219 correlation analysis Methods 0.000 claims description 7
- 238000000354 decomposition reaction Methods 0.000 claims description 7
- 230000003321 amplification Effects 0.000 claims description 6
- 238000003199 nucleic acid amplification method Methods 0.000 claims description 6
- 230000008569 process Effects 0.000 claims description 6
- 239000000284 extract Substances 0.000 claims description 5
- 238000009499 grossing Methods 0.000 claims description 5
- 238000012935 Averaging Methods 0.000 claims description 4
- 230000001360 synchronised effect Effects 0.000 claims description 4
- 238000000926 separation method Methods 0.000 claims description 3
- 238000004148 unit process Methods 0.000 claims description 2
- 230000003340 mental effect Effects 0.000 claims 1
- 230000033764 rhythmic process Effects 0.000 abstract description 9
- 230000008921 facial expression Effects 0.000 description 18
- 238000002474 experimental method Methods 0.000 description 16
- 238000011156 evaluation Methods 0.000 description 12
- 230000000747 cardiac effect Effects 0.000 description 7
- 238000010586 diagram Methods 0.000 description 7
- 238000012795 verification Methods 0.000 description 6
- 230000006399 behavior Effects 0.000 description 3
- 230000005057 finger movement Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000006461 physiological response Effects 0.000 description 3
- 230000003238 somatosensory effect Effects 0.000 description 3
- 208000011597 CGF1 Diseases 0.000 description 2
- 208000003443 Unconsciousness Diseases 0.000 description 2
- RYYVLZVUVIJVGH-UHFFFAOYSA-N caffeine Chemical compound CN1C(=O)N(C)C(=O)C2=C1N=CN2C RYYVLZVUVIJVGH-UHFFFAOYSA-N 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000008451 emotion Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 230000006996 mental state Effects 0.000 description 2
- 230000001575 pathological effect Effects 0.000 description 2
- 230000004044 response Effects 0.000 description 2
- 230000004039 social cognition Effects 0.000 description 2
- 230000003997 social interaction Effects 0.000 description 2
- 230000000392 somatic effect Effects 0.000 description 2
- 230000010415 tropism Effects 0.000 description 2
- 244000025254 Cannabis sativa Species 0.000 description 1
- 235000012766 Cannabis sativa ssp. sativa var. sativa Nutrition 0.000 description 1
- 235000012765 Cannabis sativa ssp. sativa var. spontanea Nutrition 0.000 description 1
- LPHGQDQBBGAPDZ-UHFFFAOYSA-N Isocaffeine Natural products CN1C(=O)N(C)C(=O)C2=C1N(C)C=N2 LPHGQDQBBGAPDZ-UHFFFAOYSA-N 0.000 description 1
- 241000699670 Mus sp. Species 0.000 description 1
- 230000005856 abnormality Effects 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 230000008512 biological response Effects 0.000 description 1
- 210000004556 brain Anatomy 0.000 description 1
- 229960001948 caffeine Drugs 0.000 description 1
- VJEONQKOZGKCAK-UHFFFAOYSA-N caffeine Natural products CN1C(=O)N(C)C(=O)C2=C1C=CN2C VJEONQKOZGKCAK-UHFFFAOYSA-N 0.000 description 1
- 235000009120 camo Nutrition 0.000 description 1
- 210000000748 cardiovascular system Anatomy 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 235000005607 chanvre indien Nutrition 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000035622 drinking Effects 0.000 description 1
- 230000002526 effect on cardiovascular system Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000011487 hemp Substances 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000007170 pathology Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000008092 positive effect Effects 0.000 description 1
- 230000001737 promoting effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000001568 sexual effect Effects 0.000 description 1
- 230000000391 smoking effect Effects 0.000 description 1
- 238000007619 statistical method Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- G06Q50/30—
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
- A61B5/024—Detecting, measuring or recording pulse rate or heart rate
-
- H04N5/225—
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
Landscapes
- Health & Medical Sciences (AREA)
- Engineering & Computer Science (AREA)
- Life Sciences & Earth Sciences (AREA)
- Cardiology (AREA)
- Biomedical Technology (AREA)
- Molecular Biology (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Biophysics (AREA)
- Pathology (AREA)
- Multimedia (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Physiology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Veterinary Medicine (AREA)
- Business, Economics & Management (AREA)
- Operations Research (AREA)
- Tourism & Hospitality (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
Description
본 발명은 사회 관계성 측정 방법에 관한 것으로서 상세하게는 심장리듬 패턴에 기초하여 사용자간 친밀도를 온라인 상에서 측정하는 방법 및 이를 적용하는 시스템에 관한 것이다.More particularly, the present invention relates to a method for measuring intimacy between users based on a heart rhythm pattern on-line and a system for applying the method.
사회적 인지 (Social Cognition) 또는 상호작용 (Social Interaction)은 의사소통 하는 다른 대상의 정신적 상태나 행동을 이해하는 것을 의미한다. 다른 사람의 정신적 상태나 행동을 이해하려면 다른 사람과의 공감적 반응이 반드시 요구된다 (Krueger and Michael, 2012). 최근 사회적 인지나 상호작용에 대한 많은 연구들이 진행되고 있다. 이러한 연구들이 고려하고 있는 중요한 개념 중에 하나가 동기화 (Synchronization) 또는 동조현상 (Entrainment)이다. 동기화는 사람들이 사회적 상호작용을 할 때 사람들 사이에 생체리듬이 하나로 화합되는 현상이다 (Kyongsik et al., 2012). 이러한 동기화 현상은 사람에게서만 나타나는 것이 아니라 사물이나 자연 현상에서도 확인할 수 있다. 예를 들면, 여러 시계의 추가 각기 다른 속도를 가지고 좌우로 흔들리는 상황에서 동기화로 인해 같은 방향성과 속도를 가지고 함께 좌우로 흔들리는 현상 (Bennett et al., 2002), 각각 개별적으로 반짝이고 있는 반딧불이 어느 순간 동기화되어 같은 속도로 동시에 모든 반딧불이 함께 반짝이는 현상 (Buck and Buck, 1976)등이 있다. Social Cognition or Social Interaction means understanding the mental state or behavior of other communicating subjects. To understand another's mental state or behavior requires an empathic reaction with others (Krueger and Michael, 2012). Recently, many studies on social cognition and interaction have been going on. One of the important concepts that these studies are considering is synchronization or entrainment. Synchronization is a phenomenon in which biorhythms combine with one another when people interact with each other (Kyongsik et al., 2012). This synchronization phenomenon can be seen not only in people but also in objects or natural phenomena. For example, the phenomenon of synchro- nously swinging together with the same direction and speed (Bennett et al., 2002), with each additional clock speed swinging from side to side with different speeds, (Buck and Buck, 1976).
사람들 사이에서도 이러한 동기화 현상이 나타난다. 두 사람이 함께 걸을 때, 같은 주기로 발을 맞추어 걷는 현상이 그 대표적인 예이다 (Schmidt and Richardson, 2008; Burgoon et al., 1995). Kyongsik et al., (2012)의 연구에서는 두 피험자 사이에 무의식적인 손가락 움직임을 통해 나타나는 동기화 현상을 비교 하였다. 이 연구는, 두 피험자의 손가락 움직임의 동기화 현상이 협력적인 작업을 수행할 때가 그렇지 않은 경우보다 동기화 되는 현상을 보였고 뇌의 신경적 활성화 또한 크게 증가하였음을 보고 하였다. 또 다른 연구에서는 피험자들의 손가락 움직임에 따른 동기화 현상을 비교하였고 같은 속도로 손가락을 움직일 때가 다른 속도로 움직일 때보다 더 동기화 되는 현상을 보고 했다 (Daniel, 2010). 그리고 이러한 몸의 움직임의 동기화 현상은 사람들 사이에 긍정적인 관계를 증대시키는 것과 관련되어 있음을 보고하였다 (Miles et al., 2010).This phenomenon of synchronization also occurs among people. (Schmidt and Richardson, 2008; Burgoon et al., 1995). This is a typical example of walking with two people walking together in the same cycle. In Kyongsik et al. (2012), we compared the synchronization phenomena that occur through involuntary finger movements between two subjects. This study showed that synchronization of finger movements of two subjects was more synchronized when the cooperative work was performed, and that neuroactive activation of the brain was also significantly increased. In another study, we compared the synchronization of subjects with their finger movements, and reported that they were more synchronized when they moved at the same speed than when they moved at different speeds (Daniel, 2010). And this synchronization of body movements has been associated with increasing positive relationships among people (Miles et al., 2010).
앞서 언급한대로, 무의식적인 행동의 동기화 현상은 몸의 동기화뿐만 아니라 생체적 반응의 동기화와 긍정적인 효과를 유발 시킨다. 그러나 다른 사람과의 상호작용에 있어서 공감의 반응은 매우 중요한 요소이고 이것은 어떠한 사람과 사회적 관계를 유지하고 의사소통 하느냐에 따라 다르게 나타날 수 있다. 그리고 그 관계는 사회적으로 강하거나 약한 유대를 가진다. 그러나 현재 연구에서 사회적 관계에 대한 연구는 동기화 현상에서 고려되고 있지 않다. 따라서 사회적 관계에 따라서 생리적 반응의 동기화 정도에 차이가 있을 것으로 예상된다. 사회적 관계에 의해 발생되는 생리적 반응은 무의식적인 것이므로 더욱이 그렇다. 최근, 생리적 반응의 동기화 현상은 사회적 관계 유지 및 증대에 유효한 영향을 미치는 것으로 보고되고 있다. As mentioned earlier, the unconscious behavior of synchronizing phenomena causes not only the synchronization of the body but also the synchronization and positive effect of the biological response. However, in the interaction with others, the empathy response is a very important factor, which can be different depending on which person is maintaining and communicating with the person. And the relationship is socially strong or weak. However, in the present study, research on social relations is not considered in the synchronization phenomenon. Therefore, it is expected that there will be differences in the degree of synchronization of physiological responses according to social relations. Moreover, the physiological response generated by social relations is unconscious. Recently, the synchronization phenomenon of physiological responses has been reported to have a significant influence on maintaining and increasing social relations.
본 발명은 온라인 상에서 두 화자 (話者) 간의 심장 리듬의 동기화 현상을 통해 사회적 관계를 정량적으로 평가할 수 있는 방법을 제시한다. The present invention provides a method for quantitatively evaluating social relations through synchronization of heart rhythms between two speakers (speakers) on-line.
이러한 본 발명은 개인간 심장 동조성 (Entrainment) 분석기술을 통해 사회적 관계성 (Social relationship) 또는 친밀도를 온라인 상에서 평가할 수 있는 방법 및 이를 적용하는 시스템을 제안한다.The present invention proposes a method for evaluating social relationship or intimacy on-line through interpersonal cardiac entrainment analysis technology and a system for applying the method.
본 발명에 따른 온라인 사회적 관계성 평가 방법:은Method for evaluating on-line social relationship according to the present invention:
두 사용자 또는 피험자를 온라인 화상 통신 시스템을 통해 대면 시키는 단계;Facing two users or subjects through an online video communication system;
상기 화상 통신 시스템을 이용하여, 두 사용자의 신체 미동 움직임을 촬영하여 각 사용자의 영상 자료 (Source)를 획득하는 단계;Acquiring image data of each user by capturing body movement of the two users using the image communication system;
상기 각 영상 자료에 대한 공간 분리 (Spatial Decomposition) 단계, 시간 처리 (Temporal Processing) 단계 및 재구성 (Reconstruction) 단계를 포함하는 영상 처리 과정을 통하여 상기 두 사용자의 신체 미동 정보를 검출하는 단계Detecting the somatic information of the two users through an image processing process including a spatial decomposition step, a temporal processing step and a reconstruction step for each image data;
상기 신체 미동 정보로부터 심박 (PPG) 데이터를 추출하는 단계;Extracting heartbeat (PPG) data from the somatic information;
두 사용자의 PPG 데이터로부터 HRP (Heart Rhythm Pattern) 데이터를 검출하는 단계; Detecting HRP (Heart Rhythm Pattern) data from PPG data of two users;
상기 두 사용자의 HRP 데이터를 비교하여 두 사용자간의 관계성 (친밀도)을 판단하는 단계; 그리고Comparing the HRP data of the two users to determine a relationship (familiarity) between the two users; And
상기 관계성 판단 결과를 디스플레이를 통하여 상기 두 사용자 중 적어도 어느 하나 또는 제3의 관찰자에게 표시하는 단계:를 포함한다.And displaying the relation determination result to at least one of the two users or a third observer through a display.
본 발명의 한 실시 예에 따른 방법:은A method according to an embodiment of the present invention comprises:
상기 PPG 데이터로부터 RRI (R-peak to R-peak interval) 데이터를 획득하는 것을 특징으로 한다.And RRI (R-peak to R-peak interval) data is obtained from the PPG data.
본 발명의 한 실시 예에 따른 방법:은A method according to an embodiment of the present invention comprises:
상기 HRP 데이터는 BPM 평균 (mean)과 정상 RRI의 표준 편차를 이용해 추출한 SDNN (standard deviation normal to normal)을 포함한다.The HRP data includes standard deviation normal to normal (SDNN) extracted using BPM mean and standard deviation of normal RRI.
본 발명의 한 실시 예에 따른 방법:은A method according to an embodiment of the present invention comprises:
상기 BPM 평균 (mean)과 정상 SDNN를 포함하는 HRP 신호의 상관분석을 통해 얻은 r 스퀘어 (square)값과 사용자간 BPM 평균 차를 이용하여 사용자간 동기화 정도의 판단 변수로 사용한다.And is used as a variable for determining the degree of synchronization between users using the r square value obtained through correlation analysis between the BPM mean and the normal SDNN and the BPM mean difference between users.
본 발명의 한 실시 예에 따른 방법:은A method according to an embodiment of the present invention comprises:
상기 사용자간 BPM 평균의 차를 변수 X, r 스퀘어 (square)값을 변수 y라 하였을 때, Y=0.00943167*X 를 만족하는 일차 방정식의 임계치 함수을 기준으로 사용자가 동기화 여부를 판단한다.When the difference between the BPM average values of the users is a variable X and a square value is a variable y, the user determines whether to synchronize based on a threshold function of a linear equation satisfying Y = 0.00943167 * X.
본 발명의 한 실시 예에 따른 방법:은A method according to an embodiment of the present invention comprises:
미동 데이터를 검출하는 단계와 심박 (PPG) 데이터를 추출하는 단계:는Detecting fine motion data and extracting heartbeat (PPG) data:
안면 트랙킹 (Face Tracking) 단계;A face tracking step;
공간 분리 (Spatial Decomposition) 단계;A spatial decomposition step;
뉴로 필터 (Neuro Filter) 단계;A Neuro Filter step;
시간 처리 (Temporal Processing) 단계;A temporal processing step;
재구성 (Reconstruction) 단계;A reconstruction step;
프레임 차 평균화 (Frame Difference Average) 단계; A frame difference averaging step;
스무스 필터 (Smoothing Filter) 단계; 그리고A smoothing filter step; And
슬라이딩 피이크 검출 (Sliding Peak Detection) 단계;를 포함한다.And a sliding peak detection step.
본 발명의 한 실시 예에 따른 시스템:은 상기 방법을 수행하는 것으로서, 통신망; 그리고 상기 통신망을 통해 상호 통신 가능하게 연결되는 것으로, 상기 사용자를 촬영하는 카메라, 영상 처리부, 분석부 및 디스플레이를 포함하는 복수의 개별 시스템;을 구비하며,A system according to an embodiment of the present invention performs the method, comprising: a communication network; And a plurality of individual systems including a camera, an image processing unit, an analysis unit, and a display, which are connected to each other via the communication network so as to communicate with each other,
상기 영상 처리부는 상기 카메라로부터의 영상 자료를 처리하며, 상기 분석부는 영상 처리부로부터의 데이터로부터 상기 HRP 데이터를 추출함과 아울러 상기 HRP 데이터를 이용해 상기 사용자간 친밀도를 분석하고, 상기 디스플레이는 상기 사용자간 친밀도 분석 결과를 표시한다.Wherein the image processing unit processes image data from the camera, the analyzing unit extracts the HRP data from the data from the image processing unit, and analyzes the intimacy between the users using the HRP data, And displays the affinity analysis result.
본 발명의 한 실시 예에 따른 시스템:에서,In a system according to an embodiment of the present invention,
상기 데이터 처리부는 상기 HRP 데이터로부터 RRI (R-peak to R-peak interval)를 추출한다.The data processor extracts RRI (R-peak to R-peak interval) from the HRP data.
본 발명의 한 실시 예에 따른 시스템:에 있어서,In a system according to an embodiment of the present invention,
상기 HRP 데이터는 BPM 평균 (mean)과 정상 RRI의 표준 편차를 이용해 추출한 SDNN (standard deviation normal to normal)을 포함한다.The HRP data includes standard deviation normal to normal (SDNN) extracted using BPM mean and standard deviation of normal RRI.
본 발명의 한 실시 예에 따른 시스템:에 있어서,In a system according to an embodiment of the present invention,
상기 분석부:는 상기 BPM 평균 (mean)과 정상 SDNN를 포함하는 HRP 신호의 상관분석을 통해 얻은 r 스퀘어 (square)값과 사용자간 BPM 평균 차를 이용하여 사용자간 동기화 정도의 판단 변수로 사용한다.The analyzing unit uses the squared value obtained from the correlation analysis of the HRP signal including the BPM mean and the normal SDNN and the BPM average difference between users as a variable for determining the degree of synchronization between users .
본 발명의 한 실시 예에 따른 시스템:에 있어서,In a system according to an embodiment of the present invention,
상기 분석부:는 상기 사용자간 BPM 평균의 차를 변수 X, r 스퀘어 (square)값을 변수 y라 하였을 때, Y=0.0094*X 를 만족하는 일차 방정식의 임계치 함수를 기준으로 사용자간 동기화 여부를 판단한다.The analysis unit determines whether or not the users are synchronized based on the threshold function of the linear equation satisfying Y = 0.0094 * X when the difference between the BPM average among users is a variable X and the square of a square is a variable y. .
본 발명의 한 실시 예에 따른 시스템:에 있어서,In a system according to an embodiment of the present invention,
상기 분석부;는The analysis unit
안면 트랙킹 (Face Tracking) 단계;A face tracking step;
공간 분리 (Spatial Decomposition) 단계;A spatial decomposition step;
뉴로 필터 (Neuro Filter) 단계;A Neuro Filter step;
시간 처리 (Temporal Processing) 단계;A temporal processing step;
재구성 (Reconstruction) 단계;A reconstruction step;
프레임 차 평균화 (Frame Difference Average) 단계; A frame difference averaging step;
스무스 필터 (Smoothing Filter) 단계; 그리고A smoothing filter step; And
슬라이딩 피이크 검출 (Sliding Peak Detection) 단계;를 포함할 수 있다.And a sliding peak detection step.
본 발명은 비접촉식 생체 정보 획득에 기초한 개인간 심장 동조성 (Entrainment) 분석기술을 통해 두 사람 사이의 사회적 관계 (Social relationship)를 실시간 평가할 수 있다. 개인간 심장 동조성 분석은 두 사람 사이에 심장리듬의 동기화 정도를 이용한다. 본 발명이 제안하는 친밀감 평가 방법은 두 사람 사이의 사회적 관계를 온라인 상에서 정량적으로 평가할 수 있으며, 이를 통해 사회적 병리현상 완화에 도움을 줄 수 있을 것으로 기대된다. The present invention can evaluate the social relationship between two persons in real time through interpersonal cardiac entrainment analysis technique based on non-contact biometric acquisition. Interpersonal cardiac tropism analysis uses the degree of synchronization of heart rhythm between the two. The intimacy evaluation method proposed by the present invention is expected to be able to quantitatively evaluate the social relationship between two people on-line, thereby helping to alleviate the social pathology.
도1은 본 발명에 따라 두 피험자(사용자)의 친밀도를 판단하기 위하여 두 피험자의 신체 미동을 검출하는 방법을 예시한다.
도2는 본 발명에 따라서, HRP 를 검출할 때에 피험자간의 얼굴 표정 제시 및 흉내의 순서를 설명한다.
도3은 본 발명에 따른 분석 시스템의 개략적 블록다이어그램이다.
도4는 본 발명에 따른 HRP 변수를 설명하는 도면이다.
도5은 본 발명에 따른 HRP 검출을 위한 신호 처리 흐름도이다.
도6은 본 발명에 따라 피험자로부터 획득한 영상으로부터 심박 (BPM) 정보를 획득하는 방법의 흐름도이다.
도7는 본 발명에 따라 친구 그룹 (firiend)과 낯선 그룹 (stranger)의 각각 leader와 follower의 HRC 분석결과를 보이는 시간-BPM 평균 그래프이다.
도8a, 8b, 8c는 본 발명에 따라 친구 그룹 (firiend)과 낯선 그룹 (stranger)의 각각 leader와 follower의 HRC의 통계 분석결과 (Correlation, difference of BPM ＆ Difference of SDNN) 를 도시한다
도9은 본 발명에 따라서, HRP 변수에 의한 사회적 관계성 (친밀도)를 판단하기 위한 룰-베이스를 설명한다.
도10은 본 발명에 따른 방법의 검증을 위한 새로운 그룹으로부터 얻어진 HRP를 이용한 룰 베이스 검증결과를 보인다.
도11은 본 발명에 따른 친밀도를 평가하는 방법의 구체적 흐름도이다.
도12는 본 발명에 따른 친밀도 평가 시스템의 인터페이스 화면 구성을 보인다.
도13은 본 발명에 따른 온라인 친밀도 평가 시스템의 전체 구성도이다.
도14는 본 발명에 따른 온라인 친밀도 평가 시스템에 사용되는 개별 시스템의 개략적 구성을 보이는 블록다이어그램이다.
도15는 본 발명에 따른 온라인 친밀도 평가 시스템에서 개별 시스템 간의 데이터 교환을 설명하는 도면이다.
도16은 발명의 다른 실시 예에 따른 온라인 친밀도 평가 시스템에서 두 개별되는 시스템과 이들 사이의 모니터 분석 시스템 간의 데이터 교환을 설명하는 도면이다.Fig. 1 illustrates a method of detecting the somatosensory status of two subjects to determine the intimacy of two subjects (users) according to the present invention.
Fig. 2 illustrates the sequence of facial expression presentation and imitation between subjects when HRP is detected according to the present invention.
3 is a schematic block diagram of an analysis system according to the present invention.
4 is a diagram illustrating HRP parameters according to the present invention.
5 is a signal processing flowchart for HRP detection according to the present invention.
6 is a flow chart of a method for acquiring heart rate (BPM) information from an image acquired from a subject in accordance with the present invention.
FIG. 7 is a time-BPM average graph showing HRC analysis results of leaders and followers of a friend group (firiend) and a stranger (stranger) according to the present invention.
8A, 8B and 8C show the results of correlation analysis (correlation, difference of BPM and Difference of SDNN) of leaders and followers of a friend group (firiend) and a stranger group (stranger) according to the present invention
Figure 9 illustrates a rule-base for determining social relationships (intimacy) by HRP variables in accordance with the present invention.
Figure 10 shows the rule base verification results using a HRP obtained from a new group for verification of the method according to the present invention.
11 is a specific flowchart of a method for evaluating the intimacy according to the present invention.
12 shows an interface screen configuration of the intimacy evaluation system according to the present invention.
13 is an overall configuration diagram of the online affinity evaluation system according to the present invention.
FIG. 14 is a block diagram showing a schematic configuration of an individual system used in the online affinity evaluation system according to the present invention.
15 is a diagram for explaining data exchange between individual systems in the online affinity evaluation system according to the present invention.
16 is a diagram for explaining data exchange between two separate systems and a monitor analysis system therebetween in an online affinity evaluation system according to another embodiment of the present invention.
이하, 첨부된 도면을 참조하면서 본 발명에 따른 개인간 관계성 또는 친밀도를 온라인 상에서 측정하는 방법 및 이를 적용하는 온라인 친밀도 평가 시스템의 바람직한 실시 예를 설명한다.Hereinafter, preferred embodiments of a method for measuring inter-personal relationship or intimacy according to the present invention on-line and a system for evaluating online affinity to which the present invention is applied will be described with reference to the accompanying drawings.
이하에서 먼저, 심장 동조성에 의한 인간 관계성 또는 친밀도의 측정이 가능한 지에 대한 실험 예를 살펴 본다.Hereinafter, an experimental example of whether human relationship or intimacy can be measured by cardiac torsion is described.
현대 사회는 다수의 사람과 접촉하고 커뮤니케이션 해야 하는 상황에 놓여 있다. 최근 이러한 사회 환경에 적응하지 못하고 사회에서 도태되는 사람들의 이야기를 언론을 통해 쉽게 접할 수 있다. 상기의 경우처럼 심하지는 않더라도 우리는 누구나 사회적 관계에 대한 두려움 또는 걱정을 갖고 있다. 사회적 관계 회복을 위해서는 우선적으로 사회적 관계를 정량적으로 평가할 수 있어야 그에 대한 해결책 또한 제시될 수 있다. Modern society is in a situation where it needs to contact and communicate with a large number of people. In recent years, the media have been able to get to know the stories of people who have been unable to adapt themselves to society and are slaughtered in society. We are all afraid or worried about social relations, even if not as severe as the case above. In order to restore social relations, it is necessary to be able to quantitatively evaluate social relations, and a solution to this can also be suggested.
이하의 실시 예를 설명을 통해 이해할 수 있는 본 발명은 개인간에 사회적 관계를 정량적으로 평가하는 방법을 제시하며, 이를 통해 사회적 관계 증진 및 병리 현상 해결을 도모할 수 있다.The present invention, which can be understood through the following examples, provides a method of quantitatively evaluating social relations among individuals, thereby promoting social relations and resolving pathological phenomena.
가. 피험자end. Subject
대학교 재학생 72명이 (남자 36명, 여자 36명, 평균나이: 24.27±2.24)이 실험에 참여하였다. 실험에 참여한 피험자는 교제기간이 3년 이상인 사람들을 짝을 이루어 모집하였고 성적 (性的) 효과를 없애기 위해 동성으로만 모집하였다. 모든 피험자는 심혈신경계에 이상이나 병력이 없었고 전날 충분한 수면을 취하도록 하였다. 또한 심혈관계 반응에 영향을 미칠 수 있는 카페인, 흡연, 음주 등의 섭취를 실험 전날 금하도록 하였다. 실험 전, 실험에 참가하는 모든 피험자에게 연구목적을 제외한 실험에 대한 대략적인 사항에 대해 설명한 후 실험을 진행하였고 실험의 대가로 소정의 금액을 지불하였다. 72 students (36 males, 36 females, mean age: 24.27 ± 2.24) participated in the experiment. Subjects who participated in the experiment recruited people who had at least 3 years of companionship and only recruited same sex to eliminate the sexual effect. All subjects had no abnormality or history of cardiovascular system and had enough sleep the day before. In addition, caffeine, smoking, and drinking, which may affect cardiovascular response, were prohibited on the day before the experiment. Before the experiment, all subjects participating in the experiment were explained about the experiment except for the purpose of the study, and then the experiment was carried out and a predetermined amount was paid for the experiment.
나. 실험 방법I. Experimental Method
실험에 참여한 피험자는 교제기간을 기준으로 강한 사회적 관계 (친구)와 약한 사회적 관계 그룹 (낯선 사람)으로 나누었다. 강한 사회적 관계 그룹은 피험자를 모집할 때, 교제 기간 3년 이상인 친구 (Friend)를 모집하여 짝을 이루도록 하였고, 약한 사회적 관계 그룹은 모집된 피험자 중 처음 보는 낯선 사람 (Stranger)들끼리 짝을 이루도록 하였다. 모집된 피험자의 사회적 관계를 판단 하기 위해 생일, 가족 구성원, 취미 등의 간단한 설문을 실시하였고 통과한 피험자만 실험에 참여하도록 하였다.Subjects participating in the experiment were divided into strong social relations (friends) and weak social relations groups (strangers) based on the period of fellowship. Strong social relations groups recruited friends who were at least three years old for a match, and weak social relationships grouped strangers who were first seen among the recruited subjects . In order to judge the social relations of the subjects, simple questionnaires such as birthday, family members,
두 그룹으로 나뉜 피험자들은 리더 (leader)와 팔로워 (follower)로 다시 나누었다. 도1에 도시된 바와 같이, 두 피험자 리더 (leader, 1a)와 팔로워 (follower, 1b)는 서로 얼굴을 마주본 상태로 편안한 의자에 앉는다. 이때 두 피험자 사이의 거리는 1 미터로 고정 하였다. 두 피험자는 얼굴을 마주본 채로, Ekman이 정의한 6가지 기본 정서인 공포 (fear), 혐오 (disgust), 슬픔 (fear), 놀람 (surprise), 화남 (anger), 행복 (happy)에 대한 얼굴 표정을 서로 인터랙션 하도록 하였다. 이때 리더 (leader)는 스크린을 통해 제시되는 얼굴표정 가이드라인을 보고 얼굴 표정을 짓고 팔로워 (follower)는 리더 (leader)의 얼굴 표정을 보고 따라 하도록 하였다. 실험이 진행되는 동안 두 사람 사이의 심장리듬 (Heart Rate Pattern, HRP) 데이터를 비교하기 위해 두 피험자의 신체 미동을 검출하고 이로부터 HRP 데이터를 비교 측정하였다. 도2에 도시된 바와 같이, 전체 실험 태스크 (task)는 reference 60초, introduction 90초, Practice 90초, Imitation 240초로 구성되었다. 각 태스크 사이에는 휴식 30초가 포함시켰으며, introduction 와 practice는 imitation 태스크에서 자연스러운 표정을 지을 수 있도록 표정을 소개하고 연습할 수 있도록 하기 위해 실험에 포함시켰다. 상기에 설명한 실험 과정은 두 그룹에서 각각 진행하고 다른 그룹과 교차하여 한번 더 진행 하였으며, 리더 (leader)와 팔로워 (follower)의 역할은 고정 하였다.Subjects divided into two groups were divided into leaders and followers. As shown in FIG. 1, two subject leaders (1a) and followers (1b) sit on a comfortable chair with their faces facing each other. The distance between the two subjects was fixed at 1 meter. The two subjects faced each other face to face with the six basic emotions defined by Ekman: fear, disgust, fear, surprise, anger, and happy. To interact with each other. At this time, the leader looked at the facial expression guideline presented on the screen and made a facial expression, and the follower followed the leader 's facial expression. During the experiment, we compared the heart rate pattern (HRP) data between the two subjects to detect the somatosensory characteristics of the two subjects and compared them with HRP data. As shown in FIG. 2, the entire experimental task consisted of
예를 들어, (친밀한) 그룹 A (leader a, follower b), (친밀한) 그룹 B (leader c, follower d)의 피험자 그룹이 있으면, A 그룹끼리 task 수행하고 B 그룹끼리 task를 수행 한다. 이것이 친밀할 때의 테스크 (task)이고, 피험자인 A 그룹의 leader a와 B 그룹의 follower d가 task를 수행하고 B 그룹의 leader c와 A 그룹의 follower b가 task를 수행한다. 이것이 친밀하지 않을 때의 task 이다. 이렇게 총 36 그룹의 피험자가 실험에 참여하였고 랜덤으로 두 그룹을 하나의 큰 그룹으로 묶어서 서로 교차해서 태스크를 수행한 것이고 leader와 follower의 역할은 바뀌지 않는다. 즉, 친밀 그룹에 대한 task 에서의 leader 는 친밀하지 않을 때의 task 에서도 Leader입니다.For example, if there is a subject group of (intimate) group A (leader a, follower b), (intimate) group B (leader c, follower d) This is the task of intimacy. The leader A of group A and the follower d of group B perform tasks, and the leader c of group B and the follower b of group A perform tasks. This is a task when it is not intimate. A total of 36 subjects participated in the experiment, and they randomly grouped the two groups into one large group, crossed each other, and the role of leader and follower did not change. In other words, a leader in a task for an intimate group is also a leader in tasks that are not intimate.
도2에서 전체 태스크 (Task) 의 각 단계는 아래와 같이 수행된다.In FIG. 2, each step of the entire task is performed as follows.
Reference 단계:Reference step:
자극을 제시하기 전에 어떠한 자극도 제시되지 않는 상태에서 베이스라인의 생체정보를 취득한다.Biometric information of the baseline is acquired without any stimulus being presented before presentation of the stimulus.
Introduction 단계:Introduction Step:
메인 task (imitation task)에서 원활한 얼굴표정을 짓기 위해 얼굴표정의 종류와 모양을 육안으로 학습한다.In the main task (imitation task), the type and shape of the facial expression are visually learned to form a smooth facial expression.
Task rest 단계:Task rest Steps:
앞선 task에서 제시된 자극의 (잔류) 효과를 최소화하여 다음 task에서의 자극에 영향을 줄이기 위한 task 사이에서 휴식한다.Minimize the (residual) effect of the stimulus presented in the previous task and rest between tasks to reduce the influence on the stimulus in the next task.
Practice 단계:Practice phase:
메인 task (imitation task)에서 원활한 얼굴표정을 짓기 위해 얼굴표정을 직접 따라 해 보고 연습하는 학습하는 단계이다.In the main task (imitation task), it is a learning step to follow the facial expression directly and practice it to make a smooth facial expression.
Task rest 단계:Task rest Steps:
앞서 제시되는 task의 자극 효과를 최소화하여 다음 task 자극에 영향을 줄이기 위한 task 사이의 휴식 단계To minimize the stimulus effect of the task presented above and to reduce the impact on the next task stimulus,
Imitation task 단계:Imitation task phase:
leader 가 제시된 얼굴표정을 짓고, follower는 이를 따라 하며, 이때에 ECG 검출을 실시간 진행한다.The leader creates the facial expression and the follower follows it. At this time, the ECG detection proceeds in real time.
Introduction, Practice, Imitation task 모두에서 6 basic emotion의 얼굴표정 (공포 (fear), 혐오 (disgust), 슬픔 (fear), 놀람 (surprise), 화남 (anger), 행복 (happy) 이 모두 제시되며, Introduction과 practice task는 10초씩, imitation task는 35초씩 6개의 얼굴 표정이 모두 제시되고 각각의 표정과 표정 사이에는 5 초의 rest가 포함된다. 상기 6개의 얼굴표정이 제시되는 순서는 랜덤 하게 결정되며, 얼굴표정을 선택하는 것이 아니라, 6개의 얼굴표정을 모두 보고 연습하고 따라 한다.6 Basic emotion facial expressions (fear, disgust, fear, surprise, anger, happiness) are presented in both Introduction, Practice, and Imitation task. Introduction And the imitation task includes all the six facial expressions for every 35 seconds, and the rest of the five seconds between the facial expressions and the facial expressions. The order in which the six facial expressions are presented is randomly determined, Do not choose facial expressions, but rather look at all six facial expressions and practice them.
다. 분석 방법All. Analysis method
본 발명의 분석 방법은 도3에 예시된 바와 같은 구조의 분석 시스템을 이용한다. 본 발명에 따른 분석 시스템은 피험자 (1a, 1b)들로부터 영상 신호 (데이터)를 검출하는 카메라 (10a, 10b), 영상 신호를 처리하여 신체 미동 데이터를 검출하는 영상처리부 (20), 영상 처리부로부터의 신체 미동 데이터로부터 PPG 데이터를 추출하고 이로부터 HRP 데이터를 검출하여 피험자간의 친밀도를 평가하는 분석부 (30), 그리고 피험자 중 어느 하나에 얼굴 표정을 제시하고 또한 그 결과를 표시하는 디스플레이 (40)를 포함한다. 상기 디스플레이 (40)는 하나 또는 표정을 제시하는 디스플레이와 그 결과를 표시하는 디스플레이를 별개로 하는 멀티 디스플레이의 구조를 가질 수 있다. 이러한 요소를 가지는 본 발명에 다른 시스템은 전체적으로 컴퓨터를 기반으로 하며, 따라서, 키보드나 마우스, 프린터 등과 같은 주변장치가 선택적으로 부가될 수 있다.The analysis method of the present invention uses an analysis system having a structure as illustrated in FIG. The analysis system according to the present invention comprises
영상 신호는 웹캠(web-camera)이나 동영상 카메라를 이용한다. 피험자로부터 획득한 동영상을 이용해 아래의 과정을 통해 PPG 데이터를 추출한다. 도6은 본 발명에 따라 신체 미동으로부터 PPG 정보 또는 데이터 검출 방법의 흐름도이다.The video signal uses a web-camera or a video camera. The PPG data is extracted through the following process using the video obtained from the subject. FIG. 6 is a flow chart of a method of detecting PPG information or data from somatodyne according to the present invention.
가. 동영상 입력 (Video input) 단계 (S11)end. In the video input step S11,
이 단계에서는 피험자의 상체 또는 머리 부분에 대해 웹캠이나 기타 동영상 촬영 장치로 비디오 신호를 입력 받아 영상 자료(Source)를 획득한다. In this step, a video signal is input to a webcam or other moving image capturing device of the subject's upper body or head to acquire an image source.
나. 안면 트랙킹 (추적, Face Tracking) 단계 (S12)I. Face tracking step S12,
웹캠 등의 카메라를 이용하여 획득한 영상 자료를 이용하여 인체의 미세한 움직임을 머리에서 추출하기 위하여 OpenCV (Open Computer Vision) 라이브러리를 이용한 안면인식 (프로그램)을 통해 영상 정보를 분리 하도록 한다.The image information is separated through face recognition (program) using OpenCV (Open Computer Vision) library in order to extract the minute movement of the human body from the head using the image data acquired using a camera such as a webcam.
다. 공간 분리 (Spatial Decomposition) 단계 (S13)All. In the spatial decomposition step S13,
영상의 공간 분리 기법으로 가우시안 (Gaussian blur)와 down sample을 통하여 각 주파수 (Frequency)별 공간을 분리 할 수 있도록 한다.It is possible to separate the space of each frequency through Gaussian blur and down sample by spatial separation technique of image.
위의 식에서, α 는 영상의 증폭 비율값이며, β 는 시간, 공간 주파수 대역으로 필터된 이미지의 값이며, x 는 영상의 가로축 (x) 위치값_이며, t 는 시간이며, δ (t)는 입력된 영상과 움직임 영상과의 혼합비율 값이며, 그리고 I' 는 움직인 이미지의 움직임 정도이다.( T ), t is the time, and δ ( t ) is the time and spatial frequency band of the filtered image, where x is the amplification rate value of the image, Is the mixing ratio value of the input image and the motion image, and I 'is the degree of movement of the moving image.
라. 뉴로 필터 (Neuro Filter) 단계 (S14)la. In the Neuro Filter step S14,
뉴로 필터 (Neuro Filter 단계)는 영상의 공간 주파수를 분리 함에 있어 일반적인 생체신호 (bio signal)을 기준으로 영상으로부터 추출 할 수 있는 주파수 대역을 생체신호간 상관성이 있는 대역을 선정하여 주파수 대역을 선정하고 그 선정 된 대역의 영상 정보를 취득하는 것을 의미한다.In the neurofilter phase, a frequency band that can be extracted from an image based on a general bio signal is selected from a frequency band having correlation between biological signals, and a frequency band is selected And acquire image information of the selected band.
예를 들어, 일반적인 PPG 데이터를 신호처리 할 경우 0.4~1.3Hz 구간의 주파수 성분을 가지고 데이터 분석을 실시함으로 PPG 데이터와 유사한 신호(데이터)를 영상 자료로부터 취득하기 위해서는 동일 대역 혹은 인근 대역의 주파수 분석을 통해 유사한 데이터를 추출한다.For example, when signal processing of general PPG data is performed, data analysis is performed with a frequency component of 0.4 to 1.3 Hz. In order to acquire signals (data) similar to PPG data from image data, frequency analysis of the same band or nearby band To extract similar data.
마. 시간 처리 (Temporal Processing) 단계 (S15)hemp. Temporal Processing Step S15:
영상을 뉴로필터 (Neuro Filter) 대역의 주파수 공간으로 분리한 후, 분리된 공간의 주된 성분의 주파수 대역을 시간처리 (Temporal Processing)를 이용하여 차이 값을 추출하여 영상이 진행되는 동안 (시간이 흐르는 동안) 해당 주파수 성분의 값을 분리하여 추출한다.After separating the image into the frequency space of the Neuro Filter band, the difference value is extracted using the temporal processing of the frequency band of the main component of the separated space, The values of the corresponding frequency components are separated and extracted.
바. 재구성 (Reconstruction) 단계 (S16)bar. In the reconstruction step S16,
분리된 공간의 성분을 뉴로 필터 (Neuro Filter) 대역의 주파수 성분만 시간을 이용하여 분리해내고 분리된 성분 값을 일정량의 증폭을 통해 기존 영상에 복원하여 실제 미세하게 잘 보이지 않는 움직임에 해당하는 주파수 성분의 데이터 값을 만들어 낼 수 있도록 한다.By separating the components of the separated space using only the frequency components of the Neuro Filter band using time and restoring the separated component values into the existing image through a certain amount of amplification, So that the data value of the component can be generated.
위의 식에서, α는 영상의 증폭 비율 값이며, δ (t) 는 입력된 영상과 움직임 영상과의 혼합비율 값 이며, 그리고 λ는 이미지 공간의 파장 대역값이다.In the above equation, α is the amplification ratio value of the image, δ ( t ) is the mixing ratio value of the input image and the motion image, and λ is the wavelength band value of the image space.
사. 프레임 차 평균화 (Frame Difference Average) 단계 (S7)four. Frame Difference Average (S7)
분리된 성분의 데이터 값을 매 시간 (30fps 기준)마다 측정되는 영상의 움직임 데이터의 1프레임이 평균의 차이 값을 계산하여 이전 상태와 현 상태의 평균적으로 움직임의 차이 값을 계산하여 전체적인 미세 움직임의 양을 추출한다. 여기에서 1 프레임의 평균은 1프레임의 미세 움직임 양을 나타낸다.By calculating the difference value of the average of one frame of the motion data of the image which is measured every time the data value of the separated component is measured (based on 30 fps), the difference value of motion between the previous state and the current state is calculated, The amount is extracted. Here, the average of one frame represents the amount of fine motion of one frame.
위의 식에서, m 은 미세 움직임 양이며, X는 1프레임의 평균 이며, n은 프레임 번호이다.In the above equation, m is the amount of fine movement, X is the average of one frame, and n is the frame number.
아. 스무스 필터링 (Smoothing Filter) 단계 (S8)Ah. Smoothing Filter Step S8
추출 된 미세 움직임을 데이터로 추출하였을 때 움직임에 대한 노이즈가 포함되어 신호가 거칠게 일그러지거나 하여 피크 (peak) 검출에 어려움이 있어 노이즈를 제거하고 피크 (peak) 검출의 정확도를 높이는 데이터를 가공 처리한다.When the extracted fine motion is extracted as data, noise is included in the motion and the signal is roughly distorted, so that it is difficult to detect the peak, thereby processing the data which removes the noise and improves the accuracy of the peak detection .
위 식에서 SMA는 이동평균 값이며, SMAtoday, SMAyesterday은 서로 다른 특정일자의 이동평균 값이며, Pm 은 현재 프레임의 미동의 값이며, n은 이동평균의 윈도우 사이즈 (window size)이다.
SMA is the moving average, SMAtoday and SMAyesterday are the moving average values of different specific dates, Pm is the fine value of the current frame, and n is the window size of the moving average.
자. 슬라이딩 피크 검출 (Sliding Peak Detection) 단계 (S19) 및 PPG 정보 획득 (S20)character. Sliding Peak Detection step S19 and PPG information acquisition step S20,
노이즈를 제거하고 피크(Peak) 검출을 위한 가공 처리 된 데이터를 받아 1프레임당 peak 데이터를 30초 크기 (size)의 윈도우 (windows)를 기준으로 지속적으로 슬라이딩 (sliding) 시켜 움직임 영향 및 데이터에 영향을 최소화 시켜 BPM (bit per minute) 데이터(신호)를 추출 할 수 있도록 한다. 여기에서 얻어진 심박 정보로부터 HRV 데이터 그리고 HRP 데이터를 검출하여 이를 본 발명의 친밀도 평가 방법에 적용되는데, 두 피험자로부터 각각 얻어진다.It removes noise and receives processed data for peak detection. It continuously slides peak data per frame for 30 seconds on the basis of the size of windows of 30 seconds, So as to extract BPM (bit per minute) data (signal). The HRV data and the HRP data are detected from the heartbeat information obtained here and applied to the intimacy evaluation method of the present invention, which are obtained from the two subjects, respectively.
위의 식에서 i 는 0, 1, 2…,n 등의 자연수 이며, w 는 윈도우 크기이다.
In the above equation, i is 0, 1, 2 ... , n, etc., and w is the window size.
위의 과정에서 취득한 PPG 신호는 QRS 검출 알고리즘을 통해 R-peak을 검출하였다 (Pan and Tompkins, 1985). 검출된 R-peak은 노이즈를 제외하고 정상 R-peak 간격의 차이를 이용해 RRI (R-peak to R-peak interval)를 추출하였다. 심장리듬패턴 (HRP) 분석을 위해 분당 심박수 (BPM, beat per minute)는 60/RRI을 통해 계산 하였고 정상 RRI의 표준 편차를 이용해 SDNN (standard deviation normal to normal)을 추출하였다. 자세한 신호처리 과정은 도5에 도시된 바와 같다.The PPG signal obtained in the above process detects the R-peak through the QRS detection algorithm (Pan and Tompkins, 1985). The R-peak was extracted from R-peak (R-peak interval) using the difference of normal R-peak intervals except for noise. For heart rhythm pattern analysis (BPM), beat per minute (BPM) was calculated using 60 / RRI and SDNN (standard deviation normal to normal) was extracted using normal RRI standard deviation. The detailed signal processing procedure is as shown in FIG.
도5를 참조하면, 피험자로부터 PPG 신호를 검출한 후, PPG 신호는 QRS 검출 알고리즘 (Detection Algorithm)을 통해 R-peak을 검출하였다 (Pan and Tompkins, 1985). 검출된 R-peak은 노이즈를 제외하고 정상 R-peak 간격의 차이를 이용해 RRI (R-peak to R-peak interval)를 추출하였다. 여기에서, 본 발명에 따라 심장리듬패턴 (HRP) 분석을 위해 분당 심박수 (BPM, beat per minute)는 60/RRI을 통해 계산 하였고 (BPM=60/RRI) 이로부터 BPM 평균 (mean)과 정상 RRI의 표준 편차를 이용해 SDNN (standard deviation normal to normal)을 추출하였다. Referring to FIG. 5, after detecting the PPG signal from the subject, the PPG signal detects the R-peak through a QRS detection algorithm (Pan and Tompkins, 1985). The R-peak was extracted from R-peak (R-peak interval) using the difference of normal R-peak intervals except for noise. Here, BPM (beat per minute) was calculated by 60 / RRI (BPM = 60 / RRI) for HRP analysis according to the present invention, and BPM mean and normal RRI Standard deviation normal to normal (SDNN) was extracted by using the standard deviation.
본 발명에 따르면 대화자 (對話者), 즉 두 사람 간의 HRP를 통해 심장의 동기화 현상이 분석되고, 이를 이용해 사회적 관계가 평가될 수 있다. 심장 동기화 분석에 사용되는 HRP 변수는 SDNN과 BPM 평균이다. 모든 변수는 두 사람 변수 값의 차이를 계산하고 그 차이가 적을 수록 두 신호의 동기화가 높은 것으로 판단한다. 또한 HRP 신호를 상관분석을 통해 r 스퀘어 (square)값을 추출하여 동기화 정도의 판단 변수로 활용한다. According to the present invention, the synchronization phenomenon of the heart is analyzed through the HRP between the talker, that is, the two persons, and the social relation can be evaluated by using this. HRP parameters used in cardiac synchronization analysis are SDNN and BPM mean. All variables are used to calculate the difference between the values of the two persons, and the less the difference is, the higher the synchronization of the two signals is judged to be. In addition, HRP signal is extracted from r square value through correlation analysis and used as a variable for determining the degree of synchronization.
도4은 친밀도 인식에 사용한 변수를 설명하기 위한 그래프 이다.Fig. 4 is a graph for explaining variables used for intimacy recognition.
도4에서 P1와 P2는 태스크(task)를 수행하는 두 피험자들로서 leader, follower를 각각 의미한다. 두 피험자의 SDNN과 BPM 평균이 변수로 사용되었고, 또한, 두 피험자의 신호를 상관 분석하여 얻어진 r (상관계수) 값을 제곱하여 r square (r2) 값을 변수로 사용하였다. In FIG. 4, P1 and P2 are two subjects who perform tasks, and are leaders and followers, respectively. The SDNN and BPM mean of the two subjects were used as variables. Also, r square (r 2 ) values were used as the r (correlation coefficient) values obtained by correlating the signals of the two subjects.
또한, 본 실험에 참여한 72명의 피험자 중에서 32명의 데이터는 룰 베이스 생성을 위해 사용하고 나머지40명의 피험자는 룰 베이스 검증으로 활용하였다. 룰 베이스는 이후에 설명된다.Of the 72 subjects participating in this experiment, 32 data were used for rule base generation and the remaining 40 subjects were used for rule base verification. The rule base is described later.
라. 분석 결과la. Analysis
도7은 친구 그룹 (firiend)과 낯선 그룹 (stranger)의 각각 leader와 follower의 HRP의 예이다. 각 그룹의 HRP 패턴에서 알 수 있듯이, 친구 그룹이 낯선 그룹 보다 leader와 follower의 HRP 신호의 동조성이 높고 BPM의 차이가 적은 패턴을 보인다.Figure 7 is an example of the HRP of a leader and a follower of a friend group (firiend) and a stranger (stranger), respectively. As can be seen from the HRP pattern of each group, the group of friends shows a pattern of high agreement between HRP signals of leader and follower and less difference of BPM than unfamiliar group.
도8a, 8b, 8c은 친구 그룹 (firiend)과 낯선 그룹 (stranger)의 각각 leader와 follower의 HRP의 통계 분석결과는 도시한다. 상관분석에 따른 r 스퀘어 (correlation)는 친구 그룹이 낯선 그룹 보다 통계적으로 유의하게 증가하는 것을 확인하였다 (p < .001). 또한 피험자간의 BPM 평균의 차 (difference)은 친구 그룹에서 비해 낯선 그룹에서 통계적으로 크게 감소하는 것을 확인하였다 (p < .001, 즉, 99.9% 이상의 신뢰도) 그러나, difference of SDNN은 통계적으로 유의한 차이를 확인 할 수 없었다 (p > .05, 즉, 85% 이상의 신뢰도).8A, 8B and 8C show statistical analysis results of HRP of leader and follower of friend group (firiend) and stranger group (stranger), respectively. Correlation analysis revealed that the r-squared correlation was statistically significant (p <.001) for the group of friends than for the unfamiliar group. In addition, the difference in BPM mean between subjects was statistically significantly reduced in the unfamiliar group (p <.001, ie, more than 99.9% confidence). However, the difference of SDNN was statistically significant (P> .05, ie greater than 85% confidence).
두 그룹 사이에 통계적으로 유의한 차이를 나타낸 변수를 통해 사회적 관계를 구별할 수 있는 룰-베이스를, 예를 들어 도9에 도시된 바와 같이 만들었다. 룰-베이스에 사용된 두 변수는 각각 r 스퀘어와 difference of BMP 평균 (mean)이고 두 변수를 X축과 Y축으로 정의하여 실험에 참여한 피험자의 데이터를 X-Y 좌표 상에 플로팅 (plotting) 하였다. 두 그룹의 데이터 중에서 가장 근접하는 두 데이터의 중심, 예를 들어 (9.645, 0.090)과 0점 (0, 0)을 지나는 직선의 방정식을 룰-베이스로 도출하였다. 도출된 직선 방정식 보다 위에 있을 경우를 강한 사회적 관계, 아래에 있을 경우를 약한 사회적 관계로 정의하였다. 도출된 직선의 방정식은 아래의 식과 같다.A rule-base that distinguishes social relationships through variables showing statistically significant differences between the two groups is made, for example, as shown in FIG. The two variables used in the rule-base are the r-squares and the difference of BMP mean, and the two variables are defined as the X-axis and the Y-axis, and the data of the subjects participating in the experiment are plotted on the X-Y coordinates. Based on the rule base, the equation of a straight line passing through the centers of two closest data among the two groups of data, for example, (9.645, 0.090) and 0 (0, 0) We defined the strong social relationship as the above and the weak social relation as the below. The equation of the derived straight line is as follows.
Y = 0.0094 * XY = 0.0094 * X
위의 1차 방정식은 32명 실험 데이터를 통해 결정된 임계치 함수로 친밀함을 판단하는 룰-베이스 이다. The above linear equation is a rule-based method for judging intimacy with a threshold function determined by 32 experimental data.
HRP의 룰 베이스를 이용하여 검증한 결과는 도10에 도시된 바와 같다. 룰 베이스의 검증은 전술한 바와 같이 실험되지 않은 나머지 40명의 피험자로부터 HRP 변수 추출하여 룰 베이스 검증에 이용하였다.The results of the verification using the HRP rule base are as shown in FIG. The rule base verification was used for the rule base verification by extracting HRP parameters from the remaining 40 subjects who were not tested as described above.
그 결과에 따르면, 강한 사회적 관계의 정확도는 전체 20 그룹의 데이터 중에서 19개 그룹의 데이터가 강한 사회적 관계로 분류 되었고 1개 그룹의 데이터만 약한 사회적 그룹으로 분류 되었다 (정확도: (19/20)*100% = 95%). 약한 사회적 관계의 정확도는 전체 20 그룹의 데이터 중에서 19개 그룹의 데이터가 약한 사회적 관계로 분류 되었고 1개의 그룹의 데이터만 강한 사회적 그룹으로 분류 되었다 (정확도: (19/20)*100% = 95%). 전체 40 그룹의 데이터 정확도 검증 결과는 95%로 확인 되었다 (정확도: (38/40)*100% = 95%).According to the results, the accuracy of strong social relations was classified into strong social relations among the data of 19 groups among the data of all 20 groups and only the data of one group were classified into weak social groups (accuracy: (19/20) *) 100% = 95%). The accuracy of the weak social relations was classified into the weak social relations of the data of 19 groups among the data of 20 groups and only the data of one group were classified into the strong social group (accuracy: (19/20) * 100% = 95% ). The data accuracy of all 40 groups was 95% (accuracy: (38/40) * 100% = 95%).
도11은 전술한 시스템 및 방법을 적용하여 본 발명에 따라서 두 피험자의 동영상 촬영을 통해 이들 간의 친밀도를 평가하는 방법의 구체적 흐름도이며, 도 12는 본 발명에 따른 친밀도 평가 시스템의 화면 구성을 보인다.FIG. 11 is a specific flowchart of a method of evaluating the intimacy between two subjects through video recording of the present invention by applying the system and method described above, and FIG. 12 shows a screen configuration of the intimacy evaluation system according to the present invention.
먼저 도11을 참조하면, 화상 입력 (S10)이 시작되면, 도1에 도시된 바와 같이 두 피험자를 마주대한 상태 (S20)에서 도3에 도시된 시스템을 이용한 친밀도 검사를 시작한다. 카메라를 이용해 두 피험자 (팔로워와 리더)의 미세 진동을 각각 검출한다 (S31, S32). 미세 진동이 검출되면 이를 이용해 심박수 (S41, S42)를 추출한다. 심박수가 추출되면, 리더 (Leader)와 팔로워 (Follower)의 심박수 (Heart rate) 정보로부터 HRP (heart rhythm pattern)를 각각 추출하여 (S50), 이들 두 피험자의 HRP를 비교 평가하여 (S60), 친밀 (Intimacy)과 비친밀 (non-Initmacy)로 평가된 결과를 보여 준다 (S70). 이러한 평가는 10초 간격으로 진행되며, 강제적인 종료가 없는 한 상기 과정을 지속적으로 반복하여 그때 그때의 친밀도 여부를 표시한다.Referring to FIG. 11, when the image input S10 starts, the intimacy test using the system shown in FIG. 3 is started in a state (S20) in which two subjects face each other as shown in FIG. The microscopic vibrations of the two subjects (the follower and the reader) are respectively detected using the camera (S31, S32). When the fine vibration is detected, the heart rate S41 and S42 are extracted. When the heart rate is extracted, the HRP (heart rhythm pattern) is extracted from the heart rate information of the leader and the follower (S50), and the HRP of the two subjects is compared (S60) Intimacy and Non-Initiation (S70). This evaluation is performed at intervals of 10 seconds, and the process is continuously repeated unless there is a forced termination, thereby indicating whether or not the intimacy is present at that time.
도12를 참조하면, 두 피험자의 촬영영역은 가슴 위 상반신이며, 이를 화면을 통해서 보여 준다. 그리고 실제 두 명의 피험자 중 리더 (Leader)의 원본 영상의 데이터가 동작되고 있는 화면을 보여준다.Referring to FIG. 12, the photographing region of the two subjects is the upper half of the chest, which is displayed on the screen. And it shows the screen where the data of the original image of the leader among the two subjects is being operated.
도12에서, (1)번 영역에 표시되는 리더 (Leader)의 원본 영상 데이터를 미동 추출 기술을 통하여 실체 차영상을 통해 보이지 않는 미세한 움직임을 증폭시켜 발생되어있는 라인 형태의 영상이 (2)번 영역에 도시된다. 여기에서 (2)에서 동그랗게 표시되는 부분이 실제 미세하게 움직였을 때 라인 형태로 움직임이 발생 한 부분만 동작되어 보여주게 된다.12, when a line-shaped image generated by amplifying a minute motion that is not seen through an actual difference image through an artifact extraction technique on the original image data of the leader displayed in the area (1) Lt; / RTI > Here, in (2), when the part displayed in a circle is actually moved finely, only the part where the movement occurred in line form is operated and shown.
(3)의 영역에는 팔로워 (Follower)의 원본 영상이 표시되고, 이 영상 데이터를 미동 추출 기술을 통하여 실체 차영상을 통해 보이지 않는 미세한 움직임을 증폭시켜 발생되어있는 라인 형태의 영상을 (4)의 영역에 보여 준다. 이때에 동그랗게 표시되는 부분이 실제 미세하게 움직였을 때 라인 형태로 움직임이 발생 한 부분만 동작되어 표시된다. (4), the original image of the follower is displayed in the area of (3), and the line-shaped image generated by amplifying the invisible minute movement through the real difference image through the fine extraction technique is displayed on the Area. At this time, when the part displayed in a circle is actually moved finely, only the part where the movement occurred in a line form is displayed.
(5) 영역은 추출 된 심박수 (Heart rate)를 리더 (Leader)와 팔로워 (Follower) 를 같이 10초 간격으로 실시간 갱신되는 원형 데이터 (Raw Data)의 동기 (Sync)를 보여주며, 이를 통해서 리더 (Leader)와 팔로워 (Follower) 간 Raw Data 상의 동기화 정도를 알 수 있다. (5) area shows the synchronization of the raw data, which is updated in real time at intervals of 10 seconds with the extracted heart rate as a leader and a follower, Leader) and Follower (Raw Data).
(6)의 영역에는 리더 (Leader)와 팔로워 (Follower)의 심박수 (Heart rate) 정보를 HRP (heart rhythm pattern)로 평가하여 10초 간격으로 평가하여 친밀 (Intimacy) 와 비친밀 (non-Initmacy)로 평가된 결과를 보여 준다. (6), heart rate information of the leader and follower is evaluated by HRP (heart rhythm pattern) and evaluated at intervals of 10 seconds, and intimacy and non- As shown in Fig.
위에서 설명된 바와 같이 본 발명은 신체 미동으로부터 추출한 개인간 심장 동조성 (Entrainment) 분석기술을 통해 두 사람 사이의 사회적 관계 (Social relationship)를 평가한다. 개인간 심장 동조성 분석은 두 사람 사이에 심장리듬의 동기화 정도가 이용되었는데, 매우 정확하게 친밀감 평가가 가능함을 알 수 있다. 이러한 본 발명은 두 사람 사이의 사회적 관계를 정량적으로 평가할 수 있으며, 이를 통해 사회적 병리현상 완화 또는 해결에 이용될 수 있다. As described above, the present invention evaluates the social relationship between two persons through interpersonal cardiac entrainment analysis technique extracted from the somatosensory body. Interpersonal cardiac tropism analysis shows that the degree of synchronization of heart rhythm is used between two people, and it is possible to evaluate intimacy very accurately. The present invention can quantitatively evaluate the social relationship between two people and can be used for alleviating or solving a social pathological phenomenon.
이러한 본 발명에 따른 HRP 기반 친밀도 평가 방법 및 시스템은 온라인을 통해서 원거리에 위치하는 두 피험자 또는 사용자 간에 적용될 수 있다.The HRP-based intimacy evaluation method and system according to the present invention can be applied to two subjects or users located remotely via on-line.
도13은 본 발명에 따른 온라인 친밀도 평가 시스템의 전체 구성도이다.13 is an overall configuration diagram of the online affinity evaluation system according to the present invention.
두 피험자 또는 사용자 (P1, P2)는 원거리에 떨어져 있으며, 각 사용자 (P1, P2)는 모니터 (101), 카메라 (102) 및 분석 시스템 (103)을 포함하는 개별 시스템 (100a, 100b)에 위치한다.Two subjects or users P1 and P2 are remote and each user P1 and P2 is located in a
개별 시스템 (100a, 100b)는 광역 네트워크 (WAN) 또는 협역 네트워크 (LAN)을 포함하는 통신망 (100c)을 통해 상호 연계되어 있다. 즉, 상기 시스템 (100a, 100b)은 기본적으로 전술한 분석 시스템을 포함하는 온라인 컴퓨터 기반의 화상 통화 시스템 또는 화상 통신 시스템의 구조를 가질 수 있다. 상기 개별 시스템은 사용자 수에 따라 복 수개 마련될 수 있으며, 2명의 사용자를 위한 분석 시스템은 2 개의 개별 시스템을 가질 수 있다.The
각 개별 시스템 (100a, 100b)는 도14에 도시된 바와 같이 사용자 (P1, P2)를 촬영하는 카메라 (110), 카메라 (110)로부터 획득한 영상을 처리하는 영상처리부 (120), 두 피험자의 데이터를 분석하는 분석부 (130), 분석된 결과를 해당 사용자에게 보여주는 디스플레이 (140)를 구비한다. 한편, 별도로 마련된 통신부 (150)는 상기 통신망 (100c)을 통해 상대편 개별 시스템 (100a, 100b)으로 필요 데이터를 전송한다.Each of the
상기 분석부 (130)는 해당 사용자의 데이터와 상대편 사용자의 데이터를 전술한 바와 같은 방법으로 비교 분석하여 두 사용자간의 친밀도 여부를 평가하며, 그리고 상대편 개별 시스템으로 전송할 데이터를 생성하여 통신부 (150)로 전송한다. The
즉, 두 개별 시스템(100a, 100b) 각각의 분석부(130)는 해당 사용자로부터의 영상 자료로부터 전술한 본 발명의 영상 자료 및 신호 처리 과정을 통해, 예를 들어 BPM 데이터를 추출하여 해당 통신부(150)를 통해 상대편 개별 시스템 (100b, 100a)로 전송하고, 그리고 각 개별 시스템(100a, 100b)의 분석부(130)는 자체로 추출한 BPM 데이터와 상대편 개별 시스템(100b, 100a)으로부터의 BPM 테이터로부터 HRP (Heart Rhythm Pattern)를 각각 구하여 이들을 비교함으로써 두 사용자간의 친밀도를 판정한다. That is, the
도15에 도시된 바와 같이 상기 개별 시스템 (100a, 100b)은 분석부 (130)에서 마련한 데이터, 예를 들어 BPM 데이터를 상호 교환하며, 각 개별 시스템 (100a, 100b)은 전송 받은 두 피험자 (P1, P2)의 데이터를 비교하여 두 피험자간의 친밀도를 전술한 바와 같은 방법으로 분석하여 해당 시스템의 모니터 (101)에 표시함으로써, 상대방 사용자가 친밀도를 가지고 있는 지 여부를 알 수 있게 된다.As shown in FIG. 15, the
상기 두 개별 시스템 (100a, 100b) 간에 교환되는 데이터는 각 개별 시스템 (100a, 100b)으로부터 획득한 해당 사용자의 BPM 데이터일 수 있다.Data exchanged between the two
위의 설명에서 두 사용자 (P1, P2) 모두가 상대편의 친밀도를 볼 수 있는 것으로 기술되었다. 그러나, 본 발명의 일 실시 예에 따르면, 친밀도 분석 결과를 어느 한 쪽 사용자 (P1 또는 P2)만 볼 수 있는 시스템으로의 구현이 가능 하다. 이 경우, 친밀도 분석 알고리즘은 어느 한 쪽 개별 시스템에서만 진행될 수 있고, 이때에 상대편 개별 시스템에서는 해당 사용자로부터 영상 데이터로부터 얻어진 데이터를 전달하기만 하면 된다.In the above description, it is described that both users (P1, P2) can see the intimacy of the opponent. However, according to the embodiment of the present invention, it is possible to implement the affinity analysis result into a system which can view only one user (P1 or P2). In this case, the intimacy analysis algorithm can be performed on only one of the individual systems, and only the data obtained from the image data is transmitted from the corresponding user in the other individual system.
한편, 두 사용자간의 친밀도 판정 결과를 두 사용자에게는 알리지 않고 제3의 관찰자 또는 감독자에게만 표시되게 할 수 도 있다. 이 경우, 도16에 도시된 바와 같이 상기 두 사용자를 위한 개별 시스템 (100a, 100b)외에 별도의 모니터 분석 시스템 (100d)를 마련할 수 있다. 두 사용자의 개별 시스템 (100a, 100b) 간에는 화상 통화를 위한 영상/음성 데이터를 주고 받는다. 그리고, 별도의 모니터 분석 시스템 (100d)으로는 두 개별 시스템 (100a, 100b)으로부터 필요 데이터, 예를 들어 BPM 데이터가 전송될 수 있다. 이와 같이 필요 데이터를 전송 받은 모니터 분석 시스템 (100d)은 두 사용자의 데이터를 비교 분석하여 두 사용자 (P1, P2)간의 친밀도를 모니터링할 수 있다. 이에 더하여, 상기 모니터 분석 시스템 (100d)으로 상기 필요 데이터뿐 아니라 실시간 두 사용자의 영상을 수신하여 이를 모니터 또는 디스플레이 상에 분석 결과와 함께 같이 표시할 수 있다.On the other hand, the intimacy determination result between two users may be displayed only to the third observer or supervisor without notifying the two users. In this case, as shown in FIG. 16, a separate
이러한 본 발명은 온라인 상태에 두 화자간의 친밀도를 평가 또는 판단함에 있어서, 전용 평가 시스템의 형태로 제공될 수 도 있으며, 일반적인 화상 통화 또는 채팅 프로그램의 부가적인 장치로서 제공될 수 있다. 이러한 본 발명의 적용 형태 또는 응용형태에 의해 본 발명의 기술적 범위가 제한되지 않는다.The present invention may be provided in the form of a dedicated evaluation system in evaluating or determining the intimacy between two speakers in an on-line state, and may be provided as an additional device of a general video call or a chat program. The technical scope of the present invention is not limited by the application form or the application form of the present invention.
이러한 본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 해당 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시 예가 가능함을 이해할 수 있을 것이다. 따라서 본 발명의 진정한 보호범위는 첨부된 특허청구범위에 의해서만 정해져야 할 것이다.While this invention has been described in connection with what is presently considered to be the most practical and preferred embodiment, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and equivalent arrangements included within the spirit and scope of the invention. Therefore, the true scope of protection of the present invention should be defined only by the appended claims.
Claims (12)
상기 화상 통신 시스템을 이용하여, 두 사용자의 신체 미동 움직임을 촬영하여 각 사용자의 영상 자료 (Source)를 획득하는 단계;
상기 각 영상 자료에 대한 공간 분리 (Spatial Decomposition) 단계, 뉴로 필터(Neuro Filter 단계); 시간 처리 (Temporal Processing) 단계 및 재구성 (Reconstruction) 단계를 포함하는 영상 처리 과정을 통하여 상기 두 사용자의 신체 미동 정보를 검출하는 단계;
상기 각 신체 미동 정보로부터 심박 (PPG) 데이터를 추출하는 단계;
두 사용자의 PPG 데이터로부터 HRP (Heart Rhythm Pattern) 데이터를 각각 검출하는 단계;
상기 두 사용자의 HRP 데이터를 비교하여 두 사용자간의 관계성 (친밀도)을 판단하는 단계; 그리고
상기 관계성 판단 결과를 디스플레이를 통하여 상기 두 사용자 중 적어도 어느 하나 또는 제3의 관찰자에게 표시하는 단계;를 포함하며,
상기 공간 분리는 가우시안(Gaussian blur)와 down sample을 통하여 각 주파수(Frequency)별 공간을 분리하되, 아래의 식1을 만족하며, 상기 재구성은 분리된 공간의 성분을 뉴로 필터(Neuro Filter) 대역의 주파수 성분만 시간을 이용하여 분리해내고 분리된 성분 값을 일정량의 증폭을 통해 기존 영상에 복원하여 실제 미세하게 잘 보이지 않는 움직임에 해당하는 주파수 성분의 데이터 값을 구하며, 아래의 식2를 만족하는 온라인 사회적 관계성 판단 방법.
<식1>
위 식1에서, α 는 영상의 증폭 비율값이며, β 는 시간, 공간 주파수 대역으로 필터된 이미지의 값이며, x 는 영상의 가로축(x) 위치값_이며, t 는 시간이며, δ (t)는 입력된 영상과 움직임 영상과의 혼합비율 값이며, 그리고 I' 는 움직인 이미지의 움직임 정도이다.
<식2>
위의 식에서, α 는 영상의 증폭 비율 값이며, δ(t) 는 입력된 영상과 움직임 영상과의 혼합비율 값 이며, 그리고 λ는 이미지 공간의 파장 대역값이다.Facing two users through an online video communication system;
Acquiring image data of each user by capturing body movement of the two users using the image communication system;
A spatial decomposition step for each image data, a neuro filter step; Detecting temporal / spatial information of the two users through an image processing process including a temporal processing step and a reconstruction step;
Extracting heartbeat (PPG) data from each of the physical / mental information;
Detecting HRP (Heart Rhythm Pattern) data from PPG data of two users, respectively;
Comparing the HRP data of the two users to determine a relationship (familiarity) between the two users; And
Displaying the relation determination result to at least one of the two users or a third observer through a display,
The spatial separation is performed by separating the frequencies of each frequency through a Gaussian blur and a down sample. The spatial separation satisfies the following equation (1). The reconstruction is performed by dividing the components of the separated space into the neurofilter band Only the frequency components are separated using time and the separated component values are restored to the existing image through a certain amount of amplification to obtain the data value of the frequency component corresponding to the motion that is not actually observed very finely. How to judge online social relations.
<Formula 1>
In the above equation 1, α is an amplification factor value of the image, β is a time, and the value of the image filter as a spatial frequency band, x is the horizontal axis (x) and _ the position value of the image, t is a time, δ (t ) Is the mixing ratio value of the input image and the motion image, and I 'is the movement degree of the moving image.
<Formula 2>
In the above equation, α is the amplification ratio value of the image, δ ( t ) is the mixing ratio value of the input image and the motion image, and λ is the wavelength band value of the image space.
상기 HRP 데이터로부터 RRI (R-peak to R-peak interval) 데이터를 획득하는 것을 특징으로 하는 온라인 사회적 관계성 판단방법.The method according to claim 1,
And obtaining RRI (R-peak to R-peak interval) data from the HRP data.
상기 HRP 데이터는 BPM 평균 (mean)과 정상 RRI의 표준 편차를 이용해 추출한 SDNN (standard deviation normal to normal)을 포함하는 것을 특징으로 하는 온라인 사회적 관계성 판단 방법. 3. The method of claim 2,
Wherein the HRP data includes standard deviation normal to normal (SDNN) extracted using BPM mean and standard deviation of normal RRI.
상기 BPM 평균 (mean)과 정상 SDNN를 포함하는 HRP 신호의 상관분석을 통해 얻은 r 스퀘어 (square)값과 사용자간 BPM 평균 차를 이용하여 사용자간 동기화 정도의 판단 변수로 사용하는 것을 특징으로 하는 온라인 사회적 관계성 판단 방법. The method of claim 3,
Wherein the HRM signal is used as a variable for determining the degree of synchronization between users using the r square value obtained through the correlation analysis of the HRP signal including the BPM mean and the normal SDNN and the BPM average difference between users. How to judge social relations.
상기 사용자간 BPM 평균의 차를 변수 X, r 스퀘어 (square)값을 변수 y라 하였을 때, Y=0.00943167*X 를 만족하는 일차 방정식의 임계치 함수를 기준으로 사용자가 동기화 여부를 판단하는 것을 특징으로 온라인 사회적 관계성 판단 방법.5. The method of claim 4,
The user determines whether or not to synchronize based on the threshold function of the linear equation satisfying Y = 0.00943167 * X when the difference between the BPM average among users is a variable X and the square of a value is a variable y. How to judge online social relations.
상기 미동 정보를 검출하는 단계와 심박 (PPG) 데이터를 추출하는 단계:는
안면 트랙킹 (Face Tracking) 단계;
공간 분리 (Spatial Decomposition) 단계;
뉴로 필터 (Neuro Filter) 단계;
시간 처리 (Temporal Processing) 단계;
재구성 (Reconstruction) 단계;
프레임 차 평균화 (Frame Difference Average) 단계;
스무스 필터 (Smoothing Filter) 단계; 그리고
슬라이딩 피이크 검출 (Sliding Peak Detection) 단계;를 포함하는 것을 특징으로하는 온라인 사회적 관계성 판단 방법. 6. The method according to any one of claims 1 to 5,
The step of detecting the fine motion information and the step of extracting heartbeat (PPG) data include:
A face tracking step;
A spatial decomposition step;
A Neuro Filter step;
A temporal processing step;
A reconstruction step;
A frame difference averaging step;
A smoothing filter step; And
And a Sliding Peak Detection step of detecting an online social relationship.
통신망; 그리고 상기 통신망을 통해 상호 통신 가능하게 연결되는 것으로, 상기 사용자를 촬영하는 카메라, 영상 처리부, 분석부 및 디스플레이를 포함하는 복수의 개별 시스템;을 구비하며,
상기 영상 처리부는 상기 카메라로부터의 영상 자료를 처리하며, 상기 분석부는 영상 처리부로부터의 데이터로부터 상기 HRP 데이터를 추출함과 아울러 상기 HRP 데이터를 이용해 상기 사용자간 친밀도를 분석하고, 상기 디스플레이는 상기 사용자간 친밀도 분석 결과를 표시하는, 온라인 사회적 관계성 판단 시스템. An online social relation judgment system for carrying out the method according to claim 1,
communications network; And a plurality of individual systems including a camera, an image processing unit, an analysis unit, and a display, which are connected to each other via the communication network so as to communicate with each other,
Wherein the image processing unit processes image data from the camera, the analyzing unit extracts the HRP data from the data from the image processing unit, and analyzes the intimacy between the users using the HRP data, An online social relationship judgment system that displays the results of intimacy analysis.
상기 분석부는 상기 HRP 데이터로부터 RRI (R-peak to R-peak interval)를 추출하는 것을 특징으로 하는 온라인 사회적 관계성 판단 시스템. 8. The method of claim 7,
Wherein the analyzing unit extracts an RRI (R-peak to R-peak interval) from the HRP data.
상기 HRP 데이터는 BPM 평균 (mean)과 정상 RRI의 표준 편차를 이용해 추출한 SDNN (standard deviation normal to normal)을 포함하는 것을 특징으로 하는 온라인 사회적 관계성 판단 시스템. 9. The method of claim 8,
Wherein the HRP data includes standard deviation normal to normal (SDNN) extracted using BPM mean and standard deviation of normal RRI.
상기 분석부:는 상기 BPM 평균 (mean)과 정상 SDNN를 포함하는 HRP 신호의 상관분석을 통해 얻은 r 스퀘어 (square)값과 사용자간 BPM 평균 차를 이용하여 사용자간 동기화 정도의 판단 변수로 사용하는 것을 특징으로 하는 온라인 사회적 관계성 판단 시스템.10. The method of claim 9,
The analyzing unit is used as a decision variable for the degree of synchronization between users by using the r square value obtained through the correlation analysis between HRP signals including the BPM mean and the normal SDNN and the BPM average difference between users The online social relationship judgment system.
상기 분석부:는 상기 사용자간 BPM 평균의 차를 변수 X, r 스퀘어 (square)값을 변수 y라 하였을 때, Y=0.0094*X 를 만족하는 일차 방정식의 임계치 함수를 기준으로 사용자가 동기화 여부를 판단하는 것을 특징으로 온라인 사회적 관계성 판단 시스템.10. The method of claim 9,
The analysis unit determines whether the user is synchronized based on the threshold function of the linear equation satisfying Y = 0.0094 * X when the difference between the BPM average values of the users is a variable X and the square value of a r is a variable y. The online social relationship judgment system.
상기 분석부;는
안면 트랙킹 (Face Tracking) 단계;
공간 분리 (Spatial Decomposition) 단계;
뉴로 필터 (Neuro Filter) 단계;
시간 처리 (Temporal Processing) 단계;
재구성 (Reconstruction) 단계;
프레임 차 평균화 (Frame Difference Average) 단계;
스무스 필터 (Smoothing Filter) 단계; 그리고
슬라이딩 피이크 검출 (Sliding Peak Detection) 단계;를 포함하는 것을 특징으로하는 온라인 사회적 관계성 판단 시스템.12. The method according to any one of claims 7 to 11,
The analysis unit
A face tracking step;
A spatial decomposition step;
A Neuro Filter step;
A temporal processing step;
A reconstruction step;
A frame difference averaging step;
A smoothing filter step; And
And a Sliding Peak Detection step of detecting the online social relationship.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150159684A KR101706741B1 (en) | 2015-11-13 | 2015-11-13 | Method and system for determining online social relationship based on Heart Rhythm Pattern by micro movement of body |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020150159684A KR101706741B1 (en) | 2015-11-13 | 2015-11-13 | Method and system for determining online social relationship based on Heart Rhythm Pattern by micro movement of body |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR101706741B1 true KR101706741B1 (en) | 2017-02-14 |
Family
ID=58121200
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020150159684A KR101706741B1 (en) | 2015-11-13 | 2015-11-13 | Method and system for determining online social relationship based on Heart Rhythm Pattern by micro movement of body |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101706741B1 (en) |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120040429A (en) * | 2010-10-19 | 2012-04-27 | 주식회사 라이프사이언스테크놀로지 | System and control method for feedback of user emotion by robot |
| JP2013052049A (en) * | 2011-09-02 | 2013-03-21 | National Institute Of Information & Communication Technology | Synchrony detector in interpersonal communication |
| KR20130129714A (en) * | 2012-05-21 | 2013-11-29 | 상명대학교서울산학협력단 | Method of evaluation subjective closeness by using pulse wave of heart and system adopting the method |
| KR20140124487A (en) * | 2013-04-17 | 2014-10-27 | 주식회사 제론헬스케어 | Baby Information Sending System and the Method thereof |
-
2015
- 2015-11-13 KR KR1020150159684A patent/KR101706741B1/en active IP Right Grant
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20120040429A (en) * | 2010-10-19 | 2012-04-27 | 주식회사 라이프사이언스테크놀로지 | System and control method for feedback of user emotion by robot |
| JP2013052049A (en) * | 2011-09-02 | 2013-03-21 | National Institute Of Information & Communication Technology | Synchrony detector in interpersonal communication |
| KR20130129714A (en) * | 2012-05-21 | 2013-11-29 | 상명대학교서울산학협력단 | Method of evaluation subjective closeness by using pulse wave of heart and system adopting the method |
| KR20140124487A (en) * | 2013-04-17 | 2014-10-27 | 주식회사 제론헬스케어 | Baby Information Sending System and the Method thereof |
Non-Patent Citations (9)
| Title |
|---|
| Bennett. M., Schatz, M., Rockwood, H. and Wiesenfeld, K. (2002). Huygens's clocks. Proceedings: Mathematics, Physical and Engineering Sciences, 458, 563-579. |
| Buck, J. and Buck, E. (1976). Synchronous fireflies. Scientific American. 234, 74-85. |
| Burgoon, J.K., Stern, L.A. and Dillman, L. (2007). Interpersonal adaptation: Dyadic interaction patterns. Cambridge University press. |
| Daniel, L. (2010). Movement synchrony and perceived entitativity. Journal of Experimental Social Psychology, 46(5), 701-708. |
| Krueger, J. and Michael, J. (2012). Gestural coupling and social cognition: Mobius syndrome as a case study. Frontiers in human neuroscience, 6. |
| Kyongsik, Y., Katsumi, W. and Shinsuke, S. (2012). Interpersonal body and neural synchronization as a marker of implicit social interaction. SCI REP-UK, 2(959). |
| Miles, L.K., Griffiths, J.L., Richardson, M.J. and Macrae, C.N. (2010). Too late to coordinate: Contextual influences on behavioral synchrony. European Journal of Social Psychology, 40(1), 52-60. |
| Pan, J. and Tompkins, W.J. (1985). A real-time QRS detection algorithm. IEEE Transactions on Biomedical Engineering, 3, 230-236. |
| Schmidt, R. and Richardson, M. (2008). Coordination: Neural, behavioral and social dynamics. Springer. |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101738097B1 (en) | Method and system for determining social relationship using Heart Rhythm Pattern by micro movement of body | |
| Sabour et al. | Ubfc-phys: A multimodal database for psychophysiological studies of social stress | |
| KR101617391B1 (en) | Method for social relationship using Heart Rhythm Pattern | |
| Di Lascio et al. | Laughter recognition using non-invasive wearable devices | |
| EP3897388A1 (en) | System and method for reading and analysing behaviour including verbal, body language and facial expressions in order to determine a person's congruence | |
| CN108451494B (en) | Method and system for detecting time-domain cardiac parameters using pupil response | |
| KR101580628B1 (en) | Method for social relationship using Heart Rhythm Coherence | |
| KR101972572B1 (en) | Method for classification of Empathy by using Hear Rhythm Pattern | |
| KR101706740B1 (en) | Method and System for determining online social relationship based on Heart Rhythm Coherence by Micro movement of body | |
| KR101706741B1 (en) | Method and system for determining online social relationship based on Heart Rhythm Pattern by micro movement of body | |
| KR101846350B1 (en) | evaluation method and system for user flow or engagement by using body micro-movement | |
| KR101977961B1 (en) | Method for classification of Empathy | |
| Jáuregui et al. | Toward automatic detection of acute stress: Relevant nonverbal behaviors and impact of personality traits | |
| Bekele et al. | Virtual reality-based facial expressions understanding for teenagers with autism | |
| KR102084029B1 (en) | Method for classification of Positive Relationship by using Hear Rhythm Pattern and Autonomic balance | |
| KR101940673B1 (en) | Evaluation Method of Empathy based on micro-movement and system adopting the method | |
| KR20190057217A (en) | Method and System for evaluation of Co-existence | |
| KR102389361B1 (en) | evaluation method and system for user flow or engagement by using body micro-movement | |
| KR102223087B1 (en) | Method and Apparatus for determinating Emotion transference | |
| KR102155777B1 (en) | method for determining competition and cooperation by social interaction based on body movement by non-contact sensing technique | |
| KR101971602B1 (en) | Reasoning Method and System of Empathic Emotion Based on Video Analysis | |
| Lehtimäki | Automatic assessment of nonverbal interaction from smartphone videos | |
| Upadhyay et al. | Lie Detection based on Human facial gestures |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant | ||
| FPAY | Annual fee payment |
Payment date: 20200122 Year of fee payment: 4 |