KR101842986B1 - Device and method for fear psychological evaluation - Google Patents

Device and method for fear psychological evaluation Download PDF

Info

Publication number
KR101842986B1
KR101842986B1 KR1020160149842A KR20160149842A KR101842986B1 KR 101842986 B1 KR101842986 B1 KR 101842986B1 KR 1020160149842 A KR1020160149842 A KR 1020160149842A KR 20160149842 A KR20160149842 A KR 20160149842A KR 101842986 B1 KR101842986 B1 KR 101842986B1
Authority
KR
South Korea
Prior art keywords
fear
value
fear psychological
face
evaluation
Prior art date
Application number
KR1020160149842A
Other languages
Korean (ko)
Inventor
박강령
이관우
홍형길
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020160149842A priority Critical patent/KR101842986B1/en
Application granted granted Critical
Publication of KR101842986B1 publication Critical patent/KR101842986B1/en

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/48—Thermography; Techniques using wholly visual means
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J5/00—Radiation pyrometry, e.g. infrared or optical thermometry
    • G01J5/0022—Radiation pyrometry, e.g. infrared or optical thermometry for sensing the radiation of moving bodies
    • G01J5/0025—Living bodies
    • G06F17/30032—
    • G06F17/30793—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/30—Transforming light or analogous information into electric information
    • H04N5/33—Transforming infrared radiation

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

The present invention relates to a device for evaluating fear psychology of a user and a method thereof and, more specifically, to a fear psychology evaluating device and a method thereof which evaluate fear psychology through a defuzzification method. According to the present invention, fear psychology of a user can be evaluated using a non-contact type sensor without repulsion of the user and fear strength that the user feels is evaluated by using a correlation sum of a plurality of fear psychology features so as to accurately evaluate fear psychology compared to a case when using a single fear psychology feature.

Description

공포심리 평가 장치 및 방법{DEVICE AND METHOD FOR FEAR PSYCHOLOGICAL EVALUATION}[0001] DEVICE AND METHOD FOR FEAR PSYCHOLOGICAL EVALUATION [0002]

본 발명은 사용자의 공포심리를 평가하는 장치 및 방법에 관한 것으로, 더욱 상세하게는 비퍼지화 방법을 통해 공포심리를 평가하는 공포심리 평가 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for evaluating a user's fear psychology, and more particularly, to a fear psychological evaluation apparatus and method for evaluating a fear psychology through a non-fuzzification method.

감정 인식은 인증 분야의 기술이 안정화되어 가면서 현재 많은 각광을 받고 있는 연구 분야이다. 기존의 감정 인식은 바이오 센서를 이용하여 취득한 혈압, 뇌파, 근전도, 심전도, 체온 등의 생체 데이터로부터 인간의 감정을 인식하였다. 하지만, 이러한 방법은 사용자 몸에 센서를 부착 혹은 착용함으로 사용자의 불편함을 유발시키는 문제점이 있다. 또한, 정량적인 생체 데이터로부터 사람의 감정을 정의하는 것은 주관적이고 모호할 수 있다.Emotional recognition is a field of research that has been attracting much attention as the technology of authentication field has stabilized. Conventional emotion recognition recognized human emotion from biometric data such as blood pressure, brain wave, electromyogram, electrocardiogram, and body temperature acquired using a biosensor. However, such a method has a problem in that it inconveniences the user by attaching or attaching a sensor to the user's body. Also, defining human emotions from quantitative biometric data can be subjective and ambiguous.

본 발명의 배경기술은 일본 공개특허 제2012-181711호 (2014.02.27. 공개, 생체 상태 관찰 시스템, 생체 상태 관찰 방법, 및 프로그램)에 개시되어 있다.BACKGROUND ART [0002] The background art of the present invention is disclosed in Japanese Laid-Open Patent Publication No. 2012-181711 (published on Feb. 21, 2014, a living body observation system, a living body observation method, and a program).

본 발명은 비접촉식 센서를 이용하여 사용자의 거부감 없이 공포심리를 평가하는 공포심리 평가 장치 및 방법을 제공하는 것이다.The present invention provides a fear psychological evaluation apparatus and method for evaluating fear psychology without a sense of user's reaction by using a non-contact type sensor.

또한, 본 발명은 복수의 공포심리 특징의 상관 관계 합을 이용하여 사용자가 느끼는 공포 강도를 비퍼지화 방법을 통해 평가함으로써, 단일 공포심리 특징을 이용할 경우 보다 정확하게 공포심리를 평가할 수 있는 공포심리 평가 장치 및 방법을 제공하는 것이다.In addition, the present invention evaluates the fear intensity felt by a user using a correlation sum of a plurality of fear psychological characteristics through a non-fuzzy method, thereby making it possible to accurately evaluate the fear psychological evaluation using a single fear psychological feature Apparatus and method.

본 발명의 일 측면에 따르면, 가시광선 얼굴 영상, 열화상 얼굴 영상 및 주관적 설문평가 정보 중 적어도 하나를 입력하는 데이터 입력부, 상기 가시광선 얼굴 영상 및 열화상 얼굴 영상 중 적어도 하나에서 얼굴 특징점 변화 값 및 얼굴 온도 값을 산출하는 공포심리 특징 산출부, 상기 얼굴 특징점 변화 값, 얼굴 온도 값 및 주관적 설문평가 수치 값 중 적어도 하나를 정규화하는 공포심리 특징 정규화부 및 정규화된 얼굴 특징점 변화 값, 얼굴 온도 값 및 주관적 설문평가 수치 값 중 적어도 하나를 비퍼지화 방법을 통해 공포 강도를 평가하는 공포심리 평가부를 포함하는 공포심리 평가 장치가 제공된다.According to an aspect of the present invention, there is provided an image processing method including a data input unit for inputting at least one of a visible ray face image, a thermal image face image, and subjective questionnaire evaluation information, a facial feature point change value in at least one of the visible light face image and the thermal image face image, A fear psychological characteristic calculating unit for calculating a face temperature value, a fear psychological characteristic normalizing unit for normalizing at least one of the face feature point change value, the face temperature value, and the subjective questionnaire evaluation numerical value, and the normalized facial feature point change value, There is provided a fear psychological evaluation apparatus including a fear psychological evaluation unit for evaluating a fear strength through at least one of subjective evaluation value of subjective questionnaire and a non-fuzzy method.

본 발명의 다른 측면에 따르면, 가시광선 얼굴 영상, 열화상 얼굴 영상 및 주관적 설문평가 중 적어도 하나를 입력하는 데이터 입력 단계, 상기 가시광선 얼굴 영상 및 열화상 얼굴 영상 중 적어도 하나에서 얼굴 특징점 변화 값 및 얼굴 온도 값을 검출하는 공포심리 특징 산출 단계, 상기 얼굴 특징점 변화 값, 얼굴 온도 값 및 주관적 설문평가 수치 값 중 적어도 하나를 정규화하는 공포심리 특징 정규화 단계 및 정규화된 얼굴 특징점 변화 값, 얼굴 온도 값 및 주관적 설문평가 수치 값 중 적어도 하나를 비퍼지화 방법을 통해 공포 강도를 평가하는 공포심리 평가 단계를 포함하는 공포심리 평가 방법이 제공된다.According to another aspect of the present invention, there is provided an image processing method comprising: inputting at least one of a visible ray facial image, a thermal image facial image, and a subjective questionnaire evaluation; a facial feature point change value in at least one of the visible ray facial image and the thermal image facial image; A fear psychological characteristic normalization step of normalizing at least one of the facial feature point change value, the face temperature value, and the subjective question evaluation value, and the normalized facial feature point change value, the face temperature value, There is provided a fear psychological evaluation method including a fear psychological evaluation step of evaluating the fear strength through at least one of the subjective questionnaire evaluation numerical values through the non-fuzzification method.

본 발명은 비접촉식 센서를 이용하여 사용자의 거부감 없이 사용자의 공포심리를 평가할 수 있다.The present invention can evaluate a user's fear psychology without the user's discomfort using a non-contact type sensor.

또한, 본 발명은 복수의 공포심리 특징의 상관 관계 합을 이용하여 사용자가 느끼는 공포 강도를 비퍼지화 방법을 통해 평가함으로써, 단일 공포심리 특징을 이용할 경우 보다 정확하게 공포심리를 평가할 수 있다.In addition, the present invention evaluates the fear intensity felt by a user using a correlation sum of a plurality of fear psychological characteristics through a non-fuzzy method, thereby evaluating fear psychology more accurately when using a single fear psychological feature.

도 1은 본 발명의 일 실시 예에 따른 공포심리 평가 장치를 예시한 도면.
도 2는 본 발명의 일 실시예에 따른 공포심리 특징 산출부를 설명하기 위한 도면.
도 3 및 도 4는 본 발명의 일 실시 예에 따른 공포심리 평가 방법을 예시한 도면들.
도 5는 본 발명의 일 실시예에 따라 페이스 트랙커(Face Tracker)를 이용하여 얼굴 특징점을 검출한 결과를 예시한 도면.
도 6은 본 발명의 일 실시 예에 따라 가시광선 얼굴 영상에서 검출된 관심 영역을 열화상 얼굴 영상으로 매핑한 결과를 예시한 도면.
도 7은 본 발명의 일 실시 예에 따른 비퍼지화 방법의 입력 멤버쉽 함수와 출력 멤버쉽 함수를 예시한 도면.
도 8은 본 발명의 일 실시 예에 따라 기 정의된 퍼지 논리 테이블을 예시한 도면.
도 9는 본 발명의 일 실시 예에 따른 비퍼지화 방법을 통해 퍼지 출력값을 도출하는 과정을 예시한 도면.
도 10은 본 발명의 일 실시 예에 따른 퍼지 결과값과 단일 공포심리 특징값의 상관 관계 평균(Correlation Average)을 통해 정확성을 비교한 결과.BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 illustrates a fear psychological evaluation apparatus according to an embodiment of the present invention. FIG.
2 is a view for explaining a fear psychological characteristic calculating unit according to an embodiment of the present invention.
3 and 4 are views illustrating a fear psychological evaluation method according to an embodiment of the present invention.
5 is a diagram illustrating a result of detecting facial feature points using a face tracker according to an embodiment of the present invention.
FIG. 6 is a diagram illustrating a result of mapping a region of interest detected in a visible ray facial image to a thermal image of a face in accordance with an embodiment of the present invention; FIG.
FIG. 7 illustrates an input membership function and an output membership function of a non-fuzzy method according to an embodiment of the present invention; FIG.
Figure 8 illustrates a predefined fuzzy logic table in accordance with one embodiment of the present invention.
9 is a diagram illustrating a process of deriving a purge output value through a non-fuzzy method according to an embodiment of the present invention.
FIG. 10 is a result of comparing the accuracy with the correlation average of the fuzzy result value and the single fear psychological characteristic value according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시 예를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나 이는, 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다. 또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.While the present invention has been described in connection with certain exemplary embodiments, it is to be understood that the invention is not limited to the disclosed embodiments, but, on the contrary, is intended to cover various modifications and similarities. It is to be understood, however, that the invention is not to be limited to the specific embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, the present invention will be described in detail with reference to the accompanying drawings. In addition, numerals (e.g., first, second, etc.) used in the description of the present invention are merely an identifier for distinguishing one component from another. Also, in this specification, when an element is referred to as being "connected" or "connected" with another element, the element may be directly connected or directly connected to the other element, It should be understood that, unless an opposite description is present, it may be connected or connected via another element in the middle.

이하, 본 발명의 실시 예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings. In order to facilitate a thorough understanding of the present invention, the same reference numerals are used for the same means regardless of the number of the drawings.

도 1은 본 발명의 일 실시 예에 따른 공포심리 평가 장치를 예시한 도면이다.1 is a view illustrating a fear psychological evaluation apparatus according to an embodiment of the present invention.

도 1을 참조하면, 공포심리 평가 장치(100)는 데이터 입력부(110), 공포심리 특징 산출부(120), 공포심리 특징 정규화부(130), 공포심리 평가부(140)를 포함한다. Referring to FIG. 1, a fear psychological evaluation apparatus 100 includes a data input unit 110, a fear psychological feature calculating unit 120, a fear psychological feature normalization unit 130, and a fear psychological evaluation unit 140.

데이터 입력부(110)는 가시광선 얼굴 영상, 열화상 얼굴 영상 및 주관적 설문 평가 정보를 입력한다. 여기서 가시광선 얼굴 영상 및 열화상 얼굴 영상은 가시광선 카메라의 렌즈 중심과 열화상 카메라의 렌즈 중심을 Y축(세로 방향)으로 일치시켜 광 축이 평행하도록 결합된 영상 입력 장치에 의해 입력 받을 수 있다. 주관적 설문평가 정보는 사용자가 느끼는 공포의 단계를 1에서 5단계로 책정한 수치 정보일 수 있다. The data input unit 110 inputs the visible light face image, the thermal face image, and subjective question evaluation information. Here, the visible ray facial image and the thermal image facial image can be inputted by the image input device coupled with the optical axis parallel so that the center of the lens of the visible ray camera and the center of the lens of the thermal imaging camera are aligned on the Y axis . The subjective questionnaire evaluation information may be the numerical information in which the level of fear experienced by the user is divided into 1 to 5 levels.

공포심리 특징 산출부(120)는 데이터 입력부(110)에서 입력한 가시광선 얼굴 영상에서 얼굴 특징점을 검출하여 눈썹 움직임 변화 값 및 입꼬리 움직임 변화 값을 산출한다. 또한, 공포심리 특징 산출부(120)는 데이터 입력부(110)에서 입력한 열화상 얼굴 영상에서 관심 영역을 지정하고, 지정된 관심 영역의 픽셀값을 평균화하여 얼굴 온도 값을 산출한다. 공포심리 특징 산출부(120)에 대해서는 이하 도 2에서 더욱 상세히 설명하기로 한다.The fear psychology feature calculating unit 120 detects facial feature points in the visible light face image input from the data input unit 110 to calculate the eyebrow motion change value and the tail motion change value. In addition, the fear psychological characteristic calculating unit 120 specifies a region of interest in the thermal image input from the data input unit 110, calculates a face temperature value by averaging pixel values of a designated region of interest. The fear psychological characteristic calculating unit 120 will be described later in more detail with reference to FIG.

공포심리 특징 정규화부(130)는 공포심리 특징 산출부(120)에서 산출된 눈썹 움직임 변화 값, 입꼬리 움직임 변화 값 및 얼굴 온도 값을 0에서 1 사이의 값으로 정규화한다. 또한, 공포심리 특징 정규화부(130)는 정규화 된 눈썹 움직임 변화 값, 입꼬리 움직임 변화 값 및 얼굴 온도 값의 상호 관계 합(Correlation sum)을 산출한다. 본 발명의 일 실시 예에 따른 공포심리 특징 정규화부(130)는 데이터 입력부(110)에서 입력한 주관적 설문평가의 수치를 정규화하고, 정규화된 주관적 설문평가의 수치 값, 눈썹 움직임 변화 값, 입꼬리 움직임 변화 값 및 얼굴 온도 값의 상호 관계 합(Correlation sum)을 산출할 수 있다.The fear psychological characteristic normalization unit 130 normalizes the eyebrow motion change value, the tail motion change value, and the face temperature value calculated by the fear psychological characteristic calculation unit 120 to a value between 0 and 1. In addition, the fear psychological characteristic normalization unit 130 calculates a correlation sum of the normalized eyebrow motion change value, the tail motion change value, and the face temperature value. The fear psychological characteristic normalization unit 130 according to an exemplary embodiment of the present invention normalizes the numerical value of the subjective questionnaire evaluation input from the data input unit 110 and outputs the numerical value of the normalized subjective questionnaire evaluation, The correlation value of the change value and the face temperature value can be calculated.

공포심리 평가부(140)는 정규화된 특징 값 및 상호 관계 합을 기 설정된 퍼지 논리에 기초하여 공포심리 추정치를 산출하고, 산출된 공포심리 추정치를 비퍼지화 하여 출력된 결과를 통해 사용자가 느끼는 공포의 강도를 평가한다.The fear psychological evaluation unit 140 calculates the fear psychological estimates based on the normalized feature values and the correlation sum based on the predetermined fuzzy logic, and fuzzifies the calculated fear psychological estimates and outputs the fear Is evaluated.

도 2는 본 발명의 일 실시예에 따른 공포심리 특징 산출부를 설명하기 위한 도면이다.2 is a view for explaining a fear psychological characteristic calculating unit according to an embodiment of the present invention.

도 2를 참조하면, 공포심리 특징 산출부(120)는 얼굴 특징점 검출부(121), 얼굴 특징점 변화값 산출부(122), 관심 영역 검출부(123), 얼굴 온도값 산출부(124)을 포함한다.2, the fear psychological characteristic calculation unit 120 includes a face feature point detection unit 121, a facial feature point variation value calculation unit 122, a region of interest detection unit 123, and a face temperature value calculation unit 124 .

얼굴 특징점 검출부(121)는 입력된 가시광선 얼굴 영상에서 코끝, 입 꼬리 및 눈썹 점을 검출한다. 얼굴 특징점 검출부(121)는 예를 들어, 오픈 소스인 페이스 트랙커(Face Tracker)를 이용하여 입력된 가시광선 얼굴 영상에서 얼굴 특징점을 검출하고, 검출된 얼굴 특징점에서 코끝, 입 꼬리 및 눈썹 점을 선택할 수 있다.The facial feature point detection unit 121 detects the nose, mouth, tail and eyebrow points in the input visible ray facial image. The facial feature point detection unit 121 detects facial feature points in the visible ray facial image input by using, for example, an open source facial tracker, and selects the nose tip, mouth tail and eyebrow point from the detected facial feature points .

얼굴 특징점 변화값 산출부(122)는 얼굴 특징점 검출부(121)에서 검출된 코끝, 입꼬리 및 눈썹 점을 기반으로 유클리드 거리(Euclidean distance)를 이용하여 입꼬리 움직임 변화 값 및 눈썹 움직임 변화 값을 산출한다. 얼굴 특징점 변화값 산출부(122)는 예를 들어, n개의 프레임마다 입꼬리 점을 검출하여 입꼬리 점 사이의 유클리드 거리를 산출하고, 현재 프레임과 이전 프레임 간의 유클리드 거리 차이값을 평균화하여 입꼬리 움직임 변화 값을 산출할 수 있다. 또한, 얼굴 특징점 변화값 산출부(122)는 n개의 프레임마다 코끝 및 복수의 눈썹 점을 검출하여 코끝과 각각의 눈썹 점의 유클리드 거리를 산출하고, 현재 프레임과 이전 프레임 간의 유클리드 거리 차이값을 평균화하여 눈썹 움직임 변화 값을 산출할 수 있다.The facial feature point change value calculation unit 122 calculates a facial motion change value and an eyebrow motion change value using the Euclidean distance based on the nose tip, mouth tip, and eyebrow point detected by the facial feature point detection unit 121. [ For example, the facial feature point change value calculation unit 122 may calculate the Euclidean distance between the mouth points by detecting the entrance point for every n frames, average the Euclidean distance difference value between the current frame and the previous frame, Can be calculated. The facial feature point change value calculation unit 122 calculates the Euclidean distance between the nose tip and each eyebrow point by detecting the tip of the nose and a plurality of eyebrow points for every n frames and averages the Euclidean distance difference value between the current frame and the previous frame The eyebrow movement change value can be calculated.

관심 영역 검출부(123)는 입력된 가시광선 얼굴 영상 및 열화상 얼굴 영상에서 관심 영역을 검출한다. 여기서 관심 영역은 미간, 양쪽 눈 및 양쪽 빰 영역을 포함한다. 관심 영역 검출부(122)는 예를 들어, 먼저, 가시광선 얼굴 영상에서 관심 영역을 검출하고, 관심 영역의 위치 좌표를 캘리브레이션(Calibration)기반의 기하학 변환(Geometric Transform) 방식을 이용하여 열화상 얼굴 영상으로 이동시킬 수 있다. 본 발명의 일 실시 예에 따른 관심 영역 검출부(123)는 Adaptive Template Matching, Ada-boost(Adaptive Boosting), SIFT(Scale-invariant Feature Transform), SURF(Speeded Up Robust Features), Cam-shift(Continuously Adaptive Mean Shift) 및 Rapid Eye Detection 중 적어도 하나와 같은 방법을 이용하여 관심 영역을 검출할 수 있다.The region of interest detector 123 detects the region of interest in the inputted visible ray facial image and the thermal image facial image. Here, the region of interest includes the interphase, both eyes, and both regions. For example, first, the ROI detecting unit 122 detects a region of interest in a visible ray facial image, and calculates a position coordinate of the ROI using a calibration-based geometric transformation method, . The ROI detecting unit 123 according to an exemplary embodiment of the present invention may be configured to detect an ROI using Adaptive Template Matching, Ada-boost (Adaptive Boosting), Scale-invariant Feature Transform (SIFT), Speed Up Robust Features (SURF) Mean Shift) and Rapid Eye Detection to detect a region of interest.

얼굴 온도값 산출부(124)는 열화상 얼굴 영상에서 관심영역의 픽셀값을 평균화하여 얼굴 온도 값을 산출한다.The face temperature value calculation unit 124 calculates the face temperature value by averaging the pixel values of the ROI in the thermal image.

도 3 및 도 4는 본 발명의 일 실시 예에 따른 공포심리 평가 방법을 예시한 도면들이다.3 and 4 are views illustrating a fear psychological evaluation method according to an embodiment of the present invention.

도 3을 참조하면, 공포심리 평가 방법(200)은 데이터 입력 단계(S210), 공포심리 특징 산출 단계(S220), 공포심리 특징 정규화 단계(S230), 공포심리 평가 단계(S240)를 포함한다.Referring to FIG. 3, the fear psychological evaluation method 200 includes a data input step S210, a fear psychological feature calculation step S220, a fear psychological feature normalization step S230, and a fear psychological evaluation step S240.

단계 S210에서 공포심리 평가 장치(100)는 가시광선 얼굴 영상, 열화상 얼굴 영상 및 주관적 설문평가 정보를 입력한다. 여기서 가시광선 얼굴 영상 및 열화상 얼굴 영상은 가시광선 카메라의 렌즈 중심과 열 화상 카메라의 렌즈 중심을 Y축(세로 방향)으로 일치시켜 광 축이 평행하도록 결합된 영상 입력 장치에 의해 입력할 수 있다. 주관적 설문평가는 사용자가 느끼는 공포의 단계를 1에서 5단계로 책정하여 수치를 입력할 수 있다. In step S210, the fear psychological evaluation apparatus 100 inputs the visible light face image, the thermal face image, and the subjective question evaluation information. Here, the visible ray facial image and the thermal image facial image can be input by an image input device in which the center of the lens of the visible ray camera is aligned with the center of the lens of the infrared ray camera in the Y axis (longitudinal direction) . Subjective questionnaire evaluation can input the numerical value by setting the level of fear that user feels from 1 to 5.

단계 S220에서 공포심리 평가 장치(100)는 단계 S210에서 입력한 가시광선 얼굴 영상 및 열화상 얼굴 영상에서 눈썹 움직임 변화 값, 입꼬리 움직임 변화 값 및 얼굴 온도 값을 산출한다. In step S220, the fear psychological evaluation apparatus 100 calculates the eyebrow movement change value, the tail motion change value, and the face temperature value in the visible light ray face image and the thermal image face image input in step S210.

도 4를 참조하면, 단계 S220은 얼굴 특징점 검출 단계(S221), 얼굴 특징점 변화 값 산출 단계(S222), 관심영역 검출 단계(S223), 관심영역 맵핑 단계(S224), 관심영역의 얼굴 온도 값 산출 단계(S225)를 더 포함한다.Referring to FIG. 4, step S220 includes a face feature point detection step S221, a face feature point variation value calculation step S222, a ROI detection step S223, a ROI mapping step S224, Step S225.

단계 S221에서 공포심리 평가 장치(100)는 입력된 가시광선 얼굴 영상의 n개의 프레임마다 얼굴 특징점을 검출한다. 여기서 얼굴 특징점은 코끝, 입꼬리 및 복수의 눈썹 점을 포함한다.In step S221, the fear psychological evaluation apparatus 100 detects facial feature points for every n frames of the inputted visible ray face image. The facial feature points include nose, mouth and plural eyebrow points.

단계 S222에서 공포심리 평가 장치(100)는 단계 S221에서 검출된 입꼬리 점 사이의 유클리드 거리(Euclidean distance)를 산출하고, 현재 프레임과 이전 프레임 간의 유클리드 거리 차이값을 평균화하여 입꼬리 움직임 변화 값을 산출한다. In step S222, the fear psychological evaluation apparatus 100 calculates the Euclidean distance between the tail points detected in step S221, and averages the Euclidean distance difference value between the current frame and the previous frame to calculate a mouth-tail motion change value .

단계 S222에서 공포심리 평가 장치(100)는 또한, 단계 S221에서 검출된 코끝 점과 각각의 눈썹 점 사이의 유클리드 거리(Euclidean distance)를 산출하고, 현재 프레임과 이전 프레임 간의 유클리드 거리 차이값을 평균화하여 눈썹 움직임 변화 값을 산출한다. In step S222, the fear psychological evaluation apparatus 100 also calculates the Euclidean distance between the nose point and each eyebrow point detected in step S221, and averages the Euclidean distance difference value between the current frame and the previous frame Eyebrow movement change value is calculated.

단계 S223에서 공포심리 평가 장치(100)는 단계 S210에서 입력한 가시광선 얼굴 영상에서 관심 영역으로 지정한다. 여기서 관심 영역은 미간, 양쪽 눈, 양쪽 빰의 영역을 포함한다.In step S223, the fear psychological evaluation apparatus 100 designates the visible ray face image input in step S210 as a region of interest. Here, the region of interest includes the regions between the eyes, both eyes, and both eyes.

단계 S224에서 공포심리 평가 장치(100)는 단계 S223에서 검출된 관심 영역의 위치 좌표를 캘리브레이션(Calibration)기반의 기하학 변환(Geometric Transform) 방식을 이용하여 열화상 얼굴 영상에 매핑한다.In step S224, the fear psychological evaluation apparatus 100 maps the position coordinates of the ROI detected in step S223 to the thermal face image using a calibration-based geometric transformation method.

단계 S225에서 공포심리 평가 장치(100)는 단계 S224에서 열화상 얼굴 영상에 매핑된 관심 영역의 픽셀값을 평균화하여 얼굴 온도 값을 산출한다.In step S225, the fear psychological evaluation apparatus 100 calculates a face temperature value by averaging the pixel values of the ROI mapped to the thermal face image in step S224.

다시 도 3을 참조하면, 단계 S230에서 공포심리 평가 장치(100)는 단계 S220에서 검출된 얼굴 특징값을 0에서 1 사이의 값으로 정규화한다. 단계 S230에서 공포심리 평가 장치(100)는 정규화된 얼굴 특징값 간의 상관 관계 합(Correlation sum)을 산출하는 단계를 더 포함할 수 있다.Referring again to FIG. 3, in step S230, the fear psychological evaluation apparatus 100 normalizes the face feature value detected in step S220 to a value between 0 and 1. In step S230, the fear psychological evaluation apparatus 100 may further include a step of calculating a correlation sum between the normalized facial feature values.

단계 S240에서 공포심리 평가 장치(100)는 단계 S230에서 정규화된 특징 값 및 상관 관계 합을 기 설정된 퍼지 논리에 기초하여 공포심리 추정치를 산출하고, 산출된 공포심리 추정치를 비퍼지화 하여 출력된 결과를 통해 사용자가 느끼는 공포의 강도를 평가한다.In step S240, the fear psychological evaluation apparatus 100 calculates a fear psychological estimate based on the predetermined fuzzy logic based on the normalized feature value and the correlation sum in step S230, and outputs the output result To assess the intensity of the user's fear.

도 5는 본 발명의 일 실시예에 따라 페이스 트랙커(Face Tracker)를 이용하여 얼굴 특징점을 검출한 결과를 예시한 도면이다. 5 is a diagram illustrating a result of detecting facial feature points using a face tracker according to an embodiment of the present invention.

도 5를 참조하면, 공포심리 평가 장치(100)는 입력된 가시광선 얼굴 영상의 프레임 마다 페이스 트랙커(Face Tracker)를 이용하여 얼굴 특징점을 검출하고, 검출된 얼굴 특징점에서 공포심리를 분석할 수 있는 특징점을 선택하여 얼굴 특징점 변화 값을 산출한다.Referring to FIG. 5, the fear psychological evaluation apparatus 100 detects facial feature points by using a face tracker for each frame of an inputted visible ray facial image, and analyzes fear fear from the detected facial feature points A feature point is selected to calculate a facial feature point change value.

예를 들면, 공포심리 평가 장치(100)는 검출된 얼굴 특징점에서 입 꼬리를 나타내는 48번과 54번을 선택하여, 선택한 48번 위치 좌표와 54번 위치 좌표의 유클리드 거리를 산출하고, 매 프레임 마다 산출된 유클리드 거리의 총합을 프레임 수로 나누어 입 꼬리 움직임 특징 값을 산출할 수 있다.For example, the fear psychological evaluation apparatus 100 selects the 48th and 54th mouth tails from the detected facial feature points, calculates the Euclidean distance between the selected 48th position coordinate and the 54th position coordinate, The mouth tail motion feature value can be calculated by dividing the sum of the calculated Euclidean distances by the number of frames.

또한, 공포심리 평가 장치(100)는 검출된 얼굴 특징점에서 눈썹 점을 나타내는 17번 내지 26번과 코끝 점을 나타내는 30번을 선택하여, 선택한 17번 내지 26번 위치 좌표 각각은 30번 위치 좌표와의 유클리드 거리를 산출하고, 매 프레임 마다 산출된 유클리드 거리의 총합을 프레임 수로 나누어 눈썹 움직임 특징값을 산출할 수 있다.In addition, the fear psychological evaluation apparatus 100 selects 17th to 26th points representing eyebrow points and 30th point representing a nose end point in the detected facial feature points, and each of the 17th to 26th position coordinates selected is position coordinate And the eyebrow movement feature value can be calculated by dividing the sum of the Euclidean distances computed every frame by the number of frames.

도 6은 본 발명의 일 실시 예에 따라 가시광선 얼굴 영상에서 검출된 관심 영역을 열화상 얼굴 영상으로 매핑한 결과를 예시한 도면이다. 6 is a diagram illustrating a result of mapping a region of interest detected in a visible light face image to a thermal face image according to an embodiment of the present invention.

도 6을 참조하면, 공포심리 평가 장치(100)는 도 6의 (a)와 같이 가시광선 얼굴 영상에서 검출된 미간, 양쪽 눈, 양쪽 빰의 영역을 캘리브레이션(Calibration)기반의 기하학 변환(Geometric Transform) 방식을 이용하여 도 6의 (b)와 같이 열화상 얼굴 영상에 매핑할 수 있다.Referring to FIG. 6, the fear psychological evaluation apparatus 100 performs a calorimetric-based geometric transformation on an area between the eyes, both eyes, and both eyes detected in the visible ray facial image as shown in FIG. 6 (a) ) Method, as shown in FIG. 6 (b).

본 발명의 일 실시 예에 따른 공포심리 평가 장치(100)는 도 6의 (b)와 같이 열화상 얼굴 영상에 매핑된 미간, 양쪽 눈, 양쪽 빰의 영역의 픽셀값을 평균화하여 얼굴 온도 값을 산출할 수 있다. The fear psychological evaluation apparatus 100 according to the embodiment of the present invention averages pixel values of a region between the left eye, the right eye, and the left eye mapped to the thermal face image as shown in FIG. 6 (b) Can be calculated.

도 7은 본 발명의 일 실시 예에 따른 비퍼지화 방법의 입력 멤버쉽 함수와 출력 멤버쉽 함수를 예시한 도면이다.7 is a diagram illustrating an input membership function and an output membership function of the non-fuzzy method according to an embodiment of the present invention.

도 7을 참조하면, 공포심리 평가 장치(100)는 도 7의 (a)입력 멤버쉽 함수로 공포심리 특징값을 입력받아 L(Low) 또는 H(High)으로 멤버쉽 값을 출력한다. 여기서, 입력 멤버쉽 함수는 예를 들면, 특징값이 0.5 이하이면 L(Low)을 멤버쉽 값으로 출력한다. 또한, 입력 멤버쉽 함수는 특징값이 0.5 이상이면 H(High)를 멤버쉽 값으로 출력한다. Referring to FIG. 7, the fear psychological evaluation apparatus 100 receives the fear psychological feature value using the input membership function of FIG. 7 (a) and outputs the membership value as L (Low) or H (High). Here, the input membership function outputs, for example, L (Low) as a membership value if the feature value is 0.5 or less. In addition, the input membership function outputs H (High) as a membership value when the feature value is 0.5 or more.

공포심리 평가 장치(100)는 도 7의 (b)출력 멤버쉽 함수로 입력 멤버쉽 함수에서 출력된 멤버쉽 값과 공포심리 특징값의 상관 관계 합을 종합하여 L(Low), M(Medium) 또는 H(High)로 분류함으로써 퍼지 결과값을 출력한다. 여기서, 출력 멤버쉽 함수는 예를 들면, 특징값의 상관 관계 합이 0.5이하일 때, 멤버쉽 값이 L이면 0, H이면 0.5를 부여한다. 출력 멤버쉽 함수는 특징값의 상관 관계 합이 0.5 미만일 때, 멤버쉽 값이 L이면 0, H이면 0.25를 부여한다. 또한, 출력 멤버쉽 함수는 네 가지 특징값에 대해 부여된 멤버쉽 값의 합이 0.75 미만이면 퍼지 결과값을 L(Low)로 분류한다. 출력 멤버쉽 함수는 네 가지 특징값에 대한 입력 멤버쉽 함수의 결과값의 합이 0.75 이상 1.0 미만이면, 퍼지 결과를 M(Medium)으로 분류한다. 출력 멤버쉽 함수는 네 가지 특징값에 대한 입력 멤버쉽 함수의 결과 값의 합이 1.0 이상이면, 퍼지 결과 값을 H(High)로 분류할 수 있다.The fear psychological evaluation apparatus 100 synthesizes the correlation sum of the membership value outputted from the input membership function and the fear psychological feature value by the output membership function of FIG. 7 (b), and obtains L (Low), M (Medium) High) to output the fuzzy result value. Here, the output membership function is given, for example, when the correlation sum of the feature values is 0.5 or less, 0 when the membership value is L, and 0.5 when H is the H value. The output membership function assigns 0 if the correlation value is less than 0.5, 0.25 if the membership value is L, and 0 if the correlation value is less than 0.5. Also, the output membership function classifies the fuzzy result value as L (Low) if the sum of the membership values given to the four feature values is less than 0.75. The output membership function classifies the fuzzy results as M (Medium) if the sum of the results of the input membership function for the four feature values is 0.75 or more and less than 1.0. The output membership function can classify the fuzzy result value as H (High) if the sum of the results of the input membership function for the four feature values is 1.0 or more.

도 8은 본 발명의 일 실시 예에 따라 기 정의된 퍼지 논리 테이블을 예시한 도면이다.Figure 8 illustrates a predefined fuzzy logic table in accordance with an embodiment of the present invention.

도 8을 참조하면, 출력 멤버쉽 함수는 네 가지 특징값의 상관 관계 합 및 멤버쉽 값에 따라 퍼지 결과값을 정의할 수 있다.Referring to FIG. 8, the output membership function may define a fuzzy result value according to a correlation sum and a membership value of four feature values.

도 9는 본 발명의 일 실시 예에 따른 비퍼지화 방법을 통해 퍼지 출력값을 도출하는 과정을 예시한 도면이다.9 is a diagram illustrating a process of deriving a purge output value through a non-fuzzy method according to an embodiment of the present invention.

도 9에서 (a)를 참조하면, 공포심리 평가 장치(100)는 입력 멤버쉽 함수로 복수개의 멤버쉽 값이 출력되면 큰 값을 선택할 수 있다. 공포심리 평가 장치(100)는 예를 들어, 입력 멤버쉽 함수는 입력된 공포심리 특징값이 0.3826이면, 출력된 멤버쉽 값은 "H, 0.3826" 및 "L, 0.6174"이 될 수 있다. 이때, "0.6174"값이 "0.3826" 값보다 더 크므로, 입력 멤버쉽 함수의 출력값은 "L, 0.6174"이 선택될 수 있다.Referring to FIG. 9 (a), the fear psychological evaluation apparatus 100 can select a large value when a plurality of membership values are output by the input membership function. For example, if the input membership function is 0.3826, the output membership value may be "H, 0.3826" and " L, 0.6174 " At this time, since the value of "0.6174" is larger than the value of "0.3826", the output value of the input membership function can be selected as "L, 0.6174".

도 9에서 (b)를 참조하면, 공포심리 평가 장치(100)는 출력 멤버쉽 함수로 최종적인 퍼지 결과값을 추론하기 위해 비퍼지화 방법 중 FOM(first of maximum)를 이용할 수 있다. 공포심리 평가 장치(100)는 예를 들어, 출력 멤버쉽 함수로 입력된 값이 0.65일 때, FOM(first of maxima), MOM (middle of Maxima), LOM (last of maxima), COG(center of gravity), BOA (bisector of area) 방법을 통해 w1, w2, w3 및 w4의 퍼지 출력값을 도출할 수 있다. 이때, 본 발명의 일 실시 예에 따른 공포심리 평가 장치(100)는 w1에 해당하는 값을 퍼지 출력값으로 선택할 수 있다. 결론적으로 선택된 퍼지 출력값은 공포심리의 강도를 수치를 나타내며, 이를 통해 사용자가 느끼는 공포심리를 평가할 수 있다.Referring to FIG. 9 (b), the fear psychological evaluation apparatus 100 can use the first of maximum (FOM) of the non-fuzzy method to deduce the final fuzzy result with the output membership function. The fear psychological evaluation apparatus 100 may calculate the fear of the user by, for example, when the value inputted as the output membership function is 0.65, the FOM (first of maxima), the middle of Maxima, the last of maxima (LOM) ), And a BOA (bisector of area) method, the fuzzy output values of w1, w2, w3, and w4 can be derived. At this time, the fear psychological evaluation apparatus 100 according to an embodiment of the present invention can select a value corresponding to w1 as a fuzzy output value. In conclusion, the selected fuzzy output value represents the intensity of the fear psychology, and it can evaluate the fear psychology that the user feels.

도 10은 본 발명의 일 실시 예에 따른 퍼지 결과값과 단일 공포심리 특징값의 상관 관계 평균(Correlation Average)을 통해 정확성을 비교한 결과이다. FIG. 10 is a result of comparing the accuracy with the correlation average of the fuzzy result value and the single fear psychological characteristic value according to an embodiment of the present invention.

도 10을 참조하면, 설문조사의 상관 관계 평균은 0.257168, 얼굴온도 의 상관 관계 평균은 0.372076, 입꼬리 움직임의 상관 관계 평균은 0.345325, 눈썹움직임의 상관 관계 평균은 0.10581, 퍼지 결과의 상관 관계 평균은 0.427293이다. 즉, 복수의 공포심리 특징을 비퍼지화 방법을 통해 공포심리를 평가하는 것이 단일 공포심리 특징을 이용할 경우 보다 정확함을 알 수 있다.Referring to FIG. 10, the correlation average of the questionnaire was 0.257168, the correlation of the face temperature was 0.372076, the correlation average of the mouth tail motion was 0.345325, the correlation average of the eyebrow movement was 0.10581, and the correlation average of the fuzzy results was 0.427293 to be. In other words, it is more accurate to evaluate the fear psychology through the non-fuzzification method than to use the single fear psychological feature.

본 발명의 실시 예에 따른 장치 및 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 컴퓨터 판독 가능 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The apparatus and method according to embodiments of the present invention may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium. The computer readable medium may include program instructions, data files, data structures, and the like, alone or in combination. Program instructions to be recorded on a computer-readable medium may be those specially designed and constructed for the present invention or may be available to those skilled in the computer software arts. Examples of computer-readable media include magnetic media such as hard disks, floppy disks, and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Includes hardware devices specifically configured to store and execute program instructions such as magneto-optical media and ROM, RAM, flash memory, and the like. The above-mentioned medium may also be a transmission medium such as a light or metal wire, wave guide, etc., including a carrier wave for transmitting a signal designating a program command, a data structure and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the present invention, and vice versa.

이제까지 본 발명에 대하여 그 실시 예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시 예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The embodiments of the present invention have been described above. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

100: 공포심리 평가 장치
110: 데이터 입력부
120: 공포심리 특징 산출부
130: 공포심리 특징 정규화부
140: 공포심리 평가부100: Fear psychological evaluation device
110: Data input unit
120: Fear Psychological Feature Calculator
130: Fear Psychological Feature Normalization Unit
140: Fear Psychology Assessment Department

Claims (16)

공포심리 평가 장치에 있어서,
가시광선 얼굴 영상, 열화상 얼굴 영상 및 주관적 설문평가 정보 중 적어도 하나를 입력하는 데이터 입력부;
상기 가시광선 얼굴 영상 및 열화상 얼굴 영상 중 적어도 하나에서 얼굴 특징점 변화 값 및 얼굴 온도 값을 산출하는 공포심리 특징 산출부;
상기 얼굴 특징점 변화 값, 얼굴 온도 값 및 주관적 설문평가 정보 중 적어도 하나를 정규화하는 공포심리 특징 정규화부; 및
정규화된 얼굴 특징점 변화 값, 얼굴 온도 값 및 주관적 설문평가 정보 중 적어도 하나를 비퍼지화 방법을 통해 공포 강도를 평가하는 공포심리 평가부를 포함하되,
상기 공포심리 특징 산출부는
n개의 프레임마다 입꼬리 점을 검출하여 입꼬리 점 사이의 유클리드 거리(Euclidean distance)를 산출하고, 현재 프레임과 이전 프레임 간의 유클리드 거리 차이값을 평균화하여 입꼬리 움직임 변화 값을 산출하고,
상기 주관적 설문평가 정보는 사용자가 느끼는 공포를 단계로 책정한 수치 정보인 공포심리 평가 장치.
In a fear psychological evaluation apparatus,
A data input unit for inputting at least one of a visible light face image, an infrared image face image, and subjective questionnaire evaluation information;
A fear psychological feature calculating unit for calculating a face feature point change value and a face temperature value in at least one of the visible light face image and the thermal image face image;
A fear psychological characteristic normalizing unit for normalizing at least one of the face minutia change value, the face temperature value, and the subjective questionnaire evaluation information; And
And a fear psychological evaluation unit for evaluating the fear intensity through at least one of the normalized facial feature point change value, the face temperature value, and the subjective question evaluation information by a defuzzification method,
The fear psychological characteristic calculating section
the Euclidean distance between the mouth edges is calculated by detecting the mouth point of each n frames, the Euclidean distance difference value between the current frame and the previous frame is averaged to calculate the mouth opening motion variation value,
Wherein the subjective questionnaire evaluation information is numerical information in which the fear felt by the user is determined in stages.
삭제delete 제1항에 있어서,
상기 공포심리 특징 산출부는
n개의 프레임마다 코끝 및 복수의 눈썹 점을 검출하여 코끝과 각각의 눈썹 점 사이의 유클리드 거리(Euclidean distance)를 산출하고, 현재 프레임과 이전 프레임 간의 유클리드 거리 차이값을 평균화하여 눈썹 움직임 변화 값을 산출하는 공포심리 평가 장치.
The method according to claim 1,
The fear psychological characteristic calculating section
a nose tip and a plurality of eyebrow points are detected for every n frames to calculate a Euclidean distance between the nose tip and each eyebrow point and a difference in Euclidean distance between the current frame and the previous frame is averaged to calculate a change in eyebrow motion value A fear psychological evaluation device.
제1항에 있어서,
상기 공포심리 특징 산출부는
상기 가시광선 얼굴 영상에서 관심 영역(Region of interest)을 지정하고, 지정된 관심 영역의 위치 좌표를 캘리브레이션(Calibration)기반의 기하학 변환(Geometric Transform) 방식을 통해 열화상 얼굴 영상으로 이동하는 공포심리 평가 장치.
The method according to claim 1,
The fear psychological characteristic calculating section
A fear psychological evaluation device that specifies a region of interest in the visible light face image and moves the position coordinates of the specified region of interest to a thermal face image through a geometric transformation based on a calibration, .
제4항에 있어서,
상기 관심 영역은 미간, 양쪽 눈 및 양쪽 빰 영역 중 적어도 하나를 포함하는 공포심리 평가 장치.
5. The method of claim 4,
Wherein the region of interest comprises at least one of a balance, both eyes, and both fingers.
제4항에 있어서,
상기 공포심리 특징 산출부는
상기 열화상 얼굴 영상으로 이동된 관심 영역의 픽셀 평균값으로 얼굴 온도 값을 산출하는 공포심리 평가 장치.
5. The method of claim 4,
The fear psychological characteristic calculating section
And calculating a face temperature value from the pixel average value of the ROI moved to the thermal face image.
제1항에 있어서,
상기 공포심리 특징 정규화부는
정규화된 눈썹 움직임 변화 값, 입꼬리 움직임 변화 값, 얼굴 온도 값 및 주관적 설문평가 수치 값 중 적어도 하나의 상관 관계 합(Correlation Sum)을 산출하는 단계를 더 포함하는 공포심리 평가 장치.
The method according to claim 1,
The fear psychological characteristic normalization unit
Further comprising the step of calculating a correlation sum of at least one of a normalized eyebrow motion change value, a mouthpiece motion change value, a face temperature value, and a subjective questionnaire evaluation numerical value.
제1항에 있어서,
상기 공포심리 평가부는
Center of gravity, First of maximum, Last of maximum, Middle of maximum, 또는 Bisector of Area 방법 중 어느 하나의 비퍼지화 방법을 이용하여 공포심리 강도를 평가하는 공포심리 평가 장치.
The method according to claim 1,
The fear psychological evaluation unit
A fear psychological evaluation device that evaluates the fear psychological strength using any one of the following methods: center of gravity, first of maximum, last of maximum, middle of maximum, or bisector of area.
공포심리 평가 장치에서 공포심리를 평가하는 방법에 있어서,
가시광선 얼굴 영상, 열화상 얼굴 영상 및 주관적 설문평가 중 적어도 하나를 입력하는 데이터 입력 단계;
상기 가시광선 얼굴 영상 및 열화상 얼굴 영상 중 적어도 하나에서 얼굴 특징점 변화 값 및 얼굴 온도 값을 검출하는 공포심리 특징 산출 단계;
상기 얼굴 특징점 변화 값, 얼굴 온도 값 및 주관적 설문평가 수치 값 중 적어도 하나를 정규화하는 공포심리 특징 정규화 단계; 및
정규화된 얼굴 특징점 변화 값, 얼굴 온도 값 및 주관적 설문평가 수치 값 중 적어도 하나를 비퍼지화 방법을 통해 공포 강도를 평가하는 공포심리 평가 단계를 포함하되,
상기 공포심리 특징 산출 단계는
n개의 프레임마다 입꼬리 점을 검출하여 입꼬리 점 사이의 유클리드 거리(Euclidean distance)를 산출하고, 현재 프레임과 이전 프레임 간의 유클리드 거리 차이값을 평균화하여 입꼬리 움직임 변화 값을 산출하되,
상기 주관적 설문평가 정보는 사용자가 느끼는 공포를 단계로 책정한 수치 정보인 공포심리 평가 방법.
A method for evaluating fear psychology in a fear psychological evaluation apparatus,
A data input step of inputting at least one of a visible light face image, an infrared image face image, and a subjective questionnaire evaluation;
A fear psychological characteristic calculating step of detecting a face characteristic point change value and a face temperature value in at least one of the visible light face image and the thermal image face image;
A normalizing step of normalizing at least one of the facial feature point change value, the facial temperature value, and the subjective questionnaire evaluation numerical value; And
And a fear psychological evaluation step of evaluating the fear intensity through at least one of a normalized face feature point change value, a face temperature value, and a subjective questionnaire evaluation numerical value through a defuzzification method,
The fear psychological characteristic calculating step
the Euclidean distance between the mouth edges is calculated by detecting a tail point for every n frames, the Euclidean distance difference value between the current frame and the previous frame is averaged to calculate a mouth opening motion change value,
Wherein the subjective questionnaire evaluation information is numerical information in which the fear felt by the user is determined in stages.
삭제delete 제9항에 있어서,
상기 공포심리 특징 산출 단계는
n개의 프레임마다 코끝 및 복수의 눈썹 점을 검출하여 코끝과 각각의 눈썹 점의 유클리드 거리(Euclidean distance)를 산출하고, 현재 프레임과 이전 프레임 간의 유클리드 거리 차이값을 평균화하여 눈썹 움직임 변화 값을 산출하는 공포심리 평가 방법.
10. The method of claim 9,
The fear psychological characteristic calculating step
a nose tip and a plurality of eyebrow points are detected for every n frames to calculate the Euclidean distance between the nose tip and each eyebrow point and the Euclidean distance difference value between the current frame and the previous frame is averaged to calculate the eyebrow motion change value Fear psychological evaluation method.
제9항에 있어서,
상기 공포심리 특징 산출 단계는
상기 가시광선 얼굴 영상에서 관심 영역(Region of interest)을 지정하고, 지정된 관심 영역의 위치 좌표를 캘리브레이션(Calibration)기반의 기하학 변환(Geometric Transform) 방식을 통해 열화상 얼굴 영상으로 이동하는 단계를 더 포함하는 공포심리 평가 방법.
10. The method of claim 9,
The fear psychological characteristic calculating step
Designating a region of interest in the visible light facial image and moving the positional coordinates of the specified region of interest to a thermal face image through a calibration based geometric transformation method Fear Psychological Assessment Method.
제12항에 있어서,
상기 공포심리 특징 산출 단계는
상기 열화상 얼굴 영상으로 이동된 관심 영역의 픽셀 평균값으로 얼굴 온도 값을 산출하는 공포심리 평가 방법.
13. The method of claim 12,
The fear psychological characteristic calculating step
And calculating a face temperature value from the pixel average value of the ROI moved to the thermal face image.
제9항에 있어서,
상기 공포심리 특징 정규화 단계는
정규화된 눈썹 움직임 변화값, 입꼬리 움직임 변화 값, 얼굴 온도 값 및 주관적 설문평가 수치 값 중 적어도 하나의 상관 관계 합(Correlation Sum)을 산출하는 공포심리 평가 방법.
10. The method of claim 9,
The fear psychological feature normalization step
A correlation sum of at least one of a normalized eyebrow motion change value, a mouthpiece motion change value, a face temperature value, and a subjective questionnaire evaluation numerical value.
제9항에 있어서,
상기 공포심리 평가 단계는
Center of gravity, First of maximum, Last of maximum, Middle of maximum, 또는 Bisector of Area 방법 중 어느 하나의 비퍼지화 방법을 이용하여 공포심리 강도를 평가하는 공포심리 평가 방법.
10. The method of claim 9,
The fear psychological evaluation step
A fear psychological evaluation method for evaluating the fear psychological strength using one of the following methods: center of gravity, first of maximum, last of maximum, middle of maximum, or bisector of area method.
삭제delete
KR1020160149842A 2016-11-10 2016-11-10 Device and method for fear psychological evaluation KR101842986B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160149842A KR101842986B1 (en) 2016-11-10 2016-11-10 Device and method for fear psychological evaluation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160149842A KR101842986B1 (en) 2016-11-10 2016-11-10 Device and method for fear psychological evaluation

Publications (1)

Publication Number Publication Date
KR101842986B1 true KR101842986B1 (en) 2018-03-28

Family

ID=61901664

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160149842A KR101842986B1 (en) 2016-11-10 2016-11-10 Device and method for fear psychological evaluation

Country Status (1)

Country Link
KR (1) KR101842986B1 (en)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837930A (en) * 2021-09-24 2021-12-24 重庆中科云从科技有限公司 Face image synthesis method and device and computer readable storage medium

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507081B1 (en) * 2014-05-23 2015-04-01 동국대학교 산학협력단 Apparatus and method for estimating age
KR101595546B1 (en) * 2014-10-07 2016-02-19 동국대학교 산학협력단 Apparatus, method and program for measuring visual fatigue

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101507081B1 (en) * 2014-05-23 2015-04-01 동국대학교 산학협력단 Apparatus and method for estimating age
KR101595546B1 (en) * 2014-10-07 2016-02-19 동국대학교 산학협력단 Apparatus, method and program for measuring visual fatigue

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113837930A (en) * 2021-09-24 2021-12-24 重庆中科云从科技有限公司 Face image synthesis method and device and computer readable storage medium
CN113837930B (en) * 2021-09-24 2024-02-02 重庆中科云从科技有限公司 Face image synthesis method, device and computer readable storage medium

Similar Documents

Publication Publication Date Title
Cohn et al. Feature-point tracking by optical flow discriminates subtle differences in facial expression
El Kaliouby et al. Real-time inference of complex mental states from facial expressions and head gestures
Ilbeygi et al. A novel fuzzy facial expression recognition system based on facial feature extraction from color face images
Cohen et al. Facial expression recognition from video sequences: temporal and static modeling
KR101725651B1 (en) Identification apparatus and method for controlling identification apparatus
KR102668240B1 (en) Method and device for estimating physical state of a user
US8325981B2 (en) Human tracking apparatus, human tracking method, and human tracking processing program
Vasquez et al. Deep detection of people and their mobility aids for a hospital robot
US9779286B2 (en) Feature point location estimation device, feature point location estimation method, and feature point location estimation program
CN109670406B (en) Non-contact emotion recognition method for game user by combining heart rate and facial expression
CN111291701B (en) Sight tracking method based on image gradient and ellipse fitting algorithm
JP2012190159A (en) Information processing device, information processing method, and program
KR20140134803A (en) Apparatus and method for gesture recognition using multiclass Support Vector Machine and tree classification
Robinson et al. Human-autonomy sensor fusion for rapid object detection
KR101089847B1 (en) Keypoint matching system and method using SIFT algorithm for the face recognition
US20070253598A1 (en) Image monitoring apparatus
KR101842986B1 (en) Device and method for fear psychological evaluation
Dixit et al. Multi-feature based automatic facial expression recognition using deep convolutional neural network
CN116092157A (en) Intelligent facial tongue diagnosis method, system and intelligent equipment
Baptista-Ríos et al. Human activity monitoring for falling detection. A realistic framework
García et al. Dynamic facial landmarking selection for emotion recognition using Gaussian processes
Lee et al. Recognition of facial emotion through face analysis based on quadratic bezier curves
KR20230077560A (en) Appartus of providing service customized on exhibit hall and controlling method of the same
Vezhnevets Method for localization of human faces in color-based face detectors and trackers
JP6991401B2 (en) Information processing equipment, programs and information processing methods

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant