KR20180015792A - 공포 심리 분석 시스템 및 방법 - Google Patents
공포 심리 분석 시스템 및 방법 Download PDFInfo
- Publication number
- KR20180015792A KR20180015792A KR1020160099169A KR20160099169A KR20180015792A KR 20180015792 A KR20180015792 A KR 20180015792A KR 1020160099169 A KR1020160099169 A KR 1020160099169A KR 20160099169 A KR20160099169 A KR 20160099169A KR 20180015792 A KR20180015792 A KR 20180015792A
- Authority
- KR
- South Korea
- Prior art keywords
- region
- fear
- value
- feature region
- face
- Prior art date
Links
Images
Classifications
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
- A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
- A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
-
- A—HUMAN NECESSITIES
- A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
- A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
- A61B5/00—Measuring for diagnostic purposes; Identification of persons
- A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
- A61B5/7271—Specific aspects of physiological measurement analysis
Landscapes
- Health & Medical Sciences (AREA)
- Life Sciences & Earth Sciences (AREA)
- Engineering & Computer Science (AREA)
- Veterinary Medicine (AREA)
- Pathology (AREA)
- Biophysics (AREA)
- Biomedical Technology (AREA)
- Heart & Thoracic Surgery (AREA)
- Medical Informatics (AREA)
- Molecular Biology (AREA)
- Surgery (AREA)
- Animal Behavior & Ethology (AREA)
- General Health & Medical Sciences (AREA)
- Public Health (AREA)
- Physics & Mathematics (AREA)
- Psychiatry (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Physiology (AREA)
- Artificial Intelligence (AREA)
- Signal Processing (AREA)
- Child & Adolescent Psychology (AREA)
- Developmental Disabilities (AREA)
- Educational Technology (AREA)
- Hospice & Palliative Care (AREA)
- Psychology (AREA)
- Social Psychology (AREA)
- Measuring And Recording Apparatus For Diagnosis (AREA)
- Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)
Abstract
발명은 공포 심리 분석 시스템 및 방법에 관한 것으로, 더욱 상세하게는 열화상 영상의 온도를 분석하여 공포 심리를 추정하는 공포 심리 분석 장치 및 방법에 관한 것이다. 본 발명은 열 영상의 온도 변화 데이터만을 사용하여 보다 빠르고 간편하게 공포 심리를 추정할 수 있다. 또한, 본 발명은 비접촉식 장치를 사용하여 사용자의 거부감 없이 공포 심리를 추정할 수 있다. 또한, 본 발명은 열영상에서 주변 온도 변화 및 상태 변화에 따른 얼굴의 온도 변화를 고려하여 공포 심리 추정 성능을 향상 시킬 수 있다.
Description
본 발명은 공포 심리 분석 시스템 및 방법에 관한 것으로, 더욱 상세하게는 열화상 영상의 온도를 분석하여 공포 심리를 추정하는 공포 심리 분석 시스템 및 방법에 관한 것이다.
공포 심리 분석은 범죄 예방, 보안, 감시 등의 다양한 목적으로 사용된다. 하지만, 복수의 센서 및 장치를 이용한 분석 방법은 복수의 입력 신호를 분석해야 함으로 처리속도가 저하되는 문제점이 있다. 또한, 복수의 센서 및 장치를 이용한 분석 방법은 센서 및 장치를 사용자 몸에 부착 혹은 착용하기 때문에 사용자의 거부감을 유발시킨다.
본 발명의 배경기술은 일본 공개특허 제2012-181711호 (2014.02.27 공개, 생체 상태 관찰 시스템, 생체 상태 관찰 방법, 및 프로그램)에 개시되어 있다.
본 발명은 보다 빠르고 간편하게 공포 심리를 추정하는 공포 심리 분석 시스템 및 방법을 제공하는 것이다.
또한, 본 발명은 사용자의 거부감 없이 공포 심리를 추정하는 공포 심리 분석 시스템 및 방법을 제공하는 것이다.
본 발명의 일 측면에 따르면, 공포 심리 분석 장치가 제공된다.
본 발명의 실시 예에 따른 공포 심리 분석 시스템은 얼굴 영역에 대한 가시광선 영상 및 열화상 영상을 동시에 생성하는 영상 입력 장치, 주변 온도 변화를 고려한 얼굴의 온도와 편차 변화에 따라 공포 심리를 추정하는 공포 심리 분석 장치를 포함할 수 있다.
상기 영상 입력 장치는 가시광선 카메라와 열화상 카메라를 결합한 장치일 수 있다.
상기 공포 심리 분석 장치는, 상기 영상 입력 장치에서 가시광선 영상 및 상기 열화상 영상을 입력받아, 상기 가시광선 영상에서 얼굴 특징 영역을 검출하고, 검출한 상기 얼굴 특징 영역을 상기 열화상 영상에 매핑하는 얼굴 특징 영역 검출부와 상기 열화상 영상에서 상기 매핑된 얼굴 특징 영역과 얼굴 주변 영역의 온도 값을 측정하는 관심 영역 온도 검출부, 사전에 개인별 초기 상태 데이터를 기준으로 주변 환경 변화(실내, 실외, 냉난방) 및 상태 변화(공포 영화 시청, 신체 활동)에 따른 온도 변화 데이터를 비교, 분석하여 공포 심리 추정 데이터를 산출하는 온도 변화 분석부 및 상기 산출된 공포 심리 추정 데이터를 통해 공포 심리를 추정하는 공포 심리 추정부; 를 포함하여 공포 심리를 추정할 수 있다.
상기 공포 심리 추정 데이터를 산출하는 단계는, 상기 가시광선 영상에서 얼굴 특징 영역을 검출하는 단계, 검출한 상기 얼굴 특징 영역을 상기 열화상 영상에 매핑(Mapping)하는 단계, 상기 열화상 영상에서 상기 매핑한 얼굴 특징 영역의 온도 값을 검출하는 단계, 상기 열화상 영상에서 얼굴 주변 영역의 온도 값을 검출하는 단계, 사전에 개인별 초기 상태(Initial State) 데이터를 기준으로 주변 환경 변화 및 상태 변화에 따른 얼굴의 온도 및 편차 변화를 분석하는 단계를 포함할 수 있다.
본 발명의 다른 측면에 따르면, 공포 심리 분석 장치가 동시에 취득한 가시광선 영상과 열화상 영상을 이용하여 공포 심리 분석을 수행하는 방법이 개시될 수 있다.
본 발명의 실시예에 따른 공포 심리 분석 방법은 상기 가시광선 영상 및 상기 열화상 영상을 입력받아 분석하고, 얼굴 특징 영역을 검출하는 단계, 관심 영역의 온도를 검출하는 단계, 관심 영역의 온도 변화 및 편차 변화에 따른 공포 심리 추정 데이터를 산출하고 온도 변화를 분석하는 단계, 분석된 온도 변화 데이터 이용하여 공포 심리를 추정하는 단계를 포함할 수 있다.
본 발명은 열 영상의 온도 변화 데이터만을 사용하여 보다 빠르고 간편하게 공포 심리를 추정할 수 있다.
또한, 본 발명은 비접촉식 장치를 사용하여 사용자의 거부감 없이 공포 심리를 추정할 수 있다.
또한, 본 발명은 열영상에서 주변 온도 변화 및 상태 변화에 따른 얼굴의 온도 변화를 고려하여 공포 심리 추정 성능을 향상 시킬 수 있다.
도 1 내지 도 3은 본 발명의 일 실시 예에 따른 공포 심리 분석 장치를 개략적으로 설명하기 위한 도면들.
도 4는 본 발명의 일 실시예에 따른 공포 심리 분석 장치를 설명하기 위한 도면.
도 5 내지 도 9는 본 발명의 일 실시예에 따른 공포 심리 분석 방법을 설명하기 위한 도면들.
도 4는 본 발명의 일 실시예에 따른 공포 심리 분석 장치를 설명하기 위한 도면.
도 5 내지 도 9는 본 발명의 일 실시예에 따른 공포 심리 분석 방법을 설명하기 위한 도면들.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어, 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 본 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제1, 제2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다. 또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면 번호에 상관없이 동일한 수단에 대해서는 동일한 참조 번호를 사용하기로 한다.
도 1 내지 도 3은 본 발명의 일 실시 예에 따른 공포 심리 분석 시스템 개략적으로 설명하기 위한 도면들이다.
도 1을 참조하면, 공포 심리 분석 시스템은 영상 입력 장치(100)와 공포 심리 분석 장치(200)를 포함한다.
영상 입력 장치(100)는 얼굴과 얼굴 주변 영역에 대한 가시광선 영상 및 열화상 열상을 동시에 생성한다. 영상 입력 장치(100)는 생성된 가시광선 영상 및 열화상 영상을 공포 심리 분석 장치(200)로 전달한다.
공포 심리 분석 장치(200)는 영상 입력 장치로부터 입력 받은 가시광선 영상 및 열화상 영상에서 얼굴의 온도와 편차 변화 및 주변 온도에 따른 공포 심리를 빠르고, 간편하게 추정할 수 있다.
도 2는 본 발명의 일 실시 예에 따른 영상 입력 장치의 기능을 예시한 도면이다.
도 2를 참조하면, 영상 입력 장치(100)는 가시광선 영상 생성부(110)와 열화상 영상 생성부(120)을 포함한다.
가시광선 영상 생성부(110)는 얼굴과 얼굴 주변 영역에 대한 가시광선 영상을 생성한다. 가시광선 영상 생성부(110)는 예를 들면, 가시광선 카메라일 수 있다.
열화상 영상 생성부(120)는 얼굴과 얼굴 주변 영역에 대한 열화상 영상을 생성한다. 열화상 영상 생성부(120)는 예를 들면, 열화상 카메라일 수 있다. 여기서, 열화상 영상은 열화상 카메라에서 감지한 열에너지를 밝기 값으로 표현되어 나타낼 수 있다. 열화상 영상은 예를 들면, 8비트로 0부터 255까지 밝기 값으로 표현될 수 있다. 즉, 열화상 영상은 온도가 없는 배경 영역의 경우는 어둡게 취득되며, 온도가 있는 대상체의 영역의 경우 밝게 취득된다는 특징이 있다.
도 3을 참조하면, 영상 입력 장치(100)는 가시광선 카메라(310)와 열화상 카메라(320)를 결합한 장치(300)로서, 가시광선 영상과 열화상 영상을 동시에 생성할 수 있다. 또한, 가시광선 카메라(310)와 열화상 카메라(320)를 결합한 장치(300)는 비접촉식 방식으로 얼굴 및 얼굴 주변 영상을 생성하기 때문에 사용자의 거부감이 없다. 가시광선 카메라(310) 및 열 화상 카메라(320)는 가시광선 카메라(310)의 렌즈 중심과 열 화상 카메라(320)의 렌즈 중심을 Y축(세로 방향)으로 일치시켜 광 축이 평행하도록 결합할 수 있다.
도 4는 본 발명의 일 실시예에 따른 공포 심리 분석 장치를 설명하기 위한 도면이다.
도 4를 참조하면, 공포 심리 분석 장치(200)는 얼굴 특징 영역 검출부(210), 관심 영역 온도 검출부(220), 온도 변화 분석부(230) 및 공포 심리 추정부(240)을 포함한다.
얼굴 특징 영역 검출부(210)는 가시광선 영상 생성부(110)와 열화상 영상 생성부(120)로부터 얼굴 영역에 대한 가시광선 영상 및 열화상 영상을 입력받아 특징 영역을 검출한다. 얼굴 특징 영역 검출부(210)는 가시광선 영상의 얼굴 특징 영역을 열화상 영상의 좌표로 변환하여 입력된 열화상 영상에 매핑하고, 입력된 열화상 영상의 매핑 영역에 대하여 얼굴 특징 영역을 검출한다.
관심 영역 온도 검출부(220)는 얼굴 특징 영역을 기반으로 얼굴 주변 환경에 대한 온도 값을 검출한다. 얼굴 특징 영역들의 위치를 기반으로 얼굴 및 얼굴 주변의 위치를 관심 영역으로 지정하여, 관심 영역의 온도 값을 평균값, 최대값, 최소값 등으로 산출할 수 있다. 여기서, 얼굴 특징 영역은 예를 들면, 열화상 영상에서 얼굴 영역, 코, 눈, 눈썹, 뺨, 이마, 귀, 목, 입 등 일 수 있다.
온도 변화 분석부(230)는, 관심 영역에서 검출한 온도 값들을 이용하여 얼굴 및 얼굴 주변의 온도와 편차 변화를 분석한다. 예를 들어, 온도 변화 분석부(230)는 관심 영역의 온도 변화를 분석할 수 있으며, 관심 영역의 온도 변화는 평균값, 최대값, 최소값 등을 이용하여 공포 심리 추정 데이터를 산출할 수 있다.
공포 심리 추정부(240)는, 상기 단계에서 분석된 공포 심리 추정 데이터를 이용하여 사용자의 공포 심리를 추정한다. 예를 들어, 심리 상태가 공포감을 많이 느끼게 되었을 때, 맥박이 급격히 빨라지거나 얼굴의 특정 영역에서 온도가 높아지거나 낮아지는 특징이 있다. 따라서, 공포 심리 추정부(240)는 귀, 목, 및 볼과 같은 얼굴의 특정 영역에 온도가 높아지거나, 급격하게 변하는 특징들을 이용하여, 공포 심리를 추정할 수 있다.
도 5 내지 도 9는 본 발명의 일 실시예에 따른 공포 심리 분석 방법을 설명하기 위한 도면들이다.
도 5를 참조하면, 단계 S510에서 공포 심리 분석 장치는 가시광선 카메라를 이용하여 가시광선 영상을 생성한다.
단계 S520에서 공포 심리 분석 장치는 열화상 카메라를 이용하여 열화상 영상을 생성한다.
단계 S530에서 공포 심리 분석 장치는 단계 S510에서 생성된 가시광선 영상을 이용하여 얼굴 특징 영역을 검출한다. 예를 들어, 가시광선 영상에서 얼굴 영역, 코, 눈, 눈썹, 뺨, 이마, 귀, 목, 입 등과 같은 얼굴 특징 영역들은 Adaptive Template Matching, Ada-boost(Adaptive Boosting), SIFT(Scale-invariant Feature Transform), SURF(Speeded Up Robust Features), Cam-shift(Continuously Adaptive Mean Shift), Rapid Eye Detection 등과 같은 방법을 이용하여 검출할 수 있다.
단계 S540에서 공포 심리 분석 장치는 단계 S530에서 검출한 얼굴 특징 영역을 열화상 영상에 매핑한다. 예를 들어, 가시광선 영상에서 검출한 얼굴 영역, 코, 눈, 눈썹, 뺨, 이마, 귀, 목, 입 등과 같은 얼굴 특징 영역들은 캘리브레이션(Calibration)기반의 기하학 변환(Geometric Transform) 방식 등을 이용하여 열화상 영상에 매핑할 수 있다.
도 7을 참조하면, 도 7의 710 영상은 가시광선 카메라에서 획득한 영상으로, 빨간색 박스 영역은 얼굴 영역, 코, 눈, 목, 광대 등이 위치한 영역이다. 그리고, 도 7의 720 영상은 열화상 카메라가 획득한 영상으로 빨간색 박스 영역은 앞서 전술한 바와 같이, 가시광선 영상에서 검출한 얼굴 특징 영역을 열화상 영상에 매핑한 결과이다. 도 7의 720영상에서 파란색 박스는 얼굴 주변 온도를 검출하기 위해 지정한 영역을 예시한 것이다.
도 8을 참조하면, 공포 심리 분석장치는 열화상 영상에 매핑된 얼굴 특징 영역을 기반으로 다양한 상태 변화에서 온도 값을 검출한다. 도 8의 810 영상, 830 영상 및 850 영상은 개인의 초기 상태(Initial State)의 열화상 영상이다. 도 8의 820 영상, 840 영상 및 860 영상은 각각 신체활동상태, 냉방가동상태, 및 공포심리상태와 같은 상태 변화가 있는 열화상 영상이다.
공포 심리 분석 장치는 810 내지 860과 같은 열화상 영상에서 지정한 관심 영역의 온도 값을 검출하여 분석한다.
단계 S550에서 공포 심리 분석 장치는 열화상 영상에 매핑된 얼굴 특징 영역을 기반으로 얼굴 주변 환경에 대한 온도 값을 검출한다. 예를 들어, 공포 심리 분석 장치는 열화상 영상에 매핑된 얼굴 주변 전체 또는 얼굴 주변 부분 영역의 픽셀 값을 평균값, 최대값, 최소값 중 하나로 산출하여 얼굴 주변 환경의 온도 변화 데이터를 취득할 수 있고, 이를 공포 심리 추정 데이터로 사용할 수 있다.
단계 S560에서 공포 심리 분석 장치는 열화상 영상에 매핑된 얼굴 특징 영역을 기반으로 얼굴 특징 영역의 온도 값을 검출한다. 예를 들어, 공포 심리 분석 장치는 열화상 영상에 매핑된 얼굴 특징 영역의 픽셀 값을 평균값, 최대값, 최소값 중 하나로 산출하여 얼굴 특징 영역의 온도 값을 취득하고, 이를 공포 심리 추정 데이터로 사용할 수 있다.
단계 S570에서 공포 심리 분석 장치는 상기 단계 S550과 S560에서 취득한 공포 심리 추정 데이터를 분석한다. 예를 들어, 공포 심리 분석 장치는 얼굴 주변 환경 영역과 얼굴 특징 영역의 온도값 변화를 픽셀값의 평균값, 분산값, 표준편차값, 최대값, 최소값 중 적어도 하나를 이용하여 편차 변화를 분석할 수 있고, 이를 최종적인 공포 심리 추정 데이터로 사용한다.
단계 S580 및 단계 S590에서 공포 심리 분석 장치는 상기 단계 S570에서 취득한 최종적인 공포 심리 추정 데이터를 사전에 취득한 개인별 초기 상태 데이터와 비교하여 공포 심리를 추정한다.
보다 상세하게 도 6을 참조하면, 일 실시예에 따른 공포 심리 분석 장치는 단계 S591에서 개인별 초기 상태 데이터(이하, 초기 데이터)에서 얼굴 주변 영역(이하, 배경 영역)의 평균값 및 표준편차값과 최종적인 공포 심리 추정 데이터(이하, 추정 데이터)에서 배경 영역의 평균값 및 표준편차 값을 비교한다.
단계 S592에서 공포 심리 분석 장치는, 단계 S591에서 비교 결과, 초기 데이터에서 배경 영역의 평균값 및 표준편차 값과 추정 데이터에서 배경 영역의 평균값 및 표준편차 값이 유사하면, 초기 데이터에서 얼굴 특징 영역(이하, 얼굴 영역)의 평균값 및 표준편차값과 추정 데이터에서 얼굴 영역의 평균값 및 표준편차값을 비교한다.
단계 S593에서 공포 심리 분석 장치는, 단계 S592에서 비교 결과, 추정 데이터에서 얼굴 영역의 평균값 및 표준편차값이 초기 데이터에서 얼굴 영역의 평균값 및 표준편차값 보다 작으면, 사용자가 공포 심리를 느끼는 것으로 추정한다.
단계 S594에서 공포 심리 분석 장치는, 단계 S592에서 비교 결과, 추정 데이터의 평균값 및 표준편차값이 초기 데이터에서 얼굴 영역의 평균값 및 표준편차값 보다 작지 않으면, 초기 데이터에서 얼굴 영역의 평균값과 표준편차값을 각각 비교한다.
단계 S595에서 공포 심리 분석 장치는, 단계 S594에서 비교결과, 추정 데이터의 평균값 및 표준편차값이 초기 데이터에서 얼굴 영역의 평균값 보다 작고, 표준편차값 보다 크면, 사용자가 신체 활동 중인 것으로 추정한다.
단계 S596에서 공포 심리 분석 장치는, 단계 S591에서 비교 결과, 초기 데이터에서 배경 영역의 평균값 및 표준편차값과 추정 데이터에서 배경 영역의 평균값 및 표준편차 값이 유사하지 않으면, 초기 데이터에서 배경 영역의 평균값과 표준편차값을 각각 비교한다.
단계 S597에서 공포 심리 분석 장치는, 단계 S596에서 비교 결과, 추정 데이터에서 배경 영역의 평균값 및 표준편차값이 초기 데이터에서 배경 영역의 평균값 보다 작고, 표준편차값보다 크면, 초기 데이터에서 얼굴 영역의 평균값과 표준편차값을 각각 비교한다.
단계 S598에서 공포 심리 분석 장치는, 단계 S597에서 비교 결과, 추정 데이터에서 얼굴 영역의 평균값 및 표준편차값이 초기 데이터에서 얼굴 영역의 평균값 보다 작고, 표준편차값 보다 크면, 사용자 주변 환경이 냉방 가동 상태인 것으로 추정한다.
일반적으로 공포감을 많이 느끼게 되면 맥박이 급격히 빨라지거나, 얼굴의 특정 영역의 온도가 낮아지는 특징이 있다. 따라서, 공포 심리 분석 장치는 귀, 목, 및 볼과 같은 얼굴의 특정 영역의 온도가 초기 상태 보다 낮아지는 특징을 이용하여 공포 심리 추정 데이터를 산출할 수 있다.
따라서, 일 실시예에 따른 공포 심리 분석 장치는, 도 9를 참조하여 예를 들면, 최종적인 공포 심리 추정 데이터와 초기 상태 데이터에서 특징 영역의 온도를 대체하는 픽셀의 평균값과 표준편차값을 비교하여 공포 심리를 추정할 수 있다.
도 9는 공포 심리 추정 장치를 이용하여 사용자에게 자극(운동, 공포, 냉방 상태의 방 등)을 제시하기 전후의 상태에서 취득한 데이터를 비교한 그래프이다.
910과 920에서 초기데이터는 공포 심리 추정 장치를 이용하여 사용자가 공포 영화를 시청하기 전에 취득한 열영상에서 검출한 특징 영역의 픽셀값을 평균값과 표준편차값으로 산출한 공포 심리 추정 데이터이다.
910과 920에서 추정데이터는 공포 심리 추정 장치를 이용하여 사용자가 공포 영화를 시청한 후에 취득한 열영상에서 검출한 특징 영역의 픽셀값을 평균값과 표준편차값으로 산출한 공포 심리 추정 데이터이다.
실시 예에 따른 공포 심리 분석 장치는 910과 920을 참조하면, 추정데이터와 초기데이터에서 배경(오른쪽, 왼쪽) 영역의 평균값이 유사하고, 추정데이터에서 배경 영역 및 얼굴 특징 영역(미간, 오른쪽눈, 왼쪽눈, 오른쪽뺨, 왼쪽뺨)의 평균값과 표준편차값이 초기데이터에서 배경 영역 및 얼굴 특징 영역의 평균값과 표준편차값 보다 낮으면, 사용자가 공포 심리를 느끼는 것으로 추정할 수 있다.
930과 940에서 초기데이터는 공포 심리 추정 장치를 이용하여 사용자가 신체 활동 전에 취득한 열영상에서 검출한 특징 영역의 픽셀값을 평균값과 표준편차값으로 산출한 공포 심리 추정 데이터이다.
930과 940에서 추정데이터는 공포 심리 추정 장치를 이용하여 사용자가 신체 활동 후에 취득한 열영상에서 검출한 특징 영역의 픽셀값을 평균값과 표준편차값으로 산출한 공포 심리 추정 데이터이다.
실시 예에 따른 공포 심리 분석 장치는 930과 940을 참조하면, 추정데이터에서 배경 영역의 평균값 및 표준편차값이 초기데이터에서 배경 영역의 평균값 및 표준편차값과 같고, 추정데이터에서 얼굴 특징 영역의 평균값이 초기데이터에서 얼굴 특징 영역의 평균값보다 낮으며, 추정데이터에서 얼굴 특징 영역의 표준편차값이 초기데이터에서 얼굴 특징 영역의 표준편차값보다 크면, 사용자가 신체 활동을 하는 것으로 추정할 수 있다.
950과 960에서 초기데이터는 공포 심리 추정 장치를 이용하여 사용자가 실내 상온인 방에 있을 때 취득한 열영상에서 검출한 특징 영역의 픽셀값을 평균값과 표준편차값으로 산출한 공포 심리 추정 데이터이다.
950과 960에서 추정데이터는 공포 심리 추정 장치를 이용하여 사용자가 실내 냉방 중인 방에 있을 때 취득한 열영상에서 검출한 특징 영역의 픽셀값을 평균값과 표준편차값으로 산출한 공포 심리 추정 데이터이다.
실시 예에 따른 공포 심리 분석 장치는 950과 960을 참조하면, 추정데이터에서 배경 영역과 얼굴 특징 영역의 평균값이 초기데이터에서 배경 영역과 얼굴 특징 영역의 평균값보다 작고, 추정데이터에서 배경 영역과 얼굴 특징 영역의 표준편차값이 초기데이터에서 배경 영역과 얼굴 특징 영역의 표준편차값보다 크면, 사용자가 실내 냉방 중인 방에 있다는 것으로 추정할 수 있다.
또한, 공포 심리 분석 장치는 Linear Discriminant Analysis, Support Vector Machines, Fuzzy Based Fusion Method, Score Level Fusion, Multi-layer Perceptron 등과 같은 방법을 이용하여 개인별 사전에 취득한 데이터와 공포 심리 분석 장치를 통해 취득한 데이터를 비교 분석할 수 있다. 이를 통해, 얼굴의 온도와 편차 변화 및 주변 온도에 따른 데이터들을 결합 및 차원 축소 등을 할 수 있고, 데이터별 가중치 값을 구하여 접목함으로써 공포 심리 추정 데이터를 분류할 수 있다. 또한, 분류된 공포 심리 추정 데이터는 사전에 취득한 개인별 얼굴 온도 및 편차값과 비교, 분석하여 사용자의 공포 심리 추정 성능을 향상시킬 수 있다.
한편, 본 발명의 실시예에 따른 공포 심리 분석 방법은 다양한 전자적으로 정보를 처리하는 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 저장 매체에 기록될 수 있다. 저장 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 저장 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 소프트웨어 분야 당업자에게 공지되어 사용 가능한 것일 수도 있다. 저장 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 또한 상술한 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 전자적으로 정보를 처리하는 장치, 예를 들어, 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상술한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
상기에서는 본 발명의 바람직한 실시 예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 영상 입력 장치
110: 가시광선 영상 생성부
120: 열화상 영상 생성부
200: 공포 심리 분석 장치
210: 얼굴 특징 영역 검출부
220: 관심 영역 온도 검출부
230: 온도 변화 분석부
240: 공포 심리 추정부
110: 가시광선 영상 생성부
120: 열화상 영상 생성부
200: 공포 심리 분석 장치
210: 얼굴 특징 영역 검출부
220: 관심 영역 온도 검출부
230: 온도 변화 분석부
240: 공포 심리 추정부
Claims (21)
- 입력받은 영상에서 얼굴 특징 영역을 검출하는 얼굴 특징 영역 검출부;
상기 얼굴 특징 영역과 얼굴 주변 영역을 관심 영역으로 지정하여 지정한 영역의 온도를 검출하는 관심 영역 온도 검출부;
상기 관심 영역의 온도를 주변 환경 변화 및 상태 변화에 따른 온도 변화를 분석하는 온도 변화 분석부; 및
상기 온도 변화 값을 이용하여 공포 심리를 추정하는 공포 심리 추정부를 포함하는 공포 심리 분석 시스템. - 제1항에 있어서,
상기 얼굴 특징 영역 검출부는
영상 입력 장치로부터 동시에 생성된 가시광선 영상과 열화상 영상을 이용하여 특징 영역을 검출하는 검출하는 공포 심리 분석 시스템. - 제2항에 있어서,
상기 영상 입력 장치는 가시광선 카메라와 열화상 카메라를 가시광선 카메라의 렌즈 중심과 열 화상 카메라의 렌즈 중심을 일 축으로 일치시켜 광 축이 평행하도록 결합한 장치인 것을 특징으로 하는 공포 심리 분석 시스템. - 제1항에 있어서,
상기 얼굴 특징 영역 검출부는
영상 입력 장치로부터 생성된 가시광선 영상에서 얼굴 특징 영역을 검출하고, 검출된 얼굴 특징 영역을 열화상 영상에 매핑하여, 열화상 영상에서 얼굴 특징 영역을 검출하는 공포 심리 분석 시스템. - 제1항에 있어서,
상기 얼굴 특징 영역 검출부는
영상 입력 장치로부터 생성된 가시광선 영상에서 얼굴 특징 영역을 Adaptive Template Matching, Ada-boost(Adaptive Boosting), SIFT(Scale-invariant Feature Transform), SURF(Speeded Up Robust Features), Cam-shift(Continuously Adaptive Mean Shift), Rapid Eye Detection 중 어느 하나의 방법을 이용하여 검출하는 공포 심리 분석 시스템. - 제1항에 있어서,
상기 얼굴 특징 영역 검출부는
상기 검출된 얼굴 특징 영역을 캘리브레이션(Calibration)기반의 기하학적 변환(Geometric Transform) 방식 등을 이용하여 열화상 영상에 매핑하여, 열화상 영상에서 얼굴 특징 영역을 검출하는 공포 심리 분석 시스템. - 제1항에 있어서,
상기 관심 영역 온도 검출부는
열 영상에서 검출된 얼굴 특징 영역과 얼굴 특징 영역 주변을 관심 영역으로 지정하여, 관심 영역의 온도 값을 대체하는 픽셀값을 평균값, 최대값 및 최소값 중 적어도 하나로 산출하는 공포 심리 분석 시스템. - 제1항에 있어서,
상기 온도 변화 분석부는
상기 주변 환경 변화 및 상태 변화에 따른 얼굴 영역의 온도 편차 변화의 평균값, 분산값, 표준편차값, 최대값 및 최소값 중 하나 이상을 이용하여 공포 심리 추정 데이터를 산출하는 공포 심리 분석 시스템. - 제1항에 있어서,
상기 공포 심리 추정부는
상기 공포 심리 추정 데이터와 사전에 취득한 초기 상태(Initial State) 데이터를 비교하여 공포 심리를 추정하는 공포 심리 분석 시스템. - 제1항에 있어서,
상기 공포 심리 추정부는
상기 산출된 최종적인 공포 심리 추정 데이터를 Linear Discriminant Analysis, Support Vector Machines, Fuzzy Based Fusion Method, Score Level Fusion 및 Multi-layer Perceptron 중 어느 하나의 방법으로 분류하여 공포 심리를 추정하는 공포 심리 분석 시스템. - 공포 심리 분석 장치가 입력된 영상을 이용하여 공포 심리 분석을 수행하는 방법에 있어서,
가시광선 영상과 열화상 영상을 동시에 취득하는 단계;
상기 가시광선 영상에서 얼굴 특징 영역을 검출하는 단계-상기 얼굴 특징 영역은 얼굴 영역, 눈 영역, 눈 밑 영역, 코 영역, 볼 영역 및 목 영역 중 적어도 하나임;
상기 가시광선 영상에서 검출된 얼굴 특징 영역을 상기 열화상 영상에 매핑하는 단계;
상기 열화상 영상에서 주변 환경 온도를 검출하는 단계;
상기 열화상 영상에서 얼굴 특징 영역의 온도를 검출하는 단계;
상기 열화상 영상에서 얼굴 온도 변화를 분석하는 단계;
주변 환경과 개인별 초기 상태 또는 보통 상태 데이터와 비교하는 단계; 및
사용자 상태를 추정하는 단계를 포함하는 공포 심리 분석 방법. - 제11항에 있어서,
상기 가시광선 영상에서 얼굴 특징 영역을 검출하는 단계는
상기 가시광선 영상에서 Adaptive Template Matching, Ada-boost(Adaptive Boosting), SIFT(Scale-invariant Feature Transform), SURF(Speeded Up Robust Features), Cam-shift(Continuously Adaptive Mean Shift) 및 Rapid Eye Detection 중 어느 하나의 방법으로 얼굴 특징 영역을 검출하는 공포 심리 분석 방법. - 제11항에 있어서,
상기 가시광선 영상에서 검출된 얼굴 특징 영역을 상기 열화상 영상에 매핑하는 단계는
상기 가시광선 영상에서 검출된 얼굴 특징 영역을 캘리브레이션 (Calibration)기반의 기하학적 변환(Geometric Transform) 방식을 이용하여 열화상 영상에 매핑하고 열화상 영상에서 얼굴 특징 영역을 검출하는 공포 심리 분석 방법. - 제11항에 있어서,
상기 열화상 영상에서 얼굴 온도 변화를 분석하는 단계는
상기 열화상 영상에서 주변 영역과 얼굴 특징 영역의 온도 값을 대체하는 픽셀값을 평균값, 최대값 및 최소값 중 적어도 하나로 산출하는 공포 심리 분석 방법. - 제11항에 있어서,
상기 열화상 영상에서 얼굴 온도 변화를 분석하는 단계는
상기 주변 환경 온도와 상태 변화에 따른 얼굴 영역의 온도 편차 변화를 평균값, 분산값, 표준편차값, 최대값 및 최소값 중 하나 이상을 이용하여 공포 심리 추정 데이터를 산출하는 공포 심리 분석 방법. - 제11항에 있어서,
주변 환경과 개인별 초기 상태 혹은 보통 상태 데이터와 비교하는 단계는
상기 공포 심리 추정 데이터와 초기 상태 데이터를 비교 및 분석하여 최종적인 공포 심리 추정 데이터를 산출하는 공포 심리 분석 방법. - 제11항에 있어서,
상기 사용자 상태를 추정하는 단계는
상기 공포 심리 추정 데이터와 상기 초기 상태 데이터의 주변 환경 영역 및 얼굴 특징 영역의 평균값, 분산값, 표준편차값, 최대값 및 최소값 중 하나 이상을 비교 및 분석하여 공포 심리를 추정하는 공포 심리 분석 방법. - 제11항에 있어서,
상기 사용자 상태를 추정하는 단계는
상기 공포 심리 추정 데이터와 상기 초기 상태 데이터의 주변 환경 영역 및 얼굴 특징 영역의 평균값, 분산값, 표준편차값, 최대값 및 최소값 중 하나 이상을 비교 및 분석하여 사용자의 신체 활동 상태를 추정하는 공포 심리 분석 방법. - 제11항에 있어서,
상기 사용자 상태를 추정하는 단계는
상기 공포 심리 추정 데이터와 상기 초기 상태 데이터의 주변 환경 영역 및 얼굴 특징 영역의 평균값, 분산값, 표준편차값, 최대값 및 최소값 중 하나 이상을 비교 및 분석하여 사용자의 주변 환경(냉난방) 상태를 추정하는 공포 심리 분석 방법. - 제11항에 있어서,
상기 사용자 상태를 추정하는 단계는
상기 산출된 최종적인 공포 심리 추정 데이터를 Linear Discriminant Analysis, Support Vector Machines, Fuzzy Based Fusion Method, Score Level Fusion, Multi-layer Perceptron 중 어느 하나의 방법으로 분류하여 공포 심리를 추정하는 공포 심리 분석 방법. - 제11항 내지 제20항 중 어느 하나의 공포 심리 분석 방법을 실행하는 컴퓨터가 판독 가능한 기록매체에 기록된 컴퓨터 프로그램.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160099169A KR101877873B1 (ko) | 2016-08-03 | 2016-08-03 | 공포 심리 분석 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160099169A KR101877873B1 (ko) | 2016-08-03 | 2016-08-03 | 공포 심리 분석 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20180015792A true KR20180015792A (ko) | 2018-02-14 |
| KR101877873B1 KR101877873B1 (ko) | 2018-07-13 |
Family
ID=61229597
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160099169A KR101877873B1 (ko) | 2016-08-03 | 2016-08-03 | 공포 심리 분석 시스템 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101877873B1 (ko) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021108822A (ja) * | 2020-01-08 | 2021-08-02 | 長谷川香料株式会社 | 鼻部領域特定装置および感情推定方法 |
| KR20240017050A (ko) * | 2021-08-02 | 2024-02-06 | 성균관대학교산학협력단 | 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101564760B1 (ko) * | 2014-02-04 | 2015-10-30 | 동국대학교 산학협력단 | 범죄 사건의 예측을 위한 영상 처리 장치 및 방법 |
-
2016
- 2016-08-03 KR KR1020160099169A patent/KR101877873B1/ko active IP Right Grant
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021108822A (ja) * | 2020-01-08 | 2021-08-02 | 長谷川香料株式会社 | 鼻部領域特定装置および感情推定方法 |
| KR20240017050A (ko) * | 2021-08-02 | 2024-02-06 | 성균관대학교산학협력단 | 체온 예측 장치 및 방법, 그리고 체온 예측 장치를 학습시키는 방법 |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101877873B1 (ko) | 2018-07-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5841538B2 (ja) | 関心度推定装置および関心度推定方法 | |
| US10909697B2 (en) | Image processing apparatus, monitoring system, image processing method,and program | |
| JP5390322B2 (ja) | 画像処理装置、及び画像処理方法 | |
| US20180081434A1 (en) | Eye and Head Tracking | |
| US9235751B2 (en) | Method and apparatus for image detection and correction | |
| JP4622702B2 (ja) | 映像監視装置 | |
| JP2019532532A (ja) | プライバシーの保護を伴う人物の識別しおよび／または痛み、疲労、気分、および意図の識別および定量化のためのシステムおよび方法 | |
| JP5225870B2 (ja) | 情動分析装置 | |
| EP1703480B1 (en) | System and method to determine awareness | |
| JP5127531B2 (ja) | 画像監視装置 | |
| JP5001930B2 (ja) | 動作認識装置及び方法 | |
| JP6822482B2 (ja) | 視線推定装置、視線推定方法及びプログラム記録媒体 | |
| JP6043933B2 (ja) | 眠気レベルの推定装置、眠気レベルの推定方法および眠気レベルの推定処理プログラム | |
| JP5971712B2 (ja) | 監視装置及び方法 | |
| JP2012022538A (ja) | 注目位置推定方法、画像表示方法、注目コンテンツ表示方法、注目位置推定装置および画像表示装置 | |
| KR101877873B1 (ko) | 공포 심리 분석 시스템 및 방법 | |
| JP2019040306A (ja) | 情報処理装置、情報処理プログラム、及び、情報処理方法 | |
| KR101648786B1 (ko) | 객체 인식 방법 | |
| CN107231519B (zh) | 视频处理装置及控制方法 | |
| JP2009289210A (ja) | 重要物体認識装置および重要物体認識方法ならびにそのプログラム | |
| Pavani et al. | Drowsy Driver Monitoring Using Machine Learning and Visible Actions | |
| Jeoung et al. | Thermal comfort prediction based on automated extraction of skin temperature of face component on thermal image | |
| Hong et al. | Lightweight, low-cost, side-mounted mobile eye tracking system | |
| KR101583774B1 (ko) | 공포 심리 분석 시스템 및 방법 | |
| Soderstrom et al. | Toward emotional recognition during hci using marker-based automated video tracking |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| AMND | Amendment | ||
| X701 | Decision to grant (after re-examination) |