KR20220061619A - 감정 평가 시스템 - Google Patents

감정 평가 시스템 Download PDF

Info

Publication number
KR20220061619A
KR20220061619A KR1020200147795A KR20200147795A KR20220061619A KR 20220061619 A KR20220061619 A KR 20220061619A KR 1020200147795 A KR1020200147795 A KR 1020200147795A KR 20200147795 A KR20200147795 A KR 20200147795A KR 20220061619 A KR20220061619 A KR 20220061619A
Authority
KR
South Korea
Prior art keywords
emotional state
output
user
unit
extracting
Prior art date
Application number
KR1020200147795A
Other languages
English (en)
Inventor
박지웅
김도영
김상원
김윤섭
송윤호
Original Assignee
경기과학기술대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 경기과학기술대학교 산학협력단 filed Critical 경기과학기술대학교 산학협력단
Priority to KR1020200147795A priority Critical patent/KR20220061619A/ko
Publication of KR20220061619A publication Critical patent/KR20220061619A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A61B5/02416—Detecting, measuring or recording pulse rate or heart rate using photoplethysmograph signals, e.g. generated by infrared radiation
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/469—Contour-based spatial representations, e.g. vector-coding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/50—Extraction of image or video features by performing operations within image blocks; by using histograms, e.g. histogram of oriented gradients [HoG]; by summing image-intensity values; Projection analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Theoretical Computer Science (AREA)
  • Molecular Biology (AREA)
  • Biophysics (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • Multimedia (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Pathology (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Psychiatry (AREA)
  • Computational Linguistics (AREA)
  • Dermatology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Cardiology (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Radiology & Medical Imaging (AREA)
  • Physiology (AREA)
  • Nuclear Medicine, Radiotherapy & Molecular Imaging (AREA)
  • Signal Processing (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Acoustics & Sound (AREA)

Abstract

사람의 표정을 보고 감정을 평가할 수 있는 감정 평가 시스템은 사람의 얼굴 표정과 신체 상태를 감지하여 감정 상태를 추출하고, 추출한 감정 상태에 매칭되도록 스트레스 해소가 가능한 대응 패턴을 제공하여 감정 상태에 따라 스트레스 해소 수단을 제공하며, 감정 평가 시스템을 어플로 제조 시 웹사이트 홍보 및 광고를 올려 수익을 창출할 수 있는 효과가 있다.

Description

감정 평가 시스템{System for Evaluating Human Emotion}
본 발명은 감정 평가 시스템에 관한 것으로서, 더욱 상세하게는 사람의 얼굴 표정과 신체 상태를 감지하여 감정 상태를 추출하고, 추출한 감정 상태에 매칭되도록 스트레스 해소가 가능한 대응 패턴을 제공하여 사람의 표정을 보고 감정을 평가할 수 있는 감정 평가 시스템에 관한 것이다.
감정인식기술이란 인간의 감정을 측정하여 이를 분석함으로써 제품 개발이나 환경 설계에 적용하여 인간의 삶의 질적 향상을 도모하는 기술이다. 이는 개인의 경험을 통해 얻어지는 외부 물리적 자극에 대한 쾌적함, 불쾌함, 안락함, 불편함 등의 복합적인 감정을 과학적으로 측정 및 분석하여 이를 공학적으로 적용시켜 제품이나 환경을 변경시키는 기술 분야에 속한다.
이러한 감정인식기술은 인간의 특성을 파악하려는 생체측정기술, 인간의 오감 센서 및 감정 처리 기술, 감정 디자인 기술, 마이크로 가공 기술, 및 사용성 평가나 가상현실 기술 등의 분야로 나눌 수 있다. 감정인식기술은 인간의 생체적 및 심리적 적합성을 고려한 전자 제품 및 소프트웨어 인터페이스 개발에 이용되고 있다.
일반적으로 감정인식기술은 먼저 얼굴 인식 기술을 이용하여 얼굴을 인식하고, 인식된 얼굴 영역의 특징에 따라 인간의 감정을 인식하게 된다.
그러나 얼굴 인식 기술은 얼굴 영역의 눈썹과, 눈, 코, 입의 특징값을 이용하여 얼굴 인식 DB에 저장된 얼굴 사진의 특징점들과 유사도를 비교하여 얼굴을 인식하게 되는데, 카메라의 촬영 각도, 조명의 방향, 자세, 표정의 변화 및 시간에 따른 얼굴의 변화에 따라 다르게 인식할 수 있다.
감정인식기술은 얼굴 인식이 정확하게 수행되지 않으면, 감정을 정확히 파악하기 어려운 단점이 있다.
한국 등록특허번호 제10-2147052호
이와 같은 문제점을 해결하기 위하여, 본 발명은 사람의 얼굴 표정과 신체 상태를 감지하여 감정 상태를 추출하고, 추출한 감정 상태에 매칭되도록 스트레스 해소가 가능한 대응 패턴을 제공하여 사람의 표정을 보고 감정을 평가할 수 있는 감정 평가 시스템을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명의 특징에 따른 감정 평가 시스템은,
얼굴 영상을 촬영하여 얼굴 영상 신호를 생성하는 카메라 모듈;
상기 카메라 모듈로부터 수신한 얼굴 영상 신호에서 윤곽선, 눈썹과 눈, 코와 입, 턱의 얼굴 특징점들(Facial Landmarks)을 벡터값으로 추출하는 특징 추출부;
감정 상태에 따른 얼굴 사진의 특징점 데이터를 저장하는 얼굴 인식 데이터베이스부;
상기 얼굴 인식 데이터베이스부와 연동하여 학습에 사용하지 않은 입력 데이터로 상기 추출된 얼굴 특징점들을 얼굴 특징점들의 위치와 크기 변화에 대응되는 감정 상태(기쁨, 슬픔, 두려움, 화남, 짜증, 편안, 불안, 나른)를 추정하여 그 사람의 감정 상태를 출력하는 딥러닝 연산부; 및
상기 특징 추출부에서 추출한 얼굴 특징점들과 상기 얼굴 인식 데이터베이스부에 저장된 얼굴 사진의 각 특징점 데이터와 비교하여 매칭 결과를 퍼센트율로 환산한 인식 결과를 생성하고, 상기 매칭 결과의 퍼센트율을 막대바 형태로 생성하고, 상기 출력된 감정 상태를 문자로 하여 디스플레이부에 출력하는 제어부를 포함하는 것을 특징으로 한다.
사용자의 감정 상태별로 매칭된 대응 패턴 정보를 저장하는 저장부를 더 포함하며, 제어부는 상기 저장부와 연동하여 사용자의 감정 상태가 출력되면, 상기 출력된 감정 상태에 매칭된 대응 패턴 정보를 추출하여 디스플레이부에 출력하도록 제어할 수 있다.
사용자의 음성 정보를 수신하여 상기 제어부로 전송하는 마이크로폰 모듈을 더 포함하며,
제어부는 상기 매칭 결과의 퍼센트율이 40% 내지 60% 범위 내로 판단되는 경우, 현재 기분 상태를 말로 표현하거나 특정 문장을 따라해 보라는 안내 메시지를 생성하여 스피커로 출력하고, 상기 수신한 사용자의 음성 정보와 미리 녹음된 기준 음성과 비교하고, 음성의 진폭, 피치, 세기 및 빠르기의 음성 정보의 값에 매칭되는 감정 상태를 추출하여 사용자의 음성 정보를 기초로 사용자의 감정 상태를 추정할 수 있다.
사용자의 광용적 맥파(PPG)를 측정하도록 적외선 발광부와 수광부로 구성된 맥파센서와, 피부전기전도도(GSR)를 측정하여 전압값으로 표시하는 피부전기저항센서 및 피부온도(SKT)를 측정하여 온도값으로 표시하는 피부온도센서로 구성된 생체 센서; 및 각 센서로부터 측정된 아날로그 생체정보를 디지털신호로 변환하는 A/D 변환부를 더 포함하며,
제어부는 상기 매칭 결과의 퍼센트율이 40% 이하로 판단되는 경우, 상기 생체 센서에서 센싱된 값을 요청하는 신호를 상기 생체 센서로 전송하고, 상기 A/D 변환부를 통해 수신된 생체 정보에 대한 디지털 신호값에 매칭되는 감정 상태를 추출하여 사용자의 생체 정보를 기초로 사용자의 감정 상태를 추정할 수 있다.
전술한 구성에 의하여, 본 발명은 사람의 표정을 보고 감정을 평가하여 평가된 감정 상태에 따라 스트레스 해소 수단을 제공하며, 이에 따라 감정 해소에 도움이 될 수 있는 효과가 있다.
본 발명은 감정 평가 시스템을 어플로 제조 시 웹사이트 홍보 및 광고를 올려 수익을 창출할 수 있는 효과가 있다.
도 1은 본 발명의 실시예에 따른 감정 평가 시스템의 구성을 나타낸 도면이다.
도 2는 본 발명의 실시예에 따른 사용자 단말의 내부 구성을 간략하게 나타낸 블록도이다.
도 3 및 도 4는 본 발명의 실시예에 따른 디스플레이부의 일례를 나타낸 도면이다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 실시예에 따른 감정 평가 시스템의 구성을 나타낸 도면이다.
본 발명의 실시예에 따른 감정 평가 시스템(100)은 사용자 단말(110), 감정 분석 서버(120) 및 상담사 앱이 설치된 상담사 단말(130)을 포함한다.
사용자 단말(110)은 사람의 표정을 보고 감정 상태를 추출할 수 있고, 표정으로 감정 상태를 추출하기 어려운 경우, 음성 정보나 생체 정보를 이용하여 사람의 감정 상태를 추출할 수 있다.
각각의 사용자 단말(110)은 추출한 감정 상태를 통신망(101)을 통해 감정 분석 서버(120)로 전송하고, 감정 분석 서버(120)는 다양한 얼굴 표정과 이에 대응하는 감정 상태를 수신하여 추후 얼굴 인식 데이터로 활용할 수 있다.
상담사 단말(130)은 기설치된 상담사 앱을 통해 사용자 단말(110)과 연결되어 상담을 통한 스트레스 해소의 대응 패턴으로 이용될 수 있다.
도 2는 본 발명의 실시예에 따른 사용자 단말의 내부 구성을 간략하게 나타낸 블록도이고, 도 3 및 도 4는 본 발명의 실시예에 따른 디스플레이부의 일례를 나타낸 도면이다.
본 발명의 실시예에 따른 사용자 단말(110)은 카메라 모듈(111), 특징 추출부(112), 얼굴 인식 데이터베이스부(112a), 딥러닝 연산부(113), 마이크로폰 모듈(114), 스피커(114a), 디스플레이부(115), 무선 통신부(115a), 제어부(116), A/D 변환부(116a), 생체 센서(117), 저장부(118)를 포함한다.
카메라 모듈(111)은 얼굴 영상을 촬영하여 얼굴 영상 신호를 생성하는 카메라 또는 CCD 센서로 구비된다. 이때, 연속적인 얼굴 영상 신호를 수집하도록 일반적으로 상용되는 캠코더로 구비되어, 동영상 형태의 얼굴 영상 신호를 수집하는 것도 가능하다.
특징 추출부(112)는 입력 영상으로부터 입력층/은닉층/출력층의 다층 구조의 컨볼루션 신경망(CNN)을 사용하며, 얼굴의 윤곽선, 눈썹과 눈, 코와 입, 턱을 포함하는 N개의 얼굴 특징점들을 추출한다.
특징 추출부(112)는 입력 영상이 24개 콘볼루션 레이어(Convolutional layer)를 거치면서 윤곽선, 눈썹과 눈, 코와 입, 턱 등의 얼굴 특징점들(Facial Landmarks)을 벡터값으로 추출한다.
얼굴 인식 데이터베이스부(112a)는 기계 학습(Machine Learning)에 따라 개인별 감정 상태에 따른 얼굴 사진의 특징점 데이터 및 개인별 얼굴 사진의 각 특징점 좌표 중심으로 윈도우(window)로 재구성된 영상 인식 데이터를 저장한다.
딥러닝 연산부(113)는 Faster RCNN 알고리즘을 이용하여 구현될 수 있다. Faster RCNN 알고리즘은 Convolutional Neural Network(CNN)을 기반으로 특징점 선정 및 추출 과정이 학습이 가능한 컨볼루션(Convolution) 연산을 통해 이루어지며, 인식 에러가 최소가 되도록 컨볼루션(Convolution) 연산 파라미터가 역전파(Backpropagation) 알고리즘을 통해 학습되기 때문에 특징점 선정 및 추출 과정을 최적화할 수 있다.
딥러닝 연산부(113)는 입력 영상을 N*N 개의 그리드 셀로 나누고 각 셀 별로 사전에 정의된 크기와 개수만큼의 바운딩 박스(Bounding Box)를 생성한다. 그리고 검출하고자 하는 물체가 있을만한 바운딩 박스를 다수 선정한 후, 각 바운딩 박스 내의 물체가 무엇인지 인식하므로 복수개의 물체 인식이 가능하다.
따라서, 딥러닝 연산부(113)는 복수의 얼굴이 검출된 경우에도 얼굴 수만큼의 감정 인식 분류기가 추가로 필요 없이 검출된 복수의 얼굴에 대한 바운딩 박스에 대해 각각의 개별 감정 상태 인식이 가능하다. 즉 기존 물체 위치와 물체 인식용 딥러닝 알고리즘을 얼굴 위치와 얼굴 표정 인식용으로 활용할 수 있다.
딥러닝 연산부(113)는 저장부(118)에 저장된 학습 데이터인 사진 데이터를 인공신경망에 입력시켜 오류를 수정하고, 수정된 오류를 이용하여 감정 분석 결과를 출력한다.
딥러닝 연산부(113)는 입력층으로부터 입력 데이터를 입력받아 예측값을 출력층의 버퍼에 출력하는 예측 심층 신경망을 사용하며, 예측 심층 신경망의 구조나 형태는 제한되지 않고, 대표적인 방법으로 DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network) 등이 있다.
패턴 인식 기법은 인공 신경망을 이용한 예측 방법으로 입력층으로부터 출력층의 결과값을 예측한 경우, 학습 과정에서 결과값들로부터 입력값을 예측할 수 있다. 인공 신경망은 입력값과 출력값이 일대일 대응 관계에 있지 아니하므로, 출력층으로서 입력층을 그대로 복구하는 것은 불가능하나, 예측 알고리즘을 고려하여 역전파(Backpropagation) 알고리즘에 의해 결과값으로부터 산출된 출력 데이터가 최초의 입력 데이터와 상이하다면, 인공 신경망의 예측이 부정확하다고 볼 수 있으므로, 제약 조건 하에서 산출된 출력 데이터가 최초의 입력 데이터와 유사해지도록 예측 계수를 변경하여 학습을 훈련하게 된다.
심층 신경망이란 신경망 알고리즘 중에서 여러 개의 층으로 이루어진 신경망을 의미한다. 한 층은 여러 개의 노드로 이루어져 있고, 노드에서 실제 연산이 이루어지는데, 이러한 연산 과정은 인간의 신경망을 구성하는 뉴런에서 일어나는 과정을 모사하도록 설계되어 있다. 통상적인 인공 신경망은 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer)으로 나뉘며, 입력 데이터는 입력층의 입력이 되며, 입력층의 출력은 은닉층의 입력이 되고, 은닉층의 출력은 출력층의 입력이 되고, 출력층의 출력이 최종 출력이 된다.
딥러닝 연산부(113)는 입력층으로부터 입력 데이터를 입력받아 예측값을 출력층의 버퍼에 출력하는 예측 심층 신경망을 사용하며, 예측 심층 신경망의 구조나 형태는 제한되지 않고, 대표적인 방법으로 DNN(Deep Neural Network), CNN(Convolutional Neural Network), RNN(Recurrent Neural Network) 등이 있으며, 각각의 신경망의 조합으로 예측 심층 신경망을 구성하여 다양한 구조의 심층 신경망을 구성할 수 있다.
딥러닝 연산부(113)는 신경망의 학습을 감독 학습으로 수행한다. 감독 학습은 학습 데이터와 이에 대응하는 출력 데이터를 함께 신경망에 입력하고, 학습 데이터에 대응하는 출력 데이터가 출력되도록 연결된 간선들의 가중치를 업데이트하는 방법이다. 여기서, 학습 데이터는 특징 추출부(112)에서 추출된 얼굴 특징점들이고, 출력 데이터는 다양한 감정 상태(기쁨, 슬픔, 두려움, 화남 등)를 나타낸다.
딥러닝 연산부(113)는 얼굴 인식 데이터베이스부(112a)와 연동하여 학습에 사용하지 않은 입력 데이터(추출된 얼굴 특징점들)가 입력되면, 입력층(Input Layer), 은닉층(Hidden Layer), 출력층(Output Layer)을 통해 얼굴 특징점들의 위치와 크기 변화에 대응되는 감정 상태(기쁨, 슬픔, 두려움, 화남, 짜증, 편안, 불안, 나른)를 추정하여 그 사람의 감정 상태를 출력한다.
제어부(116)는 특징 추출부(112)에서 추출한 얼굴 특징점들과 얼굴 인식 데이터베이스부(112a)에 저장된 얼굴 사진의 각 특징점 데이터와 비교하여 매칭 결과를 퍼센트율로 환산한 인식 결과를 생성한다.
제어부(116)는 매칭 결과의 퍼센트율이 60% 이상으로 판단되는 경우, 출력된 감정 상태를 문자 메시지로 생성하여 디스플레이부(115)에 출력하고, 동시에 퍼센트율을 막대바 형태로 생성하여 디스플레이부(115)에 출력한다.
제어부(116)는 매칭 결과의 퍼센트율이 40% 내지 60% 범위 내로 판단되는 경우, 현재 기분 상태를 말로 표현하거나 특정 문장을 따라해 보라는 안내 메시지를 생성하여 스피커(114a)로 출력한다.
마이크로폰 모듈(114)은 사람의 음성 신호를 수집하도록 일반적으로 상용되는 마이크로 구비되며, 음성 신호에서 음향 특징(Acoustic feature)을 수집할 수 있다.
마이크로폰 모듈(114)은 사용자의 음성 정보를 수신하여 제어부(116)로 전송한다. 제어부(116)는 수신한 사용자의 음성 정보와 미리 녹음된 기준 음성과 비교하여 음성의 진폭, 피치, 세기 및 빠르기를 비교한다.
제어부(116)는 음성의 진폭, 피치, 세기 및 빠르기의 음성 정보의 값에 대응하는 감정 상태(기쁨, 슬픔, 두려움, 화남 등)를 매칭하여 저장하고 있다.
따라서, 제어부(116)는 음성의 진폭, 피치, 세기 및 빠르기의 음성 정보의 값에 매칭되는 감정 상태를 추출하여 사용자의 음성 정보를 기초로 사용자의 감정 상태를 추정할 수 있다.
제어부(116)는 딥러닝 연산부(113)에서 출력된 감정 상태를 무시하고, 음성 인식으로 추정한 감정 상태를 문자 메시지로 생성하여 디스플레이부(115)에 출력한다.
제어부(116)는 매칭 결과의 퍼센트율이 40% 이하로 판단되는 경우, 생체 센서(117)에서 센싱된 값을 요청하는 신호를 생체 센서(117)로 전송한다.
생체 센서(117)는 사용자의 광용적 맥파(PPG)를 측정하도록 적외선 발광부와 수광부로 구성된 맥파센서(117a), 피부전기전도도(GSR)를 측정하여 전압값으로 표시하는 피부전기저항센서(117b) 및 피부온도(SKT)를 측정하여 온도값으로 표시하는 피부온도센서(117c)로 구성된다.
A/D 변환부(116a)는 상기 각 센서(117a, 117b, 117c)로부터 측정된 아날로그 생체정보를 디지털신호로 변환한다.
제어부(116)는 3개의 센서(117a, 117b, 117c) 중 하나 이상의 센싱값을 수신하여 감정 상태를 추정하거나, 맥파센서(117a)와 피부전기저항센서(117b) 또는 맥파센서(117a)와 피부온도센서(117c)의 2가지 센서의 센싱값을 조합하여 감정 상태를 추정할 수도 있다.
제어부(116)는 A/D 변환부(120)를 통해 수신된 생체 정보에 대한 디지털 신호값에 대응하는 감정 상태(기쁨, 슬픔, 두려움, 화남, 짜증, 편안, 불안, 나른)별로 매칭하여 저장하고 있다.
제어부(116)는 A/D 변환부(120)를 통해 수신된 생체 정보에 대한 디지털 신호값에 매칭되는 감정 상태를 추출하여 사용자의 생체 정보를 기초로 사용자의 감정 상태를 추정할 수 있다.
제어부(116)는 딥러닝 연산부(113)에서 출력된 감정 상태를 무시하고, 사용자의 생체 정보를 기초로 사용자의 감정 상태를 문자 메시지로 생성하여 디스플레이부(115)에 출력한다.
저장부(118)는 사용자의 감정 상태별로 매칭된 대응 패턴 정보를 저장하고 있다.
도 4에 도시된 바와 같이, 제어부(116)는 저장부(118)와 연동하여 사용자의 감정 상태가 출력되면, 출력된 감정 상태에 매칭된 대응 패턴 정보를 추출하여 디스플레이부(115)에 출력한다.
대응 패턴 정보는 좋은 추천 문구, 추천책, 스트레스 해소 음악, 일정 데시벨의 기계음 소리, 상담사 단말(130)의 전화번호 등을 포함할 수 있다.
무선 통신부(115a)는 제어부(116)의 제어에 따라 추출한 감정 상태를 통신망(101)을 통해 감정 분석 서버(120)로 전송할 수 있다.
이상에서 본 발명의 실시예는 장치 및/또는 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하기 위한 프로그램, 그 프로그램이 기록된 기록 매체 등을 통해 구현될 수도 있으며, 이러한 구현은 앞서 설명한 실시예의 기재로부터 본 발명이 속하는 기술분야의 전문가라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 감정 평가 시스템
111: 카메라 모듈
112: 특징 추출부
112a: 얼굴 인식 데이터베이스부
113: 딥러닝 연산부
114: 마이크로폰 모듈
114a: 스피커
115: 디스플레이부
115a: 무선 통신부
116: 제어부
116a: A/D 변환부
117: 생체 센서
118: 저장부

Claims (6)

  1. 얼굴 영상을 촬영하여 얼굴 영상 신호를 생성하는 카메라 모듈;
    상기 카메라 모듈로부터 수신한 얼굴 영상 신호에서 윤곽선, 눈썹과 눈, 코와 입, 턱의 얼굴 특징점들(Facial Landmarks)을 벡터값으로 추출하는 특징 추출부;
    감정 상태에 따른 얼굴 사진의 특징점 데이터를 저장하는 얼굴 인식 데이터베이스부;
    상기 얼굴 인식 데이터베이스부와 연동하여 학습에 사용하지 않은 입력 데이터로 상기 추출된 얼굴 특징점들을 얼굴 특징점들의 위치와 크기 변화에 대응되는 감정 상태(기쁨, 슬픔, 두려움, 화남, 짜증, 편안, 불안, 나른)를 추정하여 그 사람의 감정 상태를 출력하는 딥러닝 연산부; 및
    상기 특징 추출부에서 추출한 얼굴 특징점들과 상기 얼굴 인식 데이터베이스부에 저장된 얼굴 사진의 각 특징점 데이터와 비교하여 매칭 결과를 퍼센트율로 환산한 인식 결과를 생성하고, 상기 매칭 결과의 퍼센트율을 막대바 형태로 생성하고, 상기 출력된 감정 상태를 문자로 하여 디스플레이부에 출력하는 제어부를 포함하는 것을 특징으로 하는 감정 평가 시스템.
  2. 제1항에 있어서,
    사용자의 감정 상태별로 매칭된 대응 패턴 정보를 저장하는 저장부를 더 포함하며, 상기 제어부는 상기 저장부와 연동하여 사용자의 감정 상태가 출력되면, 상기 출력된 감정 상태에 매칭된 대응 패턴 정보를 추출하여 디스플레이부에 출력하도록 제어하는 것을 특징으로 하는 감정 평가 시스템.
  3. 제1항에 있어서,
    사용자의 음성 정보를 수신하여 상기 제어부로 전송하는 마이크로폰 모듈을 더 포함하며,
    상기 제어부는 상기 매칭 결과의 퍼센트율이 40% 내지 60% 범위 내로 판단되는 경우, 현재 기분 상태를 말로 표현하거나 특정 문장을 따라해 보라는 안내 메시지를 생성하여 스피커로 출력하고, 상기 수신한 사용자의 음성 정보와 미리 녹음된 기준 음성과 비교하고, 음성의 진폭, 피치, 세기 및 빠르기의 음성 정보의 값에 매칭되는 감정 상태를 추출하여 사용자의 음성 정보를 기초로 사용자의 감정 상태를 추정하는 것을 특징으로 하는 감정 평가 시스템.
  4. 제3항에 있어서,
    상기 제어부는 상기 딥러닝 연산부에서 출력된 감정 상태를 무시하고, 상기 사용자의 음성 정보를 기초로 사용자의 감정 상태를 문자 메시지로 생성하여 상기 디스플레이부에 출력하는 것을 특징으로 하는 감정 평가 시스템.
  5. 제1항에 있어서,
    사용자의 광용적 맥파(PPG)를 측정하도록 적외선 발광부와 수광부로 구성된 맥파센서와, 피부전기전도도(GSR)를 측정하여 전압값으로 표시하는 피부전기저항센서 및 피부온도(SKT)를 측정하여 온도값으로 표시하는 피부온도센서로 구성된 생체 센서; 및
    상기 각 센서로부터 측정된 아날로그 생체정보를 디지털신호로 변환하는 A/D 변환부를 더 포함하며,
    상기 제어부는 상기 매칭 결과의 퍼센트율이 40% 이하로 판단되는 경우, 상기 생체 센서에서 센싱된 값을 요청하는 신호를 상기 생체 센서로 전송하고, 상기 A/D 변환부를 통해 수신된 생체 정보에 대한 디지털 신호값에 매칭되는 감정 상태를 추출하여 사용자의 생체 정보를 기초로 사용자의 감정 상태를 추정하는 것을 특징으로 하는 감정 평가 시스템.
  6. 제1항에 있어서,
    사용자의 감정 상태별로 매칭된 대응 패턴 정보를 저장하는 저장부를 더 포함하며, 상기 제어부는 상기 매칭 결과의 퍼센트율이 60% 이상으로 판단되는 경우, 상기 매칭 결과의 퍼센트율을 막대바 형태로 생성하여 상기 디스플레이부에 출력하고, 상기 저장부와 연동하여 상기 출력된 감정 상태에 매칭된 대응 패턴 정보를 추출하여 디스플레이부에 출력하도록 제어하는 것을 특징으로 하는 감정 평가 시스템.
KR1020200147795A 2020-11-06 2020-11-06 감정 평가 시스템 KR20220061619A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200147795A KR20220061619A (ko) 2020-11-06 2020-11-06 감정 평가 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200147795A KR20220061619A (ko) 2020-11-06 2020-11-06 감정 평가 시스템

Publications (1)

Publication Number Publication Date
KR20220061619A true KR20220061619A (ko) 2022-05-13

Family

ID=81583670

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200147795A KR20220061619A (ko) 2020-11-06 2020-11-06 감정 평가 시스템

Country Status (1)

Country Link
KR (1) KR20220061619A (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102147052B1 (ko) 2018-11-16 2020-08-21 광운대학교 산학협력단 얼굴 영상 기반의 감정 인식 시스템 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102147052B1 (ko) 2018-11-16 2020-08-21 광운대학교 산학협력단 얼굴 영상 기반의 감정 인식 시스템 및 방법

Similar Documents

Publication Publication Date Title
US20240221941A1 (en) Intelligent health monitoring
Marechal et al. Survey on AI-Based Multimodal Methods for Emotion Detection.
Kumar et al. Multilayer Neural Network Based Speech Emotion Recognition for Smart Assistance.
Ortega et al. Multimodal fusion with deep neural networks for audio-video emotion recognition
JP6850723B2 (ja) 顔表情識別システム、顔表情識別方法及び顔表情識別プログラム
Vinola et al. A survey on human emotion recognition approaches, databases and applications
CN112699774B (zh) 视频中人物的情绪识别方法及装置、计算机设备及介质
US20180018987A1 (en) System and method for identifying language register
KR20180057096A (ko) 표정 인식과 트레이닝을 수행하는 방법 및 장치
CN103996155A (zh) 智能交互及心理慰藉机器人服务系统
Prasomphan Improvement of speech emotion recognition with neural network classifier by using speech spectrogram
US20220101146A1 (en) Neural network training with bias mitigation
CN109765991A (zh) 社交互动系统、用于帮助用户进行社交互动的系统及非暂时性计算机可读存储介质
US10610109B2 (en) Emotion representative image to derive health rating
Abraham et al. Real time conversion of sign language to speech and prediction of gestures using Artificial Neural Network
KR102274581B1 (ko) 개인화된 hrtf 생성 방법
Prasomphan Detecting human emotion via speech recognition by using speech spectrogram
US20200193667A1 (en) Avatar facial expression generating system and method of avatar facial expression generation
CN114724224A (zh) 一种用于医疗护理机器人的多模态情感识别方法
US12105876B2 (en) System and method for using gestures and expressions for controlling speech applications
KR20220106029A (ko) 인공지능을 활용한 심리 상담 방법 및 장치
TWI829944B (zh) 虛擬化身臉部表情產生系統和虛擬化身臉部表情產生方法
WO2018207619A1 (en) Data collection apparatus and learning apparatus
Mithil et al. An interactive voice controlled humanoid smart home prototype using concepts of natural language processing and machine learning
KR20220061619A (ko) 감정 평가 시스템

Legal Events

Date Code Title Description
E902 Notification of reason for refusal