KR101996039B1 - 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치 및 그 방법 - Google Patents

얼굴 표정 인식을 위한 훈련 템플릿 구축 장치 및 그 방법 Download PDF

Info

Publication number
KR101996039B1
KR101996039B1 KR1020180115261A KR20180115261A KR101996039B1 KR 101996039 B1 KR101996039 B1 KR 101996039B1 KR 1020180115261 A KR1020180115261 A KR 1020180115261A KR 20180115261 A KR20180115261 A KR 20180115261A KR 101996039 B1 KR101996039 B1 KR 101996039B1
Authority
KR
South Korea
Prior art keywords
gaze
pattern
line
heat map
user
Prior art date
Application number
KR1020180115261A
Other languages
English (en)
Inventor
김태현
노수림
Original Assignee
국립공주병원
충남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국립공주병원, 충남대학교산학협력단 filed Critical 국립공주병원
Priority to KR1020180115261A priority Critical patent/KR101996039B1/ko
Priority to US16/164,970 priority patent/US10699164B2/en
Application granted granted Critical
Publication of KR101996039B1 publication Critical patent/KR101996039B1/ko

Links

Images

Classifications

    • G06K9/00302—
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A61B5/015—By temperature mapping of body part
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/40—Detecting, measuring or recording for evaluating the nervous system
    • A61B5/4076—Diagnosing or monitoring particular conditions of the nervous system
    • A61B5/4088—Diagnosing of monitoring cognitive diseases, e.g. Alzheimer, prion diseases or dementia
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • A61B5/7267—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems involving training the classification device
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/74—Details of notification to user or communication with user or patient ; user input means
    • A61B5/742—Details of notification to user or communication with user or patient ; user input means using visual displays
    • A61B5/743—Displaying an image simultaneously with additional graphical information, e.g. symbols, charts, function plots
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06K9/00597—
    • G06K9/627—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/772—Determining representative reference patterns, e.g. averaging or distorting patterns; Generating dictionaries
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/248—Character recognition characterised by the processing or recognition method involving plural approaches, e.g. verification by template match; Resolving confusion among similar patterns, e.g. "O" versus "Q"
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/165—Detection; Localisation; Normalisation using facial parts and geometric relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/197—Matching; Classification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2560/00—Constructional details of operational features of apparatus; Accessories for medical measuring apparatus
    • A61B2560/02—Operational features
    • A61B2560/0223—Operational features of calibration, e.g. protocols for calibrating sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Abstract

훈련 템플릿 구축 장치는 연동되는 안구추적장치로부터 임의의 정서가 표현된 얼굴 사진을 바라보는 사용자의 시선 고정점들을 수신하는 시선 고정점 수신부, 시선 고정점 수신부에서 수신한 상기 시선 고정점들을 기계 학습하여 시선 패턴과 시선 패턴 정보를 추출하는 시선 패턴 추출부, 시선 패턴 추출부에서 추출한 시선 패턴과 시선 패턴 정보를 이용하여 히트맵(heatmap)을 도출하는 히트맵 도출부, 히트맵 도출부에서 도출된 히트맵과 미리 저장된 동일한 정서가 표현된 얼굴 사진에 기초한 기준 집단의 히트맵과의 차이값을 도출하고, 차이값이 반영된 디퍼런스 히트맵을 도출하는 디퍼런스 히트맵 도출부, 그리고 시선 패턴과 디퍼런스 히트맵을 분석하여 사용자의 시선 처리의 순서, 시간, 경로를 포함하는 훈련 템플릿을 생성하는 제어부를 포함한다.

Description

얼굴 표정 인식을 위한 훈련 템플릿 구축 장치 및 그 방법{APPARATUS FOR CONSTRUCTING TRAINING TEMPLATE OF FACIAL EMOTION RECOGNITION AND METHOD THEREOF}
얼굴 표정 인식을 위한 훈련 템플릿 구축 장치 및 그 방법이 제공된다.
조현병이란 사고, 정서, 지각, 행동 등의 인격의 여러 측면에 걸쳐 광범위한 임상적 이상 증상을 일으키는 정신 질환이다. 일반적으로 조현병은 환청, 망상, 지리멸렬한 사고, 괴이하고 혼란된 행동 등의 양성 증상과 사회적 위축, 무언증, 감정 둔마, 무쾌감증, 무의욕증, 운동지체, 사고차단 등의 음성 증상을 나타내는 질환이다.
이러한 조현병 환자들은 환각과 망상, 비논리적 사고등의 양성 증상들이 호전되더라도 정서둔마와 인지장애 등의 사회적 기능 및 사회성과 관련된 음성증상은 시간이 지나면서 더욱 진행되는 양상을 보인다.
이러한 음성 증상은 사회기능 감퇴로 이어지게 되어 조현병 환자들이 일반적인 사회생활을 하기 힘든 경우가 빈번하다.
특히, 조현병 환자들은 타인의 정서를 인식하고, 공감하는 능력이 부족한 경우가 많은데, 이러한 사회 인지의 영역에서 공감 능력과 관련하여 관심의 초점이 되는 기능 중의 하나가 정서 인식(emotion recognition)기능이다.
그 중에서도 타인의 얼굴표정을 통해 그 사람의 정서 상태를 정확히 추론하며 어떤 정서 상태에 대한 적절한 얼굴 표정을 판단할 수 있는 능력은 인간의 사회 생활이 원활하게 이루어지기 위한 중요한 비언어적 방법 중의 하나이다.
따라서, 조현병 환자들의 얼굴표정 정서인식 판단 능력을 향상시켜 사회성을 증진시킬 수 있는 정서 인식 능력을 훈련하는 기술이 요구된다.
본 발명의 하나의 실시예로 훈련 템플릿 구축 장치는 안구추적장치로부터 임의의 정서가 표현된 얼굴 사진을 바라보는 사용자의 시선 고정점들을 수신하는 시선 고정점 수신부, 시선 고정점 수신부에서 수신한 시선 고정점들을 기계 학습하여 시선 패턴과 시선 패턴 정보를 추출하는 시선 패턴 추출부, 시선 패턴 추출부에서 추출한 시선 패턴과 상기 시선 패턴 정보를 이용하여 히트맵(heatmap)을 도출하는 히트맵 도출부, 히트맵 도출부에서 도출된 히트맵과 미리 저장된 동일한 정서가 표현된 얼굴 사진에 기초한 기준 집단의 히트맵과의 차이값을 도출하고, 차이값이 반영된 디퍼런스 히트맵을 도출하는 디퍼런스 히트맵 도출부, 그리고 시선 패턴과 상기 디퍼런스 히트맵을 분석하여 사용자의 시선 처리의 순서, 시간, 경로를 포함하는 훈련 템플릿을 생성하는 제어부를 포함한다.
시선 패턴 추출부는, 시선 고정점들로부터 시선 패턴과 상기 얼굴 사진에서 표정 영역에 머무른 평균 시선 고정 시간, 시선 이동 경로를 포함하는 시선 패턴 정보를 추출할 수 있다.
히트맵 도출부는, 시선 패턴과 시선 패턴 정보에 가중치를 적용하고, 가중치가 적용된 시선 패턴을 통해 시선의 비중의 정도에 따라 상이한 색상의 분포를 얼굴 사진에 표시하는 히트맵을 도출할 수 있다.
디퍼런스 히트맵 도출부는, 도출된 차이값을 분석하여, 기준 집단의 시선 패턴보다 사용자의 시선 패턴에서 시선이 집중되는 영역을 제1 색상으로 표시하고, 사용자의 시선 패턴보다 기준 집단의 시선 패턴에서 시선이 집중되는 영역을 제1 색상과 보색을 이루는 제2 색상으로 표시할 수 있다.
제어부는, 제2 색상으로 표시되는 영역에 사용자의 시선이 일정 시간 이상으로 집중되도록 시선 고정 시간, 시선 이동 경로를 포함하는 훈련 템플릿을 생성할 수 있다.
제어부는, 특정 정서를 나타내는 얼굴 사진의 입 주변 영역에 사용자의 시선 패턴이 지엽적으로 나타나면, 입 주변 영역을 시선 경로의 후반부에 배치하거나 입 주변 영역을 빠르게 통과 또는 회피할 수 있도록 하는 시선 고정 시간, 시선 이동 경로를 설정할 수 있다.
본 발명의 하나의 실시예에 따른 연동되는 안구추적장치로부터 임의의 정서가 표현된 얼굴 사진을 바라보는 사용자의 시선 고정점들을 수신하는 단계, 시선 고정점들을 기계 학습하여 시선 패턴과 시선 패턴 정보를 추출하는 단계, 시선 패턴과 시선 패턴 정보를 이용하여 히트맵(heatmap)을 도출하는 단계, 히트맵과 미리 저장된 동일한 정서가 표현된 얼굴 사진에 기초한 기준 집단의 히트맵과의 차이값을 도출하고, 차이값이 반영된 디퍼런스 히트맵을 도출하는 단계, 그리고 시선 패턴과 상기 디퍼런스 히트맵을 분석하여 사용자의 시선 처리의 순서, 시간, 경로를 포함하는 훈련 템플릿을 생성하는 단계를 포함한다.
본 발명의 하나의 실시예에 따른 훈련 템플릿 구축 장치로부터 생성된 훈련 템플릿을 제공하는 방법에 대해, 구현된 프로그램을 저장하는 판독 가능한 기록매체에 있어서, 프로그램은, 임의의 정서가 표현된 얼굴 사진을 제공하는 기능, 사용자로부터 얼굴 사진의 정서를 나타내는 단어를 입력 받는 기능, 입력 받은 단어와 얼굴 사진의 정서가 일치하는지 판단하는 기능, 그리고 판단 결과, 일치하지 않으면 얼굴 사진의 특정 영역을 표시하여 n초간 응시하도록 지시하거나, 얼굴 사진의 특정 영역에 기초하여 시선 이동 경로 지점들을 제공하고, 시선 이동 경로 지점마다 m초간 응시하도록 지시하는 훈련 템플릿을 제공하는 기능 을 실현시키기 위한 것이다.
본 발명의 하나의 실시예는 비약물적인 훈련과정을 통해 조현병 환자의 증상 개선 및 질병 진행 경과의 완화시킬 수 있으며, 전문가가 아닌 비 숙련가도 쉽게 훈련과정을 주도하거나 참여할 수 있어 훈련의 접근성이 용이하며, 장소 및 시간의 제약을 최소화할 수 있다.
본 발명의 하나의 실시예는 조현병 환자들뿐 아니라, 타인의 정서 인식이 낮은 발달 장애인, 치매, 파킨슨병 등의 모든 질환 환자들 또는 일반인들도 이와 같은 사회성 증진 훈련을 통해 타인의 정서 인식 및 공감 능력을 향상하여 사회성을 향상시킬 수 있다.
도 1은 본 발명의 하나의 실시예에 따른 훈련 템플릿 구축 장치를 포함하는 네트워크를 나타내는 구성도이다.
도 2는 본 발명의 하나의 실시예에 따른 훈련 템플릿 구축 장치를 나타내는 구성도이다.
도 3은 본 발명의 하나의 실시예에 따른 훈련 템플릿 구축 장치의 구축 방법을 나타내는 순서도이다.
도 4는 본 발명의 하나의 실시예에 따른 분노하는 얼굴 사진을 인식하는 정상군과 환자군의 시선 패턴을 나타낸 예시도이다.
도 5는 본 발명의 하나의 실시예에 따른 두려움을 나타내는 얼굴 사진을 인식하는 정상군과 환자군의 시선 패턴을 나타낸 예시도이다.
도 6은 본 발명의 하나의 실시예에 따른 혐오감을 나타내는 얼굴 사진을 인식하는 정상군과 환자군의 시선 패턴을 나타낸 예시도이다.
도 7는 본 발명의 하나의 실시예에 따른 무표정의 얼굴 사진을 인식하는 정상군과 환자군의 시선 패턴을 나타낸 예시도이다.
도 8는 본 발명의 하나의 실시예에 따른 정상인과 환자군의 히트맵을 나타낸 예시도이다.
도 9는 본 발명의 하나의 실시예에 따른 디퍼런스 히트 맵을 생성하는 과정을 나타낸 예시도이다.
도 10은 본 발명의 하나의 실시예에 따른 정서 별로 나타낸 디퍼런스 히트맵을 나타낸 예시도이다.
도 11은 본 발명의 하나의 실시예에 따른 훈련용 템플릿을 나타낸 예시도이다.
도 12는 본 발명의 하나의 실시예에 따른 훈련 템플릿을 제공하는 방법을 나타내는 순서도이다.
도 13은 본 발명의 하나의 실시예에 따른 제공되는 훈련 템플릿을 나타낸 예시도이다.
첨부한 도면을 참고로 하여 본 발명의 실시예에 대해 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 도면부호가 사용되었다. 또한 널리 알려져 있는 공지기술의 경우 그 구체적인 설명은 생략한다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 하나의 실시예에 따른 훈련 템플릿 구축 장치를 포함하는 네트워크를 나타내는 구성도이다.
도 1에 도시한 바와 같이, 안구추적장치(100), 훈련 템플릿 구축 장치(200) 그리고 훈련 템플릿 제공 장치(300)는 서로 통신망을 통하여 연결되어 있으며, 서로 데이터를 송수신한다.
여기서, 통신망은 유선 통신 네트워크, 근거리 또는 원거리 무선 통신 네트워크, 이들이 혼합된 네트워크 등 데이터를 전달하는 모든 형태의 통신 네트워크를 포함할 수 있다.
먼저, 안구추적장치(100)는 사용자의 동체를 인식하고, 시선을 추출하여 시선을 추적하여 기록하는 장치로, 사용자가 바라보는 환경에서 사용자의 시선이 머무르는 지점을 추출할 수 있다.
도 1에는 안구추적장치(100)를 사용자의 신체 일부에 직접 접촉하는 고글형으로 표시하였지만, 이에 한정하는 것은 아니고, 비 접촉식으로 사용자의 시선 비디오를 촬영하고, 분석하여 시선 고정점들을 추출하는 장치를 모두 포함한다.
안구추적장치(100)는 시간에 따라 사용자의 시선 고정점들을 추출하여 훈련 템플릿 구축 장치(200) 또는 훈련 템플릿 제공 장치(300)로 전송할 수 있다.
다음으로 훈련 템플릿 구축 장치(200)는 기준 집단과 사용자의 시선 고정점을 기초하여 시선 패턴을 도출하고, 도출된 시선 패턴을 통해 히트맵 (Heat map), 디퍼런스 히트맵(Difference heat map)을 생성한다.
그리고 훈련 템플릿 제공 장치(300)는 디퍼런스 히트맵에 기초하여 사용자의 얼굴표정 인식 훈련 템플릿을 생성한다.
이때, 사용자는 사람의 얼굴 표정에서 정서를 판단하기 어렵거나 부정확성을 갖는 사람으로, 조현병 환자, 발달장애 환자 및 해당하는 모든 질환 환자, 일반인 등을 포함한다.
다음으로, 훈련 템플릿 제공 장치(300)는 훈련 템플릿 구축 장치(200)가 생성한 훈련 템플릿을 사용자에게 제공하는 장치로, 훈련 템플릿이 제작되는 종류에 기초하여 다양한 장치로 구성될 수 있다.
예를 들어, 훈련 템플릿이 프로그램 또는 앱(APP) 또는 전자책과 같은 소프트웨어로 제작되는 경우, 훈련 템플릿 제공 장치(300)는 해당 프로그램이 저장되어 판독 가능한 기록매체로, 스마트 단말, 컴퓨터, PDA, 태블릿, 스마트 기기 등을 포함할 수 있다.
이처럼, 훈련 템플릿 제공 장치(300)는 훈련 템플릿이 구성되는 종류에 대응하여 사용자에게 제공할 수 있는 모든 장치를 포함한다.
이하에서는 도 2 내지 도 11을 이용하여 본 발명의 실시예에 따른 사람의 표정을 인식하는 훈련 템플릿을 구축하는 방법에 대해서 상세하게 설명한다.
도 2는 본 발명의 하나의 실시예에 따른 훈련 템플릿 구축 장치를 나타내는 구성도이다.
도 2에 도시한 바와 같이, 훈련 템플릿 구축 장치(200)는 시선 고정점 수신부(210), 시선 패턴 추출부(220), 히트맵 도출부(230), 디퍼런스 히트맵 도출부(240) 그리고 제어부(250)를 포함한다.
먼저, 시선 고정점 수신부(210)는 연동되는 안구추적장치(100)로부터 안구추적장치(100)의 대상인 사용자의 안구 움직임으로부터 도출된 시선 고정점들을 수신받는다. 이때, 사용자는 정서를 표현하는 사람의 얼굴 사진을 바라보고 있고, 안구추적장치(100)는 접촉식 또는 비 접촉식으로 사용자의 시선을 추적할 수 있다.
그리고 시선 고정점 수신부(210)는 시간의 순서에 따른 시선 고정점들을 수신할 수 있다.
다음으로 시선 패턴 추출부(220)는 시선 고정점 수신부(210)에서 수신한 시선 고정점들을 기계 학습하여 사용자의 시선 패턴과 시선 패턴 정보를 추출한다.
시선 패턴 추출부(220)는 빅데이터 기반의 기계 학습을 통해 복수개의 시선 고정점들을 분석하여 시선패턴을 추출할 수 있다. 이때, 빅데이터 기반의 기계 학습은 은닉 마르코프 모델(Hidden Markov Model, HMM)을 포함하지만, 이에 한정하는 것은 아니다.
다음으로 히트맵 도출부(230)는 시선 패턴 추출부(220)에서 추출한 시선 패턴과 시선 패턴 정보를 이용하여 히트맵(heatmap)을 도출한다.
여기서, 히트맵(heatmap)이란 열을 뜻하는 히트(heat)와 지도를 뜻하는 맵(map)을 결합시킨 단어로 색상으로 표현할 수 있는 다양한 정보를 열분포 형태의 비주얼한 그래픽으로 일정 이미지 위에 출력하는 것을 나타낸다.
따라서, 히트맵 도출부(230)는 사용자의 시선 패턴과 시선 패턴 정보를 이용하여 사용자가 정서가 표현된 얼굴 사진에서 어느 영역에 시선이 집중되어 있는 지, 직관적으로 쉽게 알 수 있도록 히트맵을 생성할 수 있다.
다음으로 디퍼런스 히트맵 도출부(240)는 히트맵 도출부(230)에서 도출된 히트맵과 미리 저장된 동일한 정서가 표현된 얼굴 사진에 기초한 기준 집단의 히트맵과의 차이값을 도출한다.
그리고 디퍼런스 히트맵 도출부(240)는 사용자와 기준 집단의 도출된 차이값을 반영하여 디퍼런스 히트맵을 도출한다.
여기서, 기준 집단은 얼굴 사진에서 정서를 판단하는 데 어려움을 겪지 않는 일반인을 기준으로 하는 집단을 나타낸다.
또한, 디퍼런스 히트맵 도출부(240)와 연동되는 데이터베이스(미도시함)에는 기준 집단의 기계 학습을 통해 추출된 시선 패턴과 히트맵을 미리 저장하고 있다.
디퍼런스 히트맵 도출부(240)는 기준 집단과 사용자의 히트맵의 차이값을 기준으로 생성되기 때문에, 얼굴 사진에서 기준 집단에서의 시선이 집중되는 영역과 사용자의 시선이 집중되는 영역을 보색을 통해 얼굴 사진에 표시할 수 있다.
다음으로 제어부(250)는 시선 패턴 추출부(220)에서 도출된 시선 패턴과 디퍼런스 히트맵을 분석하여 사용자의 시선 처리의 순서, 시간, 경로를 포함하는 훈련 템플릿을 생성한다.
이때, 제어부(250)는 시선 처리의 방법을 제시하는 과정에서 단계별로 더 심화된 훈련 템플릿을 생성할 수 있다.
또한, 제어부(250)는 연동되는 훈련 템플릿 제공 장치(300)의 종류에 대응하여 생성된 훈련 템플릿의 크기, 형태, 구성 등을 변환할 수 있다.
예를 들어, 제어부(250)는 훈련 템플릿을 데이터화 하여 특정 파일 형식으로 변환, 또는 책자, 팜플렛등과 같이 인쇄가 가능한 형식으로 변환하거나 3D 형상으로 변환할 수 있다. 그리고 제어부(250)는 스마트 기기 등을 이용하여 사용자의 입력에 따라 피드백으로 제공 가능한 훈련 템플릿으로 생성할 수 있다.
한편, 훈련 템플릿 구축 장치(200)는 서버, 단말, 또는 이들이 결합된 형태일 수 있다.
단말은 각각 메모리(memory), 프로세서(processor)를 구비함으로써 연산 처리 능력을 갖춘 장치를 통칭하는 것이다. 예를 들어, 퍼스널 컴퓨터(personal computer), 핸드헬드 컴퓨터(handheld computer), PDA(personal digital assistant), 휴대폰, 스마트 기기, 태블릿(tablet) 등이 있다.
서버는 복수개의 모듈(module)이 저장되어 있는 메모리, 그리고 메모리에 연결되어 있고 복수개의 모듈에 반응하며, 단말에 제공하는 서비스 정보 또는 서비스 정보를 제어하는 액션(action) 정보를 처리하는 프로세서, 통신 수단, 그리고 UI(user interface) 표시 수단을 포함할 수 있다.
메모리는 정보를 저장하는 장치로, 고속 랜덤 액세스 메모리(high-speed random access memory, 자기 디스크 저장 장치, 플래시 메모리 장치, 기타 비휘발성 고체 상태 메모리 장치(non-volatile solid-state memory device) 등의 비휘발성 메모리 등 다양한 종류의 메모리를 포함할 수 있다.
통신 수단은 단말과 서비스 정보 또는 액션 정보를 실시간으로 송수신한다.
UI 표시 수단은 시스템의 서비스 정보 또는 액션 정보를 실시간으로 출력한다. UI 표시 수단은 UI를 직접적 또는 간접적으로 출력하거나 표시하는 독립된 장치일 수도 있으며, 또는 장치의 일부분일 수도 있다.
이하에서는 조현병 환자를 대상으로 훈련 템플릿을 구축하는 과정에 대해서 설명하지만, 상황에 따라서는 사람의 정서 표정을 인식하는 데 어려움이 있는 일반인 또는 다른 질병의 환자가 적용될 수 있다.
도 3은 본 발명의 하나의 실시예에 따른 훈련 템플릿 구축 장치의 구축 방법을 나타내는 순서도이다.
본 발명의 실시예에 따른 훈련 템플릿 구축 장치(200)는 연동되는 안구추적장치(100)로부터 정서를 표현하는 얼굴 사진을 바라보는 사용자의 시선 고정점들을 수신한다(S310).
여기서, 얼굴 사진의 정서는 화남(Anger), 슬픔(Sad), 공포(Fear), 혐오(Disgust), 행복(Happy), 무표정(Neutral)등을 포함하며, 이외에도 다양한 정서들을 포함할 수 있다.
다음으로 훈련 템플릿 구축 장치(200)는 시선 고정점들에 대해서 기계학습을 통해 시선 패턴과 시선 패턴 정보를 추출한다(S320).
훈련 템플릿 구축 장치(200)는 은닉 마르코프 모델(HMM: Hidden markov Model)을 이용하여 시선 고정점들로부터 시선 패턴을 추출할 수 있다.
그리고 훈련 템플릿 구축 장치(200)는 시선 고정점들을 시간에 순서에 따라 분석함으로써, 시선 경로를 추출하고, 시선 고정점들이 겹쳐지는 영역, 시선이 한 지점에 머무르는 시간등을 포함하는 시선 패턴 정보를 추출할 수 있다.
이와 같이, 훈련 템플릿 구축 장치(200)는 은닉 마르코프 모델(HMM: Hidden markov Model)을 이용하여 3가지의 시선 패턴을 추출할 수 있다.
이와 같은 방법으로 훈련 템플릿 구축 장치(200)가 추출한 시선 패턴을 분석한 결과는 다음 도 4 내지 7과 같다.
도 4는 본 발명의 하나의 실시예에 따른 분노하는 얼굴 사진을 인식하는 정상군과 환자군의 시선 패턴을 나타낸 예시도이고, 도 5는 본 발명의 하나의 실시예에 따른 두려움을 나타내는 얼굴 사진을 인식하는 정상군과 환자군의 시선 패턴을 나타낸 예시도이다.
도 6은 본 발명의 하나의 실시예에 따른 혐오감을 나타내는 얼굴 사진을 인식하는 정상군과 환자군의 시선 패턴을 나타낸 예시도이고, 도 7는 본 발명의 하나의 실시예에 따른 무표정의 얼굴 사진을 인식하는 정상군과 환자군의 시선 패턴을 나타낸 예시도이다.
도 4 내지 도 7은 각 상이한 정서를 표현한 얼굴 사진에 대해서, 기준 집단(정상)과 사용자(환자)에 대응하여 각각 은닉 마르코프 모델을 통해 패턴 1(HMM pattern 1)과 패턴 2(HMM pattern 2)를 각각 추출하여 나타낸 예시도이다.
여기서, 기준 집단의 패턴 1(HMM pattern 1)과 패턴 2(HMM pattern 2)는 얼굴 사진에서 정서 판단의 정확도 여부와 무관하게 패턴 양상에 따라 구분된 경우이다. 그리고 사용자(환자)군에서의 패턴 1은 조현병 환자군에서 얼굴 사진의 정서 판단율이 낮은 경우이고, 패턴 2는 조현병 환자군에서 얼굴 사진의 정서 판단율이 양호한 경우로 구분될 수 있다.
그리고 패턴 1과 패턴 2에는 3가지의 관심영역(AOI: Area Of Interest)을 추출하여 표시되어 있어, 기준 집단과 사용자의 차이를 확인할 수 있다.
먼저, 도 4를 보면, 기준 집단(정상)인 경우 패턴 1과 패턴 2 그리고 사용자(환자)의 패턴 2는 공통적으로 세가지 시선 패턴(AOI, 파란색 원, 빨간색 원, 초록색 원)이 유사하게 얼굴 표정 영역을 나타내는 반면에, 사용자(환자)의 패턴 1에서 파란색 원은 입 주변에 국소적으로 표시된 것을 알 수 있다.
이와 마찬가지로, 도 5 내지 도 7를 살펴보면, 공통적으로 기준 집단(정상)과 가장 크게 차이점이 두드러지는 점은 사용자(환자)의 패턴 1의 파란색 원이 입 주변에 국소적으로 표시되어 있다.
이에, 얼굴 사진의 정서 판단율이 낮은 조현병 환자는 시선 패턴이 입 주변에 머물게 되어 전체적인 얼굴 사진을 인식하지 못하여 정서를 인지하지 못하는 것을 알 수 있다.
다음으로 훈련 템플릿 구축 장치(200)는 시선 패턴과 시선 패턴 정보를 이용하여 히트맵을 도출한다(S330).
훈련 템플릿 구축 장치(200)는 사용자의 시선 패턴의 특징이 뚜렷해지도록 사용자의 시선 패턴과 시선 패턴 정보에 가중치를 적용할 수 있다.
그리고 훈련 템플릿 구축 장치(200)는 가중치가 적용된 시선 패턴을 통해 시선의 비중의 정도에 따라 상이한 색상의 분포를 생성하여 히트맵을 도출할 수 있다.
도 8는 본 발명의 하나의 실시예에 따른 정상인과 환자군의 히트맵을 나타낸 예시도이다.
도 8은 6가지의 정서를 나타낸 얼굴 사진에서 기준집단(Normal_free)와 사용자(Patient_free)의 각각의 히트맵은 빨간색일수록 시선 비중이 높고 파란색일수록 시선의 비중이 낮은 것을 의미한다.
도 8을 살펴보면, 기준집단의 히트맵은 정서마다 각 정서에 기초하여 상이한 시선 패턴을 가지는 것을 알 수 있다. 이는 다양한 정서에 따라 변화되고 강조되는 얼굴 영역이 상이하기 때문에 각 정서에 기초하여 시선 처리 방법이 다르게 나타나는 것이다.
하지만, 사용자의 히트맵은 다양한 정서 사진에서 거의 동일한 시선 패턴을 가지는 것을 알 수 있다.
사용자의 히트맵은 눈 코 잎의 T자형 영역에 시선이 집중되고 있기 때문에, 사용자의 얼굴에 드러나는 다양한 정서를 인식하기 위해 충분한 정보를 인지하는데 제약이 있다.
다음으로 훈련 템플릿 구축 장치(200)는 도출된 히트맵과 기준 집단의 히트맵과의 차이값이 반영된 디퍼런스 히트맵을 도출한다(S340).
도 9는 본 발명의 하나의 실시예에 따른 디퍼런스 히트 맵을 생성하는 과정을 나타낸 예시도이다.
도 9에 도시한 바와 같이, 훈련 템플릿 구축 장치(200)는 HMM 패턴 알고리즘을 통해 추출한 시선 패턴을 통해 도출된 히트맵에 기초하여, 기준집단의 히트맵에서 사용자의 히트맵의 차이를 반영하여 새로운 디퍼런스 히트맵을 도출한다.
훈련 템플릿 구축 장치(200)는 기준 집단의 시선 패턴보다 사용자의 시선 패턴에서 시선이 집중되는 영역을 제1 색상으로 표시하고, 사용자의 시선 패턴보다 기준 집단의 시선 패턴에서 시선이 집중되는 영역을 제1 색상과 보색을 이루는 제2 색상으로 표시할 수 있다.
예를 들어, 도 9에서와 같이, 훈련 템플릿 구축 장치(200)는 제1 색상을 파란색으로, 제2 색상을 빨간색으로 표시함으로써, 기준 집단과 사용자 간에 시선 패턴에서 비중 있는 부분을 보색을 통해 직관적으로 알기 쉽도록 가시적으로 디퍼런스 히트 맵을 생성할 수 있다.
도 10은 본 발명의 하나의 실시예에 따른 정서 별로 나타낸 디퍼런스 히트맵을 나타낸 예시도이다.
도 10에 도시한 바와 같이, 화남(Anger), 슬픔(Sad), 공포(Fear), 혐오(Disgust), 행복(Happy), 무표정(Neutral)의 정서에 대한 디퍼런스 히트맵으로 초록색과 파란색으로 표시된 영역은 사용자가 더 비중 있게 시선이 집중되는 부분이며, T자형 이와의 빨간색 및 주황색 영역은 기준집단에서 더 비중 있게 시선이 집중되는 부분으로 표시되었다.
다시 말해, 눈코입 주변의 T자형 영역은 사용자의 시선이 비중 있게 집중되는 부분이며, 양쪽 입주름, 미간, 왼쪽 눈가 등의 영역에서는 기준 집단에서 더 비중 있게 시선이 집중되는 부분이다.
이와 같은 기준 집단과 사용자간의 시선 처리의 차이점을 바탕으로 훈련 템플릿 구축 장치(200)는 훈련 템플릿을 생성한다(S350).
훈련 템플릿 구축 장치(200)는 구축된 디퍼런스 히트맵과 S320 단계에서 추출된 시선 패턴을 이용하여 정서 별로 훈련 템플릿을 생성할 수 있다.
도 11은 본 발명의 하나의 실시예에 따른 훈련용 템플릿을 나타낸 예시도이다.
도 11에서는 기준집단(Normal)과 사용자(Patients)에서 2가지 패턴과 각 패턴에 다른 디퍼런스 히트맵을 이용하였다.
도 11에서 가장 상이한 패턴을 가지는 사용자(Patients)의 패턴 1을 살펴보면, 화남(Anger), 공포(Fear), 혐오(Disgust), 무표정(Neutral)의 정서에서 유독 얼굴 사진의 입 주변에 한정된 파란색의 원이 표시되어 있음을 알 수 있다.
이러한 파란색 원은 HMM의 패턴에서 도출된 사용자의 관심 영역(AOI)으로 조현병 환자의 시선이 파란색 원에 해당 될 경우, 다른 관심 영역(AOI)인 빨간색 원이나 초록색 원으로의 이동 또는 전이가 거의 이뤄지지 않기 때문에, 조현병 환자의 시선 처리 영역이 좁아져 표정 인식률이 낮아짐을 알 수 있다.
따라서, 훈련 템플릿 제공 장치(300)는 화남(Anger), 공포(Fear), 혐오(Disgust), 무표정(Neutral)의 특정 정서를 나타내는 얼굴 사진에서 입 주변 영역에 사용자의 시선 패턴이 집중적으로 나타나면, 입 주변 영역에 사용자의 시선이 최소화되도록 훈련 템플릿을 생성할 수 있다.
보다 상세하게는, 훈련 템플릿 제공 장치(300)는 입 주변 영역을 시선 이동 경로의 후반부에 배치하거나 빠르게 통과 또는 회피할 수 있도록 하는 시선 고정 시간, 시선 이동 경로를 설정할 수 있다.
그리고, 훈련 템플릿 제공 장치(300)는 제2 색상으로 표시되는 기준 집단에서 더 비중 있게 시선이 집중되는 영역에 시선이 집중될 수 있도록 훈련 템플릿을 생성할 수 있다.
예를 들어, 제2 색상으로 표시되는 영역을 표시하여 사용자가 일정 시간 이상 해당 영역을 주시할 수 있도록 지시하는 훈련 템플릿을 생성할 수 있다.
이와 같이, 훈련 템플릿 제공 장치(300)는 얼굴사진에 표현된 정서 별로 사용자보다 기준 집단에서 더 비중 있게 시선이 집중되는 영역에 시선을 집중하고, 입주변 영역에 시선이 머무르지 않도록 일정한 단계별로 지시사항을 구체화하여 다양한 훈련 템플릿을 생성할 수 있다.
이하에서는 도 12 및 도 13을 이용하여 훈련 템플릿 제공 장치를 통해 훈련 템플릿을 제공하는 과정에 대해서 상세하게 설명한다.
도 12는 본 발명의 하나의 실시예에 따른 훈련 템플릿을 제공하는 방법을 나타내는 순서도이고, 도 13은 본 발명의 하나의 실시예에 따른 제공되는 훈련 템플릿을 나타낸 예시도이다.
훈련 템플릿 제공 장치(300)는 임의의 정서가 표현된 얼굴 사진을 제공한다(S410). 그리고, 훈련 템플릿 제공 장치(300)은 최초로 정서가 표현된 얼굴 사진을 제공하면서 i값을 0으로 초기값을 설정한다.
이때, 훈련 템플릿 제공 장치(300)는 별도의 데이터베이스에서 각각의 정서로 그룹핑된 얼굴 사진들 중에서 랜덤하게 선택되어 제공될 수 있으며, 임의의 정서가 표현된 얼굴 사진은 특정 성별, 연령에 한정되지 않는다.
다음으로, 훈련 템플릿 제공 장치(300)는 사용자로부터 얼굴 사진의 정서를 나타내는 단어를 입력받는다(S420).
이때, 훈련 템플릿 제공 장치(300)는 사용자로부터 직접 단어를 입력받거나, 복수개의 정서를 나타내는 단어를 제공한 후, 제공된 단어 중에서 사용자의 선택에 따라 특정 단어를 선택받을 수 있다.
그러면 훈련 템플릿 제공 장치(300)는 입력받은 단어와 얼굴 사진의 정서가 일치하는지 판단한다(S430).
이때, 판단결과 입력받은 단어가 얼굴 사진의 정서를 표현하는 단어인 경우, 종료하거나 임의의 정서가 표현된 얼굴 사진을 제공할 수 있다.
한편, 판단결과 입력받은 단어가 얼굴 사진의 정서를 표현하는 단어가 아닌 경우, 훈련 템플릿 제공 장치(300)는 i값의 크기를 기 설정된 n과 비교한다(S440). 여기서, n은 자연수인 임계값으로 사용자에 의해서 용이하게 변경 및 설계 가능하다.
훈련 템플릿 제공 장치(300)는 횟수가 기 설정된 숫자와 일치하지 않으면, 훈련 템플릿을 제공한다(S450).
그리고 훈련 템플릿 제공 장치(300)는 얼굴 사진마다 연동되어 저장된 적어도 하나 이상의 훈련 템플릿 중에서 i값에 따라 상이한 훈련 템플릿을 선택하여 제공할 수 있다.
여기서, 훈련 템플릿은 조현병 환자 집단의 시선 패턴과 조현병 환자 집단의 히트맵과 기준 집단의 히트맵과의 차이값이 반영된 디퍼런스 히트맵에 기초하여 생성된다.
훈련 템플릿에는 디퍼런스 히트맵에 기초하여 조현병 환자 집단의 시선 패턴보다 기준 집단의 시선 패턴에서 시선이 집중되는 영역을 특정 영역으로 얼굴 사진에 표시될 수 있다. 그리고 훈련 템플릿은 표시된 얼굴 사진의 특정 영역을 n초간 응시하도록 지시하거나, 얼굴 사진의 특정 영역에 기초하여 시선 이동 경로 지점들을 제공하고, 시선 이동 경로 지점마다 m초간 응시하도록 지시하는 내용을 포함한다.
여기서, n초와 m초는 사용자에 의해 용이하게 설정 변경 가능하며, i값이 커질수록 동일한 훈련 템플릿을 제공함에 있어서 더 길게 설정할 수 있다.
그리고 훈련 템플릿 제공 장치(300)는 훈련 템플릿을 제공하면서 i값에 1을 더해지도록 증가시킨다.
다음으로 훈련 템플릿 제공 장치(300)는 동일한 얼굴 사진을 제공한다(S460).
훈련 템플릿 제공 장치(300)는 훈련 템플릿을 통해 사용자가 시선 처리를 학습이 완료되었다고 판단하면, 다시 S410 단계에서 제공한 얼굴 사진을 다시 제공한다.
이때, 훈련 템플릿 제공 장치(300)는 사용자로부터 다음 단계로 진행하는 버튼을 입력받거나 미리 설정된 학습 시간을 초과하면 자동으로 동일한 얼굴 사진을 제공할 수 있다.
그리고 S420 단계로 회귀하여 반복 수행한다.
여기서, 훈련 템플릿 제공 장치(300)는 i의 값에 증가함에 따라 단계별로 구체적이고 상세한 지시를 포함하는 훈련 템플릿을 제공할 수 있다.
예를 들어 훈련 템플릿 제공 장치(300)는 도 13의 (a)과 같이, 랜덤하게 선택된 정서가 표현된 얼굴 사진 중에서 혐오 정서를 표현한 사진을 제공할 수 있다.
이때, 사용자로부터 입력받은 얼굴 사진의 정서를 표현하는 단어가 일치하지 않은 경우, 훈련 템플릿 제공 장치(300)는 도 13의 (a)와 같이 얼굴의 특정 영역을 넓게 표시하여 제공하면서, 5초간 해당 영역을 응시하도록 지시할 수 있다.
그런 다음 도 13의 (a)를 다시 제공하며, 동일한 사진에 대한 정서를 표현하는 단어가 입력되지 않은 경우, 도 13의 (c)와 같이 얼굴 사진에서 응시해야 하는 지점들과 각 지점들을 바라볼 때 시선 경로를 제공하면서, 각 지점마다 최소 5초간 응시한 후 시선을 처리하도록 지시할 수 있다.
이와 같이, 훈련 템플릿 제공 장치(300)는 동일한 얼굴 사진에 대해서 사용자가 입력한 단어가 제공되는 얼굴 사진의 정서를 나타내는 단어가 일치하지 않은 횟수가 증가하면, 보다 구체적이고 시선 처리를 지시하는 훈련 템플릿을 제공한다.
다음으로, S440 단계에서 i의 값이 n(자연수인 임계값)과 일치하면, 더 이상 훈련 템플릿을 제공하지 않고, 얼굴 사진이 나타내는 정서 단어를 사용자에게 표시한다(S470).
한편, 이러한 훈련 템플릿 제공 장치(300)가 사용자의 피드백을 통해 훈련 템플릿을 제공하는 경우, 안구추적장치(100)와 연동되어 제공되는 훈련 템플릿에 대응하여 정확하게 사용자가 시선 처리를 진행하였는지를 확인할 수 있다. 제공되는 훈련 템플릿과 사용자의 시선 처리가 일치하지 않은 경우, 훈련 템플릿 제공 장치(300)는 경고음 또는 경고 문구를 통해 알림 메시지를 전달하고 훈련 템플릿과 일치하는 시선 처리를 재요청할 수 있다.
이와 같이, 훈련 템플릿을 제공하는 조현병 환자를 대상으로 하는 얼굴 표정 인식을 향상 시키기 위한 프로그램은 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다.
컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체는 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크와 같은 자기-광 매체, 및 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 여기서 매체는 프로그램 명령, 데이터 구조 등을 지정하는 신호를 전송하는 반송파를 포함하는 광 또는 금속선, 도파관 등의 전송 매체일 수도 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드가 포함된다.
이상에서 본 발명의 바람직한 하나의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
100: 안구추적장치 200: 훈련 템플릿 구축 장치
210: 시선 고정점 수신부 220: 시선 패턴 추출부
230: 히트맵 도출부 240: 디퍼런스 히트맵 도출부
250: 제어부 300: 훈련 템플릿 제공 장치

Claims (15)

  1. 연동되는 안구추적장치로부터 임의의 정서가 표현된 얼굴 사진을 바라보는 사용자의 시선 고정점들을 수신하는 시선 고정점 수신부,
    상기 시선 고정점 수신부에서 수신한 상기 시선 고정점들을 기계 학습하여 상기 시선 패턴과 시선 패턴 정보를 추출하는 시선 패턴 추출부,
    상기 시선 패턴 추출부에서 추출한 상기 시선 패턴과 상기 시선 패턴 정보를 이용하여 히트맵(heatmap)을 도출하는 히트맵 도출부,
    상기 히트맵 도출부에서 도출된 상기 히트맵과 미리 저장된 동일한 정서가 표현된 얼굴 사진에 기초한 기준 집단의 히트맵과의 차이값을 도출하고, 상기 차이값이 반영된 디퍼런스 히트맵을 도출하는 디퍼런스 히트맵 도출부, 그리고
    상기 시선 패턴과 상기 디퍼런스 히트맵을 분석하여 상기 사용자의 시선 처리의 순서, 시간, 경로를 포함하는 훈련 템플릿을 생성하는 제어부
    를 포함하고,
    상기 디퍼런스 히트맵 도출부는,
    도출된 상기 차이값을 분석하여, 기준 집단의 시선 패턴보다 상기 사용자의 시선 패턴에서 시선이 집중되는 영역을 제1 색상으로 표시하고, 상기 사용자의 시선 패턴보다 상기 기준 집단의 시선 패턴에서 시선이 집중되는 영역을 상기 제1 색상과 보색을 이루는 제2 색상으로 표시하는 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치.
  2. 제1항에서,
    상기 시선 패턴 추출부는,
    상기 시선 고정점들로부터 상기 시선 패턴과 상기 얼굴 사진에서 표정 영역에 머무른 평균 시선 고정 시간, 시선 이동 경로를 포함하는 시선 패턴 정보를 추출하는 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치.
  3. 제1항에서,
    상기 히트맵 도출부는,
    상기 시선 패턴과 시선 패턴 정보에 가중치를 적용하고, 가중치가 적용된 상기 시선 패턴을 통해 시선의 비중의 정도에 따라 상이한 색상의 분포를 상기 얼굴 사진에 표시하는 히트맵을 도출하는 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치.
  4. 삭제
  5. 제1항에서,
    상기 제어부는,
    상기 제2 색상으로 표시되는 영역에 상기 사용자의 시선이 일정 시간 이상으로 집중되도록 시선 고정 시간, 시선 이동 경로를 포함하는 훈련 템플릿을 생성하는 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치.
  6. 제1항에서,
    상기 제어부는,
    특정 정서를 나타내는 얼굴 사진의 입 주변 영역에 사용자의 시선 패턴이 지엽적으로 나타나면,
    상기 입 주변 영역을 시선 경로의 후반부에 배치하거나 상기 입 주변 영역을 빠르게 통과 또는 회피할 수 있도록 하는 시선 고정 시간, 시선 이동 경로를 설정하는 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치.
  7. 연동되는 안구추적장치로부터 임의의 정서가 표현된 얼굴 사진을 바라보는 사용자의 시선 고정점들을 수신하는 단계,
    상기 시선 고정점들을 기계 학습하여 상기 시선 패턴과 시선 패턴 정보를 추출하는 단계,
    상기 시선 패턴과 상기 시선 패턴 정보를 이용하여 히트맵(heatmap)을 도출하는 단계,
    상기 히트맵과 미리 저장된 동일한 정서가 표현된 얼굴 사진에 기초한 기준 집단의 히트맵과의 차이값을 도출하고, 상기 차이값이 반영된 디퍼런스 히트맵을 도출하는 단계, 그리고
    상기 시선 패턴과 상기 디퍼런스 히트맵을 분석하여 상기 사용자의 시선 처리의 순서, 시간, 경로를 포함하는 훈련 템플릿을 생성하는 단계
    를 포함하고,
    상기 디퍼런스 히트맵을 도출하는 단계는,
    도출된 상기 차이값을 분석하여, 기준 집단의 시선 패턴보다 상기 사용자의 시선 패턴에서 시선이 집중되는 영역을 제1 색상으로 표시하고, 상기 사용자의 시선 패턴보다 상기 기준 집단의 시선 패턴에서 시선이 집중되는 영역을 상기 제1 색상과 보색을 이루는 제2 색상으로 표시하는 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치의 방법.
  8. 제7항에서,
    상기 시선 패턴과 시선 패턴 정보를 추출하는 단계는,
    상기 시선 고정점들로부터 상기 시선 패턴과 상기 얼굴 사진에서 표정 영역에 머무른 평균 시선 고정 시간, 시선 이동 경로를 포함하는 시선 패턴 정보를 추출하는 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치의 방법.
  9. 제7항에서,
    상기 히트맵을 도출하는 단계는,
    상기 시선 패턴과 시선 패턴 정보에 가중치를 적용하고, 가중치가 적용된 상기 시선 패턴을 통해 시선의 비중의 정도에 따라 상이한 색상의 분포를 상기 얼굴 사진에 표시하는 히트맵을 도출하는 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치의 방법.
  10. 삭제
  11. 제7항에서,
    상기 훈련 템플릿을 생성하는 단계는,
    상기 제2 색상으로 표시되는 영역에 상기 사용자의 시선이 일정 시간 이상으로 집중되도록 시선 고정 시간, 시선 이동 경로를 포함하는 훈련 템플릿을 생성하는 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치의 방법.
  12. 제7항에서,
    상기 훈련 템플릿을 생성하는 단계는,
    특정 정서를 나타내는 얼굴 사진의 입 주변 영역에 사용자의 시선 패턴이 집중적으로 나타나면,
    상기 입 주변 영역을 시선 이동 경로의 후반부에 배치하거나 상기 입 주변 영역을 빠르게 통과 또는 회피할 수 있도록 하는 시선 고정 시간, 시선 이동 경로를 설정하는 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치의 방법.
  13. 훈련 템플릿 구축 장치를 통해 생성된 훈련 템플릿을 제공하는 방법이 구현된 프로그램이 저장된 판독 가능한 기록매체에 있어서,
    상기 프로그램은,
    임의의 정서가 표현된 얼굴 사진을 제공하는 기능,
    사용자로부터 상기 얼굴 사진의 정서를 나타내는 단어를 입력받는 기능,
    입력받은 상기 단어와 상기 얼굴 사진의 정서가 일치하는지 판단하는 기능, 그리고
    판단 결과, 일치하지 않으면 상기 얼굴 사진의 특정 영역을 표시하여 n초간 응시하도록 지시하거나, 상기 얼굴 사진의 특정 영역에 기초하여 시선 이동 경로 지점들을 제공하고, 상기 시선 이동 경로 지점마다 m초간 응시하도록 지시하는 훈련 템플릿을 제공하는 기능
    을 실현시키기 위한 것이며,
    상기 훈련 템플릿은,
    조현병 환자 집단의 시선 패턴과 상기 조현병 환자 집단의 히트맵과 기준 집단의 히트맵과의 차이값이 반영된 디퍼런스 히트맵에 기초하여 생성되며,
    상기 특정 영역은
    상기 조현병 환자 집단의 시선 패턴보다 상기 기준 집단의 시선 패턴에서 시선이 집중되는 영역을 나타내는 것이 특징인 컴퓨터로 판독 가능한 기록매체.
  14. 삭제
  15. 제13항에 있어서,
    상기 훈련 템플릿은,
    상기 얼굴 사진이 화남, 공포, 혐오, 무표정의 정서를 나타내는 사진이면, 상기 얼굴 사진의 입 주변에 한정된 영역을 빠르게 통과하거나 시선 이동 경로 지점의 후반부에 배치되는 것이 특징인 컴퓨터로 판독 가능한 기록매체.
KR1020180115261A 2018-09-27 2018-09-27 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치 및 그 방법 KR101996039B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020180115261A KR101996039B1 (ko) 2018-09-27 2018-09-27 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치 및 그 방법
US16/164,970 US10699164B2 (en) 2018-09-27 2018-10-19 Training template construction apparatus for facial expression recognition and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180115261A KR101996039B1 (ko) 2018-09-27 2018-09-27 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치 및 그 방법

Publications (1)

Publication Number Publication Date
KR101996039B1 true KR101996039B1 (ko) 2019-07-03

Family

ID=67258807

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180115261A KR101996039B1 (ko) 2018-09-27 2018-09-27 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치 및 그 방법

Country Status (2)

Country Link
US (1) US10699164B2 (ko)
KR (1) KR101996039B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826510A (zh) * 2019-11-12 2020-02-21 电子科技大学 一种基于表情情感计算的三维教学课堂实现方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100066866A (ko) * 2008-12-10 2010-06-18 광주과학기술원 휴대용 얼굴 표정 연습 장치와 그 방법.
KR20140046652A (ko) * 2012-10-09 2014-04-21 경북대학교 산학협력단 학습 모니터링 장치 및 학습 모니터링 방법
KR20170107229A (ko) * 2016-03-15 2017-09-25 (주)인더텍 아이 트랙킹을 이용한 인지 집중력 훈련 장치 및 방법

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090001324A (ko) 2007-06-29 2009-01-08 주식회사 케이티 학습 행태 추적을 통한 맞춤형 이러닝 시스템 및 운영 방법
US20150135309A1 (en) * 2011-08-20 2015-05-14 Amit Vishram Karmarkar Method and system of user authentication with eye-tracking data
US8719278B2 (en) * 2011-08-29 2014-05-06 Buckyball Mobile Inc. Method and system of scoring documents based on attributes obtained from a digital document by eye-tracking data analysis
US9363569B1 (en) * 2014-07-28 2016-06-07 Jaunt Inc. Virtual reality system including social graph
US10317992B2 (en) * 2014-09-25 2019-06-11 Microsoft Technology Licensing, Llc Eye gaze for spoken language understanding in multi-modal conversational interactions
US20170115742A1 (en) * 2015-08-01 2017-04-27 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command
EP3394825A4 (en) * 2015-12-18 2019-08-14 Cognoa, Inc. PLATFORM AND SYSTEM FOR DIGITAL PERSONALIZED MEDICINE
GB2575740A (en) * 2017-02-09 2020-01-22 Congoa Inc Platform and system for digital personalized medicine
US10152118B2 (en) * 2017-04-26 2018-12-11 The Virtual Reality Company Emotion-based experience freedback
US20190196576A1 (en) * 2017-12-01 2019-06-27 Nokia Technologies Oy Virtual reality device and a virtual reality server
US11160843B2 (en) * 2018-04-30 2021-11-02 Yale University Oxytocin and opioid antagonists for treatment of social dysfunction disorder
US10943092B2 (en) * 2018-05-23 2021-03-09 ClairLabs Ltd. Monitoring system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100066866A (ko) * 2008-12-10 2010-06-18 광주과학기술원 휴대용 얼굴 표정 연습 장치와 그 방법.
KR20140046652A (ko) * 2012-10-09 2014-04-21 경북대학교 산학협력단 학습 모니터링 장치 및 학습 모니터링 방법
KR20170107229A (ko) * 2016-03-15 2017-09-25 (주)인더텍 아이 트랙킹을 이용한 인지 집중력 훈련 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Exploring human visual system: study to aid the development of automatic facial expression recognition framework (2012.07.31) 논문 1부* *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110826510A (zh) * 2019-11-12 2020-02-21 电子科技大学 一种基于表情情感计算的三维教学课堂实现方法

Also Published As

Publication number Publication date
US20200104637A1 (en) 2020-04-02
US10699164B2 (en) 2020-06-30

Similar Documents

Publication Publication Date Title
US9734730B2 (en) Multi-modal modeling of temporal interaction sequences
JP6361649B2 (ja) 情報処理装置、通知状態制御方法及びプログラム
CN107087431B (zh) 用于辨别眼睛信号和连续生物识别的系统和方法
US20140212854A1 (en) Multi-modal modeling of temporal interaction sequences
US20130266925A1 (en) Embedded Conversational Agent-Based Kiosk for Automated Interviewing
WO2014156389A1 (ja) 情報処理装置、提示状態制御方法及びプログラム
KR102092931B1 (ko) 시선 추적 방법 및 이를 수행하기 위한 사용자 단말
EP3483785A1 (en) System and method for guiding social interactions
EP3693847B1 (en) Facilitating awareness and conversation throughput in an augmentative and alternative communication system
US10877555B2 (en) Information processing device and information processing method for controlling user immersion degree in a virtual reality environment
US20210312167A1 (en) Server device, terminal device, and display method for controlling facial expressions of a virtual character
WO2017062164A1 (en) Directed personal communication for speech generating devices
JP2020173787A (ja) 情報処理装置、情報処理システム、情報処理方法、および情報処理プログラム
Tikadar et al. Detection of affective states of the students in a blended learning environment comprising of smartphones
JP7099377B2 (ja) 情報処理装置及び情報処理方法
KR101996039B1 (ko) 얼굴 표정 인식을 위한 훈련 템플릿 구축 장치 및 그 방법
US20210401339A1 (en) Adaptive behavioral training, and training of associated physiological responses, with assessment and diagnostic functionality
WO2020175969A1 (ko) 감정 인식 장치 및 감정 인식 방법
CN111369275A (zh) 识别和描述群体方法、协调装置及计算机可读取存储介质
Castillo et al. The semantic space for motion‐captured facial expressions
US20220122333A1 (en) Information processing apparatus, information processing method, and program
US11935140B2 (en) Initiating communication between first and second users
Mansouri Benssassi et al. Wearable assistive technologies for autism: opportunities and challenges
Leahu Representation without representationalism
KR102647730B1 (ko) 워핑기술을 이용한 자폐증 환자의 상호작용 훈련 시스템 및 영상 워핑 모델 학습 방법

Legal Events

Date Code Title Description
GRNT Written decision to grant