KR102548970B1 - 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 - Google Patents

얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 Download PDF

Info

Publication number
KR102548970B1
KR102548970B1 KR1020200083755A KR20200083755A KR102548970B1 KR 102548970 B1 KR102548970 B1 KR 102548970B1 KR 1020200083755 A KR1020200083755 A KR 1020200083755A KR 20200083755 A KR20200083755 A KR 20200083755A KR 102548970 B1 KR102548970 B1 KR 102548970B1
Authority
KR
South Korea
Prior art keywords
information
user
psychological test
facial expression
labeling
Prior art date
Application number
KR1020200083755A
Other languages
English (en)
Other versions
KR20220005945A (ko
Inventor
안민영
박준영
이정헌
서유민
Original Assignee
주식회사 유엑스팩토리
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유엑스팩토리 filed Critical 주식회사 유엑스팩토리
Priority to KR1020200083755A priority Critical patent/KR102548970B1/ko
Priority to PCT/KR2021/008070 priority patent/WO2022010149A1/ko
Publication of KR20220005945A publication Critical patent/KR20220005945A/ko
Priority to US18/077,442 priority patent/US20230098296A1/en
Application granted granted Critical
Publication of KR102548970B1 publication Critical patent/KR102548970B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/55—Clustering; Classification
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/5866—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, manually generated location and time information
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/774—Generating sets of training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/174—Facial expression recognition

Abstract

본 발명의 일 태양에 따르면, 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법으로서, 사용자가 심리 검사를 수행하는 동안에 특정되는 상기 사용자의 얼굴 표정에 관한 정보 및 상기 사용자의 얼굴 표정에 관한 정보와 연관되는 상기 심리 검사의 분석 결과에 관한 정보를 획득하는 단계, 상기 심리 검사의 분석 결과에 관한 정보를 참조하여 상기 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하는 단계, 및 상기 사용자의 얼굴 표정에 관한 정보 및 상기 라벨링에 관한 정보를 포함하는 데이터 세트를 생성하는 단계를 포함하는 방법이 제공된다.

Description

얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체{METHOD, SYSTEM AND NON-TRANSITORY COMPUTER-READABLE RECORDING MEDIUM FOR GENERATING A DATA SET ON FACIAL EXPRESSIONS}
본 발명은 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체에 관한 것이다.
얼굴 표정은 사람의 감정과 의사를 전달하기 위한 의사 소통 방법 중 하나로서, 사람의 감정을 이해하기 위해 표정 인식에 관한 다양한 연구가 진행되고 있다. 특히, 근래에 들어, 사람의 얼굴에 나타나는 표정 변화를 정확히 인지하고 감정을 분류할 수 있는 많은 기술들이 개발되고 있다.
하지만, 지금까지 소개된 기술에 의하면, 얼굴 표정 및 감정의 분류 정확도를 높이기 위하여 수집 관리자의 지시에 의해 사용자가 특정 표정을 의도적으로 지은 상태에서 얼굴 표정에 관한 데이터를 수집하였기 때문에 데이터가 의도성 및 편향성을 띌 수밖에 없었고, 이러한 데이터를 활용하게 되면 얼굴 표정을 분석하는 정확도에 좋지 않은 영향을 미칠 수밖에 없었다. 미국 과학자인 폴 에크만(Paul Ekman)에 의해 제안된 얼굴 표정 데이터셋을 활용하는 방안도 고려해볼 수 있으나 주로 백인 남성 위주의 자료였기 때문에 다른 인종 또는 다른 성별에 대하여는 확장하기가 어려운 점이 있다.
자연스러운 얼굴 표정 및 그 때의 감정에 관한 데이터를 얻기 위하여 많은 시도가 있었으나, 자연스러운 얼굴 표정을 획득하더라도 그 얼굴 표정을 분류하기 애매하거나 그 때의 감정을 분류하기 애매한 경우가 많아 정확한 라벨링 작업을 수행하기 어려운 문제가 있었다.
이에 본 발명자는, 심리 검사 결과와 얼굴 표정 데이터를 연동하여 얼굴 표정에 관한 정확한 데이터 세트를 생성할 수 있는 신규하고도 진보된 기술을 제안하는 바이다.
한국공개특허공보 제2012-64541호(2012.06.19)
본 발명은 상술한 종래 기술의 문제점을 모두 해결하는 것을 그 목적으로 한다.
또한, 본 발명은 심리 검사를 수행하는 동안에 획득되는 얼굴 표정에 관한 정보와 심리 검사의 분석 결과에 관한 정보를 서로 연동하여 정확하게 라벨링이 수행될 수 있도록 하는 것을 그 목적으로 한다.
또한, 본 발명은 얼굴 표정에 관한 정확하고 활용도 높은 데이터 세트를 생성하는 것을 그 목적으로 한다.
상기 목적을 달성하기 위한 본 발명의 대표적인 구성은 다음과 같다.
본 발명의 일 태양에 따르면, 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법으로서, 사용자가 심리 검사를 수행하는 동안에 특정되는 상기 사용자의 얼굴 표정에 관한 정보 및 상기 사용자의 얼굴 표정에 관한 정보와 연관되는 상기 심리 검사의 분석 결과에 관한 정보를 획득하는 단계, 상기 심리 검사의 분석 결과에 관한 정보를 참조하여 상기 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하는 단계, 및 상기 사용자의 얼굴 표정에 관한 정보 및 상기 라벨링에 관한 정보를 포함하는 데이터 세트를 생성하는 단계를 포함하는 방법이 제공된다.
또한, 본 발명의 일 태양에 따르면, 얼굴 표정에 관한 데이터 세트를 생성하기 위한 시스템으로서, 사용자가 심리 검사를 수행하는 동안에 특정되는 상기 사용자의 얼굴 표정에 관한 정보 및 상기 사용자의 얼굴 표정에 관한 정보와 연관되는 상기 심리 검사의 분석 결과에 관한 정보를 획득하는 정보 획득부, 상기 심리 검사의 분석 결과에 관한 정보를 참조하여 상기 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하는 라벨링 관리부, 및 상기 사용자의 얼굴 표정에 관한 정보 및 상기 라벨링에 관한 정보를 포함하는 데이터 세트를 생성하는 데이터 세트 관리부를 포함하는 시스템이 제공된다.
이 외에도, 본 발명을 구현하기 위한 다른 방법, 다른 시스템 및 상기 방법을 실행하기 위한 비일시성의 컴퓨터 프로그램을 기록하는 컴퓨터 판독 가능한 기록 매체가 더 제공된다.
본 발명에 의하면, 심리 검사를 수행하는 동안에 획득되는 얼굴 표정에 관한 정보와 심리 검사의 분석 결과에 관한 정보를 서로 연동하여 정확한 라벨링을 수행할 수 있게 된다.
또한, 본 발명에 의하면, 얼굴 표정에 관한 정확하고 활용도 높은 데이터 세트를 생성할 수 있게 된다.
도 1은 본 발명의 일 실시예에 따라 얼굴 표정에 관한 데이터 세트를 생성하기 위한 전체 시스템의 구성을 개략적으로 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 관리 시스템의 내부 구성을 예시적으로 나타내는 도면이다.
도 3 및 도 4는 본 발명의 일 실시예에 따라 얼굴 표정에 관한 데이터 세트를 생성하고 이를 기반으로 학습이 수행되는 과정을 예시적으로 나타내는 도면이다.
후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이러한 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 본 명세서에 기재되어 있는 특정 형상, 구조 및 특성은 본 발명의 정신과 범위를 벗어나지 않으면서 일 실시예로부터 다른 실시예로 변경되어 구현될 수 있다. 또한, 각각의 실시예 내의 개별 구성요소의 위치 또는 배치도 본 발명의 정신과 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 행하여지는 것이 아니며, 본 발명의 범위는 특허청구범위의 청구항들이 청구하는 범위 및 그와 균등한 모든 범위를 포괄하는 것으로 받아들여져야 한다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 구성요소를 나타낸다.
이하에서는, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 여러 바람직한 실시예에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.
전체 시스템의 구성
도 1은 본 발명의 일 실시예에 따라 얼굴 표정에 관한 데이터를 수집하기 위한 전체 시스템의 구성을 개략적으로 나타내는 도면이다.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 전체 시스템은 통신망(100) 및 관리 시스템(200)을 포함할 수 있다.
먼저, 본 발명의 일 실시예에 따르면, 통신망(100)은 유선 통신이나 무선 통신과 같은 통신 양태를 가리지 않고 구성될 수 있으며, 근거리 통신망(LAN; Local Area Network), 도시권 통신망(MAN; Metropolitan Area Network), 광역 통신망(WAN; Wide Area Network) 등 다양한 통신망으로 구성될 수 있다. 바람직하게는, 본 명세서에서 말하는 통신망(100)은 공지의 인터넷 또는 월드와이드웹(WWW; World Wide Web)일 수 있다. 그러나, 통신망(100)은, 굳이 이에 국한될 필요 없이, 공지의 유무선 데이터 통신망, 공지의 전화망 또는 공지의 유무선 텔레비전 통신망을 그 적어도 일부에 있어서 포함할 수도 있다.
예를 들면, 통신망(100)은 무선 데이터 통신망으로서, 와이파이(WiFi) 통신, 와이파이 다이렉트(WiFi-Direct) 통신, 롱텀 에볼루션(LTE, Long Term Evolution) 통신, 블루투스 통신(더 구체적으로는, 저전력 블루투스(BLE; Bluetooth Low Energy)), 적외선 통신, 초음파 통신 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다. 다른 예를 들면, 통신망(100)은 광 통신망으로서, 라이파이(LiFi, Light Fidelity) 등과 같은 종래의 통신 방법을 적어도 그 일부분에 있어서 구현하는 것일 수 있다.
다음으로, 본 발명의 일 실시예에 따른 관리 시스템(200)은 사용자가 심리 검사를 수행하는 동안에 특정되는 사용자의 얼굴 표정에 관한 정보 및 위의 사용자의 얼굴 표정에 관한 정보와 연관되는 심리 검사의 분석 결과에 관한 정보를 획득하고, 심리 검사의 분석 결과에 관한 정보를 참조하여 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하고, 사용자의 얼굴 표정에 관한 정보 및 라벨링에 관한 정보를 포함하는 데이터 세트를 생성하는 기능을 수행할 수 있다.
관리 시스템(200)의 기능에 관하여는 아래에서 더 자세하게 알아보기로 한다. 한편, 관리 시스템(200)에 관하여 위와 같이 설명되었으나, 이러한 설명은 예시적인 것이고, 관리 시스템(200)에 요구되는 기능이나 구성요소의 적어도 일부가 필요에 따라 다른 관리 시스템(200) 내에서 실현되거나 외부 시스템(미도시됨) 내에 포함될 수도 있음은 당업자에게 자명하다.
관리 시스템의 구성
이하에서는, 본 발명의 구현을 위하여 중요한 기능을 수행하는 관리 시스템(200)의 내부 구성 및 각 구성요소의 기능에 대하여 살펴보기로 한다.
도 2는 본 발명의 일 실시예에 따른 관리 시스템(200)의 내부 구성을 예시적으로 나타내는 도면이다.
도 2를 참조하면, 본 발명의 일 실시예에 따른 관리 시스템(200)은 정보 획득부(210), 라벨링 관리부(220), 데이터 세트 관리부(230), 분석 관리부(240), 통신부(250) 및 제어부(260)를 포함할 수 있다. 본 발명의 일 실시예에 따르면, 정보 획득부(210), 라벨링 관리부(220), 데이터 세트 관리부(230), 분석 관리부(240), 통신부(250) 및 제어부(260)는 그 중 적어도 일부가 외부 시스템(미도시됨)과 통신하는 프로그램 모듈들일 수 있다. 이러한 프로그램 모듈들은 운영 시스템, 응용 프로그램 모듈 및 기타 프로그램 모듈의 형태로 관리 시스템(200)에 포함될 수 있으며, 물리적으로는 여러 가지 공지의 기억 장치 상에 저장될 수 있다. 또한, 이러한 프로그램 모듈들은 관리 시스템(200)과 통신 가능한 원격 기억 장치에 저장될 수도 있다. 한편, 이러한 프로그램 모듈들은 본 발명에 따라 후술할 특정 업무를 수행하거나 특정 추상 데이터 유형을 실행하는 루틴, 서브루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조 등을 포괄하지만, 이에 제한되지는 않는다.
먼저, 본 발명의 일 실시예에 따른 정보 획득부(210)는 사용자가 심리 검사를 수행하는 동안에 특정되는 사용자의 얼굴 표정에 관한 정보 및 사용자의 얼굴 표정에 관한 정보와 연관되는 심리 검사의 분석 결과에 관한 정보를 획득하는 기능을 수행할 수 있다. 본 발명의 일 실시예에 따른 심리 검사는 사용자의 감정(또는 성향)과 연관되는 적어도 하나의 문항을 포함할 수 있으며, 보다 구체적으로, 각각의 문항 또는 복수의 문항에 기초하여 해당 사용자의 감정(또는 성향)이 분류 또는 특정될 수 있는 검사일 수 있다. 또한, 본 발명의 일 실시예에 따르면, 사용자의 얼굴 표정에 관한 정보는, 얼굴 표정을 인식하기 위하여 얼굴의 소정 영역 또는 랜드마크(landmark)에 기초하여 특정되는 움직임, 변화, 패턴, 메트릭(metric) 또는 특징(feature)이나, 얼굴 신체 부위(예를 들어, 근육)의 소정 액션 단위를 기준으로 특정되는 움직임, 변화, 패턴, 메트릭(metric) 또는 특징(feature)에 관한 정보를 포함할 수 있다. 또한, 본 발명의 일 실시예에 따른 심리 검사의 분석 결과에 관한 정보에는 심리 검사를 수행하는 동안 사용자에 의해 응답되는 적어도 하나의 문항을 참조하여 특정되는 감정(또는 성향) 또는 그 종류에 관한 정보가 포함될 수 있고, 예를 들어, 심리 검사를 수행하는 동안 사용자에 의해 응답되는 복수의 문항(또는 그 복수의 문항에 대한 응답) 사이의 상호 연관 관계에 기초하여 특정되는 감정(또는 성향) 또는 그 종류에 관한 정보가 포함될 수 있다.
예를 들어, 정보 획득부(210)는 사용자가 심리 검사를 수행하는 동안에 해당 사용자의 얼굴 표정에 관한 정보를 시계열적으로 획득할 수 있으며, 보다 구체적으로, 정보 획득부(210)는 사용자가 심리 검사를 수행하는 동안에 해당 사용자의 얼굴 표정에 관한 정보를 시계열적으로 특정하고 소정의 블록 단위로 이를 대표화하여 획득할 수 있다. 여기서의, 블록 단위는, 소정 표정 단위(예를 들어, 웃는 표정 및 화난 표정이 연속하여 나타난 경우에 그 웃는 표정 및 화난 표정 각각을 의미할 수 있음) 또는 소정 문항 단위(즉, 특정 감정과 연관된 적어도 하나의 문항 단위를 의미할 수 있으며, 예를 들어, 세 개의 문항이 특정 감정과 연관된 것이라면 그 세 개의 문항을 의미할 수 있음)에 기초하여 특정되는 단위를 의미할 수 있다.
또한, 정보 획득부(210)는 심리 검사와 연관되는 적어도 하나의 전문가 코멘트 및 심리 검사를 수행하는 동안에 특정되는 사용자의 생체 정보 중 적어도 하나를 참조하여 심리 검사의 분석 결과에 관한 정보를 특정할 수 있다. 예를 들어, 사용자의 생체 정보에는 뇌파, 맥파, 심장 박동, 체온, 혈당, 동공 변화, 혈압 및 혈중 용존 산소량 중 적어도 하나에 관한 정보가 포함될 수 있다.
예를 들어, 정보 획득부(210)는 심리 검사의 적어도 하나의 문항 또는 그 적어도 하나의 문항에 대하여 제공되는 사용자의 응답에 기초하여 획득되는 적어도 하나의 전문가의 감정 분석 결과(또는 성향 분석 결과)(즉, 전문가 코멘트)와 심리 검사의 문항에 대하여 응답하는 과정에서 획득되는 생체 정보를 이용하여 심리 검사의 문항에 대하여 응답된 결과로부터 도출되는 분석 결과를 보완하거나 검증할 수 있다.
보다 구체적으로, 정보 획득부(210)는 심리 검사의 문항에 대하여 응답된 결과로부터 해당 사용자의 감정이 "행복"이라고 도출되었지만, 사용자의 생체 정보에 기초하여 해당 사용자의 감정이 "짜증"이 특정되거나 전문가의 감정 분석 결과가 "행복"과 배치되는 경우에 해당 심리 검사의 문항에 대하여 응답된 결과를 제외하거나, 심리 검사의 문항에 대하여 응답된 결과, 사용자의 생체 정보 및 전문가의 감정 분석 결과 각각에 대하여 부여되는 가중치를 기준으로 스코어를 산출 및 비교 분석함으로써, 심리 검사의 분석 결과에 관한 정보를 특정할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 라벨링 관리부(220)는 심리 검사의 분석 결과에 관한 정보를 참조하여 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하는 기능을 수행할 수 있다.
예를 들어, 라벨링 관리부(220)는 심리 검사의 적어도 하나의 문항과 연관되는 감정을 참조하여 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행할 수 있다. 보다 구체적으로, 라벨링 관리부(220)는 심리 검사의 적어도 하나의 문항에서 특정되는 감정을, 그 문항을 응답하고 있는 동안에 획득되는 해당 사용자의 얼굴 표정에 관한 정보에 대하여 매칭시킬 수 있다. 예를 들어, 심리 검사의 적어도 하나의 문항에서 "행복"이라는 감정이 특정되는 경우에 그 적어도 하나의 문항에 대하여 응답을 하고 있는 동안에 해당 사용자의 얼굴 표정에 관한 정보를 "행복"에 관한 정보인 것으로 매칭시킬 수 있게 된다.
다음으로, 본 발명의 일 실시예에 따른 데이터 세트 생성 관리부(230)는 사용자의 얼굴 표정에 관한 정보 및 위의 라벨링에 관한 정보를 포함하는 데이터 세트를 생성하는 기능을 수행할 수 있다.
예를 들어, 데이터 세트 생성 관리부(230)는 사용자의 얼굴 표정에 관한 정보 및 그에 대하여 라벨링된 감정에 관한 정보(즉, 위의 라벨링에 관한 정보)를 하나의 묶음으로 하여(또는 단위 세트로 하여) 복수의 묶음을 포함하는 데이터 세트로 생성할 수 있다.
다음으로, 본 발명의 일 실시예에 따른 분석 관리부(240)는 데이터 세트 생성 관리부(230)에 의해 생성된 데이터 세트에 기초하여 얼굴 표정 분석과 연관되는 학습을 수행할 수 있다. 본 발명의 일 실시예에 따르면, 얼굴 표정 분석과 연관되는 학습에는 얼굴 표정 분석을 기반으로 수행할 수 있는 얼굴 인식, 감정 인식 등에 관한 다양한 학습이 포함될 수 있다. 본 발명에 따른 학습의 종류는 반드시 위의 열거된 것에만 한정되는 것은 아니며, 본 발명의 목적을 달성할 수 있는 범위 내에서 다양하게 변경될 수 있음을 밝혀 둔다.
예를 들어, 본 발명의 일 실시예에 따른 분석 관리부(240)는 데이터 세트로부터 복수의 감정 각각에 대응되는 얼굴 표정의 특징(feature), 패턴 또는 메트릭(metric)에 관한 정보를 획득하고, 이를 학습 데이터로 이용하여 학습 모델(learning model)을 훈련시킴으로써, 얼굴 표정 분석과 연관된 학습 모델(예를 들어, 인물의 얼굴 이미지로부터 해당 인물의 감정을 추정할 수 있는 학습 모델)을 생성할 수 있다. 이러한 학습 모델에는 인공 신경망(Artificial Neural Network) 또는 딥러닝(deep learning) 모델 등 다양한 기계 학습 모델이 포함될 수 있으며, 예를 들어, 이러한 학습 모델에는, 서포트 벡터 머신(Support Vector Machine) 모델, 히든 마코브(Hidden Markov) 모델, k-최근접 이웃(K-Nearest Neighbor) 모델, 랜덤 포레스트(Random Forest) 모델 등이 포함될 수 있다.
다음으로, 본 발명의 일 실시예에 따르면, 통신부(250)는 정보 획득부(210), 라벨링 관리부(220), 데이터 세트 생성 관리부(230) 및 분석 관리부(240)로부터의/로의 데이터 송수신이 가능하도록 하는 기능을 수행할 수 있다.
마지막으로, 본 발명의 일 실시예에 따르면, 제어부(260)는 정보 획득부(210) 및 라벨링 관리부(220), 데이터 세트 생성 관리부(230), 분석 관리부(240) 및 통신부(250) 간의 데이터의 흐름을 제어하는 기능을 수행할 수 있다. 즉, 본 발명에 따른 제어부(260)는 관리 시스템(200)의 외부로부터의/로의 데이터 흐름 또는 관리 시스템(200)의 각 구성요소 간의 데이터 흐름을 제어함으로써, 정보 획득부(210) 및 라벨링 관리부(220), 분석 관리부(240) 및 통신부(250)에서 각각 고유 기능을 수행하도록 제어할 수 있다.
도 3 및 도 4는 본 발명의 일 실시예에 따라 얼굴 표정에 관한 데이터를 수집하고 이를 기반으로 학습이 수행되는 과정을 예시적으로 나타내는 도면이다.
도 3을 참조하면, 사용자가 웨어러블 디바이스(300)를 착용하고 심리 검사를 수행하는 상황을 가정해 볼 수 있다.
본 발명의 일 실시예에 따른 웨어러블 디바이스(300)는 관리 시스템(200)에 접속한 후 통신할 수 있는 기능을 포함하는 디지털 기기로서, 스마트 워치, 스마트 글래스 등 등과 같이 휴대 가능하며, 메모리 수단을 구비하고 마이크로 프로세서를 탑재하여 연산 능력을 갖춘 디지털 기기일 수 있다.
또한, 본 발명의 일 실시예에 따르면, 관리 시스템(200)의 정보 획득부(210) 및 라벨링 관리부(220) 및 분석 관리부(240) 중 적어도 하나의 기능이 웨어러블 디바이스(300)에서 수행될 수 있으며, 본 발명의 일 실시예에 따른 웨어러블 디바이스(300)에는 위의 기능들이 수행되도록 하기 위해 필요한 사용자 인터페이스를 사용자에게 제공할 수 있다.
먼저, 본 발명의 일 실시예에 따라 사용자가 심리 검사를 수행하는 동안에 웨어러블 디바이스(300)를 통해 시계열적으로 사용자의 얼굴 표정에 관한 정보가 획득될 수 있다.
그 다음에, 심리 검사의 적어도 하나의 문항에 대하여 위의 사용자에 의해 응답된 결과를 참조하여 적어도 하나의 문항에 대응되는 감정에 관한 정보가 획득되고, 심리 검사의 적어도 하나의 문항에 대하여 위의 사용자에 의해 응답된 결과에 대하여 전문가의 감정 분석 결과가 전문가 코멘트로서 제공될 수 있다.
그 다음에, 위의 적어도 하나의 문항에 대응되는 감정에 관한 정보 및 위의 전문가의 감정 분석 결과를 참조하여 심리 검사의 분석 결과에 관한 정보가 획득될 수 있다. 한편, 위의 심리 검사의 분석 결과에 관한 정보를 획득하는 과정에서 위의 사용자가 심리 검사를 수행하는 동안에 웨어러블 디바이스(300)를 통해 획득되는 사용자 생체 정보가 더 참조될 수 있다.
그 다음에, 심리 검사의 분석 결과에 관한 정보에 기초하여 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링이 수행될 수 있다.
그 다음에, 사용자의 얼굴 표정에 관한 정보 및 라벨링에 관한 정보를 포함하는 데이터 세트가 생성될 수 있다.
그 다음에, 위의 생성된 데이터 세트에 기초하여 얼굴 표정 분석을 기반으로 감정을 인식하기 위한 적어도 하나의 학습 모델이 생성될 수 있다.
그 다음에, 위의 적어도 하나의 학습 모델에 기초하여 얼굴 표정을 분석함으로써 어떠한 감정 상태인지가 특정될 수 있다.
이상 설명된 본 발명에 따른 실시예는 다양한 컴퓨터 구성요소를 통하여 실행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등과 같은, 프로그램 명령어를 저장하고 실행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의하여 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용하여 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위하여 적어도 하나의 소프트웨어 모듈로 변경될 수 있으며, 그 역도 마찬가지이다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항과 한정된 실시예 및 도면에 의하여 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위하여 제공된 것일 뿐, 본 발명이 상기 실시예에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정과 변경을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등한 또는 이로부터 등가적으로 변경된 모든 범위는 본 발명의 사상의 범주에 속한다고 할 것이다.
100: 통신망
200: 관리 시스템
210: 정보 획득부
220: 라벨링 관리부
230: 데이터 세트 관리부
240: 분석 관리부
250: 통신부
260: 제어부

Claims (15)

  1. 얼굴 표정에 관한 데이터 세트를 생성하기 위한 관리 시스템에서 구현되는 방법으로서 - 상기 관리 시스템은 정보 획득부, 라벨링 관리부 및 데이터 세트 관리부를 포함함 -,
    상기 정보 획득부가, 사용자가 심리 검사를 수행하는 동안에 특정되는 상기 사용자의 얼굴 표정에 관한 정보 및 상기 사용자의 얼굴 표정에 관한 정보와 연관되는 상기 심리 검사의 분석 결과에 관한 정보를 획득하는 단계,
    상기 라벨링 관리부가, 상기 심리 검사의 분석 결과에 관한 정보를 참조하여 상기 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하는 단계, 및
    상기 데이터 세트 관리부가, 상기 사용자의 얼굴 표정에 관한 정보 및 상기 라벨링에 관한 정보를 포함하는 데이터 세트를 생성하는 단계를 포함하고,
    상기 획득 단계에서, 상기 정보 획득부가, 상기 심리 검사의 적어도 하나의 문항 또는 상기 심리 검사의 적어도 하나의 문항에 대한 상기 사용자의 응답에 기초하여 획득되는 적어도 하나의 전문가의 감정 분석 결과 및 상기 사용자가 상기 심리 검사의 적어도 하나의 문항에 대하여 응답하는 과정에서 획득되는 상기 사용자의 생체 정보를 더 획득하고,
    상기 획득 단계에서, 상기 정보 획득부가, 상기 심리 검사의 특정 문항에 대하여 상기 사용자에 의해 응답된 결과로부터 도출되는 상기 사용자의 감정이 상기 적어도 하나의 전문가의 감정 분석 결과에 기초하여 특정되는 감정 또는 상기 사용자의 생체 정보에 기초하여 특정되는 감정과 배치되는 것에 대응하여, 상기 심리 검사의 상기 특정 문항에 대하여 상기 사용자에 의해 응답된 결과를 상기 심리 검사의 분석 결과에서 제외하는
    방법.
  2. 제1항에 있어서,
    상기 획득 단계에서, 상기 심리 검사를 수행하는 동안에 상기 사용자의 얼굴 표정에 관한 정보가 시계열적으로 특정되는
    방법.
  3. 제2항에 있어서,
    상기 사용자의 얼굴 표정에 관한 정보가 소정 블록 단위로 대표화되는
    방법.
  4. 제1항에 있어서,
    상기 라벨링 수행 단계에서, 상기 심리 검사의 적어도 하나의 문항과 연관되는 감정을 참조하여 상기 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하는
    방법.
  5. 삭제
  6. 삭제
  7. 제1항에 있어서,
    상기 생성되는 데이터 세트에 기초하여 얼굴 표정 분석과 연관되는 학습을 수행하는 단계를 더 포함하는
    방법.
  8. 제1항에 따른 방법을 실행하기 위한 컴퓨터 프로그램을 기록한 비일시성의 컴퓨터 판독 가능 기록 매체.
  9. 얼굴 표정에 관한 데이터 세트를 생성하기 위한 시스템으로서,
    사용자가 심리 검사를 수행하는 동안에 특정되는 상기 사용자의 얼굴 표정에 관한 정보 및 상기 사용자의 얼굴 표정에 관한 정보와 연관되는 상기 심리 검사의 분석 결과에 관한 정보를 획득하는 정보 획득부,
    상기 심리 검사의 분석 결과에 관한 정보를 참조하여 상기 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하는 라벨링 관리부, 및
    상기 사용자의 얼굴 표정에 관한 정보 및 상기 라벨링에 관한 정보를 포함하는 데이터 세트를 생성하는 데이터 세트 관리부를 포함하고,
    상기 정보 획득부는, 상기 심리 검사의 적어도 하나의 문항 또는 상기 심리 검사의 적어도 하나의 문항에 대한 상기 사용자의 응답에 기초하여 획득되는 적어도 하나의 전문가의 감정 분석 결과 및 상기 사용자가 상기 심리 검사의 적어도 하나의 문항에 대하여 응답하는 과정에서 획득되는 상기 사용자의 생체 정보를 더 획득하고,
    상기 정보 획득부는, 상기 심리 검사의 특정 문항에 대하여 상기 사용자에 의해 응답된 결과로부터 도출되는 상기 사용자의 감정이 상기 적어도 하나의 전문가의 감정 분석 결과에 기초하여 특정되는 감정 또는 상기 사용자의 생체 정보에 기초하여 특정되는 감정과 배치되는 것에 대응하여, 상기 심리 검사의 상기 특정 문항에 대하여 상기 사용자에 의해 응답된 결과를 상기 심리 검사의 분석 결과에서 제외하는
    시스템.
  10. 제9항에 있어서,
    상기 정보 획득부는, 상기 심리 검사를 수행하는 동안에 상기 사용자의 얼굴 표정에 관한 정보를 시계열적으로 특정하는
    시스템.
  11. 제10항에 있어서,
    상기 사용자의 얼굴 표정에 관한 정보가 소정 블록 단위로 대표화되는
    시스템.
  12. 제9항에 있어서,
    상기 라벨링 관리부는, 상기 심리 검사의 적어도 하나의 문항과 연관되는 감정을 참조하여 상기 사용자의 얼굴 표정에 관한 정보에 대하여 라벨링을 수행하는
    시스템.
  13. 삭제
  14. 삭제
  15. 제9항에 있어서,
    상기 생성되는 데이터 세트에 기초하여 얼굴 표정 분석과 연관되는 학습을 수행하는 분석 관리부를 더 포함하는
    시스템.
KR1020200083755A 2020-07-07 2020-07-07 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체 KR102548970B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020200083755A KR102548970B1 (ko) 2020-07-07 2020-07-07 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
PCT/KR2021/008070 WO2022010149A1 (ko) 2020-07-07 2021-06-28 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
US18/077,442 US20230098296A1 (en) 2020-07-07 2022-12-08 Method and system for generating data set relating to facial expressions, and non-transitory computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200083755A KR102548970B1 (ko) 2020-07-07 2020-07-07 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Publications (2)

Publication Number Publication Date
KR20220005945A KR20220005945A (ko) 2022-01-14
KR102548970B1 true KR102548970B1 (ko) 2023-06-28

Family

ID=79343125

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200083755A KR102548970B1 (ko) 2020-07-07 2020-07-07 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체

Country Status (3)

Country Link
US (1) US20230098296A1 (ko)
KR (1) KR102548970B1 (ko)
WO (1) WO2022010149A1 (ko)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102630804B1 (ko) 2022-01-24 2024-01-29 주식회사 허니엠앤비 감정 분석 방법 및 감정 분석 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014081913A (ja) 2012-09-27 2014-05-08 Dainippon Printing Co Ltd アンケート分析装置、アンケート分析システム、アンケート分析方法、及びプログラム

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20130122535A (ko) * 2010-06-07 2013-11-07 어펙티바,아이엔씨. 웹서비스들을 이용한 심리 상태 분석
KR20120064541A (ko) 2010-12-09 2012-06-19 한국전자통신연구원 미세 표정 분석을 이용한 사용자 심리 분석 장치 및 방법
JP7063823B2 (ja) * 2016-06-01 2022-05-09 オハイオ・ステイト・イノベーション・ファウンデーション 表情の認識および注釈付けのためのシステムおよび方法
KR101913811B1 (ko) * 2016-07-25 2018-10-31 한양대학교 에리카산학협력단 얼굴 표현 및 심리 상태 파악과 보상을 위한 얼굴 정보 분석 방법 및 얼굴 정보 분석 장치
KR102044786B1 (ko) * 2017-08-30 2019-11-14 (주)휴머노이드시스템 사용자 감성 인식 장치 및 방법
KR102106517B1 (ko) * 2017-11-13 2020-05-06 주식회사 하가 피검자의 감정을 분석하기 위한 장치, 이를 위한 방법 및 이 방법을 수행하는 프로그램이 기록된 컴퓨터 판독 가능한 기록매체
KR102152120B1 (ko) * 2018-07-11 2020-09-04 한국과학기술원 기계학습 모델을 이용하여 n개의 프레임에 기초하여 대상의 감정인식을 수행하는 감정인식 시스템, 방법, 및 컴퓨터-판독가능매체

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014081913A (ja) 2012-09-27 2014-05-08 Dainippon Printing Co Ltd アンケート分析装置、アンケート分析システム、アンケート分析方法、及びプログラム

Also Published As

Publication number Publication date
US20230098296A1 (en) 2023-03-30
WO2022010149A1 (ko) 2022-01-13
KR20220005945A (ko) 2022-01-14

Similar Documents

Publication Publication Date Title
Fuhl et al. Fully convolutional neural networks for raw eye tracking data segmentation, generation, and reconstruction
Vinola et al. A survey on human emotion recognition approaches, databases and applications
Li et al. Data-free prior model for facial action unit recognition
Lozano-Monasor et al. Facial expression recognition from webcam based on active shape models and support vector machines
US20200327564A1 (en) Computer-implemented process and system for generating recommendations relating to user experiences of entertainment productions
CN111126280B (zh) 基于融合手势识别的失语症患者辅助康复训练系统及方法
CN112052746A (zh) 目标检测方法、装置、电子设备和可读存储介质
Zafeiriou et al. Probabilistic slow features for behavior analysis
CN108937407A (zh) 一种智能镜子化妆指导方法及系统
Zhang et al. Intelligent Facial Action and emotion recognition for humanoid robots
CN112307975A (zh) 融合语音与微表情的多模态情感识别方法及系统
Zatarain-Cabada et al. Building a face expression recognizer and a face expression database for an intelligent tutoring system
KR102548970B1 (ko) 얼굴 표정에 관한 데이터 세트를 생성하기 위한 방법, 시스템 및 비일시성의 컴퓨터 판독 가능 기록 매체
Xu et al. Two-stage temporal modelling framework for video-based depression recognition using graph representation
Alugupally et al. Analysis of landmarks in recognition of face expressions
KR102247481B1 (ko) 나이 변환된 얼굴을 갖는 직업영상 생성 장치 및 방법
US20230034709A1 (en) Method and apparatus for analying experienced difficulty
Khorrami How deep learning can help emotion recognition
CN108197593B (zh) 基于三点定位方法的多尺寸人脸表情识别方法及装置
Gervasi et al. A method for predicting words by interpreting labial movements
KR102472786B1 (ko) 사용자의 감정을 디지털 상에 복제하는 감정 디지털 트윈을 생성하는 방법 및 장치
Paidja et al. Engagement emotion classification through facial landmark using convolutional neural network
Sokolov et al. Human emotion estimation from eeg and face using statistical features and svm
Wei et al. 3D facial expression recognition based on Kinect
Clark et al. A Priori Quantification of Transfer Learning Performance on Time Series Classification for Cyber-Physical Health Systems

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right