KR20190041236A - 감정 추정을 위한 안경형 멀티모달 장치 및 그 방법 - Google Patents

감정 추정을 위한 안경형 멀티모달 장치 및 그 방법 Download PDF

Info

Publication number
KR20190041236A
KR20190041236A KR1020170132569A KR20170132569A KR20190041236A KR 20190041236 A KR20190041236 A KR 20190041236A KR 1020170132569 A KR1020170132569 A KR 1020170132569A KR 20170132569 A KR20170132569 A KR 20170132569A KR 20190041236 A KR20190041236 A KR 20190041236A
Authority
KR
South Korea
Prior art keywords
user
local image
facial region
nose
skin conductivity
Prior art date
Application number
KR1020170132569A
Other languages
English (en)
Other versions
KR102033320B1 (ko
Inventor
김래현
김다혜
권장호
하지현
Original Assignee
한국과학기술연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술연구원 filed Critical 한국과학기술연구원
Priority to KR1020170132569A priority Critical patent/KR102033320B1/ko
Publication of KR20190041236A publication Critical patent/KR20190041236A/ko
Application granted granted Critical
Publication of KR102033320B1 publication Critical patent/KR102033320B1/ko

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0002—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network
    • A61B5/0015—Remote monitoring of patients using telemetry, e.g. transmission of vital signals via a communication network characterised by features of the telemetry system
    • A61B5/0022—Monitoring a patient using a global network, e.g. telephone networks, internet
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059—Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077—Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0261—Measuring blood flow using optical means, e.g. infrared light
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance

Abstract

실시예들은 전면부 및 다리를 포함하는 안경형 바디, 상기 안경형 바디에 설치되고, 사용자의 안면부의 일 부분을 촬영하여 안면부 국소영상을 획득하는 광각 카메라 및 획득한 안면부 국소영상을 처리장치로 전송하는 송수신부를 포함하되, 상기 안면부 국소영상은 상기 사용자의 감정상태를 추정하기 위해 이용되는 것을 특징으로 하는 감정 추정을 위한 안경형 멀티모달 장치 및 이를 이용한 방법에 관련된다.

Description

감정 추정을 위한 안경형 멀티모달 장치 및 그 방법{GLASSES TYPE MULTI MODAL APPARATUS FOR ESTIMATING EMOTION}
본 발명은 사용자의 감정을 추정하기 위한 안경형 멀티모달 장치 및 그 방법에 관한 것으로서, 더욱 구체적으로는 안면부 국소영상을 이용하여 사용자의 감정을 추정하는 장치 및 방법에 관련된다.
최근 건강관리를 위한 기술이 발전함에 따라, 신체에 착용 가능한 다양한 웨어러블 장치가 기술 개발되고 있다. 이러한 웨어러블 장치는 주로 손과 같이 생체신호 취득이 용이한 특정 신체부위를 활용한다. 예컨대 '스마트 링'이나 '스마트 워치'와 같이 손에 적용되는 웨어러블 형태로 사용자의 심박수 등의 생체신호를 취득하여 사용자의 건강 관리 어플리케이션을 제공하는 시스템이 대부분이다.
또한 기존 안경형 스마트 디바이스의 경우 '구글 글래스'와 같이 외부의 정보 취득하고 이를 사용자에게 제공하는 형태가 이용되고 있으나, 사용자로부터 생체 신호 또는 이미지를 획득하여 사용자 본인에 대한 정보를 해석하고 결과를 도출하는 장비는 존재하지 않았다. 즉 안경형 디바이스의 경우 사용자의 신체에 밀착되고 장기간 이용됨에도 불구하고 사용자로부터 유의미한 정보를 획득하거나 이를 이용하는 방안에 대하여는 전혀 연구가 되고 있지 않은 문제가 있다.
한국특허출원공개 제10-2016-0024412호 미국특허출원공개 US2013/0245396
위와 같은 문제를 해결하기 위해서, 안경형 디바이스를 통해서 사용자의 안면 이미지 또는 안면부에서 혈류량이나 피부 전도도를 획득하고 이를 이용하는 방안이 요구된다.
본 발명의 해결하고자 하는 과제는 이상에서 언급한 것들로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제는 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명의 일 실시예에 따른 감정 추정을 위한 안경형 멀티모달 장치는 전면부 및 다리를 포함하는 안경형 바디, 상기 안경형 바디에 설치되고, 사용자의 안면부의 일 부분을 촬영하여 안면부 국소영상을 획득하는 광각 카메라 및 획득한 안면부 국소영상을 처리장치로 전송하는 송수신부를 포함하되, 상기 안면부 국소영상은 상기 사용자의 감정상태를 추정하기 위해 이용되는 것일 수 있다.
바람직한 일 실시예에 있어서, 상기 안면부의 일 부분은 한쪽 눈과 한쪽 볼 위 부분을 포함하는 것을 특징으로 하는 감정 추정을 위한 안경형 멀티모달 장치.
바람직한 일 실시예에 있어서, 광각 카메라는 상기 전면부의 내측, 외측, 상기 다리의 내측 중 적어도 하나 이상에 위치하는 것일 수 있다.
바람직한 일 실시예에 있어서, 상기 광각 카메라가 상기 전면부의 외측에 위치하는 경우, 상기 광각 카메라는 힌지부를 기준으로 회전하여 상기 다리에 고정 가능한 것일 수 있다.
바람직한 일 실시예에 있어서, 상기 광각 카메라는 상기 전면부 또는 상기 다리에 매립된 것일 수 있다.
바람직한 일 실시예에 있어서, 상기 안경형 바디의 전면부의 코 받침 부위에 설치되어 적어도 한쪽 콧등의 피부 전도도를 측정하는 GSR(Galvanic Skin Response) 센서를 더 포함하되, 상기 송수신부는, 측정된 콧등의 피부전도도를 상기 처리장치로 더 전송할 수 있다.
바람직한 일 실시예에 있어서, GSR 센서는, 상기 안경형 바디의 다리의 일 위치에서 아래쪽으로 연장되고, 상기 사용자의 귀 뒤쪽 또는 귀 아래쪽에 위치하여 레퍼런스 피부 전도도를 더 측정하고, 상기 송수신부는, 상기 레퍼런스 피부전도도를 상기 처리장치로 더 전송할 수 있다.
바람직한 일 실시예에 있어서, 사용자의 귓볼에서 혈류량을 측정하는 PPG(photoplethysmogram) 센서를 더 포함하되, 상기 송수신부는, 측정된 혈류량을 상기 처리장치로 더 전송할 수 있다.
바람직한 일 실시예에 있어서, 상기 처리장치는, 상기 감정 추정을 위한 안경형 멀티모달 장치에 내장되거나, 또는 상기 감정 추정을 위한 안경형 멀티모달 장치와 별개로 독립된 장치(stand alone device)일 수 있다.
바람직한 일 실시예에 있어서, 상기 처리장치는, 상기 안면부 국소영상과, 상기 콧등의 피부전도도; 또는 상기 혈류량;을 기초로 상기 사용자의 감정상태를 추정할 수 있다.
바람직한 일 실시예에 있어서, 상기 처리장치는, 상기 안면부 국소영상의 해상도 또는 밝기가 임계 수준 이하이면, 상기 콧등의 피부 전도도 또는 상기 혈류량에 가중치를 주어 상기 사용자의 감정상태를 추정할 수 있다.
바람직한 일 실시예에 있어서, 상기 처리장치는, 상기 안면부 국소영상, 상기 콧등의 피부 전도도 또는 상기 혈류량에 대한 데이터의 상태(quality)를 기초로 상기 안면부 국소영상, 상기 콧등의 피부 전도도 또는 상기 혈류량에 대한 데이터에 가중치를 부여할 수 있다.
본 발명의 일 실시예에 따른 안경형 멀티모달 장치를 이용한 감정 추정 방법은 전면부 및 다리를 포함하는 안경형 바디에 설치된 광각 카메라를 통해, 사용자의 안면부의 일 부분을 촬영하여 안면부 국소영상을 획득하는 단계; 및 송수신부를 통해, 획득한 안면부 국소영상을 처리장치로 전송하는 단계를 포함하되, 상기 안면부 국소영상은 상기 사용자의 감정상태를 추정하기 위해 이용되는 것일 수 있다.
본 발명의 일 실시예에 따르면 안경형 디바이스의 경우 착용 시간이 길고 사용자의 신체에 밀착되어 있기 때문에 사용자에 관련된 유용하고 다양한 정보를 장기간 획득할 수 있는 이점이 있다. 이러한 사용자 정보를 기초로 건강 관리 또는 감정 케어 등 사용자 맞춤형으로 다양한 서비스를 구현할 수도 있다.
본 발명의 효과들은 이상에서 언급한 효과들로 제한되지 않으며, 언급되지 않은 또 다른 효과들은 청구범위의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 감정 추정을 위한 안경형 멀티모달 장치의 블록도이다.
도 2는 본 발명의 일 실시예에 따른 감정 추정을 위한 안경형 멀티모달 장치(100)의 사시도이다.
도 3은 본 발명의 다양한 실시예에 따른 광각 카메라(120)의 설치 위치를 나타낸다.
도 4는 본 발명의 일 실시예에 따른 광각 카메라(120)가 안경형 바디(110)의 외측에 설치된 경우를 도시한다.
도 5는 본 발명의 일 실시예에 따른 광각 카메라(120)의 사용 예를 나타낸다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 안면부 국소영상(도 6a)과 일반적인 전체 안면부 영상(도 6b)을 나타낸다.
도 7을 참조하면 본 발명의 일 실시예에 따라 레퍼런스 피부 전도도를 측정하기 위한 GSR 센서(130B)를 나타낸다.
도 8 는 사용자의 안면부 GSR 위치에 따른 피부 전도도를 측정한 데이터와 손가락의 피부 전도도를 측정한 데이터 간의 상관관계를 나타낸다.
도 9는 사용자의 안면부 및 손가락에서의 GSR 데이터에 따라 감성 분류한 결과를 나타낸다.
도 10은 본 발명의 일 실시예에 따라서 제1 센서값과 제2 또는 제3 센서값을 획득하고 이를 이용하여 사용자의 감정 상태를 추정하는 단계를 나타낸다.
도 11은 본 발명의 일 실시예에 따라서 안면부 국소영상을 기초로 감정상태를 분류한 결과와 랜덤결과를 비교한 그래프이다.
도 12는 본 발명의 다른 일 실시예에 따른 결과로서, GSR 센서만 사용한 경우와, GSR 센서와 PPG 센서를 함께 사용한 경우 및 랜덤결과를 나탄내다.
도 13은 본 발명의 일 실시예에 따른 안경형 멀티모달 장치를 이용한 감정 모니터링 방법의 순서도이다.
본 명세서에 기술된 실시예는 전적으로 하드웨어이거나, 부분적으로 하드웨어이고 부분적으로 소프트웨어이거나, 또는 전적으로 소프트웨어인 측면을 가질 수 있다. 본 명세서에서 "부(unit)", "모듈(module)", "장치" 또는 "시스템" 등은 하드웨어, 하드웨어와 소프트웨어의 조합, 또는 소프트웨어 등 컴퓨터 관련 엔티티(entity)를 지칭한다. 예를 들어, 본 명세서에서 부, 모듈, 장치 또는 시스템 등은 실행중인 프로세스, 프로세서, 객체(object), 실행 파일(executable), 실행 스레드(thread of execution), 프로그램(program), 및/또는 컴퓨터(computer)일 수 있으나, 이에 제한되는 것은 아니다. 예를 들어, 컴퓨터에서 실행중인 애플리케이션(application) 및 컴퓨터의 양쪽이 모두 본 명세서의 부, 모듈, 장치 또는 시스템 등에 해당할 수 있다.
실시예들이 도면에 제시된 순서도를 참조로 하여 설명되었다. 간단히 설명하기 위하여 상기 방법은 일련의 블록들로 도시되고 설명되었으나, 본 발명은 상기 블록들의 순서에 한정되지 않고, 몇몇 블록들은 다른 블록들과 본 명세서에서 도시되고 기술된 것과 상이한 순서로 또는 동시에 일어날 수도 있으며, 동일한 또는 유사한 결과를 달성하는 다양한 다른 분기, 흐름 경로, 및 블록의 순서들이 구현될 수 있다. 또한, 본 명세서에서 기술되는 방법의 구현을 위하여 도시된 모든 블록들이 요구되지 않을 수도 있다. 나아가, 본 발명의 일 실시예에 따른 방법은 일련의 과정들을 수행하기 위한 컴퓨터 프로그램의 형태로 구현될 수도 있으며, 상기 컴퓨터 프로그램은 컴퓨터로 판독 가능한 기록 매체에 기록될 수도 있다.
이하, 본 발명의 구성 및 특성을 실시예를 이용하여 설명하나, 이들 실시예는 본 발명을 예시하는 것일 뿐 한정하는 것은 아니다.
도 1은 본 발명의 일 실시예에 따른 감정 추정을 위한 안경형 멀티모달 장치의 블록도이다. 도 1을 참조하면 감정 추정을 위한 안경형 멀티모달 장치(100)는 안경형 바디(110), 광각 카메라(120) 및 송수신부(130)를 포함할 수 있다. 또한 다른 일 실시예에서 감정 추정을 위한 안경형 멀티모달 장치(100)는 GSR 센서(130) 및/또는 PPG 센서(140)를 더 포함할 수도 있다. 감정 추정을 위한 안경형 멀티모달 장치(100)는 사용자로부터 감정 상태를 추정하기 위한 신체 정보를 획득하고 이를 처리장치(200)로 전송할 수 있다. 경우에 따라서 감정 추정을 위한 안경형 멀티모달 장치(100)는 처리장치(200)와 상호 데이터를 교환할 수도 있다.
처리장치(200)는 감정 추정을 위한 안경형 멀티모달 장치(100)에 내장(포함)되거나, 또는 감정 추정을 위한 안경형 멀티모달 장치(100)와 별개로 독립된 장치(stand alone device)일 수 있다.
도 1은 처리장치(200)가 감정 추정을 위한 안경형 멀티모달 장치(100)와 독립된 장치인 경우를 도시 한다. 이 경우 감정 추정을 위한 안경형 멀티모달 장치(100)와 처리장치(200)는 유선 또는 무선 네트워크를 통해서 통신할 수 있다. 통신 방법은 종래 이용 가능한 임의의 모든 통신 방식이 가능하다. 예컨대 블루투스, 와이파이, 3G, 4G 등 다양한 통신규약이 이용될 수 있다.
처리장치(200)가 감정 추정을 위한 안경형 멀티모달 장치(100)와 독립된 장치인 경우, 송수신부(150)는 처리장치(200)와의 데이터 통신을 수행할 수 있다.
도 2는 본 발명의 일 실시예에 따른 감정 추정을 위한 안경형 멀티모달 장치(100)의 사시도이다. 도 2를 참조하면 감정 추정을 위한 안경형 멀티모달 장치(100)의 외형은 안경형 바디(110)로 이루어질 수 있다. 따라서 사용자는 안경을 착용하는 것과 같이 감정 추정을 위한 안경형 멀티모달 장치(100)를 안면부에 착용할 수 있다.
안경형 바디(110)는 사용자의 눈 앞에 위치하는 전면부(111)와 사용자의 귀에 걸치기 위한 다리(112)를 포함할 수 있다. 다리는 한 개 또는 두 개 이상일 수 있다. 전면부(111)의 림(rim) 형태는 상부, 하부 또는 측면부가 개방된 형태일 수 있다. 통상적으로 림은 렌즈가 삽입될 수 있는 전면부(111)의 일 공간을 의미하며, 림과 림 사이는 브릿지를 통해 연결된다.
도 2를 참조하면 림(rim)의 상부가 개방된 것이 나타난다. 이 경우 림의 상부가 개방됨으로써, 얼굴에 그림자가 지지 않아 얼굴 영상 분석에 노이즈가 저감되는 효과가 있다.
광각 카메라(120)는 안경형 바디(110)에 설치되고, 사용자의 안면부의 일 부분을 촬영하여 안면부 국소영상을 획득할 수 있다. 안면부 국소영상은 사용자의 감정상태를 추정하기 위해 이용될 수 있다.
도 3은 본 발명의 다양한 실시예에 따른 광각 카메라(120)의 설치 위치를 나타낸다. 도 3을 참조하면, 안경형 바디(110)에 설치되어 사용자의 안면부를 촬영하기 위해서, 광각 카메라(120)는 전면부의 내측(120A), 외측(120B), 다리의 내측(120C) 중 적어도 하나 이상에 위치할 수 있다. 여기서 내측은 사용자를 향하는 방향이고, 외측은 그 반대이다.
광각 카메라(120)는 전면부(111) 또는 다리(112)에 매립될 수도 있다. 따라서 도 2에서와 같이 돌출되지 않을 수도 있다. 도 2의 경우 광각 카메라(120)는 전면부(111)의 외측에 설치되어 돌출된 형태로 표현되고 있다.
도 4는 본 발명의 일 실시예에 따른 광각 카메라(120)가 안경형 바디(110)의 외측에 설치된 경우를 도시한다. 도 4를 참조하면 광각 카메라(120)가 전면부(111)의 외측에 설치된 경우, 광각 카메라(120)는 힌지(122)를 기준으로 회전하여 다리(112)에 고정 가능하다. 광각 카메라가 작동하지 않는 경우 사용자의 시야를 가릴 수 있기 때문에 이와 같이 광각 카메라의 위치가 변경 가능한 것이 유의미할 수 있다. 도 4를 참조하면 광각 카메라(120)의 렌즈(121)는 사용 모드 시 사용자의 안면부를 향하도록 위치하고, 비사용 모드 시 다리에 고정되어 바깥쪽을 향할 수 있다.
광각 카메라(120)는 CCD 센서 또는 적외선 센서 등 다양한 이미지 센서를 포함할 수 있으나 이에 제한되는 것은 아니다. 안면부 영상을 얻기 위한 임의의 영상 인식 장치가 광각 카메라(120)에 포함될 수 있다.
도 5는 본 발명의 일 실시예에 따른 광각 카메라(120)의 사용 예를 나타낸다. 도 5를 참조하면 광각 카메라(120)는 사용자의 눈 주변에 근접하여 위치하게 된다. 이에 따라서 광각 카메라(120)가 획득하는 안면부 국소영상은 한쪽 눈과 한쪽 볼 위 부분을 포함할 수 있다. 바람직하게는 안면부 국소영상은 한 쪽 눈과 한 쪽 볼 위 부분만을 포함할 수 있다. 즉, 두 쪽 눈이 아니라 한 쪽 눈과 그 주변부만을 포함할 수 있다. 사용자의 시야를 가리지 않기 위해서 광각 카메라는 사용자의 눈 아래쪽 또는 위 쪽에 위치할 수 있다. 볼이 눈썹에 가려지는 것을 방지하기 위해서 광각 카메라는 도 5에서와 같이 눈 아래쪽에 위치할 수도 있다.
도 6a 및 도 6b는 본 발명의 일 실시예에 따른 안면부 국소영상(도 6a)과 일반적인 전체 안면부 영상(도 6b)을 나타낸다. 일반적으로 사용자의 표정으로 감정상태를 추정하기 위해서는 도 6b와 같이 안면부 전체를 포함하는 영상을 이용하고 있었다. 그러나 본 발명에서와 같이 안경형 바디를 이용하는 경우 안면부를 모두 포함하는 이미지를 획득하기 위해서는 (광시야각 카메라를 이용한다 하더라도) 안면부로부터 카메라가 매우 멀리 떨어져 있어야 하고 그 결과 웨어러블 장치의 부피가 상당히 증가하는 문제점이 있다. 예컨대 마치 더듬이와 같이 카메라가 안경형 바디에서 앞으로 쭉 나와 있어야 한다.
본 발명의 광각 카메라는 사용자의 안면부의 일 부분만을 포함하는 안면부 국소영상을 획득하기 때문에 안면부로부터 멀리 떨어지지 않아도 되는 이점이 있다. 따라서 장치의 소형화가 가능하다. 또한 동일한 알고리즘을 이용하여 실험결과 도 6b와 같은 안면부 전체영상으로부터 사용자의 감정상태를 추정하는 것과 도 6a와 같은 안면부 국소영상(한쪽 눈(42)과 볼 위 부분(43))으로부터 사용자의 감정상태를 추정하는 것의 결과가 동일한 수준임이 조사되었다. 도 6a의 코 일 부분(41)은 안면부 국소영상에 포함되거나 포함되지 않을 수도 있다.
발명자 실험 결과 PCA, Fisher LDA 기반으로 위 두 종류의 영상(안면부 국소영상과 전체 안면부 영상)에 대하여 2종 감정에 대하여 분류한 결과 분류 정확도가 안면부 전체영역 영상의 경우 95.41%가 나왔고, 안면부 국소영상의 경우 96.04% 가 나왔다. 이와 같은 결과를 보면 적어도 2종 감정상태를 결정함에 있어서는 사용자의 안면부 전체영역 영상을 사용하지 않고, 국소영상만을 이용하더라도 충분히 의미 있는 결과를 도출할 수 있음을 알 수 있다. 여기서 2종 감정상태는 각성(Arousal)과 긍/부정(Valence)에 따른 2종이다. 또한 2종 감정상태를 넘어서 이 두 도메인을 모두 고려한 4종 이상의 감정상태에 대하여도 유의미한 결과가 도출될 수 있다.
송수신부(150)는 획득한 안면부 국소영상을 처리장치(200)로 전송할 수 있다. 송수신부(150)는 안면부 국소영상 외에도 다른 센서(예컨대 PPG, GSR)가 획득한 데이터를 처리장치(200)로 전송할 수 있다.
처리장치(200)는 안면부 국소영상을 기초로 사용자의 감정상태를 추정할 수 있다. 이를 위해서 안면부 국소영상을 PCA, Fisher LDA 알고리즘 등을 기초로 분석하여 감정상태를 추정할 수 있으나 그 방법이 위 알고리즘 등으로 제한되는 것은 아니고 종래 이용되는 임의의 얼굴인식 알고리즘이 이용될 수 있다.
일 실시예에 있어서, 감정 추정을 위한 안경형 멀티모달 장치(100)는 안경형 바디(110)의 전면부(111)의 코 받침 부위에 설치되어 적어도 한쪽 콧등의 피부 전도도를 측정하는 GSR(Galvanic Skin Response) 센서(130)를 더 포함할 수 있다. 이 때 송수신부는 측정된 콧등의 피부전도도를 상기 처리장치로 더 전송할 수 있다.
도 2를 다시 참조하면, 코 받침 부위(또는 브릿지)에 GSR 센서(130A)가 설치될 수 있다. GSR 센서(130A)는 사용자의 콧등과 접촉하여 피부 전도도를 측정할 수 있다. GSR 센서로부터 획득한 정보는 각성 및 긍/부정에 따른 사용자의 감성을 측정하는데 이용될 수 있다.
처리장치(200)는 콧등에서 획득한 피부 전도도를 레퍼런스 피부 전도도와 비교하여 콧등에서 획득한 피부 전도도 값을 결정할 수 있다. 여기서 레퍼런스 피부 전도도는 사용자의 귀 뒤쪽 또는 귀 아래쪽(즉 유양돌기 부분)으로부터 획득될 수 있다.
도 2를 참조하면 이를 위해서 GSR 센서(130B)는, 안경형 바디의 다리의 일 위치에서 아래쪽으로 연장되고, 사용자의 귀 뒤쪽 또는 귀 아래쪽에 위치하여 레퍼런스 피부 전도도를 측정할 수 있다.
도 7을 참조하면 본 발명의 일 실시예에 따라 레퍼런스 피부 전도도를 측정하기 위한 GSR 센서(130B)를 나타낸다. 도 7을 참조하면 사용자의 얼굴 크기 또는 귀 위치에 맞게 GSR 센서(130B)의 위치를 조정할 수 있도록 다리(112) 상에서 위치 이동이 가능하고 다리에서 연장된 길이 변화가 가능한 GSR 센서(130B) 구조가 나타난다.
도 7을 참조하면 다리(112) 상에서 GSR 센서(130)의 몸체(131B)위치를 이동시키기 위해(x축 이동) 사용자는 걸림쇠(133B)를 당겨 고정 상태를 풀고 몸체(131B)를 이동시킬 수 있다. 또한 레퍼런스 피부 전도도 측정을 위한 전극부(132B)는 몸체(131B)의 일단을 기준으로 회전 가능(r 방향)하다. 따라서 사용자의 귀 위치 또는 얼굴 크기에 따라서 레퍼런스 피부 전도도 측정을 위한 전극 위치를 간편하게 조정할 수 있다.
일반적으로 사용자의 감정상태 측정을 위한 GSR 신호 취득은 사용자의 손가락에 대하여 이루어진다. 그러나 본 발명의 GSR 센서(130)는 안경형 바디에 설치되는 것으로서, 손가락이 아닌 사용자의 콧등과 귀 주변의 피부 전도도를 측정한다.
도 8 는 사용자의 안면부 위치(귀, 코, 귀와 코)에 따른 피부 전도도를 측정한 데이터와 손가락의 피부 전도도를 측정한 데이터 간의 상관관계를 나타내고, 도 9는 사용자의 안면부(귀, 코, 귀와 코) 및 손가락에서의 GSR 데이터에 따라 감성 분류한 결과를 나타낸다. 여기서 귀는 귀볼일 수 있고, 코는 콧등일 수 있다.
구체적으로 도 8의 (a)는 원시 데이터(raw data)에서 노이즈신호를 제거한 데이터를 기반으로한 감성분류 결과이고, 도 8의 (b)는 GSR의 상 데이터(phasic data)를 기반으로 감성 분류한 결과를 나타낸다.
도 8의 (a)를 참조하면 노이즈가 제거된 상태에서는 귀에 대하여만 피부 전도도를 측정한 결과를 기초로 한 감정상태가 손가락에 대한 결과와 가장 관련성이 크다는 것을 알 수 있다.
도 8의 (a)와 (b) 결과를 함께 참고하면, '귀와 코'에서 함께 GSR 신호를 얻는 것이 손에서 GSR 신호를 얻는 것과의 유사도가 가장 높다는 것을 알 수 있다.
또한 도 9의 (a)는 흥분정도(Arousal)에 따른 감성 분류 결과이고 도 9의 (b)는 긍/부정(Valence)에 따른 감성 분류 결과이다. 도 9를 참조하면 흥분정도와 긍/부정에 따라 감성 분류 시, 귀와 코의 GSR 데이터를 통해 감성을 분류할 때, 정확도가 다른 부위에 비하여 높게 나타남을 알 수 있다.
또한 일 실시예에 있어서, 감정 추정을 위한 안경형 멀티모달 장치(100)는 GSR 센서(130)와 함께 또는 별개로 PPG(Photoplethysmography) 센서(140)를 더 포함할 수도 있다. 이 때, 송수신부는, 측정된 혈류량을 처리장치로 더 전송할 수 있다.
도 2를 다시 참조하면, PPG 센서(140)는 안경형 바디(101)의 일 부분에서 연장되고, 단부가 집게 형태일 수 있다. PPG 센서(140)는 사용자의 귀볼에 부착되어 혈류량을 측정할 수 있다. 처리장치(200)는 측정된 혈류량 변화를 기초로 사용자의 감정상태를 측정할 수 있다.
일 실시예에서 처리장치(200)는 안면부 국소영상과, 1)콧등의 피부전도도 또는 2) 혈류량을 기초로 사용자의 감정상태를 추정할 수 있다. 여기서 혈류량은 사용자의 귀 볼에서 측정된 것일 수 있다. 이러한 실시예에서 처리장치(200)는 유니모달이 아닌 멀티모달 신호를 기초로 사용자의 감정상태를 추정할 수 있다.
설명의 명확화를 위해서 본 명세서에서는 안면부 국소영상을 제1센서값, 콧등의 피부전도도를 제2 센서값, 혈류량을 제3 센서값이라고 언급한다.
신호처리 부하를 최소화하고 사용 환경의 영향을 고려하기 위해서 처리장치(200)는 제1 센서값 내지 제3 센서값이 임계치 이하이면 이를 이용하지 않고 임계치 이상의 센서값들만을 이용할 수도 있다.
도 10은 본 발명의 일 실시예에 따라서 제1 센서값과 제2 또는 제3 센서값을 획득하고 이를 이용하여 사용자의 감정 상태를 추정하는 단계를 나타낸다. 도 10을 참조하면 데이터 획득 단계(S10)에서, 광각 카메라는 사용자의 표정 분석을 위한 안면부 국소 영상을 획득하고(S11), 사용자의 신체 반응 정보인 제2 센서값 또는 제3 센서값이 획득된다(S12). 임계값 처리 단계(S20)에서 처리장치(200)는 제1 센서값 내지 제3 센서값들 중 각각 정해진 임계값을 넘는지 검사하고, 임계값을 넘지 않는 데이터는 무시하고, 임계값을 넘는 데이터에 대하여 다음 단계를 진행한다. 단계(S20)는 실시예에 따라서 생략될 수도 있다.
특징 추출 단계(S30)에서 처리장치(200)는 안면부 국소 영상에서 픽셀별 밝기 강도등을 기초로 제1 특징을 추출하고, 제2 또는 제3 센서값의 변화 양상을 기초로 제2 특징을 추출한다.
가중치 부여 단계(S40)에서 처리장치(200)는 제1 센서값 내지 제3 센서값의 데이터 퀄리티에 따라서 제1 특징과 제2 특징에 대하여 가중치를 부여할 수 있다. 즉 처리장치(200)는, 상기 안면부 국소영상, 상기 콧등의 피부 전도도 또는 상기 혈류량에 대한 데이터의 상태(quality)를 기초로 상기 안면부 국소영상, 상기 콧등의 피부 전도도 또는 상기 혈류량에 대한 데이터에 가중치를 부여할 수도 있다. 또한 예컨대, 가중치 부여 단계(S40)에서 처리장치(200)는 안면부 국소영상의 해상도 또는 밝기가 임계 수준 이하이면, 콧등의 피부 전도도(제2 센서값) 또는 혈류량(제3 센서값)에 가중치를 주어 사용자의 감정상태를 추정할 수 있다. 가중치 부여 단계(S40)는 생략될 수도 있다.
특징 변환 단계(S40)와 분류 단계(S50)에서 처리장치(200)는 제1 특징과 제2 특징에 따른 여러 특징들 중 알고리즘에 따라 유의미한 특징을 선별하고, 분류하여 사용자의 감정 상태를 추정할 수 있다.
도 11은 본 발명의 일 실시예에 따라서 안면부 국소영상을 기초로 감정상태를 분류한 결과와 랜덤결과를 비교한 그래프이다. 도 11을 참조하면 랜덤결과에 비하여 안면부 국소영상을 기초로 감정상태를 분류한 결과는 4종 분류뿐만 아니라 각성 및 긍/부정 정도에 있어서 높은 정확도를 보이고 있다. 즉 안면부 국소부위 영상 만으로도 높은 정확도의 감성 분류가 가능함을 알 수 있다.
도 12은 본 발명의 다른 일 실시예에 따른 결과로서, GSR 센서만 사용한 경우와, GSR 센서와 PPG 센서를 함께 사용한 경우 및 랜덤결과를 나탄낸다. 도 11을 참조하면 4종 분류에서 결과는 큰 차이가 없으나 각성과 긍/부정 정도에 대한 결과는 GSR과 PPG 센서를 동시에 사용한 경우 보다 높은 정확도로 감정상태를 구분할 수 있는 것으로 나타난다.
도 13은 본 발명의 일 실시예에 따른 안경형 멀티모달 장치를 이용한 감정 모니터링 방법의 순서도이다. 안경형 멀티모달 장치를 이용한 감정 모니터링 방법은 상술한 감정 추정을 위한 안경형 멀티모달 장치(100)의 구성요소들에 의해 구현될 수 있다. 도 13을 참조하면 안경형 멀티모달 장치를 이용한 감정 모니터링 방법은 전면부 및 다리를 포함하는 안경형 바디에 설치된 광각 카메라를 통해, 사용자의 안면부의 일 부분을 촬영하여 안면부 국소영상을 획득하는 단계(S100) 및 송수신부를 통해, 획득한 안면부 국소영상을 처리장치로 전송하는 단계(S200)를 포함할 수 있다. 여기서 안면부 국소영상은 상기 사용자의 감정상태를 추정하기 위해 이용되는 것일 수 있다.
이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.
따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.

Claims (13)

  1. 전면부 및 다리를 포함하는 안경형 바디;
    상기 안경형 바디에 설치되고, 사용자의 안면부의 일 부분을 촬영하여 안면부 국소영상을 획득하는 광각 카메라; 및
    획득한 안면부 국소영상을 처리장치로 전송하는 송수신부를 포함하되,
    상기 안면부 국소영상은 상기 사용자의 감정상태를 추정하기 위해 이용되는 것을 특징으로 하는 감정 추정을 위한 안경형 멀티모달 장치.
  2. 제1항에 있어서,
    상기 안면부의 일 부분은 한쪽 눈과 한쪽 볼 위 부분을 포함하는 것을 특징으로 하는 감정 추정을 위한 안경형 멀티모달 장치.
  3. 제1항에 있어서,
    상기 광각 카메라는 상기 전면부의 내측, 외측, 상기 다리의 내측 중 적어도 하나 이상에 위치하는 것을 특징으로 하는 감정 추정을 위한 안경형 멀티모달 장치.
  4. 제3항에 있어서,
    상기 광각 카메라가 상기 전면부의 외측에 위치하는 경우, 상기 광각 카메라는 힌지부를 기준으로 회전하여 상기 다리에 고정 가능한 것을 특징으로 하는 감정 추정을 위한 안경형 멀티모달 장치.
  5. 제1항에 있어서,
    상기 광각 카메라는 상기 전면부 또는 상기 다리에 매립된 것을 특징으로 하는 감정 추정을 위한 안경형 멀티모달 장치.
  6. 제1항에 있어서,
    상기 안경형 바디의 전면부의 코 받침 부위에 설치되어 적어도 한쪽 콧등의 피부 전도도를 측정하는 GSR(Galvanic Skin Response) 센서를 더 포함하되,
    상기 송수신부는, 측정된 콧등의 피부전도도를 상기 처리장치로 더 전송하는 것을 특징으로 하는 감정 추정을 위한 안경형 멀티모달 장치.
  7. 제6항에 있어서,
    상기 GSR 센서는,
    상기 안경형 바디의 다리의 일 위치에서 아래쪽으로 연장되고, 상기 사용자의 귀 뒤쪽 또는 귀 아래쪽에 위치하여 레퍼런스 피부 전도도를 더 측정하고,
    상기 송수신부는, 상기 레퍼런스 피부전도도를 상기 처리장치로 더 전송하는 것을 특징으로 하는 감정 추정을 위한 안경형 멀티모달 장치.
  8. 제6항에 있어서,
    사용자의 귓볼에서 혈류량을 측정하는 PPG(photoplethysmogram) 센서를 더 포함하되,
    상기 송수신부는, 측정된 혈류량을 상기 처리장치로 더 전송하는 것을 특징으로 하는 감정 추정을 위한 안경형 멀티모달 장치.
  9. 제1항에 있어서,
    상기 처리장치는, 상기 감정 추정을 위한 안경형 멀티모달 장치에 내장되거나, 또는 상기 감정 추정을 위한 안경형 멀티모달 장치와 별개로 독립된 장치(stand alone device)인 것을 특징으로 하는 감정 추정을 위한 안경형 멀티모달 장치.
  10. 제9항에 있어서,
    상기 처리장치는, 상기 안면부 국소영상과,
    상기 콧등의 피부전도도; 또는 상기 혈류량;을 기초로 상기 사용자의 감정상태를 추정하는 것을 특징으로 하는 감정 추정을 위한 안경형 멀티모달 장치.
  11. 제10항에 있어서,
    상기 처리장치는,
    상기 안면부 국소영상의 해상도 또는 밝기가 임계 수준 이하이면, 상기 콧등의 피부 전도도 또는 상기 혈류량에 가중치를 주어 상기 사용자의 감정상태를 추정하는 것을 특징으로 하는 감정 추정을 위한 안경형 멀티모달 장치.
  12. 제10항에 있어서,
    상기 처리장치는, 상기 안면부 국소영상, 상기 콧등의 피부 전도도 또는 상기 혈류량에 대한 데이터의 상태(quality)를 기초로 상기 안면부 국소영상, 상기 콧등의 피부 전도도 또는 상기 혈류량에 대한 데이터에 가중치를 부여하는 것을 특징으로 하는 감정 추정을 위한 안경형 멀티모달 장치.
  13. 전면부 및 다리를 포함하는 안경형 바디에 설치된 광각 카메라를 통해, 사용자의 안면부의 일 부분을 촬영하여 안면부 국소영상을 획득하는 단계; 및
    송수신부를 통해, 획득한 안면부 국소영상을 처리장치로 전송하는 단계를 포함하되,
    상기 안면부 국소영상은 상기 사용자의 감정상태를 추정하기 위해 이용되는 것을 특징으로 하는 안경형 멀티모달 장치를 이용한 감정 추정 방법.
KR1020170132569A 2017-10-12 2017-10-12 감정 추정을 위한 안경형 멀티모달 장치 및 그 방법 KR102033320B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170132569A KR102033320B1 (ko) 2017-10-12 2017-10-12 감정 추정을 위한 안경형 멀티모달 장치 및 그 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170132569A KR102033320B1 (ko) 2017-10-12 2017-10-12 감정 추정을 위한 안경형 멀티모달 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20190041236A true KR20190041236A (ko) 2019-04-22
KR102033320B1 KR102033320B1 (ko) 2019-10-17

Family

ID=66283204

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170132569A KR102033320B1 (ko) 2017-10-12 2017-10-12 감정 추정을 위한 안경형 멀티모달 장치 및 그 방법

Country Status (1)

Country Link
KR (1) KR102033320B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100048741A (ko) * 2008-10-31 2010-05-11 연세대학교 산학협력단 안경을 이용한 실시간 건강 및 감성 모니터링 시스템
US20130245396A1 (en) 2010-06-07 2013-09-19 Affectiva, Inc. Mental state analysis using wearable-camera devices
JP2015092646A (ja) * 2013-11-08 2015-05-14 ソニー株式会社 情報処理装置、制御方法、およびプログラム
KR20160024412A (ko) 2014-08-25 2016-03-07 삼성전자주식회사 웨어러블 디바이스의 센서가 측정하는 임피던스 값을 보정하는 방법 및 장치
KR20160108967A (ko) * 2015-03-09 2016-09-21 한국전자통신연구원 생체신호 측정장치 및 이를 이용한 생체신호 측정방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100048741A (ko) * 2008-10-31 2010-05-11 연세대학교 산학협력단 안경을 이용한 실시간 건강 및 감성 모니터링 시스템
US20130245396A1 (en) 2010-06-07 2013-09-19 Affectiva, Inc. Mental state analysis using wearable-camera devices
JP2015092646A (ja) * 2013-11-08 2015-05-14 ソニー株式会社 情報処理装置、制御方法、およびプログラム
KR20160024412A (ko) 2014-08-25 2016-03-07 삼성전자주식회사 웨어러블 디바이스의 센서가 측정하는 임피던스 값을 보정하는 방법 및 장치
KR20160108967A (ko) * 2015-03-09 2016-09-21 한국전자통신연구원 생체신호 측정장치 및 이를 이용한 생체신호 측정방법

Also Published As

Publication number Publication date
KR102033320B1 (ko) 2019-10-17

Similar Documents

Publication Publication Date Title
US11604367B2 (en) Smartglasses with bendable temples
US10045737B2 (en) Clip-on device with inward-facing cameras
CN105310659B (zh) 用于提高无接触体温测量的精度的装置和方法
US20170095157A1 (en) Systems for collecting thermal measurements of the face
US20160070122A1 (en) Computerized replacement temple for standard eyewear
EP3158424B1 (en) System and method for display enhancement
US20160206216A1 (en) Device, system and method for skin detection
GB2561537A (en) Optical muscle sensor
US20180096119A1 (en) Biometric information acquisition method and device for same
TWI694809B (zh) 檢測眼球運動的方法、其程式、該程式的記憶媒體以及檢測眼球運動的裝置
GB2596733A (en) Clip-on device with inward-facing cameras
US11803237B2 (en) Controlling an eye tracking camera according to eye movement velocity
US10216981B2 (en) Eyeglasses that measure facial skin color changes
JP2015533325A (ja) 生理学的情報を抽出する装置及び方法
US10076250B2 (en) Detecting physiological responses based on multispectral data from head-mounted cameras
US10743777B2 (en) Cardiovascular parameter estimation in the presence of motion
JP2018196730A (ja) 眼の位置を監視するための方法およびシステム
JP2019000474A (ja) 脈拍周期検出装置、脈拍周期検出方法、脈拍周期検出プログラム、及び脈波検出装置
KR20160108967A (ko) 생체신호 측정장치 및 이를 이용한 생체신호 측정방법
Wahl et al. Personalizing 3D-printed smart eyeglasses to augment daily life
WO2017140696A1 (en) Device, system and method for determining a subject's breathing rate
KR102033320B1 (ko) 감정 추정을 위한 안경형 멀티모달 장치 및 그 방법
JP6167849B2 (ja) 脈波検出装置、脈波検出方法及び脈波検出プログラム
CN107430273B (zh) 用于定制安装式感测设备的方法
Yoshikawa et al. Dynamic Offset Correction for Smartphone Thermal Cameras Using a Wristband Sensor

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right