KR20180125756A - 감정인식 인터페이스 장치 - Google Patents

감정인식 인터페이스 장치 Download PDF

Info

Publication number
KR20180125756A
KR20180125756A KR1020170060441A KR20170060441A KR20180125756A KR 20180125756 A KR20180125756 A KR 20180125756A KR 1020170060441 A KR1020170060441 A KR 1020170060441A KR 20170060441 A KR20170060441 A KR 20170060441A KR 20180125756 A KR20180125756 A KR 20180125756A
Authority
KR
South Korea
Prior art keywords
user
emotion
size
mouth
unit
Prior art date
Application number
KR1020170060441A
Other languages
English (en)
Other versions
KR101952804B1 (ko
Inventor
이영재
Original Assignee
전주대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전주대학교 산학협력단 filed Critical 전주대학교 산학협력단
Priority to KR1020170060441A priority Critical patent/KR101952804B1/ko
Publication of KR20180125756A publication Critical patent/KR20180125756A/ko
Application granted granted Critical
Publication of KR101952804B1 publication Critical patent/KR101952804B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G06K9/00221—
    • G06K9/4652—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/56—Extraction of image or video features relating to colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/011—Emotion or mood input determined on the basis of sensed human body parameters such as pulse, heart rate or beat, temperature of skin, facial expressions, iris, voice pitch, brain activity patterns

Abstract

본 발명의 실시예에 따른 감정인식 인터페이스 장치는 사용자의 얼굴영상을 촬영하여 감정을 인식하는 감정인식 인터페이스 장치로서, 사용자의 얼굴영상을 촬영하는 영상획득부, 상기 영상획득부에서 생성된 영상데이터를 색상, 채도 및 밝기로 표현되는 HSI(Hue, Saturation, Intensity)데이터로 변환하고, 얼굴영역을 추출하여 사용자를 판별하는 사용자 식별부, 상기 얼굴영역의 크기를 규격화하며, 상기 HSI데이터에서 사용자의 눈 및 입의 위치와 크기를 검출하고 실시간 눈 및 입의 위치와 크기의 변화를 감지하는 특징점 추출부 및 상기 특징점 추출부에서 감지된 눈 및 입의 위치와 크기변화에 따라서 사용자의 감정을 인식하는 감정인식부를 포함한다.

Description

감정인식 인터페이스 장치{EMOTION RECOGNITION INTERFACE APPARATUS}
본 발명은 감정인식 인터페이스 장치에 관한 것으로서, 보다 상세하게는 얼굴의 표정을 통해서 인식된 감정정보를 이용하여 장치를 제어하는 인터페이스 장치에 관한 것이다.
감정인식기술이란 인간의 감정을 측정하여 이를 분석함으로써 제품 개발이나 환경 설계에 적용하여 인간의 삶의 질적 향상을 도모하는 기술이다. 이는 개인의 경험을 통해 얻어지는 외부 물리적 자극에 대한 쾌적함, 불쾌함, 안락함, 불편함 등의 복합적인 감정을 과학적으로 측정 및 분석하여 이를 공학적으로 적용시켜 제품이나 환경을 변경시키는 기술 분야에 속한다.
이러한 감정인식기술은 인간의 특성을 파악하려는 생체측정기술, 인간의 오감 센서 및 감정 처리 기술, 감정 디자인 기술, 마이크로 가공 기술, 및 사용성 평가나 가상현실 기술 등의 분야로 나눌 수 있다. 감정인식기술은 인간의 생체적 및 심리적 적합성을 고려한 전자 제품 및 소프트웨어 인터페이스 개발에 이용되고 있다.
또한, 감정인식기술은 사용자의 감정을 정확히 인식하여 이에 관련된 서비스를 제공하는데 이용되고 있다. 예를 들어 감정인식기술은 오락분야, 교육분야, 및 의료분야 등에 있어서 사용자의 감정을 이용하여 사용자에게 감정기반 서비스를 제공할 수 있고, 서비스 이용시에 사용자의 즉각적인 반응을 확인하여 그 반응에 따른 피드백을 제공함으로써 서비스의 질적 향상을 도모할 수 있다.
이러한 감정인식기술에서, 사용자의 생체반응을 측정하는 방법으로는 자율신경계(ANS, Autonomic Nervous System)측정방법, 중추신경계(CNS, Central Nervous System)측정을 위한 뇌파측정방법, 또는 얼굴 영상(Behavior Response) 촬영방법 등이 있다. 또한, 생체반응측정의 정확도를 높이기 위하여, 하나의 생체반응만을 이용하여 사용자의 감정을 추출하는 것보다, 다수의 생체반응을 통합하여 분석하는 멀티모달(Multi-modal) 감정인식기술이 있다. 즉, 초기의 감정인식기술은 자율신경계측정, 중추신경계측정, 얼굴영상측정을 통한 단편적인 접근방법을 이용하였으나, 이후 복수의 생체반응을 통합하여 분석하는 멀티모달 시스템으로 발전하고 있다.
그러나 위와 같은 종래의 감정인식기술은 생체반응에 대한 측정값 자체의 정확도를 높이는 것에 불과하고, 개개인의 감정인식에 관한 차이를 반영하지 못하는 문제가 있다. 즉, 종래의 감정인식 기술에서는 통계학적으로 모든 사람들에게 공통으로 적용이 가능한 표준화된 감정인식 룰-베이스(Rule Base)를 설정하고, 이러한 표준화된 룰-베이스를 모든 개개인에게 적용시켜왔다.
그러나 사람의 생체반응과 그에 따른 감정은 일률적으로 나타나지 않고 개개인마다 다르게 나타난다. 따라서 모든 사용자에 대하여 표준화된 룰-베이스에 따라 생체 반응과 그에 따른 감정을 결정할 경우, 개개인의 감정인식의 차이를 정확하게 판별하지 못하게 되는 문제가 있다.
이러한 감정인식기술은 다양한 분야에서 적용되고 있다. 특히 스마트 폰의 발달로 앱을 구동시키거나, 앱을 제어하는데 필요한 인식데이터로 감정인식을 활용하고 있다.
그러나 감정인식기술 중 자율신경계 측정방법, 중추신경계 측정을 위한 뇌파측정방법은 사용자의 신체에 별도의 장치를 부착해서 신호를 검출해야 하기 때문에 사용자에게 불편함과 이물감을 제공할 수 있다.
대한민국 공개특허 제10-2010-0132592호(2010.12.20 공개)
본 발명의 목적은 감정인식을 통해 기기를 자동으로 제어하거나 데이터를 축적하는 장치를 제공하는데 있다.
또한, 본 발명의 목적은 사용자의 특성을 고려한 감정인식결과를 이용하는 감정인식 인터페이스 장치를 제공하는데 있다.
본 발명의 실시예에 따른 감정인식 인터페이스 장치는 사용자의 얼굴영상을 촬영하여 감정을 인식하는 감정인식 인터페이스 장치로서, 사용자의 얼굴영상을 촬영하는 영상획득부, 상기 영상획득부에서 생성된 영상데이터를 색상, 채도 및 밝기로 표현되는 HSI(Hue, Saturation, Intensity)데이터로 변환하고, 얼굴영역을 추출하여 사용자를 판별하는 사용자 식별부, 상기 얼굴영역의 크기를 규격화하며, 상기 HSI데이터에서 사용자의 눈 및 입의 위치와 크기를 검출하고 실시간 눈 및 입의 위치와 크기의 변화를 감지하는 특징점 추출부 및 상기 특징점 추출부에서 감지된 눈 및 입의 위치와 크기변화에 따라서 사용자의 감정을 인식하는 감정인식부를 포함한다.
여기서, 상기 사용자 식별부는 상기 영상데이터를 색상, 채도 및 밝기로 표현되는 HSI(Hue, Saturation, Intensity)데이터로 변환하는 HSI변환모듈, 상기 HSI데이터의 한 픽셀 정보가 피부색인지를 판단하여 얼굴영역을 추출하는 얼굴영역 추출모듈 및 상기 HSI데이터와 저장부에 저장된 개별 사용자의 HSI데이터를 비교하여 사용자를 식별하는 유저식별모듈을 포함한다.
여기서, 상기 유저식별모듈은 사용자의 인종, 성별 또는 연령대를 예측할 수도 있다.
여기서, 상기 감정인식부는 사용자의 눈 및 입의 위치, 형태 및 크기변화에 따라서 사용자의 감정지수를 연산하는 감정판단모듈 및 저장부에 기 저장된 사용자의 감정지수를 활용하여 상기 감정판단모듈에서 연산된 감정지수를 보정하는 보정모듈을 포함할 수 있다.
여기서, 상기 감정판단모듈은 눈의 크기변화와 입의 크기변화에 따라서 사용자의 감정지수를 연산하되, 눈에 형성된 복수의 제1특징점 변화량의 평균값과 입에 형성된 복수의 제2특징점 변화량의 평균값을 이용하여 사용자의 감정지수를 연산할 수 있다.
여기서, 상기 보정모듈은 복수의 제1특징점 변화량의 평균값 또는 복수의 제2특징점 변화량의 평균값에 가중치를 부여하여 감정지수를 보정할 수 있다.
여기서, 본 발명의 실시예에 따른 감정인식 인터페이스 장치는 상기 감정인식부에서 산출된 감정지수를 이용하여 사용자가 동작중인 기기를 제어하는 제어부를 더 포함할 수 있다.
본 발명의 실시예에 따른 인터페이스 장치는 얼굴영상촬영을 통한 감정인식장치로 사용자의 신체에 별도의 기기를 부착하거나 연결할 필요가 없이 간편하게 감정을 인식할 수 있는 장치이다.
또한, 본 발명의 실시예에 따른 인터페이스 장치는 사용자의 개별적인 특성을 고려하기 때문에 비교적 정확한 감정인식이 가능하다.
도 1은 본 발명의 실시예에 따른 감정인식 인터페이스 장치의 기능블록도이다.
도 2는 본 발명의 실시예에 따른 사용자 식별부의 상세기능블록도이다.
도 3은 본 발명의 실시예에 따른 감정인식부 상세기능블록도이다.
도 4는 눈의 특징점 변화량을 연산하는 예시도이다.
본 발명의 다른 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술하는 실시 예를 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예에 한정되지 않으며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 만일 정의되지 않더라도, 여기서 사용되는 모든 용어들(기술 혹은 과학 용어들을 포함)은 이 발명이 속한 종래 기술에서 보편적 기술에 의해 일반적으로 수용되는 것과 동일한 의미를 갖는다. 공지된 구성에 대한 일반적인 설명은 본 발명의 요지를 흐리지 않기 위해 생략될 수 있다. 본 발명의 도면에서 동일하거나 상응하는 구성에 대하여는 가급적 동일한 도면부호가 사용된다. 본 발명의 이해를 돕기 위하여, 도면에서 일부 구성은 다소 과장되거나 축소되어 도시될 수 있다.
본 발명에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다", "가지다" 또는 "구비하다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서 전체에서 사용되는 '~부'는 적어도 하나의 기능이나 동작을 처리하는 단위로서, 예를 들어 소프트웨어, FPGA 또는 ASIC과 같은 하드웨어 구성요소를 의미할 수 있다. 그렇지만 '~부'가 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다.
일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함할 수 있다. 구성요소와 '~부'에서 제공하는 기능은 복수의 구성요소 및 '~부'들에 의해 분리되어 수행될 수도 있고, 다른 추가적인 구성요소와 통합될 수도 있다.
이하 본 발명의 실시예에 따른 감정인식 인터페이스 장치에 대하여 도면을 통해 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 감정인식 인터페이스 장치의 기능블록도이다.
도 1에 도시된 바와 같이 본 발명의 실시예에 따른 감정인식 인터페이스 장치는 사용자의 얼굴영상을 촬영하여 감정을 인식하는 감정인식 인터페이스 장치로서, 사용자의 얼굴영상을 촬영하는 영상획득부(100), 상기 영상획득부(100)에서 생성된 영상데이터를 색상, 채도 및 밝기로 표현되는 HSI(Hue, Saturation, Intensity)데이터로 변환하고, 얼굴영역을 추출하여 사용자를 판별하는 사용자 식별부(200), 상기 얼굴영역의 크기를 규격화하며, 상기 HSI데이터에서 사용자의 눈 및 입의 위치와 크기를 검출하고 실시간 눈 및 입의 위치와 크기의 변화를 감지하는 특징점 추출부(300) 및 상기 특징점 추출부(300)에서 감지된 눈 및 입의 위치와 크기변화에 따라서 사용자의 감정을 인식하는 감정인식부(400)를 포함한다.
본 발명의 감정인식 인터페이스 장치는 사용자의 얼굴영상을 촬영하여 감정을 인식함으로서, 별도의 장치를 부착하거나 피부에 접촉할 필요가 없이 스마트 폰이나 테블릿 PC의 전면에 설치되어 있는 내측카메라를 활용하여 사용자의 얼굴영상 촬영이 가능하다.
또한, 일반 PC 또는 노트북에 부착된 웹캠을 이용하여 사용자의 얼굴영상을 촬영하고 이를 활용하여 감정인식 인터페이스 장치를 동작시킬 수도 있다.
본 발명의 실시예에 따른 영상획득부(100)는 기기에 내장되어 있거나 외부에서 부착가능한 카메라일 수 있다. 특히 스마트 폰 등에 설치되어 있는 내측카메라일 수 있으나 반드시 이에 제한되는 것은 아니다.
영상획득부(100)는 사용자의 얼굴영상을 연속으로 촬영한다.
도 2는 본 발명의 실시예에 따른 사용자 식별부의 상세기능블록도이다.
사용자 식별부(200)는 영상 획득부(100)에서 생성된 영상 데이터를 색상, 채도 및 밝기로 표현되는 HSI(Hue, Saturation, Intensity)데이터로 변환하고 얼굴영역을 추출하여 사용자를 판별한다.
도 2에 도시된 바와 같이 본 발명의 실시예에 따른 사용자 식별부(200)는 HSI변환모듈(210), 얼굴영역 추출모듈(220), 및 유저식별모듈(230)을 포함한다.
HSI변환모듈(210)은 영상데이터를 색상, 채도 및 밝기로 표현되는 HSI(Hue, Saturation, Intensity)데이터로 변환한다.
영상획득부(100)를 통해서 획득된 영상데이터는 눈에 보이는 아날로그 영상을 카메라나 스캐너 같은 도구를 이용하여 전자적인 디지털 영상으로 얻는 것을 말하는데 이를 샘플링이라고 한다. 샘플링된 연속적인 화상을 이산적으로 유한개 배열하고 분할하여 얻어진 각각의 배열을 픽셀(pixel)이라고 한다. 디지털 영상은 가로 및 세로의 크기가 M 및 N픽셀로 이루어져 있다. 저장된 영상 데이터는 2차원 배열형태를 이루며 많은 경우 M과 N은 같은 값을 가질 수 있으며, M과 N의 전형적인 값은 128, 256, 512, 1024등이다.
영상데이터값은 흑백영상인 경우 각 픽셀이 0~255의 값을 가지게 되며, 각 값들은 픽셀의 밝기값을 표현한 것이다. 각 픽셀당 8비트(28)의 데이터를 가지므로 흑백영상 한장의 크기는 M×N×8비트(bit)가 된다. 컬러영상의 경우 단위픽셀은 색을 표현하기 위해 각각 256단계의 R, G, B데이터를 가진다. 따라서, 컬러 영상의 크기는 M×N×8(bit)×3비트가 된다.
이러한 영상데이터는 외부조명에 의해서 왜곡이 쉽게 발생하고, 각 픽셀당 밝기값의 변화가 외부요인에 의해서 일어난다. HSI변환모듈(210)은 RGB 컬러 모델을 HSI데이터 모델로 변환한다. HSI데이터는 색을 인식하는 속성인 색상(Hue), 채도(Saturation), 명도(Intensity)로 구성되어 있어 밝기 성분을 별도로 분할하여 사용한다. 이러한 HSI데이터는 RGB컬러 모델보다는 조명에 덜 민감하여 각 픽셀의 데이터 값 신뢰도가 높아진다. 또한, HSI데이터는 컬러 공간을 사용할때, 어떤 컬러를 만들어 내기 위해서 몇퍼센트의 파란색이나 녹색이 필요한지를 알 필요가 없다. 진한 빨간색을 분홍색으로 바꾸기 위해 단순히 채도만을 조절하기 때문이다. 어두운 것을 밝게 하려면 명도값을 조절하면 된다.
일반적인 히스토그램 연산, 명도변환, 회선과 같은 영상처리 어플리케이션들은 오직 영상의 명도에 대해서만 연산한다. 결국, HSI데이터로 되어 있는 경우 이러한 연산이 다루기 쉬워진다.
얼굴영역 추출모듈(220)은 HSI데이터의 한 픽셀 정보가 피부색인지를 판단하여 얼굴영역을 추출한다.
본 발명의 실시예에 따른 얼굴영역 추출모듈(220)은 정면 얼굴 이미지에서 얼굴영상을 추출한다. 다양한 방법을 이용하여 얼굴영역을 추출할 수 있다.
예를 들어 변환된 HSI데이터를 이용하여 퍼지 색상 필터를 생성, 검출된 얼굴 이미지에서 히스토그램 기법을 이용하여 얼굴영역을 추출할 수도 있다. 히스토그램 기법 중 임계값을 이용한 이진화 기법을 통해 얼굴영역을 추출할 수 있다.
유저식별모듈(230)은 HSI데이터와 아래 설명할 저장부에 저장된 개별 사용자의 HSI데이터를 비교하여 사용자를 식별한다. 기존 사용자의 얼굴영역의 HSI데이터는 저장부(600)에 저장되고, 유저식별모듈(230)은 축적되어 있는 개별 사용자마다의 HSI데이터를 비교하여 사용자를 특정한다.
만일 기존 사용자가 아닌 새로운 사용자가 장치를 이용할 경우에는 저장부(600)에 기록되어 있는 매칭된 HSI데이터를 찾을 수가 없다. 이 경우 기존 사용자가 아닌 새로운 사용자의 HSI데이터를 저장부에 저장하는 것과는 별개로 유저식별모듈(230)은 새로운 사용자의 인종, 성별 등을 예측한다. 유저식별모듈(230)은 동양인, 서양인을 구별하기 위해 피부색, 머리카락 색, 장치에 설치되어 있는 GPS정보를 이용한 위치정보를 활용하여 예측하고, 성별은 머리카락의 길이, 피부색 등을 종합적으로 고려하여 예측한다.
유저식별모듈(230)은 위와 같은 예측을 통해 새로운 사용자가 장치를 이용하더라도 비교적 정확하게 사용자의 감정을 인식할 수 있도록 한다. 대체적으로 알려져 있는 정보 중에서 동양인은 감정의 표현이 얼굴외형적으로 두드러지게 표현되는 부분이 눈에 집중되어 있으며, 서양인은 감정의 표현이 얼굴외형적으로 두드러지게 표현되는 부분이 입에 집중되어 있다는 점을 활용하여 이후 사용자의 감정을 인식할때, 동양인의 경우, 눈의 외형적인 변화에 보다 주목하여 감정을 인식하고, 서양인의 경우에는 입의 외형적인 변화에 보다 주목하여 사용자의 감정을 인식하도록 할수 있다. 또한, 여성과 남성을 구별하여 감정인식의 정도를 달리 평가할 수 있도록 한다.
특징점 추출부(300)는 얼굴영역의 크기를 규격화한다. 이는 사용자마다 사진과 얼굴간의 거리가 항상 일정하게 유지될 수 없기 때문에 보다 정확한 얼굴영역을 검출하고, 특징점을 추출하기 위해서 정해진 크기의 얼굴영역만을 추출하여 규격화한다.
또한, 특징점 추출부(300)는 앞서 변환된 HSI데이터에서 사용자의 눈 및 입의 위치와 크기를 검출하고 실시간 눈 및 입의 위치와 크기의 변화를 감지한다. 눈 및 입을 검출하는 것은 인접한 픽셀간의 HSI데이터의 변화량으로 판정할 수 있다.
특징점 추출부(300)는 눈과 입의 윤곽을 판정하고 눈과 입의 윤곽 중심 특징점을 추출한다.
특징점 추출부(300)는 눈과 입의 윤곽선 상에 위치해 있는 복수개의 특징점을 추출한다. 특징점의 갯수가 많을수록 정확도는 높아질 수 있으나 실시간 영상처리를 위한 속도가 느려질 수 있다.
특징점 추출부(300)를 통해서 추출된 특징점에 대해서는 아래 자세히 설명한다.
본 발명의 실시예에 따른 감정인식 인터페이스 장치는 감정인식부(400)를 포함한다.
도 3은 본 발명의 실시예에 따른 감정인식부 상세기능블록도이다.
도 3에 도시된 바와 같이 감정인식부(400)는 사용자의 눈 및 입의 위치, 형태 및 크기변화에 따라서 사용자의 감정지수를 연산하는 감정판단모듈(410) 및 저장부(600)에 기 저장된 사용자의 감정지수를 활용하여 상기 감정판단모듈(410)에서 연산된 감정지수를 보정하는 보정모듈(420)을 포함한다.
감정판단모듈(410)은 눈의 크기변화와 입의 크기변화에 따라서 사용자의 감정지수를 연산하되, 눈에 형성된 복수의 제1특징점 변화량의 평균값과 입에 형성된 복수의 제2특징점 변화량의 평균값을 이용하여 사용자의 감정지수를 연산한다.
사용자의 감정은 눈과 입의 형태변화 및 크기변화에 따라서 판단한다. 사용자의 감정은 화남, 경멸, 혐오, 두려움, 행복, 평온, 슬픔, 놀람 등으로 구별될 수 있다.
감정판단모듈(410)은 사용자의 얼굴인식을 통해서 입력되는 눈과 입의 위치, 형태 및 크기변화에 따라서 사용자의 감정을 인식하되, 인식하는 방법은 퍼지규칙집합을 활용하는 퍼지시스템을 활용하거나 딥러닝 알고리즘을 활용하는 기법을 통해서 구현이 가능하나 반드시 이에 제한되는 것은 아니다.
감정판단모듈(410)은 사용자의 감정지수를 수치로서 표현할 수도 있으나, 객관적인 사용자의 감정상태를 직접적으로 출력할 수도 있다.
감정판단모듈(410)에서는 특히 눈과 입의 크기변화에 따른 사용자의 감정을 인식하는데 있어서 데이터의 오류를 줄이고, 객관적인 인식결과를 도출하기 위해서 변화량의 평균값을 이용하여 사용자의 감정지수를 연산한다.
도 4는 눈의 특징점 변화량을 연산하는 예시도이다.
도 4에 도시된 바와 같이 특징점 추출부(300)에서 눈의 윤곽선 위에 총 6개의 특징점을 추출하고 중심특징점을 추출하였다.
실시간으로 측정되는 사용자의 얼굴영상에서 중심점을 지속적으로 일치시키고 눈의 윤곽선 상에 위치해 있는 6개의 특징점의 변화량을 실시간으로 측정한다.
도 4의 오른편 도면은 눈이 감기는 형태를 도시한 것으로서, 특징점 1.1과 특징점 1.6은 고정된 상태에서 거의 변화가 없으며, 특징점 1.2는 dl1.2, 특징점 1.3은 dl1 .3, 특징점 1.4는 dl1.4, 특징점 1.5는 dl1.5만큼 마이너스 변화가 일어난 것을 알 수 있다. 이때 감정판단모듈(410)은 전체 특징점 6개를 대상으로 전체 변화량의 평균값을 계산하여 눈의 감기는 정도를 연산한다.
만일, 도 4와 같이 눈이 감기고, 입의 가장자리 특징점이 플러스 변화가 일어난 것으로 판단되는 경우 감정판단모듈(410)은 적용가능한 알고리즘을 통해서 행복함을 표현한 것으로 감정인식을 할 수도 있고, 격한 변화량이 측정된 경우에는 사용자는 매우 기쁜상태의 감정임을 인식할 수도 있다.
보정모듈(420)은 복수의 제1특징점 변화량의 평균값 또는 복수의 제2특징점 변화량의 평균값에 가중치를 부여하여 감정지수를 보정한다.
제1특징점 변화량의 평균값은 앞서 언급한 바와 같이 눈의 윤곽선 상에 놓여 있는 특징점들의 변화량을 의미할 수 있고, 제2특징점 변화량의 평균값은 입의 윤곽선 상에 놓여 있는 특징점들의 변화량을 의미할 수 있다.
보정모듈(420)에 의해서는 영상에서 감정인식을 위한 측정객체인 눈과 입을 일괄적으로 평균값만을 인식해서 특징점을 추출하기 보다는 앞서 사용자 식별부(200)에서 판단한 인종이나 성별의 차이로 인해서 발생할 수 있는 감정인식이 표출되는 주요 부위에 가중치를 부여하여 보다 정밀한 감정인식이 가능하도록 할 수도 있다.
예를 들어 동양인의 경우 감정의 표출이 눈에 집중되어 있다는 특징을 활용하여 입의 특징점 변화량 대비 눈의 특징점 변화량에 가중치를 부여하여 동양인의 감정인식을 보다 신뢰성 있게 할 수 있다.
본 발명의 실시예에 따른 감정인식 인터페이스 장치는 도 1에 도시된 바와 같이 제어부(500)를 포함한다. 제어부는 감정인식부(400)에서 산출된 감정지수를 이용하여 사용자가 동작중인 기기를 제어한다.
본 발명의 실시예에 따른 감정인식 인터페이스 장치가 설치되어 있는 태블릿 PC나 스마트 폰에서 실행중인 앱이 난이도 조절이 가능한 게임인 경우 제어부(500)는 사용자의 감정상태에 따라서 게임의 난이도를 조절할 수도 있다. 또한, 일부 광고나 컨텐츠의 만족도 조사를 위해서 사용자의 감정을 인식한 정보를 광고 서버에 자동으로 전송하여 광고효과의 극대화에 활용할 수도 있다.
이상의 실시 예들은 본 발명의 이해를 돕기 위하여 제시된 것으로, 본 발명의 범위를 제한하지 않으며, 이로부터 다양한 변형 가능한 실시 예들도 본 발명의 범위에 속하는 것임을 이해하여야 한다. 본 발명의 기술적 보호범위는 청구범위의 기술적 사상에 의해 정해져야 할 것이며, 본 발명의 기술적 보호범위는 청구범위의 문언적 기재 그 자체로 한정되는 것이 아니라 실질적으로는 기술적 가치가 균등한 범주의 발명에까지 미치는 것임을 이해하여야 한다.
100 영상획득부 200 사용자 식별부
210 HSI변환모듈 220 얼굴영역 추출모듈
230 유저식별모듈 300 특징점 추출부
400 감정 인식부 410 감정판단모듈
420 보정모듈 500 제어부
600 저장부

Claims (7)

  1. 사용자의 얼굴영상을 촬영하여 감정을 인식하는 감정인식 인터페이스 장치로서,
    사용자의 얼굴영상을 촬영하는 영상획득부;
    상기 영상획득부에서 생성된 영상데이터를 색상, 채도 및 밝기로 표현되는 HSI(Hue, Saturation, Intensity)데이터로 변환하고, 얼굴영역을 추출하여 사용자를 판별하는 사용자 식별부;
    상기 얼굴영역의 크기를 규격화하며, 상기 HSI데이터에서 사용자의 눈 및 입의 위치와 크기를 검출하고 실시간 눈 및 입의 위치와 크기의 변화를 감지하는 특징점 추출부; 및
    상기 특징점 추출부에서 감지된 눈 및 입의 위치와 크기변화에 따라서 사용자의 감정을 인식하는 감정인식부를 포함하는 것을 특징으로 하는 감정인식 인터페이스 장치.
  2. 제1항에 있어서,
    상기 사용자 식별부는
    상기 영상데이터를 색상, 채도 및 밝기로 표현되는 HSI(Hue, Saturation, Intensity)데이터로 변환하는 HSI변환모듈;
    상기 HSI데이터의 한 픽셀 정보가 피부색인지를 판단하여 얼굴영역을 추출하는 얼굴영역 추출모듈; 및
    상기 HSI데이터와 저장부에 저장된 개별 사용자의 HSI데이터를 비교하여 사용자를 식별하는 유저식별모듈을 포함하는 것을 특징으로 하는 감정인식 인터페이스 장치.
  3. 제2항에 있어서,
    상기 유저식별모듈은 사용자의 인종, 성별 또는 연령대를 예측하는 것을 특징으로 하는 감정인식 인터페이스 장치.
  4. 제1항에 있어서,
    상기 감정인식부는
    사용자의 눈 및 입의 위치, 형태 및 크기변화에 따라서 사용자의 감정지수를 연산하는 감정판단모듈; 및
    저장부에 기 저장된 사용자의 감정지수를 활용하여 상기 감정판단모듈에서 연산된 감정지수를 보정하는 보정모듈을 포함하는 것을 특징으로 하는 감정인식 인터페이스 장치.
  5. 제4항에 있어서,
    상기 감정판단모듈은 눈의 크기변화와 입의 크기변화에 따라서 사용자의 감정지수를 연산하되, 눈에 형성된 복수의 제1특징점 변화량의 평균값과 입에 형성된 복수의 제2특징점 변화량의 평균값을 이용하여 사용자의 감정지수를 연산하는 것을 특징으로 하는 감정인식 인터페이스 장치.
  6. 제5항에 있어서,
    상기 보정모듈은 복수의 제1특징점 변화량의 평균값 또는 복수의 제2특징점 변화량의 평균값에 가중치를 부여하여 감정지수를 보정하는 것을 특징으로 하는 감정인식 인터페이스 장치.
  7. 제1항에 있어서,
    상기 감정인식부에서 산출된 감정지수를 이용하여 사용자가 동작중인 기기를 제어하는 제어부를 더 포함하는 것을 특징으로 하는 감정인식 인터페이스 장치.
KR1020170060441A 2017-05-16 2017-05-16 감정인식 인터페이스 장치 KR101952804B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170060441A KR101952804B1 (ko) 2017-05-16 2017-05-16 감정인식 인터페이스 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170060441A KR101952804B1 (ko) 2017-05-16 2017-05-16 감정인식 인터페이스 장치

Publications (2)

Publication Number Publication Date
KR20180125756A true KR20180125756A (ko) 2018-11-26
KR101952804B1 KR101952804B1 (ko) 2019-02-27

Family

ID=64603078

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170060441A KR101952804B1 (ko) 2017-05-16 2017-05-16 감정인식 인터페이스 장치

Country Status (1)

Country Link
KR (1) KR101952804B1 (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766770A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 服务质量评价方法、装置、计算机设备和存储介质
KR20200115692A (ko) 2019-03-06 2020-10-08 상명대학교 천안산학협력단 생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템 및 이를 이용한 방법
KR20210107442A (ko) * 2020-02-24 2021-09-01 연세대학교 산학협력단 감정 상태 추정을 이용한 vr 시뮬레이터 제어 방법
WO2022225199A1 (ko) * 2021-04-23 2022-10-27 ㈜티비스톰 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템 및 그 방법
CN116522280A (zh) * 2023-05-11 2023-08-01 深圳市恒必达电子科技有限公司 基于虚拟现实仿真采集的情绪分级识别方法及系统

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102351008B1 (ko) 2019-02-28 2022-01-14 주식회사 하가 감정 인식 장치 및 감정 인식 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185988A (ja) * 1997-09-04 1999-03-30 Fujitsu Ltd 顔画像認識システム
KR20100132592A (ko) 2009-06-10 2010-12-20 연세대학교 산학협력단 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법
KR20130015958A (ko) * 2011-08-05 2013-02-14 충남대학교산학협력단 얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체
KR101317047B1 (ko) * 2012-07-23 2013-10-11 충남대학교산학협력단 얼굴표정을 이용한 감정인식 장치 및 그 제어방법
KR20160029269A (ko) * 2014-09-05 2016-03-15 엘지전자 주식회사 멀티미디어 디바이스 및 이에 추천 컨텐트의 정보를 제공하는 서버

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1185988A (ja) * 1997-09-04 1999-03-30 Fujitsu Ltd 顔画像認識システム
KR20100132592A (ko) 2009-06-10 2010-12-20 연세대학교 산학협력단 감성인식장치의 개인별 최적화시스템 및 그 최적화 방법
KR20130015958A (ko) * 2011-08-05 2013-02-14 충남대학교산학협력단 얼굴표정을 이용한 감정인식 장치, 감정인식 방법 및 그 기록매체
KR101317047B1 (ko) * 2012-07-23 2013-10-11 충남대학교산학협력단 얼굴표정을 이용한 감정인식 장치 및 그 제어방법
KR20160029269A (ko) * 2014-09-05 2016-03-15 엘지전자 주식회사 멀티미디어 디바이스 및 이에 추천 컨텐트의 정보를 제공하는 서버

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109766770A (zh) * 2018-12-18 2019-05-17 深圳壹账通智能科技有限公司 服务质量评价方法、装置、计算机设备和存储介质
KR20200115692A (ko) 2019-03-06 2020-10-08 상명대학교 천안산학협력단 생체신호를 이용한 딥러닝 기반 실시간 감정인식 시스템 및 이를 이용한 방법
KR20210107442A (ko) * 2020-02-24 2021-09-01 연세대학교 산학협력단 감정 상태 추정을 이용한 vr 시뮬레이터 제어 방법
WO2022225199A1 (ko) * 2021-04-23 2022-10-27 ㈜티비스톰 카메라 기반 생체 징후 데이터 추출과 전자 문진을 통한 비대면 건강상태 측정 시스템 및 그 방법
CN116522280A (zh) * 2023-05-11 2023-08-01 深圳市恒必达电子科技有限公司 基于虚拟现实仿真采集的情绪分级识别方法及系统
CN116522280B (zh) * 2023-05-11 2024-03-22 深圳市恒必达电子科技有限公司 基于虚拟现实仿真采集的情绪分级识别方法及系统

Also Published As

Publication number Publication date
KR101952804B1 (ko) 2019-02-27

Similar Documents

Publication Publication Date Title
KR101952804B1 (ko) 감정인식 인터페이스 장치
KR102339915B1 (ko) 셀피를 촬영하도록 사용자를 안내하기 위한 시스템 및 방법
US10346601B2 (en) Biometric information acquisition method and device for same
JP6306022B2 (ja) 遠隔的に検出された電磁放射線から導出可能なデータを処理する装置及び方法
EP3466324A1 (en) Skin diagnostic device and skin diagnostic method
CN107122709B (zh) 活体检测方法及装置
JP2019194888A (ja) 情報処理装置、情報処理方法及びプログラム
KR20180138300A (ko) 관심 객체에 대한 외부 광원의 속성 정보를 제공하는 방법을 지원하는 전자 장치
KR102469720B1 (ko) 전자 장치 및 이를 이용한 눈의 충혈도 판단 방법
KR101425293B1 (ko) 인증 장치, 인증 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 및 인증 방법
CN108024719B (zh) 肌肤的光泽评价装置、光泽评价方法及记录介质
WO2012006097A2 (en) Low threshold face recognition
US20180263551A1 (en) Information processing apparatus, information processing method, and program
KR20150072463A (ko) 안면 영상을 이용하는 건강 상태 판단 장치 및 건강 상태 판단 방법
US10635919B2 (en) Information processing device, image processing system, image processing method, and program storage medium
CN109919030B (zh) 黑眼圈类型识别方法、装置、计算机设备和存储介质
CN110036407B (zh) 用于基于人类巩膜和瞳孔校正数字图像颜色的系统和方法
KR20220068330A (ko) 피부 진단 기반 맞춤형 추천 서비스 방법 및 그 장치
US20070253598A1 (en) Image monitoring apparatus
KR101204378B1 (ko) 모바일 단말기에서 웃음 치료를 위한 웃음표정 인식 시스템 및 방법
US20200175255A1 (en) Device for determining features of a person
KR102066892B1 (ko) 메이크업 평가 시스템 및 그의 동작 방법
KR102071410B1 (ko) 스마트 미러
CN107847136B (zh) 弹力感评价装置、弹力感评价方法以及弹力感评价程序
CN111802787A (zh) 一种智能化妆镜

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant