KR102351008B1 - 감정 인식 장치 및 감정 인식 방법 - Google Patents

감정 인식 장치 및 감정 인식 방법 Download PDF

Info

Publication number
KR102351008B1
KR102351008B1 KR1020200025111A KR20200025111A KR102351008B1 KR 102351008 B1 KR102351008 B1 KR 102351008B1 KR 1020200025111 A KR1020200025111 A KR 1020200025111A KR 20200025111 A KR20200025111 A KR 20200025111A KR 102351008 B1 KR102351008 B1 KR 102351008B1
Authority
KR
South Korea
Prior art keywords
emotion
unit
party
recognition unit
external
Prior art date
Application number
KR1020200025111A
Other languages
English (en)
Other versions
KR20200105446A (ko
KR102351008B9 (ko
Inventor
류숙희
이재익
Original Assignee
주식회사 하가
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 하가 filed Critical 주식회사 하가
Priority to PCT/KR2020/002928 priority Critical patent/WO2020175969A1/ko
Publication of KR20200105446A publication Critical patent/KR20200105446A/ko
Application granted granted Critical
Publication of KR102351008B1 publication Critical patent/KR102351008B1/ko
Publication of KR102351008B9 publication Critical patent/KR102351008B9/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/32—Digital ink
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

인식 장치가 제공된다. 상기 인식 장치는 사용자와 대면하는 상대방을 촬영하는 촬영부; 상기 촬영부에서 촬영된 상대방 이미지의 분석을 통해 상기 상대방의 외형 감정을 인식하는 감정 인식부; 음성 또는 진동으로 상기 외형 감정을 표시하는 표시부;를 포함할 수 있다.

Description

감정 인식 장치 및 감정 인식 방법{APPARATUS AND METHOD FOR RECOGNIZING EMOTIONS}
본 발명은 사용자와 대면하고 있는 상대방의 감정을 인식하는 장치 및 방법에 관한 것이다.
저시력자를 포함하여 인간관계에서 감정적 소통능력을 갖지 못한 사람이 증가하고 있다. 선천적 장애, 후천적 질병이나 노화 또는 소통교육의 부재에 의해 감정적 소통능력을 갖지 못한 사람이 많다. 이는 본인과 가족, 친지, 동료에게 고통을 유발한다.
감정을 읽지 못하는 문제로 인해 인간관계 고립이 유발될 수 있다. 선천적, 후천적 문제로 인해 상대방의 감정을 읽거나 이해하고 집중하는데 어려움을 겪고 있는 사람이 증가하고 있다. 노인들과 우울증을 앓고 있는 사람들이 증가하고 있는 추세이다. 이들은 상대방의 감정을 표정에서 읽지 못하는 문제를 가짐으로 인해 인간관계에서 고립되고 있다.
시력 장애를 보조하는 고가의 디바이스에는 소통 능력을 지원하는 기술이 포함되어 있지 않다. 고가 제품은 300~500만원에 이른다. 실제 보급률은 5%도 채 되지 않는다.
국내/외에서 얼굴 인식, 표정 인식, 동작 인식 기술을 다양한 분야에 접목하여 사용하려는 시도가 늘어나고 있으며, 관련 시장도 확대되고 있다.
구체적으로, 얼굴 인식 및 표정 인식 기술과 관련하여 IT 기업 및 대학 연구소를 중심으로 생체 인식 기술에 대한 연구가 2000년대 초반부터 시작되었다. 선도 연구 기관으로서는 카네기 멜론 대학의 연구팀, 미국의 MIT Media Lab, 유럽지역의 INRIA, 일본의 ATR 연구소 등이 있다. 기업으로서는 미국의 Visionics, Viisage, Miros 등이 시장을 선도하고 있다. 이들은 현재 얼굴 인식 기술의 핵심 기술인 얼굴 검출 기술, 조명 인식 기술, 포즈 인식 기술, 표정 인식 기술뿐만 아니라, 노화 인식 기술, 대용량 DB 구축 기술, 3차원 얼굴 형상 복원 기술 등에 초점을 맞춰 활발한 연구를 진행 중에 있다.
한국등록특허공보 제1952804호에는 얼굴의 표정을 통해서 인식된 감정정보를 이용하여 장치를 제어하는 기술이 나타나 있다.
한국등록특허공보 제1952804호
본 발명은 사용자와 대면하는 사용자의 감정을 정확하게 인식할 수 있는 인식 장치 및 인식 방법을 제공하기 위한 것이다.
본 발명의 인식 장치는 사용자와 대면하는 상대방을 촬영하는 촬영부; 상기 촬영부에서 촬영된 상대방 이미지의 분석을 통해 상기 상대방의 외형 감정을 인식하는 감정 인식부; 음성 또는 진동으로 상기 외형 감정을 표시하는 표시부;를 포함할 수 있다.
상기 감정 인식부는 상대방 이미지의 분석을 통해 상기 상대방의 표정과 제스쳐 중 적어도 하나를 인식할 수 있다.
상기 감정 인식부는 상기 표정 또는 상기 제스쳐를 이용해서 상기 외형 감정을 인식할 수 있다.
본 발명의 인식 방법은 주변을 촬영하는 단계; 촬영 이미지를 저장하는 단계; 촬영 이미지를 분석하고, 사용자와 대화하는 상대방을 추출하는 단계; 상기 상대방이 추출되면, 상기 상대방의 외형 감정을 인식하고 보정하는 단계; 보정된 외형 감정을 표시하는 단계;를 포함할 수 있다.
상기 외형 감정을 인식하고 보정하는 단계는,
상기 촬영 이미지에 투영된 상기 상대방의 표정 또는 제스쳐를 이용해서 상기 외형 감정을 인식하고, 기저장된 상기 촬영 이미지의 분석을 통해 주변 사물을 인식하거나 문자를 인식하며, 상기 사물의 인식 결과에 해당하는 사물 정보 또는 상기 문자의 인식 결과에 해당하는 내용 정보를 이용해서 상기 외형 감정을 보정할 수 있다.
본 발명의 인식 장치 및 인식 방법은 카메라로 촬영된 상대방을 분석하고, 상대방의 외형 감정을 인식할 수 있다.
표정, 제스쳐 등의 외형 감정은 주변 환경에 따라 다른 강도 또는 다른 종류의 실제 감정을 나타낼 수 있다.
본 발명의 인식 장치 및 인식 방법은 상대방의 외형 감정을 인식하고, 사물 또는 문자 등의 주변 환경을 이용해서 기인식된 상대방의 외형 감정을 보정할 수 있다. 본 발명에 의해 보정된 외형 감정은 주변 환경까지 고려한 복합감정인식기술 기반의 정확한 감정 인식 상대방의 외형 감정을 보정할 수 있다.
본 발명에 따르면, 상대방의 감정이 주변 환경까지 고려해서 분석되고 인식될 수 있다. 주변 환경까지 고려한 복합감정인식기술의 제시를 통해 본 발명은 상대방의 감정을 정확하게 인식할 수 있다.
복합감정인식기술을 통해 인식된 상대방의 감정은 사용자에게 제공될 수 있다. 저시력을 갖는 사용자는 상대방의 감정을 정확하게 인식할 수 있으므로, 상대방과 정상적으로 의사 소통을 진행할 수 있다.
본 발명의 실시예에 따르면, 저시력을 가진 사용자의 소통력이 복합감정인식기술을 이용하여 개선될 수 있다.
본 발명은 소통력 향상을 위한 복합감정인식기술 기반의 저시력자용 디바이스에 관한 것이다. 본 발명은 저시력자들이 읽거나 구별하기 어려운 글자, 사물, 사람들의 표정을 읽도록 하여 시력을 보조할 수 있다. 또한, 본 발명은 저시력자에 해당하는 사용자가 주변상황을 이해하고, 위험을 인지하며, 쇼핑같은 일상생활을 하도록 가이드 할 수 있다. 본 발명은 사용자가 상대방과 정상적으로 감정을 소통할 수 있도록 가이드할 수 있다.
도 1은 본 발명의 인식 장치를 나타낸 개략도이다.
도 2는 촬영부에서 촬영된 이미지를 나타낸 개략도이다.
도 3은 본 발명의 인식 방법을 나타낸 흐름도이다.
도 4는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 명세서에서, 동일한 구성요소에 대해서 중복된 설명은 생략한다.
또한 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에 본 명세서에서, 어떤 구성요소가 다른 구성요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
또한, 본 명세서에서 사용되는 용어는 단지 특정한 실시예를 설명하기 위해 사용되는 것으로써, 본 발명을 한정하려는 의도로 사용되는 것이 아니다.
또한 본 명세서에서, 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한 본 명세서에서, '포함하다' 또는 '가지다' 등의 용어는 명세서에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품, 또는 이들을 조합한 것이 존재함을 지정하려는 것일 뿐, 하나 또는 그 이상의 다른 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 할 것이다.
또한 본 명세서에서, '및/또는' 이라는 용어는 복수의 기재된 항목들의 조합 또는 복수의 기재된 항목들 중의 어느 항목을 포함한다. 본 명세서에서, 'A 또는 B'는, 'A', 'B', 또는 'A와 B 모두'를 포함할 수 있다.
또한 본 명세서에서, 본 발명의 요지를 흐리게 할 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략될 것이다.
정상적인 감정적 소통 환경을 제공하기 위해서 감정 인식 기술이 이용될 수 있다.
감정 인식 기술이란 인간의 감정을 측정하여 이를 분석함으로써 제품 개발이나 환경 설계에 적용하여 인간의 삶의 질적 향상을 도모하는 기술이다. 이는 개인의 경험을 통해 얻어지는 외부 물리적 자극에 대한 쾌적함, 불쾌함, 안락함, 불편함 등의 복합적인 감정을 과학적으로 측정 및 분석하여 이를 공학적으로 적용시켜 제품이나 환경을 변경시키는 기술 분야에 속한다.
이러한 감정 인식 기술은 인간의 특성을 파악하려는 생체측정기술, 인간의 오감 센서 및 감정 처리 기술, 감정 디자인 기술, 마이크로 가공 기술, 및 사용성 평가나 가상현실 기술 등의 분야로 나눌 수 있다. 감정 인식 기술은 인간의 생체적 및 심리적 적합성을 고려한 전자 제품 및 소프트웨어 인터페이스 개발에 이용되고 있다.
또한, 감정 인식 기술은 사용자의 감정을 정확히 인식하여 이에 관련된 서비스를 제공하는데 이용되고 있다. 예를 들어 감정 인식 기술은 오락분야, 교육분야, 및 의료분야 등에 있어서 사용자의 감정을 이용하여 사용자에게 감정 기반 서비스를 제공할 수 있고, 서비스 이용시에 사용자의 즉각적인 반응을 확인하여 그 반응에 따른 피드백을 제공함으로써 서비스의 질적 향상을 도모할 수 있다.
이러한 감정 인식 기술에서, 사용자의 생체반응을 측정하는 방법으로는 자율신경계(ANS, Autonomic Nervous System)측정방법, 중추신경계(CNS, Central Nervous System)측정을 위한 뇌파측정방법, 또는 얼굴 영상(Behavior Response) 촬영방법 등이 있다. 또한, 생체반응측정의 정확도를 높이기 위하여, 하나의 생체반응만을 이용하여 사용자의 감정을 추출하는 것보다, 다수의 생체반응을 통합하여 분석하는 멀티모달(Multi-modal) 감정 인식기술이 있다. 즉, 초기의 감정 인식 기술은 자율신경계측정, 중추신경계측정, 얼굴영상측정을 통한 단편적인 접근방법을 이용하였으나, 이후 복수의 생체반응을 통합하여 분석하는 멀티모달 시스템으로 발전하고 있다.
그러나, 위와 같은 종래의 감정 인식 기술은 생체반응에 대한 측정값 자체의 정확도를 높이는 것에 불과하고, 개개인의 감정인식 및 주변 환경에 관한 차이를 반영하지 못하는 문제가 있다. 즉, 감정인식 기술에서는 통계학적으로 모든 사람들에게 공통으로 적용이 가능한 표준화된 감정인식 룰-베이스(Rule Base)를 설정하고, 이러한 표준화된 룰-베이스를 모든 개개인에게 적용시켜왔다.
그러나, 사람의 생체반응과 그에 따른 감정은 일률적으로 나타나지 않고 개개인마다 다르게 나타난다. 따라서 모든 사용자에 대하여 표준화된 룰-베이스에 따라 생체 반응과 그에 따른 감정을 결정할 경우, 개개인의 감정인식의 차이를 정확하게 판별하지 못하게 되는 문제가 있다.
사용자가 대면하는 상대방의 감정을 정확하게 파악하기 위해 본 발명의 인식 장치 및 인식 방법이 이용될 수 있다.
도 1은 본 발명의 인식 장치를 나타낸 개략도이다. 도 2는 촬영부(110)에서 촬영된 이미지를 나타낸 개략도이다.
도 1에 도시된 인식 장치는 촬영부(110), 감정 인식부(130), 표시부(150)를 포함할 수 있다.
촬영부(110)는 사용자와 대변하는 상대방을 촬영할 수 있다. 일 예로, 촬영부(110)는 상대방의 얼굴, 팔, 다리, 몸 등을 촬영할 수 있다.
촬영부(110)에서 촬영된 상대방의 얼굴은 상대방의 표정 f를 분석, 인식하는데 사용될 수 있다. 촬영부(110)에서 촬영된 상대방의 팔, 다리, 몸은 상대방의 제스쳐 j를 분석, 인식하는데 사용될 수 있다. 촬영부(110)는 영상 이미지를 생성하는 각종 방식의 카메라를 포함할 수 있다.
감정 인식부(130)는 촬영부(110)에서 촬영된 상대방 이미지의 분석을 통해 상대방의 외형 감정을 인식할 수 있다.
상대방 이미지는 촬영부(110)에서 촬영된 이미지 중 상대방이 포함된 영상을 지칭할 수 있다. 감정 인식부(130)는 상대방 이미지에 포함된 상대방을 추출할 수 있다. 감정 인식부(130)는 추출된 상대방의 정보에 각종 표정 인식 기술, 각종 제스쳐 인식 기술을 상대방 이미지에 적용하고, 상대방의 표정 f와 제스쳐 j 중 적어도 하나를 파악 또는 인식할 수 있다.
감정 인식부(130)는 파악된 상대방의 표정 f 또는 제스쳐 j에 감정 인식 알고리즘을 적용하고, 상대방의 감정을 인식할 수 있다. 감정 인식 알고리즘은 딥러닝 기반으로 생성될 수 있다. 표정 f 또는 제스쳐 j 등의 상대방의 외형을 이용해서 상대방의 외적 감정 표현에 해당하는 외형 감정이 인식될 수 있다.
외형 감정은 저시력 사용자가 인식하기 어려운 부분일 수 있다. 감정 인식부(130)에 의해 인식된 외형 감정은 표시부(150)에 의해 사용자에게 제공될 수 있다.
표시부(150)는 음성 또는 진동으로 상대방의 외형 감정을 표시할 수 있다. 사용자는 표시부(150)를 소지하거나 착용하는 것을 통해, 표시부(150)의 음성 또는 진동을 감지할 수 있다. 촬영부(110) 및 감정 인식부(130)도 사용자가 소지하거나 착용 가능하게 형성될 수 있다.
일 예로, 표시부(150)는 상대방의 감정을 '상대방은 기쁨 상태입니다'와 같은 음성을 표시하는 스피커 등의 음성 출력 수단을 포함할 수 있다. 일 예로, 표시부(150)는 사용자와 약속된 진동 신호를 생성하는 진동 수단을 포함할 수 있다. 진동 수단은 설정 루틴에 맞춘 진동을 통해 상대방의 감정이 기쁨 상태인 것을 표시할 수 있다.
사용자는 상대방의 음성을 자체적으로 획득한 상태에서, 표시부(150)를 통해 외형 감정을 제공받을 수 있다. 사용자는 외형 감정의 감지를 통해 상대방의 감정을 정확하게 파악할 수 있다. 또한, 사용자는 자신이 듣고 있는 상대방의 음성에 표시부(150)에서 제공한 외형 감정을 매칭시키면서 감정 학습을 수행할 수 있다. 이를 통해, 사용자는 상대방이 어떤 감정일 때 어떤 음성으로 대화를 하는지 학습할 수 있다.
한편, 표정 또는 제스쳐를 통해 표시되는 상대방의 외형 감정은 주변 환경에 따라 달라질 수 있다. 예를 들어, 정숙이 요구되는 도서관에서 상대방이 특성 감정을 표현하는 표정/제스쳐는 주변이 소란스러운 마켓에서 표현하는 그것과 다를 수 있다. 이런 이유로 인해 사용자의 외형 감정만으로 상대방의 감정을 정확하게 인식하기 곤란할 수 있다.
실제의 상대방 감정을 최대한 추종하는 외형 감정이 도출되도록, 외형 감정을 보정하는 다양한 수단이 마련될 수 있다.
일 예로, 본 발명의 인식 장치에는 상대방의 목소리를 수집하는 수집부(120)가 마련될 수 있다.
감정 인식부(130)는 딥러닝 등의 목소리 감정 인식 모델, 또는 목소리의 특성 분석 알고리즘 등을 이용해서 목소리를 분석하고, 상대방의 소리 감정을 인식할 수 있다. 소리 감정은 목소리를 통해 인식하거나 감지할 수 있는 감정을 포함할 수 있다.
감정 인식부(130)는 인식된 소리 감정을 이용해서 외형 감정을 보정할 수 있다. 표시부(150)는 보정된 외형 감정을 표시할 수 있다. 표시부(150)는 소리 감정을 이용해서 보정된 외형 감정을 표시할 수 있다.
외형 감정의 보정은 동일한 종류의 감정에 대한 강도의 수정을 의미할 수 있다.
감정의 강도를 표시하기 위해, 표시부(150)에는 동일한 종류의 외형 감정에 대해서 감정의 강약을 구분해서 복수의 표시 정보가 마련될 수 있다. 예를 들어, 기쁨의 감정이라 하더라도, 조금 기쁨, 보통 기쁨, 매우 기쁨 등으로 강도가 포함되는 것이 유리하다. 감정 인식부(130)는 상대방 이미지의 분석을 통해 외형 감정의 종류를 인식할 수 있다. 감정 인식부(130)는 목소리의 세기에 따라 기인식된 외형 감정의 종류에 대한 강약을 판별할 수 있다. 표시부(150)는 외형 감정의 종류와 강약의 판별 결과를 함께 나타내는 특정 표시 정보를 표시할 수 있다. 상대방은 대화 도중 감정이 격앙될수록 목소리의 세기가 세질 수 있다.
감정 인식부(130)는 상대방 이미지를 이용해 기쁨, 화남, 슬픔 등과 같은 상대방의 감정 종류를 판별하고, 판별된 감정 종류에 대한 강도를 목소리의 세기를 이용해서 판별할 수 있다.
한편, 수집부(120) 등의 다른 수단을 통해 획득한 소스를 이용해서 파악된 상대방의 감정과 외형 감정이 충돌할 수 있다. 이때, 다른 소스에 기반하여 인식된 감정에 따라 외형 감정의 종류를 변경하는 것이 외형 감정의 보정에 해당될 수 있다.
감정 인식부(130)는 외형 감정과 소리 감정이 서로 다르고, 소리 감정의 강도가 설정값을 만족하면, 상대방 이미지의 분석을 통해 인식한 외형 감정을 수정할 수 있다. 예를 들어, 외형 감정은 '기쁨'으로 인식된 반면, 소리 감정은 '슬픔'으로 인식될 수 있다. 이 경우, 소리 감정의 강도, 예를 들어 목소리의 세기, 데시벨, 또는 음량이 설정값 이상이면, 감정 인식부(130)는 '기쁨'의 외형 감정을 '슬픔' 상태로 수정할 수 있다. 표시부(150)는 감정 인식부(130)에 의해 수정된 외형 감정을 표시할 수 있다.
감정 인식부(130)는 외형 감정과 소리 감정이 동일하거나, 소리 감정의 강도가 설정값을 만족하지 못하면, 기파악된 외형 감정을 그대로 표시부(150)에 제공할 수 있다. 예를 들어, 소리 감정의 강도가 설정값 미만이면, 감정 인식부(130)는 소리 감정을 무시하고 기인식된 외형 감정 '기쁨'을 그대로 표시부(150)에 제공할 수 있다.
저시력의 사용자를 가이드하기 위해 사물 인식부(170)가 마련될 수 있다.
촬영부(110)는 주변 사물을 촬영할 수 있다. 사물 인식부(170)는 촬영부(110)에서 촬영된 주변 사물을 인식할 수 있다. 표시부(150)는 사물의 인식 결과에 해당하는 사물 정보를 음성 또는 진동으로 표시할 수 있다. 사용자는 시각적으로 주변 사물을 인지하지 못하더라도, 본 발명의 인식 장치의 도움을 받아 청각 또는 촉각적으로 주변 사물을 인지할 수 있다.
한편, 상대방의 감정을 정확하게 파악하기 위해, 인식 장치는 주변 사물을 이용할 수 있다.
일 예로, 감정 인식부(130)는 사물 중에서 상대방을 제외한 인물 t를 파악할 수 있다. 감정 인식부(130)는 사물에 해당되는 인물 t의 수를 분석하고, 인물 t의 수가 설정 개수를 만족하면 외형 감정의 강도를 높게 보정할 수 있다.
상대방은 주변에 다른 사람들이 존재할 때, 외적 감정 표현을 자제할 수 있다. 예를 들어, 매우 기쁜 상황이더라도, 상대방은 주변 사람들을 고려해서 차분하게 기쁨을 표현할 수 있다. 이와 같은 환경을 반영하기 위해, 감정 인식부(130)는 상대방을 제외한 주변 인물 t의 숫자를 파악할 수 있다. 파악된 인물수가 설정 개수를 만족하면, 현재 파악된 외형 감정의 강도를 높게 보정할 수 있다. 상대방 표정의 분석을 통해 상대방의 감정이 '보통 기쁨'인 것으로 인식될 수 있다. 이때, 주변에 다른 인물 t가 설정 개수에 해당되는 2명이 존재하는 경우, 감정 인식부(130)는 감정의 강도를 설정 단계만큼 높게 보정할 수 있다. 해당 보정에 의해 상대방의 외형 감정은 '매우 기쁨'으로 보정되고, 표시부(150)를 통해 표시될 수 있다.
한편, 주변 인물 t의 수가 설정 개수를 만족하더라도, 해당 인물 t의 이동 여부에 따라 상대방의 감정 표현이 달라질 수 있다.
주변 인물 t가 상대방을 기준으로 이동하는 상태라면, 현재 상대방은 행인들이 존재하는 길거리 등에 위치한 것으로 파악될 수 있다. 이 경우, 행인은 상대방의 감정 표현에 별다른 반응을 보이지 않을 가능성이 높다. 해당 사실을 인지하고 있는 상대방은 일반적인 상황과 유사하게 자신의 감정 표현을 솔직하게 표현할 수 있다.
주변 인물 t가 상대방의 주변에 정지해 있다면, 주변 인물 t는 상대방의 감정 표현에 반응할 수 있다. 예를 들어, 횡단보도에서 여러 사람이 기다리는 경우, 다른 인물 t는 상대방의 격한 감정 표현에 반응할 수 있다. 또는, 상대방 주변에 정지한 다른 인물 t는 상대방의 지인일 수 있다. 이 경우에 상대방의 지인은 상대방의 감정 표현에 반응할 수 있다. 해당 사실을 인지하고 있는 상대방은 일반적인 상황과 비교해서 자신의 감정 표현을 차분하게 표현할 수 있다. 이때, 외부로 표현된 상대방의 감정은 본래의 감정보다 강도가 약해진 상태일 수 있다. 따라서, 상대방의 실제 감정은 외부로 표현된 감정 표현보다 강할 수 있다.
상대방의 감정을 정확하게 파악 또는 인식하기 위해 감정 인식부(130)는 촬영부(110)에서 촬영된 주변 사물 중에서 상대방을 제외한 인물 t의 이동 여부를 분석할 수 있다.
감정 인식부(130)는 주변 인물 t가 이동하는 것으로 판별되면, 외형 감정을 그대로 표시부(150)에 제공할 수 있다.
감정 인식부(130)는 주변 인물 t가 정지한 것으로 판별되면, 외형 감정의 강도를 높게 보정할 수 있다. 감정 인식부(130)는 원래의 외형 감정 대신 강도가 높게 보정된 외형 감정을 표시부(150)에 제공할 수 있다.
본 발명의 인식 장치에는 촬영부(110)에서 촬영된 문자를 인식하는 문자 인식부(180)가 마련될 수 있다. 감정 인식부(130)는 촬영부(110)에서 촬영된 이미지에 포함된 문자 m의 내용을 분석할 수 있다. 감정 인식부(130)는 문자 m이 의미하는 내용의 분석 결과에 따라 외형 감정을 보정할 수 있다. 표시부(150)는 내용의 분석 결과에 따라 보정된 외형 감정을 표시할 수 있다.
예를 들어, 상대방은 도서관(Library)에 위치할 수 있다. 이 경우, 상대방은 주변에 다른 인물이 존재하는 여부에 상관없이 자신의 현재 감정을 차분하게 표현할 수 있다. 이때, 상대방의 실제 감정은 외부로 표현된 감정보다 높은 강도를 가질 수 있다. 본 발명의 인식 장치는 문자의 분석을 통해 상대방이 표현한 감정의 강도보다 높은 강도로 외형 감정을 보정할 수 있다.
감정 인식부(130)는 이미지에 포함된 각종 문자를 분석하고, 상대방이 처한 환경을 파악할 수 있다. 상대방이 처한 환경은 상대방이 현재 위치에 해당하는 시설 정보, 상대방의 감정에 영향을 미치는 책, 편지, 문자 메시지, 메뉴판, 제품 라벨, 스크린 등에 대한 텍스트 등의 내용 정보를 포함할 수 있다.
상대방이 바라보는 스마트폰의 문자 메시지의 내용 분석 결과, 'XXX 회사에 합격하셨습니다'가 파악될 수 있다. 이때, 감정 인식부(130)는 상대방의 외형 정보가 현재 '조금 기쁨'이더라도 강도를 높게 보정해서, '매우 기쁨'으로 외형 정보를 수정할 수 있다. 표시부(150)는 상대방의 외형 감정을 '매우 기쁨'으로 표시할 수 있다. 사용자는 상대방의 실제 감정을 정확하게 파악하고 상대방을 상대할 수 있다.
인식 장치에는 사물 인식부(170), 문자 인식부(180), 선택부(190)가 마련될 수 있다.
앞에서 설명된 바와 같이, 사물 인식부(170)는 촬영부(110)에서 촬영된 주변 사물을 인식할 수 있다.
문자 인식부(180)는 촬영부(110)에서 촬영된 문자 m을 인식할 수 있다.
선택부(190)는 외형 정보, 사물의 인식 결과, 문자의 인식 결과 중에서 표시부(150)를 통해 표시될 대상을 사용자의 선택에 따라 선정할 수 있다. 선택부(190)에 따르면, 사용자는 주변 사물의 인식 용도로 사물 인식부(170)를 사용할 수 있다. 또는 사용자는 주변 문자의 인식 용도로 문자 인식부(180)를 사용할 수 있다. 표시부(150)는 선택부(190)에 의해 선정된 대상을 표시할 수 있다.
선택부(190)에 의해 외형 정보가 선정되면, 감정 인식부(130)는 외형 감정을 인식할 수 있다.
선택부(190)에 의해 외형 정보가 선정되면, 사물 인식부(170) 및 문자 인식부(180) 중 적어도 하나는 감정 인식부(130)와 함께 동작하면서 사물 또는 문자를 인식할 수 있다.
감정 인식부(130)는 사물 인식부(170)로부터 사물의 인식 결과에 해당하는 사물 정보가 입수되면, 사물 정보를 이용해서 외형 감정을 수정할 수 있다.
감정 인식부(130)는 문자 인식부(180)로부터 문자의 인식 결과에 해당하는 문자의 내용 정보가 입수되면, 내용 정보를 이용해서 외형 감정을 수정할 수 있다.
한편, 상대방을 상대하고 있는 상태에서, 사용자는 외형 감정의 보정을 위해 촬영부(110)로 다른 곳을 촬영하기 어려울 수 있다. 왜냐하면, 상대방이 자신을 무시하는 처사로 오해할 수 있기 때문이다.
상대방에 대면할 때, 사용자가 상대방에게만 집중하는 자세를 보일 수 있도록, 상대방의 외형 감정을 사전에 획득하는 수단으로 저장부(140)가 마련될 수 있다.
저장부(140)에는 촬영부(110)에서 촬영된 촬영 이미지가 설정 시간동안 저장될 수 있다.
현재 시점에서 감정 인식부(130)에 상대방 이미지가 제공되면, 사물 인식부(170) 또는 문자 인식부(180)에는 현재 시점 이전에 설정 시간동안 저장된 촬영 이미지가 제공될 수 있다.
사물 인식부(170)는 촬영 이미지에 포함된 주변 사물을 인식할 수 있다.
문자 인식부(180)는 촬영 이미지에 포함된 문자를 인식할 수 있다.
감정 인식부(130)는 사물 인식부(170)로부터 사물 인식 결과에 해당하는 사물 정보를 제공받거나, 문자 인식부(180)로부터 문자 인식 결과에 해당하는 내용 정보를 제공받을 수 있다.
감정 인식부(130)는 사물 정보 또는 내용 정보를 이용해서 기인식된 외형 감정을 수정할 수 있다. 표시부(150)는 감정 인식부(130)에 의해 수정된 외형 감정을 표시할 수 있다.
본 실시예에 따르면, 사용자가 상대방을 대면하게 되면, 상대방의 대면 시점 이전에 촬영하고 저장부(140)에 저장해둔 촬영 이미지에 대한 분석이 수행될 수 있다. 해당 분석을 통해 주변 사물 또는 문자가 인식되고, 감정 인식부(130)는 해당 주변 사물 또는 문자를 이용해서 대면하고 있는 상대방의 외형 감정을 수정할 수 있다.
본 발명의 인식 장치는 안경 또는 거치형 디바이스 형태로 제작되어 사용자에게 착용될 수 있다. 또는, 본 발명의 인식 장치는 이동형 디바이스 형태로 제작되어 사용자를 따라다니거나 사용자에게 착용될 수 있다. 이때, 안경 등에 마련된 촬영부(110)는 사용자의 전방을 촬영하도록 형성될 수 있다. 본 실시예에 따르면, 상대방과 대면하기 시작한 사용자가 상대방을 지속적으로 바라보는 상태에서도, 기저장된 주변 환경을 이용해서 상대방의 외형 감정이 정확하게 보정될 수 있다. 그 결과, 상대방의 실제 감정을 추종하는 외형 감정이 사용자에게 제공될 수 있다. 상대방의 실제 감정을 정확하게 파악한 사용자는 상대방의 감정에 올바르게 대응할 수 있다.
도 3은 본 발명의 인식 방법을 나타낸 흐름도이다.
도 3의 인식 방법은 도 1의 인식 장치에 의해 수행될 수 있다.
촬영부(110)는 사용자가 희망하는 주변을 촬영할 수 있다(S 510).
저장부(140)는 촬영 이미지를 저장할 수 있다(S 520).
감정 인식부(130)는 촬영 이미지를 분석하고, 사용자와 대화하는 상대방을 추출할 수 있다(S 530).
감정 인식부(130)는 상기 촬영 이미지로부터 상대방이 추출되면, 상대방의 외형 감정을 인식하고 보정할 수 있다(S 540).
표시부(150)는 감정 인식부(130)에 의해 보정된 외형 감정을 표시할 수 있다(S 550).
외형 감정을 인식하고 보정하는 단계(S 540)는 다음과 같이 세분화될 수 있다.
선택부(190)는 사용자의 선택에 따라, 감정 인식, 사물 인식, 문자 인식 중 어느 하나를 선정할 수 있다(S 541).
사물 인식이 선정되면(S 541), 사물 인식부(170)는 촬영부(110)에서 촬영된 주변 사물을 인식할 수 있다(S 543). 이때, 주변 사물의 인식은 실시간으로 수행될 수 있다. 표시부(150)는 사물 인식부(170)에서 인식된 주변 사물의 정보를 음성 또는 진동으로 표시할 수 있다.
문자 인식이 선정되면(S 541), 문자 인식부(180)는 촬영부(110)에서 촬영된 문자를 인식할 수 있다(S 544). 이때, 문자의 인식은 실시간으로 수행될 수 있다. 표시부(150)는 문자 인식부(180)에서 인식된 문자의 내용 정보를 음성 또는 진동으로 표시할 수 있다.
감정 인식이 선정되면(S 541), 감정 인식부(130)는 촬영 이미지에 투영된 상대방의 표정 f 또는 제스쳐 j를 이용해서 외형 감정을 인식할 수 있다(S 542).
감정 인식부(130)는 저장부(140)에 기저장된 촬영 이미지의 분석을 통해 주변 사물을 인식하거나 문자를 인식할 수 있다. 감정 인식시 수행되는 사물의 인식 또는 문자의 인식은 실시간으로 수행될 수도 있다. 여기에 추가로 감정 인식시 수행되는 사물 또는 문자의 인식은 저장부(140)에 기저장된 촬영 이미지를 대상으로 하는 점에서 특징이 있다.
감정 인식부(130)는 사물의 인식 결과에 해당하는 사물 정보 또는 문자의 인식 결과에 해당하는 내용 정보를 이용해서 외형 감정을 보정할 수 있다.
감정 인식부(130)는 사물 정보 또는 내용 정보의 분석을 통해 조용한 환경을 요구하는 정숙도를 판별하고, 정숙도에 비례하게 외형 감정의 강도를 보정할 수 있다.
촬영 이미지에 포함된 문자를 통해 파악된 해당 위치의 정숙도가 판별될 수 있다.
일 예로, 촬영 이미지에 포함된 주변 인물의 개수당 정숙도가 설정될 수 있다. 주변 인물의 개수가 1명이면 정숙도 1, 주변 인물의 개수가 2명이면 정숙도 2 등과 같이 설정될 수 있다. 현재 상대방의 감정이 기쁨 2단계인 경우, 정숙도가 1이면, 감정 인식부(130)는 현재 감정의 강도를 1단계 높인 기쁨 3단계로 외형 정보를 보정할 수 있다. 현재 상대방의 감정이 기쁨 2단계이고, 정숙도가 2이면, 감정 인식부(130)는 현재 감정의 강도를 2단계 높인 기쁨 4단계로 외형 정보를 보정할 수 있다.
촬영 이미지에 포함된 문자를 통해 파악된 현재 위치가 도서관이면 정숙도 5가 부여될 수 있다. 현재 위치가 마켓이면 정숙도 1이 부여될 수 있다. 현재 상대방의 감정이 기쁨 2단계인 경우, 정숙도가 5이면, 감정 인식부(130)는 현재 감정의 강도를 5단계 높인 기쁨 7단계로 외형 정보를 보정할 수 있다. 현재 상대방의 감정이 기쁨 2단계이고, 정숙도가 1이면, 감정 인식부(130)는 현재 감정의 강도를 1단계 높인 기쁨 3단계로 외형 정보를 보정할 수 있다.
본 발명은 5개의 기본 감정(예, 기쁨, 놀라움, 슬픔, 화남, 두려움)에 대한 인식을 수행할 수 있다. 본 발명은 17개의 복합 감정(예, 긍정과 부정, 각성과 미각성, 지배와 복종의 3차원 개념에 따른 복합감정 포함, 또는 강도(세기) 레벨 포함)에 대한 인식을 수행할 수 있다.
본 발명은 소통언어 제시 기능을 가진다. 구체적으로 본 발명은, 최대 75개의 감정(예, 활기참, 멋짐, 실망함, 두려워함, 많이 놀람, 절망함, 황당해함, 불안함, 짜증을 냄, 초조해 함, 벗어나고 싶어함, 활기참, 재미있어함, 부끄러워함 등)에 대해 인식하고 표현할 수 있다.
감정 인식과 관련하여, 본 발명은 딥러닝(Deep Learning) 인공지능 기법을 적용하여 표정을 효과적으로 인식하는 방법을 사용할 수 있다. 본 발명은 복합 표정에서의 고차원적 결합 방법을 사용함으로써 기존에는 인식하기 어려웠던 다양한 복합 감정을 인식할 수 있다.
물체 인식 또는 감정 인식과 관련하여, 본 발명은 개체 수가 많아지면 현저히 떨어지는 인식률을 보완하기 위해, 먼저 환경에 대한 인식을 진행하고 판별된 환경 내에서 발견될 수 있는 물체들로 개체 수를 줄여 인식률을 높일 수 있다.
본 발명은 표정인식 기술에 있어서 시퀀스 영상의 모션 플로우를 Dictionary 학습방법에 입력하고 표정별 latent 동작 사전학습을 통한 인식기술을 기안할 수 있다. 본 발명은 과거의 표정 특징추출을 위한 다양한 방법들 PCA(Principle Component Analysis), ICA(Independent Component Analysis), ASM(Active Shape Model), AAM(Active Appearance Model) 등과 대비하여 조명환경의 변화, 얼굴색의 차이 등에 강인한 특징을 찾을 수 있다.
본 발명은 사물인식 알고리즘을 사용할 수 있다. 구체적으로, 100여개의 실내외의 분위기를 알 수 있는 사물인식 및 음성안내 알고리즘이 사용될 수 있다.
본 발명은 글자 인식 알고리즘을 사용할 수 있다. 구체적으로, 한국어, 중국어, 일어, 영어를 포함한 102개의 언어 문자 인식이 가능한 알고리즘이 사용될 수 있다.
본 발명은 기본 감정 실시간 인식 알고리즘을 사용할 수 있다. 구체적으로, 5개의 기본 감정(예, 기쁨, 놀라움, 슬픔, 화남, 두려움)에 대한 실시간 인식이 가능한 알고리즘이 사용될 수 있다.
본 발명은 17개의 복합 표정 및 감정 인식 알고리즘을 사용할 수 있다. 구체적으로, AU(action unit) 검출 및 LSTM 기반의 복합 감정 인식 기능이 사용될 수 있다.
사물 인식과 관련하여, 본 발명은 데이터 수집 및 데이터베이스(Database) 구축, 데이터 학습 및 모델 생성, 그리고 사물인식 YOLO 이용을 수행할 수 있다.
문자 인식과 관련하여, 본 발명은 데이터 수집 및 Database 구축, 데이터 학습 및 모델 생성, 그리고 문자인식 tesseract-ocr 사용을 수행할 수 있다.
표정 인식을 지원하는 실시간 감정분석 시스템과 관련하여, 본 발명은 감정측정에 적합한 표정 데이터 수집 및 Database 구축, 실시간 감정분석 시스템, 그리고 소통언어로의 전환을 수행할 수 있다.
통합 사용시스템 구현과 관련하여, 본 발명은 사물인식, 문자인식, 감정인식 및 소통언어 발화 통합 시스템을 구현할 수 있다.
23가지 감정변화에 따른 표정변화에 대한 특징벡터 추출 및 AU 검출을 기반으로 한 복합표정 인식 알고리즘과 관련하여, 본 발명은 landmark point 및 LSTM 기반의 표정인식을 위한 특징 추출 및 AU 검출 방법, AU 검출 및 LSTM 특징 기반 23가지 표정 인식 방법, 그리고 표정 DB 기반 표정 인식에 최적화를 통한 복합 표정 인식률 개선 방법을 사용할 수 있다.
본 발명은 복합 표정 인식을 기반으로 한 정서 특성 모델링을 사용할 수 있다.
본 발명은 23가지 표정 인식을 기반으로 한 감정 평가를 위한 수치적 지표를 제공할 수 있다.
본 발명의 감정 장치 또는 감정 방법은 다음과 같이 감정을 측정할 수 있다.
감정 인식부(130)는 상대방 이미지로부터 추출된 표정을 이용해서 상대방의 감정을 판단 또는 인식 또는 분류할 수 있다. 표정은 감정의 1차적 판단 근거가 될 수 있다. 그러나, 표정은 발현 이후 수초 이내에 없어지는 것이 일반적이다. 또한, 동양인의 경우 큰 표정을 짓지 않아서 감정 판단에 적용되기 어렵다. 표정을 이용해서 75개 감정이 측정되거나 분류될 수 있다. 본 발명에서는 얼굴 근육의 움직임을 고려하여 감정을 평가할 수 있다. 얼굴 근육의 움직임은 근육량, 습관 등에 따라 사람별로 달라질 수 있으므로, 상대방 적응적인 데이터가 수집되고 분석될 필요가 있다.
감정 인식부(130)는 상대방 이미지로부터 추출된 눈빛을 이용해서 상대방의 감정을 판단 또는 인식 또는 분류할 수 있다. 눈빛은 눈동자 크기, 눈동자 움직임, 눈동자의 방향, 눈동자의 움직임 속도, 눈 근육의 움직임, 눈꺼풀의 개폐 정도, 응시 시간, 미간의 간격과 주름을 종합하는 것으로 정의될 수 있다. 눈빛을 이용하여 감정 중에서 정조(기분, 취미, 정서적인 분위기, 정서가 더욱 발달되면서 일어나는 고차원적인 복잡한 감정 포함)가 파악될 수 있다. 따라서, 정서적 안정감과 불안정감, 열정과 무관심, 부끄럼, 죄책감, 혐오, 호기심, 공감과 같은 감정을 측정하는데 눈빛이 이용될 수 있다.
감정 인식부(130)는 상대방 이미지로부터 추출된 목 움직임을 이용해서 상대방의 감정을 판단 또는 인식 또는 분류할 수 있다. 목 움직임은 머리의 방향, 머리와 목과의 각도, 머리와 등과의 각도, 목의 움직임의 속도, 어깨의 움직임, 어깨의 구부러진 정도와 각도를 포함할 수 있다. 목 움직임을 이용하면 우울감, 무기력 등의 감정이 정확하게 측정될 수 있다.
감정 인식부(130)는 상대방 이미지로부터 추출된 자세, 몸짓, 행동 등의 제스쳐를 이용해서 상대방의 감정을 판단 또는 인식 또는 분류할 수 있다. 감정 인식부(130)는 목, 팔, 등, 다리의 움직임을 종합적으로 판단하여 신체적 개방성, 공격성, 신체의 아픔, 신나함(고양됨), 호의를 측정할 수 있다.
감정 인식부(130)는 상대방의 목소리를 이용하여 상대방의 감정을 판단하거나, 인식하거나, 분류할 수 있다. 목소리의 높낮이, 목소리의 길이, 목소리의 파동, 목소리의 억양 및 목소리가 커지고 작아지는 단락의 길이, 목소리의 강도에 대한 측정 및 분류를 통해서 상대방의 감정이 분류될 수 있다. 목소리는 표정 데이터가 없는 경우, 감정 파악의 주요 데이터가 될 수 있으며, 표정과 일치한 경우 표정인식의 정확도를 높일 수 있다.
감정 인식부(130)는 상대방의 목소리를 통해 분석된 어휘를 이용해서 상대방의 감정을 판단할 수 있다. 감정 인식부(130)는 상대방의 목소리가 나타내는 어휘 중 감정과 관련된 특정 어휘를 이용해서 상대방의 감정을 판단하거나, 인식하거나, 분류할 수 있다.
한편, 상대방의 감정을 파악할 수 있는 복수의 요소가 촬영부, 수집부 등의 각종 입력 수단을 통해 입력될 수 있다. 감정 인식부(130)는 복수 채널을 통해 입수된 요소(감정 분석 정보)를 다음과 같이 처리할 수 있다.
감정 인식부(130)는 상대방 이미지 또는 상대방의 목소리를 통해 상대방의 감정을 파악할 수 있는 복수의 요소를 추출할 수 있다. 해당 요소는 표정, 눈빛, 목 움직임, 제스쳐, 목소리, 어휘 등을 포함할 수 있다. 일 예로, 감정 인식부는 상대방 이미지의 분석을 통해 상대방의 제스쳐, 표정, 목 움직임, 눈빛 중 적어도 하나를 파악할 수 있다. 감정 인식부는 수집부를 통해 상대방의 목소리, 상대방이 발성한 어휘 중 적어도 하나를 파악할 수 있다.
감정 인식부(130)는 복수의 요소 중 시간적으로 먼저 획득된 데이터를 이용해서 상대방의 감정을 인식할 수 있다. 또는, 감정 인식부(130)는 각 요소가 설정 강도를 만족하는지 여부 또는 각 요소가 설정 시간 동안 지속되는지 여부에 따라 상대방의 감정을 인식하는데 사용되는 특정 요소를 선정할 수 있다.
일 예로, 상대방과 관련된 표정, 눈빛, 목 움직임, 제스쳐, 목소리, 어휘가 획득되면, 감정 인식부(130)는 각 요소의 강도를 분석할 수 있다. 예를 들어 표정 1레벨, 눈빛 3레벨, 목 움직임 2레벨, 제스쳐 5레벨, 목소리 2레벨, 어휘 0레벨인 경우를 가정한다. 설정 강도가 3레벨로 설정된 상태이면, 감정 인식부(130)는 강도가 3레벨 이상인 눈빛, 제스쳐 2가지만 이용해서 상대방의 감정을 인식할 수 있다.
일 예로, 상대방과 관련된 표정, 눈빛, 목 움직임, 제스쳐, 목소리, 어휘가 획득되면, 감정 인식부(130)는 각 요소의 지속 시간을 분석할 수 있다. 예를 들어 표정 3초, 눈빛 4초, 목 움직임 1초, 제스쳐 2초, 목소리 3초, 어휘 2초인 경우를 가정한다. 설정 시간이 3초로 설정된 상태이면, 감정 인식부(130)는 지속 시간이 3초 이상인 표정, 눈빛, 목소리만을 이용해서 상대방의 감정을 인식/판단/분류할 수 있다.
한편, 동일한 시간에 동일한 강도, 동일한 지속 시간을 갖는 복수의 요소가 촬영부 또는 수집부를 통해 입수될 수 있다. 이때, 감정 인식부(130)는 제스쳐, 목소리, 표정, 어휘, 목 움직임의 순서대로 감정을 분류하는 우선 순위를 부여할 수 있다. 또는, 감정 인식부(130)는 제스쳐, 목소리, 표정, 어휘, 눈빛의 순서대로 감정을 분류하는 우선 순위를 부여할 수 있다. 본 실시예에 따르면, 다양한 복합 감정 요소가 파악될 때, 상대방의 감정을 정확하게 파악할 수 있는 우선 순위가 각 복합 감정 요소에 부여될 수 있다.
도 4는 본 발명의 실시예에 따른, 컴퓨팅 장치를 나타내는 도면이다. 도 4의 컴퓨팅 장치(TN100)는 본 명세서에서 기술된 장치(예, 인식 장치 등) 일 수 있다.
도 4의 실시예에서, 컴퓨팅 장치(TN100)는 적어도 하나의 프로세서(TN110), 송수신 장치(TN120), 및 메모리(TN130)를 포함할 수 있다. 또한, 컴퓨팅 장치(TN100)는 저장 장치(TN140), 입력 인터페이스 장치(TN150), 출력 인터페이스 장치(TN160) 등을 더 포함할 수 있다. 컴퓨팅 장치(TN100)에 포함된 구성 요소들은 버스(bus)(TN170)에 의해 연결되어 서로 통신을 수행할 수 있다.
프로세서(TN110)는 메모리(TN130) 및 저장 장치(TN140) 중에서 적어도 하나에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(TN110)는 중앙 처리 장치(CPU: central processing unit), 그래픽 처리 장치(GPU: graphics processing unit), 또는 본 발명의 실시예에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 프로세서(TN110)는 본 발명의 실시예와 관련하여 기술된 절차, 기능, 및 방법 등을 구현하도록 구성될 수 있다. 프로세서(TN110)는 컴퓨팅 장치(TN100)의 각 구성 요소를 제어할 수 있다.
메모리(TN130) 및 저장 장치(TN140) 각각은 프로세서(TN110)의 동작과 관련된 다양한 정보를 저장할 수 있다. 메모리(TN130) 및 저장 장치(TN140) 각각은 휘발성 저장 매체 및 비휘발성 저장 매체 중에서 적어도 하나로 구성될 수 있다. 예를 들어, 메모리(TN130)는 읽기 전용 메모리(ROM: read only memory) 및 랜덤 액세스 메모리(RAM: random access memory) 중에서 적어도 하나로 구성될 수 있다.
송수신 장치(TN120)는 유선 신호 또는 무선 신호를 송신 또는 수신할 수 있다. 송수신 장치(TN120)는 네트워크에 연결되어 통신을 수행할 수 있다.
한편, 본 발명의 실시예는 지금까지 설명한 장치 및/또는 방법을 통해서만 구현되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있으며, 이러한 구현은 상술한 실시예의 기재로부터 본 발명이 속하는 기술 분야의 통상의 기술자라면 쉽게 구현할 수 있는 것이다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 통상의 기술자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.
110...촬영부 120...수집부
130...감정 인식부 140...저장부
150...표시부 170...사물 인식부
180...문자 인식부 190...선택부

Claims (17)

  1. 사용자와 대면하는 상대방을 촬영하는 촬영부;
    상기 촬영부에서 촬영된 상대방 이미지의 분석을 통해 상기 상대방의 외형 감정을 인식하는 감정 인식부;
    음성 또는 진동으로 상기 외형 감정을 표시하는 표시부;를 포함하고,
    상기 상대방의 목소리를 수집하는 수집부가 마련되고,
    상기 표시부에는 동일한 종류의 외형 감정에 대해서 감정의 강약을 구분해서 나타내는 복수의 표시 정보가 마련되며,
    상기 감정 인식부는 상기 상대방 이미지의 분석을 통해 상기 외형 감정의 종류를 인식하고,
    상기 감정 인식부는 상기 목소리의 세기에 따라 기인식된 외형 감정의 종류에 대한 강약을 판별하며,
    상기 표시부는 상기 외형 감정의 종류와 상기 강약의 판별 결과를 함께 나타내는 특정 표시 정보를 표시하고,
    상기 감정 인식부는 상기 목소리의 분석을 통해 상기 상대방의 소리 감정을 인식하며, 인식된 상기 소리 감정을 이용해서 상기 외형 감정을 보정하고,
    상기 표시부는 보정된 외형 감정을 표시하는 인식 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 감정 인식부는 상대방 이미지의 분석을 통해 상기 상대방의 표정과 제스쳐 중 적어도 하나를 인식하고,
    상기 감정 인식부는 상기 표정 또는 상기 제스쳐를 이용해서 상기 외형 감정을 인식하는 인식 장치.
  5. 사용자와 대면하는 상대방을 촬영하는 촬영부;
    상기 촬영부에서 촬영된 상대방 이미지의 분석을 통해 상기 상대방의 외형 감정을 인식하는 감정 인식부;
    음성 또는 진동으로 상기 외형 감정을 표시하는 표시부;를 포함하고,
    상기 상대방의 목소리를 수집하는 수집부가 마련되고,
    상기 감정 인식부는 상기 수집부에서 수집된 상기 목소리의 분석을 통해 상기 상대방의 소리 감정을 인식하며,
    감정 인식부는 상기 외형 감정과 상기 소리 감정이 서로 다르고, 상기 소리 감정의 강도가 설정값을 만족하면, 상기 상대방 이미지의 분석을 통해 인식한 상기 외형 감정을 수정하고,
    상기 표시부는 상기 감정 인식부에 의해 수정된 외형 감정을 표시하며,
    상기 감정 인식부는 상기 외형 감정과 상기 소리 감정이 동일하거나, 상기 소리 감정의 강도가 상기 설정값을 만족하지 못하면, 기파악된 상기 외형 감정을 그대로 상기 표시부에 제공하는 인식 장치.
  6. 제1항에 있어서,
    상기 촬영부는 주변 사물을 촬영하고,
    상기 촬영부에서 촬영된 상기 사물을 인식하는 사물 인식부가 마련되고,
    상기 표시부는 상기 사물의 인식 결과에 해당하는 사물 정보를 음성 또는 진동으로 표시하고,
    상기 감정 인식부는 상기 사물 인식부에서 인식된 상기 사물을 분석하고, 분석 결과에 따라 상기 외형 감정을 보정하며,
    상기 표시부는 상기 사물의 분석 결과에 따라 보정된 외형 감정을 표시하는 인식 장치.
  7. 삭제
  8. 사용자와 대면하는 상대방을 촬영하는 촬영부;
    상기 촬영부에서 촬영된 상대방 이미지의 분석을 통해 상기 상대방의 외형 감정을 인식하는 감정 인식부;
    음성 또는 진동으로 상기 외형 감정을 표시하는 표시부;를 포함하고,
    상기 촬영부에서 촬영된 주변 사물을 인식하는 사물 인식부가 마련되고,
    상기 감정 인식부는 상기 사물 중에서 상기 상대방을 제외한 인물을 파악하며,
    상기 감정 인식부는 상기 인물의 수를 분석하고, 상기 인물의 수가 설정 개수를 만족하면 상기 외형 감정의 강도를 높게 보정하는 인식 장치.
  9. 사용자와 대면하는 상대방을 촬영하는 촬영부;
    상기 촬영부에서 촬영된 상대방 이미지의 분석을 통해 상기 상대방의 외형 감정을 인식하는 감정 인식부;
    음성 또는 진동으로 상기 외형 감정을 표시하는 표시부;를 포함하고,
    상기 촬영부에서 촬영된 주변 사물을 인식하는 사물 인식부가 마련되고,
    상기 감정 인식부는 상기 사물 중에서 상기 상대방을 제외한 인물을 파악하며,
    상기 감정 인식부는 상기 인물의 이동 여부를 분석하고,
    상기 감정 인식부는 상기 인물이 이동하는 것으로 판별되면, 상기 외형 감정을 그대로 상기 표시부에 제공하며,
    상기 감정 인식부는 상기 인물이 정지한 것으로 판별되면, 상기 외형 감정의 강도를 높게 보정하고, 원래의 상기 외형 감정 대신 강도가 높게 보정된 외형 감정을 상기 표시부에 제공하는 인식 장치.
  10. 제1항에 있어서,
    상기 촬영부에서 촬영된 문자를 인식하는 문자 인식부가 마련되고,
    상기 감정 인식부는 상기 문자의 내용을 분석하고, 상기 내용의 분석 결과에 따라 상기 외형 감정을 보정하며,
    상기 표시부는 상기 내용의 분석 결과에 따라 보정된 외형 감정을 표시하는 인식 장치.
  11. 사용자와 대면하는 상대방을 촬영하는 촬영부;
    상기 촬영부에서 촬영된 상대방 이미지의 분석을 통해 상기 상대방의 외형 감정을 인식하는 감정 인식부;
    음성 또는 진동으로 상기 외형 감정을 표시하는 표시부;를 포함하고,
    사물 인식부, 문자 인식부, 선택부가 마련되고,
    상기 사물 인식부는 상기 촬영부에서 촬영된 주변 사물을 인식하며,
    상기 문자 인식부는 상기 촬영부에서 촬영된 문자를 인식하고,
    상기 선택부는 상기 외형 감정, 상기 사물의 인식 결과, 상기 문자의 인식 결과 중에서 상기 표시부를 통해 표시될 대상을 상기 사용자의 선택에 따라 선정하며,
    상기 표시부는 상기 선택부에 의해 선정된 대상을 표시하고,
    상기 선택부에 의해 상기 외형 감정이 선정되면, 상기 감정 인식부는 상기 외형 감정을 인식하고,
    상기 선택부에 의해 상기 외형 감정이 선정되면, 상기 사물 인식부 및 상기 문자 인식부 중 적어도 하나는 상기 감정 인식부와 함께 동작하면서 상기 사물 또는 상기 문자를 인식하며,
    상기 감정 인식부는 상기 사물 인식부로부터 상기 사물의 인식 결과에 해당하는 사물 정보가 입수되면, 상기 사물 정보를 이용해서 상기 외형 감정을 수정하고,
    상기 감정 인식부는 상기 문자 인식부로부터 상기 문자의 인식 결과에 해당하는 문자의 내용 정보가 입수되면, 상기 내용 정보를 이용해서 상기 외형 감정을 수정하는 인식 장치.
  12. 삭제
  13. 사용자와 대면하는 상대방을 촬영하는 촬영부;
    상기 촬영부에서 촬영된 상대방 이미지의 분석을 통해 상기 상대방의 외형 감정을 인식하는 감정 인식부;
    음성 또는 진동으로 상기 외형 감정을 표시하는 표시부;를 포함하고,
    상기 촬영부에서 촬영된 촬영 이미지가 설정 시간동안 저장되는 저장부가 마련되고,
    현재 시점에서 상기 감정 인식부에 상기 상대방 이미지가 제공되면, 현재 시점 이전에 상기 설정 시간동안 저장된 상기 촬영 이미지가 제공되는 사물 인식부 또는 문자 인식부가 마련되며,
    상기 사물 인식부는 상기 촬영 이미지에 포함된 주변 사물을 인식하고,
    상기 문자 인식부는 상기 촬영 이미지에 포함된 문자를 인식하며,
    상기 감정 인식부는 상기 사물 인식부로부터 사물 인식 결과에 해당하는 사물 정보를 제공받거나, 상기 문자 인식부로부터 문자 인식 결과에 해당하는 내용 정보를 제공받으며,
    상기 감정 인식부는 상기 사물 정보 또는 상기 내용 정보를 이용해서 기인식된 상기 외형 감정을 수정하고,
    상기 표시부는 상기 감정 인식부에 의해 수정된 외형 감정을 표시하는 인식 장치.
  14. 제1항에 있어서,
    상기 감정 인식부는 상기 상대방 이미지 또는 상기 상대방의 목소리를 통해 상기 상대방의 감정을 파악할 수 있는 복수의 요소를 추출하고,
    상기 감정 인식부는 상기 복수의 요소 중 시간적으로 먼저 획득된 데이터를 이용해서 상기 상대방의 감정을 인식하거나, 각 요소가 설정 강도를 만족하는지 여부 또는 각 요소가 설정 시간 동안 지속되는지 여부에 따라 상기 상대방의 감정을 인식하는데 사용되는 특정 요소를 선정하는 인식 장치.
  15. 제1항에 있어서,
    상기 상대방의 목소리를 수집하는 수집부가 마련되고,
    상기 감정 인식부는 상기 상대방 이미지의 분석을 통해 상기 상대방의 제스쳐, 표정, 목 움직임, 눈빛 중 적어도 하나를 파악하며,
    상기 감정 인식부는 상기 수집부를 통해 상기 상대방의 목소리, 어휘 중 적어도 하나를 파악하고,
    상기 감정 인식부는 상기 제스쳐, 상기 목소리, 상기 표정, 상기 어휘, 상기 목 움직임의 순서대로 감정을 분류하는 우선 순위를 부여하거나,
    상기 감정 인식부는 상기 제스쳐, 상기 목소리, 상기 표정, 상기 어휘, 상기 눈빛의 순서대로 감정을 분류하는 우선 순위를 부여하는 인식 장치.
  16. 인식 장치에 의해 수행되는 인식 방법에 있어서,
    주변을 촬영하는 단계;
    촬영 이미지를 저장하는 단계;
    촬영 이미지를 분석하고, 사용자와 대화하는 상대방을 추출하는 단계;
    상기 상대방이 추출되면, 상기 상대방의 외형 감정을 인식하고 보정하는 단계;
    보정된 외형 감정을 표시하는 단계;를 포함하고,
    상기 외형 감정을 인식하고 보정하는 단계는,
    상기 촬영 이미지에 투영된 상기 상대방의 표정 또는 제스쳐를 이용해서 상기 외형 감정을 인식하고,
    기저장된 상기 촬영 이미지의 분석을 통해 주변 사물을 인식하거나 문자를 인식하며,
    상기 사물의 인식 결과에 해당하는 사물 정보 또는 상기 문자의 인식 결과에 해당하는 내용 정보를 이용해서 상기 외형 감정을 보정하며,
    상기 사물 정보 또는 상기 내용 정보의 분석을 통해 조용한 환경을 요구하는 정숙도를 판별하고,
    상기 정숙도에 비례하게 외형 감정의 강도를 보정하는 인식 방법.
  17. 삭제
KR1020200025111A 2019-02-28 2020-02-28 감정 인식 장치 및 감정 인식 방법 KR102351008B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/KR2020/002928 WO2020175969A1 (ko) 2019-02-28 2020-02-28 감정 인식 장치 및 감정 인식 방법

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190023632 2019-02-28
KR20190023632 2019-02-28

Publications (3)

Publication Number Publication Date
KR20200105446A KR20200105446A (ko) 2020-09-07
KR102351008B1 true KR102351008B1 (ko) 2022-01-14
KR102351008B9 KR102351008B9 (ko) 2023-03-23

Family

ID=72472331

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200025111A KR102351008B1 (ko) 2019-02-28 2020-02-28 감정 인식 장치 및 감정 인식 방법

Country Status (1)

Country Link
KR (1) KR102351008B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102472786B1 (ko) 2020-12-17 2022-11-30 광주대학교산학협력단 사용자의 감정을 디지털 상에 복제하는 감정 디지털 트윈을 생성하는 방법 및 장치
CN112766143B (zh) * 2021-01-15 2023-08-25 湖南大学 一种基于多情绪的人脸老化处理方法和系统
KR102464423B1 (ko) * 2021-04-07 2022-11-09 한국과학기술원 인터랙션 모니터링 시스템, 이를 이용하는 육아 보조 시스템 및 이를 이용하는 인터랙션 모니터링 방법
KR102435556B1 (ko) * 2021-05-17 2022-08-22 이연정 표현대상을 이용한 감정인식장치 및 그 동작방법
CN115209048A (zh) * 2022-05-19 2022-10-18 广东逸动科技有限公司 影像数据处理方法、装置、电子设备及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101830767B1 (ko) * 2011-07-14 2018-02-22 삼성전자주식회사 사용자의 감정 인식 장치 및 방법
KR20150081824A (ko) * 2014-01-07 2015-07-15 한국전자통신연구원 사용자 감정 기반 디지털 멀티미디어 제어장치 및 그 방법
KR102651253B1 (ko) * 2017-03-31 2024-03-27 삼성전자주식회사 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법
KR101952804B1 (ko) 2017-05-16 2019-02-27 전주대학교 산학협력단 감정인식 인터페이스 장치

Also Published As

Publication number Publication date
KR20200105446A (ko) 2020-09-07
KR102351008B9 (ko) 2023-03-23

Similar Documents

Publication Publication Date Title
KR102351008B1 (ko) 감정 인식 장치 및 감정 인식 방법
JP7022062B2 (ja) 統合化された物体認識および顔表情認識を伴うｖｐａ
CN108886532B (zh) 用于操作个人代理的装置和方法
Gunes et al. Bodily expression for automatic affect recognition
US9031293B2 (en) Multi-modal sensor based emotion recognition and emotional interface
Vinola et al. A survey on human emotion recognition approaches, databases and applications
JP4481663B2 (ja) 動作認識装置、動作認識方法、機器制御装置及びコンピュータプログラム
Varghese et al. Overview on emotion recognition system
CN113760101B (zh) 一种虚拟角色控制方法、装置、计算机设备以及存储介质
Caridakis et al. Multimodal user’s affective state analysis in naturalistic interaction
JP6544333B2 (ja) コミュニケーション装置
WO2017086108A1 (ja) 情報提示装置、情報提示方法、プログラム、情報処理装置及び案内ロボット制御システム
US11682389B2 (en) Voice conversation system, control system for voice conversation system, and control program, and control method
WO2020175969A1 (ko) 감정 인식 장치 및 감정 인식 방법
JP5180116B2 (ja) 国籍判定装置、方法およびプログラム
KR20210100831A (ko) 인공지능 기반 수어통역 서비스 제공 시스템 및 방법
JP2017182261A (ja) 情報処理装置、情報処理方法、およびプログラム
Ivanova Researching affective computing techniques for intelligent tutoring systems
WO2021196751A1 (zh) 基于数字人的车舱交互方法、装置及车辆
JP7111042B2 (ja) 情報処理装置、提示システム、及び情報処理プログラム
Rosado et al. Morse code-based communication system focused on amyotrophic lateral sclerosis patients
Frank et al. Automatic pixel selection for optimizing facial expression recognition using eigenfaces
JP6583754B2 (ja) 情報処理装置、ミラーデバイス、プログラム
KR20210100832A (ko) 사용자의 감정상태를 판단하는 인공지능 기반 수어통역 서비스 제공 시스템 및 방법
Mansouri Benssassi et al. Wearable assistive technologies for autism: opportunities and challenges

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
G170 Re-publication after modification of scope of protection [patent]