KR20100001928A - 감정인식에 기반한 서비스 장치 및 방법 - Google Patents
감정인식에 기반한 서비스 장치 및 방법 Download PDFInfo
- Publication number
- KR20100001928A KR20100001928A KR1020080062036A KR20080062036A KR20100001928A KR 20100001928 A KR20100001928 A KR 20100001928A KR 1020080062036 A KR1020080062036 A KR 1020080062036A KR 20080062036 A KR20080062036 A KR 20080062036A KR 20100001928 A KR20100001928 A KR 20100001928A
- Authority
- KR
- South Korea
- Prior art keywords
- emotion
- service
- voice
- user
- image
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 26
- 230000008909 emotion recognition Effects 0.000 title claims description 40
- 230000008451 emotion Effects 0.000 claims abstract description 59
- 239000013598 vector Substances 0.000 description 13
- 230000008921 facial expression Effects 0.000 description 11
- 238000007500 overflow downdraw method Methods 0.000 description 6
- 238000009825 accumulation Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 4
- 239000011159 matrix material Substances 0.000 description 4
- 230000001815 facial effect Effects 0.000 description 3
- 238000000513 principal component analysis Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 230000005236 sound signal Effects 0.000 description 3
- 238000013528 artificial neural network Methods 0.000 description 2
- 230000002996 emotional effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 210000004709 eyebrow Anatomy 0.000 description 2
- 210000000887 face Anatomy 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 238000011160 research Methods 0.000 description 2
- BQCADISMDOOEFD-UHFFFAOYSA-N Silver Chemical compound [Ag] BQCADISMDOOEFD-UHFFFAOYSA-N 0.000 description 1
- 230000004913 activation Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000003542 behavioural effect Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 210000001331 nose Anatomy 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000008447 perception Effects 0.000 description 1
- 230000008707 rearrangement Effects 0.000 description 1
- 229910052709 silver Inorganic materials 0.000 description 1
- 239000004332 silver Substances 0.000 description 1
- 230000002194 synthesizing effect Effects 0.000 description 1
- 238000012549 training Methods 0.000 description 1
- 238000012795 verification Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
- G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
- G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
- G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/08—Speech classification or search
- G10L15/16—Speech classification or search using artificial neural networks
-
- G—PHYSICS
- G10—MUSICAL INSTRUMENTS; ACOUSTICS
- G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
- G10L15/00—Speech recognition
- G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
Landscapes
- Engineering & Computer Science (AREA)
- Health & Medical Sciences (AREA)
- Acoustics & Sound (AREA)
- Multimedia (AREA)
- Computational Linguistics (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Human Computer Interaction (AREA)
- Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Child & Adolescent Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Hospice & Palliative Care (AREA)
- Psychiatry (AREA)
- Signal Processing (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
사용자의 감정 인식에 기반한 서비스 장치 및 방법이 개시된다. 데이터 입력부는 음성 및 영상 장치로부터 음성 및 영상 데이터를 입력받는다. 감정 인식부는 입력받은 음성 및 영상 신호로부터 사용자의 감정을 인식한다. 서비스 결정부는 인식된 사용자의 감정에 기초하여 사용자에게 제공할 서비스를 결정한다. 출력부는 결정된 서비스에 기초하여 사용자에게 서비스를 제공한다. 본 발명에 의하면, 음성 및 영상 혹은 복합적인 데이터를 통하여 사용자의 감정을 인식하고, 이에 따라 서비스 로봇과 같은 서비스 장치에 의하여 사용자의 감정에 대응하는 서비스를 제공할 수 있다.
감정 인식, 음성 및 영상 데이터, 서비스 결정, 서비스 제공
Description
본 발명은 감정인식에 기반한 서비스 장치 및 방법에 관한 것으로, 보다 상세하게는, 음성 또는 얼굴 영상을 이용하여 사용자의 감정을 인식하고, 인식된 사용자의 감정에 따라 서비스를 제공하는 장치 및 방법에 관한 것이다.
기술이 점차 발전함에 따라, 사용자들은 단순히 명령에만 동작하는 것이 아닌, 사용자의 상황에 따라 적합한 서비스를 제공해주는 인공지능에 대한 관심이 높아지게 되었다. 그 중에서도 사용자와 서비스 로봇과 같은 서비스 장치가 교감하는 감정 인식에 대한 분야가 활발히 연구되어 왔다.
감성인식에 대한 연구는 통상 음성, 영상, 생체신호 및 몸짓 등의 네 종류의 매체를 사용하여 이루어져 왔다. 더불어, 1990년부터 2005년까지 발행된 IEEE 조사 보고서에 따르면 음성매체를 사용한 연구가 다른 매체들보다 많이 공개된 바 있다. 이러한 결과는 생체신호 또는 몸짓에 비해 음성 및 영상으로부터 데이터를 추출하는 것이 보다 용이하기 때문인 것으로 파악된다. 특히, EEG, ECG 및 SC 센서들은 생체신호를 획득하기 위해 사용되나, 이러한 센서들로부터 출력되는 신호는 형광등 또는 가전제품으로부터 방출되는 전기신호에 의해 차단될 수 있다. 이러한 문제는 생체신호를 사용하는 감성인식에 있어서의 장애요인 중 하나이다. 영상의 경우에 이는 얼굴표정인식을 의미하며, 이 경우 가장 큰 문제는 일반적으로 자주 변화되는 조명상태, 인식성능에 영향을 주는 안경과 같은 개인 착용물이다. 몸짓인식의 문제는 영상인식이 가지고 있는 문제와 유사하며, 더 큰 문제는 몸짓은 감성과 관련된 정보를 많이 포함하고 있지 않다는 것이다.
세가지 매체에 존재하는 상술한 문제들과 달리 음성신호는 감성과 관련된 보다 많은 정보를 보낼 수 있다. 예를 들어, 전화상의 통화시 감성을 인식할 수 있으며, 이는 감성인식을 위한 음성신호의 타당성을 보여준다. 저가의 마이크가 음성신호를 수집하기 위한 센서로 사용되기 충분하며, 신호원으로부터 나오는 것으로 분류될 수 있을 정도로 크지 않다면 잡음은 특징집합의 추출에 영향을 주지 않는다. 이러한 이유로 대부분의 연구자들이 음성신호에 촛점을 맞추어 왔다. 음성으로부터 감성인식을 위해 일반적으로 사용되는 특징집합은 피치(간격), 에너지, 포먼트(파생접사), 음성속도 등으로 구성된다. 일부 연구자들은 특징집합의 네가지 모두를 선택하며, 하나의 특징집합만을 선택하는 연구자도 존재한다.
영상에 의한 감정 인식의 경우에, 자주 변화되는 조명 상태 등에 의해 감정 인식의 정확도가 달라지는 문제점이 있으나, 사용자의 감정이 얼굴에 잘 나타난다는 점을 고려하면 감정 인식의 중요한 요소임을 부정할 수 없다. 로봇에서도 얼굴 표정의 시각 정보, 다시 말해 카메라를 통해 획득되는 얼굴 영상 정보를 이용하면 감정인식을 하는데 양호한 성능을 기대할 수 있다. 얼굴은 다양한 감정이 표현되며 가장 민감하게 반응하는 부분이다. 영상에 의한 감정 인식 방법은 얼굴의 여러 가지 특징(예를 들어, 눈썹, 눈 코,입 등)의 움직임을 고려하여 감정을 인식한다. 이때 얼굴 영상을 이용하여 감정을 인식하는 방법은 영상 획득과 획득된 영상에서의 특징점 추출, 추출된 특징점을 통한 감정 인식으로 구분 지을 수 있다. 영상 획득은 2차원 또는 3차원으로 획득될 수 있다.
상술한 바와 같이 종래에는 음성 및 영상 정보에 기초하여 감정을 인식하는 시스템 및 그 방법에 관한 연구가 활발히 이루어졌다. 그러나 음성 및 영상에서 특징을 추출하여 이 데이터를 이용하여 감정을 인식하는 방법만을 제시하였다. 즉 종래의 감정 인식에 대한 연구는 단순히 감정을 인식하는 것에 국한되었고, 감정 인식에 따라 사용자에게 적합한 서비스를 제공하는 부분에 대해서는 논의된 바가 없다.
본 발명이 이루고자 하는 기술적인 과제는 감정 인식에 기반한 서비스 장치 및 방법을 제공하는 데 있다.
본 발명이 이루고자 하는 다른 기술적 과제는 감정 인식에 기반한 서비스 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공하는 데 있다.
상기의 기술적 과제를 달성하기 위한, 본 발명에 따른 감성인식에 기반한 서비스 장치는, 음성 및 영상 장치로부터 음성 및 영상 데이터를 입력받는 데이터 입력부; 입력받은 음성 및 영상 신호로부터 사용자의 감정을 인식하는 감정 인식부; 인식된 사용자의 감정에 기초하여 사용자에게 제공할 서비스를 결정하는 서비스 결정부; 및 결정된 서비스에 기초하여 사용자에게 서비스를 제공하도록 하는 출력부;를 구비한다.
본 발명에 따른 감정인식에 기반한 서비스 장치 및 방법에 의하면, 음성 및 영상 혹은 복합적인 데이터를 통하여 사용자의 감정을 인식하고, 이에 따라 서비스 로봇과 서비스 장치에 의하여 사용자의 감정에 대응하는 서비스를 제공한다. 따라서 엔터테인먼트 로봇 등의 로봇산업 전반에 걸쳐 활성화되는 효과가 있으며, 또한 실버 산업, 홈 네트워크 산업, 엔터테인먼트 산업에까지 활용할 수 있는 효과가 있 다.
이하에서 첨부된 도면들을 참조하여 본 발명에 따른 사용자의 감정인식에 기반한 서비스 장치 및 방법의 바람직한 실시예에 대해 상세히 설명한다.
도 1은 본 발명에 따른 감정인식에 기반한 서비스 장치에 대한 바람직한 실시예의 구성을 도시한 블록도이다.
도 1을 참조하면, 본 발명에 따른 감정인식에 기반한 서비스 장치는 데이터 입력부(110), 감정 인식부(120), 서비스 결정부(130) 및 출력부(140)를 구비한다.
데이터 입력부(110)는 음성 및 영상 장치로부터 음성 및 영상 데이터를 입력받는다. 데이터 입력부(110)는 마이크 또는 카메라와 같은 음성 및 영상 입력 장치로 구성된다.
감정 인식부(120)는 입력받은 음성 및 영상 데이터로부터 사용자의 감정을 인식한다. 이를 위해 감정 인식부(120)는 음성 인식부(122), 표정 인식부(124) 및 감정 결정부(126)를 구비한다.
음성 인식부(122)는 음성 신호로부터 피치의 통계치, 크기예측법에 의해 구해진 소리의 크기, 섹션 개수, 교차율(crossing rate), 증가율(increasing rate) 등의 특징들을 추출한다. 음성 인식부(122)는 이러한 추출된 특징들을 인공 신경망 중 Backpropagation(BP)으로 학습하는 다중 계층 인식(Multi Layer Perception: MLP)을 사용하여 감정별 패턴을 분류한다. 표 1은 신경망 파라미터 설정을 나타낸 표이다.
| 파라미터 | 값 |
| 입력 유닛 | 5 |
| 히든 유닛 | 12 |
| 출력 유닛 | 2 |
| 학습율 | 0.003 |
| 강도 | 0.25 |
| 시그모이드 함수 | 1/(1+e-4x ) |
음성 인식부(122)는 각 노드에 대해서 입력 함수와 활성화 함수 중 시그모이드 함수를 이용하여 출력을 산출한 후 출력 값이 목표 값과 일치하지 않을 경우 차이를 계산하여 오차를 구하고, 이를 역방향으로 연결강도를 갱신한다. 이와 같은 과정을 출력 값이 목표 값보다 작아질 때까지 반복하여 학습이 이루어진다.
표정 인식부(124)는 입력된 얼굴 영상에 대해 피부톤 축적 알고리즘 등과 같은 영상처리를 수행하여 특징을 추출한다. 이 과정에서 배경 영상으로부터 움직이는 사용자의 얼굴 영역을 검출해야 하는데, 표정 인식부(124)는 촬영시점의 배경을 측정해 입력되는 영상과의 영상차이에 따라 검출된 배경 영상을 획득한 후 촬영 시점의 배경 영상에서 검출된 배경 영상을 빼줌으로써 새롭게 입력된 사용자의 영상만을 획득한다. 이때 입력되는 영상은 영상의 획득 시점의 외부 빛에 의해 입력 영상이 달라질 수 있다는 점에 주의하여야 한다. 이 문제는 영상을 촬영시 수 초 이내로 재촬영을 하여 연속적인 영상을 입력받아 배경 영상과 새로 획득한 영상의 촬영 시점을 거의 동일하게 함으로써 해결할 수 있다.
표정 인식부(124)는 피부톤 축적 알고리즘 등을 사용하여 얼굴 영역을 검출되면 얻어진 얼굴 영역에 대하여 피부톤 축적 알고리즘을 적용시켜 입과 눈, 눈썹에 대한 영역만 검출하여 이를 그레이(gray) 형태로 변환한 후 특징 벡터를 형성한다. 피부톤 축적 알고리즘은 입력 영상을 RGB 색상 모델에 기반하여 피부톤에 해당하는 영역만을 검출하여 2차원 좌표 평면상의 X축 n행에 해당하는 y열의 피부색 픽셀을 축적하고, Y축 n열에 해당하는 x행의 피부색 픽셀을 축적하는 방식으로 축적된 영역 중 가장 큰 영역을 얼굴영역으로 보는 방법이다. 즉 피부톤 축적 알고리즘은 피부색 픽셀을 축 피부색 영역만을 검출한 후 2차원 평면상에 피부색 픽셀만을 축적하는 방법을 말한다.
이와 같은 방법으로 추출된 얼굴 영상의 특징 벡터는 다차원 특징 벡터로 이루어진 데이터이다. 이를 인식하기 위해서는 높은 차원에서의 정보를 유지하면서 낮은 차원으로 축소시키는 다변량 데이터 처리 방법이 필요한데 이 중 가장 대표적인 방법이 기본요소분석(Principal Component Analysis :PCA)이다. PCA 알고리즘은 다음과 같다. 2차원의 얼굴 영상의 크기가 N×N이고 인식 후보 얼굴 영상의 개수가 M개일 때, 각 후보 얼굴 영상을 M개의 Γ=N×1 행벡터로 인식 후보 얼굴 벡터 집합(S)을 구성한다.
그리고 빛과 배경에 의하여 발생되는 에러를 줄이기 위하여 미리 설정된 평균과 분산을 기준으로 이미지를 정규화시킨 후 인식 후보 얼굴 벡터 집합 S로부터 평균 얼굴 영상 벡터를 계산한다.
그 후 각 인식 후보 얼굴 벡터와 평균 얼굴 벡터의 차를 구하고, N2×1 벡터 φi로부터 공분산 행렬을 계산하다. 여기서 공분산 행렬은 N2×N2의 고차 행렬이 된다. 공분산 행렬로부터 고유값과 이에 대응하는 고유벡터를 계산한다. 여기서 고유값은 평균 얼굴 영상에 대한 분산 정도를 나타내며 고유벡터를 N×N로 재배열한 것을 고유 얼굴이라고 한다. 표정 인식부(124)는 이와 같은 처리 과정을 마치고 검증 영상 중 하나의 얼굴 영상이 입력되면 고유 얼굴에 대한 사영을 취하여 성분값을 구한다. 이 값이 구해지면 후보 얼굴 영상들의 고유 얼굴에서의 가중치와 유클리안 거리를 통해 비교하여 그 거리가 최소가 되는 표정이 입력과 가장 유사한 표정이므로 이 후보를 인식 결과로 결정하게 된다.
감정 결정부(126)는 음성 인식부(122) 및/또는 표정 인식부(124) 에 의해 얻어진 인식 결과를 기초로 최종적인 사용자의 감정을 결정한다. 감정 결정에는 결정융합 방법이나 특징융합 방법 등이 활용된다. 결정융합 방법은 먼저 각각의 감정 인식기를 통해 인식된 결과값을 융합하는 방법으로 서로 다른 생체, 행동 신호에 대하여 융합하기가 쉽다는 장점이 있다. 특징융합 방법은 각각의 생체, 행동 신호에서 추출된 특징 벡터를 합성하여 새로운 특징 벡터로 형성하는 방법이다.
본 발명에서는 결정융합 방법과 퍼지 소속 함수를 이용하여 융합하는 방법을 이용한다. 이를 위해 감정 결정부(126)는 먼저 각각 음성과 얼굴 영상을 통해 인식된 감정 상태에 대해 가중치를 할당하게 된다. 가중치를 구하기 위해서 얼굴 영상과 음성의 학습 데이터들을 통해 감정을 인식한 후, 인식된 감정 내에 속해 감정별 값들의 평균을 구한다. 사용자의 얼굴 영상 및 음성에 대해 특징 벡터를 추출하여 감정을 인식하고 인식된 감정을 통해 학습 데이터를 통해 얻어진 감정 인식 값들을 선택한다. 선택된 감정 값들의 소속 정도는 가장 일반적인 S자형 소속 함수를 통해 구해지며 구해진 소속 값들을 가중치로 이용한다. 이때 감정 결정부(126)는 입력받은 데이터에 음성만 있을 경우에는 음성에 의한 감정인식을, 영상만 있을 경우에는 영상에 의한 감정 인식을, 음성 및 영상이 있을 경우에는 멀티모달(multimodal)에 의한 감정을 인식하여 최종적으로 사용자의 감정을 결정한다.
최종적인 감정 상태를 나타내는 방법으로는 크게 두가지가 있는데, 첫째로 동일한 감정에 대한 결과값 중 최대값을 선택하는 방법과, 둘째로 동일한 감정에 나타난 결과값들을 더해서 나타내는 방법이 있다. 본 발명에서는 전자의 경우를 이용한 방법에 기초한다. 이와 같은 방법에 의하여 감정 결정부(126)는 최종적으로 감정을 결정한다.
한편 감정 인식부(120)가 사용자의 감정을 인식하고자 하는 경우에, 주위의 음성 잡음이나 주변에 다른 사람들이 있는 경우 동일인의 음성 및 영상 데이터가 입력되지 않는 경우가 있다. 이러한 경우 음성 및 영상 데이터를 모두 이용하여 사용자의 감정을 인식한다면 감정 인식에 있어서 오류가 발생할 수 있다. 따라서 감정 인식부(120)는 입력받은 음성 및 영상 데이터로부터 분석한 결과 음성 및 얼굴 영상이 동일인에 대응되는 것이 아니라고 판단되면, 미리 설정된 조건에 따라 음성 또는 영상을 우선 순위로 하여 사용자의 감정을 인식한다.
서비스 결정부(130)는 인식된 사용자의 감정에 기초하여 사용자에게 제공할 서비스를 결정한다. 먼저 서비스 결정부(130)는 음성 및 영상 데이터에 기초하여 데이터 베이스 내에 있는 특정인에 해당하는지 확인하는 서비스 제공 상대를 먼저 확인한다. 만약 서비스 제공 상대가 데이터 베이스 내에 있는 특정인에 해당 되면 서비스 결정부(130)는 제공할 서비스 종류를 결정한다. 이때 서비스 결정부(130)는 감정 인식부(120)가 분류한 각 감정에 따라 사용자에게 제공할 서비스를 판단한다. 이와 달리 서비스 제공 상대가 데이터 베이스 내에 있는 특정인이 아니라면 서비스 결정부(130) 서비스를 제공하지 않는 것으로 결정한다.
출력부(140)는 결정된 서비스 종류에 기초하여 사용자에게 서비스를 제공한다. 예를 들어, 사용자의 감정이 슬픔일 때는 사용자에게 위로의 말이나 행동을 하고, 사용자의 감정이 기쁨일 때는 축하의 말이나 같이 기뻐해 주는 행동을 취하여 사용자에게 서비스를 제공한다. 즉 사용자의 감정 상태에 따라 출력부(140)는 사용자에게 다양한 서비스를 제공한다.
도 2는 본 발명에 따른 감정인식에 기반한 서비스 장치에 대한 일 실시예의 구성을 나타낸 모식도이다.
도 2를 참조하면, 데이터 입력부(110)가 마이크 및 카메라와 같은 음성 및 영상 입력 장치로부터 음성 및 영상 데이터를 입력받고, 감정 인식부(120)가 음성 및 영상 데이터로부터 사용자의 감정을 인식하거나, 음성 및 영상 데이터를 이용하 여 멀티모달로 사용자의 감정을 인식한다. 그 후 서비스 결정부(130)가 서비스 제공자 상대를 확인하고, 사용자의 감정에 적합한 서비스 종류를 결정하며 서비스를 제공할지 여부를 판단한다. 출력부(140)는 인식된 감정에 기초하여 결정된 서비스를 사용자에게 제공한다.
도 3은 본 발명에 따른 사용자의 감정을 인식하는 방법에 대한 바람직한 실시예의 수행 과정을 구체화하여 도시한 흐름도이다.
도 3을 참조하면, 데이터 입력부(110)는 마이크 및 카메라로부터 음성 및 영상 데이터를 입력받는다(S300). 이때 데이터 입력부(110)로 영상신호만 입력되면(S305), 표정 인식부(124)는 영상으로부터 얼굴 영역을 검출한 후(S310) 검출된 얼굴 영역에 의해 감정 인식을 수행하여 인식 결과를 출력한다(S315). 이와 달리 데이터 입력부(110)로 음향신호만 입력되면(S305), 음성 인식부(122)는 음향신호으로부터 음성 신호를 추출한 후(S320) 추출된 음성 신호로부터 감정 인식을 수행하여 인식 결과를 출력한다(S325). 만약 데이터 입력부(110)로 영상신호 및 음향신호가 모두 입력되면(S305), 음성 인식부(122)는 음향으로부터 음성 신호를 추출하고, 표정 인식부(124)는 영상으로부터 얼굴 영역을 검출한다(S330). 이때 검출된 음성 신호와 얼굴 영역이 동일인의 것이라면(S335), 음성 인식부(122)는 추출된 음성 신호로부터 감정 인식을 수행하여 인식 결과를 출력하고, 표정 인식부(124)는 얼굴 영역으로부터 감정 인식을 수행하여 인식 결과를 출력한다(S340). 만약 검출된 음성 신호와 얼굴 영역이 동일인의 것이 아니라면(S335), 미리 설정된 조건에 따라 음성 인식부(122)가 음성 신호로부터 감정 인식을 수행한 결과 및 표정 인식 부(124)가 얼굴 영역으로부터 감정 인식을 수행한 결과를 선택적으로 출력한다(S345).
도 4는 본 발명에 따른 서비스 제공 방법에 대한 바람직한 실시예의 수행 과정을 구체화하여 도시한 흐름도이다.
도 4를 참조하면, 서비스 결정부(130)는 감정 인식부(120)로부터 감정 인식결과를 입력받는다(S400). 서비스 결정부(130)는 서비스 제공 상대가 데이터 베이스 내에 있는 특정인에 해당하는가를 확인하고(S410), 서비스 제공 상대가 데이터 베이스 내에 있는 특정인이라고 확인되면 서비스 결정부(130)는 제공할 서비스 종류를 결정한다(S420). 이때 서비스 결정부(130)는 감정 인식부(120)가 분류한 각 감정에 따라 사용자에게 제공할 서비스를 판단한다(S420). 이와 달리 서비스 제공 상대가 데이터 베이스 내에 있는 특정인이 아니라면 서비스 결정부(130) 서비스를 제공하지 않는 것으로 결정한다(S420). 그 후 출력부(140)는 결정된 서비스 종류에 기초하여 사용자에게 서비스를 제공한다(S430). 예를 들어, 출력부(140)는 사용자의 감정이 슬픔일 때는 사용자에게 위로의 말이나 행동을 하고, 사용자의 감정이 기쁨일 때는 축하의 말이나 같이 기뻐해 주는 행동을 취하는 등의 서비스를 사용자에게 제공한다.
본 발명은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상에서 본 발명의 바람직한 실시예에 대해 도시하고 설명하였으나, 본 발명은 상술한 특정의 바람직한 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 누구든지 다양한 변형 실시가 가능한 것은 물론이고, 그와 같은 변경은 청구범위 기재의 범위 내에 있게 된다.
도 1은 본 발명에 따른 감정인식에 기반한 서비스 장치에 대한 바람직한 실시예의 구성을 도시한 블록도,
도 2는 본 발명에 따른 감정인식에 기반한 서비스 장치에 대한 일 실시예의 구성을 나타낸 모식도,
도 3은 본 발명에 따른 사용자의 감정을 인식하는 방법에 대한 바람직한 실시예의 수행 과정을 구체화하여 도시한 흐름도, 그리고,
도 4는 본 발명에 따른 서비스 제공 방법에 대한 바람직한 실시예의 수행 과정을 구체화하여 도시한 흐름도이다.
Claims (2)
- 음성 및 영상 장치로부터 음성 및 영상 데이터를 입력받는 데이터 입력부;상기 입력받은 음성 및 영상 데이터로부터 사용자의 감정을 인식하는 감정 인식부;상기 인식된 사용자의 감정에 기초하여 상기 사용자에게 제공할 서비스를 결정하는 서비스 결정부; 및상기 결정된 서비스에 기초하여 상기 사용자에게 서비스를 제공하는 출력부;를 포함하는 것을 특징으로 하는 감정인식에 기반한 서비스 장치.
- 제 1항에 있어서,상기 감정 인식부는 상기 입력받은 음성 및 영상 데이터로부터 분석한 결과 음성 신호 및 얼굴이 동일인에 대응되지 않으면, 미리 설정된 조건에 따라 음성 또는 영상 중 어느 하나에 대해 감정 인식을 수행하는 것을 특징으로 하는 감정인식에 기반한 서비스 장치.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080062036A KR20100001928A (ko) | 2008-06-27 | 2008-06-27 | 감정인식에 기반한 서비스 장치 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020080062036A KR20100001928A (ko) | 2008-06-27 | 2008-06-27 | 감정인식에 기반한 서비스 장치 및 방법 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20100001928A true KR20100001928A (ko) | 2010-01-06 |
Family
ID=41812178
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020080062036A KR20100001928A (ko) | 2008-06-27 | 2008-06-27 | 감정인식에 기반한 서비스 장치 및 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20100001928A (ko) |
Cited By (20)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110100059A (ko) * | 2010-03-03 | 2011-09-09 | 엘지전자 주식회사 | 감정 정보 생성 방법, 감정 정보 생성 장치 및 이를 포함하는 영상표시장치 |
| WO2012089906A1 (en) * | 2010-12-30 | 2012-07-05 | Nokia Corporation | Method, apparatus and computer program product for emotion detection |
| US8380520B2 (en) | 2009-07-30 | 2013-02-19 | Industrial Technology Research Institute | Food processor with recognition ability of emotion-related information and emotional signals |
| US8407058B2 (en) | 2008-10-28 | 2013-03-26 | Industrial Technology Research Institute | Food processor with phonetic recognition ability |
| CN102132945B (zh) * | 2010-01-21 | 2014-04-02 | 财团法人工业技术研究院 | 结合语意辨识功能的食品制造装置 |
| KR20170094836A (ko) * | 2016-02-12 | 2017-08-22 | 한국전자통신연구원 | 운전자의 감정상태 인식 장치 및 방법 |
| KR20170107875A (ko) * | 2016-03-16 | 2017-09-26 | 후지제롯쿠스 가부시끼가이샤 | 로봇 제어 시스템 |
| KR20180068931A (ko) * | 2018-06-12 | 2018-06-22 | 삼성전자주식회사 | 감정 세그먼트 기반의 감정 인식 장치 및 방법 |
| EP3403235A4 (en) * | 2016-02-25 | 2019-01-23 | Samsung Electronics Co., Ltd. | ASSISTED ASSESSED ASSESSMENT OF HEALTH AND REHABILITATION |
| CN109683848A (zh) * | 2012-09-20 | 2019-04-26 | 三星电子株式会社 | 用户装置的情景感知服务提供方法和设备 |
| US10289076B2 (en) | 2016-11-15 | 2019-05-14 | Roborus Co., Ltd. | Concierge robot system, concierge service method, and concierge robot |
| WO2019103484A1 (ko) * | 2017-11-24 | 2019-05-31 | 주식회사 제네시스랩 | 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체 |
| KR20190061585A (ko) | 2017-11-28 | 2019-06-05 | 주식회사 위드마인드 | 음성 데이터 기반의 감정인식 시스템 및 그 동작 방법 |
| WO2019132459A1 (ko) * | 2017-12-28 | 2019-07-04 | 주식회사 써로마인드로보틱스 | 사용자 정서적 행동 인식을 위한 멀티 모달 정보 결합 방법 및 그 장치 |
| KR20190100348A (ko) * | 2016-12-31 | 2019-08-28 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 로봇, 서버 및 인간-기계 상호 작용 방법 |
| CN110399837A (zh) * | 2019-07-25 | 2019-11-01 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
| KR20200025532A (ko) | 2018-08-30 | 2020-03-10 | 주민성 | 음성 데이터 기반의 감정 인식 시스템 및 그 응용 방법 |
| CN113269406A (zh) * | 2021-05-06 | 2021-08-17 | 京东数字科技控股股份有限公司 | 线上服务的评价方法、装置、计算机设备及存储介质 |
| WO2022131413A1 (ko) * | 2020-12-18 | 2022-06-23 | 주식회사 다성기술 | 다관절 암을 이용하는 돌봄용 서비스 로봇 |
| US11907615B2 (en) | 2012-09-20 | 2024-02-20 | Samsung Electronics Co., Ltd. | Context aware service provision method and apparatus of user device |
-
2008
- 2008-06-27 KR KR1020080062036A patent/KR20100001928A/ko not_active Application Discontinuation
Cited By (26)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8407058B2 (en) | 2008-10-28 | 2013-03-26 | Industrial Technology Research Institute | Food processor with phonetic recognition ability |
| US8380520B2 (en) | 2009-07-30 | 2013-02-19 | Industrial Technology Research Institute | Food processor with recognition ability of emotion-related information and emotional signals |
| CN102132945B (zh) * | 2010-01-21 | 2014-04-02 | 财团法人工业技术研究院 | 结合语意辨识功能的食品制造装置 |
| KR20110100059A (ko) * | 2010-03-03 | 2011-09-09 | 엘지전자 주식회사 | 감정 정보 생성 방법, 감정 정보 생성 장치 및 이를 포함하는 영상표시장치 |
| WO2012089906A1 (en) * | 2010-12-30 | 2012-07-05 | Nokia Corporation | Method, apparatus and computer program product for emotion detection |
| CN109683848A (zh) * | 2012-09-20 | 2019-04-26 | 三星电子株式会社 | 用户装置的情景感知服务提供方法和设备 |
| US11907615B2 (en) | 2012-09-20 | 2024-02-20 | Samsung Electronics Co., Ltd. | Context aware service provision method and apparatus of user device |
| KR20170094836A (ko) * | 2016-02-12 | 2017-08-22 | 한국전자통신연구원 | 운전자의 감정상태 인식 장치 및 방법 |
| EP3403235A4 (en) * | 2016-02-25 | 2019-01-23 | Samsung Electronics Co., Ltd. | ASSISTED ASSESSED ASSESSMENT OF HEALTH AND REHABILITATION |
| US11164596B2 (en) | 2016-02-25 | 2021-11-02 | Samsung Electronics Co., Ltd. | Sensor assisted evaluation of health and rehabilitation |
| KR20170107875A (ko) * | 2016-03-16 | 2017-09-26 | 후지제롯쿠스 가부시끼가이샤 | 로봇 제어 시스템 |
| US10513038B2 (en) | 2016-03-16 | 2019-12-24 | Fuji Xerox Co., Ltd. | Robot control system |
| US10289076B2 (en) | 2016-11-15 | 2019-05-14 | Roborus Co., Ltd. | Concierge robot system, concierge service method, and concierge robot |
| US11858118B2 (en) | 2016-12-31 | 2024-01-02 | Huawei Technologies Co., Ltd. | Robot, server, and human-machine interaction method |
| KR20190100348A (ko) * | 2016-12-31 | 2019-08-28 | 후아웨이 테크놀러지 컴퍼니 리미티드 | 로봇, 서버 및 인간-기계 상호 작용 방법 |
| US10740598B2 (en) | 2017-11-24 | 2020-08-11 | Genesis Lab, Inc. | Multi-modal emotion recognition device, method, and storage medium using artificial intelligence |
| US11475710B2 (en) | 2017-11-24 | 2022-10-18 | Genesis Lab, Inc. | Multi-modal emotion recognition device, method, and storage medium using artificial intelligence |
| WO2019103484A1 (ko) * | 2017-11-24 | 2019-05-31 | 주식회사 제네시스랩 | 인공지능을 이용한 멀티모달 감성인식 장치, 방법 및 저장매체 |
| KR20190061585A (ko) | 2017-11-28 | 2019-06-05 | 주식회사 위드마인드 | 음성 데이터 기반의 감정인식 시스템 및 그 동작 방법 |
| WO2019132459A1 (ko) * | 2017-12-28 | 2019-07-04 | 주식회사 써로마인드로보틱스 | 사용자 정서적 행동 인식을 위한 멀티 모달 정보 결합 방법 및 그 장치 |
| KR20180068931A (ko) * | 2018-06-12 | 2018-06-22 | 삼성전자주식회사 | 감정 세그먼트 기반의 감정 인식 장치 및 방법 |
| KR20200025532A (ko) | 2018-08-30 | 2020-03-10 | 주민성 | 음성 데이터 기반의 감정 인식 시스템 및 그 응용 방법 |
| CN110399837A (zh) * | 2019-07-25 | 2019-11-01 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
| CN110399837B (zh) * | 2019-07-25 | 2024-01-05 | 深圳智慧林网络科技有限公司 | 用户情绪识别方法、装置以及计算机可读存储介质 |
| WO2022131413A1 (ko) * | 2020-12-18 | 2022-06-23 | 주식회사 다성기술 | 다관절 암을 이용하는 돌봄용 서비스 로봇 |
| CN113269406A (zh) * | 2021-05-06 | 2021-08-17 | 京东数字科技控股股份有限公司 | 线上服务的评价方法、装置、计算机设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR20100001928A (ko) | 감정인식에 기반한 서비스 장치 및 방법 | |
| CN111091824B (zh) | 一种语音匹配方法及相关设备 | |
| CN108805087B (zh) | 基于多模态情绪识别系统的时序语义融合关联判断子系统 | |
| CN108899050B (zh) | 基于多模态情绪识别系统的语音信号分析子系统 | |
| CN108805089B (zh) | 基于多模态的情绪识别方法 | |
| KR100958030B1 (ko) | 결정 융합 기반 감정인식 방법 및 시스템 | |
| US11587563B2 (en) | Determining input for speech processing engine | |
| US11825278B2 (en) | Device and method for auto audio and video focusing | |
| CN106157956A (zh) | 语音识别的方法及装置 | |
| CN112016367A (zh) | 一种情绪识别系统、方法及电子设备 | |
| TWI767775B (zh) | 影像式情緒辨識系統和方法 | |
| JP2010224715A (ja) | 画像表示システム、デジタルフォトフレーム、情報処理システム、プログラム及び情報記憶媒体 | |
| Rwelli et al. | Gesture based Arabic sign language recognition for impaired people based on convolution neural network | |
| CN112101096A (zh) | 一种基于语音和微表情的多模态融合的自杀情绪感知方法 | |
| US12105876B2 (en) | System and method for using gestures and expressions for controlling speech applications | |
| CN118098587A (zh) | 一种基于数字医生的ai自杀风险分析方法及系统 | |
| US10917721B1 (en) | Device and method of performing automatic audio focusing on multiple objects | |
| KR20190059381A (ko) | 자동 음성/제스처 인식 기반 멀티미디어 편집 방법 | |
| JP2005199373A (ja) | コミュニケーション装置及びコミュニケーション方法 | |
| Ktistakis et al. | A multimodal human-machine interaction scheme for an intelligent robotic nurse | |
| CN115691559A (zh) | 基于加权特征融合的语音表情多模态情感识别方法 | |
| JP7453169B2 (ja) | 感情種別グループの識別を介して感情推定を行うモデル、装置及び方法 | |
| Ding et al. | Classification of Restlessness Level by Deep Learning of Visual Geometry Group Convolution Neural Network with Acoustic Speech and Visual Face Sensor Data for Smart Care Applications. | |
| Teixeira et al. | Silent speech interaction for ambient assisted living scenarios | |
| WO2023017745A1 (ja) | コミュニケーションロボット、コミュニケーションロボット制御方法、およびプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| WITN | Withdrawal due to no request for examination |