KR20180054407A - Apparatus for recognizing user emotion and method thereof, and robot system using the same - Google Patents

Apparatus for recognizing user emotion and method thereof, and robot system using the same Download PDF

Info

Publication number
KR20180054407A
KR20180054407A KR1020170074422A KR20170074422A KR20180054407A KR 20180054407 A KR20180054407 A KR 20180054407A KR 1020170074422 A KR1020170074422 A KR 1020170074422A KR 20170074422 A KR20170074422 A KR 20170074422A KR 20180054407 A KR20180054407 A KR 20180054407A
Authority
KR
South Korea
Prior art keywords
user
emotion
image
unit
learning
Prior art date
Application number
KR1020170074422A
Other languages
Korean (ko)
Other versions
KR101887637B1 (en
Inventor
김대훈
김홍기
서재용
김철민
이상기
이태현
Original Assignee
주식회사 로보러스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 로보러스 filed Critical 주식회사 로보러스
Publication of KR20180054407A publication Critical patent/KR20180054407A/en
Application granted granted Critical
Publication of KR101887637B1 publication Critical patent/KR101887637B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J11/00—Manipulators not otherwise provided for
    • B25J11/0005—Manipulators having means for high-level communication with users, e.g. speech generator, face recognition means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J19/00—Accessories fitted to manipulators, e.g. for monitoring, for viewing; Safety devices combined with or specially adapted for use in connection with manipulators
    • B25J19/02—Sensing devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1656—Programme controls characterised by programming, planning systems for manipulators
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B25—HAND TOOLS; PORTABLE POWER-DRIVEN TOOLS; MANIPULATORS
    • B25J—MANIPULATORS; CHAMBERS PROVIDED WITH MANIPULATION DEVICES
    • B25J9/00—Programme-controlled manipulators
    • B25J9/16—Programme controls
    • B25J9/1679—Programme controls characterised by the tasks executed

Abstract

Disclosed are an apparatus for recognizing user emotion to allow natural conversation based on a state of user, a method thereof, and a robot system using the apparatus. An image photographing unit of the apparatus photographs an external image, and a face recognizing unit recognizes a face image from the image photographed by the image photographing unit. An emotion recognizing unit learns an emotion corresponding to the face image by using a neural network model, and recognizes the emotion corresponding to the face image recognized by the face recognizing unit by using the learning results, herein, the emotion recognizing unit transmits the face image inputted from the face recognizing unit to an external cloud server serving as a server capable of learning by using the neural network model so as to perform the emotion learning corresponding to the face image, transmits the face image inputted from the face recognizing unit to the cloud server to request to recognize the emotion corresponding to the face image, and then receives the emotion recognition result transmitted from the cloud server and outputs the result to the outside.

Description

사용자 감정 인식 장치 및 그 방법과, 이 장치를 사용하는 로봇 시스템 {APPARATUS FOR RECOGNIZING USER EMOTION AND METHOD THEREOF, AND ROBOT SYSTEM USING THE SAME}TECHNICAL FIELD [0001] The present invention relates to a user emotion recognition apparatus and a method thereof, and a robot system using the same. BACKGROUND OF THE INVENTION [0002]

본 발명은 사용자 감정 인식 장치 및 그 방법과, 이 장치를 사용하는 로봇 시스템에 관한 것이다.The present invention relates to a user emotion recognition apparatus and method, and a robot system using the apparatus.

컨시어지(concierge)란 본래 중세 시대에 성을 관리하는 '집사'를 가리키는 말이었으나, 지금은 호텔이나 백화점 등의 업계에서 VIP 고객과 일대일로 대면하며 고객의 편의를 살피는 개념으로 사용되고 있다. The concierge was originally a term referring to the deacon who manages the castle in the Middle Ages, but now it is being used as a concept to face the customers in a one-on-one meeting with VIP customers in hotels and department stores.

한편, 최근에는 정보 통신 기술 및 로봇 기술의 발전으로, 사람 대신에 로봇을 사용한 컨시어지 서비스는 물론 다양한 형태의 대면 서비스가 가능해졌다. 특히, 최근 유통업계에선 로봇을 이용한 서비스시 인공 지능(Artifictial Intelligence, AI) 기술을 접목한 사례가 늘고 있다. In recent years, with the development of information communication technology and robotic technology, various types of face-to-face services as well as concierge services using robots have become available instead of people. Especially, in the distribution industry, artificial intelligence (AI) technology is increasingly applied to services using robots.

그러나, 로봇 기술에 인공 지능을 접목한 서비스의 경우 기술적인의 한계로 인해 현재 제공할 수 있는 서비스가 상품 선택 정도 등으로 다양한 서비스를 제공하기에는 부족한 현실이다.However, in the case of a service that combines artificial intelligence with robotic technology, it is a reality that services that can be provided at present due to technical limitations are insufficient to provide various services in terms of degree of product selection.

따라서, 로봇을 이용한 컨시어지 서비스 등의 대면 서비스시 보다 다양한 기능을 제공할 수 있는 기술이 요구되고 있으며, 특히 사용자의 얼굴을 인식하여 기등록된 사용자 또는 신규 사용자 여부를 판단하고, 또한 사용자의 얼굴을 통해 사용자의 감정을 인식하는 서비스를 제공할 수 있는 기술이 요구된다. Accordingly, there is a demand for a technology capable of providing various functions in a face-to-face service such as a concierge service using a robot. In particular, it is necessary to recognize a face of a user to determine whether the user is a previously registered user or a new user, There is a need for a technique capable of providing a service for recognizing user's emotions through the Internet.

본 발명이 이루고자 하는 기술적 과제는 사용자의 상태에 기초하여 자연스러운 대화가 가능한 사용자 감정 인식 장치 및 그 방법과, 이 장치를 사용하는 로봇 시스템을 제공한다.SUMMARY OF THE INVENTION The present invention provides a user emotion recognition apparatus and method, and a robot system using the apparatus, which enable natural conversation based on a user's state.

본 발명의 한 특징에 따른 사용자 감정 인식 장치는,A user emotion recognition apparatus according to an aspect of the present invention includes:

외부 영상을 촬영하는 영상 촬영부; 상기 영상 촬영부에 의해 촬영된 영상으로부터 얼굴 영상을 인식하는 얼굴 인식부; 및 신경망 모델을 사용하여 얼굴 영상에 대응되는 감정을 학습하고, 학습 결과를 사용하여 상기 얼굴 인식부에서 인식되는 얼굴 영상에 대응되는 감정을 인식하는 감정 인식부를 포함한다.An image capturing unit for capturing an external image; A face recognizing unit for recognizing a face image from the image photographed by the image photographing unit; And an emotion recognition unit that learns the emotion corresponding to the face image using the neural network model and recognizes the emotion corresponding to the face image recognized by the face recognition unit using the learning result.

여기서, 상기 감정 인식부는 상기 얼굴 인식부로부터 입력되는 얼굴 영상을 외부의 클라우드 서버 ― 여기서 클라우드 서버는 신경망 모델을 사용한 학습이 가능한 서버임 ―로 전달하여 얼굴 영상에 대응되는 감정 학습을 수행시킨 후, 상기 얼굴 인식부로부터 입력되는 얼굴 영상을 상기 클라우드 서버로 전달하여 상기 얼굴 영상에 대응되는 감정 인식을 요청한 후 상기 클라우드 서버로부터 전달되는 감정 인식 결과를 수신하여 외부로 출력한다.Here, the emotion recognition unit conveys the facial image input from the facial recognition unit to an external cloud server, where the cloud server is a server capable of learning using a neural network model, performs emotion learning corresponding to the facial image, Transmits the facial image input from the facial recognition unit to the cloud server, requests emotion recognition corresponding to the facial image, receives the emotion recognition result transmitted from the cloud server, and outputs the emotion recognition result to the outside.

또한, 상기 신경망 모델은 합성곱 신경망(Convolutional Neural Network, CNN) 모델 모델이다. Also, the neural network model is a Convolutional Neural Network (CNN) model model.

또한, 신경망 모델을 사용하여 얼굴 영상에 대응되는 사용자를 학습하고, 학습 결과를 사용하여 상기 얼굴 인식부에서 인식되는 얼굴 영상에 대응되는 사용자를 인식하는 사용자 인식부를 더 포함한다.The apparatus further includes a user recognition unit that learns a user corresponding to the face image using the neural network model and recognizes the user corresponding to the face image recognized by the face recognition unit using the learning result.

또한, 상기 감정 인식부에서의 학습 결과 정보를 저장하는 저장부를 더 포함하고, 상기 감정 인식부는 상기 저장부에 저장된 학습 결과 정보에 기초하여, 상기 얼굴 인식부로부터 입력되는 얼굴 영상에 대응되는 감정을 인식한다.The emotion recognition unit may further include a storage unit for storing learning result information in the emotion recognition unit, and the emotion recognition unit may store emotion corresponding to the face image input from the face recognition unit, based on the learning result information stored in the storage unit .

또한, 상기 감정 인식부는 상기 클라우드 서버가 제공하는 API(Application Programming Interface)를 사용하여 상기 클라우드 서버에 접속하여 상기 얼굴 인식부로부터 입력되는 얼굴 영상에 대응되는 감정 인식의 학습을 요청하고, 학습 결과에 기초하여 얼굴 영상에 대응되는 감정 인식을 요청한다.The emotion recognition unit accesses the cloud server using an application programming interface (API) provided by the cloud server, requests learning of emotion recognition corresponding to a face image input from the face recognition unit, And requests emotion recognition corresponding to the face image based on the recognition result.

또한, 상기 사용자 인식부는, 동일인 및 동일인의 다른 이미지와 전혀 다른 대조군의 이미지를 통한 상기 신경망 모델의 학습을 통한 128개의 각각의 개인을 구분하는 특징점을 추출해서 숫자로 표현되는 암호화를 수행하여 학습 정보로서 저장하며, 기등록된 사용자에 대한 학습 정보에 기초하여, 상기 얼굴 인식부에 의해 인식되는 얼굴 영상을 입력으로 하여 상기 신경망 모델을 사용하여 상기 기등록된 사용자를 인식한다.In addition, the user recognition unit extracts feature points that distinguish 128 individuals from each other through learning of the neural network model through images of the same and different persons and a completely different control group, And recognizes the pre-registered user by using the neural network model as a face image recognized by the face recognition unit, based on learning information about a previously registered user.

본 발명의 다른 특징에 따른 사용자 감정 인식 방법은,According to another aspect of the present invention,

사용자 감정 인식 장치가 실시간으로 사용자의 감정을 인식하는 방법으로서,A method for a user's emotion recognition device to recognize a user's emotion in real time,

복수의 얼굴 영상에 대응되는 감정을 신경망 모델을 사용하여 학습하는 단계; 실시간으로 사용자의 영상을 촬영하여 얼굴 영상을 인식하는 단계; 및 상기 학습의 정보에 기초하여, 인식되는 얼굴 영상에 대응되는 감정을 인식하는 단계를 포함한다.Learning emotions corresponding to a plurality of facial images using a neural network model; Recognizing a face image by capturing a user's image in real time; And recognizing the emotion corresponding to the recognized face image based on the learning information.

여기서, 상기 학습하는 단계는, 학습을 위한 사용자의 영상을 준비하는 단계; 준비된 영상으로부터 얼굴 영상을 인식하는 단계; 및 인식되는 얼굴 영상에 대응되는 감정을 상기 신경망 모델을 사용하여 학습하는 단계를 포함한다.Here, the learning step may include preparing an image of a user for learning; Recognizing a face image from a prepared image; And learning the emotion corresponding to the recognized face image using the neural network model.

또한, 상기 학습하는 단계는, 학습을 위한 사용자의 영상을 준비하는 단계; 준비된 영상으로부터 얼굴 영상을 인식하는 단계; 및 인식되는 얼굴 영상을 외부의 클라우드 서버 ― 여기서 클라우드 서버는 신경망 모델을 사용한 학습이 가능한 서버임 ―로 전달하여 얼굴 영상에 대응되는 감정을 학습시키는 단계를 포함한다.The learning step may include preparing an image of a user for learning; Recognizing a face image from a prepared image; And transmitting the recognized facial image to an external cloud server, wherein the cloud server is a server capable of learning using a neural network model, and learning the emotion corresponding to the facial image.

또한, 상기 인식되는 얼굴 영상에 대응되는 감정을 인식하는 단계는, 실시간으로 인식되는 얼굴 영상을 상기 클라우드 서버로 전달하여 얼굴 영상에 대응되는 감정 인식을 요청하는 단계; 상기 클라우드 서버로부터 전달되는 감정 인식 결과 수신하여 출력하는 단계를 포함한다.The step of recognizing emotions corresponding to the recognized facial image may include transmitting facial images recognized in real time to the cloud server to request emotion recognition corresponding to the facial images; And receiving and outputting an emotion recognition result transmitted from the cloud server.

또한, 상기 신경망 모델은 합성곱 신경망(Convolutional Neural Network, CNN) 모델 모델이며, 상기 합성곱 신경망 모델은 입력되는 얼굴 영상에 대해 분노(Anger), 행복(Happiness), 놀람(Surprise), 혐오(Disgust), 슬픔(Sadness), 공포(Fear) 및 무표정(Neutral) 중 하나의 감정으로 분류한다.In addition, the neural network model is a model of a Convolutional Neural Network (CNN) model. The composite neural network model generates an anger, a happiness, a surprise, a disgust, ), Sadness, Fear, and Neutral.

본 발명의 또 다른 특징에 따른 로봇 시스템은,A robot system according to another aspect of the present invention includes:

외부의 음성 입력에 대응되는 음성 대화를 위한 음성을 출력하는 음성 대화 장치; 외부의 영상으로부터 인식되는 얼굴 영상을 신경망 모델을 사용하여 감정 인식을 위한 학습을 수행하고, 학습 결과를 사용하여 실시간으로 수집되는 얼굴 영상에 대응되는 감정을 인식하는 사용자 감정 인식 장치; 및 상기 음성 대화 장치에서 사용자의 음성이 인식되는 경우, 상기 사용자 감정 인식 장치를 통해 사용자의 감정을 인식하도록 하고, 상기 사용자 감정 인식 장치로부터 인식되는 사용자의 감정 인식 결과를 상기 음성 대화 장치로 전달하는 대화 제어부를 포함하며, 상기 음성 대화 장치는, 상기 대화 제어부를 통해 전달되는 사용자의 감정 인식 결과를 사용하여 상기 인식되는 사용자의 음성에 대응되는 음성 답변을 출력한다.A voice conversation device for outputting a voice for voice conversation corresponding to an external voice input; A user emotion recognition device that performs learning for emotion recognition using a neural network model of a face image recognized from an external image and recognizes emotion corresponding to a face image collected in real time using the learning result; And a voice recognition unit for recognizing the user's emotion through the user's emotion recognition unit when the voice of the user is recognized in the voice conversation unit and transmitting the emotion recognition result of the user recognized from the user's feeling recognition unit to the voice conversation unit Wherein the voice communication apparatus outputs a voice response corresponding to the voice of the user to be recognized using the emotion recognition result of the user transmitted through the dialog control unit.

여기서, 상기 음성 대화 장치는, 외부로부터 음성을 입력받는 음성 입력부; 상기 음성 입력부에 의해 입력되는 음성을 인식하는 음성 인식부; 상기 음성 인식부의 인식 결과에 대응되는 답변을 생성하는 답변 생성부; 및 상기 답변 생성부에 의해 생성되는 답변에 대응되는 음성을 출력하는 음성 출력부를 포함하고, 상기 답변 생성부는, 상기 대화 제어부로부터 전달되는 사용자의 감정 인식 결과를 사용하여 상기 음성 인식부의 인식 결과에 대응되는 음성 답변을 생성하여 상기 음성 출력부를 통해 출력한다.Here, the voice talk apparatus may include: a voice input unit for receiving voice from the outside; A voice recognition unit for recognizing a voice input by the voice input unit; An answer generating unit for generating answers corresponding to recognition results of the speech recognition unit; And a voice output unit for outputting a voice corresponding to an answer generated by the answer generating unit, wherein the answer generating unit generates a voice corresponding to the recognition result of the voice recognizing unit using the user's emotion recognition result transmitted from the conversation control unit And outputs the voice response through the voice output unit.

또한, 상기 사용자 감정 인식 장치는, 외부 영상을 촬영하는 영상 촬영부; 상기 영상 촬영부에 의해 촬영된 영상으로부터 얼굴 영상을 인식하는 얼굴 인식부; 및 상기 신경망 모델을 사용하여 얼굴 영상에 대응되는 감정을 학습하고, 학습 결과를 사용하여 상기 얼굴 인식부에서 인식되는 얼굴 영상에 대응되는 감정을 인식하는 감정 인식부를 포함한다.The user emotion recognition apparatus may further include: an image capturing unit that captures an external image; A face recognizing unit for recognizing a face image from the image photographed by the image photographing unit; And an emotion recognition unit that learns the emotion corresponding to the face image using the neural network model and recognizes the emotion corresponding to the face image recognized by the face recognition unit using the learning result.

본 발명의 또 다른 특징에 따른 사용자 감정 인식 장치는,According to another aspect of the present invention,

영상 입력기, 메모리 및 프로세서를 포함하며, 상기 영상 입력기는 외부의 영상을 촬영하여 대응되는 영상을 입력받고, 상기 메모리는 코드의 집합을 저장하도록 구성되고, 상기 코드는, 상기 영상 입력기를 통해 외부 영상을 촬영하여 대응되는 영상을 입력받는 동작; 영상으로부터 얼굴 영상을 인식하는 동작; 얼굴 영상을 학습하여 대응되는 감정을 학습하는 동작; 및 학습된 정보에 기초하여 입력되는 얼굴 영상에 대응되는 감정을 인식하는 동작을 실행하도록 상기 프로세서를 제어하는 데 사용된다.A video input device, a memory, and a processor, wherein the video input device is configured to capture an external video and receive a corresponding video, and the memory is configured to store a set of codes, And receiving a corresponding image; Recognizing the face image from the image; An operation of learning a corresponding emotion by learning a face image; And to recognize the emotion corresponding to the face image input based on the learned information.

여기서, 상기 프로세서는, 상기 영상 입력기를 통해 입력되는 얼굴 영상에 대응되는 사용자 인식에 대해 상기 신경망 모델을 사용하여 학습하고, 학습 결과를 사용하여 상기 영상 입력기를 통해 실시간으로 입력되는 얼굴 영상에 대응되는 사용자를 인식하는 동작을 더 실행한다.Here, the processor may learn the user recognition corresponding to the face image input through the image input device using the neural network model, and may use the learning result to generate a face image corresponding to the face image input in real- And further performs an operation of recognizing the user.

또한, 상기 감정 인식 결과를 외부로 출력하는 출력기를 더 포함하고, 상기 프로세서는, 상기 감정 인식 결과를 상기 출력기를 통해 외부로 출력하는 동작을 더 실행한다.The apparatus may further include an output unit that outputs the emotion recognition result to the outside, and the processor further performs an operation of outputting the emotion recognition result to the outside through the output unit.

본 발명에 따르면, 촬영되는 사용자의 영상에 기초하여 실시간으로 사용자의 감정을 인식하여 사용자의 감정 상태에 따른 대화를 수행할 수 있다.According to the present invention, it is possible to recognize the user's emotion in real time based on the image of the user to be photographed, and conduct conversation according to the emotion state of the user.

따라서, 컨시어지 서비스를 제공하는 컨시어지 로봇 등에 탑재되어 사람들과의 자연스러운 대화 및 사용자 친화적인 대화가 가능하다.Therefore, it can be installed in concierge robots that provide concierge services, so that natural conversation with people and user-friendly conversation are possible.

또한, 촬영된 영상으로부터 인식되는 얼굴 영상에 대응되는 감정 인식을 학습하고 감정을 인식하는 기능을 외부의 클라우드 서버를 사용하여 수행함으로써, 사용자 감정 인식 장치의 구성이 간단해져서 컨시어지 로봇에의 탑재가 용이하다.Further, the function of learning emotion recognition corresponding to the face image recognized from the photographed image and recognizing the emotion is performed using an external cloud server, so that the configuration of the user emotion recognition apparatus is simplified and it is easy to mount the apparatus on the concierge robot Do.

이와 같이, 이미 검증되어 있고 매우 다양하고 많은 정보를 갖고 있는 클라우드 서버를 사용함으로써 사용자 감정 인식 장치에 대한 신뢰를 제공할 수 있다.Thus, the trust of the user's emotion recognition apparatus can be provided by using a cloud server that has been verified and has a wide variety of information.

도 1은 본 발명의 실시예에 따른 사용자 감정 인식 장치의 구성을 도시한 도면이다.
도 2는 도 1에 도시된 얼굴 인식부의 구체적인 구성을 도시한 도면이다.
도 3은 도 1에 도시된 사용자 인식부 및 감정 인식부에서 사용되는 CNN 모델의 개략적인 구성도이다.
도 4는 본 발명의 실시예에 따른 사용자 감정 인식을 위한 사용자 인식을 위한 학습 방법의 흐름도이다.
도 5는 본 발명의 실시예에 따른 사용자 감정 인식을 위한 학습 방법의 흐름도이다.
도 6은 본 발명의 실시예에 따른 사용자 감정 인식 방법의 흐름도이다.
도 7은 본 발명의 실시예에 따른 사용자 감정 인식 장치에서 CNN 모델을 사용하여 인식되는 감정 분류를 도시한 도면이다.
도 8은 본 발명의 다른 실시예에 따른 사용자 감정 인식 장치가 사용되는 구조를 개략적으로 도시한 도면이다.
도 9는 도 8에 도시된 사용자 감정 인식 장치의 구성을 도시한 도면이다.
도 10은 본 발명의 다른 실시예에 따른 사용자 인식 방법의 흐름도이다.
도 11은 본 발명의 다른 실시예에 따른 사용자 감정 인식 방법의 흐름도이다.
도 12는 본 발명의 다른 실시예에 따른 사용자 감정 인식 방법의 흐름도이다.
도 13은 본 발명의 또 다른 실시예에 따른 로봇 시스템의 개략적인 구성도이다.
도 14는 도 13에 도시된 음성 대화 장치의 개략적인 구성을 도시한 도면이다.
도 15는 본 발명의 또 다른 실시예에 따른 사용자 감정 인식 장치의 개략적인 구성 블록도이다.1 is a diagram illustrating a configuration of a user emotion recognition apparatus according to an embodiment of the present invention.
FIG. 2 is a diagram showing a specific configuration of the face recognizing unit shown in FIG. 1. FIG.
3 is a schematic block diagram of a CNN model used in the user recognition unit and the emotion recognition unit shown in FIG.
4 is a flowchart of a learning method for user recognition for user emotion recognition according to an embodiment of the present invention.
5 is a flowchart of a learning method for user emotion recognition according to an embodiment of the present invention.
6 is a flowchart of a user emotion recognition method according to an embodiment of the present invention.
FIG. 7 is a diagram illustrating emotion classification recognized using the CNN model in the user emotion recognition apparatus according to the embodiment of the present invention.
FIG. 8 is a diagram schematically illustrating a structure in which a user's emotion recognition apparatus according to another embodiment of the present invention is used.
FIG. 9 is a diagram showing a configuration of the user emotion recognition apparatus shown in FIG. 8. FIG.
10 is a flowchart of a method of recognizing a user according to another embodiment of the present invention.
11 is a flowchart of a user emotion recognition method according to another embodiment of the present invention.
12 is a flowchart of a user emotion recognition method according to another embodiment of the present invention.
13 is a schematic block diagram of a robot system according to another embodiment of the present invention.
14 is a diagram showing a schematic configuration of the voice chatting apparatus shown in Fig.
15 is a schematic block diagram of a user emotion recognition apparatus according to another embodiment of the present invention.

아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings so that those skilled in the art can easily carry out the present invention. The present invention may, however, be embodied in many different forms and should not be construed as limited to the embodiments set forth herein. In order to clearly illustrate the present invention, parts not related to the description are omitted, and similar parts are denoted by like reference characters throughout the specification.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "…부", "…기", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.Throughout the specification, when an element is referred to as " comprising ", it means that it can include other elements as well, without excluding other elements unless specifically stated otherwise. Also, the terms " part, " " module, " and " module ", etc. in the specification mean a unit for processing at least one function or operation and may be implemented by hardware or software or a combination of hardware and software have.

도 1은 본 발명의 실시예에 따른 사용자 감정 인식 장치의 구성을 도시한 도면이다.1 is a diagram illustrating a configuration of a user emotion recognition apparatus according to an embodiment of the present invention.

도 1에 도시된 바와 같이, 발명의 실시예에 따른 사용자 감정 인식 장치(100)는 영상 촬영부(110), 얼굴 인식부(120), 사용자 인식부(130), 감정 인식부(140), 표시부(150), 저장부(160) 및 제어부(170)를 포함한다.1, a user emotion recognition apparatus 100 according to an embodiment of the present invention includes an image capturing unit 110, a face recognizing unit 120, a user recognizing unit 130, an emotion recognizing unit 140, A display unit 150, a storage unit 160, and a control unit 170.

영상 촬영부(110)는 외부 영상을 촬영하여 영상에 대응되는 영상 신호를 출력한다. 영상 촬영부(110)로는 디지털 카메라인 CCD(Charge Coupled Device) 카메라가 사용될 수 있다. The image capturing unit 110 captures an external image and outputs an image signal corresponding to the image. A CCD (Charge Coupled Device) camera, which is a digital camera, can be used as the image capturing unit 110.

얼굴 인식부(120)는 영상 촬영부(110)에서 출력되는 영상 신호에 대응되는 영상을 사용하여 영상 속 인물의 얼굴을 인식한다.The face recognizing unit 120 recognizes the face of the person in the image using the image corresponding to the image signal outputted from the image photographing unit 110.

사용자 인식부(130)는 딥 러닝 기술의 신경망 모델, 특히 합성곱 신경망(Convolutional Neural Network, CNN) 모델을 이용하여 얼굴 인식부(120)에서 출력되는 영상을 학습하여 기등록된 사용자에 대한 학습 정보를 생성할 수 있다.The user recognition unit 130 learns the image output from the face recognition unit 120 using a neural network model of deep learning technology, in particular, a Convolutional Neural Network (CNN) model, Lt; / RTI >

그 후, 사용자 인식부(130)는 기등록된 사용자에 대한 학습 정보에 기초하여, 이후 얼굴 인식부(120)에 의해 인식되는 얼굴 영상을 입력으로 하여 CNN 모델을 사용하여 기등록된 사용자 여부를 인식할 수 있다. 사용자 인식부(130)에 의해 기등록된 사용자가 아닌 것으로 인식되는 경우에는 해당 사용자에게 사용자로서의 등록 절차가 진행될 수 있다.Thereafter, based on the learning information about the previously registered user, the user recognition unit 130 inputs the face image recognized by the face recognition unit 120 and determines whether or not the user is a previously registered user using the CNN model Can be recognized. When it is recognized by the user recognition unit 130 that the user is not a previously registered user, the registration process as a user may proceed to the user.

사용자 인식부(130)는 동일인 및 동일인의 다른 이미지와 전혀 다른 대조군의 이미지를 통한 딥(deep) CNN 학습을 통한 128개의 각각의 개인을 구분하는 특징점을 추출해서 숫자로 표현되는 암호화를 수행하여 학습 정보로서 저장한다.The user recognition unit 130 extracts 128 feature points distinguishing each individual through deep CNN learning through images of the same person and the same person and a completely different control group, And stores it as information.

또한, 사용자 인식부(130)는 SVM(Support Vector Machine) 알고리즘을 통해 기등록된 사용자인지의 여부를 인식할 수 있다. 여기서, SVM은 데이터들을 분류하기 위한 최적의 분리 경계면을 제공하는 지도 학습 방법으로 최적의 분리 경계면은 각 클래스의 데이터 사이의 중간에 위치하도록 학습된다.Also, the user recognition unit 130 can recognize whether the user is a pre-registered user through a SVM (Support Vector Machine) algorithm. Here, the SVM is a map learning method that provides an optimal separation boundary for classifying data, and the optimal separation boundary is learned to be located in the middle between data of each class.

감정 인식부(140)는 전술한 CNN 모델을 이용하여 복수의 얼굴 영상을 학습하여 얼굴 영상이 나타내고 있는 사용자의 감정에 대한 학습을 수행한다.The emotion recognition unit 140 learns a plurality of face images using the above-described CNN model and learns the emotions of the user represented by the face images.

그 후, 감정 인식부(140)는 얼굴 인식부(120)에 의해 인식되는 얼굴 영상을 입력으로 하여 CNN 모델을 사용하여 해당 얼굴에 대응되는 사용자 감정을 인식할 수 있다.Thereafter, the emotion recognition unit 140 can recognize the user emotion corresponding to the face using the CNN model as the face image recognized by the face recognizing unit 120 as an input.

표시부(150)는 사용자 감정 인식 장치(100)가 수행하는 동작의 정보를 표시하고, 사용자 인식부(130)에 의해 인식되는 사용자 인식 정보를 표시하며, 감정 인식부(140)에 의해 인식되는 사용자의 감정 상태를 표시한다. 표시부(150)는 예로서 디스플레이를 포함하며, 이러한 디스플레이는 LCD(Liquid Crystal Display), LED(Light Emitting Diode) 디스플레이, 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display, TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode, OLED), 플렉시블 디스플레이(Flexible Display), 전계 방출 디스플레이(Feld Emission Display, FED), 3차원 디스플레이(3D Display) 중에서 적어도 하나를 포함할 수 있다.The display unit 150 displays information on an operation performed by the user's emotion recognition apparatus 100 and displays user recognition information recognized by the user recognition unit 130. The user Quot; is displayed. The display unit 150 may include a display such as a liquid crystal display (LCD), a light emitting diode (LED) display, a thin film transistor-liquid crystal display (TFT LCD) An organic light emitting diode (OLED), a flexible display, a field emission display (FED), and a three-dimensional display (3D display).

저장부(160)는 사용자 감정 인식 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장할 수 있다. 일 예로, 저장부(160)는 기등록된 사용자와 관련된 정보를 저장할 수 있다. The storage unit 160 may store data and programs necessary for the user's emotion recognition apparatus 100 to operate. As an example, the storage unit 160 may store information related to a previously registered user.

또한, 저장부(160)는 사용자 감정 인식 장치(100)의 동작 수행을 위한 명령 등을 저장할 수도 있다.Also, the storage unit 160 may store a command for performing an operation of the user's emotion recognition apparatus 100 or the like.

또한, 저장부(160)는 사용자 인식부(130)와 감정 인식부(140)에서의 학습 정보를 각각 저장할 수 있다.In addition, the storage unit 160 may store the learning information in the user recognition unit 130 and the emotion recognition unit 140, respectively.

이러한 저장부(160)는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory, RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory, ROM), PROM(Programmable Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다.The storage unit 160 may be a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.) A random access memory (SRAM), a read-only memory (ROM), a programmable read-only memory (PROM), an electrically erasable memory (EEPROM) Programmable Read-Only Memory).

제어부(170)는 사용자 감정 인식 장치(100)의 각 구성요소, 즉 영상 촬영부(110), 얼굴 인식부(120), 사용자 인식부(130), 감정 인식부(140), 표시부(150) 및 저장부(160) 간에 전달되는 신호를 처리한다.The control unit 170 controls the components of the user emotion recognition apparatus 100 such as the image capturing unit 110, the face recognizing unit 120, the user recognizing unit 130, the emotion recognizing unit 140, the display unit 150, And the storage unit 160. [0034] FIG.

도 2는 도 1에 도시된 얼굴 인식부(120)의 구체적인 구성을 도시한 도면이다.2 is a diagram showing a specific configuration of the face recognizing unit 120 shown in FIG.

도 2에 도시된 바와 같이, 얼굴 인식부(120)는 얼굴 탐색부(121) 및 자세 보정부(123)를 포함한다.2, the face recognizing unit 120 includes a face searching unit 121 and an attitude correcting unit 123. As shown in FIG.

얼굴 탐색부(121)는 영상 촬영부(110)에서 출력되는 영상으로부터 얼굴 영역을 탐색한다. 이러한 탐색은 영상 속에서 물체, 본 실시예에서는 얼굴을 탐지하는 것으로, 이는 방향성 기술기에 대한 히스토그램을 나타내는 HOG(Histogram of Oriented Gradient) 알고리즘을 사용하여 영상 속에서 얼굴의 단순화된 표현을 획득한다. 여기서, HOG 알고리즘은 영상을 일정 크기의 셀로 분할하고, 각 셀마다 에지(Edge) 방향 분포를 계산하여 만든 1차원 벡터를 특징으로 객체를 식별하는 알고리즘으로, HOG에서 사용되는 영상의 요소인 에지는 영상의 명암의 변화가 두드러지는 부분을 말하며, 영상에서 객체의 윤곽선 정보를 포함할 수 있다는 특징이 있다. 따라서 HOG 알고리즘은 얼굴과 같이 고유의 독특한 윤곽선 형태를 갖는 객체를 식별하는데 적절한 특징이며, 밝기의 변화에도 강건하다는 장점이 있다.The face searching unit 121 searches for a face region from the image output from the image photographing unit 110. This search detects an object in the image, in this embodiment, a face, which obtains a simplified representation of the face in the image using a Histogram of Oriented Gradient (HOG) algorithm representing the histogram for the directional descriptor. Here, the HOG algorithm is an algorithm that divides an image into cells of a certain size and identifies the object by a one-dimensional vector created by calculating the edge direction distribution for each cell. The edge of the image used in the HOG It refers to the part where the change of the contrast of the image is prominent, and it is characterized that it can include the outline information of the object in the image. Therefore, the HOG algorithm is an appropriate feature to distinguish objects with unique unique contour shapes such as faces, and is advantageous in that it is robust against changes in brightness.

자세 보정부(123)는 얼굴 탐색부(121)에 의해 탐색된 얼굴 영역에 대해 얼굴 랜드마크 추정(face landmark estimation) 알고리즘을 사용하여 얼굴의 특징점 추정을 수행하고, 그 후 아핀 변환(affine transformation)을 수행하여 틀어진 얼굴에 대해 정위치시키는 자세 보정을 수행한다. The attitude corrector 123 performs facial feature point estimation using the face landmark estimation algorithm for the face region searched by the face search unit 121 and then performs affine transformation on the face region searched by the face searching unit 121. [ And corrects the position of the face.

도 3은 도 1에 도시된 사용자 인식부(130) 및 감정 인식부(140)에서 사용되는 CNN 모델의 개략적인 구성도이다.3 is a schematic configuration diagram of a CNN model used in the user recognition unit 130 and the emotion recognition unit 140 shown in FIG.

도 3을 참조하면, 사용자 인식부(130) 및 감정 인식부(140)에서 사용되는 CNN 모델은 이미지 인식과 음성 인식 등 다양한 곳에서 사용되며, 특히 이미지 인식 분야에서 딥러닝(Deep Learning)을 활용한 기법은 거의 다 CNN을 기반으로 한다.Referring to FIG. 3, the CNN model used in the user recognition unit 130 and the emotion recognition unit 140 is used in various places such as image recognition and speech recognition. In particular, deep learning is utilized in image recognition One technique is almost all based on CNN.

도 3을 참조하면, CNN은 합성곱 계층(Convolutional Layer)과 신경망(Neural Network)으로 구분된다. 여기서, 신경망은 완전 연결 계층(Fully Connected Layer)과 분류 계층을 포함한다.Referring to FIG. 3, CNN is divided into a convolutional layer and a neural network. Here, the neural network includes a fully connected layer and a classification layer.

합성곱 계층은 입력 영상으로부터 특징을 추출하는 역할을 수행한다. 이를 위해, 합성곱 계층은 합성곱(convolution), 활성 함수(ReLU) 및 풀링(Pooling)으로 구성된다.The composite product layer plays a role of extracting features from the input image. To this end, the composite product layer consists of a convolution, an activation function (ReLU) and a pooling.

합성곱은 필터에 의해 수행되며, 두 함수 중 하나를 반전시키고 이동시켜 가며 다른 하나의 함수와 곱한 결과를 적분해나가는 합성곱을 통해서 입력이 필터에 대응되는 특징을 갖고 있는지를 알 수 있도록 한다. 따라서, 합성곱 계층에서는 여라 개의 특징에 대응되는 다중 필터가 사용된다.The resultant product is performed by a filter, and it is possible to know whether the input has a characteristic corresponding to the filter by performing a synthesis product by integrating the result of multiplying the result of the other function by inverting and moving one of the two functions. Therefore, in the product multiply layer, multiple filters corresponding to different characteristics are used.

활성 함수는 필터들을 통해 추출되는 특징 맵에 적용되는 함수로서, ReLU(Rectified Linear Unit) 함수가 주로 사용된다. 이 함수는 기존의 Sigmoid 함수에서 발생되는 Gradient Vanishing 문제를 해결하기 위해 최근에 딥 러닝의 신경망에서 자주 사용되는 함수이다.The active function is a function applied to a feature map extracted through filters, and a ReLU (Rectified Linear Unit) function is mainly used. This function is often used in deep-run neural networks recently to solve the gradient vanishing problem in existing Sigmoid functions.

풀링은 서브 샘플링(sub sampling)이라고도 하며, 합성곱 및 활성 함수를 거쳐서 추출된 특징들 중에서 실제로 사용하기 위해 인위적으로 감소시키는 작업이다. 그 중에서 맥스 풀링(Max Pooling)은 활성화된 맵을 특정 크기로 잘라낸 후 그 중에서 가장 큰 값을 뽑아내는 방법으로, 특징의 값이 큰 값이 다른 특징들을 대표한다는 개념을 기반으로 하고 있다. 이러한 풀링을 통하는 경우 전체 데이터의 크기가 줄어들기 때문에 연산에 들어가는 컴퓨팅 자원이 적어지고, 데이터의 크기를 줄이면서 소실이 발생하기 때문에 오버피팅(overfitting)을 방지할 수 있다.Pooling is also referred to as sub-sampling, and is artificially decreasing the number of features extracted through synthesis and activation functions for actual use. Among them, Max Pooling is based on the concept that the activated map is cut out to a specific size and then the largest value is extracted, and a large value of the feature is representative of other features. In the case of such pooling, since the size of the entire data is reduced, the computing resources to be operated are reduced, and overfitting can be prevented because the data is lost while reducing the size of the data.

상기한 합성곱 계층은 복수의 계층으로 이루어질 수 있는데, 이것은 첫 번째의 합성곱 계층(1st 합성곱 계층)을 통해 간단한 특징들을 추출하고, 그 다음에 연속되는 여러 층의 합성곱 계층들을 통해서 이미 추출된 간단한 특징들에서 좀 더 복잡한 특징들을 추출함으로서, 복수의 합성곱 계층을 연결하여 고차원적인 특징들을 추출할 수 있다.The above-mentioned product multiply layer can be composed of a plurality of layers, which extracts simple features through a first product multiply layer (1 st product multiply layer), and then extracts simple features through consecutive layers By extracting the more complex features from the extracted simple features, it is possible to extract the high dimensional features by concatenating the plurality of complex product layers.

다음, 신경망의 완전 연결 계층(Fully Connected Layer)과 분류 계층은 합성곱 계층에서 추출되는 특징 값을 사용하여 분류를 수행한다. 이러한 신경망은 CNN 이전의 기존의 신경망으로 이전 계층의 모든 뉴런과 결합되어 있는 형태를 말한다.Next, the Fully Connected Layer of the neural network and the classification layer perform classification using the feature values extracted from the resultant product layer. This neural network is an existing neural network before CNN, and it is a form that is combined with all the neurons of the previous layer.

한편, 분류 계층에서는 Softmax 함수가 사용되며, 이러한 Softmax 함수는 전술한 ReLu와 같은 활성 함수의 일종이다.On the other hand, a Softmax function is used in the classification layer, and this Softmax function is a kind of an activation function such as ReLu described above.

상기한 CNN의 합성곱 계층에서 깊이가 깊어질수록 추출되는 정보는 1번째 층은 에지(edge)와 블롭(blob), 3번째 층은 텍스쳐, 5번째 층은 사물의 일부, 마지막 완전 연결 계층은 사물의 클래스(개, 자동차등)에 뉴런이 반응한다.The information extracted as the depth of the CNN composite product layer is extracted is the edge and the blob in the first layer, the texture in the third layer, a part of the object in the fifth layer, Neurons react to classes of things (dogs, cars, etc.).

이하, 상기한 사용자 감정 인식 장치(100)를 사용하여 사용자 얼굴 인식을 위한 학습을 수행하는 방법에 대해 설명한다.Hereinafter, a method of performing learning for user face recognition using the user emotion recognition apparatus 100 will be described.

도 4는 본 발명의 실시예에 따른 사용자 감정 인식을 위한 사용자 인식을 위한 학습 방법의 흐름도이다.4 is a flowchart of a learning method for user recognition for user emotion recognition according to an embodiment of the present invention.

도 4를 참조하면, 영상 촬영부(110)를 통해 사용자의 영상을 촬영한다(S100).Referring to FIG. 4, the user captures an image through the image capturing unit 110 (S100).

그 후, 얼굴 인식부(120)를 통해 촬영된 영상으로부터 얼굴을 인식한다(S110).Thereafter, the face is recognized from the photographed image through the face recognizing unit 120 (S110).

그리고, 인식되는 얼굴에 대해 사용자 인식부(130)를 통해 CNN 모델을 사용하여 기등록된 사용자에 대응하는 사용자의 얼굴로 인식하는 학습을 수행한다(S120).Then, the user recognizes the recognized face as a face of the user corresponding to the pre-registered user by using the CNN model through the user recognition unit 130 (S120).

그 후, 학습 결과 정보를 기등록된 사용자에 대응하여 저장부(160)에 저장한다(S130).Thereafter, the learning result information is stored in the storage unit 160 in correspondence with the pre-registered user (S130).

한편, 상기에서는 영상 촬영부(110)를 통해 촬영되는 영상을 입력으로 하여 사용자 얼굴 인식과 사용자 인식을 위한 학습을 수행하였으나, 이외에도 사용자로부터 직접 사용자의 영상 또는 얼굴 영상을 받아서 상기한 학습을 수행할 수도 있다.Meanwhile, in the above description, the user's face recognition and user recognition are performed by inputting the image photographed through the image photographing unit 110. However, in addition to receiving the user's image or face image directly from the user, It is possible.

다음, 상기한 사용자 감정 인식 장치(100)를 사용하여 사용자 감정 인식을 위한 학습을 수행하는 방법에 대해 설명한다.Next, a method for performing learning for user emotion recognition using the user emotion recognition apparatus 100 will be described.

도 5는 본 발명의 실시예에 따른 사용자 감정 인식을 위한 학습 방법의 흐름도이다.5 is a flowchart of a learning method for user emotion recognition according to an embodiment of the present invention.

먼저, 감정 인식부(140)는 얼굴 인식부(120) 또는 외부로부터 얼굴 영상을 수신한다(S200).First, the emotion recognition unit 140 receives the face image from the face recognition unit 120 or from outside (S200).

그 후, 수신된 얼굴 영상에 대해 CNN 모델을 사용하여 사용자의 감정을 인식하는 학습을 수행한다(S210). 이 때, 인식되는 감정으로는 다양한 감정을 정의하여 사용할 수 있으며, 본 발명의 실시예에 따른 사용자 감정 인식 장치(100)에서는 인식되는 감정을 총 7개의 감정, 즉 분노(Anger), 행복(Happiness), 놀람(Surprise), 혐오(Disgust), 슬픔(Sadness), 공포(Fear) 및 무표정(Neutral)으로 분류하여 사용한다.Thereafter, learning is performed to recognize the emotion of the user using the CNN model for the received face image (S210). In the user emotion recognition apparatus 100 according to the embodiment of the present invention, a total of seven emotions, i.e., anger, happiness (Happiness ), Surprise, Disgust, Sadness, Fear, and Neutral.

그 후, 학습 결과 정보를 저장부(160)에 저장한다(S220).Thereafter, the learning result information is stored in the storage unit 160 (S220).

다음, 상기한 사용자 감정 인식 장치(100)를 사용하여 사용자 감정을 인식하는 방법에 대해 설명한다.Next, a method of recognizing the user's emotion using the user's emotion recognition apparatus 100 will be described.

도 6은 본 발명의 실시예에 따른 사용자 감정 인식 방법의 흐름도이다.6 is a flowchart of a user emotion recognition method according to an embodiment of the present invention.

도 6을 참조하면, 먼저, 영상 촬영부(110)를 통해 사용자 영상을 촬영한다(S300).Referring to FIG. 6, first, a user image is captured through the image capturing unit 110 (S300).

그 후, 얼굴 인식부(120)를 통해 촬영된 영상으로부터 얼굴을 인식한다(S310).Thereafter, the face is recognized from the photographed image through the face recognizing unit 120 (S310).

그리고, 인식되는 얼굴에 대해 사용자 인식부(130)를 통해 CNN 모델을 사용하여 기등록된 사용자의 얼굴인지를 인식한다(S320). 이 때, 기등록된 사용자의 얼굴로 인식되면 사용자 인식이 완료되고, 인식된 사용자의 정보를 저장부(160)로부터 추출함으로써 사용자의 정보를 알 수가 있다. 그러나, 기등록된 사용자의 얼굴이 아닌 경우 신규 사용자의 얼굴이므로 신규 사용을 위해 사용자 등록을 수행하는 절차가 개시될 수 있다.Then, in step S320, the recognized face is recognized by the user recognition unit 130 using the CNN model to determine whether it is a face of a previously registered user. At this time, if the face of the user is recognized as the face of the previously registered user, the user recognition is completed, and the information of the user can be known by extracting the recognized user information from the storage unit 160. However, if it is not the face of the pre-registered user, since it is the face of the new user, a procedure of performing the user registration for the new use can be started.

다음, 감정 인식부(140)를 통해, 얼굴 인식부(120)에 의해 인식된 얼굴 영상에 대해 CNN 모델을 사용하여 얼굴 영상에 대응되는 감정을 인식한다(S330). 예를 들어, 도 7에 도시된 바와 같이, 얼굴 영상에 대해 학습된 CNN 모델을 통해 본 발명의 실시예에서 학습된 7가지 감정, 즉 분노, 행복, 놀람, 혐오, 슬픔, 공포 및 무표정의 감정 중에서 한 가지 감정을 인식하고, 그 결과를 출력한다.Next, the emotion corresponding to the face image is recognized using the CNN model for the face image recognized by the face recognition unit 120 through the emotion recognition unit 140 (S330). For example, as shown in FIG. 7, the seven emotions learned in the embodiment of the present invention, namely, anger, happiness, surprise, disgust, sadness, fear and expressionless feelings , And outputs the result.

그 후, 표시부(150)를 통해 상기 단계(S330)에서 인식된 사용자의 감정 상태가 외부로 표시될 수 있다(S340).Thereafter, the emotion state of the user recognized in step S330 may be displayed externally through the display unit 150 (S340).

이와 같이, 본 발명의 실시예에 따른 사용자 감정 인식 방법에 따르면, 외부로부터 촬영되는 사용자의 영상을 통해 사용자 얼굴을 인식하여 사용자의 신분을 확인할 수 있고, 또한 인식된 얼굴 영상을 통해 사용자의 현재 감정 상태를 인식할 수 있으며, 이러한 특징을 갖는 사용자 감정 인식 방법에 따라 컨시어지 서비스를 제공하는 컨시어지 로봇 등이 사용자와의 상호작용을 위한 표시나 행동 등에 사용될 수 있다.As described above, according to the user emotion recognition method according to the embodiment of the present invention, the user's identity can be confirmed by recognizing the user's face through the user's image photographed from the outside, and the user's current emotion And a concierge robot or the like, which provides a concierge service according to a user emotion recognition method having such a feature, can be used for display or action for interaction with a user.

한편, 상기에서는 촬영된 사용자의 영상으로부터 얼굴을 인식하고 인식되는 얼굴 영상을 통해 사용자를 인식하는 학습을 수행하고, 학습 결과에 기초하여 새로이 촬영되는 영상을 통해 사용자를 인식하는 사용자 인식부(130)와, 얼굴 영상을 통해 사용자의 감정을 학습하고, 학습 결과에 기초하여 새로이 촬영되어 인식되는 얼굴 영상에 대응되는 사용자의 감정을 인식하는 감정 인식부(140)가 합성곱 신경망(CNN)을 사용하여 사용자를 인식하고, 사용자의 감정을 인식하는 것으로 설명하였으나, 본 발명의 기술적 범위는 여기에 한정되지 않는다. 예를 들어, 영상을 사용하여 외부의 인공지능 클라우드 서버를 통한 학습과, 사용자 인식 및 감정 인식을 수행하는 방식에 대해 설명한다. The user recognition unit 130 recognizes a user through a newly captured image on the basis of the learning result by performing learning to recognize a user through a facial image recognized and recognizing a face from a captured image of the user, An emotion recognition unit 140 that learns a user's emotion through a face image and recognizes emotion of a user corresponding to a face image newly photographed and recognized based on the learning result, The user is recognized and the user's emotion is recognized. However, the technical scope of the present invention is not limited thereto. For example, we explain how to use an image to learn through an external artificial intelligence cloud server, and how to perform user recognition and emotion recognition.

최근에는 각종 자료를 사용자의 컴퓨터나 스마트폰 등 내부 저장 공간이 아닌 외부 클라우드 서버에 저장한 뒤에 다운로드받는 서비스인 클라우드 서비스가 각광을 받고 있으며, 이러한 클라우드 서비스는 인공지능 기술을 제공하는 클라우드 서버에 의해서도 제공될 수 있다. 예를 들어, IBM사의 인공지능 기술인 왓슨(Watson)이나 구글사의 텐서플로우(TesnorFlow) 등이 오픈 소프트웨어로서 잘 알려져 있다. 이들은 인공지능을 활용해 자연어 질문을 알아듣고, 방대한 데이터로부터 관련 있는 사항을 분석, 종합해 적절한 답변을 제공하는 기술이다. 이들은 API(Application Programming Interface)를 통해 인공지능 기술을 사용할 수 있는 클라우드 서비스를 제공하고 있다.In recent years, cloud services, a service for downloading various kinds of data after storing them in an external cloud server instead of an internal storage space such as a user's computer or a smart phone, have attracted attention. Such a cloud service is also used by a cloud server providing artificial intelligence Can be provided. For example, IBM's artificial intelligence technology, Watson and Google's TesnorFlow, are well known as open software. They use artificial intelligence to understand natural language questions, analyze and synthesize relevant data from vast amounts of data, and provide appropriate answers. They are providing cloud services that can use artificial intelligence technology through API (Application Programming Interface).

따라서, 본 발명의 다른 실시예에 따른 사용자 감정 인식 장치에서는 영상을 통한 사용자 인식 학습과 사용자 감정 인식 학습, 그리고, 이러한 학습 결과에 기초한 사용자 인식 및 사용자 감정 인식을 사용자 감정 인식 장치에서 직접 수행하지 않고 API를 통해 접속되는 외부의 클라우드 서버에게 영상 정보를 전달하여 이에 대응되는 사용자 인식 결과 또는 감정 인식 결과를 제공받아서 사용한다.Accordingly, in the user emotion recognition apparatus according to another embodiment of the present invention, the user recognition learning through the image, the user emotion recognition learning, and the user recognition based on the learning result and the user emotion recognition are not directly performed in the user's emotion recognition apparatus The image information is transmitted to an external cloud server connected through the API, and the user information and the emotion recognition result corresponding thereto are received and used.

이하, 본 발명의 다른 실시예에 따른 사용자 감정 인식 장치에 대해 설명한다.Hereinafter, a user emotion recognition apparatus according to another embodiment of the present invention will be described.

도 8은 본 발명의 다른 실시예에 따른 사용자 감정 인식 장치가 사용되는 구조를 개략적으로 도시한 도면이다.FIG. 8 is a diagram schematically illustrating a structure in which a user's emotion recognition apparatus according to another embodiment of the present invention is used.

도 8을 참조하면, 본 발명의 다른 실시예에 따른 사용자 감정 인식 장치(200)는 학습을 위한 영상을 네트워크(200)를 통해 외부의 클라우드 서버(400)로 전달하여, 영상을 사용하여 사용자를 인식하는 학습을 수행시킨다. 여기서, 클라우드 서버(400)는 IBM사의 왓슨이나 구글사의 텐서플로우와 같이 딥 러닝 기술의 CNN 모델에 따른 정보 학습 및 학습 결과를 이용한 사용자 인식 및 감정 인식이 가능한 서버를 말한다.Referring to FIG. 8, the user emotion recognition apparatus 200 according to another embodiment of the present invention transmits an image for learning to the external cloud server 400 through the network 200, Learning to recognize. Here, the cloud server 400 is a server capable of user recognition and emotion recognition using information learning and learning results according to the CNN model of deep learning technology such as Watson of IBM Corporation or tensor flow of Google Corporation.

학습 후, 사용자 감정 인식 장치(200)는 서비스 시점에 사용자의 영상을 촬영하여 클라우드 서버(400)로 전달하고, 클라우드 서버(400)로부터 사용자 인식 정보 또는 감정 인식 정보를 제공받아서 이를 통해 사용자를 인식하거나 사용자의 감정을 인식하여 외부로 표시할 수 있다. After the learning, the user's emotion recognition apparatus 200 captures a user's image at the time of service and delivers it to the cloud server 400. The user's emotion recognition apparatus 200 receives user recognition information or emotion recognition information from the cloud server 400, Or the user's feelings can be recognized and displayed outside.

이와 같이, 본 발명의 다른 실시예에 따른 사용자 감정 인식 장치(200)는 촬영된 영상을 통해 사용자 인식 및 사용자의 감정 인식을 외부의 클라우드 서버(400)를 통해 수행할 수 있으며, 이러한 특징을 갖는 사용자 감정 인식 장치(200)는 컨시어지 서비스를 제공하는 컨시어지 로봇 등에 탑재되어 사용자를 실시간으로 인식하고, 또한 사용자의 감정을 실시간으로 인식하여 사용자의 감정 상태에 따른 상호작용을 수행할 수 있다.As described above, the user's emotion recognition apparatus 200 according to another embodiment of the present invention can perform user recognition and emotion recognition of the user through the external cloud server 400 through the captured image, The user's emotion recognition apparatus 200 can be installed in a concierge robot that provides a concierge service to recognize a user in real time, and can recognize an emotion of a user in real time and perform an interaction according to a user's emotional state.

도 9는 도 8에 도시된 사용자 감정 인식 장치(200)의 구성을 도시한 도면이다.9 is a diagram showing a configuration of the user emotion recognition apparatus 200 shown in FIG.

도 9에 도시된 바와 같이, 사용자 감정 인식 장치(200)는 영상 촬영부(210), 얼굴 인식부(220), 서버 인터페이스(230), 사용자 인식부(240), 감정 인식부(250), 표시부(260), 저장부(270) 및 제어부(280)를 포함한다. 여기서, 영상 촬영부(210), 얼굴 인식부(220) 및 표시부(260)는 도 1을 참조하여 설명한 사용자 인식 장치(100)의 영상 촬영부(110), 얼굴 인식부(120) 및 표시부(150)의 기능과 동작이 동일하므로 여기에서는 이들에 대한 구체적인 설명을 생략하고, 그 기능과 동작이 상이한 구성요소들에 대해서만 설명한다.9, the user emotion recognition apparatus 200 includes an image capturing unit 210, a face recognizing unit 220, a server interface 230, a user recognizing unit 240, an emotion recognizing unit 250, A display unit 260, a storage unit 270, and a control unit 280. The image capturing unit 210, the face recognizing unit 220 and the display unit 260 are connected to the image capturing unit 110, the face recognizing unit 120, and the display unit (not shown) of the user recognition apparatus 100 150 are the same in function and operation. Therefore, a detailed description thereof will be omitted here, and only the components having different functions and operations will be described.

서버 인터페이스(230)는 외부의 클라우드 서버(400)가 제공한 API를 사용하여 네트워크(300)를 통해 클라우드 서버(400)에 접속되어 정보의 송수신이 가능하도록 하는 기능을 수행한다. 여기서, 클라우드 서버(400)는 IBM사의 왓슨이나 구글사의 텐서플로우와 같이 딥 러닝 기술의 CNN 모델에 따른 정보 학습 및 학습 결과를 이용한 사용자 인식 및 감정 인식이 가능한 서버를 말한다.The server interface 230 is connected to the cloud server 400 through the network 300 using the API provided by the external cloud server 400 to enable information transmission and reception. Here, the cloud server 400 is a server capable of user recognition and emotion recognition using information learning and learning results according to the CNN model of deep learning technology such as Watson of IBM Corporation or tensor flow of Google Corporation.

사용자 인식부(240)는 얼굴 인식부(220)에서 출력되는 영상을 서버 인터페이스(230)를 통해 클라우드 서버(400)로 전달하여 사용자 인식에 대한 학습을 수행시킬 수 있다.The user recognition unit 240 may transmit the image output from the face recognition unit 220 to the cloud server 400 via the server interface 230 to perform learning about user recognition.

이와 같이, 클라우드 서버(400)를 통한 사용자 인식에 대한 학습이 완료된 후, 사용자 인식부(240)는 얼굴 인식부(220)에서 출력되는 영상을 서버 인터페이스(230)를 통해 클라우드 서버(400)에게 전달하고, 전달된 영상에 대응되어 클라우드 서버(400)로부터 제공되는 사용자 인식 결과를 사용하여 사용자 인식을 수행할 수 있다.After the learning of the user recognition through the cloud server 400 is completed, the user recognition unit 240 transmits the image output from the face recognition unit 220 to the cloud server 400 through the server interface 230 And perform user recognition using the user recognition result provided from the cloud server 400 in correspondence with the transmitted image.

또한, 감정 인식부(250)는 얼굴 인식부(220)에서 출력되는 얼굴 영상을 서버 인터페이스(230)를 통해 클라우드 서버(400)로 전달하여 감정 인식에 대한 학습을 수행시킬 수 있다.The emotion recognition unit 250 may transmit the face image output from the face recognition unit 220 to the cloud server 400 through the server interface 230 to perform learning about emotion recognition.

이와 같이, 클라우드 서버(400)를 통한 감정 인식에 대한 학습이 완료된 후, 감정 인식부(250)는 얼굴 인식부(220)에서 출력되는 영상을 서버 인터페이스(230)를 통해 클라우드 서버(400)에게 전달하고, 전달된 영상에 대응되어 클라우드 서버(400)로부터 제공되는 감정 인식 결과를 사용하여 사용자 감정 인식을 수행할 수 있다.After the learning of the emotion recognition through the cloud server 400 is completed, the emotion recognition unit 250 transmits the image output from the face recognition unit 220 to the cloud server 400 through the server interface 230 And can perform user emotion recognition using the emotion recognition result provided from the cloud server 400 in correspondence with the transmitted image.

저장부(270)는 기본적으로는 이전 실시예에서의 사용자 감정 인식 장치(100)에서의 저장부(160)와 유사하지만, 본 발명의 다른 실시예에서는 얼굴 영상을 통한 사용자 인식 및 감정 인식에 대한 학습을 수행하지 않으므로 이러한 학습 정보를 저장하지 않는 부분이 상이하다.The storage unit 270 is basically similar to the storage unit 160 in the user emotion recognition apparatus 100 in the previous embodiment, but in another embodiment of the present invention, Since the learning is not performed, the portion that does not store such learning information is different.

또한, 제어부(280)도 사용자 감정 인식 장치(200)의 각 구성요소, 즉 영상 촬영부(210), 얼굴 인식부(220), 서버 인터페이스(230), 사용자 인식부(240), 감정 인식부(250), 표시부(260) 및 저장부(270)간에 전달되는 신호를 처리하며, 이전 실시예에서의 제어부(170)와 상이한 점은 저장부(270)에서와 같이, 영상에 대응되는 사용자 인식 및 감정 인식에 대한 학습을 위한 신호 전달 제어 부분이 없다는 것이다.The control unit 280 also controls the components of the user emotion recognition apparatus 200 such as the image capturing unit 210, the face recognizing unit 220, the server interface 230, the user recognizing unit 240, The control unit 170 processes signals transmitted between the display unit 250 and the storage unit 270. The control unit 170 differs from the control unit 170 in the previous embodiment in that, And there is no signaling control part for learning about emotion recognition.

한편, 본 발명의 다른 실시예에서 사용되는 외부의 클라우드 서버(400)가 본 발명의 다른 실시예에서 얼굴 영상에 대응되는 사용자 인식 및 감정 인식을 위한 학습과, 그 학습 정보를 사용하여 얼굴 영상에 대응되어 실시간으로 사용자를 인식하고 감정을 인식하는 기술에 대해서는 API를 제공하여 클라우드 서버(400)로서 동작 가능한 클라우드 서버(400) 고유의 기능으로 이에 대해서는 잘 알려져 있으므로 여기에서는 구체적인 설명을 생략한다.Meanwhile, an external cloud server 400 used in another embodiment of the present invention may perform learning for user recognition and emotion recognition corresponding to a face image in another embodiment of the present invention, The cloud server 400 can be operated as a cloud server 400 by providing an API for recognizing the user in real time and recognizing the emotion in real time, which is well known in the art, so a detailed description thereof will be omitted.

이와 같이, 본 발명의 다른 실시예에 따른 사용자 감정 인식 장치(200)에서는 얼굴 영상에 대응되는 사용자 인식 및 감정 인식에 대한 학습을 수행하는 기능을 외부의 클라우드 서버(400)를 사용하여 수행함으로써, 사용자 감정 인식 장치(200)의 구성이 간단해져서 컨시어지 로봇에의 탑재가 용이해질 뿐만 아니라, 이미 검증되어 있고 매우 다양하고 많은 정보를 갖고 있는 클라우드 서버(400)를 사용함으로써 사용자 감정 인식 장치(200)에 대한 신뢰를 제공할 수 있다.As described above, in the user emotion recognition apparatus 200 according to another embodiment of the present invention, the function of learning user recognition and emotion recognition corresponding to a face image is performed using an external cloud server 400, The configuration of the user's emotion recognition apparatus 200 is simplified so that it is easy to mount the apparatus on the concierge robot and the user's emotion recognition apparatus 200 is used by using the cloud server 400 that has already been verified and has a wide variety of information. Lt; / RTI >

이하, 상기한 사용자 감정 인식 장치(200)를 사용하여 사용자를 인식하고 사용자 감정을 인식하는 방법에 대해 설명한다.Hereinafter, a method of recognizing a user and recognizing a user's emotion using the user's emotion recognition apparatus 200 will be described.

도 10은 본 발명의 다른 실시예에 따른 사용자 인식 방법의 흐름도이다. 10 is a flowchart of a method of recognizing a user according to another embodiment of the present invention.

도 10을 참조하면, 영상을 촬영하는 단계(S300) 및 얼굴을 인식하는 단계(S310)는 도 4를 참조하여 설명한 이전의 실시예에서의 단계(S100 및 S110)와 동일하므로 여기에서는 이들 단계에 대한 구체적인 설명을 생략한다.10, step S300 of photographing the image and step S310 of recognizing the face are the same as steps S100 and S110 in the previous embodiment described with reference to FIG. 4, A detailed description thereof will be omitted.

상기 단계(S310)에서 얼굴이 인식되면 얼굴 영상을 외부의 클라우드 서버(400)로 전달하여 얼굴 영상에 대응되는 사용자 인식에 대한 학습을 수행시킨다(S320). 물론 이러한 학습은 여러 번에 걸쳐서 얼굴 영상을 입력하여 수행될 것이다.If the face is recognized in step S310, the facial image is transmitted to the external cloud server 400 to perform learning on user recognition corresponding to the facial image (S320). Of course, this learning will be performed by inputting the face image several times.

이와 같이 상기한 과정을 통해, 사용자 감정 인식 장치(200)는 얼굴 영상에 대응되는 사용자 인식을 외부의 클라우드 서버(400)를 통해 학습할 수 있다.Through the above process, the user's emotion recognition apparatus 200 can learn the user recognition corresponding to the face image through the external cloud server 400. [

도 11은 본 발명의 다른 실시예에 따른 사용자 감정 인식 방법의 흐름도이다.11 is a flowchart of a user emotion recognition method according to another embodiment of the present invention.

도 11을 참조하면, 얼굴 영상을 수신하는 단계(S400)는 도 5를 참조하여 설명한 이전의 실시예에서의 단계(S200)와 동일하므로 여기에서는 이들 단계에 대한 구체적인 설명을 생략한다.Referring to FIG. 11, the step of receiving a face image (S400) is the same as the step S200 in the previous embodiment described with reference to FIG. 5, so a detailed description thereof will be omitted here.

상기 단계(S400)에서 얼굴 영상이 수신되면 얼굴 영상을 외부의 클라우드 서버(400)로 전달하여 얼굴 영상에 대응되는 감정 인식에 대한 학습을 수행시킨다(S410). 물론 이러한 학습은 여러 번에 걸쳐서 얼굴 영상을 입력하여 수행될 것이다.If the facial image is received in step S400, the facial image is transmitted to the external cloud server 400 to perform learning about emotion recognition corresponding to the facial image (S410). Of course, this learning will be performed by inputting the face image several times.

이와 같이 상기한 과정을 통해, 사용자 감정 인식 장치(200)는 얼굴 영상에 대응되는 사용자 감정 인식을 외부의 클라우드 서버(400)를 통해 학습할 수 있다.Through the above process, the user's emotion recognition apparatus 200 can learn the user's emotion recognition corresponding to the face image through the external cloud server 400.

이하에서는 상기한 바와 같이 학습된 결과 정보를 사용하여, 서비스 시점에 실시간으로 촬영되는 사용자 영상에 기반하여 실시간으로 사용자 감정을 인식하는 방법에 대해 설명한다.Hereinafter, a method of recognizing the user's emotion in real time based on the user image photographed in real time at the time of the service using the learned result information will be described.

도 12는 본 발명의 다른 실시예에 따른 사용자 감정 인식 방법의 흐름도이다.12 is a flowchart of a user emotion recognition method according to another embodiment of the present invention.

도 12를 참조하면, 영상을 촬영하는 단계(S500), 얼굴을 인식하는 단계(S510) 및 감정을 표시하는 단계(S560)는 도 6을 참조하여 설명한 이전의 실시예에서의 단계(S300, S310, S340)와 동일하므로 여기에서는 이들 단계에 대한 구체적인 설명을 생략한다.12, steps S500, S510, and S560 of capturing an image, a face, and an emotion are performed in steps S300 and S310 of the previous embodiment described with reference to FIG. 6 , S340), detailed description of these steps will be omitted.

상기 단계(S510)에서 실시간으로 인식되는 얼굴 영상을 외부의 클라우드 서버(400)로 전달하여 대응되는 사용자 인식을 요청한다(S520).In step S510, the facial image recognized in real time is transmitted to the external cloud server 400 to request recognition of the corresponding user in step S520.

그 후, 클라우드 서버(400)로부터, 전달된 얼굴 영상에 대응되어 수행된 사용자 인식 결과를 수신한다(S530). 즉, 이러한 사용자 인식 결과가 사용자 인식부(240)에서의 사용자 인식 결과가 된다.Thereafter, the user recognition result corresponding to the transmitted face image is received from the cloud server 400 (S530). That is, the user recognition result is the user recognition result in the user recognition unit 240.

또한, 상기 단계(S510)에서 실시간으로 인식되는 얼굴 영상을 외부의 클라우드 서버(400)로 전달하여 대응되는 감정 인식을 요청한다(S540).In step S510, the facial image recognized in real time is transmitted to the external cloud server 400 to request the corresponding emotion recognition in operation S540.

그 후, 클라우드 서버(400)로부터, 전달된 얼굴 영상에 대응되어 수행된 감정 인식 결과를 수신한다(S550). 즉, 이러한 감정 인식 결과가 감정 인식부(250)에서의 사용자 감정 인식 결과가 된다.Thereafter, the emotion recognition result performed in correspondence with the transmitted face image is received from the cloud server 400 (S550). That is, the emotion recognition result is the user emotion recognition result in the emotion recognition unit 250.

그리고, 이렇게 인식된 사용자 감정이 표시부(260)를 통해 외부로 표시된다(S560).Then, the user's emotion thus recognized is displayed externally through the display unit 260 (S560).

이하에서는 상기한 사용자 감정 인식 장치(100, 200)가 외부의 사람과 음성 대화를 수행할 수 있는 컨시어지 로봇 등에서 사용되는 경우의 실시예에 대해 설명한다.Hereinafter, an embodiment will be described in which the user emotion recognition apparatuses 100 and 200 are used in a concierge robot or the like capable of performing voice conversation with an outside person.

도 13은 본 발명의 또 다른 실시예에 따른 로봇 시스템의 개략적인 구성도이다. 도 13에서는 설명의 편의상 본 발명의 특징과 관련 없는 로봇 시스템의 일반적인 구성 및 그 동작에 대한 설명은 생략하였다.13 is a schematic block diagram of a robot system according to another embodiment of the present invention. In FIG. 13, the general configuration and operation of the robot system not related to the features of the present invention are not described for convenience of explanation.

도 13을 참조하면, 본 발명의 또 다른 실시예에 따른 로봇 시스템(1000)은 음성 대화 장치(1100), 사용자 감정 인식 장치(1200) 및 대화 제어부(1300)를 포함한다.Referring to FIG. 13, a robot system 1000 according to another embodiment of the present invention includes a voice dialog device 1100, a user emotion recognition device 1200, and a dialogue control part 1300.

음성 대화 장치(1100)는 외부의 사람 등으로부터 입력되는 음성 입력을 받아서 그에 대응되는 음성 대화를 위한 음성을 출력한다. 이러한 음성 대화 장치(1100)의 개략적인 구성은 도 14에 도시되어 있다. The voice conversation apparatus 1100 receives a voice input from an external person or the like and outputs a voice for voice conversation corresponding thereto. A schematic configuration of this voice chatting device 1100 is shown in Fig.

도 14는 도 13에 도시된 음성 대화 장치(1100)의 개략적인 구성을 도시한 도면이다. FIG. 14 is a diagram showing a schematic configuration of the voice chatting apparatus 1100 shown in FIG.

도 14를 참조하면, 음성 대화 장치(1100)는 음성 입력부(1110), 음성 인식부(1120), 답변 생성부(1130) 및 음성 출력부(1140)를 포함한다.Referring to FIG. 14, the voice chatting apparatus 1100 includes a voice input unit 1110, a voice recognition unit 1120, an answer generation unit 1130, and a voice output unit 1140.

음성 입력부(1110)는 외부로부터 음성을 입력받는 구성으로, 예를 들어 마이크 등일 수 있다.The voice input unit 1110 is configured to receive voice from the outside, and may be, for example, a microphone.

음성 인식부(1120)는 음성 입력부(1110)를 통해 입력되는 외부 음성을 인식한다. 이러한 음성 인식 기술에 대해서는 이미 잘 알려져 있으므로 여기에서는 구체적인 설명을 생략한다.The voice recognition unit 1120 recognizes an external voice input through the voice input unit 1110. Since the speech recognition technology is well known, a detailed description thereof will be omitted here.

답변 생성부(1130)는 음성 인식부(1120)에 의해 인식된 음성 입력에 대응되는 답변을 생성한다. 이 때, 답변 생성부(1130)는 다양한 방식, 예를 들어, 인공지능 방식 등을 사용하여 답변을 생성할 수 있으며, 이러한 방식은 로봇 시스템(1000)의 동작 방식에 따라 다양하게 구성될 수 있으며, 그 구체적인 구성은 본 실시예에서의 특징과는 관련이 없으므로 여기에서는 구체적인 설명을 생략한다.The answer generation unit 1130 generates a response corresponding to the speech input recognized by the speech recognition unit 1120. [ At this time, the answer generating unit 1130 can generate an answer using various methods, for example, an artificial intelligence method, and the method can be variously configured according to the operation method of the robot system 1000 , Its specific configuration is not related to the features of this embodiment, and a detailed description thereof will be omitted.

음성 출력부(1140)는 답변 생성부(1130)에서 생성되는 답변에 대응되는 음성을 외부로 출력한다. 이러한 음성 출력부(1140)는 TTS 기능을 구비한 스피커일 수 있다.The voice output unit 1140 outputs the voice corresponding to the answer generated by the answer generation unit 1130 to the outside. The voice output unit 1140 may be a speaker having a TTS function.

다음, 사용자 감정 인식 장치(1200)는 도 1 내지 도 12를 참조하여 상기에서 설명된 사용자 감정 인식 장치(100, 200) 중 어느 하나와 유사한 구성을 가진다. 따라서, 본 발명의 또 다른 실시예에서는 상기한 사용자 감정 인식 장치(100, 200)에서의 구성과 상이한 구성에 대해서만 설명한다. 그리고, 상기한 사용자 감정 인식 장치(100, 200)는 외부의 클라우드 서버(400)를 사용하는 지의 여부에 따라서만 그 차이점이 있으므로 설명의 편의를 위해 사용자 감정 인식 장치(100)만을 사용하여 설명한다.Next, the user emotion recognizing apparatus 1200 has a configuration similar to that of any one of the user emotion recognizing apparatuses 100, 200 described above with reference to Figs. Therefore, in still another embodiment of the present invention, only the configurations different from those in the user emotion recognition apparatuses 100 and 200 will be described. Since the user emotion recognition apparatuses 100 and 200 differ only in accordance with whether or not the external cloud server 400 is used, the user emotion recognition apparatus 100 will be described only for convenience of explanation .

사용자 감정 인식 장치(1200)는 사용자의 영상을 촬영하여 사용자의 감정을 인식한다.The user emotion recognition apparatus 1200 captures a user's image and recognizes the emotion of the user.

대화 제어부(1300)는 음성 대화 장치(1100)에서 외부로부터 입력되는 음성이 인식되는 경우, 사용자 감정 인식 장치(1200)를 통해, 음성을 입력한 사용자의 영상을 촬영하여 사용자의 감정을 인식하고, 인식된 사용자의 감정 상태를 음성 대화 장치(1100)로 전달하여, 인식된 사용자의 감정 상태에 대응되는 음성 답변을 생성하여 사용자에게 음성 출력할 수 있도록 제어를 수행한다.The dialogue control unit 1300 recognizes the emotion of the user by capturing an image of the user who has input the voice through the user's emotion recognition apparatus 1200 when the voice input from the outside is recognized in the voice conversation apparatus 1100, Transmits the recognized emotion state of the user to the voice communication apparatus 1100, generates a voice response corresponding to the emotion state of the recognized user, and controls the voice output to the user.

선택적으로, 대화 제어부(1300)는 사용자 감정 인식 장치(1200)에 의해 인식되는 사용자의 정보, 예를 들어 사용자의 신분, 취미 등의 정보를 음성 대화 장치(1100)로 전달하여 사용자의 정보와 사용자의 인식된 감정 상태에 대응되는 음성 답변을 생성하여 사용자에게 음성 출력할 수 있도록 제어를 수행할 수 있다.Alternatively, the conversation control unit 1300 may transmit information of the user recognized by the user's emotion recognition apparatus 1200, for example, information such as the user's identity, hobby, etc. to the voice conversation apparatus 1100, A voice response corresponding to the recognized emotional state of the user can be generated and voice output to the user can be performed.

보다 구체적으로, 대화 제어부(1300)는 음성 대화 장치(1100)의 음성 인식부(1120)에서의 음성 인식 결과를 사용하여 사용자의 음성이 인식되는 경우, 사용자 감정 인식 장치(1200)에게 사용자의 감정 인식을 요청하고, 사용자 감정 인식 장치(1200)로부터 인식되는 사용자 감정 상태를 전달받아서 음성 대화 장치(1100)의 답변 생성부(1130)로 전달한다.More specifically, when the user's voice is recognized using the voice recognition result of the voice recognition unit 1120 of the voice chatting apparatus 1100, the conversation control unit 1300 informs the user's feeling recognition apparatus 1200 of the user's emotion Receives the user emotion state recognized from the user emotion recognition apparatus 1200, and transmits the received user emotion state to the answer generation unit 1130 of the voice conversation apparatus 1100.

따라서, 음성 대화 장치(1100)의 답변 생성부(1130)는 음성 인식부(1120)에서 인식되는 음성 입력에 대응되는 답변을 생성할 때, 대화 제어부(1300)로부터 전달되는 사용자의 감정 상태를 고려하여 답변을 생성할 수 있다.The answer generator 1130 of the voice chatting apparatus 1100 may consider the emotional state of the user transmitted from the conversation control unit 1300 when generating the answer corresponding to the voice input recognized by the speech recognition unit 1120 To generate an answer.

이와 같이, 상기한 본 발명의 또 다른 실시예에 따르면, 로봇 시스템(1000)이 외부로부터 입력되는 음성에 대응되는 답변만을 사용하여 음성 대화를 수행하는 것 외에, 음성 입력에 대응되는 사용자의 감정 상태를 인식하여 사용자의 감정 상태에 대응되는 음성 답변을 사용하여 보다 사용자 친화적인 형태의 음성 대화를 수행할 수 있다.As described above, according to another embodiment of the present invention, the robot system 1000 performs a voice conversation using only a response corresponding to a voice input from the outside, And can perform voice conversation in a more user-friendly form by using the voice answers corresponding to the emotional state of the user.

한편, 본 발명의 또 다른 실시예에 따른 사용자 감정 인식 장치에 대해 설명한다.Meanwhile, a user emotion recognition apparatus according to another embodiment of the present invention will be described.

도 15는 본 발명의 또 다른 실시예에 따른 사용자 감정 인식 장치의 개략적인 구성 블록도이다.15 is a schematic block diagram of a user emotion recognition apparatus according to another embodiment of the present invention.

도 15를 참조하면, 본 발명의 또 다른 실시예에 따른 사용자 감정 인식 장치(1400)는 영상 입력기(1410), 출력기(1420), 메모리(1430), 프로세서(1440) 및 버스(1450)를 포함한다.15, a user emotion recognition apparatus 1400 according to another embodiment of the present invention includes a video input unit 1410, an output unit 1420, a memory 1430, a processor 1440, and a bus 1450 do.

영상 입력기(1410)는 외부의 영상을 촬영 등을 통해 입력받는다. 주로, CCD 카메라가 사용될 수 있다.The image input device 1410 receives an external image through photographing or the like. Mainly, a CCD camera can be used.

출력기(1420)는 외부로 음성, 문자 등을 출력한다. 이러한 출력기(1410)로는 스피커, 디스플레이 등이 있다.The output device 1420 outputs voice, characters, and the like to the outside. The output device 1410 includes a speaker, a display, and the like.

메모리(1430)는 코드의 집합을 저장하도록 구성되고, 그 코드는 다음과 같은 동작을 실행하기 위해 프로세서(1430)를 제어하는 데 사용된다. 이러한 동작은, 영상 입력기(1410)를 통해 외부 영상을 촬영하여 대응되는 영상을 입력받는 동작, 영상으로부터 얼굴 영상을 인식하는 동작, 얼굴 영상을 학습하여 대응되는 감정을 학습하는 동작, 학습된 정보에 기초하여 입력되는 얼굴 영상에 대응되는 감정을 인식하는 동작, 인식된 감정에 대응되는 출력을 출력기(1420)를 통해 수행하는 동작을 포함한다.The memory 1430 is configured to store a set of codes, which are used to control the processor 1430 to perform the following operations. Such operations include an operation of photographing an external image through the image input device 1410 and receiving a corresponding image, an operation of recognizing a face image from an image, an operation of learning a corresponding emotion by learning a face image, An operation of recognizing the emotion corresponding to the input facial image, and an operation of performing output through the output unit 1420 corresponding to the recognized emotion.

버스(1440)는 사용자 감정 인식 장치(1400)의 모든 구성요소들, 즉 영상 입력기(1410), 출력기(1420), 메모리(1430) 및 프로세서(1440)를 결합하도록 구성된다.The bus 1440 is configured to combine all of the components of the user emotion recognition device 1400, namely the video input device 1410, the output device 1420, the memory 1430 and the processor 1440.

한편, 메모리(1430)는 ROM(Read Only Memory)과 RAM(Random Access Memory), NVRAM(Non-Volatile Random Access Memory)을 포함할 수 있다. 또한, 프로세서(1440)는 컨트롤러(controller), 마이크로 컨트롤러(microcontroller), 마이크로 프로세서(microprocessor), 마이크로 컴퓨터(microcomputer) 등으로도 호칭될 수 있다. 또한, 프로세서(740)는 하드웨어(hardware) 또는 펌웨어(firmware), 소프트웨어, 또는 이들의 결합에 의해 구현될 수 있다.The memory 1430 may include a read only memory (ROM), a random access memory (RAM), and a non-volatile random access memory (NVRAM). The processor 1440 may also be referred to as a controller, a microcontroller, a microprocessor, a microcomputer, or the like. In addition, the processor 740 may be implemented by hardware or firmware, software, or a combination thereof.

이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.The embodiments of the present invention described above are not implemented only by the apparatus and method, but may be implemented through a program for realizing the function corresponding to the configuration of the embodiment of the present invention or a recording medium on which the program is recorded.

이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments, It belongs to the scope of right.

Claims (19)

외부 영상을 촬영하는 영상 촬영부;
상기 영상 촬영부에 의해 촬영된 영상으로부터 얼굴 영상을 인식하는 얼굴 인식부; 및
신경망 모델을 사용하여 얼굴 영상에 대응되는 감정을 학습하고, 학습 결과를 사용하여 상기 얼굴 인식부에서 인식되는 얼굴 영상에 대응되는 감정을 인식하는 감정 인식부
를 포함하는 사용자 감정 인식 장치.An image capturing unit for capturing an external image;
A face recognizing unit for recognizing a face image from the image photographed by the image photographing unit; And
An emotion recognition unit that learns the emotion corresponding to the face image using the neural network model and recognizes the emotion corresponding to the face image recognized by the face recognition unit using the learning result,
And a user emotion recognition device. 제1항에 있어서,
상기 감정 인식부는 상기 얼굴 인식부로부터 입력되는 얼굴 영상을 외부의 클라우드 서버 ― 여기서 클라우드 서버는 신경망 모델을 사용한 학습이 가능한 서버임 ―로 전달하여 얼굴 영상에 대응되는 감정 학습을 수행시킨 후,
상기 얼굴 인식부로부터 입력되는 얼굴 영상을 상기 클라우드 서버로 전달하여 상기 얼굴 영상에 대응되는 감정 인식을 요청한 후 상기 클라우드 서버로부터 전달되는 감정 인식 결과를 수신하여 외부로 출력하는,
사용자 감정 인식 장치.The method according to claim 1,
The emotion recognition unit transmits the facial image input from the facial recognition unit to an external cloud server, where the cloud server is a server capable of learning using a neural network model, performs emotion learning corresponding to the facial image,
A facial image input unit for receiving facial image input from the facial recognition unit to the cloud server to request emotion recognition corresponding to the facial image, receiving emotion recognition result transmitted from the cloud server,
User emotion recognition device. 제1항 또는 제2항에 있어서,
상기 신경망 모델은 합성곱 신경망(Convolutional Neural Network, CNN) 모델 모델인,
사용자 감정 인식 장치.3. The method according to claim 1 or 2,
The neural network model is a model of a Convolutional Neural Network (CNN) model,
User emotion recognition device. 제1항 또는 제2항에 있어서,
신경망 모델을 사용하여 얼굴 영상에 대응되는 사용자를 학습하고, 학습 결과를 사용하여 상기 얼굴 인식부에서 인식되는 얼굴 영상에 대응되는 사용자를 인식하는 사용자 인식부
를 더 포함하는, 사용자 감정 인식 장치.3. The method according to claim 1 or 2,
A user recognition unit that learns a user corresponding to a face image using a neural network model and recognizes a user corresponding to a face image recognized by the face recognition unit using a learning result,
Wherein the user emotion recognition apparatus further comprises: 제1항에 있어서,
상기 감정 인식부에서의 학습 결과 정보를 저장하는 저장부를
더 포함하고,
상기 감정 인식부는 상기 저장부에 저장된 학습 결과 정보에 기초하여, 상기 얼굴 인식부로부터 입력되는 얼굴 영상에 대응되는 감정을 인식하는,
사용자 감정 인식 장치.The method according to claim 1,
And a storage unit for storing learning result information in the emotion recognition unit
Further included,
Wherein the emotion recognition unit recognizes emotion corresponding to the face image input from the face recognition unit based on the learning result information stored in the storage unit,
User emotion recognition device. 제2항에 있어서,
상기 감정 인식부는 상기 클라우드 서버가 제공하는 API(Application Programming Interface)를 사용하여 상기 클라우드 서버에 접속하여 상기 얼굴 인식부로부터 입력되는 얼굴 영상에 대응되는 감정 인식의 학습을 요청하고, 학습 결과에 기초하여 얼굴 영상에 대응되는 감정 인식을 요청하는,
사용자 감정 인식 장치.3. The method of claim 2,
Wherein the emotion recognition unit accesses the cloud server using an application programming interface (API) provided by the cloud server, requests learning of emotion recognition corresponding to a face image input from the face recognition unit, Requesting an emotion recognition corresponding to a facial image,
User emotion recognition device. 제4항에 있어서,
상기 사용자 인식부는,
동일인 및 동일인의 다른 이미지와 전혀 다른 대조군의 이미지를 통한 상기 신경망 모델의 학습을 통한 128개의 각각의 개인을 구분하는 특징점을 추출해서 숫자로 표현되는 암호화를 수행하여 학습 정보로서 저장하며,
기등록된 사용자에 대한 학습 정보에 기초하여, 상기 얼굴 인식부에 의해 인식되는 얼굴 영상을 입력으로 하여 상기 신경망 모델을 사용하여 상기 기등록된 사용자를 인식하는,
사용자 감정 인식 장치.5. The method of claim 4,
Wherein the user recognition unit comprises:
Extracting feature points that distinguish 128 individuals from each other through learning of the neural network model through images of the same person and the same person and a completely different control group, encrypts them by numerical expressions, stores them as learning information,
Recognizing the previously registered user by using the neural network model as a face image recognized by the face recognition unit based on learning information about a previously registered user,
User emotion recognition device. 사용자 감정 인식 장치가 실시간으로 사용자의 감정을 인식하는 방법으로서,
복수의 얼굴 영상에 대응되는 감정을 신경망 모델을 사용하여 학습하는 단계;
실시간으로 사용자의 영상을 촬영하여 얼굴 영상을 인식하는 단계; 및
상기 학습의 정보에 기초하여, 인식되는 얼굴 영상에 대응되는 감정을 인식하는 단계
를 포함하는 사용자 감정 인식 방법.A method for a user's emotion recognition device to recognize a user's emotion in real time,
Learning emotions corresponding to a plurality of facial images using a neural network model;
Recognizing a face image by capturing a user's image in real time; And
Recognizing an emotion corresponding to a recognized face image based on the learning information
The user emotion recognition method comprising: 제8항에 있어서,
상기 학습하는 단계는,
학습을 위한 사용자의 영상을 준비하는 단계;
준비된 영상으로부터 얼굴 영상을 인식하는 단계; 및
인식되는 얼굴 영상에 대응되는 감정을 상기 신경망 모델을 사용하여 학습하는 단계
를 포함하는, 사용자 감정 인식 방법.9. The method of claim 8,
Wherein the learning comprises:
Preparing a user's image for learning;
Recognizing a face image from a prepared image; And
Learning the emotion corresponding to the recognized face image using the neural network model
The user emotion recognition method comprising: 제8항에 있어서,
상기 학습하는 단계는,
학습을 위한 사용자의 영상을 준비하는 단계;
준비된 영상으로부터 얼굴 영상을 인식하는 단계; 및
인식되는 얼굴 영상을 외부의 클라우드 서버 ― 여기서 클라우드 서버는 신경망 모델을 사용한 학습이 가능한 서버임 ―로 전달하여 얼굴 영상에 대응되는 감정을 학습시키는 단계
를 포함하는, 사용자 감정 인식 방법.9. The method of claim 8,
Wherein the learning comprises:
Preparing a user's image for learning;
Recognizing a face image from a prepared image; And
The recognized face image is transmitted to an external cloud server (here, the cloud server is a server capable of learning using a neural network model) to learn the emotion corresponding to the face image
The user emotion recognition method comprising: 제10항에 있어서,
상기 인식되는 얼굴 영상에 대응되는 감정을 인식하는 단계는,
실시간으로 인식되는 얼굴 영상을 상기 클라우드 서버로 전달하여 얼굴 영상에 대응되는 감정 인식을 요청하는 단계;
상기 클라우드 서버로부터 전달되는 감정 인식 결과 수신하여 출력하는 단계
를 포함하는, 사용자 감정 인식 방법.11. The method of claim 10,
Wherein the step of recognizing the emotion corresponding to the recognized face image comprises:
Transmitting a face image recognized in real time to the cloud server to request emotion recognition corresponding to the face image;
Receiving the emotion recognition result transmitted from the cloud server and outputting
The user emotion recognition method comprising: 제8항 내지 제11항에 있어서,
상기 신경망 모델은 합성곱 신경망(Convolutional Neural Network, CNN) 모델 모델이며,
상기 합성곱 신경망 모델은 입력되는 얼굴 영상에 대해 분노(Anger), 행복(Happiness), 놀람(Surprise), 혐오(Disgust), 슬픔(Sadness), 공포(Fear) 및 무표정(Neutral) 중 하나의 감정으로 분류하는,
사용자 감정 인식 방법.The method as claimed in any one of claims 8 to 11,
The neural network model is a Convolutional Neural Network (CNN) model model,
The composite neural network model is a model of an input facial image in which an emotion such as anger, happiness, surprise, disgust, sadness, fear, , ≪ / RTI &
User emotion recognition method. 외부의 음성 입력에 대응되는 음성 대화를 위한 음성을 출력하는 음성 대화 장치;
외부의 영상으로부터 인식되는 얼굴 영상을 신경망 모델을 사용하여 감정 인식을 위한 학습을 수행하고, 학습 결과를 사용하여 실시간으로 수집되는 얼굴 영상에 대응되는 감정을 인식하는 사용자 감정 인식 장치; 및
상기 음성 대화 장치에서 사용자의 음성이 인식되는 경우, 상기 사용자 감정 인식 장치를 통해 사용자의 감정을 인식하도록 하고, 상기 사용자 감정 인식 장치로부터 인식되는 사용자의 감정 인식 결과를 상기 음성 대화 장치로 전달하는 대화 제어부
를 포함하며,
상기 음성 대화 장치는, 상기 대화 제어부를 통해 전달되는 사용자의 감정 인식 결과를 사용하여 상기 인식되는 사용자의 음성에 대응되는 음성 답변을 출력하는,
로봇 시스템.A voice conversation device for outputting a voice for voice conversation corresponding to an external voice input;
A user emotion recognition device that performs learning for emotion recognition using a neural network model of a face image recognized from an external image and recognizes emotion corresponding to a face image collected in real time using the learning result; And
The user's emotion recognition device recognizes the user's emotion through the user's emotion recognition device when the voice of the user is recognized in the voice conversation device and transmits the user's emotion recognition result recognized by the user's emotion recognition device to the voice conversation device The control unit
/ RTI >
Wherein the voice chatting apparatus outputs a voice response corresponding to the voice of the user to be recognized using the emotion recognition result of the user transmitted through the dialog control unit,
Robot system. 제13항에 있어서,
상기 음성 대화 장치는,
외부로부터 음성을 입력받는 음성 입력부;
상기 음성 입력부에 의해 입력되는 음성을 인식하는 음성 인식부;
상기 음성 인식부의 인식 결과에 대응되는 답변을 생성하는 답변 생성부; 및
상기 답변 생성부에 의해 생성되는 답변에 대응되는 음성을 출력하는 음성 출력부
를 포함하고,
상기 답변 생성부는, 상기 대화 제어부로부터 전달되는 사용자의 감정 인식 결과를 사용하여 상기 음성 인식부의 인식 결과에 대응되는 음성 답변을 생성하여 상기 음성 출력부를 통해 출력하는,
로봇 시스템.14. The method of claim 13,
The voice chatting apparatus comprises:
A voice input unit for inputting voice from outside;
A voice recognition unit for recognizing a voice input by the voice input unit;
An answer generating unit for generating answers corresponding to recognition results of the speech recognition unit; And
A voice output unit for outputting a voice corresponding to an answer generated by the answer generation unit,
Lt; / RTI >
Wherein the answer generating unit generates a voice answer corresponding to the recognition result of the voice recognition unit using the user's emotion recognition result transmitted from the dialog control unit and outputs the generated voice answer through the voice output unit,
Robot system. 제13항에 있어서,
상기 사용자 감정 인식 장치는,
외부 영상을 촬영하는 영상 촬영부;
상기 영상 촬영부에 의해 촬영된 영상으로부터 얼굴 영상을 인식하는 얼굴 인식부; 및
상기 신경망 모델을 사용하여 얼굴 영상에 대응되는 감정을 학습하고, 학습 결과를 사용하여 상기 얼굴 인식부에서 인식되는 얼굴 영상에 대응되는 감정을 인식하는 감정 인식부
를 포함하는, 로봇 시스템.14. The method of claim 13,
Wherein the user emotion recognition device comprises:
An image capturing unit for capturing an external image;
A face recognizing unit for recognizing a face image from the image photographed by the image photographing unit; And
An emotion recognition unit that learns the emotion corresponding to the face image using the neural network model and recognizes the emotion corresponding to the face image recognized by the face recognition unit using the learning result,
. 제13항 내지 제15항 중 어느 한 항에 있어서,
상기 신경망 모델은 합성곱 신경망(Convolutional Neural Network, CNN) 모델 모델인,
로봇 시스템.16. The method according to any one of claims 13 to 15,
The neural network model is a model of a Convolutional Neural Network (CNN) model,
Robot system. 사용자의 감정을 인식하는 장치로서,
영상 입력기, 메모리 및 프로세서를 포함하며,
상기 영상 입력기는 외부의 영상을 촬영하여 대응되는 영상을 입력받고,
상기 메모리는 코드의 집합을 저장하도록 구성되고,
상기 코드는,
상기 영상 입력기를 통해 외부 영상을 촬영하여 대응되는 영상을 입력받는 동작;
영상으로부터 얼굴 영상을 인식하는 동작;
얼굴 영상을 학습하여 대응되는 감정을 학습하는 동작; 및
학습된 정보에 기초하여 입력되는 얼굴 영상에 대응되는 감정을 인식하는 동작
을 실행하도록 상기 프로세서를 제어하는 데 사용되는,
사용자 감정 인식 장치.An apparatus for recognizing user's emotions,
A video input device, a memory, and a processor,
The image input device captures an external image, receives a corresponding image,
The memory being configured to store a set of codes,
The code includes:
Capturing an external image through the image input device and receiving a corresponding image;
Recognizing the face image from the image;
An operation of learning a corresponding emotion by learning a face image; And
Recognizing an emotion corresponding to a face image input based on the learned information
Lt; RTI ID = 0.0 > a < / RTI > processor,
User emotion recognition device. 제17항에 있어서,
상기 프로세서는,
상기 영상 입력기를 통해 입력되는 얼굴 영상에 대응되는 사용자 인식에 대해 상기 신경망 모델을 사용하여 학습하고, 학습 결과를 사용하여 상기 영상 입력기를 통해 실시간으로 입력되는 얼굴 영상에 대응되는 사용자를 인식하는 동작을 더 실행하는,
사용자 감정 인식 장치.18. The method of claim 17,
The processor comprising:
Learning the user recognition corresponding to the face image input through the image input device using the neural network model and recognizing the user corresponding to the face image input in real time through the image input device using the learning result Further,
User emotion recognition device. 제18항에 있어서,
상기 감정 인식 결과를 외부로 출력하는 출력기를 더 포함하고,
상기 프로세서는,
상기 감정 인식 결과를 상기 출력기를 통해 외부로 출력하는 동작
을 더 실행하는, 사용자 감정 인식 장치.19. The method of claim 18,
And an output unit for outputting the emotion recognition result to the outside,
The processor comprising:
And outputting the emotion recognition result to the outside through the output unit
Further comprising:
KR1020170074422A 2016-11-15 2017-06-13 Robot system KR101887637B1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20160152214 2016-11-15
KR1020160152214 2016-11-15

Publications (2)

Publication Number Publication Date
KR20180054407A true KR20180054407A (en) 2018-05-24
KR101887637B1 KR101887637B1 (en) 2018-08-10

Family

ID=62296930

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170074422A KR101887637B1 (en) 2016-11-15 2017-06-13 Robot system

Country Status (1)

Country Link
KR (1) KR101887637B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109227534A (en) * 2018-08-09 2019-01-18 上海常仁信息科技有限公司 A kind of motion management regulating system and method based on robot
CN110524559A (en) * 2019-08-30 2019-12-03 成都未至科技有限公司 Intelligent human-machine interaction system and method based on human behavior data
EP3623118A1 (en) * 2018-09-14 2020-03-18 Lg Electronics Inc. Emotion recognizer, robot including the same, and server including the same
WO2020213007A1 (en) * 2019-04-15 2020-10-22 Rajat Inderkumar Grover Emotion detection system and method
CN112016367A (en) * 2019-05-31 2020-12-01 沈阳新松机器人自动化股份有限公司 Emotion recognition system and method and electronic equipment
CN112238454A (en) * 2019-07-17 2021-01-19 本田技研工业株式会社 Robot management device, robot management method, and robot management system
CN113246156A (en) * 2021-07-13 2021-08-13 武汉理工大学 Child accompanying robot based on intelligent emotion recognition and control method

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2585261B (en) * 2019-04-01 2022-05-25 Samsung Electronics Co Ltd Methods for generating modified images
KR102283022B1 (en) 2019-06-07 2021-07-28 엘지전자 주식회사 Method for driving robot baesd on external image, robot and server implementing thereof

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087346A (en) * 2005-09-26 2007-04-05 Canon Inc Information processing device, control method therefor, computer program, and memory medium
JP2009015372A (en) * 2007-06-29 2009-01-22 Canon Inc Image processor, image processing method, program and storage medium
KR20130093290A (en) * 2012-02-14 2013-08-22 (주) 퓨처로봇 Emotional sympathy robot service system and method of the same

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007087346A (en) * 2005-09-26 2007-04-05 Canon Inc Information processing device, control method therefor, computer program, and memory medium
JP2009015372A (en) * 2007-06-29 2009-01-22 Canon Inc Image processor, image processing method, program and storage medium
KR20130093290A (en) * 2012-02-14 2013-08-22 (주) 퓨처로봇 Emotional sympathy robot service system and method of the same

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
일본 공개특허공보 특개2007-087346호(2007.04.05.) 1부. *
일본 공개특허공보 특개2009-015372호(2009.01.22.) 1부. *

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109227534A (en) * 2018-08-09 2019-01-18 上海常仁信息科技有限公司 A kind of motion management regulating system and method based on robot
EP3623118A1 (en) * 2018-09-14 2020-03-18 Lg Electronics Inc. Emotion recognizer, robot including the same, and server including the same
WO2020213007A1 (en) * 2019-04-15 2020-10-22 Rajat Inderkumar Grover Emotion detection system and method
CN112016367A (en) * 2019-05-31 2020-12-01 沈阳新松机器人自动化股份有限公司 Emotion recognition system and method and electronic equipment
CN112238454A (en) * 2019-07-17 2021-01-19 本田技研工业株式会社 Robot management device, robot management method, and robot management system
CN112238454B (en) * 2019-07-17 2024-03-01 本田技研工业株式会社 Robot management device, robot management method, and robot management system
CN110524559A (en) * 2019-08-30 2019-12-03 成都未至科技有限公司 Intelligent human-machine interaction system and method based on human behavior data
CN110524559B (en) * 2019-08-30 2022-06-10 成都未至科技有限公司 Intelligent man-machine interaction system and method based on personnel behavior data
CN113246156A (en) * 2021-07-13 2021-08-13 武汉理工大学 Child accompanying robot based on intelligent emotion recognition and control method

Also Published As

Publication number Publication date
KR101887637B1 (en) 2018-08-10

Similar Documents

Publication Publication Date Title
KR101887637B1 (en) Robot system
EP3477519B1 (en) Identity authentication method, terminal device, and computer-readable storage medium
CN110135249B (en) Human behavior identification method based on time attention mechanism and LSTM (least Square TM)
CN111401216B (en) Image processing method, model training method, image processing device, model training device, computer equipment and storage medium
CN111950424B (en) Video data processing method and device, computer and readable storage medium
US11887215B2 (en) Image processing apparatus and method for style transformation
CN111418198B (en) Electronic device for providing text-related image and method of operating the same
Deng et al. MVF-Net: A multi-view fusion network for event-based object classification
CN111553267B (en) Image processing method, image processing model training method and device
CN112889108A (en) Speech classification using audiovisual data
US11853895B2 (en) Mirror loss neural networks
KR101970297B1 (en) Robot system for generating and representing emotion and method thereof
CN111768438B (en) Image processing method, device, equipment and computer readable storage medium
CN115699082A (en) Defect detection method and device, storage medium and electronic equipment
CN111667001A (en) Target re-identification method and device, computer equipment and storage medium
KR20120120858A (en) Service and method for video call, server and terminal thereof
CN112395979A (en) Image-based health state identification method, device, equipment and storage medium
CN117079299B (en) Data processing method, device, electronic equipment and storage medium
CN113703585A (en) Interaction method, interaction device, electronic equipment and storage medium
CN111108508A (en) Facial emotion recognition method, intelligent device and computer-readable storage medium
CN115131849A (en) Image generation method and related device
CN113254491A (en) Information recommendation method and device, computer equipment and storage medium
CN111680550A (en) Emotion information identification method and device, storage medium and computer equipment
CN114241459A (en) Driver identity verification method and device, computer equipment and storage medium
WO2023101679A1 (en) Text-image cross-modal retrieval based on virtual word expansion

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant