WO2020067710A1 - 대화형 인터페이스를 제공하는 방법 및 시스템 - Google Patents

대화형 인터페이스를 제공하는 방법 및 시스템 Download PDF

Info

Publication number
WO2020067710A1
WO2020067710A1 PCT/KR2019/012440 KR2019012440W WO2020067710A1 WO 2020067710 A1 WO2020067710 A1 WO 2020067710A1 KR 2019012440 W KR2019012440 W KR 2019012440W WO 2020067710 A1 WO2020067710 A1 WO 2020067710A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
event
information
electronic device
emotion
Prior art date
Application number
PCT/KR2019/012440
Other languages
English (en)
French (fr)
Inventor
황인철
고현목
김문조
최형탁
Original Assignee
삼성전자 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자 주식회사 filed Critical 삼성전자 주식회사
Priority to US16/758,570 priority Critical patent/US11423895B2/en
Priority to CN201980004767.2A priority patent/CN111226194A/zh
Priority to EP19864979.0A priority patent/EP3705990A4/en
Publication of WO2020067710A1 publication Critical patent/WO2020067710A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/30—Semantic analysis
    • G06F40/35—Discourse or dialogue representation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/004—Artificial life, i.e. computing arrangements simulating life
    • G06N3/006—Artificial life, i.e. computing arrangements simulating life based on simulated virtual individual or collective life forms, e.g. social simulations or particle swarm optimisation [PSO]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • G06N5/041—Abduction
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/06—Creation of reference templates; Training of speech recognition systems, e.g. adaptation to the characteristics of the speaker's voice
    • G10L15/063—Training
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G10L25/63—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination for estimating an emotional state
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/08—Speech classification or search
    • G10L15/16—Speech classification or search using artificial neural networks
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/223—Execution procedure of a spoken command
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS OR SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING; SPEECH OR AUDIO CODING OR DECODING
    • G10L15/00—Speech recognition
    • G10L15/22—Procedures used during a speech recognition process, e.g. man-machine dialogue
    • G10L2015/225—Feedback of the input speech

Definitions

  • the present disclosure relates to an artificial intelligence (AI) system that simulates functions such as cognition and judgment of the human brain by utilizing machine learning algorithms such as deep learning and its application. Specifically, the present disclosure relates to a method and apparatus for providing an interactive interface related to an event using an artificial intelligence (AI) system.
  • AI artificial intelligence
  • the Artificial Intelligence (AI) system is a computer system that realizes human-level intelligence, and unlike the existing Rule-based smart system, the machine learns, judges, and becomes intelligent. As the AI system is used, the recognition rate is improved and the user's taste can be more accurately understood, and the existing rule-based smart system is gradually being replaced by a deep learning-based AI system.
  • Machine learning Deep learning
  • elemental technologies utilizing machine learning.
  • Machine learning is an algorithm technology that classifies / learns the characteristics of input data by itself
  • element technology is a technology that simulates functions such as cognition and judgment of the human brain by using machine learning algorithms such as deep learning. It consists of technical fields such as understanding, reasoning / prediction, knowledge expression, and motion control.
  • Linguistic understanding is a technology that recognizes and applies / processes human language / characters, and includes natural language processing, machine translation, conversation system, question and answer, and speech recognition / synthesis.
  • Visual understanding is a technology that recognizes and processes objects like human vision, and includes object recognition, object tracking, image search, human recognition, scene understanding, spatial understanding, and image improvement.
  • Inference prediction is a technique for logically inferring and predicting information by determining information, and includes knowledge / probability-based reasoning, optimization prediction, preference-based planning, and recommendation.
  • Knowledge expression is a technology that automatically processes human experience information into knowledge data, and includes knowledge building (data generation / classification), knowledge management (data utilization), and so on.
  • Motion control is a technique for controlling autonomous driving of a vehicle and movement of a robot, and includes motion control (navigation, collision, driving), operation control (behavior control), and the like.
  • a method and system for providing emotional response to a user based on emotion information of a user related to a user event may be provided.
  • FIG. 1 is a diagram illustrating a system for providing an event-sentiment based response according to an embodiment.
  • FIG. 2 is a flowchart illustrating a method for an electronic device to provide an interactive interface according to an embodiment.
  • FIG. 3 is a diagram illustrating an operation of generating an event-emotion-based response model (AI model) through deep learning according to an embodiment.
  • FIG. 4 is a diagram for describing a method of registering a new event from voice data spoken by a user according to an embodiment.
  • FIG. 5 is a diagram for describing an operation of an electronic device responding to a user's speech according to an embodiment.
  • FIG. 6 is a diagram for describing an operation of an electronic device extracting a user event registered in the event DB according to an embodiment.
  • FIG. 7 is a flowchart illustrating a method for an electronic device to acquire emotion information of a user based on a progress stage of a user event according to an embodiment.
  • FIG. 8 is a diagram for describing an operation of an electronic device providing a notification or a response according to a progress stage of a user event according to an embodiment.
  • FIG. 9 is a diagram for describing an operation of an electronic device acquiring emotion information of a user based on a person, place, or time related to a user event according to an embodiment.
  • FIGS. 10 and 11 are diagrams for explaining an operation of personalizing the event-emotional DB according to an embodiment.
  • FIG. 12 is a diagram for describing an operation of an electronic device modifying basic emotion information according to biometric information according to an embodiment.
  • FIG. 13 is a flowchart illustrating a method of determining a tone based on emotion information of a user according to an embodiment.
  • FIG. 14 is a diagram for describing a tone determined based on emotion information of a user according to an embodiment.
  • 15 is a diagram for describing an operation of an electronic device providing a notification using a color corresponding to a user's emotion information according to an embodiment.
  • 16 and 17 are diagrams for describing an operation in which an electronic device provides a diary interface according to an embodiment.
  • 18 and 19 are block diagrams for describing an electronic device according to an embodiment.
  • a method of providing a virtual secretary interface of an electronic device includes using a virtual secretary interface to query a user for schedule information; Receiving a response to a query including information about at least one event from a user; Analyzing a response to a query to identify a user's emotional state for at least one event; Learning the user's emotion information for at least one event based on the user's emotion state; Determining a response type for at least one event based on the user's emotion information; And providing notification information on at least one event according to the interaction type through the virtual assistant interface.
  • a method for providing a virtual assistant interface of an electronic device includes receiving voice data spoken from a user in response to a query; Extracting information related to at least one event from voice data; And using the extracted information, registering at least one event as a new event in the electronic device.
  • a method for providing a virtual assistant interface of an electronic device includes obtaining basic emotion information related to at least one event from a table mapping events and emotion information; Identifying a user's emotional state for at least one event based on the information analyzed with the voice data; And learning the emotion information of the user for at least one event by correcting the basic emotion information based on the emotion state of the user.
  • a method for providing a virtual assistant interface of an electronic device may include comparing a current time and a scheduled time of occurrence of at least one event to determine a progress stage of at least one event; And updating the emotion information of the user for the at least one event based on the progressing step of the at least one event.
  • a method for providing a virtual assistant interface of an electronic device includes obtaining feedback information on at least one event from a user after the at least one event is finished; And updating the emotion information of the user for the at least one event based on the obtained reaction information.
  • a method for providing a virtual assistant interface of an electronic device uses a user related information, at least one of a person related to at least one event, a scheduled time of occurrence of the at least one event, and a place related to at least one event It may include the step of learning the emotion information.
  • a method of providing a virtual assistant interface of an electronic device may include determining a tone for providing notification information for at least one event based on emotion information of a user.
  • a method of providing a virtual assistant interface of an electronic device includes selecting a color corresponding to emotion information of a user; And displaying notification information on at least one event using the selected color.
  • the method for providing a virtual assistant interface of an electronic device may further include providing a response to a user's speech related to at least one event based on the determined response type.
  • a method for providing a virtual assistant interface of an electronic device may include determining a notification providing method related to at least one event in consideration of a user's situation; And providing notification information on at least one event according to the determined notification providing method.
  • the method for providing a virtual assistant interface of an electronic device may further include providing a diary interface including emotion information of a user related to at least one event.
  • An electronic device includes an output unit that provides a virtual secretary interface; And at least one processor, wherein the at least one processor comprises: using a virtual secretary interface, querying the user for schedule information; Receiving a response to a query including information about at least one event from a user; Analyzing a response to a query to identify a user's emotional state for at least one event; Learning the user's emotion information for at least one event based on the user's emotion state; Determining a response type for at least one event based on the user's emotion information; And providing a notification information for at least one event through a virtual assistant interface according to a response type.
  • a computer program product includes an operation of querying schedule information to a user using a virtual assistant interface; Receiving a response to a query including information about at least one event from a user; Analyzing a response to a query to identify a user's emotional state for at least one event; Learning the user's emotion information for at least one event based on the user's emotion state; Determining a response type for at least one event based on the user's emotion information; And a recording medium storing a program for performing an operation of providing notification information on at least one event through a virtual secretary interface according to a response type.
  • a method for providing a virtual secretary interface of an electronic device includes providing notification information about at least one event to a user through a virtual secretary interface; Obtaining feedback information of a user for at least one event included in the notification information; Analyzing a user's reaction information to identify a user's emotional state for at least one event; And learning the emotion information of the user for at least one event based on the emotion state of the user.
  • An electronic device includes an output unit that provides a virtual secretary interface; And at least one processor, wherein the at least one processor comprises: providing notification information about at least one event to the user through a virtual assistant interface; Obtaining feedback information of a user for at least one event included in the notification information; Analyzing a user's reaction information to identify a user's emotional state for at least one event; And learning the user's emotion information for at least one event based on the user's emotion state.
  • a computer program product may include providing notification information on at least one event to a user through a virtual assistant interface; Obtaining feedback information of a user for at least one event included in the notification information; Analyzing a user's reaction information to identify a user's emotional state for at least one event; And a recording medium storing a program for performing an operation of learning the user's emotion information for at least one event based on the user's emotion state.
  • a method of providing an interactive interface by an electronic device includes: acquiring emotion information of a user related to a user event registered in the electronic device; Determining an interaction type corresponding to a user event based on the user's emotion information; And based on the determined response type, providing a response to a user's speech related to the user event.
  • An electronic device includes an output unit that provides an interactive interface; At least one processor; And when executed by at least one processor, the electronic device acquires emotion information of a user related to a user event registered in the electronic device, and determines an interaction type corresponding to the user event based on the emotion information of the user , Based on the determined response type, may include a memory for storing at least one command to perform an operation of providing a response to a user's speech related to a user event through an interactive interface.
  • a computer program product may include: obtaining emotion information of a user related to a user event; Determining an interaction type corresponding to a user event based on the emotion information of the user; And a recording medium storing a program for performing an operation for providing a response to a user's utterance related to a user event based on the determined response type.
  • FIG. 1 is a diagram illustrating a system for providing an event-sentiment based response according to an embodiment.
  • a system providing an event-sentiment based response may include an electronic device 1000.
  • a system for providing an event-sentiment-based response may further include a server (not shown) in addition to the electronic device 1000 or a wearable device for measuring a user's biosignal.
  • a server not shown
  • the system providing the event-emotion-based response includes the electronic device 1000 and an external wearable device will be described in detail later with reference to FIG. 12.
  • the electronic device 1000 may be implemented in various forms.
  • the electronic device 1000 described herein includes a digital camera, a smart phone, a laptop computer, a tablet PC, an electronic book terminal, a digital broadcasting terminal, and PDAs (Personal Digital Assistants). , PMP (Portable Multimedia Player), navigation, MP3 player, and the like, but is not limited thereto.
  • PMP Portable Multimedia Player
  • the electronic device 1000 described in this specification may be a wearable device.
  • Wearable devices include accessory devices (e.g. watches, rings, cuff bands, ankle bands, necklaces, glasses, contact lenses), head-mounted devices (HMDs), fabric or garment-integrated devices (e.g.
  • Electronic clothing e.g., a body-attached device (eg, a skin pad), or a bio-implantable device (eg, an implantable circuit).
  • a body-attached device e.g, a skin pad
  • a bio-implantable device e.g, an implantable circuit
  • the electronic device 1000 may be a device providing an interactive interface.
  • the interactive interface may be an interface for a user that receives input from a user (eg, voice input or text input) and provides a response to input from the user.
  • the interactive interface may include a virtual assistant, an artificial intelligence assistant, but is not limited thereto.
  • the virtual assistant or the artificial intelligence assistant may be a software agent that handles tasks requested by the user and provides specialized services to the user.
  • the electronic device 1000 acquires (or analyzes, infers) the emotional state of the user related to the user event 100 using the artificial intelligence model, and adaptively adapts to the emotional state of the user. Responses can be provided through an interactive interface. For example, when the emotional state of the first user associated with the user event 100 is the concerned state 10, the electronic device 1000 determines the first interaction type as the interaction type, and according to the first interaction type. 1 Can respond to the user's speech. In addition, when the emotional state of the first user related to the user event 100 is the angry state 20, the electronic device 1000 determines the second interaction type as the interaction type and the first interaction as the second interaction type.
  • the third interaction type is determined as the interaction type and the first user's utterance is determined according to the third interaction type Can respond to
  • the first interaction type, the second interaction type, and the third interaction type may be different types, and accordingly, the electronic device 1000 may provide the user with emotional interaction based on the event.
  • the user event 100 is an event related to the user, and may be an event discovered by the electronic device 1000 during a conversation with the user, and the user may advance in advance to a schedule management application, calendar application, contact application, SNS application, It may be a registered event.
  • the user event 1000 is a business-related event (eg, meeting, presentation, business trip, etc.), an acquaintance-related event (eg, friend wedding, family birthday party, wedding anniversary, etc.), hobby and Related events (e.g. watching sports games, watching movies, musical tickets, photo club events, tennis clubs, marathon appearances, etc.), events related to celebrities (e.g. concerts, fan meetings, etc.) , Christmas, etc.), but is not limited thereto.
  • the processor may consist of one or more processors.
  • the one or a plurality of processors may be a general-purpose processor such as a CPU, an AP, or a digital signal processor (DSP), a graphic processor such as a GPU or a vision processing unit (VPU), or an artificial intelligence processor such as an NPU.
  • DSP digital signal processor
  • VPU vision processing unit
  • One or a plurality of processors are controlled to process input data according to predefined operation rules or artificial intelligence models stored in the memory.
  • the AI-only processors may be designed with a hardware structure specialized for processing a specific AI model.
  • the predefined motion rules or artificial intelligence models are characterized by being created through learning.
  • the basic artificial intelligence model is learned using a plurality of training data by a learning algorithm, thereby creating a predefined operation rule or artificial intelligence model set to perform a desired characteristic (or purpose). It means Jim.
  • Such learning may be performed on a device on which artificial intelligence according to the present disclosure is performed, or may be performed through a separate server and / or system. Examples of learning algorithms include supervised learning, unsupervised learning, semi-supervised learning, or reinforcement learning, but are not limited to the examples described above.
  • the artificial intelligence model may be composed of a plurality of neural network layers.
  • Each of the plurality of neural network layers has a plurality of weight values, and performs a neural network operation through calculation between a result of calculation of a previous layer and a plurality of weights.
  • the plurality of weights of the plurality of neural network layers may be optimized by learning results of the artificial intelligence model. For example, a plurality of weights may be updated such that a loss value or a cost value obtained from the artificial intelligence model is reduced or minimized during the learning process.
  • the artificial neural network may include a deep neural network (DNN), for example, Convolutional Neural Network (CNN), Deep Neural Network (DNN), Recurrent Neural Network (RNN), Restricted Boltzmann Machine (RBM), There are Deep Belief Network (DBN), Bidirectional Recurrent Deep Neural Network (BRDNN) or Deep Q-Networks, but are not limited to the above-described examples.
  • DNN Deep neural network
  • a user can provide a true emotional response by discovering events that the user considers important through a conversation, responding proactively based on the found events, or assisting the user with necessary information. have.
  • an operation in which the electronic device 1000 provides emotional response based on the user's emotional state with respect to the user event 100 will be described in detail with reference to FIG. 2.
  • FIG. 2 is a flowchart illustrating a method for an electronic device to provide an interactive interface according to an embodiment.
  • the electronic device 1000 may obtain emotion information of a user related to a user event registered in the electronic device 1000.
  • the electronic device 1000 may check a user event registered in the event database DB.
  • the event DB may include or be linked to a schedule management application (eg, To do list), a calendar application, an SNS application, a contact application, and the like.
  • the user event may be an event manually input by the user or an event automatically input by the electronic device 1000 or the server.
  • the electronic device 1000 may obtain the emotion information of the user related to the user event by analyzing the response from the user to learn the user's emotion information about the user event. For example, the electronic device 1000 may query the user for schedule information using the virtual assistant interface. In this case, the electronic device 1000 may receive a response including information on at least one event from the user. The electronic device 1000 may analyze the response received from the user to identify the user's emotional state for at least one event. Also, the electronic device 1000 may learn the user's emotion information for at least one event. Here, learning the user's emotion information for at least one event may mean determining a weight of at least one emotion element associated with the at least one event.
  • the electronic device 1000 may extract a user event from voice data uttered by the user, and register the extracted user event in the event DB as a new event.
  • the operation of the electronic device 1000 to extract a user event from voice data uttered by the user will be described in detail later with reference to FIG. 4.
  • the user's emotion information related to the user event may be information indicating the user's emotion state for the user event.
  • the emotion information of the user may be information indicating a single emotional state, or information indicating a complex emotional state in which two or more emotions are combined.
  • emotional information can be enjoyment, tension, anxiety, happiness, fear, displeasure, annoyance, embarrassment, sadness, depression, regret, ashamedy, sadness, confidence, love, hate, love, excitement, exciting , May include at least one emotion of stability, relief, and fear, but is not limited thereto.
  • the electronic device 1000 may acquire emotion information of a user related to the user event at the time when the user's speech related to the user event is detected.
  • the electronic device 1000 may acquire the user's emotion information for the user event in order to preemptively respond before the user's speech related to the user event. For example, the electronic device 1000 obtains the user's current emotion information for the user event, in order to check the expected time of occurrence of the user event and to provide a notification related to the user event 10 minutes before the user event occurs can do.
  • the electronic device 1000 may acquire emotion information of a user related to a user event using an artificial intelligence model.
  • the electronic device 1000 may obtain emotion information of a user corresponding to a specific user event from an event-emotional database DB generated (or refined) by an artificial intelligence model.
  • the event-emotion database DB may store average emotion information of the general public for a specific event or personalized emotion information for each user for a specific event, but is not limited thereto.
  • the artificial intelligence model may be trained based on at least one of emotion information analyzed by an expert and past emotion information of a user.
  • the artificial intelligence model may be stored in the electronic device 1000 or may be stored in a server (eg, a cloud server) associated with the electronic device 1000.
  • the artificial intelligence model will be described in detail later with reference to FIG. 3.
  • the electronic device 1000 may determine a progress stage of a user event by comparing the current time with a scheduled time of occurrence of the user event.
  • the current time may include a time for detecting an utterance from the user, but is not limited thereto.
  • the electronic device 1000 may determine whether the current time is before a user event occurs or after a user event ends.
  • the electronic device 1000 may acquire emotion information of a user related to the user event in consideration of a progress stage of the user event. For example, when the user event is attending a marathon competition, the electronic device 1000 may determine the emotion information of the user as 'tense weight: 0.5, pleasure weight: 0.5' before the user event occurs. On the other hand, after the end of the user event (eg, attending a marathon competition), the electronic device 1000 may determine the emotion information of the user as 'happiness weight: 0.3, joy weight: 0.7'.
  • the electronic device 1000 may obtain the user's emotion information in consideration of additional information related to the user event. For example, the electronic device 1000 may subdivide the emotion information of the user in consideration of at least one of a person related to the user event, a scheduled time of occurrence of the user event, and a place related to the user event. In this case, the electronic device 1000 may obtain additional information related to the user event by directly querying the user or obtain additional information related to the user event by parsing an email or a message. The electronic device 1000 will consider the additional information related to the user event, and the operation of subdividing the emotion information of the user will be described later with reference to FIG. 9.
  • the electronic device 1000 may obtain default emotion information related to a user event from a table mapping events and emotion information.
  • the basic emotion information may be information about a user's past emotion related to a user event, or may be average emotion information that the public feels about the user event.
  • the table mapping the event and emotion information may be stored in the event-emotion database (DB) associated with the artificial intelligence model, but is not limited thereto.
  • the electronic device 1000 may include biometric information of a user (eg, heart rate information, pulse information, breathing information, eye tremor information, facial expression change information, sweat generation degree information, body temperature change information, voice input, etc.)
  • biometric information of a user eg, heart rate information, pulse information, breathing information, eye tremor information, facial expression change information, sweat generation degree information, body temperature change information, voice input, etc.
  • the electronic device 100 obtains basic emotion information related to at least one event from a table that maps the event and emotion information, and based on the information analyzed from the user's speech data.
  • Modifying the basic emotion information may mean adjusting weights corresponding to each of the emotion elements included in the basic emotion information. For example, if the basic emotion information is 'tension weight: 0.3, pleasure weight: 0.7', the electronic device 1000 increases the tension weight from '0.3' to '0.6' based on the user's biometric information, and the pleasure The weight can be reduced from '0.7' to '0.4'.
  • the electronic device 1000 may acquire biometric information of the user using an internal sensor, or may obtain biometric information of the user from an external device (eg, an external wearable device). .
  • the electronic device 1000 may acquire a user's face image and analyze the user's face image by using at least one camera (eg, a general image sensor, an infrared sensor, a depth sensor, etc.). Expression changes or eye tremors can be observed.
  • the electronic device 1000 may observe a change in a user's body temperature using an infrared sensor. At this time, the electronic device 1000 may infer the user's current emotional state based on the user's facial expression change or eye tremor.
  • the electronic device 1000 may receive voice data from a user through a microphone, analyze the voice data, and infer the user's actual emotional state.
  • the operation of the electronic device 1000 to receive biometric information of the user from an external device will be described in detail later with reference to FIG. 12.
  • step S220 the electronic device 1000 may determine a response type corresponding to the user event, based on the emotion information of the user.
  • the interaction type is an interaction style taken when providing a response to a user, and depending on the interaction type, how much additional information is provided in addition to information related to a user event, and how to use a tone to respond.
  • the response type is an encouragement type (e.g., topic conversion weight: 0.3, 'cheer up weight: 0.7), tuning type (e.g., sympathy weight: 0.9, cheering weight: 0.1)), upward type (e.g. , Top weight: 0.8, weighting factor: 0.2), a cheering type (eg, cheering weight: 0.9, additional information providing weight: 0.1), and the like, but are not limited thereto.
  • the electronic device 1000 when the user's emotion information for the first event is' tension weight: 0.9 'and' enjoyment weight: 0.1 ', the electronic device 1000' encourages the interaction type corresponding to the first event. Type '. Also, when the user's emotion information for the second event is 'pleasure weight: 0.9' and 'tension weight: 0.1', the electronic device 1000 determines a response type corresponding to the second event as a 'tuning type'. You can.
  • the electronic device 1000 may determine an interaction type corresponding to a user's event using an artificial intelligence model. For example, the electronic device 1000 may determine the interaction type mapped with the emotion information from the interaction method database DB generated (or updated) by the artificial intelligence model.
  • a table mapping emotion information and interaction type may be stored in the interaction method DB, but is not limited thereto.
  • the electronic device 1000 may determine a response type by reflecting a user's preference. For example, the electronic device 1000 reflects a user's preference, whether to use a simple image (eg, emoticon) when responding, a method of responding (eg, respond to text, respond to voice, respond to a notification window, etc.), You can determine the tone, etc.
  • a simple image eg, emoticon
  • a method of responding eg, respond to text, respond to voice, respond to a notification window, etc.
  • the electronic device 1000 may determine a tone for responding to the user's speech in consideration of the user's emotion information. Also, the electronic device 1000 may determine a color for responding to the user's speech in consideration of the user's emotion information. The operation of the electronic device 1000 to determine tone or color will be described in detail later with reference to FIGS. 14 and 15.
  • the electronic device 1000 may provide a response to the user's speech related to the user event, based on the determined response type.
  • providing a response to the user's utterance may include preemptive response to induce the user's utterance (eg, providing a notification related to a user event).
  • the electronic device 1000 may provide a response to a user's speech related to a user event using an artificial intelligence model. For example, the electronic device 1000 may extract a response corresponding to the user's speech from the response database DB generated (or updated) by the artificial intelligence model.
  • the response DB may store a table mapping the response type, a phrase that can be input from the user, and a response phrase, but is not limited thereto.
  • the electronic device 1000 may select the first response phrase as the response phrase when the determined response type is the encouragement type, and select the second response phrase as the response phrase when the determined response type is the synchronization type.
  • additional information may be different even though the response phrases are the same.
  • the electronic device 1000 may select the first response phrase as the response phrase and the first text as the additional information.
  • the electronic device 1000 may select the first response phrase as the response phrase and the second text as additional information.
  • the electronic device 1000 may provide a response in a text form in a conversation window or in a voice form.
  • the notification window eg, a pop-up window
  • the notification window may be provided in the form of text, but is not limited thereto.
  • the electronic device 1000 may select a color corresponding to the user's emotion information, and use the selected color to display a response to the user's speech related to the user event. For example, when the first color is selected based on the first emotion information of the user for the first event, the electronic device 1000 may provide a response to the notification window indicated by the first color. On the other hand, when the second color is selected based on the second emotion information of the user for the second event, the electronic device 1000 may provide a response to the notification window indicated by the second color.
  • the electronic device 1000 may provide a response by applying a user-preferred expression method. For example, when the first sentence input from the user may be answered with 'strength' or 'fighting', the electronic device 1000 selects 'strength' which is the preferred expression method of the user. You can.
  • the electronic device 1000 may select a tone preferred by the user, select a voice preferred by the user, select a notification method preferred by the user, or select a color preferred by the user, but is not limited thereto. It is not.
  • the electronic device 1000 may consider a user's situation. For example, the electronic device 1000 may determine a notification providing method related to a user event in consideration of a user's situation. In addition, the electronic device 1000 may provide a notification related to a user event according to the determined notification providing method. For example, the electronic device 1000 only displays a notification (or reminder) related to the evening event on the screen without sound when the user is in the afternoon presentation, and when the user approaches the scheduled time of occurrence of the evening event, vibrates or sounds. You can notify (or remind again) with.
  • the electronic device 1000 may provide a diary interface including emotion information of a user related to a user event.
  • the electronic device 1000 may provide a simple image or graph representing emotion information of the user for each stage of progress of the user event. The operation in which the electronic device 1000 provides a diary interface will be described in detail later with reference to FIGS. 16 and 17.
  • the electronic device 1000 may also provide a response to text input from the user based on the emotion information of the user.
  • the artificial intelligence model will be described in detail with reference to FIG. 3.
  • FIG. 3 is a diagram illustrating an operation of generating an event-emotion-based response model (AI model) through deep learning according to an embodiment.
  • the AI processor included in the electronic device 1000 or the server may generate an event-emotion-based response model 300 that determines an interaction method by learning an artificial neural network.
  • the event-emotion-based response model 300 may be expressed as an artificial intelligence model or a response model. “Learning” an artificial neural network may mean creating a mathematical model in which the neurons constituting the artificial neural network can make optimal decisions by appropriately changing the weights based on the data.
  • the AI processor acquires data created by an expert or published data as learning data 301, and uses the learning data 301 to generate an event-emotion-based response model 300 can do.
  • the data created by the expert may include sentiment information analyzed or extracted by the expert from phrases expected to be spoken by the user.
  • the published data may include emotion information analyzed or extracted from texts collected from the web or SNS server.
  • the public data may include emotion information of happy analyzed / extracted from the phrase 'Skipped school today skipping school tomorrow haha'.
  • Data created by experts or published data may be converted into a predetermined format and used as learning data 301 for generating an event-emotion-based response model 300.
  • the AI processor acquires emotion information (eg, feedback information, etc.) input from the user, emotion information, etc. obtained from the user's biometric information, and the learning data 302.
  • emotion information eg, feedback information, etc.
  • an event-emotion-based response model 300 may be generated.
  • Emotion information (eg, feedback information, etc.) input from the user, emotion information obtained from the user's biometric information, and the like are converted into a preset format, thereby learning data 302 for generating an event-emotion-based response model 300 Can be used.
  • the event-emotion-based response model 300 generates an event-emotion DB 310, a response method DB 320, and a response DB 330 by learning using the training data 301. You can.
  • the event-sentiment-based response model 300 as the training data 301 is added or updated (refine), the event-sentiment DB 310, the response method DB 320, the response DB ( 330) can be updated.
  • the event-emotion DB 310 is a DB defining an association relationship between events and emotions, and may include a table mapping event and emotion information.
  • the event-emotion DB 310 may include information such as "first event: tension (0.6), pleasure (0.4)", “second event: fear (0.7), tension (0.3)”. You can.
  • the event-emotion DB 310 may store a table in which emotion information is further subdivided according to the time, person, and location associated with the event.
  • the event-emotion-based response model 300 may further segment the user's emotion information in consideration of the time, person, and place associated with the event. If, when the event DB does not store specific information on the time, person, and place related to the event, the event-emotion-based response model 300 acquires information about the time, person, and place related to the event by asking the user You may.
  • the table in which emotion information is further subdivided will be described in detail later with reference to FIG. 9.
  • the interaction method DB 320 is a DB defining an association relationship between emotions and an interaction method, and a table mapping emotion information and an interaction type may be stored. For example, in the interaction method DB 320, "first emotion information (relaxation (0.6), pleasure (0.4))-first interaction type (topic conversion (0.3), encouragement (0.7))", “second emotion Information (Relief)-The second interaction type (I agree (0.9)).
  • the response DB 330 is a DB defining an association relationship between a response method (a response type) and a response sentence, and a table mapping a response type and a response phrase may be stored.
  • a response method e.g., a response type
  • a response sentence e.g., a response sentence
  • a table mapping a response type and a response phrase may be stored.
  • information such as "first response type (eg, encouragement type: topic conversion (0.3), encouragement (0.7))-response phrase (fighting (0.6) / history (0.4)” May be included.
  • the event-emotion-based response model 300 acquires personalized learning data 302 and uses the personalized learning data 302 to provide an event-emotion DB 310 and an interaction method DB ( 320), the response DB 330 can be personalized.
  • the electronic device 1000 may obtain feedback on the user event from the user after the user event ends. Then, the electronic device 1000 may input feedback for the user event into the personalized learning data 302 in the event-emotion-based response model 300. At this time, the event-emotion-based response model 300 may update a table mapping the event and emotion information included in the event-emotion DB 310 based on feedback for the user event.
  • the electronic device 1000 determines the user's emotion information for the first event as 'tension (0.5), pleasure (0.5)', but when the user inputs feedback, the emotion information of the user In the case of 'tension (0.8), pleasure (0.2)', the event-emotion DB 310 displays the user's emotion information for the first event from 'tension (0.5), pleasure (0.5)' to 'tension (0.8),' Pleasure (0.2) '.
  • the electronic device 1000 may obtain feedback on the emotion information of the user before the user event occurs.
  • the event-emotion-based response model 300 of the electronic device 1000 may update the user's emotion information for each event progress step included in the event-emotion DB 310.
  • the electronic device 1000 may acquire the biometric information of the user and personalize the event-emotion DB 310 using the user's actual emotion information inferred from the biometric information.
  • the electronic device 1000 may personalize the interaction method DB 320 and the response DB 330 by acquiring information about a user's preferred interaction type or a user's preferred expression.
  • the electronic device 1000 detects a new event from voice data uttered from the user, and uses the event-emotion-based response model 300 to utter the user's utterance related to the new event Let's take a closer look at how to provide a response to.
  • FIG. 4 is a diagram for describing a method of registering a new event from voice data spoken by a user according to an embodiment.
  • step S410 the electronic device 1000 may extract information related to a user event from voice data spoken by the user.
  • the electronic device 1000 may generate data as a result of analyzing voice data based on natural language processing.
  • the electronic device 1000 may convert voice data into text data, and detect information related to a user event from the text data based on natural language processing.
  • the electronic device 1000 analyzes voice data including a voice of 'a friend Jenna is having a wedding on Saturday,' and detects a 'wedding ceremony' as a new user event, and a new user event (wedding ceremony)
  • voice data including a voice of 'a friend Jenna is having a wedding on Saturday,' and detects a 'wedding ceremony' as a new user event, and a new user event (wedding ceremony)
  • 'married person Jenna
  • user relationship friend
  • wedding date this Saturday (6/30)' can be obtained.
  • the electronic device 1000 may register the user event as a new event using the extracted information.
  • the electronic device 1000 may include information related to a user event (eg, wedding) detected from voice data in the event DB associated with the AI model ('married person: Jenna, user relationship: friend, wedding date : By saving this Saturday (6/30) '), the wedding can be registered as a new event.
  • a user event eg, wedding
  • the electronic device 1000 may include information related to a user event (eg, wedding) detected from voice data in the event DB associated with the AI model ('married person: Jenna, user relationship: friend, wedding date : By saving this Saturday (6/30) '), the wedding can be registered as a new event.
  • the event DB may be linked to a schedule management application, a calendar application, a contact application, an SNS application, but is not limited thereto.
  • the event DB is a DB defining user events that the user considers important, and may include information on events directly input by the user, information on events automatically registered by the system, and the like.
  • the electronic device 1000 may extract emotion information of the user from voice data spoken by the user.
  • the electronic device 1000 may convert speech data into text data, and detect information related to an emotional state from text data based on natural language processing.
  • the electronic device 1000 may detect 'tension' as the emotion information of the user by analyzing the voice data of 'I am going to sing an anthem at the wedding of a friend Jenna this Saturday, but I am nervous.'
  • step S440 when the user's emotion information is not extracted from the voice data, the electronic device 1000 may obtain the user's emotion information related to the user event from the event-emotional DB. Since step S440 may correspond to step S220 of FIG. 2, detailed description will be omitted.
  • step S450 the interaction type corresponding to the user event may be determined based on the emotion information of the user.
  • the electronic device 1000 may determine a response type corresponding to the user event based on the extracted emotion information. If the user's emotion information is not extracted from the voice data uttered from the user, a response type corresponding to the user event may be determined based on the user's emotion information obtained from the event-emotion DB.
  • the electronic device 1000 may determine an interaction type mapped with emotion information from the interaction method DB 320 generated (or updated) by the artificial intelligence model. Since step S450 corresponds to step S220 of FIG. 2, detailed description will be omitted.
  • step S460 the electronic device 1000 may provide a response to the user's speech related to the user event, based on the determined response type.
  • the electronic device 1000 extracts a response mapped to the response type from the response DB generated (or updated) by the artificial intelligence model, and provides the extracted response to the user through the interactive interface. You can. Since step S460 corresponds to step S230 of FIG. 2, detailed description will be omitted.
  • FIG. 5 is a diagram for describing an operation of an electronic device responding to a user's speech according to an embodiment.
  • step S510 when the user speaks, the electronic device 1000 may acquire the user's voice data through a microphone, analyze the voice data, and understand the user's language. That is, the electronic device 1000 may extract a user's intention from voice data, extract information related to a user event, and extract emotion information about the user event (S510). For example, when the user speaks that 'the important presentation is in the afternoon', the electronic device 1000 extracts' new event registration 'as the user's intention, and as the information related to the new event,' presentation, afternoon 'Can be extracted. At this time, special emotion information may not be extracted from the user's speech.
  • the electronic device 1000 may determine a response. For example, the electronic device 1000 may register 'presentation, afternoon' as a new event in the event DB 340 according to a user's intention. In step S521, the electronic device 1000 may extract first emotion information corresponding to the presentation (eg, 'tension weight: 0.6, pleasure weight: 0.4') from the event-emotion DB 310. In step S522, the electronic device 1000 first response method (eg, first interaction type) corresponding to the first emotion information (eg, 'tension weight: 0.6, pleasure weight: 0.4') from the interaction method DB 320. : Other information (0.3), Cheerup (0.7)) can be extracted.
  • the electronic device 1000 may set a response. For example, the electronic device 1000 may change a response according to a user event and a response method.
  • the electronic device 1000 may extract, from the response DB 330, 'You are presenting' as a basic response to the user's speech, and extract 'It is a meeting' as an additional response.
  • the electronic device 1000 presents you through the interactive interface. You can print this!
  • the electronic device 1000 may acquire emotion information of the user before or after the presentation.
  • the electronic device 1000 may update the personal emotion database based on the acquired emotion information of the user.
  • the electronic device 1000 may personalize the event-emotion DB 310 by modifying default emotion information included in the event-emotion DB 310 (S540).
  • FIG. 6 is a diagram for describing an operation of an electronic device extracting a user event registered in the event DB according to an embodiment.
  • the electronic device 1000 may receive the first voice data 601 by the first utterance of the user 600. For example, the electronic device 1000 may receive a query input from the user 600, 'Are there anything important today?'. At this time, the electronic device 1000 may analyze the first voice data 601 received from the user 600 and extract the intention of the user 600 (eg, the user's main schedule confirmation of the day).
  • the electronic device 1000 may access the event DB 340 associated with the event-emotion-based response model 300 in order to check the schedule of the user 600 today.
  • the electronic device 1000 may check event information (eg, presentation to the vice president) related to the user 600 from the event DB 340 and provide a first response 602.
  • event information eg, presentation to the vice president
  • the electronic device 1000 may provide a first response 602, 'There is a presentation to the vice president this afternoon.'
  • the electronic device 1000 may receive the second voice data 603 from the user 600 who has heard the first response 602. For example, the electronic device 1000 may say, 'Oh, right! I need to do well ... 'can receive the second voice data 603.
  • the electronic device 1000 may provide basic emotion information (eg, tension weight: 0.6, pleasure) corresponding to a user event called 'presentation to the vice president' from the event-emotion DB. Weight: 0.4 '
  • the electronic device 1000 may also extract emotion information from the second voice data 603.
  • the electronic device 1000 may include the second voice data ( A 'worry' may be extracted as emotion information from 603.
  • the electronic device 1000 may base emotion information (eg, on the basis of emotion information (eg, anxiety) extracted from the second voice data 603).
  • emotion information eg, anxiety
  • the electronic device 1000 may change basic emotion information (eg, tension weight: 0.6, pleasure weight: 0.4') to 'tension weight: 0.6,' Pleasure weight: 0.1, Worry weight: 0.3 ' There.
  • the electronic device 1000 responds to the response type as' encouragement type (provides necessary information + adds encouraging phrase) You can decide.
  • the electronic device 1000 may provide the second response 604 in an encouragement type.
  • the electronic device 1000 may say, 'Presentation is at 3 pm (provided necessary information), so take time. Please take good care of the data, and it is possible to print 'This is a setting ⁇ (add an inspirational phrase)' as the second response (604).
  • FIG. 7 is a flowchart illustrating a method for an electronic device to acquire emotion information of a user based on a progress stage of a user event according to an embodiment.
  • the electronic device 1000 may determine a progress stage of the user event by comparing the current time with a scheduled time of occurrence of the user event.
  • the progress stage of the user event may include, but is not limited to, before the event occurs (eg, one day ago, one hour ago, ten minutes ago, etc.), during the event, and after the event ends.
  • the electronic device 1000 may determine the progress of the user event as '1 hour before the user event occurrence'.
  • the current time may be a point in time when a utterance from the user is detected. That is, the electronic device 1000 may determine whether the time at which the utterance from the user is detected is before or after the occurrence of the user event.
  • step S720 the electronic device 1000 may obtain emotion information of the user related to the user event, based on the progress of the user event.
  • the electronic device 1000 obtains the user's emotion information in consideration of the progress of the user event. You can. For example, the electronic device 1000 may extract a 'nervous weight' lower after a user event occurs than before a user event occurs.
  • step S730 the electronic device 1000 may determine a response type corresponding to the user event based on the emotion information of the user.
  • the electronic device 1000 may determine an interaction type mapped with emotion information from the interaction method DB 320 generated (or updated) by the artificial intelligence model. Since step S730 corresponds to step S220 of FIG. 2, a detailed description will be omitted.
  • the electronic device 1000 may provide a response to the user's speech related to the user event, based on the determined response type.
  • the electronic device 1000 extracts a response mapped to the response type from the response DB generated (or updated) by the artificial intelligence model, and provides the extracted response to the user through the interactive interface. You can.
  • the response may include a preemptive response (eg, providing a notification for a user event). Since step S740 corresponds to step S230 of FIG. 2, detailed description will be omitted.
  • FIG. 8 is a diagram for describing an operation of an electronic device providing a notification or a response according to a progress stage of a user event according to an embodiment.
  • the electronic device 1000 may talk to the user 800 every morning (800), in order to check whether there is a new event to be registered in the event DB, "Good morning. What's important today?" .
  • the electronic device 1000 analyzes the user's voice data when the user 800 detects the first utterance saying 'there is a presentation to the vice president at 3 pm today', and analyzes the user's voice data at '1 pm, Presentation to the Vice President can be registered as a new event.
  • the electronic device 1000 obtains emotion information (eg, pleasure weight: 0.4, tension weight: 0.6) corresponding to 'presentation to the vice president', using an artificial intelligence model, and emotion information (eg, pleasure weight: 0.4, the tension weight: 0.6) may determine the response type for the first utterance. For example, the electronic device 1000 may determine a first encouraging type (eg, cheerup weight: 0.7, topic switching weight: 0.3) as the interaction type. The electronic device 1000 may output a response to the first utterance (for example, yes .. I will take good care of it. Hope you do well ⁇ ) according to the first encouraging type.
  • emotion information eg, pleasure weight: 0.4, tension weight: 0.6
  • a first encouraging type eg, cheerup weight: 0.7, topic switching weight: 0.3
  • the electronic device 1000 may output a response to the first utterance (for example, yes .. I will take good care of it. Hope you do well ⁇ ) according to the first encouraging type.
  • the electronic device 1000 before providing a notification related to the user event to the user 800, the current time (1 PM) and the expected time of occurrence of the user event (eg, presentation to the vice president) (eg, 3 PM) ). According to the comparison result, the electronic device 1000 may recognize that the current user event (eg, presentation to the vice president) is before occurrence 820.
  • the electronic device 1000 may acquire emotion information (eg, pleasure weight: 0.1, worry weight: 0.2, tension weight: 0.7) of the user 800 in consideration of the occurrence of the user event 820.
  • the electronic device 1000 is a response type corresponding to the emotion information of the user 800 (eg, pleasure weight: 0.1, worry weight: 0.2, tension weight: 0.7), and a second encouragement type (eg, cheerup weight: 0.9, topic) Conversion weight: 0.1) can be determined.
  • the electronic device 1000 may preemptively respond according to the second encouragement type.
  • the electronic device 1000 may provide a notification that the 'presentation is a little nervous ⁇ take good care of the data!'.
  • the user 800 responds' thank you for the notification of the electronic device 1000.
  • the electronic device 1000 may output a response of 'Yes ⁇ it's setting!' According to the second encouragement type.
  • the electronic device 1000 may query the user 800 for emotion information regarding the user event. For example, the electronic device 1000 may output an inquiry, 'How was your presentation today?' When the user 800 responds to the inquiry 'Yes, well prepared, but a little broken', the electronic device 1000 obtains the emotion information of the user 800 in consideration of the occurrence of the user event 830 can do. In this case, the electronic device 1000 may extract emotion information from the user's voice data. For example, the electronic device 1000 may obtain 'regret weight: 0.4, relief weight: 0.4, pleasure weight: 0.2' as emotion information for the presentation.
  • the electronic device 1000 is a type that agrees with an interaction type corresponding to the emotion information of the user 800 (eg, regret weight: 0.4, relief weight: 0.4, pleasure weight: 0.2) (eg, agree weight: 0.9, other Information providing weight: 0.1) can be determined.
  • the electronic device 1000 may provide a first response, 'You have prepared hard, but would you like to be disappointed' based on the determined response type (type to agree).
  • the electronic device 1000 may output a second response, 'Yes, I'll do better next time'.
  • the electronic device 1000 may record the emotion information of the user after the end of the user event and recycle it later. For example, the electronic device 1000 may induce a user to re-think the memory of the user by re-minding information related to an existing user event when a similar event occurs to the user later.
  • FIG. 9 is a diagram for describing an operation of an electronic device acquiring emotion information of a user based on a person, place, or time related to a user event according to an embodiment.
  • emotion information according to the event 900 may be further subdivided according to the person, place, or time associated with the event 900. You can.
  • the electronic device 1000 may obtain detailed emotion information of the user based on a person, place, or time related to the event 900.
  • the electronic device 1000 may basically determine the emotion information of the user as 'tension weight: 0.4, pleasure weight: 0.6'.
  • the user's emotion information may be determined in consideration of the information about the other party of the presentation 910. For example, when the other party of the presentation 910 is the CEO, the electronic device 1000 may determine the user's emotion information as 'tension weight: 0.9, pleasure weight: 0.1'.
  • the electronic device 1000 may determine the emotion information of the user as 'tension weight: 0.1, pleasure weight: 0.9'.
  • the electronic device 1000 may determine the emotion information of the user in consideration of the proceeding place. For example, when the presentation 910 is performed in the conference room, the electronic device 1000 may determine the emotion information of the user as 'tensile weight: 0.4, pleasure weight: 0.4, worry weight: 0.2'. On the other hand, when the presentation 910 is conducted at a picnic, the electronic device 1000 may determine the emotion information of the user as 'tension weight: 0.1, pleasure weight: 0.9'.
  • the electronic device 1000 may basically determine the emotion information of the user as 'tension weight: 0.2, pleasure weight: 0.8'. However, when the electronic device 1000 obtains time information of the friend wedding 920, the user's emotion information may be determined in consideration of the time information of the friend wedding 920. For example, when the friend wedding 920 is in the morning, the electronic device 1000 may determine the emotion information of the user as 'tensile weight: 0.3, pleasure weight: 0.6, annoying weight: 0.1'.
  • the electronic device 1000 determines the emotion information of the user as 'tension weight: 0.2, pleasure weight: 0.8', and when the friend wedding 920 is in the evening , The user's emotion information may be determined as 'tension weight: 0.1, pleasant weight: 0.9'.
  • the electronic device 1000 may determine the emotion information of the user in consideration of the proceeding place. For example, when the friend wedding 920 is outdoors, the electronic device 1000 may determine the emotion information of the user as 'pleasure weight: 1'.
  • the electronic device 1000 may learn the user's emotion information for at least one event based on the user's reaction information for at least one event included in the notification information.
  • the user's reaction information is information about an emotional state that the user has for at least one event, and may be obtained based on a user's input.
  • the electronic device 1000 provides notification information for at least one event to the user through the virtual assistant interface, and provides feedback information of the user for at least one event included in the notification information. Can be obtained.
  • the electronic device 1000 analyzes the user's reaction information, identifies the user's emotional state for at least one event, and learns the user's emotional information for the at least one event based on the user's emotional state. You can.
  • an operation in which the electronic device 1000 learns the user's emotion information for at least one event based on the user's reaction information will be described with reference to FIGS. 10 and 11.
  • FIGS. 10 and 11 are diagrams for explaining an operation of personalizing the event-emotional DB according to an embodiment.
  • the electronic device 1000 may provide a notification related to the user event (eg, 1 hour before the presentation) to the user through the notification window 1010. .
  • a notification related to the user event eg, 1 hour before the presentation
  • the electronic device 1000 may provide a list of emotion candidates to obtain actual emotion information before a user event occurs from the user.
  • the electronic device 1000 provides a list of emotion candidates including joy, tension, sadness, selection, normal, regret, anger, annoyance, and the like, and receives a user input for selecting 'tension' from the emotion candidate list can do.
  • the electronic device 1000 may personalize default emotion information stored in the event-emotion DB 310 based on actual emotion information input by the user.
  • the emotion information 1001 of the user before the presentation stored in the event-emotion DB 310 may be “pleasure weight: 0.4, tension weight (0.6)”.
  • the electronic device 1000 increases the tension weight included in the basic emotion information, so that the user's emotion information for the presentation can be personalized. You can.
  • the emotion information 1002 personalized for the presentation may be 'pleasure weight: 0.1, tension weight: 0.9'.
  • the electronic device 1000 may obtain feedback of the user about the user event. For example, the electronic device 1000 may provide an inquiry window 1110 for confirming emotion for a user event. According to an embodiment, the electronic device 1000 may display a list of emotion candidates including a plurality of images representing an emotional state in the inquiry window 1110. At this time, the electronic device 1000 may receive an input for selecting an image 1103 indicating pleasure from among the emotion candidate lists from the user.
  • the electronic device 1000 may personalize default emotion information for the presentation stored in the event-emotion DB 310 based on actual emotion information input by the user.
  • the user's emotion information 1101 for the presentation stored in the event-emotion DB 310 may be 'pleasure weight: 0.4, tension weight (0.6)'.
  • the electronic device 1000 increases the pleasure weight included in the basic emotion information, and the user's emotion information for the presentation Can personalize
  • the emotion information 1102 personalized for the presentation may be 'pleasure weight: 0.9, tension weight: 0.1'.
  • the electronic device 1000 monitors the biometric information of the user using an external device and modifies the basic emotion information according to the biometric information of the user.
  • FIG. 12 is a diagram for describing an operation of an electronic device modifying basic emotion information according to biometric information according to an embodiment.
  • the electronic device 1000 may obtain basic emotion information 1201 related to the user event from the event-emotional DB 310.
  • the basic emotion information 1201 may be average emotion information of the public about the user event, or may be past emotion information of the user on the user event.
  • the basic emotion information 1201 for the presentation stored in the event-emotion DB 310 may be 'joyful weight: 0.4, tension weight: 0.6'.
  • the electronic device 1000 may obtain the user's biometric information from the external device 3000 to check the user's actual emotion information.
  • the electronic device 1000 may receive the user's heart rate information, body temperature change information, and the like from a smart watch worn on the user's wrist.
  • the electronic device 1000 may receive voice data of the user recorded in the smart watch.
  • the electronic device 1000 may receive the user's biometric information from the external device 3000 at a predetermined cycle, or may receive the user's biometric information from the external device 3000 when a specific event occurs, but is not limited thereto. no.
  • the electronic device 1000 may obtain real emotion information of the user based on the biometric information of the user. For example, when the user's heart rate increases and the body temperature rises, the electronic device 1000 may determine that the user's tension is increased. On the contrary, when the heart rate finds stability, the electronic device 1000, the user's tension It can be judged that this is lowered. In addition, as a result of analyzing the voice data of the user, when a lot of words (for example, uh, um ...) used when the voice is shaking or nervous, the electronic device 1000 determines that the user's tension is increased. You can. On the other hand, as a result of analyzing the voice data of the user, if the user cheers or laughs frequently, the electronic device 1000 may determine that the user's enjoyment is increased.
  • a lot of words for example, uh, um .
  • the electronic device 1000 may acquire biometric information of each user before, during a user event, or after a user event ends, when a user event registered in the event DB 340 occurs. no. In this case, the electronic device 1000 may monitor a user's emotional change as the user event progresses.
  • the electronic device 1000 may modify the basic emotion information 1201 for the presentation stored in the event-emotion DB 310 based on the user's biometric information. For example, when the user's heart rate is stable, the electronic device 1000 may lower the tension weight included in the basic emotion information 1201 from '0.6' to '0.2'. Accordingly, the modified emotion information 1202 may be “joy weight: 0.8, tension weight: 0.2”.
  • FIG. 13 is a flowchart illustrating a method of determining a tone based on emotion information of a user according to an embodiment.
  • the electronic device 1000 may obtain emotion information of the user related to the user event.
  • the electronic device 1000 may acquire emotion information of a user related to the user event at the time when the user's speech related to the user event is detected. According to another embodiment, the electronic device 1000 may acquire the user's emotion information for the user event in order to preemptively respond before the user's speech related to the user event.
  • the electronic device 1000 may acquire emotion information of a user related to a user event using an artificial intelligence model.
  • the electronic device 1000 may obtain emotion information of a user corresponding to a specific user event from the event-emotion DB 310 generated (or refined) by the artificial intelligence model.
  • the event-emotion DB 310 may store average emotion information of the general public for a specific event or personalized emotion information for each user for a specific event, but is not limited thereto.
  • step S1310 may correspond to step S210 of FIG. 2, detailed description will be omitted.
  • the electronic device 1000 may determine a tone for providing a response to the user's speech based on the user's emotion information related to the user event. For example, the electronic device 1000, based on the emotion information of the user related to the user event, the speech rate, the pitch average, the pitch range, the intensity (intensity), the sound quality (voice quality), pitch changes (pitch changes), articulation (articulation) may be determined, but is not limited thereto.
  • the electronic device 1000 sets the speech rate as' much faster. faster), the pitch average as 'very much higher', the pitch range as 'much wider', and the intensity as 'normal' It can be determined as', voice quality as' irregular voicing ', pitch change as' normal', and articulation as' precise '.
  • the electronic device 1000 determines the speech rate as 'slightly faster', and the pitch average as 'very' 'Very much higher', pitch range 'much wider', intensity (intensity) 'higher', voice quality (voice quality) 'breathy chest tone' It is possible to determine the pitch change (pitch changes) as 'abrupt on stressed syllable', and the articulation as 'tense'.
  • the electronic device 1000 may provide a response to the user's speech related to the user event in a determined tone. Accordingly, according to an embodiment, the electronic device 1000 can efficiently respond to the user by changing the tone of the voice providing the response based on the user's emotion information for the user event.
  • 15 is a diagram for describing an operation of an electronic device providing a notification using a color corresponding to a user's emotion information according to an embodiment.
  • the electronic device 1000 may determine a color corresponding to the user's emotion information. For example, referring to the emotion-color table 1501, the electronic device 1000 is configured to respond to emotions of 'excitement, energy, passion, action, and desire'. For red, the color of the red color can be determined, and for the emotions of optimistic, uplifting, rejuvenating, friendliness, and fun, the color of the orange color can be determined. no.
  • the electronic device 1000 may adjust brightness or saturation.
  • the emotion closer to the center in the emotion-color table 1501 may be determined to have lower brightness or saturation.
  • the electronic device 1000 may provide a notification using the determined color. For example, if the user event is 'travel', and the user's emotional state is 'fun', the electronic device 1000 displays text in the orange notification window 1510 that is one day before the trip (for example, The day before the trip). In addition, when the user event is 'opening', and the user's emotional state is 'hope', the electronic device 1000 displays a text in the green notification window 1520 indicating that it is before the opening day (for example, opening day) Before).
  • 16 and 17 are diagrams for describing an operation in which an electronic device provides a diary interface according to an embodiment.
  • the electronic device 1000 may display a list of user events on the diary interface.
  • the electronic device 1000 may display representative emotions that the user feels about the user event next to the event name. For example, when the user's typical emotion for a son's birthday is 'joy', the electronic device 1000 may display joy next to the son's birthday. Also, when the representative emotion of the user for the presentation is 'tension', the electronic device 1000 may display 'tension' next to the presentation.
  • representative emotions may be displayed in the form of emoticons.
  • the electronic device 1000 may display a list of user events in the order of occurrence of the events, or may separately display each emotion, but is not limited thereto.
  • the electronic device 1000 may specifically provide emotion information related to the son's birthday to the user.
  • the electronic device 1000 may provide the user's emotional change in a simple diary form from before the occurrence of the user event to after the occurrence.
  • the electronic device 1000 may express a user's emotional change in a simple emoticon form.
  • the electronic device 1000 may add the photo image to the diary and show it to the user.
  • the electronic device 1000 may receive additional comments related to a user event from the user. For example, the user can add funny episodes, photos, and the like related to his son's birthday to the diary.
  • the electronic device 1000 may provide an emotion graph 1710 corresponding to each user event on the diary interface.
  • the emotion graph may be a graph showing a user's emotional change from before the event occurs to after the event occurs.
  • the emotion graph may be a 2D graph or a 3D graph, but is not limited thereto.
  • 18 and 19 are block diagrams for describing an electronic device according to an embodiment.
  • the electronic device 1000 may include an output unit 1100, a processor 1300, and a memory 1700. However, not all of the illustrated components are essential components. The electronic device 1000 may be implemented by more components than the illustrated components, and the electronic device 1000 may also be implemented by fewer components.
  • the electronic device 1000 includes a sensing unit 1200 and a communication unit 1400 in addition to the output unit 1100, the processor 1300, and the memory 1700. , A / V input unit 1500 and a user input unit 1600.
  • the output unit 1100 is for outputting an audio signal, a video signal, or a vibration signal, and may include a display unit 1111, an audio output unit 1112, a vibration motor 1113, and the like.
  • the sound output unit 1112 outputs audio data received from the communication unit 1400 or stored in the memory 1700. Also, the sound output unit 1112 outputs sound signals related to functions (eg, call signal reception sound, message reception sound, and notification sound) performed by the electronic device 1000.
  • the sound output unit 1112 may include a speaker, a buzzer, and the like. Further, according to an embodiment, the sound output unit 1112 may provide a response to the user's speech related to a user event by voice.
  • the vibration motor 1113 may output a vibration signal.
  • the vibration motor 1113 may output a vibration signal corresponding to the output of audio data or video data (eg, call signal reception sound, message reception sound, etc.).
  • the vibration motor 1113 may output a vibration signal when a touch is input to the touch screen.
  • the output unit 1100 may provide an interactive interface.
  • the interactive interface may be provided in the form of a message window or a chat window, or may be provided in the form of input / output of voice, but is not limited thereto.
  • the output unit 1100 may provide a diary interface including emotion information of a user related to a user event.
  • the diary interface may list past emotion states related to the event and episodes related to the event for each event registered in the reminder application or the calendar application.
  • the past emotional state may be represented by an emoticon or a simple graph.
  • the sensing unit 1200 includes a magnetic sensor 1211, an acceleration sensor 1212, a tilt sensor 1213, an infrared sensor 1214, a gyroscope sensor 1215, and a position sensor (eg , GPS) 1216, a temperature and humidity sensor 1217, a proximity sensor 1218, and an optical sensor 1219, but are not limited thereto.
  • a position sensor eg , GPS
  • the function of each sensor can be intuitively inferred by those skilled in the art from the name, and thus detailed description will be omitted.
  • the processor 1300 typically controls the overall operation of the electronic device 1000.
  • the processor 1300 executes programs stored in the memory 1700 to output the output unit 1100, the sensing unit 1200, the communication unit 1400, the A / V input unit 1500, and the user input unit 1600.
  • the memory 1700 and the like can be overall controlled.
  • the processor 1300 may include an AI processor for generating a learning network model, but is not limited thereto.
  • the AI processor may be implemented as a separate chip from the processor 1300.
  • the processor 1300 may query the user for schedule information by using the virtual assistant interface, and receive a response including information about at least one event from the user.
  • the processor 1300 may analyze a response to a query, identify a user's emotional state for at least one event, and learn user's emotional information for at least one event based on the user's emotional state. have.
  • the processor 1300 may determine a response type for at least one event based on the emotion information of the user, and provide notification information for at least one event according to the response type through the virtual assistant interface.
  • the processor 1300 may acquire emotion information of a user related to a user event registered in the electronic device 1000.
  • the electronic device 1000 may obtain emotion information of a user related to a user event from an artificial intelligence model learned based on at least one of emotion information analyzed by an expert and past emotion information of the user.
  • the processor 1300 compares a current time with a scheduled time of occurrence of the user event, determines a progress stage of the user event, and based on the progress stage of the user event, It is possible to obtain emotion information of a related user.
  • the processor 1300 may extract information related to a user event from voice data uttered from the user, and use the extracted information to register the user event as a new event in the electronic device 1000.
  • the processor 1300 may extract emotion information of the user from voice data of the user.
  • the processor 1300 obtains basic emotion information related to a user event from a table mapping events and emotion information, obtains the user's biometric information using the sensing unit 1200 or an external device, and is based on the user's biometric information. By modifying the basic emotion information, it is possible to obtain emotion information of the user related to the user event.
  • the processor 1300 identifies a user's emotional state for at least one event based on information analyzing voice data uttered from the user, and corrects basic emotional information based on the user's emotional state, thereby at least one event You can also learn the user's emotion information about.
  • the processor 1300 obtains feedback on the user event from the user through the user input unit 1600 after the user event is ended, and updates a table mapping the event and emotion information based on the obtained feedback. You can. For example, the processor 1300 provides notification information for at least one event to the user through a virtual assistant interface, and acquires feedback information of the user for at least one event included in the notification information can do. The processor 1300 may analyze the user's reaction information, identify the user's emotional state for at least one event, and learn the user's emotional information for the at least one event based on the user's emotional state. have.
  • the processor 1300 may acquire emotion information of a user in consideration of at least one of a person related to a user event, a scheduled time of occurrence of the user event, and a place related to the user event.
  • the processor 1300 may determine a response type corresponding to a user event based on the emotion information of the user. According to an embodiment, the processor 1300 may determine a tone for providing a response or notification information on a user's speech based on the user's emotion information related to a user event.
  • the processor 1300 may control the output unit 1100 to provide a response to the user's utterance related to a user event through an interactive interface based on the determined response type. For example, the processor 1300 may select a color corresponding to the user's emotion information, and use the selected color to display response or notification information about the user's speech related to the user event.
  • the processor 1300 may provide a response by applying an expression method preferred by the user.
  • the processor 1300 may determine a notification providing method related to a user event in consideration of a user's situation, and provide a notification related to a user event according to the determined notification providing method. For example, when the user is in an important meeting, the processor 1300 may provide only a visual notification, and then provide a notification by vibration or sound after the conference ends.
  • the communication unit 1400 may include one or more components that enable communication between the electronic device 1000 and the wearable device or the electronic device 1000 and a server (not shown).
  • the communication unit 1400 may include a short-range communication unit 1411, a mobile communication unit 1412, and a broadcast reception unit 1413.
  • the short-range wireless communication unit 221 includes a Bluetooth communication unit, a Bluetooth Low Energy (BLE) communication unit, a Near Field Communication unit, a WLAN (Wi-Fi) communication unit, a Zigbee communication unit, and an infrared ( IrDA, an infrared data association (WDA) communication unit, a WFD (Wi-Fi Direct) communication unit, a UWB (ultra wideband) communication unit, an Ant + communication unit, and the like, but are not limited thereto.
  • BLE Bluetooth Low Energy
  • Wi-Fi Wireless Fidelity
  • the mobile communication unit 1412 transmits and receives a radio signal to and from at least one of a base station, an external terminal, and a server on a mobile communication network.
  • the wireless signal may include various types of data according to transmission and reception of a voice call signal, a video call signal, or a text / multimedia message.
  • the broadcast receiving unit 1413 receives broadcast signals and / or broadcast related information from the outside through a broadcast channel.
  • the broadcast channel may include a satellite channel and a terrestrial channel.
  • the electronic device 1000 may not include the broadcast receiving unit 1413.
  • the communication unit 1400 may acquire biometric information of an external device user.
  • the communication unit 1400 may collect a user's heart rate information, breathing information, and body temperature information from a wearable device connected to the electronic device 1000.
  • the A / V (Audio / Video) input unit 1500 is for inputting an audio signal or a video signal, and may include a camera 1511, a microphone 1512, and the like.
  • the camera 1511 may obtain an image frame such as a still image or a video through an image sensor in a video call mode or a shooting mode.
  • the image captured through the image sensor may be processed through the processor 1300 or a separate image processing unit (not shown).
  • the image frames processed by the camera 1511 may be stored in the memory 1700 or transmitted to the outside through the communication unit 1400.
  • the camera 1511 may include at least one of a telephoto camera, a wide-angle camera, and a general camera, but is not limited thereto.
  • the microphone 1512 receives external sound signals and processes them as electrical voice data.
  • the microphone 1512 can receive an acoustic signal from an external device or speaker.
  • the microphone 1512 may use various noise removal algorithms to remove noise generated in the process of receiving an external sound signal.
  • the user input unit 1600 refers to a means for a user to input data for controlling the electronic device 1000.
  • the user input unit 1600 includes a key pad, a dome switch, and a touch pad (contact capacitive type, pressure resistive film type, infrared sensing type, surface ultrasonic conduction type, integral type) Tension measurement method, piezo effect method, etc.), a jog wheel, a jog switch, and the like, but are not limited thereto.
  • the memory 1700 may store a program for processing and control of the processor 1300, and input / output data (eg, voice data, photo images, metadata, personalized learning data, user biometric information, etc.) You can also save
  • the memory 1700 is a flash memory type, a hard disk type, a multimedia card micro type, a card type memory (for example, SD or XD memory, etc.), RAM (RAM, Random Access Memory) SRAM (Static Random Access Memory), ROM (ROM, Read-Only Memory), EEPROM (Electrically Erasable Programmable Read-Only Memory), PROM (Programmable Read-Only Memory), magnetic memory, magnetic disk , It may include at least one type of storage medium of the optical disk.
  • Programs stored in the memory 1700 may be classified into a plurality of modules according to their functions. For example, there may be a response model 1711. Since the response model 1711 corresponds to the event-emotion-based response model 300 of FIG. 3, a detailed description will be omitted.
  • the memory 1700 may include an event DB 1712.
  • the event DB 1712 may correspond to the event DB 340 of FIG. 5.
  • the memory 1700 may store the event-sentiment DB 1713 generated by the response model 1711, the response method DB 1714, and the response DB 1715.
  • the event-emotion DB 1713, the response method DB 1714, and the response DB 1715 correspond to the event-emotion DB 310, the response method DB 320, and the response DB 330 of FIG. 3, respectively. The description will be omitted.
  • a response message may be provided to the user by interlocking the electronic device 1000 and a server (not shown).
  • the server (not shown) may generate an event-emotion-based response model by learning criteria for determining a response situation (for example, providing an event and emotion-based response), and the electronic device 1000 may include a server ( Response state may be determined using an event-emotion-based response model generated according to a learning result (not shown).
  • the electronic device 1000 provides data for the event-emotion-based response model to the server (not shown), the server (not shown) determines the response state, and the server (not shown) determines the response state Can be provided to the electronic device 1000.
  • the electronic device 1000 may receive data for an event-sentiment based response model from a server (not shown) and determine a response situation using the received event-sentiment based response model.
  • the method according to an embodiment may be implemented in the form of program instructions that can be executed through various computer means and recorded in a computer-readable medium.
  • the computer-readable medium may include program instructions, data files, data structures, or the like alone or in combination.
  • the program instructions recorded on the medium may be specially designed and configured for the present invention, or may be known and available to those skilled in computer software.
  • Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and magnetic media such as floptical disks.
  • -Hardware devices specially configured to store and execute program instructions such as magneto-optical media, and ROM, RAM, flash memory, and the like.
  • Examples of program instructions include high-level language code that can be executed by a computer using an interpreter, etc., as well as machine language codes produced by a compiler.
  • Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media.
  • Computer readable media may include both computer storage media and communication media.
  • Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data.
  • Communication media typically include computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism, and includes any information delivery media.
  • some embodiments may also be embodied as computer programs or computer program products that include instructions executable by a computer, such as computer programs executed by a computer.

Abstract

본 개시는 인공지능(AI) 시스템을 이용하여 이벤트와 관련된 감정 기반 대화형 인터페이스를 제공하는 방법 및 장치에 관한 것이다. 구체적으로, 질의에 대한 응답을 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하는 단계; 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 단계; 사용자의 감정 정보에 기초하여, 적어도 하나의 이벤트에 대한 응대 타입을 결정하는 단계; 및 응대 타입에 따라 적어도 하나의 이벤트에 대한 알림 정보를 제공하는 단계를 포함하는 방법이 개시된다.

Description

대화형 인터페이스를 제공하는 방법 및 시스템
본 개시는 딥러닝 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공지능(AI) 시스템 및 그 응용에 관련된 것이다. 구체적으로, 본 개시는 인공지능(AI) 시스템을 이용하여 이벤트와 관련된 대화형 인터페이스를 제공하는 방법 및 장치에 관한 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존 Rule 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자 취향을 보다 정확하게 이해할 수 있게 되어, 기존 규칙(Rule) 기반 스마트 시스템은 점차 딥러닝 기반 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(딥러닝) 및 기계학습을 활용한 요소 기술들로 구성된다.
기계학습은 입력 데이터들의 특징을 스스로 분류/학습하는 알고리즘 기술이며, 요소기술은 딥러닝 등의 기계학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성된다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화시스템, 질의 응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론 예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험정보를 지식데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
일 실시예에 의하면, 사용자 이벤트와 관련된 사용자의 감정 정보에 기초하여, 사용자에게 감성적인 응대를 제공하는 방법 및 시스템이 제공될 수 있다.
도 1은 일 실시예에 따른 이벤트-감정 기반 응답을 제공하는 시스템을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 전자 장치가 대화형 인터페이스를 제공하는 방법을 설명하기 위한 순서도이다.
도 3은 일 실시예에 따른 딥러닝을 통해 이벤트-감정 기반 응답 모델(AI 모델)을 생성하는 동작을 설명하기 위한 도면이다.
도 4는 일 실시예에 따른 사용자로부터 발화된 음성 데이터로부터 새로운 이벤트를 등록하는 방법을 설명하기 위한 도면이다.
도 5는 일 실시예에 따른 전자 장치가 사용자의 발화에 응답하는 동작을 설명하기 위한 도면이다.
도 6은 일 실시예에 따른 전자 장치가 이벤트 DB에 등록된 사용자 이벤트를 추출하는 동작을 설명하기 위한 도면이다.
도 7은 일 실시예에 따른 전자 장치가 사용자 이벤트의 진행 단계에 기초하여, 사용자의 감정 정보를 획득하는 방법을 설명하기 위한 순서도이다.
도 8은 일 실시예에 따른 전자 장치가 사용자 이벤트의 진행 단계에 따라 알림 또는 응답을 제공하는 동작을 설명하기 위한 도면이다.
도 9는 일 실시예에 따른 전자 장치가 사용자 이벤트와 관련된 사람, 장소 또는 시간에 기초하여, 사용자의 감정 정보를 획득하는 동작을 설명하기 위한 도면이다.
도 10 및 도 11은 일 실시예에 따른 이벤트-감정 DB를 개인화하는 동작을 설명하기 위한 도면이다.
도 12는 일 실시예에 따른 전자 장치가 생체 정보에 따라 기본 감정 정보를 수정하는 동작을 설명하기 위한 도면이다.
도 13은 일 실시예에 따른 사용자의 감정 정보에 기초하여 어조(tone)를 결정하는 방법을 설명하기 위한 순서도이다.
도 14는 일 실시예에 따른 사용자의 감정 정보에 기초하여 결정된 어조(tone)를 설명하기 위한 도면이다.
도 15는 일 실시예에 따른 전자 장치가 사용자의 감정 정보에 대응하는 색상을 이용하여, 알림을 제공하는 동작을 설명하기 위한 도면이다.
도 16 및 도 17은 일 실시예에 따른 전자 장치가 다이어리 인터페이스를 제공하는 동작을 설명하기 위한 도면이다.
도 18 및 도 19는 일 실시예에 따른 전자 장치를 설명하기 위한 블록 구성도이다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 가상 비서 인터페이스를 이용하여, 사용자에게 일정 정보를 질의하는 단계; 사용자로부터 적어도 하나의 이벤트에 관한 정보를 포함하는 질의에 대한 응답을 수신하는 단계; 질의에 대한 응답을 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하는 단계; 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 단계; 사용자의 감정 정보에 기초하여, 적어도 하나의 이벤트에 대한 응대 타입을 결정하는 단계; 및 응대 타입에 따라 적어도 하나의 이벤트에 대한 알림 정보를 가상 비서 인터페이스를 통해 제공하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 질의에 대한 응답으로 사용자로부터 발화된 음성 데이터를 수신하는 단계; 음성 데이터로부터 적어도 하나의 이벤트와 관련된 정보를 추출하는 단계; 및 추출된 정보를 이용하여, 적어도 하나의 이벤트를 새로운 이벤트로 전자 장치에 등록하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 이벤트와 감정 정보를 맵핑한 테이블로부터 적어도 하나의 이벤트와 관련된 기본 감정 정보를 획득하는 단계; 음성 데이터를 분석한 정보에 기초하여 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하는 단계; 및 사용자의 감정 상태에 기초하여 기본 감정 정보를 수정함으로써, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 현재 시간과 적어도 하나의 이벤트의 발생 예정 시간을 비교하여, 적어도 하나의 이벤트의 진행 단계(progress stage)를 결정하는 단계; 및 적어도 하나의 이벤트의 진행 단계에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 갱신하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은 적어도 하나의 이벤트가 종료된 후 적어도 하나의 이벤트에 대한 반응 정보(feedback information )를 사용자로부터 획득하는 단계; 및 획득된 반응 정보에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 갱신하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 적어도 하나의 이벤트와 관련된 사람, 적어도 하나의 이벤트의 발생 예정 시간 및 적어도 하나의 이벤트와 관련된 장소 중 적어도 하나와 관련된 정보를 이용하여, 사용자의 감정 정보를 학습하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은 사용자의 감정 정보에 기초하여, 적어도 하나의 이벤트에 대한 알림 정보를 제공하기 위한 어조(tone)를 결정하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 사용자의 감정 정보에 대응하는 색상을 선택하는 단계; 및 선택된 색상을 이용하여, 적어도 하나의 이벤트에 대한 알림 정보를 표시하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 결정된 응대 타입에 기초하여, 적어도 하나의 이벤트와 관련된 사용자의 발화에 대한 응답을 제공하는 단계를 더 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 사용자의 상황을 고려하여, 적어도 하나의 이벤트와 관련된 알림 제공 방식을 결정하는 단계; 및 결정된 알림 제공 방식에 따라, 적어도 하나의 이벤트에 대한 알림 정보를 제공하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 적어도 하나의 이벤트와 관련된 사용자의 감정 정보를 포함하는 다이어리 인터페이스를 제공하는 단계를 더 포함할 수 있다.
일 실시예에 따른 전자 장치는, 가상 비서 인터페이스를 제공하는 출력부; 및 적어도 하나의 프로세서를 포함하되, 적어도 하나의 프로세서는, 가상 비서 인터페이스를 이용하여, 사용자에게 일정 정보를 질의하는 동작; 사용자로부터 적어도 하나의 이벤트에 관한 정보를 포함하는 질의에 대한 응답을 수신하는 동작; 질의에 대한 응답을 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하는 동작; 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 동작; 사용자의 감정 정보에 기초하여, 적어도 하나의 이벤트에 대한 응대 타입을 결정하는 동작; 및 응대 타입에 따라 적어도 하나의 이벤트에 대한 알림 정보를 가상 비서 인터페이스를 통해 제공하는 동작을 수행할 수 있다.
일 실시예에 따른 컴퓨터 프로그램 제품은, 가상 비서 인터페이스를 이용하여, 사용자에게 일정 정보를 질의하는 동작; 사용자로부터 적어도 하나의 이벤트에 관한 정보를 포함하는 질의에 대한 응답을 수신하는 동작; 질의에 대한 응답을 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하는 동작; 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 동작; 사용자의 감정 정보에 기초하여, 적어도 하나의 이벤트에 대한 응대 타입을 결정하는 동작; 및 응대 타입에 따라 적어도 하나의 이벤트에 대한 알림 정보를 가상 비서 인터페이스를 통해 제공하는 동작을 수행하도록 하는 프로그램이 저장된 기록매체를 포함할 수 있다.
일 실시예에 따른 전자 장치의 가상 비서 인터페이스 제공 방법은, 가상 비서 인터페이스를 통해 적어도 하나의 이벤트에 대한 알림 정보를 사용자에게 제공하는 단계; 알림 정보에 포함된 적어도 하나의 이벤트에 대한 사용자의 반응 정보(feedback information)를 획득하는 단계; 사용자의 반응 정보를 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하는 단계; 및 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치는, 가상 비서 인터페이스를 제공하는 출력부; 및 적어도 하나의 프로세서를 포함하되, 적어도 하나의 프로세서는, 가상 비서 인터페이스를 통해 적어도 하나의 이벤트에 대한 알림 정보를 사용자에게 제공하는 동작; 알림 정보에 포함된 적어도 하나의 이벤트에 대한 사용자의 반응 정보(feedback information)를 획득하는 동작; 사용자의 반응 정보를 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하는 동작; 및 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 동작을 수행할 수 있다.
일 실시예에 따른 컴퓨터 프로그램 제품은, 가상 비서 인터페이스를 통해 적어도 하나의 이벤트에 대한 알림 정보를 사용자에게 제공하는 동작; 알림 정보에 포함된 적어도 하나의 이벤트에 대한 사용자의 반응 정보(feedback information)를 획득하는 동작; 사용자의 반응 정보를 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하는 동작; 및 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 동작을 수행하도록 하는 프로그램이 저장된 기록매체를 포함할 수 있다.
일 실시예에 따른 전자 장치가 대화형 인터페이스를 제공하는 방법은, 전자 장치에 등록된 사용자 이벤트와 관련된 사용자의 감정 정보를 획득하는 단계; 사용자의 감정 정보에 기초하여, 사용자 이벤트에 대응하는 응대 타입을 결정하는 단계; 및 결정된 응대 타입에 기초하여, 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 제공하는 단계를 포함할 수 있다.
일 실시예에 따른 전자 장치는, 대화형 인터페이스를 제공하는 출력부; 적어도 하나의 프로세서; 및 적어도 하나의 프로세서에 의해 실행될 때, 전자 장치가, 전자 장치에 등록된 사용자 이벤트와 관련된 사용자의 감정 정보를 획득하는 동작, 사용자의 감정 정보에 기초하여 사용자 이벤트에 대응하는 응대 타입을 결정하는 동작, 결정된 응대 타입에 기초하여 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 대화형 인터페이스를 통해 제공하는 동작을 수행하도록 하는 적어도 하나의 명령어를 저장하는 메모리를 포함할 수 있다.
일 실시예에 따른 컴퓨터 프로그램 제품은, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득하는 동작; 사용자의 감정 정보에 기초하여, 사용자 이벤트에 대응하는 응대 타입을 결정하는 동작; 및 결정된 응대 타입에 기초하여, 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 제공하는 동작을 수행하도록 하는 프로그램이 저장된 기록매체를 포함할 수 있다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명의 일 실시예에 대해 구체적으로 설명하기로 한다.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
명세서 전체에서 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있음을 의미한다. 또한, 명세서에 기재된 "...부", "모듈" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다.
아래에서는 첨부한 도면을 참고하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
도 1은 일 실시예에 따른 이벤트-감정 기반 응답을 제공하는 시스템을 설명하기 위한 도면이다.
도 1을 참조하면, 일 실시예에 따른 이벤트-감정 기반 응답을 제공하는 시스템은 전자 장치(1000)를 포함할 수 있다. 일 실시예에 의하면, 이벤트-감정 기반 응답을 제공하는 시스템은 전자 장치(1000) 이외에 서버(미도시)를 더 포함할 수도 있고, 사용자의 생체 신호를 측정하기 위한 웨어러블 디바이스를 포함할 수도 있다. 이벤트-감정 기반 응답을 제공하는 시스템이 전자 장치(1000) 및 외부의 웨어러블 디바이스를 포함하는 실시예에 대해서는 도 12를 참조하여 후에 자세히 살펴보기로 한다.
일 실시예에 따른 전자 장치(1000)는 다양한 형태로 구현될 수 있다. 예를 들어, 본 명세서에서 기술되는 전자 장치(1000)는, 디지털 카메라, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 태블릿 PC, 전자북 단말기, 디지털방송용 단말기, PDA(Personal Digital Assistants), PMP(Portable Multimedia Player), 네비게이션, MP3 플레이어 등이 있을 수 있으나, 이에 한정되는 것은 아니다. 본 명세서에서 기술되는 전자 장치(1000)는 사용자에 의해 착용될 수 있는 장치(wearable device)일 수 있다. 웨어러블 디바이스는 액세서리 형 장치(예컨대, 시계, 반지, 팔목 밴드, 발목 밴드, 목걸이, 안경, 콘택트 렌즈), 머리 착용형 장치(head-mounted-device(HMD)), 직물 또는 의류 일체형 장치(예: 전자 의복), 신체 부착형 장치(예컨대, 스킨 패드(skin pad)), 또는 생체 이식형 장치(예: implantable circuit) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 이하에서는, 설명의 편의상, 전자 장치(1000)가 스마트 폰인 경우를 예로 들어 설명하기로 한다.
일 실시예에 의하면, 전자 장치(1000)는 대화형 인터페이스를 제공하는 장치일 수 있다. 대화형 인터페이스는 사용자로부터의 입력(예컨대, 음성 입력 또는 텍스트 입력)을 수신하고, 사용자로부터의 입력에 대한 응답을 제공하는 사용자를 위한 인터페이스일 수 있다. 일 실시예에 의하면, 대화형 인터페이스는 가상 비서(Virtual assistant), 인공지능 비서 등을 포함할 수 있으나, 이에 한정되는 것은 아니다. 가상 비서 또는 인공지능 비서는 사용자가 요구하는 작업을 처리하고 사용자에게 특화된 서비스를 제공하는 소프트웨어 에이전트일 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 인공지능 모델을 이용하여, 사용자 이벤트(100)와 관련된 사용자의 감정 상태를 획득(또는 분석, 추론)하고, 사용자의 감정 상태에 따라 적응적으로 응답을 대화형 인터페이스를 통해 제공할 수 있다. 예를 들어, 전자 장치(1000)는 사용자 이벤트(100)와 관련된 제 1 사용자의 감정 상태가 걱정 상태(10)인 경우, 응대 타입으로 제 1 응대 타입을 결정하고, 제 1 응대 타입에 따라 제 1 사용자의 발화에 응답할 수 있다. 또한, 전자 장치(1000)는 사용자 이벤트(100)와 관련된 제 1 사용자의 감정 상태가 화난 상태(20)인 경우, 응대 타입으로 제 2 응대 타입을 결정하고, 제 2 응대 타입으로 제 1 사용자의 발화에 응답할 수 있고, 사용자 이벤트(100)와 관련된 제 1 사용자의 감정 상태가 행복한 상태(30)인 경우, 응대 타입으로 제 3 응대 타입을 결정하고 제 3 응대 타입에 따라 제 1 사용자의 발화에 응답할 수 있다. 여기서, 제 1 응대 타입, 제 2 응대 타입, 제 3 응대 타입은 서로 다른 타입일 수 있으며, 따라서, 전자 장치(1000)는 사용자에게 이벤트 기반으로 감성적인 응대를 제공할 수 있다.
본 명세서에서, 사용자 이벤트(100)는 사용자와 관련된 이벤트로서, 전자 장치(1000)가 사용자와의 대화 중에 발견한 이벤트일 수도 있고, 사용자가 일정 관리 애플리케이션, 캘린더 애플리케이션, 연락처 애플리케이션, SNS 애플리케이션 등에 미리 등록한 이벤트일 수도 있다. 일 실시예에 의하면, 사용자 이벤트(1000)는, 업무와 관련된 이벤트(예컨대, 회의, 프리젠테이션, 출장 등), 지인과 관련된 이벤트(예컨대, 친구 결혼식, 가족 생일 파티, 결혼 기념일 등), 취미와 관련된 이벤트(예컨대, 스포츠 경기 관람, 영화 관람, 뮤지컬 예매, 사진 동호회 이벤트, 테니스 클럽, 마라톤 출전 등), 유명인과 관련된 이벤트(예컨대, 콘서트, 팬미팅 등), 공식적인 이벤트(예컨대, 대통령 선거일, 월드컵, 크리스마스 등) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
또한, 본 개시에 따른 인공지능과 관련된 기능은 프로세서와 메모리를 통해 동작된다. 프로세서는 하나 또는 복수의 프로세서로 구성될 수 있다. 이때, 하나 또는 복수의 프로세서는 CPU, AP, DSP(Digital Signal Processor) 등과 같은 범용 프로세서, GPU, VPU(Vision Processing Unit)와 같은 그래픽 전용 프로세서 또는 NPU와 같은 인공지능 전용 프로세서일 수 있다. 하나 또는 복수의 프로세서는, 메모리에 저장된 기 정의된 동작 규칙 또는 인공지능 모델에 따라, 입력 데이터를 처리하도록 제어한다. 또는, 하나 또는 복수의 프로세서가 인공지능 전용 프로세서인 경우, 인공지능 전용 프로세서는, 특정 인공지능 모델의 처리에 특화된 하드웨어 구조로 설계될 수 있다.
기 정의된 동작 규칙 또는 인공지능 모델은 학습을 통해 만들어진 것을 특징으로 한다. 여기서, 학습을 통해 만들어진다는 것은, 기본 인공지능 모델이 학습 알고리즘에 의하여 다수의 학습 데이터들을 이용하여 학습됨으로써, 원하는 특성(또는, 목적)을 수행하도록 설정된 기 정의된 동작 규칙 또는 인공지능 모델이 만들어짐을 의미한다. 이러한 학습은 본 개시에 따른 인공지능이 수행되는 기기 자체에서 이루어질 수도 있고, 별도의 서버 및/또는 시스템을 통해 이루어 질 수도 있다. 학습 알고리즘의 예로는, 지도형 학습(supervised learning), 비지도형 학습(unsupervised learning), 준지도형 학습(semi-supervised learning) 또는 강화 학습(reinforcement learning)이 있으나, 전술한 예에 한정되지 않는다.
인공지능 모델은, 복수의 신경망 레이어들로 구성될 수 있다. 복수의 신경망 레이어들 각각은 복수의 가중치들(weight values)을 갖고 있으며, 이전(previous) 레이어의 연산 결과와 복수의 가중치들 간의 연산을 통해 신경망 연산을 수행한다. 복수의 신경망 레이어들이 갖고 있는 복수의 가중치들은 인공지능 모델의 학습 결과에 의해 최적화될 수 있다. 예를 들어, 학습 과정 동안 인공지능 모델에서 획득한 로스(loss) 값 또는 코스트(cost) 값이 감소 또는 최소화되도록 복수의 가중치들이 갱신될 수 있다. 인공 신경망은 심층 신경망(DNN:Deep Neural Network)를 포함할 수 있으며, 예를 들어, CNN (Convolutional Neural Network), DNN (Deep Neural Network), RNN (Recurrent Neural Network), RBM (Restricted Boltzmann Machine), DBN (Deep Belief Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 또는 심층 Q-네트워크 (Deep Q-Networks) 등이 있으나, 전술한 예에 한정되지 않는다.
따라서, 일 실시예에 의하면, 사용자가 중요하게 생각하는 이벤트들을 대화를 통해서 발견하고, 발견된 이벤트들을 기반으로 선제적으로 응대하거나, 필요한 정보와 함께 사용자를 도와줌으로써, 진정한 감성 응대를 제공할 수 있다. 이하에서는, 전자 장치(1000)가 사용자 이벤트(100)에 대한 사용자의 감정 상태에 기반하여, 감성 응대를 제공하는 동작에 대해서 도 2를 참조하여 자세히 살펴보기로 한다.
도 2는 일 실시예에 따른 전자 장치가 대화형 인터페이스를 제공하는 방법을 설명하기 위한 순서도이다.
단계 S210에서, 전자 장치(1000)는, 전자 장치(1000)에 등록된 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 이벤트 데이터베이스(DB)에 등록된 사용자 이벤트를 확인할 수 있다. 이벤트 DB는, 일정 관리 애플리케이션(예컨대, To do list), 캘린더 애플리케이션, SNS 애플리케이션, 연락처 애플리케이션 등을 포함하거나 연계될 수 있다. 사용자 이벤트는 사용자에 의해 수동으로 입력된 이벤트일 수도 있고, 전자 장치(1000) 또는 서버에 의해 자동으로 입력된 이벤트일 수도 있다.
일 실시예에 의하면, 전자 장치(1000)는 사용자로부터의 응답을 분석하여 사용자 이벤트에 대한 사용자의 감정 정보를 학습함으로써, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수도 있다. 예를 들어, 전자 장치(1000)는, 가상 비서 인터페이스를 이용하여, 사용자에게 일정 정보를 질의할 수 있다. 이때, 전자 장치(1000)는 사용자로부터 적어도 하나의 이벤트에 관한 정보를 포함하는 응답을 수신할 수 있다. 전자 장치(1000)는 사용자로부터 수신된 응답을 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별할 수 있다. 그리고 전자 장치(1000)는 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습할 수 있다. 여기서, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 것은, 적어도 하나의 이벤트에 연계된 적어도 하나의 감정 요소(emotion element)의 가중치(weight)를 결정하는 것을 의미할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자에 의해 발화된 음성 데이터로부터 사용자 이벤트를 추출하고, 추출된 사용자 이벤트를 새로운 이벤트로 이벤트 DB에 등록할 수도 있다. 전자 장치(1000)가 사용자에 의해 발화된 음성 데이터로부터 사용자 이벤트를 추출하는 동작에 대해서는 도 4를 참조하여 후에 자세히 살펴보기로 한다.
일 실시예에 의하면, 사용자 이벤트와 관련된 사용자의 감정 정보는, 사용자 이벤트에 대한 사용자의 감정 상태를 나타내는 정보일 수 있다. 여기서, 사용자의 감정 정보는, 단일의 감정 상태를 나타내는 정보일 수도 있고, 둘 이상의 감정이 결합된 복합적인 감정 상태를 나타내는 정보일 수도 있다. 예를 들어, 감정 정보는, 즐거움, 긴장, 걱정, 행복, 두려움, 불쾌함, 짜증, 당황, 슬픔, 우울, 후회, 질투, 서운함, 자신감, 사랑, 증오, 애증, 흥미로움, 신남(exciting), 평상심(stability), 안도감(relief), 공포 중 적어도 하나의 감정을 포함할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자 이벤트와 관련된 사용자의 발화가 감지된 시점에 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다. 다른 실시예에 의하면, 전자 장치(1000)는, 사용자 이벤트와 관련된 사용자의 발화 전에 선제적으로 응대하기 위해 사용자 이벤트에 대한 사용자의 감정 정보를 획득할 수도 있다. 예를 들어, 전자 장치(1000)는, 사용자 이벤트의 발생 예정 시간을 확인하고, 사용자 이벤트가 발생하기 10분 전에 사용자 이벤트와 관련된 알림을 제공하기 위해, 사용자 이벤트에 대한 사용자의 현재 감정 정보를 획득할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 인공지능 모델을 이용하여, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 인공지능 모델에 의해 생성(또는 갱신(refine))되는 이벤트-감정 데이터베이스(DB)로부터 특정 사용자 이벤트에 대응하는 사용자의 감정 정보를 획득할 수 있다. 이벤트-감정 데이터베이스(DB)는 특정 이벤트에 대한 일반인의 평균적인 감정 정보를 저장하거나, 특정 이벤트에 대해 사용자 별로 개인화된 감정 정보를 저장할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 인공지능 모델은 전문가에 의해 분석된 감정 정보 및 사용자의 과거 감정 정보 중 적어도 하나에 기초하여 학습될 수 있다. 인공지능 모델은 전자 장치(1000)에 저장될 수도 있고, 전자 장치(1000)에 연계된 서버(예컨대, 클라우드 서버)에 저장되어 있을 수도 있다. 인공지능 모델에 대해서는 도 3을 참조하여, 후에 자세히 살펴보기로 한다.
일 실시예에 의하면, 전자 장치(1000)는, 현재 시간과 사용자 이벤트의 발생 예정 시간을 비교하여, 사용자 이벤트의 진행 단계(progress stage)를 결정할 수 있다. 여기서, 현재 시간은 사용자로부터의 발화를 감지한 시간을 포함할 수 있으나, 이에 한정되는 것은 아니다. 예를 들어, 전자 장치(1000)는 현재 시간이 사용자 이벤트 발생 전인지 사용자 이벤트 종료 후인지 결정할 수 있다. 그리고 전자 장치(1000)는, 사용자 이벤트의 진행 단계를 고려하여, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수도 있다. 예컨대, 전자 장치(1000)는, 사용자 이벤트가 마라톤 대회 참석인 경우, 사용자 이벤트 발생 전에는, 사용자의 감정 정보를 '긴장감 가중치: 0.5, 즐거움 가중치: 0.5'로 결정할 수 있다. 반면에, 전자 장치(1000)는 사용자 이벤트(예컨대, 마라톤 대회 참석) 종료 후에는 사용자의 감정 정보를 '행복 가중치: 0.3, 즐거움 가중치: 0.7'로 결정할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자 이벤트와 관련된 추가 정보를 고려하여, 사용자의 감정 정보를 획득할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자 이벤트와 관련된 사람, 사용자 이벤트의 발생 예정 시간 및 사용자 이벤트와 관련된 장소 중 적어도 하나를 고려하여, 사용자의 감정 정보를 세분화할 수 있다. 이때, 전자 장치(1000)는, 사용자 이벤트와 관련된 추가 정보를 사용자에게 직접 질의하여 획득할 수도 있고, 이메일 또는 메시지 등을 파싱(parsing)하여 사용자 이벤트와 관련된 추가 정보를 획득할 수도 있다. 전자 장치(1000)가 사용자 이벤트와 관련된 추가 정보를 고려하여, 사용자의 감정 정보를 세분화하는 동작에 대해서는 도 9를 참조하여 후에 좀 더 살펴 보기로 한다.
일 실시예에 의하면, 전자 장치(1000)는, 이벤트와 감정 정보를 맵핑한 테이블로부터 사용자 이벤트와 관련된 기본 감정 정보(Default emotion information)를 획득할 수 있다. 기본 감정 정보는 사용자 이벤트와 관련된 사용자의 과거 감정 정보일 수도 있고, 사용자 이벤트에 대해 일반인이 느끼는 평균적인 감정 정보일 수도 있다. 이벤트와 감정 정보를 맵핑한 테이블은 인공지능 모델과 연계된 이벤트-감정 데이터베이스(DB)에 저장되어 있을 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자의 생체 정보(예컨대, 심박수 정보, 맥박 정보, 호흡 정보, 눈 떨림 정보, 표정 변화 정보, 땀 발생 정도 정보, 체온 변화 정보, 음성 입력 등)를 획득하고, 사용자의 생체 정보에 기초하여 사용자 이벤트와 관련된 기본 감정 정보를 수정함으로써, 사용자 이벤트와 관련된 사용자의 실제 감정 정보를 획득할 수 있다. 예를 들어, 전자 장치(100)는, 이벤트와 감정 정보를 맵핑한 테이블로부터 적어도 하나의 이벤트와 관련된 기본 감정 정보를 획득하고, 사용자로부터 발화된 음성 데이터를 분석한 정보에 기초하여 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하고, 사용자의 감정 상태에 기초하여 기본 감정 정보를 수정함으로써, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습할 수 있다. 기본 감정 정보를 수정하는 것은 기본 감정 정보에 포함된 감정 요소들 각각에 대응하는 가중치를 조정하는 것을 의미할 수 있다. 예를 들어, 기본 감정 정보가 '긴장 가중치: 0.3, 즐거움 가중치: 0.7'인 경우, 전자 장치(1000)는 사용자의 생체 정보에 기초하여, 긴장 가중치를 '0.3'에서 '0.6'으로 높이고, 즐거움 가중치를 '0.7'에서 '0.4'로 줄일 수 있다.
일 실시예에 의하면, 전자 장치(1000)는 내부의 센서를 이용하여, 사용자의 생체 정보를 획득할 수도 있고, 외부의 장치(예컨대, 외부의 웨어러블 디바이스)로부터 사용자의 생체 정보를 획득할 수도 있다. 예를 들어, 전자 장치(1000)는 적어도 하나의 카메라(예컨대, 일반 이미지 센서, 적외선 센서, 깊이 센서 등)를 이용하여, 사용자의 얼굴 이미지를 획득하고, 사용자의 얼굴 이미지를 분석함으로써, 사용자의 표정 변화 또는 눈 떨림 등을 관찰할 수 있다. 또한, 전자 장치(1000)는 적외선 센서를 이용하여, 사용자의 체온 변화를 관찰할 수도 있다. 이때, 전자 장치(1000)는 사용자의 표정 변화나 눈 떨림 정도에 기반하여, 사용자의 현재 감정 상태를 추론할 수 있다. 또한, 전자 장치(1000)는 마이크로폰을 통해 사용자로부터 음성 데이터를 수신하고, 음성 데이터를 분석하여, 사용자의 실제 감정 상태를 추론할 수도 있다. 전자 장치(1000)가 외부의 장치로부터 사용자의 생체 정보를 수신하는 동작에 대해서는 도 12를 참조하여 후에 자세히 살펴보기로 한다.
단계 S220에서, 전자 장치(1000)는, 사용자의 감정 정보에 기초하여, 사용자 이벤트에 대응하는 응대 타입을 결정할 수 있다.
여기서, 응대 타입이란 사용자에게 응답을 제공할 때 취하게 되는 응대 스타일로서, 응대 타입 별로 사용자 이벤트와 관련된 정보 외에 추가 정보를 얼마나 제공할지 여부, 응대하기 위한 어조를 어떻게 할지 여부 등이 달라질 수 있다. 예를 들어, 응대 타입은 격려 타입(예컨대, 화제 전환 가중치: 0.3, '응원(cheer up) 가중치: 0.7), 동조 타입(예컨대, 동감 가중치: 0.9, 응원 가중치: 0.1)), 위로 타입(예컨대, 위로 가중치: 0.8, 동감 가중치: 0.2), 응원 타입(예컨대, 응원 가중치: 0.9, 추가 정보 제공 가중치: 0.1) 등이 있을 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(1000)는, 제 1 이벤트에 대한 사용자의 감정 정보가 '긴장 가중치: 0.9' 및 '즐거움 가중치: 0.1'인 경우, 제 1 이벤트에 대응하는 응대 타입을 '격려 타입'으로 결정할 수 있다. 또한, 전자 장치(1000)는, 제 2 이벤트에 대한 사용자의 감정 정보가 '즐거움 가중치: 0.9' 및 '긴장 가중치: 0.1'인 경우, 제 2 이벤트에 대응하는 응답 타입을 '동조 타입'으로 결정할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는 인공지능 모델을 이용하여, 사용자의 이벤트에 대응하는 응대 타입을 결정할 수 있다. 예를 들어, 전자 장치(1000)는, 인공지능 모델에 의해 생성(또는 갱신)된 응대 방법 데이터베이스(DB)로부터 감정 정보와 맵핑된 응대 타입을 결정할 수 있다. 응대 방법 DB에는 감정 정보와 응대 타입을 맵핑한 테이블이 저장될 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(1000)는 사용자의 선호도를 반영하여, 응대 타입을 결정할 수도 있다. 예를 들어, 전자 장치(1000)는, 사용자의 선호도를 반영하여, 응대 시 간단한 이미지(예컨대, 이모티콘) 사용 여부, 응대 방법(예컨대, 텍스트로 응대, 음성으로 응대, 알림 창으로 응대 등), 음색 등을 결정할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자의 감정 정보를 고려하여, 사용자의 발화에 응대하기 위한 어조(Tone)을 결정할 수도 있다. 또한, 전자 장치(1000)는, 사용자의 감정 정보를 고려하여, 사용자의 발화에 응대하기 위한 색상을 결정할 수도 있다. 전자 장치(1000)가 어조 또는 색상을 결정하는 동작에 대해서는 도 14 및 도 15를 참조하여, 후에 자세히 살펴보기로 한다.
단계 S230에서, 전자 장치(1000)는, 결정된 응대 타입에 기초하여, 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 제공할 수 있다. 여기서, 사용자의 발화에 대한 응답을 제공하는 것은, 사용자의 발화를 유도하기 위한 선제적 응대(예컨대, 사용자 이벤트와 관련된 알림 제공)를 포함할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는 인공 지능 모델을 이용하여, 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 제공할 수 있다. 예를 들어, 전자 장치(1000)는, 인공지능 모델에 의해 생성(또는 갱신)된 응답 데이터베이스(DB)로부터 사용자의 발화에 대응하는 응답을 추출할 수 있다. 응답 DB에는 응대 타입, 사용자로부터 입력될 수 있는 문구 및 응답 문구를 맵핑한 테이블이 저장될 수 있으나, 이에 한정되는 것은 아니다.
사용자로부터 제 1 문구가 입력된 경우를 예로 들어 설명하기로 한다. 전자 장치(1000)는, 결정된 응대 타입이 격려 타입인 경우, 응답 문구로서 제 1 응답 문구를 선택하고, 결정된 응대 타입이 동조 타입인 경우, 응답 문구로서 제 2 응답 문구를 선택할 수 있다.
일 실시예에 의하면, 응대 타입이 다른 경우, 응답 문구는 동일하더라도 추가되는 정보가 달라질 수도 있다. 사용자로부터 제 1 문구가 입력된 경우를 예로 들어 보기로 한다. 전자 장치(1000)는, 결정된 응대 타입이 격려 타입인 경우, 응답 문구로서 제 1 응답 문구를 선택하고, 추가 정보로서, 제 1 텍스트를 선택할 수 있다. 반면, 전자 장치(1000)는, 결정된 응대 타입이 동조 타입인 경우, 응답 문구로서 제 1 응답 문구를 선택하고 추가 정보로서 제 2 텍스트를 선택할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는 응답을 대화 창에서 텍스트 형태로 제공할 수도 있고, 음성 형태로 제공할 수도 있다. 알림 창(예컨대, 팝업 창)에서 텍스트 형태로 제공할 수도 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자의 감정 정보에 대응하는 색상을 선택하고, 선택된 색상을 이용하여, 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 표시할 수 있다. 예를 들어, 전자 장치(1000)는 제 1 이벤트에 대한 사용자의 제 1 감정 정보에 기초하여 제 1 색상을 선택한 경우, 제 1 색상으로 표시된 알림 창에 응답을 제공할 수 있다. 반면, 전자 장치(1000)는, 제 2 이벤트에 대한 사용자의 제 2 감정 정보에 기초하여, 제 2 색상을 선택한 경우, 제 2 색상으로 표시된 알림 창에 응답을 제공할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자가 선호하는 표현 방식을 적용하여, 응답을 제공할 수도 있다. 예를 들어, 사용자로부터 입력된 제 1 문장에 대해서 '힘내요'라고 응답할 수도 있고, '파이팅'이라고 응답할 수도 있는 경우, 전자 장치(1000)는 사용자가 선호하는 표현 방식인 '힘내요'를 선택할 수 있다.
한편, 전자 장치(1000)는, 사용자가 선호하는 어조를 선택하거나, 사용자가 선호하는 목소리를 선택하거나, 사용자가 선호하는 알림 방식을 선택하거나, 사용자가 선호하는 색상을 선택할 수도 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(1000)는, 선제적 응대의 경우, 사용자의 상황을 고려할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자의 상황을 고려하여, 사용자 이벤트와 관련된 알림 제공 방식을 결정할 수 있다. 그리고 전자 장치(1000)는 결정된 알림 제공 방식에 따라, 사용자 이벤트와 관련된 알림을 제공할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자가 오후 프리젠테이션 중인 경우, 저녁 이벤트와 관련된 알림(또는 리마인더)을 소리 없이 화면에 표시만하다가, 저녁 이벤트의 발생 예정 시간에 가까워진 경우, 진동 또는 소리로 다시 알림(또는 다시 리마인더)할 수 있다.
한편, 일 실시예에 의하면, 전자 장치(1000)는, 사용자 이벤트와 관련된 사용자의 감정 정보를 포함하는 다이어리 인터페이스를 제공할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자 이벤트의 진행 단계 별로 사용자의 감정 정보를 나타내는 간단한 이미지나 그래프를 제공할 수 있다. 전자 장치(1000)가 다이어리 인터페이스를 제공하는 동작에 대해서는 도 16 및 도 17을 참조하여 후에 자세히 살펴보기로 한다.
한편, 도 2에서는 사용자의 음성 입력에 대한 응답을 제공하는 경우를 예로 들어 설명하였으나, 이에 한정되는 것은 아니다. 전자 장치(1000)는 사용자로부터의 텍스트 입력에 대해서도 사용자의 감정 정보에 기반하여, 응답을 제공할 수 있다. 이하에서는 인공지능 모델에 대해서 도 3을 참조하여 자세히 살펴보기로 한다.
도 3은 일 실시예에 따른 딥러닝을 통해 이벤트-감정 기반 응답 모델(AI 모델)을 생성하는 동작을 설명하기 위한 도면이다.
도 3을 참조하면, 일 실시예에 의하면, 전자 장치(1000) 또는 서버에 포함된 AI 프로세서는 인공신경망을 학습시켜, 응대 방법을 결정하는 이벤트-감정 기반 응답 모델(300)을 생성할 수 있다. 이하에서는 설명의 편의 상 이벤트-감정 기반 응답 모델(300)을 인공지능 모델 또는 응답 모델로 표현할 수 있다. 인공신경망을 ‘학습’시킨다는 것은 데이터를 바탕으로 가중치를 적절히 바꿔주면서 인공신경망을 구성하는 뉴런들의 연결이 최적의 의사결정을 할 수 있는 수학적 모델을 만드는 것을 의미할 수 있다.
일 실시예에 의하면, AI 프로세서는, 전문가에 의해 작성된 데이터 또는 공개된 데이터 등을 학습데이터(301)로 획득하고, 학습데이터(301)를 이용하여, 이벤트-감정 기반 응답 모델(300)을 생성할 수 있다. 전문가에 의해 작성된 데이터는 사용자로부터 발화가 예상되는 문구로부터 전문가가 분석 또는 추출한 감정 정보를 포함할 수 있다. 공개된 데이터는 웹 또는 SNS 서버에서 수집된 텍스트들로부터 분석 또는 추출된 감정 정보를 포함할 수 있다. 예를 들어, 공개 데이터는, 'Skipped school today skipping school tomorrow haha'라는 문구로부터 분석/추출된 happy라는 감정 정보를 포함할 수 있다. 전문가에 의해 작성된 데이터 또는 공개된 데이터 등은 기 설정된 포맷으로 변환됨으로써 이벤트-감정 기반 응답 모델(300)을 생성하기 위한 학습 데이터(301)로 이용될 수 있다.
일 실시예에 의하면, AI 프로세서는, 사용자로부터 입력되는 감정 정보(예컨대, 피드백 정보 등), 사용자의 생체 정보로부터 획득되는 감정 정보 등을 학습데이터(302)로 획득하고, 학습데이터(302)를 이용하여, 이벤트-감정 기반 응답 모델(300)을 생성할 수 있다. 사용자로부터 입력되는 감정 정보(예컨대, 피드백 정보 등), 사용자의 생체 정보로부터 획득되는 감정 정보 등은 기 설정된 포맷으로 변환됨으로써 이벤트-감정 기반 응답 모델(300)을 생성하기 위한 학습 데이터(302)로 이용될 수 있다.
일 실시예에 의하면, 이벤트-감정 기반 응답 모델(300)은 학습 데이터(301)를 이용하여 학습함으로써, 이벤트-감정 DB(310), 응대 방법 DB(320), 응답 DB(330)를 생성할 수 있다. 일 실시예에 의하면, 이벤트-감정 기반 응답 모델(300)은, 학습 데이터(301)가 추가되거나 갱신(refine)됨에 따라, 이벤트-감정 DB(310), 응대 방법 DB(320), 응답 DB(330)를 갱신할 수 있다.
일 실시예에 의하면, 이벤트-감정 DB(310)는, 이벤트와 감정 간의 연관 관계를 정의한 DB로서, 이벤트와 감정 정보를 맵핑한 테이블을 포함할 수 있다. 예를 들어, 이벤트-감정 DB(310)는, "제 1 이벤트: 긴장(0.6), 즐거움 (0.4)", "제 2 이벤트: 두려움(0.7), 긴장(0.3)" 등의 정보를 포함할 수 있다.
일 실시예에 의하면, 이벤트-감정 DB(310)에는, 이벤트와 관련된 시간, 사람, 장소 등에 따라, 감정 정보가 더 세분화된 테이블이 저장될 수도 있다. 예를 들어, 이벤트-감정 기반 응답 모델(300)은 이벤트와 관련된 시간, 사람, 장소 등을 고려하여, 사용자의 감정 정보를 더 세분화할 수 있다. 만일, 이벤트 DB에 이벤트와 관련된 시간, 사람, 장소 등에 대한 구체적인 정보가 저장되어 있지 않은 경우, 이벤트-감정 기반 응답 모델(300)은 이벤트와 관련된 시간, 사람, 장소 등에 대한 정보를 사용자에게 물어서 획득할 수도 있다. 감정 정보가 더 세분화된 테이블에 대해서는 도 9를 참조하여, 후에 자세히 살펴보기로 한다.
일 실시예에 의하면, 응대 방법 DB(320)는, 감정과 응대 방법 간의 연관 관계를 정의한 DB로서, 감정 정보와 응대 타입을 맵핑한 테이블이 저장될 수 있다. 예를 들어, 응대 방법 DB(320)에는 "제 1 감정 정보(긴장(0.6), 즐거움 (0.4)) - 제 1 응대 타입(화제 전환(0.3), 격려 (0.7))", "제 2 감정 정보(안도감) - 제 2 응대 타입(동감하기 (0.9))" 등의 정보가 포함되어 있을 수 있다.
일 실시예에 의하면, 응답 DB(330)는, 응대 방법(응대 타입)과 응답 문장 간의 연관 관계를 정의한 DB로서, 응대 타입과 응답 문구를 맵핑한 테이블이 저장될 수 있다. 예를 들어, 응답 DB(330)에는 "제 1 응대 타입(예컨대, 격려 타입: 화제 전환(0.3), 격려 (0.7))-응답 문구(파이팅(0.6)/힘내요(0.4))" 등의 정보가 포함되어 있을 수 있다.
한편, 일 실시예에 의하면, 이벤트-감정 기반 응답 모델(300)은 개인화 학습 데이터(302)를 획득하고, 개인화 학습 데이터(302)를 이용하여, 이벤트-감정 DB(310), 응대 방법 DB(320), 응답 DB(330)를 개인화할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자 이벤트가 종료된 후 사용자 이벤트에 대한 피드백을 사용자로부터 획득할 수 있다. 그리고, 전자 장치(1000)는 사용자 이벤트에 대한 피드백을 이벤트-감정 기반 응답 모델(300)에 개인화 학습 데이터(302)로 입력할 수 있다. 이때, 이벤트-감정 기반 응답 모델(300)은 사용자 이벤트에 대한 피드백에 기초하여, 이벤트-감정 DB(310)에 포함된 이벤트와 감정 정보를 맵핑한 테이블을 갱신(refine)할 수 있다. 예를 들어, 전자 장치(1000)는 제 1 이벤트에 대한 사용자의 감정 정보를 '긴장 (0.5), 즐거움(0.5)'로 결정했으나, 사용자로부터 입력된 피드백에 의할 때, 사용자의 감정 정보가 '긴장(0.8), 즐거움(0.2)'인 경우, 이벤트-감정 DB(310)에서 제 1 이벤트에 대한 사용자의 감정 정보를 '긴장(0.5), 즐거움(0.5)'에서 '긴장(0.8), 즐거움(0.2)'으로 수정할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는 사용자 이벤트 발생 전에 사용자의 감정 정보에 대한 피드백을 획득할 수도 있다. 이 경우, 전자 장치(1000)의 이벤트-감정 기반 응답 모델(300)은 이벤트-감정 DB(310)에 포함된 이벤트 진행 단계 별 사용자의 감정 정보를 갱신할 수도 있다.
일 실시예에 의하면, 전자 장치(1000)는 사용자의 생체 정보를 획득하고, 생체 정보로부터 추론되는 사용자의 실제 감정 정보를 이용하여, 이벤트-감정 DB(310)를 개인화할 수 있다.
한편, 전자 장치(1000)는 사용자가 선호하는 응대 타입이나 사용자가 선호하는 표현에 대한 정보를 획득하여, 응대 방법 DB(320), 응답 DB(330)를 개인화할 수도 있다.
이하에서는 도 4 및 도 5를 참조하여, 전자 장치(1000)가 사용자로부터 발화된 음성 데이터로부터 새로운 이벤트를 검출하고, 이벤트-감정 기반 응답 모델(300)을 이용하여, 새로운 이벤트에 관련된 사용자의 발화에 대한 응답을 제공하는 방법에 대해서 자세히 살펴보기로 한다.
도 4는 일 실시예에 따른 사용자로부터 발화된 음성 데이터로부터 새로운 이벤트를 등록하는 방법을 설명하기 위한 도면이다.
단계 S410에서, 전자 장치(1000)는, 사용자로부터 발화된 음성 데이터로부터 사용자 이벤트와 관련된 정보를 추출할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는 자연어 처리에 기반하여 음성 데이터를 분석한 결과 데이터를 생성할 수 있다. 예를 들어, 전자 장치(1000)는, 음성 데이터를 텍스트 데이터로 변환하고, 자연어 처리(Natural Language Processing)에 기반하여 텍스트 데이터로부터 사용자 이벤트와 관련된 정보를 검출할 수 있다. 예컨대, 전자 장치(1000)는, '금주 토요일에 친구 제나가 결혼식을 하는데 쪋 '이라는 음성을 포함하는 음성 데이터를 분석하여, 새로운 사용자 이벤트로 '결혼식'을 검출하고, 새로운 사용자 이벤트(결혼식)와 관련된 정보로서, '결혼하는 사람: 제나, 사용자의 관계: 친구, 결혼식 날짜: 금주 토요일(6/30)' 등을 획득할 수 있다.
단계 S420에서, 전자 장치(1000)는, 추출된 정보를 이용하여, 사용자 이벤트를 새로운 이벤트로 등록할 수 있다. 예를 들어, 전자 장치(1000)는 인공지능 모델에 연계된 이벤트 DB에 음성 데이터로부터 검출된 사용자 이벤트(예컨대, 결혼식)와 관련된 정보('결혼하는 사람: 제나, 사용자의 관계: 친구, 결혼식 날짜: 금주 토요일(6/30)')를 저장함으로써, 결혼식을 새로운 이벤트로 등록할 수 있다.
일 실시예에 의하면, 이벤트 DB는 일정 관리 애플리케이션, 캘린더 애플리케이션, 연락처 애플리케이션, SNS 애플리케이션 등과 연계될 수 있으나, 이에 한정되는 것은 아니다. 한편, 이벤트 DB는 사용자가 중요하게 생각하는 사용자 이벤트들을 정의한 DB로서, 사용자가 직접 입력한 이벤트에 관한 정보, 시스템에서 자동으로 등록한 이벤트에 관한 정보 등을 포함할 수 있다.
단계 S430에서, 전자 장치(1000)는, 사용자로부터 발화된 음성 데이터로부터 사용자의 감정 정보를 추출할 수 있다. 예를 들어, 전자 장치(1000)는 음성 데이터를 텍스트 데이터로 변환하고, 자연어 처리(Natural Language Processing)에 기반하여 텍스트 데이터로부터 감정 상태와 관련된 정보를 검출할 수 있다. 예컨대, 전자 장치(1000)는, '금주 토요일 친구 제나의 결혼식에서, 내가 축가를 불러주기로 했는데, 긴장되네'라는 음성 데이터를 분석하여, 사용자의 감정 정보로서 '긴장'을 검출할 수 있다.
단계 S440에서, 전자 장치(1000)는, 음성 데이터로부터 사용자의 감정 정보가 추출되지 않은 경우, 이벤트-감정 DB로부터 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다. 단계 S440은 도 2의 단계 S220에 대응될 수 있으므로, 구체적인 설명은 생략하기로 한다.
단계 S450에서, 사용자의 감정 정보에 기초하여, 사용자 이벤트에 대응하는 응대 타입을 결정할 수 있다.
전자 장치(1000)는, 사용자로부터 발화된 음성 데이터로부터 사용자의 감정 정보가 추출된 경우, 추출된 감정 정보에 기초하여, 사용자 이벤트에 대응하는 응대 타입을 결정할 수 있다. 만일, 사용자로부터 발화된 음성 데이터로부터 사용자의 감정 정보가 추출되지 않은 경우, 이벤트-감정 DB로부터 획득된 사용자의 감정 정보에 기초하여, 사용자 이벤트에 대응하는 응대 타입을 결정할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 인공지능 모델에 의해 생성(또는 갱신)된 응대 방법 DB(320)로부터 감정 정보와 맵핑된 응대 타입을 결정할 수 있다. 단계 S450은 도 2의 단계 S220에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S460에서, 전자 장치(1000)는, 결정된 응대 타입에 기초하여, 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 제공할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 인공지능 모델에 의해 생성(또는 갱신)된 응답 DB로부터 응대 타입과 맵핑된 응답을 추출하고, 대화형 인터페이스를 통해 사용자에게 추출된 응답을 제공할 수 있다. 단계 S460은 도 2의 단계 S230에 대응하므로, 구체적인 설명은 생략하기로 한다.
도 5는 일 실시예에 따른 전자 장치가 사용자의 발화에 응답하는 동작을 설명하기 위한 도면이다.
단계 S510에서, 전자 장치(1000)는, 사용자가 발화하는 경우, 마이크로폰을 통해 사용자의 음성 데이터를 획득하고, 음성 데이터를 분석하여, 사용자의 언어를 이해할 수 있다. 즉, 전자 장치(1000)는, 음성 데이터로부터 사용자 의도를 추출하고, 사용자 이벤트와 관련된 정보를 추출하고, 사용자 이벤트에 대한 감정 정보를 추출할 수 있다(S510). 예를 들어, 사용자가 '중요한 프리젠테이션이 오후에 있어'라고 발화하는 경우, 전자 장치(1000)는 사용자 의도로서 '새로운 이벤트 등록'을 추출하고, 새로운 이벤트와 관련된 정보로서, '프리젠테이션, 오후'를 추출할 수 있다. 이때, 사용자의 발화로부터 별다른 감정 정보는 추출되지 않을 수 있다.
단계 S520에서, 전자 장치(1000)는, 사용자의 언어를 이해한 경우, 응대를 결정할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자 의도에 따라, '프리젠테이션, 오후'를 새로운 이벤트로 이벤트 DB(340)에 등록할 수 있다. 단계 S521에서, 전자 장치(1000)는 이벤트-감정 DB(310)로부터 프리젠테이션에 대응하는 제 1 감정 정보(예컨대, '긴장 가중치: 0.6, 즐거움 가중치: 0.4')를 추출할 수 있다. 단계 S522에서, 전자 장치(1000)는 응대 방법 DB(320)로부터 제 1 감정 정보(예컨대, '긴장 가중치: 0.6, 즐거움 가중치: 0.4')에 대응하는 제 1 응대 방법(예컨대, 제 1 응대 타입: 다른 정보(0.3), Cheerup (0.7))을 추출할 수 있다.
단계 S530에서, 전자 장치(1000)는 응답을 설정할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자 이벤트 및 응대 방법에 따라 응답을 변형할 수 있다. 단계 S531에서, 전자 장치(1000)는 응답 DB(330)로부터, 사용자의 발화에 대한 기본 응답으로서 'presentation 하시는군요'를 추출하고, 추가 응답으로서 '홧팅 입니다'를 추출할 수 있다. 전자 장치(1000)는 대화형 인터페이스를 통해 '프리젠테이션 하시는 군요. 홧팅입니다!"를 출력할 수 있다.
한편, 전자 장치(1000)는 '프리젠테이션, 오후'를 새로운 이벤트로 등록했으므로, '프리젠테이션' 진행 과정을 모니터링할 수 있다. 예를 들어, 전자 장치(1000)는, 프리젠테이션 전 또는 후의 사용자의 감정 정보를 획득할 수 있다. 그리고 전자 장치(1000)는 획득된 사용자의 감정 정보에 기초하여, 개인의 감정 데이터베이스를 갱신할 수 있다. 예를 들어, 전자 장치(1000)는 이벤트-감정 DB(310)에 포함된 기본(default) 감정 정보를 수정함으로써, 이벤트-감정 DB(310)를 개인화할 수 있다(S540).
이하에서는, 전자 장치(1000)가 이벤트 DB(340)에 기 등록된 사용자 이벤트에 대한 사용자의 감정 정보에 기반하여, 사용자에게 응답하는 동작에 대해서 살펴보기로 한다.
도 6은 일 실시예에 따른 전자 장치가 이벤트 DB에 등록된 사용자 이벤트를 추출하는 동작을 설명하기 위한 도면이다.
전자 장치(1000)는 사용자(600)의 제 1 발화에 의한 제 1 음성 데이터(601)를 수신할 수 있다. 예를 들어, 전자 장치(1000)는 사용자(600)로부터 '오늘 중요한 일 있나?'라는 질의 입력을 수신할 수 있다. 이때, 전자 장치(1000)는 사용자(600)로부터 수신된 제 1 음성 데이터(601)를 분석하여, 사용자(600)의 의도(예컨대, 사용자의 금일 주요 일정 확인)를 추출할 수 있다.
전자 장치(1000)는 사용자(600)의 의도에 따라, 사용자(600)의 오늘 일정을 확인하기 위해, 이벤트-감정 기반 응답 모델(300)에 연계된 이벤트 DB(340)에 접근할 수 있다. 전자 장치(1000)는 이벤트 DB(340)로부터 사용자(600)와 관련된 이벤트 정보(예컨대, 부사장님께 프리젠테이션)를 확인하고, 제 1 응답(602)을 제공할 수 있다. 예를 들어, 전자 장치(1000)는, '오늘 오후에 부사장님께 프리젠테이션이 있습니다' 라는 제 1 응답(602)을 제공할 수 있다.
이때, 전자 장치(1000)는, 제 1 응답(602)을 들은 사용자(600)로부터 제 2 음성 데이터(603)를 수신할 수 있다. 예를 들어, 전자 장치(1000)는 '아, 그렇구나! 잘 해야 되는데...'라는 제 2 음성 데이터(603)를 수신할 수 있다. 제 2 음성 데이터(603)에 대한 응답을 제공하기 위해, 전자 장치(1000)는 이벤트-감정 DB로부터 '부사장님께 프리젠테이션'이라는 사용자 이벤트에 대응하는 기본 감정 정보(예컨대, 긴장 가중치: 0.6, 즐거움 가중치: 0.4' 를 획득할 수 있다. 또한, 전자 장치(1000)는 제 2 음성 데이터(603)로부터 감정 정보를 추출할 수도 있다. 예를 들어, 전자 장치(1000)는, 제 2 음성 데이터(603)로부터 감정 정보로서 '걱정'을 추출할 수 있다. 이때, 전자 장치(1000)는 제 2 음성 데이터(603)로부터 추출된 감정 정보(예컨대, 걱정)에 기반하여, 기본 감정 정보(예컨대, 긴장 가중치: 0.6, 즐거움 가중치: 0.4' )를 수정할 수 있다. 예를 들어, 전자 장치(1000)는 기본 감정 정보(예컨대, 긴장 가중치: 0.6, 즐거움 가중치: 0.4' )를 '긴장 가중치: 0.6, 즐거움 가중치: 0.1, 걱정 가중치: 0.3'으로 수정할 수 있다.
전자 장치(1000)는, 수정된 감정 정보(예컨대, '긴장 가중치: 0.6, 즐거움 가중치: 0.1, 걱정 가중치: 0.3')에 기초하여, 응대 타입을 '격려 타입(필요 정보 제공 + 격려 문구 추가)'으로 결정할 수 있다. 전자 장치(1000)는, 격려 타입으로 제 2 응답(604)을 제공할 수 있다. 예를 들어, 전자 장치(1000)는, '프리젠테이션은 오후 3시니깐(필요 정보 제공), 여유를 가지세요. 자료 잘 챙기시고, 홧팅입니다~(격려 문구 추가)'를 제 2 응답(604)으로 출력할 수 있다.
도 7은 일 실시예에 따른 전자 장치가 사용자 이벤트의 진행 단계에 기초하여, 사용자의 감정 정보를 획득하는 방법을 설명하기 위한 순서도이다.
단계 S710에서, 전자 장치(1000)는, 현재 시간과 사용자 이벤트의 발생 예정 시간을 비교하여, 사용자 이벤트의 진행 단계를 결정할 수 있다. 여기서, 사용자 이벤트의 진행 단계는, 이벤트 발생 전(예컨대, 하루 전, 1시간 전, 10분 전 등), 이벤트 중, 이벤트 종료 후 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
예를 들어, 사용자 이벤트의 발생 예정 시간이 오후 3시이고, 현재 시간이 오후 2시인 경우, 전자 장치(1000)는, 사용자 이벤트의 진행 단계를 '사용자 이벤트 발생 1시간 전'으로 결정할 수 있다.
일 실시예에 의하면, 현재 시간은 사용자로부터의 발화를 감지한 시점일 수 있다. 즉, 전자 장치(1000)는 사용자로부터의 발화가 감지된 시점이 사용자 이벤트 발생 전인지 후인지를 판단할 수도 있다.
단계 S720에서, 전자 장치(1000)는, 사용자 이벤트의 진행 단계에 기초하여, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다.
사용자 이벤트의 발생 전인지 후인지에 따라, 사용자 이벤트에 대한 사용자의 감정 상태가 변화될 가능성이 크므로, 전자 장치(1000)는, 사용자 이벤트의 진행 단계를 고려하여, 사용자의 감정 정보를 획득할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자 이벤트 발생 전에 비해 사용자 이벤트 발생 후에는 '긴장 가중치(nervous weight)'를 낮게 추출할 수 있다.
단계 S730에서, 전자 장치(1000)는 사용자의 감정 정보에 기초하여, 사용자 이벤트에 대응하는 응대 타입을 결정할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 인공지능 모델에 의해 생성(또는 갱신)된 응대 방법 DB(320)로부터 감정 정보와 맵핑된 응대 타입을 결정할 수 있다. 단계 S730은 도 2의 단계 S220에 대응하므로, 구체적인 설명은 생략하기로 한다.
단계 S740에서, 전자 장치(1000)는, 결정된 응대 타입에 기초하여, 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 제공할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 인공지능 모델에 의해 생성(또는 갱신)된 응답 DB로부터 응대 타입과 맵핑된 응답을 추출하고, 대화형 인터페이스를 통해 사용자에게 추출된 응답을 제공할 수 있다. 이때, 응답은 선제적 응답(예컨대, 사용자 이벤트에 대한 알림 제공)을 포함할 수 있다. 단계 S740은 도 2의 단계 S230에 대응하므로, 구체적인 설명은 생략하기로 한다.
도 8은 일 실시예에 따른 전자 장치가 사용자 이벤트의 진행 단계에 따라 알림 또는 응답을 제공하는 동작을 설명하기 위한 도면이다.
전자 장치(1000)는, 매일 아침(800), 이벤트 DB에 등록할 새로운 이벤트가 있는지 확인하기 위해, "좋은 아침이에요. 오늘 무슨 중요한 일이 있나요?"하고 사용자(800)에게 말을 걸 수 있다. 이때, 전자 장치(1000)는, 사용자(800)로부터 '오늘 오후 3시에 부사장님께 프리젠테이션이 있어'라고 하는 제 1 발화를 감지하게 되면, 사용자의 음성 데이터를 분석하여, '오후 1시, 부사장님께 프리젠테이션'을 새로운 이벤트로 등록할 수 있다. 그리고 전자 장치(1000)는 인공지능 모델을 이용하여, '부사장님께 프리젠테이션'에 대응하는 감정 정보(예컨대, 즐거움 가중치: 0.4, 긴장 가중치: 0.6)를 획득하고, 감정 정보(예컨대, 즐거움 가중치: 0.4, 긴장 가중치: 0.6)에 기초하여 제 1 발화에 대한 응대 타입을 결정할 수 있다. 예를 들어, 전자 장치(1000)는, 응대 타입으로 제 1 격려하는 타입(예컨대, cheerup 가중치: 0.7, 화제 전환 가중치: 0.3)을 결정할 수 있다. 전자 장치(1000)는, 제 1 격려하는 타입에 따라 제 1 발화에 대한 응답(예컨대, 네.. 제가 잘 챙겨 볼게요. 잘 하시길 바래요~)을 출력할 수 있다.
전자 장치(1000)는, 사용자(800)에게 사용자 이벤트와 관련된 알림을 제공하기 전에, 현재 시간(오후 1시)과 사용자 이벤트(예컨대, 부사장님께 프리젠테이션)의 발생 예정 시간(예컨대, 오후 3시)를 비교할 수 있다. 전자 장치(1000)는, 비교 결과에 따라, 현재 사용자 이벤트(예컨대, 부사장님께 프리젠테이션) 발생 전(820)임을 알 수 있다.
전자 장치(1000)는, 사용자 이벤트 발생 전(820)임을 고려하여, 사용자(800)의 감정 정보(예컨대, 즐거움 가중치: 0.1, 걱정 가중치: 0.2, 긴장 가중치: 0.7)를 획득할 수 있다. 전자 장치(1000)는 사용자(800)의 감정 정보(예컨대, 즐거움 가중치: 0.1, 걱정 가중치: 0.2, 긴장 가중치: 0.7)에 대응하는 응대 타입으로 제 2 격려 타입(예컨대, cheerup 가중치: 0.9, 화제 전환 가중치: 0.1)을 결정할 수 있다. 그리고, 전자 장치(1000)는, 제 2 격려 타입에 따라 선제적 응대를 할 수 있다. 예를 들어, 전자 장치(1000)는, '프리젠테이션이 조금 긴장되시죠~ 자료 잘 챙기시고요!'라는 알림을 제공할 수 있다. 전자 장치(1000)의 알림에 대해 사용자(800)가 '고마워. 열심히 해볼게..'라고 발화하는 경우, 전자 장치(1000)는 제 2 격려 타입에 따라 '네~ 홧팅입니다!'라는 응답을 출력할 수 있다.
사용자 이벤트가 종료된 후(830), 전자 장치(1000)는 사용자 이벤트에 관한 감정 정보를 사용자(800)에게 문의할 수 있다. 예를 들어, 전자 장치(1000)는, '오늘 프리젠테이션 어떠셨나요?'하는 문의를 출력할 수 있다. 문의에 대해 사용자(800)가 '응, 준비 잘했는데, 좀 깨졌어'라고 대답한 경우, 전자 장치(1000)는, 사용자 이벤트 발생 후(830)임을 고려하여, 사용자(800)의 감정 정보를 획득할 수 있다. 이때, 전자 장치(1000)는, 사용자의 음성 데이터로부터 감정 정보를 추출할 수도 있다. 예를 들어, 전자 장치(1000)는 프리젠테이션에 대한 감정 정보로서, '아쉬움 가중치: 0.4, 안도감 가중치: 0.4, 즐거움 가중치: 0.2'을 획득할 수 있다.
전자 장치(1000)는 사용자(800)의 감정 정보(예컨대, 아쉬움 가중치: 0.4, 안도감 가중치: 0.4, 즐거움 가중치: 0.2)에 대응하는 응대 타입으로 동감하는 타입(예컨대, 동감하기 가중치: 0.9, 다른 정보 제공 가중치: 0.1)을 결정할 수 있다. 전자 장치(1000)는 결정된 응대 타입(동감하기는 타입)에 기초하여, '열심히 준비하셨는데, 아쉬우시겠어요.'라는 제 1 응답을 제공할 수 있다. 제 1 응답에 대해 사용자(800)가 '응, 힘내야지!'라고 반응하는 경우, 전자 장치(1000)는 '네, 다음에는 더 잘 할 거에요'라는 제 2 응답을 출력할 수 있다.
전자 장치(1000)는, 사용자 이벤트 종료 후의 사용자의 감정 정보를 기록하여, 나중에 재활용할 수도 있다. 예를 들어, 전자 장치(1000)는 나중에 사용자에게 유사한 일이 발생할 때, 기존의 사용자 이벤트와 관련된 정보를 리마인드하여, 사용자가 좋았던 기억을 다시 생각할 수 있도록 유도할 수 있다.
도 9는 일 실시예에 따른 전자 장치가 사용자 이벤트와 관련된 사람, 장소 또는 시간에 기초하여, 사용자의 감정 정보를 획득하는 동작을 설명하기 위한 도면이다.
일 실시예에 의하면, 인공지능 모델(300)에 연계된 이벤트-감정 DB(310)에는 이벤트(900)에 따른 감정 정보가 이벤트(900)와 관련된 사람, 장소 또는 시간에 따라 조금 더 세분화되어 있을 수 있다. 이 경우, 전자 장치(1000)는, 이벤트(900)와 관련된 사람, 장소 또는 시간에 기초하여, 사용자의 세부 감정 정보를 획득할 수 있다.
예를 들어, 전자 장치(1000)는, 이벤트(900)가 프리젠테이션(910)인 경우, 기본적으로 사용자의 감정 정보를 '긴장 가중치: 0.4, 즐거움 가중치: 0.6'으로 결정할 수 있다. 하지만, 전자 장치(1000)가, 프리젠테이션(910)의 상대방에 대한 정보를 얻게 되는 경우, 프리젠테이션(910)의 상대방에 대한 정보를 고려하여, 사용자의 감정 정보를 결정할 수 있다. 예를 들어, 프리젠테이션(910)의 상대방이 사장(CEO)인 경우, 전자 장치(1000)는 사용자의 감정 정보를 '긴장 가중치: 0.9, 즐거움 가중치: 0.1' 로 결정할 수 있다. 반면, 프리젠테이션(910)의 상대방이 친구인 경우, 전자 장치(1000)는 사용자의 감정 정보를 '긴장 가중치: 0.1, 즐거움 가중치: 0.9' 로 결정할 수 있다.
한편, 전자 장치(1000)는 프리젠테이션(910)이 진행되는 장소에 대한 정보를 얻게 되는 경우, 진행 장소를 고려하여, 사용자의 감정 정보를 결정할 수도 있다. 예를 들어, 프리젠테이션(910)이 회의실에서 진행되는 경우, 전자 장치(1000)는 사용자의 감정 정보를 '긴장 가중치: 0.4, 즐거움 가중치: 0.4, 걱정 가중치: 0.2' 로 결정할 수 있다. 반면, 프리젠테이션(910)이 야유회에서 진행되는 경우, 전자 장치(1000)는 사용자의 감정 정보를 '긴장 가중치: 0.1, 즐거움 가중치: 0.9'로 결정할 수 있다.
다른 실시예에 의하면, 전자 장치(1000)는, 이벤트(900)가 친구 결혼식(920)인 경우, 기본적으로, 사용자의 감정 정보를 '긴장 가중치: 0.2, 즐거움 가중치: 0.8'로 결정할 수 있다. 하지만, 전자 장치(1000)가, 친구 결혼식(920)의 시간 정보를 얻게 되는 경우, 친구 결혼식(920)의 시간 정보를 고려하여, 사용자의 감정 정보를 결정할 수 있다. 예를 들어, 친구 결혼식(920)이 오전에 있는 경우, 전자 장치(1000)는, 사용자의 감정 정보를 '긴장 가중치: 0.3, 즐거움 가중치: 0.6, 귀찮음 가중치: 0.1'로 결정할 수 있다. 또한, 친구 결혼식(920)이 오후에 있는 경우, 전자 장치(1000)는, 사용자의 감정 정보를 '긴장 가중치: 0.2, 즐거움 가중치: 0.8'로 결정하고, 친구 결혼식(920)이 저녁에 있는 경우, 사용자의 감정 정보를'긴장 가중치: 0.1, 즐거운 가중치: 0.9'로 결정할 수 있다.
한편, 전자 장치(1000)는 친구 결혼식(920)이 진행되는 장소에 대한 정보를 얻게 되는 경우, 진행 장소를 고려하여, 사용자의 감정 정보를 결정할 수도 있다. 예를 들어, 친구 결혼식(920)이 야외에서 있는 경우, 전자 장치(1000)는, 사용자의 감정 정보를 '즐거움 가중치: 1'로 결정할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는 알림 정보에 포함된 적어도 하나의 이벤트에 대한 사용자의 반응 정보에 기초하여 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습할 수 있다. 사용자의 반응 정보는 사용자가 적어도 하나의 이벤트에 대해 갖는 감정 상태에 관한 정보로서, 사용자의 입력에 기반하여 획득될 수 있다. 예를 들어, 전자 장치(1000)는, 가상 비서 인터페이스를 통해 적어도 하나의 이벤트에 대한 알림 정보를 사용자에게 제공하고, 알림 정보에 포함된 적어도 하나의 이벤트에 대한 사용자의 반응 정보(feedback information)를 획득할 수 있다. 전자 장치(1000)는, 사용자의 반응 정보를 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하고, 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습할 수 있다. 이하에서는 전자 장치(1000)가 사용자의 반응 정보에 기초하여 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습하는 동작에 대해서 도 10 및 도 11을 참조하여 살펴보기로 한다.
도 10 및 도 11은 일 실시예에 따른 이벤트-감정 DB를 개인화하는 동작을 설명하기 위한 도면이다.
도 10을 참조하면, 전자 장치(1000)는, 사용자 이벤트가 발생하기 전에, 사용자 이벤트와 관련된 알림(예컨대, 프리젠티이션 1시간 전입니다)을 알림 창(1010)을 통해 사용자에게 제공할 수 있다.
이때, 전자 장치(1000)는, 감정 후보 리스트를 제공하여, 사용자로부터 사용자 이벤트 발생 전의 실제 감정 정보를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 기쁨, 긴장, 슬픔, 선택, 보통, 후회, 화남, 짜증 등이 포함된 감정 후보 리스트를 제공하고, 감정 후보 리스트에서 '긴장'을 선택하는 사용자 입력을 수신할 수 있다.
전자 장치(1000)는 사용자가 입력한 실제 감정 정보에 기반하여, 이벤트-감정 DB(310)에 저장된 기본(default) 감정 정보를 개인화할 수 있다. 예를 들어, 이벤트-감정 DB(310)에 저장된 프리젠테이션 전의 사용자의 감정 정보(1001)는 '즐거움 가중치: 0.4, 긴장 가중치(0.6)' 일 수 있다. 하지만, 사용자가 알림 창(1010)에 표시된 감정 후보 리스트 중에서 '긴장'을 선택하였으므로, 전자 장치(1000)는 기본 감정 정보에 포함된 긴장 가중치를 높여, 프리젠테이션에 대한 사용자의 감정 정보를 개인화할 수 있다. 예를 들어, 프리젠테이션에 대해 개인화된 감정 정보(1002)는 '즐거움 가중치: 0.1, 긴장 가중치: 0.9' 일 수 있다.
도 11을 참조하면, 전자 장치(1000)는 사용자 이벤트가 종료된 후에 사용자 이벤트에 대한 사용자의 피드백을 획득할 수 있다. 예를 들어, 전자 장치(1000)는 사용자 이벤트에 대한 감정을 확인하기 위한 문의 창(1110)을 제공할 수 있다. 일 실시예에 의하면, 전자 장치(1000)는 문의 창(1110)에 감성 상태를 나타내는 복수의 이미지들을 포함하는 감정 후보 리스트를 표시할 수 있다. 이때, 전자 장치(1000)는, 감정 후보 리스트 중에서 즐거움을 나타내는 이미지(1103)를 선택하는 입력을 사용자로부터 수신할 수 있다.
전자 장치(1000)는 사용자가 입력한 실제 감정 정보에 기반하여, 이벤트-감정 DB(310)에 저장된 프리젠테이션에 대한 기본(default) 감정 정보를 개인화할 수 있다. 예를 들어, 이벤트-감정 DB(310)에 저장된 프리젠테이션에 대한 사용자의 감정 정보(1101)는 '즐거움 가중치: 0.4, 긴장 가중치(0.6)' 일 수 있다. 하지만, 사용자가 문의 창(1110)에 표시된 감정 후보 리스트 중에서 '즐거움을 나타내는 이미지'를 선택하였으므로, 전자 장치(1000)는 기본 감정 정보에 포함된 즐거움 가중치를 높여, 프리젠테이션에 대한 사용자의 감정 정보를 개인화할 수 있다. 예를 들어, 프리젠테이션에 대해 개인화된 감정 정보(1102)는 '즐거움 가중치: 0.9, 긴장 가중치: 0.1' 일 수 있다.
이하에서는, 전자 장치(1000)가, 외부 장치를 이용하여 사용자의 생체 정보를 모니터링하고, 사용자의 생체 정보에 따라, 기본 감정 정보를 수정하는 동작에 대해서 살펴보기로 한다.
도 12는 일 실시예에 따른 전자 장치가 생체 정보에 따라 기본 감정 정보를 수정하는 동작을 설명하기 위한 도면이다.
단계 S1210에서, 전자 장치(1000)는 사용자 이벤트와 관련된 기본 감정 정보(1201)를 이벤트-감정 DB(310)로부터 획득할 수 있다. 기본 감정 정보(1201)는 사용자 이벤트에 대한 일반인들의 평균적인 감정 정보일 수도 있고, 사용자 이벤트에 대한 사용자의 과거 감정 정보일 수도 있다. 예를 들어, 이벤트-감정 DB(310)에 저장된 프리젠테이션에 대한 기본 감정 정보(1201)는 '즐거운 가중치: 0.4, 긴장 가중치: 0.6'일 수 있다.
단계 S1220에서, 전자 장치(1000)는, 사용자의 실제 감정 정보를 확인하기 위해, 외부 장치(3000)로부터 사용자의 생체 정보를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 사용자의 손목에 착용된 스마트 시계로부터 사용자의 심박수 정보, 체온 변화 정보 등을 수신할 수 있다. 또한, 전자 장치(1000)는, 스마트 시계에서 녹음된 사용자의 음성 데이터를 수신할 수도 있다. 전자 장치(1000)는, 외부 장치(3000)로부터 소정 주기로 사용자의 생체 정보를 수신할 수도 있고, 특정 이벤트 발생 시에 외부 장치(3000)로부터 사용자의 생체 정보를 수신할 수도 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자의 생체 정보에 기반하여, 사용자의 실제 감정 정보를 획득할 수 있다. 예를 들어, 사용자의 심박수가 빨라지고, 체온이 상승하는 경우, 전자 장치(1000)는 사용자의 긴장감이 높아졌다고 판단할 수 있고, 반대로 심박수가 안정을 찾은 경우, 전자 장치(1000)는, 사용자의 긴장감이 낮아졌다고 판단할 수 있다. 또한, 사용자의 음성 데이터를 분석한 결과, 목소리가 떨리거나, 긴장할 때 사용되는 단어(예컨대, 어쪋, 음...')를 많이 사용한 경우, 전자 장치(1000)는 사용자의 긴장감이 높아졌다고 판단할 수 있다. 반면에 사용자의 음성 데이터를 분석한 결과, 사용자가 환호하거나, 자주 웃는 경우, 전자 장치(1000)는 사용자의 즐거움이 높아졌다고 판단할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 이벤트 DB(340)에 등록된 사용자 이벤트 발생 전에, 사용자 이벤트 중에, 사용자 이벤트 종료 후에, 각각 사용자의 생체 정보를 획득할 수 있으나, 이에 한정되는 것은 아니다. 이 경우, 전자 장치(1000)는, 사용자 이벤트 진행에 따른 사용자의 감정 변화를 모니터링 할 수 있다.
단계 S1230에서, 전자 장치(1000)는, 사용자의 생체 정보에 기반하여, 이벤트-감정 DB(310)에 저장된 프리젠테이션에 대한 기본 감정 정보(1201)를 수정할 수 있다. 예를 들어, 사용자의 심박수가 안정적인 경우, 전자 장치(1000)는 기본 감정 정보(1201)에 포함된 긴장 가중치를 '0.6'에서 '0.2'로 낮출 수 있다. 따라서, 수정된 감정 정보(1202)는 '즐거움 가중치: 0.8, 긴장 가중치: 0.2'일 수 있다.
도 13은 일 실시예에 따른 사용자의 감정 정보에 기초하여 어조(tone)를 결정하는 방법을 설명하기 위한 순서도이다.
단계 S1310에서, 전자 장치(1000)는, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자 이벤트와 관련된 사용자의 발화가 감지된 시점에 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다. 다른 실시예에 의하면, 전자 장치(1000)는, 사용자 이벤트와 관련된 사용자의 발화 전에 선제적으로 응대하기 위해 사용자 이벤트에 대한 사용자의 감정 정보를 획득할 수도 있다.
일 실시예에 의하면, 전자 장치(1000)는, 인공지능 모델을 이용하여, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다. 예를 들어, 전자 장치(1000)는 인공지능 모델에 의해 생성(또는 갱신(refine))되는 이벤트-감정 DB(310)로부터 특정 사용자 이벤트에 대응하는 사용자의 감정 정보를 획득할 수 있다. 이벤트-감정 DB(310)는 특정 이벤트에 대한 일반인의 평균적인 감정 정보를 저장하거나, 특정 이벤트에 대해 사용자 별로 개인화된 감정 정보를 저장할 수 있으나, 이에 한정되는 것은 아니다.
단계 S1310은 도 2의 단계 S210에 대응할 수 있으므로, 구체적인 설명은 생략하기로 한다.
단계 S1320에서, 전자 장치(1000)는, 사용자 이벤트와 관련된 사용자의 감정 정보에 기초하여, 사용자의 발화에 대한 응답을 제공하기 위한 어조(tone)를 결정할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자 이벤트와 관련된 사용자의 감정 정보에 기초하여, 발화 속도(Speech rate), 피치 평균(pitch average), 피치 범위(pitch range), 강도(intensity), 음질(voice quality), 피치 변경(pitch changes), 굴절(articulation)을 결정할 수 있으나, 이에 한정되는 것은 아니다.
예컨대, 도 14에 도시된 감정-어조 테이블(1410)을 참조하면, 사용자의 감정 정보가 두려움(fear)인 경우, 전자 장치(1000)는, 발화 속도(Speech rate)를 '훨씬 더 빨리(much faster)'로 결정하고, 피치 평균(pitch average)을 '매우 더 높은(very much higher)'로 결정하고, 피치 범위(pitch range)를 'much wider'로 결정하고, 강도(intensity)를 'normal'로 결정하고, 음질(voice quality)을 'irregular voicing'으로 결정하고, 피치 변경(pitch changes)을 'normal'로 결정하고, 굴절(articulation)을 'precise'로 결정할 수 있다.
또한, 사용자의 감정 정보가 화남(anger)인 경우, 전자 장치(1000)는, 발화 속도(Speech rate)를 '약간 더 빨리(slightly faster)'로 결정하고, 피치 평균(pitch average)을 '매우 더 높은(very much higher)'로 결정하고, 피치 범위(pitch range)를 'much wider'로 결정하고, 강도(intensity)를 'higher'로 결정하고, 음질(voice quality)을 'breathy chest tone'으로 결정하고, 피치 변경(pitch changes)을 'abrupt on stressed syllable'로 결정하고, 굴절(articulation)을 'tense'로 결정할 수 있다.
단계 S1330에서, 전자 장치(1000)는, 결정된 어조로 사용자 이벤트와 관련된 사용자의 발화에 대한 응답을 제공할 수 있다. 따라서, 일 실시예에 의하면, 전자 장치(1000)는 사용자 이벤트에 대한 사용자의 감정 정보에 기초하여, 응답을 제공하는 음성의 어조를 다르게 함으로써, 사용자에게 감성 응대를 효율적으로 할 수 있다.
도 15는 일 실시예에 따른 전자 장치가 사용자의 감정 정보에 대응하는 색상을 이용하여, 알림을 제공하는 동작을 설명하기 위한 도면이다.
일 실시예에 의하면, 전자 장치(1000)는 사용자의 감정 정보에 대응하는 색상을 결정할 수 있다. 예를 들어, 감정-색상 테이블(1501)을 참조하면, 전자 장치(1000)는, '흥분(excitement), 에너지(energy), 열정(passion), 행동(action), 욕망(desire)의 감정에 대해서는 빨강 계열의 색을 결정하고, 낙천(optimistic), 향상(uplifting), 젊음(rejuvenating), 친근(friendliness), 재미(fun)의 감정에 대해서는 오렌지 계열의 색을 결정할 수 있으나, 이에 한정되는 것은 아니다.
일 실시예에 의하면, 전자 장치(1000)는 명도 또는 채도를 조절할 수도 있다. 예를 들어, 감정-색상 테이블(1501)에서 중심에 가까운 감정일수록 명도 또는 채도가 낮게 결정될 수 있다.
일 실시예에 의하면, 전자 장치(1000)는, 결정된 색상을 이용하여, 알림을 제공할 수 있다. 예를 들어, 사용자 이벤트가 '여행'이고, 사용자의 감정 상태가 '재미(fun)'인 경우, 전자 장치(1000)는 오렌지 색의 알림 창(1510)에 여행 하루 전임을 알리는 텍스트(예컨대, 여행 하루 전입니다)를 표시할 수 있다. 또한, 사용자 이벤트가 '개업'이고, 사용자의 감정 상태가 '희망(hope)'인 경우, 전자 장치(1000)는, 녹색의 알림 창(1520)에 개업 하루 전임을 알리는 텍스트(예컨대, 개업 하루 전입니다)를 표시할 수 있다.
도 16 및 도 17은 일 실시예에 따른 전자 장치가 다이어리 인터페이스를 제공하는 동작을 설명하기 위한 도면이다.
도 16의 제 1 실행 화면(1610)을 참조하면, 전자 장치(1000)는, 다이어리 인터페이스를 상에 사용자 이벤트들의 목록을 표시할 수 있다. 이때, 전자 장치(1000)는, 사용자가 사용자 이벤트에 대해 느끼는 대표적인 감정을 이벤트 명 옆에 표시할 수 있다. 예를 들어, 아들 생일에 대한 사용자의 대표적인 감정이 '기쁨'인 경우, 전자 장치(1000)는 아들 생일 옆에 기쁨을 표시할 수 있다. 또한, 프리젠테이션에 대한 사용자의 대표적인 감정이 '긴장'인 경우, 전자 장치(1000)는 프리젠테이션 옆에 '긴장'을 표시할 수 있다. 일 실시예에 의하면, 대표적인 감정은, 이모티콘 형태로 표시될 수도 있다.
일 실시예에 의하면, 전자 장치(1000)는, 사용자 이벤트들의 목록을 이벤트 발생 순서대로 표시할 수도 있고, 감정 별로 분리하여 표시할 수도 있으나, 이에 한정되는 것은 아니다.
도 16의 제 2 실행 화면(1620)을 참조하면, 사용자가 사용자 이벤트들의 목록에서 아들 생일을 선택한 경우, 전자 장치(1000)는 아들 생일과 관련된 감정 정보를 구체적으로 사용자에게 제공할 수 있다. 예를 들어, 전자 장치(1000)는, 사용자 이벤트 발생 전부터 발생 후까지 사용자의 감정 변화를 간단한 일기 형태로 제공할 수 있다. 이때, 전자 장치(1000)는 사용자의 감정 변화를 간단한 이모티콘 형태로 나타내 수 있다. 또한, 전자 장치(1000)는 사용자 이벤트와 관련된 사진 이미지가 존재하는 경우, 다이어리에 사진 이미지를 추가하여, 사용자에게 보여줄 수 있다. 한편, 전자 장치(1000)는, 사용자 이벤트와 관련된 추가 코멘트를 사용자로부터 입력 받을 수도 있다. 예를 들어, 사용자는, 아들 생일과 관련된 재미있는 에피소드나 사진 등을 다이어리에 추가할 수 있다.
도 17을 참조하면, 전자 장치(1000)는 사용자 이벤트 각각에 대응하는 감정 그래프(1710)를 다이어리 인터페이스상에 제공할 수도 있다. 감정 그래프는 이벤트 발생 전부터 이벤트 발생 후까지의 사용자의 감정 변화를 그래프로 나타낸 것일 수 있다. 일 실시예에 의하면, 감정 그래프는 2차원 그래프일 수도 있고, 3차원 그래프일 수도 있으나, 이에 한정되는 것은 아니다.
도 18 및 도 19는 일 실시예에 따른 전자 장치를 설명하기 위한 블록 구성도이다.
도 18에 도시된 바와 같이, 일 실시예에 따른 전자 장치(1000)는, 출력부(1100), 프로세서(1300), 메모리(1700)를 포함할 수 있다. 그러나 도시된 구성요소 모두가 필수구성요소인 것은 아니다. 도시된 구성요소보다 많은 구성요소에 의해 전자 장치(1000)가 구현될 수도 있고, 그보다 적은 구성요소에 의해서도 전자 장치(1000)는 구현될 수 있다.
예를 들어, 도 19에 도시된 바와 같이, 일 실시예에 따른 전자 장치(1000)는, 출력부(1100), 프로세서(1300), 메모리(1700) 이외에 센싱부(1200), 통신부(1400), A/V 입력부(1500), 사용자 입력부(1600)를 포함할 수 있다.
이하 상기 구성요소들에 대해 차례로 살펴본다.
출력부(1100)는, 오디오 신호 또는 비디오 신호 또는 진동 신호의 출력을 위한 것으로, 이에는 디스플레이부(1111), 음향 출력부(1112), 진동 모터(1113) 등이 포함될 수 있다.
음향 출력부(1112)는 통신부(1400)로부터 수신되거나 메모리(1700)에 저장된 오디오 데이터를 출력한다. 또한, 음향 출력부(1112)는 전자 장치(1000)에서 수행되는 기능(예를 들어, 호신호 수신음, 메시지 수신음, 알림음)과 관련된 음향 신호를 출력한다. 이러한 음향 출력부(1112)에는 스피커(speaker), 버저(Buzzer) 등이 포함될 수 있다. 또한, 일 실시예에 의하면, 음향 출력부(1112)는 사용자 이벤트와 관련된 상기 사용자의 발화에 대한 응답을 음성으로 제공할 수 있다.
진동 모터(1113)는 진동 신호를 출력할 수 있다. 예를 들어, 진동 모터(1113)는 오디오 데이터 또는 비디오 데이터(예컨대, 호신호 수신음, 메시지 수신음 등)의 출력에 대응하는 진동 신호를 출력할 수 있다. 또한, 진동 모터(1113)는 터치스크린에 터치가 입력되는 경우 진동 신호를 출력할 수도 있다.
출력부(1100)는 대화형 인터페이스를 제공할 수 있다. 대화형 인터페이스는 메시지 창 또는 채팅 창 형태로 제공될 수도 있고, 음성을 입/출력하는 형태로 제공될 수도 있으나, 이에 한정되는 것은 아니다.
출력부(1100)는, 사용자 이벤트와 관련된 사용자의 감정 정보를 포함하는 다이어리 인터페이스를 제공할 수 있다. 예를 들어, 다이어리 인터페이스는 리마인더 애플리케이션 또는 캘린더 애플리케이션에 등록된 이벤트 별로 이벤트와 관련된 과거 감정 상태 및 이벤트와 관련된 에피소드를 나열할 수 있다. 이때, 과거 감정 상태는 이모티콘이나 간단한 그래프로 나타날 수 있다.
센싱부(1200)는, 지자기 센서(Magnetic sensor)(1211), 가속도 센서(Acceleration sensor)(1212), 기울기 센서(1213), 적외선 센서(1214), 자이로스코프 센서(1215), 위치 센서(예컨대, GPS)(1216), 온습도 센서(1217), 근접 센서(1218), 및 광 센서(1219) 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다. 각 센서들의 기능은 그 명칭으로부터 당업자가 직관적으로 추론할 수 있으므로, 구체적인 설명은 생략하기로 한다.
프로세서(1300)는, 통상적으로 전자 장치(1000)의 전반적인 동작을 제어한다. 예를 들어, 프로세서(1300)는, 메모리(1700)에 저장된 프로그램들을 실행함으로써, 출력부(1100), 센싱부(1200), 통신부(1400), A/V 입력부(1500), 사용자 입력부(1600), 메모리(1700) 등을 전반적으로 제어할 수 있다.
일 실시예에 의하면, 프로세서(1300)는 학습 네트워크 모델을 생성하기 위한 AI 프로세서를 포함할 수 있으나, 이에 한정되는 것은 아니다. 일 실시예에 의하면, AI 프로세서는 프로세서(1300)와 별도의 칩으로 구현될 수도 있다.
프로세서(1300)는, 가상 비서 인터페이스를 이용하여, 사용자에게 일정 정보를 질의하고, 사용자로부터 적어도 하나의 이벤트에 관한 정보를 포함하는 응답을 수신할 수 있다. 프로세서(1300)는, 질의에 대한 응답을 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하고, 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습할 수 있다. 프로세서(1300)는, 사용자의 감정 정보에 기초하여, 적어도 하나의 이벤트에 대한 응대 타입을 결정하고, 응대 타입에 따라 적어도 하나의 이벤트에 대한 알림 정보를 가상 비서 인터페이스를 통해 제공할 수 있다.
프로세서(1300)는 전자 장치(1000)에 등록된 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다. 일 실시예에 의하면, 전자 장치(1000)는 전문가에 의해 분석된 감정 정보 및 사용자의 과거 감정 정보 중 적어도 하나에 기초하여 학습된 인공지능 모델로부터 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다. 일 실시예에 의하면, 프로세서(1300)는 현재 시간과 상기 사용자 이벤트의 발생 예정 시간을 비교하여, 사용자 이벤트의 진행 단계(progress stage)를 결정하고, 사용자 이벤트의 진행 단계에 기초하여, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다.
프로세서(1300)는 사용자로부터 발화된 음성 데이터로부터 사용자 이벤트와 관련된 정보를 추출하고, 추출된 정보를 이용하여, 사용자 이벤트를 새로운 이벤트로 전자 장치(1000)에 등록할 수 있다. 프로세서(1300)는 사용자의 음성 데이터로부터 사용자의 감정 정보를 추출할 수도 있다.
프로세서(1300)는 이벤트와 감정 정보를 맵핑한 테이블로부터 사용자 이벤트와 관련된 기본 감정 정보를 획득하고, 센싱부(1200) 또는 외부 장치를 이용하여 사용자의 생체 정보를 획득하고, 사용자의 생체 정보에 기초하여 기본 감정 정보를 수정함으로써, 사용자 이벤트와 관련된 사용자의 감정 정보를 획득할 수 있다. 프로세서(1300)는 사용자로부터 발화된 음성 데이터를 분석한 정보에 기초하여 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하고, 사용자의 감정 상태에 기초하여 기본 감정 정보를 수정함으로써, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습할 수도 있다.
프로세서(1300)는 사용자 이벤트가 종료된 후 사용자 이벤트에 대한 피드백을 사용자 입력부(1600)를 통해 사용자로부터 획득하고, 획득된 피드백에 기초하여, 이벤트와 감정 정보를 맵핑한 테이블을 갱신(refine)할 수 있다. 예를 들어, 프로세서(1300)는, 가상 비서 인터페이스를 통해 적어도 하나의 이벤트에 대한 알림 정보를 사용자에게 제공하고, 알림 정보에 포함된 적어도 하나의 이벤트에 대한 사용자의 반응 정보(feedback information)를 획득할 수 있다. 프로세서(1300)는, 사용자의 반응 정보를 분석하여, 적어도 하나의 이벤트에 대한 사용자의 감정 상태를 식별하고, 사용자의 감정 상태에 기초하여, 적어도 하나의 이벤트에 대한 사용자의 감정 정보를 학습할 수 있다.
프로세서(1300)는 사용자 이벤트와 관련된 사람, 사용자 이벤트의 발생 예정 시간 및 사용자 이벤트와 관련된 장소 중 적어도 하나를 고려하여, 사용자의 감정 정보를 획득할 수 있다.
프로세서(1300)는 사용자의 감정 정보에 기초하여 사용자 이벤트에 대응하는 응대 타입을 결정할 수 있다. 일 실시예에 의하면, 프로세서(1300)는 사용자 이벤트와 관련된 상기 사용자의 감정 정보에 기초하여, 사용자의 발화에 대한 응답 또는 알림 정보를 제공하기 위한 어조(tone)를 결정할 수 있다.
프로세서(1300)는, 결정된 응대 타입에 기초하여 사용자 이벤트와 관련된 상기 사용자의 발화에 대한 응답을 대화형 인터페이스를 통해 제공하도록 출력부(1100)를 제어할 수 있다. 예를 들어, 프로세서(1300)는, 사용자의 감정 정보에 대응하는 색상을 선택하고, 선택된 색상을 이용하여, 사용자 이벤트와 관련된 사용자의 발화에 대한 응답 또는 알림 정보를 표시할 수 있다.
프로세서(1300)는, 사용자가 선호하는 표현 방식을 적용하여, 응답을 제공할 수 있다. 또한, 프로세서(1300)는, 사용자의 상황을 고려하여, 사용자 이벤트와 관련된 알림 제공 방식을 결정하고, 결정된 알림 제공 방식에 따라, 사용자 이벤트와 관련된 알림을 제공할 수 있다. 예를 들어, 프로세서(1300)는, 사용자가 중요한 회의 중인 경우, 시각적인 알림만을 제공하다가 회의가 종료된 후에는 진동 또는 소리로 알림을 제공할 수 있다.
통신부(1400)는, 전자 장치(1000)와 웨어러블 장치 또는 전자 장치(1000)와 서버(미도시) 간의 통신을 하게 하는 하나 이상의 구성요소를 포함할 수 있다. 예를 들어, 통신부(1400)는, 근거리 통신부(1411), 이동 통신부(1412) 및 방송 수신부(1413)를 포함할 수 있다.
근거리 통신부(short-range wireless communication unit)(221)는, 블루투스 통신부, BLE(Bluetooth Low Energy) 통신부, 근거리 무선 통신부(Near Field Communication unit), WLAN(와이파이) 통신부, 지그비(Zigbee) 통신부, 적외선(IrDA, infrared Data Association) 통신부, WFD(Wi-Fi Direct) 통신부, UWB(ultra wideband) 통신부, Ant+ 통신부 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
이동 통신부(1412)는, 이동 통신망 상에서 기지국, 외부의 단말, 서버 중 적어도 하나와 무선 신호를 송수신한다. 여기에서, 무선 신호는, 음성 호 신호, 화상 통화 호 신호 또는 문자/멀티미디어 메시지 송수신에 따른 다양한 형태의 데이터를 포함할 수 있다.
방송 수신부(1413)는, 방송 채널을 통하여 외부로부터 방송 신호 및/또는 방송 관련된 정보를 수신한다. 방송 채널은 위성 채널, 지상파 채널을 포함할 수 있다. 구현 예에 따라서 전자 장치(1000)가 방송 수신부(1413)를 포함하지 않을 수도 있다.
일 실시예에 의하면, 통신부(1400)는, 외부 장치 사용자의 생체 정보를 획득할 수 있다. 예를 들어, 통신부(1400)는, 전자 장치(1000)에 연결된 웨어러블 디바이스로부터 사용자의 심박수 정보, 호흡 정보, 체온 정보 등을 수집할 수 있다.
A/V(Audio/Video) 입력부(1500)는 오디오 신호 또는 비디오 신호 입력을 위한 것으로, 이에는 카메라(1511), 마이크로폰(1512) 등이 포함될 수 있다. 카메라(1511)는 화상 통화모드 또는 촬영 모드에서 이미지 센서를 통해 정지영상 또는 동영상 등의 화상 프레임을 얻을 수 있다. 이미지 센서를 통해 캡쳐된 이미지는 프로세서(1300) 또는 별도의 이미지 처리부(미도시)를 통해 처리될 수 있다. 카메라(1511)에서 처리된 화상 프레임은 메모리(1700)에 저장되거나 통신부(1400)를 통하여 외부로 전송될 수 있다. 일 실시예에 의하면, 카메라(1511)는, 망원 카메라, 광각 카메라, 일반 카메라 중 적어도 하나를 포함할 수 있으나, 이에 한정되는 것은 아니다.
마이크로폰(1512)은, 외부의 음향 신호를 입력 받아 전기적인 음성 데이터로 처리한다. 예를 들어, 마이크로폰(1512)은 외부 디바이스 또는 화자로부터 음향 신호를 수신할 수 있다. 마이크로폰(1512)는 외부의 음향 신호를 입력 받는 과정에서 발생 되는 잡음(noise)를 제거하기 위한 다양한 잡음 제거 알고리즘을 이용할 수 있다.
사용자 입력부(1600)는, 사용자가 전자 장치(1000)를 제어하기 위한 데이터를 입력하는 수단을 의미한다. 예를 들어, 사용자 입력부(1600)에는 키 패드(key pad), 돔 스위치 (dome switch), 터치 패드(접촉식 정전 용량 방식, 압력식 저항막 방식, 적외선 감지 방식, 표면 초음파 전도 방식, 적분식 장력 측정 방식, 피에조 효과 방식 등), 조그 휠, 조그 스위치 등이 있을 수 있으나 이에 한정되는 것은 아니다.
메모리(1700)는, 프로세서(1300)의 처리 및 제어를 위한 프로그램을 저장할 수도 있고, 입/출력되는 데이터들(예컨대, 음성 데이터, 사진 이미지, 메타데이터, 개인화 학습 데이터, 사용자의 생체 정보 등)을 저장할 수도 있다.
메모리(1700)는 플래시 메모리 타입(flash memory type), 하드디스크 타입(hard disk type), 멀티미디어 카드 마이크로 타입(multimedia card micro type), 카드 타입의 메모리(예를 들어 SD 또는 XD 메모리 등), 램(RAM, Random Access Memory) SRAM(Static Random Access Memory), 롬(ROM, Read-Only Memory), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory), 자기 메모리, 자기 디스크, 광디스크 중 적어도 하나의 타입의 저장매체를 포함할 수 있다.
메모리(1700)에 저장된 프로그램들은 그 기능에 따라 복수 개의 모듈들로 분류할 수 있는데, 예를 들어, 응답 모델(1711)이 있을 수 있다. 응답 모델(1711)은 도 3의 이벤트-감정 기반 응답 모델(300)에 대응하므로, 구체적인 설명은 생략하기로 한다.
메모리(1700)는, 이벤트 DB(1712)를 포함할 수 있다. 이벤트 DB(1712)는 도 5의 이벤트 DB(340)에 대응할 수 있다. 또한, 메모리(1700)는 응답 모델(1711)에 의해 생성된 이벤트-감정 DB(1713), 응대 방법 DB(1714), 응답 DB(1715)을 저장할 수도 있다. 이벤트-감정 DB(1713), 응대 방법 DB(1714), 응답 DB(1715)은 각각 도 3의 이벤트-감정 DB(310), 응대 방법 DB(320), 응답 DB(330)에 대응되므로, 구체적인 설명은 생략하기로 한다.
이하에서는 응답 모델(1711)이 생성되는 과정에 대해서 도 20 내지 도 23을 참조하여 자세히 살펴보기로 한다.
한편, 전자 장치(1000) 및 서버(미도시)가 서로 연동함으로써 사용자에게 응답 메시지가 제공될 수 있다.
이 경우, 서버(미도시)는 응답 상황(예컨대, 이벤트 및 감정 기반 응답 제공)의 판단을 위한 기준을 학습함으로써, 이벤트-감정 기반 응답 모델을 생성할 수 있으며, 전자 장치(1000)는 서버(미도시)에 의한 학습 결과에 따라 생성된 이벤트-감정 기반 응답 모델을 이용하여 응답 상황을 판단할 수 있다. 이 경우, 전자 장치(1000)는 이벤트-감정 기반 응답 모델을 위한 데이터를 서버(미도시)에게 제공하고, 서버(미도시)가 응답 상황을 판단하고, 서버(미도시)가 판단된 응답 상황을 전자 장치(1000)에게 제공할 수 있다. 또는, 전자 장치(1000)는 이벤트-감정 기반 응답 모델을 위한 데이터를 서버(미도시)로부터 수신하고, 수신된 이벤트-감정 기반 응답 모델을 이용하여 응답 상황을 판단할 수도 있다.
일 실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
일부 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. 또한, 일부 실시예는 컴퓨터에 의해 실행되는 컴퓨터 프로그램과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 컴퓨터 프로그램 또는 컴퓨터 프로그램 제품 (computer program product)으로도 구현될 수 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속한다.

Claims (15)

  1. 전자 장치가 가상 비서 인터페이스를 제공하는 방법에 있어서,
    상기 가상 비서 인터페이스를 이용하여, 사용자에게 일정 정보를 질의하는 단계;
    상기 사용자로부터 적어도 하나의 이벤트에 관한 정보를 포함하는 상기 질의에 대한 응답을 수신하는 단계;
    상기 질의에 대한 응답을 분석하여, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 상태를 식별하는 단계;
    상기 사용자의 감정 상태에 기초하여, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 정보를 학습하는 단계;
    상기 사용자의 감정 정보에 기초하여, 상기 적어도 하나의 이벤트에 대한 응대 타입을 결정하는 단계; 및
    상기 응대 타입에 따라 상기 적어도 하나의 이벤트에 대한 알림 정보를 상기 가상 비서 인터페이스를 통해 제공하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서, 상기 질의에 대한 응답을 수신하는 단계는,
    상기 질의에 대한 응답으로 상기 사용자로부터 발화된 음성 데이터를 수신하는 단계;
    상기 음성 데이터로부터 상기 적어도 하나의 이벤트와 관련된 정보를 추출하는 단계; 및
    상기 추출된 정보를 이용하여, 상기 적어도 하나의 이벤트를 새로운 이벤트로 상기 전자 장치에 등록하는 단계를 포함하는, 방법.
  3. 제 2 항에 있어서, 상기 사용자의 감정 정보를 학습하는 단계는,
    이벤트와 감정 정보를 맵핑한 테이블로부터 상기 적어도 하나의 이벤트와 관련된 기본 감정 정보를 획득하는 단계;
    상기 음성 데이터를 분석한 정보에 기초하여 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 상태를 식별하는 단계; 및
    상기 사용자의 감정 상태에 기초하여 상기 기본 감정 정보를 수정함으로써, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 정보를 학습하는 단계를 포함하는, 방법.
  4. 제 1 항에 있어서, 상기 사용자의 감정 정보를 학습하는 단계는,
    현재 시간과 상기 적어도 하나의 이벤트의 발생 예정 시간을 비교하여, 상기 적어도 하나의 이벤트의 진행 단계(progress stage)를 결정하는 단계; 및
    상기 적어도 하나의 이벤트의 진행 단계에 기초하여, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 정보를 갱신하는 단계를 포함하는, 방법.
  5. 제 1 항에 있어서, 상기 사용자의 감정 정보를 학습하는 단계는
    상기 적어도 하나의 이벤트가 종료된 후 상기 적어도 하나의 이벤트에 대한 반응 정보(feedback information )를 상기 사용자로부터 획득하는 단계; 및
    상기 획득된 반응 정보에 기초하여, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 정보를 갱신하는 단계를 포함하는, 방법.
  6. 제 1 항에 있어서, 상기 사용자의 감정 정보를 학습하는 단계는,
    상기 적어도 하나의 이벤트와 관련된 사람, 상기 적어도 하나의 이벤트의 발생 예정 시간 및 상기 적어도 하나의 이벤트와 관련된 장소 중 적어도 하나와 관련된 정보를 이용하여, 상기 사용자의 감정 정보를 학습하는 단계를 포함하는, 방법.
  7. 제 1 항에 있어서, 상기 응대 타입을 결정하는 단계는,
    상기 사용자의 감정 정보에 기초하여, 상기 적어도 하나의 이벤트에 대한 알림 정보를 제공하기 위한 어조(tone)를 결정하는 단계를 포함하는, 방법.
  8. 제 1 항에 있어서, 상기 알림 정보를 제공하는 단계는,
    상기 사용자의 감정 정보에 대응하는 색상을 선택하는 단계; 및
    상기 선택된 색상을 이용하여, 상기 적어도 하나의 이벤트에 대한 알림 정보를 표시하는 단계를 포함하는, 방법.
  9. 제 1 항에 있어서, 상기 방법은,
    상기 결정된 응대 타입에 기초하여, 상기 적어도 하나의 이벤트와 관련된 상기 사용자의 발화에 대한 응답을 제공하는 단계를 더 포함하는, 방법.
  10. 제 1 항에 있어서, 상기 적어도 하나의 이벤트에 대한 알림 정보를 제공하는 단계는,
    상기 사용자의 상황을 고려하여, 상기 적어도 하나의 이벤트와 관련된 알림 제공 방식을 결정하는 단계; 및
    상기 결정된 알림 제공 방식에 따라, 상기 적어도 하나의 이벤트에 대한 알림 정보를 제공하는 단계를 포함하는, 방법.
  11. 제 1 항에 있어서, 상기 방법은,
    상기 적어도 하나의 이벤트와 관련된 상기 사용자의 감정 정보를 포함하는 다이어리 인터페이스를 제공하는 단계를 더 포함하는, 방법.
  12. 가상 비서 인터페이스를 제공하는 출력부; 및
    적어도 하나의 프로세서를 포함하되,
    상기 적어도 하나의 프로세서는,
    상기 가상 비서 인터페이스를 이용하여, 사용자에게 일정 정보를 질의하는 동작;
    상기 사용자로부터 적어도 하나의 이벤트에 관한 정보를 포함하는 상기 질의에 대한 응답을 수신하는 동작;
    상기 질의에 대한 응답을 분석하여, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 상태를 식별하는 동작;
    상기 사용자의 감정 상태에 기초하여, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 정보를 학습하는 동작;
    상기 사용자의 감정 정보에 기초하여, 상기 적어도 하나의 이벤트에 대한 응대 타입을 결정하는 동작; 및
    상기 응대 타입에 따라 상기 적어도 하나의 이벤트에 대한 알림 정보를 상기 가상 비서 인터페이스를 통해 제공하는 동작을 수행하는, 전자 장치.
  13. 제 12 항에 있어서, 상기 적어도 하나의 프로세서는,
    상기 질의에 대한 응답으로 상기 사용자로부터 발화된 음성 데이터를 수신하는 동작;
    상기 음성 데이터로부터 상기 적어도 하나의 이벤트와 관련된 정보를 추출하는 동작; 및
    상기 추출된 정보를 이용하여, 상기 적어도 하나의 이벤트를 새로운 이벤트로 상기 전자 장치에 등록하는 동작을 더 수행하는, 전자 장치.
  14. 제 13 항에 있어서, 상기 적어도 하나의 프로세서는,
    이벤트와 감정 정보를 맵핑한 테이블로부터 상기 적어도 하나의 이벤트와 관련된 기본 감정 정보를 획득하는 동작;
    상기 음성 데이터를 분석한 정보에 기초하여 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 상태를 식별하는 동작; 및
    상기 사용자의 감정 상태에 기초하여 상기 기본 감정 정보를 수정함으로써, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 정보를 학습하는 동작을 더 수행하는, 전자 장치.
  15. 가상 비서 인터페이스를 통해 적어도 하나의 이벤트에 대한 알림 정보를 사용자에게 제공하는 동작;
    상기 알림 정보에 포함된 상기 적어도 하나의 이벤트에 대한 상기 사용자의 반응 정보(feedback information)를 획득하는 동작;
    상기 사용자의 반응 정보를 분석하여, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 상태를 식별하는 동작; 및
    상기 사용자의 감정 상태에 기초하여, 상기 적어도 하나의 이벤트에 대한 상기 사용자의 감정 정보를 학습하는 동작을 수행하도록 하는 프로그램이 저장된, 컴퓨터로 읽을 수 있는 기록매체.
PCT/KR2019/012440 2018-09-27 2019-09-25 대화형 인터페이스를 제공하는 방법 및 시스템 WO2020067710A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/758,570 US11423895B2 (en) 2018-09-27 2019-09-25 Method and system for providing an interactive interface
CN201980004767.2A CN111226194A (zh) 2018-09-27 2019-09-25 提供交互界面的方法和系统
EP19864979.0A EP3705990A4 (en) 2018-09-27 2019-09-25 METHOD AND SYSTEM FOR PROVIDING AN INTERACTIVE INTERFACE

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR10-2018-0115346 2018-09-27
KR20180115346 2018-09-27

Publications (1)

Publication Number Publication Date
WO2020067710A1 true WO2020067710A1 (ko) 2020-04-02

Family

ID=69952357

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/012440 WO2020067710A1 (ko) 2018-09-27 2019-09-25 대화형 인터페이스를 제공하는 방법 및 시스템

Country Status (5)

Country Link
US (1) US11423895B2 (ko)
EP (1) EP3705990A4 (ko)
KR (1) KR20200035887A (ko)
CN (1) CN111226194A (ko)
WO (1) WO2020067710A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11283751B1 (en) 2020-11-03 2022-03-22 International Business Machines Corporation Using speech and facial bio-metrics to deliver text messages at the appropriate time

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019200584A1 (en) * 2018-04-19 2019-10-24 Microsoft Technology Licensing, Llc Generating response in conversation
US11734754B1 (en) * 2019-01-30 2023-08-22 United Services Automobile Association (Usaa) Intelligent loan recommendation agent
JP7248615B2 (ja) * 2020-03-19 2023-03-29 ヤフー株式会社 出力装置、出力方法及び出力プログラム
US11735206B2 (en) * 2020-03-27 2023-08-22 Harman International Industries, Incorporated Emotionally responsive virtual personal assistant
KR102256383B1 (ko) * 2020-05-18 2021-05-25 권영훈 사용자의 희망시간을 고려하여 응답정보를 제공하고 캐릭터의 외형을 변환하는 챗봇 서비스를 위한 시스템
US20220139562A1 (en) * 2020-07-10 2022-05-05 Modality.Ai, Inc. Use of virtual agent to assess psychological and medical conditions
KR20220095973A (ko) * 2020-12-30 2022-07-07 삼성전자주식회사 음성 입력에 응답하는 방법 및 이를 지원하는 전자 장치
WO2023038559A1 (en) * 2021-09-13 2023-03-16 Telefonaktiebolaget Lm Ericsson (Publ) Methods and devices related to experience-appropriate extended reality notifications
CN116521038A (zh) * 2022-01-24 2023-08-01 腾讯科技（深圳）有限公司 一种数据处理方法、装置、计算机设备以及可读存储介质
US20230343349A1 (en) * 2022-04-20 2023-10-26 Sony Interactive Entertainment Inc. Digital audio emotional response filter
KR102493097B1 (ko) * 2022-08-01 2023-02-01 주식회사 에이펀인터렉티브 영상 데이터를 이용한 메타버스 캐릭터 제작 시스템 및 방법
KR102617115B1 (ko) * 2023-06-12 2023-12-21 광운대학교 산학협력단 감정 표현 시스템 및 감정 표현 방법

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981632A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 情報公開装置
JP2005062240A (ja) * 2003-08-13 2005-03-10 Fujitsu Ltd 音声応答システム
US20080096533A1 (en) * 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
KR20140126485A (ko) * 2013-04-23 2014-10-31 네무스텍(주) 감정 반응형 모바일 개인 비서 서비스 방법
KR20170092603A (ko) * 2014-12-04 2017-08-11 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 인터랙티브 다이얼로그 시스템을 위한 감정 유형 분류

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5918222A (en) 1995-03-17 1999-06-29 Kabushiki Kaisha Toshiba Information disclosing apparatus and multi-modal information input/output system
SG177157A1 (en) * 2009-06-16 2012-01-30 Intel Corp Camera applications in a handheld device
US10042603B2 (en) * 2012-09-20 2018-08-07 Samsung Electronics Co., Ltd. Context aware service provision method and apparatus of user device
US20160180722A1 (en) 2014-12-22 2016-06-23 Intel Corporation Systems and methods for self-learning, content-aware affect recognition
US9336268B1 (en) * 2015-04-08 2016-05-10 Pearson Education, Inc. Relativistic sentiment analyzer
CN105931638B (zh) * 2016-04-26 2019-12-24 北京光年无限科技有限公司 面向智能机器人的对话系统数据处理方法及装置
US9947319B1 (en) * 2016-09-27 2018-04-17 Google Llc Forming chatbot output based on user state
US10796217B2 (en) * 2016-11-30 2020-10-06 Microsoft Technology Licensing, Llc Systems and methods for performing automated interviews
US11580350B2 (en) * 2016-12-21 2023-02-14 Microsoft Technology Licensing, Llc Systems and methods for an emotionally intelligent chat bot
IL270266B2 (en) * 2017-05-05 2024-04-01 Liveperson Inc Dynamic response prediction for improved robot task processing
US11934937B2 (en) * 2017-07-10 2024-03-19 Accenture Global Solutions Limited System and method for detecting the occurrence of an event and determining a response to the event
CN108039988B (zh) * 2017-10-31 2021-04-30 珠海格力电器股份有限公司 设备控制处理方法及装置
US20200007380A1 (en) * 2018-06-28 2020-01-02 Microsoft Technology Licensing, Llc Context-aware option selection in virtual agent
US20210125610A1 (en) * 2019-10-29 2021-04-29 Facebook Technologies, Llc Ai-driven personal assistant with adaptive response generation

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0981632A (ja) * 1995-09-13 1997-03-28 Toshiba Corp 情報公開装置
JP2005062240A (ja) * 2003-08-13 2005-03-10 Fujitsu Ltd 音声応答システム
US20080096533A1 (en) * 2006-10-24 2008-04-24 Kallideas Spa Virtual Assistant With Real-Time Emotions
KR20140126485A (ko) * 2013-04-23 2014-10-31 네무스텍(주) 감정 반응형 모바일 개인 비서 서비스 방법
KR20170092603A (ko) * 2014-12-04 2017-08-11 마이크로소프트 테크놀로지 라이센싱, 엘엘씨 인터랙티브 다이얼로그 시스템을 위한 감정 유형 분류

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3705990A4 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11283751B1 (en) 2020-11-03 2022-03-22 International Business Machines Corporation Using speech and facial bio-metrics to deliver text messages at the appropriate time

Also Published As

Publication number Publication date
CN111226194A (zh) 2020-06-02
EP3705990A1 (en) 2020-09-09
US11423895B2 (en) 2022-08-23
EP3705990A4 (en) 2021-03-03
US20200349938A1 (en) 2020-11-05
KR20200035887A (ko) 2020-04-06

Similar Documents

Publication Publication Date Title
WO2020067710A1 (ko) 대화형 인터페이스를 제공하는 방법 및 시스템
WO2018117428A1 (en) Method and apparatus for filtering video
WO2020080773A1 (en) System and method for providing content based on knowledge graph
WO2019194451A1 (ko) 인공지능을 이용한 음성 대화 분석 방법 및 장치
US10462568B2 (en) Terminal and vehicle control method of mobile terminal using machine learning
US20180101776A1 (en) Extracting An Emotional State From Device Data
WO2020067633A1 (en) Electronic device and method of obtaining emotion information
WO2017043857A1 (ko) 어플리케이션 제공 방법 및 이를 위한 전자 기기
WO2016133319A1 (en) Method and device for providing information
US10382907B2 (en) Device and method for providing notification message about call request
WO2019164120A1 (ko) 전자 장치 및 그 제어 방법
WO2019125082A1 (en) Device and method for recommending contact information
WO2018101671A1 (en) Apparatus and method for providing sentence based on user input
WO2019182252A1 (en) Electronic device and server for processing data received from electronic device
WO2021112631A1 (en) Device, method, and program for enhancing output content through iterative generation
WO2019240562A1 (en) Electronic device and operating method thereof for outputting response to user input, by using application
EP3523710A1 (en) Apparatus and method for providing sentence based on user input
EP3652925A1 (en) Device and method for recommending contact information
CN112037756A (zh) 语音处理方法、装置和介质
EP3545685A1 (en) Method and apparatus for filtering video
WO2020060151A1 (en) System and method for providing voice assistant service
WO2020141641A1 (ko) 수면 유도 장치
WO2016013806A1 (en) Wearable electronic system
WO2019190243A1 (ko) 사용자와의 대화를 위한 정보를 생성하는 시스템 및 방법
EP3545519A1 (en) Method and device for transmitting and receiving audio data

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19864979

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019864979

Country of ref document: EP

Effective date: 20200603

NENP Non-entry into the national phase

Ref country code: DE