WO2018182337A1 - 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법 - Google Patents

사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법 Download PDF

Info

Publication number
WO2018182337A1
WO2018182337A1 PCT/KR2018/003735 KR2018003735W WO2018182337A1 WO 2018182337 A1 WO2018182337 A1 WO 2018182337A1 KR 2018003735 W KR2018003735 W KR 2018003735W WO 2018182337 A1 WO2018182337 A1 WO 2018182337A1
Authority
WO
WIPO (PCT)
Prior art keywords
emotion
user
data
feature data
information
Prior art date
Application number
PCT/KR2018/003735
Other languages
English (en)
French (fr)
Inventor
윤소정
김예훈
장준익
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020170162116A external-priority patent/KR102651253B1/ko
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201880020292.1A priority Critical patent/CN110447232B/zh
Priority to EP18777880.8A priority patent/EP3598770A4/en
Priority to US16/478,960 priority patent/US20190347285A1/en
Publication of WO2018182337A1 publication Critical patent/WO2018182337A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N5/00—Computing arrangements using knowledge-based models
    • G06N5/04—Inference or reasoning models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/466—Learning process for intelligent management, e.g. learning user preferences for recommending movies

Definitions

  • the present disclosure relates to an electronic device and a control method thereof, and more particularly, to an electronic device and a control method thereof capable of analyzing data to determine an emotion of a user and inferring a cause of the emotion.
  • AI artificial intelligence
  • AI Artificial Intelligence
  • AI technology consists of elementary technologies that utilize machine learning (ex. Deep learning) and machine learning.
  • Machine learning is an algorithmic technique for classifying and learning features of input data.
  • Element technology is a technology that utilizes machine learning algorithms such as deep learning, and may be composed of technical fields such as linguistic understanding, visual understanding, inference / prediction, knowledge expression, and motion control.
  • Linguistic understanding is a technique for recognizing and applying / processing human language / characters, including natural language processing, machine translation, dialogue system, question and answer, speech recognition / synthesis, and the like.
  • Visual understanding is a technology that recognizes and processes objects as human vision, and includes object recognition, object tracking, image retrieval, person recognition, scene understanding, spatial understanding, and image enhancement.
  • Inference / prediction is a technique for determining, logically inferring, and predicting information. It includes knowledge / probability-based inference, optimization prediction, preference-based planning, and recommendation.
  • Knowledge representation is a technology that automates human experience information into knowledge data, and includes knowledge construction (data generation / classification) and knowledge management (data utilization).
  • Motion control is a technology for controlling autonomous driving of a vehicle, movement of a robot, and the like, and includes motion control (navigation, collision, driving), operation control (action control), and the like.
  • the present disclosure is to solve the above-described problem, an electronic device and a control method thereof that can determine the user's actual emotion by analyzing the expression of the user to determine the emotion and at the same time the information of the surrounding environment of the user In providing.
  • a method of controlling an electronic device including: acquiring image data and additional data including a user from an external terminal connected to the electronic device; Generating characteristic data for determining the actual emotion of the user using the image data and the additional data; Determining the actual emotion of the user by inputting the feature data into an emotion recognition model; It includes.
  • the additional data may include at least one of GPS information of the image, bearing information, pre-input information of the user, past emotions of the user, and crawling information of the image.
  • the feature data includes first feature data and second feature data
  • the first feature data is feature data related to the emotion of the user except for surrounding information
  • the second feature data is surrounding the user. It may be feature data for the information.
  • the determining may include determining the emotion of the user by inputting the first feature data into the emotion recognition model, and determining the peripheral information by inputting the second feature data into the emotion recognition model.
  • the user's emotion with respect to the first feature data and the peripheral information about the second feature data may be analyzed to determine the actual emotion of the user.
  • the determining of the emotion may include: calculating a weight for the past emotion of the user; Determining the current emotion of the user by using the feature data and the weight; It may include.
  • classifying the feature data by time, place, person or event and storing the feature data in a memory may include.
  • determining the cause of the user's emotion by inputting the feature data into an emotion inference model; And providing the determined cause of the emotion to the external terminal.
  • the determining may include determining a cause of emotion of the user for each time or place.
  • An electronic device may include a communication unit configured to receive image data and additional data including a user from an external terminal connected to the electronic device; A processor configured to generate feature data for determining the actual emotion of the user by using the image data and the additional data, and input the feature data into an emotion recognition model to determine the actual emotion of the user; A memory for storing the feature data; It includes.
  • the additional data may include at least one of GPS information of the image, bearing information, pre-input information of the user, past emotions of the user, and crawling information of the image.
  • the feature data includes first feature data and second feature data
  • the first feature data is feature data related to the emotion of the user except for surrounding information
  • the second feature data is surrounding the user. It may be feature data for the information.
  • the processor may determine the emotion of the user by inputting the first feature data into the emotion recognition model, and determine the peripheral information by inputting the second feature data into the emotion recognition model.
  • the user's emotion with respect to the feature data and the peripheral information about the second feature data may be analyzed to determine the actual emotion of the user.
  • the processor may calculate a weight of the past emotion of the user and determine the current emotion of the user by using the feature data and the weight.
  • the processor may classify the feature data by time, place, person or event and transmit the feature data to a memory.
  • the processor may input the feature data into an emotion inference model to determine a cause of emotion of the user, and provide the determined cause of emotion to the external terminal. have.
  • the processor may determine the cause of the user's emotion for each time or place.
  • the method of controlling the electronic device may include a user from an external terminal connected to the electronic device.
  • Obtaining image data and additional data including; Generating characteristic data for determining the actual emotion of the user using the image data and the additional data; Determining the actual emotion of the user by inputting the feature data into an emotion recognition model; It includes.
  • the emotion of the user may be more accurately determined using the surrounding information, and the cause of the emotion may be inferred through the feature data.
  • FIGS. 1A and 1B are diagrams for describing a configuration of an electronic device 100 according to an embodiment of the present disclosure.
  • FIG. 2 is a block diagram illustrating a user's actual emotion judgment and emotion cause inference according to an embodiment of the present disclosure.
  • FIG. 3 is a view for explaining an emotion determination method according to an embodiment of the present disclosure.
  • 4A and 4B are diagrams illustrating a method of analyzing a user's emotion using surrounding information.
  • 5A and 5B are diagrams for describing an emotional cause analysis, according to an exemplary embodiment.
  • FIG. 6 is a diagram illustrating a process of determining a user's actual emotion and cause of emotion according to another embodiment of the present disclosure.
  • FIG. 7 is a flowchart illustrating a control method of the electronic device 100 according to an embodiment of the present disclosure.
  • FIG. 8 is a sequence diagram illustrating a control method of a system for inferring user emotion determination and emotion cause analysis according to an embodiment of the present disclosure.
  • FIG. 9 is a diagram illustrating a user terminal for performing emotion determination and emotion cause analysis, according to another embodiment of the present disclosure.
  • FIG. 10 is a block diagram of a processor in accordance with some embodiments of the present disclosure.
  • 11A and 11B are block diagrams illustrating a data learner and an emotion determiner, according to some exemplary embodiments.
  • Embodiments of the present invention may be variously modified and have various embodiments, and specific embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the scope to the specific embodiment, it should be understood to include all transformations, equivalents, and substitutes included in the spirit and technical scope of the invention. In describing the embodiments, when it is determined that the detailed description of the related known technology may obscure the gist, the detailed description thereof will be omitted.
  • first and second may be used to describe various components, but the components should not be limited by the terms. The terms are only used to distinguish one component from another.
  • the module or unit performs at least one function or operation, and may be implemented by hardware or software, or a combination of hardware and software.
  • a plurality of 'modules' or a plurality of 'units' may be integrated into at least one module except for 'modules' or 'units' that need to be implemented by specific hardware, and may be implemented as at least one processor.
  • a part when a part is “connected” with another part, it is not only “directly connected” but also “electrically connected” with another element in between. Also includes. In addition, not only physical connection but also wireless connection is included. In addition, when a part is said to “include” a certain component, which means that it may further include other components, except to exclude other components unless otherwise stated.
  • the term user may refer to a person who uses an electronic device or a device (eg, an artificial intelligence electronic device) that uses an electronic device.
  • a device eg, an artificial intelligence electronic device
  • FIGS. 1A and 1B are diagrams for describing a configuration of an electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 may be implemented as a server to provide an emotion analysis service of a user in cooperation with external terminals 200-1 to 200-3.
  • the electronic device 100 includes a communication unit 110, a memory, and a processor 130.
  • the communication unit 110 receives data for analyzing the emotion of the user from various external terminals.
  • the communication unit 100 may receive data for analyzing user emotion from various external terminals such as the external user terminal 200-1, the external server 200-2, or the external photographing apparatus 200-3. have.
  • the data received from the outside may include image data and additional data.
  • the image data may be photo and video data received from the external photographing apparatus 200-3.
  • the image data when the image data is moving image data, the image data may include sound data included in the moving image data.
  • the additional data means data related to image data.
  • the additional data may include conversation contents of people included in the image data, GPS information included in the image data, bearing information, hash tag information, pre-input information about the user, and the user's determination from the electronic device 100. It may be configured in various forms such as past emotion information, information obtained by crawling an image.
  • the additional data is not limited to the above example and may include various data determined to be necessary for determining the user emotion.
  • the memory 120 may store various operating systems (O / S) for driving the electronic device 100, and various software programs or applications for operating the electronic device 100 may be stored.
  • O / S operating systems
  • the memory 120 may store feature data.
  • the feature data refers to data generated by using image data and additional data. Detailed description thereof will be described later.
  • the memory 120 may store image data and additional data as necessary.
  • the memory 120 may include a plurality of software modules for performing the user's emotion judgment and emotion cause analysis. Specifically, as shown in FIG. 2, the memory 120 includes a data input module 210, a feature data determination module 230, an emotion determination module 240, a feature data storage module 260, and an emotion cause inference module. 270 may include.
  • the data input module 210 may obtain various types of data from an external terminal.
  • the feature data determination module 230 may analyze the input data to determine feature data. In detail, the feature data determination module 230 may determine the feature data using the emotion recognition model 220.
  • the emotion determination module 240 may determine the actual emotion of the user from the feature data. Although not shown in FIG. 2, the actual emotion of the user may be obtained by applying feature data to the emotion recognition model 220.
  • the feature data storage module 240 may store the generated feature data.
  • the emotion reasoning module 270 may determine a cause of emotion of the user. For example, the emotion inference module 270 may determine the cause of the emotion by applying the feature data to the emotion inference model 250.
  • the processor 130 may control the above-described components of the electronic device 100. For example, the processor 130 may determine a user's actual emotion or determine a user's emotion by using a plurality of software modules stored in the memory 120.
  • the processor 130 may generate feature data for determining the emotion of the user using the image data and the additional data.
  • the processor 130 may determine the actual emotion of the user by inputting the feature data generated by controlling the emotion determination module 240 to the emotion recognition model.
  • the processor 130 may control the feature data determination module 230 to generate feature data including the first feature data and the second feature data using the image data and the additional data.
  • the first characteristic data may be data related to a user who wants to determine an emotion.
  • the processor 130 may control the feature data determination module 230 to detect an expression of the user from the image data and determine the emotion corresponding to the detected expression of the user as the first feature data.
  • the detected user's emotion (first characteristic data) may be different from the actual emotion felt by the user.
  • the actual user's emotion may be "happy" or the emotion corresponding to the first characteristic data may be "angry.”
  • the second feature data may be feature data except for the first feature data.
  • the second feature data may be emotion information determined from facial expressions of people around the user included in the image.
  • the present invention may be related to emotions of the talker and the conversation counterpart determined from the conversation contents included in the image.
  • the image may be about a place where the image is taken and an emotion that people statistically feel at the place.
  • the feature data may be data related to emotions of the user or the surrounding persons among the input image data and the additional data.
  • the present invention is not limited thereto and may include various information other than emotion.
  • the feature data may include various information such as various objects around the user, situation, weather, and time information.
  • the feature data may have a smaller capacity when compared with the image data and the additional data. That is, the processor 130 may use the storage space allocated to the memory by generating only the data necessary for determining the emotion of the user among the various input data as the feature data.
  • the processor 130 may determine the actual emotion of the user by inputting the first feature data and the second feature data into the emotion recognition model. For example, the processor 130 may determine the emotion of the user with respect to the first feature data by inputting the first feature data into the emotion recognition model. In this case, the determined emotion may be different from the actual emotion of the user. In addition, the processor 130 may input the second feature data into the emotion recognition model to determine emotion and other surrounding information about the surrounding person. The processor 130 may determine the actual emotion of the user based on the determined emotion information of the user with respect to the determined first feature data and the peripheral information about the second feature data.
  • the present invention is not limited to the above-described embodiment, and the first emotion data and the second feature data may be simultaneously applied to the emotion recognition model to determine the actual emotion of the user.
  • the processor 130 may calculate a weight for the past emotion of the user, and determine the current emotion of the user by using the calculated weight. This will be described later.
  • the processor 130 may classify the feature data into specific categories and store the feature data in the memory 120. For example, the processor 130 may classify the feature data according to the passage of time and store the feature data in the memory 120. As another example, the processor 130 may classify the feature data for each location and store the feature data in the memory 120. In the above-described example, an example of classifying feature data by time and place has been described. However, of course, the feature data may be classified by various categories.
  • the processor 130 may input the feature data to the emotion inference model to determine the cause of the user's emotion and provide it to the external terminal. For example, when the user's actual emotion is "angry,” the processor 130 may analyze the cause of the user's anger from the feature data and provide the user with the cause.
  • the processor 130 may determine the user's actual emotion and cause of emotion by time, place, person or event. When requested by the user, the processor 130 may provide emotion and cause information to the user. For example, when the user requests the emotions and the causes of the emotions organized by time, the processor 130 may provide the user with the emotions and the cause of the emotions over time. Therefore, the user can grasp the emotional state of the user and the cause of the emotion by time.
  • the processor 130 may provide the users with the emotions and the cause of the emotions according to the places.
  • the processor 130 may provide the user with the emotions and the cause of the emotions according to the specific person.
  • the processor 130 may provide the user with emotion and cause of emotion generation.
  • the processor 130 may provide the user with the emotions and the causes of the emotions for the specific event.
  • the processor 130 may provide the user with emotion and cause of emotion generation.
  • the electronic device 100 may obtain feature data from the input image data and the additional data, and determine the emotion data by analyzing the acquired feature data.
  • the recognition model learned in the present disclosure may be constructed in consideration of application fields of the recognition model or computer performance of the apparatus.
  • the learned object recognition model may be, for example, a model based on a neural network.
  • the object recognition model may be designed to simulate a human brain structure on a computer and may include a plurality of weighted network nodes that simulate neurons in a human neural network. The plurality of network nodes may form a connection relationship so that neurons simulate the synaptic activity of neurons that send and receive signals through synapses.
  • the object recognition model may include, for example, a neural network model or a deep learning model developed from the neural network model.
  • a plurality of network nodes may be located at different depths (or layers) and exchange data according to a convolutional connection relationship.
  • Examples of the object recognition model may include, but are not limited to, a Deep Neural Network (DNN), a Recurrent Neural Network (RNN), and a Bidirectional Recurrent Deep Neural Network (BRDNN). Specific application examples of the above-described object recognition model will be described later.
  • the electronic device 100 may use an artificial intelligence agent to perform the above-described operation.
  • the artificial intelligence agent is a dedicated program for providing an AI (Artificial Intelligence) based service (for example, a voice recognition service, a secretary service, a translation service, a search service, etc.), and an existing general purpose processor (for example, CPU) or a separate AI dedicated processor (eg, GPU, etc.).
  • AI Artificial Intelligence
  • a voice recognition service for example, a voice recognition service, a secretary service, a translation service, a search service, etc.
  • an existing general purpose processor for example, CPU
  • a separate AI dedicated processor eg, GPU, etc.
  • 4A through 6 are diagrams for describing various embodiments of the present disclosure.
  • FIGS. 4A and 4B are diagrams illustrating a method of analyzing a user's emotion using surrounding information. Specifically, FIGS. 4A and 4B are diagrams illustrating a process of determining the emotion of the user 411 by using photographic data of soccer players of a soccer championship team.
  • the processor 130 may control the feature data determination module 230 to generate feature data from the photo data. For example, the processor 130 may control the feature data determination module 230 to determine the emotion of the user through image analysis. In this case, the processor 130 may control the feature data determination module 230 to determine the emotion by analyzing the facial expressions of the user 411 and the neighboring persons 421 and 431 to determine the emotion.
  • the processor 130 may generate the emotion table 412 by analyzing the facial expressions of the user 411 by controlling the feature data determination module 230.
  • the emotion of the user 411 is "angry”.
  • the emotional state of the surrounding people is “happy”.
  • the emotional state of the user and the surrounding persons 411, 421, and 431 may be feature data
  • the feature data may be stored in the feature data storage module 260.
  • data about “angry” of the user 411 may be first feature data
  • data about “happiness” of the surrounding people 421 and 431 may be second feature data.
  • the processor 130 may analyze the characteristic data obtained by controlling the emotion determination module 240 and determine the actual emotion of the user 411. In detail, the processor 130 may control the emotion determination module 240 to input feature data into the emotion recognition model 220 to determine the emotion of the user 411. In this case, the processor 130 may control the emotion determination module 240 to determine that the user 411 is in a happy state by using feature data regarding the surrounding persons 421 and 422. In detail, the processor 130 may control the emotion determination module 240 to determine that the emotion of the user 411 is "happy" including surrounding information as illustrated in FIG. 4B.
  • the first feature data and the second feature data may be determined from various data, such as not only a facial expression but also a gaze direction, an action, a surrounding situation, an ambient noise, a place, and a conversation content.
  • 5A and 5B are diagrams for describing an emotional cause analysis, according to an exemplary embodiment.
  • FIG. 5A illustrates an emotion of a user determined by the electronic device 100. Specifically, looking at the emotion table 512 of the user 511, it can be seen that the user 511 is in a "sorrow” state. Also, looking at the emotion table 522 of the user 521, it can be seen that the user 521 is in a "happy" state.
  • the electronic device 100 may analyze the cause of the emotions of the users 511 and 521.
  • the processor 130 may control the emotion inference module 270 to determine the cause of the emotion.
  • the feature data stored in the feature data storage module 260 may be input to the emotion cause inference model 250 to infer the cause of the user's emotion.
  • the processor 130 may infer the cause of the emotion by analyzing characteristic data related to the specific emotion. That is, the processor 130 may determine the cause of the emotion using only the small size of data stored in the feature data storage module 260.
  • the processor 130 provides an image 530 where a friend of the user bullies the user 511 in response to the sad cause of the user 511, and the user 521 is happy.
  • the user 521 may provide an image 540 that received the gift.
  • the processor 130 may classify the user's emotions and the causes of the emotions into specific categories and provide the user with the user's request.
  • the specific category may be for a time, place, person, or event, and may be various other categories.
  • the category may vary when the user is with a specific person, when the user watches a specific broadcast, or when accessing a specific site.
  • the present invention is not limited to the above-described exemplary embodiment, and the user's emotions and causes of emotions may be classified according to various types of categories.
  • the processor 130 may provide the user's emotions and the cause of the emotions over time.
  • the processor 130 may provide the user with a summary of the most characteristic emotions. For example, during the day, when the user is the most angry, the most excited, the happiest, the saddest, etc. may be provided to the user.
  • the present invention is not limited to the above-described embodiment, and the emotion and cause of emotion of the user may be provided by various methods.
  • the information provided to the user may be in the form of image data.
  • the present invention is not limited to the image data, and may be provided as voice data or text data, and the above-described various data may be provided together.
  • the processor 130 may provide image data as shown in FIG. 5B. Or processor 130 said, "Jenny was a fun kindergarten overall today, but we cried for a while in a fight with a friend at the time of stacking blocks. Text or voice, such as ", may be provided to the user.
  • the emotion of the user is classified into one category, but is not limited thereto. That is, the electronic device 100 may classify the emotions of the user in consideration of a plurality of categories. For example, when the selected category is a time and a place, the electronic device 100 may classify the emotions of the user at a specific place according to time.
  • FIG. 6 is a diagram illustrating a process of determining a user's actual emotion and cause of emotion according to another embodiment of the present disclosure. Specifically, FIG. 6 is a diagram illustrating a method of determining a user's emotion over time in the same place.
  • the processor 130 may determine the emotion of the user by controlling the feature data determination module 230 and the emotion determination module 240. For example, the processor 130 may control the feature data determination module 130 to generate feature data.
  • the feature data may be data regarding a facial expression of the user 611, a place where the user 611 is located, and a time at which the image is captured.
  • the processor 130 may generate the emotion table 612 by controlling the emotion determination module 240, and may determine that the emotion of the user 611 at 14:15 is “neutral”.
  • the processor 130 may determine the emotion of the user 621 at 15:15.
  • the processor 130 may control the feature data determination module 130 to generate feature data.
  • the feature data may be data regarding a facial expression of the user 611, a place where the user 611 is located, and a time at which the image is photographed.
  • the processor 130 may generate the emotion table 622 by controlling the emotion determination module 240, and may determine that the emotion of the user 621 at 15:15 is “happy”.
  • the processor 130 may provide the user with the user by classifying the user's emotion and the cause of the emotion by a specific category.
  • the processor 130 may provide image data in response to a user's request, or may provide a text or voice message.
  • the processor 130 may provide image data as shown in FIG. 6. Or processor 160 said, "John sat on a park bench at 14:15 today and waited for his girlfriend. John's feelings were” neutral, "but he was happy to meet his girlfriend at 15:15.” It may also provide a text or voice to the user.
  • FIG. 7 is a flowchart illustrating a control method of the electronic device 100 according to an embodiment of the present disclosure.
  • the electronic device 100 may receive and acquire image data and additional data from the external terminals 200-1 to 200-3 (S710).
  • the electronic device 100 may generate feature data using the obtained data.
  • the processor 130 may control the feature data determination module 230 to generate feature data.
  • the electronic device 100 may determine the actual emotion of the user by inputting the generated feature data into the emotion recognition model.
  • FIG. 8 is a sequence diagram illustrating a control method of a system for inferring user emotion determination and emotion cause analysis according to an embodiment of the present disclosure.
  • the electronic device 100 described with reference to FIGS. 1 to 7 may be implemented as a server 100.
  • the user terminal 800 may include a general purpose processor, and the server 100 may include an artificial intelligence dedicated processor.
  • the user terminal 800 may include at least one application, and the server 100 may include an operating system.
  • the server 100 is a component that is more integrated than a user terminal 800, is dedicated, has a delay, has a high performance, or has a large amount of resources, and is required to generate, update, or apply a recognition model. Many operations may be a component that can be processed more quickly and effectively than the user terminal (800).
  • an interface for transmitting / receiving data between the user terminal 800 and the server 100 may be defined.
  • an application program interface having training data to be applied to the recognition model as an argument value (or, a parameter value or a transfer value) may be defined.
  • An API is a set of subroutines or functions that can be called for any processing of one protocol (eg, a protocol defined at the user terminal 800) to another protocol (eg, a protocol defined at the server 100). Can be defined. That is, an API may provide an environment in which an operation of another protocol may be performed in one protocol.
  • the user terminal 800 obtains data (S810).
  • the data may include image data and additional data as described above.
  • the user terminal 800 may transmit the data obtained for the emotion analysis to the server 100 (S820).
  • the server 100 may obtain feature data using the data received from the user terminal 800 (S830).
  • the generated feature data may be stored in the server 100 or may be stored in a memory of the user terminal 800.
  • the server 100 may determine the actual emotion of the user by inputting the characteristic data into the emotion determination model (S840).
  • the server 100 may transmit the determined user emotion to the user terminal 800 (S850).
  • the server 100 may infer the cause of the emotion (S870).
  • the server 100 may determine the emotion cause by inputting feature data into the emotion cause inference model.
  • FIG. 9 is a diagram illustrating a user terminal for performing emotion determination and emotion cause analysis, according to another embodiment of the present disclosure.
  • the electronic device 100 is implemented as a server to determine the actual emotion of the user and to analyze the cause of the emotion, but the present invention is not limited thereto.
  • the electronic device 100 may be configured as a user terminal 800.
  • the user terminal 800 may be configured by various electronic devices such as a wearable device such as a smart phone, a tablet PC, a notebook PC, a desktop PC, a smart watch, an electronic photo frame, a humanoid robot, an audio device, a smart TV, and the like. You can also analyze your emotions.
  • the user terminal 800 may include a sensor 810, a memory 820, a display 830, a communication unit 840, a photographing unit 850, and a processor 860. have.
  • the sensor 810 may detect various types of data.
  • the sensor 810 may include a gyro sensor, a GPS sensor, an acceleration sensor, an illuminance sensor, a humidity sensor, and the like.
  • the various sensors described above may detect various data.
  • the memory 820 may store data detected by the sensor. Also, the memory may receive and store feature data from the server 100.
  • the display 830 may display various contents provided to the user terminal 800.
  • the display 830 may be implemented as a liquid crystal display (LCD), an organic light emitting diode (OLED), a plasma display panel (PDP), or the like. ), You can display various screens that can be provided.
  • LCD liquid crystal display
  • OLED organic light emitting diode
  • PDP plasma display panel
  • the communication unit 840 may include at least one of a Wi-Fi chip 841, a Bluetooth chip 842, a wireless communication chip 843, and an NFC chip 844.
  • various connection information such as SSID and session key may be firstly transmitted and received, and then various communication information may be transmitted and received using the same.
  • the wireless communication chip 843 refers to a chip that performs communication according to various communication standards such as IEEE, Zigbee, 3rd Generation (3G), 3rd Generation Partnership Project (3GPP), Long Term Evolution (LTE), and the like.
  • the NFC chip 844 refers to a chip operating in a near field communication (NFC) method using a 13.56 MHz band among various RF-ID frequency bands such as 135 kHz, 13.56 MHz, 433 MHz, 860-960 MHz, 2.45 GHz, and the like.
  • NFC near field communication
  • the communication unit 840 may perform communication with the server 100 as described above.
  • the user terminal 800 may transmit various data to the server 100 through the communication unit, and may receive various results from the server 100.
  • the photographing unit 850 may photograph image data.
  • the captured image data may be transmitted to the server 100 to analyze the emotion of the user along with various data detected by the sensor 810.
  • the processor 860 controls the overall operation of the electronic device. As described above, the processor 860 may determine the emotion of the user or analyze the cause of the emotion by using the acquired data, and, when requested by the server 100, the communication unit 840 to transmit various types of data. ) Can be controlled.
  • user emotion may be analyzed using audio data rather than image data.
  • the user's emotion may be analyzed by analyzing audio data, a call counterpart, and a call content of the user's call contents.
  • the user emotion may be determined by analyzing various contents created or shared by the user (for example, a post written or shared on an SNS, a shared video, and other users tagged in the video).
  • the present disclosure may determine user emotion by analyzing various contents as well as an image.
  • a processor 130 may include a data learner 131 and an emotion determiner 132.
  • the data learner 131 may learn a criterion for determining user emotion.
  • the processor 130 may determine the actual emotion of the user by analyzing the input data according to the learned criteria.
  • the data learner 131 may determine what data (or feature data) to use to determine the actual emotion of the user.
  • the data learner 131 acquires data to be used for learning, and applies the acquired data to an emotion recognition model and an emotion inference model to be described later to learn a criterion for determining a user's actual emotion or cause of emotion. have.
  • the emotion determining unit 132 may determine the user's actual emotion or cause of emotion from the predetermined data by using the previously learned emotion recognition model and the emotion inference model.
  • the emotion determination unit 132 may obtain predetermined data (eg, feature data) according to a predetermined criterion by learning, and use the emotion determination model using the acquired data as an input value.
  • the emotion determination unit 132 may determine the actual emotion of the user by applying the input data to the emotion determination model.
  • At least a part of the data learner 131 and at least a part of the emotion determination unit 132 may be implemented as a software module or manufactured in the form of at least one hardware chip and mounted on the electronic device.
  • at least one of the data learner 131 and the data recognizer 132 may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or an existing general purpose processor (eg, a CPU).
  • the electronic device may be manufactured as a part of an application processor or a graphics dedicated processor (eg, a GPU) and mounted on the aforementioned various electronic devices.
  • a dedicated hardware chip for artificial intelligence is a dedicated processor specialized for probability calculation, and has higher parallelism performance than a conventional general-purpose processor, so that a computational task in artificial intelligence such as machine learning can be processed quickly.
  • the software module may be a computer readable non-transitory readable recording medium ( non-transitory computer readable media).
  • the software module may be provided by an operating system (OS) or by a predetermined application. Alternatively, some of the software modules may be provided by an operating system (OS), and others may be provided by a predetermined application.
  • the data recognition model may be constructed in consideration of the application field of the recognition model, the purpose of learning, or the computer performance of the device.
  • the data recognition model may be, for example, a model based on a neural network.
  • the data recognition model can be designed to simulate the human brain structure on a computer.
  • the data recognition model may include a plurality of weighted network nodes that simulate neurons in a human neural network.
  • the plurality of network nodes may form a connection relationship so that neurons simulate synaptic activity through which signals are sent and received through synapses.
  • the data recognition model may include, for example, a neural network model or a deep learning model developed from the neural network model. In the deep learning model, a plurality of network nodes may be located at different depths (or layers) and exchange data according to a convolutional connection relationship.
  • a model such as a deep neural network (DNN), a recurrent neural network (RNN), and a bidirectional recurrent deep neural network (BRDNN) may be used as the data recognition model, but is not limited thereto.
  • DNN deep neural network
  • RNN recurrent neural network
  • BTDNN bidirectional recurrent deep neural network
  • the data learning unit 131 and the emotion determination unit 132 are both mounted on the electronic device 100, but they may be mounted on separate devices.
  • one of the data learner 131 and the emotion determiner 132 may be included in the server 100, and the other may be included in the user terminal 800.
  • the data learning unit 131 and the emotion determination unit 132 may be connected to each other by wire or wirelessly, so that information on the emotion determination model built by the data learning unit 131 may be provided to the emotion determination unit 132.
  • the data input to the emotion determination unit 132 may be provided to the data learning unit 131 as additional learning data.
  • At least one of the data learner 131 and the emotion determiner 132 may be implemented as a software module.
  • the software module may be stored in a non-transitory computer readable recording medium.
  • At least one software module may be provided by an operating system (OS) or by a predetermined application.
  • OS operating system
  • some of the at least one software module may be provided by the OS, and some of the at least one software module may be provided by a predetermined application.
  • the data learner 131 may include a data acquirer 131-1, a preprocessor 131-2, a training data selector 131-3, and a model learner 131. -4) and the model evaluator 131-5.
  • the data acquirer 131-1 may acquire data necessary for determining the actual emotion of the user.
  • the data obtaining unit 131-1 may acquire the image data, the additional data or the feature data generated from the image data and the additional data as the learning data.
  • the preprocessor 131-2 may preprocess the acquired data so that the data acquired for learning for the actual emotion determination of the user may be used.
  • the preprocessor 131-2 may process the acquired data in a predetermined format so that the model learner 131-4, which will be described later, uses the acquired data for learning to determine the actual emotion of the user.
  • the training data selector 131-3 may select data necessary for learning from the preprocessed data.
  • the selected data may be provided to the model learner 131-4.
  • the training data selector 131-3 may select data necessary for learning from the preprocessed data according to a predetermined criterion for determining the actual emotion of the user.
  • the training data selector 131-3 may select data according to a predetermined criterion by learning by the model learner 131-4 to be described later.
  • the model learner 131-4 may learn a criterion on how to determine the actual emotion of the user based on the training data.
  • the model learner 131-4 may learn a criterion about what learning data should be used to determine a user's actual emotion.
  • the model learner 131-4 may train the emotion determination model used to determine the actual emotion of the user using the training data.
  • the emotion judgment model may be a previously built model.
  • the emotion determination model may be a model previously built by receiving basic training data.
  • the emotion judgment model may be a model previously built using big data.
  • the emotion judgment model may be constructed in consideration of the application field of the recognition model, the purpose of learning, or the computer performance of the device.
  • the emotional judgment model may be, for example, a model based on a neural network.
  • models such as a deep neural network (DNN), a recurrent neural network (RNN), and a bidirectional recurrent deep neural network (BRDNN) may be used as the emotion determination model, but are not limited thereto.
  • the emotion determination model may use a DNN model as illustrated in FIG. 3A.
  • the actual emotion of the user may be determined using the RNN model.
  • the current emotion (t) 322 may be obtained using the past data past emotions 311 to 313 and the current data input 321.
  • the data input 331 and the current data input 321 may be used.
  • the model learner 131-4 may be an emotion determination model for learning an emotion determination model having a high correlation between input training data and basic learning data. You can decide.
  • the basic training data may be mood-by-type for each type of data, and the emotion determination model may be previously built for each type of data.
  • the basic training data may be mood based on various criteria such as the region where the training data is generated, the time at which the training data is generated, the size of the training data, the genre of the training data, the creator of the training data, the types of objects in the training data, and the like. It may be.
  • model learner 131-4 may train the emotion determination model using, for example, a learning algorithm including an error back-propagation method or a gradient descent method. .
  • the model learner 131-4 may train the emotion determination model through supervised learning using learning data as an input value.
  • the model learner 131-4 learns an emotion judgment model through unsupervised learning that finds a criterion for emotion judgment by learning a kind of data necessary for emotion judgment without a separate guidance. I can learn.
  • the model learner 131-4 may train the emotion judgment model through reinforcement learning using feedback on whether the result of the emotion judgment according to the learning is correct.
  • the model learner 131-4 may store the learned emotion determination model.
  • the model learner 131-4 may store the learned emotion determination model in the memory 120 of the electronic device 100.
  • the memory 120 in which the learned emotion determination model is stored may also store commands or data related to at least one other element of the electronic device 100.
  • the memory 120 may also store software and / or programs.
  • the program may include a kernel, middleware, an application programming interface (API) and / or an application program (or “application”), and the like.
  • the model evaluator 131-5 may input the evaluation data into the emotion determination model, and cause the model learner 131-4 to learn again when the determination result output from the evaluation data does not satisfy a predetermined criterion. have.
  • the evaluation data may be preset data for evaluating the emotion determination model.
  • the model evaluator 131-5 may determine a predetermined criterion when the number or ratio of the evaluation data in which the determination result is not accurate among the determination results of the learned emotion determination model for the evaluation data exceeds a preset threshold. It can be evaluated as not satisfied. For example, when a predetermined criterion is defined as a ratio of 2%, the model evaluation unit 131-5 when the learned emotion judgment model outputs an incorrect judgment result for more than 20 evaluation data out of a total of 1000 evaluation data. Can be judged that the learned emotional judgment model is not appropriate.
  • the model evaluator 131-5 evaluates whether each learned emotion judgment model satisfies a predetermined criterion, and determines a model that satisfies the predetermined criterion for final emotion judgment. Can be determined as a model. In this case, when there are a plurality of models satisfying a predetermined criterion, the model evaluator 131-5 may determine any one or a predetermined number of models that are preset in the order of the highest evaluation scores as the final emotion determination model.
  • At least one of -5) may be manufactured in the form of at least one hardware chip and mounted on the electronic device.
  • at least one of the data acquirer 131-1, the preprocessor 131-2, the training data selector 131-3, the model learner 131-4, and the model evaluator 131-5 One may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or may be manufactured as an existing general purpose processor (eg, a CPU or an application processor) or part of an IP for a specific function. It may be mounted on the electronic device 100.
  • AI artificial intelligence
  • the data obtaining unit 131-1, the preprocessor 131-2, the training data selecting unit 131-3, the model learning unit 131-4, and the model evaluating unit 131-5 are electronic components. It may be mounted on the device, or may be mounted on separate electronic devices, respectively.
  • some of the data acquirer 131-1, the preprocessor 131-2, the training data selector 131-3, the model learner 131-4, and the model evaluator 131-5. May be included in the electronic device 100, and some of them may be included in the server 200.
  • At least one of the data acquirer 131-1, the preprocessor 131-2, the training data selector 131-3, the model learner 131-4, and the model evaluator 131-5 is provided. It may be implemented as a software module. At least one of the data acquirer 131-1, the preprocessor 131-2, the training data selector 131-3, the model learner 131-4, and the model evaluator 131-5 is a software module. (Or, a program module including instructions), the software module may be stored on a non-transitory computer readable recording medium. At least one software module may be provided by an operating system (OS) or by a predetermined application. Alternatively, some of the at least one software module may be provided by the OS, and some of the at least one software module may be provided by a predetermined application.
  • OS operating system
  • Alternatively, some of the at least one software module may be provided by the OS, and some of the at least one software module may be provided by a predetermined application.
  • the emotion determination unit 132 may include a data acquirer 132-1, a preprocessor 132-2, a data selector 132-3, and a determination result provider 132. 4) and a model updater 132-5.
  • the data acquirer 132-1 may acquire data necessary for determining the actual emotion of the user, and the preprocessor 132-2 may acquire the data so that the obtained data may be used for determining the actual emotion of the user. Can be preprocessed.
  • the preprocessing unit 132-2 may process the acquired data in a predetermined format so that the determination result providing unit 132-4, which will be described later, may use the acquired data for determining the actual emotion of the user.
  • the data selector 132-3 may select data necessary for determining the actual emotion of the user from the preprocessed data.
  • the selected data may be provided to the determination result providing unit 132-4.
  • the data selector 132-3 may select some or all of the preprocessed data according to a predetermined criterion for determining the actual emotion of the user.
  • the data selector 132-3 may select data according to a predetermined criterion by learning by the model learner 142-4 to be described later.
  • the determination result providing unit 132-4 may determine the actual emotion of the user by applying the selected data to the emotion determination model.
  • the determination result providing unit 132-4 may apply the selected data to the emotion determination model by using the data selected by the data selecting unit 132-3 as an input value.
  • the determination result may be determined by the emotion determination model.
  • the determination result providing unit 132-4 may determine the actual emotion of the user by inputting data capable of judging the actual emotion of the user to the emotion determination model.
  • the model updater 132-5 may cause the emotion determination model to be updated based on the evaluation of the determination result provided by the determination result provider 132-4.
  • the model updater 132-5 may provide the model learner 131-4 to the model learner 131-4 by providing the determination result provided by the determination result provider 132-4 to the model learner 131-4. It may be possible to update the emotional judgment model.
  • At least one of -5) may be manufactured in the form of at least one hardware chip and mounted on the electronic device.
  • at least one of the data obtaining unit 132-1, the preprocessor 132-2, the data selecting unit 132-3, the determination result providing unit 132-4, and the model updating unit 132-5 One may be manufactured in the form of a dedicated hardware chip for artificial intelligence (AI), or may be manufactured as an existing general purpose processor (eg, a CPU or an application processor) or part of an IP for a specific function. It may be mounted on the electronic device 100.
  • AI artificial intelligence
  • one electronic device of the data acquirer 132-1, the preprocessor 132-2, the data selector 132-3, the determination result providing unit 132-4, and the model updater 132-5 may be mounted on, or may be mounted on separate electronic devices, respectively.
  • some of the data obtaining unit 132-1, the preprocessor 132-2, the data selecting unit 132-3, the determination result providing unit 132-4, and the model updating unit 132-5. May be included in the electronic device 100, and the remaining part may be included in a server interworking with the electronic watch 100.
  • At least one of the data acquirer 132-1, the preprocessor 132-2, the data selector 132-3, the determination result providing unit 132-4, and the model updater 132-5 It may be implemented as a software module.
  • At least one of the data acquisition unit 132-1, the preprocessor 132-2, the data selection unit 132-3, the determination result providing unit 132-4, and the model updater 132-5 is a software module. (Or, a program module including instructions), the software module may be stored on a non-transitory computer readable recording medium.
  • At least one software module may be provided by an operating system (OS) or by a predetermined application. Alternatively, some of the at least one software module may be provided by the OS, and some of the at least one software module may be provided by a predetermined application.
  • OS operating system
  • Alternatively, some of the at least one software module may be provided by the OS, and some of the at least one software module may be provided by a predetermined application.
  • the processor 130 may include a data learner 131 and an emotion inference unit (not shown), and the processor 130 may build an emotion inference model.
  • the term "unit” includes a unit composed of hardware, software, or firmware, and may be used interchangeably with terms such as logic, logic block, component, or circuit.
  • the module may be an integrally formed part or a minimum unit or part of performing one or more functions.
  • the module may be configured as an application-specific integrated circuit (ASIC).
  • ASIC application-specific integrated circuit
  • a device capable of calling and operating in accordance with the called command may include an electronic device according to the disclosed embodiments (for example, the electronic device A.)
  • the processor When the command is executed by the processor, the processor directly, Alternatively, other components may be used to perform functions corresponding to the instructions under the control of the processor, and the instructions may include code generated or executed by a compiler or an interpreter. It may be provided in the form of a non-transitory storage medium, where "non-transitory" means that the storage medium does not contain a signal and does not actually contain a signal. It is meant to be tangible but does not distinguish that data is stored semi-permanently or temporarily on a storage medium.
  • a method may be provided included in a computer program product.
  • the computer program product may be traded between the seller and the buyer as a product.
  • the computer program product may be distributed online in the form of a device-readable storage medium (eg compact disc read only memory (CD-ROM)) or through an application store (eg Play StoreTM).
  • a device-readable storage medium eg compact disc read only memory (CD-ROM)
  • an application store eg Play StoreTM
  • at least a portion of the computer program product may be stored at least temporarily on a storage medium such as a server of a manufacturer, a server of an application store, or a relay server, or may be temporarily created.
  • Each component eg, a module or a program
  • some components eg, modules or programs
  • operations performed by a module, program, or other component may be executed sequentially, in parallel, repeatedly, or heuristically, or at least some of the operations may be executed in a different order, omitted, or another operation may be added. Can be.

Landscapes

  • Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

본 개시는 딥러닝 등의 기계학습 알고리즘을 활용하는 인공지능(AI)시스템 및 그 응용에 관련된 것이다. 특히 본 개시의 전자 장치의 제어 방법은, 전자 장치와 연결된 외부 단말로부터 사용자를 포함하는 영상 데이터 및 부가 데이터를 획득하고, 영상 데이터 및 부가 데이터를 이용하여 사용자의 실제 감정을 판단하기 위한 특징 데이터를 생성하며, 특징 데이터를 감정 인식 모델에 입력하여 사용자의 실제 감정을 판단한다.

Description

사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법
본 개시는 전자 장치 및 이의 제어 방법에 관한 것으로, 더욱 상세하게는 데이터를 분석하여 사용자의 감정을 판단하고, 해당 감정이 발생한 원인을 추론할 수 있는 전자 장치 및 이의 제어 방법에 관한 것이다.
또한, 본 개시는 딥러닝 등의 기계 학습 알고리즘을 활용하여 인간 두뇌의 인지, 판단 등의 기능을 모사하는 인공지능(AI) 시스템 및 그 응용에 관련된 것이다.
인공지능(Artificial Intelligence, AI) 시스템은 인간 수준의 지능을 구현하는 컴퓨터 시스템이며, 기존의 규칙 기반 스마트 시스템과 달리 기계가 스스로 학습하고 판단하며 똑똑해지는 시스템이다. 인공지능 시스템은 사용할수록 인식률이 향상되고 사용자의 취향을 더욱 정확하게 이해할 수 있게 된다. 따라서, 기존의 규칙 기반 스마트 시스템은 점차 딥러닝 기반의 인공지능 시스템으로 대체되고 있다.
인공지능 기술은 기계학습(ex. 딥러닝) 및 기계 학습을 활용한 요소 기술들로 구성된다. 기계 학습은 입력 데이터들의 특징을 스스로 분류하여 학습하는 알고리즘 기술이다. 요소 기술은 딥러닝 등의 기계학습 알고리즘을 활용하는 기술로서, 언어적 이해, 시각적 이해, 추론/예측, 지식 표현, 동작 제어 등의 기술 분야로 구성될 수 있다.
인공지능 기술이 응용되는 다양한 분야는 다음과 같다. 언어적 이해는 인간의 언어/문자를 인식하고 응용/처리하는 기술로서, 자연어 처리, 기계 번역, 대화 시스템, 질의응답, 음성 인식/합성 등을 포함한다. 시각적 이해는 사물을 인간의 시각처럼 인식하여 처리하는 기술로서, 객체 인식, 객체 추적, 영상 검색, 사람 인식, 장면 이해, 공간 이해, 영상 개선 등을 포함한다. 추론/예측은 정보를 판단하여 논리적으로 추론하고 예측하는 기술로서, 지식/확률 기반 추론, 최적화 예측, 선호 기반 계획, 추천 등을 포함한다. 지식 표현은 인간의 경험 정보를 지식 데이터로 자동화 처리하는 기술로서, 지식 구축(데이터 생성/분류), 지식 관리(데이터 활용) 등을 포함한다. 동작 제어는 차량의 자율 주행, 로봇의 움직임 등을 제어하는 기술로서, 움직임 제어(항법, 충돌, 주행), 조작 제어(행동 제어) 등을 포함한다.
한편, 종래에는 감정을 판단하고자 하는 사용자의 얼굴 표정을 분석하여 사용자의 감정 상태를 판단하였다. 그러나, 사용자의 얼굴을 분석한 감정과 실제 사용자의 감정은 다른 경우가 존재한다. 즉, 사용자의 얼굴 표정은 화가난 상태지만, 실제 사용자의 감정은 행복한 기분일 수 있고, 사용자의 얼굴 표정은 웃고 있으나, 실제 사용자의 감정은 슬플 수도 있다. 이와 같이, 사용자의 얼굴 표정만을 분석하여 감정을 판단하는 경우, 사용자의 실제 감정을 정확하게 파악하지 못하는 경우가 존재한다.
본 개시는 상술한 문제점을 해결하기 위한 것으로, 감정을 판단하고자 하는 사용자의 표정을 분석함과 동시에 사용자의 주변 환경 정보를 함께 분석하여, 사용자의 실제 감정을 판단할 수 있는 전자 장치 및 이의 제어 방법을 제공함에 있다.
상기 목적을 달성하기 위한 본 개시의 일 실시예에 따른 전자 장치의 제어 방법은, 상기 전자 장치와 연결된 외부 단말로부터 사용자를 포함하는 영상 데이터 및 부가 데이터를 획득하는 단계; 상기 영상 데이터 및 상기 부가 데이터를 이용하여 상기 사용자의 실제 감정을 판단하기 위한 특징 데이터를 생성하는 단계; 상기 특징 데이터를 감정 인식 모델에 입력하여 상기 사용자의 실제 감정을 판단하는 단계; 를 포함한다.
이때, 상기 부가 데이터는, 상기 영상의 GPS 정보, 방위 정보, 상기 사용자에 대한 기 입력된 정보 상기 사용자의 과거 감정 및 상기 영상에 대한 크롤링 정보 중 적어도 하나를 포함할 수 있다.
이때, 상기 특징 데이터는 제1 특징 데이터 및 제2 특징 데이터를 포함하고, 상기 제1 특징 데이터는 주변 정보를 제외한 상기 사용자의 감정과 관련된 특징 데이터이며, 상기 제2 특징 데이터는, 상기 사용자의 주변 정보에 대한 특징 데이터일 수 있다.
이때, 상기 판단하는 단계는, 상기 제1 특징 데이터를 감정 인식 모델에 입력하여 상기 사용자의 감정을 판단하고, 상기 제2 특징 데이터를 감정 인식 모델에 입력하여 상기 주변 정보를 판단하며, 판단된 상기 제1 특징 데이터에 대한 사용자의 감정 및 제2 특징 데이터에 대한 주변 정보를 분석하여 상기 사용자의 실제 감정을 판단할 수 있다.
이때, 상기 감정을 판단하는 단계는, 상기 사용자의 과거 감정에 대한 가중치를 계산하는 단계; 및 상기 특징 데이터 및 상기 가중치를 이용하여 상기 사용자의 현재 감정을 판단하는 단계; 를 포함할 수 있다.
이때, 상기 특징 데이터를 시간, 장소, 인물 또는 사건별로 분류하여 메모리에 저장하는 단계; 를 포함할 수 있다.
이때, 상기 외부 단말로부터 사용자 요청이 수신되면, 상기 특징 데이터를 감정 추론 모델에 입력하여 상기 사용자의 감정 발생 원인을 판단하는 단계; 및 상기 판단된 감정 발생 원인을 상기 외부 단말로 제공하는 단계;를 포함할 수 있다.
이때, 상기 판단하는 단계는, 상기 사용자의 감정 발생 원인을 시간 또는 장소 별로 판단하는 것을 특징으로 하는 포함할 수 있다.
한편, 본 개시의 일 실시예에 따른 전자 장치는, 상기 전자 장치와 연결된 외부 단말로부터 사용자를 포함하는 영상 데이터 및 부가 데이터를 수신하는 통신부; 상기 영상 데이터 및 상기 부가 데이터를 이용하여 상기 사용자의 실제 감정을 판단하기 위한 특징 데이터를 생성하고, 상기 특징 데이터를 감정 인식 모델에 입력하여 상기 사용자의 실제 감정을 판단하는 프로세서; 및 상기 특징 데이터를 저장하는 메모리; 를 포함한다.
이때, 상기 부가 데이터는, 상기 영상의 GPS 정보, 방위 정보, 상기 사용자에 대한 기 입력된 정보 상기 사용자의 과거 감정 및 상기 영상에 대한 크롤링 정보 중 적어도 하나를 포함할 수 있다.
이때, 상기 특징 데이터는 제1 특징 데이터 및 제2 특징 데이터를 포함하고, 상기 제1 특징 데이터는 주변 정보를 제외한 상기 사용자의 감정과 관련된 특징 데이터이며, 상기 제2 특징 데이터는, 상기 사용자의 주변 정보에 대한 특징 데이터일 수 있다.
이때, 상기 프로세서는, 상기 제1 특징 데이터를 감정 인식 모델에 입력하여 상기 사용자의 감정을 판단하고, 상기 제2 특징 데이터를 감정 인식 모델에 입력하여 상기 주변 정보를 판단하며, 판단된 상기 제1 특징 데이터에 대한 사용자의 감정 및 제2 특징 데이터에 대한 주변 정보를 분석하여 상기 사용자의 실제 감정을 판단하는 것을 특징으로 할 수 있다.
이때, 상기 프로세서는, 상기 사용자의 과거 감정에 대한 가중치를 계산하고, 상기 특징 데이터 및 상기 가중치를 이용하여 상기 사용자의 현재 감정을 판단하는 것을 특징으로 할 수 있다.
이때, 상기 프로세서는, 상기 특징 데이터를 시간, 장소, 인물 또는 사건별로 분류하여 메모리에 전송하는 것을 특징으로 할 수 있다.
이때, 상기 프로세서는, 상기 외부 단말로부터 사용자 요청이 수신되면, 상기 특징 데이터를 감정 추론 모델에 입력하여 상기 사용자의 감정 발생 원인을 판단하고, 상기 판단된 감정 발생 원인을 상기 외부 단말로 제공할 수 있다.
이때, 상기 프로세서는, 상기 사용자의 감정 발생 원인을 시간 또는 장소 별로 판단하는 것을 특징으로 할 수 있다.
한편, 본 개시의 일 실시예에 따른 전자 장치의 제어 방법을 실행하기 위한 프로그램을 저장하는 비일시적인 컴퓨터 판독 가능 매체에 있어서, 상기 전자 장치의 제어 방법은, 상기 전자 장치와 연결된 외부 단말로부터 사용자를 포함하는 영상 데이터 및 부가 데이터를 획득하는 단계; 상기 영상 데이터 및 상기 부가 데이터를 이용하여 상기 사용자의 실제 감정을 판단하기 위한 특징 데이터를 생성하는 단계; 상기 특징 데이터를 감정 인식 모델에 입력하여 상기 사용자의 실제 감정을 판단하는 단계; 를 포함한다.
상술한 바와 같이 본 개시의 실시예에 따라, 주변 정보를 이용하여 사용자의 감정을 더욱 정확하게 판단할 수 있으며, 특징데이터를 통해 감정 원인을 추론할 수 있다.
도 1a 및 도 1b는 본 개시의 일 실시예에 따른 전자 장치(100)의 구성을 설명하기 위한 도면이다.
도 2는 본 개시의 일 실시예에 따른 사용자의 실제 감정 판단 및 감정 원인 추론을 설명하기 위한 블록도이다.
도 3은 본 개시의 일 실시예에 따른, 감정 판단 방법을 설명하는 도면이다.
도 4a 및 도 4b는 주변 정보를 이용하여 사용자의 감정을 분석하는 방법을 설명하는 도면이다.
도 5a 및 도 5b는 본 개시의 일 실시예에 따른 감정 원인 분석을 설명하기 위한 도면이다.
도 6은 본 개시의 또다른 실시예에 따른 사용자의 실제 감정 및 감정 원인을 판단하는 과정을 설명하는 도면이다.
도 7은 본 개시의 일 실시예에 따른 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
도 8은 본 개시의 일 실시예에 따른 사용자 감정 판단 및 감정 원인 분석을 추론하기 위한 시스템의 제어 방법을 설명하기 위한 시퀀스도이다.
도 9는 본 개시의 또 다른 실시예에 따른, 감정 판단 및 감정 원인 분석을 수행하는 사용자 단말을 설명하는 도면이다.
도 10은 본 개시의 일부 실시 예에 따른 프로세서의 블록도이다.
도 11a 및 도 11b는 본 개시의 일부 실시 예에 따른 데이터 학습부 및 감정 판단부의 블록도이다.
본 명세서에서 사용되는 용어에 대해 간략히 설명하고, 본 발명에 대해 구체적으로 설명하기로 한다.
본 발명의 실시 예에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어들을 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 판례, 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한, 특정한 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 상세히 그 의미를 기재할 것이다. 따라서 본 발명에서 사용되는 용어는 단순한 용어의 명칭이 아닌, 그 용어가 가지는 의미와 본 발명의 전반에 걸친 내용을 토대로 정의되어야 한다.
본 발명의 실시 예들은 다양한 변환을 가할 수 있고 여러 가지 실시 예를 가질 수 있는바, 특정 실시 예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나 이는 특정한 실시 형태에 대해 범위를 한정하려는 것이 아니며, 발명된 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 실시 예들을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 구성요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "구성되다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명의 실시 예에서 '모듈' 혹은 '부'는 적어도 하나의 기능이나 동작을 수행하며, 하드웨어 또는 소프트웨어로 구현되거나 하드웨어와 소프트웨어의 결합으로 구현될 수 있다. 또한, 복수의 '모듈' 혹은 복수의 '부'는 특정한 하드웨어로 구현될 필요가 있는 '모듈' 혹은 '부'를 제외하고는 적어도 하나의 모듈로 일체화되어 적어도 하나의 프로세서로 구현될 수 있다.
본 발명의 실시 예에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한, 물리적인 연결뿐만 아니라 무선 연결되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
아래에서는 첨부한 도면을 참고하여 본 개시의 실시 예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시 예에 한정되지 않는다. 그리고 도면에서 본 개시를 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
한편, 본 개시에서, 사용자라는 용어는 전자 장치를 사용하는 사람 또는 전자 장치를 사용하는 장치(예: 인공지능 전자 장치)를 지칭할 수 있다.
도 1a 및 도 1b는 본 개시의 일 실시예에 따른 전자 장치(100)의 구성을 설명하기 위한 도면이다.
전자 장치(100)는 도 1에 도시된 바와 같이, 서버로 구현되어 외부 단말(200-1 내지 200-3)과 연동하여 사용자의 감정 분석 서비스를 제공할 수 있다.
도 1b에 도시된 바와 같이, 전자 장치(100)는 통신부(110), 메모리 및 프로세서(130)를 포함한다.
통신부(110)는 다양한 외부 단말로부터 사용자의 감정을 분석하기 위한 데이터를 수신한다. 구체적으로, 통신부(100)는 외부 사용자 단말(200-1), 외부 서버(200-2) 또는 외부 촬영 장치(200-3)등과 같은 다양한 외부 단말로부터 사용자 감정을 분석하기 위한 데이터를 수신할 수 있다.
이때, 외부로부터 수신된 데이터는 영상 데이터 및 부가데이터를 포함할 수 있다. 구체적으로, 영상데이터는 외부 촬영 장치(200-3)로부터 수신한 사진 및 동영상 데이터일 수 있다. 이때, 영상 데이터가 동영상 데이터인 경우, 영상 데이터는 동영상 데이터에 포함된 소리 데이터를 포함할 수 있다.
부가데이터는 영상 데이터와 관련된 데이터를 의미한다. 예를 들어, 부가데이터는 영상데이터에 포함된 사람들의 대화 내용, 영상 데이터에 포함된 GPS 정보, 방위 정보, 해시태그 정보, 사용자에 대한 기 입력된 정보, 전자 장치(100)로부터 판단된 사용자의 과거 감정 정보, 영상을 크롤링하여 획득한 정보 등 다양한 형태로 구성될 수 있다. 다만, 부가 데이터는 상술한 예에 한정되는 것은 아니며 사용자 감정 판단을 위해 필요하다고 판단되는 다양한 데이터를 포함할 수 있음은 물론이다.
메모리(120)는 전자 장치(100)를 구동시키기 위한 다양한 O/S(Operating System)가 저장될 수 있으며, 전자 장치(100)가 동작하기 위한 각종 소프트웨어 프로그램이나 어플리케이션이 저장될 수 있다.
메모리(120)는 특징 데이터를 저장할 수 있다. 이때, 특징 데이터란 영상 데이터 및 부가 데이터를 이용하여 생성된 데이터를 의미한다. 이에 대한 자세한 설명은 후술한다. 또는 필요에 따라 메모리(120)는 영상 데이터 및 부가 데이터를 저장할 수 있다.
한편, 메모리(120)는 사용자의 감정 판단 및 감정 원인 분석을 수행하기 위한 복수의 소프트웨어 모듈을 포함할 수 있다. 구체적으로, 메모리(120)는 도 2에 도시된 바와 같이, 데이터 입력 모듈(210), 특징 데이터 판단 모듈(230), 감정 판단 모듈(240), 특징 데이터 저장 모듈(260) 및 감정 원인 추론 모듈(270)을 포함할 수 있다.
데이터 입력 모듈(210)은 외부 단말로부터 다양한 형태의 데이터를 획득할 수 있다.
특징 데이터 판단 모듈(230)은 입력 데이터를 분석하여 특징 데이터를 판단할 수 있다. 구체적으로, 특징 데이터 판단 모듈(230)은 감정 인식 모델(220)를 이용하여 특징 데이터를 판단할 수 있다.
감정 판단 모듈(240)는 특징 데이터로부터 사용자의 실제 감정을 판단할 수 있다. 도 2에 도시 되지는 않았으나, 사용자의 실제 감정은 특징 데이터를 감정 인식 모델(220)에 적용하여 획득할 수도 있음은 물론이다.
특징 데이터 저장 모듈(240)은 생성된 특징 데이터를 저장할 수 있다.
감정 추론 모듈(270)은 사용자의 감정 발생 원인을 판단할 수 있다. 예를 들어, 감정 추론 모듈(270)은 특징 데이터를 감정 추론 모델(250)에 적용하여 감정이 발생한 원인을 파악할 수 있다.
프로세서(130)는 전자 장치(100)의 상술한 구성들을 제어 할 수 있다. 예를 들어, 프로세서(130)는 메모리(120)에 저장된 복수의 소프트웨어 모듈을 이용하여 사용자의 실제 감정을 판단하거나, 사용자의 감정 원인을 판단할 수 있다.
구체적으로, 프로세서(130)는 영상 데이터 및 부가 데이터를 이용하여 사용자의 감정을 판단하기 위한 특징 데이터를 생성할 수 있다. 그리고, 프로세서(130)는 감정 판단 모듈(240)을 제어하여 생성된 특징 데이터를 감정 인식 모델에 입력하여 사용자의 실제 감정을 판단할 수 있다.
프로세서(130)는 특징 데이터 판단 모듈(230)을 제어하여 영상 데이터 및 부가 데이터를 이용하여 제1 특징 데이터 및 제2 특징 데이터를 포함하는 특징 데이터를 생성할 수 있다. 이때 제1 특징 데이터는 감정을 판단하고자 하는 사용자에 관련된 데이터일 수 있다. 예를 들어, 프로세서(130)는 특징 데이터 판단 모듈(230)을 제어하여 영상 데이터에서 사용자의 표정을 검출하고, 검출된 사용자의 표정에 해당하는 감정을 제1 특징 데이터로 결정할 수 있다. 이때 검출된 사용자의 감정(제1 특징 데이터)은 사용자가 느끼는 실제 감정과 다를 수 있다. 예를 들어 실제 사용자의 감정은 "행복"이나 제1 특징 데이터에 대응되는 감정은"화남" 일 수 있다.
한편, 제2 특징 데이터는, 제1 특징 데이터를 제외한 특징 데이터일 수 있다. 예를 들어, 제2 특징 데이터는 영상에 포함된 사용자 주변 인물들의 얼굴 표정으로부터 결정된 감정 정보일 수 있다. 또는, 영상에 포함된 대화 내용으로부터 결정된 대화자 및 대화 상대방의 감정에 관한 것일 수 있다. 또는, 영상을 촬영한 장소 및 해당 장소에서 통계적으로 사람들이 느끼는 감정에 대한 것일 수 있다.
상술한 바와 같이 특징 데이터는 입력된 영상 데이터 및 부가 데이터 중 사용자 또는 주변 인물들의 감정과 관련된 데이터일 수 있다. 그러나 이에 한정되는 것은 아니고, 감정 이외의 다양한 정보를 포함할 수도 있음은 물론이다. 예를 들어, 특징 데이터는, 사용자 주변의 다양한 오브젝트, 상황, 날씨 및 시간 정보 등 다양한 정보를 포함할 수도 있음은 물론이다.
이때, 특징 데이터는 영상 데이터 및 부가 데이터와 비교할 때 더 적은 용량을 가질 수 있다. 즉, 다양한 입력 데이터 중 사용자의 감정을 판단하는데 필요한 데이터만을 특징 데이터로 생성함으로써, 프로세서(130)는 메모리에 할당된 저장 공간을 사용할 수 있다.
한편, 프로세서(130)는 제1 특징 데이터 및 제2 특징 데이터를 감정 인식 모델에 입력하여 사용자의 실제 감정을 판단할 수 있다. 예를 들어, 프로세서(130)는 제1 특징 데이터를 감정 인식 모델이 입력하여 제1 특징 데이터에 대한 사용자의 감정을 판단할 수 있다. 이때 판단된 감정은 사용자의 실제 감정과 다를 수 있다. 또한 프로세서(130)는 제2 특징 데이터를 감정 인식 모델에 입력하여 주변 인물에 대한 감정 및 기타 주변 정보를 판단할 수 있다. 프로세서(130)는 판단된 제1 특징 데이터에 대한 사용자의 감정 정보 및, 제2 특징 데이터에 대한 주변 정보를 바탕으로 사용자의 실제 감정을 판단할 수 있다.
다만, 상술한 실시예에 한정되는 것은 아니며, 제1 특징 데이터 및 제2 특징 데이터를 감정 인식 모델에 동시에 적용하여 사용자의 실제 감정을 판단할 수 있음은 물론이다.
이때, 사용자의 실제 감정을 판단할 때, 프로세서(130)는 사용자의 과거 감정에 대한 가중치를 계산하고, 계산된 가중치를 이용하여 사용자의 현재 감정을 판단할 수 있다. 이에 대한 설명은 후술한다.
또한, 프로세서(130)는 특징 데이터를 특정 카테고리별로 분류하여 메모리(120)에 저장할 수 있다. 예를 들어 프로세서(130)는 특징 데이터를 시간의 흐름에 따라 분류하여 메모리(120)에 저장할 수 있다. 또 다른 예로 프로세서(130)는 특징 데이터를 장소별로 분류하여 메모리(120)에 저장할 수 있다. 상술한 예에서는 시간 및 장소별로 특징 데이터를 분류하는 예에 대하여 설명하였으나, 다양한 카테고리별로 특징 데이터를 분류할 수 있음은 물론이다.
한편, 외부 단말로부터 사용자 요청을 수신한 경우, 프로세서(130)는 특징 데이터를 감정 추론 모델에 입력하여 사용자의 감정 발생 원인을 판단하여 외부 단말에 제공할 수 있다. 예를 들어, 사용자의 실제 감정이 "화남" 인 경우, 프로세서(130)는 사용자가 화가 난 원인을 특징 데이터로부터 분석하여 사용자에게 제공할 수 있다.
또한, 프로세서(130)는 사용자의 실제 감정 및 감정 발생 원인을 시간, 장소, 인물 또는 사건별로 판단할 수 있다. 사용자의 요청이 있는 경우, 프로세서(130)는 사용자에게 감정 및 원인 정보를 제공할 수 있다. 예를 들어 사용자가 시간별로 정리된 감정 및 감정 원인을 요청한 경우, 프로세서(130)는 시간에 따른 감정 및 감정 발생 원인 정보를 사용자에게 제공할 수 있다. 따라서 사용자는 시간별로 사용자의 감정 상태 및 감정 발생원인을 파악할 수 있다.
또는, 사용자가 장소별로 정리된 감정 및 감정 원인을 요청한 경우, 프로세서(130)는 장소에 따른 감정 및 감정 발생 원인 정보를 사용자에게 제공할 수 있다.
또는, 사용자가 인물별로 정리된 감정 및 감정 원인을 요청한 경우, 프로세서(130)는 특정 인물에 따른 감정 및 감정 발생 원인 정보를 사용자에게 제공할 수 있다. 구체적으로, 프로세서(130)는 특정 인물과 함께 있는 경우, 사용자의 감정 및 감정 발생 원인 정보를 사용자에게 제공할 수 있다.
또는, 사용자가 사건별로 정리된 감정 및 감정 원인을 요청한 경우, 프로세서(130)는 특정 사건에 대한 감정 및 감정 발생 원인 정보를 사용자에게 제공할 수 있다. 구체적으로, 프로세서(130)는 특정 사건이 발생한 경우, 사용자의 감정 및 감정 발생 원인 정보를 사용자에게 제공할 수 있다.
또한 본 개시에 따른 다양한 실시예에 의할 때. 전자 장치(100)는 입력된 영상 데이터 및 부가 데이터로부터 특징 데이터를 획득하고, 획득된 특징 데이터를 분석하여 감정 데이터를 결정할 수 있다. 본 개시에서 학습된 인식 모델은 인식 모델의 적용 분야 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 학습된 객체 인식 모델은, 예로, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 객체 인식 모델은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있으며 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 뉴런의 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 또한 객체 인식 모델은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다. 객체 인식 모델의 예에는 DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network) 등이 있을 수 있으나 이에 한정되지 않는다. 상술한 객체 인식 모델의 구체적인 적용예는 후술한다.
또한, 전자 장치(100)는 상술한 바와 같은 동작을 수행하기 위하여 인공지능 에이전트(Artificial intelligence agent)를 이용할 수 있다. 이때, 인공지능 에이전트는 AI(Artificial Intelligence) 기반의 서비스(예를 들어, 음성 인식 서비스, 비서 서비스, 번역 서비스, 검색 서비스 등)를 제공하기 위한 전용 프로그램으로서, 기존의 범용 프로세서(예를 들어, CPU) 또는 별도의 AI 전용 프로세서(예를 들어, GPU 등)에 의해 실행될 수 있다.
도 4a 내지 도 6은 본 개시의 다양한 실시예들을 설명하기 위한 도면이다.
도 4a 및 도 4b는 주변 정보를 이용하여 사용자의 감정을 분석하는 방법을 설명하는 도면이다. 구체적으로, 도 4a 및 도 4b는 축구 경기 우승팀의 축구선수들을 촬영한 사진 데이터를 이용하여 사용자(411)의 감정을 판단하는 과정을 설명하는 도면이다.
프로세서(130)는 특징 데이터 판단 모듈(230)를 제어하여 사진 데이터로부터 특징 데이터를 생성할 수 있다. 예를 들어, 프로세서(130)는 특징 데이터 판단 모듈(230)를 제어하여 이미지 분석을 통해 사용자의 감정을 판단할 수 있다. 이때, 프로세서(130)는 특징 데이터 판단 모듈(230)를 제어하여 감정을 판단하고자 하는 사용자(411) 및 주변 인물(421,431)의 얼굴 표정을 분석하여 감정을 판단할 수 있다.
구체적으로, 도 4a에 도시된 바와 같이, 프로세서(130)는 특징 데이터 판단 모듈(230)를 제어하여 사용자(411)의 얼굴 표정을 분석하여 감정 테이블(412)을 생성할 수 있다. 이때, 사용자(411)의 감정은 "화남"이다. 또한, 주변 인물(421,431) 및 주변 인물들의 감정 테이블(422,432)를 살펴보면 주변인물의 감정 상태는 "행복"이다. 이때, 사용자 및 주변 인물(411,421,431)의 감정 상태가 특징 데이터이며, 특징 데이터는 특징 데이터 저장 모듈(260)에 저장될 수 있다. 구체적으로, 사용자(411)의 "화남"에 대한 데이터는 제1 특징 데이터, 주변인물(421,431)의 "행복"에 대한 데이터는 제2 특징 데이터가 될 수 있다.
프로세서(130)는 감정 판단 모듈(240)을 제어하여 획득한 특징 데이터를 분석하고, 사용자(411)의 실제 감정을 판단할 수 있다. 구체적으로, 프로세서(130)는 감정 판단 모듈(240)을 제어하여 특징 데이터를 감정 인식 모델(220)에 입력하여 사용자(411)의 감정을 판단할 수 있다. 이때 프로세서(130)는 감정 판단 모듈(240)을 제어하여 주변 인물(421,422)에 관한 특징 데이터를 이용하여 사용자(411)가 행복한 상태임을 판단할 수 있다. 구체적으로, 프로세서(130)는 감정 판단 모듈(240)을 제어하여 도 4b에 도시된 바와 같이 주변 정보를 포함하여 사용자(411)의 감정이 "행복"임을 판단할 수 있다.
상술한 실시예에서는 사용자 및 주변 인물(411,421,431)의 얼굴 표정만을 이용하여 사용자(411)의 감정을 분석하는 방법에 대하여 설명하였으나, 이에 한정되는 것은 아니다. 예를 들어, 제1 특징 데이터 및 제2 특징 데이터는 얼굴 표정뿐만 아니라, 시선 방향, 행동, 주변 상황, 주변 소음, 장소, 대화 내용등 다양한 데이터로부터 판단될 수 있다.
도 5a 및 도 5b는 본 개시의 일 실시예에 따른 감정 원인 분석을 설명하기 위한 도면이다.
구체적으로, 도 5a는 전자 장치(100)에 의해 판단된 사용자의 감정을 나타낸 도면이다. 구체적으로, 사용자(511)의 감정 테이블(512)를 살펴보면, 사용자(511)는 "슬픔" 상태인 것을 알 수 있다. 또한, 사용자(521)의 감정 테이블(522)를 살펴보면 사용자(521)는 "행복" 상태임을 알 수 있다.
이때, 사용자의 요청이 있는 경우, 전자 장치(100)는 사용자(511,521)의 감정 원인을 분석할 수 있다. 구체적으로, 프로세서(130)는 감정 추론 모듈(270)을 제어하여 감정 원인을 판단할 수 있다. 구체적으로, 특징 데이터 저장 모듈(260)에 저장된 특징 데이터를 감정 원인 추론 모델(250)에 입력하여 사용자의 감정 원인을 추론할 수 있다. 예를 들어, 프로세서(130)는 특정 감정과 관련된 특징 데이터를 분석하여 감정 원인을 추론할 수 있다. 즉, 프로세서(130)는 특징 데이터 저장 모듈(260)에 저장된 작은 크기의 데이터만을 이용하여 감정 원인을 판단할 수 있다.
구체적으로, 도 5b에 도시된 바와 같이, 프로세서(130)는 사용자(511)가 슬픈 원인에 대응하여 사용자의 친구가 사용자(511)를 괴롭히는 이미지(530)를 제공하고, 사용자(521) 기쁜 이유에 대응하여 사용자(521)가 선물을 받은 이미지(540)를 제공할 수 있다.
한편 상술한 바와 같이, 프로세서(130)는 사용자의 요청이 있는 경우, 사용자의 감정 및 감정 발생 원인을 특정 카테고리별로 분류하여 사용자에게 제공할 수 있다. 이때, 특정 카테고리란 시간 장소, 인물 또는 사건에 대한 것일 수 있으며, 그 외 다양한 카테고리일 수 있다. 예를 들어, 카테고리는 사용자가 특정 인물과 함께 있는 경우, 사용자가 특정 방송을 시청하는 경우, 특정 사이트에 접속하는 경우 등 다양할 수 있다. 그러나 상술한 실시예에 한정되는 것은 아니며 다양한 종류의 카테고리별로 사용자의 감정 및 감정 발생 원인을 분류할 수 있다.
한편, 사용자가 시간에 따른 감정 및 감정 원인에 대한 정보를 요청하는 경우, 프로세서(130)는 시간별 사용자의 감정 및 감정 발생 원인을 제공할 수 있다.
이때, 프로세서(130)는 가장 특징적인 감정들을 요약하여 사용자에게 제공할 수 있다. 예를 들어, 하루 중, 사용자가 가장 화난 경우, 가장 흥분한 경우, 가장 행복한 경우, 가장 슬픈 경우 등을 특정하여 사용자에게 제공할 수 있다. 그러나 상술한 실시예에 한정되는 것은 아니며, 다양한 방법에 의해 사용자의 감정 및 감정 원인이 제공될 수 있다.
이때, 사용자에게 제공되는 정보는 영상 데이터의 형태일 수 있다. 그러나 영상 데이터에 한정되는 것은 아니며, 음성 데이터 또는 텍스트 데이터로 제공될 수도 있으며, 상술한 다양한 데이터가 함께 제공될 수 있음은 물론이다.
예를 들어, 사용자가 감정 및 감정 원인 정보를 요청한 경우, 프로세서(130)는 도 5b와 같은 영상 데이터를 제공할 수 있다. 또는 프로세서(130)는, "제니는 오늘 전체적으로 재미있는 유치원 생활을 했지만, 블록 쌓기 시간에 친구와의 다툼으로 잠시 울었다. 하지만 결국엔 블록 쌓기 1등을 하여 선생님께 상을 받았고, 그때 최고로 즐거워하였다."와 같은 텍스트 또는 음성을 사용자에게 제공할 수도 있다.
한편, 상술한 실시예에서는 하나의 카테고리로 사용자의 감정을 분류하였으나 이에 한정되는 것은 아니다. 즉, 전자 장치(100)는 복수의 카테고리를 함께 고려하여 사용자의 감정을 분류할 수 있다. 예를 들어, 선택된 카테고리가 시간 및 장소인 경우, 전자 장치(100)는 특정 장소에서의 사용자의 감정을 시간에 따라 분류할 수 있다.
도 6은 본 개시의 또다른 실시예에 따른 사용자의 실제 감정 및 감정 원인을 판단하는 과정을 설명하는 도면이다. 구체적으로, 도 6은 동일한 장소에서 시간에 따른 사용자의 감정을 판단하는 방법을 설명하는 도면이다.
프로세서(130)는 특징 데이터 판단 모듈(230) 및 감정 판단 모듈(240)을 제어하여 사용자의 감정을 판단할 수 있다. 예를 들어, 프로세서(130)는 특징 데이터 판단 모듈(130)를 제어하여 특징 데이터를 생성할 수 있다. 이때 특징 데이터는 사용자(611)의 얼굴 표정, 사용자(611)가 위치한 장소, 영상이 촬영된 시간에 관한 데이터일 수 있다. 프로세서(130)는 감정 판단 모듈(240)을 제어하여 감정 테이블(612)을 생성할 수 있으며, 14시 15분의 사용자(611)의 감정이 "중립" 임을 판단할 수 있다.
또한, 프로세서(130)는 15시 15분의 사용자(621)의 감정을 판단할 수 있다. 예를 들어, 프로세서(130)는 특징 데이터 판단 모듈(130)를 제어하여 특징 데이터를 생성할 수 있다. 이때 특징 데이터는 사용자(611)의 얼굴 표정, 사용자(611)가 위치한 장소, 영상이 촬영된 시간에 관한 데이터일 수 있으며, 추가적으로, 해당 장소에서 판단된 사용자의 과거 감정을 포함할 수 있다.
프로세서(130)는 감정 판단 모듈(240)을 제어하여 감정 테이블(622)을 생성할 수 있으며, 15시 15분의 사용자(621)의 감정이 "행복" 임을 판단할 수 있다.
한편, 도 5a 및 도 5b와 같이, 프로세서(130)는 사용자의 요청이 있는 경우, 사용자의 감정 및 감정 발생 원인을 특정 카테고리별로 분류하여 사용자에게 제공할 수 있다.
상술한 바와 같이, 프로세서(130)는 사용자의 요청에 대응하여 영상 데이터를 제공할 수 있으며, 텍스트 또는 음성 메시지를 제공할 수도 있다.
예를 들어, 사용자가 감정 및 감정 원인 정보를 요청한 경우, 프로세서(130)는 도 6과 같은 영상 데이터를 제공할 수 있다. 또는, 프로세서(160)는 "존은 오늘 낮 14시 15분에 에 공원 벤치에 앉아 여자친구를 기다렸다. 이때 존의 감정은 "중립" 이었으나, 15시 15분 여자친구를 만나 행복해졌다." 와 같은 텍스트 또는 음성을 사용자에게 제공할 수도 있다.
도 7은 본 개시의 일 실시예에 따른 전자 장치(100)의 제어 방법을 설명하기 위한 흐름도이다.
먼저, 전자 장치(100)는 외부 단말(200-1 내지 200-3)으로부터 영상 데이터 및 부가 데이터를 수신하여 획득할 수 있다(S710).
전자 장치(100)는 획득된 데이터를 이용하여 특징 데이터를 생성할 수 있다. 구체적으로, 프로세서(130)는 특징 데이터 판단 모듈(230)을 제어하여 특징 데이터를 생성할 수 있다.
전자 장치(100)는 생성된 특징 데이터를 감정 인식 모델에 입력하여 사용자의 실제 감정을 판단할 수 있다.
도 8는 본 개시의 일 실시예에 따른 사용자 감정 판단 및 감정 원인 분석을 추론하기 위한 시스템의 제어 방법을 설명하기 위한 시퀀스도이다. 상술한 바와 같이, 도1 내지 도 7에서 설명한 전자 장치(100)는 서버(100)로 구현될 수 있다.
이때, 사용자 단말(800)은 범용 프로세서를 포함하고, 서버(100)는 인공지능 전용 프로세서를 포함할 수 있다. 또는, 사용자 단말(800)은 적어도 하나의 어플리케이션을 포함할 수 있고, 서버(100)는 운영 체제(operating system)를 포함할 수 있다. 서버(100)는 사용자 단말(800)보다 더 집적화되거나, 전용화되거나, 딜레이(delay)가 작거나, 성능이 우수하거나 또는 많은 리소스를 가진 구성 요소로서 인식 모델의 생성, 갱신 또는 적용 시에 요구되는 많은 연산을 사용자 단말(800)보다 신속하고 효과적으로 처리 가능한 구성 요소가 될 수 있다.
이 경우, 사용자 단말(800) 및 서버(100) 간에 데이터를 송/수신하기 위한 인터페이스가 정의될 수 있다.
예로, 인식 모델에 적용할 학습 데이터를 인자 값(또는, 매개 값 또는 전달 값)으로 갖는 API(application program interface)가 정의될 수 있다. API는 어느 하나의 프로토콜(예로, 사용자 단말(800)에서 정의된 프로토콜)에서 다른 프로토콜(예로, 서버(100)에서 정의된 프로토콜)의 어떤 처리를 위해 호출할 수 있는 서브 루틴 또는 함수의 집합으로 정의될 수 있다. 즉, API를 통하여 어느 하나의 프로토콜에서 다른 프로토콜의 동작이 수행될 수 있는 환경을 제공될 수 있다.
사용자 단말(800)은 데이터를 획득한다(S810). 이때, 데이터는 상술한 바와 같이 영상 데이터 및 부가데이터를 포함할 수 있다.
사용자 단말(800)은 감정 분석을 위해 획득한 데이터를 서버(100)로 전송할 수 있다(S820).
이때, 서버(100)는 사용자 단말(800)로부터 수신한 데이터를 이용하여 특징 데이터를 획득할 수 있다(S830). 생성된 특징 데이터는 서버(100)에 저장될 수 있으며, 사용자 단말(800)의 메모리에 저장될 수도 있다.
서버(100)는 특징 데이터를 감정 판단 모델에 입력하여 사용자의 실제 감정을 판단할 수 있다(S840).
서버(100)는 판단된 사용자 감정을 사용자 단말(800)로 전송할 수 있다(S850). 이때, 사용자 단말(800)이 감정 원인 분석을 요청한 경우(S860), 서버(100)는 감정 원인을 추론할 수 있다(S870). 구체적으로, 서버(100)는 특징 데이터를 감정 원인 추론 모델에 입력하여 감정 원인을 판단할 수 있다.
도 9는 본 개시의 또 다른 실시예에 따른, 감정 판단 및 감정 원인 분석을 수행하는 사용자 단말을 설명하는 도면이다.
상술한 실시예에서는 전자 장치(100)가 서버로 구현되어 사용자의 실제 감정을 판단하고, 감정 원인을 분석하였으나 이러한 실시예에 한정되는 것은 아니다. 구체적으로, 도 9에 도시된 바와 같이 전자 장치(100)는 사용자 단말(800)로 구성될 수 있다. 예를 들어, 사용자 단말은(800) 스마트 폰, 타블렛 PC, 노트북 PC, 데스크탑 PC, 스마트 워치와 같은 웨어러블 장치, 전자 액자, 인간형 로봇, 오디오 장치, 스마트 TV 등과 같은 다양한 전자 장치로 구성되어 단독으로 사용자의 감정을 분석할 수도 있다.
구체적으로, 도 9에 도시된 바와 같이, 사용자 단말(800)은 센서(810), 메모리(820), 디스플레이(830), 통신부(840) 촬영부(850) 및 프로세서(860)을 포함할 수 있다.
센서(810)는 다양한 형태의 데이터를 감지할 수 있다. 예를 들어, 센서(810)는 자이로 센서, GPS 센서, 가속도 센서, 조도 센서, 습도 센서 등을 포함할 수 있다. 상술한 다양한 센서들은 다양한 데이터를 감지할 수 있다.
메모리(820)는 센서로부터 감지한 데이터들을 저장할 수 있다. 또한, 메모리는 서버(100)로부터 특징 데이터를 수신하여 저장할 수도 있다.
디스플레이(830)은, 사용자 단말(800)에 제공되는 다양한 컨텐츠를 표시할 수 있다. 이때, 디스플레이(830)는 액정 표시 장치(Liquid Crystal Display, LCD), 유기 전기 발광 다이오드(Organic Light Emitting Display, OLED) 또는 플라즈마 표시 패널(Plasma Display Panel, PDP) 등으로 구현되어, 사용자 단말(800)을 통해 제공 가능한 다양한 화면을 표시할 수 있다.
통신부(840)는 와이파이 칩(841), 블루투스 칩(842), 무선 통신 칩(843), NFC칩(844)중 적어도 하나를 포함할 수 있다. 와이파이 칩(841)이나 블루투스 칩(842)을 이용하는 경우에는 SSID 및 세션 키 등과 같은 각종 연결 정보를 먼저 송수신하여, 이를 이용하여 통신 연결한 후 각종 정보들을 송수신할 수 있다. 무선 통신 칩(843)은 IEEE, Zigbee, 3G(3rd Generation), 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution) 등과 같은 다양한 통신 규격에 따라 통신을 수행하는 칩을 의미한다. NFC 칩(844)은 135kHz, 13.56MHz, 433MHz, 860~960MHz, 2.45GHz 등과 같은 다양한 RF-ID 주파수 대역들 중에서 13.56MHz 대역을 사용하는 NFC(Near Field Communication) 방식으로 동작하는 칩을 의미한다.
통신부(840)는 상술한 바와 같이 서버(100)와의 통신을 수행할 수 있다. 구체적으로, 사용자 단말(800)은 통신부를 통해 다양한 데이터를 서버(100)로 전송할 수 있으며, 서버(100)로부터 다양한 결과를 수신할 수 있다.
촬영부(850)는 영상 데이터를 촬영할 수 있다. 촬영된 영상 데이터는 센서(810)로부터 감지된 다양한 데이터들과 함께 사용자의 감정을 분석하기 위해 서버(100)로 전송될 수 있다.
프로세서(860)는 전자 장치의 전반적인 동작을 제어한다. 상술한 바와 같이, 프로세서(860)는 획득된 데이터를 이용하여 사용자의 감정을 판단하거나 감정 원인을 분석할 수도 있으며, 서버(100)의 요청이 있는 경우, 다양한 형태의 데이터를 전송하도록 통신부(840)를 제어할 수 있다.
한편, 도 1 내지 도 9에서 상술한 다양한 실시예에서는, 영상 데이터를 분석하여 사용자의 감정을 분석하는 방법에 대하여 설명하였으나, 이에 한정되는 것은 아니다. 즉, 영상 데이터가 아닌 오디오 데이터를 이용하여 사용자 감정을 분석할 수도 있다. 예를 들어, 사용자의 통화 내용에 대한 오디오 데이터 및 통화 상대방, 통화 내용 등을 분석하여 사용자의 감정을 분석할 수 있다. 또는, 사용자가 작성하거나 공유한 다양한 컨텐츠(예를 들어, SNS에 작성하거나 공유한 글, 공유한 영상 및 해당 영상에 태그된 다른 사용자들)를 분석하여 사용자 감정을 판단할 수도 있다. 이와 같이 본 개시는 영상뿐만 아니라 다양한 컨텐츠들을 분석하여 사용자 감정을 판단할 수 있다.
도 10은 본 개시의 일부 실시 예에 따른 프로세서의 블록도이다. 도 10을 참조하면, 일부 실시 예에 따른 프로세서(130)는 데이터 학습부(131) 및 감정 판단부(132)를 포함할 수 있다.
데이터 학습부(131)는 사용자 감정 판단을 위한 기준을 학습할 수 있다. 프로세서(130)는 학습된 기준에 따라 입력된 데이터을 분석하여 사용자의 실제 감정을 판단할 수 있다. 데이터 학습부(131)는 사용자의 실제 감정을 판단하기 위하여 어떠한 데이터(또는 특징 데이터)를 이용할 것인지 결정할 수 있다. 또한, 데이터 학습부(131)는 학습에 이용될 데이터를 획득하고, 획득된 데이터를 후술할 감정 인식 모델 및 감정 추론 모델에 적용함으로써 사용자의 실제 감정 또는 감정 발생 원인 판단을 위한 기준을 학습할 수 있다.
감정 판단부(132)는 기학습된 감정 인식 모델 및 감정 추론 모델을 이용하여, 소정의 데이터로부터 사용자의 실제 감정 또는 감정 발생 원인을 판단할 수 있다. 감정 판단부(132)는 학습에 의한 기설정된 기준에 따라 소정의 데이터(예를 들어, 특징 데이터)를 획득하고, 획득된 데이터를 입력값으로 하여 감정 판단 모델을 이용할 수 있다. 또한, 감정 판단부(132)는 입력된 데이터를 감정 판단 모델에 적용하여 사용자의 실제 감정을 판단할 수 있다.
데이터 학습부(131)의 적어도 일부 및 감정 판단부(132)의 적어도 일부는, 소프트웨어 모듈로 구현되거나 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 학습부(131) 및 데이터 인식부(132) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예: CPU 또는 application processor) 또는 그래픽 전용 프로세서(예: GPU)의 일부로 제작되어 전술한 각종 전자 장치에 탑재될 수도 있다. 이 때, 인공 지능을 위한 전용 하드웨어 칩은 확률 연산에 특화된 전용 프로세서로서, 기존의 범용 프로세서보다 병렬처리 성능이 높아 기계 학습과 같은 인공 지능 분야의 연산 작업을 빠르게 처리할 수 있다. 데이터 학습부(131) 및 데이터 인식부(132)가 소프트웨어 모듈(또는, 인스트럭션(instruction) 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 컴퓨터로 읽을 수 있는 판독 가능한 비일시적 판독 가능 기록매체(non-transitory computer readable media)에 저장될 수 있다. 이 경우, 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 애플리케이션에 의해 제공될 수 있다. 또는, 소프트웨어 모듈 중 일부는 OS(Operating System)에 의해 제공되고, 나머지 일부는 소정의 애플리케이션에 의해 제공될 수 있다.
데이터 인식 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다.　 데이터 인식 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 데이터 인식 모델은 인간의 뇌 구조를 컴퓨터 상에서 모의하도록 설계될 수 있다. 데이터 인식 모델은 인간의 신경망의 뉴런(neuron)을 모의하는, 가중치를 가지는 복수의 네트워크 노드들을 포함할 수 있다. 복수의 네트워크 노드들은 뉴런이 시냅스(synapse)를 통하여 신호를 주고 받는 시냅틱(synaptic) 활동을 모의하도록 각각 연결 관계를 형성할 수 있다. 데이터 인식 모델은, 일 예로, 신경망 모델, 또는 신경망 모델에서 발전한 딥 러닝 모델을 포함할 수 있다. 딥 러닝 모델에서 복수의 네트워크 노드들은 서로 다른 깊이(또는, 레이어)에 위치하면서 컨볼루션(convolution) 연결 관계에 따라 데이터를 주고 받을 수 있다.
예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 데이터 인식 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
도 10의 실시 예에서는 데이터 학습부(131) 및 감정 판단부(132)가 모두 전자 장치(100)에 탑재된 경우를 도시하였으나, 이들은 각각 별개의 장치에 탑재될 수도 있다. 예를 들어, 데이터 학습부(131) 및 감정 판단부(132) 중 하나는 서버(100)에 포함되고, 나머지 하나는 사용자 단말(800)에 포함될 수 있다. 또한 데이터 학습부(131) 및 감정 판단부(132)는 서로 유선 또는 무선으로 연결되어, 데이터 학습부(131)가 구축한 감정 판단 모델에 대한 정보가 감정 판단부(132)로 제공될 수 있고, 감정 판단부(132)로 입력된 데이터가 추가 학습 데이터로 데이터 학습부(131)로 제공될 수도 있다.
한편, 데이터 학습부(131) 및 감정 판단부(132) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 학습부(131) 및 감정 판단부(132) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 비일시적 컴퓨터 판독 가능 기록매체에 저장될 수 있다. 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 어플리케이션에 의해 제공될 수 있다. 또는 적어도 하나의 소프트웨어 모듈 중 일부는 OS에 의해 제공되고, 나머지 일부는 소정의 어플리케이션에 의해 제공될 수도 있다.
도 11a는 본 개시의 일부 실시 예에 따른 데이터 학습부(131)의 블록도이다. 도 11a를 참조하면, 일부 실시 예에 따른 데이터 학습부(131)는 데이터 획득부(131-1), 전처리부(131-2), 학습 데이터 선택부(131-3), 모델 학습부(131-4) 및 모델 평가부(131-5)를 포함할 수 있다.
데이터 획득부(131-1)는 사용자의 실제 감정을 판단하기 위해 필요한 데이터를 획득할 수 있다. 특히, 데이터 획득부(131-1)는 영상 데이터, 부가 데이터 또는 영상 데이터 및 부가 데이터로부터 생성된 특징 데이터를 학습 데이터로 획득할 수 있다.
전처리부(131-2)는 사용자의 실제 감정 판단을 위한 학습에 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(131-2)는 후술할 모델 학습부(131-4)가 사용자의 실제 감정 판단을 위한 학습을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기설정된 포맷으로 가공할 수 있다.
학습 데이터 선택부(131-3)는 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 모델 학습부(131-4)에 제공될 수 있다. 학습 데이터 선택부(131-3)는 사용자의 실제 감정 판단을 위한 기설정된 기준에 따라, 전처리된 데이터 중에서 학습에 필요한 데이터를 선택할 수 있다. 또한, 학습 데이터 선택부(131-3)는 후술할 모델 학습부(131-4)에 의한 학습에 의해 기설정된 기준에 따라 데이터를 선택할 수도 있다. 모델 학습부(131-4)는 학습 데이터에 기초하여 사용자의 실제 감정을 어떻게 판단할지에 관한 기준을 학습할 수 있다. 또한, 모델 학습부(131-4)는 사용자의 실제 감정 판단을 위하여 어떤 학습 데이터를 이용해야 하는지에 대한 기준을 학습할 수도 있다.
모델 학습부(131-4)는 사용자의 실제 감정 판단에 이용되는 감정 판단 모델을 학습 데이터를 이용하여 학습시킬 수 있다. 이 경우, 감정 판단 모델은 미리 구축된 모델일 수 있다. 예를 들어, 감정 판단 모델은 기본 학습 데이터을 입력 받아 미리 구축된 모델일 수 있다. 다른 예로, 감정 판단 모델은 빅데이터를 이용하여 미리 구축된 모델일 수 있다.
감정 판단 모델은, 인식 모델의 적용 분야, 학습의 목적 또는 장치의 컴퓨터 성능 등을 고려하여 구축될 수 있다. 감정 판단 모델은, 예를 들어, 신경망(Neural Network)을 기반으로 하는 모델일 수 있다. 예컨대, DNN(Deep Neural Network), RNN(Recurrent Neural Network), BRDNN(Bidirectional Recurrent Deep Neural Network)과 같은 모델이 감정 판단 모델로서 사용될 수 있으나, 이에 한정되지 않는다.
구체적으로, 본 개시에 따른 감정 판단 모델은 도 3a에 도시된 바와 같이 DNN 모델을 이용할 수 있다. 그러나, 도 3b에 도시된 바와 같이 RNN 모델을 이용하여 사용자의 실제 감정을 판단할 수도 있다. 구체적으로, RNN 모델에 의할 경우, 과거 데이터 과거 감정(311 내지313) 및 현재의 데이터 입력(321)를 이용하여 현재의 감정(t)(322)를 획득할 수 있다. 또한 미래의 감정(t+1)(333)을 판단하는 경우 데이터 입력(331)과 현재의 데이터 입력(321)을 이용할 수 있다.
다양한 실시 예에 따르면, 모델 학습부(131-4)는 미리 구축된 감정 판단 모델이 복수 개가 존재하는 경우, 입력된 학습 데이터와 기본 학습 데이터의 관련성이 큰 감정 판단 모델을 학습할 감정 판단 모델로 결정할 수 있다. 이 경우, 기본 학습 데이터는 데이터의 타입별로 기분류되어 있을 수 있으며, 감정 판단 모델은 데이터의 타입별로 미리 구축되어 있을 수 있다. 예를 들어, 기본 학습 데이터는 학습 데이터가 생성된 지역, 학습 데이터가 생성된 시간, 학습 데이터의 크기, 학습 데이터의 장르, 학습 데이터의 생성자, 학습 데이터 내의 오브젝트의 종류 등과 같은 다양한 기준으로 기분류되어 있을 수 있다.
또한, 모델 학습부(131-4)는, 예를 들어, 오류 역전파법(error back-propagation) 또는 경사 하강법(gradient descent)을 포함하는 학습 알고리즘 등을 이용하여 감정 판단 모델을 학습시킬 수 있다.
예를 들어, 모델 학습부(131-4)는 학습 데이터를 입력 값으로 하는 지도 학습(supervised learning) 을 통하여 감정 판단 모델을 학습시킬 수 있다. 다른 예로, 모델 학습부(131-4)는 별도의 지도 없이 감정 판단을 위해 필요한 데이터의 종류를 스스로 학습함으로써 감정 판단을 위한 기준을 발견하는 비지도 학습(unsupervised learning)을 통하여, 감정 판단 모델을 학습시킬 수 있다. 또 다른 예로, 모델 학습부(131-4)는 학습에 따른 감정 판단의 결과가 올바른지에 대한 피드백을 이용하는 강화 학습(reinforcement learning)을 통하여, 감정 판단 모델을 학습시킬 수 있다.
또한, 감정 판단 모델이 학습되면, 모델 학습부(131-4)는 학습된 감정 판단 모델을 저장할 수 있다. 이 경우, 모델 학습부(131-4)는 학습된 감정 판단 모델을 전자 장치(100)의 메모리(120)에 저장할 수 있다.
이 경우, 학습된 감정 판단 모델이 저장되는 메모리(120)는 전자 장치(100)의 적어도 하나의 다른 구성요소에 관계된 명령 또는 데이터를 함께 저장할 수도 있다. 또한, 메모리(120)는 소프트웨어 및/또는 프로그램을 저장할 수도 있다. 예를 들어, 프로그램은 커널, 미들웨어, 어플리케이션 프로그래밍 인터페이스(API) 및/또는 어플리케이션 프로그램(또는 "어플리케이션") 등을 포함할 수 있다.
모델 평가부(131-5)는 감정 판단 모델에 평가 데이터를 입력하고, 평가 데이터로부터 출력되는 판단 결과가 소정 기준을 만족하지 못하는 경우, 모델 학습부(131-4)로 하여금 다시 학습하도록 할 수 있다. 이 경우, 평가 데이터는 감정 판단 모델을 평가하기 위한 기설정된 데이터일 수 있다.
예를 들어, 모델 평가부(131-5)는 평가 데이터에 대한 학습된 감정 판단 모델의 판단 결과 중에서, 판단 결과가 정확하지 않은 평가 데이터의 개수 또는 비율이 미리 설정된 임계치를 초과하는 경우 소정 기준을 만족하지 못한 것으로 평가할 수 있다. 예컨대, 소정 기준이 비율 2%로 정의되는 경우, 학습된 감정 판단 모델이 총 1000개의 평가 데이터 중의 20개를 초과하는 평가 데이터에 대하여 잘못된 판단 결과를 출력하는 경우, 모델 평가부(131-5)는 학습된 감정 판단 모델이 적합하지 않은 것으로 평가할 수 있다.
한편, 학습된 감정 판단 모델이 복수 개가 존재하는 경우, 모델 평가부(131-5)는 각각의 학습된 감정 판단 모델에 대하여 소정 기준을 만족하는지를 평가하고, 소정 기준을 만족하는 모델을 최종 감정 판단 모델로서 결정할 수 있다. 이 경우, 소정 기준을 만족하는 모델이 복수 개인 경우, 모델 평가부(131-5)는 평가 점수가 높은 순으로 미리 설정된 어느 하나 또는 소정 개수의 모델을 최종 감정 판단 모델로서 결정할 수 있다.
한편, 데이터 학습부(131) 내의 데이터 획득부(131-1), 전처리부(131-2), 학습 데이터 선택부(131-3), 모델 학습부(131-4) 및 모델 평가부(131-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(131-1), 전처리부(131-2), 학습 데이터 선택부(131-3), 모델 학습부(131-4) 및 모델 평가부(131-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예를 들어, CPU 또는 application processor) 또는 특정 기능을 위한 IP의 일부로 제작되어 전술한 각종 전자 장치(100)에 탑재될 수도 있다.
또한, 데이터 획득부(131-1), 전처리부(131-2), 학습 데이터 선택부(131-3), 모델 학습부(131-4) 및 모델 평가부(131-5)는 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(131-1), 전처리부(131-2), 학습 데이터 선택부(131-3), 모델 학습부(131-4) 및 모델 평가부(131-5) 중 일부는 전자 장치(100)에 포함되고, 나머지 일부는 서버(200)에 포함될 수 있다.
한편, 데이터 획득부(131-1), 전처리부(131-2), 학습 데이터 선택부(131-3), 모델 학습부(131-4) 및 모델 평가부(131-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(131-1), 전처리부(131-2), 학습 데이터 선택부(131-3), 모델 학습부(131-4) 및 모델 평가부(131-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 비일시적 컴퓨터 판독가능 기록매체에 저장될 수 있다. 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 어플리케이션에 의해 제공될 수 있다. 또는 적어도 하나의 소프트웨어 모듈 중 일부는 OS에 의해 제공되고, 나머지 일부는 소정의 어플리케이션에 의해 제공될 수도 있다.
도 11b는 본 개시의 일부 실시 예에 따른 감정 판단부(132)의 블록도이다. 도 11b를 참조하면, 일부 실시예에 따른 감정 판단부(132)는 데이터 획득부(132-1), 전처리부(132-2), 데이터 선택부(132-3), 판단 결과 제공부(132-4) 및 모델 갱신부(132-5)를 포함할 수 있다
데이터 획득부(132-1)는 사용자의 실제 감정 판단에 필요한 데이터를 획득할 수 있으며, 전처리부(132-2)는 사용자의 실제 감정 판단을 위해 획득된 데이터가 이용될 수 있도록, 획득된 데이터를 전처리할 수 있다. 전처리부(132-2)는 후술할 판단 결과 제공부(132-4)가 사용자의 실제 감정 판단을 위하여 획득된 데이터를 이용할 수 있도록, 획득된 데이터를 기설정된 포맷으로 가공할 수 있다.
데이터 선택부(132-3)는 전처리된 데이터 중에서 사용자의 실제 감정 판단에 필요한 데이터를 선택할 수 있다. 선택된 데이터는 판단 결과 제공부(132-4)에게 제공될 수 있다. 데이터 선택부(132-3)는 사용자의 실제 감정 판단을 위한 기설정된 기준에 따라, 전처리된 데이터 중에서 일부 또는 전부를 선택할 수 있다. 또한, 데이터 선택부(132-3)는 후술할 모델 학습부(142-4)에 의한 학습에 의해 기설정된 기준에 따라 데이터를 선택할 수도 있다.
판단 결과 제공부(132-4)는 선택된 데이터를 감정 판단 모델에 적용하여 사용자의 실제 감정을 판단할 수 있다. 판단 결과 제공부(132-4)는 데이터 선택부(132-3)에 의해 선택된 데이터를 입력 값으로 이용함으로써, 선택된 데이터를 감정 판단 모델에 적용할 수 있다. 또한, 판단 결과는 감정 판단 모델에 의해 결정될 수 있다. 예를 들어, 판단 결과 제공부(132-4)는 사용자의 실제 감정을 판단할 수 있는 데이터를 감정 판단 모델에 입력하여 사용자의 실제 감정을 판단할 수 있다.
모델 갱신부(132-5)는 판단 결과 제공부(132-4)에 의해 제공되는 판단 결과에 대한 평가에 기초하여, 감정 판단 모델이 갱신되도록 할 수 있다. 예를 들어, 모델 갱신부(132-5)는 판단 결과 제공부(132-4)에 의해 제공되는 판단 결과를 모델 학습부(131-4)에게 제공함으로써, 모델 학습부(131-4)가 감정 판단 모델을 갱신하도록 할 수 있다.
한편, 감정 판단부(132) 내의 데이터 획득부(132-1), 전처리부(132-2), 데이터 선택부(132-3), 판단 결과 제공부(132-4) 및 모델 갱신부(132-5) 중 적어도 하나는, 적어도 하나의 하드웨어 칩 형태로 제작되어 전자 장치에 탑재될 수 있다. 예를 들어, 데이터 획득부(132-1), 전처리부(132-2), 데이터 선택부(132-3), 판단 결과 제공부(132-4) 및 모델 갱신부(132-5) 중 적어도 하나는 인공 지능(AI; artificial intelligence)을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예를 들어, CPU 또는 application processor) 또는 특정 기능을 위한 IP의 일부로 제작되어 전술한 각종 전자 장치(100)에 탑재될 수도 있다.
또한, 데이터 획득부(132-1), 전처리부(132-2), 데이터 선택부(132-3), 판단 결과 제공부(132-4) 및 모델 갱신부(132-5) 하나의 전자 장치에 탑재될 수도 있으며, 또는 별개의 전자 장치들에 각각 탑재될 수도 있다. 예를 들어, 데이터 획득부(132-1), 전처리부(132-2), 데이터 선택부(132-3), 판단 결과 제공부(132-4) 및 모델 갱신부(132-5) 중 일부는 전자 장치(100)에 포함되고, 나머지 일부는 전자 잗치(100)와 연동하는 서버에 포함될 수 있다.
한편, 데이터 획득부(132-1), 전처리부(132-2), 데이터 선택부(132-3), 판단 결과 제공부(132-4) 및 모델 갱신부(132-5) 중 적어도 하나는 소프트웨어 모듈로 구현될 수 있다. 데이터 획득부(132-1), 전처리부(132-2), 데이터 선택부(132-3), 판단 결과 제공부(132-4) 및 모델 갱신부(132-5) 중 적어도 하나가 소프트웨어 모듈(또는, 인스트럭션을 포함하는 프로그램 모듈)로 구현되는 경우, 소프트웨어 모듈은 비일시적 컴퓨터 판독가능 기록매체에 저장될 수 있다. 적어도 하나의 소프트웨어 모듈은 OS(Operating System)에 의해 제공되거나, 소정의 어플리케이션에 의해 제공될 수 있다. 또는 적어도 하나의 소프트웨어 모듈 중 일부는 OS에 의해 제공되고, 나머지 일부는 소정의 어플리케이션에 의해 제공될 수도 있다.
한편, 도 10 내지 도 11b에서는, 사용자의 실제 감정을 판단하기 위한 감정 판단 모델을 중심으로 설명하였으나, 사용자의 감정 발생 원인을 판단할 수 있는 감정 추론 모델에도 상술한 기술적 사상이 적용될 수 있음은 물론이다. 구체적으로, 프로세서(130)는 데이터 학습부(131) 및 감정 추론부(미도시)를 포함할 수 있으며, 프로세서(130)는 감정 추론 모델을 구축할 수 있음은 물론이다.
본 개시에서 사용된 용어 "~부"는 하드웨어, 소프트웨어 또는 펌웨어로 구성된 유닛을 포함하며, 예를 들면, 로직, 논리 블록, 부품, 또는 회로 등의 용어와 상호 호환적으로 사용될 수 있다. 모듈은, 일체로 구성된 부품 또는 하나 또는 그 이상의 기능을 수행하는 최소 단위 또는 그 일부가 될 수 있다. 예를 들면, 모듈은 ASIC(application-specific integrated circuit)으로 구성될 수 있다.
본 문서의 다양한 실시예들은 기기(machine)(예: 컴퓨터)로 읽을 수 있는 저장 매체(machine-readable storage media에 저장된 명령어를 포함하는 소프트웨어로 구현될 수 있다. 기기는, 저장 매체로부터 저장된 명령어를 호출하고, 호출된 명령어에 따라 동작이 가능한 장치로서, 개시된 실시예들에 따른 전자 장치(예: 전자 장치(A))를 포함할 수 있다. 상기 명령이 프로세서에 의해 실행될 경우, 프로세서가 직접, 또는 상기 프로세서의 제어하에 다른 구성요소들을 이용하여 상기 명령에 해당하는 기능을 수행할 수 있다. 명령은 컴파일러 또는 인터프리터에 의해 생성 또는 실행되는 코드를 포함할 수 있다. 기기로 읽을 수 있는 저장매체는, 비일시적(non-transitory) 저장매체의 형태로 제공될 수 있다. 여기서, '비일시적'은 저장매체가 신호(signal)를 포함하지 않으며 실재(tangible)한다는 것을 의미할 뿐 데이터가 저장매체에 반영구적 또는 임시적으로 저장됨을 구분하지 않는다.
일시예에 따르면, 본 문서에 개시된 다양한 실시예들에 따른 방법은 컴퓨터 프로그램 제품(computer program product)에 포함되어 제공될 수 있다. 컴퓨터 프로그램 제품은 상품으로서 판매자 및 구매자 간에 거래될 수 있다. 컴퓨터 프로그램 제품은 기기로 읽을 수 있는 저장 매체(예: compact disc read only memory (CD-ROM))의 형태로, 또는 어플리케이션 스토어(예: 플레이 스토어TM)를 통해 온라인으로 배포될 수 있다. 온라인 배포의 경우에, 컴퓨터 프로그램 제품의 적어도 일부는 제조사의 서버, 어플리케이션 스토어의 서버, 또는 중계 서버의 메모리와 같은 저장 매체에 적어도 일시 저장되거나, 임시적으로 생성될 수 있다.
다양한 실시예들에 따른 구성 요소(예: 모듈 또는 프로그램) 각각은 단수 또는 복수의 개체로 구성될 수 있으며, 전술한 해당 서브 구성 요소들 중 일부 서브 구성 요소가 생략되거나, 또는 다른 서브 구성 요소가 다양한 실시예에 더 포함될 수 있다. 대체적으로 또는 추가적으로, 일부 구성 요소들(예: 모듈 또는 프로그램)은 하나의 개체로 통합되어, 통합되기 이전의 각각의 해당 구성 요소에 의해 수행되는 기능을 동일 또는 유사하게 수행할 수 있다. 다양한 실시예들에 따른, 모듈, 프로그램 또는 다른 구성 요소에 의해 수행되는 동작들은 순차적, 병렬적, 반복적 또는 휴리스틱하게 실행되거나, 적어도 일부 동작이 다른 순서로 실행되거나, 생략되거나, 또는 다른 동작이 추가될 수 있다.
이상과 같이 본 개시는 비록 한정된 실시 예와 도면에 의해 설명되었으나, 본 개시는 상기의 실시 예에 한정되는 것은 아니며, 본 개시가 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 개시의 범위는 설명된 실시 예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims (15)

  1. 인공지능 신경망(Neural Network) 모델을 이용하는 전자 장치의 제어 방법에 있어서,
    상기 전자 장치와 연결된 외부 단말로부터 사용자를 포함하는 영상 데이터 및 부가 데이터를 획득하는 단계;
    상기 영상 데이터 및 상기 부가 데이터를 이용하여 상기 사용자의 실제 감정을 판단하기 위한 특징 데이터를 생성하는 단계;
    상기 특징 데이터를 감정 인식 모델에 입력하여 상기 사용자의 실제 감정을 판단하는 단계; 를 포함하는 제어 방법.
  2. 제1항에 있어서,
    상기 부가 데이터는,
    상기 영상의 GPS 정보, 방위 정보, 해시 태그 정보, 상기 사용자에 대한 기 입력된 정보, 상기 사용자의 과거 감정 및 상기 영상에 대한 크롤링 정보 중 적어도 하나를 포함하는 제어 방법.
  3. 제1항에 있어서,
    상기 특징 데이터는 제1 특징 데이터 및 제2 특징 데이터를 포함하고,
    상기 제1 특징 데이터는 주변 정보를 제외한 상기 사용자의 감정과 관련된 특징 데이터이며, 상기 제2 특징 데이터는, 상기 사용자의 주변 정보에 대한 특징 데이터인 것을 특징으로 하는 제어 방법.
  4. 제3항에 있어서,
    상기 판단하는 단계는,
    상기 제1 특징 데이터를 감정 인식 모델에 입력하여 상기 사용자의 감정을 판단하고, 상기 제2 특징 데이터를 감정 인식 모델에 입력하여 상기 주변 정보를 판단하며,
    판단된 상기 제1 특징 데이터에 대한 사용자의 감정 및 상기 제2 특징 데이터에 대한 주변 정보를 분석하여 상기 사용자의 실제 감정을 판단하는 것을 특징으로 하는 제어 방법.
  5. 제1항에 있어서,
    상기 감정을 판단하는 단계는,
    상기 사용자의 과거 감정에 대한 가중치를 계산하는 단계; 및
    상기 특징 데이터 및 상기 가중치를 이용하여 상기 사용자의 현재 감정을 판단하는 단계; 를 포함하는 제어 방법.
  6. 제1항에 있어서,
    상기 특징 데이터를 시간 또는 장소로 분류하여 메모리에 저장하는 단계;를 포함하는 제어 방법.
  7. 제6항에 있어서,
    상기 외부 단말로부터 사용자 요청이 수신되면, 상기 특징 데이터를 감정 추론 모델에 입력하여 상기 사용자의 감정 발생 원인을 판단하는 단계; 및
    상기 판단된 감정 발생 원인을 상기 외부 단말로 제공하는 단계;를 포함하는 제어 방법.
  8. 제7항에 있어서,
    상기 판단하는 단계는,
    상기 사용자의 감정 발생 원인을 시간, 장소, 인물 또는 사건 별로 판단하는 것을 특징으로 하는 포함하는 제어 방법.
  9. 인공지능 신경망(Neural Network) 모델을 이용하는 전자 장치에 있어서,
    상기 전자 장치와 연결된 외부 단말로부터 사용자를 포함하는 영상 데이터 및 부가 데이터를 수신하는 통신부;
    상기 영상 데이터 및 상기 부가 데이터를 이용하여 상기 사용자의 실제 감정을 판단하기 위한 특징 데이터를 결정하고, 상기 특징 데이터를 감정 인식 모델에 입력하여 상기 사용자의 실제 감정을 판단하는 프로세서; 및
    상기 특징 데이터를 저장하는 메모리; 를 포함하는 전자 장치.
  10. 제9항에 있어서,
    상기 부가 데이터는,
    상기 영상의 GPS 정보, 방위 정보, 해시태그 정보, 상기 사용자에 대한 기 입력된 정보, 상기 사용자의 과거 감정 및 상기 영상에 대한 크롤링 정보 중 적어도 하나를 포함하는 전자 장치.
  11. 제9항에 있어서,
    상기 특징 데이터는 제1 특징 데이터 및 제2 특징 데이터를 포함하고,
    상기 제1 특징 데이터는 주변 정보를 제외한 상기 사용자의 감정과 관련된 특징 데이터이며, 상기 제2 특징 데이터는, 상기 사용자의 주변 정보에 대한 특징 데이터인 것을 특징으로 하는 전자 장치
  12. 제11항에 있어서,
    상기 프로세서는,
    상기 제1 특징 데이터를 감정 인식 모델에 입력하여 상기 사용자의 감정을 판단하고, 상기 제2 특징 데이터를 감정 인식 모델에 입력하여 상기 주변 정보를 판단하며, 판단된 상기 제1 특징 데이터에 대한 사용자의 감정 및 제2 특징 데이터에 대한 주변 정보를 분석하여 상기 사용자의 실제 감정을 판단하는 것을 특징으로 하는 전자 장치.
  13. 제9항에 있어서,
    상기 프로세서는,
    상기 사용자의 과거 감정에 대한 가중치를 계산하고, 상기 특징 데이터 및 상기 가중치를 이용하여 상기 사용자의 현재 감정을 판단하는 것을 특징으로 하는 전자 장치.
  14. 제9항에 있어서,
    상기 프로세서는,
    상기 특징 데이터를 시간, 장소, 인물 또는 사건별로 분류하여 메모리에 전송하는 것을 특징으로 하는 전자 장치.
  15. 제14항에 있어서,
    상기 프로세서는,
    상기 외부 단말로부터 사용자 요청이 수신되면, 상기 특징 데이터를 감정 추론 모델에 입력하여 상기 사용자의 감정 발생 원인을 판단하고, 상기 판단된 감정 발생 원인을 상기 외부 단말로 제공하는 전자 장치.
PCT/KR2018/003735 2017-03-31 2018-03-29 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법 WO2018182337A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN201880020292.1A CN110447232B (zh) 2017-03-31 2018-03-29 用于确定用户情绪的电子设备及其控制方法
EP18777880.8A EP3598770A4 (en) 2017-03-31 2018-03-29 ELECTRONIC DEVICE FOR DETERMINING A USER'S EMOTION AND METHOD FOR CONTROLLING THE SAME
US16/478,960 US20190347285A1 (en) 2017-03-31 2018-03-29 Electronic device for determining emotion of user and method for controlling same

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20170041774 2017-03-31
KR10-2017-0041774 2017-03-31
KR10-2017-0162116 2017-11-29
KR1020170162116A KR102651253B1 (ko) 2017-03-31 2017-11-29 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법

Publications (1)

Publication Number Publication Date
WO2018182337A1 true WO2018182337A1 (ko) 2018-10-04

Family

ID=63678136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2018/003735 WO2018182337A1 (ko) 2017-03-31 2018-03-29 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법

Country Status (1)

Country Link
WO (1) WO2018182337A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005250977A (ja) * 2004-03-05 2005-09-15 Nikon Corp 撮影装置、画像再生装置、画像鑑賞室、データ蓄積／解析装置、銀塩カメラ、スキャナ
JP2005348872A (ja) * 2004-06-09 2005-12-22 Nippon Hoso Kyokai <Nhk> 感情推定装置及び感情推定プログラム
KR100714535B1 (ko) * 2000-09-13 2007-05-07 가부시키가이샤 에이.지.아이 감정검출방법, 감성발생방법 및 그 장치 및 소프트웨어를 저장한 컴퓨터로 읽을 수 있는 기록매체
JP2009026125A (ja) * 2007-07-20 2009-02-05 Denso It Laboratory Inc 感情分析デバイス、感情分析方法およびプログラム
KR20120092846A (ko) * 2011-02-14 2012-08-22 충남대학교산학협력단 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100714535B1 (ko) * 2000-09-13 2007-05-07 가부시키가이샤 에이.지.아이 감정검출방법, 감성발생방법 및 그 장치 및 소프트웨어를 저장한 컴퓨터로 읽을 수 있는 기록매체
JP2005250977A (ja) * 2004-03-05 2005-09-15 Nikon Corp 撮影装置、画像再生装置、画像鑑賞室、データ蓄積／解析装置、銀塩カメラ、スキャナ
JP2005348872A (ja) * 2004-06-09 2005-12-22 Nippon Hoso Kyokai <Nhk> 感情推定装置及び感情推定プログラム
JP2009026125A (ja) * 2007-07-20 2009-02-05 Denso It Laboratory Inc 感情分析デバイス、感情分析方法およびプログラム
KR20120092846A (ko) * 2011-02-14 2012-08-22 충남대학교산학협력단 멀티 모달리티 감정인식 시스템, 감정인식 방법 및 그 기록매체

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3598770A4 *

Similar Documents

Publication Publication Date Title
KR102651253B1 (ko) 사용자 감정 판단을 위한 전자 장치 및 이의 제어 방법
WO2019182346A1 (ko) 인공지능 모델을 이용하여 사용자 음성을 변조하기 위한 전자 장치 및 이의 제어 방법
WO2018182201A1 (ko) 사용자의 음성 입력에 대한 답변을 제공하는 방법 및 장치
WO2019231130A1 (ko) 전자 장치 및 그의 제어방법
WO2019132410A1 (en) Electronic device and control method thereof
WO2019216732A1 (ko) 전자 장치 및 이의 제어 방법
EP3533015A1 (en) Method and device applying artificial intelligence to send money by using voice input
WO2020060223A1 (ko) 애플리케이션의 번역 정보를 제공하는 디바이스 및 방법
WO2019245186A1 (ko) 전자 장치 및 그의 제어 방법
WO2019194451A1 (ko) 인공지능을 이용한 음성 대화 분석 방법 및 장치
WO2018131875A1 (en) Display apparatus and method for providing service thereof
WO2020180001A1 (ko) 전자 장치 및 이의 제어 방법
WO2019135534A1 (ko) 전자 장치 및 그의 제어 방법
EP3820369A1 (en) Electronic device and method of obtaining emotion information
WO2018117538A1 (ko) 차선 정보를 추정하는 방법 및 전자 장치
WO2021101134A1 (en) Electronic apparatus and control method thereof
WO2021020810A1 (en) Learning method of ai model and electronic apparatus
WO2019125082A1 (en) Device and method for recommending contact information
WO2020045794A1 (ko) 전자 장치 및 그 제어 방법
WO2018117753A1 (en) Electronic device and method of controlling the same
EP3652925A1 (en) Device and method for recommending contact information
WO2020060311A1 (en) Electronic device and method for providing or obtaining data for training thereof
WO2019164144A1 (ko) 전자 장치 및 이의 자연어 생성 방법
WO2020096255A1 (en) Electronic apparatus and control method thereof
WO2019172541A1 (en) Electronic apparatus and control method thereof

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18777880

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018777880

Country of ref document: EP

Effective date: 20191018